WO2019052306A1 - 一种视频处理方法、装置和存储介质 - Google Patents

一种视频处理方法、装置和存储介质 Download PDF

Info

Publication number
WO2019052306A1
WO2019052306A1 PCT/CN2018/100979 CN2018100979W WO2019052306A1 WO 2019052306 A1 WO2019052306 A1 WO 2019052306A1 CN 2018100979 W CN2018100979 W CN 2018100979W WO 2019052306 A1 WO2019052306 A1 WO 2019052306A1
Authority
WO
WIPO (PCT)
Prior art keywords
thumbnail
key frame
video stream
video
scene
Prior art date
Application number
PCT/CN2018/100979
Other languages
English (en)
French (fr)
Inventor
冯斌
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to US16/627,923 priority Critical patent/US11582506B2/en
Priority to KR1020207000333A priority patent/KR102309318B1/ko
Priority to JP2019572744A priority patent/JP7111288B2/ja
Priority to EP18855912.4A priority patent/EP3684062A4/en
Publication of WO2019052306A1 publication Critical patent/WO2019052306A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Abstract

本发明实施例公开了一种视频处理方法、装置和存储介质，其中，该方法包括：接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实(AR/VR)界面中显示的场景生成；在所述VR/AR界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面。

Description

一种视频处理方法、装置和存储介质
相关申请的交叉引用
本申请基于申请号为201710829230.2、申请日为2017年9月14日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以引入方式并入本申请。
技术领域
本公开涉及通信领域，具体涉及一种视频处理方法、装置和存储介质。
背景技术
传统视频会议或监控等视频应用系统受到显示屏幕分辨率和尺寸、会议室物理空间、系统成本等的限制，只能同时实现两路或三路视频流画面。如果系统要支持更多路视频流，要么需要分辨率和尺寸非常大的屏幕或多个显示屏，要么需要缩小画面才能同时显示多路视频流。前者成本较高，后者清晰度下降，都不能让用户灵活便捷的对视频进行浏览。
针对相关技术中用户不能灵活便捷的浏览视频的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种视频处理方法、装置和存储介质，以至少解决相关技术中用户不能灵活便捷的浏览视频的问题。
根据本发明的一个实施例，提供了一种视频处理方法，包括：
接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实(Augmented Reality/Virtual Reality，AR/VR)界面中显示的场景生成的；
在所述VR/AR界面中呈现所述画面布局流。
在一实施例中，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
在一实施例中，所述获取一路或多路视频流的关键帧包括：从网络设备中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述网络设备在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
在一实施例中，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：接收选中所述场景缩略图的选中指令；根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
在一实施例中，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
在一实施例中，在根据所述选择指令将所述视频流生成的视频流缩略 图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
在一实施例中，所述方法还包括：接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
根据本发明的另一个实施例，还提供了一种视频处理装置，应用于AR/VR设备，包括：
第一接收模块，配置为接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
第一生成模块，配置为根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成的；
呈现模块，配置为在所述VR/AR界面中呈现所述画面布局流。
在一实施例中，所述装置还包括：
第二生成模块，配置为根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取模块，配置为获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
在一实施例中，所述获取模块，还配置为从网络设备中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述网络设备在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
在一实施例中，所述装置还包括：
第二接收模块，配置为接收选中所述场景缩略图的选中指令；
放大模块，配置为根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
在一实施例中，所述第一生成模块，还配置为根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
在一实施例中，所述装置还包括：
采集模块，配置为通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
计算模块，配置为通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；
渲染模块，配置为在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
在一实施例中，所述装置还包括：
第三接收模块，配置为接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
调整模块，配置为根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述任一项所述的方法。
根据本发明的又一个实施例，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任一项所述的方法。
通过本发明实施例，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成；在所述VR/AR界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面，解决了相关技术中用户不能灵活便捷的浏览视频的问题，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的视频处理方法的流程图；
图2是根据本发明实施例的视频处理的系统架构图；
图3是根据本发明实施例的终端自由选择视频流的示意图；
图4是根据本发明实施例的从服务端获取所有终端的视频流缩略图的流程图；
图5是根据本发明实施例的从本地获取当前接收的视频流缩略图的流程图；
图6是根据本发明实施例的从本地获取某一路接收的视频流的关键帧的流程图；
图7是根据本发明实施例的从本地获取多路接收的视频流的关键帧的流程图；
图8是根据本发明实施例的在虚拟现实中多路视频流呈现和布局方式的流程图；
图9是根据本发明实施例的在增强现实中多路视频流呈现和布局方式 的流程图；
图10是根据本发明实施例虚拟现实界面中虚拟电视的示意图；
图11是根据本发明实施例的视频处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
在本实施例中提供了一种运行于网络设备的视频处理方法，图1是根据本发明实施例的视频处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
步骤S104，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成的；
步骤S106，在所述VR/AR界面中呈现所述画面布局流。
通过上述步骤，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成；在所述VR/AR界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面，解决了相关技术中用户不能灵活便捷的浏览视频的问题， 用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。
在一实施例中，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：
根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
在一实施例中，所述获取一路或多路视频流的关键帧可以包括：从网络设备中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述网络设备在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。其中，所述网络设备为能够提供一路或多路视频流的关键帧的获取服务的设备。作为一种示例，网络设备可以是服务器。
在一实施例中，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：接收选中所述场景缩略图的选中指令；根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
在一实施例中，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
在一实施例中，在根据所述选择指令将所述视频流生成的视频流缩略 图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
在一实施例中，所述方法还包括：接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
本发明实施例提出一种多路视频流的呈现方式，利用虚拟现实或增强现实技术虚拟显示设备，接收并显示从一路或多路视频流，通过价格低廉的AR/VR眼镜就可以实现一个用户体验更好的多路视频流呈现。
本发明实施例中的每个终端都可以发送一路或多路视频流，每个终端也可以控制接收到的每一路视频流。提供虚拟的多路视频流画面的布局界面，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。由于AR/VR的视野很宽广，为了更加便利的对画面进行操作，用户可以利用场景缩略图对多路视频流在AR/VR视野整个界面布局进行调整，还可以利用视频流缩略图对多路视频流画面进行画面选择、画面切换以及画面的回溯和对比等操作。此外,系统通过追踪眼球焦点或检测用户事件，动态调整每路视频流的编码带宽，降低整个系统的传输带宽。
本发明实施例提供一种基于虚拟现实或增强现实的多路视频流呈现的系统，允许每一个终端可以选择接收一个或多个终端发送的一路或多路视频流，能够同时呈现多路视频流，并能够便捷地对多路视频流进行布局、切换、回溯和对比，提升视频呈现系统的易用性和沉浸感。
图2是根据本发明实施例的视频处理的系统架构图，如图2所示，主要包含三个功能模块：多画面布局模块22、关键帧提取模块24、带宽动态调整模块26。
多画面布局模块22，配置为生成终端接收到的多路视频流画面的缩略图，或者从服务端获取到的所有终端发送的多路视频流画面的缩略图，或者某一路视频流或多路视频流的多个关键帧的缩略图，由用户选择需要浏览的视频流或关键帧，将其放到场景缩略图中并进行布局，最终系统根据场景缩略图在VR/AR界面中生成相应的画面布局流呈现给用户。该模块包括视频流缩略图、关键帧缩略图和场景缩略图三部分，视频流缩略图的实现步骤为：获取每个终端的一路或多路视频流；生成视频流缩略图；从视频流缩略图中选择视频流画面进行操作。
关键帧缩略图的实现步骤：获取某一路或多路视频流的关键帧；生成关键帧缩略图；从关键帧缩略图中选择关键帧画面进行操作。
场景缩略图的实现步骤：根据当前AR/VR界面布局生成场景缩略图；从视频流缩略图、关键帧缩略图中选择想要显示的画面放到场景缩略图中；检测更新场景缩略图的布局；在AR/VR界面上的相应位置上进行画面显示。
关键帧提取模块24：配置为在解码过程中收集码字、量化参数等信息，并根据这些信息，生成当前视频流的关键帧，并保存在相应的关键帧队列中。
带宽动态调整模块26：配置为跟踪用户眼球焦点或者根据当前的布局位置，提高用户关注的视频流的带宽，增大分辨率、帧率等参数，降低用户未关注的视频流的带宽，减小分辨率、帧率等参数，在保持总体带宽不变的情况下，最大程度增强用户视觉感受。该模块的实现步骤为：通过AR/VR眼镜的眼球跟踪功能，跟踪用户当前注视的方向，同时检测用户是否进行布局调整；将眼球焦点和实时画面布局反馈给网络设备；
网络设备根据终端实时反馈的布局信息，调整每路视频流的分辨率、帧率、码率等参数，降低非关注画面的带宽，提高关注画面的带宽。
本发明实施例基于虚拟现实或增强现实技术，实现了一种多路视频流 的呈现方式和系统，每个终端都可以方便的选择要浏览的视频流，并在虚拟现实或增强现实中便捷的调整视频流画面布局，也可以对视频流画面进行回溯和对比，且能够在不显著增加编码带宽的基础上，实现每个终端接收一个或多个终端发送的一路或多路视频流。
关键帧提取模块24在解码视频流的过程中收集MB或最大编码单元(Largest Coding Unit，LCU)级的码字、量化参数等信息，并根据这些信息，生成当前视频流的关键帧并保存到关键帧队列。
多画面布局模块22首先会将AR/VR视野整个界面生成一个场景缩略图，然后将接收到的视频流生成视频流缩略图，关键帧画面生成关键帧缩略图，用户再根据自己的需求将自己想要看到的视频流和关键帧放到场景缩略图中，并进行布局调整，最终将场景缩略图的布局结果在AR/VR视野整个界面的相应位置上进行显示。
带宽动态调整模块26通过AR/VR眼镜的眼球跟踪功能，跟踪用户当前注视的方向。系统将结果反馈给网络设备，网络设备再根据反馈结果调整发送给该终端的相应的视频流的帧率、分辨率等参数以增加或降低带宽。
图3是根据本发明实施例的终端自由选择视频流的示意图，如图3所示，以视频会议为例，召开多点会议，参加会议的有终端T1、终端T2、终端T3、终端T4四个终端，四个终端都发送了一个或多个视频流，四个终端都可以自由选择浏览其他终端的视频流，也可以浏览自己的视频流，如终端T1浏览终端T1、终端T2、终端T3、终端T4的视频流，终端T2浏览终端T1、终端T2、终端T3、终端T4的视频流，终端T3浏览终端T1、终端T2的视频流，终端T4浏览终端T1的视频流。
图4是根据本发明实施例的从服务端获取所有终端的视频流缩略图的流程图，如图4所示，包括以下步骤：
步骤401，每个终端入会发送视频流到服务端，服务端检测每个视频流 的码流是否存在即时解码刷新(Instantaneous Decoding Refresh，IDR)帧，如果当前视频流有新的IDR帧，则服务端解码该IDR帧，并缩小得到当前视频流的缩略图；
步骤402，当前终端向服务端发送消息，希望从服务端获取所有终端的视频流缩略图；
步骤403，服务端将所有终端视频流的缩略图按照一定的顺序排列布局形成一个较大的缩略图画面，然后编码发送给终端；
步骤404，当前终端T3收到并解码得到缩略图画面后，将缩略图画面中的每个子画面都裁剪出来，得到每路视频流对应的缩略图；
步骤405，将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤406，将每路视频流对应的缩略图以合适的方式，显示在布局界面中，同时将场景缩略图也显示在布局界面中；
步骤407，用户通过手柄或手势等方式操作，将选择的视频流缩略图放到场景缩略图中，表示希望看到该视频流画面，并在对应的位置显示；
步骤408，用户确定场景缩略图的布局后，系统将在相应的视频流在AR/VR界面位置上进行显示；
步骤409，用户确定最终多画面布局后，系统将用户选择的视频流序号、希望显示的位置、尺寸等信息反馈给服务端，服务端根据上述信息动态调整带宽，并将对应的码流转发给当前终端。
图5是根据本发明实施例的从本地获取当前接收的视频流缩略图的流程图，如图5所示，包括以下步骤：
步骤501，本地接收到所有视频流画面；
步骤502，系统将本地接收到的所有视频流画面，缩小得到每路视频流的缩略图；
步骤503，将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤504，将每路视频流对应的缩略图以合适的方式，显示在布局界面中，同时将场景缩略图也显示在布局界面中；
步骤505，用户通过手柄或手势等方式操作，将选择的视频流缩略图放到场景缩略图中，表示希望看到该视频流画面，并在对应的位置显示；
步骤506，用户确定场景缩略图的布局后，系统将在相应的视频流在VR/AR界面位置上进行显示；
步骤507，用户确定最终多画面布局后，系统将用户选择的视频流序号、希望显示的位置、尺寸等信息反馈给服务端，服务端根据上述信息动态调整带宽，并将对应的码流转发给当前终端。
图6是根据本发明实施例的从本地获取某一路接收的视频流的关键帧的流程图，如图6所示，包括以下步骤：
步骤501，本地获取某一路接收的视频流；
步骤602，系统将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤603，系统从该路视频流的历史关键帧队列中，取出一定数量的关键帧，生成缩略图以合适的方式在布局界面中显示；
步骤604，用户通过手柄或手势等方式操作，将选择的关键帧缩略图放到场景缩略图中，表示希望看到该关键帧画面，并在对应的位置显示；
步骤605，系统按照用户设置关键帧的布局，在相应的AR/VR界面位置上将选中的关键帧画面进行显示；
图7是根据本发明实施例的从本地获取多路接收的视频流的关键帧的流程图，如图7所示，包括以下步骤：
步骤701，系统将当前AR/VR眼镜中显示的场景，缩小生成场景缩略图；
步骤702，系统从该路视频流的历史关键帧队列中，取出一定数量的关 键帧，生成缩略图以合适的方式在布局界面中显示；例如从视频流1的关键帧队列中选取若干关键帧，生成视频流1的关键帧缩略图在布局界面中显示；
步骤703，用户通过手柄或手势等方式操作，将选择的关键帧缩略图放到场景缩略图中，表示希望看到该关键帧画面，并在对应的位置显示；
步骤704，重复步骤702～703，用户将其他视频流的关键帧的缩略图放到场景缩略图中；
步骤705，系统按照用户设置关键帧的布局，在相应的AR/VR界面位置上将选中的关键帧画面进行显示。
图8是根据本发明实施例的在虚拟现实中多路视频流呈现和布局方式的流程图，如图8所示，包括以下步骤：
步骤801，整个VR视野的3D场景缩略图按照一定比例实时显示在用户VR视野的正前方但不影响用户视线的位置；
步骤802，用户选中场景缩略图，缩略图放大到用户容易操作的尺寸并显示在布局界面；
步骤803，用户按照上述的方法获得视频流缩略图；
步骤804，用户将希望观看的视频流的缩略图拖拽到场景缩略图中适当的位置；
步骤805，用户根据场景缩略图的参考物，调整视频流缩略图的位置和尺寸，并选择播放该视频流的虚拟电视的类型(如平面电视、曲面电视等,图10是一个虚拟电视的图例,包含两个曲面电视和一个平面电视)；
步骤806，重复上述803～805步骤，直到用户希望观看的视频流全部拖拽到场景缩略图中并完成调整，用户确定调整完毕；
步骤807，更新场景缩略图，将虚拟电视渲染到场景缩略图中；
步骤808，系统根据场景缩略图与VR视野的坐标关系，将视频流和虚 拟电视渲染到VR视野；
步骤809，更新场景缩略图并缩小，在不影响用户视线的位置实时显示。
图9是根据本发明实施例的在增强现实中多路视频流呈现和布局方式的流程图，如图9所示，包括以下步骤：
步骤901，用户通过手势在空中画出一个框，AR眼镜的摄像头采集到用户动作；
步骤902，AR眼镜通过计算分析得到用户所画的框相对AR坐标系的坐标和尺寸，并在AR眼镜中渲染该框标示一个虚拟电视；
步骤903，用户按照上述的方法，选择一个视频流的缩略图；
步骤904，用户将希望观看的视频流的缩略图拖拽到虚拟电视中；
步骤905，用户调整视频流缩略图尺寸和位置，并选择虚拟电视的类型(如平面电视、曲面电视等，图10是根据本发明实施例虚拟现实界面中虚拟电视的示意图，如图10所示，包含两个曲面电视和一个平面电视)；
步骤906，用户重复上述901～905步骤，直到所有用户希望观看的视频流都调整好尺寸和位置，用户确定调整完毕；
步骤907，AR眼镜根据虚拟电视的坐标和尺寸渲染并播放用户选择的视频流。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种视频处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本发明的另一个实施例，还提供了一种视频处理装置，图11是根据本发明实施例的视频处理装置的结构框图，如图11所示，应用于AR/VR设备，该装置包括：
第一接收模块112，配置为接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
第一生成模块114，配置为根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成的；
呈现模块116，配置为在所述VR/AR界面中呈现所述画面布局流。
在一实施例中，，所述装置还包括：
第二生成模块，配置为根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
获取模块，配置为获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
在一实施例中，所述获取模块，还配置为从网络设备中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述网络设备在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
在一实施例中，所述装置还包括：
第二接收模块，配置为接收选中所述场景缩略图的选中指令；
放大模块，配置为根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
在一实施例中，所述第一生成模块，还配置为根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
在一实施例中，所述装置还包括：
采集模块，配置为通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
计算模块，配置为通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；
渲染模块，配置为在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
在一实施例中，所述装置还包括：
第三接收模块，配置为接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
调整模块，配置为根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项所述的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；在所述VR/AR界面中呈现所述画面布局流。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
实施例4
本发明的实施例还提供了一种处理器，该处理器用于运行程序，其中，该程序运行时执行上述任一项方法中的步骤。
可选地，在本实施例中，上述程序用于执行以下步骤：接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；在所述VR/AR界面中呈现所述画面布局流。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤 可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在两个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的两个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

  1. 一种视频处理方法，包括：
    接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
    根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实AR/VR界面中显示的场景生成的；
    在所述VR/AR界面中呈现所述画面布局流。
  2. 根据权利要求1所述的方法，其中，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：
    根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
    获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
  3. 根据权利要求2所述的方法，其中，所述获取一路或多路视频流的关键帧包括：
    从网络设备中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述网络设备在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
  4. 根据权利要求1所述的方法，其中，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：
    接收选中所述场景缩略图的选中指令；
    根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述 AR/VR界面中。
  5. 根据权利要求4所述的方法，其中，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：
    根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；
    选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；
    根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
  6. 根据权利要求5所述的方法，其中，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：
    通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
    通过计算得到所述虚拟框在所述AR/VR界面中的坐标和尺寸；
    在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
  7. 根据权利要求1至6中任一项所述的方法，其中，所述方法还包括：
    接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
    根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
  8. 一种视频处理装置，应用于虚拟现实/增强现实AR/VR设备，包括：
    第一接收模块，配置为接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；
    第一生成模块，配置为根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据AR/VR界面中显示的场景生成的；
    呈现模块，配置为在所述VR/AR界面中呈现所述画面布局流。
  9. 根据权利要求8所述的装置，其中，所述装置还包括：
    第二生成模块，配置为根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，
    获取模块，配置为获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。
  10. 根据权利要求9所述的装置，其中，所述获取模块，还配置为从网络设备中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述网络设备在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。
  11. 根据权利要求8所述的装置，其中，所述装置还包括：
    第二接收模块，配置为接收选中所述场景缩略图的选中指令；
    放大模块，配置为根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述AR/VR界面中。
  12. 根据权利要求11所述的装置，其中，所述第一生成模块，还配置为根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；根据所述场景缩略图在所述AR/V界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述AR/VR界面，更新所述场景缩略图。
  13. 根据权利要求12所述的装置，其中，所述装置还包括：
    采集模块，配置为通过AR/VR摄像头采集通过手势沿预定方向形成的虚拟框；
    计算模块，配置为通过计算得到所述虚拟框在所述AR/VR界面中的坐 标和尺寸；
    渲染模块，配置为在所述AR/VR界面中渲染所述虚拟框标示的虚拟电视。
  14. 根据权利要求8至13任一项所述的装置，其中，所述装置还包括：
    第三接收模块，配置为接收AR/VR摄像头反馈的用户当前注视方向和实时画面的布局信息；
    调整模块，配置为根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。
  15. 一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至7中任一项所述的方法。
  16. 一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任一项所述的方法。
PCT/CN2018/100979 2017-09-14 2018-08-17 一种视频处理方法、装置和存储介质 WO2019052306A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/627,923 US11582506B2 (en) 2017-09-14 2018-08-17 Video processing method and apparatus, and storage medium
KR1020207000333A KR102309318B1 (ko) 2017-09-14 2018-08-17 비디오 처리방법, 장치 및 저장매체
JP2019572744A JP7111288B2 (ja) 2017-09-14 2018-08-17 ビデオ処理方法、装置および記憶媒体
EP18855912.4A EP3684062A4 (en) 2017-09-14 2018-08-17 VIDEO PROCESSING PROCESS AND APPARATUS AND STORAGE MEDIA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710829230.2A CN109511004B (zh) 2017-09-14 2017-09-14 一种视频处理方法及装置
CN201710829230.2 2017-09-14

Publications (1)

Publication Number Publication Date
WO2019052306A1 true WO2019052306A1 (zh) 2019-03-21

Family

ID=65723904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/100979 WO2019052306A1 (zh) 2017-09-14 2018-08-17 一种视频处理方法、装置和存储介质

Country Status (6)

Country Link
US (1) US11582506B2 (zh)
EP (1) EP3684062A4 (zh)
JP (1) JP7111288B2 (zh)
KR (1) KR102309318B1 (zh)
CN (1) CN109511004B (zh)
WO (1) WO2019052306A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110366024A (zh) * 2019-07-01 2019-10-22 北京达佳互联信息技术有限公司 一种播放视频的方法及装置
CN115086758A (zh) * 2022-05-09 2022-09-20 全芯(佛山)科技有限公司 一种视频封面的生成方法及终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989840B (zh) * 2019-12-03 2023-07-25 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN114415907B (zh) * 2022-01-21 2023-08-18 腾讯科技（深圳）有限公司 媒体资源显示方法、装置、设备及存储介质
CN114615458B (zh) * 2022-05-10 2022-07-19 全时云商务服务股份有限公司 一种云会议中实时合屏快速出图的方法、装置、存储介质和服务器
CN114979732B (zh) * 2022-05-12 2023-10-20 咪咕数字传媒有限公司 视频流的推送方法、装置、电子设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207316A1 (en) * 2008-02-19 2009-08-20 Sorenson Media, Inc. Methods for summarizing and auditing the content of digital video
CN101902652A (zh) * 2009-05-29 2010-12-01 精工爱普生株式会社 图像显示系统、图像显示装置及图像显示方法
CN103299645A (zh) * 2010-12-22 2013-09-11 谷歌公司 具有辅助寻找的视频播放器
CN103369128A (zh) * 2012-04-03 2013-10-23 三星电子株式会社 同时显示多个运动图像缩略图的图像再现装置及方法
US20140118625A1 (en) * 2012-11-01 2014-05-01 Kt Corporation User interface to control video content play
CN107018386A (zh) * 2017-06-08 2017-08-04 柳州智视科技有限公司 一种视频流多分辨率观测系统

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7196722B2 (en) * 2000-05-18 2007-03-27 Imove, Inc. Multiple camera video system which displays selected images
CN100505858C (zh) * 2004-05-13 2009-06-24 索尼株式会社 图像数据处理装置和图像数据处理方法
US20080111822A1 (en) * 2006-09-22 2008-05-15 Yahoo, Inc.! Method and system for presenting video
US8713439B2 (en) * 2006-12-15 2014-04-29 Yahoo! Inc. Systems and methods for providing a video playlist
KR20080092501A (ko) * 2007-04-12 2008-10-16 엘지전자 주식회사 모바일 서비스 데이터 수신 장치 및 제어 방법
NO331338B1 (no) * 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
JP5493531B2 (ja) * 2009-07-17 2014-05-14 三菱電機株式会社 映像音声記録再生装置および映像音声記録再生方法
JP4902765B2 (ja) 2010-03-31 2012-03-21 新日鉄ソリューションズ株式会社 情報処理システム及び情報処理方法
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
CN102332001B (zh) * 2011-07-26 2013-06-26 深圳万兴信息科技股份有限公司 一种视频缩略图生成方法及装置
CN102364960B (zh) * 2011-11-04 2015-05-27 播思通讯技术（北京）有限公司 移动数字电视画中画和频道缩略图的播放方法及移动终端
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
WO2014031899A1 (en) * 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
EP2932703A4 (en) 2012-12-17 2016-05-18 Intel Corp EMBEDDING MINIATURE IMAGE INFORMATION IN VIDEO TONES
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10408613B2 (en) * 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
CN104378578A (zh) * 2013-08-15 2015-02-25 中兴通讯股份有限公司 一种切换视频源的方法及装置、显示装置
US9179096B2 (en) 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
EP3075146A4 (en) 2013-11-27 2017-07-19 Ultradent Products, Inc. Video interaction between physical locations
US9454289B2 (en) * 2013-12-03 2016-09-27 Google Inc. Dyanmic thumbnail representation for a video playlist
CN103970894B (zh) * 2014-05-27 2017-04-05 合一网络技术(北京)有限公司 自适应调整的界面流式布局显示的方法和系统
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
CN106937531B (zh) * 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
WO2016046589A1 (en) * 2014-09-26 2016-03-31 Intel Corporation Techniques for enhancing user experience in video conferencing
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
CN104618788B (zh) * 2014-12-29 2018-08-07 北京奇艺世纪科技有限公司 一种显示视频信息的方法及装置
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US10417832B2 (en) * 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
KR102304023B1 (ko) * 2015-04-03 2021-09-24 한국과학기술원 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
CN104765156B (zh) * 2015-04-22 2017-11-21 京东方科技集团股份有限公司 一种三维显示装置和三维显示方法
CN104915374A (zh) * 2015-04-27 2015-09-16 厦门理工学院 一种旅游景区360度全景构建系统及方法
CN104918095A (zh) * 2015-05-19 2015-09-16 乐视致新电子科技（天津）有限公司 多媒体流数据预览展示方法及装置
CN105549934A (zh) * 2015-12-16 2016-05-04 广东威创视讯科技股份有限公司 显示界面控制方法和系统
CN105898342A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频的多点同屏播放方法及系统
CN106993152B (zh) * 2016-01-21 2019-11-08 杭州海康威视数字技术股份有限公司 三维监控系统及其快速部署方法
CN106249879A (zh) * 2016-07-19 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实图像的显示方法及终端
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
CN107888987B (zh) * 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
CN106527709B (zh) * 2016-10-28 2020-10-02 Tcl移动通信科技（宁波）有限公司 一种虚拟场景调整方法及头戴式智能设备
CN106534963A (zh) * 2016-11-24 2017-03-22 北京小米移动软件有限公司 直播处理方法、装置及终端
CN106713964A (zh) * 2016-12-05 2017-05-24 乐视控股（北京）有限公司 一种生成视频摘要视点图的方法及装置
CN106875244A (zh) * 2016-12-19 2017-06-20 乐视控股（北京）有限公司 一种虚拟现实购物方法、装置和电子设备
WO2018136438A1 (en) * 2017-01-18 2018-07-26 Pcms Holdings, Inc. System and method for selecting scenes for browsing histories in augmented reality interfaces
JP7096836B2 (ja) * 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
CN106980379B (zh) * 2017-03-30 2020-05-19 联想(北京)有限公司 一种显示方法及终端
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN107147882A (zh) * 2017-06-08 2017-09-08 柳州智视科技有限公司 一种自动实时跟踪目标对象的多分辨率观测系统
US10687119B2 (en) * 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10437328B2 (en) * 2017-09-27 2019-10-08 Igt Gaze detection using secondary input

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207316A1 (en) * 2008-02-19 2009-08-20 Sorenson Media, Inc. Methods for summarizing and auditing the content of digital video
CN101902652A (zh) * 2009-05-29 2010-12-01 精工爱普生株式会社 图像显示系统、图像显示装置及图像显示方法
CN103299645A (zh) * 2010-12-22 2013-09-11 谷歌公司 具有辅助寻找的视频播放器
CN103369128A (zh) * 2012-04-03 2013-10-23 三星电子株式会社 同时显示多个运动图像缩略图的图像再现装置及方法
US20140118625A1 (en) * 2012-11-01 2014-05-01 Kt Corporation User interface to control video content play
CN107018386A (zh) * 2017-06-08 2017-08-04 柳州智视科技有限公司 一种视频流多分辨率观测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110366024A (zh) * 2019-07-01 2019-10-22 北京达佳互联信息技术有限公司 一种播放视频的方法及装置
US11438674B2 (en) 2019-07-01 2022-09-06 Beijing Dajia Internet Information Tech. Co, Ltd. Method for playing video, electronic device, and storage medium
CN115086758A (zh) * 2022-05-09 2022-09-20 全芯(佛山)科技有限公司 一种视频封面的生成方法及终端

Also Published As

Publication number Publication date
CN109511004A (zh) 2019-03-22
JP2020527883A (ja) 2020-09-10
EP3684062A1 (en) 2020-07-22
US11582506B2 (en) 2023-02-14
US20210152876A1 (en) 2021-05-20
CN109511004B (zh) 2023-09-01
EP3684062A4 (en) 2021-01-27
JP7111288B2 (ja) 2022-08-02
KR102309318B1 (ko) 2021-10-06
KR20200014415A (ko) 2020-02-10

Similar Documents

Publication Publication Date Title
WO2019052306A1 (zh) 一种视频处理方法、装置和存储介质
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
WO2022087920A1 (zh) 视频播放方法、装置、终端及存储介质
US9049341B2 (en) Method and apparatus for video resource management in video conference
JP2020527883A5 (zh)
KR20170008725A (ko) 콘텐트를 스트리밍하기 위한 방법들 및 장치
KR102069930B1 (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
JP6241802B1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
CN104093040A (zh) 个性化影院系统及其服务器操作方法、客户端操作方法
CN105306872B (zh) 控制多点视频会议的方法、装置和系统
JP2019033362A (ja) 配信装置、受信装置及びプログラム
JP6324829B2 (ja) 映像提供システムおよびプロラム
CN112203101B (zh) 一种远程视频直播方法、装置及电子设备
JP2007243367A (ja) 動画配信システム
CN117979041A (zh) 数据的处理方法、装置、介质、终端设备及直播设备
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18855912

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019572744

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207000333

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018855912

Country of ref document: EP

Effective date: 20200414