WO2023138217A1 - 基于gpu融合处理的超清画质图像数据处理方法与装置 - Google Patents

基于gpu融合处理的超清画质图像数据处理方法与装置 Download PDF

Info

Publication number
WO2023138217A1
WO2023138217A1 PCT/CN2022/134870 CN2022134870W WO2023138217A1 WO 2023138217 A1 WO2023138217 A1 WO 2023138217A1 CN 2022134870 W CN2022134870 W CN 2022134870W WO 2023138217 A1 WO2023138217 A1 WO 2023138217A1
Authority
WO
WIPO (PCT)
Prior art keywords
channel data
data
gpu
ultra
processing
Prior art date
Application number
PCT/CN2022/134870
Other languages
English (en)
French (fr)
Inventor
袁潮
邓迪旻
Original Assignee
北京拙河科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京拙河科技有限公司 filed Critical 北京拙河科技有限公司
Publication of WO2023138217A1 publication Critical patent/WO2023138217A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Definitions

  • the invention belongs to the technical field of billion-level pixel video processing, and in particular relates to a method and device for processing ultra-clear image data based on GPU fusion processing, computer equipment and storage media for realizing the method.
  • High resolution represents high quality and high definition.
  • High-definition video images not only have a wide range of applications in military, medical, monitoring, astronomy, etc., but also bring a more comfortable visual experience to entertainment life.
  • the video resolution is getting higher and higher, from high-definition and ultra-clear to 4K, 8K and VR/AR, and even megapixel and gigapixel cameras appear.
  • the ultra-clear image data composed of gigapixel scenes can realize the dynamics of the whole scene in one screen, and can also realize the ability of long-distance monitoring under a large field of view.
  • Gigapixel video can capture and record the whole process of the scene without omission.
  • One megapixel system is equivalent to 72 1080P cameras to capture the effect, thereby reducing the hardware and labor costs of camera layout.
  • the imaging resolution exceeds 100 million levels, the amount of data generated also increases sharply.
  • the current 100 million-level pixel resolution video is usually captured by a light field camera array, and the data generated by the light field camera array is a multi-dimensional, multi-channel structure, and the data throughput is large. If data transmission or video fusion processing is carried out according to the traditional image processing method, the quality of high-definition billion-level pixel image data will be reduced, but it will not be able to achieve ultra-clear image quality.
  • the present invention proposes a method and device for processing ultra-clear image data based on GPU fusion processing, computer equipment and storage media for realizing the method.
  • a method for processing ultra-clear picture quality image data based on GPU fusion processing is proposed, and the method can be realized by a terminal device.
  • the method specifically includes the following steps:
  • S2 Asynchronously transmit the first channel data and the second channel data in the ultra-clear image data
  • S3 Determine the number of GPU cores to start based on the synchronization requirements of the first channel data and the second channel data;
  • the first channel data is image field data including depth information
  • the second channel data is image matrix data including pixel information
  • the synchronization requirement of the first channel data and the second channel data mentioned in the step S3 includes: the first channel data can be processed and merged with the second channel data within a unit time.
  • the step S1 includes:
  • the ultra-clear quality image data is obtained by collecting the light-field camera of the high-definition array.
  • step S2 includes:
  • the start of the second time period is later than the first time period.
  • the identification of the first channel data and the second channel data is completed by the CPU, the second channel data is processed by the CPU, and the first channel data is allocated to the activated GPU core for processing.
  • step S3 also includes:
  • the first channel data is evenly distributed to the activated GPU cores for processing.
  • step S4 also includes:
  • step S2 If the first channel data and the second channel data cannot be synchronized, return to step S2.
  • an ultra-clear image data processing device based on GPU fusion processing includes a light field camera array and an image recognition module communicating with the light field camera array.
  • the image recognition module is connected to a heterogeneous processor system, the heterogeneous processor system includes a CPU module and a GPU module, the CPU module includes a plurality of CPU cores, and the GPU module includes a plurality of GPU cores;
  • the device also includes an asynchronous transmission module
  • the asynchronous transmission module is connected to the image recognition module;
  • the light field camera array sends the collected light field image data to the image recognition module,
  • the image recognition module recognizes the first channel data and the second channel data in the light field image data through the heterogeneous processor system
  • the first channel data is image field data including depth information
  • the second channel data is image matrix data including pixel information
  • the CPU module assigns the first channel data to the GPU module, specifically including:
  • the first channel data is evenly distributed to the activated GPU cores for processing.
  • the present invention can be implemented as a computer medium, computer program instructions are stored on the computer medium, and by executing the program instructions, a kind of super-clear image data processing method based on GPU fusion processing described in the first aspect is realized.
  • the present invention can also be embodied as a computer program product, the program product is carried on a computer storage medium, and the program is executed by a processor, thereby realizing all or part of the steps of the above-mentioned ultra-clear image data processing method based on GPU fusion processing.
  • the present invention can ensure that the quality of the multi-dimensional, high-throughput data collected by the high-definition array light field camera will not be reduced during video fusion, and can adaptively fuse the number of GPU cores for regulation and processing.
  • Fig. 1 is a schematic diagram of the main flow of an ultra-clear image data processing method based on GPU fusion processing according to an embodiment of the present invention
  • Fig. 2 is a schematic diagram of a further specific embodiment of the method described in Fig. 1;
  • Fig. 3 is the architecture diagram of the ultra-clear picture quality image data processing device based on GPU fusion processing that realizes the method described in Fig. 1 or Fig. 2;
  • Fig. 4 is a schematic diagram of part of the working principle of the ultra-clear image data processing device based on GPU fusion processing described in Fig. 3;
  • Fig. 5 is a schematic diagram of a computer device, a storage medium and a computer program for realizing the method described in Fig. 1;
  • Fig. 6 is a schematic diagram of a preferred embodiment of an ultra-clear image data processing method based on GPU fusion processing according to an embodiment of the present invention
  • Light field similar to the concept of electric field and magnetic field, is used to describe some characteristics of light, which contains information such as light intensity, position, and direction;
  • a light-field camera also known as a plenoptic camera, specifically uses a very large number of tiny lenses to capture light from different sources and at different angles, and each lens is responsible for processing a certain number of pixels. Theoretically, if the number of lenses is large enough, the light captured in the entire light field area can be clearly distinguished.
  • the light field camera can not only collect image information (planar, two-dimensional image information), but also generate the depth map information corresponding to this picture and the point cloud information corresponding to this depth map through a frame of image collected; the light field camera can also obtain the spatial information and angle information of the light during imaging, and map the pixels in the two-dimensional image into a multi-dimensional (greater than 2-dimensional, such as three-dimensional or four-dimensional) light field for reprojection according to certain rules, and obtain in-focus images of different viewing angles and different phase planes.
  • Depth map information is used to represent the distance between a point in the scene and the camera (viewpoint) in each pixel value of the image.
  • FIG. 1 is a schematic diagram of the main flow of a method for processing ultra-clear image data based on GPU fusion processing according to an embodiment of the present invention.
  • the method includes steps S1-S4, each step is specifically implemented as follows:
  • S2 Asynchronously transmit the first channel data and the second channel data in the ultra-clear image data
  • S3 Determine the number of GPU cores to start based on the synchronization requirements of the first channel data and the second channel data;
  • the first channel data is image field data including depth information
  • the second channel data is image matrix data including pixel information
  • the method is implemented by a terminal device, which includes a human-computer interaction interface.
  • the human-computer interaction interface After the terminal device receives the ultra-clear image data, the human-computer interaction interface provides options for multiple external input control devices and multiple external output control devices on the human-computer interaction interface, and receives the current user's selection of one external input control device and one external output control device, so that the execution and control output process of the above steps S1-S4 can be realized based on the selected one external input control device and one external output control device. .
  • multiple different users may respectively select a different external input control device and an external output control device, so that the execution and control output process of the above steps S1-S4 are completed independently.
  • the terminal device is installed with a plurality of image processing APPs for executing steps S1-S4 of the method; the terminal device itself has built-in input control devices and output control devices.
  • the input control device includes a keyboard, a touch screen, and a mouse
  • the output control device includes a display screen, a touch display screen, and the like.
  • the APP program of the terminal device can only perform input control and output control through the built-in input control device and the built-in output control device, so that when using the current terminal device, only one user is supported to use the current terminal device; Execute on one display), still only support one user to operate one program.
  • the present invention proposes an improved embodiment, so that the options of multiple external input control devices and multiple external output control devices are provided on the human-computer interaction interface, and the current user's selection of one external input control device and one external output control device is received, so that the execution and control output process of the above steps S1-S4 can be realized based on the selected one external input control device and one external output control device.
  • the terminal device may provide multiple USB interfaces and video output interfaces, and externally connect multiple sets of USB keyboards and multiple video display devices. It is assumed that multiple sets of USB keyboards include keyboards 1-2-3, and multiple sets of video display devices include monitors A-B-C.
  • the first user can choose keyboard 1 and display B
  • the second user can choose display A and keyboard 3
  • the third user can choose display C and keyboard 2
  • one terminal device can support at least three users to run the APP at the same time, and independently input operation control and output display execution without interfering with each other, which can save hardware costs.
  • step S1 comprises:
  • the ultra-clear quality image data is obtained by collecting the light-field camera of the high-definition array.
  • Array It is an array of components formed by arranging multiple components together in a certain shape or rule.
  • the high-definition array light field camera is to arrange a plurality of light field image acquisition elements (such as photosensitive chips) according to certain rules to form an image sensor array, and the number of pixels (resolution) of image acquisition can be increased through the plurality of image acquisition elements.
  • a plurality of light field image acquisition elements such as photosensitive chips
  • Described step S2 comprises:
  • the start of the second time period is later than the first time period.
  • the synchronization requirement of the first channel data and the second channel data includes: being able to process the first channel data and merge with the second channel data within a unit time.
  • first channel data and the second channel data have the same time sequence, they are actually image data collected for the same target (area), and the transmission may not be synchronized only due to different dimensions.
  • the two are synchronous in timing, that is, the first channel data can be processed and merged with the second channel data within a unit time, then the two are considered to be synchronous.
  • said step S4 also includes:
  • step S2 If the first channel data and the second channel data cannot be synchronized, return to step S2.
  • step S2 the identification of the first channel data and the second channel data is completed by the CPU, the second channel data is processed by the CPU, and the first channel data is allocated to the activated GPU core for processing.
  • step S3 also includes:
  • the first channel data is evenly distributed to the activated GPU cores for processing.
  • Fig. 2 shows that a specific embodiment of the method includes the following steps:
  • A1 Obtain ultra-clear quality image data through the collection of high-definition array light field cameras
  • A2 identifying the first channel data and the second channel data in the ultra-clear image data
  • A3 transmitting the first channel data in a first time period
  • A4 transmitting the second channel data in a second time period
  • A5 Determine the number of GPU cores to start based on the synchronization requirements of the first channel data and the second channel data;
  • A6 After determining the number of activated GPU cores, evenly distribute the first channel data to the activated GPU cores for processing.
  • FIG. 3 is a structural diagram of an ultra-clear image data processing device based on GPU fusion processing for implementing the method described in FIG. 1 or FIG. 2 .
  • an ultra-clear image data processing device based on GPU fusion processing includes a light field camera array and an image recognition module communicating with the light field camera array.
  • the image recognition module is connected to a heterogeneous processor system, the heterogeneous processor system includes a CPU module and a GPU module, the CPU module includes a plurality of CPU cores, and the GPU module includes a plurality of GPU cores;
  • the device also includes an asynchronous transmission module
  • the asynchronous transmission module is connected to the image recognition module;
  • the light field camera array sends the collected light field image data to the image recognition module,
  • the image recognition module recognizes the first channel data and the second channel data in the light field image data through the heterogeneous processor system
  • the first channel data is image field data including depth information
  • the second channel data is image matrix data including pixel information
  • the asynchronous transmission of the first channel data and the second channel data through the asynchronous transmission module specifically includes: transmitting the first channel data in a first time period; transmitting the second channel data in a second time period; the starting point of the second time period is later than the first time period.
  • the CPU module assigns the first channel data to the GPU module, specifically including:
  • the first channel data is evenly distributed to the activated GPU cores for processing.
  • Fig. 4 is a schematic diagram of part of the working principle of the ultra-clear image data processing device based on GPU fusion processing described in Fig. 3;
  • the data flow performed by the device includes the following steps:
  • the light field camera array collects light field image data
  • the heterogeneous processor system identifies the first channel data and the second channel data in the light field image data
  • the asynchronous transmission module asynchronously transmits the first channel data and the second channel data
  • the CPU module processes the second channel data and distributes the first channel data to the GPU module for processing.
  • the above-mentioned technical solutions of the present invention can be realized automatically based on computer program instructions through computer equipment.
  • the present invention can also be expressed as a computer program product, the program product is carried on a computer storage medium, and the program is executed by a processor, thereby realizing the above technical solution.
  • more embodiments include a computer device, the computer device includes a memory and a processor, the memory stores a computer-executable program, and the processor is configured to execute steps C1-C6 to implement any one of the aforementioned methods.
  • Fig. 6 shows that the specific embodiment of the method steps that Fig. 5 can realize is as follows:
  • C1 Collect light field image data
  • step C1 includes:
  • Each light field camera array collects light field image data of hundreds of millions of pixels in the monitored area according to the preset frequency
  • the CPU process determines the number of GPU cores to start based on the synchronization requirements of the first channel data and the second channel data;
  • the technical solution of the present invention through the asynchronous transmission of the first channel data and the second channel data in the ultra-clear picture quality image data, and based on the synchronization requirements of the first channel data and the second channel data, determines the number of started GPU cores and then fuses the first channel data and the second channel data that can be synchronized, so that the quality of the multi-dimensional and high-throughput data collected by the high-definition array light field camera will not be reduced during video fusion, and the number of GPU cores can be adaptively fused for regulation and processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

基于GPU融合处理的超清画质图像数据处理方法与装置，属于视频融合处理技术领域。方法包括：S1：接收超清画质图像数据；S2：异步传输超清画质图像数据中的第一通道数据和第二通道数据；S3：基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；S4：融合可以同步的第一通道数据和第二通道数据。装置包括CPU模组和GPU模组构成的异构处理器系统，图像识别模组通过异构处理器系统识别出光场图像数据中的第一通道数据和第二通道数据。通过CPU模组处理第二通道数据，并将第一通道数据分配给GPU模组。上述技术方案能够通过异步处理器系统融合GPU实现超清画质图像数据处理。

Description

基于GPU融合处理的超清画质图像数据处理方法与装置 技术领域
本发明属于亿级像素视频处理技术领域，尤其涉及一种基于GPU融合处理的超清画质图像数据处理方法与装置、实现所述方法的计算机设备以及存储介质。
背景技术
电子消费升级以来，无论是手机、电脑还是电视都在朝着更高分辨率、更高速度以及更智能的方向发展。高分辨率(高像素)代表着高质量与高清晰度，高清的视频图像不仅在军事、医学、监控、天文等方面有着广泛的应用,而且也能给娱乐生活带来更舒适的视觉体验。
与此相对应的，视频分辨率越来越高，从高清，超清发展至4K、8K以及VR/AR，甚至亿级像素、十亿像素相机出现。相比于普通的相机拍摄的百万像素，十亿像素场景构成的超清画质图像数据能够实现一个画面掌握全场动态，在大视场角下同样能够实现远距离监测的能力。十亿像素视频能够实现现场的全程细节毫无遗漏的捕捉记录，一台亿级像素系统相当于72台1080P相机捕捉效果，从而减少相机布点的硬件和人力成本。
然而，当成像分辨率超过亿级时，产生的数据量也剧增；同时，当前的亿级像素分辨率视频通常通过光场相机阵列捕捉，而光场相机阵列产生的数据是多维度、多通道式结构，并且数据通量较大，如果按照传统的图像处理方式进行数据传输或者视频融合处理，将导致高清亿级像素的图像数据质量降低，反而无法达到超清画质效果。
发明内容
为解决上述技术问题，本发明提出一种基于GPU融合处理的超清画质图像数据处理方法与装置、实现所述方法的计算机设备以及存储介质。
在本发明的第一个方面，提出一种基于GPU融合处理的超清画质图像数据处理方法，所述方法可以通过终端设备实现，该方法具体包括如下步骤：
S1：接收超清画质图像数据；
S2：异步传输所述超清画质图像数据中的第一通道数据和第二通道数据；
S3：基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
S4：融合可以同步的第一通道数据和第二通道数据；
其中，所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据。
所述步骤S3提及的所述第一通道数据和第二通道数据的同步性要求包括：在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合。
作为本发明待处理数据的来源基础，所述步骤S1包括：
通过高清阵列的光场相机采集获得所述超清画质图像数据。
在此基础上，所述步骤S2包括：
识别所述超清画质图像数据中的第一通道数据和第二通道数据；
在第一时间段传输所述第一通道数据；
在第二时间段传输所述第二通道数据；
所述第二时间段的起点晚于所述第一时间段。
更具体的，由CPU完成所述第一通道数据和第二通道数据的识别，并由CPU处理所述第二通道数据，并将第一通道数据分配给启动的GPU核处理。
基于CPU和GPU构成异构处理系统中，所述步骤S3还包括：
在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理。
作为上述方法的整体性执行要求，所述步骤S4还包括：
若所述第一通道数据和第二通道数据无法同步，则返回步骤S2。
为实现第一个方面所述的方法，在本发明的第二个方面，提供一种基于GPU融合处理的超清画质图像数据处理装置，所述装置包括光场相机阵列以及与所述光场相机阵列通信的图像识别模组。
所述图像识别模组连接异构处理器系统，所述异构处理器系统包括CPU模组和GPU模组，所述CPU模组包括多个CPU核，所述GPU模组包括多个GPU核；
所述装置还包括异步传输模组；
所述异步传输模组连接所述图像识别模组；
所述光场相机阵列将采集的光场图像数据发送至所述图像识别模组，
所述图像识别模组通过所述异构处理器系统识别出所述光场图像数据中的第一通道数据和第二通道数据；
通过所述异步传输模组异步传输所述第一通道数据和第二通道数据；
所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据；
通过所述CPU模组处理所述第二通道数据，并将第一通道数据分配给 所述GPU模组。
在具体实现中，所述CPU模组将第一通道数据分配给所述GPU模组，具体包括：
基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理。
本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。
因此，在本发明的第三个方面，本发明可以实现为一种计算机介质，计算机介质上存储有计算机程序指令，通过执行所述程序指令，实现第一个方面所述的一种基于GPU融合处理的超清画质图像数据处理方法。
同样的，在本发明的第四个方面，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述基于GPU融合处理的超清画质图像数据处理方法的全部或者部分步骤。
通过异步传输超清画质图像数据中的第一通道数据和第二通道数据，并基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数后融合可以同步的第一通道数据和第二通道数据，本发明可以确保高清阵列光场相机采集的多维度、高通量数据在进行视频融合时质量不会降低，并且能够自适应性的融合GPU核数进行调控处理，CPU用于调控GPU启动次数，避免了同时启动较多GPU核带来的非同步性数据等待。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细 体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于GPU融合处理的超清画质图像数据处理方法的主体流程示意图；
图2是图1所述方法的进一步具体实施例示意图；
图3是实现图1或图2所述方法的基于GPU融合处理的超清画质图像数据处理装置的架构图；
图4是图3所述基于GPU融合处理的超清画质图像数据处理装置的部分工作原理示意图；
图5是实现图1所述方法的计算机设备、存储介质以及计算机程序的示意图；
图6是本发明一个实施例的基于GPU融合处理的超清画质图像数据处理方法的优选实施例示意图
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
在介绍本发明的各个实施例之前，先介绍与本申请有关的部分现有技术。
光场，类似于电场、磁场的概念，用以描述光的一些特性，其包含了光线强度、位置、方向等信息；
光场相机(Light-field camera)，也称为全光相机(Plenoptic camera),具体来说 就是用极大量的微小透镜捕捉不同来源和不同角度的光线，每个透镜负责处理一定数量的像素。理论上，如果透镜数量足够的多，那么可以做到在整个光场区域捕捉的光都是清晰可辨的。
有关光场相机的进一步介绍可以参见如下现有技术：
Adelson E H,Wang J Y A.Single Lens Stereo with a Plenoptic Camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(2):99-106.
US7965936 B2：4D light field cameras；
黄焓.用于光场成像的光学系统设计方法研究[D].浙江大学,2015。
光场相机不仅可以采集到图像信息(平面的、二维图像信息)，还可以通过采集的一帧图像生成这张图片对应的深度图信息，以及这张深度图对应的点云信息；光场相机还能同时获取成像时光线的空间信息和角度信息，将二维图像中的像素按照一定规则映射为多维(大于2维，例如三维或者四维)光场进行重新投影，得到不同视角和不同相平面的对焦图像。
深度图信息，用于在图像的每一个像素值中，表示场景中某点与摄像机(视点)的距离。
在上述基础上，接下来介绍本发明的各个实施例。
首先，参见图1。图1是本发明一个实施例的一种基于GPU融合处理的超清画质图像数据处理方法的主体流程示意图。
在图1中，所述方法包括步骤S1-S4，各个步骤具体实现如下：
S1：接收超清画质图像数据；
S2：异步传输所述超清画质图像数据中的第一通道数据和第二通道数据；
S3：基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
S4：融合可同步的第一通道数据和第二通道数据；
其中，所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据。
作为上述实施例的进一步优选方案，所述方法通过终端设备实现，所述终端设备包括人机交互接口，所述人机交互接口在所述终端设备接收到超清画质图像数据后，在人机交互界面上提供多个外接输入控制设备与多个外接输出控制设备的选项，并接收当前用户对于一个外接输入控制设备和一个外接输出控制设备的选择，使得对于上述步骤S1-S4的执行和控制输出过程，可以基于所述选择的一个外接输入控制设备和一个外接输出控制设备实现。
具体的，多个不同用户可以分别选择不同的一个外接输入控制设备和一个外接输出控制设备，使得对于上述步骤S1-S4的执行和控制输出过程独立完成。
作为进一步阐述，所述终端设备安装有执行所述方法步骤S1-S4的多个图像处理APP；所述终端设备本身内置有输入控制设备和输出控制设备。
作为举例，输入控制设备包括键盘、触摸屏和鼠标，输出控制设备包括显示屏、触摸显示屏等。
现有技术中，终端设备的APP程序仅能通过内置输入控制设备和内置输出控制设备进行输入控制和输出控制，使得在使用当前终端设备时，仅支持一个用户对当前终端设备进行使用；即使终端设备支持外接输入控制设备(例如外接键盘)和外接输出控制设备(例如外接一个显示器)，也 只是将原本由内置输入控制设备的输入操作和内置输出控制设备的显示操作，切换到外接输入控制设备(例如外接键盘)和外接输出控制设备(例如外接一个显示器)上执行，依然只能支持一个用户对一个程序进行操作。
然而，在视频监控场景中，通常存在多个用户对同一个区域的不同角度视频进行融合处理的需求，但是终端设备数量有限。
为此，本发明提出改进的实施例，使得在人机交互界面上提供多个外接输入控制设备与多个外接输出控制设备的选项，并接收当前用户对于一个外接输入控制设备和一个外接输出控制设备的选择，使得对于上述步骤S1-S4的执行和控制输出过程，可以基于所述选择的一个外接输入控制设备和一个外接输出控制设备实现。
举例来说，所述终端设备可提供多个USB接口与视频输出接口，外接多组USB键盘以及多台视频显示装置，假设多组USB键盘包括键盘1-2-3，多组视频显示装置包括显示器A-B-C。
则第一用户可以选择键盘1和显示器B，第二用户可以选择显示器A和键盘3，第三用户可以选择显示器C和键盘2，
此时，一个终端设备，可以支持至少三个用户同时运行所述APP，并独立输入操作控制和输出显示执行，互不干扰，可节省硬件成本。
为进一步阐述图1实施例各个步骤，接下来具体介绍各个步骤的详细原理。
所述步骤S1包括：
通过高清阵列的光场相机采集获得所述超清画质图像数据。
阵列：是将多个元器件按照一定的形状或者规则排布在一起形成的元件阵列。
本发明中，高清阵列的光场相机，就是将多个光场图像采集元件(例如感光芯片)按照一定的规则排布形成图像传感器阵列，通过多个图像采集元件可以提高图像采集的像素数(分辨率)。
所述步骤S2包括：
识别所述超清画质图像数据中的第一通道数据和第二通道数据；
在第一时间段传输所述第一通道数据；
在第二时间段传输所述第二通道数据；
所述第二时间段的起点晚于所述第一时间段。
所述第一通道数据和第二通道数据的同步性要求包括：在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合。
需要理解的是，第一通道数据和第二通道数据在时序相同时，事实上是针对同一个目标(区域)采集的图像数据，仅仅是由于维度不同，导致传输时可能不同步。
因此，在异步传输后，如果二者时序上同步，即在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合，则认为二者同步。
当然，作为优选，所述步骤S4还包括：
若所述第一通道数据和第二通道数据无法同步，则返回步骤S2。
进一步的，在所述步骤S2中，由CPU完成所述第一通道数据和第二通道数据的识别，并由CPU处理所述第二通道数据，并将第一通道数据分配给启动的GPU核处理。
所述步骤S3还包括：
在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理。
基于上述介绍，图2示出了所述方法的具体实施例包括如下步骤：
A1：通过高清阵列的光场相机采集获得超清画质图像数据；
A2：识别所述超清画质图像数据中的第一通道数据和第二通道数据；
A3：在第一时间段传输所述第一通道数据；
A4：在第二时间段传输所述第二通道数据；
A5：基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
A6：在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理。
图3是实现图1或图2所述方法的基于GPU融合处理的超清画质图像数据处理装置的架构图。
在图3中，示出一种基于GPU融合处理的超清画质图像数据处理装置，所述装置包括光场相机阵列以及与所述光场相机阵列通信的图像识别模组。
所述图像识别模组连接异构处理器系统，所述异构处理器系统包括CPU模组和GPU模组，所述CPU模组包括多个CPU核，所述GPU模组包括多个GPU核；
所述装置还包括异步传输模组；
所述异步传输模组连接所述图像识别模组；
所述光场相机阵列将采集的光场图像数据发送至所述图像识别模组，
所述图像识别模组通过所述异构处理器系统识别出所述光场图像数据中的第一通道数据和第二通道数据；
通过所述异步传输模组异步传输所述第一通道数据和第二通道数据；
所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据；
通过所述CPU模组处理所述第二通道数据，并将第一通道数据分配给所述 GPU模组。
与上述方法类似，通过所述异步传输模组异步传输所述第一通道数据和第二通道数据，具体包括：在第一时间段传输所述第一通道数据；在第二时间段传输所述第二通道数据；所述第二时间段的起点晚于所述第一时间段。
所述CPU模组将第一通道数据分配给所述GPU模组，具体包括：
基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理。
图4是图3所述基于GPU融合处理的超清画质图像数据处理装置的部分工作原理示意图；
在图4中，所述装置执行的数据流包括如下步骤：
B1：光场相机阵列采集光场图像数据；
B2：异构处理器系统识别出所述光场图像数据中的第一通道数据和第二通道数据；
B3：异步传输模组异步传输所述第一通道数据和第二通道数据；
B4：CPU模组处理所述第二通道数据并将所述第一通道数据分配给GPU模组处理。
本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。同样的，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述技术方案。
具体的，参见图5，更多的实施例包括一种计算机设备，所述计算机设 备包括存储器和处理器，所述存储器存储有计算机可执行程序，所述处理器被配置为执行步骤C1-C6，以实现前述提及的任一个方法。
图6示出了图5可以实现的方法步骤的具体实施例如下：
C1：采集光场图像数据；
更具体的，所述步骤C1包括：
每个光场相机阵列按照预设频率采集得到监控区域的亿级像素光场图像数据；
C2：识别出所述光场图像数据中的第一通道数据和第二通道数据；
C3：异步传输所述第一通道数据和第二通道数据；
C4：通过CPU进程处理所述第二通道数据；
C5：CPU进程基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
C6：在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理。
本发明的技术方案，通过异步传输超清画质图像数据中的第一通道数据和第二通道数据，并基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数后融合可以同步的第一通道数据和第二通道数据，可以确保高清阵列光场相机采集的多维度、高通量数据在进行视频融合时质量不会降低，并且能够自适应性的融合GPU核数进行调控处理，CPU用于调控GPU启动次数，避免了同时启动较多GPU核带来的非同步性数据等待。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未 脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

Claims (8)

  1. 一种基于GPU融合处理的超清画质图像数据处理方法，其特征在于，所述方法包括：
    S1：接收超清画质图像数据；
    S2：异步传输所述超清画质图像数据中的第一通道数据和第二通道数据；
    S3：基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
    所述第一通道数据和第二通道数据的同步性要求包括：若在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合，则认为所述第一通道数据和第二通道数据同步；
    S4：融合同步的第一通道数据和第二通道数据；
    其中，所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据。
  2. 如权利要求1所述的一种基于GPU融合处理的超清画质图像数据处理方法，其特征在于，
    所述步骤S1包括：
    通过高清阵列的光场相机采集获得所述超清画质图像数据。
  3. 如权利要求1所述的一种基于GPU融合处理的超清画质图像数据处理方法，其特征在于:
    所述步骤S2包括：
    识别所述超清画质图像数据中的第一通道数据和第二通道数据；
    在第一时间段传输所述第一通道数据；
    在第二时间段传输所述第二通道数据；
    所述第二时间段的起点晚于所述第一时间段。
  4. 如权利要求1-3任一项所述的一种基于GPU融合处理的超清画质图像数据处理方法，其特征在于:
    在所述步骤S2中，由CPU完成所述第一通道数据和第二通道数据的识别，并由CPU处理所述第二通道数据，并将第一通道数据分配给启动的GPU核处理。
  5. 如权利要求1所述的一种基于GPU融合处理的超清画质图像数据处理方法，其特征在于:
    所述步骤S3还包括：
    在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理。
  6. 如权利要求1所述的一种基于GPU融合处理的超清画质图像数据处理方法，其特征在于:
    所述步骤S4还包括：
    若所述第一通道数据和第二通道数据无法同步，则返回步骤S2。
  7. 一种基于GPU融合处理的超清画质图像数据处理装置，所述装置包括光场相机阵列以及 与所述光场相机阵列通信的图像识别模组，其特征在于：
    所述图像识别模组连接异构处理器系统，所述异构处理器系统包括CPU模组和GPU模组，所述CPU模组包括多个CPU核，所述GPU模组包括多个GPU核；
    所述装置还包括异步传输模组；
    所述异步传输模组连接所述图像识别模组；
    所述光场相机阵列将采集的光场图像数据发送至所述图像识别模组，
    所述图像识别模组通过所述异构处理器系统识别出所述光场图像数据中的第一通道数据和第二通道数据；
    通过所述异步传输模组异步传输所述第一通道数据和第二通道数据；所述第一通道数据为包含深度信息的图像场数据，所述第二通道数据为包含像素信息的图像矩阵数据；
    通过所述CPU模组处理所述第二通道数据，并将第一通道数据分配给所述GPU模组；
    所述CPU模组将第一通道数据分配给所述GPU模组，具体包括：
    基于第一通道数据和第二通道数据的同步性要求，确定启动的GPU核数；
    在确定启动的GPU核数后，将所述第一通道数据平均分配给启动的GPU核处理；
    融合同步的第一通道数据和第二通道数据；
    其中，所述第一通道数据和第二通道数据的同步性要求包括：若在单位时间内能够处理所述第一通道数据并与所述第二通道数据融合，则认为所述第一通道数据和第二通道数据同步。
  8. 如权利要求7所述的一种基于GPU融合处理的超清画质图像数据处理装置，其特征在于：
    通过所述异步传输模组异步传输所述第一通道数据和第二通道数据，具体包括：
    在第一时间段传输所述第一通道数据；
    在第二时间段传输所述第二通道数据；
    所述第二时间段的起点晚于所述第一时间段。
PCT/CN2022/134870 2022-01-18 2022-11-29 基于gpu融合处理的超清画质图像数据处理方法与装置 WO2023138217A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210052934.4 2022-01-18
CN202210052934.4A CN114416365B (zh) 2022-01-18 2022-01-18 基于gpu融合处理的超清画质图像数据处理方法与装置

Publications (1)

Publication Number Publication Date
WO2023138217A1 true WO2023138217A1 (zh) 2023-07-27

Family

ID=81273084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/134870 WO2023138217A1 (zh) 2022-01-18 2022-11-29 基于gpu融合处理的超清画质图像数据处理方法与装置

Country Status (2)

Country Link
CN (1) CN114416365B (zh)
WO (1) WO2023138217A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416365B (zh) * 2022-01-18 2022-09-27 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530285A (zh) * 2016-10-21 2017-03-22 国网山东省电力公司电力科学研究院 一种基于gpu与cpu混合数据处理的输电线路部件识别方法
CN107862649A (zh) * 2017-10-11 2018-03-30 中铁第四勘察设计院集团有限公司 一种基于仿真视景系统的gpu加速多通道融合方法及系统
US20180211357A1 (en) * 2015-07-30 2018-07-26 International Business Machines Corporation Pipelined approach to fused kernels for optimization of machine learning workloads on graphical processing units
CN113506375A (zh) * 2021-07-23 2021-10-15 北京轻舟智航科技有限公司 一种根据地图数据增加场景二维图像深度信息的处理方法
CN114416365A (zh) * 2022-01-18 2022-04-29 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905741B (zh) * 2014-03-19 2017-01-11 合肥安达创展科技股份有限公司 超高清全景视频实时生成与多通道同步播放系统
US9740959B2 (en) * 2015-03-13 2017-08-22 Trimble Inc. Acceleration of exposure fusion with pixel shaders
CN108242063B (zh) * 2018-02-06 2020-06-19 清华大学深圳研究生院 一种基于gpu加速的光场图像深度估计方法
CN112738534B (zh) * 2019-10-28 2023-06-23 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN112738495B (zh) * 2019-10-28 2023-03-28 阿里巴巴集团控股有限公司 虚拟视点图像生成方法、系统、电子设备及存储介质
CN111064863B (zh) * 2019-12-25 2022-04-15 Oppo广东移动通信有限公司 图像数据的处理方法及相关装置
CN111145331B (zh) * 2020-01-09 2023-04-07 深圳市数字城市工程研究中心 一种海量城市空间三维数据云渲染图像融合方法及其系统
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
CN111539997B (zh) * 2020-04-23 2022-06-10 中国科学院自动化研究所 基于gpu计算平台的图像并行配准方法、系统、装置
CN213426343U (zh) * 2020-09-10 2021-06-11 上海风语筑文化科技股份有限公司 基于gpu实时计算支持8k超高清融合播放系统
CN113034343B (zh) * 2021-05-28 2021-09-03 南京理工大学 参数自适应的高光谱图像分类gpu并行方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211357A1 (en) * 2015-07-30 2018-07-26 International Business Machines Corporation Pipelined approach to fused kernels for optimization of machine learning workloads on graphical processing units
CN106530285A (zh) * 2016-10-21 2017-03-22 国网山东省电力公司电力科学研究院 一种基于gpu与cpu混合数据处理的输电线路部件识别方法
CN107862649A (zh) * 2017-10-11 2018-03-30 中铁第四勘察设计院集团有限公司 一种基于仿真视景系统的gpu加速多通道融合方法及系统
CN113506375A (zh) * 2021-07-23 2021-10-15 北京轻舟智航科技有限公司 一种根据地图数据增加场景二维图像深度信息的处理方法
CN114416365A (zh) * 2022-01-18 2022-04-29 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置

Also Published As

Publication number Publication date
CN114416365A (zh) 2022-04-29
CN114416365B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110636353B (zh) 一种显示设备
EP3533025B1 (en) Virtual reality experience sharing
CN111447462B (zh) 基于视角切换的视频直播方法、系统、存储介质及终端
CN102801963B (zh) 基于高清数字摄像头监控的电子ptz方法及装置
CN107087121B (zh) 一种基于运动检测的自动导播方法及装置
WO2023138217A1 (zh) 基于gpu融合处理的超清画质图像数据处理方法与装置
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
TW201428685A (zh) 影像處理器及其魚眼影像顯示方法
CN113259770B (zh) 视频播放方法、装置、电子设备、介质及产品
WO2023169305A1 (zh) 特效视频生成方法、装置、电子设备及存储介质
CN111327887A (zh) 电子装置及其操作方法，以及处理电子装置的图像的方法
JP2018023153A (ja) 複数の利用者にビデオデータストリームを提供するための方法及びシステム
JP2022050979A (ja) 通信端末、画像通信システム、画像表示方法およびプログラム
US20220400243A1 (en) Image processing apparatus and image processing method
CN107807777B (zh) 多核嵌入式电视跟踪器人机交互装置及方法
US9172860B2 (en) Computational camera and method for setting multiple focus planes in a captured image
CN106358034A (zh) 录制、观看vr视频的装置、设备及vr视频录放系统
WO2023226628A1 (zh) 图像展示方法、装置、电子设备及存储介质
WO2023138311A1 (zh) 基于亿级像素设备的云端视频监控方法与监控平台
CN113676690A (zh) 一种视频会议的实现方法、设备及存储介质
CN114170567B (zh) 监测区域亿级像素的光场相机ai分析系统及其方法
CN111382753A (zh) 光场语义分割方法、系统、电子终端及存储介质
CN105488845A (zh) 产生三维图像的方法及其电子装置
WO2022037215A1 (zh) 摄像头、显示设备和摄像头控制方法
Zhu et al. A shared augmented virtual environment for real‐time mixed reality applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22921641

Country of ref document: EP

Kind code of ref document: A1