WO2024146450A1 - 一种信号处理方法、装置及系统 - Google Patents

一种信号处理方法、装置及系统 Download PDF

Info

Publication number
WO2024146450A1
WO2024146450A1 PCT/CN2023/142958 CN2023142958W WO2024146450A1 WO 2024146450 A1 WO2024146450 A1 WO 2024146450A1 CN 2023142958 W CN2023142958 W CN 2023142958W WO 2024146450 A1 WO2024146450 A1 WO 2024146450A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
processor
metadata
information
parameters
Prior art date
Application number
PCT/CN2023/142958
Other languages
English (en)
French (fr)
Inventor
王瀛
李旭旭
黄耀谆
曾俊杰
张天
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2024146450A1 publication Critical patent/WO2024146450A1/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Definitions

  • the present application relates to the field of computer technology, and in particular to a signal processing method, device and system.
  • CIS color image sensors
  • image sensors due to the lack of high-precision time domain resolution capabilities of image sensors, the image signals collected by image sensors in the form of image frames will have certain limitations. For example, when the collected object is a high-speed object, if the movement speed of the collected object exceeds the frame rate of the image sensor, motion blur will occur.
  • an event vision sensor (also known as event camera, dynamic vision sensor (DVS), event sensor)
  • EVS event vision sensor
  • the pixels of the event sensor can detect the change of the logarithm of light intensity individually, and output an event signal containing position, time, and polarity when the change exceeds the threshold.
  • event sensors and image sensors can be deployed. With the help of the event signals collected by the event sensors, the image signals collected by the image sensors in the same scene can be calibrated to compensate for the motion blur of the image signals in high-speed motion scenes.
  • the image processing process is relatively independent from the event processing process.
  • the image sensor and event sensor collect signals online respectively, and then the image data and event data are adapted and post-processed offline to obtain image data with reduced motion blur.
  • the adaptation of the two is performed offline, it is impossible to obtain high-quality signals in real time.
  • the embodiments of the present application provide a signal processing method, device and system to solve the problem that the image processing process and the event processing process are still relatively independent and high-quality signals cannot be obtained in real time.
  • a signal processing method is provided, which is applied to a first processor, the first processor is deployed in a signal processing system, the signal processing system also includes a first sensor, a second sensor and a second processor, the first processor is communicatively connected to the first sensor, and the second processor is communicatively connected to the second sensor, the signal processing method includes: the first processor obtains metadata of the second sensor; the metadata of the second sensor is used to indicate the characteristics of the acquisition signal output by the second sensor; the first processor determines a first acquisition parameter of the first sensor according to the metadata of the second sensor; the first processor controls the first sensor to acquire a first signal according to the first acquisition parameter.
  • the first processor obtains metadata indicating the characteristics of the signal collected by the second sensor, and uses the metadata of the second sensor to determine the first collection parameter of the first sensor, and then the first processor controls the first sensor to collect the first information according to the first collection parameter.
  • the collection parameters of the target sensor can be adjusted according to the metadata of other sensors to correct the signal quality of the target sensor, and the collection parameters of the sensor can be corrected online to obtain high-quality signals in real time.
  • the signal processing method provided in the present application further includes: the first processor obtains metadata of the first sensor, and the metadata of the first sensor is used to indicate the characteristics of the acquisition signal output by the first sensor; the first processor sends the metadata of the first sensor to the second processor, so that the second processor determines the second acquisition parameters of the second sensor according to the metadata of the first sensor, and controls the second sensor to acquire the second signal according to the second acquisition parameters.
  • the first processor may obtain metadata indicating the characteristics of the signal collected by the first sensor, and send the metadata of the first sensor to the second processor, so that the second processor determines the characteristics of the signal according to the metadata of the first sensor.
  • the second processor collects the second information according to the second acquisition parameter of the second sensor.
  • the acquisition parameter of the target sensor can be adjusted according to the metadata of other sensors to correct the signal quality of the target sensor, and the acquisition parameter of the sensor can be corrected online to obtain high-quality signals in real time.
  • the first sensor or the second sensor is any one of an event sensor, an image sensor, and an active depth sensor, and the first sensor and the second sensor are of different types;
  • the metadata of the event sensor includes one or more of the following parameters: strobe frequency detection data, motion state detection data, and motion estimation data;
  • the metadata of the image sensor includes one or more of the following parameters: grayscale image and statistical data, rolling shutter information, exposure information, distortion parameters, internal parameters of the signal processing system, and external parameters of the signal processing system;
  • the metadata of the depth sensor includes: discrete histogram statistical data.
  • the first processor can synchronize the time domain and align the space domain of the first sensor with the second sensor according to the first offline calibration information and the first real-time information, and can instantly adjust the time domain synchronization and space domain alignment between multiple processors in the signal processing system, avoid the calibration limitations of the offline calibration information of the signal processing system, and reduce the calibration error of the offline calibration information.
  • the first processor may determine the first data according to the first signal collected by the first sensor, and modify the first data using the metadata of the second sensor to obtain high-quality first data.
  • the first processor and the second processor are the same processor.
  • the second sensor is an event sensor
  • the metadata of the second sensor includes one or more of the following parameters: stroboscopic frequency detection data, motion state detection data, and motion estimation data.
  • the first processor determines the first acquisition parameter of the first sensor based on the metadata of the second sensor.
  • the signal processing method provided in the present application also includes: the first processor uses the stroboscopic frequency detection data to determine the exposure parameter of the first sensor; the first processor uses the motion state detection data and the motion estimation data to determine the multi-frame fusion parameter of the first sensor.
  • the second sensor is an image sensor
  • the metadata of the second sensor includes one or more of the following parameters: grayscale image and statistical data, rolling shutter information, exposure information, and distortion parameters
  • the first processor determines the first acquisition parameter of the first sensor based on the metadata of the second sensor.
  • the signal processing method provided in the present application also includes: the first processor uses the grayscale image and statistical data to determine the time delay compensation parameter of the first sensor; the first processor uses the rolling shutter information and exposure information to determine the rolling shutter rearrangement parameter of the first sensor; the first processor uses the distortion parameters, the intrinsic parameters of the signal processing system, and the extrinsic parameters of the signal processing system to determine the mapping parameters of the first sensor.
  • the first acquisition module is used to acquire metadata of the second sensor.
  • the metadata of the second sensor is used to indicate the characteristics of the acquisition signal output by the second sensor.
  • the first processing module is used to determine the first acquisition parameter of the first sensor according to the metadata of the second sensor.
  • the acquisition module is used to control the first sensor to acquire the first signal according to the first acquisition parameter.
  • the signal processing device obtains metadata indicating the characteristics of the signal collected by the second sensor, and uses the metadata of the second sensor to determine the first collection parameter of the first sensor, thereby controlling the first sensor to collect the first information according to the first collection parameter.
  • the collection parameters of the target sensor can be adjusted according to the metadata of other sensors to correct the signal quality of the target sensor, thereby realizing online correction of the collection parameters of the sensor and obtaining high-quality signals in real time.
  • the signal processing device provided by the present application further includes: a third acquisition module, which is used to acquire the first offline calibration information and the first real-time information.
  • the first offline calibration information includes one or more of the following: internal parameters of the first sensor, external parameters of the first sensor, internal parameters of the second sensor, and external parameters of the second sensor.
  • the first real-time information includes one or more of the following: depth information, brightness information of the image sensor, and contrast information of the image sensor.
  • the second processing module is used to synchronize the time domain and align the spatial domain of the first sensor with the second sensor using the first offline calibration information and the first real-time information.
  • the time domain synchronization and spatial domain alignment of the first sensor and the second sensor can be performed according to the first offline calibration information and the first real-time information.
  • the time domain synchronization and spatial domain alignment between multiple processors in the signal processing system can be adjusted in real time, thereby avoiding the calibration limitations of the offline calibration information of the signal processing system and reducing the calibration error of the offline calibration information.
  • the signal processing device provided by the present application further includes: a determination module and a correction module.
  • the determination module is used to determine the first data according to the first signal.
  • the correction module is used to correct the first acquisition signal using the metadata of the second sensor.
  • first data may be determined based on the first signal collected by the first sensor, and the first data may be corrected using metadata of the second sensor to obtain high-quality first data.
  • the first processor and the second processor are the same processor.
  • the second sensor is an event sensor
  • the metadata of the second sensor includes one or more of the following parameters: stroboscopic frequency detection data, motion state detection data, and motion estimation data.
  • the first processing module is specifically used to: determine the exposure parameters of the first sensor using the stroboscopic frequency detection data; and determine the multi-frame fusion parameters of the first sensor using the motion state detection data.
  • the second sensor is an image sensor
  • the metadata of the second sensor includes one or more of the following parameters: grayscale image and statistical data, rolling shutter information, exposure information, and distortion parameters.
  • the first processing module is specifically used to: determine the delay compensation parameters of the first sensor using the grayscale image and statistical data; determine the rolling shutter rearrangement parameters of the first sensor using the rolling shutter information and exposure information; and determine the mapping parameters of the first sensor using the distortion parameters.
  • a signal processing system comprising: a first processor, a first sensor, a second sensor, and a second processor; the first processor is connected to the first sensor, and the second processor is connected to the second sensor.
  • the first processor or the second processor is used to perform the function of the first processor in the first aspect or any possible implementation.
  • a signal processing device which has the function of implementing the method described in the first aspect.
  • the function can be implemented by hardware, or by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the above functions.
  • a computer-readable storage medium wherein instructions are stored in the computer-readable storage medium, and when the computer-readable storage medium is run on a computer, the computer can execute the signal processing method described in any one of the first aspects.
  • FIG3 is a flow chart of a signal processing method provided by an embodiment of the present application.
  • FIG4 is another schematic flow chart of a signal processing method provided in an embodiment of the present application.
  • FIG5 is a schematic diagram of a structure of a signal processing device provided in an embodiment of the present application.
  • the network architecture and business scenarios described in the embodiments of the present application are intended to more clearly illustrate the technical solutions of the embodiments of the present application, and do not constitute a limitation on the technical solutions provided in the embodiments of the present application. Ordinary technicians in this field can know that with the evolution of network architecture and the emergence of new business scenarios, the technical solutions provided in the embodiments of the present application are also applicable to similar technical problems.
  • the second sensor is an image sensor
  • the process of the second processor determining the grayscale image and statistical data and rolling shutter information in the metadata of the second sensor can be: after the second sensor collects the image signal, the second processor performs statistics and calculations on the image signal to obtain the grayscale image and statistical data and rolling shutter information.
  • This application does not limit the process of determining the grayscale image and statistical data and rolling shutter information.
  • the metadata of the first sensor sent by the first processor to the second processor may enable the second processor to determine the second acquisition parameter of the second sensor according to the metadata of the first sensor, and control the second sensor to acquire the second signal according to the second acquisition parameter.
  • the above-mentioned signal processing system can be deployed in the field of vehicle-mounted autonomous driving and security machine vision.
  • the first sensor is an image sensor
  • the second sensor is an event sensor.
  • the image sensor can obtain first offline calibration information and first real-time information (specifically refer to S304 of the above-mentioned signal processing method), and use the first offline calibration information and the first real-time information to synchronize the image sensor with the event processor in the time domain and align the image sensor with the event processor in the spatial domain (specifically refer to S305 of the above-mentioned signal processing method).
  • the embodiment of the present application can divide the computing device into functional modules according to the above method example.
  • each functional module can be divided corresponding to each function, or two or more functions can be integrated into one processing module.
  • the above integrated module can be implemented in the form of hardware or in the form of software functional modules. It should be noted that the division of modules in the embodiment of the present application is schematic and is only a logical function division. There may be other division methods in actual implementation.
  • the first acquisition module 51 is used to support the signal processing device 50 to execute S301 in the signal processing method shown in FIG. 3 or FIG. 4 .
  • the signal processing device 50 may also include: a third acquisition module 54 , a second processing module 55 , a second acquisition module 56 , a sending module 57 , a determination module 58 , and a correction module 59 .
  • the determination module 58 is used to support the signal processing device 50 to execute S308 in the signal processing method shown in FIG. 4 .
  • An embodiment of the present application also provides a signal processing system, including the first processor, the second processor, the first sensor and the second sensor of the above embodiment, and the first processor or the second processor in the signal processing system is used to execute the function of the first processor in the above method embodiment.
  • Memory 701 can be a volatile memory (volatile memory), such as random-access memory (RAM); or a non-volatile memory (non-volatile memory), such as read-only memory (ROM), flash memory (flash memory), hard disk drive (HDD) or solid-state drive (SSD); or a combination of the above types of memory, used to store application code, configuration files, data information or other content that can implement the method of the present application.
  • volatile memory such as random-access memory (RAM); or a non-volatile memory (non-volatile memory), such as read-only memory (ROM), flash memory (flash memory), hard disk drive (HDD) or solid-state drive (SSD); or a combination of the above types of memory, used to store application code, configuration files, data information or other content that can implement the method of the present application.
  • RAM random-access memory
  • non-volatile memory such as read-only memory (ROM), flash memory (flash memory), hard disk drive (HDD) or solid-state drive (SSD);
  • the memory 701 is a non-transitory computer-readable storage medium that can be used to store non-transitory software programs, non-transitory computer executable programs and modules, such as the metadata acquisition module in the embodiment of the present application.
  • the processor 702 executes various functional applications and data processing of the processor by running the non-transitory software programs, instructions and modules stored in the memory 701.
  • the memory 701 may include a program storage area and a data storage area, wherein the program storage area may store an operating system, an application required by at least one function; the data storage area may store data created by the processor 702, etc.
  • the memory 701 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one disk storage device, a flash memory device, or other non-volatile solid-state storage device.
  • the memory 701 may optionally include a memory remotely arranged relative to the processor 702, and these remote memories may be connected to the processor 702 via a network. Examples of the above-mentioned network include, but are not limited to, the Internet, an intranet, a local area network, a mobile communication network, and combinations thereof.
  • the transceiver 703 is used for information exchange between the signal processing device 700 and other devices.
  • the embodiment of the present application also provides a computer program product.
  • the computer program product When the computer program product is run on a computer, the computer is enabled to execute the relevant steps of the signal processing method in the above method embodiment.
  • the disclosed devices and methods can be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the modules or units is only a logical function division. There may be other division methods in actual implementation, such as multiple units or components can be combined or integrated into another device, or some features can be ignored or not executed.
  • Another point is that the mutual coupling or direct coupling or communication connection shown or discussed can be through some interfaces, indirect coupling or communication connection of devices or units, which can be electrical, mechanical or other forms.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种信号处理方法、装置及系统，用于实现在多个传感器的信号处理系统中，根据其他传感器的元数据调整目的传感器的采集参数，以修正目的传感器的信号质量，实现在线的修正传感器的采集参数，实时获取高质量的信号。该方法包括：第一处理器获取第二传感器的元数据；第一处理器根据第二传感器的元数据，确定第一传感器的第一采集参数；第一处理器控制第一传感器按照第一采集参数采集第一信号。

Description

一种信号处理方法、装置及系统
本申请要求于2023年01月06日提交国家知识产权局、申请号为202310019034.4、申请名称为“一种信号处理方法、装置及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种信号处理方法、装置及系统。
背景技术
随着计算机视觉的发展，计算机视觉算法的应用已成为不可缺少的一部分。目前计算机视觉算法主要依托于颜色图像传感器(color image sensor，CIS)(又称为传统相机、图像传感器)。但是由于图像传感器缺乏高精度时域分辨能力，图像传感器以图像帧的形式采集到的图像信号会存在一定的局限性，比如当采集对象为高速物体时，如果采集对象的运动速度超过了图像传感器的帧速率，就会产生运动模糊。
为了解决上述问题，可以引入事件视觉传感器(event vision sensor，EVS)(又称为事件相机、动态视觉传感器(dynamic vision sensor，DVS)、事件传感器)。事件传感器的像素可以单独检测光照强度对数的变化，并在变化量超过阈值时输出包含位置、时间、极性的事件信号。在同一场景中，可以部署事件传感器以及图像传感器，借助事件传感器采集的事件信号，对同一场景中图像传感器采集的图像信号进行校准，以弥补高速运动场景中图像信号的运动模糊。
当前，将事件传感器引入基于图像传感器的信号处理系统中时，图像处理的过程与事件处理的过程相对独立，图像传感器和事件传感器分别在线采集信号，之后对图像数据和事件数据进行离线适配和后处理增强，以得到降低了运动模糊的图像数据。但由于两者的适配在线下进行，无法实时获取高质量的信号。
发明内容
本申请实施例提供一种信号处理方法、装置及系统，以解决图像处理的过程与事件处理的过程仍相对独立，无法实时获取高质量的信号的问题。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种信号处理方法，应用于第一处理器，第一处理器部署于信号处理系统，信号处理系统还包括第一传感器、第二传感器及第二处理器，第一处理器与第一传感器通信连接，第二处理器与第二传感器通信连接，该信号处理方法包括：第一处理器获取第二传感器的元数据；第二传感器的元数据用于指示第二传感器输出的采集信号的特征；第一处理器根据第二传感器的元数据，确定第一传感器的第一采集参数；第一处理器控制第一传感器按照第一采集参数采集第一信号。
通过本申请提供的信号处理方法，第一处理器通过获取指示第二传感器采集的信号的特征的元数据，并利用该第二传感器的元数据确定第一传感器的第一采集参数，进而第一处理器控制第一传感器按照该第一采集参数采集第一信息。可以实现在多个传感器的信号处理系统中，根据其他传感器的元数据调整目的传感器的采集参数，以修正目的传感器的信号质量，实现在线的修正传感器的采集参数，实时获取高质量的信号。
一种可能的实现方式中，本申请提供的信号处理方法，还包括：第一处理器获取第一传感器的元数据，第一传感器的元数据用于指示第一传感器输出的采集信号的特征；第一处理器向第二处理器发送第一传感器的元数据，以使得第二处理器根据第一传感器的元数据，确定第二传感器的第二采集参数，并控制第二传感器按照第二采集参数采集第二信号。
该可能的实现方式中，第一处理器可以通过获取指示第一传感器采集的信号的特征的元数据，并将该第一传感器的元数据发送至第二处理器，以使第二处理器根据第一传感器的元数据，确定 第二传感器的第二采集参数，进而第二处理器按照第二传感器按照该第二采集参数采集第二信息。可以实现在多个传感器的信号处理系统中，根据其他传感器的元数据调整目的传感器的采集参数，以修正目的传感器的信号质量，实现在线的修正传感器的采集参数，实时获取高质量的信号。
一种可能的实现方式中，第一传感器或第二传感器为事件传感器、图像传感器、主动式深度传感器中任一项，第一传感器和第二传感器类型不同；事件传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据；图像传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数、信号处理系统的内参、信号处理系统的外参；深度传感器的元数据包括：离散直方图统计数据。
一种可能的实现方式中，本申请提供的信号处理方法，还包括：第一处理器获取第一离线标定信息和第一即时信息；第一离线标定信息包括以下一种或多种：第一传感器的内参、第一传感器的外参、第二传感器的内参、第二传感器的外参；第一即时信息包括以下一种或多种：深度信息、图像传感器的亮度信息、图像传感器的对比度信息；利用第一离线标定信息和第一即时信息，将第一传感器与第二传感器的时域同步、空域配准。
该可能的实现方式中，第一处理器可以根据第一离线标定信息和第一即时信息，将第一传感器与第二传感器的时域同步、空域配准。能够即时调整信号处理系统中多个处理器间的时域同步、空域配准，避免信号处理系统离线标定信息的标定局限性，并减少该离线标定信息的标定误差。
一种可能的实现方式中，本申请提供的信号处理方法，还包括：第一处理器根据第一信号，确定第一数据；第一处理器利用第二传感器的元数据，对第一数据进行修正。
该可能的实现方式中，第一处理器可以根据第一传感器采集的第一信号，确定出第一数据，并利用第二传感器的元数据对该第一数据进行修正，得到高质量的第一数据。
一种可能的实现方式中，第一处理器和第二处理器为同一个处理器。
一种可能的实现方式中，第二传感器为事件传感器，第二传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据，第一处理器根据第二传感器的元数据，确定第一传感器的第一采集参数，本申请提供的信号处理方法，还包括：第一处理器利用所述频闪频率检测数据，确定第一传感器的曝光参数；第一处理器利用运动状态检测数据和运动估计数据，确定第一传感器的多帧融合参数。
一种可能的实现方式中，第二传感器为图像传感器，第二传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数；第一处理器根据第二传感器的元数据，确定第一传感器的第一采集参数，本申请提供的信号处理方法，还包括：第一处理器利用灰度图像及统计数据，确定第一传感器的时延补偿参数；第一处理器利用卷帘快门信息和曝光信息，确定第一传感器的卷帘快门重排参数；第一处理器利用畸变参数、信号处理系统的内参和信号处理系统的外参，确定第一传感器的映射参数。
第二方面，本申请提供了一种信号处理装置，该装置应用于第一处理器，第一处理器部署于信号处理系统，信号处理系统还包括第一传感器、第二传感器及第二处理器，第一处理器与第一传感器通信连接，第二处理器与第二传感器通信连接。信号处理装置可以包括：第一获取模块、第一处理模块以及采集模块。其中：
第一获取模块用于获取第二传感器的元数据。第二传感器的元数据用于指示第二传感器输出的采集信号的特征。
第一处理模块，用于根据第二传感器的元数据，确定第一传感器的第一采集参数。
采集模块，用于控制第一传感器按照第一采集参数采集第一信号。
通过本申请提供的信号处理装置，通过获取指示第二传感器采集的信号的特征的元数据，并利用该第二传感器的元数据确定第一传感器的第一采集参数，进而控制第一传感器按照该第一采集参数采集第一信息。可以实现在多个传感器的信号处理系统中，根据其他传感器的元数据调整目的传感器的采集参数，以修正目的传感器的信号质量，实现在线的修正传感器的采集参数，实时获取高质量的信号。
一种可能的实现方式，本申请提供的信号处理装置，还包括：第二获取模块，用于获取第一传感器的元数据，第一传感器的元数据用于指示第一传感器输出的采集信号的特征；发送模块， 用于向第二处理器发送第一传感器的元数据，以使得第二处理器根据第一传感器的元数据，确定第二传感器的第二采集参数，并控制第二传感器按照第二采集参数采集第二信号。
该可能的实现方式中，可以通过获取第一传感器采集的信号的特征的元数据，并将该第一传感器的元数据发送至第二处理器，以使第二处理器根据第一传感器的元数据，确定第二传感器的第二采集参数，进而第二处理器按照第二传感器按照该第二采集参数采集第二信息。可以实现在多个传感器的信号处理系统中，根据其他传感器的元数据调整目的传感器的采集参数，以修正目的传感器的信号质量，实现在线的修正传感器的采集参数，实时获取高质量的信号。
一种可能的实现方式，第一传感器或第二传感器为事件传感器、图像传感器、主动式深度传感器中任一项，第一传感器和第二传感器类型不同。事件传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据。图像传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数、信号处理系统内参、信号处理系统外参。主动式深度传感器的元数据包括：离散直方图统计数据。
一种可能的实现方式，本申请提供的信号处理装置，还包括：第三获取模块，用于获取第一离线标定信息和第一即时信息。第一离线标定信息包括以下一种或多种：第一传感器的内参、第一传感器的外参、第二传感器的内参、第二传感器的外参。第一即时信息包括以下一种或多种：深度信息、图像传感器的亮度信息、图像传感器的对比度信息。第二处理模块，用于利用第一离线标定信息和第一即时信息，将第一传感器与第二传感器的时域同步、空域配准。
该可能的实现方式中，可以根据第一离线标定信息和第一即时信息，将第一传感器与第二传感器的时域同步、空域配准。能够即时调整信号处理系统中多个处理器间的时域同步、空域配准，避免信号处理系统离线标定信息的标定局限性，并减少该离线标定信息的标定误差。
一种可能的实现方式，本申请提供的信号处理装置，还包括：确定模块和修正模块。其中，确定模块用于根据第一信号，确定第一数据。修正模块用于利用第二传感器的元数据，对第一采集信号进行修正。
该可能的实现方式中，可以根据第一传感器采集的第一信号，确定出第一数据，并利用第二传感器的元数据对该第一数据进行修正，得到高质量的第一数据。
一种可能的实现方式，第一处理器和第二处理器为同一个处理器。
一种可能的实现方式，第二传感器为事件传感器，第二传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据。第一处理模块具体用于：利用频闪频率检测数据，确定第一传感器的曝光参数；利用运动状态检测数据，确定第一传感器的多帧融合参数。
一种可能的实现方式，所述第二传感器为图像传感器，所述第二传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数。第一处理模块具体用于：利用灰度图像及统计数据，确定第一传感器的时延补偿参数；利用卷帘快门信息和曝光信息，确定第一传感器的卷帘快门重排参数；利用畸变参数，确定第一传感器的映射参数。
第三方面，提供了一种信号处理系统，该系统包括：第一处理器、第一传感器、第二传感器及第二处理器；第一处理器与第一传感器连接，第二处理器与第二传感器连接。该第一处理器或第二处理器用于执行上述第一方面或任一种可能的实现方式中第一处理器的功能。
第四方面，提供了一种信号处理设备，该信号处理设备具有实现上述第一方面所述的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的信号处理方法。
第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的信号处理方法。
其中，第三方面至第六方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。
附图说明
图1为目前一些实施例中提供的一种信号处理系统的结构示意图；
图2为本申请实施例提供的一种信号处理系统的一个结构示意图；
图3为本申请实施例提供的一种信号处理方法的一个流程示意图；
图4为本申请实施例提供的一种信号处理方法的另一个流程示意图；
图5为本申请实施例提供的一种信号处理装置的一个结构示意图；
图6为本申请实施例提供的一种信号处理装置的另一个结构示意图；
图7为本申请实时例提供的一种信号处理设备的一个结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
此外，本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
事件传感器，一种能够响应局部亮度变化的成像传感器，即当场景中某个像素的亮度变化达到一定的门限值时，输出该像素点的一个事件信号。
图像传感器，以图像帧的形式获取场景信息，即记录下每一帧内场景中各像素点上的光强信息。
深度传感器，通过使用调制光源主动照亮物体，并捕捉反射光，从而测量出物体距离深度传感器的深度信息。
如图1所示，目前将事件传感器引入基于图像传感器的信号处理系统中的过程为由事件传感器在线采集数据，并交由事件处理器进行处理生成事件数据，同时图像传感器也进行在线采集数据，并交由图像处理器进行处理生成图像数据。待事件数据和图像数据均在线生成后，才会通过离线适配和后处理增强，得到高质量的图像数据。但是该过程中由于图像处理的过程与事件处理的过程仍相对独立，事件数据和图像数据之间可能会存在时延等问题，导致信号处理系统无法实时获取高质量的信号。
基于此，本申请提供一种信号处理方法、装置及系统，其基本原理是：第一处理器通过获取指示第二传感器采集的信号的特征的元数据，并根据该第二传感器的元数据，确定第一传感器的第一采集参数，进而控制第一传感器按照第一采集参数采集第一信号。通过在多个传感器的系统中，根据其他传感器的元数据调整目的传感器的采集参数，以修正目的传感器的信号质量，实现在线的修正传感器的采集参数，实时获取高质量的信号。
本申请提供的方案可以应用于图2示意的信号处理系统。图2示意的信号处理系统中，包括：传感器201、传感器202、处理器203、处理器204。该信号处理系统可以部署在手机、平板、计算机、手表、智能汽车、安防监控、家用物联网设备、工业设备或其他产品形态的信号处理设备 上，具体不予限定。
其中，传感器201和处理器203连接，传感器202和处理器204连接，处理器203和处理器204连接。
图2中所示的信号处理系统中的传感器可以用于采集信号，并将该信号发送至连接的处理器。例如，传感器201可以将采集到的信号发送至处理器203。传感器201、传感器202可以为事件传感器、图像传感器或主动式深度传感器，具体不予限定。
图2中所示的处理器可以用于接收传感器发送的信号，并处理该信号。处理器可以为应用型专用集成电路(application specific integrated circuit，ASCI)、数字信号处理器(digital signal processing，DSP)、图像处理器(graphics processing unit，GPU)、现场可编程门阵列(field programmable gate array，FPGA)等多种形式中的任意一种或多种，具体不予限定。
示例性的，图2中的各个处理器可以执行本申请提供的方案，实现信号处理系统中的信号的处理，具体实现详见下述方法内容的详细描述，此处不再赘述。
需要说明的是，上述图2示意的信号处理系统，仅为对本申请方案的应用场景举例说明，并不是对本申请方案应用场景的限定。
下面将结合附图对本申请实施例的实施方式进行详细描述。
一方面，本申请公开了一种信号处理方法，该方法可以由信号处理系统中的第一处理器执行。该信号处理系统还包括第一传感器、第二传感器及第二处理器，第一处理器与第一传感器通信连接，第二处理器与第二传感器通信连接。其中，该第一处理器可以为图2所示的信号处理系统中的处理器203、处理器204中的任一处理器。
如图3所示，该方法可以包括以下步骤：
S301，第一处理器获取第二传感器的元数据。
其中，第二传感器的元数据用于指示第二传感器输出的采集信号的特征，第二传感器的元数据是第二传感器通过采集场景中的参数或通过计算得到的该第二传感器独有的信息，第一传感器并不能通过采集场景中的信号而直接获取或根据该信号计算得到。在第一传感器采集场景中的信号前，第一处理器可以根据第二传感器的元数据得到第一传感器的采集参数，进而利用该第一传感器的采集参数控制第一传感器采集高质量的信号。
具体的，第二传感器的元数据可以为第二处理器利用第二传感器输出的采集信号确定的。元数据的内容不同，确定的过程不同，本申请对于确定元数据的过程不予限定。
一种可能的实现方式，第二传感器为事件传感器，第二传感器的元数据可以包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据。
示例性的，第二传感器为事件传感器，第二处理器确定第二传感器的元数据中的频闪频率检测数据的确定过程可以为：在预设的区域内，第二传感器采集该区域每一个像素位置的预设时间内的事件信号，通过计数法、匹配法等形式，检测出该区域是否存在频闪现象，并利用该事件信号进行傅里叶变换，计算出该频闪区域的频闪频率作为频闪频率检测数据。本申请对频闪频率检测数据的确定过程不予限定。
示例性的，第二传感器为事件传感器，第二处理器确定第二传感器的元数据中的运动状态检测数据的确定过程可以为：第二传感器采集预设时间内的事件信号，第二处理器利用该预设时间内的事件信号进行判断，若单位时间内单位面积的事件信号数量超过了门限值时，对该单位时间的单位面积生成运动标识，反之若该单位时间内单位面积的事件信号数量未超过门限值，对该单位时间的单位面积生成静止标识。进一步的，在对该单位时间的单位面积生成运动标识之后，还可以进一步的设置多个门限值，来对该运动状态进行分级。本申请对运动状态检测数据的确定过程不予限定。
示例性的，第二传感器为事件传感器，第二处理器确定第二传感器的元数据中的运动估计数据的确定过程可以为：第二传感器采集事件信号之后，第二处理器通过适于事件信号的特征提取、光流估计算法实现，生成该事件信号的运动估计数据。或者，可以通过特征提取、模板匹配等策略，计算获取运动估计数据、光流信息等。本申请对运动估计数据的确定过程不予限定。
另一种可能的实现方式，第二传感器为图像传感器，第二传感器的元数据包括下述参数中一 个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数、信号处理系统内参、信号处理系统外参。
示例性的，第二传感器为图像传感器，第二处理器确定第二传感器的元数据中的灰度图像及统计数据、卷帘快门信息的过程可以为：第二传感器采集图像信号之后，第二处理器对该图像信号进行统计、计算得到灰度图像及统计数据、卷帘快门信息。本申请对灰度图像及统计数据、卷帘快门信息的确定过程不予限定。
示例性的，第二传感器为图像传感器，第二处理器确定第二传感器的元数据中的曝光信息、畸变参数、信号处理系统内参、信号处理系统外参的过程可以为：第二处理器采集第二传感器的参数，得到该第二传感器的曝光信息、畸变参数、信号处理系统内参、信号处理系统外参。本申请对曝光信息、畸变参数、信号处理系统内参、信号处理系统外参的确定过程不予限定。
再一种可能的实现方式，第二传感器为深度传感器(time of flight，TOF)，第二传感器的元数据包括：离散直方图统计数据。
示例性的，第二传感器为深度传感器，第二处理器确定第二传感器的元数据中的离散直方图统计数据的过程可以为：第二传感器采集深度信号之后，第二处理器对该深度信号中预设范围内的深度进行直方图统计、计算得到离散直方图统计数据。本申请对离散直方图统计数据的确定过程不予限定。
进一步的，在第二处理器确定第二传感器的元数据之后，第一处理器获取第二传感器的元数据可以由下述两种可能的实现方式实现：
一种可能的实现方式，第二处理器和第二处理器相同，S301中第一处理器可以直接确定获取该第二传感器的元数据。
另一种可能的实现方式，第二处理器与处理器不同，S301中第一处理器可以通过与第二处理器之间的通信连接，接收第二处理器发送的元数据。
示例性的，第一处理器与第二处理器的通信过程，可以为第二处理器主动上报，或者第一处理器请求后，第二处理器响应，本申请实施例对此不予限定。
S302，第一处理器根据第二传感器的元数据，确定第一传感器的第一采集参数。
一种可能的实现方式，第一传感器为图像传感器，第二传感器为事件传感器，第一传感器的第一采集参数可以包括下述参数中一个或多个：曝光参数、多帧融合参数。
示例性的，第一处理器可以根据第二传感器的元数据中的频闪频率检测数据，将第一传感器的曝光时间确定为频闪频率检测数据中的频闪周期的整数倍，进而根据曝光时间确定第一传感器的曝光参数，以降低频闪对第一传感器采样质量的影响。
需要说明的是，上述描述仅以举例的方式，描述了第一处理器根据第二传感器的元数据中的频闪频率检测数据，确定第一传感器的曝光参数的过程，但并不是具体限定，在实际应用中，可以根据实际需求，配置第一处理器可以根据第二传感器的元数据中的频闪频率检测数据，确定第一传感器的曝光参数的具体实现。
示例性的，第一处理器可以根据第二传感器的元数据中的运动状态检测数据和运动估计数据，确定第一传感器的多帧融合参数。
示例性的，第一处理器可以根据第二传感器的元数据中的运动状态检测数据和运动估计数据，通过特征提取、模板匹配等策略，计算出鲁棒的运动估计信息、光流信息，进而利用该鲁棒的运动估计信息和光流信息，确定第一传感器的多帧融合参数，该多帧融合参数用于指示第一传感器进行多帧融合，提供运动补偿，将图像传感器采集的图像信息结合，避免出现视频卡顿的效果。同时，计算得到的该鲁棒的运动估计信息、光流信息，及基于此的运动补偿，能够显著地提升第一传感器的图像基础质量和视频基础质量，即更好的纹理细节清晰度，更好的噪声控制等等。或者，针对极暗夜景，可以通过采用“拉长曝光降低帧率”策略，提升第一传感器的物理信噪比，再通过插帧等手段补齐帧率，完成第一传感器的多帧融合。
需要说明的是，上述描述仅以举例的方式，描述了第一处理器根据第二传感器的元数据中的运动状态检测数据和运动估计数据，确定第一传感器的多帧融合参数的过程，但并不是具体限定，在实际应用中，可以根据实际需求，配置第一处理器可以根据第二传感器的元数据中的运动状态 检测数据和运动估计数据，确定第一传感器的多帧融合参数的具体实现。
另一种可能的实现方式，第一传感器为事件传感器，第二传感器为图像传感器，第一传感器的第一采集参数可以包括下述参数中一个或多个：时延补偿参数、卷帘快门重排参数、映射参数。
示例性的，第一处理器可以根据第二传感器的元数据中的灰度图像及统计数据，通过灰度差分统计法计算出场景的灰度信息和对比度信息，进而第一处理器对亮度信息和对比度信息进行分级得到分级信息，并利用该分级信息确定第一传感器的时延补偿参数。
需要说明的是，上述描述仅以举例的方式，描述了第一处理器可以根据第二传感器的元数据中的灰度图像及统计数据，确定第一传感器的时延补偿参数的过程，但并不是具体限定，在实际应用中，可以根据实际需求，配置第一处理器可以根据第二传感器的元数据中的灰度图像及统计数据，确定第一传感器的时延补偿参数的具体实现。
示例性的，第一处理器可以根据第二传感器的元数据中的卷帘快门信息和曝光信息，计算确定第一传感器的卷帘快门重排参数。其中，卷帘快门重排参数可以用于指示第一处理器通过卷帘快门重排算法，将第一传感器采集的信号进行时空域重新排列，实现自校准。
需要说明的是，上述描述仅以举例的方式，描述了第一处理器可以根据第二传感器的元数据中的卷帘快门信息和曝光信息，确定第一传感器的卷帘快门重排参数的过程，但并不是具体限定，在实际应用中，可以根据实际需求，配置第一处理器可以根据第二传感器的元数据中的卷帘快门信息和曝光信息，确定第一传感器的卷帘快门重排参数的具体实现。
示例性的，第一处理器可以根据第二传感器的元数据中的畸变参数、信号处理系统的内参和信号处理系统的外参，计算原始图像和去畸变图像之间的转换关系，确定第一传感器的映射参数。
需要说明的是，上述描述仅以举例的方式，描述了第一处理器可以根据第二传感器的元数据中的畸变参数、信号处理系统的内参和信号处理系统的外参，确定第一传感器的映射参数的过程，但并不是具体限定，在实际应用中，可以根据实际需求，配置第一处理器可以根据第二传感器的元数据中的畸变参数、信号处理系统的内参和信号处理系统的外参，确定第一传感器的映射参数的具体实现。
S303，第一处理器控制第一传感器按照第一采集参数采集第一信号。
一种可能的实现方式，第一传感器为图像传感器，第一处理器控制第一传感器按照S302中确定的曝光参数和多帧融合参数采集图像信号。
另一种可能的实现方式，第一传感器为事件传感器，第一处理器控制第一传感器按照S302中时延补偿参数、卷帘快门重排参数和映射参数采集事件信号。
示例性的，第一处理器可以将第一采集参数发送至第一传感器，控制第一传感器按照第一采集参数采集信号。
本申请提供的信号处理方法，第一处理器在获取指示第二传感器采集的信号的特征的元数据之后，利用该第二传感器的元数据，确定第一传感器的第一采集参数，进而控制该第一传感器按照第一采集参数采集第一信号。通过在多个传感器的系统中，根据其他传感器的元数据调整目的传感器的采集参数，以修正目的传感器的信号质量，实现在线的修正传感器的采集参数，实时获取高质量的信号。
进一步的，为了能够实时的保证信号处理系统中的各传感器之间时域同步、空域配准，在S301之前，如图4所示，本申请实施例提供的方法还可以包括S304和S305。
S304，第一处理器获取第一离线标定信息和第一即时信息。
其中，第一离线标定信息包括以下一种或多种：第一传感器的内参、第一传感器的外参、第一传感器的时间戳、第二传感器的内参、第二传感器的外参、第二传感器的时间戳；第一即时信息包括以下一种或多种：深度信息、图像传感器的亮度信息、图像传感器的对比度信息。
示例性的，第一处理器可以通过向第一传感器发送第一信息请求，获取得到第一离线标定信息中的第一传感器的内参、第一传感器的外参、第一传感器的时间戳。第一处理器可以通过向第二处理器发送第二信息请求，进而第二处理器根据该第二信息请求，向第二传感器发送第三信息请求，获取得到第一离线标定信息中的第二传感器的内参、第二传感器的外参、第二传感器的时间戳。
对于第一处理器获取第一即时信息的过程可以分为但不限于下述5种情况：
情况1，第一处理器为深度处理器时，对于第一即时信息中的深度信息的获取过程可以为：深度处理器向深度传感器发送深度信息请求，待深度传感器接收到该深度信息请求后，将深度信息发送至深度传感器。
情况2，第一处理器为图像传感器时，对于第一即时信息中的图像传感器的亮度信息、图像传感器的对比度信息的获取过程可以为：图像处理器向图像传感器发送亮度信息请求和对比度信息请求，待图像传感器接收到该亮度信息请求和对比度信息请求之后，将亮度信息和对比度信息发送至图像处理器。
情况3，第一处理器为事件处理器，第二处理器为图像处理器，对于第一即时信息中的图像传感器的亮度信息、图像传感器的对比度信息的获取过程可以为：事件处理器向图像处理器发送即时信息请求。图像处理器接收到该即时信息请求后，向图像传感器发送亮度信息请求和对比度信息请求，待图像传感器接收到该亮度信息请求和对比度信息请求之后，将亮度信息和对比度信息发送至图像处理器，并由图像处理器将亮度信息和对比度信息发送至事件处理器。
情况4，第一处理器为深度处理器，第二处理器为图像处理器，对于第一即时信息中的图像传感器的亮度信息、图像传感器的对比度信息的获取过程可以为：深度处理器向图像处理器发送即时信息请求。图像处理器接收到该即时信息请求后，向图像传感器发送亮度信息请求和对比度信息请求，待图像传感器接收到该亮度信息请求和对比度信息请求之后，将亮度信息和对比度信息发送至图像处理器，并由图像处理器将亮度信息和对比度信息发送至深度件处理器。
情况5，第一处理器为图像处理器，第二处理器为深度处理器，对于第一即时信息中的深度信息的获取过程可以为：图像处理器向深度处理器发送即时信息请求。深度处理器接收到该即时信息请求后，向深度传感器发送深度信息请求，待深度传感器接收到该深度信息请求之后，将深度信息发送至深度处理器，并由深度处理器将深度信息发送至图像处理器。
S305，第一处理器利用第一离线标定信息和第一即时信息，将第一传感器与第二传感器的时域同步、空域配准。
其中，第一离线标定信息包括：第一传感器的内参、第一传感器的外参、第二传感器的内参、第二传感器的外参。第一即时信息包括：深度信息、图像传感器的亮度信息、图像传感器的对比度信息。
一种可能的实现方式，第一传感器为事件传感器，第二传感器为图像传感器，第一处理器可以利用图像传感器的亮度信息和图像传感器的对比度信息，将第一传感器与第二传感器的时域同步。
示例性的，第一处理器可以利用图像传感器的亮度信息和图像传感器的对比度信息，通过在线自校准机制，进行时延同步补偿，确定第一传感器与第二传感器鲁棒的时域同步。
一种可能的实现方式，第一传感器为图像传感器，第二传感器为事件传感器，第一处理器可以利用第一传感器的内参、第一传感器的外参、第二传感器的内参、第二传感器的外参以及深度信息，将第一传感器与第二传感器的空域配准。
示例性的，第一处理器可以利用第一传感器的内参、第一传感器的外参、第二传感器的内参、第二传感器的外参和深度信息，通过对极几何原理，计算出该信号处理系统中第一传感器和第二传感器之间一对一的投影映射关系，确定出第一传感器和第二传感器之间真实可靠的空域配准。
再进一步的，为了保障第二处理器也可以实时采集高质量的信号，如图4所示，本申请实施例提供的方法还可以包括：S306和S307。示例性的，S306和S307可以在S305之后，在执行S301的同时执行。
S306，第一处理器获取第一传感器的元数据。
其中，第一传感器的元数据可以用于指示第一传感器输出的采集信号的特征。第二处理器根据第二传感器的元数据，可以确定出第二传感器的采集参数，以使得第二传感器按照确定出的采集参数采集信号就可以抵消一部分第一传感器的元数据对第二传感器的采集信号质量的影响。
示例性的，第一处理器可以通过与第一传感器之间的通信连接，接收第一传感器发送的元数据。
其中，第一处理器与第二处理器的通信过程，可以为第二处理器主动上报，或者第一处理器请求后，第二处理器响应，本申请实施例对此不予限定。
需要说明的是，对于处理器确定与其连接的传感器的元数据的过程，已经在S301中进行了详细描述，此处不再赘述。
S307，第一处理器向第二处理器发送第一传感器的元数据。
其中，第一处理器向第二处理器发送的第一传感器的元数据可以使得第二处理器根据第一传感器的元数据，确定第二传感器的第二采集参数，并控制第二传感器按照第二采集参数采集第二信号。
一种可能的实现方式，第一处理器与第二处理器相同，第二处理器可以直接利用该第一传感器的元数据，确定第二传感器的第二采集参数，并控制第二传感器按照第二采集参数采集第二信号。
另一种可能的实现方式，第一处理器与第二处理器不同，第一处理器通过与第二处理器之间的连接将第一传感器的元数据发送至第二处理器，之后再由第二处理器利用该第一传感器的元数据确定第二传感器的第二采集参数，并控制第二传感器按照第二采集参数采集第二信号。
需要说明的是，第二处理器根据第一传感器的元数据，确定第二传感器的第二采集参数，并控制第二传感器按照第二采集参数采集第二信号的过程，可以参考前述S302和S303的过程，此处不再赘述。
更进一步的，提升信号处理系统中处理器的处理效果，如图4所示，本申请实施例提供的方法还可以包括S308和S309，示例性的，S308和S309可以在S303之后执行。
S308，第一处理器根据第一信号，确定第一数据。
一种可能的实现方式，第一处理器为事件传感器，事件处理器根据事件信号，通过事件信号流解码、格式转换、坏点/热点去除、噪声控制、频闪抑制、时延补偿、空域配准、卷帘快门重排、去畸变等操作，生成事件数据。
另一种可能的实现方式，第一处理器为图像传感器，图像处理器可以根据图像信号，通过坏点修正、暗电平修正、镜头暗影修正、白平衡控制、CFA插值、伽马修正、色彩还原、去噪增强、压缩输出等操作，生成图像数据。
S309，第一处理器利用第二传感器的元数据，对第一数据进行修正。
一种可能的实现方式，第一传感器为事件传感器，第二传感器为图像传感器，第一处理器可以利用图像传感器的曝光信息，通过卷帘快门重排算法，对事件传感器采集的事件数据进行重新排布，与图像数据匹配，实现事件传感器的事件数据与图像传感器的图像数据的时空域一致性转换。
另一种可能的实现方式，第一传感器为图像传感器，第二传感器为事件传感器，第一处理器可以利用事件传感器的运动估计数据，计算出鲁棒的运动估计和光流信息，最后利用该鲁棒的运动估计和光流信息将图像传感器采集的图形数据进行多帧融合增强。
下面通过具体的示例，本申请的方案进行详细阐述。
实施例1
示例性的，第一传感器为图像传感器，第二传感器为事件传感器，图像处理器可以通过获取第一离线标定信息和第一即时信息(具体参考上述信号处理方法的S304)，并利用该第一离线标定信息和第一即时信息将图像传感器与事件处理器的时域同步、空域配准(具体参考上述信号处理方法的S305)。
图像处理器获取事件传感器的元数据(图像处理器可以作为第一处理器执行上述信号处理方法的S301)，然后图像处理器根据事件传感器的元数据，确定图像传感器的第一采集参数(具体参考上述方法的S302)。之后图像处理器控制图像传感器按照该第一采集参数采集图像信号(具体参考上述方法的S303)。同时图像处理器获取图形传感器的元数据(具体参考上述方法的S306)，并将该元数据发送至事件处理器(具体参考上述方法的S307)。图像处理器再根据该图像信号，确定图像数据(具体参考上述方法的S308)，图像处理器再利用事件传感器的元数据，对该图像数据进行修正，最后输出修正后的图像数据(具体参考上述方法的S309)。
之后，事件处理器获取图像传感器的元数据(事件处理器可以作为第一处理器执行上述信号处理方法的S301)，然后事件处理器根据图像传感器的元数据，确定事件传感器的第一采集参数(具体参考上述方法的S302)。之后事件处理器控制事件传感器按照该第一采集参数采集图像信号(具体参考上述方法的S303)。同时事件处理器获取事件传感器的元数据(具体参考上述方法的S306)，并将该元数据发送至图像处理器(具体参考上述方法的S307)。事件处理器再根据该事件信号，确定事件数据(具体参考上述方法的S308)，事件处理器利用图像传感器的元数据，对该事件数据进行修正，最后输出修正后的事件数据(具体参考上述方法的S309)。
实施例2
示例性的，上述信号处理系统可以部署于车载自动驾驶领域及安防机器视觉领域中，第一传感器为图像传感器，第二传感器为事件传感器，图像传感器可以通过获取第一离线标定信息和第一即时信息(具体参考上述信号处理方法的S304)，并利用该第一离线标定信息和第一即时信息将图像传感器与事件处理器的时域同步、空域配准(具体参考上述信号处理方法的S305)。
图像处理器获取事件传感器的元数据(图像处理器可以作为第一处理器执行上述方法的S302)。其中，事件传感器的元数据还可以包括：异常闯入数据，异常闯入数据为事件传感器基于单位时间段统计时间活跃度，并分区域的结合门限值判断，例如，M*N区域中，单位时间内，若有不少于门限值T个触发事件，则标记为活跃度高，反之则标记为活跃度低。
然后图像处理器根据事件传感器的元数据，确定图像传感器的第一采集参数(具体参考上述信号处理方法的S302)。其中，图像传感器的第一采集参数还可以包括：唤醒参数。图像传感器可以根据事件传感器的元数据中的异常闯入数据，确定唤醒参数，即确定是否开启图像传感器，例如可以在没有高活跃度事件进行时，确定不开启图像传感器，保持图像传感器以休眠状态或低功耗状态运行。
之后图像处理器控制图像传感器按照该第一采集参数采集图像信号(具体参考上述方法的S303)。同时图像处理器获取图像传感器的元数据(具体参考上述方法的S306)，并将该元数据发送至事件处理器(具体参考上述方法的S307)。图像处理器根据该图像信号，确定图像数据(具体参考上述方法的S308)，图像处理器再利用事件传感器的元数据，对该图像数据进行修正，最后输出修正后的图像数据(具体参考上述方法的S309)。
之后，事件处理器获取图像传感器的元数据(事件处理器可以作为第一处理器执行上述信号处理方法的S301)，然后事件处理器根据图像传感器的元数据，确定事件传感器的第一采集参数(具体参考上述方法的S302)。之后事件处理器控制事件传感器按照该第一采集参数采集图像信号(具体参考上述方法的S303)。同时事件处理器获取事件传感器的元数据(具体参考上述方法的S306)，并将该元数据发送至图像处理器(具体参考上述方法的S307)。事件处理器再根据该事件信号，确定事件数据(具体参考上述方法的S308)，事件处理器利用图像传感器的元数据，对该事件数据进行修正，最后输出修正后的事件数据(具体参考上述方法的S309)。
实施例3
示例性的，第一传感器为图像传感器，第二传感器为深度传感器，图像传感器可以通过获取第一离线标定信息和第一即时信息(具体参考上述信号处理方法的S304)，并利用该第一离线标定信息和第一即时信息将图像传感器与深度处理器的时域同步、空域配准(具体参考上述信号处理方法的S305)。
图像处理器获取深度传感器的元数据(图像处理器可以作为第一处理器执行上述信号处理方法的S301)，然后图像处理器根据深度传感器的元数据，确定图像传感器的第一采集参数(具体参考上述方法的S302)。之后图像处理器控制图像传感器按照该第一采集参数采集图像信号(具体参考上述方法的S303)。例如，图像传感器可以根据离散直方图统计数据，确定出深度信息，并通过三维空间映射技术，得到图像传感器的校准参数，实现图像传感器的高精度在线自校准，与图像传感器的离线标定相比，校准精度更高，同时不受场景约束限制。
同时,图像处理器获取图形传感器的元数据(具体参考上述方法的S306)，并将该元数据发送至深度处理器(具体参考上述方法的S307)。图像处理器再根据该图像信号，确定图像数据(具体参考上述方法的S308)，图像处理器再利用深度传感器的元数据，对该图像数据进行修正，最 后输出修正后的图像数据(具体参考上述方法的S309)。例如。可以根据深度传感器的离散直方图统计数据，提升图像数据的如虚化效果增强等效果。
之后，深度处理器获取图像传感器的元数据(深度处理器可以作为第一处理器执行上述信号处理方法的S301)，然后深度处理器根据图像传感器的元数据，确定深度传感器的第一采集参数(具体参考上述方法的S302)。之后深度处理器控制深度传感器按照该第一采集参数采集图像信号(具体参考上述方法的S303)。同时深度处理器获取深度传感器的元数据(具体参考上述方法的S306)，并将该元数据发送至图像处理器(具体参考上述方法的S307)。深度处理器再根据该事件信号，确定深度数据(具体参考上述方法的S308)，深度处理器利用图像传感器的元数据，对该深度数据进行修正，最后输出修正后的深度数据(具体参考上述方法的S309)。例如，深度处理器可以利用灰度图像及统计数据作为引导图，实现深度数据小分辨率深度图像超分放大等等。
上述主要从设备的工作原理的角度对本申请实施例提供的方案进行了介绍。可以理解的是，计算设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对计算设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图5示出了上述和实施例中涉及的信号处理装置的一种可能的组成示意图，如图5所示，该信号处理装置50可以包括：第一获取模块51、第一处理模块52、采集模块53。
其中，第一获取模块51，用于支持信号处理装置50执行图3或图4所示的信号处理方法中的S301。
第一处理模块52，用于支持信号处理装置50执行图3或图4任一所示的信号处理方法中的S302。
采集模块53，用于支持信号处理装置50执行图3或图4所示的信号处理方法中的S303。
在本申请实施例中，进一步的，如图6所示，该信号处理装置50还可以包括：第三获取模块54、第二处理模块55、第二获取模块56、发送模块57、确定模块58、修正模块59。
第三获取模块54，用于支持信号处理装置50执行图4所示的信号处理方法中的S304。
第二处理模块55，用于支持信号处理装置50执行图4所示的信号处理方法中的S305。
第二获取模块56，用于支持信号处理装置50执行图4所示的信号处理方法中的S306。
发送模块57，用于支持信号处理装置50执行图4所示的信号处理方法中的S307。
确定模块58，用于支持信号处理装置50执行图4所示的信号处理方法中的S308。
修正模块59，用于支持信号处理装置50执行图4所示的信号处理方法中的S309。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本申请实施例提供的信号处理装置50，用于执行上述信号处理方法，因此可以达到与上述信号处理方法相同的效果。
本申请实施例还提供了一种信号处理系统，包括上述实施例的第一处理器、第二处理器、第一传感器以及第二传感器，该信号处理系统中的第一处理器或第二处理器用于执行上述方法实施例中第一处理器的功能。
本申请实施例还提供了一种信号处理设备，如图7所示，该信号处理设备700可以包括存储器701、处理器702以及收发器703，其中存储器701和处理器702之间可以通过总线或网络或其他方式连接，图7中以通过总线连接为例。
处理器702可以为中央处理器(central processing unit，CPU)。处理器702还可以为其他通用 处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器701可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者上述种类的存储器的组合，用于存储可实现本申请方法的应用程序代码、配置文件、数据信息或者其他内容。
存储器701作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的例如元数据采集模块等等。处理器702通过运行存储在存储器701中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。
存储器701可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器702所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器701可选包括相对于处理器702远程设置的存储器，这些远程存储器可以通过网络连接至处理器702。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
收发器703用于信号处理设备700与其他设备的信息交互。
所述一个或者多个模块存储在所述存储器701中，当被所述处理器702执行时，执行如图3或图4所示实施例中的信号处理方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有指令，该指令被执行时执行上述方法实施例中的信号处理方法和相关步骤。
本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例中信号处理方法的相关步骤。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或 者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种信号处理方法，其特征在于，应用于第一处理器，所述第一处理器部署于信号处理系统，所述信号处理系统还包括第一传感器、第二传感器及第二处理器，所述第一处理器与所述第一传感器通信连接，所述第二处理器与所述第二传感器通信连接；所述方法包括：
    所述第一处理器获取所述第二传感器的元数据；所述第二传感器的元数据用于指示所述第二传感器输出的采集信号的特征；
    所述第一处理器根据所述第二传感器的元数据，确定所述第一传感器的第一采集参数；
    所述第一处理器控制所述第一传感器按照所述第一采集参数采集第一信号。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    所述第一处理器获取所述第一传感器的元数据，所述第一传感器的元数据用于指示所述第一传感器输出的采集信号的特征；
    所述第一处理器向所述第二处理器发送所述第一传感器的元数据，以使得所述第二处理器根据所述第一传感器的元数据，确定所述第二传感器的第二采集参数，并控制所述第二传感器按照所述第二采集参数采集第二信号。
  3. 根据权利要求1或2所述的方法，其特征在于，所述第一传感器或所述第二传感器为事件传感器、图像传感器、主动式深度传感器中任一项，所述第一传感器和所述第二传感器类型不同；
    所述事件传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据；
    所述图像传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数、信号处理系统的内参、信号处理系统的外参；
    所述深度传感器的元数据包括：离散直方图统计数据。
  4. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    所述第一处理器获取第一离线标定信息和第一即时信息；所述第一离线标定信息包括以下一种或多种：所述第一传感器的内参、所述第一传感器的外参、所述第二传感器的内参、所述第二传感器的外参；所述第一即时信息包括以下一种或多种：深度信息、图像传感器的亮度信息、图像传感器的对比度信息；
    利用所述第一离线标定信息和所述第一即时信息，将所述第一传感器与所述第二传感器的时域同步、空域配准。
  5. 根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
    所述第一处理器根据所述第一信号，确定第一数据；
    所述第一处理器利用所述第二传感器的元数据，对所述第一数据进行修正。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述第一处理器和所述第二处理器为同一个处理器。
  7. 根据权利要求1-3任一项所述的方法，其特征在于，所述第二传感器为事件传感器，所述第二传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据，所述第一处理器根据所述第二传感器的元数据，确定所述第一传感器的第一采集参数，包括：
    所述第一处理器利用所述频闪频率检测数据，确定所述第一传感器的曝光参数；
    所述第一处理器利用所述运动状态检测数据和所述运动估计数据，确定所述第一传感器的多帧融合参数。
  8. 根据权利要求1-3任一项所述的方法，其特征在于，所述第二传感器为图像传感器，所述第二传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数；所述第一处理器根据所述第二传感器的元数据，确定所述第一传感器的第一采集参数，包括：
    所述第一处理器利用所述灰度图像及统计数据，确定所述第一传感器的时延补偿参数；
    所述第一处理器利用所述卷帘快门信息和所述曝光信息，确定所述第一传感器的卷帘快门重排参数；
    所述第一处理器利用所述畸变参数、所述信号处理系统的内参和所述信号处理系统的外参，确定所述第一传感器的映射参数。
  9. 一种信号处理装置，其特征在于，所述装置应用于第一处理器，所述第一处理器部署于信号处理系统，所述信号处理系统还包括第一传感器、第二传感器及第二处理器，所述第一处理器与所述第一传感器通信连接，所述第二处理器与所述第二传感器通信连接；所述装置包括：
    第一获取模块，用于获取所述第二传感器的元数据；所述第二传感器的元数据用于指示所述第二传感器输出的采集信号的特征；
    第一处理模块，用于根据所述第二传感器的元数据，确定所述第一传感器的第一采集参数；
    采集模块，用于控制所述第一传感器按照所述第一采集参数采集第一信号。
  10. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    第二获取模块，用于获取所述第一传感器的元数据，所述第一传感器的元数据用于指示所述第一传感器输出的采集信号的特征；
    发送模块，用于向所述第二处理器发送所述第一传感器的元数据，以使得所述第二处理器根据所述第一传感器的元数据，确定所述第二传感器的第二采集参数，并控制所述第二传感器按照所述第二采集参数采集第二信号。
  11. 根据权利要求9或10所述的装置，其特征在于，所述第一传感器或所述第二传感器为事件传感器、图像传感器、主动式深度传感器中任一项，所述第一传感器和所述第二传感器类型不同；
    所述事件传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据；
    所述图像传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数、信号处理系统内参、信号处理系统外参；
    所述主动式深度传感器的元数据包括：离散直方图统计数据。
  12. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    第三获取模块，用于获取第一离线标定信息和第一即时信息；所述第一离线标定信息包括以下一种或多种：所述第一传感器的内参、所述第一传感器的外参、所述第二传感器的内参、所述第二传感器的外参；所述第一即时信息包括以下一种或多种：深度信息、图像传感器的亮度信息、图像传感器的对比度信息；
    第二处理模块，用于利用所述第一离线标定信息和所述第一即时信息，将所述第一传感器与所述第二传感器的时域同步、空域配准。
  13. 根据权利要求9或10所述的装置，其特征在于，所述装置还包括：
    确定模块，用于根据所述第一信号，确定第一数据；
    修正模块，用于利用所述第二传感器的元数据，对所述第一采集信号进行修正。
  14. 根据权利要求9-13任一项所述的装置，其特征在于，所述第一处理器和所述第二处理器为同一个处理器。
  15. 根据权利要求9-11任一项所述的装置，其特征在于，所述第二传感器为事件传感器，所述第二传感器的元数据包括下述参数中一个或多个：频闪频率检测数据、运动状态检测数据、运动估计数据；
    所述第一处理模块具体用于：利用所述频闪频率检测数据，确定所述第一传感器的曝光参数；利用所述运动状态检测数据，确定所述第一传感器的多帧融合参数。
  16. 根据权利要求9-11任一项所述的装置，其特征在于，所述第二传感器为图像传感器，所述第二传感器的元数据包括下述参数中一个或多个：灰度图像及统计数据、卷帘快门信息、曝光信息、畸变参数；
    所述第一处理模块具体用于：利用所述灰度图像及统计数据，确定所述第一传感器的时延补偿参数；利用所述卷帘快门信息和所述曝光信息，确定所述第一传感器的卷帘快门重排参数；利用所述畸变参数，确定所述第一传感器的映射参数。
  17. 一种信号处理系统，其特征在于，所述系统包括：第一处理器、第一传感器、第二传感器 及第二处理器；所述第一处理器与第一传感器连接，所述第二处理器与第二传感器连接；所述第一处理器或所述第二传感器用于执行权利要求1-8任一项所述的方法中第一处理器的功能。
  18. 一种信号处理设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-8任一项所述的信号处理方法。
  19. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的信号处理方法。
  20. 一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的信号处理方法。
PCT/CN2023/142958 2023-01-06 2023-12-28 一种信号处理方法、装置及系统 WO2024146450A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310019034.4A CN118317184A (zh) 2023-01-06 2023-01-06 一种信号处理方法、装置及系统
CN202310019034.4 2023-01-06

Publications (1)

Publication Number Publication Date
WO2024146450A1 true WO2024146450A1 (zh) 2024-07-11

Family

ID=91730697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/142958 WO2024146450A1 (zh) 2023-01-06 2023-12-28 一种信号处理方法、装置及系统

Country Status (2)

Country Link
CN (1) CN118317184A (zh)
WO (1) WO2024146450A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105339840A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
US20200137287A1 (en) * 2018-10-25 2020-04-30 Samsung Electronics Co., Ltd. Method and apparatus for dynamic image capturing based on motion information in image
CN113596395A (zh) * 2021-07-26 2021-11-02 浙江大华技术股份有限公司 一种图像获取的方法及监控设备
CN114549609A (zh) * 2022-02-18 2022-05-27 深圳锐视智芯科技有限公司 一种深度测量系统及方法
CN115014421A (zh) * 2022-05-31 2022-09-06 Oppo广东移动通信有限公司 传感器数据的校准方法和装置、防抖方法和摄像模组

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105339840A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
US20200137287A1 (en) * 2018-10-25 2020-04-30 Samsung Electronics Co., Ltd. Method and apparatus for dynamic image capturing based on motion information in image
CN113596395A (zh) * 2021-07-26 2021-11-02 浙江大华技术股份有限公司 一种图像获取的方法及监控设备
CN114549609A (zh) * 2022-02-18 2022-05-27 深圳锐视智芯科技有限公司 一种深度测量系统及方法
CN115014421A (zh) * 2022-05-31 2022-09-06 Oppo广东移动通信有限公司 传感器数据的校准方法和装置、防抖方法和摄像模组

Also Published As

Publication number Publication date
CN118317184A (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
JP7139452B2 (ja) 画像処理方法、コンピュータ可読記憶媒体、および電子機器
JP5592006B2 (ja) 三次元画像処理
US10728529B2 (en) Synchronization of frame captures from multiple cameras with different fields of capture
JP4806476B2 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
US20130141544A1 (en) Information processing apparatus, control method for the same and storage medium
JP2020529159A (ja) 多重化高ダイナミックレンジ画像
EP3891974B1 (en) High dynamic range anti-ghosting and fusion
JP2012195668A (ja) 画像処理装置、画像処理方法およびプログラム
JP4831760B2 (ja) ３次元情報検出方法及びその装置
TW201947536A (zh) 影像處理方法及影像處理裝置
WO2022078128A1 (zh) 图像处理方法和装置
US20130265412A1 (en) Image processing apparatus and control method therefor
US11032486B2 (en) Reducing a flicker effect of multiple light sources in an image
US20200329195A1 (en) Synchronizing application of settings for one or more cameras
JP2023055848A5 (zh)
US20220159167A1 (en) Method and electronic device for increased dynamic range of an image
WO2024125463A1 (zh) 图像处理方法、混合式图像传感器、电子设备及存储介质
WO2024146450A1 (zh) 一种信号处理方法、装置及系统
CN110930340B (zh) 一种图像处理方法及装置
CN108810509A (zh) 一种图像色彩校正方法及装置
CN111783563A (zh) 基于双光谱的人脸抓拍和监控方法及系统、设备
CN114449130B (zh) 一种多摄像头的视频融合方法及系统
CN114205650A (zh) 一种三维全景视频画面同步方法及装置
WO2021033250A1 (ja) 画像処理装置、撮像装置、システム、画像処理方法およびプログラム
JP7008431B2 (ja) 撮像装置、制御方法、プログラム及び撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23914582

Country of ref document: EP

Kind code of ref document: A1