WO2023174068A1 - 数据获取方法、装置、设备及系统 - Google Patents

数据获取方法、装置、设备及系统 Download PDF

Info

Publication number
WO2023174068A1
WO2023174068A1 PCT/CN2023/079307 CN2023079307W WO2023174068A1 WO 2023174068 A1 WO2023174068 A1 WO 2023174068A1 CN 2023079307 W CN2023079307 W CN 2023079307W WO 2023174068 A1 WO2023174068 A1 WO 2023174068A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coordinate system
annotated
processor
data acquisition
Prior art date
Application number
PCT/CN2023/079307
Other languages
English (en)
French (fr)
Inventor
兰艳成
刘劲松
杨康
叶阳阳
Original Assignee
上海寒武纪信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海寒武纪信息科技有限公司 filed Critical 上海寒武纪信息科技有限公司
Publication of WO2023174068A1 publication Critical patent/WO2023174068A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • the present application relates to the field of wireless communication technology, and in particular, to a data acquisition method, device, equipment and system.
  • the intelligent perception technology in the visual AI algorithm uses RGB images that are good to the human eye as training data. These data are not directly obtained by various camera sensors. They have also been processed by the Image Signal Process (ISP) module. . Among them, the purpose of traditional ISP is to obtain pictures that conform to human subjective feelings, but there is a gap between this and machine vision perception.
  • ISP Image Signal Process
  • the embodiments of the present application provide a data acquisition method, device, equipment and system, which can not only acquire data at low cost and with high efficiency, but also ensure the validity of the data.
  • embodiments of the present application provide a data acquisition method, including:
  • Style transfer is performed on the second image according to a third image to obtain an annotated raw image, and the third image is obtained by photographing the real environment corresponding to the target image.
  • the style transfer process is performed to ensure the authenticity of the collected training data to the greatest extent, and reduce It narrows the gap between the obtained annotated raw images and the raw images collected in the real environment, greatly reduces the cost of data collection, and provides data support for the new perceptual network architecture that ISP can learn.
  • this solution can significantly reduce algorithm iteration time, avoid heavy annotation work, and quickly iterate algorithm versions.
  • a data acquisition device including:
  • a shooting module used to shoot the annotated target image to obtain the first image
  • a processing module configured to redirect the first image to obtain a second image, wherein the coordinate system of the second image is consistent with the coordinate system of the target image;
  • a migration module configured to perform style migration on the second image according to a third image, to obtain an annotated raw image, where the third image is obtained by shooting the real environment corresponding to the target image.
  • embodiments of the present application provide a data acquisition device, including: a processor and a memory; the processor is connected to the memory, wherein the memory is used to store program code, and the processor is used to call the Program code to execute the data acquisition method described in any implementation manner of the first aspect.
  • embodiments of the present application provide a computer-readable storage medium that stores a computer program.
  • the computer program includes program instructions. When executed by a processor, the program instructions execute The data acquisition method described in any implementation manner of the first aspect.
  • embodiments of the present application provide a computer program product, including a computer program.
  • the computer program When the computer program is executed by a processor, the data acquisition method as described in any implementation manner of the first aspect is implemented.
  • embodiments of the present application provide a chip system, which is applied to electronic equipment; the chip system includes one or more interface circuits and one or more processors; the interface circuit and the The processors are interconnected through lines; the interface circuit is used to retrieve data from the memory of the electronic device
  • the memory receives a signal and sends the signal to the processor, where the signal includes computer instructions stored in the memory; when the processor executes the computer instructions, the electronic device performs the first aspect
  • Figure 1 is a schematic flow chart of a data acquisition method provided by an embodiment of the present application.
  • Figure 2 is a schematic flow chart of another data acquisition method provided by an embodiment of the present application.
  • Figure 3 is a schematic diagram of style migration processing provided by an embodiment of the present application.
  • Figure 4 is an application schematic diagram of a data acquisition method provided by an embodiment of the present application.
  • Figure 5 is a schematic structural diagram of a data acquisition device provided by an embodiment of the present application.
  • Figure 6 is a schematic structural diagram of a data acquisition device provided by an embodiment of the present application.
  • an embodiment means that a particular feature, structure or characteristic described in connection with the embodiment may be included in at least one embodiment of the application.
  • the appearances of this phrase in various places in the specification are not necessarily all referring to the same embodiment, nor are separate or alternative embodiments mutually exclusive of other embodiments. It will be explicitly and implicitly understood by those skilled in the art that the embodiments described herein may be combined with other embodiments.
  • Figure 1 is a schematic flow chart of a data acquisition method provided by an embodiment of the present application. As shown in Figure 1, the method includes steps 101-103, specifically as follows:
  • the target image may be displayed on the display screen, or may be a photo of the target image, or may be a printed and displayed target image, etc. This solution does not specifically limit this.
  • the above target image may be one or multiple, and this solution does not specifically limit this.
  • the target image may be a small number of images collected from the real world.
  • the above-mentioned target image with annotation may be, for example, an RGB image with annotation.
  • the existing annotated RGB data set (target image) is played to the display screen, and a target camera or the like is used to aim at the display screen and capture the corresponding raw data.
  • the image captured by the camera is the above-mentioned first image.
  • the first image is redirected so that the coordinate system of the first image is consistent with the coordinate system of the target image.
  • redirection can be achieved through coordinate conversion and other means.
  • the third image is obtained by shooting the real environment corresponding to the target image.
  • an image is obtained that is consistent with the original target image coordinate system, and then performs style transfer on it, thereby reducing the difference between the obtained training data (i.e., the annotated raw image) and the real The gap between raw images collected in the environment.
  • the obtained training data i.e., the annotated raw image
  • the obtained images are subjected to style transfer processing to ensure the accuracy of the collected training data to the greatest extent.
  • Authenticity reduces the gap between the obtained annotated raw images and the raw images collected in the real environment, greatly reduces the cost of data collection, and provides data support for the new perceptual network architecture that ISP can learn.
  • this solution can significantly reduce algorithm iteration time, avoid heavy annotation work, and quickly iterate algorithm versions.
  • Figure 2 is a schematic flow chart of another data acquisition method provided by an embodiment of the present application. As shown in Figure 2, the method includes steps 201-206, specifically as follows:
  • the above target image may be one or multiple, and this solution does not specifically limit this.
  • the above-mentioned target image with annotation may be, for example, an RGB image with annotation.
  • an image displayed on a device such as a display screen can be captured using a camera, and the captured image in the camera is the above-mentioned first image.
  • the first image is redirected so that the coordinate system of the first image is consistent with the coordinate system of the target image.
  • the preset checkerboard mark image is photographed, and the coordinates of the corner points in the preset checkerboard mark image in the second coordinate system are obtained.
  • the second coordinate system is the coordinate established based on the photographed image. Tie;
  • a first coordinate system is established based on the preset checkerboard mark image displayed on the display screen, and the position of the corner point in the preset checkerboard mark image on the first coordinate system is obtained.
  • Coordinates in a coordinate system photograph the preset checkerboard mark image in the display screen, and obtain the coordinates of the corner points in the preset checkerboard mark image in the second coordinate system, the second coordinates is a coordinate system established based on the captured image.
  • affine transformation is performed on the first image to obtain the second image.
  • redirection is achieved through coordinate conversion and other means.
  • the coordinates of the above-mentioned corner points in the first coordinate system are the coordinates of each corner point of the checkerboard in the real world.
  • the coordinates of the corner points in the second coordinate system are the pixel coordinates of each corner point of the checkerboard.
  • Zhang's calibration method can be used for distortion correction, constrained minimization of logarithmic intensity entropy for vignetting correction, or spatial and temporal noise reduction, multi-band filtering, etc. for noise.
  • GAN Generative Adversarial Networks
  • the second image is cropped to cut off the area beyond the target image, thereby obtaining an image containing only the target image.
  • annotation box is the annotation box in the annotated target image.
  • the mapping can be determined based on the size ratio relationship, and a second image with annotation is obtained.
  • an image is obtained that is consistent with the original target image coordinate system, and then performs style transfer on it, thereby reducing the difference between the obtained training data (i.e., the annotated raw image) and the real The gap between raw images collected in the environment.
  • the obtained training data i.e., the annotated raw image
  • affine transformation is a linear transformation from two-dimensional coordinates (x, y) to two-dimensional coordinates (u, v).
  • affine transformation can be applied to perform operations such as translation, scaling, and rotation of two-dimensional images.
  • style transfer is performed on the second image to obtain an annotated raw image.
  • GAN Generative Adversarial Networks
  • this method can be based on the Cycle GAN network to align the X to Y styles to obtain realistic annotated raw data.
  • G and F are generators respectively
  • D X and D Y are discriminators respectively.
  • X generates Y' based on the generator G, and continues supervised learning based on the discriminator D Y to obtain the trained generator G.
  • Y generates X' based on the generator F, and continuously performs supervised learning based on the discriminator D X to obtain the trained generator F.
  • the GAN network By using the GAN network to use a small number of images collected in real scenes as the target style, we can then guide the captured images to migrate to the target style in the generation network, and then obtain realistic annotated raw images to reduce the resulting raw image ( The difference between the training data) and the raw images (target images) collected in the real environment.
  • FIG. 4 it is an application diagram of a data acquisition method provided by an embodiment of the present application.
  • the data (images) in the data set are displayed on the monitor.
  • the camera sensor captures an image displayed on the display and redirects the captured image. Then, defects are repaired on the redirected images, and the labels in the dataset are mapped to obtain annotated processed images.
  • style transfer is performed based on the GAN network, and then the annotated raw images are obtained, which are training data.
  • FIG. 5 is a schematic structural diagram of a data acquisition device provided by an embodiment of the present application.
  • the data acquisition device includes a shooting module 501, a processing module 502 and a migration module 503; wherein:
  • the shooting module 501 is used to shoot the annotated target image to obtain the first image
  • the processing module 502 is configured to perform redirection processing on the first image to obtain a second image, wherein the coordinate system of the second image is consistent with the coordinate system of the target image;
  • the migration module 503 is configured to perform style migration on the second image according to a third image, to obtain an annotated raw image, where the third image is obtained by shooting the real environment corresponding to the target image.
  • processing module 502 is also used to:
  • the preset checkerboard mark image is photographed, and the coordinates of the corner points in the preset checkerboard mark image in the second coordinate system are obtained.
  • the second coordinate system is the coordinate established based on the photographed image. Tie;
  • affine transformation is performed on the first image to obtain the second image.
  • the migration module 503 is also used to:
  • style transfer is performed on the second image to obtain an annotated raw image.
  • processing module is also used for:
  • the migration module 503 is also used to perform style migration on the updated second image to obtain an annotated raw image.
  • the defects include at least one of the following:
  • processing module is also used to:
  • the migration module 503 is also used to perform style migration on the annotated second image to obtain an annotated raw image.
  • Each unit or module in the data acquisition device can be separately or entirely combined into one or several additional units or modules, or some of the units or modules can be further divided into functionally smaller units or modules. It is composed of units or modules, which can achieve the same operation without affecting the realization of the technical effects of the embodiments of the present application.
  • the above units or modules are divided based on logical functions. In practical applications, the function of one unit (or module) can also be implemented by multiple units (or modules), or the functions of multiple units (or modules) can be implemented by one unit. (or module) implementation.
  • embodiments of the present application also provide a data acquisition device.
  • FIG. 6 is a schematic structural diagram of a data acquisition device provided by an embodiment of the present application.
  • the data acquisition device 600 shown in FIG. 6 includes a memory 601, a processor 602, a communication interface 603 and a bus 604.
  • the memory 601, the processor 602, and the communication interface 603 implement communication connections between each other through the bus 604.
  • the memory 601 can be a read-only memory (Read Only Memory, ROM), a static storage device, a dynamic storage device or a random access memory (Random Access Memory, RAM).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the memory 601 can store programs. When the program stored in the memory 601 is executed by the processor 602, the processor 602 and the communication interface 603 are used to execute various steps of the data acquisition method in the embodiment of the present application.
  • the processor 602 may be a general central processing unit (CPU), a microprocessor, an application specific integrated circuit (Application Specific Integrated Circuit, ASIC), a graphics processing unit (GPU), or one or more Integrated circuit, used to execute relevant programs to realize the functions required to be performed by the units in the data acquisition device according to the embodiment of the present application, Or execute the data acquisition method of the method embodiment of the present application.
  • CPU central processing unit
  • ASIC Application Specific Integrated Circuit
  • GPU graphics processing unit
  • Integrated circuit used to execute relevant programs to realize the functions required to be performed by the units in the data acquisition device according to the embodiment of the present application, Or execute the data acquisition method of the method embodiment of the present application.
  • the processor 602 may also be an integrated circuit chip with signal processing capabilities. During the implementation process, each step of the data acquisition method of the present application can be completed by instructions in the form of hardware integrated logic circuits or software in the processor 602 .
  • the above-mentioned processor 602 can also be a general-purpose processor, a digital signal processor (Digital Signal Processing, DSP), an application specific integrated circuit (ASIC), an off-the-shelf programmable gate array (Field Programmable Gate Array, FPGA) or other programmable logic devices. , discrete gate or transistor logic devices, discrete hardware components.
  • DSP Digital Signal Processing
  • ASIC application specific integrated circuit
  • FPGA off-the-shelf programmable gate array
  • FPGA Field Programmable Gate Array
  • a general-purpose processor may be a microprocessor or the processor may be any conventional processor, etc.
  • the steps of the method disclosed in conjunction with the embodiments of the present application can be directly implemented by a hardware decoding processor, or executed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in random access memory, flash memory, read-only memory, programmable read-only memory or electrically erasable programmable memory, registers and other mature storage media in this field.
  • the storage medium is located in the memory 601.
  • the processor 602 reads the information in the memory 601, and combines its hardware to complete the functions required to be performed by the units included in the data acquisition device of the embodiment of the application, or to perform the data acquisition of the method embodiment of the application. method.
  • the communication interface 603 uses a transceiver device such as but not limited to a transceiver to implement communication between the device 600 and other devices or communication networks. For example, data can be obtained through communication interface 603.
  • a transceiver device such as but not limited to a transceiver to implement communication between the device 600 and other devices or communication networks. For example, data can be obtained through communication interface 603.
  • Bus 604 may include a path that carries information between various components of device 600 (eg, memory 601, processor 602, communication interface 603).
  • the device 600 shown in Figure 6 only shows a memory, a processor, and a communication interface, during specific implementation, those skilled in the art will understand that the device 600 also includes other devices necessary for normal operation. . At the same time, based on specific needs, those skilled in the art should understand that the device 600 may also include hardware devices that implement other additional functions. In addition, those skilled in the art should understand that the device 600 may only include components necessary to implement the embodiments of the present application, and does not necessarily include all components shown in FIG. 6 .
  • Embodiments of the present application also provide a chip system, which is applied to electronic devices; the chip system includes one or more interface circuits and one or more processors; the interface circuit and the processor interconnected through lines; the interface circuit is used to receive signals from the memory of the electronic device and send the signals to the processor, where the signals include computer instructions stored in the memory; when the processor executes When the computer instructions, the electronic device executes the data Get method.
  • Embodiments of the present application also provide a computer-readable storage medium.
  • the computer-readable storage medium stores instructions, which when run on a computer or processor, cause the computer or processor to execute one of the above methods. or multiple steps.
  • An embodiment of the present application also provides a computer program product containing instructions.
  • the computer program product is run on a computer or processor, the computer or processor is caused to perform one or more steps in any of the above methods.
  • At least one of a, b, or c can mean: a, b, c, a-b, a-c, b-c, or a-b-c, where a, b, c can be single or multiple .
  • words such as “first” and “second” are used to distinguish identical or similar items with basically the same functions and effects. Those skilled in the art can understand that words such as “first” and “second” do not limit the number and execution order, and words such as “first” and “second” do not limit the number and execution order.
  • words such as “exemplary” or “for example” are used to represent examples, illustrations or explanations. Any embodiment or design described as “exemplary” or “such as” in the embodiments of the present application is not to be construed as preferred or advantageous over other embodiments or designs. Rather, the use of words such as “exemplary” or “such as” is intended to present related concepts in a concrete manner that is easier to understand.
  • a unit described as a separate component may or may not be physically separate.
  • a component shown as a unit may or may not be a physical unit, that is, it may be located in one place, or it may be distributed to multiple network units. Some or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • the computer program product includes one or more computer instructions.
  • the computer may be a general purpose computer, a special purpose computer, a computer network, or other programmable device.
  • the computer instructions may be stored in or transmitted over a computer-readable storage medium.
  • the computer instructions can be transmitted from one website, computer, server or data center to another through wired (such as coaxial cable, optical fiber, digital subscriber line (DSL)) or wireless (such as infrared, wireless, microwave, etc.) means A website site, computer, server or data center for transmission.
  • the computer-readable storage medium can be any available medium that can be accessed by a computer or a data storage device such as a server or data center integrated with one or more available media.
  • the available media may be read-only memory (ROM), random access memory (RAM), or magnetic media, such as floppy disks, hard disks, tapes, disks, or optical media, such as , digital versatile disc (digital versatile disc, DVD), or semiconductor media, such as solid state drive (solid state disk, SSD), etc.
  • a data acquisition method comprising:
  • Style transfer is performed on the second image according to a third image to obtain an annotated raw image, and the third image is obtained by photographing the real environment corresponding to the target image.
  • the redirection processing of the first image to obtain the second image includes:
  • the preset checkerboard mark image is photographed, and the coordinates of the corner points in the preset checkerboard mark image in the second coordinate system are obtained.
  • the second coordinate system is the coordinate established based on the photographed image. Tie;
  • affine transformation is performed on the first image to obtain the second image.
  • Clause A3 The method according to Clause A1 or A2, wherein the second image is style transferred according to a third image to obtain an annotated raw image, and the third image is corresponding to the target image. Photographed in real environments, including:
  • style transfer is performed on the second image to obtain an annotated raw image.
  • the step of performing style transfer on the second image according to the third image to obtain an annotated raw image includes:
  • Style migration is performed on the updated second image according to the third image to obtain an annotated raw image.
  • the defect includes at least one of the following:
  • Clause A6 The method according to any one of Clauses A1 to A5, further comprising:
  • the step of performing style transfer on the second image according to the third image to obtain an annotated raw image includes:
  • Style transfer is performed on the annotated second image according to the third image to obtain an annotated raw image.
  • a data acquisition device comprising:
  • a shooting module used to shoot the annotated target image to obtain the first image
  • a processing module configured to redirect the first image to obtain a second image, wherein the coordinate system of the second image is consistent with the coordinate system of the target image;
  • a migration module configured to perform style migration on the second image according to a third image to obtain an annotated raw image, where the third image is obtained by shooting the real environment corresponding to the target image.
  • Clause A8 The device according to Clause A7, the processing module, for:
  • the preset checkerboard mark image is photographed, and the coordinates of the corner points in the preset checkerboard mark image in the second coordinate system are obtained.
  • the second coordinate system is the coordinate established based on the photographed image. Tie;
  • affine transformation is performed on the first image to obtain the second image.
  • style transfer is performed on the second image to obtain an annotated raw image.
  • the migration module is also used to:
  • Style migration is performed on the updated second image according to the third image to obtain an annotated raw image.
  • Clause A11 The device according to Clause A10, the defect comprising at least one of the following:
  • Clause A12. The device according to any one of clauses A7 to A11, the processing module, is also used for:
  • the migration module is also used to:
  • Style transfer is performed on the annotated second image according to the third image to obtain an annotated raw image.
  • a data acquisition device including: a processor and a memory;
  • the processor is connected to a memory, wherein the memory is used to store program code, and the processor is used to call the program code to execute the data acquisition method as described in any one of clauses A1-A6.
  • Clause A14 A computer-readable storage medium storing a computer program.
  • the computer program includes program instructions that, when executed by a processor, perform any one of clauses A1-A6.
  • Clause A15 A computer program product, comprising a computer program that, when executed by a processor, implements the data acquisition method described in any one of Clauses A1-A6.
  • a chip system the chip system is applied to electronic equipment; the chip system includes one or more interface circuits, and one or more processors; the interface circuit and the processor are interconnected through lines; The interface circuit is configured to receive a signal from a memory of the electronic device and send the signal to the processor, where the signal includes computer instructions stored in the memory; when the processor executes the computer instructions When, the electronic device executes the data acquisition method described in any one of clauses A1 to A6.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开一种数据获取方法、装置、设备及系统。该数据获取设备，包括：处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码。该方案极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。

Description

数据获取方法、装置、设备及系统
本申请要求于2022年03月18日提交中国专利局、申请号为202210274652.9、申请名称为“数据获取方法、装置、设备及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及无线通信技术领域，尤其涉及一种数据获取方法、装置、设备及系统。
背景技术
视觉AI算法中的智能感知技术使用人眼感觉良好的RGB图像作为训练数据，这些数据并不是各种相机传感器直接获得的数据，其还经过了图像信号处理(Image Signal Process，ISP)模块的处理。其中，传统ISP的目的是获得符合人主观感受的图片，而这与机器视觉感知之间存在差距。
近年来，学术界提出一种将传统ISP模块改为可学习的形式，结合上层感知算法，从传感器直接输出的未经加工的raw数据出发的感知架构。然而，这种新形态的感知架构需要带标注的raw数据作为训练数据，数据集的获取多采用相机在真实世界中采集，并经过人工清洗和标注，该方式极大地消耗成本且效率低下。
申请内容
本申请实施例提供了一种数据获取方法、装置、设备及系统，不仅可以低成本、高效率的获取数据，同时还可以保证数据的有效性。
第一方面，本申请实施例提供了一种数据获取方法，包括：
对带标注的目标图像进行拍摄，以得到第一图像；
对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
本申请实施例，通过对带标注的目标图像进行拍摄，并进行重定向以及基于在真实场景中采集的raw图像用作监督，进行风格迁移处理，最大程度保证采集的训练数据的真实性，减小了所得到的带标注的raw图像与真实环境中采集的raw图像之间的差距，极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。
第二方面，本申请实施例提供了一种数据获取装置，包括：
拍摄模块，用于对带标注的目标图像进行拍摄，以得到第一图像；
处理模块，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
迁移模块，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
第三方面，本申请实施例提供了一种数据获取设备，包括：处理器和存储器；所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如第一方面任一实现方式所述的数据获取方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如第一方面任一实现方式所述的数据获取方法。
第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面任一实现方式所述的数据获取方法。
第六方面，本申请实施例提供了一种芯片系统，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存 储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如第一方面任一实现方式所述的数据获取方法。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据获取方法的流程示意图；
图2是本申请实施例提供的又一种数据获取方法的流程示意图；
图3是本申请实施例提供的一种风格迁移处理示意图；
图4是本申请实施例提供的一种数据获取方法的应用示意图；
图5是本申请实施例提供的一种数据获取装置的结构示意图；
图6是本申请实施例提供的一种数据获取设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
请参见图1，图1是本申请实施例提供的一种数据获取方法的流程示意图。如图1所示，该方法包括步骤101-103，具体如下：
101、对带标注的目标图像进行拍摄，以得到第一图像；
其中，该目标图像可以显示在显示屏中，或者，还可以是目标图像的照片，或者还可以是打印显示的目标图像等，本方案对此不作具体限定。
上述目标图像可以是一个，也可以是多个，本方案对此不做具体限定。例如，该目标图像可以是拍摄真实世界采集到的少量图像。
上述带标注的目标图像，例如可以是带标注的RGB图像。
具体地，将现有带标注的RGB数据集(目标图像)播放到显示屏，用目标照相机等对准显示屏拍摄获取相应的raw数据，照相机拍摄得到的图像即为上述第一图像。
102、对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
由于第一图像和目标图像所处坐标系未必相同，因此对第一图像进行重定向，使得其所处坐标系与所述目标图像所处坐标系一致。
例如，可以通过坐标转换等手段实现重定向。
103、根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
通过对拍摄图像所处方位坐标系进行变换，得到与原目标图像坐标系一致的图像，然后还要对其进行风格迁移，进而减小所得到的训练数据(即带标注的raw图像)与真实环境中采集的raw图像之间的差距。
本申请实施例，通过对带标注的目标图像进行拍摄，并进行重定向，同时基于在真实场景中采集的图像用作监督，对得到的图像进行风格迁移处理，最大程度保证采集的训练数据的真实性，减小了所得到的带标注的raw图像与真实环境中采集的raw图像之间的差距，极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。
请参见图2，是本申请实施例提供的又一种数据获取方法的流程示意图。如图2所示，该方法包括步骤201-206，具体如下：
201、对带标注的目标图像进行拍摄，以得到第一图像；
上述目标图像可以是一个，也可以是多个，本方案对此不做具体限定。
上述带标注的目标图像，例如可以是带标注的RGB图像。具体地，可以基于照相机等对显示在显示屏等设备中的图像进行拍摄，拍摄得到的照相机中的图像即为上述第一图像。
202、对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
由于第一图像和目标图像所处坐标系未必相同，因此对第一图像进行重定向，使得其所处坐标系与所述目标图像所处坐标系一致。
具体地，根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
例如，当目标图像显示在显示屏中时，根据显示在所述显示屏中的预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；对所述显示屏中的预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系。
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
也就是说，通过坐标转换等手段实现重定向。
其中，上述角点在第一坐标系中的坐标，即为真实世界中棋盘格各角点坐标。角点在第二坐标系中的坐标，即为棋盘格各角点的像素坐标。通过计算出像素坐标和真实坐标之间的单应性矩阵(即转换矩阵)，利用此矩阵对拍摄的图片做仿射变换即达到调整相机传感器视角方向使其正对屏幕的目的。
203、对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
其中，图像中可能存在一些缺陷，例如镜头畸变、暗角、噪声、显示器导 致的摩尔纹、水波纹等。
具体地，可采用张氏标定法进行畸变矫正、对数强度熵的约束最小化进行暗角校正，或者，针对噪声的空域时域降噪、多频段滤波等。
需要说明的是，该缺陷消除处理，可以针对不同的实施场景带来的不同缺陷需要而针对性的设计相应增强模块，以达到缺陷消除的效果。
其中，在图像的缺陷程度低于预设程度时，还可以不对图像进行缺陷消除，直接执行风格迁移处理等。例如，真实场景下拍摄的少量图像是不带有缺陷的，且生成式对抗网络(Generative Adversarial Networks,GAN)可对缺陷图像有一定的补偿能力，生成无缺陷数据。
上述仅为一种示例，本方案对此不作具体限定。
204、对所述更新后的第二图像进行裁剪，以得到仅包含所述目标图像的图像；
由于相机拍摄时拍摄的画面可能超出了目标图像，因此通过对第二图像进行裁剪，剪去超出目标图像的区域，进而得到仅包含目标图像的图像。
205、将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
可以理解的，该标注框即为上述带标注的目标图像中的标注框。
通过将目标图像中的标注框映射至裁剪后的第二图像中，进而得到带标注的第二图像。
其中，裁剪后的图像与目标图像之间具备相应的尺寸大小比例关系。该映射可基于该尺寸大小比例关系进行确定，进而得到带标注的第二图像。
206、根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
通过对拍摄图像所处方位坐标系进行变换，得到与原目标图像坐标系一致的图像，然后还要对其进行风格迁移，进而减小所得到的训练数据(即带标注的raw图像)与真实环境中采集的raw图像之间的差距。
其中，仿射变换(Affine Transformation或Affine Map)是一种二维坐标(x,y)到二维坐标(u,v)的线性变换。图像处理中，可应用仿射变换对二维图像进行平移、缩放、旋转等操作。
可选的，根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
例如，利用生成式对抗网络(Generative Adversarial Networks,GAN)将少量真实场景中采集的图像作为目标风格，在生成网络中引导拍摄的图像向目标风格迁移。
具体地，如图3所示，由于拍摄屏幕方式采集的raw数据(第二图像，记作X)与拍摄真实世界采集的raw数据(目标图像，记作Y)间存在明显的风格差异，本方案可基于循环Cycle GAN网络，将X向Y的风格对齐，从而获得逼真的带标注raw数据。其中，G、F分别为生成器，DX、DY分别为判别器。X基于生成器G生成Y’，基于判别器DY不断进行监督学习，得到训练好的生成器G。相应地，Y基于生成器F生成X’，基于判别器DX不断进行监督学习，得到训练好的生成器F。
通过利用GAN网络将少量真实场景中采集的图像作为目标风格，进而实现在生成网络中引导拍摄的图像向目标风格迁移，进而获得逼真的带标注的raw图像，以减小所得到的raw图像(训练数据)与真实环境中采集的raw图像(目标图像)之间的差异。
本申请实施例，通过对带标注的目标图像进行拍摄，并进行重定向、缺陷消除、裁剪以及基于在真实场景中采集目标图像用作监督，进行风格迁移处理，最大程度保证采集的训练数据的真实性，减小了所得到的带标注的raw图像与真实环境中采集的raw图像之间的差距，极大地降低了数据采集成本，为ISP可学习的新型感知网络架构提供数据支持。同时，本方案可显著减少算法迭代时间，避免繁重的标注工作，快速迭代算法版本。
如图4所示，为本申请实施例提供的一种数据获取方法的应用示意图。其中，数据集中的数据(图像)显示在显示器中。相机传感器对显示在显示器中的图像进行拍摄，并对拍摄得到的图像进行重定向。然后，对重定向后的图像进行缺陷修复，并将数据集中的标签进行映射，以得到带标注的处理后的图像。为了使得上述处理后的图像与真实环境中的图像之间的差距较小，基于GAN网络进行风格迁移，进而得到带标注的raw图像，即为训练数据。
基于上述数据获取方法实施例的描述，本申请实施例还公开了一种数据获取装置。参考图5，图5是本申请实施例提供的一种数据获取装置的结构示意图，所述数据获取装置包括拍摄模块501、处理模块502和迁移模块503；其中：
拍摄模块501，用于对带标注的目标图像进行拍摄，以得到第一图像；
处理模块502，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
迁移模块503，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
其中，所述处理模块502，还用于：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
所述迁移模块503，还用于：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
可选的，所述处理模块，还用于：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述迁移模块503，还用于：对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
其中，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
进一步地，所述处理模块，还用于：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
所述迁移模块503，还用于：对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
值得指出的是，其中，数据获取装置的具体功能实现方式可以参见上述数据获取方法的描述，这里不再进行赘述。数据获取装置中的各个单元或模块可以分别或全部合并为一个或若干个另外的单元或模块来构成，或者其中的某个(些)单元或模块还可以再拆分为功能上更小的多个单元或模块来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元或模块是基于逻辑功能划分的，在实际应用中，一个单元(或模块)的功能也可以由多个单元(或模块)来实现，或者多个单元(或模块)的功能由一个单元(或模块)实现。
基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种数据获取设备。
请参见图6，是本申请实施例提供的一种数据获取设备的结构示意图。图6所示的数据获取设备600(该设备600具体可以是一种计算机设备)包括存储器601、处理器602、通信接口603以及总线604。其中，存储器601、处理器602、通信接口603通过总线604实现彼此之间的通信连接。
存储器601可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。
存储器601可以存储程序，当存储器601中存储的程序被处理器602执行时，处理器602和通信接口603用于执行本申请实施例的数据获取方法的各个步骤。
处理器602可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的数据获取装置中的单元所需执行的功能， 或者执行本申请方法实施例的数据获取方法。
处理器602还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的数据获取方法的各个步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器602还可以是通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成本申请实施例的数据获取装置中包括的单元所需执行的功能，或者执行本申请方法实施例的数据获取方法。
通信接口603使用例如但不限于收发器一类的收发装置，来实现设备600与其他设备或通信网络之间的通信。例如，可以通过通信接口603获取数据。
总线604可包括在设备600各个部件(例如，存储器601、处理器602、通信接口603)之间传送信息的通路。
应注意，尽管图6所示的设备600仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，设备600还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，设备600还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，设备600也可仅仅包括实现本申请实施例所必须的器件，而不必包括图6中所示的全部器件。
本申请实施例还提供了一种芯片系统，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行所述的数据 获取方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应步骤过程的具体描述，在此不再赘述。
应理解，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；其中A，B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-only memory，ROM)，或随机存取存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
依据以下条款可以更好地理解前述内容：
条款A1.一种数据获取方法，包括：
对带标注的目标图像进行拍摄，以得到第一图像；
对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
条款A2.根据条款A1所述的方法，所述对所述第一图像进行重定向处理，以得到第二图像，包括：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
条款A3.根据条款A1或A2所述的方法，所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的，包括：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
条款A4.根据条款A1至A3任一项所述的方法，所述方法还包括：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
条款A5.根据条款A4所述的方法，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
条款A6.根据条款A1至A5任一项所述的方法，所述方法还包括：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
条款A7.一种数据获取装置，包括：
拍摄模块，用于对带标注的目标图像进行拍摄，以得到第一图像；
处理模块，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
迁移模块，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
条款A8.根据条款A7所述的装置，所述处理模块，用于：
根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
条款A9.根据条款A7或A8所述的装置，所述迁移模块，用于：
根据所述第二图像和所述第三图像得到生成器和判别器；
根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
条款A10.根据条款A7至A9任一项所述的装置，所述处理模块，还用于：
对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
所述迁移模块，还用于：
根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
条款A11.根据条款A10所述的装置，所述缺陷包括以下至少一种：
镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
条款A12.根据条款A7至A11任一项所述的装置，所述处理模块，还用于：
对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标 注的第二图像；
所述迁移模块，还用于：
根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
条款A13.一种数据获取设备，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如条款A1-A6任一项所述的数据获取方法。
条款A14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如条款A1-A6任一项所述的数据获取方法。
条款A15.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如条款A1-A6任一项所述的数据获取方法。
条款A16.一种芯片系统，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如条款A1至A6任意一项所述的数据获取方法。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (16)

  1. 一种数据获取方法，其特征在于，包括：
    对带标注的目标图像进行拍摄，以得到第一图像；
    对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
    根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
  2. 根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行重定向处理，以得到第二图像，包括：
    根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
    对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐标系；
    根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
    根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的，包括：
    根据所述第二图像和所述第三图像得到生成器和判别器；
    根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
  4. 根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
    对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
    所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
    根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
  5. 根据权利要求4所述的方法，其特征在于，所述缺陷包括以下至少一种：
    镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
  6. 根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
    对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
    将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
    所述根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，包括：
    根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
  7. 一种数据获取装置，其特征在于，包括：
    拍摄模块，用于对带标注的目标图像进行拍摄，以得到第一图像；
    处理模块，用于对所述第一图像进行重定向处理，以得到第二图像，其中，所述第二图像所处坐标系与所述目标图像所处坐标系一致；
    迁移模块，用于根据第三图像对所述第二图像进行风格迁移，以得到带标注的raw图像，所述第三图像为对所述目标图像对应的真实环境进行拍摄得到的。
  8. 根据权利要求7所述的装置，其特征在于，所述处理模块，用于：
    根据所述目标图像和预设棋盘格标记图像建立第一坐标系，并获取所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标；
    对所述预设棋盘格标记图像进行拍摄，并获取所述预设棋盘格标记图像中角点在第二坐标系中的坐标，所述第二坐标系为根据所述拍摄的图像建立的坐 标系；
    根据所述预设棋盘格标记图像中角点在所述第一坐标系中的坐标和在第二坐标系中的坐标，得到所述第二坐标系与所述第一坐标系之间的转换矩阵；
    根据所述第二坐标系与所述第一坐标系之间的转换矩阵，对所述第一图像进行仿射变换，得到所述第二图像。
  9. 根据权利要求7或8所述的装置，其特征在于，所述迁移模块，用于：
    根据所述第二图像和所述第三图像得到生成器和判别器；
    根据所述生成器和判别器，对所述第二图像进行风格迁移，以得到带标注的raw图像。
  10. 根据权利要求7至9任一项所述的装置，其特征在于，所述处理模块，还用于：
    对所述第二图像中的缺陷进行消除，以得到更新后的第二图像；
    所述迁移模块，还用于：
    根据第三图像对所述更新后的第二图像进行风格迁移，以得到带标注的raw图像。
  11. 根据权利要求10所述的装置，其特征在于，所述缺陷包括以下至少一种：
    镜头畸变、暗角、噪声、显示器导致的摩尔纹和/或水波纹。
  12. 根据权利要求7至11任一项所述的装置，其特征在于，所述处理模块，还用于：
    对所述第二图像进行裁剪，以得到仅包含所述目标图像的图像；
    将所述目标图像中的标注框映射至所述裁剪后的第二图像中，以得到带标注的第二图像；
    所述迁移模块，还用于：
    根据第三图像对所述带标注的第二图像进行风格迁移，以得到带标注的raw图像。
  13. 一种数据获取设备，其特征在于，包括：处理器和存储器；
    所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-6任一项所述的数据获取方法。
  14. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-6任一项所述的数据获取方法。
  15. 一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的数据获取方法。
  16. 一种芯片系统，其特征在于，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至6任意一项所述的数据获取方法。
PCT/CN2023/079307 2022-03-18 2023-03-02 数据获取方法、装置、设备及系统 WO2023174068A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210274652.9 2022-03-18
CN202210274652.9A CN116823590A (zh) 2022-03-18 2022-03-18 数据获取方法、装置、设备及系统

Publications (1)

Publication Number Publication Date
WO2023174068A1 true WO2023174068A1 (zh) 2023-09-21

Family

ID=88022353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/079307 WO2023174068A1 (zh) 2022-03-18 2023-03-02 数据获取方法、装置、设备及系统

Country Status (2)

Country Link
CN (1) CN116823590A (zh)
WO (1) WO2023174068A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN110335307A (zh) * 2019-06-26 2019-10-15 Oppo广东移动通信有限公司 标定方法、装置、计算机存储介质和终端设备
CN112232425A (zh) * 2020-10-21 2021-01-15 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及电子设备
US20210312665A1 (en) * 2020-12-24 2021-10-07 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Image projection method, apparatus, device and storage medium
CN113496235A (zh) * 2020-03-19 2021-10-12 阿里巴巴集团控股有限公司 图像处理方法、装置及系统、存储介质、计算设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN110335307A (zh) * 2019-06-26 2019-10-15 Oppo广东移动通信有限公司 标定方法、装置、计算机存储介质和终端设备
CN113496235A (zh) * 2020-03-19 2021-10-12 阿里巴巴集团控股有限公司 图像处理方法、装置及系统、存储介质、计算设备
CN112232425A (zh) * 2020-10-21 2021-01-15 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及电子设备
US20210312665A1 (en) * 2020-12-24 2021-10-07 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Image projection method, apparatus, device and storage medium

Also Published As

Publication number Publication date
CN116823590A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US20200372609A1 (en) Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium
US10924729B2 (en) Method and device for calibration
US20200084401A1 (en) Correcting pixel defects based on defect history in an image processing pipeline
US9787922B2 (en) Pixel defect preprocessing in an image signal processor
US11663691B2 (en) Method and apparatus for restoring image
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
AU2016358299A1 (en) Method for generating high-dynamic range image, camera device, terminal and imaging method
JP2002328881A (ja) 画像処理装置および画像処理方法並びに携帯用映像機器
KR20190082080A (ko) 피처 매칭을 이용하는 멀티-카메라 프로세서
US20230153941A1 (en) Video generation method and apparatus, and readable medium and electronic device
WO2023125440A1 (zh) 一种降噪方法、装置、电子设备及介质
CN102025979A (zh) 一种基于双dsp的红外视频实时增强显示装置
US20230033267A1 (en) Method, apparatus and system for video processing
CN110198419A (zh) 图像处理方法、装置、存储介质及电子设备
WO2018058476A1 (zh) 一种图像校正方法及装置
WO2023010755A1 (zh) 一种hdr视频转换方法、装置、设备及计算机存储介质
CN113516719B (zh) 一种基于多单应性矩阵的相机标定方法、系统及存储介质
CN114298942A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
WO2023174068A1 (zh) 数据获取方法、装置、设备及系统
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN113627328A (zh) 电子设备及其图像识别方法、片上系统和介质
CN107645634A (zh) 一种无畸变广角网络摄像机及安防监控系统
CN117196955A (zh) 一种全景图像拼接方法及终端
US8064655B2 (en) Face image detection device, face image detection method and imaging apparatus
CN110213503A (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23769574

Country of ref document: EP

Kind code of ref document: A1