WO2023168858A1 - 一种图像融合的方法、装置、终端及存储介质 - Google Patents

一种图像融合的方法、装置、终端及存储介质 Download PDF

Info

Publication number
WO2023168858A1
WO2023168858A1 PCT/CN2022/100993 CN2022100993W WO2023168858A1 WO 2023168858 A1 WO2023168858 A1 WO 2023168858A1 CN 2022100993 W CN2022100993 W CN 2022100993W WO 2023168858 A1 WO2023168858 A1 WO 2023168858A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
preset
preset step
fusion
captured
Prior art date
Application number
PCT/CN2022/100993
Other languages
English (en)
French (fr)
Inventor
黄立
黄晟
刘灿
王琰
曹淯婷
Original Assignee
武汉高德智感科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 武汉高德智感科技有限公司 filed Critical 武汉高德智感科技有限公司
Publication of WO2023168858A1 publication Critical patent/WO2023168858A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Definitions

  • the present invention relates to the field of image processing technology, and in particular, to an image fusion method, device, terminal and storage medium.
  • the traditional method is to use mechanical adjustment to adjust the optical axis of the low-light lens based on the optical axis of the infrared lens to achieve a position parallel to the infrared optical axis.
  • the purpose is to achieve image coincidence.
  • the present invention proposes an image fusion method, device, terminal and storage medium to solve the problem of ghosting of close targets in the prior art.
  • the present invention proposes the following specific embodiments:
  • the embodiment of the present invention proposes an image fusion method, including:
  • first image and a second image that are generated at the same time;
  • the first image and the second image are images with the same resolution that are captured by different shooting devices for the same scene;
  • the first image is an infrared image captured by an infrared photography device
  • the second image is a low-light image captured by a low-light photography device
  • the first image is a low-light image captured by a low-light photography device; the second image is an infrared image captured by an infrared photography device.
  • the first photographing device that generates the first image and the second photographing device that generates the second image constitute an image generating device; the first photographing device and the second photographing device The relative position is fixed;
  • the method also includes:
  • the adjustment parameters are associated with the image generation device and then stored.
  • the preset step range includes 1-3 pixels.
  • the first image and the second image have the same size
  • the "displaying the first image and the second image” includes:
  • the first image and the second image are displayed in a frame-overlapping manner.
  • the moving the first image and/or the second image in a preset step width and/or a longitudinal direction includes:
  • the first image and/or the second image are moved laterally and/or longitudinally with a selected preset step.
  • moving the first image and/or the second image with a preset step in the horizontal and/or vertical directions includes:
  • the first image and/or the second image are continued to be moved in the horizontal direction and/or the longitudinal direction according to the preset step distance.
  • An embodiment of the present invention also provides an image fusion device, including:
  • An acquisition module configured to acquire a first image and a second image with the same generation time; the first image and the second image are images with the same resolution that are captured by different shooting devices for the same scene;
  • a display module used to display the first image and the second image
  • a fusion module for moving the first image and/or the second image with a preset step distance in the horizontal and/or vertical directions until the second image and the preset target included in the first image are both Coincidence to complete the image fusion.
  • An embodiment of the present invention also provides a terminal, which includes a processor and a memory.
  • a computer program is stored in the memory.
  • the processor executes the computer program, the above image fusion method is implemented.
  • An embodiment of the present invention also provides a storage medium in which a computer program is stored. When the computer program is executed, the above image fusion method is implemented.
  • embodiments of the present invention propose an image fusion method, device, terminal and storage medium.
  • the method includes: acquiring a first image and a second image with the same generation time; the first image and the second image
  • the images are images with the same resolution captured by different shooting devices for the same scene; display the first image and the second image; move the first image with a preset step distance in the horizontal and/or vertical directions and/or the second image, until the second image coincides with the preset target included in both the first image, and the image fusion is completed.
  • the overlapping operation is achieved by translating the two images horizontally and/or vertically. Compared with the existing mechanical conditions, it will not cause ghosting of close targets, so that the degree of image coincidence is no longer affected by the target distance. Regardless of the distance, a better overlapping effect can be obtained for both far and near images.
  • Figure 1 shows a schematic flow chart of an image fusion method proposed by an embodiment of the present invention
  • Figure 2 shows a schematic diagram of two images in an image fusion method proposed by an embodiment of the present invention
  • Figure 3 shows a schematic structural diagram of an image fusion device proposed by an embodiment of the present invention
  • FIG. 4 shows a schematic structural diagram of an image fusion device proposed by an embodiment of the present invention.
  • Embodiment 1 of the present invention discloses an image fusion method, as shown in Figure 1, including the following steps:
  • Step 101 Obtain a first image and a second image with the same generation time; the first image and the second image are images with the same resolution that are captured by different shooting devices for the same scene;
  • the first photographing device that generates the first image and the second photographing device that generates the second image constitute an image generating device; the relative distance between the first photographing device and the second photographing device is The position is fixed; specifically, the first shooting device and the second shooting device shoot a certain scene at the same time, so that the first shooting device shoots to obtain the first image, and the second shooting device shoots to obtain the second image.
  • the first image is an infrared image captured by an infrared photography device
  • the second image is a low-light image captured by a low-light photography device
  • the first image is a low-light image captured by a low-light photography device; the second image is an infrared image captured by an infrared photography device.
  • the first shooting device is an infrared shooting device and the second shooting device is a low-light shooting device as an example.
  • the infrared shooting device and the low-light shooting device acquire the target scene image data in real time and transmit the two-channel image data.
  • the FPGA Field Programmable Gate Array, field programmable logic gate array
  • the FPGA writes the input two-channel image data into an external memory chip (for example, it can be an LPDDR2 model memory chip); because the first image Both the first image and the second image include a timestamp of the generation time. Therefore, based on the timestamp, the first image and the second image with the same generation time can be retrieved from the memory chip for subsequent processing.
  • Step 102 Display the first image and the second image
  • the first image and the second image are displayed on the display interface.
  • the first image and the second image displayed on the specific display interface can be as shown in Figure 2. It may also be displayed in other forms, for example, the frames of the first image and the second image may be overlapped and then displayed.
  • the first image and the second image have the same size; therefore, the "displaying the first image and the second image" in step 102 includes: The first image and the second image are displayed in a frame-overlapping manner.
  • Step 103 Move the first image and/or the second image with a preset step in the horizontal and/or vertical directions until the second image coincides with the preset target included in the first image, Complete the image fusion.
  • the preset step range includes 1-3 pixels. Within this range, you can choose a preset step size of 1 pixel, 2 pixels, or 3 pixels.
  • two parameters can be preset: pixel_offset (i.e., horizontal adjustment direction) and line_offset (i.e., vertical adjustment direction).
  • the two parameters pixel_offset and line_offset can be adjusted in combination.
  • one image can be fixed, such as the first image or the second image, and the other image can be moved; in addition, two images can also be moved at the same time.
  • the first image is fixed as an example for explanation. By moving in this way, you will visually see the second image moving in parallel while the first image remains stationary.
  • the two parameters of pixel_offset and line_offset are continuously adjusted until the two images are completely overlapped visually.
  • the first image and the second image may be different in size.
  • the scene in the first image includes the scene in the second image, that is, the second image is only a part of the scene included in the first image, and for example When to be adjusted, the first image and the second image are displayed as shown in Figure 2.
  • the distance that needs to be adjusted is relatively large.
  • multiple preset steps can be set; by The step 103 of moving the first image and/or the second image in a preset step width and/or a vertical direction includes: determining the current preset target in the first image and the second image.
  • the degree of overlap of the preset targets in the two images select a preset step distance according to the degree of overlap, where the higher the degree of overlap, the smaller the corresponding preset step distance; move the first step in the horizontal and/or vertical directions with the selected preset step distance. an image and/or the second image.
  • the first step is set to 1 pixel
  • the second step is set to 2 pixels
  • the third step distance is 3 pixels.
  • first determine the coincidence degree of the preset target in the first image and the second image such as the coincidence degree of the windmill.
  • the higher the coincidence degree the better the selection.
  • Small preset steps enable quick adjustment and are not easy to over-adjust.
  • the step 103 of moving the first image and/or the second image in a preset step width and/or a vertical direction includes: moving the first image and/or the second image in the current horizontal direction and/or vertical direction.
  • the direction moves the first image and/or the second image according to a preset step distance; determines whether the degree of coincidence between the preset target in the first image and the preset target in the second image is improved; if the judgment result If no, then reverse the horizontal direction and/or vertical direction, and move the first image and/or the second image in the reversed horizontal direction and/or vertical direction according to the preset step; if the judgment result is yes , then keep moving the first image and/or the second image according to the preset step distance in the horizontal direction and/or the longitudinal direction.
  • the degree of overlap of the preset targets in the two images will be obtained. If the degree of overlap does not improve, it means that the adjustment direction is wrong, and the direction will be reversed to adjust, so as to continuously improve the preset targets in the two images. The degree of overlap of the targets finally achieves complete overlap and completes image fusion.
  • the method further includes: after completing the image fusion, recording the movement data of the first image and/or the second image as adjustment parameters; comparing the adjustment parameters with the The image generation device is associated and stored.
  • the products targeted by this program can be adjusted through this program before leaving the factory. Considering that the products are divided into batches, the quality of a batch of products can be considered consistent within the allowable error range. , in this case, by adjusting one product in a batch and recording the adjustment parameters, other products in the batch can be adjusted directly based on the adjustment parameters, thereby saving adjustment time and improving the efficiency of adjustment. efficiency.
  • Embodiment 2 of the present invention discloses an image fusion device, as shown in Figure 3, including:
  • the acquisition module 201 is used to acquire a first image and a second image with the same generation time; the first image and the second image are images with the same resolution that are captured by different shooting devices for the same scene;
  • the display module 202 is used to display the first image and the second image
  • the fusion module 203 is configured to move the first image and/or the second image with a preset step distance in the horizontal and/or vertical directions until the second image and the preset image included in the first image are The targets coincide and the image fusion is completed.
  • the first image is an infrared image captured by an infrared photography device
  • the second image is a low-light image captured by a low-light photography device
  • the first image is a low-light image captured by a low-light photography device; the second image is an infrared image captured by an infrared photography device.
  • the first photographing device that generates the first image and the second photographing device that generates the second image constitute an image generating device; the first photographing device and the second photographing device The relative position is fixed;
  • the device also includes: a storage module 204, configured to record the movement data of the first image and/or the second image as adjustment parameters after completing the image fusion; The parameters are stored in association with the image generating device.
  • the preset step range includes 1-3 pixels.
  • the first image and the second image have the same size
  • the display module 202 is used for:
  • the first image and the second image are displayed in a frame-overlapping manner.
  • the fusion module 203 moves the first image and/or the second image with a preset step in the horizontal and/or vertical directions, including:
  • the first image and/or the second image are moved laterally and/or longitudinally with a selected preset step.
  • the fusion module 203 moves the first image and/or the second image with a preset step in the horizontal and/or vertical directions, including:
  • the first image and/or the second image are continued to be moved in the horizontal direction and/or the longitudinal direction according to the preset step distance.
  • Embodiment 3 of the present invention also discloses a terminal, which includes a processor and a memory.
  • a computer program is stored in the memory.
  • the processor executes the computer program, the image fusion method described in Embodiment 1 is implemented.
  • Embodiment 4 of the present invention also discloses a storage medium.
  • a computer program is stored in the storage medium.
  • the image fusion method described in Embodiment 1 is implemented.
  • embodiments of the present invention propose an image fusion method, device, terminal and storage medium.
  • the method includes: acquiring a first image and a second image with the same generation time; the first image and the second image
  • the images are images with the same resolution captured by different shooting devices for the same scene; display the first image and the second image; move the first image with a preset step distance in the horizontal and/or vertical directions and/or the second image, until the second image coincides with the preset target included in both the first image, and the image fusion is completed.
  • the overlapping operation is achieved by translating the two images horizontally and/or vertically. Compared with the existing mechanical conditions, it will not cause ghosting of close targets, so that the degree of image coincidence is no longer affected by the target distance. Regardless of the distance, a better overlapping effect can be obtained for both far and near images.
  • each block in the flowchart or block diagrams may represent a module, segment, or portion of code that contains one or more components for implementing the specified logical function(s). Executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two consecutive blocks may actually execute substantially in parallel, or they may sometimes execute in the reverse order, depending on the functionality involved.
  • each block in the structure diagrams and/or flowchart illustrations, and combinations of blocks in the structure diagrams and/or flowchart illustrations can be configured with specialized hardware-based systems that perform the specified functions or actions. to be implemented, or may be implemented using a combination of dedicated hardware and computer instructions.
  • each functional module or unit in various embodiments of the present invention can be integrated together to form an independent part, each module can exist alone, or two or more modules can be integrated to form an independent part.
  • the functions described are implemented in the form of software function modules and sold or used as independent products, they can be stored in a computer-readable storage medium.
  • the technical solution of the present invention essentially or the part that contributes to the existing technology or the part of the technical solution can be embodied in the form of a software product.
  • the computer software product is stored in a storage medium, including Several instructions are used to cause a computer device (which can be a smart phone, a personal computer, a server, a network device, etc.) to execute all or part of the steps of the methods described in various embodiments of the present invention.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disk and other media that can store program code. .

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种图像融合的方法、装置、终端及存储介质,该方法包括:获取生成时间相同的第一图像和第二图像(101);所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;显示所述第一图像与所述第二图像(102);在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合(103)。相较于现有的机械调节方式,不会导致近距离目标出现重影现象,使得图像重合度不再受到目标距离远近的限制。

Description

一种图像融合的方法、装置、终端及存储介质 技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像融合的方法、装置、终端及存储介质。
背景技术
在实现红外图像和微光图像融合时,需要将两路图像进行重合操作,传统方式是通过机械调节,以红外镜头光轴为基准,调整微光镜头光轴,以达到与红外光轴平行的目的,从而实现图像重合。
由于两路图像拍摄时,两拍摄设备到所拍摄目标所形成的两直线之间存在一定的夹角,由此,采用目前光轴校正实现图像重合的方式,实际上是将两路图像的边框重合,而由于拍摄角度的存在,这种方式理论上对于远距目标重合度好,对近距目标图像重合度不好(角度因素影响使得边框重合,图像中同一目标并不一定是重合的),加之在实际操作中光轴平行校正的精度是有限的,所以观察近距离目标时会出现重影,也即两路图像实际上并未完全重合。
由此,目前需要有一种方案来解决现有技术中的问题。
发明内容
有鉴于此,本发明提出了一种图像融合的方法、装置、终端及存储介 质,用以解决现有技术中近距离目标重影的问题。
具体的,本发明提出了以下具体的实施例:
本发明实施例提出了一种图像融合的方法,包括:
获取生成时间相同的第一图像和第二图像;所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;
显示所述第一图像与所述第二图像;
在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。
在一个具体的实施例中,所述第一图像为红外拍摄设备拍摄得到的红外图像;所述第二图像为微光拍摄设备拍摄得到的微光图像;或
所述第一图像为微光拍摄设备拍摄得到的微光图像;所述第二图像为红外拍摄设备拍摄得到的红外图像。
在一个具体的实施例中,生成所述第一图像的第一拍摄设备和生成所述第二图像的第二拍摄设备组成图像生成装置;所述第一拍摄设备和所述第二拍摄设备的相对位置固定;
该方法还包括:
在完成所述图像融合后,记录所述第一图像和/或所述第二图像的移动数据作为调整参数;
将所述调整参数与所述图像生成设备关联后进行存储。
在一个具体的实施例中,所述预设步距范围包括1-3个像素点。
在一个具体的实施例中,所述第一图像和所述第二图像的尺寸相同;
所述“显示所述第一图像与所述第二图像”,包括:
将所述第一图像与所述第二图像以边框重合的方式进行显示。
在一个具体的实施例中,所述预设步距设置有多个;
所述在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:
确定当前所述第一图像中预设目标与所述第二图像中预设目标的重合程度;
根据重合程度选择预设步距,其中重合程度越高对应的预设步距越小;
以选择的预设步距在横向和/或纵向移动所述第一图像和/或所述第二图像。
在一个具体的实施例中,所述在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:
以当前的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;
判断所述第一图像中预设目标与所述第二图像中预设目标的重合程度是否提高;
若判断结果为否,则逆转横向方向和/或纵向方向,并以逆转后的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;
若判断结果为是,则保持横向方向和/或纵向方向按照预设步距继续移动所述第一图像和/或所述第二图像。
本发明实施例还提出了一种图像融合的装置,包括:
获取模块,用于获取生成时间相同的第一图像和第二图像;所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;
显示模块,用以显示所述第一图像与所述第二图像;
融合模块,用于在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。
本发明实施例还提出了一种终端,包括处理器与存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现上述的图像融合的方法。
本发明实施例还提出了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被执行时实现上述的图像融合的方法。
以此,本发明实施例提出了一种图像融合的方法、装置、终端及存储介质,该方法包括:获取生成时间相同的第一图像和第二图像;所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;显示所述第一图像与所述第二图像;在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。本方案中通过将两图像采用横向和/或纵向平移的方式实现重合操作,相较于现有的机械条件方式,不会导致近距离目标出现重影现象,使得图像重合度不再受到目标距离远近的限制,远近距离的图像均能得到一个较好的重合效果。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成 部分采用类似的编号。
图1示出了本发明实施例提出的一种图像融合的方法的流程示意图;
图2示出了本发明实施例提出的一种图像融合的方法中两图像的示意图;
图3示出了本发明实施例提出的一种图像融合的装置的结构示意图;
图4示出了本发明实施例提出的一种图像融合的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下文中,可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
实施例1
本发明实施例1公开了一种图像融合的方法,如图1所示,包括以下步骤:
步骤101、获取生成时间相同的第一图像和第二图像;所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;
具体的,本方案中,生成所述第一图像的第一拍摄设备和生成所述第二图像的第二拍摄设备组成图像生成装置;所述第一拍摄设备和所述第二拍摄设备的相对位置固定;具体的第一拍摄设备与第二拍摄设备同时对某个场景进行拍摄,以此分别通过第一拍摄设备进行拍摄得到第一图像、通过第二拍摄设备进行拍摄得到第二图像。
进一步的,所述第一图像为红外拍摄设备拍摄得到的红外图像;所述第二图像为微光拍摄设备拍摄得到的微光图像;或
所述第一图像为微光拍摄设备拍摄得到的微光图像;所述第二图像为红外拍摄设备拍摄得到的红外图像。
在此,以第一拍摄设备为红外拍摄设备,第二拍摄设备为微光拍摄设备为例来进行说明,红外拍摄设备、微光拍摄设备实时获取目标场景图像数据,并将两路图像数据传给控制芯片中的FPGA(Field Programmable Gate  Array,现场可编程逻辑门阵列),而FPGA将输入的两路图像数据写入外挂的存储芯片(例如可以为LPDDR2型号的存储芯片);由于第一图像与第二图像均包括生成时间的时间戳,由此,基于时间戳,可以从存储芯片调取生成时间相同的第一图像和第二图像,以便后续进行处理。
步骤102、显示所述第一图像与所述第二图像;
具体的,调取了第一图像与第二图像之后,在显示界面对第一图像与第二图像进行显示,具体显示的界面所显示的第一图像和第二图像可以如图2所示,也可以显示为其他形式,例如可以将第一图像和第二图像的边框重合之后进行显示。
在一个具体的实施例中,所述第一图像和所述第二图像的尺寸相同;由此,步骤102中的所述“显示所述第一图像与所述第二图像”,包括:将所述第一图像与所述第二图像以边框重合的方式进行显示。
具体的,考虑到若所述第一图像和所述第二图像的尺寸相同,在此情况下,虽然第一图像与第二图像近距离进行边框重合后会产生重影,但是实际上需要调整的距离是很小的,在此情况下,为了加快调整的速度,可以将同样尺寸大小的第一图像与第二图像的边框进行重合之后进行显示,以此作为后续调整的基础,进而减小调整量,提高调整速度,实现图像更快的融合。
步骤103、在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。
具体的,根据实际经验,若第一图像与第二图像的大小相同,在边框重合的情况下进行调整,一般总体需要调整距离范围在20个像素点内,由此,为了综合调整速度与效果,避免调整过度,所述预设步距范围包括1-3 个像素点。在此范围内,可以选择预设步距为1个像素点、2个像素点或3个像素点。
此外,以图2为例来进行说明,可以预先设置两个参数:pixel_offset(也即横向调整方向)和line_offset(也即纵向调整方向),基于预设步距,结合调整pixel_offset和line_offset两个参数,在具体的调整时,可以固定一个图像,例如固定第一图像或第二图像,移动另一个图像;此外,也可以同时移动两个图像,在此以固定第一图像为例来进行说明,以此方式进行移动,视觉上会看到第二图像在平行移动,而第一图像保持不动。基于第一图像、第二图像的重合效果,结合预设步距不断基于pixel_offset和line_offset这两个参数来进行调整,直至从视觉上实现两幅图像的完全重合。
实际上,第一图像与第二图像可能大小并不相同,例如第一图像中的场景包括了第二图像中的场景,也即第二图像只是第一图像所包括场景中的一部分,以及例如待调整时,第一图像与第二图像显示如图2所示,在此情况下,需要调整的距离比较大,考虑到以上几种情况,所述预设步距可以设置有多个;由此步骤103中的所述在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:确定当前所述第一图像中预设目标与所述第二图像中预设目标的重合程度;根据重合程度选择预设步距,其中重合程度越高对应的预设步距越小;以选择的预设步距在横向和/或纵向移动所述第一图像和/或所述第二图像。
具体的,若第一图像与第二图像初始相距较远,在此情况下,可以设置几个不同的预设步距,例如设置第一步距为1个像素点,第二步距为2个像素点,第三步距为3个像素点,在此情况下,先判断第一图像与第二图像中预设目标的重合度,例如风车的重合程度,重合程度越高,则选择越小的预设步距,以此实现快速调整,且不容易调整过度。
此外,在另一角度,步骤103中的所述在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:以当前的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;判断所述第一图像中预设目标与所述第二图像中预设目标的重合程度是否提高;若判断结果为否,则逆转横向方向和/或纵向方向,并以逆转后的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;若判断结果为是,则保持横向方向和/或纵向方向按照预设步距继续移动所述第一图像和/或所述第二图像。
具体的,在实际的调整过程中,会获取两图像中预设目标的重合程度,若重合程度不提高,则说明调整方向错误,则逆转方向来进行调整,以此不断提两图像中预设目标的重合程度,最终实现完全重合,完成图像融合。
在一个具体的实施例中,该方法还包括:在完成所述图像融合后,记录所述第一图像和/或所述第二图像的移动数据作为调整参数;将所述调整参数与所述图像生成设备关联后进行存储。
具体的,本方案所针对的产品,在出厂之前即可通过本方案来进行调整,考虑到产品是分批次的,一个批次的产品的品质在允许的误差范围内可以被认为是一致的,在此情况下,通过对一个批次中一个产品的调整,并记录好调整参数,后续可以对该批次中的其他产品直接基于调整参数完成调整,以此节约调整的时间,提高调整的效率。
实施例2
本发明实施例2公开了一种图像融合的装置,如图3所示,包括:
获取模块201,用于获取生成时间相同的第一图像和第二图像;所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得 到的分辨率相同的图像;
显示模块202,用以显示所述第一图像与所述第二图像;
融合模块203,用于在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。
在一个具体的实施例中,所述第一图像为红外拍摄设备拍摄得到的红外图像;所述第二图像为微光拍摄设备拍摄得到的微光图像;或
所述第一图像为微光拍摄设备拍摄得到的微光图像;所述第二图像为红外拍摄设备拍摄得到的红外图像。
在一个具体的实施例中,生成所述第一图像的第一拍摄设备和生成所述第二图像的第二拍摄设备组成图像生成装置;所述第一拍摄设备和所述第二拍摄设备的相对位置固定;
如图4所示,该装置还包括:存储模块204,用于在完成所述图像融合后,记录所述第一图像和/或所述第二图像的移动数据作为调整参数;将所述调整参数与所述图像生成设备关联后进行存储。
在一个具体的实施例中,所述预设步距范围包括1-3个像素点。
在一个具体的实施例中,所述第一图像和所述第二图像的尺寸相同;
所述显示模块202,用于:
将所述第一图像与所述第二图像以边框重合的方式进行显示。
在一个具体的实施例中,所述预设步距设置有多个;
所述融合模块203在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:
确定当前所述第一图像中预设目标与所述第二图像中预设目标的重合程度;
根据重合程度选择预设步距,其中重合程度越高对应的预设步距越小;
以选择的预设步距在横向和/或纵向移动所述第一图像和/或所述第二图像。
在一个具体的实施例中,所述融合模块203在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:
以当前的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;
判断所述第一图像中预设目标与所述第二图像中预设目标的重合程度是否提高;
若判断结果为否,则逆转横向方向和/或纵向方向,并以逆转后的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;
若判断结果为是,则保持横向方向和/或纵向方向按照预设步距继续移动所述第一图像和/或所述第二图像。
实施例3
本发明实施例3还公开了一种终端,包括处理器与存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现实施例1中所述的图像融合的方法。
实施例4
本发明实施例4还公开了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被执行时实现实施例1中所述的图像融合的方法。
以此,本发明实施例提出了一种图像融合的方法、装置、终端及存储介质,该方法包括:获取生成时间相同的第一图像和第二图像;所述第一 图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;显示所述第一图像与所述第二图像;在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。本方案中通过将两图像采用横向和/或纵向平移的方式实现重合操作,相较于现有的机械条件方式,不会导致近距离目标出现重影现象,使得图像重合度不再受到目标距离远近的限制,远近距离的图像均能得到一个较好的重合效果。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使 用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

  1. 一种图像融合的方法,其特征在于,包括:
    获取生成时间相同的第一图像和第二图像;所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;
    显示所述第一图像与所述第二图像;
    在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。
  2. 如权利要求1所述的方法,其特征在于,所述第一图像为红外拍摄设备拍摄得到的红外图像;所述第二图像为微光拍摄设备拍摄得到的微光图像;或
    所述第一图像为微光拍摄设备拍摄得到的微光图像;所述第二图像为红外拍摄设备拍摄得到的红外图像。
  3. 如权利要求1所述的方法,其特征在于,生成所述第一图像的第一拍摄设备和生成所述第二图像的第二拍摄设备组成图像生成装置;所述第一拍摄设备和所述第二拍摄设备的相对位置固定;
    该方法还包括:
    在完成所述图像融合后,记录所述第一图像和/或所述第二图像的移动数据作为调整参数;
    将所述调整参数与所述图像生成设备关联后进行存储。
  4. 如权利要求1所述的方法,其特征在于,所述预设步距范围包括1-3个像素点。
  5. 如权利要求1所述的方法,其特征在于,所述第一图像和所述第二图像的尺寸相同;
    所述“显示所述第一图像与所述第二图像”,包括:
    将所述第一图像与所述第二图像以边框重合的方式进行显示。
  6. 如权利要求1所述的方法,其特征在于,所述预设步距设置有多个;
    所述在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:
    确定当前所述第一图像中预设目标与所述第二图像中预设目标的重合程度;
    根据重合程度选择预设步距,其中重合程度越高对应的预设步距越小;
    以选择的预设步距在横向和/或纵向移动所述第一图像和/或所述第二图像。
  7. 如权利要求1所述的方法,其特征在于,所述在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,包括:
    以当前的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;
    判断所述第一图像中预设目标与所述第二图像中预设目标的重合程度是否提高;
    若判断结果为否,则逆转横向方向和/或纵向方向,并以逆转后的横向方向和/或纵向方向按照预设步距移动所述第一图像和/或所述第二图像;
    若判断结果为是,则保持横向方向和/或纵向方向按照预设步距继续移动所述第一图像和/或所述第二图像。
  8. 一种图像融合的装置,其特征在于,包括:
    获取模块,用于获取生成时间相同的第一图像和第二图像;所述第一图像和所述第二图像分别是通过不同拍摄设备针对同一场景进行拍摄得到的分辨率相同的图像;
    显示模块,用以显示所述第一图像与所述第二图像;
    融合模块,用于在横向和/或纵向以预设步距移动所述第一图像和/或所述第二图像,直到所述第二图像与所述第一图像中均包括的预设目标重合,完成所述图像融合。
  9. 一种终端,其特征在于,包括处理器与存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的图像融合的方法。
  10. 一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-7任一项所述的图像融合的方法。
PCT/CN2022/100993 2022-03-09 2022-06-24 一种图像融合的方法、装置、终端及存储介质 WO2023168858A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210226577.9 2022-03-09
CN202210226577.9A CN114581563A (zh) 2022-03-09 2022-03-09 一种图像融合的方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
WO2023168858A1 true WO2023168858A1 (zh) 2023-09-14

Family

ID=81773677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/100993 WO2023168858A1 (zh) 2022-03-09 2022-06-24 一种图像融合的方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN114581563A (zh)
WO (1) WO2023168858A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581563A (zh) * 2022-03-09 2022-06-03 武汉高德智感科技有限公司 一种图像融合的方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166714A (zh) * 2019-04-11 2019-08-23 深圳市朗驰欣创科技股份有限公司 双光融合调整方法、双光融合调整装置及双光融合设备
CN111433810A (zh) * 2018-12-04 2020-07-17 深圳市大疆创新科技有限公司 目标图像的获取方法、拍摄装置和无人机
WO2020211576A1 (zh) * 2019-04-17 2020-10-22 杭州海康微影传感科技有限公司 用于双光融合的方法和装置
WO2021184362A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 一种摄像装置
CN114581563A (zh) * 2022-03-09 2022-06-03 武汉高德智感科技有限公司 一种图像融合的方法、装置、终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111433810A (zh) * 2018-12-04 2020-07-17 深圳市大疆创新科技有限公司 目标图像的获取方法、拍摄装置和无人机
CN110166714A (zh) * 2019-04-11 2019-08-23 深圳市朗驰欣创科技股份有限公司 双光融合调整方法、双光融合调整装置及双光融合设备
WO2020211576A1 (zh) * 2019-04-17 2020-10-22 杭州海康微影传感科技有限公司 用于双光融合的方法和装置
WO2021184362A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 一种摄像装置
CN114581563A (zh) * 2022-03-09 2022-06-03 武汉高德智感科技有限公司 一种图像融合的方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN114581563A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
US20230132407A1 (en) Method and device of video virtual background image processing and computer apparatus
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US20170064174A1 (en) Image shooting terminal and image shooting method
CN105578024B (zh) 相机对焦方法、对焦装置及移动终端
WO2020259474A1 (zh) 追焦方法、装置、终端设备、计算机可读存储介质
CN110213494B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN110233970B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP5536010B2 (ja) 電子カメラ、撮像制御プログラム及び撮像制御方法
WO2017113504A1 (zh) 一种图像显示方法以及装置
CN110083157B (zh) 一种避障方法及装置
CN110493525A (zh) 变焦图像确定方法及装置、存储介质、终端
WO2023168858A1 (zh) 一种图像融合的方法、装置、终端及存储介质
JP2014526823A (ja) 立体画像ペアの改善された切り取りのための方法および装置
TW201541141A (zh) 使用多鏡頭的自動對焦系統及其方法
CN112019734B (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
US20200221005A1 (en) Method and device for tracking photographing
CN105357433A (zh) 一种高速旋转焦距自适应全景成像方法
CN112215880A (zh) 一种图像深度估计方法及装置、电子设备、存储介质
CN114339042A (zh) 基于多摄像头的图像处理方法及装置、计算机可读存储介质
WO2023231044A1 (zh) 基于元成像的眼底成像方法及系统
TWI515471B (zh) 使用多鏡頭的自動對焦系統及其方法
WO2022111084A1 (zh) 一种摄像头模组、成像方法、成像装置及移动设备
US11778327B2 (en) Image reconstruction method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22930487

Country of ref document: EP

Kind code of ref document: A1