WO2019169884A1 - 基于深度信息的图像显著性检测方法和装置 - Google Patents

基于深度信息的图像显著性检测方法和装置 Download PDF

Info

Publication number
WO2019169884A1
WO2019169884A1 PCT/CN2018/113457 CN2018113457W WO2019169884A1 WO 2019169884 A1 WO2019169884 A1 WO 2019169884A1 CN 2018113457 W CN2018113457 W CN 2018113457W WO 2019169884 A1 WO2019169884 A1 WO 2019169884A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
detected
feature image
network
Prior art date
Application number
PCT/CN2018/113457
Other languages
English (en)
French (fr)
Inventor
李革
朱春彪
蔡行
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Publication of WO2019169884A1 publication Critical patent/WO2019169884A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Definitions

  • the present invention relates to the field of image processing, and in particular to a method and apparatus for image saliency detection based on depth information.
  • Visual attention is a neurobiological process that filters out irrelevant information and highlights the most significant foreground information.
  • Various computational models have been developed, including saliency detection algorithms, to simulate this mechanism for active gaze control, recognition, segmentation, and image retrieval.
  • the saliency detection algorithm can be divided into a top-down approach and a bottom-up approach, where the top-down approach is task-driven and requires supervised learning; the bottom-up approach usually uses low-level methods. Tips such as color features, distance features, and heuristic salient features, among which one of the most commonly used heuristic salient features is contrast, such as pixel-based or speckle-based contrast.
  • the current saliency detection algorithm only uses RGB information.
  • the accuracy is not high, the method is not robust enough, and it is easy to cause false detection, missed detection, etc., and it is difficult to obtain an accurate
  • the image saliency detection result not only causes the erroneous detection of the saliency object itself, but also causes a certain error to the application using the saliency detection result.
  • the embodiment of the invention provides an image saliency detection method and device based on depth information, so as to at least solve the technical problem that the saliency detection algorithm in the prior art has low precision.
  • an image saliency detection method based on depth information including: acquiring a to-be-detected image and a depth image of the image to be detected; acquiring a feature image of the image to be detected, and obtaining a first feature image Obtaining a feature image of the depth image to obtain a second feature image; and obtaining a saliency image of the image to be detected based on the first feature image and the second feature image.
  • an apparatus for detecting image saliency based on depth information including: a first acquiring module, configured to acquire an image to be detected and a depth image of an image to be detected; and a second acquiring module And acquiring a feature image of the image to be detected, obtaining a first feature image, and acquiring a feature image of the depth image to obtain a second feature image; and a first processing module, configured to obtain, based on the first feature image and the second feature image, A salient image of the image to be detected.
  • a storage medium comprising a stored program, wherein the device in which the storage medium is located is controlled to execute the above-described depth information based image saliency detecting method while the program is running.
  • a computer apparatus comprising a memory, a processor, and a computer program stored on the memory and operable on the processor, the processor performing the above-described depth saliency-based image saliency Detection method.
  • the image to be detected and the depth image of the image to be detected are acquired; the feature image of the image to be detected is acquired, the first feature image is obtained, and the feature image of the depth image is obtained to obtain a second feature image; A feature image and a second feature image obtain a saliency image of the image to be detected.
  • the present invention combines the feature information of the depth image of the image to be detected, thereby improving image saliency.
  • the detection result makes the saliency area in the image appear more accurately, and provides the technical effect of accurate and useful information for the later application of target recognition and classification, thereby solving the accuracy of the saliency detection algorithm in the prior art. High technical issues.
  • FIG. 1 is a schematic diagram of an image saliency detection method based on depth information according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of an image saliency detecting apparatus based on depth information according to an embodiment of the present invention.
  • a method embodiment of an image saliency detection method based on depth information is provided.
  • the steps illustrated in the flowchart of the accompanying drawings may be in a computer such as a set of computer executable instructions. The steps are performed in the system, and although the logical order is shown in the flowcharts, in some cases the steps shown or described may be performed in a different order than the ones described herein.
  • FIG. 1 is a method for detecting image saliency based on depth information according to an embodiment of the present invention. As shown in FIG. 1, the method includes the following steps:
  • Step S102 acquiring an image to be detected and a depth image of the image to be detected
  • Step S104 acquiring a feature image of the image to be detected, obtaining a first feature image, and acquiring a feature image of the depth image to obtain a second feature image;
  • Step S106 obtaining a saliency image of the image to be detected based on the first feature image and the second feature image.
  • the depth image of the image to be detected when the depth image of the image to be detected is acquired in step S102, the depth image of the image to be detected by the Kinect device may be used.
  • the present invention combines the feature information of the image to be detected and the feature information of the depth image to effectively validate the depth information. Integration with RGB information, so the detection of the significance of the detected image can be more accurate and more robust to detect significant objects.
  • the image to be detected and the depth image of the image to be detected are acquired; the feature image of the image to be detected is acquired, the first feature image is obtained, and the feature image of the depth image is obtained to obtain a second feature image; A feature image and a second feature image obtain a saliency image of the image to be detected.
  • the present invention combines the feature information of the depth image of the image to be detected, thereby improving image saliency.
  • the detection result makes the saliency area in the image appear more accurately, and provides the technical effect of accurate and useful information for the later application of target recognition and classification, thereby solving the accuracy of the saliency detection algorithm in the prior art. High technical issues.
  • 2D data can no longer meet the needs of extracting outstanding objects, compared with 3D data.
  • 2D data is more suitable for practical applications.
  • most of the methods for saliency detection are concentrated on two-dimensional images, and are not suitable for saliency detection of three-dimensional images.
  • the present invention is advantageous for combining depth information. Differentiating different objects with similar appearance can be applied to the detection of saliency of three-dimensional images, and can be used for monitoring, retrieving and image recognition of 3D content.
  • the method further includes:
  • Step S202 constructing a prior model-guided depth enhancement network, wherein the a priori model-guided depth enhancement network comprises a primary network and a sub-network, the primary network is an encoder-decoder structure, and the sub-network is an encoder structure;
  • step S104 Obtaining the feature image of the image to be detected in step S104, comprising: step S204, acquiring a feature image of the image to be detected by using an encoder of the main network;
  • step S104 Obtaining the feature image of the depth image in step S104, comprising: step S206, acquiring a feature image of the depth image by using an encoder of the sub-network;
  • step S106 Obtaining a saliency image of the image to be detected based on the first feature image and the second feature image in step S106, comprising: step S208, obtaining a to-be-detected image by using a decoder of the main network based on the first feature image and the second feature image Significant image.
  • the PRIOR-MODEL GUIDED DEPTH-ENHANCED NETWORK includes a primary network and a sub-network, wherein the primary network is a previous model-guided primary network, which may be a convolution-deconvolution.
  • the model in which the convolution phase is used as a feature extractor, the input image can be converted into a rich feature representation, and the deconvolution phase can be used as a shape restorer to restore the resolution, and the salient object in the detail is fine from the background.
  • the sub-network is specifically a deep enhancement sub-network, which can extract depth clues.
  • the feature layer of the image to be detected after the encoding may be obtained, and after acquiring the feature image of the depth image by the encoder of the sub network in step S206, The depth information feature layer of the depth image may be obtained, and the saliency image of the image to be detected is obtained by the decoder of the main network based on the first feature image and the second feature image in step S208, which may be:
  • the feature layer of the detected image is connected to the depth information feature layer of the depth image obtained in step S206, and then the final saliency image is obtained by the decoder of the main network.
  • the encoder of the primary network is a VGG structure
  • the VGG structure uses a full convolution network
  • the full convolution network includes a plurality of units, each unit including a convolution layer, a batch normalization layer, and a rectification linearity. Activate the unit.
  • VGG is a deep network developed from Alex-net.
  • the present invention can be applied to an encoder part model of a primary network, and specifically, VGG-16 and/or VGG-19 can be used, and the structure can be effectively utilized.
  • Hierarchical feature when the VGG structure adopts a full convolutional network (FCN network), each convolutional layer in the full convolutional network has a batch normalization layer (BN layer, ie, Batch Normalization layer) to improve the convergence speed.
  • BN layer ie, Batch Normalization layer
  • the activation function of the rectified linear activation unit (ReLU unit) adds nonlinearity, where the kernel size of each convolutional layer can be 3x3.
  • replication-cropping techniques can also be used in the primary network (see Olaf Ronneberger, Philipp Fischer, and Thomas Brox, "U-net: Convolutional networks for biomedical image segmentation," in International Conference on Medical Image Computing and Computer-Assisted). Intervention. Springer, 2015, pp. 234–241.), replication-cropping techniques can be used to add more low-level features at an early stage to improve the detail of the salient map during the sampling phase.
  • the decoder of the primary network may include a convolution layer and a linear activation function, for example, may be a convolution layer of a 3 ⁇ 3 size kernel, and the linear activation function may be a sigmoid activation function, features in the first feature image and the second feature image.
  • the pyramid output can be obtained from a convolution kernel with a 3x3 size and linear activation function and connected to a final convolutional layer with a 3x3 kernel.
  • constructing the a priori model to guide the depth enhancement network in step S202 comprising: step S302, constructing a main network;
  • the main network is constructed in step S302, and the method includes: Step S304: Pre-training the main network by using the significance detection data set.
  • Sm ij represents a significant image obtained by image saliency detection in the prior art
  • ⁇ represents a weight of the significance detection network
  • i, j represents a position coordinate of a pixel in Sm ij
  • R(I, i, j) represents a corresponding The accepted domain of position (i, j) in Sm ij .
  • the RGB-based saliency detection data set is used to pre-train the primary network
  • the saliency detection data set used in the present invention may be the MSRA10K data set and The DUTS-TR data set, in which MSRA10K contains 10,000 images with high quality pixel annotations, the DUTS dataset is currently the largest saliency detection benchmark, containing 10553 training images (DUTS-TR) and 5019 test images (DUTS- TE)
  • each image in the saliency detection data set may be preprocessed to the same size and normalized before being trained using the saliency detection data set, for example, each image may be scaled to The same size [224, 224], and normalized to [0, 1], after pre-training the main network, the pre-model weights can be obtained, the pre-model weights can be represented by ⁇ , and ⁇ can be used to guide the use of the present invention.
  • the saliency detection network guides the prior model to guide the
  • Equation 2 represents the weight of the significance detection network in the present invention, that is, the guidance a priori model guides the depth enhancement network.
  • the sub-network is also applied to encode the depth image, and the feature of the depth image obtained by the sub-network is incorporated into the main network as a convolution layer, which may be
  • the original image information feature layer obtained by the network and the depth information feature layer obtained through the sub-network are stacked, wherein the size of the sub-network determines the stacking ratio of the last two feature layers, and the output feature do of the sub-network is used as the previous model.
  • the weight matrix of the primary network is guided. Therefore, the sub-network can be regarded as a deep-enhanced weight prediction network. Therefore, in consideration of the sub-network, the above Equation 2 can be changed to the following Equation 3:
  • ⁇ in the above Equation 3 is a combined weighting factor of the depth-based feature map obtained through the sub-network.
  • the saliency image of the image to be detected is obtained based on the first feature image and the second feature image in step S106, including:
  • Step S402 splicing the first feature image and the second feature image by using a multi-feature stitching technique to obtain a stitched image
  • Step S404 obtaining a saliency image of the image to be detected according to the spliced image.
  • the multi-feature splicing technique is mainly based on the loss fusion mode and can be used to achieve accurate saliency detection and loss fusion.
  • the method further includes the step of: calculating a pixel-by-pixel binary between the saliency image and the ground real saliency mask. Cross entropy.
  • loss represents the pixel-by-pixel binary cross entropy between the saliency image and the ground real saliency mask
  • S represents a saliency image
  • G represents a ground truth saliency mask
  • i, j represents the position coordinates of the pixels in the image.
  • W represents the width of the salient image and H represents the height of the salient image.
  • FIG. 2 is an image saliency detecting device based on depth information according to an embodiment of the present invention, as shown in FIG.
  • the device includes a first acquisition module, a second acquisition module, and a first processing module, where the first acquisition module is configured to acquire an image to be detected and a depth image of the image to be detected, and a second acquisition module is configured to acquire an image to be detected. And obtaining a first feature image, and obtaining a feature image of the depth image to obtain a second feature image; and a first processing module, configured to obtain a saliency image of the image to be detected based on the first feature image and the second feature image.
  • the image to be detected and the depth image of the image to be detected are acquired by the first acquiring module; the second acquiring module acquires the feature image of the image to be detected, obtains the first feature image, and acquires the feature image of the depth image, Obtaining a second feature image; the first processing module obtains a saliency image of the image to be detected based on the first feature image and the second feature image, and the present invention combines the depth of the image to be detected when acquiring the saliency image of the image to be detected
  • the feature information of the image thereby improving the image saliency detection result, making the saliency region in the image more accurately appear, and providing technical effects of accurate and useful information for later target recognition and classification applications, thereby solving the problem
  • the technical problem of the prior art saliency detection algorithm is not high precision.
  • the foregoing first obtaining module, the second obtaining module, and the first processing module correspond to steps S102 to S106 in the first embodiment, and the foregoing modules are the same as the examples and application scenarios implemented by the corresponding steps. However, it is not limited to the contents disclosed in the above embodiment 1. It should be noted that the above modules may be implemented as part of a device in a computer system such as a set of computer executable instructions.
  • the device further includes: a first building module, configured to acquire a feature image of the image to be detected in the second acquiring module, obtain a first feature image, and acquire a feature image of the depth image, to obtain a first Before the second feature image, construct a prior model-guided depth enhancement network, wherein the a priori model-guided depth enhancement network includes a primary network and a sub-network, the primary network is an encoder-decoder structure, the sub-network is an encoder structure, and the second acquisition module a third obtaining module, configured to acquire a feature image of the image to be detected by an encoder of the primary network, and a fourth acquiring module, configured to acquire a depth image by using an encoder of the subnetwork
  • the first processing module includes: a second processing module, configured to obtain a saliency image of the image to be detected by using a decoder of the main network based on the first feature image and the second feature image.
  • the foregoing first building module, the third obtaining module, the fourth obtaining module, and the second processing module correspond to step S202, step S204, step S206, and step S208 in the first embodiment, and the foregoing modules and corresponding
  • the example implemented by the steps is the same as the application scenario, but is not limited to the content disclosed in the above embodiment 1.
  • the above modules may be implemented as part of a device in a computer system such as a set of computer executable instructions.
  • the encoder of the primary network is a VGG structure
  • the VGG structure uses a full convolution network
  • the full convolution network includes a plurality of units, each unit including a convolution layer, a batch normalization layer, and a rectification linearity. Activate the unit.
  • the first building module includes: a second building module, configured to build a main network; wherein the second building module includes: a training module, configured to perform a master network by using a significance detection data set Pre-training.
  • the foregoing second building module and the training module correspond to step S302 and step S304 in Embodiment 1, and the foregoing modules are the same as the examples and application scenarios implemented by the corresponding steps, but are not limited to the foregoing Embodiment 1
  • the content disclosed may be noted that the above modules may be implemented as part of a device in a computer system such as a set of computer executable instructions.
  • the first processing module includes a splicing module and a third processing module, wherein the splicing module is configured to splicing the first feature image and the second feature image by using a multi-feature splicing technique to obtain a spliced image; a third processing module, configured to obtain a saliency image of the image to be detected according to the spliced image.
  • the foregoing splicing module and the third processing module correspond to steps S402 to S404 in Embodiment 1, and the foregoing modules are the same as the examples and application scenarios implemented by the corresponding steps, but are not limited to the foregoing Embodiment 1
  • the above modules may be implemented as part of a device in a computer system such as a set of computer executable instructions.
  • a product embodiment of a storage medium comprising a stored program, wherein the device in which the storage medium is located is controlled to execute the above-described depth information based image saliency detection method while the program is running.
  • a product embodiment of a processor for running a program wherein the above-described depth information-based image saliency detection method is executed while the program is running.
  • a product embodiment of a computer device comprising a memory, a processor, and a computer program stored on the memory and executable on the processor, the processor implementing the program based on the depth An image saliency detection method for information.
  • a product embodiment of a terminal includes a first acquiring module, a second acquiring module, a first processing module, and a processor, where the first acquiring module is configured to acquire an image to be detected.
  • a depth image of the image to be detected a second acquiring module, configured to acquire a feature image of the image to be detected, obtain a first feature image, and acquire a feature image of the depth image to obtain a second feature image; and a first processing module, configured to: Obtaining a saliency image of the image to be detected based on the first feature image and the second feature image; the processor, the processor running the program, wherein the program is running for output from the first obtaining module, the second acquiring module, and the first processing module
  • the data performs the above-described image saliency detection method based on depth information.
  • a product embodiment of a terminal includes a first acquiring module, a second acquiring module, a first processing module, and a storage medium, where the first acquiring module is configured to acquire an image to be detected.
  • a depth image of the image to be detected a second acquiring module, configured to acquire a feature image of the image to be detected, obtain a first feature image, and acquire a feature image of the depth image to obtain a second feature image; and a first processing module, configured to: Obtaining a saliency image of the image to be detected based on the first feature image and the second feature image; storing a medium for storing the program, wherein the program is at runtime for the slave first acquisition module, the second acquisition module, and the first processing module
  • the outputted data performs the above-described depth saliency-based image saliency detection method.
  • the disclosed technical contents may be implemented in other manners.
  • the device embodiments described above are only schematic.
  • the division of the unit may be a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or may be Integrate into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, unit or module, and may be electrical or otherwise.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential or contributes to the prior art, or all or part of the technical solution, may be embodied in the form of a software product stored in a storage medium.
  • a number of instructions are included to cause a computer device (which may be a personal computer, server or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a Read-Only Memory (ROM), a Random Access Memory (RAM), a removable hard disk, a magnetic disk, or an optical disk, and the like. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度信息的图像显著性检测方法和装置。其中，该方法包括：获取待检测图像以及待检测图像的深度图像（S102）；获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像（S104）；基于第一特征图像和第二特征图像，得到待检测图像的显著性图像（S106）。该方法和装置解决了现有技术中的显著性检测算法精准度不高的技术问题。

Description

基于深度信息的图像显著性检测方法和装置 技术领域
本发明涉及图像处理领域，具体而言，涉及一种基于深度信息的图像显著性检测方法和装置。
背景技术
当人们看图像时，人们总是关注整个图像的一个子集，这就是所谓的视觉注意力，视觉注意力是一个神经生物学过程，能够过滤出不相关的信息，并突出最显著的前景信息。目前已经开发了各种计算模型，包括显著性检测算法，来模拟这种机制，用于主动注视控制、识别、分割以及图像检索。一般而言，显著性检测算法可以分为自上而下的方法和自下而上的方法，其中，自上而下的方法由任务驱动，需要监督学习；自下而上的方法通常使用低级提示，如颜色特征、距离特征和启发式显著特征，其中，最常用的启发式显著特征之一是对比度，如基于像素或基于斑点的对比度。
但是目前的显著性检测算法仅仅使用RGB信息，在检测显著性物体尤其是针对3D数据时，精准度不高，方法健壮性不够强，容易造成误检、漏检等情况，很难得到一个精确的图像显著性检测结果，不仅造成显著性物体本身的错检，同时也会对利用显著性检测结果的应用造成一定的误差。
针对上述现有技术中的显著性检测算法精准度不高的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于深度信息的图像显著性检测方法和装置，以至少解决现有技术中的显著性检测算法精准度不高的技术问题。
根据本发明实施例的一个方面，提供了一种基于深度信息的图像显著性检测方法，包括：获取待检测图像以及待检测图像的深度图像；获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；基于第一特征图像和第二特征图像，得到待检测图像的显著性图像。
根据本发明实施例的另一方面，还提供了一种基于深度信息的图像显著性检测装 置，包括：第一获取模块，用于获取待检测图像以及待检测图像的深度图像；第二获取模块，用于获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；第一处理模块，用于基于第一特征图像和第二特征图像，得到待检测图像的显著性图像。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述基于深度信息的图像显著性检测方法。
根据本发明实施例的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述基于深度信息的图像显著性检测方法。
在本发明实施例中，通过获取待检测图像以及待检测图像的深度图像；获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；基于第一特征图像和第二特征图像，得到待检测图像的显著性图像，本发明在获取待检测图像的显著性图像时，结合了待检测图像的深度图像的特征信息，从而实现了提高图像显著性检测结果，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息的技术效果，进而解决了现有技术中的显著性检测算法精准度不高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种基于深度信息的图像显著性检测方法的示意图；以及
图2是根据本发明实施例的一种基于深度信息的图像显著性检测装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例 仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种基于深度信息的图像显著性检测方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的基于深度信息的图像显著性检测方法，如图1所示，该方法包括如下步骤：
步骤S102，获取待检测图像以及待检测图像的深度图像；
步骤S104，获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；
步骤S106，基于第一特征图像和第二特征图像，得到待检测图像的显著性图像。
具体的，步骤S102中获取待检测图像的深度图像时，可以使用Kinect设备待检测图像的深度图像。
除RGB信息之外，深度信息已经被证明有助于显著性估计，本发明在获取待检测图像的显著性图像时，结合了待检测图像的特征信息和深度图像的特征信息，将深度信息有效的与RGB信息进行整合，因此对待检测图像的显著性检测能够更加精准，更加鲁棒性的检测出显著性物体。
在本发明实施例中，通过获取待检测图像以及待检测图像的深度图像；获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；基于第一特征图像和第二特征图像，得到待检测图像的显著性图像，本发明 在获取待检测图像的显著性图像时，结合了待检测图像的深度图像的特征信息，从而实现了提高图像显著性检测结果，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息的技术效果，进而解决了现有技术中的显著性检测算法精准度不高的技术问题。
除此之外，随着3D数据采集技术(如使用飞行时间传感器和Microsoft Kinect的技术)的发展以及视觉场景变得越来越复杂，2D数据已经不能满足提取突出物体的需求，3D数据相较于2D数据更适合于实际应用，然而目前大多数关于显著性检测的方法都集中在二维图像上，并不适用于三维图像的显著性检测，而本发明由于结合了深度信息，因此有利于区分具有相似外观的不同物体，能够适用于对三维图像的显著性检测，可以用来对3D内容进行监视、检索和图像识别。
在一种可选的实施例中，步骤S104中获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像之前，方法还包括：
步骤S202，构建先验模型引导深度增强网络，其中，先验模型引导深度增强网络包括主网络和子网络，主网络为编码器-解码器结构，子网络为编码器结构；
步骤S104中获取待检测图像的特征图像，包括：步骤S204，通过主网络的编码器获取待检测图像的特征图像；
步骤S104中获取深度图像的特征图像，包括：步骤S206，通过子网络的编码器获取深度图像的特征图像；
步骤S106中基于第一特征图像和第二特征图像，得到待检测图像的显著性图像，包括：步骤S208，基于第一特征图像和第二特征图像，通过主网络的解码器，得到待检测图像的显著性图像。
具体的，先验模型引导深度增强网络即PDNet(PRIOR-MODEL GUIDED DEPTH-ENHANCED NETWORK)，包括主网络和子网络，其中，主网络具体为先前模型引导主网络，可以是一个卷积-反卷积模型，其中，卷积阶段作为特征提取器，可以将输入图像转换成分层丰富的特征表示，反卷积阶段可以用作形状恢复器以恢复分辨率，并将细节中的显著对象从背景中细分；子网络具体为深度增强子网络，可以提取深度线索。
具体的，步骤S204中通过主网络的编码器获取待检测图像的特征图像后，可以得到编码过后的待检测图像的特征层，步骤S206中通过子网络的编码器获取深度图像的特征图像后，可以得到深度图像的深度信息特征层，步骤S208中基于第一特征图像和第二特征图像，通过主网络的解码器，得到待检测图像的显著性图像，具体可以为： 将步骤S204得到的待检测图像的特征层和步骤S206得到的深度图像的深度信息特征层进行连接，之后通过主网络的解码器，得到最终的显著性图像。
在一种可选的实施例中，主网络的编码器为VGG结构，VGG结构采用全卷积网络，全卷积网络包括多个单元，每个单元包括卷积层、批量标准化层和整流线性激活单元。
具体的，VGG为从Alex-net发展而来的深度网络，本发明中可应用于主网络的编码器部分模型，具体可以使用VGG-16和/或VGG-19，采用该结构可以有效的利用分层特征，在VGG结构采用全卷积网络(FCN网络)时，全卷积网络中每个卷积层之后都有一个批量标准化层(BN层，即Batch Normalization层)来提高收敛速度，之后经过整流线性激活单元(ReLU单元)的激活功能添加非线性，其中，每个卷积层的内核大小可以都为3x3。
具体的，主网络中还可以使用复制-裁剪技术(详见Olaf Ronneberger,Philipp Fischer,and Thomas Brox,“U-net:Convolutional networks for biomedical image segmentation,”in International Conference on Medical Image Computing and Computer-Assisted Intervention.Springer,2015,pp.234–241.)，复制-裁剪技术可以用于在早期阶段添加更多的低级特征，以提高采样阶段的显著图的细节。
具体的，主网络的解码器可以包括卷积层和线性激活函数，例如可以是3x3大小内核的卷积层，线性激活函数可以为sigmoid激活函数，第一特征图像和第二特征图像中的特征可以通过具有3x3大小和线性激活函数的一个卷积核得到金字塔输出，并被连接到一个具有一个3x3大小内核的最终卷积层。
在一种可选的实施例中，步骤S202中构建先验模型引导深度增强网络，包括：步骤S302，构建主网络；
其中，步骤S302中构建主网络，包括：步骤S304，采用显著性检测数据集对主网络进行预训练。
具体的，假设现有技术中使用深度图像数据集(RGB-D数据集)进行图像显著性检测后得到的显著图像中每个像素的显著性值可以如下式1：
Sm i，j＝p(S|R(I，i，j)；θ)
其中，Sm ij表示现有技术中图像显著性检测后得到的显著图像，θ表示显著性检测网络的权重，i、j表示Sm ij中像素的位置坐标，R(I，i，j)表示对应于Sm ij中位置(i，j)的接受域。
本发明中考虑到RGB-D数据集的局限性，采用的是基于RGB的显著性检测数据集对主网络进行预训练，其中，本发明中使用的显著性检测数据集可以是MSRA10K数据集和DUTS-TR数据集，其中，MSRA10K包含10000个具有高质量像素注释的图像，DUTS数据集是当前最大的显著性检测基准，包含10553个训练图像(DUTS-TR)和5019个测试图像(DUTS-TE)，本发明中在采用显著性检测数据集进行训练之前，可以将显著性检测数据集中的每个图像预处理为相同的大小并进行归一化，例如，可以将每个图像被缩放到相同的大小[224,224]，并归一化为[0,1]，在对主网络进行预训练之后，可以得到预先模型权重，预先模型权重可以使用γ表示，γ可以用于指导本发明使用的显著性检测网络即指导先验模型引导深度增强网络的权重。因此，在不考虑子网络的情况下，预训练主网络后，得到的显著图像中每个像素的显著性值
Figure PCTCN2018113457-appb-000001
可以如下式2：
Figure PCTCN2018113457-appb-000002
其中，上式2中θ表示本发明中显著性检测网络即指导先验模型引导深度增强网络的权重。
为了获得输入的深度图像的特征，本发明中还应用了子网络对深度图像进行编码，并将由子网络获得的深度图像的特征作为卷积层并入主网络中，具体方式可以是将经过主网络得到的原始图像信息特征层和经过子网络得到的深度信息特征层进行堆叠，其中，子网络的规模大小决定了最后两种特征层的堆叠比例，子网络的输出特征do被用作先前模型引导主网络的权重矩阵，因此，子网络可以被看作是深度增强的权重预测网络，因此，在考虑子网络的情况下，上式2可以变更为下式3：
Figure PCTCN2018113457-appb-000003
其中，上式3中α是通过子网络获得的基于深度的特征映射的组合权重因子。
在一种可选的实施例中，步骤S106中基于第一特征图像和第二特征图像，得到待检测图像的显著性图像，包括：
步骤S402，采用多特征拼接技术对第一特征图像和第二特征图像进行拼接，得到拼接后图像；
步骤S404，根据拼接后图像得到待检测图像的显著性图像。
具体的，多特征拼接技术主要基于损失融合模式，可以用于实现准确的显著性检测和损失融合。
在一种可选的实施例中，在步骤S404中根据拼接后图像得到待检测图像的显著性图像后，还包括如下步骤：计算显著性图像与地面真实显著性掩模之间的逐像素二进制交叉熵。
具体的，显著性图像与地面真实显著性掩模之间的逐像素二进制交叉熵的计算公式如下式4：
Figure PCTCN2018113457-appb-000004
上式中，loss表示显著性图像与地面真实显著性掩模之间的逐像素二进制交叉熵，S表示显著性图像，G表示地面真实显著性掩模，i、j表示图像中像素的位置坐标，W表示显著性图像的宽，H表示显著性图像的高。
实施例2
根据本发明实施例，提供了一种基于深度信息的图像显著性检测装置的产品实施例，图2是根据本发明实施例的基于深度信息的图像显著性检测装置，如图2所示，该装置包括第一获取模块、第二获取模块和第一处理模块，其中，第一获取模块，用于获取待检测图像以及待检测图像的深度图像；第二获取模块，用于获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；第一处理模块，用于基于第一特征图像和第二特征图像，得到待检测图像的显著性图像。
在本发明实施例中，通过第一获取模块获取待检测图像以及待检测图像的深度图像；第二获取模块获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；第一处理模块基于第一特征图像和第二特征图像，得到待检测图像的显著性图像，本发明在获取待检测图像的显著性图像时，结合了待检测图像的深度图像的特征信息，从而实现了提高图像显著性检测结果，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息的技术效果，进而解决了现有技术中的显著性检测算法精准度不高的技术问题。
此处需要说明的是，上述第一获取模块、第二获取模块和第一处理模块对应于实施例1中的步骤S102至步骤S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一 部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一种可选的实施例中，装置还包括：第一构建模块，用于在第二获取模块获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像之前，构建先验模型引导深度增强网络，其中，先验模型引导深度增强网络包括主网络和子网络，主网络为编码器-解码器结构，子网络为编码器结构；第二获取模块包括第三获取模块和第四获取模块，其中，第三获取模块，用于通过主网络的编码器获取待检测图像的特征图像；第四获取模块，用于通过子网络的编码器获取深度图像的特征图像；第一处理模块包括：第二处理模块，用于基于第一特征图像和第二特征图像，通过主网络的解码器，得到待检测图像的显著性图像。
此处需要说明的是，上述第一构建模块、第三获取模块、第四获取模块和第二处理模块对应于实施例1中的步骤S202、步骤S204、步骤S206和步骤S208，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一种可选的实施例中，主网络的编码器为VGG结构，VGG结构采用全卷积网络，全卷积网络包括多个单元，每个单元包括卷积层、批量标准化层和整流线性激活单元。
在一种可选的实施例中，第一构建模块包括：第二构建模块，用于构建主网络；其中，第二构建模块包括：训练模块，用于采用显著性检测数据集对主网络进行预训练。
此处需要说明的是，上述第二构建模块和训练模块对应于实施例1中的步骤S302和步骤S304，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一种可选的实施例中，第一处理模块，包括拼接模块和第三处理模块，其中，拼接模块，用于采用多特征拼接技术对第一特征图像和第二特征图像进行拼接，得到拼接后图像；第三处理模块，用于根据拼接后图像得到待检测图像的显著性图像。
此处需要说明的是，上述拼接模块和第三处理模块对应于实施例1中的步骤S402至步骤S404，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例3
根据本发明实施例，提供了一种存储介质的产品实施例，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述基于深度信息的图像显著性检测方法。
实施例4
根据本发明实施例，提供了一种处理器的产品实施例，该处理器用于运行程序，其中，程序运行时执行上述基于深度信息的图像显著性检测方法。
实施例5
根据本发明实施例，提供了一种计算机设备的产品实施例，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述基于深度信息的图像显著性检测方法。
实施例6
根据本发明实施例，提供了一种终端的产品实施例，该终端包括第一获取模块、第二获取模块、第一处理模块和处理器，其中，第一获取模块，用于获取待检测图像以及待检测图像的深度图像；第二获取模块，用于获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；第一处理模块，用于基于第一特征图像和第二特征图像，得到待检测图像的显著性图像；处理器，处理器运行程序，其中，程序运行时对于从第一获取模块、第二获取模块和第一处理模块输出的数据执行上述基于深度信息的图像显著性检测方法。
实施例7
根据本发明实施例，提供了一种终端的产品实施例，该终端包括第一获取模块、第二获取模块、第一处理模块和存储介质，其中，第一获取模块，用于获取待检测图像以及待检测图像的深度图像；第二获取模块，用于获取待检测图像的特征图像，得到第一特征图像，以及获取深度图像的特征图像，得到第二特征图像；第一处理模块，用于基于第一特征图像和第二特征图像，得到待检测图像的显著性图像；存储介质，用于存储程序，其中，程序在运行时对于从第一获取模块、第二获取模块和第一处理模块输出的数据执行上述基于深度信息的图像显著性检测方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

  1. 一种基于深度信息的图像显著性检测方法，其特征在于，包括：
    获取待检测图像以及所述待检测图像的深度图像；
    获取所述待检测图像的特征图像，得到第一特征图像，以及获取所述深度图像的特征图像，得到第二特征图像；
    基于所述第一特征图像和所述第二特征图像，得到所述待检测图像的显著性图像。
  2. 根据权利要求1所述的方法，其特征在于，获取所述待检测图像的特征图像，得到第一特征图像，以及获取所述深度图像的特征图像，得到第二特征图像之前，所述方法还包括：
    构建先验模型引导深度增强网络，其中，所述先验模型引导深度增强网络包括主网络和子网络，所述主网络为编码器-解码器结构，所述子网络为编码器结构；
    获取所述待检测图像的特征图像，包括：通过所述主网络的编码器获取所述待检测图像的特征图像；
    获取所述深度图像的特征图像，包括：通过所述子网络的编码器获取所述深度图像的特征图像；
    基于所述第一特征图像和所述第二特征图像，得到所述待检测图像的显著性图像，包括：基于所述第一特征图像和所述第二特征图像，通过所述主网络的解码器，得到所述待检测图像的显著性图像。
  3. 根据权利要求2所述的方法，其特征在于，所述主网络的编码器为VGG结构，所述VGG结构采用全卷积网络，所述全卷积网络包括多个单元，每个所述单元包括卷积层、批量标准化层和整流线性激活单元。
  4. 根据权利要求2所述的方法，其特征在于，构建先验模型引导深度增强网络，包括：构建所述主网络；
    其中，构建所述主网络，包括：采用显著性检测数据集对所述主网络进行预训练。
  5. 根据权利要求1-4中任意一项所述的方法，其特征在于，基于所述第一特征图像和所述第二特征图像，得到所述待检测图像的显著性图像，包括：
    采用多特征拼接技术对所述第一特征图像和所述第二特征图像进行拼接，得到拼接后图像；
    根据所述拼接后图像得到所述待检测图像的显著性图像。
  6. 一种基于深度信息的图像显著性检测装置，其特征在于，包括：
    第一获取模块，用于获取待检测图像以及所述待检测图像的深度图像；
    第二获取模块，用于获取所述待检测图像的特征图像，得到第一特征图像，以及获取所述深度图像的特征图像，得到第二特征图像；
    第一处理模块，用于基于所述第一特征图像和所述第二特征图像，得到所述待检测图像的显著性图像。
  7. 根据权利要求6所述的装置，其特征在于，所述装置还包括：
    第一构建模块，用于在所述第二获取模块获取所述待检测图像的特征图像，得到第一特征图像，以及获取所述深度图像的特征图像，得到第二特征图像之前，构建先验模型引导深度增强网络，其中，所述先验模型引导深度增强网络包括主网络和子网络，所述主网络为编码器-解码器结构，所述子网络为编码器结构；
    所述第二获取模块包括：
    第三获取模块，用于通过所述主网络的编码器获取所述待检测图像的特征图像；
    第四获取模块，用于通过所述子网络的编码器获取所述深度图像的特征图像；
    所述第一处理模块包括：
    第二处理模块，用于基于所述第一特征图像和所述第二特征图像，通过所述主网络的解码器，得到所述待检测图像的显著性图像。
  8. 根据权利要求7所述的装置，其特征在于，所述主网络的编码器为VGG结构，所述VGG结构采用全卷积网络，所述全卷积网络包括多个单元，每个单元包括卷积层、批量标准化层和整流线性激活单元。
  9. 一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的基于深度信息的图像显著性检测方法。
  10. 一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可 在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至5中任意一项所述的基于深度信息的图像显著性检测方法。
PCT/CN2018/113457 2018-03-09 2018-11-01 基于深度信息的图像显著性检测方法和装置 WO2019169884A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810192934.8 2018-03-09
CN201810192934.8A CN108491848B (zh) 2018-03-09 2018-03-09 基于深度信息的图像显著性检测方法和装置

Publications (1)

Publication Number Publication Date
WO2019169884A1 true WO2019169884A1 (zh) 2019-09-12

Family

ID=63338115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/113457 WO2019169884A1 (zh) 2018-03-09 2018-11-01 基于深度信息的图像显著性检测方法和装置

Country Status (2)

Country Link
CN (1) CN108491848B (zh)
WO (1) WO2019169884A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428602A (zh) * 2020-03-18 2020-07-17 浙江科技学院 卷积神经网络边缘辅助增强的双目显著性图像检测方法
CN111583173A (zh) * 2020-03-20 2020-08-25 北京交通大学 一种rgb-d图像显著性目标检测方法
CN111860518A (zh) * 2020-06-30 2020-10-30 北京航空航天大学 用于分割图像的方法、装置、设备和计算机可读介质
CN111931793A (zh) * 2020-08-17 2020-11-13 湖南城市学院 一种显著性目标提取方法及系统
CN113191373A (zh) * 2021-05-11 2021-07-30 山东财经大学 一种基于中心先验与U-Net网络相结合的显著性检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491848B (zh) * 2018-03-09 2022-02-25 北京大学深圳研究生院 基于深度信息的图像显著性检测方法和装置
CN109522797A (zh) * 2018-10-16 2019-03-26 华南农业大学 基于卷积神经网络的水稻秧苗及苗期杂草识别方法和系统
CN113808062A (zh) * 2019-04-28 2021-12-17 深圳市商汤科技有限公司 一种图像处理方法及装置
CN110555434B (zh) * 2019-09-03 2022-03-29 浙江科技学院 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331412A (zh) * 2014-09-23 2015-02-04 北京工业大学 一种在规格化三维人脸库中进行人脸检索的方法
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法
CN106373162A (zh) * 2015-07-22 2017-02-01 南京大学 一种基于显著性融合与传播的显著物体检测方法
CN108491848A (zh) * 2018-03-09 2018-09-04 北京大学深圳研究生院 基于深度信息的图像显著性检测方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779359B2 (en) * 2012-03-14 2017-10-03 Microsoft Technology Licensing, Llc Quantum arithmetic on two-dimensional quantum architectures
CN105139385B (zh) * 2015-08-12 2018-04-17 西安电子科技大学 基于深层自动编码器重构的图像视觉显著性区域检测方法
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331412A (zh) * 2014-09-23 2015-02-04 北京工业大学 一种在规格化三维人脸库中进行人脸检索的方法
CN106373162A (zh) * 2015-07-22 2017-02-01 南京大学 一种基于显著性融合与传播的显著物体检测方法
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法
CN108491848A (zh) * 2018-03-09 2018-09-04 北京大学深圳研究生院 基于深度信息的图像显著性检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WU, JIANGUO ET AL.: "RGB-D Saliency Detection Based on Integration Feature of Color and Depth Saliency Map", JOURNAL OF ELECTRONICS & INFORMATION TECHNOLOGY, vol. 39, no. 9, 30 September 2017 (2017-09-30), pages 2148 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428602A (zh) * 2020-03-18 2020-07-17 浙江科技学院 卷积神经网络边缘辅助增强的双目显著性图像检测方法
CN111583173A (zh) * 2020-03-20 2020-08-25 北京交通大学 一种rgb-d图像显著性目标检测方法
CN111583173B (zh) * 2020-03-20 2023-12-01 北京交通大学 一种rgb-d图像显著性目标检测方法
CN111860518A (zh) * 2020-06-30 2020-10-30 北京航空航天大学 用于分割图像的方法、装置、设备和计算机可读介质
CN111860518B (zh) * 2020-06-30 2022-10-04 北京航空航天大学 用于分割图像的方法、装置、设备和计算机可读介质
CN111931793A (zh) * 2020-08-17 2020-11-13 湖南城市学院 一种显著性目标提取方法及系统
CN111931793B (zh) * 2020-08-17 2024-04-12 湖南城市学院 一种显著性目标提取方法及系统
CN113191373A (zh) * 2021-05-11 2021-07-30 山东财经大学 一种基于中心先验与U-Net网络相结合的显著性检测方法
CN113191373B (zh) * 2021-05-11 2023-05-05 山东财经大学 一种基于中心先验与U-Net网络相结合的显著性检测方法

Also Published As

Publication number Publication date
CN108491848B (zh) 2022-02-25
CN108491848A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
WO2019169884A1 (zh) 基于深度信息的图像显著性检测方法和装置
Monroy et al. Salnet360: Saliency maps for omni-directional images with cnn
CN110175986B (zh) 一种基于卷积神经网络的立体图像视觉显著性检测方法
WO2022156626A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN108369741A (zh) 用于配准数据的方法和系统
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN111652974B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN108895981A (zh) 一种三维测量方法、装置、服务器和存储介质
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN110210492B (zh) 一种基于深度学习的立体图像视觉显著性检测方法
US11615612B2 (en) Systems and methods for image feature extraction
CN111275784A (zh) 生成图像的方法和装置
CN114511778A (zh) 图像处理方法及装置
KR20220063127A (ko) 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램
CN111080670A (zh) 图像提取方法、装置、设备及存储介质
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN114494395A (zh) 基于平面先验的深度图生成方法、装置、设备及存储介质
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
Da Silveira et al. Indoor depth estimation from single spherical images
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
CN112862840B (zh) 图像分割方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18908794

Country of ref document: EP

Kind code of ref document: A1