WO2016107103A1 - 图像主体区域的识别方法及装置 - Google Patents

图像主体区域的识别方法及装置 Download PDF

Info

Publication number
WO2016107103A1
WO2016107103A1 PCT/CN2015/082049 CN2015082049W WO2016107103A1 WO 2016107103 A1 WO2016107103 A1 WO 2016107103A1 CN 2015082049 W CN2015082049 W CN 2015082049W WO 2016107103 A1 WO2016107103 A1 WO 2016107103A1
Authority
WO
WIPO (PCT)
Prior art keywords
target candidate
image
body region
subject
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2015/082049
Other languages
English (en)
French (fr)
Inventor
陈世佳
李旭斌
文石磊
余轶南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to US15/322,466 priority Critical patent/US10121095B2/en
Priority to JP2017501172A priority patent/JP6397986B2/ja
Publication of WO2016107103A1 publication Critical patent/WO2016107103A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to a method and an apparatus for identifying an image body area.
  • the extraction of image information is mainly concentrated on three levels of granularity, one is to classify coarse-grained images in units of images as a whole, and the other is to obtain physical objects in images (such as pedestrians, faces, cars, etc.).
  • the target detection method which requires training of specialized types of detectors for detection.
  • the third is fine-grained image segmentation or parsing of image pixels. Image segmentation or profiling can perform pixel-level granular description of image body details.
  • the image processing methods of the above three granular levels have problems in image classification.
  • the process of processing the image is: detecting the body region where the subject is located from the image, and then performing subsequent analysis on the subject based on the body region, for example, classifying or identifying the subject. Obtaining the main body region in the image in this whole process is the key to obtain accurate image analysis results.
  • the first method is the subject detection method based on the saliency region, which is remarkable.
  • the performance quantity function processes the image to generate an energy distribution map of the image, and obtains a region with higher significance according to the energy distribution map, and uses the region as the main body region of the image.
  • the second way is the subject coordinate regression based on deep learning, which obtains the image to be processed, and then predicts the four point coordinates of the circumscribed rectangle of the body through the trained deep neural network to realize the detection and positioning of the body region.
  • the problems in the above two methods are: the saliency energy function used in the first method is not universal, the accuracy and effectiveness of the detection result of the main body region are insufficient, and the second method not only calculates complicated and time-sensitive effects. Not good, but And this method can only return one body area, it is difficult to process images containing multiple subjects.
  • the present invention aims to solve at least one of the technical problems in the related art to some extent.
  • the first aspect of the present invention provides a method for recognizing an image body region, which can accurately obtain a body region of an image, and can identify a body corresponding to multiple bodies from an image including a plurality of subjects. region.
  • An embodiment of the second aspect of the present invention is to provide an apparatus for identifying an image body area.
  • a third aspect of the invention is directed to a storage medium.
  • An embodiment of the fourth aspect of the present invention is to provide an identification device for an image body area.
  • a method for recognizing an image body region includes: receiving an image to be recognized, and extracting a candidate body region from the image; and selecting a non-selection in the extracted candidate body region The subject area is excluded to obtain a target candidate subject area, and the target candidate subject area is adjusted and classified to obtain at least one target candidate subject area set; and a target candidate subject area in each target candidate subject area set Combine to identify the body area of the image.
  • a candidate body region is first extracted from an image to be identified, and then the non-body region in the extracted candidate body region is excluded to obtain a target candidate body region, and The target candidate body region is adjusted and classified to obtain at least one target candidate body region set, and finally the target candidate body region in each target candidate body region set is merged to identify the body region of the image, thereby being accurate
  • the body region of the image is obtained, and the body region corresponding to the plurality of bodies can be identified from the image including the plurality of subjects.
  • an apparatus for identifying an image body region includes: an extraction module, configured to receive an image to be recognized, and extract a candidate body region from the image; and a processing module, configured to Excluding the non-subject regions in the extracted candidate subject regions to obtain target candidate subject regions, and adjusting and classifying the target candidate subject regions to obtain at least one set of target candidate subject region sets; and a merging module, A target candidate body region in each target candidate body region set is merged to identify a body region of the image.
  • the candidate body region is extracted from the image to be identified by the extraction module, and then the non-body region in the extracted candidate body region is excluded by the processing module to obtain a target candidate. a body region, and adjusting and classifying the target candidate body region to obtain at least one target candidate body region set, and merging the target candidate body regions in each target candidate body region set to identify the body region of the image, Thereby, the body region of the image can be accurately obtained, and the body region corresponding to the plurality of subjects can be identified from the image including the plurality of subjects.
  • a storage medium for storing an application, the application.
  • the program is for performing the method of identifying an image body region according to the first aspect of the present invention.
  • an identification device for an image body area includes: one or more processors; a memory; one or more modules, wherein the one or more modules are stored in the memory. And performing, by the one or more processors, an operation of: receiving an image to be recognized, and extracting a candidate body region from the image; and excluding the non-subject region in the extracted candidate body region, Obtaining a target candidate body region, and adjusting and classifying the target candidate body region to obtain at least one target candidate body region set; and merging target candidate body regions in each target candidate body region set to identify The body area of the image.
  • FIG. 1 is a flow chart of a method of identifying an image body area in accordance with one embodiment of the present invention.
  • FIG. 2 is a flow chart of a method of identifying an image body area in accordance with one embodiment of the present invention.
  • FIG. 3 is an exemplary diagram of an unprocessed original image.
  • FIG. 4 is a diagram showing an example of a result after extracting a candidate subject region in FIG. 3.
  • FIG. 5 is a diagram showing an example of a result after the non-subject area is excluded from the candidate body region in FIG. 4.
  • FIG. 6 is a diagram showing an example of a result of adjusting and classifying the candidate subject regions in FIG. 5.
  • FIG. 7 is a diagram showing an example of a result of combining the target candidate body regions in FIG. 6.
  • FIG. 8 is a block diagram showing the structure of an image body area identifying apparatus according to an embodiment of the present invention.
  • FIG. 1 is a flowchart of a method for recognizing an image body region according to an embodiment of the present invention. As shown in FIG. 1, the method for identifying an image body region includes:
  • S101 Receive an image to be identified, and extract a candidate body region from the image.
  • the candidate body regions of different sizes and aspect ratios may be extracted from the image to be identified according to the general body detection model, so that the candidate body regions may cover various categories, different sizes, and different images in the image to be identified.
  • the body content of the size usually a common body area detection model, can obtain a large number of candidate body areas of the image, which are usually indicated by rectangular boxes in the image.
  • the universal subject detection model is a model for extracting candidate body regions of an image, and the model can be based on preset image features (eg, pixel grayscale, color, image gradient, edge, direction gradient histogram HOG (Histogram of Oriented Gradient), local binary pattern LBP (Local Binary Pattern), etc.) extracts the features of the image. After extracting the image to be recognized, it can pass the machine learning algorithm of the image (for example, support vector machine svm (support vector machine)
  • the Adaboost algorithm (the algorithm is an adaptive integrated learning algorithm), a random forest algorithm, etc., analyzes the obtained features to obtain a candidate subject region corresponding to the image to be identified. It should be noted that the model extracts the candidate subject region of the image with high efficiency. Generally, the time required to extract the candidate subject region of one image is 100 ms.
  • S102 Exclude the non-subject regions in the extracted candidate subject regions to obtain target candidate subject regions, and adjust and classify the target candidate subject regions to obtain at least one target candidate subject region set.
  • the extracted candidate subject regions may be identified using different levels of classifiers to exclude non-subject regions in the candidate subject regions.
  • the obtained candidate body regions may be identified by cascaded different levels of classifiers, and the candidate body regions are gradually excluded.
  • different levels of classifiers have different decision criteria, and it is highly probable that the candidate body regions of all levels of classifiers become the body regions of the image.
  • the obtained candidate body regions may be input into the first-level deep learning classifier, and the first-level deep learning classifier is based on The corresponding judging side identifies the candidate subject area, excludes the non-subject area that does not satisfy the subject area characteristic, and inputs the obtained recognition result into the second level deep learning classifier, and the second level deep learning classifier is based on the corresponding Judging the quasi-side and excluding some non-subject areas that do not satisfy the characteristics of the main body area, and outputting corresponding recognition results.
  • the identification obtained by the second-level deep learning classifier may be obtained.
  • the result is then input to a third-order linear classifier, which may also be referred to as a Support Vector Machine (SVM), and the third-level linear classifier identifies the input based on its corresponding judgment.
  • SVM Support Vector Machine
  • the result is further identified, and the non-subject area that does not satisfy the judgment criterion is removed, and the corresponding identification is output.
  • the recognition result is output through said body region of all three candidate classifier.
  • a large number of candidate subject areas can be coarsely screened in the early stage by using a low-level classifier, and in the latter stage, in order to accurately exclude a small number of indistinguishable non-subject areas in the set of candidate subject areas, A high-level classifier is used for identification to obtain an accurate corresponding target candidate body region.
  • the candidate subject area passing through the classifiers of all levels is the target candidate subject area.
  • the current target candidate region may be scaled according to the size relationship and the positional relationship between the subject and the current target candidate body region for each target candidate body region. Processing and/or translation processing.
  • the scores of each target candidate body region before and after adjustment and the category to which it belongs can be obtained, and the corresponding target candidate body is matched according to the score of the target candidate subject region in the same category.
  • the regions are sorted, and a target candidate body region set is obtained according to the sorting result.
  • the obtained pre-adjusted and adjusted target candidate subject regions may be passed through a depth learning model-based classifier that classifies each target candidate subject region and outputs each target candidate subject region to each category.
  • the probability value assuming that there are four target candidate subject areas before and after adjustment, the four target candidate subject areas are represented by a, b, c, and d, respectively, and the current classifier has three categories, respectively, using l, m and n represent that the probability distributions of the three categories l, m, and n corresponding to each target candidate body region obtained by the classifier are: a is (0.1, 0.1, 0.8), and b is (0.2, 0.2, 0.6) , c is (0.7, 0.1, 0.2), and d is (0.1, 0.85, 0.05).
  • the obtained result is: a and b belong to the category n, and the probability of a is high (confidence high), before b, c Belong to category l, d belongs to category m.
  • the target candidate body region may be merged according to the size relationship and the position relationship between the target candidate body regions.
  • the target candidate subject regions may be merged according to the size relationship and the positional relationship between the target candidate subject regions, specifically, for the same
  • the subject frame clustering algorithm may also be used, based on A machine learning algorithm such as a subject frame classification algorithm of a CRF (Conditional Random Fields) model combines target candidate body regions to obtain a body region corresponding to the two categories of subjects in the image.
  • the image body region detecting manner of the embodiment can accurately obtain the body region of the corresponding body in the image, and can obtain the positional relationship of the body region in the image, which facilitates subsequent classification, recognition, and cropping of the image based on the obtained body region. Search, etc.
  • the image can be cropped according to the body area of the image, and the cropped image is applied to the search result page to display the search result in the search result page.
  • the method for identifying an image body region implemented by the present invention first extracts a candidate subject region from the image to be identified, and then excludes the non-subject region in the extracted candidate subject region to obtain a target candidate subject region, and selects a target candidate region.
  • the main body area is adjusted and classified to obtain at least one target candidate main body area set, and finally the target candidate main body area in each target candidate main body area set is merged to identify the main body area of the image, thereby being
  • the body region of the image is surely obtained, and the body region corresponding to the plurality of bodies can be identified from the image including the plurality of subjects.
  • FIG. 2 is a flowchart of a method for recognizing an image body region according to another embodiment of the present invention.
  • This embodiment uses a picture shown in FIG. 3 as an example to describe a process of recognizing an image body region in detail, as shown in FIG. 2 .
  • the identification method of the main body area includes:
  • the candidate body regions of different sizes and aspect ratios can be extracted from FIG. 3 according to the general body detection model.
  • the results after extracting the candidate body regions in FIG. 3 are as shown in FIG. 4, and the rectangular frame in FIG. Representing a candidate subject area, each of the rectangular boxes of FIG. 4 represents one candidate subject area.
  • the universal subject detection model is a model for extracting a candidate subject region of an image, and the model extracting the candidate subject region of the image is highly efficient. Generally, the time required to extract the candidate subject region of an image is 100 ms.
  • a large number of candidate body regions are included in the candidate body region.
  • a large number of extracted candidate body region sets can be identified by cascaded different classifiers.
  • the non-subject area in the candidate subject area is gradually excluded to obtain the target candidate subject area.
  • the possibility that the candidate body region of all levels of the classifier becomes the body region of the image is relatively large, and the candidate body region that passes through the classifiers of all levels may be referred to as the target candidate body region.
  • FIG. 4 it can be seen from FIG. 4 that the figure includes two bodies, and therefore, the non-selective body regions corresponding to the two subjects can be non-classified by the multi-level two-class classifier.
  • the main body area is excluded.
  • the candidate main body area of FIG. 4 excludes the non-subject area, the obtained result is as shown in FIG. 5.
  • FIG. 5 only includes several main body areas which may become images.
  • Candidate body area ie target candidate body area).
  • the current relationship between the body and the current target candidate body region may be
  • the target candidate body region performs scaling processing and/or translation processing.
  • the target candidate body region in FIG. 5 can be performed. Adjustment, in particular, for each target candidate body region in FIG. 5, zooming, panning, etc. may be performed according to the size relationship and the position key between the target candidate body region and the body to generate a new target candidate body region.
  • the scores and categories of each target candidate body region before and after adjustment can be obtained, and the corresponding target candidate body regions are entered according to the scores of the target candidate body regions in the same category.
  • the rows are sorted, and a target candidate body region collection is obtained according to the sorting result.
  • the target candidate body region in FIG. 5 is adjusted, and then the pre-adjusted and adjusted candidate body regions are processed by a classifier, for example, a classifier based on a deep learning model, and the obtained result is as shown in FIG. 6.
  • FIG. 6 shows a plurality of target candidate subject regions obtained.
  • S204 Combine the target candidate body regions in each target candidate body region set to identify the body region of the image.
  • the target candidate body regions are merged.
  • the target candidate body region set may merge the target candidate body regions according to the size relationship and the position relationship between the target candidate body regions. Specifically, in the process of merging the target body regions in FIG. 6 , for the different subjects, the corresponding target candidate body regions around the body may be separately combined, specifically, according to the target candidate body regions. The size relationship and the positional relationship are merged. If the two target candidate body regions overlap, the circumscribed rectangles of the two can be merged. After the target candidate body regions in FIG. 6 are merged, the obtained body region of the image is as shown in the figure. As shown in Fig. 7, the two rectangular frames shown in Fig. 7 are the body regions of Fig. 3.
  • the picture After obtaining the body area of FIG. 3, the picture may be described, classified, identified, cropped, etc. according to the obtained body area.
  • the image may be cropped according to the body area of the image based on the obtained body area. And apply the cropped image to the search results page to display the search results graphically on the search results page.
  • the method for identifying an image body region implemented by the present invention first extracts a candidate subject region from the image to be identified, and then excludes the non-subject region in the extracted candidate subject region to obtain a target candidate subject region, and selects a target candidate region.
  • the body region is adjusted and classified to obtain at least one target candidate body region set, and finally the target candidate body region in each target candidate body region set is merged to identify the body region of the image, thereby being accurately obtained
  • the body area of the image, and the body area corresponding to the plurality of bodies may be identified from the image including the plurality of bodies.
  • the present invention also proposes an identification device for an image body area.
  • FIG. 8 is a block diagram showing the structure of an image body area identifying apparatus according to an embodiment of the present invention.
  • the identification device of the image body area includes: an extraction module 100, a processing module 200, and a merging module 300, wherein:
  • the extraction module 100 is configured to receive an image to be identified, and extract a candidate body region set from the image; the processing module 200 For excluding the non-subject regions in the extracted candidate subject regions to obtain target candidate subject regions, and adjusting and classifying the target candidate subject regions to obtain at least one target candidate subject region set; and merging module 300 A target candidate body region in each target candidate body region set is merged to identify a body region of the image.
  • the processing module 200 is specifically configured to: identify, for each candidate body region in the candidate body region set, the current candidate body region by using different levels of classifiers to exclude the non-subject region.
  • the processing module 200 may identify the current candidate body region by cascading different levels of classifiers to exclude the non-body region in the candidate body region to obtain the target candidate body region.
  • the processing module 200 may perform scaling processing on the current target candidate body region according to the size relationship and the position relationship between the body and the current target candidate body region. Or panning.
  • the processing module 200 can obtain the score of each target candidate subject region before and after the adjustment and the category to which it belongs, and corresponding to the score pair of the target candidate subject region in the same category.
  • the target candidate body regions are sorted, and a target candidate body region set is obtained according to the sorting result.
  • the merging module 300 may merge the target candidate body regions according to the size relationship and the position relationship between the target candidate body regions.
  • the process of identifying the image body area by the identification device of the image body area including the extraction module 100, the processing module 200, and the merging module 300 can be referred to FIG. 1 or FIG. 2 and corresponding text descriptions, and details are not described herein.
  • the apparatus for identifying an image body region implemented by the present invention extracts a candidate body region from the image to be identified through an extraction module, and then excludes the non-body region in the extracted candidate body region by the processing module to obtain a target candidate body region. And adjusting and classifying the target candidate body region to obtain at least one target candidate body region set, and merging the target candidate body regions in each target candidate body region set to identify the body region of the image, thereby The body region of the image can be accurately obtained, and the body region corresponding to the plurality of bodies can be identified from the image including the plurality of subjects.
  • the present invention also provides a storage medium for storing an application for performing an image body area identification method according to any of the embodiments of the present invention.
  • the present invention also provides an identification device for an image body area, comprising: one or more processors; a memory; one or more modules, wherein the one or more modules are stored in the memory, When executed by the one or more processors, the following operations are performed:
  • the target candidate body regions are adjusted and classified to obtain at least one target candidate body region set.
  • first and second are used for descriptive purposes only and are not to be construed as indicating or implying a relative importance or implicitly indicating the number of technical features indicated.
  • features defining “first” or “second” may include at least one of the features, either explicitly or implicitly.
  • the meaning of "a plurality” is at least two, such as two, three, etc., unless specifically defined otherwise.
  • a "computer-readable medium” can be any apparatus that can contain, store, communicate, propagate, or transport a program for use in an instruction execution system, apparatus, or device, or in conjunction with the instruction execution system, apparatus, or device.
  • computer readable media include the following: electrical connections (electronic devices) having one or more wires, portable computer disk cartridges (magnetic devices), random access memory (RAM), Read only memory (ROM), erasable editable read only memory (EPROM or flash memory), fiber optic devices, and portable compact disk read only memory (CDROM).
  • the computer readable medium may even be a paper or other suitable medium on which the program can be printed, as it may be optically scanned, for example by paper or other medium, followed by editing, interpretation or, if appropriate, other suitable The method is processed to obtain the program electronically and then stored in computer memory.
  • portions of the invention may be implemented in hardware, software, firmware or a combination thereof.
  • multiple steps or methods may be implemented in software or firmware stored in a memory and executed by a suitable instruction execution system to realise.
  • a suitable instruction execution system to realise.
  • if implemented in hardware as in another embodiment, it can be implemented by any one or combination of the following techniques well known in the art: having logic gates for implementing logic functions on data signals.
  • Discrete logic circuits application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGAs), field programmable gate arrays (FPGAs), etc.
  • each functional unit in each embodiment of the present invention may be integrated into one processing module, or each unit may exist physically separately, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules.
  • the integrated modules, if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.
  • the above mentioned storage medium may be a read only memory, a magnetic disk or an optical disk or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像主体区域的识别方法及装置，其中，该方法包括：接收待识别的图像，并从图像中提取候选主体区域；对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合；以及对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出图像的主体区域。本发明实施例的提供的图像主体区域的识别方法及装置，可以准确地获得图像的主体区域，且可以从包含多个主体的图像中识别出多个主体对应的主体区域。

Description

图像主体区域的识别方法及装置
相关申请的交叉引用
本申请要求百度在线网络技术(北京)有限公司于2014年12月30日提交的、发明名称为“图像主体区域的识别方法及装置”的、中国专利申请号“201410850511.2”的优先权。
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像主体区域的识别方法及装置。
背景技术
目前，图像信息的提取主要集中在三种粒度层面，其一是以图像整体为单位的粗粒度图像分类标注，其二是以获得图像中实体目标(例如行人、人脸、汽车等)为目的的目标检测方式，该方式需要训练专门类别的检测器进行检测。其三是精细到图像像素的细粒图像分割或者剖析，图像分割或者剖析能够对图像主体细节进行像素级的粒度描述，然而，上述三种粒度层面的图像处理方式存在的问题是，图像分类标注不能准确和全面的分析包含多个主体的图像，所获得的分析结果不稳定；目标检测方式对于包含多个类别的目标主体时需要对图像进行多次遍历处理，所需计算量大；图像分割或者剖析所需分析时间较长，可在例如人脸、服饰、皮肤、箱包分割等特定场景上使用。
随着互联网技术的发展，上述单一粒度的图像处理的方式在处理效率上难以满足更加多样化的网页(web)图片、社交(social)图片等的要求，为了适应时代的发展，现有的对图像进行处理的过程为：从图像中检测出主体所在的主体区域，然后基于主体区域对主体进行后续分析，例如，可对主体进行分类或者识别。在这个整个过程中获得图像中的主体区域是获得图像准确分析结果的关键，目前常用的图像主体区域检测方式有两种，第一种方式为基于显著性区域的主体检测方式，该方式通过显著性能量函数对图像进行处理，以生成图像的能量分布图，并根据能量分布图获得显著性较高的区域，并将该区域作为图像的主体区域。第二种方式为基于深度学习的主体坐标回归，该方式获得待处理的图像，然后通过已训练好的深度神经网络预测主体外接矩形的四个点坐标，实现主体区域检测定位。
然而，上述两种方式存在的问题是：第一种方式所使用的显著性能量函数不具有通用性，主体区域检测结果的准确性和有效性不足，第二种方式不仅计算复杂，时效性效果不佳，而 且该方式只能返回一个主体区域，很难处理包含多个主体的图像。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明第一方面实施例在于提出一种图像主体区域的识别方法，该方法可以准确地获得图像的主体区域，且可以从包含多个主体的图像中识别出多个主体对应的主体区域。
本发明的第二方面实施例在于提出一种图像主体区域的识别装置。
本发明的第三方面实施例在于提出一种存储介质。
本发明的第四方面实施例在于提出一种图像主体区域的识别设备。
为了实现上述目的，本发明第一方面实施例的图像主体区域的识别方法，包括：接收待识别的图像，并从所述图像中提取候选主体区域；对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对所述目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合；以及对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出所述图像的主体区域。
根据本发明实施例的图像主体区域的识别方法，首先从待识别图像中提取候选主体区域，然后对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合，最后对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出图像的主体区域，由此，可以准确地获得图像的主体区域，且可以从包含多个主体的图像中识别出多个主体对应的主体区域。
为了实现上述目的，本发明第二方面实施例的图像主体区域的识别装置，包括：提取模块，用于接收待识别的图像，并从所述图像中提取候选主体区域；处理模块，用于对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对所述目标候选主体区域进行调整和分类，以获得至少一组目标候选主体区域集合；以及合并模块，用于对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出所述图像的主体区域。
根据本发明实施例的图像主体区域的识别装置，通过提取模块从待识别图像中提取候选主体区域，然后通过处理模块对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合，以及对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出图像的主体区域，由此，可以准确地获得图像的主体区域，且可以从包含多个主体的图像中识别出多个主体对应的主体区域。
为了实现上述目的，本发明第三方面实施例的存储介质，用于存储应用程序，所述应用 程序用于执行本发明第一方面实施例所述的图像主体区域的识别方法。
为了实现上述目的，本发明第四方面实施例的图像主体区域的识别设备，包括：一个或者多个处理器；存储器；一个或者多个模块，所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时进行如下操作：接收待识别的图像，并从所述图像中提取候选主体区域；对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对所述目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合；以及对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出所述图像的主体区域。
附图说明
图1是根据本发明一个实施例的图像主体区域的识别方法的流程图。
图2是根据本发明一个实施例的图像主体区域的识别方法的流程图。
图3是未经过处理的原图的示例图。
图4是对图3提取候选主体区域后的结果的示例图。
图5是对图4中的候选主体区域排除非主体区域后的结果的示例图。
图6是对图5中的候选主体区域进行调整和分类后的结果的示例图。
图7是对图6中的目标候选主体区域进行合并后的结果的示例图。
图8是根据本发明一个实施例的图像主体区域的识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像主体区域的识别方法及装置。
图1是根据本发明一个实施例的图像主体区域的识别方法的流程图，如图1所示，该图像主体区域的识别方法包括：
S101，接收待识别的图像，并从图像中提取候选主体区域。
具体地，可根据通用的主体检测模型从待识别的图像中提取不同大小尺寸、长宽比的候选主体区域，为了可以使得候选主体区域可以涵盖待识别的图像中各种类别、不同大小、不同尺寸的主体内容，通常通用的主体区域检测模型可以获得图像的大量的候选主体区域，候选主体区域在图像中通常用矩形框标示。
其中，通用的主体检测模型是一种提取图像的候选主体区域的模型，该模型可根据预先设定的图像特征(例如像素灰度、颜色、图像梯度、边缘、方向梯度直方图HOG(Histogram of Oriented Gradient)特征、局部二值模式LBP(Local Binary Pattern)特征等)对图像的特征进行提取，在提取待识别的图像后，可通过图像的机器学习算法(例如支持向量机svm(support vector machine)、Adaboost算法(该算法是一种自适应集成学习算法)、随机森林(random forest)算法等)对所获得的特征进行分析，以获得待识别图像对应的候选主体区域。需要说明的是，该模型提取图像的候选主体区域的效率高，一般情况下，提取一种图像的候选主体区域所需的时间为100ms。
S102，对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合。
在该实施例中，在获得待识别图像的大量的候选主体区域后，可使用不同级别的分类器对所提取到的候选主体区域进行识别，以排除候选主体区域中的非主体区域。
具体地，在获得待识别图像的大量的候选主体区域后，为了可以获得准确获得图像的主体区域，可将获得的候选主体区域通过级联的不同级别的分类器进行识别，逐步排除候选主体区域中的非主体区域。其中，不同级别的分类器具有不同的判定准则，可以通过所有级别的分类器的候选主体区域成为图像的主体区域的可能性很高。
例如，假定当前级联了三个分类器，在获得当前图像对应的大量的候选主体区域后，可将所获得的候选主体区域输入第一级深度学习分类器，第一级深度学习分类器基于其对应的判断准侧对候选主体区域进行识别，排除不满足主体区域特性的非主体区域，并将获得的识别结果输入第二级深度学习分类器，第二级深度学习分类器基于其对应的判断准侧再排除一些不满足主体区域特性的非主体区域，并输出对应的识别结果，在获得第二级深度学习分类器的识别结果后，可将第二级深度学习分类器所获得的识别结果再输入至第三级线性分类器，其中，该线性分类器也可以称为支持向量机(Support Vector Machine，简称SVM)，第三级线性分类器基于其对应的判断准侧对输入的识别结果再进行识别，并将其不满足其判断准侧的非主体区域去除，以及输出对应的识别结果，所输出的识别结果为所有通过上述三级分类器的候选主体区域。在这里，为了可以快速过滤大量非主体，在前期可使用低级别的分类器对大量的候选主体区域进行粗筛选，后期为了可以准确排除候选主体区域集合中的少量难区分的非主体区域，可使用高级别的分类器进行识别，以获得准确对应的目标候选主体区域。其中，通过所有级别的分类器的候选主体区域即为目标候选主体区域。
在获得目标候选主体区域后，为了可以准确获得图像的主体区域，可针对每个目标候选主体区域，根据主体和当前目标候选主体区域之间的大小关系和位置关系对当前目标候选主体区域进行缩放处理和/或平移处理。
在对每个目标候选主体区域进行调整后，可获得调整前和调整后的每个目标候选主体区域的评分和所属的类别，并根据同一类别中目标候选主体区域的评分对对应的目标候选主体区域进行排序，并根据排序结果获得目标候选主体区域集合。
例如，可将获得的调整前和调整后的目标候选主体区域通过一个基于深度学习模型的分类器，该分类器对每个目标候选主体区域进行分类，并输出每个目标候选主体区域属于各个类别的概率值，假定调整前和调整后的目标候选主体区域总共有四个，用a、b、c和d分别表示这四个目标候选主体区域，并且当前分类器有三个类别，分别用l、m、n表示，通过分类器所获得的各个目标候选主体区域对应的三种类别l、m、n的概率分布为：a为(0.1，0.1，0.8)，b为(0.2，0.2，0.6)，c为(0.7，0.1，0.2)，d为(0.1，0.85，0.05)，在获得对应的概率后，针对每个类别，可根据每个目标候选主体区域的概率对其进行排序，并根据排序结果获得目标候选主体区域对应的类别。其中，对上述四个目标候选主体区域a、b、c和d进行处理后，所获得的结果为：a和b属于类别n，且a的概率高(置信高)，排于b之前，c属于类别l，d属于类别m。
S103，对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出图像的主体区域。
在该实施例中，在获得图像对应的至少一个目标候选主体区域集合后，针对每个目标候选主体区域集合，可根据目标候选主体区域之间的大小关系及位置关系对目标候选主体区域进行合并。
例如，假定当前获得两类目标候选主体区域集合，针对每个目标候选主体区域集合，可根据目标候选主体区域之间的大小关系及位置关系对目标候选主体区域进行合并，具体地，在对于同一类别的目标候选主体区域进行合并的过程中，若两个目标候选主体区域交叠，可按照两者的外接矩形进行合并，另外，在合并的过程中，也可以使用主体框聚类算法、基于CRF(Conditional Random Fields，条件随机场)模型的主体框分类划分算法等机器学习算法来对目标候选主体区域进行合并，以获得两种类别的主体在图像中对应的主体区域。
该实施例的图像主体区域检测方式可以准确获得图像中对应主体的主体区域，并且可以获得主体区域在图像中的位置关系，方便了后续基于所获得的主体区域对图片进行分类、识别、裁剪、搜索等，另外，还可以根据图像的主体区域对图像进行裁剪，并将裁剪后的图片应用在搜索结果页中，以在搜索结果页中图文并茂的展示搜索结果。
本发明实施的图像主体区域的识别方法，首先从待识别图像中提取候选主体区域，然后对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合，最后对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出图像的主体区域，由此，可以准 确地获得图像的主体区域，且可以从包含多个主体的图像中识别出多个主体对应的主体区域。
图2是根据本发明另一个实施例的图像主体区域的识别方法的流程图，该实施例以图3所示的图片为例详细描述图像主体区域的识别过程，如图2所示，该图像主体区域的识别方法包括：
S201，从图像中提取候选主体区域。
具体地，可根据通用的主体检测模型从图3中提取不同大小尺寸、长宽比的候选主体区域，对图3提取候选主体区域后的结果如图4所示，图4中用矩形框即表示候选主体区域，图4的每一个矩形框表示一个候选主体区域。
其中，通用的主体检测模型是一种提取图像的候选主体区域的模型，该模型提取图像的候选主体区域的效率高，一般情况下，提取一种图像的候选主体区域所需的时间为100ms。
S202，对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域。
通过图4可以看出候选主体区域中包含大量的候选主体区域，为了可以准确获得图像的主体区域，可通过级联的不同级别的分类器对所提取到的大量的候选主体区域集合进行识别，并逐步排除候选主体区域中的非主体区域，以获得目标候选主体区域。其中，通过所有级别的分类器的候选主体区域成为图像的主体区域的可能性比较大，通过所有级别的分类器的候选主体区域可称为目标候选主体区域。
具体而言，在处理图4的过程中，通过图4可以看出，该图中包含两个主体，因此，可通过多级二分类的分类器对两个主体对应的候选主体区域中的非主体区域进行排除，图4的候选主体区域排除非主体区域后，所获得的结果如图5，通过比较图4与图5可以看出，图5中仅包含了几个可能成为图像的主体区域的候选主体区域(即目标候选主体区域)。
S203，对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合。
在该实施例中,在获得目标候选主体区域后，为了可以准确获得图像的主体区域，针对每个目标候选主体区域，可根据主体和当前目标候选主体区域之间的大小关系和位置关系对当前目标候选主体区域进行缩放处理和/或平移处理。
通过图5可以看出，图5中所包含的目标候选主体区域中与图像的主体区域之间还存在一些偏差，为了可以准确获得图像的主体区域，可对图5中的目标候选主体区域进行调整，具体而言，针对图5中的每个目标候选主体区域，可根据目标候选主体区域与主体之间的大小关系和位置关键进行缩放、平移等以生成新的目标候选主体区域。
在对每个目标候选主体区域进行调整后，可获得调整前和调整后的每个目标候选主体区域的评分和类别，并根据同一类别中目标候选主体区域的评分对对应的目标候选主体区域进 行排序，并根据排序结果获得目标候选主体区域集合。其中，对图5中的目标候选主体区域进行调整，然后在通过分类器例如基于深度学习模型的分类器对所调整前和调整后的候选主体区域进行处理，处理后所获的结果如图6所示，图6示出了所获得的多个目标候选主体区域。
S204，对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出图像的主体区域。
在该实施例中，在获得至少一个目标候选主体区域集合后，针对每个目标候选主体区域集合，针对每个目标候选主体区域集合，可根据目标候选主体区域之间的大小关系及位置关系对目标候选主体区域进行合并。
对于图6中的目标候选主体区域，由于图6中包含两个主体，因此，对于图6来说，可以获得两个目标候选主体区域集合，在获得两个目标候选主体区域集合后，针对每个目标候选主体区域集合，可根据目标候选主体区域之间的大小关系及位置关系对目标候选主体区域进行合并。具体地，在对图6中的目标主体区域进行合并的过程中，针对不同的主体，可分别对主体周围对应的目标候选主体区域进行合并，具体而言，可根据目标候选主体区域之间的大小关系和位置关系进行合并，若两个目标候选主体区域交叠，可按照两者的外接矩形进行合并，对图6中的目标候选主体区域进行合并后，所获得的图像的主体区域如图7所示，图7中所示的两个矩形框即为图3的主体区域。
在获得图3的主体区域后，可根据所获得的主体区域对图片进行描述、分类、识别、裁剪展示等，另外，还可以基于所获得的主体区域还可以根据图像的主体区域对图像进行裁剪，并将裁剪后的图片应用在搜索结果页中，以在搜索结果页中图文并茂的展示搜索结果。
本发明实施的图像主体区域的识别方法，首先从待识别图像中提取候选主体区域，然后对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合，最后对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出图像的主体区域，由此，可以准确地获得图像的主体区域，且可以从包含多个主体的图像中识别出多个主体对应的主体区域。
为了实现上述实施例，本发明还提出一种图像主体区域的识别装置。
图8是根据本发明一个实施例的图像主体区域的识别装置的结构示意图。
如图8所示，该图像主体区域的识别装置包括：提取模块100、处理模块200和合并模块300，其中：
提取模块100用于接收待识别的图像，并从图像中提取候选主体区域集；处理模块200 用于对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合；以及合并模块300用于对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出图像的主体区域。
处理模块200具体用于：针对候选主体区域集合中的每个候选主体区域，使用不同级别的分类器对当前候选主体区域进行识别，以排除非主体区域。
具体地，处理模块200可通过级联的不同级别的分类器对当前候选主体区域进行识别，以排除候选主体区域中的非主体区域，以获得目标候选主体区域。
在处理模块200获得目标候选主体区域后，针对每个目标候选主体区域，处理模块200可根据主体和当前目标候选主体区域之间的大小关系和位置关系对当前目标候选主体区域进行缩放处理和/或平移处理。
在处理模块200对目标候选主体区域进行调整后，处理模块200可获得调整前和调整后的每个目标候选主体区域的评分和所属的类别，并根据同一类别中目标候选主体区域的评分对对应的目标候选主体区域进行排序，并根据排序结果获得目标候选主体区域集合。
在处理模块200获得至少一个目标候选主体区域集合后，针对每个标候选主体区域集合，合并模块300可根据目标候选主体区域之间的大小关系及位置关系对目标候选主体区域进行合并。
包含提取模块100、处理模块200和合并模块300的图像主体区域的识别装置识别图像主体区域的过程可参见图1或者图2以及对应的文字描述，此处不赘述。
本发明实施的图像主体区域的识别装置，通过提取模块从待识别图像中提取候选主体区域，然后通过处理模块对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合，以及对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出图像的主体区域，由此，可以准确地获得图像的主体区域，且可以从包含多个主体的图像中识别出多个主体对应的主体区域。
为了实现上述目的，本发明还提出了一种存储介质，用于存储应用程序，该应用程序用于执行本发明任一实施例所述的图像主体区域的识别方法。
为了实现上述目的，本发明还提出了一种图像主体区域的识别设备，包括：一个或者多个处理器；存储器；一个或者多个模块，所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时进行如下操作：
S101'，接收待识别的图像，并从所述图像中提取候选主体区域。
S102'，对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域， 并对目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合。
S103'，对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出图像的主体区域。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件 来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

  1. 一种图像主体区域的识别方法，其特征在于，包括：
    接收待识别的图像，并从所述图像中提取候选主体区域；
    对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对所述目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合；以及
    对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出所述图像的主体区域。
  2. 根据权利要求1所述的方法，其特征在于，所述对所提取到的候选主体区域中的非主体区域进行排除，包括：
    使用不同级别的分类器对所提取到的候选主体区域进行识别，以排除所述非主体区域。
  3. 根据权利要求1或2所述的方法，其特征在于，所述对所述目标候选主体区域进行调整，包括：
    针对每个目标候选主体区域，根据主体和当前目标候选主体区域之间的大小关系和位置关系对所述当前目标候选主体区域进行缩放处理和/或平移处理。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，所述对所述目标候选主体区域进行分类，包括：
    获得调整前和调整后的每个目标候选主体区域的评分和所属的类别，并根据同一类别中目标候选主体区域的评分对对应的目标候选主体区域进行排序，并根据排序结果获得所述目标候选主体区域集合。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述对每个目标候选主体区域集合中的目标候选主体区域进行合并，以识别出所述图像的主体区域，包括：
    根据目标候选主体区域之间的大小关系及位置关系对目标候选主体区域进行合并。
  6. 一种图像主体区域的识别装置，其特征在于，包括：
    提取模块，用于接收待识别的图像，并从所述图像中提取候选主体区域；
    处理模块，用于对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对所述目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合；以及
    合并模块，用于对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出所述图像的主体区域。
  7. 根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于：
    使用不同级别的分类器对所提取到的候选主体区域进行识别，以排除所述非主体区域。
  8. 根据权利要求6或7所述的装置，其特征在于，所述处理模块，具体用于：
    针对每个目标候选主体区域，根据主体和当前目标候选主体区域之间的大小关系和位置关系对所述当前目标候选主体区域进行缩放处理和/或平移处理。
  9. 根据权利要求6-8任一项所述的装置，其特征在于，所述处理模块，还用于：
    获得调整前和调整后的每个目标候选主体区域的评分和所属的类别，并根据同一类别中目标候选主体区域的评分对对应的目标候选主体区域进行排序，并根据排序结果获得所述目标候选主体区域集合。
  10. 根据权利要求6-9任一项所述的装置，其特征在于，所述合并模块，具体用于：
    根据目标候选主体区域之间的大小关系及位置关系对目标候选主体区域进行合并。
  11. 一种存储介质，其特征在于，用于存储应用程序，所述应用程序用于执行权利要求1至5中任一项所述的图像主体区域的识别方法。
  12. 一种图像主体区域的识别设备，其特征在于，包括：
    一个或者多个处理器；
    存储器；
    一个或者多个模块，所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时进行如下操作：
    接收待识别的图像，并从所述图像中提取候选主体区域；
    对所提取到的候选主体区域中的非主体区域进行排除，以获得目标候选主体区域，并对所述目标候选主体区域进行调整和分类，以获得至少一个目标候选主体区域集合；以及
    对每个目标候选主体区域集合中的目标候选主体区域合并，以识别出所述图像的主体区域。
PCT/CN2015/082049 2014-12-30 2015-06-23 图像主体区域的识别方法及装置 Ceased WO2016107103A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/322,466 US10121095B2 (en) 2014-12-30 2015-06-23 Method and device for recognizing subject area of image
JP2017501172A JP6397986B2 (ja) 2014-12-30 2015-06-23 画像オブジェクト領域の認識方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410850511.2A CN104573715B (zh) 2014-12-30 2014-12-30 图像主体区域的识别方法及装置
CN201410850511.2 2014-12-30

Publications (1)

Publication Number Publication Date
WO2016107103A1 true WO2016107103A1 (zh) 2016-07-07

Family

ID=53089735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/082049 Ceased WO2016107103A1 (zh) 2014-12-30 2015-06-23 图像主体区域的识别方法及装置

Country Status (4)

Country Link
US (1) US10121095B2 (zh)
JP (1) JP6397986B2 (zh)
CN (1) CN104573715B (zh)
WO (1) WO2016107103A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152532A1 (en) * 2017-02-20 2018-08-23 Alibaba Group Holding Linited Type prediction method, apparatus and electronic device for recognizing an object in an image
JP2019530039A (ja) * 2017-06-06 2019-10-17 ミデア グループ カンパニー リミテッドＭｉｄｅａ Ｇｒｏｕｐ Ｃｏ．， Ｌｔｄ． ディープニューラルネットワークを用いた粗略から精細な手検出方法
TWI764905B (zh) * 2016-09-23 2022-05-21 南韓商三星電子股份有限公司 偵測物體的裝置與方法、製造處理器的方法以及建構積體電路的方法
CN115797806A (zh) * 2022-11-23 2023-03-14 华北电力大学（保定） 一种输电线路多金具检测方法及装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573715B (zh) * 2014-12-30 2017-07-25 百度在线网络技术（北京）有限公司 图像主体区域的识别方法及装置
CN104866565B (zh) * 2015-05-21 2019-03-12 百度在线网络技术（北京）有限公司 图片搜索方法及装置
CN104992146B (zh) * 2015-06-15 2019-09-20 百度在线网络技术（北京）有限公司 一种用于人脸识别的方法和装置
WO2017000118A1 (en) * 2015-06-29 2017-01-05 Xiaoou Tang Method and apparatus for predicting attribute for image sample
CN106326817B (zh) * 2015-07-03 2021-08-03 佳能株式会社 用于从图像中检测对象的方法和设备
CN106803234B (zh) 2015-11-26 2020-06-16 腾讯科技（深圳）有限公司 图片编辑中的图片显示控制方法及装置
CN106203284B (zh) * 2016-06-30 2019-05-14 华中科技大学 基于卷积神经网络和条件随机场的人脸检测方法
CN107729910A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 一种图形识别的方法、装置及系统
CN107292293A (zh) * 2017-07-26 2017-10-24 北京小米移动软件有限公司 人脸检测的方法及装置
CN108062739B (zh) * 2017-11-02 2021-07-02 广东数相智能科技有限公司 一种基于主体位置的图片智能裁剪方法及装置
CN108229305B (zh) 2017-11-21 2021-06-04 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置和电子设备
CN108132054A (zh) * 2017-12-20 2018-06-08 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN110569856B (zh) * 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
US11850514B2 (en) 2018-09-07 2023-12-26 Vulcan Inc. Physical games enhanced by augmented reality
CN109492684A (zh) * 2018-10-31 2019-03-19 西安同瑞恒达电子科技有限公司 数据处理方法及装置
KR102701601B1 (ko) * 2018-11-21 2024-09-03 삼성전자주식회사 영상 처리 장치 및 그 제어방법
US11670080B2 (en) * 2018-11-26 2023-06-06 Vulcan, Inc. Techniques for enhancing awareness of personnel
CN109801270B (zh) * 2018-12-29 2021-07-16 北京市商汤科技开发有限公司 锚点确定方法及装置、电子设备和存储介质
WO2020163530A1 (en) 2019-02-08 2020-08-13 Vulcan Inc. Devices to assist ecosystem development and preservation
US11912382B2 (en) 2019-03-22 2024-02-27 Vulcan Inc. Underwater positioning system
US11435845B2 (en) 2019-04-23 2022-09-06 Amazon Technologies, Inc. Gesture recognition based on skeletal model vectors
WO2020237611A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 图像处理方法、装置、控制终端及可移动设备
JP7328012B2 (ja) * 2019-06-03 2023-08-16 Ｊｘ金属株式会社 電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法
JP7328011B2 (ja) * 2019-06-03 2023-08-16 Ｊｘ金属株式会社 電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法
CN110248097B (zh) * 2019-06-28 2021-02-23 Oppo广东移动通信有限公司 追焦方法、装置、终端设备、计算机可读存储介质
CN110490196B (zh) * 2019-08-09 2022-11-15 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110580678B (zh) * 2019-09-10 2023-06-20 北京百度网讯科技有限公司 图像处理方法及装置
CN110796041B (zh) 2019-10-16 2023-08-18 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
CN111340124A (zh) * 2020-03-03 2020-06-26 Oppo广东移动通信有限公司 图像中实体类别的识别方法和装置
CN113297514B (zh) * 2020-04-13 2025-08-12 阿里巴巴集团控股有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN112232215B (zh) * 2020-10-16 2021-04-06 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩尾销托梁脱落故障检测方法
CN113222041B (zh) * 2021-05-24 2022-06-07 北京航空航天大学 图结构表征的高阶关联发现细粒度图像识别方法及装置
KR102720959B1 (ko) * 2021-06-01 2024-10-24 (주)애니로직 웹 디자인 속성을 추출하는 웹 문서 생성 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894361A (zh) * 2010-07-01 2010-11-24 云南大学 一种基于内容的主体大小能控的图像缩放方法
CN102013021A (zh) * 2010-08-19 2011-04-13 汪建 基于颜色和区域生长的茶叶嫩芽分割和识别方法
CN102622761A (zh) * 2012-04-13 2012-08-01 西安电子科技大学 基于相似性相互作用机理的图像分割方法
CN104573715A (zh) * 2014-12-30 2015-04-29 百度在线网络技术（北京）有限公司 图像主体区域的识别方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004296921A (ja) * 2003-03-27 2004-10-21 Canon Inc 位置検出装置
CN100468453C (zh) * 2003-12-29 2009-03-11 佳能株式会社 检测和校正图像中的红眼的方法
US7899644B2 (en) * 2004-02-05 2011-03-01 Bae Systems Information And Electronic Systems Integration Inc. Threat launch detection system and method
WO2006030633A1 (ja) * 2004-09-15 2006-03-23 Matsushita Electric Industrial Co., Ltd. 物体検出装置
WO2008065717A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
KR101030430B1 (ko) * 2007-09-12 2011-04-20 주식회사 코아로직 영상 처리 장치와 방법 및 그 기록매체
CN101408942B (zh) * 2008-04-17 2011-01-12 浙江师范大学 一种复杂背景下的车牌定位方法
JP2010039968A (ja) * 2008-08-08 2010-02-18 Hitachi Ltd オブジェクト検出装置及び検出方法
CN101350063B (zh) * 2008-09-03 2011-12-28 北京中星微电子有限公司 人脸特征点定位方法及装置
CN101510309B (zh) * 2009-03-30 2010-12-01 西安电子科技大学 基于复小波纹理区域合并的改进分水岭sar图像分割方法
JP5702960B2 (ja) * 2010-07-12 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2013011950A (ja) * 2011-06-28 2013-01-17 Canon Inc 画像処理装置、画像処理方法及びプログラム
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN103955718A (zh) * 2014-05-15 2014-07-30 厦门美图之家科技有限公司 一种图像主体对象的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894361A (zh) * 2010-07-01 2010-11-24 云南大学 一种基于内容的主体大小能控的图像缩放方法
CN102013021A (zh) * 2010-08-19 2011-04-13 汪建 基于颜色和区域生长的茶叶嫩芽分割和识别方法
CN102622761A (zh) * 2012-04-13 2012-08-01 西安电子科技大学 基于相似性相互作用机理的图像分割方法
CN104573715A (zh) * 2014-12-30 2015-04-29 百度在线网络技术（北京）有限公司 图像主体区域的识别方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764905B (zh) * 2016-09-23 2022-05-21 南韓商三星電子股份有限公司 偵測物體的裝置與方法、製造處理器的方法以及建構積體電路的方法
WO2018152532A1 (en) * 2017-02-20 2018-08-23 Alibaba Group Holding Linited Type prediction method, apparatus and electronic device for recognizing an object in an image
US10706334B2 (en) 2017-02-20 2020-07-07 Alibaba Group Holding Limited Type prediction method, apparatus and electronic device for recognizing an object in an image
TWI746674B (zh) * 2017-02-20 2021-11-21 香港商阿里巴巴集團服務有限公司 識別圖像中物件的類型預測方法、裝置及電子設備
JP2019530039A (ja) * 2017-06-06 2019-10-17 ミデア グループ カンパニー リミテッドＭｉｄｅａ Ｇｒｏｕｐ Ｃｏ．， Ｌｔｄ． ディープニューラルネットワークを用いた粗略から精細な手検出方法
US10817716B2 (en) 2017-06-06 2020-10-27 Midea Group Co., Ltd. Coarse-to-fine hand detection method using deep neural network
CN115797806A (zh) * 2022-11-23 2023-03-14 华北电力大学（保定） 一种输电线路多金具检测方法及装置

Also Published As

Publication number Publication date
CN104573715A (zh) 2015-04-29
US20170293824A1 (en) 2017-10-12
US10121095B2 (en) 2018-11-06
JP6397986B2 (ja) 2018-09-26
CN104573715B (zh) 2017-07-25
JP2017520859A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
JP6397986B2 (ja) 画像オブジェクト領域の認識方法及び装置
Kakani et al. Improved OCR based automatic vehicle number plate recognition using features trained neural network
CN106570453B (zh) 用于行人检测的方法、装置和系统
US9501703B2 (en) Apparatus and method for recognizing traffic sign board
Qin et al. Cascaded segmentation-detection networks for word-level text spotting
KR102195940B1 (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
WO2019169532A1 (zh) 车牌识别方法及云系统
CN101872477A (zh) 检测图像中的对象的方法、装置，及包括该装置的系统
CN105512683A (zh) 基于卷积神经网络的目标定位方法及装置
Kulkarni et al. Text detection and recognition: a review
Setiyono et al. Number plate recognition on vehicle using YOLO-Darknet
CN104318208A (zh) 一种基于图分割和实例学习的视频场景检测方法
Uddin et al. Horse detection using haar like features
Roslan et al. Color-based bird image classification using Support Vector Machine
CN104537392B (zh) 一种基于判别性语义部件学习的对象检测方法
Pham et al. CNN-based character recognition for license plate recognition system
Reddy et al. Real Time Object Identification: A Study on COCO Dataset
Xue Optical character recognition
KR102050422B1 (ko) 문자 인식 장치 및 방법
CN116433982B (zh) 一种基于自适应域学习的弱监督目标定位方法
CN110121723A (zh) 人工神经网络
Muchtar et al. Attention-based approach for efficient moving vehicle classification
CN104680123A (zh) 对象识别装置、对象识别方法和程序
Göring et al. Semantic Segmentation using GrabCut.
Gao et al. A hierarchical visual saliency model for character detection in natural scenes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15874793

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15322466

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017501172

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15874793

Country of ref document: EP

Kind code of ref document: A1