WO2020181903A1 - 网页配图的处理方法、系统、设备和存储介质 - Google Patents

网页配图的处理方法、系统、设备和存储介质 Download PDF

Info

Publication number
WO2020181903A1
WO2020181903A1 PCT/CN2020/070016 CN2020070016W WO2020181903A1 WO 2020181903 A1 WO2020181903 A1 WO 2020181903A1 CN 2020070016 W CN2020070016 W CN 2020070016W WO 2020181903 A1 WO2020181903 A1 WO 2020181903A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interest
target
region
images
Prior art date
Application number
PCT/CN2020/070016
Other languages
English (en)
French (fr)
Inventor
王曦晨
张震涛
佘志东
朱俊伟
王刚
张亮
饶正锋
Original Assignee
北京京东尚科信息技术有限公司
北京京东世纪贸易有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司 filed Critical 北京京东尚科信息技术有限公司
Priority to US17/297,273 priority Critical patent/US11995144B2/en
Priority to EP20769750.9A priority patent/EP3872655A4/en
Publication of WO2020181903A1 publication Critical patent/WO2020181903A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to the technical field of image processing, in particular to a processing method, system, equipment and storage medium for web page layout.
  • the existing processing methods for web page layout mainly include the following:
  • the technical problem to be solved by the present invention is that the processing method of web page layout in the prior art cannot directly cut the target layout from the original natural scene image to meet the web page editing requirements and other defects.
  • the purpose is to provide a web page layout processing method. Methods, systems, equipment and storage media.
  • the present invention provides a processing method for page layout, and the processing method includes:
  • each image in the first image set at least one region of interest is marked, and each region of interest is used to represent an object;
  • the image to be processed is cut according to the target webpage layout frame to obtain a target webpage layout.
  • the step of obtaining the first image set corresponding to the product category includes:
  • Mark ID information identification information of the images in the initial image set after the cleaning process
  • the multi-dimensional information includes at least one of product category, width, height, storage location, and source information.
  • the step of acquiring the first image set corresponding to the product category according to the associated image includes:
  • first ratio exceeds a first set threshold, and if it exceeds, images of the product category are selected to form the first image set.
  • the scan window includes a plurality of target scan windows with the same aspect ratio and different sizes;
  • the step of scanning the region of interest by using the scanning window to obtain a scanning result, and putting the scanning result into a sample training set includes:
  • Each of the target scanning windows is used to scan the region of interest in the images in the first image set to obtain scanning results, and put the scanning results into a sample training set.
  • the step of using each of the target scanning windows to scan the region of interest in the images in the first image set, obtaining the scanning result, and putting the scanning result into the sample training set includes:
  • the parameter value of the target scanning window As a positive sample
  • the parameter value includes the center coordinates, width and height of the target scanning window
  • a plurality of the positive samples constitute a positive sample set
  • a plurality of the negative samples constitute a negative sample set
  • the positive sample set and the negative sample set constitute the sample training set.
  • the target scan windows of different sizes traversely scan the region of interest in the images in the first image set along a set scan path according to a set scan step.
  • the processing method further includes:
  • the negative samples of the second set number are randomly eliminated until the second number is less than or equal to the third set threshold.
  • the step of establishing a picture frame acquisition model based on the first image set as input and the sample training set as output includes:
  • a target detection algorithm is used to take the first image set as an input and the sample training set as an output to establish the picture frame acquisition model.
  • the step of establishing the picture frame acquisition model further includes:
  • the method further includes:
  • classification conditions of the rough classification include suitable for web page layout, unsuitable for web page layout, and white background;
  • the step of obtaining the image to be processed and using the image frame acquisition model to obtain the target webpage image frame corresponding to the image to be processed includes:
  • the image to be processed input the image to be processed into the image classification model, and when the image classification model outputs the image to be processed as an image suitable for web page layout, the Input the processed image into the layout frame to obtain a plurality of candidate layout frames corresponding to the image to be processed;
  • a candidate layout frame whose width is greater than or equal to the width of the target webpage layout image in the candidate layout frame is selected as the target webpage layout image frame.
  • the step of obtaining the target webpage layout corresponding to the image to be processed according to the target webpage layout frame includes:
  • the candidate picture is reduced or enlarged to obtain the target webpage layout of the target width and target height.
  • the present invention also provides a processing system for web page layout.
  • the processing system includes a first image set acquisition module, a region of interest acquisition module, a scan window acquisition module, a training sample set acquisition module, a layout frame model establishment module, and a configuration Picture frame acquisition module and web page layout acquisition module;
  • the first image set acquiring module is used to acquire a first image set corresponding to a product category
  • the region of interest acquisition module is configured to mark at least one region of interest for each image in the first image set, and each region of interest is used to represent an object;
  • the scanning window obtaining module is used to obtain a scanning window
  • the training sample set obtaining module is used to scan the region of interest using the scanning window, obtain a scan result, and put the scan result into a sample training set;
  • the picture frame model establishment module is used to take the first image set as input and the sample training set as output to establish a picture frame acquisition model
  • the picture frame acquisition module is used to acquire the image to be processed, and the picture frame acquisition model is used to obtain the target webpage picture frame corresponding to the image to be processed;
  • the webpage image acquisition module is configured to cut the to-be-processed image according to the target webpage image frame to obtain the target webpage image.
  • the first image set acquisition module includes an initial image set acquisition unit, an image cleaning processing unit, an image labeling unit, an information association unit, and a first image set acquisition unit;
  • the initial image set acquiring unit is used to acquire an initial image set
  • the image cleaning processing unit is used to perform cleaning processing on the images in the initial image set
  • the image marking unit is used to mark the ID information of the image in the initial image set after the cleaning process
  • the information association unit is used to associate the ID information with the multidimensional information of the image, and call the first image collection acquisition unit to acquire the first image set corresponding to the product category according to the associated image.
  • Image set is used to associate the ID information with the multidimensional information of the image, and call the first image collection acquisition unit to acquire the first image set corresponding to the product category according to the associated image.
  • the multi-dimensional information includes at least one of product category, width, height, storage location, and source information.
  • the first image set acquisition unit includes a calculation subunit and a judgment subunit;
  • the calculation subunit is configured to calculate a first ratio between the number of images belonging to the product category in the initial image set and the total number of images in the initial image set;
  • the judging subunit is used to judge whether the first ratio exceeds a first set threshold, and if it exceeds, select the images of the product category to form the first image set.
  • the scan window includes a plurality of target scan windows with the same aspect ratio and different sizes;
  • the training sample set acquisition module is configured to scan the region of interest in the images in the first image set by using each of the target scanning windows to acquire scanning results, and put the scanning results into a sample training set.
  • the training sample set acquisition module includes a judgment unit, a ratio calculation unit, an attribute marking unit, a positive sample acquisition unit and a negative sample acquisition unit;
  • the determining unit is used to determine whether the region of interest corresponds to the product category, and if not, continue scanning the next region of interest;
  • the ratio calculation unit to calculate the second ratio of the area of the intersection area of the target scanning window and the region of interest to the area of the region of interest, when the second ratio is greater than or equal to the second ratio
  • the attribute marking unit is called to mark the region of interest as the first attribute
  • the attribute marking unit is called to mark The region of interest is a second attribute
  • the attribute marking unit is called to mark the region of interest as a third attribute
  • the positive sample acquisition unit is configured to: when there is at least one region of interest corresponding to the first attribute and no region of interest corresponding to the second attribute in the images in the first image set, The parameter value of the target scanning window is taken as a positive sample;
  • the negative sample acquiring unit is configured to use the parameter value of the target scanning window as a negative sample when at least one region of interest in the images in the first image set corresponds to the second attribute;
  • the parameter value includes the center coordinates, width and height of the target scanning window
  • a plurality of the positive samples constitute a positive sample set
  • a plurality of the negative samples constitute a negative sample set
  • the positive sample set and the negative sample set constitute the sample training set.
  • the target scan windows of different sizes traversely scan the region of interest in the images in the first image set along a set scan path according to a set scan step.
  • the processing system includes a quantity calculation module and a sample elimination module;
  • the quantity calculation module is configured to calculate the first quantity of the positive samples in the positive sample set and the second quantity of the negative samples in the negative sample set;
  • the sample removal module is configured to randomly remove a first set number of positive samples when the first number is greater than a third set threshold, until the first number is less than or equal to the third set threshold ;
  • the sample removal module is further configured to randomly remove a second set number of negative samples when the second number is greater than a third set threshold, until the second number is less than or equal to the third set Threshold.
  • the picture frame model establishment module uses a target detection algorithm to take the first image set as input and the sample training set as output to establish the picture frame acquisition model.
  • the processing system further includes a correction module
  • the modification module is used to modify the target detection algorithm so that the picture frame acquisition model outputs a picture frame with the same aspect ratio as the target webpage picture.
  • the processing system further includes a rough image classification module and a map classification model establishment module;
  • the image rough classification module is used to roughly classify images in the first image set to obtain a classification result
  • classification conditions of the rough classification include suitable for web page layout, unsuitable for web page layout, and white background images;
  • the map classification model establishment module is used to take the images in the initial image set as input and the classification result as output to establish a map classification model
  • the picture frame obtaining module includes a candidate picture frame obtaining unit and a screening unit;
  • the candidate image frame acquisition unit is used to obtain the image to be processed, input the image to be processed into the image classification model, and output the image to be processed in the image classification model as suitable for web pages
  • input the to-be-processed image into the matching frame to obtain a model of multiple candidate matching frames corresponding to the to-be-processed image
  • the screening unit is configured to filter out candidate layout frames whose width is greater than or equal to the width of the target webpage layout as the target webpage layout frame.
  • the webpage matching image obtaining module includes a candidate image obtaining unit and a zooming unit;
  • the candidate picture obtaining unit is configured to perform cutting processing on the image to be processed according to the target webpage layout frame to obtain a candidate picture
  • the zooming unit is used to reduce or enlarge the candidate picture to obtain the target webpage layout of the target width and target height.
  • the present invention also provides an electronic device, including a memory, a processor, and a computer program stored in the memory and capable of running on the processor, and the processor implements the above-mentioned processing method of web page layout when the computer program is executed.
  • the present invention also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the steps of the above-mentioned processing method for web page layout are realized.
  • the target map suitable for web page map is directly cut from the image of the original natural scene, which ensures the usability of the target map and reduces manual marking. Steps, thereby reducing time costs and improving work efficiency.
  • FIG. 1 is a flowchart of a processing method for web page layout according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart of a processing method for web page layout according to Embodiment 2 of the present invention.
  • FIG. 3 is a schematic diagram of modules of a processing system for web page layout according to Embodiment 3 of the present invention.
  • FIG. 4 is a schematic diagram of modules of a processing system for web page layout according to Embodiment 4 of the present invention.
  • FIG. 5 is a schematic structural diagram of an electronic device of a method for processing a webpage layout in Embodiment 5 of the present invention.
  • the processing method for web page layout of this embodiment includes:
  • the product categories include “mobile phones”, “dresses” and other categories that are provided to users for reference and purchase.
  • S102 For each image in the first image set, at least one region of interest is marked, and each region of interest is used to represent an object;
  • the same object in the region of interest includes the face, mobile phone, dress, etc. in the image, and the corresponding parameter information of each region of interest (such as the center coordinates, width, height, category information of the region of interest, etc.) Associate with the images in the first image set, and store the associated result in a disk or other storage system.
  • the corresponding parameter information of each region of interest such as the center coordinates, width, height, category information of the region of interest, etc.
  • S104 Scan the region of interest using the scan window, obtain the scan result, and put the scan result into the sample training set;
  • S106 Obtain the image to be processed, and obtain the target webpage matching image frame corresponding to the image to be processed by using the image frame acquisition model;
  • S107 Perform cutting processing on the image to be processed according to the target webpage layout frame to obtain the target webpage layout.
  • the webpage image processing method in this embodiment belongs to an end-to-end (that is, the image of the original natural scene to the target webpage image) image processing method, that is, through the deep learning algorithm of image detection and classification, the original natural
  • a fixed-size target layout suitable for web page layout is directly cut out of the image of the scene, which ensures the usability of the target layout and reduces manual marking steps, thereby reducing time costs and improving work efficiency.
  • the method for processing webpage layout in this embodiment is a further improvement of Embodiment 1. Specifically:
  • Step S101 includes:
  • the multi-dimensional information includes the product category, width, height, storage location, and source information.
  • the multi-dimensional information includes the product category to which it belongs, calculate the first ratio between the number of images belonging to the product category in the initial image set and the total number of images in the initial image set;
  • step S101 and before step S106 the method further includes:
  • the classification conditions of the rough classification are not limited to being suitable for web page layout, not suitable for web page layout and white background images;
  • Images that are not suitable for web page layout include but are not limited to: images that are completely unrelated to the product category, have obvious traces of post-processing, and contain illegal content such as pornographic violence.
  • the neural network algorithm is used to take the images in the initial image set as input, and the classification result as output, to establish a classification model with images, where the establishment of the classification model with images is based on tensorflow, pytorch, caffee, squeezenet, vgg in the neural network algorithm Etc.
  • tensorflow, pytorch, caffee, squeezenet, vgg are the data processing frameworks in the neural network algorithm) software framework, CPU (central processing unit), GPU (graphics processing unit), FPGA (field programmable gate array), dedicated AI computing chips (artificial intelligence computing chips) and other hardware frameworks are realized, and each image classification model only classifies images of one product category.
  • the scan window includes a plurality of target scan windows with the same aspect ratio and different sizes, and the aspect ratio of the target scan window is the same as the aspect ratio of the target webpage layout.
  • Target scanning windows of different sizes scan the region of interest in the images in the first image set along the set scan path according to the set scan step length.
  • step S104 specifically includes:
  • step S1041 determine whether the region of interest corresponds to the product category, if not, perform step S1042; if yes, perform step S1043;
  • the product category is "mobile phone”
  • the object in the area of interest is a mobile phone
  • determine whether the area of interest corresponds to the product category and if the object in the area of interest is a face, then determine the area of interest Whether it does not correspond to the product category.
  • S1043 Calculate a second ratio of the area of the intersection area of the target scan window and the region of interest to the area of the region of interest, and when the second ratio is greater than or equal to a second set threshold, mark the region of interest as the first attribute; When the second ratio is less than the second set threshold and greater than zero, the region of interest is marked as the second attribute; when the second ratio is zero, the region of interest is marked as the third attribute;
  • the second set threshold can be specifically configured according to actual needs, and the configuration file can be saved to a corresponding disk or other storage system.
  • the parameter value of the target scanning window is taken as a negative sample
  • the parameter values include the center coordinates, width and height of the target scan window
  • Multiple positive samples constitute a positive sample set, multiple negative samples constitute a negative sample set, and a positive sample set and a negative sample set constitute a sample training set.
  • the negative samples of the second set number are randomly eliminated until the second number is less than or equal to the third set threshold.
  • Step S105 specifically includes:
  • the layout frame obtains a layout frame whose model output is the same as the aspect ratio of the target webpage layout, so as to ensure that the image obtained by zooming and cutting will not be deformed.
  • Target detection algorithms include but are not limited to Faster-RCNN algorithm (a machine learning algorithm).
  • Faster-RCNN algorithm a machine learning algorithm
  • the first image set As input take the sample training set as output, and build a picture frame acquisition model based on software frameworks such as tensorflow, pytorch, caffee, squeezenet, vgg in the neural network algorithm, and hardware frameworks such as CPU, GPU, FPGA, and dedicated AI computing chips.
  • Step S106 includes:
  • the image to be processed is subsequently cut to obtain the target web page layout, which effectively improves the efficiency of obtaining the target page layout And processing speed.
  • the candidate layout frame whose width is greater than or equal to the width of the target webpage layout is filtered out as the target webpage layout frame.
  • the center coordinates, width, height, and ID information of the image to be processed are associated with the corresponding center coordinates, width, and height of each target webpage layout frame.
  • Step S107 includes:
  • S1071 according to the target webpage layout frame, perform cutting processing on the image to be processed to obtain candidate images
  • the target webpage layout image is stored in a disk or other storage system, that is, it is put into the in-use webpage layout pool for subsequent webpage editing process.
  • the width of the target web page layout is W
  • the height is H
  • removing an image from the first image set is Is M (width is T, height is G);
  • (W 1 /2, H 1 /2) is the initial coordinate of the target scan window,
  • (TW 1 /2, GH 1 /2) is the end coordinate of the target scan window ,
  • the scanning step length is 2 pixels distance (the scanning step length can be set according to the actual situation).
  • the current goal is to obtain the image of the target webpage related to the mobile phone, determine whether the area of interest in the current image corresponds to the mobile phone, if not, continue scanning the next area of interest;
  • the current target scan window F scans all the images in the first image set, whether the attributes corresponding to all the regions of interest C in the image have "negative” attributes, if so, the center coordinates, width and height of the target scan window F And height as negative samples; if all the attributes corresponding to the region of interest C in the image have no "negative" attributes and not all "no care” attributes, then the center coordinates, width, height, and height of the target scan window F are regarded as positive samples ,; If the attributes corresponding to all regions of interest C in the image are "no care" attributes, then the target scanning window F is discarded, that is, it is neither a positive sample nor a negative sample.
  • the target scanning window F is discarded, that is, it is neither a positive sample nor a negative sample.
  • each of the remaining target scan windows to scan the regions of interest in all images in the first image set one by one, and finally obtain all positive samples to form a positive sample set, and obtain all negative samples to form a negative sample set.
  • the positive sample set, the negative sample set, and the ID information of the image in the first image set are correlated and stored in a disk or other storage system.
  • the corresponding correction parameters of the matching frame obtained by the matching frame to obtain the model output are: center coordinate offset parameter ( ⁇ x, ⁇ y), width and height correction parameters ( ⁇ w, ⁇ h) );
  • the corresponding correction parameters of the candidate matching frame obtained by the matching frame to obtain the model output are: the center coordinate offset parameter ( ⁇ x, ⁇ y), and the width and height correction parameters are ( ⁇ w, (1/J) * ⁇ w), J is the target aspect ratio coefficient, so that the correction change amount for the height part automatically becomes the target aspect ratio coefficient multiplied by the width correction change amount, thus ensuring that the candidate frame of the model output obtained by the certification frame is in After the correction, it must be able to meet the aspect ratio of the landing page layout.
  • the processing system for web page layout of this embodiment includes a first image set acquisition module 1, a region of interest acquisition module 2, a scan window acquisition module 3, a training sample set acquisition module 4, and a picture frame model establishment Module 5, picture frame acquisition module 6 and web page picture acquisition module 7;
  • the first image set obtaining module 1 is used to obtain a first image set corresponding to a product category
  • the product categories include “mobile phones”, “dresses” and other categories that are provided to users for reference and purchase.
  • the region of interest acquisition module 2 is configured to mark at least one region of interest for each image in the first image set, and each region of interest is used to represent an object;
  • the same object in the region of interest includes the face, mobile phone, dress, etc. in the image, and the corresponding parameter information of each region of interest (such as the center coordinates, width, height, category information of the region of interest, etc.) Associate with the images in the first image set, and store the associated result in a disk or other storage system.
  • the corresponding parameter information of each region of interest such as the center coordinates, width, height, category information of the region of interest, etc.
  • the scanning window obtaining module 3 is used to obtain the scanning window
  • the training sample set obtaining module 4 is used to scan the region of interest using the scanning window, obtain the scanning result, and put the scanning result into the sample training set;
  • the picture frame model establishment module 5 is used to take the first image set as input and the sample training set as output to establish a picture frame acquisition model
  • the picture frame acquisition module 6 is used to acquire the image to be processed, and the picture frame acquisition model is used to obtain the target webpage picture frame corresponding to the image to be processed;
  • the webpage image acquisition module 7 is used for cutting the image to be processed according to the target webpage image frame to obtain the target webpage image.
  • the webpage image processing method in this embodiment belongs to an end-to-end (that is, the image of the original natural scene to the target webpage image) image processing method, that is, through the deep learning algorithm of image detection and classification, the original natural
  • a fixed-size target layout suitable for web page layout is directly cut out of the image of the scene, which ensures the usability of the target layout and reduces manual marking steps, thereby reducing time costs and improving work efficiency.
  • the processing system for web page layout of this embodiment is a further improvement of Embodiment 3. Specifically:
  • the first image set acquisition module 1 includes an initial image set acquisition unit 8, an image cleaning processing unit 9, an image labeling unit 10, an information association unit 11, and a first image set acquisition unit 12;
  • the initial image set acquisition unit 8 is used to acquire an initial image set
  • the image cleaning processing unit 9 is used for cleaning the images in the initial image set
  • the image marking unit 10 is used to mark the ID information of the image in the initial image set after the cleaning process
  • the information association unit 11 is used for associating ID information with the multidimensional information of the image, and calling the first image set obtaining unit 12 to obtain the first image set corresponding to the product category according to the associated image;
  • association results are stored in a disk or other storage system
  • Multidimensional information includes product category, width, height, storage location and source information.
  • the first image collection acquisition unit 12 includes a calculation subunit 13 and a judgment subunit 14;
  • the calculation subunit 13 is used to calculate the first ratio between the number of images belonging to the product category in the initial image set and the total number of images in the initial image set;
  • the judging subunit 14 is used for judging whether the first ratio exceeds the first set threshold, and if it exceeds, select images of the product category to form the first image set.
  • the processing system also includes a rough image classification module 15 and an image classification model establishment module 16;
  • the image rough classification module 15 is used to roughly classify images in the first image set and obtain a classification result
  • the classification conditions for rough classification include, but are not limited to, suitable for web page layout, unsuitable for web page layout, and white background images;
  • Images that are not suitable for web page layout include but are not limited to: images that are completely unrelated to the product category, have obvious traces of post-processing, and contain illegal content such as pornographic violence.
  • the map classification model establishment module 16 is used to take the images in the initial image set as input and the classification result as output to establish a map classification model;
  • a neural network algorithm is used to take the images in the initial image set as input and the classification result as output to establish a map classification model.
  • the establishment of the map classification model is based on the neural network algorithm tensorflow, pytorch, caffee, squeezenet, vgg
  • Such software frameworks, CPU, GPU, FPGA, dedicated AI computing chips and other hardware frameworks can be realized, and each image classification model only classifies images of one product category.
  • the scan window includes a plurality of target scan windows with the same aspect ratio and different sizes, and the aspect ratio of the target scan window is the same as the aspect ratio of the target webpage layout.
  • Target scanning windows of different sizes scan the region of interest in the images in the first image set along the set scan path according to the set scan step length.
  • the training sample set acquisition module 4 includes a judgment unit 17, a ratio calculation unit 18, an attribute marking unit 19, a positive sample acquisition unit 20, and a negative sample acquisition unit 21;
  • the judging unit 17 is used to judge whether the area of interest corresponds to the product category, and if not, continue to scan the next area of interest;
  • the product category is "mobile phone”
  • the object in the area of interest is a mobile phone
  • determine whether the area of interest corresponds to the product category and if the object in the area of interest is a face, then determine the area of interest Whether it does not correspond to the product category.
  • the ratio calculation unit 18 is called to calculate the second ratio of the area of the intersection area of the target scan window and the region of interest to the area of the region of interest, and when the second ratio is greater than or equal to the second setting
  • the attribute marking unit is called to mark the region of interest as the first attribute; when the second ratio is less than the second set threshold and greater than zero, the attribute marking unit is called to mark the area of interest.
  • the region of interest is a second attribute; when the second ratio is zero, call the attribute marking unit to mark the region of interest as a third attribute;
  • the second set threshold can be specifically configured according to actual needs, and the configuration file can be saved to a corresponding disk or other storage system.
  • the positive sample acquiring unit 20 is configured to use the parameter value of the target scanning window as a positive sample when there is at least one region of interest corresponding to the first attribute and no region of interest corresponding to the second attribute in the images in the first image set;
  • the negative sample acquiring unit 21 is configured to use the parameter value of the target scanning window as a negative sample when at least one region of interest in the images in the first image set corresponds to the second attribute;
  • the parameter values include the center coordinates, width and height of the target scan window
  • Multiple positive samples constitute a positive sample set, multiple negative samples constitute a negative sample set, and a positive sample set and a negative sample set constitute a sample training set.
  • the processing system includes a quantity calculation module and a sample rejection module;
  • the number calculation module is configured to calculate the first number of positive samples in the positive sample set and the second number of negative samples in the negative sample set;
  • the sample removal module is configured to randomly remove a first set number of positive samples when the first number is greater than a third set threshold, until the first number is less than or equal to the third set threshold ;
  • the sample removal module is further configured to randomly remove a second set number of negative samples when the second number is greater than a third set threshold, until the second number is less than or equal to the third set Threshold.
  • the picture frame model establishment module 5 uses a target detection algorithm to take the first image set as input and the sample training set as output to establish a picture frame acquisition model.
  • the processing system also includes a correction module for correcting the target detection algorithm so that the layout frame obtains a layout frame with the same aspect ratio as that of the target webpage layout, so as to ensure that the image obtained by zooming and cutting will not be deformed.
  • Target detection algorithms include but are not limited to Faster-RCNN algorithm (a machine learning algorithm).
  • Faster-RCNN algorithm a machine learning algorithm
  • the first image set As input take the sample training set as output, and build a picture frame acquisition model based on software frameworks such as tensorflow, pytorch, caffee, squeezenet, vgg in the neural network algorithm, and hardware frameworks such as CPU, GPU, FPGA, and dedicated AI computing chips.
  • the picture frame obtaining module 6 includes a candidate picture frame obtaining unit 22 and a screening unit 23;
  • the candidate image frame acquisition unit 22 is used to obtain the image to be processed, input the image to be processed into the image classification model, and output the image to be processed in the image classification model to be suitable for web page allocation.
  • the image is in the image, input the image to be processed into the image frame to obtain a model of multiple candidate image frames corresponding to the image to be processed;
  • the image to be processed is subsequently cut to obtain the target web page layout, which effectively improves the efficiency of obtaining the target page layout And processing speed.
  • the screening unit 23 is used to screen out candidate layout frames whose width is greater than or equal to the width of the target webpage layout as the target webpage layout frame.
  • the center coordinates, width, height, and ID information of the image to be processed are associated with the corresponding center coordinates, width, and height of each target webpage layout frame.
  • the webpage matching image acquisition module 7 includes a candidate image acquisition unit 24 and a zoom unit 25;
  • the candidate picture obtaining unit 24 is configured to perform cutting processing on the image to be processed according to the target webpage layout frame to obtain the candidate picture;
  • the zooming unit 25 is used for reducing or enlarging the candidate pictures to obtain the target webpage layout of the target width and target height.
  • the target webpage layout image is stored in a disk or other storage system, that is, it is put into the in-use webpage layout pool for subsequent webpage editing process.
  • the width of the target web page layout is W
  • the height is H
  • removing an image from the first image set is Is M (width is T, height is G);
  • (W 1 /2, H 1 /2) is the initial coordinate of the target scan window,
  • (TW 1 /2, GH 1 /2) is the end coordinate of the target scan window ,
  • the scanning step length is 2 pixels distance (the scanning step length can be set according to the actual situation).
  • the current target scan window F scans all the images in the first image set, whether the attributes corresponding to all the regions of interest C in the image have "negative” attributes, if so, the center coordinates, width and height of the target scan window F And height as negative samples; if all the attributes corresponding to the region of interest C in the image have no "negative" attributes and not all "no care” attributes, then the center coordinates, width, height, and height of the target scan window F are regarded as positive samples ,; If the attributes corresponding to all regions of interest C in the image are "no care" attributes, then the target scanning window F is discarded, that is, it is neither a positive sample nor a negative sample.
  • the target scanning window F is discarded, that is, it is neither a positive sample nor a negative sample.
  • each of the remaining target scan windows to scan the regions of interest in all images in the first image set one by one, and finally obtain all positive samples to form a positive sample set, and obtain all negative samples to form a negative sample set.
  • the positive sample set, the negative sample set, and the ID information of the image in the first image set are correlated and stored in a disk or other storage system.
  • the corresponding correction parameters of the matching frame obtained by the matching frame to obtain the model output are: center coordinate offset parameter ( ⁇ x, ⁇ y), width and height correction parameters ( ⁇ w, ⁇ h) ), after the modified target detection algorithm, the corresponding correction parameters of the candidate matching frame obtained by the matching frame to obtain the model output are: the center coordinate offset parameter ( ⁇ x, ⁇ y), and the width and height correction parameters are ( ⁇ w, (1/J) * ⁇ w), J is the target aspect ratio coefficient, so that the correction change amount for the height part automatically becomes the target aspect ratio coefficient multiplied by the width correction change amount, thus ensuring that the candidate frame of the model output obtained by the certification frame is in After the correction, it must be able to meet the aspect ratio of the landing page layout.
  • the target detection algorithm such as Faster-RCNN algorithm
  • FIG. 5 is a schematic structural diagram of an electronic device according to Embodiment 7 of the present invention.
  • the electronic device includes a memory, a processor, and a computer program that is stored on the memory and can run on the processor.
  • the processor executes the program to implement the webpage layout processing method in any one of Embodiments 1 or 2.
  • the electronic device 30 shown in FIG. 5 is only an example, and should not bring any limitation to the function and application scope of the embodiment of the present invention.
  • the electronic device 30 may be in the form of a general-purpose computing device, for example, it may be a server device.
  • the components of the electronic device 30 may include, but are not limited to: the aforementioned at least one processor 31, the aforementioned at least one memory 32, and a bus 33 connecting different system components (including the memory 32 and the processor 31).
  • the bus 33 includes a data bus, an address bus, and a control bus.
  • the memory 32 may include a volatile memory, such as a random access memory (RAM) 321 and/or a cache memory 322, and may further include a read only memory (ROM) 323.
  • RAM random access memory
  • ROM read only memory
  • the memory 32 may also include a program/utility tool 325 having a set of (at least one) program module 324.
  • program module 324 includes but is not limited to: an operating system, one or more application programs, other program modules, and program data. Each of the examples or some combination may include the realization of a network environment.
  • the processor 31 executes various functional applications and data processing by running a computer program stored in the memory 32, such as the processing method for web page layout in any one of Embodiments 1 or 2 of the present invention.
  • the electronic device 30 may also communicate with one or more external devices 34 (such as keyboards, pointing devices, etc.). This communication can be performed through an input/output (I/O) interface 35.
  • the device 30 generated by the model may also communicate with one or more networks (for example, a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet) through the network adapter 36. As shown in FIG. 5, the network adapter 36 communicates with other modules of the device 30 generated by the model through the bus 33.
  • networks for example, a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet
  • This embodiment provides a computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, the steps in the method for processing webpage layout in any one of Embodiments 1 or 2 are implemented.
  • the readable storage medium may more specifically include but is not limited to: portable disk, hard disk, random access memory, read only memory, erasable programmable read only memory, optical storage device, magnetic storage device or any of the above The right combination.
  • the present invention can also be implemented in the form of a program product, which includes program code.
  • the program product runs on a terminal device, the program code is used to make the terminal device execute the implementation in Embodiment 1 or 2. Steps in the processing method for web page layout in any embodiment.
  • the program code for executing the present invention can be written in any combination of one or more programming languages.
  • the program code can be executed completely on the user equipment, partly executed on the user equipment, and as an independent software.
  • the package is executed, partly on the user's device, partly on the remote device, or entirely on the remote device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

一种网页配图的处理方法、系统、设备和存储介质，所述处理方法包括：获取与产品类目对应的第一图像集（S101）；对于第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个感兴趣区域用于表征一对象（S102）；获取扫描窗口（S103）；采用扫描窗口扫描感兴趣区域，获取扫描结果，并将扫描结果放入样本训练集（S104）；将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型（S105）；获取待处理图像，采用配图框获取模型获取与待处理图像对应的目标网页配图框（S106）；根据目标网页配图框对待处理图像进行切割处理以获得目标网页配图（S107）。通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了通过人工标记，从而降低了时间成本，提高了工作效率。

Description

网页配图的处理方法、系统、设备和存储介质
本申请要求申请日为2019年3月14日的申请号为201910192074.2的中国专利申请的优先权。本申请引用上述中国专利申请的全文。
技术领域
本发明涉及图像处理技术领域，特别涉及一种网页配图的处理方法、系统、设备和存储介质。
背景技术
在互联网领域中，需要编辑制作相当数量的网页文案(如包括产品图片和产品文字介绍的内容)来介绍产品以给消费者提供参考，引导消费者购买产品与消费服务。然而，大量的网页编辑需要耗费大量的时间与经济成本，尤其对于自然场景中拍摄的照片的图像的切割与选取。
现有的网页配图的处理方法主要包括如下：
1)利用SVM(Support Vector Machine，支持向量机)机器学习对图像自动兴趣点的模型训练和选取，选取图像局部兴趣点；但是，该方法并未使用深度学习等相关算法，导致精度较差；
2)通过爬虫以及文本分类与深度学习的方法为互联网推广文章自动选取背景图像的系统；但是，该方法仅适用于宽泛的互联网爬取下的软性介绍文章提供配图，并没有考虑到图像尺寸不对而对原始图像进行合理切割的方案。
发明内容
本发明要解决的技术问题是现有技术中网页配图的处理方法不能从原始自然场景的图像中直接切割出目标配图以满足网页编辑要求等缺陷，目的在于提供一种网页配图的处理方法、系统、设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种网页配图的处理方法，所述处理方法包括：
获取与产品类目对应的第一图像集；
对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
获取扫描窗口；
采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集；
将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
较佳地，所述获取与产品类目对应的第一图像集的步骤包括：
获取初始图像集；
对所述初始图像集中的图像进行清洗处理；
标记清洗处理后的所述初始图像集中的图像的ID信息(身份识别信息)；
将所述ID信息与图像的多维信息进行关联，并根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
较佳地，当所述多维信息包括所属的产品类目时，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤包括：
计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
较佳地，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
所述采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：
采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
较佳地，所述采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：
判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；
若是，则计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣 区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则标记所述感兴趣区域为第二属性；当所述第二比值为零时，则标记所述感兴趣区域为第三属性；
当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；
当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；
其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；
多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集。
较佳地，不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
较佳地，所述处理方法还包括：
计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
当所述第一数量大于第三设定阈值时，则随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
当所述第二数量大于第三设定阈值时，则随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
较佳地，所述根据所述将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型的步骤包括：
采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型。
较佳地，所述采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型的步骤之后还包括：
修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
较佳地，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤之后还包括：
对所述第一图像集中的图像进行粗分类，获取分类结果；
其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底 图；
将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
所述获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框的步骤包括：
获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
较佳地，所述根据所述目标网页配图框获取与所述待处理图像对应的所述目标网页配图的步骤包括：
根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
本发明还提供一种网页配图的处理系统，所述处理系统包括第一图像集获取模块、感兴趣区域获取模块、扫描窗口获取模块、训练样本集获取模块、配图框模型建立模块、配图框获取模块和网页配图获取模块；
所述第一图像集获取模块用于获取与产品类目对应的第一图像集；
所述感兴趣区域获取模块用于对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
所述扫描窗口获取模块用于获取扫描窗口；
所述训练样本集获取模块用于采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集；
所述配图框模型建立模块用于将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
所述配图框获取模块用于获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
所述网页配图获取模块用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
较佳地，所述第一图像集获取模块包括初始图像集获取单元、图像清洗处理单元、 图像标记单元、信息关联单元和第一图像集获取单元；
所述初始图像集获取单元用于获取初始图像集；
所述图像清洗处理单元用于对所述初始图像集中的图像进行清洗处理；
所述图像标记单元用于标记清洗处理后的所述初始图像集中的图像的ID信息；
所述信息关联单元用于将所述ID信息与图像的多维信息进行关联，并调用所述第一图像集获取单元根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
较佳地，当所述多维信息包括所属的产品类目时，所述第一图像集获取单元包括计算子单元和判断子单元；
所述计算子单元用于计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
所述判断子单元用于判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
较佳地，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
所述训练样本集获取模块用于采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
较佳地，所述训练样本集获取模块包括判断单元、比值计算单元、属性标记单元、正样本获取单元和负样本获取单元；
所述判断单元用于判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；
若是，则调用所述比值计算单元计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则调用所述属性标记单元标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则调用所述属性标记单元标记所述感兴趣区域为第二属性；当所述第二比值为零时，则调用所述属性标记单元标记所述感兴趣区域为第三属性；
所述正样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；
所述负样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域 对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；
其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；
多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集。
较佳地，不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
较佳地，所述处理系统包括数量计算模块和样本剔除模块；
所述数量计算模块用于计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
所述样本剔除模块用于当所述第一数量大于第三设定阈值时，随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
所述样本剔除模块还用于当所述第二数量大于第三设定阈值时，随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
较佳地，所述配图框模型建立模块采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型。
较佳地，所述处理系统还包括修正模块；
所述修正模块用于修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
较佳地，所述处理系统还包括图像粗分类模块和配图分类模型建立模块；
所述图像粗分类模块用于对所述第一图像集中的图像进行粗分类，获取分类结果；
其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底图；
所述配图分类模型建立模块用于将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
所述配图框获取模块包括候选配图框获取单元和筛选单元；
所述候选配图框获取单元用于获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
所述筛选单元用于筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
较佳地，所述网页配图获取模块包括候选图片获取单元和缩放单元；
所述候选图片获取单元用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
所述缩放单元用于对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的网页配图的处理方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的网页配图的处理方法的步骤。
本发明的积极进步效果在于：
本发明中，通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了人工标记的步骤，从而降低了时间成本，提高了工作效率。
附图说明
图1为本发明实施例1的网页配图的处理方法的流程图。
图2为本发明实施例2的网页配图的处理方法的流程图。
图3为本发明实施例3的网页配图的处理系统的模块示意图。
图4为本发明实施例4的网页配图的处理系统的模块示意图。
图5为本发明实施例5中的网页配图的处理方法的电子设备的结构示意图。
具体实施方式
实施例1
如图1所示，本实施例的网页配图的处理方法包括：
S101、获取与产品类目对应的第一图像集；
其中，产品类目包括“手机”、“连衣裙”等各种提供给用户参考购买的类目。
S102、对于第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个感兴趣区域用于表征一对象；
其中，感兴趣区域中的同一对象包括图像中的人脸、手机、连衣裙等，将每个感兴趣区域的对应的参数信息(如感兴趣区域的中心坐标、宽度、高度、所属类别信息等)与第一图像集中的图像进行关联，并将关联结果存储至磁盘或者其他存储系统中。
S103、获取扫描窗口；
S104、采用扫描窗口扫描感兴趣区域，获取扫描结果，并将扫描结果放入样本训练集；
S105、将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型；
S106、获取待处理图像，采用配图框获取模型获取与待处理图像对应的目标网页配图框；
S107、根据目标网页配图框对待处理图像进行切割处理以获得目标网页配图。
本实施例中的网页配图的处理方法属于一种端到端(即原始自然场景的图像到目标网页配图)的图像处理方法，即通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的固定尺寸的目标配图，保证了目标配图的可用性的同时，减少了人工标记的步骤，从而降低了时间成本，提高了工作效率。
实施例2
如图2所示，本实施例的网页配图的处理方法是对实施例1的进一步改进，具体地：
步骤S101包括：
获取初始图像集；
对初始图像集中的图像进行清洗处理；
标记清洗处理后的初始图像集中的图像的ID信息；
将ID信息与图像的多维信息进行关联，并将关联结果存储至磁盘或其他存储系统中；
其中，多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息等。
当多维信息包括所属的产品类目时，计算初始图像集中属于产品类目的图像的数量与初始图像集中的图像的总数量之间的第一比值；
判断第一比值是否超过第一设定阈值，若超过，则挑选出产品类目的图像构成第一图像集。
步骤S101之后、步骤S106之前还包括：
S1011、对第一图像集中的图像进行粗分类，获取分类结果；
其中，粗分类的分类条件但不限于适合做网页配图、不适合做网页配图和属于白底图；
不适合做网页配图的图像包括但不限于：与产品类目完全没有关联性、后期处理痕迹明显、包含色情暴力等不合法的内容的图像。
S1012、将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；
具体地，采用神经网络算法将初始图像集中的图像作为输入，将分类结果作为输出， 建立配图分类模型，其中配图分类模型的建立基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等(tensorflow、pytorch、caffee、squeezenet、vgg为神经网络算法中的各个数据处理框架)软件框架，CPU(中央处理器)、GPU(图形处理器)、FPGA(现场可编程门阵列)、专用的AI计算芯片(人工智能计算芯片)等硬件框架得以实现，且每种配图分类模型仅针对一种产品类目的图像进行分类。
另外，扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口，且目标扫描窗口的宽高比与目标网页配图的宽高比相同。
不同尺寸的目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描第一图像集中的图像中的感兴趣区域。
具体地，步骤S104具体包括：
S1041、判断感兴趣区域是否与产品类目相对应，若否，则执行步骤S1042；若是，则执行步骤S1043；
例如，当产品类目为“手机”时，若感兴趣区域中的对象为手机，则确定感兴趣区域是否与产品类目相对应，若感兴趣区域中的对象为人脸，则确定感兴趣区域是否与产品类目不对应。
S1042、继续扫描下一个感兴趣区域；
S1043、计算目标扫描窗口与感兴趣区域的交集区域的面积与感兴趣区域的面积的第二比值，当第二比值大于或者等于第二设定阈值时，则标记感兴趣区域为第一属性；当第二比值小于第二设定阈值且大于零时，则标记感兴趣区域为第二属性；当第二比值为零时，则标记感兴趣区域为第三属性；
其中，第二设定阈值可以根据实际需求具体配置，并将配置文件保存至对应的磁盘或其他存储系统中。
S1044、当第一图像集中的图像中有至少一个感兴趣区域对应第一属性且没有与第二属性对应的感兴趣区域，则将目标扫描窗口的参数值作为正样本；
当第一图像集中的图像中有至少一个感兴趣区域对应第二属性，则将目标扫描窗口的参数值作为负样本；
其中，参数值包括目标扫描窗口的中心坐标、宽度和高度；
多个正样本构成正样本集，多个负样本构成负样本集，正样本集和负样本集构成样本训练集。
另外，在获取样本训练集之后，计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
当所述第一数量大于第三设定阈值时，则随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
当所述第二数量大于第三设定阈值时，则随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
步骤S105具体包括：
S1051、采用目标检测算法将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型。
其中，通过修正目标检测算法使得配图框获取模型输出与目标网页配图的宽高比相同的配图框，从而保证缩放切割得到的图像不会发生图像变形的情况。
目标检测算法包括但不限于Faster-RCNN算法(一种机器学习算法)，通过设置最大模型训练轮数(具体训练轮数可以根据实际的图像集的特点进行针对性设置)，将第一图像集作为输入，将样本训练集作为输出，并基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等软件框架，CPU、GPU、FPGA、专用的AI计算芯片等硬件框架建立配图框获取模型。
步骤S106包括：
S1061、获取待处理图像，将待处理图像输入至配图分类模型，并在配图分类模型输出待处理图像为适合做网页配图的图像时，将待处理图像输入至配图框获取模型获取与待处理图像对应的多个候选配图框；
即在配图分类模型确认该待处理图像为适合作为网页配图的图像后，在对该待处理图像进行后续切割处理以得到目标网页配图，从而有效地提高了获取目标网页配图的效率以及处理速度。
S1062、筛选出候选配图框中宽度大于或者等于目标网页配图的宽度的候选配图框作为目标网页配图框。
其中，每个目标网页配图框对应的中心坐标、宽度、高度以及与该待处理图像的ID信息相关联。
考虑到太小的候选配图框切割出的图像放大后太模糊，不适合作为目标网页配图，因此需要去除掉宽度过小的图像。
步骤S107包括：
S1071、根据目标网页配图框对待处理图像进行切割处理以获得候选图片；
S1072、对候选图片进行缩小或放大处理，以获取目标宽度和目标高度的目标网页配图。
另外，将目标网页配图存储至磁盘或其他存储系统中，即将其放入待用网页配图池中以供后续网页编辑过程使用。
标记每一张目标网页配图对应的ID信息，并将目标网页配图对应的ID信息与其保存路径相关联的信息存储至磁盘或其他存储系统中。
下面结合实例具体说明：
1)将产品类目(如“手机”、“连衣裙”等)作为搜索条件，爬取并下载特定网站的网页中的相关图像，或者通过在摄影素材等网站购买并下载相关产品类目的自然场景图像，并记录每张图像对应的与原始网页链接及其来源信息(如记录图像的出处来自于某网站)，形成初始图像集，即图像素材库。
2)对初始图像集中的每一张图像进行清洗处理，例如：删除初始图像集中的宽高比过大和过小的图像、删除初始图像集中的宽度小于第一设定像素距离(可以根据具体情况设置)的图像、删除初始图像集中的高度小于第二设定像素距离(可以根据具体情况设置)的图像、删除无法正常打开的错误图像，采用哈希签名算法(如md5消息摘要算法等)对初始图像集中的图像进行处理，删除初始图像集中的多张相同图像，仅保留一张对应的图像即可。
3)标记清洗处理后的初始图像集中的图像的ID信息，并将ID信息与图像的所属的产品类目、宽度、高度、存储位置和来源信息等进行关联；
4)挑选出初始图像集中占比超过第一设定阈值(如10％)的产品类目的所有图像构成第一图像集。
5)对第一图像集中的图像按照适合做网页配图、不适合做网页配图和属于白底图进行粗分类，获取分类结果；
将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；
6)标记出第一图像集中的每张图像中的用于表征同一对象(人脸、手机、连衣裙等)的感兴趣区域；
7)取多个目标扫描窗口中一个目标扫描窗口对第一图像集中的所有图像中的感兴趣区域进行扫描：
例如：假设目标网页配图的宽度为W，高度为H，目标扫描窗口的宽度为W 1/＝W*f，高度为H 1＝H*f；从第一图像集中的去除一张图像即为M(宽度为T，高度为G)；以(W 1/2,H 1/2)为目标扫描窗口的初始坐标，(T-W 1/2,G-H 1/2)为目标扫描窗口的终点坐标，且扫描步长为2个像素距离(可以根据实际情况设置扫描步长)。
假设当前目标是获取与手机相关的目标网页配图，则判断当前图像中的感兴趣区域 是否与手机相对应，若否，则继续扫描下一个感兴趣区域；
若是，计算目标扫描窗口F扫描感兴趣区域C时，目标扫描窗口F与感兴趣区域C的交集区域Q的面积与感兴趣区域C的面积的每个第二比值v，若存在v≥0.75，则将当前图像中的感兴趣区域标记为“positive”属性，若0＜v＜0.75，则将当前图像中的感兴趣区域标记为“negative”属性，若v＝0，则将当前图像中的感兴趣区域标记为“no care”属性；
判断当前目标扫描窗口F扫描第一图像集中的所有图像后，图像中的所有感兴趣区域C对应的属性是否有“negative”属性，若有，则将该目标扫描窗口F的中心坐标、宽高和高度作为负样本；若图像中的所有感兴趣区域C对应的属性没有“negative”属性且不全是“no care”属性，则将该目标扫描窗口F的中心坐标、宽高和高度作为正样本，；若图像中的所有感兴趣区域C对应的属性均为“no care”属性，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
另外，若当前图像中的所有感兴趣区域C均与产品类目不对应，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
继续采用剩余的每个目标扫描窗口逐个遍历扫描对第一图像集中的所有图像中的感兴趣区域，最终获取所有的正样本构成正样本集，获取所有的负样本构成负样本集。
另外，当正样本集的正样本和负样本集中的负样本过多时(如＞300)，则需要随机剔除一些正样本集的正样本和负样本集中的负样本，以使得正样本集的正样本和负样本集中的负样本均小于300，以保证数据处理速度。
将正样本集和负样本集以及第一图像集中的图像的ID信息关联并存储至磁盘或其他存储系统中。
8)对目标检测算法(如Faster-RCNN算法)进行修改，保证配图框获取模型输出与目标网页配图的宽高比相同的配图框，且能够输出多个不同尺寸且宽高比相同的候选配图框；例如：未修正目标检测算法时，配图框获取模型输出的配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数(Δw，Δh)；修正后目标检测算法后，配图框获取模型输出的候选配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数为(Δw，(1/J)*Δw)，J为目标高宽比系数，这样对高度部分的修正变化量自动变为目标高宽比系数乘以宽度的修正变化量，从而保证了证配图框获取模型输出的候选框在修正后必定能够满足目标网页配图的宽高比。
另外，将候选配图框获取模型保存至磁盘或其他存储系统中。
9)获取待处理图像，将待处理图像输入至配图分类模型，并在配图分类模型输出待处理图像为适合做网页配图的图像时，将待处理图像输入至配图框获取模型获取与待处 理图像对应的多个候选配图框；
为了去除过小的图像，筛选出候选配图框中宽度大于或者等于目标网页配图的宽度的候选配图框作为目标网页配图框；
10)根据目标网页配图框对待处理图像进行切割，获取候选图片；再根据目标宽度和目标高度对候选图片进行放大或者缩小，得到目标网页配图；
11)将目标网页配图放入待用网页配图池中，以供后续网页编辑过程使用。
本实施例中，通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了通过人工标记，从而降低了时间成本，提高了工作效率。
实施例3
如图3所示，本实施例的网页配图的处理系统包括第一图像集获取模块1、感兴趣区域获取模块2、扫描窗口获取模块3、训练样本集获取模块4、配图框模型建立模块5、配图框获取模块6和网页配图获取模块7；
第一图像集获取模块1用于获取与产品类目对应的第一图像集；
其中，产品类目包括“手机”、“连衣裙”等各种提供给用户参考购买的类目。
感兴趣区域获取模块2用于对于第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个感兴趣区域用于表征一对象；
其中，感兴趣区域中的同一对象包括图像中的人脸、手机、连衣裙等，将每个感兴趣区域的对应的参数信息(如感兴趣区域的中心坐标、宽度、高度、所属类别信息等)与第一图像集中的图像进行关联，并将关联结果存储至磁盘或者其他存储系统中。
扫描窗口获取模块3用于获取扫描窗口；
训练样本集获取模块4用于采用扫描窗口扫描感兴趣区域，获取扫描结果，并将扫描结果放入样本训练集；
配图框模型建立模块5用于将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型；
配图框获取模块6用于获取待处理图像，采用配图框获取模型获取与待处理图像对应的目标网页配图框；
网页配图获取模块7用于根据目标网页配图框对待处理图像进行切割处理以获得目标网页配图。
本实施例中的网页配图的处理方法属于一种端到端(即原始自然场景的图像到目标网页配图)的图像处理方法，即通过图像检测与分类的深度学习算法，实现从原始自然 场景的图像中直接切割出合适做网页配图的固定尺寸的目标配图，保证了目标配图的可用性的同时，减少了人工标记的步骤，从而降低了时间成本，提高了工作效率。
实施例4
如图4所示，本实施例的网页配图的处理系统是对实施例3的进一步改进，具体地：
第一图像集获取模块1包括初始图像集获取单元8、图像清洗处理单元9、图像标记单元10、信息关联单元11和第一图像集获取单元12；
初始图像集获取单元8用于获取初始图像集；
图像清洗处理单元9用于对初始图像集中的图像进行清洗处理；
图像标记单元10用于标记清洗处理后的初始图像集中的图像的ID信息；
信息关联单元11用于将ID信息与图像的多维信息进行关联，并调用第一图像集获取单元12根据关联后的图像获取与产品类目对应的第一图像集；
其中，并将关联结果存储至磁盘或其他存储系统中；
多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息等。
当多维信息包括所属的产品类目时，第一图像集获取单元12包括计算子单元13和判断子单元14；
计算子单元13用于计算初始图像集中属于产品类目的图像的数量与初始图像集中的图像的总数量之间的第一比值；
判断子单元14用于判断第一比值是否超过第一设定阈值，若超过，则挑选出产品类目的图像构成第一图像集。
处理系统还包括图像粗分类模块15和配图分类模型建立模块16；
图像粗分类模块15用于对第一图像集中的图像进行粗分类，获取分类结果；
其中，粗分类的分类条件包括但不限于适合做网页配图、不适合做网页配图和属于白底图；
不适合做网页配图的图像包括但不限于：与产品类目完全没有关联性、后期处理痕迹明显、包含色情暴力等不合法的内容的图像。
配图分类模型建立模块16用于将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；
具体地，采用神经网络算法将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型，其中配图分类模型的建立基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等软件框架，CPU、GPU、FPGA、专用的AI计算芯片等硬件框架得以实现，且每种配图分类模型仅针对一种产品类目的图像进行分类。
另外，扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口，且目标扫描窗口的宽高比与目标网页配图的宽高比相同。
不同尺寸的目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描第一图像集中的图像中的感兴趣区域。
训练样本集获取模块4包括判断单元17、比值计算单元18、属性标记单元19、正样本获取单元20和负样本获取单元21；
判断单元17用于判断感兴趣区域是否与产品类目相对应，若否，则继续扫描下一个感兴趣区域；
例如，当产品类目为“手机”时，若感兴趣区域中的对象为手机，则确定感兴趣区域是否与产品类目相对应，若感兴趣区域中的对象为人脸，则确定感兴趣区域是否与产品类目不对应。
若是，则调用比值计算单元18计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则调用所述属性标记单元标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则调用所述属性标记单元标记所述感兴趣区域为第二属性；当所述第二比值为零时，则调用所述属性标记单元标记所述感兴趣区域为第三属性；
其中，第二设定阈值可以根据实际需求具体配置，并将配置文件保存至对应的磁盘或其他存储系统中。
正样本获取单元20用于当第一图像集中的图像中有至少一个感兴趣区域对应第一属性且没有与第二属性对应的感兴趣区域，则将目标扫描窗口的参数值作为正样本；
负样本获取单元21用于当第一图像集中的图像中有至少一个感兴趣区域对应第二属性，则将目标扫描窗口的参数值作为负样本；
其中，参数值包括目标扫描窗口的中心坐标、宽度和高度；
多个正样本构成正样本集，多个负样本构成负样本集，正样本集和负样本集构成样本训练集。
另外，所述处理系统包括数量计算模块和样本剔除模块；
在获取样本训练集之后，所述数量计算模块用于计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
所述样本剔除模块用于当所述第一数量大于第三设定阈值时，随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
所述样本剔除模块还用于当所述第二数量大于第三设定阈值时，随机剔除第二设定 数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
配图框模型建立模块5采用目标检测算法将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型。
处理系统还包括修正模块，用于修正目标检测算法使得配图框获取模型输出与目标网页配图的宽高比相同的配图框，从而保证缩放切割得到的图像不会发生图像变形的情况。
目标检测算法包括但不限于Faster-RCNN算法(一种机器学习算法)，通过设置最大模型训练轮数(具体训练轮数可以根据实际的图像集的特点进行针对性设置)，将第一图像集作为输入，将样本训练集作为输出，并基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等软件框架，CPU、GPU、FPGA、专用的AI计算芯片等硬件框架建立配图框获取模型。
配图框获取模块6包括候选配图框获取单元22和筛选单元23；
候选配图框获取单元22用于获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
即在配图分类模型确认该待处理图像为适合作为网页配图的图像后，在对该待处理图像进行后续切割处理以得到目标网页配图，从而有效地提高了获取目标网页配图的效率以及处理速度。
筛选单元23用于筛选出候选配图框中宽度大于或者等于目标网页配图的宽度的候选配图框作为目标网页配图框。
其中，每个目标网页配图框对应的中心坐标、宽度、高度以及与该待处理图像的ID信息相关联。
考虑到太小的候选配图框切割出的图像放大后太模糊，不适合作为目标网页配图，因此需要去除掉宽度过小的图像。
网页配图获取模块7包括候选图片获取单元24和缩放单元25；
候选图片获取单元24用于根据目标网页配图框对待处理图像进行切割处理以获得候选图片；
缩放单元25用于对候选图片进行缩小或放大处理，以获取目标宽度和目标高度的目标网页配图。
另外，将目标网页配图存储至磁盘或其他存储系统中，即将其放入待用网页配图池中以供后续网页编辑过程使用。
标记每一张目标网页配图对应的ID信息，并将目标网页配图对应的ID信息与其保存路径相关联的信息存储至磁盘或其他存储系统中。
下面结合实例具体说明：
1)将产品类目(如“手机”、“连衣裙”等)作为搜索条件，爬取并下载特定网站的网页中的相关图像，或者通过在摄影素材等网站购买并下载相关产品类目的自然场景图像，并记录每张图像对应的与原始网页链接及其来源信息(如记录图像的出处来自于某网站)，形成初始图像集，即图像素材库。
2)对初始图像集中的每一张图像进行清洗处理，例如：删除初始图像集中的宽高比过大和过小的图像、删除初始图像集中的宽度小于第一设定像素距离(可以根据具体情况设置)的图像、删除初始图像集中的高度小于第二设定像素距离(可以根据具体情况设置)的图像、删除无法正常打开的错误图像，采用哈希签名算法(如md5消息摘要算法等)对初始图像集中的图像进行处理，删除初始图像集中的多张相同图像，仅保留一张对应的图像即可。
3)标记清洗处理后的初始图像集中的图像的ID信息，并将ID信息与图像的所属的产品类目、宽度、高度、存储位置和来源信息等进行关联；
4)挑选出初始图像集中占比超过第一设定阈值(如10％)的产品类目的所有图像构成第一图像集。
5)对第一图像集中的图像按照适合做网页配图、不适合做网页配图和属于白底图进行粗分类，获取分类结果；
将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；6)标记出第一图像集中的每张图像中的用于表征同一对象(人脸、手机、连衣裙等)的感兴趣区域；
7)取多个目标扫描窗口中一个目标扫描窗口对第一图像集中的所有图像中的感兴趣区域进行扫描：
例如：假设目标网页配图的宽度为W，高度为H，目标扫描窗口的宽度为W 1/＝W*f，高度为H 1＝H*f；从第一图像集中的去除一张图像即为M(宽度为T，高度为G)；以(W 1/2,H 1/2)为目标扫描窗口的初始坐标，(T-W 1/2,G-H 1/2)为目标扫描窗口的终点坐标，且扫描步长为2个像素距离(可以根据实际情况设置扫描步长)。
假设当前目标是获取与手机相关的目标网页配图，则判断当前图像中的感兴趣区域是否与手机相对应，若否，则继续扫描下一个感兴趣区域；
若是，计算目标扫描窗口F扫描感兴趣区域C时，目标扫描窗口F与感兴趣区域C 的交集区域Q的面积与感兴趣区域C的面积的每个第二比值v，若存在v≥0.75，则将当前图像中的感兴趣区域标记为“positive”属性，若0＜v＜0.75，则将当前图像中的感兴趣区域标记为“negative”属性，若v＝0，则将当前图像中的感兴趣区域标记为“no care”属性；
判断当前目标扫描窗口F扫描第一图像集中的所有图像后，图像中的所有感兴趣区域C对应的属性是否有“negative”属性，若有，则将该目标扫描窗口F的中心坐标、宽高和高度作为负样本；若图像中的所有感兴趣区域C对应的属性没有“negative”属性且不全是“no care”属性，则将该目标扫描窗口F的中心坐标、宽高和高度作为正样本，；若图像中的所有感兴趣区域C对应的属性均为“no care”属性，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
另外，若当前图像中的所有感兴趣区域C均与产品类目不对应，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
继续采用剩余的每个目标扫描窗口逐个遍历扫描对第一图像集中的所有图像中的感兴趣区域，最终获取所有的正样本构成正样本集，获取所有的负样本构成负样本集。
另外，当正样本集的正样本和负样本集中的负样本过多时(如＞300)，则需要随机剔除一些正样本集的正样本和负样本集中的负样本，以使得正样本集的正样本和负样本集中的负样本均小于300，以保证数据处理速度。
将正样本集和负样本集以及第一图像集中的图像的ID信息关联并存储至磁盘或其他存储系统中。
8)对目标检测算法(如Faster-RCNN算法)进行修改，保证配图框获取模型输出与目标网页配图的宽高比相同的配图框，且能够输出多个不同尺寸且宽高比相同的候选配图框；例如：未修正目标检测算法时，配图框获取模型输出的配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数(Δw，Δh)，修正后目标检测算法后，配图框获取模型输出的候选配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数为(Δw，(1/J)*Δw)，J为目标高宽比系数，这样对高度部分的修正变化量自动变为目标高宽比系数乘以宽度的修正变化量，从而保证了证配图框获取模型输出的候选框在修正后必定能够满足目标网页配图的宽高比。
另外，将候选配图框获取模型保存至磁盘或其他存储系统中。
9)获取待处理图像，将待处理图像输入至配图分类模型，并在配图分类模型输出待处理图像为适合做网页配图的图像时，将待处理图像输入至配图框获取模型获取与待处理图像对应的多个候选配图框；
为了去除过小的图像，筛选出候选配图框中宽度大于或者等于目标网页配图的宽度 的候选配图框作为目标网页配图框；
10)根据目标网页配图框对待处理图像进行切割，获取候选图片；再根据目标宽度和目标高度对候选图片进行放大或者缩小，得到目标网页配图；
11)将目标网页配图放入待用网页配图池中，以供后续网页编辑过程使用。
本实施例中，通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了通过人工标记，从而降低了时间成本，提高了工作效率。
实施例5
图5为本发明实施例7提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中任意一实施例中的网页配图的处理方法。图5显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中任意一实施例中的网页配图的处理方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块， 但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1或2中任意一实施例中的网页配图的处理方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中任意一实施例中的网页配图的处理方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改。因此，本发明的保护范围由所附权利要求书限定。

Claims (20)

  1. 一种网页配图的处理方法，其特征在于，所述处理方法包括：
    获取与产品类目对应的第一图像集；
    对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
    获取扫描窗口；
    采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集；
    将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
    获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
    根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
  2. 如权利要求1所述的网页配图的处理方法，其特征在于，所述获取与产品类目对应的第一图像集的步骤包括：
    获取初始图像集；
    对所述初始图像集中的图像进行清洗处理；
    标记清洗处理后的所述初始图像集中的图像的ID信息；
    将所述ID信息与图像的多维信息进行关联，并根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
    其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
  3. 如权利要求2所述的网页配图的处理方法，其特征在于，当所述多维信息包括所属的产品类目时，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤包括：
    计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
    判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
  4. 如权利要求1-3中至少一项所述的网页配图的处理方法，其特征在于，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
    所述采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：
    采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
  5. 如权利要求4所述的网页配图的处理方法，其特征在于，所述采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；若是，则计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则标记所述感兴趣区域为第二属性；当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集；或者，
    不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
  6. 如权利要求5所述的网页配图的处理方法，其特征在于，所述处理方法还包括：
    计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
    当所述第一数量大于第三设定阈值时，则随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
    当所述第二数量大于第三设定阈值时，则随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
  7. 如权利要求1-6中至少一项所述的网页配图的处理方法，其特征在于，所述根据所述将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型的步骤包括：采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型；或者，
    所述根据所述目标网页配图框获取与所述待处理图像对应的所述目标网页配图的步 骤包括：
    根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
    对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
  8. 如权利要求7所述的网页配图的处理方法，其特征在于，所述采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型的步骤之后还包括：
    修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
  9. 如权利要求2所述的网页配图的处理方法，其特征在于，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤之后还包括：
    对所述第一图像集中的图像进行粗分类，获取分类结果；
    其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底图；
    将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
    所述获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框的步骤包括：
    获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
    筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
  10. 一种网页配图的处理系统，其特征在于，所述处理系统包括第一图像集获取模块、感兴趣区域获取模块、扫描窗口获取模块、训练样本集获取模块、配图框模型建立模块、配图框获取模块和网页配图获取模块；
    所述第一图像集获取模块用于获取与产品类目对应的第一图像集；
    所述感兴趣区域获取模块用于对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
    所述扫描窗口获取模块用于获取扫描窗口；
    所述训练样本集获取模块用于采用所述扫描窗口扫描所述感兴趣区域，获取扫描结 果，并将所述扫描结果放入样本训练集；
    所述配图框模型建立模块用于将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
    所述配图框获取模块用于获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
    所述网页配图获取模块用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
  11. 如权利要求10所述的网页配图的处理系统，其特征在于，所述第一图像集获取模块包括初始图像集获取单元、图像清洗处理单元、图像标记单元、信息关联单元和第一图像集获取单元；
    所述初始图像集获取单元用于获取初始图像集；
    所述图像清洗处理单元用于对所述初始图像集中的图像进行清洗处理；
    所述图像标记单元用于标记清洗处理后的所述初始图像集中的图像的ID信息；
    所述信息关联单元用于将所述ID信息与图像的多维信息进行关联，并调用所述第一图像集获取单元根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
    其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
  12. 如权利要求11所述的网页配图的处理系统，其特征在于，当所述多维信息包括所属的产品类目时，所述第一图像集获取单元包括计算子单元和判断子单元；
    所述计算子单元用于计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
    所述判断子单元用于判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
  13. 如权利要求10-12中至少一项所述的网页配图的处理系统，其特征在于，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
    所述训练样本集获取模块用于采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
  14. 如权利要求13所述的网页配图的处理系统，其特征在于，所述训练样本集获取模块包括判断单元、比值计算单元、属性标记单元、正样本获取单元和负样本获取单元；
    所述判断单元用于判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；
    若是，则调用所述比值计算单元计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则调用所述属性标记单元标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则调用所述属性标记单元标记所述感兴趣区域为第二属性；
    所述正样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；
    所述负样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；
    其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；
    多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集；或者，
    不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
  15. 如权利要求14所述的网页配图的处理系统，其特征在于，所述处理系统包括数量计算模块和样本剔除模块；
    所述数量计算模块用于计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
    所述样本剔除模块用于当所述第一数量大于第三设定阈值时，随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
    所述样本剔除模块还用于当所述第二数量大于第三设定阈值时，随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
  16. 如权利要求10-15中至少一项所述的网页配图的处理系统，其特征在于，所述配图框模型建立模块采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型；或者，
    所述网页配图获取模块包括候选图片获取单元和缩放单元；
    所述候选图片获取单元用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
    所述缩放单元用于对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
  17. 如权利要求16所述的网页配图的处理系统，其特征在于，所述处理系统还包括修正模块；
    所述修正模块用于修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
  18. 如权利要求11所述的网页配图的处理系统，其特征在于，所述处理系统还包括图像粗分类模块和配图分类模型建立模块；
    所述图像粗分类模块用于对所述第一图像集中的图像进行粗分类，获取分类结果；
    其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底图；
    所述配图分类模型建立模块用于将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
    所述配图框获取模块包括候选配图框获取单元和筛选单元；
    所述候选配图框获取单元用于获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图时分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
    所述筛选单元用于筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
  19. 一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-9中任一项所述的网页配图的处理方法。
  20. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的网页配图的处理方法的步骤。
PCT/CN2020/070016 2019-03-14 2020-01-02 网页配图的处理方法、系统、设备和存储介质 WO2020181903A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/297,273 US11995144B2 (en) 2019-03-14 2020-01-02 Webpage illustration processing method, system, device and storage medium
EP20769750.9A EP3872655A4 (en) 2019-03-14 2020-01-02 PROCESSING METHODS FOR WEB PAGE ILLUSTRATION, SYSTEM AND DEVICE, AND STORAGE MEDIA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910192074.2 2019-03-14
CN201910192074.2A CN111695556B (zh) 2019-03-14 2019-03-14 网页配图的处理方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
WO2020181903A1 true WO2020181903A1 (zh) 2020-09-17

Family

ID=72427194

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/070016 WO2020181903A1 (zh) 2019-03-14 2020-01-02 网页配图的处理方法、系统、设备和存储介质

Country Status (4)

Country Link
US (1) US11995144B2 (zh)
EP (1) EP3872655A4 (zh)
CN (1) CN111695556B (zh)
WO (1) WO2020181903A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419253B (zh) * 2020-11-16 2024-04-19 中山大学 数字病理图像分析方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807259A (zh) * 2010-03-25 2010-08-18 复旦大学 一种基于视觉词汇本集体的不变性识别方法
CN104699837A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 网页配图选取方法、装置及服务器
US9665959B2 (en) * 2013-09-30 2017-05-30 Fujifilm Corporation Composite image creation assist apparatus using images of users other than target user, and non-transitory computer readable recording medium
CN108229347A (zh) * 2016-12-22 2018-06-29 Tcl集团股份有限公司 用于人识别的拟吉布斯结构采样的深层置换的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807259A (zh) * 2010-03-25 2010-08-18 复旦大学 一种基于视觉词汇本集体的不变性识别方法
US9665959B2 (en) * 2013-09-30 2017-05-30 Fujifilm Corporation Composite image creation assist apparatus using images of users other than target user, and non-transitory computer readable recording medium
CN104699837A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 网页配图选取方法、装置及服务器
CN108229347A (zh) * 2016-12-22 2018-06-29 Tcl集团股份有限公司 用于人识别的拟吉布斯结构采样的深层置换的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3872655A4

Also Published As

Publication number Publication date
EP3872655A1 (en) 2021-09-01
CN111695556B (zh) 2024-01-16
EP3872655A4 (en) 2022-08-03
US11995144B2 (en) 2024-05-28
CN111695556A (zh) 2020-09-22
US20220027609A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN111368893B (zh) 图像识别方法、装置、电子设备及存储介质
US8391593B2 (en) Image processing methods and systems
US9578248B2 (en) Method for generating thumbnail image and electronic device thereof
US8184928B2 (en) Combining seam carving an image resizing
CN108769803B (zh) 带边框视频的识别方法、裁剪方法、系统、设备及介质
WO2020233178A1 (zh) 一种图像处理方法、装置及电子设备
WO2021077976A1 (zh) 基于风电竞价用户的数据采集方法、装置、设备及介质
CN112199545A (zh) 基于图片文字定位的关键词显示方法、装置及存储介质
CN113642584A (zh) 文字识别方法、装置、设备、存储介质和智能词典笔
CN112668577A (zh) 大尺度图像中目标物体的检测方法、终端及装置
WO2019018062A1 (en) AUTOMATIC IMAGE ORGANIZATION IN IMAGE GRID LAYOUT
US8346006B1 (en) Real time auto-tagging system
WO2020181903A1 (zh) 网页配图的处理方法、系统、设备和存储介质
JP2002342743A (ja) 画像処理装置及び画像処理方法
EP3564833B1 (en) Method and device for identifying main picture in web page
US6810136B2 (en) System and method for automatic preparation of data repositories from microfilm-type materials
WO2024066664A1 (zh) 一种混凝土可泵性类别识别方法、装置及电子设备
CN111079709B (zh) 一种电子单据的生成方法、装置、计算机设备和存储介质
CN111062388B (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN110458202B (zh) 图片处理方法、装置、设备及计算机可读存储介质
US20080181524A1 (en) Image evaluation method, apparatus, and program
CN111144373A (zh) 一种信息识别方法、装置、计算机设备和存储介质
CN112784541A (zh) 一种文档中图片的替换方法、装置、电子设备及存储介质
US11763369B2 (en) System and method for reducing similar photos for display and product design
CN110969602A (zh) 一种图像清晰程度检测方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769750

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2101003032

Country of ref document: TH

ENP Entry into the national phase

Ref document number: 2020769750

Country of ref document: EP

Effective date: 20210525

NENP Non-entry into the national phase

Ref country code: DE