WO2020186385A1 - 图像处理方法、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2020186385A1
WO2020186385A1 PCT/CN2019/078271 CN2019078271W WO2020186385A1 WO 2020186385 A1 WO2020186385 A1 WO 2020186385A1 CN 2019078271 W CN2019078271 W CN 2019078271W WO 2020186385 A1 WO2020186385 A1 WO 2020186385A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image area
initial
processed
sub
Prior art date
Application number
PCT/CN2019/078271
Other languages
English (en)
French (fr)
Inventor
李志强
胡攀
曹子晟
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980005422.9A priority Critical patent/CN111316319A/zh
Priority to PCT/CN2019/078271 priority patent/WO2020186385A1/zh
Publication of WO2020186385A1 publication Critical patent/WO2020186385A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Definitions

  • This application relates to the field of image processing, and in particular to an image processing method, electronic equipment, and computer-readable storage medium.
  • the embodiments of the present application provide an image processing method, an electronic device, and a computer-readable storage medium.
  • an image processing method including:
  • an electronic device including: a memory and a processor
  • the memory is used to store program code
  • the processor is used to call the program code, and when the program code is executed, it is used to perform the following operations:
  • a computer-readable storage medium having computer instructions stored on the computer-readable storage medium, and when the computer instructions are executed, the foregoing image processing method is implemented.
  • the image processing method, electronic device, and computer-readable storage medium provided by the embodiments of the application obtain the sub-images corresponding to each reference image area from the image feature map of the image to be processed according to the position information of each reference image area in the image to be processed
  • the feature map can avoid repeatedly extracting features from overlapping regions of different reference image regions when acquiring the sub-image feature maps corresponding to each reference image region, thereby reducing the amount of calculation for image processing, avoiding wasting computing resources, and improving the efficiency of image processing.
  • Fig. 1 is a flowchart of an image processing method provided by an exemplary embodiment of the application
  • Figure 2 is a schematic diagram of an image to be processed provided by an embodiment of the application
  • FIG. 3 is a flowchart of another image processing method provided by an exemplary embodiment of this application.
  • FIG. 4 is a flowchart of still another image processing method provided by an exemplary embodiment of this application.
  • FIG. 5 is a flowchart of yet another image processing method provided by an exemplary embodiment of this application.
  • FIG. 6 is a flowchart of yet another image processing method provided by an exemplary embodiment of this application.
  • FIG. 7 is a schematic diagram of a to-be-processed image provided by an exemplary embodiment of this application.
  • FIG. 8 is a structural block diagram of a neural network model provided by an exemplary embodiment of this application.
  • FIG. 9 is a schematic diagram of a reference image area of the image to be processed shown in FIG. 2;
  • FIG. 10 is a schematic diagram of another reference image area of the image to be processed shown in FIG. 2;
  • FIG. 11 is a schematic diagram of another reference image area of the image to be processed shown in FIG. 2;
  • FIG. 12 is a schematic diagram of another reference image area of the image to be processed shown in FIG. 2;
  • FIG. 13 is a structural block diagram of an electronic device provided by an exemplary embodiment of this application.
  • Neural network A technology abstracted by imitating the structure of the brain. This technology connects a large number of simple functions in a complex connection to form a network system that can fit extremely complex functional relationships, generally including convolution/inverse Convolution operations, activation operations, pooling operations, as well as operations such as addition, subtraction, multiplication and division, channel merging, and element rearrangement. Use specific input data and output data to train the network and adjust the connections in it, so that the neural network can learn to fit the mapping relationship between input and output.
  • the image processing method of the embodiment of the present application will be described in detail below, but it should not be limited thereto.
  • the image processing method provided in the embodiment of the present application may include the following steps S1 to S4.
  • Step S1 Obtain an image feature map from the image to be processed.
  • Step S2 Acquire a sub-image feature map corresponding to each reference image area from the image feature map according to the position information of each reference image area in the image to be processed.
  • Step S3 Select a target sub-image feature map that meets preset conditions from each sub-image feature map, and determine target location information corresponding to the target sub-image feature map, where the target location information is the target sub-image feature The location information of the reference image area corresponding to the image.
  • Step S4 Obtain a target image area in the image to be processed according to the target position information.
  • the execution subject of the image processing method in the embodiment of the present invention may be an electronic device, and more specifically, may be a processor of the electronic device.
  • the electronic device may be an imaging device and perform corresponding processing on the captured image; or the electronic device may not have the function of capturing an image and perform corresponding processing on an externally input image.
  • the specific type of the electronic device is not limited, as long as it has image processing capabilities.
  • step S1 an image feature map is obtained from the image to be processed.
  • the objects in the image generally include the subject and the object, and the subject is the object that the image focuses on.
  • the position of the subject in the image and the relative positional relationship between the subject and the object can better highlight the subject.
  • the image to be processed may be an image with poor composition, for example, the image cannot well highlight the subject to be represented.
  • a graphic area with a good composition can be cut out from the image to be processed, so that the cut image area can better highlight the subject.
  • Figure 2 is a schematic diagram of an image to be processed.
  • the objects in the image to be processed include flowers, leaves, and branches.
  • the area enclosed by dashed lines in Fig. 2 is the flower.
  • the flower is the subject to be represented in Fig. 2, and the leaves and branches are the objects in the image.
  • the position of the flower in the image and the relative position of the flower, leaves and branches affect the visual effect of the image.
  • the image feature map is an image obtained by feature extraction of the image to be processed.
  • the image feature map reflects the color feature, texture feature, shape feature and spatial relationship feature of the image to be processed.
  • Step S2 Acquire a sub-image feature map corresponding to each reference image area from the image feature map according to the position information of each reference image area in the image to be processed.
  • the method may further include: determining the value of each reference image area in the image to be processed location information.
  • determining the position information of each reference image area in the image to be processed can be implemented by the following steps S210 and S220.
  • step S210 the position information of the target pixel points in the planned initial image regions in the image to be processed is determined.
  • step S210 it is necessary to first determine the planned initial image areas in the image to be processed, and then determine the position information of the target pixel in each initial image area.
  • the planned initial image area refers to the area in the image to be processed whose position information has been determined in advance. Therefore, when step S210 is performed, the planned initial image area can be obtained according to the position information of the predetermined initial image area. Image area.
  • the number of planned initial image areas in the same image to be processed may be at least two, for example, two, three, or four.
  • the position information of the initial image area is information that can characterize the position of the initial image area in the image to be processed. For example, when the initial image area is a rectangular area, the position information of the initial image area may include the four vertices of the initial image area in the image to be processed. Coordinate information in the applied coordinate system.
  • At least part of the pixels in the planned initial image area are target pixels, and the target pixels refer to the pixels used to determine the reference image area.
  • the target pixel may include the four vertices of the rectangular area; when the reference image area is circular, the target pixel may include the center of the circle and one or more points on the circumference, or the target
  • the pixel point includes two points on the circumference of a circle, and the line of the two points passes through the center of the circle where it is located.
  • the position information of the target pixel in each initial image area refers to the information that can characterize the position of the target pixel in the image to be processed.
  • the position information of the target pixel refers to the coordinates of the target pixel in the image to be processed Coordinate information in the system.
  • the step S210 of determining the position information of the target pixel points in the planned initial image areas in the image to be processed may include the following steps S211 to S213.
  • step S211 the position information of the planned initial pixel points in each initial image area is acquired.
  • the initial pixel point may be a pixel point for which position information has been determined in advance in each initial image area, so that when step S211 is performed, the position information of the initial pixel point can be directly obtained.
  • step S212 the position information of the reference pixel in the corresponding initial image area is determined according to the planned position information of the initial pixel in each initial image area and the preset step size, where the reference pixel is in the initial image area Target pixels other than the initial pixels.
  • the preset step size refers to the step size that has been set in advance, and the value of the step size can be several pixels, for example, three pixels, four pixels, five pixels, and so on.
  • the position information of several target pixels adjacent to the initial pixel can be determined according to the position information of the initial pixel and the preset step size. For example, moving the initial pixel point upward by a preset step length can determine the target pixel point above the initial pixel point, and moving the initial pixel point downward by the preset step length can determine the target pixel point below the initial pixel point, and the initial pixel point is to the left Moving the preset step length can determine the target pixel on the left of the initial pixel, and moving the initial pixel to the right by the preset step can determine the target pixel on the right of the initial pixel.
  • the position information of other target pixels adjacent to the target pixel can be determined according to the position information of the target pixel adjacent to the initial pixel and the preset step length. Wherein, if the position information of the target pixel obtained later is the same as the position information of the target pixel obtained before, it is considered to be the same target pixel.
  • the corresponding step lengths in each initial image area can be the same, even if the step length in each initial image area is fixed; or, the corresponding steps in each initial image area can be different, such as the proximity of the initial image area.
  • the area at the edge of the processed image corresponds to a larger step size, and the area close to the center of the image to be processed has a smaller step size.
  • step S213 the initial pixel and the reference pixel are determined as the target pixel.
  • the target pixel point finally determined in the embodiment of the present application includes the initial pixel point and the reference pixel point determined according to the initial pixel point.
  • step S220 the position information of each reference image area is determined according to the position information of the target pixel in each initial image area.
  • the step S220 of determining the position information of each reference image area according to the position information of the target pixel in each initial image area may include the following steps S221 and S222.
  • step S221 for each initial image area, a reference image area is determined according to each target pixel in the initial image area and any target pixel in each of the other initial image areas.
  • step S221 When performing step S221, first select an initial image area, and perform the following operations: select a target pixel in the initial image area, and select any target pixel in each of the other initial image areas. Point, and determine a reference image area based on the target pixel points selected in all the initial image areas; then select a target pixel point in the initial image area that has not been selected, and keep the target pixels selected in the other initial image areas The point remains unchanged, and a reference image area is determined according to the target pixel points selected in all the initial image areas; until the target pixel points in the initial image area are selected.
  • each initial image area in the image to be processed perform the above operations separately to determine all reference image areas. It should be noted that when determining the reference image area, the target pixel points selected in all initial image areas are not exactly the same as the target pixel points previously selected in all initial image areas, so as to avoid duplication of the determined reference image areas.
  • the position information of each reference image area is determined by the position information of the target pixel in each initial image area. Compared with randomly selecting pixels in the image to be processed to determine the reference image area, the determination of the reference image area is more purposeful and can be reduced Small amount of data processing.
  • step S221 for each reference image area determined according to the target pixel in each initial image area, it can be determined whether the size of the determined reference image area meets a preset condition, and if the size of the determined reference image area is determined If the preset condition is not met, the reference image area can be determined to be an invalid reference image area, and step S221 is returned to determine the reference image area again; if it is determined that the size of the determined reference image area meets the preset condition, the reference image is determined The area is a valid reference image area, and step S222 is executed.
  • the preset condition can be: the ratio of the size of the reference image area to the size of the image to be processed is greater than or equal to a specified value, for example, the specified value can be two-thirds, three-quarters, one-half, etc., depending on the actual situation determine. This operation can further improve the purpose of determining the reference image area, thereby reducing the amount of data processing.
  • the reference image areas are rectangular areas, and the initial image area in the image to be processed may include a first initial image area and a second initial image area.
  • the step S221 of determining the reference image area according to each target pixel in the initial image area and any target pixel in the other initial image areas may include the following steps S2211 to S2213.
  • each target pixel in the first initial image area and any target pixel in the second initial image area are used as the first diagonal vertices of the reference image area.
  • step S2211 the target pixel in the first initial image area is traversed.
  • the target pixel in the second initial image area is traversed, and the first The target pixel point in an initial image area and the target pixel point in the second initial image area are used as the first pair of diagonal vertices of the reference image area.
  • the target pixel in the first initial image area traversed and the target pixel in the second initial image area it is necessary to determine the position information and vertical position of the two target pixels traversed in the horizontal direction. Whether the position information of the direction is the same. Since the horizontal position information or vertical position information of the target pixel traversed in the first initial image area and the target pixel traversed in the second initial image area are the same, the two target pixels It cannot be used as the first pair of diagonal vertices in a rectangular area, and is an invalid combination of target pixels.
  • a is an image to be processed
  • area a1 is a first initial image area
  • area a2 is a second initial image area.
  • Point A is the target pixel traversed in area a1
  • point D is the target pixel traversed in area a2
  • the coordinates of point A are (x A , y A )
  • the coordinates of point D are (x D , y D )
  • x A and x D are the coordinates of point A and point D in the horizontal direction
  • y A , y D are the coordinates of point A and point D in the vertical direction
  • x A ⁇ x D , Y A ⁇ y D Therefore, point A and point D can be regarded as the first diagonal vertices of a reference image area.
  • step S2212 a second pair of diagonal vertices of the reference image area is determined according to the first pair of diagonal vertices.
  • the second pair of diagonal vertices B and C of the reference image area can be determined according to point A and point D, where the horizontal coordinate of point B is equal to the horizontal coordinate of point A, The coordinates of point B in the vertical direction are equal to the coordinates of point D in the vertical direction, the coordinates of point C in the horizontal direction are equal to the coordinates of point D in the horizontal direction, and the coordinates of point C in the vertical direction are equal to The coordinates of point A in the vertical direction are equal.
  • a reference image area is determined according to the first pair of diagonal vertices and the second pair of diagonal vertices.
  • the rectangular area ACDB can be determined according to point A, point D, point B, and point C, and the rectangular area ACDB is also the reference image area.
  • the first initial image area and the second initial image area are diagonally arranged on the image to be processed.
  • first initial image area and the second initial image area are diagonally set in the image to be processed, including the following two situations: In the first case, one of the first initial image area and the second initial image area is located in the image to be processed The upper left corner area of the image, the other is located in the lower right corner area of the image to be processed; in the second case, one of the first initial image area and the second initial image area is located in the lower left corner area of the image to be processed, and the other is located The upper right corner of the image to be processed.
  • the first initial image area a1 is located in the upper left corner area of the image to be processed, and the second initial image area a2 is located in the lower right corner area of the image to be processed.
  • the horizontal coordinate of each target pixel in the first initial image area is different from the horizontal coordinate of each target pixel in the second initial image area.
  • the coordinates of each target pixel in the vertical direction are different from the coordinates of each target pixel in the second initial image area in the vertical direction.
  • the horizontal coordinate of each target pixel in the first initial image area a1 is different from the horizontal coordinate of each target pixel in the second initial image area a2
  • the first The vertical coordinate of each target pixel in the initial image area a1 is different from the vertical coordinate of each target pixel in the second initial image area a2.
  • the length of the first initial image area and the length of the second initial image area may be respectively three parts of the length of the image to be processed One, the width of the first initial image area and the width of the second initial image area may be respectively one third of the width of the image to be processed, and the width of the first initial image area, the second initial image area, and the image to be processed The length direction is the same. Since the first initial image area, the second initial image area and the image to be processed are rectangular areas respectively, the width directions of the first initial image area, the second initial image area and the image to be processed are also the same.
  • the reference image area is a rectangular area
  • the upper left corner area and the lower right corner area of the reference image area with the best general composition are also located at the upper left corner and the lower right corner of the image to be processed.
  • the composition effect of each reference image area determined according to the target pixels in the first initial image area and the second initial image area can be guaranteed It is not too bad, so that the reference image area with the best composition can be determined from the multiple reference image areas determined according to the target pixel points in the first initial image area and the second initial image area, and there is no need to select other references Image area, reducing the number of reference image areas, thereby reducing the amount of data processing.
  • Steps S2211 to S2213 only take the reference image area as a rectangular area and the number of initial image areas as two examples for description.
  • the reference image area may have other shapes such as circles, pentagons, and hexagons.
  • the number of initial image areas can be two, three, four, etc.
  • the reference image area if the number of initial image areas is three, the number of target pixels selected in each initial image area is three.
  • the reference image area is a polygon, the three selected target pixels can be selected Pixels are used as the three vertices of the polygon to determine the reference image area; if the number of initial image areas is four, the number of target pixels selected in each initial image area is four.
  • the reference image area is a quadrilateral
  • you can The four selected target pixels are sequentially connected to determine the reference image area; if the number of initial image areas is five, the number of selected target pixels in each initial image area is five, and the reference image area is five
  • the selected five target pixels can be connected in sequence to determine the reference image area.
  • step S222 the location information of the corresponding reference image area is determined according to the location information of each target pixel in the reference image area.
  • the coordinate information of point A, point B, point C, and point D are respectively used as the position information of the four vertices of the rectangular area ACDB.
  • the sub-image feature map corresponding to each reference image area can be obtained from the image feature map of the image to be processed according to the location information of the reference image area.
  • the location information of the reference image area in the image to be processed is the same as the location information of the sub-image feature map corresponding to the reference image area in the image feature map of the image to be processed.
  • the reference image The location information of the sub-image feature map corresponding to the region in the image feature map is also determined. Therefore, the area pointed to by the position information of the sub-image feature map corresponding to the reference image area can be located in the image feature map and the image can be intercepted, and the obtained image data is the sub-image feature map corresponding to the reference image area.
  • Step S3 Select a target sub-image feature map that meets preset conditions from each sub-image feature map, and determine target location information corresponding to the target sub-image feature map, where the target location information is the target sub-image feature The location information of the reference image area corresponding to the image.
  • the preset condition is: the feature parameter used to indicate the visual effect of the image is optimal; the feature parameter is characterized by the composition mode of the reference image area. That is, the composition of the reference image region corresponding to the target sub-image feature map that meets the preset conditions is the best, the subject can be highlighted, and the visual effect is the best.
  • the larger the feature parameter of the sub-image feature map, the optimal composition of the reference image area corresponding to the sub-image feature map, and the target sub-image feature map is the sub-image with the largest feature parameter in all sub-image feature maps Feature map.
  • the image processing method further includes: processing sub-image feature maps that do not meet the specified size, so that the size of the processed sub-image feature map meets the specified size.
  • bilinear interpolation processing may be performed on the sub-image feature map that does not satisfy the size, so that the size of the processed sub-image feature map is a specified size.
  • the designated size may be, for example, 9 ⁇ 9, 13 ⁇ 13, and so on.
  • Step S4 Obtain a target image area in the image to be processed according to the target position information.
  • the area pointed to by the target location information corresponding to the target sub-image feature map can be located in the image to be processed, and the image can be intercepted, and the obtained image data is the target image area.
  • the image processing method provided by the embodiment of the application obtains the sub-image feature map corresponding to each reference image area from the image feature map of the image to be processed according to the position information of each reference image area in the image to be processed, which can avoid the
  • the sub-image feature map corresponding to the image area repeatedly extracts features from the overlapping areas of different reference image areas, thereby reducing the amount of calculation during image processing, avoiding wasting computing resources, and improving the efficiency of image processing.
  • step S1 to step S3 can be implemented by inputting the image to be processed into a trained neural network model, and the neural network model outputs the target position information, so that step S4 can be based on the neural network model.
  • the target location information output by the network model obtains the target image area in the image to be processed.
  • the neural network model is a trained network model.
  • the neural network model 300 includes at least a convolutional layer 301, a feature interception layer 302, a fully connected layer 303 and an output layer 304 connected in sequence.
  • the image to be processed is input to the convolution layer 301 of the neural network model, and the output layer 304 can output target position information.
  • the number of convolutional layers 301 and fully connected layers 303 is not limited to the one shown in FIG. 8, and may be two or more. The following will introduce the specific functions of each layer in the first neural network, but it should not be limited to this.
  • the convolution layer 301 is used to obtain an image feature map from the input image to be processed, and output the image feature map to the feature interception layer 302.
  • the convolution layer 301 obtains an image feature map by performing convolution processing on the image to be processed.
  • the convolutional layer 301 may include at least two subconvolutional layers cascaded with each other, and each subconvolutional layer cascaded with each other is used to obtain the image feature map from the image to be processed.
  • the size of the convolution kernels of the two sub-convolutional layers can be 3 ⁇ 3 respectively.
  • the calculation amount of the convolutional layer 301 includes 18 multiplication operations and 16 addition operations.
  • the convolution layer 301 includes a convolution kernel with a size of 5 ⁇ 5
  • the calculation amount of the convolution layer 301 includes 25 multiplication operations and 24 addition operations.
  • the convolutional layer 301 adopts at least two sub-convolutional layers cascaded with each other to reduce the amount of calculation.
  • the feature interception layer 302 is used to determine the location information of each reference image area in the input image to be processed, and obtain the sub-image feature map corresponding to each reference image area from the input image feature map according to the location information of each reference image area. Output to the fully connected layer 303.
  • the fully connected layer 303 is used to determine the feature parameters of the input sub-image feature maps and output to the output layer 304.
  • the fully connected layer 303 fuses the features of the input sub-image feature maps, and determines the feature parameters of each sub-image area according to the fused features of the sub-image feature maps.
  • the fully connected layer 403 may be composed of at least one subconvolutional layer, each subconvolution layer is used to determine the feature parameter of each subimage feature map, and the convolution kernel size of each subconvolution layer is larger than or Equal to 9 ⁇ 9.
  • the convolution kernel size of the sub-convolutional layer of the fully connected layer 403 is greater than or equal to 9 ⁇ 9, the fully connected layer 403 has a stronger ability to learn the features of the sub-image feature map, so that the fully connected layer 403 determines the features of the sub-image feature map The accuracy of the parameters is higher.
  • the output layer 304 is used to select target sub-image feature maps that meet preset conditions from all the sub-image feature maps according to the input feature parameters of each sub-image feature map, determine the target location information corresponding to the target sub-image feature map, and Output.
  • the convolutional layer 301 For the relevant details when the convolutional layer 301, the feature interception layer 302, the fully connected layer 303, and the output layer 304 perform the corresponding functions, please refer to the description in the step S1 to the step S3, and will not be repeated here.
  • the neural network model 300 may further include a Relu layer, the Relu layer is provided between the convolutional layer 301 and the feature interception layer 302 for input to the feature interception layer Perform activation processing on the image feature map of 302 to perform nonlinear transformation on the image feature map.
  • the robustness of the feature can be improved. Therefore, under the premise of ensuring the robustness of the features, by performing nonlinear transformation on the image feature map, the number of convolutional layers can be reduced when the number and size of the convolution kernels of the convolutional layer are unchanged.
  • a Relu layer may be provided after each sub-convolutional layer.
  • F (x i, w) is the output Relu layer
  • x i is the convolution of the input layer
  • W i, b i are convolution filter weights convolution weighting coefficients and bias layer
  • ⁇ () represents the activation function of the Relu layer.
  • the image processing method before using the neural network model to perform image processing on the image to be processed, the image processing method further includes training an untrained neural network model to obtain a trained neural network model. Specifically, when training the neural network model, the following process may be included:
  • the set number of image samples to be processed, the position information of each reference image area in each image sample to be processed, and the reference feature parameters corresponding to each reference image area are input to the untrained convolutional neural network.
  • the convolutional layer, the feature interception layer and the fully connected layer of the neural network model are trained; the weight parameters corresponding to the connections between the nodes in the convolution layer, the feature interception layer and the fully connected layer are determined to meet the pre- When the conditions are set, the training of the neural network model is stopped, and the trained neural network model is obtained.
  • a training data set Before training the untrained convolutional neural network, a training data set needs to be prepared.
  • the aspect ratio and resolution of the image sample to be processed can be different.
  • the aspect ratio of the image sample to be processed can include 3:2, 4:3, 5:3, 5:4, 16:9, etc.
  • the resolution can be Including 4000 ⁇ 3000, 3840 ⁇ 2160, 1920 ⁇ 1080, etc.
  • multiple reference image regions are cut out according to the position information of each reference image region in the image sample to be processed.
  • multiple people score separately, and the average score of the reference image area is calculated as the reference feature parameter of the reference image area.
  • the scores for scoring the reference image area may include 1, 2, 3, 4, and 5. The higher the score, the better the composition of the reference image area.
  • five people can be selected to score five points, and the average value of the five points is calculated as the characteristic parameter of the reference image area.
  • Figures 9 to 12 are the four reference image regions of the image to be processed shown in Figure 2.
  • the reference feature parameters of the four reference image regions are 3 and 4 respectively. , 1 and 2.
  • the set number of image samples to be processed, the position information of each reference image area in each image sample to be processed, and the reference feature parameters corresponding to each reference image area constitute the training database.
  • the number of reference image regions whose feature parameters are within the range of each score can be roughly the same to prevent the neural network model from being affected by the large difference in the number of reference image regions corresponding to the feature parameters of different ranges Accuracy.
  • the convolution layer of the neural network model is used for feature extraction of the image sample to be processed to obtain the image feature map of the image sample to be processed, and input to the feature interception layer;
  • the feature interception layer determines each reference image in the input image sample to be processed
  • the location information of the area according to the location information of each reference image area, obtains the sub-image feature map corresponding to each reference image area from the input image feature map and outputs it to the fully connected layer;
  • the fully connected layer determines the input sub-image features The characteristic parameters of the graph and output.
  • the feature parameter of each sub-image feature map is also the feature parameter of the reference image region corresponding to the sub-image feature map.
  • the neural network model calculates the error between the feature parameter of each reference image area output by the fully connected layer and the reference feature parameter of the reference image area input to the neural network.
  • the error between the feature parameter of the reference image area and the reference feature parameter may be the mean square error
  • the neural network model may use the loss function to calculate the mean square error of each reference image area
  • the loss function may be The Huber Loss function has the following formula:
  • L ⁇ (y, f(x)) is the mean square error between the reference feature parameter of the reference image area and the feature parameter
  • y is the reference feature parameter of the reference image area
  • f(x) is the feature parameter of the reference image area
  • ⁇ is the parameter of the loss function.
  • the loss function can also use a square loss function, an absolute value loss function, a logarithmic loss function, etc.
  • the neural network model calculates the error between the reference feature parameter and the feature parameter in the reference image area, it is determined whether the error is less than a preset threshold, and when it is determined that the error is greater than or equal to the preset threshold, the convolutional layer, The weight parameter corresponding to the connection between each node in the feature interception layer and the fully connected layer.
  • the neural network can use the back propagation method to propagate errors back to the fully connected layer, feature interception layer, and convolutional layer, thereby continuously updating the weight parameters of the fully connected layer, feature interception layer, and convolutional layer.
  • the neural network model calculates the error between the reference feature parameter and the feature parameter of the reference image area.
  • For convolutional layer, feature interception layer and full connection The derivative of the output result of the layer is used to update the weight parameters of the convolutional layer, the feature interception layer and the fully connected layer.
  • the error between the reference feature parameter and the feature parameter of the reference image area The derivative of the image sample to be processed, the error between the reference feature parameter and the feature parameter of the reference image area
  • ⁇ y ij ,f(x ij , ⁇ )> is the error between the reference feature parameter and the feature parameter of the reference image area
  • x is the image sample to be processed where the reference image area is located
  • ⁇ is the fully connected layer
  • feature interception The output results of layers and convolutional layers.
  • the neural network After adjusting the weight parameters of the fully connected layer, the feature interception layer, and the convolutional layer, the neural network is used to process the image samples to be processed again, and the error between the reference feature parameters and the feature parameters of each reference image area of the image to be processed When it is less than the preset threshold, it is determined that the weight parameters corresponding to the connections between the nodes in the convolutional layer, the feature interception layer, and the fully connected layer meet the preset conditions, and then the training of the neural network model is stopped to obtain Trained neural network model.
  • the feature interception layer obtains the sub-image feature map corresponding to the reference image area in the image feature map of the image to be processed according to the position information of each reference image area in the image to be processed , without the need to regress the position and size of the bounding box of the reference image area of the image to be processed, which can reduce the complexity of the neural network model.
  • the neural network model in the embodiments of the present application may also use LeNet network, AlexNet network, VGG network, GoogleNet network, ResNet network, DenseNet network, etc.
  • the electronic device 500 includes a memory 501 and a processor 502 (such as one or more processors).
  • the specific type of the electronic device is not limited.
  • the electronic device may be an imaging device but is not limited to an imaging device.
  • the electronic device may also be, for example, a device that is electrically connected to the imaging device, and can acquire the image collected by the imaging device, and then execute the corresponding method.
  • the memory is used to store program code
  • the processor is used to call the program code, and when the program code is executed, it is used to perform the following operations:
  • the preset condition is: the feature parameter used to indicate the visual effect of the image is optimal; the feature parameter is characterized by the composition mode of the reference image area.
  • the processor is further configured to determine the sub-image feature map corresponding to each reference image area from the image feature map according to the position information of each reference image area in the image to be processed. The position information of each reference image area in the image to be processed.
  • the processor is specifically configured to: when determining the position information of each reference image area in the image to be processed:
  • the position information of each reference image area is determined according to the position information of the target pixel in each initial image area.
  • the target pixels in the initial image area include planned initial pixels and reference pixels in the initial image area
  • the processor determines the planned position information of the target pixel in each initial image area in the image to be processed, it is specifically used to:
  • the initial pixel point and the reference pixel point are determined as the target pixel point.
  • the processor is specifically configured to determine the position information of each reference image area according to the position information of the target pixel in each initial image area:
  • a reference image area is determined according to each target pixel in the initial image area and any target pixel in each of the other initial image areas;
  • the location information of the corresponding reference image area is determined according to the location information of each target pixel in the reference image area.
  • the image to be processed includes a first initial image area and a second initial image area.
  • the processor determining the reference image area according to each target pixel in the initial image area and any target pixel in each of the other initial image areas includes:
  • the reference image area is determined according to the first pair of diagonal vertices and the second pair of diagonal vertices.
  • the shapes of the first initial image area, the second initial image area, and the image to be processed are all rectangles, and the length of the first initial image area and the second initial image area
  • the length of is equal to one third of the length of the image to be processed
  • the width of the first initial image area and the width of the second initial image area are equal to one third of the width of the image to be processed
  • the length direction of the first initial image area and the length direction of the second initial image area are respectively the same as the length direction of the image to be processed.
  • the first initial image area and the second initial image area are diagonally arranged on the image to be processed.
  • the coordinates of each target pixel in the first initial image area in the horizontal direction are different from the coordinates of each target pixel in the second initial image area in the horizontal direction.
  • the vertical coordinate of each target pixel in the image area is different from the vertical coordinate of each target pixel in the second initial image area.
  • the processor before the processor selects a target sub-image feature map that meets a preset condition from each sub-image feature map, the processor is further configured to:
  • the processor processes the sub-image feature maps that do not meet the specified size, so that when the processed sub-image feature map meets the specified size, it is specifically used to:
  • the processor is implemented by inputting the image to be processed into a trained neural network model, and the neural network model outputs the target position information.
  • the neural network model at least includes:
  • Convolutional layer acquiring an image feature map from an input image to be processed, and outputting the image feature map to a feature interception layer;
  • the feature interception layer determines the location information of each reference image area in the input image to be processed, and obtains the sub-image feature map corresponding to each reference image area from the input image feature map according to the location information of each reference image area and outputs it to Fully connected layer
  • the fully connected layer determines the characteristic parameters of the input sub-image feature maps and outputs them to the output layer
  • the output layer selects target sub-image feature maps satisfying preset conditions from all sub-image feature maps according to the input feature parameters of each sub-image feature map, determines target location information corresponding to the target sub-image feature maps, and outputs it.
  • the fully connected layer is composed of at least one subconvolutional layer, each subconvolutional layer is used to determine the feature parameter of each subimage feature map, and the convolution kernel size of each subconvolutional layer is greater than or equal to 9 ⁇ 9.
  • the convolutional layer includes at least two subconvolutional layers cascaded with each other, and each subconvolutional layer cascaded with each other is used to obtain the image feature map from the image to be processed.
  • the neural network model further includes a Relu layer, the Relu layer is arranged between the convolutional layer and the feature interception layer, and is used to input the image features to be input to the feature interception layer
  • the image undergoes activation processing to perform nonlinear transformation on the image feature map.
  • the processor is further configured to:
  • the set number of image samples to be processed, the position information of each reference image area in each image sample to be processed, and the reference feature parameters corresponding to each reference image area are input to the untrained convolutional neural network.
  • the convolutional layer, feature interception layer and fully connected layer of the neural network model are trained;
  • the processor is further configured to:
  • the present invention also provides a computer-readable storage medium having computer instructions stored on the computer-readable storage medium, and when the computer instructions are executed, the image described in the foregoing embodiment is realized.
  • a computer-readable storage medium having computer instructions stored on the computer-readable storage medium, and when the computer instructions are executed, the image described in the foregoing embodiment is realized.
  • a typical implementation device is a computer.
  • the specific form of the computer can be a personal computer, a laptop computer, a cellular phone, a camera phone, a smart phone, a personal digital assistant, a media player, a navigation device, an email receiving and sending device, and a game control A console, a tablet computer, a wearable device, or a combination of any of these devices.
  • the embodiments of the present application can be provided as methods, systems, or computer program products. Therefore, the present application may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, the embodiments of the present application may adopt the form of a computer program product implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program codes.
  • a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • these computer program instructions can also be stored in a computer-readable memory that can guide a computer or other programmable data processing equipment to work in a specific manner, so that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction device,
  • the instruction device realizes the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.
  • These computer program instructions can also be loaded into a computer or other programmable data processing equipment, so that a series of operation steps are executed on the computer or other programmable equipment to produce computer-implemented processing, thereby executing instructions on the computer or other programmable equipment Provides steps for realizing the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法、电子设备及计算机可读存储介质。所述图像处理方法包括：从待处理图像中获取图像特征图；依据待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；依据所述目标位置信息在所述待处理图像中获取目标图像区域。

Description

图像处理方法、电子设备及计算机可读存储介质 技术领域
本申请涉及图像处理领域，特别涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
通过对图像进行裁剪，可以从构图情况不好的图像中提取出构图情况较好的区域，去除画面中的干扰因素，合理安排图像要表现的主体在图像中的位置，从而提高图像的质量。
相关的图像处理技术中，对图像进行裁剪时，从待处理图像中提取大量的子区域，并对所有子区域提取特征，之后根据子区域的特征对子区域进行评分，将评分最高的子区域作为裁剪出的目标图像。但是不同的子区域存在重叠区域，重叠区域的特征会被重复提取很多次，导致计算量大大增加。
发明内容
本申请实施例提供了一种图像处理方法、电子设备及计算机可读存储介质。
根据本申请实施例的第一方面，提供了一种图像处理方法，所述方法包括：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定 与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
根据本申请实施例的第二方面，提供了一种电子设备，包括：存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
根据本申请实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现上述的图像处理方法。
本申请实施例提供的图像处理方法、电子设备及计算机可读存储介质，依据各参考图像区域在待处理图像中的位置信息从待处理图像的图像特征图中获取各参考图像区域对应的子图像特征图，可避免在获取各参考图像区域对应的子图像特征图时对不同参考图像区域的重叠区域重复提取特征，从而减小图像处理的计算量，避免浪费计算资源，提高图像处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一示例性实施例提供的一种图像处理方法的流程图；
图2为本申请实施例提供的待处理图像的示意图；
图3为本申请一示例性实施例提供的另一种图像处理方法的流程图；
图4为本申请一示例性实施例提供的再一种图像处理方法的流程图；
图5为本申请一示例性实施例提供的又一种图像处理方法的流程图；
图6为本申请一示例性实施例提供的又一种图像处理方法的流程图；
图7为本申请一示例性实施例提供的待处理图像的示意图；
图8为本申请一示例性实施例提供的一种神经网络模型的结构框图；
图9为图2所示的待处理图像的一个参考图像区域的示意图；
图10为图2所示的待处理图像的另一个参考图像区域的示意图；
图11为图2所示的待处理图像的再一个参考图像区域的示意图；
图12为图2所示的待处理图像的又一个参考图像区域的示意图；
图13为本申请一示例性实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。除非另行指出，“前部”、“后部”、“下部”和/或“上部”等类似词语只是为了便于说明，而并非限于一个位置或者一种空间定向。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而且可以包括电性的连接，不管是直接的还是间接的。
为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：
神经网络：一种通过模仿大脑结构抽象而成的技术，该技术将大量简单的函数进行复杂的连接，形成一个网络系统，该系统可以拟合极其复杂的函数关系，一般可以包括卷积/反卷积操作、激活操作、池化操作，以及加减乘除、通道合并、元素重新排列等操作。使用特定的输入数据和输出数据对网络进行训练，调整其中的连接，可以让神经网络学习拟合输入和输出之间的映射关系。
下面对本申请实施例的图像处理方法进行具体的描述，但不应以此为限。在一个实施例中，参见图1，本申请实施例提供的图像处理方法可以包括以下步骤S1至步骤S4。
步骤S1：从待处理图像中获取图像特征图。
步骤S2：依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图。
步骤S3：从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息。
步骤S4：依据所述目标位置信息在所述待处理图像中获取目标图像区域。
本发明实施例的图像处理方法的执行主体可以是电子设备，更具体的可以是该电子设备的处理器。电子设备可以是成像设备，对采集的图像执行相应的处理；或者，电子设备也可以不具备采集图像的功能，对外部输入的图像进行相应的处理。当然，电子设备的具体类型不限，具有图像处理能力即可。
下面对本申请实施例提供的图像处理方法的各步骤进行详细介绍。
在步骤S1中，从待处理图像中获取图像特征图。
图像中的物体一般包括主体和客体，其中主体是图像着重表现的物体。构图情况良好的图像中，主体在图像中的位置、以及主体与客体的相对位置关系更能突出主体。
待处理图像可以是构图情况不好的图像，例如图像不能很好的突出要表现的主体。采用本申请实施例提供的图像处理方法对待处理的图像进行处理，可以从待处理图像中截取出构图情况良好的图形区域，以使截取的图像区域能更好地突出主体。
图2是待处理图像的示意图。参见图2，待处理图像中的物体包括花、叶子以及枝干，其中图2中虚线圈出的区域为花，花是图2要表现的主体，叶子及枝干是图像中的客体。花在图像中的位置、以及花与叶子及枝干的相对位置影响图像的视觉效果。
图像特征图是对待处理图像进行特征提取得到的图像。图像特征图反映了待处理图像的颜色特征、纹理特征、形状特征和空间关系特征等。
步骤S2：依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图。
在所述依据各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前，所述方法还可包括：确定所述待处理图像中各参考图像区域的位置信息。
在一个实施例中，参见图3，确定所述待处理图像中各参考图像区域的位置信息，可通过如下步骤S210及步骤S220来实现。
在步骤S210中，确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息。
在执行步骤S210时，需先确定待处理图像中已规划好的各初始图像区域，然后再确定每一初始图像区域内的目标像素点的位置信息。
其中，已规划好的初始图像区域指的是待处理图像中的预先已经确定位置信息的区域，从而在执行步骤S210时，可根据预先已经确定的初始图像区域的位置信息获取已规划好的初始图像区域。同一个待处理图像中已规划好的初始图像区域的数量可为至少两个，例如可以是两个、三个或者四个等。初始图像区域的位置信息是可表征初始图像区域在待处理图像中的位置的信息，比如初始图像区域为矩形区域时，初始图像区域的位置信息可以包括初始图像区域的四个顶点在待处理图像所应用的坐标系中的坐标信息。
已规划好的初始图像区域中的至少部分像素点为目标像素点，目标像素点指的是用于确定参考图像区域的像素点。例如，参考图像区域为矩形时，目标像素点可以包括矩形区域的四个顶点；参考图像区域为圆形时，目标像素点可以包括圆的圆心及位于圆周上的一个或多个点，或者目标像素点包括圆形的圆周上的两个点，且该两个点的连线过其所在的圆的圆心。各初始图像区域中目标像素点的位置信息指的是可表征目标像素点在待处理图像中的位置的信息，比如目标像素点的位置信息指的是目标像素点在待处理图像所应用的坐标系中的坐标信息。
在一个实施例中，参见图4，确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息的步骤S210可包括如下步骤S211至步骤S213。
在步骤S211中，获取各初始图像区域中已规划好的初始像素点的位置信息。
其中，初始像素点可以是各初始图像区域中预先已经确定位置信息的像素点，从而在执行步骤S211时，可直接获取初始像素点的位置信息。
在步骤S212中，根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点。
预设步长指的是预先已经设定的步长，步长的值可以是若干个像素，例如为三个像素点、四个像素点、五个像素点等。
具体地，可根据初始像素点的位置信息及预设步长确定与初始像素点相邻的几个目标像素点的位置信息。例如，初始像素点向上移动预设步长可确定位于初始像素点上方的目标像素点，初始像素点向下移动预设步长可确定位于初始像素点下方的目标像素点，初始像素点向左移动预设步长可确定位于初始像素点左侧的目标像素点，初始像素点向右移动预设步 长可确定位于初始像素点右侧的目标像素点。之后，可再根据初始像素点相邻的目标像素点的位置信息及预设步长确定与该目标像素点相邻的其他目标像素点的位置信息。其中，若后获取的目标像素点的位置信息与之前获取的目标像素点的位置信息相同，则认为是同一个目标像素点。
各初始图像区域各处对应的步长可以相同，也即使每一初始图像区域中的步长是固定不变的；或者，各初始图像区域各处对应的可以不同，例如初始图像区域的靠近待处理图像的边缘处的区域对应的步长较大，靠近待处理图像中心的区域对应的步长较小。
在步骤S213中，将所述初始像素点及所述参考像素点确定为所述目标像素点。
也即是，本申请实施例最后确定的目标像素点包括初始像素点以及根据初始像素点确定的参考像素点。
在步骤S220中，根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
在一个实施例中，参见图5，根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息的步骤S220可包括如下步骤S221及步骤S222。
在步骤S221中，针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域。
在执行步骤S221时，先选择一个初始图像区域，并执行以下操作：选取该初始图像区域中的一个目标像素点，在其他各初始图像区域中的每一个初始图像区域中分别选取任一个目标像素点，并根据在所有初始图像区域中选取的目标像素点确定一个参考图像区域；之后选取该初始图像区域中的未被选取过的一个目标像素点，保持其他各初始图像区域中选取的 目标像素点不变，并根据在所有初始图像区域中选取的目标像素点再确定一个参考图像区域；直到该初始图像区域内的目标像素点都被选取到。
对于待处理图像中的每一初始图像区域，分别执行上述操作，即可确定所有的参考图像区域。需要说明的是，在确定参考图像区域时，在所有初始图像区域中选取的目标像素点与之前在所有初始图像区域中选取的目标像素点不完全相同，以避免确定出的参考图像区域重复。
通过各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息，相对于在待处理图像中随机选取像素点来确定参考图像区域，确定参考图像区域时目的性更强，可减小数据处理量。
进一步地，在步骤S221后，对于根据各初始图像区域内目标像素点确定的各参考图像区域，可判断确定的参考图像区域的大小是否满足预设条件，若判断出确定的参考图像区域的大小不满足预设条件，则可确定该参考图像区域为无效的参考图像区域，并返回步骤S221重新确定参考图像区域；若判断出确定的参考图像区域的大小满足预设条件，则确定该参考图像区域为有效的参考图像区域，并执行步骤S222。其中，预设条件可以是：参考图像区域大小与待处理图像大小的比值大于或等于指定值，指定值例如可以是三分之二、四分之三、二分之一等，可根据实际情况确定。如此操作，可进一步提高确定参考图像区域的目的性，从而使数据处理量更小。
在一个实施例中，参考图像区域分别为矩形区域，所述待处理图像中的初始图像区域可包括第一初始图像区域和第二初始图像区域。参见图6，针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域的步骤S221可包括如下步骤S2211至步骤S2213。
在步骤S2211中，将所述第一初始图像区域内每一目标像素点与所 述第二初始图像区域内任一目标像素点作为参考图像区域的第一对对角顶点。
在执行步骤S2211时，遍历第一初始图像区域中的目标像素点，对于遍历到的第一初始图像区域中的目标像素点，遍历第二初始图像区域中的目标像素点，将遍历到的第一初始图像区域中的目标像素点及第二初始图像区域中的目标像素点作为参考图像区域的第一对对角顶点。
需要说明的是，对于遍历到的第一初始图像区域中的目标像素点及第二初始图像区域中的目标像素点，需判断遍历到的两个目标像素点在水平方向的位置信息及竖直方向的位置信息是否相同。由于在第一初始图像区域中遍历到的目标像素点与在第二初始图像区域中遍历到的目标像素点的水平方向的位置信息或竖直方向的位置信息相同时，这两个目标像素点不能作为矩形区域的第一对对角顶点，是无效的目标像素点组合。因此为了避免出现无效的目标像素点组合，需保证每次遍历到的第一初始图像区域中的目标像素点与遍历到的第二初始图像区域中的目标像素点在水平方向的位置信息及竖直方向的位置信息均不相同。
参见图7，a为待处理图像，区域a1为第一初始图像区域，区域a2为第二初始图像区域。点A为在区域a1中遍历到的目标像素点，点D为在区域a2中遍历到的目标像素点，点A的坐标为(x A，y A)，点D的坐标为(x D，y D)，其中x A、x D分别为点A及点D在水平方向上的坐标，y A、y D分别为点A及点D在竖直方向上的坐标，且x A≠x D，y A≠y D。因此可将点A与点D作为一个参考图像区域的第一对对角顶点。
在步骤S2212中，依据所述第一对对角顶点确定参考图像区域的第二对对角顶点。
再次参见图7，根据点A及点D可确定出参考图像区域的第二对对角顶点点B及点C，其中点B在水平方向上的坐标与点A在水平方向上的 坐标相等，点B在竖直方向上的坐标与点D在竖直方向上的坐标相等，点C在水平方向上的坐标与点D在水平方向上的坐标相等，点C在竖直方向上的坐标与点A在竖直方向上的坐标相等。也即是，点B的坐标为(x B，y B)，点C的坐标为(x C，y C)，其中x C＝x A，y C＝y D，x B＝x D，y B＝y A。
在步骤S2213中，依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
再次参见图7，根据点A、点D、点B及点C即可确定矩形区域ACDB，矩形区域ACDB也即是参考图像区域。
在一个实施例中，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
其中，第一初始图像区域和第二初始图像区域对角设置在待处理图像包括如下两种情况：第一种情况中，第一初始图像区域和第二初始图像区域中的其中一个位于待处理图像的左上角区域，另一个位于待处理图像的右下角区域；第二种情况中，第一初始图像区域和第二初始图像区域中的其中一个位于待处理图像的左下角区域，另一个位于待处理图像的右上角区域。
再次参见图7，第一初始图像区域a1位于待处理图像的左上角区域，第二初始图像区域a2位于待处理图像的右下角区域。
进一步地，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。再次参见图7，所述第一初始图像区域a1中各目标像素点在水平方向的坐标与所述第二初始图像区域a2中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域a1中各目标像素点在竖直方向的坐标与所述第二初始图像区域a2中各目标像素点在 竖直方向的坐标均不相同。
如此可保证在第一初始图像区域a1中遍历到的目标像素点与第二初始图像区域a2中遍历到的目标像素点在水平方向上的坐标及在竖直方向上的坐标均不相同，从而可提高确定参考图像区域的效率。
其中，第一初始图像区域、第二初始图像区域和待处理图像的形状分别为矩形时，第一初始图像区域的长度及第二初始图像区域的长度可分别为待处理图像的长度的三分之一，第一初始图像区域的宽度及第二初始图像区域的宽度可分别为待处理图像的宽度的三分之一，并且，第一初始图像区域、第二初始图像区域及待处理图像的长度方向相同，由于第一初始图像区域、第二初始图像区域和待处理图像分别为矩形区域，则第一初始图像区域、第二初始图像区域和待处理图像的宽度方向也相同。
当参考图像区域为矩形区域时，一般构图情况最优的参考图像区域的左上角区域及右下角区域也分别位于待处理图像的左上角及右下角。第一初始图像区域和第二初始图像区域对角设置在待处理图像中时，可保证根据第一初始图像区域及第二初始图像区域中的目标像素点确定出的各参考图像区域的构图效果均不会太差，从而根据第一初始图像区域及第二初始图像区域中的目标像素点确定的多个参考图像区域中可确定出构图情况最优的参考图像区域，无需再选取其他的参考图像区域，减小参考图像区域的数量，进而减小数据的处理量。
步骤S2211至步骤S2213仅以参考图像区域为矩形区域、初始图像区域的数量为两个为例进行说明，在其他实施例中，参考图像区域可以是其他形状例如圆形、五边形、六边形等，初始图像区域的数量可为两个、三个、四个等。例如在确定参考图像区域时，若初始图像区域的数量为三个，则在各初始图像区域中选取的目标像素点的数量为三个，参考图像区域为多边形时，可将选取的三个目标像素点作为多边形的三个顶点而确定参考图像区域；若初始图像区域的数量为四个，则在各初始图像区域中选 取的目标像素点的数量为四个，参考图像区域为四边形时，可将选取的四个目标像素点顺次连接而确定参考图像区域；若初始图像区域的数量为五个，则在各初始图像区域中选取的目标像素点的数量为五个，参考图像区域为五边形时，可将选取的五个目标像素点顺次连接而确定参考图像区域。
在步骤S222中，依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
再次参见图7，将点A、点B、点C及点D的坐标信息分别作为矩形区域ACDB的四个顶点的位置信息。
在获取各参考图像区域的位置信息后，可根据参考图像区域的位置信息从待处理图像的图像特征图中获取各参考图像区域对应的子图像特征图。具体地，参考图像区域在待处理图像中的位置信息与参考图像区域对应的子图像特征图在待处理图像的图像特征图中的位置信息相同，则参考图像区的位置信息确定后，参考图像区域对应的子图像特征图在图像特征图中的位置信息也确定了。因此，可在图像特征图中定位参考图像区域对应的子图像特征图的位置信息指向的区域并进行图像截取，得到的图像数据即为该参考图像区域对应的子图像特征图。
步骤S3：从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息。
在一个实施例中，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。也即是满足预设条件的目标子图像特征图对应的参考图像区域中构图情况最优，最能突出主体，视觉效果最好。在一个实施例中，子图像特征图的特征参数越大，子图像特征图对应的参考图像区域的构图情况最优，则目标子图像特征图为所有子图像特征图中特征参数最大的子图像特征图。
在一个实施例中，在步骤S3之前，所述图像处理方法进一步包括：对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
在本申请实施例中，可对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。通过对不满足指定尺寸的子图像特征图进行处理，使得所有的子图像特征图的尺寸相同，更便于对各子图像特征图构图方式进行判断。指定尺寸例如可以是9×9、13×13等。
步骤S4：依据所述目标位置信息在所述待处理图像中获取目标图像区域。
在该步骤中，可在待处理图像中定位目标子图像特征图对应的目标位置信息指向的区域并进行图像截取，得到的图像数据即为目标图像区域。
本申请实施例提供的图像处理方法，依据各参考图像区域在待处理图像中的位置信息从待处理图像的图像特征图中获取各参考图像区域对应的子图像特征图，可避免在获取各参考图像区域对应的子图像特征图时对不同参考图像区域的重叠区域重复提取特征，从而减小图像处理时的计算量，避免浪费计算资源，提高图像处理的效率。
在一个实施例中，步骤S1至步骤S3可通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息，从而步骤S4中可根据所述神经网络模型输出的目标位置信息在所述待处理图像中获取目标图像区域。
其中，神经网络模型是已经训练好的网络模型。参见图8，所述神经网络模型300至少包括依次连接的卷积层301、特征截取层302、全连接层303和输出层304。向神经网络模型的卷积层301输入待处理图像，输出层304可输出目标位置信息。其中，卷积层301和全连接层303的数量 不限于图8中所示的一个，可以为两个或两个以上。下面将介绍第一神经网络中的各层的具体功能，但不应以此为限。
卷积层301用于从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层302。卷积层301通过对待处理图像进行卷积处理得到图像特征图。
卷积层301可包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。其中，两个子卷积层的卷积核的大小可分别为3×3，当子卷积层的数量为两个时，卷积层301的计算量包括18次乘法运算及16次加法运算。卷积层301包括一个大小为5×5的卷积核时，卷积层301的计算量包括25次乘法运算、24次加法运算。通过对比可知，卷积层301采用相互级联的至少两个子卷积层可减小计算量。
特征截取层302用于确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层303。
全连接层303用于确定输入的各子图像特征图的特征参数并输出至输出层304。全连接层303对输入的各子图像特征图的特征进行融合，并根据各子图像特征图融合后的特征确定各子图像区域的特征参数。
在一个实施例中，所述全连接层403可由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。全连接层403的子卷积层的卷积核尺寸大于或等于9×9时，全连接层403学习子图像特征图的特征的能力更强，从而全连接层403确定子图像特征图的特征参数的准确度更高。
输出层304用于根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图 像特征图对应的目标位置信息并输出。
卷积层301、特征截取层302、全连接层303及输出层304在执行相应的功能时相关的细节可参见步骤S1至步骤S3中的描述，在此不再进行赘述。
在一个实施例中，所述神经网络模型300还可包括Relu层，所述Relu层设置在所述卷积层301和所述特征截取层302之间，用于对待输入至所述特征截取层302的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。通过对所述图像特征图进行非线性变换，可提高特征的鲁棒性。因此，在保证特征的鲁棒性的前提下，通过对图像特征图进行非线性变换，当卷积层的卷积核的数量和大小不变的情况下，可减少卷积层的层数。优选的，卷积层301包括相互级联的至少两个子卷积层时，可在每个子卷积层后分别设置Relu层。
Relu层的操作可以用以下公式表示：
F(x i,w)＝σ(W i*x i+b i)
其中，F(x i,w)为Relu层的输出，x i为卷积层的输入，*表示卷积操作，W i、b i分别为卷积层的卷积滤波器的权重系数和偏移系数，σ()表示Relu层的激活函数。
在一个实施例中，采用神经网络模型对待处理图像进行图像处理前，所述图像处理方法还包括对未训练的神经网络模型进行训练，以得到已训练的神经网络模型。具体地，在对神经网络模型进行训练时，可包括如下过程：
将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；在确定所述卷积层、所述特征截取层和所述全连接层中各 节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训练的神经网络模型。
在对未训练的卷积神经网络进行训练之前，需要准备训练数据集。
首先，先准备设定数量的待处理图像样本，其中设定数量较大，例如为2000张。待处理图像样本的长宽比及分辨率可不同，例如，待处理图像样本的长宽比可包括3:2、4:3、5:3、5:4、16:9等，分辨率可包括4000×3000、3840×2160、1920×1080等。
之后，对于每张待处理图像样本，根据待处理图像样本中各参考图像区域的位置信息截取多个参考图像区域。对于每一个参考图像区域，由多个人分别进行评分，计算出参考图像区域的平均分值作为该参考图像区域的参考特征参数。例如，对参考图像区域评分的分值可包括1、2、3、4和5，分值越高代表参考图像区域的构图情况越好。对于每一参考图像区域可选择五个人进行打分得到五个分值，计算五个分值的平均值作为该参考图像区域的特征参数。通过该步骤可确定待处理图像中各参考图像区域的位置信息及对应的参考特征参数。
图9至图12分别为图2所示的待处理图像的四个参考图像区域，通过人工对该四个参考图像区域进行打分，得到该四个参考图像区域的参考特征参数分别为3、4、1和2。
设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数构成了训练数据库。
为了提高神经网络模型的准确性，可使特征参数处于各分值范围内的参考图像区域数量大致相同，以防止因不同范围的特征参数对应的参考图像区域的数量差别较大而影响神经网络模型的精确度。
在进行训练时，将待处理图像样本、待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷 积神经网络输入至未训练的神经网络模型中，以由神经网络模型的卷积层对待处理图像样本进行特征提取，得到待处理图像样本的图像特征图，并输入至特征截取层；特征截取层确定输入的待处理图像样本中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；全连接层确定输入的各子图像特征图的特征参数并输出。需要说明书的是，各子图像特征图的特征参数也即是该子图像特征图对应的参考图像区域的特征参数。神经网络模型计算全连接层输出的各参考图像区域的特征参数与向神经网络输入的该参考图像区域的参考特征参数之间的误差。
在一个实施例中，参考图像区域的特征参数与参考特征参数的误差可以是均方误差，神经网络模型可利用损失函数(loss function)计算各参考图像区域的均方误差，其损失函数可采用Huber Loss函数，其公式如下：
Figure PCTCN2019078271-appb-000001
式中，L δ(y,f(x))为参考图像区域的参考特征参数与特征参数的均方误差，y为参考图像区域的参考特征参数，f(x)为参考图像区域的特征参数，δ为损失函数的参数。损失函数除了采用Huber Loss函数外，还可以采用平方损失函数、绝对值损失函数、对数损失函数等。
神经网络模型计算得到参考图像区域的参考特征参数与特征参数的误差后，判断该误差是否小于预设阈值，并当判断出该误差大于或等于预设阈值时，调整所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数。
具体的，神经网络可利用反向传播方法将误差反向传播到全连接层、特征截取层及卷积层，从而不断更新全连接层、特征截取层及卷积层的权重参数。神经网络模型计算参考图像区域的参考特征参数与特征参数之间 的误差对待处理图像的导数、以及参考图像区域的参考特征参数与特征参数之间的误差对卷积层、特征截取层和全连接层的输出结果的导数，来对卷积层、特征截取层和全连接层的权重参数进行更新。参考图像区域的参考特征参数与特征参数之间的误差对待处理图像样本的导数、参考图像区域的参考特征参数与特征参数之间的误差对全连接层、特征截取层及卷积层的输出结果的导数分别分
Figure PCTCN2019078271-appb-000002
及
Figure PCTCN2019078271-appb-000003
其中，<y ij,f(x ij,ω)>为参考图像区域的参考特征参数与特征参数之间的误差，x为参考图像区域所在的待处理图像样本，ω为全连接层、特征截取层及卷积层的输出结果。
在对全连接层、特征截取层及卷积层的权重参数进行调整后，重新采用神经网络对待处理图像样本进行处理，并当待处理图像的各参考图像区域的参考特征参数与特征参数的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件，则停止训练所述神经网络模型，得到已训练的神经网络模型。
本申请实施例中，神经网络模型对待处理图像进行处理时，特征截取层根据待处理图像中各参考图像区域的位置信息在待处理图像的图像特征图中获取参考图像区域对应的子图像特征图，而无需对待处理图像的参考图像区域进行边界框位置和大小进行回归，可降低神经网络模型的复杂度。
本申请实施例中神经网络模型除了采用如图8所示的结构外，还可采用LeNet网络、AlexNet网络、VGG网络、GoogleNet网络、ResNet网络、DenseNet网络等。
基于与上述图像处理方法同样的构思，本申请实施例还提供了一种电子设备。参看图13，所述电子设备500包括存储器501和处理器502(如一个或多个处理器)。电子设备具体类型不限，电子设备可以是成像设备 但不限于成像设备。电子设备例如也可以是与成像设备电连接的设备，可获取成像设备采集的图像，进而执行相应的方法。
所述存储器，用于存储程序代码；
所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
在一个实施例中，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。
在一个实施例中，所述处理器在依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前还用于：确定所述待处理图像中各参考图像区域的位置信息。
在一个实施例中，所述处理器确定所述待处理图像中各参考图像区域的位置信息时具体用于：
确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息；
根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
在一个实施例中，所述初始图像区域内目标像素点包括该初始图像区 域内已规划好的初始像素点及参考像素点；
所述处理器确定待处理图像中已规划好的各初始图像区域内目标像素点的位置信息时具体用于：
获取各初始图像区域中已规划好的初始像素点的位置信息；
根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点；
将所述初始像素点及所述参考像素点确定为所述目标像素点。
在一个实施例中，所述处理器根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息时具体用于：
针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域；
依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
在一个实施例中，所述待处理图像包括第一初始图像区域和第二初始图像区域。
在一个实施例中，所述处理器针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域包括：
将所述第一初始图像区域内每一目标像素点与所述初始第二图像区域内任一目标像素点作为参考图像区域的第一对对角顶点；
依据所述第一对对角顶点确定参考图像区域的第二对对角顶点；
依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
在一个实施例中，所述第一初始图像区域、所述第二初始图像区域及 所述待处理图像的形状均为矩形，所述第一初始图像区域的长度及所述第二初始图像区域的长度等于所述待处理图像的长度的三分之一，所述第一初始图像区域的宽度及所述第二初始图像区域的宽度等于所述待处理图像的宽度的三分之一，且所述第一初始图像区域的长度方向、所述第二初始图像区域的长度方向分别与所述待处理图像的长度方向相同。
在一个实施例中，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
在一个实施例中，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。
在一个实施例中，所述处理器在从各个子图像特征图中选择满足预设条件的目标子图像特征图之前，所述处理器进一步用于：
对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
在一个实施例中，所述处理器对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸时具体用于：
对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。
在一个实施例中，所述处理器通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息。
在一个实施例中，所述神经网络模型至少包括：
卷积层，从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层；
特征截取层，确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；
全连接层，确定输入的各子图像特征图的特征参数并输出至输出层；
输出层，根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图像特征图对应的目标位置信息并输出。
在一个实施例中，所述全连接层由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。
在一个实施例中，所述卷积层包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。
在一个实施例中，所述神经网络模型还包括Relu层，所述Relu层设置在所述卷积层和所述特征截取层之间，用于将待输入至所述特征截取层的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。
在一个实施例中，所述处理器还用于：
将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；
在确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训练的神经网络模型。
在一个实施例中，所述处理器还用于：
判断所述全连接层输出的各参考图像区域的特征参数与对应的参考特征参数之间的误差是否小于预设阈值；
当各参考图像区域的特征参数与对应的参考特征参数之间的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件。
基于与上述方法同样的发明构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现前述实施例所述的图像处理方法。
上述实施例阐明的系统、装置、模块或单元，可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实 现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上对本申请实施例所提供的方法和电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

Claims (41)

  1. 一种图像处理方法，其特征在于，所述方法包括：
    从待处理图像中获取图像特征图；
    依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
    从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
    依据所述目标位置信息在所述待处理图像中获取目标图像区域。
  2. 根据权利要求1所述的图像处理方法，其特征在于，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。
  3. 根据权利要求1所述的图像处理方法，其特征在于，所述依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前还包括：确定所述待处理图像中各参考图像区域的位置信息。
  4. 根据权利要求3所述的图像处理方法，其特征在于，所述确定所述待处理图像中各参考图像区域的位置信息包括：
    确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息；
    根据所述各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
  5. 根据权利要求4所述的图像处理方法，其特征在于，所述初始图像区域内目标像素点包括该初始图像区域内已规划好的初始像素点及参考像素点；
    所述确定待处理图像中已规划好的各初始图像区域内目标像素点的位置 信息包括：
    获取各初始图像区域中已规划好的初始像素点的位置信息；
    根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点；
    将所述初始像素点及所述参考像素点确定为所述目标像素点。
  6. 根据权利要求4所述的图像处理方法，其特征在于，所述根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息包括：
    针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域；
    依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
  7. 根据权利要求6所述的图像处理方法，其特征在于，所述待处理图像包括第一初始图像区域和第二初始图像区域。
  8. 根据权利要求7所述的图像处理方法，其特征在于，所述针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域包括：
    将所述第一初始图像区域内每一目标像素点与所述初始第二图像区域内任一目标像素点作为参考图像区域的第一对对角顶点；
    依据所述第一对对角顶点确定参考图像区域的第二对对角顶点；
    依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
  9. 根据权利要求7所述的图像处理方法，其特征在于，所述第一初始图像区域、所述第二初始图像区域及所述待处理图像的形状均为矩形，所述第一初始图像区域的长度及所述第二初始图像区域的长度等于所述待处理图像的长度的三分之一，所述第一初始图像区域的宽度及所述第二初始图像区域的宽度等于所述待处理图像的宽度的三分之一，且所述第一初始图像区域的长度方向、所述第二初始图像区域的长度方向分别与所述待处理图像的长度 方向相同。
  10. 根据权利要求7所述的图像处理方法，其特征在于，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
  11. 根据权利要求10所述的图像处理方法，其特征在于，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。
  12. 根据权利要求1所述的图像处理方法，其特征在于，在所述从各个子图像特征图中选择满足预设条件的目标子图像特征图之前，所述图像处理方法进一步包括：
    对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
  13. 根据权利要求12所述的图像处理方法，其特征在于，所述对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸，包括：
    对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。
  14. 根据权利要求1至13任一所述的图像处理方法，其特征在于，
    从待处理图像中获取图像特征图，依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图，从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息的步骤通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息。
  15. 根据权利要求14所述的图像处理方法，其特征在于，所述神经网络模型至少包括：
    卷积层，从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层；
    特征截取层，确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；
    全连接层，确定输入的各子图像特征图的特征参数并输出至输出层；
    输出层，根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图像特征图对应的目标位置信息并输出。
  16. 根据权利要求15所述的图像处理方法，其特征在于，所述全连接层由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。
  17. 根据权利要求15所述的图像处理方法，其特征在于，所述卷积层包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。
  18. 根据权利要求15所述的图像处理方法，其特征在于，所述神经网络模型还包括Relu层，所述Relu层设置在所述卷积层和所述特征截取层之间，用于将待输入至所述特征截取层的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。
  19. 根据权利要求15所述的图像处理方法，其特征在于，所述图像处理方法还包括：
    将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；
    在确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训 练的神经网络模型。
  20. 根据权利要求19所述的图像处理方法，其特征在于，所述图像处理方法还包括：
    判断所述全连接层输出的各参考图像区域的特征参数与对应的参考特征参数之间的误差是否小于预设阈值；
    当各参考图像区域的特征参数与对应的参考特征参数之间的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件。
  21. 一种电子设备，其特征在于，包括：存储器和处理器；
    所述存储器，用于存储程序代码；
    所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：
    从待处理图像中获取图像特征图；
    依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
    从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
    依据所述目标位置信息在所述待处理图像中获取目标图像区域。
  22. 根据权利要求21所述的电子设备，其特征在于，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。
  23. 根据权利要求21所述的电子设备，其特征在于，所述处理器在依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前还用于：确定所述待处理图像中各参考图像区域的位置信息。
  24. 根据权利要求23所述的电子设备，其特征在于，所述处理器确定所 述待处理图像中各参考图像区域的位置信息时具体用于：
    确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息；
    根据所述各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
  25. 根据权利要求24所述的电子设备，其特征在于，所述初始图像区域内目标像素点包括该初始图像区域内已规划好的初始像素点及参考像素点；
    所述处理器确定待处理图像中已规划好的各初始图像区域内目标像素点的位置信息时具体用于：
    获取各初始图像区域中已规划好的初始像素点的位置信息；
    根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点；
    将所述初始像素点及所述参考像素点确定为所述目标像素点。
  26. 根据权利要求24所述的电子设备，其特征在于，所述处理器根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息时具体用于：
    针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域；
    依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
  27. 根据权利要求26所述的电子设备，其特征在于，所述待处理图像包括第一初始图像区域和第二初始图像区域。
  28. 根据权利要求27所述的电子设备，其特征在于，所述处理器针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域包括：
    将所述第一初始图像区域内每一目标像素点与所述初始第二图像区域内 任一目标像素点作为参考图像区域的第一对对角顶点；
    依据所述第一对对角顶点确定参考图像区域的第二对对角顶点；
    依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
  29. 根据权利要求27所述的电子设备，其特征在于，所述第一初始图像区域、所述第二初始图像区域及所述待处理图像的形状均为矩形，所述第一初始图像区域的长度及所述第二初始图像区域的长度等于所述待处理图像的长度的三分之一，所述第一初始图像区域的宽度及所述第二初始图像区域的宽度等于所述待处理图像的宽度的三分之一，且所述第一初始图像区域的长度方向、所述第二初始图像区域的长度方向分别与所述待处理图像的长度方向相同。
  30. 根据权利要求27所述的电子设备，其特征在于，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
  31. 根据权利要求30所述的电子设备，其特征在于，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。
  32. 根据权利要求21所述的电子设备，其特征在于，所述处理器在从各个子图像特征图中选择满足预设条件的目标子图像特征图之前，所述处理器进一步用于：
    对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
  33. 根据权利要求32所述的电子设备，其特征在于，所述处理器对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸时具体用于：
    对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。
  34. 根据权利要求21至33任一所述的电子设备，其特征在于，所述处理器通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息。
  35. 根据权利要求34所述的电子设备，其特征在于，所述神经网络模型至少包括：
    卷积层，从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层；
    特征截取层，确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；
    全连接层，确定输入的各子图像特征图的特征参数并输出至输出层；
    输出层，根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图像特征图对应的目标位置信息并输出。
  36. 根据权利要求35所述的电子设备，其特征在于，所述全连接层由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。
  37. 根据权利要求35所述的电子设备，其特征在于，所述卷积层包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。
  38. 根据权利要求35所述的电子设备，其特征在于，所述神经网络模型还包括Relu层，所述Relu层设置在所述卷积层和所述特征截取层之间，用于将待输入至所述特征截取层的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。
  39. 根据权利要求35所述的电子设备，其特征在于，所述处理器还用于：
    将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经 网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；
    在确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训练的神经网络模型。
  40. 根据权利要求39所述的电子设备，其特征在于，所述处理器还用于：
    判断所述全连接层输出的各参考图像区域的特征参数与对应的参考特征参数之间的误差是否小于预设阈值；
    当各参考图像区域的特征参数与对应的参考特征参数之间的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件。
  41. 一种计算机可读存储介质，其特征在于，
    所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现权利要求1-40中任一项所述的图像处理方法。
PCT/CN2019/078271 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质 WO2020186385A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980005422.9A CN111316319A (zh) 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质
PCT/CN2019/078271 WO2020186385A1 (zh) 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/078271 WO2020186385A1 (zh) 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2020186385A1 true WO2020186385A1 (zh) 2020-09-24

Family

ID=71147661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/078271 WO2020186385A1 (zh) 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111316319A (zh)
WO (1) WO2020186385A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348892A (zh) * 2020-10-29 2021-02-09 上海商汤智能科技有限公司 点定位方法及相关装置、设备
CN112819748A (zh) * 2020-12-16 2021-05-18 机科发展科技股份有限公司 一种带钢表面缺陷识别模型的训练方法及装置
US20220207281A1 (en) * 2020-12-30 2022-06-30 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment
CN115640835A (zh) * 2022-12-22 2023-01-24 阿里巴巴（中国）有限公司 深度学习网络结构的生成方法及装置
CN116245832A (zh) * 2023-01-30 2023-06-09 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726533B (zh) * 2020-06-30 2021-11-16 RealMe重庆移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646258A (zh) * 2011-02-21 2012-08-22 腾讯科技（深圳）有限公司 图像裁剪方法及系统
CN106650737A (zh) * 2016-11-21 2017-05-10 中国科学院自动化研究所 图像自动裁剪方法
CN107622497A (zh) * 2017-09-29 2018-01-23 广东欧珀移动通信有限公司 图像裁剪方法、装置、计算机可读存储介质和计算机设备
US9917957B1 (en) * 2016-11-17 2018-03-13 Xerox Corporation Cropping image within image preview
CN108009998A (zh) * 2017-11-27 2018-05-08 深圳大学 一种人物图像的构图裁剪方法、装置、设备及存储介质
CN109146892A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种基于美学的图像裁剪方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN107454330B (zh) * 2017-08-24 2019-01-22 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646258A (zh) * 2011-02-21 2012-08-22 腾讯科技（深圳）有限公司 图像裁剪方法及系统
US9917957B1 (en) * 2016-11-17 2018-03-13 Xerox Corporation Cropping image within image preview
CN106650737A (zh) * 2016-11-21 2017-05-10 中国科学院自动化研究所 图像自动裁剪方法
CN107622497A (zh) * 2017-09-29 2018-01-23 广东欧珀移动通信有限公司 图像裁剪方法、装置、计算机可读存储介质和计算机设备
CN108009998A (zh) * 2017-11-27 2018-05-08 深圳大学 一种人物图像的构图裁剪方法、装置、设备及存储介质
CN109146892A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种基于美学的图像裁剪方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348892A (zh) * 2020-10-29 2021-02-09 上海商汤智能科技有限公司 点定位方法及相关装置、设备
CN112819748A (zh) * 2020-12-16 2021-05-18 机科发展科技股份有限公司 一种带钢表面缺陷识别模型的训练方法及装置
CN112819748B (zh) * 2020-12-16 2023-09-19 机科发展科技股份有限公司 一种带钢表面缺陷识别模型的训练方法及装置
US20220207281A1 (en) * 2020-12-30 2022-06-30 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment
US11461991B2 (en) * 2020-12-30 2022-10-04 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment
US11500463B2 (en) 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same
US20230018742A1 (en) * 2020-12-30 2023-01-19 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment
US11816266B2 (en) 2020-12-30 2023-11-14 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment
CN115640835A (zh) * 2022-12-22 2023-01-24 阿里巴巴（中国）有限公司 深度学习网络结构的生成方法及装置
CN115640835B (zh) * 2022-12-22 2023-03-31 阿里巴巴（中国）有限公司 深度学习网络结构的生成方法及装置
CN116245832A (zh) * 2023-01-30 2023-06-09 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质
CN116245832B (zh) * 2023-01-30 2023-11-14 浙江医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111316319A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
WO2020186385A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
EP3886448A1 (en) Video processing method and device, electronic equipment and computer readable medium
Guo et al. Image retargeting using mesh parametrization
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
EP3674852A2 (en) Method and apparatus with gaze estimation
WO2017092307A1 (zh) 模型渲染方法及装置
CN109840881B (zh) 一种3d特效图像生成方法、装置及设备
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
JP7352748B2 (ja) 三次元再構築方法、装置、機器及び記憶媒体
WO2018082308A1 (zh) 一种图像处理方法及终端
WO2014146561A1 (zh) 缩略图生成方法及系统
CN108765317A (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
CN111340077A (zh) 基于注意力机制的视差图获取方法和装置
WO2023024441A1 (zh) 模型重建方法及相关装置、电子设备和存储介质
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
JP2023172893A (ja) 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体
CN112419342A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN115439615A (zh) 一种基于三维bim的分布式综合管理系统
WO2024002064A1 (zh) 三维模型构建方法、装置、电子设备及存储介质
TWI711004B (zh) 圖片處理方法和裝置
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN112785651A (zh) 用于确定相对位姿参数的方法和装置
CN111062878A (zh) 图像的去噪方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920563

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920563

Country of ref document: EP

Kind code of ref document: A1