WO2022124224A1 - 方法、システム、および、コンピュータプログラム - Google Patents

方法、システム、および、コンピュータプログラム Download PDF

Info

Publication number
WO2022124224A1
WO2022124224A1 PCT/JP2021/044428 JP2021044428W WO2022124224A1 WO 2022124224 A1 WO2022124224 A1 WO 2022124224A1 JP 2021044428 W JP2021044428 W JP 2021044428W WO 2022124224 A1 WO2022124224 A1 WO 2022124224A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
logo
image data
region
area
Prior art date
Application number
PCT/JP2021/044428
Other languages
English (en)
French (fr)
Inventor
真樹 近藤
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2022124224A1 publication Critical patent/WO2022124224A1/ja
Priority to US18/331,511 priority Critical patent/US20230316697A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Definitions

  • This specification relates to a technique for associating information with image data.
  • Patent Document 1 proposes a technique for evaluating the accuracy of information given by an operator and causing the operator to process an image according to the evaluation.
  • Appropriate information association is required for proper training of machine learning models.
  • Appropriate information varies depending on the machine learning model to be trained. Under such circumstances, it has not been easy to associate appropriate information with image data.
  • This specification discloses a technique for associating appropriate information with image data.
  • An association method for associating information with image data used for training a machine learning model in which an acquisition step of acquiring target image data of a target image, which is an image to be processed, and analysis of the target image data. By doing so, a detection step of detecting an object region showing an image of the object of interest from the target image, and a determination step of determining an extended region including the target region and an outer portion of the target region.
  • An association method comprising the association step of associating the annotation data indicating the annotation information including the area information indicating the extended area with the target image data and storing the annotation data in the storage device.
  • the annotation information including the area information indicating the extended area including the object area detected by analyzing the target image data, the outer part of the target area, and the target image data is associated with the target image data. Since it is stored in the storage device, an area including another area in addition to the area indicating the object of interest can be associated with the target image data.
  • the technique disclosed in the present specification can be realized in various aspects, for example, a method and a specific device for specifying information to be associated with image data, an association method and an association device for associating information with image data.
  • a method and device for generating learning image data, a computer program for realizing the function of those methods or devices, a recording medium on which the computer program is recorded (for example, a recording medium that is not temporary), and the like. can do.
  • FIG. 1 is explanatory drawing which shows the information processing apparatus as one Example.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the logo detection model NN1.
  • FIG. 1 is a schematic diagram showing an outline of the operation of the logo detection model NN1.
  • (A) is an explanatory diagram showing an example of a logo image.
  • (B) is a histogram showing an example of the distribution range of color values.
  • (C) is an explanatory diagram showing a divided partial region.
  • (D) is an explanatory diagram showing an example of a color change logo image generated by the additional adjustment process.
  • (A)-(H) is a schematic diagram showing an example of a candidate image. It is a flowchart which shows the example of the training process of the logo detection model NN1.
  • (A) is a schematic diagram showing an example of the configuration of the sheet detection model NN2.
  • (B) is an explanatory diagram showing an outline of the operation of the seat detection model NN2. It is a flowchart which shows the example of the generation processing of the type 2 data set DS2.
  • (A) is an explanatory diagram showing an example of a target image.
  • (B) is an explanatory diagram showing an example of a logo area.
  • (C) is an explanatory diagram showing an example of a plurality of blocks.
  • (D) is an explanatory diagram showing an example of a uniform block.
  • (E) is an explanatory diagram showing an example of a candidate for an extended region. It is a flowchart which shows the example of the process which determines the candidate of an extended area.
  • (A) is an explanatory diagram showing an example of a UI screen.
  • (B) is an explanatory diagram showing an example of the modified contour LAeo.
  • (C) is an explanatory diagram showing an example of a UI screen. It is a flowchart which shows the example of the training process of a sheet detection model NN2.
  • FIG. 1 is an explanatory diagram showing an information processing apparatus as an embodiment.
  • the information processing apparatus 200 is, for example, a personal computer.
  • the information processing apparatus 200 performs various processes for training a machine learning model used for inspecting an object (for example, a product such as a printer).
  • the information processing device 200 includes a processor 210, a storage device 215, a display unit 240, an operation unit 250, and a communication interface 270. These elements are connected to each other via a bus.
  • the storage device 215 includes a volatile storage device 220 and a non-volatile storage device 230.
  • the processor 210 is a device configured to perform data processing, for example, a CPU.
  • the volatile storage device 220 is, for example, a DRAM
  • the non-volatile storage device 230 is, for example, a flash memory.
  • the non-volatile storage device 230 includes programs 231, 232, 233, 234, a logo detection model NN1, a first-class data set DS1 for training the logo detection model NN1, a sheet detection model NN2, and a sheet detection model NN2. It stores the second-class data set DS2 for training.
  • the models NN1 and NN2 are so-called machine learning models, and in this embodiment, they are program modules. Details of the program 231-234, the models NN1 and NN2, and the datasets DS1 and DS2 will be described later.
  • the display unit 240 is a device configured to display an image, such as a liquid crystal display or an organic EL display.
  • the operation unit 250 is a device configured to receive operations by the user, such as a button, a lever, and a touch panel arranged on the display unit 240. The user can input various requests and instructions to the information processing apparatus 200 by operating the operation unit 250.
  • the communication interface 270 is an interface for communicating with other devices (for example, a USB interface, a wired LAN interface, and an IEEE 802.11 wireless interface).
  • a digital camera 100 is connected to the communication interface 270.
  • the digital camera 100 generates image data of a captured image by photographing the object DV to be inspected.
  • the object DV is a printer (the object DV is also referred to as a printer DV).
  • Shot image: 2 (A) and 2 (B) are schematic views showing an example of a photographed image.
  • the first captured image 700x of FIG. 2A shows the first printer DVx without any defect.
  • a label sheet 910L (simply referred to as a sheet 910L) is attached to the first printer DVx.
  • the first captured image 700x includes an image of the sheet 910L.
  • the second captured image 700y of FIG. 2B shows a second printer DVy having a defect.
  • the sheet 910L is not attached to the second printer DVy, and the second captured image 700y does not include the image of the sheet 910L.
  • the sheet 910L includes the logo image 910.
  • the logo image 910 indicates the character string "SAMPLE”.
  • the sheet 910L includes another area (for example, an area showing an image of another character string) in addition to the area of the logo image 910.
  • the logo is not limited to a character string, but may be various images such as figures, marks, and symbols.
  • the sheet 910L is not limited to a character string, and may be configured by using various kinds of elements (for example, figures, patterns, photographs, etc.).
  • the sheet detection model NN2 (FIG. 1) is a machine learning model that detects an image of a label sheet (for example, sheet 910L) from a photographed image of a printer using photographed image data which is image data showing a photographed image. If the image on the label sheet is detected, the printer inspection result is acceptable. If the image on the label sheet is not detected, the printer inspection result is unacceptable.
  • Image data of various images including the image of the sheet is used for training of the sheet detection model NN2.
  • Various information is associated with the data used for training (here, image data).
  • the process of associating information with data is also called annotation or labeling.
  • annotation information includes area information that specifies an area indicating a sheet to be detected. For example, when the image data of the first captured image 700x of FIG. 2A is used for training, the annotation information includes the area information indicating the frame Fx surrounding the sheet 910L.
  • Annotation information is usually determined by the worker. For example, the operator determines the frame Fx surrounding the sheet 910L by observing the first captured image 700x.
  • various image data are used for training.
  • the display mode of the sheet may differ among a plurality of image data, such as the position of the sheet, the color of the sheet, and the size of the sheet. It is not easy for the operator to determine the appropriate annotation information for each of the various image data. For example, the operator may determine an inappropriate frame that encloses only a portion of the sheet 910L. Therefore, in this embodiment, the information processing apparatus 200 (FIG. 1) detects a logo image (for example, a logo image 910) from the training image by using the logo detection model NN1.
  • a logo image for example, a logo image 910
  • the information processing apparatus 200 determines an extended area including a logo area which is an area showing a logo image and a portion outside the logo area.
  • the extended region may adequately represent a sheet (eg, sheet 910L).
  • the information processing apparatus 200 associates the annotation information including the area information indicating the extended area with the image data.
  • the logo detection model NN1 and the sheet detection model NN2 will be described in this order.
  • FIG. 3A is a schematic diagram showing an example of the configuration of the logo detection model NN1.
  • the logo detection model NN1 is an object detection model called YOLO (You only look once).
  • YOLO for example, wrote the paper "Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi," You Only Look Once: Unified, Real-Time Object Detection ", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. , Pp. 779-788.
  • the YOLO model uses a convolutional neural network to create a frame containing an object called a bounding box, the certainty that the box contains an object, and the probability of each type of object when the box contains an object (also known as class probability). Call), and predict.
  • the logo detection model NN1 has m (m is an integer of 1 or more) convolutional layers CV11-CV1m and n (n is 1 or more) following the convolutional layers CV11-CV1m. It has a fully connected layer CN11-CN1n (where m is, for example, 24. n is, for example, 2). Immediately after one or more of the m folding layers CV11-CV1m, a pooling layer is provided.
  • the convolutional layer CV11-CV1m executes a process including a convolution process and a bias addition process on the input data.
  • the convolution process is (p ⁇ q ⁇ r) for the input data. This is a process of sequentially applying s-dimensional filters and calculating a correlation value indicating the correlation between the input data and the filter (p, q, r, s are integers of 1 or more). In the process of applying each filter, a plurality of correlation values are sequentially calculated while sliding the filter. One filter contains (p ⁇ q ⁇ r) weights.
  • the bias addition process is a process of adding a bias to the calculated correlation value. One bias is prepared for each filter.
  • the dimension of the filter (p ⁇ q ⁇ r) and the number s of the filters are usually different between m convolutional layers CV11-CV1m.
  • the convolutional layer CV11-CV1m each has a parameter set including a plurality of weights and a plurality of biases of the plurality of filters.
  • the pooling layer executes a process of reducing the number of dimensions of the data input from the immediately preceding convolutional layer.
  • various processes such as average pooling and maximum pooling can be used.
  • the pooling layer performs maximum pooling.
  • Maximum pooling reduces the number of dimensions by selecting the maximum value in the window while sliding a window of a predetermined size (eg, 2x2) with a predetermined stride (eg, 2).
  • the fully connected layer CN11-CN1n is g-dimensional data (that is, g-values) using f-dimensional data (that is, f values; f is an integer of 2 or more) input from the immediately preceding layer. g is an integer of 2 or more).
  • Each of the output g values is a value obtained by adding a bias to the inner product of the vector composed of the input f values and the vector composed of the f weights (inner product + bias). ..
  • the convolutional layer CV11-CV1m outputs g-dimensional data using (f ⁇ g) weights and g biases.
  • the number of dimensions f of the input data and the number of dimensions g of the output data are usually different between the n fully connected layers CN11-CN1n.
  • the fully coupled layer CN11-CN1n each has a parameter set containing a plurality of weights and a plurality of biases.
  • the data generated by each of the convolutional layer CV11-CV1m and the fully connected layer CN11-CN1n is input to the activation function and converted.
  • the activation function various functions can be used.
  • a linear activation function is used for the last layer (here, the fully connected layer CN1n), and a leak-normalized linear unit (Leaky Rectified Linear Unit:) is used for the other layers. LReLU) is used.
  • FIG. 3B is a schematic diagram showing an outline of the operation of the logo detection model NN1.
  • Image 800 is an example of an input image input to the logo detection model NN1.
  • the input image 800 is represented by the color values of the first direction Dx, the second direction Dy perpendicular to the first direction Dx, and the respective color values of the plurality of pixels arranged in a matrix along the first direction Dx.
  • the color value is represented by three component values of R (red), G (green), and B (blue).
  • the input image 800 shows two types of logo images 910 and 920.
  • the first logo image 910 is an image of the character string of "SAMPLE”.
  • the second logo image 920 is another logo image different from the first logo image 910, and is an image of the character string of "SAMPLE 2".
  • the logo detection model NN1 divides the input image 800 into S ⁇ S grid cells 801 (also simply referred to as cells 801) (S is an integer of 2 or more, and S is, for example, 5).
  • S is an integer of 2 or more, and S is, for example, 5).
  • the center of each of the logo images 910 and 920 is included in any cell 801.
  • the detection result of the logo images 910, 920 (more generally, the object) is indicated by the predicted value associated with the cell 801 including the center of the object area (details will be described later).
  • Each cell 801 is associated with a Bn rectangular bounding box (Bn is an integer of 1 or more. Bn is, for example, 2).
  • Bn is an integer of 1 or more. Bn is, for example, 2.
  • a plurality of first-class bounding boxes BB1c related to the first logo image 910 and a plurality of second-class bounding related to the second logo image 920 are shown. Box BB2c and.
  • the following five predicted values are associated with each bounding box. That is, the center position x of the first direction Dx with respect to the cell 801, the center position y of the second direction Dy with respect to the cell 801, the width w of the first direction Dx, the height h of the second direction Dy, and the certainty.
  • the certainty of the bounding box associated with that cell 801 is expected to be zero.
  • the certainty is expected to be the same as the IOU (Intersection over Union) between the area of the bounding box and the object area.
  • IOU is a ratio obtained by dividing the area of the intersection of the two regions by the area of the region of the union of the two regions.
  • Such confidence indicates the degree of matching between the bounding box and the object area.
  • the certainty is calculated independently of the object type.
  • the logo detection model NN1 detects a C type logo image (C is an integer of 1 or more. C is, for example, 3).
  • the type of logo image is also called a class or a logo class.
  • Each cell 801 is further associated with C class probabilities.
  • the C class probabilities correspond to the C types of the object (here, the logo image).
  • the class probability is a probability under the condition that the center of the object area is included in the cell 801 and indicates the probability for each type of object. Regardless of the total number of bounding boxes Bn associated with one cell 801, C class probabilities are associated with one cell 801.
  • the left part in the middle of FIG. 3B shows a class probability map.
  • the class probability map is a class identifier specified for each cell 801 and indicates a class identifier corresponding to the highest class probability. As shown in the figure, in the cell 801 close to the first logo image 910, the probability of the class identifier of "1" which is the type of the first logo image 910 is high. In cell 801 close to the second logo image 920, the probability of the class identifier of "2", which is the type of the second logo image 920, is high.
  • the plurality of first-class bounding boxes BB1c on the right side of the figure are bounding boxes associated with the cell 801 indicating the class identifier of "1" on the class probability map.
  • the plurality of type 2 bounding boxes BB2c are bounding boxes associated with the cell 801 indicating the class identifier of "2" on the class probability map.
  • the logo detection model NN1 (FIG. 3 (A)) outputs output data 830 showing predicted values of S ⁇ S ⁇ (Bn ⁇ 5 + C).
  • a bounding box having a certainty of a threshold value or higher is adopted as a box (referred to as an object box) indicating a detected object (here, a logo image).
  • the class identifier corresponding to the highest class probability among the C class probabilities corresponding to the object box is adopted as the class identifier associated with the object box.
  • a plurality of bounding boxes overlapping one logo image may be candidates for the object box.
  • Non-maximal suppression is a process of deleting one box (for example, a box having a lower certainty) when the IOU between the two boxes is equal to or more than the standard.
  • FIG. 4 is a flowchart showing an example of a generation process of the first-class data set DS1 for training of the logo detection model NN1.
  • the processor 210 (FIG. 1) executes the process of FIG. 4 according to the first program 231.
  • the processor 210 acquires logo image data, which is image data of the logo image.
  • the logo image data is RGB bitmap data and is stored in advance in the non-volatile storage device 230 (not shown).
  • FIG. 5A is an explanatory diagram showing an example of a logo image.
  • the first logo image 910 is shown.
  • the first logo image 910 includes a character area 911 and a background area 912.
  • the plurality of pixels in the character area 911 have approximately the same color
  • the plurality of pixels in the background area 912 have approximately the same color.
  • the logo image data may be data generated by using an image editing application program.
  • the logo image data may be data generated by scanning a logo sample with a scanner (not shown).
  • the processor 210 includes a plurality of data including the data of the first logo image 910, the data of the second logo image 920 (FIG. 3 (B)), and the data of the third logo image (not shown). Get the data of the logo image.
  • both the second logo image 920 and the third logo image include a character area showing a plurality of characters and a background area, as in the first logo image 910.
  • the processor 210 clusters the color values of a plurality of pixels of the logo image. As a result, the distribution range of the color values of the logo image is divided into T partial color ranges (T is an integer of 2 or more).
  • FIG. 5B is a histogram showing an example of the distribution range of color values.
  • the horizontal axis represents the luminance value Bv.
  • the range of the luminance value Bv is divided into a plurality of sections.
  • the vertical axis shows the number of pixels in each section.
  • This histogram shows the distribution of the luminance value Bv of the first logo image 910 (FIG. 5A).
  • the bright first partial color range R1 indicates the distribution range of the luminance value Bv in the character region 911
  • the dark second partial color range R2 indicates the distribution range of the luminance value Bv in the background region 912.
  • the processor 210 calculates the luminance value Bv from the RGB color values of each of the plurality of pixels, and generates a histogram of the luminance value Bv.
  • the processor 210 specifies the range indicated by the continuous plurality of sections as one cluster (that is, a partial color range). In the example of FIG. 5B, two partial color ranges R1 and R2 are specified.
  • FIG. 5C is an explanatory diagram showing a divided partial region.
  • the logo image 910 is divided into a type 1 region A1 and a type 2 region A2.
  • the first kind region A1 corresponds to the first partial color range R1, that is, the character region 911
  • the second kind region A2 corresponds to the second partial color range R2, that is, the background region 912.
  • one type of partial region corresponding to one partial color range may include a plurality of regions separated from each other, such as the first type region A1.
  • other logo images are similarly divided into a plurality of areas by S115 and S120.
  • the logo image is divided into T-type partial regions having similar colors.
  • the method of dividing the distribution range of color values into T partial color ranges may be various methods of associating a plurality of pixels having similar colors with one partial color range.
  • the range of the luminance value Bv may be divided by the luminance value Bv corresponding to the valley of the histogram.
  • the distribution range of the color value may be divided into T partial color ranges by using various color components (for example, hue, saturation, etc.), not limited to the luminance value Bv.
  • various clustering algorithms such as the k-means method may be used.
  • the total number T of the partial color ranges (that is, the number of types T of the partial areas) is determined for each logo image. Instead of this, T may be predetermined.
  • the processor 210 In S125, the processor 210 generates K color change logo image data (K is an integer of 1 or more) by performing an adjustment process of randomly changing the color of one or more kinds of partial areas.
  • K is an integer of 1 or more
  • three color-changing logo images 910a, 910b, and 910c are shown as examples of the color-changing logo image generated from the first logo image 910.
  • the processor 210 also generates a color change logo image from other logo images.
  • the processor 210 changes the entire color of one type of partial area to the same color randomly determined. For example, when the color of the type 1 region A1 is changed, all the colors of the plurality of characters included in the type 1 region A1 are changed to the same color.
  • the color after the change may be a color close to the color before the change.
  • the color change process is performed by adding a random value in the range of -100 or more and +100 or less to the color value of each color component. May be the process of adding.
  • the processor 210 randomly determines the total number of color change logo image data to be generated for each logo image. Instead of this, the total number of color-changing logo image data to be generated may be predetermined for each logo image.
  • the processor 210 executes additional adjustment processing of the color change logo image data.
  • the additional adjustment process includes one or both of the size change process and the aspect ratio change process.
  • the resizing process may be either an enlargement process or a reduction process.
  • FIG. 5D is an explanatory diagram showing an example of a color change logo image generated by the additional adjustment process.
  • the first color change logo image 910a1 is an image generated by the size change process (here, the reduction process).
  • the second color change logo image 910a2 is an image generated by the aspect ratio change process.
  • the processor 210 also performs additional adjustment processing on the color change logo image generated from the other logo image.
  • the processor 210 randomly determines whether or not to execute the additional adjustment process, the color change logo image to be the target of the additional adjustment process, and the content of the additional adjustment process.
  • the processor 210 acquires background image data.
  • the background image data is image data indicating a background image on which the logo image should be arranged.
  • the processor 210 randomly acquires background image data to be processed from a plurality of background image data (not shown) prepared in advance.
  • the plurality of background image data are stored in advance in the storage device 215 (for example, the non-volatile storage device 230) (not shown).
  • the plurality of background image data includes data of a background image showing a solid color image of a single color and data of a background image of a photograph.
  • a monochromatic solid image is an image composed of a plurality of pixels having the same color.
  • each background image is a rectangular image surrounded by two sides parallel to the first direction Dx and two sides parallel to the second direction Dy.
  • the processor 210 generates candidate image data by arranging L logo images (L is an integer of 1 or more) on the background image.
  • the processor 210 selects L logo images from a plurality of logo images including the logo image acquired in S110, the color change logo image generated in S125, and the color change logo image generated in S130. do.
  • the processor 210 randomly determines the position of each logo image on the background image. Instead, the processor 210 may place the logo image at a predetermined position on the background image. In either case, the processor 210 determines the position of each logo image so that the plurality of logo images do not overlap each other.
  • the total number L of the logo images is determined to be a value within the range of 1 or more and not more than the maximum number of logo images that can be arranged on the background image. For example, the processor 210 randomly determines L and randomly selects L logo images.
  • FIGS. 6A-C are schematic views showing an example of a candidate image.
  • the three candidate images 800a-800c of FIGS. 6A-C are the background images 800az, 800bz, 800cz, the four logo images arranged on the background images 800az, 800bz, 800cz, and the four logo images. Includes.
  • the main features of these candidate images 800a-800c are as follows.
  • Candidate image 800b The background image 800bz is a photographic image.
  • (I3) Candidate image 800c The logo images 910 and 910c obtained from the first logo image 910 and the logo images 920a and 920b obtained from the second logo image 920 are included. As shown by the logo images 920a and 920b in FIG. 6C, the second logo image 920 is divided into a type 1 region A21 and a type 2 region A22.
  • the logo image 920a is an image generated by changing the color of the second logo image 920.
  • the logo image 920b is an image generated by the color change and reduction processing of the second logo image 920.
  • the processor 210 generates new candidate image data by performing image processing on the candidate image data.
  • This image processing includes one or more processes selected from the group consisting of the following seven processes P1-P7.
  • P1-P7 Upside down inversion process to invert the candidate image upside down
  • P2 Left / right inversion process to invert the left and right of the candidate image
  • P3 Rotation process to rotate the candidate image
  • the color change target image in the candidate image is shown. Shift processing to move the part shown in the area of the color change target image in parallel without changing the area
  • P5 Blur processing to blur the candidate image
  • Color adjustment processing to adjust the color of the candidate image
  • the five candidate images 800d-800h in FIGS. 6D and 6H are examples of candidate images generated by the image processing of S145.
  • the candidate image 800f of FIG. 6F includes a background image 800fz and two logo images 910 and 910b arranged on the background image 800fz.
  • the other candidate images 800d, 800e, 800g, 800h include a background image 800dz, 800ez, 800gz, 800hz, and four logo images arranged on the background image.
  • the main features of these candidate images 800d-800h are as follows. (I4)
  • Candidate image 800d The background image 800dz is a solid image of a single color, left-right inversion processing is performed, and the logo image 910s is generated by shift processing.
  • Candidate image 800e The background image 800ez is a photographic image, and upside down processing is performed.
  • Candidate image 800f A rotation process and a noise addition process for adding noise NZ are performed.
  • Candidate image 800 g Blurring processing is performed.
  • Candidate image 800h Color adjustment processing is being performed.
  • the first direction Dx (FIG. 6 (D)) indicates the right direction. Therefore, the left-right reversal process reverses the position of the first direction Dx.
  • the second direction Dy (FIG. 6 (E)) indicates a downward direction. Therefore, the upside-down processing reverses the position of the second direction Dy.
  • the shift process (FIG. 6 (D)) translates the original logo image to the left within the original area of the logo image 910s.
  • the portion of the logo image after movement that protrudes from the original area of the logo image 910s has been deleted. For example, a part of the left side of the first type region A1 has been deleted.
  • the color of the blank portion 910v generated by the translation of the original logo image is set to the same color as the color of the second type region A2 indicating the background region.
  • the processor 210 randomly determines the movement direction and the movement amount by the shift process.
  • the original candidate image is rotated counterclockwise within the original region of the candidate image 800f.
  • the portion outside the original region of the candidate image 800f is deleted.
  • a copy of a part of the background image 800fz is assigned to the blank portion 800fv generated by the rotation of the original candidate image.
  • the processor 210 randomly determines the center of rotation, the direction of rotation, and the angle of rotation.
  • a plurality of target pixels are randomly selected from a plurality of pixels of the candidate image 800f, and a random number value is added to each color value of the plurality of target pixels.
  • the noise addition process may be various other processes. For example, a random number value may be added to all the pixels of the candidate image. Further, the noise image prepared in advance may be superimposed on the candidate image.
  • the blurring process (FIG. 6 (G)) is also called a smoothing process.
  • the blurring process is a process using an average value filter, and the entire 800 g of the candidate image is processed.
  • the blurring process may be various processes for smoothing the color value (for example, another smoothing filter such as a median filter or a Gaussian filter may be used).
  • the color adjustment process (FIG. 6 (H)) is a gamma correction process for reducing the luminance value in this embodiment, and the entire candidate image 800h is processed.
  • the color adjustment process may be an arbitrary process for adjusting the color of the candidate image (for example, a gamma correction process for increasing the luminance value, a contrast enhancement process, a saturation adjustment process, a white balance adjustment process, etc.).
  • the processor 210 randomly determines whether or not to execute the image processing of S145, the candidate image to be image-processed, and the content of the image processing. For example, the processes to be executed are randomly selected from the seven processes P1-P7.
  • the processor 210 has a first-class data set DS1 (FIG. 1) from a plurality of candidate image data including the candidate image data generated in S140 and the candidate image data generated in S145.
  • Z first-class training image data D11 (Z is an integer of 1 or more) to be included in the first type learning image data D11 are randomly selected (the number Z is also randomly determined).
  • the processor 210 generates Z label data D12 corresponding to Z first-class learning image data D11.
  • the label data D12 is data that determines a target value (that is, a correct answer) of the output data 830 of the logo detection model NN1 (FIG. 3A).
  • Such label data D12 is also referred to as teacher data.
  • the label data D12 shows the area information D121 indicating the area of the logo image in the candidate image and the logo class D122 indicating the type of the logo image.
  • the area information D121 includes the center position of the area in the candidate image (specifically, the position of the first direction Dx and the position of the second direction Dy), the width of the first direction Dx, and the height of the second direction Dy. , Is shown.
  • the logo image is classified into C classes.
  • Logo class D122 indicates any one of the C classes.
  • the processor 210 specifies a combination of the area information D121 and the logo class D122 of each of the L logo images in the candidate image based on the processing content of S125-S145.
  • the area information D121 is determined to indicate the smallest rectangle including the entire logo image. Then, when the candidate image includes L logo images, the processor 210 generates label data D12 indicating L combinations of the area information D 121 and the logo class D 122.
  • the processor 210 associates the first-class learning image data D11 (FIG. 1) with the label data D12 and stores them in the storage device 215 (for example, the non-volatile storage device 230).
  • the entire type 1 learning image data D11 and the label data D12 associated with each other are also referred to as the type 1 labeled data LD1.
  • the first-class data set DS1 includes a plurality of first-class labeled data LD1s.
  • the processor 210 may store the labeled data LD1 in an external storage device (not shown) connected to the information processing device 200.
  • the processor 210 determines whether or not a predetermined number of first-class learning image data D11 (that is, first-class labeled data LD1) has been generated. For proper training of the logo detection model NN1, the total number of each of the C label images contained in the first-class data set DS1 is set to a large reference value (for example, 1000) or more. When the total number of any of the C label images is less than the reference value (S160: No), the processor 210 shifts to S125 and generates new labeled data LD1. When the total number of each of the C label images is equal to or greater than the reference value (S160: Yes), the processor 210 ends the process of FIG.
  • a predetermined number of first-class learning image data D11 that is, first-class labeled data LD1
  • the generated plurality of labeled data LD1s show various images as described in FIGS. 6A-6H.
  • the first-class data set DS1 includes a plurality of such first-class labeled data LD1s.
  • the information processing device 200 is an example of a system that generates a plurality of first-class learning image data D11.
  • FIG. 7 is a flowchart showing an example of the training process of the logo detection model NN1 (FIG. 3 (A)).
  • the logo detection model NN1 is trained so that the output data 830 indicates the appropriate area information and the appropriate logo class of the logo image in the input image 800.
  • a plurality of calculation parameters used for the calculation of the logo detection model NN1 (including a plurality of calculation parameters used for each calculation of the plurality of layers CV11-CV1m and CN11-CN1n) are adjusted.
  • the processor 210 performs the process of FIG. 7 according to the second program 232.
  • the processor 210 acquires the first-class data set DS1 from the non-volatile storage device 230.
  • the processor 210 divides the plurality of labeled data LD1s of the first-class data set DS1 into a training data set and a confirmation data set. For example, the processor 210 adopts 70% of the randomly selected labeled data LD1 as the training data set and the remaining 30% of the labeled data LD1 as the confirmation data set.
  • Nt the total number of labeled data LD1s in the training data set
  • Nv the total number of labeled data LD1s in the confirmation data set is Nv (Nt and Nv are both 2 or more). integer).
  • the processor 210 initializes a plurality of arithmetic parameters of the logo detection model NN1. For example, each operation parameter is set to a random value.
  • the processor 210 calculates the learning loss using the learning data set. Specifically, the processor 210 inputs Nt first-class learning image data D11 into the logo detection model NN1 and generates Nt output data 830. Then, the processor 210 calculates the learning loss by using the Nt output data 830 and the Nt label data D12 associated with the Nt type 1 learning image data D11.
  • the loss function is used to calculate the learning loss.
  • the loss function may be various functions for calculating the evaluation value of the difference between the output data 830 and the label data D12.
  • the loss function disclosed in the above paper of YOLO is used.
  • This loss function contains the following five components. That is, the loss function corresponds to the difference in center position, the difference in size (that is, width and height), and the difference in certainty with respect to the bounding box that should indicate the region of region information D121. Contains individual ingredients.
  • the bounding box indicating the area of the area information D121 is the area of the area information D121 and the bounding box among the Bn bounding boxes associated with the cell 801 (FIG. 3B) including the center position of the area information D121.
  • this loss function is a component corresponding to the difference between the certainty of the bounding box and the ideal certainty (specifically, zero) for the bounding box that should not correspond to the area of the area information D121. Includes. Further, this loss function includes a component corresponding to the difference between the C class probabilities and the C correct class probabilities for the cell including the center position of the area information D121.
  • the processor 210 calculates the total value of Nt losses calculated by using the loss function as a learning loss.
  • the learning loss may be various values having a correlation with the Nt loss, such as the average value and the median of the Nt loss.
  • the processor 210 uses the learning loss to update a plurality of arithmetic parameters of the logo detection model NN1. Specifically, the processor 210 adjusts the calculation parameters according to a predetermined algorithm so that the learning loss is small.
  • a predetermined algorithm for example, an algorithm using an error back propagation method and a gradient descent method is used.
  • the processor 210 calculates the confirmation loss using the confirmation data set.
  • the confirmation loss calculation method is the same as the learning loss calculation method described in S240, except that the confirmation data set is used instead of the learning data set.
  • the processor 210 inputs Nv first-class learning image data D11 of the confirmation data set into the logo detection model NN1 having the calculation parameters updated in S250, and Nv output data 830. Generate. Then, the processor 210 calculates the confirmation loss by using the Nv output data 830 and the Nv label data D12 associated with the Nv type 1 learning image data D11.
  • the processor 210 determines whether or not the training has been completed.
  • the conditions for completing the training may be various conditions.
  • the condition for completing the training is that both the learning loss and the confirmation loss are equal to or less than the predetermined reference value.
  • the conditions for completing the training may be various conditions indicating that both the learning loss and the confirmation loss are small.
  • the reference value of learning loss may be different from the reference value of confirmation loss.
  • the processor 210 shifts to S240 and continues the training.
  • the processor 210 uses the logo detection model NN1 including the adjusted arithmetic parameters as a trained model in the storage device 215 (here, the non-volatile storage device 230). Store. Then, the processor 210 ends the process of FIG. 7.
  • the processor 210 may store the logo detection model NN1 in an external storage device (not shown) connected to the information processing device 200.
  • the output data 830 from the trained logo detection model NN1 has the following features.
  • a cell containing the center of the logo image can indicate a bounding box that appropriately indicates the area of the logo image and has high certainty and appropriate class probability.
  • the plurality of bounding boxes indicated by the output data 830 may include inappropriate bounding boxes that do not indicate the area of the logo image. Inappropriate bounding boxes are associated with low certainty. Therefore, the logo image can be appropriately identified by using a bounding box having a high degree of certainty.
  • the processor 210 generates a plurality of first-class learning image data D11 used for training of the logo detection model NN1 for detecting the logo which is an example of the object. Specifically, in S110, the processor 210 acquires the logo image data of the logo image, which is the image of the logo. In S115 and S120, the processor 210 divides the logo image into T-type partial regions corresponding to T (T is an integer of 2 or more) partial color ranges obtained by dividing the color distribution range of the logo image. do. The processor 210 executes an adjustment process including a process (S125) of changing each color of one or more types of partial regions to a color different from the original color.
  • T is an integer of 2 or more
  • the processor 210 generates a plurality of color change logo image data of the plurality of color change logo images.
  • the plurality of color change logo images are logo images, respectively.
  • the plurality of color change logo images have the same kind of partial regions of different colors from each other.
  • the color change logo images 910a and 910b of FIG. 5C have the same type 1 region A1 having different colors from each other.
  • the processor 210 generates candidate image data of the candidate image in S135 and S140.
  • the candidate image data corresponds to the training image data D11
  • the candidate image corresponds to the training image of the training image data D11.
  • the processor 210 executes the processing of S125-S140 a plurality of times.
  • the processor 210 generates a plurality of color change logo image data. Then, the processor 210 generates a plurality of candidate image data of a plurality of candidate images by using one or more background image data and a plurality of color change logo image data.
  • the candidate image includes a background image indicated by any one or more background image data, and one or more color change logo images arranged on the background image (FIG. 6 (A) -FIG. 6 (H)).
  • the plurality of candidate images include different color-changing logo images among the generated plurality of color-changing logo images.
  • the candidate image 800c (FIG. 6 (C)) includes a color change logo image 910c that is not included in the candidate image 800f (FIG. 6 (F)).
  • the candidate image 800f includes a color change logo image 910b that is not included in the candidate image 800c.
  • the processor 210 can generate a plurality of training image data D11 showing images of logos expressed in various colors.
  • Such a plurality of training image data D11 can appropriately train a machine learning model (for example, logo detection model NN1) that processes a logo image.
  • the background image data of one or more includes the background image data of the background image 800 bz of the photograph. Therefore, the processor 210 can generate a plurality of training image data D11 indicating the image of the logo on the background image of the photograph.
  • a plurality of training image data D11 can train a machine learning model (for example, a logo detection model NN1) so as to appropriately process the image of the logo on the background image of the photograph.
  • the plurality of background image data available may include a plurality of background image data showing different photographs.
  • the plurality of background images may include various photographs such as landscapes, people, furniture, and stationery.
  • Such a plurality of training image data D11 can train a machine learning model (for example, a logo detection model NN1) so as to appropriately process a logo image regardless of the content of the background image.
  • the background image data of one or more includes the background image data of the background image 800az showing a solid image of a single color. Therefore, the processor 210 can generate a plurality of training image data showing an image of a logo on a background image showing a solid color image.
  • a plurality of training image data D11 can train a machine learning model (for example, a logo detection model NN1) so as to appropriately process a logo image on a background image showing a solid color image.
  • the plurality of background image data that can be used may include a plurality of background image data showing solid images of different colors from each other.
  • Such a plurality of training image data D11 can train a machine learning model (for example, a logo detection model NN1) so as to appropriately process a logo image regardless of the color of the background image.
  • a plurality of types of training image data D11 having a plurality of types of background images showing different contents, such as a background image of a photograph and a background image showing a solid color image, are generated.
  • Such a plurality of types of training image data D11 can train a machine learning model (for example, a logo detection model NN1) so as to appropriately process logo images on various background images.
  • the processor 210 executes an image adjustment process including S125 (FIG. 4) in order to generate a plurality of color change logo image data.
  • the adjustment process further includes S130.
  • S130 includes one or both of a process of changing the size of the color-changing object image and a process of changing the aspect ratio of the color-changing object image. Therefore, the processor 210 can generate the training image data D11 indicating the image of the logo in which any one or both of the size and the aspect ratio are changed.
  • Such training image data D11 is a machine learning model (eg, logo detection model NN1) so as to appropriately process an image of a logo whose size, aspect ratio, or both have been changed. Can be trained.
  • the process of generating the training image data D11 includes the background image 800 az and a plurality of processes arranged on the background image 800 az. It includes a process of generating the training image data D11 of the training image 800a including the color change logo images 910b, 910a2, 910c.
  • a machine learning model for detecting the logo image for example, as compared with the case where one learning image data D11 shows one color-changing logo image.
  • logo detection model NN1 can be trained efficiently.
  • the process of generating the training image data D11 is the background image 800 cz and one or more color change logo images arranged on the background image 800 cz. It includes a process of generating the training image data D11 of the image 800c including the 910c and the images 920a and 920b of other logos arranged on the background image 800cs.
  • a machine learning model that detects a logo image when one learning image data D11 shows an image of a logo and an image of another logo, as compared with a case where one learning image data D11 shows only an image of the same logo. (For example, logo detection model NN1) can be trained efficiently.
  • the processor 210 arranges a plurality of logo images on one learning image so as not to overlap each other. .. Therefore, the training image data D11 can appropriately train a machine learning model (for example, the logo detection model NN1) that detects the logo image.
  • a machine learning model for example, the logo detection model NN1
  • the process of generating the training image data D11 is performed on the candidate image data of the candidate image including the background image and one or more color change logo images arranged on the background image. It includes a process of generating training image data D11 by performing image processing.
  • the image processing includes one or more processes selected from the group consisting of the above seven processes P1-P7. Therefore, the processor 210 can generate the learning image data D11 showing the logo expressed in various formats.
  • Such learning image data D11 can train a machine learning model (eg, logo detection model NN1) to appropriately process logo images represented in various formats.
  • FIG. 8A is a schematic view showing an example of the configuration of the sheet detection model NN2.
  • the sheet detection model NN2 is a YOLO model, and its configuration is the same as that of the logo detection model NN1 (FIG. 3A).
  • the sheet detection model NN2 consists of p convolutional layers CV21-CV2p (p is an integer of 1 or more) and q fully connected layers CN21-CN2q following the convolutional layer CV21-CV2p (q is an integer of 1 or more). And (p is, for example, 24. q is, for example, 2).
  • a pooling layer (for example, a layer for max-pooling) is provided.
  • p may be different from m in FIG. 3 (A).
  • q may be different from n in FIG. 3 (A).
  • FIG. 8B is an explanatory diagram showing an outline of the operation of the seat detection model NN2.
  • the image 700 is an example of an input image input to the sheet detection model NN2.
  • the input image 700 is an image of the printer DV taken in the same manner as the captured images 700x and 700y of FIGS. 2 (A) and 2 (B).
  • the input image 700 is represented by the color values of the first direction Dx, the second direction Dy perpendicular to the first direction Dx, and the respective color values of the plurality of pixels arranged in a matrix along the first direction Dx.
  • the color value is represented by three component values of R (red), G (green), and B (blue).
  • the input image 700 includes an image of the sheet 910L including the first logo image 910.
  • the sheet detection model NN2 detects the area of the image of the object in the same manner as the logo detection model NN1 of FIGS. 3 (A) and 3 (B).
  • the difference from the logo detection model NN1 is that the sheet detection model NN2 is trained to detect the image of the label sheet instead of the logo image.
  • a C-type label sheet corresponding to the C-type logo image can be used. There is a one-to-one correspondence between the type of label sheet and the type of logo image. Then, the sheet detection model NN2 detects an image of the C type label sheet.
  • the type of label sheet is also referred to as a sheet class.
  • the sheet detection model NN2 detects a bounding box showing an image of a label sheet according to the same algorithm as the algorithm of the logo detection model NN1 of FIG. 3 (B).
  • the bounding box BBL showing the sheet 910L is detected.
  • a class identifier CLL is associated with the bounding box BBL.
  • the class identifier CLL is a class identifier corresponding to the highest class probability among the C class probabilities.
  • the class identifier of "1" indicates the first sheet 910L.
  • the sheet detection model NN2 outputs output data 730 indicating S ⁇ S ⁇ (Bn ⁇ 5 + C) predicted values. Similar to the output data 830 of FIG. 3A, the output data 730 shows the image area of the object (here, the label sheet) by a bounding box having a certainty of the threshold value or higher. Further, the class identifier corresponding to the highest class probability among the C class probabilities corresponding to the bounding box is adopted as the class identifier associated with the bounding box.
  • FIG. 9 is a flowchart showing an example of the generation process of the second type data set DS2 (FIG. 1) for training the seat detection model NN2.
  • the Type 2 data set DS2 contains a plurality of Type 2 labeled data LD2s.
  • the type 2 labeled data LD2 includes the type 2 learning image data D21 including the image of the label sheet, and the label data D22 associated with the type 2 learning image data D21.
  • the label data D22 shows the area information D221 indicating the area of the sheet image in the image and the sheet class information D222 indicating the type of the sheet image, similarly to the label data D12 described in S150 and S155 of FIG. There is.
  • the processor 210 executes a process of associating the label data D22 indicating the area information D221 and the label data D22 with the type 2 learning image data D21 (this process is an annotation process). An example).
  • the processor 210 executes the process of FIG. 9 according to the third program 233.
  • the processor 210 acquires the target image data which is the image data to be processed.
  • the processor 210 acquires unprocessed sheet image data as target image data from a plurality of sheet image data prepared in advance.
  • the plurality of sheet image data are stored in the storage device 215 (for example, the non-volatile storage device 230) in advance (not shown).
  • Each of the plurality of sheet image data indicates an image including a label sheet.
  • a C-type label sheet corresponding to the C-type logo image can be used.
  • the plurality of sheet image data includes C type sheet image data indicating the C type label sheet.
  • FIG. 10A is an explanatory diagram showing an example of a target image.
  • the target image 700a includes an image region of the first sheet 910L and a background region 700az.
  • the image of the first sheet 910L includes the first logo image 910.
  • the sheet image data is generated by arranging the sheet image on the background image showing the monochromatic solid image indicated by the background image data.
  • the background area indicates the outer surface of the printer.
  • the color of the outer surface of the printer is the same regardless of the position. Therefore, even on the actual captured image, the image in the background region is a solid image of approximately a single color.
  • the background image is not limited to a monochromatic solid image, but may be various images such as a photographed image of the outer surface of the printer.
  • the plurality of sheet image data may be generated by photographing a printer having a label sheet with a digital camera.
  • the processor 210 identifies the logo area by analyzing the target image data using the logo detection model NN1 (FIG. 3 (A)). Specifically, the processor 210 generates the output data 830 by inputting the target image data into the logo detection model NN1. Then, the processor 210 adopts a rectangular area surrounded by a bounding box (specifically, a bounding box having a certainty of a certainty equal to or higher than a predetermined threshold value) indicated by the output data 830 as a logo area.
  • FIG. 10B is an explanatory diagram showing an example of a logo area.
  • the bounding box BBt shows the first logo image 910 on the target image 700a.
  • the processor 210 determines whether or not the logo area has been detected. When the logo area is detected (S320: Yes), in S325, the processor 210 determines the extended area including the logo area.
  • FIG. 11 is a flowchart showing an example of a process for determining a candidate for an expansion area.
  • the processor 210 divides the target image into a plurality of blocks.
  • FIG. 10C is an explanatory diagram showing an example of a plurality of blocks.
  • the target image 700a is divided into a plurality of blocks BL having a predetermined shape.
  • the arrangement of the plurality of blocks BL in the target image 700a is predetermined.
  • the processor 210 calculates the edge strength value of each of the plurality of blocks BL.
  • the edge intensity value is an evaluation value of the ratio of the change in color to the change in position on the target image.
  • the processor 210 uses a so-called Laplacian filter to calculate the edge amount of each pixel (for example, the absolute value of the calculation result by the filter).
  • a predetermined color component for example, a luminance value
  • the processor 210 calculates the average value of the edge amounts of the plurality of pixels in the block BL as the edge strength value of the block BL.
  • the edge strength value may be calculated by various other methods.
  • the filter may be any filter for calculating the edge amount instead of the Laplacian filter (Sobel filter, Prewit filter, etc.).
  • the edge strength value of the block BL may be various values having a correlation with the edge amounts of the plurality of pixels, such as a median value and a mode value, instead of the average value of the edge amounts of the plurality of pixels.
  • the processor 210 specifies a block BL having an edge strength value equal to or less than a predetermined reference as a uniform block.
  • a block BL having an edge strength value equal to or less than a predetermined reference is also referred to as a non-uniform block.
  • FIG. 10D is an explanatory diagram showing an example of a uniform block.
  • the block BL1 with hatching is the uniform block BL1
  • the block BL2 without hatching is the non-uniform block BL2.
  • the plurality of blocks BL of the background region 700az outside the first sheet 910L are uniform blocks BL1.
  • a large number of block BLs are non-uniform block BL2.
  • the plurality of block BLs among the plurality of block BLs showing the first sheet 910L are uniform blocks BL1.
  • the label sheet may include other elements such as characters, figures, marks, symbols, etc.
  • the proportion of the uniform block BL1 among the plurality of block BLs showing the label sheet 910L is small.
  • the pixel showing the contour 910Lo of the label sheet 910L has a large edge amount. Therefore, the block BL showing the contour 910Lo of the label sheet 910L is likely to be the non-uniform block BL2.
  • the processor 210 adopts the same area as the logo area as the initial area of the extended area. Then, the processor 210 determines the candidate of the extended area including the logo area by moving the outline of the extended area toward the outside of the logo area. The processor 210 moves the contour so that the entire contour is included in the uniform block BL1.
  • FIG. 10E is an explanatory diagram showing an example of a candidate for an extended region.
  • the candidate expansion region LAe on the target image 700a includes the logo region LA and the outer portion of the logo region LA.
  • the entire contour LAeo of the candidate expansion region LAe is included in the uniform block BL1.
  • the block BL showing the contour 910Lo of the label sheet 910L is likely to be the non-uniform block BL2. Therefore, the processor 210 can determine the candidate expansion region LAe having the contour LAeo that surrounds the contour 910Lo of the label sheet 910L from the outside. Such a candidate extension region LAe includes the entire label sheet 910L.
  • the process of moving the contour may be various processes.
  • the contour LAo of the logo area LA is composed of four sides (that is, an upper side, a lower side, a left side, and a right side) forming a rectangle.
  • the processor 210 repeats the process of moving the four sides in order by a predetermined amount to the outside until the entire four sides are included in the uniform block BL1.
  • the processor 210 can determine the candidate expansion region LAe that includes the entire label sheet 910L and is smaller than the target image 700a.
  • the processor 210 ends the process of FIG. 11, that is, S325 of FIG. 9, in response to the completion of S440.
  • the processor 210 selects candidate seat class information, which is a candidate for seat class information, from C sheet class information based on the logo class specified in S315.
  • the processor 210 corresponds to the two sheet class information corresponding to the two logo images 910 and 920. Is adopted as a candidate.
  • the C type logo image that can be used includes a third logo image (not shown). Then, when the logo class specified in S315 corresponds to the third logo image, the processor 210 adopts one sheet class information corresponding to the third logo image as a candidate.
  • the correspondence between the logo class specified in S315 and the candidate seat class information is predetermined.
  • the candidate seat class information seat class information that may be appropriate in light of the logo class specified in S315 is adopted.
  • the processor 210 selects the candidate associated with the logo class.
  • FIG. 12A is an explanatory diagram showing an example of a UI screen.
  • the UI screen 600 includes a first user interface image 610 and a second user interface image 620. This UI screen 600 shows an example in which the number of candidate sheet class information selected in S330 (FIG. 9) is 2 or more.
  • the first user interface image 610 is a user interface image for allowing the user to change the position of the contour LAeo of the candidate extension area LAe.
  • the first user interface image 610 shows the target image 700a including the first sheet 910L and the contour LAeo of the candidate expansion region LAe. The user can move the contour LAeo by operating the operation unit 250 (FIG. 1).
  • the second user interface image 620 is a user interface image for allowing the user to specify sheet class information indicating the classification of the candidate extension area LAe (that is, the classification of the label sheet).
  • the second user interface image 620 shows a candidate area 621 showing one or more candidates for sheet class information selectable by the user, and a check box 622 showing one candidate selected from one or more candidates. ..
  • the solid check box 622 indicates selectable candidates, and the dashed check box 622 indicates non-selectable candidates.
  • the selectable candidates are the candidates selected in S330.
  • the second user interface image 620 shows four seat class information CC1, CC2, CC3, and CC4.
  • the first sheet class information CC1 corresponds to the first logo image 910 (FIG. 3B)
  • the second sheet class information CC2 corresponds to the second logo image 920
  • the third sheet class information CC3 is illustrated.
  • the fourth sheet class information CC4 indicates a barcode.
  • the two seat class information CC1 and CC2 can be selected, and the other seat class information CC3 and CC4 cannot be selected.
  • the user can check (ie, select) one of one or more selectable candidates by operating the operation unit 250 (FIG. 1).
  • the processor 210 adopts the seat class information corresponding to the logo class specified in S315 as the default seat class information.
  • the processor 210 displays the second user interface image 620 in a state where the default seat class information is selected.
  • FIG. 12C shows an example of a UI screen when the number of candidate sheet class information selected in S330 (FIG. 9) is 1.
  • the first user interface image 610 shows a target image 700c including an image of the label sheet 930L.
  • the label sheet 930L includes the third logo image 930.
  • the second user interface image 620 shows that the third sheet class information CC3 can be selected, and the other sheet class information CC1, CC2, and CC4 cannot be selected.
  • the display of non-selectable candidates may be omitted.
  • FIG. 12B is an explanatory diagram showing an example of the modified contour LAeo.
  • the user brings each of the four sides of the contour LAeo closer to the contour 910Lo of the label sheet 910L.
  • the candidate expansion region LAe can appropriately indicate the region of the label sheet 910L.
  • the processor 210 determines the region having the contour of the changed position as the final expansion region. The user can input an instruction to accept the contour LAeo without changing the position by operating the operation unit 250. In this case, the processor 210 determines the candidate expansion region LAe determined in S325 as the final expansion region.
  • the processor 210 determines whether or not the total number of selectable candidates for seat class information is 1. When the number of selectable candidates is larger than 1 (S345: No), in S355, the processor 210 accepts the user to specify the seat class information. In the example of FIGS. 12A and 12B, the user can select one of the two seat class information CC1 and CC2 by operating the operation unit 250 (FIG. 1). For example, the logo class identified in S315 (FIG. 9) can be erroneous. That is, the default seat class information adopted in S335 may be incorrect. The user can confirm appropriate sheet class information by observing the label sheet displayed on the first user interface image 610. Then, the user can specify appropriate seat class information by operating the operation unit 250. If the default seat class information is correct, the user can input an instruction to accept the default seat class information by operating the operation unit 250. After S355, the processor 210 shifts to S360.
  • the processor 210 determines the seat class information to the candidate seat class specified in S330. Then, the processor 210 shifts to S360.
  • the processor 210 In S360, the processor 210 generates annotation data indicating annotation information including the area information indicating the candidate extension area LAe and the sheet class information determined in S350 or S355. In S365, the processor 210 associates the target image data with the annotation data and stores them in the storage device 215 (for example, the non-volatile storage device 230). The whole of the target image data and the annotation data associated with each other forms the second type labeled data LD2 (FIG. 1). The target image data corresponds to the type 2 learning image data D21, and the annotation data corresponds to the label data D22. The processor 210 may store the labeled data LD2 in an external storage device (not shown) connected to the information processing device 200.
  • the processor 210 shifts to S370. If the logo area is not detected in S315 (S320: No), the processor 210 skips S325-S365 and shifts to S370. In S370, the processor 210 determines whether or not the processing of all the sheet image data is completed. When unprocessed sheet image data remains (S370: No), the processor 210 shifts to S310 and processes new target image data. When the processing of all the sheet image data is completed (S370: Yes), the processor 210 ends the processing of FIG. As a result, the second type data set DS2 is generated.
  • the information processing apparatus 200 is an example of a system that associates the label data D22 with the type 2 learning image data D21.
  • FIG. 13 is a flowchart showing an example of the training process of the seat detection model NN2 (FIG. 8A).
  • the sheet detection model NN2 is trained so that the output data 730 shows appropriate region information and appropriate sheet class information of the image of the label sheet in the input image 700.
  • a plurality of calculation parameters used for the calculation of the sheet detection model NN2 (including a plurality of calculation parameters used for each calculation of the plurality of layers CV21-CV2p and CN21-CN2q) are adjusted.
  • the processor 210 performs the process of FIG. 13 according to the fourth program 234.
  • the training process of FIG. 13 is the same as that of the training process of FIG. 7, except that the model to be trained is the sheet detection model NN2 and the data set used for training is the second type data set DS2. It is the same.
  • S510-S580 of FIG. 13 is the same as S210-S280 of FIG. 7 (detailed description is omitted).
  • the output data 730 from the trained sheet detection model NN2 can adequately indicate the image region of the label sheet as well as a bounding box with high certainty and appropriate class probabilities.
  • the processor 210 may store the sheet detection model NN2 in the storage device 215 in S580, and may instead store it in an external storage device (not shown) connected to the information processing device 200. good.
  • the trained sheet detection model NN2 (FIG. 8 (A)) can be used for printer inspection.
  • the processor 210 inputs the photographed image data of the printer (for example, the photographed image described with reference to FIGS. 2A and 2B) into the sheet detection model NN2.
  • the output data 730 output from the sheet detection model NN2 indicates the area of the label sheet detected from the captured image. If the label sheet is detected, the printer inspection result is acceptable. If the label sheet is not detected, the printer inspection result is unacceptable.
  • the processor 210 executes a process of associating information with the second-class learning image data D21 used for training the sheet detection model NN2, which is an example of the machine learning model.
  • the processor 210 inputs the target image data (that is, the second type learning image data D21) of the target image (for example, the target image 700a (FIG. 10A)) which is the image to be processed. get.
  • the processor 210 analyzes the target image data to detect a logo region (for example, the logo region LA) showing an image of the logo which is an example of the object of interest from the target image.
  • the processor 210 determines a candidate extension area LAe including a logo area and a portion outside the logo area.
  • the processor 210 stores the annotation data (that is, the label data D22) indicating the annotation information including the area information indicating the extended area LAe in the storage device 215 in association with the target image data. In this way, the processor 210 can associate the area information indicating the candidate extended area LAe including the other area in addition to the area LA indicating the logo with the type 2 learning image data D21. For example, as described with reference to FIGS.
  • the processor 210 uses the area information D221 indicating the area of the label sheet 910L including the logo image 910 and other images as the second type learning image. It can be associated with the data D21.
  • area information D221 is suitable for training a machine learning model (for example, sheet detection model NN2) that processes an area including another area (for example, a label sheet area) in addition to the area showing the logo. ..
  • the image of the object of interest is a logo image. Therefore, the processor 210 can associate the area information D221 indicating the extended area including the other area in addition to the area showing the logo image with the type 2 learning image data D21.
  • the region detected in S315 is a rectangular region.
  • various object detection models can be used to detect a rectangular area showing an image of an object of interest (for example, a logo image) (for example, SSD (Single Shot MultiBox Detector), R-CNN (for example). Region Based Convolutional Neural Networks) etc.). Therefore, the processor 210 can appropriately detect the area.
  • the process of determining the expansion area includes S325 (FIG. 9).
  • S325, that is, the process of FIG. 11 expands the extended area from the same area as the logo area LA toward the outside of the logo area LA by analyzing the target image data as described with reference to FIG. 10 (E). Includes processing to do.
  • this process is performed by the processor 210.
  • a candidate for the extended region LAe is determined. In this way, since the processor 210 (that is, the information processing apparatus 200) expands the expansion area LAe, the information processing apparatus 200 can reduce the burden on the user.
  • S325, that is, the process of FIG. 11, includes the process of S410-S430 and the process of S440.
  • the processor 210 analyzes the target image data to specify the block BL having an edge intensity value equal to or less than the reference as the uniform block BL1. ..
  • the edge intensity value is an evaluation value of the ratio of the change in color to the change in position on the target image.
  • the condition for selecting the block BL as the uniform block BL1 (also referred to as the uniform condition) indicates that the edge strength value is equal to or less than the reference. Further, as described with reference to FIG.
  • the processor 210 extends the extended area toward the outside of the logo area LA so that the entire contour LAeo of the extended area LAe is included in the uniform block BL1. Expand. In this way, the processor 210 can appropriately expand the expansion region LAe by using the uniform block BL1.
  • the extended area LAe can be extended to the boundary between the area of the large object (for example, the label sheet 910L) including the object of interest (here, the logo image 910) and other elements, and the background area.
  • the area LAe expanded in this way is suitable for training a machine learning model (for example, sheet detection model NN2) that processes an area of a large object including an area showing a logo as well as other areas.
  • the process of determining the extended region LAe includes S335 and S340 (FIG. 9).
  • the processor 210 displays a first user interface image 610 for causing the user to change the position of the contour LAeo of the candidate expansion region LAe. Display on 240.
  • the processor 210 determines the region having the contour of the position changed by the user as the extended region. Therefore, the processor 210 can use the contour modified by the user to determine an appropriate extension area.
  • the processor 210 when S355 (FIG. 9) is executed, in S335, as described in FIG. 12A and the like, the processor 210 is a sheet class indicating the classification of the extended region LAe (that is, the classification of the label sheet).
  • a second user interface image 620 for allowing the user to specify the information is displayed on the display unit 240.
  • the processor 210 stores the annotation data indicating the annotation information including the sheet class information specified by the user in the storage device 215 in association with the target image data. Therefore, the processor 210 can associate appropriate seat class information with the target image data.
  • the second user interface image 620 includes a candidate area 621 showing one or more candidates of sheet class information that can be selected by the user. .. Then, as described in S330, the candidate area 621 has one or more seat class information associated with the logo included in the logo area detected in S315 among the C predetermined sheet class information. Is shown as one or more candidates. For example, when the first logo image 910 (FIG. 12 (A)) is detected, the sheet class information CC1 and CC2 associated with the first logo image 910 are candidates. Therefore, the user can easily select appropriate seat class information.
  • the processor 210 associates in advance with the logo included in the logo area detected in S315 among the predetermined C sheet class information.
  • the obtained candidate sheet class information is determined as the sheet class information to be included in the annotation information.
  • the processor 210 selects the third sheet class information CC3 associated with the third logo image 930 as a candidate. do.
  • the processor 210 determines the seat class information to be included in the annotation information in the third sheet class information CC3.
  • the processor 210 stores the annotation data indicating the annotation information including the determined sheet class information in the storage device 215 in association with the target image data. Therefore, the processor 210 can associate appropriate seat class information with the target image data.
  • the process of generating the training image data for training the object detection model may be various other processes instead of the process of FIG.
  • a predetermined region pattern for example, the first type region A1 and the second type region A1 and the second
  • It may be a process of dividing the logo image according to the area pattern indicating the seed area A2).
  • the changed color may be various colors.
  • the changed color may be a predetermined color different from the original color.
  • the changed color is expressed by halftone dots different from the original halftone dots (for example, the number of lines different from the original halftone dots). It may be a halftone color.
  • the background image that can be used in S135-S140 is not limited to a solid color image and a photograph, but may be various images such as figures and patterns. Also, from the available background images, either one or both of the photograph and the solid color image may be omitted.
  • any one of the size change process and the aspect ratio change process may be omitted. Further, S130 may be omitted.
  • the processor 210 may determine the processing contents according to a predetermined plan, instead of randomly determining the processing contents.
  • the number C of the types of the logo image (that is, the number C of the classification (class)) is not limited to 3, and may be various numbers of 1 or more such as 1, 2, 4.
  • a plurality of logo images may be arranged so as to partially overlap each other. Further, a part of the logo image may be deleted.
  • one or more processes arbitrarily selected from the above seven processes P1-P7 may be omitted from the available processes. Further, S145 may be omitted.
  • the machine learning model that detects the logo image is not limited to the YOLO model described in FIG. 3 (A), and may be an improved YOLO model such as "YOLO v3".
  • other models such as SSD, R-CNN, Fast R-CNN, Faster R-CNN, and Mask R-CNN may be used.
  • the object to be detected by the object detection model is not limited to the logo image, but may be any object (for example, a part mounted on a printer, a barcode, etc.). Then, the first-class data set DS1 generated by the process of FIG. 4 (or the process of a modification thereof) may be used for training of various object detection models.
  • the process of associating information with the image data used for training the machine learning model may be various other processes instead of the process of FIG.
  • the process for detecting the logo area (S315) may be various other processes instead of the process using the logo detection model NN1.
  • the processor 210 may detect the logo area by pattern matching using the reference logo image data indicating the reference logo image.
  • the process of determining the expansion area may be various other processes instead of the processes of S325 and S340.
  • the processor 210 may determine an extended area using a single template image showing a logo area and an extended area associated with the logo area. Specifically, the processor 210 determines the position of the template image with respect to the target image so that the logo area in the target image and the logo area of the template image match. Then, the processor 210 determines the extended area indicated by the template image at the determined position as the extended area to be applied to the target image.
  • the object of interest used to determine the extended area is not limited to the logo image, but may be any object such as a barcode.
  • the shape of the object region (for example, the logo region) showing the image of the object of interest may be any other shape instead of the rectangular shape.
  • the shape of the object region may be a polygon such as a triangle, a pentagon, or a hexagon, or may be a shape defined by a contour including a curved portion such as a circle or an ellipse.
  • the shape of the object region may be a shape determined by the contour of the object.
  • the process of specifying the uniform area on the target image may be various other processes instead of the process of S410-S430 in FIG.
  • the uniform region is a region that satisfies the uniform condition.
  • the uniform condition is a condition indicating that the ratio of the color change to the position change on the target image is equal to or less than the standard.
  • the edge intensity value of the block BL may be various values indicating the ratio of the color change to the position change.
  • the edge intensity value may be, for example, the difference between the highest and lowest luminance values in the block BL.
  • the processor 210 may specify a uniform region by using a histogram of color values (for example, luminance values) of a plurality of pixels of the target image. Specifically, the processor 210 may specify one continuous region formed by a plurality of pixels included in one section of the histogram as one uniform region. In this case, it is a uniform condition that the color value is included in one section.
  • one UI screen 600 shows a first user interface image 610 and a second user interface image 620. That is, the process of displaying the UI screen 600 on the display unit 240 includes a process of displaying the first user interface image 610 and a process of displaying the second user interface image 620. Instead, the processor 210 may display the first user interface image 610 on a screen different from the screen showing the second user interface image 620.
  • S340 in FIG. 9 may be omitted.
  • the processor 210 may determine the candidate expansion area determined in S325 as it is as the final expansion area.
  • the first user interface image 610 may be omitted from the UI screen (FIGS. 12A to 12C).
  • S350 in FIG. 9 may be omitted.
  • the processor 210 may select a plurality of candidate seat class information in S330 regardless of the logo class specified in S315, and may accept the user's designation of seat class information in S355. Further, S355 may be omitted.
  • the processor 210 selects one candidate sheet class information associated with the logo class in S330, regardless of the logo class specified in S315, and the sheet class information is specified in S330 in S350. You may decide on a candidate seat class.
  • the sheet class information may be omitted from the annotation information. For example, when the number C of the label sheet types is 1, even if the sheet class information is omitted, appropriate training using the second type data set DS2 is possible.
  • the machine learning model that detects the image of the label sheet is not limited to the YOLO model described in FIG. 8 (A), but is YOLO v3, SSD, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN, etc. It may be another model.
  • the inspection target using the machine learning model is not limited to a printer, but may be any product such as a scanner, a multifunction device, a digital camera, a cutting machine, and a mobile terminal.
  • the case containing the product may be the subject of inspection.
  • the machine learning model may be trained to detect various other objects, not limited to label sheets.
  • a machine learning model may detect a component to be mounted on a printer from an image taken by the printer.
  • the image of the detection object eg, label sheet
  • the extended region containing the feature portion can be used as an area indicating the detection target.
  • Annotation information including area information indicating such an extended area may be associated with image data for training.
  • image data and annotation information are not limited to object detection models, and may be used for training of various machine learning models such as classification models.
  • the color space of the input image data input to the machine learning model may be another color space such as a CMYK color space instead of RGB.
  • the input image data may represent an image by a luminance value.
  • the input image data may be generated by executing various image processes such as a resolution conversion process and a trimming process.
  • the method of associating the image data with the label data may be any method.
  • the label data may include identification data that identifies the image data associated with the label data.
  • the processor 210 may generate table data showing the correspondence between the image data and the label data. Further, the processor 210 may store the image data and the label data associated with each other in one data file.
  • the training process of the machine learning model may be various methods suitable for the machine learning model instead of the processes of FIGS. 7 and 13.
  • the loss function used to calculate the loss is various functions for calculating the evaluation value of the difference between the output data 730 and 830 and the label data such as the cross entropy error. It may be there.
  • the loss function may be various functions for calculating the loss having a correlation between the error of the region indicating the object and the error of the probability for each type of the object.
  • the method of adjusting the arithmetic parameters included in the machine learning model may be various other methods such as a method of propagating a target value (also called Target Propagation) instead of the error backpropagation method.
  • the training completion condition may be various conditions indicating that the difference between the data output from the machine learning model and the label data is small. For example, confirmation loss may be omitted from the conditions for completing training. In this case, in the processing of FIGS. 7 and 13, all the labeled data may be used as a learning data set. Further, the processor 210 may determine that the training is completed when the completion instruction is input from the operator, and may determine that the training is not completed when the training continuation instruction is input.
  • the operator may determine whether or not to end the training by referring to the output data output using the confirmation data set, for example. Instead of this, the condition for completing the training was that the calculation of the learning loss and the update of the calculation parameters (for example, S240-S250 (FIG. 7) and S540-S550 (FIG. 13)) were repeated a predetermined number of times. It's okay.
  • the condition for completing the training was that the calculation of the learning loss and the update of the calculation parameters (for example, S240-S250 (FIG. 7) and S540-S550 (FIG. 13)) were repeated a predetermined number of times. It's okay.
  • the data set generation process of FIG. 4, the training process of FIG. 7, the annotation process of FIG. 9 (data set generation process), the training process of FIG. 13, and the inspection process (not shown) are respectively. It may be executed by different information processing devices. A process arbitrarily selected from these processes may be shared by a plurality of devices (for example, an information processing device such as a computer) capable of communicating with each other via a network.
  • devices for example, an information processing device such as a computer
  • a part of the configuration realized by the hardware may be replaced with software, and conversely, a part or all of the configuration realized by the software may be replaced with the hardware. May be good.
  • the functions of the models NN1 and NN2 in FIG. 1 may be realized by a dedicated hardware circuit.
  • the program is provided in a form stored in a computer-readable recording medium (for example, a non-temporary recording medium). be able to.
  • the program may be used while being stored in the same or different recording medium (computer-readable recording medium) as it was provided.
  • the "computer-readable recording medium” is not limited to a portable recording medium such as a memory card or a CD-ROM, but is connected to an internal storage device in the computer such as various ROMs or a computer such as a hard disk drive. It may also include an external storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

適切な情報を画像データに関連付ける。処理対象の画像である対象画像の対象画像データを取得する。対象画像データを分析することによって、対象画像内から、注目対象物の画像を示す対象物領域を検出する。対象物領域と対象物領域の外側の部分とを含む拡張領域を決定する。拡張領域を示す領域情報を含むアノテーション情報を示すアノテーションデータを対象画像データに関連付けて記憶装置に格納する。

Description

方法、システム、および、コンピュータプログラム
　本明細書は、画像データに情報を関連付ける技術に関する。
　従来から、画像を処理する機械学習モデルが、用いられている。機械学習モデルをトレーニングするために、画像データと、画像データに関連する情報（メタデータとも呼ばれる）と、が用いられる。メタデータは、例えば、画像中のオブジェクトに関連する情報（オブジェクトの位置、オブジェクトを示す領域、オブジェクトの識別情報など）を示している。画像データに関連する情報は、作業者によって付与される。画像データに対する情報の付与は、アノテーションとも呼ばれる。特許文献１には、作業者によって付与された情報の正確性を評価し、評価に応じた画像を作業者に処理させる技術が、提案されている。
特開２０２０－２４６６５号公報
　機械学習モデルの適切なトレーニングのためには、適切な情報の関連付けが要求される。適切な情報は、トレーニング対象の機械学習モデルによって種々に変化する。このような状況下で、適切な情報を画像データに関連付けることは、容易ではなかった。
　本明細書は、適切な情報を画像データに関連付ける技術を開示する。
　本明細書に開示された技術は、以下の適用例として実現することが可能である。
［適用例１］機械学習モデルのトレーニングに用いられる画像データに情報を関連付ける関連付け方法であって、処理対象の画像である対象画像の対象画像データを取得する取得工程と、前記対象画像データを分析することによって、前記対象画像内から、注目対象物の画像を示す対象物領域を検出する検出工程と、前記対象物領域と前記対象物領域の外側の部分とを含む拡張領域を決定する決定工程と、前記拡張領域を示す領域情報を含むアノテーション情報を示すアノテーションデータを前記対象画像データに関連付けて記憶装置に格納する関連付け工程と、を備える、関連付け方法。
　この構成によれば、対象画像データを分析することによって検出される対象物領域と、対象物領域の外側の部分と、を含む拡張領域を示す領域情報を含むアノテーション情報が対象画像データに関連付けて記憶装置に格納されるので、注目対象物を示す領域に加えて他の領域を含む領域を、対象画像データに関連付けることができる。
　なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像データに関連付けるべき情報を特定する方法および特定装置、画像データに情報を関連付ける関連付け方法および関連付け装置、学習画像データの生成方法および生成装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。
一実施例としての情報処理装置を示す説明図である。 （Ａ）、（Ｂ）は、撮影画像の例を示す概略図である。 （Ａ）は、ロゴ検出モデルＮＮ１の構成の例を示す概略図である。（Ｂ）は、ロゴ検出モデルＮＮ１の動作の概要を示す概略図である。 第１種データセットＤＳ１の生成処理の例を示すフローチャートである。 （Ａ）は、ロゴ画像の例を示す説明図である。（Ｂ）は、色値の分布範囲の例を示すヒストグラムである。（Ｃ）は、分割された部分領域を示す説明図である。（Ｄ）は、追加調整処理によって生成される色変更ロゴ画像の例を示す説明図である。 （Ａ）－（Ｈ）は、候補画像の例を示す概略図である。 ロゴ検出モデルＮＮ１のトレーニング処理の例を示すフローチャートである。 （Ａ）は、シート検出モデルＮＮ２の構成の例を示す概略図である。（Ｂ）は、シート検出モデルＮＮ２の動作の概要を示す説明図である。 第２種データセットＤＳ２の生成処理の例を示すフローチャートである。 （Ａ）は、対象画像の例を示す説明図である。（Ｂ）は、ロゴ領域の例を示す説明図である。（Ｃ）は、複数のブロックの例を示す説明図である。（Ｄ）は、均一ブロックの例を示す説明図である。（Ｅ）は、拡張領域の候補の例を示す説明図である。 拡張領域の候補を決定する処理の例を示すフローチャートである。 （Ａ）は、ＵＩ画面の例を示す説明図である。（Ｂ）は、変更された輪郭ＬＡｅｏの例を示す説明図である。（Ｃ）は、ＵＩ画面の例を示す説明図である。 シート検出モデルＮＮ２のトレーニング処理の例を示すフローチャートである。
Ａ．第１実施例：
Ａ１．装置構成：
　図１は、一実施例としての情報処理装置を示す説明図である。本実施例では、情報処理装置２００は、例えば、パーソナルコンピュータである。情報処理装置２００は、対象物（例えば、プリンタなどの製品）の検査に用いられる機械学習モデルをトレーニングするための種々の処理を実行する。情報処理装置２００は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。
　プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。不揮発性記憶装置２３０は、プログラム２３１、２３２、２３３、２３４と、ロゴ検出モデルＮＮ１と、ロゴ検出モデルＮＮ１のトレーニングのための第１種データセットＤＳ１と、シート検出モデルＮＮ２と、シート検出モデルＮＮ２のトレーニングのための第２種データセットＤＳ２と、を格納している。モデルＮＮ１、ＮＮ２は、いわゆる機械学習モデルであり、本実施例では、プログラムモジュールである。プログラム２３１－２３４と、モデルＮＮ１、ＮＮ２と、データセットＤＳ１、ＤＳ２と、の詳細については、後述する。
　表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の要求と指示を情報処理装置２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。通信インタフェース２７０には、デジタルカメラ１００が接続されている。デジタルカメラ１００は、検査の対象物ＤＶを撮影することによって、撮影画像の画像データを生成する。以下、対象物ＤＶがプリンタであることとする（対象物ＤＶを、プリンタＤＶとも呼ぶ）。
Ａ２．撮影画像：
　図２（Ａ）、図２（Ｂ）は、撮影画像の例を示す概略図である。図２（Ａ）の第１撮影画像７００ｘは、不具合の無い第１プリンタＤＶｘを示している。第１プリンタＤＶｘには、ラベルシート９１０Ｌ（単に、シート９１０Ｌとも呼ぶ）が貼られている。第１撮影画像７００ｘは、シート９１０Ｌの画像を含んでいる。図２（Ｂ）の第２撮影画像７００ｙは、不具合を有する第２プリンタＤＶｙを示している。第２プリンタＤＶｙには、シート９１０Ｌが貼られておらず、第２撮影画像７００ｙは、シート９１０Ｌの画像を含んでいない。以下、適切なラベルシートがプリンタに貼られているか否かが、検査されることとする。
　本実施例では、シート９１０Ｌは、ロゴ画像９１０を含んでいる。ロゴ画像９１０は、文字列「SAMPLE」を示している。また、シート９１０Ｌは、ロゴ画像９１０の領域に加えて、他の領域（例えば、他の文字列の画像を示す領域）を含んでいる。なお、ロゴは、文字列に限らず、図形、マーク、シンボルなど、種々の画像であってよい。また、シート９１０Ｌは、文字列に限らず、種々の種類の要素（例えば、図形、模様、写真など）を用いて構成されてよい。
　シート検出モデルＮＮ２（図１）は、撮影画像を示す画像データである撮影画像データを用いてプリンタの撮影画像からラベルシート（例えば、シート９１０Ｌ）の画像を検出する機械学習モデルである。ラベルシートの画像が検出される場合、プリンタの検査結果は合格である。ラベルシートの画像が検出されない場合、プリンタの検査結果は不合格である。
　シート検出モデルＮＮ２のトレーニングには、シートの画像を含む種々の画像の画像データが用いられる。トレーニングに用いられるデータ（ここでは、画像データ）には、種々の情報が関連付けられる。データに情報を関連付ける処理は、アノテーション、または、ラベリングとも呼ばれる。以下、アノテーションによって関連付けられる情報を、アノテーション情報とも呼ぶ。本実施例では、アノテーション情報は、検出すべきシートを示す領域を特定する領域情報を含んでいる。例えば、図２（Ａ）の第１撮影画像７００ｘの画像データがトレーニングに用いられる場合、アノテーション情報は、シート９１０Ｌを囲む枠Ｆｘを示す領域情報を含んでいる。
　アノテーション情報は、通常は、作業者によって決定される。例えば、作業者は、第１撮影画像７００ｘを観察することによって、シート９１０Ｌを囲む枠Ｆｘを決定する。また、トレーニングには、種々の画像データが用いられる。例えば、複数の画像データの間で、シートの位置やシートの色やシートの大きさなど、シートの表示態様が異なり得る。種々の画像データのそれぞれの適切なアノテーション情報を決定することは、作業者にとって容易ではない。例えば、作業者は、シート９１０Ｌの一部分のみを囲む不適切な枠を決定し得る。そこで、本実施例では、情報処理装置２００（図１）は、ロゴ検出モデルＮＮ１を用いて、トレーニング用の画像からロゴ画像（例えば、ロゴ画像９１０）を検出する。そして、情報処理装置２００は、ロゴ画像を示す領域であるロゴ領域と、ロゴ領域の外側の部分と、を含む拡張領域を決定する。拡張領域は、シート（例えば、シート９１０Ｌ）を適切に示し得る。そして、情報処理装置２００は、拡張領域を示す領域情報を含むアノテーション情報を、画像データに関連付ける。以下、ロゴ検出モデルＮＮ１、シート検出モデルＮＮ２の順に、説明を行う。
Ａ３．ロゴ検出モデルＮＮ１の構成：
　図３（Ａ）は、ロゴ検出モデルＮＮ１の構成の例を示す概略図である。本実施例では、ロゴ検出モデルＮＮ１は、ＹＯＬＯ（You only look once）と呼ばれるオブジェクト検出モデルである。ＹＯＬＯは、例えば、論文「Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788」に開示されている。ＹＯＬＯモデルは、畳込ニューラルネットワークを用いて、バウンディングボックスと呼ばれるオブジェクトを含む枠と、ボックスがオブジェクトを含むことの確信度と、ボックスがオブジェクトを含む場合のオブジェクトの種類毎の確率（クラス確率とも呼ぶ）と、を予測する。
　図３（Ａ）に示すように、ロゴ検出モデルＮＮ１は、ｍ個（ｍは１以上の整数）の畳込層ＣＶ１１－ＣＶ１ｍと、畳込層ＣＶ１１－ＣＶ１ｍに続くｎ個（ｎは１以上の整数）の全結合層ＣＮ１１－ＣＮ１ｎと、を有している（ｍは、例えば、２４。ｎは、例えば、２）。ｍ個の畳込層ＣＶ１１－ＣＶ１ｍのうちの１以上の畳込層の直後には、プーリング層が設けられる。
　畳込層ＣＶ１１－ＣＶ１ｍは、入力されるデータに対して、畳込処理とバイアスの加算処理とを含む処理を実行する。畳込処理は、入力されたデータに対して、（ｐ×ｑ×ｒ）
次元のｓ個のフィルタを順次に適用し、入力されたデータとフィルタとの相関を示す相関値を算出する処理である（ｐ、ｑ、ｒ、ｓは、１以上の整数）。各フィルタを適用する処理では、フィルタをスライドさせながら複数個の相関値が順次に算出される。１個のフィルタは、（ｐ×ｑ×ｒ）個の重みを含んでいる。バイアスの加算処理は、算出された相関値に、バイアスを加算する処理である。バイアスは、１個のフィルタに対して１個ずつ準備されている。フィルタの次元（ｐ×ｑ×ｒ）とフィルタの数ｓとは、通常は、ｍ個の畳込層ＣＶ１１－ＣＶ１ｍの間で異なっている。畳込層ＣＶ１１－ＣＶ１ｍは、複数のフィルタの複数の重みと複数のバイアスとを含むパラメータセットを、それぞれ有している。
　プーリング層は、直前の畳込層から入力されたデータに対して、データの次元数を削減する処理を実行する。プーリングの処理としては、平均プーリング、最大プーリングなど、種々の処理を利用可能である。本実施例では、プーリング層は、最大プーリングを行う。最大プーリングは、所定サイズ（例えば、２×２）のウィンドウを所定のストライド（例えば、２）でスライドさせつつ、ウィンドウ内の最大値を選択することによって次元数を削減する。
　全結合層ＣＮ１１－ＣＮ１ｎは、直前の層から入力されたｆ次元のデータ（すなわち、ｆ個の値。ｆは２以上の整数）を用いて、ｇ次元のデータ（すなわち、ｇ個の値。ｇは２以上の整数）を出力する。出力されるｇ個の値のそれぞれは、入力されるｆ個の値で構成されるベクトルとｆ個の重みで構成されるベクトルとの内積に、バイアスを加えた値（内積＋バイアス）である。畳込層ＣＶ１１－ＣＶ１ｍは、（ｆ×ｇ）個の重みとｇ個のバイアスとを用いて、ｇ次元のデータを出力する。なお、入力データの次元数ｆと出力データの次元数ｇとは、通常は、ｎ個の全結合層ＣＮ１１－ＣＮ１ｎの間で異なっている。全結合層ＣＮ１１－ＣＮ１ｎは、複数の重みと複数のバイアスとを含むパラメータセットを、それぞれ有している。
　なお、畳込層ＣＶ１１－ＣＶ１ｍと全結合層ＣＮ１１－ＣＮ１ｎとのそれぞれによって生成されるデータは、活性化関数に入力されて変換される。活性化関数としては、種々の関数を利用可能である。本実施例では、最後の層（ここでは、全結合層ＣＮ１ｎ）には、線形活性化関数（linear activation function）が用いられ、他の層には、漏洩正規化線形ユニット（Leaky Rectified Linear Unit：LReLU）が用いられる。
　図３（Ｂ）は、ロゴ検出モデルＮＮ１の動作の概要を示す概略図である。画像８００は、ロゴ検出モデルＮＮ１に入力される入力画像の例である。入力画像８００は、第１方向Ｄｘと、第１方向Ｄｘに垂直な第２方向Ｄｙと、に沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値によって、表されている。本実施例では、色値は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３個の成分値で表されている。図３（Ｂ）の例では、入力画像８００は、２種類のロゴ画像９１０、９２０を示している。本実施例では、第１ロゴ画像９１０は、「SAMPLE」の文字列の画像である。第２ロゴ画像９２０は、第１ロゴ画像９１０とは異なる別のロゴ画像であり、「SAMPLE2」の文字列の画像である。
　ロゴ検出モデルＮＮ１は、入力画像８００を、Ｓ×Ｓのグリッドセル８０１（単にセル８０１とも呼ぶ）に分割する（Ｓは２以上の整数。Ｓは、例えば、５）。ロゴ画像９１０、９２０のそれぞれの中心は、いずれかのセル８０１に含まれる。ロゴ画像９１０、９２０（より一般的には、オブジェクト）の検出結果は、オブジェクト領域の中心を含むセル８０１に対応付けられた予測値によって、示される（詳細は、後述）。
　各セル８０１には、Ｂｎ個の矩形のバウンディングボックスが対応付けられる（Ｂｎは１以上の整数。Ｂｎは、例えば、２）。図３（Ｂ）の中段の右部は、バウンディングボックスの例として、第１ロゴ画像９１０に関連する複数の第１種バウンディングボックスＢＢ１ｃと、第２ロゴ画像９２０に関連する複数の第２種バウンディングボックスＢＢ２ｃと、を示している。各バウンディングボックスには、以下の５個の予測値が対応付けられる。すなわち、セル８０１に対する第１方向Ｄｘの中心位置ｘ、セル８０１に対する第２方向Ｄｙの中心位置ｙ、第１方向Ｄｘの幅ｗ、第２方向Ｄｙの高さｈ、確信度。セル８０１にオブジェクト領域の中心が含まれない場合には、そのセル８０１に対応付けられたバウンディングボックスの確信度は、ゼロであることが期待される。セル８０１にオブジェクト領域の中心が含まれる場合、そのセル８０１に対応付けられたバウンディングボックスの確信度が高いことが期待される。具体的には、確信度は、バウンディングボックスの領域とオブジェクト領域との間のＩＯＵ（Intersection over Union）と同じであることが期待される。ここで、ＩＯＵは、２個の領域の共通部分の面積を、２個の領域の和集合の領域の面積で除算して得られる比率である。このような確信度は、バウンディングボックスとオブジェクト領域との間の一致の程度を示している。なお、確信度は、オブジェクトの種類とは独立に算出される。
　ここで、ロゴ検出モデルＮＮ１は、Ｃ種類のロゴ画像を検出することとする（Ｃは１以上の整数。Ｃは、例えば、３）。ロゴ画像の種類を、クラス、または、ロゴクラスとも呼ぶ。各セル８０１には、さらに、Ｃ個のクラス確率が対応付けられる。Ｃ個のクラス確率は、オブジェクト（ここでは、ロゴ画像）のＣ個の種類にそれぞれ対応している。クラス確率は、セル８０１にオブジェクト領域の中心が含まれるという条件下での確率であり、オブジェクトの種類毎の確率を示している。１個のセル８０１に対応付けられるバウンディングボックスの総数Ｂｎに拘らず、１個のセル８０１にはＣ個のクラス確率が対応付けられる。図３（Ｂ）の中段の左部は、クラス確率マップを示している。クラス確率マップは、セル８０１毎に特定されるクラス識別子であって、最高クラス確率に対応するクラス識別子を示している。図示するように、第１ロゴ画像９１０に近いセル８０１では、第１ロゴ画像９１０の種類である「１」のクラス識別子の確率が高い。第２ロゴ画像９２０に近いセル８０１では、第２ロゴ画像９２０の種類である「２」のクラス識別子の確率が高い。図中の右部の複数の第１種バウンディングボックスＢＢ１ｃは、クラス確率マップ上で「１」のクラス識別子を示すセル８０１に対応付けられたバウンディングボックスである。複数の第２種バウンディングボックスＢＢ２ｃは、クラス確率マップ上で「２」のクラス識別子を示すセル８０１に対応付けられたバウンディングボックスである。
　ロゴ検出モデルＮＮ１（図３（Ａ））は、Ｓ×Ｓ×（Ｂｎ×５＋Ｃ）個の予測値を示す出力データ８３０を出力する。Ｓ×Ｓ×Ｂｎ個のバウンディングボックスのうち、閾値以上の確信度を有するバウンディングボックスが、検出されたオブジェクト（ここでは、ロゴ画像）を示すボックス（オブジェクトボックスと呼ぶ）として採用される。また、オブジェクトボックスに対応するＣ個のクラス確率のうちの最高クラス確率に対応するクラス識別子が、オブジェクトボックスに対応付けられたクラス識別子として採用される。なお、図３（Ｂ）の中段の右部に示されるように、１個のロゴ画像に重なる複数のバウンディングボックスが、オブジェクトボックスの候補であり得る。互いに重なる複数のバウンディングボックスから１個のバウンディングボックスを選択するために、「Non-maximal suppression」と呼ばれる処理が行われてよい。この処理は、２個のボックスの間のＩＯＵが基準以上である場合に、１個のボックス（例えば、より低い確信度を有するボックス）を削除する処理である。この処理を繰り返すことにより、１個のロゴ画像に対応する１個のオブジェクトボックスが検出される。例えば、図３（Ｂ）の下段に示すように、第１ロゴ画像９１０を示す第１オブジェクトボックスＢＢ１（クラス識別子ＣＬ１＝１）と、第２ロゴ画像９２０を示す第２オブジェクトボックスＢＢ２（クラス識別子ＣＬ２＝２）と、が検出される。
Ａ４．第１種データセットＤＳ１の生成処理：
　図４は、ロゴ検出モデルＮＮ１のトレーニング用の第１種データセットＤＳ１の生成処理の例を示すフローチャートである。プロセッサ２１０（図１）は、第１プログラム２３１に従って、図４の処理を実行する。
　Ｓ１１０では、プロセッサ２１０は、ロゴ画像の画像データであるロゴ画像データを取得する。本実施例では、ロゴ画像データは、ＲＧＢのビットマップデータであり、不揮発性記憶装置２３０に予め格納されている（図示省略）。図５（Ａ）は、ロゴ画像の例を示す説明図である。図中には、第１ロゴ画像９１０が示されている。第１ロゴ画像９１０は、文字領域９１１と、背景領域９１２と、を含んでいる。文字領域９１１の複数の画素は、おおよそ同じ色を有し、背景領域９１２の複数の画素は、おおよそ同じ色を有している。なお、ロゴ画像データは、画像編集アプリケーションプログラムを用いて生成されたデータであってよい。これに代えて、ロゴ画像データは、ロゴの見本をスキャナ（図示せず）によって読み取ることによって生成されたデータであってよい。なお、本実施例では、プロセッサ２１０は、第１ロゴ画像９１０のデータと、第２ロゴ画像９２０（図３（Ｂ））のデータと、図示しない第３ロゴ画像のデータと、を含む複数のロゴ画像のデータを取得する。図示を省略するが、第２ロゴ画像９２０と第３ロゴ画像とも、第１ロゴ画像９１０と同様に、複数の文字を示す文字領域と、背景領域と、を含んでいる。
　Ｓ１１５（図４）では、プロセッサ２１０は、ロゴ画像の複数の画素の色値をクラスタリングする。これにより、ロゴ画像の色値の分布範囲は、Ｔ個（Ｔは２以上の整数）の部分色範囲に区分される。
　図５（Ｂ）は、色値の分布範囲の例を示すヒストグラムである。横軸は、輝度値Ｂｖを示している。輝度値Ｂｖの範囲は、複数の区間に区分されている。縦軸は各区間の画素数を示している。このヒストグラムは、第１ロゴ画像９１０（図５（Ａ））の輝度値Ｂｖの分布を示している。明るい第１部分色範囲Ｒ１は、文字領域９１１における輝度値Ｂｖの分布範囲を示し、暗い第２部分色範囲Ｒ２は、背景領域９１２における輝度値Ｂｖの分布範囲を示している。プロセッサ２１０は、複数の画素のそれぞれのＲＧＢの色値から輝度値Ｂｖを算出し、輝度値Ｂｖのヒストグラムを生成する。そして、プロセッサ２１０は、１以上の画素数を有する複数の区間が連続する場合に、連続する複数の区間によって示される範囲を１個のクラスタ（すなわち、部分色範囲）として特定する。図５（Ｂ）の例では、２個の部分色範囲Ｒ１、Ｒ２が特定される。
　Ｓ１２０（図４）では、プロセッサ２１０は、ロゴ画像を、Ｔ個の部分色範囲に対応するＴ種類の部分領域に分割する。図５（Ｃ）は、分割された部分領域を示す説明図である。図５（Ｃ）の左部に示されるように、ロゴ画像９１０は、第１種領域Ａ１と第２種領域Ａ２に分割される。第１種領域Ａ１は、第１部分色範囲Ｒ１、すなわち、文字領域９１１に対応し、第２種領域Ａ２は、第２部分色範囲Ｒ２、すなわち、背景領域９１２に対応している。なお、１個の部分色範囲に対応する１種類の部分領域は、第１種領域Ａ１のように、互いに離れた複数の領域を含んでよい。図示を省略するが、他のロゴ画像も、同様に、Ｓ１１５、Ｓ１２０によって、複数の領域に分割される。
　Ｓ１１５、Ｓ１２０により、ロゴ画像は、似た色を有するＴ種類の部分領域に分割される。色値の分布範囲をＴ個の部分色範囲に区分する方法は、似た色を有する複数の画素を１つの部分色範囲に対応付ける種々の方法であってよい。例えば、ヒストグラムの谷に対応する輝度値Ｂｖで、輝度値Ｂｖの範囲が分割されてよい。また、輝度値Ｂｖに限らず、種々の色成分（例えば、色相、彩度など）を用いて、色値の分布範囲がＴ個の部分色範囲に区分されてよい。また、ｋ平均法など、種々のクラスタリングのアルゴリズムが用いられてよい。なお、部分色範囲の総数Ｔ（すなわち、部分領域の種類数Ｔ）は、ロゴ画像毎に決定される。これに代えて、Ｔは、予め決められてもよい。
　Ｓ１２５では、プロセッサ２１０は、１種類以上の部分領域の色をランダムに変更する調整処理を行うことによって、Ｋ個（Ｋは、１以上の整数）の色変更ロゴ画像データを生成する。図５（Ｃ）の右部には、第１ロゴ画像９１０から生成される色変更ロゴ画像の例として、３個の色変更ロゴ画像９１０ａ、９１０ｂ、９１０ｃが示されている。色変更ロゴ画像９１０ａ、９１０ｂ、９１０ｃと元のロゴ画像９１０との間では、第１種領域Ａ１と第２種領域Ａ２とのうちのいずれか１つの色、または、両方の色が、異なっている。図示を省略するが、プロセッサ２１０は、他のロゴ画像からも、色変更ロゴ画像を生成する。
　なお、本実施例では、プロセッサ２１０は、１種類の部分領域の全体の色を、ランダムに決定された同じ色に変更する。例えば、第１種領域Ａ１の色が変更される場合、第１種領域Ａ１に含まれる複数の文字の全ての色が、同じ色に変更される。
　変更後の色は、変更前の色に近い色であってよい。例えば、ＲＧＢのそれぞれの色値が、ゼロ以上、２５５以下の範囲の値で表される場合に、色変更の処理は、各色成分の色値に、－１００以上、＋１００以下の範囲の乱数値を加算する処理であってよい。
　また、プロセッサ２１０は、生成すべき色変更ロゴ画像データの総数を、ロゴ画像毎にランダムに決定する。これに代えて、生成すべき色変更ロゴ画像データの総数は、ロゴ画像毎に予め決められてよい。
　Ｓ１３０では、プロセッサ２１０は、色変更ロゴ画像データの追加調整処理を実行する。追加調整処理は、サイズ変更処理と、縦横比変更処理と、のうちのいずれか１つ、または、両方を含んでいる。サイズ変更処理は、拡大処理と縮小処理とのいずれかであってよい。図５（Ｄ）は、追加調整処理によって生成される色変更ロゴ画像の例を示す説明図である。図中には、色変更ロゴ画像９１０ａから生成された２個の色変更ロゴ画像９１０ａ１、９１０ａ２が示されている。第１色変更ロゴ画像９１０ａ１は、サイズ変更処理（ここでは、縮小処理）によって生成された画像である。第２色変更ロゴ画像９１０ａ２は、縦横比変更処理によって生成された画像である。なお、プロセッサ２１０は、他のロゴ画像から生成された色変更ロゴ画像にも、追加調整処理を行う。なお、プロセッサ２１０は、追加調整処理を実行するか否かと、追加調整処理の対象の色変更ロゴ画像と、追加調整処理の内容とを、ランダムに決定する。
　Ｓ１３５では、プロセッサ２１０は、背景画像データを取得する。背景画像データは、ロゴ画像を配置すべき背景画像を示す画像データである。本実施例では、プロセッサ２１０は、予め準備された複数の背景画像データ（図示省略）から、ランダムに、処理対象の背景画像データを取得する。複数の背景画像データは、記憶装置２１５（例えば、不揮発性記憶装置２３０）に予め格納されている（図示省略）。複数の背景画像データは、単色のベタ画像を示す背景画像のデータと、写真の背景画像のデータと、を含んでいる。単色のベタ画像は、同じ色を有する複数の画素で構成される画像である。本実施例では、いずれの背景画像も、第１方向Ｄｘに平行な２辺と第２方向Ｄｙに平行な２辺とで囲まれる矩形状の画像である。
　Ｓ１４０では、プロセッサ２１０は、背景画像上にＬ個（Ｌは１以上の整数）のロゴ画像を配置することによって、候補画像データを生成する。プロセッサ２１０は、Ｓ１１０で取得されたロゴ画像と、Ｓ１２５で生成された色変更ロゴ画像と、Ｓ１３０で生成された色変更ロゴ画像と、を含む複数のロゴ画像から、Ｌ個のロゴ画像を選択する。プロセッサ２１０は、各ロゴ画像の背景画像上の位置を、ランダムに決定する。これに代えて、プロセッサ２１０は、背景画像上の予め決められた位置にロゴ画像を配置してよい。いずれの場合も、プロセッサ２１０は、複数のロゴ画像が互いに重ならないように、各ロゴ画像の位置を決定する。ロゴ画像の総数Ｌは、１以上、背景画像上に配置可能なロゴ画像の最大数以下、の範囲内の値に決定される。例えば、プロセッサ２１０は、ランダムにＬを決定し、ランダムにＬ個のロゴ画像を選択する。
　図６（Ａ）－図６（Ｈ）は、候補画像の例を示す概略図である。図６（Ａ）－図６（Ｃ）の３個の候補画像８００ａ－８００ｃは、背景画像８００ａｚ、８００ｂｚ、８００ｃｚと、背景画像８００ａｚ、８００ｂｚ、８００ｃｚ上に配置された４個のロゴ画像と、を含んでいる。これらの候補画像８００ａ－８００ｃの主な特徴は、以下の通りである。（Ｉ１）候補画像８００ａ：背景画像８００ａｚが、単色のベタ画像である。
（Ｉ２）候補画像８００ｂ：背景画像８００ｂｚが、写真の画像である。
（Ｉ３）候補画像８００ｃ：第１ロゴ画像９１０から得られるロゴ画像９１０、９１０ｃと、第２ロゴ画像９２０から得られるロゴ画像９２０ａ、９２０ｂと、を含んでいる。　なお、図６（Ｃ）のロゴ画像９２０ａ、９２０ｂが示すように、第２ロゴ画像９２０は、第１種領域Ａ２１と第２種領域Ａ２２とに分割されている。ロゴ画像９２０ａは、第２ロゴ画像９２０の色変更によって生成された画像である。ロゴ画像９２０ｂは、第２ロゴ画像９２０の色変更と縮小処理とによって生成された画像である。
　Ｓ１４５（図４）では、プロセッサ２１０は、候補画像データの画像処理を行うことによって、新たな候補画像データを生成する。この画像処理は、以下の７個の処理Ｐ１－Ｐ７からなる群から選択される１以上の処理を含んでいる。
（Ｐ１）候補画像の上下を反転させる上下反転処理
（Ｐ２）候補画像の左右を反転させる左右反転処理
（Ｐ３）候補画像を回転させる回転処理
（Ｐ４）候補画像内の色変更対象物画像を示す領域を変更せずに、色変更対象物画像のうちの領域内に示される部分を平行移動させるシフト処理
（Ｐ５）候補画像をぼかすぼかし処理
（Ｐ６）候補画像にノイズを付加するノイズ付加処理
（Ｐ７）候補画像の色を調整する色調整処理
　図６（Ｄ）－図６（Ｈ）の５個の候補画像８００ｄ－８００ｈは、Ｓ１４５の画像処理によって生成される候補画像の例である。図６（Ｆ）の候補画像８００ｆは、背景画像８００ｆｚと、背景画像８００ｆｚ上に配置された２個のロゴ画像９１０、９１０ｂと、を含んでいる。他の候補画像８００ｄ、８００ｅ、８００ｇ、８００ｈは、背景画像８００ｄｚ、８００ｅｚ、８００ｇｚ、８００ｈｚと、背景画像上に配置された４個のロゴ画像と、を含んでいる。これらの候補画像８００ｄ－８００ｈの主な特徴は、以下の通りである。
（Ｉ４）候補画像８００ｄ：背景画像８００ｄｚが単色のベタ画像であり、左右反転処理が行われており、ロゴ画像９１０ｓはシフト処理によって生成されている。
（Ｉ５）候補画像８００ｅ：背景画像８００ｅｚが写真の画像であり、上下反転処理が行われている。
（Ｉ６）候補画像８００ｆ：回転処理と、ノイズＮＺを付加するノイズ付加処理と、が行われている。
（Ｉ７）候補画像８００ｇ：ぼかし処理が行われている。
（Ｉ８）候補画像８００ｈ：色調整処理が行われている。
　本実施例では、第１方向Ｄｘ（図６（Ｄ））が右方向を示している。従って、左右反転処理は、第１方向Ｄｘの位置を反転させる。また、第２方向Ｄｙ（図６（Ｅ））が下方向を示している。従って、上下反転処理は、第２方向Ｄｙの位置を反転させる。
　シフト処理（図６（Ｄ））は、ロゴ画像９１０ｓの元の領域内で、元のロゴ画像を左に平行移動させている。移動後のロゴ画像のうちロゴ画像９１０ｓの元の領域の外にはみ出た部分は、削除されている。例えば、第１種領域Ａ１の左側の一部は、削除されている。また、ロゴ画像９１０ｓの元の領域のうち、元のロゴ画像の平行移動により生じる空白部分９１０ｖの色は、背景領域を示す第２種領域Ａ２の色と同じ色に設定されている。なお、プロセッサ２１０は、シフト処理による移動方向と移動量とを、ランダムに決定する。
　回転処理（図６（Ｆ））は、候補画像８００ｆの元の領域内で、元の候補画像を反時計回りに回転させている。回転後の候補画像のうち候補画像８００ｆの元の領域の外にはみ出た部分は、削除されている。また、候補画像８００ｆの元の領域のうち、元の候補画像の回転により生じる空白部分８００ｆｖには、背景画像８００ｆｚの一部のコピーが割り当てられている。なお、プロセッサ２１０は、回転の中心と回転方向と回転角度とを、ランダムに決定する。
　ノイズ付加処理（図６（Ｆ））は、候補画像８００ｆの複数の画素からランダムに複数の対象画素を選択し、複数の対象画素のそれぞれの色値に乱数値を加算する。なお、ノイズ付加処理は、他の種々の処理であってよい。例えば、候補画像の全ての画素に、乱数値が加算されてよい。また、予め準備されたノイズ画像が、候補画像に重ねられてよい。
　ぼかし処理（図６（Ｇ））は、平滑化処理とも呼ばれる。本実施例では、ぼかし処理は、平均値フィルタを用いる処理であり、候補画像８００ｇの全体が、処理される。なお、ぼかし処理は、色値を平滑化する種々の処理であってよい（例えば、中央値フィルタ、ガウシアンフィルタなどの他の平滑化フィルタが用いられてよい）。
　色調整処理（図６（Ｈ））は、本実施例では、輝度値を低下させるガンマ補正処理であり、候補画像８００ｈの全体が、処理される。なお、色調整処理は、候補画像の色を調整する任意の処理であってよい（例えば、輝度値を高めるガンマ補正処理、コントラスト強調処理、彩度調整処理、ホワイトバランス調整処理、など）。
　なお、プロセッサ２１０は、Ｓ１４５の画像処理を実行するか否かと、画像処理の対象の候補画像と、画像処理の内容とを、ランダムに決定する。例えば、実行すべき処理は、７個の処理Ｐ１－Ｐ７からランダムに選択される。
　Ｓ１５０（図４）では、プロセッサ２１０は、Ｓ１４０で生成された候補画像データと、Ｓ１４５で生成された候補画像データと、を含む複数の候補画像データから、第１種データセットＤＳ１（図１）に含まれるべきＺ個（Ｚは、１以上の整数）の第１種学習画像データＤ１１をランダムに選択する（数Ｚもランダムに決定される）。そして、プロセッサ２１０は、Ｚ個の第１種学習画像データＤ１１に対応するＺ個のラベルデータＤ１２を生成する。本実施例では、ラベルデータＤ１２は、ロゴ検出モデルＮＮ１（図３（Ａ））の出力データ８３０の目標値（すなわち、正解）を定めるデータである。このようなラベルデータＤ１２は、教師データとも呼ばれる。具体的には、ラベルデータＤ１２は、候補画像中のロゴ画像の領域を示す領域情報Ｄ１２１と、ロゴ画像の種類を示すロゴクラスＤ１２２と、を示している。領域情報Ｄ１２１は、候補画像内の領域の中心位置（具体的には、第１方向Ｄｘの位置と第２方向Ｄｙの位置）と、第１方向Ｄｘの幅と、第２方向Ｄｙの高さと、を示している。また、本実施例では、ロゴ画像は、Ｃ個のクラスに分類される。ロゴクラスＤ１２２は、Ｃ個のクラスのうちのいずれか１つを示している。
　プロセッサ２１０は、Ｓ１２５－Ｓ１４５の処理の内容に基づいて、候補画像内のＬ個のロゴ画像のそれぞれの領域情報Ｄ１２１とロゴクラスＤ１２２との組み合わせを特定する。領域情報Ｄ１２１は、ロゴ画像の全体を含む最小矩形を示すように、決定される。そして、プロセッサ２１０は、候補画像がＬ個のロゴ画像を含む場合に、領域情報Ｄ１２１とロゴクラスＤ１２２とのＬ個の組み合わせを示すラベルデータＤ１２を生成する。
　Ｓ１５５では、プロセッサ２１０は、第１種学習画像データＤ１１（図１）とラベルデータＤ１２とを関連付けて、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。以下、互いに関連付けられた第１種学習画像データＤ１１とラベルデータＤ１２との全体を、第１種ラベル付データＬＤ１とも呼ぶ。第１種データセットＤＳ１は、複数の第１種ラベル付データＬＤ１を含んでいる。なお、プロセッサ２１０は、ラベル付データＬＤ１を、情報処理装置２００に接続された外部記憶装置（図示せず）に格納してもよい。
　Ｓ１６０では、プロセッサ２１０は、予め決められた数の第１種学習画像データＤ１１（すなわち、第１種ラベル付データＬＤ１）を生成したか否かを判断する。ロゴ検出モデルＮＮ１の適切なトレーニングのためには、第１種データセットＤＳ１に含まれるＣ個のラベル画像のそれぞれの総数が、大きい基準値（例えば、１０００）以上に設定される。Ｃ個のラベル画像のいずれかの総数が基準値未満である場合（Ｓ１６０：Ｎｏ）、プロセッサ２１０は、Ｓ１２５へ移行し、新たなラベル付データＬＤ１を生成する。Ｃ個のラベル画像のそれぞれの総数が基準値以上である場合（Ｓ１６０：Ｙｅｓ）、プロセッサ２１０は、図４の処理を終了する。生成された複数のラベル付データＬＤ１は、図６（Ａ）－図６（Ｈ）で説明したような種々の画像を示している。第１種データセットＤＳ１は、このような複数の第１種ラベル付データＬＤ１を含んでいる。なお、情報処理装置２００は、複数の第１種学習画像データＤ１１を生成するシステムの例である。
Ａ５．ロゴ検出モデルＮＮ１のトレーニング処理：
　図７は、ロゴ検出モデルＮＮ１（図３（Ａ））のトレーニング処理の例を示すフローチャートである。ロゴ検出モデルＮＮ１は、出力データ８３０が入力画像８００中のロゴ画像の適切な領域情報と適切なロゴクラスとを示すように、トレーニングされる。トレーニングによって、ロゴ検出モデルＮＮ１の演算に用いられる複数の演算パラメータ（複数の層ＣＶ１１－ＣＶ１ｍ、ＣＮ１１－ＣＮ１ｎのそれぞれの演算に用いられる複数の演算パラメータを含む）が、調整される。なお、プロセッサ２１０は、第２プログラム２３２に従って、図７の処理を行う。
　Ｓ２１０では、プロセッサ２１０は、不揮発性記憶装置２３０から第１種データセットＤＳ１を取得する。Ｓ２２０では、プロセッサ２１０は、第１種データセットＤＳ１の複数のラベル付データＬＤ１を、学習用データセットと確認用データセットとに分割する。例えば、プロセッサ２１０は、ランダムに選択した７０％のラベル付データＬＤ１を、学習用データセットとして採用し、残りの３０％のラベル付データＬＤ１を、確認用データセットとして採用する。以下、学習用データセットのラベル付データＬＤ１の総数がＮｔ個であり、確認用データセットのラベル付データＬＤ１の総数がＮｖ個であることとする（Ｎｔ、Ｎｖは、いずれも、２以上の整数）。
　Ｓ２３０では、プロセッサ２１０は、ロゴ検出モデルＮＮ１の複数の演算パラメータを初期化する。例えば、各演算パラメータは、乱数値に設定される。
　Ｓ２４０では、プロセッサ２１０は、学習用データセットを用いて、学習ロスを算出する。具体的には、プロセッサ２１０は、Ｎｔ個の第１種学習画像データＤ１１をロゴ検出モデルＮＮ１に入力し、Ｎｔ個の出力データ８３０を生成する。そして、プロセッサ２１０は、Ｎｔ個の出力データ８３０と、Ｎｔ個の第１種学習画像データＤ１１に対応付けられたＮｔ個のラベルデータＤ１２と、を用いて、学習ロスを算出する。
　学習ロスの算出には、損失関数が用いられる。損失関数は、出力データ８３０とラベルデータＤ１２との間の差の評価値を算出する種々の関数であってよい。本実施例では、ＹＯＬＯの上記の論文に開示されている損失関数が用いられる。この損失関数は、以下の５個の成分を含んでいる。すなわち、損失関数は、領域情報Ｄ１２１の領域を示すべきバウンディングボックスに関して、中心位置の差と、大きさ（すなわち、幅と高さ）の差と、確信度の差と、のそれぞれに対応する３個の成分を含んでいる。領域情報Ｄ１２１の領域を示すべきバウンディングボックスは、領域情報Ｄ１２１の中心位置を含むセル８０１（図３（Ｂ））に対応付けられたＢｎ個のバウンディングボックスのうち、領域情報Ｄ１２１の領域とバウンディングボックスの領域との間の最も高いＩＯＵを有するバウンディングボックスである。また、この損失関数は、領域情報Ｄ１２１の領域に対応すべきでないバウンディングボックスに関して、バウンディングボックスの確信度と、理想の確信度（具体的には、ゼロ）と、の間の差に対応する成分を含んでいる。また、この損失関数は、領域情報Ｄ１２１の中心位置を含むセルに関して、Ｃ個のクラス確率とＣ個の正解のクラス確率との間の差に対応する成分を含んでいる。プロセッサ２１０は、損失関数を用いて算出されるＮｔ個の損失の合計値を、学習ロスとして算出する。なお、学習ロスは、Ｎｔ個の損失の平均値や中央値など、Ｎｔ個の損失と相関を有する種々の値であってよい。
　Ｓ２５０では、プロセッサ２１０は、学習ロスを用いて、ロゴ検出モデルＮＮ１の複数の演算パラメータを更新する。具体的には、プロセッサ２１０は、学習ロスが小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。
　Ｓ２６０では、プロセッサ２１０は、確認用データセットを用いて、確認ロスを算出する。確認ロスの算出方法は、学習用データセットの代わりに確認用データセットを用いる点を除いて、Ｓ２４０で説明した学習ロスの算出方法と同じである。具体的には、プロセッサ２１０は、確認用データセットのＮｖ個の第１種学習画像データＤ１１を、Ｓ２５０で更新された演算パラメータを有するロゴ検出モデルＮＮ１に入力し、Ｎｖ個の出力データ８３０を生成する。そして、プロセッサ２１０は、Ｎｖ個の出力データ８３０と、Ｎｖ個の第１種学習画像データＤ１１に対応付けられたＮｖ個のラベルデータＤ１２と、を用いて、確認ロスを算出する。
　Ｓ２７０では、プロセッサ２１０は、トレーニングが完了したか否かを判断する。トレーニング完了の条件は、種々の条件であってよい。本実施例では、トレーニング完了の条件は、学習ロスと確認ロスとの両方が、所定の基準値以下であることである。なお、トレーニング完了の条件は、学習ロスと確認ロスとの両方が小さいことを示す種々の条件であってよい。例えば、学習ロスの基準値は、確認ロスの基準と異なっていてよい。
　トレーニングが完了していない場合（Ｓ２７０：Ｎｏ）、プロセッサ２１０は、Ｓ２４０へ移行して、トレーニングを継続する。トレーニングが完了した場合（Ｓ２７０：Ｙｅｓ）、Ｓ２８０で、プロセッサ２１０は、調整済の演算パラメータを含むロゴ検出モデルＮＮ１を、トレーニング済モデルとして、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図７の処理を終了する。なお、プロセッサ２１０は、ロゴ検出モデルＮＮ１を、情報処理装置２００に接続された外部記憶装置（図示せず）に格納してもよい。
　トレーニングされたロゴ検出モデルＮＮ１からの出力データ８３０は、以下の特徴を有している。ロゴ画像の中心を含むセルは、ロゴ画像の領域を適切に示すとともに高い確信度と適切なクラス確率とを有するバウンディングボックスを示すことができる。また、出力データ８３０によって示される複数のバウンディングボックスは、ロゴ画像の領域を示していない不適切なバウンディングボックスを含み得る。不適切なバウンディングボックスには、低い確信度が対応付けられる。従って、高い確信度を有するバウンディングボックスを用いることによって、適切に、ロゴ画像を特定できる。
　以上のように、図４の生成処理では、プロセッサ２１０は、対象物の例であるロゴを検出するためのロゴ検出モデルＮＮ１のトレーニングに用いられる複数の第１種学習画像データＤ１１を生成する。具体的には、Ｓ１１０では、プロセッサ２１０は、ロゴの画像であるロゴ画像のロゴ画像データを取得する。Ｓ１１５、Ｓ１２０では、プロセッサ２１０は、ロゴ画像の色の分布範囲を分割して得られるＴ個（Ｔは２以上の整数）の部分色範囲にそれぞれ対応するＴ種類の部分領域にロゴ画像を分割する。プロセッサ２１０は、１種類以上の部分領域のそれぞれの色を元の色とは異なる色に変更する処理（Ｓ１２５）を含む調整処理を実行する。これにより、プロセッサ２１０は、複数の色変更ロゴ画像の複数の色変更ロゴ画像データを生成する。ここで、複数の色変更ロゴ画像は、それぞれ、ロゴの画像である。また、複数の色変更ロゴ画像は、互いに異なる色の同じ種類の部分領域を有する。例えば、図５（Ｃ）の色変更ロゴ画像９１０ａ、９１０ｂは、互いに異なる色の同じ第１種領域Ａ１を有する。そして、プロセッサ２１０は、Ｓ１３５、Ｓ１４０で、候補画像の候補画像データを生成する。ここで、候補画像データは、学習画像データＤ１１に対応しており、候補画像は、学習画像データＤ１１の学習画像に対応している。また、プロセッサ２１０は、Ｓ１２５－Ｓ１４０の処理を複数回に亘って実行する。具体的には、プロセッサ２１０は、複数の色変更ロゴ画像データを生成する。そして、プロセッサ２１０は、１以上の背景画像データと、複数の色変更ロゴ画像データと、を用いることによって、複数の候補画像の複数の候補画像データを生成する。ここで、候補画像は、１以上の背景画像データのいずれかによって示される背景画像と、背景画像上に配置された１以上の色変更ロゴ画像とを含んでいる（図６（Ａ）－図６（Ｈ））。複数の候補画像は、生成された複数の色変更ロゴ画像のうちの互いに異なる色変更ロゴ画像を含んでいる。例えば、候補画像８００ｃ（図６（Ｃ））は、候補画像８００ｆ（図６（Ｆ））には含まれない色変更ロゴ画像９１０ｃを含んでいる。一方、候補画像８００ｆは、候補画像８００ｃには含まれない色変更ロゴ画像９１０ｂを含んでいる。このように、プロセッサ２１０は、種々の色で表現されるロゴの画像を示す複数の学習画像データＤ１１を生成できる。このような複数の学習画像データＤ１１は、ロゴの画像を処理する機械学習モデル（例えば、ロゴ検出モデルＮＮ１）を、適切にトレーニングできる。
　Ｓ１３５（図４）、図６（Ｂ）等で説明したように、１以上の背景画像データは、写真の背景画像８００ｂｚの背景画像データを含んでいる。従って、プロセッサ２１０は、写真の背景画像上のロゴの画像を示す複数の学習画像データＤ１１を生成できる。このような複数の学習画像データＤ１１は、写真の背景画像上のロゴの画像を適切に処理するように、機械学習モデル（例えば、ロゴ検出モデルＮＮ１）をトレーニングできる。利用可能な複数の背景画像データは、互いに異なる写真を示す複数の背景画像データを含んでよい。複数の背景画像は、風景、人物、家具、文房具など、種々の写真を含んでよい。このような複数の学習画像データＤ１１は、背景画像の内容に拘らずにロゴの画像を適切に処理するように、機械学習モデル（例えば、ロゴ検出モデルＮＮ１）をトレーニングできる。
　Ｓ１３５（図４）、図６（Ａ）等で説明したように、１以上の背景画像データは、単色のベタ画像を示す背景画像８００ａｚの背景画像データを含んでいる。従って、プロセッサ２１０は、単色のベタ画像を示す背景画像上のロゴの画像を示す複数の学習画像データを生成できる。このような複数の学習画像データＤ１１は、単色のベタ画像を示す背景画像上のロゴの画像を適切に処理するように、機械学習モデル（例えば、ロゴ検出モデルＮＮ１）をトレーニングできる。利用可能な複数の背景画像データは、互いに異なる色のベタ画像を示す複数の背景画像データを含んでよい。このような複数の学習画像データＤ１１は、背景画像の色に拘らずにロゴの画像を適切に処理するように、機械学習モデル（例えば、ロゴ検出モデルＮＮ１）をトレーニングできる。
　なお、写真の背景画像と単色のベタ画像を示す背景画像とのように、互いに異なる内容を示す複数種類の背景画像を有する複数種類の学習画像データＤ１１が生成されることが好ましい。このような複数種類の学習画像データＤ１１は、種々の背景画像上のロゴの画像を適切に処理するように、機械学習モデル（例えば、ロゴ検出モデルＮＮ１）をトレーニングできる。
　また、プロセッサ２１０は、複数の色変更ロゴ画像データを生成するために、Ｓ１２５（図４）を含む画像の調整処理を実行する。図４の実施例では、調整処理は、さらに、Ｓ１３０を含んでいる。Ｓ１３０は、色変更対象物画像のサイズを変更する処理と、色変更対象物画像の縦横比を変更する処理と、のうちのいずれか１つ、または、両方を含んでいる。従って、プロセッサ２１０は、サイズと縦横比のうちのいずれか１つ、または、両方が変更されたロゴの画像を示す学習画像データＤ１１を生成できる。このような学習画像データＤ１１は、サイズと縦横比のうちのいずれか１つ、または、両方が変更されたロゴの画像を適切に処理するように、機械学習モデル（例えば、ロゴ検出モデルＮＮ１）をトレーニングできる。
　また、Ｓ１４０（図４）、図６（Ａ）－図６（Ｈ）で説明したように、学習画像データＤ１１を生成する処理は、背景画像８００ａｚと、背景画像８００ａｚ上に配置された複数の色変更ロゴ画像９１０ｂ、９１０ａ２、９１０ｃと、を含む学習画像８００ａの学習画像データＤ１１を生成する処理を含んでいる。１個の学習画像データＤ１１が複数の色変更ロゴ画像を示す場合、１個の学習画像データＤ１１が１個の色変更ロゴ画像を示す場合と比べて、ロゴ画像を検出する機械学習モデル（例えば、ロゴ検出モデルＮＮ１）を、効率的にトレーニングできる。
　また、Ｓ１４０（図４）、図６（Ｃ）等で説明したように、学習画像データＤ１１を生成する処理は、背景画像８００ｃｚと、背景画像８００ｃｚ上に配置された１以上の色変更ロゴ画像９１０ｃと、背景画像８００ｃｚ上に配置された他のロゴの画像９２０ａ、９２０ｂと、を含む画像８００ｃの学習画像データＤ１１を生成する処理を含んでいる。１個の学習画像データＤ１１がロゴの画像と他のロゴの画像とを示す場合、１個の学習画像データＤ１１が同じロゴの画像のみを示す場合と比べて、ロゴ画像を検出する機械学習モデル（例えば、ロゴ検出モデルＮＮ１）を、効率的にトレーニングできる。
　また、Ｓ１４０（図４）、図６（Ａ）－図６（Ｈ）で説明したように、プロセッサ２１０は、１個の学習画像上では、複数のロゴ画像を、互いに重ならないように配置する。従って、学習画像データＤ１１は、ロゴ画像を検出する機械学習モデル（例えば、ロゴ検出モデルＮＮ１）を、適切にトレーニングできる。
　また、Ｓ１４５（図４）で説明したように、学習画像データＤ１１を生成する処理は、背景画像と背景画像上に配置された１以上の色変更ロゴ画像とを含む候補画像の候補画像データに画像処理を行うことによって学習画像データＤ１１を生成する処理を含んでいる。ここで、画像処理は、上記の７個の処理Ｐ１－Ｐ７からなる群から選択される１以上の処理を含んでいる。従って、プロセッサ２１０は、種々の形式で表現されるロゴを示す学習画像データＤ１１を生成できる。このような学習画像データＤ１１は、種々の形式で表現されるロゴの画像を適切に処理するように、機械学習モデル（例えば、ロゴ検出モデルＮＮ１）をトレーニングできる。
Ａ６．シート検出モデルＮＮ２の構成：
　図８（Ａ）は、シート検出モデルＮＮ２の構成の例を示す概略図である。本実施例では、シート検出モデルＮＮ２は、ＹＯＬＯモデルであり、その構成は、ロゴ検出モデルＮＮ１（図３（Ａ））の構成と同じである。シート検出モデルＮＮ２は、ｐ個（ｐは１以上の整数）の畳込層ＣＶ２１－ＣＶ２ｐと、畳込層ＣＶ２１－ＣＶ２ｐに続くｑ個（ｑは１以上の整数）の全結合層ＣＮ２１－ＣＮ２ｑと、を有している（ｐは、例えば、２４。ｑは、例えば、２）。ｐ個の畳込層ＣＶ２１－ＣＶ２ｐのうちの１以上の畳込層の直後には、プーリング層（例えば、マックスプーリングを行う層）が設けられる。なお、ｐは、図３（Ａ）のｍと異なってよい。また、ｑは、図３（Ａ）のｎと異なってよい。
　図８（Ｂ）は、シート検出モデルＮＮ２の動作の概要を示す説明図である。画像７００は、シート検出モデルＮＮ２に入力される入力画像の例である。入力画像７００は、図２（Ａ）、図２（Ｂ）の撮影画像７００ｘ、７００ｙと同様に、撮影されたプリンタＤＶの画像である。入力画像７００は、第１方向Ｄｘと、第１方向Ｄｘに垂直な第２方向Ｄｙと、に沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値によって、表されている。本実施例では、色値は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３個の成分値で表されている。図８（Ｂ）の例では、入力画像７００は、第１ロゴ画像９１０を含むシート９１０Ｌの画像を含んでいる。
　シート検出モデルＮＮ２は、図３（Ａ）、図３（Ｂ）のロゴ検出モデルＮＮ１と同様に、オブジェクトの画像の領域を検出する。ロゴ検出モデルＮＮ１との差異は、ロゴ画像に代えて、ラベルシートの画像を検出するようにシート検出モデルＮＮ２がトレーニングされる点である。また、本実施例では、Ｃ種類のロゴ画像に対応するＣ種類のラベルシートが利用可能である。ラベルシートの種類とロゴ画像の種類とは、一対一に対応付けられている。そして、シート検出モデルＮＮ２は、Ｃ種類のラベルシートの画像を検出する。以下、ラベルシートの種類を、シートクラスとも呼ぶ。
　図示を省略するが、シート検出モデルＮＮ２は、図３（Ｂ）のロゴ検出モデルＮＮ１のアルゴリズムと同じアルゴリズムに従って、ラベルシートの画像を示すバウンディングボックスを検出する。図８（Ｂ）の例では、シート９１０Ｌを示すバウンディングボックスＢＢＬが検出されている。バウンディングボックスＢＢＬには、クラス識別子ＣＬＬが対応付けられている。クラス識別子ＣＬＬは、Ｃ個のクラス確率のうちの最高クラス確率に対応するクラス識別子である。「１」のクラス識別子は、第１シート９１０Ｌを示している。
　シート検出モデルＮＮ２は、Ｓ×Ｓ×（Ｂｎ×５＋Ｃ）個の予測値を示す出力データ７３０を出力する。図３（Ａ）の出力データ８３０と同様に、出力データ７３０は、閾値以上の確信度を有するバウンディングボックスによって、オブジェクト（ここでは、ラベルシート）の画像の領域を示している。また、バウンディングボックスに対応するＣ個のクラス確率のうちの最高クラス確率に対応するクラス識別子が、バウンディングボックスに対応付けられたクラス識別子として採用される。
Ａ７．アノテーション処理（第２種データセットＤＳ２の生成処理）：
　図９は、シート検出モデルＮＮ２のトレーニングのための第２種データセットＤＳ２（図１）の生成処理の例を示すフローチャートである。第２種データセットＤＳ２は、複数の第２種ラベル付データＬＤ２を含んでいる。第２種ラベル付データＬＤ２は、ラベルシートの画像を含む第２種学習画像データＤ２１と、第２種学習画像データＤ２１に関連付けられたラベルデータＤ２２と、を含んでいる。ラベルデータＤ２２は、図４のＳ１５０、Ｓ１５５で説明したラベルデータＤ１２と同様に、画像中のシート画像の領域を示す領域情報Ｄ２２１と、シート画像の種類を示すシートクラス情報Ｄ２２２と、を示している。後述するように、図９の処理では、プロセッサ２１０は、領域情報Ｄ２２１とラベルデータＤ２２とを示すラベルデータＤ２２を第２種学習画像データＤ２１に関連付ける処理を実行する（この処理は、アノテーション処理の例である）。プロセッサ２１０は、第３プログラム２３３に従って、図９の処理を実行する。
　Ｓ３１０では、プロセッサ２１０は、処理対象の画像データである対象画像データを取得する。本実施例では、プロセッサ２１０は、予め準備された複数のシート画像データから、未処理のシート画像データを対象画像データとして取得する。複数のシート画像データは、予め記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納されている（図示省略）。複数のシート画像データのそれぞれは、ラベルシートを含む画像を示している。上述したように、本実施例では、Ｃ種類のロゴ画像に対応するＣ種類のラベルシートが利用可能である。複数のシート画像データは、Ｃ種類のラベルシートを示すＣ種類のシート画像データを含んでいる。図１０（Ａ）は、対象画像の例を示す説明図である。対象画像７００ａは、第１シート９１０Ｌの画像の領域と、背景領域７００ａｚと、を含んでいる。第１シート９１０Ｌの画像は、第１ロゴ画像９１０を含んでいる。
　本実施例では、シート画像データは、背景画像データによって示される単色のベタ画像を示す背景画像上にシートの画像を配置することによって生成されている。プリンタの実際の撮影画像上では、背景領域は、プリンタの外面を示している。本実施例では、プリンタの外面の色は、位置によらず同じである。従って、実際の撮影画像上においても、背景領域の画像は、おおよそ単色のベタ画像である。なお、背景画像は、単色のベタ画像に限らず、プリンタの外面の撮影画像など、種々の画像であってよい。また、複数のシート画像データは、ラベルシートを有するプリンタをデジタルカメラで撮影することによって、生成されてよい。
　Ｓ３１５（図９）では、プロセッサ２１０は、ロゴ検出モデルＮＮ１（図３（Ａ））を用いて対象画像データを分析することにより、ロゴ領域を特定する。具体的には、プロセッサ２１０は、ロゴ検出モデルＮＮ１に対象画像データを入力することによって、出力データ８３０を生成する。そして、プロセッサ２１０は、出力データ８３０によって示されるバウンディングボックス（具体的には、予め決められた閾値以上の確信度を有するバウンディングボックス）に囲まれる矩形領域を、ロゴ領域として採用する。図１０（Ｂ）は、ロゴ領域の例を示す説明図である。バウンディングボックスＢＢｔは、対象画像７００ａ上の第１ロゴ画像９１０を示している。プロセッサ２１０は、バウンディングボックスＢＢｔによって囲まれる領域を、ロゴ領域ＬＡとして特定する。また、プロセッサ２１０は、バウンディングボックスＢＢｔに対応付けられたＣ個のクラス確率のうちの最高のクラス確率に対応付けられたクラス識別子を、ロゴ領域ＬＡの種類を示すロゴクラスＣＬｔとして特定する（図１０（Ｂ）の例では、ＣＬｔ＝１）。
　Ｓ３２０（図９）では、プロセッサ２１０は、ロゴ領域が検出されたか否かを判断する。ロゴ領域が検出された場合（Ｓ３２０：Ｙｅｓ）、Ｓ３２５で、プロセッサ２１０は、ロゴ領域を含む拡張領域を決定する。
　図１１は、拡張領域の候補を決定する処理の例を示すフローチャートである。Ｓ４１０では、プロセッサ２１０は、対象画像を複数のブロックに分割する。図１０（Ｃ）は、複数のブロックの例を示す説明図である。対象画像７００ａは、予め決められた形状の複数のブロックＢＬに分割されている。対象画像７００ａ内の複数のブロックＢＬの配置は、予め決められている。
　Ｓ４２０（図１１）では、プロセッサ２１０は、複数のブロックＢＬのそれぞれのエッジ強度値を算出する。エッジ強度値は、対象画像上の位置の変化に対する色の変化の割合の評価値である。本実施例では、プロセッサ２１０は、いわゆるラプラシアンフィルタを用いて各画素のエッジ量（例えば、フィルタによる計算結果の絶対値）を算出する。エッジ量の算出には、予め決められた色成分（例えば、輝度値）が用いられる。そして、プロセッサ２１０は、ブロックＢＬ内の複数の画素のエッジ量の平均値を、ブロックＢＬのエッジ強度値として算出する。なお、エッジ強度値の算出方法は、他の種々の方法であってよい。例えば、フィルタは、ラプラシアンフィルタに代えて、エッジ量を算出するための任意のフィルタであってよい（ソーベルフィルタ、プレウィットフィルタなど）。また、ブロックＢＬのエッジ強度値は、複数の画素のエッジ量の平均値に代えて、中央値、最頻値、など、複数の画素のエッジ量と相関を有する種々の値であってよい。
　Ｓ４３０では、プロセッサ２１０は、予め決められた基準以下のエッジ強度値を有するブロックＢＬを、均一ブロックとして特定する。以下、複数のブロックＢＬのうち、均一ブロックとは異なるブロックＢＬを、非均一ブロックとも呼ぶ。
　図１０（Ｄ）は、均一ブロックの例を示す説明図である。対象画像７００ａ中の複数のブロックＢＬのうち、ハッチングが付されたブロックＢＬ１が、均一ブロックＢＬ１であり、ハッチングの無いブロックＢＬ２が、非均一ブロックＢＬ２である。図示するように、第１シート９１０Ｌの外側の背景領域７００ａｚの複数のブロックＢＬは、均一ブロックＢＬ１である。第１シート９１０Ｌを示す複数のブロックＢＬのうち多数のブロックＢＬは、非均一ブロックＢＬ２である。なお、第１シート９１０Ｌを示す複数のブロックＢＬのうちの一部の複数のブロックＢＬは、均一ブロックＢＬ１である。一般的に、ラベルシートは、ロゴ画像に加えて、文字、図形、マーク、シンボルなど、他の要素を含み得る。従って、ラベルシート９１０Ｌを示す複数のブロックＢＬのうち均一ブロックＢＬ１の割合は、小さい。また、ラベルシート９１０Ｌの輪郭９１０Ｌｏを示す画素は、大きなエッジ量を有している。従って、ラベルシート９１０Ｌの輪郭９１０Ｌｏを示すブロックＢＬは、非均一ブロックＢＬ２である可能性が高い。
　Ｓ４４０（図１１）では、プロセッサ２１０は、ロゴ領域と同じ領域を拡張領域の初期領域として採用する。そして、プロセッサ２１０は、拡張領域の輪郭をロゴ領域の外側に向かって移動させることによって、ロゴ領域を含む拡張領域の候補を決定する。プロセッサ２１０は、輪郭の全体が均一ブロックＢＬ１に含まれるように、輪郭を移動させる。図１０（Ｅ）は、拡張領域の候補の例を示す説明図である。対象画像７００ａ上の候補拡張領域ＬＡｅは、ロゴ領域ＬＡと、ロゴ領域ＬＡの外側の部分と、を含んでいる。候補拡張領域ＬＡｅの輪郭ＬＡｅｏの全体は、均一ブロックＢＬ１に含まれている。上述したように、ラベルシート９１０Ｌの輪郭９１０Ｌｏを示すブロックＢＬは、非均一ブロックＢＬ２である可能性が高い。従って、プロセッサ２１０は、ラベルシート９１０Ｌの輪郭９１０Ｌｏを外側から囲む輪郭ＬＡｅｏを有する候補拡張領域ＬＡｅを、決定できる。このような候補拡張領域ＬＡｅは、ラベルシート９１０Ｌの全体を含んでいる。
　輪郭を移動させる処理は、種々の処理であってよい。本実施例では、ロゴ領域ＬＡの輪郭ＬＡｏは、矩形を形成する４本の辺（すなわち、上辺、下辺、左辺、右辺）で構成されている。プロセッサ２１０は、４本の辺を所定量ずつ順番に外側に移動させる処理を、４本の辺の全体が均一ブロックＢＬ１に含まれるまで、繰り返す。これにより、プロセッサ２１０は、ラベルシート９１０Ｌの全体を含むとともに、対象画像７００ａよりも小さい候補拡張領域ＬＡｅを決定できる。
　プロセッサ２１０は、Ｓ４４０の完了に応じて、図１１の処理、すなわち、図９のＳ３２５を終了する。
　Ｓ３３０では、プロセッサ２１０は、Ｓ３１５で特定されたロゴクラスに基づいて、Ｃ個のシートクラス情報からシートクラス情報の候補である候補シートクラス情報を選択する。本実施例では、Ｓ３１５で特定されたロゴクラスが２個のロゴ画像９１０、９２０のいずれかに対応する場合、プロセッサ２１０は、２個のロゴ画像９１０、９２０に対応する２個のシートクラス情報を、候補として採用する。また、本実施例では、利用可能なＣ種類のロゴ画像は、図示しない第３ロゴ画像を含むこととする。そして、Ｓ３１５で特定されたロゴクラスが第３ロゴ画像に対応する場合、プロセッサ２１０は、第３ロゴ画像に対応する１個のシートクラス情報を、候補として採用する。Ｓ３１５で特定されたロゴクラスと、候補シートクラス情報と、の対応関係は、予め決められている。候補シートクラス情報としては、Ｓ３１５で特定されたロゴクラスに照らして適切であり得るシートクラス情報が、採用される。プロセッサ２１０は、ロゴクラスに対応付けられた候補を選択する。
　Ｓ３３５では、プロセッサ２１０は、ユーザインタフェース画面（ＵＩ画面とも呼ぶ）を表示部２４０（図１）に表示する。図１２（Ａ）は、ＵＩ画面の例を示す説明図である。このＵＩ画面６００は、第１ユーザインタフェース画像６１０と、第２ユーザインタフェース画像６２０と、を含んでいる。このＵＩ画面６００は、Ｓ３３０（図９）で選択された候補シートクラス情報の数が２以上である場合の例を示している。
　第１ユーザインタフェース画像６１０は、候補拡張領域ＬＡｅの輪郭ＬＡｅｏの位置をユーザに変更させるためのユーザインタフェース画像である。第１ユーザインタフェース画像６１０は、第１シート９１０Ｌを含む対象画像７００ａと、候補拡張領域ＬＡｅの輪郭ＬＡｅｏと、を示している。ユーザは、操作部２５０（図１）を操作することによって、輪郭ＬＡｅｏを移動させることができる。
　第２ユーザインタフェース画像６２０は、候補拡張領域ＬＡｅの分類（すなわち、ラベルシートの分類）を示すシートクラス情報をユーザに特定させるためのユーザインタフェース画像である。第２ユーザインタフェース画像６２０は、ユーザによって選択可能なシートクラス情報の１以上の候補を示す候補領域６２１と、１以上の候補から選択された１つの候補を示すチェックボックス６２２と、を示している。実線のチェックボックス６２２は、選択可能な候補を示し、破線のチェックボックス６２２は、選択不可能な候補を示している。選択可能な候補は、Ｓ３３０で選択された候補である。
　図１２（Ａ）の例では、第２ユーザインタフェース画像６２０は、４個のシートクラス情報ＣＣ１、ＣＣ２、ＣＣ３、ＣＣ４を示している。第１シートクラス情報ＣＣ１は、第１ロゴ画像９１０（図３（Ｂ））に対応し、第２シートクラス情報ＣＣ２は、第２ロゴ画像９２０に対応し、第３シートクラス情報ＣＣ３は、図示しない第３ロゴ画像に対応し、第４シートクラス情報ＣＣ４は、バーコードを示している。そして、２個のシートクラス情報ＣＣ１、ＣＣ２が選択可能であり、他のシートクラス情報ＣＣ３、ＣＣ４は、選択不可能である。ユーザは、操作部２５０（図１）を操作することによって、選択可能な１以上の候補のうちの１つをチェック（すなわち、選択）できる。なお、Ｓ３３５（図９）では、プロセッサ２１０は、Ｓ３１５で特定されたロゴクラスに対応するシートクラス情報を、デフォルトのシートクラス情報として採用する。そして、プロセッサ２１０は、デフォルトのシートクラス情報が選択された状態の第２ユーザインタフェース画像６２０を表示する。
　図１２（Ｃ）は、Ｓ３３０（図９）で選択された候補シートクラス情報の数が１である場合のＵＩ画面の例を示している。第１ユーザインタフェース画像６１０は、ラベルシート９３０Ｌの画像を含む対象画像７００ｃを示している。ラベルシート９３０Ｌは、第３ロゴ画像９３０を含んでいる。第２ユーザインタフェース画像６２０は、第３シートクラス情報ＣＣ３が選択可能であり、他のシートクラス情報ＣＣ１、ＣＣ２、ＣＣ４は選択不可能であることを示している。
　なお、第２ユーザインタフェース画像６２０において、選択不可能な候補の表示は、省略されてよい。
　Ｓ３４０（図９）では、プロセッサ２１０は、ユーザによる輪郭ＬＡｅｏの位置の変更を受け付ける。図１２（Ｂ）は、変更された輪郭ＬＡｅｏの例を示す説明図である。図１２（Ｂ）の例では、ユーザは、輪郭ＬＡｅｏの４個の辺のそれぞれを、ラベルシート９１０Ｌの輪郭９１０Ｌｏに近づけている。これにより、候補拡張領域ＬＡｅは、ラベルシート９１０Ｌの領域を適切に示すことができる。輪郭ＬＡｅｏの位置がユーザによって変更された場合、プロセッサ２１０は、変更済の位置の輪郭を有する領域を、最終的な拡張領域として決定する。なお、ユーザは、輪郭ＬＡｅｏの位置を変更せずに受け入れる指示を、操作部２５０を操作することによって入力できる。この場合、プロセッサ２１０は、Ｓ３２５で決定された候補拡張領域ＬＡｅを、最終的な拡張領域として決定する。
　Ｓ３４５（図９）では、プロセッサ２１０は、シートクラス情報の選択可能な候補の総数が１であるか否かを判断する。選択可能な候補の数が１よりも大きい場合（Ｓ３４５：Ｎｏ）、Ｓ３５５で、プロセッサ２１０は、ユーザによるシートクラス情報の指定を受け付ける。図１２（Ａ）、図１２（Ｂ）の例では、ユーザは、操作部２５０（図１）を操作することにより、２個のシートクラス情報ＣＣ１、ＣＣ２から１つを選択できる。例えば、Ｓ３１５（図９）で特定されたロゴクラスは、誤りであり得る。すなわち、Ｓ３３５で採用されたデフォルトのシートクラス情報は、誤りであり得る。ユーザは、第１ユーザインタフェース画像６１０に表示されたラベルシートを観察することによって、適切なシートクラス情報を確認できる。そして、ユーザは、操作部２５０を操作することによって、適切なシートクラス情報を指定できる。また、デフォルトのシートクラス情報が正しい場合、ユーザは、デフォルトのシートクラス情報を受け入れる指示を、操作部２５０を操作することによって入力できる。Ｓ３５５の後、プロセッサ２１０は、Ｓ３６０へ移行する。
　シートクラス情報の選択可能な候補の総数が１である場合（Ｓ３４５：Ｙｅｓ）、Ｓ３５０で、プロセッサ２１０は、シートクラス情報を、Ｓ３３０で特定された候補シートクラスに決定する。そして、プロセッサ２１０は、Ｓ３６０へ移行する。
　Ｓ３６０では、プロセッサ２１０は、候補拡張領域ＬＡｅを示す領域情報と、Ｓ３５０またはＳ３５５で決定されたシートクラス情報と、を含むアノテーション情報を示すアノテーションデータを生成する。Ｓ３６５では、プロセッサ２１０は、対象画像データとアノテーションデータとを関連付けて、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。互いに関連付けられた対象画像データとアノテーションデータとの全体は、第２種ラベル付データＬＤ２（図１）を形成する。対象画像データは、第２種学習画像データＤ２１に対応し、アノテーションデータは、ラベルデータＤ２２に対応する。なお、プロセッサ２１０は、ラベル付データＬＤ２を、情報処理装置２００に接続された外部記憶装置（図示せず）に格納してもよい。
　Ｓ３６５の後、プロセッサ２１０は、Ｓ３７０へ移行する。Ｓ３１５でロゴ領域が検出されない場合（Ｓ３２０：Ｎｏ）、プロセッサ２１０は、Ｓ３２５－Ｓ３６５をスキップして、Ｓ３７０へ移行する。Ｓ３７０では、プロセッサ２１０は、全てのシート画像データの処理が完了したか否かを判断する。未処理のシート画像データが残っている場合（Ｓ３７０：Ｎｏ）、プロセッサ２１０は、Ｓ３１０へ移行して、新たな対象画像データの処理を行う。全てのシート画像データの処理が完了した場合（Ｓ３７０：Ｙｅｓ）、プロセッサ２１０は、図９の処理を終了する。これにより、第２種データセットＤＳ２が生成される。なお、情報処理装置２００は、第２種学習画像データＤ２１にラベルデータＤ２２を関連付けるシステムの例である。
Ａ８．シート検出モデルＮＮ２のトレーニング処理：
　図１３は、シート検出モデルＮＮ２（図８（Ａ））のトレーニング処理の例を示すフローチャートである。シート検出モデルＮＮ２は、出力データ７３０が入力画像７００中のラベルシートの画像の適切な領域情報と適切なシートクラス情報とを示すように、トレーニングされる。トレーニングによって、シート検出モデルＮＮ２の演算に用いられる複数の演算パラメータ（複数の層ＣＶ２１－ＣＶ２ｐ、ＣＮ２１－ＣＮ２ｑのそれぞれの演算に用いられる複数の演算パラメータを含む）が、調整される。なお、プロセッサ２１０は、第４プログラム２３４に従って、図１３の処理を行う。
　図１３のトレーニング処理は、トレーニングの対象のモデルがシート検出モデルＮＮ２である点と、トレーニングに用いられるデータセットが第２種データセットＤＳ２である点と、を除いて、図７のトレーニング処理と同じである。図１３のＳ５１０－Ｓ５８０は、図７のＳ２１０－Ｓ２８０と、それぞれ同じである（詳細な説明を省略する）。トレーニングされたシート検出モデルＮＮ２からの出力データ７３０は、ラベルシートの画像の領域を適切に示すとともに高い確信度と適切なクラス確率とを有するバウンディングボックスを示すことができる。なお、プロセッサ２１０は、Ｓ５８０で、シート検出モデルＮＮ２を、記憶装置２１５に格納してよく、これに代えて、情報処理装置２００に接続された外部記憶装置（図示せず）に格納してもよい。
　トレーニングされたシート検出モデルＮＮ２（図８（Ａ））は、プリンタの検査に利用できる。プロセッサ２１０は、シート検出モデルＮＮ２にプリンタの撮影画像データ（例えば、図２（Ａ）、図２（Ｂ）で説明した撮影画像）を入力する。シート検出モデルＮＮ２から出力される出力データ７３０は、撮影画像から検出されたラベルシートの領域を示している。ラベルシートが検出された場合、プリンタの検査結果は合格である。ラベルシートが検出されない場合、プリンタの検査結果は不合格である。
　以上のように、図９の処理では、プロセッサ２１０は、機械学習モデルの例であるシート検出モデルＮＮ２のトレーニングに用いられる第２種学習画像データＤ２１に情報を関連付ける処理を実行する。具体的には、Ｓ３１０では、プロセッサ２１０は、処理対象の画像である対象画像（例えば、対象画像７００ａ（図１０（Ａ）））の対象画像データ（すなわち、第２種学習画像データＤ２１）を取得する。Ｓ３１５では、プロセッサ２１０は、対象画像データを分析することによって、対象画像内から、注目対象物の例であるロゴの画像を示すロゴ領域（例えば、ロゴ領域ＬＡ）を検出する。Ｓ３２５、Ｓ３４０では、プロセッサ２１０は、ロゴ領域とロゴ領域の外側の部分とを含む候補拡張領域ＬＡｅを決定する。Ｓ３６０、Ｓ３６５では、プロセッサ２１０は、拡張領域ＬＡｅを示す領域情報を含むアノテーション情報を示すアノテーションデータ（すなわち、ラベルデータＤ２２）を対象画像データに関連付けて記憶装置２１５に格納する。このように、プロセッサ２１０は、ロゴを示す領域ＬＡに加えて他の領域を含む候補拡張領域ＬＡｅを示す領域情報を、第２種学習画像データＤ２１に関連付けることができる。例えば、図１２（Ａ）、図１２（Ｂ）で説明したように、プロセッサ２１０は、ロゴ画像９１０と他の画像とを含むラベルシート９１０Ｌの領域を示す領域情報Ｄ２２１を、第２種学習画像データＤ２１に対応付けることができる。このような領域情報Ｄ２２１は、ロゴを示す領域に加えて他の領域を含む領域（例えば、ラベルシートの領域）を処理する機械学習モデル（例えば、シート検出モデルＮＮ２）のトレーニングに、適している。
　また、Ｓ３１０（図９）、図１０（Ａ）等で説明したように、注目対象物の画像は、ロゴ画像である。従って、プロセッサ２１０は、ロゴ画像を示す領域に加えて他の領域を含む拡張領域を示す領域情報Ｄ２２１を、第２種学習画像データＤ２１に関連付けることができる。
　また、図１０（Ｂ）等に示すように、Ｓ３１５（図９）で検出される領域は、矩形状の領域である。注目対象物の画像（例えば、ロゴ画像）を示す矩形状の領域の検出には、YOLOに限らず、種々のオブジェクト検出モデルを利用できる（例えば、SSD(Single Shot MultiBox Detector)、R-CNN（Region Based Convolutional Neural Networks）など）。従って、プロセッサ２１０は、領域を適切に検出できる。
　また、拡張領域を決定する処理は、Ｓ３２５（図９）を含んでいる。Ｓ３２５、すなわち、図１１の処理は、図１０（Ｅ）等で説明したように、対象画像データを分析することによって、ロゴ領域ＬＡと同じ領域から拡張領域をロゴ領域ＬＡの外側に向かって拡張する処理を含む。本実施例では、この処理は、プロセッサ２１０によって行われる。また、この処理によって、拡張領域ＬＡｅの候補が決定される。このように、プロセッサ２１０（すなわち、情報処理装置２００）が拡張領域ＬＡｅを拡張するので、情報処理装置２００は、ユーザの負担を軽減できる。
　また、Ｓ３２５、すなわち、図１１の処理は、Ｓ４１０－Ｓ４３０の処理と、Ｓ４４０の処理と、を含んでいる。図１０（Ｄ）等で説明したように、Ｓ４１０－Ｓ４３０の処理では、プロセッサ２１０は、対象画像データを分析することによって、基準以下のエッジ強度値を有するブロックＢＬを、均一ブロックＢＬ１として特定する。エッジ強度値は、対象画像上の位置の変化に対する色の変化の割合の評価値である。ブロックＢＬを均一ブロックＢＬ１として選択するための条件（均一条件とも呼ぶ）は、エッジ強度値が基準以下であること示している。また、図１０（Ｅ）等で説明したように、Ｓ４４０では、プロセッサ２１０は、拡張領域ＬＡｅの輪郭ＬＡｅｏの全体が均一ブロックＢＬ１に含まれるように、拡張領域をロゴ領域ＬＡの外側に向かって拡張する。このように、プロセッサ２１０は、均一ブロックＢＬ１を用いて、適切に拡張領域ＬＡｅを拡張できる。例えば、注目対象物（ここでは、ロゴ画像９１０）と他の要素とを含む大きなオブジェクト（例えば、ラベルシート９１０Ｌ）の領域と、背景領域と、の境界まで、拡張領域ＬＡｅを拡張できる。このように拡張された領域ＬＡｅは、ロゴを示す領域に加えて他の領域を含む大きなオブジェクトの領域を処理する機械学習モデル（例えば、シート検出モデルＮＮ２）のトレーニングに、適している。
　また、拡張領域ＬＡｅを決定する処理は、Ｓ３３５、Ｓ３４０（図９）を含んでいる。Ｓ３３５では、図１２（Ａ）、図１２（Ｂ）等で説明したように、プロセッサ２１０は、候補拡張領域ＬＡｅの輪郭ＬＡｅｏの位置をユーザに変更させるための第１ユーザインタフェース画像６１０を表示部２４０に表示する。Ｓ３４０では、プロセッサ２１０は、ユーザによる変更済の位置の輪郭を有する領域を、拡張領域として決定する。従って、プロセッサ２１０は、ユーザによって変更された輪郭を用いて、適切な拡張領域を決定できる。
　また、Ｓ３５５（図９）が実行される場合には、Ｓ３３５で、図１２（Ａ）等で説明したように、プロセッサ２１０は、拡張領域ＬＡｅの分類（すなわちラベルシートの分類）を示すシートクラス情報をユーザに特定させるための第２ユーザインタフェース画像６２０を表示部２４０に表示する。Ｓ３６０、Ｓ３６５では、プロセッサ２１０は、ユーザによって特定されたシートクラス情報を含むアノテーション情報を示すアノテーションデータを対象画像データに関連付けて記憶装置２１５に格納する。従って、プロセッサ２１０は、適切なシートクラス情報を対象画像データに関連付けることができる。
　また、図１２（Ａ）、図１２（Ｃ）等で説明したように、第２ユーザインタフェース画像６２０は、ユーザによって選択可能なシートクラス情報の１以上の候補を示す候補領域６２１を含んでいる。そして、Ｓ３３０で説明したように、候補領域６２１は、予め決められたＣ個のシートクラス情報のうち、Ｓ３１５で検出されたロゴ領域に含まれるロゴに予め対応付けられた１以上のシートクラス情報を、１以上の候補として示している。例えば、第１ロゴ画像９１０（図１２（Ａ））が検出された場合には、第１ロゴ画像９１０に対応付けられたシートクラス情報ＣＣ１、ＣＣ２が候補である。従って、ユーザは、適切なシートクラス情報を、容易に選択できる。
　また、Ｓ３５０（図９）が実行される場合には、Ｓ３５０で、プロセッサ２１０は、予め決められたＣ個のシートクラス情報のうち、Ｓ３１５で検出されたロゴ領域に含まれるロゴに予め対応付けられた候補シートクラス情報を、アノテーション情報に含めるべきシートクラス情報として決定する。例えば、第３ロゴ画像９３０（図１２（Ｃ））が検出された場合には、Ｓ３３０で、プロセッサ２１０は、第３ロゴ画像９３０に対応付けられた第３シートクラス情報ＣＣ３を、候補として選択する。Ｓ３５０では、プロセッサ２１０は、アノテーション情報に含めるべきシートクラス情報を、第３シートクラス情報ＣＣ３に決定する。そして、Ｓ３６０、Ｓ３６５では、プロセッサ２１０は、決定したシートクラス情報を含むアノテーション情報を示すアノテーションデータを対象画像データに関連付けて記憶装置２１５に格納する。従って、プロセッサ２１０は、適切なシートクラス情報を対象画像データに関連付けることができる。
Ｂ．変形例：
（１）オブジェクト検出モデルのトレーニングのための学習画像データを生成する処理は、図４の処理に代えて、他の種々の処理であってよい。例えば、ロゴ画像をＴ種類の部分領域に分割する処理（Ｓ１１５－Ｓ１２０）は、ロゴ画像データの色分布を分析せずに、予め決められた領域パターン（例えば、第１種領域Ａ１と第２種領域Ａ２とを示す領域パターン）に従ってロゴ画像を分割する処理であってよい。
　Ｓ１２５では、変更後の色は、種々の色であってよい。例えば、変更後の色は、元の色とは異なる予め決められた色であってよい。また、ロゴ画像の色が、網点を用いて表現されている場合に、変更後の色は、元の網点とは異なる網点（例えば、元の線数とは異なる線数）で表現された色であってよい。
　Ｓ１３５－Ｓ１４０で利用可能な背景画像は、単色のベタ画像と、写真と、に限らず、図形、模様など、種々の画像であってよい。また、利用可能な背景画像からは、写真と、単色のベタ画像と、のうちのいずれか１つ、または、両方が、省略されてよい。
　Ｓ１３０では、サイズ変更処理と、縦横比変更処理と、のうちのいずれか１つが省略されてよい。また、Ｓ１３０が省略されてよい。
　Ｓ１２５、Ｓ１３０、Ｓ１３５、Ｓ１４０、Ｓ１４５のうちの１以上の処理のそれぞれにおいて、プロセッサ２１０は、処理内容をランダムに決定するのではなく、予め決められた計画に従って、処理内容を決定してよい。
　ロゴ画像の種類の数Ｃ（すなわち、分類（クラス）の数Ｃ）は、３に限らず、１、２、４など、１以上の種々の数であってよい。
　Ｓ１４０では、複数のロゴ画像が互いに一部分が重なるように配置されてもよい。また、ロゴ画像の一部が削除されてもよい。
　Ｓ１４５では、上記の７個の処理Ｐ１－Ｐ７から任意に選択された１以上の処理が、利用可能な処理から省略されてよい。また、Ｓ１４５が省略されてよい。
　ロゴ画像を検出する機械学習モデルは、図３（Ａ）で説明したＹＯＬＯモデルに限らず、「ＹＯＬＯ　ｖ３」などの改良されたＹＯＬＯモデルであってよい。また、SSD、R-CNN、Fast R-CNN, Faster R-CNN、Mask R-CNNなどの、他のモデルが用いられてよい。
　オブジェクト検出モデルによって検出されるべき対象物は、ロゴの画像に限らず、任意の対象物（例えば、プリンタに装着される部品、バーコードなど）であってよい。そして、図４の処理（または、その変形例の処理）で生成される第１種データセットＤＳ１は、種々のオブジェクト検出モデルのトレーニングに用いられてよい。
（２）機械学習モデルのトレーニングに用いられる画像データに情報を関連付ける処理は、図９の処理に代えて、他の種々の処理であってよい。例えば、ロゴ領域を検出する処理（Ｓ３１５）は、ロゴ検出モデルＮＮ１を用いる処理に代えて、他の種々の処理であってよい。例えば、プロセッサ２１０は、基準のロゴ画像を示す基準ロゴ画像データを用いるパターンマッチングによって、ロゴ領域を検出してもよい。
　拡張領域を決定する処理は、Ｓ３２５、Ｓ３４０の処理に代えて、他の種々の処理であってよい。例えば、プロセッサ２１０は、ロゴ領域と、ロゴ領域に対応付けられた拡張領域と、を示す１枚のテンプレート画像を用いて、拡張領域を決定してよい。具体的には、プロセッサ２１０は、対象画像中のロゴ領域と、テンプレート画像のロゴ領域と、が一致するように、対象画像に対するテンプレート画像の位置を決定する。そして、プロセッサ２１０は、決定された位置のテンプレート画像によって示される拡張領域を、対象画像に適用すべき拡張領域として決定する。
　拡張領域の決定に用いられる注目対象物は、ロゴ画像に限らず、バーコードなど、任意の対象物であってよい。また、注目対象物の画像を示す対象物領域（例えば、ロゴ領域）の形状は、矩形状に代えて、他の任意の形状であってよい。例えば、対象物領域の形状は、三角形、五角形、六角形などの多角形でもよく、円、楕円などの曲線部分を含む輪郭によって定められる形状であってよい。また、対象物領域の形状は、対象物の輪郭によって定められる形状であってよい。
　対象画像上の均一領域を特定する処理は、図１１のＳ４１０－Ｓ４３０の処理に代えて、他の種々の処理であってよい。ここで、均一領域は、均一条件を満たす領域である。均一条件は、対象画像上の位置の変化に対する色の変化の割合が基準以下であることを示す条件である。例えば、ブロックＢＬのエッジ強度値は、位置の変化に対する色の変化の割合を示す種々の値であってよい。エッジ強度値は、例えば、ブロックＢＬ内の最高輝度値と最低輝度値との間の差分であってよい。また、プロセッサ２１０は、対象画像の複数の画素の色値（例えば、輝度値）のヒストグラムを用いて、均一領域を特定してよい。具体的には、プロセッサ２１０は、ヒストグラムの１つの区間に含まれる複数の画素によって形成される連続な１つの領域を、１つの均一領域として特定してよい。この場合、色値が１つの区間に含まれることが、均一条件である。
　図１２（Ａ）－図１２（Ｃ）の実施例では、１個のＵＩ画面６００が、第１ユーザインタフェース画像６１０と第２ユーザインタフェース画像６２０とを示している。すなわち、ＵＩ画面６００を表示部２４０に表示する処理は、第１ユーザインタフェース画像６１０を表示する処理と、第２ユーザインタフェース画像６２０を表示する処理と、を含んでいる。これに代えて、プロセッサ２１０は、第１ユーザインタフェース画像６１０を、第２ユーザインタフェース画像６２０を示す画面とは異なる画面で表示してよい。
　図９のＳ３４０は、省略されてよい。この場合、プロセッサ２１０は、Ｓ３２５で決定された候補拡張領域を、そのまま、最終的な拡張領域として決定してよい。また、ＵＩ画面（図１２（Ａ）－図１２（Ｃ））からは、第１ユーザインタフェース画像６１０は省略されてよい。
　図９のＳ３５０は省略されてよい。例えば、プロセッサ２１０は、Ｓ３１５で特定されたロゴクラスに拘わらずに、Ｓ３３０で複数の候補シートクラス情報を選択し、Ｓ３５５で、ユーザによるシートクラス情報の指定を受け付けてよい。また、Ｓ３５５は省略されてよい。例えば、プロセッサ２１０は、Ｓ３１５で特定されたロゴクラスに拘わらずに、Ｓ３３０でロゴクラスに対応付けられた１個の候補シートクラス情報を選択し、Ｓ３５０で、シートクラス情報を、Ｓ３３０で特定された候補シートクラスに決定してよい。なお、シートクラス情報は、アノテーション情報から省略されてよい。例えば、ラベルシートの種類の数Ｃが１である場合、シートクラス情報が省略されても、第２種データセットＤＳ２を用いる適切なトレーニングが可能である。
　ラベルシートの画像を検出する機械学習モデルは、図８（Ａ）で説明したＹＯＬＯモデルに限らず、YOLO v3、SSD、R-CNN、Fast R-CNN, Faster R-CNN、Mask R-CNNなどの、他のモデルであってよい。
（３）機械学習モデルを用いる検査対象は、プリンタに限らず、スキャナ、複合機、デジタルカメラ、カッティングマシン、携帯端末、などの任意の製品であってよい。また、製品を収容するケースが検査対象であってよい。また、機械学習モデルは、ラベルシートに限らず、他の種々の対象物を検出するようにトレーニングされてよい。例えば、機械学習モデルは、プリンタの撮影画像から、プリンタに装着すべき部品を検出してよい。いずれの場合も、検出対象物（例えば、ラベルシート）の画像が、小さい特徴部分（例えば、ロゴ）の画像を含む場合、特徴部分を含む拡張領域は、検出対象物を示す領域として利用可能である。このような拡張領域を示す領域情報を含むアノテーション情報が、トレーニング用の画像データに関連付けられてよい。このような画像データとアノテーション情報とは、オブジェクト検出モデルに限らず、分類モデルなどの種々の機械学習モデルのトレーニングに、利用されてよい。
（４）機械学習モデルに入力される入力画像データの色空間は、ＲＧＢに代えて、ＣＭＹＫ色空間などの他の色空間であってよい。また、入力画像データは、輝度値によって画像を表現してよい。また、入力画像データは、解像度変換処理、トリミング処理などの種々の画像処理を実行することによって、生成されてよい。
（５）画像データとラベルデータと関連付ける方法は、任意の方法であってよい。例えば、ラベルデータは、ラベルデータに関連付けられた画像データを識別する識別データを含んでよい。また、プロセッサ２１０は、画像データとラベルデータとの対応関係を示すテーブルデータを生成してよい。また、プロセッサ２１０は、互いに関連付けられた画像データとラベルデータとを、１個のデータファイルに格納してよい。
（６）機械学習モデルのトレーニング処理は、図７、図１３の処理に代えて、機械学習モデルに適する種々の方法であってよい。例えば、図７、図１３の実施例において、ロスの算出に用いられる損失関数は、交差エントロピー誤差など、出力データ７３０、８３０とラベルデータとの間の差の評価値を算出する種々の関数であってよい。例えば、オブジェクト検出モデルが用いられる場合には、損失関数は、オブジェクトを示す領域の誤差と、オブジェクトの種類毎の確率の誤差と、に相関を有する損失を算出する種々の関数であってよい。
　また、機械学習モデルに含まれる演算パラメータを調整する方法は、誤差逆伝播法に代えて、目標値を伝播させる方法（Target Propagationとも呼ばれる）など、他の種々の方法であってよい。また、トレーニング完了の条件は、機械学習モデルから出力されるデータと、ラベルデータと、の間の差が小さいことを示す種々の条件であってよい。例えば、確認ロスは、トレーニング完了の条件から省略されてよい。この場合、図７、図１３の処理において、全てのラベル付データが、学習用データセットとして用いられてよい。また、プロセッサ２１０は、作業者から完了指示が入力された場合にトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にトレーニングが完了していないと判断してもよい。作業者は、例えば、確認用データセットを用いて出力される出力データを参照して、トレーニングを終了するか否かを判断してよい。これに代えて、トレーニング完了の条件は、学習ロスの算出と演算パラメータの更新（例えば、Ｓ２４０－Ｓ２５０（図７）、Ｓ５４０－Ｓ５５０（図１３））が、所定回数、繰り返されたことであってよい。
（７）図４のデータセットの生成処理と、図７のトレーニング処理と、図９のアノテーション処理（データセットの生成処理）と、図１３のトレーニング処理と、図示しない検査処理とは、それぞれ、互いに異なる情報処理装置によって実行されてよい。これらの処理から任意に選択された処理が、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータなどの情報処理装置）によって分担されてよい。
　上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１のモデルＮＮ１、ＮＮ２のそれぞれの機能を、専用のハードウェア回路によって実現してもよい。
　また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。
　以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
１００…デジタルカメラ、２００…情報処理装置、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、２３１…第１プログラム、２３２…第２プログラム、２３３…第３プログラム、２３４…第４プログラム、２４０…表示部、２５０…操作部、２７０…通信インタフェース、６１０…第１ユーザインタフェース画像、６２０…第２ユーザインタフェース画像、６２１…候補領域、６２２…チェックボックス、ＤＶ…対象物（プリンタ）、ＤＶｘ…第１プリンタ、ＤＶｙ…第２プリンタ、Ｄｘ…第１方向、Ｄｙ…第２方向

Claims (11)

  1. 　機械学習モデルのトレーニングに用いられる画像データに情報を関連付ける関連付け方法であって、
    　処理対象の画像である対象画像の対象画像データを取得する取得工程と、
    　前記対象画像データを分析することによって、前記対象画像内から、注目対象物の画像を示す対象物領域を検出する検出工程と、
    　前記対象物領域と前記対象物領域の外側の部分とを含む拡張領域を決定する決定工程と、
    　前記拡張領域を示す領域情報を含むアノテーション情報を示すアノテーションデータを前記対象画像データに関連付けて記憶装置に格納する関連付け工程と、
    　を備える、関連付け方法。
  2. 　請求項１に記載の関連付け方法であって、
    　前記注目対象物の画像は、ロゴ画像である、
    　関連付け方法。
  3. 　請求項１または２に記載の関連付け方法であって、
    　前記対象物領域は、矩形状の領域である、
    　関連付け方法。
  4. 　請求項１から３のいずれかに記載の関連付け方法であって、
    　前記決定工程は、情報処理装置が、前記対象画像データを分析することによって、前記対象物領域と同じ領域から前記拡張領域を前記対象物領域の外側に向かって拡張する工程である装置拡張工程を含む、
    　関連付け方法。
  5. 　請求項４に記載の関連付け方法であって、
    　前記装置拡張工程は、
    　　前記情報処理装置が、前記対象画像データを分析することによって、前記対象画像上の位置の変化に対する色の変化の割合が基準以下であることを示す均一条件を満たす領域である均一領域を特定する工程と、
    　　前記情報処理装置が、前記拡張領域の前記輪郭の全体が前記均一領域に含まれるように、前記拡張領域を前記対象物領域の外側に向かって拡張する工程と、
    　を含む、関連付け方法。
  6. 　請求項１から５のいずれかに記載の関連付け方法であって、
    　前記決定工程は、
    　　前記拡張領域の前記輪郭の位置をユーザに変更させるための第１ユーザインタフェース画像を表示装置に表示する工程と、
    　　前記ユーザによる変更済の位置の輪郭を有する領域を、前記拡張領域として決定する工程と、
    を含む、
    　関連付け方法。
  7. 　請求項１から６のいずれかに記載の関連付け方法であって、さらに、
    　前記拡張領域の分類を示すクラス情報をユーザに特定させるための第２ユーザインタフェース画像を表示装置に表示する工程を備え、
    　前記関連付け工程は、前記ユーザによって特定されたクラス情報を含む前記アノテーション情報を示す前記アノテーションデータを前記対象画像データに関連付けて前記記憶装置に格納する、
    　関連付け方法。
  8. 　請求項７に記載の関連付け方法であって、
    　前記第２ユーザインタフェース画像は、前記ユーザによって選択可能なクラス情報の１以上の候補を示す候補領域を含み、
    　前記候補領域は、予め決められた複数のクラス情報のうち、前記検出された対象物領域に含まれる前記注目対象物に予め対応付けられた１以上のクラス情報を、前記１以上の候補として示している、
    　関連付け方法。
  9. 　請求項１から６のいずれかに記載の関連付け方法であって、
    　前記関連付け工程では、情報処理装置が、予め決められた複数のクラス情報のうち、前記検出された対象物領域に含まれる前記注目対象物に予め対応付けられたクラス情報を含む前記アノテーション情報を示す前記アノテーションデータを前記対象画像データに関連付けて前記記憶装置に格納する、
    　関連付け方法。
  10. 　機械学習モデルのトレーニングに用いられる画像データに情報を関連付けるシステムであって、
    　処理対象の画像である対象画像の対象画像データを取得する取得部と、
    　前記対象画像データを分析することによって、前記対象画像内から、注目対象物の画像を示す対象物領域を検出する検出部と、
    　前記対象物領域と前記対象物領域の外側の部分とを含む拡張領域を決定する決定部と、
    　前記拡張領域を示す領域情報を含むアノテーション情報を示すアノテーションデータを前記対象画像データに関連付けて記憶装置に格納する関連付け部と、
    　を備える、システム。
  11. 　機械学習モデルのトレーニングに用いられる画像データに情報を関連付けるコンピュータのためのコンピュータプログラムであって、
    　処理対象の画像である対象画像の対象画像データを取得する取得機能と、
    　前記対象画像データを分析することによって、前記対象画像内から、注目対象物の画像を示す対象物領域を検出する検出機能と、
    　前記対象物領域と前記対象物領域の外側の部分とを含む拡張領域を決定する決定機能と、
    　前記拡張領域を示す領域情報を含むアノテーション情報を示すアノテーションデータを前記対象画像データに関連付けて記憶装置に格納する関連付け機能と、
    　をコンピュータに実現させる、コンピュータプログラム。
PCT/JP2021/044428 2020-12-09 2021-12-03 方法、システム、および、コンピュータプログラム WO2022124224A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/331,511 US20230316697A1 (en) 2020-12-09 2023-06-08 Association method, association system, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020203995A JP2022091269A (ja) 2020-12-09 2020-12-09 方法、システム、および、コンピュータプログラム
JP2020-203995 2020-12-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/331,511 Continuation US20230316697A1 (en) 2020-12-09 2023-06-08 Association method, association system, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2022124224A1 true WO2022124224A1 (ja) 2022-06-16

Family

ID=81973237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044428 WO2022124224A1 (ja) 2020-12-09 2021-12-03 方法、システム、および、コンピュータプログラム

Country Status (3)

Country Link
US (1) US20230316697A1 (ja)
JP (1) JP2022091269A (ja)
WO (1) WO2022124224A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11947893B1 (en) * 2023-06-20 2024-04-02 Microsoft Technology Licensing, Llc Integrating multiple slides for a presentation using a generated common background

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825655B1 (en) * 2010-12-07 2014-09-02 Google Inc. Automatic learning of logos for visual recognition
JP2020035116A (ja) * 2018-08-29 2020-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 寄与度決定方法、寄与度決定装置及びプログラム
JP2020101927A (ja) * 2018-12-20 2020-07-02 カシオ計算機株式会社 画像識別装置、識別器学習方法、画像識別方法及びプログラム
JP2020107254A (ja) * 2018-12-28 2020-07-09 株式会社ＡＩ−ｆｅｅｄ 画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825655B1 (en) * 2010-12-07 2014-09-02 Google Inc. Automatic learning of logos for visual recognition
JP2020035116A (ja) * 2018-08-29 2020-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 寄与度決定方法、寄与度決定装置及びプログラム
JP2020101927A (ja) * 2018-12-20 2020-07-02 カシオ計算機株式会社 画像識別装置、識別器学習方法、画像識別方法及びプログラム
JP2020107254A (ja) * 2018-12-28 2020-07-09 株式会社ＡＩ−ｆｅｅｄ 画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル

Also Published As

Publication number Publication date
JP2022091269A (ja) 2022-06-21
US20230316697A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US7454040B2 (en) Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
JP2022091270A (ja) 方法、システム、および、コンピュータプログラム
US8861845B2 (en) Detecting and correcting redeye in an image
TWI467515B (zh) 掃描文件之彩色捨去
US7620251B2 (en) Apparatus for selecting image of specific scene, program therefor, and recording medium storing the program
JP4335476B2 (ja) 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法
US8391595B2 (en) Image processing method and image processing apparatus
JP4708909B2 (ja) デジタル画像の対象物検出方法および装置並びにプログラム
US8995761B2 (en) Image processing apparatus, image processing method, and computer-readable medium
US9305208B2 (en) System and method for recognizing offensive images
US9667833B2 (en) History generating apparatus and history generating method
US9131193B2 (en) Image-processing device removing encircling lines for identifying sub-regions of image
WO2022124224A1 (ja) 方法、システム、および、コンピュータプログラム
US8482812B2 (en) Image processing apparatus for detecting object from image and method thereof
US9509870B2 (en) Image processing apparatus, image processing method, and storage medium enabling layout varations
JP2007116419A (ja) 原稿使用色特定方法、画像処理装置およびプログラム
JP2019140538A (ja) 画像処理装置、画像形成装置、画像処理方法、及びプログラム
JP4998496B2 (ja) 画像処理装置、情報処理装置および画像読取装置
WO2023013546A1 (ja) コンピュータプログラム、生成装置、および、生成方法
US20220415025A1 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium storing program, and system
JP2009230556A (ja) オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
JP5609573B2 (ja) ドライバープログラム、および、印刷システム
JP2005184403A (ja) 画像処理装置
JP2008293135A (ja) 画像処理装置及び方法
JP2004030052A (ja) 辞書生成装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903328

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21903328

Country of ref document: EP

Kind code of ref document: A1