WO2024116309A1 - 画像生成装置、学習装置、画像生成方法、およびプログラム - Google Patents

画像生成装置、学習装置、画像生成方法、およびプログラム Download PDF

Info

Publication number
WO2024116309A1
WO2024116309A1 PCT/JP2022/044109 JP2022044109W WO2024116309A1 WO 2024116309 A1 WO2024116309 A1 WO 2024116309A1 JP 2022044109 W JP2022044109 W JP 2022044109W WO 2024116309 A1 WO2024116309 A1 WO 2024116309A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
region
label
area
Prior art date
Application number
PCT/JP2022/044109
Other languages
English (en)
French (fr)
Inventor
重哲 並木
雄治 岩舘
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/044109 priority Critical patent/WO2024116309A1/ja
Publication of WO2024116309A1 publication Critical patent/WO2024116309A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a technology for generating images to be used as training data.
  • Non-Patent Document 1 describes a technology for generating images to be used as training data by pasting, as the foreground, an area in a medical image in which a margin has been added to a lesion area, onto another medical image that serves as the background.
  • the pixel values of the margin in the foreground are smoothly changed before being pasted onto the medical image that serves as the background.
  • Non-Patent Document 1 adds a margin that follows the shape of the lesion area. Therefore, when machine learning is performed using medical images generated by this technology as training data, there is a possibility that the margin that follows the shape of the lesion area and the characteristics of discontinuity at the border of the background will be learned. For example, an image recognition model trained using medical images generated by this technology as training data may recognize an area that is similar in shape to a lesion area and has discontinuity at the border of the area as a lesion area, even if the area does not contain a lesion. Thus, there is a problem with the training data generated by the technology described in Non-Patent Document 1 in that the processing characteristics remaining in the training data affect the accuracy of machine learning.
  • One aspect of the present invention has been made in consideration of the above problems, and one example of its purpose is to provide a technology that reduces the impact that processing characteristics remaining in training data have on the accuracy of machine learning.
  • An image generating device includes a setting means for randomly setting processing parameters, a processing means for processing one or both of a first image and a second image in accordance with the processing parameters, and a generating means for generating a third image that serves as training data for machine learning by pasting the first image onto the second image.
  • An image generation method includes one or more processors randomly setting processing parameters, processing one or both of a first image and a second image according to the processing parameters, and generating a third image that serves as training data for machine learning by pasting the first image onto the second image.
  • a program causes one or more processors to function as: a setting means for randomly setting processing parameters; a processing means for processing one or both of a first image and a second image in accordance with the processing parameters; and a generating means for generating a third image that serves as training data for machine learning by pasting the first image onto the second image.
  • FIG. 1 is a block diagram showing a configuration of an image generating device according to a first exemplary embodiment.
  • 1 is a flow diagram showing the flow of an image generation method according to exemplary embodiment 1.
  • FIG. FIG. 11 is a block diagram illustrating a configuration of an information processing system according to a second exemplary embodiment.
  • FIG. 11 is a flow diagram illustrating the flow of an image generation method according to the second exemplary embodiment.
  • 1 is a schematic diagram showing an example of a first region, a second region, and an extended medical image.
  • FIG. 13 is a schematic diagram showing an example of setting the transparency.
  • 11 is a schematic diagram showing an example of an expanded medical image to which a dummy region is pasted.
  • FIG. FIG. 13 is a schematic diagram showing an example of setting the transparency.
  • FIG. 11 is a block diagram showing an example of the hardware configuration of an image generating device according to each exemplary embodiment and a learning device according to exemplary embodiment 2.
  • Example embodiment 1 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS
  • This exemplary embodiment is a basic form of the exemplary embodiments described below.
  • Fig. 1 is a block diagram showing the configuration of the image generating device 1.
  • the image generating device 1 includes a setting unit 11, a processing unit 12, and a generating unit 13.
  • the setting unit 11 is an example of a configuration that realizes the setting means recited in the claims.
  • the processing unit 12 is an example of a configuration that realizes the processing means recited in the claims.
  • the generating unit 13 is an example of a configuration that realizes the generating means recited in the claims.
  • the setting unit 11 randomly sets processing parameters.
  • the processing unit 12 processes one or both of the first image and the second image in accordance with the processing parameters.
  • the generating unit 13 generates a third image that serves as training data for machine learning by pasting the first image onto the second image.
  • the following program is stored in the computer memory.
  • the program causes the computer to function as a setting unit 11 that randomly sets processing parameters, a processing unit 12 that processes one or both of a first image and a second image in accordance with the processing parameters, and a generating unit 13 that generates a third image that serves as training data for machine learning by pasting the first image onto the second image.
  • Fig. 2 is a flow diagram showing the flow of the image generating method S1.
  • the image generating method S1 includes a setting step S11, a processing step S12, and a generating step S13.
  • the setting unit 11 randomly sets processing parameters.
  • the processing unit 12 processes one or both of the first image and the second image according to the processing parameters.
  • the generating unit 13 generates a third image that serves as training data for machine learning by pasting the first image onto the second image.
  • the image generating device 1 and the image generating method S1 according to the present exemplary embodiment are configured to randomly set processing parameters, process one or both of the first image and the second image according to the set processing parameters, and paste the first image onto the second image to generate a third image that serves as training data for machine learning. Therefore, according to the present exemplary embodiment, it is possible to obtain an effect of suppressing the influence of the processing characteristics of the training data on the accuracy of machine learning.
  • the information processing system 100 is a system for performing machine learning of an image recognition model ML for medical images.
  • a medical image including an area showing a lesion (hereinafter also referred to as a lesion area) is required as training data.
  • the information processing system 100 generates an extended medical image by extending a medical image including a lesion area, and performs machine learning using the original medical image and the generated extended medical image as training data.
  • components having the same functions as those described in the first exemplary embodiment are given the same reference numerals, and their description will be omitted as appropriate.
  • training data is medical images with labels associated with them on a pixel-by-pixel basis.
  • the labels are assumed to be 1, indicating a lesion, 0, indicating no lesion, or a value between 0 and 1, indicating the degree of lesion.
  • the image recognition model ML trained using the training data is assumed to be a model that executes a segmentation task to recognize lesion areas on a pixel-by-pixel basis.
  • Fig. 3 is a block diagram illustrating the configuration of the information processing system 100.
  • the information processing system 100 includes an image generating device 1A, a learning device 2, an image storage device 3, and an extended image storage device 4.
  • the image generating device 1A is connected to the image storage device 3 and the extended image storage device 4 so as to be able to read and write information.
  • the learning device 2 is connected to the image storage device 3 and the extended image storage device 4 so as to be able to read information. Note that these devices may be connected to each other so as to be able to communicate with each other via a network.
  • the image storage device 3 stores a plurality of medical images IMG1, IMG2, IMG3, ..., which are images of a specific part of the human body.
  • medical images include, but are not limited to, endoscopic images, ultrasound images, CT (Computed Tomography) images, MRI (Magnetic Resonance Imaging) images, etc.
  • specific parts of the human body include, but are not limited to, the intestines, stomach, esophagus, lungs, head, etc. All of the multiple medical images are medical images of the same specific type (e.g., endoscopic images) which are images of the same specific part (e.g., the intestines).
  • the multiple medical images include medical images that include lesion areas and medical images that do not include lesion areas.
  • a label is associated with each medical image.
  • a label is associated with each pixel of the medical image; for example, each pixel included in a lesion area is associated with a label of "1" indicating a lesion, and each pixel included in other areas is associated with a label of "0" indicating no lesion.
  • Each medical image that includes a lesion area can be an example of a first image as described in the claims.
  • each medical image, regardless of whether it includes a lesion area can be an example of a second image.
  • the first image will be referred to as a foreground image
  • the second image will be referred to as a background image.
  • the extended image storage device 4 stores the extended medical images Aug-IMG1, Aug-IMG2, Aug-IMG3, ... generated by the image generating device 1A. When there is no need to distinguish between the extended medical images Aug-IMG1, Aug-IMG2, Aug-IMG3, ..., they will each simply be referred to as an extended medical image.
  • An extended medical image is an example of the third image described in the claims.
  • the multiple augmented medical images include lesion areas.
  • Each augmented medical image is associated with a label determined by image generating device 1A.
  • a label is determined and associated with each pixel of the augmented medical image.
  • the image generating device 1A includes a control unit 110 and a storage unit 120.
  • the control unit 110 controls each unit of the image generating device 1A.
  • the storage unit 120 stores programs for the control unit 110 to function and various data used by the control unit 110.
  • the storage unit 120 stores constraint information.
  • the constraint information is information that indicates constraints on the pasting position according to a specific part included as a subject in the medical image.
  • the control unit 110 includes a setting unit 11A, a processing unit 12A, a generating unit 13A, a determining unit 14A, and a pre-processing unit 15A.
  • the determining unit 14A is an example of a configuration that realizes the determining means described in the claims.
  • the setting unit 11A is configured in the same manner as the setting unit 11, and is also configured as follows. That is, the setting unit 11A randomly sets processing parameters including at least one of (1) parameters specifying the shape of one or both of the first and second regions, (2) parameters defining the size of one or both of the first and second regions, and (3) parameters defining image processing.
  • image processing is smoothing or transparency.
  • An example of a parameter defining image processing is a parameter defining the type of algorithm for performing image processing (e.g., the type of smoothing filter, etc.).
  • Another example of a parameter defining image processing is a parameter defining the mode of image processing (e.g., the mode of alpha blending).
  • Another example of a parameter defining image processing is a parameter defining the strength of image processing (e.g., the kernel size of the smoothing filter, the transparency of alpha blending).
  • the parameters defining image processing are not limited to the above examples.
  • the first region is a region that includes the boundary of a lesion region in the foreground image that is associated with a label indicating a lesion.
  • the second region is a region that includes the boundary of a region that the lesion region will overlap when the foreground image is pasted into the background image.
  • the label indicating a lesion is an example of a "predetermined label” as described in the claims.
  • the lesion region is an example of a "predetermined region associated with a predetermined label.”
  • Processing unit 12A is configured similarly to processing unit 12, but is also configured as follows. That is, processing unit 12A processes one or both of the foreground image and the background image by performing image processing on one or both of the first region and the second region. Processing unit 12 may perform either the smoothing or transparency described above, or both, as the image processing performed on one or both of the first region and the second region. In this embodiment, the processing unit 12 will be described as performing both smoothing and transparency.
  • Generation unit 13A is configured similarly to generation unit 13, and is also configured as follows. That is, generation unit 13A determines a label to be associated with the generated augmented medical image by referring to the label associated with the foreground image. Also, for example, generation unit 13A determines a label to be associated with the generated augmented medical image by referring to the label associated with the background image and processing parameters in addition to the label associated with the foreground image.
  • the determination unit 14A determines the position in the background image where the foreground image is to be pasted by referring to the background image. In addition to referring to the background image, the determination unit 14A also determines the position in the background image where the foreground image is to be pasted by further referring to constraint information that indicates constraints on the pasting position according to a specified part. Hereinafter, the pasting position is also referred to as the "paste position.”
  • the pre-processing unit 15A applies image processing to one or both of the foreground image and the background image.
  • the image processing applied by the pre-processing unit 15A is different from the image processing applied by the processing unit 12A, and is executed before the image processing applied by the processing unit 12A.
  • the image processing applied by the pre-processing unit 15A is also referred to as pre-processing.
  • the learning device 2 includes a control unit 210 and a memory unit 220.
  • the control unit 210 controls each unit of the learning device 2.
  • the memory unit 220 stores programs for the control unit 210 to function and various data used by the control unit 210.
  • the control unit 210 includes a learning unit 21.
  • the learning unit 21 learns an image recognition model ML using teacher data generated using the image generating device 1A.
  • the memory unit 220 stores the image recognition model ML.
  • Fig. 4 is a flow diagram illustrating the flow of the image generating method S1. As shown in Fig. 4, the image generating method S1A includes steps S101 to S111.
  • step S101 the control unit 110 selects and reads a foreground image from among the medical images stored in the image storage device 3. Specifically, the control unit 110 selects, as the foreground image, a medical image that includes a lesion area (in other words, a medical image that includes pixels associated with a label indicating a lesion).
  • the pre-processing unit 15A performs pre-processing on the foreground image.
  • pre-processing include, but are not limited to, geometric image processing, optical image processing, and noise addition.
  • various known techniques used to generate other teacher data from an image that serves as teacher data can be adopted.
  • the pre-processing unit 15A changes the label as necessary in accordance with the pre-processing.
  • the pre-processing is geometric image processing
  • the pre-processing unit 15A associates a label associated with a pixel before deformation with a pixel after deformation corresponding to the pixel before deformation in accordance with the geometric deformation of the medical image.
  • Such pre-processing is performed based on predetermined parameters.
  • step S103 the control unit 110 selects and reads a background image to which the image will be pasted from among the medical images stored in the image storage device 3.
  • the background image may be any image different from the foreground image, and may be an image that includes or does not include a lesion area.
  • step S104 the pre-processing unit 15A performs pre-processing on the background image.
  • the details of the pre-processing are the same as those of step S102, and therefore will not be described in detail again. Note that the processing of steps S101 to S102 and the processing of steps S103 to S104 may be performed in parallel, or may be performed in the reverse order.
  • step S105 the determination unit 14A determines the paste position of the foreground image in the background image by referring to the background image and constraint information corresponding to a specified part.
  • the determination unit 14A may also determine the paste position by referring to the lesion area in the foreground image in addition to the background image and constraint information.
  • the constraint information is information indicating constraints on the paste position corresponding to a specified part included as a subject in the medical image.
  • the constraint information may be stored in the storage unit 120 or in an external device.
  • the image storage device 3 stores an endoscopic image of the intestine as a medical image. That is, the predetermined portion is the intestine.
  • the contract information is information indicating constraints on the paste position according to the endoscopic image of the intestine.
  • the endoscopic image of the intestine may include an area showing the intestinal wall and an area showing the intestinal tract. The area showing the intestinal tract is often low in brightness because an area with depth is photographed compared to the area showing the intestinal wall, and it is unlikely that such a low-brightness area includes a lesion area. Therefore, such an area showing the intestine is not appropriate as an area for pasting a lesion area.
  • the endoscopic image is a rectangular image including a circular area photographed by the endoscope. Therefore, the endoscopic image may include an area showing the outside of the shooting range in at least one of the four corners. Such an area showing the outside of the shooting range is also not appropriate as an area for pasting a lesion area.
  • the constraint information includes information indicating an area in which it is inappropriate to paste a lesion area (hereinafter, also referred to as an unpasteurizable area).
  • the information indicating the unpasteurizable area may be a mask image.
  • the mask image may be an image in which the areas at the four corners of the image that are outside the endoscopic imaging range are masked, and an area near the center of the image that is likely to represent the intestinal tract is masked.
  • the information indicating the unpasteurable area may be an image recognition model that recognizes the unpasteurable area.
  • an image recognition model for example, a model that has been trained separately by machine learning can be used.
  • the determination unit 14 refers to the background image and the constraint information to identify the non-pasteable areas in the background image.
  • the determination unit 14 also determines the paste position of the foreground image in the background image such that the lesion area in the foreground image is pasted into an area other than the non-pasteable areas in the background image.
  • the determination unit 14 also refers to the shape and size of the lesion area in the foreground image. Note that the determination unit 14 randomly determines the paste position of the lesion area other than the non-pasteable areas.
  • step S106 the setting unit 11A determines (1) parameters that specify the shape of one or both of the first region in the foreground image and the second region in the background image, (2) parameters that define the size of one or both of the first region and the second region, and (3) parameters that define the image processing.
  • FIG. 5 is a schematic diagram showing an example of the first region, the second region, and an expanded medical image.
  • an image IMG1 is a medical image selected as a foreground image.
  • an area surrounded by a boundary R1a indicates a lesion area. That is, a label indicating a lesion is associated with each pixel inside the boundary R1a.
  • the first region is set as an area including the boundary R1a of the lesion area in the image IMG1.
  • the first region is an annular region with the boundary R1a as the inner boundary and the boundary R1b (or R1c, R1d) as the outer boundary.
  • Such an annular first region is also called a margin.
  • image IMG2 is a medical image selected as the background image.
  • the second region is set as a region including boundary R2a.
  • Boundary R2a is the boundary of the region that the lesion region will overlap when image IMG1 is pasted at the paste position in image IMG2.
  • the second region is a ring-shaped region with boundary R2a as the inner boundary and boundary R2b (or R2c, R2d) as the outer boundary.
  • boundary R2a as the inner boundary
  • boundary R2b or R2c, R2d
  • FIG. 5 also shows an example in which the second area is set to be the same area as the area where the first area overlaps.
  • boundaries R1b, R1c, and R1d in image IMG1 and boundaries R2b, R2c, and R2d in image IMG2 overlap when image IMG1 is pasted onto image IMG2 at the paste position.
  • the setting unit 11A may randomly determine one of a number of shapes predefined as the shape of the margin.
  • predefined shapes include a rectangle like the boundary R1b, an ellipse like the boundary R1c, and an arbitrary shape like the boundary R1d.
  • the arbitrary shape may be, for example, a shape indicated by the boundary R1d that connects points that are a randomly set distance away from each point on the boundary R1a of the lesion area. In this case, the distance from a certain point on the boundary R1a to the boundary R1d may be different from the distance from another point on the boundary R1a to the boundary R1d.
  • the boundary R1d that is set in this way may be an arbitrary shape surrounded by a curved line with projections and recesses as shown in FIG. 5.
  • Other types of predefined shapes include, but are not limited to, various polygons, shapes similar to the lesion area, and the like.
  • the setting unit 11A may randomly determine a numerical value within a predetermined numerical range as the size of the margin.
  • the parameters to be determined as the size and the numerical range thereof may be determined in advance according to the shape of the margin.
  • the parameters to be determined as the size are the length and width for a rectangle, the major axis and minor axis for an ellipse, the distance from each point on the boundary R1a of the lesion area for any of the shapes mentioned above, etc.
  • the setting unit 11A may randomly determine the position of the margin as yet another processing parameter. By randomly setting the position of the margin, it is not necessary for the margin to include the lesion area approximately in the center. For example, a case will be described in which the direction from left to right in FIG. 5 is the positive direction of the x-axis, and the direction from bottom to top is the positive direction of the y-axis, and the shape of the margin is rectangular.
  • the distance d1 from the point with the smallest x-coordinate on the boundary R1a of the lesion area to the point with the smallest x-coordinate on the boundary R1b outside the margin, and the distance d2 from the point with the largest x-coordinate on the boundary R1a to the point with the largest x-coordinate on the boundary R1b are determined randomly. These do not necessarily have to be equal. The same applies to the y-axis direction. The same applies to margins of other shapes.
  • the setting unit 11A randomly sets the type of smoothing filter that performs smoothing as a processing parameter.
  • the setting unit 11A may set one of a plurality of types of smoothing filters (e.g., Gaussian filter, moving average filter, median filter, etc.) that are determined in advance to be selected at random.
  • the setting unit 11A randomly sets a parameter that defines the strength of the set smoothing filter.
  • the setting unit 11A may set the kernel size used in the smoothing filter by randomly selecting a numerical value within a predetermined numerical range.
  • the setting unit 11A randomly sets the mode of alpha blending that performs transparency.
  • the setting unit 11A may set one of a plurality of predefined modes (e.g., multiplication, addition, etc.) by randomly selecting it.
  • the setting unit 11A randomly sets a parameter that specifies the intensity of the set mode.
  • the setting unit 11A sets the transparency used in that alpha blending mode for each pixel of the margin in the foreground image and each pixel of the margin in the background image.
  • FIG. 6 is a schematic diagram showing an example of setting the transparency.
  • the horizontal axis indicates the x-axis in the foreground image and background image
  • the vertical axis indicates the transparency.
  • the setting unit 11A sets the minimum value (i.e., opaque) as the transparency for each pixel in the lesion area (inside the boundary R1a) in the foreground image.
  • the setting unit 11A also sets the maximum value (i.e., transparent) as the transparency for each pixel in the area (outside the boundary R1b) outside the margin (first area shown in FIG. 6) in the foreground image.
  • the setting unit 11A also sets the transparency for each pixel in the margin in the foreground image so that the closer to the inner boundary R1a the pixel is, the closer to the minimum value, and the closer to the outer boundary R1b the pixel is, the closer to the maximum value, that is, so that the transparency changes from opaque to transparent from the inside to the outside.
  • the setting unit 11A also sets the maximum value (i.e. transparent) as the transparency for each pixel in the region (inside boundary R2a) where the lesion overlaps in the background image.
  • the setting unit 11A also sets the minimum value (i.e. opaque) as the transparency for each pixel in the region (outside boundary R2b) outside the margin (second region shown in FIG. 6) in the background image.
  • the setting unit 11A also sets the transparency for each pixel in the margin in the background image so that the closer it is to the inner boundary R2a, the closer it is to the maximum value, and the closer it is to the outer boundary R2b, the closer it is to the minimum value, that is, so that the transparency changes from transparent to opaque from the inside to the outside.
  • processing unit 12A performs image processing on the foreground image using the processing parameters randomly set in step S106. For example, processing unit 12A smooths the margins in the foreground image using the set type of smoothing filter and kernel size. Processing unit 12A also calculates pixel values for alpha blending with the background image based on the transparency set for the foreground image.
  • step S108 the processing unit 12A performs image processing on the background image using the processing parameters randomly set in step S106.
  • a specific example of the image processing is similar to that in step S107, and therefore will not be described in detail again. Note that the processing in steps S107 to S108 may be performed in parallel or in the reverse order.
  • processing unit 12A performs image processing on the foreground image and background image to align their image quality.
  • image processing to align image quality include, but are not limited to, color correction processing to align color tones and blur processing to align the degree of blur.
  • processing unit 12A refers to the color tone of the foreground image and the color tone of the background image, and performs color correction processing on the foreground image and the background image to align them.
  • processing unit 12A refers to the degree of blur of the foreground image and the degree of blur of the background image, and performs blur processing on the foreground image and the background image to align them.
  • step S110 the generating unit 13A generates an extended medical image by executing a process of pasting the processed foreground image onto the processed background image.
  • the pasting process may be, for example, a process of adding each pixel value of the processed foreground image to each pixel value of the processed background image.
  • the extended medical image will be described with reference to FIG. 5.
  • the extended medical image Aug-IMG1 is generated by pasting an image IMG1 after image processing using a margin defined by the boundary R1b onto an image IMG2 after image processing using a margin defined by the boundary R2b.
  • the extended medical image Aug-IMG2 is generated by pasting an image IMG1 after image processing using a margin defined by the boundary R1c onto an image IMG2 after image processing using a margin defined by the boundary R2c.
  • the augmented medical image Aug-IMG3 is generated by pasting an image IMG1 that has been subjected to image processing using a margin defined by the boundary R1d onto an image IMG2 that has been subjected to image processing using a margin defined by the boundary R2d.
  • different augmented medical images Aug-IMG1 to Aug-IMG3 are generated from the same images IMG1 and IMG2 using processing parameters that are set randomly.
  • step S111 the generation unit 13A determines a label to be associated with each pixel of the augmented medical image by referring to the label associated with the foreground image, the label associated with the background image, and the processing parameters.
  • the generation unit 13A determines the label that was associated with each pixel of the lesion area in the foreground image as the label to be associated with each pixel of the lesion area in the extended medical image.
  • the generation unit 13A determines the label that was associated with each pixel outside the margin in the background image as the label to be associated with each pixel outside the margin on the extended medical image. Also, the generation unit 13A determines a label according to the transparency set for the margin in the foreground image as the label to be associated with each pixel of the margin in the extended medical image. Specifically, for each pixel, the generation unit 13A calculates a value between 0 and 1 as a label such that the lower the transparency (the closer to opaque), the closer it is to "1," which indicates a lesion, and the higher the transparency (the closer to transparent), the closer it is to "0,” which indicates no lesion.
  • each pixel in the lesion area in the augmented medical image is associated with a label indicating the lesion. Additionally, each pixel in the margin in the augmented medical image is associated with a label that approaches 0 from 1 going from the inside to the outside. Additionally, each pixel outside the margin in the augmented medical image is associated with the label that was associated with the original background image.
  • the generation unit 13A also stores the augmented medical image with the associated label in the augmented image storage device 4.
  • the augmented medical image includes the lesion area and serves as positive training data for training the image recognition model ML.
  • the image generating device 1A repeats the processing of steps S101 to S111 until a predetermined termination condition is met. As a result, multiple augmented medical images are generated and stored in the augmented image storage device 4.
  • the predetermined termination condition may be, but is not limited to, the number of generated augmented medical images exceeding a threshold, the processing time exceeding a threshold, etc.
  • the learning unit 21 in the learning device 2 trains the image recognition model ML using medical images stored in the image storage device 3 and extended medical images stored in the extended image storage device 4.
  • a configuration is adopted in which a label to be associated with an augmented medical image is determined by referring to a label associated with a foreground image. In this way, when a lesion area is included in the foreground image, the generated augmented medical image can be used as positive training data for the lesion area.
  • this exemplary embodiment employs a configuration in which one or both of the foreground and background images are processed by performing image processing on a margin in the foreground image that includes the boundary of the lesion area, and on a margin in the background image that includes the boundary of the area that the lesion area will overlap when the foreground image is pasted. This makes it possible to set a margin that is an area for reducing the effects of processing that remains in the augmented medical image.
  • a configuration is adopted in which, in addition to the label associated with the foreground image, the label to be associated with the augmented medical image is determined by referring to the label associated with the background image and randomly set processing parameters.
  • a margin area in the augmented medical image can be associated with a label that changes from a label indicating a lesion to a label indicating no lesion, moving from the inside to the outside. As a result, it is possible to reduce the learning of margin features as lesion features.
  • the processing parameters include at least one of the following: (1) a parameter that specifies the shape of the margin, (2) a parameter that specifies the size of one or both of the margins, and (3) a parameter that specifies image processing.
  • a configuration is adopted in which the image processing applied to the margin is smoothing or transparency. This allows the margin to be smoothed and transparent, and reduces the possibility that the margin characteristics will be learned as the characteristics of the lesion.
  • this exemplary embodiment employs a configuration in which the position in the background image where the foreground image is to be pasted is determined by referencing the background image. This allows the foreground image to be pasted in an appropriate position according to the background image.
  • the foreground image and background image are medical images of a specific part of the human body, and the position at which the foreground image is pasted in the background image is determined by further referring to constraint information that indicates constraints on the pasting position according to the specific part. This makes it possible to paste the foreground image, which is a medical image, in an appropriate position in the background image, which is a medical image.
  • the image generating device 1A can be modified to generate training data in which a non-lesion dummy area is pasted in addition to generating training data in which a lesion area is pasted.
  • the margin in the foreground image is an area including the boundary of the dummy area that is not associated with a label indicating a lesion.
  • the margin in the background image is the same area as the area overlapping the margin in the foreground image.
  • step S101 the control unit 110 selects any one of the medical images stored in the image storage device 3 as a foreground image.
  • the foreground image may or may not include a lesion area.
  • step S105 the setting unit 11A operates in a manner similar to that of step S105 described above, except for the following points.
  • the setting unit 11A randomly determines a dummy region in the foreground image to which a label indicating that it is not a lesion is associated.
  • the dummy region only needs to be associated with a label indicating that it is not a lesion, and the position, shape, and size of the dummy region may be determined randomly.
  • step S111 the generation unit 13A operates in a manner similar to that of step S111 described above, with the following differences.
  • the generation unit 13A determines "0", indicating no lesion, as the label to be associated with each pixel of the dummy region and margin in the extended medical image.
  • the generation unit 13A determines the label that was associated with each pixel outside the margin in the background image as the label to be associated with each pixel outside the margin in the extended medical image.
  • the image generation method S1A according to this modified example can be explained in the same manner as the image generation method S1A according to the above-mentioned exemplary embodiment 2, except that "lesion area” is replaced with "dummy area”.
  • step S111 an expanded medical image that does not include a lesion area is generated as negative training data.
  • FIG. 7 is a schematic diagram showing an example of an extended medical image with a dummy area pasted on it.
  • an image IMG3 that does not include a lesion area is selected as the foreground image.
  • a dummy area surrounded by a boundary R1e is set in the image IMG3.
  • a margin that includes boundary R1e as the inner boundary and boundary R1f as the outer boundary is set in the image IMG3.
  • An image IMG4 that does not include a lesion area is selected as the background image.
  • a margin that includes boundary R2e as the inner boundary and boundary R2f as the outer boundary is set in the image IMG4.
  • Boundaries R1e and R2e overlap when the foreground image is pasted on the background image at the paste position. Boundaries R2e and R2f overlap when the foreground image is pasted on the background image at the paste position.
  • Image processing is applied to image IMG3 according to the processing parameters, and image processing is applied to image IMG4 according to the processing parameters. After that, image IMG3 is pasted into image IMG4 to generate an augmented medical image Aug-IMG4.
  • Each pixel of the augmented medical image Aug-IMG4 is associated with the label 0, which indicates that it is not a lesion.
  • an augmented medical image Aug-IMG4 may contain discontinuous features at the margins, it can be used as negative training data indicating that it is not a lesion.
  • negative training data is stored in addition to positive training data in the augmented image storage device 4.
  • the learning unit 21 in the learning device 2 is configured in the same manner as in the exemplary embodiment 2, and in addition, the learning unit 21 uses an extended medical image onto which a dummy region is pasted to learn the image recognition model ML.
  • Both the positive training data and the negative training data may contain discontinuous features near the boundary of the lesion region (or dummy region). Therefore, it is possible to reduce the discontinuous features from being learned as lesion features, and to improve the accuracy of the image recognition model ML.
  • one or both of the foreground and background images are processed by applying image processing to one or both of a margin including the boundary of a dummy area in the foreground image that is not associated with a label indicating a lesion, and a margin including the boundary of an area that the dummy area will overlap when the foreground image is pasted in the background image.
  • the processing unit 12A may perform image processing on the area inside the margin.
  • the area inside the margin is the lesion area in the foreground image and the area where the lesion area overlaps in the background image.
  • the following steps in the image generating method S1A are modified.
  • step S105 the setting unit 11A operates in a manner similar to that of step S105 described above, except for the following points.
  • the setting unit 11A randomly sets processing parameters for the lesion area in addition to processing parameters for the margin.
  • the setting unit 11A randomly sets processing parameters for the area where the margin and lesion area overlap in addition to processing parameters for the margin.
  • FIG. 8 is a schematic diagram showing an example of setting the transparency.
  • the horizontal axis indicates the x-axis in the foreground image and the background image
  • the vertical axis indicates the transparency.
  • the setting unit 11A sets a semi-transparent transparency (e.g., 50%) for each pixel in the lesion area (inside the boundary R1a) in the foreground image.
  • the setting unit 11A sets the maximum value (i.e., transparent) as the transparency for each pixel in the area outside the margin (outside the boundary R1b) in the foreground image.
  • the setting unit 11A sets the transparency for each pixel in the margin in the foreground image so that the closer it is to the inner boundary R1a, the closer it is to 50%, and the closer it is to the outer boundary R1b, the closer it is to the maximum value, that is, so that the transparency changes from semi-transparent to transparent from the inside to the outside.
  • the setting unit 11A also sets a semi-transparent transparency (e.g., 50%) for each pixel in the background image in the area where the lesion area overlaps (inside the boundary R2a).
  • the setting unit 11A also sets the minimum value (i.e., opaque) as the transparency for each pixel in the background image in the area outside the margin (outside the boundary R2b).
  • the setting unit 11A also sets the transparency for each pixel in the margin in the background image so that it is closer to 50% the closer to the inner boundary R2a and closer to the minimum value the closer to the outer boundary R2b, in other words, so that it changes from semi-transparent to opaque from the inside to the outside.
  • step S111 the generation unit 13A operates in a manner similar to that of step S111 described above, except for the following differences.
  • the generation unit 13A sets a value obtained by multiplying the label indicating the lesion by the transparency as a label to be associated with each pixel of the lesion area in the extended medical image. For example, if the transparency set for each pixel of the lesion area is 50%, the label will be 0.5.
  • the generation unit 13A also determines the label that was associated with each pixel outside the margin in the background image as the label to be associated with each pixel outside the margin in the extended medical image.
  • the generation unit 13A also determines a label according to the transparency set for the margin in the foreground image as a label to be associated with each pixel of the margin in the extended medical image.
  • the label "0.5" is associated with each pixel in the lesion area in the augmented medical image.
  • a label approaching 0 from 0.5 moving from the inside to the outside is associated with each pixel in the margin in the augmented medical image.
  • each pixel outside the margin in the augmented medical image is associated with the label that was associated with the original background image.
  • image processing is performed on the lesion area in the foreground image and the area where the lesion area overlaps in the background image. This makes it possible to further reduce the difference in features between the lesion area and its external area in the generated augmented medical image, thereby further mitigating discontinuity.
  • processing unit 12A can perform image processing on the margins of the foreground image and the background image, as well as on the dummy area in the foreground image and the area where the dummy area overlaps in the background image.
  • a margin may be set according to the type of image processing.
  • the margin for applying transparency and the margin for applying a smoothing filter may differ in at least one of the shape, size, and position.
  • the margin in the background image has been described as being the same as the area that overlaps with the margin in the foreground image. However, these do not necessarily have to be the same.
  • the margin in the background image may include the margin in the foreground image and be a larger area than the margin in the foreground image.
  • the margin in the foreground image is described as including the boundary of the lesion area as the inner boundary, i.e., as the area outside the lesion area.
  • the margin in the foreground image may include the area inside the lesion area. The same applies to the margin in the background image.
  • the image processing applied to the foreground image and the image processing applied to the background image are the same.
  • the image processing applied to the foreground image and the image processing applied to the background image may be at least partially different.
  • the foreground image may be smoothed and made transparent, and the background image may be made transparent without being smoothed.
  • the types identified by the labels are two types, that is, whether or not there is a lesion.
  • the types identified by the labels may be three or more types (for example, a first type of lesion, a second type of lesion, and no lesion, etc.).
  • the generation unit 13A may determine the label to be associated with each pixel of the margin in the extended medical image as follows. For example, it is assumed that a first label is associated with an area inside the margin in the foreground image, and a second label is associated with an area outside the margin in the background image.
  • the generation unit 13A may associate a weight for the first label and a weight for the second label. Such weights are set according to the transparency set for each pixel of the margin in the foreground image.
  • the above-mentioned exemplary embodiment 2 has been described as generating training data to be used in machine learning of an image recognition model that executes a segmentation task.
  • the present exemplary embodiment 2 is also applicable to the case of generating training data to be used in machine learning that executes a detection task that detects a rectangular area that includes a lesion, a classification task that recognizes the class of a lesion on an image-by-image basis, etc.
  • a label is associated with each image of a medical image.
  • the generation unit 13A determines the label associated with the foreground image as the label to be associated with the generated augmented medical image.
  • the medical image which is the training data, is associated with information on rectangular areas containing lesions and labels corresponding to each rectangular area.
  • the generation unit 13A determines the label associated with the rectangular area containing the lesion area in the foreground image as the label to be associated with the rectangular area containing the lesion area in the augmented medical image. For areas outside the margins in the augmented medical image, the generation unit 13A associates the rectangular area and its label that were associated with the area outside the margins in the background image.
  • the above-mentioned exemplary embodiment 2 can also be applied to the case where images other than medical images are generated as training data.
  • this exemplary embodiment can generate training data for recognizing an area of a target in an image in which the difference in feature amount between the area of the target to be recognized and the area of non-target is small, in other words, in an image in which it is difficult to distinguish between the area of the target to be recognized and the area of non-target.
  • it is particularly important to reduce the learning of discontinuity features at the boundary between the area of the target in the foreground image and the background image as the feature of the target.
  • An example of such an image and an object to be recognized is an example of recognizing an object (car, person, forest, farmland, road, etc.) in an aerial photograph.
  • the aerial photograph may be taken by a visible light camera, or may be taken by a radar mounted on an artificial satellite or an aircraft. Images taken by a radar tend to be more difficult to distinguish between an object and its surroundings compared to images taken by a visible light camera, since the image taken by the radar is generated by converting the reflection of the radar into a two-dimensional image.
  • the types of images other than medical images that can be applied in this exemplary embodiment are not limited to the above-mentioned examples.
  • Some or all of the functions of the image generating devices 1, 1A and the learning device 2 may be realized by hardware such as an integrated circuit (IC chip), or by software.
  • the above-mentioned devices are realized, for example, by a computer that executes instructions of a program, which is software that realizes each function of the device.
  • a computer that executes instructions of a program, which is software that realizes each function of the device.
  • An example of such a computer (hereinafter referred to as computer C) is shown in Figure 9.
  • Computer C has at least one processor C1 and at least one memory C2.
  • Memory C2 stores program P for operating computer C as each device.
  • processor C1 reads and executes program P from memory C2, thereby realizing each function of the above-mentioned devices.
  • the processor C1 may be, for example, a CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating point number Processing Unit), PPU (Physics Processing Unit), TPU (Tensor Processing Unit), quantum processor, microcontroller, or a combination of these.
  • the memory C2 may be, for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination of these.
  • Computer C may further include a RAM (Random Access Memory) for expanding program P during execution and for temporarily storing various data.
  • Computer C may further include a communications interface for sending and receiving data to and from other devices.
  • Computer C may further include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.
  • the program P can also be recorded on a non-transitory, tangible recording medium M that can be read by the computer C.
  • a recording medium M can be, for example, a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit.
  • the computer C can obtain the program P via such a recording medium M.
  • the program P can also be transmitted via a transmission medium.
  • a transmission medium can be, for example, a communications network or broadcast waves.
  • the computer C can also obtain the program P via such a transmission medium.
  • Image generating device A setting means for randomly setting processing parameters; a processing means for processing one or both of the first image and the second image in accordance with the processing parameters; and a generating means for generating a third image serving as training data for machine learning by pasting the first image onto the second image.
  • the generating means determines a label to be associated with the third image by referring to a label associated with the first image. 2.
  • the generating means determines a label to be associated with the third image by referring to a label associated with the second image and the processing parameters in addition to the label associated with the first image; 3.
  • the processing means processes one or both of the first image and the second image by performing image processing on one or both of a first region including a boundary of a predetermined region associated with a predetermined label in the first image and a second region including a boundary of a region in the second image with which the predetermined region overlaps when the first image is pasted; 4.
  • the image generating device of claim 1 The image generating device of claim 1 .
  • the processing means processes one or both of the first image and the second image by performing image processing on one or both of a first region including a boundary of a dummy region in the first image that is not associated with a predetermined label, and a second region including a boundary of a region in the second image that will overlap with the dummy region when the first image is pasted; 4.
  • the image generating device of claim 1 The image generating device of claim 1 .
  • the processing parameters include at least any one of: (1) a parameter that specifies a shape of one or both of the first region and the second region; (2) a parameter that specifies a size of one or both of the first region and the second region; and (3) a parameter that specifies the image processing. 6.
  • the image generating device according to claim 4 or 5.
  • the first image and the second image are medical images of a predetermined part of a human body; the determining means determines a position at which the first image is to be pasted in the second image by further referring to constraint information indicating constraints on the position at which the first image is to be pasted according to the predetermined portion.
  • a learning device comprising:
  • An image generating method comprising:
  • Appendix 12 One or more processors, A setting means for randomly setting processing parameters; a processing means for processing one or both of the first image and the second image in accordance with the processing parameters; A generating means for generating a third image serving as training data for machine learning by pasting the first image onto the second image; A program that functions as a
  • At least one processor comprising: A setting process for randomly setting processing parameters; a processing step of processing one or both of the first image and the second image according to the processing parameters; A generation process of generating a third image serving as training data for machine learning by pasting the first image onto the second image; An image generating device that performs the above steps.
  • the image generating device may further include a memory, and the memory may store a program for causing the processor to execute the setting process, the processing process, and the generating process.
  • the program may also be recorded on a computer-readable, non-transitory, tangible recording medium.
  • Appendix 14 At least one processor, the processor comprising: A learning device that executes a learning process to learn an image recognition model using training data generated by the image generation device described in appendix 13.
  • the learning device may further include a memory, and the memory may store a program for causing the processor to execute the learning process.
  • the program may also be recorded on a computer-readable, non-transitory, tangible recording medium.
  • Reference Signs List 100 Information processing system 1, 1A Image generating device 2 Learning device 3 Image storage device 4 Extended image storage device 11, 11A Setting unit 12, 12A Processing unit 13, 13A Generating unit 14, 14A Determination unit 15A Pre-processing unit 21 Learning unit 110, 210 Control unit 120, 220 Storage unit C1 Processor C2 Memory

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

教師データにおける加工処理の特徴が機械学習の精度に与える影響を抑制する、との課題を解決するために、画像生成装置（１）は、加工パラメータを無作為に設定する設定部（１１）と、加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工部（１２）と、第１画像を第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成部（１３）と、を備えている。

Description

画像生成装置、学習装置、画像生成方法、およびプログラム
　本発明は、教師データとして用いる画像を生成する技術に関する。
　教師データとして用いる画像を生成する技術が知られている。このような技術は、例えば、教師データの数を増やして機械学習の精度を向上させる目的で用いられる。例えば、非特許文献１には、医療画像における病変領域にマージンを追加した領域を前景として、背景となる他の医療画像に貼り付けることにより、教師データとして用いる画像を生成する技術が記載されている。当該技術では、前景におけるマージンの画素値を滑らかに変化させてから、背景となる医療画像に貼り付ける。
　非特許文献１に記載の技術は、病変領域の形状に沿ってマージンを追加する。このため、当該技術により生成した医療画像を教師データとして機械学習を行うと、病変領域の形状に沿ったマージンおよび背景の境界における不連続性の特徴が学習される可能性がある。例えば、当該技術により生成した医療画像を教師データとして学習させた画像認識モデルは、病変領域の形状に類似する領域であって、当該領域の境界に不連続性を有するような領域を、当該領域に病変を含まない場合であっても、病変領域として認識する場合がある。このように、非特許文献１に記載された技術により生成した教師データは、教師データに残る加工処理の特徴が機械学習の精度に影響を与えるとの問題があった。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、教師データに残る加工処理の特徴が機械学習の精度に与える影響を抑制する技術を提供することである。
　本発明の一側面に係る画像生成装置は、加工パラメータを無作為に設定する設定手段と、前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工手段と、前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成手段と、を備えている。
　本発明の一側面に係る画像生成方法は、１以上のプロセッサが、加工パラメータを無作為に設定することと、前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工することと、前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成することと、を含む。
　本発明の一側面に係るプログラムは、１以上のプロセッサを、加工パラメータを無作為に設定する設定手段と、前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工手段と、前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成手段と、として機能させる。
　本発明の一態様によれば、教師データにおける加工処理の特徴が機械学習の精度に与える影響を抑制することができる。
例示的実施形態１に係る画像生成装置の構成を示すブロック図である。 例示的実施形態１に係る画像生成方法の流れを示すフロー図である。 例示的実施形態２に係る情報処理システムの構成を説明するブロック図である。 例示的実施形態２に係る画像生成方法の流れを説明するフロー図である。 第１領域および第２領域ならびに拡張医療画像の一例を示す模式図である。 透過度の設定例を示す模式図である。 ダミー領域が貼り付けられた拡張医療画像の一例を示す模式図である。 透過度の設定例を示す模式図である。 各例示的実施形態に係る画像生成装置および例示的実施形態２に係る学習装置のハードウェア構成例を示すブロック図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　＜画像生成装置１の構成＞
　本例示的実施形態に係る画像生成装置１の構成について、図１を参照して説明する。図１は、画像生成装置１の構成を示すブロック図である。図１に示すように、画像生成装置１は、設定部１１と、加工部１２と、生成部１３と、を含む。設定部１１は、請求の範囲に記載した設定手段を実現する構成の一例である。加工部１２は、請求の範囲に記載した加工手段を実現する構成の一例である。生成部１３は、請求の範囲に記載した生成手段を実現する構成の一例である。
　設定部１１は、加工パラメータを無作為に設定する。加工部１２は、加工パラメータに従って、第１画像および第２画像の一方または両方を加工する。生成部１３は、第１画像を第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する。
　＜プログラムによる実現例＞
　画像生成装置１をコンピュータにより実現する場合、コンピュータのメモリには、本例示的実施形態に係る以下のプログラムが記憶される。当該プログラムは、当該コンピュータを、加工パラメータを無作為に設定する設定部１１と、加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工部１２と、第１画像を第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成部１３として機能させる。
　＜画像生成方法Ｓ１の流れ＞
　以上のように構成された画像生成装置１は、本例示的実施形態に係る画像生成方法Ｓ１を実行する。画像生成方法Ｓ１の流れについて、図２を参照して説明する。図２は、画像生成方法Ｓ１の流れを示すフロー図である。図２に示すように、画像生成方法Ｓ１は、設定ステップＳ１１、加工ステップＳ１２、および生成ステップＳ１３を含む。
　設定ステップＳ１１において、設定部１１は、加工パラメータを無作為に設定する。加工ステップＳ１２において、加工部１２は、加工パラメータに従って、第１画像および第２画像の一方または両方を加工する。生成ステップＳ１３において、生成部１３は、第１画像を第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する。
　＜本時例示的実施形態の効果＞
　以上のように、本例示的実施形態に係る画像生成装置１および画像生成方法Ｓ１においては、加工パラメータを無作為に設定し、設定した加工パラメータに従って、第１画像および第２画像の一方または両方を加工し、第１画像を第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する、との構成が採用されている。このため、本例示的実施形態によれば、教師データにおける加工処理の特徴が機械学習の精度に与える影響を抑制する、という効果が得られる。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態に係る情報処理システム１００は、医療画像を対象とする画像認識モデルＭＬの機械学習を行うシステムである。画像認識モデルＭＬの機械学習を行う場合、病変を示す領域（以下、病変領域とも記載）を含む医療画像が教師データとして必要となる。しかしながら、病変領域を含む医療画像を多数収集することが難しい場合がある。例えば、症例がレアな病変では、そのような医療画像を充分に収集することは難しい。そこで、情報処理システム１００は、病変領域を含む医療画像を拡張した拡張医療画像を生成し、元の医療画像および生成した拡張医療画像を教師データとして機械学習を行う。以下、本例示的実施形態の説明において、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　なお、本例示的実施形態においては、医療画像に画素単位でラベルが関連付けられたものを教師データとする。また、ラベルは、病変であることを示す１、病変でないことを示す０、または、病変である程度を示す０以上１以下の値をとるものとする。また、当該教師データを用いて学習させる画像認識モデルＭＬは、病変領域を画素単位で認識するセグメンテーションタスクを実行するモデルであるとする。
　＜情報処理システム１００の構成＞
　本例示的実施形態に係る情報処理システム１００の構成について図３を参照して説明する。図３は、情報処理システム１００の構成を説明するブロック図である。図３に示すように、情報処理システム１００は、画像生成装置１Ａと、学習装置２と、画像記憶装置３と、拡張画像記憶装置４と、を含む。画像生成装置１Ａは、画像記憶装置３および拡張画像記憶装置４に対して情報を読み書き可能に接続されている。学習装置２は、画像記憶装置３および拡張画像記憶装置４に対して情報を読み込み可能に接続されている。なお、これらの装置は、ネットワークを介して通信可能に接続されていてもよい。
　画像記憶装置３は、人体における所定の部位を撮影した複数の医療画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、…を記憶する。医療画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、…の各々を特に区別して説明する必要がない場合には、それぞれを単に医療画像と記載する。医療画像の種類としては、例えば、内視鏡画像、超音波画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic resonance imaging）画像、等が挙げられるが、これらに限られない。人体における所定の部位の一例としては、例えば、腸、胃、食道、肺、頭部、等が挙げられるが、これらに限られない。複数の医療画像は、いずれも、所定の同一の部位（例えば、腸）を撮影した所定の同一の種類（例えば、内視鏡画像）の医療画像である。
　複数の医療画像は、病変領域を含む医療画像と、病変領域を含まない医療画像と、を含む。また、各医療画像には、ラベルが関連付けられている。ラベルは、医療画像の画素ごとに関連付けられ、例えば、病変領域に含まれる各画素には病変を示す「１」、それ以外の領域に含まれる各画素には病変でないことを示す「０」のラベルが関連付けられている。病変領域を含む各医療画像は、請求の範囲に記載した第１画像の一例になり得る。また、病変領域を含むか否かに関わらず各医療画像は、第２画像の一例になり得る。以下では、第１画像を前景画像と記載し、第２画像を背景画像と記載する。
　拡張画像記憶装置４は、画像生成装置１Ａが生成した拡張医療画像Ａｕｇ－ＩＭＧ１、Ａｕｇ－ＩＭＧ２、Ａｕｇ－ＩＭＧ３、…を記憶する。拡張医療画像Ａｕｇ－ＩＭＧ１、Ａｕｇ－ＩＭＧ２、Ａｕｇ－ＩＭＧ３、…の各々を特に区別して説明する必要がない場合には、それぞれを単に拡張医療画像と記載する。拡張医療画像は、請求の範囲に記載した第３画像の一例である。
　複数の拡張医療画像は、病変領域を含む。また、各拡張医療画像には、画像生成装置１Ａによって決定されたラベルが関連付けられている。ラベルは、拡張医療画像の画素ごとに決定されて関連付けられている。
　画像生成装置１Ａは、制御部１１０と、記憶部１２０と、を含む。制御部１１０は、画像生成装置１Ａの各部を統括して制御する。記憶部１２０は、制御部１１０が機能するためのプログラムおよび制御部１１０が使用する各種のデータを記憶する。例えば、記憶部１２０は、制約情報を記憶する。制約情報は、医療画像に被写体として含まれる所定の部位に応じた、ペーストする位置に関する制約を示す情報である。
　制御部１１０は、設定部１１Ａと、加工部１２Ａと、生成部１３Ａと、決定部１４Ａと、事前加工部１５Ａと、を含む。決定部１４Ａは、請求の範囲に記載した決定手段を実現する構成の一例である。
　設定部１１Ａは、設定部１１と同様に構成されることに加えて、次のように構成される。すなわち、設定部１１Ａは、（１）第１領域および第２領域の一方または両方の形状を指定するパラメータ、（２）第１領域および第２領域の一方または両方のサイズを規定するパラメータ、（３）画像処理を規定するパラメータの少なくとも何れかを含む加工パラメータを無作為に設定する。画像処理の一例としては、平滑化または透明化が挙げられる。画像処理を規定するパラメータとしては、画像処理を行うアルゴリズムの種類（例えば、平滑化フィルタの種類等）を規定するパラメータが挙げられる。また、画像処理を規定する他のパラメータとしては、画像処理のモード（例えば、アルファブレンドのモード）を規定するパラメータが挙げられる。また、画像処理を規定するさらに他のパラメータとしては、画像処理の強度（例えば、平滑化フィルタのカーネルサイズ、アルファブレンドの透過度）を規定するパラメータが挙げられる。ただし、画像処理を規定するパラメータは、上述した例に限られない。
　第１領域は、前景画像において病変を示すラベルが関連付けられた病変領域の境界を含む領域である。第２領域は、背景画像において前景画像がペーストされた場合に病変領域が重なる領域の境界を含む領域である。なお、病変を示すラベルは、請求の範囲に記載した「所定のラベル」の一例である。また、病変領域は、「所定のラベルが関連付けられた所定領域」の一例である。
　加工部１２Ａは、加工部１２と同様に構成されることに加えて、次のように構成される。すなわち、加工部１２Ａは、第１領域および第２領域の一方または両方に画像処理を施すことによって、前景画像および背景画像の一方または両方を加工する。加工部１２は、第１領域および第２領域の一方または両方に施す画像処理として、上述した平滑化および透明化の一方を施してもよいし、両方を施してもよい。本実施形態では、平滑化および透明化の両方を施すものとして説明する。
　生成部１３Ａは、生成部１３と同様に構成されることに加えて、次のように構成される。すなわち、生成部１３Ａは、前景画像に関連付けられたラベルを参照することによって、生成した拡張医療画像に関連付けるラベルを決定する。また、例えば、生成部１３Ａは、前景画像に関連付けられたラベルに加えて、背景画像に関連付けられたラベル、および、加工パラメータを参照することによって、生成した拡張医療画像に関連付けるラベルを決定する。
　決定部１４Ａは、背景画像を参照することによって、背景画像において前景画像をペーストする位置を決定する。また、決定部１４Ａは、背景画像を参照することに加えて、所定の部位に応じたペーストする位置に関する制約を示す制約情報をさらに参照することによって、背景画像において前景画像をペーストする位置を決定する。ペーストする位置を、以降、「ペースト位置」とも記載する。
　事前加工部１５Ａは、前景画像および背景画像の一方または両方に対して、画像処理を施す。事前加工部１５Ａが施す画像処理は、加工部１２Ａが施す画像処理とは異なる画像処理であり、加工部１２Ａが画像処理を施す前に実行される。事前加工部１５Ａが施す画像処理を、事前加工処理、とも記載する。
　学習装置２は、制御部２１０と、記憶部２２０と、を含む。制御部２１０は、学習装置２の各部を統括して制御する。記憶部２２０は、制御部２１０が機能するためのプログラムおよび制御部２１０が使用する各種のデータを記憶する。制御部２１０は、学習部２１を含む。学習部２１は、画像生成装置１Ａを用いて生成した教師データを用いて画像認識モデルＭＬを学習させる。記憶部２２０は、画像認識モデルＭＬを記憶する。
　＜画像生成方法Ｓ１Ａの流れ＞
　以上のように構成された画像生成装置１Ａが実行する画像生成方法Ｓ１の流れについて、図４を参照して説明する。図４は、画像生成方法Ｓ１の流れを説明するフロー図である。図４に示すように、画像生成方法Ｓ１Ａは、ステップＳ１０１～Ｓ１１１を含む。
　ステップＳ１０１において、制御部１１０は、画像記憶装置３に記憶された医療画像の中から前景画像を選択して読み込む。具体的には、制御部１１０は、前景画像として、病変領域を含む医療画像（換言すると、病変を示すラベルが関連付けられた画素を含む医療画像）を選択する。
　ステップＳ１０２において、事前加工部１５Ａは、前景画像に対し事前加工処理を施す。事前加工処理の一例としては、幾何的な画像処理、光学的な画像処理、ノイズを追加する処理、等が挙げられるが、これらに限られない。事前加工処理としては、教師データとなる画像から他の教師データを生成するために用いられる各種の公知の技術を採用可能である。なお、例えば、事前加工部１５Ａは、事前加工処理に伴い、必要に応じてラベルを変化させる。具体的には、例えば、事前加工処理が幾何的な画像処理である場合には、事前加工部１５Ａは、医療画像の幾何的な変形に応じて、変形前の画素に対応する変形後の画素に、当該変形前の画素に関連付けられたラベルを関連付ける。このような事前加工処理は、事前に定められたパラメータに基づいて行われる。
　ステップＳ１０３において、制御部１１０は、画像記憶装置３に記憶された医療画像の中から、貼り付け先となる背景画像を選択して読み込む。背景画像は、前景画像と異なる画像であればよく、病変領域を含む画像であってもよいし、病変領域を含まない画像であってもよい。
　ステップＳ１０４において、事前加工部１５Ａは、背景画像に対して事前加工処理を施す。事前加工処理の詳細についてはステップＳ１０２と同様であるため、詳細な説明を繰り返さない。なお、ステップＳ１０１～Ｓ１０２の処理と、ステップＳ１０３～Ｓ１０４の処理とは、並列して実行されてもよいし、順序を逆にして実行されてもよい。
　ステップＳ１０５において、決定部１４Ａは、背景画像および所定の部位に応じた制約情報を参照することによって、背景画像における前景画像のペースト位置を決定する。また、決定部１４Ａは、背景画像、制約情報に加えて、さらに前景画像における病変領域を参照してペースト位置を決定してもよい。なお、制約情報は、前述したように、医療画像に被写体として含まれる所定の部位に応じたペースト位置に関する制約を示す情報である。制約情報は、記憶部１２０に記憶されていてもよいし、外部装置に記憶されていてもよい。
　（制約情報の具体例）
　制約情報の具体例について説明する。ここでは、画像記憶装置３には、医療画像として腸の内視鏡画像が記憶されているとする。つまり、所定の部位は腸である。この場合、成約情報は、腸の内視鏡画像に応じたペースト位置に関する制約を示す情報である。例えば、腸の内視鏡画像は、腸壁を示す領域および腸管を示す領域を含む場合がある。腸管を示す領域は、腸壁を示す領域に比べて奥行がある領域が撮影されているため輝度が低いことが多く、そのような輝度の低い領域に病変領域が含まれる可能性は低い。そのため、そのような腸管を示す領域は、病変領域をペーストする領域として適切ではない。また、内視鏡画像は、内視鏡が撮影した円形状の領域を含む矩形の画像である。そのため、内視鏡画像は、四隅の少なくとも何れかに撮影範囲外を示す領域を含む場合がある。そのような撮影範囲外を示す領域も、病変領域をペーストする領域として適切ではない。このように、制約情報は、病変領域をペーストすることが不適切な領域（以降、ペースト不可能領域とも記載）を示す情報を含む。ペースト不可能領域を示す情報は、マスク画像であってもよい。例えば、マスク画像は、内視鏡の撮影範囲外を示す画像の四隅の領域をマスクするとともに、腸管を示す可能性が高い画像の中央付近の領域をマスクした画像であってもよい。
　また、既に病変領域が含まれる内視鏡画像が背景画像として用いられる場合もあり得る。この場合、病変領域は、他の病変領域をペーストする領域として適切ではない。この場合、ペースト不可能領域を示す情報は、ペースト不可能領域を認識する画像認識モデルであってもよい。このような画像認識モデルとしては、例えば、機械学習によって別途学習済みのモデルを用いることができる。
　決定部１４は、例えば、背景画像および制約情報を参照して、当該背景画像におけるペースト不可能領域を特定する。また、決定部１４は、前景画像における病変領域が、背景画像におけるペースト不可能領域以外の領域にペーストされるように、背景画像における前景画像のペースト位置を決定する。このとき、決定部１４は、前景画像における病変領域の形状および大きさも参照する。なお、決定部１４は、ペースト不可能領域以外においては、病変領域のペースト位置を無作為に決定する。
　ステップＳ１０６において、設定部１１Ａは、（１）前景画像における第１領域および背景画像における第２領域の一方または両方の形状を指定するパラメータ、（２）第１領域および第２領域の一方または両方のサイズを規定するパラメータ、および、（３）画像処理を規定するパラメータを決定する。
　（形状およびサイズを規定するパラメータの設定例）
　ここで、第１領域および第２領域の一例について、図５を参照して説明する。図５は、第１領域および第２領域ならびに拡張医療画像の一例を示す模式図である。図５の例では、画像ＩＭＧ１は、前景画像として選択された医療画像である。画像ＩＭＧ１において、境界Ｒ１ａで囲まれた領域は、病変領域を示す。すなわち、境界Ｒ１ａの内側の各画素には、病変を示すラベルが関連付けられている。第１領域は、画像ＩＭＧ１において病変領域の境界Ｒ１ａを含む領域として設定される。図５では、第１領域は、境界Ｒ１ａを内側の境界とするとともに、境界Ｒ１ｂ（または、Ｒ１ｃ、Ｒ１ｄ）を外側の境界とする環状の領域である。このような環状の第１領域は、マージンとも呼称される。
　また、図５では、画像ＩＭＧ２は、背景画像として選択された医療画像である。第２領域は、境界Ｒ２ａを含む領域として設定される。境界Ｒ２ａは、画像ＩＭＧ２において画像ＩＭＧ１がペースト位置でペーストされた場合に病変領域が重なる領域の境界である。図５では、第２領域は、境界Ｒ２ａを内側の境界とするとともに、境界Ｒ２ｂ（または、Ｒ２ｃ、Ｒ２ｄ）を外側の境界とする環状の領域である。このような環状の第２領域は、マージンとも呼称される。
　また、図５では、第２領域として、第１領域が重なる領域と同一の領域を設定する例を示している。換言すると、画像ＩＭＧ１における境界Ｒ１ｂ、Ｒ１ｃ、Ｒ１ｄと、画像ＩＭＧ２における境界Ｒ２ｂ、Ｒ２ｃ、Ｒ２ｄとは、画像ＩＭＧ１が画像ＩＭＧ２にペースト位置でペーストされた場合に重なる。以下では、図５に示したように、「第２領域が、第１領域が重なる領域と同一」である例について説明し、第１領域および第２領域を何れも「マージン」と記載する。
　例えば、設定部１１Ａは、マージンの形状として事前に定められた複数種類の形状の中から、無作為に何れかを決定してもよい。そのような事前に定められた形状の種類としては、例えば、境界Ｒ１ｂのような矩形、境界Ｒ１ｃのような楕円形、境界Ｒ１ｄのような任意の形状、等が挙げられる。任意の形状とは、例えば、病変領域の境界Ｒ１ａ上の各点から無作為に設定した距離だけ外側に離れた点を結んだ境界Ｒ１ｄが示す形状であってもよい。この場合、境界Ｒ１ａ上の或る点から境界Ｒ１ｄまで距離と、境界Ｒ１ａ上の他の点から境界Ｒ１ｄまでの距離とは、異なり得る。したがって、そのように設定された境界Ｒ１ｄは、図５に示すように凹凸のある曲線で囲まれた任意の形状となり得る。そのほか、事前に定められた形状の種類としては、各種の多角形、病変領域に相似する形状、等が挙げられるが、これらに限られない。
　また、例えば、設定部１１Ａは、マージンのサイズとして、事前に定められた数値範囲の中から無作為にいずれかの数値を決定してもよい。サイズとして決定すべきパラメータおよびその数値範囲は、マージンの形状に応じて事前に定められていてもよい。例えば、サイズとして決定すべきパラメータは、矩形であれば縦および横、楕円であれば長径および短径、上述した任意の形状であれば病変領域の境界Ｒ１ａ上の各点からの距離、等である。
　また、例えば、設定部１１Ａは、さらに他の加工パラメータとして、マージンの位置を無作為に決定してもよい。マージンは、その位置が無作為に設定されることにより、病変領域を必ずしも略中央に含まなくてよい。例えば、図５において左から右に向かう方向をｘ軸正方向とし、下から上に向かう方向をｙ軸正方向として、マージンの形状が矩形の場合について説明する。この場合、病変領域の境界Ｒ１ａ上でｘ座標が最小の点からマージンの外側の境界Ｒ１ｂ上でｘ座標が最小の点までの距離ｄ１と、境界Ｒ１ａ上でｘ座標が最大の点から境界Ｒ１ｂ上でｘ座標が最大の点までの距離ｄ２とは、無作為に決定される。これらは、必ずしも等しい必要はない。ｙ軸方向についても同様である。また、他の形状のマージンについても同様である。
　（画像処理を規定するパラメータの設定例）
　また、画像処理を規定するパラメータの具体例について説明する。ここで、前述したように、画像処理は、平滑化または透明化である。例えば、設定部１１Ａは、加工パラメータとして、平滑化を行う平滑化フィルタの種類を無作為に設定する。具体的には、設定部１１Ａは、事前に定められた複数種類の平滑化フィルタ（例えば、ガウシアンフィルタ、移動平均フィルタ、メディアンフィルタ、等）の何れかを無作為に選択することに設定してもよい。また、例えば、設定部１１Ａは、設定した平滑化フィルタの強度を規定するパラメータを無作為に設定する。具体的には、設定部１１Ａは、平滑化フィルタにおいて用いるカーネルサイズとして、事前に定められた数値範囲の数値を無作為に選択することにより設定してもよい。
　また、例えば、設定部１１Ａは、透明化を行うアルファブレンドのモードを無作為に設定する。具体的には、設定部１１Ａは、事前に定められた複数のモード（例えば、乗算、加算、等）の何れかを無作為に選択することにより設定してもよい。また、例えば、設定部１１Ａは、設定したモードの強度を規定するパラメータを無作為に設定する。具体的には、設定部１１Ａは、アルファブレンドの当該モードにおいて用いる透過度を、前景画像におけるマージンの各画素および背景画像におけるマージンの各画素に対して設定する。
　各画素に対して設定する透過度の具体例について、図６を参照して説明する。図６は、透過度の設定例を示す模式図である。図６において、横軸は前景画像および背景画像におけるｘ軸を示し、縦軸は透過度を示す。設定部１１Ａは、前景画像において、病変領域（境界Ｒ１ａより内側）の各画素について、透過度として最小値（すなわち不透明）を設定する。また、設定部１１Ａは、前景画像におけるマージン（図６に示した第１領域）より外側の領域（境界Ｒ１ｂの外側）の各画素については、透過度として最大値（すなわち透明）を設定する。また、設定部１１Ａは、前景画像におけるマージンの各画素に対しては、内側の境界Ｒ１ａに近いほど最小値に近く、外側の境界Ｒ１ｂに近いほど最大値に近くなるよう、つまり、内側から外側に向かって不透明から透明に変化するように透過度を設定する。
　また、設定部１１Ａは、背景画像において、病変が重なる領域（境界Ｒ２ａより内側）の各画素について、透過度として最大値（すなわち透明）を設定する。また、設定部１１Ａは、背景画像においてマージン（図６に示した第２領域）より外側の領域（境界Ｒ２ｂの外側）の各画素については、透過度として最小値（すなわち不透明）を設定する。また、設定部１１Ａは、背景画像におけるマージンの各画素に対しては、内側の境界Ｒ２ａに近いほど最大値に近く、外側の境界Ｒ２ｂに近いほど最小値に近くなるよう、つまり、内側から外側に向かって透明から不透明に変化するように透過度を設定する。
　ステップＳ１０７において、加工部１２Ａは、ステップＳ１０６で無作為に設定した加工パラメータを用いて、前景画像に対する画像処理を施す。例えば、加工部１２Ａは、設定した種類の平滑化フィルタおよびカーネルサイズを用いて、前景画像におけるマージンに対して平滑化を施す。また、加工部１２Ａは、前景画像に設定した透過度に基づいて、背景画像とアルファブレンドするための画素値を算出する。
　ステップＳ１０８において、加工部１２Ａは、ステップＳ１０６で無作為に設定した加工パラメータを用いて、背景画像に対する画像処理を施す。施す画像処理の具体例については、ステップＳ１０７と同様であるため詳細な説明を繰り返さない。なお、ステップＳ１０７～Ｓ１０８の処理は、並列に実行されてもよいし、順序を逆にして実行されてもよい。
　ステップＳ１０９において、加工部１２Ａは、前景画像および背景画像に対して、それぞれの画質を整合させるための画像処理を施す。画質を整合させるための画像処理の一例としては、色調を整合させるための色調補正処理、ブラー度合いを整合させるためのブラー処理、等が挙げられるが、これらに限られない。例えば、加工部１２Ａは、前景画像の色調および背景画像の色調を参照し、これらを整合させるための色調補正処理を前景画像および背景画像に対して施す。また、例えば、加工部１２Ａは、前景画像のブラー度合いおよび背景画像のブラー度合いを参照し、これらを整合させるためのブラー処理を前景画像および背景画像に対して施す。
　ステップＳ１１０において、生成部１３Ａは、加工後の前景画像を加工後の背景画像にペーストする処理を実行することにより、拡張医療画像を生成する。ペーストする処理とは、例えば、加工後の前景画像の各画素値と、加工後の背景画像の各画素値とを加算する処理であってもよい。拡張医療画像について、図５を参照して説明する。例えば、拡張医療画像Ａｕｇ－ＩＭＧ１は、境界Ｒ１ｂにより規定されるマージンを用いた画像処理後の画像ＩＭＧ１を、境界Ｒ２ｂにより規定されるマージンを用いた画像処理後の画像ＩＭＧ２にペーストすることにより生成される。また、例えば、拡張医療画像Ａｕｇ－ＩＭＧ２は、境界Ｒ１ｃにより規定されるマージンを用いた画像処理後の画像ＩＭＧ１を、境界Ｒ２ｃにより規定されるマージンを用いた画像処理後の画像ＩＭＧ２にペーストすることにより生成される。例えば、拡張医療画像Ａｕｇ－ＩＭＧ３は、境界Ｒ１ｄにより規定されるマージンを用いた画像処理後の画像ＩＭＧ１を、境界Ｒ２ｄにより規定されるマージンを用いた画像処理後の画像ＩＭＧ２にペーストすることにより生成される。この例に示すように、同一の画像ＩＭＧ１および画像ＩＭＧ２から、無作為に設定した加工パラメータにより互いに異なる拡張医療画像Ａｕｇ－ＩＭＧ１～Ａｕｇ－ＩＭＧ３が生成される。
　ステップＳ１１１において、生成部１３Ａは、前景画像に関連付けられたラベル、背景画像に関連付けられたラベル、および、加工パラメータを参照することによって、拡張医療画像の各画素に関連付けるラベルを決定する。
　ラベルを決定する処理の具体例について説明する。以下では、前景画像における病変領域がペーストされた拡張医療画像上の領域を、拡張医療画像における病変領域と記載する。また、前景画像におけるマージンがペーストされた拡張医療画像上の領域を、拡張医療画像におけるマージンと記載する。また、背景画像におけるマージンより外側に相当する拡張医療画像上の領域を、拡張医療画像におけるマージンの外側と記載する。一例として、生成部１３Ａは、前景画像における病変領域の各画素に関連付けられていたラベルを、拡張医療画像における病変領域の各画素に関連付けるラベルとして決定する。また、生成部１３Ａは、背景画像におけるマージンより外側の各画素に関連付けられていたラベルを、拡張医療画像上のマージンより外側の各画素に関連付けるラベルとして決定する。また、生成部１３Ａは、拡張医療画像におけるマージンの各画素に関連付けるラベルとして、前景画像におけるマージンに設定した透過度に応じたラベルを決定する。具体的には、生成部１３Ａは、各画素について、透過度が小さいほど（不透明に近いほど）病変を示す「１」に近く、透過度が大きいほど（透明に近いほど）病変でないことを示す「０」に近くなるような、０以上１以下の値をラベルとして算出する。
　これにより、拡張医療画像における病変領域の各画素には、病変を示すラベルが関連付けられる。また、拡張医療画像におけるマージンの各画素には、内側から外側に向かって１から０に近づくラベルが関連付けられる。また、拡張医療画像においてマージンより外側の各画素には、元の背景画像に関連付けられていたラベルが関連付けられる。
　また、生成部１３Ａは、ラベルを関連付けた拡張医療画像を、拡張画像記憶装置４に記憶する。拡張医療画像は、病変領域を含み、画像認識モデルＭＬを学習させるための正の教師データとなる。
　画像生成装置１Ａは、ステップＳ１０１～Ｓ１１１の処理を所定の終了条件を満たすまで繰り返す。これにより、複数の拡張医療画像が生成されて拡張画像記憶装置４に記憶される。所定の終了条件とは、生成した拡張医療画像の数が閾値を超える、処理時間が閾値を超える、等であってもよいが、これらに限られない。
　学習装置２における学習部２１は、画像記憶装置３に記憶された医療画像、および、拡張画像記憶装置４に記憶された拡張医療画像を用いて、画像認識モデルＭＬを学習させる。
　＜本例示的実施形態の効果＞
　本例示的実施形態においては、例示的実施形態１と同様の構成に加えて、前景画像に関連付けられたラベルを参照することによって、拡張医療画像に関連付けるラベルを決定する、との構成が採用されている。これにより、前景画像に病変領域が含まれる場合、生成した拡張医療画像を、病変領域の正の教師データとして用いることができる。
　また、本例示的実施形態においては、前景画像において病変領域の境界を含むマージン、および、背景画像において前景画像がペーストされた場合に病変領域が重なる領域の境界を含むマージンの一方または両方に画像処理を施すことによって、前景画像および背景画像の一方または両方を加工する、との構成が採用されている。これにより、拡張医療画像に残る加工処理の影響を軽減するための領域であるマージンを設定することができる。
　また、本例示的実施形態においては、前景画像に関連付けられたラベルに加えて、さらに、背景画像に関連付けられたラベル、および、無作為に設定した加工パラメータを参照することによって、拡張医療画像に関連付けるラベルを決定する、との構成が採用されている。これにより、例えば、拡張医療画像におけるマージンの領域には、内側から外側に向かって、病変を示すラベルから病変でないことを示すラベルまで変化するラベルを関連付けることができる。その結果、マージンの特徴が病変の特徴として学習されることを軽減できる。
　また、本例示的実施形態においては、加工パラメータは、（１）マージンの形状を指定するパラメータ、（２）マージンの一方または両方のサイズを規定するパラメータ、（３）画像処理を規定するパラメータの少なくとも何れかを含む、との構成が採用されている。これにより、複数の教師データを生成した場合に、複数の教師データにおけるマージンは、何らかの傾向を有することなくその形状、サイズ一様に分布する。また、複数の教師データにおいてマージンに施された画像処理の痕跡は、何らかの傾向を有することなくその特徴が一様に分布する。その結果、マージンの特徴が病変の特徴として学習されることを軽減できる。
　また、本例示的実施形態においては、マージンに施す画像処理は、平滑化または透明化である、との構成が採用されている。これにより、マージンを平滑化および透明化することができ、マージンの特徴が病変の特徴として学習されることを軽減できる。
　また、本例示的実施形態においては、背景画像を参照することによって、当該背景画像において前景画像をペーストする位置を決定する、との構成が採用されている。これにより、背景画像に応じた適切な位置に前景画像をペーストすることができる。
　また、本例示的実施形態においては、前景画像および背景画像は、人体における所定の部位を撮影した医療画像であり、所定の部位に応じたペーストする位置に関する制約を示す制約情報をさらに参照することによって、背景画像において前景画像をペーストする位置を決定する、との構成が採用されている。これにより、医療画像である背景画像の適切な位置に医療画像である前景画像をペーストすることができる。
　〔変形例１〕
　上述した例示的実施形態２において、画像生成装置１Ａは、病変領域をペーストした教師データを生成することに加えて、病変でないダミー領域をペーストした教師データを生成するよう変形することができる。本変形例において、前景画像におけるマージンは、病変を示すラベルが関連付けられていないダミー領域の境界を含む領域である。なお、背景画像におけるマージンとしては、例示的実施形態２と同様に、前景画像におけるマージンが重なる領域と同一の領域が採用される。本変形例では、画像生成方法Ｓ１Ａにおける以下のステップが変形される。
　ステップＳ１０１において、制御部１１０は、画像記憶装置３に記憶された医療画像のうち任意の１つを前景画像として選択する。前景画像には、病変領域が含まれていてもよいし、含まれていなくてもよい。
　ステップＳ１０５において、設定部１１Ａは、上述したステップＳ１０５とほぼ同様に動作するが、次の点が異なる。設定部１１Ａは、前景画像において病変でないことを示すラベルが関連付けられたダミー領域を無作為に決定する。ダミー領域は、病変でないことを示すラベルが関連付けられていればよく、位置、形状およびサイズは無作為に決定されてよい。
　ステップＳ１１１において、生成部１３Ａは、上述したステップＳ１１１とほぼ同様に動作するが、次の点が異なる。生成部１３Ａは、拡張医療画像におけるダミー領域およびマージンの各画素に関連付けるラベルとして、病変でないことを示す「０」を決定する。また、生成部１３Ａは、背景画像におけるマージンより外側の各画素に関連付けられていたラベルを、拡張医療画像におけるマージンより外側の各画素に関連付けるラベルとして決定する。
　上記の点以外については、本変形例に係る画像生成方法Ｓ１Ａは、上述した例示的実施形態２に係る画像生成方法Ｓ１Ａの説明において「病変領域」を「ダミー領域」と読み替えることにより同様に説明される。これにより、本変形例では、ステップＳ１１１において、病変領域を含まない拡張医療画像が負の教師データとして生成される。
　本変形例において生成される拡張医療画像について、図７を参照して説明する。図７は、ダミー領域が貼り付けられた拡張医療画像の一例を示す模式図である。図７の例では、前景画像として、病変領域を含まない画像ＩＭＧ３が選択されている。また、画像ＩＭＧ３において、境界Ｒ１ｅで囲まれたダミー領域が設定されている。また、画像ＩＭＧ３において、境界Ｒ１ｅを内側の境界として含み、境界Ｒ１ｆを外側の境界として含むマージンが設定されている。また、背景画像として、病変領域を含まない画像ＩＭＧ４が選択されている。また、画像ＩＭＧ４において、境界Ｒ２ｅを内側の境界として含み、境界Ｒ２ｆを外側の境界として含むマージンが設定されている。境界Ｒ１ｅおよび境界Ｒ２ｅは、背景画像に前景画像がペースト位置でペーストされた場合に重なる。また、境界Ｒ２ｅおよび境界Ｒ２ｆは、背景画像に前景画像がペースト位置でペーストされた場合に重なる。画像ＩＭＧ３に対して加工パラメータに従って画像処理が施され、画像ＩＭＧ４に対して加工パラメータに従って画像処理が施された後、画像ＩＭＧ３が画像ＩＭＧ４にペーストされることにより、拡張医療画像Ａｕｇ－ＩＭＧ４が生成される。
　拡張医療画像Ａｕｇ－ＩＭＧ４の各画素には、病変でないことを示すラベル０が関連付けられる。このような拡張医療画像Ａｕｇ－ＩＭＧ４は、マージンにおいて不連続性の特徴を含み得るが、病変でないことを示す負の教師データとして用いることが可能である。例示的実施形態２に加えて本変形例を用いることにより、拡張画像記憶装置４には、正の教師データに加えて負の教師データが記憶される。
　学習装置２における学習部２１は、例示的実施形態２と同様に構成されることに加えて、ダミー領域がペーストされた拡張医療画像を用いて、画像認識モデルＭＬを学習させる。正の教師データおよび負の教師データの何れもが、病変領域（またはダミー領域）の境界付近に不連続性の特徴を含み得る。したがって、不連続性の特徴が病変の特徴として学習されることを軽減でき、画像認識モデルＭＬの精度を向上させることができる。
　本変形例によれば、前景画像において病変を示すラベルが関連付けられていないダミー領域の境界を含むマージン、および、背景画像において前景画像がペーストされた場合にダミー領域が重なる領域の境界を含むマージンの一方または両方に画像処理を施すことによって、前景画像および背景画像の一方または両方を加工する、との構成が採用されている。これにより、不連続性を有するマージンを含み、かつ、その内側に病変領域が含まれていない拡張医療画像を、負の教師データとして生成することができる。その結果、不連続性の特徴が病変を示す特徴として学習されることを軽減できる。
　〔変形例２〕
　上述した例示的実施形態２において、加工部１２Ａは、マージンより内側の領域に対して画像処理を施してもよい。マージンより内側の領域とは、前景画像においては病変領域であり、背景画像においては病変領域が重なる領域である。本変形例では、画像生成方法Ｓ１Ａにおける以下のステップが変形される。
　ステップＳ１０５において、設定部１１Ａは、上述したステップＳ１０５とほぼ同様に動作するが、次の点が異なる。設定部１１Ａは、前景画像において、マージンに対する加工パラメータに加えて、病変領域に対する加工パラメータを無作為に設定する。また、設定部１１Ａは、背景画像において、マージンに対する加工パラメータに加えて、マージン病変領域が重なる領域に対する加工パラメータを無作為に設定する。
　本変形例において病変領域および病変領域が重なる領域の各画素に対して設定する透過度の具体例について、図８を参照して説明する。図８は、透過度の設定例を示す模式図である。図８において横軸は、前景画像および背景画像におけるｘ軸を示し、縦軸は、透過度を示す。設定部１１Ａは、前景画像において、病変領域（境界Ｒ１ａより内側）の各画素について、半透明の透過度（例えば５０％）を設定する。また、前景画像において、マージンより外側の領域（境界Ｒ１ｂの外側）の各画素については、透過度として最大値（すなわち透明）を設定する。また、設定部１１Ａは、前景画像において、マージンの各画素に対しては、内側の境界Ｒ１ａに近いほど５０％に近く、外側の境界Ｒ１ｂに近いほど最大値に近くなるよう、つまり、内側から外側に向かって半透明から透明に変化するように透過度を設定する。
　また、設定部１１Ａは、背景画像において、病変領域が重なる領域（境界Ｒ２ａより内側）の各画素について、半透明の透過度（例えば５０％）を設定する。また、設定部１１Ａは、背景画像において、マージンより外側の領域（境界Ｒ２ｂの外側）の各画素については、透過度として最小値（すなわち不透明）を設定する。また、設定部１１Ａは、背景画像において、マージンの各画素に対しては、内側の境界Ｒ２ａに近いほど５０％に近く、外側の境界Ｒ２ｂに近いほど最小値に近くなるよう、つまり、内側から外側に向かって半透明から不透明に変化するように透過度を設定する。
　ステップＳ１１１において、生成部１３Ａは、上述したステップＳ１１１とほぼ同様に動作するが、次の点が異なる。生成部１３Ａは、拡張医療画像における病変領域の各画素に関連付けるラベルとして、病変を示すラベルに透過度を乗じた値を設定する。例えば、病変領域の各画素に設定した透過度が５０％であれば、ラベルは０．５となる。また、生成部１３Ａは、背景画像におけるマージンより外側の各画素に関連付けられていたラベルを、拡張医療画像におけるマージンより外側の各画素に関連付けるラベルとして決定する。また、生成部１３Ａは、拡張医療画像におけるマージンの各画素に関連付けるラベルとして、前景画像におけるマージンに設定した透過度に応じたラベルを決定する。
　これにより、拡張医療画像における病変領域の各画素には、例えば、ラベル「０．５」が関連付けられる。また、拡張医療画像におけるマージンの各画素には、内側から外側に向かって０．５から０に近づくラベルが関連付けられる。また、拡張医療画像におけるマージンより外側の各画素には、元の背景画像に関連付けられていたラベルが関連付けられる。
　本変形例によれば、前景画像および背景画像のマージンに加えて、前景画像における病変領域および背景画像において病変領域が重なる領域に対して画像処理を施す、との構成が採用されている。これにより、生成した拡張医療画像において、病変領域およびその外部の領域との特徴量の差をさらに軽減することができ、不連続性をさらに緩和することができる。
　なお、本変形例は、変形例１と組み合わせることも可能である。すなわち、加工部１２Ａは、前景画像および背景画像のマージンに加えて、前景画像におけるダミー領域および背景画像においてダミー領域が重なる領域に対して画像処理を施してもよい。
　〔その他の変形例〕
　また、上述した例示的実施形態２では、画像処理として平滑化または透明化を行う例について説明した。これに限らず、加工部１２Ａは、平滑化または透明化に替えて、または加えて、その他の画像処理を前景画像および背景画像の一方または両方に施してもよい。
　また、上述した例示的実施形態において、前景画像および背景画像の一方または両方に複数種類の画像処理を施す場合、画像処理の種類に応じてマージンを設定してもよい。例えば、透明化を施すマージンと、平滑化フィルタを施すマージンとは、形状、サイズ、位置の少なくとも何れかが異なっていてもよい。
　また、上述した例示的実施形態２では、背景画像におけるマージンは、前景画像におけるマージンに重なる領域と同一であるものとして説明した。ただし、これらは必ずしも同一でなくてもよい。例えば、背景画像におけるマージンは、前景画像におけるマージンを含み、かつ、前景画像におけるマージンより広い領域であってもよい。
　また、上述した例示的実施形態２では、前景画像におけるマージンは、病変領域の境界を内側の境界として含む、すなわち、病変領域の外側の領域であるものとして説明した。これに限らず、前景画像におけるマージンは、病変領域の内側の領域を含んでいてもよい。背景画像におけるマージンについても同様である。
　また、上述した例示的実施形態２では、前景画像に施す画像処理と、背景画像に施す画像処理とが同じである例について説明した。これに限らず、前景画像に施す画像処理と、背景画像に施す画像処理とは、少なくとも一部が異なっていてもよい。例えば、前景画像には平滑化および透明化を施し、背景画像には平滑化を施さずに透明化を施してもよい。
　また、上述した例示的実施形態２は、ラベルにより識別する種類が、病変であるか否かの２種類である例について説明した。これに限らず、ラベルにより識別する種類は、３種類以上（例えば、第１種類の病変、第２種類の病変、および病変無し、等）であってもよい。この場合、生成部１３Ａは、拡張医療画像におけるマージンの各画素に関連付けるラベルを、次のように決定してもよい。例えば、前景画像においてマージンより内側の領域に第１ラベルが関連付けられ、背景画像においてマージンより外側の領域に第２ラベルが関連付けられているとする。一例として、生成部１３Ａは、拡張医療画像におけるマージンの各画素には、１つのラベルを関連付ける代わりに、第１ラベルに対する重みおよび第２ラベルに対する重みを関連付けてもよい。そのような重みは、前景画像におけるマージンの各画素に設定された透過度に応じて設定される。
　また、上述した例示的実施形態２は、セグメンテーションタスクを実行する画像認識モデルの機械学習に用いる教師データを生成するものとして説明した。これに限らず、当該例示的実施形態２は、病変を含む矩形領域を検知する検知タスク、画像単位で病変のクラスを認識する分類タスク、等を実行する機械学習に用いる教師データを生成する場合にも適用可能である。
　なお、分類タスクの場合には、医療画像には、画像単位でラベルが関連付けられている。そこで、生成部１３Ａは、生成した拡張医療画像に対して関連付けるラベルとして、前景画像に関連付けられていたラベルを決定する。また、検知タスクの場合には、教師データである医療画像には、病変を含む矩形領域の情報と、各矩形領域に対応するラベルと、が関連付けられている。そこで、生成部１３Ａは、拡張医療画像における病変領域を含む矩形領域に対して関連付けるラベルとして、前景画像の病変領域を含む矩形領域に関連付けられたラベルを決定する。また、生成部１３Ａは、拡張医療画像におけるマージンより外側の領域については、背景画像におけるマージンより外側の領域に関連付けられていた矩形領域およびそのラベルを関連付ける。
　また、上述した例示的実施形態２は、医療画像以外の画像を教師データとして生成する場合にも適用可能である。例えば、本例示的実施形態は、認識したい対象の領域および対象でない領域間の特徴量の差が小さい画像、換言すると、認識したい対象の領域および対象でない領域間の区別がつきにくい画像において当該対象の領域を認識するための教師データを生成することができる。そのような画像においては、前景画像における対象の領域と背景画像との境界における不連続性の特徴が対象の特徴として学習されることを軽減することが特に重要である。そのような画像および認識したい対象の一例としては、航空写真において物体（車、人、森林、農地、道路等）を認識する例が挙げられる。また、航空写真は、可視光カメラにより撮影されたものであってもよいし、人工衛星または航空機等に搭載されたレーダーにより撮影されたものであってもよい。レーダーにより撮影された画像は、レーダーの反射が２次元画像に変換されることにより生成されるため、可視光カメラにより撮影された画像に比べて、さらに物体と周囲との区別がつきにくい傾向がある。ただし、本例示的実施形態において適用可能な医療画像以外の画像の種類は、上述した例に限られない。
　〔ソフトウェアによる実現例〕
　画像生成装置１，１Ａ，および学習装置２（以降、それぞれを装置とも記載）の一部または全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、上記装置は、例えば、当該装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図９に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを各装置として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、上記装置の各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、または、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、または、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、またはプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、または放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部または全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　加工パラメータを無作為に設定する設定手段と、
　前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工手段と、
　前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成手段と、を備えている、
画像生成装置。
　（付記２）
　前記生成手段は、前記第１画像に関連付けられたラベルを参照することによって、前記第３画像に関連付けるラベルを決定する、
付記１に記載の画像生成装置。
　（付記３）
　前記生成手段は、前記第１画像に関連付けられたラベルに加えて、前記第２画像に関連付けられたラベル、および、前記加工パラメータを参照することによって、前記第３画像に関連付けるラベルを決定する、
付記２に記載の画像生成装置。
　（付記４）
　前記加工手段は、前記第１画像において所定のラベルが関連付けられた所定領域の境界を含む第１領域、および、前記第２画像において前記第１画像がペーストされた場合に前記所定領域が重なる領域の境界を含む第２領域の一方または両方に画像処理を施すことによって、前記第１画像および前記第２画像の一方または両方を加工する、
付記１から３の何れか１つに記載の画像生成装置。
　（付記５）
　前記加工手段は、前記第１画像において所定のラベルが関連付けられていないダミー領域の境界を含む第１領域、および、前記第２画像において前記第１画像がペーストされた場合に前記ダミー領域が重なる領域の境界を含む第２領域の一方または両方に画像処理を施すことによって、前記第１画像および前記第２画像の一方または両方を加工する、
付記１から３の何れか１つに記載の画像生成装置。
　（付記６）
　前記加工パラメータは、（１）前記第１領域および前記第２領域の一方または両方の形状を指定するパラメータ、（２）前記第１領域および前記第２領域の一方または両方のサイズを規定するパラメータ、（３）前記画像処理を規定するパラメータの少なくとも何れかを含む、
付記４または５に記載の画像生成装置。
　（付記７）
　前記画像処理は、平滑化または透明化である、
付記４から６の何れか１つに記載の画像生成装置。
　（付記８）
　前記第２画像を参照することによって、前記第２画像において前記第１画像をペーストする位置を決定する決定手段と、更に備えている、
付記１から７の何れか１つに記載の画像生成装置。
　（付記９）
　前記第１画像および前記第２画像は、人体における所定の部位を撮影した医療画像であり、
　前記決定手段は、前記所定の部位に応じた前記ペーストする位置に関する制約を示す制約情報をさらに参照することによって、前記第２画像において前記第１画像をペーストする位置を決定する、
付記８に記載の画像生成装置。
　（付記１０）
　付記１から９の何れか１つに記載の画像生成装置を用いて生成した教師データを用いて、画像認識モデルを学習させる学習手段、
　を含む学習装置。
　（付記１１）
　１以上のプロセッサが、
　加工パラメータを無作為に設定することと、
　前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工することと、
　前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成することと、
を含む、画像生成方法。
　（付記１２）
　１以上のプロセッサを、
　加工パラメータを無作為に設定する設定手段と、
　前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工手段と、
　前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成手段と、
として機能させる、プログラム。
　〔付記事項３〕
　上述した実施形態の一部または全部は、更に、以下のように表現することもできる。
　（付記１３）
　少なくとも１つのプロセッサを備え、前記プロセッサは、
　加工パラメータを無作為に設定する設定処理と、
　前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工処理と、
　前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成処理と、
を実行する画像生成装置。
　なお、この画像生成装置は、更にメモリを備えていてもよく、このメモリには、前記設定処理と、前記加工処理と、前記生成処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　（付記１４）
　少なくとも１つのプロセッサを備え、前記プロセッサは、
　付記１３に記載の画像生成装置を用いて生成した教師データを用いて、画像認識モデルを学習させる学習処理、を実行する学習装置。
　なお、この学習装置は、更にメモリを備えていてもよく、このメモリには、前記学習処理を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
１００　情報処理システム
１、１Ａ　画像生成装置
２　学習装置
３　画像記憶装置
４　拡張画像記憶装置
１１、１１Ａ　設定部
１２、１２Ａ　加工部
１３、１３Ａ　生成部
１４、１４Ａ　決定部
１５Ａ　事前加工部
２１　学習部
１１０、２１０　制御部
１２０、２２０　記憶部
Ｃ１　プロセッサ
Ｃ２　メモリ

Claims (12)

  1. 　加工パラメータを無作為に設定する設定手段と、
    　前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工手段と、
    　前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成手段と、を備えている、
    画像生成装置。
  2. 　前記生成手段は、前記第１画像に関連付けられたラベルを参照することによって、前記第３画像に関連付けるラベルを決定する、
    請求項１に記載の画像生成装置。
  3. 　前記生成手段は、前記第１画像に関連付けられたラベルに加えて、前記第２画像に関連付けられたラベル、および、前記加工パラメータを参照することによって、前記第３画像に関連付けるラベルを決定する、
    請求項２に記載の画像生成装置。
  4. 　前記加工手段は、前記第１画像において所定のラベルが関連付けられた所定領域の境界を含む第１領域、および、前記第２画像において前記第１画像がペーストされた場合に前記所定領域が重なる領域の境界を含む第２領域の一方または両方に画像処理を施すことによって、前記第１画像および前記第２画像の一方または両方を加工する、
    請求項１から３の何れか１項に記載の画像生成装置。
  5. 　前記加工手段は、前記第１画像において所定のラベルが関連付けられていないダミー領域の境界を含む第１領域、および、前記第２画像において前記第１画像がペーストされた場合に前記ダミー領域が重なる領域の境界を含む第２領域の一方または両方に画像処理を施すことによって、前記第１画像および前記第２画像の一方または両方を加工する、
    請求項１から３の何れか１項に記載の画像生成装置。
  6. 　前記加工パラメータは、（１）前記第１領域および前記第２領域の一方または両方の形状を指定するパラメータ、（２）前記第１領域および前記第２領域の一方または両方のサイズを規定するパラメータ、（３）前記画像処理を規定するパラメータの少なくとも何れかを含む、
    請求項４または５に記載の画像生成装置。
  7. 　前記画像処理は、平滑化または透明化である、
    請求項４から６の何れか１項に記載の画像生成装置。
  8. 　前記第２画像を参照することによって、前記第２画像において前記第１画像をペーストする位置を決定する決定手段と、更に備えている、
    請求項１から７の何れか１項に記載の画像生成装置。
  9. 　前記第１画像および前記第２画像は、人体における所定の部位を撮影した医療画像であり、
    　前記決定手段は、前記所定の部位に応じた前記ペーストする位置に関する制約を示す制約情報をさらに参照することによって、前記第２画像において前記第１画像をペーストする位置を決定する、
    請求項８に記載の画像生成装置。
  10. 　請求項１から９の何れか１項に記載の画像生成装置を用いて生成した教師データを用いて、画像認識モデルを学習させる学習手段、
    　を含む学習装置。
  11. 　１以上のプロセッサが、
    　加工パラメータを無作為に設定することと、
    　前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工することと、
    　前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成することと、
    を含む、画像生成方法。
  12. 　１以上のプロセッサを、
    　加工パラメータを無作為に設定する設定手段と、
    　前記加工パラメータに従って、第１画像および第２画像の一方または両方を加工する加工手段と、
    　前記第１画像を前記第２画像にペーストすることによって、機械学習のための教師データとなる第３画像を生成する生成手段と、
    として機能させる、プログラム。
PCT/JP2022/044109 2022-11-30 2022-11-30 画像生成装置、学習装置、画像生成方法、およびプログラム WO2024116309A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044109 WO2024116309A1 (ja) 2022-11-30 2022-11-30 画像生成装置、学習装置、画像生成方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044109 WO2024116309A1 (ja) 2022-11-30 2022-11-30 画像生成装置、学習装置、画像生成方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024116309A1 true WO2024116309A1 (ja) 2024-06-06

Family

ID=91323451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044109 WO2024116309A1 (ja) 2022-11-30 2022-11-30 画像生成装置、学習装置、画像生成方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2024116309A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172181A1 (ja) * 2018-03-09 2019-09-12 日本メジフィジックス株式会社 診断支援装置、プログラム、学習済みモデル、および学習装置
JP2020098370A (ja) * 2018-12-17 2020-06-25 廣美 畑中 医用画像をａｉの判断で症状度合いごと画像に表示する診断方法。
JP2020525127A (ja) * 2017-06-26 2020-08-27 ザ・リサーチ・ファウンデーション・フォー・ザ・ステイト・ユニヴァーシティ・オブ・ニューヨーク 仮想膵臓撮影法のためのシステム、方法、およびコンピュータ・アクセス可能媒体
JP2021019677A (ja) * 2019-07-24 2021-02-18 富士通株式会社 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
WO2021085258A1 (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、識別器の生成方法、識別方法、識別装置、識別器の生成装置、及び識別器
JP2022544229A (ja) * 2019-08-14 2022-10-17 ジェネンテック， インコーポレイテッド オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020525127A (ja) * 2017-06-26 2020-08-27 ザ・リサーチ・ファウンデーション・フォー・ザ・ステイト・ユニヴァーシティ・オブ・ニューヨーク 仮想膵臓撮影法のためのシステム、方法、およびコンピュータ・アクセス可能媒体
WO2019172181A1 (ja) * 2018-03-09 2019-09-12 日本メジフィジックス株式会社 診断支援装置、プログラム、学習済みモデル、および学習装置
JP2020098370A (ja) * 2018-12-17 2020-06-25 廣美 畑中 医用画像をａｉの判断で症状度合いごと画像に表示する診断方法。
JP2021019677A (ja) * 2019-07-24 2021-02-18 富士通株式会社 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
JP2022544229A (ja) * 2019-08-14 2022-10-17 ジェネンテック， インコーポレイテッド オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション
WO2021085258A1 (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、識別器の生成方法、識別方法、識別装置、識別器の生成装置、及び識別器

Similar Documents

Publication Publication Date Title
US20200412940A1 (en) Method and device for image processing, method for training object detection model
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
JP6864449B2 (ja) イメージの明るさを調整する方法及び装置
US10291823B2 (en) Apparatus and method for color calibration
US9311901B2 (en) Variable blend width compositing
WO2021068618A1 (zh) 图像融合方法、装置、计算处理设备和存储介质
CN111062947B (zh) 一种基于深度学习的x光胸片病灶定位方法及系统
CN111325739A (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
WO2020259453A1 (zh) 3d图像的分类方法、装置、设备及存储介质
JP2017517818A (ja) デジタル画像の色を処理するための方法及びシステム
CN110853024B (zh) 医疗图像处理方法、装置、存储介质及电子设备
CN111340209A (zh) 网络模型训练方法、图像分割方法、病灶定位方法
JP2013502147A (ja) 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法
Rukundo et al. Advanced image enhancement method for distant vessels and structures in capsule endoscopy
WO2024116309A1 (ja) 画像生成装置、学習装置、画像生成方法、およびプログラム
CN112116989B (zh) 一种多器官勾画方法及装置
US9153016B2 (en) Method and system for enhancing contrast of spatially-localized phenomena in mammography image
JP2020061081A (ja) 画像処理装置および画像処理方法
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR20220116928A (ko) 라벨링 방법 및 이를 위한 컴퓨팅 장치
KR101922978B1 (ko) 입력 영상과 출력 영상의 교차 열람을 지원하는 방법 및 이를 이용한 장치
WO2021039180A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
Odagawa et al. Feasibility Study for Computer-Aided Diagnosis System with Navigation Function of Clear Region for Real-Time Endoscopic Video Image on Customizable Embedded DSP Cores

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22967142

Country of ref document: EP

Kind code of ref document: A1