WO2021039211A1 - 機械学習装置、機械学習方法及びプログラム - Google Patents

機械学習装置、機械学習方法及びプログラム Download PDF

Info

Publication number
WO2021039211A1
WO2021039211A1 PCT/JP2020/028193 JP2020028193W WO2021039211A1 WO 2021039211 A1 WO2021039211 A1 WO 2021039211A1 JP 2020028193 W JP2020028193 W JP 2020028193W WO 2021039211 A1 WO2021039211 A1 WO 2021039211A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
machine learning
data
input image
region
Prior art date
Application number
PCT/JP2020/028193
Other languages
English (en)
French (fr)
Inventor
小林　剛
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2021039211A1 publication Critical patent/WO2021039211A1/ja
Priority to US17/675,071 priority Critical patent/US11823441B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a machine learning device, a machine learning method and a program, and more particularly to a machine learning technique capable of appropriately expanding teacher data during learning.
  • CNN convolutional neural network
  • One of the application fields is the area extraction process in medical images.
  • the irradiation field area In medical radiography equipment, in order to suppress the influence of radiation on areas other than the area of interest required for diagnosis (hereinafter referred to as the "irradiation field area"), the irradiation field is narrowed down using a collimator to perform the irradiation field area. It is common to prevent irradiation to other than.
  • a technique for accurately extracting the irradiation field region in an image is regarded as important.
  • Patent Document 1 proposes various techniques using machine learning. ing.
  • image processing using machine learning has a characteristic that the quality and quantity of teacher data are directly related to its performance, so it is desirable to use a large amount of teacher data for learning.
  • Patent Document 2 proposes a technique for expanding data by rotating an image.
  • the image is rotated at a plurality of angles to expand the data.
  • the image information image signal
  • the area may be included. It is common to substitute an arbitrary value such as zero for the area where the image information is missing.
  • the area other than the irradiation field area has a feature that the image information is small or almost zero because the radiation is shielded by the collimator.
  • the image information is uniformly set to an arbitrary value such as zero by data expansion. If such an area is newly created, learning cannot be performed, and the accuracy may be lowered due to data expansion.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a machine learning technique capable of extracting a region with higher accuracy by appropriately expanding the teacher data used for learning. And.
  • the machine learning device is a machine learning device that extracts a region from an input image.
  • An inference means that outputs the area by inference processing on the input image,
  • the inference means is learned based on the teacher data.
  • the extension means for expanding the data by increasing the number of the input images constituting the teacher data at the time of learning is provided.
  • the expansion means is characterized in that the data expansion is performed so that the region in which the image information contained in the input image is missing is not included.
  • the machine learning method is a machine learning method in a machine learning device that has an inference means that outputs an area by inference processing on an input image and extracts an area from the input image. It has an expansion step of increasing the number of input images constituting the teacher data to expand the data at the time of learning to learn the reasoning means based on the teacher data.
  • the expansion step is characterized in that the data expansion is performed so that the region in which the image information of the input image is missing is not included.
  • 1a is a block diagram showing an example of a basic configuration of a radiography system including a machine learning device according to an embodiment
  • 1b is a block diagram showing an example of a configuration of a learning unit
  • 2a is a flowchart showing the processing flow of the learning unit
  • 2b is a diagram schematically showing the learning concept of the learning unit.
  • FIG. 1 is a block diagram showing an example of a basic configuration of a radiography system including a machine learning device according to an embodiment. Further, 1b of FIG. 1 is a block diagram showing an example of the configuration of the learning unit.
  • the radiography system 100 includes a radiation generator 101 that generates radiation, a bed 103 on which the subject 102 is arranged, a radiation detection device 104 that detects radiation and outputs image data corresponding to the radiation that has passed through the subject 102.
  • a control device 105 that controls the radiation generation timing and radiation generation conditions of the radiation generator 101, a data collection device 106 that collects various digital data, and an information processing device 107 that performs image processing and control of the entire device according to a user's instruction.
  • the configuration of the radiography system 100 may be referred to as a radiography apparatus.
  • the information processing device 107 includes a machine learning device 108 including a learning unit 109 and an inference unit 110, a CPU 112, a memory 113, an operation panel 114, a storage device 115, a display device 116, and a diagnostic image processing device 117. These are electrically connected via the CPU bus 111.
  • the memory 113 stores various data and the like necessary for processing by the CPU 112, and the memory 113 includes a working memory of the CPU 112. Further, the CPU 112 is configured to use the memory 113 to control the operation of the entire device according to a user's instruction input to the operation panel 114.
  • radiation is not limited to generally used X-rays, but also other rays such as ⁇ -rays, ⁇ -rays, and ⁇ -rays, which are beams produced by particles (including photons) emitted by radioactive decay. , Beams with similar or higher energies (eg, particle rays, cosmic rays, etc.) are also included.
  • the radiation imaging system 100 starts the imaging sequence of the subject 102 according to the user's instruction via the operation panel 114. Radiation under predetermined conditions is generated from the radiation generator 101, and the radiation that has passed through the subject 102 is applied to the radiation detection device 104.
  • the control device 105 controls the radiation generator 101 based on radiation generation conditions such as voltage, current, and irradiation time, and generates radiation from the radiation generator 101 under predetermined conditions.
  • the radiation detection device 104 detects the radiation that has passed through the subject 102, converts the detected radiation into an electric signal, and outputs the image data according to the radiation.
  • the image data output from the radiation detection device 104 is collected as digital image data by the data collection device 106.
  • the data collection device 106 transfers the image data collected from the radiation detection device 104 to the information processing device 107.
  • the image data is transferred to the memory 113 via the CPU bus 111 under the control of the CPU 112.
  • the machine learning device 108 performs an area extraction process on the image data stored in the memory 113, and extracts an area from the input image.
  • the input image is an image taken by using the radiography system 100
  • the area is an irradiation field area irradiated by the radiation photography system 100.
  • the machine learning device 108 can perform, for example, an irradiation field recognition process for extracting an irradiation field region in a radiographically photographed image.
  • the irradiation field recognition process is a process of classifying the collimator region and the irradiation field region as described later.
  • the machine learning device 108 is configured to perform an area extraction process using machine learning, and the machine learning device 108 has a learning unit 109 and an inference unit 110. Further, as shown in 1b of FIG. 1, the learning unit 109 has a data expansion unit 120, an inference unit 121, a parameter update unit 122, and an end determination unit 123 as functional configurations.
  • the inference unit 121 is an inference unit in the middle of learning, and when learning is completed, the inference unit 110 is set in the machine learning device 108 as an inference unit for which learning has been completed.
  • an area is extracted from the input image based on supervised learning using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the machine learning device 108 uses a plurality of teacher data prepared in advance when performing the area extraction process, and the learning unit 109 performs supervised learning to determine CNN parameters.
  • the inference unit 110 applies the CNN having the parameters determined by the learning unit 109 to perform the area extraction process, and transfers the area extraction result to the memory 113.
  • the area extraction result and the image data are transferred to the diagnostic image processing device 117, and the diagnostic image processing device 117 applies diagnostic image processing such as gradation processing, enhancement processing, and noise reduction processing to the image data. Then, create an image suitable for diagnosis.
  • the result is stored in the storage device 115 and displayed on the display device 116.
  • FIG. 2 is a flowchart showing the processing flow of the learning unit 109
  • 2b of FIG. 2 is a diagram schematically showing the concept of learning of the learning unit 109.
  • the teacher data is composed of a set of the input image 201 and the correct answer data 205 corresponding to the input image 201 and indicating the extraction area.
  • the correct answer data 205 for example, it is possible to use a labeling image in which a predetermined area (extraction area) in the input image is labeled with an arbitrary value.
  • coordinate data indicating the extraction area in the input image in coordinates can be used.
  • the correct answer data 205 for example, data in which the boundary of the extraction region in the input image is specified by a straight line or a curved line can be used.
  • the correct answer data 205 it is possible to use a binary labeling image in which the irradiation field region of the input image 201 is 1 and the collimator region is 0.
  • step S201 the data expansion unit 120 applies the data expansion process to the teacher data. The details of this data expansion process will be described later.
  • the inference unit 121 performs inference processing on the input image 201 using the parameters of the convolutional neural network (CNN) 202 during learning, and outputs the inference result 204.
  • the inference unit 121 outputs an area by inference processing on the input image.
  • the CNN 202 has a structure in which a large number of processing units 203 are arbitrarily connected.
  • the processing unit 203 includes, for example, a convolution operation, a normalization process, or a process by an activation function such as ReLU or Sigmaid, and has a parameter group for describing the content of each process. For example, sets that perform processing in order such as convolution operation ⁇ normalization ⁇ activation function are connected in layers of about 3 to several hundreds, and various structures can be taken.
  • step S203 the parameter update unit 122 calculates the loss function from the inference result 204 and the correct answer data 205.
  • the loss function any function such as a square error or a cross entropy error can be used.
  • step S204 the parameter update unit 122 performs error back propagation starting from the loss function calculated in step S203, and updates the parameter group of the convolutional neural network (CNN) 202 during learning.
  • CNN convolutional neural network
  • step S205 when the end determination unit 123 determines the end of learning and continues learning (S205-No), the process is returned to step S201, and the processes of steps S201 to S204 are executed in the same manner.
  • the parameter update of the CNN 202 is repeated so that the loss function is lowered, and the accuracy of the machine learning device 108 can be improved.
  • the judgment of the end of learning can be made based on the judgment criteria set according to the problem, for example, the accuracy of the inference result becomes a certain value or more without overfitting, or the loss function becomes a certain value or less. It is possible. Since the processing in steps S201 to S205 has a high calculation cost, it is possible to use a calculation unit having high parallel calculation performance such as a GPU as the configuration of the learning unit 109.
  • FIG. 3A is a flowchart showing the processing flow of the data expansion unit 120
  • FIGS. 3B and 3C are diagrams schematically showing an image example in the data expansion processing.
  • the data expansion unit 120 expands the data by increasing the number of input images constituting the teacher data at the time of learning when the inference unit 121 learns based on the teacher data.
  • the data expansion unit 120 expands the data so that the region in which the image information of the input image is missing is not included.
  • the data expansion unit 120 expands the teacher data by at least one expansion processing of the affine transformation process, the cutout process, and the signal amount adjustment process, and the data expansion unit 120 correctly answers the input image. Performs the same extension processing on the data.
  • the data expansion unit 120 expands the teacher data by performing steps S301 (affine transformation processing), S302 (cutout processing), and S303 (signal amount adjustment processing), thereby improving the generalization performance in learning of the machine learning device 108. It will be possible to improve.
  • the data expansion unit 120 applies an affine transformation process to the teacher data to rotate, invert, enlarge, reduce, etc. the image.
  • the affine transformation for example, the equivalent of the input image 201 of 2b of FIG. 2 and the correct answer data 205 is applied.
  • the correct answer data 205 an example of a labeling image having the same size as the input image 201 will be shown.
  • the correct answer data 205 may be a labeling image having a size different from that of the input image 201, or a straight or curved expression indicating a boundary of a desired region. Even if it is, the correct answer data shall be subjected to expansion processing having the same meaning as the data expansion applied to the input image.
  • step S302 the data expansion unit 120 performs a cutout process on the converted image and outputs the cutout image.
  • the data expansion unit 120 selects the size (width and height) of the cropped image according to the input / output size of the CNN 202.
  • FIG. 3B is a diagram schematically showing an example of an image when the processes of steps S301 to S302 are applied to the original input image 301.
  • the data expansion unit 120 performs affine transformation of the input image 301 according to the process of step S301 to generate the converted image 306.
  • the data expansion unit 120 After generating the converted image 306, the data expansion unit 120 performs a cutout process on the converted image 306 according to the process of step S302 to generate the cutout image 307.
  • a defective region 305 including an invalid region in which the image information derived from the input image 301 is deleted is generated in the transformed image 306.
  • a part of the defective region 305 may be included in the cutout image 307 as shown in B2 of FIG. 3B. is there.
  • the collimator region 303 is a region in which radiation is shielded by the irradiation field diaphragm, it exists so as to surround the outer periphery of the input image 301, and the image information (image signal) suddenly becomes small at the boundary with the irradiation field region 304. It has the following characteristics.
  • the defective region 305 exists so as to surround the outer periphery of the converted image 306, and the image information is missing, and has a feature close to that of the collimator region 303.
  • the collimator region 303 contains scattered rays derived from the subject 302 and the irradiation field region 304, whereas the defective region 305 does not include the influence of such a physical phenomenon. Therefore, the defective region 305 is similar to the collimator region 303, but has distinctly different characteristics. Since the signal in the collimator region 303 is brought about by a complicated physical phenomenon, it is difficult to artificially reproduce it in the defective region 305.
  • the irradiation field recognition process is a process for classifying the collimator area 303 and the irradiation field area 304.
  • the machine learning device 108 learns information other than the features of the collimator region 303, which is the target to be originally learned. May decrease. Therefore, in order to prevent the defective region 305 from being included in the cutout image 307, the conversion parameter in the affine transformation in step S301 and the position where the cutout image 307 is cut out in the cutout process in step S302 are as shown in B3 of FIG. 3B. , It is necessary to select so that the defective region 305 is not included in the cutout image 307.
  • the magnification is magnified ⁇ times in the y direction and the rotation angle is ⁇ rotation.
  • the image width of the input image 301 is Win
  • the height Hin
  • the image width of the cropped image 307 is W trim
  • the height is H trim
  • the image width is ( ⁇ W in cos ⁇ + ⁇ H in sin ⁇ ) by the processing of the data expansion unit 120.
  • the image height is ( ⁇ W in sin ⁇ + ⁇ H in cos ⁇ ), and the converted image 306 including the defective region 305 is generated.
  • step S302 the data expansion unit 120 sets a cutout possible area 317 in the converted image 306 so that the cutout image 307 does not include the missing area 305, and limits the range in which the cutout image 307 is acquired. ..
  • the data expansion unit 120 expands the data by generating a cut-out image 307 that is a part of the converted image 306 obtained by affine-transforming the input image constituting the teacher data, and the cut-out image 307 has a region (missing) in which the image information is missing.
  • the range for acquiring the cropped image 307 is limited so that the region 305) is not included.
  • the data expansion unit 120 sets a cutout possible area 317 (FIG. 3C) in the converted image 306, and limits the range in which the cutout image 307 is acquired.
  • the data expansion unit 120 can set the cutout possible area 317 according to the rotation angle ⁇ of the input image 301 in the affine transformation. Further, the data expansion unit 120 can set parameters (enlargement ratios ⁇ and ⁇ ) indicating the enlargement ratio of the input image 301 according to the rotation angle of the input image 301 in the affine transformation. Here, the data expansion unit 120 sets the rotation angle ⁇ and the parameters (magnification ratios ⁇ , ⁇ ) indicating the enlargement ratio of the input image 301 so that a part of the input image 301 is not lost due to the affine transformation. Is restricted to be included within the cuttable region 317 surrounded by vertices 309, 310, 311, 312, 313, 314, 315, 316.
  • the coordinates (x, y) of each vertex are expressed by the following equations. That is, the coordinates of the apex 309 are expressed by the equation [Equation 2], the coordinates of the apex 310 are expressed by the equation [Equation 3], the coordinates of the apex 311 are expressed by the equation [Equation 4], and the coordinates of the apex 312 are expressed by the equation [Equation 5].
  • the coordinates of the apex 313 are expressed by the equation [Equation 6]
  • the coordinates of the apex 314 are expressed by the equation [Equation 7]
  • the coordinates of the apex 315 are expressed by the equation [Equation 8]
  • the coordinates of the apex 316 are expressed by the equation [Equation 9].
  • the trim can randomly set conversion parameters within a range in which all of the vertices 309 to 316 are included in the converted image 306.
  • the rotation angle ⁇ is, for example, 0 ° to 45 °
  • the larger the rotation angle ⁇ the larger the defective region 305 in the converted image 306. Therefore, it is better to set the enlargement ratios ⁇ and ⁇ to be large. The range that can be cut out becomes wider. In this way, the enlargement factors ⁇ and ⁇ of the conversion parameters may be changed in conjunction with each other according to the size of the defect region 305 generated by the rotation angle ⁇ .
  • step S303 the data expansion unit 120 performs signal amount adjustment processing on the cutout image 307 and outputs the adjusted image.
  • the data expansion unit 120 performs multiplication by an arbitrary coefficient and addition by an arbitrary coefficient on the cutout image 307 as a signal amount adjustment process.
  • the signal amount adjustment process assuming that the cutout image 307 is I trim , the adjusted image is I out , and the coefficients ⁇ and ⁇ are arbitrary coefficients , the relationship between the cutout image 307 (I trim ) and the adjusted image (I out ) is as follows. It can be expressed by the formula [Equation 10] of.
  • the coefficient ⁇ for example, an arbitrary coefficient of about 0.1 to 10 may be set, and the signal may be uniformly increased or decreased by multiplying the cutout image Itrim , or a two-dimensional filter such as a Gaussian filter may be used. It is also possible to set and apply it to the cropped image Itrim. A uniform value may be added or subtracted for the coefficient ⁇ , or an arbitrary random noise can be added for each pixel. When adding noise, it is also possible to add noise according to the physical characteristics of the radiation detection device 104.
  • the data expansion unit 120 sets a cutout possible area 317 in the input image so that the cutout image 307 does not include the missing area 305, and the cutout image It is also possible to limit the range in which 307 is acquired.
  • the data expansion unit 120 expands the data by generating a cutout image 307 that is a cutout of a part of the input image 301 that constitutes the teacher data, and the cutout image 307 contains a region (missing region 305) in which the image information is missing.
  • the range for acquiring the cropped image 307 is limited so that it is not included.
  • the data expansion unit 120 sets a cutout possible area 317 (FIG. 3C) in the input image 301, and limits the range in which the cutout image 307 is acquired.
  • FIG. 4 is a diagram schematically showing the concept of inference of the inference unit 110.
  • the inference unit 110 is an inference unit that has been learned by the learning unit 109, and can perform inference processing based on the learned parameters acquired based on the learning.
  • the inference unit 110 has a trained convolutional neural network (CNN) 402 having a trained parameter group obtained by the learning unit 109.
  • CNN convolutional neural network
  • the inference unit 110 applies the inference processing by the learned CNN 402 to the input image 401 input to the inference unit 110, and outputs the inference result 403.
  • the learning in the machine learning device 108 is performed before, for example, introduced into the user's usage environment to obtain the parameter group of the learned CNN402 in advance, but after the introduction into the user's usage environment, it is desirable. It is also possible to configure the machine learning device 108 so that it can be updated according to the usage situation. In that case, the set of the image acquired in the user's usage environment and the data set of the irradiation field area may be stored in the storage device 115 as teacher data.
  • the learning unit 109 of the machine learning device 108 can use the set of data sets stored in the storage device 115 as new teacher data to perform additional learning and update the parameter group of the trained CNN 402. is there. Then, the additional learned reasoning unit 110 added a set of the image taken by the radiography system 100 and the data of the irradiation field region corresponding to the image as teacher data in the user's usage environment. It is possible to perform inference processing based on the result of learning and the result of learning performed in advance.
  • the timing for performing additional learning is, for example, when a certain number or more of data sets are accumulated in the storage device 115, or when a certain number or more of data sets whose irradiation field recognition result is modified by the user are accumulated, or the like. Can choose when to perform additional learning. Further, as the initial value of the CNN parameter group when the additional learning is performed, it is also possible to set the parameter group of the learned CNN 402 which was used before the additional learning and perform the transfer learning.
  • the storage device 115 and the machine learning device 108 are not limited to the configuration mounted on the information processing device 107, and the storage device 115 and the machine learning device 108 may be provided on a cloud server connected via a network. In that case, the data sets obtained by the plurality of radiography systems 100 are collected and stored on the cloud server, and the machine learning device 108 performs additional learning using the data sets collected and stored on the cloud server. It is also possible to do.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC
  • 100 Radiation imaging system
  • 101 Radiation generator
  • 102 Subject
  • 103 Bed
  • 104 Radiation detector
  • 105 Control device
  • 106 Data collection device
  • 107 Information processing device
  • 108 Machine learning device
  • 109 Learning unit
  • 110 Inference unit
  • 111 CPU bus
  • 112 CPU
  • 113 Memory
  • 114 Operation panel
  • 115 Storage device
  • 116 Display device
  • 117 Diagnostic image processing device
  • 120 Data expansion unit
  • 122 Parameter update unit
  • 123 End determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

入力画像から領域を抽出する機械学習装置は、入力画像に対する推論処理により領域を出力する推論部と、教師データに基づいて推論部の学習を行う学習時に教師データを構成する入力画像の数を増やしてデータ拡張を行うデータ拡張部と、を備える。データ拡張部は、入力画像が有する画像情報が欠損した領域が含まれないようにデータ拡張を行う。

Description

機械学習装置、機械学習方法及びプログラム
　本発明は、機械学習装置、機械学習方法及びプログラムに関し、特に、学習時に適切に教師データの拡張を行うことができる機械学習技術に関するものである。
　近年、機械学習を利用して画像上で物体認識を行い、対象物の位置を検出する技術が普及している。特に、畳み込みニューラルネットワーク（以後、「ＣＮＮ」と呼称する）を用いて教師あり学習を行う構成は、大量の教師データを必要とするものの、その性能の高さから多くの分野への展開を見せている状況にある。
　応用分野の一つとして、医用画像における領域抽出処理が挙げられる。医用の放射線撮影装置においては、診断に必要な関心領域（以後、「照射野領域」と呼称する）以外への放射線の影響を抑えるため、コリメータを用いて照射野絞りを行って、照射野領域以外への放射線照射を防ぐのが一般的である。照射野領域に対して画像処理を施すために、画像中の照射野領域を正確に抽出する技術が重要視されており、例えば特許文献１には、機械学習を利用した各種の技術が提案されている。
　ここで、機械学習を用いた画像処理は、教師データの質と量がその性能に直結する特徴を持つため、大量の教師データを学習に使用することが望ましい。しかしながら、医用画像など入手性が必ずしも高くないものにおいては、十分な教師データを確保できないことも多い。
　そのため、所有している教師データに対し、人工的に変形を加えることで画像のバリエーションを増やすデータ拡張技術が提案されている。例えば、特許文献２では、画像を回転することでデータ拡張を行う技術が提案されている。
特開平０４－２６１６４９号公報 特開２０１７－１８５００７号公報
　しかしながら、特許文献２の技術では、画像を複数角度で回転させてデータ拡張を行うものであるが、単純に画像を回転させた場合、回転後の画像には、画像情報（画像信号）が欠損した領域が含まれる場合がある。画像情報が欠損した領域には、ゼロなどの任意の値を代入することが一般的である。
　上述の医用の放射線撮影装置のケースを考えると、照射野領域以外の領域は、コリメータによって放射線が遮蔽されているため、画像情報が少ないか、ほとんどゼロとなる特徴を持つ。つまり、照射野領域を認識する場合、入力画像に由来する画像情報が少ないこと、そのものが学習すべき特徴の一つであるため、データ拡張によって画像情報を一律にゼロなどの任意の値とするような領域を新たに作ってしまうと、学習を行えなくなり、データ拡張によって逆に精度が低下してしまう場合が生じ得る。
　本発明は、上記の課題を鑑みてなされたものであり、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術の提供を目的とする。
　本発明の一態様に係る機械学習装置は、入力画像から領域を抽出する機械学習装置であって、
　前記入力画像に対する推論処理により前記領域を出力する推論手段と、
　教師データに基づいて前記推論手段の学習を行う学習時に前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張手段と、を備え、
　前記拡張手段は、前記入力画像が有する画像情報が欠損した領域が含まれないように前記データ拡張を行うことを特徴とする。
　本発明の他の態様に係る機械学習方法は、入力画像に対する推論処理により領域を出力する推論手段を有し、前記入力画像から領域を抽出する機械学習装置における機械学習方法であって、
　教師データに基づいて前記推論手段の学習を行う学習時に前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張工程を有し、
　前記拡張工程では、前記入力画像が有する画像情報が欠損した領域が含まれないように前記データ拡張を行うことを特徴とする。
　本発明によれば、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術を提供することができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
１ａは、実施形態に係る機械学習装置を含んだ放射線撮影システムの基本的な構成の例を示すブロック図、１ｂは、学習部の構成の例を示すブロック図。 ２ａは、学習部の処理の流れを示したフローチャート、２ｂは、学習部の学習の概念を模式的に示した図。 データ拡張部の処理の流れを示したフローチャート。 データ拡張処理における画像例を模式的に示した図。 データ拡張処理における画像例を模式的に示した図。 推論部における推論の概念を示した模式図。
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。図１の１ａは、実施形態に係る機械学習装置を含んだ放射線撮影システムの基本的な構成の例を示すブロック図である。また、図１の１ｂは、学習部の構成の例を示すブロック図である。
　放射線撮影システム１００は、放射線を発生させる放射線発生装置１０１と、被写体１０２を配置する寝台１０３と、放射線を検出し、被写体１０２を通過した放射線に応じた画像データを出力する放射線検出装置１０４と、放射線発生装置１０１の放射線発生タイミングと放射線発生条件を制御する制御装置１０５と、各種デジタルデータを収集するデータ収集装置１０６と、ユーザーの指示に従って画像処理や機器全体の制御を行う情報処理装置１０７とを備える。尚、放射線撮影システム１００の構成を放射線撮影装置ということもある。
　情報処理装置１０７は、学習部１０９と推論部１１０とを含む機械学習装置１０８と、ＣＰＵ１１２と、メモリ１１３と、操作パネル１１４と、記憶装置１１５と、表示装置１１６と、診断用画像処理装置１１７を備えており、これらはＣＰＵバス１１１を介して電気的に接続されている。
　メモリ１１３には、ＣＰＵ１１２での処理に必要な各種のデータなどが記憶されるとともに、メモリ１１３はＣＰＵ１１２の作業用ワークメモリを含む。また、ＣＰＵ１１２は、メモリ１１３を用いて、操作パネル１１４に入力されるユーザーの指示に従い、装置全体の動作制御などを行うように構成されている。
　本発明の実施形態において放射線とは、一般的に用いられるＸ線に限らず、放射性崩壊によって放出される粒子（光子を含む）の作るビームであるα線、β線、及びγ線などの他、同程度以上のエネルギーを有するビーム（例えば、粒子線や宇宙線など）も含まれる。
　放射線撮影システム１００は、操作パネル１１４を介したユーザーの指示に従って、被写体１０２の撮影シーケンスを開始する。放射線発生装置１０１から所定の条件の放射線が発生し、被写体１０２を通過した放射線が放射線検出装置１０４に照射される。ここで、制御装置１０５は、電圧、電流、及び照射時間などの放射線発生条件に基づいて放射線発生装置１０１を制御し、所定の条件で放射線発生装置１０１から放射線を発生させる。
　放射線検出装置１０４は、被写体１０２を通過した放射線を検出し、検出した放射線を電気信号に変換し、放射線に応じた画像データとして出力する。放射線検出装置１０４から出力された画像データは、データ収集装置１０６によりデジタルの画像データとして収集される。データ収集装置１０６は放射線検出装置１０４から収集した画像データを情報処理装置１０７に転送する。情報処理装置１０７において、画像データはＣＰＵ１１２の制御によりＣＰＵバス１１１を介してメモリ１１３に転送される。
　放射線撮影システム１００において、機械学習装置１０８は、メモリ１１３に格納された画像データに対して領域抽出処理を行い、入力画像から領域を抽出する。ここで、入力画像は、放射線撮影システム１００を用いて撮影された画像であり、領域は、放射線撮影システム１００により放射線が照射された照射野領域である。機械学習装置１０８は、領域抽出処理として、例えば、放射線撮影された画像中の照射野領域を抽出する照射野認識処理を行うことが可能である。ここで、照射野認識処理は、後述するようにコリメータ領域と照射野領域とを分類する処理である。以下の説明では、機械学習装置１０８が、領域抽出処理として、照射野認識処理を行う場合の例について説明する。
　機械学習装置１０８は、機械学習を利用した領域抽出処理を行うように構成されており、機械学習装置１０８は学習部１０９と推論部１１０とを有する。また、学習部１０９は、図１の１ｂに示すように、機能構成として、データ拡張部１２０、推論部１２１、パラメータ更新部１２２、終了判定部１２３を有する。ここで、推論部１２１は学習途中の推論部であり、学習が終了すると学習終了済の推論部として推論部１１０が機械学習装置１０８内に設定される。
　機械学習装置１０８の処理としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いた教師あり学習に基づいて入力画像から領域を抽出する。機械学習装置１０８は、領域抽出処理を行うにあたり、予め用意した複数の教師データを用い、学習部１０９は教師あり学習を行ってＣＮＮのパラメータを決定する。領域抽出処理を行う際に、推論部１１０は、学習部１０９により決定されたパラメータを有したＣＮＮを適用して領域抽出処理を行い、領域抽出結果をメモリ１１３に転送する。
　領域抽出結果と、画像データは診断用画像処理装置１１７に転送され、診断用画像処理装置１１７は、画像データに対して、階調処理や強調処理、ノイズ低減処理などの診断用画像処理を適用し、診断に適した画像作成を行う。その結果は記憶装置１１５へ保存され、表示装置１１６へ表示される。
　次に、図２を用いて、機械学習装置１０８における学習部１０９の処理について、畳み込みニューラルネットワーク（ＣＮＮ）を用いた場合を例として説明する。図２の２ａは、学習部１０９の処理の流れを示したフローチャートであり、図２の２ｂは、学習部１０９の学習の概念を模式的に示した図である。
　学習は、教師データに基づいて行われる。教師データは、入力画像２０１と、入力画像２０１に対応し、抽出領域を示す正解データ２０５との組により構成される。正解データ２０５としては、例えば、入力画像における所定領域（抽出領域）を任意の値でラベリングしたラベリング画像を用いることが可能である。また、正解データ２０５としては、例えば、入力画像における抽出領域を座標で示した座標データを用いることが可能である。あるいは、正解データ２０５としては、例えば、入力画像における抽出領域の境界を直線または曲線で特定したデータを用いることが可能である。照射野認識処理においては、例えば正解データ２０５として、入力画像２０１における照射野領域を１、コリメータ領域を０とした２値のラベリング画像を用いることが可能である。
　ステップＳ２０１において、データ拡張部１２０は教師データに対してデータ拡張処理を適用する。このデータ拡張処理の詳細については後述する。
　ステップＳ２０２において、推論部１２１は入力画像２０１に対して、学習途中の畳み込みニューラルネットワーク（ＣＮＮ）２０２のパラメータによる推論処理を行い、推論結果２０４を出力する。推論部１２１は入力画像に対する推論処理により領域を出力する。ここで、ＣＮＮ２０２は、多数の処理ユニット２０３が任意に接続された構造を有する。処理ユニット２０３のとしては、例えば、畳み込み演算や、正規化処理、あるいは、ＲｅＬＵやＳｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数等のように順番に処理を行う組が３～数百程度の層状に接続され、さまざまな構造を取ることができる。
　ステップＳ２０３において、パラメータ更新部１２２は、推論結果２０４と正解データ２０５から、損失関数を算出する。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。
　ステップＳ２０４において、パラメータ更新部１２２は、ステップＳ２０３で算出した損失関数を起点とした誤差逆伝搬を行い、学習途中の畳み込みニューラルネットワーク（ＣＮＮ）２０２のパラメータ群を更新する。
　ステップＳ２０５において、終了判定部１２３は学習の終了判定を行い、学習を継続する場合（Ｓ２０５－Ｎｏ）、処理をステップＳ２０１に戻し、ステップＳ２０１～Ｓ２０４の処理が同様に実行される。入力画像２０１と正解データ２０５を変えながら処理を繰り返すことで、損失関数が低下するようにＣＮＮ２０２のパラメータ更新が繰り返され、機械学習装置１０８の精度を高めることができる。十分に学習が進み、終了判定部１２３が学習終了と判定した場合（Ｓ２０５－Ｙｅｓ）、処理を終了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、または損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行うことが可能である。なお、ステップＳ２０１～Ｓ２０５の処理は計算コストが高いため、学習部１０９の構成として、ＧＰＵなどの並列演算性能の高い演算ユニットを用いることも可能である。
　次に、図３Ａ、図３Ｂ及び図３Ｃを用いて、データ拡張部１２０の処理について説明する。図３Ａは、データ拡張部１２０の処理の流れを示したフローチャート、図３Ｂ及び図３Ｃは、データ拡張処理における画像例を模式的に示した図である。データ拡張部１２０は、教師データに基づいて推論部１２１の学習を行う学習時に教師データを構成する入力画像の数を増やしてデータ拡張を行う。データ拡張部１２０は、入力画像が有する画像情報が欠損した領域が含まれないようにデータ拡張を行う。
　データ拡張部１２０は、教師データに対して、アフィン変換処理と、切り出し処理と、信号量調整処理のうち少なくとも１つ以上の拡張処理によりデータ拡張を行い、データ拡張部１２０は、入力画像と正解データとに対して同じ拡張処理を行う。データ拡張部１２０は、ステップＳ３０１（アフィン変換処理）、Ｓ３０２（切り出し処理）、Ｓ３０３（信号量調整処理）を行うことによって教師データを拡張し、これにより機械学習装置１０８の学習における汎化性能を向上させることが可能になる。
　ステップＳ３０１において、データ拡張部１２０は教師データに対してアフィン変換処理を適用し、画像の回転、反転、拡大、縮小等を行う。アフィン変換は、例えば、図２の２ｂの入力画像２０１と正解データ２０５で同等のものが適用される。以下、正解データ２０５として、入力画像２０１と同じサイズのラベリング画像の例を示すが、正解データ２０５が入力画像２０１と異なるサイズのラベリング画像であったり、所望領域の境界を示す直線や曲線の式であったりした場合であっても、正解データに対して、入力画像に施されるデータ拡張と同等の意味を持つ拡張処理を行うものとする。
　入力画像の座標系を（ｘ，ｙ）、変換画像の座標系を（Ｘ'，Ｙ'）、アフィン変換処理の変換パラメータをａ，ｂ，ｃ，ｄ，ｅ，ｆとしたとき、アフィン変換処理は以下の［数１］式で表すことができる。変換パラメータａ～ｆは、教師データごとに任意の値を選択することが可能であるが、変換パラメータの取り得る値の範囲は後述するルールによって制限される。
Figure JPOXMLDOC01-appb-M000001
　例えば、入力画像をθ回転し、ｘ軸方向にα倍、ｙ軸方向にβ倍に拡大する場合は、ａ＝αｃｏｓθ，ｂ＝－αｓｉｎθ，ｃ＝βｓｉｎθ，ｄ＝βｃｏｓθ，ｄ＝ｅ＝０と設定すればよい。
　ステップＳ３０２において、データ拡張部１２０は変換画像に対して切り出し処理を行い、切り出し画像を出力する。データ拡張部１２０は切り出し画像のサイズ（幅及び高さ）を、ＣＮＮ２０２の入力・出力サイズに合わせて選択する。
　いま、図３ＢのＢ１に示すように、被写体３０２、コリメータ領域３０３、照射野領域３０４を含んだ入力画像３０１についてデータ拡張を行う場合の例を考える。
　図３ＢのＢ２は、元の入力画像３０１に対して、ステップＳ３０１～Ｓ３０２の処理を適用した場合の画像の例を模式的に示す図である。ここでは、データ拡張部１２０は入力画像３０１をステップＳ３０１の処理に従ってアフィン変換し、変換画像３０６を生成する。変換画像３０６を生成した後に、データ拡張部１２０はステップＳ３０２の処理に従って、変換画像３０６に対して切り出し処理を行い、切り出し画像３０７を生成している。
　アフィン変換において回転処理が含まれる場合、変換画像３０６には入力画像３０１に由来する画像情報が欠損した無効な領域が含まれた欠損領域３０５が生成されることとなる。
　ここで、ステップＳ３０１の拡大率や回転角度、ステップＳ３０２の切り出し位置や切り出し画像のサイズによっては、図３ＢのＢ２のように、切り出し画像３０７内に、欠損領域３０５の一部が含まれる場合がある。
　コリメータ領域３０３は、照射野絞りによって放射線が遮蔽された領域であることから、入力画像３０１の外周を囲うように存在し、照射野領域３０４との境界で急激に画像情報（画像信号）が小さくなる特徴を有する。
　一方、欠損領域３０５は、変換画像３０６の外周を囲うように存在し、かつ画像情報が欠落した領域であり、コリメータ領域３０３に近い特徴を有する。しかしながら、コリメータ領域３０３には、被写体３０２および照射野領域３０４由来の散乱線が含まれているのに対して、欠損領域３０５にはそのような物理現象の影響が含まれない。このため、欠損領域３０５はコリメータ領域３０３と似ているが明らかに異なる特徴を持つこととなる。なお、コリメータ領域３０３の信号は、複雑な物理現象によってもたらされたものであるため、欠損領域３０５に人工的に再現することは困難である。
　照射野認識処理は、コリメータ領域３０３と照射野領域３０４とを分類する処理である。データ拡張によって、学習に用いる切り出し画像３０７に欠損領域３０５が含まれると、機械学習装置１０８が本来学習したい対象であるコリメータ領域３０３の特徴以外の情報を学習することとなり、データ拡張によって逆に精度が低下してしまう場合が生じ得る。従って、切り出し画像３０７内に、欠損領域３０５が含まれることを防ぐため、ステップＳ３０１のアフィン変換における変換パラメータと、ステップＳ３０２の切り出し処理において切り出し画像３０７を切り出す位置は、図３ＢのＢ３のように、切り出し画像３０７内に欠損領域３０５が含まれないように選択される必要がある。
　次に、切り出し画像３０７内に欠損領域３０５が含まれないための変換パラメータの制限について、図３Ｃを用いて説明する。
　図３Ｃに示すように、ステップＳ３０１のアフィン変換における変換パラメータをａ＝αｃｏｓθ，ｂ＝－αｓｉｎθ，ｃ＝βｓｉｎθ，ｄ＝βｃｏｓθ，ｄ＝ｅ＝０とし、入力画像３０１をｘ方向に拡大率α倍、ｙ方向に拡大率β倍に拡大し、回転角度としてθ回転する場合の例を考える。入力画像３０１の画像幅をＷｉｎ、高さをＨｉｎ、切り出し画像３０７の画像幅をＷｔｒｉｍ、高さをＨｔｒｉｍとすると、データ拡張部１２０の処理によって、画像幅が（αＷｉｎｃｏｓθ＋βＨｉｎｓｉｎθ）、画像高さが（αＷｉｎｓｉｎθ＋βＨｉｎｃｏｓθ）であって、欠損領域３０５を含んだ変換画像３０６が生成される。
　ステップＳ３０２において、データ拡張部１２０は切り出し画像３０７内に欠損領域３０５が含まれないようにするために、変換画像３０６内において切り出し可能領域３１７を設定し、切り出し画像３０７を取得する範囲を制限する。
　データ拡張部１２０は、教師データを構成する入力画像をアフィン変換した変換画像３０６の一部を切り出した切り出し画像３０７の生成によりデータ拡張を行い、切り出し画像３０７に、画像情報が欠損した領域（欠損領域３０５）が含まれないように、切り出し画像３０７を取得する範囲を制限する。データ拡張部１２０は、変換画像３０６において切り出し可能領域３１７（図３Ｃ）を設定し、切り出し画像３０７を取得する範囲を制限する。
　データ拡張部１２０は、アフィン変換における入力画像３０１の回転角度θに応じて切り出し可能領域３１７を設定することが可能である。また、データ拡張部１２０は、アフィン変換における入力画像３０１の回転角度に応じて入力画像３０１の拡大率を示すパラメータ（拡大率α、β）を設定することが可能である。ここで、データ拡張部１２０は、アフィン変換により入力画像３０１の一部が欠落しないように回転角度θ、及び入力画像３０１の拡大率を示すパラメータ（拡大率α、β）を設定する切り出し画像３０７は、頂点３０９、３１０、３１１、３１２、３１３、３１４、３１５、３１６に囲まれた切り出し可能領域３１７内に含まれるように制限される。画像左上端に座標の原点３１８を設定したとき、各頂点の座標（ｘ，ｙ）は、以下の式で表される。すなわち、頂点３０９の座標は［数２］式、頂点３１０の座標は［数３］式、頂点３１１の座標［数４］式、頂点３１２の座標は［数５］式で表される。また、頂点３１３の座標は［数６］式、頂点３１４の座標は［数７］式、頂点３１５の座標は［数８］式、頂点３１６の座標は［数９］式で表される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　ここで、入力画像の画像幅Ｗｉｎ、入力画像の画像高さＨｉｎと、拡大率α、βと、回転角度θと、切り出し画像３０７の画像幅Ｗｔｒｉｍ、切り出し画像３０７の画像高さＨｔｒｉｍは、頂点３０９～頂点３１６の全てが変換画像３０６内に含まれる範囲で変換パラメータをランダムに設定することが可能である。
　なお、変換パラメータの設定において、拡大率α、βを大きくしすぎる場合、または、切り出し画像３０７の画像幅Ｗｔｒｉｍと切り出し画像３０７の画像高さＨｔｒｉｍを、入力画像の画像幅Ｗｉｎと入力画像の画像高さＨｉｎに比べて小さくしすぎる場合には、コリメータ領域３０３が切り出し画像３０７内に含まれにくくなってしまい、有効なデータ拡張を行うことができなくなる可能性がある。このため、データ拡張部１２０は、拡大率α、βを、例えば、０．８～１．２程度に設定し、切り出し画像３０７の画像幅ＷｔｒｉｍおよびＨｔｒｉｍと、ＷｉｎおよびＨｉｎの長さの関係を、例えば、１：２程度の比率となるように変換パラメータを設定することが可能である。
　また、回転角度θが例えば０°～４５°であるときを考えると、回転角度θが大きいほど、変換画像３０６内の欠損領域３０５は大きくなるため、拡大率α、βを大きく設定した方が切り出し可能な範囲は広くなる。このように、回転角度θによって発生する欠損領域３０５の大きさに合わせて、変換パラメータの拡大率α、βを連動して変化させるようにしてもよい。
　ステップＳ３０３において、データ拡張部１２０は切り出し画像３０７に対して信号量調整処理を行い、調整画像を出力する。データ拡張部１２０は、信号量調整処理として、切り出し画像３０７に対して任意の係数による乗算と任意の係数による加算とを行う。信号量調整処理において、切り出し画像３０７をＩｔｒｉｍ、調整画像をＩｏｕｔ、係数γ、δを任意の係数とすると、切り出し画像３０７（Ｉｔｒｉｍ）と調整画像（Ｉｏｕｔ）との関係は、以下の［数１０］式で表すことができる。
Figure JPOXMLDOC01-appb-M000010
　ここで、係数γとしては、例えば０．１～１０程度の任意の係数を設定し、切り出し画像Ｉｔｒｉｍに乗算して信号を一律に増減させてもよいし、ガウシアンフィルタなどの２次元フィルタを設定し、切り出し画像Ｉｔｒｉｍに適用することも可能である。係数δについても、一律の値を加減算してもよいし、画素ごとに任意のランダムなノイズを加算することも可能である。ノイズを付加する場合は、放射線検出装置１０４の物理特性に従ったノイズを加算することも可能である。
　なお、図３Ａのフローチャートでは、ステップＳ３０１～Ｓ３０３と順番に処理していく場合の例を示したが、各ステップはこの順番に処理を行う必要はなく、一部の処理のみを行ってもよいし、処理の順番を任意に並び替えてもよい。また、データ拡張により画像情報が欠損した領域が新たに発生しない範囲であれば、その他の任意のデータ拡張手法を用いてもよい。
　例えば、ステップＳ３０１のアフィン変換処理を行わない場合、データ拡張部１２０は切り出し画像３０７内に欠損領域３０５が含まれないようにするために、入力画像内において切り出し可能領域３１７を設定し、切り出し画像３０７を取得する範囲を制限することも可能である。
　すなわち、データ拡張部１２０は、教師データを構成する入力画像３０１の一部を切り出した切り出し画像３０７の生成によりデータ拡張を行い、切り出し画像３０７に、画像情報が欠損した領域（欠損領域３０５）が含まれないように、切り出し画像３０７を取得する範囲を制限する。データ拡張部１２０は、入力画像３０１において切り出し可能領域３１７（図３Ｃ）を設定し、切り出し画像３０７を取得する範囲を制限する。
　次に、図４を用いて、機械学習装置１０８における推論部１１０の処理について、畳み込みニューラルネットワーク（ＣＮＮ）を用いた場合を例として説明する。図４は、推論部１１０の推論の概念を模式的に示した図である。
　推論部１１０は、学習部１０９により学習済の推論部であり、学習に基づいて取得された学習済みパラメータに基づいて、推論処理を行うことが可能である。推論部１１０は、学習部１０９によって得られた学習済みパラメータ群を持つ学習済みの畳み込みニューラルネットワーク（ＣＮＮ）４０２を有する。推論部１１０は、推論部１１０に入力される入力画像４０１に対して、学習済みＣＮＮ４０２による推論処理を適用し、推論結果４０３を出力する。
　なお、機械学習装置１０８における学習は、例えばユーザーの使用環境に導入する以前に学習を行い、事前に学習済みＣＮＮ４０２のパラメータ群を得ておくことが望ましいが、ユーザーの使用環境に導入した後に、使用状況に合わせて機械学習装置１０８を更新できる構成とすることも可能である。その場合は、ユーザーの使用環境において取得した画像と、照射野領域のデータセットの組を教師データとして記憶装置１１５に保存すればよい。
　機械学習装置１０８の学習部１０９は、記憶装置１１５に保存されたデータセットの組を新たな教師データとして使用して、追加の学習を行い、学習済みＣＮＮ４０２のパラメータ群を更新することが可能である。そして、追加の学習済の推論部１１０は、ユーザーの使用環境において、放射線撮影システム１００を用いて撮影された画像と、画像に対応する照射野領域のデータとの組を教師データとして追加された学習の結果と、事前に行われた学習の結果とに基づいて推論処理を行うことが可能である。
　追加の学習を行うタイミングは、例えば記憶装置１１５にデータセットが一定数以上蓄積された場合や、照射野認識結果をユーザーによって修正されたデータセットが一定数以上蓄積された場合など、学習部１０９は追加の学習を実行するタイミングを選択することが可能である。また、追加で学習を行う際のＣＮＮのパラメータ群の初期値としては、追加で学習を行う前に使用していた学習済みＣＮＮ４０２のパラメータ群を設定し、転移学習を行うことも可能である。
　なお、記憶装置１１５と機械学習装置１０８は、情報処理装置１０７上に搭載する構成に限らず、ネットワークを介して接続されたクラウドサーバー上に記憶装置１１５と機械学習装置１０８を設けてもよい。その場合は、複数の放射線撮影システム１００によって得られたデータセットをクラウドサーバー上に収集・保存し、機械学習装置１０８は、クラウドサーバー上に収集・保存されたデータセットを用いて追加の学習を行うことも可能である。
　以上説明したように本実施形態によれば、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術を提供することができる。
　（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
　本願は、２０１９年８月３０日提出の日本国特許出願特願２０１９－１５８９２７を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
　１００：放射線撮影システム、１０１：放射線発生装置、１０２：被写体、
　１０３：寝台、１０４：放射線検出装置、１０５：制御装置、
　１０６：データ収集装置、１０７：情報処理装置、１０８：機械学習装置、
　１０９：学習部、１１０：推論部、１１１：ＣＰＵバス、１１２：ＣＰＵ、
　１１３：メモリ、１１４：操作パネル、１１５：記憶装置、
　１１６：表示装置、１１７：診断用画像処理装置、１２０：データ拡張部、
　１２１：推論部、１２２：パラメータ更新部、１２３：終了判定部

Claims (20)

  1. 　入力画像から領域を抽出する機械学習装置であって、
    　前記入力画像に対する推論処理により前記領域を出力する推論手段と、
    　教師データに基づいて前記推論手段の学習を行う学習時に前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張手段と、を備え、
    　前記拡張手段は、前記入力画像が有する画像情報が欠損した領域が含まれないように前記データ拡張を行うことを特徴とする機械学習装置。
  2. 　前記教師データは、前記入力画像と、前記入力画像に対応し抽出領域を示す正解データとの組により構成されることを特徴とする請求項１に記載の機械学習装置。
  3. 　前記拡張手段は、前記教師データに対して、アフィン変換処理と、切り出し処理と、信号量調整処理のうち少なくとも１つ以上の拡張処理により前記データ拡張を行い、
    　前記拡張手段は、前記入力画像と前記正解データとに対して同じ拡張処理を行うことを特徴とする請求項２に記載の機械学習装置。
  4. 　前記拡張手段は、前記教師データを構成する前記入力画像の一部を切り出した切り出し画像の生成により前記データ拡張を行い、
    　前記切り出し画像に、前記画像情報が欠損した領域が含まれないように、前記切り出し画像を取得する範囲を制限することを特徴とする請求項３に記載の機械学習装置。
  5. 　前記拡張手段は、前記入力画像において切り出し可能領域を設定し、前記切り出し画像を取得する範囲を制限することを特徴とする請求項４に記載の機械学習装置。
  6. 　前記拡張手段は、前記教師データを構成する前記入力画像をアフィン変換した変換画像の一部を切り出した切り出し画像の生成により前記データ拡張を行い、
    　前記切り出し画像に、前記画像情報が欠損した領域が含まれないように、前記切り出し画像を取得する範囲を制限することを特徴とする請求項３に記載の機械学習装置。
  7. 　前記拡張手段は、前記変換画像において切り出し可能領域を設定し、前記切り出し画像を取得する範囲を制限することを特徴とする請求項６に記載の機械学習装置。
  8. 　前記拡張手段は、前記アフィン変換における前記入力画像の回転角度に応じて前記切り出し可能領域を設定する請求項７に記載の機械学習装置。
  9. 　前記拡張手段は、前記アフィン変換における前記入力画像の回転角度に応じて前記入力画像の拡大率を示すパラメータを設定することを特徴とする請求項６乃至８のいずれか１項に記載の機械学習装置。
  10. 　前記拡張手段は、前記アフィン変換により前記入力画像の一部が欠落しないように前記回転角度、及び前記入力画像の拡大率を示すパラメータを設定することを特徴とする請求項９に記載の機械学習装置。
  11. 　前記拡張手段は、前記信号量調整処理として、前記切り出し画像に対して任意の係数による乗算と任意の係数による加算とを行うことを特徴とする請求項４乃至１０のいずれか１項に記載の機械学習装置。
  12. 　前記正解データは、前記入力画像における抽出領域を任意の値でラベリングしたラベリング画像であることを特徴とする請求項２乃至１１のうちいずれか１項に記載の機械学習装置。
  13. 　前記正解データは、前記入力画像における抽出領域を座標で示した座標データであることを特徴とする請求項２乃至１１のうちいずれか１項に記載の機械学習装置。
  14. 　前記正解データは、前記入力画像における抽出領域の境界を直線または曲線で特定したデータであることを特徴とする請求項２乃至１１のうちいずれか１項に記載の機械学習装置。
  15. 　前記推論手段は、前記学習に基づいて取得された学習済みパラメータに基づいて、前記推論処理を行うことを特徴とする請求項１乃至１４のいずれか１項に記載の機械学習装置。
  16. 　前記機械学習装置は、畳み込みニューラルネットワークを用いた教師あり学習に基づいて前記入力画像から前記領域を抽出することを特徴とする請求項１乃至１５のいずれか１項に記載の機械学習装置。
  17. 　前記入力画像は、放射線撮影システムを用いて撮影された画像であり、
    　前記領域は、前記放射線撮影システムにより放射線が照射された照射野領域であることを特徴とする請求項１乃至１６のいずれか１項に記載の機械学習装置。
  18. 　前記推論手段は、ユーザーの使用環境において、前記放射線撮影システムを用いて撮影された画像と、前記画像に対応する照射野領域のデータとの組を教師データとして追加された学習の結果と、事前に行われた学習の結果とに基づいて前記推論処理を行うことを特徴とする請求項１７に記載の機械学習装置。
  19. 　入力画像に対する推論処理により領域を出力する推論手段を有し、前記入力画像から領域を抽出する機械学習装置における機械学習方法であって、
    　教師データに基づいて前記推論手段の学習を行う学習時に前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張工程を有し、
    　前記拡張工程では、前記入力画像が有する画像情報が欠損した領域が含まれないように前記データ拡張を行うことを特徴とする機械学習方法。
  20. 　コンピュータに、請求項１９に記載の機械学習方法の工程を実行させるプログラム。
PCT/JP2020/028193 2019-08-30 2020-07-21 機械学習装置、機械学習方法及びプログラム WO2021039211A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/675,071 US11823441B2 (en) 2019-08-30 2022-02-18 Machine learning apparatus, machine learning method, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-158927 2019-08-30
JP2019158927A JP2021036969A (ja) 2019-08-30 2019-08-30 機械学習装置、機械学習方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/675,071 Continuation US11823441B2 (en) 2019-08-30 2022-02-18 Machine learning apparatus, machine learning method, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2021039211A1 true WO2021039211A1 (ja) 2021-03-04

Family

ID=74684475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028193 WO2021039211A1 (ja) 2019-08-30 2020-07-21 機械学習装置、機械学習方法及びプログラム

Country Status (3)

Country Link
US (1) US11823441B2 (ja)
JP (1) JP2021036969A (ja)
WO (1) WO2021039211A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021036969A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180107928A1 (en) * 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
US20190065884A1 (en) * 2017-08-22 2019-02-28 Boe Technology Group Co., Ltd. Training method and device of neural network for medical image processing, and medical image processing method and device
JP2019076699A (ja) * 2017-10-26 2019-05-23 株式会社日立製作所 偽陽性低減での小結節検出
JP2020014799A (ja) * 2018-07-27 2020-01-30 コニカミノルタ株式会社 Ｘ線画像物体認識システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04261649A (ja) 1990-08-20 1992-09-17 Fuji Photo Film Co Ltd 放射線画像解析方法および装置
JP6214226B2 (ja) 2013-06-06 2017-10-18 キヤノン株式会社 画像処理装置、断層撮影装置、画像処理方法およびプログラム
JP6570330B2 (ja) 2015-06-12 2019-09-04 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体
JP6491545B2 (ja) 2015-06-12 2019-03-27 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体
JP2017185007A (ja) 2016-04-05 2017-10-12 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
US20180190377A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
WO2019074938A1 (en) * 2017-10-09 2019-04-18 The Board Of Trustees Of The Leland Stanford Junior University CONTRAST DOSE REDUCTION FOR MEDICAL IMAGING USING DEEP LEARNING
US10872409B2 (en) * 2018-02-07 2020-12-22 Analogic Corporation Visual augmentation of regions within images
FR3082645B1 (fr) * 2018-06-13 2023-01-13 Idemia Identity & Security France Procede d'apprentissage de parametres d'un reseau de neurones a convolution
CN109086691B (zh) * 2018-07-16 2020-02-21 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
JP7134017B2 (ja) 2018-08-14 2022-09-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11321610B2 (en) * 2018-08-22 2022-05-03 Verizon Patent And Licensing Inc. Rehearsal network for generalized learning
KR102372200B1 (ko) * 2019-04-16 2022-03-10 서울여자대학교 산학협력단 의료영상의 병변 정보 증강 패치에 하나 이상의 증강 방식을 적용한 학습데이터 기반의 병변 분류 방법 및 장치
US11327497B2 (en) * 2019-06-21 2022-05-10 Volkswagen Ag Autonomous transportation vehicle image augmentation
KR102641117B1 (ko) * 2019-08-26 2024-02-27 삼성전자주식회사 영상을 증강하는 방법 및 장치
JP2021036969A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム
US11461537B2 (en) * 2019-11-13 2022-10-04 Salesforce, Inc. Systems and methods of data augmentation for pre-trained embeddings
US20220196463A1 (en) * 2020-12-22 2022-06-23 Nec Laboratories America, Inc Distributed Intelligent SNAP Informatics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180107928A1 (en) * 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
US20190065884A1 (en) * 2017-08-22 2019-02-28 Boe Technology Group Co., Ltd. Training method and device of neural network for medical image processing, and medical image processing method and device
JP2019076699A (ja) * 2017-10-26 2019-05-23 株式会社日立製作所 偽陽性低減での小結節検出
JP2020014799A (ja) * 2018-07-27 2020-01-30 コニカミノルタ株式会社 Ｘ線画像物体認識システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AMANO TOSHIYUKI ,SATO YUKIO: "Image interpolation using BPLP method on the Eigenspace", PROCEEDINGS OF IEICE, vol. J85-D-II, no. 3, pages 457 - 465, ISSN: 09151923 *

Also Published As

Publication number Publication date
JP2021036969A (ja) 2021-03-11
US11823441B2 (en) 2023-11-21
US20220172461A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN107516330B (zh) 模型生成方法、图像处理方法及医学成像设备
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
JP7134017B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US7742557B2 (en) Method for generating a 3D reconstruction of a body
CN107595312B (zh) 模型生成方法、图像处理方法及医学成像设备
JP4820582B2 (ja) ヘリカルマルチスライスｃｔのための回復ノイズを伴うヘリカルウィンドミルアーチファクトを低減する方法
CN109509235B (zh) Ct图像的重建方法、装置、设备及存储介质
EP3447731A1 (en) A method of generating an enhanced tomographic image of an object
JP2004242285A (ja) ノイズ抑制処理方法および装置並びにプログラム
JP6987352B2 (ja) 医用画像処理装置および医用画像処理方法
WO2021039211A1 (ja) 機械学習装置、機械学習方法及びプログラム
US20220164927A1 (en) Method and system of statistical image restoration for low-dose ct image using deep learning
US20230206404A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP2015173923A (ja) 画像処理装置、画像処理方法およびプログラム
JP6789620B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
JP7418171B2 (ja) 画像処理装置、放射線撮影システム、画像処理方法及びプログラム
CN115239836A (zh) 一种基于端到端神经网络的极端稀疏视角ct重建方法
JP6615531B2 (ja) Ｘ線コンピュータ断層撮影装置及び医用画像処理装置
CN113643394A (zh) 散射校正方法、装置、计算机设备和存储介质
Vlasov et al. An a priori information based algorithm for artifact preventive reconstruction in few-view computed tomography
JP7277536B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2022091869A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2023088665A (ja) 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム
EP4368109A1 (en) Method for training a scatter correction model for use in an x-ray imaging system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858993

Country of ref document: EP

Kind code of ref document: A1