WO2020175356A1 - 記憶媒体、画像診断補助装置、学習装置、及び、学習済みモデルの生成方法 - Google Patents

記憶媒体、画像診断補助装置、学習装置、及び、学習済みモデルの生成方法 Download PDF

Info

Publication number
WO2020175356A1
WO2020175356A1 PCT/JP2020/007011 JP2020007011W WO2020175356A1 WO 2020175356 A1 WO2020175356 A1 WO 2020175356A1 JP 2020007011 W JP2020007011 W JP 2020007011W WO 2020175356 A1 WO2020175356 A1 WO 2020175356A1
Authority
WO
WIPO (PCT)
Prior art keywords
tumor
region
breast
breast medical
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/007011
Other languages
English (en)
French (fr)
Inventor
哲 林田
紀行 二木
塩田　靖彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Fixstars Corp
Original Assignee
Keio University
Fixstars Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University, Fixstars Corp filed Critical Keio University
Priority to JP2021502177A priority Critical patent/JP7185242B2/ja
Publication of WO2020175356A1 publication Critical patent/WO2020175356A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • Storage medium image diagnosis auxiliary device, learning device, and method of generating trained model
  • the present invention relates to a storage medium, an image diagnosis assisting device, a learning device, and a learned model generation method.
  • Patent Document 1 a breast medical image showing a breast is input to a learned learner to detect a tumor candidate region (tumor candidate region) and a mammary gland region.
  • a technique has been disclosed in which a candidate tumor region in a region other than the mammary gland region is removed from the candidate tumor region and the remaining candidate tumor region is determined to be a tumor.
  • Patent Document 1 International Publication No. 2 0 1 8/1 8 0 3 8 6
  • the present invention has been made in view of the above problems, and an object thereof is to provide a storage medium capable of improving the accuracy of tumor determination in a breast medical image, an imaging diagnosis.
  • An object of the present invention is to provide a disconnection assisting device, a learning device, and a method for generating a trained model.
  • a storage medium is a breast in which a human breast is reflected in a learner constructed by a trained model that has been machine-learned.
  • a detection unit that detects a first region that is a candidate for a tumor in the breast medical image and a second region that is a candidate for a tissue other than a tumor in the breast medical image, Functions as a determination unit that determines whether or not the first region is a tumor based on the positional relationship between the plurality of regions detected by the detection unit, and an output unit that outputs the determination result of the determination unit.
  • the detection means detects, as the second region, a region that is a bone candidate and a region that is a muscle candidate.
  • the detection means associates, as the first region, a region associated with a probability of being a malignant tumor and a probability of being a benign tumor.
  • the first region based on the probability associated with the region detected by the detecting unit when the first region is detected to be a tumor. Determine if the area is benign or malignant.
  • the detection means is defined as the first area in accordance with a B_RAD (Breast Imagine Report Ing And Data System) category.
  • B_RAD Breast Imagine Report Ing And Data System
  • a region associated with the probability of being a tumor belonging to a category is detected, and the determination unit associates with the region detected by the detection unit when the first region is detected as a tumor. Based on the determined probability, it is determined which section the first region belongs to.
  • the learned model is a first learned model that is machine-learned from a plurality of breast medical images showing tumors, and Machine learning was performed from multiple breast medical images showing various tissues ⁇ 0 2020/175356 3 (: 170? 2020 /007011
  • the detecting means detects the first region by inputting the breast medical image to a learner constructed with the first learned model, and the breast medical image The second region is detected by inputting the learner constructed by the second learned model.
  • the first region is a region associated with a probability that the probability of being a tumor is equal to or higher than a first threshold
  • the second region is , Probability of being a tissue other than a tumor is a region associated with a probability of being equal to or higher than the second threshold.
  • the second threshold value is lower than the first threshold value.
  • the output unit outputs the support information for supporting the doctor based on the determination result of the determination unit.
  • the image diagnosis assisting device inputs the breast medical image showing the breast of the human body to the learning device constructed by the machine-learned learned model.
  • a detection unit that detects a first region that is a candidate for a tumor in the breast medical image and a second region that is a candidate for a tissue other than a tumor in the breast medical image;
  • a determination unit that determines whether or not the first region is a tumor based on the plurality of detected regions, and an output unit that outputs a determination result of the determination unit are provided.
  • the learning device acquires a plurality of first breast medical images in which a tumor is captured and a plurality of second breast medical images in which a tissue other than the tumor is captured. Based on the image acquisition means and the user's operation, the position identification information of the tumor in the plurality of first breast medical images is acquired as first teacher data, and Teacher data acquisition means for acquiring tissue position identification information as teacher data, machine learning by inputting the plurality of first breast medical images and the first teacher data set, and a tumor in a predetermined breast medical image Generate a first trained model to detect the first region that is a candidate for ⁇ 0 2020/175 356 4 ⁇ (: 170? 2020 /007011
  • the plurality of second breast medical images and the second teacher data sets are input to perform machine learning, and a second region that is a candidate of a tissue other than a tumor is detected in a predetermined breast medical image.
  • a method of generating a trained model according to an eleventh aspect of the present invention is configured such that a plurality of first breast medical images showing a tumor and a plurality of second breast images showing a tissue other than the tumor.
  • the step of acquiring the position identification information of the other tissue as teacher data in, in the machine learning by inputting the plurality of first breast medical images and the first teacher data set Generating a first trained model for detecting a first region that is a candidate for a tumor, and inputting a plurality of sets of the second breast medical images and the second teacher data for machine learning;
  • the computer executes a second trained model for detecting a second region that is a candidate for tissue other than a tumor in a predetermined breast medical image.
  • FIG. 1 is a schematic diagram showing an example of the overall configuration of an image diagnostic system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the learning device shown in FIG.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the image diagnosis auxiliary device shown in FIG. 1.
  • Fig. 4 is a block diagram showing an example of the functional configuration (software configuration) of the learning device shown in Fig. 2. ⁇ 0 2020/175 356 5 ⁇ (: 170? 2020 /007011
  • FIG. 5 is a block diagram showing an example of a functional configuration (software configuration) of the image diagnosis auxiliary device shown in FIG. 3.
  • FIG. 6 A flow chart showing a processing procedure of each functional configuration of the learning device.
  • FIG. 7 This is a flow chart showing the processing procedure of each functional configuration of the image diagnosis auxiliary device.
  • FIG. 8 is a diagram showing an example of a breast medical image on which a determination result is reflected.
  • FIG. 9 A table showing the results of comparison between the actual disease and the determination result of the tumor determination program when the benign tumor and the malignant tumor are regarded as “tumor”.
  • FIG. 10 A table showing the results of comparison between the actual disease and the judgment result of the tumor judgment program when normal and benign tumor without benign tumor are regarded as “normal”.
  • FIG. 11 A graph showing changes in sensitivity and specificity depending on the number of learnings when benign tumors and malignant tumors are regarded as “tumors”.
  • FIG. 12 A graph showing changes in sensitivity and specificity depending on the number of learnings when normal and benign tumors without benign tumors are regarded as “normal”.
  • FIG. 13 is a schematic diagram showing an example of a report screen.
  • FIG. 1 is a schematic diagram showing an example of the overall configuration of an image diagnostic system 1 according to an embodiment of the present invention.
  • the image diagnosis system 1 includes a learning device 10 and an image diagnosis assisting device 30.
  • the learning device 10 generates a learned model for constructing a learning device (program) such as a neural network used by the image diagnosis auxiliary device 30.
  • a learning device such as a neural network used by the image diagnosis auxiliary device 30.
  • the learning device 10 includes a plurality of first breast medical images showing the breast (mammary gland) and the tumor, and a set of tumor position specifying information in the plurality of first breast medical images, A set of a plurality of second breast medical images in which tissues other than the breast and the tumor are captured and a set of position identification information of other tissues in the plurality of second breast medical images are acquired as learning data.
  • the first breast medical image and the second breast medical image are used as input data, and the tumor localization information and the localization information of other tissues are used as teacher data. That is, the learning device 10 inputs a plurality of sets of first breast medical images and tumor position specifying information and a plurality of second breast medical images and position sets of other tissue position specifying information to the learning device. Machine learning.
  • machine learning is to find patterns lurking in learning data with a computer, and “learners” can acquire the ability to identify a predetermined pattern by such machine learning.
  • a program whose abilities are built by learning models.
  • the type of this learning device may be a learning device using the deblurring method or another learning device, and is not particularly limited.
  • examples of the deep learning method include, but are not limited to, a convolutional neural network, an adversarial generation network, and a recursive coupling neural network.
  • the "learner” is a learner using a convolutional neural network will be described. Further, the "learner” may be referred to as a "classifier” or a "classifier”.
  • the “location specifying information” is information for specifying where the tumor or other tissue is located in the breast medical image, and is, for example, one or a plurality of coordinate information of the tumor or other tissue.
  • examples of “other tissues” include bones and muscles, mammary glands, and fat.
  • the “learning model” is a set of data including various parameters for setting (constructing) the learning device.
  • examples of the “breast medical image” include an echo image of a breast, a CT (Computed Tomog raphy) image, an X-ray image, and an MR image (Magnet ic Resonance Imag i ng) image used for medical purposes.
  • the learned model generated by the learning device 10 is, for example, It is installed in the image diagnosis auxiliary device 30 via a portable storage medium such as a compact disk or a USB memory, or a communication network NT or the like.
  • the type of communication network NT may be appropriately selected from the Internet, wireless communication network, mobile communication network, telephone network, dedicated network, and the like.
  • the image diagnosis assisting device 30 is a device for imaging the internal tissue of the human body, particularly the structure of (the breast glands of) the breast.
  • the image diagnosis assisting device 30 not only images the breast, but also determines the presence or absence of a tumor in the breast based on the imaged breast image.
  • the image diagnosis assisting device 30 inputs the breast medical image to the learning device constructed by the trained model generated by the learning device 10 to detect the tumor candidate in the breast medical image. And a second region that is a candidate for other tissues other than the tumor in the breast medical image. Then, the image diagnosis auxiliary device 30 determines whether or not the first region is a tumor based on the detected positional relationship between the plurality of regions.
  • the image diagnosis auxiliary device 30 examples include an ultrasonic image diagnosis auxiliary device and an X-ray imaging device, but are not particularly limited.
  • the diagnostic imaging assistant device 30 transmits ultrasonic waves to the breast of the human body and images reflections (echoes) from the tissues of the breast to obtain a breast medical image of the human body.
  • echoes reflections
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the learning device 10 shown in FIG.
  • the learning device 10 includes a control unit electrically connected to each other.
  • a storage device 14 an input device 16, a output device 18, a communication interface 20, and a drive 22.
  • the communication interface is described as "Communication Ad / F”.
  • the control unit 12 includes a CPU (Central Processing Unit) 12 A, which is a hardware processor, a GPU (Graphics Processing Unit) 12 B, a RAM (Random Access Memory) 12C, and a ROM ( Read Only Memory) 1 2 It is configured to execute various information processing based on programs and data.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the storage device 14 is composed of, for example, a hard disk, a ROM, or the like.
  • the storage device 14 stores a learning program 14 A, learning data 14 A, a first learned model 14 C, and a second learned model 14 D.
  • Learning program This is a program that includes a learner that machine-learns the learning data 14 B to generate learned models (first learned model 14 C and second learned model 14 D) as learning result data.
  • the training data 14 is, for example, a plurality of first breast medical images showing a breast and a tumor, a set of tumor localization information in the first breast medical images, and other tissues other than the breast and the tumor. A plurality of second breast medical images and a set of other tissue localization information in the plurality of second breast medical images.
  • the first trained model 14 C is data for the learner to detect the first region that is a candidate for a tumor in a breast medical image.
  • the second trained model 14 D is data for detecting a second region that is a candidate of a tissue other than a tumor in a breast medical image.
  • the input device 16 is, for example, a device such as a mouse or a keyboard for performing an input operation on the learning device 10.
  • the output device 18 is, for example, a device for outputting a display, a speaker, or the like.
  • the user can operate the learning device 10 via the input device 16 and the output device 18.
  • the communication interface 20 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for performing wired or wireless communication via the communication network NT.
  • the learning device 10 may deliver the generated trained model to an external device via the communication interface 20.
  • the drive 22 is, for example, a CD drive, a DVD drive, or the like, and is a drive device for reading a program or data stored in the storage medium 24.
  • the type of drive 22 is selected appropriately according to the type of storage medium 24. Good.
  • the storage medium 24 stores the information such as the recorded program and the like in an electrical, magnetic, optical, mechanical or chemical manner so that the computer and other devices can read the information. It is a non-transitory medium that accumulates by physical action.
  • the learning device 10 may obtain the learning program 14A and/or the learning data 14B from the storage medium 24.
  • a disk type storage medium such as a CD or a DVD is illustrated.
  • the type of the storage medium 24 is not limited to the disc type, and may be other than the disc type.
  • a semiconductor memory such as a flash memory can be cited.
  • the control unit 12 may include a plurality of hardware processors.
  • the hardware processor may be composed of a microprocessor, F PGA (field-programmable gate array) or the like.
  • the learning device 10 may be composed of multiple information processing devices.
  • the learning device 2 may be an information processing device designed exclusively for the provided service, a server device for a shrine, a PC (Personal Computer), or the like.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the image diagnosis auxiliary device 30 shown in FIG.
  • the image diagnosis auxiliary device 30 includes a control unit 32, a storage device 34, a display device 36, an input device 38, and an ultrasonic probe 40, which are electrically connected to each other.
  • the control unit 32 includes C P U 32 A, which is a hardware processor, and G P U 3
  • the storage device 34 is composed of, for example, a hard disk, a ROM, or the like. This note ⁇ 0 2020/175356 10 10 (: 170? 2020 /007011
  • the storage device 34 stores the tumor determination program 348, the first learned model 140, the second learned model 1440, and the like.
  • the tumor determination program 348 inputs the medical images of the breast obtained from the ultrasonic probe 40 into the learner constructed by the first trained model 140 and the second trained model 140, It is a program that detects areas that are candidates for tumors and then determines whether those areas are actually tumors.
  • the display device 36 is a device for displaying a breast medical image and a menu screen obtained from the ultrasonic probe 40, a setting screen of the image diagnosis auxiliary device 30 and the like.
  • the input device 38 is a device such as a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, and a joystick for performing an input operation to the diagnostic imaging auxiliary device 30.
  • the ultrasonic probe 40 has a plurality of transducers, and the plurality of transducers generate ultrasonic waves based on the drive signal supplied from the transmission/reception circuit 42. Further, the plurality of transducers included in the ultrasonic probe 40 receive the reflected wave from the breast of the human body and convert it into an electric signal. Specifically, when ultrasonic waves are transmitted from the ultrasonic probe 40 to the human body, the transmitted ultrasonic waves are reflected one after another by the discontinuity surface of the acoustic impedance in the internal tissues of the human body, and the reflected wave signal is transmitted. (Echo signal) is received by a plurality of transducers included in the ultrasonic probe 40. The amplitude of the reflected wave signal received depends on the difference in the acoustic impedance at the discontinuity where the ultrasonic waves are reflected.
  • the transmitter/receiver circuit 42 supplies a drive signal to the ultrasonic probe 40. Further, the transmission/reception circuit 42 causes the ultrasonic probe 40 to transmit an ultrasonic beam. Then, the transmission/reception circuit 42 generates reflected wave data from the reflected wave signal received by the ultrasonic probe 40.
  • the signal processing circuit 44 for example, performs various processes on the reflected wave data received from the transmission/reception circuit 42 to generate intermediate data. This intermediate data is output to the image processing circuit 46.
  • the image processing circuit 46 outputs the intermediate data generated by the signal processing circuit 4 4 from the intermediate data. Generate a breast medical image for display. The breast medical image generated by the image processing circuit 46 is displayed on the display device 36 in real time.
  • control unit 12 may include a plurality of hardware processors.
  • the hardware processor may be composed of a microprocessor, F P G A (f i e ld-prog ramma b le ga te ar ray), or the like.
  • the image diagnosis auxiliary device 30 may be composed of a plurality of information processing devices.
  • FIG. 4 is a block diagram showing an example of a functional configuration (software configuration) of the learning device 10 shown in FIG.
  • the learning device 10 has, as a functional configuration, a storage device 60, an image acquisition device 62, a preprocessing device 64, a teacher data acquisition device 66, and a learning device.
  • the learning processing means 68 is provided.
  • the storage means 60 is realized by the storage device 14.
  • Other functional configurations are realized by expanding the learning program 14 A in RAM 12 C, and interpreting and executing the learning program 14 A expanded in RAM 12 C by the CPU 12 A. ..
  • the storage means 60 has a function of storing the above-mentioned learning data 14M, the first learned model 14C, and the second learned model 14D.
  • the image acquisition unit 62 has a function of acquiring a plurality of first breast medical images showing a tumor and a plurality of second breast medical images showing other tissues other than the tumor.
  • the first breast medical image includes an image showing a benign tumor and an image showing a malignant tumor.
  • the second breast medical image includes an image showing a bone and an image showing a muscle.
  • the pre-processing means 64 has a function of performing various pre-processing on the breast medical images (first breast medical image and second breast medical image) acquired by the image acquiring means 62. Specifically, the preprocessing means 64 normalizes the image contrast of the breast medical image acquired by the image acquisition means 62 in order to avoid adverse effects on machine learning. ⁇ 0 2020/175356 12 12 (: 170? 2020 /007011
  • the preprocessing means 64 executes the second preprocessing for reducing the color expression of 2 5 6 steps to less than half in order to suppress erroneous identification.
  • the preprocessing procedure 64 accurately divides the breast medical image while overlapping it in order to accurately capture tumors that occupy a low proportion of the entire image and to avoid dividing the tumor. Execute three processes.
  • the teacher data acquisition unit 66 acquires tumor position specifying information as the first teacher data in a plurality of pre-processed first breast medical images based on, for example, an operation of the user of the learning device 10. In addition, it has a function of acquiring position specifying information of other tissues as teacher data in the plurality of pre-processed second breast medical images.
  • a high-quality image is extracted from the first breast medical image and the second breast medical image based on the judgment/operation of the doctor, and a benign tumor or a malignant tumor is extracted from each extracted first breast medical image.
  • High-quality teacher data is acquired by acquiring position identification information and bone or muscle position identification information from each extracted second breast image.
  • the position specifying information is obtained by the doctor designating an area such as a malicious tumor in the breast medical image.
  • the shape of this region is not particularly limited and may be rectangular, circular, oval, or the like, but is, for example, rectangular.
  • Examples of the rectangle include a circumscribed rectangle circumscribing the contour of a malignant tumor or the like, and an inscribed rectangle inscribed in the contour of a malignant tumor or the like.
  • the position specifying information is specified by a circumscribing rectangle.
  • the learning processing means 68 inputs the plurality of first breast medical image and first teacher data sets and the plurality of second breast medical image and second teacher data sets, respectively, and performs machine learning.
  • a trained model for detecting a first region that is a candidate for a tumor in a predetermined breast medical image and a second region that is a candidate for a tissue other than a tumor in the predetermined breast medical image Have the function to
  • the learning processing unit 68 inputs machine-learning (first learning processing) by inputting a plurality of first breast medical image and first teacher data sets, and selects a tumor candidate in a predetermined breast medical image.
  • the first trained model 1440 is generated to detect the first region that becomes.
  • the learning processing means 68 is configured to use the plurality of second breast medical images and the second teacher data. ⁇ 0 2020/175 356 13 ⁇ (: 170? 2020 /007011
  • the number of times of machine learning is not particularly limited, but from the viewpoint of enhancing both sensitivity and specificity, it is preferably, for example, 20,000 times or more and 60,000 times or less. More preferably, it is 40,000 times or more and 60,000 times or less.
  • the “sensitivity” is the probability of being found by a test among sick people (people with tumors).
  • “specificity” is the probability that a healthy person is judged not to be sick (no tumor).
  • FIG. 5 is a block diagram showing an example of a functional configuration (software configuration) of the image diagnosis auxiliary device 30 shown in FIG.
  • the image diagnosis auxiliary device 30 includes a storage unit 70, and an acquisition unit.
  • the storage means 70 is realized by the storage device 34.
  • the other functional structure is that the tumor determination program 344 is expanded to 1/8/1320, and the tumor determination program 344 expanded to 3 ⁇ 48/1/3200 is evaluated. It is realized by interpreting and executing by 11 3 28.
  • the storage means 70 has a function of storing the above-described first learned model 14 (3 and the second learned model 1440).
  • the acquisition means 72 has a function of driving and controlling the ultrasonic probe 40 and the like to acquire a breast medical image in which the udder of the human body is shown. Actually, the acquisition means 72 acquires the breast medical image as a part of the breast image in real time.
  • the detecting means 74 inputs the breast medical image acquired by the acquiring means 72 into one or a plurality of learning devices constructed by the learned model subjected to the machine learning. Performs a calculation process to detect a first region that is a candidate for a tumor in the breast medical image and a second region that is a candidate for a tissue other than the tumor in the breast medical image.
  • the detecting means 74 detects the first region by inputting the breast medical treatment image to the learning device constructed (set) by the first trained model 14 (3), and the breast medical treatment is performed.
  • the second region is detected by inputting it to the learning device constructed in.
  • the "first region that is a candidate for a tumor” is, for example, a region associated with a probability that the probability of being a tumor is equal to or higher than a first threshold.
  • the “second region that is a candidate for another tissue” is, for example, a region associated with a probability that the tissue other than the tumor is a second threshold or more.
  • the detection means 74 is configured such that, as the first region that is a candidate for a benign tumor, a region in which the probability that the tumor is a benign tumor is associated with a probability that is equal to or higher than the first threshold, An area associated with a probability that the malignant tumor is a first threshold value or more is detected as one area.
  • the detection means 74 uses, as the second region that is a bone candidate, a region in which the probability that the probability of being a bone is the second threshold value or more is associated, and the second region that is a muscle candidate is the muscle. A region associated with a probability that is greater than or equal to the second threshold is detected.
  • first _ threshold and the second threshold value may be different even at the same _.
  • the second threshold value is lower than the first threshold value in that the detection accuracy of the tumor is improved as a result of detecting more candidates in the other tissue than in the tumor.
  • the first threshold value and the second threshold value are preferably 5% or more and 100% or less, and more preferably 10% or more and 50% or less, from the viewpoint of increasing the detection accuracy of tumor candidates.
  • the first threshold value is more preferably 15% or more and 30% or less.
  • the second threshold value is 10% or more and 20% or less. In the present embodiment, the first threshold value is 20% and the second threshold value is 10%.
  • the determining unit 76 has a function of determining whether or not the first region is a tumor, based on the positional relationship between the plurality of regions detected by the detecting unit 74. For example, the determining means 76 positively determines that the tumor is a tumor if the position of the first region, which is a benign tumor or malignant tumor candidate, is higher than the position of the second region, which is a muscle or bone candidate. If it is below the position of the second region that is a candidate for muscle or bone, a negative judgment is made that it is not a tumor.
  • determining means 7 6 position of the _ region to be a candidate of benign or malignant tumors the threshold from the position of the second region to be a muscle or bone candidate ⁇ 2020/175356 15 15 (: 170? 2020/007011
  • the position of the first region and the position of the second region may be, for example, the position of the center point of the region or the position of the lowest point of the region. In the above positional relationship, “upper” means the skin side in a breast medical image.
  • the determining unit 76 determines that the first region is benign based on the probability associated with the region detected by the detecting unit 74. Determine whether it is a tumor or a malignant tumor. For example, when the area associated with the probability of being a malignant tumor and the area associated with the probability of being a benign tumor overlap with each other, the determining means 7 6 determines that Determined to be a tumor.
  • the determining unit 76 determines that the second region, which is a candidate for another tissue detected by the detecting unit 74, is another tissue as it is.
  • the output unit 78 has a function of outputting the determination result of the determination unit 7 6.
  • the output means 78 reflects the breast medical image displayed on the display device 36 in real time. Specifically, the output unit 78 displays in real time the surrounding breast cancer image displayed by the determination unit 7 6 so as to surround the region determined to be a tumor, and the region is a tumor. Describe. In addition, the output means 78 displays the area determined to be another tissue in the breast medical image so as to surround it, and describes that the area is another tissue. Further, the output means 78 may display a character or mark indicating a tumor in a corner or the like of the breast medical image so as not to interfere with the diagnosis by the doctor. Further, the output means 78 may output the determination result to a sound or a paper medium.
  • FIG. 6 is a flow chart showing a processing procedure of each functional configuration of the learning device 10. The content and order of the processing of the following steps can be changed as appropriate.
  • the image acquisition means 62 outputs, from the storage means 60 and other storage means, a plurality of first breast medical images showing the breast and benign tumor and a plurality of first breast medical images showing the breast and malignant tumor. get. Further, the image acquisition means 62 acquires, from the storage means 60 and other storage means, a plurality of second breast medical images in which the breast and bones are reflected and a second breast medical image in which the breast and muscles are reflected. .. At this time, only a high quality image is acquired from the first breast medical image and the second breast medical image based on the judgment and operation of the doctor. Then, the process proceeds to the process of step 3 12.
  • the pre-processing unit 64 performs pre-processing on each breast medical image acquired by the image acquisition unit 62. Specifically, the preprocessing unit 64 executes the first preprocessing for normalizing the image contrast of the breast medical image acquired by the image acquisition unit 62. Further, the pre-processing unit 64 executes the second pre-processing for reducing the color expression of 2 5 6 steps to less than half for each breast medical image. In addition, a third preprocessing is performed to divide each breast medical image finely while overlapping. The order of executing the first pretreatment, the second pretreatment, and the third pretreatment can be appropriately changed. Further, all or part of these pretreatments may be omitted. Then, the processing shifts to the processing of step 3 14.
  • the teacher data acquisition unit 66 acquires tumor position identification information as the first teacher data in the plurality of preprocessed first breast medical images based on the user's operation, and the plurality of preprocessed second breast medical images.
  • the position specification information of other tissues in the breast medical image is acquired as second teacher data.
  • the teacher data acquisition unit 66 determines, based on the judgment/operation of the doctor as the user, the identification information indicating the benign tumor or the malignant tumor from each first breast medical image and the position specifying information. (Area information of rectangular area) is acquired as the first teacher data.
  • the teacher data acquisition means 66 uses the doctor's judgment/operation to identify the bone or muscle from each second breast medical image and its position specifying information (area information of the rectangular area). Is acquired as second teacher data.
  • the learning device 10 ⁇ 0 2020/175 356 17 ⁇ (: 170? 2020 /007011
  • Acquire good learning data 14 including a first breast medical image and a first teacher data set of, and a plurality of second breast medical image and second teacher data sets. This learning data 1 4 is stored in the storage means 60. Then, the processing shifts to the processing of step 3916.
  • the learning processing means 68 receives the setting of one or a plurality of first parameters for generating the first learned model 140, based on the user's operation. For example, the learning processing means 68 receives the setting of the first learning number and the first threshold value for the first learning processing for generating the first learned model 1440 as the first parameter. Then, the processing shifts to the processing of step 318.
  • the learning processing means 68 receives the setting of one or a plurality of second parameters for generating the second learned model based on the user's operation. For example, the learning processing unit 68 receives, as the second parameter, the settings such as the second learning count and the second threshold value for the second learning process for generating the second learned model 1440. Then, the process proceeds to the process of step 320.
  • the learning processing means 68 receives from the user an execution operation for executing two learning processes, that is, the first learning process and the second learning process. Then, the processing shifts to the processing of step 3 2 2 and the processing of step 3 3 4, respectively. Note that the following processing of steps 3 2 2 to 3 3 2 and the processing of steps 3 3 4 to 3 4 4 are executed in parallel, but either one of them is executed. After that, each processing of the other may be executed.
  • the learning processing means 68 repeats the processing of steps 3 2 4 to 3 3 0 for the set first learning count 3 (loop processing). That is, the learning processing means 68 repeats the processing of step 3 2 4 to step 3 3 0 while incrementing the variable index from 1 until the variable index reaches the first learning count 3. ⁇ 0 2020/175 356 18 ⁇ (: 170? 2020 /007011
  • the learning processing means 68 inputs the learning data 1 4 related to the tumor into the learning device in the initial state. Specifically, the learning processing means 68 uses the learning data 1 4 as the first breast medical image showing the udder and tumor and the position specifying information of the tumor in the first breast medical image (tumor identification information). _ Sets of (including) are input to the learner in the initial state. Then, the processing shifts to the processing of step 326.
  • the learning processing means 68 causes the learning device to execute the first learning processing (machine learning) based on the input learning data 14.
  • the first learning process for example, the convolution process and the pooling process are repeated for the learning data 14. Then, the processing shifts to the processing of step 328.
  • the learning processing means 68 updates various parameters of the learning device based on the learning result data generated by the learning device. Then, the process proceeds to the process of step 330.
  • Step 3 2 2 processing exits the loop process in the case that the variable ⁇ is the first learning number 3 , The process shifts to the process of step 332.
  • the learning processing means 68 stores various parameters of the learning device finally updated by the loop processing in the storage means 60 as the first learned model 140. Then, the series of processing shown in FIG. 6 ends.
  • the learning processing means 68 repeats the processing of step 336 to step 342 by the set second learning number (loop processing). That is, the learning processing unit 68 increments the variable from 1 until the variable becomes the second learning number, and the steps 3336 to ⁇ 0 2020/175 356 19 ⁇ (: 170? 2020 /007011
  • the learning processing means 68 inputs the learning data 1 4 related to another organization into the learning device in the initial state. Specifically, the learning processing means 68 outputs, as the learning data 14_, the second breast medical image showing the breast and other tissues, and the position specifying information of other tissues in the second breast medical image (others). (Including the identification information of the tissue of the above) is input to the learner in the initial state. Then, the process proceeds to the process of step 3338.
  • the learning processing means 68 causes the learning device to execute the second learning processing (machine learning) based on the input learning data 14.
  • the second learning processing for example, convolution processing and pooling processing are repeated for the learning data 14M. Then, the process proceeds to the process of step 340.
  • the learning processing means 68 updates various parameters of the learning device based on the learning result data generated by the learning device. Then, the process proceeds to the process of step 3 42.
  • the learning processing means 68 returns to the process of step 3 34, and if the variable is the second learning number, the loop processing is exited. The process shifts to the process of step 344.
  • the learning processing means 68 stores various parameters of the learning device finally updated by the loop processing in the storage means 60 as the second learned model 140. Then, the series of processing shown in FIG. 6 ends.
  • Fig. 7 is a flow chart showing a processing procedure of each functional configuration of the image diagnosis auxiliary device 30. The content and order of the processing in the following steps can be changed as appropriate. ⁇ 0 2020/175 356 20 ⁇ (: 170? 2020 /007011
  • the acquisition means 72 drives and controls the ultrasonic probe 40 to acquire a breast medical image. Then, the processing shifts to the processing of step 3 52 and the processing of step 3 56. Note that the following processing of steps 3 52 to 3 5 4 and the processing of steps 3 5 6 to 3 58 are executed in parallel, but either one of them is executed. After that, each processing of the other may be executed.
  • the detection means 7 4 reads the first trained model 1 4 (3 from the storage means 70 and constructs a learner with the first trained model 1 4 0. It should be noted that before the processing of step 3 50 The learner may be constructed with the first trained model 1440. In this case, step 352 is omitted, and the process proceeds to the process of step 3954.
  • the detection means 74 detects the first region that is a candidate for a tumor from the breast medical image. Specifically, the detecting means 7 4 inputs the breast medical image to the learning device constructed by the first trained model 1 4 (3, and the detecting means 7 4 detects the benign tumor as the first region. The region associated with the probability of being greater than or equal to the first threshold is associated with the region associated with the probability of being a malignant tumor is greater than or equal to the first threshold. 60 Moves to processing.
  • the detecting means 74 reads the second learned model 14 ports from the storage means 70 and constructs a learning device with the second learned model 140.
  • the learning device may be constructed in the second learned model 140 before the processing of step 350. In this case, this step 356 is omitted. Then, the process proceeds to the process of step 358.
  • the detection means 74 detects the second region that is a candidate for other tissue from the breast medical image. ⁇ 0 2020/175356 21 ⁇ (: 170? 2020 /007011
  • the detection means 7 4 inputs the breast medical image to the learning device constructed by the second trained model 1 40, and the detection means 7 4 is a bone as the second region. An area associated with a probability having a probability equal to or greater than a second threshold and an area associated with a probability having a muscle probability equal to or greater than a second threshold are detected. Then, the process proceeds to the process of step 360.
  • the judging means 76 obtains the number of areas ⁇ of the second area detected in the step 358.
  • the number of areas ⁇ is zero or a natural number. Then, the process proceeds to the process of step 3 62.
  • the determination means 76 repeats the processing of steps 3 64 to 3 6 6 for the number of acquired areas ⁇ (loop processing). That is, the judging means 76 repeats the processing from step 3 64 to step 3 6 6 while incrementing the variable 1 ⁇ from 1 until the variable ! ⁇ becomes the number of areas ⁇ .
  • the determining unit 76 acquires one second region from the second regions detected by the detecting unit 74 and determines that the one second region is another tissue.
  • the determining means 76 may determine that the tissue is another tissue (bone or muscle) associated with the one region. In this case, when the second areas overlap each other, it may be determined to be another tissue having a higher probability of being associated with each area. For example, if the second region associated with the probability of being bone (30%) and the second region associated with the probability of being muscle (40%) overlap, the determination means 7 In the case of 6, the probability of being a muscle is higher, so it may be determined that the second region is a muscle. Then, the process proceeds to the process of step 366.
  • the judging means 7 6 returns to the processing of step 3 62, and if the variable ⁇ is the number of areas ⁇ , the loop processing is skipped, and the processing is repeated at step 36. Move to processing of 8. ⁇ 0 2020/175 356 22 ⁇ (: 170? 2020 /007011
  • the judging means 76 acquires the number of areas detected in step 354.
  • the number of regions is zero or a natural number. Then, the process proceeds to the process of step 370.
  • the determination means 76 repeats the processing of steps 372 to 3888 for the number of acquired areas (loop processing). That is, the judging means 76 repeats the processing of step VI 2 to step 3 8 8 while incrementing the variable I from 1 until the variable I becomes the number of areas 0 1.
  • the determination means 7 6 acquires one of the first areas detected by the detection means 7 4, and the one first area is located below the second area determined to be another tissue. Or not. Then, if the determination is affirmative, the process proceeds to step 374, and if the determination is negative, the process proceeds to step 378.
  • the judging means 76 judges that the acquired one first region is not a tumor. Then, the process shifts to the process of Web'? 16.
  • the output means 78 outputs the determination result.
  • the output means 78 reflects the breast medical image displayed on the display device 36 in real time. Note that this step 376 may be executed, for example, after the processing of step 388.
  • Fig. 8 is a diagram showing an example of a breast medical image 100 that reflects the determination result.
  • the breast medical image 100 shown in FIG. 8 is newly created by the present inventors for the purpose of explaining the present embodiment, and may differ from the actual breast medical image.
  • the output means 78 displays a rectangular mark 10 2 on the breast medical image 100 so as to surround the area determined by the determination means 7 6 as a tumor. ⁇ 0 2020/175 356 23 (: 170? 2020 /007011
  • the output means 78 outputs and outputs a rectangular mark 104 so as to surround the area determined by the determination means 76 as muscle in the breast medical image 100, and the area is muscle.
  • the message is displayed and output.
  • the output unit 78 displays and outputs a rectangular mark 106 so as to surround the region determined by the determination unit 7 6 as a bone in the breast medical image 100, and indicates that the region is a bone. Is displayed and output.
  • the display output can be omitted.
  • step 3888 the process proceeds to the process of step 3888.
  • step 3 72 determines whether or not the acquired one first area overlaps with the other first area. Then, if the determination is affirmative, the process proceeds to step 382, and if the determination is negative, the process proceeds to step 380.
  • the determining means 76 determines that the acquired one first region is a tumor (benign tumor or malignant tumor) associated with the first region. Then, the processing shifts to the processing of step 376.
  • the decision means 76 decides whether or not the probability of a malignant tumor being higher among the probabilities associated with each of the overlapping second regions. For example, of the overlapping first regions, one first region is associated with the probability of being a malignant tumor (50%), and the other first region is associated with the probability of being a benign tumor (30%). , The determination means 76 makes an affirmative determination that the probability of a malignant tumor is higher. Then, if the determination is affirmative, the process proceeds to step 384, and if the determination is negative, the process proceeds to step 386.
  • the determination means 76 determines that one acquired first area is associated with the first area. ⁇ 0 2020/175 356 24 (: 170? 2020 /007011
  • the processing shifts to the processing of step 376.
  • the determining unit 76 determines that the acquired one first region is a benign tumor associated with the first region. Then, the processing shifts to the processing of step 376.
  • the determining means 7 6 returns to the processing of step 370, and if the variable ⁇ is the number of areas, the loop processing is exited, and the series of steps shown in FIG. The process ends.
  • the tumor determination program 34 inputs the image diagnosis assisting apparatus 30 and the breast medical image in which the human breast is shown in the learning device constructed by the learned model subjected to the machine learning. Then, the detection unit 7 4 for detecting the first region that is a candidate for the tumor in the breast medical image and the second region that is a candidate for the tissue other than the tumor in the breast medical image 7 4, the detection unit 7 Judgment means 7 6 for judging whether the first area is a tumor based on the positional relationship of the plurality of areas detected in 4, and output means 7 8 for outputting the judgment result of the judgment means 7 6. To function as.
  • the first region which is a candidate for a tumor, is a tumor based on the positional relationship between the plurality of regions detected by the detection unit 74.
  • the accuracy of tumor determination can be improved compared to the case where determination is not performed based on the relationship.
  • the detection means 74 detects, as the second region, a region that is a bone candidate and a region that is a muscle candidate.
  • the first region based on the positional relationship between the first region that is a candidate for a tumor, the second region that is a candidate for a bone, and the second region that is a candidate for a muscle. Since it is determined whether the tumor is a tumor, the accuracy of tumor determination can be further improved. ⁇ 0 2020/175 356 25 ⁇ (: 170? 2020 /007011
  • the detection means 74 sets, as the first region, a region associated with the probability of being a malignant tumor and a region associated with the probability of being a benign tumor.
  • the determining means 76 determines that the first area is a benign tumor based on the probability associated with the area detected by the detecting means 74. Yes or malignancy.
  • the trained model is the first trained model 14 ( 3) that is machine-learned from a plurality of breast medical images in which tumors are captured, and a plurality of images in which other tissues are captured.
  • a second trained model 1 4 0 machine-learned from the breast medical images of and the detection means 7 4 inputs the breast medical image into the learner constructed with the first trained model 1 4 ( 3. By doing so, the first area is detected, and the second area is detected by inputting the breast medical image to the learning device constructed by the second learned model 14 ports.
  • the first region is a region associated with a probability that the probability of being a tumor is equal to or higher than a first threshold value
  • the second region is a tissue other than the tumor. This is an area associated with a probability with a probability of being equal to or higher than the second threshold.
  • the detection unit 74 does not detect a region whose probability is less than the first threshold value or the second threshold value, and thus can prevent erroneous detection of the first region that is a candidate for a tumor. As a result, the accuracy of tumor determination can be further improved. ⁇ 0 2020/175 356 26 ⁇ (: 170? 2020 /007011
  • the second threshold value is lower than the first threshold value.
  • the learning device 10 takes a plurality of first breast medical images showing a tumor and a plurality of second breast medical images showing a tissue other than the tumor. Based on the image acquisition means 62 to obtain and the user's operation, the position specifying information of the tumor is acquired as the first teacher data in the plurality of first breast medical images, and in the plurality of second breast medical images, A teacher data acquisition unit 66 that acquires position identification information of another organization as a teacher data, and a set of the plurality of first breast medical images and the first teacher data are input and machine learning is performed.
  • a first trained model 1440 for detecting the first candidate region of the tumor in the breast medical image is generated, and the set of the plurality of second breast medical images and the second teacher data are input.
  • Example 1 normal breast medical images 1 41, breast medical images with benign tumors 7 7 and malignant tumors 1 1 3 with a total of 3 3 1 breast medical images. Learning data 1 4 sets. Then, the learning device 10 is based on the user operation. ⁇ 0 2020/175 356 27 ⁇ (: 170? 2020 /007011
  • Each of these learning data 1 4 is input to a learner called " ⁇ ⁇ !_ ⁇ 2" to perform machine learning, and the first trained model 1 4 ( 3 and the second trained model 1 4
  • the learning frequency is 60,000
  • the first threshold for detecting the first region is 20%
  • the second threshold for detecting the second region is 10%.
  • Fig. 9 is a table showing the results of comparison between the actual disease and the judgment results of the tumor judgment program 348 when a benign tumor and a malignant tumor are regarded as "tumors".
  • Fig. 10 shows the result of comparing the actual disease with the judgment result of the tumor judgment program 348 when the normal tumor without benign tumor and the benign tumor were regarded as "normal". It is a table.
  • Example 2 the same method as in Example 1 was performed, and the number of learnings was changed from 10,000 to 80,000.
  • Figure 11 shows that benign tumor and malignant tumor are 7 is a graph showing changes in sensitivity and specificity depending on the number of times.
  • Fig. 12 is a graph showing changes in sensitivity and specificity depending on the number of learnings when normal and benign tumors without benign tumors were regarded as "normal".
  • the present invention is not limited to the above specific examples. That is, the above specific examples appropriately modified by a person skilled in the art are also included in the scope of the present invention as long as they have the features of the present invention. Further, each element included in the above-described embodiment and the modification described later can be combined as long as technically possible, and a combination of these is also included in the scope of the present invention as long as it includes the features of the present invention. It is not limited to the above specific examples. That is, the above specific examples appropriately modified by a person skilled in the art are also included in the scope of the present invention as long as they have the features of the present invention. Further, each element included in the above-described embodiment and the modification described later can be combined as long as technically possible, and a combination of these is also included in the scope of the present invention as long as it includes the features of the present invention. It
  • the image diagnosis auxiliary device 30 is an ultrasonic image diagnosis auxiliary device
  • a server connected to the ultrasonic image diagnosis auxiliary device via the communication network NT or the like may be an information processing device such as a device or a personal computer.
  • the case where the image acquisition unit 62 and the teacher data acquisition unit 66 are provided in the learning device 10 has been described, but it is provided in another information processing device different from the learning device 10. You may be asked.
  • the detection means 74 detects, as the first area, the area associated with the probability of being a tumor belonging to each of the categories defined according to T. Megumi.
  • the first region is detected as a tumor, it is determined which category the tumor belongs to, based on the probability associated with the region detected by the detection means 74.
  • attribute determination can be performed according to the I_[3 ⁇ 483 category, so that the accuracy of tumor determination can be further improved.
  • the output label of the learner may be binarized, such as assigning “0” when the category is 3 or less and “1” when the category is 4 or more.
  • the detection means 74 detects a region that is a candidate for a malignant tumor from a breast medical image.
  • each type of malignant tumor becomes a candidate for a malignant tumor.
  • a region may be detected, or a region that is a candidate for a malignant tumor may be detected for each degree of progression of the malignant tumor.
  • the detection means 74 may detect a region that is a candidate for non-invasive cancer, a region that is a candidate for invasive cancer, or a region that is a candidate for paget disease from the breast medical image.
  • the detection means 7 4 detects a region that is a candidate for stage 1 malignant tumor, a region that is a candidate for stage 2 malignant tumor, a region that is a candidate for stage 3 malignant tumor, and a stage 4 malignant tumor.
  • a region that serves as a candidate may be detected.
  • the judging means 76 can judge the type and progress of the malignant tumor based on the probability associated with each region.
  • the determining means 76 determines not only the probability associated with each region, but also the positional relationship between the first region, which is a candidate for a malicious tumor, and the second region, which is another tissue. By determining whether or not a region is a stage 1 malignant tumor, the accuracy of tumor stage determination can be improved.
  • the probability associated with the area and the type of probability may be output to the report screen, for example, as report information for the doctor to judge. ..
  • the output means 78 generates the support information for supporting the doctor based on the region detected by the detection means 74 and/or the determination result of the determination means 76, and proposes (outputs) it to the user. May be. This allows doctors to efficiently determine the diagnostic results and treatment methods.
  • the support information includes the area detected by the detection means 74 and/or the treatment content and method, the location of the hospital suitable for the treatment, the name of the doctor, etc. according to the determination result of the determination means 76. Is mentioned.
  • the output means 78 may output the report information and the support information in real time together with the determination result of the determination means 76.
  • FIG. 13 is a schematic view showing an example of the report screen 110.
  • the report screen 110 includes, for example, a breast medical image 1
  • Repo information including 0 0, the location of the first area detected by the detection means 7 4 and the probability associated with the first area, the size of the first area, the determination result determined by the determination means 7 6 and the like 1 1 4 is described.
  • the report screen 110 describes the judgment results, position information of the area detected by the detection means 74, and support information 1116 generated based on the probability associated with the area. There is.
  • the determination unit 76 determines whether or not the first region is a tumor from one breast medical image 100 has been described. It may be finally determined from the medical treatment image 100 whether or not the first region is a tumor. For example, of the five breast medical images 100, it is determined that the first region is a tumor in one breast medical image 100, and the first area is determined in all the remaining breast medical images 100. When it is determined that the region is not a tumor, the determining means 76 may finally determine (determine) that the first region is a tumor. In this case, it is preferable that the output means 78 outputs only the final determination result.
  • the first area and the second area may be detected using Dell.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本発明は、乳房医療画像において腫瘍の判定精度を向上する記憶媒体、画像診断補助装置、学習装置、及び、学習済みモデルの生成方法に関する。記憶媒体は、コンピュータを、機械学習が行われた学習済みモデルで構築された学習器に人体の乳房が写った乳房医療画像を入力することで、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する検出手段（７４）、検出された複数の領域の位置関係に基づいて、第一領域が腫瘍であるか否かを判定する判定手段（７６）、判定手段（７６）の判定結果を出力する出力手段（７８）、として機能させるプログラムを記憶する。

Description

\¥0 2020/175356 1 ?＜：17 2020 /007011 明 細 書
発明の名称 ：
記憶媒体、 画像診断補助装置、 学習装置、 及び、 学習済みモデルの生成方 法
技術分野
[0001 ] 本発明は、 記憶媒体、 画像診断補助装置、 学習装置、 及び、 学習済みモデ ルの生成方法に関する。
背景技術
[0002] 従来から、 人体の乳房に腫瘍があるか否かを医師が診断するための画像診 断補助装置が知られている。
[0003] これに関して、 例えば特許文献 1 には、 乳房が写った乳房医療画像を学習 済みの学習器に入力して、 腫瘍の候補となる領域 （腫瘍候補領域） と、 乳腺 の領域とを検出し、 腫瘍候補領域の中から、 乳腺の領域以外の領域における 腫瘍候補領域を除去して、 残った腫瘍候補領域が腫瘍であると判定する技術 が開示されている。
先行技術文献
特許文献
[0004] 特許文献 1 :国際公開第 2 0 1 8 / 1 8 0 3 8 6号
発明の概要
発明が解決しようとする課題
[0005] しかしながら、 特許文献 1 に記載の技術では、 例えば乳腺の領域のサイズ や位置が間違って検出された場合には、 実際には腫瘍領域であるはずの腫瘍 候補領域まで除去されてしまう可能性があり、 腫瘍の判定精度が十分ではな かった。
[0006] 本発明はこのような課題に鑑みてなされたものであり、 その目的は、 乳房 医療画像において腫瘍の判定精度を向上することができる記憶媒体、 画像診 断補助装置、 学習装置、 及び、 学習済みモデルの生成方法を提供することに ある。
課題を解決するための手段
[0007] 上記課題を解決するために、 本発明の第一態様に係る記憶媒体は、 コンビ ユータを、 機械学習が行われた学習済みモデルで構築された学習器に人体の 乳房が写った乳房医療画像を入力することで、 当該乳房医療画像において腫 瘍の候補となる第一領域と、 当該乳房医療画像において腫瘍以外の他の組織 の候補となる第二領域と、 を検出する検出手段、 前記検出手段にて検出され た複数の領域の位置関係に基づいて、 前記第一領域が腫瘍であるか否かを判 定する判定手段、 前記判定手段の判定結果を出力する出力手段、 として機能 させるプログラムを記憶する。
[0008] また、 本発明の第二態様に係る記憶媒体では、 前記検出手段は、 前記第二 領域として、 骨の候補となる領域と、 筋肉の候補となる領域とを検出する。
[0009] また、 本発明の第三態様に係る記憶媒体では、 前記検出手段は、 前記第一 領域として、 悪性腫瘍である確率が対応付けられた領域と、 良性腫瘍である 確率が対応付けられた領域とを検出し、 前記判定手段は、 前記第一領域が腫 瘍であると検出された場合に、 前記検出手段にて検出された領域に対応付け られた確率に基づいて、 前記第一領域が良性腫瘍であるか又は悪性腫瘍であ るかを判定する。
[0010] また、 本発明の第四態様に係る記憶媒体では、 前記検出手段は、 前記第一 領域として、 B 丨 —R A D S (Breast Imag i ng Report i ng And Data System ) カテゴリーに従って定義される各区分に属する腫瘍である確率が対応付け られた領域を検出し、 前記判定手段は、 前記第一領域が腫瘍であると検出さ れた場合に、 前記検出手段にて検出された領域に対応付けられた確率に基づ いて、 前記第一領域がどの区分に属する腫瘍であるかを判定する。
[001 1 ] また、 本発明の第五態様に係る記憶媒体では、 前記学習済みモデルは、 腫 瘍が写った複数の乳房医療画像から機械学習が行われた第一学習済みモデル と、 前記他の組織が写った複数の乳房医療画像から機械学習が行われた第二 \¥0 2020/175356 3 卩（：170? 2020 /007011
学習済みモデルとを含み、 前記検出手段は、 前記乳房医療画像を前記第一学 習済みモデルで構築された学習器に入力することで前記第一領域を検出し、 且つ、 前記乳房医療画像を前記第二学習済みモデルで構築された学習器に入 力することで前記第二領域を検出する。
[0012] また、 本発明の第六態様に係る記憶媒体では、 前記第一領域は、 前記腫瘍 である確率が第一閾値以上の確率が対応付けられた領域であり、 前記第二領 域は、 腫瘍以外の他の組織である確率が第二閾値以上の確率が対応付けられ た領域である。
[0013] また、 本発明の第七態様に係る記憶媒体では、 前記第二閾値は前記第一閾 値よりも低い。
[0014] また、 本発明の第八態様に係る記憶媒体では、 前記出力手段は、 前記判定 手段の判定結果に基づき、 医師をサボートするためのサボート情報を出力す る。
[0015] また、 本発明の第九態様に係る画像診断補助装置は、 機械学習が行われた 学習済みモデルで構築された学習器に人体の乳房が写った乳房医療画像を入 力することで、 当該乳房医療画像において腫瘍の候補となる第一領域と、 当 該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、 を検 出する検出手段と、 前記検出手段にて検出された複数の領域に基づいて、 前 記第一領域が腫瘍であるか否かを判定する判定手段と、 前記判定手段の判定 結果を出力する出力手段と、 を備える。
[0016] また、 本発明の第十態様に係る学習装置は、 腫瘍が写った複数の第一乳房 医療画像と、 当該腫瘍以外の他の組織が写った複数の第二乳房医療画像とを 取得する画像取得手段と、 ユーザの操作に基づき、 前記複数の第一乳房医療 画像において腫瘍の位置特定情報を第一教師データとして取得し、 且つ、 前 記複数の第二乳房医療画像において前記他の組織の位置特定情報を教師デー 夕として取得する教師データ取得手段と、 前記複数の第一乳房医療画像及び 前記第一教師データの組を入力して機械学習し、 所定の乳房医療画像におい て腫瘍の候補となる第一領域を検出するための第一学習済みモデルを生成し \¥0 2020/175356 4 卩（：170? 2020 /007011
、 且つ、 前記複数の第二乳房医療画像及び前記第二教師データの組を入力し て機械学習し、 所定の乳房医療画像において腫瘍以外の他の組織の候補とな る第二領域を検出するための第二学習済みモデルを生成する学習処理手段と 、 を備える。
［0017］ また、 本発明の第十一態様に係る学習済みモデルの生成方法は、 腫瘍が写 った複数の第一乳房医療画像と、 当該腫瘍以外の他の組織が写った複数の第 二乳房医療画像とを取得するステップと、 ユーザの操作に基づき、 前記複数 の第一乳房医療画像において腫瘍の位置特定情報を第一教師データとして取 得し、 且つ、 前記複数の第二乳房医療画像において前記他の組織の位置特定 情報を教師データとして取得するステップと、 前記複数の第一乳房医療画像 及び前記第一教師データの組を入力して機械学習し、 所定の乳房医療画像に おいて腫瘍の候補となる第一領域を検出するための第一学習済みモデルを生 成し、 且つ、 前記複数の第二乳房医療画像及び前記第二教師データの組を入 力して機械学習し、 所定の乳房医療画像において腫瘍以外の他の組織の候補 となる第二領域を検出するための第二学習済みモデルを生成するステップと 、 をコンピュータが実行する。
発明の効果
［0018］ 本発明によれば、 乳房医療画像において腫瘍の判定精度を向上することが できる。
図面の簡単な説明
［0019］ ［図 1］本発明の実施形態に係る画像診断システムの全体構成の一例を示す模式 図である。
［図 2］図 1 に示す学習装置のハードウェア構成の一例を示すブロック図である
［図 3］図 1 に示す画像診断補助装置のハードウェア構成の一例を示すブロック 図である。
［図 4］図 2に示す学習装置の機能的構成 （ソフトウェア構成） の一例を示すブ ロック図である。 \¥0 2020/175356 5 卩（：170? 2020 /007011
［図 5］図 3に示す画像診断補助装置の機能的構成 （ソフトウェア構成） の一例 を示すブロック図である。
［図 6］学習装置の各機能的構成の処理手順を示すフローチヤートである。
［図 7］画像診断補助装置の各機能的構成の処理手順を示すフローチヤートであ る。
［図 8］判定結果を反映した乳房医療画像の一例を示す図である。
［図 9］良性腫瘍と悪性腫瘍を 「腫瘍」 とみなした場合において、 実際の疾患と 、 腫瘍判定プログラムの判定結果とを比較した結果を示す表である。
［図 10］良性腫瘍もない正常と良性腫瘍を 「正常」 とみなした場合において、 実際の疾患と、 腫瘍判定プログラムの判定結果とを比較した結果を示す表で ある。
［図 1 1］良性腫瘍と悪性腫瘍を 「腫瘍」 とみなした場合において、 学習回数に よる感度と特異度の変化を示すグラフである。
［図 12］良性腫瘍もない正常と良性腫瘍を 「正常」 とみなした場合において、 学習回数による感度と特異度の変化を示すグラフである。
［図 13］レポート画面の一例を示す概略図である。
発明を実施するための形態
［0020］ 以下、 添付図面を参照しながら本発明の実施形態 （以下、 「本実施形態」 とも表記する。 ） について説明する。 説明の理解を容易にするため、 各図面 において同一の構成要素及びステップに対しては可能な限り同一の符号を付 して、 重複する説明は省略する。
［0021］ ＜全体構成＞
図 1は、 本発明の実施形態に係る画像診断システム 1の全体構成の一例を 示す模式図である。
［0022］ 図 1 に示すように、 画像診断システム 1は、 学習装置 1 0と、 画像診断補 助装置 3 0と、 を備える。
［0023］ 学習装置 1 0は、 画像診断補助装置 3 0で利用される、 例えばニューラル ネッ トワーク等の学習器 （プログラム） を構築する学習済みモデルを生成す るように学習器の機械学習を行うコンピュータである。 具体的には、 学習装 置 1 0は、 そして、 乳房 (の乳腺) 及び腫瘍が写った複数の第一乳房医療画 像及び複数の第一乳房医療画像における腫瘍の位置特定情報の組と、 乳房及 び腫瘍以外の他の組織が写った複数の第二乳房医療画像及び複数の第二乳房 医療画像における他の組織の位置特定情報の組を学習データとして取得する 。 これらの学習データうち、 第一乳房医療画像や第二乳房医療画像は入カデ —夕として利用され、 腫瘍の位置特定情報や他の組織の位置特定情報は教師 データとして利用される。 すなわち、 学習装置 1 0は、 複数の第一乳房医療 画像及び腫瘍の位置特定情報の組と、 複数の第二乳房医療画像及び他の組織 の位置特定情報の組とをそれぞれ入力して学習器の機械学習をする。
[0024] なお、 「機械学習」 とは、 学習データに潜むバターンをコンビュータによ り見つけ出すことであり、 「学習器」 は、 そのような機械学習により所定の バターンを識別する能力を獲得可能なプログラムであり、 その能力は学習モ デルにより構築される。 この学習器の種類は、 ディーブラーニング手法を用 いた学習器やそれ以外の学習器であってもよく、 特に限定されない。 また、 ディープラーニング手法としては、 例えば、 置み込みニューラルネッ トワー クや、 敵対的生成ネッ トワーク、 回帰結合型ニューラルネッ トワークが挙げ られるが、 特に限定されない。 以下では、 「学習器」 が、 畳み込みニューラ ルネッ トワークを用いた学習器である場合を説明する。 また、 「学習器」 は 、 「識別器」 又は 「分類器」 と称されてもよい。 また、 「位置特定情報」 と は、 腫瘍や他の組織が乳房医療画像においてどこに位置するかを特定するた めの情報であり、 例えば腫瘍や他の組織の一又は複数の座標情報である。 ま た、 「他の組織」 としては、 骨や筋肉、 乳腺、 脂肪等が挙げられる。 また、 「学習モデル」 は、 学習器の設定 (構築) を行うための各種パラメータ等を 含むデータの集合である。 また、 「乳房医療画像」 としては、 医療用に用い られる、 乳房のエコー画像、 C T (Computed Tomog raphy) 画像、 レントゲン 画像、 M R 丨 (Magnet i c Resonance Imag i ng) 画像等が挙げられる。
[0025] 上記のように、 学習装置 1 0にて生成された学習済みモデルは、 例えばコ ンパクトディスクや US Bメモリ等の可搬型記憶媒体、 又は、 通信ネッ トワ —ク NT等を介して画像診断補助装置 30にインストールされる。 なお、 通 信ネッ トワーク NTの種類は、 例えば、 インターネッ ト、 無線通信網、 移動 通信網、 電話網、 専用網等から適宜選択されてよい。
[0026] 一方、 画像診断補助装置 30は、 人体の内部の組織、 特に乳房 (の乳腺) の構造を画像化する装置である。 本実施形態では、 画像診断補助装置 30は 、 乳房を画像化するだけでなく、 画像化した後の乳房医療画像に基づいて乳 房の腫瘍の有無を判定する。 具体的には、 画像診断補助装置 30は、 学習装 置 1 0にて生成された学習済みモデルで構築された学習器に乳房医療画像を 入力することで、 当該乳房医療画像において腫瘍の候補となる第一領域と、 当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、 を 検出する。 そして、 画像診断補助装置 30は、 検出した複数の領域の位置関 係に基づいて、 第一領域が腫瘍であるか否かを判定する。 この画像診断補助 装置 30としては、 超音波画像診断補助装置や X線撮影装置等が挙げられる が、 特に限定されない。 本実施形態では、 画像診断補助装置 30が、 人体の 乳房に超音波を送信し、 乳房の組織からの反射 (エコー) を画像化すること で、 人体の乳房医療画像を取得する超音波画像診断補助装置である場合を説 明する。
[0027] ＜ハードウエア構成＞
図 2は、 図 1 に示す学習装置 1 0のハードウエア構成の一例を示すブロッ ク図である。
[0028] 図 2に示すように、 学習装置 1 0は、 互いに電気的に接続された、 制御部
1 2と、 記憶装置 1 4と、 入力装置 1 6と、 出力装置 1 8と、 通信インター フエース 20と、 ドライブ 22と、 を備える。 なお、 図 2では、 通信インタ —フエースを 「通信丨 / F」 と記載している。
[0029] 制御部 1 2は、 ハードウエアプロセッサである C P U (Central Processin g Unit) 1 2 Aと、 G P U (Graphics Process ing Unit) 1 2 Bと、 RAM (Random Access Memory) 1 2Cと、 ROM (Read Only Memory) 1 2口と を含み、 プログラム及びデータに基づいて各種情報処理を実行するように構 成される。
[0030] 記憶装置 1 4は、 例えばハードディスクや R O M等で構成される。 この記 憶装置 1 4は、 学習プログラム 1 4 Aと、 学習データ 1 4巳と、 第一学習済 みモデル 1 4 Cと、 第二学習済みモデル 1 4 Dとを記憶する。 学習プログラ
Figure imgf000010_0001
学習データ 1 4 Bを機械学習して学習結果データとして学習済 みモデル (第一学習済みモデル 1 4 C及び第二学習済みモデル 1 4 D ) を生 成する学習器を含むプログラムである。 学習データ 1 4巳は、 例えば、 乳房 及び腫瘍が写った複数の第一乳房医療画像及び複数の第一乳房医療画像にお ける腫瘍の位置特定情報の組と、 乳房及び腫瘍以外の他の組織が写った複数 の第二乳房医療画像及び複数の第二乳房医療画像における他の組織の位置特 定情報の組を含む。 第一学習済みモデル 1 4 Cは、 乳房医療画像において腫 瘍の候補となる第一領域を学習器が検出するためのデータである。 第二学習 済みモデル 1 4 Dは、 乳房医療画像において腫瘍以外の他の組織の候補とな る第二領域を検出するためのデータである。
[0031 ] 入力装置 1 6は、 例えば、 マウス、 キーボード等、 学習装置 1 0に入力操 作を行うための装置である。
[0032] 出力装置 1 8は、 例えば、 ディスプレイ、 スピーカ等の出力を行うための 装置である。 ユーザは、 入力装置 1 6及び出力装置 1 8を介して、 学習装置 1 0を操作することができる。
[0033] 通信インターフェース 2 0は、 例えば、 有線 L A N (Loca l Area Network ) モジュール、 無線 L A Nモジュール等であり、 通信ネッ トワーク N Tを介 した有線又は無線通信を行うためのインターフェースである。 学習装置 1 〇 は、 当該通信インターフェース 2 0を介して、 生成した学習済みモデルを外 部の装置に配信してもよい。
[0034] ドライブ 2 2は、 例えば、 C Dドライブ、 D V Dドライブ等であり、 記憶 媒体 2 4に記憶されたプログラムやデータを読み込むためのドライブ装置で ある。 ドライブ 2 2の種類は、 記憶媒体 2 4の種類に応じて適宜選択されて よい。
[0035] 記憶媒体 24は、 記録されたプログラム等の情報をコンピュータその他装 置、 機械等が読み取り可能なように、 当該プログラム等の情報を、 電気的、 磁気的、 光学的、 機械的又は化学的作用によって蓄積する非一過性の媒体で ある。 学習装置 1 〇は、 この記憶媒体 24から、 上記学習プログラム 1 4A 及び/又は学習データ 1 4 Bを取得してもよい。 ここで、 図 2では、 記憶媒 体 24の一例として、 CD、 DVD等のディスク型の記憶媒体を例示してい る。 しかしながら、 記憶媒体 24の種類は、 ディスク型に限定される訳では なく、 ディスク型以外であってもよい。 ディスク型以外の記憶媒体として、 例えば、 フラッシュメモリ等の半導体メモリを挙げることができる。
[0036] なお、 学習装置 1 0の具体的なハードウエア構成に関して、 実施形態に応 じて、 適宜、 構成要素の省略、 置換及び追加が可能である。 例えば、 制御部 1 2は、 複数のハードウエアプロセッサを含んでもよい。 ハードウエアプロ セッサは、 マイクロプロセッサ、 F PGA (field-programmable gate array ) 等で構成されてよい。 学習装置 1 〇は、 複数台の情報処理装置で構成され てもよい。 また、 学習装置 2は、 提供されるサービス専用に設計された情報 処理装置の他、 巩用のサーバ装置、 PC (Personal Computer) 等であっても よい。
[0037] 図 3は、 図 1 に示す画像診断補助装置 30のハードウエア構成の一例を示 すブロック図である。
[0038] 図 3に示すように、 画像診断補助装置 30は、 互いに電気的に接続された 、 制御部 32と、 記憶装置 34と、 表示装置 36と、 入力装置 38と、 超音 波プローブ 40と、 送受信回路 42と、 信号処理回路 44と、 画像処理回路 46と、 を備える。
[0039] 制御部 32は、 ハードウエアプロセッサである C P U 32 Aと、 G P U 3
2 Bと、 RAM32Cと、 ROM32 Dとを含み、 プログラム及びデータに 基づいて各種情報処理を実行するように構成される。
[0040] 記憶装置 34は、 例えばハードディスクや ROM等で構成される。 この記 \¥0 2020/175356 10 卩（：170? 2020 /007011
憶装置 3 4は、 腫瘍判定プログラム 3 4八と、 第一学習済みモデル 1 4〇と 、 第二学習済みモデル 1 4 0等を記憶する。 腫瘍判定プログラム 3 4八は、 超音波プローブ 4 0から得られる乳房医療画像を、 第一学習済みモデル 1 4 〇や第二学習済みモデル 1 4 0で構築された学習器に入力することで、 腫瘍 の候補となる領域を検出し、 実際にその領域が腫瘍であるか否かを判定する プログラムである。
[0041 ] 表示装置 3 6は、 超音波プローブ 4 0から得られる乳房医療画像やメニュ —画面、 画像診断補助装置 3 0の設定画面等を表示する装置である。
[0042] 入力装置 3 8は、 マウスやキーボード、 ボタン、 パネルスイッチ、 タッチ コマンドスクリーン、 フッ トスイッチ、 トラックボール、 ジョイスティック 等、 画像診断補助装置 3 0に入力操作を行うための装置である。
[0043] 超音波プローブ 4 0は、 複数の振動子を有し、 これら複数の振動子は、 送 受信回路 4 2から供給される駆動信号に基づき超音波を発生する。 また、 超 音波プローブ 4 0が有する複数の振動子は、 人体の乳房からの反射波を受信 して電気信号に変換する。 具体的には、 超音波プローブ 4 0から人体に超音 波が送信されると、 送信された超音波は、 人体の体内組織における音響イン ピーダンスの不連続面で次々と反射され、 反射波信号 （エコー信号） として 超音波プローブ 4 0が有する複数の振動子にて受信される。 受信される反射 波信号の振幅は、 超音波が反射される不連続面における音響インピーダンス の差に依存する。
[0044] 送受信回路 4 2は、 超音波プローブ 4 0に駆動信号を供給する。 また、 送 受信回路 4 2は、 超音波プローブ 4 0から超音波ビームを送信させる。 そし て、 送受信回路 4 2は、 超音波プローブ 4 0が受信した反射波信号から反射 波データを生成する。
[0045] 信号処理回路 4 4は、 例えば、 送受信回路 4 2から受信した反射波データ に対して、 各種処理を行って中間データを生成する。 この中間データは、 画 像処理回路 4 6に出力される。
[0046] 画像処理回路 4 6は、 信号処理回路 4 4により生成された中間データから 表示用の乳房医療画像を生成する。 画像処理回路 4 6で生成された乳房医療 画像は、 表示装置 3 6にリアルタイムに表示される。
[0047] なお、 画像診断補助装置 3 0の具体的なハードウェア構成に関して、 実施 形態に応じて、 適宜、 構成要素の省略、 置換及び追加が可能である。 例えば 、 制御部 1 2は、 複数のハードウェアプロセッサを含んでもよい。 ハードウ エアプロセッサは、 マイクロプロセッサ、 F P G A （f i e ld-prog rammab le ga te ar ray） 等で構成されてよい。 画像診断補助装置 3 0は、 複数台の情報処 理装置で構成されてもよい。
[0048] ＜機能的構成＞
図 4は、 図 2に示す学習装置 1 0の機能的構成 （ソフトウェア構成） の一 例を示すブロック図である。
[0049] 図 4に示すように、 学習装置 1 0は、 機能的構成として、 記憶手段 6 0と 、 画像取得手段 6 2と、 前処理手段 6 4と、 教師データ取得手段 6 6と、 学 習処理手段 6 8と、 を備える。 記憶手段 6 0は、 記憶装置 1 4で実現される 。 その他の機能的構成は、 学習プログラム 1 4 Aを R A M 1 2 Cに展開し、 当該 R A M 1 2 Cに展開された学習プログラム 1 4 Aを C P U 1 2 Aにより 解釈及び実行することにより実現される。
[0050] 記憶手段 6 0は、 上述の学習データ 1 4巳と、 第一学習済みモデル 1 4 C と、 第二学習済みモデル 1 4 Dとを記憶する機能を有する。
[0051 ] 画像取得手段 6 2は、 腫瘍が写った複数の第一乳房医療画像と、 腫瘍以外 の他の組織が写った複数の第二乳房医療画像とを取得する機能を有する。 本 実施形態では、 第一乳房医療画像は、 良性腫瘍が写った画像と、 悪性腫瘍が 写った画像と、 を含む。 また、 第二乳房医療画像は、 骨が写った画像と、 筋 肉が写った画像と、 を含む。
[0052] 前処理手段 6 4は、 画像取得手段 6 2が取得した乳房医療画像 （第一乳房 医療画像及び第二乳房医療画像） に対して各種の前処理を実行する機能を有 する。 具体的には、 前処理手段 6 4は、 機械学習への悪影響回避のため、 画 像取得手段 6 2が取得した乳房医療画像の画像コントラストを正規化する第 \¥0 2020/175356 12 卩（：170? 2020 /007011
一前処理を実行する。 また、 前処理手段 6 4は、 誤識別抑制のため、 2 5 6 段階の色表現を半分以下に削減する第二前処理を実行する。 また、 前処理手 段 6 4は、 画像全体に対して占める割合の低い腫瘍を精度よく捉え、 かつ腫 瘍が分割されることを回避するため、 オーバーラップさせながら細かく乳房 医療画像を分割する第三処理を実行する。
[0053] 教師データ取得手段 6 6は、 例えば、 学習装置 1 0のユーザの操作に基づ き、 前処理された複数の第一乳房医療画像において腫瘍の位置特定情報を第 —教師データとして取得し、 且つ、 前処理された複数の第二乳房医療画像に おいて他の組織の位置特定情報を教師データとして取得する機能を有する。 本実施形態では、 医師の判断 ·操作に基づき、 第一乳房医療画像及び第二乳 房医療画像の中から良質な画像を抽出し、 抽出した各第一乳房医療画像から 良性腫瘍又は悪性腫瘍の位置特定情報を取得するとともに、 抽出した各第二 乳房医療画像から骨又は筋肉の位置特定情報を取得することで、 良質な教師 データを取得する。 なお、 位置特定情報は、 医師が乳房医療画像において悪 性腫瘍等の領域を指定することで得られる。 この領域の形状は、 矩形や円形 、 楕円等、 特に限定されないが、 例えば矩形である。 矩形としては、 例えば 、 悪性腫瘍等の輪郭に外接する外接矩形や、 悪性腫瘍等の輪郭に内接する内 接矩形等が挙げられる。 本実施形態では、 位置特定情報は外接矩形で指定さ れる。
[0054] 学習処理手段 6 8は、 複数の第一乳房医療画像及び第一教師データの組と 、 複数の第二乳房医療画像及び第二教師データの組とをそれぞれ入力して機 械学習し、 所定の乳房医療画像において腫瘍の候補となる第一領域と、 当該 所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、 を検出するための学習済みモデル、 を生成する機能を有する。 本実施形態で は、 学習処理手段 6 8は、 複数の第一乳房医療画像及び第一教師データの組 を入力して機械学習 （第一学習処理） し、 所定の乳房医療画像において腫瘍 の候補となる第一領域を検出するための第一学習済みモデル 1 4〇を生成す る。 また、 学習処理手段 6 8は、 複数の第二乳房医療画像及び第二教師デー \¥0 2020/175356 13 卩（：170? 2020 /007011
夕の組を入力して機械学習 （第二学習処理） し、 所定の乳房医療画像におい て腫瘍以外の他の組織の候補となる第二領域を検出するための第二学習済み モデル 1 4 0を生成する。 なお、 機械学習の学習回数は、 特に限定されない が、 感度及び特異度を両方高めるという観点から、 例えば 2万回以上 6万回 以下であることが好ましく。 4万回以上 6万回以下であることがより好まし い。 なお、 「感度」 とは、 病気な人 （腫瘍がある人） の中で、 検査で発見で きる確率である。 また、 「特異度」 とは、 元気な人に対して、 病気でない （ 腫瘍がない） と判定する確率である。
［0055］ 図 5は、 図 3に示す画像診断補助装置 3 0の機能的構成 （ソフトウェア構 成） の一例を示すブロック図である。
［0056］ 図 5に示すように、 画像診断補助装置 3 0は、 記憶手段 7 0と、 取得手段
7 2と、 検出手段 7 4と、 判定手段 7 6と、 出力手段 7 8と、 を備える。 記 憶手段 7 0は、 記憶装置 3 4で実現される。 その他の機能的構成は、 腫瘍判 定プログラム 3 4八を 八1\/1 3 2〇に展開し、 当該［¾八1\/1 3 2〇に展開され た腫瘍判定プログラム 3 4八を〇 11 3 2八により解釈及び実行することに より実現される。
［0057］ 記憶手段 7 0は、 上述の第一学習済みモデル 1 4（3と、 第二学習済みモデ ル 1 4 0と、 を記憶する機能を有する。
［0058］ 取得手段 7 2は、 超音波プローブ 4 0等を駆動制御することで、 人体の乳 房が写った乳房医療画像を取得する機能を有する。 なお、 実際には、 取得手 段 7 2は、 乳房医療画像を乳房映像の一部としてリアルタイムに取得する。
［0059］ 検出手段 7 4は、 取得手段 7 2にて取得された乳房医療画像を、 機械学習 が行われた学習済みモデルで構築された一又は複数の学習器に入力すること で、 学習器が演算処理し、 当該乳房医療画像において腫瘍の候補となる第一 領域と、 当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領 域と、 を検出する機能を有する。 本実施形態では、 検出手段 7 4は、 乳房医 療画像を第一学習済みモデル 1 4（3で構築 （設定） された学習器に入力する ことで第一領域を検出し、 且つ、 乳房医療画像を第二学習済みモデル 1 4 0 \¥0 2020/175356 14 卩（：170? 2020 /007011
で構築された学習器に入力することで第二領域を検出する。
[0060] ここで、 「腫瘍の候補となる第一領域」 とは、 例えば、 腫瘍である確率が 第一閾値以上の確率が対応付けられた領域である。 また、 「他の組織の候補 となる第二領域」 とは、 例えば、 腫瘍以外の他の組織である確率が第二閾値 以上の確率が対応付けられた領域である。 本実施形態では、 検出手段 7 4は 、 良性腫瘍の候補となる第一領域として、 良性腫瘍である確率が第一閾値以 上の確率が対応付けられた領域と、 悪性腫瘍の候補となる第一領域として、 悪性腫瘍である確率が第一閾値以上の確率が対応付けられた領域と、 を検出 する。 また、 検出手段 7 4は、 骨の候補となる第二領域として、 骨である確 率が第二閾値以上の確率が対応付けられた領域と、 筋肉の候補となる第二領 域として、 筋肉である確率が第二閾値以上の確率が対応付けられた領域と、 を検出する。
[0061 ] なお、 上記第 _閾値と第二閾値は、 同 _であっても異なっていてもよい。
例えば、 他の組織は腫瘍に比べて候補を多く検出した方が結果的に腫瘍の判 定精度が向上するという観点から、 第二閾値が第一閾値よりも低いことが好 ましい。 第一閾値及び第二閾値は、 腫瘍の候補の検出精度を高めるという観 点から、 5 %以上 1 0 0 %以下であることが好ましく、 1 0 %以上 5 0 %以 下であることがより好ましい。 特に、 第一閾値は、 1 5 %以上 3 0 %以下で あることが更により好ましい。 また、 第二閾値は、 1 0 %以上 2 0 %以下で あることが更により好ましい。 本実施形態では、 第一閾値は 2 0 %であり、 第二閾値は 1 0 %である。
[0062] 判定手段 7 6は、 検出手段 7 4にて検出された複数の領域の位置関係に基 づいて、 第一領域が腫瘍であるか否かを判定する機能を有する。 例えば、 判 定手段 7 6は、 良性腫瘍又は悪性腫瘍の候補となる第一領域の位置が、 筋肉 又は骨の候補となる第二領域の位置よりも上であれば腫瘍であると肯定判定 し、 筋肉又は骨の候補となる第二領域の位置よりも下であれば腫瘍でないと 否定判定する。 また、 例えば、 判定手段 7 6は、 良性腫瘍又は悪性腫瘍の候 補となる第 _領域の位置が、 筋肉又は骨の候補となる第二領域の位置から閾 \¥0 2020/175356 15 卩（：170? 2020 /007011
値以上に離れている場合は腫瘍であると肯定判定し、 筋肉又は骨の候補とな る第二領域の位置未満しか離れていない場合は腫瘍でないと否定判定しても よい。 なお、 第一領域の位置と、 第二領域の位置は、 例えば、 領域の中心点 の位置であっても、 領域の最も下の点の位置であってもよい。 なお、 上記位 置関係において 「上」 とは、 乳房医療画像において皮膚側を意味する。
[0063] また、 判定手段 7 6は、 第一領域が腫瘍であると検出された場合に、 検出 手段 7 4にて検出された領域に対応付けられた確率に基づいて、 第一領域が 良性腫瘍であるか又は悪性腫瘍であるかを判定する。 例えば、 判定手段 7 6 は、 悪性腫瘍である確率が対応付けられた領域と、 良性腫瘍である確率が対 応付けられた領域とが重なった場合、 判定手段 7 6は、 確率の高い方の腫瘍 であると判定する。
[0064] また、 判定手段 7 6は、 検出手段 7 4にて検出された他の組織の候補とな る第二領域を、 そのまま他の組織であると判定する。
[0065] 出力手段 7 8は、 判定手段 7 6の判定結果を出力する機能を有する。 例え ば、 出力手段 7 8は、 リアルタイムに表示装置 3 6に表示される乳房医療画 像に反映する。 具体的には、 出力手段 7 8は、 リアルタイムに取得 ·表示さ れた乳房医療画像において判定手段 7 6が腫瘍であると判定した領域を囲う ように表示するとともに、 その領域が腫瘍である旨を記述する。 また、 出力 手段 7 8は、 乳房医療画像において他の組織であると判定した領域を囲うよ うに表示するとともに、 その領域が他の組織である旨を記述する。 また、 出 力手段 7 8は、 医師による診断の邪魔とならないように、 乳房医療画像の隅 等に腫瘍であることを示す文字やマークを表示してもよい。 また、 出力手段 7 8は、 判定結果を音や紙媒体に出力してもよい。
[0066] ＜処理手順＞
図 6は、 学習装置 1 0の各機能的構成の処理手順を示すフローチヤートで ある。 なお、 以下のステップの処理の内容及び順番は適宜変更することがで きる。
[0067] （ステップ 3 1 0） \¥0 2020/175356 16 卩（：170? 2020 /007011
画像取得手段 6 2は、 記憶手段 6 0や他の記憶手段等から、 乳房及び良性 腫瘍が写った複数の第一乳房医療画像と、 乳房及び悪性腫瘍が写った複数の 第一乳房医療画像を取得する。 また、 画像取得手段 6 2は、 記憶手段 6 0や 他の記憶手段等から、 乳房及び骨が写った複数の第二乳房医療画像と、 乳房 及び筋肉が写った第二乳房医療画像を取得する。 この際、 医師の判断 ·操作 に基づき、 第一乳房医療画像及び第二乳房医療画像の中から良質な画像のみ が取得される。 そして、 処理は、 ステップ 3 1 2の処理に移行する。
[0068] （ステップ 3 1 2）
前処理手段 6 4は、 画像取得手段 6 2が取得した各乳房医療画像に対して 前処理を実行する。 具体的には、 前処理手段 6 4は、 画像取得手段 6 2が取 得した乳房医療画像の画像コントラストを正規化する第一前処理を実行する 。 また、 前処理手段 6 4は、 各乳房医療画像に対して 2 5 6段階の色表現を 半分以下に削減する第二前処理を実行する。 また、 オーバーラップさせなが ら細かく各乳房医療画像を分割する第三前処理を実行する。 なお、 第一前処 理、 第二前処理、 第三前処理を実行する順番は適宜変更することができる。 また、 これら前処理の全部又は一部は省略してもよい。 そして、 処理は、 ス テップ3 1 4の処理に移行する。
[0069] （ステップ 3 1 4）
教師データ取得手段 6 6は、 ユーザの操作に基づき、 前処理された複数の 第一乳房医療画像において腫瘍の位置特定情報を第一教師データとして取得 し、 且つ、 前処理された複数の第二乳房医療画像において他の組織の位置特 定情報を第二教師データとして取得する。 具体的には、 教師データ取得手段 6 6は、 ユーザとしての医師の判断 ·操作に基づき、 各第一乳房医療画像か ら良性腫瘍又は悪性腫瘍であることを示す識別情報と、 その位置特定情報 （ 矩形領域の領域情報） を第一教師データとして取得する。 また、 教師データ 取得手段 6 6は、 医師の判断 ·操作に基づき、 各第二乳房医療画像から骨又 は筋肉であることを示す識別情報と、 その位置特定情報 （矩形領域の領域情 報） を第二教師データとして取得する。 これにより、 学習装置 1 0は、 複数 \¥0 2020/175356 17 卩（：170? 2020 /007011
の第一乳房医療画像及び第一教師データの組と、 複数の第二乳房医療画像及 び第二教師データの組とを含む良質な学習データ 1 4巳を取得する。 この学 習データ 1 4巳は、 記憶手段 6 0に記憶される。 そして、 処理は、 ステップ 3 9 1 6の処理に移行する。
[0070] （ステップ 3 1 6）
学習処理手段 6 8は、 ユーザの操作に基づき、 第一学習済みモデル 1 4〇 を生成するための一又は複数の第ーパラメータの設定を受け付ける。 例えば 、 学習処理手段 6 8は、 第ーパラメータとして、 第一学習済みモデル 1 4〇 を生成する第一学習処理のための第一学習回数や第一閾値等の設定を受け付 ける。 そして、 処理は、 ステップ 3 1 8の処理に移行する。
[0071 ] （ステップ 3 1 8）
学習処理手段 6 8は、 ユーザの操作に基づき、 第二学習済みモデルを生成 するための一又は複数の第ニパラメータの設定を受け付ける。 例えば、 学習 処理手段 6 8は、 第ニパラメータとして、 第二学習済みモデル 1 4 0を生成 する第二学習処理のための第二学習回数や第二閾値等の設定を受け付ける。 そして、 処理は、 ステップ 3 2 0の処理に移行する。
[0072] （ステップ 3 2 0）
学習処理手段 6 8は、 ユーザから、 2つの学習処理、 すなわち、 第一学習 処理及び第二学習処理を実行する実行操作を受け付ける。 そして、 処理は、 ステップ 3 2 2の処理及びステップ 3 3 4の処理にそれぞれ移行する。 なお、 以下のステップ 3 2 2〜ステップ 3 3 2の各処理と、 ステップ 3 3 4〜ステップ 3 4 4の各処理とは、 並行して実行されるが、 どちらか —方の各処理を実行した後、 他方の各処理が実行されてもよい。
[0073] （ステップ 3 2 2）
学習処理手段 6 8は、 設定された第一学習回数 3だけ、 ステップ 3 2 4 〜ステップ 3 3 0の処理を繰り返す （ループ処理） 。 すなわち、 学習処理 手段 6 8は、 変数丨が第一学習回数 3となるまで、 変数丨 を 1からインクリ メントしながら、 ステップ3 2 4〜ステップ3 3 0の処理を繰り返す。 \¥0 2020/175356 18 卩（：170? 2020 /007011
[0074] （ステップ 3 2 4）
学習処理手段 6 8は、 腫瘍に係る学習データ 1 4巳を初期状態の学習器に 入力する。 具体的には、 学習処理手段 6 8は、 学習データ 1 4巳として、 乳 房及び腫瘍が写った第一乳房医療画像及び当該第一乳房医療画像における腫 瘍の位置特定情報 （腫瘍の識別情報を含む） の _組を初期状態の学習器に入 力する。 そして、 処理は、 ステップ 3 2 6の処理に移行する。
[0075] （ステップ 3 2 6）
学習処理手段 6 8は、 入力した学習データ 1 4巳に基づき、 学習器に対し て第一学習処理 （機械学習） を実行させる。 なお、 この第一学習処理では、 例えば、 学習データ 1 4巳に対して畳み込み処理やプーリング処理が繰り返 される。 そして、 処理は、 ステップ 3 2 8の処理に移行する。
[0076] （ステップ 3 2 8）
学習処理手段 6 8は、 学習器が生成する学習結果データに基づき、 学習器 の各種パラメータを更新する。 そして、 処理は、 ステップ 3 3 0の処理に 移行する。
[0077] （ステップ 3 3 0）
学習処理手段 6 8は、 変数丨が第一学習回数 3未満である場合には、 処理 はステップ 3 2 2の処理に戻り、 変数丨が第一学習回数 3である場合には ループ処理を抜け、 処理はステップ 3 3 2の処理に移行する。
[0078] （ステップ 3 3 2）
学習処理手段 6 8は、 ループ処理により最終的に更新された学習器の各種 パラメータを第一学習済みモデル 1 4〇として記憶手段 6 0に記憶する。 そ して、 図 6に示す一連の処理が終了する。
[0079] （ステップ 3 3 4）
ステップ 3 2 0から移行された後、 学習処理手段 6 8は、 設定された第 二学習回数匕だけ、 ステップ 3 3 6〜ステップ 3 4 2の処理を繰り返す （ループ処理） 。 すなわち、 学習処理手段 6 8は、 変数」が第二学習回数匕 となるまで、 変数」を 1からインクリメントしながら、 ステップ 3 3 6〜 \¥0 2020/175356 19 卩（：170? 2020 /007011
ステップ 3 4 2の処理を繰り返す。
[0080] （ステップ 3 3 6）
学習処理手段 6 8は、 他の組織に係る学習データ 1 4巳を初期状態の学習 器に入力する。 具体的には、 学習処理手段 6 8は、 学習データ 1 4巳として 、 乳房及び他の組織が写った第二乳房医療画像及び当該第二乳房医療画像に おける他の組織の位置特定情報 （他の組織の識別情報を含む） の一組を初期 状態の学習器に入力する。 そして、 処理は、 ステップ 3 3 8の処理に移行 する。
[0081 ] （ステップ 3 3 8）
学習処理手段 6 8は、 入力した学習データ 1 4巳に基づき、 学習器に対し て第二学習処理 （機械学習） を実行させる。 なお、 第二学習処理では、 例え ば、 学習データ 1 4巳に対して畳み込み処理やプーリング処理が繰り返され る。 そして、 処理は、 ステップ 3 4 0の処理に移行する。
[0082] （ステップ 3 4 0）
学習処理手段 6 8は、 学習器が生成する学習結果データに基づき、 学習器 の各種パラメータを更新する。 そして、 処理は、 ステップ 3 4 2の処理に 移行する。
[0083] （ステップ 3 4 2）
学習処理手段 6 8は、 変数」が第二学習回数 未満である場合には、 処理 はステップ 3 3 4の処理に戻り、 変数」が第二学習回数匕である場合には ループ処理を抜け、 処理はステップ 3 4 4の処理に移行する。
[0084] （ステップ 3 4 4）
学習処理手段 6 8は、 ループ処理により最終的に更新された学習器の各種 パラメータを第二学習済みモデル 1 4 0として記憶手段 6 0に記憶する。 そ して、 図 6に示す一連の処理が終了する。
[0085] 図 7は、 画像診断補助装置 3 0の各機能的構成の処理手順を示すフローチ ャートである。 なお、 以下のステップの処理の内容及び順番は適宜変更する ことができる。 \¥0 2020/175356 20 卩（：170? 2020 /007011
[0086] （ステップ 3 5 0）
取得手段 7 2は、 超音波プローブ 4 0を駆動制御して乳房医療画像を取得 する。 そして、 処理は、 ステップ 3 5 2の処理及びステップ 3 5 6の処 理に移行する。 なお、 以下のステップ 3 5 2〜ステップ 3 5 4の各処理 と、 ステップ 3 5 6〜ステップ 3 5 8の各処理とは、 並行して実行され るが、 どちらか一方の各処理を実行した後、 他方の各処理が実行されてもよ い。
[0087] （ステップ 3 5 2）
検出手段 7 4は、 記憶手段 7 0から第一学習済みモデル 1 4（3を読み込み 、 当該第一学習済みモデル 1 4〇で学習器を構築する。 なお、 ステップ 3 5 0の処理の前に、 第一学習済みモデル 1 4〇で学習器を構築していてもよ い。 この場合、 ステップ 3 5 2は省略される。 そして、 処理は、 ステップ 395 4の処理に移行する。
[0088] （ステップ 3 5 4）
検出手段 7 4は、 乳房医療画像から腫瘍の候補となる第一領域を検出する 。 具体的には、 検出手段 7 4は、 第一学習済みモデル 1 4（3で構築された学 習器に乳房医療画像を入力することで、 検出手段 7 4は、 第一領域として、 良性腫瘍である確率が第一閾値以上の確率が対応付けられた領域と、 悪性腫 瘍である確率が第一閾値以上の確率が対応付けられた領域と、 を検出する。 そして、 処理は、 ステップ 3 6 0の処理に移行する。
[0089] （ステップ 3 5 6）
ステップ 3 5 0から移行された後、 検出手段 7 4は、 記憶手段 7 0から 第二学習済みモデル 1 4口を読み込み、 当該第二学習済みモデル 1 4 0で学 習器を構築する。 なお、 ステップ 3 5 0の処理の前に、 第二学習済みモデ ル 1 4 0で学習器を構築していてもよい。 この場合、 本ステップ 3 5 6は 省略される。 そして、 処理は、 ステップ 3 5 8の処理に移行する。
[0090] （ステップ 3 5 8）
検出手段 7 4は、 乳房医療画像から他の組織の候補となる第二領域を検出 \¥0 2020/175356 21 卩（：170? 2020 /007011
する。 具体的には、 検出手段 7 4は、 第二学習済みモデル 1 4 0で構築され た学習器に乳房医療画像を入力することで、 検出手段 7 4は、 第二領域とし て、 骨である確率が第二閾値以上の確率が対応付けられた領域と、 筋肉であ る確率が第二閾値以上の確率が対応付けられた領域と、 を検出する。 そして 、 処理は、 ステップ 3 6 0の処理に移行する。
[0091 ] （ステップ 3 6 0）
判定手段 7 6は、 ステップ 3 5 8で検出された第二領域の領域数〇を取 得する。 なお、 この領域数〇は、 ゼロ又は自然数である。 そして、 処理は、 ステップ3 6 2の処理に移行する。
[0092] （ステップ 3 6 2）
判定手段 7 6は、 取得した領域数〇だけ、 ステップ 3 6 4〜ステップ 3 6 6の処理を繰り返す （ループ処理） 。 すなわち、 判定手段 7 6は、 変数 !＜が領域数〇となるまで、 変数 1＜を 1からインクリメントしながら、 ステッ プ3 6 4〜ステップ 3 6 6の処理を繰り返す。
[0093] （ステップ 3 6 4）
判定手段 7 6は、 検出手段 7 4が検出した第二領域のうち一つの第二領域 を取得し、 当該一つの第二領域が他の組織であると判定する。 なお、 判定手 段 7 6は、 当該一つの領域に対応付けられている他の組織 （骨又は筋肉） で あると判定してもよい。 この場合、 第二領域同士が重なったときには、 領域 それぞれに対応付けられている確率の高い方の他の組織であると判定しても よい。 例えば、 骨である確率 （3 0 %） が対応付けられた第二領域と、 筋肉 である確率 （4 0 %） が対応付けられた第二領域とが重なった場合には、 判 定手段 7 6は、 筋肉である確率の方が高いため、 当該第二領域が筋肉である と判定してもよい。 そして、 処理は、 ステップ 3 6 6の処理に移行する。
[0094] （ステップ 3 6 6）
判定手段 7 6は、 変数 が領域数〇未満である場合には、 処理はステップ 3 6 2の処理に戻り、 変数丨が領域数〇である場合にはループ処理を抜け 、 処理はステップ 3 6 8の処理に移行する。 \¥0 2020/175356 22 卩（：170? 2020 /007011
[0095] （ステップ 3 6 8）
判定手段 7 6は、 ステップ 3 5 4で検出された領域数 を取得する。 な お、 この領域数 は、 ゼロ又は自然数である。 そして、 処理は、 ステップ 3 7 0の処理に移行する。
[0096] （ステップ 3 7 0）
判定手段 7 6は、 取得した領域数 だけ、 ステップ 3 7 2〜ステップ 3 8 8の処理を繰り返す （ループ処理） 。 すなわち、 判定手段 7 6は、 変数 Iが領域数〇1となるまで、 変数丨 を 1からインクリメントしながら、 ステッ ブ VI 2〜ステップ 3 8 8の処理を繰り返す。
[0097] （ステップ 3 7 2）
判定手段 7 6は、 検出手段 7 4が検出した第一領域のうち一つの第一領域 を取得し、 当該一つの第一領域が、 他の組織と判定された第二領域より下に 位置するか否かを判定する。 そして、 当該判定が肯定判定された場合には処 理はステップ 3 7 4の処理に移行し、 当該判定が否定判定された場合には 処理はステップ 3 7 8の処理に移行する。
[0098] （ステップ 3 7 4）
判定手段 7 6は、 取得した一つの第一領域が腫瘍でないと判定する。 そし て、 処理は、 亍ッブ '? 1 6の処理に移行する。
[0099] （ステップ 3 7 6）
出力手段 7 8は、 判定結果を出力する。 例えば、 出力手段 7 8は、 リアル タイムに表示装置 3 6に表示される乳房医療画像に反映する。 なお、 本ステ ップ 3 7 6は、 例えば、 ステップ 3 8 8の処理の後に実行されてもよい
[0100] 図 8は、 判定結果を反映した乳房医療画像 1 0 0の一例を示す図である。
なお、 図 8に示す乳房医療画像 1 0 0は、 本実施形態の説明用に本発明者ら が新たに創作したものであり、 実際の乳房医療画像とは異なる場合がある。
[0101 ] 図 8に示すように、 出力手段 7 8は、 乳房医療画像 1 0 0において、 判定 手段 7 6が腫瘍であると判定した領域を囲うように矩形マーク 1 0 2を表示 \¥0 2020/175356 23 卩（：170? 2020 /007011
出力するとともに、 その領域が悪性腫瘍である旨を表示出力する。 また、 出 力手段 7 8は、 乳房医療画像 1 0 0において、 判定手段 7 6が筋肉であると 判定した領域を囲うように矩形マーク 1 0 4を表示出力するとともに、 その 領域が筋肉である旨を表示出力する。 また、 出力手段 7 8は、 乳房医療画像 1 0 0において、 判定手段 7 6が骨であると判定した領域を囲うように矩形 マーク 1 0 6を表示出力するとともに、 その領域が骨である旨を表示出力す る。 なお、 この表示出力は省略することができる。
[0102] 図 7に戻って、 処理は、 ステップ 3 8 8の処理に移行する。
[0103] （ステップ 3 7 8）
ステップ 3 7 2にて否定判定された場合、 判定手段 7 6は、 取得した一 つの第一領域が他の第一領域と重なるか否かを判定する。 そして、 当該判定 が肯定判定された場合には処理はステップ3 8 2の処理に移行し、 当該判 定が否定判定された場合には処理はステップ 3 8 0の処理に移行する。
[0104] （ステップ 3 8 0）
判定手段 7 6は、 取得した一つの第一領域が、 当該第一領域に対応付けら れている腫瘍 （良性腫瘍又は悪性腫瘍） と判定する。 そして、 処理は、 ステ ップ3 7 6の処理に移行する。
[0105] （ステップ 3 8 2）
ステップ 3 7 8にて肯定判定された場合、 判定手段 7 6は、 重なった第 —領域それぞれに対応付けられている確率のうち、 悪性腫瘍の方が、 確率が 高いか否かを判定する。 例えば、 重なった第一領域のうち、 一つの第一領域 に悪性腫瘍である確率 （5 0 %） が対応づけられており、 他の第一領域に良 性腫瘍である確率 （3 0 %） が対応付けられている場合、 判定手段 7 6は、 悪性腫瘍である確率の方が高いと肯定判定する。 そして、 当該判定が肯定判 定された場合には処理は、 ステップ3 8 4の処理に移行し、 当該判定が否 定判定された場合には処理は、 ステップ 3 8 6の処理に移行する。
[0106] （ステップ 3 8 4）
判定手段 7 6は、 取得した一つの第一領域が、 当該第一領域に対応付けら \¥0 2020/175356 24 卩（：170? 2020 /007011
れている悪性腫瘍であると判定する。 そして、 処理は、 ステップ 3 7 6の 処理に移行する。
[0107] （ステップ 3 8 6）
判定手段 7 6は、 取得した一つの第一領域が、 当該第一領域に対応付けら れている良性腫瘍であると判定する。 そして、 処理は、 ステップ 3 7 6の 処理に移行する。
[0108] （ステップ 3 8 8）
判定手段 7 6は、 変数丨が領域数 未満である場合には、 処理はステップ 3 7 0の処理に戻り、 変数丨が領域数 である場合にはループ処理を抜け 、 図 7に示す一連の処理が終了する。
[0109] ＜効果＞
以上、 本実施形態では、 腫瘍判定プログラム 3 4 が画像診断補助装置 3 〇を、 機械学習が行われた学習済みモデルで構築された学習器に人体の乳房 が写つた乳房医療画像を入力することで、 当該乳房医療画像において腫瘍の 候補となる第一領域と、 当該乳房医療画像において腫瘍以外の他の組織の候 補となる第二領域と、 を検出する検出手段 7 4、 当該検出手段 7 4にて検出 された複数の領域の位置関係に基づいて、 前記第一領域が腫瘍であるか否か を判定する判定手段 7 6、 当該判定手段 7 6の判定結果を出力する出力手段 7 8として機能させる。
[01 10] この構成によれば、 検出手段 7 4にて検出された複数の領域の位置関係に 基づいて、 腫瘍の候補となる第一領域が腫瘍であるか否かを判定するので、 位置関係に基づいて判定しない場合に比べて、 腫瘍の判定精度を向上するこ とができる。
[01 1 1 ] また、 本実施形態では、 検出手段 7 4は、 第二領域として、 骨の候補とな る領域と、 筋肉の候補となる領域と、 を検出する。
[01 12] この構成によれば、 腫瘍の候補となる第一領域と、 骨の候補となる第二領 域と、 筋肉の候補となる第二領域との位置関係に基づいて、 第一領域が腫瘍 であるか否かを判定するので、 腫瘍の判定精度を一層向上することができる \¥0 2020/175356 25 卩（：170? 2020 /007011
[01 13] また、 本実施形態では、 検出手段 7 4は、 第一領域として、 悪性腫瘍であ る確率が対応付けられた領域と、 良性腫瘍である確率が対応付けられた領域 と、 を検出し、 判定手段 7 6は、 第一領域が腫瘍であると検出された場合に 、 検出手段 7 4にて検出された領域に対応付けられた確率に基づいて、 第一 領域が良性腫瘍であるか又は悪性腫瘍であるかを判定する。
[01 14] この構成によれば、 腫瘍を悪性腫瘍と良性腫瘍に区別して判定することが できるので、 悪性腫瘍の判定精度を一層向上することができる。
[01 15] また、 本実施形態では、 学習済みモデルは、 腫瘍が写った複数の乳房医療 画像から機械学習が行われた第一学習済みモデル 1 4 (3と、 他の組織が写っ た複数の乳房医療画像から機械学習が行われた第二学習済みモデル 1 4 0と を含み、 検出手段 7 4は、 乳房医療画像を第一学習済みモデル 1 4 (3で構築 された学習器に入力することで第一領域を検出し、 且つ、 乳房医療画像を第 二学習済みモデル 1 4口で構築された学習器に入力することで第二領域を検 出する。
[01 16] この構成によれば、 腫瘍が写った複数の乳房医療画像及び他の組織が写っ た複数の乳房医療画像から機械学習を行って一つの学習済みモデルを生成す る場合に比べて、 学習装置 1 0のメモリの使用量を低減することができると ともに、 学習済みモデルの生成処理の処理速度を向上することができる。 ま た、 第一領域と第二領域を、 それぞれ専用の学習済みモデルで構築された学 習器で検出するので、 領域の検出精度を向上することができ、 もって、 腫瘍 の判定精度を一層向上することができる。
[01 17] また、 本実施形態では、 第一領域は、 腫瘍である確率が第一閾値以上の確 率が対応付けられた領域であり、 第二領域は、 腫瘍以外の他の組織である確 率が第二閾値以上の確率が対応付けられた領域である。
[01 18] この構成によれば、 検出手段 7 4は、 確率が第一閾値や第二閾値未満の領 域を検出しないので、 腫瘍の候補となる第一領域の誤検出を抑制することが でき、 もって、 腫瘍の判定精度を一層向上することができる。 \¥0 2020/175356 26 卩（：170? 2020 /007011
[01 19] また、 本実施形態では、 第二閾値は第一閾値よりも低い。
[0120] この構成によれば、 他の組織の候補となる領域は腫瘍の候補となる領域に 比べて領域を多く検出することで、 領域の位置関係の比較を数多くすること ができ、 結果的に、 腫瘍の判定精度を一層向上することができる。
[0121 ] また、 本実施形態では、 学習装置 1 0が、 腫瘍が写った複数の第一乳房医 療画像と、 当該腫瘍以外の他の組織が写った複数の第二乳房医療画像とを取 得する画像取得手段 6 2と、 ユーザの操作に基づき、 前記複数の第一乳房医 療画像において腫瘍の位置特定情報を第一教師データとして取得し、 且つ、 前記複数の第二乳房医療画像において前記他の組織の位置特定情報を教師デ —夕として取得する教師データ取得手段 6 6と、 前記複数の第一乳房医療画 像及び前記第一教師データの組を入力して機械学習し、 所定の乳房医療画像 において腫瘍の候補となる第一領域を検出するための第一学習済みモデル 1 4〇を生成し、 且つ、 前記複数の第二乳房医療画像及び前記第二教師データ の組を入力して機械学習し、 所定の乳房医療画像において腫瘍以外の他の組 織の候補となる第二領域を検出するための第二学習済みモデル 1 4 0を生成 する学習処理手段 6 8と、 備える。
[0122] この構成によれば、 腫瘍が写った複数の乳房医療画像及び他の組織が写っ た複数の乳房医療画像から機械学習を行って一つの学習済みモデルを生成す る場合に比べて、 例えば 2クラス分類のよりシンプルな学習済みモデルのみ で構成でき、 学習済みモデルを組み合わせることで、 乳房医療画像において は、 判定精度の向上が期待できる。 また、 学習装置 1 0のメモリの使用量を 低減することができるとともに、 学習済みモデルの生成処理の処理速度を向 上することができる可能性がある。
[0123] <実施例 1 >
次に、 上記実施形態を適用した実施例 1 について説明する。
[0124] 実施例 1では、 正常な乳房医療画像 1 4 1枚、 良性腫瘍が写った乳房医療 画像 7 7枚、 悪性腫瘍が写った 1 1 3枚の合計 3 3 1枚の乳房医療画像を学 習データ 1 4巳とした。 そして、 学習装置 1 0は、 ユーザの操作に基づき、 \¥0 2020/175356 27 卩（：170? 2020 /007011
これらの学習データ 1 4巳を 「丫〇!_〇 2」 と呼ばれる学習器にそれぞれ 入力して機械学習を実行し、 第一学習済みモデル 1 4 (3と、 第二学習済みモ デル 1 4 0とを生成した。 ここで、 学習回数は 6万回とし、 第一領域を検出 するための第一閾値は 2 0 %とし、 第二領域を検出するための第二閾値は 1 0 %とした。 続いて、 正常な乳房医療画像 6 2枚、 良性腫瘍が写った乳房医 療画像 3 0枚、 悪性腫瘍が写った 5 0枚の合計 1 4 2枚の乳房医療画像を腫 瘍判定のためのテストデータとし、 これらのテストデータと、 第一学習済み モデル 1 4〇と、 第二学習済みモデル 1 4 0とを用いて腫瘍判定プログラム 3 4八を実行し、 腫瘍に関する判定結果を得た。
[0125] 図 9は、 良性腫瘍と悪性腫瘍を 「腫瘍」 とみなした場合において、 実際の 疾患と、 腫瘍判定プログラム 3 4八の判定結果とを比較した結果を示す表で ある。
[0126] 図 9に示す表から、 腫瘍判定プログラム 3 4八の判定処理による感度は 9
3 . 8 %であり、 特異度は 9 5 . 2 %であることが分かった。 この結果より 、 腫瘍判定プログラム 3 4八による腫瘍の判定精度は非常に高く、 従来に比 ベて判定精度が向上したことを確認できた。
[0127] 図 1 0は、 良性腫瘍もない正常と良性腫瘍を 「正常」 とみなした場合にお いて、 実際の疾患と、 腫瘍判定プログラム 3 4八の判定結果とを比較した結 果を示す表である。
[0128] 図 1 0に示す表から、 腫瘍判定プログラム 3 4八の判定処理による感度は
8 8 . 9 %であり、 特異度は 8 6 . 9 %であることが分かった。 この結果よ り、 腫瘍判定プログラム 3 4八による腫瘍の判定精度は非常に高く、 従来に 比べて判定精度が向上したことを確認できた。
[0129] <実施例 2 >
次に、 上記実施形態を適用した実施例 2について説明する。
[0130] 実施例 2では、 実施例 1 と同様の方法を実施するとともに、 学習回数を 1 万回から 8万回の間で変化させた。
[0131 ] 図 1 1は、 良性腫瘍と悪性腫瘍を 「腫瘍」 とみなした場合において、 学習 回数による感度と特異度の変化を示すグラフである。
[0132] 図 1 1 に示すように、 感度及び特異度が高いという観点から、 2万回以上
6万回以下であることが好ましく、 3万回以上 6万回以下であることがより 好ましく、 感度及び特異度が高く且つバランスが良いという観点から、 4万 回以上 6万回以下であることが更に好ましいことが確認できた。
[0133] また、 図 1 2は、 良性腫瘍もない正常と良性腫瘍を 「正常」 とみなした場 合において、 学習回数による感度と特異度の変化を示すグラフである。
[0134] 図 1 2に示すように、 感度及び特異度が高いという観点から、 2万回以上
6万回以下であることが好ましく、 3万回以上 6万回以下であることがより 好ましく、 感度及び特異度が高く且つバランスが良いという観点から、 4万 回以上 6万回以下であることが更に好ましいことが確認できた。
[0135] ＜変形例＞
なお、 本発明は上記の具体例に限定されるものではない。 すなわち、 上記 の具体例に、 当業者が適宜設計変更を加えたものも、 本発明の特徴を備えて いる限り、 本発明の範囲に包含される。 また、 前述した実施形態及び後述す る変形例が備える各要素は、 技術的に可能な限りにおいて組み合わせること ができ、 これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲 に包含される。
[0136] 例えば、 上記実施形態では、 画像診断補助装置 3 0が超音波画像診断補助 装置である場合を説明したが、 超音波画像診断補助装置に通信ネッ トワーク N T等を介して接続されるサーバ装置やパーソナルコンピュータ等の情報処 理装置であってもよい。
[0137] また、 上記実施形態では、 画像取得手段 6 2や教師データ取得手段 6 6が 学習装置 1 〇に設けられる場合を説明したが、 学習装置 1 0とは異なる他の 情報処理装置に設けられてもよい。
[0138] また、 上記実施形態では、 腫瘍の属性区分が良性又は悪性のうちのいずれ かの場合を説明したが、 他の分類基準、 例えば、 B I - R A D S (Breast Im ag i ng Report i ng And Data System) のガイ ドラインに基づく区分が用いられ \¥0 2020/175356 29 卩（：170? 2020 /007011
てもよい。 この場合、 検出手段 7 4は、 第一領域として、 巳 丨 一 [¾八0 3力 テゴリーに従って定義される各区分に属する腫瘍である確率が対応付けられ た領域を検出し、 判定手段 7 6は、 第一領域が腫瘍であると検出された場合 に、 検出手段 7 4にて検出された領域に対応付けられた確率に基づいて、 第 —領域がどの区分に属する腫瘍であるかを判定する。 この構成によれば、 巳 I _ [¾八0 3カテゴリーに従った属性判定ができるので、 腫瘍の判定精度を —層向上することができる。
[0139] なお、 上記した区分は、 例えば、
Figure imgf000031_0001
、 サブカテゴリー 4八/ 4巳/ 4〇、 又は、 両者を組み合わせたカテゴリー であってもよい。 また、 カテゴリーが 3以下の場合に 「0」 を、 カテゴリー が 4以上の場合に 「1」 をそれぞれ割り当てるなど、 学習器の出カラベルを 2値化してもよい。
[0140] また、 上記実施形態では、 検出手段 7 4は、 乳房医療画像から悪性腫瘍の 候補となる領域を検出する場合を説明したが、 悪性腫瘍の種類毎に、 悪性腫 瘍の候補となる領域を検出したり、 悪性腫瘍の進行度毎に、 悪性腫瘍の候補 となる領域を検出したりしてもよい。 例えば、 検出手段 7 4は、 乳房医療画 像から、 非浸潤がんの候補となる領域や、 浸潤がんの候補となる領域、 パジ エツ ト病の候補となる領域を検出してもよい。 また、 検出手段 7 4は、 ステ —ジ 1の悪性腫瘍の候補となる領域や、 ステージ 2の悪性腫瘍の候補となる 領域、 ステージ 3の悪性腫瘍の候補となる領域、 ステージ 4の悪性腫瘍の候 補となる領域を検出してもよい。 これにより、 判定手段 7 6は、 各領域に対 応付けられた確率に基づき、 悪性腫瘍の種類や進行度を判定することができ る。 ここで、 判定手段 7 6は、 各領域に対応付けられた確率だけでなく、 悪 性腫瘍の候補となる第一領域と他の組織である第二領域との位置関係に基づ いて、 第一領域がステージ 1の悪性腫瘍であるか否か等を判定すると、 腫瘍 のステージの判定精度を向上することができる。
[0141 ] また、 上記実施形態では、 出力手段 7 8は、 判定手段 7 6の判定結果を出 力する場合を説明したが、 検出手段 7 4が検出した領域の位置情報や、 当該 \¥0 2020/175356 30 卩（：170? 2020 /007011
領域に対応付けられている確率や、 その確率の種類 （悪性腫瘍の確率や良性 腫瘍の確率等） を、 例えば医師等が判断するためのレポート情報としてレポ —卜画面等に出力してもよい。 また、 出力手段 7 8は、 検出手段 7 4が検出 した領域、 及び/又は、 判定手段 7 6の判定結果に基づき、 医師をサポート するためのサボート情報を生成し、 ユーザに提案 （出力） してもよい。 これ により、 医師は、 診断結果や治療方法を効率的に決定することができる。 な お、 サボート情報としては、 検出手段 7 4が検出した領域、 及び/又は、 判 定手段 7 6の判定結果に応じた、 治療内容や方法、 治療に適した病院の場所 、 医師の氏名等が挙げられる。 また、 出力手段 7 8は、 判定手段 7 6の判定 結果と合わせて、 リアルタイムに、 レポート情報やサボート情報を出力して もよい。
[0142] 図 1 3は、 レポート画面 1 1 0の一例を示す概略図である。
[0143] 図 1 3に示すように、 レポート画面 1 1 0には、 例えば、 乳房医療画像 1
0 0と、 検出手段 7 4が検出した第一領域の場所や第一領域に対応付けられ た確率、 第一領域のサイズ、 判定手段 7 6が判定した判定結果等を含むレポ —卜情報 1 1 4が記述されている。 また、 レポート画面 1 1 0には、 判定結 果や検出手段 7 4が検出した領域の位置情報、 当該領域に対応付けられてい る確率等に基づき生成されたサボート情報 1 1 6が記述されている。
[0144] また、 本実施形態では、 判定手段 7 6が、 1枚の乳房医療画像 1 0 0から 第一領域が腫瘍であるか否かを判定する場合を説明したが、 複数枚の乳房医 療画像 1 0 0から第一領域が腫瘍であるか否かを最終的に判定してもよい。 例えば、 5枚の乳房医療画像 1 0 0のうち、 1枚の乳房医療画像 1 0 0にお いて第一領域が腫瘍であると判定し、 残り全ての乳房医療画像 1 0 0におい て第一領域が腫瘍でないと判定した場合は、 判定手段 7 6は、 最終的に第一 領域が腫瘍であると判定 （確定） してもよい。 この場合、 出力手段 7 8は、 最終的に判定した判定結果のみを出力することが好ましい。
[0145] また、 上記実施形態では、 検出手段 7 4が、 複数の学習済みモデルを利用 して第一領域及び第二領域を検出する場合を説明したが、 一つの学習済みモ \¥0 2020/175356 31 卩（：170? 2020 /007011
デルを利用して第一領域及び第二領域を検出してもよい。
[0146] ＜符号の説明＞
1 〇 学習装置、 2 4 記憶媒体、 3 0 画像診断補助装置 （コンピュータ ） 、 6 2 画像取得手段、 6 6 教師データ取得手段、 6 8 - --学習処理手段 、 7 2 取得手段、 7 4 検出手段、 7 6 判定手段、 7 8 - --出力手段

Claims

請求の範囲
[請求項 1 ] コンピユータを、
機械学習が行われた学習済みモデルで構築された学習器に人体の乳 房が写った乳房医療画像を入力することで、 当該乳房医療画像におい て腫瘍の候補となる第一領域と、 当該乳房医療画像において腫瘍以外 の他の組織の候補となる第二領域と、 を検出する検出手段、
前記検出手段にて検出された複数の領域の位置関係に基づいて、 前 記第一領域が腫瘍であるか否かを判定する判定手段、 前記判定手段の判定結果を出力する出力手段、
として機能させるためのプログラムを記憶した記憶媒体。
[請求項 2] 前記検出手段は、 前記第二領域として、 骨の候補となる領域と、 筋 肉の候補となる領域とを検出する、
請求項 1 に記載の記憶媒体。
[請求項 3] 前記検出手段は、 前記第一領域として、 悪性腫瘍である確率が対応 付けられた領域と、 良性腫瘍である確率が対応付けられた領域とを検 出し、
前記判定手段は、 前記第一領域が腫瘍であると検出された場合に、 前記検出手段にて検出された領域に対応付けられた確率に基づいて、 前記第一領域が良性腫瘍であるか又は悪性腫瘍であるかを判定する、 請求項 1又は 2に記載の記憶媒体。
[請求項 4] 前記検出手段は、 前記第一領域として、 B I - R A D S (Breast I mag i ng Report i ng And Data System) カテゴリーに従って定義される 各区分に属する腫瘍である確率が対応付けられた領域を検出し、 前記判定手段は、 前記第一領域が腫瘍であると検出された場合に、 前記検出手段にて検出された領域に対応付けられた確率に基づいて、 前記第一領域がどの区分に属する腫瘍であるかを判定する、
請求項 1又は 2に記載の記憶媒体。
[請求項 5] 前記学習済みモデルは、 腫瘍が写った複数の乳房医療画像から機械 \¥0 2020/175356 33 卩（：170? 2020 /007011
学習が行われた第一学習済みモデルと、 前記他の組織が写った複数の 乳房医療画像から機械学習が行われた第二学習済みモデルとを含み、 前記検出手段は、 前記乳房医療画像を前記第一学習済みモデルで構 築された学習器に入力することで前記第一領域を検出し、 且つ、 前記 乳房医療画像を前記第二学習済みモデルで構築された学習器に入力す ることで前記第二領域を検出する、
請求項 1乃至 4の何れか 1項に記載の記憶媒体。
[請求項 6] 前記第一領域は、 前記腫瘍である確率が第一閾値以上の確率が対応 付けられた領域であり、 前記第二領域は、 腫瘍以外の他の組織である 確率が第二閾値以上の確率が対応付けられた領域である、
請求項 1乃至 5の何れか 1項に記載の記憶媒体。
[請求項 7] 前記第二閾値は前記第一閾値よりも低い、
請求項 6に記載のプログラム。
[請求項 8] 前記出力手段は、 前記判定手段の判定結果に基づき、 医師をサボー 卜するためのサポート情報を出力する、
請求項 1乃至 7の何れか 1項に記載の記憶媒体。
[請求項 9] 機械学習が行われた学習済みモデルで構築された学習器に人体の乳 房が写った乳房医療画像を入力することで、 当該乳房医療画像におい て腫瘍の候補となる第一領域と、 当該乳房医療画像において腫瘍以外 の他の組織の候補となる第二領域と、 を検出する検出手段と、 前記検出手段にて検出された複数の領域に基づいて、 前記第一領域 が腫瘍であるか否かを判定する判定手段と、
前記判定手段の判定結果を出力する出力手段と、 を備える画像診断補助装置。
[請求項 10] 腫瘍が写った複数の第一乳房医療画像と、 当該腫瘍以外の他の組織 が写った複数の第二乳房医療画像とを取得する画像取得手段と、 ユーザの操作に基づき、 前記複数の第一乳房医療画像において腫瘍 の位置特定情報を第一教師データとして取得し、 且つ、 前記複数の第 \¥0 2020/175356 34 卩（：170? 2020 /007011
二乳房医療画像において前記他の組織の位置特定情報を教師データと して取得する教師データ取得手段と、
前記複数の第一乳房医療画像及び前記第一教師データの組を入力し て機械学習し、 所定の乳房医療画像において腫瘍の候補となる第一領 域を検出するための第一学習済みモデルを生成し、 且つ、 前記複数の 第二乳房医療画像及び前記第二教師データの組を入力して機械学習し 、 所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二 領域を検出するための第二学習済みモデルを生成する学習処理手段と \
を備える学習装置。
[請求項 1 1 ] 腫瘍が写った複数の第一乳房医療画像と、 当該腫瘍以外の他の組織 が写った複数の第二乳房医療画像とを取得するステップと、
ユーザの操作に基づき、 前記複数の第一乳房医療画像において腫瘍 の位置特定情報を第一教師データとして取得し、 且つ、 前記複数の第 二乳房医療画像において前記他の組織の位置特定情報を教師データと して取得するステップと、
前記複数の第一乳房医療画像及び前記第一教師データの組を入力し て機械学習し、 所定の乳房医療画像において腫瘍の候補となる第一領 域を検出するための第一学習済みモデルを生成し、 且つ、 前記複数の 第二乳房医療画像及び前記第二教師データの組を入力して機械学習し 、 所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二 領域を検出するための第二学習済みモデルを生成するステップと、 をコンピュータが実行する学習済みモデルの生成方法。
PCT/JP2020/007011 2019-02-27 2020-02-21 記憶媒体、画像診断補助装置、学習装置、及び、学習済みモデルの生成方法 Ceased WO2020175356A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021502177A JP7185242B2 (ja) 2019-02-27 2020-02-21 プログラム及び画像診断補助装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-034978 2019-02-27
JP2019034978 2019-02-27

Publications (1)

Publication Number Publication Date
WO2020175356A1 true WO2020175356A1 (ja) 2020-09-03

Family

ID=72238480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007011 Ceased WO2020175356A1 (ja) 2019-02-27 2020-02-21 記憶媒体、画像診断補助装置、学習装置、及び、学習済みモデルの生成方法

Country Status (2)

Country Link
JP (1) JP7185242B2 (ja)
WO (1) WO2020175356A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634246A (zh) * 2020-12-28 2021-04-09 深圳市人工智能与机器人研究院 一种口腔图像识别方法及相关设备
JP2022168985A (ja) * 2021-04-27 2022-11-09 株式会社日立製作所 医用画像処理装置及び医用画像処理方法
JP2022172565A (ja) * 2021-05-06 2022-11-17 コニカミノルタ株式会社 超音波画像診断装置、識別器変更方法および識別器変更プログラム
JP2022179966A (ja) * 2021-05-24 2022-12-06 コニカミノルタ株式会社 画像生成装置、画像生成方法、およびプログラム
CN116940963A (zh) * 2021-04-26 2023-10-24 欧姆龙株式会社 检测装置、检测装置的控制方法、由生成学习完毕模型的模型生成装置所进行的模型生成方法、信息处理程序以及记录介质
JP2024507290A (ja) * 2021-02-10 2024-02-16 ビームワークス・コーポレーション 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102711951B1 (ko) * 2021-12-10 2024-10-02 동국대학교 산학협력단 딥러닝 기반 유방 종양 검출 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154918A (ja) * 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
WO2018180386A1 (ja) * 2017-03-30 2018-10-04 国立研究開発法人産業技術総合研究所 超音波画像診断支援方法、およびシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154918A (ja) * 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
WO2018180386A1 (ja) * 2017-03-30 2018-10-04 国立研究開発法人産業技術総合研究所 超音波画像診断支援方法、およびシステム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634246B (zh) * 2020-12-28 2023-09-12 深圳市人工智能与机器人研究院 一种口腔图像识别方法及相关设备
CN112634246A (zh) * 2020-12-28 2021-04-09 深圳市人工智能与机器人研究院 一种口腔图像识别方法及相关设备
JP7736333B2 (ja) 2021-02-10 2025-09-09 ビームワークス・インコーポレイテッド 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝
JP2024507290A (ja) * 2021-02-10 2024-02-16 ビームワークス・コーポレーション 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝
CN116940963A (zh) * 2021-04-26 2023-10-24 欧姆龙株式会社 检测装置、检测装置的控制方法、由生成学习完毕模型的模型生成装置所进行的模型生成方法、信息处理程序以及记录介质
JP7701184B2 (ja) 2021-04-27 2025-07-01 株式会社日立製作所 医用画像処理装置及び医用画像処理方法
JP2022168985A (ja) * 2021-04-27 2022-11-09 株式会社日立製作所 医用画像処理装置及び医用画像処理方法
JP2022172565A (ja) * 2021-05-06 2022-11-17 コニカミノルタ株式会社 超音波画像診断装置、識別器変更方法および識別器変更プログラム
JP2025188308A (ja) * 2021-05-06 2025-12-25 コニカミノルタ株式会社 超音波画像診断装置、識別器変更方法および識別器変更プログラム
US12514538B2 (en) 2021-05-06 2026-01-06 Konica Minolta, Inc. Ultrasonic image diagnostic apparatus, identifier changing method, and identifier changing program
JP7806396B2 (ja) 2021-05-06 2026-01-27 コニカミノルタ株式会社 超音波画像診断装置、識別器変更方法および識別器変更プログラム
JP2022179966A (ja) * 2021-05-24 2022-12-06 コニカミノルタ株式会社 画像生成装置、画像生成方法、およびプログラム
JP7707652B2 (ja) 2021-05-24 2025-07-15 コニカミノルタ株式会社 画像生成装置、画像生成方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2020175356A1 (ja) 2020-09-03
JP7185242B2 (ja) 2022-12-07

Similar Documents

Publication Publication Date Title
Baloescu et al. Automated lung ultrasound B-line assessment using a deep learning algorithm
CN112561908B (zh) 乳腺图像病灶匹配方法、装置及存储介质
JP7185242B2 (ja) プログラム及び画像診断補助装置
CN108230300A (zh) 用于处理超声图像的装置和方法
CN109741812B (zh) 发送医学图像的方法以及执行所述方法的医学成像设备
KR20200109093A (ko) 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
CN111260606A (zh) 诊断装置和诊断方法
CN110381846A (zh) 血管阻塞诊断方法、设备及系统
JPWO2020027228A1 (ja) 診断支援システム及び診断支援方法
US20230062672A1 (en) Ultrasonic diagnostic apparatus and method for operating same
EP4453864B1 (en) Automated ultrasound imaging analysis and feedback
US20240268792A1 (en) Systems and Methods for User-Assisted Acquisition of Ultrasound Images
JP2021166578A (ja) 超音波診断装置及び超音波診断システム
CN114170241B (zh) 乳腺超声图像分割方法及设备
JP2025188308A (ja) 超音波画像診断装置、識別器変更方法および識別器変更プログラム
US20250352169A1 (en) Ultrasonic diagnostic apparatus and method of controlling ultrasonic diagnostic apparatus
JP2026015628A (ja) 学習用データセットの生成方法
US12062171B2 (en) Ultrasonic diagnostic device and storage medium
EP3524167B1 (en) Ultrasound diagnosis apparatus and method of displaying ultrasound image
JP7719096B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024127992A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP7742875B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
US20260000382A1 (en) Ultrasonic diagnostic apparatus and method of controlling ultrasonic diagnostic apparatus
JP2024178503A (ja) 超音波診断装置、データ管理システム、データ推定方法及びプログラム
Vukovic Automatic diagnostic aid for lung ultrasound imaging using advanced artificial intelligence techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763866

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021502177

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20763866

Country of ref document: EP

Kind code of ref document: A1