WO2021153648A1 - 記憶媒体、診断支援装置及び診断支援方法 - Google Patents

記憶媒体、診断支援装置及び診断支援方法 Download PDF

Info

Publication number
WO2021153648A1
WO2021153648A1 PCT/JP2021/002960 JP2021002960W WO2021153648A1 WO 2021153648 A1 WO2021153648 A1 WO 2021153648A1 JP 2021002960 W JP2021002960 W JP 2021002960W WO 2021153648 A1 WO2021153648 A1 WO 2021153648A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognizer
inspection
recognizers
image
recognition
Prior art date
Application number
PCT/JP2021/002960
Other languages
English (en)
French (fr)
Inventor
哲 林田
紀行 二木
塩田　靖彦
Original Assignee
学校法人慶應義塾
株式会社フィックスターズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人慶應義塾, 株式会社フィックスターズ filed Critical 学校法人慶應義塾
Priority to US17/796,694 priority Critical patent/US20230057933A1/en
Publication of WO2021153648A1 publication Critical patent/WO2021153648A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a storage medium, a diagnostic support device, and a diagnostic support method.
  • CAD Computer-Assisted Diagnosis / Detection
  • Patent Document 1 discloses a device that determines whether or not there is a specific lesion within the determination range of a breast image by using a neural network that has been machine-learned by deep learning.
  • a neural network is constructed by combining various network structures and a huge number of learning parameters, it can function as an image recognizer with a wide variety of characteristics. Therefore, when recognition processing is always performed using a uniform neural network as in the device disclosed in Patent Document 1, the performance (for example, recognition accuracy, processing speed, etc.) is sufficiently sufficient depending on the usage status of the CAD function. It may not be possible to demonstrate it.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a storage medium, a diagnostic support device, and a diagnostic support method capable of presenting a recognition result suitable for a usage situation of a CAD function.
  • the storage medium in the first invention is a projection image or a cross section of a subject's breast using one or a plurality of computers and one or more recognizers among a plurality of recognizers including a neural network.
  • the plurality of recognizers include a first recognizer that outputs a value indicating the category of the lesion site and a second recognizer that outputs a value indicating the properties of the lesion site, and the selection means is the above-mentioned.
  • the first recognizer may be selected when the type of inspection specified by the inspection information is a screen inspection, while the second recognizer may be selected when the type of inspection is a detailed inspection.
  • the plurality of recognizers include a first recognizer that outputs a value indicating the category of the lesion site and a second recognizer that outputs a value indicating the properties of the lesion site, and the selection means is the above-mentioned.
  • the first recognizer is selected when the display performance of the display means for displaying the breast image, which is the display means specified by the examination information, is relatively low, while the display performance of the display means is relatively high.
  • the second recognizer may be selected.
  • the first recognizer may output a value for distinguishing the BI-RADS category
  • the second recognizer may output a value for distinguishing between benign and malignant.
  • the plurality of recognizers include a first recognizer and a second recognizer having a relatively high sensitivity or a relatively low specificity as compared with the first recognizer, and the selection means is ,
  • the first recognizer may be selected when the type of inspection specified by the inspection information is a screen inspection, while the second recognizer may be selected when the type of inspection is a detailed inspection. ..
  • the plurality of recognizers include a first recognizer and a second recognizer having a relatively high sensitivity or a relatively low specificity as compared with the first recognizer, and the selection means is ,
  • the first recognizer is selected when the skill level of interpretation by a doctor or a test engineer (hereinafter, also simply referred to as “doctor or the like”) specified by the test information is relatively low, while the skill level of the interpretation is selected.
  • the second recognizer may be selected when is relatively high.
  • the plurality of recognizers include two or more recognizers that have been machine-learned using two or more populations including test images collected for each region, and the selection means is specified by the inspection information.
  • the recognizer corresponding to the area where the inspection is performed may be selected.
  • the plurality of recognizers include a first recognizer and a second recognizer whose calculation amount or calculation time of the recognition process is relatively smaller than that of the first recognizer.
  • the first recognizer is selected when the type of the breast image specified by the inspection information is a still image, while the second recognizer is selected when the type of the breast image is a moving image. You may.
  • diagnosis support program displays the one or more computers with the recognizer information indicating the type or characteristic of the recognizer selected by the selection means together with the result information indicating the recognition result. It may further function as a display control means for controlling display.
  • the second diagnostic support device of the present invention is a recognition means for recognizing a breast image showing a projected image or a cross-sectional image of a subject's breast by using a plurality of recognizers including a neural network.
  • one or a plurality of computers use a plurality of recognizers including a neural network to show a projected image or a cross-sectional image of a subject's breast.
  • Recognition that the recognizer used for the recognition process or the recognition result by the recognition process should be output from the plurality of recognizers according to the recognition step for performing the recognition process and the inspection information related to the inspection of the subject. Perform the selection steps to select the vessel.
  • FIG. 1 It is an overall block diagram of the medical image diagnosis system in one Embodiment of this invention. It is a figure which shows an example of the hardware configuration of the diagnostic support apparatus in FIG. It is a figure which shows an example of the functional block of the diagnosis support apparatus in FIG. 1 and FIG. It is a figure which shows an example of the processing flow of the recognizer in FIG. It is a figure which shows an example of the functional block of the machine learning server in FIG. It is a figure which shows an example of the diagnosis screen of a subject. It is a schematic diagram which shows the generation method of the recognizer which the definition of an output value is different. It is a figure which shows the 1st example of the selection table which describes the selection rule of a recognizer.
  • FIG. 1 is an overall configuration diagram of a medical image diagnosis system 10 in which a diagnosis support device 18 according to an embodiment of the present invention is incorporated.
  • the medical image diagnosis system 10 is configured to be able to provide a computer-aided diagnosis / detection function (that is, a CAD function) to a doctor or the like who performs medical work in a medical facility.
  • a computer-aided diagnosis / detection function that is, a CAD function
  • the medical image diagnosis system 10 includes image capturing devices 12 and 14, an image server 16, a diagnosis support device 18, a diagnosis terminal 20, a relay device 22, and a machine learning server 24. Each device except the machine learning server 24 is configured to be able to communicate with each other via the hospital network NT1.
  • the imaging devices 12 and 14 are devices that capture a breast image 54 (FIG. 3) showing a projected image or a cross-sectional image of the subject's breast.
  • the type of imaging mode may be, for example, ultrasonic waves, simple X-rays, X-ray CT (Computed Tomography), MRI (Magnetic Resonance Imaging), tomosynthesis, or optical CT.
  • the on-demand type CAD function is provided by the cooperation of the image server 16, the diagnosis support device 18, and the diagnosis terminal 20.
  • the real-time CAD function is provided by operating the image capturing device 14 alone.
  • the image server 16 is a file server that manages the breast images 54 acquired by the image capturing devices 12 and 14 in association with the examination information 56 and the result information 58, which will be described later.
  • the diagnosis support device 18 is a data processing server that performs various recognition processes on the breast image 54 and generates various information for supporting the diagnosis of a doctor or the like.
  • the diagnostic terminal 20 is a terminal device for a doctor or the like to perform image interpretation, and includes a display means 26 including a display device and a display control means 28 for performing display control on the display means 26.
  • the machine learning server 24 is a data processing server configured to be able to communicate with the diagnostic support device 18 and the image capturing device 14 via the out-of-hospital network NT2 and the relay device 22.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the diagnostic support device 18 in FIG.
  • the diagnosis support device 18 includes a communication I / F 30, a processor 32, a memory 34, and a storage device 36.
  • the communication I / F30 is an interface for transmitting and receiving electric signals to and from an external device.
  • the diagnostic support device 18 can receive, for example, the breast image 54 (FIG. 3) which is the target of the recognition process from the image server 16, and the result information 58 (FIG. 3) showing the recognition result of the breast image 54. Can be transmitted to the image server 16.
  • the processor 32 may be a general-purpose processor including a CPU (Central Processing Unit) or a dedicated processor including a GPU (Graphics Processing Unit) or FPGA (Field Programmable Gate Array).
  • the memory 34 is a non-transient storage medium that can be read by a computer, and stores programs and data necessary for the processor 32 to control each component.
  • the storage device 36 is a non-transient storage medium including, for example, a hard disk drive (HDD: Hard Disk Drive) or a solid state drive (SSD: Solid State Drive).
  • FIG. 3 is a diagram showing an example of a functional block of the diagnostic support device 18 in FIGS. 1 and 2.
  • the diagnosis support device 18 functions as the acquisition means 40, the recognition means 42, the selection means 44, the transmission means 46, and the storage means 48 by reading and executing the diagnosis support program stored in the memory 34.
  • the acquisition means 40 is a means realized by the communication I / F 30 and the processor 32 of FIG.
  • the recognition means 42 and the selection means 44 are means realized by the processor 32 of FIG. 2, respectively.
  • the transmission means 46 is a means realized by the communication I / F 30 and the processor 32 of FIG.
  • the storage means 48 is a means realized by the storage device 36 of FIG.
  • the acquisition means 40 acquires the breast image 54 and the examination information 56, which are the targets of the recognition process, by communicating with the image server 16.
  • the acquisition means 40 may acquire the examination information 56 stored in a device other than the image server 16 (for example, an in-hospital server that manages various information about a subject, a medical worker, or a medical device). Further, the acquisition means 40 acquires one or more groups of learning parameter groups 52 by communicating with the machine learning server 24.
  • the recognition means 42 outputs the recognition result of the breast image 54 by performing various recognition processes on the breast image 54 acquired by the acquisition means 40. Further, the recognition means 42 functions as a plurality of recognizers 50 by setting a plurality of groups of learning parameter groups 52.
  • the plurality of recognizers 50 include, for example, two or more recognizers having different at least one of the definition of the output value, the recognition performance, the collection area of the test image 71 (FIG. 5), the calculation amount, and the calculation time. ..
  • the selection means 44 selects one recognizer 50 used for the recognition process from the plurality of recognizers 50 according to the examination information 56 associated with the breast image 54. Alternatively, the selection means 44 selects one recognizer 50 to output the recognition result by the recognition process from the plurality of recognizers 50 according to the inspection information 56 described above.
  • the transmission means 46 transmits the result information 58 output from the recognition means 42 to the outside.
  • the transmission means 46 receives the breast image 54 together with the management ID from the image server 16, the transmission means 46 transmits the result information 58 to which the management ID is given to the image server 16.
  • the storage means 48 stores a plurality of groups of learning parameter groups 52, breast images 54, examination information 56, and result information 58.
  • the learning parameter group 52 is a set of learning parameters for determining the calculation rule of the recognizer 50.
  • the breast image 54 comprises one or more images and may be a still image or a moving image.
  • the test information 56 is information related to the test of the subject, for example, the test ID, the physical information of the test subject (for example, age, gender, height, weight, etc.), the type of test, the type of display means 26, and the like.
  • the skill level of interpretation by a doctor or the like, the area where the examination is performed, the type of breast image 54, and the like are included.
  • the result information 58 is information indicating the recognition result by the recognition means 42, and includes, for example, the presence / absence, number, type (for example, tumor), position, property, accuracy, and the like of the lesion site.
  • FIG. 4 is a diagram showing an example of the processing flow of the recognizer 50 in FIG.
  • the recognizer 50 includes a neural network.
  • the recognizer 50 may be composed only of a neural network.
  • This neural network is configured to be able to construct an "object detection model” that detects an object in an image through machine learning (hereinafter, also simply referred to as "learning”).
  • the type of object detection model is a "two-stage detector” in which a region of interest (ROI) extractor is provided separately from the object detector (for example, Faster R-CNN or its derivative model). It may be a "one-stage detector” in which an extractor and a detector are integrally configured (for example, YOLO, SSD, M2Det, a derivative model thereof, etc.).
  • the recognizer 50 includes a feature map generation unit 60, a tumor detection unit 62, and a data interpretation unit 64 in order from the upstream side to the downstream side.
  • the feature map generation unit 60 and the tumor detection unit 62 are the targets of the learning process
  • the data interpretation unit 64 is not the target of the learning process.
  • the feature map generation unit 60 repeatedly executes a convolution calculation and a pooling calculation (so-called CNN calculation) on the breast image 54 to generate a feature map showing the morphological features of the breast image 54 for each channel.
  • the CNN calculation described above can be performed by various network structures including VGG16, ResNet.
  • the tumor detection unit 62 detects the presence / absence and position of the tumor region T in the entire region 66 of the breast image 54 by using the feature map for each channel. For example, in the case of the "YOLO" model, as the detection result, output data in tensor format showing the accuracy for each class (or the probability that the total of the label values is normalized to 1) is obtained.
  • the data interpretation unit 64 acquires the recognition result of the breast image 54 (for example, the presence / absence, position, or property of the tumor region T) by interpreting the output data from the tumor detection unit 62.
  • the position of the tumor region T may be a representative position of the tumor region T (for example, the center of gravity), or may be a position with respect to the rectangular region of interest 68 circumscribing the tumor region T.
  • FIG. 5 is a functional block diagram related to the learning process of the machine learning server 24.
  • the machine learning server 24 creates one or more groups of learning parameter groups 52 by performing learning processing on the learning device 74 using the teacher data 70 prepared in advance.
  • the learning device 74 and the learning processing means 76 are schematically shown in the configuration of the machine learning server 24.
  • the calculation rule of the learning device 74 is determined by each value of the learning parameters constituting the learning parameter group 52.
  • the learning parameter group 52 includes, for example, a coefficient describing an activation function of an arithmetic unit, a "variable parameter” including a coupling strength between arithmetic units, and a "fixed parameter” (so-called hyperparameter) for specifying a network structure. Consists of. Examples of hyperparameters include the number of arithmetic units constituting each layer, the number of intermediate layers, and the type of object detection model.
  • the learning processing means 76 performs learning processing on the learning device 74 (that is, optimization processing of the learning parameter group 52) using a plurality of sets of teacher data 70.
  • the learning processing means 76 includes a data acquisition unit 78, an objective function calculation unit 80, a parameter update unit 82, and a convergence determination unit 84.
  • the data acquisition unit 78 acquires one set or a plurality of sets of teacher data 70 from the database 86 prepared in advance.
  • the teacher data 70 includes a data set of a test image 71 and correct answer information 72.
  • the test image 71 may be a clinical image or a phantom image, or may be a pseudo image generated by using a generative model including a GAN (Generative Adversarial Network).
  • the correct answer information 72 includes the label value and the position information of the boundary box.
  • the objective function calculation unit 80 calculates an objective function including an error between the output information of the learner 74 with respect to the test image 71 of the teacher data 70 and the correct answer information 72 of the teacher data 70 (hereinafter referred to as a learning error).
  • This learning error may be an L1 norm function that returns the absolute value of the difference, or may be an L2 norm function that returns the squared value of the difference. Further, this learning error may be an error in one set of teacher data 70 (in the case of online learning) or an error in a plurality of sets of teacher data 70 (in the case of batch learning or mini-batch learning). ..
  • the parameter update unit 82 updates the learning parameter group 52 (variable parameters described above) so that the objective function calculated by the objective function calculation unit 80 becomes smaller.
  • various methods including, for example, gradient descent, stochastic gradient descent, momentum, and RMSprop may be used.
  • the convergence determination unit 84 determines whether or not a predetermined convergence condition is satisfied at the time of the current learning.
  • a predetermined convergence condition [1] the objective function is sufficiently small, [2] the update amount of the objective function is sufficiently small, and [3] the number of repetitions of learning has reached the upper limit. , Etc. can be mentioned.
  • the medical image diagnosis system 10 incorporating the diagnosis support device 18 according to the embodiment of the present invention is configured as described above. Subsequently, the overall operation of the medical image diagnosis system 10 will be described with reference to FIGS. 1 to 3 and 6, and the selection operation of the recognizer 50 by the diagnosis support device 18 will be described with reference to FIGS. 7A to 10B.
  • the machine learning server 24 generates the learning parameter group 52 through new learning or additional learning. Then, the machine learning server 24 transmits the learning parameter group 52 stored in the own device to the request destination in response to the request of the diagnosis support device 18 or the image capturing device 14. As a result, the diagnostic support device 18 or the image capturing device 14 can use the latest version of the recognizer 50 by acquiring and storing the learning parameter group 52 from the machine learning server 24.
  • the doctor or the like performs the work of photographing the breast of the subject by using the image taking apparatus 12.
  • the imaging apparatus 12 transmits the breast image 54 generated by the imaging apparatus 12 to the image server 16 in a state of being associated with the subject ID and the examination information 56.
  • the image server 16 stores a data set (hereinafter, diagnostic information) including the breast image 54 and the examination information 56.
  • diagnostic information does not include the result information 58.
  • the diagnostic support device 18 periodically or irregularly inquires of the image server 16 whether or not there is an unprocessed breast image 54.
  • the acquisition means 40 of the diagnosis support device 18 acquires the corresponding diagnosis information and its management ID from the image server 16.
  • the selection means 44 recognizes one used in the recognition process from among the plurality of recognizers 50 available to the recognition means 42, depending on whether or not the test information 56 included in the diagnostic information satisfies a predetermined condition. Select vessel 50. For example, when the selection means 44 reads out the corresponding learning parameter group 52 from the storage means 48 and supplies it to the recognition means 42, the selected recognizer 50 becomes available.
  • the recognition means 42 performs recognition processing of the breast image 54 using the selected recognizer 50, and outputs result information 58 indicating the recognition result of the breast image 54.
  • the transmission means 46 transmits the obtained result information 58 to the image server 16 in a state of being associated with the corresponding management ID.
  • the image server 16 stores diagnostic information including the breast image 54, the examination information 56, and the result information 58.
  • the doctor or the like uses the diagnosis terminal 20 to perform an operation for requesting the display of the diagnosis screen 100 (FIG. 6) of the subject to be diagnosed. Then, the diagnostic terminal 20 transmits a signal (that is, a request signal) to the effect that the diagnostic information corresponding to the designated subject is requested to the image server 16. In response to the request signal from the diagnostic terminal 20, the image server 16 transmits diagnostic information including the breast image 54, the examination information 56, and the result information 58 (FIG. 3) to the diagnostic terminal 20.
  • a signal that is, a request signal
  • the image server 16 transmits diagnostic information including the breast image 54, the examination information 56, and the result information 58 (FIG. 3) to the diagnostic terminal 20.
  • the display control means 28 of the diagnostic terminal 20 When the display control means 28 of the diagnostic terminal 20 receives the diagnostic information from the image server 16, the display control means 28 generates the display data of the diagnostic screen 100 using the diagnostic information, and then supplies the display data to the display means 26. As a result, the diagnostic screen 100 of FIG. 6 is displayed in the display area (not shown) of the display means 26.
  • an inspection information column 102 As shown in FIG. 6, an inspection information column 102, an image column 104, a thumbnail column 106, a processing information column 108, and an inspection result column 110 are provided on the diagnosis screen 100.
  • inspection information 56 including the name of the subject and the image ID is displayed.
  • image field 104 one designated breast image 54 is displayed. Marks 112 and 114 indicating rounded rectangular frames are superimposed on the breast image 54 at positions surrounding the respective tumors.
  • the thumbnail field 106 is configured so that one of a plurality of breast images 54 to be displayed in the image field 104 can be selected through a UI (user interface).
  • the recognizer information 116 indicating the type or characteristic of the recognizer 50 and the explanatory information 118 for explaining the meanings of the marks 112 and 114 are displayed.
  • the recognizer information 116 includes, for example, the name of the recognizer 50, the name of the object detection model, the characteristics of the recognition characteristics (for example, high sensitivity type, high specificity type, and balanced type), and the recommended user name (for example, for beginners). , For experts) etc. are included.
  • the result information 58 is displayed in such a manner that a doctor or the like can grasp the recognition result by the recognition means 42 at a glance.
  • the result information 58 is visualized as marks 112 and 114 in the image field 104 and explanatory information 118 in the processing information field 108.
  • the recognizer information 116 is displayed together with the result information 58, the doctor or the like can grasp the displayed recognition result in association with the type or characteristic of the recognizer 50.
  • the doctor or the like interprets the breast image 54 while visually recognizing the image field 104 and the processing information field 108 on the diagnosis screen 100, and inputs findings and comments regarding the test result in the test result field 110. In this way, the diagnosis support operation by the medical image diagnosis system 10 is completed.
  • the recognition means 42 performs the recognition process using only the recognizer 50 selected by the selection means 44, but instead of this, a plurality of recognition means 42 are used for the same breast image 54.
  • the recognition process may be performed to obtain each recognition result.
  • the selection means 44 may select the recognizer 50 to output the recognition result by the recognition process from the plurality of recognizers 50.
  • the "definition of the output value” means a method of expressing the lesion site to be detected, and includes, for example, the type, property, or category of the lesion site.
  • Specific examples of the types include tumors, microcalcifications, and the like.
  • Specific examples of the properties include benign and malignant.
  • Examples of the categories include categories 1 to 5 of the BI-RADS (Breast Imaging Reporting And Data System) classification, subcategories 4A / 4B / 4C, and the like.
  • FIG. 7A is a schematic diagram showing a method of generating the recognizer 50 having a different definition of the output value.
  • binary labels A and B having different label value definitions are prepared, and then trained by a learner 74 having the same network structure. ..
  • label A a label value of "0" indicates that the "category is 3 or less" in the BI-RADS classification, and a label value of "1" is “category is 4 or more" in the BI-RADS classification. Show that.
  • the label value of "0” indicates that it is "benign”
  • the label value of "1” indicates that it is "malignant”.
  • FIG. 7B shows a first example of a selection table that describes the selection rule of the recognizer 50.
  • the inspection type is "screen inspection”
  • the recognizer 50 that outputs the category determination value of "BI-RADS” is selected.
  • the type of inspection is "detailed inspection”
  • the recognizer 50 that outputs the property determination value of "benign / malignant” is selected. This will support doctors and others in making accurate judgments and decisions during detailed examinations.
  • the type of display means 26 may be used instead of the type of inspection.
  • the recognizer 50 that outputs the category determination value of "BI-RADS” is selected.
  • the recognizer 50 that outputs the property determination value of "benign / malignant" is selected.
  • the classification of the first and second groups may be performed in advance from various viewpoints such as the model of the display means 26, the management state, the product specifications, and the application (for example, for interpretation / electronic medical record), and the brightness.
  • -It may be performed by a threshold value determination using a quantitative value including a resolution.
  • recognition performance In the second example of the selection operation, it is assumed that the plurality of recognizers 50 mounted on the recognition means 42 include two or more recognizers 50 having different recognition performances. This "recognition performance" is evaluated by sensitivity, specificity, AUC (Area Under the Curve) score of ROC (Receiver Operating Characteristic) curve, and the like.
  • FIG. 8A is a schematic diagram showing a method of generating recognizers 50 having different recognition performances.
  • the learners 74 having the same network structure are trained respectively.
  • the learning parameter group 52a is generated through learning using the teacher data group 90a constituting the population A.
  • the learning parameter group 52b is generated through learning using the teacher data group 90b constituting the population B.
  • the populations A and B may have different sample distributions or sample numbers, may differ in the distribution of positive and negative cases, and may differ in the distribution of training data and verification data.
  • FIG. 8B shows a second example of a selection table that describes the selection rule of the recognizer 50.
  • the type of inspection is "detailed inspection”
  • the recognizer 50 having higher "sensitivity” than the screen inspection is selected. This reduces the false-negative rate and reduces the likelihood of falsely diagnosing a sick "yes” subject as “not” sick.
  • the type of inspection is "screen inspection”
  • the recognizer 50 having a higher "specificity” than the detailed inspection is selected. This reduces the false positive rate and reduces the likelihood of falsely diagnosing a subject who is "not” ill as "yes”.
  • the skill level of interpretation by a doctor or the like may be used together with or separately from the type of examination.
  • the type of examination is “screen examination” and belongs to the "first group” in which the skill level of doctors and the like is relatively low
  • the above-mentioned recognizer 50 having high “specificity” is selected.
  • the type of examination is “screen examination” and belongs to the "second group” in which the skill level of doctors and the like is relatively high
  • the classification of the 1st and 2nd groups may be performed in advance from various viewpoints such as the degree of experience of doctors, job titles, qualifications, age, etc. You may be broken.
  • the plurality of recognizers 50 mounted on the recognition means 42 have two or more recognitions trained using two or more populations including the test images 71 collected in different regions. It is assumed that the vessel 50 is included.
  • This "collection area” means an area where the physique or food culture of the subject is statistically significantly different, and is classified by, for example, a national community, a country, a prefecture, a state, or the like.
  • FIG. 9A is a schematic diagram showing a method of generating the recognizer 50 in which the collection area of the test image 71 is different. For example, after constructing the databases 86a and 86b accumulating the teacher data 70 including the test image 71 for each region, the learners 74 having the same network structure are trained respectively. For example, the learning parameter group 52a is generated through learning using the database 86a. On the other hand, the learning parameter group 52b is generated through learning using the database 86b.
  • FIG. 9B shows a third example of a selection table that describes the selection rule of the recognizer 50.
  • the inspection area is "area A”
  • the recognizer 50 in which the learning parameter group 52a corresponding to the area A is set is selected.
  • the inspection implementation area is "area B”
  • the recognizer 50 in which the learning parameter group 52b corresponding to the area B is set is selected.
  • FIG. 10A is a schematic diagram showing a method of generating a recognizer 50 having a different calculation time or calculation amount.
  • the teacher data 70 stored in the database 86 is used to train the learners 74a and 74b having different network structures, respectively.
  • the learning parameter group 52a is a parameter set suitable for the learning device 74a
  • the learning parameter group 52b is a parameter set suitable for the learning device 74b.
  • the learners 74a and 74b may have different hyperparameters for specifying the network structure, or may have different types of object detection models.
  • FIG. 10B shows a fourth example of a selection table that describes the selection rule of the recognizer 50.
  • the recognizer 50 having a longer calculation time (or a larger amount of calculation) than the "moving image” is selected.
  • the recognizer 50 having a shorter calculation time (or less calculation amount) than the "still image” is selected.
  • the above-mentioned first to fourth examples may be combined so as not to contradict each other. That is, the recognizer 50 pays attention to two or more features of [1] definition of output value, [2] recognition performance, [3] test image collection area, and [4] calculation amount / calculation time. May be selected.
  • the diagnostic support device 18 uses one or more recognizers 50 from the plurality of recognizers 50 configured including the neural network to obtain a projected image or a cross-sectional image of the subject's breast.
  • the recognition means 42 that performs the recognition process of the breast image 54 shown and the test information 56 related to the test of the subject
  • the recognition result of the recognition device 50 used for the recognition process or the recognition process is selected from among the plurality of recognizers 50.
  • a selection means 44 for selecting the recognizer 50 to output the is provided.
  • one or a plurality of computers use a plurality of recognizers 50 configured including a neural network to show a projected image or a cross-sectional image of the breast of a subject 54.
  • the recognition process of the above is performed, and the recognizer 50 used for the recognition process or the recognizer 50 to output the recognition result by the recognition process is selected from among the plurality of recognizers 50 according to the inspection information 56 related to the inspection of the subject. select.
  • the selection means 44 uses the inspection information.
  • the first recognizer may be selected when the type of inspection specified by 56 is a screen inspection, while the second recognizer may be selected when the type of inspection is a close inspection. This provides support for objective judgments by doctors and the like during screen examinations, and support for accurate judgments and decision-making by doctors and the like during detailed examinations.
  • the selection means 44 uses the inspection information.
  • the first recognizer is selected when the display means 26 specified by 56 and the display means 26 for displaying the breast image 54 has a relatively low display performance, while the display means 26 has a relatively high display performance.
  • a second recognizer may be selected. This will support the objective judgments made by doctors, etc. in situations where the accuracy of screen examinations is high, and the accurate judgments and intentions of doctors, etc. in situations where the accuracy of conducting detailed examinations is high. Helps make decisions.
  • the first recognizer may output a value that distinguishes the BI-RADS category
  • the second recognizer may output a value that distinguishes between benign and malignant.
  • the selection means 44 may be used.
  • the first recognizer may be selected when the type of inspection specified by the inspection information 56 is a screen inspection, while the second recognizer may be selected when the type of inspection is a detailed inspection.
  • the selection means 44 may be used. Even if the first recognizer is selected when the skill level of interpretation by a doctor or the like specified by the examination information 56 is relatively low, the second recognizer is selected when the skill level of image interpretation is relatively high. good. As a result, it becomes easy to suppress misdiagnosis that a doctor or the like having a low skill in interpreting images determines as a false positive at the time of screen inspection.
  • the selection means 44 is specified by the inspection information 56.
  • the recognizer 50 corresponding to the area where the inspection is performed may be selected.
  • the recognition process suitable for the subject in the implementation area can be executed, and the recognition accuracy is improved accordingly.
  • the selection means 44 uses the inspection information 56.
  • the first recognizer may be selected when the type of the specified breast image 54 is a still image
  • the second recognizer may be selected when the type of the breast image 54 is a moving image.
  • diagnosis support device 18 or the diagnosis terminal 20 causes the display means 26 to display the recognizer information 116 indicating the type or characteristic of the recognizer 50 selected by the selection means 44 together with the result information 58 indicating the recognition result.
  • a display control means 28 for controlling may be further provided. Thereby, the doctor or the like can grasp the displayed result information 58 in association with the type or characteristic of the recognizer 50 by visually recognizing the recognizer information 116.
  • the breast is taken as an example of the imaging site of the subject, but it can be applied to various human body sites other than the breast.
  • the tumor has been described as an example of the lesion site, other lesions including microcalcification may be used.
  • the recognizer 50 may output recognition results for a plurality of classification classes. Further, in the above-described embodiment, the recognizer 50 outputs the result of BI-RADS classification as a binary value, but instead of this, the label for each category (1 to 5) or each subcategory (4A to 4C). You may output the value.
  • the selection means 44 selects one recognizer 50 from the plurality of recognizers 50, but instead of this, two or more recognizers 50 may be selected at the same time.
  • the display control means 28 may display the obtained two or more recognition results on the display means 26 at the same time, or cause the display means 26 to display one recognition result obtained by synthesizing the two or more recognition results. May be good.
  • the selection means 44 selects the recognizer 50 using at least one of the type of examination, the type of display means 26, the skill level of interpretation, the area where the examination is performed, and the type of breast image 54.
  • the inspection information 56 on which the selection is based is not limited to this.
  • the selection means 44 may select the recognizer 50 according to the age or weight classification of the subject by using the physical information of the subject.
  • the recognizer 50 is composed of a single neural network, but instead, it may be composed of two or three or more neural networks having different functions.
  • FIG. 11 is a diagram showing a processing flow of the recognizer 140 in the modified example.
  • the recognizer 140 includes a tumor recognizer 142, another tissue recognizer 144, and a property determination unit 146.
  • the "other tissue” includes bone, muscle, mammary gland, fat and the like.
  • the tumor recognizer 142 is a recognizer that inputs the breast image 54 and outputs the tumor recognition result for the breast image 54.
  • the tumor recognizer 142 is configured to include a neural network.
  • a list including the position information of the tumor region T and the probability of benign / malignant (hereinafter referred to as “tumor position list L1”) is output.
  • the other tissue recognizer 144 is a recognizer that inputs the breast image 54 and outputs the recognition result of the other tissue with respect to the breast image 54.
  • the other tissue recognizer 144 is configured to include a neural network.
  • a list including the position information and the probability of the other organization area (hereinafter, referred to as "other organization position list L2") is output.
  • the property determination unit 146 identifies the positional relationship between a plurality of regions using the tumor position list L1 and the other tissue position list L2, and based on the positional relationship, the tumor property, for example, benign or malignant. Is determined. Specifically, when the tumor region T is on the side farther from the body surface than the bone region or the muscle region, it is determined that the tumor region T does not correspond to a tumor. When the plurality of tumor regions T do not overlap, the tumor is determined to be benign / malignant by using the probability output from the tumor recognizer 142 as it is. When two or more tumor regions T overlap at least partially, the maximum value of the two or more probabilities output from the tumor recognizer 142 is obtained, and the maximum value of this probability is used to make the tumor benign / malignant. Is determined to be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

ＣＡＤ（Computer-Assisted Diagnosis/Detection）機能の使用状況に適した認識結果を提示可能な記憶媒体、診断支援装置及び診断支援方法を提供する。診断支援装置（１８）が、ニューラルネットワークを含んで構成される複数の認識器（５０）の中から１以上の認識器（５０）を用いて、被検者の乳房の投影像又は断面像を示す乳房画像（５４）の認識処理を行い、被検者の検査に関する検査情報（５６）に応じて、複数の認識器（５０）の中から、認識処理に用いられる認識器（５０）又は認識処理による認識結果を出力すべき認識器（５０）を選択する。

Description

記憶媒体、診断支援装置及び診断支援方法
　本発明は、記憶媒体、診断支援装置及び診断支援方法に関する。
　従来から、医療分野において、コンピュータ支援診断／検出（以下、ＣＡＤ：Computer-Assisted Diagnosis/Detection）に関する技術が知られている。
　特許文献１には、ディープラーニングにより機械学習がなされたニューラルネットワークを用いて、乳房画像の判定範囲内に特定の病変があるか否かを判定する装置が開示されている。
特開２０１９－０３７６９２号公報
　ところで、ニューラルネットワークは、様々なネットワーク構造や膨大な数の学習パラメータを組み合わせて構築されるので、多種多様な特性が付与された画像認識器として機能し得る。よって、特許文献１に開示される装置のように、常に一律のニューラルネットワークを用いて認識処理を行う場合、ＣＡＤ機能の使用状況によってはその性能（例えば、認識精度や処理速度等）を十分に発揮できない可能性がある。
　本発明は上記した問題に鑑みてなされたものであり、その目的は、ＣＡＤ機能の使用状況に適した認識結果を提示可能な記憶媒体、診断支援装置及び診断支援方法を提供することにある。
　第１の本発明における記憶媒体は、１又は複数のコンピュータを、ニューラルネットワークを含んで構成される複数の認識器のうち１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段、前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段、として機能させるための診断支援プログラムを格納する。
　また、前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択してもよい。
　また、前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、前記選択手段は、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第１認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第２認識器を選択してもよい。
　また、前記第１認識器は、ＢＩ－ＲＡＤＳカテゴリーを区別する値を出力し、前記第２認識器は、良性であるか悪性であるかを区別する値を出力してもよい。
　また、前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択してもよい。
　また、前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、前記選択手段は、前記検査情報により特定される医師又は検査技師（以下、単に「医師等」ともいう）による読影の熟練度が相対的に低い場合に前記第１認識器を選択する一方、前記読影の熟練度が相対的に高い場合に前記第２認識器を選択してもよい。
　また、前記複数の認識器は、地域毎に収集されるテスト画像を含む２以上の母集団を用いて機械学習がなされた２以上の認識器を含み、前記選択手段は、前記検査情報により特定される検査の実施地域に対応する認識器を選択してもよい。
　また、前記複数の認識器は、第１認識器と、該第１認識器と比べて前記認識処理の演算量又は演算時間が相対的に少ない第２認識器と、を含み、前記選択手段は、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第１認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第２認識器を選択してもよい。
　また、前記診断支援プログラムは、前記１又は複数のコンピュータを、前記選択手段により選択された前記認識器の種類又は特性を示す認識器情報を、前記認識結果を示す結果情報と併せて表示手段に表示させる制御を行う表示制御手段としてさらに機能させてもよい。
　第２の本発明における診断支援装置は、ニューラルネットワークを含んで構成される複数の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、を備える。
　第３の本発明における診断支援方法は、１又は複数のコンピュータが、ニューラルネットワークを含んで構成される複数の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識ステップと、前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択ステップと、を実行する。
　本発明によれば、ＣＡＤ機能の使用状況に適した認識結果を提示することができる。
本発明の一実施形態における医用画像診断システムの全体構成図である。 図１における診断支援装置のハードウェア構成の一例を示す図である。 図１及び図２における診断支援装置の機能ブロックの一例を示す図である。 図３における認識器の処理流れの一例を示す図である。 図１における機械学習用サーバの機能ブロックの一例を示す図である。 被検者の診断画面の一例を示す図である。 出力値の定義が異なる認識器の生成方法を示す模式図である。 認識器の選択規則を記述する選択テーブルの第１例を示す図である。 認識性能が異なる認識器の生成方法を示す模式図である。 認識器の選択規則を記述する選択テーブルの第２例を示す図である。 教師データの母集団が異なる認識器の生成方法を示す模式図である。 認識器の選択規則を記述する選択テーブルの第３例を示す図である。 ニューラルネットワークの構造が異なる認識器の生成方法を示す模式図である。 認識器の選択規則を記述する選択テーブルの第４例を示す図である。 変形例における認識器の処理流れを示す図である。
　本発明における診断支援プログラムについて、診断支援装置及び診断支援方法との関係において好適な実施形態を挙げ、添付の図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。また、「手段」という文言は、例えば、「部」、「ユニット」、「機能」などの他の表現に置き換えてもよい。
［医用画像診断システム１０の構成］
＜全体構成＞
　図１は、本発明の一実施形態における診断支援装置１８が組み込まれた医用画像診断システム１０の全体構成図である。この医用画像診断システム１０は、医療施設内にて医療業務を行う医師等に対して、コンピュータ支援診断／検出機能（つまり、ＣＡＤ機能）を提供可能に構成される。
　医用画像診断システム１０は、画像撮影装置１２，１４と、画像サーバ１６と、診断支援装置１８と、診断端末２０と、中継装置２２と、機械学習用サーバ２４と、を含んで構成される。機械学習用サーバ２４を除く各機器は、院内ネットワークＮＴ１を介して、相互に通信可能に構成される。
　画像撮影装置１２，１４は、被検者の乳房の投影像又は断面像を示す乳房画像５４（図３）を撮影する装置である。撮影態様（いわゆる、モダリティ）の種類は、例えば、超音波、単純Ｘ線、Ｘ線ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）、トモシンセシス、光ＣＴのいずれであってもよい。ＣＡＤ機能部を備えていない画像撮影装置１２の場合、画像サーバ１６、診断支援装置１８及び診断端末２０が協働することで、オンデマンド型のＣＡＤ機能が提供される。一方、ＣＡＤ機能部１４ｆを備える画像撮影装置１４の場合、画像撮影装置１４が単体で動作することで、リアルタイム型のＣＡＤ機能が提供される。
　画像サーバ１６は、画像撮影装置１２，１４により取得された乳房画像５４を、いずれも後述する検査情報５６及び結果情報５８と対応付けて管理するファイルサーバである。診断支援装置１８は、乳房画像５４に対して様々な認識処理を行い、医師等の診断を支援するための各種情報を生成するデータ処理サーバである。診断端末２０は、医師等が読影を行うための端末装置であり、ディスプレイ装置からなる表示手段２６と、表示手段２６に対して表示制御を行う表示制御手段２８と、を備える。機械学習用サーバ２４は、院外ネットワークＮＴ２及び中継装置２２を介して、診断支援装置１８及び画像撮影装置１４と相互に通信可能に構成されるデータ処理サーバである。
＜診断支援装置１８のハードウェア構成＞
　図２は、図１における診断支援装置１８のハードウェア構成の一例を示す図である。診断支援装置１８は、通信Ｉ／Ｆ３０と、プロセッサ３２と、メモリ３４と、記憶装置３６と、を含んで構成される。
　通信Ｉ／Ｆ３０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、診断支援装置１８は、例えば、認識処理の対象である乳房画像５４（図３）を画像サーバ１６から受信可能であるとともに、乳房画像５４の認識結果を示す結果情報５８（図３）を画像サーバ１６に送信可能である。
　プロセッサ３２は、ＣＰＵ（Central Processing Unit）を含む汎用プロセッサであってもよいし、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）を含む専用プロセッサであってもよい。メモリ３４は、コンピュータ読み取り可能な非一過性の記憶媒体であり、プロセッサ３２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶装置３６は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）やソリッドステートドライブ（ＳＳＤ：Solid State Drive）を含む非一過性の記憶媒体である。
＜診断支援装置１８の機能ブロック＞
　図３は、図１及び図２における診断支援装置１８の機能ブロックの一例を示す図である。診断支援装置１８は、メモリ３４に記憶された診断支援プログラムを読み出して実行することで、取得手段４０、認識手段４２、選択手段４４、送信手段４６、及び記憶手段４８として機能する。取得手段４０は、図２の通信Ｉ／Ｆ３０及びプロセッサ３２によって実現される手段である。認識手段４２及び選択手段４４はそれぞれ、図２のプロセッサ３２により実現される手段である。送信手段４６は、図２の通信Ｉ／Ｆ３０及びプロセッサ３２によって実現される手段である。記憶手段４８は、図２の記憶装置３６によって実現される手段である。
　取得手段４０は、画像サーバ１６との通信によって、認識処理の対象である乳房画像５４及び検査情報５６を取得する。取得手段４０は、画像サーバ１６以外の装置（例えば、被検者、医療従事者又は医用機器に関する様々な情報を管理する院内サーバ）に記憶されている検査情報５６を取得してもよい。また、取得手段４０は、機械学習用サーバ２４との通信によって、１グループ以上の学習パラメータ群５２を取得する。
　認識手段４２は、取得手段４０により取得された乳房画像５４に対して様々な認識処理を施すことで、乳房画像５４の認識結果を出力する。また、認識手段４２は、複数グループの学習パラメータ群５２をセットすることで複数の認識器５０として機能する。この複数の認識器５０には、例えば、出力値の定義、認識性能、テスト画像７１（図５）の収集地域、演算量又は演算時間のうち少なくともいずれかが異なる２以上の認識器が含まれる。
　選択手段４４は、乳房画像５４に関連付けられた検査情報５６に応じて、複数の認識器５０の中から、認識処理に用いられる１の認識器５０を選択する。あるいは、選択手段４４は、上記した検査情報５６に応じて、複数の認識器５０の中から、認識処理による認識結果を出力すべき１の認識器５０を選択する。
　送信手段４６は、認識手段４２から出力された結果情報５８を外部に送信する。送信手段４６は、画像サーバ１６から管理ＩＤと一緒に乳房画像５４を受け取った場合、この管理ＩＤを付与した結果情報５８を画像サーバ１６に送信する。
　記憶手段４８は、複数グループの学習パラメータ群５２、乳房画像５４、検査情報５６、及び結果情報５８を記憶する。学習パラメータ群５２は、認識器５０の演算規則を定めるための学習パラメータの集合体である。乳房画像５４は、１又は複数の画像からなり、静止画像あるいは動画像であってもよい。検査情報５６は、被検者の検査に関する情報であり、例えば、検査ＩＤ、被検者の身体的情報（例えば、年齢・性別・身長・体重等）、検査の種類、表示手段２６の種類、医師等による読影の熟練度、検査の実施地域、乳房画像５４の種類等が含まれる。結果情報５８は、認識手段４２による認識結果を示す情報であり、例えば、病変部位の有無、個数、種類（例えば、腫瘍）、位置、性状、又は確度等が含まれる。
＜認識器５０の処理流れ＞
　図４は、図３における認識器５０の処理流れの一例を示す図である。認識器５０は、ニューラルネットワークを含んで構成される。認識器５０は、ニューラルネットワークのみで構成されてもよい。このニューラルネットワークは、機械学習（以下、単に「学習」ともいう）を通じて、画像中の物体を検出する「物体検出モデル」を構築可能に構成される。物体検出モデルの種類は、関心領域（ＲＯＩ：Region Of Interest）の抽出器が物体の検出器とは別に設けられている「two-stage detector」（例えば、Faster R-CNNやその派生モデル等）であってもよいし、抽出器と検出器とが一体的に構成されている「one-stage detector」（例えば、ＹＯＬＯ、ＳＳＤ、Ｍ２Ｄｅｔやこれらの派生モデル等）であってもよい。
　認識器５０は、上流側から下流側にわたって順に、特徴マップ生成部６０と、腫瘍検出部６２と、データ解釈部６４と、を含んで構成される。本図の例では、特徴マップ生成部６０及び腫瘍検出部６２が学習処理の対象であり、データ解釈部６４が学習処理の対象ではない。
　特徴マップ生成部６０は、乳房画像５４に対して畳み込み演算及びプーリング演算（いわゆるＣＮＮ演算）を繰り返して実行することで、乳房画像５４の形態的特徴を示す特徴マップをチャンネル毎に生成する。上記したＣＮＮ演算は、ＶＧＧ１６、ＲｅｓＮｅｔを含む様々なネットワーク構造により実行され得る。
　腫瘍検出部６２は、チャンネル毎の特徴マップを用いて、乳房画像５４の全体領域６６内における腫瘍領域Ｔの有無及び位置を検出する。例えば、「ＹＯＬＯ」モデルの場合、検出結果として、クラス毎の確度（あるいは、ラベル値の合計が１に正規化された確率）を示すテンソル形式の出力データが得られる。
　データ解釈部６４は、腫瘍検出部６２からの出力データを解釈することで、乳房画像５４の認識結果（例えば、腫瘍領域Ｔの有無、位置、又は性状）を取得する。ここで、腫瘍領域Ｔの位置は、腫瘍領域Ｔの代表的な位置（例えば、重心）であってもよいし、腫瘍領域Ｔに外接する矩形状の関心領域６８に関する位置であってもよい。
＜機械学習用サーバ２４の構成＞
　図５は、機械学習用サーバ２４の学習処理に関わる機能ブロック図である。この機械学習用サーバ２４は、予め準備された教師データ７０を用いて、学習器７４に対する学習処理を行うことで、１グループ以上の学習パラメータ群５２を作成する。本図では、機械学習用サーバ２４の構成のうち、学習器７４及び学習処理手段７６を模式的に示している。
　学習器７４の演算規則は、学習パラメータ群５２を構成する学習パラメータの各値によって定められる。学習パラメータ群５２は、例えば、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度を含む「可変パラメータ」と、ネットワーク構造を特定するための「固定パラメータ」（いわゆる、ハイパーパラメータ）から構成される。ハイパーパラメータの例として、各層を構成する演算ユニットの個数、中間層の数、物体検出モデルの種類が挙げられる。
　学習処理手段７６は、複数組の教師データ７０を用いて、学習器７４に対する学習処理（つまり、学習パラメータ群５２の最適化処理）を行う。学習処理手段７６は、データ取得部７８と、目的関数算出部８０と、パラメータ更新部８２と、収束判断部８４と、を備える。
　データ取得部７８は、予め準備されたデータベース８６の中から１組又は複数組の教師データ７０を取得する。この教師データ７０は、テスト画像７１と正解情報７２のデータセットからなる。テスト画像７１は、臨床画像やファントム画像であってもよいし、ＧＡＮ（Generative Adversarial Network）を含む生成モデルを用いて生成した疑似画像であってもよい。正解情報７２には、ラベル値、境界ボックスの位置情報が含まれる。
　目的関数算出部８０は、教師データ７０のテスト画像７１に対する学習器７４の出力情報と、教師データ７０の正解情報７２の間の誤差（以下、学習誤差という）を含む目的関数を算出する。この学習誤差は、差分の絶対値を返すＬ１ノルム関数であってもよいし、差分の２乗値を返すＬ２ノルム関数であってもよい。また、この学習誤差は、１組の教師データ７０における誤差（オンライン学習の場合）であってもよいし、複数組の教師データ７０に関する誤差（バッチ学習又はミニバッチ学習の場合）であってもよい。
　パラメータ更新部８２は、目的関数算出部８０により算出された目的関数が小さくなるように学習パラメータ群５２（上記した可変パラメータ）を更新する。更新アルゴリズムとして、例えば、勾配降下法、確率的勾配降下法、モーメンタム法、ＲＭＳｐｒｏｐを含む様々な手法を用いてもよい。
　収束判断部８４は、現在の学習時点にて予め定められた収束条件を満たすか否かを判断する。この収束条件の一例として、［１］目的関数が十分に小さくなったこと、［２］目的関数の更新量が十分に小さくなったこと、［３］学習の繰り返し回数が上限値に到達したこと、等が挙げられる。
［医用画像診断システム１０の動作］
　本発明の一実施形態における診断支援装置１８が組み込まれた医用画像診断システム１０は、以上のように構成される。続いて、医用画像診断システム１０の全体動作について図１～図３及び図６を、診断支援装置１８による認識器５０の選択動作について図７Ａ～図１０Ｂを参照しながらそれぞれ説明する。
＜全体動作＞
（１．学習パラメータ群５２のダウンロード）
　機械学習用サーバ２４は、新たな学習又は追加的な学習を通じて学習パラメータ群５２を生成する。そして、機械学習用サーバ２４は、診断支援装置１８又は画像撮影装置１４の要求に応じて、自装置が記憶している学習パラメータ群５２を要求先に向けて送信する。これにより、診断支援装置１８又は画像撮影装置１４は、機械学習用サーバ２４からの学習パラメータ群５２を取得・記憶することで、最新バージョンの認識器５０が利用可能となる。
（２．被検者の撮影）
　医師等は、画像撮影装置１２を用いて、被検者の乳房を撮影する作業を行う。撮影の終了後、画像撮影装置１２は、自装置が生成した乳房画像５４を、被検者ＩＤ及び検査情報５６と紐付けた状態にて画像サーバ１６に送信する。これにより、画像サーバ１６には、乳房画像５４及び検査情報５６を含むデータセット（以下、診断情報）が記憶される。なお、現時点の診断情報には結果情報５８が含まれない。
（３．認識処理）
　診断支援装置１８は、定期的に又は不定期に、画像サーバ１６に対して未処理の乳房画像５４があるか否かを問い合わせる。未処理の乳房画像５４がある場合、診断支援装置１８の取得手段４０は、該当する診断情報とその管理ＩＤを画像サーバ１６から取得する。
　選択手段４４は、診断情報に含まれる検査情報５６が所定の条件を満たすか否かに応じて、認識手段４２が利用可能な複数の認識器５０の中から、認識処理に用いられる１の認識器５０を選択する。例えば、選択手段４４が該当する学習パラメータ群５２を記憶手段４８から読み出して認識手段４２に供給することで、選択された認識器５０が利用可能になる。
　認識手段４２は、選択された認識器５０を用いて乳房画像５４の認識処理を行うことで、乳房画像５４の認識結果を示す結果情報５８を出力する。送信手段４６は、得られた結果情報５８を該当する管理ＩＤと紐付けた状態にて画像サーバ１６に送信する。これにより、画像サーバ１６には、乳房画像５４、検査情報５６及び結果情報５８を含む診断情報が記憶される。
（４．診断画面１００の表示）
　医師等は、診断端末２０を用いて、診断対象である被検者の診断画面１００（図６）の表示を要求する操作を行う。そうすると、診断端末２０は、指定された被検者に対応する診断情報を要求する旨の信号（つまり、要求信号）を画像サーバ１６に送信する。画像サーバ１６は、診断端末２０からの要求信号に応答して、乳房画像５４、検査情報５６及び結果情報５８（図３）を含む診断情報を診断端末２０に送信する。
　診断端末２０の表示制御手段２８は、画像サーバ１６から診断情報を受信すると、この診断情報を用いて診断画面１００の表示用データを生成した後、この表示用データを表示手段２６に供給する。これにより、表示手段２６の図示しない表示領域内には、図６の診断画面１００が表示される。
　図６に示すように、診断画面１００上には、検査情報欄１０２と、画像欄１０４と、サムネイル欄１０６と、処理情報欄１０８と、検査結果欄１１０と、が設けられている。検査情報欄１０２には、被検者名や画像ＩＤを含む検査情報５６が表示されている。画像欄１０４には、指定された１枚の乳房画像５４が表示されている。乳房画像５４上には、角丸矩形枠を示すマーク１１２，１１４が、それぞれの腫瘍を囲む位置に重ねて表示されている。サムネイル欄１０６は、複数枚の乳房画像５４の中から画像欄１０４に表示させる１枚を、ＵＩ（ユーザインターフェース）を通じて選択可能に構成される。
　処理情報欄１０８には、認識器５０の種類又は特性を示す認識器情報１１６と、マーク１１２，１１４の意味を説明するための説明情報１１８と、が表示されている。認識器情報１１６には、例えば、認識器５０の名称、物体検出モデルの呼称、認識特性の特徴（例えば、高感度型、高特異度型、バランス型）、推奨ユーザ名（例えば、初級者向け、熟練者向け）等が含まれる。
　なお、結果情報５８は、医師等が認識手段４２による認識結果を一見して把握可能な態様で表示されている。本図の例では、この結果情報５８は、画像欄１０４内のマーク１１２，１１４、及び、処理情報欄１０８内の説明情報１１８として可視化されている。また、この結果情報５８と併せて認識器情報１１６が表示されているので、医師等は、表示されている認識結果を認識器５０の種類又は特性と関連付けて把握することができる。
　ここで、医師等は、診断画面１００上の画像欄１０４及び処理情報欄１０８を視認しながら乳房画像５４の読影を行い、検査結果に関する所見やコメントを検査結果欄１１０内に入力する。このようにして、医用画像診断システム１０による診断支援動作が終了する。
　ところで、上記した動作の例では、認識手段４２は、選択手段４４により選択された認識器５０のみを用いて認識処理を行っているが、これに代えて、同一の乳房画像５４に対して複数の認識処理を行ってそれぞれの認識結果を得てもよい。この場合、選択手段４４は、複数の認識器５０の中から、認識処理による認識結果を出力すべき認識器５０を選択すればよい。
＜認識器５０の選択動作＞
　続いて、診断支援装置１８が備える選択手段４４による認識器５０の選択動作について、図７Ａ～図１０Ｂを参照しながら説明する。
（第１例：出力値の定義）
　選択動作の第１例では、認識手段４２に実装される複数の認識器５０には、出力値の定義が異なる２以上の認識器５０が含まれることを想定する。この「出力値の定義」とは、検出対象である病変部位の表現方法を意味し、例えば、病変部位の種類、性状、又はカテゴリーが含まれる。種類の一例として、具体的には、腫瘍、微小石灰化等が挙げられる。性状の一例として、具体的には、良性、悪性等が挙げられる。カテゴリーの一例として、ＢＩ－ＲＡＤＳ（Breast Imaging Reporting And Data System）分類のカテゴリー１～５、あるいはサブカテゴリー４Ａ／４Ｂ／４Ｃ等が挙げられる。
　図７Ａは、出力値の定義が異なる認識器５０の生成方法を示す模式図である。ここでは、教師データ７０を構成するテスト画像７１及び正解情報７２のうち、ラベル値の定義が異なる２値のラベルＡ，Ｂを準備した後、同一のネットワーク構造を有する学習器７４によりそれぞれ学習させる。例えば、ラベルＡに関して、「０」のラベル値はＢＩ－ＲＡＤＳ分類の「カテゴリーが３以下」であることを示し、「１」のラベル値はＢＩ－ＲＡＤＳ分類の「カテゴリーが４以上」であることを示す。一方、ラベルＢに関して、「０」のラベル値は「良性」であることを示し、「１」のラベル値は「悪性」であることを示す。
　図７Ｂは、認識器５０の選択規則を記述する選択テーブルの第１例を示す。検査の種類が「スクリーン検査」である場合には、「ＢＩ－ＲＡＤＳ」のカテゴリー判定値を出力する認識器５０が選択される。これにより、スクリーン検査時において医師等による客観的な判断に対する支援になる。一方、検査の種類が「精密検査」である場合には、「良性／悪性」の性状判定値を出力する認識器５０が選択される。これにより、精密検査時において医師等による正確な判断や意思決定に対する支援になる。
　ところで、精密検査の場合には、スクリーン検査の場合と比べてより高性能な表示手段２６が用いられる傾向がある。そこで、検査の種類に代わって、表示手段２６の種類が用いられてもよい。例えば、表示手段２６の種類が、表示性能が相対的に低い「第１グループ」に属する場合には、「ＢＩ－ＲＡＤＳ」のカテゴリー判定値を出力する認識器５０が選択される。一方、表示手段２６の種類が、表示性能が相対的に高い「第２グループ」に属する場合には、「良性／悪性」の性状判定値を出力する認識器５０が選択される。なお、第１／第２グループの分類は、表示手段２６の機種、管理状態、製品仕様、用途（例えば、読影用／電子カルテ用）等の様々な観点で予め行われてもよいし、輝度・解像度を含む定量値を用いた閾値判定により行われてもよい。
（第２例：認識性能）
　選択動作の第２例では、認識手段４２に実装される複数の認識器５０には、認識性能が異なる２以上の認識器５０が含まれることを想定する。この「認識性能」は、感度、特異度、ＲＯＣ（Receiver Operating Characteristic）曲線のＡＵＣ（Area Under the Curve）スコア等により評価される。
　図８Ａは、認識性能が異なる認識器５０の生成方法を示す模式図である。例えば、教師データ７０を蓄積したデータベース８６から異なる母集団Ａ，Ｂを形成した後、同一のネットワーク構造を有する学習器７４をそれぞれ学習させる。例えば、学習パラメータ群５２ａは、母集団Ａを構成する教師データ群９０ａを用いた学習を通じて生成される。一方、学習パラメータ群５２ｂは、母集団Ｂを構成する教師データ群９０ｂを用いた学習を通じて生成される。なお、母集団Ａ，Ｂは、標本の分布又は標本数が異なってもよいし、正例と負例の配分、訓練データと検証データの配分が異なってもよい。
　図８Ｂは、認識器５０の選択規則を記述する選択テーブルの第２例を示す。検査の種類が「精密検査」である場合には、スクリーン検査と比べて「感度」が高い認識器５０が選択される。これによって偽陰性率が下がり、病気で「ある」被検者を病気で「ない」と誤って診断する可能性が低下する。一方、検査の種類が「スクリーン検査」である場合には、精密検査と比べて「特異度」が高い認識器５０が選択される。これによって偽陽性率が下がり、病気で「ない」被検者を病気で「ある」と誤って診断する可能性が低下する。
　ところで、熟練度が低い医師等は、読影に不慣れであるため、診断に時間が掛かる傾向がある。そこで、検査の種類と併せて又はこれとは別に、医師等による読影の熟練度が用いられてもよい。例えば、検査の種類が「スクリーン検査」であって医師等の熟練度が相対的に低い「第１グループ」に属する場合には、上記した「特異度」が高い認識器５０が選択される。一方、検査の種類が「スクリーン検査」であって医師等の熟練度が相対的に高い「第２グループ」に属する場合には、上記した２種類の「中間」の認識性能を有する認識器５０が選択される。これにより、スクリーン検査時において熟練度が低い医師等が偽陽性と判定する誤診が抑制されやすくなる。なお、第１／第２グループの分類は、医師等の経験度、役職、資格、年齢等の様々な観点で予め行われてもよいし、経験年齢を含む定量値を用いた閾値判定により行われてもよい。
（第３例：テスト画像７１の収集地域）
　選択動作の第３例では、認識手段４２に実装される複数の認識器５０には、異なる地域で収集されたテスト画像７１を含む２以上の母集団を用いて学習がなされた２以上の認識器５０が含まれることを想定する。この「収集地域」は、被検者の体格又は食文化等が統計的に有意に異なる地域を意味し、例えば、国家共同体、国、県、州等により区分される。
　図９Ａは、テスト画像７１の収集地域が異なる認識器５０の生成方法を示す模式図である。例えば、地域別のテスト画像７１を含む教師データ７０を蓄積したデータベース８６ａ，８６ｂを構築した後、同一のネットワーク構造を有する学習器７４をそれぞれ学習させる。例えば、学習パラメータ群５２ａは、データベース８６ａを用いた学習を通じて生成される。一方、学習パラメータ群５２ｂは、データベース８６ｂを用いた学習を通じて生成される。
　図９Ｂは、認識器５０の選択規則を記述する選択テーブルの第３例を示す。検査の実施地域が「地域Ａ」である場合には、地域Ａに対応する学習パラメータ群５２ａが設定された認識器５０が選択される。一方、検査の実施地域が「地域Ｂ」である場合には、地域Ｂに対応する学習パラメータ群５２ｂが設定された認識器５０が選択される。これにより、実施地域内の被検者に適した認識処理を実行可能となり、その分だけ認識精度が向上する。
（第４例：演算量・演算時間）
　選択動作の第４例では、認識手段４２に実装される複数の認識器５０には、演算時間又は演算量が異なる２以上の認識器５０が含まれることを想定する。
　図１０Ａは、演算時間又は演算量が異なる認識器５０の生成方法を示す模式図である。例えば、データベース８６に蓄積されている教師データ７０を用いて、異なるネットワーク構造を有する学習器７４ａ，７４ｂをそれぞれ学習させる。例えば、学習パラメータ群５２ａは学習器７４ａに適したパラメータセットであり、学習パラメータ群５２ｂは学習器７４ｂに適したパラメータセットである。なお、学習器７４ａ，７４ｂは、ネットワーク構造を特定するハイパーパラメータが異なってもよいし、物体検出モデルの種類が異なってもよい。
　図１０Ｂは、認識器５０の選択規則を記述する選択テーブルの第４例を示す。乳房画像５４の種類が「静止画像」である場合には、「動画像」と比べて演算時間が長い（あるいは演算量が多い）認識器５０が選択される。一方、乳房画像５４の種類が「動画像」である場合には、「静止画像」と比べて演算時間が短い（あるいは演算量が少ない）認識器５０が選択される。これにより、静止画像又は動画像に適した認識処理を選択的に行うことができる。
（第５例）
　上記した第１例～第４例を相互に矛盾しないように組み合わせてもよい。つまり、［１］出力値の定義、［２］認識性能、［３］テスト画像の収集地域、［４］演算量・演算時間、のうちの２つ以上の特徴に注目して認識器５０が選択されてもよい。
［実施形態による効果］
　以上のように、この診断支援装置１８は、ニューラルネットワークを含んで構成される複数の認識器５０の中から１以上の認識器５０を用いて、被検者の乳房の投影像又は断面像を示す乳房画像５４の認識処理を行う認識手段４２と、被検者の検査に関する検査情報５６に応じて、複数の認識器５０の中から、認識処理に用いられる認識器５０又は認識処理による認識結果を出力すべき認識器５０を選択する選択手段４４を備える。
　また、この診断支援方法及びプログラムでは、１又は複数のコンピュータが、ニューラルネットワークを含んで構成される複数の認識器５０を用いて、被検者の乳房の投影像又は断面像を示す乳房画像５４の認識処理を行い、被検者の検査に関する検査情報５６に応じて、複数の認識器５０の中から、認識処理に用いられる認識器５０又は認識処理による認識結果を出力すべき認識器５０を選択する。このように構成したので、被検者の検査に応じた認識処理による認識結果を選択的に出力可能となり、ＣＡＤ機能の使用状況に適した認識結果を提示することができる。
　また、複数の認識器５０が、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器を含む場合、選択手段４４は、検査情報５６により特定される検査の種類がスクリーン検査である場合に第１認識器を選択する一方、検査の種類が精密検査である場合に第２認識器を選択してもよい。これにより、スクリーン検査時において医師等による客観的な判断に対する支援になり、精密検査時において医師等による正確な判断や意思決定に対する支援になる。
　また、複数の認識器５０が、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器を含む場合、選択手段４４は、検査情報５６により特定される表示手段２６であって乳房画像５４を表示させる表示手段２６の表示性能が相対的に低い場合に第１認識器を選択する一方、表示手段２６の表示性能が相対的に高い場合に第２認識器を選択してもよい。これにより、スクリーン検査を実施している確度が高い状況下にて医師等による客観的な判断に対する支援になり、精密検査を実施している確度が高い状況下において医師等による正確な判断や意思決定に対する支援になる。
　この場合、第１認識器は、ＢＩ－ＲＡＤＳカテゴリーを区別する値を出力し、第２認識器は、良性であるか悪性であるかを区別する値を出力してもよい。
　また、複数の認識器５０が、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器を含む場合、選択手段４４は、検査情報５６により特定される検査の種類がスクリーン検査である場合に第１認識器を選択する一方、検査の種類が精密検査である場合に第２認識器を選択してもよい。これにより、スクリーン検査時において偽陽性と判定する誤診の可能性が低下し、精密検査時において偽陰性と判定する誤診の可能性が低下する。
　また、複数の認識器５０が、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器を含む場合、選択手段４４は、検査情報５６により特定される医師等による読影の熟練度が相対的に低い場合に第１認識器を選択する一方、読影の熟練度が相対的に高い場合に第２認識器を選択してもよい。これにより、スクリーン検査時において読影の熟練度が低い医師等が偽陽性と判定する誤診が抑制されやすくなる。
　また、複数の認識器５０が、異なる地域で収集されるテスト画像７１を含む母集団を用いて機械学習がなされた２以上の認識器５０を含む場合、選択手段４４は、検査情報５６により特定される検査の実施地域に対応する認識器５０を選択してもよい。これにより、実施地域内の被検者に適した認識処理を実行可能となり、その分だけ認識精度が向上する。
　また、複数の認識器５０が、第１認識器と、該第１認識器と比べて演算量又は演算時間が相対的に少ない第２認識器を含む場合、選択手段４４は、検査情報５６により特定される乳房画像５４の種類が静止画像である場合に第１認識器を選択する一方、乳房画像５４の種類が動画像である場合に第２認識器を選択してもよい。これにより、静止画像又は動画像に適した認識処理を選択的に行うことができる。
　また、診断支援装置１８又は診断端末２０は、選択手段４４により選択された認識器５０の種類又は特性を示す認識器情報１１６を、認識結果を示す結果情報５８と併せて表示手段２６に表示させる制御を行う表示制御手段２８をさらに備えてもよい。これにより、医師等は、認識器情報１１６を視認することで、表示された結果情報５８を、認識器５０の種類又は特性と関連付けて把握することができる。
［変形例］
　なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
　上記した実施形態では、被検者の撮影部位として乳房を例に挙げて説明したが、乳房以外の様々な人体部位に適用され得る。また、病変部位として腫瘍を例に挙げて説明したが、微小石灰化を含む他の病変であってもよい。特に、２以上の病変部位を検出対象とする場合、認識器５０は、複数の分類クラスに関する認識結果を出力してもよい。また、上記した実施形態では、認識器５０は、ＢＩ－ＲＡＤＳ分類の結果を２値として出力するが、これに代えて、カテゴリー毎（１～５）又はサブカテゴリー毎（４Ａ～４Ｃ）のラベル値を出力してもよい。
　上記した実施形態では、選択手段４４は、複数の認識器５０の中から１の認識器５０を選択しているが、これに代えて、２以上の認識器５０を同時に選択してもよい。この場合、表示制御手段２８は、得られた２以上の認識結果を同時に表示手段２６に表示させてもよいし、２以上の認識結果を合成した１の認識結果を表示手段２６に表示させてもよい。
　上記した実施形態では、選択手段４４は、検査の種類、表示手段２６の種類、読影の熟練度、検査の実施地域、乳房画像５４の種類のうち少なくともいずれかを用いて認識器５０を選択しているが、選択の根拠となる検査情報５６はこれに限られない。例えば、選択手段４４は、被検者の身体的情報を用いて、被検者の年齢又は体重の区分に応じた認識器５０を選択してもよい。
　上記した実施形態では、認識器５０は、単体のニューラルネットワークから構成されるが、これに代えて、機能が異なる２又は３以上のニューラルネットワークによって構成されてもよい。
　図１１は、変形例における認識器１４０の処理流れを示す図である。この認識器１４０は、腫瘍認識器１４２と、他組織認識器１４４と、性状判定部１４６と、を含んで構成される。なお、「他組織」には、骨、筋肉、乳腺、脂肪等が含まれる。
　腫瘍認識器１４２は、乳房画像５４を入力とし、乳房画像５４に対する腫瘍の認識結果を出力とする認識器である。腫瘍認識器１４２は、ニューラルネットワークを含んで構成される。上記した認識結果として、例えば、腫瘍領域Ｔの位置情報及び良性・悪性の確率を含むリスト（以下、「腫瘍位置リストＬ１」という）が出力される。
　他組織認識器１４４は、乳房画像５４を入力とし、乳房画像５４に対する他組織の認識結果を出力とする認識器である。他組織認識器１４４は、ニューラルネットワークを含んで構成される。上記した認識結果として、例えば、他組織領域の位置情報及び確率を含むリスト（以下、「他組織位置リストＬ２」という）が出力される。
　性状判定部１４６は、腫瘍位置リストＬ１及び他組織位置リストＬ２を用いて、複数の領域間の位置関係を特定し、当該位置関係に基づいて、腫瘍の性状、例えば良性であるか悪性であるかを判定する。具体的には、腫瘍領域Ｔが骨領域又は筋肉領域よりも体表から遠い側にある場合には、当該腫瘍領域Ｔは腫瘍に該当しないと判定される。また、複数の腫瘍領域Ｔが重ならない場合、腫瘍認識器１４２から出力された確率をそのまま用いて、当該腫瘍が良性／悪性であると判定される。また、２以上の腫瘍領域Ｔが少なくとも部分的に重なる場合、腫瘍認識器１４２から出力された２以上の確率のうちの最大値を求め、この確率の最大値を用いて当該腫瘍が良性／悪性であると判定される。
［符号の説明］
　１０…医用画像診断システム、１２，１４…画像撮影装置、１４ｆ…ＣＡＤ機能、１８…診断支援装置、２０…診断端末、２６…表示手段、２８…表示制御手段、３４…メモリ（記憶媒体）、４２…認識手段、４４…選択手段、５０，１４０…認識器、５４…乳房画像、５６…検査情報、５８…結果情報、１００…診断画面、１１２，１１４…マーク（結果情報）、１１６…認識器情報、１１８…説明情報（結果情報）

Claims (19)

  1. 　１又は複数のコンピュータを、
    　ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段、
    　前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段、
    　として機能させるための診断支援プログラムを格納した記憶媒体。
  2. 　前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択する、
    　請求項１に記載の記憶媒体。
  3. 　前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第１認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第２認識器を選択する、
    　請求項１に記載の記憶媒体。
  4. 　前記第１認識器は、ＢＩ－ＲＡＤＳカテゴリーを区別する値を出力し、
    　前記第２認識器は、良性であるか悪性であるかを区別する値を出力する、
    　請求項２又は３に記載の記憶媒体。
  5. 　前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択する、
    　請求項１に記載の記憶媒体。
  6. 　前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される医師又は検査技師による読影の熟練度が相対的に低い場合に前記第１認識器を選択する一方、前記読影の熟練度が相対的に高い場合に前記第２認識器を選択する、
    　請求項１に記載の記憶媒体。
  7. 　前記複数の認識器は、地域毎に収集されるテスト画像を含む２以上の母集団を用いて機械学習がなされた２以上の認識器を含み、
    　前記選択手段は、前記検査情報により特定される検査の実施地域に対応する認識器を選択する、
    　請求項１に記載の記憶媒体。
  8. 　前記複数の認識器は、第１認識器と、該第１認識器と比べて演算量又は演算時間が相対的に少ない第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第１認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第２認識器を選択する、
    　請求項１に記載の記憶媒体。
  9. 　前記診断支援プログラムは、前記１又は複数のコンピュータを、
    　前記選択手段により選択された前記認識器の種類又は特性を示す認識器情報を、前記認識結果を示す結果情報と併せて表示手段に表示させる制御を行う表示制御手段としてさらに機能させる、
    　請求項１に記載の記憶媒体。
  10. 　ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、
    　前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、
    　を備える診断支援装置。
  11. 　前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択する、
    　請求項１０に記載の支援診断装置。
  12. 　前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第１認識器と、病変部位の性状を示す値を出力する第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第１認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第２認識器を選択する、
    　請求項１０に記載の診断支援装置。
  13. 　前記第１認識器は、ＢＩ－ＲＡＤＳカテゴリーを区別する値を出力し、
    　前記第２認識器は、良性であるか悪性であるかを区別する値を出力する、
    　請求項１１又は１２に記載の診断支援装置。
  14. 　前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第１認識器を選択する一方、前記検査の種類が精密検査である場合に前記第２認識器を選択する、
    　請求項１０に記載の診断支援装置。
  15. 　前記複数の認識器は、第１認識器と、該第１認識器と比べて感度が相対的に高く又は特異度が相対的に低い第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される医師又は検査技師による読影の熟練度が相対的に低い場合に前記第１認識器を選択する一方、前記読影の熟練度が相対的に高い場合に前記第２認識器を選択する、
    　請求項１０に記載の診断支援装置。
  16. 　前記複数の認識器は、地域毎に収集されるテスト画像を含む２以上の母集団を用いて機械学習がなされた２以上の認識器を含み、
    　前記選択手段は、前記検査情報により特定される検査の実施地域に対応する認識器を選択する、
    　請求項１０に記載の診断支援装置。
  17. 　前記複数の認識器は、第１認識器と、該第１認識器と比べて演算量又は演算時間が相対的に少ない第２認識器と、を含み、
    　前記選択手段は、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第１認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第２認識器を選択する、
    　請求項１０に記載の診断支援装置。
  18. 　前記選択手段により選択された前記認識器の種類又は特性を示す認識器情報を、前記認識結果を示す結果情報と併せて表示手段に表示させる制御を行う表示制御手段をさらに備える、
    　請求項１０に記載の診断支援装置。
  19. 　１又は複数のコンピュータが、
    　ニューラルネットワークを含んで構成される複数の認識器の中から１以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識ステップと、
    　前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択ステップと、
    　を実行する診断支援方法。
PCT/JP2021/002960 2020-01-31 2021-01-28 記憶媒体、診断支援装置及び診断支援方法 WO2021153648A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/796,694 US20230057933A1 (en) 2020-01-31 2021-01-28 Storage medium, diagnosis support apparatus and diagnosis support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020014823A JP6815711B1 (ja) 2020-01-31 2020-01-31 診断支援プログラム、装置、及び方法
JP2020-014823 2020-01-31

Publications (1)

Publication Number Publication Date
WO2021153648A1 true WO2021153648A1 (ja) 2021-08-05

Family

ID=74164544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002960 WO2021153648A1 (ja) 2020-01-31 2021-01-28 記憶媒体、診断支援装置及び診断支援方法

Country Status (3)

Country Link
US (1) US20230057933A1 (ja)
JP (2) JP6815711B1 (ja)
WO (1) WO2021153648A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391934B1 (ko) * 2022-01-19 2022-04-28 주식회사 엘티포 인공지능 기반 갑상선 결절의 암 위험도 진단 시스템 및 방법
WO2023188903A1 (ja) * 2022-03-29 2023-10-05 富士フイルム株式会社 画像処理装置、医療診断装置、超音波内視鏡装置、画像処理方法、及びプログラム
CN116665865B (zh) * 2023-06-13 2023-12-26 爱汇葆力(广州)数据科技有限公司 基于大数据实现陪诊人员的信息智能管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
US20150173705A1 (en) * 2013-12-23 2015-06-25 Samsung Electronics Co., Ltd. Apparatus and method for adapting diagnostic model for computer-aided diagnosis
US20180157800A1 (en) * 2016-12-02 2018-06-07 General Electric Company Methods and systems for user defined distributed learning models for medical imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
US20150173705A1 (en) * 2013-12-23 2015-06-25 Samsung Electronics Co., Ltd. Apparatus and method for adapting diagnostic model for computer-aided diagnosis
US20180157800A1 (en) * 2016-12-02 2018-06-07 General Electric Company Methods and systems for user defined distributed learning models for medical imaging

Also Published As

Publication number Publication date
JP2021121261A (ja) 2021-08-26
US20230057933A1 (en) 2023-02-23
JP6815711B1 (ja) 2021-01-20
JP2021125230A (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
WO2021153648A1 (ja) 記憶媒体、診断支援装置及び診断支援方法
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
KR101884609B1 (ko) 모듈화된 강화학습을 통한 질병 진단 시스템
CN107403058B (zh) 图像报告方法
CN111563523B (zh) 利用机器训练的异常检测的copd分类
US11488306B2 (en) Immediate workup
JP2020126598A (ja) 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
JP6818424B2 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
KR102140402B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
CN111225614A (zh) 诊断辅助装置、信息处理方法、诊断辅助系统以及程序
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
JP7256765B2 (ja) 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
Sjogren et al. Image segmentation and machine learning for detection of abdominal free fluid in focused assessment with sonography for trauma examinations: a pilot study
CN114520043A (zh) 用于可视化医用管或线的放置的系统和方法
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
US20230334663A1 (en) Development of medical imaging ai analysis algorithms leveraging image segmentation
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
KR102480134B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
CN114220534A (zh) 针对前列腺癌的多模态计算机辅助诊断系统和方法
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report
KR102507315B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US11967424B2 (en) Information processing apparatus, information processing method, and recording medium
KR102213924B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
JP7408324B2 (ja) 診断支援装置、診断支援システム、診断支援方法およびプログラム
Antunez et al. A flexible AI pipeline for medical imaging in a radiology workflow

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747225

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21747225

Country of ref document: EP

Kind code of ref document: A1