WO2019235335A1 - 診断支援システム、診断支援方法及び診断支援プログラム - Google Patents

診断支援システム、診断支援方法及び診断支援プログラム Download PDF

Info

Publication number
WO2019235335A1
WO2019235335A1 PCT/JP2019/021386 JP2019021386W WO2019235335A1 WO 2019235335 A1 WO2019235335 A1 WO 2019235335A1 JP 2019021386 W JP2019021386 W JP 2019021386W WO 2019235335 A1 WO2019235335 A1 WO 2019235335A1
Authority
WO
WIPO (PCT)
Prior art keywords
diagnosis
image
learned
learned model
information
Prior art date
Application number
PCT/JP2019/021386
Other languages
English (en)
French (fr)
Inventor
克典 佐々木
渡辺　知幸
Original Assignee
住友化学株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友化学株式会社 filed Critical 住友化学株式会社
Priority to JP2020523660A priority Critical patent/JP7349425B2/ja
Priority to US17/054,143 priority patent/US20210125332A1/en
Priority to CN201980036934.1A priority patent/CN112236832A/zh
Priority to KR1020207034672A priority patent/KR20210015834A/ko
Publication of WO2019235335A1 publication Critical patent/WO2019235335A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a diagnosis support system, a diagnosis support method, and a diagnosis support program related to diagnosis based on an image.
  • pathological diagnosis has been performed by observing a pathological specimen on a slide glass with a specialized pathologist under a microscope.
  • the diagnosis is a subjective judgment that greatly depends on the individual experience and knowledge of the observed pathologist. Therefore, it is difficult to make an objective diagnosis. Therefore, in the field of pathological diagnosis, a peer review system has been adopted in which the diagnosis result of one pathologist is evaluated and commented on by another pathologist to reduce the risk of subjective judgment.
  • the final judgment in peer review is made by discussion between pathologists, the result depends largely on the experience, knowledge, and speaking ability of the person in charge. Therefore, in principle, subjective elements cannot be excluded, and it is difficult to objectively perform pathological diagnosis.
  • Patent Document 1 attempts have been made to automate pathological diagnosis based on images using machine learning.
  • Pathological diagnosis using machine learning contributes to the efficiency of pathological diagnosis, but in order to perform objective pathological diagnosis, large-scale learning data (teacher data) with consensus for machine learning is obtained. Need to collect. For this learning data collection, interpersonal discussion between pathologists for each case is indispensable, and the above-mentioned problems arise. That is, it is not easy to eliminate subjective elements simply by using machine learning, and it is also impractical to collect large-scale learning data with consensus.
  • the present invention has been made in view of the above, and an object thereof is to provide a diagnosis support system, a diagnosis support method, and a diagnosis support program that can provide information that contributes to an objective diagnosis.
  • a diagnosis support system includes a plurality of learned inputs that are generated by machine learning and that input information based on an image of a diagnosis target and output information indicating a diagnosis result for the diagnosis target.
  • a learned model acquisition unit that acquires a model, an image acquisition unit that acquires an image to be analyzed, and a plurality of learned models acquired by the learned model acquisition unit with respect to the image acquired by the image acquisition unit
  • a calculation unit that performs calculation based on the calculation and calculates one piece of information related to the diagnosis by the plurality of learned models, and an output unit that outputs the information calculated by the calculation unit.
  • diagnosis support system calculation is performed on an image based on a plurality of individually learned models, and one piece of information related to diagnosis is calculated.
  • One piece of information relating to the calculated diagnosis is, for example, information indicating the diagnosis result itself for the image, or information indicating the distribution of the diagnosis result among a plurality of learned models. Even if each learned model is not sufficiently objective, calculating one piece of information related to diagnosis using a plurality of learned models in this way makes the calculated information an objective diagnosis. It can contribute. That is, according to the diagnosis support system according to an embodiment of the present invention, it is possible to provide information that contributes to an objective diagnosis.
  • the calculation means inputs information based on the image acquired by the image acquisition means to each of the plurality of learned models acquired by the learned model acquisition means, and outputs a diagnosis result output from each of the plurality of learned models.
  • One piece of information related to diagnosis may be calculated from the information shown. According to this configuration, it is possible to calculate one piece of information related to diagnosis using a plurality of learned models appropriately and reliably. As a result, it is possible to provide information contributing to an objective diagnosis reliably and appropriately.
  • the diagnosis support system acquires learning data used for machine learning, an image showing a diagnosis target and information indicating a diagnosis result for the diagnosis target, and uses information based on the acquired learning data as an input value. And further includes a learned model generating means for generating a learned model by performing machine learning using information indicating a diagnosis result as learning data acquired together with an output value, and the learned model acquiring means is generated by the learned model generating means It is good also as acquiring the learned learned model. According to this configuration, individual learned models can be generated, and an embodiment of the present invention can be implemented appropriately and reliably.
  • the learned model acquisition means may acquire a plurality of learned models including a neural network. According to this configuration, the learned model can be made appropriate, and an embodiment of the present invention can be implemented appropriately and reliably.
  • the present invention can be described as an invention of a diagnosis support system and a diagnosis support program as described below, in addition to being described as an invention of a diagnosis support system as described above.
  • This is substantially the same invention only in different categories, and has the same operations and effects.
  • a diagnosis support method is a diagnosis support method that is an operation method of a diagnosis support system, and inputs information based on an image that is generated by machine learning and includes a diagnosis target.
  • a learned model acquisition step for acquiring a plurality of learned models for outputting information indicating diagnosis results for the diagnosis target, an image acquisition step for acquiring an image to be analyzed, and an image acquired in the image acquisition step
  • the diagnosis support program outputs information indicating a diagnosis result for the diagnosis target by inputting information based on an image showing the diagnosis target while being generated by machine learning using a computer.
  • a learned model acquisition unit that acquires a plurality of learned models, an image acquisition unit that acquires an image to be analyzed, and a plurality of models acquired by the learned model acquisition unit for images acquired by the image acquisition unit
  • calculating means for calculating one piece of information related to the diagnosis by the plurality of learned models and an output means for outputting the information calculated by the calculating means.
  • each learned model is not sufficiently objective, it is calculated by calculating one piece of information related to diagnosis using a plurality of learned models.
  • Information can contribute to objective diagnosis. That is, according to an embodiment of the present invention, information that contributes to an objective diagnosis can be provided.
  • diagnosis assistance system which concerns on embodiment of this invention. It is a sequence diagram which shows the process (diagnosis support method) performed with the diagnosis support system which concerns on embodiment of this invention. It is a figure which shows the structure of the diagnostic assistance program which concerns on embodiment of this invention with a recording medium.
  • FIG. 1 shows a diagnosis support system 1 according to this embodiment.
  • the diagnosis support system 1 is a system (digital pathology system) that supports diagnosis based on images.
  • the diagnosis to be supported is a pathological diagnosis, that is, a diagnosis of the presence or absence of a lesion based on an image of a pathological specimen including a pathological tissue collected from a human body or the like. How diagnosis is supported by the diagnosis support system 1 will be described later.
  • the diagnosis support system 1 includes a plurality of PCs (personal computers) 10 and a server 20.
  • the diagnosis support system 1 according to the present embodiment supports diagnosis using a learned model generated by machine learning.
  • PC 10 is a device that generates a learned model by machine learning.
  • the PC 10 is used, for example, by a user such as a pathologist or pathologist who performs diagnosis.
  • the PC 10 constitutes the personal system of the user. As shown in FIG. 1, the PC 10 is provided for each of a plurality of users.
  • the PC 10 and the server 20 are connected by a wired or wireless network such as the Internet or a telephone network, and can transmit / receive information to / from each other.
  • the server 20 is a device that acquires a plurality of learned models generated by a plurality of PCs 10 and performs information processing related to diagnosis support.
  • the server 20 is provided by an administrator of the diagnosis support system 1 or the like.
  • the server 20 may be configured by a cloud system.
  • the PC 10 and the server 20 are configured by a computer including a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a memory, a communication module, and hardware such as a storage device such as a hard disk drive (HDD) or a solid state drive (SDD). Has been. Each function to be described later of the PC 10 and the server 20 is exhibited when these components are operated by a program or the like. Note that the PC 10 and the server 20 may be a computer system including a plurality of computers.
  • the PC 10 includes a learned model generation unit 11 as a function according to the present embodiment.
  • the PC 10 may have a function that other ordinary PCs have.
  • the learned model generation unit 11 may be realized by a processor and a computer-readable recording medium that stores instructions that, when executed by the processor, cause the processor to execute the function of the learned model generation unit 11.
  • the learned model generation unit 11 is learning model generation means for acquiring learning data used for machine learning and performing machine learning using the acquired learning data to generate a learned model.
  • the learning data includes diagnostic information that is an image showing a diagnostic target and information indicating a diagnostic result for the diagnostic target.
  • the image showing the diagnosis target is a pathological tissue image that is an image of a pathological specimen including a pathological tissue collected from a human body or the like.
  • the image is obtained, for example, by imaging with a camera connected to a microscope.
  • the learned model generation unit 11 acquires, as learning data, an image obtained as described above when a user interface provided in the PC 10 is operated by a user.
  • the PC 10 is connected to an automatic photographing apparatus such as a virtual slide scanner, and the learned model generation unit 11 may acquire a large number of images continuously captured by the automatic photographing apparatus.
  • the image corresponds to the input of the learned model.
  • the learned model generation unit 11 may unify the acquired image size (for example, the number of vertical and horizontal pixels of the image) into a predetermined size, that is, normalize the machine learning appropriately. Image normalization is performed, for example, by performing image reduction, enlargement, trimming, or the like.
  • the learned model generation unit 11 may perform various processes such as contrast adjustment, color change, and format change on the acquired image.
  • the pathological diagnosis is performed in advance on the image used as learning data by the user of the PC 10 or the like. That is, the presence or absence (diagnosis type) of a predetermined type of lesion is diagnosed with respect to the image.
  • the diagnosis information as learning data is information indicating the presence or absence of a predetermined type of lesion based on the diagnosis, for example. Specifically, the diagnosis information is binary information of 1 if there is a lesion (if abnormal) and 0 if there is no lesion (if normal).
  • the diagnosis information as learning data may be information indicating the presence or absence of a lesion for a plurality of types of lesions.
  • the diagnostic information is, for example, a preset dimension vector of the number of lesions of a plurality of types, where the element of the type with the lesion is 1 and the element of the type without the lesion is 0.
  • the diagnosis information which is such a vector can be generated based on a freely described diagnosis name by a user or the like.
  • the diagnosis information corresponds to the output of the learned model.
  • the learned model generation unit 11 acquires diagnostic information as learning data by a user operating a user interface provided in the PC 10.
  • the acquired diagnostic information is associated with the diagnosis source image. In order to perform machine learning, a large number of learning data is usually prepared.
  • the learned model generated by the learned model generation unit 11 is a model that inputs information based on an image and outputs information indicating a diagnosis result, that is, predicts the diagnosis result.
  • the learned model outputs information indicating the presence or absence of a lesion on the image.
  • the learned model includes a neural network.
  • the learned model may include a convolutional neural network.
  • the learned model may include a neural network having a plurality of layers (for example, eight layers or more). That is, a learned model may be generated by deep learning.
  • the neural network inputs the pixel value of each pixel of the image and outputs information indicating the presence or absence of a lesion.
  • the input layer of the neural network as many neurons as the number of pixels of the image are provided.
  • a neuron for outputting information indicating the presence or absence of a lesion is provided in the output layer of the neural network. For example, if the lesion to be diagnosed is one specific lesion, the output layer is provided with one neuron corresponding to the one lesion.
  • the diagnosis target is a plurality of types of lesions (if the diagnosis information is the vector described above), a plurality of neurons corresponding to the plurality of lesions are provided in the output layer.
  • the output value of the neuron is a value corresponding to the diagnosis information of the learning data, for example, a value between 0 and 1.
  • the learned model generation unit 11 uses each pixel value of the acquired image as an input value to the neural network, and performs machine learning using the acquired diagnostic information corresponding to the acquired image as an output value of the neural network to obtain the neural network. Generate. When the pixel value is used as the input value, the input value of the neuron associated with each pixel (pixel position on the image) is used.
  • the above machine learning itself can be performed in the same manner as a conventional machine learning algorithm.
  • the input value to the neural network is the pixel value of the image.
  • the feature value is extracted from the image. Also good. Extraction of the feature amount from the image can be performed by any conventional method. Further, when generating the neural network, statistical processing may be performed on the learning data, and the outlier data may be excluded as noise. The noise can be eliminated in the same manner as the conventional method.
  • the learned model generation unit 11 transmits the generated learned model to the server 20. Generation of the learned model and transmission to the server 20 are performed in each PC 10. Further, in each PC 10, an unknown image may be diagnosed using a learned model generated in each PC 10. Further, the PC 10 may transmit and receive information relating to images and diagnosis to and from the server 20 as will be described later. The above is the function of the PC 10 according to the present embodiment.
  • the server 20 includes a learned model acquisition unit 21, an image acquisition unit 22, a calculation unit 23, and an output unit 24 as functions according to the present embodiment.
  • the learned model acquisition unit 21, the image acquisition unit 22, the calculation unit 23, and the output unit 24 store the processor and instructions that cause the processor to execute the function of each functional unit when executed by the processor. It may be realized by a possible recording medium.
  • the processor may include any general purpose processor or special purpose processor in which software instructions are incorporated into the actual processor design.
  • the learned model acquisition unit 21 is a learned model acquisition unit that acquires a plurality of learned models.
  • the learned model acquisition unit 21 receives and acquires the learned model generated and transmitted in each PC 10.
  • the plurality of learned models acquired by the learned model acquisition unit 21 are stored (accumulated) in the server 20 and used for calculation by the calculation unit 23.
  • the plurality of acquired learned models may be stored in association with the generated PC 10.
  • the image acquisition unit 22 is an image acquisition unit that acquires an image to be analyzed.
  • the analysis target image is a pathological tissue image to be analyzed using the plurality of learned models.
  • the image is acquired and transmitted to the server 20 in the same manner as the learning data image, for example, in the PC 10.
  • the image acquisition unit 22 receives and acquires the image.
  • the image acquisition unit 22 may perform image processing such as image normalization on the image in the same manner as the learning data image. Further, the image processing may be performed in the PC 10. Note that the image may be acquired by a method other than the above.
  • the image acquisition unit 22 outputs the acquired image to the calculation unit 23.
  • the calculation unit 23 performs an operation based on the plurality of learned models acquired by the learned model acquisition unit 21 on the image acquired by the image acquisition unit 22, and relates to diagnosis by the plurality of learned models. It is a calculation means for calculating one piece of information.
  • the calculation unit 23 inputs information based on the image to each of the plurality of learned models, and calculates one piece of information related to diagnosis from information indicating the diagnosis result output from each of the plurality of learned models.
  • the learned model generated in the PC 10 is generated based on a previous pathological diagnosis by a user of the PC 10 as described above. Accordingly, the generated learned model is a highly accurate reproduction of conventional diagnostic criteria (thinking logic) such as a user of the PC 10 who has performed pathological diagnosis. In other words, if the previous pathological diagnosis is not objective, the generated learned model is not necessarily objective. In this embodiment, even if each learned model is not sufficiently objective, the information to be calculated is objectively calculated by calculating information related to one diagnosis using a plurality of learned models. Contributed to diagnosis.
  • the computing unit 23 calculates one piece of information related to diagnosis using a plurality of learned models as follows.
  • the calculation unit 23 inputs an analysis target image from the image acquisition unit 22 and reads a plurality of learned models acquired by the learned model acquisition unit 21 and stored in the PC 10.
  • the calculation unit 23 calculates one diagnosis result based on a plurality of learned models as one piece of information for the analysis target image, that is, predicts the diagnosis result.
  • the calculation unit 23 performs a calculation according to each neural network using the pixel value of each pixel of the image to be analyzed as an input value to each neural network that is a learned model, and outputs the value from each neural network. Get.
  • the calculation unit 23 calculates one diagnosis result by performing a calculation based on these output values.
  • the calculation unit 23 calculates, for example, one diagnosis result from each output value.
  • the calculation unit 23 compares each output value with a preset threshold value, determines that there is a lesion if the output value is equal to or greater than the threshold value, and determines that there is no lesion if the output value is less than the threshold value. To do. Since there are as many output values as the number of the plurality of learned models, the determination is performed by the number of the plurality of learned models. If there are output values for a plurality of types of lesions, the calculation unit 23 makes a determination for each type of lesion. The calculation unit 23 compares the number of output values determined to have a lesion with the number of output values determined to have no lesion.
  • the calculation unit 23 assumes that there is a lesion as one diagnosis result by a plurality of learned models for the image to be analyzed.
  • the calculation unit 23 assumes that there is no lesion as one diagnosis result of a plurality of learned models for the image to be analyzed. This is an example of information indicating one diagnosis result.
  • the calculation unit 23 may use the distribution of output values from each neural network, that is, the distribution of diagnosis results of individual learned models as information indicating one diagnosis result.
  • the calculation unit 23 may calculate information other than the direct diagnosis result as one information related to diagnosis by a plurality of learned models. For example, the calculation unit 23 may calculate information indicating coincidence / mismatch between the diagnosis result of the learned model associated with the PC 10 that is the generation source of the analysis target image and the diagnosis result of the other learned model. . Specifically, the number of coincidence and the number of disagreement may be calculated. In other words, the calculation unit 23 may perform a difference analysis of the diagnosis result based on the learned model. With this information, the user can grasp how much the diagnosis result matches with other users. That is, the user can perform a peer review.
  • the calculation unit 23 may calculate one piece of information related to diagnosis by a method other than the above.
  • the calculation unit 23 may calculate one piece of information related to diagnosis by performing digital processing such as arbitrary conventional statistical processing on information output from each learned model.
  • the calculation unit 23 outputs one piece of information related to the diagnosis based on the calculated plurality of learned models to the output unit 24.
  • the output unit 24 is an output unit that outputs information calculated by the calculation unit 23.
  • the output unit 24 inputs information from the calculation unit 23.
  • the output unit 24 transmits and outputs information to the PC 10 that is the transmission source of the analysis image.
  • the PC 10 receives the information and displays it.
  • the output unit 24 may output information by a method other than the above. The above is the function of the server 20 according to the present embodiment.
  • diagnosis support method that is a process (an operation method performed by the diagnosis support system 1) executed by the diagnosis support system 1 according to the present embodiment will be described with reference to the sequence diagram of FIG.
  • learning data is acquired by the learned model generation unit 11, machine learning is performed using the acquired learning data, and a learned model is generated.
  • S01 learned model generation step
  • the generated learned model is transmitted from the learned model generation unit 11 to the server 20 (S02).
  • the learned models transmitted from the plurality of PCs 10 are received and acquired by the learned model acquisition unit 21 (S02, learned model acquisition step).
  • the acquired learned models are stored in the server 20.
  • an image to be analyzed is acquired by the PC 10 (S03).
  • the analysis target image is, for example, a pathological tissue image captured by a camera connected to a microscope.
  • the analysis target image is transmitted from the PC 10 to the server 20 (S04).
  • the analysis target image transmitted from the PC 10 is received and acquired by the image acquisition unit 22 (S04, image acquisition step).
  • the calculation unit 23 inputs information based on the image to each of the plurality of learned models, performs an operation according to each of the plurality of learned models, and outputs the diagnosis from each of the plurality of learned models. Information indicating the result is obtained (S05, calculation step). Subsequently, the calculation unit 23 performs an operation based on information indicating the diagnosis result output from each of the plurality of learned models, and one piece of information related to diagnosis by the plurality of learned models, for example, one diagnosis result Is calculated (S06, calculation step).
  • one piece of information related to diagnosis is calculated by performing an operation on the analysis target image based on a plurality of individually learned models. Even if each learned model is not sufficiently objective, by calculating one piece of information related to diagnosis using a plurality of learned models in this manner, It can contribute to the excluded objective diagnosis. That is, according to the present embodiment, information that contributes to an objective diagnosis can be provided.
  • the learned model indicates the conventional diagnostic criteria for the user of the PC 10 or the like.
  • standardization of diagnosis criteria can be achieved.
  • each learned model is generated by learning data of users around the world, it is possible to standardize the diagnostic criteria globally.
  • information related to diagnosis is calculated by information processing based on images, it is possible to improve diagnosis efficiency, labor saving, time reduction, and the like. This allows a large number of diagnoses to be made by a small number of pathologists.
  • information based on images is input to each of a plurality of learned models, and one piece of information related to diagnosis is obtained from information indicating diagnosis results output from each of the plurality of learned models. It may be calculated. As a result, it is possible to provide information contributing to an objective diagnosis reliably and appropriately. However, calculation of one piece of information related to diagnosis may be performed by a method other than the above.
  • the diagnosis support system 1 may perform machine learning to generate a learned model. According to this configuration, individual learned models can be generated, and an embodiment of the present invention can be implemented appropriately and reliably. In addition, the generation of machine learning may be performed in each PC 10 instead of the server 20 as in the present embodiment. That is, an edge heavy computing configuration may be adopted. With this configuration, the diagnosis support system 1 can be realized without imposing a large load on the server 20. Further, if the user of each PC 10 is a pathologist, the use of the diagnosis support system 1 by the user itself also plays a role of data collection, so that high-quality learning data can be collected. Can be high. In addition, when learning data is acquired by each PC 10 and machine learning is performed, the server 20 can acquire a learned model dynamically, on a large scale, and efficiently without having to acquire learning data. Can do.
  • the analysis result of the image by the server 20 may be used from the PC 10 as in the above-described embodiment. That is, the user of each PC 10 may be able to cross-reference information that contributes to objective diagnosis. According to this configuration, an objective diagnosis can be performed for each user, and an objective diagnosis criterion can be achieved.
  • the diagnosis support system 1 may be configured not to generate a learned model. That is, the diagnosis support system 1 may be configured without the PC 10. In that case, the diagnosis support system 1 only needs to acquire a plurality of learned models from devices other than the diagnosis support system 1.
  • the learned model may include a neural network.
  • the learned model can be made appropriate, and an embodiment of the present invention can be implemented appropriately and reliably.
  • the learned model may be other than that including a neural network as long as it is generated by machine learning.
  • the diagnosis according to the present embodiment is for determining the presence or absence of a lesion, but other diagnosis may be used. For example, a state indicating a lesion or a numerical value (for example, an early diagnosis marker value) may be determined.
  • this embodiment may target non-human animals (for example, domestic animals, pets, laboratory animals). Moreover, this embodiment may perform a toxic pathological diagnosis.
  • the pathological diagnosis is targeted, but the pathological diagnosis is not necessarily targeted.
  • an image used for diagnosis may be an electrocardiogram, an X-ray photograph, a CT (Computed Tomography) image, an MRI (Magnetic Resonance Imaging) image, or the like instead of an image of a pathological specimen.
  • diagnosis other than the diagnosis related to the lesion may be targeted.
  • information input to the learned model that is, information used for diagnosis is information based on an image, but other information may be input to the learned model.
  • information input to the learned model that is, information used for diagnosis is information based on an image, but other information may be input to the learned model.
  • various blood biochemical parameters, early diagnosis marker values, and the like of the subject of diagnosis may be input to the learned model.
  • a learned model obtained by performing machine learning using a past pathological image and a current diagnosis result may be used as learning data. That is, for example, machine learning may be performed using a pathological image at a past time point when a lesion has not occurred for a person who has a lesion.
  • machine learning may be performed using a pathological image at a past time point when a lesion has not occurred for a person who has a lesion.
  • the diagnosis support program 100 includes a PC side program 110 and a server side program 120.
  • the PC-side program 110 is accessed by being inserted into a computer having the same hardware configuration as the PC 10 described above, or stored in a program storage area 211 formed in a recording medium 210 provided in the computer.
  • the server-side program 120 is inserted into a computer having the same hardware configuration as that of the server 20 described above and accessed, or stored in a program storage area 221 formed in a recording medium 220 provided in the computer.
  • the PC side program 110 includes a learned model generation module 111.
  • the function realized by executing the learned model generation module 111 is the same as the function of the learned model generation unit 11 of the PC 10 described above.
  • the server-side program 120 includes a learned model acquisition module 121, an image acquisition module 122, a calculation module 123, and an output module 124.
  • the functions realized by executing the learned model acquisition module 121, the image acquisition module 122, the calculation module 123, and the output module 124 include the learned model acquisition unit 21 of the server 20 and the image acquisition unit described above. 22, the calculation unit 23, and the output unit 24 have the same functions.
  • a part or all of the diagnostic support program 100 may be transmitted via a transmission medium such as a communication line and received and recorded (including installation) by another device. Further, each module of the diagnosis support program 100 may be installed in any one of a plurality of computers instead of one computer. In this case, the series of processes related to the diagnostic support program 100 described above is performed by the computer system using the plurality of computers.
  • Diagnosis support system 10 ... PC, 11 ... Learned model production

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

客観的な診断に資する情報を提供する。　診断支援システム１のサーバ２０は、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得部２１と、解析対象の画像を取得する画像取得部２２と、取得された画像に対して、複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算部２３と、演算部２３によって算出された情報を出力する出力部２４とを備える。

Description

診断支援システム、診断支援方法及び診断支援プログラム
　本発明は、画像に基づく診断に係る診断支援システム、診断支援方法及び診断支援プログラムに関する。
　従来、病理組織の検査（病理診断）分野においては、スライドガラス上の病理標本を専門の病理学者が顕微鏡下で観察することで診断が行われてきた。当該診断は観察した病理学者個人の経験・知識に大きく依存する主観的な判定である。そのため、客観的な診断を行うことは困難である。そこで病理診断分野では、ある病理学者の診断結果を他の病理学者が評価・論評することで主観的判定のリスクを軽減するピアレビュー制度が取られてきた。しかしながら、あらゆる病理診断結果についてピアレビューを実施することは極めて非効率的である。加えて、ピアレビューにおける最終判定も病理学者間の議論によってなされるため、担当者個人の経験・知識・発言力に大きく依存する結果となる。従って、原理的に主観的要素を排除することはできず、客観的に病理診断を行うのは困難であった。
　一方、機械学習を用いて画像に基づく病理診断を自動化する試みが行われている（例えば、特許文献１）。
国際公開第２０１６／１５２２４２号
　機械学習を用いた病理診断は、病理診断の効率化に資するが、客観的な病理診断を行うためには、機械学習を行うためのコンセンサスが得られた大規模な学習データ（教師データ）を収集する必要がある。この学習データ収集には、各症例についての病理学者間での対人議論が必要不可欠であり、上述した問題が生じる。即ち、単に機械学習を用いるだけでは、主観的要素の排除は容易ではなく、また、コンセンサスが得られた大規模な学習データを収集することも非現実的である。
　本発明は、上記に鑑みてなされたものであり、客観的な診断に資する情報を提供することができる診断支援システム、診断支援方法及び診断支援プログラムを提供することを目的とする。
　本発明の一実施形態に係る診断支援システムは、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、解析対象の画像を取得する画像取得手段と、画像取得手段によって取得された画像に対して、学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、演算手段によって算出された情報を出力する出力手段と、を備える。
　本発明の一実施形態に係る診断支援システムでは、画像に対して、個々に生成された複数の学習済モデルに基づいて演算が行われて診断に係る一つの情報が算出される。算出される診断に係る一つの情報としては、例えば、画像に対する診断結果自体を示す情報、あるいは複数の学習済モデル間での診断結果の分布を示す情報である。個々の学習済モデルが十分に客観的なものでなかったとしても、このように複数の学習済モデルを用いて診断に係る一つの情報を算出することで、算出する情報を客観的な診断に資するものとすることができる。即ち、本発明の一実施形態に係る診断支援システムによれば、客観的な診断に資する情報を提供することができる。
　演算手段は、画像取得手段によって取得された画像に基づく情報を、学習済モデル取得手段によって取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報から、診断に係る一つの情報を算出することとしてもよい。この構成によれば、適切かつ確実に複数の学習済モデルによる診断に係る一つの情報を算出することができる。その結果、確実かつ適切に客観的な診断に資する情報を提供することができる。
　診断支援システムは、機械学習に用いる学習データである、診断対象が写った画像及び当該診断対象に対する診断結果を示す情報を取得して、取得した学習データである画像に基づく情報を入力値とすると共に取得した学習データである診断結果を示す情報を出力値として機械学習を行って学習済モデルを生成する学習済モデル生成手段を更に備え、学習済モデル取得手段は、学習済モデル生成手段によって生成された学習済モデルを取得する、こととしてもよい。この構成によれば、個々の学習済モデルを生成することができ、適切かつ確実に本発明の一実施形態を実施することができる。
　学習済モデル取得手段は、ニューラルネットワークを含む複数の学習済モデルを取得することとしてもよい。この構成によれば、学習済モデルを適切なものとすることができ、適切かつ確実に本発明の一実施形態を実施することができる。
　ところで、本発明は、上記のように診断支援システムの発明として記述できる他に、以下のように診断支援方法及び診断支援プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
　即ち、本発明の一実施形態に係る診断支援方法は、診断支援システムの動作方法である診断支援方法であって、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得ステップと、解析対象の画像を取得する画像取得ステップと、画像取得ステップにおいて取得された画像に対して、学習済モデル取得ステップにおいて取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算ステップと、演算ステップにおいて算出された情報を出力する出力ステップと、を含む。
　また、本発明の一実施形態に係る診断支援プログラムは、コンピュータを、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、解析対象の画像を取得する画像取得手段と、画像取得手段によって取得された画像に対して、学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、演算手段によって算出された情報を出力する出力手段と、として機能させる。
　本発明の一実施形態によれば、個々の学習済モデルが十分に客観的なものでなかったとしても、複数の学習済モデルを用いて診断に係る一つの情報を算出することで、算出する情報を客観的な診断に資するものとすることができる。即ち、本発明の一実施形態によれば、客観的な診断に資する情報を提供することができる。
本発明の実施形態に係る診断支援システムの構成を示す図である。 本発明の実施形態に係る診断支援システムで実行される処理（診断支援方法）を示すシーケンス図である。 本発明の実施形態に係る診断支援プログラムの構成を、記録媒体と共に示す図である。
　以下、図面と共に本発明に係る診断支援システム、診断支援方法及び診断支援プログラムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１に本実施形態に係る診断支援システム１を示す。診断支援システム１は、画像に基づく診断を支援するシステム（デジタルパソロジーシステム）である。支援の対象となる診断は、病理診断、即ち、人体等から採取された病理組織を含む病理標本の画像に基づく病変の有無等の診断である。診断支援システム１によって、どのように診断が支援されるかについては後述する。
　図１に示すように診断支援システム１は、複数のＰＣ（パーソナルコンピュータ）１０と、サーバ２０とを含んで構成される。本実施形態に係る診断支援システム１は、機械学習によって生成される学習済モデルを用いて診断の支援を行う。
　ＰＣ１０は、機械学習によって学習済モデルを生成する装置である。ＰＣ１０は、例えば、診断を行う病理学者、病理医等のユーザーによって用いられる。ＰＣ１０は、当該ユーザーのパーソナルシステムを構成する。図１に示すようにＰＣ１０は、複数のユーザー毎に設けられる。ＰＣ１０とサーバ２０とは、インターネット、又は電話網等の有線又は無線のネットワークによって接続されており、互いに情報の送受信を行うことができる。
　サーバ２０は、複数のＰＣ１０それぞれによって生成された複数の学習済モデルを取得して、診断の支援に係る情報処理を行う装置である。サーバ２０は、診断支援システム１の管理者等によって設けられる。サーバ２０は、クラウドシステムによって構成されていてもよい。
　ＰＣ１０及びサーバ２０は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、メモリ、通信モジュール、並びにハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＤＤ）といったストレージデバイス等のハードウェアを含むコンピュータによって構成されている。ＰＣ１０及びサーバ２０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。なお、ＰＣ１０及びサーバ２０は、複数のコンピュータからなるコンピュータシステムであってもよい。
　図１に示すように、ＰＣ１０は、本実施形態に係る機能として学習済モデル生成部１１を備えて構成される。なお、ＰＣ１０は、上記以外の通常のＰＣが備える機能を備えていてもよい。学習済モデル生成部１１は、プロセッサ、及び当該プロセッサによって実行された際に当該プロセッサに学習済モデル生成部１１の機能を実行させる命令を記憶するコンピュータ読み取り可能な記録媒体によって実現されてもよい。
　学習済モデル生成部１１は、機械学習に用いる学習データを取得して、取得した学習データを用いて機械学習を行って学習済モデルを生成する学習済モデル生成手段である。学習データは、診断対象が写った画像及び当該診断対象に対する診断結果を示す情報である診断情報を含む。診断対象が写った画像は、人体等から採取された病理組織を含む病理標本の画像である病理組織画像である。当該画像は、例えば、顕微鏡に接続されたカメラでの撮像によって得られる。学習済モデル生成部１１は、例えば、ＰＣ１０に設けられたユーザーインターフェースがユーザーによって操作されて上記のように得られた画像を学習データとして取得する。また、ＰＣ１０は、バーチャルスライドスキャナ等の自動撮影装置に接続されており、学習済モデル生成部１１は、自動撮影装置によって連続的に撮像された多数の画像を取得してもよい。画像は、学習済モデルの入力に対応するものである。
　学習済モデル生成部１１は、機械学習を適切に行うため、取得した画像のサイズ（例えば、画像の縦横の画素数）を予め設定したサイズに統一する、即ち、正規化することとしてもよい。画像の正規化は、例えば、画像の縮小、拡大、トリミング等を行うことで行われる。また、学習済モデル生成部１１は、取得した画像に対して、コントラストの調整、色の変更、及びフォーマットの変更等の各種の処理を行うこととしてもよい。
　学習データとして用いる画像に対しては、ＰＣ１０のユーザー等によって予め病理診断がなされている。即ち、画像に対して、所定の種別の病変の有無（診断種別）が診断されている。学習データとしての診断情報は、例えば、当該診断に基づく、予め設定された種別の病変の有無を示す情報である。診断情報は、具体的には、病変があれば（異常であれば）１、病変がなければ（正常であれば）０の二値の情報とされる。また、学習データとしての診断情報は、複数の種別の病変について病変の有無を示す情報であってもよい。この場合、診断情報は、例えば、予め設定された複数の種別の病変の数の次元のベクトルであり、病変がある種別の要素が１とされ、病変がない種別の要素が０とされる。このようなベクトルである診断情報は、ユーザー等による自由記載の診断名に基づいて生成され得る。診断情報は、学習済モデルの出力に対応するものである。学習済モデル生成部１１は、ＰＣ１０に設けられたユーザーインターフェースがユーザーによって操作されて、診断情報を学習データとして取得する。取得する診断情報は、診断元の画像に対応付けられている。機械学習を行うため、通常、多数の学習データが用意される。
　学習済モデル生成部１１によって生成される学習済モデルは、画像に基づく情報を入力して、診断結果を示す情報を出力する、即ち、診断結果を予測するモデルである。例えば、当該学習済モデルは、画像に対する病変の有無を示す情報を出力する。学習済モデルは、ニューラルネットワークを含む。学習済モデルは、畳み込みニューラルネットワークを含むものであってもよい。更に、学習済モデルは、複数の階層（例えば、８層以上）のニューラルネットワークを含むものであってもよい。即ち、ディープラーニングによって学習済モデルが生成されてもよい。
　ニューラルネットワークは、例えば、画像の各画素の画素値を入力して、病変の有無を示す情報を出力する。ニューラルネットワークの入力層には、画像の画素の数分のニューロンが設けられる。ニューラルネットワークの出力層には、病変の有無を示す情報を出力するためのニューロンが設けられる。例えば、診断対象の病変が、特定の１つの病変であれば、出力層には当該１つの病変に対応する１つのニューロンが設けられる。診断対象が複数の種別の病変であれば（診断情報が上述したベクトルであれば）、出力層には当該複数の病変に対応する複数のニューロンが設けられる。当該ニューロンの出力値は、学習データの診断情報に応じた値であり、例えば、０～１の値である。この場合、ニューロンの値が大きい程（値が１に近い程）、病変があり（異常であり）、ニューロンの値が小さい程（値が０に近い程）、病変がない（正常である）ことを示している。
　学習済モデル生成部１１は、取得した画像の各画素値をニューラルネットワークへの入力値とすると共に、取得した当該画像に対応する診断情報をニューラルネットワークの出力値として機械学習を行ってニューラルネットワークを生成する。画素値を入力値とする際には、それぞれの画素（画像上の画素の位置）に対応付いたニューロンの入力値とする。上記の機械学習自体は、従来の機械学習アルゴリズムと同様に行うことができる。
　なお、上記の例では、ニューラルネットワークへの入力値は、画像の画素値であることとしたが、画素値にかえて、あるいは画素値に加えて、画像から抽出される特徴量であることとしてもよい。画像からの特徴量の抽出は、従来の任意の方法によって行うことができる。また、ニューラルネットワークを生成する際、学習データに対する統計学的処理を行って、外れデータをノイズとして排除することとしてもよい。当該ノイズの排除は、従来の方法と同様に行うことができる。
　学習済モデル生成部１１は、生成した学習済モデルをサーバ２０に送信する。学習済モデルの生成及びサーバ２０への送信は、各ＰＣ１０においてそれぞれ行われる。また、各ＰＣ１０においては、それぞれのＰＣ１０において生成された学習済モデルが用いられて、未知の画像に対する診断が行われてもよい。また、ＰＣ１０は、後述するようにサーバ２０との間で画像及び診断に係る情報の送受信を行うこととしてもよい。以上が、本実施形態に係るＰＣ１０の機能である。
　図１に示すように、サーバ２０は、本実施形態に係る機能として学習済モデル取得部２１と、画像取得部２２と、演算部２３と、出力部２４とを備えて構成される。学習済モデル取得部２１、画像取得部２２、演算部２３及び出力部２４は、プロセッサ、及び当該プロセッサによって実行された際に当該プロセッサにそれぞれの機能部の機能を実行させる命令を記憶するコンピュータ読み取り可能な記録媒体によって実現されてもよい。プロセッサは、任意の汎用のプロセッサ、又はソフトウェアの命令が実際のプロセッサのデザインに組み込まれた特殊用途のプロセッサを含んでいてもよい。
　学習済モデル取得部２１は、複数の学習済モデルを取得する学習済モデル取得手段である。学習済モデル取得部２１は、各ＰＣ１０において生成され送信された学習済モデルを受信して取得する。学習済モデル取得部２１によって取得された複数の学習済モデルは、サーバ２０に記憶（蓄積）され、演算部２３による演算に用いられる。取得された複数の学習済モデルは、生成されたＰＣ１０に対応付けられて記憶されてもよい。
　画像取得部２２は、解析対象の画像を取得する画像取得手段である。解析対象の画像は、上記の複数の学習済モデルを用いた解析の対象となる病理組織画像である。当該画像は、例えば、ＰＣ１０において、学習データの画像と同様に取得されてサーバ２０に送信される。画像取得部２２は、当該画像を受信して取得する。画像取得部２２は、当該画像に対して、学習データの画像と同様に画像の正規化等の画像処理を行ってもよい。また、画像処理は、ＰＣ１０において行われてもよい。なお、当該画像は、上記以外の方法で取得されてもよい。画像取得部２２は、取得した画像を演算部２３に出力する。
　演算部２３は、画像取得部２２によって取得された画像に対して、学習済モデル取得部２１によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段である。演算部２３は、当該画像に基づく情報を、複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報から、診断に係る一つの情報を算出する。
　ＰＣ１０において生成される学習済モデルは、上述したように、ＰＣ１０のユーザー等による予めの病理診断に基づいて生成される。従って、生成される学習済モデルは、病理診断を行ったＰＣ１０のユーザー等の従来の診断基準（思考ロジック）を高精度に再現したものとなる。即ち、予めの病理診断が客観的なものでなければ、生成される学習済モデルも必ずしも客観的なものであるとは言えない。本実施形態では、個々の学習済モデルが十分に客観的なものでなかったとしても、複数の学習済モデルを用いて一つの診断に係る情報を算出することで、算出する情報が客観的な診断に資するものとされる。
　演算部２３は、具体的には、以下のように複数の学習済モデルによる診断に係る一つの情報を算出する。演算部２３は、画像取得部２２から解析対象の画像を入力すると共に、学習済モデル取得部２１によって取得されてＰＣ１０に記憶されている複数の学習済モデルを読み出す。演算部２３は、例えば、解析対象の画像に対して、一つの情報として、複数の学習済モデルによる一つの診断結果を算出する、即ち、診断結果を予測する。この場合、演算部２３は、解析対象の画像の各画素の画素値を学習済モデルである各ニューラルネットワークへの入力値として各ニューラルネットワークに応じた演算を行って、各ニューラルネットワークからの出力値を得る。演算部２３は、これらの出力値に基づく演算を行って一つの診断結果を算出する。
　演算部２３は、例えば、各出力値から一つの診断結果を算出する。演算部２３は、各出力値について、予め設定された閾値と比較して、出力値が閾値以上である場合、病変があると判断し、出力値が閾値未満である場合、病変がないと判断する。出力値は、複数の学習済モデルの数だけあるので、当該判断は複数の学習済モデルの数分、行われる。なお、複数の種別の病変について出力値がある場合には、演算部２３は、病変の種別毎に判断する。演算部２３は、病変があると判断された出力値の数と、病変がないと判断された出力値の数とを比較する。
　病変があると判断された数が多かった場合、演算部２３は、解析対象の画像に対する複数の学習済モデルによる一つの診断結果として病変があるとする。病変がないと判断された数が多かった場合、演算部２３は、解析対象の画像に対する複数の学習済モデルによる一つの診断結果として病変がないとする。これが、一つの診断結果を示す情報の一例である。あるいは、演算部２３は、各ニューラルネットワークからの出力値の分布、即ち、個々の学習済モデルの診断結果の分布を一つの診断結果を示す情報としてもよい。
　上記にかえて、あるいは加えて、演算部２３は、直接的な診断結果以外の情報を、複数の学習済モデルによる診断に係る一つの情報として算出してもよい。例えば、演算部２３は、解析対象の画像の生成元のＰＣ１０に対応付けられた学習済モデルによる診断結果とそれ以外の学習済モデルによる診断結果との一致不一致を示す情報を算出してもよい。具体的には、それらが一致していた数及び不一致であった数を算出してもよい。即ち、演算部２３は、学習済モデルによる診断結果の差異分析を行ってもよい。この情報によって、ユーザーは、他のユーザーとどの程度診断結果が一致しているのか否かを把握することができる。即ち、ユーザーは、ピアレビューを実施することができる。
　演算部２３は、上記以外の方法によって診断に係る一つの情報を算出してもよい。演算部２３は、例えば、個々の学習済モデルから出力される情報に対して、従来の任意の統計学的処理等のデジタル処理を行って診断に係る一つの情報を算出してもよい。演算部２３は、算出した複数の学習済モデルによる診断に係る一つの情報を出力部２４に出力する。
　出力部２４は、演算部２３によって算出された情報を出力する出力手段である。出力部２４は、演算部２３から情報を入力する。出力部２４は、例えば、解析画像の送信元であるＰＣ１０に情報を送信して出力する。ＰＣ１０では、当該情報が受信されて表示等がなされる。これによって、ＰＣ１０のユーザーは、複数の学習済モデルによる診断に係る一つの情報を参照して、診断に役立てることができる。また、出力部２４は、上記以外の方法で情報を出力してもよい。以上が、本実施形態に係るサーバ２０の機能である。
　引き続いて、図２のシーケンス図を用いて、本実施形態に係る診断支援システム１で実行される処理（診断支援システム１が行う動作方法）である診断支援方法を説明する。まず、診断支援システム１に含まれるそれぞれのＰＣ１０において、学習済モデル生成部１１によって、学習データが取得されて、取得された学習データが用いられて機械学習が行われて学習済モデルが生成される（Ｓ０１、学習済モデル生成ステップ）。生成された学習済モデルは、学習済モデル生成部１１からサーバ２０に送信される（Ｓ０２）。
　サーバ２０では、複数のＰＣ１０から送信された学習済モデルが、学習済モデル取得部２１によって受信されて取得される（Ｓ０２、学習済モデル取得ステップ）。取得された複数の学習済モデルは、サーバ２０に記憶される。
　続いて、ＰＣ１０によって、解析対象の画像が取得される（Ｓ０３）。解析対象の画像は、例えば、顕微鏡に接続されたカメラで撮像された病理組織画像である。解析対象の画像は、ＰＣ１０からサーバ２０に送信される（Ｓ０４）。サーバ２０では、ＰＣ１０から送信された解析対象の画像が、画像取得部２２によって受信されて取得される（Ｓ０４、画像取得ステップ）。
　続いて、演算部２３によって、当該画像に基づく情報が複数の学習済モデルそれぞれに入力され、複数の学習済モデルそれぞれに応じた演算が行われて、複数の学習済モデルそれぞれから出力される診断結果を示す情報が得られる（Ｓ０５、演算ステップ）。続いて、演算部２３によって、複数の学習済モデルそれぞれから出力される診断結果を示す情報に基づく演算が行われて、複数の学習済モデルによる診断に係る一つの情報、例えば、一つの診断結果が算出される（Ｓ０６、演算ステップ）。
　続いて、演算部２３によって算出された情報、例えば、一つの診断結果を示す情報が、出力部２４からＰＣ１０に送信されて出力される（Ｓ０７、出力ステップ）。当該情報は、ＰＣ１０によって受信されて、当該情報の表示等の出力が行われる（Ｓ０８）。以上が、本実施形態に係る診断支援方法である。
　上述したように本実施形態では、解析対象の画像に対して、個々に生成された複数の学習済モデルに基づいて演算が行われて診断に係る一つの情報が算出される。個々の学習済モデルが十分に客観的なものでなかったとしても、このように複数の学習済モデルを用いて診断に係る一つの情報を算出することで、算出する情報を主観的な要素を排除した客観的な診断に資するものとすることができる。即ち、本実施形態によれば、客観的な診断に資する情報を提供することができる。
　上述したように学習済モデルは、ＰＣ１０のユーザー等の従来の診断基準を示したものである。複数の学習済モデルに基づいて診断に係る一つの情報が算出されることで、診断基準の標準化を図ることができる。また、個々の学習済モデルが、世界のユーザーの学習データによって生成されたものであれば、診断基準の世界標準化を図ることができる。
　また、画像に基づく情報処理によって診断に係る情報が算出されるため、診断の効率化、省力化、時間短縮等を図ることができる。これにより、少数の病理学者によって多数の診断を行うことが可能になる。
　また、本実施形態のように、画像に基づく情報を、複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報から、診断に係る一つの情報を算出することとしてもよい。その結果、確実かつ適切に客観的な診断に資する情報を提供することができる。但し、診断に係る一つの情報の算出は、上記以外の方法で行われてもよい。
　また、本実施形態のように、診断支援システム１において、機械学習を行って学習済モデルを生成することとしてもよい。この構成によれば、個々の学習済モデルを生成することができ、適切かつ確実に本発明の一実施形態を実施することができる。また、本実施形態のように機械学習の生成は、サーバ２０ではなく、個々のＰＣ１０において行われることとしてもよい。即ち、エッジヘビーコンピューティングの構成を取ることとしてもよい。この構成を取ることで、サーバ２０に大きな負荷をかけることなく、診断支援システム１を実現することができる。また、各ＰＣ１０のユーザーが病理学者であれば、ユーザーによる診断支援システム１の利用自体がデータ収集の役割をも担い、質の高い学習データを収集することができ、個々の学習済モデルを質の高いものとすることができる。また、個々のＰＣ１０で学習データが取得されて機械学習が行われることで、サーバ２０は、自身が学習データを取得する必要なく、動的、大規模かつ効率的に学習済モデルを取得することができる。
　また、サーバ２０による画像の解析結果も、上述した実施形態のようにＰＣ１０から利用できるようにしてもよい。即ち、各ＰＣ１０のユーザーが、客観的な診断に資する情報を相互参照できるようにしてもよい。この構成によれば、各ユーザーにおいて客観的な診断を行うことができ、診断基準の客観化を図ることができる。
　但し、学習済モデルの生成を個々のＰＣ１０で行う構成を取る必要はなく、サーバ２０において学習済モデルの生成が行われてもよい。また、診断支援システム１において、学習済モデルを生成しない構成としてもよい。即ち、診断支援システム１は、ＰＣ１０を備えない構成としてもよい。その場合、診断支援システム１は、診断支援システム１以外の装置から、複数の学習済モデルを取得できればよい。
　また、本実施形態のように学習済モデルは、ニューラルネットワークを含むものとしてもよい。この構成によれば、学習済モデルを適切なものとすることができ、適切かつ確実に本発明の一実施形態を実施することができる。但し、学習済モデルは、機械学習によって生成されるものであれば、ニューラルネットワークを含むもの以外であってもよい。
　上述したように本実施形態に係る診断は、病変の有無を判断するものであったが、それ以外の診断であってもよい。例えば、病変を示す状態又は数値（例えば、早期診断マーカー値）等を判断するものであってもよい。また、本実施形態は、ヒトに加えて、ヒト以外の動物（例えば、家畜、ペット、実験動物）を対象としてもよい。また、本実施形態は、毒性病理診断を行うものであってもよい。
　また、上述したように本実施形態では、病理診断を対象としたが、必ずしも病理診断を対象としなくてもよい。例えば、診断に用いる画像を病理標本の画像ではなく、心電図、レントゲン写真、ＣＴ（Computed　Tomography）画像又はＭＲＩ（Magnetic　Resonance　Imaging）画像等としてもよい。また、病変に係る診断以外の診断を対象としてもよい。
　上述したように本実施形態では、学習済モデルに入力する情報、即ち、診断に用いる情報は、画像に基づく情報としたが、それ以外の情報も学習済モデルに入力することとしてもよい。例えば、診断の対象者の各種血液生化学的パラメーター、及び早期診断マーカー値等を学習済モデルに入力することとしてもよい。
　また、本実施形態では、学習データとして、過去の病理画像及び現時点の診断結果を用いて機械学習を行った学習済モデルを用いることとしてもよい。即ち、例えば、病変が発生している人物についての、病変が発生していない過去の時点の病理画像を用いて機械学習を行うこととしてもよい。これによって、病変がないと判断され得る病理画像（正常画像）に対して、後に病変が発生する（異常化する）、あるいは後にも病変が発生しない（異常化しない）ことを判断することが可能となる。即ち、このような構成を取ることで、早期診断を行うことが可能になる。
　また、本実施形態に係る複数の学習済モデルを用いて、病変があると判断される画像を逆算して無数に発生させることとしてもよい。これにより、従来知られていなかった希少異常像を発見することができる。
　引き続いて、上述した一連の診断支援システム１による処理をコンピュータに実行させるための診断支援プログラムを説明する。図３に示すように、診断支援プログラム１００は、ＰＣ側プログラム１１０と、サーバ側プログラム１２０とを含んで構成される。ＰＣ側プログラム１１０は、上述したＰＣ１０と同様のハードウェア構成のコンピュータに挿入されてアクセスされる、あるいは当該コンピュータが備える記録媒体２１０に形成されたプログラム格納領域２１１内に格納される。サーバ側プログラム１２０は、上述したサーバ２０と同様のハードウェア構成のコンピュータに挿入されてアクセスされる、あるいは当該コンピュータが備える記録媒体２２０に形成されたプログラム格納領域２２１内に格納される。
　ＰＣ側プログラム１１０は、学習済モデル生成モジュール１１１を備えて構成される。学習済モデル生成モジュール１１１を実行させることにより実現される機能は、上述したＰＣ１０の学習済モデル生成部１１の機能と同様である。
　サーバ側プログラム１２０は、学習済モデル取得モジュール１２１と、画像取得モジュール１２２と、演算モジュール１２３と、出力モジュール１２４とを備えて構成される。学習済モデル取得モジュール１２１と、画像取得モジュール１２２と、演算モジュール１２３と、出力モジュール１２４とを実行させることにより実現される機能は、上述したサーバ２０の学習済モデル取得部２１と、画像取得部２２と、演算部２３と、出力部２４との機能とそれぞれ同様である。
　なお、診断支援プログラム１００は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、診断支援プログラム１００の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の診断支援プログラム１００に係る処理が行われる。
　１…診断支援システム、１０…ＰＣ、１１…学習済モデル生成部、２０…サーバ、２１…学習済モデル取得部、２２…画像取得部、２３…演算部、２４…出力部、１００…診断支援プログラム、１１０…ＰＣ側プログラム、１１１…学習済モデル生成モジュール、１２０…サーバ側プログラム、１２１…学習済モデル取得モジュール、１２２…画像取得モジュール、１２３…演算モジュール、１２４…出力モジュール、２１０，２２０…記録媒体、２１１，２２１…プログラム格納領域。

Claims (6)

  1. 　機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、
    　解析対象の画像を取得する画像取得手段と、
    　前記画像取得手段によって取得された画像に対して、前記学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、
    　前記演算手段によって算出された情報を出力する出力手段と、
    を備える診断支援システム。
  2. 　前記演算手段は、前記画像取得手段によって取得された画像に基づく情報を、前記学習済モデル取得手段によって取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報から、診断に係る一つの情報を算出する請求項１に記載の診断支援システム。
  3. 　機械学習に用いる学習データである、診断対象が写った画像及び当該診断対象に対する診断結果を示す情報を取得して、取得した学習データである画像に基づく情報を入力値とすると共に取得した学習データである診断結果を示す情報を出力値として機械学習を行って学習済モデルを生成する学習済モデル生成手段を更に備え、
    　前記学習済モデル取得手段は、前記学習済モデル生成手段によって生成された学習済モデルを取得する、請求項１又は２に記載の診断支援システム。
  4. 　前記学習済モデル取得手段は、ニューラルネットワークを含む前記複数の学習済モデルを取得する請求項１～３の何れか一項に記載の診断支援システム。
  5. 　診断支援システムの動作方法である診断支援方法であって、
    　機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得ステップと、
    　解析対象の画像を取得する画像取得ステップと、
    　前記画像取得ステップにおいて取得された画像に対して、前記学習済モデル取得ステップにおいて取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算ステップと、
    　前記演算ステップにおいて算出された情報を出力する出力ステップと、
    を含む診断支援方法。
  6. 　コンピュータを、
    　機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、
    　解析対象の画像を取得する画像取得手段と、
    　前記画像取得手段によって取得された画像に対して、前記学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、
    　前記演算手段によって算出された情報を出力する出力手段と、
    として機能させる診断支援プログラム。
PCT/JP2019/021386 2018-06-05 2019-05-29 診断支援システム、診断支援方法及び診断支援プログラム WO2019235335A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020523660A JP7349425B2 (ja) 2018-06-05 2019-05-29 診断支援システム、診断支援方法及び診断支援プログラム
US17/054,143 US20210125332A1 (en) 2018-06-05 2019-05-29 Diagnosis assisting system, diagnosis assisting method and diagnosis assisting program
CN201980036934.1A CN112236832A (zh) 2018-06-05 2019-05-29 诊断辅助系统、诊断辅助方法以及诊断辅助程序
KR1020207034672A KR20210015834A (ko) 2018-06-05 2019-05-29 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-107579 2018-06-05
JP2018107579 2018-06-05

Publications (1)

Publication Number Publication Date
WO2019235335A1 true WO2019235335A1 (ja) 2019-12-12

Family

ID=68770208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021386 WO2019235335A1 (ja) 2018-06-05 2019-05-29 診断支援システム、診断支援方法及び診断支援プログラム

Country Status (5)

Country Link
US (1) US20210125332A1 (ja)
JP (1) JP7349425B2 (ja)
KR (1) KR20210015834A (ja)
CN (1) CN112236832A (ja)
WO (1) WO2019235335A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145228A1 (ja) * 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置および情報処理方法
WO2022004337A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 判断支援装置、情報処理装置及び学習方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014135066A (ja) * 2014-02-24 2014-07-24 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2017153691A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 診断支援装置、診断支援装置の制御方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
US20170262561A1 (en) * 2014-09-11 2017-09-14 Nec Corporation Information processing apparatus, information processing method, and recording medium
US9760990B2 (en) * 2014-12-14 2017-09-12 International Business Machines Corporation Cloud-based infrastructure for feedback-driven training and image recognition
JP6324338B2 (ja) * 2015-03-25 2018-05-16 株式会社日立ハイテクノロジーズ 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、及びサービス提供システム
CN104866727A (zh) * 2015-06-02 2015-08-26 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪
DE102015217429A1 (de) * 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Diagnosesystem und Diagnoseverfahren
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN105975793A (zh) * 2016-05-23 2016-09-28 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于数字病理图像的癌症辅助诊断方法
DE202017104953U1 (de) * 2016-08-18 2017-12-04 Google Inc. Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
GB2555381A (en) * 2016-10-19 2018-05-02 Fujitsu Ltd Method for aiding a diagnosis, program and apparatus
CN106682435B (zh) * 2016-12-31 2021-01-29 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN107358606B (zh) * 2017-05-04 2018-07-27 深圳硅基仿生科技有限公司 用于识别糖尿病视网膜病变的人工神经网络装置及系统装置
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
KR101818074B1 (ko) * 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
KR101977645B1 (ko) * 2017-08-25 2019-06-12 주식회사 메디웨일 안구영상 분석방법
AU2018350984A1 (en) * 2017-10-17 2020-05-07 Satish Rao Machine learning based system for identifying and monitoring neurological disorders
US11636288B2 (en) * 2017-11-06 2023-04-25 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014135066A (ja) * 2014-02-24 2014-07-24 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2017153691A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 診断支援装置、診断支援装置の制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145228A1 (ja) * 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置および情報処理方法
WO2022004337A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 判断支援装置、情報処理装置及び学習方法

Also Published As

Publication number Publication date
JP7349425B2 (ja) 2023-09-22
KR20210015834A (ko) 2021-02-10
CN112236832A (zh) 2021-01-15
JPWO2019235335A1 (ja) 2021-07-08
US20210125332A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN108230296B (zh) 图像特征的识别方法和装置、存储介质、电子装置
AU2014271202B2 (en) A system and method for remote medical diagnosis
CN110517757B (zh) 调谐的医学超声成像
US9265441B2 (en) Assessment of traumatic brain injury
US10872411B2 (en) Diagnostic imaging assistance apparatus and system, and diagnostic imaging assistance method
US10902286B2 (en) Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device
US20220375610A1 (en) Multi-Variable Heatmaps for Computer-Aided Diagnostic Models
Al Turkestani et al. Clinical decision support systems in orthodontics: a narrative review of data science approaches
WO2019235335A1 (ja) 診断支援システム、診断支援方法及び診断支援プログラム
JP2024010085A (ja) 情報処理装置、情報処理方法およびプログラム
Duong et al. Neural network classifiers for images of genetic conditions with cutaneous manifestations
US20220108801A1 (en) Diagnosis and treatment support system
WO2019146358A1 (ja) 学習システム、方法及びプログラム
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
JP2019149094A (ja) 診断支援システム、診断支援方法、及びプログラム
JP7109345B2 (ja) 優先度判定装置、方法およびプログラム
JP7443929B2 (ja) 医療診断支援装置、医療診断支援プログラム、および医療診断支援方法
JP2020010823A (ja) 医用情報処理装置、医用情報処理システム及び医用情報処理プログラム
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
CN115274063A (zh) 用于操作医学图像数据集的评估系统的方法、评估系统
CN114048738A (zh) 基于症状描述的数据采集方法、装置、计算设备、介质
JP2023034419A (ja) システム、推定サーバ、それらの制御方法およびプログラム
JP6862286B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2023032437A1 (ja) 造影状態判別装置、造影状態判別方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19814804

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020523660

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19814804

Country of ref document: EP

Kind code of ref document: A1