WO2020054188A1 - 医用画像処理装置、方法およびプログラム - Google Patents

医用画像処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2020054188A1
WO2020054188A1 PCT/JP2019/026533 JP2019026533W WO2020054188A1 WO 2020054188 A1 WO2020054188 A1 WO 2020054188A1 JP 2019026533 W JP2019026533 W JP 2019026533W WO 2020054188 A1 WO2020054188 A1 WO 2020054188A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
medical
medical image
feature
image
Prior art date
Application number
PCT/JP2019/026533
Other languages
English (en)
French (fr)
Inventor
瑞希 武井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020546713A priority Critical patent/JP7339270B2/ja
Priority to EP19860018.1A priority patent/EP3851049A4/en
Publication of WO2020054188A1 publication Critical patent/WO2020054188A1/ja
Priority to US17/161,703 priority patent/US11915414B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Definitions

  • the present disclosure relates to a medical image processing apparatus, method, and program for determining a medical feature included in a medical image such as a CT (Computed Tomography) image of a head.
  • a medical image such as a CT (Computed Tomography) image of a head.
  • a disease area having a vascular disorder such as cerebral infarction and cerebral hemorrhage can be identified by image diagnosis using CT images and MRI images. Appropriate treatment is being provided based on this.
  • a diseased area shows a higher CT value on a CT image than a surrounding area. For this reason, in image diagnosis, a diseased area can be determined by interpreting the presence or absence of an area having a higher CT value than the surrounding area.
  • Japanese Patent Application Laid-Open No. 8-251404 discloses first and second neural networks having an input layer, an intermediate layer, and an output layer, and the output from the input layer to the intermediate layer of the first neural network. Has been proposed, which is coupled so as to be input to an input layer of a second neural network.
  • a discrimination result regarding the area attribute of the image data is output based on the image data input to the first neural network.
  • the present disclosure has been made in view of the above circumstances, and has as its object to make it possible to easily determine a medical feature from a medical image.
  • a medical image processing device includes a determination unit configured to determine an area of a first medical feature included in a medical image, A determining unit configured to determine a first medical feature in the medical image, a first neural network including a plurality of processing layers, A second neural network comprising a plurality of processing layers for determining a second medical feature associated with the first medical feature in the medical image; The feature amount output by the processing layer in the middle of the second neural network or the output result of the second neural network is input to the first neural network.
  • Determination includes both determination of the presence or absence of the first or second medical feature in the medical image and determination of the location of the first or second medical feature in the medical image.
  • the feature amount output from the processing layer in the middle of the second neural network or the output result of the second neural network may be input to the processing layer in the middle of the first neural network. It may be a layer.
  • the second neural network may be one obtained by learning a task different from that of the first neural network.
  • the tasks learned by the second neural network include a task of predicting the presence or absence of a disease, a task of predicting the type of a disease, and predicting a clinical finding appearing in a patient. It may be either a task or a task of predicting the patient's consciousness level.
  • the first neural network determines a local medical feature from the medical image as the first medical feature
  • the second neural network may determine a global medical feature as a second medical feature from the medical image.
  • the medical image includes a brain
  • Local medical features are at least one of the bleeding and infarct areas of the brain
  • the global medical feature may be the presence or absence of a bleeding area and / or an infarcted area.
  • the medical image processing device may further include a display control unit that displays a medical image in which a local medical feature is specified on a display unit.
  • the medical image may be a CT image of the brain.
  • a medical image processing method is a medical image processing method in which an area of a first medical feature included in a medical image is determined by a determination unit,
  • the discrimination unit has a first neural network and a second neural network, and the first neural network includes a feature output from a processing layer in the middle of the second neural network, or a second neural network.
  • Output result is input, Determining a first medical feature in the medical image by a first neural network;
  • a second neural network determines a second medical feature associated with the first medical feature in the medical image.
  • the medical image processing method according to the present disclosure may be provided as a program for causing a computer to execute the method.
  • Another medical image processing device is a memory that stores an instruction for causing a computer to execute a process of determining a region of a first medical feature included in a medical image by a determination unit,
  • a processor configured to execute the stored instructions, the processor comprising:
  • the first neural network includes a first neural network and a second neural network.
  • the first neural network includes a feature output by a processing layer in the middle of the second neural network or an output result of the second neural network. Functions as a discriminator that is input, Determining a first medical feature in the medical image by a first neural network;
  • the second neural network executes a process of determining a second medical feature related to the first medical feature in the medical image.
  • FIG. 1 is a diagram illustrating a schematic configuration of a medical image processing apparatus according to an embodiment of the present disclosure. Schematic showing the configuration of the convolutional neural network in the present embodiment Diagram showing a brain image in which a bleeding region has been identified Flow chart showing processing performed in the present embodiment
  • FIG. 1 is a hardware configuration diagram illustrating an outline of a diagnosis support system to which a medical image processing device according to an embodiment of the present disclosure is applied.
  • a medical image processing apparatus 1 a three-dimensional image photographing apparatus 2, and an image storage server 3 according to the present embodiment are communicably connected via a network 4. I have.
  • the three-dimensional image capturing apparatus 2 is an apparatus that generates a three-dimensional image representing a part of a subject to be diagnosed by capturing an image of the part, and specifically, a CT apparatus, an MRI apparatus, and a PET ( Positron Emission Tomography) device.
  • the three-dimensional image generated by the three-dimensional image capturing device 2 is transmitted to the image storage server 3 and stored.
  • the part to be diagnosed of the patient as the subject is the brain
  • the three-dimensional image capturing device 2 is a CT device
  • the CT image of the head including the subject's brain is converted into a three-dimensional brain. Generated as image B0.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to transmit and receive image data and the like.
  • various types of data including the image data of the brain image B0 generated by the three-dimensional image capturing device 2 are acquired via a network, and stored and managed in a recording medium such as a large-capacity external storage device.
  • the storage format of the image data and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • the medical image processing apparatus 1 has the medical image processing program of the present embodiment installed in one computer.
  • the computer may be a workstation or personal computer directly operated by a physician performing diagnosis, or a server computer connected to them via a network.
  • the medical image processing program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed on a computer used by a doctor in response to a request.
  • FIG. 2 is a diagram showing a schematic configuration of a medical image processing apparatus realized by installing a medical image processing program in a computer.
  • the medical image processing apparatus 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration. Further, a display unit 14 such as a liquid crystal display and an input unit 15 such as a keyboard and a mouse are connected to the medical image processing apparatus 1.
  • a CPU Central Processing Unit
  • memory 12 main memory
  • storage 13 as a standard workstation configuration
  • a display unit 14 such as a liquid crystal display
  • an input unit 15 such as a keyboard and a mouse are connected to the medical image processing apparatus 1.
  • the storage 13 is composed of a hard disk drive or the like, and stores brain images of the subject obtained from the image storage server 3 via the network 4 and various information including information necessary for processing.
  • the memory 12 stores a medical image processing program.
  • the medical image processing program includes, as processing to be executed by the CPU 11, image acquisition processing for acquiring a brain image B0 of a subject, determination processing for determining a diseased area included in the brain image B0, and display of the determined diseased area on the display unit 14. Stipulates the display control processing to be displayed on the display.
  • the computer functions as the image acquisition unit 21, the determination unit 22, and the display control unit 23 when the CPU 11 executes these processes according to the program.
  • the image acquisition unit 21 acquires the brain image B0 of the subject's brain from the image storage server 3. If the brain image B0 has already been stored in the storage 13, the image acquisition unit 21 may acquire the brain image B0 from the storage 13.
  • the determination unit 22 determines a diseased region in the brain image B0.
  • the disease area is a bleeding area.
  • the discrimination unit 22 includes a convolutional neural network (hereinafter referred to as a CNN (Convolutional Neural Network), which is one of multilayer neural networks in which a plurality of processing layers are hierarchically connected and deep learning is performed. ))).
  • CNN Convolutional Neural Network
  • FIG. 3 is a schematic diagram showing the configuration of the CNN in the present embodiment.
  • the CNN 30 has a first neural network 31 and a second neural network 32.
  • the first neural network 31 has a plurality of processing layers 31-1, 31-2 ..., 31-n (n is the number of processing layers).
  • the second neural network 32 has a plurality of processing layers 32-1, 32-2,..., 32-m (m is the number of processing layers).
  • the first processing layers 31-1 and 32-1 in the first and second neural networks 31 and 32 are input layers, and the last processing layers 31-n and 32-m are output layers.
  • the processing layers of the first neural network 31 and the second neural network 32 include a convolutional layer or a pooling layer.
  • the convolution layer performs a convolution process on the input image using various kernels, and outputs a feature amount map including feature amount data obtained by the convolution process.
  • the convolution layer applies the kernel to the brain image B0 or the entire feature amount map output from the preceding processing layer while shifting the pixel of interest of the kernel. Further, the convolution layer applies an activation function such as a sigmoid function to the convolved value, and outputs a feature map.
  • the pooling layer pools the feature map output by the convolutional layer to reduce the data amount of the feature map, and outputs a reduced feature map.
  • the first neural network 31 outputs a bleeding area determination result R1 for each pixel included in the input brain image by using a large number of brain images including the bleeding area as teacher data. Learning has been done so.
  • the bleeding area corresponds to the first medical feature.
  • the determination result R1 of the bleeding region for each pixel in the brain image B0 is sequentially input to the processing layer and output from the output layer 31-n.
  • the determination result R1 output by the first neural network 31 is a result of determining whether each pixel of the brain image B0 is a bleeding region or a region other than the bleeding region.
  • the second neural network 32 learns a task of predicting the presence or absence of a disease in the entire brain image B0.
  • the presence or absence of bleeding corresponds to the second medical feature.
  • the second neural network 32 uses a large number of brain images known to have a bleeding region as teacher data, and determines whether or not the input brain image includes a bleeding region in the determination result R2. Is learned to output.
  • the feature amount map output from the previous processing layer is changed to the next-stage processing amount map.
  • the information is sequentially input to the processing layer, the entire information of the brain image B0 is integrated, and the determination result R2 as to whether or not the bleeding area is included in the brain image B0 is output from the final layer 32-m.
  • the determination result R1 of the first neural network 31 includes information on the position of the bleeding region in the brain image B0, whereas the determination result R2 of the second neural network 32 only indicates the presence or absence of the bleeding region. , Does not include position information in the brain image B0.
  • the feature amount map T2k output from the intermediate processing layer 32-k in the second neural network 32 is input to the intermediate processing layer 31-r in the first neural network 31.
  • the feature map T2k includes a feature such that the presence or absence of a bleeding region in the input brain image B0 is known to some extent. Which of the processing layers of the second neural network 32 outputs the feature amount map to which of the processing layers of the first neural network 31 is to be input into the learning of the first and second neural networks 31 and 32. It is designed in advance at the stage.
  • the feature map T2k is scaled up and down to have the same size as the feature map T1r-1 output from the processing layer 31-r-1 preceding the processing layer 31-r. 1 and input to the processing layer 31-r.
  • the first neural network 31 integrates the feature amount maps output from the processing layers in the middle of the second neural network 32 in the processing layers subsequent to the processing layers 31-r.
  • the result R1 of determining the local bleeding region in the brain image B0 is output.
  • the first neural network 31 integrates the output of the second neural network 32, that is, information on the presence / absence of presence / absence in the brain image B0, and outputs the bleeding region determination result R1. Become.
  • FIG. 4 is a diagram showing the displayed brain image.
  • FIG. 4 shows a slice image of one tomographic plane of the brain image B0.
  • the bleeding area A1 determined in the brain image B0 is highlighted and displayed.
  • the highlight may be in any form such as surrounding the bleeding area A1 with a line, giving a specific color to the bleeding area A1, and giving an arrow to the bleeding area A1.
  • FIG. 5 is a flowchart illustrating processing performed in the present embodiment.
  • the image acquiring unit 21 acquires a brain image B0 of the subject (step ST1).
  • the determination unit 22 determines a bleeding region in the brain image B0 (step ST2)
  • the display control unit 23 displays the brain image B0 in which the bleeding region is determined on the display unit 14 (step ST3), and ends the processing. I do.
  • the bleeding region in the brain image B0 is determined by the first neural network 31 of the determination unit 22, and the presence or absence of the bleeding region in the brain image B0 is determined by the second neural network 32. Is done.
  • the feature map T2k output by the processing layer 32-k in the middle of the second neural network 32 is input to the first neural network 31.
  • the feature map in the first neural network 31 and the feature map relating to the presence or absence of the bleeding region determined by the second neural network 32 are integrated, and the The bleeding area is determined. Therefore, according to the present embodiment, the bleeding region can be easily and accurately determined in the brain image B0.
  • the feature map T2k output from the processing layer 32-k in the middle of the second neural network 32 is input to the first neural network 31.
  • the determination result R2 output from the output layer 32-m may be input to the first neural network 31.
  • the feature map T2k output by the processing layer 32-k in the middle of the second neural network 32 is input to the processing layer 31-r in the middle of the first neural network 31.
  • the feature map T2k output from the processing layer 32-k in the middle of the second neural network 32 or the discrimination result R2 output from the output layer 32-m of the second neural network 32 is used as the initial value of the first neural network 31. May be input to the processing layer 31-1, ie, the input layer.
  • the second neural network 32 learns the task of predicting the presence or absence of a bleeding area.
  • the task learned by the second neural network 32 is not limited to this.
  • a task for predicting the type of disease in the brain image B0 for example, a bleeding and infarction may be learned.
  • the second neural network 32 uses a brain image in which the included disease is known to be either hemorrhage or infarction as teacher data, and when the brain image is input, the type of the included disease ( Learning is performed so as to output the result of discrimination (without bleeding, infarction or disease).
  • the type of disease may be the type of bleeding.
  • the second neural network 32 may be learned to determine the presence or absence of a cerebral compression finding, and may be learned to determine the type of cerebral infarction (acute phase, oldness, etc.). May be used.
  • the task that the second neural network 32 learns may be a task of predicting a clinical finding that appears in a patient who is a subject.
  • the clinical findings include a state of consciousness, a state of eye opening, a state of arousal, and the like.
  • the second neural network 32 uses a brain image with a known clinical finding as teacher data, and performs learning so as to output a judgment result of the clinical finding when the brain image is input.
  • a CT image is used as the brain image B0, but the present invention is not limited to this, and other medical images such as an MRI image and a PET image may be used.
  • the brain image B0 is used as a medical image, but the present invention is not limited to this.
  • the present disclosure can be applied to a case where medical characteristics included in medical images such as the chest, abdomen, whole body, and limbs of a human body are determined.
  • the convolutional neural networks are used as the first and second neural networks 31 and 32, but the present invention is not limited to this.
  • a deep neural network DNN (Deep Neural Network)
  • RNN Recurrent Neural Network
  • the first neural network 31 and the second neural network 32 do not have to be the same neural network.
  • the first neural network 31 may be a convolutional neural network
  • the second neural network 32 may be a recurrent neural network.
  • a hardware structure of a processing unit that executes various processes, such as the image acquisition unit 21, the determination unit 22, and the display control unit 23, includes the following various types.
  • a processor can be used.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units
  • the above-described various processors include a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit) which can change the configuration. Circuit etc. are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • circuitry circuitry combining circuit elements such as semiconductor elements can be used.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

判別部が、医用画像に含まれる疾病領域を判別する。判別部は医用画像において第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワーク３１と、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する、複数の処理層からなる第２のニューラルネットワーク３２とを有する。第１のニューラルネットワーク３１には、第２のニューラルネットワークの途中の処理層が出力した特徴量または第２のニューラルネットワークの出力結果が入力される。

Description

医用画像処理装置、方法およびプログラム
　本開示は、頭部のＣＴ(Computed Tomography）画像等の医用画像に含まれる医学的特徴を判別する医用画像処理装置、方法およびプログラムに関するものである。
　近年、ＣＴ装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、対象部位を脳とした場合において、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、脳梗塞および脳出血等の血管障害を起こしている疾病領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。一般に疾病領域はＣＴ画像上において周囲の領域と比較して高いＣＴ値を示す。このため、画像診断においては周囲の領域と比較して高いＣＴ値を示す領域の有無を読影することにより、疾病領域を判別することができる。
　このように、医用画像から疾病領域を自動的に判別するための各種手法が提案されている。例えば、特開平８－２５１４０４号公報においては、入力層と中間層と出力層とを有する第１および第２のニューラルネットワークを備え、第１のニューラルネットワークのうちの入力層から中間層までの出力を、第２のニューラルネットワークの入力層に入力するように結合した判別装置が提案されている。特開平８－２５１４０４号公報に記載の判別装置においては、第１のニューラルネットワークに入力される画像データに基づいて、画像データの領域属性についての判別結果が出力される。このような判別装置を用いることにより、上述したような医用画像に含まれる特定の医学的特徴を判別することが可能となる。
　しかしながら、医学的特徴の種類によっては、医用画像からの判別が困難となる場合がある。
　本開示は上記事情に鑑みなされたものであり、医用画像からの医学的特徴を容易に判別できるようにすることを目的とする。
　本開示による医用画像処理装置は、医用画像に含まれる第１の医学的特徴の領域を判別する判別部を備え、
　判別部は、医用画像における第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワークと、
　第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する、複数の処理層からなる第２のニューラルネットワークとを有し、
　第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力される。
　「判別」は医用画像における第１または第２の医学的特徴の有無を判別すること、医用画像における第１または第２の医学的特徴の場所を判別することの双方を含む。
　第２のニューラルネットワークの途中の処理層が出力した特徴量または第２のニューラルネットワークの出力結果が入力されるのは、第１のニューラルネットワークにおける途中の処理層であってもよく、最初の処理層であってもよい。
　また、本開示による医用画像処理装置においては、第２のニューラルネットワークは、第１のニューラルネットワークとは異なるタスクが学習されてなるものであってもよい。
　また、本開示による医用画像処理装置においては、第２のニューラルネットワークが学習するタスクは、疾患の有無を予測するタスク、疾患の種類を予測するタスク、患者に発現している臨床所見を予測するタスク、および患者の意識レベルを予測するタスクのいずれかであってもよい。
　また、本開示による医用画像処理装置においては、第１のニューラルネットワークは、医用画像から局所的な医学的特徴を第１の医学的特徴として判別し、
　第２のニューラルネットワークは、医用画像から大局的な医学的特徴を第２の医学的特徴として判別するものであってもよい。
　また、本開示による医用画像処理装置においては、医用画像は脳を含み、
　局所的な医学的特徴は脳の出血領域および梗塞領域の少なくとも一方であり、
　大局的な医学的特徴は、出血領域および梗塞領域の少なくとも一方の有無であってもよい。
　また、本開示による医用画像処理装置においては、局所的な医学的特徴が特定された医用画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
　また、本開示による医用画像処理装置においては、医用画像は脳のＣＴ画像であってもよい。
　本開示による医用画像処理方法は、医用画像に含まれる第１の医学的特徴の領域を判別部により判別する医用画像処理方法であって、
　判別部は、第１のニューラルネットワークと第２のニューラルネットワークとを有し、第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力され、
　第１のニューラルネットワークにより医用画像における第１の医学的特徴を判別し、
　第２のニューラルネットワークにより、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する。
　なお、本開示による医用画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の医用画像処理装置は、医用画像に含まれる第１の医学的特徴の領域を判別部により判別する処理をコンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　第１のニューラルネットワークと第２のニューラルネットワークとを有し、第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力される判別部として機能し、
　第１のニューラルネットワークにより医用画像における第１の医学的特徴を判別し、
　第２のニューラルネットワークにより、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する処理を実行する。
　本開示によれば、医用画像において第１の医学的特徴を容易かつ精度よく判別することができる。
本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による医用画像処理装置の概略構成を示す図 本実施形態における畳み込みニューラルネットワークの構成を示す概略図 出血領域が特定された脳画像を示す図 本実施形態において行われる処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による医用画像処理装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置であり、被検体の脳を含む頭部のＣＴ画像を３次元の脳画像Ｂ０として生成する。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された脳画像Ｂ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　医用画像処理装置１は、１台のコンピュータに、本実施形態の医用画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、コンピュータに医用画像処理プログラムをインストールすることにより実現される医用画像処理装置の概略構成を示す図である。図２に示すように、医用画像処理装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像処理装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
　ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の脳画像、並びに処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、医用画像処理プログラムが記憶されている。医用画像処理プログラムは、ＣＰＵ１１に実行させる処理として、被検体の脳画像Ｂ０を取得する画像取得処理、脳画像Ｂ０に含まれる疾病領域を判別する判別処理、および判別された疾病領域を表示部１４に表示する表示制御処理を規定する。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、判別部２２および表示制御部２３として機能する。
　画像取得部２１は、被検体の脳の脳画像Ｂ０を画像保管サーバ３から取得する。なお、脳画像Ｂ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から脳画像Ｂ０を取得するようにしてもよい。
　判別部２２は、脳画像Ｂ０における疾病領域を判別する。疾病領域としては、本実施形態においては出血領域とする。本実施形態においては、判別部２２は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）であるものとする。
　図３は本実施形態におけるＣＮＮの構成を示す概略図である。図３に示すように、ＣＮＮ３０は、第１のニューラルネットワーク３１および第２のニューラルネットワーク３２を有する。第１のニューラルネットワーク３１は、複数の処理層３１－１，３１－２…，３１－ｎ（ｎは処理層の数）を有する。また、第２のニューラルネットワーク３２は、複数の処理層３２－１，３２－２…，３２－ｍ（ｍは処理層の数）を有する。なお、第１および第２のニューラルネットワーク３１，３２における最初の処理層３１－１，３２－１は入力層であり、最後の処理層３１－ｎ、３２－ｍは出力層である。
　第１のニューラルネットワーク３１および第２のニューラルネットワーク３２が有する処理層は、畳み込み層またはプーリング層からなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、脳画像Ｂ０または特徴量マップといった２次元画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、脳画像Ｂ０または前段の処理層から出力された特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴量マップを出力する。
　プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。
　本実施形態において、第１のニューラルネットワーク３１は、出血領域を含む多数の脳画像を教師データとして使用して、入力された脳画像に含まれる各画素についての出血領域の判別結果Ｒ１を出力するように学習がなされている。なお、出血領域が第１の医学的特徴に相当する。これにより、第１のニューラルネットワーク３１に脳画像Ｂ０が入力されると、複数の処理層３１－ｉ（ｉ＝１～ｎ）において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０における各画素についての出血領域の判別結果Ｒ１が出力層３１－ｎから出力される。なお、第１のニューラルネットワーク３１が出力する判別結果Ｒ１は、脳画像Ｂ０の各画素が出血領域であるか出血領域以外の領域であるかを判別した結果となる。
　第２のニューラルネットワーク３２は、第１のニューラルネットワーク３１とは異なり、脳画像Ｂ０の全体における疾患の有無を予測するタスクが学習されてなる。なお、出血の有無が第２の医学的特徴に対応する。このために、第２のニューラルネットワーク３２は、出血領域があることが分かっている多数の脳画像を教師データとして使用し、入力された脳画像に出血領域が含まれるか否かの判別結果Ｒ２を出力するように学習がなされる。これにより、第２のニューラルネットワーク３２に脳画像Ｂ０が入力されると、複数の処理層３２－ｊ（ｊ＝１～ｍ）において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０の全体の情報が統合されて、脳画像Ｂ０に出血領域が含まれるか否かの判別結果Ｒ２が最終層３２－ｍから出力される。
　なお、第１のニューラルネットワーク３１の判別結果Ｒ１は脳画像Ｂ０内における出血領域の位置の情報を含むが、第２のニューラルネットワーク３２の判別結果Ｒ２は、出血領域の有無を表すのみであるため、脳画像Ｂ０内における位置の情報を含まない。
　ここで、本実施形態においては、第２のニューラルネットワーク３２における途中の処理層３２－ｋから出力された特徴量マップＴ２ｋが、第１のニューラルネットワーク３１の途中の処理層３１－ｒに入力される。特徴量マップＴ２ｋは、入力された脳画像Ｂ０における出血領域の有無がある程度分かっているような特徴量を含む。第２のニューラルネットワーク３２におけるいずれの処理層から出力された特徴量マップを第１のニューラルネットワーク３１のいずれの処理層に入力するかは、第１および第２のニューラルネットワーク３１，３２の学習の段階において予め設計されてなる。なお、特徴量マップＴ２ｋは、処理層３１－ｒの前段の処理層３１－ｒ－１から出力される特徴量マップＴ１ｒ－１と同一サイズとなるように拡大縮小されて、特徴量マップＴ１ｒ－１と併せて、処理層３１－ｒに入力される。したがって、本実施形態においては、第１のニューラルネットワーク３１は、処理層３１－ｒ以降の処理層において、第２のニューラルネットワーク３２の途中の処理層から出力された特徴量マップを統合して、脳画像Ｂ０における局所的な出血領域の判別結果Ｒ１を出力するものとなる。
　ここで、脳画像Ｂ０によっては、局所的な特徴のみでは出血領域を判別することが難しいものがある。このような脳画像Ｂ０の出血領域は熟練した医師が読影すれば確認することはできるが、畳み込みニューラルネットワーク等を用いた判別部においては、出血領域を精度よく判別することは難しい場合がある。本実施形態においては、第１のニューラルネットワーク３１において、第２のニューラルネットワーク３２の出力、すなわち脳画像Ｂ０内における出欠の有無の情報が統合されて出血領域の判別結果Ｒ１が出力されることとなる。
　表示制御部２３は、出血領域が判別された脳画像を表示部１４に表示する。図４は表示された脳画像を示す図である。なお、図４においては、脳画像Ｂ０の１つの断層面のスライス画像を示している。図４に示すように、脳画像Ｂ０において判別された出血領域Ａ１がハイライトされて表示されている。なお、ハイライトは、出血領域Ａ１を線で囲む、出血領域Ａ１に特定の色を付与する、および出血領域Ａ１に矢印を付与する等、任意の態様を用いることができる。
　次いで、本実施形態において行われる処理について説明する。図５は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、被検体の脳画像Ｂ０を取得する（ステップＳＴ１）。次いで、判別部２２が脳画像Ｂ０内における出血領域を判別し（ステップＳＴ２）、表示制御部２３が出血領域が判別された脳画像Ｂ０を表示部１４に表示し（ステップＳＴ３）、処理を終了する。
　このように、本実施形態においては、判別部２２の第１のニューラルネットワーク３１により、脳画像Ｂ０における出血領域が判別され、第２のニューラルネットワーク３２により、脳画像Ｂ０における出血領域の有無が判別される。この際、第１のニューラルネットワーク３１には、第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋが入力される。このため、第１のニューラルネットワーク３１における特徴量マップと、第２のニューラルネットワーク３２が判別する出血領域の有無に関する特徴量マップとが統合されて、第１のニューラルネットワーク３２において、脳画像Ｂ０における出血領域が判別されることとなる。したがって、本実施形態によれば、脳画像Ｂ０において出血領域を容易かつ精度よく判別することができる。
　なお、上記実施形態においては、第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋを第１のニューラルネットワーク３１に入力しているが、第２のニューラルネットワーク３２の出力層３２－ｍが出力した判別結果Ｒ２を、第１のニューラルネットワーク３１に入力するようにしてもよい。
　また、上記実施形態においては、第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋを、第１のニューラルネットワーク３１の途中の処理層３１－ｒに入力しているが、これに限定されるものではない。第２のニューラルネットワーク３２の途中の処理層３２－ｋが出力した特徴量マップＴ２ｋまたは第２のニューラルネットワーク３２の出力層３２－ｍが出力した判別結果Ｒ２を、第１のニューラルネットワーク３１の最初の処理層３１－１、すなわち入力層に入力するようにしてもよい。
　また、上記実施形態においては、第２のニューラルネットワーク３２は、出血領域の有無を予測するタスクが学習されてなる。しかしながら、第２のニューラルネットワーク３２が学習するタスクはこれに限定されるものではない。例えば、脳画像Ｂ０における疾病の種類、例えば出血および梗塞を予測するタスクが学習されてなるものであってもよい。この場合、第２のニューラルネットワーク３２は、含まれる疾病が出血および梗塞のいずれかであることが分かっている脳画像を教師データとして使用し、脳画像が入力されると含まれる疾病の種類（出血、梗塞および疾病無し）の判別結果を出力するように学習がなされる。
　一方、疾病の種類としては、出血の種類としてもよい。例えば、出血の種類として、脳内出血、脳室内出血、くも膜下出血および硬膜外出血のいずれの種類であるかの判別結果を出力するように、第２のニューラルネットワーク３２を学習するようにしてもよい。また、第２のニューラルネットワーク３２は、脳圧迫所見の有無を判別するように学習されたものであってもよく、脳梗塞の種類（急性期および陳旧性等）を判別するように学習されたものであってもよい。
　また、第２のニューラルネットワーク３２が学習するタスクとして、被検体である患者に発現している臨床所見を予測するタスクであってもよい。ここで、臨床所見としては、意識の状態、開眼の状態および覚醒の状態等が挙げられる。この場合、第２のニューラルネットワーク３２は、臨床所見が分かっている脳画像を教師データとして使用し、脳画像が入力されると臨床所見の判別結果を出力するように学習がなされる。
　また、上記実施形態においては、脳画像Ｂ０としてＣＴ画像を用いているが、これに限定されるものではなく、ＭＲＩ画像およびＰＥＴ画像等の他の医用画像を用いてもよい。
　また、上記実施形態においては、医用画像として脳画像Ｂ０を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身および四肢等の医用画像に含まれる医学的特徴を判別する場合にも、本開示を適用することができる。
　また、上記実施形態においては、第１および第２のニューラルネットワーク３１，３２として畳み込みニューラルネットワークを用いているが、これに限定されるものではない。複数の処理層から構成されるニューラルネットワークであれば、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。また、第１のニューラルネットワーク３１と第２のニューラルネットワーク３２とは、同一のニューラルネットワークで無くてもよい。例えば、第１のニューラルネットワーク３１を畳み込みニューラルネットワークとし、第２のニューラルネットワーク３２をリカレントニューラルネットワークとしてもよい。
　また、上記各実施形態において、例えば、画像取得部２１、判別部２２および表示制御部２３といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　　　１　　医用画像処理装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力部
　　　２１　　画像取得部
　　　２２　　判別部
　　　２３　　表示制御部
　　　３０　　ＣＮＮ
　　　３１　　第１のニューラルネットワーク
　　　３１－１，３１－２…　　処理層
　　　３２　　第２のニューラルネットワーク
　　　３２－１，３２－２…　　処理層
　　　Ａ１　　出血領域
　　　Ｂ０　　脳画像
　　　Ｒ１，Ｒ２　　判別結果
　　　Ｔ１ｒ－１，Ｔ２ｋ　　特徴量マップ
 

Claims (9)

  1. 　医用画像に含まれる第１の医学的特徴の領域を判別する判別部を備え、
    　前記判別部は、前記医用画像における前記第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワークと、
    　前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する、複数の処理層からなる第２のニューラルネットワークとを有し、
    　前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量、または前記第２のニューラルネットワークの出力結果が入力される医用画像処理装置。
  2. 　前記第２のニューラルネットワークは、前記第１のニューラルネットワークとは異なるタスクが学習されてなる請求項１に記載の医用画像処理装置。
  3. 　前記第２のニューラルネットワークが学習するタスクは、疾患の有無を予測するタスク、疾患の種類を予測するタスク、患者に発現している臨床所見を予測するタスク、および患者の意識レベルを予測するタスクのいずれかである請求項２に記載の医用画像処理装置。
  4. 　前記第１のニューラルネットワークは、前記医用画像から局所的な医学的特徴を第１の医学的特徴として判別し、
    　前記第２のニューラルネットワークは、前記医用画像から大局的な医学的特徴を第２の医学的特徴として判別する請求項１から３の何れか１項に記載の医用画像処理装置。
  5. 　前記医用画像は脳を含み、
    　前記局所的な医学的特徴は脳の出血領域および梗塞領域の少なくとも一方であり、
    　前記大局的な医学的特徴は、前記出血領域および前記梗塞領域の少なくとも一方の有無である請求項４に記載の医用画像処理装置。
  6. 　前記局所的な医学的特徴が特定された前記医用画像を表示部に表示する表示制御部をさらに備えた請求項４または５に記載の医用画像処理装置。
  7. 　前記医用画像は脳のＣＴ画像である請求項１から６のいずれか１項に記載の医用画像処理装置。
  8. 　医用画像に含まれる第１の医学的特徴の領域を判別部により判別する医用画像処理方法であって、
    　前記判別部は、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量、または前記第２のニューラルネットワークの出力結果が入力され、
    　前記第１のニューラルネットワークにより前記医用画像における前記第１の医学的特徴を判別し、
    　第２のニューラルネットワークにより、前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する医用画像処理方法。
  9. 　医用画像に含まれる第１の医学的特徴の領域を判別する処理をコンピュータに実行させる医用画像処理プログラムであって、
    　前記コンピュータを、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量、または前記第２のニューラルネットワークの出力結果が入力される判別部として機能させ、
    　前記第１のニューラルネットワークにより前記医用画像における前記第１の医学的特徴を判別する手順と、
    　第２のニューラルネットワークにより、前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する手順とをコンピュータに実行させる医用画像処理プログラム。
PCT/JP2019/026533 2018-09-14 2019-07-03 医用画像処理装置、方法およびプログラム WO2020054188A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020546713A JP7339270B2 (ja) 2018-09-14 2019-07-03 医用画像処理装置、方法およびプログラム
EP19860018.1A EP3851049A4 (en) 2018-09-14 2019-07-03 MEDICAL IMAGE PROCESSING DEVICE, METHOD AND PROGRAM
US17/161,703 US11915414B2 (en) 2018-09-14 2021-01-29 Medical image processing apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018172989 2018-09-14
JP2018-172989 2018-09-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/161,703 Continuation US11915414B2 (en) 2018-09-14 2021-01-29 Medical image processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2020054188A1 true WO2020054188A1 (ja) 2020-03-19

Family

ID=69778538

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026533 WO2020054188A1 (ja) 2018-09-14 2019-07-03 医用画像処理装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US11915414B2 (ja)
EP (1) EP3851049A4 (ja)
JP (1) JP7339270B2 (ja)
WO (1) WO2020054188A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054858A1 (ja) * 2020-09-11 2022-03-17 大原薬品工業株式会社 脳卒中診断治療支援システム、脳卒中状態情報提供装置、及び、脳卒中状態情報提供プログラム
WO2022097621A1 (ja) * 2020-11-04 2022-05-12 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2024142395A1 (ja) * 2022-12-28 2024-07-04 日本電気株式会社 動画処理装置、動画処理方法、及び、記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210093278A1 (en) * 2019-09-30 2021-04-01 GE Precision Healthcare LLC Computed tomography medical imaging intracranial hemorrhage model

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251404A (ja) 1995-03-13 1996-09-27 Minolta Co Ltd 画像領域属性判別方法及び装置
JP2008520391A (ja) * 2004-11-23 2008-06-19 ケアストリーム ヘルス インク 解剖的情報を用いて自動化された放射線写真の分類
JP2009512528A (ja) * 2005-10-25 2009-03-26 ブラッコ イメージング ソチエタ ペル アチオニ 診断画像の自動的処理および評価のための方法およびシステム
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016031747A (ja) 2014-07-30 2016-03-07 キヤノン株式会社 情報処理装置、情報処理方法
US20170236027A1 (en) * 2016-02-16 2017-08-17 Brainchip Inc. Intelligent biomorphic system for pattern recognition with autonomous visual feature extraction
US9886758B2 (en) * 2016-03-31 2018-02-06 International Business Machines Corporation Annotation of skin image using learned feature representation
US9589374B1 (en) 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
KR101908680B1 (ko) * 2016-08-30 2018-10-17 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR20180027887A (ko) 2016-09-07 2018-03-15 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
US10482633B2 (en) 2016-09-12 2019-11-19 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
CN107292884B (zh) 2017-08-07 2020-09-29 杭州深睿博联科技有限公司 一种识别mri图像中水肿和血肿的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251404A (ja) 1995-03-13 1996-09-27 Minolta Co Ltd 画像領域属性判別方法及び装置
JP2008520391A (ja) * 2004-11-23 2008-06-19 ケアストリーム ヘルス インク 解剖的情報を用いて自動化された放射線写真の分類
JP2009512528A (ja) * 2005-10-25 2009-03-26 ブラッコ イメージング ソチエタ ペル アチオニ 診断画像の自動的処理および評価のための方法およびシステム
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054858A1 (ja) * 2020-09-11 2022-03-17 大原薬品工業株式会社 脳卒中診断治療支援システム、脳卒中状態情報提供装置、及び、脳卒中状態情報提供プログラム
JP7497444B2 (ja) 2020-09-11 2024-06-10 大原薬品工業株式会社 脳卒中診断治療支援システム、脳卒中状態情報提供装置、及び、脳卒中状態情報提供プログラム
WO2022097621A1 (ja) * 2020-11-04 2022-05-12 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
WO2024142395A1 (ja) * 2022-12-28 2024-07-04 日本電気株式会社 動画処理装置、動画処理方法、及び、記録媒体

Also Published As

Publication number Publication date
EP3851049A4 (en) 2021-11-10
EP3851049A1 (en) 2021-07-21
JPWO2020054188A1 (ja) 2021-08-30
US20210150713A1 (en) 2021-05-20
JP7339270B2 (ja) 2023-09-05
US11915414B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
Siegersma et al. Artificial intelligence in cardiovascular imaging: state of the art and implications for the imaging cardiologist
JP7018856B2 (ja) 医用画像処理装置、方法およびプログラム
WO2020054188A1 (ja) 医用画像処理装置、方法およびプログラム
US11244455B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
US11049251B2 (en) Apparatus, method, and program for learning discriminator discriminating infarction region, discriminator for discriminating infarction region, and apparatus, method, and program for discriminating infarction region
Dong et al. DeepAtrophy: Teaching a neural network to detect progressive changes in longitudinal MRI of the hippocampal region in Alzheimer's disease
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
WO2019216125A1 (ja) 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
WO2019102917A1 (ja) 読影医決定装置、方法およびプログラム
US11551351B2 (en) Priority judgement device, method, and program
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US11176413B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
US11328414B2 (en) Priority judgement device, method, and program
WO2021070527A1 (ja) 画像処理装置、方法およびプログラム
Olaniyan et al. New trends in deep learning for neuroimaging analysis and disease prediction
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
WO2021060461A1 (ja) 画像処理装置、方法およびプログラム
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
WO2021246047A1 (ja) 経過予測装置、方法およびプログラム
Dong Detection and Localization of Progressive Changes in Longitudinal MRI of the Hippocampal Region in Alzheimer’s Disease With Deep Learning
JP6765396B2 (ja) 医用画像処理装置、方法およびプログラム
Gopinath et al. Synthetic data in generalizable, learning-based neuroimaging
Avram et al. Accurate prediction of disease-risk factors from volumetric medical scans by a deep vision model pre-trained with 2D scans

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860018

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020546713

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019860018

Country of ref document: EP

Effective date: 20210414