WO2020262683A1 - 医用画像処理装置、方法およびプログラム - Google Patents

医用画像処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2020262683A1
WO2020262683A1 PCT/JP2020/025401 JP2020025401W WO2020262683A1 WO 2020262683 A1 WO2020262683 A1 WO 2020262683A1 JP 2020025401 W JP2020025401 W JP 2020025401W WO 2020262683 A1 WO2020262683 A1 WO 2020262683A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
normalized
feature map
region
image
Prior art date
Application number
PCT/JP2020/025401
Other languages
English (en)
French (fr)
Inventor
卓也 淵上
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021528290A priority Critical patent/JP7234364B2/ja
Publication of WO2020262683A1 publication Critical patent/WO2020262683A1/ja
Priority to US17/560,217 priority patent/US20220115136A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Definitions

  • the present disclosure relates to a medical image processing apparatus, method and program for deriving a reference line in a medical image such as a brain image.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • the medical image is a non-contrast CT image
  • the contrast between the diseased part and the surrounding part is often unclear in mild subarachnoid hemorrhage and cerebral infarction in the hyperacute stage.
  • diagnostic imaging it is common practice to interpret whether or not a diseased region exists by comparing symmetrical regions of the brain in a medical image.
  • Japanese Patent Application Laid-Open No. 2018-011958 proposes a method for discriminating the presence or absence of a diseased region by using a discriminator that has undergone machine learning by inputting a combination of symmetrical regions in a medical image.
  • the reference line is specified by using a structure having only one on the left and right, such as an eyeball. Therefore, the derived reference line is not very accurate. In particular, when one eye or both eyes are injured due to an accident or illness, the reference line cannot be derived by the method described in Japanese Patent Application Laid-Open No. 2019-500110. Further, in the method described in Japanese Patent Application Laid-Open No. 2011-167333, since the reference line is specified by the input of the operator, the burden on the operator is large.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to accurately derive a reference line of a line-symmetrical structure such as a brain included in a medical image.
  • the medical image processing apparatus includes a division portion for dividing a structure in a medical image including a line-symmetrical structure into a plurality of predetermined regions.
  • a reference line deriving unit for deriving a reference line of a structure based on a plurality of divided regions is provided.
  • the "axisymmetric structure” includes not only one structure that is axisymmetric in itself on the medical image, but also a pair or a plurality of pairs of structures that exist at a line-symmetrical position on the medical image. ..
  • the brain basically has a line-symmetrical shape (that is, anatomically), and it is assumed that it exists line-symmetrically, but it has a strictly line-symmetrical shape. It is not a thing, and the size and shape may differ between the left and right brains.
  • the kidneys are also anatomically line-symmetrically present in pairs, but the size and shape of the left and right kidneys may differ. Therefore, the "line-symmetrical structure” includes not only a structure having a completely line-symmetrical pair, but also a structure having a substantially line-symmetry and a structure that is supposed to exist in line symmetry. ..
  • the "reference line” is a line for dividing a line-symmetrical structure into line-symmetry.
  • the reference line for example, the midline can be used.
  • the reference line also includes a structure that divides the structure line-symmetrically with an acceptable error.
  • the medical image processing apparatus may further include a normalization unit that normalizes the position of the structure included in the medical image and generates a normalized medical image based on the reference line. ..
  • an inversion unit that generates an inverted image obtained by inversion of a normalized medical image with respect to a reference line It may further include a discriminating unit for discriminating the diseased region of the structure using the normalized medical image and the inverted image.
  • the discrimination unit may have a discrimination model that outputs the discrimination result of the diseased region of the structure by inputting the normalized medical image and the inverted image.
  • the discrimination model generates a feature map for the normalized medical image and the inverted image by inputting the normalized medical image and the inverted image, and uses the feature map to generate a structure. It may output the discrimination result of the disease area of.
  • the discrimination model generates a feature map for each of the normalized medical image and the inverted image, and uses the feature map for the normalized medical image and the feature map for the inverted image.
  • the determination result of the diseased area of the structure may be output.
  • the medical image processing apparatus may further include a discriminating unit for discriminating a diseased region of a structure by using a normalized normalized medical image.
  • the discrimination unit may have a discrimination model that generates an inverted image of the normalized medical image by inputting the normalized medical image and outputs the discrimination result of the diseased region of the structure.
  • the discrimination model generates a feature map from the normalized medical image by inputting the normalized medical image, and inverts the feature map with reference to the axis of symmetry corresponding to the reference line.
  • the inverted feature map may be generated, and the discrimination result of the diseased region of the structure may be output using the feature map and the inverted feature map.
  • the "discrimination” may be either to determine the position of the diseased area on the medical image or to determine the presence or absence of the diseased area on the medical image.
  • the discrimination model may consist of a neural network having at least one processing layer.
  • the medical image processing apparatus may further include a display control unit that displays the determination result on the display.
  • the structure may be the brain and the diseased area may be the infarcted area.
  • a plurality of predetermined regions may be regions for deriving ASPECTS.
  • ASPECTS is an abbreviation for Alberta Stroke Program Early CT Score, and is a scoring method that quantifies the early CT sign of simple CT for cerebral infarction in the middle cerebral artery region.
  • the medical image is a CT image
  • the middle cerebral artery region is divided into 10 regions in two typical cross sections (basal ganglia level and radial coronary level), and the presence or absence of early ischemic changes is evaluated for each region.
  • It is a method of scoring positive points by the deduction method.
  • the medical image is an MRI image, particularly a diffusion-weighted image
  • the middle cerebral artery region is divided into 11 regions in two typical cross sections (basal ganglia level and radiation crown level) and scored.
  • ASPECTS the lower the score, the larger the area of the infarcted area.
  • ASPECTS may be used to determine whether or not to apply tPA intravenous therapy, which is one of the treatment methods for cerebral infarction.
  • the medical image processing method divides a structure in a medical image including a line-symmetrical structure into a plurality of predetermined regions.
  • a reference line for the structure is derived based on the plurality of divided regions.
  • the medical image processing method according to the present disclosure may be provided as a program to be executed by a computer.
  • Other medical image processing devices include a memory for storing instructions to be executed by a computer and a memory.
  • the processor comprises a processor configured to execute a stored instruction.
  • a structure in a medical image containing a line-symmetrical structure is divided into a plurality of predetermined regions. The process of deriving the reference line of the structure is executed based on the plurality of divided regions.
  • a reference line for a structure such as a brain included in a medical image can be easily derived.
  • the figure which shows the schematic structure of the medical image processing apparatus by 1st Embodiment Diagram showing two tomographic images for deriving ASPECTS The figure which shows the standard division image which shows the division area of ASPECTS Diagram showing tomographic images divided into multiple regions Diagram to explain the derivation of the center of gravity Diagram to explain the derivation of the reference line Diagram to illustrate normalization Diagram to illustrate normalization Diagram showing a reversal tomographic image Conceptual diagram of processing performed by the discrimination model in the first embodiment Diagram showing learning images and correct answer data Diagram showing the discrimination result display screen
  • a flowchart showing the processing performed in the first embodiment The figure which shows the schematic structure of the medical image processing apparatus by 2nd Embodiment Schematic block diagram showing the configuration of the discrimination model in the second embodiment Diagram showing the feature map Diagram showing an inverted feature map Diagram showing a superposed map
  • Diagram to illustrate area interpolation for feature maps Diagram to illustrate area interpolation for feature maps
  • Diagram to illustrate area interpolation for feature maps Diagram to illustrate area interpolation for feature maps
  • FIG. 1 is a hardware configuration diagram showing an outline of a diagnostic support system to which the medical image processing apparatus according to the first embodiment of the present disclosure is applied.
  • the medical image processing device 1, the three-dimensional image capturing device 2, and the image storage server 3 according to the first embodiment are connected in a communicable state via the network 4. Has been done.
  • the three-dimensional image capturing device 2 is a device that generates a three-dimensional image representing the site by photographing the site to be diagnosed of the subject, and specifically, a CT device, an MRI device, and a PET (PET). Positron Emission Tomography) equipment, etc.
  • the three-dimensional image generated by the three-dimensional image capturing device 2 is transmitted to the image storage server 3 and stored.
  • the three-dimensional imaging device 2 is a CT device, and a CT image of the head including the brain of the subject as a structure is generated as a three-dimensional brain image.
  • the brain image includes a plurality of tomographic images.
  • brain images and tomographic images correspond to the medical images of the present disclosure.
  • the image storage server 3 is a computer that stores and manages various data, and is equipped with a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with another device via a wired or wireless network 4 to send and receive image data and the like.
  • various data including the image data of the brain image generated by the three-dimensional image capturing apparatus 2 and the image data of the standard divided image representing the divided area of the standard ASPECTS described later are acquired via the network and are large.
  • Capacity Save and manage on a recording medium such as an external storage device.
  • the storage format of the image data and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • the medical image processing device 1 is a computer in which the medical image processing program of the first embodiment is installed.
  • the computer may be a workstation or personal computer operated directly by the diagnosing doctor, or it may be a server computer connected to them via a network.
  • the medical image processing program is stored in a storage device of a server computer connected to a network or in a network storage in a state of being accessible from the outside, and is downloaded and installed in the computer upon request. Alternatively, it is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • FIG. 2 is a diagram showing a schematic configuration of a medical image processing apparatus according to the first embodiment, which is realized by installing a medical image processing program on a computer.
  • the medical image processing apparatus 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration. Further, a display 14 such as a liquid crystal display 14 and an input device 15 such as a keyboard and a mouse are connected to the medical image processing device 1.
  • a CPU Central Processing Unit
  • the storage 13 is composed of a hard disk drive or the like, and stores various information including a brain image of a subject and information necessary for processing acquired from an image storage server 3 via a network 4.
  • the medical image processing program is stored in the memory 12.
  • the medical image processing program has, as a process to be executed by the CPU 11, an image acquisition process for acquiring a medical image, a division process for dividing a structure in a medical image including a line-symmetrical structure into a plurality of predetermined regions, and a division.
  • a reference line derivation process for deriving a reference line of a structure based on a plurality of regions, and a normalization process for normalizing the position of the brain included in a medical image and generating a normalized medical image based on the reference line.
  • discrimination processing for discriminating an abnormality of the structure using the normalized medical image and the inverted image, and displaying the discrimination result on the display 14.
  • the medical image is a brain image and the structure is a brain.
  • the computer has the image acquisition unit 21, the division unit 22, the reference line derivation unit 23, the normalization unit 24, the inversion unit 25, the discrimination unit 26, and the display control unit 27. Functions as.
  • the image acquisition unit 21 acquires the brain image B0 of the subject from the image storage server 3. If the brain image B0 is already stored in the storage 13, the image acquisition unit 21 may acquire the brain image B0 from the storage 13. In this embodiment, ASPECTS, which will be described later, is derived. Therefore, in the present embodiment, only two tomographic images for deriving ASPECTS may be acquired from the three-dimensional brain image B0. Further, in the present embodiment, a standard divided image representing a standard ASPECTS divided area described later is also acquired from the image storage server 3.
  • FIG. 3 is a diagram showing two tomographic images for deriving ASPECTS.
  • the two tomographic images S1 and S2 shown in FIG. 3 represent a tomographic plane at the basal ganglia level and a tomographic plane at the radial crown level in the middle cerebral artery region of the brain, respectively.
  • the head of the human body included in the two tomographic images S1 and S2 is not in the center thereof, and the midline that divides the brain into the left and right brains is inclined with respect to the perpendicular line of the tomographic images. This is because patients with cerebral infarction are often unconscious and often urgent, so they take pictures in a hurry while resting on a stretcher.
  • the midline of the brain is used as a reference line.
  • the tomographic images S1 and S2 are images of the tomographic surface seen from the lower side of the human body to the parietal side, and the face is located on the upper side. Therefore, in the brain included in the tomographic images S1 and S2, the right side is the left brain and the left side is the right brain.
  • the dividing unit 22 divides a structure in a medical image including a brain, which is a line-symmetrical structure, into a plurality of predetermined regions.
  • the medical image is two tomographic images for deriving ASPECTS contained in the brain image B0
  • the axisymmetric structure is the brain
  • the brain is transferred to a plurality of regions for deriving ASPECTS. It shall be divided.
  • FIG. 4 is a diagram showing a standard divided image showing the divided area of ASPECTS.
  • ASPECTS is an abbreviation for Alberta Stroke Program Early CT Score, and is a scoring method that quantifies the early CT sign of simple CT for cerebral infarction in the middle cerebral artery region. Specifically, when the medical image is a CT image, the middle cerebral artery region is divided into 10 regions in two typical cross sections (basal ganglia level and radial coronary level), and the presence or absence of early ischemic changes is evaluated for each region. , It is a method of scoring positive points by the deduction method.
  • the left and right middle cerebral artery regions on the tomographic plane at the basal ganglia level of the brain are divided into seven regions C, I, L, IC and M1 to M3, respectively.
  • the left and right middle cerebral artery regions on the corona radiata level fault plane are divided into three regions, M4 to M6, respectively.
  • the reference numerals of the regions are shown only in the left brain.
  • the division portion 22 divides the tomographic image S1 at the basal ganglia level of the brain into seven regions C, I, L, IC and M1 to M3 of the left and right middle cerebral artery regions, and at the corona radiata level. It is assumed that the tomographic image S2 is divided into three regions M4 to M6 of the left and right middle cerebral artery regions.
  • the dividing unit 22 aligns the tomographic image S1 with the standard divided image D1 shown in FIG. 4 and aligns the tomographic image S2 with the standard divided image D2 shown in FIG.
  • FIG. 5 is a diagram showing tomographic images S1 and S2 divided into a plurality of regions.
  • the reference line derivation unit 23 derives the reference line of the brain based on the plurality of divided regions in the tomographic images S1 and S2.
  • the midline of the brain is the reference line.
  • the reference line derivation unit 23 derives the centers of gravity of the left and right brains in the tomographic images S1 and S2, respectively. Since the process of deriving the reference line is the same for each of the tomographic images S1 and S2, only the derivation of the center of gravity for the tomographic image S2 will be described here, and the derivation of the center of gravity for the tomographic image S1 will be described. Omit.
  • FIG. 6 is a diagram for explaining the derivation of the center of gravity.
  • the reference line deriving unit 23 derives the centers of gravity GL4 to GL6 and the centers of gravity GR4 to GR6 of the regions M4 to M6 in the left and right brains of the tomographic image S2, respectively. Further, the reference line deriving unit 23 derives the center of gravity GL of the center of gravity GL4 to GL6 of the left brain and the center of gravity GR of the center of gravity GR4 to GR6 of the right brain.
  • the reference line derivation unit 23 derives the center of gravity of the regions M4 to M6 in each of the left and right brains as the center of gravity GL of the left brain and the center of gravity GR of the right brain without deriving the centers of gravity GL4 to GL6 and the centers of gravity GR4 to GR6, respectively. It may be.
  • the reference line derivation unit 23 further derives the perpendicular bisectors of the centers of gravity GL and GR as the reference line BL.
  • the reference line derivation unit 23 also derives the midpoint C0 of the centers of gravity GL and GR.
  • the reference line derivation unit 23 derives the center of gravity positions GL and GR of the left and right brains, and derives the perpendicular bisectors of the center of gravity GL and GR as the reference line BL.
  • the normalization unit 24 normalizes the position of the brain included in the tomographic images S1 and S2. For this purpose, the normalization unit 24 translates the brain so that the midpoints C0 of the centers of gravity GL and GR of the brain coincide with the centers of the tomographic images S1 and S2.
  • FIG. 8 is a diagram showing a tomographic image S2 in which the midpoint C0 coincides with the center. In this state, the reference line BL is tilted by ⁇ degrees clockwise with respect to the perpendicular line XL passing through the center of the tomographic image S2.
  • the normalization unit 24 rotates the brain included in the tomographic image S2 by ⁇ degrees counterclockwise about the midpoint C0 to make the reference line BL coincide with the perpendicular line XL of the tomographic image S2. As a result, as shown in FIG. 9, the position of the brain in the tomographic image S2 is normalized.
  • the normalization unit 24 normalizes the position of the brain of the tomographic image S1 in the same manner as the tomographic image S2.
  • the normalized tomographic images S1 and S2 will be referred to as normalized tomographic images Ss1 and Ss2, respectively.
  • the reversing unit 25 generates a reversing tomographic image in which the normalized tomographic images Ss1 and Ss2 are flipped horizontally with reference to the reference line BL.
  • FIG. 10 is a diagram showing inverted tomographic images Sc1 and Sc2.
  • the discrimination unit 26 discriminates the diseased region of the brain by using the normalized tomographic images Ss1 and Ss2 and the inverted tomographic images Sc1 and Sc2, respectively.
  • the infarcted region is determined as the diseased region of the brain.
  • the discriminating unit 26 is referred to as a convolutional neural network (hereinafter referred to as CNN (Convolutional Neural Network)), which is one of the multi-layer neural networks in which a plurality of processing layers are hierarchically connected and deep learning is performed. It is assumed that the discriminant model consisting of) is provided.
  • CNN Convolutional Neural Network
  • FIG. 11 is a conceptual diagram showing the processing performed by the discrimination model included in the discrimination unit 26 together with the configuration of the discrimination model in the first embodiment.
  • FIG. 11 shows only the normalized tomographic image Ss1 and the inverted tomographic image Sc1, the same applies to the normalized tomographic image Ss2 and the inverted tomographic image Sc2.
  • the discrimination model 30 is composed of a CNN having an encoder 30A and a decoder 30B. The normalized tomographic image Ss1 and the inverted tomographic image Sc1 are input to the encoder 30A.
  • the encoder 30A has a plurality of processing layers including at least one of a convolution layer and a pooling layer.
  • the processing layer included in the encoder 30A is assumed to have both a convolution layer and a pooling layer.
  • the convolutional layer is based on the difference in pixel values of the corresponding pixel positions for the two input images (ie, the normalized tomographic image Ss1 and the inverted tomographic image Sc1 and the normalized tomographic image Ss2 and the inverted tomographic image Sc2).
  • the convolution process using various kernels is performed so as to detect the infarct region, and a feature map consisting of the feature data obtained by the convolution process is output.
  • the convolution layer applies the kernel to the entire input image or feature map output from the previous processing layer, shifting the pixels of interest of the kernel. Further, the convolution layer applies an activation function such as a sigmoid function to the convolutioned value, and outputs a feature map.
  • the infarct region is detected by using the symmetry with respect to the reference line in the brain based on the difference in the pixel values of the corresponding pixel positions of the two input images.
  • the pooling layer reduces the feature map by pooling the feature map output by the convolution layer, and outputs the reduced feature map.
  • the encoder 30A repeats convolution and pooling to identify the infarcted area in the feature map.
  • the decoder 30B has a plurality of convolution layers and an upsampling layer.
  • the convolution layer is subjected to the same processing as the convolution layer of the encoder 30A.
  • the upsampling layer upsamples the feature map and outputs an enlarged feature map.
  • the decoder 30B increases the resolution of the feature map output by the encoder 30A so as to have the resolution of the normalized tomographic images Ss1 and Ss2, and infringes each pixel in the normalized tomographic images Ss1 and Ss2 with the pixels in the infarcted region. Performs processing to classify pixels as non-regional pixels.
  • the discrimination result of the infarct region in the normalized tomographic images Ss1 and Ss2 is output from the final layer of the decoder 30B, which is also the final layer of the discrimination model 30.
  • the discrimination model 30 is trained to discriminate the infarct region in the normalized tomographic images Ss1 and Ss2. As shown in FIG. 12, a large number of combinations of the learning image 40 and the correct answer data 41 labeling the infarcted region in the learning image 40 are used for learning.
  • an inverted image of the learning image 40 (referred to as an inverted image for learning) is generated.
  • the learning image 40 and the learning inverted image are input to the CNN constituting the discrimination model 30, and the discrimination result of the infarct region is output from the CNN.
  • the determination result of the infarct region and the correct answer data 41 are compared, and the difference from the correct answer data is derived as a loss.
  • the CNN constituting the discrimination model 30 is trained by using a large number of learning images 40 and correct answer data 41 so that the loss becomes equal to or less than a predetermined threshold value.
  • the loss is determined by the number of convolution layers, the number of pooling layers, the kernel coefficient in the convolution layer, the size of the kernel, etc. so that the loss is equal to or less than a predetermined threshold value.
  • CNN learning is performed by repeatedly deriving each time it is derived.
  • the discrimination model 30 for discriminating the infarct region 32 in the normalized tomographic images Ss1 and Ss2 is constructed.
  • FIG. 13 is a diagram showing a display screen of the determination result.
  • the normalized tomographic images Ss1 and Ss2 are displayed on the discrimination result display screen 50.
  • labels 51 and 52 are given to the infarcted regions identified in the normalized tomographic images Ss1 and Ss2.
  • ASPECTS 55 is displayed on the discrimination result display screen 50.
  • ASPECTS55 includes a table that assigns check marks to each of the 10 regions C, I, L, IC and M1 to M6 for determining ASPECTS55 in the normalized tomographic images Ss1 and Ss2.
  • the operator determines the position of the infarcted region on the determination result display screen 50, and assigns a check mark to ASPECTS 55.
  • labels 51 and 52 for identifying the infarct region are attached to the left brain region M2 of the normalized tomographic image Ss1 and the left brain region M5 of the normalized tomographic image Ss2, respectively. .. Therefore, the operator assigns a check mark to each of the areas M2 and M5 of the left brain. Since the right brain does not include the infarcted area, no check mark is given to the table of the right brain. As a result, the ASPECTS of the right brain is 10, and the ASPECTS of the left brain is 8.
  • FIG. 14 is a flowchart showing the processing performed in the first embodiment.
  • the image acquisition unit 21 acquires the tomographic images S1 and S2 included in the brain image B0 (step ST1).
  • the division unit 22 divides the brain included in the tomographic images S1 and S2 into a plurality of predetermined regions (step ST2).
  • the reference line deriving unit 23 derives the reference line BL of the brain based on the plurality of divided regions in the tomographic images S1 and S2 (step ST3).
  • the normalization unit 24 normalizes the position of the brain included in the tomographic images S1 and S2 (step ST4).
  • normalized tomographic images Ss1 and Ss2 are generated.
  • the reversing unit 25 flips the normalized tomographic images Ss1 and Ss2 left and right with reference to the reference line BL (step ST5).
  • the inverted tomographic images Sc1 and Sc2 are generated.
  • the discrimination unit 26 discriminates the diseased region of the brain by using the normalized tomographic images Ss1 and Ss2 and the inverted tomographic images Sc1 and Sc2 (step ST6). Then, the display control unit 27 displays the determination result on the display 14 (step ST7), and ends the process.
  • the structure in the medical image including the axisymmetric structure is divided into a plurality of predetermined regions, and the structure reference is based on the divided plurality of regions.
  • the line is derived. Specifically, each of the left and right brains included in the tomographic images S1 and S2 is divided into 10 regions based on ASPECTS, and the reference line BL is derived based on the plurality of divided regions.
  • the reference line BL is derived based on a plurality of regions in the brain, the midline is derived using only the eyeball as in the method described in Japanese Patent Publication No. 2019-500110.
  • the reference line can be derived more reliably and accurately than the method of deriving. Further, the burden on the operator can be reduced as compared with the method described in Japanese Patent Application Laid-Open No. 2011-167333.
  • the normalized tomographic images Ss1 and Ss2 in which the position of the brain is accurately normalized can be generated. ..
  • the normalized tomographic images Ss1 and Ss2 normalized based on the derived reference line BL are inverted, the inverted tomographic images Sc1 and Sc2 that are accurately inverted left and right can be generated.
  • FIG. 15 is a diagram showing a schematic configuration of a medical image processing apparatus according to a second embodiment of the present disclosure.
  • the medical image processing device 1A according to the second embodiment uses the normalized tomographic images Ss1 and Ss2 instead of the inversion unit 25 and the discrimination unit 26 of the medical image processing device 1 according to the first embodiment, and has an abnormality in the brain.
  • the point that the discriminating unit 29 for discriminating is provided is different from the first embodiment.
  • FIG. 16 is a schematic block diagram showing a configuration of a discrimination model included in the discrimination unit 29 in the second embodiment.
  • the discrimination model 60 included in the discrimination unit 29 includes an encoder 60A and a decoder 60B.
  • the discrimination model 60 in the second embodiment outputs a large number of learning images and correct answers so that when the normalized tomographic images Ss1 and Ss2 are input, the discrimination results of the infarcted region in the normalized tomographic images Ss1 and Ss2 are output. Learning is performed in the same manner as the discrimination model 30 using the data, but it differs from the discrimination model 30 in that the inverted tomographic images Sc1 and Sc2 are internally generated.
  • the encoder 60A has a first discriminator 61, a second discriminator 62, and a third discriminator 63.
  • the first discriminator 61 is composed of a convolutional neural network having a plurality of processing layers including at least one of a convolutional layer and a pooling layer, performs at least one of the convolutional processing and the pooling processing in each processing layer, and outputs a feature map F1. .. FIG. 17 is a diagram showing an example of the feature map F1 output from the first discriminator 61.
  • the resolution of the feature map F1 is set to 5 ⁇ 5 pixels for the sake of simplicity, but the present invention is not limited to this.
  • the normalized tomographic image Ss1 includes the infarct region at the same position as the normalized tomographic image Ss1 shown in FIG. 13
  • the resolution of the feature map F1 is 5 ⁇ 5 pixels as shown in FIG.
  • Feature A1 is included at the position corresponding to the infarcted region of the normalized tomographic image Ss1.
  • the second discriminator 62 inverts the feature map F1 output by the first discriminator 61 with reference to the axis of symmetry to generate an inverted feature map F2.
  • the axis of symmetry corresponds to the reference line BL derived by the reference line deriving unit 23.
  • the processing layer of the second discriminator 62 performs a convolution process in which the feature map F1 is inverted with respect to the axis of symmetry.
  • FIG. 18 is a diagram showing an inverted feature map. As shown in FIG. 18, the inverted feature map F2 is generated by flipping the feature map F1 shown in FIG. 17 left and right with respect to the axis of symmetry X0.
  • the feature A2 of the feature map F1 exists as the feature A2 of the inverted feature map F2.
  • the second discriminator 62 may have only one processing layer or may have a plurality of processing layers as long as the inverted feature map F2 can be generated from the feature map F1. ..
  • the third discriminator 63 is composed of a convolutional neural network having a plurality of processing layers including at least one of a convolutional layer and a pooling layer, and the feature map F1 and the second discriminator output by the first discriminator 61 in the first processing layer.
  • a superposed map is generated by superimposing the inverted feature map F2 output by the vessel 62.
  • the first processing layer of the third discriminator 63 is shown separately from the third discriminator 63 by a positive sign for the purpose of explaining the superposition.
  • FIG. 19 is a diagram showing a superposed map.
  • the third discriminator 63 discriminates the infarct region in the normalized tomographic images Ss1 and Ss2 based on the overlay map F3. Specifically, a process for identifying the infarcted region is performed based on the overlay map F3.
  • the decoder 60B increases the resolution of the feature map in which the infarcted region is specified so as to have the resolution of the normalized tomographic images Ss1 and Ss2, and sets each pixel in the normalized tomographic images Ss1 and Ss2 to the pixel of the infarcted region and the infarcted region. Performs processing to classify pixels as non-pixels. As a result, the discrimination result of the infarct region in the normalized tomographic images Ss1 and Ss2 is output from the final layer of the decoder 60B, which is also the final layer of the discrimination model 60.
  • FIG. 20 is a flowchart showing the processing performed in the second embodiment.
  • the image acquisition unit 21 acquires the tomographic images S1 and S2 included in the brain image B0 (step ST11).
  • the division unit 22 divides the brain included in the tomographic images S1 and S2 into a plurality of predetermined regions (step ST12).
  • the reference line deriving unit 23 derives the reference line BL of the brain based on the plurality of divided regions in the tomographic images S1 and S2 (step ST13).
  • the normalization unit 24 normalizes the position of the brain included in the tomographic images S1 and S2 (step ST14). As a result, normalized tomographic images Ss1 and Ss2 are generated.
  • the discrimination unit 29 discriminates the diseased region of the brain by using the normalized tomographic images Ss1 and Ss2 (step ST15). Then, the display control unit 27 displays the determination result on the display 14 (step ST16), and ends the process.
  • the configuration of the medical image processing apparatus according to the third embodiment of the present disclosure is the medical image processing apparatus 1 according to the first embodiment shown in FIG. 2, except that the configuration of the discrimination model included in the discrimination unit 26 is different. Since it is the same as the above, a detailed description of the configuration will be omitted here.
  • FIG. 21 is a conceptual diagram showing the processing performed by the discrimination model included in the discrimination unit 26 together with the configuration of the discrimination model in the third embodiment.
  • the discrimination model 70 includes a CNN having an encoder 70A and a decoder 70B.
  • the encoder 70A has a first discriminator 71, a second discriminator 72, and a third discriminator 73.
  • the first discriminator 71 is composed of a convolutional neural network having a plurality of processing layers including at least one of a convolutional layer and a pooling layer. Then, at least one of the convolution processing and the pooling processing is performed in each processing layer, and the feature map F11 for the normalized tomographic image Ss1 is output.
  • the second discriminator 72 is composed of a convolutional neural network having a plurality of processing layers including at least one of a convolutional layer and a pooling layer. Parameters such as kernel weights in each processing layer of the second discriminator 72 are common to those of the first discriminator 71. Therefore, the first discriminator 71 and the second discriminator 72 are substantially the same discriminator.
  • the second discriminator 72 performs at least one of the convolution processing and the pooling processing in each processing layer, and outputs the feature map F12 for the inverted tomographic image Sc1.
  • the third discriminator 73 is composed of a convolutional neural network having a plurality of processing layers including at least one of a convolutional layer and a pooling layer. Then, in the first processing layer, the overlay map F13 is generated by superimposing the feature map F11 output by the first discriminator 71 and the inverted feature map F12 output by the second discriminator 72. In FIG. 21, the first processing layer of the third discriminator 73 is shown separately from the third discriminator 73 by a positive sign for the purpose of explaining the superposition.
  • the third discriminator 73 discriminates the infarct region in the normalized tomographic images Ss1 and Ss2 based on the overlay map F13. Specifically, a process for identifying the infarcted region is performed based on the overlay map F13.
  • the decoder 70B increases the resolution of the feature map in which the infarct region is specified so as to have the resolution of the normalized tomographic images Ss1 and Ss2, and sets each pixel in the normalized tomographic images Ss1 and Ss2 to the pixel of the infarct region and the infarct region. Performs processing to classify as non-pixels. As a result, the discrimination result of the infarct region 75 in the normalized tomographic images Ss1 and Ss2 is output from the final layer of the decoder 70B, which is also the final layer of the discrimination model 70.
  • FIG. 22 is a flowchart showing the processing performed in the third embodiment.
  • the image acquisition unit 21 acquires the tomographic images S1 and S2 included in the brain image B0 (step ST21).
  • the division unit 22 divides the brain included in the tomographic images S1 and S2 into a plurality of predetermined regions (step ST22).
  • the reference line deriving unit 23 derives the reference line BL of the brain based on the plurality of divided regions in the tomographic images S1 and S2 (step ST23).
  • the normalization unit 24 normalizes the position of the brain included in the tomographic images S1 and S2 (step ST24).
  • normalized tomographic images Ss1 and Ss2 are generated.
  • the reversing unit 25 flips the normalized tomographic images Ss1 and Ss2 left and right with reference to the reference line BL (step ST25).
  • the inverted tomographic images Sc1 and Sc2 are generated.
  • the discrimination unit 26 discriminates the diseased region of the brain by using the normalized tomographic images Ss1 and Ss2 and the inverted tomographic images Sc1 and Sc2 (step ST26). Then, the display control unit 27 displays the determination result on the display 14 (step ST27), and ends the process.
  • the third discriminator 73 may be provided with the function of the decoder 70B.
  • a process of discriminating the infarct region in the normalized tomographic images Ss1 and Ss2 is performed based on the superimposition map F13.
  • each pixel in the normalized tomographic images Ss1 and Ss2 is displayed. The process of classifying the pixels in the infarct region and the pixels in the non-infarct region is performed.
  • the feature map F11 and the inverted feature map F12 are superimposed on the first processing layer of the third discriminator 73, but the present invention is not limited to this.
  • a difference map representing the difference between the feature map F11 and the inverted feature map F12 may be generated.
  • the third discriminator 73 the infarct region in the normalized tomographic images Ss1 and Ss2 is discriminated based on the difference map.
  • the configuration of the medical image processing apparatus according to the fourth embodiment of the present disclosure is the same as that of the medical image processing apparatus 1 according to the first embodiment shown in FIG. 2, and only the processing to be performed is different. A detailed description of the above will be omitted.
  • FIG. 23 is a conceptual diagram showing the processing performed in the fourth embodiment together with the configuration of the discrimination model. Although only the normalized tomographic image Ss1 is shown in FIG. 23, the same processing is performed on the normalized tomographic image Ss2. As shown in FIG. 23, in the fourth embodiment, the reversing unit 25 divides the normalized tomographic image Ss1 into left and right with reference to the reference line BL to generate the divided normalized tomographic images Sh1 and Sh2.
  • the divided normalized tomographic images Ssh1 and Sh2 have half the size of the normalized tomographic images Ss1 and Ss2.
  • the divided normalized tomographic image Sh1 shows the right brain side
  • the divided normalized tomographic image Sh2 shows the left brain side.
  • the inversion unit 25 generates a divided inversion tomographic image Sch1 in which either one of the divided normalized tomographic images Sh1 and Sh2 is horizontally inverted with reference to the reference line BL.
  • the split-reversed tomographic image Sch1 is generated by flipping the split-normalized tomographic image Sh2 left and right.
  • the discrimination unit 26 has a discrimination model 80 for discriminating a diseased region (that is, an infarct region) of the brain using a split normalized tomographic image and a split inverted tomographic image.
  • the discrimination model 80 has an encoder 80A and a decoder 80B. Similar to the encoder 30A in the first embodiment, the encoder 80A has a plurality of processing layers including at least one of a convolution layer and a pooling layer.
  • the encoder 80A performs a convolution process using various kernels so that the infarct region can be detected based on the difference in the pixel values of the corresponding pixel positions between the divided normalized tomographic image Sh1 and the divided inverted tomographic image Sch1.
  • a feature map is generated from the feature data obtained in the convolution process.
  • the encoder 80A identifies the infarcted region in the feature map.
  • the infarct region is detected by using the symmetry with respect to the reference line BL in the brain based on the difference in the pixel values of the corresponding pixel positions of the two input images.
  • the infarction region detected in the divided normalized tomographic image Sh1 and the divided inverted tomographic image Sch1 are detected.
  • a different label is given to the infarcted area.
  • the divided normalized tomographic image Sh1 that is, the infarcted region detected on the right brain side is labeled with "1”.
  • the split inversion tomographic image Sch1 that is, the infarcted region detected on the left brain side is labeled with "2”.
  • the area other than the infarcted area is labeled with "0".
  • the decoder 80B has a plurality of convolution layers and an upsampling layer, similarly to the decoder 30B in the first embodiment.
  • the decoder 80B increases the resolution of the feature map output by the encoder 80A so as to have the resolution of the normalized tomographic images Ss1 and Ss2, and sets each pixel in the normalized tomographic images Ss1 and Ss2 as a pixel in the infarcted region and not in the infarcted region. Performs processing to classify into pixels.
  • the discrimination result of the infarct region in the normalized tomographic images Ss1 and Ss2 is output from the final layer of the decoder 80B, which is also the final layer of the discrimination model 80.
  • the infarct region is specified by using a feature map for images of half the size of the normalized tomographic images Ss1 and Ss2. Therefore, when the feature map in which the infarct region is specified is upsampled by the decoder 80B and the infarct region in the normalized tomographic images Ss1 and Ss2 is finally specified, the feature map is made the same size as the normalized tomographic image Ss1. There is a need. Therefore, the decoder 80B upsamples the feature map to half the resolution of the normalized tomographic images Ss1 and Ss2 in the processing layer in the previous stage.
  • the size of the feature map is made the same as that of the normalized tomographic images Ss1 and Ss2 by interpolating the region corresponding to the label of the detected infarct region into the upsampled feature map. Further, the decoder 80B generates a feature map in which the regions are interpolated in the processing layer in the subsequent stage, and identifies the infarct region in the normalized tomographic images Ss1 and Ss2.
  • FIGS. 24 to 27 are diagrams for explaining the interpolation of the area with respect to the feature map.
  • the feature maps F21, F23, F25, and F27 upsampled to the same resolution as the divided normalized tomographic images Sh1 and Sh2 are shown.
  • the decoder 80B interpolates the region F21A having the same size as the feature map F21 in the region on the right side of the feature map F21 and having the label "0" in all regions. Therefore, a feature map F22 having the same size as the normalized tomographic images Ss1 and Ss2 is generated.
  • the decoder 80B when the label of the detected infarct region in the feature map F23 is "2", the infarct region is detected on the left brain side. Therefore, as shown in FIG. 25, the decoder 80B generates a feature map F23A in which the infarcted region of the label “2” included in the feature map F23 is horizontally inverted with respect to the right side of the feature map F23. Then, in the area on the left side of the inverted feature map F23A, the area F23B having the same size as the feature map F23A and labeled "0" in all the areas is interpolated to obtain the normalized tomographic images Ss1 and Ss2. A feature map F24 of the same size is generated.
  • the decoder 80B interpolates the region F25A having the same size as the feature map F25 and having the label "0" in the entire region in the region on the right side of the feature map F25. Further, the decoder 80B flips the infarct region of the label “2” included in the feature map F25 horizontally with respect to the right side of the feature map F25 and imparts it to the interpolated region F25A. As a result, the decoder 80B generates a feature map F26 having the same size as the normalized tomographic images Ss1 and Ss2, as shown in FIG.
  • the decoder 80B has the same size as the feature map F27 in the left region of the feature map F27 as shown in FIG. 27. Then, the region F27A labeled with "0" is interpolated in all regions to generate a feature map F28 having the same size as the normalized tomographic images Ss1 and Ss2.
  • the region of the label “1” and the region of the label “2” may overlap in the feature map F29 as shown in FIG. 28.
  • the label “3" is assigned to the area where the area of the label “1” and the area of the label “2” overlap.
  • the decoder 80B interpolates the region F29A having the same size as the feature map F29 and having the label "0" in the entire region in the region on the right side of the feature map F29.
  • the decoder 80B interpolates the infarcted areas of the labels "2" and "3" by inverting the right side of the feature map F29 as a reference while deleting the area of the label "2" included in the feature map F29. Granted to region F29A.
  • the decoder 80B is composed of the feature map F29B and the feature map F29A in which the area of the label “2” in the feature map F29 is deleted, and the feature has the same size as the normalized tomographic images Ss1 and Ss2. Generate map F30.
  • the normalized tomographic images Ss1 and Ss2 and the inverted tomographic images Sc1 and Sc2 in the first embodiment are replaced with the divided normalized tomographic images. Images and split inversion tomographic images may be used to detect infarcted areas of the brain.
  • the same method as in the fourth embodiment can be applied.
  • the feature map F1 output by the first discriminator 61 is referred to the axis of symmetry corresponding to the reference line BL.
  • the split feature map Fh31 shows the right brain side
  • the split feature map Fh32 shows the left brain side.
  • the second discriminator 62 generates a division inversion feature map Fh33 in which one of the division feature maps (in FIG. 29, the division feature map Fh32) is horizontally inverted.
  • an overlay map or a difference map is generated from the division feature map Fh31 and the division inversion feature map Fh33, and the infarct region on both the right brain side and the left brain side is generated using the overlay map or the difference map. Is detected.
  • a feature map having the same size as the normalized tomographic images Ss1 and Ss2 is generated by interpolating the region in the same manner as the decoder 80B in the fourth embodiment, and the normalized tomographic images Ss1 and Ss2 are generated. It suffices to output the discrimination result of the infarct region in.
  • the split-normalized tomographic image Sch1 is generated from the split-normalized tomographic image Sh2 on the left brain side, but the split-reversal tomographic image is generated from the split-normalized tomographic image Sh1 on the right-brain side. You may.
  • the split inversion tomographic image and the split normalized tomographic image Sh2 generated from the split normalized tomographic image Sh1 on the right brain side are input to the discrimination model 80, and the discrimination result of the infarct region in the normalized tomographic images Ss1 and Ss2 is output. Will be done.
  • the normalization unit 24 normalizes the positions of the brains included in the tomographic images S1 and S2 based on the reference line BL derived by the reference line derivation unit 23, and normalizes the tomographic image Ss1. , Ss2 is generated, but the present invention is not limited to this. If the position of the structure included in the medical image such as the tomographic images S1 and S2 can be normalized to generate the normalized medical image, the method is not limited to the method using the reference line BL.
  • the normalization unit 24 normalizes the positions of the structures (brain) included in the medical images (tomographic images S1 and S2) without being based on the reference line derived by the reference line derivation unit 23, and the normalization medical image. May be generated.
  • the normalized tomographic images Ss1 based on the operation of displaying the tomographic images S1 and S2 on the display 14 and normalizing the position of the brain included in the tomographic images S1 and S2 using the input device 15 by the operator. It may be one that generates Ss2.
  • the position of the brain included in the tomographic images S1 and S2 is normalized by aligning the standard brain image in which the reference line is defined with the tomographic images S1 and S2.
  • the normalized tomographic images Ss1 and Ss2 may be generated.
  • the operator gives a check mark to ASPECTS on the discrimination result display screen, but the present invention is not limited to this.
  • the medical image processing device 1B shown in FIG. 30 the medical image processing device 1 according to the first embodiment may be provided with a derivation unit 90 for deriving ASPECTS.
  • the derivation unit 90 determines which region for deriving ASPECTS in the normalized tomographic images Ss1 and Ss2 includes the detected infarct region.
  • the derivation unit 90 includes the infarct region in any of the left and right C, I, L, IC and M1 to M3 regions in the normalized tomographic image Ss1 and the left and right M4 to M6 regions in the normalized tomographic image Ss2. Determine if it is possible. Specifically, when the infarcted region is included in the region for deriving ASPECTS in a predetermined ratio or more, it is determined that the region is the infarcted region. Then, the out-licensing unit 90 adds a check mark to the ASPECTS 55 shown in FIG. 13 for the region determined to be the infarcted region.
  • the predetermined ratio can be appropriately set according to the degree of strictness of the judgment. For example, it can be 10%, but it may be 20% or 30%. Further, if the infarcted region is included in the region for deriving ASPECTS even a little, it may be determined as the infarcted region.
  • the out-licensing unit 90 may be provided not only in the first embodiment but also in any of the second to fourth embodiments.
  • CNN is used as the discrimination model, but the present invention is not limited to this. If it is a neural network composed of a plurality of processing layers, a deep neural network (DNN (Deep Neural Network)), a recurrent neural network (RNN (Recurrent Neural Network)), a U-net, or the like can be used. Further, as the neural network, Mask R-CNN (Regions with CNN features) (“Mask R-CNN, Kaiming He et al., ArXiv, 2018) may be used. MASK R-CNN will be described below.
  • FIG. 31 is a schematic configuration diagram of Mask R-CNN. Note that FIG. 31 shows an example in which MASK R-CNN is applied as the discrimination model 30 in the first embodiment.
  • the Mask R-CNN100 is a convolutional layer 101 that extracts a feature amount from an input image to generate a feature map F40, and an RPN (Region Proposal Networks) that specifies a candidate region of an infarct region in the feature map F40.
  • RPN Registered Proposal Networks
  • the feature map F40 is cut out based on the candidate area of the infarction area, the class of the candidate area using the cut out feature map, and the classification network 103 that outputs the coordinate information in the normalized tomographic images Ss1 and Ss2 of the candidate area, and Includes segmentation 104 that identifies the infarcted region at the pixel level in the normalized tomographic images Ss1 and Ss2.
  • the convolution layer 101 is obtained by performing convolution processing using various kernels on the input normalized tomographic images Ss1, Ss2 and inverted tomographic images Sc1 and Sc2, similarly to the encoder in each of the above embodiments.
  • the feature map F40 composed of the obtained feature data is output.
  • RPN102 a rectangular area called an anchor having a plurality of types of aspect ratios and sizes is defined in advance.
  • a plurality of types of anchors are applied to each pixel position of the feature map F40, and the anchor having the largest overlap rate with the object candidates included in the normalized tomographic images Ss1 and Ss2 is selected. Then, in the RPN 102, using the selected anchor, a process of regressing (that is, deforming and moving) the anchor so as to match the rectangle (correct answer box) surrounding the object candidate is performed on all the pixels of the feature map F40.
  • the position and size of the anchor regressed to match the correct answer box are output from the RPN 102 as the candidate region A10 of the infarct region in the input normalized tomographic images Ss1 and Ss2.
  • the candidate region A10 is a rectangular region surrounding the infarcted region.
  • the classification network 103 is composed of a fully connected layer, and based on the candidate region A10 and the feature map F40, the classification of the candidate region A10 in the normalized tomographic images Ss1 and Ss2 and the coordinates in the normalized tomographic images Ss1 and Ss2 of the candidate region A10. Information is derived.
  • the segmentation 104 is composed of FCN (Fully Convolutional Network), and the infarct region in the normalized tomographic images Ss1 and Ss2 is defined by identifying the pixel to be the infarct region in the candidate region A10 based on the candidate region A10 and the feature map F40. Segmentation.
  • FIG. 31 shows a state in which the infarct region 105 in the normalized tomographic image Ss1 is segmented.
  • the infarct region in the normalized tomographic images Ss1 and Ss2 can also be specified by using the MASK-RCNN100 as the discrimination model 30 in the first embodiment.
  • MASK-RCNN as the discrimination model 60 in the second embodiment.
  • the normalized tomographic images Ss1 and Ss2 are input to the MASK-RCNN, and the feature map of the normalized tomographic images Ss1 and Ss2 and the inverted feature map thereof are generated in the convolution layer 101.
  • the convolution layer 101 a superposition map of the feature map and its inverted feature map is generated and output.
  • the superposition map may be further folded and pooled, and the convolution and pooling superposition map may be output.
  • the map output by the convolution layer 101 is input to the RPN 102, and the candidate region A10 of the infarct region in the normalized tomographic images Ss1 and Ss2 is output. Further, the map output by the convolution layer 101 and the candidate region A10 output by the RPN 102 are input to the classification network 103 and the segmentation 104, and the infarct region 105 in the normalized tomographic images Ss1 and Ss2 is specified.
  • the discrimination model 70 it is also possible to use MASK-RCNN as the discrimination model 70 in the third embodiment.
  • the normalized tomographic images Ss1 and Ss2 and the inverted tomographic images Sc1 and Sc2 are input to the MASK-RCNN100, respectively, and the feature map and the inverted tomographic image Sc1 for the normalized tomographic images Ss1 and Ss2 in the convolution layer 101.
  • Sc2 feature maps (hereinafter referred to as inverted feature maps) are generated, and a superposed map or difference map of the feature map and its inverted feature map is generated and output.
  • the superposition map or the difference map may be further convoluted and pooled, and the convolution and pooling superposition map or the difference map may be output.
  • the map output by the convolution layer 101 is input to the RPN 102, and the candidate region A10 of the infarct region in the normalized tomographic images Ss1 and Ss2 is output. Further, the map output by the convolution layer 101 and the candidate region A10 output by the RPN 102 are input to the classification network 103 and the segmentation 104, and the infarct region 105 in the normalized tomographic images Ss1 and Ss2 is specified.
  • MASK-RCNN MASK-RCNN
  • the divided normalized tomographic images Sh1 and Sh2 and the divided inverted tomographic images Sch1 and Sch2 are input to the MASK-RCNN100, respectively, and the divided normalized tomographic images Sh1 and Sh2 and the divided inverted tomographic images Sch1 and Sch1 are input from the convolution layer 101.
  • a feature map focusing on the difference in pixel values at the corresponding pixel positions of Sch2 is output.
  • the feature map output by the convolution layer 101 is input to the RPN 102, and the candidate region A10 of the infarct region in the normalized tomographic images Ss1 and Ss2 is output.
  • the feature map output by the convolution layer 101 and the candidate region A10 output by the RPN 102 are input to the classification network 103 and the segmentation 104, and the infarct region 105 in the normalized tomographic images Ss1 and Ss2 is specified.
  • the feature map is interpolated so as to have the same size as the normalized tomographic images Ss1 and Ss2.
  • the same method as that of the fourth embodiment can be applied to the second embodiment, and MASK-RCNN is used as the discrimination model used in this case. Is possible. Further, as described above, the same method as that of the fourth embodiment can be applied to the third embodiment, and MASK-RCNN is used as the discrimination model used in this case. Is possible.
  • the tomographic images S1 and S2 are divided into a plurality of regions for determining ASPECTS, but the present invention is not limited to this.
  • the tomographic images S1 and S2 may be divided into a plurality of regions by a method of dividing the brain into functional regions such as Brodmann's brain map.
  • the reference line BL of the brain included in the two-dimensional tomographic images S1 and S2 is derived, but the present invention is not limited to this.
  • the three-dimensional brain image B0 may be divided into a plurality of regions, and a reference plane corresponding to the median plane of the brain included in the three-dimensional brain image B0 may be derived based on the plurality of regions.
  • the discrimination result in the normalized tomographic images Ss1 and Ss2 is displayed on the discrimination result display screen 50, but the present invention is not limited to this.
  • the tomographic images S1 and S2 before normalization may be displayed on the discrimination result display screen 50.
  • the normalized tomographic images Ss1 and Ss2 including the discrimination result may be aligned with the tomographic images S1 and S2, and a mask for identifying the infarct region may be displayed on the tomographic images S1 and S2.
  • the normalization tomographic images Ss1 and Ss2 generated by deriving the center of gravity of the left brain and the right brain, deriving the reference line and normalizing in the reference line deriving unit 23 and the normalizing unit 24.
  • the center of gravity of the left and right brains, the reference line, and the normalization may be performed again to generate a new normalized tomographic image.
  • the center of gravity of the left and right brains, the reference line, and the normalization may be repeated for the new normalized tomographic image.
  • the accuracy of normalization can be improved, so that the infarcted region can be determined more accurately.
  • the second discriminator 62 of the discriminant model 60 generates the inverted feature map F2, and the third discriminator 63 generates the superimposed map of the feature map F1 and the inverted feature map F2.
  • the infarcted area is not limited to this.
  • a difference map is generated by deriving the difference between the phase corresponding pixels of the feature map F1 and the inverted feature map F2, and the infarct region is discriminated based on the feature map F1 and the difference map. May be done.
  • the convolution layer 101 may generate a difference map between the feature map and its inverted feature map. In this case, a difference map or a map obtained by further convolving and pooling the difference map is input to the RPN 102.
  • first discriminator 61, the second discriminator 62, and the third discriminator 63 included in the discrimination model 60 in the second embodiment do not have to be the same type of neural network.
  • first discriminator 61 and the second discriminator 62 may be a convolutional neural network
  • the third discriminator 63 may be a recurrent neural network instead of the CNN.
  • first discriminator 71 and the second discriminator 72 and the third discriminator 73 included in the discrimination model 70 in the third embodiment do not have to be the same type of neural network.
  • the first discriminator 71 and the second discriminator 72 may be used as a convolutional neural network
  • the third discriminator 73 may be used as a recurrent neural network instead of CNN.
  • the infarcted region of the brain is discriminated, but the present invention is not limited to this, and the bleeding region of the brain may be discriminated.
  • the discriminant model is trained to discriminate the bleeding region of the brain.
  • CT images are used as brain images B0 and tomographic images S1 and S2, but the present invention is not limited to this, and other medical images such as MRI images and PET images are used. May be good.
  • a brain image is used as a medical image, but the present invention is not limited to this.
  • the technique of the present disclosure can also be applied to discriminate a diseased region in a medical image containing a pair or a plurality of pairs of structures existing in line symmetry such as lung, kidney, eyeball and ear.
  • the image acquisition unit 21, the division unit 22, the reference line derivation unit 23, the normalization unit 24, the inversion unit 25, the discrimination unit 26, the display control unit 27, the discrimination unit 29, and the derivation unit 90 As the hardware structure of the processing unit that executes various processes, the following various processors can be used. As described above, the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like. Dedicated electricity, which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.

Abstract

分割部が、線対称な構造物を含む医用画像における構造物を、予め定められた複数の領域へ分割する。基準線導出部が、分割された複数の領域に基づいて、構造物の基準線を導出する。

Description

医用画像処理装置、方法およびプログラム
　本開示は、脳画像等の医用画像における基準線を導出する医用画像処理装置、方法およびプログラムに関するものである。
　近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、対象部位を脳とした場合において、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、脳梗塞および脳出血等の血管障害を起こしている疾病領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。一般に疾病領域はＣＴ画像およびＭＲＩ画像上において周囲の領域と比較して高い信号値を示す。このため、画像診断においては周囲の領域と比較して高い信号値を示す領域の有無を読影することにより、疾病領域を判別することができる。
　一方、医用画像が非造影ＣＴ画像である場合、軽度のくも膜下出血、および超急性期の脳梗塞では、疾患が発生している部分とその周辺部分とのコントラストが不明瞭な場合が多い。このため、画像診断に際しては、医用画像において脳の左右対称な領域を比較することによって、疾病領域が存在するか否かを読影することが一般的に行われている。
　このような左右対称な領域を比較して疾病領域を検出するための各種手法が提案されている。例えば特開２０１８－０１１９５８号公報には、医用画像における左右対称な領域の組み合わせを入力として、機械学習を行った判別器を用いて、疾病領域の有無を判別する手法が提案されている。
　また、左右対称な領域を特定するためには、脳における正中線を基準線として導出する必要がある。このため、脳における基準線を導出するための各種手法が提案されている。例えば特表２０１９－５００１１０号公報には、脳のＣＴ画像に対してエッジ検出アルゴリズムを適用し、ハフ変換により眼球を特定し、眼球の中心点の位置に基づいて、頭蓋内空間の正中線内の直線セグメントを同定することにより、基準線を導出する手法が提案されている。また、特開２０１１－１６７３３３号公報には、操作者の入力により医用画像における脳の基準線を特定する手法が提案されている。
　しかしながら、特表２０１９－５００１１０号公報に記載された手法では、眼球のように左右で１つのみしかない構造物を用いて基準線を特定している。このため、導出された基準線はそれほど精度のよいものではない。とくに、事故および病気等により片眼または両眼を損傷している場合には、特表２０１９－５００１１０号公報に記載された手法では、基準線を導出できない。また、特開２０１１－１６７３３３号公報に記載された手法では、操作者の入力により基準線を特定しているため、操作者の負担が大きい。
　本開示は上記事情に鑑みなされたものであり、医用画像に含まれる脳等の線対称な構造物の基準線を精度よく導出することを目的とする。
　本開示による医用画像処理装置は、線対称な構造物を含む医用画像における構造物を、予め定められた複数の領域へ分割する分割部と、
　分割された複数の領域に基づいて、構造物の基準線を導出する基準線導出部とを備える。
　「線対称な構造物」とは、医用画像上においてそれ自体が線対称である１つの構造物のみならず、医用画像上において線対称な位置に存在する一対または複数対の構造物をも含む。なお、例えば脳は基本的には（すなわち解剖学的には）線対称な形をなしており、線対称に存在することが前提とされているが、厳密に線対称な形をなしているものではなく、左脳および右脳で大きさおよび形状が異なる場合がある。また、腎臓も解剖学的に線対称に対に存在するが、左右の腎臓の大きさおよび形状が異なる場合がある。このため、「線対称な構造物」は、完全に線対称な対をなす構造物のみならず、おおよそ線対称をなす構造物および線対称に存在することが前提とされる構造物も含むものとする。
　「基準線」とは、線対称な構造物を線対称に分割するための線である。基準線としては、例えば正中線を用いることができる。なお、基準線は許容しうるある程度の誤差を持って構造物を線対称に分割するものも含む。
　なお、本開示による医用画像処理装置においては、基準線に基づいて、医用画像に含まれる構造物の位置を正規化して正規化医用画像を生成する正規化部をさらに備えるものであってもよい。
　また、本開示による医用画像処理装置においては、正規化医用画像を基準線を基準として反転させた反転画像を生成する反転部と、
　正規化医用画像および反転画像を用いて、構造物の疾病領域を判別する判別部とをさらに備えるものであってもよい。
　この場合、判別部は、正規化医用画像および反転画像の入力により、構造物の疾病領域の判別結果を出力する判別モデルを有するものであってもよい。
　また、本開示による医用画像処理装置においては、判別モデルは、正規化医用画像および反転画像の入力により、正規化医用画像および反転画像についての特徴マップを生成し、特徴マップを用いて、構造物の疾病領域の判別結果を出力するものであってもよい。
　また、本開示による医用画像処理装置においては、判別モデルは、正規化医用画像および反転画像のそれぞれについて特徴マップを生成し、正規化医用画像についての特徴マップおよび反転画像についての特徴マップを用いて、構造物の疾病領域の判別結果を出力するものであってもよい。
　また、本開示による医用画像処理装置においては、正規化された正規化医用画像を用いて、構造物の疾病領域を判別する判別部をさらに備えるものであってもよい。
　この場合、判別部は、正規化医用画像の入力により、正規化医用画像の反転画像を生成して構造物の疾病領域の判別結果を出力する判別モデルを有するものあってもよい。
　また、本開示による医用画像処理装置においては、判別モデルは、正規化医用画像の入力により、正規化医用画像から特徴マップを生成し、基準線に対応する対称軸を基準として特徴マップを反転させた反転特徴マップを生成し、特徴マップおよび反転特徴マップを用いて構造物の疾病領域の判別結果を出力するものであってもよい。
　「判別」は医用画像における疾病領域の位置を判別すること、および医用画像における疾病領域の有無を判別することのいずれであってもよい。
　また、本開示による医用画像処理装置においては、判別モデルは、少なくとも１つの処理層を有するニューラルネットワークからなるものであってもよい。
　また、本開示による医用画像処理装置においては、判別の結果をディスプレイに表示する表示制御部をさらに備えるものであってもよい。
　また、本開示による医用画像処理装置においては、構造物は脳であり、疾病領域は梗塞領域であってもよい。
　また、本開示による医用画像処理装置においては、予め定められた複数の領域は、ＡＳＰＥＣＴＳを導出するための領域であってもよい。
　「ＡＳＰＥＣＴＳ」とは、Alberta Stroke Program Early CT Scoreの略語であり、中大脳動脈領域の脳梗塞に対して、単純ＣＴのearly CT signを定量化したスコア法である。具体的には、医用画像がＣＴ画像の場合、中大脳動脈領域を代表的２断面（基底核レベルおよび放線冠レベル）における１０領域に分割し、領域ごとに早期虚血変化の有無を評価し、陽性箇所を減点法で採点する手法である。なお、医用画像がＭＲＩ画像、とくに拡散強調画像である場合には、中大脳動脈領域を代表的２断面（基底核レベルおよび放線冠レベル）における１１領域に分割して採点を行う。ＡＳＰＥＣＴＳでは、スコアが低い方が梗塞領域の面積が広いこととなる。なお、ＡＳＰＥＣＴＳは、脳梗塞の治療方法の１つであるｔＰＡ静注療法を適用するか否かの判断に使用される場合がある。
　本開示による医用画像処理方法は、線対称な構造物を含む医用画像における構造物を、予め定められた複数の領域へ分割し、
　分割された複数の領域に基づいて、構造物の基準線を導出する。
　なお、本開示による医用画像処理方法を、コンピュータに実行させるプログラムとして提供してもよい。
　本開示による他の医用画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　線対称な構造物を含む医用画像における構造物を、予め定められた複数の領域へ分割し、
　分割された複数の領域に基づいて、構造物の基準線を導出する処理を実行する。
　本開示によれば、医用画像に含まれる脳等の構造物の基準線を簡易に導出することができる。
本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による医用画像処理装置の概略構成を示す図 ＡＳＰＥＣＴＳを導出するための２つの断層画像を示す図 ＡＳＰＥＣＴＳの分割領域を表す標準分割画像を示す図 複数の領域に分割された断層画像を示す図 重心の導出を説明するための図 基準線の導出を説明するための図 正規化を説明するための図 正規化を説明するための図 反転断層画像を示す図 第１の実施形態における判別モデルが行う処理の概念図 学習用画像および正解データを示す図 判別結果表示画面を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態による医用画像処理装置の概略構成を示す図 第２の実施形態における判別モデルの構成を示す概略ブロック図 特徴マップを示す図 反転特徴マップを示す図 重ね合わせマップを示す図 第１の実施形態において行われる処理を示すフローチャート 第３の実施形態において、判別部が有する判別モデルが行う処理を判別モデルの構成と併せて示す概念図 第３の実施形態において行われる処理を示すフローチャート 第４の実施形態において、判別部が有する判別モデルが行う処理を判別モデルの構成と併せて示す概念図 特徴マップに対する領域の補間を説明するための図 特徴マップに対する領域の補間を説明するための図 特徴マップに対する領域の補間を説明するための図 特徴マップに対する領域の補間を説明するための図 特徴マップに対する領域の補間を説明するための図 第２の実施形態に第４の実施形態の手法を適用した場合の処理を説明するための図 導出部を設けた第１の実施形態による医用画像処理装置の概略構成を示す図 ＭＡＳＫ－ＲＣＮＮの構成を示す概略図
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、第１の実施形態による医用画像処理装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、構造物として被検体の脳を含む頭部のＣＴ画像を３次元の脳画像として生成する。なお、脳画像は複数の断層画像を含む。また、脳画像および断層画像が本開示の医用画像に相当する。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された脳画像の画像データ、および後述する標準的なＡＳＰＥＣＴＳの分割領域を表す標準分割画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　医用画像処理装置１は、１台のコンピュータに、第１の実施形態の医用画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
　図２は、コンピュータに医用画像処理プログラムをインストールすることにより実現される、第１の実施形態による医用画像処理装置の概略構成を示す図である。図２に示すように、医用画像処理装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像処理装置１には、液晶等のディスプレイ１４、並びにキーボードおよびマウス等の入力デバイス１５が接続されている。
　ストレージ１３は、ハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の脳画像、並びに処理に必要な情報を含む各種情報が記憶されている。
　メモリ１２には、医用画像処理プログラムが記憶されている。医用画像処理プログラムは、ＣＰＵ１１に実行させる処理として、医用画像を取得する画像取得処理、線対称な構造物を含む医用画像における構造物を、予め定められた複数の領域へ分割する分割処理、分割された複数の領域に基づいて、構造物の基準線を導出する基準線導出処理、基準線に基づいて、医用画像に含まれる脳の位置を正規化して正規化医用画像を生成する正規化処理、正規化医用画像を基準線を基準として反転させた反転画像を生成する反転処理、正規化医用画像および反転画像を用いて、構造物の異常を判別する判別処理、および判別結果をディスプレイ１４に表示する表示制御処理を規定する。なお、本実施形態においては、医用画像は脳画像であり、構造物は脳である。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、分割部２２、基準線導出部２３、正規化部２４、反転部２５、判別部２６および表示制御部２７として機能する。
　画像取得部２１は、被検体の脳画像Ｂ０を画像保管サーバ３から取得する。なお、脳画像Ｂ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から脳画像Ｂ０を取得するようにしてもよい。なお、本実施形態においては、後述するＡＳＰＥＣＴＳを導出する。このため、本実施形態においては、３次元の脳画像Ｂ０のうち、ＡＳＰＥＣＴＳを導出するための２つの断層画像のみを取得するものであってもよい。また、本実施形態においては、後述する標準的なＡＳＰＥＣＴＳの分割領域を表す標準分割画像も画像保管サーバ３から取得するものとする。
　図３はＡＳＰＥＣＴＳを導出するための２つの断層画像を示す図である。図３に示す２つの断層画像Ｓ１，Ｓ２は、それぞれ脳の中大脳動脈領域における基底核レベルの断層面および放線冠レベルの断層面を表すものである。なお、２つの断層画像Ｓ１，Ｓ２に含まれる人体の頭部は、その中央にはなく、また脳を左脳と右脳とに分割する正中線は、断層画像の垂線に対して傾いている。これは、脳梗塞の患者は意識を失っていることが多く、さらに緊急を要することが多いため、担架に乗せた状態で急いで撮影を行うことに起因する。また、頸椎に障害がある場合は頸椎を動かさない方がよいが、意識を失っている患者は頸椎の障害の有無の問い合わせに答えることができない。このような場合、頭を動かすことなく撮影が行われるため、正中線が断層画像の垂線に対して傾くこととなる。なお、本実施形態においては、脳の正中線を基準線として用いるものとする。また、断層画像Ｓ１，Ｓ２は人体の下方から頭頂側に見た断層面の画像であり、上側に顔が位置する。このため、断層画像Ｓ１，Ｓ２に含まれる脳においては、右側が左脳となり、左側が右脳となる。
　分割部２２は、線対称な構造物である脳を含む医用画像における構造物を、予め定められた複数の領域へ分割する。本実施形態においては、医用画像は脳画像Ｂ０に含まれるＡＳＰＥＣＴＳを導出するための２つの断層画像であり、線対称な構造物は脳であり、ＡＳＰＥＣＴＳを導出するための複数の領域へ脳を分割するものとする。
　図４はＡＳＰＥＣＴＳの分割領域を表す標準分割画像を示す図である。ＡＳＰＥＣＴＳとは、Alberta Stroke Program Early CT Scoreの略語であり、中大脳動脈領域の脳梗塞に対して、単純ＣＴのearly CT signを定量化したスコア法である。具体的には、医用画像がＣＴ画像の場合、中大脳動脈領域を代表的２断面（基底核レベルおよび放線冠レベル）における１０領域に分割し、領域ごとに早期虚血変化の有無を評価し、陽性箇所を減点法で採点する手法である。標準分割画像Ｄ１では、脳の基底核レベルの断層面における左右の中大脳動脈領域が、それぞれＣ、Ｉ、Ｌ、ＩＣおよびＭ１～Ｍ３の７領域に分割されている。標準分割画像Ｄ２では、放射冠レベルの断層面における左右の中大脳動脈領域が、それぞれＭ４～Ｍ６の３つの領域に分割されている。なお、図４においては、説明を簡単なものとするために、左脳にのみ領域の符号を示している。
　本実施形態においては、分割部２２は、脳の基底核レベルの断層画像Ｓ１を左右の中大脳動脈領域のＣ、Ｉ、Ｌ、ＩＣおよびＭ１～Ｍ３の７領域へ分割し、放射冠レベルの断層画像Ｓ２を左右の中大脳動脈領域のＭ４～Ｍ６の３つの領域へ分割するものとする。このために、分割部２２は、断層画像Ｓ１と図４に示す標準分割画像Ｄ１との位置合わせ、および断層画像Ｓ２と図４に示す標準分割画像Ｄ２との位置合わせを行う。そして、位置合わせした標準分割画像Ｄ１，Ｄ２における分割領域を断層画像Ｓ１，Ｓ２に適用して、断層画像Ｓ１，Ｓ２を複数の領域に分割する。図５は複数の領域に分割された断層画像Ｓ１，Ｓ２を示す図である。
　基準線導出部２３は、断層画像Ｓ１，Ｓ２における分割された複数の領域に基づいて、脳の基準線を導出する。本実施形態においては、脳の正中線が基準線である。基準線を導出するために、基準線導出部２３は、断層画像Ｓ１，Ｓ２における左脳および右脳のそれぞれの重心を導出する。なお、基準線を導出する処理は、断層画像Ｓ１，Ｓ２のそれぞれにおいて同一であるため、ここでは断層画像Ｓ２についての重心の導出についてのみ説明し、断層画像Ｓ１についての重心の導出については説明を省略する。
　図６は重心の導出を説明するための図である。図６に示すように、基準線導出部２３は、断層画像Ｓ２の左脳および右脳のそれぞれにおいて、領域Ｍ４～Ｍ６の重心ＧＬ４～ＧＬ６および重心ＧＲ４～ＧＲ６を導出する。さらに、基準線導出部２３は、左脳の重心ＧＬ４～ＧＬ６の重心ＧＬおよび右脳の重心ＧＲ４～ＧＲ６の重心ＧＲを導出する。なお、基準線導出部２３は、重心ＧＬ４～ＧＬ６および重心ＧＲ４～ＧＲ６を導出することなく、左脳および右脳のそれぞれにおける領域Ｍ４～Ｍ６の重心を左脳の重心ＧＬおよび右脳の重心ＧＲとして導出するものであってもよい。
　基準線導出部２３は、さらに図７に示すように、重心ＧＬ，ＧＲの垂直二等分線を基準線ＢＬとして導出する。なお、基準線導出部２３は、重心ＧＬ，ＧＲの中点Ｃ０も導出する。なお、断層画像Ｓ１についても、基準線導出部２３は、左脳および右脳の重心位置ＧＬ，ＧＲを導出し、重心ＧＬ，ＧＲの垂直二等分線を基準線ＢＬとして導出する。
　正規化部２４は、断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化する。このために、正規化部２４は、脳の重心ＧＬ，ＧＲの中点Ｃ０を断層画像Ｓ１，Ｓ２の中心と一致させるように、脳を平行移動する。図８は、中点Ｃ０が中心と一致した断層画像Ｓ２を示す図である。この状態において、基準線ＢＬは、断層画像Ｓ２の中心を通る垂線ＸＬに対して右回りにθ度傾いている。このため、正規化部２４は、断層画像Ｓ２に含まれる脳を、中点Ｃ０を中心として左回りにθ度回転して、基準線ＢＬを断層画像Ｓ２の垂線ＸＬと一致させる。これにより、図９に示すように、断層画像Ｓ２における脳の位置が正規化される。なお、正規化部２４は、断層画像Ｓ１についても断層画像Ｓ２と同様に脳の位置を正規化する。以降の説明において、正規化された断層画像Ｓ１，Ｓ２をそれぞれ正規化断層画像Ｓｓ１，Ｓｓ２と称する。
　反転部２５は、正規化断層画像Ｓｓ１，Ｓｓ２を基準線ＢＬを基準として左右反転させた反転断層画像を生成する。図１０は反転断層画像Ｓｃ１，Ｓｃ２を示す図である。
　判別部２６は、正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２をそれぞれ用いて、脳の疾病領域を判別する。本実施形態においては、脳の疾病領域として梗塞領域を判別するものとする。このために、判別部２６は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）からなる判別モデルを有するものとする。
　図１１は第１の実施形態において、判別部２６が有する判別モデルが行う処理を判別モデルの構成と併せて示す概念図である。なお、図１１には正規化断層画像Ｓｓ１および反転断層画像Ｓｃ１のみを示しているが、正規化断層画像Ｓｓ２および反転断層画像Ｓｃ２についても同様である。図１１に示すように判別モデル３０は、エンコーダ３０Ａおよびデコーダ３０Ｂを有するＣＮＮからなる。エンコーダ３０Ａには、正規化断層画像Ｓｓ１と反転断層画像Ｓｃ１とが入力される。
　エンコーダ３０Ａは畳み込み層およびプーリング層の少なくとも一方を含む複数の処理層を有する。本実施形態においては、エンコーダ３０Ａが有する処理層は、畳み込み層およびプーリング層の双方を有するものとする。畳み込み層は、入力される２つの画像（すなわち正規化断層画像Ｓｓ１と反転断層画像Ｓｃ１、および正規化断層画像Ｓｓ２と反転断層画像Ｓｃ２）に対して、対応する画素位置の画素値の相違に基づいて梗塞領域を検出するように各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴データからなる特徴マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップを出力する。ここで、入力される２つの画像の対応する画素位置の画素値の相違に基づくことにより、脳における基準線を基準とした対称性を用いて、梗塞領域を検出することとなる。
　プーリング層は、畳み込み層が出力した特徴マップをプーリングすることにより、特徴マップを縮小して、縮小された特徴マップを出力する。
　そして、エンコーダ３０Ａは畳み込みおよびプーリングを繰り返し、特徴マップにおける梗塞領域を特定する。
　デコーダ３０Ｂは、複数の畳み込み層およびアップサンプリング層を有する。畳み込み層はエンコーダ３０Ａの畳み込み層と同様の処理を行う。アップサンプリング層は、特徴マップをアップサンプリングして拡大された特徴マップを出力する。そして、デコーダ３０Ｂは、エンコーダ３０Ａが出力した特徴マップを、正規化断層画像Ｓｓ１，Ｓｓ２の解像度となるように高解像度化しつつ、正規化断層画像Ｓｓ１，Ｓｓ２における各画素を梗塞領域の画素と梗塞領域でない画素とに分類する処理を行う。これにより、判別モデル３０の最終層でもあるデコーダ３０Ｂの最終層からは、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の判別結果が出力される。
　判別モデル３０は、正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２が入力されると、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を判別するように学習がなされる。学習には、図１２に示すように、学習用画像４０および学習用画像４０における梗塞領域をラベリングした正解データ４１の組み合わせが多数使用される。
　学習に際しては、学習用画像４０の反転画像（学習用反転画像とする）が生成される。そして、学習用画像４０と学習用反転画像とが判別モデル３０を構成するＣＮＮに入力され、ＣＮＮから梗塞領域の判別結果を出力させる。そして、梗塞領域の判別結果と正解データ４１とが比較され、正解データとの相違が損失として導出される。さらに、損失が予め定められたしきい値以下となるように、多数の学習用画像４０および正解データ４１を用いて、判別モデル３０を構成するＣＮＮの学習が行われる。具体的には、損失が予め定められたしきい値以下となるように、ＣＮＮを構成する畳み込み層の数、プーリング層の数、畳み込み層におけるカーネルの係数およびカーネルの大きさ等を、損失が導出される毎に繰り返し導出することにより、ＣＮＮの学習が行われる。これにより、判別モデル３０に正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２が入力されると、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域３２を判別する判別モデル３０が構築される。
　表示制御部２７は、梗塞領域の判別結果をディスプレイ１４に表示する。図１３は判別結果の表示画面を示す図である。図１３に示すように、判別結果表示画面５０には、正規化断層画像Ｓｓ１，Ｓｓ２が表示される。また、正規化断層画像Ｓｓ１，Ｓｓ２において判別された梗塞領域にはラベル５１，５２が付与されている。また、本実施形態においては、判別結果表示画面５０には、ＡＳＰＥＣＴＳ５５が表示される。ＡＳＰＥＣＴＳ５５は、正規化断層画像Ｓｓ１，Ｓｓ２におけるＡＳＰＥＣＴＳ５５を判断する１０の領域Ｃ、Ｉ、Ｌ、ＩＣおよびＭ１～Ｍ６のそれぞれにチェックマークを付与する表を含む。操作者は、判別結果表示画面５０において、梗塞領域の位置を判断し、ＡＳＰＥＣＴＳ５５にチェックマークを付与する。図１３に示す判別結果表示画面５０においては、正規化断層画像Ｓｓ１の左脳の領域Ｍ２および正規化断層画像Ｓｓ２の左脳の領域Ｍ５のそれぞれに梗塞領域を特定するラベル５１，５２が付与されている。このため、操作者は左脳の領域Ｍ２，Ｍ５のそれぞれにチェックマークを付与する。なお、右脳には梗塞領域が含まれないため、右脳の表にはチェックマークは付与されない。その結果、右脳のＡＳＰＥＣＴＳは１０、左脳のＡＳＰＥＣＴＳは８となる。
　次いで、第１の実施形態において行われる処理について説明する。図１４は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、脳画像Ｂ０に含まれる断層画像Ｓ１，Ｓ２を取得する（ステップＳＴ１）。次いで、分割部２２が、断層画像Ｓ１，Ｓ２に含まれる脳を予め定められた複数の領域へ分割する（ステップＳＴ２）。そして、基準線導出部２３が、断層画像Ｓ１，Ｓ２における分割された複数の領域に基づいて、脳の基準線ＢＬを導出する（ステップＳＴ３）。さらに、正規化部２４が、断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化する（ステップＳＴ４）。これにより、正規化断層画像Ｓｓ１，Ｓｓ２が生成される。次いで、反転部２５が、正規化断層画像Ｓｓ１，Ｓｓ２を基準線ＢＬを基準として左右反転させる（ステップＳＴ５）。これにより、反転断層画像Ｓｃ１，Ｓｃ２が生成される。
　さらに判別部２６が、正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２を用いて、脳の疾病領域を判別する（ステップＳＴ６）。そして、表示制御部２７が、判別結果をディスプレイ１４に表示し（ステップＳＴ７）、処理を終了する。
　このように、第１の実施形態においては、線対称な構造物を含む医用画像における構造物を、予め定められた複数の領域へ分割し、分割した複数の領域に基づいて、構造物の基準線を導出するようにした。具体的には、断層画像Ｓ１，Ｓ２に含まれる左脳および右脳それぞれを、ＡＳＰＥＣＴＳに基づく１０個の領域に分割し、分割した複数の領域に基づいて基準線ＢＬを導出するようにした。このように、本実施形態においては脳における複数の領域に基づいて基準線ＢＬを導出しているため、特表２０１９－５００１１０号公報に記載された手法のように、眼球のみを用いて正中線を導出する手法と比較して、確実かつ精度よく基準線を導出できる。また、特開２０１１－１６７３３３号公報に記載された手法と比較して、操作者の負担も軽減できる。
　また、導出された基準線ＢＬに基づいて、断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化しているため、脳の位置が精度よく正規化された正規化断層画像Ｓｓ１，Ｓｓ２を生成できる。
　また、導出された基準線ＢＬに基づいて正規化された正規化断層画像Ｓｓ１，Ｓｓ２を反転しているため、精度よく左右反転がなされた反転断層画像Ｓｃ１，Ｓｃ２を生成できる。
　次いで、本開示の第２の実施形態について説明する。図１５は、本開示の第２の実施形態による医用画像処理装置の概略構成を示す図である。なお、図１５において図２と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第２の実施形態による医用画像処理装置１Ａは、第１の実施形態における医用画像処理装置１の反転部２５および判別部２６に代えて、正規化断層画像Ｓｓ１，Ｓｓ２を用いて、脳の異常を判別する判別部２９を備えた点が第１の実施形態と異なる。
　図１６は、第２の実施形態における判別部２９が有する判別モデルの構成を示す概略ブロック図である。図１６に示すように判別部２９が有する判別モデル６０は、エンコーダ６０Ａおよびデコーダ６０Ｂを有する。第２の実施形態における判別モデル６０は、正規化断層画像Ｓｓ１，Ｓｓ２が入力されると、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の判別結果を出力するように、多数の学習用画像および正解データを用いて、判別モデル３０と同様に学習が行われるが、内部的に反転断層画像Ｓｃ１，Ｓｃ２を生成している点において、判別モデル３０と異なる。このために、エンコーダ６０Ａは、第１判別器６１、第２判別器６２および第３判別器６３を有する。
　第１判別器６１は、畳み込み層およびプーリング層の少なくとも一方を含む複数の処理層を有する畳み込みニューラルネットワークからなり、各処理層において畳み込み処理およびプーリング処理の少なくとも一方を行い、特徴マップＦ１を出力する。図１７は第１判別器６１から出力される特徴マップＦ１の例を示す図である。なお、図１７においては、説明を簡単なものとするために、特徴マップＦ１の解像度を５×５画素としているがこれに限定されるものではない。ここで、正規化断層画像Ｓｓ１が図１３に示す正規化断層画像Ｓｓ１と同一の位置に梗塞領域を含む場合、図１７に示すように、特徴マップＦ１の解像度は５×５画素となっており、正規化断層画像Ｓｓ１の梗塞領域に対応する位置に特徴Ａ１が含まれる。
　第２判別器６２は、第１判別器６１が出力した特徴マップＦ１を、その対称軸を基準として反転して反転特徴マップＦ２を生成する。対称軸は基準線導出部２３が導出した基準線ＢＬに対応する。このために、第２判別器６２の処理層は、特徴マップＦ１を対称軸を基準として反転する畳み込み処理を行う。図１８は反転特徴マップを示す図である。図１８に示すように反転特徴マップＦ２は、図１７に示す特徴マップＦ１を対称軸Ｘ０を基準として左右反転することにより生成される。このため、特徴マップＦ１の特徴Ａ２は、反転特徴マップＦ２の特徴Ａ２として存在することとなる。なお、第２判別器６２は、特徴マップＦ１から反転特徴マップＦ２を生成することができれば、１つの処理層のみを有するものであってもよく、複数の処理層を有するものであってもよい。
　第３判別器６３は、畳み込み層およびプーリング層の少なくとも一方を含む複数の処理層を有する畳み込みニューラルネットワークからなり、最初の処理層において、第１判別器６１が出力した特徴マップＦ１および第２判別器６２が出力した反転特徴マップＦ２を重ね合わせることにより重ね合わせマップを生成する。なお、図１６においては、重ね合わせの説明のために、第３判別器６３の最初の処理層を、プラスの符号により第３判別器６３とは別に示している。図１９は重ね合わせマップを示す図である。第３判別器６３は、重ね合わせマップＦ３に基づいて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を判別する。具体的には、重ね合わせマップＦ３に基づいて、梗塞領域を特定する処理を行う。
　デコーダ６０Ｂは、梗塞領域が特定された特徴マップを、正規化断層画像Ｓｓ１，Ｓｓ２の解像度となるように高解像度化しつつ、正規化断層画像Ｓｓ１，Ｓｓ２における各画素を梗塞領域の画素と梗塞領域でない画素とに分類する処理を行う。これにより、判別モデル６０の最終層でもあるデコーダ６０Ｂの最終層からは、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の判別結果が出力される。
　次いで、第２の実施形態において行われる処理について説明する。図２０は第２の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、脳画像Ｂ０に含まれる断層画像Ｓ１，Ｓ２を取得する（ステップＳＴ１１）。次いで、分割部２２が、断層画像Ｓ１，Ｓ２に含まれる脳を予め定められた複数の領域へ分割する（ステップＳＴ１２）。そして、基準線導出部２３が、断層画像Ｓ１，Ｓ２における分割された複数の領域に基づいて、脳の基準線ＢＬを導出する（ステップＳＴ１３）。さらに、正規化部２４が、断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化する（ステップＳＴ１４）。これにより、正規化断層画像Ｓｓ１，Ｓｓ２が生成される。
　さらに判別部２９が、正規化断層画像Ｓｓ１，Ｓｓ２を用いて、脳の疾病領域を判別する（ステップＳＴ１５）。そして、表示制御部２７が、判別結果をディスプレイ１４に表示し（ステップＳＴ１６）、処理を終了する。
　次いで、本開示の第３の実施形態について説明する。なお、本開示の第３の実施形態による医用画像処理装置の構成は、判別部２６が有する判別モデルの構成が異なる点を除いて、図２に示す第１の実施形態による医用画像処理装置１と同一であるため、ここでは構成についての詳細な説明は省略する。
　図２１は、第３の実施形態において、判別部２６が有する判別モデルが行う処理を判別モデルの構成と併せて示す概念図である。なお、図２１には正規化断層画像Ｓｓ１および反転断層画像Ｓｃ１のみを示しているが、正規化断層画像Ｓｓ２および反転断層画像Ｓｃ２に対しても同様に処理が行われる。図２１に示すように判別モデル７０は、エンコーダ７０Ａおよびデコーダ７０Ｂを有するＣＮＮからなる。エンコーダ７０Ａは、第１判別器７１、第２判別器７２および第３判別器７３を有する。
　第１判別器７１は、第２の実施形態における第１判別器６１と同様に、畳み込み層およびプーリング層の少なくとも一方を含む複数の処理層を有する畳み込みニューラルネットワークからなる。そして、各処理層において畳み込み処理およびプーリング処理の少なくとも一方を行い、正規化断層画像Ｓｓ１についての特徴マップＦ１１を出力する。
　第２判別器７２は、畳み込み層およびプーリング層の少なくとも一方を含む複数の処理層を有する畳み込みニューラルネットワークからなる。第２判別器７２の各処理層におけるカーネルの重み等のパラメータは、第１判別器７１と共通である。したがって、第１判別器７１と第２判別器７２とは実質的に同一の判別器となっている。第２判別器７２は、各処理層において畳み込み処理およびプーリング処理の少なくとも一方を行い、反転断層画像Ｓｃ１についての特徴マップＦ１２を出力する。
　第３判別器７３は、畳み込み層およびプーリング層の少なくとも一方を含む複数の処理層を有する畳み込みニューラルネットワークからなる。そして、最初の処理層において、第１判別器７１が出力した特徴マップＦ１１および第２判別器７２が出力した反転特徴マップＦ１２を重ね合わせることにより重ね合わせマップＦ１３を生成する。なお、図２１においては、重ね合わせの説明のために、第３判別器７３の最初の処理層を、プラスの符号により第３判別器７３とは別に示している。第３判別器７３は、重ね合わせマップＦ１３に基づいて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を判別する。具体的には、重ね合わせマップＦ１３に基づいて、梗塞領域を特定する処理を行う。
　デコーダ７０Ｂは、梗塞領域が特定された特徴マップを、正規化断層画像Ｓｓ１，Ｓｓ２の解像度となるように高解像度化しつつ、正規化断層画像Ｓｓ１，Ｓｓ２における各画素を梗塞領域の画素と梗塞領域でない画素とに分類する処理を行う。これにより、判別モデル７０の最終層でもあるデコーダ７０Ｂの最終層からは、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域７５の判別結果が出力される。
　次いで、第３の実施形態において行われる処理について説明する。図２２は第３の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、脳画像Ｂ０に含まれる断層画像Ｓ１，Ｓ２を取得する（ステップＳＴ２１）。次いで、分割部２２が、断層画像Ｓ１，Ｓ２に含まれる脳を予め定められた複数の領域へ分割する（ステップＳＴ２２）。そして、基準線導出部２３が、断層画像Ｓ１，Ｓ２における分割された複数の領域に基づいて、脳の基準線ＢＬを導出する（ステップＳＴ２３）。さらに、正規化部２４が、断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化する（ステップＳＴ２４）。これにより、正規化断層画像Ｓｓ１，Ｓｓ２が生成される。次いで、反転部２５が、正規化断層画像Ｓｓ１，Ｓｓ２を基準線ＢＬを基準として左右反転させる（ステップＳＴ２５）。これにより、反転断層画像Ｓｃ１，Ｓｃ２が生成される。
　さらに判別部２６が、正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２を用いて、脳の疾病領域を判別する（ステップＳＴ２６）。そして、表示制御部２７が、判別結果をディスプレイ１４に表示し（ステップＳＴ２７）、処理を終了する。
　なお、上記第３の実施形態において、第３判別器７３にデコーダ７０Ｂの機能を持たせるようにしてもよい。この場合、第３判別器７３の前段において、重ね合わせマップＦ１３に基づいて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を判別する処理を行う。そして、第３判別器７３の後段において、梗塞領域が特定された特徴マップを、正規化断層画像Ｓｓ１，Ｓｓ２の解像度となるように高解像度化しつつ、正規化断層画像Ｓｓ１，Ｓｓ２における各画素を梗塞領域の画素と梗塞領域でない画素とに分類する処理を行う。
　また、上記第３の実施形態においては、第３判別器７３の最初の処理層において、特徴マップＦ１１と反転特徴マップＦ１２とを重ね合わせているが、これに限定されるものではない。特徴マップＦ１１と反転特徴マップＦ１２との差分を表す差分マップを生成するようにしてもよい。この場合、第３判別器７３においては、差分マップに基づいて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域が判別される。
　次いで、本開示の第４の実施形態について説明する。なお、本開示の第４の実施形態による医用画像処理装置の構成は、図２に示す第１の実施形態による医用画像処理装置１と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。
　図２３は、第４の実施形態において行われる処理を判別モデルの構成と併せて示す概念図である。なお、図２３には正規化断層画像Ｓｓ１のみを示しているが、正規化断層画像Ｓｓ２に対しても同様に処理が行われる。図２３に示すように，第４の実施形態においては、反転部２５が、正規化断層画像Ｓｓ１を基準線ＢＬを基準として左右に分割して、分割正規化断層画像Ｓｓｈ１，Ｓｓｈ２を生成する。分割正規化断層画像Ｓｓｈ１，Ｓｓｈ２は、正規化断層画像Ｓｓ１，Ｓｓ２の半分のサイズを有する。なお、分割正規化断層画像Ｓｓｈ１が右脳側を、分割正規化断層画像Ｓｓｈ２が左脳側を示す。そして、反転部２５が分割正規化断層画像Ｓｓｈ１，Ｓｓｈ２のいずれか一方を、基準線ＢＬを基準として左右反転させた分割反転断層画像Ｓｃｈ１を生成する。なお、図２３においては、分割正規化断層画像Ｓｓｈ２を左右反転することにより分割反転断層画像Ｓｃｈ１を生成している。
　また、第４の実施形態においては、判別部２６は、分割正規化断層画像および分割反転断層画像を用いて脳の疾病領域（すなわち梗塞領域）を判別する判別モデル８０を有する。図２３に示すように判別モデル８０は、エンコーダ８０Ａおよびデコーダ８０Ｂを有する。エンコーダ８０Ａは、第１の実施形態におけるエンコーダ３０Ａと同様に、畳み込み層およびプーリング層の少なくとも一方を含む複数の処理層を有する。そして、エンコーダ８０Ａは、分割正規化断層画像Ｓｓｈ１と分割反転断層画像Ｓｃｈ１との対応する画素位置の画素値の相違に基づいて梗塞領域を検出可能なように各種カーネルを用いた畳み込み処理を行い、畳み込み処理に得られた特徴データから特徴マップを生成する。そして、エンコーダ８０Ａは、特徴マップにおける梗塞領域を特定する。ここで、入力される２つの画像の対応する画素位置の画素値の相違に基づくことにより、脳における基準線ＢＬを基準とした対称性を用いて、梗塞領域を検出することとなる。
　なお、第４の実施形態においては、分割正規化断層画像Ｓｓｈ１と分割反転断層画像Ｓｃｈ１とを用いているため、分割正規化断層画像Ｓｓｈ１において検出された梗塞領域と、分割反転断層画像Ｓｃｈ１において検出された梗塞領域とで、異なるラベルを付与する。例えば、分割正規化断層画像Ｓｓｈ１、すなわち右脳側において検出された梗塞領域には「１」のラベルを付与する。また、分割反転断層画像Ｓｃｈ１、すなわち左脳側において検出された梗塞領域には「２」のラベルを付与する。なお、梗塞領域以外の領域には「０」のラベルを付与する。
　デコーダ８０Ｂは、第１の実施形態におけるデコーダ３０Ｂと同様に、複数の畳み込み層およびアップサンプリング層を有する。デコーダ８０Ｂは、エンコーダ８０Ａが出力した特徴マップを、正規化断層画像Ｓｓ１，Ｓｓ２の解像度となるように高解像度化しつつ、正規化断層画像Ｓｓ１，Ｓｓ２における各画素を梗塞領域の画素と梗塞領域でない画素とに分類する処理を行う。これにより、判別モデル８０の最終層でもあるデコーダ８０Ｂの最終層からは、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の判別結果が出力される。
　ここで、第４の実施形態のエンコーダ８０Ａにおいては、正規化断層画像Ｓｓ１，Ｓｓ２の半分のサイズの画像についての特徴マップを用いることにより梗塞領域を特定している。このため、梗塞領域が特定された特徴マップをデコーダ８０Ｂにおいてアップサンプリングし、最終的に正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を特定するに際して、特徴マップを正規化断層画像Ｓｓ１と同一サイズにする必要がある。したがって、デコーダ８０Ｂは、前段の処理層において正規化断層画像Ｓｓ１，Ｓｓ２の半分の解像度まで特徴マップをアップサンプリングする。そして、アップサンプリングされた特徴マップに、検出された梗塞領域のラベルに応じた領域を補間することにより、特徴マップのサイズを正規化断層画像Ｓｓ１，Ｓｓ２と同一にする。さらに、デコーダ８０Ｂは、後段の処理層において、領域を補間した特徴マップを生成し、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を特定する。
　図２４～図２７は特徴マップに対する領域の補間を説明するための図である。なお、図２４～２７においては、分割正規化断層画像Ｓｓｈ１，Ｓｓｈ２と同一の解像度までアップサンプリングされた特徴マップＦ２１，Ｆ２３，Ｆ２５，Ｆ２７を示す。まず、図２４に示すように、特徴マップＦ２１における検出された梗塞領域のラベルが「１」である場合、右脳側において梗塞領域が検出されている。このため、デコーダ８０Ｂは、図２４に示すように、特徴マップＦ２１における右側の領域に、特徴マップＦ２１と同一サイズを有し、全領域に「０」のラベルが付与された領域Ｆ２１Ａを補間して、正規化断層画像Ｓｓ１，Ｓｓ２と同一サイズの特徴マップＦ２２を生成する。
　また、図２５に示すように、特徴マップＦ２３における検出された梗塞領域のラベルが「２」である場合、左脳側において梗塞領域が検出されている。このため、デコーダ８０Ｂは、図２５に示すように、特徴マップＦ２３に含まれるラベル「２」の梗塞領域を、特徴マップＦ２３の右辺を基準として左右反転した特徴マップＦ２３Ａを生成する。そして、反転した特徴マップＦ２３Ａにおける左側の領域に、特徴マップＦ２３Ａと同一サイズを有し、全領域に「０」のラベルが付与された領域Ｆ２３Ｂを補間して、正規化断層画像Ｓｓ１，Ｓｓ２と同一サイズの特徴マップＦ２４を生成する。
　また、図２６に示すように、特徴マップＦ２５において２つの梗塞領域が検出され、検出された２つの梗塞領域のラベルがそれぞれ「１」、「２」である場合、左右の両側の脳において梗塞領域が検出されている。このため、デコーダ８０Ｂは、特徴マップＦ２５における右側の領域に、特徴マップＦ２５と同一サイズを有し、全領域に「０」のラベルが付与された領域Ｆ２５Ａを補間する。さらに、デコーダ８０Ｂは、特徴マップＦ２５に含まれるラベル「２」の梗塞領域を、特徴マップＦ２５の右辺を基準として左右反転して、補間した領域Ｆ２５Ａに付与する。これにより、デコーダ８０Ｂは、図２６に示すように、正規化断層画像Ｓｓ１，Ｓｓ２と同一サイズの特徴マップＦ２６を生成する。
　また、図２７に示すように、特徴マップＦ２７において梗塞領域が検出されていない場合、デコーダ８０Ｂは、図２７に示すように、特徴マップＦ２７における左側の領域に、特徴マップＦ２７と同一サイズを有し、全領域に「０」のラベルが付与された領域Ｆ２７Ａを補間して、正規化断層画像Ｓｓ１，Ｓｓ２と同一サイズの特徴マップＦ２８を生成する。
　なお、左右の両側の脳において梗塞領域が検出された場合、図２８に示すように、特徴マップＦ２９において、ラベル「１」の領域とラベル「２」の領域とが重なる場合がある。この場合、エンコーダ８０Ａにおいて、ラベル「１」の領域とラベル「２」の領域とが重なる領域に、ラベル「３」を付与するようにする。そして、デコーダ８０Ｂは、特徴マップＦ２９における右側の領域に、特徴マップＦ２９と同一サイズを有し、全領域に「０」のラベルが付与された領域Ｆ２９Ａを補間する。さらに、デコーダ８０Ｂは、特徴マップＦ２９に含まれるラベル「２」の領域を削除しつつラベル「２」および「３」の梗塞領域を、特徴マップＦ２９の右辺を基準として左右反転して、補間した領域Ｆ２９Ａに付与する。これにより、デコーダ８０Ｂは、図２８に示すように、特徴マップＦ２９におけるラベル「２」の領域を削除した特徴マップＦ２９Ｂと特徴マップＦ２９Ａとからなり、正規化断層画像Ｓｓ１，Ｓｓ２と同一サイズの特徴マップＦ３０を生成する。
　なお、上記第３の実施形態においても、上記第４の実施形態と同様に、上記第１の実施形態における正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２に代えて、分割正規化断層画像および分割反転断層画像を用いて脳の梗塞領域を検出するようにしてもよい。
　また、上記第２の実施形態においても、上記第４の実施形態と同様の手法を適用することが可能である。第２の実施形態において第４の実施形態と同様の手法を適用する場合、図２９に示すように、第１判別器６１が出力した特徴マップＦ１を、基準線ＢＬに対応する対称軸を基準として分割して、分割特徴マップＦｈ３１，Ｆｈ３２を生成する。なお、分割特徴マップＦｈ３１が右脳側を、分割特徴マップＦｈ３２が左脳側を示すものとなる。そして、第２判別器６２が、分割特徴マップのいずれか一方（図２９においては、分割特徴マップＦｈ３２）を左右反転させた分割反転特徴マップＦｈ３３を生成する。そして、第３判別器６３において、分割特徴マップＦｈ３１および分割反転特徴マップＦｈ３３から重ね合わせマップまたは差分マップを生成し、重ね合わせマップまたは差分マップを用いて、右脳側および左脳側の双方における梗塞領域を検出する。なお、デコーダ６０Ｂにおいては、第４の実施形態におけるデコーダ８０Ｂと同様に領域を補間することにより、正規化断層画像Ｓｓ１，Ｓｓ２と同一サイズの特徴マップを生成して、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の判別結果を出力すればよい。
　また、上記第４の実施形態においては、左脳側の分割正規化断層画像Ｓｓｈ２から分割反転断層画像Ｓｃｈ１を生成しているが、右脳側の分割正規化断層画像Ｓｓｈ１から分割反転断層画像を生成してもよい。この場合、右脳側の分割正規化断層画像Ｓｓｈ１から生成した分割反転断層画像および分割正規化断層画像Ｓｓｈ２が判別モデル８０に入力されて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の判別結果が出力される。
　なお、上記各実施形態においては、正規化部２４において、基準線導出部２３が導出した基準線ＢＬに基づいて、断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化して正規化断層画像Ｓｓ１，Ｓｓ２を生成しているが、これに限定されるものではない。断層画像Ｓ１，Ｓ２のような医用画像に含まれる構造物の位置を正規化して正規化医用画像を生成することができれば、基準線ＢＬを用いる手法に限定されるものではない。すなわち、正規化部２４は、基準線導出部２３が導出した基準線に基づくことなく、医用画像（断層画像Ｓ１，Ｓ２）に含まれる構造物（脳）の位置を正規化して正規化医用画像を生成するものであってもよい。例えば、断層画像Ｓ１，Ｓ２をディスプレイ１４に表示し、操作者による入力デバイス１５を用いての断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化する操作に基づいて、正規化断層画像Ｓｓ１，Ｓｓ２を生成するものであってもよい。また、正規化部２４において、基準線を定義した標準的な脳の画像と、断層画像Ｓ１，Ｓ２との位置合わせを行うことにより、断層画像Ｓ１，Ｓ２に含まれる脳の位置を正規化して正規化断層画像Ｓｓ１，Ｓｓ２を生成するようにしてもよい。
　また、上記各実施形態においては、判別結果表示画面において、操作者がＡＳＰＥＣＴＳにチェックマークを付与しているが、これ限定されるものではない。例えば、図３０に示す医用画像処理装置１Ｂに示すように、第１の実施形態による医用画像処理装置１に、ＡＳＰＥＣＴＳを導出する導出部９０を設けるようにしてもよい。導出部９０は、検出された梗塞領域が、正規化断層画像Ｓｓ１，Ｓｓ２におけるＡＳＰＥＣＴＳを導出するためのいずれの領域に含まれるかを判定する。すなわち、導出部９０は、正規化断層画像Ｓｓ１における左右のＣ、Ｉ、Ｌ、ＩＣおよびＭ１～Ｍ３の領域、並びに正規化断層画像Ｓｓ２における左右のＭ４～Ｍ６の領域のいずれに梗塞領域が含まれるかを判定する。具体的には、梗塞領域がＡＳＰＥＣＴＳを導出するための領域において梗塞領域が予め定められた割合以上含まれる場合に、その領域が梗塞領域であると判定する。そして、導出部９０は、梗塞領域であると判定された領域について、図１３に示すＡＳＰＥＣＴＳ５５にチェックマークを付与する。
　ここで、予め定められた割合としては、判定の厳密さの程度に応じて適宜設定することが可能である。例えば、１０％とすることができるが、２０％あるいは３０％としてもよい。また、梗塞領域が少しでもＡＳＰＥＣＴＳを導出するための領域に含まれていれば、梗塞領域と判定するようにしてもよい。
　なお、導出部９０は、上記第１の実施形態のみならず、第２から第４の実施形態のいずれに設けるようにしてもよい。
　また、上記各実施形態においては、判別モデルとしてＣＮＮを用いているが、これに限定されるものではない。複数の処理層から構成されるニューラルネットワークであれば、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）、リカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）およびＵ－ｎｅｔ等を用いることができる。また、ニューラルネットワークとして、Ｍａｓｋ　Ｒ－ＣＮＮ（Regions with CNN features）（「Mask R-CNN、Kaiming Heら、arXiv、2018）を用いるものであってもよい。以下、ＭＡＳＫ　Ｒ－ＣＮＮについて説明する。
　図３１はＭａｓｋ　Ｒ－ＣＮＮの概略構成図である。なお、図３１は、第１の実施形態における判別モデル３０にとして、ＭＡＳＫ　Ｒ－ＣＮＮを適用した例を示している。図３１に示すように、Ｍａｓｋ　Ｒ－ＣＮＮ１００は、入力画像から特徴量を抽出して特徴マップＦ４０を生成する畳み込み層１０１、特徴マップＦ４０における梗塞領域の候補領域を特定するＲＰＮ（Region Proposal Networks）１０２、特徴マップＦ４０を梗塞領域の候補領域に基づいて切り出し、切り出した特徴マップを用いて候補領域のクラス、および候補領域の正規化断層画像Ｓｓ１，Ｓｓ２における座標情報を出力する分類ネットワーク１０３、および正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を画素レベルで特定するセグメンテーション１０４を含む。
　畳み込み層１０１は、上記各実施形態におけるエンコーダと同様に、入力された正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２に対して、各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴データからなる特徴マップＦ４０を出力する。
　ＲＰＮ１０２においては、複数種類のアスペクト比およびサイズを有するアンカーと呼ばれる矩形領域が予め定義される。ＲＰＮ１０２においては、複数種類のアンカーを特徴マップＦ４０の各画素位置に適用し、正規化断層画像Ｓｓ１，Ｓｓ２に含まれる物体候補との重なり率が最も大きいアンカーが選択される。そして、ＲＰＮ１０２においては、選択されたアンカーを用いて、物体候補を囲む矩形（正解ボックス）と一致するようにアンカーを回帰させる（すなわち変形および移動させる）処理を、特徴マップＦ４０の全画素において行い、正解ボックスと一致するように回帰されたアンカーの位置およびサイズが、入力された正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の候補領域Ａ１０としてＲＰＮ１０２から出力される。なお、候補領域Ａ１０は、梗塞領域を囲む矩形の領域である。
　分類ネットワーク１０３は、全結合層からなり、候補領域Ａ１０および特徴マップＦ４０に基づいて、正規化断層画像Ｓｓ１，Ｓｓ２における候補領域Ａ１０の分類、および候補領域Ａ１０の正規化断層画像Ｓｓ１，Ｓｓ２における座標情報の導出が行われる。
　セグメンテーション１０４は、ＦＣＮ (Fully Convolutional Network)からなり、候補領域Ａ１０および特徴マップＦ４０に基づいて、候補領域Ａ１０において梗塞領域となる画素を特定することにより、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域をセグメンテーションする。なお、図３１においては、正規化断層画像Ｓｓ１における梗塞領域１０５がセグメンテーションされた状態を示している。
　上記のように、第１の実施形態における判別モデル３０として、ＭＡＳＫ－ＲＣＮＮ１００を用いることによっても、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域を特定することができる。
　なお、上記第２の実施形態における判別モデル６０として、ＭＡＳＫ－ＲＣＮＮを用いることも可能である。この場合、ＭＡＳＫ－ＲＣＮＮには、正規化断層画像Ｓｓ１，Ｓｓ２のみが入力され、畳み込み層１０１において、正規化断層画像Ｓｓ１，Ｓｓ２の特徴マップとその反転特徴マップとが生成される。さらに、畳み込み層１０１において、特徴マップとその反転特徴マップとの重ね合わせマップが生成されて出力される。なお、畳み込み層１０１において、重ね合わせマップに対してさらに畳み込みおよびプーリングを行い、畳み込みおよびプーリングを行った重ね合わせマップを出力するようにしてもよい。この場合、ＲＰＮ１０２には、畳み込み層１０１が出力したマップが入力されて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の候補領域Ａ１０が出力される。また、分類ネットワーク１０３およびセグメンテーション１０４には、畳み込み層１０１が出力したマップおよびＲＰＮ１０２が出力した候補領域Ａ１０が入力され、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域１０５の特定が行われる。
　また、上記第３の実施形態における判別モデル７０として、ＭＡＳＫ－ＲＣＮＮを用いることも可能である。この場合、ＭＡＳＫ－ＲＣＮＮ１００には、正規化断層画像Ｓｓ１，Ｓｓ２および反転断層画像Ｓｃ１，Ｓｃ２がそれぞれ入力されて、畳み込み層１０１において、正規化断層画像Ｓｓ１，Ｓｓ２についての特徴マップおよび反転断層画像Ｓｃ１，Ｓｃ２についての特徴マップ（以下、反転特徴マップとする）が生成され、さらに特徴マップとその反転特徴マップとの重ね合わせマップまたは差分マップが生成されて出力される。なお、畳み込み層１０１において、重ね合わせマップまたは差分マップに対してさらに畳み込みおよびプーリングを行い、畳み込みおよびプーリングを行った重ね合わせマップまたは差分マップを出力するようにしてもよい。この場合、ＲＰＮ１０２には、畳み込み層１０１が出力したマップが入力されて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の候補領域Ａ１０が出力される。また、分類ネットワーク１０３およびセグメンテーション１０４には、畳み込み層１０１が出力したマップおよびＲＰＮ１０２が出力した候補領域Ａ１０が入力され、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域１０５の特定が行われる。
　また、上記第４の実施形態における判別モデル８０として、ＭＡＳＫ－ＲＣＮＮを用いることも可能である。この場合、ＭＡＳＫ－ＲＣＮＮ１００には、分割正規化断層画像Ｓｓｈ１，Ｓｓｈ２および分割反転断層画像Ｓｃｈ１，Ｓｃｈ２がそれぞれ入力されて、畳み込み層１０１から分割正規化断層画像Ｓｓｈ１，Ｓｓｈ２および分割反転断層画像Ｓｃｈ１，Ｓｃｈ２の対応する画素位置における画素値の相違に着目した特徴マップが出力される。この場合、ＲＰＮ１０２には、畳み込み層１０１が出力した特徴マップが入力されて、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域の候補領域Ａ１０が出力される。また、分類ネットワーク１０３およびセグメンテーション１０４には、畳み込み層１０１が出力した特徴マップおよびＲＰＮ１０２が出力した候補領域Ａ１０が入力され、正規化断層画像Ｓｓ１，Ｓｓ２における梗塞領域１０５の特定が行われる。この場合、分類ネットワーク１０３およびセグメンテーション１０４の最終層の手前の処理層において、特徴マップが正規化断層画像Ｓｓ１，Ｓｓ２と同一サイズとなるように補間される。
　また、上述したように、上記第２の実施形態においても、上記第４の実施形態と同様の手法を適用することが可能であり、この場合に使用する判別モデルとして、ＭＡＳＫ－ＲＣＮＮを用いることが可能である。また、上述したように、上記第３の実施形態においても、上記第４の実施形態と同様の手法を適用することが可能であり、この場合に使用する判別モデルとして、ＭＡＳＫ－ＲＣＮＮを用いることが可能である。
　なお、上記各実施形態においては、ＡＳＰＥＣＴＳを判断する複数の領域に断層画像Ｓ１，Ｓ２を分割しているが、これに限定されるものではない。例えば、ブロードマンの脳地図等のような脳を機能的な領域に分割する手法により、断層画像Ｓ１，Ｓ２を複数の領域に分割してもよい。
　また、上記実施形態においては、２次元の断層画像Ｓ１，Ｓ２に含まれる脳の基準線ＢＬを導出しているが、これに限定されるものではない。３次元の脳画像Ｂ０を複数の領域に分割し、複数の領域に基づいて、３次元の脳画像Ｂ０に含まれる脳の正中面に対応する基準面を導出するようにしてもよい。
　また、上記各実施形態においては、判別結果表示画面５０に、正規化断層画像Ｓｓ１，Ｓｓ２における判別結果を表示しているが、これに限定されるものではない。判別結果表示画面５０に正規化前の断層画像Ｓ１，Ｓ２を表示してもよい。この場合、判別結果を含む正規化断層画像Ｓｓ１，Ｓｓ２と断層画像Ｓ１，Ｓ２との位置合わせを行って、断層画像Ｓ１，Ｓ２に梗塞領域を特定するマスクを表示すればよい。
　また、上記各実施形態においては、基準線導出部２３および正規化部２４において、左脳および右脳の重心の導出、基準線の導出および正規化を行うことにより生成された正規化断層画像Ｓｓ１，Ｓｓ２に対して、再度左脳および右脳の重心の導出、基準線の導出および正規化を行って、新たな正規化断層画像を生成してもよい。この場合、新たな正規化断層画像に対して、さらに左脳および右脳の重心の導出、基準線の導出および正規化を繰り返し行うようにしてもよい。これにより、正規化の精度を向上させることができるため、より精度よく梗塞領域を判別することができる。
　また、上記第２の実施形態においては、判別モデル６０の第２判別器６２において反転特徴マップＦ２を生成し、第３判別器６３において特徴マップＦ１および反転特徴マップＦ２の重ね合わせマップを生成して梗塞領域の判別を行っているが、これに限定されるものではない。第３判別器６３において、特徴マップＦ１と反転特徴マップＦ２との相対応する画素の間の差分を導出することにより差分マップを生成し、特徴マップＦ１と差分マップとに基づいて梗塞領域の判別を行うようにしてもよい。なお、第２の実施形態における判別モデル６０として、ＭＡＳＫ－ＲＣＮＮを用いた場合においても、畳み込み層１０１において、特徴マップとその反転特徴マップとの差分マップを生成するようにしてもよい。この場合、ＲＰＮ１０２には差分マップまたは差分マップに対してさらに畳み込みおよびプーリングを行ったマップが入力される。
　また、第２の実施形態における判別モデル６０に含まれる第１判別器６１、第２判別器６２および第３判別器６３は、同一種類のニューラルネットワークでなくてもよい。例えば、第１判別器６１および第２判別器６２を畳み込みニューラルネットワークとし、第３判別器６３をＣＮＮに代えてリカレントニューラルネットワークとしてもよい。
　また、第３の実施形態における判別モデル７０に含まれる第１判別器７１および第２判別器７２と、第３判別器７３とは、同一種類のニューラルネットワークでなくてもよい。例えば、第１判別器７１および第２判別器７２を畳み込みニューラルネットワークとし、第３判別器７３をＣＮＮに代えてリカレントニューラルネットワークとしてもよい。
　また、上記各実施形態においては、脳の梗塞領域を判別しているが、これに限定されるものではなく、脳の出血領域を判別するものとしてもよい。この場合、判別モデルは、脳の出血領域を判別するように学習がなされる。
　また、上記各実施形態においては、脳画像Ｂ０および断層画像Ｓ１，Ｓ２としてＣＴ画像を用いているが、これに限定されるものではなく、ＭＲＩ画像およびＰＥＴ画像等の他の医用画像を用いてもよい。
　また、上記各実施形態においては、医用画像として脳画像を用いているが、これに限定されるものではない。例えば、肺、腎臓、眼球および耳等の線対称に存在する一対または複数対の構造物を含む医用画像における疾病領域を判別する場合にも、本開示の技術を適用することができる。
　また、上記各実施形態においては、画像取得部２１、分割部２２、基準線導出部２３、正規化部２４、反転部２５、判別部２６、表示制御部２７、判別部２９および導出部９０といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　　　１，１Ａ，１Ｂ　　医用画像処理装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　２１　　画像取得部
　　　２２　　分割部
　　　２３　　基準線導出部
　　　２４　　正規化部
　　　２５　　反転部
　　　２６　　判別部
　　　２７　　表示制御部
　　　２９　　判別部
　　　３０，６０，７０，８０　　判別モデル
　　　３０Ａ，６０Ａ，７０Ａ，８０Ａ　　エンコーダ
　　　３０Ｂ，６０Ｂ，７０Ｂ，８０Ｂ　　デコーダ
　　　３２、７５，８５，１０５　　梗塞領域
　　　４０　　学習用画像
　　　４１　　正解データ
　　　５０　　判別結果表示画面
　　　５１，５２　　ラベル
　　　５５　　ＡＳＰＥＣＴＳ
　　　６１，７１　　第１判別器
　　　６２，７２　　第２判別器
　　　６３，７３　　第３判別器
　　　９０　　導出部
　　　１００　　ＭＡＳＫ－ＲＣＮＮ
　　　１０１　　畳み込み層
　　　１０２　　ＲＰＮ
　　　１０３　　分類ネットワーク
　　　１０４　　セグメンテーション
　　　Ａ１，Ａ２　　特徴
　　　Ａ１０　　候補領域
　　　Ｂ０　　脳画像
　　　ＢＬ　　基準線
　　　Ｃ０　　中点
　　　Ｄ１，Ｄ２　　標準分割画像
　　　Ｆ１，Ｆ１１，Ｆ１２，Ｆ２１～Ｆ３０，Ｆ４０　　特徴マップ
　　　Ｆ２　　反転特徴マップ
　　　Ｆ３，Ｆ１３　　重ね合わせマップ
　　　Ｆｈ３１，Ｆｈ３２　　分割特徴マップ
　　　ＧＬ４～ＧＬ６，ＧＲ４～ＧＲ６、ＧＬ，ＧＲ　　重心
　　　Ｍ４～Ｍ６　　領域
　　　Ｓ１，Ｓ２　　断層画像
　　　Ｓｓ１，Ｓｓ２　　正規化断層画像
　　　Ｓｓｈ１，Ｓｓｈ２　　分割正規化断層画像
　　　Ｓｃ１，Ｓｃ２　　反転断層画像
　　　Ｓｃｈ１，Ｓｃｈ２　　分割反転断層画像
　　　Ｘ０　　対称軸
　　　ＸＬ　　垂線

Claims (16)

  1. 　線対称な構造物を含む医用画像における前記構造物を、予め定められた複数の領域へ分割する分割部と、
    　前記分割された複数の領域に基づいて、前記構造物の基準線を導出する基準線導出部とを備えた医用画像処理装置。
  2. 　前記基準線に基づいて、前記医用画像に含まれる前記構造物の位置を正規化して正規化医用画像を生成する正規化部をさらに備えた請求項１に記載の医用画像処理装置。
  3. 　前記正規化医用画像を前記基準線を基準として反転させた反転画像を生成する反転部と、
    　前記正規化医用画像および前記反転画像を用いて、前記構造物の疾病領域を判別する判別部とをさらに備えた請求項２に記載の医用画像処理装置。
  4. 　前記判別部は、前記正規化医用画像および前記反転画像の入力により、前記構造物の疾病領域の判別結果を出力する判別モデルを有する請求項３に記載の医用画像処理装置。
  5. 　前記判別モデルは、前記正規化医用画像および前記反転画像の入力により、前記正規化医用画像および前記反転画像についての特徴マップを生成し、該特徴マップを用いて、前記構造物の疾病領域の判別結果を出力する請求項４に記載の医用画像処理装置。
  6. 　前記判別モデルは、前記正規化医用画像および前記反転画像のそれぞれについて特徴マップを生成し、前記正規化医用画像についての特徴マップおよび前記反転画像についての特徴マップを用いて、前記構造物の疾病領域の判別結果を出力する請求項４に記載の医用画像処理装置。
  7. 　前記正規化医用画像を用いて、前記構造物の疾病領域を判別する判別部をさらに備えた請求項２に記載の医用画像処理装置。
  8. 　前記判別部は、前記正規化医用画像の入力により、前記正規化医用画像の反転画像を生成して前記構造物の疾病領域の判別結果を出力する判別モデルを有する請求項７に記載の医用画像処理装置。
  9. 　前記判別モデルは、前記正規化医用画像の入力により、前記正規化医用画像から特徴マップを生成し、前記基準線に対応する対称軸を基準として前記特徴マップを反転させた反転特徴マップを生成し、前記特徴マップおよび前記反転特徴マップを用いて前記構造物の疾病領域の判別結果を出力する請求項８に記載の医用画像処理装置。
  10. 　前記判別モデルは、少なくとも１つの処理層を有するニューラルネットワークからなる請求項４から６、８、９のいずれか１項に記載の医用画像処理装置。
  11. 　前記判別の結果をディスプレイに表示する表示制御部をさらに備えた請求項３から１０のいずれか１項に記載の医用画像処理装置。
  12. 　前記構造物は脳であり、前記疾病領域は梗塞領域である請求項３から１１のいずれか１項に記載の医用画像処理装置。
  13. 　前記予め定められた複数の領域は、ＡＳＰＥＣＴＳを導出するための領域である請求項１２に記載の医用画像処理装置。
  14. 　前記梗塞領域と前記ＡＳＰＥＣＴＳを導出するための領域とを用いて、前記ＡＳＰＥＣＴＳを導出する導出部をさらに備えた請求項１３に記載の医用画像処理装置。
  15. 　線対称な構造物を含む医用画像における前記構造物を、予め定められた複数の領域へ分割し、
    　前記分割された複数の領域に基づいて、前記構造物の基準線を導出する医用画像処理方法。
  16. 　線対称な構造物を含む医用画像における前記構造物を、予め定められた複数の領域へ分割する手順と、
    　前記分割された複数の領域に基づいて、前記構造物の基準線を導出する手順とをコンピュータに実行させる医用画像処理プログラム。
PCT/JP2020/025401 2019-06-28 2020-06-26 医用画像処理装置、方法およびプログラム WO2020262683A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021528290A JP7234364B2 (ja) 2019-06-28 2020-06-26 医用画像処理装置、方法およびプログラム
US17/560,217 US20220115136A1 (en) 2019-06-28 2021-12-22 Medical image processing apparatus, method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-121016 2019-06-28
JP2019121016 2019-06-28
JP2020086247 2020-05-15
JP2020-086247 2020-05-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/560,217 Continuation US20220115136A1 (en) 2019-06-28 2021-12-22 Medical image processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2020262683A1 true WO2020262683A1 (ja) 2020-12-30

Family

ID=74060908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025401 WO2020262683A1 (ja) 2019-06-28 2020-06-26 医用画像処理装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20220115136A1 (ja)
JP (1) JP7234364B2 (ja)
WO (1) WO2020262683A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950600A (zh) * 2021-03-10 2021-06-11 武汉联影智融医疗科技有限公司 脑标识提取方法、装置、计算机设备和存储介质
WO2023053755A1 (ja) * 2021-09-30 2023-04-06 株式会社Lily MedTech 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
WO2023171040A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル
WO2023171039A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7451305B2 (ja) * 2020-05-29 2024-03-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
CN114638776A (zh) * 2020-12-15 2022-06-17 通用电气精准医疗有限责任公司 脑卒中早期评估方法与系统及脑部区域分割方法
US11636596B1 (en) * 2022-04-28 2023-04-25 Qure.Ai Technologies Private Limited Monitoring brain CT scan image
US11501437B1 (en) * 2022-04-28 2022-11-15 Qure.Ai Technologies Private Limited Monitoring brain CT scan image

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005131011A (ja) * 2003-10-29 2005-05-26 Toshiba Corp 急性脳梗塞診断治療支援装置
WO2010150783A1 (ja) * 2009-06-25 2010-12-29 株式会社 日立メディコ 医用画像撮影装置
US20110116702A1 (en) * 2008-08-07 2011-05-19 Koninklijke Philips Electronics N.V. Interactive method of locating a mirror line for use in determining asymmetry of an image
JP2011167333A (ja) * 2010-02-18 2011-09-01 Hitachi Medical Corp 磁気共鳴画像解析装置および磁気共鳴画像解析方法
KR20150034433A (ko) * 2013-09-26 2015-04-03 건국대학교 산학협력단 다중모드 ct를 이용하여 뇌졸중의 예후를 예측하는 방법
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
JP2018011958A (ja) * 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
JP2019149130A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP2020043927A (ja) * 2018-09-14 2020-03-26 富士フイルム株式会社 医用画像処理装置、方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7293118B2 (ja) * 2017-02-22 2023-06-19 ザ ユナイテッド ステイツ オブ アメリカ， アズ リプレゼンテッド バイ ザ セクレタリー， デパートメント オブ ヘルス アンド ヒューマン サービシーズ インスタンス重み付けを伴うランダムフォレストを使用するマルチパラメトリックｍｒｉにおける前立腺がんの検出、およびホリスティックネスト型ネットワークを用いたディープラーニングによるｍｒ前立腺セグメント化

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005131011A (ja) * 2003-10-29 2005-05-26 Toshiba Corp 急性脳梗塞診断治療支援装置
US20110116702A1 (en) * 2008-08-07 2011-05-19 Koninklijke Philips Electronics N.V. Interactive method of locating a mirror line for use in determining asymmetry of an image
WO2010150783A1 (ja) * 2009-06-25 2010-12-29 株式会社 日立メディコ 医用画像撮影装置
JP2011167333A (ja) * 2010-02-18 2011-09-01 Hitachi Medical Corp 磁気共鳴画像解析装置および磁気共鳴画像解析方法
KR20150034433A (ko) * 2013-09-26 2015-04-03 건국대학교 산학협력단 다중모드 ct를 이용하여 뇌졸중의 예후를 예측하는 방법
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
JP2018011958A (ja) * 2016-07-21 2018-01-25 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
JP2019149130A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP2020043927A (ja) * 2018-09-14 2020-03-26 富士フイルム株式会社 医用画像処理装置、方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950600A (zh) * 2021-03-10 2021-06-11 武汉联影智融医疗科技有限公司 脑标识提取方法、装置、计算机设备和存储介质
WO2023053755A1 (ja) * 2021-09-30 2023-04-06 株式会社Lily MedTech 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
WO2023171040A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル
WO2023171039A1 (ja) * 2022-03-07 2023-09-14 国立大学法人京都大学 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル

Also Published As

Publication number Publication date
JP7234364B2 (ja) 2023-03-07
JPWO2020262683A1 (ja) 2020-12-30
US20220115136A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
WO2020262683A1 (ja) 医用画像処理装置、方法およびプログラム
Kim et al. Deep learning in medical imaging
Al-Kafri et al. Boundary delineation of MRI images for lumbar spinal stenosis detection through semantic segmentation using deep neural networks
JP7018856B2 (ja) 医用画像処理装置、方法およびプログラム
Kreiser et al. A survey of flattening‐based medical visualization techniques
CN112353381B (zh) 基于多模态大脑影像的阿尔茨海默症综合诊断系统
Mbarki et al. Lumbar spine discs classification based on deep convolutional neural networks using axial view MRI
Shakeri et al. Deep spectral-based shape features for Alzheimer’s disease classification
JP7129870B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
US11915414B2 (en) Medical image processing apparatus, method, and program
Al-Khasawneh et al. Alzheimer’s Disease Diagnosis Using MRI Images
Azcona et al. Interpretation of brain morphology in association to Alzheimer’s disease dementia classification using graph convolutional networks on triangulated meshes
WO2019102917A1 (ja) 読影医決定装置、方法およびプログラム
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
Wang et al. A 3D cross-hemisphere neighborhood difference Convnet for chronic stroke lesion segmentation
Siadat et al. Knowledge-based localization of hippocampus in human brain MRI
NL2028748B1 (en) Automatic segmentation and identification method of spinal vertebrae based on X-ray film
WO2021060461A1 (ja) 画像処理装置、方法およびプログラム
Afzali-Hashemi et al. Detection of small traumatic hemorrhages using a computer-generated average human brain CT
WO2021205991A1 (ja) 画像位置合わせ装置、方法およびプログラム
Kim et al. A fully automated landmark detection for spine surgery planning with a cascaded convolutional neural net
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
WO2021205990A1 (ja) 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
Deshpande Cerebrovascular Morphology as an Imaging Marker for Enhanced Stroke Patient Assessment
US20230282336A1 (en) Information processing apparatus, information processing method, information processing program, learning device, learning method, learning program, and discriminative model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20830605

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528290

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20830605

Country of ref document: EP

Kind code of ref document: A1