WO2022270151A1 - 画像処理装置、方法およびプログラム - Google Patents

画像処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2022270151A1
WO2022270151A1 PCT/JP2022/018959 JP2022018959W WO2022270151A1 WO 2022270151 A1 WO2022270151 A1 WO 2022270151A1 JP 2022018959 W JP2022018959 W JP 2022018959W WO 2022270151 A1 WO2022270151 A1 WO 2022270151A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation value
abnormality
region
image
image processing
Prior art date
Application number
PCT/JP2022/018959
Other languages
English (en)
French (fr)
Inventor
彩 小笠原
瑞希 武井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023529661A priority Critical patent/JPWO2022270151A1/ja
Publication of WO2022270151A1 publication Critical patent/WO2022270151A1/ja
Priority to US18/522,285 priority patent/US20240095918A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present disclosure relates to an image processing device, method and program.
  • CT Computer-aided diagnosis
  • MRI Magnetic Resonance Imaging
  • the present disclosure has been made in view of the above circumstances, and aims to enable accurate evaluation of abnormalities in target organs.
  • An image processing apparatus comprises at least one processor, The processor sets a first region including the entire target organ on the medical image, setting a plurality of small regions containing the target organ in the first region; Deriving a first evaluation value that suggests the presence or absence of an abnormality in the first region, Deriving a second evaluation value that suggests the presence or absence of an abnormality in each of the plurality of small regions, A third evaluation value that suggests the presence or absence of an abnormality in the medical image is derived from the first evaluation value and the second evaluation value.
  • the first evaluation value includes at least one of the probability of existence of an abnormality in the first region, the position of the abnormality, the shape feature of the abnormality, and the property feature of the abnormality
  • the second evaluation value includes at least one of an abnormality existence probability, an abnormality position, an abnormality shape feature, and an abnormality property feature in each of the small regions
  • the third evaluation value may include at least one of an abnormality existence probability, an abnormality position, an abnormality shape feature, and an abnormality property feature in the medical image.
  • the processor may set a plurality of small regions by dividing the first region based on the anatomical structure.
  • the processor may set a plurality of small regions based on indirect findings of the target organ.
  • the indirect findings may include at least one of atrophy, swelling, stenosis, and dilation occurring in the target organ.
  • the processor sets an axis passing through the target organ, A small area may be set in the target organ along the axis.
  • the processor may display an evaluation result based on at least one of the first evaluation value, the second evaluation value and the third evaluation value on the display. .
  • the medical image is a tomographic image of the abdomen including the pancreas
  • the target organ may be the pancreas.
  • the processor may set small regions by dividing the pancreas into the head, body and tail.
  • An image processing method sets a first region including the entire target organ for a medical image, setting a plurality of small regions containing the target organ in the first region; Deriving a first evaluation value that suggests the presence or absence of an abnormality in the first region, Deriving a second evaluation value that suggests the presence or absence of an abnormality in each of the plurality of small regions, A third evaluation value that suggests the presence or absence of an abnormality in the medical image is derived from the first evaluation value and the second evaluation value.
  • the image processing method according to the present disclosure may be provided as a program for causing a computer to execute it.
  • the abnormality of the target organ can be evaluated with high accuracy.
  • a diagram schematically showing a derivation model in the third evaluation value derivation unit A diagram showing the flow of processing performed in this embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of a medical information system.
  • a computer 1 including an image processing apparatus according to this embodiment, an imaging apparatus 2, and an image storage server 3 are connected via a network 4 in a communicable state.
  • the computer 1 contains the image processing apparatus according to this embodiment, and the image processing program according to this embodiment is installed.
  • the computer 1 may be a workstation or personal computer directly operated by a doctor who diagnoses, or a server computer connected to them via a network.
  • the image processing program is stored in a storage device of a server computer connected to a network or in a network storage in an externally accessible state, and is downloaded and installed on the computer 1 used by a doctor upon request. Alternatively, it is recorded on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), distributed, and installed in the computer 1 from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), distributed, and installed in the computer 1 from the recording medium.
  • the imaging device 2 is a device that generates a three-dimensional image representing the site by imaging the site to be diagnosed of the subject. ) equipment, etc.
  • a three-dimensional image composed of a plurality of tomographic images generated by the imaging device 2 is transmitted to the image storage server 3 and stored.
  • the imaging device 2 is a CT device, and generates a CT image of the chest and abdomen of the subject as a three-dimensional image.
  • the acquired CT image may be a contrast-enhanced CT image or a non-contrast CT image.
  • the image storage server 3 is a computer that stores and manages various data, and is equipped with a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to transmit and receive image data and the like.
  • various data including image data of a three-dimensional image generated by the photographing device 2 are acquired via a network, stored in a recording medium such as a large-capacity external storage device, and managed.
  • the image data storage format and communication between devices via the network 4 are based on protocols such as DICOM (Digital Imaging and Communication in Medicine).
  • FIG. 2 is a diagram showing the hardware configuration of the image processing apparatus according to this embodiment.
  • the image processing device 20 includes a CPU (Central Processing Unit) 11, a nonvolatile storage 13, and a memory 16 as a temporary storage area.
  • the image processing apparatus 20 also includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I/F (InterFace) 17 connected to the network 4 .
  • CPU 11 , storage 13 , display 14 , input device 15 , memory 16 and network I/F 17 are connected to bus 18 .
  • the CPU 11 is an example of a processor in the present disclosure.
  • the storage 13 is realized by HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, and the like.
  • the image processing program 12 is stored in the storage 13 as a storage medium.
  • the CPU 11 reads out the image processing program 12 from the storage 13 , expands it in the memory 16 , and executes the expanded image processing program 12 .
  • FIG. 3 is a diagram showing the functional configuration of the image processing apparatus according to this embodiment.
  • the image processing apparatus 20 includes an image acquisition unit 21, a first area setting unit 22, a second area setting unit 23, a first evaluation value derivation unit 24, a second evaluation value derivation unit 25 , a third evaluation value derivation unit 26 and a display control unit 27 .
  • the CPU 11 includes an image acquiring section 21, a first area setting section 22, a second area setting section 23, a first evaluation value deriving section 24, a second It functions as an evaluation value derivation unit 25 , a third evaluation value derivation unit 26 and a display control unit 27 .
  • the image acquisition unit 21 acquires the target image G0 to be processed from the image storage server 3 according to an instruction from the input device 15 by the operator.
  • the target image G0 is a CT image composed of a plurality of tomographic images including the chest and abdomen of the human body, as described above.
  • the target image G0 is an example of the medical image of the present disclosure.
  • the first region setting unit 22 sets a first region including the entire target organ for the target image G0.
  • the target organ is the pancreas. Therefore, the first region setting unit 22 sets a first region including the entire pancreas for the target image G0.
  • the first area setting unit 22 may set the entire area of the target image G0 as the first area.
  • the first area setting unit 22 may set the area where the subject exists in the target image G0 as the first area.
  • the first area A1 may be set to include the pancreas 30 and its surrounding area.
  • only the region of the pancreas 30 may be set as the first region A1. 4 and 5 show setting of the first area A1 for one tomographic image D0 included in the target image G0.
  • the first region setting unit 22 extracts the pancreas, which is the target organ, from the target image G0. For this reason, the first region setting unit 22 has a semantic segmentation model (hereinafter referred to as an SS (Semantic Segmentation) model) that has undergone machine learning so as to extract the pancreas from the target image G0.
  • the SS model is a machine learning model that outputs an output image in which each pixel of an input image is labeled to represent an extraction target (class).
  • the input image is a tomographic image forming the target image G0
  • the extraction target is the pancreas
  • the output image is an image in which the pancreas region is labeled.
  • the SS model is constructed by a convolutional neural network (CNN) such as ResNet (Residual Networks) and U-Net (U-shaped Networks).
  • the extraction of target organs is not limited to using the SS model. Any technique for extracting the target organ from the target image G0, such as template matching or threshold processing for CT values, can be applied.
  • the second region setting unit 23 sets a plurality of small regions including the target organ within the first region A1 including the entire target organ (that is, the pancreas) set in the target image G0 by the first region setting unit 22. set. For example, if the first area A1 is the entire area of the target image G0 or an area in which the subject included in the target image G0 exists, the second area setting unit 23 may select the pancreas, liver, and pancreas included in the first area A1. , spleen and kidney are set into subregions. Further, when the first area A1 is an area including the pancreas 30 as shown in FIG. Each organ may be set as a small area. Further, as shown in FIG. 6, small areas may be set by dividing the first area A1 into tiles. Further, even when the first area A1 is the entire area of the target image G0 or the subject area included in the target image G0, the first area A1 may be divided into tiles.
  • the second area setting unit 23 may set a plurality of small areas in the target organ (that is, the pancreas). For example, the second region setting unit 23 divides the region of the pancreas, which is the first region A1, into the head, the body, and the tail, and sets each of the head, the body, and the tail as a small region. do it.
  • FIG. 7 is a diagram for explaining the division of the pancreas into the head, body and tail.
  • FIG. 7 is a view of the pancreas as viewed from the front of the human body.
  • up, down, left, and right are based on the case where a human body in a standing position is viewed from the front.
  • a vein 31 and an artery 32 run vertically in parallel behind the pancreas 30 with a gap therebetween.
  • the pancreas 30 is anatomically divided into a head on the left side of the vein 31 , a body section between the vein 31 and the artery 32 , and a tail on the right side of the artery 32 .
  • the second region setting unit 23 divides the pancreas 30 into three sub-regions of the head 33 , the body 34 and the tail 35 based on the vein 31 and the artery 32 .
  • the boundaries between the head 33, the body 34, and the tail 35 are based on the definition of boundaries described in "Pancreatic Cancer Treatment Regulations 7th Edition, Supplementary Edition, edited by the Japan Pancreas Society, page 12, September 2020.”
  • the left edge of the vein 31 (right edge of the vein 31 when the human body is viewed from the front) is defined as the boundary between the body 33 and the body 34
  • the left edge of the artery 32 (when the human body is viewed from the front)
  • the right edge of the artery 32 at the time of injection) is the boundary between the body 34 and the tail 35 .
  • the second area setting unit 23 extracts the vein 31 and the artery 32 near the pancreas 30 in the target image G0.
  • the second region setting unit 23 selects the blood vessel region and the blood vessel region from the region near the pancreas 30 in the target image G0 by the method described in, for example, Japanese Patent Application Laid-Open Nos. 2010-200925 and 2010-220732. Extract the core line (that is, the central axis).
  • the positions and principal axis directions of a plurality of candidate points forming the center line of the blood vessel are calculated based on the values of the voxel data forming the target image G0.
  • the Hessian matrix is calculated for the target image G0, and the eigenvalues of the calculated Hessian matrix are analyzed to calculate the position information and the principal axis direction of a plurality of candidate points forming the core line of the blood vessel. Then, a feature amount representing blood vessel-likeness is calculated for voxel data around the candidate point, and whether or not the voxel data represents a blood vessel is determined based on the calculated feature amount. As a result, the blood vessel region and its core line are extracted from the target image G0.
  • the second region setting unit 23 divides the pancreas 30 into a head 33, a body 34, and a tail 35 based on the left edge (the right edge when the human body is viewed from the front) of the extracted veins 31 and arteries 32. do.
  • pancreas 30 is not limited to the above method.
  • pancreas 30 is divided into head 33, body 34 and tail 35 by using a machine-learned segmentation model to extract head 33, body 34 and tail 35 from pancreas 30.
  • a plurality of pairs of teacher data including a teacher image including the pancreas and a mask image obtained by dividing the pancreas into the head, body and tail based on the boundary definition described above are prepared and segmented. You just have to learn the model.
  • FIG. 8 is a diagram for explaining another example of setting small areas. 8 is a diagram of the pancreas 30 viewed from the head side of the human body.
  • the second region setting unit 23 extracts the central axis 36 extending in the longitudinal direction of the pancreas 30 .
  • a method for extracting the central axis 36 a method similar to the above-described method for extracting the core lines of the veins 31 and the arteries 32 can be used.
  • the second region setting unit 23 may set the small regions in the pancreas 30 by dividing the pancreas 30 into a plurality of small regions at equal intervals along the central axis 36 .
  • subregions 37A to 37C that overlap each other may be set in the pancreas 30, or spaced subregions such as subregions 37D and 37E may be set.
  • the small area may be set along the central axis 36 of the pancreas 30, or may be set at an arbitrary position.
  • a main pancreatic duct 30A exists along the central axis 36 of the pancreas 30 in the pancreas 30 .
  • the pancreas 30 can be divided into the main pancreatic duct 30A area and the pancreatic parenchyma 30B area. Therefore, by dividing the pancreas 30 into a main pancreatic duct 30A and a pancreatic parenchyma 30B, the main pancreatic duct 30A and the pancreatic parenchyma 30B may each be set as a small region.
  • either one of the main pancreatic duct 30A and the pancreatic parenchyma 30B is divided into a plurality of regions along the central axis 36 of the pancreas 30 to set small regions, and a second evaluation value is derived for each small region.
  • a small area may be further set for each of the head 33, body 34, and tail 35 of the pancreas 30.
  • the sizes of the sub-regions in the head 33, the body 34 and the tail 35 may be different.
  • the sizes of the small regions set in the order of head 33, body 34 and tail 35 are reduced.
  • the second region setting unit 23 may set a plurality of small regions based on the indirect findings of the target organ.
  • the second region setting unit 23 has a derivation model for deriving indirect findings information representing indirect findings included in the target image G0 by analyzing the target image G0.
  • Indirect findings are findings that characterize at least one of the shape and properties of tissue surrounding the tumor associated with the development of a tumor in the pancreas.
  • the term “indirect” in indirect findings is used in contrast to “direct” findings that directly link lesions such as tumors to diseases such as cancer.
  • Indirect findings that characterize the shape of the tissue surrounding the tumor include partial atrophy and swelling of the pancreatic tissue, and constriction and dilation of the pancreatic duct.
  • Indirect findings that characterize the tissue surrounding the tumor include fatty replacement of pancreatic tissue (pancreatic parenchyma) and calcification of pancreatic tissue.
  • the derived model is a semantic segmentation model, similar to the model for extracting the pancreas from the target image G0.
  • the input image of the derived model is the target image G0, and the extraction targets are each part of the pancreas showing atrophy, swelling, stenosis, dilation, fat replacement, and calcification of the above-mentioned indirect findings, and the whole pancreas.
  • the output is an image in which the above seven classes are labeled for each pixel of the target image G0.
  • the second region setting unit 23 sets a plurality of small regions in the pancreas based on the indirect findings when there are indirect findings in the pancreas according to the derived model. For example, as shown in FIG. 12, when stenosis of the main pancreatic duct 30A is observed near the boundary between the body 34 and the tail 35 of the pancreas 30, the body 34, which is assumed to have stenosis, may be narrowed from the head. A small region of size smaller than 33 and tail 35 is set.
  • the setting of the small areas for the pancreas 30 is performed when the first area A1 is the entire area of the target image G0, the area in which the subject included in the target image G0 exists, or the setting shown in FIG. As shown, this may be done when the first area A1 is set to include the pancreas 30 and its surrounding area.
  • the first evaluation value derivation unit 24 derives a first evaluation value E1 that suggests the presence or absence of an abnormality in the first region A1 set in the target image G0 by the first region setting unit 22. For this reason, the first evaluation value derivation unit 24 has a derivation model 24A that derives the first evaluation value E1 from the first area A1.
  • the derived model 24A is constructed by a convolutional neural network, similar to the model for extracting the pancreas from the target image G0 in the first area A1.
  • the input image of the derived model 24A is the image in the first area A1
  • the first evaluation value E1 as the output is the probability of existence of abnormality in the first area A1
  • the position information of the abnormality, the shape feature of the abnormality, and the abnormality at least one of the property characteristics of
  • FIG. 13 is a diagram schematically showing a derivation model in the first evaluation value derivation unit.
  • the derived model 24A has convolutional neural networks (hereinafter referred to as CNNs) CNN1 to CNN4 corresponding to the types of output first evaluation values E1.
  • CNN1 derives the existence probability of anomalies.
  • CNN2 derives the location information of the anomaly.
  • CNN3 derives the shape features of the anomaly.
  • CNN4 derives the property features of the anomaly.
  • the anomaly existence probability is derived as a numerical value between 0 and 1.
  • Anomaly location information is derived as a mask or bounding box for the anomaly in the first region A1.
  • the shape feature of the anomaly may be a mask or bounding box having a color corresponding to the type of shape of the anomaly, or may be a numerical value representing the probability for each type of shape of the anomaly.
  • Types of shape features can include partial atrophy, enlargement, narrowing, dilation, and roundness of cross-section of pancreatic tissue. It should be noted that the degree of unevenness of the shape or deformation of the organ can be known from the degree of roundness.
  • the anomaly property feature may be a mask or bounding box having a color corresponding to the type of anomaly property, or may be a numerical value representing the probability for each type of anomaly property.
  • Types of features may include fat replacement and calcification of pancreatic tissue.
  • the first area A1 is input to the derived model 24A, and as auxiliary information, the organ area, the sub-area within the organ, and the indirect finding area within the first area A1 are input to the derived model 24A.
  • auxiliary information are masks for the organ area, sub-areas within the organ and the area of indirect findings in the first area A1.
  • the organ region is the first region A1 in the case where the entire target image G0 or the region where the subject exists is the first region A1, or in the case where the pancreas and its surrounding regions are included as shown in FIG. It is the region of the target organ that is included.
  • a sub-region within an organ is a region obtained by further classifying the region of the target organ included in the first region A1. For example, when the target organ is the pancreas, the head, body and tail regions correspond to sub-regions within the organ.
  • a region of indirect findings is a region that exhibits indirect findings. For example, if the tail of the pancreas is atrophied, the region of the tail is the region of indirect findings.
  • the auxiliary information input to the derived model 24A may include indirect findings.
  • the derived model 24A may be constructed so as not to derive shape features related to the indirect findings because the indirect findings are known.
  • the derived model 24A has four CNN1 to CNN4. Therefore, the input device 15 may be used to select in advance which CNN to use. Note that the derived model 24A is not limited to having four CNN1 to CNN4. Any one having at least one of the four CNN1 to CNN4 is sufficient.
  • the derived model 24A receives the first region A1, it outputs the first evaluation value E1 according to the selected CNN1 to CNN4.
  • the second evaluation value derivation unit 25 derives a second evaluation value E2 that suggests the presence or absence of an abnormality in each of the plurality of small regions set by the second region setting unit 23. For this reason, the second evaluation value derivation unit 25 has a derivation model 25A that derives the second evaluation value E2 from the small area.
  • the derived model 25A is constructed by a convolutional neural network, similar to the derived model 24A of the first evaluation value deriving section 24.
  • FIG. The derived model 25A has the same schematic configuration as the derived model 24A shown in FIG. 13, including the input of auxiliary information, except that the input image is a small area.
  • the derived model 25A outputs a second evaluation value E2 corresponding to the selected CNN1 to CNN4 when the subregion is input.
  • the second evaluation value E2 is at least one of anomaly existence probability, anomaly position information, anomaly shape feature, and anomaly property feature in each small region.
  • the auxiliary information input to the derived model 25A includes an organ area within a small area, a sub-area within an organ, an indirect finding area, and the like.
  • the small area for deriving the second evaluation value E2 is set so as to include the target organ within the first area. Therefore, the second evaluation value E2, compared with the first evaluation value E1, suggests the presence or absence of a local abnormality in the target organ included in the target image G0. On the other hand, the first evaluation value E1, compared with the second evaluation value E2, suggests the presence or absence of a global abnormality in the target image G0.
  • the third evaluation value derivation unit 26 derives a third evaluation value E3 that suggests the presence or absence of an abnormality in the target image G0 from the first evaluation value E1 and the second evaluation value E2. For this reason, the third evaluation value derivation unit 26 has a derivation model 26A that derives the third evaluation value E3 from the first evaluation value E1 and the second evaluation value E2.
  • the derived model 26A is constructed by a convolutional neural network, like the derived model 24A of the first evaluation value deriving section 24.
  • FIG. Inputs to the derived model 26A are a first evaluation value E1 and a second evaluation value E2 for each of the plurality of small regions.
  • the third evaluation value E3, which is the output of the derived model 26A, is at least one of an abnormality existence probability, an abnormality position information, an abnormality shape feature, and an abnormality property feature in the target image G0. It should be noted that the presence or absence of abnormality may be used as the third evaluation value E3 instead of the existence probability of abnormality.
  • FIG. 14 is a diagram schematically showing a derivation model in the third evaluation value derivation unit.
  • the derived model 26A has CNN31 to CNN34 corresponding to the type of third evaluation value E3 to be output. Similar to CNN1 to CNN4 in the derived model 24A shown in FIG. 13, CNN31 to CNN34 respectively derive anomaly existence probability, anomaly position information, anomaly shape feature and anomaly property feature.
  • auxiliary information may be input to the derived model 26A in the same manner as the derived model 24A.
  • Auxiliary information input to the derived model 26A includes the target image G0, organ regions within the target image G0, sub-regions within the organ, and indirect findings regions.
  • the first area setting unit 22, the second area setting unit 23, the first evaluation value derivation unit 24, the second evaluation value derivation unit 25, and the third evaluation value derivation unit 26 in the present embodiment are The flow of processing to be performed is shown in FIG.
  • the display control unit 27 displays on the display 14 the evaluation result based on at least one of the first evaluation value E1, the second evaluation value E2 and the third evaluation value E3.
  • FIG. 16 is a diagram showing a display screen for evaluation results. As shown in FIG. 16, the evaluation result display screen 50 displays one tomographic image D0 of the target image G0 and the evaluation result 51. As shown in FIG. In FIG. 16, the evaluation result 51 is the probability of abnormality included in the third evaluation value E3. In FIG. 16, 0.9 is displayed as the probability of abnormality.
  • the tomographic image D0 is displayed with the position of the abnormality distinguished from other areas based on the position information of the abnormality included in the third evaluation value E3.
  • a first abnormal region 41 is displayed in the head 33 of the pancreas 30, and a second abnormal region 42 is displayed in the tail 35 of the pancreas 30, distinguishing from other regions.
  • the first abnormal region 41 and the second abnormal region 42 are emphasized and displayed by adding colors to the first abnormal region 41 and the second abnormal region 42 .
  • the addition of colors is indicated by the addition of hatching.
  • the first abnormal area 41 is an area specified based on the first evaluation value E1.
  • the second abnormal area 42 is an area specified based on the second evaluation value E2.
  • FIG. 17 is a diagram showing a display screen for evaluation results based on the first evaluation value E1.
  • the evaluation result 51 displays 0.8, which is the probability of abnormality, which is the evaluation result based on the first evaluation value E1.
  • only the first abnormal region 41 is highlighted in the tomographic image D0.
  • FIG. 18 is a diagram showing a display screen of evaluation results based on the second evaluation value E2.
  • the evaluation result 51 displays 0.9, which is the probability of abnormality, which is the evaluation result based on the second evaluation value E2.
  • the second abnormal region 42 is highlighted in the tomographic image D0.
  • the displayed second evaluation value E2 is derived for the small area from which the second abnormal area 42 is extracted.
  • the first abnormal region 41 and the second abnormal region 42 may be highlighted in different colors in the tomographic image D0.
  • the first abnormal region 41 is hatched and the second abnormal region 42 is filled to indicate that the colors are different.
  • the evaluation result 51 displays all of the first evaluation value E1, the second evaluation value E2 and the third evaluation value E3.
  • the displayed second evaluation value E2 is derived for the small area from which the second abnormal area 42 is extracted.
  • the highlighting in the tomographic image D0 may be switched on and off according to an instruction from the input device 15.
  • FIG. 20 is a flow chart showing the processing performed in this embodiment.
  • the image acquisition unit 21 acquires the target image G0 from the storage 13 (step ST1), and the first region setting unit 22 sets the first region A1 including the entire target organ in the target image G0. (Step ST2).
  • the second region setting unit 23 sets a plurality of small regions in the pancreas, which is the target organ (step ST3).
  • the first evaluation value derivation unit 24 derives a first evaluation value E1 that indicates the presence or absence of abnormality in the first region (step ST4).
  • the second evaluation value derivation unit 25 derives a second evaluation value E2 indicating the presence or absence of abnormality in each of the plurality of small regions (step ST5).
  • the third evaluation value derivation unit 26 derives a third evaluation value E3 that suggests the presence or absence of abnormality in the target image G0 from the first evaluation value E1 and the second evaluation value E2 (step ST6 ).
  • the display control unit 27 displays the evaluation result on the display 14 (step ST7), and ends the process.
  • the first evaluation value E1 that suggests the presence or absence of abnormality in the first region is derived
  • the second evaluation value E2 that suggests the presence or absence of abnormality in each of the plurality of small regions is derived. is derived from the first evaluation value E1 and the second evaluation value E2 to derive a third evaluation value E3 that suggests the presence or absence of an abnormality in the target image G0. Therefore, it is possible to evaluate both the abnormality that exists globally over the entire target organ and the abnormality that exists locally in the target organ without omission. Therefore, it is possible to accurately evaluate the abnormality of the target organ.
  • first to third evaluation values E1 to E3 are used for each of the target image G0, the first area A1, and the small area. At least one of the probability of existence of an abnormality, the position of an abnormality, the shape feature of an abnormality, and the property feature of an abnormality in a medical image can be evaluated.
  • a second evaluation value E2 is derived for each anatomical structure included in the first region. can do. Therefore, evaluation of abnormalities can be performed on an anatomical structure basis.
  • the third evaluation value derivation unit 26 has the derived model 26A including CNN, but is not limited to this.
  • the third evaluation value E3 is derived based on the relationship between the first evaluation value E1 and the second evaluation value E2. You may make it For example, the number of small areas for which the first evaluation value E1 is greater than the first threshold value Th1 and the second evaluation value E2 is greater than the second threshold value Th2 is the third threshold value. In the above cases, the third evaluation value E3 may be determined to be abnormal.
  • CNN is used as the SS model of the first area setting unit 22, the derived model 24A of the first evaluation value derivation unit 24, and the derived model 26A of the third evaluation value derivation unit 26.
  • Models constructed by other machine learning methods than CNN can be used.
  • the target organ is the pancreas, but it is not limited to this. Any organ other than the pancreas, such as the brain, heart, lungs, and liver, can be used as the target organ.
  • a CT image is used as the target image G0, but it is not limited to this.
  • any image such as a radiation image acquired by simple imaging can be used as the target image G0.
  • the processing unit executes various processes such as the evaluation value deriving unit 26 and the display control unit 27, the following various processors can be used.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units, as described above
  • the above-mentioned various processors include FPGAs (Field Programmable Gate Arrays), etc.
  • Programmable Logic Device (PLD) which is a processor whose configuration can be changed, ASIC (Application Specific Integrated Circuit) etc. Circuits, etc. are included.
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). ). Also, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

プロセッサは、医用画像に対して対象臓器の全体を含む第１の領域を設定し、第１の領域内において、対象臓器を含む複数の小領域を設定し、第１の領域における異常の有無を示唆する第１の評価値を導出し、複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値を導出し、第１の評価値および第２の評価値から、医用画像における異常の有無を示唆する第３の評価値を導出する。

Description

画像処理装置、方法およびプログラム
　本開示は、画像処理装置、方法およびプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。また、医用画像を解析することで、病変の存在確率および位置情報等を導出し、これを読影医等の医師に提示するコンピュータ支援診断（ＣＡＤ；Computer-Aided Diagnosis）が実用化されている。
　しかしながら、読影対象となる医用画像の中には、病変を有している患者の画像であっても病変を示す異常領域がごく僅かにしか描出されない場合がある。このような症例に対して、病変発生部周辺に限局する性状および形状変化等の局所的な情報を考慮するために、対象臓器を小領域に分割し、小領域の評価結果を用いて診断を行う手法が提案されている。例えば、「Liu, Kao-Lang, et al. "Deep learning to distinguish pancreatic cancer tissue from non-cancerous pancreatic tissue: a retrospective study with cross-racial external validation." The Lancet Digital Health 2.6 (2020): e303-e313」では、対象臓器を小領域に分割し、各小領域の病変の有無を表す評価値を算出し、評価値を統合することにより対象臓器全体の正常および異常の判定を行う手法が提案されている。また、特開２０１６－００７２７０号公報では、ＣＡＤにより検出された病変を複数の小領域に分割し、各小領域の特徴量を抽出し、各小領域の特徴量を統合して病変の特徴量を抽出する手法が提案されている。
　しかしながら、病変を示唆する対象臓器の形状および性状の変化は小領域に局在するものとは限らない。このため、Liuらの文献および特開２０１６－００７２７０号公報に記載された手法のように、小領域の評価値または特徴量を統合するのみでは、対象臓器の異常を精度よく判断することはできない。
　本開示は上記事情に鑑みなされたものであり、対象臓器の異常を精度よく評価できるようにすることを目的とする。
　本開示による画像処理装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、医用画像に対して対象臓器の全体を含む第１の領域を設定し、
　第１の領域内において、対象臓器を含む複数の小領域を設定し、
　第１の領域における異常の有無を示唆する第１の評価値を導出し、
　複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値を導出し、
　第１の評価値および第２の評価値から、医用画像における異常の有無を示唆する第３の評価値を導出する。
　なお、本開示による画像処理装置においては、第１の評価値は、第１の領域における異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つを含み、
　第２の評価値は、小領域のそれぞれにおける異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つを含み、
　第３の評価値は、医用画像における異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つを含むものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、第１の領域を解剖学的構造に基づいて分割することにより、複数の小領域を設定するものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、対象臓器についての間接所見に基づいて、複数の小領域を設定するものであってもよい。
　また、本開示による画像処理装置においては、間接所見は、対象臓器に発生した萎縮、腫大、狭窄、および拡張のうちの少なくとも１つを含むものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、対象臓器を通る軸を設定し、
　軸に沿って対象臓器に小領域を設定するものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、第１の評価値、第２の評価値および第３の評価値の少なくとも１つに基づく評価結果をディスプレイに表示するものであってもよい。
　また、本開示による画像処理装置においては、医用画像は、膵臓を含む腹部の断層画像であり、
　対象臓器は膵臓であってもよい。
　また、本開示による画像処理装置においては、プロセッサは、膵臓を、頭部、体部および尾部に分割することにより、小領域を設定するものであってもよい。
　本開示による画像処理方法は、医用画像に対して対象臓器の全体を含む第１の領域を設定し、
　第１の領域内において、対象臓器を含む複数の小領域を設定し、
　第１の領域における異常の有無を示唆する第１の評価値を導出し、
　複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値を導出し、
　第１の評価値および第２の評価値から、医用画像における異常の有無を示唆する第３の評価値を導出する。
　なお、本開示による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、対象臓器の異常を精度よく評価できる。
本開示の実施形態による画像処理装置を適用した診断支援システムの概略構成を示す図 本実施形態による画像処理装置のハードウェア構成を示す図 本実施形態による画像処理装置の機能構成図 第１の領域の設定を説明するための図 第１の領域の設定を説明するための図 小領域の設定を説明するための図 小領域の設定を説明するための図 小領域の設定を説明するための図 小領域の設定を説明するための図 小領域の設定を説明するための図 小領域の設定を説明するための図 小領域の設定を説明するための図 第１の評価値導出部における導出モデルを模式的に示す図 第３の評価値導出部における導出モデルを模式的に示す図 本実施形態において行われる処理の流れを示す図 評価結果表示画面を示す図 評価結果表示画面を示す図 評価結果表示画面を示す図 評価結果表示画面を示す図 本実施形態において行われる処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像処理装置を内包するコンピュータ１、撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　コンピュータ１は、本実施形態による画像処理装置を内包するものであり、本実施形態の画像処理プログラムがインストールされている。コンピュータ１は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。
　撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この撮影装置２により生成された、複数の断層画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、撮影装置２はＣＴ装置であり、被検体の胸腹部のＣＴ画像を３次元画像として生成する。なお、取得されるＣＴ画像は造影されたＣＴ画像であっても非造影のＣＴ画像であってもよい。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　次いで、本実施形態による画像処理装置について説明する。図２は、本実施形態による画像処理装置のハードウェア構成を示す図である。図２に示すように、画像処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像処理装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク４に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から画像処理プログラム１２を読み出してメモリ１６に展開し、展開した画像処理プログラム１２を実行する。
　次いで、本実施形態による画像処理装置の機能的な構成を説明する。図３は、本実施形態による画像処理装置の機能的な構成を示す図である。図３に示すように画像処理装置２０は、画像取得部２１、第１の領域設定部２２、第２の領域設定部２３、第１の評価値導出部２４、第２の評価値導出部２５、第３の評価値導出部２６および表示制御部２７を備える。そして、ＣＰＵ１１が画像処理プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、第１の領域設定部２２、第２の領域設定部２３、第１の評価値導出部２４、第２の評価値導出部２５、第３の評価値導出部２６および表示制御部２７として機能する。
　画像取得部２１は、操作者による入力デバイス１５からの指示により、画像保管サーバ３から処理の対象となる対象画像Ｇ０を取得する。本実施形態においては、対象画像Ｇ０は上述したように人体の胸腹部を含む複数の断層画像からなるＣＴ画像である。対象画像Ｇ０が本開示の医用画像の一例である。
　第１の領域設定部２２は、対象画像Ｇ０に対して対象臓器の全体を含む第１の領域を設定する。本実施形態においては、対象臓器は膵臓とする。このため、第１の領域設定部２２は、対象画像Ｇ０に対して膵臓の全体を含む第１の領域を設定する。具体的には、第１の領域設定部２２は、対象画像Ｇ０の全領域を第１の領域に設定してもよい。また、第１の領域設定部２２は、対象画像Ｇ０における被写体が存在する領域を第１の領域に設定してもよい。また、図４に示すように膵臓３０およびその周辺の領域を含むように第１の領域Ａ１を設定してもよい。また、図５に示すように膵臓３０の領域のみを第１の領域Ａ１に設定してもよい。なお、図４および図５においては、対象画像Ｇ０に含まれる１つの断層画像Ｄ０に対する第１の領域Ａ１の設定を示している。
　なお、対象画像Ｇ０における膵臓の領域を特定するために、第１の領域設定部２２は、対象画像Ｇ０から対象臓器である膵臓を抽出する。このために、第１の領域設定部２２は、対象画像Ｇ０から膵臓を抽出するように機械学習がなされたセマンティックセグメンテーションモデル（以下、ＳＳ（Semantic Segmentation）モデルとする）を有する。ＳＳモデルは、周知のように、入力画像の各画素に対して抽出対象物（クラス）を表すラベルを付与した出力画像を出力する機械学習モデルである。本実施形態においては、入力画像は対象画像Ｇ０を構成する断層画像であり、抽出対象物は膵臓であり、出力画像は膵臓の領域がラベリングされた画像である。ＳＳモデルは、ＲｅｓＮｅｔ（Residual Networks）、Ｕ－Ｎｅｔ（U-shaped Networks）といった畳み込みニューラルネットワーク（ＣＮＮ；Convolutional neural network）により構築される。
　対象臓器の抽出は、ＳＳモデルを用いるものには限定されない。テンプレートマッチングあるいはＣＴ値に対するしきい値処理等、対象画像Ｇ０から対象臓器を抽出する任意の手法を適用することができる。
　第２の領域設定部２３は、第１の領域設定部２２が対象画像Ｇ０に設定した対象臓器（すなわち膵臓）の全体を含む第１の領域Ａ１内において、対象臓器を含む複数の小領域を設定する。例えば、第１の領域Ａ１が対象画像Ｇ０の全領域または対象画像Ｇ０に含まれる被写体が存在する領域である場合、第２の領域設定部２３は、第１の領域Ａ１に含まれる膵臓、肝臓、脾臓および腎臓等の個々の臓器を小領域に設定する。また、第１の領域Ａ１が図４に示すように膵臓３０を含む領域である場合に、第２の領域設定部２３は、第１の領域Ａ１に含まれる膵臓、肝臓、脾臓および腎臓等の個々の臓器を小領域に設定すればよい。また、図６に示すように、第１の領域Ａ１をタイル状に分割することにより小領域を設定してもよい。また、第１の領域Ａ１が対象画像Ｇ０の全領域または対象画像Ｇ０に含まれる被写体領域である場合においても、第１の領域Ａ１をタイル状に分割するようにしてもよい。
　また、図５に示すように第１の領域Ａ１が膵臓３０の領域である場合、第２の領域設定部２３は、対象臓器（すなわち膵臓）に複数の小領域を設定すればよい。例えば、第２の領域設定部２３は、第１の領域Ａ１である膵臓の領域を、頭部、体部および尾部に分割することにより、頭部、体部および尾部のそれぞれを小領域として設定すればよい。
　図７は膵臓の頭部、体部および尾部への分割を説明するための図である。なお、図７は膵臓を人体の正面から見た図である。なお、以降の説明において上下左右とは立位にある人体を正面に見た場合を基準とする。図７に示すように、人体を正面から見たとき、膵臓３０の背後には静脈３１および動脈３２が間隔を空けて上下方向に並走している。膵臓３０は解剖学的に静脈３１の左側を頭部、静脈３１と動脈３２との間を体部、動脈３２の右側を尾部に分割される。このため、本実施形態においては、第２の領域設定部２３は、静脈３１および動脈３２を基準として、膵臓３０を頭部３３、体部３４および尾部３５の３つの小領域に分割する。なお、頭部３３、体部３４および尾部３５の境界は、「膵癌取扱い規約第７版増補版、日本膵臓学会編、１２頁、２０２０年９月」に記載された境界定義に基づく。具体的には、静脈３１の左側縁（人体を正面から見たときの静脈３１の右側縁）を体部３３と体部３４との境界とし、動脈３２の左側縁（人体を正面から見たときの動脈３２の右側縁）を体部３４と尾部３５との境界とする。
　分割のために、第２の領域設定部２３は、対象画像Ｇ０における膵臓３０付近において、静脈３１および動脈３２を抽出する。第２の領域設定部２３は、例えば、特開２０１０－２００９２５号公報および特開２０１０－２２０７３２号公報等に記載された手法により、対象画像Ｇ０における膵臓３０付近の領域から血管領域および血管領域の芯線（すなわち中心軸）を抽出する。この手法では、まず、対象画像Ｇ０を構成するボクセルデータの値に基づいて、血管の芯線を構成する複数の候補点の位置と主軸方向とを算出する。または、対象画像Ｇ０についてヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、血管の芯線を構成する複数の候補点の位置情報と主軸方向とを算出する。そして、候補点周辺のボクセルデータについて血管らしさを表す特徴量を算出し、算出された特徴量に基づいてそのボクセルデータが血管を表すものであるか否かを判別する。これにより、対象画像Ｇ０から血管領域およびその芯線が抽出される。第２の領域設定部２３は、抽出した静脈３１および動脈３２の左側縁（人体を正面から見たときの右側縁）を基準として、膵臓３０を頭部３３、体部３４および尾部３５に分割する。
　なお、膵臓３０の頭部３３、体部３４および尾部３５への分割は、上記手法に限定されない。例えば、膵臓３０から頭部３３、体部３４および尾部３５を抽出するように機械学習がなされたセグメンテーションモデルを用いることにより、膵臓３０を頭部３３、体部３４および尾部３５に分割するようにしてもよい。この場合、膵臓を含む教師画像と、上述した境界定義に基づいて膵臓を頭部、体部および尾部に分割することにより得られたマスク画像とのペアからなる教師データを複数用意して、セグメンテーションモデルを学習すればよい。
　また、膵臓３０に対する小領域の設定は、頭部３３、体部３４および尾部３５への分割に限定されるものでない。図８は小領域の設定の他の例を説明するための図である。なお、図８は、膵臓３０を人体の頭部側から見た図である。他の例において、第２の領域設定部２３は、膵臓３０の長手方向に伸びる中心軸３６を抽出する。中心軸３６を抽出する手法は、上述した静脈３１および動脈３２の芯線を抽出する手法と同様の手法を用いることができる。そして、第２の領域設定部２３は、中心軸３６に沿って等間隔で膵臓３０を複数の小領域に分割することにより、膵臓３０に小領域を設定してもよい。
　さらに、図９に示すように、膵臓３０内に互いに重なる小領域３７Ａ～３７Ｃを設定してもよく、小領域３７Ｄ，３７Ｅのように間隔を空けた小領域を設定してもよい。この場合、小領域は膵臓３０の中心軸３６に沿うように設定してもよく、任意の位置に設定してもよい。
　また、図１０に示すように、膵臓３０内においては、主膵管３０Ａが膵臓３０の中心軸３６に沿って存在する。ＣＴ画像においては、主膵管３０Ａと膵臓実質３０ＢとにおいてＣＴ値が異なるため、膵臓３０を主膵管３０Ａの領域と膵臓実質３０Ｂの領域とに分割することができる。このため、膵臓３０を主膵管３０Ａと膵臓実質３０Ｂとに分割することにより、主膵管３０Ａと膵臓実質３０Ｂとをそれぞれ小領域として設定するようにしてもよい。
　また、主膵管３０Ａおよび膵臓実質３０Ｂのいずれか一方のみを膵臓３０の中心軸３６に沿って複数の領域に分割することにより小領域を設定し、小領域毎に第２の評価値を導出してもよい。
　また、図１１に示すように、膵臓３０の頭部３３、体部３４および尾部３５のそれぞれにさらに小領域を設定してもよい。この場合、頭部３３、体部３４および尾部３５において小領域の大きさを異なるものとしてもよい。図１１においては、頭部３３、体部３４および尾部３５の順で設定した小領域のサイズが小さくなっている。
　また、第２の領域設定部２３は、対象臓器についての間接所見に基づいて、複数の小領域を設定するものであってもよい。この場合、第２の領域設定部２３は、対象画像Ｇ０を解析することにより、対象画像Ｇ０に含まれる間接所見を表す間接所見情報を導出する導出モデルを有する。間接所見とは、膵臓における腫瘍の発生に伴う腫瘍の周辺組織の形状および性状のうちの少なくとも一方の特徴を表す所見である。なお、間接所見の「間接」とは、腫瘍等の病変を癌等の疾患に直結する「直接」所見と表現した場合に対比する意味での表現である。
　腫瘍の周辺組織の形状の特徴を表す間接所見は、膵臓の組織の部分的な萎縮および腫大、並びに膵管の狭窄および拡張を含む。腫瘍の周辺組織の性状の特徴を表す間接所見は、膵臓の組織（膵実質）の脂肪置換、および膵臓の組織の石灰化を含む。
　導出モデルは、対象画像Ｇ０から膵臓を抽出するモデルと同様に、セマンティックセグメンテーションモデルである。導出モデルの入力画像は対象画像Ｇ０であり、抽出対象物は、上述の間接所見の萎縮、腫大、狭窄、拡張、脂肪置換、および石灰化を示す膵臓の各部分、並びに膵臓全体の計７クラスであり、出力は上記の７つのクラスが対象画像Ｇ０の画素毎にラベリングされた画像である。
　第２の領域設定部２３は、導出モデルにより膵臓において間接所見が存在する場合に、間接所見に基づいて膵臓に複数の小領域を設定する。例えば、図１２に示すように、膵臓３０の体部３４と尾部３５との境界付近に主膵管３０Ａの狭窄が見られる場合、狭窄があることが想定される体部３４に対して、頭部３３および尾部３５よりも小さいサイズの小領域を設定する。
　なお、図６～図１２に示す膵臓３０に対する小領域の設定は、第１の領域Ａ１が対象画像Ｇ０の全領域、対象画像Ｇ０に含まれる被写体が存在する領域である場合、または図４に示すように膵臓３０およびその周辺の領域を含むように第１の領域Ａ１を設定した場合に行うようにしてもよい。
　第１の評価値導出部２４は、第１の領域設定部２２が対象画像Ｇ０に設定した第１の領域Ａ１における異常の有無を示唆する第１の評価値Ｅ１を導出する。このために、第１の評価値導出部２４は、第１の領域Ａ１から第１の評価値Ｅ１を導出する導出モデル２４Ａを有する。導出モデル２４Ａは、第１の領域Ａ１における対象画像Ｇ０から膵臓を抽出するモデルと同様に、畳み込みニューラルネットワークにより構築される。導出モデル２４Ａの入力画像は第１の領域Ａ１内の画像であり、出力である第１の評価値Ｅ１は第１の領域Ａ１における異常の存在確率、異常の位置情報、異常の形状特徴および異常の性状特徴の少なくとも１つである。
　図１３は第１の評価値導出部における導出モデルを模式的に示す図である。図１３に示すように、導出モデル２４Ａは出力する第１の評価値Ｅ１の種類に応じた畳み込みニューラルネットワーク（以下ＣＮＮとする）ＣＮＮ１～ＣＮＮ４を有する。ＣＮＮ１は異常の存在確率を導出する。ＣＮＮ２は異常の位置情報を導出する。ＣＮＮ３は異常の形状特徴を導出する。ＣＮＮ４は異常の性状特徴を導出する。異常の存在確率は０～１の間の数値として導出される。異常の位置情報は第１の領域Ａ１における異常に対するマスクあるいは異常を囲むバウンディングボックスとして導出される。異常の形状特徴は、異常の形状の種類に応じた色を有するマスクあるいはバウンディングボックスであってもよく、異常の形状の種類毎の確率を表す数値であってもよい。形状特徴の種類としては、膵臓の組織の部分的な萎縮、腫大、狭窄、拡張および断面の真円度等を挙げることができる。なお、真円度により形状の凹凸または臓器の変形の程度が分かる。異常の性状特徴は、異常の性状の種類に応じた色を有するマスクあるいはバウンディングボックスであってもよく、異常の性状の種類毎の確率を表す数値であってもよい。性状特徴の種類としては、脂肪置換および膵臓の組織の石灰化等を挙げることができる。
　導出モデル２４Ａには、第１の領域Ａ１が入力されるが、補助情報として、第１の領域Ａ１内における臓器領域、臓器内のサブ領域および間接所見の領域を導出モデル２４Ａに入力するようにしてもよい。これらの補助情報は、第１の領域Ａ１における臓器領域、臓器内のサブ領域および間接所見の領域のマスクである。
　臓器領域とは、対象画像Ｇ０の全体または被写体が存在する領域が第１の領域Ａ１である場合、あるいは図４に示すように膵臓およびその周辺の領域を含む場合における、第１の領域Ａ１に含まれる対象臓器の領域である。臓器内のサブ領域は、第１の領域Ａ１に含まれる対象臓器の領域をさらに細かく分類した場合の領域である。例えば、対象臓器が膵臓である場合の頭部、体部および尾部の各領域が臓器内のサブ領域に相当する。間接所見の領域は、間接所見を呈する領域である。例えば、膵臓の尾部が萎縮している場合には、尾部の領域が間接所見の領域となる。
　ここで、導出モデル２４ＡのＣＮＮ３が導出する形状特徴に含まれる萎縮、腫大、狭窄および拡張は、対象臓器における間接所見として捉えられる場合がある。一方、導出モデル２４Ａに入力される補助情報には間接所見が含まれる場合がある。導出モデル２４Ａに補助情報として間接所見が入力される場合、間接所見は既知であることから、間接所見に関連する形状特徴は導出しないように導出モデル２４Ａを構築するようにしてもよい。
　図１３においては導出モデル２４Ａが４つのＣＮＮ１～ＣＮＮ４を有するものとしている。このため、予めいずれのＣＮＮを用いるかを入力デバイス１５を用いて選択できるようにしてもよい。なお、導出モデル２４Ａは４つのＣＮＮ１～ＣＮＮ４を有するものに限定されない。４つのＣＮＮ１～ＣＮＮ４のうちの少なくとも１つを有するものであればよい。導出モデル２４Ａは第１の領域Ａ１が入力されると、選択されたＣＮＮ１～ＣＮＮ４に応じた第１の評価値Ｅ１を出力する。
　第２の評価値導出部２５は、第２の領域設定部２３が設定した複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値Ｅ２を導出する。このために、第２の評価値導出部２５は、小領域から第２の評価値Ｅ２を導出する導出モデル２５Ａを有する。導出モデル２５Ａは、第１の評価値導出部２４の導出モデル２４Ａと同様に、畳み込みニューラルネットワークにより構築される。導出モデル２５Ａは入力される画像が小領域である点を除き、補助情報の入力も含めて、模式的な構成は図１３に示す導出モデル２４Ａと同一である。導出モデル２５Ａは小領域が入力されると、選択されたＣＮＮ１～ＣＮＮ４に応じた第２の評価値Ｅ２を出力する。第２の評価値Ｅ２は、小領域のそれぞれにおける異常の存在確率、異常の位置情報、異常の形状特徴および異常の性状特徴の少なくとも１つである。
　なお、導出モデル２５Ａに入力する補助情報は、小領域内における臓器領域、臓器内のサブ領域および間接所見の領域等が挙げられる。
　また、第２の評価値Ｅ２を導出する小領域は、第１の領域内において対象臓器を含むように設定される。このため、第２の評価値Ｅ２は第１の評価値Ｅ１と比較して、対象画像Ｇ０に含まれる対象臓器の局所的な異常の有無を示唆するものとなる。一方、第１の評価値Ｅ１は第２の評価値Ｅ２と比較して、対象画像Ｇ０における大局的な異常の有無を示唆するものとなる。
　第３の評価値導出部２６は、第１の評価値Ｅ１および第２の評価値Ｅ２から、対象画像Ｇ０における異常の有無を示唆する第３の評価値Ｅ３を導出する。このために、第３の評価値導出部２６は、第１の評価値Ｅ１および第２の評価値Ｅ２から第３の評価値Ｅ３を導出する導出モデル２６Ａを有する。導出モデル２６Ａは、第１の評価値導出部２４の導出モデル２４Ａと同様に、畳み込みニューラルネットワークにより構築される。導出モデル２６Ａへの入力は第１の評価値Ｅ１および複数の小領域のそれぞれについての第２の評価値Ｅ２である。導出モデル２６Ａの出力である第３の評価値Ｅ３は、対象画像Ｇ０における異常の存在確率、異常の位置情報、異常の形状特徴および異常の性状特徴の少なくとも１つである。なお、異常の存在確率に代えて、異常の有無を第３の評価値Ｅ３として用いてもよい。
　図１４は第３の評価値導出部における導出モデルを模式的に示す図である。図１４に示すように、導出モデル２６Ａは出力する第３の評価値Ｅ３の種類に応じたＣＮＮ３１～ＣＮＮ３４を有する。ＣＮＮ３１～ＣＮＮ３４は図１３に示す導出モデル２４ＡにおけるＣＮＮ１～ＣＮＮ４と同様に、それぞれ異常の存在確率、異常の位置情報、異常の形状特徴および異常の性状特徴を導出する。なお、導出モデル２６Ａへは導出モデル２４Ａと同様に補助情報を入力するようにしてもよい。導出モデル２６Ａに入力される補助情報は、対象画像Ｇ０、対象画像Ｇ０内における臓器領域、臓器内のサブ領域および間接所見の領域が挙げられる。
　以上より、本実施形態における第１の領域設定部２２、第２の領域設定部２３、第１の評価値導出部２４、第２の評価値導出部２５および第３の評価値導出部２６が行う処理の流れは図１５に示すものとなる。
　表示制御部２７は、第１の評価値Ｅ１、第２の評価値Ｅ２および第３の評価値Ｅ３の少なくとも１つに基づく評価結果をディスプレイ１４に表示する。図１６は評価結果の表示画面を示す図である。図１６に示すように評価結果表示画面５０には、対象画像Ｇ０のうちの１枚の断層画像Ｄ０および評価結果５１が表示されている。図１６においては、評価結果５１は第３の評価値Ｅ３に含まれる異常の確率である。図１６においては、異常の確率として０．９が表示されている。
　また、評価結果表示画面５０には、第３の評価値Ｅ３に含まれる異常の位置情報に基づいて、異常の位置が他の領域と区別されて断層画像Ｄ０が表示される。図１６においては、膵臓３０の頭部３３に第１の異常領域４１が、膵臓３０の尾部３５に第２の異常領域４２が他の領域と区別されて表示されている。具体的には第１の異常領域４１および第２の異常領域４２に色が付与されることにより、第１の異常領域４１および第２の異常領域４２が強調されて表示される。なお、図１６においては、色を付与していることをハッチングを付与することにより示している。ここで、第１の異常領域４１は第１の評価値Ｅ１に基づいて特定される領域である。第２の異常領域４２は第２の評価値Ｅ２に基づいて特定される領域である。
　また、本実施形態においては、操作者は入力デバイス１５を操作することにより、第１の評価値Ｅ１に基づく評価結果および第２の評価値Ｅ２に基づく評価結果を切り替えて表示することができる。図１７は第１の評価値Ｅ１に基づく評価結果の表示画面を示す図である。図１７に示すように、評価結果５１には、第１の評価値Ｅ１に基づく評価結果である異常の確率である０．８が表示されている。また、断層画像Ｄ０においては第１の異常領域４１のみが強調表示されている。
　図１８は第２の評価値Ｅ２に基づく評価結果の表示画面を示す図である。図１８に示すように、評価結果５１には、第２の評価値Ｅ２に基づく評価結果である異常の確率である０．９が表示されている。また、断層画像Ｄ０においては第２の異常領域４２のみが強調表示されている。なお、表示される第２の評価値Ｅ２は、第２の異常領域４２が抽出された小領域について導出されたものである。
　一方、図１９に示すように、断層画像Ｄ０において、第１の異常領域４１と第２の異常領域４２とを異なる色で強調表示するようにしてもよい。図１９においては、第１の異常領域４１にハッチングを付与し、第２の異常領域４２を塗りつぶすことにより、色が異なることを示している。この場合、評価結果５１には、第１の評価値Ｅ１、第２の評価値Ｅ２および第３の評価値Ｅ３のすべてが表示される。なお、表示される第２の評価値Ｅ２は、第２の異常領域４２が抽出された小領域について導出されたものである。
　なお、断層画像Ｄ０における強調表示は、入力デバイス１５からの指示により、オンおよびオフを切り替え可能としてもよい。
　次いで、本実施形態において行われる処理について説明する。図２０は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１がストレージ１３から対象画像Ｇ０を取得し（ステップＳＴ１）、第１の領域設定部２２が、対象画像Ｇ０に対して対象臓器の全体を含む第１の領域Ａ１を設定する（ステップＳＴ２）。
　次いで、第２の領域設定部２３が対象臓器である膵臓に複数の小領域を設定する（ステップＳＴ３）。そして、第１の評価値導出部２４が、第１の領域における異常の有無を示唆する第１の評価値Ｅ１を導出する（ステップＳＴ４）。また、第２の評価値導出部２５が、複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値Ｅ２を導出する（ステップＳＴ５）。さらに、第３の評価値導出部２６が、第１の評価値Ｅ１と第２の評価値Ｅ２とから、対象画像Ｇ０における異常の有無を示唆する第３の評価値Ｅ３を導出する（ステップＳＴ６）。そして、表示制御部２７が、評価結果をディスプレイ１４に表示し（ステップＳＴ７）、処理を終了する。
　このように，本実施形態においては、第１の領域における異常の有無を示唆する第１の評価値Ｅ１を導出し、複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値Ｅ２を導出し、第１の評価値Ｅ１および第２の評価値Ｅ２から、対象画像Ｇ０における異常の有無を示唆する第３の評価値Ｅ３を導出するようにした。このため、対象臓器の全体に亘って大局的に存在する異常、および対象臓器において局所的に存在する異常の双方を漏れなく評価することができる。したがって、対象臓器の異常を精度よく評価することができる。
　また、第１～第３の評価値Ｅ１～Ｅ３を、対象画像Ｇ０、第１の領域Ａ１および小領域のそれぞれについての、異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つとすることにより、医用画像における異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つを評価することができる。
　また、第１の領域を解剖学的構造に基づいて分割することによって複数の小領域を設定することにより、第１の領域に含まれる解剖学的な構造単位で第２の評価値Ｅ２を導出することができる。したがって、解剖学的な構造単位で異常の評価を行うことができる。
　また、対象臓器についての間接所見に基づいて複数の小領域を設定することにより、間接所見の原因となる小領域についての第２の評価値Ｅ２を導出することができる。したがって、間接所見の原因となる小領域についての異常の評価を行うことができる。
　なお、上記実施形態においては、第３の評価値導出部２６をＣＮＮを含む導出モデル２６Ａを有するものとしているが、これに限定されるものではない。第１の評価値Ｅ１および第２の評価値Ｅ２が異常の存在確率である場合、第１の評価値Ｅ１と第２の評価値Ｅ２との関係に基づいて、第３の評価値Ｅ３を導出するようにしてもよい。例えば、第１の評価値Ｅ１が第１のしきい値Ｔｈ１より大きく、かつ第２のしきい値Ｔｈ２より大きい第２の評価値Ｅ２が得られた小領域の数が第３のしきい値以上の場合に、第３の評価値Ｅ３を異常有りとするようにしてもよい。
　また、上記実施形態においては、第１の領域設定部２２のＳＳモデル、第１の評価値導出部２４の導出モデル２４Ａ、および第３の評価値導出部２６の導出モデル２６ＡとしてＣＮＮを用いているが、これに限定されるものではない。ＣＮＮ以外の他の機械学習の手法により構築されたモデルを用いることができる。
　また、上記実施形態においては、対象臓器を膵臓としているがこれに限定されるものではない。膵臓の他、脳、心臓、肺および肝臓等の任意の臓器を対象臓器として用いることができる。
　また、上記実施形態においては、対象画像Ｇ０としてＣＴ画像を用いているが、これに限定されるものではない。ＭＲＩ画像等の３次元画像の他、単純撮影により取得された放射線画像等、任意の画像を対象画像Ｇ０として用いることができる。
　また、上記実施形態において、例えば、画像取得部２１、第１の領域設定部２２、第２の領域設定部２３、第１の評価値導出部２４、第２の評価値導出部２５、第３の評価値導出部２６および表示制御部２７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　コンピュータ
　　　２　　撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　１６　　メモリ
　　　２０　　画像処理装置
　　　２１　　画像取得部
　　　２２　　第１の領域設定部
　　　２３　　第２の領域設定部
　　　２４　　第１の評価値導出部
　　　２５　　第２の評価値導出部
　　　２６　　第３の評価値導出部
　　　２７　　表示制御部
　　　３０　　膵臓
　　　３０Ａ　　主膵管
　　　３０Ｂ　　膵臓実質
　　　３１　　静脈
　　　３２　　動脈
　　　３３　　頭部
　　　３４　　体部
　　　３５　　尾部
　　　３６　　中心軸
　　　３７Ａ～３７Ｅ　　小領域
　　　４１　　第１の異常領域
　　　４２　　第２の異常領域
　　　５０　　評価結果表示画面
　　　５１　　評価結果
　　　Ｄ０　　断層画像
　　　Ｇ０　　対象画像

Claims (11)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　医用画像に対して対象臓器の全体を含む第１の領域を設定し、
    　前記第１の領域内において、前記対象臓器を含む複数の小領域を設定し、
    　前記第１の領域における異常の有無を示唆する第１の評価値を導出し、
    　前記複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値を導出し、
    　前記第１の評価値および前記第２の評価値から、前記医用画像における異常の有無を示唆する第３の評価値を導出する画像処理装置。
  2. 　前記第１の評価値は、前記第１の領域における異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つを含み、
    　前記第２の評価値は、前記小領域のそれぞれにおける異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つを含み、
    　前記第３の評価値は、前記医用画像における異常の存在確率、異常の位置、異常の形状特徴および異常の性状特徴の少なくとも１つを含む請求項１に記載の画像処理装置。
  3. 　前記プロセッサは、前記第１の領域を解剖学的構造に基づいて分割することにより、前記複数の小領域を設定する請求項１または２に記載の画像処理装置。
  4. 　前記プロセッサは、前記対象臓器についての間接所見に基づいて、前記複数の小領域を設定する請求項１または２に記載の画像処理装置。
  5. 　前記間接所見は、前記対象臓器に発生した萎縮、腫大、狭窄、および拡張のうちの少なくとも１つを含む請求項４に記載の画像処理装置。
  6. 　前記プロセッサは、前記対象臓器を通る軸を設定し、
    　前記軸に沿って前記対象臓器に前記小領域を設定する請求項１または２に記載の画像処理装置。
  7. 　前記プロセッサは、前記第１の評価値、前記第２の評価値および前記第３の評価値の少なくとも１つに基づく評価結果をディスプレイに表示する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記医用画像は膵臓を含む腹部の断層画像であり、
    　前記対象臓器は膵臓である請求項１から７のいずれか１項記載の画像処理装置。
  9. 　前記プロセッサは、前記膵臓を、頭部、体部および尾部に分割することにより、前記小領域を設定する請求項８に記載の画像処理装置。
  10. 　医用画像に対して対象臓器の全体を含む第１の領域を設定し、
    　前記第１の領域内において、前記対象臓器を含む複数の小領域を設定し、
    　前記第１の領域における異常の有無を示唆する第１の評価値を導出し、
    　前記複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値を導出し、
    　前記第１の評価値および前記第２の評価値から、前記医用画像における異常の有無を示唆する第３の評価値を導出する画像処理方法。
  11. 　医用画像に対して対象臓器の全体を含む第１の領域を設定する手順と、
    　前記第１の領域内において、前記対象臓器を含む複数の小領域を設定する手順と、
    　前記第１の領域における異常の有無を示唆する第１の評価値を導出する手順と、
    　前記複数の小領域のそれぞれにおける異常の有無を示唆する第２の評価値を導出する手順と、
    　前記第１の評価値および前記第２の評価値から、前記医用画像における異常の有無を示唆する第３の評価値を導出する手順とをコンピュータに実行させる画像処理プログラム。
PCT/JP2022/018959 2021-06-25 2022-04-26 画像処理装置、方法およびプログラム WO2022270151A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023529661A JPWO2022270151A1 (ja) 2021-06-25 2022-04-26
US18/522,285 US20240095918A1 (en) 2021-06-25 2023-11-29 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021105655 2021-06-25
JP2021-105655 2021-06-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/522,285 Continuation US20240095918A1 (en) 2021-06-25 2023-11-29 Image processing apparatus, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2022270151A1 true WO2022270151A1 (ja) 2022-12-29

Family

ID=84545579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018959 WO2022270151A1 (ja) 2021-06-25 2022-04-26 画像処理装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20240095918A1 (ja)
JP (1) JPWO2022270151A1 (ja)
WO (1) WO2022270151A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237441A (ja) * 2004-02-24 2005-09-08 Kokuritsu Seishin Shinkei Center 脳疾患の診断支援方法及び装置
JP2010012176A (ja) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk 脳疾患診断システム
JP2011067594A (ja) * 2009-08-25 2011-04-07 Fujifilm Corp 肝機能造影像を用いた医用画像診断装置および方法、並びにプログラム
JP2019149093A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 診断支援システム、診断支援方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237441A (ja) * 2004-02-24 2005-09-08 Kokuritsu Seishin Shinkei Center 脳疾患の診断支援方法及び装置
JP2010012176A (ja) * 2008-07-07 2010-01-21 Hamamatsu Photonics Kk 脳疾患診断システム
JP2011067594A (ja) * 2009-08-25 2011-04-07 Fujifilm Corp 肝機能造影像を用いた医用画像診断装置および方法、並びにプログラム
JP2019149093A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 診断支援システム、診断支援方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU KAO-LANG, WU TINGHUI, CHEN PO-TING, TSAI YUHSIANG M, ROTH HOLGER, WU MING-SHIANG, LIAO WEI-CHIH, WANG WEICHUNG: "Deep learning to distinguish pancreatic cancer tissue from non-cancerous pancreatic tissue: a retrospective study with cross-racial external validation", THE LANCET DIGITAL HEALTH, vol. 2, no. 6, 1 June 2020 (2020-06-01), pages e303 - e313, XP093016125, ISSN: 2589-7500, DOI: 10.1016/S2589-7500(20)30078-9 *

Also Published As

Publication number Publication date
JPWO2022270151A1 (ja) 2022-12-29
US20240095918A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
US11139067B2 (en) Medical image display device, method, and program
WO2021157705A1 (ja) 文書作成支援装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
JP2020031803A (ja) 画像診断支援装置、方法及びプログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
US20240020838A1 (en) Medical image processing device, operation method of medical image processing device, and operation program of medical image processing device
WO2022196105A1 (ja) 情報管理装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
WO2022270151A1 (ja) 画像処理装置、方法およびプログラム
Kularathne et al. Liver Tumor Identification GUI using MATLAB Image Processing
WO2022270152A1 (ja) 画像処理装置、方法およびプログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
US20240274287A1 (en) Image diagnosis assisting device, operation method of image diagnosis assisting device, and a program
JP7368592B2 (ja) 文書作成支援装置、方法およびプログラム
JP7524334B2 (ja) 画像表示装置、方法およびプログラム
WO2022270150A1 (ja) 画像処理装置、方法およびプログラム
US20240037738A1 (en) Image processing apparatus, image processing method, and image processing program
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム
EP4343695A1 (en) Information processing apparatus, information processing method, and information processing program
US20240095915A1 (en) Information processing apparatus, information processing method, and information processing program
US20230281810A1 (en) Image display apparatus, method, and program
US20240331335A1 (en) Image processing apparatus, image processing method, and image processing program
JP2024040872A (ja) 画像処理装置、方法およびプログラム
JP2024140470A (ja) 画像処理装置、画像処理方法、画像処理プログラム、学習装置、学習方法、及び学習プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828070

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529661

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828070

Country of ref document: EP

Kind code of ref document: A1