WO2020044735A1 - 類似度決定装置、方法およびプログラム - Google Patents

類似度決定装置、方法およびプログラム Download PDF

Info

Publication number
WO2020044735A1
WO2020044735A1 PCT/JP2019/023814 JP2019023814W WO2020044735A1 WO 2020044735 A1 WO2020044735 A1 WO 2020044735A1 JP 2019023814 W JP2019023814 W JP 2019023814W WO 2020044735 A1 WO2020044735 A1 WO 2020044735A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
similarity
medical image
finding
image
Prior art date
Application number
PCT/JP2019/023814
Other languages
English (en)
French (fr)
Inventor
昭治 金田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to DE112019004300.5T priority Critical patent/DE112019004300T5/de
Priority to CN201980055412.6A priority patent/CN112638262B/zh
Priority to JP2020540088A priority patent/JP7004829B2/ja
Publication of WO2020044735A1 publication Critical patent/WO2020044735A1/ja
Priority to US17/167,058 priority patent/US11854190B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present disclosure relates to a similarity determination device, a method, and a program that determine the similarity between two medical images.
  • Non-Patent Document 1 and Patent Document 1). 1, 2 a lung case image is classified into a plurality of regions each showing a plurality of types of tissues or lesions (hereinafter, tissues or lesions are collectively referred to as findings) and registered in a case database.
  • a method has been proposed in which the lungs are similarly classified into a plurality of regions each showing a plurality of types of findings with respect to the inspection image, and a case image similar to the inspection image is searched based on the classification result of the findings regarding the inspection image.
  • Patent Documents 1 and 2 disclose similarity to an inspection image by comparing a feature amount of an image such as a density histogram of an image, an average of density or a variance of density with an image registered in a database. Techniques for searching images have been proposed. As a method of calculating the degree of similarity between images, a plurality of partial regions are set in at least one image of the plurality of images, and each set partial region is set to a corresponding region in another image. A method of calculating the overall area similarity by determining the degree of similarity of the partial areas and weighting and adding the determined partial area similarities using the weighting factors set for the respective partial areas has been proposed. Reference 3).
  • interstitial pneumonia is known as a lung disease.
  • a method has been proposed in which CT images of patients with interstitial pneumonia are analyzed to classify and quantify lesions showing specific findings such as cell lung, reticular shadows, and cysts contained in the CT images (non-patients).
  • Patent Documents 2 and 3 As described above, by analyzing the CT image and classifying and quantifying the lesion, the degree of the lung disease can be easily determined. In addition, by assigning different colors to the classified and quantified regions and displaying them, it is possible to easily diagnose how much the region of the specific symptom is included in the image.
  • Deep learning is a method of machine learning using a multilayer neural network constructed by hierarchically connecting a plurality of processing layers.
  • arithmetic processing is performed on a plurality of different calculation result data obtained by a preceding layer of input data, that is, feature result extraction result data. Then, by performing further arithmetic processing on the data of the characteristic amount obtained in the next and subsequent processing layers, the recognition rate of the characteristic amount is improved, and the input data is classified into a plurality of classes. be able to.
  • Non-Patent Document 1 and Patent Documents 1 to 3 it is possible to search for a case image similar to a lesion contained in the lung of the inspection image.
  • the findings included in the inspection image tend to occur in a specific area according to the characteristics. For this reason, when determining the degree of similarity between the test image and the case image, it is important to consider the position and distribution of findings in the target organ included in the test image.
  • the present disclosure has been made in view of the above circumstances, and has as its object to appropriately determine the similarity between images in consideration of the position and distribution of findings included in images.
  • a similarity determination device is a similarity determination device that determines a similarity between a first medical image and a second medical image, An area dividing unit that divides the target area in the first medical image into a plurality of areas; A finding classification unit that classifies each pixel of the first medical image into at least one finding; A feature value calculation unit that calculates a first feature value for each finding classified in the first medical image for each of the divided regions; Based on a first feature amount for each finding calculated in the first medical image and a second feature amount for each finding calculated in advance in the second medical image, a first feature amount is set for each divided region.
  • An area similarity deriving unit that derives an area similarity between the medical image of the second medical image and the second medical image;
  • a plurality of region similarities are weighted by a weighting coefficient corresponding to at least one of the size of each divided region and the size of a specific finding included in each divided region, and the first medical image and the A similarity deriving unit that derives a similarity with the second medical image.
  • the region dividing unit divides the target region into a plurality of regions for each region pattern based on a plurality of types of region patterns different from each other
  • the feature amount calculation unit calculates a first feature amount for each of the divided regions for each region pattern
  • the region similarity deriving unit derives a region similarity for each divided region for each region pattern
  • the similarity deriving unit may derive a similarity between the first medical image and the second medical image by performing a weighting operation on the region similarity for a plurality of types of region patterns.
  • the similarity deriving unit weights the region similarity for a plurality of types of region patterns by using a weighting factor and a region pattern weighting factor corresponding to the type of finding and the type of the region pattern. An operation may be performed.
  • the similarity determination device further includes an input unit that receives an instruction to change the area pattern weight coefficient,
  • the similarity deriving unit may perform a weighting operation based on the weight coefficient and the changed area pattern weight coefficient.
  • the specific finding may be a finding of a lesion.
  • the finding classification unit includes a classifier that has been machine-learned so as to classify a plurality of types of findings, and the classifier classifies each pixel of the first medical image into a plurality of pixels. It may be classified into at least one of the types of findings.
  • a case database in which a plurality of second medical images are registered, and a second feature amount of each of the plurality of second medical images is a plurality of second medical images.
  • the image processing apparatus may further include a search unit that searches for the second medical image as a similar medical image.
  • the similarity determination device may further include a display control unit that displays a search result of a similar medical image on a display unit.
  • the region dividing unit may extract the bronchi from the lung region and divide the lung region into a plurality of regions based on the position of the bronchus.
  • the region dividing unit may specify a plurality of branch positions of the bronchus and divide the lung region into a plurality of regions based on the branch positions.
  • the region dividing unit may divide the lung region into a plurality of regions in the vertical direction based on the branch position.
  • the “vertical direction” means the body axis direction of a patient who is a subject who has acquired a medical image.
  • the region dividing unit includes the lung division into a region within a specific distance from a specific branch position among a plurality of branch positions and a region other than the region within the specific distance.
  • the area may be divided.
  • the region dividing unit may further divide the lung region into an outer region and an inner region.
  • the region dividing unit may further divide the lung region into a dorsal region and a ventral region.
  • a similarity determination method is a similarity determination method for determining a similarity between a first medical image and a second medical image, Dividing the target area in the first medical image into a plurality of areas, Classifying each pixel of the first medical image into at least one finding; Calculating, for each of the divided areas, a first feature amount for each finding classified in the first medical image; Based on a first feature amount for each finding calculated in the first medical image and a second feature amount for each finding calculated in advance in the second medical image, a first feature amount is set for each divided region.
  • a plurality of region similarities are weighted by a weighting coefficient corresponding to at least one of the size of each divided region and the size of a specific finding included in each divided region, and the first medical image and the The degree of similarity with the second medical image is derived.
  • the similarity determination method according to the present disclosure may be provided as a program for causing a computer to execute the method.
  • Another similarity determination device is a memory that stores an instruction for causing a computer to execute a process of determining a similarity between a first medical image and a second medical image;
  • a processor configured to execute the stored instructions, the processor comprising: Dividing the target area in the first medical image into a plurality of areas, Classifying each pixel of the first medical image into at least one finding; Calculating, for each of the divided areas, a first feature amount for each finding classified in the first medical image; Based on a first feature amount for each finding calculated in the first medical image and a second feature amount for each finding calculated in advance in the second medical image, a first feature amount is set for each divided region.
  • a plurality of region similarities are weighted by a weighting coefficient corresponding to at least one of the size of each divided region and the size of a specific finding included in each divided region, and the first medical image and the A process for deriving the degree of similarity with the second medical image is executed.
  • the similarity between the first medical image and the second medical image can be appropriately determined by appropriately performing weighting according to the position and distribution of the findings in the target region.
  • FIG. 1 is a schematic block diagram illustrating a configuration of a similarity determination device according to a first embodiment.
  • Schematic block diagram showing the configuration of the area dividing unit Diagram showing graph structure in bronchial region together with lung region
  • the figure for demonstrating the 1st division process by a 1st division part The figure for demonstrating the 2nd division
  • the figure for explaining the 3rd division processing by the 3rd division part The figure for demonstrating the 4th division process by a 4th division part
  • Diagram showing an example of a multilayer neural network The figure which shows the evaluation value according to the kind of finding about the central pixel of a certain region of interest The figure which shows one cross section in the mapping image to which the color according to classification was allocated Diagram showing the calculation result of the volume of findings
  • Diagram showing search results 4 is a flowchart illustrating processing performed in the first embodiment. Flowchart of region division processing Diagram showing weighting factors according to region pattern Diagram showing weighting factors according to region pattern Diagram showing weighting factors according to region pattern Diagram showing weighting factors according to region pattern
  • FIG. 1 is a hardware configuration diagram illustrating an outline of a diagnosis support system to which a similarity determination device according to the first embodiment of the present disclosure is applied.
  • a similarity determination device 1 in the diagnosis support system, a similarity determination device 1, a three-dimensional image capturing device 2, and an image storage server 3 according to the present embodiment are connected in a communicable state via a network 4. I have.
  • the three-dimensional image capturing apparatus 2 is an apparatus that generates a three-dimensional image representing a part of a subject to be diagnosed by capturing an image of the part, and specifically, a CT apparatus, an MRI apparatus, and a PET ( Positron Emission Tomography) device.
  • the three-dimensional image composed of a plurality of slice images generated by the three-dimensional image photographing device 2 is transmitted to the image storage server 3 and stored.
  • the part to be diagnosed of the patient who is the subject is the lung
  • the three-dimensional image capturing device 2 is a CT device, and generates a CT image of the chest including the lungs of the subject as a three-dimensional image. I do.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to transmit and receive image data and the like.
  • various data including the image data of the three-dimensional image generated by the three-dimensional image capturing device 2 is acquired via a network, and stored and managed in a recording medium such as a large-capacity external storage device.
  • the storage format of the image data and communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • the image storage server 3 stores a three-dimensional image to be inspected (hereinafter, referred to as an inspection image) and a case database DB in which case images are registered. .
  • the case database DB will be described later.
  • the inspection image is a three-dimensional image including one or more slice images (hereinafter, referred to as inspection slice images).
  • the case image is also a three-dimensional image including one or more slice images (hereinafter, referred to as case slice images).
  • the examination image corresponds to the first medical image
  • the case image corresponds to the second medical image.
  • the similarity determination device 1 is a computer in which the similarity determination program of the present disclosure is installed.
  • the computer may be a workstation or personal computer directly operated by a physician performing diagnosis, or a server computer connected to them via a network.
  • the similarity determination program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed on a computer used by a doctor in response to a request.
  • FIG. 2 is a diagram illustrating a schematic configuration of a similarity determination device according to an embodiment of the present disclosure realized by installing a similarity determination program on a computer.
  • the similarity determination device 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration.
  • the similarity determination device 1 is connected to a display unit 14 including a liquid crystal display and the like, and an input unit 15 including a keyboard and a mouse.
  • a display unit 14 including a liquid crystal display and the like
  • an input unit 15 including a keyboard and a mouse.
  • the storage 13 includes a hard disk, an SSD (Solid State Drive), and the like.
  • the storage 13 stores various types of information obtained from the image storage server 3 via the network 4, including test images of the subject and information necessary for processing.
  • the memory 12 stores a similarity determination program.
  • the similarity determination program includes, as processes to be executed by the CPU 11, an image acquisition process of acquiring an inspection image to be inspected, a region dividing process of dividing a target region in the inspection image into a plurality of regions, and at least each pixel of the inspection image.
  • Finding classification processing for classifying into one finding, feature amount calculating processing for calculating a first feature amount for each finding classified in the inspection image for each divided area, first finding for each finding calculated in the inspection image
  • Area similarity deriving processing for deriving the area similarity between the inspection image and the case image for each of the divided areas based on the feature amount and the second feature amount for each finding previously calculated in the case image,
  • a weighting coefficient according to at least one of the size of each divided region and the size of a specific finding included in each divided region is used to perform a weighting operation on a plurality of region similarities.
  • a similarity deriving process for deriving a similarity between a test image and a case image, a search process for searching for a case image similar to the test image based on the derived similarity, and a display for displaying a search result on the display unit 14 Specifies the control process.
  • the computer obtains the image acquisition unit 21, the region division unit 22, the finding classification unit 23, the feature amount calculation unit 24, the region similarity derivation unit 25, and the similarity derivation unit. 26, functions as a search unit 27 and a display control unit 28.
  • the image acquisition unit 21 acquires an inspection image V0 of a subject to be inspected. If the inspection image V0 has already been stored in the storage 13, the image acquisition unit 21 may acquire the inspection image V0 from the storage 13.
  • FIG. 3 is a schematic block diagram showing the configuration of the area dividing unit 22.
  • the region dividing unit 22 includes a bronchial extracting unit 30 that extracts a bronchial region from a lung region in an examination image, and a bronchial region dividing unit 22 that divides a lung region into a plurality of regions in a vertical direction based on a bronchial branch position.
  • One division unit 31 a second division unit 32 that divides a lung region into a region within a specific distance from a specific branch position and a region other than a region within a specific distance from a plurality of branch positions, It has a third dividing section 33 for dividing the outer area and the inner area, and a fourth dividing section 34 for dividing the lung area into a dorsal area and a ventral area.
  • the bronchial extraction unit 30 extracts the structure of the bronchus from the examination image V0 as a bronchial region.
  • the bronchial extraction unit 30 extracts a lung region as a target region from the examination image V0.
  • a method of extracting a lung region a method of extracting a signal value of each pixel in the inspection image V0 into a histogram and performing threshold processing on the lung, or a region growing method based on a seed point representing the lung (Region Growing) And any other method can be used. Note that a discriminator that has been machine-learned so as to extract a lung region may be used.
  • the bronchial extraction unit 30 extracts a graph structure of the bronchial region included in the lung region extracted from the examination image V0 as a three-dimensional bronchial region.
  • a technique for extracting a bronchial region for example, a graph structure of a bronchus is extracted using a Hessian matrix described in Japanese Patent Application Laid-Open No. 2010-220742, and the extracted graph structure is defined as a start point, an end point, a branch point, A method of extracting a bronchial region by classifying into a side and connecting the start point, the end point, and the branch point by the side can be used. The method of extracting the bronchial region is not limited to this.
  • FIG. 4 is a diagram showing a graph structure in the bronchial region extracted by the bronchial extractor 30 together with the lung region.
  • a bronchial graph structure 41 is included in the left lung region 40L and the right lung region 40R.
  • bronchial branches are indicated by white circles.
  • the lung region is divided into anatomical lung segments.
  • the boundary between the lung segments is unclear, and it is difficult to divide the region based on the lung segments.
  • the lung region is divided into three so as to have a uniform volume in the vertical direction, the change in the region size due to expansion or contraction of the diseased region is evenly distributed in the divided regions. Therefore, the disease area cannot be regarded as a feature of the area.
  • the bronchi included in the lung region are separated from bronchi heading toward the upper main body and bronchi heading toward the lower main body. For this reason, by dividing the lung region based on the bronchial bifurcation position, it becomes easier to catch a partial change in the lung region of the advanced disease.
  • the first division unit 31 divides the lung region into a plurality of regions in the vertical direction based on the bronchial branch position. More specifically, the left and right lung regions are divided into upper, middle, and lower regions based on the first branch of the bronchi and the third branch of the bronchi.
  • the first branch of the bronchi in the present embodiment corresponds to a branch point between the trachea and the left and right bronchi.
  • the branches appearing from the first branch of the bronchus toward the periphery of the bronchi are referred to as a second bronchus branch, a third bronchus branch, and so on.
  • FIG. 5 is a diagram for describing a first division process by the first division unit 31.
  • the first division unit 31 divides the region based on the third branch of the bronchus located below the subject in the body axis direction. As shown in FIG. 5, the first division unit 31 sets a horizontal plane 42 at the first bronchial branch B1, and sets horizontal planes 43L and 43R at the lower bronchial third branch B31 in the left and right lung regions 40L and 40R, respectively. I do.
  • FIG. 5 shows the lung region in two dimensions, since the inspection image V0 is a three-dimensional image, the horizontal plane is actually set as described above.
  • the horizontal plane means a plane perpendicular to the body axis of the subject from which the inspection image V0 has been acquired.
  • the first division unit 31 divides the left lung region 40L into a left upper lung region 40LU between the horizontal plane 42 and the upper end of the left lung region 40L, a left middle lung region 40LM between the horizontal plane 42 and the horizontal plane 43L, and a horizontal plane 43L. It is divided into three lower left lung regions 40LL between the lower end of the left lung region 40L. Further, the first division unit 31 divides the right lung region 40R into a right upper lung region 40RU between the horizontal plane 42 and the upper end of the right lung region 40R, a right middle lung region 40RM between the horizontal plane 42 and the horizontal plane 43R, and a horizontal plane. It is divided into three lower right lung regions 40RL between 43L and the lower end of the right lung region 40R.
  • the central region of the lung In the central region of the lung near the hilum, large bronchi and blood vessels are present. Therefore, when determining the degree of similarity between the test image V0 and the case image, the central region of the lung should be distinguished from other regions mainly composed of alveoli. Is preferred. Since the central region of the lung also causes overall lung shrinkage and positional deviation due to the disease, it is preferable to use the bronchial bifurcation as a reference.
  • the second dividing unit 32 divides the lung region into a region within a specific distance from a specific branch position among a plurality of branch positions and a region other than the region within a specific distance. Specifically, in the left and right lung regions 40L and 40R, spherical regions having a specific radius around the third bronchus are set.
  • FIG. 6 is a diagram illustrating a second division process performed by the second division unit 32. It should be noted that there are two bronchial third branches in each of the left and right lung regions. The second dividing unit 32 sets a spherical region having a specific radius in each of the two bronchial third branches B31 and B32 in the left and right lung regions 40L and 40R. That is, as shown in FIG.
  • the second dividing unit 32 forms a sphere region 44L1 centered on the lower bronchial third branch B31 and a sphere centered on the upper bronchial third branch B32 with respect to the left lung region 40L.
  • the area 44L2 is set.
  • the second dividing unit 32 sets a sphere region 44R1 centered on the lower bronchial third branch B31 and a sphere region 44R2 centered on the upper bronchial third branch B32 with respect to the right lung region 40R.
  • the radius of the spherical region may be set according to the distance from the third bronchial branches B31 and B32 to the left and right ends of the left and right lung regions.
  • the radius of the spherical area may be set to 0.5 to 0.65 times the distance.
  • the distance from the third bronchial branch B31 to the right end of the right lung region 40R is larger than the distance from the third bronchial branch B32 to the right end of the right lung region 40R. .
  • the radius of the spherical area is spherical area 44R1> spherical area 44R2.
  • the distance from each of the third bronchial branches B31 and B32 to the left end of the left lung region 40L is substantially the same.
  • the radius of the spherical area is substantially the same in the spherical area 44L1 and the spherical area 44L2.
  • the second dividing unit 32 divides the left lung region 40L into a left central region 44LC including a spherical region 44L1 and a spherical region 44L2, and a region 44LO other than the left central region 44LC.
  • the right lung region 40R is divided into a right central region 44RC including a spherical region 44R1 and a spherical region 44R2, and a region 44RO other than the right central region 44RC.
  • the region 44L0 and the region 44RO are regions mainly composed of alveoli.
  • the third dividing unit 33 divides the lung region into an outer region and an inner region.
  • the third dividing unit 33 divides only the region 44LO and the region 44RO divided by the second dividing unit 32 into an outer region and an inner region.
  • FIG. 7 is a diagram illustrating a third division process performed by the third division unit 33.
  • FIG. 7 shows a tomographic image G1 of an axial plane, a tomographic image G2 of a sagittal plane, and a tomographic image G3 of a coronal plane.
  • the third division unit 33 divides the lung region into an outer region that accounts for 50 to 60% of the volume of the lung region from the pleura, and another inner region. Specifically, the third dividing unit 33 divides the left lung region 40L into an outer region 40Lex and an inner region 40Lin, and divides the right lung region 40R into an outer region 40Rex and an inner region 40Rin.
  • each of the 40RLs is divided into an outer region and an inner region.
  • the fourth dividing unit 34 divides the lung region into a dorsal region and a ventral region.
  • the fourth dividing unit 34 divides only the region 44LO and the region 44RO divided by the second dividing unit 32 into a dorsal region and a ventral region.
  • FIG. 8 is a diagram illustrating a fourth division process performed by the fourth division unit 34.
  • FIG. 8 shows a tomographic image G1 on the axial plane and a tomographic image G2 on the sagittal plane.
  • the fourth dividing unit 34 divides the lung region into a dorsal region and a ventral region based on a coronal surface that divides the lung region into two equal volumes.
  • the fourth dividing unit 34 sets a reference coronal section 46L in the left lung region 40L, and divides the left lung region 40L into a dorsal region 40LB and a ventral region 40LF based on the coronal section 46L. I do.
  • the fourth dividing unit 34 sets a reference coronal section 46R in the right lung region 40R, and divides the right lung region 40R into a dorsal region 40RB and an abdominal region 40RF based on the coronal section 46R.
  • each outer region and inner region of the 40RL is further divided into a dorsal region and a ventral region.
  • FIG. 9 is a diagram schematically illustrating a result of dividing a lung region by the first division unit 31 to the fourth division unit 34.
  • the upper view in FIG. 9 does not close the axial section of the lung region, and the lower view does not close the coronal section.
  • only the left central region 40LC and the right central region 40RC are denoted by reference numerals, and the other regions obtained by division are omitted from the reference numerals.
  • the left and right lung regions are each divided into 13 regions.
  • the division of the lung region by the region dividing unit 22 is not limited to the above-described first to fourth divisions.
  • interstitial pneumonia one of the diseases of the lungs, may involve lesions surrounding the bronchi and blood vessels.
  • a bronchial region and a blood vessel region may be extracted from the lung region, and the lung region may be divided into a region in a predetermined range around the bronchial region and the blood vessel region and other regions.
  • the predetermined range may be a region of about 1 cm from the surface of the bronchi and blood vessels.
  • the finding classification unit 23 classifies each pixel of the lung region included in the inspection image V0 into at least one finding. Specifically, the finding classification unit 23 calculates, for each pixel of the lung region included in the inspection image V0, a plurality of evaluation values indicating the possibility of being each of a plurality of types of tissues or lesions (that is, findings). Then, based on the plurality of evaluation values, each pixel of the inspection image V0 is classified into at least one of a plurality of types of findings. In the present embodiment, the finding classification unit 23 classifies each pixel of the inspection image V0 into one finding.
  • the finding classification unit 23 of the present embodiment has a classifier composed of a multilayer neural network generated by deep learning (deep learning), which is one of machine learning, and uses this classifier to generate each of the inspection images V0.
  • deep learning deep learning
  • the type of finding to which the pixel belongs is specified.
  • the method of machine learning is not limited to deep learning, and other methods such as a support vector machine can be used.
  • each layer arithmetic processing is performed on data of a plurality of different feature amounts obtained by the preceding layer using various kernels. Further, by performing further arithmetic processing on the data of the characteristic amount obtained by this arithmetic processing in the next and subsequent layers, the recognition rate of the characteristic amount is improved, and the input data is classified into a plurality of classes. Can be.
  • the multilayer neural network will be described as an example in which the inspection image V0 is input and the classification result of the lung region into a plurality of types of findings is output, but a plurality of inspection slices constituting the inspection image V0 are described. It is also possible to configure so that each of the images is input, and the classification results of the lung region into a plurality of types of findings are output.
  • FIG. 10 is a diagram illustrating an example of a multilayer neural network.
  • the multilayer neural network 50 includes a plurality of layers including an input layer 51 and an output layer 52.
  • the lung region included in the inspection image V0 is defined as, for example, an infiltration shadow, a tumor shadow, a ground glass shadow, a centrilobular nodule shadow, a non-lobular centrilar nodule shadow, a dot shadow, a reticular shadow, and a linear shadow.
  • the multi-layer neural network 50 is made to learn about these findings by using a large number of millions of teacher data.
  • a region of interest having a predetermined size for example, 1.5 cm ⁇ 1.5 cm
  • the teacher data is input to the multilayer neural network 50, and the result of the classification process of the type of finding (hereinafter referred to as a classification result) is output.
  • the output result is compared with the teacher data, and a unit included in each layer of the multilayer neural network 50 from the output side to the input side (indicated by a circle in FIG. 10) according to whether the answer is correct or incorrect.
  • the weight of the connection between the respective layers is corrected.
  • the correction of the connection weight is repeated a predetermined number of times using a large number of teacher data or until the accuracy rate of the output classification result reaches 100%, and the learning is completed.
  • a predetermined size for example, 1.5 cm
  • a slice image constituting a three-dimensional image whose lesion is known when learning the multilayer neural network 50 is obtained from a slice image constituting a three-dimensional image whose lesion is known when learning the multilayer neural network 50.
  • a 2D area normalized to ( ⁇ 1.5 cm) is cut out, and an image of the cut out 2D area is used as teacher data.
  • the finding classification unit 23 extracts a lung region, which is a target region, from the test image V0 for classification.
  • the extraction of the lung region may be performed in the same manner as in the bronchial extraction unit 30 described above.
  • the lung region extracted by the bronchial extraction unit 30 may be used.
  • the finding classification unit 23 sequentially cuts out a region of interest having the same size as the teacher data from the lung region of the inspection image V0, and inputs the region of interest to a classifier including the multilayer neural network 50.
  • an evaluation value corresponding to each classification of findings is output for the center pixel of the extracted region of interest.
  • the evaluation value corresponding to each classification is an evaluation value indicating the possibility that the central pixel belongs to each classification, and the larger the evaluation value, the higher the possibility that the central pixel belongs to the classification.
  • FIG. 11 is a diagram showing evaluation values according to the type of finding about the center pixel of a certain region of interest.
  • evaluation values for some findings are shown to simplify the description.
  • the discriminator classifies the central pixel of the region of interest into a finding having the largest evaluation value among a plurality of findings. For example, when an evaluation value as shown in FIG. 11 is obtained, the central pixel of the region of interest is most likely to be a mesh shadow, and secondly to a ground glass shadow. Conversely, there is little possibility of a normal lung or a low absorption zone. For this reason, when the evaluation value as shown in FIG.
  • the central pixel of the region of interest is classified into a reticulated shadow having the maximum evaluation value of 8.5 by the finding classification process. Thereby, all the pixels of the lung region included in the inspection image V0 are classified into any of a plurality of types of findings.
  • the finding classification unit 23 classifies the central pixel of the region of interest input to the multilayer neural network 50 into a finding having the largest evaluation value among a plurality of evaluation values, and generates a finding classification result. Thereby, all the pixels of the lung region included in the inspection image V0 are classified into any of a plurality of types of findings.
  • the finding classification unit 23 generates a mapping image by assigning colors to regions of each classification in the inspection image V0 based on the result of the finding classification processing. Specifically, the finding classification unit 23 assigns the same color to the pixels classified into the same classification for all the pixels in the three-dimensional space classified into any of the above-described plurality of types of findings. Thus, a three-dimensional mapping image is generated.
  • FIG. 12 is a diagram showing one section in a mapping image in which a color corresponding to each classification is assigned to each of a plurality of types. In FIG. 12, for simplicity of explanation, eight types of findings of frosted glass shadow, normal lung, bronchiectasis, cell lung, reticular shadow, infiltration shadow, low absorption area and cyst were classified.
  • mapping image 3 shows a mapping image.
  • the mapping image may be displayed on the display unit 14 by a display control unit 28 described later.
  • a cross-sectional image of an arbitrary cross section in the three-dimensional mapping image may be displayed as shown in FIG.
  • the present invention is not limited to this, and a three-dimensional mapping image may be displayed on the display unit 14.
  • the feature amount calculation unit 24 calculates a feature amount for each finding classified in the inspection image V0. Specifically, at least one of the size of the region for each finding, the average density for each finding, the variance of the density for each finding, the number of regions for each finding, the average size of the region for each finding, and the like is calculated as a feature amount. I do. Note that the feature amount calculated for the inspection image V0 is referred to as a first feature amount. The size of the area for each finding, the number of areas for each finding, the average size of the area for each finding, and the like are the size feature amount. As the size of the region for each finding, the volume of the region for each finding can be used.
  • a file name, an evaluation value for a plurality of findings in each pixel, and a feature amount for each finding are registered for each of the plurality of case images.
  • the feature amount of the case image registered in the case database DB is referred to as a second feature amount.
  • the first feature value and the second feature value are normalized so as to have a value of 0 or more and 1 or less.
  • the evaluation values for a plurality of findings in each pixel and the feature amount for each finding are acquired for the inspection image V0
  • the inspection image V0 is registered as a new case image in the case database DB.
  • the evaluation value and the first feature value of the inspection image V0 are registered in the case database DB as the new case image evaluation value and the second feature value.
  • the region similarity deriving unit 25 calculates each of the divided regions based on the first feature amount for each finding calculated in the test image V0 and the second feature amount for each finding previously calculated in the case image. Next, the area similarity, which is the similarity between the test image V0 and the case image, is derived. Note that the area similarity deriving unit 25 derives the area similarity for each corresponding area between the test image V0 and all the case images registered in the case database DB.
  • the area similarity deriving unit 25 normalizes the first feature amount calculated for the inspection image V0 to a value of 0 or more and 1 or less. Then, as shown in the following equation (1), in each of the divided regions, the difference between the distance between the first feature amount and the second feature amount of the case image is defined as the feature amount difference Ddi for each finding. calculate.
  • i is the type of finding
  • k is the type of feature
  • Tvk is the first feature of each type in the test image V0
  • Tck is the second feature of each type in the case image. Express the amount. Note that the first feature amount and the second feature amount for which the difference is calculated have the same type of feature amount.
  • ⁇ indicates that the sum of (Tvk ⁇ Tck) 2 is obtained for all types of feature amounts. Since the first feature value and the second feature value are normalized to values of 0 or more and 1 or less, the difference Ddi between feature values also takes a value of 0 or more and 1 or less. When the first feature value Tvk and the second feature value Tck match, the feature value difference Ddi becomes zero. Note that an absolute value of the difference between the first feature amount and the second feature amount may be used instead of the difference in distance between the first feature amount and the second feature amount.
  • the region similarity deriving unit 25 calculates the region similarity Sj0 between the inspection image V0 and the case image by the following equation (2). That is, in each of the divided regions, the difference Ddi of the feature amount is added for every finding for each finding, thereby calculating the region similarity Sj0.
  • j represents the type of the divided area.
  • the area similarity Sj0 is calculated using the equation (2), the smaller the distance between the first feature amount and the second feature amount, the more similar the corresponding region between the inspection image V0 and the case image. It will be. For this reason, a negative sign is given to Expression (2), and the value of the area similarity Sj0 increases as the inspection image V0 and the case image become more similar.
  • the area similarity Sj0 is calculated by the above equation (2), if the same finding has the same size, the area similarity Sj0 becomes 0. However, when comparing the same lesions, the fact is that the larger the lesions, the more similar the lesions.
  • the area similarity Sj0 is calculated by the above equation (2), there is a difference between a case where a finding having a relatively large size is the same feature amount and a case where a finding having a relatively small size is the same feature amount. And cannot reflect the fact that the larger the lesion size, the more similar it is.
  • the region similarity deriving unit 25 calculates the difference Dsi of the size of each finding in each divided region between the inspection image V0 and the case image by the following Expression (3). Calculate further.
  • Pvi in each of the divided areas indicates the finding occupancy of finding i of the inspection image V0
  • Pci indicates the finding occupancy of finding i of the case image.
  • the area similarity deriving unit 25 calculates the area similarity Sj1 between the test image V0 and the case image by the following equation (4).
  • Ddi has a smaller value as the feature amount of the finding in each divided region of the test image V0 and the case image is similar
  • Dsi has a smaller size of the finding in each divided region of the test image V0 and the case image. The more similar, the larger the value. Therefore, by using the equation (4), the area similarity Sj1 having a larger value as the corresponding area between the test image V0 and the case image becomes more similar is calculated in consideration of the size of the same finding. Can be.
  • the finding occupancy is calculated as follows.
  • the area similarity deriving unit 25 calculates the volume of each finding i in each of the divided areas.
  • the volume of the finding can be calculated by multiplying the number of pixels of each finding included in each region by the volume per voxel of the inspection image V0.
  • FIG. 13 shows the calculation results of the findings volume. In FIG. 13, the unit of volume is cubic millimeter.
  • the feature occupation ratio may be included in the first feature amount as the size feature amount, and may be calculated by the feature amount calculating unit 24.
  • the region similarity Sj1 is determined by the condition that the region similarity Sj1 between the corresponding regions of the test image V0 and the case image is the maximum, that is, the condition that there is no difference between the corresponding regions of the test image V0 and the case image. Is preferably normalized. Equation (5) is obtained by normalizing the area similarity S1 calculated by equation (4) under the condition Sjmax that maximizes the area similarity Sj1 between the corresponding areas of the inspection image V0 and the case image. In Expression (5), Sj2 is a normalized region similarity.
  • Equation (6) is obtained by normalizing equation (2) under the condition that the area similarity Sj0 between the corresponding areas of the inspection image V0 and the case image is maximized.
  • Sj3 is a normalized area similarity.
  • the similarity deriving unit 26 performs a weighting operation on a plurality of region similarities by a weighting coefficient corresponding to at least one of the size of each divided region and the size of a specific finding included in each divided region, The similarity between the test image V0 and the case image is derived. It is assumed that the similarity deriving unit 26 derives the similarity between the test image V0 and the case image using the region similarity Sj2.
  • pulmonary diseases such as pulmonary fibrosis
  • reticular shadows and cell lung findings are likely to occur in the lower lung superiority and immediately below the pleura, and conversely, the initial stage of general bacterial pneumonia does not occur immediately below the pleura, Ground glass and infiltration shadows develop from the inside. Aspiration pneumonia and the like are likely to occur on the back of the lung.
  • the disease similarity is calculated by adding the region similarity Sj2 derived for each divided region in all regions. The similarity between the test image V0 and the case image can be derived in consideration of the similarity of the onset position of the case.
  • the size of the region divided by the region dividing unit 22 differs for each region.
  • the region similarity Sj2 may be weighted according to the size of the divided region.
  • a case image is retrieved by deriving a similarity mainly on a lesion.
  • the region where the lesion exists is an important region, and the size of the lesion in each of the divided regions of the inspection image V0 is normalized based on the size of the lesion in the entire region of the lung.
  • the area similarity Sj2 corresponding to the ratio it is possible to derive the similarity between the test image V0 and the case image by placing importance on the lesion. Further, by deriving the similarity in this manner, a case image desired by a doctor can be searched.
  • the lung region is divided into ten regions. It is assumed that nine of the ten divided regions are in a normal state, and one region has a lesion. In such a case, when the area similarities derived in each of the ten areas are all 0.9, when all the areas are evaluated equally, the similarity between the test image V0 and the case image becomes 9.0. . On the other hand, if the area similarities derived in the 9 areas in the normal state of the 10 areas are all 1.0 and the area similarities derived in the area where the lesion exists are 0, Are evaluated equally, the similarity between the test image V0 and the case image is 9.0, which is the same as the case where the derived region similarities in all of the ten regions are 0.9. Therefore, by increasing the weight of the area similarity of the area where the lesion exists, and decreasing the weight of the area similarity of the normal area, it is possible to derive the similarity in consideration of the area where the lesion exists.
  • the similarity deriving unit 26 determines a plurality of types of findings as a finding group (hereinafter referred to as a background finding group) serving as a background such as a normal lung and emphysema tendency, as well as a dot-like shadow, It is classified into a finding group that becomes a lesion such as a ground-glass shadow and an infiltration shadow (hereinafter, referred to as a lesion finding group). Then, the weighting factor Wj used to derive the similarity between the test image V0 and the case image is calculated using only the findings classified into the lesion finding group. Specifically, the weight coefficient Wj for each area is calculated by the following equation (7).
  • Aj is the size of the region j
  • Pv1j is the finding occupancy of all the findings classified into the lesion finding group in the region j. Note that Aj may be set as the weight coefficient Wj, and Pv1ij may be set as the weight coefficient Wj.
  • the similarity deriving unit 26 calculates the similarity St between the test image V0 and the case image by the following equation (8) using the weight coefficient Wj calculated by the equation (7).
  • B0 is a value obtained by multiplying the size of the entire lung region by the finding occupancy of all the findings classified into the lesion finding group in the lung region.
  • the similarity deriving unit 26 sets the importance Ii for each finding by the following equation (9).
  • i is the type of finding classified as a lesion
  • fi is a function using the finding occupancy Pvi for each finding divided into lesions in each of the divided regions of the inspection image V0 as parameters. is there.
  • the number of digits of the volume value differs between the finding of the large size and the finding of the small size. For this reason, it is preferable to lower the dimension by, for example, converting the finding occupancy, which is three-dimensional information, into a two-dimensional equivalent using the function fi. As a result, the difference between the sizes of the findings matches the sensation of the doctor. For this reason, as described above, it is preferable that a finding of high importance even if the size is small is nonlinearly converted by the function fi in order to increase the importance. Therefore, in the present embodiment, the function fi is set as shown in the following equation (10).
  • Equation (10) a is a constant that determines the difference in overall importance for each finding.
  • c is a constant that takes a value of 1 or less and determines the effect of emphasizing small-sized findings.
  • b is a constant that determines the degree of the effect of the constant c.
  • X (Pvi) 2/3 By multiplying the finding occupancy Pv to the power of 2/3, the finding occupancy Pvi is converted from three dimensions to two dimensions.
  • the similarity deriving unit 26 sets the function shown in the expression (10) for each finding and applies the function to the expression (9) to thereby obtain the importance Iij for each finding classified into a lesion for each divided region. Set. Then, the similarity deriving unit 26 calculates the sum in the area of the importance Iij set in this way and multiplies the sum by the area size Aj as shown in the following equation (11). To calculate the weight coefficient W1j. Note that ⁇ Iij may be used as the weight coefficient W1j.
  • the similarity deriving unit 26 calculates the similarity St between the test image V0 and the case image by the following equation (12) using the weight coefficient W1j calculated by the equation (11).
  • B1 is a value obtained by multiplying the total size of the importance levels Iij of all the findings classified into the lesion finding group in the lung region by the size of the entire lung region.
  • the search unit 27 performs a search process of searching the case database DB for a case image similar to the inspection image V0 as a similar case image based on the similarity St. First, the case database DB will be described.
  • a plurality of case images composed of one or more case slice images are registered in the case database DB.
  • the finding classification result and the feature amount (that is, the second feature amount) for each of the plurality of case images are registered in association with each of the plurality of case images.
  • the inspection image V0 is newly acquired, the inspection image V0 is registered as a new case image in the case database DB.
  • the search unit 27 searches for a case image similar to the test image V0 as a similar case image based on the similarity St between the test image V0 and all the case images registered in the case database DB. Specifically, the search unit 27 sorts the case images in descending order of the similarity St to create a search result list.
  • FIG. 14 shows a search result list. As shown in FIG. 14, in the search result list L0, the case images registered in the case database DB are sorted in descending order of the similarity St. Then, the search unit 27 extracts, from the case database DB, similar case images of the predetermined number of case images having a higher sorting order in the search result list L0.
  • the display control unit 28 displays the search result by the search unit 27 on the display unit 14.
  • FIG. 15 shows a search result.
  • the search result 61 displays a labeled inspection image V1 and labeled similar case images R1 to R4. Although four similar case images R1 to R4 are displayed here, more similar case images may be displayed.
  • the inspection image V1 and the similar case images R1 to R4 are projection images projected by a predetermined projection method. Although only five types of labeling are shown in FIG. 15 for the purpose of explanation, labeling is actually performed according to the type of the classified finding.
  • inspection slice images 62 to 64 in three sections, an axial section, a sagittal section, and a coronal section are displayed.
  • case slice images in the same three sections are displayed.
  • the slice planes of the examination slice images 62 to 64 displayed below the examination image V1 and the case slice images displayed below the similar case images R1 to R4 can be switched by an operation from the input unit 15. is there.
  • FIG. 16 is a flowchart showing the processing performed in the first embodiment.
  • the image obtaining unit 21 obtains the inspection image V0 (Step ST1), and the region dividing unit 22 divides a lung region in the inspection image V0 into a plurality of regions (Step ST2).
  • FIG. 17 is a flowchart of the area dividing process.
  • the bronchial extraction unit 30 extracts a bronchial structure from the examination image V0 as a bronchial region (step ST11).
  • the first division unit 31 divides the lung region into a plurality of regions in the up-down direction based on the bronchial branch position (first division process; step ST12).
  • the second division unit 32 divides the lung region into a central region and a region outside the central region (second division processing; step ST13).
  • the third dividing unit 33 divides the lung region into an outer region and an inner region (third dividing process; step ST14).
  • the fourth dividing unit 34 divides the lung region into a dorsal region and a ventral region (a fourth dividing process; step ST15), and ends the region dividing process.
  • the finding classification unit 23 classifies each pixel of the lung region included in the inspection image V0 into at least one finding and generates a finding classification result (step ST3). Then, the feature amount calculation unit 24 calculates a first feature amount for each of the divided areas and for each finding classified in the inspection image V0 (step ST4). In addition, the region similarity deriving unit 25 is divided based on the first feature amount for each finding calculated in the test image V0 and the second feature amount for each finding previously calculated in the case image. A region similarity, which is a similarity between the test image V0 and the case image for each region, is derived (step ST5).
  • the similarity deriving unit 26 performs a weighting operation on a plurality of area similarities to derive the similarity between the test image V0 and the case image (step ST6). Note that, as described above, the similarity deriving unit 26 derives the similarity between the test image V0 and all the case images registered in the case database DB. Further, the search unit 27 performs a search process based on the similarity (step ST7), the display control unit 28 displays the search result on the display unit 14 (step ST8), and ends the process.
  • the lung region in the inspection image V0 is divided into a plurality of regions, and each pixel of the inspection image V0 is classified into at least one finding. Further, a first feature amount for each finding classified in the inspection image V0 is calculated for each of the divided areas. Then, based on the first feature amount for each finding calculated in the inspection image V0 and the second feature amount for each finding previously calculated in the case image, the inspection image V0 and the case The area similarity with the image is derived.
  • a weighting operation of a plurality of region similarities is performed by a weighting coefficient corresponding to at least one of the size of each divided region and the size of a specific finding included in each divided region, and the inspection image V0 and The similarity with the case image is derived.
  • the inspection is performed by appropriately weighting according to the position and distribution of the findings in the target area. The similarity between the image V0 and the case image can be appropriately determined.
  • the region similarity is derived for each of the 13 right and left regions obtained by the division by the region dividing unit 22, and the similarity between the test image V0 and the case image is derived.
  • the second embodiment is characterized in that the lung region is divided into a plurality of regions for each region pattern based on a plurality of types of region patterns different from each other, and the region similarity is derived for each region pattern. Is different from the embodiment.
  • the configuration of the similarity determination device according to the second embodiment is the same as the configuration of the similarity determination device according to the first embodiment, and only the processing to be performed is different. Omitted.
  • the lung region is divided by one region pattern as in the first embodiment.
  • the similarity between the test image V0 and the case image can be appropriately derived.
  • the test image V0 If no lesion exists in a region corresponding to the case image, the value of the similarity does not increase. As a result, it becomes impossible to search for a case image similar to the examination image V0.
  • a first division unit The pattern of the divided area obtained by performing only the first division processing by the first division processing unit 31 (hereinafter, referred to as a second area pattern), and the pattern of the divided area obtained by performing only the second division processing by the second division unit 32 (Hereinafter, referred to as a third region pattern), a pattern of a divided region obtained by performing only the third division process by the third division unit 33 (hereinafter, referred to as a fourth region pattern), and a fourth division unit 34
  • the area similarity is also derived from the pattern of the divided area obtained by performing only the fourth division processing (hereinafter, referred to as a fifth area pattern).
  • a state where the left and right lung regions 40L and 40R are not divided at all is also included in one of the region patterns (sixth region pattern).
  • the left and right lung regions 40L, 40R may be divided by two or more of these region patterns. It is. Note that one lung region has 13 lung regions by the first region pattern, 3 regions by the second region pattern, 2 regions by the third region pattern, 2 regions by the fourth region pattern, and 5th region. Is divided into two by the area pattern and one by the first area pattern. Therefore, when all of the first to sixth region patterns are used, 23 region similarities are derived in one lung region (46 in the left and right lungs).
  • the similarity deriving unit 26 calculates a weighting coefficient W2j for each area by the following equation (13) for the area similarity based on all the area patterns.
  • Iij is the importance of each finding classified as a lesion for each divided region
  • PWir is a weight coefficient for the finding i included in the region divided by the region pattern r. Therefore, the expression (13) calculates the sum in the area of the multiplication value of the value obtained by weighting the importance Iij of the finding for each of the divided areas by the weight coefficient PWir for the finding i corresponding to the area pattern, and Is multiplied by the size Aj of, the weight coefficient W2j is calculated.
  • the weight coefficient PWir is the area pattern weight coefficient.
  • w (Pwiir ⁇ Iij) may be used as the weight coefficient W2j.
  • FIG. 18 is a diagram illustrating an example of the weight coefficient PWir.
  • the first, second, and sixth are the first area pattern (single lung 13 divisions), the second area pattern (one lung three divisions), and the sixth area pattern (one lung one division), respectively. Is shown.
  • the weighting coefficient PWir for example, for a finding of a ground glass shadow included in a region divided by the first region pattern, 0.7 is set as the weighting coefficient PWir.
  • 0.3 is set as the weight coefficient PWir.
  • 0 is set as the weight coefficient PWir.
  • the weight coefficient W2j calculated by the equation (13) is also 0.
  • 0 is set as the weight coefficient PWir for the finding of a nodule shadow included in the region divided by the first region pattern.
  • 0.5 is set as the weight coefficient PWir.
  • 0.5 is set as the weight coefficient PWir.
  • the area similarity of the finely divided area is mainly adopted for the findings of the ground glass shadow and the reticulated shadow, For a nodular shadow finding, the area similarity for a roughly divided area is mainly used.
  • the similarity St between the test image V0 and the case image can be derived in consideration of the features of the local lesion and the diffuse lesion.
  • the similarity deriving unit 26 calculates the similarity St between the test image V0 and the case image by the following equation (14) using the weight coefficient W2j calculated by the equation (13). I do.
  • B3 is a value obtained by multiplying the total size of W2j for all findings classified into the lesion finding group in the lung region by the size of the entire lung region.
  • the weight coefficient PWir may be changeable.
  • the weighting factor PWir may be changeable according to whether the lesion to be noted in the inspection image V0 is local or diffuse. In this case, it is preferable that the weight coefficient PWir can be changed by an operator's change instruction from the input unit 15.
  • 19 and 20 are diagrams illustrating another example of the weight coefficient PWir.
  • the weight coefficient PWir shown in FIG. 19 has a value of 0 for the sixth region pattern for any finding. By using such a weighting factor PWir, a similar case image can be appropriately searched for when only a local lesion is observed in the inspection image V0.
  • the weight coefficient PWir shown in FIG. 20 has a value of 0 for the first area pattern for any finding.
  • the area similarity between the corresponding areas in the test image V0 and the case image is derived, but the present invention is not limited to this.
  • the corresponding area not only the corresponding area but also the area similarity to the area other than the corresponding area may be derived.
  • each pixel of the inspection image V0 a plurality of evaluation values indicating the possibility of being each of a plurality of types of findings are calculated, and the first evaluation value is calculated based on the plurality of evaluation values.
  • the finding classification method is not limited to a method using evaluation values.
  • case database DB is stored in the image storage server 3, but the case database DB may be stored in the storage 13.
  • the examination image is registered in the case database DB, but an image other than the examination image may be registered in the case database as a registration target image.
  • a processing unit processing unit that executes various processes
  • the following various processors can be used.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units
  • the above-described various processors include a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) or an ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuit etc. are included.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • the various processing units are configured using one or more of the above-described various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.
  • Similarity determination device 2 3D image capturing device 3 Image storage server 4 Network 11 CPU 12 memory 13 Storage 14 Display 15 Input section 21 Image acquisition unit 22 area division unit 23 Findings Classification Division 24 Feature Calculator 25 area similarity derivation unit 26 Similarity Derivation Unit 27 Search section 28 Display control unit 30 Bronchial extractor 31 1st division 32 Second division 33 Third Division 34 4th division 40L left lung area 40R right lung area 41 bronchi 50 Multilayer Neural Network 51 Input layer 52 Output layer 61 search results 62-64 inspection slice image B1, B31 Bronchial bifurcation DB Case database G1 Axial cross-sectional image G2 Coronal section image G3 sagittal section image L0 inspection list R1-R4 similar case images V0, V1 inspection image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

類似度決定装置、方法およびプログラムにおいて、画像に含まれる所見の位置および分布を考慮して適切に画像間の類似度を決定できるようにする。領域分割部２２が、第１の医用画像における対象領域を複数の領域に分割する。所見分類部２３が、第１の医用画像の各画素を少なくとも１つの所見に分類する。特徴量算出部２４が、所見毎に第１の特徴量を算出する。領域類似度導出部２５が、分割された領域毎に第１の医用画像と第２の医用画像との領域類似度を導出する。類似度導出部２６が、分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する。

Description

類似度決定装置、方法およびプログラム

　本開示は、２つの医用画像の類似度を決定する類似度決定装置、方法およびプログラムに関するものである。

　近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。

　一方、医療分野において、検査の対象となるＣＴ画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば非特許文１および特許文献１，２参照）。非特許文献１には、肺の症例画像を複数種類の組織または病変（以下組織または病変を所見と総称するものとする）をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。また、特許文献１，２には、画像の濃度ヒストグラム、濃度の平均または濃度の分散等の画像の特徴量とデータベースに登録された画像との特徴量を比較することにより、検査画像に類似する画像を検索する手法が提案されている。また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも一つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている（特許文献３参照）。

　ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（非特許文献２，３参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。

　また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。

ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。

　ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。

　このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれかに分類することが可能となる。

再公表２０１３－６５０９０号 特開２０１１－１１８５４３号公報 特開２０００－３４２５５８号公報

Case-based lung image categorization and retrieval　For interstitial lung diseases: clinical workflow、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011 Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7 コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌　第４１巻第２号、２０１４年８月

　非特許文献１および特許文献１～３に記載された手法を用いることにより、検査画像の肺に含まれる病変が類似する症例画像を検索することができる。一方、検査画像に含まれる所見は、その特徴に応じて特定の領域に発生しやすい傾向がある。このため、検査画像と症例画像との類似度を決定する際には、検査画像に含まれる対象臓器における所見の位置および分布を考慮することが重要となる。

　本開示は上記事情に鑑みなされたものであり、画像に含まれる所見の位置および分布を考慮して適切に画像間の類似度を決定できるようにすることを目的とする。

　本開示による類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、

　第１の医用画像における対象領域を複数の領域に分割する領域分割部と、

　第１の医用画像の各画素を少なくとも１つの所見に分類する所見分類部と、

　分割された領域毎に、第１の医用画像において分類された所見毎の第１の特徴量を算出する特徴量算出部と、

　第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、分割された領域毎に第１の医用画像と第２の医用画像との領域類似度を導出する領域類似度導出部と、

　分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する類似度導出部とを備える。

　なお、本開示による類似度決定装置においては、領域分割部は、互いに異なる複数種類の領域パターンに基づいて、対象領域を領域パターン毎の複数の領域に分割し、

　特徴量算出部は、領域パターン毎に、分割された領域毎の第１の特徴量を算出し、

　領域類似度導出部は、領域パターン毎に、分割された領域毎の領域類似度を導出し、

　類似度導出部は、複数種類の領域パターンについての領域類似度の重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出するものであってもよい。

　また、本開示による類似度決定装置においては、類似度導出部は、重み係数並びに所見の種類および領域パターンの種類に応じた領域パターン重み係数により、複数種類の領域パターンについての領域類似度の重み付け演算を行うものであってもよい。

　また、本開示による類似度決定装置においては、領域パターン重み係数の変更指示を受け付ける入力部をさらに備え、

　類似度導出部は、重み係数並びに変更された領域パターン重み係数により、重み付け演算を行うものであってもよい。

　また、本開示による類似度決定装置においては、特定の所見は病変の所見であってもよい。

　また、本開示による類似度決定装置においては、所見分類部は、複数種類の所見を分類するように機械学習がなされた判別器を有し、判別器により第１の医用画像の各画素を複数種類の所見の少なくとも１つに分類するものであってもよい。

　また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。

　また、本開示による類似度決定装置においては、類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えるものであってもよい。

　また、本開示による類似度決定装置においては、第１の医用画像および第２の医用画像が肺を含み、対象領域が肺領域である場合において、

　領域分割部は、肺領域から気管支を抽出し、気管支の位置を基準として、肺領域を複数の領域に分割するものであってもよい。

　また、本開示による類似度決定装置においては、領域分割部は、気管支の複数の分岐位置を特定し、分岐位置に基づいて肺領域を複数の領域に分割するものであってもよい。

　また、本開示による類似度決定装置においては、領域分割部は、分岐位置に基づいて、肺領域を上下方向に複数の領域に分割するものであってもよい。

　「上下方向」とは、医用画像を取得した被検体である患者の体軸方向を意味する。

　また、本開示による類似度決定装置においては、領域分割部は、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに、肺領域を分割するものであってもよい。

　また、本開示による類似度決定装置においては、領域分割部は、肺領域を外側領域と内側領域とにさらに分割するものであってもよい。

　また、本開示による類似度決定装置においては、領域分割部は、肺領域を背側領域と腹側領域とにさらに分割するものであってもよい。

　本開示による類似度決定方法は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、

　第１の医用画像における対象領域を複数の領域に分割し、

　第１の医用画像の各画素を少なくとも１つの所見に分類し、

　分割された領域毎に、第１の医用画像において分類された所見毎の第１の特徴量を算出し、

　第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、分割された領域毎に第１の医用画像と第２の医用画像との領域類似度を導出し、

　分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する。

　なお、本開示による類似度決定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

　本開示による他の類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、

　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、

　第１の医用画像における対象領域を複数の領域に分割し、

　第１の医用画像の各画素を少なくとも１つの所見に分類し、

　分割された領域毎に、第１の医用画像において分類された所見毎の第１の特徴量を算出し、

　第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、分割された領域毎に第１の医用画像と第２の医用画像との領域類似度を導出し、

　分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する処理を実行する。

　本開示によれば、対象領域内における所見の位置および分布に応じて適切に重み付けを行うことにより、第１の医用画像と第２の医用画像との類似度を適切に決定することができる。

本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による類似度決定装置の構成を示す概略ブロック図 領域分割部の構成を示す概略ブロック図 気管支領域におけるグラフ構造を肺領域と併せて示す図 第１分割部による第１分割処理を説明するための図 第２分割部による第２分割処理を説明するための図 第３分割部による第３分割処理を説明するための図 第４分割部による第４分割処理を説明するための図 第１分割部から第４分割部による肺領域の分割結果を模式的に示す図 多層ニューラルネットワークの一例を示す図 ある関心領域の中心画素についての所見の種類に応じた評価値を示す図 分類に応じた色が割り当てられたマッピング画像における一断面を示す図 所見の体積の算出結果を示す図 検索結果リストを示す図 検索結果を示す図 第１の実施形態において行われる処理を示すフローチャート 領域分割処理のフローチャート 領域パターンに応じた重み係数を示す図 領域パターンに応じた重み係数を示す図 領域パターンに応じた重み係数を示す図

　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による類似度決定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。

　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。なお、検査画像が第１の医用画像に、症例画像が第２の医用画像にそれぞれ対応する。

　類似度決定装置１は、１台のコンピュータに、本開示の類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

　図２は、コンピュータに類似度決定プログラムをインストールすることにより実現される本開示の実施形態による類似度決定装置の概略構成を示す図である。図２に示すように、類似度決定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、類似度決定装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボードおよびマウス等からなる入力部１５が接続されている。

　ストレージ１３は、ハードディスクおよびＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。

　また、メモリ１２には、類似度決定プログラムが記憶されている。類似度決定プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像における対象領域を複数の領域に分割する領域分割処理、検査画像の各画素を少なくとも１つの所見に分類する所見分類処理、分割された領域毎に、検査画像において分類された所見毎の第１の特徴量を算出する特徴量算出処理、検査画像において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量とに基づいて、分割された領域毎に検査画像と症例画像との領域類似度を導出する領域類似度導出処理、分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部１４に表示する表示制御処理を規定する。

　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、領域分割部２２、所見分類部２３、特徴量算出部２４、領域類似度導出部２５、類似度導出部２６、検索部２７および表示制御部２８として機能する。

　画像取得部２１は、検査の対象となる被検体の検査画像Ｖ０を取得する。なお、検査画像Ｖ０が既にストレージ１３に保存されている場合には、画像取得部２１は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。

　領域分割部２２は、検査画像における肺領域を複数の領域に分割する。以下、領域分割処理について詳細に説明する。図３は領域分割部２２の構成を示す概略ブロック図である。図３に示すように、領域分割部２２は、検査画像における肺領域から気管支領域を抽出する気管支抽出部３０、気管支の分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する第１分割部３１、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに肺領域を分割する第２分割部３２、肺領域を外側領域と内側領域とに分割する第３分割部３３、並びに肺領域を背側領域と腹側領域とに分割する第４分割部３４を有する。

　気管支抽出部３０は、検査画像Ｖ０から気管支の構造を気管支領域として抽出する。このために、気管支抽出部３０は、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。

　そして、気管支抽出部３０は、検査画像Ｖ０から抽出した肺領域に含まれる気管支領域のグラフ構造を、３次元の気管支領域として抽出する。気管支領域を抽出する手法としては、例えば特開２０１０－２２０７４２号公報等に記載された、ヘッセ行列を用いて気管支のグラフ構造を抽出し、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支領域を抽出する手法を用いることができる。なお、気管支領域を抽出する手法はこれに限定されるものではない。

　図４は、気管支抽出部３０が抽出した気管支領域におけるグラフ構造を肺領域と併せて示す図である。図４に示すように、左肺領域４０Ｌおよび右肺領域４０Ｒに、気管支のグラフ構造４１が含まれている。なお、グラフ構造４１において、気管支分岐を白丸にて示している。

　ここで、肺領域は解剖学的な肺区域で分割することが診断的に重要である。しかしながら、疾患が進行した症例では、肺区域の境界が不明瞭になるため、肺区域に基づいての領域分割は困難となる。このような状況において、仮に肺領域を上下方向に均等な体積となるように３分割した場合、疾患領域が拡張したり縮小したりすることによる領域サイズの変化が、分割した領域に均等に分散されるため、疾患領域を領域の特徴としてとらえることができない。ここで、肺領域に含まれる気管支は、上方主体へ向かう気管支、および下方主体へ向かう気管支と別れる。このため、気管支分岐位置を基準として肺領域を分割することにより、進行した疾患の肺領域内における部分的な変化をとらえやすくなる。

　このため、第１分割部３１は、気管支の分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する。具体的には、気管支第１分岐および気管支第３分岐を基準として、左右の肺領域を上、中、下の３つの領域に分割する。なお、本実施形態における気管支第１分岐とは、気管と左右気管支との分岐点に相当する。そして、本実施形態においては、気管支第１分岐から気管支末梢に向かうにつれて出現する分岐を、順次第２気管支分岐、第３気管支分岐…と称するものとする。図５は第１分割部３１による第１分割処理を説明するための図である。なお、気管支第３分岐は左右の肺領域のそれぞれに２つ存在する。第１分割部３１は、被検体の体軸方向下側に位置する気管支第３分岐を基準として、領域分割を行うものとする。図５に示すように、第１分割部３１は、気管支第１分岐Ｂ１において水平面４２を設定し、左右の肺領域４０Ｌ，４０Ｒにおける下側の気管支第３分岐Ｂ３１にそれぞれ水平面４３Ｌ，４３Ｒを設定する。なお、図５は肺領域を２次元で示しているが、検査画像Ｖ０は３次元画像であるため、実際には上述したように水平面を設定することとなる。ここで、水平面とは、検査画像Ｖ０を取得した被検体の体軸に垂直に交わる面を意味する。

　第１分割部３１は、左肺領域４０Ｌを、水平面４２と左肺領域４０Ｌの上端との間の左上肺領域４０ＬＵ、水平面４２と水平面４３Ｌとの間の左中肺領域４０ＬＭ、および水平面４３Ｌと左肺領域４０Ｌの下端との間の左下肺領域４０ＬＬの３つの領域に分割する。

また、第１分割部３１は、右肺領域４０Ｒを、水平面４２と右肺領域４０Ｒの上端との間の右上肺領域４０ＲＵ、水平面４２と水平面４３Ｒとの間の右中肺領域４０ＲＭ、および水平面４３Ｌと右肺領域４０Ｒの下端との間の右下肺領域４０ＲＬの３つの領域に分割する。

　また、肺門部付近の肺の中枢領域は大きな気管支および血管が存在するため、検査画像Ｖ０と症例画像との類似度を決定するに際しては、肺胞が主体となる他の領域とは区別した方が好ましい。肺の中枢領域も疾患による全体的な肺の縮小および位置の偏りが生じるため、気管支の分岐点を基準とすることが好ましい。

　第２分割部３２は、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに肺領域を分割する。具体的には、左右の肺領域４０Ｌ，４０Ｒにおいて、気管支第３分岐を中心として特定の半径を有する球領域を設定する。図６は第２分割部３２による第２分割処理を説明するための図である。なお、気管支第３分岐は左右の肺領域のそれぞれに２つ存在する。第２分割部３２は左右の肺領域４０Ｌ，４０Ｒにおける２つの気管支第３分岐Ｂ３１，Ｂ３２のそれぞれにおいて、特定の半径を有する球領域を設定する。すなわち、第２分割部３２は、図６に示すように、左肺領域４０Ｌに関して、下側の気管支第３分岐Ｂ３１を中心とする球領域４４Ｌ１および上側の気管支第３分岐Ｂ３２を中心とする球領域４４Ｌ２を設定する。また、第２分割部３２は、右肺領域４０Ｒに関して、下側の気管支第３分岐Ｂ３１を中心とする球領域４４Ｒ１および上側の気管支第３分岐Ｂ３２を中心とする球領域４４Ｒ２を設定する。

　なお、球領域の半径は、気管支第３分岐Ｂ３１，Ｂ３２から、左右の肺領域の左右の端部までの距離に応じて設定すればよい。例えば、球領域の半径を、当該距離に対する０．５～０．６５倍とすればよい。ここで、図６に示す右肺領域４０Ｒにおいて、気管支第３分岐Ｂ３１から右肺領域４０Ｒの右端までの距離の方が、気管支第３分岐Ｂ３２から右肺領域４０Ｒの右端までの距離よりも大きい。このため、球領域の半径は、球領域４４Ｒ１＞球領域４４Ｒ２となる。一方、図６に示す左肺領域４０Ｌにおいて、気管支第３分岐Ｂ３１，Ｂ３２のそれぞれから左肺領域４０Ｌの左端までの距離は略同一である。このため、球領域の半径は、球領域４４Ｌ１と球領域４４Ｌ２とで略同一となる。

　そして、第２分割部３２は、左肺領域４０Ｌを、球領域４４Ｌ１および球領域４４Ｌ２からなる左中枢領域４４ＬＣと、左中枢領域４４ＬＣ以外の領域４４ＬＯとに分割する。

また、右肺領域４０Ｒを、球領域４４Ｒ１と球領域４４Ｒ２とからなる右中枢領域４４ＲＣと、右中枢領域４４ＲＣ以外の領域４４ＲＯとに分割する。なお、領域４４Ｌ０および領域４４ＲＯが肺胞が主体の領域となる。

　第３分割部３３は、肺領域を外側領域と内側領域とに分割する。ここで、第３分割部３３は、第２分割部３２により分割された領域４４ＬＯおよび領域４４ＲＯのみを、外側領域と内側領域とに分割する。図７は第３分割部３３による第３分割処理を説明するための図である。なお、図７にはアキシャル面の断層画像Ｇ１、サジタル面の断層画像Ｇ２およびコロナル面の断層画像Ｇ３を示している。第３分割部３３は、胸膜から肺領域の体積で５０～６０％となる外側領域と、それ以外の内側領域とに肺領域を分割する。具体的には、第３分割部３３は、左肺領域４０Ｌを、外側領域４０Ｌｅｘおよび内側領域４０Ｌｉｎに分割し、右肺領域４０Ｒを、外側領域４０Ｒｅｘおよび内側領域４０Ｒｉｎに分割する。

　なお、第３分割部３３により、第１分割部３１により分割された、左上肺領域４０ＬＵ、左中肺領域４０ＬＭ、左下肺領域４０ＬＬ、右上肺領域４０ＲＵ、右中肺領域４０ＲＭおよび右下肺領域４０ＲＬのそれぞれが、外側領域と内側領域とに分割される。

　第４分割部３４は、肺領域を背側領域と腹側領域とに分割する。ここで、第４分割部３４は、第２分割部３２により分割された領域４４ＬＯおよび領域４４ＲＯのみを、背側領域と腹側領域とに分割する。図８は第４分割部３４による第４分割処理を説明するための図である。なお、図８にはアキシャル面の断層画像Ｇ１およびサジタル面の断層画像Ｇ２を示している。第４分割部３４は、肺領域の体積を２等分するコロナル面を基準として、肺領域を背側領域と腹側領域とに分割する。具体的には、第４分割部３４は、左肺領域４０Ｌに基準となるコロナル断面４６Ｌを設定し、コロナル断面４６Ｌを基準として、左肺領域４０Ｌを背側領域４０ＬＢおよび腹側領域４０ＬＦに分割する。また、第４分割部３４は、右肺領域４０Ｒに基準となるコロナル断面４６Ｒを設定し、コロナル断面４６Ｒを基準として、右肺領域４０Ｒを背側領域４０ＲＢおよび腹側領域４０ＲＦに分割する。

　なお、第４分割部３４により、第３分割部３３により分割された、左上肺領域４０ＬＵ、左中肺領域４０ＬＭ、左下肺領域４０ＬＬ、右上肺領域４０ＲＵ、右中肺領域４０ＲＭおよび右下肺領域４０ＲＬのそれぞれの外側領域と内側領域とが、さらに背側領域と腹側領域とに分割される。

　図９は第１分割部３１から第４分割部３４による肺領域の分割結果を模式的に示す図である。図９における上側の図は肺領域のアキシャル断面を、下側の図はコロナル断面を閉めず。また、図９には左中枢領域４０ＬＣおよび右中枢領域４０ＲＣのみ符号を付与し、分割により取得された他の領域は符号を省略している。第１分割部３１から第４分割部３４による分割によって、左右の肺領域はそれぞれ１３の領域に分割される。

　なお、領域分割部２２による肺領域の分割は上述した第１～第４の分割に限定されるものではない。例えば、肺の疾患の１つである間質性肺炎は、気管支および血管の周囲に病変部が広がる場合がある。このため、肺領域において気管支領域および血管領域を抽出し、気管支領域および血管領域の周囲の予め定められた範囲の領域とそれ以外の領域とに、肺領域を分割してもよい。なお、予め定められた範囲としては、気管支および血管の表面から１ｃｍ程度の範囲の領域とすることができる。

　所見分類部２３は、検査画像Ｖ０に含まれる肺領域の各画素を少なくとも１つの所見に分類する。具体的には、所見分類部２３は、検査画像Ｖ０に含まれる肺領域の画素毎に、複数種類の組織または病変（すなわち所見）のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する。本実施形態においては、所見分類部２３は、検査画像Ｖ０の各画素を１つの所見に分類するものとする。

　本実施形態の所見分類部２３は、機械学習の１つであるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、検査画像Ｖ０の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。

　多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。

　なお、本実施形態においては、多層ニューラルネットワークを、検査画像Ｖ０を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、検査画像Ｖ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。

　図１０は多層ニューラルネットワークの一例を示す図である。図１０に示すように多層ニューラルネットワーク５０は、入力層５１および出力層５２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、点状影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、血管、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。

　本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク５０に学習させる。学習の際には、所見の種類が既知の断面画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク５０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク５０の各層に含まれるユニット（図１０に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。

　なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク５０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。

　所見分類部２３は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域の抽出は、上述した気管支抽出部３０と同様に行えばよい。また、所見分類部２３において、気管支抽出部３０が抽出した肺領域を用いてもよい。

　所見分類部２３は、所見分類処理を行う際に、検査画像Ｖ０の肺領域から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク５０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。

　図１１は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、図１１においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、図１１に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、図１１に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の８．５である網状影に分類される。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。

　このように、所見分類部２３は、多層ニューラルネットワーク５０に入力された関心領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれかに分類される。

　所見分類部２３は、所見分類処理の結果に基づいて、検査画像Ｖ０における各分類の領域に色を割り当てることによってマッピング画像を生成する。具体的には、所見分類部２３は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図１２は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、図１２においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。

なお、後述する表示制御部２８によりマッピング画像を表示部１４に表示してもよい。マッピング画像を表示部１４に表示する際には、図１２に示すように、３次元のマッピング画像における任意の断面の断面画像を表示すればよい。しかしながら、これに限らず、３次元のマッピング画像を表示部１４に表示してもよい。

　特徴量算出部２４は、検査画像Ｖ０において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。なお、検査画像Ｖ０について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。

　なお、上述した症例データベースＤＢには、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースＤＢに登録されている特徴量を第２の特徴量と称するものとする。第１の特徴量および第２の特徴量は０以上１以下の値となるように正規化される。また、検査画像Ｖ０について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。その際、その検査画像Ｖ０についての評価値および第１の特徴量が、新たな症例画像の評価値および第２の特徴量として症例データベースＤＢに登録される。

　領域類似度導出部２５は、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量とに基づいて、分割された領域毎に、検査画像Ｖ０と症例画像との類似度である領域類似度を導出する。なお、領域類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との対応する領域毎に領域類似度を導出するものである。

　このために、領域類似度導出部２５は、検査画像Ｖ０について算出された第１の特徴量を０以上１以下の値に正規化する。そして、下記の式（１）に示すように、分割された各領域において、所見毎に、第１の特徴量と症例画像の第２の特徴量との距離の差を特徴量の差Ｄｄｉとして算出する。なお、式（１）において、ｉは所見の種類を、ｋは特徴量の種類、Ｔｖｋは検査画像Ｖ０における種類毎の第１の特徴量を、Ｔｃｋは症例画像における種類毎の第２の特徴量を表す。なお、差分が算出される第１の特徴量と第２の特徴量とは特徴量の種類は同一である。また、式（１）においてΣはすべての種類の特徴量についての（Ｔｖｋ－Ｔｃｋ）2の総和を求めることを表す。なお、第１の特徴量および第２の特徴量は０以上１以下の値に正規化されているため、特徴量の差Ｄｄｉも０以上１以下の値となる。また、第１の特徴量Ｔｖｋと第２の特徴量Ｔｃｋとが一致する場合、特徴量の差Ｄｄｉは０となる。なお、第１の特徴量と第２の特徴量との距離の差に代えて、第１の特徴量と第２の特徴量との差の絶対値等を用いてもよい。

　Ｄｄｉ＝√（Σ（Ｔｖｋ－Ｔｃｋ）2）　　（１）

　そして、領域類似度導出部２５は、検査画像Ｖ０と症例画像との領域類似度Ｓｊ０を下記の式（２）により算出する。すなわち、分割された各領域において、所見毎に特徴量の差Ｄｄｉをすべての所見について加算することにより、領域類似度Ｓｊ０を算出する。式（２）において、ｊは分割された領域の種類を表す。なお、式（２）を用いて領域類似度Ｓｊ０を算出した場合、第１の特徴量と第２の特徴量との距離が小さいほど、検査画像Ｖ０と症例画像との対応する領域が類似することとなる。このため、式（２）には負号を付与し、検査画像Ｖ０と症例画像とが類似するほど、領域類似度Ｓｊ０の値が大きくなるようにしている。

　Ｓｊ０＝－ΣＤｄｉ　　（２）

　一方、上記式（２）により領域類似度Ｓｊ０を算出した場合、同一の所見が同一のサイズであれば、領域類似度Ｓｊ０は０となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式（２）により領域類似度Ｓｊ０を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違がなく、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。

　したがって、検査画像Ｖ０および症例画像の分割された領域に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど領域類似度を大きくすることが好ましい。このため、本実施形態においては、領域類似度導出部２５は、以下の式（３）により、検査画像Ｖ０と症例画像との間において、分割された各領域において所見毎のサイズの差Ｄｓｉをさらに算出する。なお、式（３）において、分割された各領域におけるＰｖｉは検査画像Ｖ０の所見ｉの所見占有率、Ｐｃｉは症例画像の所見ｉの所見占有率を示す。

　Ｄｓｉ＝１－｜Ｐｖｉ－Ｐｃｉ｜／（Ｐｖｉ＋Ｐｃｉ）　　（３）

　したがって、領域類似度導出部２５は、下記の式（４）により検査画像Ｖ０と症例画像との領域類似度Ｓｊ１を算出することが好ましい。ここで、Ｄｄｉは検査画像Ｖ０および症例画像の分割された各領域において所見の特徴量が類似するほど値が小さくなり、Ｄｓｉは検査画像Ｖ０および症例画像の分割された各領域において所見のサイズが類似するほど大きい値となる。このため、式（４）を用いることにより、同一の所見についてのサイズを考慮して、検査画像Ｖ０と症例画像との対応する領域が類似するほど大きい値となる領域類似度Ｓｊ１を算出することができる。

　Ｓｊ１＝Σ（Ｄｓｉ－Ｄｄｉ）　　（４）

　ここで、所見占有率は下記のように算出する。まず、領域類似度導出部２５は、分割された各領域において、各所見ｉの体積を算出する。所見の体積は各領域に含まれる各所見の画素数に対して検査画像Ｖ０の１ボクセル当たりの体積を乗算することにより算出することができる。図１３に所見の体積の算出結果を示す。図１３においては体積の単位は立方ミリメートルである。そして、領域類似度導出部２５は、所見の体積を各領域の体積により正規化して所見占有率（＝所見体積／肺体積）を算出する。なお、所見占有率をサイズ特徴量として第１の特徴量に含めて、特徴量算出部２４において算出するようにしてもよい。

　なお、式（４）により領域類似度Ｓｊ１を算出した場合、検査画像Ｖ０における分割された各領域に応じて領域類似度Ｓｊ１の最大値が異なるものとなる。このため、検査画像Ｖ０と症例画像との対応する領域間の領域類似度Ｓｊ１が最大となる条件、すなわち検査画像Ｖ０と症例画像との対応する領域間に差異が無いという条件により領域類似度Ｓｊ１を正規化することが好ましい。式（５）は式（４）により算出した領域類似度Ｓ１を、検査画像Ｖ０と症例画像との対応する領域間の領域類似度Ｓｊ１が最大となる条件Ｓｊｍａｘにより正規化したものである。式（５）においてＳｊ２は正規化した領域類似度である。

　Ｓｊ２＝Ｓｊ１／Ｓｊｍａｘ＝Σ（Ｄｓｉ－Ｄｄｉ）／Ｓｊｍａｘ　　（５）

　なお、式（２）により領域類似度を算出する場合も、領域類似度Ｓｊ０を正規化することが好ましい。式（６）は式（２）を検査画像Ｖ０と症例画像との対応する領域間の領域類似度Ｓｊ０が最大となる条件により正規化したものである。式（６）においてＳｊ３は正規化した領域類似度である。

　Ｓｊ３＝Ｓｊ０／Ｓｊｍａｘ＝ΣＤｓｉ／Ｓｊｍａｘ　　（６）

　類似度導出部２６は、分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する。なお、類似度導出部２６は領域類似度Ｓｊ２を用いて、検査画像Ｖ０と症例画像との類似度を導出するものとする。

　ここで、肺疾患における肺線維症等では、肺下側優位および胸膜直下優位に網状影および蜂窩肺所見が生じやすい、逆に一般的な細菌性肺炎の初期は、胸膜直下には生じず、内部側からすりガラス影および浸潤影が進展する。また、誤嚥性肺炎等は肺の背側に起きやすい。このように肺疾患には、疾患毎に肺における発症位置が特徴的なものがある。このような発症位置の特徴を考慮して、検査画像Ｖ０と症例画像との類似度を導出するためには、分割した領域毎に導出した領域類似度Ｓｊ２を全領域において加算することにより、疾病の発症位置の類似性を考慮して、検査画像Ｖ０と症例画像との類似度を導出することができる。

　しかしながら、上述したように領域分割部２２により分割された領域のサイズは、領域毎に異なる。領域のサイズに依存することなく、類似度を導出するためには、分割された領域のサイズにより領域類似度Ｓｊ２を重み付けすればよい。また、医学的に重要な領域等があり、そのような重要な領域に対しては重みを大きくすることが好ましい。

　さらに、一般的には病変を主体に類似度を導出して症例画像の検索を行うものである。

このため、病変が存在する領域が重要な領域であり、検査画像Ｖ０の分割された各領域における病変の大きさを、肺の全域内の病変の大きさにより正規化し、これにより取得される病変割合に対応した重み付けを領域類似度Ｓｊ２に対して行うことにより、病変を重要視して検査画像Ｖ０と症例画像との類似度を導出することができる。また、このように類似度を導出することにより、医師が所望する症例画像を検索できる。

　例えば、肺領域を１０個の領域に分割したとする。分割された１０個の領域のうち、９個の領域は正常な状態にあり、１個の領域に病変が存在したとする。このような場合、１０個の領域のそれぞれにおいて導出した領域類似度がすべて０．９の場合、すべての領域を同等に評価すると、検査画像Ｖ０と症例画像との類似度は９．０となる。一方、１０個の領域のうちの正常な状態にある９個の領域おいて導出した領域類似度がすべて１．０であり、病変が存在する領域において導出した領域類似度が０の場合、すべての領域を同等に評価すると、検査画像Ｖ０と症例画像との類似度は、１０個の領域のそれぞれにおいて導出した領域類似度がすべて０．９の場合と同一の９．０となる。したがって、病変が存在する領域の領域類似度の重みを大きくし、正常な領域の領域類似度の重みを小さくすることにより、病変が存在する領域を考慮した類似度を導出することができる。

　このため、本実施形態においては、類似度導出部２６は、複数種類の所見を、正常肺および気腫傾向等の背景となる所見グループ（以下、背景所見グループとする）、並びに点状影、すりガラス影および浸潤影等の病変となる所見グループ（以下、病変所見グループとする）に分類する。そして、検査画像Ｖ０と症例画像との類似度を導出するに際して使用する重み係数Ｗｊを、病変所見グループに分類される所見のみを用いて算出する。具体的には、下記の式（７）により、領域毎の重み係数Ｗｊを算出する。式（７）において、Ａｊは領域ｊのサイズ、Ｐｖ１ｊは領域ｊにおける病変所見グループに分類されたすべての所見についての所見占有率である。なお、Ａｊを重み係数Ｗｊとしてもよく、Ｐｖ１ｉｊを重み係数Ｗｊとしてもよい。

　Ｗｊ＝Ａｊ×Ｐｖ１ｉｊ　　（７）

　類似度導出部２６は、式（７）により算出した重み係数Ｗｊを用いて、下記の式（８）により検査画像Ｖ０と症例画像との類似度Ｓｔを算出する。式（８）においてＢ０は肺領域全体のサイズに肺領域内の病変所見グループに分類されたすべての所見についての所見占有率を乗算した値である。

　Ｓｔ＝Σ（Ｗｊ×Ｓｊ２）／Ｂ０　　（８）

　一方、病変となる所見についても所見の種類に応じて重要度が異なる。このため、所見の重要度を考慮して類似度を導出することが好ましい。このため、類似度導出部２６は、下記の式（９）により所見毎の重要度Ｉｉを設定する。なお、式（９）において、ｉは病変に分類される所見の種類、ｆｉは検査画像Ｖ０の分割された各領域における病変に分ついされた所見毎の所見占有率Ｐｖｉをパラメータとする関数である。

　Ｉｉ＝ｆｉ（Ｐｖｉ）　　（９）

　ここで、図１３に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、３次元の情報である所見占有率を関数ｆｉにより２次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数ｆｉにより非線形に変換することが好ましい。このため、本実施形態においては、関数ｆｉを下記の式（１０）に示すように設定する。

　ｆｉ＝ａ・（ｂ・Ｘ＋（１－ｂ）・Ｘc）　　（１０）

　なお、式（１０）において、ａは所見毎の全体的な重要性の違いを決定する定数である。ｃは１以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。ｂは定数ｃによる効果の程度を決定する定数である。また、Ｘ＝（Ｐｖｉ）2/3 である。所見占有率Ｐｖを２／３乗することにより、所見占有率Ｐｖｉを３次元から２次元相当に変換することとなる。

　類似度導出部２６は、式（１０）に示す関数を所見毎に設定して式（９）に適用することにより、分割された領域毎に病変に分類された所見のそれぞれについての重要度Ｉｉｊを設定する。そして、類似度導出部２６は、下記の式（１１）に示すように、このようにして設定された重要度Ｉｉｊの領域内においての総和を算出し、これに領域のサイズＡｊを乗算することにより、重み係数Ｗ１ｊを算出する。なお、ΣＩｉｊを重み係数Ｗ１ｊとしてもよい。

　Ｗ１ｊ＝Ａｊ×ΣＩｉｊ　　（１１）

　そして、類似度導出部２６は、式（１１）により算出した重み係数Ｗ１ｊを用いて、下記の式（１２）により検査画像Ｖ０と症例画像との類似度Ｓｔを算出する。式（１２）においてＢ１は、肺領域内の病変所見グループに分類されたすべての所見についての重要度Ｉｉｊの総和を、肺領域全体のサイズに乗算した値である。

　Ｓｔ＝Σ（Ｗ１ｊ×Ｓｊ２）／Ｂ１　　（１２）

　検索部２７は、症例データベースＤＢから、類似度Ｓｔに基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する検索処理を行う。まず、症例データベースＤＢについて説明する。

　症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、特徴量（すなわち第２の特徴量）が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像Ｖ０が新たに取得されると、検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。

　検索部２７は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度Ｓｔに基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する。具体的には、検索部２７は、類似度Ｓｔが大きい順に症例画像をソートして検索結果リストを作成する。図１４は検索結果リストを示す図である。図１４に示すように、検索結果リストＬ０には、症例データベースＤＢに登録された症例画像が、類似度Ｓｔが大きい順にソートされている。そして、検索部２７は、検索結果リストＬ０におけるソート順が上位所定数の症例画像を、症例データベースＤＢから類似症例画像として抽出する。

　表示制御部２８は、検索部２７による検索結果を表示部１４に表示する。図１５は検索結果を示す図である。図１５に示すように、検索結果６１には、ラベリングされた検査画像Ｖ１およびラベリングされた類似症例画像Ｒ１～Ｒ４が表示されている。なお、ここでは４つの類似症例画像Ｒ１～Ｒ４を表示しているが、さらに多くの類似症例画像を表示してもよい。

　図１５において、検査画像Ｖ１および類似症例画像Ｒ１～Ｒ４は予め定められた投影方法により投影された投影画像となっている。なお、図１５においては説明のために５種類のラベリングのみを示しているが、実際には分類された所見の種類に応じたラベリングがなされている。検査画像Ｖ１の下方には、アキシャル断面、サジタル断面およびコロナル断面の３つの断面における検査スライス画像６２～６４が表示されている。また、類似症例画像Ｒ１～Ｒ４の下方にも、同様の３つの断面における症例スライス画像が表示されている。また、検査画像Ｖ１の下方に表示された検査スライス画像６２～６４および類似症例画像Ｒ１～Ｒ４の下方に表示された症例スライス画像のスライス面は、入力部１５からの操作により切り替えることが可能である。

　次いで、第１の実施形態において行われる処理について説明する。図１６は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、検査画像Ｖ０を取得し（ステップＳＴ１）、領域分割部２２が、検査画像Ｖ０における肺領域を複数の領域に分割する（ステップＳＴ２）。

　図１７は領域分割処理のフローチャートである。領域分割処理においては、気管支抽出部３０が、検査画像Ｖ０から気管支の構造を気管支領域として抽出する（ステップＳＴ１１）。次いで、第１分割部３１が、気管支の分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する（第１の分割処理；ステップＳＴ１２）。また、第２分割部３２が、肺領域を中枢領域と中枢領域外の領域とに分割する（第２の分割処理；ステップＳＴ１３）。また、第３分割部３３が、肺領域を外側領域と内側領域とに分割する（第３の分割処理；ステップＳＴ１４）。そして、第４分割部３４が、肺領域を背側領域と腹側領域とに分割し（第４の分割処理；ステップＳＴ１５）、領域分割処理を終了する。

　図１６に戻り、所見分類部２３は、検査画像Ｖ０に含まれる肺領域の各画素を少なくとも１つの所見に分類して所見分類結果を生成する（ステップＳＴ３）。そして、特徴量算出部２４が、分割された領域毎に、かつ検査画像Ｖ０において分類された所見毎に第１の特徴量を算出する（ステップＳＴ４）。また、領域類似度導出部２５が、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量とに基づいて、分割された領域毎の検査画像Ｖ０と症例画像との類似度である領域類似度を導出する（ステップＳＴ５）。さらに、類似度導出部２６が、複数の領域類似度の重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する（ステップＳＴ６）。なお、上述したように、類似度導出部２６は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。さらに、検索部２７が、類似度に基づいて検索処理を行い（ステップＳＴ７）、表示制御部２８が検索結果を表示部１４に表示し（ステップＳＴ８）、処理を終了する。

　このように、本実施形態によれば、検査画像Ｖ０における肺領域が複数の領域に分割され、検査画像Ｖ０の各画素が少なくとも１つの所見に分類される。また、分割された領域毎に、検査画像Ｖ０において分類された所見毎の第１の特徴量が算出される。そして、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量とに基づいて、分割された領域毎に検査画像Ｖ０と症例画像との領域類似度が導出される。さらに、分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算が行われて、検査画像Ｖ０と症例画像との類似度が導出される。本実施形態によれば、このように、分割された領域毎の領域類似度の重み付け演算を行っているため、対象領域内における所見の位置および分布に応じて適切に重み付けを行うことにより、検査画像Ｖ０と症例画像との類似度を適切に決定することができる。

　次いで、本開示の第２の実施形態について説明する。上記第１の実施形態においては、領域分割部２２が分割することにより得られる左右それぞれ１３の領域について領域類似度を導出して、検査画像Ｖ０と症例画像との類似度を導出している。第２の実施形態においては、互いに異なる複数種類の領域パターンに基づいて、肺領域を領域パターン毎の複数の領域に分割し、領域パターン毎に領域類似度を導出するようにした点が第１の実施形態と異なる。なお、第２の実施形態による類似度決定装置の構成は、第１の実施形態による類似度決定装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。

　ここで、肺における疾患の発症位置が、疾患に特徴的な位置であり、かつ比較的広範囲に及ぶ場合は、上記第１の実施形態のように、１つの領域パターンにより肺領域を分割しても、検査画像Ｖ０と症例画像との類似度を適切に導出できる。しかしながら、腫瘤性病変等の局所的に発症し、かつ肺領域内の様々な位置に発症する病変の場合、検査画像Ｖ０と症例画像との双方に病変が存在していても、検査画像Ｖ０と症例画像との対応する領域に病変が存在しないと、類似度の値は大きくならない。その結果、検査画像Ｖ０に類似する症例画像を検索できなくなってしまう。

　一般的に局所的に発症する局所的病変とびまん性の病変とは特徴が異なる。したがって、これらの病変は異なる所見に分類される。例えば、すりガラス影および網状影等の所見はびまん性病変であり、結節影等の所見は局所的病変である。びまん性病変に分類される所見の場合は、肺領域をより細かく分割した領域毎の領域類似度を導出することにより、検査画像Ｖ０と症例画像との類似度を適切に導出できる。一方、局所的病変に分類される所見の場合は、肺領域を粗く分割した領域毎の領域類似度を導出することにより、検査画像Ｖ０と症例画像との類似度を適切に導出できる。

　このため、第２の実施形態においては、第１の実施形態のように左右の肺領域のそれぞれを１３の領域に分割する領域パターン（以下第１領域パターンとする）の他、第１分割部３１による第１分割処理のみを行うことにより取得される分割領域のパターン（以下第２領域パターンとする）、第２分割部３２による第２分割処理のみを行うことにより取得される分割領域のパターン（以下第３領域パターンとする）、第３分割部３３による第３の分割処理のみを行うことにより取得される分割領域のパターン（以下第４領域パターンとする）、および第４分割部３４による第４の分割処理のみを行うことにより取得される分割領域のパターン（以下第５領域パターンとする）によっても領域類似度を導出する。

なお、第２の実施形態においては、左右の肺領域４０Ｌ，４０Ｒの全く分割しない状態も、領域パターンの１つに含めるものとする（第６の領域パターン）。

　ここで、第２の実施形態においては、第１～第６の領域パターンのすべてを用いる必要はなく、これらのうちの２以上の領域パターンにより左右の肺領域４０Ｌ，４０Ｒを分割すればよいものである。なお、片方の肺領域は、第１の領域パターンにより１３個に、第２の領域パターンにより３個に、第３の領域パターンにより２個に、第４の領域パターンにより２個に、第５の領域パターンにより２個に、第１の領域パターンにより１個に分割されることとなる。このため、第１～第６の領域パターンのすべてを用いた場合、領域類似度は片方の肺領域で２３個（左右の肺で４６個）導出されることとなる。

　第２の実施形態においては、類似度導出部２６は、すべての領域パターンに基づく領域類似度に対して、以下の式（１３）により領域毎の重み係数Ｗ２ｊを算出する。式（１３）において、Ｉｉｊは分割された領域毎に病変に分類された所見のそれぞれについての重要度であり、ＰＷｉｒは領域パターンｒにより分割された領域に含まれる所見ｉに対する重み係数である。したがって、式（１３）は、分割された領域毎の所見の重要度Ｉｉｊを領域パターンに応じた所見ｉに対する重み係数ＰＷｉｒにより重み付けした値の乗算値の領域内の総和を算出し、これに領域のサイズＡｊを乗算することにより、重み係数Ｗ２ｊを算出することとなる。なお、重み係数ＰＷｉｒが領域パターン重み係数である。また、Σ（Ｐｗｉｒ×Ｉｉｊ）を重み係数Ｗ２ｊとしてもよい。

　Ｗ２ｊ＝Ａｊ×Σ（Ｐｗｉｒ×Ｉｉｊ）　　（１３）

　図１８は重み係数ＰＷｉｒの例を示す図である。なお、図１８において第１、第２および第６はそれぞれ第１の領域パターン（片肺１３分割）、第２の領域パターン（片肺３分割）および第６の領域パターン（片肺１分割）を示す。図１８に示すように、例えば第１の領域パターンにより分割された領域に含まれるすりガラス影の所見に対しては、重み係数ＰＷｉｒとして０．７が設定される。また、第２の領域パターンにより分割された領域に含まれるすりガラス影の所見に対しては、重み係数ＰＷｉｒとして０．３が設定される。また、第６の領域パターンにより分割された領域に含まれるすりガラス影の所見に対しては、重み係数ＰＷｉｒとして０が設定される。重み係数ＰＷｉｒが０ということは式（１３）により算出される重み係数Ｗ２ｊも０となる。一方、第１の領域パターンにより分割された領域に含まれる結節影の所見に対しては、重み係数ＰＷｉｒとして０が設定される。また、第２の領域パターンにより分割された領域に含まれる結節影の所見に対しては、重み係数ＰＷｉｒとして０．５が設定される。また、第６の領域パターンにより分割された領域に含まれる結節影の所見に対しては、重み係数ＰＷｉｒとして０．５が設定される。

　したがって、図１８に示す重み係数ＰＷｉｒを採用することにより、類似度Ｓｔの導出に際して、すりガラス影および網状影の所見に対しては、細かく分割された領域についての領域類似度が主に採用され、結節影の所見に対しては、粗く分割された領域についての領域類似度が主に採用されることとなる。これにより、局所的病変およびびまん性の病変の特徴を考慮して、検査画像Ｖ０と症例画像との類似度Ｓｔを導出することができる。

　そして、第２の実施形態において、類似度導出部２６は、式（１３）により算出した重み係数Ｗ２ｊを用いて、下記の式（１４）により検査画像Ｖ０と症例画像との類似度Ｓｔを算出する。式（１４）においてＢ３は、肺領域内の病変所見グループに分類されたすべての所見についてのＷ２ｊの総和を、肺領域全体のサイズに乗算した値である。

　Ｓｔ＝Σ（Ｗ２ｊ×Ｓｊ２）／Ｂ３　　（１４）

　なお、上記第２の実施形態においては、重み係数ＰＷｉｒを変更可能なものとしてもよい。例えば、検査画像Ｖ０において注目される病変が局所的なものであるかびまん性のものであるかに応じて、重み係数ＰＷｉｒを変更可能なものとしてもよい。この場合、操作者による入力部１５からの変更指示により、重み係数ＰＷｉｒを変更可能なものとすることが好ましい。図１９および図２０は、重み係数ＰＷｉｒの他の例を示す図である。図１９に示す重み係数ＰＷｉｒは、いずれの所見に対しても第６の領域パターンに対して値が０となる。このような重み係数ＰＷｉｒを用いることにより、検査画像Ｖ０において注目される病変が局所的な病変のみである場合に、類似症例画像を適切に検索することができる。

　一方、図２０に示す重み係数ＰＷｉｒは、いずれの所見に対しても第１の領域パターンに対して値が０となる。このような重み係数ＰＷｉｒを用いることにより、検査画像Ｖ０において注目される病変がびまん性の病変のみである場合に、類似症例画像を適切に検索することができる。

　なお、上記各実施形態においては、検査画像Ｖ０と症例画像とにおける対応する領域間における領域類似度を導出しているが、これに限定されるものではない。例えば、対応する領域のみならず、対応する領域以外の領域との領域類似度を導出するようにしてもよい。対応する領域以外の領域との領域類似度を導出するに際しては、対応する領域に近いほど重みを大きくする等することが好ましい。

　また、上記各実施形態においては、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、第１の医用画像の各画素を複数種類の所見のうちの少なくとも１つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。

　また、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。

　また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。

　また、上記各実施形態において、例えば、画像取得部２１、領域分割部２２、所見分類部２３、特徴量算出部２４、領域類似度導出部２５、類似度導出部２６、検索部２７および表示制御部２８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

　　　１　　類似度決定装置

　　　２　　３次元画像撮影装置

　　　３　　画像保管サーバ

　　　４　　ネットワーク

　　　１１　　ＣＰＵ

　　　１２　　メモリ

　　　１３　　ストレージ

　　　１４　　表示部

　　　１５　　入力部

　　　２１　　画像取得部

　　　２２　　領域分割部

　　　２３　　所見分類部

　　　２４　　特徴量算出部

　　　２５　　領域類似度導出部

　　　２６　　類似度導出部

　　　２７　　検索部

　　　２８　　表示制御部

　　　３０　　気管支抽出部

　　　３１　　第１分割部

　　　３２　　第２分割部

　　　３３　　第３分割部

　　　３４　　第４分割部

　　　４０Ｌ　　左肺領域

　　　４０Ｒ　　右肺領域

　　　４１　　気管支

　　　５０　　多層ニューラルネットワーク

　　　５１　　入力層

　　　５２　　出力層

　　　６１　　検索結果

　　　６２～６４　　検査スライス画像

　　　Ｂ１、Ｂ３１　　気管支分岐

　　　ＤＢ　　症例データベース

　　　Ｇ１　　アキシャル方向の断面画像

　　　Ｇ２　　コロナル方向の断面画像

　　　Ｇ３　　サジタル方向の断面画像　　　

　　　Ｌ０　　検査リスト

　　　Ｒ１～Ｒ４　　類似症例画像

　　　Ｖ０，Ｖ１　　検査画像

Claims (16)


  1. 　第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、

    　前記第１の医用画像における対象領域を複数の領域に分割する領域分割部と、

    　前記第１の医用画像の各画素を少なくとも１つの所見に分類する所見分類部と、

    　前記分割された領域毎に、前記第１の医用画像において分類された所見毎の第１の特徴量を算出する特徴量算出部と、

    　前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記分割された領域毎に前記第１の医用画像と前記第２の医用画像との領域類似度を導出する領域類似度導出部と、

    　前記分割された各領域のサイズおよび前記分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の前記領域類似度の重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部とを備えた類似度決定装置。

  2. 　前記領域分割部は、互いに異なる複数種類の領域パターンに基づいて、前記対象領域を前記領域パターン毎の複数の領域に分割し、

    　前記特徴量算出部は、前記領域パターン毎に、前記分割された領域毎の第１の特徴量を算出し、

    　前記領域類似度導出部は、前記領域パターン毎に、前記分割された領域毎の前記領域類似度を導出し、

    　前記類似度導出部は、前記複数種類の領域パターンについての前記領域類似度の重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する請求項１に記載の類似度決定装置。

  3. 　前記類似度導出部は、前記重み係数並びに前記所見の種類および前記領域パターンの種類に応じた領域パターン重み係数により、前記複数種類の領域パターンについての前記領域類似度の重み付け演算を行う請求項２に記載の類似度決定装置。

  4. 　前記領域パターン重み係数の変更指示を受け付ける入力部をさらに備え、

    　前記類似度導出部は、前記重み係数並びに変更された前記領域パターン重み係数により、前記重み付け演算を行う請求項３に記載の類似度決定装置。

  5. 　前記特定の所見は病変の所見である請求項１から４のいずれか１項に記載の類似度決定装置。

  6. 　前記所見分類部は、複数種類の前記所見を分類するように機械学習がなされた判別器を有し、該判別器により前記第１の医用画像の各画素を前記複数種類の所見の少なくとも１つに分類する請求項１から５のいずれか１項に記載の類似度決定装置。

  7. 　複数の前記第２の医用画像が登録された症例データベースであって、複数の前記第２の医用画像のそれぞれについての前記第２の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項１から６のいずれか１項に記載の類似度決定装置。

  8. 　前記類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えた請求項７に記載の類似度決定装置。

  9. 　前記第１の医用画像および前記第２の医用画像が肺を含み、前記対象領域が肺領域である場合において、

    　前記領域分割部は、前記肺領域から気管支を抽出し、該気管支の位置を基準として、前記肺領域を複数の領域に分割する請求項１から８のいずれか１項に記載の類似度決定装置。

  10. 　前記領域分割部は、前記気管支の複数の分岐位置を特定し、該分岐位置に基づいて前記肺領域を複数の領域に分割する請求項９に記載の類似度決定装置。

  11. 　前記領域分割部は、前記分岐位置に基づいて、前記肺領域を上下方向に複数の領域に分割する請求項１０に記載の類似度決定装置。

  12. 　前記領域分割部は、前記複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と該特定の距離内の領域以外の領域とに、前記肺領域を分割する請求項１０または１１に記載の類似度決定装置。

  13. 　前記領域分割部は、前記肺領域を外側領域と内側領域とにさらに分割する請求項９から１２のいずれか１項に記載の類似度決定装置。

  14. 　前記領域分割部は、前記肺領域を背側領域と腹側領域とにさらに分割する請求項９から１３のいずれか１項に記載の類似度決定装置。

  15. 　第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、

    　前記第１の医用画像における対象領域を複数の領域に分割し、

    　前記第１の医用画像の各画素を少なくとも１つの所見に分類し、

    　前記分割された領域毎に、前記第１の医用画像において分類された所見毎の第１の特徴量を算出し、

    　前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記分割された領域毎に前記第１の医用画像と前記第２の医用画像との領域類似度を導出し、

    　前記分割された各領域のサイズおよび前記分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の前記領域類似度の重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度決定方法。

  16. 　第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、

    　前記第１の医用画像における対象領域を複数の領域に分割する手順と、

    　前記第１の医用画像の各画素を少なくとも１つの所見に分類する手順と、

    　前記分割された領域毎に、前記第１の医用画像において分類された所見毎の第１の特徴量を算出する手順と、

    　前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記分割された領域毎に前記第１の医用画像と前記第２の医用画像との領域類似度を導出する手順と、

    　前記分割された各領域のサイズおよび前記分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の前記領域類似度の重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順とをコンピュータに実行させる類似度決定プログラム。
PCT/JP2019/023814 2018-08-31 2019-06-17 類似度決定装置、方法およびプログラム WO2020044735A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112019004300.5T DE112019004300T5 (de) 2018-08-31 2019-06-17 Ähnlichkeitsbestimmungsvorrichtung, ähnlichkeitsbestimmungsverfahren und ähnlichkeitsbestimmungsprogramm
CN201980055412.6A CN112638262B (zh) 2018-08-31 2019-06-17 相似度确定装置、方法及程序
JP2020540088A JP7004829B2 (ja) 2018-08-31 2019-06-17 類似度決定装置、方法およびプログラム
US17/167,058 US11854190B2 (en) 2018-08-31 2021-02-03 Similarity determination apparatus, similarity determination method, and similarity determination program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-162860 2018-08-31
JP2018162860 2018-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/167,058 Continuation US11854190B2 (en) 2018-08-31 2021-02-03 Similarity determination apparatus, similarity determination method, and similarity determination program

Publications (1)

Publication Number Publication Date
WO2020044735A1 true WO2020044735A1 (ja) 2020-03-05

Family

ID=69644166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023814 WO2020044735A1 (ja) 2018-08-31 2019-06-17 類似度決定装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US11854190B2 (ja)
JP (1) JP7004829B2 (ja)
CN (1) CN112638262B (ja)
DE (1) DE112019004300T5 (ja)
WO (1) WO2020044735A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
US20220172367A1 (en) * 2020-11-27 2022-06-02 Vida Diagnostics, Inc. Visualization of sub-pleural regions
CN113361509B (zh) * 2021-08-11 2021-11-09 西安交通大学医学院第一附属医院 用于面神经麻痹检测的图像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2010079398A (ja) * 2008-09-24 2010-04-08 Fuji Xerox Co Ltd 類似画像提示装置及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
US6925199B2 (en) 2000-11-29 2005-08-02 Fujitsu Limited Computer readable recording medium recorded with diagnosis supporting program, diagnosis supporting apparatus and diagnosis supporting method
US7783096B2 (en) * 2005-10-17 2010-08-24 Siemens Corporation Device systems and methods for imaging
US7848592B2 (en) * 2006-07-31 2010-12-07 Carestream Health, Inc. Image fusion for radiation therapy
JP5159242B2 (ja) * 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
JP5597429B2 (ja) 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP5054252B1 (ja) 2011-11-04 2012-10-24 パナソニック株式会社 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
WO2015067299A1 (en) * 2013-11-05 2015-05-14 Brainlab Ag Quantification of brain vulnerability
JP6099593B2 (ja) 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
CN106560827B (zh) 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
EP3557449B1 (en) * 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2010079398A (ja) * 2008-09-24 2010-04-08 Fuji Xerox Co Ltd 類似画像提示装置及びプログラム

Also Published As

Publication number Publication date
CN112638262B (zh) 2024-05-14
US11854190B2 (en) 2023-12-26
JPWO2020044735A1 (ja) 2021-06-03
DE112019004300T5 (de) 2021-05-20
JP7004829B2 (ja) 2022-01-21
CN112638262A (zh) 2021-04-09
US20210166382A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
US10734107B2 (en) Image search device, image search method, and image search program
JP7034306B2 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
JP6906347B2 (ja) 医用画像分類装置、方法およびプログラム
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JP7170747B2 (ja) 類似度決定装置、方法およびプログラム
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
JP7479546B2 (ja) 表示装置、方法およびプログラム
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
US11989880B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Thool et al. Artificial Intelligence in Medical Imaging Data Analytics using CT Images
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
Gia et al. A Computer-Aided Detection to Intracranial Hemorrhage by Using Deep Learning: A Case Study
Elloumi et al. A 3D Processing Technique to Detect Lung Tumor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854308

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020540088

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19854308

Country of ref document: EP

Kind code of ref document: A1