WO2022270150A1 - 画像処理装置、方法およびプログラム - Google Patents

画像処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2022270150A1
WO2022270150A1 PCT/JP2022/018958 JP2022018958W WO2022270150A1 WO 2022270150 A1 WO2022270150 A1 WO 2022270150A1 JP 2022018958 W JP2022018958 W JP 2022018958W WO 2022270150 A1 WO2022270150 A1 WO 2022270150A1
Authority
WO
WIPO (PCT)
Prior art keywords
tubular tissue
region
image
lesion
tissue region
Prior art date
Application number
PCT/JP2022/018958
Other languages
English (en)
French (fr)
Inventor
彩 小笠原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023529660A priority Critical patent/JPWO2022270150A1/ja
Publication of WO2022270150A1 publication Critical patent/WO2022270150A1/ja
Priority to US18/525,701 priority patent/US20240095921A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present disclosure relates to an image processing device, method and program.
  • tubular tissues In recent years, the patient's large intestine, small intestine, bronchi, blood vessels, and other tubular tissues have been extracted from three-dimensional images taken by CT (Computed Tomography) and MRI (Magnetic Resonance Imaging) equipment, etc., and three-dimensional images of the extracted tubular tissues are being used for diagnostic imaging.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • the tubular tissue may be segmented and extracted from the three-dimensional image.
  • the present disclosure has been made in view of the above circumstances, and aims to improve the accuracy of extracting tubular tissue by considering whether the tubular tissue is actually divided.
  • An image processing apparatus comprises at least one processor, a processor extracting a tubular tissue region from a medical image containing the tubular tissue; extracting a lesion area around the tubular tissue area from the medical image; Based on the position information of the lesion area, the extraction result of the tubular tissue area is corrected if necessary.
  • the processor identifying a split point in the tubular tissue region; determining whether or not to connect the divided parts of the tubular tissue region based on the position information of the lesion region;
  • the extraction result of the tubular tissue region may be corrected so as to connect the divided portions in the tubular tissue region when it is determined that the divided portions are connected.
  • the processor determines whether or not the lesion area exists at the division point based on the position information of the lesion area, and determines whether the lesion area exists at the division point. It may be determined to connect the divided portion when it is determined that.
  • the processor when the position information of the medical image, the tubular tissue region, and the lesion region is input, the processor corrects the extraction result of the tubular tissue region if necessary. It may function as a trained model that outputs the medical image that has been processed.
  • the processor may display the medical image such that whether or not the tubular tissue region has been modified can be identified.
  • the processor may display the medical image so that the corrected portion in the tubular tissue region can be identified when the extraction result of the tubular tissue region is corrected.
  • the processor may correct the path of the tubular tissue region in accordance with an instruction to correct the path of the tubular tissue region with respect to the medical image.
  • the tubular tissue is the main pancreatic duct
  • the lesion area may be a lesion area in the pancreas.
  • An image processing method extracts a tubular tissue region from a medical image including tubular tissue, extracting a lesion area around the tubular tissue area from the medical image; Based on the position information of the lesion area, the extraction result of the tubular tissue area is corrected if necessary.
  • the image processing method according to the present disclosure may be provided as a program for causing a computer to execute it.
  • FIG. 1 is a diagram showing a schematic configuration of an image processing apparatus according to a first embodiment
  • FIG. 1 is a functional configuration diagram of an image processing apparatus according to a first embodiment
  • FIG. 1 is a diagram showing a schematic configuration of an image processing apparatus according to a first embodiment
  • a diagram showing the result of extracting a tubular tissue region Diagram for explaining how to identify the split point Diagram for explaining how to identify the split point A diagram for explaining the determination of whether to connect the divided points
  • a diagram for explaining the determination of whether to connect the divided points A diagram for explaining the connection of the split points Diagram showing the display screen of the target image Diagram showing the display screen of the target image
  • Flowchart showing processing performed in the present embodiment Functional configuration diagram of an image processing apparatus according to the second embodiment
  • FIG. 1 is a diagram showing a schematic configuration of a medical information system.
  • a computer 1 including an image processing apparatus according to this embodiment, an imaging apparatus 2, and an image storage server 3 are connected via a network 4 in a communicable state.
  • the computer 1 contains the image processing apparatus according to this embodiment, and the image processing program according to this embodiment is installed.
  • the computer 1 may be a workstation or personal computer directly operated by a doctor who diagnoses, or a server computer connected to them via a network.
  • the image processing program is stored in a storage device of a server computer connected to a network or in a network storage in an externally accessible state, and is downloaded and installed on the computer 1 used by a doctor upon request. Alternatively, it is recorded on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), distributed, and installed in the computer 1 from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), distributed, and installed in the computer 1 from the recording medium.
  • the imaging device 2 is a device that generates a three-dimensional image representing the site by imaging the site to be diagnosed of the subject. ) equipment, etc.
  • a three-dimensional image composed of a plurality of tomographic images generated by the imaging device 2 is transmitted to the image storage server 3 and stored.
  • the imaging device 2 is a CT device, and generates a CT image of the chest and abdomen of the subject as a three-dimensional image.
  • the acquired CT image may be a contrast-enhanced CT image or a non-contrast CT image.
  • the image storage server 3 is a computer that stores and manages various data, and is equipped with a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to transmit and receive image data and the like.
  • various data including image data of a three-dimensional image generated by the photographing device 2 are acquired via a network, stored in a recording medium such as a large-capacity external storage device, and managed.
  • the image data storage format and communication between devices via the network 4 are based on protocols such as DICOM (Digital Imaging and Communication in Medicine).
  • FIG. 2 is a diagram showing the hardware configuration of the image processing apparatus according to this embodiment.
  • the image processing device 20 includes a CPU (Central Processing Unit) 11, a nonvolatile storage 13, and a memory 16 as a temporary storage area.
  • the image processing apparatus 20 also includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I/F (InterFace) 17 connected to the network 4 .
  • CPU 11 , storage 13 , display 14 , input device 15 , memory 16 and network I/F 17 are connected to bus 18 .
  • the CPU 11 is an example of a processor in the present disclosure.
  • the storage 13 is realized by HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, and the like.
  • the image processing program 12 is stored in the storage 13 as a storage medium.
  • the CPU 11 reads out the image processing program 12 from the storage 13 , expands it in the memory 16 , and executes the expanded image processing program 12 .
  • FIG. 3 is a diagram showing the functional configuration of the image processing apparatus according to this embodiment.
  • the image processing apparatus 20 includes an image acquisition section 21 , a tubular tissue extraction section 22 , a lesion extraction section 23 , a segmentation identification section 24 , a determination section 25 , a correction section 26 and a display control section 27 .
  • the CPU 11 executes the image processing program 12, the CPU 11 operates an image acquisition unit 21, a tubular tissue extraction unit 22, a lesion extraction unit 23, a division identification unit 24, a determination unit 25, a correction unit 26, and a display control unit 27. function as
  • the image acquisition unit 21 acquires the target image G0 to be processed from the image storage server 3 according to an instruction from the input device 15 by the operator.
  • the target image G0 is a CT image composed of a plurality of tomographic images including the chest and abdomen of the human body, as described above.
  • the target image G0 is an example of the medical image of the present disclosure.
  • the tubular tissue extraction unit 22 extracts tubular tissue regions from the target image.
  • the tubular tissue extraction unit 22 extracts the main pancreatic duct region of the pancreas included in the target image G0 as the tubular tissue region.
  • the tubular tissue extraction unit 22 first extracts the pancreas from the target image G0, and then extracts the main pancreatic duct in the extracted pancreas.
  • the tubular tissue extraction unit 22 uses a semantic segmentation model (hereinafter referred to as an SS (Semantic Segmentation) model) machine-learned to extract the pancreas from the target image G0 and machine-learned to extract the main pancreatic duct. It consists of SS model. The former is a first SS model 22A, and the latter is a second SS model 22B. Each of the SS models 22A and 22B is, as is well known, a machine learning model that outputs an output image in which each pixel of the input image is labeled with an extraction target (class).
  • SS Semantic Segmentation
  • the input image of the first SS model 22A is a tomographic image forming the target image G0
  • the extraction target is the pancreas
  • the output image is an image labeled with the pancreas region.
  • the input image of the second SS model 22B is an image of the extracted pancreatic region
  • the extraction target is the main pancreatic duct
  • the output image is an image in which the main pancreatic duct region is labeled.
  • the SS models 22A and 22B are constructed by convolutional neural networks (CNN) such as ResNet (Residual Networks) and U-Net (U-shaped Networks).
  • CNN convolutional neural networks
  • ResNet ResNet
  • U-Net U-shaped Networks
  • tubular tissue extraction unit 22 has two SS models 22A and 22B in the above description, it is not limited to this.
  • a single SS model may be used to extract the pancreas and the main pancreatic duct from the target image G0.
  • the main pancreatic duct may be directly extracted from the target image G0 without extracting the pancreas.
  • the extraction of target organs is not limited to using the SS model. Any technique for extracting the target organ from the target image G0, such as template matching or threshold processing for CT values, can be applied.
  • extraction of the main pancreatic duct is not limited to using the SS model. Any method for extracting the pancreas from the target image G0, such as template matching or threshold processing for CT values, can be applied. Alternatively, the main pancreatic duct may be extracted by the method described in JP-A-2014-064824.
  • the tubular tissue extraction unit 22 calculates the eigenvalues of a 3 ⁇ 3 Hessian matrix for each local region in the pancreas to extract the linear structure. search for In a region containing linear structures, one of the three eigenvalues of the Hessian matrix is close to 0 and the other two are relatively large. Also, an eigenvector corresponding to an eigenvalue close to 0 indicates the principal axis direction of the linear structure. Using this relationship, the tubular tissue extracting unit 22 determines the likelihood of a linear structure for each local region based on the eigenvalues of the Hessian matrix. Detect as a point.
  • the candidate points detected by the search are connected based on a predetermined algorithm.
  • a tree structure composed of candidate points and vascular branches connecting the candidate points is constructed, and this tree structure is extracted as the route of the main pancreatic duct.
  • the outline of the main pancreatic duct (the outer wall of the main pancreatic duct) is identified in a cross section perpendicular to the path of the main pancreatic duct based on the values (CT values) of the surrounding voxels.
  • Shape identification is performed using a known segmentation method represented by Graph-Cuts.
  • the lesion extraction unit 23 extracts a lesion area, which is an area such as a tumor around the main pancreatic duct, which is a tubular tissue area, within the pancreas.
  • the lesion extraction unit 23 is composed of an SS model 23A that has undergone machine learning so as to extract a lesion area around the main pancreatic duct in the pancreas area.
  • the input image of the SS model 23A is an image of the pancreas region in the target image G0
  • the extraction target is a lesion
  • the output image is an image with the lesion region labeled. If the lesion extraction unit 23 fails to extract a lesion area from the pancreas, it outputs information indicating that there is no lesion. In this case, the display control unit 27 notifies that there is no lesion as described later.
  • the tubular tissue extraction unit 22 extracts the main pancreatic duct in the pancreas as a tubular tissue region as described above.
  • the main pancreatic duct cannot be extracted because the pancreatic duct is severed or the main pancreatic duct is constricted. Therefore, the division identifying section 24 identifies the division location in the tubular tissue region extracted by the tubular tissue extracting section 22 .
  • the division point in the main pancreatic duct 31 in the pancreas 30 extracted by the tubular tissue extraction unit 22 is specified.
  • the division specifying unit 24 first detects the end points of the main pancreatic duct 31 extracted by the tubular tissue extracting unit 22 . Then, the division specifying unit 24 determines whether or not there is another end point of the main pancreatic duct with the pancreatic parenchyma therebetween within a predetermined distance Th0 around the detected end point. Then, if there is another endpoint within a predetermined distance Th0 centered on the endpoint through the pancreatic parenchyma, it is assumed that the main pancreatic duct is divided between the two endpoints, and area is identified as the segmentation point.
  • FIG. 5 and 6 are diagrams for explaining the identification of the division point.
  • FIG. 5 shows circles 34 and 35 centered at the endpoints P1 and P2 and having a radius of a predetermined distance Th0.
  • the division specifying unit 24 determines that there is no division.
  • FIG. 6 shows only a circle 36 centered at the end point P3 and having a radius of a predetermined distance Th0.
  • another end point P4 of the main pancreatic duct exists through the pancreatic parenchyma within a predetermined distance Th0 around the end point P3. Therefore, in the case shown in FIG. 6, the division identifying unit 24 identifies the region between the endpoints P3 and P4 as the division location.
  • the division specifying unit 24 When the main pancreatic duct 31 is not divided, the division specifying unit 24 outputs information to that effect, and the processing of the determination unit 25 and the correction unit 26, which will be described later, is not performed. In this case, the display control unit 27 may notify that the main pancreatic duct 31 is not divided, but may not notify at all.
  • the determining unit 25 and the correcting unit 26 correct the extraction result of the main pancreatic duct 31 when necessary based on the positional information of the lesion area.
  • the determination unit 25 Based on the positional information of the lesion area extracted by the lesion extraction unit 23, the determination unit 25 determines whether or not to connect the divided parts of the main pancreatic duct 31. FIG. Specifically, the determination unit 25 determines whether or not a lesion area exists at the division point, and determines that the division point is connected when it is determined that the lesion area does not exist at the division point.
  • the positional information of the lesion area is the coordinates of each pixel within the lesion area.
  • FIG. 7 is a diagram for explaining the judgment as to whether or not to connect the split points.
  • the determination unit 25 sets a straight line 37 that connects the end points of the main pancreatic duct 31 at the division point, as shown in FIG. Then, the determination unit 25 determines whether or not the lesion area 38 intersects the straight line 37 . As shown in FIG. 7, when the lesion area 38 intersects the straight line 37, it can be considered that the main pancreatic duct 31 is divided due to the existence of the lesion. On the other hand, if the lesion area 38 does not intersect the straight line 37 as shown in FIG. The main pancreatic duct 31 should be present.
  • the judgment unit 25 judges that the lesion area exists at the division point, and when the lesion area does not intersect the straight line 37, the judgment unit 25 judges that the lesion area exists at the division point. Decide not to. Then, when determining that the lesion area does not exist at the division point, the determination unit 25 determines to connect the division point. Further, when determining that a lesion area exists at the division point, the determination unit 25 determines that the division point is not connected.
  • a plurality of coordinate values on the center line of the extracted main pancreatic duct 31 are used to determine the end points P3 and P4.
  • a line segment connecting end points P3 and P4 may be set so as to smoothly connect P4 to the extracted main pancreatic duct 31 by high-order interpolation such as spline interpolation.
  • the determination unit 25 determines whether or not a lesion area exists at the division location, depending on whether or not the lesion area 38 intersects with the set line segment.
  • the correction unit 26 corrects the extraction result of the main pancreatic duct 31 according to the determination result by the determination unit 25 . Specifically, when the determining unit 25 determines to connect the divided parts, the extraction result of the main pancreatic duct 31 is corrected so that the divided parts in the main pancreatic duct 31 are connected. On the other hand, when the determining unit 25 determines not to connect the divided parts, the correcting unit 26 does not correct the extraction result of the main pancreatic duct 31 .
  • Fig. 9 is a diagram for explaining the connection of the divided parts.
  • the correction unit 26 uses a plurality of coordinate values on the center line of the extracted main pancreatic duct 31, the correction unit 26 performs high-order interpolation such as spline interpolation to smoothly match the end points P3 and P4 of the main pancreatic duct 31 with the extracted main pancreatic duct 31.
  • a connecting line segment 40 is derived.
  • the endpoints P3 and P4 are connected along the derived line segment 40 .
  • the endpoints P3 and P4 may be connected along a straight line connecting the endpoints P3 and P4 instead of the line segment 40 obtained by high-order interpolation.
  • the display control unit 27 displays the target image G0 on the display 14 so that whether or not the main pancreatic duct 31 is corrected can be identified. Specifically, when the extraction result of the main pancreatic duct 31 is corrected, the target image G0 is displayed on the display 14 so that the corrected portion in the main pancreatic duct 31 can be identified.
  • FIG. 10 is a diagram showing the display screen of the target image G0. As shown in FIG. 10, the display screen 50 has an image display area 51 for displaying the target image G0. In the image display area 51, one tomographic image D0 included in the target image G0 is displayed. The displayed tomographic image D0 can be switched by scrolling the scroll button of the mouse, which is the input device 15, for example.
  • the area of the main pancreatic duct 31 is highlighted in the target image G0.
  • a connection area 52 is displayed at the portion where the main pancreatic duct 31 is divided to indicate that the divided portion has been connected.
  • a connecting region 52 is highlighted to distinguish it from the pancreas 30 region.
  • the connection region 52 is highlighted in a different color than the main pancreatic duct 31 .
  • the area of the main pancreatic duct 31 is hatched and the connection area 42 is filled in to indicate that the colors are different.
  • a text 53 of "corrected” is displayed, indicating that the extraction result of the main pancreatic duct 31 has been corrected. If the determination unit 25 determines not to connect the divided parts and the extraction result of the main pancreatic duct 31 is not corrected, the text "no correction” is displayed. Even when the extraction result of the main pancreatic duct 31 is not corrected, the region of the main pancreatic duct 31 may be highlighted by adding a color or the like. Alternatively, the highlighting may be switched on/off by an instruction from the input device 15 .
  • FIG. 11 is a diagram for explaining correction of extraction results. As shown in FIG. 11, since the lesion area 38 exists at the division point of the main pancreatic duct 31 displayed on the display screen 50, the text 53 of "no correction" is displayed. However, due to the narrowed main pancreatic duct 31A existing above the lesion area 38, the main pancreatic duct 31 on the left and right sides of the lesion area 38 is not divided.
  • the radiologist selects the correction button 54.
  • the radiologist uses the input device 15 to draw a line segment along the constricted main pancreatic duct 31A, thereby correcting the extraction result of the main pancreatic duct 31 so that the main pancreatic duct 31 on the left and right of the lesion area 38 is connected. can do.
  • FIG. 12 is a flow chart showing the processing performed in this embodiment.
  • the image acquiring unit 21 acquires the target image G0 from the storage 13 (step ST1)
  • the tubular tissue extracting unit 22 extracts the pancreas, which is the target organ, from the target image G0 (step ST2), and further the tubular tissue region of the pancreas. is extracted (step ST3).
  • the lesion extraction unit 23 extracts a lesion area, which is a tumor area, etc. around the main pancreatic duct, in the pancreas area (step ST4).
  • the division identifying unit 24 identifies the division point of the main pancreatic duct, which is the extracted tubular tissue region (step ST5). If the division point is not identified (step ST5: NO), the division identification unit 24 outputs information to that effect, and proceeds to the process of step ST12.
  • the determination unit 25 determines whether or not to connect the division point of the main pancreatic duct 31 based on the positional information of the lesion area extracted by the lesion extraction unit 23. . That is, the determination unit 25 determines whether or not there is a lesion area at the division point (step ST6). Then, when it is determined that there is no lesion area at the division point (step ST6: NO), the determination unit 25 determines that the division point is connected (step ST7), and the correction unit 26 connects the division point in the main pancreatic duct 31. The extraction result of the main pancreatic duct 31 is corrected so that (step ST8). Then, the display control unit 27 displays the target image G0 on the display 14 so that the corrected portion in the main pancreatic duct 31 can be identified (step ST9). After that, the interpretation of the target image G0 is performed by the interpretation doctor.
  • step ST6 determines that there is a lesion area at the division point
  • step ST10 determines that the division point is not connected
  • step ST11 displays no correction.
  • step ST12 it is determined whether or not the correction button 54 has been selected, and if step ST12 is negative, the process proceeds to step ST14. If step ST12 is affirmative, the route of the main pancreatic duct 31 is corrected in accordance with an instruction from the radiologist to correct the route of the main pancreatic duct 31 (step ST13). Then, it is determined whether or not an end instruction has been issued (step ST14), and if step ST14 is negative, the process returns to step ST12. If step ST14 is affirmative, the process ends.
  • the extraction result of the tubular tissue area is corrected when necessary. Therefore, when the lesion area is located at the part where the tubular tissue area is divided, it can be considered that the tubular tissue is actually divided by the lesion, and thus the extraction result of the tubular tissue area can be prevented from being corrected. .
  • the lesion area is not located at the division point of the tubular tissue area, the tubular tissue is not actually divided, and it can be considered that the tubular tissue area is divided due to a failure in extracting the tubular tissue area or the like. , it is possible to modify the extraction result of the tubular tissue region. Therefore, it is possible to improve the accuracy of extracting the tubular tissue by considering whether the tubular tissue is actually divided.
  • the corrected portion of the tubular tissue region can be easily identified by displaying the target image so that the corrected portion of the tubular tissue region can be identified.
  • FIG. 13 is a diagram showing the functional configuration of the image processing apparatus according to the second embodiment.
  • the same reference numerals are given to the same configurations as in FIG. 3, and detailed description thereof will be omitted.
  • the determining unit 25, and the correcting unit 26 when the position information of the tubular tissue region and the lesion region is input, This embodiment differs from the first embodiment in that a trained model 28 that outputs a tubular tissue region with corrected extraction results is provided if necessary.
  • the trained model 28 is a target image obtained by correcting the extraction result of the tubular tissue region, if necessary, from the target image G0, the tubular tissue region extracted by the tubular tissue extraction unit 22, and the lesion region 38 extracted by the lesion extraction unit 23. It is a machine learning model trained to derive G0.
  • the trained model 28 like the SS model, consists of a convolutional neural network. Inputs to the trained model 28 are the tomographic image D0 forming the target image G0, the tubular tissue region extracted from the tomographic image D0, and the lesion region extracted from the tomographic image D0.
  • the output of the trained model 28 is the target image G0 with the tubular tissue region extraction results corrected if necessary.
  • the trained model 28 is input with the coordinates of each pixel of the tubular tissue region in the tomographic image D0, and is also input with the coordinates of each pixel of the lesion region in the tomographic image D0. Therefore, the lesion area input to the trained model 28 includes location information of the lesion area.
  • FIG. 14 is a diagram showing teacher data used for learning the trained model 28.
  • teacher data 60 includes a teacher image 61, a tubular tissue region 62 extracted from the teacher image 61, a lesion region 63 extracted from the teacher image 61, and an extraction result of the tubular tissue region 62 from the teacher image 61.
  • the trained model 28 is constructed by learning a convolutional neural network so as to output a modified image 64 when a teacher image 61, a tubular tissue region 62 and a lesion region 63 are input.
  • the result of extraction of the tubular tissue region is corrected when necessary from the target image G0, the tubular tissue region extracted by the tubular tissue extraction unit 22, and the lesion region extracted by the lesion extraction unit 23.
  • the trained model 28 trained to derive the target image G0 it is possible to improve the accuracy of extracting the tubular tissue by considering whether the tubular tissue is actually divided.
  • the tubular tissue is the main pancreatic duct within the pancreas, but is not limited to this.
  • the technology of the present disclosure can also be applied to extract arbitrary tubular tissues such as bile ducts, blood vessels, esophagus, bronchi, small intestine, and large intestine from medical images.
  • a CT image is used as the target image G0, but it is not limited to this.
  • any image such as a radiation image acquired by simple imaging can be used as the target image G0.
  • the image acquisition unit 21, the tubular tissue extraction unit 22, the lesion extraction unit 23, the segmentation identification unit 24, the determination unit 25, the correction unit 26, the display control unit 27, and the learned model 28 As a hardware structure of a processing unit (processing unit) that executes processing, various types of processors shown below can be used.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units, as described above, the above-mentioned various processors include FPGAs (Field Programmable Gate Arrays), etc.
  • Programmable Logic Device which is a processor whose configuration can be changed, ASIC (Application Specific Integrated Circuit) etc. Circuits, etc. are included.
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). ). Also, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

プロセッサは、管状組織を含む医用画像から管状組織領域を抽出し、医用画像から管状組織領域の周辺にある病変領域を抽出し、病変領域の位置情報に基づいて、必要な場合に管状組織領域の抽出結果を修正する。

Description

画像処理装置、方法およびプログラム
　本開示は、画像処理装置、方法およびプログラムに関する。
　近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等によって撮影された３次元画像から患者の大腸、小腸、気管支および血管等の管状組織を抽出し、抽出した管状組織の３次元画像を画像診断に用いることが行われている。しかしながら、管状組織に脂肪またはプラーク等が付着して管状組織が閉塞すると、３次元画像から管状組織が分断して抽出されてしまう場合がある。このため、３次元画像から抽出された管状組織の分断箇所を特定し、分断された管状組織の経路を特定し、３次元画像を表示する際に、特定した経路を補間して表示する手法が提案されている（例えば特開２０１４－０６４８２４号公報および特開２０１４－０５４３５９号公報参照）。
　しかしながら、特開２０１４－０６４８２４号公報および特開２０１４－０５４３５９号公報に記載された手法では、分断された箇所が補間された管状組織が表示されるため、病変の存在により管状組織が実際に分断されている場合にも管状組織が補間されて表示されることとなる。このため、特開２０１４－０６４８２４号公報および特開２０１４－０５４３５９号公報に記載された手法では、抽出された管状組織が実際に分断されているかどうかが分かりにくいという問題がある。
　本開示は上記事情に鑑みなされたものであり、管状組織が実際に分断されているか否かを考慮して、管状組織の抽出精度を向上させることを目的とする。
　本開示による画像処理装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、管状組織を含む医用画像から管状組織領域を抽出し、
　前記医用画像から前記管状組織領域の周辺にある病変領域を抽出し、
　前記病変領域の位置情報に基づいて、必要な場合に前記管状組織領域の抽出結果を修正する。
　なお、本開示による画像処理装置においては、プロセッサは、
　前記管状組織領域における分断箇所を特定し、
　前記病変領域の位置情報に基づいて、前記管状組織領域の前記分断箇所を接続するか否かを判定し、
　前記分断箇所を接続すると判定した場合に、前記管状組織領域における前記分断箇所を接続するように、前記管状組織領域の抽出結果を修正するものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、前記病変領域の位置情報に基づいて前記分断箇所に前記病変領域が存在するか否かを判定し、前記分断箇所に前記病変領域が存在しないと判定した場合に、前記分断箇所を接続すると判定するものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、前記医用画像、前記管状組織領域および前記病変領域の位置情報が入力されると、必要な場合に、前記管状組織領域の前記抽出結果が修正された前記医用画像を出力する学習済みモデルとして機能するものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、前記管状組織領域に対する修正の有無を識別可能に前記医用画像を表示するものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、前記管状組織領域の抽出結果を修正した場合、前記管状組織領域における修正箇所を識別可能に前記医用画像を表示するものであってもよい。
　また、本開示による画像処理装置においては、プロセッサは、前記医用画像に対する前記管状組織領域の経路の修正指示に応じて前記管状組織領域の経路を修正するものであってもよい。
　また、本開示による画像処理装置においては、管状組織は主膵管であり、
　前記病変領域は膵臓における病変領域であってもよい。
　本開示による画像処理方法は、管状組織を含む医用画像から管状組織領域を抽出し、
　前記医用画像から前記管状組織領域の周辺にある病変領域を抽出し、
　前記病変領域の位置情報に基づいて、必要な場合に前記管状組織領域の抽出結果を修正する。
　なお、本開示による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、管状組織が実際に分断されているか否かを考慮して、管状組織の抽出精度を向上させることができる。
本開示の第１の実施形態による画像処理装置を適用した診断支援システムの概略構成を示す図 第１の実施形態による画像処理装置の概略構成を示す図 第１の実施形態による画像処理装置の機能構成図 管状組織領域の抽出結果を示す図 分断箇所の特定を説明するための図 分断箇所の特定を説明するための図 分断箇所を接続するか否かの判定を説明するための図 分断箇所を接続するか否かの判定を説明するための図 分断箇所の接続を説明するための図 対象画像の表示画面を示す図 対象画像の表示画面を示す図 本実施形態において行われる処理を示すフローチャート 第２の実施形態による画像処理装置の機能構成図 学習済みモデルを学習するための教師データを示す図
　以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像処理装置を内包するコンピュータ１、撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　コンピュータ１は、本実施形態による画像処理装置を内包するものであり、本実施形態の画像処理プログラムがインストールされている。コンピュータ１は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。
　撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この撮影装置２により生成された、複数の断層画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、撮影装置２はＣＴ装置であり、被検体の胸腹部のＣＴ画像を３次元画像として生成する。なお、取得されるＣＴ画像は造影されたＣＴ画像であっても非造影のＣＴ画像であってもよい。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　次いで、本実施形態による画像処理装置について説明する。図２は、本実施形態による画像処理装置のハードウェア構成を示す図である。図２に示すように、画像処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像処理装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク４に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から画像処理プログラム１２を読み出してメモリ１６に展開し、展開した画像処理プログラム１２を実行する。
　次いで、本実施形態による画像処理装置の機能的な構成を説明する。図３は、本実施形態による画像処理装置の機能的な構成を示す図である。図３に示すように画像処理装置２０は、画像取得部２１、管状組織抽出部２２、病変抽出部２３、分断特定部２４、判定部２５、修正部２６および表示制御部２７を備える。そして、ＣＰＵ１１が画像処理プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、管状組織抽出部２２、病変抽出部２３、分断特定部２４、判定部２５、修正部２６および表示制御部２７として機能する。
　画像取得部２１は、操作者による入力デバイス１５からの指示により、画像保管サーバ３から処理の対象となる対象画像Ｇ０を取得する。本実施形態においては、対象画像Ｇ０は上述したように人体の胸腹部を含む複数の断層画像からなるＣＴ画像である。対象画像Ｇ０が本開示の医用画像の一例である。
　管状組織抽出部２２は、対象画像から管状組織領域を抽出する。本実施形態においては、管状組織抽出部２２は、対象画像Ｇ０に含まれる膵臓の主膵管の領域を管状組織領域として抽出する。このために、管状組織抽出部２２は、対象画像Ｇ０からまず膵臓を抽出し、抽出した膵臓において主膵管を抽出する。
　管状組織抽出部２２は、対象画像Ｇ０から膵臓を抽出するように機械学習がなされたセマンティックセグメンテーションモデル（以下、ＳＳ（Semantic Segmentation）モデルとする）および主膵管を抽出するように機械学習がなされたＳＳモデルからなる。前者を第１ＳＳモデル２２Ａ、後者を第２ＳＳモデル２２Ｂとする。各ＳＳモデル２２Ａ，２２Ｂは、周知のように、入力画像の各画素に対して抽出対象物（クラス）を表すラベルを付与した出力画像を出力する機械学習モデルである。本実施形態においては、第１ＳＳモデル２２Ａの入力画像は対象画像Ｇ０を構成する断層画像であり、抽出対象物は膵臓であり、出力画像は膵臓の領域がラベリングされた画像である。第２ＳＳモデル２２Ｂの入力画像は抽出された膵臓の領域の画像であり、抽出対象物は主膵管であり、出力画像は主膵管の領域がラベリングされた画像である。
　ＳＳモデル２２Ａ，２２Ｂは、ＲｅｓＮｅｔ（Residual Networks）、Ｕ－Ｎｅｔ（U-shaped Networks）といった畳み込みニューラルネットワーク（ＣＮＮ；Convolutional neural network）により構築される。
　なお、上記では管状組織抽出部２２は２つのＳＳモデル２２Ａ，２２Ｂを有するものとしているが、これに限定されるものではない。１つのＳＳモデルにより、対象画像Ｇ０からの膵臓の抽出および主膵管の抽出を行うようにしてもよい。また、膵臓を抽出することなく、対象画像Ｇ０から直接主膵管を抽出するようにしてもよい。
　また、対象臓器の抽出は、ＳＳモデルを用いるものには限定されない。テンプレートマッチングあるいはＣＴ値に対するしきい値処理等、対象画像Ｇ０から対象臓器を抽出する任意の手法を適用することができる。
　また、主膵管の抽出もＳＳモデルを用いるものには限定されない。テンプレートマッチングあるいはＣＴ値に対するしきい値処理等、対象画像Ｇ０から膵臓を抽出する任意の手法を適用することができる。また、上記の特開２０１４－０６４８２４号公報に記載された手法により主膵管を抽出するようにしてもよい。
　特開２０１４－０６４８２４号公報に記載された手法を用いる場合、管状組織抽出部２２は、膵臓内の局所領域ごとに、３×３のヘシアン（Hessian）行列の固有値を算出することにより線状構造の探索を行う。線状構造が含まれる領域では、ヘシアン行列の３つの固有値のうち１つは０に近い値となり、他の２つは相対的に大きな値となる。また、値が０に近い固有値に対応する固有ベクトルは、線状構造の主軸方向を示すものとなる。管状組織抽出部２２は、この関係を利用して、局所領域ごとにヘシアン行列の固有値に基づいて線状構造らしさを判定し、線状構造が識別された局所領域については、その中心点を候補点として検出する。
そして、探索により検出された候補点を、所定のアルゴリズムに基づいて連結する。これにより、候補点および候補点同士を連結する血管枝からなる木構造が構築され、この木構造を主膵管の経路として抽出する。続いて、検出された候補点ごとに、周辺のボクセルの値（ＣＴ値）に基づいて、主膵管の経路に垂直な断面において、主膵管の輪郭（主膵管の外壁）を識別する。形状の識別は、Graph-Cutsに代表される公知のセグメンテーション手法を用いて行う。以上の処理により、主膵管の経路および主膵管を抽出することができる。
　病変抽出部２３は、膵臓内の領域において、管状組織領域である主膵管の周辺にある腫瘤等の領域である病変領域を抽出する。このために、病変抽出部２３は、膵臓の領域における主膵管の周辺にある病変領域を抽出するように機械学習がなされたＳＳモデル２３Ａからなる。本実施形態においては、ＳＳモデル２３Ａの入力画像は対象画像Ｇ０における膵臓領域の画像であり、抽出対象物は病変であり、出力画像は病変領域がラベリングされた画像である。なお、病変抽出部２３は、膵臓内の領域から病変領域を抽出できなかった場合には、病変が存在しない旨の情報を出力する。この場合、表示制御部２７が、後述するように病変が存在しない旨の通知を行う。
　ここで、管状組織抽出部２２は、上述したように膵臓における主膵管を管状組織領域として抽出するが、腫瘍等の病変が存在する部分において、図４に示すように、膵臓３０において主膵管３１が分断されたり、主膵管が狭窄したりして主膵管を抽出できない場合がある。このため、分断特定部２４は、管状組織抽出部２２が抽出した管状組織領域における分断箇所を特定する。本実施形態においては、管状組織抽出部２２が抽出した膵臓３０内の主膵管３１における分断箇所を特定する。
　このために、分断特定部２４は、まず管状組織抽出部２２が抽出した主膵管３１の端点を検出する。そして、分断特定部２４は、検出した端点を中心とした所定距離Ｔｈ０以内に、膵実質を間に介して主膵管の他の端点が存在するか否かを判定する。そして、端点を中心とした所定距離Ｔｈ０以内に膵実質を介して他の端点が存在する場合に、２つの端点の間において主膵管が分断されているものとみなして、端点と端点との間の領域を分断箇所に特定する。
　図５および図６は分断箇所の特定を説明するための図である。図５に示すように、膵臓３０において主膵管３１が分断されていない場合、主膵管３１においては２つの端点Ｐ１，Ｐ２が検出される。図５には、それぞれ端点Ｐ１，Ｐ２を中心とした所定距離Ｔｈ０を半径とする円３４，３５が示されている。図５に示すように、端点Ｐ１，Ｐ２を中心とした所定距離Ｔｈ０以内には、膵実質を介して主膵管の他の端点は存在しない。このため、図５に示すような場合には、分断特定部２４は分断箇所はないと判定する。
　一方、図６に示すように、膵臓３０において主膵管３１が分断されている場合、主膵管３１においては４つの端点Ｐ１，Ｐ２，Ｐ３，Ｐ４が検出される。図６には、端点Ｐ３を中心とした所定距離Ｔｈ０を半径とする円３６のみが示されている。図６に示すように、端点Ｐ３を中心とした所定距離Ｔｈ０以内には、膵実質を介して主膵管の他の端点Ｐ４が存在する。このため、図６に示すような場合には、分断特定部２４は、端点Ｐ３と端点Ｐ４との間の領域を分断箇所に特定する。
　なお、主膵管３１が分断されていない場合、分断特定部２４はその旨の情報を出力し、後述する判定部２５および修正部２６の処理は行われない。この場合、表示制御部２７は、主膵管３１が分断されていないことを通知してもよいが、何ら通知を行わなくてもよい。
　判定部２５および修正部２６は、病変領域の位置情報に基づいて、必要な場合に主膵管３１の抽出結果を修正する。まず、判定部２５について説明する。判定部２５は、病変抽出部２３が抽出した病変領域の位置情報に基づいて、主膵管３１の分断箇所を接続するか否かを判定する。具体的には、判定部２５は分断箇所に病変領域が存在するか否かを判定し、分断箇所に病変領域が存在しないと判定した場合に、分断箇所を接続すると判定する。
　本実施形態において、病変領域の位置情報とは、病変領域内の各画素の座標である。図７は分断箇所を接続するか否かの判定を説明するための図である。判定部２５は判定のために、図７に示すように、分断箇所における主膵管３１の端点を結ぶ直線３７を設定する。そして判定部２５は、病変領域３８が直線３７と交わるか否かを判定する。図７に示すように、病変領域３８が直線３７と交わる場合、病変の存在により主膵管３１が分断されているとみなせる。一方、図８に示すように、病変領域３８が直線３７と交わらない場合、主膵管３１の抽出ミス、あるいは主膵管３１が狭窄しているため抽出できかなった等の理由により、分断箇所には主膵管３１が存在するはずである。
　このため、判定部２５は、病変領域３８が直線３７と交わる場合には、分断箇所に病変領域が存在すると判定し、病変領域が直線３７と交わらない場合には、分断箇所に病変領域は存在しないと判定する。そして、判定部２５は、分断箇所に病変領域が存在しないと判定した場合、分断箇所を接続すると判定する。また、判定部２５は、分断箇所に病変領域が存在すると判定した場合、分断箇所を接続しないと判定する。
　なお、図７に示すように、主膵管３１の端点Ｐ３，Ｐ４を結ぶ直線３７を設定することに代えて、抽出された主膵管３１の中心線上における複数の座標値を用いて、端点Ｐ３，Ｐ４をスプライン補間等の高次補間により、抽出された主膵管３１と滑らかに接続するように、端点Ｐ３，Ｐ４を結ぶ線分を設定するようにしてもよい。この場合、判定部２５は、病変領域３８が設定した線分と交わるか否かにより、分断箇所に病変領域が存在するか否かを判定する。
　修正部２６は、判定部２５による判定結果に応じて、主膵管３１の抽出結果を修正する。具体的には、判定部２５が分断箇所を接続すると判定した場合に、主膵管３１における分断箇所を接続するように、主膵管３１の抽出結果を修正する。一方、判定部２５が分断箇所を接続しないと判定した場合、修正部２６は主膵管３１の抽出結果を修正しない。
　図９は分断箇所の接続を説明するための図である。修正部２６は、抽出された主膵管３１の中心線上における複数の座標値を用いて、主膵管３１の端点Ｐ３，Ｐ４をスプライン補間等の高次補間により、抽出された主膵管３１と滑らかに接続する線分４０を導出する。そして、導出した線分４０に沿って端点Ｐ３，Ｐ４を接続する。なお、高次補間による線分４０に代えて、端点Ｐ３，Ｐ４を結ぶ直線に沿って端点Ｐ３，Ｐ４を接続してもよい。
　表示制御部２７は、主膵管３１に対する修正の有無を識別可能に対象画像Ｇ０をディスプレイ１４に表示する。具体的には、主膵管３１の抽出結果を修正した場合、主膵管３１における修正箇所を識別可能に対象画像Ｇ０をディスプレイ１４に表示する。図１０は対象画像Ｇ０の表示画面を示す図である。図１０に示すように、表示画面５０は、対象画像Ｇ０を表示する画像表示領域５１を有する。画像表示領域５１には、対象画像Ｇ０に含まれる１つの断層画像Ｄ０が表示される。表示される断層画像Ｄ０は、例えば入力デバイス１５であるマウスのスクロールボタンのスクロールにより切り替えることができる。
　図１０に示すように、対象画像Ｇ０においては、主膵管３１の領域が強調表示されている。また、主膵管３１の分断箇所には、分断箇所を接続したことを表す接続領域５２が表示されている。接続領域５２は、膵臓３０の領域と識別可能に強調表示されている。例えば、接続領域５２の色を主膵管３１とは異なる色で強調表示されている。図１０においては、主膵管３１の領域をハッチングで、接続領域４２を塗りつぶすことにより、色が異なることを示している。
　また、画像表示領域５１の下方には、主膵管３１の抽出結果が修正されたことを表す「修正有り」のテキスト５３が表示されている。なお、判定部２５が分断箇所を接続しないと判定した結果、主膵管３１の抽出結果を修正しなかった場合、「修正無し」のテキストが表示されることとなる。主膵管３１の抽出結果を修正しなかった場合においても、主膵管３１の領域に色を付与する等により強調表示を行うようにしてもよい。また、入力デバイス１５からの指示により、強調表示のオン／オフを切り替えられるようにしてもよい。
　なお、分断箇所に病変領域が存在する場合、分断箇所は接続されないが、読影医が対象画像Ｇ０を読影した結果、狭窄してはいるものの、実際には主膵管３１が分断されていない場合がある。このような場合、修正部２６は、入力デバイス１５からの指示により、主膵管３１を接続するように、主膵管３１の抽出結果を修正できるようにしてもよい。図１１は、抽出結果の修正を説明するための図である。図１１に示すように、表示画面５０に表示されている主膵管３１の分断箇所には病変領域３８が存在するため、「修正無し」のテキスト５３が表示されている。しかしながら、病変領域３８の上側に、狭窄した主膵管３１Ａが存在することにより、病変領域３８の左右にある主膵管３１は分断されていない。
　この場合、読影医は修正ボタン５４を選択する。これにより、入力デバイス１５を用いて、対象画像Ｇ０に対して描画を行うことが可能となる。読影医は、入力デバイス１５を用いて狭窄した主膵管３１Ａに沿って線分を描画することにより、病変領域３８の左右にある主膵管３１を接続するように、主膵管３１の抽出結果を修正することができる。
　次いで、本実施形態において行われる処理について説明する。図１２は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１がストレージ１３から対象画像Ｇ０を取得し（ステップＳＴ１）、管状組織抽出部２２が対象画像Ｇ０から対象臓器である膵臓を抽出し（ステップＳＴ２）、さらに膵臓における管状組織領域である主膵管の領域を抽出する（ステップＳＴ３）。
　続いて、病変抽出部２３が、膵臓内の領域において、主膵管の周辺にある腫瘤等領域である病変領域を抽出する（ステップＳＴ４）。以下、病変領域が抽出されたものとして説明する。次いで、分断特定部２４が、抽出された管状組織領域である主膵管の分断箇所を特定する（ステップＳＴ５）。分断箇所が特定されない場合（ステップＳＴ５：ＮＯ）、分断特定部２４はその旨の情報を出力し、ステップＳＴ１２の処理に進む。
　分断箇所が特定されると（ステップＳＴ５：ＹＥＳ）、判定部２５は、病変抽出部２３が抽出した病変領域の位置情報に基づいて、主膵管３１の分断箇所を接続するか否かを判定する。すなわち、判定部２５は、分断箇所に病変領域が存在するか否かを判定する（ステップＳＴ６）。そして、分断箇所に病変領域が存在しないと判定すると（ステップＳＴ６：ＮＯ）、判定部２５は、分断箇所を接続すると判定し（ステップＳＴ７）、修正部２６が、主膵管３１における分断箇所を接続するように、主膵管３１の抽出結果を修正する（ステップＳＴ８）。そして、表示制御部２７が、主膵管３１における修正箇所を識別可能に対象画像Ｇ０をディスプレイ１４に表示する（ステップＳＴ９）。この後、読影医による対象画像Ｇ０の読影が行われる。
　一方、判定部２５が分断箇所に病変領域が存在すると判定すると（ステップＳＴ６：ＹＥＳ）、判定部２５は分断箇所を接続しないと判定し（ステップＳＴ１０）、表示制御部２７が修正無しの表示を行い（ステップＳＴ１１）、ステップＳＴ１２の処理に進む。
　ステップＳＴ１２においては、修正ボタン５４が選択されたか否かが判定され、ステップＳＴ１２が否定されると、ステップＳＴ１４の処理に進む。ステップＳＴ１２が肯定されると、読影医による主膵管３１の経路の修正指示に応じて、主膵管３１の経路を修正する（ステップＳＴ１３）。そして、終了の指示がなされたか否かが判定され（ステップＳＴ１４）、ステップＳＴ１４が否定されると、ステップＳＴ１２の処理に戻る。ステップＳＴ１４が肯定されると、処理を終了する。
　このように、本実施形態においては、病変領域の位置情報に基づいて、必要な場合に管状組織領域の抽出結果を修正するようにした。このため、病変領域が管状組織領域の分断箇所に位置する場合には、管状組織は病変により実際に分断されているとみなせることから、管状組織領域の抽出結果は修正しないようにすることができる。また、病変領域が管状組織領域の分断箇所に位置しない場合には、管状組織は実際には分断されておらず、管状組織領域の抽出の失敗等により管状組織領域が分断されているとみなせることから、管状組織領域の抽出結果を修正するようにすることができる。したがって、管状組織が実際に分断されているか否かを考慮して、管状組織の抽出精度を向上させることができる。
　また、管状組織領域に対する修正の有無を識別可能に対象画像Ｇ０を表示することにより、管状組織領域が修正されたことを容易に識別することができる。
　また、管状組織領域の抽出結果を修正した場合、管状組織領域における修正箇所を識別可能に対象画像を表示することにより、管状組織領域の修正箇所を容易に識別することができる。
　また、対象画像Ｇ０に対する管状組織領域の経路の修正指示に応じて管状組織領域の経路を修正することにより、管状組織領域が分断されていなかったり、修正された経路が間違っていたりした場合にも、その修正を行うことが可能となる。
　以下、本開示の第２の実施形態について説明する。図１３は、第２の実施形態による画像処理装置の機能的な構成を示す図である。なお、図１３において図３と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１３に示すように、第２の実施形態による画像処理装置２０Ａは、分断特定部２４、判定部２５および修正部２６に代えて、管状組織領域および病変領域の位置情報が入力されると、必要な場合に、抽出結果が修正された管状組織領域を出力する学習済みモデル２８を備えた点が第１の実施形態と異なる。
　学習済みモデル２８は、対象画像Ｇ０、管状組織抽出部２２が抽出した管状組織領域、および病変抽出部２３が抽出した病変領域３８から、必要な場合に管状組織領域の抽出結果を修正した対象画像Ｇ０を導出するように学習がなされた機械学習モデルである。学習済みモデル２８は、ＳＳモデルと同様に畳み込みニューラルネットワークからなる。学習済みモデル２８の入力は、対象画像Ｇ０を構成する断層画像Ｄ０、断層画像Ｄ０において抽出された管状組織領域、および断層画像Ｄ０において抽出された病変領域である。学習済みモデル２８の出力は、必要な場合に、管状組織領域の抽出結果が修正された対象画像Ｇ０である。なお、学習済みモデル２８には、断層画像Ｄ０における管状組織領域の各画素の座標が入力され、断層画像Ｄ０における病変領域の各画素の座標が入力される。このため、学習済みモデル２８に入力される病変領域は病変領域の位置情報を含む。
　図１４は、学習済みモデル２８の学習に使用される教師データを示す図である。図１４に示すように教師データ６０は、教師画像６１、教師画像６１から抽出された管状組織領域６２、教師画像６１から抽出された病変領域６３、および教師画像６１において管状組織領域６２の抽出結果が修正された修正画像６４である。学習済みモデル２８は、教師画像６１、管状組織領域６２および病変領域６３が入力されると、修正画像６４を出力するように、畳み込みニューラルネットワークを学習することにより構築される。
　第２の実施形態のように、対象画像Ｇ０、管状組織抽出部２２が抽出した管状組織領域、および病変抽出部２３が抽出した病変領域から、必要な場合に管状組織領域の抽出結果を修正した対象画像Ｇ０を導出するように学習がなされた学習済みモデル２８を用いることによっても、管状組織が実際に分断されているか否かを考慮して、管状組織の抽出精度を向上させることができる。
　なお、上記各実施形態においては、管状組織を膵臓内の主膵管としているが、これ限定されるものではない。胆管、血管、食道、気管支、小腸および大腸といった任意の管状組織を医用画像から抽出する際にも、本開示の技術を適用することができる。
　また、上記実施形態においては、対象画像Ｇ０としてＣＴ画像を用いているが、これに限定されるものではない。ＭＲＩ画像等の３次元画像の他、単純撮影により取得された放射線画像等、任意の画像を対象画像Ｇ０として用いることができる。
　また、上記実施形態において、例えば、画像取得部２１、管状組織抽出部２２、病変抽出部２３、分断特定部２４、判定部２５、修正部２６、表示制御部２７および学習済みモデル２８といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　コンピュータ
　　　２　　撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　１６　　メモリ
　　　２０，２０Ａ　　画像処理装置
　　　２１　　画像取得部
　　　２２　　管状組織抽出部
　　　２２Ａ　　第１ＳＳモデル
　　　２２Ｂ　　第２ＳＳモデル
　　　２３　　病変抽出部
　　　２３Ａ　　ＳＳモデル
　　　２４　　分断特定部
　　　２５　　判定部
　　　２６　　修正部
　　　２７　　表示制御部
　　　２８　　学習済みモデル
　　　３０　　膵臓
　　　３１，３１Ａ　　主膵管
　　　３４～３６　　円
　　　３７　　直線
　　　３８　　病変領域
　　　４０　　線分
　　　５０　　表示画面
　　　５１　　画像表示領域
　　　５２　　接続領域
　　　５３　　テキスト
　　　５４　　修正ボタン
　　　６０　　教師データ
　　　６１　　教師画像
　　　６２　　管状組織領域
　　　６３　　病変領域
　　　６４　　修正画像
　　　Ｄ０　　断層画像
　　　Ｇ０　　対象画像
　　　Ｐ１～Ｐ４　端点

Claims (10)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　管状組織を含む医用画像から管状組織領域を抽出し、
    　前記医用画像から前記管状組織領域の周辺にある病変領域を抽出し、
    　前記病変領域の位置情報に基づいて、必要な場合に前記管状組織領域の抽出結果を修正する画像処理装置。
  2. 　前記プロセッサは、
    　前記管状組織領域における分断箇所を特定し、
    　前記病変領域の位置情報に基づいて、前記管状組織領域の前記分断箇所を接続するか否かを判定し、
    　前記分断箇所を接続すると判定した場合に、前記管状組織領域における前記分断箇所を接続するように、前記管状組織領域の抽出結果を修正する請求項１に記載の画像処理装置。
  3. 　前記プロセッサは、前記病変領域の位置情報に基づいて前記分断箇所に前記病変領域が存在するか否かを判定し、前記分断箇所に前記病変領域が存在しないと判定した場合に、前記分断箇所を接続すると判定する請求項２に記載の画像処理装置。
  4. 　前記プロセッサは、前記医用画像、前記管状組織領域および前記病変領域の位置情報が入力されると、必要な場合に、前記管状組織領域の前記抽出結果が修正された前記医用画像を出力する学習済みモデルとして機能する請求項１に記載の画像処理装置。
  5. 　前記プロセッサは、前記管状組織領域に対する修正の有無を識別可能に前記医用画像を表示する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記プロセッサは、前記管状組織領域の抽出結果を修正した場合、前記管状組織領域における修正箇所を識別可能に前記医用画像を表示する請求項５に記載の画像処理装置。
  7. 　前記プロセッサは、前記医用画像に対する前記管状組織領域の経路の修正指示に応じて前記管状組織領域の経路を修正する請求項５または６に記載の画像処理装置。
  8. 　前記管状組織は主膵管であり、
    　前記病変領域は膵臓における病変領域である請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　管状組織を含む医用画像から管状組織領域を抽出し、
    　前記医用画像から前記管状組織領域の周辺にある病変領域を抽出し、
    　前記病変領域の位置情報に基づいて、必要な場合に前記管状組織領域の抽出結果を修正する画像処理方法。
  10. 　管状組織を含む医用画像から管状組織領域を抽出する手順と、
    　前記医用画像から前記管状組織領域の周辺にある病変領域を抽出する手順と、
    　前記病変領域の位置情報に基づいて、必要な場合に前記管状組織領域の抽出結果を修正する手順とをコンピュータに実行させる画像処理プログラム。
PCT/JP2022/018958 2021-06-25 2022-04-26 画像処理装置、方法およびプログラム WO2022270150A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023529660A JPWO2022270150A1 (ja) 2021-06-25 2022-04-26
US18/525,701 US20240095921A1 (en) 2021-06-25 2023-11-30 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-105654 2021-06-25
JP2021105654 2021-06-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/525,701 Continuation US20240095921A1 (en) 2021-06-25 2023-11-30 Image processing apparatus, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2022270150A1 true WO2022270150A1 (ja) 2022-12-29

Family

ID=84545645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018958 WO2022270150A1 (ja) 2021-06-25 2022-04-26 画像処理装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20240095921A1 (ja)
JP (1) JPWO2022270150A1 (ja)
WO (1) WO2022270150A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009145170A1 (ja) * 2008-05-26 2009-12-03 株式会社 日立メディコ 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
WO2013031744A1 (ja) * 2011-08-26 2013-03-07 イービーエム株式会社 血流性状診断のためのシステム、その方法及びコンピュータソフトウエアプログラム
JP2016087139A (ja) * 2014-11-06 2016-05-23 パナソニックＩｐマネジメント株式会社 血管三次元モデル表示装置、方法、及びプログラム
JP2018175379A (ja) * 2017-04-12 2018-11-15 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2019238754A1 (en) * 2018-06-15 2019-12-19 Pie Medical Imaging Bv Method and apparatus for quantitative hemodynamic flow analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009145170A1 (ja) * 2008-05-26 2009-12-03 株式会社 日立メディコ 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
WO2013031744A1 (ja) * 2011-08-26 2013-03-07 イービーエム株式会社 血流性状診断のためのシステム、その方法及びコンピュータソフトウエアプログラム
JP2016087139A (ja) * 2014-11-06 2016-05-23 パナソニックＩｐマネジメント株式会社 血管三次元モデル表示装置、方法、及びプログラム
JP2018175379A (ja) * 2017-04-12 2018-11-15 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2019238754A1 (en) * 2018-06-15 2019-12-19 Pie Medical Imaging Bv Method and apparatus for quantitative hemodynamic flow analysis

Also Published As

Publication number Publication date
US20240095921A1 (en) 2024-03-21
JPWO2022270150A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
US20190021677A1 (en) Methods and systems for classification and assessment using machine learning
US8064677B2 (en) Systems and methods for measurement of objects of interest in medical images
US9471987B2 (en) Automatic planning for medical imaging
US9483832B2 (en) Surgery assistance apparatus and method, and non-transitory recording medium having stored therein surgery assistance program
US20230377149A1 (en) Learning apparatus, learning method, trained model, and program
US20230316550A1 (en) Image processing device, method, and program
JP6734111B2 (ja) 所見情報作成装置及びシステム
US9367893B2 (en) Diagnosis assistance apparatus, method and program
WO2022270150A1 (ja) 画像処理装置、方法およびプログラム
JP2023036805A (ja) 人体部分の撮像方法、コンピュータ、コンピュータ読み取り可能記憶媒体、コンピュータプログラム、および医療システム
US20220000442A1 (en) Image orientation setting apparatus, image orientation setting method, and image orientation setting program
JP7431317B2 (ja) 文書作成支援装置、方法およびプログラム
JP5992853B2 (ja) 手術支援装置、方法およびプログラム
WO2020246192A1 (ja) 修正指示領域表示装置、方法およびプログラム
CN114066802A (zh) 一种用于确定心肌区域中的异常的方法、设备和系统
US20220183759A1 (en) Determining a surgical port for a trocar or laparoscope
US20230394672A1 (en) Medical image processing apparatus, medical image processing method, and program
US20240037738A1 (en) Image processing apparatus, image processing method, and image processing program
WO2022270151A1 (ja) 画像処理装置、方法およびプログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
US20230225681A1 (en) Image display apparatus, method, and program
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
JP7299314B2 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム
WO2022270152A1 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828069

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529660

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE