WO2017037904A1 - 読影支援プログラム、断面画像生成装置及び断面画像生成方法 - Google Patents

読影支援プログラム、断面画像生成装置及び断面画像生成方法 Download PDF

Info

Publication number
WO2017037904A1
WO2017037904A1 PCT/JP2015/075004 JP2015075004W WO2017037904A1 WO 2017037904 A1 WO2017037904 A1 WO 2017037904A1 JP 2015075004 W JP2015075004 W JP 2015075004W WO 2017037904 A1 WO2017037904 A1 WO 2017037904A1
Authority
WO
WIPO (PCT)
Prior art keywords
cross
image
sectional image
specific object
region
Prior art date
Application number
PCT/JP2015/075004
Other languages
English (en)
French (fr)
Inventor
正樹 石原
遠藤 進
昌彦 杉村
武部 浩明
馬場 孝之
上原 祐介
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2017537149A priority Critical patent/JP6677256B2/ja
Priority to CN201580082695.5A priority patent/CN107949330B/zh
Priority to PCT/JP2015/075004 priority patent/WO2017037904A1/ja
Publication of WO2017037904A1 publication Critical patent/WO2017037904A1/ja
Priority to US15/908,238 priority patent/US10588581B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Definitions

  • the present invention relates to an interpretation support program, a sectional image generation device, and a sectional image generation method.
  • the image interpretation support program generates data indicating the first internal structure of the specific object based on the first cross-sectional image group acquired for the specific object, and the specific object Based on the data indicating the second internal structure of the specific object generated based on the second cross-sectional image group acquired in the past about the object, and the data indicating the generated first internal structure, A structural change from the second internal structure is detected for the first internal structure, a new cross section for the specific object is specified based on the detected structural change, and the first cross-sectional image group Based on this, a cross-sectional image of the specific object for the new cross-section is generated, and the generated cross-sectional image is displayed together with information indicating the detected structural change.
  • FIG. 1 is a diagram illustrating an example of a CT image imaging system.
  • FIG. 2 is a diagram illustrating a hardware configuration of the cross-sectional image generation apparatus.
  • FIG. 3 is a diagram (part 1) illustrating the relationship among the processing content of the interpretation support unit in the cross-sectional image generation apparatus, the operation content of the interpretation doctor, and the display content of the parallel display screen.
  • FIG. 4 is a diagram (part 2) illustrating a relationship among the processing content of the interpretation support unit in the cross-sectional image generation device, the operation content of the interpretation doctor, and the display content of the parallel display screen.
  • FIG. 5 is a diagram illustrating an example of information stored in the image DB.
  • FIG. 6 is a diagram showing a factor of local position fluctuation of the comparison target CT image with respect to the comparison source CT image.
  • FIG. 7 is a diagram for explaining the position variation based on the change of the tumor in more detail.
  • FIG. 8 is a diagram for explaining representative vector calculation processing and corresponding region calculation processing.
  • FIG. 9 is a diagram illustrating an image obtained by performing local alignment using a representative vector including the influence of non-rigid deformation.
  • FIG. 10 is a diagram illustrating a functional configuration of the second registration unit.
  • FIG. 11 is a diagram illustrating the processing contents of the convergence region determination unit.
  • FIG. 12 is a diagram illustrating a method of calculating a representative vector when it is determined that there is a convergence region.
  • FIG. 12 is a diagram showing a method of calculating a representative vector when it is determined that there is a convergence region.
  • FIG. 13 is a diagram illustrating a method of calculating a representative vector when it is determined that there is no convergence region.
  • FIG. 14 is a diagram illustrating an image obtained by performing local alignment using a representative vector excluding the influence of non-rigid deformation.
  • FIG. 15 is a diagram illustrating the processing contents of the partial image extraction unit in the first embodiment.
  • FIG. 16 is a diagram illustrating processing contents of the cross-sectional image generation unit 1007 according to the first embodiment.
  • FIG. 17 is a first flowchart of processing executed by the second registration unit.
  • FIG. 18 is a flowchart of the convergence area determination process.
  • FIG. 19 is a flowchart of local alignment processing (other than adenocarcinoma).
  • FIG. 20 is a flowchart of local alignment processing (adenocarcinoma).
  • FIG. 21 is a first flowchart of the cross-section changing process.
  • FIG. 22 is a diagram illustrating processing contents of the partial image extraction unit according to the second embodiment.
  • FIG. 23 is a diagram illustrating the processing contents of the partial image extraction unit in the second embodiment.
  • FIG. 24 is a diagram illustrating processing contents of the cross-sectional image generation unit in the second embodiment.
  • FIG. 25 is a second flowchart of the cross-section changing process.
  • FIG. 26 is a diagram illustrating the processing content of the cross-sectional image generation unit in the third embodiment.
  • FIG. 27 is a third flowchart of the cross-section changing process.
  • FIG. 1 is a diagram illustrating an example of a CT image imaging system.
  • the CT image capturing system 100 includes a CT apparatus 110, a cross-sectional image generation apparatus 120, and an image database (hereinafter, the database is abbreviated as “DB”) 130.
  • the CT apparatus 110 and the cross-sectional image generation apparatus 120 are electrically connected, and various types of data are transmitted and received between the two apparatuses. Further, the cross-sectional image generation device 120 and the image DB 130 are also electrically connected, and various data are transmitted and received between both devices.
  • the CT apparatus 110 scans the inside of a patient using radiation or the like and processes it using a computer, thereby generating a CT image that is a cross-sectional image of a cross-section (reference cross-section) obtained by cutting the patient (hereinafter referred to as a cross-section). Such a process is referred to as “capturing a CT image”).
  • the CT apparatus 110 transmits the captured CT image to the cross-sectional image generation apparatus 120.
  • the cross-sectional image generation apparatus 120 stores the CT image photographed by the CT apparatus 110 in the connected image DB 130.
  • the cross-sectional image generation apparatus 120 processes the CT image photographed by the CT apparatus 110 and displays it on an interpreting doctor or the like (hereinafter simply referred to as “interpreting doctor”).
  • the cross-sectional image generation device 120 generates and displays a cross-sectional image for a cross-section different from the cross-section used when the CT image is generated based on an instruction from the interpreting physician.
  • an interpretation support program is installed in the cross-sectional image generation apparatus 120, and when the interpretation support program is executed by a computer, the cross-section image generation apparatus 120 functions as the interpretation support unit 140 and performs these processes. Execute.
  • the image DB 130 receives CT images taken by the CT apparatus 110 via the cross-sectional image generation apparatus 120, and stores them separately for each of a plurality of CT images (cross-sectional image groups of reference cross sections) taken at the same time. To do.
  • the image interpretation support unit 140 is a function used when an image interpretation doctor interprets a CT image stored in the image DB 130.
  • the interpretation support unit 140 displays, for example, CT images taken at different times in parallel so that the interpretation doctor can interpret the images while comparing them.
  • one of the CT images displayed in parallel for example, a past CT image taken before the lapse of a predetermined period
  • the other eg, taken after the lapse of a predetermined period
  • the most recent CT image is referred to as a “comparison target CT image”.
  • the interpretation support unit 140 enlarges and displays an image of a predetermined region (ROI: Region of interest) including a position designated by the interpretation doctor in the comparison source CT image on the enlarged display screen. Further, the image interpretation support unit 140 extracts an image of a corresponding area corresponding to a predetermined area including the designated position from the comparison target CT image, and displays the enlarged image on the enlarged display screen. In this way, the image interpretation support unit 140 automatically enlarges and displays the image of the predetermined area including the designated position and the image of the corresponding area. For this reason, it is possible for the image interpretation doctor to reduce the load of image interpretation and to save the time and effort of an enlarged display.
  • ROI Region of interest
  • the image interpretation support unit 140 includes a first registration unit 141, a second registration unit 142, and a display control unit 143 in order to execute these processes.
  • the first registration unit 141 is realized, for example, by executing a first registration program by a computer.
  • the first registration unit 141 displays CT images taken at different times in parallel
  • the first registration unit 141 corrects misalignment between the CT images by affine transformation, thereby performing global alignment between the CT images. I do.
  • the second registration unit 142 is realized, for example, by executing a second registration program by a computer.
  • the second registration unit 142 performs local alignment by performing conversion processing on the comparison target CT image when an image of a predetermined region including the position designated by the interpretation doctor is displayed in an enlarged manner, and performs comparison An image of the corresponding region is extracted from the CT image.
  • Various processes are included in the conversion process.
  • the conversion process refers to a parallel movement, and an image of the corresponding region extracted from the comparison target CT image by performing the conversion process. Are referred to as “locally aligned images”.
  • the second registration unit 142 may obtain a cross-sectional image of a cross-section different from the reference cross-section so that the interpreting doctor can appropriately interpret the tumor when the interpreting doctor instructs to change the cross-section. “Cross-section changing process” is generated.
  • the display control unit 143 is realized by, for example, a display program being executed by a computer.
  • the display control unit 143 displays the comparison source CT image selected by the interpretation doctor, and enlarges and displays an image of a predetermined area including the position designated by the interpretation doctor on the enlarged display screen.
  • the display control unit 143 enlarges and displays the image extracted by the second registration unit 142 and subjected to local alignment on the enlarged display screen.
  • the display control unit 143 displays the cross-sectional image generated in the cross-section changing process on the enlarged display screen.
  • FIG. 2 is a diagram illustrating a hardware configuration of the cross-sectional image generation apparatus.
  • the cross-sectional image generation apparatus 120 includes a CPU 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203.
  • the cross-sectional image generation apparatus 120 includes an auxiliary storage unit 204, a connection unit 205, a display unit 206, an operation unit 207, and a drive unit 208.
  • Each unit of the cross-sectional image generation device 120 is connected to each other via a bus 209.
  • the CPU 201 is a computer that executes various programs (for example, a first registration program, a second registration program, a display program, etc.) stored in the auxiliary storage unit 204.
  • ROM 202 is a nonvolatile memory.
  • the ROM 202 functions as a main storage unit that stores various programs, data, and the like necessary for the CPU 201 to execute various programs stored in the auxiliary storage unit 204.
  • a boot program such as BIOS (Basic Input / Output System) or EFI (Extensible Firmware Interface) is stored.
  • RAM 203 is a volatile memory, and includes DRAM (Dynamic Random Access Memory), SRAM (Static Random Access Memory), and the like.
  • the RAM 203 is a main storage unit that provides a work area that is expanded when various programs stored in the auxiliary storage unit 204 are executed by the CPU 201.
  • the auxiliary storage unit 204 is a computer-readable storage device that records various programs installed in the cross-sectional image generation device 120, data generated by executing the various programs, and the like.
  • the connection unit 205 is connected to the CT apparatus 110 and the image DB 130, and transmits and receives various data between the CT apparatus 110 and the image DB 130.
  • the display unit 206 displays the CT image stored in the image DB 130 on the parallel display screen.
  • the operation unit 207 receives various operations performed by the image interpretation doctor on the cross-sectional image generation apparatus 120.
  • the drive unit 208 is a device for setting the recording medium 210.
  • the recording medium 210 herein includes a medium for recording information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like.
  • the recording medium 210 also includes a semiconductor memory that electrically records information, such as a ROM and a flash memory.
  • the various programs stored in the auxiliary storage unit 204 are installed when, for example, the distributed recording medium 210 is set in the drive unit 208 and the various programs recorded in the recording medium 210 are read out by the drive unit 208. Is done. Alternatively, the program is installed by being downloaded from the network via the connection unit 205.
  • 3 and 4 are diagrams (No. 1 and No. 2) showing the relationship between the processing content of the interpretation support unit in the cross-sectional image generation device, the operation content of the interpretation doctor, and the display content of the parallel display screen.
  • a parallel display screen 300 is displayed.
  • the parallel display screen 300 is provided with a function for an interpreting doctor to select a cross-sectional image group of a predetermined part (here, lung) taken at a predetermined time for a predetermined patient as a comparison source CT image group. ing.
  • the parallel display screen 300 has a function for the image interpretation doctor to select, as a comparison target CT image group, a cross-sectional image group of the same part of the same patient photographed at different times in order to compare with the comparison source CT image.
  • a function for inputting and selecting a patient ID, an imaging date and time, an imaging region (here, lungs), and the like is provided.
  • the image interpretation support unit 140 functions as the first registration unit 141, and performs global alignment by correcting each read CT image by using affine transformation such as rotation or translation. .
  • affine transformation such as rotation or translation.
  • the parallel display screen allows the interpretation doctor to specify the position of the tumor portion F in the displayed comparison source CT image.
  • the display control unit 143 displays a predetermined region (ROI: Region of interest) 401 including the designated position of the tumor part F as shown in FIG. Is enlarged and displayed on the enlarged display screen on the comparison source CT image.
  • ROI Region of interest
  • the second registration unit 142 When the image of the predetermined area 401 is enlarged and displayed, the second registration unit 142 performs local alignment with respect to the corresponding area of the comparison target CT image. Thereby, the second registration unit 142 extracts an image of the corresponding region including the position of the tumor portion corresponding to the tumor portion F (an image on which local alignment has been performed). Note that the second registration unit 142 performs focusing determination (details will be described later) when performing local alignment. In addition, the second registration unit 142 notifies the display control unit 143 of an image of the corresponding region obtained by performing the local alignment.
  • the display control unit 143 enlarges and displays the image of the corresponding area 402 notified from the second registration unit 142 on the enlarged display screen on the comparison target CT image. Thereby, the image of the corresponding region 402 including the position of the tumor portion F ′ corresponding to the tumor portion F can be displayed as the image on which the local alignment has been performed.
  • a cross section 411 a schematically shows a reference cross section of the image of the predetermined region 401.
  • the cross section 412a schematically shows the reference cross section of the image of the corresponding region 402.
  • the second registration unit 142 performs a cross-section change process (details will be described later) when an instruction to change the cross-section is received from the interpretation doctor for the image of the corresponding region 402 obtained by performing the local alignment.
  • the second registration unit 142 By performing the cross-section changing process, the second registration unit 142 generates a cross-sectional image of the new cross-section after the change in the predetermined area 401 and the corresponding area 402.
  • the display control unit 143 enlarges and displays the cross-sectional image of the new cross section in the predetermined area 401 and the corresponding area 402 instead of the image of the predetermined area 401 and the image of the corresponding area 402. At this time, the display control unit 143 also displays the display information 431 and 432 for indicating new sections (sections 421a and 422a).
  • a cross section 422a schematically shows a cross section used when the image of the corresponding region 402 is subjected to the cross section changing process.
  • the cross section 421a schematically shows a cross section used when the image of the predetermined area 401 is subjected to the cross section changing process.
  • the cross-sectional position, cross-sectional direction, and cross-sectional angle of the cross-section 421a correspond to the cross-sectional position, cross-sectional direction, and cross-sectional angle of the cross-section 422a.
  • the second registration unit 142 displays a difference vector for a new cross section in the corresponding region 402 when an instruction from the interpreting physician is given to display a vector (difference vector) indicating a focused state with respect to the tumor. .
  • the image of the predetermined region 401 can be enlarged and displayed. Further, by performing local alignment based on the image of the predetermined area 401, the image of the corresponding area 402 can be extracted from the comparison target CT image and can be enlarged and displayed. Furthermore, when an instruction to change the cross section is received from the interpretation doctor, a cross-sectional image of a new cross section that can promote appropriate interpretation of the tumor can be generated and displayed in an enlarged manner on the enlarged display screen. Further, in the cross-sectional image for the new cross-section, a difference vector indicating the state of convergence with respect to the tumor can be displayed.
  • the interpreting doctor can easily grasp the corresponding region between the CT images included in the cross-sectional image groups taken at different times and can appropriately interpret the tumor.
  • the information items include “imaging date / time”, “imaging site”, “series name”, and “cross-sectional image group”.
  • Information on the date and time when the CT image was captured is stored in the “imaging date and time”.
  • Information on a specific object (part) to be imaged is stored in the “imaging part”.
  • the “series name” stores a series name for identifying a series composed of a plurality of CT images obtained by imaging.
  • file names of a plurality of CT images (cross-sectional image group for the reference cross-section) obtained by imaging are stored.
  • the dotted line in FIG. 5 indicates that the CT image of “Image A015” has been selected by the interpretation doctor as the comparison source CT image.
  • the CT image “ImageB018” has been selected by the interpretation doctor as a comparison target CT image.
  • the second registration unit 142 first compares the image with the comparison source CT image. The local position variation of the previous CT image is obtained. And according to the calculated
  • FIG. 6 is a diagram showing a factor of local position fluctuation of the comparison target CT image with respect to the comparison source CT image.
  • an image 610 is extracted from a region on the comparison target CT image having the same coordinates as the predetermined region 401 on the comparison source CT image as shown in FIG. Become.
  • the change in position based on respiration / heartbeat refers to, for example, a change in position accompanying the movement of the diaphragm during respiration. Since the position of the diaphragm varies depending on whether the patient exhales or inhales, the position of each part of the lung varies accordingly. As a result, the comparison source CT image and the comparison destination CT image include local position fluctuations based on respiration and heart rate, unless the patient's breathing state at the time of radiographing is completely the same. Will be.
  • the position variation based on respiration / heartbeat is non-rigid deformation for the entire body, for example, but since the predetermined area 401 is a part of the lung, the entire predetermined area 401 is translated in a predetermined direction. Will do. For this reason, in the predetermined region 401, the position variation based on respiration / heartbeat can be regarded as a rigid body motion.
  • the fluctuation of the position based on the change of the tumor means that a malignant tumor such as adenocarcinoma grows while destroying the alveoli, and the volume of the alveoli decreases by the amount of air retained by the alveoli. This refers to a change in position caused by, for example.
  • the second registration unit 142 extracts the position variation based on respiration / heartbeat by subtracting the position variation based on the change of the tumor (time-dependent change) from the position variation based on these two factors. To do. Then, the second registration unit 142 performs local alignment based on the position variation based on respiration / heartbeat.
  • FIG. 7 is a diagram for explaining the position variation based on the change of the tumor in more detail.
  • FIG. 7A shows the surrounding tissue immediately after a malignant tumor such as an adenocarcinoma has occurred at the position indicated by the tumor center point O.
  • FIG. 7A in the state immediately after the occurrence of the malignant tumor, the distance from the tumor center point O to the point D1 of the bronchi 711 and the distance to the point C1 of the blood vessel 712 are r1.
  • FIG. 7B shows a state in which the peripheral tissue including the bronchi 711 and the blood vessel 712 moved toward the tumor center point O because the malignant tumor grew while destroying the alveoli around the tumor.
  • the distance from the tumor center point O to the point D2 of the bronchus 711 and the distance from the point C2 of the blood vessel 712 to the surrounding tissue moved toward the tumor center point O, respectively.
  • r2 ( ⁇ r1).
  • FIG. 7C shows a state in which the peripheral tissue including the bronchi 711 and the blood vessel 712 has moved further toward the tumor center point O because the malignant tumor further proliferated by destroying the alveoli around the tumor. .
  • the distance from the tumor center point O to the point D3 of the bronchi 711 and the distance to the point C3 of the blood vessel 712 are as follows because the surrounding tissue has moved toward the tumor center point O. r3 ( ⁇ r2).
  • the position variation based on the change of the tumor has a characteristic that the surrounding tissue is directed to the tumor center point O, and can be regarded as non-rigid deformation.
  • the peripheral tissue of the tumor can be roughly divided into a tissue in the tumor region 703, a tissue in the converging region 702, and a tissue in the normal region 701.
  • a portion of the tissue that existed in FIG. 7A disappears due to destruction by a newly appearing malignant tumor, and does not exist in FIG. 7C.
  • the tissue that existed in FIG. 7A is also present in FIG. 7C, but the position of the corresponding tissue varies (B1 ⁇ B2 ⁇ B3).
  • the tissue that existed in FIG. 7A is also present in FIG. 7C, and the position of the corresponding tissue (A1 ⁇ A2 ⁇ A3) hardly fluctuates.
  • the cause of the local position fluctuation between the comparison source CT image and the comparison destination CT image is “respiration / heartbeat” which can be regarded as rigid body motion. "Based on” and “Based on tumor change” resulting in non-rigid deformation.
  • the surrounding tissue of the tumor is roughly divided into a normal region 701, a focused region 702, and a tumor region 703 according to the degree. be able to.
  • the second registration unit 142 performs conversion processing by parallel movement when performing local alignment in the comparison target CT image. That is, a conversion process assuming a rigid body is performed instead of a conversion process assuming a non-rigid body.
  • the second registration unit 142 determines to which position of the comparison target CT image the predetermined area 401 has moved (positional relationship between the predetermined area 401 and the corresponding area 402).
  • the representative vector shown is calculated.
  • FIG. 8 is a diagram for explaining representative vector calculation processing and corresponding region calculation processing.
  • FIG. 8A shows a correspondence vector which is a difference between the position of the feature point included in the predetermined region 401 of the comparison source CT image and the position of the feature point in the comparison destination CT image corresponding to the feature point. (Black arrow) is shown.
  • the region 800 is a region that includes feature points in the comparison target CT image corresponding to feature points included in the predetermined region 401 of the comparison source CT image, and is a region used for calculating a representative vector.
  • the region in the comparison target CT image is referred to as a representative vector calculation target region 800.
  • the predetermined region 401 of the comparison source CT image and the representative vector calculation target region 800 of the comparison destination CT image are the inside of the tumor included in the imaging region (lung) and its surrounding tissue. It is nothing but data indicating the structure.
  • the second registration unit 142 has calculated the representative vector 810 using all the corresponding vectors included in the representative vector calculation target area 800.
  • the image on which the local alignment has been performed can be extracted by executing the process shown in FIG.
  • FIG. 8B shows a state where an image subjected to local alignment is extracted from the comparison target CT image by performing a conversion process by translation using the representative vector 810.
  • the second registration unit 142 translates the region 801 in the comparison target CT image having the same coordinates as the predetermined region 401 of the comparison source CT image based on the representative vector 810. By doing so, the region 802 is obtained. Then, by extracting an image of the region 802 from the comparison target CT image, an image subjected to local alignment is extracted.
  • FIG. 8 (c) shows a breathing / of-breathing vector among the correspondence vectors connecting the position of the feature point included in the predetermined area 401 of the comparison source CT image and the position of the feature point in the comparison destination CT image corresponding to the feature point.
  • the corresponding vector of the position variation (rigid body motion) based on the heartbeat is shown.
  • the corresponding vectors for the rigid body motion are all directed in the same direction, and all have the same length. Note that the corresponding vector for the rigid body motion exists in the normal region 701 and the converging region 702. However, since there is no feature point of the comparison target CT image corresponding to the feature point of the comparison source CT image in the tumor region 703, there is no corresponding vector.
  • FIG. 8D shows a correspondence vector that connects the position of the feature point included in the predetermined region 401 of the comparison source CT image and the position of the feature point in the comparison destination CT image corresponding to the feature point. It shows the corresponding vector of the position fluctuation (non-rigid deformation) based on the change of the tumor.
  • the corresponding vector corresponding to the non-rigid body deformation exists only in the converging region 702 (excluding the tumor region 703) and faces the center direction.
  • the correspondence vector shown in FIG. 8A is a combination of the correspondence vector shown in FIG. 8C and the correspondence vector shown in FIG.
  • the corresponding vector existing at the position corresponding to the focusing area 702 includes a corresponding vector for rigid motion and a corresponding vector for non-rigid deformation. become.
  • the representative vector 810 when the representative vector 810 is calculated including the corresponding vector existing at the position corresponding to the convergence region 702, the representative vector 810 includes the influence of non-rigid deformation. Even if local alignment is performed using such a representative vector 810, alignment with high accuracy cannot be performed.
  • FIG. 9 is a diagram illustrating an image on which local alignment is performed using a representative vector including the influence of non-rigid deformation.
  • the image 900 image of the region 802 of the comparison target CT image
  • the image 600 of the predetermined region 401 of the comparison source CT image are shown superimposed.
  • the positions of the blood vessels 901 to 903 and the tumor portion F ′ included in the image 900 are the positions of the blood vessels 601 to 603 and the tumor portion F included in the image 600 even though local alignment is performed. The position has shifted.
  • the second registration unit 142 of the first embodiment uses the non-rigid body deformation.
  • the representative vector is obtained by eliminating the influence of, and the local alignment is performed.
  • the second registration unit 142 of the first embodiment changes the image of the corresponding region 402 obtained by performing the local alignment into a cross-sectional image in a cross-section where the influence of non-rigid deformation appears more. Perform the change process.
  • the influence of non-rigid deformation that is, the change of the tumor ( It is possible to display a cross-sectional image in which a position variation) based on a change with time) appears more.
  • calculating the position variation based on the change (time-dependent change) of the tumor is equivalent to detecting the structural change of the internal structure of the tumor and the surrounding tissue.
  • the internal structure represented in the image of the representative vector calculation target area 800 is equivalent to detecting a structural change from the internal structure represented in the image of the predetermined area 401.
  • FIG. 10 is a diagram illustrating a functional configuration of the second registration unit.
  • the second registration unit 142 includes a region identification unit 1001, a corresponding vector calculation unit 1002, a convergence region determination unit 1003, a representative vector calculation unit 1004, and an alignment unit 1005. .
  • the second registration unit 142 includes a partial image extraction unit 1006 and a cross-sectional image generation unit 1007.
  • the area identifying unit 1001 identifies a predetermined area 401 that includes a position designated by an interpreting physician. Specifically, the coordinates on the comparison source CT image for specifying the position of the predetermined area 401 are acquired.
  • Corresponding vector calculation unit 1002 extracts feature points from predetermined region 401 of the comparison source CT image identified by region identifying unit 1001. In addition, the correspondence vector calculation unit 1002 searches each feature point in the comparison target CT image corresponding to each extracted feature point. Further, the correspondence vector calculation unit 1002 determines the correspondence vector based on the difference between the position of each feature point extracted from the comparison source CT image and the position of each feature point in the comparison destination CT image corresponding to each feature point. Is calculated.
  • the convergence area determination unit 1003 determines whether the representative vector calculation target area 800 includes the convergence area 702 based on the corresponding vector calculated by the corresponding vector calculation section 1002. If it is determined that the convergence region 702 is included, the convergence region determination unit 1003 calculates the boundary position between the normal region 701 and the convergence region 702. Furthermore, the convergence region determination unit 1003 notifies the representative vector calculation unit 1004 of the determination result of whether or not the convergence region 702 is included and the calculation result of the boundary position between the normal region 701 and the convergence region 702.
  • the representative vector calculation unit 1004 calculates a representative vector in the representative vector calculation target region 800 based on the corresponding vector calculated by the corresponding vector calculation unit 1002. If the representative vector calculation unit 1004 determines that the representative vector calculation target region 800 does not include the convergence region 702, the representative vector calculation unit 1004 calculates all the corresponding vectors in the representative vector calculation target region 800 (excluding the tumor region). To calculate a representative vector. On the other hand, when it is determined that the representative vector calculation target region 800 includes the converging region 702, among the corresponding vectors in the representative vector calculation target region 800, the corresponding vectors included in the converging region (and the tumor region). A representative vector is calculated using the corresponding vector excluding.
  • the representative vector calculation unit 1004 performs an averaging process when calculating the representative vector using the corresponding vector.
  • the alignment unit 1005 extracts an image of the corresponding region 402 corresponding to the predetermined region 401 from the comparison target CT image based on the representative vector calculated by the representative vector calculation unit 1004. Specifically, the alignment unit 1005 calculates the coordinate after movement by moving the coordinate specifying the position of the predetermined region 401 using the representative vector on the comparison target CT image. Further, the alignment unit 1005 extracts an image of a region (corresponding region 402) specified by the calculated coordinates after movement from the comparison target CT image, thereby acquiring an image subjected to local alignment.
  • the region identifying unit 1001 to the alignment unit 1005 not only execute the process on the comparison source CT image and the comparison target CT image, but also on the CT images of the previous and subsequent layers. A similar process is executed.
  • the region identification unit 1001 generates an image of the predetermined region 401, which is data indicating the internal structure of the tumor and its surrounding tissue, based on the comparison source CT image and the CT images of each layer before and after the comparison source CT image. Functions as a generating means.
  • the correspondence vector calculation unit 1002 is an image of the representative vector calculation target region 800, which is data indicating the tumor and the surrounding internal structure based on the comparison target CT image and the CT images of each layer before and after the comparison target CT image. Functions as a generating means for generating
  • the convergence region determination unit 1003 detects a structural change based on the image of the predetermined region 401 generated by the region identification unit 1001 and the image of the representative vector calculation target region 800 generated by the corresponding vector calculation unit 1002. Functions as a detection means.
  • the partial image extraction unit 1006 identifies a cross-section different from the reference cross-section with respect to the corresponding region 402 when an instruction to change the cross-section is received from the interpretation doctor. Further, the partial image extraction unit 1006 extracts a partial image for generating a cross-sectional image for the specified cross-section from the comparison target CT image and the CT images of the respective layers before and after the comparison target CT image. Similarly, the partial image extraction unit 1006 identifies a cross section different from the reference cross section for the predetermined region 401. The partial image extraction unit 1006 extracts a partial image for generating a cross-sectional image for the specified cross-section from the comparison source CT image and the CT images of the respective layers before and after the comparison source CT image.
  • the cross-sectional image generation unit 1007 generates a cross-sectional image for a cross-section different from the reference cross-section and notifies the display control unit 143 of it. Specifically, the cross-sectional image generation unit 1007 generates a cross-sectional image using the partial image extracted by the partial image extraction unit 1006 from the CT image of each layer before and after the comparison source CT image and the comparison source CT image, and performs display control. Notification to the unit 143. In addition, the cross-sectional image generation unit 1007 generates a cross-sectional image using the partial image extracted from the comparison target CT image and the CT images of each layer before and after the comparison target CT image by the partial image extraction unit 1006, and sends the cross-sectional image to the display control unit 143. Notice. Note that when the cross-sectional image generation unit 1007 notifies the generated cross-sectional image to the display control unit 143, the cross-sectional image generation unit 1007 also notifies display information 431 and 432 for indicating the cross-section used for generation.
  • the cross-sectional image generation unit 1007 calculates the difference vector included in the partial image extracted from the CT image of each layer before and after the comparison target CT image and the comparison target CT image, Superimpose on the generated cross-sectional image. Further, the cross-sectional image generation unit 1007 notifies the display control unit 143 of a cross-sectional image on which the difference vector is superimposed.
  • the cross-sectional image generation unit 1007 functions as a generation unit that generates a cross-sectional image for a new cross-section different from the reference cross-section.
  • the display control unit 143 functions as a display unit that displays the generated cross-sectional image together with a difference vector (information indicating a structural change).
  • the processing content of each unit will be described.
  • FIG. 11 is a diagram illustrating the processing contents of the convergence region determination unit.
  • the center to the edge of the representative vector calculation target area 800 is divided into sections having a predetermined step size in a rectangular frame shape, and the representative vector calculation target area 800 is divided into the representative vector calculation target areas 800 based on the corresponding vectors of the sections. It shows a state in which it is determined whether or not the convergence region 702 is included.
  • the distance from the center to the edge of the representative vector calculation target area 800 is R, and the step size is ⁇ R. Further, here, a case of dividing into a rectangular frame shape will be described, but instead of dividing into a rectangular frame shape, it may be divided into an annular shape.
  • the convergence area determination unit 1003 extracts corresponding vectors included in the partition group 1101 (hatching area in the representative vector calculation target area 800 shown at the left end in FIG. 11) within the range of R to (R ⁇ R). Further, the convergence region determination unit 1003 is included in the partition group 1102 (hatching region in the representative vector calculation target region 800 shown in the center of FIG. 11) within the range of (R ⁇ R) to (R ⁇ R ⁇ 2). Extract corresponding vectors.
  • region determination part 1003 calculates the difference of the adjacent corresponding vectors between the corresponding vector of the division group 1101, and the corresponding vector of the division group 1102 among the extracted corresponding vectors, and calculates
  • Each vector in the representative vector calculation target region 800 shown at the right end of FIG. 11 shows an example of a difference vector calculated based on the corresponding vector of the section group 1101 and the corresponding vector of the section group 1102.
  • the convergence region determination unit 1003 determines the direction of the difference vector when the difference vector obtained in this way is larger than a predetermined threshold. Further, when it can be considered that the direction of the difference vector is toward the center direction of the representative vector calculation target region 800, the convergence region determination unit 1003 determines that the convergence region is included. In addition, the convergence region determination unit 1003 determines the boundary position between the two partition groups where the corresponding vectors used when calculating the difference vector used for determining that the convergence region is included, as the normal region 701. Is determined as a boundary position between the focusing area 702 and the focusing area 702.
  • the convergence region determination unit 1003 first obtains a difference vector using a corresponding vector extracted from the partition group 1101 located on the outermost side of the representative vector calculation target region 800. This is because the corresponding vector is a corresponding vector that is not affected by the position variation based on the change of the tumor, and can be estimated as the corresponding vector accompanying the position variation based on respiration / heartbeat.
  • the convergence region determination unit 1003 calculates a difference between adjacent corresponding vectors. This is because there is no significant difference in position variation based on respiration / heartbeat between adjacent corresponding vectors, and the influence of position variation based on respiration / heartbeat can be subtracted by calculating the difference.
  • a difference vector (however, a difference vector having a magnitude equal to or larger than a predetermined threshold) obtained by calculating a difference between adjacent corresponding vectors is a corresponding vector corresponding to a change in position based on a change in tumor (that is, It can be said that the information indicates structural change).
  • the focus area determination unit 1003 determines the direction of the difference vector because the corresponding vector in the focus area has a characteristic that it points in the direction of the tumor center point O. This is because it is effective for identifying.
  • FIG. 12 is a diagram illustrating a method of calculating a representative vector when it is determined that there is a convergence region.
  • the representative vector calculating unit 1004 selects a corresponding vector existing in the converging region 702 among the corresponding vectors calculated in the representative vector calculation target region 800. Except for the representative vector. In the example of FIG. 12A, fifteen corresponding vectors (black arrows) are calculated in the representative vector calculation target region 800, and four of the corresponding vectors existing in the focusing region 702 are excluded. A representative vector is calculated using the corresponding vectors.
  • the representative vector 1200 indicates a representative vector calculated using 11 corresponding vectors. In this way, by removing the four corresponding vectors existing in the convergence region 702, the influence of non-rigid body deformation (that is, the position variation based on the change (time-dependent change) of the tumor) is eliminated, and the representative vector is obtained. Can be sought.
  • FIG. 12B shows a state in which an image subjected to local alignment is extracted from the comparison target CT image by performing a conversion process by translation using the representative vector 1200.
  • the second registration unit 142 translates a region 801 in the comparison target CT image corresponding to the predetermined region 401 of the comparison source CT image according to the representative vector 1200.
  • the corresponding area 402 can be obtained.
  • the second registration unit 142 can extract an image on which local alignment has been performed.
  • FIG. 13 is a diagram illustrating a method of calculating a representative vector when it is determined that there is no convergence region.
  • the representative vector calculation unit 1004 obtains a representative vector using each corresponding vector calculated in the representative vector calculation target region 800.
  • the corresponding vector included in the tumor region 703 is excluded. Since there is no corresponding point in the tumor region 703 because there is no corresponding point of the feature point, the representative vector is calculated regardless of whether or not the corresponding vector existing in the tumor region 703 is excluded. Are the same.
  • 15 corresponding vectors are calculated in the representative vector calculation target area 800, and the representative vector calculation unit 1004 calculates a representative vector using these.
  • a representative vector 1300 indicates a representative vector calculated using 15 corresponding vectors.
  • FIG. 13B shows a state where an image subjected to local alignment is extracted from the comparison target CT image by performing a conversion process by translation using the representative vector 1300.
  • the second registration unit 142 translates an area 801 in the comparison target CT image corresponding to the predetermined area 401 of the comparison source CT image according to the representative vector 1300.
  • the corresponding area 402 can be obtained.
  • the second registration unit 142 can extract an image on which local alignment has been performed.
  • FIG. 14 is a diagram illustrating an image obtained by performing local alignment using a representative vector excluding the influence of non-rigid deformation.
  • FIG. 14 shows the image 1400 in the corresponding region 402 of the comparison target CT image and the image 600 of the predetermined region 401 of the comparison source CT image in an overlapping manner.
  • the positions of the blood vessels 1401 to 1403 and the tumor portion F ′ included in the image 1400 are substantially the same as the positions of the blood vessels 601 to 603 and the tumor portion F included in the image 600. That is, in the case of the image 1400, the position variation based on the heartbeat / respiration is cancelled.
  • the blood vessels 1402 and 1403 among the blood vessels 1402 and 1403, the blood vessels located around the tumor portion F ′ are displaced from the blood vessels located near the tumor portion F among the blood vessels 601 to 603 included in the image 600. ing. That is, in the case of the image 1400, the influence of the position variation based on the change of the tumor remains.
  • FIG. 15 is a diagram illustrating processing contents of the partial image extraction unit.
  • FIG. 15A shows display information 432 for showing a cross section.
  • 15A represents the left-right direction of the patient, and the y-axis represents the front-back direction of the patient.
  • the z axis represents the up and down direction of the patient.
  • FIGS. 15B and 15C show the corresponding regions and partial images of each layer before and after the comparison target CT image.
  • FIG. 16 is a diagram illustrating the processing contents of the cross-sectional image generation unit 1007.
  • the cross-sectional image generation unit 1007 generates a cross-sectional image (a cross-sectional image for the cross-section 422a) based on the partial images 1511 to 1517 (see FIG. 15) extracted by the partial image extraction unit 1006.
  • the cross-sectional image 422 for the cross-section 422a is a cross-sectional image when the surrounding tissue of the patient's tumor is viewed from a direction substantially orthogonal to the cross-section 422a.
  • the number and size of the difference vectors included in the cross-sectional image 1600 for the cross section 412a are not equal to the number and size of the differential vectors included in the cross-sectional image 422 for the cross section 422a.
  • the interpreting physician it is easier to find the focus on the tumor by interpreting a cross-sectional image of a cross-section with a large amount of tissue movement, and it is possible to judge without error that the tumor is an adenocarcinoma Is expensive.
  • the cross-sectional image generation unit 1007 generates a cross-sectional image of the predetermined cross-section 422a having a large amount of tissue movement, and makes it available to the interpreting doctor for interpretation.
  • the number of difference vectors included in the cross-sectional image 422 for the cross-section 422a is seven (422_1 to 422_7), and the size of the vector is also large.
  • the interpreting doctor can easily find the focus on the tumor. As a result, the interpreting physician can determine without error that the tumor is an adenocarcinoma.
  • FIG. 17 is a first flowchart of processing executed by the second registration unit.
  • step S1701 the region identifying unit 1001 identifies a predetermined region 401 centering on the position of the tumor portion F designated by the radiogram interpreter in the comparison source CT image.
  • step S1702 the correspondence vector calculation unit 1002 extracts feature points from the predetermined region 401 of the comparison source CT image identified by the region identification unit 1001. Further, each feature point in the comparison target CT image corresponding to each extracted feature point is searched and extracted.
  • step S1703 the convergence region determination unit 1003 extracts a region including each feature point extracted from the comparison target CT image as the representative vector calculation target region 800.
  • step S1704 the correspondence vector calculation unit 1002 performs the correspondence based on the difference between the position of each feature point extracted from the comparison source CT image and the position of each feature point in the comparison destination CT image corresponding to the feature point. Calculate the vector.
  • step S1705 the converging area determination unit 1003 determines whether the converging area 702 is included in the representative vector calculation target area 800 based on the calculated corresponding vector. When it is determined that the convergence region 702 is included, the convergence region determination unit 1003 calculates a boundary position between the normal region 701 and the convergence region 702. A detailed flowchart of the focusing area determination process in step S1705 will be described later.
  • step S1706 the representative vector calculation unit 1004 determines the presence / absence of the convergence region 702 based on the result of the convergence region determination process (step S1705). If it is determined in step S1706 that the focusing area 702 is not included (“No” in step S1706), the process proceeds to step S1707.
  • step S1707 the representative vector calculation unit 1004 and the alignment unit 1005 perform local alignment processing according to a tumor other than adenocarcinoma. A detailed flowchart of the local alignment process (other than adenocarcinoma) in step S1707 will be described later.
  • step S1708 the representative vector calculation unit 1004 notifies the display control unit 143 of the image subjected to the local alignment as an image of the corresponding region 402. As a result, the image subjected to the local alignment is enlarged and displayed on the enlarged display screen.
  • step S1706 determines whether the focusing area 702 is included (“Yes” in step S1706). If it is determined in step S1706 that the focusing area 702 is included (“Yes” in step S1706), the process proceeds to step S1709.
  • step S1709 the representative vector calculation unit 1004 and the alignment unit 1005 perform local alignment processing according to the adenocarcinoma. A detailed flowchart of the local alignment process (adenocarcinoma) in step S1709 will be described later.
  • step S1710 the representative vector calculation unit 1004 notifies the display control unit 143 of the image 1400 that has been subjected to the local alignment as an image of the corresponding region 402. As a result, the image 1400 that has undergone local alignment in step S1709 is enlarged and displayed on the enlarged display screen.
  • step S1711 the partial image extraction unit 1006 determines whether or not a cross-section change instruction (or both a cross-section change instruction and a difference vector display instruction) is input for the image 1400 enlarged and displayed on the enlarged display screen.
  • step S1711 If it is determined in step S1711 that a cross-section change instruction has not been input (“No” in step S1711), the processing by the second registration unit is terminated. On the other hand, if it is determined in step S1711 that a cross-section change instruction has been input (“Yes” in step S1711), the process proceeds to step S1712.
  • step S1712 the partial image extraction unit 1006 causes the region identification unit 1001 to the alignment unit 1005 to execute the processing from step S1701 to steps S1706 and S1709 for the CT images of each layer before and after the comparison target CT image. Instruct.
  • the partial image extraction unit 1006 also extracts a partial image 1511 from images of corresponding regions (corresponding regions 1501 to 1503, 402, and 1505 to 1507) included in the comparison target CT image and the CT images of each layer before and after the comparison target CT image. ⁇ 1517 are extracted. Further, the cross-sectional image generation unit 1007 generates a cross-sectional image (a cross-sectional image 422 for the cross-section 422a) based on the extracted partial images 1511 to 1517, and notifies the display control unit 143 of it.
  • the partial image extraction unit 1006 extracts a partial image from a comparison source CT image and a predetermined region included in the CT images of each layer before and after the comparison source CT image. Furthermore, the cross-sectional image generation unit 1007 generates a cross-sectional image based on the extracted partial image, and notifies the display control unit 143 of it. As a result, the cross-sectional image obtained by performing the cross-section changing process in step S ⁇ b> 1712 is enlarged and displayed on the enlarged display screen instead of the image 600 of the predetermined area 401. A detailed flowchart of the cross-section changing process in step S1712 will be described later.
  • FIG. 18 is a flowchart of the convergence area determination process.
  • step S1801 the convergence region determination unit 1003 divides the center (tumor center point O) of the representative vector calculation target region 800 from the edge into an annular shape or a rectangular frame shape with a step width ⁇ R.
  • step S1802 the convergence region determination unit 1003 substitutes 1 for the counter i.
  • step S1803 the converging area determination unit 1003 is positioned in the partition group in the range of (R ⁇ R ⁇ (i ⁇ 1)) to (R ⁇ R ⁇ i), and inside the partition group (side closer to the tumor).
  • the partition groups in the range of (R ⁇ R ⁇ i) to (R ⁇ R ⁇ (i + 1)) are extracted.
  • step S1804 the convergence region determination unit 1003 calculates a difference vector by calculating a difference between adjacent corresponding vectors among the extracted corresponding vectors in each segment group.
  • step S1805 the convergence region determination unit 1003 determines whether the magnitude of the difference vector is equal to or less than a threshold value. If it is determined in step S1805 that the value is equal to or smaller than the threshold value (“Yes” in step S1805), the process proceeds to step S1806, and the counter i is incremented.
  • step S1807 the convergence region determination unit 1003 determines whether i ⁇ R / ⁇ R is satisfied. If it is determined that it is not established (“No” in step S1807), the convergence region determination unit 1003 determines that there is a partition group further inside (side closer to the tumor), and returns to step S1803.
  • step S1807 when it is determined in step S1807 that i ⁇ R / ⁇ R is established (“Yes” in step S1807), the convergence region determination unit 1003 determines that the difference vectors have been calculated for all the partition groups, and the process proceeds to step S1808. move on.
  • step S1808 the convergence region determination unit 1003 determines that the representative vector calculation target region 800 does not include the convergence region 702, and ends the convergence region determination process.
  • step S1805 determines whether the magnitude of the difference vector is larger than the threshold (“No” in step S1805). If it is determined in step S1805 that the magnitude of the difference vector is larger than the threshold (“No” in step S1805), the process proceeds to step S1809. In step S1809, the convergence region determination unit 1003 determines whether the direction of the difference vector is toward the center direction of the representative vector calculation target region 800.
  • step S1809 If it is determined in step S1809 that the direction is not toward the center (“No” in step S1809), the process proceeds to step S1806. On the other hand, if it is determined in step S1809 that the direction is toward the center (“Yes” in step S1809), the process proceeds to step S1810.
  • step S1810 the focusing area determination unit 1003 determines that the representative vector calculation target area 800 includes the focusing area 702, and proceeds to step S1811.
  • step S1811 the convergence region determination unit 1003 determines that the position of the distance (R ⁇ R ⁇ i) from the center of the representative vector calculation target region 800 is the boundary position between the normal region 701 and the convergence region 702, and the convergence region. The determination process ends.
  • FIG. 19 is a flowchart of local alignment processing (other than adenocarcinoma).
  • step S1901 the representative vector calculation unit 1004 masks the tumor region 703 in the representative vector calculation target region 800.
  • step S1902 the representative vector calculation unit 1004 calculates a representative vector using a corresponding vector of a region other than the tumor region 703 masked in step S1901 among the corresponding vectors included in the representative vector calculation target region 800.
  • step S1903 the alignment unit 1005 extracts an image of the corresponding region 402 corresponding to the predetermined region 401 from the comparison target CT image using the calculated representative vector. Thereby, it is possible to extract an image on which local alignment has been performed.
  • FIG. 20 is a flowchart of local alignment (adenocarcinoma).
  • the representative vector calculation unit 1004 masks the converging region 702 including the tumor region 703 in the representative vector calculation target region 800.
  • step S1912 the representative vector calculation unit 1004 calculates a representative vector using a corresponding vector in a region other than the converging region 702 masked in step S1911 among the corresponding vectors included in the representative vector calculation target region 800.
  • step S1913 the alignment unit 1005 extracts the image 1400 of the corresponding area 402 corresponding to the predetermined area 401 from the comparison target CT image using the calculated representative vector. Thereby, it is possible to extract an image on which local alignment has been performed.
  • FIG. 21 is a flowchart of the cross-section changing process.
  • the partial image extraction unit 1006 identifies a predetermined cross section.
  • the predetermined cross section is a plane including a tumor, and is a cross section 412a obtained by rotating the reference cross section around a predetermined axis (cross section direction) by a predetermined cross section angle.
  • the predetermined cross section may be determined in advance or may be instructed by an image interpretation doctor.
  • step S2002 the partial image extraction unit 1006 sends the layer identification unit 1001 to the corresponding vector calculation unit 1002 to the layer between the layers before and after the comparison source CT image and the layers before and after the comparison destination CT image. It is instructed to calculate the corresponding vector for each. As a result, the region identifying unit 1001 to the corresponding vector calculating unit 1002 calculate the corresponding vector for each layer between each layer before and after the comparison source CT image and each layer before and after the comparison target CT image.
  • step S2003 the partial image extraction unit 1006 instructs the convergence region determination unit 1003 to execute a convergence region determination process for each layer.
  • region determination part 1003 performs the convergence area
  • the contents of the focusing area determination process executed in each layer are the same as the focusing area determination process described with reference to FIG. 18, and thus detailed description thereof is omitted here.
  • step S2004 the partial image extraction unit 1006 instructs the representative vector calculation unit 1004 and the alignment unit 1005 to execute local alignment processing for each layer.
  • the representative vector calculation unit 1004 and the alignment unit 1005 execute the local alignment process for each layer. Note that the content of the local alignment processing executed in each layer has been described with reference to FIG. 20, and thus detailed description thereof is omitted here.
  • step S2005 the partial image extraction unit 1006 acquires the images (corresponding regions 1501 to 1503, 402, and 1505 to 1507) on which the local alignment has been performed in step S2004. Further, the partial image extraction unit 1006 extracts partial images 1511 to 1517 corresponding to the cross section (422a) specified in step S2001 from the acquired images of the corresponding regions 1501 to 1503, 402, and 1505 to 1507, respectively.
  • step S2006 the cross-sectional image generation unit 1007 generates a cross-sectional image (cross-sectional image 422 for the cross-section 422a) based on the partial images 1511 to 1517 extracted in step S2005. If a difference vector display instruction has been input, the difference vectors included in the partial images extracted in step S2005 are acquired together and superimposed on the cross-sectional image 422.
  • step S2007 the cross-sectional image generation unit 1007 notifies the display control unit 143 of the generated cross-sectional image 422 and display information 432 for indicating the cross-section 422a used in generating the cross-sectional image 422.
  • the flowchart in FIG. 21 is a flowchart when the cross-section changing process is performed on the image 1400 in the corresponding area 402, but the same applies when the cross-section changing process is performed on the image 600 in the predetermined area 401.
  • Steps S2005 to S2007 in the flowchart shown in FIG. 21 are executed.
  • Step S2005 is executed by replacing "comparison target CT image" with "comparison source CT image”.
  • the image of the predetermined region 401 is enlarged and displayed. Further, the local alignment is performed based on the image of the predetermined area 401, whereby the image of the corresponding area 402 is extracted from the comparison target CT image and displayed in an enlarged manner.
  • the interpreting physician can easily grasp the corresponding region between the CT images included in the cross-sectional image groups taken at different times, and can appropriately interpret the tumor. become.
  • the comparison CT image and the corresponding region image included in each layer before and after the comparison CT image are used according to the new section. Extract partial images. Furthermore, a difference vector (information indicating the focusing state of the surrounding tissue of the tumor) included in the extracted partial image is extracted. Furthermore, the generated cross-sectional image (the generated cross-sectional image and the difference vector when there is an instruction to display the difference vector) is enlarged and displayed.
  • the cross-sectional image generation device 120 generates and displays a cross-sectional image of a predetermined cross-section or a cross-section instructed by an interpreting doctor.
  • cross-sectional images for various cross-sections are generated, and the degree of structural change (with respect to the tumor) is determined based on a difference vector (information indicating structural change) included in each cross-sectional image.
  • An evaluation value indicating the degree of convergence) is calculated.
  • the cross-sectional image having the highest evaluation value is enlarged and displayed on the enlarged display screen. This makes it possible to display the tumor and the focused state on the cross section where the focus on the tumor is most apparent among various cross sections.
  • the second embodiment will be described focusing on differences from the first embodiment.
  • 22 and 23 are diagrams illustrating processing contents of the partial image extraction unit in the second embodiment.
  • the partial image extraction unit 1006 in the second embodiment extracts a partial image corresponding to the cross section 2101a around the x axis in addition to the partial image corresponding to the cross section 422a around the y axis.
  • the partial image extraction unit 1006 applies a cross-section 2101a among images of corresponding regions 1501 to 1503, 402, and 1505 to 1507 included in the comparison target CT image and the CT images of each layer before and after the comparison target CT image. Corresponding partial images 2111 to 2117 are extracted.
  • the partial image extraction unit 1006 in the second embodiment extracts a partial image corresponding to the cross section 2102a around the z axis.
  • the partial image extraction unit 1006 applies a cross-section 2102a among the images of the corresponding regions 1501 to 1503, 402, and 1505 to 1507 included in the comparison target CT image and the CT images of each layer before and after the comparison target CT image. Corresponding partial images 2121 to 2127 are extracted.
  • FIG. 24 is a diagram illustrating processing contents of the cross-sectional image generation unit in the second embodiment.
  • the cross-sectional image generation unit 1007 is configured for each of a plurality of cross-sections obtained by changing the cross-section angles around the x-axis, y-axis, and z-axis with a constant step size.
  • a cross-sectional image is generated.
  • the cross-sectional image generation unit 1007 in the second embodiment acquires a difference vector included in each of the generated plurality of cross-sectional images.
  • the cross-sectional image generation unit 1007 in the second embodiment divides a radial region outward from the tumor center point O at a predetermined angular interval for each cross-sectional image, and the vector length is the maximum from each radial region.
  • the difference vector is extracted.
  • the cross-sectional image generation unit 1007 in the second embodiment adds the evaluation values corresponding to the vector lengths of the respective differential vectors extracted from the radial regions, and calculates the total value of the evaluation values for the respective cross-sectional images. .
  • the reason why the radial region and the maximum difference vector are used in this way is to make it easier for an interpreting physician to determine convergence.
  • tissue such as blood vessels around the tumor has moved greatly and that the tissue is moving toward the center of the tumor.
  • the maximum difference vector is used for calculation of the evaluation value.
  • the maximum difference vector in each radial region is used for calculation of the evaluation value. I did it.
  • the cross-sectional image generation unit 1007 has generated cross-sectional images 2210 to 2212 for the cross-sections 2210a to 2212a and acquired the difference vectors 2210_1 and 2210_2 in the cross-sectional image 2210. Further, it is shown that the cross-sectional image generation unit 1007 determines that the difference vectors 2210_1 and 2210_2 are the difference vectors having the maximum vector length in each radial region. Further, it is shown that the evaluation values corresponding to the vector lengths of the difference vectors 2210_1 and 2210_2 are calculated as “0.8” and “0.9”, respectively.
  • the cross-sectional image generation unit 1007 calculates the total value of the evaluation values of the cross-sectional image 2210 as “1.7”.
  • the total value of the evaluation values of the cross-sectional image 2211 is further calculated as “1.1”, and the total value of the evaluation values of the cross-sectional image 2212 is calculated as “2.4”. Yes.
  • FIG. 24B shows that the cross-sectional image generation unit 1007 generates cross-sectional images 2220 to 2222 for the cross-sections 2220a to 2222a and acquires the difference vector 2220_1 in the cross-sectional image 2220. Further, the cross-sectional image generation unit 1007 determines the difference vector 2220_1 as the difference vector having the maximum vector length in each radial region, and sets the evaluation value according to the vector length of the difference vector 2220_1 to “0.2. "It shows that it was calculated.
  • the cross-sectional image generation unit 1007 calculates the total value of the evaluation values of the cross-sectional image 2220 as “0.2”.
  • the total value of the evaluation values of the cross-sectional image 2221 is further calculated as “0.1”, and the total value of the evaluation values of the cross-sectional image 2222 is calculated as “0.5”. Yes.
  • the cross-sectional image generation unit 1007 generates cross-sectional images 2230 to 2232 for the cross-sections 2230a to 2232a, and acquires the difference vectors 2230_1 to 2230_6 in the cross-sectional image 2230. Further, it is shown that the cross-sectional image generation unit 1007 determines that the difference vectors 2230_2, 2230_3, 2230_4, 2230_5, and 2230_6 are the difference vectors having the maximum vector length in each radial region. Further, the cross-sectional image generation unit 1007 sets evaluation values corresponding to the vector lengths of the difference vectors 2230_2, 2230_3, 2230_4, 2230_5, and 2230_6 to “0.5”, “0.4”, and “0.1”, respectively. , “0.8” and “0.8”.
  • the cross-sectional image generation unit 1007 calculates the total value of the evaluation values of the cross-sectional image 2230 as “2.7”.
  • the total evaluation value of the cross-sectional image 2231 is further calculated as “2.2”
  • the total evaluation value of the cross-sectional image 2232 is calculated as “2.4”. Yes.
  • the cross-sectional image generation unit 1007 compares the total evaluation values of the plurality of cross-sectional images 2210 to 2212, 2220 to 2222, and 2230 to 2232, and determines a cross-sectional image that maximizes the total evaluation value.
  • the cross-sectional image generation unit 1007 notifies the display control unit 143 of the cross-sectional image 2230. Accordingly, the display control unit 143 can enlarge and display the cross-sectional image 2230 in which the focus on the tumor appears most among the generated various cross-sectional images on the enlarged display screen.
  • the display control unit 143 If a difference vector display instruction has been input, the display control unit 143 is notified of the difference vectors 2230_1 to 2230_6 included in the cross-sectional image 2230. Thereby, the display control unit 143 can enlarge and display the difference vectors together.
  • the cross-sectional image generation unit 1007 functions as a specifying unit that specifies a new cross-section different from the reference cross-section based on the information (difference vector) indicating the structural change.
  • FIG. 25 is a flowchart of the cross-section changing process. Steps S2301 to S2303 are the same as steps S2002 to S2004 in FIG.
  • step S2304 the partial image extraction unit 1006 sets the rotation axis when changing the angle of the cross section with a constant step size.
  • the partial image extraction unit 1006 is set in the order of x axis ⁇ y axis ⁇ z axis. Here, it is assumed that the x-axis is first set as the rotation axis.
  • step S2305 the partial image extraction unit 1006 sets a cross-sectional angle.
  • step S2306 the partial image extraction unit 1006 extracts a partial image corresponding to the cross section specified by the set rotation axis and cross section angle from the comparison target CT image and the respective layers before and after the comparison target CT image.
  • step S2307 the cross-sectional image generation unit 1007 generates a cross-sectional image based on the extracted partial image.
  • the cross-sectional image generation unit 1007 generates a cross-sectional image 2210.
  • step S2308 the cross-sectional image generation unit 1007 calculates the total value of the evaluation values in the generated cross-sectional image. For example, the cross-sectional image generation unit 1007 calculates “1.7” as the total value of the evaluation values in the cross-sectional image 2210.
  • step S2309 the cross-sectional image generation unit 1007 determines whether cross-sectional images have been generated for all cross-sectional angles. If it is determined in step S2309 that there is a cross-sectional angle for which a cross-sectional image has not been generated (“No” in step S2309), the process returns to step S2305, and the cross-sectional angle is changed by a certain step size, and steps S2306 to S2306 are performed. S2308 is executed.
  • step S2309 if it is determined in step S2309 that cross-sectional images have been generated for all cross-sectional angles (“Yes” in step S2309), the process proceeds to step S2310.
  • step S2310 the partial image extraction unit 1006 determines whether all the rotation axes have been set. If it is determined in step S2310 that there is an unset rotation axis (“No” in step S2310), the process proceeds to step S2304. Here, since only the x-axis is set, the process returns to step S2304, and after setting the y-axis, the processing of steps S2305 to S2309 is executed. Further, after setting the z-axis, the processes in steps S2305 to S2309 are executed.
  • step S2310 When it is determined in step S2310 that all the rotation axes have been set (“Yes” in step S2310), the process proceeds to step S2311.
  • step S2311 the cross-sectional image generation unit 1007 compares the total evaluation value in each generated cross-sectional image, and identifies the cross-sectional image for which the maximum total evaluation value is calculated. Furthermore, the cross-sectional image generation unit 1007 notifies the display control unit 143 of the identified cross-sectional image and display information 432 for indicating the cross-section used when generating the identified cross-sectional image.
  • cross-sectional images for various cross-sections are generated, and the degree of structural change (degree of focusing on the tumor) based on the difference vector included in each cross-sectional image.
  • the cross-sectional image having the highest evaluation value is identified, and the identified cross-sectional image is enlarged and displayed.
  • the second embodiment it is possible to display the tumor and the focused state on the cross section where the focus on the tumor appears most among various cross sections, and the interpreting doctor can focus on the tumor. So that it can be easily determined that the tumor is an adenocarcinoma. That is, according to the second embodiment, it is possible to support the interpretation doctor to determine whether or not the tumor is an adenocarcinoma.
  • a cross-sectional image having a plane including the tumor center point as a cross-section is generated as an image to be displayed instead of the image of the corresponding region 402.
  • a cross-sectional image having a curved surface including the tumor center point as a cross-section is generated. This is because the cross-section where the focus on the tumor appears is not limited to a flat surface, and the cross-section image having a curved surface as the cross-section may show the focus on the tumor.
  • the third embodiment will be described focusing on differences from the first or second embodiment.
  • FIG. 26 is a diagram illustrating the processing content of the cross-sectional image generation unit in the third embodiment.
  • FIG. 26 (a) of the surrounding tissues of the tumor, the area of the surrounding tissue that moves toward the tumor is irregular. For this reason, the curved surface including the tumor center point is more likely to be a cross section in which the focus on the tumor appears more than the plane including the tumor center point.
  • FIG. 26 (b) shows an example of a curved surface 2401a including the tumor center point.
  • FIG. 26C shows a cross-sectional image 2401 for the curved surface 2401a.
  • the number of difference vectors included in the cross-sectional image 2401 for the curved surface 2401a is greater than any of the cross-sectional images 2210 to 2212, 2220 to 2222, and 2230 to 2232 for the plane. a lot.
  • the vector length of each difference vector is also long. That is, it can be said that it is a cross section where the focus on the tumor appears more.
  • FIG. 27 is a flowchart of the cross-section changing process.
  • Steps S2501 to S2504 are the same as steps S2001 to S2004 in FIG.
  • the partial image extraction unit 1006 identifies a curved surface using, for example, a least square method.
  • the partial image extraction unit 1006 identifies a curved surface using a Bezier curved surface.
  • step S2505 the partial image extraction unit 1006 extracts a partial image corresponding to the curved surface 2401a including the tumor center point of the comparison target CT image.
  • step S2506 the cross-sectional image generation unit 1007 generates a cross-sectional image 2401 having a cross section of the curved surface 2401a based on the partial image extracted in step S2505. If a difference vector display instruction has been input, the difference vectors included in the partial images extracted in step S2505 are acquired together and superimposed on the cross-sectional image 2401.
  • step S2507 the cross-sectional image generation unit 1007 notifies the display control unit 143 of display information indicating the cross-sectional image 2401 having the generated curved surface as a cross-section and the curved surface 2401a used in generating the cross-sectional image 2401.
  • a cross-sectional image having a curved surface including a tumor center point as a cross-section is generated as an image to be displayed instead of the image of the corresponding region 402.
  • This makes it possible to display the tumor and the state of focus on the cross section where the focus on the tumor is more visible, and the interpreting physician will find the focus on the tumor and easily determine that the tumor is an adenocarcinoma Will be able to. That is, according to the third embodiment, it is possible to assist the interpretation doctor to determine whether or not the tumor is an adenocarcinoma.
  • a cross-sectional image having a predetermined curved surface as a cross-section is generated.
  • a cross-sectional image is generated based on a plurality of curved surfaces, and each cross-sectional image is generated.
  • One cross-sectional image may be selected based on the total value of the evaluation values calculated in the cross-sectional image.
  • a cross-sectional image having a curved surface as a cross section may be generated.
  • the cross-sectional image having the largest evaluation value among the plurality of cross-sectional images is enlarged and displayed on the enlarged display screen.
  • the number of cross-sectional images to be enlarged and displayed on the enlarged display screen is not limited to one, and a plurality of cross-sectional images may be switched and enlarged and displayed under the instruction of an interpreting doctor.
  • the plurality of cross-sectional images that are switched and displayed at this time may be limited to, for example, the upper cross-sectional images (for example, the upper three cross-sectional images) having a large total evaluation value.
  • CT image photographing system 110 CT apparatus 120: Cross-sectional image generation apparatus 130: Image DB 140: Interpretation support unit 141: First registration unit 142: Second registration unit 143: Display control unit 300: Parallel display screen 401: Predetermined region 402: Corresponding region 421a: Cross section 422a: Cross section 431: Shows a cross section Display information 432: Display information for showing a cross section 701: Normal region 702: Focusing region 703: Tumor region 810: Representative vector 1001: Region identifying unit 1002: Corresponding vector calculating unit 1003: Focusing region determining unit 1004: Representative vector Calculation unit 1005: Positioning unit 1006: Partial image extraction unit 1007: Cross-sectional image generation unit 1200: Representative vector 1300: Representative vector

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

腫瘍に対する集束が現れている断面上で、腫瘍と集束の状態とを表示することにより、腫瘍が腺癌であるか否かを読影医が判断できるように支援する。読影支援プログラムは、特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、処理をコンピュータに実行させる。

Description

読影支援プログラム、断面画像生成装置及び断面画像生成方法
 本発明は、読影支援プログラム、断面画像生成装置及び断面画像生成方法に関する。
 医療の現場では、異なる時期に撮影されたCT(Computed Tomography)画像を用いて、読影医等が、病気の箇所あるいは病気の疑いがある箇所を比較し、患者の病気を判断する読影を行っている。
特開2013-141603号公報
 ところで、肺に腫瘍(例えば腺癌)がある患者の場合、腫瘍により肺胞が潰され、その潰れた箇所に集束するように、血管等の周辺組織の位置が変動するという特性がある。一方で、肺は患者の呼吸や心拍の影響を受けて変形するため、肺を撮影したCT画像に基づいて腫瘍に対する集束を見つけ出し、腫瘍が腺癌であることを判断することは、経験の高い読影医でなければ難しい。
 一つの側面では、腫瘍に対する集束が現れている断面上で、腫瘍と集束の状態とを表示することにより、その腫瘍が腺癌であるか否かを読影医が判断できるように支援することを目的とする。
 一態様によれば、読影支援プログラムは、特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、処理をコンピュータに実行させる。
 腫瘍に対する集束が現れている断面上で、腫瘍と集束の状態とを表示することにより、その腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
図1は、CT画像撮影システムの一例を示す図である。 図2は、断面画像生成装置のハードウェア構成を示す図である。 図3は、断面画像生成装置における読影支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す図(その1)である。 図4は、断面画像生成装置における読影支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す図(その2)である。 図5は、画像DBに格納される情報の一例を示す図である。 図6は、比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。 図7は、腫瘍の変化に基づく位置の変動を更に詳細に説明するための図である。 図8は、代表ベクトルの算出処理及び対応領域の算出処理を説明するための図である。 図9は、非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。 図10は、第2のレジストレーション部の機能構成を示す図である。 図11は、集束領域判定部の処理内容を示す図である。 図12は、集束領域があると判定された場合の代表ベクトルの算出方法を示す図である。 図13は、集束領域がないと判定された場合の代表ベクトルの算出方法を示す図である。 図14は、非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。 図15は、第1の実施形態における部分画像抽出部の処理内容を示す図である。 図16は、第1の実施形態における断面画像生成部1007の処理内容を示す図である。 図17は、第2のレジストレーション部により実行される処理の第1のフローチャートである。 図18は、集束領域判定処理のフローチャートである。 図19は、局所的位置合わせ処理(腺癌以外)のフローチャートである。 図20は、局所的位置合わせ処理(腺癌)のフローチャートである。 図21は、断面変更処理の第1のフローチャートである。 図22は、第2の実施形態における部分画像抽出部の処理内容を示す図である。 図23は、第2の実施形態における部分画像抽出部の処理内容を示す図である。 図24は、第2の実施形態における断面画像生成部の処理内容を示す図である。 図25は、断面変更処理の第2のフローチャートである。 図26は、第3の実施形態における断面画像生成部の処理内容を示す図である。 図27は、断面変更処理の第3のフローチャートである。
 以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
 [第1の実施形態]
 はじめに、第1の実施形態に係る断面画像生成装置を含むCT(Computed Tomography)画像撮影システムについて説明する。図1は、CT画像撮影システムの一例を示す図である。
 CT画像撮影システム100は、CT装置110と断面画像生成装置120と画像データベース(以下、データベースを"DB"と略す)130とを有する。CT装置110と断面画像生成装置120とは電気的に接続されており、両装置の間では各種データの送受信が行われる。また、断面画像生成装置120と画像DB130も電気的に接続されており、両装置の間においても各種データの送受信が行われる。
 CT装置110は、放射線等を利用して患者の体内を走査し、コンピュータを用いて処理することで、患者を輪切りにした断面(基準断面)についての断面画像であるCT画像を生成する(以下、このような処理を"CT画像を撮影する"と称する)。CT装置110は、撮影したCT画像を断面画像生成装置120に送信する。
 断面画像生成装置120は、CT装置110において撮影されたCT画像を、接続された画像DB130に格納する。また、断面画像生成装置120は、CT装置110において撮影されたCT画像を処理し、読影医等(以下、単に"読影医"と略す)に対して表示する。このとき、断面画像生成装置120は、読影医の指示に基づき、CT画像を生成した際に用いた断面とは異なる断面についての断面画像を生成し表示する。
 なお、断面画像生成装置120には、読影支援プログラムがインストールされており、当該読影支援プログラムがコンピュータにより実行されることで、断面画像生成装置120は、読影支援部140として機能し、これらの処理を実行する。
 画像DB130は、CT装置110において撮影されたCT画像を、断面画像生成装置120を介して受信し、同じ時期に撮影された複数のCT画像(基準断面についての断面画像群)ごとにわけて格納する。
 読影支援部140は、画像DB130に格納されたCT画像について、読影医が読影を行う際に利用する機能である。読影支援部140は、例えば異なる時期に撮影されたCT画像を、読影医が比較しながら読影できるように並列に表示する。なお、以下では、並列に表示されたCT画像のうち、一方(例えば所定期間経過前に撮影された過去のCT画像)を"比較元CT画像"と称し、他方(例えば所定期間経過後に撮影された直近のCT画像)を"比較先CT画像"と称する。
 読影支援部140は、比較元CT画像内において読影医により指定された位置を含む所定領域(ROI:Region of interest)の画像を拡大表示画面に拡大表示する。また、読影支援部140は、指定された位置を含む所定領域に対応する対応領域の画像を比較先CT画像より抽出し、拡大表示画面に拡大表示する。このように、読影支援部140は、指定された位置を含む所定領域の画像と、その対応領域の画像とを自動的に拡大表示する。このため、読影医にとっては、読影の負荷を軽減できるとともに、拡大表示する操作の手間を省くことができる。
 なお、読影支援部140は、これらの処理を実行するために、第1のレジストレーション部141と、第2のレジストレーション部142と、表示制御部143とを有する。
 第1のレジストレーション部141は、例えば、第1のレジストレーションプログラムがコンピュータにより実行されることで実現される。第1のレジストレーション部141は、異なる時期に撮影されたCT画像を並列に表示する際に、各CT画像間の位置ずれをアフィン変換により補正することで、各CT画像間の大域的位置合わせを行う。
 第2のレジストレーション部142は、例えば、第2のレジストレーションプログラムがコンピュータにより実行されることで実現される。第2のレジストレーション部142は、読影医により指定された位置を含む所定領域の画像が拡大表示された場合に、比較先CT画像において変換処理を行うことで局所的位置合わせを行い、比較先CT画像より、対応領域の画像を抽出する。なお、変換処理には種々の処理が含まれるが、第1の実施形態において変換処理とは、平行移動を指すものとし、変換処理を行うことで比較先CT画像より抽出された対応領域の画像を、"局所的位置合わせが行われた画像"と称する。
 更に、第2のレジストレーション部142は、読影医から断面変更の指示があった場合に、腫瘍に関して読影医が適切な読影を行うことができるように、基準断面とは異なる断面についての断面画像を生成する「断面変更処理」を行う。
 表示制御部143は、例えば、表示プログラムがコンピュータにより実行されることで実現される。表示制御部143は、読影医により選択された比較元CT画像を表示するとともに、読影医により指定された位置を含む所定領域の画像を拡大表示画面に拡大表示する。また、表示制御部143は、第2のレジストレーション部142により抽出された、局所的位置合わせが行われた画像を拡大表示画面に拡大表示する。更に、表示制御部143は、第2のレジストレーション部142により断面変更処理が行われた場合にあっては、断面変更処理において生成された断面画像を、拡大表示画面に拡大表示する。
 次に、断面画像生成装置120のハードウェア構成について説明する。図2は、断面画像生成装置のハードウェア構成を示す図である。図2に示すように、断面画像生成装置120は、CPU201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を備える。また、断面画像生成装置120は、補助記憶部204、接続部205、表示部206、操作部207、ドライブ部208を備える。なお、断面画像生成装置120の各部は、バス209を介して相互に接続されている。
 CPU201は、補助記憶部204に格納された各種プログラム(例えば、第1のレジストレーションプログラム、第2のレジストレーションプログラム、表示プログラム等)を実行するコンピュータである。
 ROM202は不揮発性メモリである。ROM202は、補助記憶部204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
 RAM203は揮発性メモリであり、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を含む。RAM203は、補助記憶部204に格納された各種プログラムがCPU201によって実行される際に展開される、作業領域を提供する主記憶部である。
 補助記憶部204は、断面画像生成装置120にインストールされた各種プログラムや、各種プログラムが実行されることで生成されるデータ等を記録するコンピュータ読み取り可能な記憶装置である。
 接続部205は、CT装置110及び画像DB130と接続され、CT装置110及び画像DB130との間で、各種データの送受信を行う。表示部206は、画像DB130に格納されたCT画像を並列表示画面に表示する。操作部207は、読影医が断面画像生成装置120に対して行う各種操作を受け付ける。
 ドライブ部208は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
 なお、補助記憶部204に格納される各種プログラムは、例えば、配布された記録媒体210がドライブ部208にセットされ、該記録媒体210に記録された各種プログラムがドライブ部208により読み出されることでインストールされる。あるいは、接続部205を介してネットワークからダウンロードされることでインストールされる。
 次に、断面画像生成装置120の読影支援部140の処理内容と、読影支援部140により処理が実行される際の読影医の操作内容ならびに断面画像生成装置120の表示部206に表示される並列表示画面との関係について説明する。
 図3及び図4は、断面画像生成装置における読影支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す図(その1、その2)である。
 断面画像生成装置120において読影支援部140が起動すると、表示制御部143による処理が開始され、表示部206には、図3に示すように異なる時期に撮影されたCT画像を並列して表示させるための並列表示画面300が表示される。並列表示画面300には、所定の患者について所定の時期に撮影された所定の部位(ここでは肺)の断面画像群を、比較元CT画像群として、読影医が選択するための機能が設けられている。
 表示制御部143は、読影医により選択された比較元CT画像群を、画像DB130より読み出す。更に、選択された比較元CT画像群の中から、読影医により所定の比較元CT画像(ここではファイル名="ImageA015")が指定されると、表示制御部143は、指定された比較元CT画像を並列表示画面300に表示する。
 また、並列表示画面300には、比較元CT画像と比較すべく、異なる時期に撮影された同一患者の同一部位の断面画像群を、比較先CT画像群として、読影医が選択するための機能が設けられている。具体的には、患者IDや撮影日時、撮影部位(ここでは肺)等を入力して選択するための機能が設けられている。
 表示制御部143は、入力された患者名、撮影日時、撮影部位等により特定される断面画像群を比較先CT画像群として、画像DB130より読み出す。更に、表示制御部143は、読み出した比較先CT画像群の中から読影医により指定された比較先CT画像(ここではファイル名="ImageB018")を読み出し、並列表示画面300に表示する。
 このとき、読影支援部140は第1のレジストレーション部141が機能し、読み出した各CT画像に対して、回転や平行移動等のアフィン変換を用いて補正を行うことで大域的位置合わせを行う。CT画像全体に対して大域的位置合わせが行われることで、比較元CT画像と比較先CT画像との間の大域的な位置ずれが解消される。
 大域的位置合わせが完了すると、並列表示画面は、表示された比較元CT画像において腫瘍部分Fの位置を読影医が指定できるようになる。並列表示画面において、読影医が腫瘍部分Fの位置を指定すると、図4に示すように、表示制御部143は、指定された腫瘍部分Fの位置を含む所定領域(ROI:Region of interest)401の画像を、比較元CT画像上の拡大表示画面に拡大表示する。
 所定領域401の画像が拡大表示されると、第2のレジストレーション部142は、比較先CT画像の対応する領域に対して局所的位置合わせを行う。これにより、第2のレジストレーション部142は、腫瘍部分Fに対応する腫瘍部分の位置を含む対応領域の画像(局所的位置合わせが行われた画像)を抽出する。なお、第2のレジストレーション部142は、局所的位置合わせを行うにあたり集束判定(詳細は後述)を行う。また、第2のレジストレーション部142は、局所的位置合わせが行われることで得た対応領域の画像を、表示制御部143に通知する。
 表示制御部143は、第2のレジストレーション部142より通知された対応領域402の画像を、比較先CT画像上の拡大表示画面に拡大表示する。これにより、局所的位置合わせが行われた画像として、腫瘍部分Fに対応する腫瘍部分F'の位置を含む対応領域402の画像を表示することができる。
 なお、図4において、断面411aは、所定領域401の画像の基準断面を模式的に示したものである。同様に、断面412aは、対応領域402の画像の基準断面を模式的に示したものである。
 第2のレジストレーション部142は、局所的位置合わせが行われることで得た対応領域402の画像について、読影医より断面変更の指示を受け付けると、断面変更処理(詳細は後述)を行う。断面変更処理を行うことで、第2のレジストレーション部142は、所定領域401及び対応領域402における、変更後の新たな断面についての断面画像を生成する。
 これにより、表示制御部143は、所定領域401の画像及び対応領域402の画像に代えて、所定領域401及び対応領域402における、新たな断面についての断面画像を拡大表示する。なお、このとき、表示制御部143は、新たな断面(断面421a、422a)を示すための表示情報431、432を合わせて表示する。
 図4において、断面422aは、対応領域402の画像を断面変更処理する際に用いた断面を模式的に示したものである。同様に、断面421aは、所定領域401の画像を断面変更処理する際に用いた断面を模式的に示したものである。断面421aの断面位置、断面方向、断面角度は、断面422aの断面位置、断面方向、断面角度に対応している。
 また、第2のレジストレーション部142は、読影医より、腫瘍に対する集束の状態を表すベクトル(差分ベクトル)の表示指示があった場合に、対応領域402における新たな断面についての差分ベクトルを表示する。
 このように、断面画像生成装置120によれば、比較元CT画像において読影医により腫瘍部分Fの位置が指定された場合に、所定領域401の画像を拡大表示することができる。また、所定領域401の画像に基づいて、局所的位置合わせを行うことで比較先CT画像より対応領域402の画像を抽出し、拡大表示することができる。更に、読影医より断面変更の指示を受け付けた場合、腫瘍に関する適切な読影を促進可能な新たな断面についての断面画像を生成し、拡大表示画面に拡大表示することができる。更に、新たな断面についての断面画像において、腫瘍に対する集束の状態を示す差分ベクトルを表示することができる。
 これにより、読影医は、異なる時期に撮影された断面画像群に含まれる各CT画像間の対応領域を容易に把握することができるとともに、腫瘍に関する適切な読影を行うことができる。
 次に、断面画像生成装置120により処理される断面画像群を格納する画像DB130について説明する。図5は、画像DBに格納される情報の一例を示す図である。図5に示すように、画像DB130に格納される情報は患者ごとに分類されて管理されており、図5は患者ID="xxx"の患者についての情報の一例を示している。
 図5に示すように、情報の項目には、"撮影日時"、"撮影部位"、"シリーズ名"、"断面画像群"が含まれる。"撮影日時"には、CT画像を撮影した日時についての情報が格納される。"撮影部位"には、撮影対象となる特定の対象物(部位)についての情報が格納される。"シリーズ名"には、撮影により得られた複数のCT画像からなるシリーズを特定するためのシリーズ名が格納される。"断面画像群"には、撮影により得られた複数のCT画像(基準断面についての断面画像群)それぞれのファイル名が格納される。
 図5の例は、撮影日時="H26.2.5"に撮影部位="肺"について撮影が行われることで得られた、ImageA001~ImageA030のCT画像を含むシリーズ名="シリーズA"のシリーズが画像DB130に格納されていることを示している。また、撮影日時="H26.8.3"に撮影部位="肺"について撮影が行われることで得られた、ImageB001~ImageB030のCT画像を含むシリーズ名="シリーズB"のシリーズが画像DB130に格納されていることを示している。
 なお、図5中の点線は、"ImageA015"のCT画像が比較元CT画像として読影医により選択されたことを示している。また、"ImageB018"のCT画像が比較先CT画像として読影医により選択されたことを示している。
 次に、読影支援部140の各部について説明する。なお、以下では、第1のレジストレーション部141及び表示制御部143についての説明は省略し、主に、第2のレジストレーション部142について説明する。
 上述したとおり、大域的位置合わせが完了した時点では、比較元CT画像と比較先CT画像との間では全体的な位置の変動が補正されている一方で、局所的な位置の変動は残されている。このため、読影医により指定された腫瘍部分Fの位置を含む所定領域401に対応する対応領域402の画像を拡大表示するにあたり、第2のレジストレーション部142は、まず、比較元CT画像に対する比較先CT画像の局所的な位置の変動を求める。そして、求めた変動に応じて、比較先CT画像に対して平行移動による変換処理を行うことで、局所的位置合わせを行う。これにより、第2のレジストレーション部142は、対応領域402の画像を抽出することができる。
 ここで、撮影部位="肺"の場合、局所的な位置の変動が生じる主な要因として、2つの要因(呼吸・心拍に基づくものと、腫瘍の変化(経時変化)に基づくもの)が挙げられる。図6は、比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。
 局所的な位置の変動が生じると、図6に示すように比較元CT画像上の所定領域401と同じ座標を有する比較先CT画像上の領域からは、例えば、画像610が抽出されることになる。
 図6において、比較元CT画像における所定領域401の画像600と、所定領域401と同じ座標を有する比較先CT画像上の領域の画像610とを対比すると、両者は血管の位置や腫瘍の位置が大きくずれていることがわかる。なお、図6において、太線は血管601~603、611~613を示しており、網掛け領域は腫瘍部分F、F'を示している。
 ここで、呼吸・心拍に基づく位置の変動とは、例えば、呼吸時の横隔膜の動きに伴う位置の変動をいう。患者が息を吐く場合と息を吸う場合とでは横隔膜の位置が変動するため、これに伴って肺の各部の位置が変動する。この結果、比較元CT画像と比較先CT画像との間には、撮影時の患者の呼吸の状態が完全に一致している場合を除き、呼吸・心拍に基づく局所的な位置の変動が含まれることになる。
 なお、呼吸・心拍に基づく位置の変動は、例えば身体全体に対しては非剛体変形であるが、所定領域401は肺内の一部であるため、所定領域401は全体が所定方向に平行移動することになる。このため、所定領域401において、呼吸・心拍に基づく位置の変動は、剛体運動と見做すことができる。
 一方、腫瘍の変化に基づく位置の変動とは、腺癌等のような悪性腫瘍が、肺胞を破壊しながら増殖し、肺胞が保っていた空気の分だけ肺胞の容積が減少すること等により生じる位置の変動をいう。
 第2のレジストレーション部142は、これら2つの要因に基づく位置の変動のうち、腫瘍の変化(経時変化)に基づく位置の変動分を差し引くことで、呼吸・心拍に基づく位置の変動分を抽出する。そして、第2のレジストレーション部142は、呼吸・心拍に基づく位置の変動分に基づいて局所的位置合わせを行う。
 ここで、腫瘍の変化(経時変化)に基づく位置の変動について図7を用いて更に詳説する。図7は、腫瘍の変化に基づく位置の変動を更に詳細に説明するための図である。
 図7(a)は、腺癌等の悪性腫瘍が腫瘍中心点Oに示す位置に発生した直後の周辺組織の様子を示している。図7(a)に示すように、悪性腫瘍が発生した直後の状態では腫瘍中心点Oから気管支711の点D1までの距離及び血管712の点C1までの距離は、それぞれr1である。
 図7(b)は、悪性腫瘍が腫瘍周辺の肺胞を破壊しつつ増殖したことで、気管支711や血管712を含む周辺組織が腫瘍中心点Oに向かって移動した様子を示している。図7(b)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D2までの距離及び血管712の点C2までの距離は、それぞれr2(<r1)となる。
 図7(c)は、悪性腫瘍が腫瘍周辺の肺胞を更に破壊して増殖したことで、気管支711や血管712を含む周辺組織が更に腫瘍中心点Oに向かって移動した様子を示している。図7(c)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D3までの距離及び血管712の点C3までの距離は、それぞれr3(<r2)となる。
 このように、腫瘍の変化に基づく位置の変動は、周辺組織が腫瘍中心点Oに向かうという特性があり、非剛体変形と見做すことができる。
 なお、図7に示すように、腫瘍の周辺組織は、腫瘍領域703の組織と、集束領域702の組織と、正常領域701の組織とに大別することができる。腫瘍領域703では、新たに出現した悪性腫瘍により破壊されることで、図7(a)において存在していた組織の一部が消失し、図7(c)においては存在しない。一方、集束領域702では、図7(a)において存在していた組織が図7(c)においても存在するが、対応する組織の位置が変動している(B1→B2→B3)。一方、正常領域701では、図7(a)において存在していた組織が図7(c)においても存在しており、対応する組織の位置(A1→A2→A3)もほとんど変動していない。
 以上、図6及び図7の説明から明らかなように、比較元CT画像と比較先CT画像との間の局所的な位置の変動の要因には、剛体運動と見做せる"呼吸・心拍に基づくもの"と非剛体変形となる"腫瘍の変化に基づくもの"とがある。また、"腫瘍の変化に基づくもの"の場合、腫瘍中心点Oに向かうという特性があり、その度合いに応じて、腫瘍の周辺組織を正常領域701、集束領域702、腫瘍領域703に大別することができる。
 次に、比較先CT画像において、図6に示したような剛体運動と非剛体変形とが混在している領域について、第2のレジストレーション部142が局所的位置合わせを行う場合の問題点について図8及び図9を用いて説明する。
 上述したとおり、比較先CT画像において局所的位置合わせを行うにあたり、第2のレジストレーション部142は、平行移動による変換処理を行う。つまり、非剛体を想定した変換処理ではなく剛体を想定した変換処理を行う。
 ここで、平行移動による変換処理を行うにあたり、第2のレジストレーション部142は、所定領域401が比較先CT画像のどの位置に移動したか(所定領域401と対応領域402との位置関係)を示す代表ベクトルの算出を行う。
 図8は、代表ベクトルの算出処理及び対応領域の算出処理を説明するための図である。このうち、図8(a)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置との差である対応ベクトル(黒矢印)を示したものである。なお、領域800は、比較元CT画像の所定領域401に含まれる特徴点に対応する比較先CT画像中の特徴点が含まれる領域であって、代表ベクトルの算出に用いられる領域である。以下、比較先CT画像中の当該領域を代表ベクトル算出対象領域800と称する。
 つまり、第2のレジストレーション部142において、比較元CT画像の所定領域401と、比較先CT画像の代表ベクトル算出対象領域800とは、撮影部位(肺)に含まれる腫瘍及びその周辺組織の内部構造を示すデータに他ならない。
 ここで、第2のレジストレーション部142が、代表ベクトル算出対象領域800に含まれるすべての対応ベクトルを用いて、代表ベクトル810を算出したと仮定する。この場合、局所的位置合わせが行われた画像は、図8(b)に示す処理を実行することにより抽出することができる。
 図8(b)は、代表ベクトル810を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図8(b)に示すように、第2のレジストレーション部142は、比較元CT画像の所定領域401と同じ座標を有する比較先CT画像中の領域801を、代表ベクトル810に基づいて平行移動させることで領域802を求める。そして、比較先CT画像より領域802の画像を抽出することで、局所的位置合わせが行われた画像を抽出する。
 しかしながら、このようにして抽出した画像は、剛体運動と非剛体変形とが混在している領域において、剛体運動のみが生じていると仮定して代表ベクトルを求め、仮定した剛体運動を相殺するように平行移動させることで得た画像に他ならない。つまり、非剛体変形分の影響をも相殺するように平行移動させていることになる。
 図8(c)、図8(d)を用いて更に詳説する。図8(c)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、呼吸・心拍に基づく位置の変動分(剛体運動分)の対応ベクトルを示したものである。図8(c)に示すように、剛体運動分の対応ベクトルは、いずれも同じ方向を向いており、また、いずれも同じ長さとなっている。なお、剛体運動分の対応ベクトルは、正常領域701及び集束領域702に存在する。ただし、腫瘍領域703には比較元CT画像の特徴点に対応する比較先CT画像の特徴点が存在しないため、対応ベクトルも存在しない。
 一方、図8(d)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、腫瘍の変化に基づく位置の変動分(非剛体変形分)の対応ベクトルを示したものである。図8(d)に示すように、非剛体変形分の対応ベクトルは、集束領域702(ただし、腫瘍領域703は除く)内にのみ存在し、中心方向を向いている。
 このように剛体運動分の対応ベクトルと非剛体変形分の対応ベクトルとでは、ベクトルの長さ及び向きに違いがあり、存在する位置にも違いがある。
 なお、図8(a)に示した対応ベクトルは図8(c)に示す対応ベクトルと図8(d)に示す対応ベクトルとを足し合わせたものである。
 つまり、図8(a)に示した対応ベクトルのうち集束領域702に相当する位置に存在する対応ベクトルには、剛体運動分の対応ベクトルと非剛体変形分の対応ベクトルとが混在していることになる。このため、集束領域702に相当する位置に存在する対応ベクトルを含めて代表ベクトル810を算出した場合、代表ベクトル810には、非剛体変形の影響が含まれることとなる。そして、このような代表ベクトル810により局所的位置合わせを行っても、精度の高い位置合わせを行うことはできない。
 具体的な画像を用いて説明する。図9は、非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせが行われた画像を示す図である。なお、図9の例では、局所的位置合わせが行われた画像900(比較先CT画像の領域802の画像)と、比較元CT画像における所定領域401の画像600とを重ねて示している。
 図9に示すように、画像900に含まれる血管901~903及び腫瘍部分F'の位置は、局所的位置合わせを行ったにも関わらず画像600に含まれる血管601~603及び腫瘍部分Fの位置に対してずれてしまっている。
 以上のような、剛体運動と非剛体変形とが混在している領域での代表ベクトル算出の際の問題点に鑑みて、第1の実施形態の第2のレジストレーション部142は、非剛体変形の影響を排除して代表ベクトルを求め、局所的位置合わせを行う。
 更に、第1の実施形態の第2のレジストレーション部142は、局所的位置合わせを行うことで得た対応領域402の画像を、非剛体変形の影響がより現れる断面における断面画像に変更する断面変更処理を行う。
 これにより、第1の実施形態によれば、呼吸・心拍に基づく位置の変動分を相殺する局所的位置合わせを行うことで得た対応領域について、非剛体変形の影響(つまり、腫瘍の変化(経時変化)に基づく位置の変動分)がより現れた断面画像を表示することができる。
 なお、第2のレジストレーション部142において、腫瘍の変化(経時変化)に基づく位置の変動分を算出することは、腫瘍及びその周辺組織の内部構造の構造変化を検出することに等しい。換言すると、代表ベクトル算出対象領域800の画像において表される内部構造について、所定領域401の画像において表される内部構造からの構造変化を検出することに等しい。
 以下、図10を用いて、第1の実施形態の第2のレジストレーション部142の機能構成を説明し、図11~図16を用いて、第2のレジストレーション部142を構成する各部の具体的な処理内容について説明する。更に、図17~図21のフローチャートを用いて、第2のレジストレーション部142により実行される処理の流れについて説明する。
 図10は、第2のレジストレーション部の機能構成を示す図である。図10に示すように、第2のレジストレーション部142は、領域識別部1001と、対応ベクトル算出部1002と、集束領域判定部1003と、代表ベクトル算出部1004と、位置合わせ部1005とを有する。更に、第2のレジストレーション部142は、部分画像抽出部1006と、断面画像生成部1007とを有する。
 領域識別部1001は、読影医により指定された位置を含む所定領域401を識別する。具体的には、所定領域401の位置を特定する比較元CT画像上の座標を取得する。
 対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、対応ベクトル算出部1002は、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索する。更に、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該各特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
 集束領域判定部1003は、対応ベクトル算出部1002において算出した対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かの判定を行う。また、集束領域702が含まれていると判定した場合、集束領域判定部1003は、正常領域701と集束領域702との境界位置を算出する。更に、集束領域判定部1003は、集束領域702が含まれているか否かの判定結果と、正常領域701と集束領域702との境界位置の算出結果とを、代表ベクトル算出部1004に通知する。
 代表ベクトル算出部1004は、対応ベクトル算出部1002において算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800における代表ベクトルを算出する。代表ベクトル算出部1004は、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定された場合には、代表ベクトル算出対象領域800内の全ての対応ベクトル(ただし腫瘍領域は除く)を用いて代表ベクトルを算出する。一方、代表ベクトル算出対象領域800に集束領域702が含まれていると判定された場合には、代表ベクトル算出対象領域800内の対応ベクトルのうち、集束領域(及び腫瘍領域)に含まれる対応ベクトルを除く対応ベクトルを用いて代表ベクトルを算出する。
 なお、第1の実施形態において、代表ベクトル算出部1004は、対応ベクトルを用いて代表ベクトルを算出するにあたり、平均処理を行う。
 位置合わせ部1005は、代表ベクトル算出部1004において算出された代表ベクトルに基づいて、所定領域401に対応する対応領域402の画像を比較先CT画像より抽出する。具体的には、位置合わせ部1005は、所定領域401の位置を特定する座標を、比較先CT画像上において代表ベクトルを用いて移動させることで移動後の座標を算出する。更に、位置合わせ部1005は、算出した移動後の座標により特定される領域(対応領域402)の画像を比較先CT画像より抽出することで、局所的位置合わせが行われた画像を取得する。
 なお、第1の実施形態において、領域識別部1001~位置合わせ部1005は、比較元CT画像と比較先CT画像に対して処理を実行するだけでなく、前後の各層のCT画像に対しても同様の処理を実行する。比較元CT画像の前後の各層のCT画像とは、例えば、比較元CT画像がファイル名="ImageA015"であった場合、ファイル名="ImageA010"~"ImageA014"のCT画像等を指す。あるいは、ファイル名="ImageA016"~"ImageA020"のCT画像等を指す。また、比較先CT画像の前後の各層のCT画像とは、例えば、比較先CT画像がファイル名="ImageB018"のCT画像であった場合、ファイル名="ImageB014"~"ImageB017"のCT画像等を指す。あるいは、ファイル名="ImageB019"~"ImageB022"のCT画像等を指す。
 このため、領域識別部1001は、比較元CT画像及び比較元CT画像の前後の各層のCT画像に基づいて、腫瘍及びその周辺組織の内部構造を示すデータである、所定領域401の画像を生成する生成手段として機能する。
 また、対応ベクトル算出部1002は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に基づいて、腫瘍及びその周辺の内部構造を示すデータである、代表ベクトル算出対象領域800の画像を生成する生成手段として機能する。
 更に、集束領域判定部1003は、領域識別部1001により生成された所定領域401の画像と、対応ベクトル算出部1002により生成された代表ベクトル算出対象領域800の画像とに基づいて、構造変化を検出する検出手段として機能する。
 部分画像抽出部1006は、読影医から断面変更の指示があった場合に、対応領域402に関して、基準断面とは異なる断面を特定する。また、部分画像抽出部1006は、特定した断面についての断面画像を生成するための部分画像を、比較先CT画像及び比較先CT画像の前後の各層のCT画像より抽出する。同様に、部分画像抽出部1006は、所定領域401に関して、基準断面とは異なる断面を特定する。また、部分画像抽出部1006は、特定した断面についての断面画像を生成するための部分画像を、比較元CT画像及び比較元CT画像の前後の各層のCT画像より抽出する。
 断面画像生成部1007は、基準断面とは異なる断面についての断面画像を生成し、表示制御部143に通知する。具体的には、断面画像生成部1007は、部分画像抽出部1006が比較元CT画像及び比較元CT画像の前後の各層のCT画像より抽出した部分画像を用いて断面画像を生成し、表示制御部143に通知する。また、断面画像生成部1007は、部分画像抽出部1006が比較先CT画像及び比較先CT画像の前後の各層のCT画像より抽出した部分画像を用いて断面画像を生成し、表示制御部143に通知する。なお、断面画像生成部1007は、生成した断面画像を表示制御部143に通知するにあたり、生成に用いた断面を示すための表示情報431、432も合わせて通知する。
 また、断面画像生成部1007は、読影医から差分ベクトルの表示指示があった場合、比較先CT画像及び比較先CT画像の前後の各層のCT画像より抽出した部分画像に含まれる差分ベクトルを、生成した断面画像に重畳する。更に、断面画像生成部1007は、差分ベクトルを重畳した断面画像を表示制御部143に通知する。
 つまり、断面画像生成部1007は、基準断面とは異なる新たな断面についての断面画像を生成する生成手段として機能する。また、表示制御部143は、生成した断面画像を、差分ベクトル(構造変化を示す情報)とともに表示する表示手段として機能する。
 次に、図10に示した第2のレジストレーション部142に含まれる各部のうち、集束領域判定部1003、代表ベクトル算出部1004、位置合わせ部1005、部分画像抽出部1006、断面画像生成部1007の各部の処理内容の具体例について説明する。
 はじめに、集束領域判定部1003の処理内容の具体例について説明する。図11は、集束領域判定部の処理内容を示す図である。
 図11の例は、代表ベクトル算出対象領域800の中心から辺縁までを、矩形枠状に所定の刻み幅の区画で区分けし、各区画の対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する様子を示したものである。
 なお、代表ベクトル算出対象領域800の中心から辺縁までの距離をR、刻み幅をΔRとする。また、ここでは矩形枠状に区分けする場合について説明するが、矩形枠状に区分けする代わりに円環状に区分けしてもよい。
 集束領域判定部1003は、R~(R-ΔR)の範囲内の区画群1101(図11の左端に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。更に、集束領域判定部1003は、(R-ΔR)~(R-ΔR×2)の範囲内の区画群1102(図11の中央に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。
 そして、集束領域判定部1003は、抽出した対応ベクトルのうち、区画群1101の対応ベクトルと区画群1102の対応ベクトルとの間で隣接する対応ベクトル同士の差を算出し、差分ベクトルを求める。このようにして求めた差分ベクトルは、比較元CT画像と比較先CT画像との間での特徴点の位置の変化の差を示すものということができる。図11の右端に示す代表ベクトル算出対象領域800内の各ベクトルは、区画群1101の対応ベクトルと区画群1102の対応ベクトルとに基づいて算出した差分ベクトルの一例を示している。
 集束領域判定部1003は、このようにして求めた差分ベクトルが所定の閾値より大きい場合、当該差分ベクトルの方向を判定する。また、集束領域判定部1003は、当該差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向に向かっていると見做せる場合には、集束領域が含まれていると判定する。また、集束領域判定部1003は、集束領域が含まれているとの判定に用いられた差分ベクトルを算出する際に用いた対応ベクトルが存在する、2つの区画群の境界位置を、正常領域701と集束領域702との境界位置と判定する。
 なお、図11の説明から明らかなように、集束領域判定部1003は、はじめに、代表ベクトル算出対象領域800の最も外側に位置する区画群1101より抽出した対応ベクトルを用いて差分ベクトルを求める。これは、当該対応ベクトルが、腫瘍の変化に基づく位置の変動の影響を受けていない対応ベクトルであって、呼吸・心拍に基づく位置の変動に伴う対応ベクトルであると推定できるからである。
 また、集束領域判定部1003は隣接する対応ベクトル間の差を算出する。これは、隣接する対応ベクトル間では、呼吸・心拍に基づく位置の変動に大きな差異はなく、差を算出することで、呼吸・心拍に基づく位置の変動の影響を差し引くことができるからである。つまり、隣接する対応ベクトル間の差を算出することで求められる差分ベクトル(ただし、所定の閾値以上の大きさを有する差分ベクトル)は、腫瘍の変化に基づく位置の変動分の対応ベクトル(つまり、構造変化を示す情報)を表しているということができる。
 なお、集束領域判定部1003が差分ベクトルの方向を判定するのは、集束領域における対応ベクトルは、腫瘍中心点Oの方向を向くという特性があるため、腫瘍の変化に基づく位置の変動であることを識別するのに有効だからである。
 次に、代表ベクトル算出部1004の処理内容の具体例について説明する。図12は、集束領域があると判定された場合の代表ベクトルの算出方法を示す図である。
 代表ベクトル算出部1004は、代表ベクトル算出対象領域800に集束領域702が含まれている場合、代表ベクトル算出対象領域800において算出された各対応ベクトルのうち、集束領域702内に存在する対応ベクトルを除いて、代表ベクトルを求める。図12(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、このうち、集束領域702内に存在する4個の対応ベクトルを除く、11個の対応ベクトルを用いて代表ベクトルを算出する。
 代表ベクトル1200は、11個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、集束領域702内に存在する4個の対応ベクトルを除くことで、非剛体変形の影響(つまり、腫瘍の変化(経時変化)に基づく位置の変動分)を排除して代表ベクトルを求めることができる。
 図12(b)は、代表ベクトル1200を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図12(b)に示すように、第2のレジストレーション部142は、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1200に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142は、局所的位置合わせが行われた画像を抽出することができる。
 一方、図13は、集束領域がないと判定された場合の代表ベクトルの算出方法を示す図である。代表ベクトル算出部1004では、代表ベクトル算出対象領域800に集束領域702が含まれていない場合、代表ベクトル算出対象領域800において算出された各対応ベクトルを用いて代表ベクトルを求める。ただし、腫瘍領域703内に含まれる対応ベクトルは除くものとする。なお、腫瘍領域703内においては、特徴点の対応点が存在しないため、対応ベクトルは存在しないことから、腫瘍領域703内に存在する対応ベクトルを除くか否かに関わらず、算出される代表ベクトルは同じとなる。
 図13(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、代表ベクトル算出部1004は、これらを用いて代表ベクトルを算出する。代表ベクトル1300は、15個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、代表ベクトル算出対象領域800内に集束領域702が含まれていない場合、非剛体変形の影響を受けることはないため、全ての対応ベクトルを用いて代表ベクトルを算出することができる。
 図13(b)は、代表ベクトル1300を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図13(b)に示すように、第2のレジストレーション部142は、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1300に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142は、局所的位置合わせが行われた画像を抽出することができる。
 ここで、非剛体変形の影響を排除した代表ベクトル1200を用いて、位置合わせ部1005が局所的位置合わせを行うことで得た対応領域402の画像について説明する。図14は、非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。
 なお、図14の例は、比較先CT画像の対応領域402の画像1400と、比較元CT画像の所定領域401の画像600とを重ねて示している。
 図14に示すように、画像1400に含まれる血管1401~1403及び腫瘍部分F'の位置は、画像600に含まれる血管601~603及び腫瘍部分Fの位置と概ね同じである。つまり、画像1400の場合、心拍・呼吸に基づく位置の変動が打ち消されている。一方で、血管1402、1403のうち、腫瘍部分F'の周辺に位置する血管は、画像600に含まれる血管601~603のうち、腫瘍部分Fの周辺に位置する血管に対して、位置がずれている。つまり、画像1400の場合、腫瘍の変化に基づく位置の変動の影響は残されている。
 次に、部分画像抽出部1006の処理内容の具体例について説明する。図15は、部分画像抽出部の処理内容を示す図である。図15(a)は、断面を示すための表示情報432を表している。なお、図15(a)に示すx軸は、患者の左右方向を表しており、y軸は、患者の前後方向を表しているものとする。また、z軸は、患者の上下方向を表しているものとする。一方、図15(b)、(c)は、比較先CT画像の前後の各層の対応領域及び部分画像を表している。
 図15(a)~(c)に示すように、部分画像抽出部1006は、比較先CT画像(ファイル名="ImageB018")に含まれる対応領域402の画像を、位置合わせ部1005より取得する。また、部分画像抽出部1006は、対応領域402の画像のうち、腫瘍を含む部分画像1514を抽出する。なお、部分画像1514により特定される範囲に、差分ベクトルが含まれる場合には、当該差分ベクトルも合わせて抽出する。
 同様に、部分画像抽出部1006は、比較先CT画像の1つ前の層のCT画像(ファイル名="ImageB017")に含まれる対応領域1503の画像のうち、断面422aに対応する部分画像1513を抽出する。
 同様に、部分画像抽出部1006は、比較先CT画像の前の各層のCT画像(ファイル名="ImageB016"、"ImageB015")に含まれる対応領域1502、1501の画像のうち、断面422aに対応する部分画像1512、1511を抽出する。
 また、部分画像抽出部1006は、比較先CT画像の1つ後の層のCT画像(ファイル名="ImageB019")に含まれる対応領域1505の画像のうち、断面422aに対応する部分画像1515を抽出する。
 同様に、部分画像抽出部1006は、比較先CT画像の後の各層のCT画像(ファイル名="ImageB020"、"ImageB021")に含まれる対応領域1506、1507の画像のうち、断面422aに対応する部分画像1516、1517を抽出する。
 次に、断面画像生成部1007の処理内容の具体例について説明する。図16は、断面画像生成部1007の処理内容を示す図である。
 断面画像生成部1007は、部分画像抽出部1006において抽出された部分画像1511~1517(図15参照)に基づいて、断面画像(断面422aについての断面画像)を生成する。断面422aについての断面画像422は、患者の腫瘍の周辺組織を断面422aに略直交する方向から見た場合の断面画像である。
 図16の例では、対比のために、基準断面である断面412aについての断面画像1600(=比較先CT画像内の対応領域402の画像1400)も合わせて示している。図16に示すように、断面412aについての断面画像1600に含まれる差分ベクトルの数及び大きさと、断面422aについての断面画像422に含まれる差分ベクトルの数及び大きさとは、等しくない。
 これは、集束自体は均一に起こっていると考えられるが、集束に伴う経時変化(移動)を観測できる血管などの組織が、肺内に均一に分布しているとは限らないからである。したがって、差分ベクトルが観測された血管等の組織が、腫瘍に近い場合には、強い集束力を受けて、大きな移動を示す差分ベクトルとなり、逆に、腫瘍から遠い場合には、弱い集束力を受けて、小さな移動を示す差分ベクトルとなる。ここで、読影医にとっては、組織の移動量が大きい断面についての断面画像を読影する方が、腫瘍に対する集束を容易に見つけることができ、腫瘍が腺癌であることを誤りなく判断できる可能性が高い。
 そこで、第1の実施形態では、断面画像生成部1007が、組織の移動量が大きい所定の断面422aについての断面画像を生成し、読影医が読影に際して利用できるようにする。図16の例によれば、断面412aについての断面画像1600に含まれる差分ベクトルは2つ(1600_1~1600_2)である。これに対して、断面422aについての断面画像422に含まれる差分ベクトルの数は7つ(422_1~422_7)あり、ベクトルの大きさも大きい。
 したがって、断面422aについての断面画像422を対応領域402の画像1400(=断面412aについての断面画像1600)に代えて拡大表示することで、読影医は、腫瘍に対する集束を容易に見つけることができる。この結果、読影医は腫瘍が腺癌であることを誤りなく判断することができるようになる。
 次に、第2のレジストレーション部142により実行される処理の流れについて説明する。図17は、第2のレジストレーション部により実行される処理の第1のフローチャートである。
 ステップS1701において、領域識別部1001は、比較元CT画像において読影医により指定された腫瘍部分Fの位置を中心とする所定領域401を識別する。
 ステップS1702において、対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索し、抽出する。
 ステップS1703において、集束領域判定部1003は、比較先CT画像より抽出された各特徴点を含む領域を代表ベクトル算出対象領域800として抽出する。
 ステップS1704において、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
 ステップS1705において、集束領域判定部1003は、算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する。また、集束領域702が含まれると判定した場合、集束領域判定部1003は、正常領域701と集束領域702との境界位置を算出する。なお、ステップS1705の集束領域判定処理の詳細なフローチャートは後述する。
 ステップS1706において、代表ベクトル算出部1004は、集束領域判定処理(ステップS1705)の結果に基づいて、集束領域702の有無を判断する。ステップS1706において集束領域702が含まれていないと判断した場合には(ステップS1706において"No")、ステップS1707に進む。ステップS1707において、代表ベクトル算出部1004及び位置合わせ部1005は、腺癌以外の腫瘍に応じた局所的位置合わせ処理を行う。なお、ステップS1707の局所的位置合わせ処理(腺癌以外)の詳細なフローチャートは後述する。
 ステップS1708において、代表ベクトル算出部1004は、局所的位置合わせが行われた画像を、対応領域402の画像として表示制御部143に通知する。これにより、局所的位置合わせが行われた画像が拡大表示画面に拡大表示される。
 一方、ステップS1706において、集束領域702が含まれていると判断した場合には(ステップS1706において"Yes")、ステップS1709に進む。ステップS1709において、代表ベクトル算出部1004及び位置合わせ部1005は、腺癌に応じた局所的位置合わせ処理を行う。なお、ステップS1709の局所的位置合わせ処理(腺癌)の詳細なフローチャートは後述する。
 ステップS1710において、代表ベクトル算出部1004は、局所的位置合わせが行われた画像1400を、対応領域402の画像として表示制御部143に通知する。これにより、ステップS1709において局所的位置合わせが行われた画像1400が拡大表示画面に拡大表示される。
 ステップS1711において、部分画像抽出部1006は、拡大表示画面に拡大表示された画像1400についての断面変更指示(または、断面変更指示及び差分ベクトル表示指示の両方)が入力されたか否かを判定する。
 ステップS1711において、断面変更指示が入力されなかったと判定した場合には(ステップS1711において"No")、第2のレジストレーション部による処理を終了する。一方、ステップS1711において、断面変更指示が入力されたと判定した場合には(ステップS1711において"Yes")、ステップS1712に進む。
 ステップS1712において、部分画像抽出部1006は、領域識別部1001~位置合わせ部1005に対して、比較先CT画像の前後の各層のCT画像について、ステップS1701からステップS1706、S1709の処理を実行するよう指示する。
 また、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に含まれる対応領域(対応領域1501~1503、402、1505~1507)の画像から、部分画像1511~1517を抽出する。更に、断面画像生成部1007は、抽出された部分画像1511~1517に基づいて断面画像(断面422aについての断面画像422)を生成し、表示制御部143に通知する。これにより、断面変更処理が行われることで得た断面画像(断面422aについての断面画像422)が、局所的位置合わせが行われた画像1400(=断面412aについての断面画像1600)に代わって、拡大表示画面に拡大表示される。
 更に、部分画像抽出部1006は、比較元CT画像及び比較元CT画像の前後の各層のCT画像に含まれる所定領域から、部分画像を抽出する。更に、断面画像生成部1007は、抽出された部分画像に基づいて断面画像を生成し、表示制御部143に通知する。これにより、ステップS1712において断面変更処理が行われることで得られた断面画像が、所定領域401の画像600に代わって、拡大表示画面に拡大表示される。なお、ステップS1712の断面変更処理の詳細なフローチャートは後述する。
 次に、集束領域判定処理(ステップS1705)の詳細について説明する。図18は、集束領域判定処理のフローチャートである。
 ステップS1801において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心(腫瘍中心点O)から辺縁までを、円環状または矩形枠状に刻み幅ΔRで区分けする。ステップS1802において、集束領域判定部1003は、カウンタiに1を代入する。
 ステップS1803において、集束領域判定部1003は、(R-ΔR×(i-1))~(R-ΔR×i)の範囲の区画群と、当該区画群の内側(腫瘍に近い側)に位置する(R-ΔR×i)~(R-ΔR×(i+1))の範囲の区画群とを抽出する。
 ステップS1804において、集束領域判定部1003は、抽出した各区画群に存在する対応ベクトルのうち、隣接する対応ベクトルの差を算出し、差分ベクトルを求める。
 ステップS1805において、集束領域判定部1003は、差分ベクトルの大きさが閾値以下であるか否かを判定する。ステップS1805において閾値以下であると判定した場合には(ステップS1805において"Yes")、ステップS1806に進み、カウンタiをインクリメントする。
 ステップS1807において、集束領域判定部1003は、i≧R/ΔRが成立するか否かを判定する。成立しないと判定した場合(ステップS1807において"No")、集束領域判定部1003は、更に内側(腫瘍に近い側)に区画群があると判定し、ステップS1803に戻る。
 一方、ステップS1807において、i≧R/ΔRが成立すると判定した場合(ステップS1807において"Yes")、集束領域判定部1003は、全ての区画群について差分ベクトルを算出したと判定し、ステップS1808に進む。
 ステップS1808において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定し、集束領域判定処理を終了する。
 一方、ステップS1805において差分ベクトルの大きさが閾値より大きいと判定した場合には(ステップS1805において"No")、ステップS1809に進む。ステップS1809において、集束領域判定部1003は、差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向に向かっているか否かを判定する。
 ステップS1809において、中心方向に向かってないと判定した場合には(ステップS1809において"No")、ステップS1806に進む。一方、ステップS1809において、中心方向に向かっていると判定した場合には(ステップS1809において"Yes")、ステップS1810に進む。
 ステップS1810において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていると判定し、ステップS1811に進む。ステップS1811において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心からの距離が(R-ΔR×i)の位置を正常領域701と集束領域702との境界位置と判定し、集束領域判定処理を終了する。
 次に、ステップS1707の局所的位置合わせ処理(腺癌以外)の詳細について説明する。図19は、局所的位置合わせ処理(腺癌以外)のフローチャートである。
 ステップS1901において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800のうち、腫瘍領域703に対してマスクする。
 ステップS1902において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれる対応ベクトルのうち、ステップS1901においてマスクした腫瘍領域703以外の領域の対応ベクトルを用いて、代表ベクトルを算出する。
 ステップS1903において、位置合わせ部1005は、算出された代表ベクトルを用いて、比較先CT画像より、所定領域401に対応する対応領域402の画像を抽出する。これにより、局所的位置合わせが行われた画像を抽出することができる。
 次に、ステップS1709の局所的位置合わせ処理(腺癌)の詳細について説明する。図20は、局所的位置合わせ(腺癌)のフローチャートである。ステップS1911において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800のうち、腫瘍領域703を含む集束領域702に対してマスクする。
 ステップS1912において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれる対応ベクトルのうち、ステップS1911においてマスクした集束領域702以外の領域の対応ベクトルを用いて、代表ベクトルを算出する。
 ステップS1913において、位置合わせ部1005は、算出された代表ベクトルを用いて、比較先CT画像より、所定領域401に対応する対応領域402の画像1400を抽出する。これにより、局所的位置合わせが行われた画像を抽出することができる。
 次に、断面変更処理(ステップS1712)の詳細について説明する。図21は、断面変更処理のフローチャートである。
 ステップS2001において、部分画像抽出部1006は、所定の断面を特定する。所定の断面とは、腫瘍を含む平面であって、基準断面に対して所定の軸周り(断面方向)に所定の断面角度だけ回転させることで得られる断面412aである。所定の断面は、予め定められていてもよいし、読影医が指示してもよい。
 ステップS2002において、部分画像抽出部1006は、領域識別部1001~対応ベクトル算出部1002に対して、比較元CT画像の前後の各層と、比較先CT画像の前後の各層との間での、層ごとの対応ベクトルを算出するよう指示する。これにより、領域識別部1001~対応ベクトル算出部1002は、比較元CT画像の前後の各層と、比較先CT画像の前後の各層との間で、層ごとの対応ベクトルを算出する。
 ステップS2003において、部分画像抽出部1006は、集束領域判定部1003に対して、各層についての集束領域判定処理を実行するよう指示する。これにより、集束領域判定部1003は、各層についての集束領域判定処理を実行する。なお、各層において実行される集束領域判定処理の内容は、図18を用いて説明した集束領域判定処理と同じであるため、ここでは詳細な説明は省略する。
 ステップS2004において、部分画像抽出部1006は、代表ベクトル算出部1004及び位置合わせ部1005に対して、各層についての局所的位置合わせ処理を実行するよう指示する。これにより、代表ベクトル算出部1004及び位置合わせ部1005は、各層についての局所的位置合わせ処理を実行する。なお、各層において実行される局所的位置合わせ処理の内容は、図20を用いて説明済みであるため、ここでは詳細な説明は省略する。
 ステップS2005において、部分画像抽出部1006は、ステップS2004において局所的位置合わせが行われた画像(対応領域1501~1503、402、1505~1507の画像)を取得する。更に、部分画像抽出部1006は、取得した対応領域1501~1503、402、1505~1507の画像それぞれより、ステップS2001において特定した断面(422a)に応じた部分画像1511~1517を抽出する。
 ステップS2006において、断面画像生成部1007は、ステップS2005において抽出した部分画像1511~1517に基づいて、断面画像(断面422aについての断面画像422)を生成する。なお、差分ベクトル表示指示が入力されていた場合にあっては、ステップS2005において抽出された部分画像にそれぞれ含まれる差分ベクトルを合わせて取得し、断面画像422に重畳する。
 ステップS2007において、断面画像生成部1007は、生成した断面画像422及び断面画像422の生成に際して用いた断面422aを示すための表示情報432を表示制御部143に通知する。
 なお、図21のフローチャートは、対応領域402の画像1400について断面変更処理を行う場合のフローチャートであるが、所定領域401の画像600について断面変更処理を行う場合も同様である。ただし、所定領域401の画像600について断面変更処理を行う場合、図21に示すフローチャートのステップS2005~ステップS2007を実行するものとする。また、ステップS2005については、"比較先CT画像"を"比較元CT画像"に読み替えて実行するものとする。
 以上の説明から明らかなように、第1の実施形態では、比較元CT画像において読影医により腫瘍部分Fの位置が指定された場合に、所定領域401の画像を拡大表示する。また、所定領域401の画像に基づいて、局所的位置合わせを行うことで比較先CT画像より対応領域402の画像を抽出し、拡大表示する。
 これにより、読影医は、異なる時期に撮影された断面画像群に含まれる各CT画像間の対応領域を容易に把握することができるようになるとともに、腫瘍に関する適切な読影を行うことができるようになる。
 また、第1の実施形態では、読影医より断面変更の指示があった場合に、比較先CT画像と比較先CT画像の前後の各層に含まれる対応領域の画像より、新たな断面に応じた部分画像を抽出する。更に、抽出した部分画像に含まれる差分ベクトル(腫瘍の周辺組織の集束の状態を示す情報)を抽出する。更に、生成した断面画像(差分ベクトルの表示指示があった場合にあっては、生成した断面画像と差分ベクトル)を拡大表示する。
 これにより、腫瘍に対する集束がより現れている断面上で、腫瘍と集束の状態とを表示することが可能となり、読影医は、腫瘍に対する集束を見つけ、腫瘍が腺癌であることを容易に判断することができるようになる。つまり、第1の実施形態によれば、腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
 [第2の実施形態]
 上記第1の実施形態において断面画像生成装置120は、予め定められた断面または読影医により指示された断面についての断面画像を生成して表示した。これに対して、第2の実施形態では、様々な断面についての断面画像を生成し、それぞれの断面画像に含まれる差分ベクトル(構造変化を示す情報)に基づいて、構造変化の度合い(腫瘍に対する集束の度合い)を示す評価値を算出する。そして、評価値の最も高い断面画像を、拡大表示画面に拡大表示する。これにより、様々な断面のうち腫瘍に対する集束が最も現れている断面上で、腫瘍と集束の状態とを表示することが可能となる。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
 はじめに、第2の実施形態における部分画像抽出部1006の処理内容の具体例について説明する。図22、図23は、第2の実施形態における部分画像抽出部の処理内容を示す図である。
 図22に示すように、第2の実施形態における部分画像抽出部1006は、y軸周りの断面422aに対応する部分画像に加え、x軸周りの断面2101aに対応する部分画像を抽出する。
 具体的には、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に含まれる対応領域1501~1503、402、1505~1507の画像のうち、断面2101aに対応する部分画像2111~2117を抽出する。
 また、図23に示すように、第2の実施形態における部分画像抽出部1006は、z軸周りの断面2102aに対応する部分画像を抽出する。
 具体的には、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層のCT画像に含まれる対応領域1501~1503、402、1505~1507の画像のうち、断面2102aに対応する部分画像2121~2127を抽出する。
 次に、第2の実施形態における断面画像生成部1007の処理内容の具体例について説明する。図24は、第2の実施形態における断面画像生成部の処理内容を示す図である。
 図24に示すように、第2の実施形態における断面画像生成部1007は、x軸、y軸、z軸周りにそれぞれ一定の刻み幅で断面の角度を変えることで得た複数の断面それぞれについての断面画像を生成する。また、第2の実施形態における断面画像生成部1007は、生成した複数の断面画像それぞれに含まれる差分ベクトルを取得する。また、第2の実施形態における断面画像生成部1007は、それぞれの断面画像について、腫瘍中心点Oから外側に向かう放射状の領域を一定角度間隔で分割し、各放射状の領域よりベクトル長さが最大の差分ベクトルを抽出する。更に、第2の実施形態における断面画像生成部1007は、各放射状の領域から抽出した各差分ベクトルのベクトル長さに応じた評価値を合算し、断面画像ごとの評価値の合計値を算出する。
 このように、放射状の領域と、最大の差分ベクトルとを用いたのは、読影医が集束を判断しやすくするためである。読影医が集束を判断しやすい要件は、腫瘍周辺の血管等の組織が大きく移動していること、及び、腫瘍中心に向かっていることの2点である。このうち、前者の要件に対応するために(ベクトル長が大きいほど高い評価値が得られるように)、最大の差分ベクトルを評価値の算出に用いるようにした。また、後者の要件に対応するために(放射状に各方向から万遍なくベクトルがある場合に評価値が高くなるように)、放射状の各領域において最大の差分ベクトルのみを評価値の算出に用いるようにした。
 図24(a)の例は、断面画像生成部1007が、断面2210a~2212aについての断面画像2210~2212を生成し、断面画像2210において差分ベクトル2210_1、2210_2を取得したことを示している。また、断面画像生成部1007が、差分ベクトル2210_1、2210_2を、それぞれの放射状の領域におけるベクトル長さが最大の差分ベクトルと判断したことを示している。更に、差分ベクトル2210_1、2210_2のベクトル長さに応じた評価値を、それぞれ、"0.8"、"0.9"と算出したことを示している。
 この結果、断面画像生成部1007は、断面画像2210の評価値の合計値を"1.7"と算出する。なお、図24(a)の例では、更に断面画像2211の評価値の合計値を"1.1"と算出し、断面画像2212の評価値の合計値を"2.4"と算出している。
 図24(b)の例は、断面画像生成部1007が、断面2220a~2222aについての断面画像2220~2222を生成し、断面画像2220において差分ベクトル2220_1を取得したことを示している。また、断面画像生成部1007が、差分ベクトル2220_1を、それぞれの放射状の領域におけるベクトル長さが最大の差分ベクトルと判断し、差分ベクトル2220_1のベクトル長さに応じた評価値を、"0.2"と算出したことを示している。
 この結果、断面画像生成部1007は、断面画像2220の評価値の合計値を"0.2"と算出する。なお、図24(b)の例では、更に断面画像2221の評価値の合計値を"0.1"と算出し、断面画像2222の評価値の合計値を"0.5"と算出している。
 図24(c)の例は、断面画像生成部1007が、断面2230a~2232aについての断面画像2230~2232を生成し、断面画像2230において差分ベクトル2230_1~2230_6を取得したことを示している。また、断面画像生成部1007が、差分ベクトル2230_2、2230_3、2230_4、2230_5、2230_6を、それぞれの放射状の領域におけるベクトル長さが最大の差分ベクトルと判断したことを示している。更に、断面画像生成部1007が、それぞれの差分ベクトル2230_2、2230_3、2230_4、2230_5、2230_6のベクトル長さに応じた評価値を、"0.5"、"0.4"、"0.1"、"0.8"、"0.8"と算出したことを示している。
 この結果、断面画像生成部1007は、断面画像2230の評価値の合計値を"2.7"と算出している。なお、図24(c)の例では、更に断面画像2231の評価値の合計値を"2.2"と算出し、断面画像2232の評価値の合計値を"2.4"と算出している。
 断面画像生成部1007は、複数の断面画像2210~2212、2220~2222、2230~2232それぞれの評価値の合計値を比較して、評価値の合計値が最大となる断面画像を判断する。図24の例では、断面画像2230の評価値の合計値(="2.7")が最大と判断される。
 したがって、断面画像生成部1007は、断面画像2230を表示制御部143に通知する。これにより、表示制御部143は、生成された様々な断面画像のうち、腫瘍に対する集束が最も現れている断面画像2230を、拡大表示画面に拡大表示することができる。
 なお、差分ベクトル表示指示が入力されていた場合にあっては、断面画像2230に含まれる差分ベクトル2230_1~2230_6を表示制御部143に通知する。これにより、表示制御部143は、差分ベクトルを合わせて拡大表示することができる。
 このように、第2の実施形態において、断面画像生成部1007は、構造変化を示す情報(差分ベクトル)に基づいて、基準断面とは異なる新たな断面を特定する特定手段として機能する。
 次に、第2の実施形態における断面変更処理(ステップS1712)の詳細について説明する。図25は、断面変更処理のフローチャートである。なお、ステップS2301~S2303は、図21のステップS2002~S2004と同じであるため、ここでは説明を省略する。
 ステップS2304において、部分画像抽出部1006は、一定の刻み幅で断面の角度を変える際の回転軸を設定する。部分画像抽出部1006は、x軸→y軸→z軸の順に設定していくものとする。なお、ここでは、はじめに回転軸としてx軸が設定されるものとする。
 ステップS2305において、部分画像抽出部1006は、断面角度を設定する。ステップS2306において、部分画像抽出部1006は、比較先CT画像及び比較先CT画像の前後の各層から、設定した回転軸及び断面角度により特定される断面に対応する部分画像を抽出する。
 ステップS2307において、断面画像生成部1007は、抽出した部分画像に基づいて断面画像を生成する。例えば、断面画像生成部1007は、断面画像2210を生成する。
 ステップS2308において、断面画像生成部1007は、生成した断面画像における評価値の合計値を算出する。例えば、断面画像生成部1007は、断面画像2210における評価値の合計値として"1.7"を算出する。
 ステップS2309において、断面画像生成部1007は、すべての断面角度について、断面画像を生成したか否かを判定する。ステップS2309において、断面画像を生成していない断面角度があると判定した場合には(ステップS2309において"No")、ステップS2305に戻り、一定の刻み幅だけ断面角度を変えて、ステップS2306~ステップS2308を実行する。
 一方、ステップS2309において、すべての断面角度について、断面画像を生成したと判定した場合には(ステップS2309において"Yes")、ステップS2310に進む。
 ステップS2310において、部分画像抽出部1006は、すべての回転軸を設定したか否かを判定する。ステップS2310において、設定していない回転軸があると判定した場合には(ステップS2310において"No")、ステップS2304に進む。ここでは、x軸を設定しただけであるので、ステップS2304に戻り、y軸を設定したうえで、ステップS2305~ステップS2309の処理を実行する。更に、z軸を設定したうえで、ステップS2305~ステップS2309の処理を実行する。
 ステップS2310において、すべての回転軸を設定したと判定した場合には(ステップS2310において"Yes")、ステップS2311に進む。ステップS2311において、断面画像生成部1007は、生成した各断面画像における評価値の合計値を比較し、最大となる評価値の合計値が算出された断面画像を識別する。更に、断面画像生成部1007は、識別した断面画像及び識別した断面画像を生成する際に用いた断面を示すための表示情報432を表示制御部143に通知する。
 以上の説明から明らかなように、第2の実施形態では、様々な断面についての断面画像を生成し、それぞれの断面画像に含まれる差分ベクトルに基づいて構造変化の度合い(腫瘍に対する集束の度合い)を評価する。また、第2の実施形態では、評価値の最も高い断面画像を識別し、識別した断面画像を拡大表示する。
 これにより、第2の実施形態によれば、様々な断面のうち腫瘍に対する集束が最も現れている断面上で、腫瘍と集束の状態とを表示することが可能となり、読影医は、腫瘍に対する集束を見つけ、腫瘍が腺癌であることを容易に判断することができるようになる。つまり、第2の実施形態によれば、腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
 [第3の実施形態]
 上記第1及び第2の実施形態では、断面変更指示があった場合に、対応領域402の画像に代えて表示する画像として、腫瘍中心点を含む平面を断面とする断面画像を生成した。これに対して、第3の実施形態では、腫瘍中心点を含む曲面を断面とする断面画像を生成する。腫瘍に対する集束が現れる断面が平面とは限られず、曲面を断面とする断面画像の方が、腫瘍に対する集束が現れることもあるからである。以下、第3の実施形態について、上記第1または第2の実施形態との相違点を中心に説明する。
 はじめに、第3の実施形態における断面画像生成部1007の処理内容の具体例について説明する。図26は、第3の実施形態における断面画像生成部の処理内容を示す図である。図26(a)に示すように、腫瘍の周辺組織のうち、腫瘍に向かって移動する周辺組織の領域は不規則である。このため、腫瘍中心点を含む平面よりも、腫瘍中心点を含む曲面の方が、腫瘍に対する集束がより現れる断面となる可能性が高い。
 図26(b)は、腫瘍中心点を含む曲面2401aの一例を示している。図26(c)は、曲面2401aについての断面画像2401を示したものである。図26(c)に示すように、曲面2401aについての断面画像2401に含まれる差分ベクトルの数は、平面についての断面画像2210~2212、2220~2222、2230~2232のいずれよりも、差分ベクトルの数が多い。また、それぞれの差分ベクトルのベクトル長も長い。つまり、腫瘍に対する集束がより現れる断面であるといえる。
 次に、第3の実施形態における断面変更処理(ステップS1712)の詳細について説明する。図27は、断面変更処理のフローチャートである。なお、ステップS2501~S2504は、図21のステップS2001~S2004と同じであるため、ここでは説明を省略する。ただし、ステップS2501において、部分画像抽出部1006は、例えば、最小二乗法等を用いて曲面を特定する。あるいは、部分画像抽出部1006は、ベジエ曲面を用いて曲面を特定する。
 ステップS2505において、部分画像抽出部1006は、比較先CT画像の腫瘍中心点を含む曲面2401aに応じた部分画像を抽出する。
 ステップS2506において、断面画像生成部1007は、ステップS2505において抽出した部分画像に基づいて、曲面2401aを断面とする断面画像2401を生成する。なお、差分ベクトル表示指示が入力されていた場合にあっては、ステップS2505において抽出された部分画像にそれぞれ含まれる差分ベクトルを合わせて取得し、断面画像2401に重畳する。
 ステップS2507において、断面画像生成部1007は、生成した曲面を断面とする断面画像2401及び断面画像2401の生成に際して用いた曲面2401aを示すための表示情報を表示制御部143に通知する。
 以上のとおり、第3の実施形態では、断面変更指示があった場合に、対応領域402の画像に代えて表示する画像として、腫瘍中心点を含む曲面を断面とする断面画像を生成する。これにより、腫瘍に対する集束がより現れている断面上で、腫瘍と集束の状態とを表示することが可能となり、読影医は、腫瘍に対する集束を見つけ、腫瘍が腺癌であることを容易に判断することができるようになる。つまり、第3の実施形態によれば、腫瘍が腺癌であるか否かを読影医が判断することを支援することができる。
 [その他の実施形態]
 上記第3の実施形態では、予め定められた1の曲面を断面とする断面画像を生成したが、上記第2の実施形態と同様に、複数の曲面に基づいて断面画像を生成し、それぞれの断面画像において算出した評価値の合計値に基づいて、1の断面画像を選択してもよい。
 あるいは、腫瘍中心点から外側に向かう各地点において、周辺の部分画像の中から、評価値の最も高い部分画像を選択していくことで部分画像を抽出し、抽出した部分画像をつなぎ合わせることで、曲面を断面とする断面画像を生成するようにしてもよい。
 また、上記第2の実施形態では、複数の断面画像の中から、評価値の合計値が最も大きい断面画像を拡大表示画面に拡大表示した。しかしながら、拡大表示画面に拡大表示する断面画像は、1つに限定されず、読影医の指示のもとで複数の断面画像を切り替えて拡大表示するようにしてもよい。なお、このとき切り替えて拡大表示する複数の断面画像は、例えば、評価値の合計値が大きい上位の断面画像(例えば、上位3つの断面画像)に限定してもよい。
 なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100  :CT画像撮影システム
110  :CT装置
120  :断面画像生成装置
130  :画像DB
140  :読影支援部
141  :第1のレジストレーション部
142  :第2のレジストレーション部
143  :表示制御部
300  :並列表示画面
401  :所定領域
402  :対応領域
421a :断面
422a :断面
431  :断面を示すための表示情報
432  :断面を示すための表示情報
701  :正常領域
702  :集束領域
703  :腫瘍領域
810  :代表ベクトル
1001 :領域識別部
1002 :対応ベクトル算出部
1003 :集束領域判定部
1004 :代表ベクトル算出部
1005 :位置合わせ部
1006 :部分画像抽出部
1007 :断面画像生成部
1200 :代表ベクトル
1300 :代表ベクトル

Claims (9)

  1.  特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、
     前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、
     検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、
     前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、
     生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、
     処理をコンピュータに実行させる読影支援プログラム。
  2.  前記特定の対象物についての新たな複数の断面を特定し、
     前記第1の断面画像群に基づいて、前記複数の新たな断面それぞれについての前記特定の対象物の断面画像をそれぞれ生成し、
     生成した複数の前記断面画像の中から選択された1の断面画像を表示する、
     処理をコンピュータに実行させる請求項1に記載の読影支援プログラム。
  3.  前記特定の対象物についての新たな複数の断面を特定し、
     前記第1の断面画像群に基づいて、前記複数の新たな断面それぞれについての前記特定の対象物の断面画像をそれぞれ生成し、
     生成した複数の前記断面画像の中から、検出した前記構造変化を示す情報に基づいて前記構造変化の度合いを示す評価値を算出し、
     前記算出した評価値を用いることで選択した1の断面画像を表示する、
     処理をコンピュータに実行させる請求項1に記載の読影支援プログラム。
  4.  生成した前記断面画像を、該断面画像の生成に際して特定された断面を示す情報とともに表示する処理をコンピュータに実行させる請求項1に記載の読影支援プログラム。
  5.  前記特定の対象物についての新たな断面は、前記第1の内部構造を示すデータに含まれる腫瘍領域を含む平面または曲面である請求項1に記載の読影支援プログラム。
  6.  前記構造変化を示す情報は、腫瘍の変化に基づく周辺組織の位置の変動を表すベクトルである請求項1に記載の読影支援プログラム。
  7.  前記第2の内部構造を示すデータは、腫瘍を含む所定領域の画像であり、前記第1の内部構造を示すデータは、該所定領域の画像に含まれる特徴点に対応する特徴点を含む領域の画像である請求項1に記載の読影支援プログラム。
  8.  特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成する第1の生成手段と、
     前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出する検出手段と、
     検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定する特定手段と、
     前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成する第2の生成手段と、
     生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する表示手段と
     を有することを特徴とする断面画像生成装置。
  9.  コンピュータが、
     特定の対象物について取得した第1の断面画像群に基づいて、前記特定の対象物の第1の内部構造を示すデータを生成し、
     前記特定の対象物について過去に取得した第2の断面画像群に基づいて生成した前記特定の対象物の第2の内部構造を示すデータと、生成した前記第1の内部構造を示すデータとに基づいて、前記第1の内部構造について前記第2の内部構造からの構造変化を検出し、
     検出した構造変化に基づいて、前記特定の対象物についての新たな断面を特定し、
     前記第1の断面画像群に基づいて、前記新たな断面についての前記特定の対象物の断面画像を生成し、
     生成した前記断面画像を、検出した前記構造変化を示す情報とともに表示する、
     処理を実行することを特徴とする断面画像生成方法。
PCT/JP2015/075004 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法 WO2017037904A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017537149A JP6677256B2 (ja) 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法
CN201580082695.5A CN107949330B (zh) 2015-09-02 2015-09-02 影像解读辅助程序、剖面图像生成装置以及剖面图像生成方法
PCT/JP2015/075004 WO2017037904A1 (ja) 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法
US15/908,238 US10588581B2 (en) 2015-09-02 2018-02-28 Cross-sectional image generating apparatus, cross-sectional image generating method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/075004 WO2017037904A1 (ja) 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/908,238 Continuation US10588581B2 (en) 2015-09-02 2018-02-28 Cross-sectional image generating apparatus, cross-sectional image generating method, and recording medium

Publications (1)

Publication Number Publication Date
WO2017037904A1 true WO2017037904A1 (ja) 2017-03-09

Family

ID=58186762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/075004 WO2017037904A1 (ja) 2015-09-02 2015-09-02 読影支援プログラム、断面画像生成装置及び断面画像生成方法

Country Status (4)

Country Link
US (1) US10588581B2 (ja)
JP (1) JP6677256B2 (ja)
CN (1) CN107949330B (ja)
WO (1) WO2017037904A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061895A (ja) * 2019-10-10 2021-04-22 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
CN112526608B (zh) * 2020-11-16 2022-08-02 哈尔滨工程大学 一种基于射线简正波的深海完整声道会聚区分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008194456A (ja) * 2007-01-16 2008-08-28 Kobe Univ 医用画像処理装置および医用画像処理方法
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
JP2009160045A (ja) * 2007-12-28 2009-07-23 Toshiba Corp 医用画像表示装置および画像表示方法
JP2012213604A (ja) * 2011-03-29 2012-11-08 Toshiba Corp X線ct装置及び画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702971B2 (ja) * 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
JP4653324B2 (ja) 2001-02-20 2011-03-16 東芝医用システムエンジニアリング株式会社 画像表示装置、画像表示プログラム、画像処理装置、及び医用画像診断装置
JP4129375B2 (ja) * 2002-08-13 2008-08-06 株式会社東芝 医用画像診断装置および画像領域指定支援方法
JP4401121B2 (ja) * 2003-07-17 2010-01-20 株式会社日立メディコ 異常陰影検出装置
US6952097B2 (en) * 2003-10-22 2005-10-04 Siemens Aktiengesellschaft Method for slice position planning of tomographic measurements, using statistical images
JP4526114B2 (ja) 2004-05-21 2010-08-18 株式会社日立メディコ 管腔臓器切除シミュレーション方法
DE102005059209B4 (de) * 2005-12-12 2010-11-25 Siemens Ag Verfahren und Vorrichtung zur Visualisierung einer Folge von tomographischen Bilddatensätzen
US7903857B2 (en) 2006-04-17 2011-03-08 Siemens Medical Solutions Usa, Inc. Robust click-point linking with geometric configuration context: interactive localized registration approach
EP1865464B1 (en) 2006-06-08 2013-11-20 National University Corporation Kobe University Processing device and program product for computer-aided image based diagnosis
JP5142591B2 (ja) 2006-06-08 2013-02-13 国立大学法人神戸大学 医用画像診断支援装置および医用画像診断支援プログラム
DE602007002048D1 (de) * 2007-02-09 2009-10-01 Agfa Gevaert Visuelle Hervorhebung von Intervalländerungen mittels einer Zeitsubtraktionstechnik
US8867807B1 (en) * 2011-09-23 2014-10-21 Dr Systems, Inc. Intelligent dynamic preloading and processing
US8675944B2 (en) 2012-01-12 2014-03-18 Kabushiki Kaisha Toshiba Method of registering image data
GB2532614B8 (en) * 2013-05-02 2020-07-08 Hu Yangqiu Surface and image integration for model evaluation and landmark determination
US10127662B1 (en) * 2014-08-11 2018-11-13 D.R. Systems, Inc. Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008194456A (ja) * 2007-01-16 2008-08-28 Kobe Univ 医用画像処理装置および医用画像処理方法
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
JP2009160045A (ja) * 2007-12-28 2009-07-23 Toshiba Corp 医用画像表示装置および画像表示方法
JP2012213604A (ja) * 2011-03-29 2012-11-08 Toshiba Corp X線ct装置及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061895A (ja) * 2019-10-10 2021-04-22 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7444387B2 (ja) 2019-10-10 2024-03-06 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム

Also Published As

Publication number Publication date
US10588581B2 (en) 2020-03-17
US20180184987A1 (en) 2018-07-05
CN107949330B (zh) 2021-04-20
CN107949330A (zh) 2018-04-20
JP6677256B2 (ja) 2020-04-08
JPWO2017037904A1 (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
US8542903B2 (en) Method and system for delineation of vasculature
WO2017037904A1 (ja) 読影支援プログラム、断面画像生成装置及び断面画像生成方法
EP2245592B1 (en) Image registration alignment metric
US20120099776A1 (en) Medical image processing apparatus
EP2437649A1 (en) Image processing apparatus, control method thereof, and computer program
US9198603B2 (en) Device, method and program for searching for the shortest path in a tubular structure
US9977982B2 (en) Medical image processing method and image processing system
JP2004178587A (ja) ボリュームデータセット内のマークの画像の座標を求める方法および医療装置
CN103871036A (zh) 用于三维数字减影血管造影图像的快速配准和拼接方法
JP6641696B2 (ja) 画像表示装置、画像表示プログラム及び画像表示方法
JP2016142666A (ja) 核医学画像中の腫瘍輪郭を抽出する技術
JP6565422B2 (ja) 画像処理プログラム、画像処理装置及び画像処理方法
JP2017131634A (ja) 撮影された被検体内の複数の低コントラストの物体の、向上した視覚化を行うシステムおよび方法
JP2005087727A (ja) 画像読影支援方法および装置ならびにプログラム
EP4026102B1 (en) Confidence map for neural network based limited angle artifact reduction in cone beam ct
JP6326555B2 (ja) 縮小角度範囲を用いる回転c−アームコンピュータ断層撮影のための適応セグメンテーションを行う医用イメージングシステム又は方法
JP5038852B2 (ja) 断層像処理方法、断層像処理装置、断層像処理プログラム、およびx線ct装置
JP6479671B2 (ja) 画像処理装置
JP2008180555A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5514397B2 (ja) 画像表示装置およびx線断層撮影装置
JP2024504867A (ja) 断層撮影スキャンの画像ベースの計画
US9808175B1 (en) Method and system for analyzing images to quantify brain atrophy
JP5292055B2 (ja) 配管検査用断層撮影方法および装置
JP2010046102A (ja) 断層画像処理装置およびx線ct装置並びにプログラム
WO2023194267A1 (en) Automatic rib fracture detection from unfolded scan images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15903023

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017537149

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15903023

Country of ref document: EP

Kind code of ref document: A1