WO2013012070A1 - 画像処理システム、装置、方法及び医用画像診断装置 - Google Patents

画像処理システム、装置、方法及び医用画像診断装置 Download PDF

Info

Publication number
WO2013012070A1
WO2013012070A1 PCT/JP2012/068482 JP2012068482W WO2013012070A1 WO 2013012070 A1 WO2013012070 A1 WO 2013012070A1 JP 2012068482 W JP2012068482 W JP 2012068482W WO 2013012070 A1 WO2013012070 A1 WO 2013012070A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interest
unit
image data
dimensional image
Prior art date
Application number
PCT/JP2012/068482
Other languages
English (en)
French (fr)
Inventor
塚越　伸介
堤　高志
藤澤　恭子
学 勅使川原
確 足立
Original Assignee
株式会社東芝
東芝メディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝メディカルシステムズ株式会社 filed Critical 株式会社東芝
Priority to CN201280035112.XA priority Critical patent/CN103702612B/zh
Publication of WO2013012070A1 publication Critical patent/WO2013012070A1/ja
Priority to US14/158,123 priority patent/US9600922B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • Embodiments described herein relate generally to an image processing system, apparatus, method, and medical image diagnostic apparatus.
  • a monitor capable of stereoscopically viewing a two-parallax image taken from two viewpoints using a dedicated device such as stereoscopic glasses has been put into practical use.
  • monitors that can stereoscopically view multi-parallax images (for example, 9 parallax images) taken from a plurality of viewpoints using a light beam controller such as a lenticular lens have been put into practical use.
  • a 2-parallax image or a 9-parallax image displayed on a stereoscopically viewable monitor may be generated by estimating the depth information of an image taken from one viewpoint and performing image processing using the estimated information. .
  • volume data generated by such a medical image diagnostic apparatus is converted into a two-dimensional image by various image processing and displayed two-dimensionally on a general-purpose monitor.
  • volume data generated by a medical image diagnostic apparatus is converted into a two-dimensional image reflecting three-dimensional information by volume rendering processing, and is displayed two-dimensionally on a general-purpose monitor.
  • volume rendering processing when a plurality of images having different time phases are superimposed, it may be difficult to observe.
  • the problem to be solved by the present invention is to provide an image processing system, apparatus, method, and medical image diagnostic apparatus that can be easily observed even when a plurality of images having different time phases are superimposed. .
  • the image processing system includes an extraction unit, a position determination unit, and a display control unit.
  • the extraction unit extracts the same region of interest included in each of a plurality of three-dimensional image data having different time phases.
  • the position determining unit is configured to superimpose a position for superimposing regions of interest of each of the plurality of 3D image data extracted by the extracting unit at substantially the same position in the subject based on the feature points included in the 3D image data. To decide.
  • the display control unit changes each region of interest of the plurality of three-dimensional image data extracted by the extraction unit to a different display format, and displays a superimposed image superimposed at the position determined by the position determination unit. .
  • FIG. 1 is a diagram for explaining a configuration example of an image processing system according to the first embodiment.
  • FIG. 2A is a diagram for describing an example of a stereoscopic display monitor that performs stereoscopic display using two parallax images.
  • FIG. 2B is a diagram for describing an example of a stereoscopic display monitor that performs stereoscopic display using two parallax images.
  • FIG. 3 is a diagram for explaining an example of a stereoscopic display monitor that performs stereoscopic display using nine parallax images.
  • FIG. 4 is a diagram for explaining a configuration example of the workstation according to the first embodiment.
  • FIG. 5 is a diagram for explaining a configuration example of the rendering processing unit shown in FIG. FIG.
  • FIG. 6 is a diagram for explaining an example of volume rendering processing according to the first embodiment.
  • FIG. 7 is a diagram for explaining a configuration example of a control unit according to the first embodiment.
  • FIG. 8 is a diagram for explaining an example of processing by the extraction unit according to the first embodiment.
  • FIG. 9 is a diagram for explaining an example of processing by the position determination unit according to the first embodiment.
  • FIG. 10 is a diagram for explaining an example of processing by the display control unit according to the first embodiment.
  • FIG. 11 is a flowchart illustrating a processing procedure performed by the workstation according to the first embodiment.
  • FIG. 12 is a diagram showing an example of three or more time-phase three-dimensional image data according to the second embodiment.
  • FIG. 13 is a diagram for explaining a first example of processing by the display control unit according to the second embodiment.
  • FIG. 14 is a diagram for explaining a second example of processing by the display control unit according to the second embodiment.
  • FIG. 15 is a diagram for explaining an example of processing by the extraction unit according to the third embodiment.
  • the “parallax image group” is an image generated by performing volume rendering processing by moving the viewpoint position by a predetermined parallax angle with respect to volume data. It is a group. That is, the “parallax image group” includes a plurality of “parallax images” having different “viewpoint positions”.
  • the “parallax angle” is a predetermined position in the space represented by the volume data and an adjacent viewpoint position among the viewpoint positions set to generate the “parallax image group” (for example, the center of the space) It is an angle determined by.
  • the “parallax number” is the number of “parallax images” necessary for stereoscopic viewing on the stereoscopic display monitor.
  • the “9 parallax images” described below is a “parallax image group” composed of nine “parallax images”.
  • the “two-parallax image” described below is a “parallax image group” composed of two “parallax images”.
  • FIG. 1 is a diagram for explaining a configuration example of an image processing system according to the first embodiment.
  • the image processing system 1 includes a medical image diagnostic apparatus 110, an image storage apparatus 120, a workstation 130, and a terminal apparatus 140.
  • Each device illustrated in FIG. 1 is in a state where it can communicate with each other directly or indirectly by, for example, an in-hospital LAN (Local Area Network) 2 installed in a hospital.
  • an in-hospital LAN Local Area Network
  • PACS Picture Archiving and Communication System
  • each apparatus transmits and receives medical images and the like according to the DICOM (Digital Imaging and Communications in Medicine) standard.
  • DICOM Digital Imaging and Communications in Medicine
  • the image processing system 1 generates a parallax image group from volume data that is three-dimensional medical image data generated by the medical image diagnostic apparatus 110, and displays the parallax image group on a stereoscopically viewable monitor.
  • the workstation 130 performs various image processing on the volume data to generate a parallax image group.
  • the workstation 130 and the terminal device 140 have a monitor that can be viewed stereoscopically, and displays a parallax image group generated by the workstation 130 on the monitor.
  • the image storage device 120 stores the volume data generated by the medical image diagnostic device 110 and the parallax image group generated by the workstation 130. That is, the workstation 130 and the terminal device 140 acquire volume data and a parallax image group from the image storage device 120, process them, and display them on a monitor.
  • each device will be described in order.
  • the medical image diagnostic apparatus 110 includes an X-ray diagnostic apparatus, an X-ray CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, an ultrasonic diagnostic apparatus, a SPECT (Single Photon Emission Computed Tomography) apparatus, and a PET (Positron Emission computed Tomography). ) Apparatus, a SPECT-CT apparatus in which a SPECT apparatus and an X-ray CT apparatus are integrated, a PET-CT apparatus in which a PET apparatus and an X-ray CT apparatus are integrated, or a group of these apparatuses. Further, the medical image diagnostic apparatus 110 according to the first embodiment can generate three-dimensional medical image data (volume data).
  • the medical image diagnostic apparatus 110 generates volume data by imaging a subject.
  • the medical image diagnostic apparatus 110 collects data such as projection data and MR signals by imaging the subject, and medical image data of a plurality of axial surfaces along the body axis direction of the subject from the collected data.
  • volume data is generated.
  • the medical image diagnostic apparatus 110 reconstructs 500 pieces of medical image data on the axial plane.
  • the 500 axial medical image data groups are volume data.
  • the projection data of the subject imaged by the medical image diagnostic apparatus 110, the MR signal, or the like may be used as the volume data.
  • the medical image diagnostic apparatus 110 transmits the generated volume data to the image storage apparatus 120.
  • the medical image diagnostic apparatus 110 identifies, for example, a patient ID for identifying a patient, an examination ID for identifying an examination, and the medical image diagnostic apparatus 110 as supplementary information when transmitting volume data to the image storage apparatus 120.
  • a device ID, a series ID for identifying one shot by the medical image diagnostic device 110, and the like are transmitted.
  • the image storage device 120 is a database that stores medical images. Specifically, the image storage device 120 according to the first embodiment stores the volume data transmitted from the medical image diagnostic device 110 in a storage unit and stores it. In the first embodiment, the workstation 130 generates a parallax image group from the volume data, and transmits the generated parallax image group to the image storage device 120. Therefore, the image storage device 120 stores the parallax image group transmitted from the workstation 130 in the storage unit and stores it. In the present embodiment, the workstation 130 illustrated in FIG. 1 and the image storage device 120 may be integrated by using the workstation 130 that can store a large-capacity image. That is, this embodiment may be a case where volume data or a parallax image group is stored in the workstation 130 itself.
  • the volume data and the parallax image group stored in the image storage device 120 are stored in association with the patient ID, examination ID, device ID, series ID, and the like. Therefore, the workstation 130 and the terminal device 140 acquire necessary volume data and a parallax image group from the image storage device 120 by performing a search using a patient ID, an examination ID, a device ID, a series ID, and the like.
  • the workstation 130 is an image processing apparatus that performs image processing on medical images. Specifically, the workstation 130 according to the first embodiment performs various rendering processes on the volume data acquired from the image storage device 120 to generate a parallax image group.
  • a parallax image group is a plurality of parallax images taken from a plurality of viewpoints. For example, a parallax image group displayed on a monitor capable of stereoscopically viewing nine parallax images with the naked eye has a viewpoint position. It is nine different parallax images.
  • the workstation 130 has a monitor (hereinafter referred to as a stereoscopic display monitor) capable of stereoscopic viewing as a display unit.
  • the workstation 130 generates a parallax image group and displays the generated parallax image group on the stereoscopic display monitor.
  • the operator of the workstation 130 can perform an operation for generating a parallax image group while confirming a stereoscopically visible medical image displayed on the stereoscopic display monitor.
  • the workstation 130 transmits the generated parallax image group to the image storage device 120.
  • the workstation 130 transmits, for example, a patient ID, an examination ID, a device ID, a series ID, and the like as incidental information.
  • the incidental information transmitted when transmitting the parallax image group to the image storage device 120 includes incidental information regarding the parallax image group.
  • the incidental information regarding the parallax image group includes the number of parallax images (for example, “9”), the resolution of the parallax images (for example, “466 ⁇ 350 pixels”), and the like.
  • the terminal device 140 is a device for allowing a doctor or laboratory technician working in a hospital to view a medical image.
  • the terminal device 140 is a PC (Personal Computer), a tablet PC, a PDA (Personal Digital Assistant), a mobile phone, or the like operated by a doctor or laboratory technician working in a hospital.
  • the terminal device 140 according to the first embodiment includes a stereoscopic display monitor as a display unit.
  • the terminal device 140 acquires a parallax image group from the image storage device 120 and displays the acquired parallax image group on the stereoscopic display monitor.
  • a doctor or laboratory technician who is an observer can view a medical image that can be viewed stereoscopically.
  • a general-purpose monitor that is most popular at present displays a two-dimensional image in two dimensions, and cannot display a two-dimensional image in three dimensions. If an observer requests stereoscopic viewing on a general-purpose monitor, an apparatus that outputs an image to the general-purpose monitor needs to display two parallax images that can be viewed stereoscopically by the observer in parallel by the parallel method or the intersection method. is there.
  • an apparatus that outputs an image to a general-purpose monitor for example, uses an after-color method with an eyeglass that has a red cellophane attached to the left eye portion and a blue cellophane attached to the right eye portion. It is necessary to display a stereoscopically viewable image.
  • a stereoscopic display monitor there is a stereoscopic display monitor capable of stereoscopically viewing a two-parallax image (also referred to as a binocular parallax image) by using dedicated equipment such as stereoscopic glasses.
  • FIGS. 2A and 2B are diagrams for explaining an example of a stereoscopic display monitor that performs stereoscopic display using two parallax images.
  • An example shown in FIGS. 2A and 2B is a stereoscopic display monitor that performs stereoscopic display by a shutter method, and shutter glasses are used as stereoscopic glasses worn by an observer who observes the monitor.
  • Such a stereoscopic display monitor emits two parallax images alternately on the monitor.
  • the monitor shown in FIG. 2A alternately emits a left-eye image and a right-eye image at 120 Hz.
  • the monitor is provided with an infrared emitting unit, and the infrared emitting unit controls the emission of infrared rays in accordance with the timing at which the image is switched.
  • the infrared light emitted from the infrared light emitting unit is received by the infrared light receiving unit of the shutter glasses shown in FIG. 2A.
  • a shutter is attached to each of the left and right frames of the shutter glasses, and the shutter glasses alternately switch the transmission state and the light shielding state of the left and right shutters according to the timing when the infrared light receiving unit receives the infrared rays.
  • the switching process between the transmission state and the light shielding state in the shutter will be described.
  • each shutter has an incident-side polarizing plate and an output-side polarizing plate, and further has a liquid crystal layer between the incident-side polarizing plate and the output-side polarizing plate.
  • the incident-side polarizing plate and the outgoing-side polarizing plate are orthogonal to each other.
  • the light passing through the incident-side polarizing plate is rotated 90 degrees by the action of the liquid crystal layer, and the outgoing-side polarizing plate is To Penetrate. That is, a shutter to which no voltage is applied is in a transmissive state.
  • the infrared emitting unit emits infrared rays while the image for the left eye is displayed on the monitor.
  • the infrared light receiving unit applies a voltage to the right-eye shutter without applying a voltage to the left-eye shutter during a period of receiving the infrared light.
  • the right-eye shutter is in a light-shielding state and the left-eye shutter is in a transmissive state, so that an image for the left eye enters the left eye of the observer.
  • the infrared ray emitting unit stops emitting infrared rays while the right-eye image is displayed on the monitor.
  • the infrared light receiving unit applies a voltage to the left-eye shutter without applying a voltage to the right-eye shutter during a period in which no infrared light is received. Accordingly, the left-eye shutter is in a light-shielding state and the right-eye shutter is in a transmissive state, so that an image for the right eye is incident on the right eye of the observer.
  • the stereoscopic display monitor illustrated in FIGS. 2A and 2B displays an image that can be viewed stereoscopically by the observer by switching the image displayed on the monitor and the state of the shutter in conjunction with each other.
  • a monitor adopting a polarized glasses method is also known in addition to the shutter method described above.
  • a stereoscopic display monitor that allows a viewer to stereoscopically view a multi-parallax image such as a 9-parallax image with the naked eye by using a light controller such as a lenticular lens.
  • a light controller such as a lenticular lens.
  • Such a stereoscopic display monitor enables stereoscopic viewing based on binocular parallax, and also enables stereoscopic viewing based on motion parallax that also changes the image observed in accordance with the viewpoint movement of the observer.
  • FIG. 3 is a diagram for explaining an example of a stereoscopic display monitor that performs stereoscopic display with nine parallax images.
  • a light beam controller is arranged on the front surface of a flat display surface 200 such as a liquid crystal panel.
  • a vertical lenticular sheet 201 whose optical aperture extends in the vertical direction is attached to the front surface of the display surface 200 as a light beam controller.
  • the display surface 200 has an aspect ratio of 3: 1 and pixels in which three sub-pixels, red (R), green (G), and blue (B), are arranged in the vertical direction. 202 are arranged in a matrix.
  • the stereoscopic display monitor shown in FIG. 3 converts a nine-parallax image composed of nine images into an intermediate image arranged in a predetermined format (for example, a lattice shape), and then outputs it to the display surface 200. That is, the stereoscopic display monitor shown in FIG. 3 assigns and outputs nine pixels at the same position in nine parallax images to nine columns of pixels 202.
  • the nine columns of pixels 202 constitute a unit pixel group 203 that simultaneously displays nine images with different viewpoint positions.
  • the nine-parallax images simultaneously output as the unit pixel group 203 on the display surface 200 are emitted as parallel light by, for example, an LED (Light Emitting Diode) backlight, and further emitted in multiple directions by the vertical lenticular sheet 201.
  • an LED Light Emitting Diode
  • the light incident on the right eye and the left eye of the observer changes in conjunction with the position of the observer (viewpoint position). That is, the parallax angle between the parallax image incident on the right eye and the parallax image incident on the left eye differs depending on the viewing angle of the observer.
  • the observer can visually recognize the photographing object in three dimensions at each of the nine positions shown in FIG. 3, for example.
  • the observer can view the image three-dimensionally in a state of facing the object to be imaged at the position “5” shown in FIG. 3, and at each position other than “5” shown in FIG. It can be visually recognized in a three-dimensional manner with the direction of the object changed.
  • the stereoscopic display monitor shown in FIG. 3 is merely an example.
  • the stereoscopic display monitor that displays a nine-parallax image may be a horizontal stripe liquid crystal of “RRR..., GGG..., BBB. .. ”” May be used.
  • the stereoscopic display monitor shown in FIG. 3 may be a vertical lens system in which the lenticular sheet is vertical as shown in FIG. 3 or a diagonal lens system in which the lenticular sheet is diagonal. There may be.
  • the configuration example of the image processing system 1 according to the first embodiment has been briefly described.
  • the application of the image processing system 1 described above is not limited when PACS is introduced.
  • the image processing system 1 is similarly applied when an electronic medical chart system that manages an electronic medical chart to which a medical image is attached is introduced.
  • the image storage device 120 is a database that stores electronic medical records.
  • the image processing system 1 is similarly applied when a HIS (Hospital Information System) and a RIS (Radiology Information System) are introduced.
  • HIS Hospital Information System
  • RIS Radiology Information System
  • the image processing system 1 is not limited to the configuration example described above. The functions and sharing of each device may be appropriately changed according to the operation mode.
  • FIG. 4 is a diagram for explaining a configuration example of the workstation according to the first embodiment.
  • the “parallax image group” is a group of stereoscopic images generated by performing volume rendering processing on volume data. Further, the “parallax image” is an individual image constituting the “parallax image group”. That is, the “parallax image group” includes a plurality of “parallax images” having different viewpoint positions.
  • the workstation 130 is a high-performance computer suitable for image processing and the like, and as illustrated in FIG. 4, an input unit 131, a display unit 132, a communication unit 133, and a storage unit 134. And a control unit 135 and a rendering processing unit 136.
  • the workstation 130 is a high-performance computer suitable for image processing or the like.
  • the present invention is not limited to this, and may be any information processing apparatus. For example, any personal computer may be used.
  • the input unit 131 is a mouse, a keyboard, a trackball, or the like, and receives input of various operations on the workstation 130 from the operator. Specifically, the input unit 131 according to the first embodiment receives input of information for acquiring volume data to be subjected to rendering processing from the image storage device 120. For example, the input unit 131 receives input of a patient ID, an examination ID, a device ID, a series ID, and the like. Further, the input unit 131 according to the first embodiment receives an input of a condition regarding rendering processing (hereinafter, rendering condition).
  • rendering condition a condition regarding rendering processing
  • the display unit 132 is a liquid crystal panel or the like as a stereoscopic display monitor, and displays various types of information. Specifically, the display unit 132 according to the first embodiment displays a GUI (Graphical User Interface) for receiving various operations from the operator, a parallax image group, and the like.
  • the communication unit 133 is a NIC (Network Interface Card) or the like, and communicates with other devices.
  • the storage unit 134 is a hard disk, a semiconductor memory element, or the like, and stores various information. Specifically, the storage unit 134 according to the first embodiment stores volume data acquired from the image storage device 120 via the communication unit 133. In addition, the storage unit 134 according to the first embodiment stores volume data during rendering processing, a parallax image group generated by rendering processing, an image for two-dimensional display, and the like.
  • the control unit 135 is an integrated circuit such as an electronic circuit such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), and the entire workstation 130. Take control.
  • a CPU Central Processing Unit
  • MPU Micro Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • control unit 135 controls the display of the GUI and the display of the parallax image group on the display unit 132.
  • the control unit 135 controls transmission / reception of volume data and a parallax image group performed with the image storage device 120 via the communication unit 133.
  • the control unit 135 controls the rendering process performed by the rendering processing unit 136.
  • the control unit 135 controls reading of volume data from the storage unit 134 and storage of the parallax image group in the storage unit 134.
  • the rendering processing unit 136 performs various rendering processes on the volume data acquired from the image storage device 120 under the control of the control unit 135, and generates a parallax image group. The processing of the rendering processing unit 136 will be described in detail later.
  • the rendering processing unit 136 performs various rendering processes on the volume data acquired from the image storage device 120 under the control of the control unit 135, and generates a parallax image group. Specifically, the rendering processing unit 136 according to the first embodiment reads volume data from the storage unit 134 and first performs preprocessing on the volume data. Next, the rendering processing unit 136 performs volume rendering processing on the pre-processed volume data to generate a parallax image group. Subsequently, the rendering processing unit 136 generates a two-dimensional image in which various kinds of information (scale, patient name, examination item, etc.) are drawn, and superimposes it on each of the parallax image groups, thereby outputting 2 for output. Generate a dimensional image.
  • the rendering processing unit 136 stores the generated parallax image group and the output two-dimensional image in the storage unit 134.
  • the rendering process is the entire image process performed on the volume data.
  • the volume rendering process is a two-dimensional image reflecting three-dimensional information in the rendering process. It is a process to generate.
  • a parallax image corresponds to the medical image generated by the rendering process.
  • FIG. 5 is a diagram for explaining a configuration example of the rendering processing unit shown in FIG.
  • the rendering processing unit 136 includes a preprocessing unit 1361, a 3D image processing unit 1362, and a 2D image processing unit 1363.
  • the preprocessing unit 1361 performs preprocessing on the volume data
  • the 3D image processing unit 1362 generates a parallax image group from the preprocessed volume data
  • the 2D image processing unit 1363 stores various information on the parallax image group.
  • a two-dimensional image for output on which is superimposed is generated.
  • each part is demonstrated in order.
  • the preprocessing unit 1361 is a processing unit that performs various types of preprocessing when rendering processing is performed on volume data, and includes an image correction processing unit 1361a, a three-dimensional object fusion unit 1361e, and a three-dimensional object display area setting. Part 1361f.
  • the image correction processing unit 1361a is a processing unit that performs image correction processing when processing two types of volume data as one volume data, and as shown in FIG. 5, a distortion correction processing unit 1361b, a body motion correction processing unit, 1361c and an inter-image registration processing unit 1361d.
  • the image correction processing unit 1361a performs image correction processing when processing volume data of the PET image and volume data of the X-ray CT image generated by the PET-CT apparatus as one volume data.
  • the image correction processing unit 1361a performs image correction processing when processing the volume data of the T1-weighted image and the volume data of the T2-weighted image generated by the MRI apparatus as one volume data.
  • the distortion correction processing unit 1361b corrects the data distortion caused by the collection conditions at the time of data collection by the medical image diagnostic apparatus 110 in each volume data.
  • the body motion correction processing unit 1361c corrects the movement caused by the body motion of the subject at the time of collecting the data used for generating the individual volume data.
  • the inter-image registration processing unit 1361d performs registration (Registration) using, for example, a cross-correlation method between the two volume data subjected to the correction processing by the distortion correction processing unit 1361b and the body motion correction processing unit 1361c. ).
  • the three-dimensional object fusion unit 1361e fuses a plurality of volume data that has been aligned by the inter-image alignment processing unit 1361d. Note that the processing of the image correction processing unit 1361a and the three-dimensional object fusion unit 1361e is omitted when rendering processing is performed on single volume data.
  • the three-dimensional object display area setting unit 1361f is a processing unit that sets a display area corresponding to a display target organ designated by the operator, and includes a segmentation processing unit 1361g.
  • the segmentation processing unit 1361g is a processing unit that extracts organs such as the heart, lungs, and blood vessels designated by the operator by, for example, a region expansion method based on pixel values (voxel values) of volume data.
  • segmentation processing unit 1361 g does not perform the segmentation processing when the display target organ is not designated by the operator.
  • the segmentation processing unit 1361g extracts a plurality of corresponding organs when a plurality of display target organs are designated by the operator. Further, the processing of the segmentation processing unit 1361g may be executed again in response to an operator fine adjustment request referring to the rendered image.
  • the 3D image processing unit 1362 performs volume rendering processing on the pre-processed volume data processed by the preprocessing unit 1361.
  • a three-dimensional image processing unit 1362 includes a projection method setting unit 1362a, a three-dimensional geometric transformation processing unit 1362b, a three-dimensional object appearance processing unit 1362f, and a three-dimensional virtual space rendering unit 1362k.
  • Projection method setting unit 1362a determines a projection method for generating a parallax image group. For example, the projection method setting unit 1362a determines whether to execute the volume rendering process by the parallel projection method or the perspective projection method.
  • the three-dimensional geometric transformation processing unit 1362b is a processing unit that determines information for transforming volume data on which volume rendering processing is performed into a three-dimensional geometrical structure.
  • the three-dimensional geometric transformation processing unit 1362b includes a parallel movement processing unit 1362c, a rotation processing unit 1362d, and an enlargement unit.
  • a reduction processing unit 1362e is included.
  • the parallel movement processing unit 1362c is a processing unit that determines the amount of movement to translate the volume data when the viewpoint position when performing the volume rendering processing is translated, and the rotation processing unit 1362d performs the volume rendering processing. This is a processing unit that determines the amount of movement by which the volume data is rotationally moved when the viewpoint position during the rotation is rotationally moved.
  • the enlargement / reduction processing unit 1362e is a processing unit that determines the enlargement rate or reduction rate of the volume data when enlargement or reduction of the parallax image group is requested.
  • the 3D object appearance processing unit 1362f includes a 3D object color processing unit 1362g, a 3D object opacity processing unit 1362h, a 3D object material processing unit 1362i, and a 3D virtual space light source processing unit 1362j.
  • the three-dimensional object appearance processing unit 1362f performs a process of determining the display state of the displayed parallax image group in response to an operator's request, for example.
  • the three-dimensional object color processing unit 1362g is a processing unit that determines a color to be colored for each region segmented by the volume data.
  • the three-dimensional object opacity processing unit 1362h is a processing unit that determines the opacity (Opacity) of each voxel constituting each region segmented by volume data. It should be noted that the area behind the area having the opacity of “100%” in the volume data is not drawn in the parallax image group. In addition, an area in which the opacity is “0%” in the volume data is not drawn in the parallax image group.
  • the three-dimensional object material processing unit 1362i is a processing unit that determines the material of each region segmented by volume data and adjusts the texture when this region is rendered.
  • the three-dimensional virtual space light source processing unit 1362j is a processing unit that determines the position of the virtual light source installed in the three-dimensional virtual space and the type of the virtual light source when performing volume rendering processing on the volume data. Examples of the virtual light source include a light source that emits parallel light rays from infinity and a light source that emits radial light rays from the viewpoint.
  • the 3D virtual space rendering unit 1362k performs volume rendering processing on the volume data to generate a parallax image group.
  • the three-dimensional virtual space rendering unit 1362k performs various types of information determined by the projection method setting unit 1362a, the three-dimensional geometric transformation processing unit 1362b, and the three-dimensional object appearance processing unit 1362f as necessary when performing the volume rendering process. Is used.
  • the volume rendering processing by the three-dimensional virtual space rendering unit 1362k is performed according to the rendering conditions.
  • the rendering condition is “parallel projection method” or “perspective projection method”.
  • the rendering condition is “reference viewpoint position and parallax angle”.
  • the rendering conditions are “translation of viewpoint position”, “rotational movement of viewpoint position”, “enlargement of parallax image group”, and “reduction of parallax image group”.
  • the rendering conditions are “color to be colored”, “transparency”, “texture”, “position of virtual light source”, and “type of virtual light source”.
  • Such a rendering condition may be accepted from the operator via the input unit 131 or may be initially set.
  • the three-dimensional virtual space rendering unit 1362k receives a rendering condition from the control unit 135, and performs volume rendering processing on the volume data according to the rendering condition.
  • the projection method setting unit 1362a, the three-dimensional geometric transformation processing unit 1362b, and the three-dimensional object appearance processing unit 1362f determine various pieces of necessary information according to the rendering conditions, so the three-dimensional virtual space rendering unit 1362k. Generates a parallax image group using the determined various pieces of information.
  • FIG. 6 is a diagram for explaining an example of the volume rendering process according to the first embodiment.
  • the three-dimensional virtual space rendering unit 1362k accepts the parallel projection method as a rendering condition, and further, the reference viewpoint position (5) and the parallax. Assume that the angle “1 degree” is received. In such a case, the three-dimensional virtual space rendering unit 1362k translates the position of the viewpoint from (1) to (9) so that the parallax angle is every “1 degree”, and performs the parallax angle (line of sight) by the parallel projection method.
  • the three-dimensional virtual space rendering unit 1362k sets a light source that emits parallel light rays from infinity along the line-of-sight direction.
  • the three-dimensional virtual space rendering unit 1362k accepts a perspective projection method as a rendering condition, and further, the reference viewpoint position (5) and the parallax Assume that the angle “1 degree” is received. In such a case, the three-dimensional virtual space rendering unit 1362k rotates and moves the viewpoint position from (1) to (9) so that the parallax angle is “1 degree” around the center (center of gravity) of the volume data. Thus, nine parallax images having different parallax angles by 1 degree are generated by the perspective projection method.
  • the three-dimensional virtual space rendering unit 1362k sets a point light source or a surface light source that radiates light three-dimensionally radially around the line-of-sight direction at each viewpoint.
  • the viewpoints (1) to (9) may be moved in parallel depending on the rendering conditions.
  • the three-dimensional virtual space rendering unit 1362k radiates light two-dimensionally radially around the line-of-sight direction with respect to the vertical direction of the displayed volume rendered image, and the horizontal direction of the displayed volume rendered image.
  • volume rendering processing using both the parallel projection method and the perspective projection method may be performed by setting a light source that irradiates parallel light rays from infinity along the viewing direction.
  • the nine parallax images generated in this way are a group of parallax images.
  • the nine parallax images are converted into intermediate images arranged in a predetermined format (for example, a lattice shape) by the control unit 135, for example, and are output to the display unit 132 as a stereoscopic display monitor.
  • the operator of the workstation 130 can perform an operation for generating a parallax image group while confirming a stereoscopically viewable medical image displayed on the stereoscopic display monitor.
  • the rendering unit 1362k generates a parallax image group while reflecting each rendering condition.
  • the 3D virtual space rendering unit 1362k reconstructs not only volume rendering but also a planar image of an arbitrary plane (for example, an axial plane, a sagittal plane, a coronal plane, etc.).
  • the 3D virtual space rendering unit 1362k performs a cross-section reconstruction method (MPR: Multi Planer Reconstruction) to reconstruct an MPR image from volume data.
  • MPR Multi Planer Reconstruction
  • the 3D virtual space rendering unit 1362k also has a function of performing “Curved MPR” and a function of performing “Intensity Projection”.
  • the parallax image group generated from the volume data by the three-dimensional image processing unit 1362 is an underlay.
  • an overlay (Overlay) on which various types of information (scale, patient name, examination item, etc.) are drawn is superimposed on the underlay, thereby obtaining a two-dimensional image for output.
  • the two-dimensional image processing unit 1363 is a processing unit that generates an output two-dimensional image by performing image processing on the overlay and the underlay. As illustrated in FIG. 5, the two-dimensional object drawing unit 1363a, A two-dimensional geometric transformation processing unit 1363b and a luminance adjustment unit 1363c are included. For example, the two-dimensional image processing unit 1363 superimposes one overlay on each of nine parallax images (underlays) in order to reduce the load required to generate a two-dimensional image for output. Thus, nine output two-dimensional images are generated.
  • the two-dimensional object drawing unit 1363a is a processing unit that draws various information drawn on the overlay, and the two-dimensional geometric transformation processing unit 1363b performs parallel movement processing or rotational movement processing on the position of the various information drawn on the overlay. Or a processing unit that performs an enlargement process or a reduction process of various types of information drawn on the overlay.
  • the luminance adjusting unit 1363c is a processing unit that performs luminance conversion processing. For example, gradation of an output destination stereoscopic display monitor, an image such as a window width (WW: Window Width), a window level (WL: Window Level), or the like. This is a processing unit that adjusts the brightness of the overlay and the underlay according to the processing parameters.
  • WW Window Width
  • WL Window Level
  • the output two-dimensional image generated in this way is temporarily stored in the storage unit 134 by the control unit 135, for example, and then transmitted to the image storage device 120 via the communication unit 133.
  • the terminal device 140 acquires the two-dimensional image for output from the image storage device 120, converts it to an intermediate image arranged in a predetermined format (for example, a lattice shape), and displays it on a stereoscopic display monitor, A doctor or a laboratory technician can view a stereoscopically viewable medical image in a state where various types of information (scale, patient name, examination item, etc.) are drawn.
  • the configuration of the image processing system 1 and the workstation 130 according to the first embodiment has been described above. With this configuration, the workstation 130 according to the first embodiment easily observes even when a plurality of images having different time phases are superimposed by the processing of the control unit 135 described in detail below. It is configured to make it possible. Specifically, the workstation 130 according to the first embodiment displays the regions of interest included in each of a plurality of three-dimensional images having different time phases in different display formats.
  • FIG. 7 is a diagram for explaining a configuration example of the control unit 135 according to the first embodiment.
  • the control unit 135 includes an extraction unit 1351, a position determination unit 1352, and a display control unit 1353.
  • the extraction unit 1351 extracts the same region of interest included in each of a plurality of three-dimensional image data having different time phases.
  • the extraction unit 1351 extracts a region of interest such as a tumor from each of a plurality of volume data having different time phases stored by the storage unit 134.
  • the extraction unit 1351 extracts a region of interest using a region expansion method, a threshold method, CAD (Computer Assisted Diagnosis), or the like.
  • CAD Computer Assisted Diagnosis
  • FIG. 8 is a diagram for explaining an example of processing by the extraction unit 1351 according to the first embodiment.
  • FIG. 8 shows a case where a region of interest is extracted from volume data before and after treatment of liver cancer imaged by an X-ray CT apparatus.
  • the region of interest is schematically shown (sphere), but in actuality, each region of interest has a unique form.
  • the extraction unit 1351 extracts a lesion site located in the ⁇ pre-treatment> volume data region 300 of FIG. 8A as a region of interest by a region expansion method using CT values. That is, the extraction unit 1351 extracts the ROI (Region Of Interest) 1 shown in the region 300 as shown in FIG.
  • ROI Region Of Interest
  • the extraction unit 1351 extracts a lesion site located in the volume data area 301 of ⁇ after treatment> in FIG. 8A as a region of interest by a region expansion method using a CT value or the like. That is, the extraction unit 1351 extracts the ROI 2 shown in the region 301 as shown in FIG.
  • the region of interest extraction using the region expansion method has been described. However, this is merely an example, and the region of interest is extracted by using a threshold method, CAD, or an analysis application. May be.
  • the case of using the 3D image data imaged by the X-ray CT apparatus has been described. However, this is merely an example, and the case of using 3D image data imaged by another modality is used. May be. In such a case, it is possible to use a different extraction method for each modality.
  • the operator can freely modify the region of interest automatically extracted by the extraction unit 1351. For example, as shown in FIG. 8, after ROI1 and ROI2 are extracted by the extraction unit 1351, the operator operates the cursor on the images before and after the treatment, and sets the desired region as the ROI again. It is possible. Alternatively, if the ROI is not extracted by the extraction unit 1351, the operator can set the ROI. As for the ROI setting by the operator described above, the entire ROI extracted by the extraction unit 1351 can be set again, or the ROI extracted by the extraction unit 1351 can be partially corrected.
  • the position determination unit 1352 sets a position for superimposing the regions of interest of each of the plurality of 3D image data extracted by the extraction unit 1351 at substantially the same position in the subject. It is determined based on the feature points included in. Specifically, the position determination unit 1352 determines the position for overlapping the region of interest by three-dimensionally aligning the feature points included in the volume data.
  • FIG. 9 is a diagram for explaining an example of processing by the position determination unit 1352 according to the first embodiment.
  • FIG. 9 shows a case where volume data alignment before and after treatment of the liver cancer shown in FIG. 8 is executed.
  • the position determination unit 1352 performs alignment between the volume data of ⁇ before treatment> and the volume data of ⁇ after treatment> by non-linear warping processing.
  • the position determination unit 1352 sets orthogonal coordinates including three axes (x axis, y axis, and z axis) for each volume data. To do. Then, the position determination unit 1352 divides each volume data into arbitrary small areas, and performs nonlinear alignment for each divided small area.
  • the alignment by the non-linear warping process executed by the position determination unit 1352 may be a case where the volume data of ⁇ before treatment> is transformed to match the volume data of ⁇ after treatment> Conversely, the volume data of ⁇ after treatment> may be transformed to match the volume data of ⁇ before treatment>.
  • the position determination unit 1352 can also perform linear alignment such as translation and rotation. For example, the position determination unit 1352 extracts the spine and ribs depicted in the volume data of ⁇ before treatment> and ⁇ after treatment>, and superimposes the extracted spine and ribs three-dimensionally, Align the volume data of ⁇ Before Treatment> and ⁇ After Treatment>.
  • the workstation 130 according to the first embodiment corrects the positional deviation between the two volume data due to the respiration rate at the time of imaging, the imaging body position, and the like by the processing of the position determination unit 1352 described above. > And ⁇ after treatment> volume of interest included in each volume data is accurately superimposed.
  • the workstation 130 according to the first embodiment can execute linear alignment and alignment by nonlinear warping as appropriate in combination.
  • the display control unit 1353 changes each region of interest of the plurality of three-dimensional image data extracted by the extraction unit 1351 to a different display format, and superimposes at the position determined by the position determination unit 1352.
  • the superimposed image thus displayed is displayed.
  • the display control unit 1353 first causes the rendering processing unit 136 to include a region of interest for each volume data that has been aligned by the position determination unit 1352 and from the same line-of-sight direction. By executing the rendering process, a group of parallax images for each time phase is generated. Then, the display control unit 1353 changes the color of the region of interest and the display form so as to be different between the parallax image groups. Thereafter, the display control unit 1353 displays the parallax image groups in different layers.
  • FIG. 10 is a diagram for explaining an example of processing by the display control unit 1353 according to the first embodiment.
  • FIG. 10 shows a case where parallax image groups generated from the volume data of ⁇ before treatment> and ⁇ after treatment> of the liver cancer shown in FIG. 8 are superimposed.
  • the display control unit 1353 generates a parallax image group in which the entire image is drawn from the ⁇ after treatment> volume data whose position is matched by the position determination unit 1352.
  • the display control unit 1353 generates a parallax image group of a region corresponding to the region 301 from the ⁇ pre-treatment> volume data whose position is matched by the position determination unit 1352, and images in which ROI1 and ROI2 are expressed in different colors Is displayed.
  • the display control unit 1353 displays ROI2 included in the volume data of ⁇ After Treatment> as “red” and the color of ROI1 included in the volume data of ⁇ Before Treatment> as “Blue”.
  • the display control unit 1353 displays only a predetermined region for each region of interest of the plurality of three-dimensional image data. For example, as shown in FIG. 10, the display control unit 1353 displays an image in which the inner ROI 2 is exposed by not displaying a part of the outer ROI 1 when superimposed.
  • the 1/8 area of ROI1 is not displayed, but this area can be arbitrarily set. For example, 1/4 of ROI1 may not be displayed.
  • the operator can arbitrarily change the portion that is not displayed.
  • the operator can arbitrarily change a portion that is not displayed by operating a cursor on the image.
  • the operator can expose an arbitrary position of the ROI 2.
  • the display control unit 1353 can also change the opacity of the ROI.
  • the display control unit 1353 can display the ROI in which the color and the solid amount are changed based on the change amount of the volume by comparing the volumes of the volume data of each time phase. For example, if the volume of ROI2 included in the volume data of ⁇ after treatment> has decreased by "20%” or more from the volume of ROI1 included in the volume data of ⁇ before treatment>, the display control unit 1353 displays ROI1. When the color of the image is “yellow” and has decreased by “40%” or more, an image expressed in “green” is displayed. In addition, the display control unit 1353 determines that the volume of ROI2 included in the volume data of ⁇ after treatment> is “20%” or more higher than the volume of ROI1 included in the volume data of ⁇ before treatment>.
  • the display control unit 1353 displays an image so that it can be seen at a glance how much the ROI changes between ⁇ before treatment> and ⁇ after treatment>.
  • the display control unit 1353 can display, for example, by changing the three-dimensional amount so that the tumor is displayed at the back when the tumor is reduced, and is displayed at the front when the tumor is enlarged.
  • the display control unit 1353 displays the ROI that is not colored.
  • the display control unit 1353 can display any combination of the above-described displays. Therefore, the workstation 130 according to the first embodiment can recognize the change in the ROI at a glance, and can easily determine the therapeutic effect of the anticancer agent or the radiotherapy.
  • the color setting can be arbitrarily determined by the operator.
  • the color of the ROI can be set in advance in chronological order.
  • the color of the ROI displayed on the display unit 132 by the display control unit 1353 can be freely changed via the input unit 131.
  • the display control unit 1353 can be set so as to change color shading, contrast, brightness, and the like.
  • FIG. 11 is a flowchart illustrating a processing procedure performed by the workstation 130 according to the first embodiment.
  • the extraction unit 1351 A region of interest is extracted from a plurality of different three-dimensional image data (step S101).
  • the position determination unit 1352 determines a position for overlapping the region of interest extracted by the extraction unit 1351 based on the feature points included in the volume data (step S102). Thereafter, the display control unit 1353 changes the color of the region of interest for each image (step S103), and causes the display unit 132 to display a superimposed image by displaying the image in a different layer (step S104). .
  • the extraction unit 1351 extracts the same region of interest included in each of a plurality of three-dimensional image data having different time phases. Then, the position determination unit 1352 based on the feature points included in the 3D image data, positions for overlapping the regions of interest of the plurality of 3D image data extracted by the extraction unit 1351 at substantially the same position. To decide. Then, the display control unit 1353 changes each region of interest of the plurality of three-dimensional image data extracted by the extraction unit 1351 to a different display format and superimposes the superimposed image at the position determined by the position determination unit 1352. Is displayed. Therefore, the workstation 130 according to the first embodiment can display each region of interest included in the three-dimensional image data captured in different time phases so as to be identifiable on the same screen. It is possible to easily observe even when the above images are superimposed.
  • the display control unit 1353 displays only a predetermined region for each region of interest of the plurality of three-dimensional image data. Therefore, the workstation 130 according to the first embodiment can surely recognize the region of interest located inside, and can more easily observe even when a plurality of images having different time phases are superimposed. Enable.
  • the display control unit 1353a displays regions of interest included in three or more time-phase three-dimensional image data in different display formats. Specifically, the display control unit 1353a displays the regions of interest extracted by the extraction unit 1351 from three or more time-phase volume data in different colors.
  • FIG. 12 is a diagram showing an example of three or more time-phase three-dimensional image data according to the second embodiment. In FIG. 12, perfusion images of the liver with different time phases are shown. FIG. 12 shows perfusion imaged by an X-ray CT apparatus and an MRI apparatus.
  • the control unit 135 displays three-dimensional image data including four time phases T1, T2, T3, and T4 as described below.
  • the extraction unit 1351 extracts regions of interest from the volume data of T1, T2, T3, and T4, respectively.
  • the extraction unit 1351 extracts ROI3 from the volume data of T1, extracts ROI4 from the volume data of T2, extracts ROI5 from the volume data of T3, and extracts ROI6 from the volume data of T4.
  • the position determination unit 1352 performs volume data alignment by executing a non-linear warping process based on the feature points included in each of the volume data of T1, T2, T3, and T4. For example, the position determination unit 1352 transforms each of the volume data of T1, T2, and T3 so as to match the volume data of T4.
  • the display control unit 1353a generates a parallax image group that includes a region of interest and that has been subjected to rendering processing from the same line-of-sight direction for each of the volume data that has been subjected to alignment by the position determination unit 1352. Let Then, the display control unit 1353a changes the color of the region of interest so that it differs between the parallax image groups. Thereafter, the display control unit 1353a displays the parallax image groups in different layers.
  • FIG. 13 is a diagram for explaining a first example of processing by the display control unit 1353a according to the second embodiment.
  • FIG. 13 shows a case where parallax image groups generated from the volume data of T1, T2, T3, and T4 shown in FIG. 12 are superimposed.
  • the display control unit 1353a displays the ROIs 3 to 6 included in the volume data of T1, T2, T3, and T4 in colors set in time series order so that the area that is not displayed increases as the volume increases. Display.
  • the display control unit 1353a displays ROI3 in “purple”, ROI5 in “blue”, ROI4 in “orange”, and ROI6 in “red”.
  • the display control unit 1353a displays an image in which a part of each ROI is not displayed so that a part of each ROI is exposed.
  • the ROIs 3 to 6 displayed by the display control unit 1353a are displayed on the display unit 132 so that changes in the ROI in all time phases can be easily grasped. Become.
  • the display control unit 1353a can display only two regions of interest having the largest volume difference from regions of interest included in three or more time-phase three-dimensional image data.
  • FIG. 14 is a diagram for explaining a second example of processing by the display control unit 1353a according to the second embodiment. For example, as shown in FIG. 14, the display control unit 1353a extracts ROI3 and ROI6 that have the largest volume difference from ROI3 to ROI6, changes the color of the two extracted ROIs, and changes one ROI3.
  • the display unit 132 displays a superimposed image in which the part is not displayed.
  • the display control unit 1353a displays the regions of interest included in three or more time-phase three-dimensional image data in an identifiable manner. Therefore, the workstation 130 according to the second embodiment makes it possible to easily observe a region of interest using temporally continuous data. For example, it is possible to determine the degree of tumor adhesion by observing the amount of tumor movement using 4D data.
  • the extraction unit 1351a extracts a region of interest based on information obtained from the function image and the morphological image.
  • FIG. 15 is a diagram for explaining an example of processing performed by the extraction unit 1351a according to the third embodiment.
  • FIG. 15 shows a case where a region of interest is extracted using three-dimensional image data (CT image, PET image) captured by a PET-CT apparatus.
  • the extraction unit 1351a generates a fusion image from a three-dimensional CT image and a three-dimensional PET image in a certain time phase stored by the storage unit 134. Then, the extraction unit 1351a extracts the position of the tumor in the three-dimensional CT image from the generated fusion image. Similarly, the extraction unit 1351a extracts the position of the tumor in the three-dimensional CT image by fusing the PET image and the CT image with respect to the three-dimensional image data of different time phases.
  • Extraction of a region of interest using a PET image as described above is performed not only when a three-dimensional CT image having a different time phase is superimposed, but also when a three-dimensional fusion image having a different time phase is superimposed. be able to.
  • three-dimensional fusion images having different time phases are superimposed, it is possible not only to determine whether the tumor is malignant, but also to spatially grasp the state of metastasis of the malignant tumor.
  • the embodiment is not limited to this, and for example, an MR image or a perfusion image may be used.
  • the extraction unit 1351a extracts a region of interest using a three-dimensional PET image. Therefore, the workstation 130 according to the third embodiment makes it possible to accurately extract the region of interest.
  • a tumor liver cancer
  • a contrast agent may be used as a region of interest.
  • the embodiment is not limited to this.
  • the center of gravity of the region of interest extracted by the extraction unit 1351 may be used as the feature point.
  • the region of interest is superimposed by superimposing the centroids of the region of interest extracted by the extraction unit 1351.
  • the processing can be speeded up by performing alignment using the center of gravity of the region of interest.
  • the embodiment is not limited to this.
  • the opacity may be changed for each ROI.
  • the display control unit 1353 sets the opacity of the region of interest with a large volume to “50%”, the color as “red”, the opacity of the region of interest with a small volume as “100%”, and the color as “blue”. Display as. Referring to FIG. 10, the display control unit 1353 compares the volume “T 1 ” of ROI 1 included in the volume data before treatment with the volume “T 2 ” of ROI 2 included in the volume data after treatment. Since “T 1 ⁇ T 2 > 0”, ROI 1 is displayed as “opacity: 50%” and “color: red”, and ROI 2 is displayed as “opacity: 100%”, “color: Display in blue.
  • the workstation 130 can grasp the entire image of the region of interest and has different time phases. Even when a plurality of images are superimposed, it is possible to observe more easily.
  • the embodiment is not limited to this.
  • a tumor when depicted in the current image, it may be compared with a past image.
  • the operator can set the region of interest in the current image and the past image, and display the superimposed image, thereby displaying the metastasis status of the tumor.
  • the region of interest having a specific form is superimposed as it is has been described.
  • the form of the region of interest may be deformed and superimposed.
  • each region of interest having a unique shape may be superimposed after being transformed into a standard shape.
  • examples of the standard form include a sphere, a cube, and a rectangular parallelepiped.
  • the display control unit 1353 transforms each of a plurality of regions of interest extracted at different times by the extraction unit 1351 into a sphere, cube, cuboid, or the like having a size corresponding to the volume of each region of interest. And then superimpose and display.
  • the medical image diagnostic apparatus 110 may display a three-dimensional image in a superimposed manner.
  • the medical image diagnostic apparatus 110 or the workstation 130 may superimpose the three-dimensional image and the terminal apparatus 140 displays the image.
  • the terminal device 140 has been described as displaying a medical image or the like acquired from the image storage device 120.
  • the embodiment is not limited to this.
  • the terminal device 140 may be directly connected to the medical image diagnostic apparatus 110 or the workstation 130.
  • the workstation 130 acquires volume data from the image storage device 120 and displays a three-dimensional image superimposed on the volume data.
  • the embodiment is not limited to this.
  • the workstation 130 acquires volume data from the medical image diagnostic apparatus 110 and displays a three-dimensional image superimposed on the volume data. Also good.
  • the terminal device 140 acquires and displays an image from the image storage device 120 has been described.
  • the embodiment is not limited to this.
  • the terminal device 140 may acquire and display an image from the medical image diagnostic apparatus 110.
  • the image processing system, apparatus, method, and medical image diagnostic apparatus of the present embodiment can easily observe even when a plurality of images having different time phases are superimposed. enable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　実施形態に係る画像処理装置（１３０）は、抽出部（１３５１）は、時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出する。そして、位置決定部（１３５２）は、抽出部（１３５１）によって抽出された複数の３次元画像データそれぞれの関心領域を被検体における略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定する。そして、表示制御部（１３５３）は、抽出部（１３５１）によって抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、位置決定部（１３５２）により決定された位置にて重畳させた重畳画像を表示させる。

Description

画像処理システム、装置、方法及び医用画像診断装置
　本発明の実施形態は、画像処理システム、装置、方法及び医用画像診断装置に関する。
　従来、立体視用メガネ等の専用機器を用いて、２つの視点から撮影された２視差画像を立体視可能なモニタが実用化されている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像（例えば、９視差画像）を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される２視差画像や９視差画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
　一方、Ｘ線ＣＴ（Computed　Tomography）装置やＭＲＩ（Magnetic　Resonance　Imaging）装置、超音波診断装置等の医用画像診断装置では、３次元の医用画像データ（以下、ボリュームデータ）を生成可能な装置が実用化されている。従来、かかる医用画像診断装置により生成されたボリュームデータは、種々の画像処理により２次元画像とされ、汎用モニタ上にて２次元表示される。例えば、医用画像診断装置により生成されたボリュームデータは、ボリュームレンダリング処理により３次元の情報を反映した２次元画像とされ、汎用モニタ上にて２次元表示される。しかしながら、従来技術では、時相の異なる複数の画像を重畳させた際に、観察し難くなる場合があった。
特開２００５－８６４１４号公報
　本発明が解決しようとする課題は、時相の異なる複数の画像を重畳させた際にも、容易に観察することができる画像処理システム、装置、方法及び医用画像診断装置を提供することである。
　実施形態の画像処理システムは、抽出部と、位置決定部と、表示制御部とを備える。抽出部は、時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出する。位置決定部は、前記抽出部によって抽出された複数の３次元画像データそれぞれの関心領域を被検体における略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定する。表示制御部は、前記抽出部によって抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、前記位置決定部により決定された位置にて重畳させた重畳画像を表示させる。
図１は、第１の実施形態に係る画像処理システムの構成例を説明するための図である。 図２Ａは、２視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。 図２Ｂは、２視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。 図３は、９視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。 図４は、第１の実施形態に係るワークステーションの構成例を説明するための図である。 図５は、図４に示すレンダリング処理部の構成例を説明するための図である。 図６は、第１の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。 図７は、第１の実施形態に係る制御部の構成例を説明するための図である。 図８は、第１の実施形態に係る抽出部による処理の一例を説明するための図である。 図９は、第１の実施形態に係る位置決定部による処理の一例を説明するための図である。 図１０は、第１の実施形態に係る表示制御部による処理の一例を説明するための図である。 図１１は、第１の実施形態に係るワークステーションによる処理の手順を示すフローチャートである。 図１２は、第２の実施形態に係る３つ以上の時相の３次元画像データの例を示す図である。 図１３は、第２の実施形態に係る表示制御部による処理の第１の例を説明するための図である。 図１４は、第２の実施形態に係る表示制御部による処理の第２の例を説明するための図である。 図１５は、第３の実施形態に係る抽出部による処理の一例を説明するための図である。
　以下、添付図面を参照して、画像処理システム、装置、方法及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行なうことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置（例えば、空間の中心）とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「９視差画像」とは、９つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「２視差画像」とは、２つの「視差画像」から構成される「視差画像群」のことである。
（第１の実施形態）
　まず、第１の実施形態に係る画像処理システムの構成例について説明する。図１は、第１の実施形態に係る画像処理システムの構成例を説明するための図である。
　図１に示すように、第１の実施形態に係る画像処理システム１は、医用画像診断装置１１０と、画像保管装置１２０と、ワークステーション１３０と、端末装置１４０とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local　Area　Network）２により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム１にＰＡＣＳ（Picture　Archiving　and　Communication　System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital　Imaging　and　Communications　in　Medicine）規格に則って、医用画像等を相互に送受信する。
　かかる画像処理システム１は、医用画像診断装置１１０により生成された３次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。具体的には、第１の実施形態においては、ワークステーション１３０が、ボリュームデータに対して種々の画像処理を行ない、視差画像群を生成する。また、ワークステーション１３０及び端末装置１４０が、立体視可能なモニタを有し、ワークステーション１３０にて生成された視差画像群をこのモニタに表示する。また、画像保管装置１２０は、医用画像診断装置１１０にて生成されたボリュームデータや、ワークステーション１３０にて生成された視差画像群を保管する。すなわち、ワークステーション１３０や端末装置１４０は、この画像保管装置１２０からボリュームデータや視差画像群を取得し、これを処理したり、モニタに表示したりする。以下、各装置を順に説明する。
　医用画像診断装置１１０は、Ｘ線診断装置、Ｘ線ＣＴ（Computed　Tomography）装置、ＭＲＩ（Magnetic　Resonance　Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single　Photon　Emission　Computed　Tomography）装置、ＰＥＴ（Positron　Emission　computed　Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ－ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ－ＣＴ装置、又はこれらの装置群等である。また、第１の実施形態に係る医用画像診断装置１１０は、３次元の医用画像データ（ボリュームデータ）を生成可能である。
　具体的には、第１の実施形態に係る医用画像診断装置１１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置１１０は、５００枚のアキシャル面の医用画像データを再構成する。この５００枚のアキシャル面の医用画像データ群が、ボリュームデータである。なお、医用画像診断装置１１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしても良い。
　また、第１の実施形態に係る医用画像診断装置１１０は、生成したボリュームデータを画像保管装置１２０に送信する。なお、医用画像診断装置１１０は、ボリュームデータを画像保管装置１２０に送信する際に、付帯情報として、例えば、患者を識別する患者ＩＤ、検査を識別する検査ＩＤ、医用画像診断装置１１０を識別する装置ＩＤ、医用画像診断装置１１０による１回の撮影を識別するシリーズＩＤ等を送信する。
　画像保管装置１２０は、医用画像を保管するデータベースである。具体的には、第１の実施形態に係る画像保管装置１２０は、医用画像診断装置１１０から送信されたボリュームデータを記憶部に格納し、これを保管する。また、第１の実施形態においては、ワークステーション１３０が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置１２０に送信する。このため、画像保管装置１２０は、ワークステーション１３０から送信された視差画像群を記憶部に格納し、これを保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション１３０を用いることで、図１に例示するワークステーション１３０と画像保管装置１２０とが統合される場合であっても良い。すなわち、本実施形態は、ワークステーション１３０そのものにボリュームデータもしくは視差画像群を記憶させる場合であっても良い。
　なお、第１の実施形態において、画像保管装置１２０に保管されたボリュームデータや視差画像群は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等と対応付けて保管される。このため、ワークステーション１３０や端末装置１４０は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を用いた検索を行なうことで、必要なボリュームデータや視差画像群を画像保管装置１２０から取得する。
　ワークステーション１３０は、医用画像に対して画像処理を行なう画像処理装置である。具体的には、第１の実施形態に係るワークステーション１３０は、画像保管装置１２０から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。視差画像群とは、複数の視点から撮影された複数の視差画像のことであり、例えば、９視差画像を裸眼にて立体視可能なモニタにて表示される視差画像群とは、視点位置が異なる９つの視差画像のことである。
　また、第１の実施形態に係るワークステーション１３０は、表示部として、立体視可能なモニタ（以下、立体表示モニタ）を有する。ワークステーション１３０は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション１３０の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
　また、ワークステーション１３０は、生成した視差画像群を画像保管装置１２０に送信する。なお、ワークステーション１３０は、視差画像群を画像保管装置１２０に送信する際に、付帯情報として、例えば、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を送信する。また、視差画像群を画像保管装置１２０に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数（例えば、「９」）や、視差画像の解像度（例えば、「４６６×３５０画素」）等がある。
　端末装置１４０は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置１４０は、病院内に勤務する医師や検査技師により操作されるＰＣ（Personal　Computer）やタブレット式ＰＣ、ＰＤＡ（Personal　Digital　Assistant）、携帯電話等である。具体的には、第１の実施形態に係る端末装置１４０は、表示部として立体表示モニタを有する。また、端末装置１４０は、画像保管装置１２０から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。
　ここで、ワークステーション１３０や端末装置１４０が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、２次元画像を２次元で表示するものであり、２次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な２視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
　一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、２視差画像（両眼視差画像とも称する）を立体視可能とするものがある。
　図２Ａ及び図２Ｂは、２視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図２Ａ及び図２Ｂに示す一例は、シャッター方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて２視差画像を交互に出射する。例えば、図２Ａに示すモニタは、左目用の画像と右目用の画像を、１２０Ｈｚにて交互に出射する。ここで、モニタには、図２Ａに示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
　また、赤外線出射部から出射された赤外線は、図２Ａに示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
　各シャッターは、図２Ｂに示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図２Ｂに示すように、互いに直交している。ここで、図２Ｂに示すように、電圧が印加されていない「ＯＦＦ」の状態では、入射側の偏光板を通った光は、液晶層の作用により９０度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
　一方、図２Ｂに示すように、電圧が印加された「ＯＮ」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
　そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図２Ａに示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図２Ａ及び図２Ｂに示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、２視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
　更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、９視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
　図３は、９視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図３に示す立体表示モニタには、液晶パネル等の平面状の表示面２００の前面に、光線制御子が配置される。例えば、図３に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート２０１が表示面２００の前面に貼り付けられている。
　表示面２００には、図３に示すように、縦横比が３：１であり、縦方向にサブ画素である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つが配置された画素２０２がマトリクス状に配置される。図３に示す立体表示モニタは、９つの画像により構成される９視差画像を、所定フォーマット（例えば格子状）に配置した中間画像に変換したうえで、表示面２００に出力する。すなわち、図３に示す立体表示モニタは、９視差画像にて同一位置にある９つの画素それぞれを、９列の画素２０２に割り振って出力させる。９列の画素２０２は、視点位置の異なる９つの画像を同時に表示する単位画素群２０３となる。
　表示面２００において単位画素群２０３として同時に出力された９視差画像は、例えば、ＬＥＤ（Light　Emitting　Diode）バックライトにより平行光として放射され、更に、垂直レンチキュラーシート２０１により、多方向に放射される。９視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置（視点の位置）に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図３に示す９つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図３に示す「５」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図３に示す「５」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図３に示す立体表示モニタは、あくまでも一例である。９視差画像を表示する立体表示モニタは、図３に示すように、「ＲＲＲ・・・、ＧＧＧ・・・、ＢＢＢ・・・」の横ストライプ液晶である場合であっても良いし、「ＲＧＢＲＧＢ・・・」の縦ストライプ液晶である場合であっても良い。また、図３に示す立体表示モニタは、図３に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。
　ここまで、第１の実施形態に係る画像処理システム１の構成例について簡単に説明した。なお、上述した画像処理システム１は、ＰＡＣＳが導入されている場合にその適用が限られるものではない。例えば、画像処理システム１は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置１２０は、電子カルテを保管するデータベースである。また、例えば、画像処理システム１は、ＨＩＳ（Hospital　Information　System）、ＲＩＳ（Radiology　Information　System）が導入されている場合にも、同様に適用される。また、画像処理システム１は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。
　次に、第１の実施形態に係るワークステーションの構成例について図４を用いて説明する。図４は、第１の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。
　第１の実施形態に係るワークステーション１３０は、画像処理等に適した高性能なコンピュータであり、図４に示すように、入力部１３１と、表示部１３２と、通信部１３３と、記憶部１３４と、制御部１３５と、レンダリング処理部１３６とを有する。なお、以下では、ワークステーション１３０が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
　入力部１３１は、マウス、キーボード、トラックボール等であり、ワークステーション１３０に対する各種操作の入力を操作者から受け付ける。具体的には、第１の実施形態に係る入力部１３１は、レンダリング処理の対象となるボリュームデータを画像保管装置１２０から取得するための情報の入力を受け付ける。例えば、入力部１３１は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の入力を受け付ける。また、第１の実施形態に係る入力部１３１は、レンダリング処理に関する条件（以下、レンダリング条件）の入力を受け付ける。
　表示部１３２は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第１の実施形態に係る表示部１３２は、操作者から各種操作を受け付けるためのＧＵＩ（Graphical　User　Interface）や、視差画像群等を表示する。通信部１３３は、ＮＩＣ（Network　Interface　Card）等であり、他の装置との間で通信を行う。
　記憶部１３４は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第１の実施形態に係る記憶部１３４は、通信部１３３を介して画像保管装置１２０から取得したボリュームデータを記憶する。また、第１の実施形態に係る記憶部１３４は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群、及び、２次元表示用の画像等を記憶する。
　制御部１３５は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等の電子回路、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路であり、ワークステーション１３０の全体制御を行なう。
　例えば、第１の実施形態に係る制御部１３５は、表示部１３２に対するＧＵＩの表示や視差画像群の表示を制御する。また、例えば、制御部１３５は、画像保管装置１２０との間で通信部１３３を介して行なわれるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部１３５は、レンダリング処理部１３６によるレンダリング処理を制御する。また、例えば、制御部１３５は、ボリュームデータの記憶部１３４からの読み込みや、視差画像群の記憶部１３４への格納を制御する。
　レンダリング処理部１３６は、制御部１３５による制御の下、画像保管装置１２０から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。なお、レンダリング処理部１３６の処理については、後に詳述する。
　レンダリング処理部１３６は、制御部１３５による制御の下、画像保管装置１２０から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。具体的には、第１の実施形態に係るレンダリング処理部１３６は、記憶部１３４からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部１３６は、前処理後のボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。続いて、レンダリング処理部１３６は、各種情報（目盛り、患者名、検査項目等）が描出された２次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の２次元画像を生成する。そして、レンダリング処理部１３６は、生成した視差画像群や出力用の２次元画像を記憶部１３４に格納する。なお、第１の実施形態において、レンダリング処理とは、ボリュームデータに対して行なう画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、３次元の情報を反映した２次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
　図５は、図４に示すレンダリング処理部の構成例を説明するための図である。図５に示すように、レンダリング処理部１３６は、前処理部１３６１と、３次元画像処理部１３６２と、２次元画像処理部１３６３とを有する。前処理部１３６１が、ボリュームデータに対する前処理を行い、３次元画像処理部１３６２が、前処理後のボリュームデータから視差画像群を生成し、２次元画像処理部１３６３が、視差画像群に各種情報が重畳された出力用の２次元画像を生成する。以下、各部を順に説明する。
　前処理部１３６１は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像補正処理部１３６１ａと、３次元物体フュージョン部１３６１ｅと、３次元物体表示領域設定部１３６１ｆとを有する。
　画像補正処理部１３６１ａは、２種類のボリュームデータを１つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、図５に示すように、歪み補正処理部１３６１ｂ、体動補正処理部１３６１ｃ及び画像間位置合わせ処理部１３６１ｄを有する。例えば、画像補正処理部１３６１ａは、ＰＥＴ－ＣＴ装置により生成されたＰＥＴ画像のボリュームデータとＸ線ＣＴ画像のボリュームデータとを１つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部１３６１ａは、ＭＲＩ装置により生成されたＴ１強調画像のボリュームデータとＴ２強調画像のボリュームデータとを１つのボリュームデータとして処理する際に画像補正処理を行なう。
　また、歪み補正処理部１３６１ｂは、個々のボリュームデータにおいて、医用画像診断装置１１０によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部１３６１ｃは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部１３６１ｄは、歪み補正処理部１３６１ｂ及び体動補正処理部１３６１ｃによる補正処理が行なわれた２つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ（Registration）を行なう。
　３次元物体フュージョン部１３６１ｅは、画像間位置合わせ処理部１３６１ｄにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部１３６１ａ及び３次元物体フュージョン部１３６１ｅの処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
　３次元物体表示領域設定部１３６１ｆは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部１３６１ｇを有する。セグメンテーション処理部１３６１ｇは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値（ボクセル値）に基づく領域拡張法により抽出する処理部である。
　なお、セグメンテーション処理部１３６１ｇは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部１３６１ｇは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部１３６１ｇの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
　３次元画像処理部１３６２は、前処理部１３６１が処理を行なった前処理後のボリュームデータに対してボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、３次元画像処理部１３６２は、投影方法設定部１３６２ａと、３次元幾何変換処理部１３６２ｂと、３次元物体アピアランス処理部１３６２ｆと、３次元仮想空間レンダリング部１３６２ｋとを有する。
　投影方法設定部１３６２ａは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部１３６２ａは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
　３次元幾何変換処理部１３６２ｂは、ボリュームレンダリング処理が実行されるボリュームデータを３次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部１３６２ｃ、回転処理部１３６２ｄ及び拡大縮小処理部１３６２ｅを有する。平行移動処理部１３６２ｃは、ボリュームレンダリング処理を行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部１３６２ｄは、ボリュームレンダリング処理を行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部１３６２ｅは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
　３次元物体アピアランス処理部１３６２ｆは、３次元物体色彩処理部１３６２ｇ、３次元物体不透明度処理部１３６２ｈ、３次元物体材質処理部１３６２ｉ及び３次元仮想空間光源処理部１３６２ｊを有する。３次元物体アピアランス処理部１３６２ｆは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行なう。
　３次元物体色彩処理部１３６２ｇは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。３次元物体不透明度処理部１３６２ｈは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度（Opacity）を決定する処理部である。なお、ボリュームデータにおいて不透過度が「１００％」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「０％」とされた領域は、視差画像群において描出されないこととなる。
　３次元物体材質処理部１３６２ｉは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。３次元仮想空間光源処理部１３６２ｊは、ボリュームデータに対してボリュームレンダリング処理を行なう際に、３次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
　３次元仮想空間レンダリング部１３６２ｋは、ボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。また、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリング処理を行なう際、必要に応じて、投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆにより決定された各種情報を用いる。
　ここで、３次元仮想空間レンダリング部１３６２ｋによるボリュームレンダリング処理は、レンダリング条件に従って行なわれることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部１３１を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、３次元仮想空間レンダリング部１３６２ｋは、制御部１３５からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行なう。また、このとき、上述した投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆが、このレンダリング条件に従って必要な各種情報を決定するので、３次元仮想空間レンダリング部１３６２ｋは、決定されたこれらの各種情報を用いて視差画像群を生成する。
　図６は、第１の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（１）」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。かかる場合、３次元仮想空間レンダリング部１３６２ｋは、視差角が「１度」おきとなるように、視点の位置を（１）～（９）に平行移動して、平行投影法により視差角（視線方向間の角度）が１度ずつ異なる９つの視差画像を生成する。なお、平行投影法を行なう場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
　或いは、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（２）」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。かかる場合、３次元仮想空間レンダリング部１３６２ｋは、ボリュームデータの中心（重心）を中心に視差角が「１度」おきとなるように、視点の位置を（１）～（９）に回転移動して、透視投影法により視差角が１度ずつ異なる９つの視差画像を生成する。なお、透視投影法を行なう場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向を中心に光を３次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング条件によっては、視点（１）～（９）は、平行移動される場合であってもよい。
　なお、３次元仮想空間レンダリング部１３６２ｋは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を２次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
　このようにして生成された９つの視差画像が、視差画像群である。第１の実施形態において、９つの視差画像は、例えば制御部１３５により所定フォーマット（例えば格子状）に配置した中間画像に変換され、立体表示モニタとしての表示部１３２に出力される。すると、ワークステーション１３０の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
　なお、図６の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、３次元仮想空間レンダリング部１３６２ｋは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
　また、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリングだけでなく、任意の平面（例えば、アキシャル面、サジタル面、コロナル面など）の平面画像を再構成する。例えば、３次元仮想空間レンダリング部１３６２ｋは、断面再構成法（ＭＰＲ：Multi　Planer　Reconstruction）を行なってボリュームデータからＭＰＲ画像を再構成する。なお、３次元仮想空間レンダリング部１３６２ｋは、「Curved　MPR」を行なう機能や、「Intensity　Projection」を行なう機能も有する。
　続いて、３次元画像処理部１３６２がボリュームデータから生成した視差画像群は、アンダーレイ（Underlay）とされる。そして、各種情報（目盛り、患者名、検査項目等）が描出されたオーバーレイ（Overlay）がアンダーレイに対して重畳されることで、出力用の２次元画像とされる。２次元画像処理部１３６３は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の２次元画像を生成する処理部であり、図５に示すように、２次元物体描画部１３６３ａ、２次元幾何変換処理部１３６３ｂ及び輝度調整部１３６３ｃを有する。例えば、２次元画像処理部１３６３は、出力用の２次元画像の生成処理に要する負荷を軽減するために、９枚の視差画像（アンダーレイ）のそれぞれに対して１枚のオーバーレイを重畳することで、出力用の２次元画像を９枚、生成する。
　２次元物体描画部１３６３ａは、オーバーレイに描出される各種情報を描画する処理部であり、２次元幾何変換処理部１３６３ｂは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
　また、輝度調整部１３６３ｃは、輝度変換処理を行なう処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅（ＷＷ：Window　Width）、ウィンドウレベル（ＷＬ：Window　Level）等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
　このようにして生成された出力用の２次元画像は、例えば制御部１３５により一旦記憶部１３４に格納され、その後、通信部１３３を介して画像保管装置１２０に送信される。例えば、端末装置１４０が、画像保管装置１２０からこの出力用の２次元画像を取得し、所定フォーマット（例えば格子状）に配置した中間画像に変換した上で立体表示モニタに表示すると、観察者である医師や検査技師は、各種情報（目盛り、患者名、検査項目等）が描出された状態で、立体視可能な医用画像を閲覧することができる。
　以上、第１の実施形態に係る画像処理システム１及びワークステーション１３０の構成について説明した。かかる構成のもと、第１の実施形態に係るワークステーション１３０は、以下、詳細に説明する制御部１３５の処理により、時相の異なる複数の画像を重畳させた際にも、容易に観察することを可能とするように構成されている。具体的には、第１の実施形態に係るワークステーション１３０は、時相の異なる複数の３次元画像それぞれに含まれる関心領域を、それぞれ異なる表示形式にて表示させる。
　ここで、時相が異なる複数の３次元画像を重畳させ、観察する際の問題点について説明する。例えば、立体視可能なモニタにて３次元画像を表示させた場合、関心部位をより詳細に観察することができ、診断精度の向上などが期待される。一例を挙げると、抗がん剤や放射線治療による腫瘍の治療効果を判定する場合においても、腫瘍を立体的に観察して治療効果を判定することができる。しかしながら、治療前後の３次元画像を別々に表示しても腫瘍の縮小具合などは把握し難い。そこで、治療前後の３次元画像を重畳させて腫瘍の大きさや形態などの変化を観察しようとした場合に、単に重畳させただけでは、腫瘍が重なるだけで、腫瘍の大きさや形態などの変化を観察することは困難である。第１の実施形態に係るワークステーション１３０は、このような場合であっても、腫瘍の大きさや形態などの変化を容易に観察することを可能にする。
　図７は、第１の実施形態に係る制御部１３５の構成例を説明するための図である。図７に示すように、制御部１３５は、抽出部１３５１と、位置決定部１３５２と、表示制御部１３５３とを有する。抽出部１３５１は、時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出する。具体的には、抽出部１３５１は、記憶部１３４によって記憶された時相の異なる複数のボリュームデータから、腫瘍などの関心領域をそれぞれ抽出する。例えば、抽出部１３５１は、領域拡張法や、閾値法や、ＣＡＤ（Computer　Assisted　Diagnosis）などを用いて関心領域を抽出する。
　図８は、第１の実施形態に係る抽出部１３５１による処理の一例を説明するための図である。図８においては、Ｘ線ＣＴ装置により撮像された肝臓癌の治療前及び治療後のボリュームデータからそれぞれ関心領域を抽出する場合について示す。また、図８においては、関心領域を模式的（球）に示しているが、実際には、関心領域それぞれが固有の形態を有している。例えば、抽出部１３５１は、ＣＴ値を用いた領域拡張法により、図８の（Ａ）の＜治療前＞のボリュームデータの領域３００内に位置する病変部位を関心領域として抽出する。すなわち、抽出部１３５１は、図８の（Ｂ）に示すように、領域３００内に示すＲＯＩ（Region　Of　Interest）１を抽出する。
　同様に、抽出部１３５１は、ＣＴ値を用いた領域拡張法などにより、図８の（Ａ）の＜治療後＞のボリュームデータの領域３０１内に位置する病変部位を関心領域として抽出する。すなわち、抽出部１３５１は、図８の（Ｂ）に示すように、領域３０１内に示すＲＯＩ２を抽出する。なお、上記した例では、領域拡張法を用いた関心領域の抽出を説明したが、これはあくまでも一例であり、閾値法や、ＣＡＤ、或いは、解析用のアプリケーションを用いることで関心領域を抽出してもよい。また、上記した例では、Ｘ線ＣＴ装置によって撮像された３次元画像データを用いる場合について説明したが、これはあくまでも一例であり、他のモダリティによって撮像された３次元画像データを用いる場合であってもよい。かかる場合には、モダリティごとに異なる抽出方法を利用することも可能である。
　ここで、操作者は、抽出部１３５１によって自動で抽出された関心領域を自由に修正させることが可能である。例えば、図８に示すように、抽出部１３５１によってＲＯＩ１及びＲＯＩ２が抽出された後、操作者は、治療前及び治療後それぞれの画像上でカーソルを操作し、所望する領域をＲＯＩとして設定しなおすことが可能である。或いは、仮に、抽出部１３５１によってＲＯＩが抽出されなかった場合に、操作者がＲＯＩを設定することも可能である。上述した操作者によるＲＯＩの設定は、抽出部１３５１によって抽出されたＲＯＩ全体を設定しなおすことも可能であるし、抽出部１３５１によって抽出されたＲＯＩを部分的に修正することも可能である。
　図７に戻って、位置決定部１３５２は、抽出部１３５１によって抽出された複数の３次元画像データそれぞれの関心領域を被検体における略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定する。具体的には、位置決定部１３５２は、ボリュームデータに含まれる特徴点を３次元的に位置合わせすることで、関心領域を重畳させるための位置を決定する。
　図９は、第１の実施形態に係る位置決定部１３５２による処理の一例を説明するための図である。図９においては、図８に示す肝臓癌の治療前及び治療後のボリュームデータの位置合わせを実行する場合ついて示す。例えば、位置決定部１３５２は、非線形のワーピング（warping）処理により、＜治療前＞のボリュームデータと＜治療後＞のボリュームデータとの位置合わせを実行する。
　一例を挙げると、位置決定部１３５２は、図９の＜治療前＞及び＜治療後＞に示すように、各ボリュームデータに３軸（ｘ軸、ｙ軸、ｚ軸）からなる直交座標を設定する。そして、位置決定部１３５２は、各ボリュームデータを任意の小領域に分割し、分割した小領域ごとに非線形の位置合わせを実行する。ここで、位置決定部１３５２によって実行される非線形のワーピング処理による位置合わせは、＜治療前＞のボリュームデータを、＜治療後＞のボリュームデータに合わせるように変形させる場合であってもよいし、逆に、＜治療後＞のボリュームデータを、＜治療前＞のボリュームデータに合わせるように変形させる場合であってもよい。
　また、位置決定部１３５２は、上述した非線形のワーピング処理に加えて、平行移動や回転などの線形の位置合わせを実行することも可能である。例えば、位置決定部１３５２は、＜治療前＞及び＜治療後＞のボリュームデータに描出された脊椎や、肋骨などを抽出し、抽出した脊椎や、肋骨などを３次元的に重ね合わせることで、＜治療前＞及び＜治療後＞のボリュームデータの位置を合わせる。
　第１の実施形態に係るワークステーション１３０は、上述した位置決定部１３５２の処理により、撮影時の呼吸量や、撮影体位などによる２つのボリュームデータ間の位置ずれを補正することで、＜治療前＞及び＜治療後＞のボリュームデータそれぞれに含まれる関心領域を正確に重畳させる。なお、上記した例では、ボリュームデータ全体を用いる場合について説明したが、これはあくまでも一例であり、ボリュームデータの一部分を用いて位置を合わせる場合であってもよい。また、第１の実施形態に係るワークステーション１３０は、線形の位置合わせと非線形ワーピングによる位置合わせを、適宜、組み合わせて実行することが可能である。
　図７に戻って、表示制御部１３５３は、抽出部１３５１によって抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、位置決定部１３５２により決定された位置にて重畳させた重畳画像を表示させる。具体的には、表示制御部１３５３は、まず、レンダリング処理部１３６に、位置決定部１３５２によって位置が合わせられたボリュームデータそれぞれに対して、関心領域を含むように、かつ、同一の視線方向からレンダリング処理を実行させることで、時相ごとの視差画像群を生成させる。そして、表示制御部１３５３は、関心領域の色や、表示形態を視差画像群の間で異なるように変更する。その後、表示制御部１３５３は、視差画像群をそれぞれ異なるレイヤーにて表示させる。
　図１０は、第１の実施形態に係る表示制御部１３５３による処理の一例を説明するための図である。図１０においては、図８に示す肝臓癌の＜治療前＞及び＜治療後＞のボリュームデータから生成された視差画像群を重畳させた場合について示す。例えば、表示制御部１３５３は、図１０に示すように、位置決定部１３５２によって位置が合わせられた＜治療後＞のボリュームデータから全体を描出した視差画像群を生成させる。そして、表示制御部１３５３は、位置決定部１３５２によって位置が合わせられた＜治療前＞のボリュームデータから領域３０１に相当する領域の視差画像群を生成させ、ＲＯＩ１及びＲＯＩ２を異なる色で表現した画像を表示させる。
　一例を挙げると、表示制御部１３５３は、＜治療後＞のボリュームデータに含まれるＲＯＩ２を「赤」とし、＜治療前＞のボリュームデータに含まれるＲＯＩ１の色を「青」として表示させる。ここで、表示制御部１３５３は、複数の３次元画像データの関心領域それぞれについて、所定の領域のみを表示させる。例えば、表示制御部１３５３は、図１０に示すように、重畳させた際に、外側になるＲＯＩ１の一部を表示しないようにすることで、内側のＲＯＩ２を露出させた画像を表示させる。なお、図１０においては、ＲＯＩ１の１／８の領域を表示させないようにしているが、この領域は任意に設定することができ、例えば、ＲＯＩ１の１／４を表示させないようにしてもよい。また、表示させない部分は、操作者が任意に変更することができる。例えば、操作者が、画像上でカーソルを操作することで、表示させない部分を任意に変更することができる。換言すると、操作者は、ＲＯＩ２の任意の位置を露出させることが可能である。また、表示制御部１３５３は、色に加えて、ＲＯＩの不透過度をそれぞれ変更させることも可能である。
　さらに、表示制御部１３５３は、各時相のボリュームデータの体積を比較して、体積の変化量に基づいて色や立体量を変化させたＲＯＩを表示させることも可能である。例えば、表示制御部１３５３は、＜治療後＞のボリュームデータに含まれるＲＯＩ２の体積が、＜治療前＞のボリュームデータに含まれるＲＯＩ１の体積から「２０％」以上減少していた場合にはＲＯＩ１の色を「黄色」で、「４０％」以上減少していた場合には、「緑」で表現した画像を表示させる。また、表示制御部１３５３は、＜治療後＞のボリュームデータに含まれるＲＯＩ２の体積が、＜治療前＞のボリュームデータに含まれるＲＯＩ１の体積よりも「２０％」以上増加していた場合にはＲＯＩ２の色を「青」で、「４０％」以上増加していた場合には、「紫」で表現した画像を表示させる。すなわち、表示制御部１３５３は、＜治療前＞と＜治療後＞でＲＯＩがどの程度変化しているかが一目でわかるような画像を表示する。また、表示制御部１３５３は、例えば，腫瘍が縮小していたら奥に，拡大していたら手前に表示するように立体量を変化させて表示することが可能である。なお、ＲＯＩの体積が同一（或いは、その差が所定の閾値以内）であった場合には、表示制御部１３５３は、色つけないＲＯＩを表示させる。
　表示制御部１３５３は、上述した表示を任意に組み合わせて表示させることが可能である。従って、第１の実施形態に係るワークステーション１３０は、ＲＯＩの変化を一目で認識させることができ、抗がん剤や放射線治療の治療効果の判定を容易に行わせることを可能にする。
　なお、色の設定は、操作者により任意に決定することができる。例えば、ＲＯＩの色を時系列の順に予め設定しておくこともできる。また、表示制御部１３５３によって表示部１３２に表示されたＲＯＩの色は、入力部１３１を介して自由に変更することも可能である。例えば、表示部１３２に表示された関心領域の重なり具合が不明瞭な場合、色を自由に変更することができる。また、表示制御部１３５３は、色の濃淡、コントラスト、明度なども変更するように設定することが可能である。
　次に、図１１を用いて、第１の実施形態に係るワークステーション１３０の処理について説明する。図１１は、第１の実施形態に係るワークステーション１３０による処理の手順を示すフローチャートである。図１１に示すように、第１の実施形態に係るワークステーション１３０においては、時相の異なる複数の画像を重畳して表示するためのコマンドが実行されると、抽出部１３５１は、時相の異なる複数の３次元画像データから関心領域を抽出する（ステップＳ１０１）。
　そして、位置決定部１３５２は、抽出部１３５１によって抽出された関心領域を重畳させるための位置をボリュームデータに含まれる特徴点に基づいて決定する（ステップＳ１０２）。その後、表示制御部１３５３は、関心領域の色を画像ごとに変更して（ステップＳ１０３）、画像を異なるレイヤーにて表示させることで重畳させた重畳画像を表示部１３２に表示させる（ステップＳ１０４）。
　上述したように、第１の実施形態によれば、抽出部１３５１は、時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出する。そして、位置決定部１３５２は、抽出部１３５１によって抽出された複数の３次元画像データそれぞれの関心領域を略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定する。そして、表示制御部１３５３は、抽出部１３５１によって抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、位置決定部１３５２により決定された位置にて重畳させた重畳画像を表示させる。従って、第１の実施形態に係るワークステーション１３０は、異なる時相で撮像された３次元画像データに含まれる関心領域それぞれを同一画面上で識別可能に表示することができ、時相の異なる複数の画像を重畳させた際にも、容易に観察することを可能にする。
　また、第１の実施形態によれば、表示制御部１３５３は、複数の３次元画像データの関心領域それぞれについて、所定の領域のみを表示させる。従って、第１の実施形態に係るワークステーション１３０は、内側に位置する関心領域を確実に視認させることができ、時相の異なる複数の画像を重畳させた際にも、より容易に観察することを可能にする。
　（第２の実施形態）
　上記した第１の実施形態では、２つの時相の３次元画像データを重畳する場合について説明した。第２の実施形態では、３つ以上の時相の３次元画像データを重畳する場合について説明する。なお、第２の実施形態では、図７に示す第１の実施形態に係る制御部１３５と同一の構成を有する。そこで、第２の実施形態においては、３つ以上の時相の３次元画像データを重畳して表示させる制御部を表示制御部１３５３ａとして説明する。すなわち、表示制御部１３５３ａは、図７に示す表示制御部１３５３に新たな処理が追加されたものである。
　表示制御部１３５３ａは、３つ以上の時相の３次元画像データに含まれる関心領域をそれぞれ異なる表示形式で表示させる。具体的には、表示制御部１３５３ａは、３つ以上の時相のボリュームデータから抽出部１３５１によって抽出された関心領域をそれぞれ異なる色で表示させる。図１２は、第２の実施形態に係る３つ以上の時相の３次元画像データの例を示す図である。図１２においては、時相の異なる肝臓のパーフュージョン（Perfusion）画像を示している。また、図１２においては、Ｘ線ＣＴ装置及びＭＲＩ装置によって撮像されたパーフュージョンを示す。
　例えば、第２の実施形態に係る制御部１３５は、図１２に示すように、Ｔ１、Ｔ２、Ｔ３及びＴ４の４つの時相を含む３次元画像データを以下に記すように表示させる。まず、抽出部１３５１は、Ｔ１、Ｔ２、Ｔ３及びＴ４のボリュームデータから関心領域をそれぞれ抽出する。例えば、抽出部１３５１は、Ｔ１のボリュームデータからＲＯＩ３を抽出し、Ｔ２のボリュームデータからＲＯＩ４を抽出し、Ｔ３のボリュームデータからＲＯＩ５を抽出し、Ｔ４のボリュームデータからＲＯＩ６を抽出する。
　そして、位置決定部１３５２は、Ｔ１、Ｔ２、Ｔ３及びＴ４のボリュームデータそれぞれに含まれる特徴点に基づいて、非線形のワーピング処理を実行することで、ボリュームデータの位置合わせを実行する。例えば、位置決定部１３５２は、Ｔ４のボリュームデータに合わせるように、Ｔ１、Ｔ２及びＴ３のボリュームデータそれぞれを変形させる。
　その後、表示制御部１３５３ａは、位置決定部１３５２によって位置合わせが実行されたボリュームデータそれぞれに対して、関心領域を含むように、かつ、同一の視線方向からレンダリング処理を実行した視差画像群を生成させる。そして、表示制御部１３５３ａは、関心領域の色が視差画像群間で異なるように変更する。その後、表示制御部１３５３ａは、視差画像群をそれぞれ異なるレイヤーにて表示させる。
　図１３は、第２の実施形態に係る表示制御部１３５３ａによる処理の第１の例を説明するための図である。図１３においては、図１２に示すＴ１、Ｔ２、Ｔ３及びＴ４のボリュームデータから生成された視差画像群を重畳させた場合について示す。例えば、表示制御部１３５３ａは、Ｔ１、Ｔ２、Ｔ３及びＴ４のボリュームデータに含まれるＲＯＩ３～６を時系列の順に設定された色で表示し、体積が大きくなるにつれて表示させない領域が大きくなるように表示させる。
　図１３を用いて説明すると、例えば、表示制御部１３５３ａは、ＲＯＩ３を「紫」で表示させ、ＲＯＩ５を「青」で表示させ、ＲＯＩ４を「橙」で表示させ、ＲＯＩ６を「赤」で表示させる。ここで、表示制御部１３５３ａは、図１３に示すように、すべてのＲＯＩについて、その一部が露出するように各ＲＯＩの一部を表示させないようにした画像を表示させる。その結果、表示制御部１３５３ａによって表示されるＲＯＩ３～６は、図１３に示すように、すべての時相におけるＲＯＩの変化を容易に把握することができるように表示部１３２に表示されることとなる。
　また、表示制御部１３５３ａは、３つ以上の時相の３次元画像データに含まれる関心領域の中から、体積の差が最大となる２つの関心領域のみを表示させることも可能である。図１４は、第２の実施形態に係る表示制御部１３５３ａによる処理の第２の例を説明するための図である。例えば、表示制御部１３５３ａは、図１４に示すように、ＲＯＩ３～６のなかから体積の差が最大となるＲＯＩ３とＲＯＩ６とを抽出し、抽出した２つのＲＯＩの色を変化させ、ＲＯＩ３の一部を表示させないようにした重畳画像を表示部１３２に表示させる。
　上記した第２の実施形態によれば、表示制御部１３５３ａは、３つ以上の時相の３次元画像データに含まれる関心領域をそれぞれ識別可能に表示させる。従って、第２の実施形態に係るワークステーション１３０は、系時的に連続するデータを用いた関心領域を容易に観察することを可能にする。例えば、４Ｄデータを用いて腫瘍の移動量を観察することで腫瘍の癒着具合を判定することも可能となる。
　（第３の実施形態）
　上記した第１及び第２の実施形態では、Ｘ線ＣＴ画像におけるＣＴ値に基づいた領域拡張法により関心領域を抽出する場合について説明した。第３の実施形態では、機能画像により得られる情報から関心領域を抽出する場合について説明する。なお、第３の実施形態では、図７に示す第１の実施形態に係る制御部１３５と同一の構成を有する。そこで、第３の実施形態においては、機能画像により得られる情報から関心領域を抽出する制御部を抽出部１３５１ａとして説明する。すなわち、抽出部１３５１ａは、図７に示す抽出部１３５１に新たな処理が追加されたものである。
　抽出部１３５１ａは、機能画像と形態画像とから得られる情報に基づいて関心領域を抽出する。以下では、ＰＥＴ画像とＣＴ画像とを用いて関心領域を抽出する場合について説明する。図１５は、第３の実施形態に係る抽出部１３５１ａによる処理の一例を説明するための図である。図１５においては、ＰＥＴ－ＣＴ装置により撮像された３次元画像データ（ＣＴ画像、ＰＥＴ画像）を用いて関心領域を抽出する場合について示す。
　例えば、抽出部１３５１ａは、図１５に示すように、記憶部１３４によって記憶されたある１時相における３次元のＣＴ画像及び３次元のＰＥＴ画像からフュージョン（fusion）画像を生成させる。そして、抽出部１３５１ａは、生成させたフュージョン画像から３次元のＣＴ画像における腫瘍の位置を抽出する。同様に、抽出部１３５１ａは、異なる時相の３次元画像データに関してもＰＥＴ画像とＣＴ画像とをフュージョンさせることにより、３次元のＣＴ画像における腫瘍の位置を抽出する。
　上記したような、ＰＥＴ画像を用いた関心領域の抽出は、時相の異なる３次元のＣＴ画像を重畳させる場合だけでなく、時相が異なる３次元のフュージョン画像を重畳させる場合にも実行させることができる。時相が異なる３次元のフュージョン画像を重畳させた場合には、腫瘍が悪性であるか否かが判定できるだけでなく、悪性腫瘍の転移の様子を空間的に把握することを可能にする。
　なお、上述した例では、ＰＥＴ画像を用いる場合について説明したが、実施形態はこれに限定されるものではなく、例えば、ＭＲ画像や、パーフュージョン画像を用いる場合であってもよい。
　上記した第３の実施形態によれば、抽出部１３５１ａは、３次元のＰＥＴ画像を用いて関心領域を抽出する。従って、第３の実施形態に係るワークステーション１３０は、関心領域を正確に抽出することを可能にする。
　（第４の実施形態）
　さて、これまで第１、第２及び第３の実施形態について説明したが、上述した第１、第２及び第３の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
　上述した実施形態では、関心領域が１つである場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、関心領域を複数設定する場合であってもよい。
　上述した実施形態においては、腫瘍（肝臓癌）を関心部位とする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、造影剤により信号が特異的に増加する領域などを関心部位として用いる場合であってもよい。
　上述した実施形態においては、位置を合わせるための特徴点として、脊椎や肋骨を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、抽出部１３５１によって抽出された関心領域の重心を特徴点として用いる場合であってもよい。かかる場合には、抽出部１３５１によって抽出された関心領域の重心同士を重ね合わせることで、関心領域を重畳させる。例えば、抽出部１３５１によって抽出された関心領域の体積の差が大きい場合に、関心領域の重心を用いて位置合わせすることで、処理を高速化させることが可能となる。
　上記実施形態においては、ＲＯＩを異なる色で表現して、重畳させた画像を表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ＲＯＩごとに不透過度を変化させる場合であってもよい。
　例えば、表示制御部１３５３は、体積が大きい関心領域の不透過度を「５０％」、色を「赤」とし、体積が小さい関心領域の不透過度を「１００％」、色を「青」として表示させる。図１０を用いて説明すると、表示制御部１３５３は、治療前のボリュームデータに含まれるＲＯＩ１の体積「Ｔ1」と、治療後のボリュームデータに含まれるＲＯＩ２の体積「Ｔ2」とを比較して、「Ｔ1－Ｔ2＞０」であることから、ＲＯＩ１を「不透過度：５０％」、「色：赤」で表示させ、ＲＯＩ２を「不透過度：１００％」、「色：青」で表示させる。
　上述したように画像の不透過度を関心領域ごとに変更させて表示することで、第１の実施形態に係るワークステーション１３０は、関心領域の全体像を把握させることができ、時相の異なる複数の画像を重畳させた際にも、より容易に観察することを可能にする。
　上述した実施形態においては、治療前の画像と治療後の画像それぞれに腫瘍が描出されている場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、現時点の画像に腫瘍が描出された場合に、過去の画像と比較する場合であってもよい。例えば、操作者が、現時点の画像及び過去の画像に関心領域を設定し、重畳した画像を表示させることで、腫瘍の転移状況などを表示させることが可能となる。
　上記した実施形態では、関心領域を含む領域のみを重畳させる場合ついて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、画像全体を重畳させる場合であってもよい。
　上述した実施形態においては、固有の形態を有する関心領域をそのまま重畳させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、関心領域の形態を変形させて重畳させる場合であってもよい。例えば、固有の形態を有する関心領域それぞれを標準の形態に変形させた後に重畳させてもよい。ここで、標準の形態としては、例えば、球や、立方体、直方体などである。一例を挙げると、表示制御部１３５３は、抽出部１３５１によって抽出された時相の異なる複数の関心領域それぞれを、各関心領域の体積に相当する大きさの球や、立方体、直方体などに変形させた後、重畳させて表示する。
　これにより、腫瘍の内部が壊死することで腫瘍全体の体積が縮小しているが、変化量が直感的に分かりにくい場合などに、関心部位を体積に応じた大きさの球や、立法体、直方体などに変形させて重畳させることで、変化量をより直感的に把握することを可能にする。
　上記実施形態においては、ワークステーション１３０が、３次元画像を重畳して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、医用画像診断装置１１０が３次元画像を重畳して表示する場合であってもよい。また、医用画像診断装置１１０又はワークステーション１３０が３次元画像を重畳して、端末装置１４０が、画像を表示する場合であってもよい。
　また、上記実施形態においては、端末装置１４０は、画像保管装置１２０から取得した医用画像等を表示等するものとして説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、端末装置１４０は、医用画像診断装置１１０又はワークステーション１３０に直接接続される場合であってもよい。
　また、上記実施形態においては、ワークステーション１３０は、画像保管装置１２０からボリュームデータを取得し、このボリュームデータから３次元画像を重畳して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ワークステーション１３０は、医用画像診断装置１１０からボリュームデータを取得し、このボリュームデータから３次元画像を重畳して表示する場合であってもよい。
　上述した実施形態においては、端末装置１４０が、画像保管装置１２０から画像を取得して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、端末装置１４０が、医用画像診断装置１１０から画像を取得して表示する場合であってもよい。
　以上説明したとおり、実施形態によれば、本実施形態の画像処理システム、装置、方法及び医用画像診断装置は、時相の異なる複数の画像を重畳させた際にも、容易に観察することを可能にする。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (7)

  1. 　時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出する抽出部と、
    　前記抽出部によって抽出された複数の３次元画像データそれぞれの関心領域を被検体における略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定する位置決定部と、
    　前記抽出部によって抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、前記位置決定部により決定された位置にて重畳させた重畳画像を表示させる表示制御部と、
    　を備える、画像処理システム。
  2. 　前記表示制御部は、前記複数の３次元画像データの関心領域それぞれについて、所定の領域のみを表示させる、請求項１に記載の画像処理システム。
  3. 　前記表示制御部は、前記複数の３次元画像データの関心領域それぞれの不透過度を変更する、請求項１に記載の画像処理システム。
  4. 　前記位置決定部は、前記抽出部によって抽出された複数の３次元画像データそれぞれの関心領域における重心を前記特徴点として用いる、請求項１又は２に記載の画像処理システム。
  5. 　時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出する抽出部と、
    　前記抽出部によって抽出された複数の３次元画像データそれぞれの関心領域を被検体における略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定する位置決定部と、
    　前記抽出部によって抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、前記位置決定部により決定された位置にて重畳させた重畳画像を表示させる表示制御部と、
    　を備える、画像処理装置。
  6. 　時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出し、
    　抽出された複数の３次元画像データそれぞれの関心領域を被検体における略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定し、
    　抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、決定された位置にて重畳させた重畳画像を表示させる、
    　ことを含む、画像処理方法。
  7. 　時相の異なる複数の３次元画像データそれぞれに含まれる同一の関心領域を抽出する抽出部と、
    　前記抽出部によって抽出された複数の３次元画像データそれぞれの関心領域を被検体における略同一位置にて重畳させるための位置を、当該３次元画像データに含まれる特徴点に基づいて決定する位置決定部と、
    　前記抽出部によって抽出された複数の３次元画像データの関心領域それぞれを、異なる表示形式に変更し、前記位置決定部により決定された位置にて重畳させた重畳画像を表示させる表示制御部と、
    　を備える、医用画像診断装置。
PCT/JP2012/068482 2011-07-20 2012-07-20 画像処理システム、装置、方法及び医用画像診断装置 WO2013012070A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280035112.XA CN103702612B (zh) 2011-07-20 2012-07-20 图像处理系统、装置、方法以及医用图像诊断装置
US14/158,123 US9600922B2 (en) 2011-07-20 2014-01-17 System, apparatus, and method for image processing and medical image diagnosis apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-159205 2011-07-20
JP2011159205 2011-07-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/158,123 Continuation US9600922B2 (en) 2011-07-20 2014-01-17 System, apparatus, and method for image processing and medical image diagnosis apparatus

Publications (1)

Publication Number Publication Date
WO2013012070A1 true WO2013012070A1 (ja) 2013-01-24

Family

ID=47558245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068482 WO2013012070A1 (ja) 2011-07-20 2012-07-20 画像処理システム、装置、方法及び医用画像診断装置

Country Status (4)

Country Link
US (1) US9600922B2 (ja)
JP (1) JP6058306B2 (ja)
CN (1) CN103702612B (ja)
WO (1) WO2013012070A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017505204A (ja) * 2014-02-12 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 病変サイズ傾向をモニタリングするシステムおよびその動作方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10413253B2 (en) * 2014-11-21 2019-09-17 Samsung Electronics Co., Ltd. Method and apparatus for processing medical image
JP6641696B2 (ja) * 2015-02-05 2020-02-05 富士通株式会社 画像表示装置、画像表示プログラム及び画像表示方法
JP6513414B2 (ja) * 2015-02-13 2019-05-15 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置における医用画像表示方法
JP2017161439A (ja) * 2016-03-11 2017-09-14 日本メジフィジックス株式会社 画像処理システム
US20170372473A1 (en) * 2016-06-22 2017-12-28 Toshiba Medical Systems Corporation Medical imaging diagnosis apparatus and medical imaging processing apparatus
DE102016211766A1 (de) * 2016-06-29 2018-01-18 Siemens Healthcare Gmbh Erzeugung einer Bildsequenz
GB2558605B8 (en) * 2017-01-09 2022-02-23 Caresoft Global Holdings Ltd Methodology to extract 3D CAD from CT Scan Output
US12033738B2 (en) * 2017-05-15 2024-07-09 Smith & Nephew Plc Negative pressure wound therapy system using eulerian video magnification
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
TWI642404B (zh) * 2017-12-06 2018-12-01 奇美醫療財團法人奇美醫院 Bone surgery navigation system and image navigation method for bone surgery
TWI684994B (zh) * 2018-06-22 2020-02-11 國立臺灣科技大學 脊椎影像註冊方法
US20200178934A1 (en) * 2018-12-10 2020-06-11 General Electric Company Ultrasound imaging system and method for displaying a target object quality level
EP3666335A1 (en) 2018-12-14 2020-06-17 Koninklijke Philips N.V. Automated qualitative description of anatomical changes in radiotherapy

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005199057A (ja) * 2003-12-18 2005-07-28 General Electric Co <Ge> 肺画像データの位置合わせのための方法及び装置
JP2007117384A (ja) * 2005-10-27 2007-05-17 Toshiba Corp 画像診断・治療支援装置及び治療効果判定用画像データ生成方法
JP2007136164A (ja) * 2005-10-21 2007-06-07 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2008119071A (ja) * 2006-11-09 2008-05-29 Hitachi Medical Corp 超音波診断装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP4015090B2 (ja) 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
US8280482B2 (en) * 2004-04-19 2012-10-02 New York University Method and apparatus for evaluating regional changes in three-dimensional tomographic images
US7697740B2 (en) 2005-10-21 2010-04-13 Kabushiki Kaisha Toshiba Medical image processing system and medical image processing method
US8600135B2 (en) * 2007-06-28 2013-12-03 Mayo Foundation For Medical Education And Research System and method for automatically generating sample points from a series of medical images and identifying a significant region
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005199057A (ja) * 2003-12-18 2005-07-28 General Electric Co <Ge> 肺画像データの位置合わせのための方法及び装置
JP2007136164A (ja) * 2005-10-21 2007-06-07 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2007117384A (ja) * 2005-10-27 2007-05-17 Toshiba Corp 画像診断・治療支援装置及び治療効果判定用画像データ生成方法
JP2008119071A (ja) * 2006-11-09 2008-05-29 Hitachi Medical Corp 超音波診断装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017505204A (ja) * 2014-02-12 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 病変サイズ傾向をモニタリングするシステムおよびその動作方法

Also Published As

Publication number Publication date
CN103702612B (zh) 2016-05-04
US20140132597A1 (en) 2014-05-15
JP2013039360A (ja) 2013-02-28
US9600922B2 (en) 2017-03-21
CN103702612A (zh) 2014-04-02
JP6058306B2 (ja) 2017-01-11

Similar Documents

Publication Publication Date Title
JP6058306B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP6211764B2 (ja) 画像処理システム及び方法
JP6058290B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP5808146B2 (ja) 画像処理システム、装置及び方法
JP6005905B2 (ja) 画像処理システム、画像処理装置及び画像処理方法
JP6430149B2 (ja) 医用画像処理装置
JP5972533B2 (ja) 画像処理システム及び方法
WO2012137821A1 (ja) 画像処理システム、装置、方法及びプログラム
JP5173053B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP5797485B2 (ja) 画像処理装置、画像処理方法及び医用画像診断装置
JP5784379B2 (ja) 画像処理システム、装置及び方法
JP5804760B2 (ja) 画像処理システム及び方法
JP6058301B2 (ja) 画像処理装置、画像処理方法及び医用画像診断装置
JP2012244420A (ja) 画像処理システム、装置及び方法
JP6104982B2 (ja) 画像処理装置、画像処理方法及び医用画像診断装置
JP2013017056A (ja) 画像処理装置、画像処理方法及び医用画像診断装置
JP5813986B2 (ja) 画像処理システム、装置、方法及びプログラム
JP5835975B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP5868051B2 (ja) 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置
JP6087618B2 (ja) 画像処理システムおよび画像処理方法
JP5835980B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP2013013552A (ja) 医用画像診断装置、医用画像処理装置及び方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280035112.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12814948

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12814948

Country of ref document: EP

Kind code of ref document: A1