WO2015059932A1 - 画像処理装置、方法、及びプログラム - Google Patents

画像処理装置、方法、及びプログラム Download PDF

Info

Publication number
WO2015059932A1
WO2015059932A1 PCT/JP2014/005372 JP2014005372W WO2015059932A1 WO 2015059932 A1 WO2015059932 A1 WO 2015059932A1 JP 2014005372 W JP2014005372 W JP 2014005372W WO 2015059932 A1 WO2015059932 A1 WO 2015059932A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation
tip position
tip
subject
Prior art date
Application number
PCT/JP2014/005372
Other languages
English (en)
French (fr)
Inventor
嘉郎 北村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2015059932A1 publication Critical patent/WO2015059932A1/ja
Priority to US15/133,908 priority Critical patent/US20160228075A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/541—Control of apparatus or devices for radiation diagnosis involving acquisition triggered by a physiological signal

Definitions

  • the present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program for generating an observation image that visualizes the inside of a subject from three-dimensional image data indicating the inside of the subject.
  • imaging devices such as MDCT (Multi Detector-row Computed Tomography)
  • MDCT Multi Detector-row Computed Tomography
  • image diagnosis using these image data high-definition Not only cross-sectional images are used, but also virtual / pseudo three-dimensional images of the subject are used.
  • Patent Document 1 two three-dimensional images obtained by photographing a subject in different postures, such as a supine position and a prone position, are acquired, and from one of the two three-dimensional images, an arbitrary viewpoint can be used. Generates an endoscopic image, generates a virtual endoscopic image with a viewpoint corresponding to the viewpoint set for one image from the other image, and simultaneously displays the two generated images on the display screen Techniques to do this are disclosed.
  • an ultrasonic endoscopic image obtained by imaging a subject in the left lateral position and a three-dimensional image obtained by photographing the subject in a supine position are acquired.
  • Patent Document 3 discloses a technique for displaying an ultrasonic image and a cross-sectional image corresponding to an MR image (Magnetic Resonance Image) deformed so as to be aligned with the ultrasonic image in a comparative manner.
  • the insertion portion inserted into the subject is configured to have flexibility.
  • the insertion port into the subject is directed toward the distal end portion of the endoscope apparatus. Since an elongate rigid insertion portion that is not flexible (does not bend) is disposed, the insertion direction accessible from the insertion port is limited.
  • two virtual endoscopic images can be generated from two three-dimensional images, with the positions corresponding to each other as viewpoints.
  • the image does not correspond to the relative relationship between the insertion port and the tip position when a rigid endoscope device is used as a virtual endoscope device.
  • the present invention is based on the viewpoint and imaging direction of a virtual endoscope apparatus set to a three-dimensional image corresponding to one phase in three-dimensional images respectively representing the inside of a subject in different phases.
  • a first observation image in one phase is generated, and in a three-dimensional image corresponding to a different phase, an insertion port and a tip position where a medical instrument having a rigid insertion portion such as a virtual endoscope device is inserted into a subject
  • an image processing apparatus includes a first image and a second image, which are three-dimensional images captured using a medical image capturing apparatus, each representing the inside of a subject in different phases. From the first image, a three-dimensional image acquisition unit that acquires an image, a deformation information acquisition unit that acquires deformation information for deforming the first image so that corresponding positions of the first image and the second image are aligned with each other, and A first observation condition is a first insertion position, which is an insertion position of a surgical instrument having an elongated rigid insertion part to be inserted into the body of a subject, and a first distal position where the distal end of the surgical instrument is located.
  • the second tip position is specified so that the corresponding orientation is the second insertion direction from the second insertion position toward the second tip position where the tip of the surgical instrument is located in the second image.
  • An observation condition determining unit that determines the insertion position and the second tip position as the second observation condition, and a modified first image or second image obtained by deforming the first image based on the deformation information based on the second observation condition.
  • an image generation unit that generates a second observation image that visualizes the inside of the subject from the second tip position with the second tip position as a viewpoint.
  • the operation method of the image processing apparatus acquires a first image and a second image, which are three-dimensional images captured using a medical image capturing apparatus, each representing the inside of a subject in different phases.
  • a first insertion position which is an insertion position of a surgical instrument having an elongated rigid insertion part to be inserted into the body, and a first distal position where the distal end of the surgical instrument is located are acquired as first observation conditions.
  • a second insertion position that is a position corresponding to the first insertion position in the second image is specified, and the second insertion position is directed from the first insertion position to the first tip position.
  • 1 insertion direction Specifying the second tip position so that the corresponding orientation is the second insertion direction from the second insertion position toward the second tip position where the tip of the surgical instrument is located in the second image;
  • An observation condition determining step for determining the second insertion position and the second tip position as the second observation condition, and a modified first image or second image obtained by deforming the first image based on the deformation information based on the second observation condition.
  • An image generation step of generating a second observation image in which the second tip position is visualized from the image and the inside of the subject is visualized from the second tip position is characterized.
  • an image processing program causes a computer to execute the above method.
  • first image and second image respectively representing the inside of the subject in different phases may be images that have different deformation states inside the subject.
  • the first image and the second image may each represent a subject in the expiration phase and the inspiration phase, and the first image and the second image are subjects in different heart pulsation phases. May be represented respectively.
  • the first image and the second image may represent the inside of the subject in different postures.
  • the above-mentioned ⁇ surgical instrument having an elongated rigid insertion part to be inserted into the body of a subject '' means, for example, a rigid endoscope apparatus in which a camera is disposed at the tip of a rigid elongated cylindrical body part,
  • a rigid treatment instrument in which a treatment instrument such as a scalpel or a needle is disposed at the distal end of a rigid elongated cylindrical main body is conceivable.
  • the rigid insertion part includes one having a flexible part at the tip of the main body part that is not bent.
  • the “tip portion of the surgical instrument” means a portion where a camera or a treatment instrument for performing desired observation or treatment is disposed on a rigid insertion portion inserted into the subject, and is not necessarily a part of the surgical instrument. It may not be the tip.
  • the surgical instrument is an endoscope apparatus
  • the observation condition determining unit includes a first insertion direction in the first image and a first imaging direction that is the imaging direction of the endoscope apparatus.
  • the second shooting direction is specified so that the relative relationship between the second insertion direction in the second image and the second shooting direction that is the shooting direction of the endoscope apparatus is equal.
  • the image generation unit preferably generates the second observation image by visualizing the inside of the subject in the second imaging direction from the second tip position.
  • the observation condition determining unit may determine that the distance between the first insertion position and the first tip position is a distance between the second insertion position and the second tip position.
  • the second tip position may be specified to be equal to and the second insertion position and the second tip position may be determined as the second observation condition.
  • the observation condition determining unit specifies the position of the second image corresponding to the first tip position as the second tip position, and determines the second insertion position and the second tip position as the second observation condition. May be.
  • the observation condition determining unit includes the angle between the direction of the predetermined landmark included in the first image and the first insertion direction, and the predetermined landmark included in the second image.
  • the direction corresponding to the first insertion direction becomes the second insertion direction by specifying the second insertion direction so that the angle between the direction of the landmark corresponding to and the second insertion direction is equal.
  • predetermined landmark orientation is the direction specified by the predetermined landmark included in the three-dimensional image.
  • the normal direction of the body surface of the subject at the insertion position where the surgical instrument is inserted is used.
  • any part can be used as a landmark as long as it is an identifiable characteristic part included in the three-dimensional image.
  • the spine can be a landmark, and in this case, the position of the Nth vertebra can be used as a landmark.
  • organs (center coordinates) such as spleen and kidney may be used as landmarks.
  • the “direction specified by the landmark” may be any direction as long as it is the direction specified by the landmark.
  • the direction of the normal of the flat shape can be used.
  • the direction of the longitudinal axis can be set.
  • the “direction specified by the landmark” may be a direction specified by a plurality of landmarks. In this case, the direction can be a direction from a landmark such as the center point of one structure toward a landmark such as the center point of the other structure.
  • the observation condition determining unit acquires a plurality of first observation conditions from the first image, and based on the plurality of first observation conditions and deformation information, the plurality of first observation conditions. It is preferable to determine a plurality of second observation conditions corresponding to each of the above.
  • a line segment connecting the second viewpoint from the second insertion position is equal to or less than a predetermined distance from the anatomical structure included in the second image. It is preferable to further include a determination unit.
  • a first image and a second image which are three-dimensional images photographed using a medical image photographing apparatus, respectively representing the inside of a subject in different phases are acquired.
  • An elongated rigid insertion unit that acquires deformation information for deforming the first image so that corresponding positions of the first image and the second image are aligned with each other, and is inserted into the body of the subject from the first image.
  • the first insertion position that is the insertion position of the surgical instrument having the first position and the first tip position where the distal end portion of the surgical instrument is located are acquired as the first observation condition, and based on the first observation condition and the deformation information, A second insertion position that is a position corresponding to the first insertion position in the second image is specified, and the direction corresponding to the first insertion direction from the first insertion position toward the first tip position is the second position. From the insertion position to the second image The second tip position is specified so that the second insertion direction is directed toward the second tip position where the tip of the surgical instrument is located, and the second insertion position and the second tip position are second observed. Determine as a condition.
  • the second tip position is set as the viewpoint, and the inside of the subject is measured from the second tip position.
  • the virtual medical instrument insertion position (first insertion position) and insertion direction (first insertion direction) in the first image and the second image
  • the virtual medical instrument tip position (second tip position) in the second image by associating the insertion position (second insertion position) of the virtual medical instrument with the insertion direction (second insertion direction) in FIG.
  • the second observation image in which the inside of the subject is visualized with the second tip position as the viewpoint can be generated. For this reason, there are multiple phases that cause deformation of anatomical structures inside the subject, such as breathing and pulsation, during a period in which a medical instrument having a rigid insertion portion is placed inside the subject, such as during surgery.
  • FIG. 1 is a block diagram showing an image processing apparatus according to an embodiment of the present invention.
  • 5 is a flowchart showing an operation procedure of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 1 shows an image processing workstation 10 including an image processing apparatus 1 according to an embodiment of the present invention.
  • the image processing workstation 10 performs image processing (including image analysis) on medical image data acquired from a modality (not shown) or an image storage server in response to a request from an interpreter, and displays a generated image.
  • An image processing apparatus 1 which is a computer body including a CPU, an input / output interface, a communication interface, a data bus, etc., an input device 2 (mouse, keyboard, etc.), a display device 3 (display monitor), and a storage device 4 (main storage device, auxiliary storage device) and the like are provided.
  • the image processing workstation 10 is installed with a well-known operating system, various application software, and the like, and is also installed with an application for executing the image processing of the present invention. These software may be installed from a recording medium such as a CD-ROM, or may be installed after being downloaded from a storage device of a server connected via a network such as the Internet. Good.
  • the image processing apparatus 1 includes an image acquisition unit 11, a deformation information acquisition unit 12, an observation condition determination unit 13, an image generation unit 14, an output unit 15, and a determination. Part 16.
  • the function of each part of the image processing apparatus 1 is realized by the image processing apparatus 1 executing a program (image processing application) installed from a recording medium such as a CD-ROM.
  • the image acquisition unit 11 acquires the first image 21 and the second image 22 from the storage device 4.
  • the first image 21 and the second image 22 are three-dimensional image data showing the inside of the subject, each imaged using a CT apparatus. Further, the image acquisition unit 11 may acquire the first image 21 and the second image 22 at the same time, or may acquire the other image after acquiring one of the first image 21 and the second image 22. Good.
  • the first image 21 and the second image 22 are data taken in different respiratory phases on the abdomen of the same subject (human body).
  • the first image 21 is an image taken with exhalation
  • the second image 22 is an image taken with inspiration.
  • both images represent the inside of the body cavity of the same person, the organ shape is deformed between the two images because the breathing phase is different at the time of imaging.
  • the present invention is not limited to this embodiment, and the first image 21 and the second image 22 may be any 3D image data obtained by photographing the inside of the same subject and having different deformation states inside the subject. It may be an image.
  • a CT image, an MR image, a three-dimensional ultrasound image, a PET (Positron Emission Tomography) image, or the like can be applied as the second image 22 .
  • the modality used for tomography may be anything as long as it can capture a three-dimensional image, such as CT, MRI, and ultrasonic imaging apparatus.
  • Various combinations of the first image 21 and the second image 22 are conceivable.
  • the first image 21 and the second image 22 may be data obtained by photographing the first image 21 and the second image 22 in different photographing positions.
  • the first image 21 and the second image 22 may be a plurality of images respectively representing subjects in different pulsation phases of the heart.
  • the deformation information acquisition unit 12 acquires deformation information for deforming the first image so that the corresponding positions of the first image 21 and the second image 22 are aligned with each other.
  • a deformation amount is set for each pixel of the first image 21, and an image obtained by deforming each pixel of the first image 21 based on each deformation amount and a second image while gradually changing each deformation amount.
  • each pixel of the first image 21 is associated with each pixel of the second image 22 corresponding to each pixel of the first image 21.
  • the deformation amount of each pixel for aligning the first image 21 with the second image 22 is acquired.
  • a function that defines the deformation amount of each pixel of the first image 21 is acquired as deformation information.
  • the non-rigid registration method is to move each pixel of one image based on each deformation amount and maximize (minimize) a predetermined function for determining the similarity between two images. This is a method of calculating the deformation amount of each pixel of the one image for making two images coincide with each other.
  • the non-rigid registration method for aligning two images with each other for example, Rueckert D Sonoda LI, Hayesc, Et al., “Nonrigid Registration Using Free-Form Deformations: application to breast MR Images”
  • Various known methods such as IEEE, transactions, medical, Imaging, 1999, vol.18, No.8, pp.712-721 can be applied.
  • the observation condition determination unit 13 is a virtual endoscope device M1 (virtual rigid endoscope device) that is a surgical instrument having an elongated rigid insertion portion that is inserted into the body of a subject.
  • FIG. 2 and 3 are diagrams illustrating screens for setting the insertion position Q A1 and the distal end position P A1 of the virtual endoscope apparatus M1 in the first image 21.
  • FIG. 2 and 3 are diagrams illustrating screens for setting the insertion position Q A1 and the distal end position P A1 of the virtual endoscope apparatus M1 in the first image 21.
  • the image generation unit 14 upon receiving a pseudo three-dimensional image generation instruction such as a volume rendering method from the first image 21 and a display instruction by the input device 2 such as a mouse, the image generation unit 14 generates the generation instruction.
  • the output unit 15 displays an image generated from the first image 21 on the display screen according to a desired display parameter.
  • 2A is an example in which the display parameters are set so as to visualize the body surface S of the subject, and the subject is displayed in a pseudo three-dimensional manner.
  • 31B in FIG. 3 makes the body surface of the subject transparent, In this example, display parameters are set so as to visualize the inside of the subject, and the subject is displayed in a pseudo three-dimensional manner. Further, in FIG.
  • the tip position P A1 of virtual endoscopic device M1 which is arranged as shown in 31B of FIG. 3 and camera position (viewpoint of the virtual endoscopic image), the virtual endoscope set
  • the 1st observation image 31 which is a virtual endoscope produced
  • the input device 2 receives the camera position of the virtual endoscope device M1 in the first image 21 and the camera posture of the virtual endoscope device M1 in the first image 21 based on a user input on the display screen. Then, based on the received information input device 2, the viewing condition determination section 13 acquires a camera position of the virtual endoscopic device M1 as the first end position P A1, the camera attitude of the virtual endoscopic device M1 Is acquired as a first insertion direction (first insertion vector V A1 ) that is a direction in which the rigid endoscope apparatus is inserted into the subject.
  • first insertion vector V A1 first insertion vector
  • the viewing condition determining section 13 is parallel to the first insertion vector V A1, the intersection of the straight line passing through the first end position P A1 intersects with body S of a subject, a virtual endoscopic device M1 Acquired as the coordinates of the first insertion position Q A1 inserted into the subject.
  • the observation condition determination unit 13 calculates a distance D A1 between the first tip position P A1 and the first insertion position Q A1 .
  • the first insertion vector V A1 is parallel to the optical axis of the camera of the virtual endoscope apparatus M1, and the first insertion vector V A1 is used as the virtual endoscope apparatus. It can be considered that the camera posture of M1 (first shooting direction).
  • the first observation condition other necessary parameters for generating an observation image from the three-dimensional image are set in advance according to the angle of view, the focal length, and the like of the virtual endoscope apparatus M1, and the first Assume that the relative angle of the first shooting direction with respect to the insertion direction is also set in advance.
  • the observation condition determination unit 13 may use any method that can acquire the first observation condition.
  • the first observation condition may be the first observation condition set by the user's manual input as in the above example.
  • the treatment target region of the first image 21 is obtained and analyzed, and the treatment is performed. You may set automatically the front-end
  • the observation condition determination unit 13 acquires the first observation condition
  • the observation condition determination unit 13 corresponds to the coordinates of the first insertion position Q A1 based on the deformation information that deforms the first image 21 so as to correspond to the second image 22.
  • the coordinates of the second image 22 to be specified are specified as the coordinates of the second insertion position QA2 .
  • the observation condition determining unit 13 determines that the direction corresponding to the first insertion vector V A1 from the first insertion position Q A1 to the first tip position P A1 is from the second insertion position Q A2 to the second image.
  • second insertion vector V A2 becomes the leading end portion of the surgical instrument toward the second end position P A2 located at 22, the distance between the first insertion position Q A1 and the first end position P A1 D A1 so it becomes equal to the distance D A2 between the second insertion position Q A2 and a second end position P A2, to identify the second end position P A2, and the second insertion position Q A2 No. 2 tip position PA2 is determined as the second observation condition.
  • the observation condition determination unit 13 specifies a relative relationship between the first insertion direction and the first imaging direction that is the imaging direction of the endoscope apparatus, and the second insertion direction is determined in the second image 22. Relative to the second imaging direction, which is the imaging direction of the endoscope apparatus, and the relative relationship between the first insertion direction and the first imaging direction, which is the imaging direction of the endoscope apparatus, The second shooting direction is specified so as to be equal.
  • the first insertion vector V A1 is parallel to the optical axis of the camera of the virtual endoscope apparatus M1
  • the first insertion vector V A1 is the camera orientation (first imaging direction) of the virtual endoscope apparatus M1.
  • the observation condition determination unit 13 determines the second insertion vector V A2 as the camera orientation (second imaging direction) of the virtual endoscope apparatus M1.
  • the observation condition determination unit 13 is arranged such that the camera posture forms a predetermined angle such as 45 degrees or 90 degrees with respect to the axial direction (longitudinal direction) of the rigid insertion section of the virtual endoscope apparatus M1.
  • the angle between the first insertion vector V A1 and the first shooting vector (first shooting direction) that is the shooting direction of the endoscope apparatus is acquired, and the second image is acquired.
  • the second insertion vector V A2 and the second shooting vector (second shooting direction) are set so that the angle is equal to the angle between the first insertion vector V A1 and the first shooting vector. Determine the shooting direction.
  • FIG. 4 shows the insertion position (second insertion position Q A2 ), the insertion direction (second insertion vector V A2 ), and the tip position (second tip position P A2 ) of the virtual endoscope device M1 in the second image 22. It is a figure for demonstrating the method to pinpoint.
  • FIG. 4 is a diagram for explanation, and the size, position, angle, and the like of each part are different from the actual ones.
  • Viewing condition determination section 13 acquires the second insertion position Q A2 corresponding to the first insertion position Q A1, normal body surface S of the object from the first image 21 at the first insertion position Q A1
  • the vector T A1 is acquired, and the normal vector T A2 of the body surface S of the subject at the second insertion position Q A2 is acquired from the second image 22.
  • the observation condition determination unit 13 determines that the angle ⁇ A2 formed by the second insertion vector V A2 and the normal vector T A2 in the second image 22 is the same as the first insertion vector V A1 in the first image 21.
  • the second insertion vector V A2 is determined so as to be equal to the angle ⁇ A1 formed by the line vector T A1 .
  • the observation condition determination unit 13 has an inner product of the insertion vector V A2 and the normal vector T A2 from Q A2 to P A2 equal to the inner product of the first insertion vector V A1 and the normal vector T A1.
  • the second insertion vector V A2 is determined so that
  • the observation condition determination unit 13 replaces the normal vector of the body surface S with a vector indicating the direction of another predetermined landmark as a reference, and is parallel to the direction of the other predetermined landmark in the first image 21.
  • the angle formed by the first insertion vector V A1 is the angle between the second insertion vector V A2 and the vector parallel to the direction of the predetermined landmark corresponding to the other predetermined landmark of the second image 22.
  • the second insertion vector V A2 may be determined to be equal to For example, as the predetermined landmark, it is conceivable to use a landmark with little fluctuation in the direction of the landmark depending on the phase.
  • the angle may be calculated based on the position of the Nth vertebra with the spine as a landmark.
  • an organ (center coordinate) such as spleen or kidney may be used as a reference.
  • angle formed by the direction of the predetermined landmark and the first insertion direction means the smaller one of the angles formed by the direction of the predetermined landmark and the first insertion direction
  • angle formed between the direction of the predetermined landmark and the second insertion direction means the smaller one of the angles formed between the direction of the predetermined landmark and the second insertion direction
  • the observation condition determination unit 13 is separated from the second insertion position Q A2 by a distance D A1 between the first insertion position Q A1 and the first tip position P A1 in the direction of the second insertion vector V A2 .
  • the position is determined as the second tip position PA2 .
  • the observation condition determination unit 13 determines the second tip position P A2 , the second insertion position Q A2 , the second insertion vector V A2, and the second imaging direction in the second image 22 as the second observation conditions. To do. Also in the second observation condition, similarly to the first observation condition, other necessary parameters for generating the observation image from the three-dimensional image according to the angle of view, the focal length, and the like of the virtual endoscope apparatus M1. Is set in advance.
  • the observation condition determination unit 13 determines the tip position of the virtual endoscope device in the first image as the second image.
  • the coordinates may be converted to the coordinates in the second image so as to coincide with the vector from the insertion position in the second image toward the tip position after conversion.
  • the observation condition determination unit 13 acquires a position corresponding to the first insertion position Q A1 as the second insertion position Q A2 based on the deformation information, and corresponds to the first tip position P A1 .
  • the center-of-gravity position of the virtual endoscope device in the first image may be converted into coordinates in the second image, and the vector may be a vector from the insertion position in the second image toward the converted tip position.
  • the second observation image 32 that is a virtual endoscopic image in which the inside of the subject is visualized is generated and displayed, so that the first insertion position Q A1 is changed to the first insertion position Q A1 .
  • useful information that can easily and accurately determine whether the insertion position, the tip position, and the insertion direction into the subject are appropriate, in correspondence with the second insertion direction VA2 toward the position). Can do.
  • the image generation unit 14 generates a first observation image 31 that is a virtual endoscopic image obtained by visualizing the inside of the body cavity of the subject from the first image 21 based on the first observation condition. Based on the second observation condition, a second observation image 32 that is a virtual endoscopic image in which the inside of the subject is visualized is generated.
  • the first observation condition and the second viewing conditions, the insertion position Q A1 of virtual endoscopic device M1, Q A2, each insert position Q A1, the insertion depth from the Q A2 D A1, D A2, each insert position Q A1 , Q A2 insertion directions V A1 and V A2 , and relative imaging directions with respect to the insertion directions V A1 and V A2 correspond to each other.
  • the same composition is shown, and the shape of the organ in the image is shown as a deformed state corresponding to each corresponding phase of the first image 21 and the second image 22.
  • the image generation unit 14 also generates a desired image such as a volume rendering image from the first image 21 or the second image 22 as necessary in the image processing process of the present embodiment.
  • the image generation unit 14 obtains the deformed first image 21A obtained by modifying the first image 21 based on the deformation information, based on the second observation condition, a second end position in a modified first image 21A P A2
  • the second observation image 32 that visualizes the inside of the subject may be generated with the second imaging direction as the camera posture. Note that the second image 22 and the deformed modified first image 21A have the corresponding pixels arranged at the same position, so the observation image generated from the deformed first image 21A based on the second observation condition is The observation image 32 generated from the second image 22 based on the second observation condition and the inside of the subject having the same shape are shown with the same composition.
  • the relative positional relationship such as the insertion position, the tip position, and the organ shape is the same, and the correspondence of the second image 22 It can be used to check the inside of the subject in the phase, the insertion position of the virtual endoscopic image, the tip position, and the like.
  • the output unit 15 outputs the image generated by the image generation unit 14 to the display device 3.
  • the display device 3 displays the first observation image 31 and the second observation image 32 on the display screen in response to a request from the output unit 15.
  • the output unit 15 may simultaneously output the first observation image 31 and the second observation image 32 and display the first observation image 31 and the second observation image 32 in parallel on the display screen of the display device 3.
  • the output unit 15 may selectively output the first observation image 31 and the second observation image 32 and switch the first observation image 31 and the second observation image 32 to be displayed on the display screen of the display device 3. Good.
  • the output unit 15 instructs the display device 3 to display desired information on the display screen as necessary during the image processing of the present embodiment.
  • the determination unit 16 acquires a predetermined anatomical structure (for example, an organ such as a blood vessel, a bone, and a lung) extracted from the second image 22 by an arbitrary method, and obtains the second insertion position Q A2 and the second insertion position Q A2 . It is determined whether or not the line segment (determination target line segment) connecting the tip position PA2 is close to an anatomical structure included in the second image 22 at an unacceptable distance or less.
  • the determination unit 16 is configured such that an overlapping portion between the determination target line segment and the anatomical structure in the second image 22 is close to the anatomical structure inside the subject within a predetermined allowable distance or less. Extract as part.
  • the line segment connecting the second insertion position Q A2 and the second tip position P A2 is arranged with a rigid insertion portion of a medical instrument such as the virtual endoscope apparatus M1 or the virtual rigid treatment instrument M2. Indicates the position.
  • the rigid insertion portion needs to be arranged away from an anatomical structure such as a blood vessel that is not a treatment target in order to ensure the safety inside the subject, and the rigid insertion portion is arranged in the surgical simulation. It is preferable to confirm that the determination target line segment indicating the position does not fall below an unacceptable distance from the anatomical structure.
  • any determination method can be applied as long as it can be determined whether or not the determination target line segment is equal to or less than a predetermined distance close to the anatomical structure included in the second image 22. For example, for each pixel located on the determination target line segment, the shortest distance among the distances to each pixel located in the organ is calculated, and when the calculated shortest distance is equal to or less than a predetermined threshold, the pixel is It may be determined as a proximity pixel, and a portion on the determination target line segment including the determined proximity pixel may be extracted as a proximity portion to determine the presence or absence of the proximity portion.
  • the determination unit 16 determines that the determination target line segment has a proximity portion
  • the determination unit 16 instructs the output unit 15 to output a warning display.
  • the output unit 15 receives a warning display output instruction from the determination unit 16
  • the output unit 15 acquires information for specifying the proximity portion from the determination unit 16 and outputs the warning display instruction and information necessary for the warning display to the display device 3. .
  • the display device 3 displays a warning by acquiring the proximity part from the output unit 15 and color-coding the proximity part according to a predetermined warning format.
  • the determination unit 16 can apply an arbitrary method such as an index such as an arrow or a thick line display for the identification display of the proximity portion. Further, the determination unit 16 can apply any warning method together with the identification display of the proximity portion or in place of the identification display of the proximity portion.
  • a dialog box may display that the determination target line segment and the anatomical structure are less than a predetermined distance, such as “proximity”, may indicate an indicator indicating a warning, and A warning display technique may be applied.
  • the determination unit 16 may issue a warning with a sound such as a warning sound or a voice message in combination with the warning display or instead of the warning display.
  • the determination unit 16 may automatically display a warning when there is a proximity part, or may output a determination result in response to a request from the user.
  • FIG. 5 is a flowchart showing an operation procedure of the image processing apparatus 1.
  • the image acquisition unit 11 acquires the first image 21 and the second image 22 (step S1).
  • the first image 21 and the second image 22 are two three-dimensional image data in the expiration phase and the inspiration phase.
  • the deformation information acquisition unit 12 performs image alignment on the first image 21 and the second image 22, and positions each pixel of the first image 21 at the position of each corresponding pixel of the second image 22. Deformation information for deforming one image 21 is acquired (step S2).
  • the observation condition determination unit 13 performs the first tip position P of the virtual endoscope apparatus M1 on the first image 21 based on the input of the user position from the display screen. A1 , the first insertion position Q A1, and the first imaging direction with respect to the first insertion vector V A1 and the first insertion vector V A1 from the first insertion position Q A1 to the first tip position P A1. Acquired as the first observation condition. (Step S3).
  • the observation condition determination unit 13 specifies the second insertion position Q A2 that is a position corresponding to the first insertion position Q A1 in the second image 22 based on the first observation condition and the deformation information in the first image 21. To do. The orientation, the distal end portion of the surgical instrument in the second image 22 from the second insertion position Q A2 corresponding to the first insertion vector V A1 directed from a first insertion position Q A1 in the first end position P A1 There second insertion vector V A2 becomes toward the second end position P A2 located a distance D A1 between the first insertion position Q A1 and the first end position P A1 is a second insertion position Q as A2 become equal to the distance D A2 between the second end position P A2, identifying a second end position P A2.
  • the second imaging direction with respect to the vector V A2 is determined as the second observation condition (step S4).
  • the image generation unit 14 Based on the first observation condition, the image generation unit 14 generates the first observation image 31 from the first image 21 with the first tip position PA1 as the viewpoint and the first photographing direction as the camera posture (step S1). S5) Based on the second observation condition, the second observation image 32 is generated from the second image 22 with the second tip position PA2 as the viewpoint and the second photographing direction as the camera posture (step S6).
  • the output unit 15 simultaneously outputs the first observation image 31 generated in step S5 and the second observation image 32 generated in step S6 to the display device 3, and the first observation image 31 and the second observation image are output. 32 are simultaneously displayed on the display surface (step S7).
  • the determination unit 16 cannot accept a line segment (determination target line segment) connecting the second tip position P A2 and the second insertion position Q A2 as an anatomical structure included in the second image 22. It is determined whether it is close to the distance or has a close part. If there is a proximity portion (step S8, YES), the output unit 15 is instructed to display a warning. Then, the output unit 15 outputs a warning display instruction to the display device 3, and the display device 3 performs warning display by identifying and displaying the proximity portion by color (step S9).
  • the tip position (second tip position P A2 ) of the virtual medical instrument in the second image is determined, and the second observation image visualizes the inside of the subject with the second tip position P A2 as the viewpoint. 32 can be generated.
  • the inside of the subject shown in the first observation image 31 and the inside of the subject shown in the second observation image 32 are shown in compositions in which the insertion direction from the insertion port and the tip position correspond to each other.
  • the shapes of the organs in both images are in a deformed state corresponding to the corresponding phases of the first image 21 and the second image 22, respectively.
  • the insertion position (first insertion) of the virtual endoscope apparatus M1 that is a virtual medical instrument in the first image 21 is used.
  • Position Q A1 ), insertion direction (first insertion direction V A1 ), insertion depth (distance D A1 between the first insertion position and the first viewpoint), and insertion of a virtual medical instrument in the second image The position (second insertion position Q A2 ), the insertion direction (second insertion direction V A2 ), and the insertion depth (distance D A2 between the second insertion position and the second viewpoint) are associated with each other.
  • the tip position (second tip position P A2 ) of the virtual medical instrument in the image is determined, and the second tip position P A2 is used as a viewpoint to cover the second shooting direction corresponding to the first shooting direction.
  • the first view The inside of the subject shown in the image 31 and the inside of the subject shown in the second observation image 32 are shown in an equivalent composition in which the insertion direction from the insertion port, the insertion depth, the tip position, and the imaging direction correspond to each other.
  • the shapes of the organs in both images are in a deformed state corresponding to the corresponding phases of the first image 21 and the second image 22.
  • deformation of the anatomical structure inside the subject such as breathing and pulsation occurs during a period in which a medical instrument having a rigid insertion portion is arranged inside the subject such as during surgery. Even when a plurality of phases exist, when the generated second observation image 32 can be observed by the user, the treatment or observation inside the subject is performed in the phase corresponding to the second image 22. In addition, it is possible to provide useful information that can easily and accurately determine whether the insertion position, the tip position, and the insertion direction into the subject are appropriate.
  • the user compares the first observation image 31 and the second observation image 32 to thereby determine the insertion position Q A1 , the insertion vector V A1, and the insertion depth of the virtual endoscope apparatus M1 set in the corresponding phase of the first image 21.
  • D A1 is maintained, it is possible to confirm how the observation image changes in the corresponding phase of the second image 22 as the inside of the subject is deformed according to the phase.
  • the generation of the first observation image 31 may be omitted, and only the second observation image 32 may be displayed on the display surface. Even in this case, the user can confirm how the observation image changes in the second observation image in a phase different from that of the first image 21 due to deformation of the inside of the subject.
  • the internal organs of the subject due to breathing of the subject during surgery or the like are displayed. Even if deformation occurs, it is possible to provide useful information that can easily and accurately determine whether the insertion position, the tip position, and the insertion direction into the subject are appropriate in both phases different from each other.
  • the first image and the second image represent subjects in different postures
  • the first observation image 31 and the second observation image 32 corresponding to the subjects in different postures are generated and displayed. As a result, even if the internal organs of the subject are deformed due to different postures, it is possible to easily and accurately determine whether the insertion position, tip position, and insertion direction within the subject in different postures are appropriate. Useful information can be provided.
  • the angle between the normal vector T A1 and the first insertion vector V A1 of the body S of the first image 21 at the first insertion position Q A1 is, the second insertion position Q A2
  • the second insertion direction V A2 is determined so as to be equal to the angle formed by the normal vector T A2 of the body surface S of the second image 22 and the second insertion direction V A2 , in different phases
  • the second observation condition can be determined so that the insertion angle of the subject with respect to the body surface S at the insertion position of the virtual endoscope apparatus M1 is the same. For this reason, by referring to the generated second observation image, in the corresponding phase of the first image 21 and the corresponding phase of the second image 22, the insertion angle with respect to the body surface S of the subject is matched. The inside of the body cavity can be observed.
  • the line segment connecting the second distal end position P A2 and the second insertion position Q A2 (the portion corresponding to the rigid insertion portion of the medical instrument such as the virtual endoscope apparatus) is the second image 22.
  • the determination unit 16 determines whether or not the anatomical structure included therein is close to an unacceptable distance or less, in the surgical simulation or the like
  • the arrangement and the insertion path of the rigid insertion unit of the medical instrument Can provide useful information to determine whether is appropriate.
  • the output unit 15 includes a proximity unit, it is possible to appropriately alert the user by outputting a warning such as a warning display or a warning sound.
  • a warning such as a warning display or a warning sound.
  • the proximity portion is identified and displayed, it is possible to make the user grasp the presence and position of the proximity portion more easily and accurately.
  • a desired treatment may be performed using a rigid treatment instrument such as a scalpel or a needle while observing the treatment portion with a rigid endoscope device.
  • a rigid treatment instrument such as a scalpel or a needle
  • an insertion port is provided in each of the rigid endoscope apparatus and the rigid treatment instrument, and a desired surgical instrument is inserted from each insertion port to an appropriate position to perform desired observation and treatment.
  • the observation condition determination unit 13 has a plurality of first observation conditions when a plurality of different first observation conditions in the first image 21 are set. It is preferable to determine a plurality of second observation conditions respectively corresponding to.
  • the second embodiment will be described.
  • the observation condition determination unit 13 sets a plurality of second observation conditions corresponding to the plurality of first observation conditions.
  • the image generation unit 14 generates a plurality of first observation images 31 corresponding to the plurality of first observation conditions and a plurality of second observation images 32 respectively corresponding to the plurality of second observation conditions, and an output unit 15 is output to the display device 3, and the display device 3 displays the plurality of first observation images 31 and the plurality of second observation images 32.
  • the basic functions and configurations of the respective parts of the image processing apparatus 1 are common, and the flow of image processing shown in FIG. 5 is also common.
  • the acquisition processing (S1 shown in FIG. 5) and the deformation information acquisition processing (S2 shown in FIG. 5) of the first image 21 and the second image 22 are common to the first embodiment.
  • the observation condition determination unit 13 in the second embodiment acquires a plurality of first observation conditions in accordance with a user input as in the first embodiment.
  • the observation condition determination unit 13 in the second embodiment acquires a plurality of first observation conditions, and for each first observation condition, as in the first embodiment.
  • the second observation condition corresponding to is determined.
  • FIG. 4 shows an example in which two different first observation conditions are set.
  • M1 represents a virtual endoscope apparatus and M2 represents another treatment tool such as a scalpel.
  • the observation condition determination part 13 will be 2nd based on 1st insertion position QA1 and 1st front- end
  • the second insertion position Q A2 and the second tip position P A2 in the image 22 are determined, and the first insertion position Q B1 and the first tip position P B1 are also the same as in the first embodiment. Based on the first insertion position Q B1 and the first tip position P B1 in the image 21, the second insertion position Q B2 and the second tip position P B2 in the second image 22 are determined.
  • the observation condition determination unit 13 the second identifies the insertion position Q B2 of the second image 22 corresponding to the first insertion position Q B1, law body S at the first insertion position Q B1 obtaining a line vector T B1 a normal vector T B2 of the body S in the second insertion position Q B2. Then, the angle ⁇ B2 formed between the second insertion vector V B2 and the normal vector T B2 in the second image 22 is the angle ⁇ formed between the first insertion vector V B1 and the normal vector T B1 in the first image 21.
  • the second insertion vector V B2 is determined so as to be equal to B1 .
  • a position separated from the second insertion position Q B2 by the distance D B1 between the first insertion position Q B1 and the first tip position P B1 in the direction of the second insertion vector V B2 is the second tip position.
  • the observation condition determination unit 13 determines that the relative relationship between the first insertion vector V A1 and the first shooting direction is the second insertion vector V A2 relative to the second insertion vector V A2 .
  • the second shooting direction is determined so as to be equal to the relative relationship with the shooting direction.
  • the observation condition determination unit 13 similarly determines the corresponding second observation condition even when a further first observation condition exists.
  • the image generation unit 14 in the second embodiment generates a plurality of first observation images respectively corresponding to the plurality of first observation conditions from the first image 21 in the process of S5 illustrated in FIG.
  • the image generation unit 14 according to the second embodiment has a plurality of second observation images (an image generated from the second image 22 or a modified second image) respectively corresponding to a plurality of second observation conditions. Each image generated from one image 21A is generated.
  • the output unit 15 outputs the second observation images corresponding to the plurality of generated second observation conditions to the display device 3 and displays them on the display screen.
  • the image generation unit 14 and the output unit may perform image generation processing and image output processing for all of the plurality of first observation images 31 and the plurality of second observation images 32. Only a part of the plurality of second observation images 32 may be subjected to image generation processing and image output processing.
  • the determination unit 16 in the second embodiment individually connects line segments from the second insertion position to the second tip position with respect to a plurality of second observation conditions ( It is determined whether or not the determination target line segment is within a predetermined distance from the anatomical structure included in the subject. 5 (S8 shown in FIG. 5), and a warning is displayed by identifying and displaying the adjacent portions in different colors (S9 shown in FIG. 5). In this case, it is possible to easily and efficiently grasp whether the surgical instruments to be inserted at the plurality of insertion positions are appropriately spaced from the organs. Note that the determination unit 16 may display a warning only for a part of the plurality of determination target line segments, or may not display the warning.
  • the plurality of second observation images respectively corresponding to the plurality of generated second observation conditions are output to the display device 3 and displayed on the display screen.
  • the plurality of insertion positions corresponding to the plurality of medical instruments having the rigid insertion portion, and the insertion depths and insertion directions from the insertion positions are appropriate. It is possible to easily and efficiently grasp whether it is set.
  • a rigid endoscope is used for observing a plurality of treatment sections or observing one treatment section from a plurality of angles by a rigid endoscope apparatus according to the purpose and method of the operation. In some cases, the treatment device is observed by replacing the mirror device with a plurality of insertion openings.
  • the plurality of insertion positions of the rigid endoscope apparatus and the insertion depth and the insertion direction from the insertion position are associated with each of the plurality of insertion openings.
  • the distance to the treatment target, the observation range, and the like can be confirmed.
  • the image generation unit 14 also includes, from the second image 22 or the modified first image 21A, a plurality of second insertion positions and a plurality of second second positions respectively corresponding to the plurality of second observation conditions.
  • Another pseudo three-dimensional image representing the subject so that the tip position can be visually recognized may be further generated, and the output unit 15 may output the generated pseudo three-dimensional image to the display device 3 to display on the display screen.
  • the doctors represent a pseudo 3 representing the subject so that the plurality of second insertion positions and the plurality of second tip positions respectively corresponding to the plurality of second observation conditions can be visually recognized.
  • the relative arrangement of the surgical instrument having the rigid insertion portion corresponding to each of the plurality of second observation conditions and the deformation state inside the subject in the phase corresponding to the second image 22 is facilitated. It is possible to grasp information that is effective for easily and efficiently determining whether or not a plurality of insertion positions and insertion depths and insertion directions from the insertion positions are arranged at appropriate positions and orientations.
  • the number of images input to the image processing apparatus 1 is not limited to two, and three or more images may be input to the image processing apparatus 1.
  • the image acquisition unit 11 acquires the first to third images
  • the deformation information acquisition unit 12 receives the first image and the second image.
  • alignment may be performed with the first image and the third image.
  • the observation condition determination unit 13 determines the second observation condition (second corresponding to the first tip position) corresponding to the first observation condition set in the first image in both the second image and the third image.
  • the image generation unit 14 may generate a second observation image based on the second observation condition from the second image, and generate a third observation image based on the third observation condition from the third image. Further, the output unit 15 may output the second observation image and the third observation image to the display device 3. In addition, the determination unit 16 determines the second tip position based on the second observation condition (the second tip position corresponding to the first tip position, the second insertion position corresponding to the first insertion position).
  • the determination target line segment connecting the second insertion positions is equal to or less than a predetermined threshold with the anatomical structure of the subject, and a third observation condition (third corresponding to the first tip position). And the third anatomical structure of the subject with respect to the determination target line segment connecting the third tip position and the third insertion position based on the tip position of the subject and the third insertion position corresponding to the first insertion position). What is necessary is just to determine whether it is below a predetermined threshold value.
  • the order of the deformation information acquisition process (S2) and the first observation condition acquisition process (S3) may be switched.
  • the processing of S8 and S9 may be omitted, and the image processing apparatus 1 may not include the determination unit 16.
  • the first observation image generation process (S5) may be performed at any timing after the first observation condition acquisition process (S3) and before the first observation image display process (S7).
  • the generation process (S5) and the display process of the first observation image may be omitted.
  • the present invention has been described based on the preferred embodiments.
  • the image processing apparatus, method, and program of the present invention are not limited to the above embodiments, and various configurations are possible from the configuration of the above embodiments. Modifications and changes are also included in the scope of the present invention.

Abstract

　互いに異なるフェーズの被検体を表す第１画像(２１)と第２画像(２２)を用い、第１画像(２１)の第１挿入位置(ＱＡ１)と第１先端位置(ＰＡ１)と第１画像(２１)を第２画像(２２)に位置合せするように変形する変形情報に基づいて、第１挿入位置(ＱＡ１)に対応する第２画像(２２)の第２挿入位置(ＱＡ２)を特定し、第１挿入位置(ＱＡ１)から第１先端位置(ＰＡ１)に向かう第１挿入向き(ＶＡ１)に対応する向きが第２挿入位置(ＱＡ２)から第２先端位置(ＰＡ２)に向かう第２挿入向き(ＶＡ２)となるように第２先端位置(ＰＡ２)を特定し、第２の先端位置(ＰＡ２)を視点として第２画像(２１)の対応フェーズの被検体内部を可視化した第２観察画像(３２)を生成することで、仮想的な硬性手術器具による異なるフェーズの観察画像を生成する。

Description

画像処理装置、方法、及びプログラム
　本発明は、画像処理装置、方法、及びプログラムに関し、更に詳しくは、被検体の内部を示す３次元画像データから被検体内部を可視化した観察画像を生成する画像処理装置、方法、及びプログラムに関する。
　近年、ＭＤＣＴ（Multi Detector-row Computed Tomography）等の撮影装置（モダリティ）の進歩により、質の高い３次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細な断面画像が用いられるだけでなく、被検体の仮想的・疑似的な３次元画像も用いられるようになっている。
　上記のような技術の進歩によって、がんなどの腫瘍の多くが初期段階などの比較的早期において発見されるようになってきている。比較的早期におけるがんは、がんのサイズが小さく、転移のリスクが低いため、がんの根治に必要十分な領域を除去する縮小手術による治療が積極的に採用されている。縮小手術の１つである内視鏡下手術は、体への負担が小さいが、内視鏡下の限られた視野内で、周辺の臓器や血管を傷つけないように所望の処置を実施することは技術的難易度が高い。このような内視鏡下手術を支援するために、画像認識技術を用いて３次元画像データから臓器などを抽出し、臓器が識別された３次元画像から仮想的・疑似的な３次元画像を生成して表示する技術が提案され、手術前のプランニング、シミュレーションや手術中のナビゲーションのために利用されている。
　特許文献１には、仰臥位と腹臥位など被検体を姿勢の異なる状態で撮影した２つの３次元画像を取得し、２つの３次元画像のうちの一方の画像から、任意の視点で仮想内視鏡画像を生成し、他方の画像から、一方の画像に対して設定した視点に対応する点を視点とする仮想内視鏡画像を生成し、生成した２つの画像を表示画面上に同時に表示する技術が開示されている。特許文献２には、左側臥位の被検体を撮影した超音波内視鏡画像と被検体を仰臥位で撮影した３次元画像を取得し、取得した３次元画像の臓器を被検体が左側臥位である場合の臓器となるように３次元画像を補正し、補正した３次元画像から超音波内視鏡画像と対応する位置および向きの断面の画像を生成して表示する技術が開示されている。また、特許文献３には、超音波画像と、超音波画像と位置合わせされるように変形したＭＲ画像（Magnetic Resonance Image）の対応する断面の画像とを比較可能に表示する技術が開示されている。
特開２０１２－１８７１６１号公報 特開２００８－００５９２３号公報 特開２０１３－０００３９８号公報
　一方で、特許文献１乃至２に示されるような、体腔内の湾曲した経路を通過して観察対象を撮影するために、被検体に挿入される挿入部が柔軟性を有する構成とされた軟性内視鏡とは異なり、被検体に挿入される細長形状の硬性挿入部を有する硬性内視鏡装置などの医療器具においては、被検体への挿入口から内視鏡装置の先端部に向かって、柔軟性のない（曲がらない）細長形状の硬性挿入部が配置されるため、挿入口からアクセス可能な挿入向きは限定されたものとなる。このため、硬性内視鏡装置を用いた手術において、被検体内部の観察または処置のために、内視鏡装置の先端位置や姿勢（向き）を決定する際に、硬性内視鏡装置などの医療器具の挿入口からの挿入向きなど挿入口と先端位置との相対的な関係も適切に決定される必要がある。
　また、手術中など、被検体内部に内視鏡装置などの硬性の医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合がある。この場合には、同一の被検体を表す３次元画像の異なるフェーズにおいて、所望の処置部に対して適切な位置および距離に内視鏡装置の先端位置と挿入向きが設定されているかそれぞれ確認することが好ましいと考えられる。このため、１つのフェーズの３次元画像において、設定された仮想内視鏡装置の視点と撮影向きに基づいて生成される仮想内視鏡画像などの観察画像を生成表示するだけでなく、他のフェーズの３次元画像においても、対応する挿入口から挿入された仮想内視鏡装置の視点と撮影向きに基づいて仮想内視鏡画像などの観察画像を生成表示して、双方の観察画像に所望の処置部に対して適切な位置および距離に内視鏡装置の先端位置と挿入向きが設定されているか確認することが好ましい。
　しかしながら、特許文献１乃至３に示される技術によれば、２つの３次元画像から互いに対応する位置を視点とした２つの仮想内視鏡画像をそれぞれ生成できるが、各生成された仮想内視鏡画像は、仮想的な内視鏡装置として硬性内視鏡装置を用いた場合に、挿入口と先端位置の相対的な関係を対応させているものではない。
　本発明は、上記に鑑み、互いに異なるフェーズにおける被検体の内部をそれぞれ表す３次元画像において、１つのフェーズに対応する３次元画像に設定された仮想内視鏡装置の視点および撮影向きに基づいて、１つのフェーズにおける第１観察画像を生成し、異なるフェーズに対応する３次元画像において、仮想内視鏡装置などの硬性挿入部を有する医療器具が被検体に挿入される挿入口と先端位置との相対的な関係を対応させて、異なるフェーズにおける観察画像を生成する画像処理装置、方法、及びプログラムを提供することを目的とする。
　上記課題を解決するために、本発明に係る画像処理装置は、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得部と、第１画像と第２画像の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得する変形情報取得部と、第１画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、第１観察条件と変形情報に基づいて、第２画像における第１の挿入位置に対応する位置である第２の挿入位置を特定し、第１の挿入位置から第１の先端位置に向かう第１の挿入向きに対応する向きが、第２の挿入位置から第２画像において手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定する観察条件決定部と、第２観察条件に基づいて、第１画像を変形情報に基づいて変形した変形第１画像または第２画像から、第２の先端位置を視点とし、第２の先端位置から被検体の内部を可視化した第２観察画像を生成する画像生成部とを備えたことを特徴とする。
　また、本発明に係る画像処理装置の作動方法は、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得ステップと、第１画像と第２画像の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得する変形情報取得ステップと、第１画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、第１観察条件と変形情報に基づいて、第２画像における第１の挿入位置に対応する位置である第２の挿入位置を特定し、第１の挿入位置から第１の先端位置に向かう第１の挿入向きに対応する向きが、第２の挿入位置から第２画像において手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定する観察条件決定ステップと、第２観察条件に基づいて、第１画像を変形情報に基づいて変形した変形第１画像または第２画像から、第２の先端位置を視点とし、第２の先端位置から被検体の内部を可視化した第２観察画像を生成する画像生成ステップを有することを特徴とする。
　また、本発明に係る画像処理プログラムは、上記方法をコンピュータに実行させることを特徴とするものである。
　上記「互いに異なるフェーズにおける被検体の内部をそれぞれ表す第１画像と第２画像」とは、被検体内部の変形状態が互いに異なっている画像であればよいものである。例えば、第１画像と第２画像が、呼気フェーズと吸気フェーズにおける被検体をそれぞれ表すものであってもよく、また、第１画像と第２画像が、互いに異なる心臓の拍動フェーズにおける被検体をそれぞれ表すものでもよい。さらに、第１画像と第２画像が、互いに異なる姿勢における被検体の内部を表すものでもよい。
　上記「被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具」とは、例えば、硬性の細長い筒形状の本体部の先端にカメラが配設された硬性内視鏡装置や、硬性の細長い筒形状の本体部の先端にメスやニードルなど処置具が配設された硬性処置具などが考えられる。なお、硬性挿入部は、曲がらない構成とされた本体部分の先端に柔軟な部分を備えているものも含む。
　また、「手術器具の先端部」は、被検体内部に挿入される硬性挿入部に、所望の観察や処置を行うためのカメラや処置具が配設された部分を意味し、必ずしも手術器具の先端でなくてもよい。
　本発明にかかる画像処理装置において、手術器具は内視鏡装置であり、観察条件決定部は、第１画像における第１の挿入向きと内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係と、第２画像における第２の挿入向きと内視鏡装置の撮影向きである第２の撮影向きとの相対的な関係が等しくなるように第２の撮影向きを特定し、画像生成部は、第２の先端位置から、第２の撮影向きに被検体の内部を可視化することにより第２観察画像を生成することが好ましい。
　また、本発明にかかる画像処理装置において、観察条件決定部は、第１の挿入位置と第１の先端位置との間の距離が第２の挿入位置と第２の先端位置との間の距離と等しくなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定してもよい。あるいは、観察条件決定部は、第１の先端位置と対応する第２画像の位置を第２の先端位置として特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定してもよい。
　さらに、本発明にかかる画像処理装置において、観察条件決定部は、第１画像に含まれる所定のランドマークの向きと第１の挿入向きとなす角度と、第２画像に含まれる所定のランドマークに対応するランドマークの向きと第２の挿入向きとのなす角度が等しくなるように第２の挿入向きを特定することにより第１の挿入向きに対応する向きが、第２の挿入向きとなるように第２の挿入向きを特定することが好ましい。
　上記「所定のランドマークの向き」とは、３次元画像に含まれる所定のランドマークによって特定される向きであり、例えば、手術器具が挿入される挿入位置における被検体の体表の法線の向きとすることができる。なお、３次元画像に含まれる識別可能な特徴部であれば任意の部分をランドマークとして用いることができる。また、フェーズによってランドマークの向きの変動の少ないランドマークを用いることが好ましい。例えば、背骨をランドマークとすることができ、この場合、第Ｎ番目の椎骨の位置をランドマークとして用いることができる。また、他に脾臓や腎臓などの臓器（の中心座標）をランドマークとしてもよい。また、「ランドマークによって特定される向き」は、ランドマークによって特定される向きであればいかなる向きであってもよい。例えば、ランドマークが平たい形状であれば、平たい形状の法線の向きとすることができる。また、ランドマークが長手形状であれば長手形状の軸の向きとすることができる。さらに、「ランドマークによって特定される向き」は、複数のランドマークによって特定される向きであってもよい。この場合、一方の構造物の中心点などのランドマークから他方の構造物の中心点などのランドマークに向かう向きとすることができる。
　さらに、本発明にかかる画像処理装置において、観察条件決定部は、第１画像から複数の第１観察条件を取得し、複数の第１観察条件と変形情報に基づいて、複数の第１観察条件のそれぞれに対応する複数の第２観察条件を決定することが好ましい。
　さらに、本発明にかかる画像処理装置において、第２の挿入位置から第２の視点を結ぶ線分が第２画像中に含まれる解剖学的構造物と所定距離以下であるか否かを判定する判定部をさらに備えることが好ましい。
　本発明の画像処理装置、方法、及びプログラムでは、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得し、第１画像と第２画像の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得し、第１画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、第１観察条件と変形情報に基づいて、第２画像における第１の挿入位置に対応する位置である第２の挿入位置を特定し、第１の挿入位置から第１の先端位置に向かう第１の挿入向きに対応する向きが、第２の挿入位置から第２画像において手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定する。そして、第２観察条件に基づいて、第１画像を変形情報に基づいて変形した変形第１画像または第２画像から、第２の先端位置を視点とし、第２の先端位置から被検体の内部を可視化した第２観察画像を生成する。
　このため、第１画像とはフェーズの異なる第２画像において、第１画像における仮想的な医療器具の挿入位置（第１の挿入位置）および挿入向き（第１の挿入向き）と、第２画像における仮想的な医療器具の挿入位置（第２の挿入位置）と挿入向き（第２の挿入向き）を対応させて、第２画像における仮想的な医療器具の先端位置（第２の先端位置）を決定して、第２の先端位置を視点として被検体内部を可視化した第２観察画像を生成することができる。このため、手術中など被検体内部に硬性の挿入部を有する医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合であっても、生成された第２観察画像を観察することにより、第２画像に対応するフェーズにおいて被検体内部の処置または観察を実施する際に、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。
本発明の一実施形態に係る画像処理装置を示すブロック図。 第１画像において内視鏡装置の先端位置と挿入向きを設定する画面を例示する図（その１）。 第１画像において内視鏡装置の先端位置と挿入向きを設定する画面を例示する図（その２）。 第２画像における内視鏡装置の挿入位置と挿入向きと先端位置を特定する方法を説明するための図。 本発明の一実施形態に係る画像処理装置の動作手順を示すフローチャート。
　以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の一実施形態に係る画像処理装置１を備えた画像処理ワークステーション１０を示す。
　画像処理ワークステーション１０は、読影者からの要求に応じて、不図示のモダリティや画像保管サーバから取得した医用画像データに対して画像処理（画像解析を含む）を行い、生成された画像を表示するコンピュータであり、ＣＰＵ，入出力インターフェース、通信インターフェース、データバス等を内包するコンピュータ本体である画像処理装置１と、入力装置２（マウス、キーボード等）、表示装置３（ディスプレイモニタ）、記憶装置４（主記憶装置、補助記憶装置）等の周知のハードウェア構成を備えている。さらに、画像処理ワークステーション１０は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の画像処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ－ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
　図１に示すように、本実施形態に係る画像処理装置１は、画像取得部１１と、変形情報取得部１２と、観察条件決定部１３と、画像生成部１４と、出力部１５と、判定部１６とを備える。画像処理装置１の各部の機能は、画像処理装置１がＣＤ－ＲＯＭ等の記録媒体からインストールされたプログラム（画像処理アプリケーション）を実行することによって実現される。
　画像取得部１１は、記憶装置４から第１画像２１および第２画像２２を取得する。第１画像２１および第２画像２２は、それぞれＣＴ装置を用いて撮影された、被検体の内部を示す３次元の画像データである。また、画像取得部１１は、第１画像２１と第２画像２２を同時に取得してもよく、第１画像２１と第２画像２２のいずれか一方を取得した後に他方の画像を取得してもよい。
　本実施形態において、第１画像２１と第２画像２２は、同一の被検体（人体）の腹部に対して異なる呼吸フェーズで撮影されたデータである。第１画像２１は呼気で撮影された画像で、第２画像２２は吸気で撮影された画像である。双方の画像は同一人物の体腔内を表すものではあるものの、撮影時に呼吸のフェーズが異なるため、双方の画像の間で臓器形状が変形している。
　なお、本実施形態に限定されず、第１画像２１と第２画像２２とは、同一の被検体の内部を撮影した、被検体内部の変形状態が相互に異なる３次元画像データであればいかなる画像であってもよい。例えば、第２画像２２として、ＣＴ画像、ＭＲ画像、３次元超音波画像、ＰＥＴ（Positron Emission Tomography）画像などを適用可能である。また、断層撮影に使用するモダリティは、ＣＴ、ＭＲＩ、超音波撮影装置等、３次元画像を撮影可能なものであれば何でもよい。また、第１画像２１と第２画像２２との組み合わせとして、種々の組み合わせが考えられる。例えば、第１画像２１と第２画像２２とを、第１画像２１と第２画像２２を異なる撮影体位で撮影されたデータとしてもよい。あるいは、第１画像２１と第２画像２２を、異なる心臓の拍動フェーズにおける被検体をそれぞれ表す複数の画像としてもよい。
　変形情報取得部１２は、第１画像２１と第２画像２２の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得する。
　ここでは、第１画像２１の各画素にそれぞれの変形量を設定し、各変形量を徐々に変化させながら、第１画像２１の各画素を各変形量に基づいて変形した画像と第２画像２２との類似度を表す所定の関数を最大化（最小化）することにより、第１画像２１の各画素と、第１画像２１の各画素に対応する第２画像２２の各画素とを対応付けし、第１画像２１を第２画像２２に位置合わせするための各画素の変形量を取得する。そして、第１画像２１の各画素の変形量を規定する関数を変形情報として取得する。
　なお、非剛体レジストレーション手法とは、一方の画像の各画素を各変形量に基づいて移動させて、２つの画像の類似度を判定する所定の関数を最大化（最小化）することにより、２つの画像を互いに一致させるための上記一方の画像の各画素の変形量を算出する方法である。本実施形態に、２つの画像を互いに位置合わせする非剛体レジストレーション手法であれば、例えば、Rueckert D Sonoda LI，Hayesc，Ｅt al.、「Nonrigid Registration Using Free-Form Deformations：application to breast MR Images」、IEEE transactions on Medical Imaging、1999年、vol.18，No.8，pp.712-721等種々の周知の手法を適用することができる。
　観察条件決定部１３は、第１画像２１から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具である仮想内視鏡装置Ｍ１（仮想的な硬性内視鏡装置）の仮想的な挿入口の中心位置である第１の挿入位置ＱＡ１の座標と、仮想内視鏡装置Ｍ１のカメラが配設された位置である第１の先端位置ＰＡ１の座標と、第１の挿入位置ＱＡ１から第１の先端位置ＰＡ１に向かう向きである第１の挿入向き（第１の挿入ベクトルＶＡ１）と、第１の挿入ベクトルＶＡ１に対する相対的なカメラ姿勢である第１の撮影向きとを第１観察条件として取得する。
　図２、３は、第１画像２１において仮想内視鏡装置Ｍ１の挿入位置ＱＡ１と先端位置ＰＡ１を設定する画面を例示する図である。
　図２、３に示すように、ユーザの第１画像２１からのボリュームレンダリング法などの擬似３次元画像の生成指示と表示指示をマウスなどの入力装置２によって受け付けると、画像生成部１４は生成指示に応じた画像を第１画像２１から生成し、出力部１５は第１画像２１から生成された画像を所望の表示パラメータに従って表示画面に表示する。図２の３１Ａは、被検体の体表Ｓを可視化するように表示パラメータを設定して被検体を擬似３次元表示した例であり、図３の３１Ｂは、被検体の体表を透明にし、被検体内部を可視化するように表示パラメータを設定して被検体を擬似３次元表示した例である。また、図３には、図３の３１Ｂに示すように配置された仮想内視鏡装置Ｍ１の先端位置ＰＡ１をカメラ位置（仮想内視鏡画像の視点）とし、設定された仮想内視鏡装置Ｍ１のカメラ姿勢（撮影向き）に基づいて被検体内部を可視化するように生成された仮想内視鏡である第１観察画像３１を示す。
　入力装置２は、表示画面上におけるユーザ入力に基づいて、第１画像２１における仮想内視鏡装置Ｍ１のカメラ位置と、第１画像２１における仮想内視鏡装置Ｍ１のカメラ姿勢とを受け付ける。すると、入力装置２の受け付けた情報に基づいて、観察条件決定部１３は、仮想内視鏡装置Ｍ１のカメラ位置を第１の先端位置ＰＡ１として取得し、仮想内視鏡装置Ｍ１のカメラ姿勢を硬性内視鏡装置が被検体内部に挿入される向きである第１の挿入向き（第１の挿入ベクトルＶＡ１）として取得する。そして、観察条件決定部１３は、第１の挿入ベクトルＶＡ１に平行であり、第１の先端位置ＰＡ１を通る直線が被検体の体表Ｓと交わる交点を、仮想内視鏡装置Ｍ１が被検体内部に挿入される第１の挿入位置ＱＡ１の座標として取得する。また、観察条件決定部１３は、第１の先端位置ＰＡ１と第１の挿入位置ＱＡ１との距離ＤＡ１を算出する。
　本実施形態における仮想内視鏡装置Ｍ１においては、第１の挿入ベクトルＶＡ１は仮想内視鏡装置Ｍ１のカメラの光軸と平行であり、第１の挿入ベクトルＶＡ１を仮想内視鏡装置Ｍ１のカメラ姿勢（第１の撮影向き）とみなすことができるものとする。また、第１観察条件において、仮想内視鏡装置Ｍ１の画角や焦点距離などに応じて、３次元画像から観察画像を生成するためのその他の必要なパラメータが予め設定されており、第１の挿入向きに対する第１の撮影向きの相対的な角度も予め設定されているものとする。
　なお、観察条件決定部１３は、第１観察条件を取得可能な任意の手法を用いてよい。例えば、第１の観察条件は、上記の例のようにユーザのマニュアル入力により設定された第１観察条件を取得してもよく、第１画像２１の処置対象領域を取得して解析し該処置対象領域を撮影可能な内視鏡装置の先端位置と挿入口と挿入向きを自動で設定してもよい。
　また、観察条件決定部１３は、第１観察条件を取得すると、第１画像２１を第２画像２２に対応するように変形する変形情報に基づいて、第１の挿入位置ＱＡ１の座標に対応する第２画像２２の座標を第２の挿入位置ＱＡ２の座標として特定する。
　そして、観察条件決定部１３は、第１の挿入位置ＱＡ１から第１の先端位置ＰＡ１に向かう第１の挿入ベクトルＶＡ１に対応する向きが、第２の挿入位置ＱＡ２から第２画像２２において手術器具の先端部が位置する第２の先端位置ＰＡ２に向かう第２の挿入ベクトルＶＡ２となり、第１の挿入位置ＱＡ１と第１の先端位置ＰＡ１との間の距離ＤＡ１が第２の挿入位置ＱＡ２と第２の先端位置ＰＡ２との間の距離ＤＡ２と等しくなるように、第２の先端位置ＰＡ２を特定して、第２の挿入位置ＱＡ２と第２の先端位置ＰＡ２を第２観察条件として決定する。
　また、観察条件決定部１３は、第１の挿入向きと内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係を特定し、第２画像２２において、第２の挿入向きと内視鏡装置の撮影向きである第２の撮影向きとの相対的な関係が、第１の挿入向きと内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係と等しくなるように第２の撮影向きを特定する。ここでは、第１の挿入ベクトルＶＡ１は仮想内視鏡装置Ｍ１のカメラの光軸と平行であり、第１の挿入ベクトルＶＡ１を仮想内視鏡装置Ｍ１のカメラ姿勢（第１の撮影向き）とみなしているため、これに対応させて、観察条件決定部１３は、第２の挿入ベクトルＶＡ２を、仮想内視鏡装置Ｍ１のカメラ姿勢（第２の撮影向き）として決定する。なお、観察条件決定部１３は、カメラ姿勢が仮想内視鏡装置Ｍ１の硬性挿入部の軸方向（長手方向）に対して４５度や９０度など所定角度をなすように配設されている場合には、例えば、第１画像２１において、第１の挿入ベクトルＶＡ１と内視鏡装置の撮影向きである第１の撮影ベクトル（第１の撮影向き）との角度を取得し、第２画像において、第２の挿入ベクトルＶＡ２と第２の撮影ベクトル（第２の撮影向き）との角度が、第１の挿入ベクトルＶＡ１と第１の撮影ベクトルとの角度と等しくなるように第２の撮影向きを決定する。
　図４は、第２画像２２における仮想内視鏡装置Ｍ１の挿入位置（第２の挿入位置ＱＡ２）と挿入向き（第２の挿入ベクトルＶＡ２）と先端位置（第２の先端位置ＰＡ２）を特定する方法を説明するための図である。なお、図４は説明のための図であり、各部のサイズ、位置、角度などは実際のものとは異ならせている。観察条件決定部１３は、第１の挿入位置ＱＡ１に対応する第２の挿入位置ＱＡ２を取得すると、第１画像２１から第１の挿入位置ＱＡ１における被検体の体表Ｓの法線ベクトルＴＡ１を取得し、第２画像２２から第２の挿入位置ＱＡ２における被検体の体表Ｓの法線ベクトルＴＡ２を取得する。
　次に、観察条件決定部１３は、第２画像２２における第２の挿入ベクトルＶＡ２と法線ベクトルＴＡ２とのなす角θＡ２が、第１画像２１における第１の挿入ベクトルＶＡ１と法線ベクトルＴＡ１のなす角θＡ１と等しくなるように、第２の挿入ベクトルＶＡ２を決定する。ここでは、観察条件決定部１３は、ＱＡ２からＰＡ２に向かう挿入ベクトルＶＡ２と法線ベクトルＴＡ２との内積が、第１の挿入ベクトルＶＡ１と法線ベクトルＴＡ１との内積と等しくなるように、第２の挿入ベクトルＶＡ２を決定する。
　なお、観察条件決定部１３は、体表Ｓの法線ベクトルに換えて、他の所定のランドマークの向きを示すベクトルを基準として、第１画像２１の他の所定のランドマークの向きに平行なベクトルと第１の挿入ベクトルＶＡ１のなす角が、第２画像２２の他の所定のランドマークに対応する所定のランドマークの向きに平行なベクトルと第２の挿入ベクトルＶＡ２のなす角と等しくなるように第２の挿入ベクトルＶＡ２を決定してもよい。例えば、所定のランドマークとして、フェーズによってランドマークの向きの変動の少ないランドマークを用いることが考えられる。例えば背骨をランドマークとし、第Ｎ番目の椎骨の位置を基準に角度を計算してもよい。他に脾臓や腎臓などの臓器（の中心座標）を基準としてもよい。
　また、上記「所定のランドマークの向きと第１の挿入向きとのなす角度」とは、所定のランドマークの向きと第１の挿入向きとのなす角度のうち小さい方の角度を意味し、「所定のランドマークの向きと第２の挿入向きとのなす角度」とは、所定のランドマークの向きと第２の挿入向きとのなす角度のうち小さい方の角度を意味する。
　そして、観察条件決定部１３は、第２の挿入位置ＱＡ２から、第２の挿入ベクトルＶＡ２の向きに第１の挿入位置ＱＡ１と第１の先端位置ＰＡ１との距離ＤＡ１離間した位置を第２の先端位置ＰＡ２として決定する。以上により、観察条件決定部１３は、図４において、θＡ１＝θＡ２、ＤＡ１＝ＤＡ２となるように第２の先端位置ＰＡ２を決定する。
　そして、観察条件決定部１３は、第２画像２２における第２の先端位置ＰＡ２と第２の挿入位置ＱＡ２と第２の挿入ベクトルＶＡ２と第２の撮影向きを第２観察条件として決定する。また、第２観察条件においても、第１観察条件と同様に、仮想内視鏡装置Ｍ１の画角や焦点距離などに応じて、３次元画像から観察画像を生成するためのその他の必要なパラメータが予め設定されているものとする。
　また、観察条件決定部１３は、第１の挿入向きＶＡ１と対応する向きを第２の挿入向きＶＡ２として決定する方法として、第１画像における仮想内視鏡装置の先端位置を第２画像における座標に変換し、第２画像における挿入位置から変換後の先端位置に向かうベクトルと一致するようにしてもよい。この場合には、観察条件決定部１３は、変形情報に基づいて、第１の挿入位置ＱＡ１に対応する位置を第２の挿入位置ＱＡ２として取得し、第１の先端位置ＰＡ１に対応する位置を第２の先端位置ＰＡ２として取得し、第２の挿入位置ＱＡ２から第２の先端位置ＰＡ２に向かう向きを第２の挿入ベクトルＶＡ２として決定すればよい。また、同様に、第１画像における仮想内視鏡装置の重心位置を第２画像における座標に変換し、第２画像における挿入位置から変換後の先端位置に向かうベクトルとしてもよい。これらの場合、この第２観察条件に基づいて、被検体内部を可視化した仮想内視鏡画像である第２観察画像３２を生成・表示することにより、第１の挿入位置ＱＡ１から第１の先端位置ＰＡ１（または仮想内視鏡装置の重心位置）に向かう第１の挿入向きＶＡ１と、第２の挿入位置ＱＡ２から第２の先端位置ＰＡ２（または仮想内視鏡装置の重心位置）に向かう第２の挿入向きＶＡ２とを対応させて、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。
　画像生成部１４は、第１画像２１から、第１観察条件に基づいて、被検体の体腔内部を可視化した仮想内視鏡画像である第１観察画像３１を生成し、第２画像２２から、第２観察条件に基づいて、被検体内部を可視化した仮想内視鏡画像である第２観察画像３２を生成する。第１観察条件と第２観察条件は、仮想内視鏡装置Ｍ１の挿入位置ＱＡ１、ＱＡ２、各挿入位置ＱＡ１、ＱＡ２からの挿入深さＤＡ１、ＤＡ２、各挿入位置ＱＡ１、ＱＡ２からの挿入向きＶＡ１、ＶＡ２、各挿入向きＶＡ１、ＶＡ２に対する相対的な撮影向きがそれぞれ互いに対応するものとされている。このため、第１観察画像３１と第２観察画像３２は、仮想内視鏡装置Ｍ１の挿入位置ＱＡ１、ＱＡ２、各挿入位置ＱＡ１、ＱＡ２からの挿入深さＤＡ１、ＤＡ２、各挿入位置ＱＡ１、ＱＡ２からの挿入向きＶＡ１、ＶＡ２を互いに対応させて、第１画像２１の対応フェーズにおける被検体内部と、第２画像２２の対応フェーズにおける被検体内部とを略同じ構図で示すものとなり、画像中の臓器の形状が第１画像２１と第２画像２２のそれぞれの対応フェーズに応じた変形状態となって示された画像となる。画像生成部１４は、また、本実施形態の画像処理の過程で必要に応じて、第１の画像２１または第２画像２２からボリュームレンダリング画像などの所望の画像を生成する。
　また、画像生成部１４は、変形情報に基づいて第１画像２１を変形した変形第１画像２１Ａを取得し、第２観察条件に基づいて、変形第１画像２１Ａにおける第２の先端位置ＰＡ２を視点とし、第２の撮影向きをカメラ姿勢として被検体の内部を可視化した第２観察画像３２を生成してもよい。なお、第２画像２２と、変形した変形第１画像２１Ａとは、対応する画素が同じ位置に配置されているため、第２観察条件に基づいて変形第１画像２１Ａから生成した観察画像は、第２観察条件に基づいて第２画像２２から生成した観察画像３２と、同形状の被検体内部を同じ構図で示すものとなる。このため、第２画像２２と変形第１画像２１Ａのいずれから生成された観察画像においても、挿入位置、先端位置、臓器形状等の相対的な位置関係は同じものとなり、第２画像２２の対応フェーズにおける被検体内部や仮想的な内視鏡画像の挿入位置、先端位置などを確認するために用いることができる。
　出力部１５は、画像生成部１４が生成した画像を表示装置３へ出力する。表示装置３は、出力部１５の要求に応じて、表示画面上に、第１観察画像３１および第２観察画像３２を表示する。出力部１５は、第１観察画像３１および第２観察画像３２を同時に出力し、表示装置３の表示画面上に、第１観察画像３１および第２観察画像３２を並列表示させてもよい。あるいは出力部１５は、第１観察画像３１および第２観察画像３２を選択的に出力し、表示装置３の表示画面上に第１観察画像３１および第２観察画像３２を切り替えて表示させてもよい。また、出力部１５は、本実施形態の画像処理の過程で必要に応じて、表示画面への所望の情報の表示を表示装置３に指示する。
　判定部１６は、第２画像２２から任意の方法により抽出された所定の解剖学的構造物（例えば血管、骨、肺などの臓器）を取得し、第２の挿入位置ＱＡ２と第２の先端位置ＰＡ２とを結ぶ線分（判定対象線分）が、第２画像２２中に含まれる解剖学的構造物と許容できない距離以下に近接しているか否かを判定する。ここでは、判定部１６は、判定対象線分と第２画像２２における解剖学的構造物との重複部分を、被検体内部の解剖学的構造物と所定の許容距離以下に近接している近接部分として抽出する。判定対象線分と第２画像２２における解剖学的構造物が重複していない場合には、近接部分が存在しないものとして判定される。なお、第２の挿入位置ＱＡ２と第２の先端位置ＰＡ２とを結ぶ線分は、仮想内視鏡装置Ｍ１や仮想的な硬性処置具Ｍ２などの医療器具の硬性挿入部が配置される位置を示している。硬性挿入部は、被検体内部の安全性の確保のため、処置対象でない血管などの解剖学的構造物とは離間して配置される必要があり、手術シミュレーションにおいて、硬性挿入部が配置される位置を示す判定対象線分が解剖学的構造物と許容できない距離以下とならないように確認することが好ましい。
　なお、判定対象線分が第２画像２２中に含まれる解剖学的構造物と近接している所定距離以下であるか否かを判定可能であれば、任意の判定法を適用可能である。例えば、判定対象線分上に位置する画素ごとに、臓器中に位置する各画素との距離のうち最短距離を算出し、算出された最短距離が所定の閾値以下である場合に、その画素を近接画素と判定し、判定された近接画素からなる判定対象線分上の部分を近接部分として抽出して近接部分の有無を判定してもよい。
　また、判定部１６は、判定対象線分が近接部分を有すると判定した場合には、出力部１５に警告表示の出力を指示する。出力部１５は、判定部１６から警告表示の出力指示を受けると、判定部１６から近接部分を特定する情報を取得し、警告表示の指示と警告表示に必要な情報を表示装置３に出力する。すると表示装置３は、出力部１５から近接部分を取得し、所定の警告形式に従って近接部分を色分けして識別表示することにより警告表示を行う。
　また、判定部１６は、近接部分の識別表示のために矢印などの指標や太線表示など任意の手法を適用可能である。また、判定部１６は、近接部分の識別表示と合わせて、または、近接部分の識別表示に換えて任意の警告方法を適用可能である。また、例えば、「近接部分有り」など判定対象線分と解剖学的構造物とが所定距離以下である旨をダイアログボックスで表示してもよく、警告を示す指標を示してもよく、任意の警告表示手法を適用してよい。判定部１６は、警告表示と合わせてあるいは警告表示に替えて警告音や音声メッセージなど音声で警告を行ってもよい。また、判定部１６は、近接部分がある場合に自動的に警告表示をさせるようにしてもよく、ユーザからの要求に応じて判定結果を出力するようにしてもよい。
　図５は画像処理装置１の動作手順を示すフローチャートである。画像取得部１１は、第１画像２１および第２画像２２を取得する（ステップＳ１）。第１画像２１および第２画像２２は、呼気フェーズと、吸気フェーズにおける２つの３次元画像データである。
　変形情報取得部１２は、第１画像２１および第２画像２２に対して画像位置合わせを行い、第１画像２１の各画素を第２画像２２の対応する各画素の位置に位置させるように第１画像２１を変形する変形情報を取得する（ステップＳ２）。
　観察条件決定部１３は、第１画像２１に対し、図２、図３に示すように、表示画面からのユーザの位置の入力に基づいて、仮想内視鏡装置Ｍ１の第１の先端位置ＰＡ１と、第１の挿入位置ＱＡ１と第１の挿入位置ＱＡ１から第１の先端位置ＰＡ１に向かう第１の挿入ベクトルＶＡ１と第１の挿入ベクトルＶＡ１に対する第１の撮影向きを第１観察条件として取得する。（ステップＳ３）。
　観察条件決定部１３は、第１画像２１における第１観察条件と変形情報に基づいて、第２画像２２における第１の挿入位置ＱＡ１に対応する位置である第２の挿入位置ＱＡ２を特定する。そして、第１の挿入位置ＱＡ１から第１の先端位置ＰＡ１に向かう第１の挿入ベクトルＶＡ１に対応する向きが、第２の挿入位置ＱＡ２から第２画像２２において手術器具の先端部が位置する第２の先端位置ＰＡ２に向かう第２の挿入ベクトルＶＡ２となり、第１の挿入位置ＱＡ１と第１の先端位置ＰＡ１との間の距離ＤＡ１が第２の挿入位置ＱＡ２と第２の先端位置ＰＡ２との間の距離ＤＡ２と等しくなるように、第２の先端位置ＰＡ２を特定する。そして、図４に示されるように、θＡ１＝θＡ２、ＤＡ１＝ＤＡ２となるように第２の先端位置ＰＡ２が決定される。そして、第２の挿入位置ＱＡ２と、第２の先端位置ＰＡ２と、第２の挿入位置ＱＡ２から第２の先端位置ＰＡ２に向かう第２の挿入ベクトルＶＡ２と、第２の挿入ベクトルＶＡ２に対する第２の撮影向きとを第２観察条件として決定する（ステップＳ４）。
　画像生成部１４は、第１観察条件に基づいて、第１画像２１から第１の先端位置ＰＡ１を視点とし、第１の撮影向きをカメラ姿勢として、第１観察画像３１を生成し（ステップＳ５）、第２観察条件に基づいて、第２画像２２から第２の先端位置ＰＡ２を視点とし、第２の撮影向きをカメラ姿勢として、第２観察画像３２を生成する（ステップＳ６）。
　出力部１５は、例えばステップＳ５で生成された第１観察画像３１と、ステップＳ６で生成された第２観察画像３２とを同時に表示装置３に出力し、第１観察画像３１と第２観察画像３２とを表示面上に同時に表示させる（ステップＳ７）。
　次に、判定部１６は、第２の先端位置ＰＡ２と第２の挿入位置ＱＡ２を結ぶ線分（判定対象線分）が第２画像２２中に含まれる解剖学的構造物と許容できない距離以下に近接しているか近接部分を有するか否かを判定する。そして、近接部分が存在する場合には（ステップＳ８,ＹＥＳ）、警告表示を行うよう出力部１５に指示する。すると、出力部１５が警告表示の指示を表示装置３に出力し、表示装置３が近接部分を色分けして識別表示することにより警告表示を行う（ステップＳ９）。
　本実施形態によれば、第１画像２１とはフェーズの異なる第２画像２２において、第１画像２１における仮想的な医療器具である仮想内視鏡装置Ｍ１の挿入位置（第１の挿入位置ＱＡ１）および挿入向き（第１の挿入向きＶＡ１）と、第２画像における仮想的な医療器具の挿入位置（第２の挿入位置ＱＡ２）と挿入向き（第２の挿入向きＶＡ２）を対応させて、第２画像における仮想的な医療器具の先端位置（第２の先端位置ＰＡ２）を決定して、第２の先端位置ＰＡ２を視点として被検体内部を可視化した第２観察画像３２を生成することができる。このため、第１観察画像３１に示される被検体内部と、第２観察画像３２に示される被検体内部とは、挿入口からの挿入向きと先端位置が互いに対応した構図で示されたものとなり、双方の画像中の臓器の形状は第１画像２１と第２画像２２のそれぞれの対応フェーズに応じた変形状態となっている。
　また、本実施形態のように、第１画像２１とはフェーズの異なる第２画像２２において、第１画像２１における仮想的な医療器具である仮想内視鏡装置Ｍ１の挿入位置（第１の挿入位置ＱＡ１）および挿入向き（第１の挿入向きＶＡ１）および挿入深さ（第１の挿入位置と第１の視点との距離ＤＡ１）と、第２画像における仮想的な医療器具の挿入位置（第２の挿入位置ＱＡ２）と挿入向き（第２の挿入向きＶＡ２）と挿入深さ（第２の挿入位置と第２の視点との距離ＤＡ２）を対応させて、第２画像における仮想的な医療器具の先端位置（第２の先端位置ＰＡ２）を決定して、第２の先端位置ＰＡ２を視点とし、第１の撮影向きに対応する第２の撮影向きに被検体内部を可視化した第２観察画像３２を生成した場合には、第１観察画像３１に示される被検体内部と、第２観察画像３２に示される被検体内部とは、挿入口からの挿入向きと挿入深さと先端位置と撮影向きとが互いに対応した同等の構図で示されたものとなり、双方の画像中の臓器の形状は第１画像２１と第２画像２２のそれぞれの対応フェーズに応じた変形状態となっている。
　従って、本実施形態によれば、手術中など被検体内部に硬性の挿入部を有する医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合であっても、生成された第２観察画像３２をユーザに観察可能とすることにより、第２画像２２に対応するフェーズにおいて被検体内部の処置または観察を実施する際に、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。
　例えば、ユーザは第１観察画像３１と第２観察画像３２を見比べることで、第１画像２１の対応フェーズにおいて設定された仮想内視鏡装置Ｍ１の挿入位置ＱＡ１と挿入ベクトルＶＡ１と挿入深さＤＡ１を維持した場合、第２画像２２の対応フェーズにおいて、被検体内部がフェーズに応じて変形することにより観察画像がどのように変化するかを確認できる。２つの観察画像３１、３２を表示するのに代えて、第１観察画像３１の生成を省略し、第２観察画像３２のみを表示面上に表示してもよい。その場合でも、ユーザは、第２観察画像において、第１画像２１と異なるフェーズにおいて、被検体内部が変形することにより観察画像がどのように変化するかを確認できる。また、互いに異なる呼吸フェーズや拍動フェーズに対応する第１観察画像３１と第２観察画像３２を生成して表示した場合には、手術中などに被検体の呼吸による被検体内部の臓器などの変形が生じても、互いに異なるフェーズの両方で被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。また、第１画像と第２画像が、互いに異なる姿勢における被検体を表している場合にも、互いに異なる姿勢の被検体に対応する第１観察画像３１と第２観察画像３２を生成して表示することによって、姿勢の違いによる被検体内部の臓器などの変形が生じても、互いに異なる姿勢における被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。
　また、上記のように、第１の挿入位置ＱＡ１における第１画像２１の体表Ｓの法線ベクトルＴＡ１と第１の挿入ベクトルＶＡ１とのなす角度が、第２の挿入位置ＱＡ２における第２画像２２の体表Ｓの法線ベクトルＴＡ２と第２の挿入向きＶＡ２とのなす角度と等しくなるように、第２の挿入向きＶＡ２を決定した場合には、異なるフェーズにおいて、仮想内視鏡装置Ｍ１の挿入位置における被検体の体表Ｓに対する挿入角度が同じになるように、第２観察条件を決定することできる。このため、生成された第２観察画像を参考にすることにより、第１画像２１の対応フェーズと第２画像２２の対応フェーズにおいて、被検体の体表Ｓに対する挿入角度を一致させた場合の、体腔内部の様子を観察することができる。
　また、上記のように、第２の先端位置ＰＡ２と第２の挿入位置ＱＡ２を結ぶ線分（仮想内視鏡装置などの医療器具の硬性挿入部に相当する部分）が第２画像２２中に含まれる解剖学的構造物と許容できない距離以下に近接しているか否かを判定する判定部１６を備えた場合には、手術シミュレーションなどにおいて、医療器具の硬性挿入部の配置や挿入経路が適切であるかを判断する有用な情報を提供することができる。また、出力部１５が、近接部が存在する場合に、警告表示や警告音などの警告を出力することにより、ユーザに適切に注意を喚起することができる。また、近接部分を識別表示した場合には、より容易かつ正確にユーザに近接部分の存在と位置を把握させることができる。
　また、複数の医療器具を用いる内視鏡下手術において、硬性内視鏡装置で処置部を観察しつつ、メスやニードルなどの硬性処置具を用いて所望の処置を実施する場合もある。このような場合には、硬性内視鏡装置と硬性処置具のそれぞれに挿入口を設け、それぞれの挿入口から所望の手術器具を適切な位置まで挿入して所望の観察および処置が実施される。このため、上記第１の実施形態を変形した第２実施形態として、観察条件決定部１３は第１画像２１におけるそれぞれ異なる複数の第１観察条件が設定されている場合、複数の第１観察条件に対応する複数の第２観察条件をそれぞれ決定することが好ましい。以下、第２の実施形態について説明する。
　また、第２実施形態において、観察条件決定部１３は第１画像２１におけるそれぞれ異なる複数の第１観察条件が設定されている場合、複数の第１観察条件に対応する複数の第２観察条件をそれぞれ決定し、画像生成部１４が複数の第１観察条件にそれぞれ対応する複数の第１観察画像３１と複数の第２観察条件にそれぞれ対応する複数の第２観察画像３２を生成し、出力部１５が生成された複数の第１観察画像３１と複数の第２観察画像３２を表示装置３に出力し、表示装置３が複数の第１観察画像３１と複数の第２観察画像３２を表示する点において第１の実施形態と相違する。またこれらの相違点以外は、画像処理装置１の各部の基本的な機能や構成は共通しており、図５に示す画像処理の流れも共通しているため、図５を用いて第２実施形態の処理の流れを説明し、第２実施形態と第１実施形態の各部の共通の構成、機能、処理については説明を省略し、第２実施形態と第１実施形態の相違部分を中心に説明する。
　第２実施形態において、第１画像２１と第２画像２２の取得処理（図５に示すＳ１）と変形情報取得処理（図５に示すＳ２）は第１の実施形態と共通する。図５に示すＳ３の処理について、第２の実施形態における観察条件決定部１３は、第１の実施形態と同様にユーザ入力に応じて複数の第１観察条件を取得する。
　図５に示すＳ４の処理について、第２の実施形態における観察条件決定部１３は、複数の第１の観察条件を取得し、第１の実施形態と同様に、それぞれの第１の観察条件ごとに対応する第２の観察条件を決定する。図４に互いに異なる２つの第１観察条件が設定されている例を示す。例えば、Ｍ１が仮想内視鏡装置を示し、Ｍ２がメスなどの他の処置具を示すものと考えることができる。図４を用いて説明すると、観察条件決定部１３は、第１の実施形態と同様に、第１画像２１における第１の挿入位置ＱＡ１、第１の先端位置ＰＡ１に基づいて、第２画像２２における第２の挿入位置ＱＡ２と第２先端位置ＰＡ２を決定し、第１の挿入位置ＱＢ１と第１の先端位置ＰＢ１についても、第１の実施形態と同様に、第１画像２１における第１の挿入位置ＱＢ１、第１の先端位置ＰＢ１に基づいて、第２画像２２における第２の挿入位置ＱＢ２と第２先端位置ＰＢ２を決定する。
　詳細には、観察条件決定部１３は、第１の挿入位置ＱＢ１に対応する第２画像２２の第２の挿入位置ＱＢ２を特定し、第１の挿入位置ＱＢ１における体表Ｓの法線ベクトルＴＢ１と第２の挿入位置ＱＢ２における体表Ｓの法線ベクトルＴＢ２を取得する。そして、第２画像２２における第２の挿入ベクトルＶＢ２と法線ベクトルＴＢ２とのなす角θＢ２が、第１画像２１における第１の挿入ベクトルＶＢ１と法線ベクトルＴＢ１のなす角θＢ１と等しくなるように、第２の挿入ベクトルＶＢ２を決定する。そして、第２の挿入位置ＱＢ２から、第２の挿入ベクトルＶＢ２の向きに第１の挿入位置ＱＢ１と第１の先端位置ＰＢ１との距離ＤＢ１離間した位置を第２の先端位置ＰＢ２として決定する。また、観察条件決定部１３は、第１の実施形態と同様に、第１の挿入ベクトルＶＡ１に対する第１の撮影向きとの相対的な関係が、第２の挿入ベクトルＶＡ２に対する第２の撮影向きとの相対的な関係と等しくなるように、第２の撮影向きを決定する。以上により、観察条件決定部１３は、図４において、θＢ１＝θＢ２、ＤＢ１＝ＤＢ２となるように第２の先端位置ＰＢ２を決定する。観察条件決定部１３は、さらなる第１観察条件が存在する場合にも、同様に対応する第２観察条件を決定する。
　図５に示すＳ５の処理について、第２の実施形態における画像生成部１４は、複数の第１観察条件にそれぞれ対応する複数の第１観察画像を第１画像２１からそれぞれ生成する。図５に示すＳ６の処理について、第２の実施形態における画像生成部１４は、複数の第２観察条件にそれぞれ対応する複数の第２観察画像（第２画像２２から生成された画像または変形第１画像２１Ａから生成された画像）をそれぞれ生成する。そして、図５に示すＳ７の処理について、出力部１５は、生成された複数の第２観察条件に対応する第２観察画像をそれぞれ表示装置３に出力して表示画面に表示させる。なお、画像生成部１４と出力部は、複数の第１観察画像３１と複数の第２観察画像３２の全てについて画像生成処理と画像出力処理を行ってもよく、複数の第１観察画像３１と複数の第２観察画像３２の一部についてのみ画像生成処理と画像出力処理を行ってもよい。
　図５に示すＳ８、Ｓ９の処理について、第２の実施形態における判定部１６は、複数の第２観察条件に対して個々に第２の挿入位置から第２の先端位置までを結ぶ線分（判定対象線分）が被検体内に含まれる解剖学的構造物と所定距離以下であるかを判定して、複数の判定対象線分のうち近接部分が存在するものがある場合には（図５に示すＳ８、ＹＥＳ）、近接部分をそれぞれ色分けして識別表示することにより警告表示する（図５に示すＳ９）。この場合には、複数の挿入位置のそれぞれ挿入される手術器具がそれぞれ臓器に対して適切に離間して配置されているかを容易かつ効率良く把握することができる。なお、判定部１６は、複数の判定対象線分のうちの一部についてのみ警告表示をするようにしてもよく、警告表示を行わなくてもよい。
　第２の実施形態のように、生成された複数の第２観察条件にそれぞれ対応する複数の第２観察画像をそれぞれ表示装置３に出力して表示画面に表示させることにより、第１画像２１と第２画像２２にフェーズに応じた被検体内部の変形がある場合にも、硬性挿入部を有する複数の医療器具にそれぞれ対応する複数の挿入位置と挿入位置からの挿入深さや挿入向きが適切に設定されているかを容易かつ効率良く把握することができる。また、内視鏡下手術において、手術の処置目的や処置方法に応じて、硬性内視鏡装置によって複数の処置部の観察または複数の角度から１つの処置部を観察するために、硬性内視鏡装置を複数の挿入口に差し替えて処置部の観察を行う場合がある。このような場合に、複数の第２観察画像を参照することにより、複数の挿入口のそれぞれに対して、硬性内視鏡装置の複数の挿入位置と挿入位置からの挿入深さや挿入向きを対応させて、処置対象に対する距離や観察範囲などを確認することができる。
　また、第２の実施形態において、画像生成部１４は、第２画像２２または変形第１画像２１Ａから、複数の第２観察条件にそれぞれ対応する複数の第２の挿入位置及び複数の第２の先端位置を視認可能に被検体を表した他の擬似３次元画像をさらに生成し、出力部１５は生成された擬似３次元画像を表示装置３に出力して表示画面に表示させてもよい。医師らは、第２画像２２に対応するフェーズにおける、複数の第２観察条件にそれぞれ対応する複数の第２の挿入位置及び複数の第２の先端位置を視認可能に被検体を表した擬似３次元画像を観察することにより、第２画像２２に対応するフェーズにおける被検体内部の変形状態と、複数の第２観察条件にそれぞれ対応する硬性挿入部を有する手術器具の相対的な配置を容易に把握でき、複数の挿入位置と挿入位置からの挿入深さや挿入向きが適切な位置および向きに配置されているかを容易かつ効率良く判断するために有効な情報を得ることができる。
　また、画像処理装置１に入力される画像は２つには限定されず、３以上の画像を画像処理装置１に入力してもよい。例えば３つの画像（第１～第３画像）を画像処理装置１に入力する場合、画像取得部１１は、第１～第３画像を取得し、変形情報取得部１２は第１画像と第２画像とで位置合せを行うと共に、第１画像と第３の画像とで位置合せを行えばよい。また、観察条件決定部１３は、第２画像と第３画像の双方において、第１画像において設定された第１観察条件にそれぞれ対応する第２観察条件（第１の先端位置に対応する第２の先端位置、第１の挿入位置に対応する第２の挿入位置）と第３観察条件（第１の先端位置に対応する第３の先端位置、第１の挿入位置に対応する第３の挿入位置）を求めればよい。画像生成部１４は、第２画像から第２観察条件に基づく第２観察画像を生成し、第３画像から第３観察条件に基づく第３観察画像を生成すればよい。また、出力部１５は、第２観察画像および第３観察画像を表示装置３に出力すればよい。また、判定部１６は、第２観察条件（第１の先端位置に対応する第２の先端位置、第１の挿入位置に対応する第２の挿入位置）に基づいて、第２の先端位置と第２の挿入位置を結ぶ判定対象線分について、被検体の解剖学的構造物と所定の閾値以下であるか否かを判定し、第３観察条件（第１の先端位置に対応する第３の先端位置、第１の挿入位置に対応する第３の挿入位置）に基づいて、第３の先端位置と第３の挿入位置を結ぶ判定対象線分について、被検体の解剖学的構造物と所定の閾値以下であるか否かを判定すればよい。
　上記各実施形態において、変形情報取得処理（Ｓ２）と第１観察条件取得処理（Ｓ３）の処理の順番を入れ替えてもよい。また、各実施形態において、Ｓ８およびＳ９の処理を省略し、画像処理装置１が判定部１６を備えない構成としてもよい。第１観察画像生成処理（Ｓ５）は、第１観察条件取得処理（Ｓ３）の後で第１観察画像表示処理（Ｓ７）の前であれば任意のタイミングで実施してよく、第１観察画像の生成処理（Ｓ５）と第１観察画像の表示処理とを省略してもよい。
　以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像処理装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

Claims (12)

  1. 　互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得部と、
    　前記第１画像と前記第２画像の対応する位置を互いに位置合わせするように前記第１画像を変形する変形情報を取得する変形情報取得部と、
    　前記第１画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、前記手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、該第１観察条件と前記変形情報に基づいて、前記第１の挿入位置に対応する前記第２画像の位置である第２の挿入位置を特定し、前記第１の挿入位置から前記第１の先端位置に向かう第１の挿入向きに対応する向きが、前記第２の挿入位置から前記第２画像において前記手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定する観察条件決定部と、
    　前記第２観察条件に基づいて、前記第１画像を前記変形情報に基づいて変形した変形第１画像または前記第２画像から、前記第２の先端位置を視点とし、前記第２の先端位置から前記被検体の内部を可視化した第２観察画像を生成する画像生成部とを備えたことを特徴とする画像処理装置。
  2. 　前記手術器具が内視鏡装置であり、
    　前記観察条件決定部が、前記第１画像における前記第１の挿入向きと前記内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係と、前記第２画像における前記第２の挿入向きと前記内視鏡装置の撮影向きである第２の撮影向きとの相対的な関係が等しくなるように前記第２の撮影向きを特定し、
    　前記前記画像生成部が、前記第２の先端位置から、前記第２の撮影向きに前記被検体の内部を可視化することにより前記第２観察画像を生成することを特徴とする請求項１記載の画像処理装置。
  3. 　前記観察条件決定部が、前記第１の挿入位置と前記第１の先端位置との間の距離が前記第２の挿入位置と前記第２の先端位置との間の距離と等しくなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定することを特徴とする請求項１または２記載の画像処理装置。
  4. 　前記観察条件決定部は、前記第１画像に含まれる所定のランドマークの向きと前記第１の挿入向きとなす角度と、前記第２画像に含まれる前記所定のランドマークに対応するランドマークの向きと前記第２の挿入向きとのなす角度が等しくなるように前記第２の挿入向きを特定することにより、前記第１の挿入向きに対応する向きが前記第２の挿入向きとなるように前記第２の挿入向きを特定することを特徴とする請求項３記載の画像処理装置。
  5. 　前記観察条件決定部が、前記第１の先端位置と対応する前記第２画像の位置を前記第２の先端位置として特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定することを特徴とする請求項１または２記載の画像処理装置。
  6. 　前記観察条件決定部が、前記第１画像から、複数の前記第１観察条件を取得し、該複数の第１観察条件と前記変形情報に基づいて、前記複数の第１観察条件のそれぞれに対応する複数の前記第２観察条件を決定することを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
  7. 　前記第１画像と前記第２画像が、呼気フェーズと吸気フェーズにおける前記被検体をそれぞれ表していることを特徴とするものであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記第１画像と前記第２画像が、互いに異なる心臓の拍動フェーズにおける前記被検体をそれぞれ表していることを特徴とするものであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  9. 　前記第１画像と前記第２画像が、互いに異なる姿勢における前記被検体を表していることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  10. 　前記第２の挿入位置と前記第２の先端位置を結ぶ線分が前記第２画像中に含まれる解剖学的構造物と所定距離以下であるか否かを判定する判定部をさらに備えたことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　画像処理装置の作動方法であって、
    　互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得ステップと、
    　前記第１画像と前記第２画像の対応する位置を互いに位置合わせするように前記第１画像を変形する変形情報を取得する変形情報取得ステップと、
    　前記第１画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、前記手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、該第１観察条件と前記変形情報に基づいて、前記第１の挿入位置に対応する前記第２画像の位置である第２の挿入位置を特定し、前記第１の挿入位置から前記第１の先端位置に向かう第１の挿入向きに対応する向きが、前記第２の挿入位置から前記第２画像において前記手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定する観察条件決定ステップと、
    　前記第２観察条件に基づいて、前記第１画像を前記変形情報に基づいて変形した変形第１画像または前記第２画像から、前記第２の先端位置を視点とし、前記第２の先端位置から前記被検体の内部を可視化した第２観察画像を生成する画像生成ステップを有することを特徴とする画像処理装置の作動方法。
  12. 　コンピュータに、
    　互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得ステップと、
    　前記第１画像と前記第２画像の対応する位置を互いに位置合わせするように前記第１画像を変形する変形情報を取得する変形情報取得ステップと、
    　前記第１画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、前記手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、該第１観察条件と前記変形情報に基づいて、前記第１の挿入位置に対応する前記第２画像の位置である第２の挿入位置を特定し、前記第１の挿入位置から前記第１の先端位置に向かう第１の挿入向きに対応する向きが、前記第２の挿入位置から前記第２画像において前記手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定する観察条件決定ステップと、
    　前記第２観察条件に基づいて、前記第１画像を前記変形情報に基づいて変形した変形第１画像または前記第２画像から、前記第２の先端位置を視点とし、前記第２の先端位置から前記被検体の内部を可視化した第２観察画像を生成する画像生成ステップを実行させることを特徴とする画像処理プログラム。
PCT/JP2014/005372 2013-10-25 2014-10-22 画像処理装置、方法、及びプログラム WO2015059932A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/133,908 US20160228075A1 (en) 2013-10-25 2016-04-20 Image processing device, method and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-221930 2013-10-25
JP2013221930A JP6049202B2 (ja) 2013-10-25 2013-10-25 画像処理装置、方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/133,908 Continuation US20160228075A1 (en) 2013-10-25 2016-04-20 Image processing device, method and recording medium

Publications (1)

Publication Number Publication Date
WO2015059932A1 true WO2015059932A1 (ja) 2015-04-30

Family

ID=52992545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005372 WO2015059932A1 (ja) 2013-10-25 2014-10-22 画像処理装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20160228075A1 (ja)
JP (1) JP6049202B2 (ja)
WO (1) WO2015059932A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548453A (zh) * 2015-09-21 2017-03-29 上海联影医疗科技有限公司 Pet图像重建方法及系统
US10692212B2 (en) 2015-09-21 2020-06-23 Shanghai United Imaging Healthcare Co., Ltd. System and method for image reconstruction

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489800B2 (ja) * 2014-01-16 2019-03-27 キヤノン株式会社 画像処理装置、画像診断システム、画像処理方法およびプログラム
JP6489801B2 (ja) * 2014-01-16 2019-03-27 キヤノン株式会社 画像処理装置、画像診断システム、画像処理方法およびプログラム
US10188465B2 (en) * 2015-08-26 2019-01-29 Biosense Webster (Israel) Ltd. Automatic ENT surgery preplanning using a backtracking maze problem solution
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6654038B2 (ja) * 2015-12-22 2020-02-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN117058415A (zh) * 2016-10-28 2023-11-14 贝克曼库尔特有限公司 物质准备评估系统
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
CN111460871B (zh) * 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
JP7355514B2 (ja) * 2019-03-28 2023-10-03 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP7264689B2 (ja) * 2019-03-28 2023-04-25 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058326A1 (en) * 2003-07-25 2005-03-17 Karl Barth System and method for the creation of a virtual observation and access channel in medical 3D images
WO2013093761A2 (en) * 2011-12-21 2013-06-27 Koninklijke Philips Electronics N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100419793C (zh) * 2003-03-18 2008-09-17 皇家飞利浦电子股份有限公司 用于最佳匹配数据集的方法和装置
JP2005211534A (ja) * 2004-01-30 2005-08-11 Olympus Corp 内視鏡手術システム
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
US20100076305A1 (en) * 2008-06-25 2010-03-25 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Method, system and computer program product for targeting of a target with an elongate instrument
JP2012187161A (ja) * 2011-03-09 2012-10-04 Fujifilm Corp 画像処理装置、方法、及びプログラム
WO2013003826A1 (en) * 2011-06-29 2013-01-03 The Regents Of The University Of Michigan Analysis of temporal changes in registered tomographic images
US20130250081A1 (en) * 2012-03-21 2013-09-26 Covidien Lp System and method for determining camera angles by using virtual planes derived from actual images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058326A1 (en) * 2003-07-25 2005-03-17 Karl Barth System and method for the creation of a virtual observation and access channel in medical 3D images
WO2013093761A2 (en) * 2011-12-21 2013-06-27 Koninklijke Philips Electronics N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548453A (zh) * 2015-09-21 2017-03-29 上海联影医疗科技有限公司 Pet图像重建方法及系统
US10692212B2 (en) 2015-09-21 2020-06-23 Shanghai United Imaging Healthcare Co., Ltd. System and method for image reconstruction

Also Published As

Publication number Publication date
JP2015083040A (ja) 2015-04-30
JP6049202B2 (ja) 2016-12-21
US20160228075A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
JP6049202B2 (ja) 画像処理装置、方法、及びプログラム
US11026747B2 (en) Endoscopic view of invasive procedures in narrow passages
US11883118B2 (en) Using augmented reality in surgical navigation
WO2013111535A1 (ja) 内視鏡画像診断支援装置および方法並びにプログラム
JP2019010506A (ja) 形状推定をともなう軌道情報による位置合わせの改良
JP6510301B2 (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
US9501709B2 (en) Medical image processing apparatus
US10951837B2 (en) Generating a stereoscopic representation
EP2777593A2 (en) Real time image guidance system
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
KR101464330B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
EP4044948A1 (en) Dynamic tissue imagery updating
JP2020162700A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
EP3788981B1 (en) Systems for providing surgical guidance
US20240130790A1 (en) Dynamic tissue imagery updating
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
JP5751993B2 (ja) 画像処理装置、画像処理方法及びプログラム
Mirota Video-based navigation with application to endoscopic skull base surgery
KR20140128131A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14856314

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14856314

Country of ref document: EP

Kind code of ref document: A1