WO2011122032A1 - 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム - Google Patents

内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム Download PDF

Info

Publication number
WO2011122032A1
WO2011122032A1 PCT/JP2011/001932 JP2011001932W WO2011122032A1 WO 2011122032 A1 WO2011122032 A1 WO 2011122032A1 JP 2011001932 W JP2011001932 W JP 2011001932W WO 2011122032 A1 WO2011122032 A1 WO 2011122032A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
virtual
image
visual field
medical image
Prior art date
Application number
PCT/JP2011/001932
Other languages
English (en)
French (fr)
Inventor
北村嘉郎
中村佳児
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201180016415.2A priority Critical patent/CN102821671B/zh
Priority to EP11762274.6A priority patent/EP2554103B1/en
Priority to US13/638,812 priority patent/US9375133B2/en
Publication of WO2011122032A1 publication Critical patent/WO2011122032A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation

Definitions

  • the present invention relates to a technique for supporting endoscopic observation in an operation or examination under an endoscope inserted into a body cavity of a subject, and in particular, a virtual endoscope that represents the inside of a body cavity of a subject.
  • the present invention relates to a technique for supporting endoscopic observation using a mirror image.
  • a virtual endoscope technique for generating an image similar to an endoscope from a three-dimensional volume image obtained by imaging with CT or the like is known.
  • This technique is widely used in North America as a method for finding a tumor only by CT imaging without performing endoscopy in order to find a tumor of the large intestine.
  • Patent Document 1 a position of an endoscope is detected by a sensor, a virtual endoscopic image having a wider angle of view than that of the endoscope is generated using the detected position as a viewpoint, and obtained by endoscopic photography.
  • An apparatus that superimposes and displays a real endoscopic image and a virtual endoscopic image is described.
  • Patent Document 2 detects a position of an endoscope in real time, generates a virtual endoscope image having the same visual field as the endoscope, and visualizes a blood vessel arrangement in the visual field.
  • the position of the treatment tool used for surgery under the endoscope is detected in real time, and an image is generated by combining the image representing the treatment tool with the position of the treatment tool in the virtual endoscopic image.
  • An apparatus for displaying an endoscopic image is described.
  • JP 2002-263053 A Japanese Patent Laid-Open No. 2005-21353
  • the virtual endoscopic image has the same viewpoint and the same observation direction as the real endoscopic image. Because it is an image, depending on the positional relationship between the target area such as the treatment tool or surgical target site and the endoscope, the target area may not be displayed in the virtual endoscopic image or the actual endoscopic image. It is possible that the approaching situation of the endoscope to the location cannot be grasped.
  • the present invention has been made in view of the above circumstances, and during observation of a body cavity under an endoscope inserted into a body cavity of a subject, attention sites such as a treatment tool and a surgical target site and an endoscope It is an object of the present invention to provide a system and method, an apparatus, and a program capable of more reliably grasping the positional relationship with a mirror and the approaching state of an endoscope to a point of interest.
  • the endoscope observation support system includes a three-dimensional medical image forming unit that forms a three-dimensional medical image representing the inside of a body cavity of a subject, and the three-dimensional medical use of a (first) target structure in the body cavity.
  • Attention position specifying means for specifying the position in the image
  • endoscope position / posture detection means for detecting in real time the position and posture of the endoscope inserted into the body cavity
  • An endoscope angle-of-view acquisition means for acquiring information
  • the virtual visual field is determined by the position of the identified (first) target structure, the position and posture of the detected endoscope in the three-dimensional medical image, and the angle of view of the endoscope.
  • a virtual visual field determining means for determining the visual field so as to have continuity with an endoscopic-corresponding visual field that is a visual field in the three-dimensional medical image corresponding to the visual field of a mirror;
  • Virtual endoscope image generating means for generating a virtual endoscope image having the virtual visual field with the mirror corresponding position as a viewpoint, and display means for displaying the virtual endoscope image are provided.
  • the endoscope observation support method of the present invention forms a three-dimensional medical image representing the inside of the body cavity before or during the observation of the body cavity under the endoscope inserted into the body cavity of the subject.
  • a virtual visual field of the virtual endoscope, the position of the identified (first) target structure, the position and posture of the detected endoscope in the three-dimensional medical image, and the Based on the angle of view of the endoscope, the position of the (first) target structure is the temporary position. Determining to be included in a visual field and to be continuous with an endoscope-corresponding visual field that is a visual field in the three-dimensional medical image corresponding to the endoscope; and the three-dimensional medical Generating a virtual endoscopic image representing the inside of the body cavity viewed from the viewpoint having the virtual visual field with the endoscope corresponding position as a viewpoint, and displaying the virtual endoscopic image And a step.
  • the endoscope observation support apparatus includes a three-dimensional medical image acquisition unit that acquires a three-dimensional medical image representing the inside of a body cavity of a subject, and the three-dimensional medical use of a (first) target structure in the body cavity.
  • Attention position specifying means for specifying a position in the image
  • position acquisition means for acquiring the position and posture of the endoscope inserted into the body cavity detected in real time by the position and posture detection means
  • the endoscope Endoscope angle-of-view acquisition means for acquiring information on the angle of view of the image, and a virtual image arranged at an endoscope corresponding position which is a position in the three-dimensional medical image corresponding to the detected position of the endoscope
  • the virtual field of view of the endoscope is determined, the position of the identified (first) target structure, the position and posture of the acquired endoscope in the three-dimensional medical image, and the endoscope Based on the angle of view of the mirror, the position of the (first) target structure is the virtual view.
  • a virtual visual field determining means for determining to have a continuity with an endoscopic-corresponding visual field that is a visual field in the three-dimensional medical image corresponding to the visual field of the endoscope,
  • Virtual endoscopic image generation means for generating a virtual endoscopic image having the virtual visual field with the endoscope corresponding position as a viewpoint, using the three-dimensional medical image as input, and display means for displaying the virtual endoscopic image
  • display control means for displaying on the screen.
  • the endoscopic observation support program of the present invention acquires a three-dimensional medical image representing the inside of a body cavity of a subject in a computer, and the three-dimensional medical image of a (first) target structure in the body cavity. Identifying the position of the endoscope, acquiring the position and orientation of the endoscope inserted into the body cavity, detected in real time by the position and orientation detection means, and information on the angle of view of the endoscope Obtaining the virtual visual field of the virtual endoscope arranged at the endoscope corresponding position that is the position in the three-dimensional medical image corresponding to the detected endoscope position; Based on the position of the (first) target structure, the position and posture of the detected endoscope in the three-dimensional medical image, and the angle of view of the endoscope, The position of the target structure is included in the virtual field of view.
  • a real endoscopic image representing the inside of a body cavity is formed by real-time imaging by an endoscope, and the position of the endoscope used when generating the virtual endoscopic image together with the virtual endoscopic image And a real endoscopic image formed at almost the same timing as when the posture is detected may be displayed by superimposing corresponding positions in the virtual endoscopic image and the real endoscopic image.
  • the actual endoscopic image formed in real time by imaging with the endoscope and the position of the endoscope detected in real time by the position and orientation detection means at almost the same timing as the formation of the real endoscopic image.
  • the viewed virtual endoscopic image is superimposed and displayed.
  • both the real and virtual endoscope images are updated in real time as the endoscope moves. Is done.
  • the acquisition may be performed in real time.
  • the position and orientation of the endoscope may be detected by image recognition processing on the acquired three-dimensional medical image.
  • the “(first) structure of interest” include an operation target site under an endoscope, and an anatomical structure having attention in surgery, that is, a blood vessel, an organ, a tumor, and the like.
  • the specific method for specifying the position of these (first) structures of interest may be an automatic method using a known image recognition technique, a manual operation by a user, or a combination of both.
  • the “(first) target structure” may be a treatment instrument inserted into a body cavity.
  • the “virtual field of view” is determined so as to include the position of the (first) target structure in the field of view, but is directed from the viewpoint (position of the endoscope) to the position of the (first) target structure. It is only necessary that the image information on the line of sight is reflected in the virtual endoscopic image. For example, there are structures such as organs, blood vessels, and folds between the endoscope and the (first) target structure. For example, the (first) target structure is not necessarily represented in the virtual endoscopic image.
  • the “virtual visual field” has continuity with the visual field of the endoscope.
  • the visual field (of the virtual endoscopic image) has continuity with the visual field of the endoscope” means that both visual fields contact at least one point. Specifically, one visual field may be included in the other visual field, a part of both visual fields may overlap, or both visual fields may coincide.
  • the “virtual field of view” may have a wider angle of view than the endoscope.
  • the “virtual endoscopic image” may be expressed in such a manner that the (first) target structure can be identified.
  • the distance from the endoscope to the surface of the structure in the body cavity may be used as a determinant of the pixel value of the virtual endoscopic image.
  • a color template defined so that a virtual endoscopic image having substantially the same appearance as each part in the body cavity represented in the real endoscopic image may be obtained.
  • this color template for example, it is assumed that the color of each part in the body cavity is defined to be almost the same as that of the actual endoscopic image, while each part in the body cavity is made semi-transparent as necessary, so that Mirror images include those defined so that a rear structure that cannot be observed by a front shield or the like can be visually recognized.
  • the second target structure in the body cavity in the three-dimensional medical image is detected, and a virtual endoscopic image in a form in which the detected second target structure is visible is generated. You may do it.
  • a specific example of the “second target structure” includes the same as the first target structure.
  • the first structure may be an endoscopic target site
  • the second structure of interest may be an anatomical structure that requires attention in surgery, or vice versa. Conceivable.
  • a warning may be presented when the endoscope and the (first) target structure are close enough to meet a predetermined standard.
  • the warning may be presented visually in a virtual endoscopic image or the like, or may be presented by a method that appeals to other sensory organs.
  • a 3D medical image representing the inside of the body cavity of the subject is input, and the position in the 3D medical image corresponding to the position of the endoscope detected by the position / orientation detection means is used as a viewpoint, and the structure of interest Are generated in the visual field, and the visual field has a continuity with the visual field of the endoscope.
  • the field of view of the displayed virtual endoscopic image is determined so that the position of the target structure is always included in the field of view, the positional relationship and the approach status between the endoscope and the target structure are displayed. This makes it possible to grasp the information with certainty, and contributes to prevention of mistakes in procedures and procedures in operations and inspections.
  • the field of view of the virtual endoscopic image has continuity with the field of view of the endoscope, it is easy to grasp the positional relationship between the two fields of view, and for example, the target endoscope is included in the actual endoscopic image. In such a case, it is possible to easily grasp how the target structure enters the field of view of the actual endoscope if the endoscope is moved. Contribute to improvement.
  • the virtual endoscope image in which the viewpoint and the visual field of the virtual endoscope are changed in real time by feedback of the result of detecting the position of the endoscope in real time is continuously displayed. It is possible to grasp the approach situation of the endoscope to the robot more dynamically and accurately.
  • a real endoscopic image representing the inside of the body cavity is formed by real-time imaging by the endoscope, and the position and orientation of the endoscope used when generating the virtual endoscopic image together with the virtual endoscopic image If a real endoscopic image formed at almost the same timing as when a virtual endoscope image is detected is displayed by superimposing corresponding positions in the virtual endoscopic image and the real endoscopic image, the image is displayed.
  • the actual endoscopic image and the virtual endoscopic image represent the state in the body cavity at almost the same time, and the real endoscopic image and the virtual endoscopic image are continuously synchronized in time. Displayed.
  • the real endoscopic image and the virtual endoscopic image are updated in real time.
  • the field of view of the actual endoscopic image changes in conjunction with operations such as movement and rotation of the endoscope
  • the field of view of the virtual endoscopic image also changes in conjunction with operations such as movement of the endoscope.
  • FIG. 1 is a hardware configuration diagram of an endoscope observation support system according to first to fifth embodiments of the present invention.
  • Functional block diagram of an endoscope observation support system in the first to third embodiments of the present invention The flowchart showing the flow of the endoscopic observation support processing in the first to third embodiments of the present invention.
  • the figure which represented typically the 1st example of the visual field of the virtual endoscope determined based on the visual field of the real endoscope and the position of the structure of interest in the modification of the first embodiment of the present invention The figure which represented typically an example of the superimposed display of the real endoscopic image and virtual endoscopic image in the case of FIG. 5A in the modification of the 1st Embodiment of this invention.
  • FIG. 6A in the modification of the 1st Embodiment of this invention.
  • FIG. 7A in the modification of the 1st Embodiment of this invention.
  • a diagram schematically showing an example when another structure exists between the target structure and the endoscope The figure which represented typically an example of the virtual endoscopic image displayed in the 2nd Embodiment of this invention.
  • FIG. 1 An example of the color template for changing the display color of a virtual endoscopic image according to the distance to the surface of the anatomical structure in the abdominal cavity from a viewpoint in the 3rd Embodiment of this invention is typically shown.
  • Figure represented The figure which represented typically an example of the virtual endoscopic image which changed the display color according to the distance from a viewpoint in the 3rd Embodiment of this invention.
  • Functional block diagram of an endoscope observation support system in the fourth embodiment of the present invention The flowchart showing the flow of the endoscopic observation support process in the fourth embodiment of the present invention.
  • FIG. 1 Functional block diagram of an endoscope observation support system in the fifth embodiment of the present invention
  • FIG. 1 A diagram schematically showing an example of the positional relationship between the structure of interest, the structure requiring attention, and the endoscope, and the field of view of the endoscope and virtual endoscope
  • FIG. 1 Hardware configuration diagram of an endoscope observation support system according to a sixth embodiment of the present invention
  • FIG. 1 Functional block diagram of an endoscope observation support system in the sixth embodiment of the present invention
  • the flowchart showing the flow of the endoscope observation support process in the sixth embodiment of the present invention.
  • Functional block diagram of an endoscope observation support system in the seventh embodiment of the present invention Flowchart showing the flow of endoscopic observation support processing in the seventh embodiment of the present invention
  • FIG. 1 is a hardware configuration diagram showing an overview of an endoscope observation support system according to the first embodiment of the present invention. As shown in the figure, this system includes an endoscope 1, a digital processor 2, a light source device 3, an actual endoscope image display 4, a modality 5, a treatment instrument 6, an endoscope marker 7a, and a position sensor 8. , An image processing workstation 9 and an image processing workstation display (hereinafter referred to as WS display) 10.
  • WS display an image processing workstation display
  • the endoscope 1 is a rigid endoscope for abdominal cavity and is inserted into the abdominal cavity of a subject.
  • Light guided by an optical fiber from the light source device 3 is irradiated from the distal end portion of the endoscope 1, and an image in the abdominal cavity of the subject is obtained by the imaging optical system of the endoscope 1.
  • the digital processor 2 converts the imaging signal obtained by the endoscope 1 into a digital image signal, corrects the image quality by digital signal processing such as white balance adjustment and shading correction, and then performs DICOM (Digital Imaging and Communications in Adds incidental information defined in the Medicine) standard and outputs actual endoscope image data (I RE ).
  • DICOM Digital Imaging and Communications in Adds incidental information defined in the Medicine
  • the output actual endoscope image data (I RE ) is transmitted to the image processing workstation 9 via the LAN according to a communication protocol compliant with the DICOM standard. Further, the digital processor 2 converts the actual endoscope image data (I RE ) into an analog signal and outputs the analog signal to the actual endoscope image display 4.
  • the actual endoscope image display 4 includes the actual endoscope.
  • An image (I RE ) is displayed. Since the acquisition of the imaging signal by the endoscope 1 is performed at a predetermined frame rate, the actual endoscope image (I RE ) is displayed as a moving image representing the abdominal cavity on the actual endoscope display 4. Furthermore, the endoscope 1 can also shoot still images according to user operations.
  • the modality 5 is an apparatus that generates image data (V) of a three-dimensional medical image representing a region by imaging the region to be examined of the subject, and is a CT device here. Additional information defined by the DICOM standard is also added to the three-dimensional medical image data (V). The three-dimensional medical image data (V) is also transmitted to the image processing workstation 9 via the LAN according to a communication protocol compliant with the DICOM standard.
  • the endoscope marker 7a and the position sensor 8 constitute a known three-dimensional position measuring device.
  • the endoscope marker 7a is provided near the hand of the endoscope 1, and the three-dimensional position of the marker 7a is detected by the optical position sensor 8 at predetermined time intervals. Since the endoscope marker 7a is composed of a plurality of marker pieces, the position sensor 8 can also detect the posture of the endoscope 1 from the positional relationship between the marker pieces.
  • the posture of the endoscope 1 represents the direction in which the endoscope is inserted and coincides with the direction of the line of sight at the center of the field of view of the endoscope. This is also referred to as a center line-of-sight vector of the endoscope 1.
  • the position sensor 8 transmits the calculated 3D position data PS E of the endoscope 1 and 3D posture data DS E to the image processing workstation 9 via the USB interface.
  • the image processing workstation 9 is a computer having a well-known hardware configuration such as a CPU, a main storage device, an auxiliary storage device, an input / output interface, a communication interface, and a data bus, and includes an input device (pointing device, keyboard, etc.) WS display 10 is connected.
  • the image processing workstation 9 is connected to the digital processor 2 and the modality 5 via a LAN and is connected to the position sensor 8 via a USB.
  • the image processing workstation 9 is installed with a well-known operating system, various application software, and the like, and is also installed with an application for executing the endoscope observation support processing of the present invention. These software may be installed from a recording medium such as a CD-ROM, or may be installed after being downloaded from a storage device of a server connected via a network such as the Internet. Good.
  • FIG. 2 is a block diagram in which the endoscope observation support system according to the first embodiment of the present invention is divided at a functional level.
  • the endoscope observation acquisition support system according to the first embodiment of the present invention includes an endoscope 1, an actual endoscope image forming unit 2, an actual endoscope image display 4, 3, and the like.
  • the function of the actual endoscope image forming unit 2 is realized by the digital processor of FIG. 1, and the function of the three-dimensional medical image forming unit 5 is realized by the modality of FIG.
  • the function of the endoscope position / orientation detection unit 11 is realized by the endoscope marker 7 a and the position sensor 8.
  • the broken line frame indicates the image processing workstation 9, and the functions of the processing units in the broken line frame are realized by executing a predetermined program on the image processing workstation 9.
  • real endoscopic image I RE endoscope position detection PS E, endoscope position DS E, endoscope position P E, the center line of sight vector VL E of the endoscope, endoscopic Kagamiga angle A E,
  • the virtual endoscope viewpoint VP VE the virtual endoscope central line-of-sight vector VL VE , the virtual endoscope angle of view A VE , the three-dimensional medical image V, the attention position P I , and the virtual endoscope image I VE are respectively
  • This data is read / written from / to a predetermined memory area of the image processing workstation 9 by each processing unit in the broken line frame.
  • a three-dimensional medical image V is formed by imaging the subject in the abdominal cavity by the three-dimensional medical image forming unit 5.
  • the attention position specifying unit 24 performs the three-dimensional medical image acquisition.
  • a user interface for accepting a designation operation of a target structure (for example, a surgical target site) in the body cavity shown in the three-dimensional medical image V acquired by the medical image acquisition unit 23 is presented, and the acquired three-dimensional medical image V is displayed. based on, to identify the position P I in a three-dimensional medical image V of the designated target structures (# 2).
  • the real endoscopic image forming unit 2 repeatedly forms the real endoscopic image I RE by the endoscope 1 inserted into the body cavity at a predetermined frame rate.
  • the real endoscopic image I RE is displayed on the real endoscopic image display 4 in real time as a through moving image. Further, the endoscope position and orientation detection part 11, at a predetermined time interval, repeatedly detected in real time the position PS E and orientation DS E of the endoscope 1 inserted into a body cavity.
  • the real endoscopic image acquisition unit 21 acquires the real endoscopic image I RE formed by the real endoscopic image forming unit 2 (# 3), and at almost the same timing as this.
  • the endoscope position and orientation acquisition unit 22 acquires the endoscopic detection position PS E and orientation DS E detected by endoscope position and orientation detection part 11, the endoscope position has been acquired PS E and orientation DS the endoscope position obtained by converting E to the position and orientation in the coordinate system of the three-dimensional medical image V P E and attitude outputs the (center line of sight vector) VL E (# 4).
  • the endoscope angle-of-view acquisition unit 25 acquires the angle of view A E of the endoscope 1 from a predetermined memory area of the image processing workstation 9 (# 5).
  • Virtual field determination unit 26 the endoscope position a virtual field of view of the virtual endoscopic disposed obtained endoscope position P E by posture acquisition section 22, attention structures identified by the target position identifying unit 24 Position P I , the position P E obtained by the endoscope position / orientation acquisition unit 22, the central line-of-sight vector V L E , and the angle of view A of the endoscope acquired by the endoscope angle of view acquisition unit 25.
  • the position P I of the target structure is included in the virtual visual field and is continuous with the endoscope-corresponding visual field that is the visual field in the three-dimensional medical image corresponding to the visual field of the endoscope 1.
  • the viewpoint VP VL , the central line-of-sight vector VL VE , and the angle of view A VE of the virtual endoscope are output (# 6).
  • the virtual endoscope image generation unit 27 receives the three-dimensional medical image V acquired by the three-dimensional medical image acquisition unit 23 as an input, and determines the virtual endoscope viewpoint VP VL and the center determined by the virtual visual field determination unit 26.
  • sight vector VL VE based on the angle of view a VE, the endoscope position VP E a (VP VL) and a viewpoint, and generates a virtual endoscopic image I VE having a virtual field of view (# 7).
  • the display control unit 28 uses the real endoscopic image I RE acquired by the real endoscopic image acquisition unit 21 and the virtual endoscopic image I VE generated by the virtual endoscopic image generation unit 27. It is displayed on the WS display 10 (# 8).
  • the image processing workstation 9 unless an operation for instructing the end of observation is performed (# 9; No), a new real endoscopic image I RE is acquired (# 3), and the endoscope position P E at that time is acquired. And posture VL VE acquisition (# 4), endoscope viewing angle AE acquisition (# 5), virtual visual field determination (# 6), virtual endoscopic image I VE generation (# 7), real internal The display update (# 8) of the endoscope image I RE and the virtual endoscope image I VE is repeatedly performed. As a result, the WS display 10 realizes continuous display in which the real endoscopic image I RE and the virtual endoscopic image I VE are temporally synchronized. On the other hand, when an operation for instructing the end of observation is performed (# 9; Yes), the image processing workstation 9 ends the repeated processing from steps # 3 to # 8.
  • the real endoscopic image acquisition unit 21 receives the real endoscopic image I RE through communication with the real endoscopic image forming unit (digital processor) 2 and stores a predetermined memory area of the image processing workstation 9.
  • the real endoscopic image I RE is transferred from the real endoscopic image forming unit 2 based on a request from the real endoscopic image acquiring unit 21.
  • the endoscope position and orientation acquisition unit 22 has a function as a communication interface for obtaining an endoscope position detection PS E and the posture DS E through communication with endoscope position and orientation detection part 11, an endoscope position PS obtained E and posture DS E are converted from the three-dimensional coordinate system of the position sensor 8 to the endoscope position PE and posture (center line-of-sight vector) VL E expressed by the coordinate values of the three-dimensional coordinate system of the three-dimensional medical image V. And a function of storing in a predetermined memory area of the image processing workstation 9. In the former communication interface function, an endoscope position the endoscope position from the endoscope position and orientation detection part 11 at the request based from the posture acquisition section 22 PS E and posture DS E is acquired.
  • the rotation amount of the coordinate axis is obtained in advance based on the correspondence relationship between the respective coordinate axes in the three-dimensional coordinate system of the position sensor and the respective coordinate axes in the three-dimensional coordinate system of the three-dimensional medical image V.
  • the coordinate value in the three-dimensional coordinate system of the position sensor 8 of the position in the subject corresponding to the origin of the three-dimensional medical image V is measured in advance, and both coordinate axes are based on the coordinate value of the origin.
  • the three-dimensional medical image acquisition unit 23 has a communication interface function for receiving the three-dimensional medical image V from the three-dimensional medical image forming unit 5 and storing it in a predetermined memory area of the image processing workstation 9.
  • the attention position specifying unit 24 designates a target structure using a pointing device or a keyboard of the image processing workstation 9 in a cross-sectional image representing a predetermined cross-section generated from the three-dimensional medical image V by a known MPR method.
  • the data is stored in a predetermined memory area of the image processing workstation 9.
  • a target structure a site to be operated, a point requiring attention at the time of surgery, and the like are designated according to the user's desire.
  • the endoscope angle-of-view acquisition unit 25 acquires information about the angle of view A E of the endoscope 1 set in advance based on the specifications of the endoscope 1 in the program start parameters, setting files, and the like.
  • the endoscope angle of view acquisition unit 25 analyzes the incidental information. Information on the angle of view A E of the endoscope 1 may be acquired.
  • the virtual visual field determination unit 26 first matches the viewpoint positions of the virtual endoscope and the endoscope 1 and the direction of the central visual line vector. That is, the determining endoscope position P E obtained by endoscope position and orientation acquisition unit 22 to the viewpoint position VP VE of the virtual endoscope, the endoscope obtained by the endoscope position and orientation acquisition unit 22 determining one of the central visual line vector VL E in the center line of sight vector VL VE of the virtual endoscope. Further, the virtual visual field determination unit 26 has the angle of view A VE of the virtual endoscope wider than the angle of view A E of the endoscope 1 and the position P I of the target structure within the visual field of the virtual endoscope. To be included.
  • the virtual The angle of view A VE of the endoscope can be obtained by adding a constant to the larger value of the angle of view A E and 2 ⁇ of the endoscope 1 or by multiplying a predetermined coefficient larger than 1.
  • a predetermined error process interruption of the process, change of the posture of the endoscope 1 or attention structure
  • the virtual endoscope viewpoint position VP VE , center line-of-sight vector VL VE , and field angle A VE determined as described above are written in a predetermined memory area.
  • the virtual endoscopic image generation unit 27 receives the three-dimensional medical image V as an input, and as shown in FIG. 4A, the direction of the central line-of-sight vector VL VE of the virtual endoscope is set as the direction of the line-of-sight vector passing through the center of the visual field.
  • the direction of the central line-of-sight vector VL VE of the virtual endoscope is set as the direction of the line-of-sight vector passing through the center of the visual field.
  • a plurality of radial lines of sight from the viewpoint position V VP VE of the virtual endoscope are set, and pixel values on each line of sight are projected by a volume rendering method using a known center projection.
  • a virtual endoscopic image I VE is generated.
  • a color template whose color and transparency are defined in advance is used so that an image having substantially the same appearance as each intra-abdominal part represented in the actual endoscopic image I RE is obtained.
  • the display control unit 28 generates a display screen in which the real endoscopic image I RE and the virtual endoscopic image I VE are overlapped by matching the corresponding positions by matching the centers of the fields of view of both images, Output to the WS display 10.
  • the WS display 10 displays a display screen in which the real endoscope image I RE and the virtual endoscope image I VE schematically illustrated in FIG. 4B are superimposed.
  • a known alpha blending method or the like can be used for superimposing both images.
  • the virtual field determination unit 26 the viewpoint position of the endoscope position P E obtained by endoscope position and orientation acquisition unit 22 virtual endoscopic VP VE and then, the center line of sight vector VL E of the endoscope 1 obtained by the endoscope position and orientation acquisition unit 22 and the center line of sight vector VL VE of the virtual endoscope, the angle a VE of the virtual endoscope, the endoscope
  • the position P I of the target structure is within the virtual field of view.
  • the virtual endoscopic image generation unit 27 receives the 3D medical image V acquired by the 3D medical image acquisition unit 23 as an input, and the virtual endoscope viewpoint VP VL determined by the virtual visual field determination unit 26. , the center line of sight vector VL VE, based on the angle of view a VE, the endoscope position VP E a (VP VL) and a viewpoint, and generates a virtual endoscopic image I VE having the virtual field of view, the display control unit 28
  • the real endoscopic image I RE and the virtual endoscopic image I VE are superimposed on the WS display 10.
  • the displayed virtual endoscopic image I VE always includes the position P I of the target structure, the positional relationship and the approach situation between the endoscope 1 and the target structure are reliably grasped. This contributes to the prevention of procedural errors in surgery and examinations.
  • the visual field of the virtual endoscopic image I VE includes the visual field of the endoscope 1, it is easy to grasp the positional relationship between the two visual fields, for example, an actual endoscope Even if the target structure is not included in the image I RE , the target structure can be determined by moving the endoscope 1 by confirming the position of the target structure in the virtual endoscopic image I VE. It is possible to easily grasp whether an object enters the actual field of view of the endoscope 1, which contributes to an improvement in the operability of the endoscope 1 during surgery.
  • the virtual endoscope image I VE in which the visual field of the virtual endoscope is changed in real time by feedback of the result of the endoscope position / orientation detection unit 11 detecting the position of the endoscope 1 in real time is continuous. Therefore, the approach status of the endoscope 1 to the target structure can be dynamically and accurately captured.
  • the real endoscopic image forming unit 2 forms a real endoscopic image I RE representing the inside of the body cavity by real-time imaging by the endoscope 1 and is used when the virtual endoscopic image I VE is generated. Since the real endoscopic image I RE formed at almost the same timing as when the position of the endoscope 1 is detected is superimposed and displayed, the real endoscopic image I RE and the virtual endoscopic image I VE are: The state in the body cavity at almost the same time point is represented, and the real endoscopic image I RE and the virtual endoscopic image I VE are continuously superimposed and displayed in time synchronization.
  • the visual field of the real endoscopic image I RE changes in conjunction with an operation such as movement or rotation of the endoscope 1, and the visual field of the virtual endoscopic image I VE also changes.
  • the inside of the body cavity can be observed in real time and complementarily by the real endoscopic image I RE and the virtual endoscopic image I VE . .
  • the virtual endoscopic image generation unit 27 uses a color template in which colors and transparency are defined in advance so that an image having almost the same appearance as each intra-abdominal portion represented in the real endoscopic image I RE can be obtained. Since the virtual endoscopic image I VE is generated, when the real endoscopic image I RE and the virtual endoscopic image I VE are superimposed and displayed on the WS display 10 by the display control unit 28, the two images are not uncomfortable. Can be observed.
  • the display control unit 28 superimposes the real endoscopic image I RE and the virtual endoscopic image I VE .
  • both images may be displayed side by side. .
  • the virtual visual field determination unit 26 by a different and angle of view of the endoscope 1 set only angle A VE of the virtual endoscope, the position P I of the attention structures virtual field had to be included within, as a modified example of the setting of the field of view of the virtual endoscope, be a different set central visual line vector VL E of the endoscope 1 to the center line of sight vector VL VE of the virtual endoscopy
  • the position P I of the target structure may be included in the virtual visual field.
  • FIG. 5A, FIG. 6A, and FIG. 7A show an example in which the center line-of-sight vector VL VE is set so that the position P I of the target structure is the center of the virtual field of view, and the viewpoint VP VE (VP E ) and the target structure This is expressed for each positional relationship of the position P I.
  • the virtual visual field determination unit 26 determines the center line-of-sight vector VL VE of the virtual endoscope in a direction connecting the viewpoint VP VE (VP E ) and the position P I of the target structure, and the virtual endoscope Is determined to be wider than the angle of view A E of the endoscope 1 and to have continuity with the field of view of the endoscope 1.
  • the center line of sight vector VL E of the endoscope 1 when the angle between the center line of sight vector VL VE of the virtual endoscope and alpha, the field of view of the virtual endoscope and the field of view of the endoscope 1 In order to have the property, it is sufficient to satisfy the following formula (1): ⁇ -A E / 2 ⁇ A VE /2...(1 ) Assuming that the initial value A VE0 (A VE0 > AE ) of the predefined virtual endoscope angle of view is set, the angle of view A VE of the virtual endoscope is wider than the angle of view A E of the endoscope 1.
  • the angle of view A VE of the virtual endoscope may be set to a larger value of the initial value A VE0 and (2 ⁇ A E ).
  • a constant may be further added to 2 ⁇ - AE or a predetermined coefficient larger than 1 may be multiplied.
  • FIG. 5A shows the case where the position P I of the structure of interest is included in the field of view of the endoscope 1, that is, ⁇ ⁇ A E / 2.
  • the angle A VE is determined to be an initial value A VE0
  • the visual field of the real endoscopic image I RE is included in the visual field of the virtual endoscopic image I VE . Note that, depending on the value of the initial value A VE0 , the visual field of the real endoscopic image I RE and the visual field of the virtual endoscopic image I VE overlap.
  • FIG. 5A shows the case where the position P I of the structure of interest is included in the field of view of the endoscope 1, that is, ⁇ ⁇ A E / 2.
  • the image of the virtual endoscope is shown.
  • the angle A VE is determined to be an initial value A VE0
  • the visual field of the real endoscopic image I RE is included in the visual field of the virtual endoscopic image I VE . Note that, depending on the value of the initial value A VE0
  • the field angle A VE of the virtual endoscope is determined to be ⁇ -A E / 2, and as shown in FIG. 7B, the field of view and the virtual interior of the real endoscopic image I RE The field of view of the endoscopic image I VE is in contact with only one point.
  • the virtual visual field determination unit 26 determines the line of sight that bisects the angle ⁇ as the central line-of-sight vector VL VE of the virtual endoscope, and sets the angle of view A VE to a value larger than any of A VE0 and ⁇ . You may make it decide to.
  • the display control unit 28 determines the position PE and posture (center line-of-sight vector) VL E of the endoscope 1 and the viewpoint of the virtual endoscope. Based on the VP VE (VP E ) and the central line-of-sight vector (posture) VL VE , the positional relationship between the line of sight (rays) of the endoscope 1 and the virtual endoscope is obtained as illustrated in FIGS. 5A, 6A, and 7A. By specifying, the corresponding positions of the real endoscopic image I RE and the virtual endoscopic image I VE are matched, and the real endoscopic image I RE and the virtual endoscopic image as illustrated in FIGS. 5B, 6B, and 7B are illustrated. A display screen on which the mirror image IVE is superimposed can be generated.
  • the mirror image and the virtual endoscopic image I VE (refer to Japanese Patent Laid-Open No. 2009-276371 etc. for details of correction of distortion).
  • the virtual endoscope image I VE is corrected to be distorted, and the actual endoscope image I RE and the corrected virtual endoscope image are corrected. May be superimposed.
  • the attention position specifying unit 24 extracts a region representing the entire structure of interest based on the position P I of the structure of interest specified by the user, and the virtual endoscope image generation unit 27, if the volume rendering is performed on the target structure area using a color template different from that of the other structures, the target structure area will be displayed in the virtual endoscopic image I VE shown in FIG. 4B and the like. It becomes possible to represent the area of the structure in a highly visible form, which is more effective. Note that, for example, the technique described in Japanese Patent Application Laid-Open No. 2008-245719 proposed by the present applicant can be used for the extraction of the target structure region.
  • this point accepts the setting of an arbitrary point P I in the target structure area (hereinafter, this point is referred to as a user set point), and uses information on the size of a possible lesion area defined in advance. Then, the three-dimensional existence range in which the lesion area can exist is determined, and the lesion is determined by using an area dividing method such as a graph cut method based on the set points and points outside the determined existence range. Regions can be extracted.
  • the second embodiment of the present invention is a modification of the volume rendering process in the virtual endoscopic image generation unit 27, and includes the hardware configuration, functional blocks, and overall flow of the endoscope observation support system. Is the same as in the first embodiment.
  • FIG. 8A schematically shows an example of the positional relationship between the structure of interest and the endoscope 1.
  • the anatomy If the color template is defined so that the opacity of the target structure is increased, the target structure behind the anatomical structure is not drawn in the virtual endoscopic image I VE . Therefore, in the second embodiment of the present invention, the virtual endoscopic image generation unit 27 uses a color template in which opacity is defined so as to display each part in the body cavity translucently. Generate VE .
  • the generated virtual endoscopic image I VE is an anatomical structure located between the position P I of the target structure and the endoscope position P E as schematically shown in FIG. 8B.
  • the position P I of the target structure is extracted and a color template different from the other areas is used, the position P I and the inner position of the target structure are detected. Even if an anatomical structure exists between the endoscope position P E , the entire structure area of interest can be represented in a highly visible manner.
  • the third embodiment of the present invention is also a modification of the volume rendering process in the virtual endoscopic image generation unit 27, and includes the hardware configuration, functional blocks, and overall flow of the endoscope observation support system. Is the same as in the first embodiment.
  • FIG. 9A schematically shows an example of a color template used in the third embodiment of the present invention.
  • this color template is used for virtual endoscopy according to the distance from the position P E of the endoscope 1 (same as the viewpoint position P VE of the virtual endoscope) to the surface of the structure in the abdominal cavity. It is defined to change the color of the mirror image I VE .
  • the virtual endoscopic image generation unit 27 sets the position where the pixel value abruptly changes above a predetermined threshold or the position where the pixel value exceeds a predetermined threshold on each line of sight during central projection.
  • the generated virtual endoscopic image I VE lighter color as the distance from the position P E of the mirror 1 is close, it becomes color as the distance is far darker. In this way, it becomes possible to compensate for the perspective of the virtual endoscopic image I VE that is difficult to capture the perspective, and the approach status of the endoscope 1 to the intra-abdominal structure (including the structure of interest) can be determined. It becomes easier to grasp.
  • the fourth embodiment of the present invention has a configuration in which a warning determination unit 29 is added to the first embodiment, and hardware for an endoscope observation support system.
  • the configuration is the same as in the first embodiment.
  • the warning determining unit 29 is a processing unit implemented in image processing workstation 9, the distance that calculates the distance between the position P E of the endoscope 1 and the position P I of the attention structures were calculated Is smaller than a predetermined threshold value, that is, when the endoscope 1 is approaching the target structure to an unacceptable extent, the warning message WM is output.
  • FIG. 11 is a flowchart showing the flow of the endoscopic observation support process in the fourth embodiment of the present invention.
  • the actual endoscopic image in step # 8 of the first embodiment is shown in FIG.
  • the warning determination unit 29 compares the distance with the threshold (# 8.1), and if the distance is smaller than the threshold (# 8.1; Yes) , a warning message WM, the display control unit 28, as illustrated in FIG. 12, is superimposed on the arrow mark with comments of "close attention" to the vicinity of the position P I of the attention structures.
  • Such a warning display is particularly effective when the attention position specifying unit 24 designates a blood vessel or the like that causes major bleeding if the target structure is damaged during surgery.
  • the method of outputting the warning message to the outside may be a method of outputting a warning sound or sound, in addition to the method of superimposing and displaying the virtual endoscope image I VE as described above, or the superimposition of the warning message.
  • You may perform both a display and output, such as a warning sound.
  • a risk determination table in which the risk corresponding to the distance is defined step by step is prepared in advance, and the warning determination unit 29 refers to the risk determination table based on the calculated distance, and the risk The risk level value may be output as a warning message WM, and the display control unit 28 may display an icon or the like corresponding to the risk level on the WS display 10.
  • the fifth embodiment of the present invention has a configuration in which a cautionary structure detection unit 30 is added to the first embodiment, and an endoscope observation support system.
  • the hardware configuration is the same as that of the first embodiment.
  • the cautionary structure detection unit 30 is a processing unit mounted on the image processing workstation 9 and detects the cautionary structure region RA by a known image recognition method using the three-dimensional medical image V as an input.
  • FIG. 15A schematically illustrates an example of the positional relationship among the endoscope 1, the target structure, and the structure requiring attention.
  • the cautionary structure detection unit 30 detects a blood vessel region RA to be noted on the back side of the abdominal wall by performing a known blood vessel extraction process.
  • FIG. 14 is a flow chart showing the flow of endoscopic observation support process in the fifth embodiment of the present invention, as shown in FIG., The target position P I in step # 2 of the first embodiment
  • the caution structure detection unit 30 detects the caution structure area RA (# 2.1).
  • the virtual endoscopic image generation unit 27 generates a virtual endoscopic image I VE using a color template defined so that the structure area RA requiring attention is visible.
  • FIG. 15B schematically shows an example of the generated virtual endoscopic image IVE .
  • the virtual endoscopic image I VE shown in the figure is generated by using a color template in which the pixels representing the abdominal wall are translucent and the color and opacity are defined so that the pixels representing the blood vessels are highly visible It has been done. As a result, the visibility of the structure requiring attention is increased, which contributes to prevention of erroneous operation of the endoscope 1 and the treatment instrument 6 as in the fourth embodiment.
  • FIG. 15C schematically shows a case where the generated virtual endoscopic image I VE and the real endoscopic image I RE are superimposed and displayed at the corresponding positions. As shown in FIG, if also superimposes the careful structure region RA detected by careful structure detection unit 30 to Minai endoscopic image I RE, careful in real endoscopic the image I RE It becomes possible to grasp the structure.
  • the caution structure detection unit 30 may detect the caution structure area RA by a user's manual operation.
  • a marker such as an arrow or an annotation such as a text comment may be superimposed and displayed on the structure area RA requiring attention.
  • the sixth embodiment of the present invention generates a virtual endoscopic image in which both the structure of interest and the treatment tool are included in the visual field. As shown in the hardware configuration diagram of FIG. The treatment instrument marker 7b is added to the first embodiment shown in FIG.
  • the treatment instrument marker 7b like the endoscope marker 7a, constitutes a three-dimensional position measuring device together with the position sensor 8, and is provided near the hand of the treatment instrument 6. 3-dimensional position of the marker 7b at predetermined time intervals are detected by the offset calculation, it is possible to calculate the three-dimensional position PS T of the distal end portion of the treatment instrument 6.
  • FIG. 17 is a functional block diagram of the sixth embodiment of the present invention.
  • the treatment instrument 6, the treatment instrument position detection unit 12, and the treatment instrument position acquisition unit 31 are added to the first embodiment shown in FIG. It has been configured.
  • the function of the treatment instrument position detection unit 12 is realized by the treatment instrument marker 7b and the position sensor 8 of FIG.
  • the treatment instrument position P T is data that is read from and written to a predetermined memory area of the image processing workstation 9 by each processing unit within the broken line frame.
  • FIG. 18 is a flowchart showing the flow of the endoscopic observation support process in the sixth embodiment of the present invention.
  • FIG. 18 shows the intraperitoneal cavity of the subject using the endoscope 1.
  • the real endoscope image forming unit 2 repeatedly forms the real endoscopic image I RE and the endoscope position / posture detecting unit 11 is the endoscope.
  • treatment tool position detection unit 12 in addition to detecting the position PS E and posture DS E, treatment tool position detection unit 12, at predetermined time intervals, to detect in real time repeated position PS T of the treatment instrument 6 which is inserted into a body cavity.
  • the treatment tool position obtaining unit 31 a treatment tool position PS T detected by treatment tool position detection unit 12 acquired, and outputs the treatment tool position P T obtained by converting the obtained treatment tool position PS T to a position in the coordinate system of the three-dimensional medical image V (# 4.1).
  • the virtual field determination unit 26 virtual endoscopic disposed in the endoscope position P E
  • the virtual field of view of the virtual field of view is set to the treatment instrument position PT acquired by the treatment instrument position acquisition unit 31.
  • the endoscope is a field of view in a three-dimensional medical image corresponding to the field of view of the endoscope 1 so that the position P I of the target structure and the treatment instrument position P T are included in the virtual field of view.
  • the virtual endoscope image generation unit 27 is based on the treatment instrument position PT acquired by the treatment instrument position acquisition unit 31 when generating the virtual endoscope image I VE in the same manner as in the first embodiment. generates a virtual endoscopic image I VE expressed in an identifiable manner that the treatment instrument 6 is located at a position corresponding to the treatment tool position P T of endoscope in an image I VE virtual (# 7).
  • the subsequent processing flow (# 8 to # 9) is the same as in the first embodiment.
  • Treatment tool position obtaining unit 31 similarly to the endoscope position obtaining unit 22, and functions as a communication interface for obtaining a treatment tool position PS T through communication with treatment tool position detection unit 12, the acquired treatment tool position PS T is converted from the three-dimensional coordinate system of the position sensor 8 to the treatment instrument position PT expressed by the coordinate value of the three-dimensional coordinate system of the three-dimensional medical image V and stored in a predetermined memory area of the image processing workstation 9. With functions.
  • Virtual field determination unit 26 as schematically shown in FIG. 19A, first, the first embodiment similarly to the embodiment, the endoscope position and orientation acquisition unit endoscope position within the virtual the P E obtained by 22 and it determines the endoscope viewpoint position VP VE, to determine the center line of sight vector VL E of the endoscope 1 obtained by the endoscope position and orientation acquisition unit 22 to the center line of sight vector VL VE of the virtual endoscope.
  • the virtual visual field determination unit 26 makes the view angle A VE of the virtual endoscope wider than the angle of view A E of the endoscope 1 and the position P of the target structure within the visual field of the virtual endoscope. I and treatment tool position PT are determined to be included.
  • the angle of theta 1 between a center line of sight vector VL VE of the virtual endoscope and a vector connecting the position P I of the attention structures and viewpoint position VP VE of the virtual endoscope, virtual endoscopy Assuming that the angle formed by the vector connecting the viewpoint position VP VE of the mirror and the treatment tool position PT and the central line-of-sight vector VL VE of the virtual endoscope is ⁇ 2 , the angle of view A VE of the virtual endoscope is It can be obtained by adding a constant to the largest value of the angles of view A E , 2 ⁇ 1 , 2 ⁇ 2 of the mirror 1 or multiplying by a coefficient larger than a predetermined one. In FIG. 19A, the treatment instrument position P T is farther from the center of the field of view than the position P I of the target structure, so 2 ⁇ 2 is the maximum value.
  • the virtual endoscopic image generation unit 27 receives the three-dimensional medical image V as an input, the viewpoint position VP VE of the virtual endoscope, the central line of sight A virtual endoscope pre-image is generated based on the vector VL VE and the angle of view A VE . Then, virtual endoscopic image generation unit 27 generates a treatment tool shape image M T representing a state where the treatment instrument 6 is present in the treatment tool position P T. Specifically, the treatment instrument shape image M T is generated based on the image representing the shape of the treatment instrument 6 stored in the database and the treatment instrument position P T as described in Patent Document 2 above. .
  • virtual endoscopic image generation unit 27 by combining the treatment instrument shape image M T and the virtual endoscopic pre-image by a known method such as alpha blending, and generates a virtual endoscopic image I VE.
  • a marker such as an arrow or an icon representing the treatment instrument 6, a text comment, etc. at a position corresponding to the treatment instrument position PT in the virtual endoscope pre-image.
  • the virtual endoscopic image I VE may be generated by superimposing the annotation.
  • FIG. 19B schematically shows an example of a display screen on which the virtual endoscopic image I VE and the real endoscopic image I RE generated in the present embodiment are superimposed.
  • the treatment instrument shape image M T is superimposed on the position corresponding to the treatment instrument position P T in the virtual endoscopic image I VE .
  • the position P T also virtual endoscopic image I VE, which is included in the visual field of the instrument is generated Therefore, it is possible to reliably grasp not only the endoscope 1 and the target structure but also the mutual positional relationship and the approach state including the treatment tool 6.
  • the virtual endoscope image I VE in which the visual field of the virtual endoscope and the image content are changed in real time by feedback of the result of the treatment instrument position detection unit 12 detecting the position of the treatment instrument 6 in real time is continuous. Therefore, not only the endoscope 1 and the target structure but also the mutual positional relationship and the approach situation including the treatment tool 6 can be dynamically and accurately captured.
  • the real endoscopic image forming unit 2 forms a real endoscopic image I RE representing the inside of the body cavity by real-time imaging by the endoscope 1 and is used when the virtual endoscopic image I VE is generated. Since the actual endoscopic image I RE formed at almost the same timing as the positions of the endoscope 1 and the treatment instrument 6 are displayed in a superimposed manner, the actual endoscopic image is displayed as in the first embodiment.
  • the I RE and the virtual endoscopic image I VE represent the state in the body cavity at almost the same time, and the real endoscopic image I RE and the virtual endoscopic image I VE are synchronized in time. It is continuously superimposed and displayed.
  • the field of view of the actual endoscopic image I RE changes in conjunction with operations such as movement and rotation of the endoscope 1, and also in conjunction with the operation of the treatment instrument 6 as well as the endoscope 1.
  • the field of view and image content of the virtual endoscopic image IVE also change.
  • the real endoscopic image I RE and the virtual endoscopic image I VE can be further observed in real time and complementarily in the body cavity. Become.
  • the three-dimensional medical image V is formed and acquired in real time during observation using an endoscope.
  • the hardware configuration of the first embodiment see FIG. 16).
  • the endoscope marker 7a, the treatment instrument marker 7b, and the position sensor 8 are unnecessary.
  • FIG. 20 is a functional block diagram of the endoscope observation support system according to the seventh embodiment of the present invention.
  • the endoscope position / posture detection unit 11 instead of the endoscope position / posture detection unit 11, the treatment instrument position detection unit 12, the endoscope position / posture acquisition unit 22, and the treatment tool position acquisition unit 31 of the sixth embodiment, The mirror position and orientation recognition unit 32 and the processing tool position recognition unit 33 are added. That is, the endoscope position / posture recognition unit 32 and the processing tool position recognition unit 33 correspond to the position (posture) detection means of the present invention.
  • the endoscope position / orientation recognition unit 32 and the processing tool position recognition unit 33 are processing units mounted on the image processing workstation 9, and receive a three-dimensional medical image V as an input to perform three-dimensional medical use by a known pattern recognition process. in the image V, respectively, the endoscope 1, extracts a region that represents the treatment instrument 6, respectively, the endoscope position P E and orientation VL E, recognizes the treatment tool position P T.
  • FIG. 21 is a flowchart showing the flow of endoscopic observation support processing in the seventh embodiment of the present invention.
  • Steps # 11 to # 13 are the same as Steps # 1 to # 3 of the sixth embodiment, and thereafter the 3D medical image acquisition unit 23 acquires the 3D medical image V. performed (# 14), based on the three-dimensional medical image V obtained by three-dimensional medical image obtaining unit 23, the endoscope position and orientation recognition unit 32 recognizes the endoscope position P E and the orientation VL E ( # 15), the treatment instrument position recognition unit 33 recognizes the treatment instrument position PT (# 16).
  • Steps # 17 and # 18 are the same as Steps # 5 and # 6 of the sixth embodiment.
  • Step # 19 the virtual endoscopic image generation unit 27 is extracted by the treatment instrument position recognition unit 33.
  • a virtual endoscopic image I VE is generated using a color template defined so that a region representing the treated instrument 6 is displayed in a predetermined color. Therefore, it is not necessary to generate a shape image of the treatment instrument 6 as in the sixth embodiment.
  • Steps # 20 and # 21 are the same as steps # 8 and # 9 of the sixth embodiment.
  • the acquired three-dimensional medical image V is substantially the same time point as the real endoscopic image I RE. Therefore, the situation inside the abdominal cavity is more accurately reproduced in real time than when the three-dimensional medical image V acquired before the observation under the endoscope is used.
  • a virtual endoscopic image I VE is generated.
  • it is necessary to pay attention to the imaging posture so that the position of the subject corresponding to the origin of the coordinate axes and the orientation of the coordinate axes do not fluctuate when the three-dimensional medical image V is captured in step # 11 and step # 14. There is.
  • an ultrasonic diagnostic apparatus as the modality 5 in order to reduce the exposure dose of the subject.
  • the modality 5 and the image processing workstation 9 are directly connected in the hardware configuration of FIGS. 1 and 16, but the image storage server is connected to the LAN,
  • the three-dimensional medical image V formed by the modality 5 is temporarily stored in the database of the image storage server, and the three-dimensional medical image is sent from the image storage server to the image processing workstation 9 in response to a request from the image processing workstation 9.
  • the medical image V may be transferred.
  • the endoscope 1 may be a flexible endoscope or a capsule endoscope instead of a rigid endoscope.
  • the modality 5 may use an MRI apparatus or the like in addition to the above CT apparatus and ultrasonic diagnostic apparatus.
  • the WS display 10 may be a display corresponding to a known stereoscopic display, and may display the virtual endoscopic image IVE as a stereoscopic image.
  • the virtual endoscopic image generation unit 27 uses the left and right eyes from the viewpoint position VP VE.
  • the position of each eye shifted by the amount of parallax is set, and a virtual endoscopic parallax image for the left and right eyes is generated by central projection with the set position of each eye as the viewpoint, and the display control unit 28 displays the virtual endoscope parallax image for the left eye on the display pixel for the left eye of the WS display 10, and the virtual endoscope parallax image for the right eye on the display pixel for the right eye of the WS display 10. What is necessary is just to control to display.
  • a magnetic type may be used, or a gyroscope, a rotary encoder, or the like may be used as described in Patent Document 2.
  • observation site may be another site of the subject suitable for observation under the endoscope, such as in the chest cavity, not in the abdominal cavity.
  • the virtual endoscopic image generation unit 27 generates a virtual endoscopic image in the period in which the real endoscopic image I RE is formed by the real endoscopic image forming unit 2.
  • the actual endoscope image acquisition unit 21 may receive all of the formed actual endoscope image IE .
  • the display control unit 28 does not synchronize with the generation timing of the virtual endoscopic image I VE by the virtual endoscopic image generation unit 27, and each time the real endoscopic image I RE is received, the real display of the WS display 10 is performed.
  • the display of the endoscopic image I RE may be updated.
  • the endoscope position and orientation acquisition unit 22 advance to receive all of the endoscope position PS E detected by endoscope position and orientation detection part 11 at predetermined time intervals, the process of step # 4 in FIG. 3 only the endoscope position PS E received at timing that is called may be output after converting into the endoscope position P E of the latter coordinate transformation function. The same applies to the treatment instrument position acquisition unit 31.
  • the coordinate conversion performed by the endoscope position / posture acquisition unit 22 and the treatment instrument position acquisition unit 31 may be performed by the virtual endoscope image generation unit 27.
  • the attention position specifying unit 24 may automatically specify the attention position using a known image recognition technique (such as a blood vessel or organ extraction method or an abnormal shadow detection method).
  • a known image recognition technique such as a blood vessel or organ extraction method or an abnormal shadow detection method.
  • the virtual endoscopic image generation unit 27 further generates a virtual endoscopic image having a plurality of positions of interest as viewpoints, such as a surgical target site, a blood vessel requiring attention, an organ requiring attention, and a treatment tool. May be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】被検体の体腔内に挿入された内視鏡下での体腔内の観察の際に、処置具や手術対象部位等の注目箇所と内視鏡との位置関係や相互の接近状況をより確実に把握する。 【解決手段】仮想視野決定部（２６）が、内視鏡位置姿勢検出部（１１）で検出された内視鏡の位置に対応する３次元医用画像中での位置に配置された仮想内視鏡の仮想視野を、注目位置特定部（２４）によって特定された注目構造物の位置、内視鏡の対応位置と姿勢、内視鏡画角取得部（２５）で取得された内視鏡の画角に基づいて、注目構造物の位置が仮想視野内に含まれるように、かつ、内視鏡の視野と連続性を有するように決定し、仮想内視鏡画像生成部（２７）が、３次元医用画像形成部（５）で形成された３次元医用画像を入力として、内視鏡の対応位置を視点とし、決定された仮想視野を有する仮想内視鏡画像を生成し、表示制御部（２７）が、生成された仮想内視鏡画像をＷＳディスプレイ（１０）に表示させる。

Description

内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
本発明は、被検体の体腔内に挿入された内視鏡下での手術や検査等における、内視鏡観察を支援する技術に関するものであり、特に、被検体の体腔内を表す仮想内視鏡画像を用いて内視鏡観察を支援する技術に関するものである。
近年、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術が注目されている。この内視鏡手術では、開腹や開胸等を行うことなく、内視鏡と処置具を刺入するための数センチ程度の穴を２、３個開けるだけで済むので、患者の負担が極めて小さいというメリットがある。一方で、内視鏡の限られた視野で手術を実施することは技術的難易度が高く、執刀を行う医師は熟練を要する。もし患者の血管や臓器を誤って傷つけてしまい、出血してしまった場合には、開腹、開胸等を伴う従来の手法による手術に移行せざるを得ない。
一方、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術が知られている。この技術は、特に大腸の腫瘍を発見するために、内視鏡検査をすることなくＣＴ撮影のみで腫瘍を発見する方法として北米で普及している。
そして、仮想内視鏡画像を用いて内視鏡手術を支援する技術が提案されている。
例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。
また、特許文献２には、内視鏡の位置をリアルタイムに検出し、内視鏡と同じ視野を有し、視野内の血管配置が視覚化された仮想内視鏡画像を生成するとともに、内視鏡下での手術に用いられる処置具の位置をリアルタイムに検出し、仮想内視鏡画像中での処置具の位置に処置具を表す画像を合成した画像を生成し、合成画像と実内視鏡画像を表示する装置が記載されている。
特開２００２－２６３０５３号公報 特開２００５－２１３５３号公報
しかしながら、これらの文献に記載された手法では、内視鏡の狭い視野を仮想内視鏡画像によって補うことはできるものの、仮想内視鏡画像は実内視鏡画像と同じ視点、同じ観察方向の画像であるから、処置具や手術対象部位等の注目箇所と内視鏡との位置関係によっては、仮想内視鏡画像や実内視鏡画像中に注目箇所が表示されない可能性があり、注目箇所に対する内視鏡の接近状況が把握できないこともありうる。
本発明は上記事情に鑑みてなされたものであり、被検体の体腔内に挿入された内視鏡下での体腔内の観察の際に、処置具や手術対象部位等の注目箇所と内視鏡との位置関係や注目箇所に対する内視鏡の接近状況をより確実に把握可能なシステムおよび方法、並びに装置およびプログラムを提供することを目的とするものである。
本発明の内視鏡観察支援システムは、被検体の体腔内を表す３次元医用画像を形成する３次元医用画像形成手段と、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、前記体腔内に挿入された内視鏡の位置および姿勢をリアルタイムに検出する内視鏡位置姿勢検出手段と、前記内視鏡の画角の情報を取得する内視鏡画角取得手段と、前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された（第１の）注目構造物の位置、並びに、前記検出された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記（第１の）注目構造物の位置が含まれるように、かつ、前記内視鏡の視野に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定する仮想視野決定手段と、前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記仮想内視鏡画像を表示する表示手段とを設けたことを特徴とする。
本発明の内視鏡観察支援方法は、被検体の体腔内に挿入された内視鏡下での前記体腔内の観察より前または該観察中に、前記体腔内を表す３次元医用画像を形成するステップと、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定するステップと、前記体腔内に挿入された内視鏡の位置および姿勢をリアルタイムに検出するステップと、前記内視鏡の画角の情報を取得するステップと、前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された（第１の）注目構造物の位置、並びに、前記検出された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記（第１の）注目構造物の位置が該仮想視野内に含まれるように、かつ、前記内視鏡に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定するステップと、前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、前記仮想内視鏡画像を表示するステップとを有することを特徴とすることを特徴とする。
本発明の内視鏡観察支援装置は、被検体の体腔内を表す３次元医用画像を取得する３次元医用画像取得手段と、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、位置姿勢検出手段によってリアルタイムに検出された前記体腔内に挿入された内視鏡の位置および姿勢を取得する位置取得手段と、前記内視鏡の画角の情報を取得する内視鏡画角取得手段と、前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された（第１の）注目構造物の位置、並びに、前記取得された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記（第１の）注目構造物の位置が該仮想視野内に含まれるように、かつ、前記内視鏡の視野に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定する仮想視野決定手段と、前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記仮想内視鏡画像を表示手段に表示させる表示制御手段とを設けたことを特徴とする。
本発明の内視鏡観察支援プログラムは、コンピュータに、被検体の体腔内を表す３次元医用画像を取得するステップと、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定するステップと、位置姿勢検出手段によってリアルタイムに検出された、前記体腔内に挿入された内視鏡の位置および姿勢を取得するステップと、前記内視鏡の画角の情報を取得するステップと、前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された（第１の）注目構造物の位置、並びに、前記検出された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記（第１の）注目構造物の位置が該仮想視野内に含まれるように、かつ、前記内視鏡の視野に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定するステップと、前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する仮想内視鏡画像を生成するステップと、前記仮想内視鏡画像を表示手段に表示させるステップとを実行させることを特徴とする。
以下、本発明の詳細について説明する。
本発明において、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、仮想内視鏡画像とともに、仮想内視鏡画像の生成時に用いられた内視鏡の位置および姿勢が検出されたのとほぼ同じタイミングで形成された実内視鏡画像を、仮想内視鏡画像と該実内視鏡画像とで対応する位置を重畳させて表示するようにしてもよい。これにより、内視鏡での撮像によりリアルタイムに形成された実内視鏡画像と、実内視鏡画像の形成とほぼ同じタイミングで位置姿勢検出手段によってリアルタイムに検出された内視鏡の位置から見た仮想内視鏡画像とが重畳表示される。
また、内視鏡の位置および姿勢の検出に応じて仮想内視鏡画像の生成を繰り返し行えば、内視鏡の移動に応じて、実内視鏡画像も仮想内視鏡画像もリアルタイムに更新される。
本発明において、３次元医用画像の形成・取得を内視鏡下での観察中に行う場合には、リアルタイムでその取得を行うようにしてもよい。その際、取得された３次元医用画像に対する画像認識処理により、内視鏡の位置や姿勢を検出するようにしてもよい。
「（第１の）注目構造物」の具体例としては、内視鏡下での手術対象部位や、手術において注意を有する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。これらの（第１の）注目構造物の位置の具体的な特定方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、両者を組み合わせた方法のいずれであってもよい。あるいは、「（第１の）注目構造物」は、体腔内に挿入された処置具であってもよい。
また、「仮想視野」は、（第１の）注目構造物の位置を視野に含むように決定されるが、視点（内視鏡の位置）から（第１の）注目構造物の位置に向かう視線上の画像情報が仮想内視鏡画像に反映されていればよく、例えば、内視鏡と（第１の）注目構造物との間に、臓器や血管、ヒダ等の構造物がある場合等には、仮想内視鏡画像中に（第１の）注目構造物が必ずしも表されていなくてもよい。
さらに、「仮想視野」は、内視鏡の視野と連続性を有するものである。ここで、「（仮想内視鏡画像の）視野が内視鏡の視野と連続性を有する」とは、両視野が少なくとも１点で接することを意味する。具体的には、一方の視野が他方の視野に包含されていてもよいし、両視野の一部が重複していてもよいし、両視野が一致していてもよい。
「仮想視野」は、内視鏡よりも広い画角を有するようにしてもよい。
また、「仮想内視鏡画像」は、（第１の）注目構造物が識別可能な態様で表されたものとしてもよい。
「仮想内視鏡画像」の生成の際、内視鏡から体腔内の構造物の表面までの距離を仮想内視鏡画像の画素値の決定要素として用いてもよい。また、実内視鏡画像に表された体腔内各部とほぼ同じ外観の仮想内視鏡画像が得られるように定義されたカラーテンプレートを用いてもよい。ただし、このカラーテンプレートには、例えば、体腔内各部の色が実内視鏡画像とほぼ同じになるように定義されたものとしつつ、体腔内各部を必要に応じて半透明化し、実内視鏡画像では前方の遮蔽物等により観察することのできない後方の構造物を視認できるように定義されたものも含まれる。
また、本発明において、３次元医用画像中の体腔内の第２の注目構造物を検出するようにし、検出された第２の注目構造物が視認可能な態様の仮想内視鏡画像を生成するようにしてもよい。ここで、「第２の注目構造物」の具体例としては、第１の注目構造物と同様のものが挙げられる。したがって、例えば、第１の構造物は内視鏡下での手術対象部位とし、第２の注目構造物は手術において注意を有する解剖学的構造物とするか、あるいは、その逆とすることが考えられる。
さらに、本発明において、内視鏡と（第１の）注目構造物とが所定の基準を満たす程度に接近している場合には警告を提示するようにしてもよい。警告は仮想内視鏡画像中等に視覚的に提示してもよいし、他の感覚器に訴える方法で提示してもよい。
本発明では、被検体の体腔内を表す３次元医用画像を入力として、位置姿勢検出手段によって検出された内視鏡の位置に対応する３次元医用画像中での位置を視点とし、注目構造物の位置を視野に含み、視野が内視鏡の視野と連続性を有する仮想内視鏡画像を生成して表示する。ここで、表示される仮想内視鏡画像は、注目構造物の位置が必ず視野内に含まれるように視野が決定されているので、内視鏡と注目構造物との位置関係や接近状況を確実に把握することが可能になり、手術や検査等における手技のミス等の防止に資する。また、仮想内視鏡画像の視野が内視鏡の視野と連続性を有するので、両視野の位置関係の把握が容易になり、例えば、実際の内視鏡画像中に注目構造物が含まれない場合に、内視鏡をどのように動かせば注目構造物が実際の内視鏡の視野内に入ってくるかを容易に把握することが可能になり、手術中における内視鏡の操作性の向上に資する。
また、このとき、内視鏡の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視点や視野がリアルタイムに変更された仮想内視鏡画像が連続的に表示されるので、注目構造物への内視鏡の接近状況を、動的に、より的確に捉えることが可能になる。
さらに、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、仮想内視鏡画像とともに、仮想内視鏡画像の生成時に用いられた内視鏡の位置および姿勢が検出されたのとほぼ同じタイミングで形成された実内視鏡画像を、仮想内視鏡画像と実内視鏡画像とで対応する位置を重畳させて表示するようにすれば、表示される実内視鏡画像と仮想内視鏡画像とは、ほぼ同じ時点での体腔内の状態が表されたものとなり、実内視鏡画像と仮想内視鏡画像とが時間的同期を取って連続的に表示される。また、このとき、内視鏡の位置の検出に応じて仮想内視鏡画像の生成を繰り返し行えば、実内視鏡画像も仮想内視鏡画像もリアルタイムに更新される。すなわち、内視鏡の移動や回転等の操作に連動して実内視鏡画像の視野が変化するとともに、内視鏡の移動等の操作に連動して仮想内視鏡画像の視野も変化させることができる。このように、実内視鏡画像と仮想内視鏡画像によって相互補完的に体腔内を観察することが可能になる。
本発明の第１から第５の実施形態となる内視鏡観察支援システムのハードウェア構成図 本発明の第１から第３の実施形態における内視鏡観察支援システムの機能ブロック図 本発明の第１から第３の実施形態における内視鏡観察支援処理の流れを表したフローチャート 本発明の第１の実施形態において実内視鏡の視野と注目構造物の位置に基づいて決定された仮想内視鏡の視野の一例を模式的に表した図 本発明の第１の実施形態における実内視鏡画像と仮想内視鏡画像の重畳表示の一例を模式的に表した図 本発明の第１の実施形態の変形例において実内視鏡の視野と注目構造物の位置に基づいて決定された仮想内視鏡の視野の第１の例を模式的に表した図 本発明の第１の実施形態の変形例における、図５Ａの場合の実内視鏡画像と仮想内視鏡画像の重畳表示の一例を模式的に表した図 本発明の第１の実施形態の変形例において実内視鏡の視野と注目構造物の位置に基づいて決定された仮想内視鏡の視野の第２の例を模式的に表した図 本発明の第１の実施形態の変形例における、図６Ａの場合の実内視鏡画像と仮想内視鏡画像の重畳表示の一例を模式的に表した図 本発明の第１の実施形態の変形例において実内視鏡の視野と注目構造物の位置に基づいて決定された仮想内視鏡の視野の第３の例を模式的に表した図 本発明の第１の実施形態の変形例における、図７Ａの場合の実内視鏡画像と仮想内視鏡画像の重畳表示の一例を模式的に表した図 注目構造物と内視鏡の間に他の構造物が存在する場合の一例を模式的に表した図 本発明の第２の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図 本発明の第３の実施形態における、視点からの腹腔内の解剖学的構造物の表面までの距離に応じて仮想内視鏡画像の表示色を変化させるためのカラーテンプレートの一例を模式的に表した図 本発明の第３の実施形態における、視点からの距離に応じて表示色を変化させた仮想内視鏡画像の一例を模式的に表した図 本発明の第４の実施形態における内視鏡観察支援システムの機能ブロック図 本発明の第４の実施形態における内視鏡観察支援処理の流れを表したフローチャート 本発明の第４の実施形態における警告表示の一例を模式的に表した図 本発明の第５の実施形態における内視鏡観察支援システムの機能ブロック図 本発明の第５の実施形態における内視鏡観察支援処理の流れを表したフローチャート 注目構造物と要注意構造物と内視鏡の位置関係と、内視鏡および仮想内視鏡の視野の一例を模式的に表した図 本発明の第５の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図 本発明の第５の実施形態における実内視鏡画像と仮想内視鏡画像の重畳表示の一例を模式的に表した図 本発明の第６の実施形態となる内視鏡観察支援システムのハードウェア構成図 本発明の第６の実施形態における内視鏡観察支援システムの機能ブロック図 本発明の第６の実施形態における内視鏡観察支援処理の流れを表したフローチャート 本発明の第６の実施形態において実内視鏡の視野と注目構造物、処置具の位置に基づいて決定された仮想内視鏡の視野の一例を模式的に表した図 本発明の第６の実施形態における実内視鏡画像と仮想内視鏡画像の重畳表示の一例を模式的に表した図 本発明の第７の実施形態における内視鏡観察支援システムの機能ブロック図 本発明の第７の実施形態における内視鏡観察支援処理の流れを表したフローチャート
以下、本発明の実施の形態となる内視鏡観察支援システムについて説明する。
図１は、本発明の第１の実施形態となる内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１、デジタルプロセッサ２、光源装置３、実内視鏡画像用ディスプレイ４、モダリティ５、処置具６、内視鏡用マーカー７ａ、位置センサ８、画像処理ワークステーション９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１０から構成されている。
本実施形態では、内視鏡１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部から照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、実内視鏡画像データ(ＩRE)を出力する。出力された実内視鏡画像データ(ＩRE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。また、デジタルプロセッサ２は、実内視鏡画像データ(ＩRE)をアナログ信号に変換して実内視鏡画像用ディスプレイ４に出力し、実内視鏡画像用ディスプレイ４には実内視鏡画像(ＩRE)が表示される。内視鏡１での撮像信号の取得は所定のフレームレートで行われるので、実内視鏡用ディスプレイ４では、実内視鏡画像(ＩRE)が腹腔内を表す動画として表示される。さらに、内視鏡１では、ユーザの操作に応じて静止画撮影も可能である。
モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データ(Ｖ)を生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データ(Ｖ)にもＤＩＣＯＭ規格で規定された付帯情報が付加されている。また、３次元医用画像データ(Ｖ)も、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。
内視鏡用マーカー７ａおよび位置センサ８は公知の３次元位置計測装置を構成する。内視鏡用マーカー７ａは、内視鏡１の手元付近に設けられており、光学式の位置センサ８によって、所定の時間間隔でマーカー７ａの３次元位置が検出される。内視鏡用マーカー７ａは複数のマーカー片から構成されているので、位置センサ８は、各マーカー片の位置関係から内視鏡１の姿勢も検出可能である。ここで、内視鏡１の姿勢は、内視鏡が挿入された向きを表すものであり、内視鏡の視野の中心における視線の向きと一致するので、以下では、内視鏡１の姿勢のことを内視鏡１の中心視線ベクトルともいう。また、オフセット計算によって、内視鏡１の先端部の３次元位置PSEを算出することができる。位置センサ８は、算出された内視鏡１の３次元位置データPSE、および、３次元姿勢データDSEを、ＵＳＢインターフェースを介して画像処理ワークステーション９に送信する。
画像処理ワークステーション９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１０が接続されている。また、画像処理ワークステーション９は、デジタルプロセッサ２やモダリティ５とはＬＡＮ接続されており、位置センサ８とはＵＳＢ接続されている。さらに、画像処理ワークステーション９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ－ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
図２は、本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図に示したように、本発明の第１の実施形態となる内視鏡観察得支援システムは、内視鏡１、実内視鏡画像形成部２、実内視鏡画像用ディスプレイ４、３次元医用画像形成部５、ＷＳディスプレイ１０、内視鏡位置姿勢検出部１１、実内視鏡画像取得部２１、内視鏡位置姿勢取得部２２、３次元医用画像取得部２３、注目位置特定部２４、内視鏡画角取得部２５、仮想視野決定部２６、仮想内視鏡画像生成部２７、表示制御部２８から構成されている。なお、図１に示したハードウェア機器と図２に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現される。一方、内視鏡位置姿勢検出部１１の機能は、内視鏡用マーカー７ａおよび位置センサ８によって実現される。また、破線枠は画像処理ワークステーション９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション９で所定のプログラムを実行することによって実現される。さらに、実内視鏡画像ＩRE、内視鏡検出位置PSE、内視鏡姿勢DSE、内視鏡位置ＰE、内視鏡の中心視線ベクトルVLE、内視鏡画角ＡE、仮想内視鏡視点VPVE、仮想内視鏡の中心視線ベクトルVLVE、仮想内視鏡画角ＡVE、３次元医用画像Ｖ、注目位置ＰI、仮想内視鏡画像ＩVEは、各々、破線枠内の各処理部によって、画像処理ワークステーション９の所定のメモリ領域に対して読み書きされるデータである。
次に、図３に示したフローチャートを用いて、本発明の第１の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。
まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の腹腔内の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション９では、３次元医用画像取得部２３が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得した後(#1)、注目位置特定部２４が、３次元医用画像取得部２３によって取得された３次元医用画像Ｖに表された体腔内の注目構造物（例えば手術対象部位）の指定操作を受け付けるユーザインターフェースを提示し、取得された３次元医用画像Ｖに基づいて、指定された注目構造物の３次元医用画像Ｖ中での位置ＰIを特定する(#2)。
そして、図３のフローチャートの右側に付記したように、注目構造物を対象とする内視鏡下手術中、すなわち、内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで(#7; YES)、実内視鏡画像形成部２は、所定のフレームレートで、体腔内に挿入された内視鏡１による実内視鏡画像ＩREを繰り返し形成し、形成された実内視鏡画像ＩREは実内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示される。また、内視鏡位置姿勢検出部１１は、所定の時間間隔で、体腔内に挿入された内視鏡１の位置PSEおよび姿勢DSEを繰り返しリアルタイムに検出する。
画像処理ワークステーション９では、実内視鏡画像取得部２１が、実内視鏡画像形成部２で形成された実内視鏡画像ＩREを取得し(#3)、これとほぼ同じタイミングで、内視鏡位置姿勢取得部２２が、内視鏡位置姿勢検出部１１で検出された内視鏡検出位置PSEおよび姿勢DSEを取得し、取得された内視鏡位置PSEおよび姿勢DSEを３次元医用画像Ｖの座標系における位置および姿勢に変換して得られた内視鏡位置ＰEおよび姿勢（中心視線ベクトル）VLEを出力する(#4)。
また、内視鏡画角取得部２５は、画像処理ワークステーション９の所定のメモリ領域から内視鏡１の画角ＡEを取得する(#5)。
仮想視野決定部２６は、内視鏡位置姿勢取得部２２によって得られた内視鏡位置ＰEに配置された仮想内視鏡の仮想視野を、注目位置特定部２４によって特定された注目構造物の位置ＰI、並びに、内視鏡位置姿勢取得部２２によって得られた位置ＰEと中心視線ベクトルVLE、および、内視鏡画角取得部２５によって取得された内視鏡の画角ＡEに基づいて、注目構造物の位置ＰIが仮想視野内に含まれるように、かつ、内視鏡１の視野に対応する３次元医用画像中での視野である内視鏡対応視野と連続性を有するように決定し、仮想内視鏡の視点VPVL、中心視線ベクトルVLVE、画角ＡVEを出力する(#6)。
仮想内視鏡画像生成部２７は、３次元医用画像取得部２３によって取得された３次元医用画像Ｖを入力として、仮想視野決定部２６によって決定された、仮想内視鏡の視点VPVL、中心視線ベクトルVLVE、画角ＡVEに基づいて、内視鏡位置VPE(VPVL)を視点とし、前記仮想視野を有する仮想内視鏡画像ＩVEを生成する(#7)。
そして、表示制御部２８は、実内視鏡画像取得部２１によって取得された実内視鏡画像ＩREと、仮想内視鏡画像生成部２７によって生成された仮想内視鏡画像ＩVEとをＷＳディスプレイ１０に表示させる(#8)。
画像処理ワークステーション９では、観察終了を指示する操作が行わない限り(#9; No)、新たな実内視鏡画像ＩREの取得(#3)、その時点での内視鏡位置ＰEおよび姿勢VLVEの取得(#4)、内視鏡画角ＡEの取得(#5)、仮想視野の決定(#6)、仮想内視鏡画像ＩVEの生成(#7)、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの表示の更新(#8)が繰り返し行われる。これにより、ＷＳディスプレイ１０では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的に同期した連続表示が実現される。一方、観察終了を指示する操作が行われた場合には(#9;Yes)、画像処理ワークステーション９は、上記ステップ#3から#8までの繰返し処理を終了する。
次に、画像処理ワークステーション９内の各処理部で行われる処理の詳細について説明する。
実内視鏡画像取得部２１は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像ＩREを受信し、画像処理ワークステーション９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部２１からの要求に基づいて実内視鏡画像形成部２から実内視鏡画像ＩREが転送される。
内視鏡位置姿勢取得部２２は、内視鏡位置姿勢検出部１１との通信により内視鏡検出位置PSEおよび姿勢DSEを取得する通信インターフェースとしての機能と、取得した内視鏡位置PSEおよび姿勢DSEを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEおよび姿勢（中心視線ベクトル）VLEに変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置姿勢取得部２２からの要求ベースで内視鏡位置姿勢検出部１１から内視鏡位置PSEおよび姿勢DSEが取得される。また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ８の３次元座標系で表現された内視鏡位置PSEおよび姿勢DSEを３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEおよび姿勢（中心視線ベクトル）VLEに変換することができる。
３次元医用画像取得部２３は、３次元医用画像形成部５から３次元医用画像Ｖを受信し、画像処理ワークステーション９の所定のメモリ領域に格納する通信インターフェース機能を有する。
注目位置特定部２４は、公知のＭＰＲ法により３次元医用画像Ｖから生成された所定の断面を表す断面画像中に、画像処理ワークステーション９のポインティングデバイスやキーボードを用いて注目構造物の指定する操作を受け付けるユーザインターフェースを提示する。例えば、ポインティングデバイスによって、断面画像中の注目構造物がクリックされると、注目位置特定部２４は、クリックにより指定された注目構造物の３次元医用画像Ｖ中での位置ＰIを特定し、画像処理ワークステーション９の所定のメモリ領域に格納する。ここで、注目構造物として、手術対象の部位や手術時における要注意箇所等が、ユーザの所望に応じて指定される。
内視鏡画角取得部２５は、プログラムの起動パラメータや設定ファイル等に内視鏡１の仕様に基づいて予め設定されている内視鏡１の画角ＡEの情報を取得する。なお、内視鏡１の画角ＡEの情報が実内視鏡画像ＩREの付帯情報として付帯されている場合には、内視鏡画角取得部２５は、この付帯情報を解析して内視鏡１の画角ＡEの情報を取得してもよい。
仮想視野決定部２６は、図４Ａに模式的に示したように、まず、仮想内視鏡と内視鏡１の視点位置および中心視線ベクトルの向きを一致させる。すなわち、内視鏡位置姿勢取得部２２によって得られた内視鏡位置ＰEを仮想内視鏡の視点位置VPVEに決定するとともに、内視鏡位置姿勢取得部２２によって得られた内視鏡１の中心視線ベクトルVLEを仮想内視鏡の中心視線ベクトルVLVEに決定する。また、仮想視野決定部２６は、仮想内視鏡の画角ＡVEを、内視鏡１の画角AEよりも広く、かつ、仮想内視鏡の視野内に注目構造物の位置ＰIが含まれるように決定する。具体的には、例えば、仮想内視鏡の視点位置VPVEと注目構造物の位置ＰIとを結ぶベクトルと仮想内視鏡の中心視線ベクトルVLVEとのなす角をθとすると、仮想内視鏡の画角ＡVEは、内視鏡１の画角ＡEと２θの大きい方の値に定数を加えたり、所定の１より大きい係数を乗じたりすることによって求めることができる。なお、求められた画角ＡVEの値が所定の閾値以上の場合となる場合には、画角設定エラーとして、所定のエラー処理（処理の中断や内視鏡１の姿勢の変更や注目構造物の位置ＰIの修正等を促す警告メッセージの表示等）を行うようにしてもよい。以上のようにして決定された仮想内視鏡の視点位置VPVE、中心視線ベクトルＶＬVE、画角ＡVEは、所定のメモリ領域に書き込まれる。
仮想内視鏡画像生成部２７は、３次元医用画像Ｖを入力として、図４Ａに示したように、仮想内視鏡の中心視線ベクトルＶＬVEの向きを視野の中心を通る視線ベクトルの向きとして、画角ＡVEの範囲内で、仮想内視鏡の視点位置VVPVEからの放射状の複数の視線を設定し、公知の中心投影によるボリュームレンダリング法により、各視線上の画素値を投影した仮想内視鏡画像ＩVEを生成する。ここで、ボリュームレンダリングの際には、実内視鏡画像ＩREに表された腹腔内各部とほぼ同じ外観の画像が得られるように色や透明度が予め定義されたカラーテンプレートが用いられる。
表示制御部２８は、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとを、両画像の視野の中心を一致させることによって、対応する位置を合わせて重畳した表示画面を生成し、ＷＳディスプレイ１０に出力する。これにより、ＷＳディスプレイ１０には、図４Ｂに模式的に例示された実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが重畳された表示画面が表示される。なお、両画像の重ね合わせには、公知のアルファブレンディング法等を用いることができる。
以上のように、本発明の第１の実施形態では、仮想視野決定部２６が、内視鏡位置姿勢取得部２２によって得られた内視鏡位置ＰEを仮想内視鏡の視点位置VPVEとし、内視鏡位置姿勢取得部２２によって得られた内視鏡１の中心視線ベクトルVLEを仮想内視鏡の中心視線ベクトルVLVEとし、仮想内視鏡の画角ＡVEを、内視鏡１の画角AEよりも広く、かつ、仮想内視鏡の視野内に注目構造物の位置ＰIが含まれるように決定することによって、注目構造物の位置ＰIが仮想視野内に含まれ、かつ、内視鏡１の視野に対応する３次元医用画像中での視野である内視鏡対応視野と連続性を有するようになる。そして、仮想内視鏡画像生成部２７が、３次元医用画像取得部２３によって取得された３次元医用画像Ｖを入力として、仮想視野決定部２６によって決定された、仮想内視鏡の視点VPVL、中心視線ベクトルVLVE、画角ＡVEに基づいて、内視鏡位置VPE(VPVL)を視点とし、上記仮想視野を有する仮想内視鏡画像ＩVEを生成し、表示制御部２８が実内視鏡画像ＩREと仮想内視鏡画像ＩVEをＷＳディスプレイ１０に重畳表示させる。ここで、表示される仮想内視鏡画像ＩVEは、注目構造物の位置ＰIが必ず含まれているので、内視鏡１と注目構造物との位置関係や接近状況を確実に把握することが可能になり、手術や検査等における手技のミス等の防止に資する。また、図４Ｂに例示したように、仮想内視鏡画像ＩVEの視野が内視鏡１の視野を包含するので、両視野の位置関係の把握が容易になり、例えば、実際の内視鏡画像ＩRE中に注目構造物が含まれない場合であっても、仮想内視鏡画像IVE中で注目構造物の位置を確認することにより、内視鏡１をどのように動かせば注目構造物が実際の内視鏡１の視野内に入ってくるかを容易に把握することが可能になり、手術中における内視鏡１の操作性の向上に資する。
また、このとき、内視鏡位置姿勢検出部１１が内視鏡１の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野がリアルタイムに変更された仮想内視鏡画像ＩVEが連続的に表示されるので、注目構造物への内視鏡１の接近状況を、動的に、より的確に捉えることが可能になる。
さらに、実内視鏡画像形成部２が、内視鏡１によるリアルタイムの撮像によって体腔内を表す実内視鏡画像ＩREを形成し、仮想内視鏡画像ＩVEの生成時に用いられた内視鏡１の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像ＩREが重畳表示されるので、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとは、ほぼ同じ時点での体腔内の状態が表されたものとなり、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的同期を取って連続的に重畳表示される。また、このとき、内視鏡１の移動や回転等の操作に連動して実内視鏡画像ＩREの視野が変化するとともに、仮想内視鏡画像ＩVEの視野も変化する。このように、本発明の第１の実施形態では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEによって、リアルタイムに、かつ、相互補完的に体腔内を観察することが可能になる。
さらにまた、仮想内視鏡画像生成部２７が、実内視鏡画像ＩREに表された腹腔内各部とほぼ同じ外観の画像が得られるように色や透明度が予め定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成するので、表示制御部２８によって実内視鏡画像ＩREと仮想内視鏡画像ＩVEとがＷＳディスプレイ１０に重畳表示された際、両画像を違和感なく観察することができる。
なお、上記実施形態では、表示制御部２８が、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとを重畳表示させるようにしていたが、両画像を並べて表示するようにしてもよい。
また、上記実施形態では、仮想視野決定部２６が、仮想内視鏡の画角ＡVEのみを内視鏡１の画角と異なる設定にすることによって、注目構造物の位置ＰIが仮想視野内に含まれるようにしていたが、仮想内視鏡の視野の設定の変形例として、仮想内視鏡の中心視線ベクトルVLVEを内視鏡１の中心視線ベクトルVLEと異なる設定にすることによって、注目構造物の位置ＰIが仮想視野内に含まれるようにしてもよい。
図５Ａ、図６Ａ、図７Ａは、注目構造物の位置ＰIが仮想視野の中心となるように中心視線ベクトルVLVEの設定を行った例を、視点VPVE（VPE）と注目構造物の位置ＰIの位置関係毎に表したものである。この例では、仮想視野決定部２６が、仮想内視鏡の中心視線ベクトルVLVEを、視点VPVE（VPE）と注目構造物の位置ＰIとを結ぶ向きに決定し、仮想内視鏡の画角ＡVEを、内視鏡１の画角ＡEよりも広く、かつ、内視鏡１の視野と連続性を有するように決定している。具体的には、内視鏡１の中心視線ベクトルVLEと仮想内視鏡の中心視線ベクトルVLVEとのなす角をαとすると、仮想内視鏡の視野が内視鏡１の視野と連続性を有するためには、次式(1)を満たせばよく、
α－ＡE／2≦ＡVE/2・・・(1)
予め定義された仮想内視鏡の画角の初期値ＡVE0（ＡVE0＞ＡEとする）とすると、仮想内視鏡の画角ＡVEを内視鏡１の画角ＡEよりも広くするという条件をさらに満たすためには、仮想内視鏡の画角ＡVEは、初期値ＡVE0と（2α－ＡE）の大きい方の値とすればよい。なお、2α－ＡEに定数をさらに加えたり、所定の１より大きい係数を乗じたりしてもよい。
図５Ａは、内視鏡１の視野内に注目構造物の位置ＰIが含まれている場合、すなわち、α＜ＡE／2の場合であり、この場合には、仮想内視鏡の画角ＡVEは初期値ＡVE0に決定され、図５Ｂに示したように、実内視鏡画像ＩREの視野が仮想内視鏡画像ＩVEの視野に包含される。なお、初期値ＡVE0の値によっては、実内視鏡画像ＩREの視野と仮想内視鏡画像ＩVEの視野とが重複する関係となる。これに対して、図６Ａに示したように、内視鏡１の視野の中心に対して注目構造物がもう少し離れた位置にある場合、より正確には、0＜α－ＡE／2＜ＡVE0/2の場合も、仮想内視鏡の画角ＡVEは初期値ＡVE0に決定されるが、図６Ｂに示したように、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとは視野が一部重複した状態となる。さらに、図７Ａに示したように、内視鏡１の視野の中心に対して注目構造物の位置ＰIがさらに離れた位置にある場合、より正確には、0＜ＡVE0/2＜α－ＡE／2の場合には、仮想内視鏡の画角ＡVEはα－ＡE／2に決定され、図７Ｂに示したように、実内視鏡画像ＩREの視野と仮想内視鏡画像ＩVEの視野とは１点のみで接する関係になる。
この他、仮想視野決定部２６は、上記の角αを２等分する視線を仮想内視鏡の中心視線ベクトルVLVEに決定し、画角ＡVEをＡVE0、αのいずれよりも大きい値に決定するようにしてもよい。
さらに、これらの仮想内視鏡の視野の設定の変形例においても、表示制御部２８は、内視鏡１の位置ＰEおよび姿勢（中心視線ベクトル）VLE、ならびに、仮想内視鏡の視点VPVE（VPE）および中心視線ベクトル（姿勢）VLVEに基づいて、図５Ａ、図６Ａ、図７Ａに例示したように内視鏡１と仮想内視鏡の視線（光線）の位置関係を特定することによって、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの対応位置を合わせ、図５Ｂ、図６Ｂ、図７Ｂに例示したような実内視鏡画像ＩREと仮想内視鏡画像ＩVEを重畳した表示画面を生成することができる。
なお、これらの仮想内視鏡の視野の設定の変形例において、実内視鏡画像ＩREと仮想内視鏡画像ＩVEを重畳表示させる際、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの視野の中心が一致しない場合には、内視鏡１の光学的特性（特に広角レンズの特性）によって歪曲収差が生じ、実内視鏡画像ＩREの周辺部の像が歪んでしまうので、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの境界部において、像の連続性が途絶えてしまうことになる。そこで、実内視鏡画像ＩREに対して、内視鏡１の光学的特性に応じた座標変換用の関数や座標変換マップを用いて、歪曲収差の補正を行い、補正後の実内視鏡画像と仮想内視鏡画像ＩVEとを重畳させるようにすることが好ましい（歪曲収差の補正の詳細については、特開2009-276371号公報等参照）。あるいは、上記歪曲収差の補正と逆の変換を行う関数や変換マップを用いて、仮想内視鏡画像ＩVEを歪める補正を行い、実内視鏡画像ＩREと補正後の仮想内視鏡画像とを重畳させるようにしてもよい。
また、上記実施形態において、注目位置特定部２４が、ユーザによって指定された注目構造物の位置ＰIに基づいて、注目構造物全体を表す領域を抽出するようにし、仮想内視鏡画像生成部２７が、この注目構造物領域に対しては、他の構造物とは異なるカラーテンプレートを用いてボリュームレンダリングを行うようにすれば、図４Ｂ等に示した仮想内視鏡画像ＩVE中において注目構造物の領域を視認性の高い態様で表すことが可能になり、さらに効果的である。なお、上記の注目構造物領域の抽出には、例えば、本出願人が提案する特開2008-245719号公報に記載の手法を用いることができる。具体的には、注目構造物領域内の任意の点ＰIの設定を受け付け（以下、この点をユーザ設定点と呼ぶ）、予め定義しておいた病変領域のありうる大きさの情報を用いて、病変領域が存在し得る３次元の存在範囲を決定し、設定された点と、決定された存在範囲の外側の点とに基づいて、グラフカット法等の領域分割方法などを用いて病変領域を抽出することができる。
本発明の第２の実施形態は、仮想内視鏡画像生成部２７におけるボリュームレンダリング処理の変形例であり、内視鏡観察支援システムのハードウェア構成、および、機能ブロック、処理の全体的な流れは、第１の実施形態と同様である。
図８Ａは、注目構造物と内視鏡１との位置関係の一例を模式的に表したものである。図に示したように、仮想内視鏡画像ＩVEの視点となる内視鏡１の位置ＰEと注目構造物との間を他の解剖学的構造物が遮っている場合、その解剖学的構造物の不透明度が高くなるようにカラーテンプレートが定義されていると、その解剖学的構造物の後方にある注目構造物は仮想内視鏡画像ＩVEには描出されなくなってしまう。そこで、本発明の第２の実施形態では、仮想内視鏡画像生成部２７が、体腔内各部を半透明に表示するように不透明度が定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成するようにする。これにより、生成された仮想内視鏡画像ＩVEは、図８Ｂに模式的に表したように、注目構造物の位置ＰIと内視鏡位置ＰEとの間にある解剖学的構造物が半透明化され、その解剖学的構造物の後方にある注目構造物の位置ＰEに対応する位置が視認可能なものとなる。特に、上記第１の実施形態の変形例で説明したように、注目構造物領域を抽出しておき、他の領域と異なるカラーテンプレートを用いるようにすれば、注目構造物の位置ＰIと内視鏡位置ＰEとの間に解剖学的構造物が存在していても、注目構造物領域全体を視認性の高い態様で表すことが可能になる。このように腹腔内の解剖学的構造物を半透明化した画像は、実内視鏡画像形成部２で形成することは不可能であるから、実内視鏡画像ＩREを補完するものとしてこの半透明化された仮想内視鏡画像ＩVEを用いることは、実用的価値が極めて高い。
本発明の第３の実施形態も、仮想内視鏡画像生成部２７におけるボリュームレンダリング処理の変形例であり、内視鏡観察支援システムのハードウェア構成、および、機能ブロック、処理の全体的な流れは、第１の実施形態と同様である。
図９Ａは、本発明の第３の実施形態で用いられるカラーテンプレートの一例を模式的に表したものである。図に示したように、このカラーテンプレートは、内視鏡１の位置ＰE（仮想内視鏡の視点位置ＰVEと同じ）から腹腔内の構造物の表面までの距離に応じて仮想内視鏡画像ＩVEの色を変化させるように定義されている。仮想内視鏡画像生成部２７は、例えば、中心投影の際の各視線上において、所定の閾値以上に画素値が急激に変化する位置、あるいは、画素値が所定の閾値以上となる位置を腹腔内の構造物の表面として検出し、内視鏡１の位置ＰEから腹腔内の構造物の表面までの距離を算出しておき、このカラーテンプレートを用いて、検出された構造物の表面の仮想内視鏡画像ＩVEでの画素値を決定するようにすれば、図９Ｂに模式的に例示したように、生成される仮想内視鏡画像ＩVEは、構造物の表面について、内視鏡１の位置ＰEからの距離が近いほど色が淡く、その距離が遠いほど色が濃いものとなる。このようにすれば、遠近感を捉えにくい仮想内視鏡画像ＩVEの遠近感を補うことが可能になり、内視鏡１の腹腔内構造物（注目構造物を含む）への接近状況をより容易に把握できるようになる。
本発明の第４の実施形態は、図１０の機能ブロック図に示したように、第１の実施形態に警告判定部２９を付加した構成となっており、内視鏡観察支援システムのハードウェア構成は、第１の実施形態と同様である。
この警告判定部２９は、画像処理ワークステーション９に実装される処理部であり、内視鏡１の位置ＰEと注目構造物の位置ＰIとの間の距離を算出し、算出された距離が所定の閾値よりも小さい場合、すなわち、内視鏡１が注目構造物に許容できない程度に接近している場合に、警告メッセージWMを出力するものである。
図１１は、本発明の第４の実施形態における内視鏡観察支援処理の流れを表したフローチャートであり、図に示したように、第１の実施形態のステップ#8の実内視鏡画像ＩREと仮想内視鏡画像ＩVEの表示の後、警告判定部２９が、上記距離と上記閾値とを比較し(#8.1)、上記距離が上記閾値よりも小さい場合(#8.1;Yes)、警告メッセージWMを出力し、表示制御部２８が、図１２に例示したように、注目構造物の位置ＰIの近傍に「接近注意」のコメント付きの矢印マークを重畳表示させる。これにより、注目構造物に対して、内視鏡１が異常に接近した状態を容易に認識することが可能になり、内視鏡１の誤操作の未然防止に資する。このような警告表示は、注目位置特定部２４において、注目構造物として、手術時に傷をつけると大出血を招く血管等が指定された場合に特に効果的である。
なお、警告メッセージを外部に出力する方法は、上記のように仮想内視鏡画像ＩVEに重畳表示する方法の他、警告音や音声を出力する方法であってもよいし、警告メッセージの重畳表示と警告音等の出力の両方を行ってもよい。また、上記距離に応じた危険度を段階的に定義した危険度判定テーブルを予め用意しておき、警告判定部２９が、算出された距離に基づいてこの危険度判定テーブルを参照して危険度を決定し、この危険度の値を警告メッセージWMとして出力し、表示制御部２８が危険度に応じたアイコン等をＷＳディスプレイ１０に表示させるようにしてもよい。
本発明の第５の実施形態は、図１３の機能ブロック図に示したように、第１の実施形態に要注意構造物検出部３０を付加した構成となっており、内視鏡観察支援システムのハードウェア構成は、第１の実施形態と同様である。
要注意構造物検出部３０は、画像処理ワークステーション９に実装される処理部であり、３次元医用画像Ｖを入力として、公知の画像認識手法により、要注意構造物領域RAを検出する。図１５Ａは、内視鏡１と注目構造物と要注意構造物との位置関係の一例を模式的に表したものである。この例では、要注意構造物検出部３０は公知の血管抽出処理を行うことにより、腹壁の裏側にある注意すべき血管領域RAを検出している。
図１４は、本発明の第５の実施形態における内視鏡観察支援処理の流れを表したフローチャートであり、図に示したように、第１の実施形態のステップ#2で注目位置ＰIを特定した後、要注意構造物検出部３０が要注意構造物領域RAを検出する(#2.1)。また、ステップ#7において、仮想内視鏡画像生成部２７は、要注意構造物領域RAが視認可能になるように定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成する。図１５Ｂは、生成される仮想内視鏡画像ＩVEの一例を模式的に表したものである。図に示した仮想内視鏡画像ＩVEは、腹壁を表す画素が半透明化され、血管を表す画素の視認性が高くなるように色や不透明度が定義されたカラーテンプレートを用いることによって生成されたものである。これにより、要注意構造物の視認性が高まるので、第４の実施形態と同様、内視鏡１や処置具６の誤操作の未然防止に資する。
また、図１５Ｃは、生成される仮想内視鏡画像ＩVEと実内視鏡画像ＩREとを、対応する位置を合わせて重畳表示させた場合を模式的に表したものである。図に示したように、要注意構造物検出部３０によって検出された要注意構造物領域RAを実内視鏡画像ＩREにも重畳させれば、実内視鏡画像ＩRE中で要注意構造物を把握することが可能になる。
なお、要注意構造物検出部３０は、ユーザの手動操作により要注意構造物領域RAを検出するようにしてもよい。また、要注意構造物領域RAに対して、矢印等のマーカーやテキストコメント等のアノテーションを重畳表示させるようにしてもよい。
本発明の第６の実施形態は、注目構造物と処置具の両方が視野に含まれるような仮想内視鏡画像を生成するものであり、図１６のハードウェア構成図に示したように、図１に示した第１の実施形態に処置具用マーカー７ｂを付加した構成となっている。
処置具用マーカー７ｂは、内視鏡用マーカー７ａと同様に、位置センサ８とともに３次元位置計測装置を構成するものであり、処置具６の手元付近に設けられており、位置センサ８によって、所定の時間間隔でマーカー７ｂの３次元位置が検出され、オフセット計算によって、処置具６の先端部の３次元位置PSTを算出することができる。
図１７は、本発明の第６の実施形態の機能ブロック図であり、図２に示した第１の実施形態に、処置具６、処置具位置検出部１２、処置具位置取得部３１が付加された構成となっている。ここで、処置具位置検出部１２の機能は、図１６の処置具用マーカー７ｂおよび位置センサ８によって実現される。また、処置具位置ＰTは、破線枠内の各処理部によって、画像処理ワークステーション９の所定のメモリ領域に対して読み書きされるデータである。
図１８は、本発明の第６の実施形態における内視鏡観察支援処理の流れを表したフローチャートであり、図の右側に付記したように、内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで(#9; YES)、実内視鏡画像形成部２が実内視鏡画像ＩREを繰り返し形成し、内視鏡位置姿勢検出部１１が内視鏡の位置PSEおよび姿勢DSEを検出するだけでなく、処置具位置検出部１２が、所定の時間間隔で、体腔内に挿入された処置具６の位置PSTを繰り返しリアルタイムに検出する。また、第１の実施形態のステップ#4で内視鏡の位置と姿勢の取得を行った後、処置具位置取得部３１が、処置具位置検出部１２で検出された処置具位置PSTを取得し、取得された処置具位置PSTを３次元医用画像Ｖの座標系における位置に変換して得られた処置具位置ＰTを出力する(#4.1)。
そして、内視鏡画角取得部２５が内視鏡１の画角ＡEを取得した後(#5)、仮想視野決定部２６は、内視鏡位置ＰEに配置された仮想内視鏡の仮想視野を、注目構造物の位置ＰI、内視鏡位置ＰEと中心視線ベクトルVLE、画角ＡEに加えて、処置具位置取得部３１によって取得された処置具位置ＰTにも基づいて、注目構造物の位置ＰIおよび処置具位置ＰTが仮想視野内に含まれるように、かつ、内視鏡１の視野に対応する３次元医用画像中での視野である内視鏡対応視野と連続性を有するように決定し、仮想内視鏡の視点VPVL、中心視線ベクトルVLVE、画角ＡVEを出力する(#6)。仮想内視鏡画像生成部２７は、第１の実施形態と同様にして仮想内視鏡画像ＩVEを生成する際に、処置具位置取得部３１によって取得された処置具位置ＰTに基づいて、仮想内視鏡画像ＩVE中の処置具位置ＰTに対応する位置に処置具６が存在することを識別可能な態様で表した仮想内視鏡画像ＩVEを生成する(#7)。以降の処理の流れ(#8から#9)は第１の実施形態と同様である。
次に、各処理部のうち本実施形態に特有の点について詳細に説明する。
処置具位置取得部３１は、内視鏡位置取得部２２と同様に、処置具位置検出部１２との通信により処置具位置PSTを取得する通信インターフェースとしての機能と、取得した処置具位置PSTを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された処置具位置ＰTに変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。
仮想視野決定部２６は、図１９Ａに模式的に示したように、まず、第１の実施形態と同様に、内視鏡位置姿勢取得部２２によって得られた内視鏡位置ＰEを仮想内視鏡の視点位置VPVEに決定するとともに、内視鏡位置姿勢取得部２２によって得られた内視鏡１の中心視線ベクトルVLEを仮想内視鏡の中心視線ベクトルVLVEに決定する。次に、仮想視野決定部２６は、仮想内視鏡の画角ＡVEを、内視鏡１の画角AEよりも広く、かつ、仮想内視鏡の視野内に注目構造物の位置ＰIおよび処置具位置ＰTが含まれるように決定する。具体的には、例えば、仮想内視鏡の視点位置VPVEと注目構造物の位置ＰIとを結ぶベクトルと仮想内視鏡の中心視線ベクトルVLVEとのなす角をθ1、仮想内視鏡の視点位置VPVEと処置具位置ＰTとを結ぶベクトルと仮想内視鏡の中心視線ベクトルVLVEとのなす角をθ2とすると、仮想内視鏡の画角ＡVEは、内視鏡１の画角ＡE、２θ1、２θ2のうち最も大きい値に定数を加えたり、所定の１より大きい係数を乗じたりすることによって求めることができる。図１９Ａでは、注目構造物の位置ＰIよりも処置具位置ＰTの方が視野の中心から離れているので、２θ2が最大値となる。
仮想内視鏡画像生成部２７は、第１の実施形態における仮想内視鏡画像ＩVEの生成と同様に、３次元医用画像Ｖを入力として、仮想内視鏡の視点位置VPVE、中心視線ベクトルＶＬVE、画角ＡVEに基づいて仮想内視鏡プレ画像を生成する。次に、仮想内視鏡画像生成部２７は、処置具位置ＰTに処置具６が存在する状態を表す処置具形状画像ＭTを生成する。具体的には、処置具形状画像ＭTは、上記特許文献２に記載されたように、データベースに格納された処置具６の形状を表す画像と、処置具位置ＰTに基づいて生成される。そして、仮想内視鏡画像生成部２７は、仮想内視鏡プレ画像と処置具形状画像ＭTをアルファブレンディング等の公知の手法により合成することにより、仮想内視鏡画像ＩVEを生成する。なお、上記のように処置具形状画像を生成せずに、仮想内視鏡プレ画像中の処置具位置ＰTに対応する位置に、処置具６を表す矢印やアイコン等のマーカーやテキストコメント等のアノテーションを重畳することによって仮想内視鏡画像ＩVEを生成するようにしてもよい。
図１９Ｂは、本実施形態で生成された仮想内視鏡画像ＩVEと実内視鏡画像ＩREとを重畳した表示画面の一例を模式的に表したものであり、図に示したように、仮想内視鏡画像ＩVE中の処置具位置ＰTに対応する位置に処置具形状画像ＭTが重畳されている。
以上のように、本発明の第６の実施形態によれば、注目構造物の位置ＰIだけでなく、処置具の位置ＰTも視野に含まれる仮想内視鏡画像ＩVEが生成されるので、内視鏡１と注目構造物だけでなく、処置具６も含めた相互の位置関係や接近状況を確実に把握することが可能になる。
また、このとき、処置具位置検出部１２が処置具６の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野や画像内容がリアルタイムに変更された仮想内視鏡画像ＩVEが連続的に表示されるので、内視鏡１と注目構造物だけでなく、処置具６も含めた相互の位置関係や接近状況を、動的に、より的確に捉えることが可能になる。
さらに、実内視鏡画像形成部２が、内視鏡１によるリアルタイムの撮像によって体腔内を表す実内視鏡画像ＩREを形成し、仮想内視鏡画像ＩVEの生成時に用いられた内視鏡１および処置具６の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像ＩREが重畳表示されるので、第１の実施形態と同様に、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとは、ほぼ同じ時点での体腔内の状態が表されたものとなり、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的同期を取って連続的に重畳表示される。また、このとき、内視鏡１の移動や回転等の操作に連動して実内視鏡画像ＩREの視野が変化するとともに、内視鏡１だけでなく処置具６の操作にも連動して仮想内視鏡画像ＩVEの視野や画像内容も変化する。このように、本発明の第６の実施形態では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEによって、さらにリアルタイムに、かつ、相互補完的に体腔内を観察することが可能になる。
本発明の第７の実施形態は、３次元医用画像Ｖを内視鏡を用いた観察時にリアルタイムに形成、取得するものであり、この場合、第１の実施形態のハードウェア構成（図１６参照）のうち、内視鏡用マーカー７ａ、処置具用マーカー７ｂ、位置センサ８は不要である。
図２０は、本発明の第７の実施形態における内視鏡観察支援システムの機能ブロック図である。図に示したように、第６の実施形態の内視鏡位置姿勢検出部１１、処置具位置検出部１２、内視鏡位置姿勢取得部２２、処置具位置取得部３１の代わりに、内視鏡位置姿勢認識部３２、処理具位置認識部３３を付加した構成となっている。すなわち、内視鏡位置姿勢認識部３２および処理具位置認識部３３は、本発明の位置（姿勢）検出手段に相当する。
内視鏡位置姿勢認識部３２および処理具位置認識部３３は、画像処理ワークステーション９に実装される処理部であり、３次元医用画像Ｖを入力として、公知のパターン認識処理により、３次元医用画像Ｖ中の、各々、内視鏡１、処置具６を表す領域を抽出し、各々、内視鏡位置ＰEおよび姿勢VLE、処置具位置ＰTを認識する。
図２１は、本発明の第７の実施形態における内視鏡観察支援処理の流れを表したフローチャートである。図に示したように、ステップ#11から#13までは第６の実施形態のステップ#1から#3と同様であり、その後、３次元医用画像取得部２３による３次元医用画像Ｖの取得が行われ(#14)、３次元医用画像取得部２３によって取得された３次元医用画像Ｖに基づいて、内視鏡位置姿勢認識部３２が内視鏡位置ＰEおよび姿勢VLEを認識し(#15)、処置具位置認識部３３が処置具位置ＰTを認識する(#16)。以下、ステップ#17および#18は第６の実施形態のステップ#5および#6と同様であるが、ステップ#19において、仮想内視鏡画像生成部２７は、処置具位置認識部３３で抽出された処置具６を表す領域が所定の色で表示されるように定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成する。したがって、第６の実施形態のように、処置具６の形状画像を生成する必要はない。ステップ#20および#21は第６の実施形態のステップ#8および#9と同様である。
このように、３次元医用画像Ｖを内視鏡を用いた観察時にリアルタイムで形成、取得するようにすれば、取得された３次元医用画像Ｖは、実内視鏡画像ＩREとほぼ同じ時点での腹腔内の様子を表したものとなるので、内視鏡下での観察前に取得された３次元医用画像Ｖを用いた場合よりも実際の腹腔内の様子がリアルタイムに正確に再現された仮想内視鏡画像ＩVEが生成される。ただし、この実施形態では、ステップ#11およびステップ#14で３次元医用画像Ｖの撮像の際、座標軸の原点に対応する被検体の位置や座標軸の向きが変動しないよう、撮影体位に注意する必要がある。
なお、本発明の第７の実施形態の場合、被検体の被曝量低減のため、モダリティ５としては超音波診断装置を用いるのが好ましい。
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
例えば、システム構成については、上記の実施形態では、図１や図１６のハードウェア構成では、モダリティ５と画像処理ワークステーション９が直接接続されているが、画像保管サーバをＬＡＮ上に接続し、モダリティ５で形成された３次元医用画像Ｖは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション９からの要求に応じて、画像保管サーバから画像処理ワークステーション９に３次元医用画像Ｖが転送されるようにしてもよい。
また、内視鏡１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。
モダリティ５は、上記のＣＴ装置や超音波診断装置のほか、ＭＲＩ装置等を用いてもよい。
ＷＳディスプレイ１０は、公知の立体視表示に対応したディスプレイとし、仮想内視鏡画像ＩVEを立体視用の画像として表示するようにしてもよい。例えば、ＷＳディスプレイ１０として左右両眼用の２つの視差画像を用いて立体視表示を実現する方式のものを採用した場合、仮想内視鏡画像生成部２７は、視点位置VPVEから左右両眼の視差の分だけずらした各眼の位置を設定し、設定された各眼の位置を視点とする中心投影により、左右各眼用の仮想内視鏡視差画像を生成するようにし、表示制御部２８が、左眼用の仮想内視鏡視差画像をＷＳディスプレイ１０の左眼用の表示画素に表示させ、右眼用の仮想内視鏡視差画像をＷＳディスプレイ１０の右眼用の表示画素に表示させるように制御すればよい。
内視鏡位置姿勢検出部１１や処置具位置検出部１２は、磁気式のものを用いてもよいし、上記特許文献２に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。
さらに、観察部位は腹腔内ではなく、胸腔内等、内視鏡下での観察に適した被検体の他の部位であってもよい。
画像処理ワークステーション９においては、上記実施形態では、実内視鏡画像形成部２で実内視鏡画像ＩREが形成される周期は、仮想内視鏡画像生成部２７で仮想内視鏡画像ＩVEが生成される周期よりも短いものとして、通信負荷を考慮して、実内視鏡画像取得部２１からの要求ベースでの画像受信としているが、実内視鏡画像形成部２で順次形成される実内視鏡画像ＩEのすべてを実内視鏡画像取得部２１が受信するようにしてもよい。この場合、表示制御部２８が、仮想内視鏡画像生成部２７による仮想内視鏡画像ＩVEの生成タイミングとは非同期に、実内視鏡画像ＩREの受信の度にＷＳディスプレイ１０の実内視鏡画像ＩREの表示を更新させるようにしてもよい。
内視鏡位置姿勢取得部２２は、内視鏡位置姿勢検出部１１で所定の時間間隔で検出される内視鏡位置PSEのすべてを受信しておき、図３のステップ#4の処理が呼び出されるタイミングで受信した内視鏡位置PSEのみを後者の座標変換機能によって内視鏡位置ＰEに変換して出力するようにしてもよい。処置具位置取得部３１についても同様である。
また、内視鏡位置姿勢取得部２２や処置具位置取得部３１で行われる座標変換を仮想内視鏡画像生成部２７で行うようにしてもよい。
注目位置特定部２４は、公知の画像認識技術（血管や臓器の抽出手法や異常陰影検出手法等）を用いて注目位置を自動的に特定するようにしてもよい。
さらに、仮想内視鏡画像生成部２７は、例えば、手術対象部位、要注意血管、要注意臓器、処置具というように複数の注目位置を視点とする仮想内視鏡画像をさらに生成するようにしてもよい。

Claims (16)

  1. 　被検体の体腔内を表す３次元医用画像を形成する３次元医用画像形成手段と、
    　前記体腔内の注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、
    　前記体腔内に挿入された内視鏡の位置および姿勢をリアルタイムに検出する内視鏡位置姿勢検出手段と、
    　前記内視鏡の画角の情報を取得する内視鏡画角取得手段と、
    　前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された注目構造物の位置、並びに、前記検出された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記注目構造物の位置が該仮想視野内に含まれるように、かつ、前記内視鏡の視野に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定する仮想視野決定手段と、
    　前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
    　前記仮想内視鏡画像を表示する表示手段とを備えたことを特徴とする内視鏡観察支援システム。
  2. 　前記視鏡によるリアルタイムの撮像によって該体腔内を表す実内視鏡画像を形成する実内視鏡画像形成手段をさらに備え、
    　前記表示手段は、前記仮想内視鏡画像とともに、該仮想内視鏡画像の生成時に用いられた前記内視鏡の位置および姿勢が検出されたのとほぼ同じタイミングで形成された前記実内視鏡画像を、該仮想内視鏡画像と該実内視鏡画像とで対応する位置を重畳させて表示するものであることを特徴とする請求項１に記載の内視鏡観察支援システム。
  3. 　前記仮想視野決定手段は、前記仮想内視鏡の画角が前記内視鏡の画角よりも広くなるように前記仮想視野を決定するものであることを特徴とする請求項１または２に記載の内視鏡観察支援システム。
  4. 　前記仮想内視鏡画像生成手段は、前記注目構造物を識別可能な態様で表した前記仮想内視鏡画像を生成するものであることを特徴とする請求項１から３のいずれか１項に記載の内視鏡観察支援システム。
  5. 　前記仮想内視鏡画像生成手段は、前記内視鏡の位置から前記体腔内の構造物の表面までの距離に応じて前記仮想内視鏡画像の画素値を決定するものであることを特徴とする請求項１から４のいずれか１項に記載の内視鏡観察支援システム。
  6. 　前記内視鏡と前記注目構造物とが所定の基準を満たす程度に接近している場合には警告を提示する警告手段をさらに備えたことを特徴とする請求項１から５のいずれか１項に記載の内視鏡観察支援システム。
  7. 　前記仮想内視鏡画像生成手段は、前記内視鏡による撮像によって得られる実内視鏡画像に表された体腔内各部とほぼ同じ外観の前記仮想内視鏡画像が得られるように定義されたカラーテンプレートを用いて前記仮想内視鏡画像の画素値を決定するものであることを特徴とする請求項１から６のいずれか１項に記載の内視鏡観察支援システム。
  8. 　前記体腔内の第２の注目構造物の前記３次元医用画像中での位置を特定する第２の注目位置特定手段をさらに備え、
    　前記仮想内視鏡画像生成手段は、前記第２の注目構造物を識別可能な態様で表した前記仮想内視鏡画像を生成するものであることを特徴とする請求項１から７のいずれか１項に記載の内視鏡観察支援システム。
  9. 　前記注目構造物は前記内視鏡下での手術対象部位であることを特徴とする請求項１から８のいずれか１項に記載の内視鏡観察支援システム。
  10. 　前記注目構造物は前記内視鏡下での手術において注意を有する解剖学的構造物であることを特徴とする請求項１から８のいずれか１項に記載の内視鏡観察支援システム。
  11. 　前記注目構造物は前記内視鏡下での手術対象部位であり、前記第２の注目構造物は前記内視鏡下での手術において注意を有する解剖学的構造物であることを特徴とする請求項８に記載の内視鏡観察支援システム。
  12. 　前記注目構造物が前記体腔内に挿入された処置具であることを特徴とする請求項１から８のいずれか１項に記載の内視鏡観察支援システム。
  13. 　前記注目構造物は前記内視鏡下での手術対象部位であり、前記第２の注目構造物は前記体腔内に挿入された処置具であることを特徴とする請求項８に記載の内視鏡観察支援システム。
  14. 　被検体の体腔内に挿入された内視鏡下での前記体腔内の観察より前または該観察中に、前記体腔内を表す３次元医用画像を形成するステップと、
    　前記体腔内の注目構造物の前記３次元医用画像中での位置を特定するステップと、
    　前記体腔内に挿入された内視鏡の位置および姿勢をリアルタイムに検出するステップと、
    　前記内視鏡の画角の情報を取得するステップと、
    　前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された注目構造物の位置、並びに、前記検出された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記注目構造物の位置が該仮想視野内に含まれるように、かつ、前記内視鏡に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定するステップと、
    　前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、
    　前記仮想内視鏡画像を表示するステップとを有することを特徴とする内視鏡観察支援方法。
  15. 　被検体の体腔内を表す３次元医用画像を取得する３次元医用画像取得手段と、
    　前記体腔内の注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、
    　位置姿勢検出手段によってリアルタイムに検出された前記体腔内に挿入された内視鏡の位置および姿勢を取得する位置取得手段と、
    　前記内視鏡の画角の情報を取得する内視鏡画角取得手段と、
    　前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された注目構造物の位置、並びに、前記取得された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記注目構造物の位置が該仮想視野内に含まれるように、かつ、前記内視鏡の視野に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定する仮想視野決定手段と、
    　前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
    　前記仮想内視鏡画像を表示手段に表示させる表示制御手段とを備えたことを特徴とする内視鏡観察支援装置。
  16. 　コンピュータに、
    　被検体の体腔内を表す３次元医用画像を取得するステップと、
    　前記体腔内の注目構造物の前記３次元医用画像中での位置を特定するステップと、
    　位置姿勢検出手段によってリアルタイムに検出された、前記体腔内に挿入された内視鏡の位置および姿勢を取得するステップと、
    　前記内視鏡の画角の情報を取得するステップと、
    　前記検出された内視鏡の位置に対応する前記３次元医用画像中での位置である内視鏡対応位置に配置された仮想内視鏡の仮想視野を、前記特定された注目構造物の位置、並びに、前記検出された内視鏡の前記３次元医用画像中での位置と姿勢、および、該内視鏡の画角に基づいて、前記注目構造物の位置が該仮想視野内に含まれるように、かつ、前記内視鏡の視野に対応する前記３次元医用画像中での視野である内視鏡対応視野と連続性を有するように、決定するステップと、
    　前記３次元医用画像を入力として、前記内視鏡対応位置を視点とし、前記仮想視野を有する仮想内視鏡画像を生成するステップと、
    　前記仮想内視鏡画像を表示手段に表示させるステップとを実行させることを特徴とする内視鏡観察支援プログラム。
PCT/JP2011/001932 2010-03-31 2011-03-30 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム WO2011122032A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180016415.2A CN102821671B (zh) 2010-03-31 2011-03-30 内窥镜观察支持系统和设备
EP11762274.6A EP2554103B1 (en) 2010-03-31 2011-03-30 Endoscope observation supporting system and programme
US13/638,812 US9375133B2 (en) 2010-03-31 2011-03-30 Endoscopic observation support system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-083603 2010-03-31
JP2010083603A JP5380348B2 (ja) 2010-03-31 2010-03-31 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム

Publications (1)

Publication Number Publication Date
WO2011122032A1 true WO2011122032A1 (ja) 2011-10-06

Family

ID=44711787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001932 WO2011122032A1 (ja) 2010-03-31 2011-03-30 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム

Country Status (5)

Country Link
US (1) US9375133B2 (ja)
EP (1) EP2554103B1 (ja)
JP (1) JP5380348B2 (ja)
CN (1) CN102821671B (ja)
WO (1) WO2011122032A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2641561A1 (en) * 2012-03-21 2013-09-25 Covidien LP System and method for determining camera angles by using virtual planes derived from actual images
US9918614B2 (en) 2014-06-10 2018-03-20 Olympus Corporation Endoscope system with angle-of-view display information overlapped on three-dimensional image information
JP2018143880A (ja) * 2018-07-03 2018-09-20 コニカミノルタ株式会社 情報処理装置及び情報処理方法
US20210338366A1 (en) * 2018-10-26 2021-11-04 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US20220198742A1 (en) * 2019-09-20 2022-06-23 Hoya Corporation Processor for endoscope, program, information processing method, and information processing device

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP5961504B2 (ja) 2012-09-26 2016-08-02 富士フイルム株式会社 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5934070B2 (ja) 2012-09-26 2016-06-15 富士フイルム株式会社 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
US20140176661A1 (en) * 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
CN103919523B (zh) * 2013-01-15 2016-06-29 广州宝胆医疗器械科技有限公司 一种具有预警功能的内窥镜
CN104797186B (zh) * 2013-03-06 2016-10-12 奥林巴斯株式会社 内窥镜系统
EP2918218A4 (en) * 2013-03-27 2016-08-03 Olympus Corp ENDOSCOPE SYSTEM
EP2888991B1 (en) * 2013-04-15 2017-11-01 Olympus Corporation Endoscope system
JP6265627B2 (ja) * 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム
CN103279984B (zh) * 2013-06-04 2016-04-13 浙江工业大学 一种基于图形变换矩阵的窥镜视角跟踪方法
CN103356155B (zh) * 2013-06-24 2014-12-31 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
DE102013222230A1 (de) 2013-10-31 2015-04-30 Fiagon Gmbh Chirurgisches Instrument
WO2015124159A1 (en) 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
US11266465B2 (en) * 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
DE102014207274A1 (de) 2014-04-15 2015-10-15 Fiagon Gmbh Navigationsunterstützungssystem für medizinische Instrumente
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN108024806B (zh) 2015-07-21 2022-07-01 3D集成公司 套管组装套件、套管针组装套件、套筒组件、微创手术系统及其方法
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
DK178899B1 (en) * 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
JP6886968B2 (ja) * 2015-10-09 2021-06-16 コヴィディエン リミテッド パートナーシップ ロボット外科用システムを用いて体腔を可視化するための角度付き内視鏡の使用方法
WO2018005354A1 (en) * 2016-07-01 2018-01-04 Intuitive Surgical Operations, Inc. Method for positioning an endoscope with flexible shaft
CN106327587B (zh) * 2016-11-16 2019-06-28 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
US10299699B2 (en) 2016-11-28 2019-05-28 Biosense Webster (Israel) Ltd. Computerized tomography image correction
KR102345763B1 (ko) * 2017-01-13 2022-01-03 가부시키가이샤 에이-트랙션 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템
JP6833978B2 (ja) * 2017-03-30 2021-02-24 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2019162339A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システムおよび表示方法
JP7023195B2 (ja) * 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7079849B2 (ja) * 2018-08-20 2022-06-02 富士フイルム株式会社 医療画像処理システム
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
JP7239362B2 (ja) * 2019-03-20 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
EP3719749A1 (en) 2019-04-03 2020-10-07 Fiagon AG Medical Technologies Registration method and setup
US11070745B2 (en) 2019-10-28 2021-07-20 Karl Storz Imaging, Inc. Automatic image orientation based on use
US11039085B2 (en) 2019-10-28 2021-06-15 Karl Storz Imaging, Inc. Video camera having video image orientation based on vector information
CN112971996B (zh) * 2021-02-03 2023-02-10 上海微创医疗机器人（集团）股份有限公司 计算机可读存储介质、电子设备及手术机器人系统
US11627243B2 (en) * 2021-07-23 2023-04-11 Phaox LLC Handheld wireless endoscope image streaming apparatus
CN113538251B (zh) * 2021-09-16 2021-12-28 浙江太美医疗科技股份有限公司 确定医学影像拼接异常的方法及装置
CN116849803A (zh) * 2021-11-08 2023-10-10 深圳市精锋医疗科技股份有限公司 界面显示控制方法和装置、计算机设备和系统、及介质
WO2023170765A1 (ja) * 2022-03-07 2023-09-14 オリンパス株式会社 撮像装置、処置システムおよび撮像方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2002263053A (ja) 2001-03-06 2002-09-17 Olympus Optical Co Ltd 医用画像表示装置および医用画像表示方法
JP2005021353A (ja) 2003-07-01 2005-01-27 Olympus Corp 手術支援装置
JP2005211529A (ja) * 2004-01-30 2005-08-11 Olympus Corp 手技支援システム
JP2006198032A (ja) * 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP2008245719A (ja) 2007-03-29 2008-10-16 Fujifilm Corp 対象領域抽出方法および装置ならびにプログラム
JP2009276371A (ja) 2008-05-12 2009-11-26 Olympus Medical Systems Corp 内視鏡用画像装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5971767A (en) * 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
JP4674948B2 (ja) * 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
JP3947404B2 (ja) * 2002-02-06 2007-07-18 オリンパス株式会社 内視鏡用画像表示装置
US20050033117A1 (en) 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
JP2005211530A (ja) * 2004-01-30 2005-08-11 Olympus Corp 手技支援システム
US7835778B2 (en) * 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
WO2005091220A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging S.P.A Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
JP2006061274A (ja) * 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc プログラム、及び内視鏡システム
US7536216B2 (en) * 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US7967742B2 (en) * 2005-02-14 2011-06-28 Karl Storz Imaging, Inc. Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
EP1887961B1 (en) * 2005-06-06 2012-01-11 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
DE102006041055B4 (de) * 2006-09-01 2015-10-15 Siemens Aktiengesellschaft Verfahren zur Unterstützung der Durchführung einer endoskopischen medizinischen Maßnahme sowie mit diesem Verfahren betreibbare Einrichtung
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US20080287783A1 (en) * 2007-05-16 2008-11-20 General Electric Company System and method of tracking delivery of an imaging probe
US8024026B2 (en) * 2007-05-31 2011-09-20 General Electric Company Dynamic reference method and system for use with surgical procedures
JP4922107B2 (ja) * 2007-09-03 2012-04-25 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4869189B2 (ja) * 2007-09-13 2012-02-08 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
JP5208495B2 (ja) * 2007-12-27 2013-06-12 オリンパスメディカルシステムズ株式会社 医療用システム
CA2712607A1 (en) * 2008-01-25 2009-07-30 Mcmaster University Surgical guidance utilizing tissue feedback
JP5372406B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
CN100586379C (zh) 2008-07-04 2010-02-03 浙江大学 一种计算机模拟定标活检方法及装置
EP2236104B1 (de) * 2009-03-31 2013-06-19 BrainLAB AG Medizintechnische Navigations-Bildausgabe mit virtuellen Primärbildern und realen Sekundärbildern
US20120069167A1 (en) * 2009-05-18 2012-03-22 Koninklijke Philips Electronics N.V. Marker-free tracking registration and calibration for em-tracked endoscopic system
WO2011084528A1 (en) * 2009-12-15 2011-07-14 Emory University Office Of Technology Transfer System and method for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US20110172526A1 (en) * 2010-01-12 2011-07-14 Martin Lachaine Feature Tracking Using Ultrasound

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2002263053A (ja) 2001-03-06 2002-09-17 Olympus Optical Co Ltd 医用画像表示装置および医用画像表示方法
JP2005021353A (ja) 2003-07-01 2005-01-27 Olympus Corp 手術支援装置
JP2005211529A (ja) * 2004-01-30 2005-08-11 Olympus Corp 手技支援システム
JP2006198032A (ja) * 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP2008245719A (ja) 2007-03-29 2008-10-16 Fujifilm Corp 対象領域抽出方法および装置ならびにプログラム
JP2009276371A (ja) 2008-05-12 2009-11-26 Olympus Medical Systems Corp 内視鏡用画像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2554103A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2641561A1 (en) * 2012-03-21 2013-09-25 Covidien LP System and method for determining camera angles by using virtual planes derived from actual images
US9918614B2 (en) 2014-06-10 2018-03-20 Olympus Corporation Endoscope system with angle-of-view display information overlapped on three-dimensional image information
JP2018143880A (ja) * 2018-07-03 2018-09-20 コニカミノルタ株式会社 情報処理装置及び情報処理方法
US20210338366A1 (en) * 2018-10-26 2021-11-04 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US20220198742A1 (en) * 2019-09-20 2022-06-23 Hoya Corporation Processor for endoscope, program, information processing method, and information processing device

Also Published As

Publication number Publication date
JP2011212244A (ja) 2011-10-27
JP5380348B2 (ja) 2014-01-08
EP2554103A1 (en) 2013-02-06
CN102821671B (zh) 2016-03-02
CN102821671A (zh) 2012-12-12
EP2554103A4 (en) 2015-11-11
US9375133B2 (en) 2016-06-28
US20130023730A1 (en) 2013-01-24
EP2554103B1 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
JP5380348B2 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
JP5421828B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5535725B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP5372225B2 (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
CN110709894B (zh) 用于增强深度感知的虚拟阴影
WO2013141155A1 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
CN111867438A (zh) 手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助系统
WO2007115825A1 (en) Registration-free augmentation device and method
US12008721B2 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
JP6932135B2 (ja) 腹腔鏡画像及び超音波画像を重畳するための計算装置
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
WO2014050018A1 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
WO2008004222A2 (en) Computer image-aided method and system for guiding instruments through hollow cavities
US20220215539A1 (en) Composite medical imaging systems and methods
JP2002253480A (ja) 医療処置補助装置
EP3871193B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
WO2022190366A1 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180016415.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11762274

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13638812

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011762274

Country of ref document: EP