WO2009084345A1 - 医療機器システム - Google Patents

医療機器システム Download PDF

Info

Publication number
WO2009084345A1
WO2009084345A1 PCT/JP2008/071414 JP2008071414W WO2009084345A1 WO 2009084345 A1 WO2009084345 A1 WO 2009084345A1 JP 2008071414 W JP2008071414 W JP 2008071414W WO 2009084345 A1 WO2009084345 A1 WO 2009084345A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical device
image
observation
distortion
information
Prior art date
Application number
PCT/JP2008/071414
Other languages
English (en)
French (fr)
Inventor
Ken Shigeta
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to EP08866032A priority Critical patent/EP2186466A4/en
Priority to JP2009547959A priority patent/JPWO2009084345A1/ja
Publication of WO2009084345A1 publication Critical patent/WO2009084345A1/ja
Priority to US12/774,826 priority patent/US8556803B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087—Tools

Definitions

  • the present invention relates to a medical device system that combines and displays an image in an observation field using an observation means such as an endoscope and an image including a treatment tool outside the observation field.
  • endoscopes provided with observation means at the tip of an elongated insertion portion have been widely used in the medical field and the like.
  • the endoscope is also widely used as a medical device system such as a surgical operation system that performs treatment for treatment using a treatment tool under observation by an observation means of the endoscope.
  • a treatment is performed using a treatment tool
  • the surgeon performs the treatment by placing the affected area to be treated and the tip of the treatment tool within the observation field of view by the observation means. In such a case, if the surgeon can recognize a state such as a posture outside the observation field of the treatment tool, the treatment can be performed more smoothly.
  • this conventional example discloses an image display device that generates a virtual image of a manipulator outside the observation field of view of the observation means and synthesizes this virtual image with a video that is actually captured by the observation means.
  • lenses used for observation means usually have aberrations.
  • the observation image by the observation means is displayed as a distorted image due to distortion, the image of the manipulator part that is actually captured and displayed within the observation field, and the image outside the observation field
  • the virtual image for the manipulator part is not continuously connected.
  • both images of the treatment instrument in the observation visual field and outside the observation visual field are not continuously connected, so that the function of performing treatment more smoothly is deteriorated.
  • the present invention has been made in view of the above-described points, and an object of the present invention is to provide a medical device system capable of generating a composite image in which a treatment instrument is continuous in both images inside and outside the observation field. .
  • a medical device system includes a medical device including an observation unit including an objective lens, An image generation unit in the observation visual field for generating an image in the observation visual field obtained from the observation unit; An information collection unit that collects information including at least the position on the distal end side of the treatment instrument that can be used with the medical device; From the distortion aberration characteristics of the objective lens, a distortion aberration setting unit for setting a virtual distortion aberration outside the observation field, Observation that generates a three-dimensional or two-dimensional distortion image that is virtually distorted at least outside the observation field of view on the treatment instrument based on the information collected by the information collection unit and the virtual distortion aberration A distorted image generator outside the field of view; When the treatment tool is captured in the observation field, the image of the treatment tool in the observation field matches the distorted distortion image of the treatment tool outside the observation field at the boundary of the observation field.
  • An image composition unit for generating a composite image It is characterized by comprising.
  • FIG. 1 is a diagram illustrating an overall configuration of an endoscope system according to a first embodiment as a medical device system of the present invention.
  • FIG. 2 is a block diagram showing an internal configuration in FIG.
  • FIG. 3 is a diagram showing an example of an endoscopic image as an image in an observation visual field obtained by a video processor.
  • FIG. 4A is a diagram showing an image obtained when a square lattice is imaged with an ideal objective lens having no distortion.
  • FIG. 4B is a diagram showing an image obtained when a square lattice is imaged by an objective lens having distortion.
  • FIG. 5 is a diagram illustrating an example of an image obtained when a treatment tool outside the observation field of view is combined with a treatment tool within the observation field of view without applying distortion.
  • FIG. 1 is a diagram illustrating an overall configuration of an endoscope system according to a first embodiment as a medical device system of the present invention.
  • FIG. 2 is a block diagram showing an internal configuration in FIG.
  • FIG. 3
  • FIG. 6 is a diagram showing an example of an image obtained when a treatment tool outside the observation field of view is subjected to distortion through the aberration image generation circuit and synthesized with the treatment tool within the observation field of view.
  • FIG. 7 is a diagram showing an example of measured characteristics of distortion within the observation field and a setting example of distortion set outside the observation field.
  • FIG. 8 is a diagram showing an example of an image when a square lattice is formed with distortion set outside the observation field of view set in FIG.
  • FIG. 9 is a flowchart showing an example of an operation procedure for obtaining a composite image according to this embodiment.
  • FIG. 10 is a diagram showing a relationship between the distal end side of the multi-joint treatment instrument and the distal end side of the endoscope set in the initial setting.
  • FIG. 11 is a view showing the distal end side of an endoscope together with a treatment tool in a state where treatment is performed.
  • FIG. 12 is a view showing a part of an endoscope and a multi-joint treatment instrument in Embodiment 2 of the present invention.
  • FIG. 13 is a diagram illustrating a part of an endoscope system including an endoscope and a multi-joint treatment tool used separately from the endoscope according to a third embodiment of the present invention.
  • FIG. 14 is a view showing an IT knife as a treatment instrument having no joint usable in the present invention.
  • FIG. 15 is a view showing a hook knife as a treatment instrument having no joint usable in the present invention.
  • FIG. 16 is an overall configuration diagram of an endoscope system corresponding to a modification of the first embodiment.
  • FIGS. 1 to 11 relate to Embodiment 1 of the present invention
  • FIG. 1 shows the overall configuration of the endoscope system of Embodiment 1 of the medical device system of the present invention
  • FIG. 2 shows the functional configuration of FIG.
  • FIG. 3 shows an example of an endoscopic image as an observation visual field image obtained by a video processor.
  • FIG. 4A shows an image obtained when an image of a square lattice is formed with an ideal objective lens having no distortion
  • FIG. 4B shows an image obtained when an image of a square lattice is formed with an objective lens having distortion.
  • FIG. 5 shows an example of an image obtained when a treatment tool outside the observation field of view is combined with a treatment tool within the observation field of view without applying distortion.
  • FIG. 6 shows an example of an image obtained when a treatment tool outside the observation field is subjected to distortion through the aberration image generation circuit and combined with the treatment tool within the observation field.
  • FIG. 7 shows the measurement of distortion aberration in the observation field.
  • FIG. 8 shows an example of a case where a square lattice is formed by a distortion aberration set outside the observation field of view set according to FIG. .
  • FIG. 9 shows an example of an operation procedure for obtaining a composite image according to the present embodiment.
  • FIG. 10 shows a relationship between the distal end side of the multi-joint treatment instrument and the distal end side of the endoscope set in the initial setting. Shows the distal end side of the endoscope in a state where treatment is performed together with the treatment tool.
  • an endoscope system 1 according to a first embodiment of the present invention includes an endoscope 4 as a medical device for performing examination and treatment on a patient 3 lying on a bed 2.
  • the endoscope 4 is provided with channels 5a and 5b (see FIG. 2) through which a treatment tool can be inserted.
  • multi-joint treatment tools 6a and 6b are inserted into the channels 5a and 5b as treatment tools.
  • This cart 7 performs signal processing on a light source device 8 that supplies illumination light to the endoscope 4 and an imaging device 9 (see FIG. 2) provided in the endoscope 4 to generate an endoscope image.
  • An image generation device 12 that generates a composite image obtained by combining the endoscopic image and the CG aberration image and a display device 13 that displays the composite image are mounted.
  • the endoscope 4 is elongate and flexible, for example, and has a flexible insertion portion 14 that is inserted into a body cavity or the like of the patient 3.
  • An operation unit 15 is provided.
  • the universal cord 16 extended from the operation unit 15 has a connector 17 at its end connected to the light source device 8 and is detachable from the video processor 11 that generates an endoscopic image via a short scope cable. Connected.
  • the endoscope 4 is provided with an illumination window and an observation window (imaging window) adjacent to the distal end portion 18 of the insertion portion 14, and an illumination lens 20 is attached to the illumination window, for example. Yes. Then, the illumination light supplied from the light source device 8 is transmitted by the light guide 21, and further emitted from the distal end surface of the light guide 21 to the observation target (diagnosis target) site side such as an affected part in the body cavity via the illumination lens 20. Then, the observation target region side is illuminated.
  • the observation target diagnosis target
  • the observation target portion illuminated by the illumination light is placed on the imaging surface of, for example, a charge imaging element (abbreviated as CCD) 23 as a solid-state imaging element disposed at the imaging position by the objective lens 22 attached to the observation window.
  • CCD charge imaging element
  • An optical image is formed.
  • the CCD 23 photoelectrically converts the formed optical image and outputs an imaging signal as a CCD output signal.
  • the objective lens 22 and the CCD 23 form an imaging device 9 as observation means for performing observation.
  • the imaging signal is input to a captured image generation circuit or an endoscope image generation circuit (hereinafter referred to as an endoscope image generation circuit) 24 provided in the video processor 11.
  • the endoscope image generation circuit 24 that forms image generation means in the observation field of view displays an optical image formed on the imaging surface of the CCD 23 as an endoscope image Ia by performing signal processing on the imaging signal.
  • An image signal (video signal) to be generated is generated.
  • This image signal is input to the image composition circuit 26 in the image generation device 12, for example.
  • the image signal is also output to a display device 25 different from the display device 13 of FIG. An image based on the image signal is displayed as an endoscopic image Ia on the display surface of the display device 25.
  • FIG. 3 A display example of the endoscopic image Ia is shown in FIG.
  • This endoscopic image Ia is placed in the vicinity of the affected part, together with the affected part (not shown in FIG. 3) to be treated, and is observed in the multi-joint treatment tools 6a and 6b for performing treatment on the affected part.
  • a part (tip side) captured in the field of view is included.
  • the endoscopic image Ia in FIG. 3 corresponds to an image in which a part of the distal end portion of the multi-joint treatment instrument 6a, 6b is supplemented within the observation field of view of the objective lens 22, for example, as shown in FIG. .
  • the optical image formed by the objective lens 22 is accompanied by distortion.
  • the observation visual field in this embodiment corresponds to the imaging region of the imaging surface of the CCD 23 arranged in the imaging range corresponding to the visual field by the objective lens 22 more strictly.
  • An expression of an observation visual field or an observation visual field of the imaging device 9 is also used.
  • the endoscopic image Ia in FIG. 3 is an image having a distortion as shown in FIG. 4B. Therefore, the amount of distortion of the multi-joint treatment tools 6a and 6b in the endoscopic image is large in the vicinity of the display area corresponding to the peripheral image portion of the observation field. For this reason, the CG image of the multi-joint treatment tool 6a, 6b outside the display area of the endoscopic image Ia is accurately generated by the image generation device 12 (without considering the distortion aberration due to the objective lens 22). Even if the CG image is directly combined with the endoscopic image Ia, for example, as shown in FIG. 5, the articulated treatment tools 6a and 6b are not connected so as to be continuous. 5 corresponds to the case where the CG image generated by the three-dimensional CG image generation circuit 47 of FIG. 2 is combined with the endoscopic image Ia by the image combination circuit 26 without passing through the aberration image generation circuit 48. Will do.
  • the CG image is subjected to distortion as described below so that the treatment tool in the endoscopic image Ia can be made smooth. Enables generation of connected composite images.
  • An ID information generating unit (in FIG. 2) that generates ID information serving as unique identification information of the endoscope 4 is provided in, for example, the connector 17 in each endoscope 4 (being a portion that is not separated from the endoscope 4). Then, simply abbreviated as ID) 28 is mounted.
  • the ID information is input to a CPU 29 provided in the video processor 11.
  • the CPU 29 is connected to a ROM 30 that stores various information related to the endoscope 4 that generates the ID information. Then, the CPU 29 reads various information related to the corresponding endoscope 4 using, for example, ID information as address information.
  • the CPU 29 transmits the read various information to the information collecting unit 33 via the communication interface (abbreviated as I / F) 31 and the communication interface (abbreviated as I / F) 32 in the image generation apparatus 12. To do.
  • I / F communication interface
  • I / F communication interface
  • a three-dimensional CG image generation circuit 47 that generates a three-dimensional CG image of multi-joint treatment tools 6a and 6b, which will be described later, uses the positions of the distal end openings of the channels 5a and 5b as reference position information. 6a, 6b three-dimensional CG is generated.
  • the multi-joint treatment devices 6a and 6b change the amount of protrusion that protrudes from the distal end openings of the channels 5a and 5b, and the amount of rotation (rotation angle) changes at each joint portion. It changes while passing through the position of the tip opening of 5b.
  • the multi-joint treatment tools 6a and 6b protruding from the reference position, for example, by straightening the posture of the multi-joint treatment tools 6a and 6b Is detected with the detection values of the sensors 42a and 42b (see FIG. 10) provided in the multi-joint treatment devices 6a and 6b (in other words, the detection values of the sensors 42a and 42b are calibrated, that is, calibration is performed). ).
  • each sensor 42a provided in each joint portion detects a joint angle that changes as the multi-joint treatment instrument 6a rotates at each joint 38a.
  • the plurality of sensors 42a form posture information detection means as posture information of the multi-joint treatment instrument 6a corresponding to the rotational states of the plurality of joints 38a.
  • the sensor 42b side similarly forms a means for detecting posture information of the multi-joint treatment instrument 6b.
  • the position of the distal end opening of the channels 5a and 5b and imaging as observation means Information on the relative positional relationship between the center position of the apparatus 9 or the objective lens 22 and the observation visual field direction is also required.
  • various types of information related to the endoscope 4 are collected (by the information collecting unit 33) based on ID information unique to each endoscope 4.
  • the endoscope information associated with the ID information includes the positions of the distal end openings of the channels 5a and 5b, the position of the imaging device 9, and the visual field
  • the user instructs the information collection unit 33 from the input instruction device 34 as described later. You can also enter.
  • the multi-joint treatment tools 6a and 6b are described. However, when the multi-joint treatment tools 6a and 6b are changed, the present invention can be similarly applied to the changed treatment tools. It has a configuration.
  • the information collection unit 33 is configured to collect the ID information via the video processor 11, but the information collection unit 33 directly collects various information related to the endoscope 4 from the ID information. You may make it the structure to carry out.
  • the information collection unit 33 is connected to an input instruction device 34, and a user such as an operator can input information necessary for generating a CG image or the like from the input instruction device 34. For example, it is possible to input relative positional information between the distal end opening of the channel on the distal end surface of the insertion portion 14 and the center position of the objective lens 22 and the viewing direction thereof.
  • direction information in which the multi-joint treatment tools 6 a and 6 b protrude from the distal end opening of the channel is also input from the input instruction device 34 to the information collecting unit 33.
  • This direction information may be automatically collected by the information collection unit 33 based on the ID information of the endoscope 4.
  • this information is information that normally does not change with time, unlike the posture information described below.
  • the information collection unit 33 includes the articulated treatment instruments 6a and 6b for generating a CG aberration image obtained by distorting the CG image, and the distal end portion of the endoscope 4 for generating the endoscope image Ia.
  • Position information, direction information, and posture information of the relative arrangement relationship with the 18 observation means (imaging device 9) are collected. Further, for example, position information, direction information, and posture information for determining the posture of the multi-joint treatment tools 6a and 6b in an initial setting state can be input. Further, in the case of an endoscope in which the ID information generation unit 28 is not provided or the required various information cannot be determined sufficiently, various necessary information is input from the input instruction device 34. To be able to.
  • the multi-joint treatment tools 6a and 6b as treatment tools inserted into the channels 5a and 5b have elongated flexible portions 36a and 36b.
  • a manipulator section 39i is formed by a plurality of joints 38i near the rear end of the treatment section 37i, that is, at the distal end side of the flexible section 36i. Further, the surgeon operates the manipulator unit 39i by operating the operation mechanism 40i (shown as one operation mechanism 40 for simplification in FIG. 1) provided at the rear end of the flexible portion 36i.
  • the various joint treatment tools 6a and 6b can perform various kinds of treatments by changing the posture on the distal end side.
  • a control unit 41i that drives a motor in each joint 38i that forms the manipulator unit 39i is provided. Further, the rotation amount of each joint 38i rotated by the motor is detected by a sensor 42i such as a rotary encoder attached to the rotation shaft.
  • each sensor 42i is input to the information collecting unit 33 via a cable 43i (indicated by one cable 43 in FIG. 1). Note that the present invention can be similarly applied to a treatment instrument having a structure in which the joints 38a and 38b can be manually driven without a motor.
  • a treatment instrument holder 44 is attached to the treatment instrument insertion port at the rear end of the channels 5a and 5b.
  • the treatment instrument holder 44 is slidably in contact with the outer peripheral surfaces of the flexible portions 36a and 36b, and a movement amount detection sensor that detects movement in the axial direction, and a rotation amount detection sensor that detects the rotation amount around the axis.
  • a detection signal from the sensor unit 45 including a movement amount detection sensor and a rotation amount detection sensor is also input to the information collection unit 33.
  • the multi-joint treatment tools 6a and 6b located at the distal end openings of the channels 5a and 5b are determined from the movement amount and rotation amount detected on the hand side thereafter.
  • the position on the front end side and the rotational position can be detected.
  • the movement amount detection sensor calculates (position information, that is, position information) of the multi-joint treatment instruments 6a and 6b. Since the channels 5a and 5b have a fixed length, the position on the hand side is calculated. Is detected, the position on the tip side can also be detected. For example, when the whole multi-joint treatment tool 6a is rotated in the longitudinal direction, the posture of the multi-joint treatment tool 6a alone does not change, but the tip of the multi-joint treatment tool 6a as viewed from the imaging device 9 is used. The side changes. However, since the detection information only by the sensor 42i provided in the multi-joint treatment instrument 6a does not change, the change cannot be detected. The change is detected by a rotation amount detection sensor.
  • sensor output from the rotation amount detection sensor is also used to generate a CG aberration image outside the observation field so as to maintain the relationship with the multi-joint treatment tools 6a and 6b within the observation field by the imaging device 9. .
  • the movement amount detection sensor when the multi-joint treatment tools 6a and 6b are moved as a whole, the movement amount that cannot be detected by the sensor 42i is detected.
  • a position detection sensor using a coil for generating a magnetic field that can detect a three-dimensional position can be provided on the distal end side, and the movement amount detection sensor may not be required. Further, a configuration may be adopted in which a plurality of coils for generating a magnetic field are provided so that a rotation amount detection sensor is not required.
  • At least one magnetic field generating coil may be provided at each joint to detect posture information of the multi-joint treatment tools 6a and 6b. That is, the posture including the joint state of the multi-joint treatment tools 6a and 6b can be detected by a plurality of position detecting means.
  • Information such as posture information, position information, and direction information collected by the information collection unit 33 includes a three-dimensional CG image generation circuit 47 that generates a three-dimensional CG of the multi-joint treatment instruments 6a and 6b, and a CG as an aberration image thereof. It is input to the aberration image generation circuit 48 that generates the aberration image Ib.
  • the configuration may be 49.
  • the aberration image generation unit 49 may include the function of the image composition circuit 26.
  • the three-dimensional CG image generation circuit 47 basically generates a three-dimensional CG image of the multi-joint treatment tools 6a and 6b only with information on the multi-joint treatment tools 6a and 6b, except for points relating to the range of the observation visual field. be able to.
  • the three-dimensional CG image generation circuit 47 is collected by the information collection unit 33 in order to generate a three-dimensional CG image of the multi-joint treatment instruments 6 a and 6 b outside the observation field of the endoscope 4. By using the information on the endoscope 4 side, a three-dimensional CG image is generated.
  • the aberration image generation circuit 48 also uses the distortion aberration characteristic of the objective lens 22 and the boundary of the observation field of view for the three-dimensional CG images of the multi-joint treatment devices 6a and 6b generated by the three-dimensional CG image generation circuit 47.
  • a three-dimensional CG aberration image is generated as an aberration image subjected to smoothly connected distortion.
  • the aberration image generation circuit 48 converts the three-dimensional CG aberration image into a two-dimensional CG aberration image Ib when viewed from the observation visual field direction of the objective lens 22 and outputs it to the image composition circuit 26. Then, the image is synthesized with the endoscopic image Ia by the image synthesis circuit 26 so that a synthesized image Ic as shown in FIG. 6 can be generated.
  • the aberration image generation circuit 48 generates a two-dimensional CG aberration image Ib when viewed from the observation visual field direction of the objective lens 22 with respect to the three-dimensional CG images of the multi-joint treatment instruments 6a and 6b. May be.
  • the CG aberration image Ib is output to the image composition circuit 26.
  • the image composition circuit 26 performs image composition so as to generate a composite image Ic using the endoscopic image Ia within the observation visual field and using the CG aberration image Ib outside the observation visual field.
  • the aberration image generation circuit 48 when the aberration image generation circuit 48 generates a CG aberration image including a part in the observation visual field in advance and outputs it to the image composition circuit 26, the CG aberration image Ib portion in the observation visual field is deleted or set to the black level.
  • the composite image Ic may be generated by adding or embedding the endoscope image Ia to the CG aberration image Ib portion or the black level portion within the observation field that has been set and deleted.
  • FIG. 7 shows an example of distortion aberration characteristics of the objective lens 22.
  • the distortion aberration of the objective lens 22 has the smallest value at the center, but the value increases as the distance from the center increases. Accordingly, the distortion aberration value becomes the largest at the boundary portion of the observation visual field.
  • the characteristic of distortion of the objective lens 22 is measured in advance, and information on the characteristic is stored in a storage unit or the like.
  • information on the distortion characteristics of the objective lens 22 mounted on each endoscope 4 is stored in the ROM 30 in advance, and this information is used when generating the CG aberration image Ib. To do.
  • the virtual distortion aberration characteristic outside the observation visual field is set from the distortion aberration characteristic within the observation visual field. More specifically, when an aberration image outside the observation field is generated, the distortion aberration value at the boundary of the observation field of the objective lens 22 is used at least at the boundary of the observation field, and the distortion aberration at the boundary outside the observation field. A distortion aberration setting value that is smoothly connected to the above value is used.
  • a straight line (line segment) obtained by extending the tangent line of the distortion aberration at the position at the boundary of the observation field of the objective lens 22 is used as a characteristic for applying the distortion aberration for generating the CG aberration image Ib.
  • the CPU 29 automatically sets this characteristic from the distortion aberration characteristic of the objective lens 22 stored in the ROM 30. That is, the CPU 29 constitutes a distortion aberration setting unit that sets a virtual distortion aberration.
  • a user may set the characteristic with a keyboard, another input means, etc. from the characteristic of the distortion aberration of the objective lens 22.
  • FIG. Information on the set virtual distortion aberration is transmitted to the information collecting unit 33, and further sent from the information collecting unit 33 to the aberration image generating circuit 48. Then, the CG aberration image Ib is generated by the aberration image generation circuit 48 using the information.
  • FIG. 8 shows an example in which distortion is applied to an image of a square lattice using the characteristic setting of distortion aberration outside the observation field set in this way.
  • a solid line indicates an image in the observation visual field by the objective lens 22 side, and an outside of the observation visual field indicates an image portion subjected to virtually set distortion.
  • the characteristic is smoothly connected to the distortion portion at the boundary of the observation field of the objective lens 22.
  • the aberration image generation circuit 48 converts the generated three-dimensional CG aberration image into a two-dimensional CG aberration image Ib viewed from the observation visual field direction of the imaging device 9 of the endoscope 4, and the image composition circuit 26. Output to.
  • the image synthesis circuit 26 synthesizes the endoscopic image Ia output from the video processor 11 and the two-dimensional CG aberration image Ib of the multi-joint treatment tools 6a and 6b output from the aberration image generation circuit 48, A composite image Ic is generated, and the composite image (image signal thereof) is output to the display device 13.
  • the display device 13 displays a composite image Ic of the endoscopic image Ia as an image within the observation visual field and the two-dimensional CG aberration image Ib of the multi-joint treatment instruments 6a and 6b as the images outside the observation visual field.
  • the surgeon connects the endoscope 4 to be used to the light source device 8 and the video processor 11, and inserts the multi-joint treatment tools 6 a and 6 b into the channels 5 a and 5 b of the endoscope 4.
  • the operation mechanisms 40 a and 40 b (40) of the joint treatment tools 6 a and 6 b are connected to the image generation device 12. Also, the surgeon turns on the power of each device and sets it to an operating state.
  • step S1 the surgeon performs initial setting in step S1.
  • the multi-joint treatment tools 6a and 6b inserted through the channels 5a and 5b are initially set in a straight state.
  • the operator inputs information necessary for generating the CG aberration image Ib to the information collecting unit 33 manually from the input instruction device 34.
  • FIG. 10 shows the objective lens 22 on the distal end side of the endoscope 4 in the initial setting state and the distal end side of the multi-joint treatment tools 6a and 6b inserted into the channels 5a and 5b. As shown in FIG.
  • the information collecting unit 33 receives values of distances da and db between the central axis of the objective lens 22 and the centers of the channels 5a and 5b (for example, in FIG. In addition to the distances da and db, the orientation information is also acquired. Further, as shown in step S2, the information collecting unit 33 acquires information on the distortion aberration of the objective lens 22, information on the range of the observation visual field, and the like. Further, as shown in step S3, the user sets a virtual distortion aberration outside the observation field. The setting is made as described with reference to FIGS. Then, the values of the sensors 42a, 42b, etc. are reset and set to specified values. At first, after performing calibration so that the sensor value can be obtained correctly, the sensors 42a and 42b are moved according to the movement of the multi-joint treatment tools 6a and 6b as shown in step S4. , 6b can be accurately obtained.
  • the aberration image generation unit 49 uses the information on the joint angles of the multi-joint treatment tools 6a and 6b from the sensors 42a and 42b, etc. Ib is generated.
  • the CG aberration image Ib is displayed on the display device 13 as a combined image Ic combined with the endoscopic image Ia in the observation visual field. For example, when the endoscope 4 and the multi-joint treatment tools 6a and 6b are set in a state as shown in FIG. 11, an image is displayed on the display device 13 as shown in FIG.
  • step S6 the process returns to the process of step S4.
  • the surgeon moves the multi-joint treatment tools 6a and 6b for treatment, the joint angles in that case are acquired by the sensors 42a and 42b. Then, the processes in steps S4 to S6 are repeated.
  • the optical information including the distortion aberration of the objective lens 22 used in the imaging device 9 used in the endoscope 4 corresponding to the ID information is determined based on the ID information of the endoscope 4. Is collected by the information collecting unit 33 and can be used to generate the CG aberration image Ib.
  • an ID information generation unit (see reference numerals 57a and 57b in FIG. 2) that generates ID information for the treatment instrument is also provided in the treatment instrument inserted into the channels 5a and 5b of the endoscope 4, for example, an image generation device
  • the three-dimensional CG image of the corresponding treatment instrument and the CG aberration image Ib thereof may be generated from the ID information in 12. In this way, both when the treatment tool used for the treatment is changed together with the endoscope 4, the treatment tool is displayed in both the observation visual field and the observation visual field. A continuous composite image can be generated.
  • the present embodiment it is possible to generate a composite image in which the treatment tool is continuous in both the images inside and outside the observation field. Then, the surgeon can perform treatment with the treatment tool in an environment where treatment is easy by referring to the composite image.
  • the multijoint treatment tools 6a and 6b have been described in the case where the postures thereof change through a predetermined position on the distal end surface of the insertion portion 14.
  • the multi-joint treatment tools 6a and 6b are, for example, in front of the two bending portions 51 and 52 formed on the rear end side of the distal end portion 18 in the insertion portion 14.
  • the present invention is applicable to the endoscope 4B provided with distal end openings 53a and 53b of treatment instrument insertion tubes (hereinafter simply referred to as tubes) 50a and 50b, that is, outlets of the multi-joint treatment instruments 6a and 6b.
  • tubes treatment instrument insertion tubes
  • the present invention is applicable to the endoscope 4B provided with distal end openings 53a and 53b of treatment instrument insertion tubes (hereinafter simply referred to as tubes) 50a and 50b, that is, outlets of the multi-joint treatment instruments 6a and 6b.
  • tubes treatment instrument insertion tubes
  • the endoscope 4B is provided with the imaging device 9 at the distal end portion 18 of the insertion portion 14, a first curved portion 51 at the rear end portion of the distal end portion 18, and a rear portion at a predetermined length from this portion.
  • a second bending portion 52 is provided.
  • the distal ends 53a and 53b of the tubes 50a and 50b are provided in the vicinity of the rear end of the second curved portion 52.
  • the bending portions 51 and 52 are driven to bend by pulling from the hand side, for example, the operation portion 15 side shown in FIG. 2 via a wire inserted into the insertion portion 14.
  • the rear end side of the wire inserted through the insertion portion 14 is, for example, as shown in FIG.
  • the rear ends of the pair of wires 54 a and 54 b corresponding to the bending drive in the vertical direction are bridged over, for example, the pulley 55.
  • the pulley 55 When the pulley 55 is rotated by a bending operation, one of the wires 54 a and 54 b is pulled, and the pulling amount is detected by the encoder 56.
  • the detection signal of the encoder 56 is input to the information collecting unit 33 shown in FIG. In the illustrated example of FIG. 12, for example, only the vertical curvature detection mechanism in the first bending portion 51 is shown, but a horizontal curvature detection mechanism is also provided. Further, the bending detection mechanism for the second bending portion 52 has the same configuration as that of the first bending portion 51. In this way, the bending information of the bending portions 51 and 52 can be acquired from the detection signals of the plurality of encoders 56. Then, the three-dimensional position of the imaging device 9 at the distal end portion 18 of the endoscope 4B and its visual field direction can be calculated from the detection signals of the plurality of encoders 56.
  • a three-dimensional position may be calculated by attaching a position detection sensor or the like to the distal end portion 18.
  • a plurality of source coils that generate magnetism are arranged in the axial direction of the insertion portion 14, and a sense coil unit that includes a plurality of sense coils that detect the three-dimensional position of each source coil is arranged around the bed 2.
  • a position detection device or an insertion shape detection device may be used.
  • the multi-joint treatment devices 6a and 6b are movable from the distal end openings 53a and 53b via cylindrical tubes 50a and 50b fixed to the outer peripheral surface of the insertion portion 14 (for example, with a tape or the like).
  • the tubes 50 a and 50 b are fixed to the insertion portion 14, and information on the relative position and posture relationship between the distal end openings 53 a and 53 b and the imaging device 9 is acquired.
  • FIG. 13 illustrates a partial configuration of the endoscope system 1C according to the third embodiment.
  • a rigid endoscope 61 inserted into the abdominal cavity 60 of a patient has a hard insertion portion 61a, and an imaging device 9 (using an objective lens and a CCD (not shown)) is provided at the distal end of the insertion portion 61a.
  • the rigid endoscope 61 also includes an ID information generation unit 28 that generates unique ID information.
  • the two treatment instrument guides 62 and 63 are made of a hard guide tube that guides the treatment instruments 64 and 65 from the outside of the patient to the affected area in the abdominal cavity 60.
  • a receiver 66 is attached to the rear end of the rigid endoscope 61, and receivers 67 and 68 are attached to the treatment tools 64 and 65 near the rear ends of the treatment tool guides 62 and 63, respectively.
  • the receivers 66, 67, 68, the transmitter 69, and the controller 70 constitute a position / posture detection system that measures (detects) each position and posture of the receivers 66, 67, 68 by magnetism.
  • the transmitter 69 arranged at a predetermined position generates (transmits) a magnetic field, and detects (receives) the magnetic field by the receivers 66, 67, 68, so that each receiver 66, 67, 68 receives the receiver 66, 67. , 68 and the direction around the axis can be calculated.
  • the receiver 66 (same for 67 and 68) can be detected not only in the position but also in the direction due to the configuration including a plurality of sensors.
  • the detection angles of the sensors provided at the joints are transmitted to the controller 70 as described in the first embodiment.
  • Information including each position and each posture detected by the receivers 66, 67 and 68 is transmitted to the controller 70.
  • the controller 70 calculates and calculates the position and orientation of each of the receivers 66, 67, and 68 based on information transmitted from the receivers 66, 67, and 68. That is, this controller 70 forms a position / posture detection means. Further, the controller 70 calculates the relative positional relationship between the imaging device 9 and the (guide tube) outlets 62a and 63a of the treatment instrument guides 62 and 63 in the treatment instruments 64 and 65 from the calculated result.
  • the controller 70 transmits the calculated positional relationship information to the information collection unit 33 in the image generation device 12. And the aberration image generation part 49 produces
  • the present invention is not limited to this case, and can be applied to a treatment instrument having no joint.
  • the present invention can also be applied to a treatment instrument such as an IT knife 81 as shown in FIG. 14 or a treatment instrument called a hook knife 82 having a hook shape as shown in FIG.
  • a position detection signal from the sensor unit 45 in FIG. 33 collects.
  • Information on the direction in which the IT knife 81 protrudes from the tip opening is also required. However, this information can usually be regarded as information that does not change with time.
  • the treatment tool since the treatment tool does not have a joint, it is not necessary to detect a sensor for detecting a change in posture due to the rotation of the joint when the joint is provided.
  • the hook knife 82 since it is not a rotationally symmetric shape, for example, when applied to the first embodiment like the IT knife 81, the position and rotation angle detection signals by the sensor unit 45 in FIG.
  • the collection unit 33 collects. Moreover, although it does not change in time, the direction information is also required.
  • the treatment tool does not have a joint as described above, if it has flexibility, it detects a plurality of positions on the distal end side in order to improve detection accuracy, You may make it the structure which detects an attitude
  • position for example, the attitude
  • different sensors 44 and 45 are used for the advancement / retraction of the treatment tool and the detection of the direction with respect to the sensor for detecting the posture of the treatment tool.
  • the present invention is not limited to this, and the position, posture, advance / retreat, and direction information of the treatment tool may be detected by, for example, the operation mechanisms 40a and 40b. An example of such a configuration is shown in FIG.
  • FIG. 16 illustrates an overall configuration of an endoscope system 1D corresponding to, for example, a modification of the first embodiment.
  • the multi-joint treatment tools 6a ′ and 6b ′ in the endoscope system 1D are driven units in the operation mechanisms 40a and 40b provided with the rotation (rotation), movement, and the like of each joint on the hand side.
  • the plurality of motors 92a and 92b constituting the 91a and 91b are configured.
  • Each motor 92i is provided with a sensor 93i such as an encoder that detects a drive amount such as the rotation amount, and the rotation angle of each joint is detected by each sensor 93i. Further, as the motor 92i in the drive unit 91i, not only the rotation of each joint of the multi-joint treatment instrument 6i 'but also a motor that moves the rear end of the multi-joint treatment instrument 6i' in the longitudinal direction, and a longitudinal axis It also has a built-in motor that rotates around. These drive amounts are also detected by the corresponding sensors 93i. The detection signal detected by each sensor 93i is output from the control unit 41i to the information collecting unit 33 via the cable 43i, for example. Then, the information collecting unit 33 collects information on each part of the multi-joint treatment instrument 6i ′. For this reason, in this endoscope system 1D, the sensor unit 45 is not provided in the treatment instrument holder 44 in the first embodiment.
  • the sensor unit 45 is not provided in the treatment instrument
  • the control unit 41i performs control to drive each motor 92i of the drive unit 91i in accordance with an instruction operation by a user such as an operator.
  • the control unit 91i also receives the detection signal of the sensor 93i, and controls the driving amount of the corresponding motor 92i by a value corresponding to the instruction operation by the user.
  • Other configurations are the same as those in the first embodiment.
  • the endoscope system 1D is configured to detect all of the position, posture, advance / retreat, and direction information of each part of the multi-joint treatment tools 6a ′, 6b ′, for example, in the operation mechanisms 40a, 40b.
  • the endoscope system 1D has substantially the same operational effects as the first embodiment.
  • the present endoscope system 1D can easily reduce the diameter of the multi-joint treatment instrument 6i 'by providing the drive unit 91i on the hand side. That is, since it becomes a structure which does not need to provide a motor and a sensor in a joint part, it becomes easy to reduce in diameter.
  • the present invention can also be applied to an endoscope having a small inner diameter of the channel 5i.
  • the endoscope system 1D can be similarly applied to a processing tool that does not have a joint.
  • Embodiments configured by partially combining the above-described embodiments and the like also belong to the present invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Abstract

　医療機器システムは、対物レンズを含む観察部を備えた医療機器と、観察部から得られた観察視野内の画像を生成する観察視野内の画像生成部と、処置具の位置等の情報を収集する情報収集部と、対物レンズの歪曲収差の特性から、観察視野外となる仮想的な歪曲収差を設定する歪曲収差設定部と、処置具に対する観察視野外で仮想的に歪曲させた歪曲画像を生成する観察視野外の歪曲画像生成部と、観察視野内の処置具の画像と、観察視野外の処置具を歪曲させた歪曲画像とが観察視野の境界で一致するように合成画像を生成する画像合成部と、を具備する。

Description

医療機器システム
　本発明は、内視鏡等の観察手段を用いた観察視野内の画像と観察視野外の処置具を含む画像とを合成して表示する医療機器システムに関する。
　近年、細長の挿入部の先端に観察手段を設けた内視鏡は、医療分野などにおいて広く用いられるようになった。　
　また、内視鏡は、内視鏡の観察手段による観察下で、処置具を用いて治療のための処置を行う外科手術システムなどの医療機器システムとしても広く用いられる。　
　処置具を用いて処置を行うような場合には、観察手段による観察視野内に処置対象の患部と処置具の先端とを入れて、術者は処置を行う。　
　このような場合、術者は処置具の観察視野外の姿勢等の状態を認識できると、処置をより円滑に行い易くなる。
　例えば特開平９－１９４４１号公報の従来例には、多関節処置具としてのマニピュレータを観察手段からの観察画像を見ながら操作する場合、観察手段の観察視野外のマニピュレータの姿勢を把握する事が出来なかった。そのため、この従来例は、観察手段の観察視野外にあるマニピュレータの仮想画像を生成し、この仮想画像を観察手段が実際に捉えている映像と合成する画像表示装置を開示している。
　しかしながら、観察手段に用いられるレンズは、通常収差を伴う。このような場合に、従来例では、観察手段による観察画像は、歪曲収差による歪んだ画像として表示されるため、観察視野内で捉えて実際に表示されるマニピュレータ部分の画像と、観察視野外のマニピュレータ部分に対する仮想画像とが連続的につながらない。　
　このように、従来例では観察視野内と観察視野外とにおける処置具の両画像が連続的につながらないため、処置をより円滑に行う機能が低下する。
　本発明は上述した点に鑑みてなされたもので、観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成可能とする医療機器システムを提供することを目的とする。
　本発明の１形態に係る医療機器システムは、対物レンズを含む観察部を備えた医療機器と、
　前記観察部から得られた観察視野内の画像を生成する観察視野内の画像生成部と、
　前記医療機器と共に使用可能な処置具の少なくとも先端側の位置を含む情報を収集する情報収集部と、
　前記対物レンズの歪曲収差の特性から、観察視野外となる仮想的な歪曲収差を設定する歪曲収差設定部と、
　前記情報収集部が収集した情報と、前記仮想的な歪曲収差をもとに、前記処置具に対する、少なくとも前記観察視野外で仮想的に歪曲させた３次元又は２次元の歪曲画像を生成する観察視野外の歪曲画像生成部と、
　前記観察視野内に前記処置具が捕捉された場合、前記観察視野内の処置具の画像と、前記観察視野外の前記処置具の歪曲させた歪曲画像とが前記観察視野の境界で一致するように合成画像を生成する画像合成部と、
　を具備することを特徴とする。
図１は本発明の医療機器システムとしての実施例１の内視鏡システムの全体構成を示す図。 図２は図１における内部構成を示す構成図。 図３はビデオプロセッサにより得られる観察視野内画像としての内視鏡画像の１例を示す図。 図４Ａは正方格子を歪曲収差のない理想的な対物レンズで結像した場合に得られる画像を示す図。 図４Ｂは正方格子を歪曲収差のある対物レンズで結像した場合に得られる画像を示す図。 図５は観察視野外の処置具を歪曲収差を施さないで観察視野内の処置具と合成した場合に得られる画像例を示す図。 図６は収差画像生成回路を通して観察視野外の処置具を歪曲収差を施して観察視野内の処置具と合成した場合に得られる画像例を示す図。 図７は観察視野内の歪曲収差の計測された特性例と観察視野外に設定される歪曲収差の設定例を示す図。 図８は図７により設定された観察視野外に設定される歪曲収差による正方格子を結像した場合の画像例を示す図。 図９は本実施例による合成画像を得る動作手順の１例を示すフローチャート。 図１０は初期設定において設定される多関節処置具の先端側と内視鏡の先端側との関係を示す図。 図１１は処置を行う状態における内視鏡先端側を処置具と共に示す図。 図１２は本発明の実施例２における内視鏡及び多関節処置具の一部を示す図。 図１３は本発明の実施例３における内視鏡及びこの内視鏡と別体で使用される多関節処置具を含む内視鏡システムの一部を示す図。 図１４は本発明に使用可能な関節を有しない処置具としてのＩＴナイフを示す図。 図１５は本発明に使用可能な関節を有しない処置具としてのフックナイフを示す図。 図１６は実施例１の変形例に対応する内視鏡システムの全体構成図。
　以下、図面を参照して本発明の実施例を説明する。　
（実施例１）
　図１ないし図１１は本発明の実施例１に係り、図１は本発明の医療機器システムの実施例１の内視鏡システムの全体構成を示し、図２は図１の機能的な構成を示し、図３はビデオプロセッサにより得られる観察視野内画像としての内視鏡画像の１例を示す。　
　図４Ａは正方格子を歪曲収差のない理想的な対物レンズで結像した場合に得られる画像を示し、図４Ｂは正方格子を歪曲収差のある対物レンズで結像した場合に得られる画像を示し、図５は観察視野外の処置具を歪曲収差を施さないで観察視野内の処置具と合成した場合に得られる画像例を示す。　
　図６は収差画像生成回路を通して観察視野外の処置具を歪曲収差を施して観察視野内の処置具と合成した場合に得られる画像例を示し、図７は観察視野内の歪曲収差の計測された特性例と観察視野外に設定される歪曲収差の設定例を示し、図８は図７により設定された観察視野外に設定される歪曲収差による正方格子を結像した場合の画像例を示す。
　図９は本実施例による合成画像を得る動作手順の１例を示し、図１０は初期設定において設定される多関節処置具の先端側と内視鏡の先端側との関係を示し、図１１は処置を行う状態における内視鏡先端側を処置具と共に示す。　
　図１に示すように本発明の実施例１の内視鏡システム１は、ベッド２に横たわる患者３に対して検査及び処置を行うための医療機器としての内視鏡４を有し、この内視鏡４には処置具を挿通可能とするチャンネル５ａ、５ｂ（図２参照）が設けられている。そして、チャンネル５ａ、５ｂ内には処置具として例えば多関節処置具６ａ、６ｂが挿通されている。
　また、図１に示すカート７には、この内視鏡システム１を構成する以下の医療機器が載置されている。
　このカート７には、内視鏡４に照明光を供給する光源装置８と、内視鏡４に設けられている撮像装置９（図２参照）に対する信号処理を行い、内視鏡画像を生成するビデオプロセッサ１１と、多関節処置具６ａ、６ｂの観察視野外の仮想画像としてのコンピュータグラフィックス画像（ＣＧ画像と略記）に歪曲収差を施した収差画像としてのＣＧ収差画像を生成し、内視鏡画像とＣＧ収差画像とを合成した合成画像を生成する画像生成装置１２と、この合成画像を表示する表示装置１３とが載置されている。　
　内視鏡４は、例えば細長で可撓性を有し、患者３の体腔内等に挿入される軟性の挿入部１４を有し、その後端には術者が把持して湾曲等の操作を行う操作部１５が設けられている。この操作部１５から延出されたユニバーサルコード１６は、その端部のコネクタ１７が、光源装置８に接続され、さらに短いスコープケーブルを介して内視鏡画像を生成するビデオプロセッサ１１に着脱自在に接続される。
　図２に示すように内視鏡４は、挿入部１４の先端部１８に照明窓と観察窓（撮像窓）とが隣接して設けてあり、照明窓には例えば照明レンズ２０が取り付けられている。そして、光源装置８から供給される照明光をライトガイド２１により伝送し、このライトガイド２１の先端面からさらに照明レンズ２０を介して体腔内の患部等の観察対象（診断対象）部位側に出射し、観察対象部位側を照明する。　
　照明光により照明された観察対象部位は、観察窓に取り付けられた対物レンズ２２により、その結像位置に配置された固体撮像素子としての例えば電荷結像素子（ＣＣＤと略記）２３の撮像面に光学像を結像する。　
　ＣＣＤ２３は、結像された光学像を光電変換してＣＣＤ出力信号としての撮像信号を出力する。対物レンズ２２とＣＣＤ２３とにより、観察を行う観察手段としての撮像装置９が形成される。
　撮像信号は、ビデオプロセッサ１１内に設けられた撮像画像生成回路或いは内視鏡画像生成回路（以下、内視鏡画像生成回路）２４に入力される。　
　観察視野内の画像生成手段を形成するこの内視鏡画像生成回路２４は、撮像信号に対する信号処理を行うことにより、ＣＣＤ２３の撮像面に結像された光学像を、内視鏡画像Ｉａとして表示する画像信号（映像信号）を生成する。　
　この画像信号は、例えば画像生成装置１２内の画像合成回路２６に入力される。　
　また、この画像信号は、図１の表示装置１３とは別の表示装置２５にも出力される。そして、この表示装置２５の表示面には、この画像信号による画像が内視鏡画像Ｉａとして表示される。
　内視鏡画像Ｉａの表示例を図３に示す。この内視鏡画像Ｉａは、処置対象となる患部部位（図３では図示せず）と共に、この患部部位付近に配置され、この患部部位に対して処置を行う多関節処置具６ａ、６ｂにおける観察視野内に捉えられた一部（先端側）を含むものとなる。　
　なお、図３の内視鏡画像Ｉａは、例えば図１０に示すように対物レンズ２２の観察視野内に多関節処置具６ａ、６ｂの先端部の一部が補足された状態の画像に相当する。　
　この場合、対物レンズ２２は、小さなサイズで広角度の観察視野が望まれる要請から、その対物レンズ２２により結像された光学像には歪曲収差が伴うものとなる。　
　なお、本実施例における観察視野は、より厳密には対物レンズ２２による視野に対応した結像範囲内に配置されるＣＣＤ２３の撮像面の撮像領域に相当するが、簡単化のため対物レンズ２２の観察視野、或いは撮像装置９の観察視野という表現も用いる。
　また、本実施例では、簡単化のため、撮像面の撮像領域に結像された画像の周辺側の一部をマスクしないでそのまま表示装置１３の表示領域に表示するとする（観察視野の領域と表示領域とが等価とする）。マスクした場合には、そのマスクにより削られた部分だけ、観察視野或いは表示領域を狭くした扱いにすれば良い。　
　上記歪曲収差の影響を図４Ａ、図４Ｂにより補足説明する。　
　被写体として例えば正方格子を歪曲収差のない対物レンズにより結像した場合には、図４Ａに示すように、被写体と相似の画像が得られる。これに対して、歪曲収差のある対物レンズ２２により結像した場合には図４Ｂに示すように正方格子が樽型に歪んだ画像になる。この場合、画像の中央部分では、歪み量は小さいが、周辺部分では歪み量が大きくなっている。
　このため、図３の内視鏡画像Ｉａは、図４Ｂに示すような歪曲収差を持った状態の画像になる。　
　従って、内視鏡画像中の多関節処置具６ａ、６ｂも、観察視野の周辺側の画像部分に相当する表示領域の周辺側付近では、その歪み量が大きくなっている。　
　このため、画像生成装置１２により、内視鏡画像Ｉａの表示領域の外側の多関節処置具６ａ、６ｂのＣＧ画像を（対物レンズ２２による歪曲収差を考慮しないで）精度良く生成して、このＣＧ画像をそのまま内視鏡画像Ｉａと合成しても、例えば図５に示すように多関節処置具６ａ、６ｂが連続するようにつながらないようになる。　
　なお、図５の画像は、図２の３次元ＣＧ画像生成回路４７により生成したＣＧ画像を、収差画像生成回路４８を通さないで画像合成回路２６により内視鏡画像Ｉａと合成した場合に相当することになる。
　図５に示したように不連続になることを解消するため、本実施例においては、以下に説明するようにＣＧ画像に歪曲収差を施すことにより内視鏡画像Ｉａ中の処置具と滑らかにつながる合成画像を生成可能にする。
　以下に説明する構成にすることにより、内視鏡４の種類が異なる場合にも、図６に示すような合成画像Ｉｃを生成できるようにしている。　
　各内視鏡４における（この内視鏡４と分離されない部分となる）例えばコネクタ１７には、その内視鏡４の固有の識別情報となるＩＤ情報を発生するＩＤ情報発生部（図２中では単にＩＤと略記）２８が搭載されている。
　そして、そのＩＤ情報は、ビデオプロセッサ１１内に設けられたＣＰＵ２９に入力される。このＣＰＵ２９は、そのＩＤ情報を発生する内視鏡４に関連する各種情報を格納したＲＯＭ３０と接続されている。そして、ＣＰＵ２９は、例えばＩＤ情報をアドレス情報として、対応する内視鏡４に関連する各種情報を読み取る。
　そして、ＣＰＵ２９は、読み取った各種情報を通信インタフェース（Ｉ／Ｆと略記）３１を介して、画像生成装置１２内の通信インタフェース（Ｉ／Ｆと略記）３２を経由して情報収集部３３に伝送する。　
　ＲＯＭ３０に格納されている内視鏡４に関連する各種情報としては、その内視鏡４に搭載されている撮像装置９の特性に関する情報、より具体的には撮像装置９を構成する対物レンズ２２の光学特性としての焦点距離、歪曲収差の特性、ＣＣＤ２３の画素数、画素ピッチ、撮像面のサイス等の特性に関する情報と、内視鏡４の仕様、形状特性、例えば挿入部１４の長手方向に形成されたチャンネル５ａ、５ｂの（先端部１８の）先端開口の各位置の情報、これらの各位置と撮像装置９を構成する対物レンズ２２との３次元的な配置関係の情報等である。
　例えば後述する多関節処置具６ａ、６ｂの３次元ＣＧ画像を生成する３次元ＣＧ画像生成回路４７は、チャンネル５ａ、５ｂの先端開口の各位置を基準位置の情報に利用して多関節処置具６ａ、６ｂの３次元ＣＧを生成する。　
　つまり、多関節処置具６ａ、６ｂは、チャンネル５ａ、５ｂの先端開口から突出される突出量が変化したり、各関節部分で回転量（回転角）が変化するが、それらは常にチャンネル５ａ、５ｂの先端開口の位置を通った状態で変化する。　
　このため、チャンネル５ａ、５ｂの先端開口を基準位置として、初期状態において、この基準位置から突出される多関節処置具６ａ、６ｂを例えば真っ直ぐにする等して多関節処置具６ａ、６ｂの姿勢を、多関節処置具６ａ、６ｂに設けられたセンサ４２ａ、４２ｂ（図１０参照）の検出値で検出できるように初期設定を行う（換言するとセンサ４２ａ、４２ｂの検出値を較正、つまりキャリブレーションされた状態にする）。
　その後は、多関節処置具６ａ、６ｂに設けられたセンサ４２ａ、４２ｂの検出情報で、多関節処置具６ａ、６ｂにおける関節３８ａ，３８ｂ（図１０参照）の角度（関節角度）の変化により、その姿勢が変化した場合にも検出可能になる。　
　つまり、各関節部分に設けられた各センサ４２ａは、多関節処置具６ａが各関節３８ａでの回動に伴って変化する関節角度を検出する。そして、複数のセンサ４２ａは、複数の関節３８ａの回動状態に対応した多関節処置具６ａの姿勢の情報としての姿勢情報の検出手段を形成している。なお、センサ４２ｂ側も同様に多関節処置具６ｂの姿勢情報の検出手段を形成している。　
　また、観察視野内の多関節処置具６ａ、６ｂの先端側に対応して、その観察視野外のＣＧ画像を生成ためには、チャンネル５ａ、５ｂの先端開口の位置と、観察手段としての撮像装置９或いは対物レンズ２２の中心位置とその観察視野方向との相対的な配置関係の情報も必要になる。
　本実施例は、各内視鏡４に固有のＩＤ情報に基づいてその内視鏡４に関連する各種情報を（情報収集部３３が）収集する構成にしている。この構成により、処置に応じて異なる内視鏡４が使用される場合にも、実際に使用される内視鏡４に応じて必要となる各種情報を収集可能にしている。また、ユーザがマニュアルで情報を入力する手間を軽減できるようにしている。　
　また、ＩＤ情報から上記のような配置関係の情報が、取得できない場合（例えば、ＩＤ情報に関連付けられた内視鏡情報が、チャンネル５ａ，５ｂの先端開口の位置と撮像装置９の位置及び視野方向との３次元的な詳しい配置関係の情報を含まない場合）や、必要とされる精度で得られないような場合には、後述するようにユーザが入力指示装置３４から情報収集部３３に入力することもできるようにしている。　
　また、本実施例では多関節処置具６ａ、６ｂの場合で説明しているが、この多関節処置具６ａ、６ｂが変更された場合にも、変更された処置具に対して同様に適用できる構成にしている。
　なお、図２では、情報収集部３３は、ＩＤ情報をビデオプロセッサ１１を介して収集する構成を示しているが、情報収集部３３が直接ＩＤ情報から内視鏡４に関連する各種情報を収集する構成にしても良い。　
　また、情報収集部３３は、入力指示装置３４と接続されており、術者等のユーザは、この入力指示装置３４からＣＧ画像の生成等に必要な情報を入力することができる。例えば、挿入部１４の先端面のチャンネルの先端開口と、対物レンズ２２の中心位置及びその視野方向との相対的な位置情報を入力することができる。　
　また、チャンネルの先端開口から多関節処置具６ａ、６ｂが突出される方向情報も入力指示装置３４から情報収集部３３に入力される。この方向情報は、内視鏡４のＩＤ情報により、情報収集部３３が自動的に収集するようにしても良い。また、この情報は、以下に説明する姿勢情報と異なり、通常は時間的に変化しない情報である。
　換言すると、情報収集部３３は、ＣＧ画像を歪曲収差させたＣＧ収差画像を生成するために多関節処置具６ａ、６ｂと、内視鏡画像Ｉａを生成するための内視鏡４の先端部１８の観察手段（撮像装置９）との相対的な配置関係の位置情報、方向情報や姿勢情報を収集する。　
　また、例えば初期設定の状態における多関節処置具６ａ、６ｂの姿勢を確定するための位置情報、方向情報や姿勢情報を入力することができるようにしている。　
　また、ＩＤ情報発生部２８が設けられていない、或いは必要とされる各種情報を十分に確定できないような内視鏡の場合には、入力指示装置３４から必要とされる各種情報を入力することができるようにしている。　
　チャンネル５ａ，５ｂ内に挿通される処置具としての多関節処置具６ａ、６ｂは、細長の可撓部３６ａ、３６ｂを有する。可撓部３６ｉ（ｉ＝ａ、ｂ）の先端部には、各種の処置を行う処置部３７ｉが形成されている。
　また、処置部３７ｉの後端付近、つまり可撓部３６ｉにおける先端側には、複数の関節３８ｉによりマニピュレータ部３９ｉが形成されている。また、術者は、可撓部３６ｉの後端に設けられた操作機構４０ｉ（図１では簡単化して１つの操作機構４０で示している）を操作することにより、マニピュレータ部３９ｉを駆動して、多関節処置具６ａ、６ｂの先端側の姿勢を変えて各種の処置を行うことができるようになっている。　
　なお、操作機構４０ｉ内には、マニピュレータ部３９ｉを形成する各関節３８ｉ内のモータを駆動する制御部４１ｉが設けてある。　
　また、モータにより回転駆動される各関節３８ｉの回転量は、回転軸に取り付けられたロータリエンコーダ等のセンサ４２ｉにより検出される。各センサ４２ｉの検出信号は、ケーブル４３ｉ（図１では１本のケーブル４３で示す）を介して情報収集部３３に入力される。なお、モータを有しないで、手動で関節３８ａ，３８ｂを駆動できる構造の処置具の場合にも同様に適用できる。
　また、図２に示すようにチャンネル５ａ、５ｂにおけるその後端の処置具挿入口には、処置具ホルダ４４が取り付けられている。この処置具ホルダ４４は、可撓部３６ａ、３６ｂの外周面にスライド自在に接触し、その軸方向の移動を検出する移動量検出センサと、軸の回りの回転量を検出する回転量検出センサとが設けてある。　
　移動量検出センサ及び回転量検出センサからなるセンサ部４５による検出信号も情報収集部３３に入力される。　
　例えば初期設定等のある状態において、チャンネル５ａ、５ｂの先端開口から突出された多関節処置具６ａ、６ｂの先端側の突出量に対応した手元側での長手方向（軸方向）の位置と、回転角を基準値の移動量及び回転量に設定することにより、その後における手元側で検出される移動量と回転量とからチャンネル５ａ、５ｂの先端開口に位置する多関節処置具６ａ、６ｂの先端側の位置及び回転位置を検出可能にしている。
　そして、このチャンネル５ａ、５ｂの先端開口から突出される多関節処置具６ａ、６ｂの先端側の位置及び回転位置を検出可能にしている。　
　このため、この移動量検出センサは、多関節処置具６ａ、６ｂの（位置の情報、つまり位置情報を算出する。なお、チャンネル５ａ、５ｂは一定の長さであるので、手元側での位置が検出されると、先端側の位置も検出できる。　
　補足説明すると、例えば多関節処置具６ａ全体がその長手方向に回転された場合、その多関節処置具６ａのみでの姿勢は変化しないが、撮像装置９から見たこの多関節処置具６ａの先端側は変化する。しかし、多関節処置具６ａに設けられたセンサ４２ｉのみによる検出情報は、変化しないため、その変化を検出できない。そして、その変化を回転量検出センサにより検出する。
　本実施例では、撮像装置９による観察視野内の多関節処置具６ａ、６ｂとの関係を保つようにその観察視野外のＣＧ収差画像を生成するために回転量検出センサによるセンサ出力も利用する。なお、移動量検出センサに関しても多関節処置具６ａ、６ｂが全体的に移動された場合、センサ４２ｉでは検出できないその移動量を検出する。　
　先端側に３次元位置を検出可能とする磁界発生用のコイルを利用した位置検出センサを設けて、移動量検出センサを必要としない構成にしても良い。また、複数の磁界発生用のコイルなどを設けて、回転量検出センサを必要としない構成にしても良い。　
　また、例えば各関節に少なくとも１つの磁界発生用のコイルを設けて多関節処置具６ａ、６ｂの姿勢情報を検出する構成にしても良い。つまり、多関節処置具６ａ、６ｂの関節の状態を含むその姿勢を、複数の位置検出手段により検出することも可能になる。
　また、複数の位置検出手段により、多関節処置具６ａ、６ｂの方向を検出することも可能になる。また、ここでは複数の関節を有する多関節処置具６ａ、６ｂの場合で説明したが、１つの関節を有する処置具の場合にも適用できる。　
　情報収集部３３で収集された姿勢情報、位置情報、方向情報等の情報は、多関節処置具６ａ、６ｂの３次元ＣＧを生成する３次元ＣＧ画像生成回路４７と、その収差画像としてのＣＧ収差画像Ｉｂを生成する収差画像生成回路４８とに入力される。　
　なお、図２では３次元ＣＧ画像生成回路４７と、収差画像生成回路４８とを分けた構成で示しているが、両回路を一体化した観察視野外の歪曲収差生成手段としての収差画像生成部４９とした構成にしても良い。　
　また、この収差画像生成部４９が画像合成回路２６の機能を含む構成にしても良い。３次元ＣＧ画像生成回路４７は、観察視野の範囲に関する点を除外すれば基本的には、多関節処置具６ａ、６ｂに関する情報のみで多関節処置具６ａ、６ｂの３次元ＣＧ画像を生成することができる。
　本実施例では、内視鏡４の観察視野の外側の多関節処置具６ａ、６ｂの３次元のＣＧ画像を生成するため、３次元ＣＧ画像生成回路４７は、情報収集部３３により収集された内視鏡４側の情報も用いることにより、３次元のＣＧ画像を生成する。　
　同様に収差画像生成回路４８も３次元ＣＧ画像生成回路４７により生成された多関節処置具６ａ、６ｂの３次元のＣＧ画像に対して、対物レンズ２２の歪曲収差の特性と観察視野の境界で滑らかにつながる歪曲収差を施した収差画像としての３次元のＣＧ収差画像を生成する。　
　収差画像生成回路４８は、この３次元のＣＧ収差画像を、対物レンズ２２の観察視野方向から見た場合の２次元のＣＧ収差画像Ｉｂに変換して画像合成回路２６に出力する。そして、画像合成回路２６により内視鏡画像Ｉａと合成して、図６に示すような合成画像Ｉｃを生成できるようにしている。
　なお、収差画像生成回路４８は、多関節処置具６ａ、６ｂの３次元のＣＧ画像に対して、対物レンズ２２の観察視野方向から見た場合の２次元のＣＧ収差画像Ｉｂを生成するようにしても良い。この場合にはこのＣＧ収差画像Ｉｂを画像合成回路２６に出力する。　　また、画像合成回路２６は、観察視野内では内視鏡画像Ｉａを、観察視野外ではこのＣＧ収差画像Ｉｂを用いて合成画像Ｉｃを生成するように画像合成を行う。　
　この場合、収差画像生成回路４８が予め観察視野内の一部を含むＣＧ収差画像を生成し、画像合成回路２６に出力する際に、観察視野内のＣＧ収差画像Ｉｂ部分を削除或いは黒レベルに設定し、削除された観察視野内のＣＧ収差画像Ｉｂ部分或いは黒レベル部分に内視鏡画像Ｉａを加算或いは埋め込むようにして合成画像Ｉｃを生成するようにしても良い。
　図７は、対物レンズ２２の歪曲収差の特性例を示す。この図７に示すように対物レンズ２２の歪曲収差は、その中心においてはその値が最も小さいが、中心からの距離が大きくなる程、その値が増大する。　
　従って、観察視野の境界部分で歪曲収差の値が最も大きくなる。この対物レンズ２２の歪曲収差の特性は、予め計測され、その特性の情報は、格納手段などに保存する。　
　本実施例においては、各内視鏡４に搭載されている対物レンズ２２の歪曲収差の特性の情報は、予めＲＯＭ３０に格納されており、ＣＧ収差画像Ｉｂを生成する場合にはその情報を利用する。　
　この場合、観察視野の外側では、実際にはその歪曲収差の情報が存在しないので、観察視野内での歪曲収差の特性から観察視野外における仮想的な歪曲収差の特性を設定する。より具体的には、観察視野外の収差画像を生成する場合、少なくとも観察視野の境界では、対物レンズ２２の観察視野の境界での歪曲収差の値を用い、それより外側では境界での歪曲収差の値と滑らかにつながるような歪曲収差の設定値を用いる。
　例えば対物レンズ２２の観察視野の境界で、その位置の歪曲収差の接線を延長した直線（線分）をＣＧ収差画像Ｉｂを生成する歪曲収差を施す特性として用いる。この特性の設定は、例えばＣＰＵ２９により、ＲＯＭ３０に格納された対物レンズ２２の歪曲収差の特性から自動的に設定する。つまり、ＣＰＵ２９は、仮想的な歪曲収差の設定を行う歪曲収差設定手段を構成する。　
　なお、このように自動的に設定する場合に限らず、ユーザが対物レンズ２２の歪曲収差の特性からキーボード、その他の入力手段等でその特性を設定しても良い。設定された仮想的な歪曲収差の情報は、情報収集部３３に伝送され、さらにこの情報収集部３３から収差画像生成回路４８に送られる。そして、収差画像生成回路４８により、その情報を用いてＣＧ収差画像Ｉｂが生成される。
　図８はこのようにして設定された観察視野外の歪曲収差の特性設定を用いて正方格子の画像に歪曲収差を適用した例を点線で示す。実線は対物レンズ２２側による観察視野内の画像を示し、観察視野外は仮想的に設定された歪曲収差を施した画像部分を示す。　
　上記のように対物レンズ２２の観察視野の境界での歪曲収差部分と滑らかにつながる特性に設定されている。　
　また、この収差画像生成回路４８は、生成された３次元のＣＧ収差画像を内視鏡４の撮像装置９の観察視野方向から見た２次元のＣＧ収差画像Ｉｂに変換して画像合成回路２６に出力する。
　画像合成回路２６は、ビデオプロセッサ１１から出力される内視鏡画像Ｉａと、収差画像生成回路４８から出力される多関節処置具６ａ、６ｂの２次元のＣＧ収差画像Ｉｂとを合成して、合成画像Ｉｃを生成し、合成画像（の画像信号）を表示装置１３に出力する。　そして、表示装置１３には、観察視野内画像としての内視鏡画像Ｉａと、観察視野外画像としての多関節処置具６ａ、６ｂの２次元のＣＧ収差画像Ｉｂとの合成画像Ｉｃが表示される。　
　次に本実施例の動作を図９のフローチャートを参照して説明する。　
　最初に図１或いは図２に示すように設定する。具体的には、術者は、使用する内視鏡４を光源装置８とビデオプロセッサ１１に接続し、内視鏡４のチャンネル５ａ、５ｂに多関節処置具６ａ、６ｂを挿通し、この多関節処置具６ａ、６ｂの操作機構４０ａ、４０ｂ（４０）を画像生成装置１２に接続する。また、術者は、各装置の電源を投入して動作状態に設定する。
　そして、術者は、ステップＳ１の初期設定を行う。例えば、チャンネル５ａ、５ｂに挿通された多関節処置具６ａ、６ｂを、最初は真っ直ぐな状態に設定する。その場合におけるＣＧ収差画像Ｉｂの生成に必要な情報を情報収集部３３に、術者が入力指示装置３４からマニュアル等で入力する。　
　図１０は、初期設定の状態における内視鏡４の先端側における対物レンズ２２と、チャンネル５ａ、５ｂに挿通された多関節処置具６ａ、６ｂの先端側を示す。　
　図１０に示したようにチャンネル５ａ、５ｂの各先端開口から突出された多関節処置具６ａ、６ｂの突出量ｌａ、ｌｂの情報を入力する。また、多関節処置具６ａ、６ｂの軸回りの回転角の初期値を入力する。
　また、情報収集部３３には、ユーザによるマニュアル入力等により対物レンズ２２の中心軸とチャンネル５ａ、５ｂの中心との距離ｄａ、ｄｂの値（図１０では、平面的に示してあるが、実際には距離ｄａ，ｄｂの他にその方位の情報も）も取得する。　
　また、ステップＳ２に示すように情報収集部３３は、対物レンズ２２の歪曲収差の情報や、観察視野の範囲の情報等を取得する。　
　また、ステップＳ３に示すようにユーザは観察視野外の仮想的な歪曲収差を設定する。その設定に関しては、図７、図８にて説明したように設定する。そして、センサ４２ａ、４２ｂ等の値をリセットし、規定値にセットする。　
　最初は、センサの値が正しい値を取得できるようにキャリブレーションを行った後、ステップＳ４に示すように多関節処置具６ａ、６ｂの動きに応じてセンサ４２ａ、４２ｂは、多関節処置具６ａ、６ｂの関節角度を正確に取得するようになる。
　次のステップＳ５に示すようにセンサ４２ａ、４２ｂからの多関節処置具６ａ，６ｂの関節角度の情報等により収差画像生成部４９は、観察視野外の多関節処置具６ａ、６ｂのＣＧ収差画像Ｉｂを生成する。　
　次のステップＳ６においてＣＧ収差画像Ｉｂは、観察視野内の内視鏡画像Ｉａと合成された合成画像Ｉｃとして表示装置１３に表示される。　
　例えば、図１１に示すような状態に内視鏡４及び多関節処置具６ａ、６ｂが設定されていると、表示装置１３には図６に示すように画像が表示される。つまり、観察視野内の内視鏡画像Ｉａ中の多関節処置具の画像と、観察視野外の多関節処置具６ａ，６ｂのＣＧ収差画像Ｉｂとが観察視野の境界において滑らかにつながる合成画像Ｉｃとして表示される。　
　このステップＳ６の処理がされると、ステップＳ４の処理に戻り、術者が処置のために多関節処置具６ａ、６ｂを動かすと、その場合の関節角度がセンサ４２ａ、４２ｂにより取得される。そしてステップＳ４～Ｓ６の処理が繰り返される。
　なお、この他に多関節処置具６ａ，６ｂが軸方向に突出されたり、軸の周りで回転された場合には、センサ部４５による検出信号に基づき、図６に示すように内視鏡画像ＩａとＣＧ収差画像Ｉｂとが連続的につながる合成画像Ｉｃの状態を維持する。　
　このように本実施例によれば、観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成できる。従って、術者は、観察視野外における処置具の状態を視認し易い（自然な）状態で把握でき、内視鏡下粘膜下層切除術（ＥＳＤ）等による治療のための処置をより円滑に行うことができる。　
　また、本実施例は、内視鏡４のＩＤ情報により、そのＩＤ情報に対応した内視鏡４に用いられている撮像装置９に用いられている対物レンズ２２の歪曲収差を含む光学特性等の情報を情報収集部３３が収集して、ＣＧ収差画像Ｉｂを生成するのに利用することが可能になる。
　このため、マニュアルによる情報入力の手間を軽減して、内視鏡４が異なる場合にも、観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成することを可能にする。　
　なお、内視鏡４のチャンネル５ａ，５ｂ内に挿通される処置具にも処置具用のＩＤ情報を発生するＩＤ情報発生部（図２の符号５７ａ、５７ｂ参照）を設け、例えば画像生成装置１２内にそのＩＤ情報から、対応する処置具の３次元ＣＧ画像、及びそのＣＧ収差画像Ｉｂを生成できる構成にしても良い。　
　このようにすると、内視鏡４と共に、処置に使用される処置具が変更された場合にも、その処置具の場合にも、観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成できる。
　本実施例によれば、観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成できる。そして、術者は、この合成画像を参照することにより、処置し易い環境で処置具による処置を行うことができる。
（実施例２）
　次に図１２を参照して本発明の実施例２を説明する。実施例１においては、多関節処置具６ａ、６ｂは、挿入部１４の先端面の所定の位置を通ってその姿勢が変化する場合で説明した。　
　これに対して、本実施例の内視鏡システムは、多関節処置具６ａ、６ｂは、挿入部１４における先端部１８の後端側に形成された例えば２つの湾曲部５１，５２の手前に処置具挿通用チューブ（以下、単にチューブ）５０ａ，５０ｂの先端開口５３ａ、５３ｂ、つまり多関節処置具６ａ、６ｂの出口が設けられている内視鏡４Ｂに適用可能とするものである。　
　この場合には、多関節処置具６ａ、６ｂの姿勢の他に、チューブ５０ａ，５０ｂの先端開口５３ａ、５３ｂと、撮像装置９の相対的な位置、姿勢関係の情報が必要になる。
　この内視鏡４Ｂは、挿入部１４の先端部１８に撮像装置９が設けてあると共に、先端部１８の後端部分に第１の湾曲部５１と、この部分から所定長さ後方側部分に第２の湾曲部５２が設けられている。　
　そして、この第２の湾曲部５２の後端付近にチューブ５０ａ，５０ｂの先端開口５３ａ、５３ｂが設けてある。　
　湾曲部５１，５２は、挿入部１４内に挿通されたワイヤを介して手元側、例えば図２で示した操作部１５側から牽引することで湾曲駆動する。挿入部１４内を挿通されたワイヤの後端側は、例えば図１２に示すようになっている。例えば上下方向の湾曲駆動に対応する対のワイヤ５４ａ、５４ｂの後端は、例えばプーリ５５に架け渡してある。
　そして、湾曲操作により、このプーリ５５が回転されることにより、ワイヤ５４ａ、５４ｂの一方が牽引され、その牽引量は、エンコーダ５６により検出される。このエンコーダ５６の検出信号は、図２に示した情報収集部３３に入力される。　
　なお、図１２の図示例では、例えば第１の湾曲部５１における上下方向の湾曲検出機構のみを示しているが、左右方向の湾曲検出機構も設けてある。また、第２の湾曲部５２に対する湾曲検出機構は、第１の湾曲部５１の場合と同様の構成である。　
　このようにして、複数のエンコーダ５６の検出信号で湾曲部５１，５２の湾曲の情報を取得できる。そして、複数のエンコーダ５６の検出信号で内視鏡４Ｂの先端部１８における撮像装置９の３次元的な位置とその視野方向を算出することができる。
　この算出をより精度良く検出できるように、例えば先端部１８に位置検出センサ等を取り付けてその３次元位置を算出できるようにしても良い。また、挿入部１４の軸方向に磁気を発生する複数のソースコイルを配置し、ベッド２の周辺等には各ソースコイルの３次元位置を検出する複数のセンスコイルからなるセンスコイルユニットを配置した位置検出装置或いは挿入形状検出装置を用いるようにしても良い。　
　なお、多関節処置具６ａ、６ｂは、挿入部１４の外周面に（例えばテープなどで）固定された円筒状のチューブ５０ａ、５０ｂを介してその先端開口５３ａ、５３ｂから移動自在である。　
　チューブ５０ａ、５０ｂは、挿入部１４に固定されており、その先端開口５３ａ、５３ｂと撮像装置９との相対的な位置、姿勢関係の情報が取得される。
　その他は実施例１とほぼ同様の構成である。そして、本実施例においても実施例１と同様に観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成できるようにしている。　
　なお、上記エンコーダ５６は、ポテンショメータ等、他の種類の位置センサや、角度センサに置き換えることができる。また、エンコーダ５６でワイヤ５４ａ、５４ｂ等のワイヤ牽引量を計測する代わりに、湾曲部５１，５２に歪みゲージを装着して、歪みゲージにより湾曲角度を計測（検出）するようにしても良い。　
　本実施例も実施例１とほぼ同様に観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成でき、術者は処置をより円滑に行い易くなる。
（実施例３）
　次に図１３を参照して本発明の実施例３を説明する。実施例１、２においては、内視鏡４，４Ｂに多関節処置具６ａ、６ｂが一体化に近い状態で使用される場合で説明した。これに対して、腹腔鏡手術のような場合には、内視鏡と処置具とが別体で使用される場合が多い。本実施例は、このような場合にも適用できるようにしたものである。　
　この場合にも、撮像装置９と、処置具の出口との相対的な位置、姿勢関係の情報を取得できるようにして、別体の場合にも対応できるようにしている。図１３は実施例３の内視鏡システム１Ｃの一部の構成を示す。　
　患者の腹腔６０内に挿入される硬性内視鏡６１は、硬質の挿入部６１ａを有し、この挿入部６１ａの先端に（図示しない対物レンズとＣＣＤとによる）撮像装置９が設けられている。なお、この硬性内視鏡６１も、その固有のＩＤ情報を発生するＩＤ情報発生部２８を備えている。
　また、２つの処置具ガイド６２，６３は、処置具６４，６５を患者の体外から腹腔６０内の患部側に導く硬質のガイドチューブからなる。
　また、例えば硬性内視鏡６１の後端にはレシーバ６６、処置具ガイド６２、６３の後端付近における処置具６４，６５にはそれぞれレシーバ６７，６８がそれぞれ取り付けられる。
　これらレシーバ６６，６７，６８と、トランスミッタ６９とコントローラ７０は、磁気によりレシーバ６６，６７，６８の各位置及び各姿勢を計測（検出）する位置・姿勢検出システムを構成する。　
　例えば所定位置に配置されたトランスミッタ６９は、磁場を発生（送信）し、レシーバ６６，６７，６８によりその磁場を検出（受信）することにより、各レシーバ６６，６７，６８は、レシーバ６６，６７，６８の各３次元位置と、その軸回りの方向をそれぞれ算出することができる。　
　レシーバ６６（６７，６８も同様）は複数のセンサからなる構成により、位置の他に方向も検出可能になる。
　また、処置具６４，６５が関節を有する場合には、実施例１で説明したように各関節に設けられたセンサの検出角度がコントローラ７０に送信される。　
　これらレシーバ６６，６７，６８により検出された各位置及び各姿勢等を含む情報は、コントローラ７０に送信される。このコントローラ７０は、レシーバ６６，６７，６８などから送信された情報に基づいて、レシーバ６６，６７，６８それぞれの位置及び姿勢を演算などして算出する。つまり、このコントローラ７０は、位置・姿勢検出手段を形成する。　
　さらに、コントローラ７０は、算出した結果から撮像装置９と処置具６４，６５における処置具ガイド６２，６３の（ガイドチューブ）出口６２ａ，６３ａとの相対的な位置関係を算出する。　
　コントローラ７０は、算出した位置関係の情報を画像生成装置１２内の情報収集部３３に送信する。そして、この情報収集部３３が収集した情報により、収差画像生成部４９は、実施例１で説明したようにＣＧ収差画像Ｉｂを生成する。
　そして、実施例１の場合と同様に観察視野内と観察視野外との両画像中における処置具が連続する合成画像を生成できるようにしている。その他は、実施例１と同様の構成である。また、本実施例と実施例１を組み合わせて両方の場合に対応できる内視鏡システムを構成することもできる。　
　上述した実施例では、１つ以上の関節を備えた処置具の場合で説明したが、本発明はこの場合に限定されるものでなく、関節を有しない処置具の場合にも適用できる。　
　例えば図１４に示すようなＩＴナイフ８１のような処置具、或いは図１５に示すようにフック形状をしたフックナイフ８２と呼ばれる処置具の場合にも適用できる。　
　例えば、軸方向に関して回転対称なＩＴナイフ８１を実施例１の内視鏡４のチャンネル５ａ内に挿通して使用する場合には、例えば図２におけるセンサ部４５による位置の検出信号を情報収集部３３は収集する。なお、ＩＴナイフ８１が先端開口から突出される方向の情報も必要になる。但し、通常、この情報は、時間的に変化しない情報と見なすことができる。
　この場合には関節を有しない処置具であるので、関節を有する場合における関節の回転によるその姿勢の変化を検出するためのセンサの検出を必要としない。　
　また、フックナイフ８２の場合には、回転対称な形状でないため、例えばＩＴナイフ８１と同様に実施例１に適用した場合には、図２におけるセンサ部４５による位置及び回転角の検出信号を情報収集部３３は収集する。また、時間的に変化しないが、方向の情報も必要になる。　
　なお、上述のように関節を有しない処置具であっても、可撓性を有する場合には、検出精度を向上するために先端側の複数の位置を検出して、実質的に先端側の姿勢（例えば真っ直ぐな状態から変形した形状に相当する姿勢）を検出するような構成にするようにしても良い。　
　なお、上述した実施例、例えば実施例１においては、処置具の姿勢検出するセンサに対して、処置具の進退及び方向の検出については、別のセンサ４４，４５を使用している。本発明はこれに限定されるものでなく、処置具の位置、姿勢、進退、及び方向情報の全てを例えば操作機構４０ａ、４０ｂ部分で検出する構成にしても良い。そのような構成例を図１６に示す。
　図１６は、例えば実施例１の変形例に該当する内視鏡システム１Ｄの全体構成を示す。実施例１においては、多関節処置具６ａ、６ｂの姿勢を検出するセンサを、多関節処置具６ａ、６ｂ自体の内部、具体的には関節部分に設けた構成例で説明した。　
　これに対して、本内視鏡システム１Ｄにおける多関節処置具６ａ′、６ｂ′は、各関節の回転（回動）や、移動等を手元側に設けた操作機構４０ａ、４０ｂ内の駆動部９１ａ、９１ｂを構成する複数のモータ９２ａ，９２ｂにより行う構成にしている。　
　この場合、モータ９２ａ、９２ｂは、関節の数に応じて複数設けられている（なお、関節が無い場合にも以下に説明するように、処置具の長手方向に移動するものと、長手軸の回りで回転するものとが設けられている構造となる）。　
　そして、各モータ９２ｉ（ｉ＝ａ，ｂ）による駆動力を軸部３６ｉ内に挿通された図示しないワイヤを介して各関節を駆動する。
　また、各モータ９２ｉには、その回転量等の駆動量を検出するエンコーダ等のセンサ９３ｉが設けてあり、各センサ９３ｉにより各関節の回転角が検出される。　
　また、この駆動部９１ｉ内のモータ９２ｉとしては、多関節処置具６ｉ′の各関節の回転のみでなく、例えば多関節処置具６ｉ′の後端をその長手方向に移動するモータと、長手軸の回りで回転するモータも内蔵している。そして、それらの駆動量も、それぞれ対応するセンサ９３ｉで検出する構成にしている。　
　各センサ９３ｉで検出された検出信号は、例えば制御部４１ｉからケーブル４３ｉを介して情報収集部３３に出力する。そして、情報収集部３３は多関節処置具６ｉ′の各部の情報を収集する。このため、本内視鏡システム１Ｄは、実施例１における処置具ホルダ４４には、センサ部４５が設けてない。
　なお、制御部４１ｉは、術者等のユーザによる指示操作に応じて駆動部９１ｉの各モータ９２ｉを駆動する制御を行う。また、制御部９１ｉは、センサ９３ｉの検出信号も入力され、ユーザによる指示操作に対応した値だけ、対応するモータ９２ｉの駆動量を制御する。その他は、実施例１と同様の構成である。　
　このように本内視鏡システム１Ｄは、多関節処置具６ａ′、６ｂ′の各部の位置、姿勢、進退、及び方向情報の全てを例えば操作機構４０ａ、４０ｂ部分で検出する構成にしている。　
　本内視鏡システム１Ｄは、実施例１とほぼ同様の作用効果を有する。さらに本内視鏡システム１Ｄは、駆動部９１ｉを手元側に設ける構成とすることにより、多関節処置具６ｉ′を細径化し易くできる。つまり、関節部分にモータやセンサを設けなくても良い構造となるため、細径化し易くなる。また、チャンネル５ｉの内径が小さい内視鏡の場合にも適用できる。　
　なお、本内視鏡システム１Ｄは、関節を有しない処理具の場合にも同様に適用できる。上述した実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。
　対物レンズを用いた観察手段を備えた内視鏡等の医療機器と共に、処置具を用いた処置を行う場合に適する。

　本出願は、２００７年１２月２８日に日本国に出願された特願２００７－３４０３１５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されるものとする。

Claims (21)

  1. 　対物レンズを含む観察部を備えた医療機器と、
    　前記観察部から得られた観察視野内の画像を生成する観察視野内の画像生成部と、
    　前記医療機器と共に使用可能な処置具の少なくとも先端側の位置及び方向を含む情報を収集する情報収集部と、
    　前記対物レンズの歪曲収差の特性から、観察視野外となる仮想的な歪曲収差を設定する歪曲収差設定部と、
    　前記情報収集部が収集した情報と、前記仮想的な歪曲収差をもとに、前記処置具に対する、少なくとも前記観察視野外で仮想的に歪曲させた３次元又は２次元の歪曲画像を生成する観察視野外の歪曲画像生成部と、
    　前記観察視野内に前記処置具が捕捉された場合、前記観察視野内の処置具の画像と、前記観察視野外の前記処置具の歪曲させた歪曲画像とが前記観察視野の境界で一致するように合成画像を生成する画像合成部と、
    　を具備することを特徴とする医療機器システム。
  2. 　さらに、前記医療機器と共に使用可能な処置具として、前記医療機器に設けられたチャンネル内に挿通される処置具を有することを特徴とする請求項１に記載の医療機器システム。
  3. 　さらに、前記医療機器と共に使用可能な処置具として、前記医療機器と別体で使用される処置具を有することを特徴とする請求項１に記載の医療機器システム。
  4. 　前記処置具は、回動する関節を有することを特徴とする請求項２に記載の医療機器システム。
  5. 　前記処置具は、回動する関節を有することを特徴とする請求項３に記載の医療機器システム。
  6. 　前記歪曲収差設定部は、複数の医療機器にそれぞれ設けられた前記対物レンズの歪曲収差に対応する前記観察視野外の仮想的な歪曲収差の情報を格納した格納部を有することを特徴とする請求項１に記載の医療機器システム。
  7. 　前記医療機器は、固有の識別情報を有し、前記歪曲収差設定部は、前記格納部から前記識別情報に対応する仮想的な歪曲収差の情報を読み出して、前記対物レンズの観察視野外となる仮想的な歪曲収差を設定することを特徴とする請求項６に記載の医療機器システム。
  8. 　前記医療機器は、固有の識別情報を有し、前記歪曲収差設定部は、前記識別情報に基づき医療機器に設けられた前記対物レンズの歪曲収差に対応する前記観察視野外となる仮想的な歪曲収差を自動設定することを特徴とする請求項１に記載の医療機器システム。
  9. 　前記情報収集部は、前記観察部の位置に対する前記処置具の先端側の位置及び方向の情報を収集することを特徴とする請求項１に記載の医療機器システム。
  10. 　前記情報収集部は、前記観察部の位置に対する前記処置具の先端側の位置及び方向の情報を収集することを特徴とする請求項２に記載の医療機器システム。
  11. 　さらに前記画像合成部により生成された前記合成画像を表示する表示装置を有することを特徴とする請求項１に記載の医療機器システム。
  12. 　前記歪曲画像生成部は、前記情報収集部により収集された情報を用いて前記処置具に対する少なくとも前記観察視野外の３次元コンピュータグラフィック画像を生成するコンピュータグラフィック画像生成部と、前記３次元コンピュータグラフィック画像を仮想的に歪曲させると共に、前記対物レンズの前記観察視野方向から見た前記２次元の歪曲画像としての２次元コンピュータグラフィック歪曲画像を生成する２次元コンピュータグラフィック歪曲画像生成部とを有することを特徴とする請求項１に記載の医療機器システム。
  13. 　前記医療機器は、細長の挿入部の先端部に前記対物レンズを含む観察部が設けられた内視鏡を含むことを特徴とする請求項１に記載の医療機器システム。
  14. 　前記医療機器は、細長の挿入部の先端部に前記対物レンズを含む観察部が設けられた内視鏡を含むことを特徴とする請求項２に記載の医療機器システム。
  15. 　前記医療機器は、前記医療機器と別体で使用され、前記処置具を挿通可能とするガイドチューブを含むことを特徴とする請求項１に記載の医療機器システム。
  16. 　前記処置具は、該処置具の少なくとも先端側の位置を検出するセンサを有することを特徴とする請求項１に記載の医療機器システム。
  17. 　前記処置具は、該処置具の先端側に設けられた関節を電気的に駆動する駆動部を有することを特徴とする請求項２に記載の医療機器システム。
  18. 　前記処置具は、該処置具の先端側に設けられた関節を電気的に駆動する駆動部を有することを特徴とする請求項３に記載の医療機器システム。
  19. 　前記処置具は、固有の識別情報を有し、前記情報収集部は、前記識別情報を参照して前記医療機器と共に使用される前記処置具の先端側の情報を前記歪曲画像生成部に出力することを特徴とする請求項２に記載の医療機器システム。
  20. 　前記処置具は、固有の識別情報を有し、前記歪曲画像生成部は、前記識別情報に基づいて前記識別情報に対応する前記処置具の先端側の前記観察視野外の歪曲画像を生成することを特徴とする請求項１に記載の医療機器システム。
  21. 　前記歪曲収差設定部は、前記対物レンズの歪曲収差における前記観察視野内における観察視野外との境界での値と、その境界での接線の傾きの情報とを用いて前記仮想的な歪曲収差を設定することを特徴とする請求項１に記載の医療機器システム。
PCT/JP2008/071414 2007-12-28 2008-11-26 医療機器システム WO2009084345A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP08866032A EP2186466A4 (en) 2007-12-28 2008-11-26 MEDICAL INSTRUMENT SYSTEM
JP2009547959A JPWO2009084345A1 (ja) 2007-12-28 2008-11-26 医療機器システム
US12/774,826 US8556803B2 (en) 2007-12-28 2010-05-06 Medical apparatus system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007340315 2007-12-28
JP2007-340315 2007-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/774,826 Continuation US8556803B2 (en) 2007-12-28 2010-05-06 Medical apparatus system

Publications (1)

Publication Number Publication Date
WO2009084345A1 true WO2009084345A1 (ja) 2009-07-09

Family

ID=40824068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/071414 WO2009084345A1 (ja) 2007-12-28 2008-11-26 医療機器システム

Country Status (4)

Country Link
US (1) US8556803B2 (ja)
EP (1) EP2186466A4 (ja)
JP (1) JPWO2009084345A1 (ja)
WO (1) WO2009084345A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019017019A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法
JPWO2019017018A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法
US11534241B2 (en) 2015-12-24 2022-12-27 Olympus Corporation Medical manipulator system and image display method therefor

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6205125B2 (ja) * 2012-12-11 2017-09-27 オリンパス株式会社 内視鏡装置の挿入支援情報検出システム及び内視鏡装置
JP6000928B2 (ja) * 2013-10-24 2016-10-05 オリンパス株式会社 医療用マニピュレータおよび医療用マニピュレータの初期化方法
WO2015121765A1 (en) * 2014-02-12 2015-08-20 Koninklijke Philips N.V. Robotic control of surgical instrument visibility
EP3130276B8 (en) * 2015-08-12 2020-02-26 TransEnterix Europe Sàrl Endoscope with wide angle lens and adjustable view
JP6242543B2 (ja) * 2015-09-28 2017-12-06 オリンパス株式会社 画像処理装置及び画像処理方法
WO2018109981A1 (ja) * 2016-12-15 2018-06-21 オリンパス株式会社 内視鏡及び内視鏡システム
JP6996901B2 (ja) * 2017-08-17 2022-01-17 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
US11147629B2 (en) * 2018-06-08 2021-10-19 Acclarent, Inc. Surgical navigation system with automatically driven endoscope
WO2020041081A1 (en) * 2018-08-22 2020-02-27 Intuitive Surgical Operations, Inc. Distortion correction of endoscopic images in computer-assisted tele-operated surgery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0919441A (ja) * 1995-07-04 1997-01-21 Toshiba Corp 術式支援用画像表示装置
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
JP2007171941A (ja) * 2005-11-22 2007-07-05 Olympus Corp 内視鏡装置及び内視鏡画像歪み補正方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
JP2001104333A (ja) 1999-10-07 2001-04-17 Hitachi Ltd 手術支援装置
US6517478B2 (en) * 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6490475B1 (en) * 2000-04-28 2002-12-03 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6947786B2 (en) * 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
JP4022114B2 (ja) * 2002-08-30 2007-12-12 オリンパス株式会社 内視鏡装置
JP3797302B2 (ja) * 2002-09-04 2006-07-19 株式会社日立製作所 医療用マニピュレータシステム及びその操作方法
JP2006227774A (ja) * 2005-02-16 2006-08-31 Hitachi Medical Corp 画像表示方法
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US7942868B2 (en) * 2006-06-13 2011-05-17 Intuitive Surgical Operations, Inc. Surgical instrument with parallel motion mechanism
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0919441A (ja) * 1995-07-04 1997-01-21 Toshiba Corp 術式支援用画像表示装置
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
JP2007171941A (ja) * 2005-11-22 2007-07-05 Olympus Corp 内視鏡装置及び内視鏡画像歪み補正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2186466A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11534241B2 (en) 2015-12-24 2022-12-27 Olympus Corporation Medical manipulator system and image display method therefor
JPWO2019017019A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法
JPWO2019017018A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法
US11160438B2 (en) 2017-07-18 2021-11-02 Fujifilm Corporation Endoscope device and measurement support method

Also Published As

Publication number Publication date
JPWO2009084345A1 (ja) 2011-05-19
EP2186466A1 (en) 2010-05-19
US20100217075A1 (en) 2010-08-26
EP2186466A4 (en) 2011-01-19
US8556803B2 (en) 2013-10-15

Similar Documents

Publication Publication Date Title
WO2009084345A1 (ja) 医療機器システム
US11141048B2 (en) Automated endoscope calibration
CN113164184B (zh) 能够手动地和机器人地控制的医疗器械
JP5932172B2 (ja) 内視鏡システム
CN110831536B (zh) 用于针对非命令器械滚转进行校正的系统和方法
US11786106B2 (en) Robotic endoscope probe having orientation reference markers
JP6091410B2 (ja) 内視鏡装置の作動方法及び内視鏡システム
JP5024785B2 (ja) 内視鏡装置に搭載されるアームシステム
KR20190054030A (ko) 견인 와이어를 사용한 내시경의 자동화된 교정
US20090216077A1 (en) Manipulator operation system
WO2010140441A1 (ja) 医療機器システムおよび医療器具のキャリブレーション方法
US20160353969A1 (en) Method of controlling endoscopes, and endoscope system
JP2006288775A (ja) 内視鏡手術支援システム
WO2017068650A1 (ja) 挿入体支援システム
JP4875784B2 (ja) 医療装置
WO2014007125A1 (ja) 手術支援装置
US20190142523A1 (en) Endoscope-like devices comprising sensors that provide positional information
JP2014033716A (ja) 内視鏡及び内視鏡装置並びに内視鏡システム
CN113905652A (zh) 医学观察系统、控制装置和控制方法
WO2017170842A1 (ja) 内視鏡形状把握システム
JP2023529291A (ja) トリプル画像化ハイブリッドプローブのためのシステム及び方法
JP6385528B2 (ja) 医療システム及び医療システムの作動方法
US9943213B2 (en) Medical image processing apparatus generating a three-dimensional image of a medical device superposed over a three-dimensional image of a preoperative structure of an object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08866032

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2009547959

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2008866032

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE