WO2009118938A1 - 内視鏡システム、内視鏡手術訓練システム - Google Patents

内視鏡システム、内視鏡手術訓練システム Download PDF

Info

Publication number
WO2009118938A1
WO2009118938A1 PCT/JP2008/068973 JP2008068973W WO2009118938A1 WO 2009118938 A1 WO2009118938 A1 WO 2009118938A1 JP 2008068973 W JP2008068973 W JP 2008068973W WO 2009118938 A1 WO2009118938 A1 WO 2009118938A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
axis
projection
video
viewpoint position
Prior art date
Application number
PCT/JP2008/068973
Other languages
English (en)
French (fr)
Inventor
厚行 山本
洋 星野
河村 亮
誠 橋爪
研宙 大内田
Original Assignee
パナソニック電工株式会社
国立大学法人九州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック電工株式会社, 国立大学法人九州大学 filed Critical パナソニック電工株式会社
Priority to US12/933,540 priority Critical patent/US20110015486A1/en
Priority to EP08873544A priority patent/EP2260753A4/en
Publication of WO2009118938A1 publication Critical patent/WO2009118938A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/10Projectors with built-in or built-on screen
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/26Stereoscopic photography by simultaneous viewing using polarised or coloured light separating different viewpoint images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Definitions

  • the present invention relates to an endoscope system for presenting an affected part to an operator or the like in endoscopic surgery, and an endoscopic surgery training system for training various operations in endoscopic surgery.
  • endoscopic surgery (hereinafter referred to as “endoscopic surgery”) is a patient that has a great merit in that there are few surgical wounds, early bed removal and discharge are possible, and cosmetics are excellent.
  • An endoscope system that realizes this endoscopic surgery includes an endoscope device that images an affected area, and a monitor that displays an image captured by the endoscope apparatus, and displays the state of the affected area on the monitor. In this state, the forceps inserted toward the affected area is operated to perform an operation on the affected area.
  • An image display device that can be used for such endoscopic surgery is described in, for example, a patent document (2008-15470).
  • the position of the surgeon's viewpoint and the assistant's viewpoint with respect to the video are regulated by the arrangement of the display screen, bed, and various equipment. If this viewpoint position is restricted, there is a risk that when the surgeon changes the viewpoint position, the center of the image showing the affected area may not be seen or the entire image may not be visible, which is stressful for the surgeon. there is a possibility.
  • the present invention has been proposed in view of the above-described situation, and an endoscope system and an endoscopic surgery training system that can always present a clear stereoscopic image to an operator in endoscopic surgery.
  • the purpose is to provide.
  • the present invention provides an endoscope system that acquires an image of a subject to be imaged in a patient's body cavity at a surgical site where a surgical instrument inserted into the patient's body cavity is operated by a first operator at a first viewpoint position. It is related.
  • the present invention relates to an endoscope apparatus that is operated by a second operator at a second viewpoint position, and at least a part of which is inserted into a body cavity of a patient to shoot an image of the affected area of the patient, and an endoscope apparatus
  • the image projection means for projecting the image light representing the image taken by the projector and the projection surface shape with the concave surface directed toward the first worker and the second worker, and the image light is projected by the image projection means
  • the image is displayed from the first viewpoint position without distortion on the projection surface.
  • Video signal processing means for performing distortion correction processing on the video signal input to the video projection means.
  • the present invention sets the image display means as a first axis that passes through the center of the concave opening surface and is perpendicular to the opening surface.
  • the point where the plane intersects is the projection plane center
  • the axis connecting the projection plane center to the projection plane edge is the second axis
  • the tangent of the projection plane edge composed of a spherical part of the image display means
  • the angle formed by the first axis and the third axis is an angle at which the entire image can be observed from the first viewpoint position
  • the first axis and the second axis Is an angle at which the center of the projection plane can be observed from the second viewpoint position.
  • the present invention uses the video display means as a first axis that passes through the center of the concave opening surface and is perpendicular to the opening surface.
  • the point at which the projection plane intersects the projection plane is the center of the projection plane
  • the axis connecting the projection plane center to the projection plane edge is the second axis
  • the projection plane edge composed of a spherical part of the image display means
  • the angle formed by the first axis and the third axis is an angle at which the entire image can be observed from both the first viewpoint position and the second viewpoint position.
  • FIG. 1 is a perspective view of a display device for endoscopic surgery in an endoscope system to which the present invention is applied.
  • FIG. 2 is a schematic diagram of an example of use in endoscopic surgery by an endoscope system to which the present invention is applied.
  • FIG. 3 is a block diagram showing a functional configuration of an endoscope system to which the present invention is applied.
  • FIG. 4 is a diagram for explaining the positional relationship between the viewpoint position of the operator P, the reflecting mirror, and the dome-shaped screen in the endoscope system to which the present invention is applied.
  • FIG. 5 is a perspective view showing another configuration of the endoscope system to which the present invention is applied.
  • FIG. 6 is a perspective view showing still another configuration of the endoscope system to which the present invention is applied.
  • FIG. 1 is a perspective view of a display device for endoscopic surgery in an endoscope system to which the present invention is applied.
  • FIG. 2 is a schematic diagram of an example of use in endoscopic surgery by an endoscope system
  • FIG. 7 is a perspective view showing still another configuration of the endoscope system to which the present invention is applied.
  • FIG. 8 is a perspective view showing still another external configuration of the endoscope system to which the present invention is applied.
  • FIG. 9 is a perspective view showing still another external configuration of the endoscope system to which the present invention is applied.
  • FIG. 10 is a diagram for explaining a configuration of an endoscope apparatus in an endoscope system to which the present invention is applied.
  • FIG. 11 is a diagram for explaining an arrangement relationship in the field of endoscopic surgery in which the endoscope system to which the present invention is applied is introduced.
  • FIG. 12 is a diagram showing the relationship between the arrangement of the bed, the operator, and the assistant at the site of endoscopic surgery and the center point on the projection plane.
  • FIG. 13 is a diagram illustrating another relationship between the arrangement of the bed, the operator, and the assistant at the site of endoscopic surgery and the center point on the projection plane.
  • FIG. 14 is a diagram for explaining the shape of the projection surface that allows the operator or assistant to always see the center point of the projection surface in the endoscope system to which the present invention is applied.
  • FIG. 15 is a diagram for explaining conditions under which the center point of the projection surface can be seen by the operator or assistant in the endoscope system to which the present invention is applied.
  • FIG. 16 is a diagram for explaining the shape of the projection surface that allows the operator or assistant to see the entire projection surface in the endoscope system to which the present invention is applied.
  • FIG. 14 is a diagram for explaining the shape of the projection surface that allows the operator or assistant to always see the center point of the projection surface in the endoscope system to which the present invention is applied.
  • FIG. 15 is a diagram for explaining conditions under which the center point of the projection surface can be seen by the operator or assistant in the endoscope
  • FIG. 17 is a diagram for explaining conditions under which an entire projection surface can be seen by an operator or an assistant in an endoscope system to which the present invention is applied.
  • FIG. 18 is a perspective view showing a simulated subject used in the first work task.
  • FIG. 19 shows a forceps reciprocation time performed by viewing a two-dimensional image (2D) and a forceps reciprocation time performed by viewing a three-dimensional image (3D) on a dome-shaped screen as a training result of the first work task. It is a graph shown by comparison.
  • FIG. 20 shows the standard deviation of the forceps reciprocation time performed by viewing the two-dimensional image (2D) and the forceps reciprocation performed by viewing the three-dimensional image (3D) on the dome-shaped screen as the training result of the first work task.
  • FIG. 21 shows the number of gripping mistakes performed by viewing the two-dimensional image (2D) and the number of gripping errors performed by viewing the three-dimensional image (3D) on the dome-shaped screen as the training result of the first work task. It is a box-and-whisker diagram shown in comparison.
  • FIG. 22 is a perspective view showing a simulated subject used in the second work task.
  • FIG. 23 shows a forceps reciprocation time performed by viewing a two-dimensional image (2D) and a forceps reciprocation time performed by viewing a three-dimensional image (3D) on a dome-shaped screen as a training result of the second work task.
  • FIG. 24 shows the number of gripping mistakes performed by viewing the 2D image (2D) and the number of gripping errors performed by viewing the 3D image (3D) on the dome-shaped screen as the training result of the second work task. It is a graph shown by comparison.
  • FIG. 25 is a perspective view showing a simulated subject used in the third work task.
  • FIG. 26 shows the result of training for the third work task by comparing the amount of deviation performed by viewing a 2D image (2D) and the amount of displacement performed by viewing a 3D image (3D) on a dome-shaped screen.
  • FIG. 27 shows the standard deviation of the amount of deviation performed by viewing the 2D image (2D) and the amount of displacement performed by viewing the 3D image (3D) on the dome-shaped screen as a training result of the third work task. It is a box-and-whisker diagram which compares and shows a standard deviation.
  • FIG. 28 is a perspective view showing a simulated subject used in the fourth work task.
  • FIG. 29 shows the stitching and ligation time performed by viewing the two-dimensional image (2D) and the stitching and ligation time performed by viewing the three-dimensional image (3D) on the dome-shaped screen as the training results of the fourth work task. It is a graph which compares and shows.
  • FIG. 28 is a perspective view showing a simulated subject used in the fourth work task.
  • FIG. 29 shows the stitching and ligation time performed by viewing the two-dimensional image (2D) and the stitching and ligation time performed by viewing the three-dimensional image (3D) on the dome-shaped screen as the training results of the fourth work task
  • FIG. 30 shows a comparison between the number of gripping mistakes performed by viewing a 2D image (2D) and the number of gripping errors performed by viewing a 3D image (3D) on a dome-shaped screen as a fourth work task. It is a graph to show.
  • FIG. 31 is a perspective view showing a simulated subject used in the first recognition task.
  • FIG. 32 is a box-and-whisker diagram comparing the correct answer rate when using a two-dimensional image and the correct answer rate when using a three-dimensional image as a training result of the first recognition task.
  • FIG. 33 is a box-and-whisker diagram showing a comparison of a correct answer rate performed using a flat monitor and a correct answer rate performed using a dome-shaped screen as a training result of the first recognition task.
  • FIG. 34 is a perspective view showing a simulated subject used in the second recognition task.
  • FIG. 35 is a box-and-whisker diagram comparing the correct answer rate when using a two-dimensional image as the training result of the second recognition task and the correct answer rate when using a three-dimensional image on a dome-shaped screen.
  • FIG. 36 is a box-and-whisker diagram comparing the correct answer rate using a flat monitor and the correct answer rate using a dome-shaped screen as a training result of the second recognition task.
  • FIG. 37 is a perspective view showing a simulated subject used in the third recognition task.
  • FIG. 35 is a box-and-whisker diagram comparing the correct answer rate when using a two-dimensional image as the training result of the second recognition task and the correct answer rate when using a three-dimensional image on a dome-shaped screen.
  • FIG. 36 is a box-and-whisker diagram comparing the correct answer rate using a flat monitor and the correct answer rate using a dome-shaped screen as
  • FIG. 38 is a box-and-whisker diagram comparing the correct answer rate when using a two-dimensional image as the training result of the third recognition task and the correct answer rate when using a three-dimensional image on a dome-shaped screen.
  • FIG. 39 is a box-and-whisker diagram showing a comparison of a correct answer rate performed using a flat monitor and a correct answer rate performed using a dome-shaped screen as a training result of the third recognition task.
  • An endoscope system to which the present invention is applied acquires images of a subject to be imaged in a patient body cavity by endoscopic surgery, and allows a plurality of persons including an operator (first worker) of endoscopic surgery to perform A person presenting a stereoscopic image of a subject to be imaged in a patient body cavity.
  • this endoscope system is configured to include a dome-shaped screen 11 formed of a part of a sphere as shown in FIG. 1 as the display device 1 for endoscopic surgery.
  • a work table A (such as a bed) is installed in front of the dome-shaped screen 11, and a patient B is laid on the bed A.
  • a camera of the endoscope apparatus 2 to be described later is arranged so as to capture an image of the patient B, and an image captured by the camera is displayed on the dome-shaped screen 11 in a three-dimensional manner.
  • a plurality of persons including the operator P perform an endoscopic operation on the patient B while viewing the video displayed on the dome-shaped screen 11.
  • the display device 1 for endoscopic surgery is connected to an endoscope device 2 via a video signal processing device 3, and a dome type screen without distortion of an image captured by the endoscope device 2.
  • 11 is displayed three-dimensionally.
  • a plurality of persons including the operator P can perform endoscopic surgery and endoscopic surgery training from different positions while confirming images captured by the endoscope apparatus 2 on the dome-shaped screen 11. .
  • the endoscope device 2 In order to display a stereoscopic image on the dome-shaped screen 11 by the display device 1 for endoscopic surgery, the endoscope device 2 includes a camera unit that captures an image as a main body 2a or a tip as shown in FIG. 2b.
  • the endoscope apparatus 2 supplies the video signal to the endoscopic surgery display apparatus 1 via the video signal processing apparatus 3.
  • the configuration of the endoscope apparatus 2 will be described later.
  • the endoscopic surgical display device 1 includes projectors 12 and 13 (image projection means) that receive an image signal and emit an image, a reflector 14 that reflects an image emitted from the projectors 12 and 13, and a reflector.
  • a dome-shaped screen 11 image display means having a dome-shaped projection surface 11a on which an image reflected by the projector 14 is projected, a projector 12, 13, a reflecting mirror 14, and a base portion 15 that supports the dome-shaped screen 11,
  • the projectors 12 and 13, the reflecting mirror 14, and the lifting / lowering device 16 that moves the dome-shaped screen 11 vertically with respect to the base portion 15 are provided.
  • the video signal processing device 3 is connected to the endoscope device 2 and performs control such as signal output control for the display device 1 for endoscopic surgery, and a first operation of the operator P.
  • a left-eye image correction unit 3B and a right-eye image correction unit 3C that perform distortion correction processing on image signals input to the projectors 12 and 13 so that an image is displayed on the projection surface 11a without distortion from the viewpoint position;
  • a distortion correction table storage unit 3D that stores a distortion correction table used for correction processing.
  • the left-eye video correction unit 3B and the right-eye video correction unit 3C supply the right-eye video signal and the left-eye video signal to the projectors 12 and 13, respectively.
  • the left-eye video correction unit 3B corrects the distortion of the left-eye video signal so that the left-eye video is displayed on the dome-shaped screen 11 without distortion from the first viewpoint position of the surgeon.
  • distortion correction is performed based on the distortion correction table. Specifically, two planar images (non-stereoscopic images) corresponding to the left and right eyes are supplied from the endoscope device 2 to the video signal processing device 3 and projected from the projector 13 onto the dome-shaped screen 11. At times, coordinate conversion is performed on a planar image so that the image is not distorted and viewed on the dome-shaped screen 11 from the first viewpoint position of the operator P.
  • a distortion correction table that uses a correction parameter such as a projector characteristic such as a projection angle and an angle of view of the projector 12 to coordinate-convert a planar image so that the image is not distorted and viewed on the dome-shaped screen 11 from the first viewpoint position.
  • a correction parameter such as a projector characteristic such as a projection angle and an angle of view of the projector 12 to coordinate-convert a planar image so that the image is not distorted and viewed on the dome-shaped screen 11 from the first viewpoint position.
  • the right-eye image correction unit 3C also has a dome-shaped relative position relationship between the right-eye projector 13, the reflecting mirror 14, the operator's viewpoint position, and the dome-type screen 11. Distortion correction is performed according to a distortion correction table created using correction parameters such as the projector 11 characteristics such as the shape of the screen 11, the projection angle of the right-eye projector 13, and the angle of view. Thereby, the video signal processing device 3 can project the stereoscopic video having a predetermined parallax between the right-eye video and the left-eye video from the projectors 12 and 13.
  • the relative position of the reflecting mirror 14 is omitted, and the distortion correction table using correction parameters including the relative positional relationship between the left-eye projector 12, the operator's viewpoint position, and the dome-shaped screen 11 is used. Will be created.
  • the patient's biological information such as blood pressure necessary for endoscopic surgery, and medical images (CT images, MRI images, etc.) acquired before and during surgery
  • a biometric information acquisition unit for acquiring.
  • this endoscope system projects the image
  • the endoscope system inputs two planar video signals corresponding to the left and right eyes captured by the endoscope apparatus 2 to the left-eye video correction unit 3B and the right-eye video correction unit 3C.
  • a planar video signal corresponding to the left eye is input to the left-eye video correction unit 3B
  • a planar video signal corresponding to the right eye is input to the right-eye video correction unit 3C.
  • the images projected from the left-eye projector 12 and the right-eye projector 13 can be switched between a non-stereoscopic video and a stereoscopic video.
  • an arbitrary person may operate the operation of the video signal processing device 3 in accordance with an instruction from the operator P.
  • a stereoscopic image is displayed when performing endoscopic surgery while viewing the affected area in three dimensions
  • a non-stereoscopic image is displayed when it is not necessary to perform endoscopic surgery by viewing the affected area in three dimensions.
  • the display can be selected.
  • a two-dimensional image flat screen (not shown) is provided separately, and the three-dimensional image and the two-dimensional image are switched by switching between the dome-shaped screen 11 and the two-dimensional image flat screen. It may be.
  • the one left-eye projector 12 receives the left-eye video signal corrected by the video signal processing device 3 and emits the left-eye video from the lens 12a.
  • the other right-eye projector 13 receives the distortion-corrected right-eye video signal output from the right-eye video correction unit, and emits right-eye video light from the lens 13a.
  • this endoscope system employs a polarization method as a method for allowing a plurality of persons including the operator P to view a stereoscopic image. That is, the left-eye polarizing filter 12 b is attached to the lens 12 a of the left-eye projector 12. Similarly, a right-eye polarizing filter 13b is attached to the lens 13a of the right-eye projector 13. The left-eye polarizing filter 12b and the right-eye polarizing filter 13b transmit different circularly polarized light. The left-eye image emitted from the left-eye projector 12 passes through the left-eye projector 12b, and the right-eye image emitted from the right-eye projector 13 passes through the right-eye polarization filter 13b.
  • the polarizing filters 12b and 13b are not limited to those that transmit circularly polarized light, but may transmit linearly polarized light.
  • the left-eye polarizing filter 12b may transmit vertical linearly polarized light
  • the right-eye polarizing filter 13b may transmit horizontal linearly polarized light.
  • a plurality of persons including the operator P and an assistant (second worker) wear the stereoscopic glasses 5 when viewing the dome-shaped screen 11.
  • the stereoscopic glasses 5 have a polarizing filter of the same polarization type as that of the left-eye polarizing filter 12b in the left eye portion and a polarizing filter of the same polarization type as that of the right-eye polarizing filter 13b in the right eye portion.
  • the reflecting mirror 14 is installed above the field of view when a plurality of persons including the operator P look at the center of the dome-shaped screen 11.
  • the reflecting mirror 14 reflects the left-eye image light and the right-eye image light emitted from the left-eye projector 12 and the right-eye projector 13 toward the dome-shaped screen 11 11 a. Since the endoscopic surgical display device 1 is provided with the reflecting mirror 14, it is not necessary to install the projectors 12 and 13 and the dome-shaped screen 11 in a line, and the entire device can be made small.
  • the projection surface 11a of the dome-shaped screen 11 has a dome shape as described above, and is coated with a paint having a specular reflection effect such as a silver paint.
  • This dome type screen 11 is generally called a silver screen.
  • the shape of the screen is not limited to the dome shape, and may be, for example, a composite screen including a flat surface and a quadric surface. Even with such a screen, the endoscopic surgery display device 1 switches the image created by coordinate conversion by switching the distortion correction table in the video signal processing unit, and the operator P It is possible to display an image with no distortion on the projection plane 11a when viewed from one viewpoint position.
  • the arithmetic average roughness of the concave surface of the dome-shaped screen 11 is within a range in which the halation due to mutual reflection is reduced while maintaining a high degree of separation. This is because, when images from the projectors 12 and 13 are projected onto the dome-type screen 11, the dome is caused by mutual reflection, which is a reflection of a secondary reflection or more reflected by a surface irradiated by direct light from the projectors 12 and 13. This is because the image toward the end of the mold screen 11 irradiates a part of the facing dome screen 11. As a result, halation that appears white as if the entire dome-shaped screen 11 is wrinkled occurs.
  • the degree of occurrence of halation due to this mutual reflection varies depending on the brightness of the projectors 12 and 13, the contrast ratio, and the shape of the dome screen 11. In particular, when the dome-shaped screen 11 is a hemisphere or semicircle, halation due to mutual reflection is likely to occur.
  • the dome-shaped screen 11 of FIG. 1 in the present embodiment has a flange (frame) 11b along the outer periphery, and a dome-shaped 11a is formed inside the flange 11b.
  • the shape of the dome-shaped screen 11 is such that at least the operator P for endoscopic surgery can see the entire projection surface 11a. Designed to. More preferably, the shape of the dome-shaped screen 11 may be designed so that not only the operator P but also the assistant at a viewpoint position different from the operator P can see the entire projection surface 11a. The shape of the dome-shaped screen 11 is determined by the viewpoint position of the operator P and the assistant, and the details thereof will be described later.
  • the left-eye projector 12, the right-eye projector 13, the reflecting mirror 14, and the dome-shaped screen 11 are combined together using an attachment member 17, and one moving body. 18 is configured.
  • the attachment member 17 has a substantially rectangular parallelepiped shape, is formed of a metal plate, and is recessed on one surface of the display device for endoscopic surgery 1 (positive ⁇ -axis direction side in FIG. 1). 19 and a projector storage unit 20 on the upper surface.
  • a pair of arms 21 extend from both sides of the projector housing 20 toward the front side of the display device 1 for endoscopic surgery.
  • the dome-shaped screen 11 has a concave projection surface 11 a disposed in the recess 19 of the mounting member 17 and is fixed to the mounting member 17.
  • the opening surface of the dome type screen 11 and the front surface of the mounting member 17 are substantially the same surface.
  • the projector storage unit 20 of the projectors 12 and 13 has a box shape in which at least the front side surface of the display device for endoscopic surgery 1 is opened.
  • the projectors 12 and 13 are fixed in the projector housing portion 20, and the lenses 12a and 13a of the projectors 12 and 13 face the outside through the polarizing filters 12b and 13b from the opened side surfaces.
  • the reflecting mirror 14 is fixed to the tips 21a of the pair of arms 21 at a predetermined angle.
  • the base portion 15 is formed in a substantially rectangular parallelepiped shape from a metal plate, and includes a box-shaped storage portion 22 whose upper surface is open on the front side, and a pair of leg portions 23 at the lower end. Each leg 23 is provided with casters 24 at both ends in the longitudinal direction. Handrails 25 are provided on both sides of the back surface 15 a of the base portion 15.
  • the lower part of the above-described moving body 18 is stored in the storage unit 22 so as to be movable up and down.
  • the lower part of the moving body 18 is housed in the box-shaped housing portion 22 so that the moving body 18 can stably maintain a constant posture.
  • the display device 1 for endoscopic surgery is provided with a handrail 25 and a caster 24 in the base portion 15. Thereby, the user can easily move the display device 1 for endoscopic surgery by holding the handrail 25 and pushing the base portion 15.
  • a scale 17 b is provided on the side surface 17 a of the mounting member 17 of the moving body 18, and a triangle mark 15 c is provided on the side surface 15 b of the base portion 15.
  • the display device 1 for endoscopic surgery can allow the user to measure the height of the moving body 18 (screen) using the scale 17b and the triangle mark 15c.
  • the elevating device 16 has, for example, a hydraulic power generation mechanism, and moves the moving body 18 up and down by the power generated by the power generation mechanism.
  • the lifting device 16 includes a drive unit 26, an ascending step 27, and a descending lever knob 28.
  • the drive unit 26 is disposed on the lower surface 22a of the storage unit 22, and the movable body 18 is fixedly placed on the upper surface 26a.
  • the ascending step 27 and the descending lever knob 28 are provided on the back surface 15 a side of the storage portion 22.
  • the elevating device 16 can elevate the upper surface 26 a of the drive unit 26 vertically with respect to the base unit 15 by the user operating the ascending step 27 and the descending lever knob 28. Thereby, the moving body 18 placed on the upper surface 26 a of the drive unit 26 can move vertically with respect to the base unit 15.
  • the lifting device 16 is not limited to a hydraulic type, and may employ other mechanisms such as a spring type.
  • the projectors 12 and 13, the reflecting mirror 14, and the dome-shaped screen 11 are combined together to form one moving body 18. For this reason, even if the moving body 18 is moved by the elevating device 16, the positional relationship among the projectors 12 and 13, the reflecting mirror 14, and the dome-type screen 11 remains fixed. Therefore, an image without distortion can always be displayed on the dome-shaped screen 11 from the first viewpoint position of the operator P regardless of the height of the moving body 18. That is, when the projectors 12 and 13, the reflecting mirror 14, and the dome type screen 11 are not integrated, if the height of the dome type screen 11 is changed, the projectors 12 and 13, the reflecting mirror 14, and the dome type screen 11 are mutually connected.
  • the positional relationship changes, and there is a possibility that an image is not displayed at the center of the dome-shaped screen 11 or an image distorted when viewed from the first viewpoint position of the operator P is displayed on the screen. Therefore, each time the height of the dome-shaped screen 11 is changed, the positional relationship among the projectors 12 and 13, the reflecting mirror 14, and the dome-shaped screen 11 has to be adjusted.
  • this endoscopic surgical display device 1 is configured by combining the projectors 12 and 13, the reflecting mirror 14, and the dome-shaped screen 11 to constitute one moving body 18, thereby fixing the positional relationship between them. I am letting. Thereby, even if the height of the moving body 18 is changed by the elevating device 16, the position of the projectors 12, 13, the reflecting mirror 14, and the dome type screen 11 is not adjusted, and the operator P is always moved from the first viewpoint position. An image without a desired distortion can be displayed on the dome-shaped screen 11.
  • the display device 1 for endoscopic surgery can be adjusted to a height at which the dome-shaped screen 11 can be easily seen by operating the lifting device 16 by the user.
  • the positional relationship among the projectors 12 and 13, the reflecting mirror 14, and the dome-type screen 11 is fixed, even when the moving body 18 is moved, the image is always free from distortion from the first viewpoint position of the operator P. Is displayed on the dome screen 11.
  • the display device for endoscopic surgery 1 includes the handrail 25 and the caster 24, it can be easily moved from one room to another, for example, by holding the handrail 25 and pushing the base portion 15. .
  • the display device for endoscopic surgery 1 can easily pass through, for example, a door of a room by lowering the height of the moving body 18.
  • the display device for endoscopic surgery 1 can adjust the height of the dome-shaped screen 11 according to the height of the operator P, and further changes the height of the dome-shaped screen 11.
  • an image without distortion can always be displayed from the first viewpoint position of the surgeon P.
  • the endoscope apparatus 2 images the patient B.
  • the video signal supplied from the endoscope apparatus 2 is input to the video signal processing apparatus 3.
  • This video signal is displayed by the left-eye video correction unit 3B and the right-eye video correction unit 3C without distortion when viewed from the first viewpoint position of the operator P when the video is projected on the dome-shaped screen 11.
  • distortion correction is performed.
  • the coordinates of each pixel of the planar image are obtained by referring to the distortion correction table stored in the distortion correction table storage unit 3D in advance in the left-eye image correction unit 3B and the right-eye image correction unit 3C. This is a process of converting and creating a new video (video signal for right eye, video signal for left eye).
  • this distortion correction table shows the left eye projector 12, the right eye projector 13, the reflector 14, the viewpoint position of the surgeon P, and the dome so that the image can be seen without distortion from the viewpoint position of the surgeon P, which will be described later.
  • this distortion correction table is created based on the relative positional relationship with the mold screen 11 and the shape of the dome screen 11.
  • the operations of the left-eye video correction unit 3B and the right-eye video correction unit 3C are synchronized by the control unit 3A.
  • the distortion-corrected left-eye video signal and right-eye video signal are output to the left-eye projector 12 and the right-eye projector 13, respectively.
  • the left-eye projector 12 and the right-eye projector 13 receive the left-eye video signal and the right-eye video signal, respectively, and emit the left-eye video light and the right-eye video light, respectively.
  • the left-eye image light and the right-eye image light emitted from the left-eye projector 12 and the right-eye projector 13 are transmitted through the left-eye polarization filter 12b and the right-eye polarization filter 13b, respectively, and the reflecting mirror 14 Is incident on.
  • the reflecting mirror 14 reflects the left-eye video light and the right-eye video light emitted from the left-eye projector 12 and the right-eye projector 13, and the left-eye video light and right are reflected on the entire surface of the dome-shaped screen 11. Projects eye image light.
  • the stereoscopic glasses 5 have a polarizing filter of the same polarization type as that of the left-eye polarizing filter 12b in the left eye portion and a polarizing filter of the same polarization type as that of the right-eye polarizing filter 13b in the right eye portion.
  • the endoscope system can adjust the height of the dome-shaped screen 11 according to the surgeon P, the height of the assistant, and the like, and even if the height of the dome-shaped screen 11 is changed.
  • it is possible to always display an image without distortion when viewed from the first viewpoint position of the surgeon P.
  • images output from the left-eye projector 12 and the right-eye projector 13 are reflected on the dome-shaped screen 11 using the reflecting mirror 14. Since the endoscopic surgical display device 1 includes the reflecting mirror 14, it is not necessary to install the left-eye projector 12, the right-eye projector 13, and the dome-shaped screen 11 in a row, and the video display device can be made small. it can.
  • the reflecting mirror 14 may enter the observer's field of view and obstruct the image. Therefore, as shown in FIG. 4, in the xy coordinates in which the x-axis is the line-of-sight direction when the operator P looks horizontally with respect to the dome-shaped screen 11 and the y-axis is the direction perpendicular to the x-axis,
  • the reflecting mirror 14 is preferably installed such that the lower end position (x M , y M ) of the reflecting mirror 14 satisfies the following expression.
  • x 0 and y 0 are preset x and y coordinates of the viewpoint position of the operator P or assistant
  • x i and y i are x and y at the position of the upper end of the projection surface 11 a of the dome-shaped screen 11.
  • x i and y i are the upper ends of the projection surface 11 a and not the upper ends of the flange portions 11 b of the dome type screen 11. That is, x i and y i are the upper ends of the effective projection surfaces of the dome type screen 11.
  • the angle ⁇ M when the operator P looks up the lower end of the reflecting mirror 14 from the preset viewpoint position (x 0 , y 0 ) is equal to the viewpoint position (x 0 , y 0 where the operator P is preset).
  • the images output from the left-eye projector 12 and the right-eye projector 13 are projected onto the dome-type screen 11 through the reflecting mirror 14, but other configurations may be used.
  • the display device for endoscopic surgery 1 has a left-eye projector 12 and a right-eye projector 13 disposed on the distal end side of the arm 21 so as to face the dome-shaped screen 11, and the left-eye projector 12 and right You may comprise so that the image light radiate
  • the display device for endoscopic surgery 1 of this embodiment includes a left-eye projector 12, a right-eye projector 13, a dome-type screen 11, a video signal processing device 3, a left-eye projector 12, and a right eye.
  • the left-eye projector 12, the right-eye projector 13 and the dome-shaped screen 11 are combined together to form one moving body (not shown).
  • the moving body may be vertically moved by the lifting device 8.
  • the configurations of the video signal processing device 3 and the base unit 15 are the same as those of the video display device of FIG.
  • the moving body can move up and down in the display device 1 for endoscopic surgery. Therefore, the user can adjust the dome-shaped screen 11 to the position where it can be seen most easily by operating the lifting device 8. Further, in the endoscopic surgical display device 1, the positional relationship between the left-eye projector 12, the right-eye projector 13, and the dome-type screen 11 is fixed. For this reason, the display device 1 for endoscopic surgery can always display an image without distortion when viewed from the first viewpoint position of the operator P on the dome-shaped screen 11 even when the moving body is moved. Even in such a configuration, it is preferable that the dome-shaped screen 11 is disposed in the concave portion 19 of the mounting member 17 and the mounting member is housed in the housing portion 22 so as to be movable up and down.
  • FIG. 5 The basic configuration of the endoscopic surgical display device 1 shown in FIG. 5 is the same as the endoscopic surgical display device 1 shown in FIG. 1 except for the configuration of the attachment member 17 and the base portion 15. Are marked with the same reference numerals and redundant description is omitted.
  • This endoscopic surgical display device 1 has an axis that is perpendicular to the vertical direction of the endoscopic surgical display device 1 and parallel to the opening surface of the projection surface 11a, in addition to the movable body 18 being movable in the vertical direction. 5 (that is, around the ⁇ axis in FIG. 5) can be tilted with respect to the base portion 15A, and is around the axis along the vertical direction of the endoscopic surgical display device 1 (that is, in FIG. 5). (around the ⁇ -axis) is configured to be rotatable with respect to the base portion 15A.
  • the base portion 15A of the display device for endoscopic surgery 1 is formed in a box shape having an open upper surface, and, similar to the display device for endoscopic surgery 1 shown in FIG. Is provided.
  • the attachment member of the display device 1 for endoscopic surgery includes a lower attachment member 31, a central attachment member 32, and an upper attachment member 33.
  • the lower mounting member 31 is formed in a box shape from, for example, a metal plate, and is housed in the base portion 15A so as to be movable up and down.
  • the drive unit 26 of the lifting device 16 is disposed between the lower mounting member 31 and the bottom surface of the base portion 15A, similarly to the endoscopic surgical display device 1 of FIG.
  • a cylindrical shaft portion 34 projects from the center of the upper surface 31 a of the lower mounting member 31.
  • the central mounting member 32 is formed from, for example, a metal plate.
  • the central mounting member 32 has a through hole 32a on the lower surface, and is disposed on the lower mounting member 31 so that the shaft portion 34 of the lower mounting member 31 passes through the through hole 32a.
  • the central mounting member 32 can rotate in the direction of arrow B in FIG. 5 with respect to the lower mounting member 31.
  • through holes 32c are formed above both side surfaces 32b of the central mounting member 32 in the ⁇ -axis direction in FIG.
  • the upper mounting member 33 is made of, for example, a metal plate.
  • the upper mounting member 33 is formed with through holes 33a below both side surfaces in the ⁇ -axis direction of FIG.
  • the upper mounting member 33 is disposed so that the lower portion of the upper mounting member 33 overlaps the upper portion of the central mounting member 32.
  • the position of the through hole 33 a of the upper mounting member 33 coincides with the position of the through hole 32 c of the central mounting member 32.
  • the bolt 35 is inserted into the through holes 33 a and 32 c, and the upper mounting member 33 can be inclined with respect to the central mounting member 32 with the bolt 35 as an axis. That is, the upper mounting member 33 can be inclined in the direction of arrow A in FIG.
  • the display device 1 for endoscopic surgery is for placing the dome-shaped screen 11 so as to straddle the front surface of the upper mounting member 33 (the surface on the positive ⁇ -axis direction side in FIG. 5) and the front surface of the central mounting member 32.
  • a recess 36 is formed.
  • the dome type screen 11 is disposed in the recess 36, but is not fixed to the central mounting member 32 and is fixed only to the upper mounting member 33.
  • a predetermined space is provided between the back surface of the dome-shaped screen 11 and the concave portion 36 so that the rear surface of the dome-shaped screen 11 and the concave portion 36 do not interfere when the upper mounting member 33 is inclined toward the central mounting member 32 side. Is provided.
  • the projector storage unit 20 is provided on the upper mounting member 33.
  • the left-eye projector 12, the right-eye projector 13, and the reflecting mirror 14 are fixed to the upper mounting member 33 in the same manner as the endoscopic surgical display device 1 of FIG. That is, in the endoscopic surgical display device 1 shown in FIG. 5, the left-eye projector 12, the right-eye projector 13, the reflecting mirror 14, and the dome-shaped screen 11 are combined together using the upper mounting member 33.
  • One moving body 18 is configured.
  • the moving body 18 is mounted on the base portion 15A via the lower mounting member 31 and the central mounting member 32. Move in the vertical direction. Therefore, the user can move the moving body 18 in the vertical direction with respect to the base portion 15A by operating the lifting device 16. Further, by tilting the upper mounting member 33 with respect to the central mounting member 32 manually or electrically, the moving body 18 is orthogonal to the vertical direction of the display device for endoscopic surgery 1 and the opening surface of the projection surface 11a. Can be inclined with respect to the base portion 15A around an axis parallel to the base portion 15 (that is, around the ⁇ axis in FIG. 5).
  • the movable body 18 is rotated around the axis along the vertical direction of the display device for endoscopic surgery 1 (that is, the ⁇ axis in FIG. 5). Around) can be rotated with respect to the base portion 15A. Since the left-eye projector 12, the right-eye projector 13, the reflecting mirror 14, and the dome-type screen 11 are combined together and their positional relationship is fixed, the moving body 18 is moved and tilted with respect to the base portion 15A. Even if it is rotated, an image without distortion can always be displayed on the dome-shaped screen 11 from the first viewpoint position of the operator P.
  • the display device 1 for endoscopic surgery not only allows the user to move the moving body 18 vertically, but also allows the moving body 18 to tilt or rotate with respect to the base portion 15A. Thereby, according to the display device 1 for endoscopic surgery, the height and angle of the dome-shaped screen 11 can be finely adjusted according to the height, the standing position, and the like.
  • the left-eye projector 12 and the right-eye projector 13 are disposed on the distal end side of the arm 21 so as to face the dome-shaped screen 11.
  • the image emitted from the right-eye projector 13 may be directly projected on the dome screen 11.
  • the endoscopic surgical display device 1 shown in FIG. 6 is similar to the endoscopic surgical display device 1 shown in FIGS. 1 and 5.
  • the dome type screen 11 is integrally combined to form one moving body 18.
  • One end of the base portion 15B of the display device for endoscopic surgery 1 is fixed to the ground (not shown), and the two first rotation mechanisms 41 and the second rotation between the movable body 18 and the base portion 15B.
  • a mechanism 42, an elevating mechanism 43, an inclination mechanism 44, and an expansion / contraction mechanism 45 are provided.
  • the first rotation mechanism 41 is provided between the moving body 18 and the lifting mechanism 43.
  • the first rotating mechanism 41 can rotate the moving body 18 with respect to the lifting mechanism 43 in the direction of ⁇ 1 in FIG.
  • the elevating mechanism 43 is provided between the first rotating mechanism 41 and the tilt mechanism 44.
  • the elevating mechanism 43 can elevate the moving body 18 with respect to the tilt mechanism 44 via the first rotating mechanism 41.
  • the tilt mechanism 44 is provided between the elevating mechanism 43 and the telescopic mechanism 45.
  • the tilt mechanism 44 can tilt the moving body 18 with respect to the telescopic mechanism 45 in the direction of ⁇ 2 in FIG. 6 via the lifting mechanism 43 and the first rotating mechanism 41.
  • the telescopic mechanism 45 is provided between the tilt mechanism 44 and the second rotation mechanism 42.
  • the telescopic mechanism 45 moves the moving body 18 in the direction along the ⁇ axis in FIG. 6 with respect to the second rotating mechanism 42 via the tilting mechanism 44, the lifting mechanism 43, and the first rotating mechanism 41. Can be made.
  • the second rotating mechanism 42 is provided between the telescopic mechanism 45 and one end of the base portion 15B.
  • the second rotating mechanism 42 moves the movable body 18 to one end of the base portion 15B via the telescopic mechanism 45, the tilting mechanism 44, the lifting mechanism 43, and the first rotating mechanism 41 at ⁇ 3 in FIG. Can be rotated in the direction.
  • the endoscopic surgical display device 1 includes the two rotation mechanisms 41 and 42, the elevating mechanism 43, the tilting mechanism 44, and the telescopic mechanism 45.
  • the display device 1 for endoscopic surgery can move the movable body 18 vertically with respect to the base portion 15B, can be tilted, and can be rotated. Regardless of how the moving body 18 is moved, the left-eye projector 12, the right-eye projector 13, the reflecting mirror 14, and the dome-shaped screen 11 are combined together and their positional relationship is fixed. For this reason, according to the display device 1 for endoscopic surgery, an image having no distortion as viewed from the first viewpoint position of the operator P can always be displayed on the dome-shaped screen 11.
  • the user not only moves the moving body 18 vertically, but also moves the moving body 18 to the base portion 15 ⁇ / b> B. Can be tilted or rotated with respect to.
  • the display device 1 for endoscopic surgery it is possible to finely adjust the height and angle of the dome-shaped screen 11 according to the height and standing position of the operator P and the assistant of the endoscopic surgery. it can.
  • the combination of the rotation mechanism, the tilt mechanism, and the expansion / contraction mechanism is not limited to that shown in FIG. 6, and various modifications are possible.
  • the display device 1 for endoscopic surgery is configured by further providing two third rotation mechanisms 51 and a fourth rotation mechanism 52 in the configuration of FIG. 6, and removing the lifting mechanism 43. You may do it.
  • the third rotating mechanism 51 is provided between the telescopic mechanism 45 and the tilt mechanism 44.
  • the third rotating mechanism 51 can rotate the tilting mechanism 44 with respect to the telescopic mechanism 45 in the direction of ⁇ 4 in FIG.
  • the fourth rotation mechanism 52 is provided between the telescopic mechanism 45 and the second rotation mechanism 42.
  • the fourth rotation mechanism 52 can rotate the expansion / contraction mechanism 45 with respect to the second rotation mechanism 42 in the direction of ⁇ 5 in FIG.
  • This endoscopic surgical display device 1 can move the moving body 18 perpendicularly to the base portion 15B by the rotation of the fourth rotation mechanism 52 and the expansion / contraction of the expansion / contraction mechanism 45. That is, the fourth rotating mechanism 52 and the expansion / contraction mechanism 45 constitute lifting means that can move the moving body 18 perpendicularly to the base portion 15B.
  • the movable body 18 can be tilted or rotated with respect to the base portion 15B.
  • the left eye projector 12 and the right eye projector 13 are arranged so as to face the dome-shaped screen 11, and the left eye projector 12 and the right eye projector 13 are arranged.
  • the emitted image light may be configured to be directly projected onto the dome screen 11.
  • Such an endoscope system may include an endoscopic surgical display device 1 having a configuration as shown in FIGS. 8 and 9 as another form.
  • a work shelf 61 is provided below the dome-shaped screen 11, and video signal processing connected to the endoscope device 2 below the work shelf.
  • Various equipment boxes 62 including the apparatus 3 are installed.
  • the work shelf 61 is configured to place various equipment and instruments necessary for, for example, endoscopic surgery.
  • the endoscopic surgical display device 1 shown in FIG. 8 has a configuration in which the projectors 12 and 13 are vertically stacked, and the endoscopic surgical display device 1 shown in FIG. 9 has the projectors 12 and 13 stacked horizontally. It is the form made into. Note that the dimensions of the arm 21, the dimensions of the reflecting mirror 14, and the like are optimized depending on the vertical stacking and horizontal stacking of the projectors 12 and 13.
  • the operator P can view the entire image of the projection surface 11a at the site of endoscopic surgery, and the assistants A and B can The configuration of the dome-shaped screen 11 so that at least the center of the projection surface 11a can be seen will be described.
  • the light source 100 includes a lamp 100a and a filter 100b.
  • the filter 100b transmits only a light component having a predetermined wavelength in the lamp light emitted by the lamp 100a.
  • the filter 100b is designed to transmit only light components that emit irradiation light to the imaging range of the endoscope apparatus 2 so that the tissue state of the affected part can be identified. Irradiation light emitted from the light source 100 is guided to the distal end portion 2b via the light introducing portion 2c of the endoscope apparatus 2.
  • the distal end portion 2b of the endoscope apparatus 2 receives reflected light that is emitted from the irradiated light reflected by the affected part.
  • the tip portion 2b is provided with an exit lens that emits irradiation light and an entrance lens that receives reflected light.
  • the reflected light incident by these incident lenses is converted into a video signal by a photoelectric conversion element built in the main body 2 a or the distal end 2 b of the endoscope apparatus 2 and supplied to the video signal processing apparatus 3.
  • the dome-shaped screen 11 and the bed of the endoscopic surgical display device 1 are arranged, and the dome-shaped screen 11 is arranged on the dome-shaped screen 11.
  • the standing position of the operator P is determined by facing the person.
  • a first assistant and a second assistant are arranged with the side of the bed in a standing position.
  • a camera holder that moves the distal end portion 2b of the endoscope apparatus 2 is disposed near the patient.
  • the stereoscopic image of the affected area projected on the dome-shaped screen 11 needs to be clearly visible from a plurality of viewpoint positions held by the operator P, assistant, and camera. In particular, it is necessary for the operator P to always see the center of the dome-shaped screen 11.
  • the angle is ⁇ is required.
  • the distance A from the point of interest to the end of the bed on the dome-shaped screen 11 is 500 mm, and the distance from the end of the bed on the dome-shaped screen 11 to the viewpoint of the assistants A and B in the same direction as the length of the bed.
  • the dome-type screen 11 needs to be a concave surface having an opening with an angle ⁇ .
  • the bed is disposed horizontally with respect to the attention point, and the first viewpoint position of the operator P is disposed substantially opposite to the attention point.
  • the second viewpoint positions of the assistants A and B are arranged at both ends in the longitudinal direction. In such an environment, in order for all of the operator P, the assistant A, and the assistant B to see the point of interest on the dome-shaped screen 11, the angle ⁇ is necessary.
  • the distance A from the attention point to the end of the bed on the dome-shaped screen 11 side is 500 mm
  • the lines extending from the end of the bed dome-shaped screen 11 to the bed width in the same direction as the bed width and the assistants A and B The distance B from the point of view to the intersection with the line extending in the longitudinal direction of the bed is 250 mm
  • the distance C plus the distance A and the distance B is 750 mm
  • the distance D is half the bed width.
  • the dome-type screen 11 needs to be a concave surface having an opening with an angle ⁇ .
  • the shape of the projection surface 11a with the concave surface facing the operator P (first worker) and assistants A and B (second worker) is An angle ⁇ as shown in FIGS. 14 and 15 and an angle ⁇ as shown in FIGS. 16 and 17 are satisfied.
  • the angle ⁇ is adjusted so as to be an angle at which the center of the projection surface of the dome-shaped screen 11 can be observed if it is within the range of the angle ⁇ with respect to the dome-shaped screen 11.
  • the angle ⁇ is adjusted so as to be an angle at which the entire image of the dome-shaped screen 11 can be observed if it is within the range of the angle ⁇ with respect to the dome-shaped screen 11.
  • the endoscope system to which the present invention is applied has a dome-shaped screen 11 in which the viewpoint position of the operator P is within the range of the angle ⁇ and the viewpoint positions of the assistants A and B are within the angle ⁇ .
  • the endoscope system to which the present invention is applied has the shape of the dome-shaped screen 11 in which both the viewpoint positions of the operator P and the assistants A and B are within the angle ⁇ .
  • a vertical axis L1 passing through the concave opening surface center point P2 and perpendicular to the opening surface is defined as a first axis.
  • a point where the vertical axis L1 which is the first axis and the projection plane 11a intersect is set as a projection plane center point P1.
  • a center-edge connecting axis L2 connecting the projection plane center point P1 to the edge P3 of the projection plane 11a is taken as a second axis.
  • the projection plane 11a has an angle ⁇ formed between the vertical axis L1 (first axis) and the center-edge connecting axis L2 (second axis) from the second viewpoint position of the assistants A and B on the projection plane 11a. The angle is such that the center can be observed.
  • the surface 11a has an angle ⁇ between the vertical axis L1 (first axis) and the center-edge connecting axis L2 (second axis) larger than 59.04 degrees, and the range of the maximum angle in which the projection surface 11a is recognized as a concave surface.
  • the maximum angle at which the projection surface 11a is recognized as a concave surface is not a plane, but when the left-eye image light and the right-eye image light are projected on the projection surface 11a to display a stereoscopic image, the operator P It is desirable that the angle is such that a plurality of workers including the assistant and the assistant can obtain a correct sense of distance in the depth direction with respect to the stereoscopic image.
  • the projection surface 11a By configuring the projection surface 11a in this way, as shown in FIG. 15, if the second viewpoint positions of the assistants A and B are arranged within the range of the angle ⁇ , the assistants A and B are centered on the projection surface 11a. Can see. Even if the operator P moves and moves to the range of the angle ⁇ , the center of the projection surface 11a can be seen similarly.
  • the angle ⁇ of the vertical axis L1 to the center-edge connecting axis L2 is 81. It will be 28 degrees.
  • the angle ⁇ of the vertical axis L1 to the center-edge connecting axis L2 is It becomes 71.57 degrees.
  • the angle ⁇ of the vertical axis L1 to the center-edge connecting axis L2 is 56.31 degrees.
  • the first viewpoint position of the operator P who can see the center of the projection plane 11a and the second viewpoint positions of the assistants A and B can be arranged, and the projection plane 11a is recognized as a concave surface.
  • the maximum angle be 82 degrees.
  • the minimum range in which the first viewpoint position of the operator P who can see the center of the projection plane 11a and the second viewpoint positions of the assistants A and B can be arranged is shown in FIG. The example is 11 degrees.
  • the projection plane 11a is configured so that the angle formed by the vertical axis L1 (first axis) and the center-edge connecting axis L2 (second axis) is in the range of 11 degrees to 82 degrees. .
  • the viewpoint position of the person viewing the stereoscopic image is the vertical axis L1 and the center-edge.
  • the shape of the projection surface 11a can be adjusted so as to be within the range of the angle ⁇ with the connection axis L2. Thereby, the endoscope system can always see the center of the projection surface 11a if the viewpoint position of the person viewing the stereoscopic video is determined to some extent.
  • the position and posture at which the dome-shaped screen 11 can be arranged, and the operator P and the assistants A and B are arranged by the arrangement of the bed, the patient B, and other equipment as shown in FIGS.
  • the center point of the projection plane 11a is surely given to the person within the range of the angle ⁇ . Can be visually recognized. Further, by adjusting the angle ⁇ of the projection surface 11a so as to cover the range in which the viewpoint position moves, the center point of the projection surface 11a can always be shown.
  • the distortion correction table for performing the distortion correction process based on the first viewpoint position of the operator P is stored in the distortion correction table storage unit 3D, and the distortion correction process is performed. Since the stereoscopic video is displayed, the center position of the video without distortion can always be visually recognized from the first viewpoint position of the operator P. As a result, the endoscope system can remove anxiety factors such as the fact that the center of the projection surface 11a cannot be seen by all persons including the operator P and the assistants A and B, and can reduce stress in endoscopic surgery.
  • the projection surface 11a is constituted by a part of a spherical surface
  • the tangent L3 of the edge of the projection surface 11a is the third axis
  • the vertical axis L1 (first axis) is an angle ⁇ that allows the entire image to be observed from the first viewpoint position of the operator P.
  • the angle formed by the vertical axis L1 (first axis) and the tangent L3 (third axis) is set as the first viewpoint position of the operator P and the second viewpoint positions of the assistants A and B.
  • the angle ⁇ is such that the entire image can be observed from both.
  • the angle ⁇ is 72.54 degrees.
  • the angle ⁇ is 53.13 degrees.
  • the angle ⁇ is 22.62 degrees.
  • the projection plane 11a is configured so that the angle formed by the vertical axis L1 (first axis) and the tangent L3 (third axis) is in the range of 11 degrees to 73 degrees.
  • the endoscope system can always show the entire image on the projection surface 11a if the first viewpoint position of the operator P and the second viewpoint positions of the assistants A and B are determined to some extent.
  • the position and posture at which the dome-shaped screen 11 can be arranged, and the operator P and the assistants A and B are arranged by the arrangement of the bed, the patient B, and other equipment as shown in FIGS.
  • the operator P, assistants A and B must make the entire image of the projection surface 11a visually visible by adjusting the angle ⁇ between the vertical axis L1 and the tangent L3. Can do.
  • the angle ⁇ of the projection surface 11a so as to cover the range in which the viewpoint positions of the surgeon P and the assistants A and B move, the operator P and the assistants A and B always receive the entire image of the projection surface 11a. Can show.
  • the distortion correction table for performing the distortion correction process based on the first viewpoint position of the operator P is stored in the distortion correction table storage unit 3D, and the distortion correction process is performed. Since the stereoscopic video is displayed, the entire video without distortion can always be viewed from the first viewpoint position of the operator P.
  • an endoscopic surgical training system in which a simulated subject that simply simulates the affected area of the patient to be operated is placed on the work table A in place of the patient B shown in FIG.
  • This endoscopic surgery training system includes an endoscopic surgery display device 1 and a video signal processing device 3 similar to the above-described endoscopic system, and allows an operator P to wear stereoscopic glasses 5. Then, a surgical instrument such as forceps operated by the operator P at the first viewpoint position, and the distal end portion 2b of the endoscope apparatus 2 are inserted into the simulated subject, and the operation of the forceps is imaged by the endoscope apparatus 2. Then, it is displayed on the dome-shaped screen 11 of the display device 1 for endoscopic surgery.
  • the training performed by such an endoscopic surgery training system is based on the first to fourth task, which is a training for operating forceps, and the context of the object in the image displayed on the dome-shaped screen 11.
  • each task and the effect of the endoscope system will be described.
  • the first work task For the first work task, a simulated subject as shown in FIG. 18 was used.
  • sensors 202-1 and 202-2 are provided on a plurality of filamentous objects 201-1 and 201-2 whose distances from the imaging position of the endoscope apparatus 2 are different by D.
  • a reference position contact sensor 203 is provided between the sensors 202-1 and 202-2 and the operator P.
  • the first work task is training in which the sensors 202-1 and 202-2 are gripped by the forceps 204, and the forceps 204 are reciprocated between the sensors 202-1 and 202-2 and the reference position contact sensor 203.
  • FIG. 19 shows the forceps reciprocation time [sec] for each subject (operator P)
  • FIG. 20 shows the standard deviation of forceps reciprocation time [sec]
  • this training result is obtained by performing the first work task by a plurality of surgeons P.
  • “P” shown in FIG. 19 is an analysis method called “Wilcoxon Signed Rank Test”
  • “P” shown in FIGS. 20 and 21 is an analysis called “Mann-Whitney-U test”. This is a value obtained by a technique, and if the value of P is 0.05 or less, it indicates that there is a difference in the object to be compared.
  • the forceps reciprocation time is shorter when the situation in the simulated subject is displayed as a three-dimensional image (3D) than when the situation is displayed as a two-dimensional image (2D). From the values, there is a difference between the two results.
  • the three-dimensional image (3D) has a smaller variation in forceps reciprocation time corresponding to the operator P and is shorter than the two-dimensional image (2D).
  • the value of P obtained by the Mann-Whitney-U test is 0.034.
  • the box-and-whisker diagram shown in FIG. 21 will be described in the case of a two-dimensional image (2D). Values near 2.6 [sec] and 0.5 [sec] are mild outliers and 2.25 [sec]. ], Values near 0.75 [sec] are the minimum and maximum values, values near 0.9 [sec] and 2.0 [sec] are the first and third quartiles, The value near 5 [sec] is the median value.
  • the number of grasping mistakes corresponding to the operator P is smaller and the variation is smaller than in the 2D image (2D). Further, the value of P obtained by the Mann-Whitney-U test is also 0.0039.
  • the second work task For the second work task, a simulated subject as shown in FIG. 22 was used.
  • the second work task is a training in which the operator P operates the forceps 204 to grasp the needle-like object 201 and reciprocates the forceps 204 between the sensor 202 and the reference position contact sensor 203.
  • FIG. 23 shows the forceps reciprocation time [sec]
  • FIG. 24 shows the number of times of gripping the object [times].
  • the forceps reciprocation time is shorter when the 3D image (3D) is displayed than when the 2D image (2D) is displayed.
  • the value of P is also 0.01.
  • the number of gripping mistakes is smaller in the case of displaying in the three-dimensional image (3D) than in the case of displaying in the two-dimensional image (2D).
  • the value of P is also 0.018.
  • the third work task is a training in which the forceps 204 are passed through the two ring-shaped objects 201-1 and 201-2 having different distances from the operator P and reciprocated between them and the reference position contact sensor 203. It is.
  • this training result is obtained by performing a third work task by a plurality of surgeons P.
  • the amount of shift and the variation are smaller when the image is displayed with the 3D image (3D) than when the image is displayed with the 2D image (2D).
  • the value of P is also 0.036.
  • the standard deviation of the deviation amount is smaller and the variation is smaller in the case of displaying in the three-dimensional video (3D) than in the case of displaying in the two-dimensional video (2D).
  • the value of P is also 0.036.
  • the fourth work task is a training for operating the forceps 204 on the suture practice board on which a plurality of target points are described to perform a stitching / ligating operation and measuring the time with the reference position contact sensor 203.
  • FIG. 29 shows the suture / ligation time [sec] of the suture thread
  • FIG. 30 shows the number of times of mishandling of the suture thread or suture needle [times].
  • FIG. 29A and FIG. 30A show the results when the fourth work task is performed after viewing the 3D video (3D) after performing the fourth work task while viewing the 2D video (2D). is there.
  • FIG. 29B and FIG. 30B show the results when the fourth work task is performed after viewing the 2D video (2D) after performing the fourth work task while viewing the 3D video (3D). is there.
  • This training result is obtained by performing a fourth work task by a plurality of surgeons P.
  • the suture and ligation time of the suture is shorter in the case of displaying in the three-dimensional image (3D) than in the case of displaying in the two-dimensional image (2D).
  • the value of P is also 0.035.
  • the number of gripping mistakes is smaller in the case of displaying in the three-dimensional image (3D) than in the case of displaying in the two-dimensional image (2D). Note that the value of P is also 0.0015.
  • This first recognition task is a training for accurately grasping the front-rear positional relationship of a plurality of filamentous objects 201-1 and 201-2 whose distance from the imaging position of the endoscope apparatus 2 is different by D.
  • the training result of the first recognition task was obtained when the 2D video (2D) was displayed on the flat monitor and when the 3D video (3D) was displayed on the dome-shaped screen 11 described above.
  • the training result of the first recognition task is that the stereoscopic image is displayed on the dome-shaped screen 11 when the first recognition task is performed (3DP) by displaying a stereoscopic image using a flat screen monitor. It was obtained when the first recognition task was displayed and displayed (3DD). In addition, the same thing was used for the simulated subject and the display device 1 for endoscopic surgery.
  • FIG. 32 shows the correct answer rate of the front-rear positional relationship between the case where the 2D video (2D) is used and the case where the 3D video (3D) is used.
  • FIG. 33 shows the correct answer rate of the front-rear positional relationship between when the 3D image is displayed on the flat monitor (3DP) and when it is displayed on the dome screen 11 (3DD).
  • FIG. 32 it was confirmed that there was a remarkably large difference in the correct answer rate between using the 2D video and using the 3D video.
  • the value of P was also 0.014.
  • FIG. 33 shows that the variation in the correct answer rate of the subject is large in 3DP using a flat monitor, but the variation in the correct answer rate between subjects is small in 3DD using the dome-shaped screen 11. ing. In 3DD, there is no slight outlier and the minimum value is also high. Note that the value of P was 0.77.
  • This second recognition task For the second recognition task, a simulated subject as shown in FIG. 34 was used. This second recognition task is training for accurately grasping the direction of the needle-shaped portion 201 ′ of the object 201 with respect to the operator P.
  • FIG. 35 shows the orientation of the needle-shaped portion 201 ′ when using the two-dimensional image (2D) and when using the three-dimensional image (3D) with the dome-shaped screen 11 described above. Indicates the correct answer rate.
  • FIG. 36 shows the correct answer rate of the direction of the needle-shaped portion 201 ′ when the 3D image is displayed on the flat monitor (3DP) and when it is displayed on the dome-shaped screen 11 (3DD).
  • This training result is obtained by performing a second recognition task by a plurality of surgeons P.
  • the variation in the correct answer rate of the subject is large in 3DP using the flat monitor, but the variation in the correct answer rate among the subjects is small in 3DD using the dome-shaped screen 11. .
  • the correct answer rate is 90% even with a slight outlier, and the minimum value is also extremely high.
  • the value of P was 0.0003.
  • the third recognition task For the third recognition task, a simulated subject as shown in FIG. 37 was used. This third recognition task accurately determines the front-rear positional relationship when the distance D and width A of the objects 201-1 and 201-2 are different from the operator P and the size R of the ring-shaped portion 201 ′ is different. It is training to grasp.
  • FIG. 38 shows correct answers before and after the ring-shaped portion 201 ′ when the two-dimensional image (2D) is used and when the three-dimensional image (3D) is used by the dome-shaped screen 11.
  • FIG. 39 shows the result of the correct answer rate between 3DP using a flat monitor and 3DD using the dome-shaped screen 11.
  • the 3DD using the dome-shaped screen 11 has a smaller variation and the average value of the correct answer rate is higher than the 3DP using the flat monitor. Note that the value of P is 0.0002, and in the third recognition task, there is a marked difference in both results.
  • the entire image can be observed from the first viewpoint position and the center of the projection plane can be observed from the second viewpoint position, or the image can be viewed from both the first viewpoint position and the second viewpoint position. Since the shape of the image display means is capable of observing the whole, a clear stereoscopic image can always be seen from the operator at the first viewpoint position and the person at the second viewpoint position.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Computational Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Chemical & Material Sciences (AREA)
  • Pulmonology (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Projection Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 患者の体腔内に少なくとも一部が挿入された内視鏡装置によって撮影された映像を表す映像光を投影するプロジェクタ12,13と、術者及び助手に対して凹面を向けた投影面11aの形状を有し映像光が投影面11aに投影されるドーム型スクリーン11とを備える。ドーム型スクリーン11は、開口面の中心を通り開口面に対して垂直な軸を第1軸とし、第1軸と投影面11aの交差する点を投影面中心とし、投影面中心から投影面11aの縁部を結んだ軸を第2軸とし、投影面11aの縁部の接線を第3軸とした場合、第1軸と第3軸とのなす角度が第1視点位置より映像全体を観察することが可能な角度となっており、且つ第1軸と第2軸とのなす角度が第2視点位置より投影面中心を観察することが可能な角度となっている。

Description

内視鏡システム、内視鏡手術訓練システム
 本発明は、内視鏡手術において患部を術者などに提示する内視鏡システム、内視鏡手術における各種の作業を訓練する内視鏡手術訓練システムに関する。
 従来より、内視鏡外科手術(以下、内視鏡手術と称する。)は、患者にとって、手術創痛が少ない、早期の離床、退院が可能である、美容上も優れるという多大なメリットをもたらす低侵襲手術である。この内視鏡手術を実現する内視鏡システムは、患部を撮像する内視鏡装置と、内視鏡装置によって撮像された映像を表示するモニタとを備え、患部の様子をモニタに表示させる。この状態で、患部に向けて挿入した鉗子を操作して、患部に対して施術する。このような内視鏡手術に用いることができる映像表示装置は、例えば、特許文献(2008-15470号公報)などに記載されている。
 上述した内視鏡手術の現場においては、表示画面、ベッド、各種の器材の配置から、映像に対する術者の視点位置、助手の視点位置が規制されてしまう。この視点位置の規制があると、術者が視点位置を変更した時に、患部が映っている映像中心が見られなくなるおそれや、映像全体が見えなくなるおそれがあり、これが、術者にとってストレスとなる可能性がある。
 また、内視鏡手術においては、鉗子を操作する術者の他に、カメラを操作する者や、その他の助手などによって、単一の映像を見る必要があり、この場合には、どの角度から見ても立体的に且つ鮮明な映像を視認させることが重要となってくる。
 そこで、本発明は、上述した実情に鑑みて提案されたものであり、内視鏡手術において術者に常に鮮明な立体映像を提示することができる内視鏡システム、内視鏡手術訓練システムを提供することを目的とする。
 本発明は、第1の視点位置の第1の作業者によって患者の体腔内に挿入された手術器具が操作される手術現場において、患者体腔内の撮影対象の映像を取得する内視鏡システムに係るものである。
 本発明は、第2の視点位置の第2の作業者によって操作され、患者の体腔内に少なくとも一部が挿入されて当該患者の患部の映像を撮影する内視鏡装置と、内視鏡装置によって撮影された映像を表す映像光を投影する映像投影手段と、第1の作業者及び第2の作業者に対して凹面を向けた投影面形状を有し、映像投影手段によって映像光が投影面に投影される映像表示手段と、少なくとも第1の視点位置と映像表示手段との位置関係、前記投影面形状に基づいて、第1の視点位置から映像が投影面に歪みなく表示されるように映像投影手段に入力される映像信号に歪み補正処理を行う映像信号処理手段とを備える。
 本発明は、上述の課題を解決するために、映像表示手段を、凹面となっている開口面の中心を通り当該開口面に対して垂直な軸を第1軸とし、当該第1軸と投影面の交差する点を投影面中心とし、投影面中心から投影面の縁部を結んだ軸を第2軸とし、映像表示手段の球状の一部で構成された投影面の縁部の接線を第3軸とした場合に、第1軸と前記第3軸とのなす角度が第1の視点位置より映像全体を観察することが可能な角度となっており、且つ第1軸と第2軸とのなす角度が第2の視点位置より投影面中心を観察することが可能な角度としている。又は、本発明は、上述の課題を解決するために、映像表示手段を、凹面となっている開口面の中心を通り当該開口面に対して垂直な軸を第1軸とし、当該第1軸と投影面の交差する点を投影面中心とし、投影面中心から投影面の縁部を結んだ軸を第2軸とし、映像表示手段の球状の一部で構成された投影面の縁部の接線を第3軸とした場合に、第1軸と第3軸とのなす角度が、第1の視点位置及び第2の視点位置の双方より映像全体を観察することが可能な角度としている。
図1は、本発明を適用した内視鏡システムにおける内視鏡手術用表示装置の斜視図である。 図2は、本発明を適用した内視鏡システムによる内視鏡手術での使用例の模式図である。 図3は、本発明を適用した内視鏡システムの機能的な構成を示すブロック図である。 図4は、本発明を適用した内視鏡システムにおいて、術者Pの視点位置と反射鏡とドーム型スクリーンとの位置関係について説明する図である。 図5は、本発明を適用した内視鏡システムの他の構成を示す斜視図である。 図6は、本発明を適用した内視鏡システムの更に他の構成を示す斜視図である。 図7は、本発明を適用した内視鏡システムの更に他の構成を示す斜視図である。 図8は、本発明を適用した内視鏡システムの更に他の外観構成を示す斜視図である。 図9は、本発明を適用した内視鏡システムの更に他の外観構成を示す斜視図である。 図10は、本発明を適用した内視鏡システムにおける内視鏡装置の構成を説明する図である。 図11は、本発明を適用した内視鏡システムが導入される内視鏡手術の現場における配置関係を説明する図である。 図12は、内視鏡手術の現場におけるベッド、術者、助手の配置と、投影面上の中心点との関係を示す図である。 図13は、内視鏡手術の現場におけるベッド、術者、助手の配置と、投影面上の中心点との他の関係を示す図である。 図14は、本発明を適用した内視鏡システムにおいて、術者や助手から投影面の中心点を必ず見えるようにする投影面の形状について説明する図である。 図15は、本発明を適用した内視鏡システムにおいて、術者や助手から投影面の中心点が見える条件を説明する図である。 図16は、本発明を適用した内視鏡システムにおいて、術者や助手から投影面の全体を必ず見えるようにする投影面の形状について説明する図である。 図17は、本発明を適用した内視鏡システムにおいて、術者や助手から投影面の全体が見える条件を説明する図である。 図18は、第1作業タスクで用いる模擬被検体を示す斜視図である。 図19は、第1作業タスクの訓練結果として、2次元映像(2D)を見させて行った鉗子往復時間とドーム型スクリーンで3次元映像(3D)を見させて行った鉗子往復時間とを比較して示すグラフである。 図20は、第1作業タスクの訓練結果として、2次元映像(2D)を見させて行った鉗子往復時間の標準偏差とドーム型スクリーンで3次元映像(3D)を見させて行った鉗子往復時間の標準偏差とを比較して示す箱ひげ図である。 図21は、第1作業タスクの訓練結果として、2次元映像(2D)を見させて行った把持ミス回数とドーム型スクリーンで3次元映像(3D)を見させて行った把持ミス回数とを比較して示す箱ひげ図である。 図22は、第2作業タスクで用いる模擬被検体を示す斜視図である。 図23は、第2作業タスクの訓練結果として、2次元映像(2D)を見させて行った鉗子往復時間とドーム型スクリーンで3次元映像(3D)を見させて行った鉗子往復時間とを比較して示す箱ひげ図である。 図24は、第2作業タスクの訓練結果として、2次元映像(2D)を見させて行った把持ミス回数とドーム型スクリーンで3次元映像(3D)を見させて行った把持ミス回数とを比較して示すグラフである。 図25は、第3作業タスクで用いる模擬被検体を示す斜視図である。 図26は、第3作業タスクの訓練結果として、2次元映像(2D)を見させて行ったずれ量とドーム型スクリーンで3次元映像(3D)を見させて行ったずれ量とを比較して示す箱ひげ図である。 図27は、第3作業タスクの訓練結果として、2次元映像(2D)を見させて行ったずれ量の標準偏差とドーム型スクリーンで3次元映像(3D)を見させて行ったずれ量の標準偏差とを比較して示す箱ひげ図である。 図28は、第4作業タスクで用いる模擬被検体を示す斜視図である。 図29は、第4作業タスクの訓練結果として、2次元映像(2D)を見させて行った縫合・結紮時間とドーム型スクリーンで3次元映像(3D)を見させて行った縫合結紮時間とを比較して示すグラフである。 図30は、第4作業タスクとして、2次元映像(2D)を見させて行った把持ミス回数とドーム型スクリーンで3次元映像(3D)を見させて行った把持ミス回数とを比較して示すグラフである。 図31は、第1認識タスクで用いる模擬被検体を示す斜視図である。 図32は、第1認識タスクの訓練結果として、2次元映像を用いた場合の正答率と3次元映像を用いた場合の正答率とを比較して示す箱ひげ図である。 図33は、第1認識タスクの訓練結果として、平面のモニタを使用して行った正答率とドーム型スクリーンを使用して行った正答率とを比較して示す箱ひげ図である。 図34は、第2認識タスクで用いる模擬被検体を示す斜視図である。 図35は、第2認識タスクの訓練結果として、2次元映像を用いた場合の正答率とドーム型スクリーンで3次元映像を用いた場合の正答率とを比較して示す箱ひげ図である。 図36は、第2認識タスクの訓練結果として、平面のモニタを使用して行った正答率とドーム型スクリーンを使用して行った正答率とを比較して示す箱ひげ図である。 図37は、第3認識タスクで用いる模擬被検体を示す斜視図である。 図38は、第3認識タスクの訓練結果として、2次元映像を用いた場合の正答率とドーム型スクリーンで3次元映像を用いた場合の正答率とを比較して示す箱ひげ図である。 図39は、第3認識タスクの訓練結果として、平面のモニタを使用して行った正答率とドーム型スクリーンを使用して行った正答率とを比較して示す箱ひげ図である。
 以下、本発明の実施の形態について図面を参照して説明する。
 本発明を適用した内視鏡システムは、内視鏡手術にて患者体腔内の撮影対象の映像を取得して、内視鏡手術の術者(第1の作業者)を含む複数の者に、患者体腔内の撮影対象の立体映像を提示する者である。そのために、この内視鏡システムは、内視鏡手術用表示装置1として、図1に示すような球体の一部で構成されるドーム型スクリーン11を備えた構成となっている。この内視鏡システムは、図2に示すように、ドーム型スクリーン11の前に作業台A(ベッドなど)が設置され、ベッドAの上に患者Bが寝かされる。また、後述する内視鏡装置2のカメラが患者Bを撮像するように配置され、カメラが撮像した映像をドーム型スクリーン11上に立体的に表示させる。術者Pを含む複数の者は、ドーム型スクリーン11に表示された映像を見ながら、患者Bに対して内視鏡手術を行う。
 先ず、このような内視鏡システムにおける内視鏡手術用表示装置1について、図1乃至図7を参照して詳細に説明する。
 この内視鏡手術用表示装置1は、図3に示すように、映像信号処理装置3を介して内視鏡装置2と接続され、内視鏡装置2が撮像した映像を歪みなくドーム型スクリーン11に立体的に表示するものである。術者Pを含む複数の者は、それぞれ異なった位置から、内視鏡装置2が撮像した映像をドーム型スクリーン11で確認しながら内視鏡手術や内視鏡手術のトレーニングを行うことができる。
 この内視鏡手術用表示装置1によって立体映像をドーム型スクリーン11に表示するために、内視鏡装置2は、図10に示すように、映像を撮像するカメラ部を本体部2a又は先端部2bに備えている。そして、この内視鏡装置2は、映像信号を映像信号処理装置3を介して内視鏡手術用表示装置1に供給する。なお、この内視鏡装置2の構成は、後述するものとする。
 この内視鏡手術用表示装置1は、映像信号を受けて映像を出射するプロジェクタ12,13(映像投影手段)と、プロジェクタ12,13から出射された映像を反射する反射鏡14と、反射鏡14によって反射された映像が投影されるドーム型の投影面11aを有するドーム型スクリーン11(映像表示手段)と、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11を支持する土台部15と、一体化されたプロジェクタ12,13、反射鏡14、ドーム型スクリーン11を土台部15に対して垂直に移動させる昇降装置16とを備える。
 映像信号処理装置3は、図3に示すように、内視鏡装置2と接続されて内視鏡手術用表示装置1に対する信号出力制御などを行う制御部3Aと、術者Pの第1の視点位置から映像が投影面11aに歪みなく表示されるようにプロジェクタ12,13に入力される映像信号に歪み補正処理を行う左眼用映像補正部3B及び右眼用映像補正部3Cと、歪み補正処理に用いる歪み補正テーブルを記憶した歪み補正テーブル記憶部3Dとを備える。この左眼用映像補正部3B及び右眼用映像補正部3Cは、プロジェクタ12,13に右眼用映像信号、左眼用映像信号を供給する。
 左眼用映像補正部3Bは、左眼用の映像がドーム型スクリーン11上に術者の第1の視点位置から歪むことなく表示されるように、左眼用の映像信号に対して歪み補正テーブルを参照し、歪み補正テーブルに基づいて歪み補正を行う。具体的には、映像信号処理装置3には、左右の眼に対応した2つの平面映像(非立体映像)が内視鏡装置2から供給され、プロジェクタ13からドーム型スクリーン11に映像を投影した時に、術者Pの第1の視点位置からドーム型スクリーン11上で映像が歪んで見えないように、平面映像に対して座標変換を行うものである。
 なお、このためには、左眼用プロジェクタ12と反射鏡14と術者の視点位置(第1の視点位置)とドーム型スクリーン11との相対位置関係、ドーム型スクリーン11の形状、左眼用プロジェクタ12の打ち込み角、画角などのプロジェクタ特性などの補正パラメータを用いて、上記第1の視点位置よりドーム型スクリーン11上で映像が歪んで見えないように平面映像を座標変換する歪み補正テーブルを予め作成し、映像信号処理装置3の歪み補正テーブル記憶部3Dに記憶しておく。そして、その歪み補正テーブルに従って歪み補正を行う。また、右眼用映像補正部3Cも、右眼用映像補正部3Bと同様に、右眼用プロジェクタ13と反射鏡14と術者の視点位置とドーム型スクリーン11との相対位置関係、ドーム型スクリーン11の形状、右眼用プロジェクタ13の打ち込み角、画角などのプロジェクタ特性などの補正パラメータを用いて作成した歪み補正テーブルに従って歪み補正を行うこととなる。これにより、映像信号処理装置3は、右眼用映像と左眼用映像とで所定の視差を持った立体映像をプロジェクタ12、13から投影させることができる。なお、反射鏡14を用いない場合、反射鏡14の相対位置を省き、左眼用プロジェクタ12と術者の視点位置とドーム型スクリーン11との相対位置関係を含む補正パラメータを用いて歪み補正テーブルを作成することとなる。
 また、この内視鏡システムにおいては、図示はしていないが、内視鏡手術において必要な血圧などの患者の生体情報や術前・術中に取得した医療用画像(CT像、MRI像など)を取得する生体情報取得部を更に備えていることが望ましい。そして、この内視鏡システムは、患者の患部の立体映像に生体情報取得部によって取得された生態情報を重畳させた映像光を投影する。これによって、内視鏡システムは、内視鏡装置2によって取得した患部映像を見ながら、姿勢を変更することなく各種の情報を視認することができる。
 更に、この内視鏡システムは、内視鏡装置2によって撮像された左右の眼に対応した2つの平面映像信号を、左眼用映像補正部3B、右眼用映像補正部3Cに入力する際に、左眼に対応した平面映像信号を左眼用映像補正部3Bに、右眼に対応した平面映像信号を右眼用映像補正部3Cに入力する場合と、2つの平面映像信号のうちどちらか一方の映像を、左眼用映像補正部3B、右眼用映像補正部3Cの両方に入力する場合とを切り替えることで、左眼用映像補正部3B、右眼用映像補正部3Cによって補正された映像信号が、立体映像信号と非立体映像信号で切り替えられるようにしても良い。これによって、左眼用プロジェクタ12,右眼用プロジェクタ13から投影する映像を、非立体映像と立体映像とで切り替えることができる。この切り替えのトリガは、例えば術者Pの指示に従って、任意の者が映像信号処理装置3の動作を操作しても良い。これにより、患部を立体的に見て内視鏡手術を行う場合には立体映像を表示させ、敢えて患部を立体的に見て内視鏡手術を行わなくても良い場合には非立体映像を表示させることの選択ができる。また、術者Pにとって内視鏡手術をしやすい映像の選択もできる。
 更にまた、ドーム型スクリーン11に加え、2次元映像用平面スクリーン(不図示)を別途設け、ドーム型スクリーン11と2次元映像用平面スクリーンとを切り替えることで、立体映像と平面映像とを切り替える構成となっていても良い。
 一方の左眼用プロジェクタ12は、映像信号処理装置3によって補正された左眼用の映像信号を受けて、レンズ12aから左眼用の映像を出射する。他方の右眼用プロジェクタ13は、右眼用映像補正部から出力された歪み補正後の右眼用の映像信号を受けて、レンズ13aから右眼用の映像光を出射する。
 なお、この内視鏡システムは、立体映像を術者Pを含む複数の者に視認させる方式として偏光方式を採用する。すなわち、左眼用プロジェクタ12のレンズ12aには左眼用偏光フィルタ12bが取り付けられる。同様に、右眼用プロジェクタ13のレンズ13aには右眼用偏光フィルタ13bが取り付けられる。左眼用偏光フィルタ12b、右眼用偏光フィルタ13bは、互いに異なる円偏光を透過させる。左眼用プロジェクタ12から出射された左眼用の映像は左眼用偏光フィルタ12bを透過し、右眼用プロジェクタ13から出射された右眼用の映像は右眼用偏光フィルタ13bを透過する。なお、各偏光フィルタ12b,13bは円偏光を透過させるものに限定されず、直線偏光を透過させるものであってもよい。例えば、左眼用偏光フィルタ12bが垂直方向の直線偏光を透過させ、右眼用偏光フィルタ13bが水平方向の直線偏光を透過させてもよい。
 一方、術者Pや助手(第2の作業者)を含む複数の者は、ドーム型スクリーン11を見るときに、立体視めがね5を装着する。立体視めがね5は、左眼用偏光フィルタ12bと同じ偏光方式の偏光フィルタを左眼部分に有し、右眼用偏光フィルタ13bと同じ偏光方式の偏光フィルタを右眼部分に有する。ドーム型スクリーン11に表示された映像を立体視めがね5を通して見ることで、術者Pを含む複数の者は患者体内の鉗子類及び患部を含む状況を立体映像で見ることができる。
 反射鏡14は、術者Pを含む複数の者がドーム型スクリーン11の中心を見たときの視野の上方に設置される。反射鏡14は、左眼用プロジェクタ12及び右眼用プロジェクタ13から出射された左眼用映像光及び右眼用映像光をドーム型スクリーン11の11aに向けて反射する。内視鏡手術用表示装置1は、反射鏡14を備えることによってプロジェクタ12,13及びドーム型スクリーン11を一列に設置する必要がなくなり、装置全体を小さくすることができる。
 ドーム型スクリーン11の投影面11aは、上述のようにドーム型であって、例えばシルバー塗料など鏡面反射効果を有する塗料が塗装されている。このドーム型スクリーン11は一般にシルバースクリーンと称されている。なお、スクリーンの形状は、ドーム型に限定されるものではなく、例えば、平面と2次曲面とからなる複合スクリーンでもよい。このような形状のスクリーンであっても、内視鏡手術用表示装置1は、映像信号処理部における歪み補正テーブルを切り替えることによって、座標変換によって作成される映像を切り替えて、術者Pの第1の視点位置から見て歪みのない映像を投影面11aに表示することができる。
 また、ドーム型スクリーン11における凹面の算術平均粗さを、高い分離度を維持したまま、相互反射によるハレーションを低減する範囲とすることが好ましい。これは、各プロジェクタ12,13からの映像をドーム型スクリーン11に投影する場合、プロジェクタ12,13からの直射光によって照射される面で反射する2次反射以上の反射である相互反射により、ドーム型スクリーン11の端部側への映像が、対面するドーム型スクリーン11の一部に照射することによる。これにより、ドーム型スクリーン11の全体に靄がかかったように白く見えるハレーションが発生してしまう。この相互反射によるハレーション発生の度合は、プロジェクタ12,13の輝度、コントラスト比、ドーム型スクリーン11の形状によって変化する。特に、ドーム型スクリーン11を半球又は半円型とした場合には、相互反射によるハレーションが発生しやすいからである。
 本実施形態における図1のドーム型スクリーン11は外周に沿って鍔部(枠)11bを有し、鍔部11bの内側にドーム型の11aが形成されている。
 ここで、内視鏡手術の現場では、ドーム型スクリーン11の位置、術者Pの視点位置及び助手の視点位置に規制があり、この規制の下において、少なくとも術者Pに鮮明且つ歪みのない立体映像を提示する必要がある。したがって、本発明を適用した内視鏡システムにおける内視鏡手術用表示装置1において、このドーム型スクリーン11の形状は、少なくとも内視鏡手術の術者Pによって当該投影面11aの全体が見えるように設計されている。更に望ましくは、ドーム型スクリーン11の形状は、術者Pのみならず、術者Pとは違う視点位置の助手などから投影面11aの全体が見えるように設計されていても良い。このドーム型スクリーン11の形状は、術者P及び助手などの視点位置等によって決定されるものであるが、この詳細については後述するものとする。
 このような内視鏡手術用表示装置1において、左眼用プロジェクタ12及び右眼用プロジェクタ13、反射鏡14、ドーム型スクリーン11は、取付部材17を用いて一体に組み合わせられ、一つの移動体18を構成する。
 より詳細に述べると、取付部材17は略直方体形状となっており、金属板から形成され、内視鏡手術用表示装置1の正面側(図1で正のα軸方向側)の一面に凹部19を備え、上面にプロジェクタ収納部20を備える。また、プロジェクタ収納部20の両側から内視鏡手術用表示装置1の正面側に向かって一対のアーム21が延出されている。
 ドーム型スクリーン11は、凹型の投影面11aが取付部材17の凹部19に配置され、取付部材17に固定される。ドーム型スクリーン11が取付部材17に固定されると、ドーム型スクリーン11の開口面と取付部材17の正面は略同一面となる。凹型の投影面11aを凹部19に配置することで、ドーム型スクリーン11が取付部材17から突出することがなく、装置の小型化を図ることができる。
 プロジェクタ12,13のプロジェクタ収納部20は、少なくとも内視鏡手術用表示装置1の正面側の側面が開放された箱形である。プロジェクタ12,13は、プロジェクタ収納部20内に固定され、プロジェクタ12,13のレンズ12a、13aは開放された側面から偏光フィルタ12b、13bを介して外部に臨んでいる。
 反射鏡14は、一対のアーム21の先端21aに所定の角度で固定されている。
 土台部15は、金属板から略直方体に形成され、正面側に上面が開放された箱形の収納部22を備え、また下端に一対の脚部23を備える。各脚部23には、長手方向の両端にそれぞれキャスター24が取り付けられている。また、土台部15の背面15aの両側には、手すり25が設けられている。
 上述の移動体18の下部は、収納部22内に昇降自在に収納される。移動体18の下部は、箱形の収納部22内に収納されることによって、移動体18は、安定して一定姿勢を保持することができる。
 また、内視鏡手術用表示装置1は、土台部15に手すり25とキャスター24を設けた。これによって、使用者が手すり25を握って土台部15を押すことで、当該内視鏡手術用表示装置1を容易に移動させることができる。
 なお、移動体18の取付部材17の側面17aには、目盛り17bが設けられ、土台部15の側面15bには、三角印15cが設けられている。この内視鏡手術用表示装置1は、目盛り17bと三角印15cとによって、移動体18(スクリーン)の高さを使用者に計測させることができる。
 昇降装置16は、例えば油圧式の動力発生機構を有し、当該動力発生機構が発生させた動力によって、移動体18を昇降させる。この昇降装置16は、駆動部26と、上昇ステップ27と、下降レバーノブ28とを備えている。駆動部26は、収納部22の下面22aに配置され、その上面26aに移動体18が固定して載置される。上昇ステップ27及び下降レバーノブ28は、収納部22の背面15a側に設けられている。使用者が上昇ステップ27を上から下に踏むと、駆動部26の上面26aが上昇する。さらに何回も踏むとさらに上面26aが上昇する。これに対して、使用者が下降レバーノブ28を反時計回りに回すと、駆動部26の上面26aが下降する。下降レバーノブ28を時計回りに回すと駆動部26の上面26aの上下動がロックされる。すなわち、この昇降装置16は、使用者が上昇ステップ27及び下降レバーノブ28を操作することによって、駆動部26の上面26aを土台部15に対して垂直に昇降させることができる。これにより、駆動部26の上面26aに載置された移動体18は、土台部15に対して垂直に移動することができる。なお、この昇降装置16は、油圧式に限らず、ばね式などの他の機構を採用しても良い。
 ここで、内視鏡手術用表示装置1においては、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11が一体に組み合わせられて一つの移動体18を構成している。このため、移動体18が昇降装置16によって移動されても、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11の互いの位置関係は固定されたままである。従って、移動体18の高さに関わらず、術者Pの第1の視点位置から常に歪みのない映像をドーム型スクリーン11に表示できる。つまり、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11が一体化されていない場合、ドーム型スクリーン11の高さが変わると、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11の互いの位置関係が変わり、ドーム型スクリーン11の中心に映像が表示されなかったり、術者Pの第1の視点位置から見て歪んだ映像がスクリーンに表示される恐れがある。そのため、ドーム型スクリーン11の高さを変えるたびに、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11の位置関係を調整しなければならず、位置調整に多大な労力を要する。
 それに対して、この内視鏡手術用表示装置1は、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11を組み合わせて一つの移動体18を構成することによって、これらの互いの位置関係を固定させている。これにより、昇降装置16によって移動体18の高さを変えても、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11の位置調整をすることなく、術者Pの第1の視点位置から常に所望の歪みのない映像をドーム型スクリーン11に表示することができるのである。
 また、この内視鏡手術用表示装置1は、移動体18が昇降可能なため、ユーザによって昇降装置16を操作して、ドーム型スクリーン11を見やすい高さに調節することができる。この時、プロジェクタ12,13、反射鏡14、ドーム型スクリーン11の位置関係が固定されているため、移動体18を移動させても、術者Pの第1の視点位置から常に歪みのない映像がドーム型スクリーン11に表示される。また、この内視鏡手術用表示装置1は、手すり25とキャスター24を備えるので、手すり25を握って土台部15を押すことで、例えば部屋から別の部屋へと容易に移動させることができる。更に、内視鏡手術用表示装置1は、移動体18の高さを下げることで、例えば部屋のドアなども通過しやすくなる。
 以上のように、内視鏡手術用表示装置1は、術者Pの身長などに応じて、ドーム型スクリーン11の高さを調節することができ、さらに、ドーム型スクリーン11の高さを変えても、術者Pの第1の視点位置から常に歪みのない映像を表示することができる。
 つぎに、上述した内視鏡手術用表示装置1を含む内視鏡システムの動作について、図3を参照しながら説明する。
 まず、内視鏡装置2が患者Bを撮像する。内視鏡装置2から供給された映像信号は、映像信号処理装置3へと入力される。この映像信号は、左眼用映像補正部3B、右眼用映像補正部3Cによって、映像がドーム型スクリーン11に投影された時に術者Pの第1の視点位置から見て歪むことなく表示されるように、歪み補正が行われる。この歪み補正処理は、予め左眼用映像補正部3Bや右眼用映像補正部3Cにおいて、歪み補正テーブル記憶部3Dに記憶された歪み補正テーブルを参照することによって平面映像の各画素の座標を変換して、新たな映像(右眼用映像信号、左眼用映像信号)を作成する処理である。なお、この歪み補正テーブルは、後述する術者Pの視点位置から映像を歪み無く見せるために、左眼用プロジェクタ12、右眼用プロジェクタ13と、反射鏡14と術者Pの視点位置とドーム型スクリーン11との相対位置関係、ドーム型スクリーン11の形状に基づいて作成されていることは勿論である。
 左眼用映像補正部3B、右眼用映像補正部3Cの動作は、制御部3Aによって同期されている。歪み補正された左眼用映像信号及び右眼用映像信号は、左眼用プロジェクタ12,右眼用プロジェクタ13のそれぞれへと出力される。左眼用プロジェクタ12,右眼用プロジェクタ13は、それぞれ左眼用映像信号と右眼用映像信号を受信し、左眼用映像光、右眼用映像光をそれぞれ出射する。
 左眼用プロジェクタ12、右眼用プロジェクタ13から出射された左眼用映像光、右眼用映像光は、それぞれ、左眼用偏光フィルタ12b、右眼用偏光フィルタ13bを透過し、反射鏡14に入射される。反射鏡14は、左眼用プロジェクタ12、右眼用プロジェクタ13から出射された左眼用映像光、右眼用映像光を反射して、ドーム型スクリーン11の全面に左眼用映像光、右眼用映像光を投影する。
 術者Pを含む作業者は、ドーム型スクリーン11に投影された立体映像を見て内視鏡手術を行うときに、立体視めがね5を装着する。この立体視めがね5は、左眼用偏光フィルタ12bと同じ偏光方式の偏光フィルタを左目部分に有し、右眼用偏光フィルタ13bと同じ偏光方式の偏光フィルタを右目部分に有する。ドーム型スクリーン11に表示された映像を立体視めがね5を通して見ることで、術者Pを含む作業者は、ドーム型スクリーン11に投影された映像を立体的に視認することができる。
 以上のように、内視鏡システムは、術者Pや助手の身長などに応じて、ドーム型スクリーン11の高さを調節することができ、さらに、ドーム型スクリーン11の高さを変えても、術者Pの第1の視点位置から見て常に歪みのない映像を表示することができる。
 ところで、本実施形態では、左眼用プロジェクタ12,右眼用プロジェクタ13から出力された映像を、反射鏡14を用いてドーム型スクリーン11に反射させている。内視鏡手術用表示装置1は、反射鏡14を備えることによって左眼用プロジェクタ12,右眼用プロジェクタ13及びドーム型スクリーン11を一列に設置する必要がなくなり、映像表示装置を小さくすることができる。
 しかしながら、反射鏡14を設けた場合、反射鏡14が観察者の視野に入って、映像を遮るおそれがある。従って、図4に示すように、x軸を、術者Pがドーム型スクリーン11に対して水平に見たときの視線方向とし、y軸を、x軸に対する垂直な方向としたxy座標において、反射鏡14は、当該反射鏡14の下端位置(x,y)が、以下の式を満足するように設置されることが好ましい。
 (y-y)x-(x-x)y≦x-x   (式)
 ただし、x,yは予め設定された術者P又は助手などの視点位置のx,y座標であり、x,yはドーム型スクリーン11の投影面11a上端の位置のx,y座標である。なお、x,yは投影面11aの上端であり、ドーム型スクリーン11の鍔部11bの上端ではない。すなわち、x,yは、ドーム型スクリーン11の有効投影面の上端である。
 上記式は、術者Pが予め設定された視点位置(x,y)から反射鏡14の下端を見上げる角度θが、術者Pが予め設定された視点位置(x,y)からドーム型スクリーン11の投影面11aの上端を見上げる角度θよりも大きくなる領域を示している。つまり、上記の式は、図4において、θ≧θの領域を示している。従って、反射鏡14の下端の位置(x,y)が上記式を満足する場合、術者Pは、反射鏡14に視線を遮られることなく投影面11aの全域を見ることができる。
 なお、本実施形態では、左眼用プロジェクタ12,右眼用プロジェクタ13が出力した映像を反射鏡14を介してドーム型スクリーン11に投影していたが、これ以外の構成であっても良い。例えば、内視鏡手術用表示装置1は、アーム21の先端側に、ドーム型スクリーン11と対向するように左眼用プロジェクタ12,右眼用プロジェクタ13を配置し、左眼用プロジェクタ12,右眼用プロジェクタ13から出射された映像光がドーム型スクリーン11に直接投影されるように構成してもよい。
 すなわち、本実施形態の内視鏡手術用表示装置1は、左眼用プロジェクタ12,右眼用プロジェクタ13と、ドーム型スクリーン11と、映像信号処理装置3と、左眼用プロジェクタ12,右眼用プロジェクタ13とドーム型スクリーン11とを支持する土台部15とを備え、左眼用プロジェクタ12,右眼用プロジェクタ13とドーム型スクリーン11が一体に組み合わせられて一つの移動体(図示せず)を構成し、その移動体が昇降装置8によって垂直に移動される構成でもよい。映像信号処理装置3及び土台部15の構成は図1の映像表示装置と同様である。
 このような構成であっても、内視鏡手術用表示装置1においては、移動体が昇降可能となる。したがって、使用者は、昇降装置8を操作して、ドーム型スクリーン11を最も見やすい位置に調節することができる。さらに、内視鏡手術用表示装置1においては、左眼用プロジェクタ12,右眼用プロジェクタ13とドーム型スクリーン11との位置関係が固定されている。このため、内視鏡手術用表示装置1は、移動体を移動させても、術者Pの第1の視点位置から見て常に歪みのない映像をドーム型スクリーン11に表示させることができる。なお、このような構成であっても、ドーム型スクリーン11を取付部材17の凹部19に配置し、取付部材を収納部22に昇降自在に収納するのが好ましい。
 つぎに、本発明を適用した内視鏡システムにおいて、内視鏡手術用表示装置1の異なる構成について、図5を参照して説明する。図5に示す内視鏡手術用表示装置1の基本的な構成は、取付部材17及び土台部15の構成を除いて図1に示した内視鏡手術用表示装置1と同様であり、同様の箇所は同じ符号を付して重複する説明は省略する。
 この内視鏡手術用表示装置1は、移動体18が垂直方向に移動できるのに加えて、内視鏡手術用表示装置1の上下方向に直交し且つ投影面11aの開口面に平行な軸の周り(すなわち、図5のβ軸の周り)を、土台部15Aに対して傾斜可能で、且つ、内視鏡手術用表示装置1の上下方向に沿った軸の周り(すなわち、図5のγ軸の周り)を土台部15Aに対して回転可能に構成されている。
 この内視鏡手術用表示装置1の土台部15Aは、上面が開放された箱形に形成され、図1に示した内視鏡手術用表示装置1と同様に、各脚部23にキャスター24が設けられている。
 内視鏡手術用表示装置1の取付部材は、下取付部材31と、中央取付部材32と、上取付部材33とからなる。下取付部材31は、例えば金属板から箱形に形成され、土台部15Aに昇降可能に収納される。下取付部材31と土台部15Aの底面との間には、図1の内視鏡手術用表示装置1と同様に、昇降装置16の駆動部26が配置される。また、下取付部材31の上面31aの中心から、円筒状の軸部34が突出している。
 中央取付部材32は、例えば金属板から形成される。中央取付部材32は、下面に貫通孔32aを有し、下取付部材31の軸部34が貫通孔32aを貫通するように、下取付部材31の上に配置される。これにより中央取付部材32は、下取付部材31に対して、図5の矢印Bの方向に回転可能となる。また、中央取付部材32の図5のβ軸方向における両側面32bの上方には、それぞれ貫通孔32cが形成される。
 上取付部材33は、例えば金属板から形成される。上取付部材33は、図5のβ軸方向における両側面の下方に、それぞれ貫通孔33aが形成される。上取付部材33は、上取付部材33の下側部分が中央取付部材32の上側部分に重なるように配置される。上取付部材33の貫通孔33aの位置は、中央取付部材32の貫通孔32cの位置と一致する。このような位置関係において、貫通孔33a,32cにボルト35が挿通され、上取付部材33は、中央取付部材32に対してボルト35を軸として傾斜可能となる。すなわち、上取付部材33は、図5の矢印Aの方向に傾斜可能となる。
 内視鏡手術用表示装置1は、上取付部材33の正面(図5で正のα軸方向側の面)と中央取付部材32の正面とに跨る形で、ドーム型スクリーン11を配置するための凹部36が形成される。ドーム型スクリーン11は、凹部36に配置されるが、中央取付部材32には固定されず、上取付部材33のみに固定される。上取付部材33が中央取付部材32側に傾斜したときにドーム型スクリーン11の背面と凹部36とが干渉しないように、ドーム型スクリーン11の背面と凹部36との間には、所定のスペースが設けられている。
 上取付部材33の上部には、図1の内視鏡手術用表示装置1と同様に、プロジェクタ収納部20が設けられる。左眼用プロジェクタ12,右眼用プロジェクタ13及び反射鏡14は、図1の内視鏡手術用表示装置1と同様に、上取付部材33に固定されている。すなわち、図5に示す内視鏡手術用表示装置1において、左眼用プロジェクタ12,右眼用プロジェクタ13、反射鏡14、ドーム型スクリーン11は、上取付部材33を用いて一体に組み合わせられて一つの移動体18を構成している。
 以上のように構成された内視鏡手術用表示装置1は、昇降装置16が下取付部材31を昇降させると、下取付部材31、中央取付部材32を介して、移動体18が土台部15Aに対して垂直方向に移動する。従って、使用者は昇降装置16を操作することによって、移動体18を土台部15Aに対して垂直方向に移動させることができる。また、上取付部材33を、手動や電動で中央取付部材32に対して傾斜させることで、移動体18を、内視鏡手術用表示装置1の上下方向に直交し且つ投影面11aの開口面に平行な軸の周り(すなわち、図5のβ軸の周り)を、土台部15Aに対して傾斜させることができる。さらに、中央取付部材32を下取付部材31に対して回転させることで、移動体18を、内視鏡手術用表示装置1の上下方向に沿った軸の周り(すなわち、図5のγ軸の周り)を、土台部15Aに対して回転させることができる。左眼用プロジェクタ12,右眼用プロジェクタ13、反射鏡14、ドーム型スクリーン11が一体に組み合わせられ、互いの位置関係が固定されているため、移動体18を土台部15Aに対して移動、傾斜、回転させても、術者Pの第1の視点位置から常に歪みのない映像をドーム型スクリーン11に表示させることができる。
 この内視鏡手術用表示装置1は、使用者は移動体18を垂直に移動させるだけでなく、移動体18を土台部15Aに対して傾斜させたり回転させたりすることができる。これにより、内視鏡手術用表示装置1によれば、身長、立ち位置などに応じて、ドーム型スクリーン11の高さや角度をより細かく調節することができる。
 なお、この内視鏡手術用表示装置1においても、アーム21の先端側に、ドーム型スクリーン11と対向するように左眼用プロジェクタ12,右眼用プロジェクタ13を配置し、左眼用プロジェクタ12,右眼用プロジェクタ13から出射された映像がドーム型スクリーン11に直接投影されるように構成してもよい。
 つぎに、内視鏡手術用表示装置1の更に他の構成について、図6を参照して説明する。なお、上述した内視鏡手術用表示装置1と同じ部分については同一符号を付することによって、その説明を省略する。
 図6に示す内視鏡手術用表示装置1は、図1,図5に示した内視鏡手術用表示装置1と同様に、左眼用プロジェクタ12、右眼用プロジェクタ13、反射鏡14、ドーム型スクリーン11が、一体に組み合わせられて一つの移動体18を構成している。
 この内視鏡手術用表示装置1の土台部15Bは、地面(図示せず)に一端が固定されると共に、移動体18との間に、2つの第1の回転機構41及び第2の回転機構42と、昇降機構43と、傾斜機構44と、伸縮機構45とを備える。
 第1の回転機構41は、移動体18と昇降機構43との間に設けられる。この第1の回転機構41は、移動体18を昇降機構43に対して、図6のθの方向に、回転させることができる。
 昇降機構43は、第1の回転機構41と傾斜機構44との間に設けられる。昇降機構43は、第1の回転機構41を介して、移動体18を傾斜機構44に対して昇降させることができる。
 傾斜機構44は、昇降機構43と伸縮機構45との間に設けられる。この傾斜機構44は、昇降機構43及び第1の回転機構41を介して、移動体18を伸縮機構45に対して、図6のθの方向に傾斜させることができる。
 伸縮機構45は、傾斜機構44と第2の回転機構42との間に設けられる。この伸縮機構45は、傾斜機構44及び昇降機構43、第1の回転機構41を介して、移動体18を第2の回転機構42に対して、図6のα軸に沿った方向に、移動させることができる。
 第2の回転機構42は、伸縮機構45と土台部15Bの一端との間に設けられる。第2の回転機構42は、伸縮機構45、及び傾斜機構44、昇降機構43、第1の回転機構41を介して、移動体18を土台部15Bの一端に対して、図6のθの方向に、回転させることができる。
 このように、内視鏡手術用表示装置1は、2つの回転機構41,42と、昇降機構43と、傾斜機構44と、伸縮機構45とを備える。これによって、内視鏡手術用表示装置1は、移動体18を土台部15Bに対して、垂直に移動させることもできるし、傾斜させることもできるし、回転させることもできる。移動体18をどのように移動させた場合でも、左眼用プロジェクタ12、右眼用プロジェクタ13、反射鏡14、ドーム型スクリーン11が一体に組み合わせられ、互いの位置関係が固定されている。このため、内視鏡手術用表示装置1によれば、術者Pの第1の視点位置から見て常に歪みのない映像をドーム型スクリーン11に表示させることができる。
 この内視鏡手術用表示装置1は、図5に示した内視鏡手術用表示装置1と同様に、使用者は移動体18を垂直に移動させるだけでなく、移動体18を土台部15Bに対して傾斜させたり回転させたりすることができる。これにより、内視鏡手術用表示装置1によれば、内視鏡手術の術者Pや助手の身長、立ち位置などに応じて、ドーム型スクリーン11の高さや角度をより細かく調節することができる。
 なお、回転機構や、傾斜機構、伸縮機構の組み合わせは図6に限定されるものではなく、数々の変形が可能である。例えば、図7に示すように、内視鏡手術用表示装置1は、図6の構成にさらに2つの第3の回転機構51,第4の回転機構52を設け、昇降機構43を取り除いて構成しても良い。
 第3の回転機構51は、伸縮機構45と傾斜機構44との間に設けられる。この第3の回転機構51は、傾斜機構44を伸縮機構45に対して、図7のθの方向に回転させることができる。
 第4の回転機構52は、伸縮機構45と第2の回転機構42との間に設けられる。この第4の回転機構52は、伸縮機構45を第2の回転機構42に対して、図7のθの方向に回転させることができる。
 この内視鏡手術用表示装置1は、第4の回転機構52の回転と伸縮機構45の伸縮によって移動体18を土台部15Bに対して垂直に移動させることができる。つまり、第4の回転機構52と伸縮機構45とによって、移動体18を土台部15Bに対して垂直に移動させることができる昇降手段を構成している。
 また図6に示した内視鏡手術用表示装置1と同様に、移動体18を土台部15Bに対して、傾斜させることも回転させることもできる。
 なお、この内視鏡手術用表示装置1においても、ドーム型スクリーン11と対向するように左眼用プロジェクタ12,右眼用プロジェクタ13を配置し、左眼用プロジェクタ12,右眼用プロジェクタ13から出射された映像光がドーム型スクリーン11に直接投影されるように構成してもよい。
 このような内視鏡システムは、他の形態として、図8及び図9に示すような構成の内視鏡手術用表示装置1を備えていても良い。図8、図9に示す内視鏡手術用表示装置1は共に、ドーム型スクリーン11下部に作業棚61が設けられ、当該作業棚の下方に、内視鏡装置2と接続された映像信号処理装置3などを含む各種の器材ボックス62が設置されている。作業棚61は、例えば内視鏡手術に必要な各種の器材や器具を置けるようになっている。また、図8に示す内視鏡手術用表示装置1は、プロジェクタ12,13を縦積みにした形態であり、図9に示す内視鏡手術用表示装置1は、プロジェクタ12,13を横積みにした形態である。なお、プロジェクタ12,13の縦積み、横積みの相違によって、アーム21の寸法や反射鏡14の寸法などが最適化されている。
 つぎに、上述したように構成された内視鏡手術用表示装置1において、内視鏡手術の現場にて少なくとも術者Pが投影面11aの映像全体を見ることができ、助手A,Bが少なくとも投影面11aの中心を見ることができるようにドーム型スクリーン11を構成することについて説明する。
 先ず、内視鏡手術におけるドーム型スクリーン11の位置に対する術者P、助手、カメラ持ちといった各人の位置的な規制について説明する。上述の内視鏡システムが用いられる内視鏡手術においては、図10に示すように、患者Bの体表から鉗子類101及び内視鏡装置2の先端部2bを挿入する。この状態にて、内視鏡装置2の先端部2bには、光源100から出射された照射光が供給される。
 光源100は、ランプ100aとフィルタ100bとを備える。このフィルタ100bは、ランプ100aによって発光したランプ光のうち所定波長の光成分のみを透過する。このフィルタ100bは、内視鏡装置2による映像撮像範囲に対して照射光を出射して患部の組織状態を識別可能とするような光成分のみを透過するように設計されている。この光源100から出射された照射光は、内視鏡装置2の光導入部2cを介して先端部2bに導かれる。
 内視鏡装置2の先端部2bは、出射した照射光が患部で反射した反射光を入射する。この先端部2bは、照射光を出射する出射用レンズ及び反射光を入射する入射用レンズが設けられている。これら入射用レンズによって入射した反射光は、内視鏡装置2の本体部2a又は先端部2bに内蔵された光電変換素子によって映像信号に変換されて、映像信号処理装置3に供給される。
 このような内視鏡装置2を用いた内視鏡手術においては、図11に示すように、内視鏡手術用表示装置1のドーム型スクリーン11及びベッドが配置され、当該ドーム型スクリーン11に正対して術者Pの立ち位置が決められる。また、内視鏡手術においては、ベッドの脇が立ち位置となる第1助手、第2助手が配置される。更に、術者Pが操作する鉗子類101によって手術される患部を撮像するために、内視鏡装置2の先端部2bを移動させるカメラ持ちが患者の近くに配置される。
 このような環境下において、ドーム型スクリーン11に投影される患部の立体映像は、術者P、助手、カメラ持ちの複数の視点位置から鮮明に見える必要がある。特に、術者Pに対しては、常にドーム型スクリーン11の中心が見える必要がある。
 このために、内視鏡手術の現場においては、図12に示すように、術者P、助手A、助手Bの全員がドーム型スクリーン11上の注目点を見ることができるためには、角度γが必要となる。具体的には、注目点からベッドのドーム型スクリーン11側端部までの距離Aが500mm、ベッドの長手と同じ方向においてベッドのドーム型スクリーン11側端部から助手A,Bの視点までの距離B(ベッドの長さ)が2000mm、距離Aと距離Bとを足した距離Cが2500mm、ベッド幅の半分の長さ距離Dを250mm、ベッド幅方向の端部から助手A,Bまでの距離Eを250mm、距離Dと距離Eを足した距離Fが500mmである場合には、術者Pや助手A,Bの視点位置は、注目点に対して角度γ=11.31°の範囲内に存在する。すなわち、投影面11aの中心点を注目点とした場合、第1視点位置の術者P、第2視点位置の助手A,Bから投影面11aの中心点に表示された映像を見るためには、ドーム型スクリーン11は、角度γの開口部を有する凹面となっている必要がある。
 また、内視鏡手術の現場においては、図13に示すように、注目点に対してベッドが横長に配置され、注目点に略正対して術者Pの第1視点位置が配置され、ベッド長手方向の両端に助手A,Bの第2視点位置が配置される場合もある。このような環境下において、術者P、助手A、助手Bの全員がドーム型スクリーン11上の注目点を見ることができるためには、角度δが必要となる。具体的には、注目点からベッドのドーム型スクリーン11側端部までの距離Aが500mm、ベッド幅と同じ方向においてベッドのドーム型スクリーン11側端部からベッド幅に伸びる線と助手A,Bの視点からベッドの長手方向に伸びる線との交点までの距離B(ベッド幅の半分の長さ)が250mm、距離Aと距離Bとを足した距離Cが750mm、ベッド幅の半分の距離Dを1000mm、ベッド幅方向の端部から助手A,Bまでの距離Eを250mm、距離Dと距離Eを足した距離Fが1250mmである場合には、術者Pや助手A,Bの視点位置は、注目点に対して角度δ=59.04°の範囲内に存在する。すなわち、投影面11aの中心点を注目点とした場合、第1視点位置の術者P、第2視点位置の助手A,Bから投影面11aの中心点に表示された映像を見るためには、ドーム型スクリーン11は、角度δの開口部を有する凹面となっている必要がある。
 このように、投影面11a上の映像を見るためには、投影面11aの凹面形状に制限が加わることとなる。そこで、本発明を適用した内視鏡システムにおいては、術者P(第1の作業者)、助手A,B(第2の作業者)に対して凹面を向けた投影面11aの形状を、図14及び図15に示すような角度α、図16及び図17に示すような角度βを満たすようにする。
 角度αは、ドーム型スクリーン11に対して当該角度αの範囲内に存在する者であれば、当該ドーム型スクリーン11の投影面中心を観察することができる角度となるように調整される。一方、角度βは、ドーム型スクリーン11に対して当該角度βの範囲内に存在する者であれば、当該ドーム型スクリーン11の映像全体を観察することができる角度となるように調整される。
 ここで、この内視鏡システムにおいては、術者Pの視点位置の存在範囲、助手A,Bの視点位置(第2の視点位置)の存在範囲は決まっている。したがって、本発明を適用した内視鏡システムは、術者Pの視点位置が角度βの範囲内に収まり且つ助手A,Bの視点位置が角度αに収まるようなドーム型スクリーン11の形状としている。又は、本発明を適用した内視鏡システムは、術者P及び助手A,Bの視点位置の双方が角度βに収まるようなドーム型スクリーン11の形状としている。
 先ず、角度αについて説明する。
 図14に示すように、当該凹面となっている開口面中心点P2を通り当該開口面に対して垂直な垂直軸L1を第1軸とする。また、当該第1軸である垂直軸L1と投影面11aの交差する点を投影面中心点P1とする。更に、投影面中心点P1から投影面11aの縁部P3を結んだ中心-縁接続軸L2を第2軸とする。この場合に、投影面11aは、垂直軸L1(第1軸)と中心-縁接続軸L2(第2軸)とのなす角度αを、助手A,Bの第2視点位置より投影面11aの中心を観察することが可能な角度とする形状としている。
 具体的には、図12のような内視鏡手術の現場、図13のような内視鏡手術の現場の双方に内視鏡手術用表示装置1を使用することができるためには、投影面11aは、垂直軸L1(第1軸)と中心-縁接続軸L2(第2軸)とのなす角度αを、59.04度より大きく、投影面11aが凹面として認められる最大角度の範囲として構成されている必要がある。この投影面11aが凹面として認められる最大角度とは、平面ではないが、投影面11aに左眼用映像光及び右眼用映像光を投影して立体映像を表示させた場合に、術者Pや助手を含む複数の作業者が当該立体映像に対して正しい奥行き方向の距離感覚を得ることができるような角度であることが望ましい。
 このように投影面11aを構成することにより、図15に示すように、角度αの範囲内に助手A,Bの第2視点位置を配置すれば、助手A,Bが投影面11aの中心を見ることができる。なお、術者Pが移動して角度αの範囲に移動しても同様に、投影面11aの中心を見ることはできる。
 具体的には、凹面の開口径を600mmとし、当該凹面の開口面から投影面中心点P1までの深さを46mmとすると、垂直軸L1乃至中心-縁接続軸L2の角度αは、81.28度となる。他の具体例としては、凹面の開口径を600mmとし、当該凹面の開口面から投影面中心点P1までの深さを100mmとすると、垂直軸L1乃至中心-縁接続軸L2の角度αは、71.57度となる。更に他の具体例としては、凹面の開口径を600mmとし、当該凹面の開口面から投影面中心点P1までの深さを200mmとすると、垂直軸L1乃至中心-縁接続軸L2の角度αは、56.31度となる。
 このような具体例から、投影面11aの中心を見ることができる術者Pの第1視点位置、助手A,Bの第2視点位置が配置可能な範囲を表し、投影面11aが凹面として認められる最大の角度を82度とする。一方、投影面11aの中心を見ることができる術者Pの第1視点位置、助手A,Bの第2視点位置が配置可能な最小の範囲を、図12に示す内視鏡手術の現場の例の11度とする。このようなことから、投影面11aは、垂直軸L1(第1軸)と中心-縁接続軸L2(第2軸)とのなす角度を、11度乃至82度の範囲として構成することが望ましい。
 このような内視鏡システムによれば、立体映像を見る者の視点位置とドーム型スクリーン11との位置に規制があっても、立体映像を見る者の視点位置が垂直軸L1と中心-縁接続軸L2との間の角度αの範囲内となるように投影面11aの形状を調整できる。これによって、内視鏡システムは、立体映像を見る者の視点位置がある程度決まれば、必ず投影面11aの中心を見させることができる。
 したがって、この内視鏡システムによれば、図12や図13といったベッドや患者B、その他器材の配置によって、ドーム型スクリーン11が配置できる位置や姿勢、及び、術者Pや助手A,Bを含む全員の配置が制限される場合であっても、垂直軸L1と中心-縁接続軸L2との角度αを調整することによって、当該角度αの範囲にいる者に必ず投影面11aの中心点を視認させることができる。また、視点位置が動く範囲をカバーするように投影面11aの角度αを調整することによって、必ず投影面11aの中心点を見せることができる。
 また、この内視鏡システムによれば、術者Pの第1視点位置に基づいて歪み補正処理を行う歪み補正テーブルを歪み補正テーブル記憶部3Dに記憶しておいて、歪み補正処理を行って立体映像を表示するので、必ず、術者Pの第1視点位置から、歪みのない映像の中心位置を視認させることができる。これによって、内視鏡システムは、術者Pや助手A,Bを含む全員から投影面11aの中心が見えなくなるなどの不安要素を取り除き、内視鏡手術におけるストレスを低減することができる。
 つぎに、角度βについて説明する。
 この内視鏡システムにおいては、図16に示すように、投影面11aを球面の一部で構成し、投影面11aの縁部の接線L3を第3軸とし、垂直軸L1(第1軸)と接線L3(第3軸)とのなす角度を、術者Pの第1視点位置より映像全体を観察することが可能な角度βとする。又は、この内視鏡システムにおいては、垂直軸L1(第1軸)と接線L3(第3軸)とのなす角度を、術者Pの第1視点位置及び助手A,Bの第2視点位置の双方より映像全体を観察することが可能な角度βとする。
 このような投影面11aを構成することにより、図17に示すように、角度βの範囲内に術者P及び助手A,Bの第1視点位置、第2視点位置を配置すれば、術者P、助手A,Bの全員が投影面11aの映像全体を見ることができる。
 具体的には、凹面の開口径を600mmとし、当該凹面の開口面から投影面中心点P1までの深さを46mmとすると、角度βは、72.54度となる。他の具体例としては、凹面の開口径を600mmとし、当該凹面の開口面から投影面中心点P1までの深さを100mmとすると、角度βは、53.13度となる。更に他の具体例としては、凹面の開口径を600mmとし、当該凹面の開口面から投影面中心点P1までの深さを200mmとすると、角度βは、22.62度となる。このようなことから、投影面11aは、垂直軸L1(第1軸)と接線L3(第3軸)とのなす角度を、11度乃至73度の範囲として構成することが望ましい。
 このような内視鏡システムによれば、術者Pの第1視点位置及び助手A,Bの第2視点位置とドーム型スクリーン11との位置に規制があっても、術者Pの第1視点位置及び助手A,Bの第2視点位置が垂直軸L1と接線L3との間の角度βの範囲内となるように投影面11aの形状を調整できる。これによって、内視鏡システムは、術者Pの第1視点位置及び助手A,Bの第2視点位置がある程度決まれば、必ず投影面11aの映像全体を見させることができる。
 したがって、この内視鏡システムによれば、図12や図13といったベッドや患者B、その他器材の配置によって、ドーム型スクリーン11が配置できる位置や姿勢、及び、術者Pや助手A,Bを含む全員の配置が制限される場合であっても、垂直軸L1と接線L3との角度βを調整することによって、必ず術者P、助手A,Bに投影面11aの映像全体を視認させることができる。また、術者P、助手A,Bの視点位置が動く範囲をカバーするように投影面11aの角度βを調整することによって、必ず術者P、助手A,Bに投影面11aの映像全体を見せることができる。
 また、この内視鏡システムによれば、術者Pの第1視点位置に基づいて歪み補正処理を行う歪み補正テーブルを歪み補正テーブル記憶部3Dに記憶しておいて、歪み補正処理を行って立体映像を表示するので、必ず、術者Pの第1視点位置から、歪みのない映像全体を視認させることができる。
 つぎに、上述した内視鏡システムにおいて、映像を提示する手段として、一般的な20インチトリニトロンモニタによって2次元映像(2D)を使用した場合と、本発明を適用した内視鏡手術用表示装置1のように凹面形状が調整されたドーム型スクリーン11によって3次元映像(3D)を使用した場合での、効果の相違について説明する。
 この効果の説明では、図2に示した患者Bに代えて、作業台A上に手術対象の患者の患部を簡易的に模擬した模擬被検体を載置する内視鏡手術訓練システムを用いる。この内視鏡手術訓練システムは、上述した内視鏡システムと同様の内視鏡手術用表示装置1及び映像信号処理装置3を備えると共に、術者Pに立体視めがね5を装着させる。そして、第1視点位置の術者Pによって操作される鉗子類といった手術器具、内視鏡装置2の先端部2bを模擬被検体に挿入し、鉗子類の操作を内視鏡装置2によって撮像して、内視鏡手術用表示装置1のドーム型スクリーン11に表示させる。
 このような内視鏡手術訓練システムによって行う訓練は、鉗子類を操作する訓練である第1作業タスク~第4作業タスクと、ドーム型スクリーン11に表示された映像内における対象物の前後関係を正確に認識させる第1認識タスク~第3認識タスクとがある。以下、各タスクの説明と、内視鏡システムの効果の説明をする。
 「第1作業タスク」
 第1作業タスクは、図18に示すような模擬被検体を用いた。この模擬被検体は、内視鏡装置2の撮像位置からの距離が、Dだけ異なる複数の糸状対象物201-1,201-2にセンサ202-1,202-2を設けている。また、このセンサ202-1,202-2と術者Pとの間には基準位置接触センサ203が設けられている。第1作業タスクは、センサ202-1,202-2を鉗子類204で把持し、センサ202-1,202-2と基準位置接触センサ203との間で鉗子類204を往復させる訓練である。
 この第1作業タスクの結果として、図19に被験者(術者P)ごとの鉗子往復時間[sec]を示し、図20に鉗子往復時間[sec]の標準偏差を示し、図21に対象物の把持ミス回数[回]を示す。なお、この訓練結果は、複数の術者Pによって第1作業タスクを行って取得したものである。ここで、図19に示す「P」は、“Wilcoxon Signed Rank Test”と称される解析手法、図20,図21に示す「P」は、“Mann-Whitney-U検定”と称される解析手法によって求めた値であり、このPの値が0.05以下であると、比較する対象に相違があると認められることを表す。図19から明らかなように、模擬被検体内の状況を2次元映像(2D)で表示した場合よりも、3次元映像(3D)で表示した場合の方が、鉗子往復時間が短く、Pの値より、双方の結果に相違が認められる。
 また、図20に示すように、2次元映像(2D)よりも、3次元映像(3D)の方が、術者Pに応じた鉗子往復時間のバラツキが小さく、且つ短い時間となっている。また、Mann-Whitney-U検定で求めたPの値も0.034となっている。なお、図21に示す箱ひげ図は、2次元映像(2D)の場合で説明すると、2.6[sec]、0.5[sec]付近の値は軽度の外れ値、2.25[sec]、0.75[sec]付近の値が最小値及び最大値、0.9[sec]、2.0[sec]付近の値が第1四分位点及び第3四分位点、1.5[sec]付近の値が中央値である。
 更に、図21に示すように、2次元映像(2D)よりも、3次元映像(3D)の方が、術者Pに応じた把持ミス回数が少なく、且つばらつきも小さくなっている。また、Mann-Whitney-U検定で求めたPの値も0.0039となっている。
 「第2作業タスク」
 第2作業タスクは、図22に示すような模擬被検体を用いた。第2作業タスクは、術者Pが鉗子類204を操作して針状の対象物201を把持し、センサ202と基準位置接触センサ203との間で鉗子類204を往復させる訓練である。
 この第2作業タスクの結果として、図23に鉗子往復時間[sec]を示し、図24に対象物の把持ミス回数[回]を示す。なお、この訓練結果は、複数の術者Pによって第2作業タスクを行って取得したものである。
 図23から明らかなように、2次元映像(2D)で表示した場合より、3次元映像(3D)で表示した場合の方が、鉗子往復時間が短い。なお、Pの値も0.01となっている。また、図24から明らかなように、2次元映像(2D)で表示した場合より、3次元映像(3D)で表示した場合の方が、把持ミス回数も少なくなっている。なおPの値も0.018となっている。
 「第3作業タスク」
 第3作業タスクは、図25に示すような模擬被検体を用いた。第3作業タスクは、術者Pからの距離が異なる2つの輪形状の対象物201-1,201-2に対して鉗子類204を通過させ、基準位置接触センサ203との間で往復させる訓練である。
 この第3作業タスクの結果として、図26対象物201-1,201-2の輪形状部分の中心からのずれ量[mm]を示し、図27に、このずれ量の標準偏差を示す。なお、この訓練結果は、複数の術者Pによって第3作業タスクを行って取得したものである。
 図26から明らかなように、2次元映像(2D)で表示した場合より、3次元映像(3D)で表示した場合の方が、ずれ量が少なく且つばらつきも小さい。なお、Pの値も0.036となっている。また、図27から明らかなように、2次元映像(2D)で表示した場合より、3次元映像(3D)で表示した場合の方が、ずれ量の標準偏差が小さく、ばらつきも小さい。なお、Pの値も0.036となっている。
 「第4作業タスク」
 第4作業タスクは、図28に示すような模擬被検体を用いた。第4作業タスクは、複数の目標点が記載された縫合練習ボードに対して鉗子類204を操作して縫合・結紮作業をさせ、基準位置接触センサ203で時間を計測する訓練である。
 所定のこの第4作業タスクの結果として、図29に縫合糸の縫合・結紮時間[sec]を示し、図30に縫合糸又は縫合針の把持ミス回数[回]を示す。図29(a)、図30(a)は、2次元映像(2D)を見て第4作業タスクを行った後に3次元映像(3D)を見て第4作業タスクを行った場合の結果である。図29(b)、図30(b)は、3次元映像(3D)を見て第4作業タスクを行った後に2次元映像(2D)を見て第4作業タスクを行った場合の結果である。なお、この訓練結果は、複数の術者Pによって第4作業タスクを行って取得したものである。
 図29から明らかなように、2次元映像(2D)で表示した場合より、3次元映像(3D)で表示した場合の方が、縫合糸の縫合・結紮時間が短くなっている。なお、Pの値も0.035となっている。また、図30から明らかなように、2次元映像(2D)で表示した場合より、3次元映像(3D)で表示した場合の方が、把持ミス回数は少なくなっている。なお、Pの値も0.0015となっている。
 「第1認識タスク」
 第1認識タスクは、図31に示すような模擬被検体を用いた。この第1認識タスクは、内視鏡装置2の撮像位置からの距離が、Dだけ異なる複数の糸状対象物201-1,201-2の前後位置関係を正確に把握する訓練である。
 この第1認識タスクの訓練結果は、平面モニタに2次元映像(2D)を表示させた場合と上述のドーム型スクリーン11に3次元映像(3D)を表示させた場合とで得た。また、第1認識タスクの訓練結果は、表示画面が平面のモニタを使用して立体映像を表示させて第1認識タスクを行った場合(3DP)と、上述のドーム型スクリーン11に立体映像を表示して第1認識タスクを行った場合(3DD)とで得た。なお、模擬被検体、内視鏡手術用表示装置1は同一のものを使用した。
 この第1認識タスクの結果として、図32に、2次元映像(2D)を使用した場合と3次元映像(3D)を使用した場合との前後位置関係の正答率を示す。また、図33に、3次元映像を平面モニタに表示させた場合(3DP)とドーム型スクリーン11に表示させた場合(3DD)との前後位置関係の正答率を示す。なお、この訓練結果は、複数の術者Pによって第1認識タスクを行って取得したものである。
 図32を見ると、2次元映像を使用した場合と3次元映像を使用した場合とでは、格段に大きな正答率の相違が確認できた。また、Pの値も0.014となった。一方、図33を見ると、平面のモニタを使用した3DPでは、被験者の正答率のバラツキが大きくなっているが、ドーム型スクリーン11を使用した3DDでは、被験者間の正答率のバラツキが小さくなっている。また、3DDでは、軽度の外れ値がなく、最小値も高い値となっている。なお、Pの値は0.77となった。
 「第2認識タスク」
 第2認識タスクは、図34に示すような模擬被検体を用いた。この第2認識タスクは、術者Pに対する対象物201の針形状部分201’の向きを正確に把握する訓練である。
 この第2認識タスクの結果として、図35に、2次元映像(2D)を使用した場合と上述のドーム型スクリーン11によって3次元映像(3D)を使用した場合との針形状部分201’の向きの正答率を示す。また、図36に、3次元映像を平面モニタに表示させた場合(3DP)とドーム型スクリーン11に表示させた場合(3DD)との針形状部分201’の向きの正答率を示す。なお、この訓練結果は、複数の術者Pによって第2認識タスクを行って取得したものである。
 図35を見ると、2次元映像を使用した場合と3次元映像を使用した場合とでは、大きな正答率の相違が確認できた。また、3次元映像を使用した場合には、そのバラツキが正答率90%以上でまとまっており、2次元映像を使用するよりも術者Pごとのばらつきが著しく小さくなる。更に、Pの値も0.0001となり大きな有意差が認められる。
 図36を見ると、平面のモニタを使用した3DPでは、被験者の正答率のバラツキが大きくなっているが、ドーム型スクリーン11を使用した3DDでは、被験者間の正答率のバラツキが小さくなっている。また、3DDでは、軽度の外れ値でも正答率が90%となっており、最小値も極めて高い値となっている。なお、Pの値は0.0003となった。
 この第2認識タスクにおいては、同じ立体映像を表示しても、平面のモニタよりも、ドーム型スクリーン11を用いることで、著しく高い効果が認められる。
 「第3認識タスク」
 第3認識タスクは、図37に示すような模擬被検体を用いた。この第3認識タスクは、術者Pに対して対象物201-1,201-2の距離D及び幅Aが異なり、且つ輪形状部分201’の大きさRが異なる場合の前後位置関係を正確に把握する訓練である。
 この第3認識タスクの結果として、図38に、2次元映像(2D)を使用した場合とドーム型スクリーン11によって3次元映像(3D)を使用した場合との輪形状部分201’の前後の正答率を示し、図39に、平面のモニタを使用した3DPとドーム型スクリーン11を使用した3DDとの正答率の結果を示す。
 図38を見ると、2次元映像を使用した場合と3次元映像を使用した場合とでは、正答率の相違が確認できた。また、3次元映像を使用した場合には、そのバラツキが正答率90%以上でまとまっており、2次元映像を使用するよりも術者Pごとのばらつきが著しく小さくなる。更に、Pの値も0.0002となり大きな有意差が認められる。
 図39を見ると、平面のモニタを使用した3DPよりも、ドーム型スクリーン11を使用した3DDの方がバラツキが小さく、正答率の平均値も高くなっている。なお、Pの値は0.0002となっており、第3認識タスクにおいては双方の結果に格段の相違が見受けられる。
 この第3認識タスクにおいては、同じ立体映像を表示しても、平面のモニタよりも、ドーム型スクリーン11を用いることで、著しく高い効果が認められる。
 なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
 本発明によれば、第1の視点位置より映像全体が観察可能且つ第2の視点位置から投影面中心が観察可能であり、又は、第1の視点位置及び第2の視点位置の双方から映像全体を観察することが可能な映像表示手段の形状としているので、当該第1の視点位置の術者、第2の視点位置の者から、常に鮮明な立体映像を見えるようにできる。

Claims (16)

  1.  第1の視点位置の第1の作業者によって患者の体腔内に挿入された手術器具が操作される手術現場において、患者体腔内の撮影対象の映像を取得する内視鏡システムであって、
     第2の視点位置の第2の作業者によって操作され、前記患者の体腔内に少なくとも一部が挿入されて当該患者の患部の映像を撮影する内視鏡装置と、
     前記内視鏡装置によって撮影された映像を表す映像光を投影する映像投影手段と、
     前記第1の作業者及び前記第2の作業者に対して凹面を向けた投影面形状を有し、前記映像投影手段によって映像光が前記投影面に投影される映像表示手段と、
     少なくとも前記第1の視点位置と前記映像表示手段との位置関係、前記投影面形状に基づいて、前記第1の視点位置から前記映像が前記投影面に歪みなく表示されるように前記映像投影手段に入力される映像信号に歪み補正処理を行う映像信号処理手段とを備え、
     前記映像表示手段は、前記凹面となっている開口面の中心を通り当該開口面に対して垂直な軸を第1軸とし、当該第1軸と投影面の交差する点を投影面中心とし、前記投影面中心から投影面の縁部を結んだ軸を第2軸とし、前記映像表示手段の球状の一部で構成された投影面の縁部の接線を第3軸とした場合に、前記第1軸と前記第3軸とのなす角度が前記第1の視点位置より映像全体を観察することが可能な角度となっており、且つ前記第1軸と前記第2軸とのなす角度が前記第2の視点位置より投影面中心を観察することが可能な角度となっていることを特徴とする内視鏡システム。
  2.  第1の視点位置の第1の作業者によって患者の体腔内に挿入された手術器具が操作される手術現場において、患者体腔内の撮影対象の映像を取得する内視鏡システムであって、
     第2の視点位置の第2の作業者によって操作され、前記患者の体腔内に少なくとも一部が挿入されて当該患者の患部の映像を撮影する内視鏡装置と、
     前記内視鏡装置によって撮影された映像を表す映像光を投影する映像投影手段と、
     前記第1の作業者及び前記第2の作業者に対して凹面を向けた投影面形状を有し、前記映像投影手段によって映像光が前記投影面に投影される映像表示手段と、
     少なくとも前記第1の視点位置と前記映像表示手段との位置関係、前記投影面形状に基づいて、前記第1の視点位置から前記映像が前記投影面に歪みなく表示されるように前記映像投影手段に入力される映像信号に歪み補正処理を行う映像信号処理手段とを備え、
     前記映像表示手段は、前記凹面となっている開口面の中心を通り当該開口面に対して垂直な軸を第1軸とし、当該第1軸と投影面の交差する点を投影面中心とし、前記投影面中心から投影面の縁部を結んだ軸を第2軸とし、前記映像表示手段の球状の一部で構成された投影面の縁部の接線を第3軸とした場合に、前記第1軸と前記第3軸とのなす角度が、前記第1の視点位置及び前記第2の視点位置の双方より映像全体を観察することが可能な角度となっていることを特徴とする内視鏡システム。
  3.  前記映像信号処理手段は、前記映像投影手段と前記第1の視点位置と前記映像表示手段との相対位置関係、前記投影面形状に基づいて、前記第1の視点位置から前記映像が前記投影面に歪みなく表示されるように前記映像投影手段に入力される映像信号に歪み補正処理を行うことを特徴とする請求項1又は請求項2に記載の内視鏡システム。
  4.  前記映像表示手段は、前記第1軸と前記第2軸とのなす角度を、11度乃至82度の範囲として構成されていることを特徴とする請求項1又は請求項3に記載の内視鏡システム。
  5.  前記映像表示手段は、前記第1軸と前記第3軸とのなす角度を、11度乃至73度の範囲として構成されていることを特徴とする請求項1乃至請求項3の何れか一項に記載の内視鏡システム。
  6.  前記映像投影手段は、前記内視鏡装置によって取得された映像信号を用いて、前記第1の作業者及び前記第2の作業者が装着する立体視用眼鏡で視認可能な立体映像を表す映像光を投影することを特徴とする請求項1乃至請求項5の何れか一項に記載の内視鏡システム。
  7.  前記内視鏡装置は、映像撮像範囲に対して照射光を出射して前記患部の組織状態を識別可能とする少なくとも光源及びフィルタを含む光源部を更に備えることを特徴とする請求項1乃至請求項6の何れか一項に記載の内視鏡システム。
  8.  前記患者の生体情報を取得する生体情報取得部を更に備え、
     前記映像投影手段は、前記患者の患部の映像に前記生体情報取得部によって取得された生体情報、術前・術中に取得した医療用画像を重畳させた映像光を投影することを特徴とする請求項1乃至請求項7の何れか一項に記載の内視鏡システム。
  9.  前記映像投影手段は、前記内視鏡装置によって取得された非立体映像信号と立体映像信号とを切り替え可能とし、前記映像表示手段に非立体映像又は立体映像を表示させることを特徴とする請求項1乃至請求項8の何れか一項に記載の内視鏡システム。
  10.  前記映像投影手段及び前記映像表示手段が一体に組み合わせられて一つの移動体を構成し、当該移動体を支持する土台部と、
     前記移動体を前記土台部に対して垂直に移動させる昇降手段と
     を備えることを特徴とする請求項1乃至請求項9の何れか一項に記載の内視鏡システム。
  11.  前記映像投影手段から投影された映像光を反射して前記映像表示手段の投影面に導く反射鏡を更に備え、
     前記土台部は、前記反射鏡を前記映像投影手段及び前記映像表示手段と一体に組み合わせられて一つの移動体を構成し、当該移動体を支持すること
     を特徴とする請求項10に記載の内視鏡システム。
  12.  垂直に移動させる垂直軸を中心として前記移動体を回動させる回動手段を備えることを特徴とする請求項10又は請求項11に記載の内視鏡システム。
  13.  前記土台部は、前記移動体を移動させるキャスター機構を備えることを特徴とする請求項1乃至請求項12の何れか一項に記載の内視鏡システム。
  14.  内視鏡手術を訓練させる内視鏡手術訓練システムであって、
     手術対象の患者の患部を簡易的に模擬したものであり、第1の視点位置の第1の作業者によって操作される手術器具が挿入される模擬被検体と、
     第2の視点位置の第2の作業者によって操作され、前記患者の体腔内に少なくとも一部が挿入されて当該患者の患部の映像を撮影する内視鏡装置と、
     前記内視鏡装置によって撮影された映像を表す映像光を投影する映像投影手段と、
     前記第1の作業者及び前記第2の作業者に対して凹面を向けた投影面形状を有し、前記映像投影手段によって映像光が前記投影面に投影される映像表示手段と、
     少なくとも前記第1の視点位置と前記映像表示手段との位置関係、前記投影面形状に基づいて、前記第1の視点位置から前記映像が前記投影面に歪みなく表示されるように前記映像投影手段に入力される映像信号に歪み補正処理を行う映像信号処理手段とを備え、
     前記映像表示手段は、前記凹面となっている開口面の中心を通り当該開口面に対して垂直な軸を第1軸とし、当該第1軸と投影面の交差する点を投影面中心とし、前記投影面中心から投影面の縁部を結んだ軸を第2軸とし、前記映像表示手段の球状の一部で構成された投影面の縁部の接線を第3軸とした場合に、前記第1軸と前記第3軸とのなす角度が前記第1の視点位置より映像全体を観察することが可能な角度となっており、且つ前記第1軸と前記第2軸とのなす角度が前記第2の視点位置より投影面中心を観察することが可能な角度となっていることを特徴とする内視鏡手術訓練システム。
  15.  第1の視点位置の第1の作業者によって患者の体腔内に挿入された手術器具が操作される手術現場において、患者体腔内の撮影対象の映像を取得する内視鏡手術訓練システムであって、
     第2の視点位置の第2の作業者によって操作され、前記患者の体腔内に少なくとも一部が挿入されて当該患者の患部の映像を撮影する内視鏡装置と、
     前記内視鏡装置によって撮影された映像を表す映像光を投影する映像投影手段と、
     前記第1の作業者及び前記第2の作業者に対して凹面を向けた投影面形状を有し、前記映像投影手段によって映像光が前記投影面に投影される映像表示手段と、
     少なくとも前記第1の視点位置と前記映像表示手段との位置関係、前記投影面形状に基づいて、前記第1の視点位置から前記映像が前記投影面に歪みなく表示されるように前記映像投影手段に入力される映像信号に歪み補正処理を行う映像信号処理手段とを備え、
     前記映像表示手段は、前記凹面となっている開口面の中心を通り当該開口面に対して垂直な軸を第1軸とし、当該第1軸と投影面の交差する点を投影面中心とし、前記投影面中心から投影面の縁部を結んだ軸を第2軸とし、前記映像表示手段の球状の一部で構成された投影面の縁部の接線を第3軸とした場合に、前記第1軸と前記第3軸とのなす角度が、前記第1の視点位置及び前記第2の視点位置の双方より映像全体を観察することが可能な角度となっていることを特徴とする内視鏡手術訓練システム。
  16.  前記映像信号処理手段は、前記映像投影手段と前記第1の視点位置と前記映像表示手段との相対位置関係、前記投影面形状に基づいて、前記第1の視点位置から前記映像が前記投影面に歪みなく表示されるように前記映像投影手段に入力される映像信号に歪み補正処理を行うことを特徴とする請求項14又は請求項15に記載の内視鏡システム。
PCT/JP2008/068973 2008-03-25 2008-10-20 内視鏡システム、内視鏡手術訓練システム WO2009118938A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/933,540 US20110015486A1 (en) 2008-03-25 2008-10-20 Endoscope system and endoscopic operation training system
EP08873544A EP2260753A4 (en) 2008-03-25 2008-10-20 ENDOSCOPY SYSTEM AND DRIVE SYSTEM FOR ENDOSCOPIC OPERATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008079193 2008-03-25
JP2008-079193 2008-03-25

Publications (1)

Publication Number Publication Date
WO2009118938A1 true WO2009118938A1 (ja) 2009-10-01

Family

ID=41113162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/068973 WO2009118938A1 (ja) 2008-03-25 2008-10-20 内視鏡システム、内視鏡手術訓練システム

Country Status (4)

Country Link
US (1) US20110015486A1 (ja)
EP (1) EP2260753A4 (ja)
JP (1) JP2009254783A (ja)
WO (1) WO2009118938A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226204A (ja) * 2011-04-21 2012-11-15 Panasonic Corp 手術用映像表示装置
KR101890927B1 (ko) * 2011-06-28 2018-09-28 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
JP5931528B2 (ja) * 2012-03-21 2016-06-08 オリンパス株式会社 手術用映像システムおよび手術用映像システムの作動方法
CN103456220B (zh) * 2012-06-01 2016-01-20 苏州敏行医学信息技术有限公司 基于腹腔镜手术模拟系统的钛夹钳夹闭训练方法及系统
CH706805A1 (de) 2012-08-06 2014-02-14 Haag Ag Streit Augenuntersuchungsgerät.
KR20160026298A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 자기 공명 영상 장치, 그 제어 방법, 및 자기 공명 영상 장치용 헤드 코일
WO2017104320A1 (ja) 2015-12-16 2017-06-22 ソニー株式会社 画像表示装置
US10810907B2 (en) 2016-12-19 2020-10-20 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
WO2019244345A1 (ja) * 2018-06-22 2019-12-26 オリンパス株式会社 ランドマーク推定方法、及び、内視鏡装置
CN109431501B (zh) * 2018-12-14 2021-07-20 武汉智普天创科技有限公司 头戴式脑电波检测仪
TWI738124B (zh) * 2019-11-22 2021-09-01 香港商女媧創造股份有限公司 具有可移動機構的非平面內投影的機器人系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000512027A (ja) * 1996-05-21 2000-09-12 スィムラブ・コーポレーション 反射映像型ビデオ内視鏡を利用した外科用訓練器具
JP2003522977A (ja) * 2000-02-08 2003-07-29 エリュメンス・コーポレイション ビジュアルワークステーション、ビジュアル表示システムおよび画像表示方法
JP2008015470A (ja) 2006-06-08 2008-01-24 Matsushita Electric Works Ltd 映像表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0716238A (ja) * 1993-06-30 1995-01-20 Sony Corp 保持装置
JP3796635B2 (ja) * 1996-03-06 2006-07-12 富士写真フイルム株式会社 蛍光検出装置
US5797838A (en) * 1996-09-13 1998-08-25 Colin Corporation Physical-information-image displaying apparatus
JPH10248807A (ja) * 1997-03-13 1998-09-22 Olympus Optical Co Ltd 内視鏡装置
JP4832679B2 (ja) * 2001-09-11 2011-12-07 オリンパス株式会社 顕微鏡システム
JP4436638B2 (ja) * 2002-08-30 2010-03-24 オリンパス株式会社 内視鏡装置及び内視鏡挿入動作プログラム
JP4460857B2 (ja) * 2003-06-23 2010-05-12 オリンパス株式会社 外科手術用システム
KR100681233B1 (ko) * 2004-10-28 2007-02-09 김재황 복강경수술 모니터장치 및 디스플레이 방법
KR101088742B1 (ko) * 2006-06-08 2011-12-01 파나소닉 전공 주식회사 영상 표시 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000512027A (ja) * 1996-05-21 2000-09-12 スィムラブ・コーポレーション 反射映像型ビデオ内視鏡を利用した外科用訓練器具
JP2003522977A (ja) * 2000-02-08 2003-07-29 エリュメンス・コーポレイション ビジュアルワークステーション、ビジュアル表示システムおよび画像表示方法
JP2008015470A (ja) 2006-06-08 2008-01-24 Matsushita Electric Works Ltd 映像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2260753A4

Also Published As

Publication number Publication date
EP2260753A1 (en) 2010-12-15
JP2009254783A (ja) 2009-11-05
EP2260753A4 (en) 2012-04-11
US20110015486A1 (en) 2011-01-20

Similar Documents

Publication Publication Date Title
WO2009118938A1 (ja) 内視鏡システム、内視鏡手術訓練システム
CN113243990B (zh) 手术系统
CN110087574B (zh) 具有增强现实显示的手术系统
TWI734106B (zh) 立體視覺化攝影機及整合機器人平台
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
CN113259584B (zh) 摄像机跟踪系统
JP7216768B2 (ja) 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
US20220241013A1 (en) Quantitative three-dimensional visualization of instruments in a field of view
JP2009236963A (ja) 内視鏡手術用トレーニング装置、内視鏡手術用技能評価方法
JP2017518148A (ja) マルチポートの視点からの手術シーンの定量的な3次元イメージング
US20230126611A1 (en) Information processing apparatus, information processing system, and information processing method
CN113768621B (zh) 用于手术期间的计算机辅助导航的摄像机跟踪系统
JP2021171657A (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
US20150301439A1 (en) Imaging Projection System
US10769471B2 (en) System and method for holding an image display apparatus
US11102424B2 (en) Medical observation apparatus and medical observation system
WO2020075773A1 (en) A system, method and computer program for verifying features of a scene
US20230363830A1 (en) Auto-navigating digital surgical microscope
US11026560B2 (en) Medical display control apparatus and display control method
JP2012226204A (ja) 手術用映像表示装置
CN118434379A (zh) 集成手术导航和可视化系统及其方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08873544

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12933540

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2008873544

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE