WO2014155815A1 - 立体内視鏡システム - Google Patents

立体内視鏡システム Download PDF

Info

Publication number
WO2014155815A1
WO2014155815A1 PCT/JP2013/080504 JP2013080504W WO2014155815A1 WO 2014155815 A1 WO2014155815 A1 WO 2014155815A1 JP 2013080504 W JP2013080504 W JP 2013080504W WO 2014155815 A1 WO2014155815 A1 WO 2014155815A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereoscopic
unit
eye
image
horizontal position
Prior art date
Application number
PCT/JP2013/080504
Other languages
English (en)
French (fr)
Inventor
工藤　正宏
博紀 櫻井
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2014544286A priority Critical patent/JP5771754B2/ja
Priority to CN201380073806.7A priority patent/CN105009581B/zh
Priority to EP13879902.8A priority patent/EP2945375A4/en
Priority to US14/504,054 priority patent/US9408528B2/en
Publication of WO2014155815A1 publication Critical patent/WO2014155815A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a stereoscopic endoscope system, and more particularly, to a stereoscopic endoscope system that displays stereoscopic images.
  • endoscopes have been widely used in the medical field and the like.
  • a small hole for inserting an endoscope is formed to treat an affected part or the like in a body cavity of a patient, and endoscopic surgery is performed under observation of the endoscope.
  • endoscopic operations for example, in an endoscopic operation on the chest, the surgeon and the assistant are operated to face each other.
  • an image that is vertically and horizontally reversed may be required as described below with reference to FIG.
  • FIG. 12 is a diagram for explaining an example of the layout of the endoscopic surgery of the chest.
  • an operator 100 and an assistant 101 face each other with the patient 102 in between.
  • An endoscope 103 is inserted into the body cavity of the patient 102, and an endoscopic image captured by the endoscope 103 is displayed on the operator monitor 104 and the assistant monitor 105.
  • the endoscope 103 is inserted into the body cavity of the patient 102 in a direction that matches the visual field direction of the operator 100. Therefore, the up / down / left / right directions of the endoscopic image observed by the operator 100 on the operator's monitor 104 coincide with the up / down / left / right directions of the forceps 106 and 107 actually operated by the operator 100.
  • the forceps 106 operated by the operator 100 with the right hand is positioned on the lower right side in the screen 104 a of the operator monitor 104, and the forceps 107 operated by the operator 100 with the left hand is operated on the operator monitor 104. It is located on the lower left side in the screen 104a. Thereby, the forceps 106 and 107 in the screen 104a of the surgeon monitor 104 move in the same direction as the direction in which the surgeon 100 operates with the right hand and the left hand.
  • the assistant 101 faces the operator 100, the vertical and horizontal directions of the forceps viewed from the assistant 101 in the space in the body cavity are opposite to the vertical and horizontal directions of the forceps viewed from the operator 100.
  • the endoscopic image displayed on the assistant monitor 105 is the same as the endoscopic image displayed on the operator monitor 104, it is the same as the vertical and horizontal directions seen from the operator 100.
  • the forceps 108 operated by the assistant 101 with the right hand is positioned on the upper left side in the screen 105 a of the assistant monitor 105, and the forceps 109 operated by the assistant 101 with the left hand is located on the upper right side in the screen 105 a of the assistant monitor 105. Located on the side.
  • the forceps 108 and 109 in the screen 105a of the assistant monitor 105 move in the opposite directions up, down, left and right as the assistant 101 operates with the right hand and the left hand.
  • the assistant 101 is required to operate the forceps 108 and 109 in the opposite direction to the actual operation feeling so that the positions of the forceps 108 and 109 in the screen 105a of the assistant monitor 105 are appropriate. Since such an operation is extremely inoperable for the assistant 101, in the surgical layout shown in FIG. 12, in order to improve the operability of the assistant 101, a vertically and horizontally inverted image is displayed. It is necessary to display on the assistant monitor 105.
  • Japanese Patent Laid-Open No. 2001-272760 discloses a surgical microscope system that displays an image displayed on an operator's monitor on an assistant's monitor by inverting the image vertically and horizontally.
  • This stereoscopic endoscope system includes a stereoscopic endoscope and a stereoscopic monitor.
  • the stereoscopic endoscope captures two endoscopic images having parallax for the right eye and the left eye, and the stereoscopic monitor captures the video signals for the right eye and the left eye captured by the stereoscopic endoscope of the corresponding observer. Allow observation with only the right and left eyes.
  • the observer can grasp the depth information, the front-rear relationship of the tissue in the body cavity and the treatment tool taken by the stereoscopic endoscope can be visually confirmed, and the operability of the treatment tool and the like is improved. improves.
  • an object of the present invention is to provide a stereoscopic endoscope system capable of observing an accurate stereoscopic image even when the stereoscopic image is inverted vertically and horizontally.
  • a stereoscopic endoscope system includes a stereoscopic endoscope that acquires left and right imaging signals, and a predetermined video signal process performed on the left and right imaging signals acquired by the stereoscopic endoscope.
  • a stereoscopic monitor that displays a stereoscopic video in accordance with the left and right video signals; a movement amount detection unit that is provided in the stereoscopic monitor and detects a right and left parallax amount of the input left and right video signals and depth information; and A horizontal position moving unit that is provided in the stereoscopic monitor and moves the horizontal positions of the left and right video signals by the amount of parallax in a direction determined according to the depth information; and the horizontal position that is provided in the stereoscopic monitor.
  • An up / down / left / right reversing unit that inverts the left / right video signal whose horizontal position has been moved by a moving unit, and the left / right video that is provided on the stereoscopic monitor and is inverted up / down / left / right by the up / down / left / right reversing unit. Having a three-dimensional signal synthesizing unit for generating a stereoscopic image signal by combining the items.
  • FIG. 6 is a diagram for explaining an external configuration of a stereoscopic monitor 4.
  • 4 is a diagram for explaining a detailed configuration of a stereoscopic monitor 4.
  • FIG. It is a figure for demonstrating the synthetic
  • FIG. It is a figure for demonstrating the detailed structure of the stereo signal up-down / left-right inversion part 22.
  • FIG. 6 is a diagram for explaining a configuration of a horizontal position moving unit 32.
  • FIG. 6 is a diagram for explaining a configuration of a horizontal position moving unit 32.
  • FIG. 4 is a diagram for explaining a detailed configuration of a movement amount detection unit 31.
  • FIG. It is a figure for demonstrating the calculation process of the movement amount in the movement amount detection part.
  • FIG. 10 is a flowchart illustrating an example of up / down / left / right reversal processing in the stereoscopic monitor 4; It is a figure for demonstrating the detailed structure of the stereo monitor 4a. It is a figure for demonstrating the example of the layout of the endoscopic surgery of a chest.
  • FIG. 1 is a configuration diagram showing the configuration of the stereoscopic endoscope system according to the first embodiment of the present invention.
  • a stereoscopic endoscope system 1 includes a stereoscopic endoscope 2 that captures an image of a subject inside a living body and outputs imaging signals for left and right eyes, and a right-eye imaging signal for a right eye.
  • a right-eye endoscope processor 3a that converts and outputs a left-eye image signal
  • a left-eye endoscope processor 3b that converts a left-eye imaging signal into a left-eye image signal, and outputs the left-eye image signal.
  • a stereoscopic monitor 4 for generating and displaying a stereoscopic video from the video signal.
  • the right-eye endoscope processor 3a and the left-eye endoscope processor 3b may be integrated endoscope processors.
  • the stereoscopic endoscope 2 has an insertion portion 5 that can be inserted into a living body.
  • a right-eye image sensor 6a and a left-eye image sensor 6b are provided at the distal end of the insertion portion 5, for example, two image sensors such as a CCD, in the present embodiment, a right-eye image sensor 6a and a left-eye image sensor 6b are provided.
  • the stereoscopic endoscope 2 acquires a right-eye imaging signal and a left-eye imaging signal (left and right imaging signals) by the right-eye imaging element 6a and the left-eye imaging element 6b.
  • the right-eye imaging signal captured by the right-eye imaging device 6a is input to the right-eye endoscope processor 3a
  • the left-eye imaging signal captured by the left-eye imaging device 6b is the left-eye endoscope. Input to the processor 3b.
  • the right-eye endoscope processor 3a includes an A / D circuit 11a, a white balance (hereinafter abbreviated as W / B) circuit 12a, an enhancement circuit 13a, and a post-processing circuit 14a.
  • the A / D circuit 11a converts the image signal for the right eye output from the image sensor 6a for the right eye from an analog signal to a digital signal, and outputs it to the W / B circuit 12a.
  • the W / B circuit 12a performs white color correction processing on the output signal output from the A / D circuit 11a and outputs the result to the enhancement circuit 13a.
  • the enhancement circuit 13a performs contour enhancement processing for enhancing the contour of the subject on the output signal output from the W / B circuit 12a, and outputs the result to the post-processing circuit 14a.
  • the post-processing circuit 14a converts the output signal output from the enhancement circuit 13a into a video signal such as SDI (Serial Digital Interface) or DVI (Digital Visual Interface), and generates a video signal for the right eye.
  • SDI Serial Digital Interface
  • DVI Digital Visual Interface
  • the left-eye endoscope processor 3b has the same configuration as the right-eye endoscope processor 3a, and includes an A / D circuit 11b, a W / B circuit 12b, an enhancement circuit 13b, and a post-processing circuit 14b. Configured.
  • the image signal for the left eye output from the image sensor 6b for the left eye is processed by the A / D circuit 11b, the W / B circuit 12b, the enhancement circuit 13b, and the post-processing circuit 14b.
  • a signal is generated.
  • the right-eye and left-eye video signals generated in this way are input to the stereoscopic monitor 4.
  • the stereoscopic monitor 4 displays a stereoscopic image corresponding to the right-eye and left-eye video signals subjected to predetermined video signal processing in this way.
  • FIG. 2 is a diagram for explaining the external configuration of the stereoscopic monitor 4.
  • the stereoscopic monitor 4 includes a stereoscopic display panel 25 (see FIG. 3 described later).
  • polarizing plates 15 and 16 having different polarization directions are pasted for each line, and a left-eye image and a right-eye image are assigned and displayed for each line.
  • the observer wears the polarizing glasses 17 that match the polarization directions of the polarizing plates 15 and 16 attached to the stereoscopic display panel 25 of the stereoscopic monitor 4 so that the image obtained by the stereoscopic endoscope 2 is converted into a stereoscopic image. Can be observed.
  • FIG. 3 is a diagram for explaining a detailed configuration of the stereoscopic monitor 4.
  • the stereoscopic monitor 4 includes a front switch 20, a selector 21, a stereoscopic signal up / down / left / right reversing unit 22, a selector 23, a stereoscopic signal combining unit 24, and a stereoscopic display panel 25. It is configured.
  • the front switch 20 is provided with an up / down / left / right inversion switch 20a for switching whether to invert the up / down / left / right of the video signal for the right eye and the left eye.
  • an up / down / left / right inversion switch 20a for switching whether to invert the up / down / left / right of the video signal for the right eye and the left eye.
  • the normal processing path does not perform the up / down / left / right reversing processing.
  • the selector 21 switches so as to output the video signal for the right eye and the left eye to the selector 23.
  • the selector 23 switches so as to output the right-eye and left-eye video signals output from the selector 21 to the stereoscopic signal synthesis unit 24.
  • the up / down / left / right reversing switch 20a when the up / down / left / right reversing switch 20a is ON, it becomes a processing path for performing up / down / left / right reversing processing.
  • the selector 21 switches so as to output the video signal for the right eye and the left eye to the stereoscopic signal up / down / left / right inversion unit 22.
  • the selector 23 performs switching so that the right-eye and left-eye video signals that have been subjected to the up / down / left / right inversion processing by the stereo signal up / down / left / right inversion unit 22 are output to the stereo signal synthesis unit 24.
  • the configuration of the three-dimensional signal up / down / left / right reversing unit 22 will be described later.
  • the right and left eye video signals that have not been subjected to the up / down / left / right reversal processing, or have been subjected to the up / down / left / right reversal processing are input to the stereoscopic signal synthesis unit 24.
  • the stereoscopic signal synthesis unit 24 synthesizes the input right-eye and left-eye video signals to generate a stereoscopic video signal and outputs it to the stereoscopic display panel 25.
  • the synthesis processing in the three-dimensional signal synthesis unit 24 will be described with reference to FIG.
  • FIG. 4 is a diagram for explaining the synthesis process by the three-dimensional signal synthesis unit 24.
  • the stereo signal synthesizer 24 converts the line-by-line format video signal, that is, the input video signal 26 for the right eye and video signal 27 for the left eye into the left eye for each line. Are combined with signals that are sequentially switched for the right eye and the right eye, and a combined signal 28 is generated.
  • the three-dimensional signal synthesizer 24 generates a line L1 for the video signal 27 for the left eye, a line R2 for the video signal 26 for the right eye, a line L3 for the video signal 27 for the left eye,.
  • a composite signal 28 is generated which becomes the line R1080 of the signal 26.
  • the synthesized composite signal 28 is output to the stereoscopic display panel 25 to which the polarizing plates 15 and 16 having different polarization directions are attached for each line and displayed on the stereoscopic display panel 25.
  • FIG. 4 shows a case where both the right-eye video signal and the left-eye video signal are progressive signals, but in the case of an interlaced signal, both the right-eye video signal and the left-eye video signal have half the number of vertical lines. Is synthesized.
  • FIG. 5 is a diagram for explaining a detailed configuration of the three-dimensional signal up / down / left / right reversing unit 22.
  • the stereoscopic signal up / down / left / right reversing unit 22 includes a movement amount detection unit 31, a horizontal position moving unit 32, and an up / down / left / right reversing unit 33.
  • the horizontal position moving unit 32 includes a right image moving unit 32a and a left image moving unit 32b.
  • the up / down / left / right reversing unit 33 includes a right image up / down / left / right reversing unit 33a and a left image up / down / left / right reversing unit 33b.
  • the video signal for the right eye and the left eye is input to the movement amount detection unit 31.
  • the movement amount detection unit 31 detects the amount of parallax between the left and right video signals and the depth information by analyzing the input video signal for the right eye and the video signal for the left eye.
  • the movement amount detection unit 31 detects the movement amount and the movement direction of the right-eye video signal and the left-eye video signal according to the detected parallax amount and depth information, and moves the right image of the horizontal position movement unit 32. To the unit 32a and the left image moving unit 32b. The detailed configuration of the movement amount detection unit 31 will be described later.
  • the right image moving unit 32a of the horizontal position moving unit 32 receives the moving amount and moving direction of the video signal for the right eye from the moving amount detecting unit 31, and the video signal for the right eye.
  • the right image moving unit 32a moves the right-eye video signal input in the detected moving direction in the horizontal direction by the moving amount of the right-eye video signal detected by the moving amount detecting unit 31.
  • the video signal for the right eye whose horizontal position has been moved is input to the right image up / down / left / right inversion unit 33a of the up / down / left / right inversion unit 33.
  • the left image moving unit 32b of the horizontal position moving unit 32 receives the moving amount and moving direction of the video signal for the left eye from the moving amount detecting unit 31, and the video signal for the left eye.
  • the left image moving unit 32b moves the left-eye video signal input in the detected movement direction in the horizontal direction by the amount of movement of the left-eye video signal detected by the movement amount detection unit 31.
  • the video signal for the left eye whose horizontal position has been moved is input to the left image up / down / left / right inversion unit 33b of the up / down / left / right inversion unit 33.
  • the right image up / down / left / right inversion unit 33a and the left image up / down / left / right inversion unit 33b invert the right-eye video signal and the left-eye video signal whose horizontal position has been moved up and down, left and right, respectively, and three-dimensional signal synthesis via the selector 23. To the unit 24.
  • FIGS. 6A and 6B are diagrams for explaining the configuration of the horizontal position moving unit 32
  • FIGS. 7A and 7B are diagrams for explaining the configuration of the up / down / left / right reversing unit 33.
  • FIG. 6A and 6B are diagrams for explaining the configuration of the horizontal position moving unit 32
  • FIGS. 7A and 7B are diagrams for explaining the configuration of the up / down / left / right reversing unit 33.
  • the horizontal position moving unit 32 is a memory circuit capable of storing data for one line, here, data for 1920 pixels.
  • the horizontal position moving unit 32 moves the horizontal position by changing the reading position of the data stored in this way.
  • the horizontal position moving unit 32 moves the horizontal position to the left by 3 pixels by changing the reading position so as to read from the fourth pixel.
  • the up / down / left / right reversing unit 33 is a memory circuit capable of storing data for one frame, here, data for 1920 pixels ⁇ 1080 lines.
  • the up / down / left / right inversion unit 33 performs up / down / left / right inversion by changing the reading order of the stored data.
  • the up / down / left / right reversing unit 33 reads out stored data such as 1080 lines of 1920 pixels, 1080 lines of 1919 pixels,..., 1 line of 1 pixel. By changing the order, upside down, left and right are reversed.
  • the horizontal position moving unit 32 and the up / down / left / right reversing unit 33 change the reading position and reading order of the data once stored, thereby moving the horizontal position and reversing up / down / left / right. Is not to be done.
  • the horizontal position moving unit 32 and the up / down / left / right reversing unit 33 change the storage position, thereby moving the horizontal position and reversing up / down / left / right.
  • this data to be stored in one pixel of one line in FIG. 7A this data is stored in 1920 pixels of 1080 lines.
  • this data is stored in 1,919 pixels of 1080 lines.
  • FIG. 8 is a diagram for explaining a detailed configuration of the movement amount detection unit 31.
  • the movement amount detection unit 31 includes a corresponding point detection unit 34 and a horizontal position movement amount calculation unit 35.
  • the corresponding point detection unit 34 identifies the same subject included in each of the input video signal for the right eye and the video signal for the left eye by image recognition based on the color and shape, and includes the right eye image and the left eye image. The position of the subject is detected. The corresponding point detection unit 34 outputs the detected position information of the subject to the horizontal position movement amount calculation unit 35.
  • the horizontal position movement amount calculation unit 35 uses the position information of the subject output from the corresponding point detection unit 34 to calculate the movement amount of the horizontal position of the right eye image and the left eye image. Specifically, the horizontal position movement amount calculation unit 35 calculates the parallax (deviation) between the right-eye image and the left-eye image based on the position of the subject in the right-eye image and the left-eye image output from the corresponding point detection unit 34. And depth information (in front of or behind the screen), and based on the detection result, the horizontal position movement amount of each of the right eye image and the left eye image is calculated.
  • the depth information is at the back of the screen, and the subject position of the left-eye image is on the right side of the subject position of the right-eye image.
  • the depth information is in front of the screen.
  • FIGS. 9A and 9B are diagrams for explaining the movement amount calculation processing in the movement amount detection unit 31.
  • the dotted line in FIG. 9A is the forceps 36 for the right-eye image
  • the solid line in FIG. 9A is the forceps 37 for the left-eye image.
  • the corresponding point detection unit 34 detects the position information of the subject from the color and shape of the forceps 36 for the right eye image and the forceps 37 for the left eye image.
  • the horizontal position movement amount calculation unit 35 detects the parallax d from the position information of the forceps 36 for the right eye image and the forceps 37 for the left eye image.
  • the depth information is at the back of the screen because the position of the forceps 37 in the left-eye image is on the left side of the forceps 36 in the right-eye image.
  • the positions of the forceps 36 of the right-eye image and the forceps 37 of the left-eye image are switched as shown in FIG. 9B.
  • the horizontal positions of the right-eye image and the left-eye image are moved. Specifically, the amount of movement of the horizontal position is only the parallax d in the right direction for the image for the left eye, and only the parallax d in the left direction for the image for the right eye.
  • the amount of movement of the horizontal position is only the parallax d in the left direction for the left-eye image and only the parallax d in the right direction for the right-eye image.
  • the horizontal position movement amount calculation unit 35 calculates the movement amount and movement direction in the horizontal direction with respect to the right-eye image and the left-eye image in this way, and outputs them to the horizontal position movement unit 32.
  • the horizontal positions of the right-eye image and the left-eye image are moved based on the horizontal movement amount and movement direction detected by the movement amount detection unit 31.
  • the right-eye image and the left-eye image whose horizontal position has been moved are inverted by the up-down / left-right inversion unit 33 to obtain the right-eye image and the left-eye image whose depth information is not changed. Become.
  • FIG. 10 is a flowchart illustrating an example of the up / down / left / right reversal processing in the stereoscopic monitor 4.
  • step S2 it is determined whether the up / down / left / right reversing switch 20a is ON or OFF (step S2).
  • the selectors 21 and 23 operate so that the video signal is input to the stereoscopic signal synthesis unit 24 (step S2).
  • the selector 21 operates so that the video signal is input to the stereo signal up / down / left / right reversing unit 22 (step S3).
  • the selector 23 operates so that the output from the three-dimensional signal up / down / left / right inversion unit 22 is input to the three-dimensional signal synthesis unit 24.
  • the corresponding point detection unit 34 detects the corresponding points of the left and right images, thereby detecting the parallax (deviation) of the left and right images and depth information (in front of or behind the screen) (step S4). It is determined whether it is in front of the screen (step S5). If the depth information is determined to be in front of the screen, the result is YES, and the horizontal position movement amount calculation unit 35 generates a control signal for moving the left image in the left direction, the right image in the right direction, and the horizontal direction by the detected amount of parallax. Output (step S6).
  • step S7 if the depth information is not in front of the screen, that is, if it is determined that it is the back of the screen, NO is determined, and the left image is moved to the right, the right image is moved to the left, and the control signal is moved in the horizontal direction by the detected amount of parallax. Is output by the horizontal position movement amount calculation unit 35 (step S7).
  • the right image moving unit 32a and the left image moving unit 32b receive the control signal, shift the right image and the left image in the horizontal direction (step S8), and the right image up / down / left / right inversion unit 33a and the left image up / down / left / right inversion.
  • the unit 33b performs up / down / left / right inversion processing of the right image and the left image (step S9).
  • the left and right images are combined with the data for stereoscopic display by the stereoscopic signal combining unit 24 (step S10), and the process ends.
  • the stereoscopic endoscope system 1 detects the parallax and depth information between the video signal for the right eye and the video signal for the left eye, and based on the detected parallax and depth information, the video signal for the right eye and Move the horizontal position of the video signal for the left eye. After that, the stereoscopic endoscope system 1 is configured to invert the top, bottom, left, and right of the video signal for the right eye and the video signal for the left eye that have moved in the horizontal position. As a result, the stereoscopic endoscope system 1 does not reverse the depth information as when the video signal for the right eye and the video signal for the left eye are simply inverted up and down, and displays an accurate stereoscopic image. can do.
  • an accurate stereoscopic image can be observed even when the stereoscopic image is flipped up and down and left and right.
  • the second embodiment is configured by using a stereoscopic monitor 4a instead of the stereoscopic monitor 4 of the stereoscopic endoscope system 1 of the first embodiment.
  • FIG. 11 is a diagram for explaining a detailed configuration of the stereoscopic monitor 4a.
  • the same components as those in FIG. 3 are denoted by the same reference numerals and description thereof is omitted.
  • the stereoscopic monitor 4 a is configured by adding a distributor 41, a stereoscopic video signal generation unit 42, and a signal output unit 43 to the stereoscopic monitor 4 of FIG. 3.
  • An external device such as a stereoscopic monitor or a recording device is connected to the signal output unit 43.
  • the distributor 41, the stereoscopic video signal generation unit 42, and the signal output unit 43 are configured so that the stereoscopic video displayed on the stereoscopic monitor 4 a is the same as the displayed stereoscopic video and the stereoscopic device to which the connected external device corresponds.
  • This is a signal processing system for outputting in accordance with the video format.
  • the distributor 41 is provided in front of the stereoscopic display panel 25 and distributes the same output signal output from the stereoscopic signal synthesis unit 24 to two systems, that is, the stereoscopic display panel 25 and the stereoscopic video signal generation unit 42. Output. In this way, by distributing the signal displayed immediately before the stereoscopic display panel 25 by the distributor 41, a stereoscopic image in a state in which the image quality adjustment and the position adjustment added in the signal processing before distribution are added. It can be taken out.
  • the stereoscopic video signal generation unit 42 as the conversion unit converts the distributed stereoscopic image so as to match the stereoscopic video format of the external device, and outputs it to the signal output unit 43.
  • the stereoscopic video signal generation unit 42 converts to a signal of a side-by-side format or a field sequential format that is a stereoscopic video format, for example, in accordance with the stereoscopic video format of the external device, and outputs the signal to the signal output unit 43. Output.
  • the signal output unit 43 converts the converted signal into a video output signal such as SDI or DVI and outputs it to an external device.
  • the stereoscopic endoscope system 1 displays the same stereoscopic video as the stereoscopic video displayed on the stereoscopic monitor 4a when the stereoscopic video format is different from the stereoscopic video format of the stereoscopic monitor 4a. Or it can be recorded.

Abstract

　立体内視鏡システム１は、左右の撮像信号を取得する立体内視鏡２と、立体内視鏡２で取得された左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタ４と、入力された左右の映像信号の左右の視差量を及び奥行き情報を検出する移動量検出部３１と、左右の映像信号の水平位置を視差量だけ、奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部３２と、水平位置移動部で水平位置を移動された左右の映像信号の上下左右を反転させる上下左右反転部３３と、上下左右反転部で上下左右を反転された左右の映像信号を合成して立体映像信号を生成する立体信号合成部２４と、を有する。

Description

立体内視鏡システム
　本発明は、立体内視鏡システムに関し、特に、立体映像を表示する立体内視鏡システムに関する。
　従来、内視鏡は医療分野等において広く用いられるようになっている。また、患者の体腔内の患部等を処置するために内視鏡を挿入するための小さな孔を形成し、内視鏡の観察下で内視鏡手術が行われる場合がある。このような内視鏡手術のうち、例えば胸部の内視鏡手術等では、術者と助手とが対向して手術を行う。術者と助手とが対向して内視鏡手術を行うような場合、以下の図１２で説明するように、上下左右を反転した映像が必要となる場合がある。
　図１２は、胸部の内視鏡手術のレイアウトの例を説明するための図である。図１２に示すように、術者１００と助手１０１とは、胸部の内視鏡手術を行う場合、患者１０２を挟んで対向して手術を行う。患者１０２の体腔内には、内視鏡１０３が挿入されており、内視鏡１０３で撮像された内視鏡像が術者用モニタ１０４及び助手用モニタ１０５に表示される。
　内視鏡１０３は、術者１００の視野方向と合致する方向で患者１０２の体腔内に挿入されている。そのため、術者１００が術者用モニタ１０４で観察する内視鏡像の上下左右方向は、実際に術者１００が操作する鉗子１０６及び１０７の上下左右方向と一致している。この結果、術者１００が右手で操作する鉗子１０６は、術者用モニタ１０４の画面１０４ａ内の右下側に位置し、術者１００が左手で操作する鉗子１０７は、術者用モニタ１０４の画面１０４ａ内の左下側に位置する。これにより、術者用モニタ１０４の画面１０４ａ内の鉗子１０６及び１０７は、術者１００が右手及び左手で操作する方向と同じ方向に動くことになる。
　一方、助手１０１は、術者１００と対向しているため、体腔内の空間において助手１０１から見た鉗子の上下左右方向は、術者１００から見た鉗子の上下左右方向とは反対になる。しかしながら、助手用モニタ１０５に表示される内視鏡像は、術者用モニタ１０４に表示される内視鏡像と同じため、術者１００から見た上下左右方向と同じである。この結果、助手１０１が右手で操作する鉗子１０８は、助手用モニタ１０５の画面１０５ａ内の左上側に位置し、助手１０１が左手で操作する鉗子１０９は、助手用モニタ１０５の画面１０５ａ内の右上側に位置する。これにより、助手用モニタ１０５の画面１０５ａ内の鉗子１０８及び１０９は、助手１０１が右手及び左手で操作するのと上下左右反対方向に動くことになる。
　助手１０１は、助手用モニタ１０５の画面１０５ａ内の鉗子１０８及び１０９の位置が適切になるように、実際の操作感覚とは上下左右反対方向に鉗子１０８及び１０９を操作することが必要となる。このような操作をすることは、助手１０１にとっては極めて操作性の悪いことであるため、図１２に示す手術レイアウトにおいては、助手１０１の操作性を向上させるために、上下左右の反転した映像を助手用モニタ１０５に表示することが必要となる。
　そのため、例えば、特開２００１－２７２７６０号公報には、術者用のモニタに表示される画像を、上下左右を反転して助手用のモニタに表示する手術用顕微鏡システムが開示されている。
　ところで、近年、奥行き情報を有する立体映像を観察者（術者や助手）に提示することができる立体内視鏡システムが開発されている。この立体内視鏡システムは、立体内視鏡と立体モニタとを有して構成されている。立体内視鏡は、右目用及び左目用に視差を有する２つの内視鏡像を撮像し、立体モニタは、立体内視鏡で撮像した右目用及び左目用の映像信号を、対応する観察者の右目及び左目のみで観察可能にする。これにより、観察者は、奥行き情報を把握することができるため、立体内視鏡で撮像された体腔内の組織や処置具等の前後関係を視認することができ、処置具等の操作性が向上する。
　このような立体内視鏡システムを図１２に示す胸部の内視鏡手術のレイアウトに適用する場合も、助手用モニタに上下左右を反転した立体映像を表示することで、助手の操作性を向上させることができるはずである。
　しかしながら、立体内視鏡システムを図１２に示す胸部の内視鏡手術のレイアウトに適用する場合、単純に立体映像の上下左右を反転すると、左右反転を行った際に奥行き情報が逆転してしまい、助手用モニタには正確な立体映像が表示できなくなるという問題がある。
　そこで、本発明は、立体映像を上下左右反転した場合でも、正確な立体映像を観察することができる立体内視鏡システムを提供することを目的とする。
　本発明の一態様の立体内視鏡システムは、左右の撮像信号を取得する立体内視鏡と、前記立体内視鏡で取得された前記左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタと、前記立体モニタに設けられ、入力された前記左右の映像信号の左右の視差量を及び奥行き情報を検出する移動量検出部と、前記立体モニタに設けられ、前記左右の映像信号の水平位置を前記視差量だけ、前記奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部と、前記立体モニタに設けられ、前記水平位置移動部で水平位置を移動された前記左右の映像信号の上下左右を反転させる上下左右反転部と、前記立体モニタに設けられ、前記上下左右反転部で上下左右を反転された前記左右の映像信号を合成して立体映像信号を生成する立体信号合成部と、を有する。
本発明の第１の形態に係る立体内視鏡システムの構成を示す構成図である。 立体モニタ４の外観構成を説明するための図である。 立体モニタ４の詳細な構成を説明するための図である。 立体信号合成部２４による合成処理を説明するための図である。 立体信号上下左右反転部２２の詳細な構成について説明するための図である。 水平位置移動部３２の構成について説明するための図である。 水平位置移動部３２の構成について説明するための図である。 上下左右反転部３３の構成について説明するための図である。 上下左右反転部３３の構成について説明するための図である。 移動量検出部３１の詳細な構成について説明するための図である。 移動量検出部３１での移動量の算出処理について説明するための図である。 移動量検出部３１での移動量の算出処理について説明するための図である。 立体モニタ４のおける上下左右の反転処理の例を示すフローチャートである。 立体モニタ４ａの詳細な構成を説明するための図である。 胸部の内視鏡手術のレイアウトの例を説明するための図である。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　まず、図１に基づき、本発明の第１の実施の形態に係る立体内視鏡システムの構成について説明する。
　図１は、本発明の第１の形態に係る立体内視鏡システムの構成を示す構成図である。
　図１に示すように、立体内視鏡システム１は、生体の内部の被写体を撮像して左目用及び右目用の撮像信号を出力する立体内視鏡２と、右目用の撮像信号を右目用の映像信号に変換して出力する右目用内視鏡プロセッサ３ａと、左目用の撮像信号を左目用の映像信号に変換して出力する左目用内視鏡プロセッサ３ｂと、右目用及び左目用の映像信号から立体映像を生成して表示する立体モニタ４とを有して構成されている。なお、右目用内視鏡プロセッサ３ａ及び左目用内視鏡プロセッサ３ｂは、一体の内視鏡プロセッサであってもよい。
　立体内視鏡２は、生体の内部に挿入可能な挿入部５を有する。この挿入部５の先端には、例えばＣＣＤ等の２つの撮像素子、本実施の形態では、右目用の撮像素子６ａ及び左目用の撮像素子６ｂが備えられている。立体内視鏡２は、右目用の撮像素子６ａ及び左目用の撮像素子６ｂにより右目用の撮像信号及び左目用の撮像信号（左右の撮像信号）を取得する。右目用の撮像素子６ａで撮像された右目用の撮像信号は、右目用内視鏡プロセッサ３ａに入力され、左目用の撮像素子６ｂで撮像された左目用の撮像信号は、左目用内視鏡プロセッサ３ｂに入力される。
　右目用内視鏡プロセッサ３ａは、Ａ／Ｄ回路１１ａと、ホワイトバランス（以下、Ｗ／Ｂと略記）回路１２ａと、エンハンス回路１３ａと、ポストプロセス回路１４ａとを有して構成されている。
　Ａ／Ｄ回路１１ａは、右目用の撮像素子６ａから出力された右目用の撮像信号をアナログ信号からデジタル信号に変換し、Ｗ／Ｂ回路１２ａに出力する。Ｗ／Ｂ回路１２ａは、Ａ／Ｄ回路１１ａから出力された出力信号に白色補正処理を施し、エンハンス回路１３ａに出力する。エンハンス回路１３ａは、Ｗ／Ｂ回路１２ａから出力された出力信号に被写体の輪郭を強調する輪郭強調処理を施し、ポストプロセス回路１４ａに出力する。ポストプロセス回路１４ａは、エンハンス回路１３ａから出力された出力信号をＳＤＩ（Serial Digital Interface）やＤＶＩ（Digital Visual Interface）等の映像信号に変換し、右目用の映像信号を生成する。
　左目用内視鏡プロセッサ３ｂは、右目用内視鏡プロセッサ３ａと同様の構成であり、Ａ／Ｄ回路１１ｂと、Ｗ／Ｂ回路１２ｂと、エンハンス回路１３ｂと、ポストプロセス回路１４ｂとを有して構成されている。
　左目用の撮像素子６ｂから出力された左目用の撮像信号は、これらのＡ／Ｄ回路１１ｂ、Ｗ／Ｂ回路１２ｂ、エンハンス回路１３ｂ及びポストプロセス回路１４ｂの処理を経ることで、左目用の映像信号が生成される。このように生成された右目用及び左目用の映像信号は、立体モニタ４に入力される。立体モニタ４は、このように所定の映像信号処理が施された右目用及び左目用の映像信号に応じた立体映像を表示する。
　図２は、立体モニタ４の外観構成を説明するための図である。図２に示すように、立体モニタ４は、立体表示パネル２５（後述する図３参照）を備える。この立体表示パネル２５には、１ライン毎に偏光方向の異なる偏光板１５及び１６が貼られており、１ライン毎に左目用画像及び右目用画像が割り当てられて表示される。
　観察者は、立体モニタ４の立体表示パネル２５に貼られた偏光板１５及び１６の偏光方向に合致した偏光メガネ１７を装着することで、立体内視鏡２により得られた映像を立体映像として観察することができる。
　次に、立体モニタ４の詳細な構成について説明する。図３は、立体モニタ４の詳細な構成を説明するための図である。
　図３に示すように、立体モニタ４は、フロントスイッチ２０と、セレクタ２１と、立体信号上下左右反転部２２と、セレクタ２３と、立体信号合成部２４と、立体表示パネル２５とを有して構成されている。
　フロントスイッチ２０には、右目用及び左目用の映像信号の上下左右を反転処理するか否かを切り替えるための上下左右反転スイッチ２０ａが設けられている。観察者が上下左右反転スイッチ２０ａをＯＮまたはＯＦＦすることで、セレクタ２１及び２３は、上下左右の反転処理をするか否かの処理経路を切り替える。
　具体的には、上下左右反転スイッチ２０ａがＯＦＦの場合、上下左右の反転処理を行わない通常の処理経路となる。セレクタ２１は、右目用及び左目用の映像信号をセレクタ２３に出力するように切り替える。そして、セレクタ２３は、セレクタ２１から出力された右目用及び左目用の映像信号を立体信号合成部２４に出力するように切り替える。
　一方、上下左右反転スイッチ２０ａがＯＮの場合、上下左右の反転処理を行う処理経路となる。セレクタ２１は、右目用及び左目用の映像信号を立体信号上下左右反転部２２に出力するように切り替える。そして、セレクタ２３は、立体信号上下左右反転部２２により上下左右が反転処理された右目用及び左目用の映像信号を立体信号合成部２４に出力するように切り替える。なお、立体信号上下左右反転部２２の構成については後述する。
　このように、立体信号合成部２４には、上下左右の反転処理が行われていない、あるいは、上下左右の反転処理が行われた右目用及び左目用の映像信号が入力される。立体信号合成部２４は、入力された右目用及び左目用の映像信号を合成して立体映像信号を生成し、立体表示パネル２５に出力する。ここで、立体信号合成部２４での合成処理について図４を用いて説明する。
　図４は、立体信号合成部２４による合成処理を説明するための図である。図４に示すように、立体信号合成部２４は、ラインバイライン方式の立体映像フォーマットの信号、すなわち、入力された右目用の映像信号２６及び左目用の映像信号２７を、１ライン毎に左目用、右目用に順次替わる信号に合成し、合成信号２８を生成する。
　具体的には、立体信号合成部２４は、左目用の映像信号２７のラインＬ１、右目用の映像信号２６のラインＲ２、左目用の映像信号２７のラインＬ３、・・・、右目用の映像信号２６のラインＲ１０８０となる合成信号２８を生成する。この合成された合成信号２８は、１ライン毎に偏光方向の異なる偏光板１５及び１６が貼られた立体表示パネル２５に出力され、立体表示パネル２５に表示される。なお、図４では右目用映像信号、左目用映像信号ともにプログレッシブ信号の場合を図示しているが、インタレース信号の場合は右目用映像信号、左目用映像信号ともに垂直ライン数がそれぞれ半分の信号を合成する。
　次に、立体信号上下左右反転部２２の詳細な構成について説明する。図５は、立体信号上下左右反転部２２の詳細な構成について説明するための図である。
　図５に示すように、立体信号上下左右反転部２２は、移動量検出部３１と、水平位置移動部３２と、上下左右反転部３３とを有して構成されている。水平位置移動部３２は、右画像移動部３２ａ及び左画像移動部３２ｂにより構成されている。また、上下左右反転部３３は、右画像上下左右反転部３３ａ及び左画像上下左右反転部３３ｂにより構成されている。
　移動量検出部３１には、右目用及び左目用の映像信号が入力される。移動量検出部３１は、入力された右目用の映像信号と左目用の映像信号との解析によって左右の映像信号の視差量を及び奥行き情報を検出する。移動量検出部３１は、検出した視差量を及び奥行き情報に応じて、右目用の映像信号及び左目用の映像信号それぞれの移動量と移動方向を検出し、水平位置移動部３２の右画像移動部３２ａ及び左画像移動部３２ｂに出力する。なお、移動量検出部３１の詳細な構成については、後述する。
　水平位置移動部３２の右画像移動部３２ａには、移動量検出部３１からの右目用の映像信号の移動量及び移動方向と、右目用の映像信号とが入力される。右画像移動部３２ａは、移動量検出部３１で検出された右目用の映像信号の移動量だけ、検出された移動方向に入力される右目用の映像信号を水平方向に移動させる。水平位置が移動された右目用の映像信号は、上下左右反転部３３の右画像上下左右反転部３３ａに入力される。
　同様に、水平位置移動部３２の左画像移動部３２ｂには、移動量検出部３１からの左目用の映像信号の移動量及び移動方向と、左目用の映像信号とが入力される。左画像移動部３２ｂは、移動量検出部３１で検出された左目用の映像信号の移動量だけ、検出された移動方向に入力される左目用の映像信号を水平方向に移動させる。水平位置が移動された左目用の映像信号は、上下左右反転部３３の左画像上下左右反転部３３ｂに入力される。
　右画像上下左右反転部３３ａ及び左画像上下左右反転部３３ｂは、それぞれ水平位置が移動された右目用の映像信号及び左目用の映像信号を上下左右反転させて、セレクタ２３を介して立体信号合成部２４に出力する。
　ここで、水平位置移動部３２及び上下左右反転部３３の構成について説明する。図６Ａ及び図６Ｂは、水平位置移動部３２の構成について説明するための図であり、図７Ａ及び図７Ｂは、上下左右反転部３３の構成について説明するための図である。
　図６Ａに示すように、水平位置移動部３２は、１ライン分のデータ、ここでは、１９２０画素分のデータを格納することができるメモリ回路である。水平位置移動部３２は、このように格納されたデータの読み出し位置を変更することで、水平位置を移動させる。具体的には、水平位置移動部３２は、図６Ｂに示すように、４画素目から読み出すように読み出し位置を変更することで、水平位置を左方向に３画素分だけ移動させる。
　また、図７Ａに示すように、上下左右反転部３３は、１フレーム分のデータ、ここでは、１９２０画素×１０８０ライン分のデータを格納することができるメモリ回路である。上下左右反転部３３は、このように格納されたデータの読み出し順番を変更することで、上下左右反転を行っている。具体的には、上下左右反転部３３は、図７Ｂに示すように、１０８０ラインの１９２０画素、１０８０ラインの１９１９画素、・・・、１ラインの１画素というように、格納されたデータの読み出す順番を変更することで、上下左右反転を行う。
　なお、水平位置移動部３２及び上下左右反転部３３は、一旦格納されたデータの読み出し位置及び読み出し順番を変更することで、水平位置の移動及び上下左右の反転を行っているが、これに限定されるものではない。水平位置移動部３２及び上下左右反転部３３は、例えば、データを格納する際に、格納する位置を変更することで、水平位置の移動及び上下左右の反転を行うようにする。具体的には、図７Ａの１ラインの１画素に格納するデータが入力された際に、このデータを１０８０ラインの１９２０画素に格納するようにする。次に、図７Ａの１ラインの２画素に格納するデータが入力された際に、このデータを１０８０ラインの１９１９画素に格納するようにする。このような処理を行うことで、一旦格納したデータの読み出し位置及び読み出し順番を変更する処理が必要なくなり、一旦格納したデータをそのまま使用することができるため、水平位置の移動及び上下左右の反転する処理時間を短縮することができる。
　次に、移動量検出部３１の詳細な構成について説明する。図８は、移動量検出部３１の詳細な構成について説明するための図である。
　図８に示すように、移動量検出部３１は、対応点検出部３４と、水平位置移動量算出部３５とを有して構成されている。
　対応点検出部３４は、入力された右目用の映像信号と左目用の映像信号とから、それぞれに含まれる同じ被写体を、色や形状による画像認識により同定し、右目用画像及び左目用画像中の被写体の位置を検出する。対応点検出部３４は、このように検出した被写体の位置情報を水平位置移動量算出部３５に出力する。
　水平位置移動量算出部３５は、対応点検出部３４から出力された被写体の位置情報を用いて、右目用画像及び左目用画像の水平位置の移動量を算出する。具体的には、水平位置移動量算出部３５は、対応点検出部３４から出力された右目用画像及び左目用画像中の被写体の位置から、右目用画像と左目用画像との視差（ズレ）と、奥行き情報（画面の前か奥か）とを検出し、その検出結果に基づいて、右目用画像及び左目用画像それぞれの水平位置移動量を算出する。
　左目用画像の被写体位置が右目用画像の被写体位置に対して左側に存在する場合、奥行き情報は画面の奥となり、左目用画像の被写体位置が右目用画像の被写体位置に対して右側に存在する場合、奥行き情報は画面の手前となる。
　ここで、移動量検出部３１での移動量の算出処理について、図９Ａ及び図９Ｂを用いて説明する。図９Ａ及び図９Ｂは、移動量検出部３１での移動量の算出処理について説明するための図である。
　図９Ａの点線は、右目用画像の鉗子３６であり、図９Ａの実線は、左目用画像の鉗子３７である。対応点検出部３４では、このような右目用画像の鉗子３６及び左目用画像の鉗子３７の色や形状から被写体の位置情報が検出される。そして、水平位置移動量算出部３５により、右目用画像の鉗子３６及び左目用画像の鉗子３７の位置情報から視差ｄが検出される。また、奥行き情報は、左目用画像の鉗子３７の位置が右目用画像の鉗子３６の左側に存在することから、画面の奥である。
　立体映像の上下左右反転を行う前には、奥行き状態を反転させることが必要となるため、図９Ｂに示すように、右目用画像の鉗子３６と左目用画像の鉗子３７との位置が入れ替わるように、右目用画像及び左目用画像の水平位置を移動させる。具体的には、水平位置の移動量は、左目用画像に対しては右方向に視差ｄだけ、右目用画像に対しては左方向に視差ｄだけ、となる。一方、奥行き情報が画面の前の場合、水平位置の移動量は、左目用画像に対しては左方向に視差ｄだけ、右目用画像に対しては右方向に視差ｄだけ、となる。
　水平位置移動量算出部３５は、このように右目用画像及び左目用画像に対する水平方向の移動量と移動方向を算出し、水平位置移動部３２に出力する。水平位置移動部３２では、移動量検出部３１で検出された水平方向の移動量と移動方向に基づいて、右目用画像及び左目用画像の水平位置が移動される。その後、水平位置が移動された右目用画像及び左目用画像の上下左右が上下左右反転部３３で反転されることにより、奥行き情報が変更されていない右目用画像及び左目用画像が得られることになる。
　次に、立体モニタ４のおける上下左右の反転処理について、図１０を用いて説明する。図１０は、立体モニタ４のおける上下左右の反転処理の例を示すフローチャートである。
　まず、上下左右反転スイッチ２０ａがＯＮかＯＦＦかが判定される（ステップＳ２）。上下左右反転スイッチ２０ａがＯＦＦと判定された場合、映像信号が立体信号合成部２４に入力されるように、セレクタ２１及び２３が動作する（ステップＳ２）。一方、上下左右反転スイッチ２０ａがＯＮと判定された場合、映像信号が立体信号上下左右反転部２２に入力されるように、セレクタ２１が動作する（ステップＳ３）。なお、セレクタ２３は、立体信号上下左右反転部２２からの出力が立体信号合成部２４に入力されるように動作する。
　次に、対応点検出部３４で左右画像の対応点を検出することにより、左右画像の視差（ズレ）と奥行き情報（画面の前か奥か）とを検出し（ステップＳ４）、奥行き情報は画面の前か否かが判定される（ステップＳ５）。奥行き情報が画面の前と判定された場合、ＹＥＳとなり、左画像を左方向へ、右画像を右方向へ、検出した視差量だけ水平方向を移動させる制御信号を水平位置移動量算出部３５が出力する（ステップＳ６）。一方、奥行き情報が画面の前でない、すなわち、画面の奥と判定された場合、ＮＯとなり、左画像を右方向へ、右画像を左方向へ、検出した視差量だけ水平方向を移動させる制御信号を水平位置移動量算出部３５が出力する（ステップＳ７）。
　次に、右画像移動部３２ａ及び左画像移動部３２ｂは、制御信号を受け、水平方向へ右画像及び左画像をシフトさせ（ステップＳ８）、右画像上下左右反転部３３ａ及び左画像上下左右反転部３３ｂは、右画像及び左画像の上下左右反転処理を行う（ステップＳ９）。最後に、立体信号合成部２４で、左右画像を立体表示用のデータに合成し（ステップＳ１０）、処理を終了する。
　以上のように、立体内視鏡システム１は、右目用の映像信号と左目用の映像信号との視差及び奥行き情報を検出し、検出した視差及び奥行き情報に基づいて、右目用の映像信号及び左目用の映像信号の水平位置を移動する。その後、立体内視鏡システム１は、水平位置を移動した右目用の映像信号及び左目用の映像信号の上下左右を反転するようにした。この結果、立体内視鏡システム１は、右目用の映像信号及び左目用の映像信号を単純に上下左右を反転したときのように、奥行き情報が反転することがなくなり、正確な立体映像を表示することができる。
　よって、本実施の形態の立体内視鏡システムよれば、立体映像を上下左右反転した場合でも、正確な立体映像を観察することができる。
（第２の実施の形態）
　次に、第２の実施の形態について説明する。
　第２の実施の形態は、第１の実施の形態の立体内視鏡システム１の立体モニタ４に代わり、立体モニタ４ａを用いて構成されている。
　図１１は、立体モニタ４ａの詳細な構成を説明するための図である。なお、図１１において、図３と同様の構成については、同一の符号を付して説明を省略する。
　図１１に示すように、立体モニタ４ａは、図３の立体モニタ４に対して分配器４１と、立体映像信号生成部４２と、信号出力部４３とが追加されて構成されている。信号出力部４３には、立体モニタや記録機器等の外部機器が接続される。分配器４１、立体映像信号生成部４２及び信号出力部４３は、立体モニタ４ａに表示される立体映像を、表示された立体映像と同じ状態で、かつ接続される外部機器が対応している立体映像フォーマットに合わせて出力するための信号処理系統である。
　分配器４１は、立体表示パネル２５の前段に設けられており、立体信号合成部２４から出力された同じ出力信号を２系統、すなわち、立体表示パネル２５及び立体映像信号生成部４２に分配して出力する。このように、立体表示パネル２５の直前で表示される信号を分配器４１にて分配することで、分配する以前の信号処理で加えられた画質調整や位置調整が加えられた状態の立体画像を取り出すことができる。
　変換部としての立体映像信号生成部４２は、このように分配された立体画像を、外部機器の立体映像フォーマットに合わせるように変換し、信号出力部４３に出力する。具体的には、立体映像信号生成部４２は、外部機器の立体映像フォーマットに合わせて、例えば、立体映像フォーマットであるサイドバイサイド方式、または、フィールドシーケンシャル方式等の信号に変換し、信号出力部４３に出力する。
　信号出力部４３は、この変換された信号を、ＳＤＩやＤＶＩ等の映像出力信号に変換し、外部機器に出力する。
　以上により、本実施の形態の立体内視鏡システム１は、立体モニタ４ａの立体映像フォーマットとは異なる立体映像フォーマットの外部ききに、立体モニタ４ａに表示される立体映像と同様の立体映像を表示または記録させることができる。
　なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
　本発明は、上述した実施の形態及び変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本出願は、２０１３年３月２９日に日本国に出願された特願２０１３－７３６００号公報を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (3)

  1. 　左右の撮像信号を取得する立体内視鏡と、
    　前記立体内視鏡で取得された前記左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタと、
    　前記立体モニタに設けられ、入力された前記左右の映像信号の左右の視差量を及び奥行き情報を検出する移動量検出部と、
    　前記立体モニタに設けられ、前記左右の映像信号の水平位置を前記視差量だけ、前記奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部と、
    　前記立体モニタに設けられ、前記水平位置移動部で水平位置を移動された前記左右の映像信号の上下左右を反転させる上下左右反転部と、
    　前記立体モニタに設けられ、前記上下左右反転部で上下左右を反転された前記左右の映像信号を合成して立体映像信号を生成する立体信号合成部と、
    を有することを特徴とする立体内視鏡システム。
  2. 　前記立体モニタは、前記立体信号合成部で生成された前記立体映像信号を出力する出力部を有することを特徴とする請求項１に記載の立体内視鏡システム。
  3. 　前記立体モニタは、前記立体信号合成部で生成された前記立体映像信号を、前記出力部に接続される外部機器が対応している立体映像信号に変換して前記出力部に出力する変換部を有する特徴とする請求項２に記載の立体内視鏡システム。
PCT/JP2013/080504 2013-03-29 2013-11-12 立体内視鏡システム WO2014155815A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014544286A JP5771754B2 (ja) 2013-03-29 2013-11-12 立体内視鏡システム
CN201380073806.7A CN105009581B (zh) 2013-03-29 2013-11-12 立体内窥镜系统
EP13879902.8A EP2945375A4 (en) 2013-03-29 2013-11-12 STEREOSCOPIC ENDOSCOPY SYSTEM
US14/504,054 US9408528B2 (en) 2013-03-29 2014-10-01 Stereoscopic endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013073600 2013-03-29
JP2013-073600 2013-03-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/504,054 Continuation US9408528B2 (en) 2013-03-29 2014-10-01 Stereoscopic endoscope system

Publications (1)

Publication Number Publication Date
WO2014155815A1 true WO2014155815A1 (ja) 2014-10-02

Family

ID=51622852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/080504 WO2014155815A1 (ja) 2013-03-29 2013-11-12 立体内視鏡システム

Country Status (5)

Country Link
US (1) US9408528B2 (ja)
EP (1) EP2945375A4 (ja)
JP (1) JP5771754B2 (ja)
CN (1) CN105009581B (ja)
WO (1) WO2014155815A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105361842A (zh) * 2015-10-28 2016-03-02 李京 3d内窥镜隆乳技术
WO2023038127A1 (ja) * 2021-09-10 2023-03-16 アナウト株式会社 推論装置、情報処理方法、及びコンピュータプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
EP3318177B1 (en) * 2015-08-06 2020-11-04 Sony Olympus Medical Solutions Inc. Medical signal-processing device, medical display device, and medical observation system
WO2017138209A1 (ja) * 2016-02-12 2017-08-17 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
WO2019012881A1 (ja) * 2017-07-12 2019-01-17 ソニー株式会社 画像処理装置、眼科用観察装置及び眼科用観察システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272760A (ja) 2000-03-24 2001-10-05 Konica Corp ハロゲン化銀写真感光材料用自動現像装置
JP2006284877A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 医療用立体画像表示制御装置
JP2010206495A (ja) * 2009-03-03 2010-09-16 Olympus Medical Systems Corp 電子画像観察装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3431983B2 (ja) * 1994-04-01 2003-07-28 オリンパス光学工業株式会社 画像処理装置
JP3488060B2 (ja) * 1997-11-12 2004-01-19 株式会社Ｐｆｕ 薄型電子装置の放熱装置
JP2001078174A (ja) * 1999-09-03 2001-03-23 Olympus Optical Co Ltd 画像処理装置
WO2004084559A1 (ja) 2003-03-20 2004-09-30 Seijiro Tomita 車両用映像表示装置
JP4598717B2 (ja) * 2006-05-09 2010-12-15 オリンパスメディカルシステムズ株式会社 観察システム及び観察映像信号の伝送方法
JP5430565B2 (ja) * 2008-06-18 2014-03-05 パナソニック株式会社 電子ミラー装置
JP2012053165A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置、プログラムおよび情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272760A (ja) 2000-03-24 2001-10-05 Konica Corp ハロゲン化銀写真感光材料用自動現像装置
JP2006284877A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 医療用立体画像表示制御装置
JP2010206495A (ja) * 2009-03-03 2010-09-16 Olympus Medical Systems Corp 電子画像観察装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2945375A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105361842A (zh) * 2015-10-28 2016-03-02 李京 3d内窥镜隆乳技术
WO2023038127A1 (ja) * 2021-09-10 2023-03-16 アナウト株式会社 推論装置、情報処理方法、及びコンピュータプログラム
JP7461689B2 (ja) 2021-09-10 2024-04-04 アナウト株式会社 推論装置、情報処理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP5771754B2 (ja) 2015-09-02
CN105009581A (zh) 2015-10-28
US9408528B2 (en) 2016-08-09
US20150085074A1 (en) 2015-03-26
EP2945375A4 (en) 2016-06-15
EP2945375A1 (en) 2015-11-18
JPWO2014155815A1 (ja) 2017-02-16
CN105009581B (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
JP5771754B2 (ja) 立体内視鏡システム
JP5893808B2 (ja) 立体内視鏡画像処理装置
US9756315B2 (en) Endoscopic system to display three-dimensional picture
JP6655756B2 (ja) ３ｄ内視鏡装置、及び、３ｄ映像処理装置
JP6296365B2 (ja) 手術内視鏡用カメラコントロールユニット
WO2013067683A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
WO2013179855A1 (ja) 立体視内視鏡システム
JP2019025082A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP2019029876A (ja) 画像処理装置、カメラ装置及び出力制御方法
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
CN115919239A (zh) 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统
JP2015220643A (ja) 立体観察装置
US10855980B2 (en) Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method
JP6884607B2 (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP2019029875A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP4594673B2 (ja) 立体内視鏡用表示制御装置
JP2011234788A (ja) 超音波診断装置、超音波画像処理方法及び超音波画像処理プログラム
JP4573667B2 (ja) 内視鏡装置
JP7393842B1 (ja) 支援システム、支援装置、被支援装置
JP6021215B2 (ja) 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム
JP2004233480A (ja) 立体内視鏡システム
JP3803442B2 (ja) 立体画像表示装置
JP7401157B1 (ja) 支援システム、支援装置、被支援装置
JP2014094124A (ja) データ担体と、それを用いた手術立体映像再生装置と、手術立体映像表示装置と、それらを用いた手術立体映像表示方法、手術立体映像表示プログラム、手術立体映像表示システム。
JP2012189689A (ja) 撮影画像合成表示装置および画像合成提示システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014544286

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13879902

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013879902

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE