WO2016017482A1 - 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法 - Google Patents

立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法 Download PDF

Info

Publication number
WO2016017482A1
WO2016017482A1 PCT/JP2015/070727 JP2015070727W WO2016017482A1 WO 2016017482 A1 WO2016017482 A1 WO 2016017482A1 JP 2015070727 W JP2015070727 W JP 2015070727W WO 2016017482 A1 WO2016017482 A1 WO 2016017482A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
unit
misalignment correction
stereoscopic observation
energization
Prior art date
Application number
PCT/JP2015/070727
Other languages
English (en)
French (fr)
Inventor
泰宏 西垣
溝口 正和
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2016501249A priority Critical patent/JP5930256B1/ja
Priority to EP15826595.9A priority patent/EP3197156A4/en
Priority to CN201580003258.XA priority patent/CN105830441B/zh
Publication of WO2016017482A1 publication Critical patent/WO2016017482A1/ja
Priority to US15/227,221 priority patent/US9641827B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/121Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning post-use
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications

Definitions

  • the present invention relates to a control device for a stereoscopic observation device, a stereoscopic observation system, and a control method for the stereoscopic observation device.
  • Japanese Patent Application Laid-Open No. 2013-090035 discloses that when a three-dimensional endoscope is placed in, for example, an autoclave, misalignment occurs in the optical system of the three-dimensional endoscope. If the misalignment generated in this way is not corrected, a correct three-dimensional image cannot be constructed.
  • Japanese Unexamined Patent Publication No. 2013-090035 discloses misalignment correction for aligning a right-eye image with a left-eye image by parallel movement processing. On the other hand, it is troublesome if the misalignment correction is performed until there is no need to correct the misalignment.
  • An object of the present invention is to provide a control device for a stereoscopic observation apparatus that determines whether or not misalignment correction is necessary, and a control method for the stereoscopic observation apparatus.
  • a control device for a stereoscopic observation device is a control device for a stereoscopic observation device that performs stereoscopic observation based on parallax using a plurality of optical systems, and the stereoscopic observation device
  • a start time acquisition unit that acquires a start time at which energization to is started
  • a cut-off time acquisition unit that acquires a cut-off time at which the previous energization to the stereoscopic observation device is cut off, and from the cut-off time to the start time
  • a non-working time calculation unit that calculates a non-working time that is an elapsed time, and whether or not a misalignment correction that corrects the influence of the deviation of the optical axis of the optical system is necessary based on the non-working time A determination unit.
  • a stereoscopic observation system acquires a stereoscopic observation device that performs stereoscopic observation based on parallax using a plurality of optical systems, and a start time when energization of the stereoscopic observation device is started.
  • a start time acquisition unit a cut-off time acquisition unit for acquiring a cut-off time when the previous energization to the stereoscopic observation apparatus was cut off, and a non-operation time that is an elapsed time from the cut-off time to the start time
  • An operating time calculation unit a determination unit that determines whether or not misalignment correction that corrects the influence of the optical axis shift of the optical system based on the non-operating time is necessary, and the plurality of optical systems
  • An image processing unit that constructs a three-dimensional image based on a plurality of images acquired in this way, and performs the misalignment correction by changing the positional relationship between the plurality of images when the misalignment correction is necessary.
  • a method for controlling a stereoscopic observation apparatus is a method for controlling a stereoscopic observation apparatus that performs stereoscopic observation based on parallax using a plurality of optical systems, and energizing the stereoscopic observation apparatus. Obtaining a start time that has been started, obtaining a cut-off time when the previous energization to the stereoscopic observation device was cut off, and calculating a non-working time that is an elapsed time from the cut-off time to the start time And determining whether or not misalignment correction for correcting the influence of the deviation of the optical axis of the optical system is necessary based on the non-operation time.
  • a control device for a stereoscopic observation apparatus and a control method for the stereoscopic observation apparatus that determine whether or not misalignment correction is necessary.
  • FIG. 1 is a block diagram illustrating an outline of a configuration example of an endoscope system according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an example of processing according to the first embodiment.
  • FIG. 3 is a flowchart illustrating an example of misalignment correction processing according to the first embodiment.
  • FIG. 4 is a block diagram illustrating an outline of a configuration example of an endoscope system according to a modification of the first embodiment.
  • FIG. 5 is a block diagram illustrating an outline of a configuration example of an endoscope system according to the second embodiment.
  • FIG. 10 An outline of a configuration example of an endoscope system 10 according to the present embodiment is shown in FIG.
  • the endoscope system 10 includes a three-dimensional endoscope 200, a control device 100, and a display device 310.
  • the three-dimensional endoscope 200 is an endoscope having a function for a stereoscopic observation apparatus that acquires a three-dimensional image using parallax. For this reason, the three-dimensional endoscope 200 has two imaging units. That is, the three-dimensional endoscope 200 includes a first imaging unit 212 and a second imaging unit 214.
  • the first imaging unit 212 and the second imaging unit 214 each have an optical system such as a lens (not shown), an imaging element, and the like.
  • the first imaging unit 212 and the second imaging unit 214 each generate an image signal.
  • the endoscope system 10 constructs a 3D video based on the image acquired by the first imaging unit 212 and the image acquired by the second imaging unit 214, and presents the 3D video to the user.
  • a 3D image it is necessary to correctly adjust the parallax between the image acquired by the first imaging unit 212 and the image acquired by the second imaging unit 214.
  • the optical axes of the first image pickup unit 212 and the second image pickup unit 214 are shifted, and 3 Dimensional images may not be constructed correctly.
  • misalignment correction processing for correcting the deviation of the optical axis.
  • the endoscope system 10 is a system that performs center misalignment correction only when it is necessary to perform center misalignment correction such as cleaning, and does not perform unnecessary center misalignment correction.
  • Power is supplied from the control device 100 to the three-dimensional endoscope 200.
  • the history of power supply from the control device 100 to the three-dimensional endoscope 200 that is, the energization history to the three-dimensional endoscope 200 is recorded.
  • the three-dimensional endoscope 200 has a recording unit 220.
  • previous start time information 222 and energization time information 224 are recorded.
  • the previous start time information 222 includes power supply from the control device 100 to the three-dimensional endoscope 200, that is, information on the start date and time of the previous energization in which the energization to the three-dimensional endoscope 200 has already been completed.
  • the energization time information 224 includes information of the energization time for the previous energization that has already been energized, that is, the period during which power supply is supplied from the control device 100 to the three-dimensional endoscope 200.
  • the display device 310 is a 3D monitor. A user can observe a 3D image by viewing a 3D monitor through 3D glasses.
  • the display device 310 is not limited to the configuration in which the 3D glasses are used, and may be any device as long as it can perform three-dimensional display.
  • the control device 100 is a control device that controls the operation of the three-dimensional endoscope 200.
  • the control device 100 can be realized by an electronic computer, for example.
  • each unit included in the control device 100 can be realized by a computer including elements such as a central processing unit (CPU) and an application specific integrated circuit (ASIC).
  • CPU central processing unit
  • ASIC application specific integrated circuit
  • the control device 100 includes a cutoff time acquisition unit 102, a start time acquisition unit 104, a non-operation time calculation unit 106, a determination unit 108, an energization detection unit 122, a clock 124, an input unit 126, and an image processing unit. 130, a previous start time acquisition unit 142, and an energization time measurement unit 144.
  • the energization detection unit 122 detects whether or not power is supplied from the control device 100 to the three-dimensional endoscope 200, that is, whether or not the three-dimensional endoscope 200 is energized.
  • the clock 124 is a clock that outputs the current date and time.
  • the input unit 126 is a general input device such as a switch, a dial, or a keyboard. The input unit 126 acquires an instruction from the user. The input unit 126 outputs the acquired instruction to the image processing unit 130.
  • the cutoff time acquisition unit 102 reads the previous start time information 222 and the energization time information 224 recorded in the recording unit 220 provided in the three-dimensional endoscope 200. Based on the previous start time information 222 and the energization time information 224, the cutoff time acquisition unit 102 acquires the date and time when the previous energization is completed as the cutoff time.
  • the start time acquisition unit 104 acquires information on the start of energization from the energization detection unit 122 and acquires the date and time at that time from the clock 124. In this way, the start time acquisition unit 104 acquires the date and time when energization to the three-dimensional endoscope 200 is started as the start time.
  • the non-operation time calculation unit 106 acquires the cutoff time from the cutoff time acquisition unit 102 and acquires the start time from the start time acquisition unit 104.
  • the non-operation time calculation unit 106 calculates the time from the shut-off time to the start time, that is, the time when the three-dimensional endoscope 200 is not energized as the non-operation time.
  • the determination unit 108 acquires the non-operation time from the non-operation time calculation unit 106.
  • the determination unit 108 determines whether misalignment correction is necessary based on the non-operation time. When misalignment correction is necessary, the determination unit 108 notifies the image processing unit 130 of the fact.
  • the image processing unit 130 acquires image signals from the first imaging unit 212 and the second imaging unit 214, and performs image processing on the acquired image signals. This image processing includes constructing a 3D video based on the image data obtained by the first imaging unit 212 and the image data obtained by the second imaging unit 214.
  • the image processing unit 130 outputs the video signal after the image processing to the display device 310 and causes the display device 310 to display a 3D video.
  • the image processing unit 130 includes a 2D / 3D switching unit 132.
  • the 2D / 3D switching unit 132 causes the image processing unit 130 to stop the construction of the 3D video.
  • the 2D / 3D switching unit 132 causes the image processing unit 130 to create a two-dimensional video based on the image acquired from the first imaging unit 212 or the second imaging unit 214.
  • the image processing unit 130 creates a two-dimensional image and causes the display device 310 to display the created two-dimensional video.
  • the 2D / 3D switching unit 132 causes the image processing unit 130 to construct a 3D video again when the misalignment correction is completed. As a result, the image processing unit 130 constructs a 3D video and causes the display device 310 to display the constructed 3D video.
  • the image processing unit 130 includes a misalignment correction unit 134.
  • the misalignment correction unit 134 corrects the deviation of the optical axes of the first imaging unit 212 and the second imaging unit 214, so that the image acquired by the first imaging unit 212 and the second image by the amount of deviation of the optical axis are corrected. Misalignment correction is performed to change the positional relationship with the image acquired by the imaging unit 214.
  • the image processing unit 130 includes a notification unit 136.
  • the notification unit 136 performs a process for notifying the user that the misalignment correction is necessary.
  • the notification unit 136 includes a display indicating that the misalignment correction is necessary in the image displayed on the display device 310. By this notification, the user can know that the misalignment correction is necessary.
  • the previous start time acquisition unit 142 acquires information on the start of energization from the energization detection unit 122 and acquires the date and time at that time from the clock 124.
  • the previous start time acquisition unit 142 records the date and time when energization starts as the previous start time information 222 in the recording unit 220 of the three-dimensional endoscope 200.
  • the energization time measurement unit 144 acquires the energization status information from the energization detection unit 122 and records the energization time information in the recording unit 220 as the energization time information 224. This energization time information 224 is periodically updated. Therefore, the recording unit 220 always records the current energization period as the energization time information 224.
  • the operation related to the misalignment correction of the control device according to the present embodiment will be described with reference to the flowchart shown in FIG.
  • the process described here is executed, for example, when the energization detection unit 122 detects that the 3D endoscope 200 is connected to the control device 100 and energization of the 3D endoscope 200 has started. .
  • step S101 the cutoff time acquisition unit 102 of the control device 100 reads the previous start time information 222 and the energization time information 224 from the recording unit 220 of the three-dimensional endoscope 200.
  • step S102 the previous start time acquisition unit 142 of the control device 100 acquires the current date and time from the clock 124, and records the current date and time in the recording unit 220 as the previous start time information 222.
  • step S103 the start time acquisition unit 104 of the control device 100 acquires the current date and time from the clock 124, and outputs the current date and time to the non-operation time calculation unit 106 as the start time.
  • step S104 the cutoff time acquisition unit 102 of the control device 100 calculates the cutoff time based on the previous start time information 222 and the energization time information 224. That is, the cut-off time acquisition unit 102 calculates the cut-off time as the cut-off time obtained by adding the energization time, which is the energized period, to the previous energization start date and time. The cutoff time acquisition unit 102 outputs the cutoff time to the non-operation time calculation unit 106.
  • step S105 the non-operation time calculation unit 106 of the control device 100 acquires the shut-off time and the start time.
  • the non-working time calculation unit 106 calculates the difference between the shut-off time and the start time as the non-working time.
  • the non-operating time represents a period during which the three-dimensional endoscope 200 is not energized.
  • the non-operation time calculation unit 106 outputs the calculated non-operation time to the determination unit 108.
  • step S106 the determination unit 108 of the control device 100 determines whether or not the non-operation time is longer than a predetermined time.
  • the predetermined time is set to a time required for cleaning the three-dimensional endoscope 200, for example.
  • the predetermined time is, for example, 1 hour.
  • the process proceeds to step S107.
  • step S107 the image processing unit 130 of the control device 100 performs a misalignment correction process.
  • the misalignment correction process is a process including misalignment correction. The misalignment correction process will be described later. After the misalignment correction process, the process proceeds to step S108.
  • step S106 If it is determined in step S106 that the non-operation time is not longer than the predetermined time, it is considered that the misalignment correction processing is considered unnecessary. When it is determined that the non-operation time is not longer than the predetermined time, the process proceeds to step S108.
  • step S108 the energization time measurement unit 144 of the control device 100 updates the energization time information 224 recorded in the recording unit 220.
  • the energization time measurement unit 144 counts up and records the value as the energization time information 224 in the recording unit 220.
  • step S109 the control device 100 determines whether or not the control is finished. For example, when the user ends the use of the endoscope system 10 and inputs the fact to the control device 100, the control ends. Further, when the three-dimensional endoscope 200 is removed from the control device 100 and the energized state is released, the control ends. When it is determined that the control is not finished, the process returns to step S108. Therefore, the energization time measuring unit 144 continues to count up until the control is completed, and the energization time information recorded in the recording unit 220 is sequentially updated. During this time, the three-dimensional endoscope 200 is used for three-dimensional observation by the user. On the other hand, when it is determined in step S109 that the control is finished, the process ends.
  • step S107 the misalignment correction processing performed in step S107 will be described with reference to the flowchart shown in FIG.
  • step S201 the notification unit 136 of the image processing unit 130 performs a process for notifying the user that the misalignment correction is necessary.
  • the notification unit 136 displays on the display device 310 that the misalignment correction is necessary. This notification may be performed using other means such as sound.
  • step S202 the 2D / 3D switching unit 132 of the image processing unit 130 causes the image processing unit 130 to create and display a 2D video.
  • the image processing unit 130 creates a 2D video based on one of the image acquired from the first imaging unit 212 and the image acquired from the second imaging unit 214.
  • the image processing unit 130 causes the display device 310 to display the created 2D video.
  • the misalignment correction is performed by moving one of the image acquired from the first image capturing unit 212 and the image acquired from the second image capturing unit 214, the creation of the two-dimensional image It is preferable that the image is created based on the image that is not moved. By using the reference image, the display and continuity of the subsequent 3D video are ensured.
  • step S203 the image processing unit 130 causes the display device 310 to display a display for inquiring the user whether or not to perform misalignment correction.
  • step S204 the image processing unit 130 determines whether or not an input for performing misalignment correction has been made.
  • the process repeats step S204. That is, it waits until there is an input for performing misalignment correction.
  • step S205 the process proceeds to step S205.
  • step S205 the misalignment correction unit 134 of the image processing unit 130 performs misalignment correction.
  • misalignment correction adjustment is performed in which the image acquired from the second imaging unit 214 is moved in accordance with the change in the optical axis with the image acquired from the first imaging unit 212 as a reference.
  • the optical system of the first imaging unit 212 becomes the reference optical system.
  • step S206 the notification unit 136 of the image processing unit 130 performs processing for notifying the user that the misalignment correction has been completed.
  • step S207 the 2D / 3D switching unit 132 of the image processing unit 130 causes the image processing unit 130 to construct and display a 3D video.
  • the image processing unit 130 constructs a 3D video based on both the image acquired from the first imaging unit 212 and the image acquired from the second imaging unit 214.
  • the image processing unit 130 causes the display device 310 to display the constructed 3D video. Thereafter, the display device 310 displays a three-dimensional image.
  • the misalignment correction process is completed, and the process returns to step S107.
  • whether or not the three-dimensional endoscope 200 that requires center misalignment correction has been cleaned is determined based on the non-operation time. That is, when the non-operation time, which is the time when the energization of the three-dimensional endoscope 200 is not performed, is shorter than the predetermined time, it is determined that the cleaning is not performed, and when it is longer than the predetermined time, the cleaning is performed. It is determined that Such determination can prompt the user to perform the misalignment correction only when the misalignment correction is necessary. As described above, the stress on the user due to the misalignment correction performed even when the misalignment correction is unnecessary is reduced. Further, since the two-dimensional display is performed when the misalignment correction is necessary, it is possible to prevent the display device 310 from displaying a three-dimensional image that is not correctly constructed.
  • the control device 100 determines what three-dimensional Even when the endoscope 200 is connected, the non-operation time can be calculated correctly.
  • the recording unit 220 records the previous start time information 222 recorded at the start of energization as information for calculating the cutoff time, and the energization time information 224 representing the energization period by being sequentially updated at the time of energization. ing. For this reason, even if the power supply is suddenly interrupted during the power supply to the three-dimensional endoscope 200, the information for calculating the interruption time is held in the recording unit 220. Therefore, the interruption time acquisition unit 102 can correctly calculate the interruption time even when the energization to the three-dimensional endoscope 200 is suddenly interrupted.
  • the misalignment correction method is not limited to this.
  • a predetermined reference position is provided, the image acquired by the first imaging unit 212 is adjusted so as to be matched with this reference position, and the image acquired by the second imaging unit 214 is You may adjust so that it may match with the reference position corresponding to a position.
  • the reference position described above is, for example, the reference position of the optical axis of the optical system of the first imaging unit 212 and the reference of the optical axis of the optical system of the second imaging unit 214 when a 3D image is appropriately constructed.
  • the position of the image acquired by the first imaging unit 212 is adjusted according to the deviation of the optical axis of the optical system of the first imaging unit 212 from the reference position.
  • the position of the image acquired by the second imaging unit 214 is adjusted according to the deviation of the optical axis of the optical system of the second imaging unit 214 from the reference position.
  • the 2D video is created based on any one of the image acquired by the first imaging unit 212 and the image acquired by the second imaging unit 214.
  • the predetermined reference position is acquired by the reference position of the image acquired by the first imaging unit 212 (for example, the center coordinates of the image acquired by the first imaging unit 212) and the second imaging unit 214. For example, it may be set to the midpoint of a line segment connecting the reference position (for example, the center coordinates of the image acquired by the second imaging unit 214) of the image that has been obtained.
  • misalignment correction is not only performed by image processing, but may be performed by adjusting the optical system of the first imaging unit 212 and the second imaging unit 214, for example.
  • the order of the processes described with reference to FIGS. 2 and 3 may be changed as appropriate, and some processes may be omitted.
  • the order of processing performed in steps S101 to S103 is arbitrary.
  • the misalignment correction may be performed immediately.
  • the present invention is not limited to the endoscope, and various misalignment corrections are required when the energized time is long.
  • the present technology can be applied to the stereoscopic observation apparatus.
  • FIG. 4 shows an outline of a configuration example of the endoscope system 10 according to this modification.
  • the energization time information 224 is recorded in the recording unit 220 of the three-dimensional endoscope 200.
  • the previous cutoff time information 226 is recorded in the recording unit 220.
  • the previous cutoff time information 226 includes information on the date and time when the previous energization was cut off.
  • the control device 100 is provided with a previous cutoff time acquisition unit 146 instead of the previous start time acquisition unit 142 and the energization time measurement unit 144 in the case of the first embodiment.
  • the previous cutoff time acquisition unit 146 records the date and time acquired from the clock 124 in the recording unit 220 as the previous cutoff information immediately before the power supply to the three-dimensional endoscope 200 is cut off.
  • the interruption time acquisition unit 102 acquires that the energization has started from the energization detection unit 122, the interruption time acquisition unit 102 acquires the previous interruption time information recorded in the recording unit 220 as the interruption time.
  • the start time acquisition unit 104 acquires the current date and time from the clock 124 as the start time when acquiring the start of energization from the energization detection unit 122.
  • the non-operation time calculation unit 106 calculates the non-operation time based on the shut-off time and the start time obtained as described above.
  • the determination unit 108 determines whether misalignment correction is necessary based on the calculated non-operation time. When it is determined that the misalignment correction is necessary, the image processing unit 130 performs the misalignment correction process as in the first embodiment.
  • FIG. 5 shows an outline of a configuration example of the endoscope system 10 according to the present embodiment.
  • the recording device provided in the three-dimensional endoscope 200 in the modification of the first embodiment is provided in the control device 100.
  • the recording unit 150 provided in the control device 100 endoscope identification information 152 and previous cutoff time information 154 are recorded.
  • the previous cutoff time acquisition unit 146 acquires that the energization from the energization detection unit 122 to the three-dimensional endoscope 200 is interrupted, and acquires the current date and time from the clock 124. Based on these pieces of information, the previous interruption time acquisition unit 146 records the time when the energization is interrupted as the previous interruption time information 154.
  • identification information 230 unique to each three-dimensional endoscope 200 is recorded.
  • the control device 100 is provided with an identification information acquisition unit 160 that reads the identification information 230.
  • the identification information acquisition unit 160 records the read identification information 230 as the endoscope identification information 152 in the recording unit 150.
  • the endoscope identification information 152 and the previous cutoff time information 154 are associated with each other. That is, the previous cutoff time information 154 is recorded for each endoscope identification information 152.
  • the blocking time acquisition unit 102 acquires identification information from the identification information acquisition unit 160, and acquires the previous blocking time information 154 corresponding to the identification information from the recording unit 150 as the blocking time.
  • the start time acquisition unit 104 acquires the date and time from the clock 124 as the start time when acquiring the start of energization from the energization detection unit 122.
  • the non-operation time calculation unit 106 calculates the non-operation time based on the shut-off time and the start time obtained as described above.
  • the determination unit 108 determines whether misalignment correction is necessary based on the calculated non-operation time. When it is determined that the misalignment correction is necessary, the image processing unit 130 performs the misalignment correction process as in the first embodiment.
  • the control device 100 can connect any three-dimensional endoscope 200 to this embodiment as well. Can also correctly calculate the non-operation time. Also in the present embodiment, as in the case of the first embodiment, the interruption time is recorded in the recording unit 150 even when the electricity is suddenly interrupted while the three-dimensional endoscope 200 is energized.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

 複数の光学系を利用して視差に基づく立体観察を行う立体観察装置のための制御装置(100)は、開始時間取得部(104)と、遮断時間取得部(102)と、非稼動時間算出部(106)と、判定部(108)とを備える。開始時間取得部(104)は、立体観察装置への通電が開始された開始時間を取得する。遮断時間取得部(102)は、立体観察装置への前回の通電が遮断された遮断時間を取得する。非稼動時間算出部(106)は、遮断時間から開始時間までの経過時間である非稼動時間を算出する。判定部(108)は、非稼動時間に基づいて光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する。

Description

立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
 本発明は、立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法に関する。
 2つの光学系を利用して得られた2つの画像とそれらの視差とに基づいて立体観察を行う3次元内視鏡装置に係る技術が、例えば日本国特開2013-090035号公報に開示されている。日本国特開2013-090035号公報には、3次元内視鏡を例えばオートクレーブにかけたとき、3次元内視鏡の光学系に芯ずれが発生することが開示されている。このようにして発生した芯ずれに対して補正が施されないと、正しい3次元映像が構築されない。日本国特開2013-090035号公報には、平行移動処理によって右目用画像を左目用画像に合わせ込む芯ずれ補正について開示されている。一方で、芯ずれに対する補正の必要がないときにまで芯ずれ補正が行われると煩わしい。
 本発明は、芯ずれ補正が必要であるか否かを判定する立体観察装置のための制御装置及び立体観察装置の制御方法を提供することを目的とする。
 本発明の一態様によれば、立体観察装置のための制御装置は、複数の光学系を利用して視差に基づく立体観察を行う立体観察装置のための制御装置であって、前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部とを備える。
 本発明の一態様によれば、立体観察システムは、複数の光学系を利用して視差に基づく立体観察を行う立体観察装置と、前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部と、前記複数の光学系を利用して取得した複数の画像に基づいて3次元映像を構築する画像処理部であって、前記芯ずれ補正が必要なときは前記複数の画像の位置関係を変化させることで前記芯ずれ補正を行う画像処理部とを備える。
 本発明の一態様によれば、立体観察装置の制御方法は、複数の光学系を利用して視差に基づく立体観察を行う立体観察装置の制御方法であって、前記立体観察装置への通電が開始された開始時間を取得することと、前記立体観察装置への前回の通電が遮断された遮断時間を取得することと、前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出することと、前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定することとを含む。
 本発明によれば、芯ずれ補正が必要であるか否かを判定する立体観察装置のための制御装置及び立体観察装置の制御方法が提供される。
図1は、本発明の第1の実施形態に係る内視鏡システムの構成例の概略を示すブロック図である。 図2は、第1の実施形態に係る処理の一例を示すフローチャートである。 図3は、第1の実施形態に係る芯ずれ補正処理の一例を示すフローチャートである。 図4は、第1の実施形態の変形例に係る内視鏡システムの構成例の概略を示すブロック図である。 図5は、第2の実施形態に係る内視鏡システムの構成例の概略を示すブロック図である。
 [第1の実施形態]
 本発明の第1の実施形態について図面を参照して説明する。本発明に係る立体観察システムの一実施形態として内視鏡システム10を例に挙げて説明する。本実施形態に係る内視鏡システム10の構成例の概略を図1に示す。内視鏡システム10は、3次元内視鏡200と、制御装置100と、表示装置310とを備える。
 3次元内視鏡200は、視差を利用して3次元画像を取得する立体観察装置のための機能を有する内視鏡である。このため、3次元内視鏡200は、2つの撮像部を有している。すなわち、3次元内視鏡200は、第1の撮像部212と第2の撮像部214とを有している。第1の撮像部212と第2の撮像部214とは、それぞれ図示しないレンズ等の光学系や撮像素子等を有する。第1の撮像部212と第2の撮像部214とは、それぞれ画像信号を生成する。
 内視鏡システム10は、第1の撮像部212で取得した画像と第2の撮像部214で取得した画像とに基づいて3次元映像を構築し、この3次元映像をユーザに提示する。3次元映像を正しく構築するためには、第1の撮像部212で取得した画像と第2の撮像部214で取得した画像との視差を正しく調整する必要がある。例えば3次元内視鏡200の洗浄過程において滅菌のために3次元内視鏡200がオートクレーブにかけられると、第1の撮像部212及び第2の撮像部214の光軸にずれが発生し、3次元映像の構築が正しく行われなくなることがある。このような場合、例えば光軸がずれた分だけ第1の撮像部212で取得した画像と第2の撮像部214で取得した画像とを移動させる補正を行う必要がある。このような、光軸のずれを補正する処理を以降芯ずれ補正と称することにする。本実施形態に係る内視鏡システム10は、洗浄が行われる等、芯ずれ補正を行う必要があるときにのみ芯ずれ補正を実行し、不要な芯ずれ補正を行わないシステムである。
 3次元内視鏡200には、制御装置100から電力が供給される。本実施形態では、制御装置100から3次元内視鏡200への電力供給、すなわち3次元内視鏡200への通電の履歴が記録される。3次元内視鏡200は、記録部220を有する。記録部220には、前回開始時間情報222と通電時間情報224とが記録される。前回開始時間情報222は、制御装置100から3次元内視鏡200への電力供給、すなわち、3次元内視鏡200への通電が既に終了している前回の通電の開始日時の情報を含む。通電時間情報224は、通電が既に終了している前回の通電についての通電していた時間、すなわち、制御装置100から3次元内視鏡200へ電力供給が供給されていた期間の情報を含む。
 表示装置310は、3D用モニタである。ユーザは、3Dメガネを通して3D用モニタを見ることで、3次元映像の観察を行える。表示装置310は、3Dメガネが利用される構成に限らず、3次元表示を行える表示装置であればどのような装置でもよい。
 制御装置100は、3次元内視鏡200の動作を制御する制御装置である。制御装置100は、例えば電子計算機によって実現され得る。すなわち、制御装置100に含まれる各部は、例えばCentral Processing Unit(CPU)やApplication Specific Integrated Circuit(ASIC)といった素子を含む計算機によって実現され得る。
 制御装置100は、遮断時間取得部102と、開始時間取得部104と、非稼動時間算出部106と、判定部108と、通電検知部122と、時計124と、入力部126と、画像処理部130と、前回開始時間取得部142と、通電時間計測部144とを備える。
 通電検知部122は、制御装置100から3次元内視鏡200への電力の供給の有無、すなわち、3次元内視鏡200への通電の有無を検知する。時計124は、現在の日時を出力する時計である。入力部126は、スイッチやダイヤルやキーボード等、一般的な入力装置である。入力部126は、ユーザからの指示を取得する。入力部126は、取得した指示を、画像処理部130へ出力する。
 遮断時間取得部102は、3次元内視鏡200に設けられた記録部220に記録されている前回開始時間情報222と通電時間情報224とを読み出す。遮断時間取得部102は、前回開始時間情報222と通電時間情報224とに基づいて、前回の通電が終了した日時を遮断時間として取得する。
 開始時間取得部104は、通電検知部122から通電開始の情報を取得し、時計124からその時の日時を取得する。このようにして開始時間取得部104は、3次元内視鏡200への通電が開始した日時を開始時間として取得する。
 非稼動時間算出部106は、遮断時間取得部102から遮断時間を取得し、開始時間取得部104から開始時間を取得する。非稼動時間算出部106は、遮断時間から開始時間までの時間、すなわち、3次元内視鏡200への通電がなされていなかった時間を、非稼動時間として算出する。
 判定部108は、非稼動時間算出部106から非稼動時間を取得する。判定部108は、非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であるとき、判定部108は、画像処理部130にその旨を伝達する。
 画像処理部130は、第1の撮像部212及び第2の撮像部214から画像信号を取得し、取得した画像信号に対して画像処理を施す。この画像処理は、第1の撮像部212で得られた画像データと第2の撮像部214で得られた画像データとに基づいて、3次元映像を構築することを含む。画像処理部130は、画像処理後の映像信号を表示装置310に出力し、表示装置310に3次元映像を表示させる。
 また、画像処理部130は、2D/3D切替部132を有する。2D/3D切替部132は、芯ずれ補正が必要であるとき、画像処理部130に3次元映像の構築を中止させる。このとき、2D/3D切替部132は、画像処理部130に、第1の撮像部212又は第2の撮像部214から取得した画像に基づいて、2次元映像を作成させる。画像処理部130は、2次元画像を作成し、作成した2次元映像を表示装置310に表示させる。2D/3D切替部132は、芯ずれ補正が終了したとき、再び画像処理部130に3次元映像を構築させる。その結果、画像処理部130は、3次元映像を構築し、構築した3次元映像を表示装置310に表示させる。
 画像処理部130は、芯ずれ補正部134を有する。芯ずれ補正部134は、第1の撮像部212及び第2の撮像部214の光軸のずれを補正するため、この光軸のずれ量だけ第1の撮像部212で取得した画像と第2の撮像部214で取得した画像との位置関係を変化させる芯ずれ補正を行う。
 画像処理部130は、報知部136を有する。報知部136は、芯ずれ補正が必要なとき、芯ずれ補正が必要な旨をユーザに報知するための処理を行う。例えば報知部136は、表示装置310に表示される画像に、芯ずれ補正が必要な旨の表示を含ませる。この報知により、ユーザは芯ずれ補正が必要であることを知ることができる。
 前回開始時間取得部142は、通電検知部122から通電開始の情報を取得し、時計124からその時の日時を取得する。前回開始時間取得部142は、通電が開始した日時を前回開始時間情報222として、3次元内視鏡200の記録部220に記録する。
 通電時間計測部144は、通電検知部122から通電状況の情報を取得し、通電が継続している時間を通電時間情報224として、記録部220に記録する。この通電時間情報224は、定期的に更新される。したがって、記録部220には、現在の通電が継続している期間が常に通電時間情報224として記録される。
 本実施形態に係る制御装置の芯ずれ補正に係る動作について図2に示すフローチャートを参照して説明する。ここで説明する処理は、例えば、3次元内視鏡200が制御装置100に接続されて、3次元内視鏡200への通電が開始したことを通電検知部122が検知したときに実行される。
 ステップS101において、制御装置100の遮断時間取得部102は、3次元内視鏡200の記録部220から前回開始時間情報222と通電時間情報224とを読み出す。
 ステップS102において、制御装置100の前回開始時間取得部142は、時計124から現在の日時を取得し、現在の日時を前回開始時間情報222として記録部220に記録する。
 ステップS103において、制御装置100の開始時間取得部104は、時計124から現在の日時を取得し、現在の日時を開始時間として非稼動時間算出部106へ出力する。
 ステップS104において、制御装置100の遮断時間取得部102は、前回開始時間情報222と通電時間情報224とに基づいて、遮断時間を算出する。すなわち、遮断時間取得部102は、前回の通電の開始日時に、通電していた期間である通電時間を加算して得られる日時を遮断時間として算出する。遮断時間取得部102は、遮断時間を非稼動時間算出部106へ出力する。
 ステップS105において、制御装置100の非稼動時間算出部106は、遮断時間と開始時間とを取得する。非稼動時間算出部106は、遮断時間と開始時間との差を非稼動時間として算出する。非稼動時間は、3次元内視鏡200への通電がなされていない期間を表す。非稼動時間算出部106は、算出した非稼動時間を判定部108へ出力する。
 ステップS106において、制御装置100の判定部108は、非稼動時間が所定の時間よりも長いか否かを判定する。ここで、所定の時間は、例えば3次元内視鏡200の洗浄に要する時間に設定される。当該所定の時間は、例えば1時間である。非稼動時間が所定の時間よりも長いとき、3次元内視鏡200の洗浄が行われており、第1の撮像部212と第2の撮像部214との光軸がずれている可能性がある。非稼動時間が所定の時間よりも長いと判定されたとき、処理はステップS107に進む。
 ステップS107において、制御装置100の画像処理部130は、芯ずれ補正処理を行う。芯ずれ補正処理は、芯ずれ補正を含む処理である。芯ずれ補正処理については後述する。芯ずれ補正処理の後、処理はステップS108に進む。
 ステップS106の判定において、非稼動時間が所定の時間よりも長くないと判定されたときは、芯ずれ補正処理は不要と考えられる場合である。非稼動時間が所定の時間よりも長くないと判定されたとき、処理はステップS108に進む。
 ステップS108において、制御装置100の通電時間計測部144は、記録部220に記録されている通電時間情報224を更新する。例えば通電時間計測部144は、カウントアップを行い、その値を通電時間情報224として記録部220に記録する。
 ステップS109において、制御装置100は、制御終了であるか否かを判定する。例えばユーザが内視鏡システム10の使用を終了してその旨を制御装置100へと入力したとき、制御終了となる。また、制御装置100から3次元内視鏡200が取り外されて通電状態が解除されたとき、制御終了となる。制御終了でないと判定されたとき、処理はステップS108に戻る。したがって、制御終了になるまで、通電時間計測部144は、カウントアップを続け、記録部220に記録された通電時間情報は、順次更新される。この間、3次元内視鏡200は、ユーザによって3次元観察に使用される。一方、ステップS109の判定において制御終了であると判定されたとき、当該処理は終了する。
 次にステップS107で行われる芯ずれ補正処理について図3に示すフローチャートを参照して説明する。
 ステップS201において、画像処理部130の報知部136は、芯ずれ補正が必要である旨をユーザに報知するための処理を行う。例えば、報知部136は、芯ずれ補正が必要である旨を表示装置310に表示させる。なお、この報知は、音などの他の手段を用いて行われてもよい。
 ステップS202において、画像処理部130の2D/3D切替部132は、画像処理部130に、2次元映像の作成及び表示を行わせる。このとき、画像処理部130は、第1の撮像部212から取得した画像と第2の撮像部214から取得した画像とのうち一方に基づいて、2次元映像を作成する。画像処理部130は、作成した2次元映像を表示装置310に表示させる。
 なお、芯ずれ補正が第1の撮像部212から取得した画像と第2の撮像部214から取得した画像とのうち一方の画像を移動させることで行われる場合、2次元映像の作成は、基準となり移動されない方の画像に基づいて作成されることが好ましい。基準となる画像が用いられることで、後の3次元映像の表示と連続性が確保される。
 ステップS203において、画像処理部130は、芯ずれ補正を行うか否かをユーザに問合せる旨の表示を、表示装置310に表示させる。
 ステップS204において、画像処理部130は、芯ずれ補正を行う旨の入力がされたか否かを判定する。芯ずれ補正を行う旨の入力がされていないと判定されたとき、処理はステップS204を繰り返す。すなわち、芯ずれ補正を行う旨の入力があるまで待機する。一方、芯ずれ補正を行う旨の入力がされたとき、処理はステップS205に進む。
 ステップS205において、画像処理部130の芯ずれ補正部134は、芯ずれ補正を行う。例えば、芯ずれ補正では、第1の撮像部212から取得した画像を基準として、第2の撮像部214から取得した画像を光軸の変化に応じて移動させる調整が行われる。このとき、第1の撮像部212の光学系が基準光学系となる。芯ずれ補正が終了したとき、処理はステップS206に進む。
 ステップS206において、画像処理部130の報知部136は、芯ずれ補正が終了した旨をユーザに報知するための処理を行う。
 ステップS207において、画像処理部130の2D/3D切替部132は、画像処理部130に、3次元映像の構築及び表示を行わせる。このとき、画像処理部130は、第1の撮像部212から取得した画像と第2の撮像部214から取得した画像との両方に基づいて、3次元映像の構築を行う。画像処理部130は、構築した3次元映像を表示装置310に表示させる。これ以降、表示装置310には、3次元映像が表示される。以上で芯ずれ補正処理は終了し、処理はステップS107に戻る。
 本実施形態によれば、芯ずれ補正が必要となる3次元内視鏡200の洗浄がなされたか否かが、非稼動時間によって判断される。すなわち、3次元内視鏡200への通電がなされていない時間である非稼動時間が、所定の時間よりも短いとき洗浄はされていないと判定され、所定の時間よりも長いとき洗浄が行われたと判定される。このような判定によって、芯ずれ補正が必要なときにのみ、ユーザに芯ずれ補正を行うように促すことができる。以上により、芯ずれ補正が不要な場合にまで芯ずれ補正が行われることによるユーザへのストレスが低減される。また、芯ずれ補正が必要なときには2次元表示がなされるので、正しく構築されない3次元映像が表示装置310に表示されることが防止される。
 なお、本実施形態では、前回の通電が遮断された遮断時間に係る情報が3次元内視鏡200に設けられた記録部220に記録されているので、制御装置100は、どのような3次元内視鏡200が接続されても正しく非稼動時間を算出することができる。また、記録部220には、遮断時間を算出するための情報として通電開始時に記録される前回開始時間情報222と、通電時に順次更新されることで通電期間を表す通電時間情報224とが記録されている。このため、3次元内視鏡200への通電中に突然に通電が遮断されても、遮断時間を算出するための情報は記録部220に保持されることになる。したがって、遮断時間取得部102は、3次元内視鏡200への通電が突然に遮断されても正しく遮断時間を算出できる。
 なお、上述の実施形態では、芯ずれ補正の実施方法の一例として、第1の撮像部212で取得された画像を基準として第2の撮像部214で取得された画像を移動させる場合を説明した。しかしながら、芯ずれ補正の方法はこれに限らない。例えば所定の基準位置が設けられており、第1の撮像部212で取得された画像がこの基準位置に合わせられるように調整され、かつ、第2の撮像部214で取得された画像が当該基準位置に対応する基準位置に合わせられるように調整されてもよい。このとき上述の基準位置は、例えば適切に3次元映像が構築される場合の第1の撮像部212の光学系の光軸の基準位置と第2の撮像部214の光学系の光軸の基準位置と関連付けられている。すなわち、第1の撮像部212で取得された画像の位置は、第1の撮像部212の光学系の光軸の基準位置からのずれに応じて調整される。同様に、第2の撮像部214で取得された画像の位置は、第2の撮像部214の光学系の光軸の基準位置からのずれに応じて調整される。なお、この場合、2次元映像の作成は、第1の撮像部212で取得された画像と第2の撮像部214で取得された画像とのうち任意の何れか一方に基づいて作成される。さらに、上記所定の基準位置は、第1の撮像部212で取得された画像の基準位置(例えば第1の撮像部212で取得された画像の中心座標)と、第2の撮像部214で取得された画像の基準位置(例えば第2の撮像部214で取得された画像の中心座標)とを結ぶ線分の例えば中点に設定されるようにしてもよい。
 また、芯ずれ補正は、画像処理によって行われるのみならず、例えば第1の撮像部212と第2の撮像部214との光学系の調整によって行われてもよい。
 また、例えば図2及び図3を参照して説明した処理の順序は、適宜に変更され得るし、一部の処理が省略されてもよい。例えばステップS101乃至ステップS103で行われる処理の順序は任意である。また、ステップS204でユーザにより芯ずれ補正実行の指示が入力されるのを待たずに、芯ずれ補正が必要であるときは、芯ずれ補正が直ちに行われるように構成されてもよい。
 本実施形態では、立体観察装置として3D内視鏡が用いられる場合を例に挙げて説明したが、内視鏡に限らず、通電していない時間が長いときに芯ずれ補正が必要となる種々の立体観察装置に本技術は適用され得る。
 [第1の実施形態の変形例]
 第1の実施形態の変形例について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
 本変形例に係る内視鏡システム10の構成例の概略を図4に示す。第1の実施形態では3次元内視鏡200の記録部220に通電時間情報224が記録されていたが、本変形例では、記録部220に前回遮断時間情報226が記録されている。前回遮断時間情報226は、前回の通電が遮断された日時の情報を含む。制御装置100には、第1の実施形態の場合の前回開始時間取得部142及び通電時間計測部144の代わりに、前回遮断時間取得部146が設けられている。
 前回遮断時間取得部146は、3次元内視鏡200への通電が遮断される直前に、記録部220に時計124から取得した日時を前回遮断情報として記録する。遮断時間取得部102は、通電検知部122から通電を開始した旨を取得したときに、記録部220に記録された前回遮断時間情報を遮断時間として取得する。
 開始時間取得部104は、第1の実施形態と同様に、通電検知部122から通電を開始した旨を取得したときに時計124からその時の日時を開始時間として取得する。非稼動時間算出部106は、上記のようにして得られた遮断時間と開始時間とに基づいて、非稼動時間を算出する。判定部108は、算出された非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であると判定されたとき、画像処理部130は、第1の実施形態と同様に芯ずれ補正処理を行う。
 本変形例によれば、第1の実施形態の場合と同様に、必要な場合にのみ芯ずれ補正処理が行われるという効果が得られる。さらに、本変形例によれば、第1の実施形態の場合と比較して、制御装置100で行われる処理が削減され、また、制御装置100と3次元内視鏡200との間の通信量も削減される。
 [第2の実施形態]
 本発明の第2の実施形態について説明する。ここでは、第1の実施形態の変形例との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
 本実施形態に係る内視鏡システム10の構成例の概略を図5に示す。本実施形態では、第1の実施形態の変形例では3次元内視鏡200に設けられていた記録部が制御装置100に設けられている。制御装置100に設けられた記録部150には、内視鏡識別情報152と前回遮断時間情報154とが記録されている。
 前回遮断時間取得部146は、通電検知部122から3次元内視鏡200への通電が遮断されたことを取得し、また、時計124からその時の日時を取得する。これらの情報に基づいて、前回遮断時間取得部146は、通電が遮断された時間を前回遮断時間情報154として記録する。
 本実施形態に係る3次元内視鏡200には、3次元内視鏡200毎に固有な識別情報230が記録されている。制御装置100には、この識別情報230を読み取る識別情報取得部160が設けられている。識別情報取得部160は、読み取った識別情報230を記録部150に内視鏡識別情報152として記録する。内視鏡識別情報152と前回遮断時間情報154とは関連付けられている。すなわち、前回遮断時間情報154は内視鏡識別情報152毎に記録される。
 本実施形態に係る遮断時間取得部102は、識別情報取得部160から識別情報を取得し、記録部150からその識別情報に対応する前回遮断時間情報154を遮断時間として取得する。
 開始時間取得部104は、第1の実施形態の変形例と同様に、通電検知部122から通電を開始した旨を取得したときに時計124からその時の日時を開始時間として取得する。非稼動時間算出部106は、上記のようにして得られた遮断時間と開始時間とに基づいて、非稼動時間を算出する。判定部108は、算出された非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であると判定されたとき、画像処理部130は、第1の実施形態と同様に芯ずれ補正処理を行う。
 本実施形態によれば、第1の実施形態の場合と同様に、必要な場合にのみ芯ずれ補正処理が行われるという効果が得られる。さらに、本実施形態によれば、第1の実施形態やその変形例の場合と比較して、制御装置100と3次元内視鏡200との間の通信量が削減される。また、内視鏡識別情報152が前回遮断時間情報154と関連付けられて記録部150に記録されるので、本実施形態によっても制御装置100は、どのような3次元内視鏡200が接続されても正しく非稼動時間を算出することができる。また、本実施形態によっても、第1の実施形態の場合と同様に、3次元内視鏡200への通電中に突然に通電が遮断されても、遮断時間が記録部150に記録される。

Claims (12)

  1.  複数の光学系を利用して視差に基づく立体観察を行う立体観察装置のための制御装置であって、
     前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、
     前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、
     前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、
     前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部と
     を備える立体観察装置のための制御装置。
  2.  前記前回の通電が開始された前回開始時間を記録部に記録させる前回開始時間取得部と、
     前記前回開始時間からの経過時間であって通電されている時間を表す通電時間を計測して前記記録部に記録させる通電時間計測部と、
     をさらに備え、
     前記遮断時間取得部は、前記前回開始時間と前記通電時間とに基づいて前記遮断時間を決定する、
     請求項1に記載の制御装置。
  3.  前記記録部は、前記立体観察装置に配置されている、請求項2に記載の制御装置。
  4.  前記芯ずれ補正が必要であるが前記芯ずれ補正が未だ行われていないとき、前記複数の光学系のうち何れか1つを用いた2次元観察を実行させ、前記芯ずれ補正が終了した後は前記立体観察を実行させる、2D/3D切替部をさらに備える、請求項1に記載の制御装置。
  5.  前記芯ずれ補正は、前記複数の光学系のうち何れか1つを基準光学系とし、前記複数の光学系のうち他の光学系を利用して取得された画像の位置を前記基準光学系を利用して取得された画像に対応して変化させる補正であり、
     前記2次元観察は、前記基準光学系を用いて行われる、
     請求項4に記載の制御装置。
  6.  前記複数の光学系の各々を利用して取得された各々の画像について基準位置が設けられており、前記芯ずれ補正は、前記各々の画像の位置を、各々の前記基準位置に合わせるように変化させる補正であり、
     前記2次元観察は、前記複数の光学系のうち何れか1つを用いて行われる、
     請求項4に記載の制御装置。
  7.  前記立体観察装置には、前記遮断時間が記録されている記録部が設けられており、
     前記遮断時間取得部は、前記記録部から前記遮断時間を取得する、
     請求項1に記載の制御装置。
  8.  前記立体観察装置には、前記立体観察装置毎に固有の識別情報が保持されており、
     前記識別情報と前記遮断時間との組み合わせが記録される記録部をさらに備える、
     請求項1に記載の制御装置。
  9.  前記芯ずれ補正が必要であると判定されたとき、前記芯ずれ補正が必要である旨を報知する報知部をさらに備える請求項1に記載の制御装置。
  10.  前記複数の光学系を利用して取得された複数の画像の位置関係を変化させることで前記芯ずれ補正を行う芯ずれ補正部をさらに備える請求項1に記載の制御装置。
  11.  複数の光学系を利用して視差に基づく立体観察を行う立体観察装置と、
     前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、
     前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、
     前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、
     前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部と、
     前記複数の光学系を利用して取得した複数の画像に基づいて3次元映像を構築する画像処理部であって、前記芯ずれ補正が必要なときは前記複数の画像の位置関係を変化させることで前記芯ずれ補正を行う画像処理部と
     を備える立体観察システム。
  12.  複数の光学系を利用して視差に基づく立体観察を行う立体観察装置の制御方法であって、
     前記立体観察装置への通電が開始された開始時間を取得することと、
     前記立体観察装置への前回の通電が遮断された遮断時間を取得することと、
     前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出することと、
     前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定することと
     を含む立体観察装置の制御方法。
PCT/JP2015/070727 2014-07-28 2015-07-21 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法 WO2016017482A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016501249A JP5930256B1 (ja) 2014-07-28 2015-07-21 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
EP15826595.9A EP3197156A4 (en) 2014-07-28 2015-07-21 Control device for stereoscopic viewing device, stereoscopic viewing system, and control method for stereoscopic viewing device
CN201580003258.XA CN105830441B (zh) 2014-07-28 2015-07-21 立体观察装置用的控制装置、立体观察系统和立体观察装置的控制方法
US15/227,221 US9641827B2 (en) 2014-07-28 2016-08-03 Controller for 3D observation apparatus, 3D observation system, and method of controlling the 3D observation apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-153282 2014-07-28
JP2014153282 2014-07-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/227,221 Continuation US9641827B2 (en) 2014-07-28 2016-08-03 Controller for 3D observation apparatus, 3D observation system, and method of controlling the 3D observation apparatus

Publications (1)

Publication Number Publication Date
WO2016017482A1 true WO2016017482A1 (ja) 2016-02-04

Family

ID=55217383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/070727 WO2016017482A1 (ja) 2014-07-28 2015-07-21 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法

Country Status (5)

Country Link
US (1) US9641827B2 (ja)
EP (1) EP3197156A4 (ja)
JP (1) JP5930256B1 (ja)
CN (1) CN105830441B (ja)
WO (1) WO2016017482A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6345627B2 (ja) * 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP2022038252A (ja) * 2020-08-26 2022-03-10 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134058A (ja) * 2007-11-30 2009-06-18 Nikon Corp カメラシステム、およびカメラボディ
WO2013054891A1 (ja) * 2011-10-14 2013-04-18 オリンパス株式会社 三次元内視鏡装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3580869B2 (ja) * 1994-09-13 2004-10-27 オリンパス株式会社 立体視内視鏡
JP3905320B2 (ja) * 2001-02-28 2007-04-18 オリンパス株式会社 内視鏡用高温高圧蒸気滅菌容器及び内視鏡洗滌滅菌システム
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
JP2008216289A (ja) * 2007-02-28 2008-09-18 Nidec Copal Corp 手ぶれ補正装置
JP4705128B2 (ja) * 2008-04-15 2011-06-22 オリンパスメディカルシステムズ株式会社 マニピュレータ
DE102008040985B4 (de) * 2008-08-05 2021-05-27 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Mehrkamerasystems
DE102010041857A1 (de) * 2010-10-01 2012-04-05 Olympus Winter & Ibe Gmbh Stereoendoskop
JP5715372B2 (ja) * 2010-10-15 2015-05-07 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び内視鏡装置
JP2012113281A (ja) * 2010-11-04 2012-06-14 Panasonic Corp 立体撮像光学系、撮像装置及びカメラ
JP2013005274A (ja) * 2011-06-17 2013-01-07 Canon Inc 制御装置、制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134058A (ja) * 2007-11-30 2009-06-18 Nikon Corp カメラシステム、およびカメラボディ
WO2013054891A1 (ja) * 2011-10-14 2013-04-18 オリンパス株式会社 三次元内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3197156A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
JPWO2017169014A1 (ja) * 2016-03-30 2019-02-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
US11147647B2 (en) 2016-03-30 2021-10-19 Sony Olympus Mrdical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program

Also Published As

Publication number Publication date
JP5930256B1 (ja) 2016-06-08
EP3197156A4 (en) 2018-03-21
US9641827B2 (en) 2017-05-02
JPWO2016017482A1 (ja) 2017-04-27
CN105830441A (zh) 2016-08-03
CN105830441B (zh) 2017-08-22
US20160345000A1 (en) 2016-11-24
EP3197156A1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
EP2911391B1 (en) Head mounted image-sensing display device and composite image generating apparatus
JP5930256B1 (ja) 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
EP2362669A3 (en) Shutter glasses, 3D display apparatus and control method thereof
JP2011193348A (ja) 立体画像表示装置の視差量決定装置およびその動作制御方法
JP2016111533A5 (ja)
JPWO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP2014140593A5 (ja) 立体撮像装置
JP2013107439A (ja) 車載カメラのキャリブレーション装置
JP5893813B1 (ja) 内視鏡装置
JP2013197739A5 (ja)
JP6023865B2 (ja) 内視鏡装置、内視鏡装置の制御方法、およびプログラム
JPWO2017042999A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP7549467B2 (ja) 電子機器およびその制御方法ならびにプログラム
JP5767720B2 (ja) 頭部装着型表示装置、仮想画像生成装置およびそれらを有するシステム、並びに制御方法
JP2006285786A (ja) 情報処理方法、情報処理装置
JP5342892B2 (ja) 移動手段判定装置、移動手段判定方法、及び移動手段判定プログラム
KR101590777B1 (ko) 스테레오 비젼에서의 시차 보정장치 및 그 방법
KR20180059263A (ko) 멀티 코어 시스템 및 이의 구동 방법
CN116016890A (zh) 一种图像显示方法、系统、装置及设备
JP2013134660A (ja) 生産能力検証方法
JP2021026081A (ja) レンズ装置、撮像装置、撮像システム、それらの制御方法、プログラム、記憶媒体
JP2021072601A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法
JP2006050383A (ja) 立体画像表示装置およびその表示制御方法
JP2016054458A (ja) 映像処理装置、映像処理方法、およびプログラム
JP2012049897A (ja) 映像表示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016501249

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15826595

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015826595

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015826595

Country of ref document: EP