WO2016017482A1 - 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法 - Google Patents

立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法 Download PDF

Info

Publication number
WO2016017482A1
WO2016017482A1 PCT/JP2015/070727 JP2015070727W WO2016017482A1 WO 2016017482 A1 WO2016017482 A1 WO 2016017482A1 JP 2015070727 W JP2015070727 W JP 2015070727W WO 2016017482 A1 WO2016017482 A1 WO 2016017482A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
unit
misalignment correction
stereoscopic observation
energization
Prior art date
Application number
PCT/JP2015/070727
Other languages
English (en)
French (fr)
Inventor
泰宏 西垣
溝口 正和
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201580003258.XA priority Critical patent/CN105830441B/zh
Priority to EP15826595.9A priority patent/EP3197156A4/en
Priority to JP2016501249A priority patent/JP5930256B1/ja
Publication of WO2016017482A1 publication Critical patent/WO2016017482A1/ja
Priority to US15/227,221 priority patent/US9641827B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/121Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning post-use
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications

Abstract

 複数の光学系を利用して視差に基づく立体観察を行う立体観察装置のための制御装置(100)は、開始時間取得部(104)と、遮断時間取得部(102)と、非稼動時間算出部(106)と、判定部(108)とを備える。開始時間取得部(104)は、立体観察装置への通電が開始された開始時間を取得する。遮断時間取得部(102)は、立体観察装置への前回の通電が遮断された遮断時間を取得する。非稼動時間算出部(106)は、遮断時間から開始時間までの経過時間である非稼動時間を算出する。判定部(108)は、非稼動時間に基づいて光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する。

Description

立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
 本発明は、立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法に関する。
 2つの光学系を利用して得られた2つの画像とそれらの視差とに基づいて立体観察を行う3次元内視鏡装置に係る技術が、例えば日本国特開2013-090035号公報に開示されている。日本国特開2013-090035号公報には、3次元内視鏡を例えばオートクレーブにかけたとき、3次元内視鏡の光学系に芯ずれが発生することが開示されている。このようにして発生した芯ずれに対して補正が施されないと、正しい3次元映像が構築されない。日本国特開2013-090035号公報には、平行移動処理によって右目用画像を左目用画像に合わせ込む芯ずれ補正について開示されている。一方で、芯ずれに対する補正の必要がないときにまで芯ずれ補正が行われると煩わしい。
 本発明は、芯ずれ補正が必要であるか否かを判定する立体観察装置のための制御装置及び立体観察装置の制御方法を提供することを目的とする。
 本発明の一態様によれば、立体観察装置のための制御装置は、複数の光学系を利用して視差に基づく立体観察を行う立体観察装置のための制御装置であって、前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部とを備える。
 本発明の一態様によれば、立体観察システムは、複数の光学系を利用して視差に基づく立体観察を行う立体観察装置と、前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部と、前記複数の光学系を利用して取得した複数の画像に基づいて3次元映像を構築する画像処理部であって、前記芯ずれ補正が必要なときは前記複数の画像の位置関係を変化させることで前記芯ずれ補正を行う画像処理部とを備える。
 本発明の一態様によれば、立体観察装置の制御方法は、複数の光学系を利用して視差に基づく立体観察を行う立体観察装置の制御方法であって、前記立体観察装置への通電が開始された開始時間を取得することと、前記立体観察装置への前回の通電が遮断された遮断時間を取得することと、前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出することと、前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定することとを含む。
 本発明によれば、芯ずれ補正が必要であるか否かを判定する立体観察装置のための制御装置及び立体観察装置の制御方法が提供される。
図1は、本発明の第1の実施形態に係る内視鏡システムの構成例の概略を示すブロック図である。 図2は、第1の実施形態に係る処理の一例を示すフローチャートである。 図3は、第1の実施形態に係る芯ずれ補正処理の一例を示すフローチャートである。 図4は、第1の実施形態の変形例に係る内視鏡システムの構成例の概略を示すブロック図である。 図5は、第2の実施形態に係る内視鏡システムの構成例の概略を示すブロック図である。
 [第1の実施形態]
 本発明の第1の実施形態について図面を参照して説明する。本発明に係る立体観察システムの一実施形態として内視鏡システム10を例に挙げて説明する。本実施形態に係る内視鏡システム10の構成例の概略を図1に示す。内視鏡システム10は、3次元内視鏡200と、制御装置100と、表示装置310とを備える。
 3次元内視鏡200は、視差を利用して3次元画像を取得する立体観察装置のための機能を有する内視鏡である。このため、3次元内視鏡200は、2つの撮像部を有している。すなわち、3次元内視鏡200は、第1の撮像部212と第2の撮像部214とを有している。第1の撮像部212と第2の撮像部214とは、それぞれ図示しないレンズ等の光学系や撮像素子等を有する。第1の撮像部212と第2の撮像部214とは、それぞれ画像信号を生成する。
 内視鏡システム10は、第1の撮像部212で取得した画像と第2の撮像部214で取得した画像とに基づいて3次元映像を構築し、この3次元映像をユーザに提示する。3次元映像を正しく構築するためには、第1の撮像部212で取得した画像と第2の撮像部214で取得した画像との視差を正しく調整する必要がある。例えば3次元内視鏡200の洗浄過程において滅菌のために3次元内視鏡200がオートクレーブにかけられると、第1の撮像部212及び第2の撮像部214の光軸にずれが発生し、3次元映像の構築が正しく行われなくなることがある。このような場合、例えば光軸がずれた分だけ第1の撮像部212で取得した画像と第2の撮像部214で取得した画像とを移動させる補正を行う必要がある。このような、光軸のずれを補正する処理を以降芯ずれ補正と称することにする。本実施形態に係る内視鏡システム10は、洗浄が行われる等、芯ずれ補正を行う必要があるときにのみ芯ずれ補正を実行し、不要な芯ずれ補正を行わないシステムである。
 3次元内視鏡200には、制御装置100から電力が供給される。本実施形態では、制御装置100から3次元内視鏡200への電力供給、すなわち3次元内視鏡200への通電の履歴が記録される。3次元内視鏡200は、記録部220を有する。記録部220には、前回開始時間情報222と通電時間情報224とが記録される。前回開始時間情報222は、制御装置100から3次元内視鏡200への電力供給、すなわち、3次元内視鏡200への通電が既に終了している前回の通電の開始日時の情報を含む。通電時間情報224は、通電が既に終了している前回の通電についての通電していた時間、すなわち、制御装置100から3次元内視鏡200へ電力供給が供給されていた期間の情報を含む。
 表示装置310は、3D用モニタである。ユーザは、3Dメガネを通して3D用モニタを見ることで、3次元映像の観察を行える。表示装置310は、3Dメガネが利用される構成に限らず、3次元表示を行える表示装置であればどのような装置でもよい。
 制御装置100は、3次元内視鏡200の動作を制御する制御装置である。制御装置100は、例えば電子計算機によって実現され得る。すなわち、制御装置100に含まれる各部は、例えばCentral Processing Unit(CPU)やApplication Specific Integrated Circuit(ASIC)といった素子を含む計算機によって実現され得る。
 制御装置100は、遮断時間取得部102と、開始時間取得部104と、非稼動時間算出部106と、判定部108と、通電検知部122と、時計124と、入力部126と、画像処理部130と、前回開始時間取得部142と、通電時間計測部144とを備える。
 通電検知部122は、制御装置100から3次元内視鏡200への電力の供給の有無、すなわち、3次元内視鏡200への通電の有無を検知する。時計124は、現在の日時を出力する時計である。入力部126は、スイッチやダイヤルやキーボード等、一般的な入力装置である。入力部126は、ユーザからの指示を取得する。入力部126は、取得した指示を、画像処理部130へ出力する。
 遮断時間取得部102は、3次元内視鏡200に設けられた記録部220に記録されている前回開始時間情報222と通電時間情報224とを読み出す。遮断時間取得部102は、前回開始時間情報222と通電時間情報224とに基づいて、前回の通電が終了した日時を遮断時間として取得する。
 開始時間取得部104は、通電検知部122から通電開始の情報を取得し、時計124からその時の日時を取得する。このようにして開始時間取得部104は、3次元内視鏡200への通電が開始した日時を開始時間として取得する。
 非稼動時間算出部106は、遮断時間取得部102から遮断時間を取得し、開始時間取得部104から開始時間を取得する。非稼動時間算出部106は、遮断時間から開始時間までの時間、すなわち、3次元内視鏡200への通電がなされていなかった時間を、非稼動時間として算出する。
 判定部108は、非稼動時間算出部106から非稼動時間を取得する。判定部108は、非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であるとき、判定部108は、画像処理部130にその旨を伝達する。
 画像処理部130は、第1の撮像部212及び第2の撮像部214から画像信号を取得し、取得した画像信号に対して画像処理を施す。この画像処理は、第1の撮像部212で得られた画像データと第2の撮像部214で得られた画像データとに基づいて、3次元映像を構築することを含む。画像処理部130は、画像処理後の映像信号を表示装置310に出力し、表示装置310に3次元映像を表示させる。
 また、画像処理部130は、2D/3D切替部132を有する。2D/3D切替部132は、芯ずれ補正が必要であるとき、画像処理部130に3次元映像の構築を中止させる。このとき、2D/3D切替部132は、画像処理部130に、第1の撮像部212又は第2の撮像部214から取得した画像に基づいて、2次元映像を作成させる。画像処理部130は、2次元画像を作成し、作成した2次元映像を表示装置310に表示させる。2D/3D切替部132は、芯ずれ補正が終了したとき、再び画像処理部130に3次元映像を構築させる。その結果、画像処理部130は、3次元映像を構築し、構築した3次元映像を表示装置310に表示させる。
 画像処理部130は、芯ずれ補正部134を有する。芯ずれ補正部134は、第1の撮像部212及び第2の撮像部214の光軸のずれを補正するため、この光軸のずれ量だけ第1の撮像部212で取得した画像と第2の撮像部214で取得した画像との位置関係を変化させる芯ずれ補正を行う。
 画像処理部130は、報知部136を有する。報知部136は、芯ずれ補正が必要なとき、芯ずれ補正が必要な旨をユーザに報知するための処理を行う。例えば報知部136は、表示装置310に表示される画像に、芯ずれ補正が必要な旨の表示を含ませる。この報知により、ユーザは芯ずれ補正が必要であることを知ることができる。
 前回開始時間取得部142は、通電検知部122から通電開始の情報を取得し、時計124からその時の日時を取得する。前回開始時間取得部142は、通電が開始した日時を前回開始時間情報222として、3次元内視鏡200の記録部220に記録する。
 通電時間計測部144は、通電検知部122から通電状況の情報を取得し、通電が継続している時間を通電時間情報224として、記録部220に記録する。この通電時間情報224は、定期的に更新される。したがって、記録部220には、現在の通電が継続している期間が常に通電時間情報224として記録される。
 本実施形態に係る制御装置の芯ずれ補正に係る動作について図2に示すフローチャートを参照して説明する。ここで説明する処理は、例えば、3次元内視鏡200が制御装置100に接続されて、3次元内視鏡200への通電が開始したことを通電検知部122が検知したときに実行される。
 ステップS101において、制御装置100の遮断時間取得部102は、3次元内視鏡200の記録部220から前回開始時間情報222と通電時間情報224とを読み出す。
 ステップS102において、制御装置100の前回開始時間取得部142は、時計124から現在の日時を取得し、現在の日時を前回開始時間情報222として記録部220に記録する。
 ステップS103において、制御装置100の開始時間取得部104は、時計124から現在の日時を取得し、現在の日時を開始時間として非稼動時間算出部106へ出力する。
 ステップS104において、制御装置100の遮断時間取得部102は、前回開始時間情報222と通電時間情報224とに基づいて、遮断時間を算出する。すなわち、遮断時間取得部102は、前回の通電の開始日時に、通電していた期間である通電時間を加算して得られる日時を遮断時間として算出する。遮断時間取得部102は、遮断時間を非稼動時間算出部106へ出力する。
 ステップS105において、制御装置100の非稼動時間算出部106は、遮断時間と開始時間とを取得する。非稼動時間算出部106は、遮断時間と開始時間との差を非稼動時間として算出する。非稼動時間は、3次元内視鏡200への通電がなされていない期間を表す。非稼動時間算出部106は、算出した非稼動時間を判定部108へ出力する。
 ステップS106において、制御装置100の判定部108は、非稼動時間が所定の時間よりも長いか否かを判定する。ここで、所定の時間は、例えば3次元内視鏡200の洗浄に要する時間に設定される。当該所定の時間は、例えば1時間である。非稼動時間が所定の時間よりも長いとき、3次元内視鏡200の洗浄が行われており、第1の撮像部212と第2の撮像部214との光軸がずれている可能性がある。非稼動時間が所定の時間よりも長いと判定されたとき、処理はステップS107に進む。
 ステップS107において、制御装置100の画像処理部130は、芯ずれ補正処理を行う。芯ずれ補正処理は、芯ずれ補正を含む処理である。芯ずれ補正処理については後述する。芯ずれ補正処理の後、処理はステップS108に進む。
 ステップS106の判定において、非稼動時間が所定の時間よりも長くないと判定されたときは、芯ずれ補正処理は不要と考えられる場合である。非稼動時間が所定の時間よりも長くないと判定されたとき、処理はステップS108に進む。
 ステップS108において、制御装置100の通電時間計測部144は、記録部220に記録されている通電時間情報224を更新する。例えば通電時間計測部144は、カウントアップを行い、その値を通電時間情報224として記録部220に記録する。
 ステップS109において、制御装置100は、制御終了であるか否かを判定する。例えばユーザが内視鏡システム10の使用を終了してその旨を制御装置100へと入力したとき、制御終了となる。また、制御装置100から3次元内視鏡200が取り外されて通電状態が解除されたとき、制御終了となる。制御終了でないと判定されたとき、処理はステップS108に戻る。したがって、制御終了になるまで、通電時間計測部144は、カウントアップを続け、記録部220に記録された通電時間情報は、順次更新される。この間、3次元内視鏡200は、ユーザによって3次元観察に使用される。一方、ステップS109の判定において制御終了であると判定されたとき、当該処理は終了する。
 次にステップS107で行われる芯ずれ補正処理について図3に示すフローチャートを参照して説明する。
 ステップS201において、画像処理部130の報知部136は、芯ずれ補正が必要である旨をユーザに報知するための処理を行う。例えば、報知部136は、芯ずれ補正が必要である旨を表示装置310に表示させる。なお、この報知は、音などの他の手段を用いて行われてもよい。
 ステップS202において、画像処理部130の2D/3D切替部132は、画像処理部130に、2次元映像の作成及び表示を行わせる。このとき、画像処理部130は、第1の撮像部212から取得した画像と第2の撮像部214から取得した画像とのうち一方に基づいて、2次元映像を作成する。画像処理部130は、作成した2次元映像を表示装置310に表示させる。
 なお、芯ずれ補正が第1の撮像部212から取得した画像と第2の撮像部214から取得した画像とのうち一方の画像を移動させることで行われる場合、2次元映像の作成は、基準となり移動されない方の画像に基づいて作成されることが好ましい。基準となる画像が用いられることで、後の3次元映像の表示と連続性が確保される。
 ステップS203において、画像処理部130は、芯ずれ補正を行うか否かをユーザに問合せる旨の表示を、表示装置310に表示させる。
 ステップS204において、画像処理部130は、芯ずれ補正を行う旨の入力がされたか否かを判定する。芯ずれ補正を行う旨の入力がされていないと判定されたとき、処理はステップS204を繰り返す。すなわち、芯ずれ補正を行う旨の入力があるまで待機する。一方、芯ずれ補正を行う旨の入力がされたとき、処理はステップS205に進む。
 ステップS205において、画像処理部130の芯ずれ補正部134は、芯ずれ補正を行う。例えば、芯ずれ補正では、第1の撮像部212から取得した画像を基準として、第2の撮像部214から取得した画像を光軸の変化に応じて移動させる調整が行われる。このとき、第1の撮像部212の光学系が基準光学系となる。芯ずれ補正が終了したとき、処理はステップS206に進む。
 ステップS206において、画像処理部130の報知部136は、芯ずれ補正が終了した旨をユーザに報知するための処理を行う。
 ステップS207において、画像処理部130の2D/3D切替部132は、画像処理部130に、3次元映像の構築及び表示を行わせる。このとき、画像処理部130は、第1の撮像部212から取得した画像と第2の撮像部214から取得した画像との両方に基づいて、3次元映像の構築を行う。画像処理部130は、構築した3次元映像を表示装置310に表示させる。これ以降、表示装置310には、3次元映像が表示される。以上で芯ずれ補正処理は終了し、処理はステップS107に戻る。
 本実施形態によれば、芯ずれ補正が必要となる3次元内視鏡200の洗浄がなされたか否かが、非稼動時間によって判断される。すなわち、3次元内視鏡200への通電がなされていない時間である非稼動時間が、所定の時間よりも短いとき洗浄はされていないと判定され、所定の時間よりも長いとき洗浄が行われたと判定される。このような判定によって、芯ずれ補正が必要なときにのみ、ユーザに芯ずれ補正を行うように促すことができる。以上により、芯ずれ補正が不要な場合にまで芯ずれ補正が行われることによるユーザへのストレスが低減される。また、芯ずれ補正が必要なときには2次元表示がなされるので、正しく構築されない3次元映像が表示装置310に表示されることが防止される。
 なお、本実施形態では、前回の通電が遮断された遮断時間に係る情報が3次元内視鏡200に設けられた記録部220に記録されているので、制御装置100は、どのような3次元内視鏡200が接続されても正しく非稼動時間を算出することができる。また、記録部220には、遮断時間を算出するための情報として通電開始時に記録される前回開始時間情報222と、通電時に順次更新されることで通電期間を表す通電時間情報224とが記録されている。このため、3次元内視鏡200への通電中に突然に通電が遮断されても、遮断時間を算出するための情報は記録部220に保持されることになる。したがって、遮断時間取得部102は、3次元内視鏡200への通電が突然に遮断されても正しく遮断時間を算出できる。
 なお、上述の実施形態では、芯ずれ補正の実施方法の一例として、第1の撮像部212で取得された画像を基準として第2の撮像部214で取得された画像を移動させる場合を説明した。しかしながら、芯ずれ補正の方法はこれに限らない。例えば所定の基準位置が設けられており、第1の撮像部212で取得された画像がこの基準位置に合わせられるように調整され、かつ、第2の撮像部214で取得された画像が当該基準位置に対応する基準位置に合わせられるように調整されてもよい。このとき上述の基準位置は、例えば適切に3次元映像が構築される場合の第1の撮像部212の光学系の光軸の基準位置と第2の撮像部214の光学系の光軸の基準位置と関連付けられている。すなわち、第1の撮像部212で取得された画像の位置は、第1の撮像部212の光学系の光軸の基準位置からのずれに応じて調整される。同様に、第2の撮像部214で取得された画像の位置は、第2の撮像部214の光学系の光軸の基準位置からのずれに応じて調整される。なお、この場合、2次元映像の作成は、第1の撮像部212で取得された画像と第2の撮像部214で取得された画像とのうち任意の何れか一方に基づいて作成される。さらに、上記所定の基準位置は、第1の撮像部212で取得された画像の基準位置(例えば第1の撮像部212で取得された画像の中心座標)と、第2の撮像部214で取得された画像の基準位置(例えば第2の撮像部214で取得された画像の中心座標)とを結ぶ線分の例えば中点に設定されるようにしてもよい。
 また、芯ずれ補正は、画像処理によって行われるのみならず、例えば第1の撮像部212と第2の撮像部214との光学系の調整によって行われてもよい。
 また、例えば図2及び図3を参照して説明した処理の順序は、適宜に変更され得るし、一部の処理が省略されてもよい。例えばステップS101乃至ステップS103で行われる処理の順序は任意である。また、ステップS204でユーザにより芯ずれ補正実行の指示が入力されるのを待たずに、芯ずれ補正が必要であるときは、芯ずれ補正が直ちに行われるように構成されてもよい。
 本実施形態では、立体観察装置として3D内視鏡が用いられる場合を例に挙げて説明したが、内視鏡に限らず、通電していない時間が長いときに芯ずれ補正が必要となる種々の立体観察装置に本技術は適用され得る。
 [第1の実施形態の変形例]
 第1の実施形態の変形例について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
 本変形例に係る内視鏡システム10の構成例の概略を図4に示す。第1の実施形態では3次元内視鏡200の記録部220に通電時間情報224が記録されていたが、本変形例では、記録部220に前回遮断時間情報226が記録されている。前回遮断時間情報226は、前回の通電が遮断された日時の情報を含む。制御装置100には、第1の実施形態の場合の前回開始時間取得部142及び通電時間計測部144の代わりに、前回遮断時間取得部146が設けられている。
 前回遮断時間取得部146は、3次元内視鏡200への通電が遮断される直前に、記録部220に時計124から取得した日時を前回遮断情報として記録する。遮断時間取得部102は、通電検知部122から通電を開始した旨を取得したときに、記録部220に記録された前回遮断時間情報を遮断時間として取得する。
 開始時間取得部104は、第1の実施形態と同様に、通電検知部122から通電を開始した旨を取得したときに時計124からその時の日時を開始時間として取得する。非稼動時間算出部106は、上記のようにして得られた遮断時間と開始時間とに基づいて、非稼動時間を算出する。判定部108は、算出された非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であると判定されたとき、画像処理部130は、第1の実施形態と同様に芯ずれ補正処理を行う。
 本変形例によれば、第1の実施形態の場合と同様に、必要な場合にのみ芯ずれ補正処理が行われるという効果が得られる。さらに、本変形例によれば、第1の実施形態の場合と比較して、制御装置100で行われる処理が削減され、また、制御装置100と3次元内視鏡200との間の通信量も削減される。
 [第2の実施形態]
 本発明の第2の実施形態について説明する。ここでは、第1の実施形態の変形例との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
 本実施形態に係る内視鏡システム10の構成例の概略を図5に示す。本実施形態では、第1の実施形態の変形例では3次元内視鏡200に設けられていた記録部が制御装置100に設けられている。制御装置100に設けられた記録部150には、内視鏡識別情報152と前回遮断時間情報154とが記録されている。
 前回遮断時間取得部146は、通電検知部122から3次元内視鏡200への通電が遮断されたことを取得し、また、時計124からその時の日時を取得する。これらの情報に基づいて、前回遮断時間取得部146は、通電が遮断された時間を前回遮断時間情報154として記録する。
 本実施形態に係る3次元内視鏡200には、3次元内視鏡200毎に固有な識別情報230が記録されている。制御装置100には、この識別情報230を読み取る識別情報取得部160が設けられている。識別情報取得部160は、読み取った識別情報230を記録部150に内視鏡識別情報152として記録する。内視鏡識別情報152と前回遮断時間情報154とは関連付けられている。すなわち、前回遮断時間情報154は内視鏡識別情報152毎に記録される。
 本実施形態に係る遮断時間取得部102は、識別情報取得部160から識別情報を取得し、記録部150からその識別情報に対応する前回遮断時間情報154を遮断時間として取得する。
 開始時間取得部104は、第1の実施形態の変形例と同様に、通電検知部122から通電を開始した旨を取得したときに時計124からその時の日時を開始時間として取得する。非稼動時間算出部106は、上記のようにして得られた遮断時間と開始時間とに基づいて、非稼動時間を算出する。判定部108は、算出された非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であると判定されたとき、画像処理部130は、第1の実施形態と同様に芯ずれ補正処理を行う。
 本実施形態によれば、第1の実施形態の場合と同様に、必要な場合にのみ芯ずれ補正処理が行われるという効果が得られる。さらに、本実施形態によれば、第1の実施形態やその変形例の場合と比較して、制御装置100と3次元内視鏡200との間の通信量が削減される。また、内視鏡識別情報152が前回遮断時間情報154と関連付けられて記録部150に記録されるので、本実施形態によっても制御装置100は、どのような3次元内視鏡200が接続されても正しく非稼動時間を算出することができる。また、本実施形態によっても、第1の実施形態の場合と同様に、3次元内視鏡200への通電中に突然に通電が遮断されても、遮断時間が記録部150に記録される。

Claims (12)

  1.  複数の光学系を利用して視差に基づく立体観察を行う立体観察装置のための制御装置であって、
     前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、
     前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、
     前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、
     前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部と
     を備える立体観察装置のための制御装置。
  2.  前記前回の通電が開始された前回開始時間を記録部に記録させる前回開始時間取得部と、
     前記前回開始時間からの経過時間であって通電されている時間を表す通電時間を計測して前記記録部に記録させる通電時間計測部と、
     をさらに備え、
     前記遮断時間取得部は、前記前回開始時間と前記通電時間とに基づいて前記遮断時間を決定する、
     請求項1に記載の制御装置。
  3.  前記記録部は、前記立体観察装置に配置されている、請求項2に記載の制御装置。
  4.  前記芯ずれ補正が必要であるが前記芯ずれ補正が未だ行われていないとき、前記複数の光学系のうち何れか1つを用いた2次元観察を実行させ、前記芯ずれ補正が終了した後は前記立体観察を実行させる、2D/3D切替部をさらに備える、請求項1に記載の制御装置。
  5.  前記芯ずれ補正は、前記複数の光学系のうち何れか1つを基準光学系とし、前記複数の光学系のうち他の光学系を利用して取得された画像の位置を前記基準光学系を利用して取得された画像に対応して変化させる補正であり、
     前記2次元観察は、前記基準光学系を用いて行われる、
     請求項4に記載の制御装置。
  6.  前記複数の光学系の各々を利用して取得された各々の画像について基準位置が設けられており、前記芯ずれ補正は、前記各々の画像の位置を、各々の前記基準位置に合わせるように変化させる補正であり、
     前記2次元観察は、前記複数の光学系のうち何れか1つを用いて行われる、
     請求項4に記載の制御装置。
  7.  前記立体観察装置には、前記遮断時間が記録されている記録部が設けられており、
     前記遮断時間取得部は、前記記録部から前記遮断時間を取得する、
     請求項1に記載の制御装置。
  8.  前記立体観察装置には、前記立体観察装置毎に固有の識別情報が保持されており、
     前記識別情報と前記遮断時間との組み合わせが記録される記録部をさらに備える、
     請求項1に記載の制御装置。
  9.  前記芯ずれ補正が必要であると判定されたとき、前記芯ずれ補正が必要である旨を報知する報知部をさらに備える請求項1に記載の制御装置。
  10.  前記複数の光学系を利用して取得された複数の画像の位置関係を変化させることで前記芯ずれ補正を行う芯ずれ補正部をさらに備える請求項1に記載の制御装置。
  11.  複数の光学系を利用して視差に基づく立体観察を行う立体観察装置と、
     前記立体観察装置への通電が開始された開始時間を取得する開始時間取得部と、
     前記立体観察装置への前回の通電が遮断された遮断時間を取得する遮断時間取得部と、
     前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出する非稼動時間算出部と、
     前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定する判定部と、
     前記複数の光学系を利用して取得した複数の画像に基づいて3次元映像を構築する画像処理部であって、前記芯ずれ補正が必要なときは前記複数の画像の位置関係を変化させることで前記芯ずれ補正を行う画像処理部と
     を備える立体観察システム。
  12.  複数の光学系を利用して視差に基づく立体観察を行う立体観察装置の制御方法であって、
     前記立体観察装置への通電が開始された開始時間を取得することと、
     前記立体観察装置への前回の通電が遮断された遮断時間を取得することと、
     前記遮断時間から前記開始時間までの経過時間である非稼動時間を算出することと、
     前記非稼動時間に基づいて前記光学系の光軸のずれの影響を補正する芯ずれ補正が必要であるか否かを判定することと
     を含む立体観察装置の制御方法。
PCT/JP2015/070727 2014-07-28 2015-07-21 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法 WO2016017482A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580003258.XA CN105830441B (zh) 2014-07-28 2015-07-21 立体观察装置用的控制装置、立体观察系统和立体观察装置的控制方法
EP15826595.9A EP3197156A4 (en) 2014-07-28 2015-07-21 Control device for stereoscopic viewing device, stereoscopic viewing system, and control method for stereoscopic viewing device
JP2016501249A JP5930256B1 (ja) 2014-07-28 2015-07-21 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
US15/227,221 US9641827B2 (en) 2014-07-28 2016-08-03 Controller for 3D observation apparatus, 3D observation system, and method of controlling the 3D observation apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014153282 2014-07-28
JP2014-153282 2014-07-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/227,221 Continuation US9641827B2 (en) 2014-07-28 2016-08-03 Controller for 3D observation apparatus, 3D observation system, and method of controlling the 3D observation apparatus

Publications (1)

Publication Number Publication Date
WO2016017482A1 true WO2016017482A1 (ja) 2016-02-04

Family

ID=55217383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/070727 WO2016017482A1 (ja) 2014-07-28 2015-07-21 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法

Country Status (5)

Country Link
US (1) US9641827B2 (ja)
EP (1) EP3197156A4 (ja)
JP (1) JP5930256B1 (ja)
CN (1) CN105830441B (ja)
WO (1) WO2016017482A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6345627B2 (ja) * 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP2022038252A (ja) * 2020-08-26 2022-03-10 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134058A (ja) * 2007-11-30 2009-06-18 Nikon Corp カメラシステム、およびカメラボディ
WO2013054891A1 (ja) * 2011-10-14 2013-04-18 オリンパス株式会社 三次元内視鏡装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3580869B2 (ja) * 1994-09-13 2004-10-27 オリンパス株式会社 立体視内視鏡
JP3905320B2 (ja) * 2001-02-28 2007-04-18 オリンパス株式会社 内視鏡用高温高圧蒸気滅菌容器及び内視鏡洗滌滅菌システム
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
JP2008216289A (ja) * 2007-02-28 2008-09-18 Nidec Copal Corp 手ぶれ補正装置
JP4705128B2 (ja) * 2008-04-15 2011-06-22 オリンパスメディカルシステムズ株式会社 マニピュレータ
DE102008040985B4 (de) * 2008-08-05 2021-05-27 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Mehrkamerasystems
DE102010041857A1 (de) * 2010-10-01 2012-04-05 Olympus Winter & Ibe Gmbh Stereoendoskop
JP5715372B2 (ja) * 2010-10-15 2015-05-07 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び内視鏡装置
JP2012113281A (ja) * 2010-11-04 2012-06-14 Panasonic Corp 立体撮像光学系、撮像装置及びカメラ
JP2013005274A (ja) * 2011-06-17 2013-01-07 Canon Inc 制御装置、制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134058A (ja) * 2007-11-30 2009-06-18 Nikon Corp カメラシステム、およびカメラボディ
WO2013054891A1 (ja) * 2011-10-14 2013-04-18 オリンパス株式会社 三次元内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3197156A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
JPWO2017169014A1 (ja) * 2016-03-30 2019-02-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
US11147647B2 (en) 2016-03-30 2021-10-19 Sony Olympus Mrdical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program

Also Published As

Publication number Publication date
EP3197156A1 (en) 2017-07-26
CN105830441A (zh) 2016-08-03
US9641827B2 (en) 2017-05-02
US20160345000A1 (en) 2016-11-24
EP3197156A4 (en) 2018-03-21
JPWO2016017482A1 (ja) 2017-04-27
JP5930256B1 (ja) 2016-06-08
CN105830441B (zh) 2017-08-22

Similar Documents

Publication Publication Date Title
EP2911391B1 (en) Head mounted image-sensing display device and composite image generating apparatus
JP5930256B1 (ja) 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
EP2362669A3 (en) Shutter glasses, 3D display apparatus and control method thereof
JP2011071928A5 (ja)
JP2011193348A (ja) 立体画像表示装置の視差量決定装置およびその動作制御方法
JPWO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP5893813B1 (ja) 内視鏡装置
JP2013197739A5 (ja)
JP2013107439A (ja) 車載カメラのキャリブレーション装置
JP5767720B2 (ja) 頭部装着型表示装置、仮想画像生成装置およびそれらを有するシステム、並びに制御方法
JP2014123208A (ja) 3次元復元装置
JPWO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP5554157B2 (ja) 映像同期撮影システム、及び映像同期撮影方法
JP2006285786A (ja) 情報処理方法、情報処理装置
JP7455768B2 (ja) 内視鏡較正システム、内視鏡装置、内視鏡装置の較正方法および内視鏡較正プログラム
JP5342892B2 (ja) 移動手段判定装置、移動手段判定方法、及び移動手段判定プログラム
KR101590777B1 (ko) 스테레오 비젼에서의 시차 보정장치 및 그 방법
CN116016890A (zh) 一种图像显示方法、系统、装置及设备
JP2013134660A (ja) 生産能力検証方法
JP2021026081A (ja) レンズ装置、撮像装置、撮像システム、それらの制御方法、プログラム、記憶媒体
JP2021072601A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法
JP2021192492A (ja) 電子機器およびその制御方法ならびにプログラム
JP2006050383A (ja) 立体画像表示装置およびその表示制御方法
JP2011145732A (ja) タイミング制御装置、タイミング制御方法
JP2016054458A (ja) 映像処理装置、映像処理方法、およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016501249

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15826595

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015826595

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015826595

Country of ref document: EP