[第1の実施形態]
本発明の第1の実施形態について図面を参照して説明する。本発明に係る立体観察システムの一実施形態として内視鏡システム10を例に挙げて説明する。本実施形態に係る内視鏡システム10の構成例の概略を図1に示す。内視鏡システム10は、3次元内視鏡200と、制御装置100と、表示装置310とを備える。
3次元内視鏡200は、視差を利用して3次元画像を取得する立体観察装置のための機能を有する内視鏡である。このため、3次元内視鏡200は、2つの撮像部を有している。すなわち、3次元内視鏡200は、第1の撮像部212と第2の撮像部214とを有している。第1の撮像部212と第2の撮像部214とは、それぞれ図示しないレンズ等の光学系や撮像素子等を有する。第1の撮像部212と第2の撮像部214とは、それぞれ画像信号を生成する。
内視鏡システム10は、第1の撮像部212で取得した画像と第2の撮像部214で取得した画像とに基づいて3次元映像を構築し、この3次元映像をユーザに提示する。3次元映像を正しく構築するためには、第1の撮像部212で取得した画像と第2の撮像部214で取得した画像との視差を正しく調整する必要がある。例えば3次元内視鏡200の洗浄過程において滅菌のために3次元内視鏡200がオートクレーブにかけられると、第1の撮像部212及び第2の撮像部214の光軸にずれが発生し、3次元映像の構築が正しく行われなくなることがある。このような場合、例えば光軸がずれた分だけ第1の撮像部212で取得した画像と第2の撮像部214で取得した画像とを移動させる補正を行う必要がある。このような、光軸のずれを補正する処理を以降芯ずれ補正と称することにする。本実施形態に係る内視鏡システム10は、洗浄が行われる等、芯ずれ補正を行う必要があるときにのみ芯ずれ補正を実行し、不要な芯ずれ補正を行わないシステムである。
3次元内視鏡200には、制御装置100から電力が供給される。本実施形態では、制御装置100から3次元内視鏡200への電力供給、すなわち3次元内視鏡200への通電の履歴が記録される。3次元内視鏡200は、記録部220を有する。記録部220には、前回開始時間情報222と通電時間情報224とが記録される。前回開始時間情報222は、制御装置100から3次元内視鏡200への電力供給、すなわち、3次元内視鏡200への通電が既に終了している前回の通電の開始日時の情報を含む。通電時間情報224は、通電が既に終了している前回の通電についての通電していた時間、すなわち、制御装置100から3次元内視鏡200へ電力供給が供給されていた期間の情報を含む。
表示装置310は、3D用モニタである。ユーザは、3Dメガネを通して3D用モニタを見ることで、3次元映像の観察を行える。表示装置310は、3Dメガネが利用される構成に限らず、3次元表示を行える表示装置であればどのような装置でもよい。
制御装置100は、3次元内視鏡200の動作を制御する制御装置である。制御装置100は、例えば電子計算機によって実現され得る。すなわち、制御装置100に含まれる各部は、例えばCentral Processing Unit(CPU)やApplication Specific Integrated Circuit(ASIC)といった素子を含む計算機によって実現され得る。
制御装置100は、遮断時間取得部102と、開始時間取得部104と、非稼動時間算出部106と、判定部108と、通電検知部122と、時計124と、入力部126と、画像処理部130と、前回開始時間取得部142と、通電時間計測部144とを備える。
通電検知部122は、制御装置100から3次元内視鏡200への電力の供給の有無、すなわち、3次元内視鏡200への通電の有無を検知する。時計124は、現在の日時を出力する時計である。入力部126は、スイッチやダイヤルやキーボード等、一般的な入力装置である。入力部126は、ユーザからの指示を取得する。入力部126は、取得した指示を、画像処理部130へ出力する。
遮断時間取得部102は、3次元内視鏡200に設けられた記録部220に記録されている前回開始時間情報222と通電時間情報224とを読み出す。遮断時間取得部102は、前回開始時間情報222と通電時間情報224とに基づいて、前回の通電が終了した日時を遮断時間として取得する。
開始時間取得部104は、通電検知部122から通電開始の情報を取得し、時計124からその時の日時を取得する。このようにして開始時間取得部104は、3次元内視鏡200への通電が開始した日時を開始時間として取得する。
非稼動時間算出部106は、遮断時間取得部102から遮断時間を取得し、開始時間取得部104から開始時間を取得する。非稼動時間算出部106は、遮断時間から開始時間までの時間、すなわち、3次元内視鏡200への通電がなされていなかった時間を、非稼動時間として算出する。
判定部108は、非稼動時間算出部106から非稼動時間を取得する。判定部108は、非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であるとき、判定部108は、画像処理部130にその旨を伝達する。
画像処理部130は、第1の撮像部212及び第2の撮像部214から画像信号を取得し、取得した画像信号に対して画像処理を施す。この画像処理は、第1の撮像部212で得られた画像データと第2の撮像部214で得られた画像データとに基づいて、3次元映像を構築することを含む。画像処理部130は、画像処理後の映像信号を表示装置310に出力し、表示装置310に3次元映像を表示させる。
また、画像処理部130は、2D/3D切替部132を有する。2D/3D切替部132は、芯ずれ補正が必要であるとき、画像処理部130に3次元映像の構築を中止させる。このとき、2D/3D切替部132は、画像処理部130に、第1の撮像部212又は第2の撮像部214から取得した画像に基づいて、2次元映像を作成させる。画像処理部130は、2次元画像を作成し、作成した2次元映像を表示装置310に表示させる。2D/3D切替部132は、芯ずれ補正が終了したとき、再び画像処理部130に3次元映像を構築させる。その結果、画像処理部130は、3次元映像を構築し、構築した3次元映像を表示装置310に表示させる。
画像処理部130は、芯ずれ補正部134を有する。芯ずれ補正部134は、第1の撮像部212及び第2の撮像部214の光軸のずれを補正するため、この光軸のずれ量だけ第1の撮像部212で取得した画像と第2の撮像部214で取得した画像との位置関係を変化させる芯ずれ補正を行う。
画像処理部130は、報知部136を有する。報知部136は、芯ずれ補正が必要なとき、芯ずれ補正が必要な旨をユーザに報知するための処理を行う。例えば報知部136は、表示装置310に表示される画像に、芯ずれ補正が必要な旨の表示を含ませる。この報知により、ユーザは芯ずれ補正が必要であることを知ることができる。
前回開始時間取得部142は、通電検知部122から通電開始の情報を取得し、時計124からその時の日時を取得する。前回開始時間取得部142は、通電が開始した日時を前回開始時間情報222として、3次元内視鏡200の記録部220に記録する。
通電時間計測部144は、通電検知部122から通電状況の情報を取得し、通電が継続している時間を通電時間情報224として、記録部220に記録する。この通電時間情報224は、定期的に更新される。したがって、記録部220には、現在の通電が継続している期間が常に通電時間情報224として記録される。
本実施形態に係る制御装置の芯ずれ補正に係る動作について図2に示すフローチャートを参照して説明する。ここで説明する処理は、例えば、3次元内視鏡200が制御装置100に接続されて、3次元内視鏡200への通電が開始したことを通電検知部122が検知したときに実行される。
ステップS101において、制御装置100の遮断時間取得部102は、3次元内視鏡200の記録部220から前回開始時間情報222と通電時間情報224とを読み出す。
ステップS102において、制御装置100の前回開始時間取得部142は、時計124から現在の日時を取得し、現在の日時を前回開始時間情報222として記録部220に記録する。
ステップS103において、制御装置100の開始時間取得部104は、時計124から現在の日時を取得し、現在の日時を開始時間として非稼動時間算出部106へ出力する。
ステップS104において、制御装置100の遮断時間取得部102は、前回開始時間情報222と通電時間情報224とに基づいて、遮断時間を算出する。すなわち、遮断時間取得部102は、前回の通電の開始日時に、通電していた期間である通電時間を加算して得られる日時を遮断時間として算出する。遮断時間取得部102は、遮断時間を非稼動時間算出部106へ出力する。
ステップS105において、制御装置100の非稼動時間算出部106は、遮断時間と開始時間とを取得する。非稼動時間算出部106は、遮断時間と開始時間との差を非稼動時間として算出する。非稼動時間は、3次元内視鏡200への通電がなされていない期間を表す。非稼動時間算出部106は、算出した非稼動時間を判定部108へ出力する。
ステップS106において、制御装置100の判定部108は、非稼動時間が所定の時間よりも長いか否かを判定する。ここで、所定の時間は、例えば3次元内視鏡200の洗浄に要する時間に設定される。当該所定の時間は、例えば1時間である。非稼動時間が所定の時間よりも長いとき、3次元内視鏡200の洗浄が行われており、第1の撮像部212と第2の撮像部214との光軸がずれている可能性がある。非稼動時間が所定の時間よりも長いと判定されたとき、処理はステップS107に進む。
ステップS107において、制御装置100の画像処理部130は、芯ずれ補正処理を行う。芯ずれ補正処理は、芯ずれ補正を含む処理である。芯ずれ補正処理については後述する。芯ずれ補正処理の後、処理はステップS108に進む。
ステップS106の判定において、非稼動時間が所定の時間よりも長くないと判定されたときは、芯ずれ補正処理は不要と考えられる場合である。非稼動時間が所定の時間よりも長くないと判定されたとき、処理はステップS108に進む。
ステップS108において、制御装置100の通電時間計測部144は、記録部220に記録されている通電時間情報224を更新する。例えば通電時間計測部144は、カウントアップを行い、その値を通電時間情報224として記録部220に記録する。
ステップS109において、制御装置100は、制御終了であるか否かを判定する。例えばユーザが内視鏡システム10の使用を終了してその旨を制御装置100へと入力したとき、制御終了となる。また、制御装置100から3次元内視鏡200が取り外されて通電状態が解除されたとき、制御終了となる。制御終了でないと判定されたとき、処理はステップS108に戻る。したがって、制御終了になるまで、通電時間計測部144は、カウントアップを続け、記録部220に記録された通電時間情報は、順次更新される。この間、3次元内視鏡200は、ユーザによって3次元観察に使用される。一方、ステップS109の判定において制御終了であると判定されたとき、当該処理は終了する。
次にステップS107で行われる芯ずれ補正処理について図3に示すフローチャートを参照して説明する。
ステップS201において、画像処理部130の報知部136は、芯ずれ補正が必要である旨をユーザに報知するための処理を行う。例えば、報知部136は、芯ずれ補正が必要である旨を表示装置310に表示させる。なお、この報知は、音などの他の手段を用いて行われてもよい。
ステップS202において、画像処理部130の2D/3D切替部132は、画像処理部130に、2次元映像の作成及び表示を行わせる。このとき、画像処理部130は、第1の撮像部212から取得した画像と第2の撮像部214から取得した画像とのうち一方に基づいて、2次元映像を作成する。画像処理部130は、作成した2次元映像を表示装置310に表示させる。
なお、芯ずれ補正が第1の撮像部212から取得した画像と第2の撮像部214から取得した画像とのうち一方の画像を移動させることで行われる場合、2次元映像の作成は、基準となり移動されない方の画像に基づいて作成されることが好ましい。基準となる画像が用いられることで、後の3次元映像の表示と連続性が確保される。
ステップS203において、画像処理部130は、芯ずれ補正を行うか否かをユーザに問合せる旨の表示を、表示装置310に表示させる。
ステップS204において、画像処理部130は、芯ずれ補正を行う旨の入力がされたか否かを判定する。芯ずれ補正を行う旨の入力がされていないと判定されたとき、処理はステップS204を繰り返す。すなわち、芯ずれ補正を行う旨の入力があるまで待機する。一方、芯ずれ補正を行う旨の入力がされたとき、処理はステップS205に進む。
ステップS205において、画像処理部130の芯ずれ補正部134は、芯ずれ補正を行う。例えば、芯ずれ補正では、第1の撮像部212から取得した画像を基準として、第2の撮像部214から取得した画像を光軸の変化に応じて移動させる調整が行われる。このとき、第1の撮像部212の光学系が基準光学系となる。芯ずれ補正が終了したとき、処理はステップS206に進む。
ステップS206において、画像処理部130の報知部136は、芯ずれ補正が終了した旨をユーザに報知するための処理を行う。
ステップS207において、画像処理部130の2D/3D切替部132は、画像処理部130に、3次元映像の構築及び表示を行わせる。このとき、画像処理部130は、第1の撮像部212から取得した画像と第2の撮像部214から取得した画像との両方に基づいて、3次元映像の構築を行う。画像処理部130は、構築した3次元映像を表示装置310に表示させる。これ以降、表示装置310には、3次元映像が表示される。以上で芯ずれ補正処理は終了し、処理はステップS107に戻る。
本実施形態によれば、芯ずれ補正が必要となる3次元内視鏡200の洗浄がなされたか否かが、非稼動時間によって判断される。すなわち、3次元内視鏡200への通電がなされていない時間である非稼動時間が、所定の時間よりも短いとき洗浄はされていないと判定され、所定の時間よりも長いとき洗浄が行われたと判定される。このような判定によって、芯ずれ補正が必要なときにのみ、ユーザに芯ずれ補正を行うように促すことができる。以上により、芯ずれ補正が不要な場合にまで芯ずれ補正が行われることによるユーザへのストレスが低減される。また、芯ずれ補正が必要なときには2次元表示がなされるので、正しく構築されない3次元映像が表示装置310に表示されることが防止される。
なお、本実施形態では、前回の通電が遮断された遮断時間に係る情報が3次元内視鏡200に設けられた記録部220に記録されているので、制御装置100は、どのような3次元内視鏡200が接続されても正しく非稼動時間を算出することができる。また、記録部220には、遮断時間を算出するための情報として通電開始時に記録される前回開始時間情報222と、通電時に順次更新されることで通電期間を表す通電時間情報224とが記録されている。このため、3次元内視鏡200への通電中に突然に通電が遮断されても、遮断時間を算出するための情報は記録部220に保持されることになる。したがって、遮断時間取得部102は、3次元内視鏡200への通電が突然に遮断されても正しく遮断時間を算出できる。
なお、上述の実施形態では、芯ずれ補正の実施方法の一例として、第1の撮像部212で取得された画像を基準として第2の撮像部214で取得された画像を移動させる場合を説明した。しかしながら、芯ずれ補正の方法はこれに限らない。例えば所定の基準位置が設けられており、第1の撮像部212で取得された画像がこの基準位置に合わせられるように調整され、かつ、第2の撮像部214で取得された画像が当該基準位置に対応する基準位置に合わせられるように調整されてもよい。このとき上述の基準位置は、例えば適切に3次元映像が構築される場合の第1の撮像部212の光学系の光軸の基準位置と第2の撮像部214の光学系の光軸の基準位置と関連付けられている。すなわち、第1の撮像部212で取得された画像の位置は、第1の撮像部212の光学系の光軸の基準位置からのずれに応じて調整される。同様に、第2の撮像部214で取得された画像の位置は、第2の撮像部214の光学系の光軸の基準位置からのずれに応じて調整される。なお、この場合、2次元映像の作成は、第1の撮像部212で取得された画像と第2の撮像部214で取得された画像とのうち任意の何れか一方に基づいて作成される。さらに、上記所定の基準位置は、第1の撮像部212で取得された画像の基準位置(例えば第1の撮像部212で取得された画像の中心座標)と、第2の撮像部214で取得された画像の基準位置(例えば第2の撮像部214で取得された画像の中心座標)とを結ぶ線分の例えば中点に設定されるようにしてもよい。
また、芯ずれ補正は、画像処理によって行われるのみならず、例えば第1の撮像部212と第2の撮像部214との光学系の調整によって行われてもよい。
また、例えば図2及び図3を参照して説明した処理の順序は、適宜に変更され得るし、一部の処理が省略されてもよい。例えばステップS101乃至ステップS103で行われる処理の順序は任意である。また、ステップS204でユーザにより芯ずれ補正実行の指示が入力されるのを待たずに、芯ずれ補正が必要であるときは、芯ずれ補正が直ちに行われるように構成されてもよい。
本実施形態では、立体観察装置として3D内視鏡が用いられる場合を例に挙げて説明したが、内視鏡に限らず、通電していない時間が長いときに芯ずれ補正が必要となる種々の立体観察装置に本技術は適用され得る。
[第1の実施形態の変形例]
第1の実施形態の変形例について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
本変形例に係る内視鏡システム10の構成例の概略を図4に示す。第1の実施形態では3次元内視鏡200の記録部220に通電時間情報224が記録されていたが、本変形例では、記録部220に前回遮断時間情報226が記録されている。前回遮断時間情報226は、前回の通電が遮断された日時の情報を含む。制御装置100には、第1の実施形態の場合の前回開始時間取得部142及び通電時間計測部144の代わりに、前回遮断時間取得部146が設けられている。
前回遮断時間取得部146は、3次元内視鏡200への通電が遮断される直前に、記録部220に時計124から取得した日時を前回遮断情報として記録する。遮断時間取得部102は、通電検知部122から通電を開始した旨を取得したときに、記録部220に記録された前回遮断時間情報を遮断時間として取得する。
開始時間取得部104は、第1の実施形態と同様に、通電検知部122から通電を開始した旨を取得したときに時計124からその時の日時を開始時間として取得する。非稼動時間算出部106は、上記のようにして得られた遮断時間と開始時間とに基づいて、非稼動時間を算出する。判定部108は、算出された非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であると判定されたとき、画像処理部130は、第1の実施形態と同様に芯ずれ補正処理を行う。
本変形例によれば、第1の実施形態の場合と同様に、必要な場合にのみ芯ずれ補正処理が行われるという効果が得られる。さらに、本変形例によれば、第1の実施形態の場合と比較して、制御装置100で行われる処理が削減され、また、制御装置100と3次元内視鏡200との間の通信量も削減される。
[第2の実施形態]
本発明の第2の実施形態について説明する。ここでは、第1の実施形態の変形例との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
本実施形態に係る内視鏡システム10の構成例の概略を図5に示す。本実施形態では、第1の実施形態の変形例では3次元内視鏡200に設けられていた記録部が制御装置100に設けられている。制御装置100に設けられた記録部150には、内視鏡識別情報152と前回遮断時間情報154とが記録されている。
前回遮断時間取得部146は、通電検知部122から3次元内視鏡200への通電が遮断されたことを取得し、また、時計124からその時の日時を取得する。これらの情報に基づいて、前回遮断時間取得部146は、通電が遮断された時間を前回遮断時間情報154として記録する。
本実施形態に係る3次元内視鏡200には、3次元内視鏡200毎に固有な識別情報230が記録されている。制御装置100には、この識別情報230を読み取る識別情報取得部160が設けられている。識別情報取得部160は、読み取った識別情報230を記録部150に内視鏡識別情報152として記録する。内視鏡識別情報152と前回遮断時間情報154とは関連付けられている。すなわち、前回遮断時間情報154は内視鏡識別情報152毎に記録される。
本実施形態に係る遮断時間取得部102は、識別情報取得部160から識別情報を取得し、記録部150からその識別情報に対応する前回遮断時間情報154を遮断時間として取得する。
開始時間取得部104は、第1の実施形態の変形例と同様に、通電検知部122から通電を開始した旨を取得したときに時計124からその時の日時を開始時間として取得する。非稼動時間算出部106は、上記のようにして得られた遮断時間と開始時間とに基づいて、非稼動時間を算出する。判定部108は、算出された非稼動時間に基づいて、芯ずれ補正が必要であるか否かを判定する。芯ずれ補正が必要であると判定されたとき、画像処理部130は、第1の実施形態と同様に芯ずれ補正処理を行う。
本実施形態によれば、第1の実施形態の場合と同様に、必要な場合にのみ芯ずれ補正処理が行われるという効果が得られる。さらに、本実施形態によれば、第1の実施形態やその変形例の場合と比較して、制御装置100と3次元内視鏡200との間の通信量が削減される。また、内視鏡識別情報152が前回遮断時間情報154と関連付けられて記録部150に記録されるので、本実施形態によっても制御装置100は、どのような3次元内視鏡200が接続されても正しく非稼動時間を算出することができる。また、本実施形態によっても、第1の実施形態の場合と同様に、3次元内視鏡200への通電中に突然に通電が遮断されても、遮断時間が記録部150に記録される。