JP6150955B2 - 立体視内視鏡装置およびビデオプロセッサ - Google Patents

Description

本発明は、立体視内視鏡装置に関し、特に、三次元画像から二次元画像への表示切換を行う立体視内視鏡装置およびビデオプロセッサに関する

従来より、内視鏡装置が医療分野及び工業分野で広く利用されている。内視鏡は、細長い挿入部を有し、ユーザは、挿入部の先端部に設けられた観察窓を通った被写体像をモニタに表示して被検体を観察することができる。

また、近年は、２つの観察窓を通して被写体からの反射光を受光して被写体の立体視を可能とする立体視内視鏡装置も実用化されている。立体視内視鏡装置によれば、ユーザは、例えば病変部を立体視できるので、病変部の観察及び処置がし易い。

また、立体視内視鏡装置において、患部周辺の状況把握をするために、立体視のための視野の狭い三次元画像と、周辺部を観察可能な視野の広い二次元画像の切換ができる内視鏡装置が、日本特開２００３−３３４１６０号公報に提案されて開示されている。

さらにまた、立体視内視鏡装置において、左右の画像のばらつきを低減して違和感のない立体視が可能な内視鏡装置が、日本特開２００５−２９６４６７号公報に提案されて開示されている。

立体視内視鏡装置により観察あるいは処置を行っているとき、挿入部の先端部の観察窓に異物が付着すると、ユーザは送気送水ボタンを操作して送気送水ノズルから水と空気を噴射して観察窓に付着した異物を除去することができる。

しかし、観察窓の一方の表面のみに異物が付着した状態では、ユーザは観察画像を正しく立体視できない。それまで立体視していた観察画像が正しく立体視できない状態になると、ユーザは、見ている画像に違和感を覚える。

その観察窓に付着した異物を除去する場合は、ユーザは、異物を除去するために送気送水ボタンを操作することもできるが、三次元画像表示から二次元画像表示に切り換える切換操作を行う場合もある。
ユーザが画像に違和感を覚える度に、三次元画像表示から二次元画像表示に切り換える切換操作を行うことは、ユーザには煩雑である。

また、上述した日本特開２００３−３３４１６０号公報には、広角二次元画像中における特定の色彩を有する領域を抽出して面積を算出し、算出された面積が所定の閾値と比較してその比較結果に基づいて立体視三次元画像と、広角二次元画像の表示切換を行う技術が開示されている。

さらに、上述した日本特開２００５−２９６４６７号公報には、左右目用の２つの画像に表示される同一のテスト信号の画像の少なくとも一部を撮影し、撮影して得られたその一部の画像の信号の差が所定値以上であるときに、立体視三次元画像と広角二次元画像の表示切換を行う技術が開示されている。

しかし、いずれの先行技術においても、特定の色彩の領域の面積あるいは一部の画像の信号のみに基づいて表示切換を行うため、観察窓の一方に異物が付着することによりユーザが立体視できない場合、三次元画像から二次元画像への表示切換が正しく行われない虞がある。

そこで、本発明は、三次元画像から二次元画像への表示切換を正しく行うことができる立体視内視鏡装置およびビデオプロセッサを提供することを目的とする。

本発明の立体視内視鏡装置は、第１及び第２の光学像を結像する対物光学系により結像された前記第１及び前記第２の光学像を撮像する撮像部と、前記撮像部から出力された前記第１の光学像に基づく第１の画像信号及び前記第２の光学像に基づく第２の画像信号が入力され、前記第１の画像信号に基づく第１の画像と前記第２の画像信号に基づく第２の画像を比較して、前記第１の画像と前記第２の画像の類似度を算出する類似度算出部と、
前記対物光学系の一部に異物が付着することにより、前記異物が付着していないときよりも前記類似度が低くなったとき、前記第１の画像信号及び前記第２の画像信号からなる三次元画像信号から、前記第１の画像信号又は前記第２の画像信号のうち前記異物が少ない画像に基づくいずれか一方の画像信号からなる二次元画像信号に切り換えて出力する画像信号出力部と、を備える。
本発明のビデオプロセッサは、対物光学系により結像された第１の光学像の撮像により生成された第１の画像信号及び対物光学系により結像された第２の光学像の撮像により生成された第２の画像信号を受信し、前記第１の画像信号に基づく第１の画像と前記第２の画像信号に基づく第２の画像を比較して、前記第１の画像と前記第２の画像の類似度を算出する類似度算出部と、前記対物光学系の一部に異物が付着することにより、前記異物が付着していないときよりも前記類似度が低くなったとき、前記第１の画像信号及び前記第２の画像信号からなる三次元画像信号から、前記第１の画像信号又は前記第２の画像信号のうち前記異物が少ない画像に基づくいずれか一方の画像信号からなる二次元画像信号に切り換えて出力する画像信号出力部と、を有する。

本発明の実施の形態に係わる立体視内視鏡装置の構成を示す構成図である。 本発明の実施の形態に係わる類似度判定部２２の処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、テンプレートマッチング法により類似度Rを算出する方法を説明するための、撮像素子１３において生成された２つの画像の領域の例を示す図である。 本発明の実施の形態に係わる、撮像素子１３から出力される画像信号に含まれる右目用画像と左目用画像の各々を分割した画像の例を示す図である。 本発明の実施の形態に係わる、時間経過に伴う、表示部４に表示される画像の切り換え状態を示す図である。 本発明の実施の形態の変形例１に係わる立体視内視鏡装置の構成を示す構成図である。 本発明の実施の形態の変形例２に係る類似度判定部２２の処理の流れの例を示すフローチャートである。 本発明の実施の形態の変形例３に係る類似度判定部２２Aの構成を示すブロック図である。

以下、図面を参照して本発明の実施の形態を説明する。

（構成）
図１は、本実施の形態に係わる立体視内視鏡装置の構成を示す構成図である。

立体視内視鏡装置１は、内視鏡２と、ビデオプロセッサ３と、表示部４と、条件設定部５とを有して構成される。内視鏡２とビデオプロセッサ３は、ケーブル６を介して接続されている。

内視鏡２は、立体撮像を行う立体視内視鏡である。内視鏡２は、細長の挿入部２ａを有し、挿入部２ａの先端部に観察対象からの反射光が入射する２つの観察窓１１R、１１Lを有する。２つの観察窓１１Rと１１Lの後ろ側には、それぞれ対物光学系１２Rと１２Lが配設されている。内視鏡２は、対物光学系１２Rと１２Lの焦点位置に配設された、CCDなどの撮像素子１３を有する。撮像素子１３は、ケーブル６に挿通された信号線１４によりビデオプロセッサ３と接続されている。

観察窓１１Rは、立体視のための右目用の観察窓であり、観察窓１１Lは、立体視のための左目用の観察窓である。各観察窓１１R、１１Lに入射した光は、対応する対物光学系１２Rと１２Lを通って撮像素子１３の撮像面上に結像する。

撮像素子１３は、撮像面上に形成された光学像を光電変換して撮像信号を信号線１４に出力する。出力される撮像信号は、矩形の撮像面の画像信号である。撮像素子１３から出力される撮像信号には、右目用の画像と、左目用の画像を含む。

すなわち、撮像素子１３は、２つの光学像を結像する対物光学系により結像された２つの光学像を撮像する撮像部を構成する。より具体的には、撮像部である撮像素子１３は、右目用の光学像を結像する対物光学系１２Rにより結像された右目用の光学像及び左目用の光学像を結像する対物光学系１２Lにより結像された左目用の光学像を撮像する。

ビデオプロセッサ３は、カメラコントロールユニット（以下、CCUという）２１と、類似度判定部２２と、画像信号出力部２３とを含む。
CCU２１は、撮像素子１３からの撮像信号を受信して、撮像信号に含まれる右目用画像と左目用画像を生成する画像信号生成回路である。

CCU２１において生成された右目用画像と左目用画像の２つの画像信号は、類似度判定部２２と画像信号出力部２３に出力される。
類似度判定部２２は、中央処理装置（CPU）、ROM及びRAM等の回路を含み、CCU２１からの右目用画像と左目用画像の２つの画像信号に基づいて、２つの画像の類似度を算出し、算出した類似度と所定の閾値を比較して判定した判定信号CSを出力する処理を行う。類似度の算出方法については、後述する。

すなわち、類似度判定部２２は、撮像素子１３から出力された第１の光学像に基づく第１の画像信号及び第２の光学像に基づく第２の画像信号が入力され、第１の画像信号に基づく第１の画像と第２の画像信号に基づく第２の画像を比較して第１の画像と第２の画像の類似度を算出する類似度算出部を構成する。より具体的には、類似度判定部２２は、撮像素子１３から出力された右目用の光学像に基づく右目用画像信号及び左目用の光学像に基づく左目用画像信号が入力されることにより、右目用の画像と左目用の画像を比較して右目用の画像と左目用の画像の類似度を算出する類似度算出部を構成する。

画像信号出力部２３は、CCU２１からの右目用画像と左目用画像の２つの画像信号を受信し、類似度判定部２２からの判定信号CSに基づいて、三次元画像表示のための左右の２つの画像信号か二次元画像表示のための左右のいずれかの画像信号を表示部４へ出力する。

具体的には、画像信号出力部２３は、立体視のための三次元画像表示が指示されているときに、二次元画像を出力する判定信号CSである制御信号CS2を受信すると、右目用画像と左目用画像の２つの画像信号の一方のみを表示部４へ出力する。また、画像信号出力部２３は、三次元画像を出力する判定信号CSである制御信号CS3を受信しているとき、右目用画像と左目用画像の２つの画像信号を表示部４へ出力する。

すなわち、画像信号出力部２３は、算出された類似度に基づいて、２つの画像信号からなる三次元画像信号と、２つの画像信号のうちいずれか一方からなる二次元画像信号と、を切り換えて出力する。

なお、ここでは、画像信号出力部２３は、制御信号CS3を受信しているとき、右目用画像と左目用画像の２つの画像信号を表示部４へ出力しているが、類似度判定部２２は、類似度の算出をして、類似度が所定の条件を満たすときに制御信号CS2だけを出力するようにして、画像信号出力部２３は、その制御信号CS2を受信しているとき右目用画像と左目用画像の２つの画像信号の一方のみを表示部４へ出力し、制御信号CS2を受信していないときには右目用画像と左目用画像の２つの画像信号を表示部４へ出力するようにしてもよい。

表示部４は、液晶表示装置などのモニタである。表示部４には、左右の画像が交互に表示される。ユーザは、例えば表示部４に表示される左右の画像を立体視用の眼鏡を利用して表示部４を見ることで被写体像を立体視することができる。

条件設定部５は、類似度判定部２２へ各種条件を入力して設定するための入力装置である。各種条件は、ここでは、後述するテンプレート画像の領域の位置とサイズ、後述する閾値TH、後述する周期PDであり、ユーザである術者は、条件設定部５から各種条件を任意に設定変更することができる。よって、条件設定部５は、類似度判定部２２に対して、所定の閾値に関する設定を変更するための設定部であり、周期PD及び閾値THは、設定変更可能である。

条件設定部５は、例えば、ビデオプロセッサ３に接続されたキーボードあるいはパーソナルコンピュータ等、あるいはビデオプロセッサ３の操作パネルである。
よって、ユーザは、後述するテンプレート画像TIとして、後述する主画像MIにおける例えば中心部分の所望の領域を設定してもよいし、閾値THも、所望の値に設定し、周期PDも所望の値に設定することができる。

なお、ビデオプロセッサ３は、操作パネル（図示せず）、及び操作パネルへのユーザの操作入力に応じた処理を実行する制御部（図示せず）なども有している。

（作用）
立体視内視鏡装置１は、立体視のための三次元画像表示が可能であり、CCU２１は、右目用画像と左目用画像の２つの画像信号を生成して、画像信号出力部２３へ出力する。その結果、表示部４には、三次元画像が表示され、すなわち右目用画像と左目用画像が交互に表示され、ユーザは、例えば左右の画像に対応して交互に開閉するシャッタを有する立体視用の眼鏡を通して表示部４を見ることで被写体像を立体視することができる。

図２は、類似度判定部２２の処理の流れの例を示すフローチャートである。
類似度判定部２２には、図１に示すようにCCU２１からの右目用画像と左目用画像の２つの画像信号が入力されている。

類似度判定部２２は、CCU２１からの右目用画像と左目用画像の２つの画像信号の類似度Rを算出する処理を所定の周期PDで実行する類似度算出処理を実行する（S1）。
ここで、類似度Rの算出方法について説明する。類似度Rの算出は、次のようにして行われる。図３は、テンプレートマッチング法により類似度Rを算出する方法を説明するための、撮像素子１３において生成された２つの画像の領域の例を示す図である。

図３に示すように、撮像素子１３の撮像面領域に対応する画像３１は、右目用画像３２に対応する右目用画像領域と左目用画像３３に対応する左目用画像領域の２つの画像領域を含む。

右目用画像３２と左目用画像３３のうち、予め設定した方の画像（例えば左目用画像３３）を主画像MIとし、主画像MI中の所定の領域の部分画像を切り出してテンプレート画像TIとする。

そして、右目用画像３２と左目用画像３３の内、主画像MIでない方の従画像DI（例えば右目用画像）全体の中にあるいは従画像DI中に設定した領域の画像CR（点線で示す）の中に、テンプレート画像TIと一致する画像があるか否かを求めるテンプレートマッチング処理により、２つの画像の類似度Rを算出する。

具体的には、テンプレートマッチング処理では、テンプレート画像TIを、M画素とN画素からなるM×Nの矩形画像（M,Nは整数である）とし、テンプレート画像TIと重ね合わされる従画像DI中あるいは画像CR中に、テンプレート画像TIと一致する画像領域があるか否かを、従画像DIあるいは画像CRに対してテンプレート画像TIを所定の順番で移動させながら各位置での類似度が算出される。

テンプレート画像TI上の位置（ｉ，ｊ）における画素値をT（ｉ，ｊ）とし、テンプレート画像TIと重ね合わされる従画像DIあるいは画像CR中の画像上の位置（ｉ，ｊ）における画素値をＩ（ｉ，ｊ）とするとき、類似度Rは、次の式で表される。

式（１）は、両画素値の差の二乗の、Ｍ×Ｎ画素内で総和をとった値が、類似度Rであることを示している。

テンプレート画像TIと、テンプレート画像TIと重ね合わされる従画像中の画像とが完全に一致すると、Rは０（ゼロ）となり、Rが０に近い程、一致度が高いすなわち類似度が高いことになる。
類似度判定部２２は、所定の周期PDでテンプレートマッチング処理を実行し、テンプレート画像TIと、従画像DI中の画像との類似度が最も高い位置における類似度Rsを求める。

類似度判定部２２は、設定された閾値THと類似度Rsを比較し、類似度Rsが閾値TH以上であるときは、表示部４に二次元画像を表示させるために、二次元画像を出力する制御信号CS2を画像信号出力部２３へ出力する。

以上のように、類似度算出部である類似度判定部２２は、２つの画像中の第１の画像において設定された領域の画像と、２つの画像中の第２の画像において設定された領域の画像を比較して類似度Rsを算出する。ここでは、類似度判定部２２は、テンプレートマッチング法により第１の画像と第２の画像を比較して類似度Rsを算出する。画像信号出力部２３は、類似度が所定の閾値THよりも低い場合に三次元画像信号から二次元画像信号へ切り換えて表示部４へ出力する。

なお、類似度Rsは、上述した式（１）を用いるテンプレートマッチング法以外のテンプレートマッチング法を用いて算出するようにしてもよい。
さらになお、類似度Rsは、テンプレートマッチング法以外の類似度の判定方法を用いて算出するようにしてもよい。

例えば、右目用画像３２と左目用画像３３の各々を複数の領域に分割し、分割領域の明るさ分布に基づいて、類似度を算出するようにしてもよい。

図４は、撮像素子１３から出力される画像信号に含まれる右目用画像と左目用画像の各々を分割した画像の例を示す図である。

図４は、撮像素子１３により撮像して得られる画像３１を示す。CCU２１から出力された画像３１は、右目用画像３２と左目用画像３３を含む。右目用画像３２と左目用画像３３は、同じサイズと形状を有している。

類似度判定部２２は、右目用画像３２を所定の形状に分割した複数の画像を抽出し、左目用画像３３についても、右目用画像３２と同様に分割した複数の画像を抽出する。図４では、右目用画像３２と左目用画像３３の各々は、９つの画像領域に分割されている。

右目用画像３２と左目用画像３３の分割領域は、条件設定部５から設定される。すなわち、右目用画像３２と左目用画像３３の各々の複数の領域の数あるいは範囲は設定変更可能である。

右目用画像３２は、９つの画像領域３２ａ〜３２ｉに分割され、左目用画像３３は、９つの領域３３ａ〜３３ｉに分割される。右目の画像領域３２ａ〜３２ｉは、それぞれ左目の領域３３ａ〜３３ｉに対応する。
なお、ここでは、右目用画像３２と左目用画像３３の各々は、９つの画像領域に分割されているが、より多い数あるいはより少ない数に分割してもよい。

類似度判定部２２は、右目用画像３２の分割された各領域３２ａ〜３２ｉの明るさと、左目用画像３３の分割された各領域３３ａ〜３３ｉの明るさを算出し、右目用画像３２の明るさの分布と、左目用画像３３の明るさの分布とを比較し、同様の分布であるか否かを判定する。

各領域の明るさは、各画像内の複数の画素の画素値の総和あるいは平均値から決定される。
類似度判定部２２は、対応する２つの分割領域の明るさの差を算出し、差の総和が所定値未満であるとき、右目用画像３２と左目用画像３３は類似していると判定する。

例えば、領域３２ａの明るさRaと、領域３３ａの明るさLaを算出し、明るさの差（Ra−La）を求める。同様に、領域３２ｂの明るさRbと、領域３３ｂの明るさLbを算出し、明るさの差（Rb−Lb）を求める。他の領域３２ｃ〜３２ｉ、３２ｃ〜３２ｉについても同様に差を求める。求められた９つの差分値の和（（Ra−La）＋（Rb−Lb）＋（Rc−Lc）＋（Rd−Ld）＋（Re−Le）＋（Rf−Lf）＋（Rg−La）＋（Rh−Lh）＋（Ri−Li））、を類似度Rとして、類似度Rが所定値未満であれば、右目用画像３２と左目用画像３３は類似していると判定される。

もしも、片方の観察窓に異物が付着していると、差分値の総和である類似度Rsが所定値以上になるので、右目用画像３２と左目用画像３３は類似していないと判定される。
類似度判定部２２は、明るさの差分値の総和である類似度Rsが所定値以上で右目用画像３２と左目用画像３３が類似していないと判定すると、二次元画像を出力させる制御信号CS2を画像信号出力部２３へ出力し、明るさの差分値の総和である類似度Rsが所定値未満で右目用画像３２と左目用画像３３は類似していると判定すると、三次元画像を出力させる制御信号CS3を画像信号出力部２３へ出力する。

以上のように、類似度判定部２２は、右目用画像３２の明るさ分布と左目用画像３３の明るさ分布を比較して類似度Rsを算出する。具体的には、右目用画像３２は、複数の領域に分割されると共に、左目用画像３３も右目用画像３２と同様に複数に分割される。そして、類似度判定部２２は、右目用画像３２の明るさ分布としての右目用画像３２の分割された複数の領域の明るさ分布と、左目用画像３３の明るさ分布としての左目用画像３３の分割された複数の領域の明るさ分布を比較して類似度Rsを算出する。

よって、このような画像における明るさ分布に基づいても、２つの画像の類似度を判定することができる。
なお、各領域に重み付けをして、前記差分値の和を算出するようにしてもよい。例えば、右目用画像３２と左目用画像３３の各画像の中央部の領域３２ｅと３３ｅに対して、周囲の各領域３２ａ、３２ｂ等、３３ａ、３３ｂ等よりも高い重み付けをするようにしてもよい。

例えば、複数の分割領域の中から、右目用画像３２と左目用画像３３の各画像の中央部の領域について最も高い重み付けをし、周辺領域に向かって重み付けが徐々に低くなっていくように重み付けをする。

すなわち、複数の領域の各々に、類似度の算出のための重み付けをし、類似度判定部２２は、各領域に対し、重み付けがされた右目用画像３２と左目用画像３３の明るさの分布を比較して類似度を算出する。

また、重み付け係数を０（ゼロ）にすることにより、所望の分割領域を、類似度Rの算出の対象から除外することもできる。重み付け係数を０（ゼロ）にすることにより、分割された複数の領域中、類似度の算出の対象としない領域が設定可能である。

重み付け係数あるいは除外領域の設定あるいは指定は、例えばユーザが条件設定部５から行う。

さらに、右目用画像３２と左目用画像３３の類似度Rは、テンプレートマッチング判定、及び明るさ分布判定以外の他の方法により算出するようにしてもよい。
図２に戻り、類似度判定部２２は、算出された類似度Rsが所定の閾値TH以上であるか否かを判定する（S2）。

算出された類似度Rsが所定の閾値TH未満であるとき（S2:NO）、類似度判定部２２は、三次元画像を出力させる制御信号CS3を画像信号出力部２３へ出力して（S3）、S1の処理に戻る。

算出された類似度Rsが所定の閾値TH以上であるとき（S2:YES）、類似度判定部２２は、二次元画像を出力させる制御信号CS2を画像信号出力部２３へ出力して（S4）、S1の処理に戻る。

類似度判定部２２は、S1〜S4の処理を繰り返す。
図２の処理が実行されることにより、三次元画像が表示部４に表示されているとき、観察窓に液体等の異物が付着して、類似度Rsの値が大きくなって閾値TH以上になると、類似度判定部２２は、二次元画像を出力する制御信号CS2を画像信号出力部２３へ出力する。類似度判定部２２は、所定の周期PD毎に類似度Rsを算出して閾値THとの比較を行っており、算出した類似度Rsの値が所定の閾値TH以上であるときは、常に、二次元画像を出力させる制御信号CS2を画像信号出力部２３へ出力する。

画像信号出力部２３は、類似度判定部２２から二次元画像を出力する制御信号CS2を受信すると、右目用画像と左目用画像の一方のみを出力する。
なお、画像信号出力部２３は、右目用画像と左目用画像のいずれの画像を出力してもよいが、右目用画像と左目用画像のうちコントラストが高い画像を出力する。コントラストが高い方の画像は、異物が付着していないあるいは付着している異物の量が少ない観察窓を通った光に基づいて生成された画像である。そのため、画像信号出力部２３は、入力された右目用画像３２と左目用画像３３のコントラストを求める処理も行っている。

すなわち、画像信号出力部２３は、右目用画像の画像信号又は左目用画像の画像信号のうちいずれか一方からなる二次元画像信号として、右目用画像及び左目用画像のうち、コントラストの高い方の画像の画像信号を出力する。

図２の処理は、常に実行されており、表示部４に二次元画像が表示されているときにも、所定の周期PDでバックグラウンドで上述した画像比較処理が行われている。よって、表示部４に二次元画像が表示されているときに、異物が送気送水により除去されあるいは観察窓から流れ落ちて消えて、類似度Rの値が小さくなり閾値TH未満になると、類似度判定部２２は、二次元画像を出力させる制御信号CS2は画像信号出力部２３へ出力されない。

類似度判定部２２が、二次元画像を出力させる制御信号CS2を画像信号出力部２３へ出力しなくなると、画像信号出力部２３は、三次元画像を表示するための右目用画像３２と左目用画像３３の両方を表示部４へ出力する。

図５は、時間経過に伴う、表示部４に表示される画像の切り換え状態を示す図である。図５の横軸は、時間tであり、縦軸は、類似度Rに対応する。
図５は、時間経過に伴い、類似度判定部２２において算出される類似度Rsが変化し、類似度Rsが所定の閾値TH以上になると、二次元画像（２D）が表示され、類似度Rsが所定の閾値TH未満であるときは、三次元画像（３D）が表示されることを示している。

以上のように、上述した実施の形態によれば、二次元画像と三次元画像の表示切換を正しく行うことができる立体視内視鏡装置を提供することができる。

例えば、医療分野では、内視鏡２は、消化器などの管腔内に挿入部２ａを挿入して使用される場合もあり、内視鏡２の挿入部２ａの先端部には、観察窓に付着した異物を除去するために送気送水ノズルが設けられている。

消化器内などには残渣なども多く、観察窓には異物が付着し易い。表示部４に表示された内視鏡画像から観察窓に異物が付着していることを認めると、ユーザである術者は、操作部に設けられた送気送水ボタンを押すことにより、観察窓に付着した異物を水及び空気の噴射により除去したり、二次元画像表示への切り換え操作をすることができるが、ユーザには、煩雑である。

しかし、上述した内視鏡装置によれば、立体視用の２つの観察窓にのみ異物が付いた場合、自動的に三次元画像から二次元画像へ切り換わるため、ユーザは、煩雑なボタン操作なく、観察等を継続して行うことができる。

次に変形例について説明する。

（変形例１）
上述した実施の形態の立体視内視鏡装置では、２つの観察窓１１Rと１１Lに入射した光は、１つの撮像素子１３の撮像面上に結像する構成であるが、観察窓１１Rと１１Lに入射した光がそれぞれ別々の撮像素子に入射するように構成してもよい。

図６は、本実施の形態の変形例１に係わる立体視内視鏡装置の構成を示す構成図である。図６において図１と同じ構成要素については、同じ符号を付して説明は省略する。
図６に示す変形例に係る立体視内視鏡装置１Aは、２つの観察窓１１Rと１１Lに入射した光をそれぞれ撮像素子１３Rと１３Lに入射するように構成されている。そして、２つの撮像素子１３Rと１３Lは、それぞれ右目用と左目用の画像信号をCCU２１Rと２１Lに出力する。

すなわち、撮像素子１３Rと１３Lは、左右の光学像を結像する対物光学系１２Rと１２Lにより結像された右目用と左目用の光学像を撮像する撮像部を構成する。

２つのCCU２１Rと２１Lから、それぞれ右目用画像と左目用画像が類似度判定部２２と画像信号出力部２３へ出力される。類似度判定部２２と画像信号出力部２３の動作は、上述した実施の形態で説明した動作と同じである。

本変形例に係る立体視内視鏡装置１Aにおいても、上述した実施の形態の立体視内視鏡装置１と同様の効果を生じる。

（変形例２）
上述した実施の形態では、類似度判定部２２は、類似度Rが所定の閾値TH以上になると、二次元画像を出力させる制御信号CS2を画像信号出力部２３へ出力し、画像信号出力部２３は、二次元画像を出力させる制御信号CS2を受信すると二次元画像を表示部４に表示するように、右目用画像と左目用画像の一方（例えばコントラストが高い方の画像）のみを表示部４に出力する。

これに対して、変形例１では、類似度Rが所定の閾値TH以上である状態が所定の時間以上連続して継続しなければ、二次元画像を表示部４に表示しないように、立体視内視鏡は構成される。

例えば、上述した実施の形態では、異物が観察窓に短い時間だけ付着しても、類似度Rsが所定の閾値TH以上の値となり、直ぐに二次元画像に表示が変わってしまう場合がある。その後、異物が観察窓からなくなると、類似度Rsが所定の閾値TH未満の値になると、三次元画像に表示が戻る。このような三次元画像と二次元画像の間での切換が頻繁に行わると、表示部４に表示される画像は、ユーザには、見づらい画像となる。

そこで、本変形例２では、このような短い時間の画像の切換を防止するために、所定の時間TT以上類似度Rsが所定の閾値TH以上であるときに、類似度判定部２２が二次元画像を出力させる制御信号CS2を画像信号出力部２３へ出力する。なお、所定の時間TTは、条件設定部５から設定変更可能である。

図７は、本変形例２に係る類似度判定部２２の処理の流れの例を示すフローチャートである。
図７において、図２の処理と同じ処理については、同じステップ番号を付して説明は簡単にする。

類似度判定部２２は、類似度算出処理（S1）と比較処理（S2）を実行するが、算出された類似度Rsが所定の閾値TH未満であるとき（S2:NO）、類似度判定部２２は、S3の処理を実行してから、S1の処理に戻る。

算出された類似度Rsが所定の閾値TH以上であるとき（S2:YES）、類似度判定部２２は、タイマ処理を実行する（S11）。
S11のタイマ処理では、類似度Rsが所定の閾値TH以上になったときに、所定のタイマ、例えばソフトウエアタイマ、によるカウントが開始される。類似度判定部２２は、S1とS2の処理を所定の周期PDで実行し、類似度Rsが所定の閾値TH以上である判定されると、S2でYESとなる。

S11のタイマ処理では、類似度Rsが所定の閾値TH以上であるとの判定が連続しているときは、カウントがカウントアップあるいはカウントダウンが行われ、類似度Rsが所定の閾値TH以上であるとの判定が連続して発生しない場合は、タイマはクリアされる。

タイマに設定される時間は、例えば、観察窓を洗浄するために一般的な送気送水時間の平均値である。送気送水の平均的な時間に応じたカウント値が設定されれば、ユーザが通常の送気送水処理を行っても、三次元画像から二次元画像への切換が行われないので、ユーザは、スムーズに三次元画像による観察などを行うことができる。
なお、送気送水が行われているときに、二次元画像に切り換わらないようにするために、送気送水ボタンが操作されている間は、タイマがクリアされるようにしてもよい。

類似度判定部２２は、S11のタイマ処理によるカウントにより、タイムアウトしたか否かを判定する（S12）。タイムアウトしたか否かは、例えば、タイムアウトタイマ処理において０からカウントアップされてきたカウント値が所定のカウント値になったか、あるいは所定のカウント値からカウントダウンされてきたカウント値が０になったかにより、判定される。

タイムアウトしなければ（S12:NO）、処理は、S1に戻る。
タイムアウトすると（S12:YES）、類似度判定部２２は、二次元画像を出力させる制御信号CS2を画像信号出力部２３へ出力する（S3）。

図７の処理が実行されることにより、三次元画像が表示部４に表示されているとき、観察窓に液体等の異物が付着して、類似度Rsの値が大きくなって閾値TH以上になり、類似度Rsの値が閾値TH以上である状態が所定の時間以上継続すると、類似度判定部２２は、二次元画像を出力する制御信号CS2を画像信号出力部２３へ出力する。

よって、三次元画像と二次元画像の間での切換が頻繁に行われることがないので、表示部４に表示される画像は、ユーザに見づらい画像とならない。

（変形例３）
上述した実施の形態及び上述した各変形例では、類似度判定部２２は、所定の類似度Rsを算出して閾値THと比較しているが、互いに異なる複数の類似度を算出して、その複数の類似度に基づいて、右目用画像３２と左目用画像３３が類似しているかを判定するようにしてもよい。

図８は、変形例３に係る類似度判定部２２Aの構成を示すブロック図である。
類似度判定部２２Aは、２つの類似度判定部４１、４２と、総合判定部４３を含む。第１の類似度判定部４１は、例えば、上述したパターンマッチング処理による類似度Rs1を算出する処理部であり、第２の類似度判定部４２は、上述した複数の領域に分割された分割領域の明るさの分布による類似度Rs2を算出する処理部である。

各類似度判定部４１，４２には、CCU２１からの右目用画像と左目用画像の２つの画像信号が入力される。
条件設定部５は、各類似度判定部４１，４２に接続され、各種条件を入力して設定することができる。

総合判定部４３は、２つの類似度判定部４１、４２から出力される２つの判定信号CS-1、CS-2に基づいて、右目用画像３２と左目用画像３３が類似しているかを最終的に判定し、判定信号CSを、画像信号出力部２３へ供給する。

例えば、２つの判定信号CS-1,CS-2が共に右目用画像と左目用画像が類似している（例えば類似度が閾値未満である）と判定しているときにのみ、総合判定部４３は、二次元画像を出力する制御信号CS2を画像信号出力部２３へ出力する、あるいは、判定信号CS-1が右目用画像と左目用画像が類似していると判定した後に、判定信号CS-2が右目用画像と左目用画像が類似していると判定したときにのみ、総合判定部４３は、二次元画像を出力する制御信号CS2を画像信号出力部２３へ出力する、等の判定を、総合判定部４３は行うことができる。

すなわち、類似度判定部２２は、異なる手法による複数の類似度を算出し、画像信号出力部２３は、算出された複数の類似度に基づいて三次元画像信号と二次元画像信号とを切り換えて出力する。

このような構成によれば、右目用画像３２と左目用画像３３が類似しているかの判定を、より確実に行うことができる。
上述した例では、２つの類似度判定部４１，４２を用いて、それぞれテンプレートマッチング処理による画像の類似度判定と分割領域の明るさの分布判定による画像の類似度判定を行っているが、類似度判定部は、３つ以上あってもよく、類似度判定は、他の手法による類似度判定を行うものでもよい。

以上説明したように、上述した実施の形態及び各変形例によれば、二次元画像と三次元画像の表示切換を正しく行うことができる立体視内視鏡装置を提供することができる。

なお、実施形態及び各変形例においては、二次元表示用画像を表示させる際、観察窓１１R、１１L により取得される画像から右眼用画像と左眼用画像とする二次元表示用画像の信号を生成し、表示部４に対して出力するが、右眼用画像と左眼用画像の信号を生成せずに、観察窓１１Rまたは１１Lのいずれかにより取得される画像の信号を直接表示部４に送信して表示させても構わない。

この構成によれば、術者は、立体視用の眼鏡を外した状態で右眼用または左眼用のいずれか一方の二次元表示用画像を、表示部４に例えば複数同時に表示させて観察することが可能である。二次元表示用画像から三次元表示用画像に表示を切り替える際には、表示部４は、三次元表示用画像を表示するように設定が切り替えられ、術者は、立体視用の眼鏡を着用して三次元表示用画像を観察する。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１５年５月１４日に日本国に出願された特願２０１５−９９３２４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (14)

1. 第１及び第２の光学像を結像する対物光学系により結像された前記第１及び前記第２の光学像を撮像する撮像部と、
   前記撮像部から出力された前記第１の光学像に基づく第１の画像信号及び前記第２の光学像に基づく第２の画像信号が入力され、前記第１の画像信号に基づく第１の画像と前記第２の画像信号に基づく第２の画像を比較して、前記第１の画像と前記第２の画像の類似度を算出する類似度算出部と、
   前記対物光学系の一部に異物が付着することにより、前記異物が付着していないときよりも前記類似度が低くなったとき、前記第１の画像信号及び前記第２の画像信号からなる三次元画像信号から、前記第１の画像信号又は前記第２の画像信号のうち前記異物が少ない画像に基づくいずれか一方の画像信号からなる二次元画像信号に切り換えて出力する画像信号出力部と、
   を備えることを特徴とする立体視内視鏡装置。
2. 前記画像信号出力部は、前記対物光学系から前記異物が除去されて前記類似度が低い状態から高い状態になったとき、前記第１の画像信号又は前記第２の画像信号のうちいずれか一方からなる二次元画像信号から、前記第１の画像信号及び前記第２の画像信号からなる三次元画像信号に切り換えて出力することを特徴とする請求項１に記載の立体視内視鏡装置。
3. 前記撮像部は、右目用の光学像を結像する前記対物光学系により結像された右目用である前記第１の光学像及び左目用の光学像を結像する前記対物光学系により結像された左目用である前記第２の光学像を撮像し、
   前記類似度算出部は、前記撮像部から出力された前記第１の光学像に基づく右目用画像信号及び前記第２の光学像に基づく左目用画像信号が入力されることにより、前記第１の画像と前記第２の画像を比較して前記類似度を算出することを特徴とする請求項１に記載の立体視内視鏡装置。
4. 前記類似度算出部は、前記第１の画像において設定された領域の画像と前記第２の画像において設定された領域の画像を比較して前記類似度を算出することを特徴とする請求項１に記載の立体視内視鏡装置。
5. 前記類似度算出部は、テンプレートマッチング法により前記第１の画像と前記第２の画像を比較して前記類似度を算出することを特徴とする請求項１に記載の立体視内視鏡装置。
6. 前記類似度算出部は、前記第１の画像の第１の明るさ分布と前記第２の画像の第２の明るさ分布を比較して前記類似度を算出することを特徴とする請求項１に記載の立体視内視鏡装置。
7. 前記第１の画像は、複数の領域に分割されると共に、前記第２の画像も前記第１の画像と同様に複数に分割され、
   前記類似度算出部は、前記第１の明るさ分布としての前記第１の画像の分割された前記複数の領域の明るさ分布と、前記第２の明るさ分布としての前記第２の画像の分割された前記複数の領域の明るさ分布を比較して前記類似度を算出することを特徴とする請求項６に記載の立体視内視鏡装置。
8. 前記類似度算出部に対し、前記第１の画像及び前記第２の画像の各々の前記複数の領域の数あるいは範囲に関する設定を変更する条件設定部を有することを特徴とする請求項７に記載の立体視内視鏡装置。
9. 前記類似度算出部に対し、前記複数の領域の各々に前記類似度の算出のための重み付けを行う条件設定部を有し、
   前記類似度算出部は、前記各領域に対し、前記重み付けがされた前記第１及び前記第２の明るさの分布を比較して前記類似度を算出することを特徴とする請求項７に記載の立体視内視鏡装置。
10. 前記類似度算出部に対し、前記複数の領域中、前記類似度の算出の対象としない領域を設定する条件設定部を有することを特徴とする請求項７に記載の立体視内視鏡装置。
11. 前記類似度算出部は、異なる手法による複数の類似度を算出し、
    前記画像信号出力部は、算出された前記複数の類似度に基づいて前記三次元画像信号と前記二次元画像信号とを切り換えて出力することを特徴とする請求項１に記載の立体視内視鏡装置。
12. 前記三次元画像信号と前記二次元画像信号とを切り換える周期を設定する条件設定部を有することを特徴とする請求項１に記載の立体視内視鏡装置。
13. 前記画像信号出力部は、前記第１の画像信号又は前記第２の画像信号のうちいずれか一方からなる前記二次元画像信号として、前記第１の画像及び前記第２の画像のうち、コントラストの高い方の画像の画像信号を出力することを特徴とする請求項１に記載の立体視内視鏡装置。
14. 対物光学系により結像された第１の光学像の撮像により生成された第１の画像信号及び対物光学系により結像された第２の光学像の撮像により生成された第２の画像信号を受信し、前記第１の画像信号に基づく第１の画像と前記第２の画像信号に基づく第２の画像を比較して、前記第１の画像と前記第２の画像の類似度を算出する類似度算出部と、
    前記対物光学系の一部に異物が付着することにより、前記異物が付着していないときよりも前記類似度が低くなったとき、前記第１の画像信号及び前記第２の画像信号からなる三次元画像信号から、前記第１の画像信号又は前記第２の画像信号のうち前記異物が少ない画像に基づくいずれか一方の画像信号からなる二次元画像信号に切り換えて出力する画像信号出力部と、
    を有するビデオプロセッサ。

Images