JP5342973B2 - 内視鏡装置 - Google Patents

Description

本発明は、内視鏡装置に関連し、特に同時に複数の視野を観察可能な内視鏡装置に関する。

従来、体腔内等の狭い空間における観察や処置を行なうために、医療や工業の分野において内視鏡が広く使用されている。近年は、ＣＣＤイメージ・センサやＣＭＯＳイメージ・センサ等の固体撮像素子の小型化・高性能化に伴い、挿入部の先端に固体撮像素子が実装された電子内視鏡が特に普及している。一般的な電子内視鏡は、可撓性のある細長いケーブル形状の挿入部の先端部分に、先端側から順にガラス板（光学的開口）、対物レンズ、及び固体撮像素子が光軸を長手方向に向けて配置されており、挿入部先端の前方の領域を観察できるように構成されている。しかしながら、小腸などの襞が多い器官を観察するときには、例えば襞の裏側に死角が生じるため、前方観察だけでは十分な観察が行なえない場合がある。そこで、特許文献１に記載されているような、内視鏡の先端に取り付けることで前方視野と側方視野の同時観察を可能にする内視鏡アタッチメントが提案されている。特許文献１に記載の内視鏡アタッチメントは、中央に開口が形成された双曲面の凸面ミラーを有しており、内視鏡先端の前方の像が凸面ミラーの開口を通って撮像面の中央に結像し、側方の像が凸面ミラーに反射して前方の像の周囲の撮像面に結像する。そのため、一画面上に前方視野と側方視野が同時に表示され、前方観察と側方観察を同時に行うことができる。

ところで、建物や乗り物に使用される窓材料の技術分野において、窓ガラスを透過する太陽光をコントロールする所謂「調光ガラス」が各種提案されている。調光ガラスには、光の吸収により調光を行うものと、光の反射により調光を行う調光ミラーがある。調光ミラーは、反射率が高い鏡状態と、反射率が低く透過率が高い透明状態との間で反射率が連続的かつ可逆的に変化する性質をもつ膜が透明基板上に形成されたものである（特許文献２）。このような調光ミラーは、主に窓ガラスから室内に流入する太陽光エネルギーをコントロールして省エネルギー効果を得るために使用される。

ＷＯ２００６−００４０８３号公報 特願２００５−２７４６３０号公報

医療分野においては、被検者が苦痛なく内視鏡検査を受診できるように、電子内視鏡の挿入部を細径にすることが重要となる。電子内視鏡の外径を決定する主な要因の一つが固体撮像素子の外形寸法、特に受光面のサイズである。そのため、電子内視鏡で使用される固体撮像素子は撮像面のサイズが厳しく制限されており、従って固体撮像素子の有効画素数も限られている。特許文献１に記載の内視鏡装置では、限られた有効画素数をもつ固体撮像素子の撮像面上に、前方観察像と後方観察像が領域を分けて結像するため、各観察像の解像度あるいは視野角が低くなるという問題がある。

本発明は、上記の事情を鑑みてなされたものである。すなわち、本発明は、解像度や画角を落とすことなく複数の視野の同時観察を可能にする内視鏡装置を提供することを目的とする。

本発明により、複数の視野の同時観察が可能な内視鏡装置が提供される。本発明の実施形態に係る内視鏡装置は、撮像手段の撮像面上に第１の視野の像を結ぶ第１の光束と第２の視野の像を結ぶ第２の光束とを強度比を変化させながら合成する視野合成手段と、強度比の異なる合成光束のそれぞれによって撮像面上に形成される像の少なくとも２つの画像データに基づいて、第１の視野の画像データと第２の視野の画像データを生成する視野分離手段とを有している。

このような構成の内視鏡装置によれば、解像度や視野角を落とすことなく複数の視野の同時観察が可能になる。

視野合成手段は、撮像手段のフレーム周期よりも長い周期で強度比を周期的に変化させるように構成されてもよい。この場合、視野分離手段は、強度比の異なる位相において撮像された少なくとも２つの画像データに基づいて、第１及び第２の視野の画像データを生成することができる。

上記の構成にすれば、各画像が撮像される時刻（強度比変調の位相）から、その時刻における強度比が容易に分かるため、簡単な処理により画像の分離を行うことができる。

視野合成手段は、反射率及び透過率が可変の光学素子を有していてもよい。この場合、第１の光束が光学素子を透過し、第２の光束が光学素子により反射されるように構成されることが望ましい。また、視野合成手段は、光学素子の反射率及び透過率を変化させることにより強度比を変化させるように構成されることが望ましい。このような構成にすると、極めてシンプルな構造により複数視野の同時観察が可能になる。

視野分離手段は、
フレーム時刻ｔにおいて撮像された画像データｉｍｇ（ｘ，ｙ，ｔ）、
フレーム時刻ｔ−１において撮像された画像データｉｍｇ（ｘ，ｙ，ｔ−１）、
フレーム時刻ｔにおける光学素子の反射率α_ｔ、及び
フレーム時刻ｔ−１における光学素子の反射率α_ｔ−１に基づいて、
次の式（１）及び式（２）からなる連立方程式（但し、式（３）及び式（４）の近似を行う）

の解として
フレーム時刻ｔにおける第１の視野の画像データｉｍｇ_ｐ（ｘ，ｙ，ｔ）、及び
フレーム時刻ｔにおける第２の視野の画像データｉｍｇ_ｒ（ｘ，ｙ，ｔ）
を生成するように構成されてもよい。

上記構成によれば、簡単な計算により第１及び第２の視野の画像データを分離することが可能になり、処理性能の低い安価な演算装置を使用して処理を行うことができる。

光学素子は、反射面が二葉双曲面状に形成されていることが望ましい。この場合、反射像を容易にパノラマ画像や投影画像に変換することができる。

光学素子は、水素化により反射率が下がり、脱水素化により反射率が上がる性質を有する金属薄膜を含むものであってもよい。また、第１の視野は前方視野を含み、第２の視野は後方視野を含んでいてもよい。

本発明の実施形態に係る内視鏡装置により、解像度や視野角を落とすことなく複数の視野の同時観察が可能になる。

本発明の実施形態に係る内視鏡装置の主要部の外観を示す分解側面図である。 本発明の実施形態に係る内視鏡装置の概略構成を示すブロック図である。 本発明の実施形態に係る内視鏡の挿入部の先端付近を拡大した図である。 本発明の実施形態に係る内視鏡の挿入部の先端付近を拡大した図である。 本発明の実施形態に係る可変光学素子の膜構成の概略を説明する図である。 本発明の実施形態に係る同時観察モードの動作を説明するタイミングチャートである。 本発明の実施形態に係る内視鏡装置が実行する処理を説明するフローチャートである。 本発明の実施形態に係る画像分離処理の詳細を説明するフローチャートである。 本発明の実施形態に係る画像処理を説明する図である。 本発明の実施形態に係る画像処理を説明する図である。 本発明の実施形態に係る画像処理を説明する図である。 本発明の実施形態に係る画像処理を説明する図である。 本発明の実施形態に係る画像処理を説明する図である。 本発明の実施形態に係る画像合成処理の詳細を説明するフローチャートである。 本発明の実施形態に係る画像処理を説明する図である。 本発明の実施形態に係る画像処理を説明する図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

図１は本発明の実施形態に係る内視鏡装置１の主要部の外観を示す分解側面図である。また、図２は内視鏡装置１の概略構成を示すブロック図である。内視鏡装置１は、内視鏡（電子スコープ）１０、プロセッサ２０、及びモニタ３０をから構成されている。

電子スコープ１０は、可撓性のあるケーブル形状の挿入部１４を被検者の体腔内に挿入して、挿入部１４の先端に設けられた撮像素子により体腔内の観察部位を撮影するためのユニットである。電子スコープ１０は、基端側から長手方向へ順に、接続部１１、ユニバーサルケーブル部１２、操作部１３、挿入部１４に区分され、接続部１１を介してプロセッサ２０に着脱自在に構成されている。また、挿入部１４の先端には、本発明の実施形態に係る視野合成機構１６が組み込まれている。

電子スコープ１０には、プロセッサ２０の光源部２２から挿入部１４の先端まで照明光を伝搬するためのライトガイド（例えば光ファイバ束）１５が長手方向に沿って略全長に亘って配置されている。ライトガイド１５は、照明光が入射する基端側では１条であるが、中途から２条（１５ａ、１５ｂ）に分岐されている。ライトガイドの射出端から射出される照明光は、後述する視野合成光学系１６を介して観察領域（視野）を略均一に照明する。ライトガイド１５ａ、１５ｂの各射出端の直後に、照明光を拡散するための配光レンズを配置してもよい。本実施形態では、視野合成光学系１６が配光レンズを兼ねて照明光を拡散する役割も果たしている。なお、視野合成機構１６は、前方（挿入部１４の先端の延長方向）の視野の像を撮像面上に形成する光路と、側方から後方にかけての視野の像を撮像面上に形成する光路とを、連続的かつ周期的に切り替える機構である。視野合成機構１６の詳細は後述する。

視野合成機構１６から射出した照明光により、観察領域に位置する被写体（例えば体腔内壁）が照明される。体腔内壁に照射された照明光の一部は、体腔内壁の表層で散乱（あるいは反射）して、電子スコープ１０の先端に戻る。電子スコープ１０の先端には、ＣＣＤイメージ・センサ１４６の受光面と対向して対物レンズ（対物光学系）１４４が配置されている。対物レンズ１４４は、視野合成機構１６を介して入射する被写体からの戻り光を集光して、被写体像をＣＣＤイメージ・センサ１４６の受光面上に結像させるように構成されている。なお、対物レンズ１４４は、後述する可変光学素子１６１（視野合成機構１６の構成要素）の形状を定義する二葉双曲面の一方の曲面と対をなす他方の曲面（逆符号の曲面）の焦点がレンズ中心（第一主点）と一致するように配置される。ＣＣＤイメージ・センサ１４６は、撮像面上に結像した被写体像の光強度分布に基づいて画像信号を生成する。また、ＣＣＤイメージ・センサ１４６は、ベイヤー配列のカラーフィルタを有する単板式カラー・イメージ・センサを構成する。

なお、本実施形態における対物光学系は単一の光学レンズから構成されているが、複数の光学レンズ群や、例えば光学フィルタや偏向素子等のレンズ以外の光学素子を含む光学系から構成されてもよい。

操作部１３は、術者が電子スコープ１０を操作するために把持する部分である。操作部１３には、術者が施術中に内視鏡システム１を操作するための操作ボタン１３２や操作ノブ１３４等の各種操作手段が設けられている。また、操作部１３に設けられた鉗子挿入口１４８ａから挿入部１４の先端まで、鉗子等の処置具を挿通するための鉗子チャンネル１４８が貫通しており、術者が処置具を挿入口１４８ａから鉗子チャンネルに挿入して観察部位まで送り込み、処置具を使用して組織の採取や各種処置を行えるようになっている。

図１に示されるように、接続部１１にはライトガイド接続プラグ１９及び信号線接続プラグ１８が設けられている。ライトガイド接続プラグ１９がプロセッサ２０に設けられたライトガイド接続ソケット２９に差し込まれることにより、電子スコープ１０とプロセッサ２０が光学的に接続される。また、信号線接続プラグ１８がプロセッサ２０に設けられた信号線接続ソケット２８に差し込まれることにより、電子スコープ１０の各種信号線や電力線がプロセッサ２０内の対応する配線と電気的に接続される。また、接続部１１には、電子スコープ１０をプロセッサ２０に着脱自在に装着するための図示しない周知の係合手段（例えばネジ機構やフック機構等）が設けられている。

また、接続部１１には、ＣＣＤイメージ・センサ１４６へＣＣＤ駆動信号を供給するＣＣＤ駆動回路１１２、ＣＣＤイメージ・センサ１４６から出力されるアナログ画像信号をデジタル映像信号に変換する信号処理回路１１４、及び視野合成機構１６へ制御信号を供給する視野合成制御回路１１６が配置されている。ＣＣＤ駆動回路１１２は、信号線接続プラグ１８を介してプロセッサ２０のシステム制御回路２１に接続されており、システム制御回路２１からの制御信号に基づいてＣＣＤ駆動信号を生成して、ワイヤ１４６ａを介してＣＣＤイメージ・センサ１４６へ送信する。ＣＣＤ駆動信号は、視野合成制御回路１１６及び後述するプロセッサ２０の映像信号処理回路２３とも接続されており（不図示）、これらの回路に同期信号としてＣＣＤ駆動信号を供給する。また、信号処理回路１１４は、信号線接続プラグ１８を介してプロセッサ２０の映像信号処理回路２３と接続されており、生成したデジタル映像信号を映像信号処理回路２３へ送信する。視野合成制御回路１１６は、信号線接続プラグ１８を介してプロセッサ２０のシステム制御回路２１に接続されており、システム制御回路２１の制御に基づいて視野合成機構１６の駆動電圧を生成して、ワイヤ１６４ａ、１６４ｂを介して視野合成機構１６に供給する。

プロセッサ２０は、プロセッサ２０及び電子スコープ１０の各部を包括的に制御するシステム制御回路２１、照明光を発生してライトガイド１５に供給する光源部２２、電子スコープ１０からのデジタル映像信号を処理してビデオ信号を生成して出力する映像信号処理回路２３、ハードディスクドライブ等の大容量記憶装置である記憶部２４、内視鏡装置１の操作に必要な情報を表示すると共にユーザ操作を受け付けるタッチパネル・ディスプレイ２５、外部モニタ３０へ各種ビデオ信号を出力するためのビデオ出力インタフェース２６、キーボード２７４やマウス２７２等のユーザ入力装置を接続するためのユーザ入力装置インタフェース２７、及びネットワーク・インタフェース等を有している。また、映像信号処理回路２３は、入力信号判定部２３ｂ及び画像合成部２３ｂを有している。映像信号処理回路２３の詳細は後述する。また光源部２２は、光源本体２２２、ライトガイド１５に結合させる照明光の光量を調節する自動絞り機構２２４、及び光源本体２２２から放射された照明光を集光してライトガイド１５へ高効率に結合させるための集光レンズ２２６を有している。光源本体２２２は、光源部２２の全体を制御する制御部、照明光を放射する高輝度白色ランプ（キセノンランプ）、ランプに駆動電源を供給するランプ電源回路、ランプホルダ等の図示しない要素から構成されている。

次に、電子スコープ１０の挿入部１４先端に設けられた視野合成機構１６の構成について詳しく説明する。本発明の実施形態に係る電子スコープ１０は、挿入部１４の先端から前方（対物レンズの光軸方向から概ね０〜±６０°の範囲）を観察する前方観察と、側方及び後方の全方位（対物レンズの光軸方向から概ね±６０〜１６０°の範囲）を観察する側方・後方観察が同時または個別に可能であり、視野合成機構１６によって前方視野と側方・後方視野とが切り替えられる。具体的には、視野合成機構１６は、照明光及び観察部位からの戻り光の光路を、後述する前方光路ＦＰと側方・後方光路ＢＰとの間で切り替える。

図３及び図４は、視野合成機構１６が組み込まれた挿入部１４の先端付近の拡大図である。図中左方向が挿入部１４の先端方向である。なお、図３には前方視野の観察をするときの前方光路ＦＰが、図４には側方・後方視野の観察をするときの側方・後方光路ＢＰが、それぞれ矢線で示されている。本発明の実施形態に係る視野合成機構１６は、視野合成光学系１６０及び側面窓１６５から構成されている。視野合成光学系１６０は、第１透明部材１６２、第２透明部材１６３、及び両透明部材に挟まれた可変光学素子１６１を有している。可変光学素子１６１は、電圧によって反射率が変化する膜状の光学素子であり、高い反射率で光を反射する反射状態と、反射率が低く光を透過する透過状態との間で光学的な状態が連続的かつ可逆的に変化する性質を有している。可変光学素子１６１が透明状態にあるときは図３が示す前方光路ＦＰの光線束によってＣＣＤイメージ・センサ１４６上に前方視野像が形成され、可変光学素子１６１が反射状態にあるときは図４が示す側方・後方光路ＢＰの光線束によってＣＣＤイメージ・センサ１４６上に側方・後方視野像が形成される。また、可変光学素子１６１は透明状態と反射状態の中間的な状態をとることも可能であり、このとき前方光路ＦＰの光線束と側方・後方光路ＢＰの光線束が可変光学素子１６１に印加される電圧に応じた割合で混合され、前方視野像と側方・後方視野像とが重ね合わされた画像が形成される。また、可変光学素子１６１が透明状態と反射状態との間で切り替わる際にも、中間的な状態を経て、反射率が連続的に変化する。可変光学素子１６１の詳細については後述する。

第１透明部材１６２及び第２透明部材１６３は、透明な光学材料から形成された一対の軸対称な部材であり、光軸となる対称軸を挿入部１４の長手軸方向に向けて配置されている。第１透明部材１６２は椀形の部材であり、内側には二葉双曲面の一方の曲面で定義される凹面が形成されている。また、第１透明部材１６２の外面は、対称軸に垂直な平面と、対称軸を囲む環状曲面とから構成される。第２透明部材１６３は概略円錐状の部材であり、対称軸に垂直な平面と、第１透明部材１６２の内面と同じ二葉双曲面の凸曲面とを有している。第１透明部材１６２の凹曲面と第２透明部材１６３の凸曲面とは、膜状の可変光学素子１６１及び接着層１６１ｆを介して互いに隙間無く密着して、可変光学素子１６１を構成する。第１透明部材１６２及び第２透明部材１６３を形成する光学材料には、クラウンガラス、フリントガラス、石英ガラス等の光学ガラス、あるいはポリカーボネート（ＰＣ）、ポリメタクリル酸メチル（ＰＭＭＡ）、環状オレフィン系樹脂等の光学樹脂が使用される。

次に、可変光学素子１６１の詳細構成を説明する。図５は、本実施形態における可変光学素子１６１の膜構成の概略を説明する図である。本実施形態の可変光学素子１６１は、マグネシウム等の一部の金属薄膜に見られる光学的現象、すなわち水素化により金属反射を示す状態から透明な状態へ可逆的に変化する現象を利用したものである。なお、本発明の実施形態に適用可能な可変光学素子は、上記のような金属の水素化による光学特性の変化を利用するものに限定されず、別の物理的、化学的、又は機械的な機構を利用するものであってもよい。

可変光学素子１６１は、透明電極層１６１ａ、イオン貯蔵層１６１ｂ、固体電解質層１６１ｃ、プロトン注入層１６１ｄ、及び反射率可変層１６１ｅから構成される膜状の光学素子であり、第１透明部材１６２の凹曲面上に一体に形成される。透明電極層１６１ａは、透明導電性材料であるＩＴＯ（Indium-Tin Oxide）の薄膜であり、イオン貯蔵層１６１ｂと反射率可変層１６１ｅとの間で水素イオンを移動させるための電圧が印加される。透明電極層１６１ａはディップコート法等により第１透明部材１６２の凹曲面上に形成される。透明電極層１６１ａの上には酸化タングステン薄膜であるイオン貯蔵層１６１ｂが形成されている。イオン貯蔵層１６１ｂは、酸素とアルゴンの混合雰囲気下で金属タングステンをターゲットとする反応性スパッタリング法により形成される。また、イオン貯蔵層１６１ｂの上には酸化タンタル薄膜である固体電解質層１６１ｃが形成される。固体電解質層１６１ｃは、酸素とアルゴンの混合雰囲気下で酸化タンタルをターゲットとするＲＦスパッタリング法により形成される。固体電解質層１６１ｃの上には白金薄膜であるプロトン注入層が形成される。また、プロトン注入層１６１ｄの上にはマグネシウム・ニッケル合金薄膜である反射率可変層１６１ｅが形成される。プロトン注入層１６１ｄ及び反射率可変層１６１ｅは、アルゴン雰囲気下でのマグネトロンスパッタリング法により形成される。反射率可変層１６１ｅの成膜後、可変光学素子１６１は水素雰囲気に曝され、プロトンが可変光学素子１６１に取り込まれる。その後、可変光学素子１６１が形成された第１透明部材１６２の凹曲面と第２透明部材１６３の凸曲面とがシリコーン等の接着材（接着層１６１ｆ）により貼り合わされて、視野合成機構１６が形成される。

反射率可変層１６１ｅを構成するマグネシウム・ニッケル合金薄膜は、水素と結合すると可視光を透過する透明状態となり、水素が離脱すると金属光沢を呈する反射状態となる性質を有している。透明電極層１６１ａを接地して反射率可変層１６１ｅに正の電圧を印加すると、反射率可変層１６１ｅ中のプロトン（Ｈ^＋）が反射率可変層１６１ｅ及び固体電解質層１６１ｃを通過してイオン貯蔵層１６１ｂへ移動して蓄積される。これにより、反射率可変層１６１ｅは脱水素化して反射状態となる。また、反射率可変層１６１ｅに負の電圧を印加すると、イオン貯蔵層１６１ｂに蓄積されたプロトンが固体電解質層１６１ｃ及び反射率可変層１６１ｅを通過して反射率可変層１６１ｅへ移動する。これにより、反射率可変層１６１ｅは水素化して透明状態となる。このように、透明電極層１６１ａと反射率可変層１６１ｅとの間に電圧を印加することによって、電圧の極性に応じて透明状態と反射状態とが可逆的に切り替えられる。

なお、本実施形態の第１透明部材１６２の縁部の端面（図３における左端の面）の２箇所にはＩＴＯ膜の導電層１６２ａ及び１６２ｂが形成されている。導電層１６２ａ及び１６２ｂは、透明電極層１６１ａ及び反射率可変層１６１ｅとそれぞれ電気的に接続されている。また、導電層１６２ａ及び１６２ｂは第１透明部材１６２の外周面まで延び、ワイヤ１６４ａ及び１６４ｂをそれぞれ介して視野合成制御回路１１６に接続されている。また、視野合成光学系１６０は円筒形状の側面窓１６５の先端側開口を塞ぐように配置され、封止材によって密封される。また、側面窓１６５の基端側開口には先端部１４が挿入され、同様に封止材によって密封される。これにより、先端部１４、視野合成光学系１６０、及び側面窓１６５によって囲まれた空間Ｓが密閉される。

次に、視野合成機構１６及び視野合成制御回路１１６の動作を説明する。前述のように視野合成機構１６は、ワイヤ１６４ａ及び１６４ｂを介して視野合成制御回路１１６に接続されており、システム制御回路２１の制御に基づいて視野合成制御回路１１６から供給される駆動信号により動作する。視野合成機構１６は、前方視野及び側方・後方視野を同時に観察する同時観察モード、高画質で前方視野のみの観察を行なう前方観察モード、及び高画質で側方・後方視野のみの観察を行なう側方・後方観察モードの３種類の観察モードで動作する。前方観察モードにおいては、常に前方視野が観察されるように、視野合成制御回路１１６は可変光学素子の反射率可変層１６１ｅに負の電圧を印加して視野合成光学系１６０を透明状態にする。側方・後方観察モードにおいては、常に側方・後方視野が観察されるように、視野合成制御回路１１６は反射率可変層１６１ｅに正の電圧を印加して視野合成光学系１６０を反射状態にする。また、同時観察モードにおいては、視野合成制御回路１１６は、反射率可変層１６１ｅに正の電圧と負の電圧とを交互に周期的に印加し、可変光学素子１６１の反射率を変調させながらＣＣＤイメージ・センサ１４６による撮像を行う。

図６は、本発明の実施形態に係る同時観察モードの動作を説明するタイミングチャートである。図６（ｂ）は、視野合成制御回路１１６が可変光学素子の反射率可変層１６１ｅに印加する駆動電圧の時間変化を示すグラフである。図６（ａ）は、図６（ｂ）が示す駆動電圧が反射率可変層１６１ｅに印加されたときの可変光学素子１６１の反射率の時間変化を示すグラフである。また、図６（ｃ）は、ＣＣＤイメージ・センサ１４６の読み出し転送のタイミングを示すチャートである。なお、ＣＣＤイメージ・センサ１４６においては、１／３０秒毎に読み出し転送が行われ、毎秒３０フレームが生成される。図６に示されるように、視野合成制御回路１１６は、時刻Ｔ＝０秒において透明状態（反射率α＝０％）にある反射率可変層１６１ｅに対する正電圧（＋６V）の印加を開始する。正電圧の印加時間の経過と共に反射率可変層１６１ｅの脱水素化が徐々に進行し、反射率が連続的に増加する。反射率可変層１６１ｅの反射率が略飽和（α≒９８％）する時刻Ｔ１（Ｔ１＝２／３秒）において、視野合成制御回路１１６は反射率可変層１６１ｅに印加する電圧を負電圧（−６V）に切り替える。負電圧の印加時間の経過と共に反射率可変層１６１ｅの水素化が徐々に進行し、反射率が連続的に低下する。反射率可変層１６１ｅの反射率が略０％となる透明状態に達する時刻Ｔ２（Ｔ２＝１秒）において、視野合成制御回路１１６は反射率可変層１６１ｅに印加する電圧を再び正電圧（＋６V）に切り替える。すなわち、視野合成制御回路１１６は、反射率可変層１６１ｅに対して２／３秒間の正電圧の印加と１／３秒間の負電圧の印加とを交互に繰り返す。これにより、反射率可変層１６１ｅは透明状態と反射状態との間で連続的かつ周期的に変化する。

また、図６（ａ）に示されるように、各周期において反射率可変層１６１ｅの反射率は同じ波形で変化する。すなわち、各周期の同じ位相における反射率は一定の値となるため、印加電圧の位相から反射率可変層１６１ｅの反射率を知ることができる。また、反射率可変層１６１ｅの透過率は反射率によって一意に決まるため、印加電圧の位相から反射率可変層１６１ｅの透過率も知ることができる。プロセッサ２０の記憶部２４には、同時観察モードにおける１周期分の反射率及び透過率の波形データが予め保存されている。なお、記憶部２４に保存されている波形データは、フレーム時刻ｔと反射率又は透過率を関連づけたものである。ここで、フレーム時刻ｔとは、時刻Ｔ（単位：秒）をＣＣＤ駆動信号のフレーム周期（読み出し転送周期）Ｔ_Ｆ（単位：秒）で割って規格化した整数値である。

次に、本発明の実施形態に係る内視鏡装置１が行う処理について説明する。図７は内視鏡装置１が行う処理を説明するフローチャートである。内視鏡装置１が起動すると、先ずシステム制御回路２１がプロセッサ２０に接続された電子スコープ１０を認識し（Ｓ１）、電子スコープ１０に視野合成機構１６が実装されているか否かを判断する（Ｓ２）。電子スコープ１０に視野合成機構１６が実装されていない場合（Ｓ２：ＮＯ、Ｓ９：ＮＯ）、ＣＣＤイメージ・センサ１４６から画像データを取得（Ｓ８）した後、色調整処理（Ｓ１１）へ進む。電子スコープ１０に視野合成機構１６が実装されていれば（Ｓ２：ＹＥＳ）、次にシステム制御回路２１は実行する観察モードを視野合成制御回路１１６に通知する（Ｓ３）。なお、観察モードはユーザ操作により選択可能であり、前方視野及び側方・後方視野を同時に観察する同時観察モード、高画質で前方視野のみの観察を行なう前方観察モード、及び高画質で側方・後方視野のみの観察を行なう側方・後方観察モードの３種類の観察モードの中から選択される。ユーザによって観察モードが指定されていないか同時観察モードが選択されている場合（Ｓ４：ＹＥＳ）には、続いて後述の画像分離処理（Ｓ５）が行われる。前方観察モードが選択されている場合（Ｓ４：ＮＯ、Ｓ９：ＮＯ）には、画像データを取得（Ｓ８）した後、色調整処理（Ｓ１１）へ進む。側方・後方観察モードが選択されている場合（Ｓ４：ＮＯ、Ｓ９：ＹＥＳ）には、画像データを取得（Ｓ８）した後、反射画像変換処理（Ｓ１０）へ進む。反射画像変換処理については後述する。

図８は、画像分離処理（Ｓ５）の詳細を説明するフローチャートである。画像分離処理においては、先ず映像信号処理回路２３がＣＣＤ駆動回路１１２の供給するＣＣＤ駆動信号からフレーム同期信号を取得する（Ｓ５２）と共に、このときの時刻Ｔ（単位：秒）を取得する（Ｓ５３）。そして時刻Ｔをフレーム時刻ｔに変換する。次に、記憶部２４に予め記憶されている、同時観察モードにおける可変光学素子１６１の反射率及び透過率の波形データを参照して、フレーム時刻ｔにおける可変光学素子１６１の反射率α_ｔ及び透過率β_ｔを取得する（Ｓ５３）。次いで、映像信号処理回路２３は信号処理回路１１４から受信したデジタル映像信号より、フレーム時刻ｔにおいてＣＣＤイメージ・センサ１４６が撮像した画像データｉｍｇ（ｘ，ｙ，ｔ）を取得し、フレーム時刻ｔにおける反射率α_ｔ、透過率β_ｔ、及び画像データｉｍｇ（ｘ，ｙ，ｔ）を記憶部２４に記憶させる。次いで、一つ前のフレーム時刻ｔ−１における反射率α_ｔ−１、透過率β_ｔ−１、及び画像データｉｍｇ（ｘ，ｙ，ｔ−１）を記憶部２４から読み出す。

ここで、同時観察モードにおいて取得される画像は、前方視野の画像と後方視野の画像とを重ね合わせた画像となる。フレーム時刻ｔにおける、前方視野像（透過像）の画素（ｘ，ｙ）における画素値をｉｍｇ_ｐ（ｘ，ｙ，ｔ）、後方視野像（反射像）の画素値をｉｍｇ_ｒ（ｘ，ｙ，ｔ）、可変光学素子１６１の反射率をα_ｔ、透過率をβ_ｔとすると、同時観察モードにおいて取得される画像の画素（ｘ，ｙ）における画素値ｉｍｇ（ｘ，ｙ，ｔ）は次の式（１）により記述される。

同様に、フレーム時刻ｔ−１において取得される画素値ｉｍｇ（ｘ，ｙ，ｔ−１）は次の式（２）により記述される。

上記の式１及び式２からなる連立方程式を解くことにより、ｉｍｇ_ｐ（ｘ，ｙ，ｔ）、及びｉｍｇ_ｒ（ｘ，ｙ，ｔ）の値が得られる（Ｓ５７）。なお、ここで次の式（３）及び式（４）の近似が用いられる。

すなわち、同時観察モードにおいて異なるフレーム時刻に取得された２つの画像データから、前方視野像と後方視野像のデータを分離することができる。なお、必ずしも連続するフレームの画像データから連立方程式を立てる必要はなく、例えばフレーム時刻ｔ−１における画素値の代わりにフレーム時刻ｔ−ｉ（ｉ＝２，３，４・・・）における画素値を使用して計算してもよい。そして、このようにして計算された前方視野の画像データｉｍｇ_ｐ（ｘ，ｙ，ｔ）及び後方視野の画像データｉｍｇ_ｒ（ｘ，ｙ，ｔ）は、記憶部２４に記憶される（Ｓ５８）。

続く処理Ｓ６〜Ｓ７において、前方視野像と側方・後方視野像とをシームレスに接合して１つの合成画像を生成する処理が行われる。この一連の処理は、映像信号処理回路２３の画像合成部２３ｂによって行われる。ここで、視野合成機構１６を使用して取得される前方視野像と側方・後方視野像について説明する。図９は、電子スコープ１０の挿入部１４の先端部分が挿入された管腔の縦断面図である。図１０は、図９における視点Ｖから矢印方向（前方方向）を見た場合の想定図である。なお、図１０が示す画像は、視野合成機構１６から観察される前方視野像ではなく、前方視野像よりも広角な像であることに留意されたい。説明の便宜のため、図１０には８本の放射状の補助線ＡＬ及び４つの三角マークＭが印されている。挿入部１４の先端に設けられた視野合成機構１６からは、前方視野像を形成するための前方光束ＦＬと、側方・後方視野像を形成するための側方・後方光束ＢＬが放射される。図９及び図１０における領域Ｄは、十分な光量の前方光束ＦＬが届かず、像が形成されない領域である。図１０において領域Ｄの外周に位置する領域Ｆは、前方光束ＦＬによって照明される管腔内壁の領域、すなわち前方視野である。また、図１０において領域Ｆの外周に位置する領域Ｂは、側方・後方光束ＢＬによって照明される管腔内壁の領域、すなわち側方・後方視野である。また、図１０において領域Ｂの更に外周に位置する領域Ｈは、視野合成機構１６の死角である。

このときに視野合成機構１６によって得られる前方視野像を図１１に、側方・後方視野像を図１２に示す。すなわち、図１１及び図１２に示される画像は、画像分離処理Ｓ５によって得られる画像データｉｍｇ_ｐ（ｘ，ｙ，ｔ）及びｉｍｇ_ｒ（ｘ，ｙ，ｔ）によってそれぞれ表現されるものである。図１１の前方視野像は、視野合成機構１６を透過する光束によって形成される画像（すなわち図１０と同じ方向から観察した像）であるため、図１０の一部（領域Ｄ〜Ｆ）と視野角のみが異なる画像となっている。一方、図１２の側方・後方視野像は、可変光学素子１６１を反射した光束によって形成された画像（すなわち図１０とは正反対の方向から観察した像）であるため、図１０における側方・後方視野Ｂの像とは内側と外側が反転したものとなっている。また、可変光学素子１６１の反射面は凸曲面となっているため、放射方向（光軸から離れる方向）の縮尺も図１０の像とは異なるものとなっている。なお、図１２における側方・後方視野Ｂの外周に位置する領域Ｎは、図１０における領域Ｄ〜Ｆに対応するが、側方・後方光束ＢＬによって照射されないため像が形成されない領域となっている。また、図１２においては死角Ｈが側方・後方視野Ｂの内側に位置する。上述したように、死角Ｈも像が形成されない領域である。

処理Ｓ６〜Ｓ７の目的は、画像分離処理Ｓ５によって得られた前方視野像（図１１）及び側方・後方視野像（図１２）を使用して、図１０の画像に相当する広角画像を生成することである。そのために、まず反射画像変換処理Ｓ６において、図１２に示される側方・後方視野像が、周知の座標変換により視点Ｖの矢示方向から観察した画像に変換される。変換後の画像を図１３に示す。なお、本実施形態においては、反射画像変換処理Ｓ１０においても処理Ｓ６と同様の画像変換が行われる。

次の画像合成処理Ｓ７では、Ｓ８において変換された図１３の側方・後方視野像と、図１１の前方視野像とが繋ぎ合わされて、１つの広角画像が生成される。具体的には、図１３の側方・後方視野像における領域Ｎに図１１の前方視野像が埋め込まれる。図１５は、画像合成処理Ｓ７の詳細を説明するフローチャートである。画像合成処理Ｓ７では、最初に前方視野像と側方・後方視野像との間にギャップ領域が存在するか否かが判断される（Ｓ７１）。ここでいうギャップ領域とは、前方視野と側方・後方視野との境界領域において、いずれの視野にも含まれない領域をいう。言い換えれば、前方視野と側方・後方視野とで囲まれた死角がギャップ領域である。ギャップ領域の有無は、視野合成光学系１６０の光学設計によって決定される既知の情報であり、Ｓ１において認識される電子スコープ１０の型式情報と関連づけられて、記憶部２４に格納されたデータベース（不図示）に記録されている。

ギャップ領域が有る場合には（Ｓ７１：ＹＥＳ）、前方視野像と側方・後方視野像とを直接繋ぎ合わせると不連続で不自然な合成画像になってしまう。そのため、図１５に示されるように、前方視野像と側方・後方視野像との間に境界線Ｇが挿入された合成画像を生成する（Ｓ７２）。

ギャップ領域が無い場合には（Ｓ７１：ＮＯ）、モザイキング技術を使用して、対応する特徴点同士が重なり合うように前方視野像と側方・後方視野像が繋ぎ合わされる。具体的には、先ず前方視野と側方・後方視野が重なり合う領域において特徴点が抽出される（Ｓ７３）。特徴点の抽出には汎用的な技術を使用することができるが、血管の分岐点など内視鏡像に特有な特徴点を使用することができる。この場合には、例えば赤色を強調するなどして血管が識別し易い色調に画像を変換した上で、血管の輪郭を抽出し、血管の分岐点を識別する。次いで、前方視野像と側方・後方視野像の特徴点の対応づけを行い（Ｓ７４）、特徴点の分布が一致するように何れか一方又は両方の画像を変形して（Ｓ７５）、前方視野像と側方・後方視野像とを繋ぎ合わせる（Ｓ７６）。このようにして図１６に示される合成画像が生成される。生成された合成画像（図１６）は、図９の視点Ｖから前方方向を観察した画像（図１０）とは観察する視点が異なるため、通常の内視鏡観察像（前方観察像）からは得られない情報を多く含んでいる。

なお、本実施形態においては、ギャップ領域の有無が不明な場合にも、特徴点抽出処理Ｓ７３が行われる。また、特徴点抽出処理Ｓ７３において特徴点が抽出されない場合には、境界線を挿入する画像合成（Ｓ７２）が行われる。

画像合成処理Ｓ７により生成された合成画像データは、次にユーザによって予め設定された条件により色調が調整された後（Ｓ１２）、ＮＴＳＣ規格に準拠したビデオ信号に変換されてモニタ３０に出力される（Ｓ１２）。

以上が本発明の実施形態の一例の説明である。本発明は上記実施形態に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えば、上記実施形態は前方視野像と側方・後方視野像とを１画像に合成する構成であるが、本発明はこの構成に限定されるものではない。例えば、前方視野像と側方・後方視野像の一方の画像のみをモニタに表示させ、ユーザ操作によってモニタに表示させる画像を他方に切り替え可能な構成にしてもよい。また、上記実施形態においては、側方・後方視野像が前方観察像に似た画像に変換されるように構成されているが、可変光学素子１６１（双曲面ミラー）の焦点から見た投影図やパノラマ画像に変換されるように構成されてもよい。可変光学素子１６１は、ミラー面が双曲面に形成されているため、反射画像（側方・後方視野像）を投影図やパノラマ画像に容易に変換することができる。この場合には、前方視野像と側方・後方視野像を合成せず、例えば一画面上に左右に並べて表示する構成、いずれか一方の画像のみを表示してユーザ操作によって表示する画像を切り替える構成、あるいは各画像を別々のモニタに表示する構成にしてもよい。また、上記の実施形態においては、視野合成機構１６が電子スコープ１０に内蔵されているが、視野合成機構を電子スコープに着脱自在なアタッチメント構造にしてもよい。また、上記実施形態においては、視野合成制御回路１１６が電子スコープ１０の接続部１１に、映像信号処理回路２３がプロセッサ２０に設けられているが、これらの回路の両方を電子スコープ又はプロセッサの一方に設けても良い。例えば、視野合成制御回路１１６及び映像信号処理回路２３を電子スコープに設けることにより、プログラムを変更するだけで既存のプロセッサを使用した前方視野と側方・後方視野の同時観察が可能になる。また、視野合成制御回路１１６及び映像信号処理回路２３をプロセッサに設けることにより、ビデオスコープの構成が簡素化され、同時観察に対応したビデオスコープを低コストで製造することが可能になる。

１ 内視鏡装置
１０ 電子スコープ
１１ 接続部
１１２ ＣＣＤ駆動回路
１１４ 信号処理回路
１１６ 視野合成制御回路
１２ ユニバーサルケーブル部
１３ 操作部
１４ 挿入部
１４４ 対物レンズ
１４６ ＣＣＤイメージ・センサ
１５ ライトガイド
１６ 視野合成機構
１６０ 視野合成光学系
１６１ 可変光学素子
１６１ａ 透明電極層
１６１ｂ イオン貯蔵層
１６１ｃ 固体電解質層
１６１ｄ プロトン注入層
１６１ｅ 反射率可変層
１６２ 第１透明部材
１６３ 第２透明部材
１６５ 側面窓
Ｓ 空間
２０ プロセッサ
２１ システム制御回路
２２ 光源部
２３ 映像信号処理回路
３０ 外部モニタ

Claims (6)

1. 撮像手段の撮像面上に第１の視野の像を結ぶ第１の光束と、第２の視野の像を結ぶ第２の光束とを、強度比を変化させながら合成する視野合成手段と、
   前記強度比の異なる合成光束のそれぞれによって前記撮像面上に形成される像の少なくとも２つの画像データに基づいて、前記第１の視野の画像データと前記第２の視野の画像データを生成する視野分離手段と
   を有し、
   前記視野合成手段は、前記撮像手段のフレーム周期よりも長い周期で前記強度比を周期的に変化させ、
   前記視野分離手段は、前記強度比の異なる位相において撮像された少なくとも２つの画像データに基づいて、前記第１及び第２の視野の画像データを生成する、複数の視野の同時観察が可能な内視鏡装置。
2. 前記視野合成手段は、反射率及び透過率が可変の光学素子を有しており、
   前記第１の光束は前記光学素子を透過し、
   前記第２の光束は前記光学素子により反射され、
   前記視野合成手段は、該光学素子の反射率及び透過率を変化させることにより前記強度比を変化させることを特徴とする請求項１に記載の内視鏡装置。
3. 前記前記視野分離手段は、
   フレーム時刻ｔにおいて撮像された画像データｉｍｇ（ｘ，ｙ，ｔ）、
   フレーム時刻ｔ−１において撮像された画像データｉｍｇ（ｘ，ｙ，ｔ−１）、
   フレーム時刻ｔにおける前記光学素子の反射率α_ｔ、
   フレーム時刻ｔにおける前記光学素子の透過率β _ｔ 、
   フレーム時刻ｔ−１における前記光学素子の反射率α_ｔ−１ 、及び
   フレーム時刻ｔ−１における前記光学素子の透過率β _ｔ−１ に基づいて、次の式（１）及び式（２）からなる連立方程式
   

   

   

   の解として
   フレーム時刻ｔにおける第１の視野の画像データｉｍｇ_ｐ（ｘ，ｙ，ｔ）、及び
   フレーム時刻ｔにおける第２の視野の画像データｉｍｇ_ｒ（ｘ，ｙ，ｔ）
   を生成するものであり、
   このとき、次の式（３）および（４）に示される近似を用いる
   

   

   

   ことを特徴とする請求項２に記載の内視鏡装置。
4. 前記光学素子は、反射面が双曲面状に形成されていることを特徴とする請求項２または３のいずれか一項に記載の内視鏡装置。
5. 前記光学素子は、水素化により反射率が下がり、脱水素化により反射率が上がる性質を有する金属薄膜を含むことを特徴とする請求項２から４のいずれか一項に記載の内視鏡装置。
6. 前記第１の視野は前方視野を含み、前記第２の視野は後方視野を含むことを特徴とする請求項１から５のいずれか一項に記載の内視鏡装置。

Images