図1において、内視鏡システム2は、内視鏡10、プロセッサ装置11、および光源装置12からなる。内視鏡10は、例えば膵管、胆管、乳管、気管支末端といった細管部を観察する際に用いられる。内視鏡10は、患者の体内に挿入される可撓性の挿入部13と、挿入部13の基端部分に連設された操作部14と、プロセッサ装置11および光源装置12にそれぞれ接続されるプロセッサ用コネクタ15および光源用コネクタ16と、操作部14、各コネクタ15、16間を繋ぐユニバーサルコード17とを有する。
挿入部13は、例えば厚み50μm、外径0.9mmのテフロン(登録商標)等の可撓性材料からなる。操作部14には、体内画像を静止画記録するためのレリーズボタン18といった操作部材が設けられている。また、操作部14の先端側には、電気メス等の処置具が挿通される鉗子口19が設けられている。鉗子口19は、挿入部13内の鉗子チャンネル46(図3参照)を通して、挿入部13の先端部20に設けられた鉗子出口26(図2参照)に連通している。
プロセッサ装置11は、光源装置12と電気的に接続され、内視鏡システム2の動作を統括的に制御する。プロセッサ装置11は、ユニバーサルコード17や挿入部13内に挿通された配線ケーブル45(図3参照)を介して内視鏡10に給電を行い、シフト機構32(図3参照)の駆動を制御する。また、プロセッサ装置11は、イメージガイド31(図3参照)で伝達された被観察部位の像を、内蔵のCCD58R、58G、58B(図6参照、以下、まとめてCCD58という)で受像し、これにより得られた撮像信号に各種処理を施して画像を生成する。プロセッサ装置11で生成された画像は、プロセッサ装置11にケーブル接続されたモニタ21に体内画像として表示される。
先端部20は、例えば厚み25μm、外径0.8mmのステンレス製パイプを基体とする。図2において、先端部20の先端面20aには、上方中央に観察窓25が、その直下に鉗子出口26が設けられている。また、観察窓25、鉗子出口26以外の隙間を埋めるように、複数のライトガイド27の先端がランダムに配置されている。
鉗子出口26は、例えば外径0.34mm、内径0.3mmであり、ポリイミド等からなる鉗子チャンネル46(図3参照)に連通している。ライトガイド27は、例えば外径50μmの光ファイバからなる。ライトガイド27は、挿入部13、ユニバーサルコード17に亘って挿通され、その入射端が光源用コネクタ16内に位置している。ライトガイド27は、入射端に入射した光源装置12からの照明光を導光して、先端面20aから露呈した先端(出射端)から照明光を被観察部位に照射する。
ライトガイド27は、複数本の光ファイバをバラで挿入部13内に挿通させ、その後先端部20に接着剤を流し込むことで先端部20に固着される。必要に応じて、固着後にライトガイド27の出射端を表面研磨したり、各ライトガイド27の出射端前方に、ライトガイド27の出射端が配された部分を覆う照明窓を設けてもよい。さらには、照明窓に蛍光物質を塗り込む等して照明光を拡散させてもよい。
図3に示すように、観察窓25の奥には、対物光学系30、イメージガイド31、およびイメージガイド31をシフトさせるシフト機構32が配されている。対物光学系30は、鏡筒33に保持され、被観察部位の像をイメージガイド31の入射端に結像させる。対物光学系30、鏡筒33の外径はそれぞれ、例えば0.35mm、0.4mmである。また、鏡筒33の軸方向長さは、例えば3.2mmである。
イメージガイド31は、例えば外径0.2mmの光ファイバ束からなる(図5参照)。イメージガイド31は、挿入部13、ユニバーサルコード17内を挿通され、その出射端がプロセッサ用コネクタ15内に位置している。イメージガイド31は、対物光学系30に面した入射端から取り込んだ被観察部位の像を出射端に伝達する。
図4にも示すように、シフト機構32は、保持筒34、圧電素子35、および電極36で構成される。保持筒34は、例えば外径0.26mm、内径0.2mmのステンレス製パイプからなり、イメージガイド31が内挿固定される。圧電素子35は、例えば厚み15μmであり、保持筒34の外周面を覆う円筒状に成膜されている。電極36は、例えば厚み5μmであり、圧電素子35の外周面に成膜されている。
シフト機構32は、先端部20の基体内に収容されている。シフト機構32の外周面と先端部20の基体の内周面との間には、例えば0.1mm程度の空洞37が形成されている。
シフト機構32は、イメージガイド31の入射端とともに揺動する、先端面20a側の揺動部38と、イメージガイド31とともに固定される、挿入部13側の固定部39とに分れる。揺動部38では、シフト機構32は先端部20の基体に固着されておらず、イメージガイド31は、固定部39を支点として空洞37内を揺動可能である。固定部39では、シフト機構32は接着剤40で先端部20の基体の内周面に固着されている。接着剤40は、イメージガイド31が剥き出しになるシフト機構32の終端手前から、挿入部13の先端途中に掛けて充填されている。揺動部38、固定部39の軸方向長さはそれぞれ、例えば4mm、1.9mmであり、固定部39と挿入部13の先端途中を含む接着剤40の充填範囲の軸方向長さは、例えば3.2mmである。
電極36は、周方向に90°間隔(図2の上下左右方向に対して45°傾いた位置)に設けられ、軸方向に平行に形成された四本の溝41によって、上下、左右の二対、計四個に分割されている。揺動部38では、各電極36の間隔が溝41の幅分しか空いておらず、各電極36が幅広となっている。対して、固定部39では溝41が周方向に対称に拡がった形の切欠き42が形成されて、幅狭部43となっている。幅狭部43は、圧電素子35の後端付近まで延在している。溝41および切欠き42は、圧電素子35の外周面全体に電極材料を成膜した後、エッチングによって形成される。
幅狭部43の終端にはパッド44が形成され、パッド44には配線ケーブル45が接続されている。パッド44は、保持筒34の終端にも形成されており、これにも配線ケーブル45が接続されている。すなわち、保持筒34は、圧電素子35の共通電極としても機能する。
配線ケーブル45は、例えば導線径15μm、被覆外径20μmである。配線ケーブル45は、イメージガイド31の周囲を這うように挿入部13、ユニバーサルコード17内を挿通され、プロセッサ用コネクタ15を介してプロセッサ装置11に接続される。
上下、左右で対になった電極36には、共通電極である保持筒34に掛かる電圧を基準として、逆の極性の電圧が供給される。例えば保持筒34の電位が0Vであった場合、上側の電極36には+5V、下側には−5Vといった具合である。こうすることで電極36下の圧電素子35が軸方向に伸縮し、この圧電素子35の伸縮に連れて、固定部39から先の揺動部38が、イメージガイド31の入射端とともに空洞37内を揺動する。電圧を供給する電極36の組み合わせや印加電圧の値を種々変更することで、揺動部38を所定角度で所定量移動させることができる。
図5において、イメージガイド31は、周知の如く、コア50とクラッド51からなる複数本(例えば6000本)の光ファイバ52を、六角最密状に束ねてバンドル化した構成である。本例では、コア50、クラッド51の径はそれぞれ、3μm、6μmであり、光ファイバ52の配列ピッチPは6μmである。
図6において、プロセッサ装置11は、拡大光学系55および三板式CCD56を有する。拡大光学系55は、プロセッサ用コネクタ15から露呈したイメージガイド31の出射端に面する箇所に配置されている。拡大光学系55は、イメージガイド31で伝達された被観察部位の像を、適当な倍率で拡大して三板式CCD56に入射させる。
三板式CCD56は、拡大光学系55の背後に配置されている。三板式CCD56は、周知の如く、色分解プリズム57と、三台のCCD58とから構成される。色分解プリズム57は、三個のプリズムブロックと、プリズムブロックの接合面に配された二枚のダイクロイックミラーとからなる。色分解プリズム57は、拡大光学系55からの被観察部位の像を赤、青、緑色の波長帯域を有する光に分け、それぞれの光をCCD58に向けて出射する。CCD58は、色分解プリズム57からの各色光の入射光量に応じた撮像信号を出力する。なお、CCDの代わりにCMOSイメージセンサを用いてもよい。
イメージガイド31のコア50で伝達する像80を、画素81が配列されたCCD58の撮像面に投影した図7において、像80の中心は、画素81の九個分の枡目の中心と略一致する。イメージガイド31の出射端と色分解プリズム57、CCD58は、像80と画素81が図示する位置関係となるように位置決めされている。
図6に戻って、CCD58からの撮像信号は、アナログフロントエンド(以下、AFEと略す)59に入力される。AFE59は、相関二重サンプリング回路(以下、CDSと略す)、自動ゲイン制御回路(以下、AGCと略す)、およびアナログ/デジタル変換器(以下、A/Dと略す)から構成されている。CDSは、CCD58から出力される撮像信号に対して相関二重サンプリング処理を施し、CCD58で生じるリセット雑音およびアンプ雑音の除去を行う。AGCは、CDSによりノイズ除去が行われた撮像信号を所定のゲイン(増幅率)で増幅する。A/Dは、AGCにより増幅された撮像信号を、所定のビット数のデジタル信号に変換する。A/Dでデジタル化された撮像信号は、デジタル信号処理回路(以下、DSPと略す)65のフレームメモリ(図示せず)に一旦格納される。
CCD駆動回路60は、CCD58の駆動パルス(垂直/水平走査パルス、電子シャッタパルス、読み出しパルス、リセットパルス等)とAFE59用の同期パルスとを発生する。CCD58は、CCD駆動回路60からの駆動パルスに応じて撮像動作を行い、撮像信号を出力する。AFE59の各部は、CCD駆動回路60からの同期パルスに基づいて動作する。なお、図では便宜上、CCD駆動回路60とAFE59はCCD58Gのみに繋がれているが、これらは実際にはCCD58R、58Bにも繋がれている。
圧電素子駆動回路61は、配線ケーブル45を介して電極36および保持筒34に繋がれている。圧電素子駆動回路61は、CPU62の制御の下、圧電素子35に電圧を供給する。
CPU62は、プロセッサ装置11全体の動作を統括的に制御する。CPU62は、図示しないデータバスやアドレスバス、制御線を介して各部と接続している。ROM63には、プロセッサ装置11の動作を制御するための各種プログラム(OS、アプリケーションプログラム等)やデータ(グラフィックデータ等)が記憶されている。CPU62は、ROM63から必要なプログラムやデータを読み出して、作業用メモリであるRAM64に展開し、読み出したプログラムを逐次処理する。また、CPU62は、検査日時、患者や術者の情報等の文字情報といった検査毎に変わる情報を、後述する操作部68やLAN(Local Area Network)等のネットワークより得て、RAM64に記憶する。
DSP65は、AFE59からの撮像信号をフレームメモリから読み出す。DSP65は、読み出した撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種信号処理を施し、一フレーム分の画像を生成する。またDSP65は、後述するシフト撮影モードが選択されたときに、シフトの一周期で得られた複数の画像を合成して一つの高解像度な画像(以下、合成画像という)を出力する画像合成部65a(図10参照)を有する。このためDSP65には、複数のフレームメモリが設けられている。DSP65で生成された画像(合成画像も含む)は、デジタル画像処理回路(以下、DIPと略す)66のフレームメモリ(図示せず)に入力される。
DIP66は、CPU62の制御に従って各種画像処理を実行する。DIP66は、DSP65で処理された画像をフレームメモリから読み出す。DIP66は、読み出した画像に対して、電子変倍、あるいは色強調、エッジ強調等の各種画像処理を施す。DIP66で各種画像処理を施された画像は、表示制御回路67に入力される。
表示制御回路67は、DIP66からの処理済みの画像を格納するVRAMを有する。表示制御回路67は、CPU62からROM63およびRAM64のグラフィックデータを受け取る。グラフィックデータには、体内画像の無効画素領域を隠して有効画素領域のみを表示させる表示用マスク、検査日時、あるいは患者や術者の情報等の文字情報、グラフィカルユーザインターフェース(GUI;Graphical User Interface)といったものがある。表示制御回路67は、DIP66からの画像に対して、表示用マスク、文字情報、GUIの重畳処理、モニタ21の表示画面への描画処理といった各種表示制御処理を施す。
表示制御回路67は、VRAMから画像を読み出し、読み出した画像をモニタ21の表示形式に応じたビデオ信号(コンポーネント信号、コンポジット信号等)に変換する。これにより、モニタ21に体内画像が表示される。
操作部68は、プロセッサ装置11の筐体に設けられる操作パネル、内視鏡10の操作部14にあるボタン、あるいは、マウスやキーボード等の周知の入力デバイスである。CPU62は、操作部68からの操作信号に応じて、各部を動作させる。
プロセッサ装置11には、上記の他にも、画像に所定の圧縮形式(例えばJPEG形式)で画像圧縮を施す圧縮処理回路や、レリーズボタン18の操作に連動して、圧縮された画像をCFカード、光磁気ディスク(MO)、CD−R等のリムーバブルメディアに記録するメディアI/F、LAN等のネットワークとの間で各種データの伝送制御を行うネットワークI/F等が設けられている。これらはデータバス等を介してCPU62と接続されている。
光源装置12は、光源70を有する。光源70は、赤から青までのブロードな波長の光(例えば、480nm以上750nm以下の波長帯の光)を発生するキセノンランプや白色LED(発光ダイオード)等である。光源70は、光源ドライバ71によって駆動される。絞り機構72は、光源70の光射出側に配置され、集光レンズ73に入射される光量を増減させる。集光レンズ73は、絞り機構72を通過した光を集光して、ライトガイド27の入射端に導光する。CPU74は、プロセッサ装置11のCPU62と通信し、光源ドライバ71および絞り機構72の動作制御を行う。
内視鏡システム2には、シフト機構32を動作させないで撮影する検査準備モードおよび通常撮影モードと、シフト機構32を使用するシフト撮影モードおよびシフト量校正モードとが用意されている。シフト撮影モードでは、シフト回数を四回、九回の二種類設定することが可能である。各モードの切り替えおよびシフト回数の設定は、操作部68を操作することにより行われる。
シフト撮影モードが選択されてシフト回数が四回に設定(以下、単に四回シフトという)された場合、圧電素子駆動回路61は、シフト機構32の揺動部38を駆動して、イメージガイド31の入射端を図8に示すようにシフト動作させる。まず、揺動部38は、(a)の初期位置から30°左斜め下方向に、光ファイバ52の配列ピッチPの半分、つまり1/2P分イメージガイド31の入射端を揺動させ、(b)に示す一回シフトの位置に移動させる。そして、順次右斜め下方向、右斜め上方向、左斜め上方向に、最初と同じ角度、同じ移動量でシフトさせて、(c)の二回シフト、(d)の三回シフトの位置に移動させ、再び(a)の初期位置(四回シフトの位置)に戻す。揺動部38は、圧電素子駆動回路61によって、各シフト位置でその都度止められる。なお、実線はイメージガイド31の入射端における実際のコア50の位置、破線は一つ前の位置を表す。
イメージガイド31の入射端におけるコア50は、(a)〜(d)、そして再び(a)に戻る一周期のシフト動作を繰り返すことで、(a)の初期位置だけでは画像化されないクラッド51の部分を埋めるような、図9(a)に示す菱形状の移動軌跡を辿る。
因みにシフト回数が九回に設定(以下、単に九回シフトという)された場合の移動軌跡は、例えば図9(b)に示す如くである。四回シフトの場合と比べて、各方向へのシフト動作が一回多くなる。但し、七回シフトから八回シフトの位置に移るときは、六回シフトから七回シフトの位置に移ったときの左斜め上方向から、左斜め下方向に方向が変えられる。また、八回シフトから初期位置(九回シフトの位置)に移るときは、角度が90°に変えられて上方向に移動される。九回シフトの場合も四回シフトの場合と同様に、初期位置だけでは画像化されないクラッド51の部分を埋めるような移動軌跡となる。そのうえ、隣接する三つのコア50の初期位置と同じ位置(二回、四回、六回シフトの位置)に移動される。
図10において、シフト撮影モードが選択されると、プロセッサ装置11のCPU62には、同期制御部62a、圧電素子制御部62bが構築され、また、DSP65の画像合成部65aが動作する。画像合成部65aおよび各制御部62a、62bは、シフト情報85に基づいて互いに協働しながら各種処理を行う。
シフト情報85は、シフト機構32の揺動部38のシフト動作に関する情報である。シフト情報85は、シフト回数、シフト方向とそのピッチ(シフト量)、コア50の径、コア50で伝達する像80とCCD58の画素81の位置関係等を含む。シフト回数の情報は操作部68から与えられる。シフト方向、シフト量、コア50の径といった基本的な情報は例えばROM63に記憶されており、ROM63から画像合成部65aおよび各制御部62a、62bに読み出される。なお、コア50の径としては、後述する二値化画像Gwbで像80として認識可能な領域の径を用いてもよい。
検査準備モードは、イメージガイド31のコア50で伝達する像80とCCD58の画素81の位置関係を取得するためのモードである。検査準備モードは、内視鏡検査の前にその都度実行される。検査準備モードでは、DSP65の二値化処理部65b、および中心座標検出部65cが動作する。なお、内視鏡システムの出荷時に一度検査準備モードを実施し、その後は適宜の期間をおいて実施してもよい。検査準備モードの実施を促すメッセージをモニタ21に表示させてもよい。
検査準備モードでは、まず、例えば白板等の無地の白色被写体を内視鏡10で撮影する。こうして得られた画像(以下、白色画像という)Gwは、図11(A)に示すように、コア50と対面する画素81で得られた、複数の白丸の像80が斑点状に配列されたものとなる。斜線で示す白丸の像80以外の部分は、像80が伝達されないクラッド51に対応する部分であり、これが網目模様として映る。
図11(B)に示すように、DSP65の二値化処理部65bは、白色画像Gwに対して二値化処理を施し、白黒の二値化画像(マスク画像)Gwbを生成する。二値化処理部65bは、ある閾値を基準として、各画素81で出力された撮像信号を白か黒に二分する。このため、図示するように、中心部分と比較して伝達効率が悪くなりがちな像80の辺縁部に対応する画素81が二値化処理によって黒と認識され、像80が円形でなくなる場合もある。
DSP65の中心座標検出部65cは、二値化処理後の各像80の中心Oを、形状認識等の周知の画像処理技術によって求め、さらに中心Oに位置する各画素81の座標(以下、中心座標という)を求める。座標は、CCD58の水平方向をX軸、垂直方向をY軸、例えば左隅を原点として、(X、Y)で表す(図14参照)。中心座標は、二値化処理の説明でも述べたように、二値化処理後に像80の形状が円形でなくなることがあるため、図7に示す像80の中心と一致しないこともある。
中心座標検出部65cは、求めた中心座標(X1、Y1)、(X2、Y2)、・・・と個々の光ファイバ52を識別するファイバNo.F1、F2、・・・とを、像80と画素81の位置関係の情報としてDSP65の内部メモリ65dに格納する(図14参照)。ファイバNo.は、座標の原点に近いほうから(左から右、上から下の)順に付される。
同期制御部62aは、CCD駆動回路60からCCD58の駆動パルスの情報を受けて、圧電素子制御部62bに圧電素子制御信号Saを、画像合成部65aに画像合成信号Sbをそれぞれ送信する。圧電素子制御部62bは、圧電素子制御信号Saに同期してシフト動作が行われるよう、圧電素子駆動回路61の動作を制御する。同様に、画像合成部65aは、画像合成信号Sbに同期して画像合成処理を実行し、各回のシフト位置で得られた画像G0、G1、G2、G3(四回シフトの場合を例示)の画素を、各シフト位置に対応させてマッピングすることにより、一つの合成画像Gcを生成する。
より詳しくは、四回シフトの場合を例示した図12において、同期制御部62aは、CCD58の電荷蓄積が終了した直後、すなわちCCD58の画素81から垂直転送路に一フレーム分の信号電荷が読み出されたとき(CCD駆動回路60からCCD58に読み出しパルスが出力されたとき)に、圧電素子制御信号Saを発する。また、同期制御部62aは、三回シフトの位置で得られた画像G3に該当するCCD58の電荷読出出力が終了したときに、画像合成信号Sbを発する。電荷読出出力とは、読み出しパルスに応じてCCD58の画素81から垂直転送路に信号電荷が読み出され、垂直転送、水平転送を経て、一フレーム分の撮像信号が出力されるまでの一連のCCD動作をいう。
圧電素子駆動回路61は、圧電素子制御信号Saを受けて圧電素子35に相応の電圧を供給し、揺動部38を前回のシフト位置から次回のシフト位置に移動させる。同期制御部62aから圧電素子駆動回路61に圧電素子制御信号Saが発せられてから、揺動部38が次回のシフト位置に移動するまでの時間は、CCD58が前回の電荷蓄積を終えてから次回の電荷蓄積を開始するまでの時間よりも短い。従って、揺動部38が圧電素子駆動回路61により次回のシフト位置に移動されて制止された状態で、常に次回の電荷蓄積が開始される。
画像合成部65aは、画像合成信号Sbを受けて、各回のシフト位置で得られた画像G0〜G3をフレームメモリから読み出す。画像合成部65aは、検査準備モードで白色画像Gwを元に検出したコア50に対応する像80の中心座標を使用して、各画像G0〜G3の画素を、各シフト位置に対応させてマッピングし、合成画像Gcを出力する。
具体的には、画像合成部65aは、中心座標に基づいて、図13(A)に示す結像領域86を特定する。結像領域86は、中心座標を中心とし、直径がコア50(二値化処理前の像80)の径と同じ円である。結像領域86は、コア50によって伝達される像80の、CCD58の撮像面上における投影領域を意味する。
次に、画像合成部65aは、各結像領域86内の画素81で得られた撮像信号の代表値Dを、画像G0〜G3毎に求める(図14参照)。代表値Dは、結像領域86内の画素81で得られた撮像信号の平均値、または最大値である。画像合成部65aは、シフト情報85のうちの中心座標およびコア50の径を、内部メモリ65dおよびROM63からそれぞれ読み出し(あるいは、二値化画像Gwbで像80として認識可能な領域の径をコア50の径として用い)、これらに基づいて代表値Dの算出を実行する。
なお、代表値Dの二つの添字は、左がファイバNo.と対応しており、右が画像G0〜G3の添字と対応している。例えばD10は、ファイバNo.1で中心座標(X1、Y1)の、画像G0の結像領域86における代表値を表す。また、図11および図13では、像80が実線、画素81が点線で囲われた枡目でそれぞれ表されている。
合成画像Gcは、画像化されないクラッド51の部分が画像化され、しかもその部分の画素値が一フレーム内の隣接画素の補間で得た擬似値ではなく、被観察部位の像を反映したものとなる。言い換えれば、通常撮影モードや各回のシフト位置で得られた画像よりも画素数が増え、よりきめ細かい画像となる。この画像の鮮明さは、四回シフトよりもサンプリング数が多い九回シフトのほうが当然より顕著になる。
なお、ここで注意すべきは、各画像G0〜G3の実態は、シフト動作で各シフト位置にずらされたそれぞれ異なる像80であるが、イメージガイド31の出射端を固定して入射端における像80のみをシフトさせており、CCD58の撮像面とイメージガイド31の出射端の相対的な位置関係は変わらないので、データ上は各シフト位置とも同じ画素81から出力されていて区別がつかないという点である。例えば、画像G0内のある位置の像80と画像G1内の同じ位置の像80とは、それぞれシフト位置が異なる像80であるが、CCD58の同じ画素81で撮像される。他の画像も同様である。このため、画像合成部65aは、シフト量の情報を元に、各画像の画素値が本来どの画素81に該当するかをマッピングで割り出す。
図14において、画像合成部65aは、各画像G0〜G3の中心座標にシフト量ΔXs、ΔYsを加算し、シフト量を加算した中心座標に対応する画素81に代表値Dをあてがうマッピング処理を施す。シフト量は、初期位置を0(基準)として、各回シフト位置に応じた値が記憶されている。本例では、30°の方向に1/2Pのピッチでシフトさせるので、例えば一回シフトのシフト量ΔXs1は−√3/4P、ΔYs1は1/4Pであり、二回シフトのシフト量ΔXs2は0、ΔYs2は1/2Pである。三回シフトのシフト量ΔXs3は√3/4P、ΔYs3は1/4Pである。前回シフト位置から次回シフト位置までのXY方向のシフト量の絶対値Xsは√3/4P、Ysは1/4Pであり、正味のシフト量(30°の方向のシフト量)の絶対値Hsは1/2Pである(図9参照)。
なお、各シフト位置で得られた画像にシフト量を加算しているが、白色画像Gwにシフト量を加算してもよい。この場合、白色画像Gwにシフト量を加算した後に二値化画像Gwbを得て、その中心座標を検出する。そして、上記実施形態と同様に各結像領域86内の画素81の代表値Dを求める。
図13(B)に示すように、マッピング処理で得られる画像(以下、マッピング画像という)Gmpは、シフト量を加算した中心座標(図中黒丸点で表す)に対応する画素81の画素値を、代表値Dとするものである。図中一点鎖線の菱形で囲う領域内の中心座標に対応する画素81の画素値が、コア50一本で得られるデータである(四回シフトの場合を例示)。このように、白色画像Gwの二値化画像Gwbを解析して各コア50による像80の中心座標を求め、求めた中心座標にシフト量を加算して、各シフト位置に対応する画素81に代表値Dをあてがうことで、マッピング画像Gmpは、各シフト位置で得られた像80を、CCD58の撮像面上のあるべき位置に配したものとなる。
画像合成部65aは、マッピング画像Gmpの中心座標に対応する各画素81の代表値Dを用いて画素補間を実行する。画像合成部65aは、中心座標に対応する画素81のうち、図13(B)で太線の三角形で結ぶ、隣接する三つの画素81の代表値Dから、三角形の内部に位置する画素81の画素値を生成する。
画素補間に際しては、三角形で結ぶ三つの画素81との距離に応じた重み付けを行う。例えば、三角形の真ん中に位置する画素81の画素値は、三角形の頂点に位置する画素81の画素値、つまり代表値Dの単純平均とする。三角形の真ん中から頂点側に寄っている画素81の画素値は、最も距離が近い頂点の画素81の代表値Dを例えば2倍したものと、離れている頂点の画素81を例えば1/2倍したものとの平均とする。画像合成部65aは、こうして画素補間を施した画像を、最終的に合成画像Gcとして表示制御回路67に出力する。
次に、上記のように構成された内視鏡システム2の作用について説明する。内視鏡10で患者の体内を観察する際、術者は、内視鏡10と各装置11、12とを繋げ、各装置11、12の電源をオンする。そして、操作部68を操作して、患者に関する情報等を入力し、検査開始を指示する。
検査開始を指示した後、術者は、挿入部13を体内に挿入し、光源装置12からの照明光で体内を照明しながら、CCD58による体内画像をモニタ21で観察する。
CCD58から出力された撮像信号は、AFE59の各部で各種処理を施された後、DSP65に入力される。DSP65では、入力された撮像信号に対して各種信号処理が施されて画像が生成される。DSP65で生成された画像は、DIP66に出力される。
DIP66では、CPU62の制御の下、DSP65からの画像に各種画像処理が施される。DIP66で処理された画像は、表示制御回路67に入力される。表示制御回路67では、CPU62からのグラフィックデータに応じて、各種表示制御処理が実行される。これにより、画像がモニタ21に体内画像として表示される。
図15において、検査を実施するに際して、検査準備モードが実施される(S10)。検査準備モードでは、内視鏡10によって白色被写体が撮影される(S11)。そして、これにより得られた白色画像Gwが二値化処理部65bで二値化画像Gwbとされる(S12)。二値化画像Gwbは、中心座標検出部65cに送られ、中心座標検出部65cによって二値化処理後の像80の中心座標が検出される(S13)。検出された中心座標は、内部メモリ65dに格納される。
シフト撮影モードが選択された場合(S14でYES)、プロセッサ装置11のCPU62に同期制御部62a、圧電素子制御部62bが構築される。そして、シフト情報85、およびCCD駆動回路60からのCCD58の駆動パルスの情報に基づいて、同期制御部62aから圧電素子制御部62bに圧電素子制御信号Saが、画像合成部65aに画像合成信号Sbがそれぞれ送信される。
圧電素子制御信号Saを受けた圧電素子制御部62bによって、圧電素子駆動回路61の動作が制御され、圧電素子駆動回路61から圧電素子35に相応の電圧が供給される。これにより、設定されたシフト回数に応じて、揺動部38が所定角度、所定ピッチ分順次シフトされる(S15)。そして、揺動部38が各シフト位置に止まっているときに、CCD58による電荷蓄積が行われ、イメージガイド31で伝達された被観察部位の像80が各画素81で撮像される(S16)。揺動部38が初期位置からシフトされて再び初期位置に戻り、一周期のシフト動作が終了するまで、S15、S16の処理が繰り返される(S17でno)。
一周期のシフト動作が終了すると(S17でyes)、画像合成信号Sbを受けた画像合成部65aによって画像合成処理が実行され、各回のシフト位置で得られた画像から、一つの合成画像が生成される(S18)。
このとき、図16に示すように、内部メモリ65dから中心座標の情報が、ROM63からコア50の径の情報がそれぞれ画像合成部65aに読み出される。そして、各結像領域86内の画素81で得られた撮像信号の代表値Dが、各回のシフト位置で得られた画像毎に求められる(S181)。
次いで、各回のシフト位置で得られた画像の中心座標に各回のシフト量を加算し、シフト量を加算した中心座標に対応する画素81に代表値Dをあてがうマッピング処理が施される(S182)。最後に、マッピング処理によって代表値Dがあてがわれた画素81を用いて、代表値Dがあてがわれていない画素81の画素値を生成する画素補間が行われる(S183)。
図15に戻って、こうして生成された合成画像は、前述のようにDIP66、表示制御回路67を経由して、モニタ21に表示される(S19)。一方、通常撮影モードが選択された場合(S14でNO)は、S16の撮影は行われるが、S15、S18の処理は実行されない。これら一連の処理は、検査終了が指示される(S20でYES)まで繰り返される。
図17において、校正用治具90は、圧電素子35によるイメージガイド31の入射端のシフト量を校正するためのものである。校正用治具90は、シフト量校正モード下で、例えば内視鏡10の定期メンテナンスでサービスマンが使用する。
校正用治具90は、ホルダ91と台座92とからなる。ホルダ91は、台座92から垂直に立設された側壁と、側壁上に設けられた台座92に平行な天板とを有し、側壁で囲まれた空洞が中に形成されている。ホルダ91の中心には、垂直な穴93が穿たれている。穴93の入口には誘い込み用のテーパ93aが形成されており、ここから内視鏡10の先端部20が挿入される。また、空洞に通ずる穴93の出口には、先端部20のテーパ面が突き当たる突き当て部93bが形成されている。
穴93には、挿入された先端部20を抜去自在に位置決め固定する固定機構(図示せず)が設けられている。固定機構は、先端部20の軸方向の移動と軸回りの回転を規制するもので、例えば先端部20の外周に形成した係合穴と、これに係合する穴93内に設けた係合爪を用いることができる。あるいは、挿入部19を所定位置でクランプしてその先の先端部20を吊り下げるものでもよい。固定機構は、先端部20の先端面20aと台座92との距離が一定、且つ先端面20aと台座92の上面が平行に対面するよう先端部20を固定する。穴93に先端部20が挿入固定されると、空洞内が遮光される。
先端部20の周面には、シルク印刷による目印や若干の凹凸が設けられており、台座92の天板や穴93にもこれらに対応する目印や凹凸が設けられている。先端部20を穴93に挿入する際には、これらの目印や凹凸を合せた後、先端部20のテーパ面が突き当て部93bに突き当たるまで先端部20を挿入していき、最後に固定機構を作動させる。
台座92は、例えば水平面に載置される。台座92の上面と下面は平行である。穴93に挿入された先端部20の先端面20aが対向する台座92の上面には、校正チャート94が設けられている。
図18に示すように、校正チャート94は、同じ幅dhをもつ黒領域(ハッチング部分)100aと白領域(ハッチングなし)100bが交互に且つ平行に並べられた黒白縞状である。黒白各領域100a、100bを合せた幅2dhは、正味のシフト量Hs(図9参照)の定数倍(2dh=khHs、khは定数)である。定数khは、対物光学系30の倍率と、固定機構で先端部20を穴93に挿入固定したときの先端面20aと台座92との距離に応じて決められる。定数khは、固定機構で先端部20を穴93に挿入固定したときに、CCD58に映る黒白各領域100a、100bを合せた幅2dhが、正味のシフト量Hsと一致する値である。
図17に戻って、校正チャート94は、回転ステージ95上に載置されている。校正チャート94の中心と回転ステージ95の回転軸は略一致している。回転ステージ95は、プロセッサ装置11に接続され、プロセッサ装置11から電力が供給される。回転ステージ95は、プロセッサ装置11からの電力でモータ等の駆動源が駆動されることにより、数度刻みで180°の範囲を回転可能である。回転ステージ95は、イメージガイド31の入射端のシフト方向に対する校正チャート94の黒白各領域100a、100bの向きを変更する際に駆動される。
シフト量校正モードが選択されると、プロセッサ装置11のCPU62には、ステージ駆動部62cと校正部62dが構築される。ステージ駆動部62cは、回転ステージ95の駆動を制御する。校正部62dは、同期制御部62a、圧電素子制御部62bと協働し、CCD駆動回路60、圧電素子駆動回路61に、図19に示す動作をさせる。
図19において、校正部62dは、デフォルトの駆動電圧Vと、そのm/nの駆動電圧(例えば1/4V、1/2V、3/4V等)で連続的に圧電素子35を駆動させ、その都度シフト前の状態(点線で示す0の状態)に戻す。デフォルトの駆動電圧Vは、イメージガイド31の入射端を規定のシフト量でシフトさせるべく圧電素子35を駆動させたときの駆動電圧である。圧電素子35が規定通り駆動すれば、デフォルトの駆動電圧Vを印加すると、イメージガイド31の入射端が正味のシフト量Hsで30°の方向にシフトする。駆動電圧m/nVでは、シフト量m/nHsでシフトする。圧電素子35が規定通り駆動しない場合、シフト量はm/nHsからずれる。
イメージガイド31の入射端は、シフト量を段階的に増しながら、点線の位置を基点として、該基点と実線で示す各シフト量離れた位置の間で往復振動する。前回のシフト位置から基点位置まで戻り、次回のシフト位置までシフトする時間は、上述のシフト撮影モードで前回のシフト位置から次回のシフト位置までシフトする時間と同じである。つまり、シフト撮影モードのときと同じ駆動周波数でイメージガイド31の入射端をシフトさせる。
カメラのマークで擬似的に示すように、CCD58は、最初に基点位置で一回、各シフト位置でその都度校正チャート94を撮像する。校正部62dは、CCD58の撮像により得られた校正用画像の一部または全領域の黒濃度を検出し、これを元にシフト量(圧電素子35の駆動電圧)の校正を行う。このときの照明光は、使用時と同様に光源装置12の光源70からの光を用いる。
シフト量校正モードでは、まず、イメージガイド31の入射端のシフト方向に対する黒白各領域100a、100bの向き合せ(以下、単に向き合せという)を実施する。向き合せは、図18に矢印で示すように、シフト方向が黒白各領域100a、100bの幅方向と平行になるように、回転ステージ95で校正チャート94の向きを調整する。これら二つの向きは、固定機構によってある程度合せられているが、シフト量の校正を行うために、より厳密に合せる必要がある。
図20(A)に示すように、イメージガイド31の入射端のシフト方向が、黒白各領域100a、100bの幅方向と直交する場合、イメージガイド31の入射端をいくらシフトさせても、CCD58で撮像される黒白各領域100a、100bの割合は同じになるので、校正用画像の黒濃度は変化せず一定である。
一方、シフト方向が黒白各領域100a、100bの幅方向と平行な場合は、(B)に示すように、シフト量に応じて黒濃度が変動する。黒濃度は、一本のコア50で伝達する像80の中央に黒領域100aがあるとき最大値となり、逆に白領域100bがあるとき最小値となる。そして、像80に黒白各領域100a、100bが半々に映ったときに中間値をとる。この黒濃度の変動の周期は、2dh=khHsであるから、正味のシフト量Hsと同じである。コア50毎に得られる像80の全て、つまり校正用画像の全てが同じ変動をするとは限らないが、部分的に多少のずれはあれど、概ねこのような変動となる。
因みにシフト方向が黒白各領域100a、100bの幅方向と45°で交わる場合は、(C)に示す如くである。像80の推移は(B)の像80を45°回転させただけで同じである。従って振幅は(B)と変わらない。但し、45°傾いた分、シフト方向に対する黒白各領域100a、100bの幅が2√2dhと長くなるため、変動周期は√2Hsとなり、(B)よりも長くなる。同様に、シフト方向が黒白各領域100a、100bの幅方向と60°で交わる場合の変動周期は2Hsとなり、30°で交わる場合は2√3/3Hsとなる。これらの濃度変動のプロファイル(周期、振幅)は、シフト方向が黒白各領域100a、100bの幅方向と交わる角度毎に、ROM63に記憶されている。
校正部62dは、ステージ駆動部62cで回転ステージ95を回転させて、校正チャート94の向きを種々変えながら、図19で説明したようにイメージガイド31の入射端をシフトさせて且つCCD58に撮像させる。校正部62dは、各シフト位置で得られた校正用画像の一部または全領域の黒濃度を検出し、その濃度変動のプロファイル(周期)と、ROM63に記憶された濃度変動のプロファイルのいずれかとの一致をみる。
濃度変動のプロファイルが図20(B)と一致した場合はシフト方向が黒白各領域100a、100bの幅方向と平行であるので、向きは合っている。この場合は回転ステージ95を回転させる必要はない。黒濃度の変動がなく一定であった場合(図20(A))は、シフト方向が黒白各領域100a、100bの幅方向と直交しているため、回転ステージ95を90°回転させてシフト方向と黒白各領域100a、100bの幅方向とを平行にする。濃度変動のプロファイルが上記以外であった場合は、濃度変動のプロファイルが図20(B)と一致するように回転ステージ95を回転させる。
なお、濃度変動のプロファイルを記憶しておかなくても向き合せは可能である。回転ステージ95を回転させて黒濃度の変動がなく一定となる位置を探索し、黒濃度が一定となったらシフト方向が黒白各領域100a、100bの幅方向と直交する状態であるので、そこから回転ステージ95を90°回転させればよい。いずれにせよ、シフト方向と黒白各領域100a、100bの幅方向の交わる角度を一義的に決めないと、黒濃度の変動のプロファイルが分からないため、向き合せは必要である。
向き合せ後、校正部62dは、再度図19に示す往復振動と撮像動作を各部にさせる。そして、図19に示す基点位置での校正用画像と、各シフト位置での校正用画像を合成する。
圧電素子35が規定通り駆動した場合、各シフト位置での像80と、基点位置と各シフト位置の像80の合成像は、図21に示すようになる。ここでは、基点位置で像80に黒白各領域100a、100bが半々に映っていた場合を例示している。圧電素子35を駆動電圧1/4Vで駆動させ、イメージガイド31の入射端をシフト量1/4Hsでシフトさせた場合、像80の中央には白領域100bが映り、合成像は右側中央寄りの一部を除いて黒領域100aが占める。駆動電圧1/2V、シフト量1/2Hsの場合の像80は、基点位置の像80と対称に黒白各領域100a、100bが半々に映り、合成像には全て黒領域100aが映る。シフト量3/4Hsの場合の像80は、1/4Hsの場合の像80と逆に中央に黒領域100aが映る。合成像は右側端寄りの一部を除いて黒領域100aとなる。シフト量Hsの場合は、基点位置の像80と同じ映り方に戻り、合成像も同じになる。シフト量がHsの2倍、3倍、・・・(2Hsを例示)となっても、シフト後の像80と合成像はシフト量Hsの場合と同じである。
合成像の黒濃度は、全黒になるシフト量1/2Hsのときに最大値となり、基点位置とシフト量Hs(2Hs、3Hs、・・・)のときに最小値となり一致する。つまり合成像の黒濃度もシフト量に応じて周期的に変動し、その変動周期はHsとなる。基点位置の像80がここで例示する黒白半々のものでなくても、位相がずれるだけで基点位置とシフト量Hsでの合成像の黒濃度は必ず一致する。
校正部62dは、基点位置での校正用画像と、各シフト位置での校正用画像の合成画像(合成画像Gcとは異なる)の黒濃度を検出する。デフォルトの駆動電圧Vで圧電素子35を駆動したときに、基点位置の校正用画像と合成画像の黒濃度が一致するのであれば、イメージガイド31の入射端が規定通りシフト量Hsでシフトしたことになり、圧電素子25の駆動電圧の調整は不要である。
一方、基点位置の校正用画像と合成画像の黒濃度が一致しなかった場合は、デフォルトの駆動電圧Vで圧電素子35を駆動させても、規定のシフト量Hsでイメージガイド31の入射端がシフトされていないので、校正部62dは、シフト量が校正されるように圧電素子35の駆動電圧を決定する。例えば、デフォルトの駆動電圧Vの前後で1/10V刻みで駆動電圧を変えながら、イメージガイド31の入射端を基点との間で往復振動させて(例えば基点から8/10Vで駆動させて基点に戻した後、9/10Vで駆動させて基点に戻すといった動作を繰り返させる)、校正チャート94をCCD58で撮像し、基点位置の校正用画像と合成画像の黒濃度が一致したときの駆動電圧を圧電素子35の駆動条件とする。
校正部62dは、初期位置から一回シフトの位置、一回シフトの位置から二回シフトの位置、・・・と、各シフト位置のシフト量を全て上記のように校正する。初期位置から一回シフトの位置および二回シフトの位置から三回シフトの位置と、一回シフトの位置から二回シフトの位置および三回シフトの位置から初期位置とではシフト方向が違うので、シフト方向が違う回のシフト量を校正するときは、回転ステージ95を60°回転させてシフト方向と黒白各領域100a、100bの幅方向とを平行にする。
なお、校正に際しては、デフォルトの駆動電圧Vで圧電素子35を駆動したときに、基点位置の校正用画像と合成画像の黒濃度が一致しているか否かをみればいいので、駆動電圧Vで一回だけ圧電素子35を駆動させ、黒濃度が一致しない場合は上記のように駆動電圧をVの前後で振って、黒濃度が一致する駆動電圧をサーチすればよく、1/4Vや1/2V等でわざわざ駆動させなくてもよさそうなものである。
しかしながら、駆動電圧Vで駆動させたときに、もしシフト量が2Hsや3Hsになった場合、シフト量Hsのときと同じく基点位置の校正用画像と合成画像の黒濃度が一致するため区別がつかなくなる。また、圧電素子35の故障や配線ケーブル45の断線等で基点位置で動かない場合も区別がつかない。このため、圧電素子35に印加する駆動電圧を段階的に変えてイメージガイド31の入射端を往復振動させている。こうすることで、合成画像の濃度変動から圧電素子35自体の故障の有無をみることができる。合成画像の濃度変動から異常が検出された場合は、修理を促すメッセージをモニタ21に表示させる。
デフォルトの駆動電圧Vで圧電素子35を駆動させたときに、基点位置の校正用画像と合成画像の黒濃度が一致しなかった場合、校正部62dは、駆動電圧をVの前後で振って黒濃度が一致した駆動電圧を、内視鏡10のROM47(図6参照、EEPROM等の書き込み可能なROM)に記憶させる。ROM47には当初、デフォルトの駆動電圧Vが駆動条件として書き込まれており、校正で駆動電圧がV以外となった場合に校正部62dによって書き換えられる。この駆動電圧は、製品として使用する際にROM47からプロセッサ装置11のCPU62に読み出され、圧電素子駆動回路61に与えられる。
校正の処理手順について、図22を参照して説明する。まず、内視鏡10の先端部20をホルダ91の穴93に挿入固定する(S30)。次いで、校正部62dにより圧電素子35を駆動してイメージガイド31の入射端を図19に示すように往復振動させつつ、CCD58により基点位置と各シフト位置で校正チャート94を撮像させる(S31、S32)。
続いて、校正部62dにて基点位置と各シフト位置の校正用画像の一部または全領域の黒濃度を検出する(S33)。黒濃度の変動が、シフト方向が黒白各領域100a、100bの幅方向と平行なプロファイルであった場合(S34でYES)は、次の処理に移行する。黒濃度の変動が、シフト方向が黒白各領域100a、100bの幅方向と平行なプロファイルでなかった場合(S34でNO)は、回転ステージ95を回転させて向き合せを行う(S35)。例えば、S33で濃度が一定であった場合は、回転ステージ95を90°回転させる。
向き合せ後、S31、S32と同様に、再度校正部62dにより圧電素子35を駆動してイメージガイド31の入射端を往復振動させつつ、CCD58により基点位置と各シフト位置で校正チャート94を撮像させる(S36、S37)。さらに、基点位置と各シフト位置の校正用画像の合成画像を生成する(S38)。
続いて、校正部62dにて基点位置の校正用画像と各シフト位置の合成画像の黒濃度を検出する(S39)。基点位置の校正用画像と合成画像の黒濃度が一致したときの駆動電圧がデフォルトの駆動電圧Vであった場合(S40でYES)は、校正を終了する。一方、デフォルトの駆動電圧Vで駆動させても基点位置の校正用画像と合成画像の黒濃度が一致しない場合(S40でNO)は、シフト量が校正されるように圧電素子35の駆動電圧を決定する(S41)。そして決定した駆動電圧を内視鏡10のROM47に書き込んで(S42)、校正を終了する。校正部62dは、各シフト位置のシフト量を全て校正する。
以上説明したように、イメージガイド31の入射端をシフト動作させつつ、校正チャート94を撮像し、得られた校正用画像を元にシフト量を校正するので、シンプルな構成および方法でシフト量を校正することができる。シフト量が校正されるため、合成画像Gcにアーチファクトが発生しない。
検査準備モードで白色画像Gwの二値化画像Gwbを用いて中心座標を検出するので、コア50の配列誤差や伝達効率のバラツキを吸収することができる。イメージガイド31の出射端の光ファイバ52の配列とCCD58の画素位置を校正することができ、これとシフト量の校正を併せて実施すれば、さらに確実に合成画像Gcのアーチファクトの発生を防止することができる。
校正した駆動条件を内視鏡のROMに書き込み、使用時にこれをプロセッサ装置に読み込んで圧電素子の駆動を制御するので、複数の内視鏡を一台のプロセッサ装置で稼動させることができる。なお、決定した駆動条件を内視鏡毎に区別して、プロセッサ装置のROM63等に記憶させても、同様の効果が得られる。
上記実施形態では、定期メンテナンスでサービスマンが校正を実施する例を説明したが、校正用治具に類する系を、例えばプロセッサ装置や内視鏡システムのカートに設け、検査準備モードと同様、術者が検査毎に実施可能としてもよい。定期メンテナンスの際だけでなく、使用時にシフト量の校正を行うことができる。また、逆にステージ駆動部62cや校正部62dをプロセッサ装置11から分離して別体としてもよい。
上記実施形態では、基点位置と各シフト位置の校正用画像から合成画像を求め、求めた合成画像の黒濃度の変動に基づいてシフト量を校正しているが、図20(B)から明らかなように、各シフト位置の校正用画像についても同様に周期Hsで黒濃度は変動するので、合成画像を求めずに、各シフト位置の校正用画像の黒濃度の変動からシフト量を校正してもよい。
また、濃度変動がなく一定となる図20(A)の場合を除いて、シフト方向が黒白各領域100a、100bの幅方向とある角度で交われば、周期は違うが黒濃度は変動する。このため、例えば図20(C)に例示する45°で交わる場合の黒濃度の変動プロファイル(周期、振幅等のデータ、あるいは黒濃度をy、シフト量をxとする関数)を予め記憶しておけば、これを元にシフト量の校正を行うこともできる。
具体的には、圧電素子35の駆動電圧を段階的に変えていったときの黒濃度の増減をプロットすれば、基点位置の黒濃度がプロファイルで表す波形のどの点を表すかが分かり、それが分ればプロファイルから規定のシフト量でシフトさせたときの黒濃度も分かる。規定のシフト量でシフトさせたときの黒濃度は、波形の周期がHsでないため(角度が傾いているので周期はHより長くなる)基点位置の黒濃度とは一致しないが、変動プロファイルが分れば校正は可能である。黒白各領域100a、100bの幅dhを変えれば(45°の場合は√2倍する)、基点位置と規定のシフト量でシフトさせたときの黒濃度を一致させることもできる。
従って、必ずしもシフト方向が黒白各領域100a、100bの幅方向と平行になるよう向き合せをすることはなく、黒白各領域100a、100bの幅dhも種々変更してよい。複数の角度の濃度プロファイルをもっておき、回転ステージ95の回転量が一番少ない角度で向き合せをしてもよい。
また、像80の全領域が黒領域100a、または白領域100bで埋めつくされる区間がある程度あり、濃度変動の波形の山、または谷が潰れて、シフト量によって濃度が変わらない平坦な区間があっても、濃度変動がある区間が少しでも存在すればシフト量の校正は可能である。基点位置と規定のシフト量でシフトさせたときの黒濃度が平坦な区間にあった場合は、濃度変動が観測されるまでデフォルトの駆動電圧V以上で圧電素子35を駆動し、濃度変動がある区間で黒濃度が一致するか等を検討すればよい。例えば、駆動電圧3/10Vと4/10Vで駆動させたときに濃度変動がある区間であった場合、駆動電圧13/10Vと14/10Vで駆動させて、3/10Vと13/10Vのときの黒濃度、または4/10Vと14/10Vのときの黒濃度の一致をみる。
CCD58に映る黒白各領域100a、100bの幅dhがシフト量Hsとコア50の直径r(図5参照)の合計(Hs+r)以上であると、シフト量Hsでシフトさせても、その間の像は全黒または全白となって濃度変動が発生しないため、濃度変動がある区間をつくるためには、CCD58に映る黒白各領域100a、100bの幅dhは、Hs+rよりも小さければよい。
とはいえ、濃度変動する区間があまりにも小さく、その変動量が小さいと、これに応じて黒濃度の検出分解能(黒濃度の弁別能力)を上げる必要があるため、できるだけ濃度変動が分かり易くなるように校正チャートを作成することが好ましい。上記実施形態のように黒白各領域100a、100bの幅dhを正味のシフト量Hsの定数倍とすれば、黒濃度の検出分解能を上げることなく、向き合わせやシフト量の校正をより簡単に素早く行うことができる。黒濃度の波形の山、または谷が潰れて、シフト量によって濃度が変わらない平坦な区間がないようにするには、CCD58に映る黒白各領域100a、100bの幅dhが、コア50の直径r(図5参照)よりも小さければよい。
シフト方向と黒白各領域100a、100bの幅方向のなす角度によって、黒濃度の変動周期が異なることを図20で示した。このことを利用して、シフト量だけでなくシフト方向が合っているかを検出することもできる。例えば、初期位置から一回シフトの位置のシフト量を校正した後、回転ステージ95を60°回転させて一回シフトの位置から二回シフトの位置のシフト量を校正する際に、校正用画像の黒濃度の変動周期がHsでなかった場合は、黒白各領域100a、100bの幅方向と平行な方向にシフトしていないことが分かる。シフト方向と黒白各領域100a、100bの幅方向のなす角度毎の黒濃度の変動周期の情報をもっていれば、シフト方向がずれた角度も分かる。シフト方向がずれていた場合は、上下、左右の電極36に印加する駆動電圧の配分をデフォルトから変えてシフト方向を合せる。
また、校正チャートを用いた定期的、または検査毎の校正に加えて、シフト機構の揺動部周辺にシフト量を実測するシフト量検出センサを設け、その出力に応じて圧電素子の駆動条件を決定してもよい。シフト量検出センサとしては、例えば歪みゲージやフイルムコンデンサが挙げられ、例えば圧電素子の電極を分割する溝の幅を広げてできたスペースに取り付ける。使用時にリアルタイムでシフト量の校正を行うことができる。
使用時にシフト量の校正を行う場合、シフト量を校正すべく圧電素子の駆動条件を決定しても、圧電素子の故障あるいは配線の接続不良等でシフト量が校正不能になる(駆動条件に見合うシフト量が得られない)ことも想定される。この場合は合成画像Gcの信憑性が著しく損なわれるので、故障である旨をモニタに表示し、修理を促す。あるいは、応急的な措置として、シフト量が校正不能なシフト位置の画像を残りの画像の画素で予測補間することで生成してもよい。
なお、本発明の校正方法および装置に関わること以外についても、以下のように種々の変形が可能である。例えば、コア50で伝達する像80とCCD58の画素81の位置関係として、中心座標を求めているが、この代わりに、CCD58の中心からの距離とCCD58の水平方向に対する角度とで上記位置関係を表してもよい。シフト量の情報についても同様である。また、位置関係を取得するために二値化画像Gwbを生成する等の各種処理をしているが、コア50の配列誤差や伝達効率のバラツキがないものとし、図7に示す像80とCCD58の画素81の位置関係を理論値として用いてもよい。あるいは、位置関係の情報として、理論値からのずれを数値化したものを用いてもよい。
いずれにしても、位置関係の情報は、像80を撮像するCCD58の画素81を特定するために必要であり、シフト量の情報は、各シフト位置の撮影で得られた画素値(上記実施形態では代表値D)をマッピングする際に必要である。このため、これらの情報は、本発明を実施するために必須の要件である。
なお、コア50一本分の像80を撮像する画素81の個数は、中心座標とこれに対応する画素81とのズレが大きくならず、且つ代表値Dの算出や画素補間に時間が掛からない程度であることが好ましく、例えば三個〜三十個程度である。
また、静止画記録した画像の画素補間した部分に、万が一病変らしきものが見られた場合、それが画素補間によるものなのか、本当の病変であるのかを判断するために、画素補間前のマッピング画像Gmpを合成画像Gcと併せて記録することが好ましい。
イメージガイドは揺動部が根元から撓ることでシフトをするので、各シフト位置にすぐには停止せず、しばらく振動してから止まる可能性がある。このため、シフト機構の停止後、シフト方向とは逆方向に瞬間的に揺動部が振れるように、圧電素子駆動回路で圧電素子を駆動する等の制振対策を講じることが好ましい。具体的には、反力をシミュレーションや実測で求めて、これを打ち消すための圧電素子の駆動電圧をROMに記憶させておき、圧電素子制御部がその駆動電圧の情報をROMから読み出して圧電素子駆動回路に与える。あるいは、空洞に絶縁性の粘性流体を封入してダンピング効果を利用し、制振対策を講じてもよい。
なお、揺動部が次回のシフト位置に移動するまでの時間が、CCDが前回の電荷蓄積を終えてから次回の電荷蓄積を開始するまでの時間よりも短いと説明しているが、揺動部の長さ、材質、あるいはシフト量、さらには圧電素子自体の性能等が要因で、前者の時間が後者の時間よりも長くなることもあり得る。前述のようにイメージガイドの慣性質量が比較的重いことから、前者の時間が後者の時間よりも長くなる可能性が高い。
こうした場合には、揺動部がシフト位置に移動している間は、プロセッサ装置のCPUの制御の下、CCD駆動回路からCCDに電子シャッタパルスを供給して電荷蓄積を開始する時間を遅らせ、揺動部がシフト位置に停止してから電荷蓄積を開始する。あるいは、揺動部がシフト位置に移動している間は光源を消灯し、揺動部がシフト位置に停止したら光源を点灯する。
揺動部が次回のシフト位置に移動するまでの時間を基準にしてCCDを駆動しようとすると、前者の時間が後者の時間よりも長くなる場合はフレームレートを落とさなければならないが、電子シャッタパルスで電荷を掃き出すか、光源を点消灯させる上記いずれかの方法を採用すれば、フレームレートは現行を維持しつつブレのない画像を得ることができる。
なお、シフト撮影モードが選択されたときのみ画像合成部で画像合成処理をしているが、通常撮影モード時にも画像合成処理をしてもよい。クラッドの位置に対応する被観察部位の像を反映した画像は得られないが、クラッドの影は埋めることができる。
また、シフトの一周期毎に画像合成部で画像合成処理を行い、一つの合成画像を出力しているが、この方法であると通常撮影モードに比べてフレームレートが落ちる。このフレームレート低下の対策としては、四回シフトの場合は通常撮影モードの四倍といったように、シフト撮影モードが選択されたときにフレームレートを上げることが考えられる。
具体的には、CPU62のシステムクロックのクロック信号の周期を変化させることで、CCD駆動回路60の駆動信号の周期を変化させる。あるいは、システムクロックのクロック信号は変化させずに、CCD駆動回路60に分周器を設け、この分周器でシステムクロックのクロック信号を分周することで変化させてもよい。
あるいは、例えば四回シフトの場合に、同じシフト周期の画像G0〜G3で合成画像Gcを生成した後、その画像G1〜G3と次のシフト周期の画像G0から合成画像Gcを生成するというように、画像の組み合わせを一画像ずつずらして、G0〜G3の画像のうちの一番古い画像を新しく得られた画像に順次置き換えながら合成画像Gcを生成してもよい。こうすれば、クロック信号の周期を変化させたりする制御の面倒が省け、しかもフレームレートの低下を防ぐことができる。
シフト機構の構成は、上記実施形態の円柱状に限らない。例えば図23および図24に示すように、四角柱状のシフト機構105を用いてもよい。なお、以下では上記実施形態のシフト機構32と異なる点のみを説明し、同様の構成は符号のみを付し説明を省略する。
シフト機構105は、四角筒状の保持筒106を有する。保持筒106は、例えば厚み50μm、0.7mm角のステンレス製パイプからなり、接着剤等(図示せず)でイメージガイド31が内挿固定される。圧電素子107は、例えば厚み50μmで、保持筒106の四辺を覆う短冊状に直接成膜されるか、保持筒106の四辺に導電性の接着剤で接着されて配置されており、その上面に電極108が成膜されている。
シフト機構105は、先端部20の基体内に収容されている。シフト機構105の外周面と先端部20の基体の内壁面との間には、例えば0.1mm程度の空洞109が形成されている。
上記実施形態と同様、電極108は、上下、左右で対になっている。また、電極108には切欠き110が形成されて幅狭部111が設けられており、幅狭部111および保持筒106の終端には、配線ケーブル45が接続されるパッド112が形成されている。
シフト機構105を用いた場合、揺動部38は、例えば図25または図26に示すシフト動作をする。図25において、揺動部38は、(a)の初期位置から90°左方向に√3/4P分シフトされ、(b)に示す一回シフトの位置に移動される。そして、(b)の一回シフトの位置での撮影が終了した後、初期位置に戻されてから90°下方向に1/4P分シフトされ、(c)に示す二回シフトの位置に移動される。揺動部38は、二回シフトの位置から初期位置に戻された後に、順次右方向((d)の三回シフトの位置、角度、シフト量は、一回シフトの場合と同様)、上方向((e)の四回シフトの位置、角度、シフト量は、二回シフトの場合と同様)にシフトされ、再び(a)の初期位置に戻される。イメージガイド31の入射端におけるコア50は、初期位置に戻るのと(b)〜(e)のシフト動作を繰り返すことで、図27(a)に示す十字状の移動軌跡を辿る。
あるいは図26において、揺動部38は、(a)の初期位置から90°左方向に√3/4P分シフトされた後、90°下方向に1/4P分シフトされ、(b)に示す一回シフトの位置に移動される。そして、(b)の一回シフトの位置での撮影が終了した後、一回シフトの位置から90°下方向に1/4P分シフトされた後、右方向に√3/4P分シフトされ、(c)に示す二回シフトの位置に移動される。揺動部38は、順次右および上方向((d)の三回シフトの位置、角度、シフト量は、一回シフトの場合と同様)、上および左方向(角度、シフト量は、二回シフトの場合と同様)にシフトされ、再び(a)の初期位置に戻される。コア50は、初期位置に戻るのと(a)〜(d)のシフト動作を繰り返すことで、図27(b)に示す矩形状の移動軌跡を辿る。
もしくは、図27(c)に示すように、下および左方向、下および右方向、上および右方向、上および左方向と移動させ、上下方向の移動を必ず先に行うようにし、略卍状の移動軌跡を辿らせてもよい。いずれも移動軌跡は異なるが、上記実施形態と同様、初期位置だけでは画像化されないクラッド51の部分を埋めるように移動される。
上記実施形態の円柱状のシフト機構32は、圧電素子35を円筒状に成膜することで、シフト機構32の外径を鏡筒33の外径と略同じにすることができ、挿入部13の極細径化に寄与することができる。対して図23や図24に示す四角柱状のシフト機構105は、四隅が鏡筒33の外径から若干はみ出るために、シフト機構32と比べて挿入部13の径は大きくなるが、圧電素子107を短冊状に成膜または接着して配置することに製造上の困難性はないため、安価且つ簡単に製造することが可能である。
図25〜図27で示した、90°でシフトさせる例は、上記実施形態の円柱状のシフト機構32でも実施することができる。また、図23の符号113は、治療用レーザ光を患部に照射するための光ファイバの出射端が覗いたレーザ光照射部であり、鉗子チャンネル46に代わる他の例として挙げている。勿論、シフト機構32にレーザ光照射部113を設けてもよい。
以上、シフト機構の構成やそのシフト方法の例を列挙したが、ここで挙げた例は一例に過ぎず、特にシフト方法には様々な変形例が考えられる。例えば四回シフトの三回シフトの位置を飛ばして、シフト機構を30°の方向に三回シフトさせた後、初期位置に戻してもよいし、九回シフトの八回シフトの位置を飛ばして八回シフトとしても可である。あるいは、九回シフトの一回、二回シフトをさせた後、初期位置に戻してもよい。
但し、圧電素子にはヒステリシス特性があり、無秩序に駆動させるとシフト位置がずれるため、移動軌跡は毎回同じとし、常に同じ移動経路でシフト機構をシフトさせる。つまり、シフト機構をシフトさせる際の圧電素子の駆動順序を毎回同じにする。また、上下、左右で対になった電極に電圧を供給する順序も同じにする。
図25〜図27で示した、90°でシフトさせる場合は、図18に示す校正チャート94と異なり、図28に示す校正チャート120を用いる。校正チャート120は、向き合せ兼X方向用チャート121とY方向用チャート122とからなる。校正チャート94の場合と同様に、向き合せ兼X方向用チャート121とY方向用チャート122の黒白各領域123a、123b、124a、124bを合せた幅2dxおよび2dyは、XY方向のシフト量の絶対値Xs、Ys(図9参照)の定数倍(2dx=kxXs、2dy=kyYs、kx、kyは定数)である。定数kx、kyは、固定機構で先端部20を穴93に挿入固定したときに、CCD58に映る各校正チャート121、122の像の黒白各領域123a、123b、124a、124bを合せた幅2dx、2dyがそれぞれ、シフト量Xs、Ysと一致する値である。
圧電素子35に印加する駆動電圧を段階的に変えてイメージガイド31の入射端を往復振動させ、その都度向き合せ兼X方向用チャート121をCCD58で撮像した場合、像80の黒濃度の変動プロファイルは、図29に示すように、像80に映る黒白各領域123a、123bの配分が異なる以外、図20の場合と基本的に同じである。すなわち、イメージガイド31の入射端のシフト方向が、黒白各領域123a、123bの幅方向と直交する場合、(A)に示すように黒濃度は一定となり、シフト方向が黒白各領域123a、123bの幅方向と平行な場合、(B)に示すように周期Xsで濃度が変動する。また、シフト方向が黒白各領域123a、123bの幅方向と45°で交わる場合は、(C)に示すように周期√2Xsで濃度が変動する。
また、図30に示すように、圧電素子35が規定通り駆動した場合、各シフト位置での像80と、基点位置と各シフト位置の像80の合成像は、黒白各領域123a、123bの配分が異なる以外、図21の場合と同様であり、合成像の黒濃度の推移も同様である。図30においても、1/2Xs、1/2Ysで合成像が全黒になって合成像の黒濃度が最大値をとる場合を例示している。
この場合、最初に向き合せ兼X方向用チャート121で向き合せを行った後、向き合せ兼X方向用チャート121でX方向のシフト量を、Y方向用チャート122でY方向のシフト量をそれぞれ校正する。各チャート121、122を順次先端面20aに対面させるため、校正チャート120が載置されるステージは、回転だけでなく水平方向に移動する機能を有する。向き合せと校正の仕方は上記実施形態と同様である。
校正チャートは、黒白縞状に限らない。向き合せ兼X方向用チャート121とY方向用チャート122を合せた格子状の校正チャートを用いてもよい。黒領域00aの映り込みが多くなる分濃度変動の振幅は小さくなるが、校正は可能である。
また、図31に示す校正チャート130のように、水玉状でもよい。校正チャート130は、校正チャート94と同様、30°の方向にシフト量Hsでシフトする場合の校正に用いられる。校正チャート130は、CCD58に映る直径がコア50の直径r(図5参照)と同じ直径r’をもつ円形の黒領域(ハッチング部分)131aがコア50と同様に正三角形状に配列され、それ以外の部分が白領域(ハッチングなし)131bとなった白地の黒水玉状である。
黒領域131a同士は、間隔dh’で配列されている。黒領域131aの直径r’は、コア50の直径rの定数倍(r’=kh’r、kh’は定数)である。また、間隔dh’は、光ファイバ52の配列ピッチPの定数倍(dh’=kh’P)である。正味のシフト量Hs=1/2Pであるため、間隔dh’=2kh’Hsである。定数kh’は、固定機構で先端部20を穴93に挿入固定したときに、CCD58に映る校正チャート94の像の黒領域131aの直径r’がコア50の直径rに、間隔dh’が正味のシフト量Hsの2倍と一致する値である。なお、本例ではコア50の直径r=1/2Pであるため、結局間隔dh’=2kh’r’である。
この場合、校正チャート130の横に上記実施形態の校正チャート94を用意し、校正チャート94で黒領域131aの配列方向(矢印で示す)とシフト方向の向き合せをする。そして、ステージを移動させて先端面20aと校正チャート130を対面させ、さらにシフト前の像80に黒領域131aの全てが映るよう(像80が全黒となるよう)、XY方向にステージを移動させる。その後、上記実施形態と同様にイメージガイド31の入射端を往復振動させながら、校正チャート130をCCD58で撮像する。
圧電素子35が規定通り駆動した場合、各シフト位置での像80は、図32に示すようになる。基点位置では、ステージ移動による位置合せで、像80に黒領域131aが全て映っている。圧電素子35を駆動電圧1/4Vで駆動させ、イメージガイド31の入射端をシフト量1/4Hsでシフトさせた場合、像80の右側の一部に三日月様の白領域131bが映る。駆動電圧を1/2V、シフト量1/2Hs、3/4V、シフト量3/4Hsとしていくと、白領域100bが映る面積が次第に大きくなり、駆動電圧V、シフト量Hsで全白となる。さらに駆動電圧を上げてシフト量を増やしていくと、今度は黒領域131aの面積が次第に大きくなり、駆動電圧2V、シフト量2Hsで再び全黒となる。白領域141bの面積の移り変わりは、丁度月の満ち欠けと同じである。
黒濃度は、全黒になる基点位置とシフト量2Hsのときに最大値をとり、全白のシフト量Hsのときに最小の0となる。つまりこの場合の黒濃度の変動周期は2Hsである。また、上記実施形態では中央に黒領域131aがあるとき黒濃度が最大値となり、逆に白領域131bがあるとき最小値をとるが、本実施形態では全黒で最大値、全白で最小値(0)となるため、振幅は上記実施形態の約2倍になる。
校正部62dは、各シフト位置での校正用画像の黒濃度を検出する。デフォルトの駆動電圧Vで圧電素子35を駆動したときに、全白で黒濃度が0であれば、校正は不要である。黒濃度が0でなかった場合は、上記実施形態と同様にして駆動条件を決定する。校正チャート130でシフト量の校正をすれば、黒濃度の変動の振幅が大きくなるので、黒濃度の検出の分解能を高めなくても済む。
なお、XY方向のシフト量を校正する場合は、黒領域131aの間隔がシフト量Xsの2倍の定数倍、およびシフト量Ysの2倍の定数倍である二種類の校正チャートと、向き合せのための校正チャート(向き合せ兼X方向用チャート121と同じもの)の計三種類を用意する。校正の仕方は上記と同じである。
黒領域131aを間隔を空けず配列方向に団子状に連ねてもよい。この場合の黒濃度の変動周期はHsとなる。さらに、黒領域131aを一辺がr’の長さの正方形の黒領域に変え、略市松模様としてもよい。
上記実施形態では、黒濃度の変動を元に向き合せやシフト量の校正を行っているが、白濃度でみても構わない。最大値と最小値をとるシフト量が異なるだけで、黒白濃度のどちらでみても同じである。また、校正チャートの模様を形成する色は黒白でなくともよい。濃度の検出ができれば、どのような組み合わせでもよい。
上記実施形態では、内視鏡先端部の先端面と校正チャートとを一定距離離しているが、これらを距離をおかずに接触させてもよい。この場合はバックライトで校正チャートを照らし、撮像のための照明光を確保する。
校正チャートではなく、内視鏡先端部を移動、回転させて向き合せを行ってもよい。あるいは、LCD等の表示器に校正チャートを表示させてもよい。こうすれば表示を切り替えるだけで校正チャートの向きを変えることができ、回転ステージ等が不要となる。
三板式CCD、モード切り替えとシフト回数の設定をする操作部、および画像合成部と同期制御部と圧電素子制御部の機能を実現するハードウェアを、プロセッサ装置とは別の筐体に搭載してもよいし、内視鏡に搭載してもよい。
また、照明用の光源として中心波長445nmの青色レーザ光源を用い、青色レーザ光源からのレーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体を有する波長変換部材125をライトガイド27の光出射側に配置して、レーザ光と励起光を合成した高輝度な白色光を照明光として照射してもよい。上記実施形態と比べて高輝度な白色光を供給するので、僅かな本数(一、二本)のライトガイドで十分な照明光を得ることができる。従って、極細径化をさらに促進することができる。
なお、イメージセンサとしては、単板式を用いてもよい。また、上記実施形態では、イメージガイドと配線ケーブルのプロセッサ装置への接続を同じコネクタで果たしているが、イメージガイドと配線ケーブルを別のコネクタに実装してもよい。