以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
<内視鏡システムの全体構成>
図1は、本開示の技術に係る内視鏡システム9の全体構成を示す概略図である。図1に示すように、内視鏡システム9は、内視鏡10と、光源装置11と、ナビゲーション装置12と、磁界発生器13と、プロセッサ装置14と、モニタ15と、を備える。内視鏡システム9は、患者などの被検者Hの体内の内視鏡検査に用いられる。被検者Hは、被検体の一例である。この内視鏡10は、例えば、大腸などの消化管内に挿入される内視鏡であり、可撓性を有する軟性内視鏡である。内視鏡10は、消化管内に挿入される挿入部17と、挿入部17の基端側に連設され且つ術者OPが把持して各種操作を行う操作部18と、操作部18に連設されたユニバーサルコード19と、を有する。
内視鏡検査は、例えば、被検者Hを寝台16に寝かせた状態で行う。大腸検査の場合は、医師である術者OPによって、内視鏡10の挿入部17が肛門から消化管内に挿入される。光源装置11は、観察部位である大腸内を照明する照明光を内視鏡10に供給する。プロセッサ装置14は、内視鏡10で撮像された画像を処理することにより、観察画像41を生成する。観察画像41は、モニタ15に表示される。術者OPは、観察画像41を確認しながら内視鏡検査を進める。モニタ15に表示される観察画像41は、基本的には動画であるが、観察画像41として、必要に応じて静止画を表示することも可能である。
また、内視鏡システム9は、術者OPが行う内視鏡10の挿入操作などの手技をナビゲーションするナビゲーション機能を備えている。ここで、ナビゲーションとは、被検者Hの体内での内視鏡10の挿入部17の位置及び形状の少なくとも一方を含む挿入状態を、術者OPに対して提示することにより、術者OPの内視鏡10の手技を支援することをいう。ナビゲーション機能は、磁界MFを利用して挿入部17の挿入状態を検出して、検出した挿入状態を提示する機能である。本実施形態において、挿入状態は、体内に挿入された挿入部17の一部(例えば、後述する先端部23)の位置に加えて、体内における挿入部17全体の形状を含む。
ナビゲーション機能は、ナビゲーション装置12と、磁界発生器13と、後述する内視鏡10内の磁界測定装置とによって実現される。磁界発生器13は、磁界MFを発生する。磁界発生器13は、例えば、スタンドに取り付けられており、被検者Hが横たわる寝台16の傍らに配置される。また、磁界発生器13は、発生する磁界MFが被検者Hの体内に届く範囲内に配置される。
内視鏡10内の磁界測定装置は、磁界発生器13が発生する磁界MFを検出し、検出した磁界MFの強さを測定する。ナビゲーション装置12は、磁界測定装置による磁界測定結果に基づいて、磁界発生器13と挿入部17との相対的な位置を導出することにより、挿入部17の挿入状態を検出する。プロセッサ装置14は、ナビゲーション装置12が検出した挿入状態を表す挿入部形状画像42を生成する。
モニタ15は、観察画像41と挿入部形状画像42とを表示する。なお、観察画像41と挿入部形状画像42とを表示するモニタ15がそれぞれ別に設けられていてもよい。
図2に示すように、挿入部17は、細径でかつ長尺の管状部分であり、基端側から先端側に向けて順に、軟性部21と、湾曲部22と、先端部23とが連接されて構成される。軟性部21は、可撓性を有する。湾曲部22は、操作部18の操作により湾曲可能な部位である。先端部23は、撮像装置48(図3参照)等が配置される。また、図示しないが、先端部23の先端面には、観察部位に照明光を照明する照明窓46(図3参照)と、照明光が被写体で反射した被写体光が入射する観察窓47(図3参照)と、処置具を突出させるための処置具出口と、観察窓47に気体及び水を噴射することにより、観察窓47を洗浄するための洗浄ノズルとが設けられている。
挿入部17内には、ライトガイド33と、信号ケーブル32と、操作ワイヤ(不図示)と、処置具挿通用の管路(不図示)とが設けられている。ライトガイド33は、ユニバーサルコード19から延設され、光源装置11から供給される照明光を、先端部23の照明窓46に導光する。信号ケーブル32は、撮像装置48からの画像信号及び撮像装置48を制御する制御信号の通信に加えて、撮像装置48に対する電力供給に用いられる。信号ケーブル32も、ライトガイド33と同様に、ユニバーサルコード19から延設され、先端部23まで配設されている。
操作ワイヤは、湾曲部22を操作するためのワイヤであり、操作部18から湾曲部22までの間に配設される。処置具挿通用の管路は、鉗子などの処置具(不図示)を挿通するための管路であり、操作部18から先端部23まで配設される。挿入部17内には、この他、送気送水用の流体チューブが設けられる。流体チューブは、先端部23に、観察窓47の洗浄用の気体及び水を供給する。
また、挿入部17内には、その軟性部21から先端部23にかけて複数の検出コイル25が予め設定された間隔で設けられている。各検出コイル25は、磁界MFを検出する磁界検出素子に相当する。各検出コイル25は、それぞれ磁界発生器13から発生した磁界MFの影響を受けることにより、電磁誘導の作用により誘導起電力を生じ、誘導起電力によって誘導電流を発生する。各検出コイル25から発生した誘導電流の値は、各検出コイル25でそれぞれ検出した磁界MFの強さを表し、これが磁界測定結果となる。すなわち、磁界測定結果とは、磁界MFの強さを表す誘導電流の大きさに応じた値をいう。
操作部18には、術者OPによって操作される各種操作部材が設けられている。具体的には、操作部18には、2種類の湾曲操作ノブ27と、送気送水ボタン28と、吸引ボタン29と、が設けられている。2種類の湾曲操作ノブ27は、それぞれが操作ワイヤに連結されており、湾曲部22の左右湾曲操作及び上下湾曲操作に用いられる。また、操作部18には、処置具挿通用の管路の入口である処置具導入口31が設けられている。
ユニバーサルコード19は、内視鏡10を光源装置11に接続するための接続コードである。ユニバーサルコード19は、信号ケーブル32と、ライトガイド33と、流体チューブ(不図示)とを内包している。また、ユニバーサルコード19の端部には、光源装置11に接続されるコネクタ34が設けられている。
コネクタ34を光源装置11に接続することで、光源装置11から内視鏡10に対して、内視鏡10の運用に必要な電力と制御信号と照明光と気体と水とが供給される。また、先端部23の撮像装置48(図3参照)により取得される観察部位の画像信号と、各検出コイル25の検出信号に基づく磁界測定結果とが、内視鏡10から光源装置11へ送信される。
コネクタ34は、光源装置11との間で、金属製の信号線等を用いた電気的な有線接続はされず、その代わりに、コネクタ34と光源装置11とは、光通信(非接触型通信)により通信可能に接続される。コネクタ34は、内視鏡10と光源装置11の間でやり取りされる制御信号の送受信と、内視鏡10から光源装置11への画像信号及び磁界測定結果の送信と、を光通信により行う。コネクタ34には、信号ケーブル32に接続されたレーザダイオード(Laser Diode:以下、「LD」という)36が設けられている。
LD36は、内視鏡10から光源装置11への大容量データの送信、具体的には画像信号及び磁界測定結果の送信に用いられる。LD36は、元々は電気信号の形態であった、画像信号及び磁界測定結果を光信号の形態で、光源装置11に設けられているフォトダイオード(Photo Diode:以下、「PD」という)37に向けて送信する。
なお、図示は省略するが、LD36及びPD37とは別に、コネクタ34及び光源装置11の双方には、内視鏡10と光源装置11との間でやり取りされる小容量の制御信号を光信号化して送受信する光送受信部が設けられている。更に、コネクタ34には、光源装置11の給電部(不図示)からワイヤレス給電により給電を受ける受電部(不図示)が設けられている。
コネクタ34内のライトガイド33は、光源装置11内に挿入される。また、コネクタ34内の流体チューブ(不図示)は、光源装置11を介して送気送水装置(不図示)に接続される。これにより、光源装置11及び送気送水装置から内視鏡10に対して、照明光と気体及び水とがそれぞれ供給される。
光源装置11は、コネクタ34を介して、内視鏡10のライトガイド33へ照明光を供給すると共に、送気送水装置から供給された気体及び水を内視鏡10の流体チューブへ供給する。また、光源装置11は、LD36から送信される光信号をPD37で受光し、受光した光信号を電気信号である元の画像信号及び磁界測定結果に変換した後、ナビゲーション装置12へ出力する。
ナビゲーション装置12は、光源装置11から入力された、観察画像41生成用の画像信号をプロセッサ装置14へ出力する。また、ナビゲーション装置12は、後述の磁界発生器13の駆動を制御すると共に、被検者Hの体内の挿入部17の挿入状態を検出して、この検出結果を、挿入部形状画像42を生成するための情報として、プロセッサ装置14へ出力する。
このように、本実施形態に係る内視鏡10は、光源装置11と接続する1つのコネクタ34を持つワンコネクタタイプである。内視鏡10は、コネクタ34が接続される光源装置11を介して、プロセッサ装置14及びナビゲーション装置12のそれぞれと通信可能に接続される。
磁界発生器13は、複数の磁界発生素子に相当する複数の発生コイル39を有している。各発生コイル39は、例えば、駆動電流の印加により、直交座標系XYZのXYZ座標軸にそれぞれ対応した方向に交流磁界(交流磁場)を発生するX軸コイルとY軸コイルとZ軸コイルとを含む。各発生コイル39は、同じ周波数の磁界MFを発生する。各発生コイル39は、ナビゲーション装置12の制御の下、詳しくは後述するが、互いに異なるタイミングで磁界MFを発生する。
<内視鏡>
図3は、内視鏡システム9の電気的構成を示すブロック図である。図3に示すように、内視鏡10は、ライトガイド33と、照射レンズ45と、照明窓46と、観察窓47と、撮像装置48と、磁界検出回路49と、統括制御回路50と、信号ケーブル32と、LD36と、不図示の流体チューブ及び洗浄ノズルと、を有する。
ライトガイド33は、大口径光ファイバ又はバンドルファイバなどである。ライトガイド33の入射端は、コネクタ34を介して光源装置11内に挿入される。ライトガイド33は、コネクタ34内とユニバーサルコード19内と操作部18内と挿入部17内とに挿通されており、挿入部17の先端部23内に設けられた照射レンズ45に、出射端が対向している。これにより、光源装置11からライトガイド33の入射端に供給された照明光は、照射レンズ45から先端部23の先端面に設けられた照明窓46を通して、観察部位に照射される。そして、観察部位で反射した照明光は、観察部位の像光として、先端部23の先端面に設けられた観察窓47を通して撮像装置48の撮像面に入射する。
なお、前述の流体チューブの一端側は、コネクタ34及び光源装置11を通して送気送水装置に接続されると共に、流体チューブの他端側は、挿入部17内等を通って先端部23の先端面に設けられた送気送水ノズル(不図示)に接続している。これにより、送気送水装置から供給された気体又は水が、送気送水ノズルから観察窓47に噴射されて、観察窓47が洗浄される。
撮像装置48は、集光レンズ52と撮像素子53とを有する。集光レンズ52は、観察窓47から入射した観察部位の像光を集光し、かつ集光した観察部位の像光を撮像素子53の撮像面に結像させる。撮像素子53は、CMOS(Complementary Metal Oxide Semiconductor)型又はCCD(Charge Coupled Device)型の撮像素子である。撮像素子53は、例えば、各画素にR、G、Bのいずれかのマイクロフィルタが割り当てられたカラー撮像素子である。撮像素子53は、観察対象である観察部位を撮像する。より具体的には、撮像素子53は、撮像面に結像した観察部位の像光を撮像(電気信号に変換)して、観察部位の画像信号を統括制御回路50へ出力する。
また、撮像素子53には、例えば水晶振動子等の基準信号(クロック信号)を出力する発振部53aが設けられており、この発振部53aから発振される基準信号を基準として、撮像素子53が動画を構成する画像信号を出力する。基準信号の間隔はフレームレートを規定する。フレームレートは例えば30fps(frames per second)である。
磁界検出回路49は、挿入部17内の各検出コイル25に電気的に接続している。磁界検出回路49は、磁界発生器13の発生コイル39から発生した磁界MFに応じた、各検出コイル25のそれぞれの磁界測定結果を含む磁界測定データ55を、統括制御回路50へ出力する。
具体的には、図4に示すように、磁界検出回路49は、計装アンプ49A、フィルタ49B、セレクタ49C、アンプ49D、及びA/D(Analog/Digital)変換回路49Eを有する。計装アンプ49Aは、検出コイル25毎に設けられ、入力端子が各検出コイル25に接続されている。計装アンプ49Aは、各検出コイル25が出力する微弱な検出信号を増幅して、検出信号の値に応じた電圧として出力する。各計装アンプ49Aの出力端子は、フィルタ49Bに接続されている。
フィルタ49Bは、LPF(Low Pass Filter)又はBPF(Band Pass Filter)などのフィルタであり、計装アンプ49A毎に設けられ、入力端子が各計装アンプ49Aに接続されている。フィルタ49Bは、計装アンプ49Aから入力された信号のうち、予め設定された周波数帯域の信号を通過させる。各フィルタ49Bの出力端子は、セレクタ49Cに接続されている。
セレクタ49Cは、各フィルタ49Bのうち読み出し対象のフィルタ49Bを選択する。複数のフィルタ49Bのうち、セレクタ49Cによって選択されたフィルタ49Bからの電圧が、セレクタ49Cを介してアンプ49Dに入力される。セレクタ49Cは、磁界測定制御部58から入力されるタイミング信号に基づいて、各フィルタ49Bを順番に選択する。これにより、複数の検出コイル25の検出信号に応じた電圧が順番に読み出される。
アンプ49Dは、セレクタ49Cから出力される電圧を増幅する。より詳細には、アンプ49Dは、例えばオペアンプであり、セレクタ49Cから入力される入力電圧と、リファレンスとして入力される基準電圧との差の電圧値を増幅して出力する。A/D変換回路49Eは、アンプ49Dの出力電圧をデジタル信号に変換する。A/D変換回路49Eは、このデジタル信号の値を、各検出コイル25の磁界測定結果(磁界MFの強さを表す誘導電流の大きさに応じた値)として出力する。セレクタ49Cによって各検出コイル25が順次選択されることにより、A/D変換回路49Eは、すべての検出コイル25の検出信号に基づくそれぞれの磁界測定結果を含む磁界測定データ55を統括制御回路50へ出力する。
統括制御回路50は、CPU(Central Processing Unit)を含む各種の演算回路と、各種のメモリとを含んで構成されており、内視鏡10の各部の動作を統括的に制御する。この統括制御回路50は、不図示のメモリに記憶された制御用のプログラムを実行することで、信号処理部57と、磁界測定制御部58と、画像信号出力部59として機能する。磁界検出回路49及び磁界測定制御部58は、磁界測定部に相当する。磁界測定部は、検出コイル25が出力する検出信号に基づいて、複数の磁界発生素子に相当する発生コイル39のそれぞれを発生元とする複数の磁界MFを測定することにより、磁界MF毎の磁界測定結果を出力する。磁界測定部と、検出コイル25とを合わせて磁界測定装置を構成する。
信号処理部57は、撮像素子53から順次出力される画像信号に対して各種信号処理を施す。信号処理としては、例えば、相関二重サンプリング処理、及び信号増幅処理などのアナログ信号処理と、アナログ信号処理後にアナログ信号をデジタル信号に変換するA/D変換処理などが含まれる。信号処理が施された後の画像信号をフレーム画像信号61と呼ぶ。信号処理部57は、フレームレートに従って、フレーム画像信号61を画像信号出力部59へ出力する。フレーム画像信号61は、観察部位の動画像データとして使用される。このように、複数のフレーム画像信号61は、撮像素子53が動画撮影を実行することにより取得され、フレームレートに応じた時間間隔で出力される画像信号である。
磁界測定制御部58は、磁界検出回路49を介して各検出コイル25の複数の磁界測定結果を含む磁界測定データ55を取得し、取得した磁界測定データ55を、画像信号出力部59へ出力する。
図5に示すように、各検出コイル25の磁界測定結果は、各発生コイル39が発生する磁界の強さが同じであっても、例えば、磁界MFを発生する各発生コイル39と、各検出コイル25のそれぞれとの間の距離及び向きに応じて変化する。例えば、図5に示す第1発生コイル39は、実線で示すように、第1~第3の各検出コイル25との距離及び向きが異なる。そのため、1つの第1発生コイル39が発生する磁界MFについて、第1~第3の各検出コイル25のそれぞれの磁界測定結果は異なる。第2発生コイル39及び第3発生コイル39のそれぞれと、第1~第3の各検出コイル25との関係も同様である。
また、反対に、第1~第3の各発生コイル39が発生する磁界MFの強さが同じであっても、各発生コイル39のそれぞれの磁界MFについての1つの第1検出コイル25の磁界測定結果は異なる。ここで、例えば、第1~第3の各発生コイル39がそれぞれX軸コイル、Y軸コイル及びZ軸コイルである場合を考える。この場合は、X軸、Y軸及びZ軸の各コイルのそれぞれの磁界MFについての1つの第1検出コイル25の磁界測定結果に基づいて、XYZ座標軸に対応する、第1検出コイル25の三次元座標位置を検出することができる。第2検出コイル25及び第3検出コイル25についても同様である。挿入部17に予め設定された間隔で設けられる各検出コイル25の三次元座標位置を検出することができれば、挿入部17の形状を検出することが可能である。また、先端部23の近傍に配置された検出コイル25の三次元座標位置を検出することができれば、先端部23の位置を検出することが可能である。
図6は、磁界測定制御部58が取得する磁界測定データ55の一例を説明するための説明図である。磁界測定制御部58は、複数の発生コイル39が発生する複数の磁界MFのそれぞれを、複数の各検出コイル25がそれぞれ検出し、各検出コイル25からそれぞれ出力される複数の磁界測定結果を含む磁界測定データ55を取得する。
図6において、(1)~(4)は、それぞれ1つの発生コイル39が発生する磁界MFについての、複数の検出コイル25のそれぞれの磁界測定結果を示すデータ列である。例えば、「D11」は1番目に駆動した発生コイル39で発生した磁界MFを「第1検出コイル」で検出した磁界測定結果である。「D12」は1番目に駆動した発生コイル39で発生した磁界MFを「第2検出コイル」で検出した磁界測定結果である。同様に、「D42」は4番目に駆動した発生コイル39で発生した磁界MFを「第2検出コイル」で検出した磁界測定結果である。「D43」は4番目に駆動した発生コイル39で発生した磁界MFを「第3検出コイル」で検出した磁界測定結果である。
磁界測定制御部58は、磁界発生器13における各発生コイル39のそれぞれの磁界発生タイミングと同期を取りながら、各検出コイル25の磁界測定結果を順番に取得する。磁界測定制御部58は、例えば、後述する同期信号で規定される1回の磁界測定期間において、すべての発生コイル39のそれぞれの磁界MFについて、すべての検出コイル25のそれぞれの磁界測定結果を取得する。これにより、磁界測定制御部58は、1回の磁界測定期間において、各発生コイル39と各検出コイル25とのすべての組み合わせに係る複数の磁界測定結果を含む磁界測定データ55を取得する。この磁界測定期間は、予め定められた磁界の測定単位時間に相当する。本実施形態では、磁界測定期間は、撮像素子53のフレームレートを規定する基準信号の間隔となる。
例えば、磁界発生器13内に9個の発生コイル39が設けられており、挿入部17内に17個の検出コイル25が設けられている場合は、各発生コイル39について17個の磁界測定結果が得られる。そのため、磁界測定制御部58は、1回の磁界測定期間内に、合計で、9×17=153個の磁界測定結果を含む磁界測定データ55を取得する。こうしたすべての組み合わせに係る複数の磁界測定結果を含む磁界測定データ55を、全磁界測定データと呼ぶ。本実施形態においては、特に断りの無い限り、磁界測定データ55には、全磁界測定データが含まれるものとする。
画像信号出力部59は、図7に示すように、信号処理部57から順次入力される複数のフレーム画像信号61のそれぞれに対して、フレーム開始信号VDを付加して、フレーム画像信号61を出力する。図7において、「フレーム1」、「フレーム2」、「フレーム3」・・・は、便宜上示した、複数のフレーム画像信号61の出力順序を示すフレーム番号である。フレーム開始信号VDは、例えば、垂直同期信号である。
更に、画像信号出力部59は、フレーム画像信号61に、磁界測定データ55を付加して、フレーム画像信号61を出力する。すなわち、画像信号出力部59が出力するフレーム画像信号61のすべてに対して、フレーム開始信号VD及び磁界測定データ55が含まれる。磁界測定データ55は、図7に示すように、撮像素子53のブランキングタイムBTに対応する、各フレーム画像信号61の間の信号無効領域NDに付加される。ブランキングタイムBTは、例えば垂直ブランキング期間である。フレーム開始信号VDも、複数のフレーム画像信号61の垂直ブランキング期間に含まれる信号である。
画像信号出力部59は、フレーム画像信号61を、信号ケーブル32を介してLD36へ出力する。LD36は、フレーム画像信号61を光信号化した光信号を、光源装置11のPD37に向けて送信する。
このように、画像信号出力部59は、撮像素子53から、信号処理部57を介して取得したフレーム画像信号61を、内視鏡10の外部に出力する。また、フレーム画像信号61に含まれるフレーム開始信号VDを同期信号として利用することにより、画像信号出力部59を同期信号生成部として機能させている。
<光源装置>
光源装置11は、照明光源63と、PD37と、光源制御部64と、通信インタフェース65を有している。照明光源63は、例えばLD又は発光ダイオード(Light Emitting Diode:LED)などの半導体光源であり、波長が赤色領域から青色領域にわたる白色光を照明光として出射する白色光源である。なお、照明光源63としては、白色光源に加えて、紫色光及び赤外光などの特殊光を出射する特殊光光源を用いてもよい。照明光源63から出射された照明光は、ライトガイド33の入射端に入射される。
PD37は、LD36から送信された光信号を受信する。PD37は、光信号の形態で受信したフレーム画像信号61を、元の電気信号の形態に変換する。PD37による変換後のフレーム画像信号61は、光源制御部64に入力される。
光源制御部64は、CPUを含む各種の演算回路と、各種のメモリとを含んで構成されており、照明光源63などの光源装置11の各部の動作を制御する。また、光源制御部64は、PD37から入力された変換後のフレーム画像信号61を、通信インタフェース65を介してナビゲーション装置12へ出力する。
<ナビゲーション装置>
ナビゲーション装置12は、画像信号取得部68と、挿入状態検出部69と、タイミングジェネレータ(Timing Generator:以下、「TG」という)70と、磁界発生制御部71と、表示出力部74と、を有する。ナビゲーション装置12の各部は、1又は複数のCPUを含む各種演算回路(不図示)により構成され、不図示のメモリに記憶されている制御用のプログラムを実行することで動作する。
画像信号取得部68は、通信インタフェース65を介して光源制御部64からフレーム画像信号61を取得する。そして、画像信号取得部68は、取得したフレーム画像信号61を表示出力部74へ出力する。
また、画像信号取得部68は、フレーム画像信号61に含まれるフレーム開始信号VD及び磁界測定データ55を抽出し、抽出したフレーム開始信号VD及び磁界測定データ55を挿入状態検出部69に出力する。また、画像信号取得部68は、フレーム画像信号61から抽出したフレーム開始信号VDをTG70に出力する。
TG70は、画像信号取得部68から入力されるフレーム開始信号VDに基づき、各発生コイル39を選択的に切り替える制御用のクロック信号を磁界発生制御部71に出力する。磁界発生制御部71は、TG70から入力されるクロック信号に基づき、各発生コイル39の磁界発生の開始タイミングを制御する。更に、磁界発生制御部71は、各磁界測定期間における各発生コイル39の磁界発生の順序も制御する。磁界発生制御部71による制御の詳細は後述する。
挿入状態検出部69は、画像信号取得部68から取得したフレーム開始信号VD及び磁界測定データ55に基づいて、被検者Hの体内に挿入される内視鏡10の挿入部17の挿入状態を検出する。挿入状態検出部69は、位置検出部72と、挿入部形状検出部73とを有する。
位置検出部72は、フレーム開始信号VD及び磁界測定データ55に基づき各検出コイル25の位置を検出する。位置検出部72は、判別部72Aを有する。
図7に示すように、判別部72Aは、対応関係75を参照して、磁界測定データ55に含まれる複数の磁界測定結果を判別する。対応関係75は、磁界測定データ55に含まれる、各発生コイル39と各検出コイル25との複数の組み合わせに対応する複数の磁界測定結果の格納順序を表す情報である。判別部72Aは、対応関係75に基づいて、磁界測定データ55に含まれる各磁界測定結果が、各発生コイル39と各検出コイル25とのどの組み合わせに対応するデータであるかを判別する。
具体的には、後述するように、磁界測定においては、フレーム開始信号VDを基準として、各発生コイル39が磁界MFを発生する発生順序と、1つの発生コイル39の磁界MFについて、各検出コイル25の磁界測定結果の取得順序とが、磁界測定期間ごとに決まっている。各発生コイル39と各検出コイル25の組み合わせに応じた複数の磁界測定結果は、発生順序と取得順序とに従って、磁界測定データ55内に格納される。そのため、判別部72Aは、フレーム開始信号VDを基準として、格納順序を規定した対応関係75を参照することで、磁界測定データ55に含まれる複数の磁界測定結果がどの組み合わせ(「D11」、「D12」、「D13」・・・)に対応するかを判別することができる。
位置検出部72は、判別部72Aが判別した複数の磁界測定結果に基づき、各検出コイル25の位置、具体的には三次元座標位置をコイル位置データ76として検出する。コイル位置データ76は、磁界発生器13を基準とした相対位置である。図7において、例えば、P1は第1検出コイル25の三次元座標位置(x1,y1,z1)を示す。P2、P3、P4などについても同様である。
本実施形態では、位置検出部72は、直近の所定数(例えば、5個)の磁界測定期間の磁界測定データ55を平均化した磁界測定データ55に基づいて、各検出コイル25の位置を検出する。これにより、ノイズの影響を低減することができる。なお、この平均化のために、位置検出部72は、少なくとも直近の5個の磁界測定データ55をナビゲーション装置12が備える不揮発性メモリなどの記憶部に格納する。この場合、位置検出部72は、新たな磁界測定データ55が入力される毎に、最も古い磁界測定データ55と入れ替える。
位置検出部72は、コイル位置データ76を挿入部形状検出部73へ出力する。挿入部形状検出部73は、位置検出部72から入力されたコイル位置データ76に基づき、被検者Hの体内での挿入部17の形状を検出する。
図8は、挿入部形状検出部73による挿入部17の形状検出処理の一例を説明するための説明図である。図8に示すように、挿入部形状検出部73は、コイル位置データ76が示す各検出コイル25の位置(P1、P2、・・・)に基づき、各位置を曲線で補間する補間処理を行って、挿入部17の形状を示す挿入部形状データ78を生成する。挿入部形状データ78には、挿入部17の先端部23の先端位置PTが含まれる。
挿入部形状検出部73は、挿入部形状データ78を表示出力部74へ出力する。挿入状態検出部69は、画像信号取得部68が新たなフレーム画像信号61を取得するごとに、判別部72Aによる判別処理、各検出コイル25のコイル位置データ76を検出する位置検出処理、挿入部17の形状検出処理、及び挿入部形状データ78の出力処理を繰り返し行う。
表示出力部74は、画像信号取得部68から入力されたフレーム画像信号61と、挿入状態検出部69から入力された挿入部形状データ78と、を通信インタフェース80A、80Bを介してプロセッサ装置14へ出力する。この際に、表示出力部74は、フレーム画像信号61と、そのフレーム画像信号61と時間的に対応する挿入部形状データ78とを対応付けて、プロセッサ装置14へ出力する。
<プロセッサ装置>
プロセッサ装置14は、表示入力部82と表示制御部83とを有している。表示入力部82は、表示出力部74から通信インタフェース80A、80Bを介して逐次入力されたフレーム画像信号61及び挿入部形状データ78を、表示制御部83へ逐次出力する。
表示制御部83は、表示入力部82からフレーム画像信号61及び挿入部形状データ78の入力を受けて、フレーム画像信号61に基づく観察画像41(動画像)と、挿入部形状データ78に基づく挿入部形状画像42とをモニタ15に表示させる。このように、フレーム画像信号61は、内視鏡10から光源装置11及びナビゲーション装置12を経由してプロセッサ装置14に送信される。そして、プロセッサ装置14は、内視鏡10から取得したフレーム画像信号61に画像処理を施して表示画像の一例である観察画像41を生成する。
<発生コイルの駆動順序の制御>
まず、図9~図11を参照して、従来のように、各磁界測定期間内における発生コイル39の駆動順序を同じ順序とした場合の問題点を説明する。
図9に示すように、各磁界測定期間は、フレーム開始信号VDに対応してTG70から磁界発生制御部71へ入力されるクロック信号が基準となる。また、各磁界測定期間内において、予め設定された周波数に従って、クロック信号がTG70から磁界発生制御部71へ入力される。この周波数は、各磁界測定期間、すなわち、連続する2つのフレーム開始信号VD間において、磁界を発生する発生コイル39が一巡することが可能な周波数に設定される。また、この周波数は、磁界測定制御部58にも予め設定されており、各発生コイル39からの磁界の発生と、磁界測定制御部58による磁界の測定とが同期して行われる。
図9及び図10の例では、各磁界測定期間内において、TG70から磁界発生制御部71へ入力されるクロック信号に応じて、同じ順序で発生コイル39が駆動される。図10の「FG」は発生コイルを意味し、「FG」の後の数字は、発生コイル39を区別する番号を意味する。例えば、図10の「FG01」は図9の「第1発生コイル」に対応する。図10では、各磁界測定期間内における12個の発生コイル39の駆動順序が同じ順序の例を示している。この例では、それぞれの発生コイル39の駆動周期は一定となる。
例えば、発生コイル39により発生される磁界に、電源に起因するノイズ等の周期的なノイズが影響を与える場合を考える。この場合、発生コイル39の駆動周期とノイズの周期とがほぼ等しい場合、図11に示すように、特定の発生コイル39から発生される磁界に、比較的高い信号レベルのノイズが重畳されてしまう。図11の縦軸はノイズの信号レベルを示し、横軸は時間を表す。また、図11の丸印は、特定の発生コイル39が駆動したタイミングを表す。図11では、特定の発生コイル39から発生される磁界に、最大の信号レベルのノイズが重畳される例を示している。
この場合、特定の発生コイル39から発生された磁界の測定結果に、比較的大きいノイズが重畳されてしまう。従って、位置検出部72が、その磁界の測定結果を含む磁界測定データ55を用いて発生コイル39の位置を検出すると、上記特定の発生コイル39については、位置が精度良く検出できない。この結果、内視鏡10の挿入部17の形状も精度良く検出できない。
そこで、本実施形態に係る磁界発生制御部71は、一例として図12に示すように、磁界測定期間内における発生コイル39の駆動順序を、複数の磁界測定期間の間で異ならせる制御を行う。本実施形態では、磁界発生制御部71は、各磁界測定期間の最初に駆動させる発生コイル39をランダムに決定し、その発生コイル39から発生コイル39を区別するための番号順に発生コイル39を駆動させる。なお、磁界測定期間内における発生コイル39の駆動順序が複数の磁界測定期間の間で異なっていれば、どのように異ならせるかは特に限定されない。例えば、ランダムに異ならせてもよい。
また、前述したように、位置検出部72は、直近の所定数の磁界測定期間の磁界測定データ55を平均化した磁界測定データ55に基づいて、各検出コイル25の位置を検出する。従って、例えば、磁界発生制御部71は、位置検出部72による平均化対象の数(例えば、5個)の磁界測定期間において、各発生コイル39の磁界測定期間の間での駆動間隔が一定にならない駆動順序で各発生コイル39を駆動させることが好ましい。つまり、5個の磁界測定期間では、各発生コイル39の駆動順序がすべて異なっていることが好ましい。
本実施形態では、例えば、ナビゲーション装置12が備える不揮発性メモリなどの記憶部に、どのような規則で発生コイル39の駆動順序を異ならせるかを表す規則情報が記憶されている。そして、磁界発生制御部71は、規則情報に従って、磁界測定期間内における発生コイル39の駆動順序を、複数の磁界測定期間の間で異ならせる制御を行う。
判別部72Aは、磁界の測定を開始してから何番目の磁界測定期間であるか(すなわち、何番目のフレームであるか)を表す情報と、上記規則情報とから、前述した対応関係75を特定することができる。図13に、図12に示した駆動順序で発生コイル39を駆動させた場合の1フレーム目の対応関係75と、2フレーム目の対応関係75とを示す。図13における「第1発生コイル」~「第12発生コイル」は、図12における「FG01」~「FG12」に1対1で対応する。図12及び図13の例では、判別部72Aは、1フレーム目では、磁界測定データ55の最初の磁界測定結果が「FG01」により発生された磁界に基づくものであり、2フレーム目では、磁界測定データ55の最初の磁界測定結果が「FG12」により発生された磁界に基づくものであると特定することができる。
<内視鏡システムの作用>
次に、図14を参照して、本実施形態に係る内視鏡システム9の作用について説明する。なお、図14は、観察画像41及び挿入部形状画像42の表示処理の一例を示すフローチャートである。この表示処理は、例えば、内視鏡システム9の電源スイッチがオン状態とされ、内視鏡システム9の各部の起動後に実行される。
図14のステップS1Aで、撮像装置48の撮像素子53は、観察窓47及び集光レンズ52を通して入射する像光を撮像する。これにより、撮像素子53は、発振部53aから発振される基準信号を基準として、画像信号を統括制御回路50へ出力する。撮像素子53から統括制御回路50へ入力された画像信号は、統括制御回路50の信号処理部57により各種の信号処理が施された後、フレーム画像信号61として画像信号出力部59へ出力される。信号処理部57から画像信号出力部59へ入力されたフレーム画像信号61は、画像信号出力部59によりフレーム開始信号VDが付加された後、LD36へ出力される。
ステップS2Aで、LD36は、画像信号出力部59から入力されたフレーム画像信号61を光信号化した光信号を、光源装置11のPD37に向けて送信する。
ステップS1Bで、光源装置11のPD37は、LD36から送信された光信号を受信する。また、PD37は、光信号の形態で受信したフレーム画像信号61を、元の電気信号の形態に変換する。PD37による変換後のフレーム画像信号61は、光源制御部64及び通信インタフェース65を介して、ナビゲーション装置12へ出力される。
ステップS2Bで、画像信号取得部68は、通信インタフェース65を介して光源制御部64からフレーム画像信号61を取得し、取得したフレーム画像信号61からフレーム開始信号VDを抽出する。そして、画像信号取得部68は、抽出したフレーム開始信号VDをTG70に出力する。
ステップS3Bで、TG70は、画像信号取得部68からのフレーム開始信号VDに基づき、各発生コイル39の切り替え制御用のクロック信号を磁界発生制御部71に出力する。ステップS4Bで、磁界発生制御部71は、TG70から入力されたクロック信号に基づき、各発生コイル39を異なるタイミングで駆動させる。これにより、各発生コイル39から異なるタイミングで磁界が発生される。この際、磁界発生制御部71は、前述した規則情報に基づき、1フレーム目として規定された順序で各発生コイル39を駆動させる。以上説明したステップS4Bまでの処理により、内視鏡システム9の起動が完了する。
次に、ステップS3Aで、術者OPにより、内視鏡10の挿入部17が被検者H内に挿入され、被検者H内の観察部位の撮像が開始される。光源装置11の照明光源63から供給される照明光がライトガイド33及び照射レンズ45を通って照明窓46から観察部位へ出射される。ステップS4Aで、撮像素子53は、観察窓47及び集光レンズ52を通して入射する観察部位の像光を撮像する。これにより、撮像素子53は、発振部53aから発振される基準信号を基準として、画像信号を統括制御回路50へ出力する。撮像素子53から統括制御回路50へ入力された画像信号は、統括制御回路50の信号処理部57により各種の信号処理が施された後、フレーム画像信号61として画像信号出力部59へ出力される。
ステップS5Aで、磁界測定制御部58は、発振部53aから発振される基準信号に基づき、TG70のクロック信号に対応する周波数で磁界検出回路49を制御し、各検出コイル25が検出した磁界測定結果を繰り返し取得する。すなわち、磁界測定制御部58は、発生コイル39の切り替えと同期して、各発生コイル39について、各検出コイル25が検出した磁界測定結果を取得する。そして、磁界測定制御部58は、取得したすべての磁界測定結果を含む磁界測定データ55を、信号処理部57から画像信号出力部59へのフレーム画像信号61の出力に同期して、画像信号出力部59に出力する。
ステップS6Aで、画像信号出力部59は、信号処理部57から入力されたフレーム画像信号61にフレーム開始信号VDを付加し、かつ磁界測定制御部58から入力された磁界測定データ55を信号無効領域NDに付加する。ステップS7Aで、画像信号出力部59は、フレーム開始信号VD及び磁界測定データ55が付加されたフレーム画像信号61をLD36へ出力する。LD36は、画像信号出力部59から入力されたフレーム画像信号61を光信号化した光信号を、光源装置11のPD37に向けて送信する。
ステップS5B~ステップS8Bは、ステップS1B~ステップS4Bと同様の処理が実行される。この際、ステップS8Bでは、ステップS8Bが実行される都度、何フレーム目であるかを表す情報と、前述した規則情報とから発生コイル39の駆動順序が決定される。これにより、フレーム毎に異なる駆動順序で発生コイル39が駆動される。
ステップS9Bで、画像信号取得部68は、ステップS6Bで取得したフレーム画像信号61に含まれるフレーム開始信号VD及び磁界測定データ55を抽出し、抽出したフレーム開始信号VD及び磁界測定データ55を挿入状態検出部69に出力する。
ステップS10Bで、位置検出部72は、前述したように、画像信号取得部68から入力されたフレーム開始信号VD及び磁界測定データ55に基づき各検出コイル25の位置を検出する。この際、判別部72Aが用いる対応関係75は、前述したように、ステップS10Bが実行される都度、何フレーム目であるかを表す情報と、前述した規則情報とから、特定される。そして、位置検出部72は、検出した各検出コイル25の位置を示すコイル位置データ76を挿入部形状検出部73へ出力する。
ステップS11Bで、挿入部形状検出部73は、前述したように、位置検出部72から入力されたコイル位置データ76に基づき、被検者Hの体内での挿入部17の形状を検出し、挿入部17の形状を示す挿入部形状データ78を生成する。
ステップS12Bで、表示出力部74は、ステップS6Bで画像信号取得部68が取得したフレーム画像信号61、及びステップS11Bで挿入部形状検出部73が生成した挿入部形状データ78を通信インタフェース80A、80Bを介してプロセッサ装置14へ出力する。表示出力部74からプロセッサ装置14の表示入力部82へ入力されたフレーム画像信号61及び挿入部形状データ78は、表示制御部83によりモニタ15へ出力される。これにより、フレーム画像信号61に基づく観察画像41と、挿入部形状データ78に基づく挿入部形状画像42とがモニタ15に表示される。
以上のステップS4A~ステップS7Aの処理及びステップS5B~ステップS12Bの処理は、内視鏡の検査が終了するまで繰り返し行われる(ステップS8A、S13B)。これにより、予め設定されたフレームレートに従って、観察画像41と挿入部形状画像42とがモニタ15に更新されて表示される。
以上説明したように、本実施形態によれば、磁界測定期間内における発生コイル39の駆動順序を、複数の磁界測定期間の間で異ならせている。従って、一例として図15に示すように、各発生コイル39の駆動周期は一定とはならない。図15の縦軸はノイズの信号レベルを示し、横軸は時間を表す。また、図15の丸印は、ある1つの発生コイル39が駆動したタイミングを表す。これにより、発生コイル39から発生される磁界に重畳されるノイズの信号レベルも一定とはならないため、比較的高い信号レベルのノイズが特定の発生コイル39から発生される磁界に重畳されることを抑制することができる。この結果、内視鏡の挿入部の挿入状態を精度良く検出することができる。
なお、上記実施形態では、磁界測定期間内において、それぞれの発生コイル39が駆動される単位駆動時間内に発生する磁界の測定結果を複数の検出コイル25から取得する順序を各単位駆動時間で同じとする場合について説明したが、これに限定されない。例えば、図16に示すように、磁界測定制御部58は、磁界測定期間内において、単位駆動時間内に発生する磁界の測定結果を複数の検出コイル25から取得する順序を複数の単位駆動時間の間で異ならせる制御を行う形態としてもよい。この順序は、磁界検出回路49のセレクタ49Cによるフィルタ49Bの選択順序によって制御することができる。これにより、検出コイル25による磁界の測定結果についても、周期的なノイズの影響を低減することができる結果、内視鏡の挿入部の挿入状態をより精度良く検出することができる。なお、図16では、検出コイル25の数が6個の場合の例を示している。
この場合、例えば、統括制御回路50が備える不揮発性メモリに、どのような規則で磁界の測定結果の取得順序を異ならせるかを表す情報を記憶する形態が例示される。また、この場合、更にこの情報を用いることによって、判別部72Aは、対応関係75を特定することができる。
また、上記実施形態では、内視鏡10に、磁界測定制御部58を含む磁界測定部を配置し、ナビゲーション装置12に磁界発生制御部71を配置した例で説明したが、反対に、内視鏡10に磁界発生制御部71を配置して、ナビゲーション装置12に磁界測定部を配置してもよい。
また、上記実施形態では、フレーム画像信号61に含まれるフレーム開始信号VDを同期信号として利用する場合について説明したが、垂直ブランキング期間に含まれる信号以外の信号、例えば、水平同期信号などを同期信号として利用してもよい。また、フレーム画像信号61のヘッダ情報に同期信号を埋め込んで利用してもよい。更に、フレーム画像信号61に含まれる信号とは別の信号を同期信号として利用してもよい。この場合、フレーム画像信号61とは別の送信経路を設ける形態となる。
また、上記実施形態では、連続する2つのフレーム開始信号VD間において、各発生コイル39と各検出コイル25のすべての組み合わせに係る磁界測定結果を含む全磁界測定データを取得する場合について説明したが、これに限定されない。例えば、3つ以上のフレーム開始信号VDが出力される周期で、全磁界測定データを取得してもよい。全磁界測定データの取得周期が長いほど、挿入部形状画像42の更新頻度は低下するが、挿入部形状画像42は、観察画像41と比較して高精細な画像は要求されていないため、観察画像41と比較して更新頻度が低下しても、挿入部形状画像42の場合は許容される。
また、上記実施形態では、内視鏡10から光源装置11に対してフレーム画像信号61を光信号に変換して送信する場合について説明したが、これに限定されない。例えば、内視鏡10と光源装置11とを金属製の信号線を介して電気的に接続して、フレーム画像信号61を電気信号のまま内視鏡10から光源装置11に送信する形態としてもよい。
また、上記実施形態では、内視鏡10として大腸等の下部消化管の検査に用いられるものを例に挙げて説明したが、内視鏡10の種類及び用途は特に限定されるものではない。上部消化管用の内視鏡10でもよい。また、特に挿入部17の先端位置PTの検出を目的とする場合には軟性内視鏡だけでなく硬性内視鏡にも開示の技術を適用することができる。
また、上記実施形態では、各発生コイル39が同じ周波数の磁界MFを発生する例で説明したが、各発生コイル39が発生する磁界MFの周波数が異なっていてもよい。ただし、上記実施形態の内視鏡システム9のように、各発生コイル39が発生する磁界MFの周波数が同じ場合には、複数の磁界MF自体では、区別できない。そのため、複数の磁界MFのそれぞれの発生元の発生コイル39を区別するためには、発生タイミングをずらす他ない。そのため、各発生コイル39が発生する磁界MFの周波数が同じ場合には、本開示の技術が有効である。
また、上記実施形態では、複数の発生コイル39と複数の検出コイル25とを有しているが、検出コイル25は少なくとも1つあればよい。例えば、挿入部17の先端部23に検出コイル25を1つだけ設けた内視鏡10を用いた内視鏡システム9に本開示の技術を適用してもよい。この場合でも、先端部23の現在位置を提示することができる。
また、上記実施形態において、例えば、磁界測定制御部58及び磁界発生制御部71などの各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又は、CPUとFPGAとの組み合わせ)で構成されてもよい。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。これらのプロセッサは、換言すると、プロセッサに内蔵されたメモリ又は接続されたメモリと協同して、各処理部として機能する。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
以上の記載から、以下の付記項に係る技術を把握することができる。
[付記項]
複数の磁界発生素子を選択的に切り替えながら駆動して磁界を発生させ、磁界検出素子による前記磁界の測定結果に基づいて内視鏡の挿入部の位置及び形状の少なくとも一方を含む挿入状態を検出する内視鏡システムであって、
予め定められた測定単位時間内における前記磁界発生素子の駆動順序を、複数の前記測定単位時間の間で異ならせる制御を行う制御プロセッサ
を含む内視鏡システム。
2019年8月20日に出願された日本国特許出願2019-150387号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。