以下、本発明の第1の実施例を図1乃至図5を参照して説明する。図1は体腔内観察装置である内視鏡装置のシステム全体の概略構成を示すものである。この内視鏡装置には患者の体腔内を観察する例えば腹腔鏡等の直視型の硬性鏡1が設けられている。
この硬性鏡1には患者の体腔内に挿入される挿入部2と、この挿入部2の基端部に配設された接眼部3とが設けられている。さらに、この硬性鏡1には図2に示すように挿入部2の先端面に対物レンズ4、接眼部3に接眼レンズ5がそれぞれ配設されているとともに、挿入部2を形成する円筒状の筒体6内には複数のリレーレンズ7がそれぞれ適宜の間隔を存して対物レンズ4と接眼レンズ5との間に並設されている。なお、硬性鏡1の光学系には図示しない歪み除去レンズが設けられている。
また、硬性鏡1の挿入部2は予め例えば患者の腹壁部8等に穿刺されたトラカール9内に挿通され、体腔内に挿入されている。ここで、硬性鏡1の挿入部2の接眼部3側は多関節構造のスコープホルダー10によって移動可能に保持されている。
さらに、硬性鏡1の挿入部2内には図示しない照明用ライトガイドファイバが配設されている。この照明用ライトガイドファイバにはライトガイドケーブル11の一端部が連結されている。このライトガイドケーブル11の他端部は照明光を供給する外部の光源装置12に接続されている。
また、患者の腹壁部8等には硬性鏡1の挿入場所とは別の挿入場所から第2のトラカール9´が穿刺されている。そして、このトラカール9´を通して処置具である鉗子13が体腔内に挿入されている。
この鉗子13には体腔内に挿入される挿入部14の先端部に処置部15が配設されている。さらに、挿入部14の基端部には手元側のハンドル部16が配設されている。そして、このハンドル部16の開閉操作にともない処置部15が遠隔的に開閉操作されるようになっている。
また、鉗子13の処置部15の先端には色マーカー17が設けられている。この色マーカー17は生体適合性を有する塗料であり、その色には臓器にはない色、例えば緑、黄等が適する。なお、処置具としては鉗子11の代わりに剥離鉗子、ハサミ、レーザープローブ、縫合器、電気メス、持針器、超音波吸引器等の他の構成の処置具を使用してもよい。
また、硬性鏡1の接眼部3にはこの硬性鏡1の観察像を撮像するTVカメラユニット(観察手段)18が着脱可能に取付けられている。このTVカメラユニット18のケーシング19内には硬性鏡1の接眼部3の接眼レンズ5に離間対向配置され、硬性鏡1の接眼部3から出射される光学像を2つに分配するハーフミラー20と、このハーフミラー20によって分配された片方の像(ハーフミラー20を透過した光学像)が入射される拡大光学系21と、ハーフミラー20によって分配された他方の像(ハーフミラー20によって反射された光学像)が入射される広角光学系22とが設けられている。なお、ハーフミラー20はプリズム等の光学的反射素子でもよい。
ここで、拡大光学系21はズームレンズ(視野範囲可変手段)23と、結像レンズ24と、第1のCCD25aとから構成されている。さらに、広角光学系22は結像レンズ26と、第2のCCD25bとから構成されている。
また、拡大光学系21の第1のCCD25aは、拡大光学系21の光軸方向と直交する2方向(X方向およびY方向)に移動可能な図示しないX,Yステージに装着されている。このX,Yステージの駆動源としてはこれも図示しないX,Yステージ駆動用アクチュエータ、例えばDCサーボモーター、ステッピングモーター、ボイスコイルモーター等が使用されている。
さらに、拡大光学系21のズームレンズ23の駆動源としては、図示しないズームレンズ駆動用アクチュエータ(DCサーボモーター、ステッピングモーター、ボイスコイルモーター等)が使用されている。
また、TVカメラユニット18は、映像信号ケーブル27a,27bを介して2台(第1,第2)のカメラコントロールユニット(以下CCU)28a,28bと接続され、さらに制御信号ケーブル29を介して視野変換制御ユニット30に接続されている。ここで、TVカメラユニット18内の拡大光学系21の第1のCCD25aは一方の映像信号ケーブル27aを介して第1のCCU28aに接続され、広角光学系22の第2のCCD25bは他方の映像ケーブル27bを介して第2のCCU28bに接続される。さらに、TVカメラユニット18内の図示しないX,Yステージ駆動用アクチュエータ、ズームレンズ駆動用アクチュエータは制御信号ケーブル29を介して視野変換制御ユニット30に接続される。
また、第1,第2のCCU28a,28bはビデオミキサー31に接続され、このビデオミキサー31はTVモニタ32に接続されている。さらに、第2のCCU28bは視野変換制御ユニット30にも接続されている。この視野変換制御ユニット30には2つ(第1,第2)のフットスイッチ33a,33bがそれぞれ接続されている。ここで、第1のフットスイッチ33aは縫合・結紮モードのフットスイッチであり、第2のフットスイッチ33bは視野変換モードのフットスイッチである。なお、第2のフットスイッチ33bには図示しないズーム用スイッチが設けられている。そして、本実施例のシステムでは、第1のフットスイッチ33aの操作にともない縫合や結紮等の高度な処置が必要な場合に有効な縫合・結紮モードが設定され、第2のフットスイッチ33bの操作にともない近接観察時に頻繁に起こる処置対象部位の変更時に有効な視野変化モードが設定されるようになっている。
また、図3は視野変換制御ユニット30の概略構成を示すものである。この視野変換制御ユニット30には第2のCCU28bからの信号が入力される色空間変換部34と、この色空間変換部34からの出力信号が入力される抽出画像生成部35と、この抽出画像生成部35からの出力信号が入力される重心位置演算部36と、この重心位置演算部36からの出力信号が入力される位置指令部37と、この位置指令部37および第1,第2の各フットスイッチ33a,33bにそれぞれ接続された動作モード切換部38と、この動作モード切換部38にそれぞれ接続されたXYステージ制御部(観察視野移動手段)39およびズーム制御部 (視野範囲可変手段)40とが設けられている。
ここで、XYステージ制御部39にはTVカメラユニット18内のX,Yステージ駆動用アクチュエータが接続されている。そして、このXYステージ制御部39から出力される制御信号がX,Yステージ駆動用アクチュエータに入力されるようになっている。さらに、ズーム制御部40にはTVカメラユニット18内のズームレンズ駆動用アクチュエータが接続されている。
次に、上記構成の作用について説明する。まず、本実施例の内視鏡装置の使用時には図1に示すように予め例えば患者の腹壁部8等に穿刺されたトラカール9内にスコープホルダー10で保持された硬性鏡1の挿入部2が挿通され、体腔内に挿入される。さらに、患者の腹壁部8等には硬性鏡1の挿入場所とは別の挿入場所から第2のトラカール9´が穿刺され、このトラカール9´を通して鉗子13が体腔内に挿入される。このとき、鉗子13の先端の処置部15が硬性鏡1の接眼部3による視野範囲R1 内に挿入される状態にセットされる。
また、内視鏡装置の使用中、硬性鏡1によって伝達された体腔内の観察像は、TVカメラユニット18内のハーフミラー20により、2つに分配される。さらに、このハーフミラー20によって分配された片方の像(ハーフミラー20を透過した光学像)は拡大光学系21に入射され、この拡大光学系21の第1のCCD25aで撮像されるとともに、ハーフミラー20によって分配された他方の像(ハーフミラー20によって反射された光学像)は広角光学系22に入射され、この広角光学系22の第2のCCD25bで撮像される。
ここで、術者が縫合・結紮等の処置を行う場合には、まず第1のフットスイッチ33aをオン操作し、縫合・結紮モードに設定させる。この第1のフットスイッチ33aのON信号は、視野変換制御ユニット30の動作モード切換部38に伝達される。このように第1のフットスイッチ33aのON信号が入力された場合には動作モード切換部38からズーム制御部40に生体組織の縫合・結紮処置に適した動作指令が出される。
このとき、ズーム制御部40による動作は、縫合対象組織に針を差し込む処置や、血管や神経等を結紮する処置に必要な目標部位の拡大観察と、縫合・結紮処置後の鉗子13同士の針糸の受け渡しを行うときに必要な広角観察とを処置の進み具合に合わせて交互に切換える動作を連続的に行うものである。すなわち、ズーム制御部40は、縫合・結紮動作指令を受けると、予め設定されている術者の結紮・縫合処置スピードに合わせた周期で拡大光学系21のズームレンズ23を光軸方向に沿って動かすズームイン動作と、ズームアウト動作とを繰り返し行う状態で、拡大光学系21のズームレンズ23の駆動用アクチュエータが駆動される。このとき、TVモニタ32には図4(A)に示す広角画像と、図4(B)に示す拡大画像とが周期的に表示され、縫合・結紮対象組織の周辺の広角画像と、縫合・結紮対象組織の局部的な拡大画像とが周期的に観察される。
なお、縫合・結紮モードによる縫合・結紮処置中に、TVモニタ32に表示される広角光学系22の画像から鉗子13の動作を検出し、その現在の動作状態が縫合・結紮処置工程中、或いは針糸渡し工程中のどれかであることを画像処理により認識し、例えば縫合・結紮処置工程の終了時点でズームアウト動作を行い、針糸渡し動作工程の終了時点でズームイン動作を行わせてもよい。
また、術者が処置対象部位の変化に対応して視野変換を行う場合は、第2のフットスイッチ33bをオン操作し、視野変換モードに設定させる。この第2のフットスイッチ33bのON信号は、視野変換制御ユニット30の動作モード切換部38に伝達される。このように第2のフットスイッチ33bのON信号が入力された場合には動作モード切換部38からXYステージ制御部39に拡大光学系21の第1のCCD25aを拡大光学系21の光軸方向と直交する2方向(X方向およびY方向)に移動させることにより、視野変換を行うのに適した動作指令が出される。
次に、この視野変換動作について説明する。ここで、広角光学系22の第2のCCD25bで撮像され、第2のCCU25bを経た映像信号は、視野変換制御ユニット30の色空間変換部34に入力される。この色空間変換部34では各画素毎に抽出された色成分を、設定された色空間、例えばHSI(色相、彩度、明度)・色差(Y、R−Y、B−Y)等、のデータに変換するようになっている。
さらに、色空間変換部34からの出力は抽出画像生成部35に入力される。この抽出画像生成部35では入力された色空間の信号が予め設定されている抽出対象色の範囲に入っているかどうかを各画素毎に比較し、設定範囲内であればその画素の明度を0に、設定範囲外であればその画素の明度を1にして、無彩色で出力する。この結果、抽出対象に設定された色の部分が黒、それ以外の部分が白である2値画像が出力される。
その出力は重心位置演算部36に入力される。この重心位置演算部36では、設定色の抽出部分である黒色部分の面積重心を算出し、その画像上の画素データを出力する。なお、抽出画像生成部35で、抽出対象部分を明度1(白)に、それ以外の部分を明度0(黒)とし、重心位置演算部36で白色部分の面積重心を求めるように設定してもよい。
また、重心位置演算部36から出力される画素データは位置指令部37に入力される。この位置指令部37では、予め設定されている抽出点を位置させたい画面上の画素位置、例えば画面中央と、算出した抽出対象点の画素データとの差をとり、抽出対象点を予め設定されている画面上の点に移動させるための指令位置を求めるようになっている。そして、この指令位置のデータは動作モード切換部31に入力される。ここで、第2のフットスイッチ33bがON操作されると、動作モード切換部31では位置指令部37で算出した指令位置のデータがXYステージ制御部39に入力される。
さらに、XYステージ制御部39では、TVカメラユニット18内の図示しないXYステージを指令位置分だけ動かし、これにより拡大光学系21の第1のCCD25aを拡大光学系21の光軸方向と直交する2方向(X方向およびY方向)に移動させる。このとき、抽出対象点がTVモニタ32の画面上に設定された位置に来るように、拡大光学系21の第1のCCD25aを移動させる。
また、硬性鏡1によって伝達された体腔内の観察像は拡大光学系21のズームレンズ23により拡大され、第1のCCD25aにはその画像の一部のみが結像される。すなわち、第1のCCD25aから出力される画像データによって拡大観察が行えることになる。
ここで、鉗子13の処置部15の色マーカー17の色を抽出対象色として設定してもよい。また、抽出対象点を位置させたいTVモニタ32の画面上の位置をTVモニタ32の画面中央として視野変換制御ユニット30に設定した場合、鉗子13の色マーカー17が広角光学系22の観察範囲内にあって、処置対象部位が拡大光学系21の撮像画像の中央からずれていて医師等の作業者が処置を行いづらい状況で、鉗子13の先端を処置対象部位に移動させた状態でフットスイッチ11をONすると、前述の動作により図4(C)に示すように鉗子13の先端位置が拡大観察系撮像画像の中央にくるように第1のCCD25aが動く。言い換えれば、画像が鉗子13の先端を追尾するように視野変換を行う。
また、第2のフットスイッチ33bに設けられている図示しないズーム用スイッチをON操作すると、動作モード切換部38からズーム制御部40にズーム作動指令が与えられる。このとき、ズーム制御部40はTVカメラユニット18内の図示しないズームレンズ駆動用アクチュエータにズーム移動量を伝達し、第1のCCD25aの視軸方向にズームレンズ23を移動させる。
また、ビデオミキサー31はCCU28a,28bからの信号を受け、この2画像を親子画面として表示する信号を生成し、TVモニタ32に出力することで、関心領域の拡大画像とその周辺を含んだ広角画像を同時に観察することができる。ここで、第1のCCU28aから送られる画像のみの単一画面表示、或いは第2のCCU28bから送られる画像のみの単一画面表示も必要に応じて適宜選択することができる。
また、視野変換動作により抽出対象点を位置させるTVモニタ32の画面上の位置の設定は変更が可能である。縫合・結紮モード、視野変換モードを行わせる動作スイッチとしては、第1,第2のフットスイッチ33a,33bの他に、鉗子13のハンドル部16に取り付けられるハンドスイッチでもよい。さらに、XYステージに固定され、視野変換を行うために移動されるのは、結像レンズ24でもよい。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、縫合や結紮等の高度な処置が必要な場合に必要である、連続的な拡大観察と広角観察とを交互に繰り返す縫合・結紮モードと、処置対象部位の変化に対応して観察視野の変換を行う視野変換モードとを設けたことにより、複数の機器を使わずに、操作性よく内視鏡下手術で必要な視野を得ることができる。
なお、上記実施例ではTVカメラユニット18のケーシング19内にハーフミラー20を使用して硬性鏡1の接眼部3から出射される光学像を2つに分配する構成のものを示したが、ハーフミラー20に代えてプリズム等の光学的反射素子を使用してもよい。
さらに、鉗子13の先端に色マーカー17を設ける代わりに、図5に示すように処置対象組織にそれぞれ色の異なる複数の色素を付着させ、各色素付着部分41a,41b,41cを順次TVモニタ32の画面中央に位置させるように第1のCCD25aを動かして視野変換を行ってもよい。この場合は、抽出対象色の設定を順次変えることで、所望の処置対象部位をTVモニタ32の画面中央に位置させることができる。
また、色素の代わりに、異なる色のついたクリップを処置対象組織に固定してもよい。また、画像処理を用いて鉗子13の先端の輪郭等の形状特徴を抽出し、パターンマッチングにより鉗子13の先端位置を検出してもよい。
また、図6は第1の実施例の変形例を示すものである。本変形例は、第1の実施例の視野変換制御ユニット30の構成を次のように変更したものである。すなわち、本変形例では第1の実施例の視野変換制御ユニット30内に新たに鉗子先端動き検出部51およびズームイン/ズームアウト判定部52をそれぞれ設けたものである。ここで、視野変換制御ユニット30内の色空間変換部34と、抽出画像生成部35と、重心位置演算部36と、位置指令部37とによって視野変換位置指令ブロック53が形成され、鉗子先端動き検出部51と、ズームイン/ズームアウト判定部52とによって縫合・結紮動作判定ブロック54が形成されている。その他の構成は第1の実施例と同一構成であり、ここでは第1の実施例と同一部分には同一符号を付してその説明を省略する。
そして、上記構成の本変形例にあっては内視鏡装置の使用中、広角光学系22の画像信号である第2のCCD25bからの信号を受け、鉗子先端動き検出部51では鉗子13の動作を検出する。このとき、鉗子13の動作が縫合・結紮処置、針持ち換え動作のどれかであることを鉗子先端動き検出部51で画像処理により認識する。さらに、鉗子先端動き検出部51からの処理結果を受け、ズームイン/ズームアウト判定部では、縫合・結紮処置動作の検出時には拡大光学系21のズームレンズ23をズームイン動作させ、また針持ち換え動作の検出時には拡大光学系21のズームレンズ23をズームアウトを行わせる制御信号を生成する。具体的には、鉗子先端動き検出部51では鉗子13の先端と、そこに保持される針の形状モデルのパターンマッチングによる鉗子13の先端の動きの追跡を行い、ズームイン/ズームアウト判定部では、針が組織に刺入された時の鉗子13の先端の回転動作を検出した場合にはズームイン動作を、また、針持ち換え動作時に鉗子13の開閉動作を検出した場合にはズームアウト動作を行わせるようになっている。
また、図7および図8は本発明の第2の実施例を示すものである。本実施例では第1の実施例の内視鏡装置の硬性鏡1を保持するスコープホルダー10として少なくとも2自由度を有する電動マニピュレータ61が設けられている。
この電動マニピュレータ61には基台62と、この基台62に上向きに突設された昇降動作可能な支軸63と、この支軸63の上端部に支軸63を中心に回動可能に連結された回動アーム64と、この回動アーム64の先端部に伸縮可能に設けられた移動アーム65と、この移動アーム65の先端部に回動可能に連結された内視鏡保持リング66とが設けられている。
また、電動マニピュレータ61の基台62にはマニピュレータ制御信号ケーブル67の一端部が連結されている。このマニピュレータ制御信号ケーブル67の他端部は視野変換制御ユニット68に接続されている。
この視野変換制御ユニット68には図8に示すように鉗子先端位置算出部69、位置指令部70、動作モード切換部71およびマニピュレータ制御部72がそれぞれ設けられている。さらに、鉗子先端位置算出部69には磁気センサ本体73が接続されている。この磁気センサ本体73には鉗子13の挿入部14の手元側に取付けられた磁気センサ74と、硬性鏡1の手元側に取付けられた磁気ソース75とが接続されている。ここで、磁気センサ74は直交3軸のコイルで構成され、その座標系の1軸が鉗子13の挿入部14の挿入方向と一致するように設置されている。また、磁気ソース75は同様に直交3軸のコイルで構成され、その座標系が3軸とも硬性鏡1の撮像画像面の水平、垂直、視軸方向とそれぞれ一致するように設置されている。
そして、磁気センサ本体73からは磁気ソース75の各軸を時分割で駆動する信号を出力し、磁気ソース75は磁界を発生させるようになっている。磁気センサ74はこの磁気ソース75の磁界を検出し、その検出データを磁気センサ本体73に伝送するようになっている。この検出データは磁気センサ本体73で演算され、磁気ソース75を基準とした磁気センサ74の3次元位置、姿勢を求めるようになっている。
また、磁気センサ本体73からの出力信号は視野変換制御ユニット68の鉗子先端位置算出部69に入力され、その出力は位置指令部70に入力されるようになっている。さらに、位置指令部70からの出力は動作モード切換部71に入力されるようになっている。
また、動作モード切換部71には縫合・結紮モード切換え用の第1のフットスイッチ76と、視野変換モード切換え用の第2のフットスイッチ77とが接続されている。さらに、動作モード切換部71の出力はマニピュレータ制御部72に入力される。そして、このマニピュレータ制御部72からの出力される制御信号によって電動マニピュレータ61の動作が制御されるようになっている。
また、硬性鏡1の接眼部3にはTVカメラアダプタ78が着脱自在に固定されている。このTVカメラアダプタ78の出力信号は映像信号ケーブル79を介してCCU80に接続されている。このCCU80はTVモニタ32に接続されている。それ以外の構成は第1の実施例と同じであり、ここでは第1の実施例と同一部分には同一の符号を付してその説明を省略する。
次に、上記構成の作用について説明する。本実施例の内視鏡装置の使用時には磁気センサ本体73から磁気ソース75の各軸を時分割で駆動する駆動信号を出力する。これにより、磁気ソース75は磁界を発生させる。このとき、磁気センサ74はこの磁界を検出し、その検出データを磁気センサ本体73に伝送する。この検出データは、磁気センサ本体73で演算される。そして、磁気ソース75を基準とした磁気センサ74の3次元位置、姿勢が求められる。
ここで、磁気センサ74が設置された鉗子13の挿入部14の手元側と鉗子13の先端処置部15との間の距離は既知であり、前述のように座標系を合わせてあることから、鉗子13の手元側の3次元位置・姿勢データと、磁気センサ74の設置位置と鉗子13の先端処置部15との間の距離データとを用い、回転・並進変換をかけることで、鉗子13の先端位置を算出することができる。
また、これも前述のように、磁気ソース75はその座標系と硬性鏡1の撮像画面の座標系が一致するように設置されているため、算出した鉗子13の先端位置は硬性鏡1の撮像画面の座標系と関連づけることが可能である。すなわち、算出した鉗子13の先端位置を用いて、硬性鏡1を保持している電動マニピュレータ61を制御可能である。
そして、術者が処置対象部位の変化に対応してTVモニタ32の画面上に表示される画面の視野変換を行う場合には、視野変換モード切換え用の第2のフットスイッチ77をオン操作する。このとき、磁気センサ本体73からの鉗子13の手元側の位置データは、鉗子先端位置算出部69に入力され、鉗子13の先端位置が算出される。
この位置データは位置指令部70に入力され、予め設定されている鉗子13の先端を位置させたいTVモニタ32の画面上の位置、例えば画面中央と、算出した鉗子13の先端位置との差をとり、鉗子13の先端を予め設定されているTVモニタ32の画面上の点に移動させるための指令位置を求める。
そして、第2のフットスイッチ77がONになると、動作モード切換部71は視野変換を行うための指令位置をマニピュレータ制御部72に送り、電動マニピュレータ61を指令位置だけ動かすことにより、鉗子13の先端位置が予め設定されているTVモニタ32の画面上の設定位置に来るように視野変換を行う。
また、この鉗子13の先端を位置させたいTVモニタ32の画面上の位置を画面中央として視野変換制御ユニット68に設定した場合に、処置対象部位が硬性鏡1の撮像画像の中央からずれていて医師等の作業者が処置を行いづらい状況では、予め鉗子13の先端を処置対象部位に移動させた状態で、フットスイッチ77をON操作する。この場合には、前述の動作により鉗子13の先端位置をTVモニタ32の撮像画像の中央に移動させるように電動マニピュレータ61が動作する。
また、術者が縫合・結紮等の処置を行う場合には、縫合・結紮モード切換え用の第1のフットスイッチ76をオン操作する。このとき、第1のフットスイッチ76のON信号は、視野変換制御ユニット68の動作モード切換部71に伝達され、この動作モード切換部71から縫合・結紮処置に適した動作指令がマニピュレータ制御部72に供給される。
この動作は、縫合対象組織に針を差し込む処置や、血管や、神経等を結紮する処置に必要な拡大観察と、縫合・結紮処置後の鉗子13同士の針糸の受け渡し作業を行うときに必要な広角観察を、処理の進み具合に合わせて連続的に行うものである。そして、マニピュレータ制御部72では、縫合・結紮動作指令を受けると、予め設定されている術者の結紮・縫合処理スピードに合わせた周期でズームイン動作とズームアウト動作とを繰り返し行うように電動マニピュレータ61が駆動される。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、処置対象部位の変化に対応して観察視野の変換を行う視野変換モードにおいて、視野変換に必要な鉗子13の先端位置の検出を磁気センサ74で行うことにより、TVモニタ32の画像による位置検出を行う場合よりも広範囲に渡る視野変換が可能となる。
また、図9および図10は本発明の第3の実施例を示すものである。本実施例では第1の実施例の内視鏡装置に第2の実施例で示した磁気センサ本体73を組み合わせ、この磁気センサ本体73によって鉗子13の先端位置を求める構成にしたものである。
すなわち、本実施例では鉗子13の挿入部14の手元側には磁気センサ74が取付けられている。この磁気センサ74は直交3軸のコイルで構成され、その座標系の1軸が鉗子13の挿入部14の挿入方向と一致するように設置されている。
さらに、硬性鏡1の手元側には磁気ソース75が取付けられている。この磁気ソース75は磁気センサ74と同様に直交3軸のコイルで構成され、その座標系が3軸とも硬性鏡1の撮像画像面の水平、垂直、視軸方向とそれぞれ一致するように設置されている。
また、鉗子13の磁気センサ74および硬性鏡1の磁気ソース75はそれぞれ磁気センサ本体73に接続されている。さらに、本実施例では図10に示すように第1の実施例と略同様の構成の視野変換制御ユニット30内に第2の実施例で示した鉗子先端位置算出部69が組み込まれている。この鉗子先端位置算出部69には磁気センサ本体73が接続されている。そして、磁気センサ本体73からの出力信号は鉗子先端位置算出部69に入力されるようになっている。
また、位置指令部37には鉗子先端位置算出部69からの出力信号と重心位置演算部36からの出力信号とが入力され、この位置指令部37からの出力は動作モード切換部38に入力されるようになっている。それ以外の構成は第1の実施例と同じである。
次に、上記構成の作用について説明する。本実施例の内視鏡装置の使用時には術者が縫合・結紮等の処置を行う場合は、第1の実施例と同様に、縫合・結紮モード切換え用の第1のフットスイッチ33aにより縫合・結紮を行う。さらに、術者が処置対象部位の変化に対応して視野変換を行う場合は、視野変換モード切換え用の第2のフットスイッチ33bにより、視野変換を行う。
この時、広角光学系22の第2のCCD25b,第2のCCU25bの撮像範囲内にありながら、鉗子13の先端に設けられた色マーカー17が検出できない状況、例えば色マーカーの部分を組織が覆ってしまうこと、血液や胆汁等の体液が色マーカー17に付着し、この色マーカー17の色が正確に認識できないこと、等が起こった場合、視野変換制御ユニット30内の色空間変換部34、抽出画像生成部35、重心位置演算部36で処理を行っても、鉗子13の先端位置が算出できず、視野変換が行えなくなってしまう。
そこで、本実施例ではこの状況を検出データ選択・位置指令部37によって検出し、磁気センサ本体73で検出された位置情報を視野変換の制御情報として選択する。ここで、検出データ選択・位置指令部37は鉗子先端位置算出部69で算出された鉗子13の先端位置と、予め設定されている鉗子13の先端を位置させたいTVモニタ32の画面上の位置データとを用いて、鉗子13の先端位置をTVモニタ32の画面上の設定位置に移動させるための指令位置を算出し、算出した指令位置を動作モード切換部38を通し、XYステージ制御部39に伝送し、視野変換を行う。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、第1の実施例の内視鏡装置に第2の実施例で示した磁気センサ本体73を組み合わせ、この磁気センサ本体73によって鉗子13の先端位置を求めることができる構成にしたので、視野変換を行うための位置検出手段を、第1の実施例のように画像処理によるものに加えて更に他の1系統を新たに設けることができる。そのため、画像処理で鉗子13の先端位置の位置検出ができなくなった場合であっても、新たに設けた磁気センサ本体73による位置検出手段のデータを用いて視野変換を行えるため、術中の様々な状況においても視野変換動作が中断されることがなく、より信頼性を高めることができる。
なお、本実施例では磁気センサ74の代わりに鉗子13の先端位置を検出・算出可能なセンサ、例えば超音波センサ、赤外線センサ、加速度センサとジャイロの組み合わせセンサを用いることが可能である。
また、TVカメラユニット18の代わりに第2の実施例で示したTVカメラアダプタ78を使用するとともに、スコープホルダー10の代わりに第2の実施例で示した電動マニピュレータ61を用い、TVカメラアダプタ78の撮像画像から求めた位置情報と、磁気センサ本体73で検出した位置情報とを選択し電動マニピュレータ61を制御してもよい。
また、図11乃至図13(A)は本発明の第4の実施例を示すものである。図11は体腔内観察装置である内視鏡装置全体の概略構成を示すものである。図11中、81は手術台であり、この手術台81上には患者82が載る。手術台81の側面にはベッドサイドレール83が設けられている。このベッドサイドレール83には電動マニピュレータ84が装着されている。
この電動マニピュレータ84には基台85と、この基台85に矢印A方向に回動可能に、かつ矢印B方向に昇降動作可能に連結されたL字状部材86と、このL字状部材86の上端水平部に水平方向(矢印C方向)に伸縮可能に設けられた移動アーム87と、この移動アーム87の先端部に連結された内視鏡保持リング88とが設けられている。そして、電動マニピュレータ84の内視鏡保持リング88に硬性鏡89が着脱自在に連結され、この電動マニピュレータ84によって硬性鏡89が移動可能に支持されている。なお、硬性鏡89は患者82の腹壁部等に予め穿刺されたトラカール9(図1参照)を通して体腔内に挿入されている。
さらに、硬性鏡89は例えば腹腔鏡等の直視型の内視鏡によって形成されている。この硬性鏡89には患者の体腔内に挿入される挿入部90と、この挿入部90の基端部に配設された接眼部91とが設けられている。
また、硬性鏡89の接眼部91にはTVカメラ92が着脱可能に取付けられている。このTVカメラ92はカメラコントロールユニット(CCU)93に接続されている。
さらに、CCU93は制御装置94内の画像合成部95に接続されている。ここで、画像合成部95には2つの入力端子と1つの出力端子とが設けられている。そして、CCU93は画像合成部95の一方の入力端子に接続されている。
また、制御装置94内には画像合成部95の他に、画像合成部95の他方の入力端子に接続されたマーカー生成部96と、このマーカー生成部96に接続された制御部97と、この制御部97に接続された視線検出部98およびマニピュレータ制御部99とが設けられている。
ここで、画像合成部95の出力端子には観察用のTVモニタ100が接続されている。さらに、TVモニタ100上には視線検出装置101が設けられている。この視線検出装置101は術者がTVモニタ100の表示画面に表示された画像のどの部分を見ているかを検出するもので、この視線検出装置101の出力は制御装置94内の視線検出部98へ入力されるようになっている。
そして、視線検出装置101の検出結果は視線検出部98を介して制御部97へ伝達されるようになっている。この制御部97はマーカー生成部96にマーカ生成位置を出力するものである。また、硬性鏡89の接眼部91に接続されたTVカメラ92によって撮像される画像はCCU93を介して画像合成部95へ入力され、上記マーカー生成部96で作られたマーカー106と合成してTVモニタ100に表示されるようになっている。
また、制御装置94には電動マニピュレータ84に接続されたマニピュレータ制御部99が設けられている。このマニピュレータ制御部99は制御部97に接続されている。そして、このマニピュレータ制御部99によって電動マニピュレータ84内の図示しない各駆動モーターを動かし、電動マニピュレータ84のL字状部材86を矢印A方向に回動させ、かつ矢印B方向に昇降動作させるとともに、移動アーム87を矢印C方向に伸縮させるようになっている。
また、患者82の腹壁部等には硬性鏡89の挿入場所とは別の挿入場所から第2のトラカール9´(図1参照)が穿刺され、このトラカール9´を通して処置具である鉗子102が体腔内に挿入されている。
この鉗子102には体腔内に挿入される挿入部103の先端部に処置部104が配設されている。さらに、挿入部103の基端部には手元側のハンドル部105が配設されている。そして、このハンドル部105の開閉操作にともない処置部104が遠隔的に開閉操作されるようになっている。
次に、上記構成の作用について説明する。本実施例の内視鏡装置の使用時には術者がTVモニタ100の表示画面上のどこの部分を見ているかを視線検出装置101及び視線検出部98で検出する。さらに図12(A)に示すようにここで検出された検出位置に対応するマーカー106をマーカー生成部96によって生成し、このマーカー106と内視鏡像とを画像合成部95によって合成してTVモニタ100に表示する。
また、術者が図示しない操作スイッチを押すことで上記マーカー生成部96によって生成されたマーカー106がTVモニタ100の表示画面上にあらかじめ決められた例えば画面中心点等の設定位置に移動するように電動マニピュレータ84を動かす。
なお、上記以外の動作として、操作スイッチを押すことでTVモニタ100の表示画面上の内視鏡像のズームイン、ズームアウトを行うようにしても良い。さらに、上記操作スイッチは各々別々のスイッチでも良いし、制御部97によって1つのスイッチの機能を切り換え可能としても良い。
又、スイッチを押したときにマーカー102とあらかじめ決められた画面中心点等の設定位置とが一致するように電動マニピュレータ84を動かし、さらにスイッチを一定時間押し続けることでズームイン/ズームアウト動作を行うようにしても良い。
ズームイン、ズームアウトは電動マニピュレータ84を硬性鏡89の軸方向に動かすように制御しても良いし、硬性鏡89とTVカメラ92との間にズームレンズを設け、モニタ100の位置までズームレンズを動かすようにしても良い。
また、TVカメラ92の代わりに第1の実施例のTVカメラユニット18、電動マニピュレータ84の代わりに第1の実施例のスコープホルダー10を用い、視線検出装置101及び視線検出部98で検出された視線位置があらかじめ設定されたTVモニタ100の画面上の設定位置に来るように、TVカメラユニット18内の拡大光学系21の結像レンズ24、あるいは第1のCCD25aを移動させてもよい。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、視線検出装置101によってTVモニタ100の表示画面上の術者が見たい位置を検出するようにしたので、鉗子102に色マーカー等を付ける必要が無い。そのため、鉗子102の先端が患部内にかくれても術者の見たい位置をTVモニタ100の画面中央に表示する状態で視野変換動作を行うことができる。さらに、TVモニタ100の画面上に術者が見ている位置を表示することで術者が見ている部位を確認して操作することが可能となる。
また、視線検出装置101の具体例としては図13(A)に示すようにCCDカメラ107で術者の左右の眼球108a,108bを観察するものがある。これは、画像処理により左右の眼球108a,108bの位置と、瞳孔の中心位置の相対関係から術者の視線A,Bを検出する方式である。
また、図13(B)は第4の実施例の視線検出装置101の別の構成例を示すものである。これは、術者の左右の眼球108a,108bに対し、発光ダイオード109から赤外光を出射し、眼球108a,108bで反射した光をPSD(ポジション・センシング・デバイス)110で検出することにより、視線A,Bの方向を検出する方式が知られている。図13(A),(B)のいずれの方式も公知であり、詳述することを省略するが、例えば、写真工業(1993年1月号、P63〜P64、P104〜P105/写真工業社発行)には、瞳孔と目の角膜で反射した赤外光による反射像との位置関係をマイクロコンピュータで高速演算して眼球の回転角を求め、どこを見ているかを算出する方式が記載されている。(特願平5−274405号参照)
また、図14(A)〜(D)は本発明の第5の実施例を示すものである。図14(A)は本実施例の内視鏡装置全体の概略構成を示すもので、111は患者の体腔内を観察する例えば腹腔鏡等の直視型の硬性鏡である。この硬性鏡111には患者の体腔内に挿入される挿入部112と、この挿入部112の基端部に配設された接眼部113とが設けられている。ここで、硬性鏡111の挿入部112は予め例えば患者の腹壁部114等に穿刺されたトラカール115内に挿通され、体腔内に挿入されている。
また、患者の腹壁部114等には硬性鏡111の挿入場所とは別の挿入場所から第2のトラカール116が穿刺されている。そして、このトラカール116を通して体腔内の処置あるいは臓器の把持を行う処置具117が体腔内に挿入されている。
さらに、第2のトラカール116にはレーザポインタ118が装着されている。このレーザポインタ118には例えば半導体レーザが内蔵されている。そして、このレーザポインタ118の半導体レーザから投射されるレーザ光がトラカール116の軸心方向に概ね平行となる状態でレーザポインタ118がトラカール116に取付けられている。
また、硬性鏡111の接眼部113にはTVカメラユニット119が装着されている。このTVカメラユニット119には図14(B)に示すようにアダプタ120とTVカメラ121とが設けられている。
さらに、アダプタ120内には硬性鏡111の接眼部113に離間対向配置されるハーフミラー122が配設され、硬性鏡111から得られた観察像はこのハーフミラー122によって2つの光路に分けられるようになっている。なお、ハーフミラー122に代えてビームスプリッタを使用しても良い。
また、ハーフミラー122によって分配された片方の像(ハーフミラー122を透過した光学像)が入射される第1の光路123aの観察像はTVカメラ121内の光学素子124を経て内視鏡画像用の第1の撮像素子125に結像され、体腔内の観察像が得られる。ここで、TVカメラ121内には光学素子124を第1の光路123aの光軸方向と直交する方向に移動させるアクチュエータ126が装着されている。
さらに、ハーフミラー122によって分配された他方の像(ハーフミラー122によって反射された光学像)が入射される第2の光路123bの観察像はレーザ光のみを透過するフィルタ127でレーザ光のみ透過され、光学素子128を経て第2の撮像素子129に結像される。この第2の撮像素子129には、CCDもしくはPSDを用いる。なお、第1の撮像素子125によって得られる内視鏡画像は第2の撮像素子129によって得られるレーザ光の像とが重ね合わされ得た状態で図14(C),(D)に示すTVモニタ130の表示画面に表示されるようになっている。
次に、上記構成の作用について説明する。まず、本実施例の内視鏡装置の使用時には予め例えば患者の腹壁部114等に穿刺されたトラカール115内に硬性鏡111の挿入部112が挿通され、体腔内に挿入される。さらに、患者の腹壁部114等には硬性鏡111の挿入場所とは別の挿入場所から第2のトラカール116が穿刺され、このトラカール116を通して処置具117が体腔内に挿入される。このとき、処置具117の先端の処置部117aが硬性鏡111の接眼部113による視野範囲内に挿入される状態にセットされる。
また、内視鏡装置の使用中、硬性鏡111によって伝達された体腔内の観察像は、TVカメラユニット119内のハーフミラー122により、2つに分配される。そして、このハーフミラー122によって分配された片方の像(ハーフミラー122を透過した光学像)が入射される第1の光路123aの観察像はTVカメラ121内の光学素子124を経て内視鏡画像用の第1の撮像素子125に結像され、体腔内の観察像が得られる。
また、ハーフミラー122によって分配された他方の像(ハーフミラー122によって反射された光学像)が入射される第2の光路123bの観察像はレーザ光のみを透過するフィルタ127でレーザ光のみ透過され、光学素子128を経て第2の撮像素子129に結像される。
そして、第1の撮像素子125によって得られる内視鏡画像は第2の撮像素子129によって得られるレーザ光の像とが重ね合わされた状態で図14(C),(D)に示すTVモニタ130の表示画面に表示される。このときのTVモニタ130の表示画面では図14(C),(D)のようにレーザポインタ118からのレーザ光が当たった組織Lが点状にレーザ光を反射する状態で表示される。なお、図14(C)は処置具117の先端の処置部117aと生体組織との間が近い場合の硬性鏡111の観察像、図14(D)は処置具117の先端の処置部117aと生体組織との間が遠い場合の硬性鏡111の観察像をそれぞれ示すものである。
さらに、硬性鏡111による体腔内の観察中は第2の撮像素子129により検出されたレーザ光が当たった組織Lの画像データにもとづいて、TVモニタ130の表示画面の重心位置を計算で求める。そして、この重心位置がTVモニタ130の内視鏡画像の中心に来るようにTVカメラ121内の光学素子124をアクチュエータ126で移動させる。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、処置具117と第2のトラカール116の挿入方向とが一致しているため、処置具117の向きを変えると処置具117の概ね延長線上にある処置を行おうとする対象臓器にレーザ光があたる。ここで、レーザ光の当たった組織Lの位置が常に硬性鏡111の観察像の中央にくるように制御することにより、処置の対象臓器がTVモニタ130の表示画面の中央で観察できる。そのため、内視鏡下外科手術において、術者が体腔内における所望の部位を観察するために、処置具117の操作に応じて簡単に硬性鏡111の観察範囲を変更することができる。
また、図15および図16(A)〜(C)は本発明の第6の実施例を示すものである。図15は本実施例の内視鏡装置全体の概略構成を示すもので、131は患者の体腔内を観察する例えば腹腔鏡等の直視型の硬性鏡である。この硬性鏡131には患者の体腔内に挿入される挿入部132と、この挿入部132の基端部に配設された接眼部133とが設けられている。ここで、硬性鏡131の挿入部132は予め例えば患者の腹壁部134等に穿刺されたトラカール135内に挿通され、体腔内に挿入されている。なお、患者の腹壁部134の内側の腹腔136内に、内視鏡下手術によって摘出などの処置を行う患部137が存在している。
また、患者の腹壁部134等には硬性鏡131の挿入場所とは別の挿入場所から第2,第3のトラカール138,139が穿刺されている。そして、これらのトラカール138,139を通して腹腔136内の患部137の処置あるいは臓器の把持を行う第1,第2の処置具140,141が腹腔136内に挿入されている。
また、硬性鏡131にはライトガイドケーブル142の一端部が連結されている。このライトガイドケーブル142の他端部は光源装置143に接続され、光源装置143から導かれた光が腹腔136内に照射されるようになっている。
さらに、硬性鏡131は手術用マニピュレータ144に設けられた多自由度のアーム145により固定支持されている。このマニピュレータ144はCPU146からの指令によってコントローラ147を作動させ、ドライバ148を制御することによって動作するようになっている。
また、硬性鏡131の接眼部133にはカメラ149が取付けられている。このカメラ149には硬性鏡131により得られた腹腔136内の映像情報を電気信号化するCCD等の撮像素子が内蔵されている。そして、硬性鏡131により得られた腹腔136内の映像情報は硬性鏡131に取付けられたカメラ149により電気信号化され、CCU150によって処理された後に、画像ミキサー151を介してモニタ152上に硬性鏡131の映像として表示されるようになっている。
さらに、画像ミキサー151にはメニュー画像作成回路153およびカーソル画像作成回路154がそれぞれ接続されている。ここで、メニュー画像作成回路153はCPU146に接続されている。そして、モニタ152上にはCPU146からの指令により、図16(A)〜(C)に示すようにメニュー画像作成回路153にて生成されるメニュー153a、及びカーソル画像作成回路154にて生成される矢印状のカーソル154aが画像ミキサー151によって硬性鏡131の映像と同時に表示されるようになっている。
さらに、カーソル画像作成回路154はカーソル位置計算回路155に接続されている。このカーソル位置計算回路155にはCPU146およびベクトル信号受信回路156がそれぞれ接続されている。
また、第1,第2の処置具140,141を操作し、手術を行う術者157の頭部には、ジャイロ固定具158によって固定されたジャイロ159が取付けられている。そして、ジャイロ159によって、術者157の頭部の位置、方向を検出し、ベクトル情報として、ベクトル信号受信回路156に無線送信するようになっている。なお、ベクトル情報は、有線による手段によってベクトル信号受信回路156に送信しても良い。さらに、術者157の頭部の位置、方向を検出する手段として、磁気ソースと3次元コイルによる方法、発光体などのマーカを画像処理により検出する方法、加速度センサを用いる方法、視線検出などを使用しても良い。
また、ベクトル信号受信回路156にて検出されたベクトル情報は、カーソル位置計算回路155にて座標データ化され、モニタ152上に表示されるカーソル154aの位置の情報として前記カーソル画像作成回路154に与えられる。なお、この座標データは、同時にCPU146にも情報伝達される。
また、術者157が操作する一方の(第1の)処置具140の操作部には一つ、あるいは複数のハンドスイッチ160が取付けられている。このハンドスイッチ160のON/OFFの情報は、ON/OFF受信回路161で受信され、CPU146に伝達されるようになっている。なお、ON/OFFの情報の伝達は、無線でも有線でも良い。さらに、前記のON/OFF受信回路161、CPU146、カーソル位置計算回路155、カーソル画像作成回路154、メニュー画像作成回路153は一体的に制御装置162としてまとめられている。
また、図16(A)〜(C)はモニタ152の表示例を示している。ここで、モニタ152の画面中央には、硬性鏡131で得られた腹腔136内の患部137の映像、画面下部にはメニュー153a、そして、画面上を、術者157の頭の動きに従って動くカーソル154aが同時に表示されている。
さらに、図16(A)のモニタ152の画面ではメニュー153aとしてマニピュレータ144、光源装置143、CCU150などの周辺器材を選択できるメインメニューの各項目の選択ボタンが表示されている。
また、図16(B)のモニタ152の画面ではメニュー153aとして図16(A)のメニュー153aのメインメニューでマニピュレータ144の選択ボタンを選択した際に表示されるサブメニューの各項目の選択ボタン、すなわちマニピュレータ144の機能選択メニューの各項目の選択ボタンおよびメインメニューに戻るための復帰ボタン等が表示されている。
さらに、図16(C)のモニタ152の画面ではメニュー153aとして図16(A)のメニュー153aのメインメニューで光源装置143の選択ボタンを選択した際に表示されるサブメニューの各項目の選択ボタン、すなわち光源装置143の機能選択メニューの各項目の選択ボタンおよびメインメニューに戻るための復帰ボタン等が表示されている。
なお、CPU146によって、制御される周辺装置として、CCU150、図示しない電気焼灼メス、レーザ装置、超音波吸引器、マイクロターゼ装置などでも良い。
次に、上記構成の作用について説明する。まず、術者157が両手に処置具140,141を保持し、硬性鏡131による患部137の画像をモニタ152上で観察しながら手術を行っている。
手術の進行に従って患部137の画像がモニタ152の画面上の端の方に移動した場合には、硬性鏡131を移動させ、再び患部137の画像をモニタ152の画面上の中央に移動させる必要がある。この場合、本実施例では術者157は頭を動かすことによって、ジャイロ159の向きを変え、図16(A)のモニタ152のメインメニューの画面上のカーソル154aを移動させ、図16(A)のメニュー153aのメインメニューでマニピュレータ144の選択ボタンの位置に持ってくる。この状態で、術者157は、処置具140に設けられたハンドスイッチ160をこの処置具140を保持したままONにする。
この情報は、ON/OFF受信回路161を介してCPU146に伝えられる。CPU146にはさらにメニュー画像作成回路153に伝えたメニュー153aのモニタ152の画面上の位置と内容の情報、カーソル位置計算回路155から得られるカーソル154aのモニタ152の画面上の位置の情報が入力されているため、CPU146において、術者157がどのメニュー153aの選択ボタンの内容を選択したかが判断される。
例えば、図16(A)のモニタ152の画面に表示されているメニュー153aのメインメニューの各項目の選択ボタンのうち、マニピュレータ144が選択されたことをCPU146が判断すると、続いて図16(B)のモニタ152の画面が表示される。このとき、モニタ152の画面に表示されているメニュー153aにはマニピュレータ144の選択ボタンを選択した際に表示されるサブメニューの各項目の選択ボタン、すなわちマニピュレータ144の機能選択メニューの各項目の選択ボタンおよびメインメニューに戻るための復帰ボタン等が表示される。
この状態で、術者157は引き続き先と同様の操作を行い、カーソル154aとハンドスイッチ160を用いて図16(B)のモニタ152の画面に表示されているマニピュレータ144の機能選択メニューの各項目の選択ボタンおよびメインメニューに戻るための復帰ボタン等のうち、マニピュレータ144の機能選択メニューの選択ボタンを選択し、メニュー153aの画面上の移動の項目を選択する。
ここで、画面の拡大、縮小を望むときには、ズームの選択ボタンを選択し、処置具140,141の自動追尾を行いたいときには処置具140,141の自動追尾の項目を選択することができる。
また、処置具140,141の追尾を行う場合にはそれぞれ処置具140,141の操作部に設けたハンドスイッチ160,163の追尾用スイッチ(図示せず)を押すことによって、これに対応した処置具の先端を追尾することができる。
さらに、CPU146においてマニピュレータ144の移動項目が選択されたことを認識すると、コントローラ147に指令を送り、ドライバ148によって、マニピュレータ144を動作させる。
また、図16(A)のモニタ152の画面に表示されているメニュー153aのメインメニューの各項目の選択ボタンのうち、光源装置143が選択された場合には、続いて図16(C)のモニタ152の画面が表示される。図16(C)のモニタ152の画面のメニュー153aには光源装置143の機能選択メニューの各項目の選択ボタン、すなわち光量の増減、スチール写真、ビデオ、フィルタの選択などの項目の選択ボタンおよびメインメニューに戻るための復帰ボタン等が表示され、CPU146によって光源装置143の機能をコントロールできる。さらに、図16(A)のモニタ152の画面に表示されているメニュー153aのメインメニューの各項目の選択ボタンで、CCU150や、そのほかの周辺装置の機能を選択することにより、メインメニューの各項目の選択ボタンで選択された周辺装置の機能をコントロールすることができる。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、術者157が、処置具140,141から手を離したり、モニタ152の画面に表示される硬性鏡131の映像から目を離したりすること無しに、硬性鏡131の位置の移動や、各種周辺機器の操作ができるために、これらの操作のために手術を一次中断する事なく、スピーディーで安全に手術を行うことができる。
また、硬性鏡131を保持するための助手や、周辺機器の操作を行う看護婦が不要になるため、手術の省人化によって、低コストで手術を行うことができて経済的である。
また、図17乃至図19は本発明の第7の実施例を示すものである。図17は体腔内観察装置である内視鏡装置のシステム全体の概略構成を示すものである。この内視鏡装置には患者の体腔内を観察する先端湾曲内視鏡171が設けられている。
この先端湾曲内視鏡171には患者の体腔内に挿入される挿入部172と、この挿入部172の基端部に配設された手元側端部173とが設けられている。さらに、挿入部172の先端側には先端構成部174とこの先端構成部174を湾曲操作する湾曲部175とが設けられている。
また、先端湾曲内視鏡171の挿入部172は予め例えば患者の腹壁部176等に穿刺されたトラカール177内に挿通され、体腔内に挿入されている。ここで、先端湾曲内視鏡171の挿入部172の手元側端部173側は多関節構造のスコープホルダー178によって移動可能に保持されている。
さらに、先端湾曲内視鏡171の手元側端部173にはユニバーサルケーブル179の一端部が連結されている。このユニバーサルケーブル179の他端部はカメラコントロールユニット(以下CCU)180と、視野変換駆動ユニット181とに接続されている。
また、CCU180はTVモニタ182および視野変換制御ユニット183に接続されている。この視野変換制御ユニット183にはフットスイッチ184が接続されている。
また、図18(A)は視野変換制御ユニット183の概略構成を示すものである。この視野変換制御ユニット183にはCCU180からの信号が入力される色空間変換部185と、抽出画像生成部186と、重心位置演算部187と、設定位置記憶部188と、モーター駆動量算出部189とが設けられている。ここで、モーター駆動量算出部189にはフットスイッチ184が接続されている。
また、図19は先端湾曲内視鏡171の湾曲部175の湾曲機構の構成を示すものである。この湾曲部175には複数の湾曲コマ190が回動自在に連結されている。ここで、最先端位置の湾曲コマ190には2本のアングルワイヤ191の各一端部が固定されている。
さらに、内視鏡171の手元側端部173には湾曲部175の湾曲操作機構部192が配設されている。この湾曲操作機構部192には内視鏡171の挿入部172の軸心方向にスライド可能な筒状のスライド部材193が設けられている。そして、このスライド部材193の外周面の前端部に一方のアングルワイヤ191の他端部が固定されている。さらに、他方のアングルワイヤ191の他端部はプーリー194に係合された状態でスライド部材193の外周面の後端部に固定されている。
また、スライド部材193の内周面には雌ねじ部193aが形成されている。そして、このスライド部材193の雌ねじ部193aに送りネジ195が螺合されている。この送りネジ195の基端部はカップリング196を介して駆動モータ197の回転軸に連結されている。この駆動モータ197の回転軸にはエンコーダ198が取付けられている。
また、患者の腹壁部176等には内視鏡171の挿入場所とは別の挿入場所から第2のトラカール199が穿刺されている。そして、このトラカール199を通して処置具である鉗子200が体腔内に挿入されている。
この鉗子200には体腔内に挿入される挿入部201の先端部に処置部202が配設されている。さらに、挿入部201の基端部には手元側のハンドル部203が配設されている。そして、このハンドル部203の開閉操作にともない処置部202が遠隔的に開閉操作されるようになっている。
また、鉗子200の処置部202の先端には色マーカー204が設けられている。この色マーカー204は生体適合性を有する塗料であり、その色には臓器にはない色、例えば緑、黄等が適する。
次に、上記構成の作用について説明する。まず、本実施例の内視鏡装置の使用時には予め例えば患者の腹壁部176等に穿刺されたトラカール177内にスコープホルダー178で保持された内視鏡171の挿入部172が挿通され、体腔内に挿入される。さらに、患者の腹壁部176等には内視鏡171の挿入場所とは別の挿入場所から第2のトラカール199が穿刺され、このトラカール199を通して鉗子200が体腔内に挿入される。このとき、鉗子200の先端の処置部202が内視鏡171による視野範囲R1 内に挿入される状態にセットされる。
また、内視鏡装置の使用中、内視鏡171の先端構成部174に組み込まれた図示しないCCDによって体腔内の観察像が撮像される。このCCDからの出力信号はCCU180で映像信号に変換され、この映像信号は視野変換制御ユニット183の色空間変換部185に入力される。さらに、この色空間変換部185では各画素毎に抽出された色成分を設定された色空間、例えばHSI(色相、彩度、明度)・色差(Y、R−Y、B−Y)等、のデータに変換する。
また、色空間変換部185からの出力信号は抽出画像生成部186に入力される。この抽出画像生成部186では入力された色空間の信号が予め設定されている抽出対象色の範囲に入っているかどうかを各画素毎に比較し、設定範囲内あればその画素の明度を0に、設定範囲外であればその画素の明度を1にして、無彩色で出力する。この結果、抽出対象に設定された色の部分が黒、それ以外の部分が白である2値画像が出力される。
さらに、抽出画像生成部186からの出力信号は重心位置演算部187に入力される。この重心位置演算部187では設定色の抽出部分である黒色部分の面積重心を算出し、その画像上の画素データを出力する。なお、抽出画像生成部186にて、抽出対象部分を明度1(白)に、それ以外の部分を明度0(黒)とし、重心位置演算部187で白色部分の面積重心を求めるように設定してもよい。
また、重心位置演算部187の画素データと、設定位置記憶部188に予め格納されている抽出点を位置させたいTVモニタ182の画面上の画素位置データ(例えば画面中央)は、モーター駆動量算出部189に入力され、湾曲部175の湾曲操作機構部192の駆動モータ197を駆動する図示しないモーター駆動部へ制御信号を生成する。この制御信号は、設定されている画素位置データと算出した抽出対象点の画素データの差をとり、抽出対象点を設定されている画面上の点に移動させるための湾曲部175の湾曲角を求めることにより算出した、その湾曲角を実現するための駆動モータ197のモーター駆動量である。
また、鉗子200の先端部に色マーカー204を設け、そのマーカーの色を抽出対象色として、また抽出対象点を位置させたい画面上の位置を画面中央として設定位置記憶部188に設定した場合には、鉗子200の色マーカー204が内視鏡171の観察範囲にあって、処置対象部位が撮像画像の中央からずれていて医師等の術者が処置を行いずらい状況で、鉗子200の先端を処置対象部位にもってゆきフットスイッチ184をONすることにより、前述の動作により鉗子200の先端位置がTVモニタ182の撮像画像の中央に移動させるように湾曲部175が動く。
ここで、フットスイッチ184がONされると、算出された制御信号がモーター駆動部に与えられる。モーター駆動部は、エンコーダ198の出力をフィードバックして所定の移動量だけ駆動モータ197を駆動する。このとき、駆動モータ197の駆動により送りネジ195が回転し、この回転によってスライド部材193が内視鏡171の挿入部172の軸心方向に進退する。
ここで、スライド部材193が図19中で、右方向に移動した場合にはこのスライド部材193の動作にともない上側のアングルワイヤ191が引っ張り操作され、下側のアングルワイヤ191が押し出し操作される。そして、ここで引っ張り操作される上側のアングルワイヤ191側に湾曲部175が湾曲される。
また、スライド部材193が逆方向(図19中で、左方向)に移動した場合には2本のアングルワイヤ191はそれぞれ反対方向に動き、湾曲部175が逆方向に湾曲される。したがって、上記スライド部材193の動作にともない湾曲部175が2方向に湾曲される。なお、この2本のワイヤ191に直交してして他の2本のワイヤと、その駆動制御部を設けることにより、4方向の湾曲が可能である。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、TVモニタ182の画像中の所望の位置に鉗子200の先端位置を移動させる内視鏡171の視野変換を、内視鏡171の湾曲部175の駆動により行うことができるので、体腔内側壁部や、臓器の側面、裏面に観察・処置対象がある場合でも良好な観察を行うことができる。
なお、第7の実施例の内視鏡装置の視野変換制御ユニット183内のモーター駆動量算出部189の代わりに、図18(B)に示すように、抽出対象点の画素データが設定位置記憶部188に設定されている画素データと一致しているかどうかを比較判定する比較判定部211を設け、一致するまで駆動モータ197に制御信号を与えても良い。
また、設定位置記憶部188に格納されている、視野変換動作により抽出対象点を位置させる画面上の位置の設定は変更が可能である。さらに、動作スイッチはフットスイッチ184の他に、鉗子200のハンドル部203に取付けられるハンドスイッチでもよい。
また、アングルワイヤ191の先端部を形状記憶合金で構成し、通電加熱による合金の縮みを用いて湾曲を行ってもよい。さらに、鉗子200の先端位置の検出は、鉗子200の先端の形状認識を行い、パターンマッチングでその動きを追跡し、先端位置を検出する形状認識画像処理でもよい。
また、図20および図21は本発明の第8の実施例を示すものである。本実施例は第7の実施例で示した内視鏡装置の先端湾曲内視鏡171を保持するスコープホルダー178として第2実施例の電動マニピュレータ61を使用するとともに、視野変換制御ユニット183内に図21に示すように湾曲/マニピュレータ駆動判定部221およびマニピュレータ位置指令部222を新たに加えたものである。そして、フットスイッチ184からの出力信号はモーター駆動量算出部189およびマニピュレータ位置指令部222にそれぞれ入力されるようになっている。それ以外の構成は第7の実施例と同一である。
次に、上記構成の作用について説明する。本実施例の内視鏡装置の使用時に、例えば内視鏡171の観察視野内の抽出対象点が内視鏡171の湾曲部175の可動範囲から逸脱した場合、視野変換制御ユニット183の重心位置演算部186からその状態を示す信号を出力する。この信号を受けた時にフットスイッチ184がONされた場合は、湾曲/マニピュレータ駆動判定部221はマニピュレータ61を駆動させるようマニピュレータ位置指令部222に逸脱直前の抽出対象点の位置データを出力する。
さらに、マニピュレータ位置指令部222ではこのデータから鉗子200の先端の方向を推定し、その方向が観察可能となるようなマニピュレータ駆動信号を出力し、マニピュレータ61を移動させる。これにより、再度、鉗子200の先端の色マーカー204が内視鏡171の撮像画像中に入ってきた場合は、湾曲/マニピュレータ駆動判定部221は湾曲部175を駆動させる。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、内視鏡171の視野変換手段として、湾曲部175の駆動による手段と内視鏡171を保持する電動マニピュレータ61の駆動による手段とを設け、両者を補完的に動作させることができる。そのため、内視鏡171の湾曲部175の湾曲可動範囲外に鉗子200の先端が位置した場合には、電動マニピュレータ61の駆動による視野変換手段を使用することにより、マニュアル操作を必要とせず鉗子200の先端を内視鏡171の撮像画面内に収めることができ、内視鏡171の操作性を一層向上できる。
また、図22乃至図25は本発明の第9の実施例を示すものである。本実施例は第2の実施例の内視鏡装置の構成を一部変更したものである。すなわち、本実施例の内視鏡装置では第2の実施例の磁気センサ本体73、磁気センサ74および磁気ソース75が省略されている。そして、本実施例の内視鏡装置ではCCU80にTVモニタ32と、視野変換制御ユニット231とが接続されている。
さらに、本実施例の視野変換制御ユニット231には、フットスイッチ232と、電動マニピュレータ61とが接続されている。ここで、視野変換制御ユニット231には図23に示すようにCCU80からの信号が入力される色空間変換部233と、抽出画像生成部234と、重心位置演算部235と、鉗子先端位置推定演算部236と、マニピュレータ位置指令部237とが設けられている。そして、マニピュレータ位置指令部237にはフットスイッチ232が接続されている。
また、体腔内に硬性鏡1の挿入場所とは別の挿入場所から挿入される鉗子13の挿入部14の先端には図24に示すように複数、本実施例では2つの異なる色の色マーカー238a,238bが設けられている。この色マーカー238a,238bの色には、臓器にない色である緑や黄が適する。ここで、鉗子13の挿入部14の先端の手元側に配置された一方の色マーカー238bによって第1のマーカー、先端側に配置された他方の色マーカー238aによって第2のマーカーが形成されている。そして、第1のマーカー238bと第2のマーカー238aとの間の距離はA、第2のマーカー238aと鉗子13の処置部15の先端との間の距離はBにそれぞれ設定されている。なお、図25は硬性鏡1で撮像した鉗子13の先端部の画像を示すものである。
次に、上記構成の作用について説明する。まず、本実施例の内視鏡装置の使用時に電動マニピュレータ61に保持された硬性鏡1によって伝達された体腔内像は、TVカメラアダプタ78内のCCDにより撮像される。このCCDからの出力信号はCCU80で映像信号に変換され、視野変換制御ユニット231内に入力される。
この視野変換制御ユニット231内では映像信号を色空間変換部233、抽出画像生成部234で処理し、抽出色として鉗子13の先端に設けられた2つの色マーカー238a,238bの色を設定し、マーカー部分のみが抽出された2値画像を出力する。
さらに、抽出画像生成部234からの出力信号は重心位置演算部235に入力される。この重心位置演算部235では、それぞれの色マーカー238a,238bの重心位置を算出し、出力する。この重心位置演算部235からの出力信号は鉗子先端位置推定演算部236に入力される。そして、この鉗子先端位置推定演算部236では、入力した重心位置データから鉗子13の先端位置を推定する演算を行い、マニピュレータ位置指令部237に出力する。
続いて、マニピュレータ位置指令部237では、この先端位置データと予め設定されている抽出点を位置させたい画面上の画素位置データとの差を取り、抽出対象点を設定されている画面上の点に移動させるための移動量を算出し、フットスイッチ232がONの時にマニピュレータ61に指令を行う。
また、鉗子13の先端位置を推定する演算は、次のように行われる。ここで、第1のマーカー238bの位置を(x1,y1)、第2のマーカー238aの位置を(x2,y2)とし、第1のマーカー238bと第2のマーカー238aとの間の距離をA、第2のマーカー238aと鉗子13の先端との間の距離をBとすると、鉗子13の先端位置(x0,y0)は次の式(1)で算出可能である。
(x0,y0)=(B/A*(x2−x1)
+x2,B/A*(y2−y1)+y2) (1)
また、第1のマーカー238bが臓器に隠れたり体液等の付着により一時的に見えなくなった場合は、見えなくなる寸前の第1,第2の各マーカー238b,238aの位置(x1′,y1′)、(x2′,y2′)と第2のマーカー238aの現在位置(x2,y2)を用いて次の式(2)から鉗子13の先端位置を推定する。
(x0,y0)=(B/A*(x2′−x1′)
+x2,B/A*(y2′−y1′)+y2) (2)
さらに、第2のマーカー238aが一時的に見えなくなった場合は、第1のマーカー238bの場合と同様に見えなくなる寸前の第1,第2の各マーカー238b,238aの位置(x1′,y1′)、(x2′,y2′)と第1のマーカー238bの現在位置(x1,y1)を用いて次の式(3)から鉗子13の先端位置を推定する。
(x0,y0)=((B+A)/A*(x2′−x1′)
+x1,(B+A)/A*(y2′−y1′)+y1) (3)
なお、マーカーをそれぞれ異なる色の3点として鉗子13の挿入部14に設け、その中の2点を取り出して鉗子13の先端位置を算出してもよい。また、フットスイッチ232の代わりに鉗子13のハンドル部16に取付けられるハンドスイッチを設けてもよい。
そこで、上記構成のものにあっては次の効果を奏する。すなわち、鉗子13の挿入部14の先端に2つの異なる色の色マーカー238a,238bを設けたことにより、処置中は見えなくなることの多い鉗子13の処置部15の先端にマーカーを設けずに、鉗子13の先端位置が算出できる。そのため、処置中に、鉗子13の処置部15の先端が見えなくなった場合でも確実に鉗子13の先端位置が算出でき、処置の中断等を防止することができる。
また、鉗子13の挿入部14の先端の2つの異なる色の色マーカー238a,238bのうちのいずれか一方のマーカーが臓器に隠れたり、体液等の付着により一時的に見えなくなった場合でも、見えなくなる直前のデータを用いて鉗子13の先端位置を推定可能であり、処置中でも確実に視野変換が行える。
また、視野範囲可変手段として前述の硬性鏡を保持するマニピュレータを用いる方法の他に、第1の実施例で示した拡大光学系に使用するCCDをX,Yステージで移動する方法でも構わない。
なお、本発明は上記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施できることは勿論である。
次に、本出願の他の特徴的な技術事項を下記の通り付記する。
記
(付記項1) 体腔内の関心領域を観察する体腔内観察手段と、この体腔内観察手段で得られた画像の観察視野を移動させる視野移動手段と、前記体腔内観察手段で得られた画像の観察視野を変化させる視野範囲可変手段と、前記視野移動手段を動作させる視野移動動作入力手段と、前記視野範囲可変手段を動作させる視野範囲可変動作入力手段とを具備したことを特徴とする体腔内観察装置。
(付記項2) 付記項1に記載の体腔内観察装置であって、前記視野範囲可変手段は、結紮又は縫合処置スピードに合わせた周期でズームイン及びズームアウトを行うことを特徴とする体腔内観察装置。
(付記項3) 体腔内の関心領域を観察する体腔内観察手段と、この体腔内観察手段で得られた画像の観察視野を移動させる視野移動手段と、術者の視線位置を検出する視線位置検出手段と、この視線位置検出手段による視線位置情報から視野移動方向を前記視野移動手段に出力する視野移動方向出力手段とを具備したことを特徴とする体腔内観察装置。
(付記項4) 付記項3に記載の体腔内観察装置であって、さらに体腔内に挿入される処置具先端の位置を検出する処置具先端位置検出手段を具備することを特徴とする体腔内観察装置。
(付記項5) 体腔内の関心領域を観察する体腔内観察手段と、この体腔内観察手段で得られた画像の観察視野を移動させる視野移動手段と、被検部に指標を投影する指標投影手段と、前記指標が被検部で反射した光を検知する反射指標検知手段と、この反射指標検知手段からの被検部位置を検出する被検部位置検出手段と、この被検部位置検出手段による被検部位置情報から視野移動方向を前記視野移動手段に出力する視野移動方向出力手段とを具備したことを特徴とする体腔内観察装置。
(付記項6) 体腔内の関心領域を観察する体腔内観察手段と、前記体腔内観察手段で得られた画像の観察視野を移動させる視野変換手段と、前記体腔内観察手段で得られた画像の観察範囲を変化させる視野範囲可変手段と、前記視野変換手段を動作させる視野変換動作入力手段と、前記視野範囲可変手段を動作させる視野範囲可変動作入力手段とからなる体腔内観察システム。
(付記項6〜36の目的) 関心領域の変化に応じた視野変換に加え、縫合・結紮処置時に有効である、拡大画像と広角画像の反復観察を、操作性良く実現した体腔内観察システムを提供することにある。
(付記項6〜36の作用) 体腔内の関心領域の変化に対応した視野変換と、縫合・結紮処置に対応した視野範囲の可変が操作性良く行なえる。
(付記項7) 前記体腔内観察手段は体腔内に挿入される内視鏡と、前記内視鏡を保持する保持手段と、前記内視鏡により伝送された体腔内像を2つに分配する光路分配手段と、分配された一方の像を撮像する広角撮像手段と、分配された他方の像を拡大して撮像する拡大撮像手段とからなる撮像手段とからなる付記項6の体腔内観察システム。
(付記項8) 前記保持手段は手動マニピュレータである付記項7の体腔内観察システム。
(付記項9) 前記光路分配手段はハーフミラーである付記項7の体腔内観察システム。
(付記項10) 前記光路分配手段はビームスプリッタである付記項7の体腔内観察システム。
(付記項11) 前記広角撮像手段は結像レンズと、撮像素子とからなる付記項7の体腔内観察システム。
(付記項12) 前記拡大撮像手段はズームレンズと、結像レンズと、撮像素子とからなる付記項7の体腔内観察システム。
(付記項13) 前記撮像素子は単板モザイクフィルタCCDである付記項11,12の体腔内観察システム。
(付記項14) 前記撮像素子は3板式CCDである付記項11,12の体腔内観察システム。
(付記項15) 前記視野変換手段は体腔内に挿入される目標識別手段と、前記広角撮像手段で得られた画像から前記目標識別手段の位置を検出する位置検出手段と、前記拡大撮像手段に設けられている撮像素子を移動させる移動手段と、前記位置検出手段で検出した位置に基づいて前記移動手段の移動量を算出し、指令する移動位置指令手段とからなる付記項7の体腔内観察システム。
(付記項16) 前記視野変換手段は体腔内に挿入される目標識別手段と、前記広角撮像手段で得られた画像から前記目標識別手段の位置を検出する位置検出手段と、前記拡大撮像手段に設けられている結像レンズを移動させる移動手段と、前記位置検出手段で検出した位置に基づいて前記移動手段の移動量を算出し、指令する移動位置指令手段とからなる付記項7の体腔内観察システム。
(付記項17) 前記目標識別手段は体腔内に挿入される処置具先端に設けられた色材であり、前記位置検出手段は前記色材の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である付記項15,16の体腔内観察システム。
(付記項18) 前記目標識別手段は体腔内組織に固定されたクリップに付けられた色材であり、前記位置検出手段は前記色材の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である付記項15,16の体腔内観察システム。
(付記項19) 前記目標識別手段は体腔内組織に付着された色素であり、前記位置検出手段は前記色素の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である付記項15,16の体腔内観察システム。
(付記項20) 前記目標識別手段は前記処置具先端に設けられた輪郭強調用構造体であり、前記位置検出手段は前記輪郭強調構造体の輪郭を抽出し、その抽出部分の位置を検出する輪郭抽出画像処理装置である付記項15,16の体腔内観察システム。
(付記項21) 前記移動手段はXYステージと、XYステージ駆動用モーターとからなり、前記移動位置指令手段は前記視野変換動作入力手段からの入力がある間、あらかじめ設定された画像上位置に前記位置検出手段で検出した前記目標識別手段を位置させるような指令位置を算出する演算部を有する付記項15,16の体腔内観察システム。
(付記項22) 前記視野範囲可変手段は前記拡大撮像手段に設けられているズームレンズを駆動するズームレンズ駆動用モーターと、前記視野範囲可変動作入力手段からの入力がある間、あらかじめ設定された周期でズームイン/アウトを行うようズームレンズ駆動用モーターに指令を行うズーム指令手段とからなる付記項7の体腔内観察システム。
(付記項23) 前記視野変換動作入力手段、前記視野範囲可変動作入力手段はフットスイッチである付記項7の体腔内観察システム。
(付記項24) 前記視野変換動作入力手段、前記視野範囲可変動作入力手段はハンドスイッチである付記項7の体腔内観察システム。
(付記項25) 前記体腔内観察手段は体腔内に挿入される内視鏡と、前記内視鏡を保持する保持手段と、前記内視鏡により伝送された体腔内像を結像する、結像レンズと撮像素子からなる撮像手段とからなる付記項6の体腔内観察システム。
(付記項26) 前記保持手段は電動マニピュレータである付記項25の体腔内観察システム。
(付記項27) 前記撮像素子は単板モザイクフィルタCCDである付記項25の体腔内観察システム。
(付記項28) 前記撮像素子は3板式CCDである付記項25の体腔内観察システム。
(付記項29) 前記視野変換手段は体腔内に挿入される処置具先端の位置を検出する位置検出手段と、前記視野変換動作入力手段からの入力がある間、あらかじめ設定された画像上位置に前記位置検出手段で検出した前記処置具先端を位置させるような移動量を算出し、前記電動マニピュレータに位置指令を行うマニピュレータ移動位置指令手段とからなる付記項25の体腔内観察システム。
(付記項30) 前記位置検出手段は磁気センサである付記項29の体腔内観察システム。
(付記項31) 前記位置検出手段は超音波センサである付記項29の体腔内観察システム。
(付記項32) 前記位置検出手段は赤外線センサである付記項29の体腔内観察システム。
(付記項33) 前記位置検出手段は加速度センサとジャイロである付記項29の体腔内観察システム。
(付記項34) 前記視野範囲可変手段は前記視野範囲可変動作入力手段からの入力がある間、あらかじめ設定された周期でズームイン/アウトを行うよう前記電動マニピュレータに指令を行うマニピュレータズーム指令手段からなる付記項25の体腔内観察システム。
(付記項35) 前記視野変換動作入力手段、前記視野範囲可変動作入力手段はフットスイッチである付記項25の体腔内観察システム。
(付記項36) 前記視野変換動作入力手段、前記視野範囲可変動作入力手段はハンドスイッチである付記項25の体腔内観察システム。
(付記項37) 体腔内の関心領域を観察する体腔内観察手段と、体腔内に挿入される目標識別手段と、前記体腔内観察手段で得られた観察画像から前記目標識別手段の位置を検出する第1の位置検出手段と、体腔内に挿入される処置具先端の位置を検出する第2の位置検出手段と、前記第1と第2の位置検出手段のどちらを出力するか判定・選択するデータ判定・選択手段と、前記データ判定・選択手段から出力された位置に基づいて前記体腔内観察手段で得られた拡大観察画像の観察視野を変化させる視野変換手段と、前記視野変換手段を動作させる動作入力手段とからなる体腔内観察システム。
(付記項37〜105の目的) 体腔内で鉗子先端部が認識しづらい状況においても、継続して視野変換を行なうことのできる体腔内観察システムを提供することにある。
(付記項37〜105の作用) 鉗子先端部分が組織に覆われたり、血液等の付着により認識できなくなる場合にも、継続して視野変換が行なえる。
(付記項38) 前記体腔内観察手段は体腔内に挿入される内視鏡と、前記内視鏡を保持する保持手段と、体腔内の拡大像と広角像を観察するために、前記内視鏡により伝送された体腔内像を2つに分配する光路分配手段と、分配された一方の像を撮像する広角撮像手段と、分配された他方の像を拡大して撮像する拡大撮像手段とからなる撮像手段とからなる付記項37の体腔内観察システム。
(付記項39) 前記保持手段は手動マニピュレータである付記項38の体腔内観察システム。
(付記項40) 前記光路分配手段はハーフミラーである付記項38の体腔内観察システム。
(付記項41) 前記光路分配手段はビームスプリッタである付記項38の体腔内観察システム。
(付記項42) 前記広角撮像手段は結像レンズと、撮像素子とからなる付記項38の体腔内観察システム。
(付記項43) 前記拡大撮像手段はズームレンズと、結像レンズと、撮像素子とからなる付記項36の体腔内観察システム。
(付記項44) 前記撮像素子は単板モザイクフィルタCCDである付記項42,43の体腔内観察システム。
(付記項45) 前記撮像素子は3板式CCDである付記項42,43の体腔内観察システム。
(付記項46) 前記目標識別手段は体腔内に挿入される処置具先端に設けられた色材であり、前記第1の位置検出手段は、前記広角撮像手段により得られた画像から前記色材の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である付記項38の体腔内観察システム。
(付記項47) 前記目標識別手段は前記処置具の挿入部複数箇所に設けられた色材であり、前記第1の位置検出手段は、前記広角撮像手段により得られた画像から前記色材の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である付記項38の体腔内観察システム。
(付記項48) 前記目標識別手段は前記処置具先端に設けられた輪郭強調用構造体であり、前記第1の位置検出手段は、前記広角撮像手段により得られた画像から前記輪郭強調構造体の輪郭を抽出し、その抽出部分の位置を検出する輪郭抽出画像処理装置である付記項38の体腔内観察システム。
(付記項49) 前記第2の位置検出手段は磁気センサである付記項38の体腔内観察システム。
(付記項50) 前記第2の位置検出手段は超音波センサである付記項38の体腔内観察システム。
(付記項51) 前記第2の位置検出手段は赤外線センサである付記項38の体腔内観察システム。
(付記項52) 前記第2の位置検出手段は加速度センサとジャイロである付記項38の体腔内観察システム。
(付記項53) 前記視野変換手段は前記拡大撮像手段に設けられている撮像素子を移動させる移動手段と、前記データ判定・選択手段から出力された位置に基づいて前記移動手段の移動量を算出し、指令する位置指令手段とからなる付記項38の体腔内観察システム。
(付記項54) 前記視野変換手段は前記拡大撮像手段に設けられている結像レンズを移動させる移動手段と、前記データ判定・選択手段から出力された位置に基づいて前記移動手段の移動量を算出し、指令する位置指令手段とからなる付記項38の体腔内観察システム。
(付記項55) 前記移動手段はXYステージと、XYステージ駆動用モーターとからなり、前記位置指令手段は前記動作入力手段からの入力がある間、あらかじめ設定された画像上位置に前記データ判定・選択手段から出力された位置を一致させるような指令位置を算出する演算部を有する付記項53,54の体腔内観察システム。
(付記項56) 前記動作入力手段はフットスイッチである付記項38の体腔内観察システム。
(付記項57) 前記動作入力手段はハンドスイッチである付記項38の体腔内観察システム。
(付記項58) 前記体腔内観察手段は体腔内に挿入される内視鏡と、前記内視鏡を保持する保持手段と、前記内視鏡により伝送された体腔内像を結像する、結像レンズと撮像素子からなる撮像手段とからなる付記項37の体腔内観察システム。
(付記項59) 前記保持手段は電動マニピュレータである付記項53の体腔内観察システム。
(付記項60) 前記撮像素子は単板モザイクフィルタCCDである付記項58の体腔内観察システム。
(付記項61) 前記撮像素子は3板式CCDである付記項58の体腔内観察システム。
(付記項62) 前記目標識別手段は体腔内に挿入される処置具先端に設けられた色材であり、前記第1の位置検出手段は、前記撮像手段により得られた画像から前記色材の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である請求項53の体腔内観察システム。
(付記項63) 前記目標識別手段は前記処置具の挿入部複数箇所に設けられた色材であり、前記第1の位置検出手段は、前記撮像手段により得られた画像から前記色材の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である付記項58の体腔内観察システム。
(付記項64) 前記目標識別手段は前記処置具先端に設けられた輪郭強調用構造体であり、前記第1の位置検出手段は、前記撮像手段により得られた画像から前記輪郭強調構造体の輪郭を抽出し、その抽出部分の位置を検出する輪郭抽出画像処理装置である付記項58の体腔内観察システム。
(付記項65) 前記第2の位置検出手段は磁気センサである付記項58の体腔内観察システム。
(付記項66) 前記第2の位置検出手段は超音波センサである付記項58の体腔内観察システム。
(付記項67) 前記第2の位置検出手段は赤外線センサである付記項58の体腔内観察システム。
(付記項68) 前記第2の位置検出手段は加速度センサとジャイロである付記項58の体腔内観察システム。
(付記項69) 前記視野変換手段は、前記動作入力手段からの入力がある間、あらかじめ設定された画像上位置に前記データ判定・選択手段から出力された位置を一致させるような移動量を算出し、前記電動マニピュレータに位置指令を行う付記項58の体腔内観察システム。
(付記項70) 前記動作入力手段はフットスイッチである付記項58の体腔内観察システム。
(付記項71) 前記動作入力手段はハンドスイッチである付記項58の体腔内観察システム。
(付記項72) 体腔内の関心領域を観察する体腔内観察手段と、関心領域位置を検出する位置検出手段と、前記位置検出手段で検出した位置に基づいて前記体腔内観察手段で得られた拡大観察画像の観察視野を変化させる視野変換手段と、前記視野変換手段を動作させる動作入力手段とからなる体腔内観察システム。
(付記項73) 前記体腔内観察手段は体腔内に挿入される内視鏡と、前記内視鏡を保持する保持手段と、体腔内の拡大像と広角像を観察するために、前記内視鏡により伝送された体腔内像を2つに分配する光路分配手段と、分配された一方の像を撮像する広角撮像手段と、分配された他方の像を拡大して撮像する拡大撮像手段とからなる撮像手段とからなる付記項72の体腔内観察システム。
(付記項74) 前記保持手段は手動マニピュレータである付記項73の体腔内観察システム。
(付記項75) 前記光路分配手段はハーフミラーである付記項73の体腔内観察システム。
(付記項76) 前記光路分配手段はビームスプリッタである付記項73の体腔内観察システム。
(付記項77) 前記広角撮像手段は結像レンズと、撮像素子とからなる付記項73の体腔内観察システム。
(付記項78) 前記拡大撮像手段はズームレンズと、結像レンズと、撮像素子とからなる付記項73の体腔内観察システム。
(付記項79) 前記体腔内観察手段は体腔内に挿入される内視鏡と、前記内視鏡を保持する保持手段と、前記内視鏡により伝送された体腔内像を結像する、結像レンズと撮像素子とからなる撮像手段とからなる付記項72の体腔内観察システム。
(付記項80) 前記保持手段は電動マニピュレータである付記項79の体腔内観察システム。
(付記項81) 前記撮像素子は単板モザイクフィルタCCDである付記項77,78,79の体腔内観察システム。
(付記項82) 前記撮像素子は3板式CCDである付記項77,78,79の体腔内観察システム。
(付記項83) 前記位置検出手段は術者の視線を検出する視線検出手段である付記項73,79の体腔内観察システム。
(付記項84) 前記視線検出手段は術者の眼球を撮像するCCDカメラと、CCDカメラ出力画像から視線を検出する画像処理装置とからなる付記項83の体腔内観察システム。
(付記項85) 前記視線検出手段は術者の眼球を撮像するPSDと、PSD出力信号から視線を検出する信号処理装置とからなる付記項83の体腔内観察システム。
(付記項86) 前記視野変換手段は前記拡大撮像手段に設けられている撮像素子を移動させる移動手段と、前記視線検出手段で検出した関心領域位置に基づいて前記移動手段の移動量を算出し、指令する位置指令手段とからなる付記項73の体腔内観察システム。
(付記項87) 前記視野変換手段は前記拡大撮像手段に設けられている結像レンズを移動させる移動手段と、前記視線検出手段で検出した関心領域位置に基づいて前記移動手段の移動量を算出し、指令する位置指令手段とからなる付記項73の体腔内観察システム。
(付記項88) 前記移動手段はXYステージと、XYステージ駆動用モーターとからなり、前記位置指令手段は前記動作入力手段からの入力がある間、あらかじめ設定された画像上位置に前記視線検出手段で検出した関心領域部分を位置させるような指令位置を算出する演算部を有する付記項86,87の体腔内観察システム。
(付記項89) 前記視野変換手段は、前記動作入力手段からの入力がある間、あらかじめ設定された画像上位置に前記視線検出手段で検出した関心領域部分を位置させるような移動量を算出し、前記保持手段に位置指令を行う位置指令手段からなる付記項79の体腔内観察システム。
(付記項90) 前記動作入力手段はフットスイッチである付記項73,79の体腔内観察システム。
(付記項91) 前記動作入力手段はハンドスイッチである付記項73,79の体腔内観察システム。
(付記項92) 前記体腔内観察手段は体腔内に挿入される内視鏡と、前記内視鏡を保持する保持手段と、前記内視鏡により伝送された体腔内像を2つに分配する光路分配手段と、分配された一方の像を撮像する第1の撮像系と、分配された他方の像を撮像する第2の撮像系とからなる撮像手段とからなる付記項72の体腔内観察システム。
(付記項93) 前記保持手段は手動マニピュレータである付記項92の体腔内観察システム。
(付記項94) 前記光路分配手段はハーフミラーである付記項92の体腔内観察システム。
(付記項95) 前記光路分配手段はビームスプリッタである付記項92の体腔内観察システム。
(付記項96) 前記第1の撮像系はレーザー光透過フィルタと、結像レンズと、撮像素子とからなる付記項92の体腔内観察システム。
(付記項97) 前記第2の撮像系は結像レンズと、撮像素子とからなる付記項92の体腔内観察システム。
(付記項98) 前記撮像素子はCCDである付記項96の体腔内観察システム。
(付記項99) 前記撮像素子はPSDである付記項96の体腔内観察システム。
(付記項100) 前記撮像素子はCCDである付記項97の体腔内観察システム。
(付記項101) 前記位置検出手段は前記体腔内観察手段を体腔内に挿通するトラカールに設けられたレーザー光照射手段と、前記第1の撮像系で得られた信号から前記レーザー光照射手段から発せられたレーザー光を検出し、その重心位置を算出する重心位置算出手段とからなる付記項92の体腔内観察システム。
(付記項102) 前記視野変換手段は前記第2の撮像系に設けられている結像レンズを移動させる移動手段と、前記位置検出手段で検出した関心領域位置に基づいて前記移動手段の移動量を算出し、指令する位置指令手段とからなる付記項92の体腔内観察システム。
(付記項103) 前記移動手段はXYステージと、XYステージ駆動用モーターとからなり、前記位置指令手段は前記動作入力手段からの入力がある間、あらかじめ設定された画像上位置に前記位置検出手段で検出した関心領域部分を位置させるような指令位置を算出する演算部を有する付記項102の体腔内観察システム。
(付記項104) 前記動作入力手段はフットスイッチである付記項92の体腔内観察システム。
(付記項105) 前記動作入力手段はハンドスイッチである付記項92の体腔内観察システム。
(付記項106) 挿入部先端の湾曲部と、前記湾曲部を湾曲させる湾曲駆動部とを有する内視鏡と、体腔内に挿入させる目標識別手段と、前記内視鏡で得られた観察画像から前記目標識別手段の位置を検出する位置検出手段と、前記位置検出手段で検出した位置に基づいて前記内視鏡で得られた観察画像の観察視野を変化させる視野変換手段と、前記視野変換手段を動作させる動作入力手段とからなる体腔内観察システム。
(付記項106の従来技術) 特開平6−80896号公報。
(付記項106の技術課題) 電動マニピュレータに保持され体腔内観察を行う内視鏡は硬性であり、体腔内側壁部や臓器の側面、裏面に観察・処置対象がある場合に視野変換を行うと、拘束点である内視鏡刺入点の影響で内視鏡可動範囲に制限があるため、観察・処置対象が十分観察できないという問題があった。
(付記項106の目的) 体腔内側壁部や、臓器の側面、裏面に観察・処置対象がある場合に視野変換を行った場合でも、その部位が良好に観察できる体腔内観察システムの提供。
(付記項106の作用) 体腔内側壁部や臓器の側面、裏面に観察・処置対象がある場合でも、視野変換によりその部位の観察が良好に行える作用を有する。
(付記項107) 前記内視鏡は手動マニピュレータによって保持され、前記視野変換手段は前記湾曲駆動部を制御する湾曲制御部からなる付記項106の体腔内観察システム。
(付記項108) 前記内視鏡は電動マニピュレータによって保持され、前記視野変換手段は前記湾曲駆動部を制御する湾曲制御部と、前記電動マニピュレータを制御するマニピュレータ制御部とからなる付記項106の体腔内観察システム。
(付記項109) 前記湾曲部は湾曲コマで構成され、前記湾曲駆動部はアングルワイヤと、アングルワイヤを牽引するモーターとからなる付記項107、108の体腔内観察システム。
(付記項110) 前記湾曲部は湾曲コマで構成され、前記湾曲駆動部は形状記憶合金である付記項107、108の体腔内観察システム。
(付記項111) 前記目標識別手段は前記処置具の少なくとも1箇所に設けられた色材であり、前記位置検出手段は前記色材の色を抽出し、その抽出部分の重心位置を検出する色抽出画像処理装置である付記項107、108の体腔内観察システム。
(付記項112) 前記目標識別手段は前記処置具先端に設けられた輪郭強調用構造体であり、前記位置検出手段は前記輪郭強調構造体の輪郭を抽出し、その抽出部分の位置を検出する輪郭抽出画像処理装置である付記項107、108の体腔内観察システム。
(付記項113) 前記湾曲制御部は前記位置検出手段で検出した位置に基づいて湾曲駆動部制御信号を算出し、前記湾曲駆動部に指令する制御信号指令手段とからなる付記項107の体腔内観察システム。
(付記項114) 前記湾曲制御部は前記位置検出手段で検出した位置に基づいて湾曲駆動部制御信号を算出し、前記湾曲駆動部に指令する制御信号指令手段からなり、前記マニピュレータ制御部は前記位置検出手段の検出範囲から前記目標識別手段が外れた場合に前記電動マニピュレータの移動量を算出し、指令するマニピュレータ位置指令手段からなる付記項108の体腔内観察システム。
(付記項115) 前記動作入力手段はフットスイッチである付記項107、108の体腔内観察システム。
(付記項116) 前記動作入力手段はハンドスイッチである付記項107、108の体腔内観察システム。
(付記項117) 体腔内の関心領域を観察する体腔内観察手段と、前記体腔内観察手段で得られた画像の観察視野を移動させる視野変換手段と、前記体腔内観察手段で得られた画像の観察視野を変化させる視野範囲可変手段と、前記視野変換手段を動作させる視野変換動作入力手段と、体腔内に挿入される処置具と、前記処置具の挿入部に波長の異なる色を少なくとも2箇所に設けられた色呈示手段と、前記体腔内観察手段から得られた画像から前記色呈示手段の位置を求める位置検出手段と、前記位置検出手段で検出した位置に基づいて前記移動手段の移動量を算出し、指令する移動位置指令手段とからなる体腔内観察システム。
(付記項118) 前記色呈示手段は少なくとも2色の色材であり、前記位置検出手段は前記色材の色を抽出し、その抽出部分の重心位置を検出し、少なくとも2色の色材の重心位置より処置具の先端付近の位置を求める位置検出手段とからなる付記項117の体腔内観察システム。
(付記項119) 前記色呈示手段は少なくとも2色の発光体であり、前記位置検出手段は前記発光体の色を抽出し、その抽出部分の重心位置を検出し、少なくとも2色の発光体の重心位置より処置具の先端付近の位置を求める位置検出手段とからなる付記項117の体腔内観察システム。
(付記項117〜119の目的) 処置具の先端が体腔内で見えなくなった場合でも確実に処置具先端位置を検出し、その位置をもとに視野範囲の変更を行う体腔内観察システムの提供。
(付記項117〜119の作用) 処置具の先端が体腔内で見えなくなった場合でも処置具先端位置を検出し、その位置をもとに視野範囲の変更が行える。
1…硬性鏡(体腔内観察手段)、30…視野変換制御ユニット(第1の位置検出手段)、61…電動マニピュレータ(動作入力手段)、231…視野変換制御ユニット(視野変換手段)、236…鉗子先端位置算出部(第2の位置検出手段)、237…マニピュレータ位置指令部(データ判定・選択手段)、238a,238b…色マーカー(目標識別手段)。