JP4875784B2

JP4875784B2 - 医療装置

Info

Publication number: JP4875784B2
Application number: JP2011513782A
Authority: JP
Inventors: 方史吉江; 篤彦櫛田
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2009-10-09
Filing date: 2010-09-29
Publication date: 2012-02-15
Anticipated expiration: 2030-09-29
Also published as: EP2486846A1; CN102469927A; US20110245661A1; WO2011043234A1; JPWO2011043234A1; EP2486846A4

Description

【技術分野】
【０００１】
本発明は、挿入部と、挿入部の挿通路に挿通される処置具とを備える医療装置に関する。
【背景技術】
【０００２】
一般に、内視鏡を体腔内に挿入し、内視鏡又は内視鏡とは別体のチューブ体の処置挿通路を介して内視鏡又はチューブ体の先端からマニピュレータを突出させる内視鏡装置が用いられている。内視鏡装置では、内視鏡の観察下、マニピュレータが体腔内で処置を行う。
【０００３】
処置時においてマニピュレータを湾曲作動、把持作動する際に正確な操作を行うため、術者はマニピュレータの先端部の軸回り方向についてのロール量を認識することが重要である。従来の内視鏡装置では、マニピュレータの基端部に検出部を設け、この検出部でマニピュレータの基端部の軸回り方向についてのロール量を検出している。そして、マニピュレータの基端部でのロール量を、マニピュレータの先端部での軸回り方向についてのロール量として決定している。
【０００４】
特許文献１には、内視鏡の鉗子チャンネルに挿通される把持鉗子を備える内視鏡装置が開示されている。この内視鏡装置では、鉗子チャンネルの基端部に、把持鉗子の進退に応じて回転するローラが設けられている。ローラの回転角度が検出部により検出され、検出された回転角度に基づき、把持鉗子の長手方向への進退量が算出される。
【０００５】
特許文献２には、処置具であるエンドフェクタを支持する硬質なマニピュレータと、マニピュレータを支持する硬質なリンケージと、画像撮影システムとを備えるロボット外科用システムが開示されている。リンケージは複数のアーム部を関節部で連結して構成され、サーボ機構によりリンケージの関節部が作動する。また、このロボット外科用システムは、画像撮影システムの撮像素子を原点とするカメラ座標系と、マニピュレータの先端を原点とするマニピュレータ座標系とを有する。マニピュレータ座標系は、リンケージの関節部の作動により変化する。この際、リンケージに接続されるセンサシステムにより検出される関節部の動作量に基づいて、マニピュレータの軸回り方向についてのロール量が算出される。そして、マニピュレータのロール量に基づいて、カメラ座標系とマニピュレータ座標系との関係が求められる。処置を行う際、術者はカメラ座標系を基準としてコントローラから指示を入力する。しかし、マニピュレータはマニピュレータ座標系に基づいて操作されるため、カメラ座標系とマニピュレータ座標系との関係を考慮する必要がある。術者がカメラ座標系とマニピュレータ座標系との関係を考慮しないでカメラ座標系を基準として操作を行った場合、術者が意図する方向と異なる方向にマニピュレータが移動することがある。そこで、このロボット外科用システムでは、カメラ座標系とマニピュレータ座標との関係に基づいて、サーボ機構がコントローラからのカメラ座標系を基準とした指示入力をマニピュレータ座標系に基づく指示に変換する。この変換により術者は、カメラ座標系とマニピュレータ座標系との関係を考慮することなく、意図した方向にマニピュレータを移動することが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】
特開２００８−２１２３４９号公報
【特許文献２】
米国特許第６４４１５７７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、実際のマニピュレータは、長尺で可撓性を有するマニピュレータ挿入部を有する。また、マニピュレータを処置具挿通路に挿通した状態では、マニピュレータと処置具挿通路の内壁との間に摩擦が存在する。このため、マニピュレータの基端部でのトルクが、マニピュレータの先端部に十分に伝達されない場合がある。この場合、マニピュレータの基端部と先端部とでは、軸回り方向についてのロール量が異なる。したがって、従来の内視鏡装置の構成では、術者はマニピュレータの先端部でのロール量を正確に認識できない。
【０００８】
マニピュレータの先端部にロール量を検出する検出部を配置することも考えられるが、マニピュレータの先端部の構成が複雑化する。このため、マニピュレータの径が大きくなってしまう。
【０００９】
上記特許文献１では、把持鉗子の長手方向への進退量を算出する構成は示されている。しかし、把持鉗子の先端部の軸回り方向のロール量を算出する構成は示されていない。
【００１０】
上記特許文献２では、リンケージのアーム部及びマニピュレータは硬質である。このため、リンケージの関節部の作動によりマニピュレータがロールした状態でも、マニピュレータの基端部と先端部とではロール量は同一である。したがって、リンケージの関節部の動作量を検出することで、マニピュレータの先端部のロール量が算出される。しかし、軟性内視鏡タイプの内視鏡装置で用いられるマニピュレータでは、基端部と先端部とのロール量が異なる。このため、検出されるマニピュレータの基端部でのロール量から、マニピュレータの先端部のロール量を正確には算出できない。したがって、軟性内視鏡タイプの内視鏡装置に上記特許文献２の指示入力を変換する構成を適用しても、カメラ座標系とマニピュレータ座標系との関係が求められず、コントローラから指示入力の変換が不可能となる。
【００１１】
本発明は上記課題に着目してなされたものであり、その目的とするところは、マニピュレータの先端部に検出部を設けることなく、マニピュレータの先端部のロール量を正確に算出可能な医療装置を提供することにある。
【００１２】
上記目的を達成するため、本発明のある態様の医療装置は、長手方向に沿って延設される挿入部と、前記挿入部の先端部において先端が開口する挿通路を前記挿入部に前記長手方向に沿って規定する通路規定部と、前記挿通路の前記先端の前記開口から先端方向に突出した状態で設けられる処置部を備え、前記挿通路に挿通される処置具と、前記挿入部とは別体に前記長手方向に沿って設けられる挿入部材、又は、前記挿入部に設けられ、被写体及び前記処置具の前記処置部の撮像を行う撮像素子と、前記処置部を湾曲動作させる湾曲動作駆動部と、前記処置具を軸回り方向にロール動作させるロール動作駆動部と、前記処置部を所望の位置まで移動させる指示が入力される指示入力ユニットと、前記処置具の前記処置部で、かつ、前記撮像素子の撮像範囲内に設けられ、前記処置具の前記挿入部に対するロール動作により軸回り方向についての位置が変化するマーキング部と、前記撮像素子での観察画像に基づいて、前記挿入部の前記先端部に対する前記処置部の位置及び姿勢を検出する位置姿勢検出部であって、前記観察画像から前記マーキング部を検出することにより前記処置部の前記位置及び前記姿勢を検出する位置検出部と、検出された前記処置部の前記位置及び前記姿勢、及び、前記指示入力ユニットでの前記入力に基づいて、前記所望の位置へ前記処置部が移動する際の前記湾曲動作駆動部及び前記ロール動作駆動部の駆動情報を算出する駆動情報算出部と、算出された前記駆動情報に基づいて、前記湾曲操作駆動部及び前記ロール動作駆動部を駆動制御する制御ユニットと、を備える。
【００１５】
本発明によると、マニピュレータの先端部に検出部を設けることなく、マニピュレータの先端部のロール量を正確に算出可能な医療装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る内視鏡装置が用いられるシステムを示す斜視図。
【図２Ａ】第１の実施形態に係る内視鏡装置を示すブロック図。
【図２Ｂ】第１の実施形態に係る内視鏡装置のモータユニットの構成を示すブロック図。
【図３】第１の実施形態に係る内視鏡装置の内視鏡及びマニピュレータの先端部の構成を示す斜視図。
【図４】第１の実施形態に係る内視鏡装置のマニピュレータの先端部の構成を示す斜視図。
【図５】第１の実施形態に係る内視鏡装置のマニピュレータの先端部の構成を示す模式図。
【図６】第１の実施形態に係るマニピュレータの第３の湾曲駒の構成を示す断面図。
【図７】第１の実施形態に係る内視鏡装置の計算ユニットの構成を示すブロック図。
【図８】第１の実施形態に係る内視鏡装置の、内視鏡での観察画像からマニピュレータの先端部のロール量を算出する手法を示すフローチャート。
【図９Ａ】第１の実施形態に係る内視鏡装置のある特定の状態での観察画像を示す概略図。
【図９Ｂ】図９Ａの状態からマニピュレータを内視鏡に対して略９０°だけロールさせ、マニピュレータ湾曲部の第１の関節部を湾曲させた状態での観察画像を示す概略図。
【図１０】本発明の第２の実施形態に係る内視鏡装置の計算ユニットの構成を示すブロック図。
【図１１Ａ】第２の実施形態に係る内視鏡装置の非ロール状態での観察画像を示す概略図。
【図１１Ｂ】図１１Ａの非ロール状態からマニピュレータの先端部を内視鏡に対して軸回り方向に略９０°ロールさせた状態での観察画像を示す概略図。
【図１２】第２の実施形態に係る内視鏡装置の入力指示変換部により術者の入力指示を変換する手法を示すフローチャート。
【図１３】本発明の変形例に係るマニピュレータの第３の湾曲駒の構成を示す断面図。
【図１４】本発明の別の変形例に係る内視鏡装置の内視鏡及びマニピュレータの先端部の構成を示す斜視図。
【発明を実施するための形態】
【００１７】
（第１の実施形態）
本発明の第１の実施形態について図１乃至図９Ｂを参照して説明する。
【００１８】
図１は内視鏡装置が用いられるシステムを示す図であり、図２Ａは内視鏡装置を示す図である。図１に示すように、内視鏡装置の能動内視鏡１０（以下、単に内視鏡１０と称する）は、体腔内に挿入される内視鏡挿入部１２を備える。内視鏡挿入部１２には、最も先端方向側の先端硬性部１４と、湾曲作動される内視鏡湾曲部１６と、長尺で可撓性を有する内視鏡可撓管部１８とが、先端方向側から順に配設されている。内視鏡挿入部１２の基端方向側には、内視鏡操作部２０が連結されている。内視鏡操作部２０は、可動式内視鏡スタンド２２に着脱自在に装着される。可動式内視鏡スタンド２２によって、内視鏡操作部２０を任意の位置に移動させて固定することが可能となっている。
【００１９】
図１に示すように、内視鏡装置は、光源ユニット２４を備える。光源ユニット２４には、ライトガイド２６が接続されている。ライトガイド２６は、内視鏡操作部２０、内視鏡可撓管部１８及び内視鏡湾曲部１６の内部を通って、先端硬性部１４まで延設されている。光源ユニット２４から出射した光は、ライトガイド２６により先端硬性部１４まで導光され、先端硬性部１４の先端面に設けられる照明窓２８（図３参照）から被写体を照射する。
【００２０】
図２Ａに示すように、内視鏡挿入部１２の先端硬性部１４には、被写体の撮像を行う撮像素子３０が内蔵されている。撮像素子３０には、撮像ケーブル３２が接続されている。撮像ケーブル３２は、内視鏡湾曲部１６、内視鏡可撓管部１８及び内視鏡操作部２０の内部を通って、内視鏡１０の外部に設けられる画像処理部である画像プロセッサ３４に接続されている。画像プロセッサ３４は、表示部であるモニタ３６及び計算ユニット３８に接続されている。撮像素子３０により観察窓３７（図３参照）を通して撮像された観察画像は、画像信号に変換され、画像プロセッサ３４へ出力される。そして、画像プロセッサ３４で画像処理を行い、モニタ３６に観察画像を表示する。また、画像プロセッサ３４は画像信号として入力された画像データを、計算ユニット３８に出力する。
【００２１】
図２Ａに示すように、内視鏡１０の内視鏡操作部２０には、処置具挿入口４０が配設されている。処置具挿入口４０から処置具挿通路である処置具チャンネル４２が、先端硬性部１４まで延設されている。内視鏡１０の処置具チャンネル４２には、処置具であるマニピュレータ５０が長手方向に進退自在に挿通される。マニピュレータ５０は、可動式内視鏡スタンド２２（図１参照）に配設されるモータユニット５８に接続されている。モータユニット５８は、モータユニット５８を駆動制御する制御ユニット４４に接続されている。制御ユニット４４は計算ユニット３８に接続され、計算ユニット３８は指示入力ユニット４６に接続されている。制御ユニット４４は、指示入力ユニット４６での指示入力及び計算ユニット３８での計算結果に基づいて、モータユニット５８の駆動制御を行っている。
【００２２】
図２Ａに示すように、マニピュレータ５０には、開閉作動される把持部５２と、湾曲作動されるマニピュレータ湾曲部５４と、長尺で可撓性を有するマニピュレータ挿入部５６とが、先端方向側から順に配設されている。マニピュレータ挿入部５６は、モータユニット５８まで基端方向側に延設されている。図２Ｂに示すように、モータユニット５８は、マニピュレータ５０の進退動作の駆動源であるモータ等の進退動作駆動部５８ａと、マニピュレータ５０のロール動作の駆動源であるモータ等のロール動作駆動部５８ｂとを備える。モータユニット５８の進退動作駆動部５８ａを駆動することにより、マニピュレータ挿入部５６が長手方向に進退動作を行う（図３の矢印Ａ）。また、モータユニット５８のロール動作駆動部５８ｂを駆動することにより、マニピュレータ挿入部５６がマニピュレータ５０の軸回り方向にロール動作を行う（図３の矢印Ｂ）。以上のようにして、マニピュレータ５０の進退動作、ロール動作が実現される。また、モータユニット５８は、マニピュレータ５０の長手方向への進退動作量を検出するエンコーダ（図示しない）を備える。
【００２３】
図４及び図５は、マニピュレータ５０の先端部の構成を示す図である。図４及び図５に示すように、マニピュレータ湾曲部５４は、３つの湾曲駒６０Ａ〜６０Ｃを備える。３つの湾曲駒６０Ａ〜６０Ｃの中で最も基端方向側に配置される第１の湾曲駒６０Ａは、第１の関節部６２Ａを介してマニピュレータ挿入部５６に略同軸に連結されている。第１の湾曲駒６０Ａの先端方向側には、第２の湾曲駒６０Ｂが第２の関節部６２Ｂを介して略同軸に連結されている。同様に、第２の湾曲駒６０Ｂの先端方向側には、第３の湾曲駒６０Ｃが第３の関節部６２Ｃを介して略同軸に連結され、第３の湾曲駒６０Ｃの先端方向側には、把持部５２が第４の関節部６２Ｄを介して略同軸に連結されている。第１の湾曲駒６０Ａは、マニピュレータ挿入部５６に対して第１の関節部６２Ａの回動軸を中心に回動自在となっている。第１の湾曲駒６０Ａ及び第２の湾曲駒６０Ｂは、第２の関節部６２Ｂの回動軸を中心に互いに回動自在となっている。同様に、第２の湾曲駒６０Ｂ及び第３の湾曲駒６０Ｃは、第３の関節部６２Ｃの回動軸を中心に互いに回動自在であり、第３の湾曲駒６０Ｃ及び把持部５２は、第４の関節部６２Ｄの回動軸を中心に互いに回動自在となっている。また、把持部５２では、一対のジョー６４が第４の関節部６２Ｄの回動軸を支点として開閉自在となっている。第１の関節部６２Ａ及び第３の関節部６２Ｃの回動軸は、マニピュレータ５０の軸に略直交している。第２の関節部６２Ｂ及び第４の関節部６２Ｄの回動軸は、マニピュレータ５０の軸に略直交し、かつ、第１の関節部６２Ａ及び第３の関節部６２Ｃの回動軸に略直交している。第１の関節部６２Ａ及び第３の関節部６２Ｃの回動軸が第２の関節部６２Ｂ及び第４の関節部６２Ｄの回動軸に対して略直交することにより、第１の関節部６２Ａ及び第３の関節部６２Ｃの湾曲方向が、第２の関節部６２Ｂ及び第４の関節部６２Ｄの湾曲方向と略直交している。このため、マニピュレータ湾曲部５４は２自由度の湾曲部となっている。
【００２４】
図４に示すように、把持部５２には複数の操作ワイヤ６６が接続されている。それぞれの操作ワイヤ６６は、把持部５２の開閉作動、又は、マニピュレータ湾曲部５４の湾曲作動に用いられる。それぞれの操作ワイヤ６６は、マニピュレータ挿入部５６の内部を通って、モータユニット５８に接続されている。図２Ｂに示すように、モータユニット５８は、把持部５２の開閉動作の駆動源である開閉動作駆動部５８ｃと、マニピュレータ湾曲部５４の湾曲動作の駆動源である湾曲動作駆動部５８ｄとを備える。開閉動作駆動部５８ｃは、複数のモータ、プーリ等から構成されている。開閉動作駆動部５８ｃを駆動することにより、把持部５２の開閉作動用の操作ワイヤ６６が長手方向に移動し、把持部５２のジョー６４が開閉動作を行う。湾曲動作駆動部５８ｄは、複数のモータ、プーリ等から構成されている。湾曲動作駆動部５８ｄを駆動することにより、湾曲作動用の操作ワイヤ６６が長手方向に移動し、第１〜第４の関節部６２Ａ〜６２Ｄのそれぞれが回動軸を中心に回動動作を行う。これにより、マニピュレータ湾曲部５４が湾曲動作を行う。また、モータユニット５８は、それぞれの操作ワイヤ６６の長手方向への移動量を検出するエンコーダ（図示しない）を備える。エンコーダでの検出結果は、計算ユニット３８に出力される。計算ユニット３８では、エンコーダでの検出結果に基づいて把持部５２の開閉動作量及び第１〜第４の関節部６２Ａ〜６２Ｄのそれぞれの回動動作量が算出される。
【００２５】
図６は、第３の湾曲駒６０Ｃの構成を示す図である。図４及び図６に示すように、マニピュレータ湾曲部５４の第３の湾曲駒６０Ｃの外周面には、長手方向に沿って延設される（本実施形態では４つの）帯形状のマーキング部７０Ａ〜７０Ｄが設けられている。それぞれのマーキング部７０Ａ〜７０Ｄには、マニピュレータ５０とは異なる色が付されている。それぞれのマーキング部７０Ａ〜７０Ｄでは、他のマーキング部７０Ａ〜７０Ｄとは付される色が異なっている。例えば、第１のマーキング部７０Ａには青色、第２のマーキング部７０Ｂには黄色、第３のマーキング部７０Ｃには緑色、第４のマーキング部７０Ｄには黒色が付されている。すなわち、マーキング部７０Ａ〜７０Ｄは、長手方向に延設され、それぞれに互いに異なる色が付された複数の帯形状部である。それぞれのマーキング部７０Ａ〜７０Ｄは、マニピュレータ５０の軸回り方向について互いに離間した状態で、かつ、マニピュレータ５０の軸回り方向に互いに略９０°離れて配置されている。それぞれのマーキング部７０Ａ〜７０Ｄのマニピュレータ５０の軸回り方向についての位置は、マニピュレータ５０のロール動作に対応して変化する。
【００２６】
図７は、計算ユニット３８の構成を示す図である。図７に示すように、計算ユニット３８は、画像プロセッサ３４に接続される歪除去部８０と、ハフ（Hough）変換部８２と、記録部であるメモリ８４と、ロール情報算出部８６とを備える。歪除去部８０は、ハフ変換部８２及びメモリ８４に接続されている。ハフ変換部８２及びメモリ８４は、ロール情報算出部８６に接続されている。
【００２７】
次に、内視鏡１０での観察画像からマニピュレータ５０の先端部のロール量を算出する手法について、図８乃至図９Ｂを参照して説明する。図８に示すように、動作開始時には、歪除去部８０に画像プロセッサ３４から観察画像の画像信号が入力される（ステップＳ１０１）。メモリ８４には、観察画像の歪情報が記録されている。歪除去部８０は、メモリ８４からの歪情報に基づいて、観察画像から歪を除去する（ステップＳ１０２）。
【００２８】
歪が除去された観察画像は、ハフ変換部８２に入力される（ステップＳ１０３）。ハフ変換部８２は、歪を除去した観察画像に対しハフ変換を行う（ステップＳ１０４）。ハフ変換とは、観察画像に存在するマーキング部７０Ａ〜７０Ｄの観察画像内での位置及び姿勢を抽出する手法である。すなわち、ハフ変換により、特定の色のマーキングが施された帯形状のマーキング部７０Ａ〜７０Ｄが、観察画像上でどこに位置し、どのような姿勢で配置されているかを認識する。ハフ変換の具体的な手法については参照文献１（Duda, R. O. and P. E. Hart, “Use of the Hough Transformation to Detect Lines and Curves in Pictures,” Comm. ACM, １９７２年１月, Vol. 15, pp. 11-pp.15 ）に記載されているため、詳細な説明は省略する。
【００２９】
それぞれのマーキング部７０Ａ〜７０Ｄは、マニピュレータ５０の軸回り方向について互いに離間した状態で、かつ、マニピュレータ５０の軸回り方向に互いに略９０°離れて配置されている。図９Ａはある特定の状態でモニタ３６上に表示される観察画像であり、図９Ｂは図９Ａの状態からマニピュレータ５０を内視鏡１０に対して略９０°だけロールさせ、マニピュレータ湾曲部５４の第１の関節部６２Ａを湾曲させた状態での観察画像である。上述のようにマーキング部７０Ａ〜７０Ｄが配置されるため、図９Ａ及び図９Ｂに示すように、いずれの状態においても、少なくとも１つのマーキング部７０Ａ〜７０Ｄのマニピュレータ５０の軸回り方向についての寸法が、観察画面上で認識可能となっている。すなわち、撮像素子３０の画角、撮像素子３０とマニピュレータ５０との位置関係、マニピュレータ５０の湾曲、ロール動作量等に関係なく、少なくとも１つのマーキング部７０Ａ〜７０Ｄの帯形状が、観察画面上で認識可能となっている。このため、ハフ変換により、少なくとも１つのマーキング部７０Ａ〜７０Ｄの観察画像上での位置及び姿勢が認識される（ステップＳ１０５）。すなわち、ハフ変換部８２が、少なくとも１つのマーキング部７０Ａ〜７０Ｄの観察画像上での位置及び姿勢を抽出するマーキング抽出部となっている。ハフ変換により抽出された少なくとも１つのマーキング部７０Ａ〜７０Ｄの色及び観察画面上での位置及び姿勢の情報は、ロール情報算出部８６に入力される（ステップＳ１０６）。
【００３０】
メモリ８４には、マニピュレータ５０でのマーキング部７０Ａ〜７０Ｄの位置、寸法、色情報及び撮像素子３０の画角情報等の既知情報が、記録されている。ロール情報算出部８６は、ハフ変換部８２から入力される情報及びメモリ８４に記録される既知情報に基づいて、観察画面上でのマニピュレータ５０の第３の湾曲駒６０Ｃの位置情報及び姿勢情報を算出する（ステップＳ１０７）。そして、算出された第３の湾曲駒６０Ｃの位置情報及び姿勢情報に基づいて、マニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量を算出する（ステップＳ１０８）。
【００３１】
次に、本実施形態の内視鏡装置の作用について説明する。術者が内視鏡装置を用いて処置を行う際、内視鏡１０の処置具チャンネル４２にマニピュレータ５０を挿通する。そして、モータユニット５８によってマニピュレータ５０が進退作動、ロール作動、湾曲作動、把持作動することにより、患部の処置を行う。この際、光源ユニット２４からの出射光がライトガイド２６により内視鏡１０の先端硬性部１４まで導光され、先端硬性部１４の照明窓２８から被写体を照射する。そして、先端硬性部１４に設けられる撮像素子３０により観察窓３７を通して被写体を撮像し、画像信号を画像プロセッサ３４へ出力する。出力された画像信号は画像プロセッサ３４で画像処理され、モニタ３６に観察画像が表示される。モニタ３６の観察画像には、患部、マニピュレータ５０の先端部の状態が表示されている。術者は、表示される観察画像を見ながらマニピュレータ５０を操作し、患部の処置を行う。
【００３２】
マニピュレータ５０のマニピュレータ湾曲部５４の第３の湾曲駒６０Ｃには、マーキング部７０Ａ〜７０Ｄが設けられている。観察画像上では、少なくとも１つのマーキング部７０Ａ〜７０Ｄのマニピュレータ５０の軸回り方向についての寸法が、認識可能となっている。また、マニピュレータ５０が内視鏡１０に対して軸回り方向にロールしていない非ロール状態では、それぞれのマーキング部７０Ａ〜７０Ｄの内視鏡１０に対する軸回り方向についての位置が術者に認識されている。したがって、術者は、観察画像上でのマーキング部７０Ａ〜７０Ｄの情報、及び、非ロール状態でのマーキング部７０Ａ〜７０Ｄの位置情報に基づいて、マニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のおおよそのロール量が認識可能となる。
【００３３】
また、画像プロセッサ３４に出力された画像信号は、計算ユニット３８の歪除去部８０に入力される。歪除去部８０は、メモリ８４からの歪情報に基づいて観察画像から歪を除去する。そして、ハフ変換部８２により、歪が除去された観察画像に対してハフ変換を行う。ハフ変換により、上述したように少なくとも１つのマーキング部７０Ａ〜７０Ｄの観察画像上での位置及び姿勢が認識される。そして、ハフ変換により抽出された少なくとも１つのマーキング部７０Ａ〜７０Ｄのマーキングの色及び観察画面上での位置及び姿勢の情報が、ロール情報算出部８６に入力される。ロール情報算出部８６は、ハフ変換部８２から入力される情報及びメモリ８４に記録される既知情報に基づいて、上述したようにマニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量を算出する。以上のようにして、マニピュレータ５０の先端部に検出部を設けることなく、マニピュレータ５０の先端部の軸回り方向についてのロール量を正確に算出することが可能となっている。
【００３４】
そこで上記構成の内視鏡装置では、以下の効果を奏する。すなわち本実施形態の内視鏡装置では、マニピュレータ５０のマニピュレータ湾曲部５４の第３の湾曲駒６０Ｃに、マーキング部７０Ａ〜７０Ｄが設けられている。観察画像上では、少なくとも１つのマーキング部７０Ａ〜７０Ｄのマニピュレータ５０の軸回り方向についての寸法が、認識可能となっている。また、マニピュレータ５０が内視鏡１０に対して軸回り方向にロールしていない非ロール状態では、それぞれのマーキング部７０Ａ〜７０Ｄの内視鏡１０に対する軸回り方向についての位置が術者に認識されている。したがって、術者は、観察画像上でのマーキング部７０Ａ〜７０Ｄの情報、及び、非ロール状態でのマーキング部７０Ａ〜７０Ｄの位置情報に基づいて、マニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のおおよそのロール量を認識することができる。
【００３５】
また、本実施形態の内視鏡装置では、画像プロセッサ３４から画像信号が、計算ユニット３８の歪除去部８０に入力さる。歪除去部８０は、メモリ８４からの歪情報に基づいて観察画像から歪を除去する。そして、ハフ変換部８２により、歪が除去された観察画像に対してハフ変換を行う。ハフ変換により、少なくとも１つのマーキング部７０Ａ〜７０Ｄの観察画像上での位置及び姿勢が認識される。そして、ハフ変換により抽出された少なくとも１つのマーキング部７０Ａ〜７０Ｄのマーキングの色及び観察画面上での位置及び姿勢の情報が、ロール情報算出部８６に入力される。ロール情報算出部８６は、ハフ変換部８２から入力される情報及びメモリ８４に記録される既知情報に基づいて、マニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量を算出する。以上のようにして、マニピュレータ５０の先端部に検出部を設けることなく、マニピュレータ５０の先端部の軸回り方向についてのロール量を正確に算出することができる。
【００３６】
（第２の実施形態）
次に、本発明の第２の実施形態について図１０乃至図１２を参照して説明する。本実施形態では第１の実施形態の構成を次の通り変更したものである。なお、第１の実施形態と同一の部材及び同一の機能を有する部材には適宜に同一の符号を付し、詳しい説明を省略する。
【００３７】
図１０は、本実施形態の計算ユニット９０の構成を示す図である。図１０に示すように、計算ユニット９０は、第１の実施形態の計算ユニット３８と同様に、歪除去部８０と、ハフ変換部８２と、メモリ８４と、ロール情報算出部８６とを備える。ロール情報算出部８６は、計算ユニット９０に設けられる入力指示変換部９２に接続されている。入力指示変換部９２は、制御ユニット４４及び指示入力ユニット４６に接続されている。
【００３８】
以下、入力指示変換部９２について図１１Ａ乃至図１２を参照して詳細に説明する。モニタ３６に表示される観察画像上では、内視鏡１０の先端硬性部１４の撮像素子３３を原点とするカメラ座標系と、マニピュレータ５０の先端の把持部５２を原点とするマニピュレータ座標系とが存在する。カメラ座標系は、撮像素子３３の内視鏡１０の軸回り方向についての回動により、すなわち内視鏡１０をロール作動することにより変化する。一方、マニピュレータ座標系は、マニピュレータ５０をロール作動することにより変化する。したがって、内視鏡１０に対してマニピュレータ５０がロールすることにより、カメラ座標系とマニピュレータ座標系との関係が変化する。
【００３９】
例えば、マニピュレータ５０が内視鏡１０に対して軸回り方向にロールしていない非ロール状態では、図１１Ａに示すような観察画像がモニタ３６に表示される。ここで、観察画像上の上方向をカメラ座標系のＸ方向とすると、カメラ座標系のＸ方向はマニピュレータ座標系のａ方向と略一致する。マニピュレータ座標系のａ方向は、マニピュレータ５０の第３の湾曲駒６０Ｃの中心軸から視て第１のマーキング部７０Ａが配置される方向と略一致する。通常、マニピュレータ５０の操作はマニピュレータ座標系に基づいて行われる。このため、図１１Ａの状態でマニピュレータ５０をカメラ座標系のＸ方向に湾曲するためには、例えば第４の関節部６２Ｄをマニピュレータ座標系のａ方向に湾曲させる指示を指示入力ユニット４６に入力する必要がある。
【００４０】
図１１Ａの非ロール状態からマニピュレータ５０の先端部を内視鏡１０に対して軸回り方向に略９０°ロールさせると、図１１Ｂに示すような観察画像がモニタ３６に表示される。この際、カメラ座標系のＸ方向はマニピュレータ座標系のｂ方向と略一致する。マニピュレータ座標系のｂ方向はａ方向と略直交する方向であり、マニピュレータ５０の第３の湾曲駒６０Ｃの中心軸から視て第４のマーキング部７０Ｄが配置される方向と略一致する。通常、指示入力ユニット４６からの入力及びマニピュレータ５０の操作はマニピュレータ座標系に基づいて行われる。このため、図１１Ｂの状態でマニピュレータ５０をカメラ座標系のＸ方向に湾曲するためには、例えば第４の関節部６２Ｄと略直交する方向に湾曲する第３の関節部６２Ｃをマニピュレータ座標系のｂ方向に湾曲させる指示を指示入力ユニット４６に入力する必要がある。
【００４１】
しかし、観察画像を見ながら処置を行う術者はカメラ座標系が基準となるため、内視鏡１０に対するマニピュレータ５０のロール量を考慮せず指示を行うことがある。すなわち、カメラ座標系とマニピュレータ座標系との関係を考慮せず指示を行うことがある。例えば、図１１Ｂの状態でマニピュレータ５０をカメラ座標系のＸ方向に湾曲する場合を考える。この場合、術者は、内視鏡１０に対するマニピュレータ５０のロール量を考慮せず、第４の関節部６２Ｄをマニピュレータ座標のａ方向に湾曲させる指示を指示入力装置４６に入力することがある。しかし、図１１Ｂの状態では、図１１Ａの非ロール状態からマニピュレータ５０の先端部が内視鏡１０に対して軸回り方向に略９０°ロールしている。このため、マニピュレータ座標のａ方向に湾曲させる指示を入力することにより、マニピュレータ５０はカメラ座標系のＹ方向（Ｘ方向と略直交する方向）に湾曲する。すなわち、術者が意図する方向と異なる方向に、マニピュレータ５０が湾曲する。
【００４２】
そこで、本実施形態の内視鏡装置では、入力指示変換部９２が、ロール情報算出部８６によって算出されるマニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量に基づいて、術者の入力指示の変換を行っている。これにより、術者は、内視鏡１０に対するマニピュレータ５０のロール量を考慮することなく、マニピュレータ５０を操作可能となる。すなわち、カメラ座標系とマニピュレータ座標系との関係を考慮することなく、カメラ座標系に基づいてマニピュレータ５０を操作可能となる。
【００４３】
図１２は、入力指示変換部９２により術者の入力指示を変換する手法を示すフローチャートである。図１２に示すように、入力指示変換部９２には、ロール情報算出部８６からマニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量が入力される（ステップＳ１１１）。入力されたマニピュレータ５０の先端部の内視鏡１０に対するロール量に基づいて、カメラ座標系とマニピュレータ座標系との関係が求められる（ステップＳ１１２）。そして、カメラ座標系をマニピュレータ座標系に変換する変換行列Ｃが算出される（ステップＳ１１３）。ここで、変換行列Ｃは、カメラ座標系とマニピュレータ座標系との関係により変化する。
【００４４】
また、入力指示変換部９２には、指示入力ユニット４６から術者からの指示が入力される（ステップＳ１１４）。この際、術者からの指示はカメラ座標系に基づいて入力される。例えば術者は、マニピュレータ５０の先端部を図１１Ａ及び図１１Ｂのカメラ座標系のＸ方向に湾曲させる指示を指示入力ユニット４６に入力する。
【００４５】
そして、ステップＳ１１３で算出した変換行列Ｃを用いて、術者からの指示の変換を行う。変換行列Ｃにより、カメラ座標系に基づく指示がマニピュレータ座標系に基づく指示に変換される（ステップＳ１１５）。例えば、図１１Ａ及び図１１Ｂのそれぞれの状態で、マニピュレータ５０の先端部をカメラ座標系のＸ方向に湾曲させる指示が指示入力ユニット４６に入力されたとする。この場合、図１１Ａの状態では、マニピュレータ５０の先端部をマニピュレータ座標系のａ方向に湾曲させる指示に変換される。図１１Ｂの状態では、マニピュレータ５０の先端部をマニピュレータ座標系のｂ方向に湾曲させる指示に変換される。
【００４６】
そして、変換された指示及びマニピュレータ５０の第１〜第４の関節部６２Ａ〜６２Ｄの位置情報及び姿勢情報等に基づいて、モータユニット５８のそれぞれの駆動部の駆動量を算出する（ステップＳ１１６）。ここで、第１〜第４の関節部６２Ａ〜６２Ｄの位置情報及び姿勢情報は、モータユニット５８のそれぞれのエンコーダ（図示しない）での検出結果、内視鏡１０に対するマニピュレータ５０の先端部のロール量等に基づいて、計算ユニット９０で算出される。そして、ステップＳ１１６で算出された結果に基づいて、制御ユニット４４にモータユニット５８の制御指示を出力する（ステップＳ１１７）。例えば、図１１Ａ及び図１１Ｂのそれぞれの状態で、マニピュレータ５０の先端部をカメラ座標系のＸ方向に湾曲させるとする。この場合、図１１Ａの状態では、例えば第４の関節部６２Ｄをマニピュレータ座標系のａ方向に湾曲させるようにモータユニット５８が駆動制御される。図１１Ｂの状態では、例えば第４の関節部６２Ｄと略直交する方向に湾曲する第３の関節部６２Ｃをマニピュレータ座標のｂ方向に湾曲させるようにモータユニット５８が駆動制御される。
【００４７】
次に、本実施形態の内視鏡装置の作用について説明する。内視鏡装置を用いて処置を行う際、術者はカメラ座標系に基づく指示を指示入力ユニット４６に入力し、マニピュレータ５０の操作を行う。この際、計算ユニット９０の入力指示変換部９２では、ロール情報算出部８６によって算出されるマニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量に基づいて、カメラ座標系とマニピュレータ座標系との関係が求められる。そして、入力指示変換部９２は、カメラ座標系とマニピュレータ座標系との関係に基づいて、カメラ座標系に基づく術者からの指示をマニピュレー座標系に基づく指示に変換する。制御ユニット４４は、入力指示変換部９２により変換された指示に基づいて、モータユニット５８の駆動制御を行っている。これにより、術者は、内視鏡１０に対するマニピュレータ５０のロール量を考慮することなく、マニピュレータ５０を操作可能となる。すなわち、カメラ座標系とマニピュレータ座標系との関係を考慮することなく、カメラ座標系に基づいてマニピュレータ５０を操作可能となる。
【００４８】
そこで上記構成の内視鏡装置では、以下の効果を奏する。すなわち本実施形態の内視鏡装置では、マニピュレータ５０のマニピュレータ湾曲部５４の第３の湾曲駒６０Ｃに、マーキング部７０Ａ〜７０Ｄが設けられている。観察画像上では、少なくとも１つのマーキング部７０Ａ〜７０Ｄのマニピュレータ５０の軸回り方向についての寸法が、認識可能となっている。また、マニピュレータ５０が内視鏡１０に対して軸回り方向にロールしていない非ロール状態では、それぞれのマーキング部７０Ａ〜７０Ｄの内視鏡１０に対する軸回り方向についての位置が術者に認識されている。したがって、術者は、観察画像上でのマーキング部７０Ａ〜７０Ｄの情報、及び、非ロール状態でのマーキング部７０Ａ〜７０Ｄの位置情報に基づいて、マニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のおおよそのロール量を認識することができる。
【００４９】
また、本実施形態の内視鏡装置では、画像プロセッサ３４から画像信号が、計算ユニット９０の歪除去部８０に入力さる。歪除去部８０は、メモリ８４からの歪情報に基づいて観察画像から歪を除去する。そして、ハフ変換部８２により、歪が除去された観察画像に対してハフ変換を行う。ハフ変換により、少なくとも１つのマーキング部７０Ａ〜７０Ｄの観察画像上での位置及び姿勢が認識される。そして、ハフ変換により抽出された少なくとも１つのマーキング部７０Ａ〜７０Ｄのマーキングの色及び観察画面上での位置及び姿勢の情報が、ロール情報算出部８６に入力される。ロール情報算出部８６は、ハフ変換部８２から入力される情報及びメモリ８４に記録される既知情報に基づいて、マニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量を算出する。以上のようにして、マニピュレータ５０の先端部に検出部を設けることなく、マニピュレータ５０の先端部の軸回り方向についてのロール量を正確に算出することができる。
【００５０】
さらに、本実施形態の内視鏡装置では、術者はカメラ座標系に基づく指示を指示入力ユニット４６に入力し、マニピュレータ５０の操作を行う。この際、計算ユニット９０の入力指示変換部９２では、ロール情報算出部８６によって算出されるマニピュレータ５０の先端部の内視鏡１０に対する軸回り方向のロール量に基づいて、カメラ座標系とマニピュレータ座標系との関係が求められる。そして、入力指示変換部９２は、カメラ座標系とマニピュレータ座標系との関係に基づいて、カメラ座標系に基づく術者からの指示をマニピュレー座標系に基づく指示に変換する。制御ユニット４４は、入力指示変換部９２により変換された指示に基づいて、モータユニット５８の駆動制御を行っている。これにより、術者は、内視鏡１０に対するマニピュレータ５０のロール量を考慮することなく、マニピュレータ５０を操作することができる。すなわち、カメラ座標系とマニピュレータ座標系との関係を考慮することなく、カメラ座標系に基づいてマニピュレータ５０を操作することができる。
【００５１】
（変形例）
なお、上述した２つの実施形態では、マーキング部７０Ａ〜７０Ｄは第３の湾曲駒６０Ｃに設けられているが、第１又は第２の湾曲駒６０Ａ，６０Ｂに設けられてもよく、把持部５２に設けられてもよい。また、第１〜第３の湾曲駒６０Ａ〜６０Ｃ及び把持部５２の中の複数の部位にマーキング部が設けられてもよい。すなわち、マーキング部は、撮像素子３０の撮像範囲内に設けられ、撮像画面上で認識可能であればよい。
【００５２】
また、上述した実施形態では、異なる色が付された４つのマーキング部７０Ａ〜７０Ｄが軸回り方向について互いに離間して設けられているが、マーキング部の態様はこれに限るものではない。例えば、図１３に示すように、異なる色が付された４つのマーキング部７０Ａ〜７０Ｄが軸回り方向について互いに離間していない状態で設けられてもよい。この場合、それぞれのマーキング部７０Ａ〜７０Ｄが、第３の湾曲駒６０Ｃの軸回り方向について略９０°の範囲を占めることとなる。また、マーキング部７０Ａ〜７０Ｄに付される色は、上述した色に限るものではない。ただし、マニピュレータ５０と同一、類似色及び血と同一、類似色は用いないことが好ましい。また、それぞれのマーキング部７０Ａ〜７０Ｄに異なる色を付す代わりに、それぞれのマーキング部７０Ａ〜７０Ｄに異なるパターンの模様を付してもよい。この場合、マーキング部７０Ａ〜７０Ｄは、長手方向に延設され、それぞれに互いに異なるパターンの模様が付された複数の帯形状部となる。さらに、マーキング部の数は４つに限るものではない。ただし、ハフ変換部８２によりマーキング部の観察画像上での位置及び姿勢の抽出を行う場合は、撮像素子３０の画角、撮像素子３０とマニピュレータ５０との位置関係、マニピュレータ５０の湾曲、ロール動作等に関係なく、少なくとも１つのマーキング部の形状が、観察画面上で認識可能となっていることが必要である。
【００５３】
また、上述した実施形態では、ハフ変換部８２により、帯形状のマーキング部７０Ａ〜７０Ｄの観察画像上での位置及び姿勢を抽出しているが、マーキング部７０Ａ〜７０Ｄの観察画像上での位置及び姿勢の抽出するマーキング抽出部はハフ変換部８２に限るものではない。
【００５４】
また、上述した実施形態では、マニピュレータ５０は把持部５２により組織を保持する構成であるが、この構成に限るものではない。例えば、把持部５２の代わりに、超音波により処置を行う処置部を設けてもよい。また、内視鏡１０に複数の処置具チャンネル４２を設け、複数のマニピュレータにより処置を行ってもよい。
【００５５】
さらに、上述した実施形態では、マニピュレータ５０を挿通する処置具チャンネル４２は内視鏡１０に設けられているが、これに限るものではない。例えば、図１４に示すように、内視鏡装置は、内視鏡１０とは別体の処置具用チューブ９５を備えてもよい。この場合、処置具用チューブ９５には処置具チャンネルが設けられ、処置具チャンネルにマニピュレータ５０が挿通される。
【００５６】
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形ができることは勿論である。
以下、本出願の他の特徴的な技術事項を下記の通り付記する。
記
（付記項１）
最も先端方向側に先端硬性部を備える内視鏡と、
前記内視鏡又は前記内視鏡とは別体のチューブに設けられる挿通路に挿通されるマニピュレータと、
前記内視鏡の前記先端硬性部に設けられ、被写体及び前記マニピュレータの先端部の撮像を行う撮像素子と、
前記マニピュレータの先端部で、かつ、前記撮像素子の撮像範囲内に設けられ、前記マニピュレータの前記内視鏡に対するロール動作により軸回り方向についての位置が変化するマーキング部と、
を具備する内視鏡装置。
（付記項２）
前記撮像素子により撮像された観察画像の画像信号を処理する画像処理部と、
前記画像処理部からの前記画像信号に基づいて前記内視鏡に対する前記マニピュレータの軸回り方向のロール量を算出する計算ユニットと、
をさらに具備する付記項１の内視鏡装置。
（付記項３）
前記計算ユニットは、
既知情報が記録される記録部と、
前記観察画像から歪を除去する歪除去部と、
歪が除去された前記観察画像上での前記マーキング部の位置情報及び姿勢情報を抽出するマーキング抽出部と、
抽出された前記観察画像上での前記マーキング部の前記位置情報、前記姿勢情報及び前記記録部に記録される前記既知情報に基づいて、前記内視鏡に対する前記マニピュレータの軸回り方向の前記ロール量を算出するロール情報算出部と、
を備える付記項２の内視鏡装置。
（付記項４）
前記観察画像上で前記撮像素子を原点とするカメラ座標系に基づく指示が、前記マニピュレータの操作のために入力される指示入力ユニットをさらに具備し、
前記計算ユニットは、前記ロール情報算出部により算出された前記内視鏡に対する前記マニピュレータの前記ロール量に基づいて前記カメラ座標系と前記観察画像上で前記マニピュレータの先端を原点とするマニピュレータ座標系との関係を求め、かつ、前記カメラ座標系と前記マニピュレータ座標系との関係に基づいて前記指示入力ユニットからの前記カメラ座標系に基づく前記指示を前記マニピュレータ座標系に基づく指示に変換する入力指示変換部を備える付記項３の内視鏡装置。
（付記項５）
前記マーキング部は、長手方向に延設され、前記マニピュレータとは異なる色が付された複数の帯形状部であって、それぞれに互いに異なる色が付された複数の帯形状部を含む付記項１の内視鏡装置。
（付記項６）
前記マーキング部は、長手方向に延設され、それぞれに互いに異なるパターンの模様が付された複数の帯形状部を含む付記項１の内視鏡装置。

Claims

長手方向に沿って延設される挿入部と、
前記挿入部の先端部において先端が開口する挿通路を前記挿入部に前記長手方向に沿って規定する通路規定部と、
前記挿通路の前記先端の前記開口から先端方向に突出した状態で設けられる処置部を備え、前記挿通路に挿通される処置具と、
前記挿入部とは別体に前記長手方向に沿って設けられる挿入部材、又は、前記挿入部に設けられ、被写体及び前記処置具の前記処置部の撮像を行う撮像素子と、
前記処置部を湾曲動作させる湾曲動作駆動部と、
前記処置具を軸回り方向にロール動作させるロール動作駆動部と、
前記処置部を所望の位置まで移動させる指示が入力される指示入力ユニットと、
前記処置具の前記処置部で、かつ、前記撮像素子の撮像範囲内に設けられ、前記処置具の前記挿入部に対するロール動作により軸回り方向についての位置が変化するマーキング部と、
前記撮像素子での観察画像に基づいて、前記挿入部の前記先端部に対する前記処置部の位置及び姿勢を検出する位置姿勢検出部であって、前記観察画像から前記マーキング部を検出することにより前記処置部の前記位置及び前記姿勢を検出する位置検出部と、
検出された前記処置部の前記位置及び前記姿勢、及び、前記指示入力ユニットでの前記入力に基づいて、前記所望の位置へ前記処置部が移動する際の前記湾曲動作駆動部及び前記ロール動作駆動部の駆動情報を算出する駆動情報算出部と、
算出された前記駆動情報に基づいて、前記湾曲操作駆動部及び前記ロール動作駆動部を駆動制御する制御ユニットと、
を具備する医療装置。
前記位置姿勢検出部は、
既知情報が記録される記録部と、
前記観察画像から歪を除去する歪除去部と、
歪が除去された前記観察画像上での前記マーキング部の位置情報及び姿勢情報を抽出するマーキング抽出部と、
抽出された前記観察画像上での前記マーキング部の前記位置情報及び前記姿勢情報、及び、前記記録部に記録される前記既知情報に基づいて、前記挿入部に対する前記処置具の軸回り方向のロール量を算出するロール情報算出部と、
を備える請求項１の医療装置。
前記指示入力ユニットでは、前記観察画像上で前記撮像素子を原点とするカメラ座標系に基づく前記指示が入力され、
前記駆動情報算出部は、前記ロール情報算出部で算出される前記ロール量に基づいて前記カメラ座標系と前記観察画像上で前記処置具の先端を原点とする処置具座標系との関係を求め、かつ、前記カメラ座標系と前記処置具座標系との関係に基づいて前記指示入力ユニットからの前記カメラ座標系に基づく前記指示を前記処置具座標系に基づく指示に変換する入力指示変換部を備える請求項２の医療装置。
前記マーキング部は、長手方向に延設され、前記処置具とは異なる色が付された複数の帯形状部であって、それぞれに互いに異なる色が付された複数の帯形状部を含む請求項１の医療装置。
前記マーキング部は、長手方向に延設され、それぞれに互いに異なるパターンの模様が付された複数の帯形状部を含む請求項１の医療装置。