JP5288447B2 - 手術支援システム、接近状態検出装置及びそのプログラム - Google Patents

手術支援システム、接近状態検出装置及びそのプログラム Download PDF

Info

Publication number
JP5288447B2
JP5288447B2 JP2008085544A JP2008085544A JP5288447B2 JP 5288447 B2 JP5288447 B2 JP 5288447B2 JP 2008085544 A JP2008085544 A JP 2008085544A JP 2008085544 A JP2008085544 A JP 2008085544A JP 5288447 B2 JP5288447 B2 JP 5288447B2
Authority
JP
Japan
Prior art keywords
position data
detection device
surgical instrument
data
living tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008085544A
Other languages
English (en)
Other versions
JP2009233240A (ja
Inventor
正克 藤江
慎太郎 井上
洋 小林
和孝 豊田
淳 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Original Assignee
Waseda University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University filed Critical Waseda University
Priority to JP2008085544A priority Critical patent/JP5288447B2/ja
Publication of JP2009233240A publication Critical patent/JP2009233240A/ja
Application granted granted Critical
Publication of JP5288447B2 publication Critical patent/JP5288447B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、手術支援システム、接近状態検出装置及びそのプログラムに係り、更に詳しくは、術野が狭い低侵襲手術時において、手術器具が接触してはならない生体組織に対する手術器具の接近状態を手術者に知らせることのできる手術支援システム、接近状態検出装置及びそのプログラムに関する。
近年、大きな切開を要さずに患者への負担を少なくする低侵襲手術が注目されており、この低侵襲手術として内視鏡下手術が知られている。この内視鏡下手術は、内視鏡と、メス、鉗子、穿刺針等が先端側に設けられた棒状の手術器具とが、患者の体表部分に開けた穴から体内に挿入され、医師が前記内視鏡及び手術器具を患者の体外側から操作することにより、体腔内の患部の処置を行う手術である。このような内視鏡下手術は、現在、医師の手で手術器具を直接操作することが多いが、近時、医師の遠隔操作で手術器具を動作させるマスタスレーブ方式の手術ロボットシステムの研究開発も盛んに行われている。
以上のような内視鏡下手術では、医師は患部及びその周辺を直接視認することができず、モニタに映し出された内視鏡画像上でしか患部を視認できないため、医師が得る視覚情報が制限される。つまり、内視鏡画像上では、モニタの奥行方向の距離感覚が失われ易いばかりか、手術器具が画像上に写ると、当該手術器具の奥側に存在する部分が隠れ領域として視認できない。この場合は、内視鏡の姿勢を変える等で対処可能な場合があるが、医師の直視に比べると、どうしても視認できない隠れ領域が多くなり、患部付近の正確な空間把握が難しくなる。このため、前記隠れ領域が、手術器具を接触させてはならない血管や神経等の危険部位であると、手術器具が危険部位に不意に接触し、出血等の偶発症を発生させてしまう虞がある。
ところで、特許文献1には、手術器具と危険部位との位置関係の情報をリアルタイムで提供する手術支援装置が開示されている。この手術支援装置では、以下の手順で、危険部位に対する手術器具の接近状態を手術者に知らせる。先ず、手術前に、MRI(磁気共鳴画像診断装置)等の撮像装置で患者の患部を撮像し、その画像上で危険部位等のセグメンテーション領域を指定し、当該セグメンテーション領域の周囲の各ピクセルとセグメンテーション領域との最短距離をピクセル毎に求めてデータベース化する。そして、手術時において、手術器具の先端位置を三次元位置検出装置で検出することで、当該先端位置に相当する前記データベース上のピクセル位置を特定し、データベースから、手術器具の先端位置からセグメンテーション領域までの距離が判明し、当該距離が予め指定した閾値より小さい場合は、警告を発するようになっている。
特開2008−18172号公報
しかしながら、前記特許文献1の手術支援装置にあっては、手術前に撮像した画像で危険部位に接近する空間領域が特定され、当該空間領域内に現在の手術器具が位置するか否かによって接近状態を判定するため、手術中の危険部位の位置、姿勢、形状が、手術前の状態から変わっていないことが前提となる。このため、手術中に患部や患部付近の組織が動いて危険部位が移動する場合や、他の手術器具による組織への押圧によって危険部位が移動、変形するような場合に、前記手術支援装置では、危険部位に対する手術器具の正確な接近状態を検出することができない。
本発明は、以上のような課題に着目して案出されたものであり、その目的は、手術中に手術器具が触れてはならない危険部位等の指定部位と手術器具との相対位置関係を視覚上で確認できない場合であっても、指定部位に対する手術器具の接近状態を手術者に知らせることができる手術支援システム、接近状態検出装置及びそのプログラムを提供することにある。
また、本発明の他の目的は、前記指定部位の状態が手術前から変化しても、当該変化に対応した指定部位と手術器具の接近状態を検出することができる手術支援システム、接近状態検出装置及びそのプログラムを提供することにある。
(1)前記目的を達成するため、本発明は、手術中における生体組織及び手術器具の位置データを検出する位置検出装置と、前記位置データに基づき、前記手術器具が前記生体組織内の指定部位に接近していることを知らせる接近状態検出装置とを備えた手術支援システムにおいて、
前記接近状態検出装置は、予め取得した前記生体組織の画像データから前記生体組織のモデルを作成するモデル作成手段と、前記手術器具の先端と前記指定部位の離間距離を求める離間距離演算手段と、前記離間距離が所定の閾値以下である場合に接近状態であると判断する判定手段とを備え、
前記離間距離演算手段は、前記位置検出装置で取得できない所定領域の位置データを演算により求める位置データ補完部と、前記位置検出装置で検出された位置データ及び前記位置データ補完部で求めた位置データから前記離間距離を求める離間距離決定部とを備え、
前記位置データ補完部では、前記位置検出装置で取得された他の領域の位置データを使った前記モデル上の演算により、前記所定領域の位置データを求める、という構成を採っている。
(2)ここで、前記モデル作成手段は、前記生体組織の構成組織毎にその基礎データが記憶された記憶部と、前記画像データに基づき、前記生体組織の全体形状及び各構成組織の位置を求める形状位置特定部と、当該形状位置特定部で求められた前記生体組織の形状に基づいて当該生体組織を複数の要素に分割する要素分割部と、前記記憶部で記憶された前記基礎データに基づいて外力と変位の関係を要素毎に求め、生体組織に作用する外力ベクトルと当該生体組織の変位ベクトルとの関係を表す剛体方程式を有限要素法で求める剛体方程式決定部とを備え、
前記位置データ補完部では、前記他の領域の位置データを前記剛性方程式に代入し、当該剛性方程式を解くことで、前記所定領域の位置データを求める、という構成を採っている。
(3)更に、前記生体組織に作用する外力データを検出する力検出装置を更に備え、
前記位置データ補完部では、前記他の領域の位置データ及び前記外力データを使った前記モデル上の演算により、前記所定領域の位置データを求める、という構成も併せて採用することができる。
(4)また、本発明は、手術中における生体組織及び手術器具の位置データに基づき、当該手術器具が前記生体組織内の指定部位に接近していることを知らせる接近状態検出装置において、
予め取得した前記生体組織の画像データから前記生体組織のモデルを作成するモデル作成手段と、前記手術器具の先端と前記指定部位の離間距離を求める離間距離演算手段と、前記離間距離が所定の閾値以下である場合に接近状態であると判断する判定手段とを備え、
前記離間距離演算手段は、前記位置検出装置で取得できない所定領域の位置データを演算により求める位置データ補完部と、前記位置検出装置で検出された位置データ及び前記位置データ補完部で求めた位置データから前記離間距離を求める離間距離決定部とを備え、
前記位置データ補完部では、前記位置検出装置で取得された他の領域の位置データを使った前記モデル上の演算により、前記所定領域の位置データを求める、という構成を採っている。
(5)更に、本発明は、手術中に検出された生体組織及び手術器具の位置データに基づき、当該手術器具が前記生体組織内の指定部位に接近していることを知らせる接近状態検出装置のコンピュータに、所定の処理を実行させるためのプログラムであって、
予め取得した前記生体組織の画像データから前記生体組織のモデルを作成し、検出された前記生体組織の位置データを使った前記モデル上の演算により、検出することのできない所定領域の位置データを求め、この求めた位置データと検出された位置データから、前記手術器具の先端と前記指定部位の離間距離を求め、当該離間距離が所定の閾値以下である場合に接近状態であると判断する処理を順に前記コンピュータに実行させる、という構成を採っている。
本発明によれば、位置検出装置により、手術中における生体組織及び手術器具の位置データがリアルタイムに検出され、当該位置データから、手術中の生体組織及び手術器具の離間距離が求められる。また、位置検出装置で取得できない生体組織の所定領域の位置データは、予め作成されたモデルを使って、位置検出装置で取得した他の領域の生体組織の位置データから演算で求められ、この求めた位置データから前記所定領域と手術器具の離間距離が求められる。これにより、生体組織の所定領域の位置データを位置検出装置で検出できない場合があっても、所定領域の位置データがモデルを使って推定され、手術中に手術器具が触れてはならない危険部位等の指定部位が前記所定領域内に存在していても、指定部位と手術器具の離間距離をリアルタイムに把握できる。また、位置検出装置によって位置データが取得される生体組織の他の領域は、当該他の領域と手術器具の離間距離が、位置検出装置で検出された位置データから求められる。従って、手術中に医師が前記指定部位と手術器具との相対位置関係が視認できない場合でも、指定部位に対する手術器具の接近状態を手術者に知らせることができる。
また、手術中に生体組織が動き、前記指定部位が移動するような場合であっても、位置検出装置でリアルタイムに生体組織の位置データが検出されるとともに、当該位置データが検出不能となる前記所定領域は、前述のように、リアルタイムに検出された他の領域の位置データをモデルに代入することにより、リアルタイムな位置データを演算で求めることができ、移動時の指定部位と手術器具の離間距離の把握が可能となる。特に、前記(3)の構成を併用することにより、検出不能となる前記所定領域については、手術中に付加された外力による生体組織の変位、変形がモデル上で考慮され、位置データの推定精度を一層向上させることができる。以上により、前記指定部位の状況が手術前から変化しても、当該変化に対応して指定部位と手術器具の接近状態を検出することが可能になる。
以下、本発明の実施形態について図面を参照しながら説明する。
図1には、本実施形態に係る手術支援システムの概略構成図が示されている。この図において、手術支援システム10は、医師の遠隔操作によってメス、鉗子、穿刺針等の手術器具を動作させるマスタスレーブ方式の手術支援ロボットに適用されるシステムであって、手術対象部位Sの中で手術器具12が触れてはならない血管、神経等の危険部位D(指定部位)と手術器具12の位置関係を把握しながらロボットの動作制御を行うシステムである。なお、本明細書において、「手術対象部位S」は、手術の対象となる患部及びその周辺領域からなる生体組織の部位を意味する。
前記手術支援システム10は、手術対象部位Sの表面及び手術器具12を撮像しながら撮像部位の三次元位置データを検出する位置検出装置としての立体内視鏡装置14と、手術器具12を保持しながら動作して手術対象部位Sに所定の処置を施すロボットからなるスレーブマニピュレータ16と、このスレーブマニピュレータ16に動作指令をする操作装置であるマスタマニピュレータ17と、生体組織に作用する外力データを検出する力検出装置19と、三次元位置データに基づいて危険部位Dと手術器具12が接近状態にあることを知らせる接近状態検出装置20と、マスタマニピュレータ17からの指令に加え、接近状態検出装置20からの接近状態に関する情報に基づいてスレーブマニピュレータ16の動作を制御する制御装置22とを備えて構成されている。
前記立体内視鏡装置14は、患者の皮膚組織に開けられた穴に装着された筒状のトロカールT内に挿通され、体外間を貫通して先端側の画像取得部分が、手術対象部位Sに接近するように配置されている。この立体内視鏡装置14は、二眼のカメラによってステレオ画像を取得可能な公知のものが用いられ、当該ステレオ画像に基づいて、画像上に写る各撮像部分の奥行距離を得るステレオマッチング法等の画像処理を行い、所定の座標系における各撮像部分の三次元位置データを得るようになっている。ここでの画像処理は、公知技術であり、本発明の本質部分ではないため、説明を省略する。
前記スレーブマニピュレータ16は、棒状の手術器具12の一端側を保持して、当該手術器具12を移動可能に動作するロボットアーム24と、このロボットアーム24を駆動させる図示しないモータを含む駆動装置25とを備えている。これらロボットアーム24及び駆動装置25は、公知の手術支援ロボットに適用される構造が採用されており、ここでは詳細な説明を省略する。なお、特に限定されるものではないが、本実施形態では、2つのスレーブマニピュレータ16,16を利用し、図1中左右2つの手術器具12,12を使って手術対象部位Sの処置を行うようになっており、後述するように、図1中右側に存在する一方の手術器具12が危険部位Dに接触しないような動作制御がなされる。
前記マスタマニピュレータ17は、医師が、立体内視鏡装置14による撮像画像を見ながら図示しない操作部を把持して所望の方向に動かすことで、ロボットアーム24を所望の方向に操作可能となる公知の構造のものが採用されている。本構造についても、詳細な説明を省略する。
前記力検出装置19は、手術対象部位S若しくはその周囲に接触する図1中左側の他方の手術器具12によって手術対象部位Sに付加された外力データを検出するようになっている。すなわち、力検出装置19は、図示しない力センサを使い、他方の手術器具12で手術対象部位Sに押圧するときの押圧力及びその方向を測定するようになっている。なお、力検出装置19としては、手術対象部位Sに作用する外力データを検出できる限り、種々の装置を採用することができ、手術対象部位Sに対する外力の影響が殆ど無いような場合は、力検出装置19の設置を省略することもできる。
前記接近状態検出装置20は、ソフトウェア及び/又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び/又は処理回路より成り立っており、制御装置22とともに一連のコンピュータ内に格納され、当該コンピュータを以下の各手段として機能させるプログラムがインストールされている。
前記接近状態検出装置20は、予め取得した手術対象部位Sの画像データから当該手術対象部位Sのモデルを作成するモデル作成手段28と、前記一方の手術器具12の先端と危険部位Dの離間距離を求める離間距離演算手段30と、離間距離演算手段30で求めた離間距離が所定の閾値以下である場合に接近状態であると判断する判定手段32とを備えている。
前記モデル作成手段28は、手術対象部位Sの構成組織(実質細胞、血管、神経等)毎に弾性率やポアソン比等の基礎データが記憶された記憶部34と、磁気画像共鳴診断装置(MRI)、コンピュータ断層撮影装置(CT)、超音波画像診断装置等の図示しない撮像装置で手術前に予め撮像した画像データに基づき、手術対象部位Sの全体形状及び各構成組織の位置を求める形状位置特定部35と、形状位置特定部35で求められた手術対象部位Sの形状に基づいて当該手術対象部位Sを複数の要素に分割する要素分割部36と、記憶部34で記憶された前記基礎データに基づいて外力と変位の関係を要素毎に求め、生体組織に作用する外力ベクトルと当該生体組織の変位ベクトルとの関係を表す剛体方程式を有限要素法で求める剛体方程式決定部37とを備えている。
前記離間距離演算手段30は、立体内視鏡装置14で取得できない三次元位置データを演算で補完的に求める位置データ補完部39と、手術対象部位Sの中の危険部位Dから前記一方の手術器具12の先端までの最短直線距離となる離間距離を演算で求める離間距離決定部40とにより構成されている。
前記位置データ補完部39では、図2に示されるように、手術中の内視鏡画像上、手術器具12の裏側に隠れていて三次元位置データを立体内視鏡装置14で取得できない手術対象部位Sの隠れ領域Hについて、前記剛体方程式を使った演算により三次元位置データが求められる。すなわち、立体内視鏡装置14で取得できた手術対象部位Sの表面の三次元位置データと力検出装置19で検出した外力データを剛体方程式に代入して解くことで、当該剛体方程式中で未知数となる隠れ領域Hの三次元位置が求められる。なお、立体内視鏡装置14では、前記剛体方程式を解くことができる程度の三次元位置データの量、つまり、隠れ領域Hの全域の位置情報を確定若しくは限定可能な程度の三次元位置データの量が取得される。これによって、立体内視鏡装置14で取得した三次元位置データの他に、前記一方の手術器具12に重なって画像上視認できない隠れ領域Hの三次元位置データも推定できることになり、立体内視鏡装置14の視野範囲A内にある手術対象部位Sの表面の三次元位置データが隠れ領域Hも含めて全て判明する。ここでの処理内容については後で詳述する。
前記離間距離決定部40では、後述するように、立体内視鏡装置14で取得された手術対象部位Sの三次元位置データと、前記位置データ補完部39で求めた隠れ領域Hの三次元位置データとにより、予め指定された危険部位Dにおける手術中の三次元位置データが特定される。そして、当該危険部位Dの三次元位置データと立体内視鏡装置14で取得された手術器具12の三次元位置データとにより、前記一方の手術器具12の先端から危険部位Dまでの最短直線距離が座標上の演算で求められる。
前記判定手段32は、離間距離決定部40で求めた離間距離が予め設定した閾値以下か否かが判定され、当該閾値以下である場合に、所定の信号からなる接近情報を生成して制御装置22に送るようになっている。
前記制御装置22は、マスタマニピュレータ17の指令に応じてロボットアーム24が動作するように駆動装置25の駆動を制御するロボット制御部42と、接近状態検出装置20から接近情報が発せられた場合に、ロボット制御部42に対し、接近情報を回避する方向に前記一方の手術器具12の先端を動作させるロボット補正指令部43とを備えて構成されている。このロボット補正指令部43では、接近状態検出装置20から接近情報が発せられた場合に、駆動装置25の駆動に負荷を与え、ロボットアーム24の動作にブレーキをかけることにより、ロボットアーム24の更なる動作を規制若しくは停止する補正指令を行うことも可能である。また、ロボット補正指令部43を設けずに、或いは、ロボット補正指令部43による補正制御に加え、前記接近情報が発せられたときには、図示しないスピーカー等から警告音を発生させるようにしてもよい。
次に、前記離間状態検出装置20で接近状態を検出するための各種手順を以下に説明する。なお、以下においては、手術対象となる生体組織を脳として説明するが、これに限定されるものではない。
手術前の準備として、磁気画像共鳴診断装置(MRI)、コンピュータ断層撮影装置(CT)、超音波画像診断装置等の図示しない撮像装置で、手術対象部位Sとなる患者の脳部Sが撮像され、手術前の脳部の画像データが得られる。そして、当該画像データに基づき、モデル作成手段28において、患者の脳部Sが以下の手順でモデル化される。
先ず、学術的に解明されている一般的なヒトの脳組織の弾性率及びポアソン比の基礎データが、脳細胞、血管、神経等の脳の構成組織毎に記憶部34に記憶されている。
そして、患者の脳部Sが前記撮像装置で撮像された後、形状位置特定部35において、撮像装置の画像データから手術対象の脳部Sの形状とその各構成組織の位置が次のように設定される。すなわち、前記画像データに基づいて、コンピュータを使った公知の画像処理により、脳部Sの三次元形状若しくは所定断面の二次元形状が導出され、且つ、その中の構成組織(脳細胞、血管、神経等)の位置が特定される。なお、脳部Sの形状及び/又は各構成組織の位置は、前述の自動処理でなく、前記画像データを視認した医師等による手入力で設定してもよい。このとき、同様に画像データを視認した医師等により、手術時に手術器具12が触れてはならない血管、神経、機能領域等の危険部位Dが指定される。
次に、要素分割部36において、有限要素法における要素Mの形状と当該各要素Mの節点(ノードN)の数とを指定することで、デラウニー法等の公知の手法により、形状位置特定部35で求めた脳部Sの形状から、当該脳部Sを複数領域に分割し、メッシュが生成される。なお、図3においては、図面の錯綜を回避するため、脳モデル46の一部領域のみ要素Mを記載し、残りの領域における要素Mの記載は省略している。
その後、剛体方程式決定部37では、以下のように有限要素法を使って剛体方程式が決定される。すなわち、先ず、形状位置特定部35で求められた脳部Sの各構成組織の位置と、要素分割部36で決定された各要素Mとを対比することにより、各要素Mが、どの構成組織に該当するのかが特定される。そして、各要素Mそれぞれについて、記憶部34で構成組織毎に記憶された弾性率及びポアソン比のうち該当する組織のものが選択され、公知の構造計算によって、各要素Mの周囲のノードNにかかる荷重と当該要素Mの変形情報との関係式が求められる。ここでの変形情報は、要素Mを構成するノードNの変位と、当該要素M内に作用する応力及びひずみを指す。そして、前記関係式から脳モデル46全体の剛性方程式が求められる。ここで、剛性方程式は、各ノードNに作用する外力ベクトルF、全体の剛性マトリックスK、ノードNの変位ベクトルUとすると、次式(1)の関係で表せる。
Figure 0005288447
以上の剛性方程式により、各ノードNに作用する外力が特定できれば、各ノードNの変位や各メッシュMに作用する応力が算出可能となり、逆に、各ノードNの変位が特定できれば、各ノードN及び脳全体に作用する外力が算出可能となる。なお、この剛性方程式を求める際の固定端等の境界条件は、所定の経験的データ等から医師やエンジニア等によって事前に決定し入力される。
このように求めた脳モデル46では、予め指定された危険部位Dを構成するノードNが特定されることになる。
そして、立体内視鏡装置14及び前記各手術器具12,12の座標基準を設定した上で、医師によって手術が開始される。このとき、先ず、図1に示されるように、頭部の数カ所に穴を開け、当該穴内に手術器具12,12及び立体内視鏡装置14が挿入される。そして、立体内視鏡装置14と前記脳モデル46上とで座標上の対応付けがなされる。
以上の設定が終了した後で、医師は、立体内視鏡装置からの三次元画像を視認しながら、手術器具12,12が所望の方向に動作するようにマスタマニピュレータ17を操作することで、手術器具12,12による脳部Sの処置が行われる。
次に、離間距離演算手段30により、移動する前記一方の手術器具12と危険部位Dの離間距離が以下のようにして求められる。
先ず、立体内視鏡装置14により、三次元画像に写る各部分の三次元位置データが逐次取得される。つまり、三次元画像上の脳部Sや前記一方の手術器具12の三次元位置データがリアルタイムで得られる。これと同時に、前記他方の手術器具12で脳表面を押さえた場合等に、当該押圧部分から脳に外力(押圧力)が作用し、当該押圧力の作用点の位置とその大きさ及び方向(外力データ)が力検出装置19によって逐次取得される。なお、脳部Sに対して外力が全く作用しない場合は、以下の剛性方程式の外力ベクトル項がゼロとされる。
ところで、一方の手術器具12が移動する過程で、脳部Sの表面上方における一部分に当該手術器具12が位置するような場合には、図2に示されるように、立体内視鏡装置14で撮像された三次元画像上では、脳部Sの一部表面が一方の手術器具12で隠れる隠れ領域Hとなって、当該隠れ領域Hと一方の手術器具12との離間距離が視覚上全く分からなくなるとともに、隠れ領域Hの三次元位置データが立体内視鏡装置14で取得できなくなる。そこで、位置データ補完部39により、このような隠れ領域Hの三次元位置データが演算により求められる。すなわち、立体内視鏡装置14で三次元位置データを取得できた脳部Sの表面部分に対応する脳モデル46上の各ノードNの位置と、力検出装置19で検出された前記押圧力の大きさ、方向及び作用点に対応するノードNの位置とが、剛体方程式決定部37で求められた剛性方程式に代入され、当該剛性方程式を解くことにより、未知数である隠れ領域Hの三次元位置データが求められる。つまり、ここでは、立体内視鏡装置14で取得した脳部Sの表面の三次元位置データや外力データが、脳モデル46で対応するノードNに強制変位として剛性方程式に与えられ、当該剛性方程式を解くことで隠れ領域Hの三次元位置データが求められる。
そして、離間距離決定部40では、立体内視鏡装置14で検出された三次元位置データと、位置データ補完部39で求められた隠れ領域Hの三次元位置データから、脳モデル46上に予め設定された危険部位Dの三次元位置データが判明し、当該危険部位Dの三次元位置データと一方の手術器具12の先端の三次元位置データとの最短直線距離(離間距離)が座標上の演算で求められる。
次に、判定手段32によって、前記離間距離が予め設定した閾値以下であるか否かが判定され、当該閾値以下であると接近状態と判断されて前記接近情報が作成されて制御装置22に送信される。
制御装置22では、ロボット補正指令部43により、接近状態検出装置20から接近情報を受け取ると、前記一方の手術器具12の先端が危険部位Dに近付かない方向に回避するように、マスタマニピュレータ17による医師の操作指令を補正してロボット制御部42に指令し、当該補正指令に従ってロボットアーム24が動作する。一方、接近状態検出装置20で接近情報が発せられない場合は、前記補正指令がなされず、マスタマニピュレータ17による医師の操作指令のみに従ってロボットアーム24が動作する。
従って、このような実施形態によれば、内視鏡下のロボット手術において、前記他方の手術器具12が生体組織に与えた影響により、当該生体組織が変位変形するような場合でも、前記一方の手術器具12で隠れて医師が視認できない内視鏡画像上の隠れ領域Hの位置を推定することができる。このため、隠れ領域H内に危険部位Dが存在する場合であっても、当該危険部位Dと一方の手術器具12との間の距離をモニタリングすることができ、当該手術器具12の危険部位Dへの不意な接触を回避することができる。
なお、本発明における接近状態検出装置20は、マスタスレーブ方式の手術支援ロボットに対する適用に限らず、ロボットを使用せずに医師の手で直接処置をする手術等、手術対象部位Sを直視できない或いは視認し難いような手術全般に適用可能である。
また、前記指定部位としては、前記危険部位Dに限らず、手術時の視野内に存在する生体組織内の部位となる限り、任意に設定可能である。
更に、本実施形態では、前記位置検出装置として、立体内視鏡装置14を用いたが、本発明はこれに限らず、術野内の生体組織及び手術器具12の各部分の三次元位置データを取得できる装置であれば、機械式、光学式、磁気式、超音波式等、種々のものを適用することができる。但し、内視鏡下手術においては、術野の視認に内視鏡装置が用いられることから、前記実施形態のように立体内視鏡装置14を用いることで、術野のリアルタイムの画像を得ながら、同時に当該画像内の三次元位置データを得ることができ、当該位置データ取得用として新たな計測装置を設ける必要がなく、手術スペースの有効活用に寄与できる。
また、生体組織のモデル46として、マススプリングシステムによるモデルを使ってもよい。
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
本実施形態に係る手術支援システムの概略構成図。 隠れ領域を説明するための概念図。 有限要素法上の要素とノードを説明するため概念図。
符号の説明
10 手術支援システム
12 手術器具
14 立体内視鏡装置(位置検出装置)
19 力検出装置
20 接近状態検出装置
28 モデル作成手段
30 離間距離演算手段
32 判定手段
34 記憶部
35 形状位置特定部
36 要素分割部
37 剛体方程式決定部
39 位置データ補完部
40 離間距離決定部
46 脳モデル
D 危険部位(指定部位)
H 隠れ領域(所定領域)
S 手術対象部位(生体組織)

Claims (5)

  1. 手術中における生体組織及び手術器具の位置データを検出する位置検出装置と、前記位置データに基づき、前記手術器具が前記生体組織内の指定部位に接近していることを知らせる接近状態検出装置とを備えた手術支援システムにおいて、
    前記接近状態検出装置は、予め取得した前記生体組織の画像データから前記生体組織のモデルを作成するモデル作成手段と、前記手術器具の先端と前記指定部位の離間距離を求める離間距離演算手段と、前記離間距離が所定の閾値以下である場合に接近状態であると判断する判定手段とを備え、
    前記離間距離演算手段は、前記位置検出装置で取得できない生体組織の所定領域の位置データを演算により求める位置データ補完部と、前記位置検出装置で検出された位置データ及び前記位置データ補完部で求めた位置データから前記離間距離を求める離間距離決定部とを備え、
    前記位置データ補完部では、前記位置検出装置で取得された生体組織の位置データを使った前記モデル上の演算により、前記所定領域の位置データを求めることを特徴とする手術支援システム。
  2. 前記モデル作成手段は、前記生体組織の構成組織毎にその基礎データが記憶された記憶部と、前記画像データに基づき、前記生体組織の全体形状及び各構成組織の位置を求める形状位置特定部と、当該形状位置特定部で求められた前記生体組織の形状に基づいて当該生体組織を複数の要素に分割する要素分割部と、前記記憶部で記憶された前記基礎データに基づいて外力と変位の関係を要素毎に求め、生体組織に作用する外力ベクトルと当該生体組織の変位ベクトルとの関係を表す剛体方程式を有限要素法で求める剛体方程式決定部とを備え、
    前記位置データ補完部では、前記位置検出装置で取得された生体組織の位置データを前記剛体方程式に代入し、当該剛体方程式を解くことで、前記所定領域の位置データを求めることを特徴とする請求項1記載の手術支援システム。
  3. 前記生体組織に作用する外力データを検出する力検出装置を更に備え、
    前記位置データ補完部では、前記位置検出装置で取得された生体組織の位置データ及び前記外力データを使った前記モデル上の演算により、前記所定領域の位置データを求めることを特徴とする請求項1記載の手術支援システム。
  4. 位置検出装置により検出されるデータである手術中における生体組織及び手術器具の位置データに基づき、当該手術器具が前記生体組織内の指定部位に接近していることを知らせる接近状態検出装置において、
    予め取得した前記生体組織の画像データから前記生体組織のモデルを作成するモデル作成手段と、前記手術器具の先端と前記指定部位の離間距離を求める離間距離演算手段と、前記離間距離が所定の閾値以下である場合に接近状態であると判断する判定手段とを備え、
    前記離間距離演算手段は、前記位置検出装置で取得できない生体組織の所定領域の位置データを演算により求める位置データ補完部と、前記位置検出装置で検出された位置データ及び前記位置データ補完部で求めた位置データから前記離間距離を求める離間距離決定部とを備え、
    前記位置データ補完部では、前記位置検出装置で取得された生体組織の位置データを使った前記モデル上の演算により、前記所定領域の位置データを求めることを特徴とする接近状態検出装置。
  5. 手術中に検出された生体組織及び手術器具の位置データに基づき、当該手術器具が前記生体組織内の指定部位に接近していることを知らせる接近状態検出装置のコンピュータに、所定の処理を実行させるためのプログラムであって、
    予め取得した前記生体組織の画像データから前記生体組織のモデルを作成し、検出された前記生体組織の位置データを使った前記モデル上の演算により、検出することのできない生体組織の所定領域の位置データを求め、この求めた位置データと検出された位置データから、前記手術器具の先端と前記指定部位の離間距離を求め、当該離間距離が所定の閾値以下である場合に接近状態であると判断する処理を順に前記コンピュータに実行させることを特徴とする接近状態検出装置のプログラム。
JP2008085544A 2008-03-28 2008-03-28 手術支援システム、接近状態検出装置及びそのプログラム Expired - Fee Related JP5288447B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008085544A JP5288447B2 (ja) 2008-03-28 2008-03-28 手術支援システム、接近状態検出装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008085544A JP5288447B2 (ja) 2008-03-28 2008-03-28 手術支援システム、接近状態検出装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2009233240A JP2009233240A (ja) 2009-10-15
JP5288447B2 true JP5288447B2 (ja) 2013-09-11

Family

ID=41247934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008085544A Expired - Fee Related JP5288447B2 (ja) 2008-03-28 2008-03-28 手術支援システム、接近状態検出装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5288447B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939688A (zh) * 2014-02-07 2016-09-14 奥林巴斯株式会社 手术系统和手术系统的工作方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683057B1 (ko) * 2009-10-30 2016-12-07 (주)미래컴퍼니 수술 로봇 시스템 및 그 동작 제한 방법
KR101181613B1 (ko) * 2011-02-21 2012-09-10 윤상진 사용자 지정에 따라 결정되는 변위 정보에 기초하여 수술을 수행하는 수술용 로봇 시스템과 그 제어 방법
KR102364736B1 (ko) * 2013-03-14 2022-02-17 씽크 써지컬, 인크. 크리티컬 리전을 가지는 수술 과정을 모니터링하기 위한 시스템 및 방법
JP6265627B2 (ja) * 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6265630B2 (ja) * 2013-06-13 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2015142786A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Constant force spring with active bias
JP2017023339A (ja) * 2015-07-21 2017-02-02 株式会社デンソー 医療行為支援装置
JP7112754B2 (ja) * 2016-09-04 2022-08-04 ウニヴェルズィテート ベルン 重要な解剖学的特徴に対する外科用器具の接近度を決定するためのシステム
JP2018089114A (ja) * 2016-12-02 2018-06-14 株式会社デンソー 医療支援装置、医療支援方法、及び支持装置
JP6499716B2 (ja) 2017-05-26 2019-04-10 ファナック株式会社 形状認識装置、形状認識方法及びプログラム
JP2020168359A (ja) * 2019-04-03 2020-10-15 キヤノンメディカルシステムズ株式会社 医用画像診断装置、手術支援ロボット装置、手術支援ロボット用制御装置及び制御プログラム
JP2021003453A (ja) * 2019-06-27 2021-01-14 学校法人昭和大学 内視鏡治療システム
CN112957082B (zh) * 2021-03-16 2022-11-04 济南显微智能科技有限公司 一种基于体内探针的手术系统
WO2024053698A1 (ja) * 2022-09-09 2024-03-14 慶應義塾 手術支援プログラム、手術支援装置、および手術支援方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
JP2001204739A (ja) * 2000-01-27 2001-07-31 Olympus Optical Co Ltd 顕微鏡下手術支援システム
JP2002253480A (ja) * 2001-03-02 2002-09-10 Olympus Optical Co Ltd 医療処置補助装置
US6816607B2 (en) * 2001-05-16 2004-11-09 Siemens Corporate Research, Inc. System for modeling static and dynamic three dimensional anatomical structures by 3-D models
JP2003141566A (ja) * 2001-11-07 2003-05-16 Kansai Tlo Kk 3次元物体の切断シミュレーション方法
WO2005039391A2 (en) * 2003-10-21 2005-05-06 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for intraoperative targetting
JP4390146B2 (ja) * 2005-03-28 2009-12-24 学校法人早稲田大学 穿刺制御装置、穿刺ロボット及び穿刺制御用プログラム
JP4766902B2 (ja) * 2005-03-31 2011-09-07 オリンパスメディカルシステムズ株式会社 手術支援装置
JP4458492B2 (ja) * 2006-03-29 2010-04-28 学校法人早稲田大学 手術支援ロボットの動作制御システム及び位置検出装置
JP4738270B2 (ja) * 2006-07-14 2011-08-03 株式会社日立メディコ 手術支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939688A (zh) * 2014-02-07 2016-09-14 奥林巴斯株式会社 手术系统和手术系统的工作方法
CN105939688B (zh) * 2014-02-07 2019-03-19 奥林巴斯株式会社 手术系统和手术系统的工作方法

Also Published As

Publication number Publication date
JP2009233240A (ja) 2009-10-15

Similar Documents

Publication Publication Date Title
JP5288447B2 (ja) 手術支援システム、接近状態検出装置及びそのプログラム
US11007023B2 (en) System and method of registration between devices with movable arms
US20230200923A1 (en) Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
KR102620057B1 (ko) 순응형 입력 맵핑을 위한 시스템 및 방법
US20190192234A1 (en) Systems and methods for monitoring patient motion during a medical procedure
AU2013265396B2 (en) System and method for estimating the spatial position of a tool within an object
WO2016133644A1 (en) Operating room and surgical site awareness
EP3282994B1 (en) Method and apparatus to provide updated patient images during robotic surgery
JP2017177297A (ja) 制御装置及び制御方法
CN108135529A (zh) 用于引导医疗工具的插入的系统和方法
JP2007029232A (ja) 内視鏡手術操作支援システム
US20220387118A1 (en) Method and system for autonomous therapy
US20180085926A1 (en) Robot System And Method For Operating A Teleoperative Process
US20210030498A1 (en) Robotic surgical systems with user engagement monitoring
JP4636618B2 (ja) シミュレーション装置及びこれを用いた手術用ロボットの制御システム、並びにシミュレーション装置用のプログラム
CN113520425A (zh) 医学成像系统、介入系统及其控制方法
JP4953303B2 (ja) 病変部位の位置特定システム
US20210393331A1 (en) System and method for controlling a robotic surgical system based on identified structures
US20210298848A1 (en) Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system
JP6751145B2 (ja) ナビゲーション支援システム
US20200205902A1 (en) Method and apparatus for trocar-based structured light applications
US20220143366A1 (en) Systems and methods for determining buckling and patient movement during a medical procedure
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
CN117379177A (zh) 骨钉连接件、外科手术导航装置、方法及处理设备
JP2010082187A (ja) 手術マニピュレータシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130501

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130509

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130530

LAPS Cancellation because of no payment of annual fees