JP4762160B2 - 手術支援システム - Google Patents

Description

本発明は、手術に用いるシミュレーション結果の精度を向上させる技術に関する。特に、手術中に取得した画像等を用いて、シミュレーションを行い、シミュレーション結果に基づいて手術プランを立案する技術に関する。

手術治療精度の向上を目的とした手術支援技術として手術シミュレーション機能がある。手術シミュレーション機能には、Ｘ線ＣＴ装置やＭＲＩ装置で撮像したスライス画像をもとに、手術の目標にいたる手術経路を評価し、候補となる経路を自動的に算出するもの（例えば、特許文献１参照。）、患者の３次元画像データをもとに、術具による接触や切除の危険性を考慮したコスト画像を作成し、このコスト画像から最も侵襲の少ない手術経路を自動的に探索するもの（例えば、特許文献２参照。）などがある。

これらは、術前に術具のアクセス経路を計算・描出させることができるので、手術計画立案には有効な手段である。しかし、術前のシミュレーション結果に基き手術中に術具が移動する様子を確認することはできない。また手術中には、術前シミュレーションで設定された経路とは異なる経路を選択せざるを得なくなる場合もあり得るが、再度、三次元画像を撮像し計画立案をやり直すには時間がかかるだけでなく、患者や術者にかける負担も増大する。

これらの問題を解決するものとして、術前シミュレーションの結果を手術中にフィードバックし、安全経路に沿って手術を行なうことができる手術支援機能付きＭＲＩ装置がある（例えば、特許文献３参照。）。特許文献３に開示されているＭＲＩ装置によれば、術具が危険部位（例えば臓器や重要な血管）に接近したことを警告することにより、手術の安全性を向上させることが可能となる。また、手術時間の大幅な延長を伴うことなく、手術中の安全経路の再プランニングと提示が可能である。

特開２００１−１１３０８６号公報 特開２００３−３０６２４号公報 特開２００６−１４９５６０号公報

術前に行う手術シミュレーションは治療領域や手術経路を明確にでき、手術計画案を手術支援ガイドとしてフィードバックすることで治療精度を向上させることができる。しかし、実際の手術は臓器に位置や形が随時変化するため、術前に行った手術シミュレーション通りに治療することができない場合が多い。

また、手術シミュレーション通りに治療できなかった場合、または、治療が不完全な場合、その場で再シミュレーションを行い、手術中に最適な治療方法を再考することはできない。

本発明は上記事情に鑑みてなされたもので、手術精度を向上させ、手術における治療時間を短縮し、術者、患者双方の負担を軽減可能な技術を提供することを目的とする。

本発明は、術前に行った手術シミュレーションにより決定した治療領域や手術経路情報データと、実際の手術データとを比較可能なように提示する。必要に応じて手術中に再度シミュレーションを行い、治療領域や手術経路情報を更新する。そして、更新された情報に基づいて最新の手術ガイド情報を提供する。

具体的には、手術空間に置かれた被検体の画像を含む手術進行情報をリアルタイムで取得する計測手段と、予め取得された被検体の三次元画像および前記計測手段が取得した手術進行情報を記録する記録手段と、操作者からの指令を入力する入力部と操作者の入力に必要なＧＵＩおよび前記記録手段に記録された手術進行情報並びに三次元画像を表示する表示部とを備えた入出力手段と、前記記録手段に記録された被検体の三次元画像および前記入出力手段を介して入力された操作者の指令に基づき、手術ガイド情報を算出し、算出された手術ガイド情報を前記記録手段に記録するとともに前記表示部に表示させる計算手段と、前記計測手段、記録手段、入出力手段および計算手段を制御する制御手段と、を備えた手術支援システムにおいて、前記計算手段は、前記計測手段が取得したリアルタイムの手術進行情報と前記手術ガイド情報とを比較し、比較結果を前記表示部に表示させる比較手段と、前記計測手段が取得したリアルタイムの被検体画像を用いて、手術ガイド情報を算出し、直前に算出された手術ガイド情報を更新する手術ガイド情報更新手段と、を備えたことを特徴とする手術支援システムを提供する。

本発明によれば、手術精度を向上させ、手術における治療時間を短縮し、術者、患者双方の負担を軽減可能な技術を提供することができる。

以下、本発明の実施形態を、図面を参照して説明する。なお、以下本明細書では、特に区別する必要がない場合は、手術および／または治療を、手術と呼ぶ。また、本明細書では、手術は、穿刺した針を介して生体内の病変を壊死させるための治療手技である場合を例にあげて説明する。具体的には、先端を低温にできる術具を患者に挿入して、局所的に組織を凍結・壊死させる凍結療法、または、先端から高周波電流を発生する術具を患者に挿入して、生体蛋白質を凝固変性するラジオ波（ＲＦ）熱凝固療法（温熱療法）のいずれかである。

図１は、本実施形態の手術支援システムの構成図である。本図に示すように、本実施形態の手術支援システム１００は、情報処理装置２００と、記憶装置３００と、出力装置４００と、入力装置５００と、データ取得装置６００と、を備える。

データ取得装置６００は、例えば、手術前および手術中の患者の患部の画像、手術中の手術器具（術具）の姿勢情報等、手術を支援するために必要な情報を取得する、核磁気共鳴撮像装置（ＭＲＩ装置）、ＣＴスキャナ装置（Ｘ線ＣＴ装置）、超音波診断装置、ＰＥＴ、Ｘ線診断装置、核医学システム等の撮像装置、手術前および手術中の患者のバイタルデータを連続的に取得する、脳波計、脈波計、呼吸計、体温計等の患者モニタリング装置などの計測装置である。以下の説明では、撮像装置がＭＲＩ装置である場合を例に説明する。

記憶装置３００は、データ取得装置６００から送信される各種データおよび入力装置５００を介して入力された各種データを取得時間に対応づけて保存する。また、情報処理装置２００の各機能を実現するプログラムを保持する。

出力装置４００および入力装置５００は、情報処理装置２００とユーザとのインタフェースとして機能する。具体的には、出力装置４００としては、プリンタ、ディスプレイ、モニタ、入力装置５００としては、キーボード、マウスなどがある。

情報処理装置２００は、データ取得装置６００から取得したデータを用いて演算と制御とを行い、ユーザの指示に従って手術を支援する。手術の支援のため、情報処理装置２００は、手術進行管理処理部２１０と、手術支援処理部２２０と、手術領域比較処理部２３０と、手術シミュレーション処理部２４０と、記録再生処理部２５０と、映像・手術情報記録管理部２６０と、を備える。これらの機能は、情報処理装置２００が備えるＣＰＵが、記憶装置３００に格納されているプログラムをメモリにロードして実行することにより実現される。

手術進行管理処理部２１０は、手術の進行を管理する。本実施形態では、ユーザからの指示に従って、手術支援システム１００が提供する各機能を制御し、また、手術支援システム１００が提供する各モード間の遷移を制御する。

手術支援システム１００が提供する各モードは、通常支援モードと、手術シミュレーションモードと、記録再生モードとを含む。

通常支援モードは、後述する手術支援処理部２２０が提供する各手術支援機能を用いて、手術の支援を行うモードである。手術進行管理処理部２１０は、開始の指示を受け付けると、この通常支援モードで手術の支援を開始する。

手術シミュレーションモードは、記録装置３００に格納されている情報を用いてユーザからの指示に従って手術シミュレーションを行うモードである。

記録再生モードは、記録装置３００に格納されている情報の中からユーザが指定した情報を再生するモードである。

手術支援処理部２２０は、３Ｄスキャン、ＩＳＣ機能、手術ナビゲーション機能等、手術支援システム１００が提供可能な手術支援機能を実現する。

３Ｄスキャンは、ＭＲＩ装置を用いて被検体の三次元画像を撮像する機能である。

ＩＳＣ機能は、リアルタイムで撮像する断面を任意に設定し、高速撮像法で撮像し、得られた断面画像を表示する技術で、インタラクティブスキャンと呼ばれる。インタラクティブスキャンでは、ＭＲＩ装置に三次元位置検出装置を組み合わせて、三次元位置検出装置で検出可能な所定のポインタで撮像空間に寝かせられた患者の部位を指定し、この位置情報をＭＲＩ装置に送り、指定された位置を含む断面を撮像する。なお、手術をマニピュレータ等の手術用ロボットで行なう場合には、マニピュレータに固定された術具先端の位置情報が用いられる。この場合は三次元位置検出装置は不要にできる。

３ＤスキャンおよびＩＳＣで撮像された画像は、記録装置３００に格納される。

手術ナビゲーションは、予め取得された患者の三次元画像データを用いて、手術の進行に伴い順次ポインタで指定される実空間上の点に対応する画像データ内の点を中心とする複数の断面画像を作成し出力装置４００に表示させて、手術をナビゲートする技術である。三次元画像データとしては、ＭＲ画像、ＣＴ画像など任意の撮像装置で取得された三次元画像データを用いることができる。この三次元画像データは、予め記録装置３００に格納されている。手術ナビゲーションは、実際に患部を手術するシーンにおいて、術具先端が進行する位置や実際に手術が行なわれている患部の断面を出力装置４００に表示させることにより、ユーザが患部周囲の状態や患部と手術器具との位置関係等を把握することを可能にし、安全確実に目標部位へアプローチするための術中誘導を行う。

手術支援処理部２２０は、記録装置３００に格納されている三次元画像データを用いて、３軸断面画像、Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ画像などを作成するとともに、データ取得装置６００で取得したデータからリアルタイム画像、術具の位置および姿勢を示す画像などを作成し、記録装置３００に格納させるとともに、ユーザの選択に応じて出力装置４００のディスプレイに表示させる。また、これらの画像情報から、実際に手術がなされた領域である実手術領域を算出する。

手術シミュレーション処理部２４０は、手術シミュレーションモードにおいて、手術シミュレーションの支援を行う。手術シミュレーションの手法自体は基本的に従来の方法を用いる。例えば、まず、記録装置３００に予め格納された三次元画像データ或いはデータ取得装置６００（Ｘ線ＣＴやＭＲＩ等）を用いて取得されたデータから生成した三次元画像等から仮想空間に臓器等のモデルを作成し、ユーザに提示する。ただし、本実施形態の手術シミュレーション処理部２４０は、シミュレーションの様子を提示する際、手術支援処理部２２０により生成された、リアルタイムの３次元画像、３軸断面画像、ボリュームレンダリング画像、リアルタイム画像、術具の位置および姿勢を示す画像に合成して出力装置４００に表示させる。

手術シミュレーション処理部２４０は、ユーザからの指定に従い、予定手術領域を決定する。また、血管や臓器など穿刺針が接触したり傷つけたりするのを避けるべき領域（アクセス不可領域）、および、穿刺針が通っても問題がない組織などの領域（アクセス可領域）の登録をユーザから受け付ける。

そして、手術シミュレーション処理部２４０は、決定した予定手術領域に対する最適アプローチ方向や内視鏡の視野予測等の計算を行い、その計算結果を出力装置４００に表示する。

ユーザは、患者情報の最新データから判断される患者の状態に基づき、様々な選択肢を仮想的に試行する。手術シミュレーション処理部２４０は、ユーザが行った手術シミュレーションの結果得られた複数の、予定穿刺開始点、予定穿刺目標点、予定手術経路、予定術具の中から、それぞれ最適なものを自動的にまたはユーザからの指示により決定する。

手術シミュレーション処理部２４０は、予定手術領域、予定穿刺開始点、予定穿刺目標点、予定手術経路、予定術具、アクセス可／不可領域の情報を、手術シミュレーションを実行した時刻を特定する情報とともに手術プランとして記憶装置３００に登録する。その後、手術支援処理部２２０は、最新の手術プランを用いて手術を支援する。

また、本実施形態では、予め記憶装置３００に手術機器構成、性能、各臓器の手術条件、効果を登録しておき、手術シミュレーション処理部２４０は、これらの情報を参照し、手術による効果を推定する。

手術領域比較処理部２３０は、後述する各手術シーン終了後に、手術支援処理部２２０が算出した実手術領域と、手術シミュレーション処理部２４０が作成した最新の手術プランの予定手術領域との比較を行い、手術の進み具合を解析する。具体的には、手術領域比較処理部２３０は、両領域を合成した画像を生成し、手術支援処理部２２０が生成した最新の３次元画像、３軸断面画像、ボリュームレンダリング画像の少なくとも１つの上に重畳して表示させるデータを生成して記録装置３００に格納する。

記録再生処理部２５０は、ユーザが選択したシーンの実行中に取得した情報を再生する。

映像・手術情報記録管理部２６０は、記録装置３００に格納されているデータを管理する。ここでは、データ取得装置６００から受け取ったデータおよび入力装置５００を介してユーザから入力されたデータを、それぞれ独立に、取得時刻、取得シーン（後述）に対応づけて記憶装置３００に格納する。また、手術進行管理処理部２１０からの指示に従って、記憶装置３００に格納されているデータを抽出し、画面表示のためのデータ（画面データ）を生成する。

次に、記憶装置３００に格納されている各データについて説明する。これらは上述のように、映像・手術情報記録管理部２６０が、データ取得装置６００から受信し、または、入力装置５００を介して受け取り、記憶装置３００に格納するものである。記憶装置３００に格納されるデータには、シーン管理情報、シーン実行情報、手術プラン、装置情報、各種機能情報、術具情報、患者情報、術具姿勢情報がある。

シーン管理情報は、支援対象の手術を構成する全工程を１以上のステップに区切ったシーンを管理するための情報である。シーンを特定する情報（シーン特定情報）と、シーンで行うべき処理およびシーンに必要な支援または提供可能な支援を特定する情報とが対応づけて格納される。

シーン実行情報は、シーン管理情報から選択されたシーンが実際に行われた時刻を管理する情報である。ユーザからのシーンの選択、終了の指示に応じて手術進行管理処理部２１０により登録される。各シーンの開始・終了時刻とともに、自動的に連番で付与される識別番号（シーン識別番号）がシーン特定情報に対応づけて管理される。

手術プランは、手術シミュレーション処理部２４０が算出した、予定手術領域、予定穿刺開始点、予定刺目標点、予定手術経路、予定術具、アクセス可/不可領域などの情報であり、手術シミュレーションを行った時刻と対応づけて登録される。また、時刻と対応づけて登録する代わりに、最新の手術プランのみ保持する構成であってもよい。

なお、予定手術領域、穿刺開始点、穿刺目標点、手術経路（穿刺開始点と穿刺目標点をつなぐ直線）、及びアクセス不可領域／アクセス可領域として、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格に従った、出力装置４００のディスプレイ等に表示された画像の画像座標（或るいは装置座標）の値（ＤＩＣＯＭ座標）が登録される。

装置情報は、データ取得装置６００の情報である。例えば、ＭＲＩ装置であれば、ベッドの位置、受信コイルの種類、受信コイルの位置などである。予めユーザにより登録される。

各種機能情報は、支援システム１００が提供可能な機能の情報である。例えば、ナビゲーション機能、ＩＳＣ機能、手術マニピュレータ機能などの有無を示す情報である。

術具情報は、支援システム１００が支援可能な術具の情報である。例えば、マニピュレータ、内視鏡、穿刺針、鉗子などである。術具の種類、それぞれの本数、状態（使用の可、不可）などの情報が予めユーザにより登録される。

患者情報は、データ取得装置６００が取得した患者に関する情報である。本実施形態では、ＩＳＣ機能や３Ｄスキャンにより取得された二次元画像（２Ｄナビ）と三次元画像（３Ｄナビ）、脈波計により取得した脈拍データ、脳波計により取得した脳波データ、呼吸計により取得した呼吸データ、体温計により取得した体温データなどである。各種の患者情報は、それぞれ、取得時刻、取得したシーン識別番号に対応づけて独立に記憶装置３００に格納される。また、映像・手術情報記録管理部２６０によりそれぞれ独立に抽出され、画面データに使用される。

術具姿勢情報は、データ取得装置６００が取得した術具の位置および姿勢を特定する情報である。図２に、術具姿勢情報１０００の一例を示す。本図に示すように、マニピュレータ１００１、内視鏡１０１０、穿刺針１０２０、鉗子１０３０それぞれについて、取得時刻１００２に対応づけて、先端座標（ＤＩＣＯＭ座標）１００３と、方向ベクトル１００４と、腫瘍までの最短距離（ｍｍ）１００５と、治療範囲１００６とが格納されている。ここで、治療範囲１００６には、先端座標１００３が手術シミュレーションで決定した予定手術領域内にあるか否か、また、手術を完了したか否かを示すフラグが格納される。例えば、手術がまだなされず、術具の先端が予定手術領域内にもない場合は、「−」が、手術はまだなされていないが、術具の先端は予定手術領域内にある場合は、「○」、手術済みの場合は、「●」が格納される。

次に、映像・手術情報記録管理部２６０が生成する画面データについて説明する。映像・手術情報記録管理部２６０は、手術進行管理処理部２１０、手術シミュレーション処理部２４０、記録再生処理部２５０の指示に従って、記憶装置３００から所定のデータを抽出して画面データを生成する。生成された画面データは、出力装置４００に送信され、ディスプレイ等に表示される。

映像・手術情報記録管理部２６０が生成する画面データは、シーン選択画面７００と、通常表示画面８００と、各種手術情報記録画面９００と、手術領域比較表示画面１１００と、シーン別機能時系列表示画面１２００と、記録再生表示画面１３００と、シミュレーション表示画面１４００と、である。

以下、各画面データにより出力装置５００のディスプレイ上に表示される画面例について説明する。

シーン選択画面７００は、各手術シーンの最初に表示させ、ユーザから支援するシーンの指定を受け付けるための画面である。ユーザから手術支援開始の指示を受け付けた場合、または、シーンの終了を意味する指示を受け付けた場合、手術進行管理処理部２１０が映像・手術情報記録管理部２６０に生成させ、表示する。図３は、シーン選択画面７００の表示例である。

シーン選択画面７００には、支援対象とする手術において必要な全シーンの一覧７０１と、手術支援システム終了の意思を受け付ける終了ボタン７０２とが表示される。なお、シーンの一覧において各シーン特定情報は、当該シーンの選択を受け付けるシーンボタンとして生成される。これらは記憶装置３００に格納されているシーン管理情報から抽出され、画面データとして生成される。

通常表示画面８００は、通常支援モード時にデフォルトで表示される画面であり、手術支援処理部２２０が算出した３軸断面画像、ボリュームレンダリング画像、リアルタイム画像、術具の位置および姿勢を示す画像と、データ取得装置６００で取得した各種の情報と、手術支援システム１００で支援可能な機能の選択を受け付けるボタンと、モードおよび表示変更の指示等を受け付けるボタンとが表示される。

図４は通常表示画面８００の一例を示す図である。本図は、シーン１４の患部手術を実施中の通常表示画面８００の例である。表示領域上部左側８０２には手術ナビゲーション機能により生成された画像が表示される。具体的には、３軸断面８０６，８０７，８０８とＶｏｌｕｎｅ Ｒｅｎｄｅｒｉｎｇ 画像８０９とが表示される。ここで、８１５は術具位置を示す。表示領域上部右側８０３にはＩＳＣ機能による画像８１２と、直前の手術シミュレーションで決定した特定領域（血管、腫瘍等）８１８，８１９，８２０や術具８１６，８１７のみを独立して表示する画像８１４と、各種情報８２１とが表示される。本例では、各種情報として、装置情報、患者情報、各種機能情報、術具情報が表示されている。

表示領域下部左側８４０には、本シーンで支援可能な機能のＯＮ／ＯＦＦの指示を受け付けるボタンが表示される。具体的には、３Ｄ撮像を行う指示を受け付けるＴＷボタン８０４、８０５と、ＩＳＣの実施の有無を受け付けるＩＤＣボタン８１１と、手術ナビゲーション実施の有無を受け付けるナビゲーションボタン８１３とである。

表示領域下部右側８４１には、他の表示画面、モードに移行する指示を受け付けるボタン群８３１が表示される。ここでは、各種手術情報記録画面９００の表示の指示を受け付ける各種手術情報記録ボタン８３２と、シーン終了後に比較解析処理を実行する指示を受け付ける手術領域比較ボタン８３３と、手術シミュレーションモードに移行する指示を受け付ける手術シミュレーションモードボタン８３５と、記録再生モードに移行する指示を受け付ける記録再生モードボタン８３４とを備える。

各種手術情報記録画面９００は、現在までに完了した全シーンを時系列に表示する。各種手術情報記録画面９００は、通常表示画面８００において、各種手術情報記録ボタン８３２の押下を受け、手術進行管理処理部２１０が映像・手術情報記録管理部２６０に作成させる。映像・手術情報記録管理部２６０は、シーン実行情報等が用い、各種手術情報記録画面９００の画面データを作成する。

図５は、シーン時系列表示画面９００の一例を示す図であり、シーン１４まで完了した場合であって、シーン１４が選択された場合を示す。表示領域上部９１０には、時刻を基準とした時間軸表示９２０と、シーンの開始終了時刻を基準としたシーン別表示９２１と、選択されたシーンで表示可能な患者情報のプレビュー表示９２４とが表示される。シーン１４を示す領域９２３が押下されると、手術進行管理処理部２１０は、シーン１４のプレビュー表示９２４を主表示部５１００の最下欄に表示させる。なお、プレビュー表示９２４は当該プレビューの詳細表示の選択の指示を受け付ける領域と構成してもよい。

表示領域下部左側９２６には、選択されたシーンの詳細な情報が表示される。ここでは、記録時間９２５が表示されている。

表示領域下部右側９２７には、通常表示画面８００と同様、他の表示画面、モードに移行する指示を受け付けるボタン群８３１が表示される。各ボタンの押下による指示は、基本的に通常表示画面８００の場合と同様である。ただし、各種手術情報記録ボタン８３２の押下は、通常表示画面８００の表示に戻る指示を意味する。

手術領域比較表示画面１１００は、直前に行った手術シミュレーションで決定した予定手術領域と手術中に取得したデータから手術支援処理部２２０が算出した実手術領域とを重ね合わせて表示するための画面である。手術領域比較表示画面１１００は、通常表示画面８００において、手術領域比較ボタン８３３の押下を受け、手術進行管理処理部２１０が映像・手術情報記録管理部２６０に作成させる。

図６は、手術領域比較表示画面１１００おいて、シーン１４のＭＲＩ撮像が選択された場合の表示例である。

表示領域上部左側１１０２には、３軸断面の画像１１０３、１１０４、１１０５とボリュームレンダリング画像１１０６とが表示される。それぞれ、経過時刻１１３２の時点での取得データ（撮像データ）から算出した画像と直前の手術シミュレーションにより得た画像とが重畳表示される。

表示領域上部右側１１４１には、予定手術領域１１４５と実手術領域１１４４との拡大図１１４３および詳細な情報１１５１が表示される。詳細な情報１１５１には、実手術領域と予定手術領域との差（全軸方向の距離）が手術情報として表示される。さらに、手術情報として、例えば、計算結果（実手術領域／未手術領域（残手術領域））、手術時間、病変・予定手術領域の直径／半径、手術インターバルタイム、各種経過時間、脈拍等患者情報などが表示される。残手術領域については、体積、重心、術具に対する方向、距離情報などを表示してもよい。

表示領域下部左側１１０７には、表示対象のシーン１１３０（ここでは、シーン１４）の手術を開始してからの経過時間１１３２が表示される。ここで、時間軸を、予め格納されているシーン１４の予定手術時間１１３１としてもよい。

表示領域下部右側１１０８には、通常表示画面８００と同様、他の表示画面、モードに移行する指示を受け付けるボタン群８３１が表示される。各ボタンの押下による指示は、基本的に通常表示画面８００の場合と同様である。ただし、手術領域比較ボタン８３３の押下は、通常表示画面８００の表示に戻る指示を意味する。

シーン別機能時系列表示画面１２００は、記録再生を行うシーンを決定するために、手術中に記録した各種の情報を独立かつ時系列に表示するための画面である。シーン別機能時系列表示画面１２００は、通常表示画面８００において、記録再生ボタン８３４の押下を受け、手術進行管理処理部２１０が映像・手術情報記録管理部２６０に生成させる。映像・手術情報記録管理部２６０は、シーン実行情報、患者情報等を用い、シーン別機能時系列表示画面１２００の画面データを作成する。

図７は、シーン別機能時系列表示画面１２００の一例を示す図である。表示領域上部左側１２１０には、実行されたシーン１２１１が識別番号とともに表示され、再生を行うシーンの選択を受け付ける。表示領域上部右側１２１２には、選択されたシーンの手術中に取得され、表示可能な情報の一覧１２１２が表示される。

表示領域下部左側１２２４には、選択されたシーン（ここでは、シーン３）のシーン特定情報１２２１と、その時間軸１２２２と、再生情報１２２３とが表示される。

表示領域下部右側１２２５には、通常表示画面８００と同様、他の表示画面、モードに移行する指示を受け付けるボタン群８３１が表示される。各ボタンの押下による指示は、基本的に通常表示画面８００の場合と同様である。ただし、記録再生ボタン８３４の押下は、表示領域上部左側１２１０のボタンにより選択したシーンの情報の再生の指示を意味する。

記録再生表示画面１３００は、シーン別機能時系列表示画面１２００で選択されたシーンにおける各種データの再生表示を行うための画面である。シーン別機能時系列表示画面１２００において、記録再生ボタン８３４が押下されたことを受け、記録再生モード処理部が映像・手術情報記録管理部２６０に作成させる。

図８は、記録再生表示画面１３００の一例を示す図である。ここでは、シーン３のＭＲＩ撮像が選択された場合の例を示す。

表示領域上部左側１３０１には、選択されたシーンの手術中に取得され、表示可能な情報の一覧が表示される。表示領域上部右側１３０２には、術具位置情報１３０３と、装置情報、各種機能情報、患者情報、術具情報等１３０４が表示される。

表示領域下部右側１３０５には、選択されたシーン（ここでは、シーン３）のシーン特定情報１３１０と、その時間軸１３１１と、再生情報１３１２とが表示される。

表示領域下部右側１３０６には、通常表示画面８００と同様、他の表示画面、モードに移行する指示を受け付けるボタン群８３１が表示される。各ボタンの押下による指示は、基本的に通常表示画面８００の場合と同様である。ただし、記録再生ボタン８３４の押下は、記録再生モードを終了し、通常支援モードに戻る指示を意味する。

シミュレーション表示画面１４００は、手術シミュレーションの様子を表示するための画面である。本画面は、手術シミュレーションボタン８３５の押下を受けると、手術シミュレーションモードが映像・手術情報記録管理部２６０に表示させる。シミュレーション表示画面１４００上には、実手術領域と予定手術領域とを３次元相対表示させる。また、実手術領域と予定手術領域との比較情報、まだ手術していない領域（残手術領域）情報、その他各種手術を進行するために必要な情報であって、記憶装置３００に格納されている情報が表示される。残手術領域については、体積、重心、術具に対する方向、距離情報などを表示してもよい。

手術シミュレーションでは、仮想術具操作と、仮想手術とを行なうことができる。これらの機能は、例えば、手術シミュレーションモードボタン８３５の押下を受けた後、メニュー画面を表示させて、いずれかを選択できるようにしてもよい。仮想術具操作に続いて、仮想手術を行なうようにしてもよい。

図９は、術具の操作をシミュレートする仮想術具操作時のシミュレーション表示画面１４００例である。本実施形態の映像・手術情報記録管理部２６０は、手術シミュレーション中、リアルタイム映像または３Ｄ画像上に仮想術具をＣＧ表示させる。

表示領域上部左側１４１０には、３軸断面の画像１４１１、１４１２、１４１３とボリュームレンダリング画像１４１４とが表示される。術具位置ログ情報（術具姿勢情報）から生成した術具の軌跡１４４１、１４４２、１４４３、１４４４と、シミュレーション時に仮想的に操作した仮想術具のログ情報からリアルタイムに生成した軌跡１４５２、１４５３、１４５４、１４５５とが、これらの画像上に重畳表示される。

また図示していないが、手術シミュレーションに必要な情報の入力を促す表示をウィンドウ等で表示させてもよい。例えば、マウス操作による予定手術領域の登録、アクセス可領域/不可領域の登録などである。

表示領域上部右側１４３１には、術具姿勢情報１４３２が、実際の取得データによるもの１４３４と、シミュレーションによるもの１４５１とが表示される。また、装置情報、各種機能情報、術具情報、患者情報といった情報１４３３が表示される。

表示領域下部左側１４３４には、選択されたシーン（ここでは、シーン１０）のシーン識別番号およびシーン特定情報１４２０と、その時間軸１４２１と、再生情報１４２２とが表示される。

表示領域下部右側１４３５には、通常表示画面８００と同様、他の表示画面、モードに移行する指示を受け付けるボタン群８３１が表示される。すなわち、手術シミュレーション中であっても、各種手術情報記録ボタン８３２の押下を受け付けると、各種手術情報記録画面９００が表示され、手術領域比較ボタン８３３の押下を受け付けると手術領域比較表示画面１１０が表示される。ただし、シミュレーション表示画面１４００では、記録再生ボタン８３４の代わりに、手術経路を探索する指示を受け付ける手術経路探索ボタン１４０１を備える。また、本表示画面上での手術シミュレーションボタン８３５の押下は、手術シミュレーションモードを終了し、通常支援モードに戻る指示を意味する。

図１０は、仮想手術をシミュレートする仮想手術実施時のシミュレーション表示画面１５００例である。

表示領域上部左側１５０２には、３軸断面の画像１５０３、１５０４、１５０５とボリュームレンダリング画像１５０６とが表示される。軌跡術具位置ログ情報（術具姿勢情報）から生成した術具の軌跡１５１０、１５１１、１５１２、１５１３と、シミュレーション時に仮想的に操作した仮想術具のログ情報から生成した軌跡１５２１、１５２２、１５２３、１５２４とが、これらの画像上に重畳表示される。また、最新のデータから算出した最新の予定手術領域１５４２も重畳表示される。

表示領域上部右側１５４１には、手術領域の拡大図１５４３と手術情報１５５１とが表示される。手術領域の拡大図１５４３には、既に手術した領域である実手術領域１５４４と、本手術シミュレーション時に決定された予定手術領域１５４５とが表示される。また、手術情報１５５１には、実手術領域と予定手術領域との差（全軸方向の距離）が表示される。さらに、手術情報として、例えば、計算結果（ＭＡＸ/ＭＩＮ）表示、手術経過および残手術時間、病変・予定手術領域の直径／半径、手術インターバルタイム、各種経過時間、脈拍等患者情報、アラーム等が表示される。

表示領域下部左側１５４４には、選択されたシーン（ここでは、シーン１０）のシーン識別番号およびシーン特定情報１５３０と、その時間軸１５３１と、再生情報１５３２とが表示される。

表示領域下部右側１５４５には、通常表示画面８００と同様、他の表示画面、モードに移行する指示を受け付けるボタン群８３１が表示される。ただし、記録再生ボタン８３４の代わりに、仮想手術の指示を受け付ける仮想手術ボタン１５０１を備える。仮想手術ボタン１５０１の押下により、予め登録された術具による加熱治療や凍結治療を所定時間行なった場合の加熱領域或いは凍結領域の範囲などが算出され、表示される。図示していないが、仮想手術に必要な情報（術具情報や手術時間など）を入力するための入力ウィンドウを表示させてもよい。

また、本表示画面上での手術シミュレーションボタン８３５の押下は、手術シミュレーションモードを終了し、通常支援モードに戻る指示を意味する。

なお、仮想手術ボタン１５０１の押下により表示される、加熱領域あるいは凍結領域の範囲は、予め登録された情報をもとに算出される。以下、両領域の算出について、図１３および図１４を用いて説明する。

加熱治療および凍結治療による治療領域は、適用部位ごとに異なる。このため、類似の臓器群(ケース）ごとに、各術具について、所定条件下で所定時間、加熱治療および／または凍結治療を行った場合に治療されると考えられる領域（個別仮想治療領域）を登録しておく。図１３に穿刺針１６０１を術具として用いる場合に登録される個別仮想治療領域の一例を示す。ここでは、血管、尿管、膀胱、前立腺等のケース１の臓器群では、凍結治療領域１６０３／温熱治療領域１６０４はそれぞれ、１ｍｍ／５ｍｍ、後腹膜、胆道、胆管等のケース２の臓器群では、凍結治療領域１６１３／温熱治療領域１６１４はそれぞれ１５ｍｍ／１０ｍｍ、副腎、小腸（十二指腸）、膵臓等のケース３の臓器群では、凍結治療領域１６２３／温熱治療領域１６２４はそれぞれ２０ｍｍ／１０ｍｍ、腎、胃、大腸（直腸）等のケース４の臓器群では、凍結治療領域１６３３／温熱治療領域１６３４はそれぞれ２５ｍｍ／１５ｍｍ、子宮、肝臓等のケース５の臓器群では、凍結治療領域１６４３／温熱治療領域１６４４はそれぞれ３０ｍｍ／２０ｍｍと登録されている。

図１４は、図１３に登録されたケースごとの個別仮想治療領域を用いて算出される仮想治療領域を説明するための図である。例えば、手術シミュレーション時に、穿刺針１７０２が、肝臓、血管、腎が重なり合う位置に移動した場合、それぞれの臓器の個別治療範囲を合成し、仮想治療領域を算出する。ここでは、肝臓１７１２の個別仮想治療領域１７１３と、腎１７２２の個別仮想治療領域１７２３と、血管１７３２の個別仮想治療領域１７３３とを合成し、重なり合った領域１７４２を、加熱領域あるいは凍結領域の範囲として算出、表示させる。このような仮想手術ボタン１５０１による仮想治療により、ユーザは登録された術具を用いた場合に治療される領域を予測できる。

上記の各機能、表示画面を用いて、本実施形態の手術支援システム１００により行う手術の支援の処理フローの一例を以下に説明する。ここでは、ＭＲＩ装置がデータ取得装置６００の１つとして接続されている場合を例にあげて説明する。図１１は、本実施形態の手術支援システム１００による手術支援の流れを説明する処理フローである。

手術支援システム１００が手術支援開始の指示を受け付けると、手術進行管理処理部２１０は、カウンタｎ（ｎは自然数）を１とする（ステップ１０１）。そして、シーン選択画面７００を表示させる（ステップ１０２）。

手術進行管理処理部２１０は、シーン選択画面７００を介して所定のシーンの実行の指示を受け付けると（ステップ１０３）、映像・手術情報記録管理部２６０に通常画面８００を表示させるとともに、シーン情報から選択されたシーンの実行に必要な支援情報を読み出させる。そして、シーン終了の指示を受け付けるまで、手術支援処理部２２０に必要な支援を行わせる。また、手術進行管理処理部２１０は、映像・手術情報記録管理部２６０に、カウンタｎをシーン識別番号とし、選択されたシーンのシーン特定情報に対応付けてシーン実行情報として格納させる（ステップ１０４）。

シーン実行中に、各種手術情報記録ボタン８３２の押下を受け付けた場合（ステップ１０５）、手術進行管理処理部２１０は、映像・手術情報記録管理部２６０に、終了の指示を受け付けるまで、各種手術情報記録表示画面９００を表示させる（ステップ１０６、１０６ａ）。

手術進行管理処理部２１０は、シーン処理終了の意思を受け付け（ステップ１０７）、手術領域比較ボタン８３３の押下を受け付けた場合（ステップ１０８）、手術領域比較処理部２３０にその時点での最新のデータを用いて比較処理を行わせ、その結果を、映像・手術情報記録管理部２６０に、手術領域比較表示画面１１００を表示させる（ステップ１０９）。手術進行管理処理部２１０は、終了の指示を受け付けると（ステップ１０９ａ）、カウンタｎを１インクリメントし（ステップ１１０）、ステップ１０２に戻り、シーン選択画面７００を表示にさせる。

一方、ステップ１０３において、手術進行管理処理部２１０は、手術シミュレーションモードボタン８４０の押下を受け付けた場合（ステップ１１１）、術中シミュレーションモードに移行する（ステップ１１２）。手術進行管理処理部２１０は、手術シミュレーションが終了すると、カウンタｎを１インクリメントし（ステップ１１３）、ステップ１０２に戻り、シーン選択画面７００を表示させる。

また、ステップ１０３において、手術進行管理処理部２１０は、記録再生モードボタン８３４の押下を受け付けた場合（ステップ１２１）、記録再生モードに移行する。

記録再生モードでは、記録再生処理部２５０は、映像・手術情報記録管理部２６０に、シーン別機能時系列表示画面１２００を表示させ、再生するシーンの選択を受け付け（ステップ１２２）、選択されたシーンの実行中に記録した情報を、記録再生表示画面１３００を用いて再生表示する（ステップ１２３）。

記録再生処理部２５０は、終了の指示を受け付けると（ステップ１２４）、ステップ１０２に戻り、シーン選択画面７００を表示させる。

なお、ステップ１０３において、手術進行管理処理部２１０は、終了の指示を受け付けた場合、手術支援システム１００による処理を終了する。

ステップ１１２の手術シミュレーションモード時の処理フローについて説明する。図１２は、本実施形態の手術支援システム１００による手術中に行われる手術シミュレーションの処理フローである。ここでは、手術シミュレーション処理部２４０は、仮想術具操作を行って最適経路を決定し、その後、仮想手術を行い、手術方法を決定する。

手術シミュレーション処理部２４０は、手術シミュレーションモードへの移行の指示を受け付けると、その時点での最新のデータを用いて、手術領域比較処理部２３０に比較処理を行わせ（ステップ２０１）、その結果を手術領域比較表示画面１１００として表示する（ステップ２０２）。

手術シミュレーション処理部２４０は、手術器具、手術方法の選択を受け付け（ステップ２０３）、仮想術具操作時の手術シミュレーション表示画面１４００を表示し、仮想術具操作の様子をユーザに提示する（ステップ２０４）。上述のように、本実施形態の手術支援システム１００では、これまでに取得した術具姿勢情報から算出した術具の軌跡も重畳表示される。

手術シミュレーション処理部２４０は、手術器具挿入経路の探索を行い、最適な手術経路を計算する（ステップ２０５）。

手術シミュレーション処理部２４０は、ユーザから仮想手術実施の指示を受け付けた場合、仮想手術実施時の手術シミュレーション表示画面１５００を表示し、仮想手術の様子をユーザに提示する（ステップ２０６）。上述のように、本実施形態の手術支援システム１００では、手術領域比較処理部２３０が算出した実手術領域と直前の手術シミュレーションによる予定手術領域とが重畳表示される。

手術シミュレーション処理部２４０は、本シミュレーションによる手術プランを確定し（ステップ２０７）、記憶装置３００の手術プランを更新する（ステップ２０８）。

手術シミュレーション処理部２４０は、手術シミュレーション終了の指示を受け付けると、カウンタｎを１インクリメントし、図１１の処理フローのステップ１０２に戻る。

以上説明したように、本実施形態によれば、直前の手術シミュレーションにより決定した手術領域や手術経路の画像上に、実際の手術データである手術進行情報がリアルタイムで重畳表示される。従って、ユーザは、残手術領域、または、手術計画と実際の手術の進行とのずれを容易に把握することができる。また、本実施形態によれば、ユーザは、手術中に、手術シミュレーションを行うことができるため、手術計画とのずれに応じて、再シミュレーションを適宜行うことができる。再シミュレーションの結果を手術支援ガイドとしてフィードバックすることにより、精度の高い手術支援をユーザに提供することができる。

本実施形態によれば、最新のデータから得た手術ガイド情報を用いて手術の支援を行うことができるため、手術精度を向上させ、手術における治療時間を短縮し、ユーザ、患者双方の負担を軽減可能となる。

なお、上記実施形態では、患部手術のシーンについても、ユーザからの指示により終了を判断しているが、これに限られない。例えば、手術進行管理処理部２１０が手術領域比較処理部２３０に所定の時間間隔で実手術領域と予定手術領域との差分を計算させ、実手術領域が予定手術領域の範囲を全て覆った場合、患部手術のシーンを終了と判断するよう構成してもよい。
また、上記実施形態では、各シーンをユーザの選択順に実行するよう構成しているが、これに限られない。予め各シーンの実行順を定め、ユーザから開始の指示を受け付けることにより、順に実行するよう構成してもよい。予め実行順を定めた場合、ユーザからの開始の指示を待たず、所定の動作が行われたことをトリガとして各シーンを開始するよう構成してもよい。例えば、「全身麻酔」のシーンの場合、麻酔機の起動、「体位確保」のシーンの場合、手術台の移動、「ＭＲＩ撮像」の場合、ＭＲＩ装置の起動、「プランニング」シーンの場合、プランニングソフトの起動、「手術機器セットアップ」シーンの場合、手術機器の起動、「患部洗浄」シーンの場合、洗浄装置の起動など、各シーンで用いる機器の起動等をトリガとすることができる。

本発明の実施形態の手術支援システムの構成図である。 本発明の実施形態の術具姿勢情報の一例を示す図である。 本発明の実施形態のシーン選択画面の表示例である。 本発明の実施形態の通常表示画面の表示例である。 本発明の実施形態のシーン時系列表示画面の表示例である。 本発明の実施形態の手術領域比較表示画面の表示例である。 本発明の実施形態のシーン別機能時系列表示画面の表示例である。 本発明の実施形態の記録再生表示画面の表示例である 本発明の実施形態の仮想術具操作時のシミュレーション表示画面の表示例である。 本発明の実施形態の仮想手術実施時のシミュレーション表示画面の表示例である。 本発明の実施形態の手術支援の流れを説明する処理フローである。 本発明の実施形態の手術シミュレーションの処理フローである。 本発明の実施形態の臓器ごとの治療領域の登録を説明するための図である。 本発明の実施形態の仮想治療領域算出を説明するための図である。

符号の説明

１００：手術支援システム、２００：情報処理装置、２１０：手術進行管理処理部、２２０：手術支援処理部、２３０：手術領域比較処理部、２４０：手術シミュレーション処理部、２５０：記録再生処理部、２６０：映像・手術情報記録管理部、３００：記憶装置、４００：出力装置、５００：入力装置、６００：データ取得装置、７００：シーン選択画面、８００：通常表示画面、９００：各種手術情報記録画面、１０００：術具姿勢情報、１１００：手術領域比較表示画面、１２００：シーン別機能時系列表示画面、１３００：記録再生表示画面、１４００：シミュレーション表示画面、１５００：シミュレーション表示画面

Claims (6)

1. 手術空間に置かれた被検体の画像を含む情報をリアルタイムで取得するデータ取得手段と、記憶手段と、表示手段と、情報処理手段と、を備える手術支援システムであって、
   前記情報処理手段は、
   支援対象である手術を構成する全工程を１以上のステップに区切ったシーン毎に、実際の手術の支援を行い、前記データ取得手段がリアルタイムで取得する情報を画像情報として前記記憶手段に記憶するとともに、前記画像情報から実際に手術がなされた領域である実手術領域を算出する手術支援手段と、
   前記被検体の画像を前記表示手段に表示させてユーザによる手術シミュレーションを支援し、ユーザからの指定に従って決定される予定手術領域および手術シミュレーション結果を、当該手術シミュレーションを実行した時刻を特定する情報とともに手術プランとして前記記憶手段に記憶する手術シミュレーション支援手段と、
   前記手術支援手段が前記シーンの手術の支援を終える毎に、当該シーンの前記実手術領域と、直前に行われた前記手術シミュレーションで決定した前記予定手術領域とを合成した画像を、前記画像情報に重畳して表示させるデータを生成し、前記記憶手段に記憶する手術領域比較手段と、
   前記記憶手段に記憶された情報を前記シーン毎に管理し、ユーザからの指示に従って、当該情報を用いて画面データを生成して前記表示手段に画面を表示する手術情報管理手段と、
   ユーザが選択したシーンの情報を再生する再生手段と、を備え、
   前記手術情報管理手段が生成する画面データにより前記表示手段に表示される画面には、現在までに完了した全シーンを時系列に表示する各種手術情報記録画面と、前記手術領域比較手段が生成したデータを表示する手術領域比較表示画面と、前記記憶手段に記憶された情報をシーン毎に独立かつ時系列に表示して前記再生手段で再生を行うシーンの選択を受け付けるシーン別機能時系列表示画面と、があり、
   前記手術情報管理手段が生成する各画面データにより表示される画面は、それぞれ、手術シミュレーション開始のおよび終了のいずれか一方の指示を受け付ける領域を備え、
   前記手術支援手段は、最新の手術プランを用いて手術を支援すること
   を特徴とする手術支援システム。
2. 請求項１記載の手術支援システムであって、
   前記データ取得手段がリアルタイムで取得する情報は、術具の位置および姿勢を示す画像をさらに含むこと
   を特徴とする手術支援システム。
3. 請求項１記載の手術支援システムにおいて、
   前記手術シミュレーション結果は、予定穿刺開始点、予定穿刺目標点、予定手術経路、予定術具、アクセス可／不可領域の情報を含み、当該情報も手術プランとして前記記憶手段に記憶されること
   を特徴とする手術支援システム。
4. 請求項１から３いずれか１項記載の手術支援システムであって、
   前記データ取得手段は、磁気共鳴撮像装置であり、
   前記手術シミュレーション支援手段が前記表示手段に表示する前記画像は、前記磁気共鳴撮像装置が取得した磁気共鳴画像であること
   を特徴とする手術支援システム。
5. 請求項１から４いずれか１項記載の手術支援システムであって、
   前記手術シミュレーション支援手段は、さらに、仮想術具操作と仮想手術との少なくとも一方の実行を支援すること
   を特徴とする手術支援システム。
6. 請求項１から５いずれか１項記載の手術支援システムであって、
   前記情報処理手段は、
   手術の進行を管理する手術進行管理手段をさらに備え、
   前記手術進行管理手段は、
   ユーザからの指示に従って、前記手術支援手段による実際の手術の支援と、前記手術シミュレーション支援手段による手術シミュレーションの支援と、前記再生手段による再生と、のいずれかを実行すること
   を特徴とする手術支援システム。

Images