JP7264689B2 - 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム - Google Patents

Description

本開示は、医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに関する。

従来、術式の１つとして、単孔式腹腔鏡下手術（ＳＩＬＳ:Single Incisional Laparoscopic Surgery）が知られている。ＳＩＬＳでは、患部等のターゲットに向かって医療的処置を行うために、単一のポートから手術器具が挿入される（特許文献１参照）。

米国特許第８５１７９３３号明細書

本開示は、被検体のポートを介して挿入される手術器具による被検体への負担の状況を可視化できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムを提供する。

本開示の一態様は、医用画像処理装置であって、取得部と、処理部と、表示部と、を備え、前記取得部は、被検体のボリュームデータを取得する機能を有し、前記処理部は、前記ボリュームデータに基づく３Ｄデータにおいて、前記被検体の上皮組織に配置されるポートと前記被検体の内部に配置されるターゲットとを設定し、前記３Ｄデータを可視化して上皮組織を非表示とし、透明化し、又は半透明化した画像とともに、前記ポートの位置における、前記ポートから前記ターゲットに至るよう挿入される手術器具と前記被検体の上皮組織との成す角度を示す情報を、前記表示部に表示させる、機能を有する、医用画像処理装置、である。

本開示によれば、被検体のポートを介して挿入される手術器具による被検体への負担の状況を可視化できる。

第１の実施形態における手術支援装置のハードウェア構成例を示すブロック図 手術支援装置の機能構成例を示すブロック図 体表に設置されたポートに挿入されたポート気密保持器具の一例を示す模式図 術前シミュレーションにおけるポートに挿入される鉗子と体表との角度に関する角度情報を説明するための図 角度情報の第１表示例を示す図 角度情報の第２表示例を示す図 角度情報の第３表示例を示す図 角度情報の第４表示例を示す図 レンダリング画像と体表上に配置されたポート位置設定ＵＩとの表示例を示す図 ポート位置設定ＵＩを説明するための図 角度情報の第５表示例を示す図 角度情報の第６表示例を示す図 角度情報の第７表示例を示す図 角度情報の第８表示例を示す図 手術支援装置の動作例を示すフローチャート

以下、本開示の実施形態について、図面を用いて説明する。

（本開示の一形態を得るに至った経緯）
ＳＩＬＳでは、被検体内部での気密を保持するために、ポート気密保持器具が用いられる。ＳＩＬＳのポート気密保持器具は、比較的太めに設計されており、また、体表において斜めに捻り難い。そのため、ＳＩＬＳにおいてポートを設置できる場所は限定される。また、手術器具が挿入された被検体の体表（皮膚）等への負担が大きくなり易い。

以下の実施形態では、被検体のポートを介して挿入される手術器具による被検体への負担の状況を可視化できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムについて説明する。

（第１の実施形態）
図１は、第１の実施形態における医用画像処理装置１００の構成例を示すブロック図である。医用画像処理装置１００は、取得部１１０、ＵＩ１２０、ディスプレイ１３０、プロセッサ１４０、及びメモリ１５０を備える。医用画像処理装置１００は、術者の手動による手術（手動手術とも称する）又はロボット手術を画像処理によって支援する。

医用画像処理装置１００には、ＣＴ装置２００が接続される。医用画像処理装置１００は、ＣＴ装置２００からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置１００は、ＰＣとＰＣに搭載されたソフトウェアにより構成されてもよい。

ＣＴ装置２００は、被検体へＸ線を照射し、体内の組織によるＸ線の吸収の違いを利用して、画像（ＣＴ画像）を撮像する。被検体は、生体、人体、動物、等を含んでよい。ＣＴ装置２００は、被検体内部の任意の箇所の情報を含むボリュームデータを生成する。ＣＴ装置２００は、ＣＴ画像としてのボリュームデータを医用画像処理装置１００へ、有線回線又は無線回線を介して送信する。ＣＴ画像の撮像には、ＣＴ撮像に関する撮像条件や造影剤の投与に関する造影条件が考慮されてよい。

医用画像処理装置１００内の取得部１１０は、通信ポートや外部装置接続ポート、組み込みデバイスへの接続ポートを含み、ＣＴ装置２００で得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ１４０に送られて各種処理されてもよいし、メモリ１５０において保管された後、必要時にプロセッサ１４０へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。また、ボリュームデータは中間データ、圧縮データやシノグラムの形で取得されてもよい。また、ボリュームデータは医用画像処理装置１００に取り付けられたセンサデバイスからの情報から取得されてもよい。このように、取得部１１０は、ボリュームデータ等の各種データを取得する機能を有する。

ＵＩ１２０は、例えば、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。ＵＩ１２０は、医用画像処理装置１００のユーザから、任意の入力操作を受け付ける。ユーザは、術者、医師、看護師、放射線技師、学生、等を含んでよい。

ＵＩ１２０は、各種操作を受け付ける。例えば、ボリュームデータやボリュームデータに基づく画像（例えば後述する３次元画像、２次元画像）における、関心領域（ＲＯＩ）の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織（例えば、血管、気管支、臓器、器官、骨、脳）の領域を含んでよい。組織は、病変組織、正常組織、腫瘍組織、等を含んでよい。

ディスプレイ１３０は、例えばＬＣＤを含んでよく、各種情報を表示する。各種情報は、ボリュームデータから得られる３次元画像や２次元画像を含んでよい。３次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像、仮想超音波画像、ＣＰＲ画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム（RaySum）画像、ＭＩＰ画像、ＭｉｎＩＰ画像、平均値画像、レイキャスト画像、等を含んでもよい。２次元画像は、アキシャル画像、サジタル画像、コロナル画像、ＭＰＲ画像、等を含んでよい。

メモリ１５０は、各種ＲＯＭやＲＡＭの一次記憶装置を含む。メモリ１５０は、ＨＤＤやＳＳＤの二次記憶装置を含んでもよい。メモリ１５０は、ＵＳＢメモリやＳＤカードの三次記憶装置を含んでもよい。メモリ１５０は、各種情報やプログラムを記憶する。各種情報は、取得部１１０により取得されたボリュームデータ、プロセッサ１４０により生成された画像、プロセッサ１４０により設定された設定情報、各種プログラムを含んでもよい。メモリ１５０は、プログラムが記録される非一過性の記録媒体の一例である。

プロセッサ１４０は、ＣＰＵ、ＤＳＰ、又はＧＰＵを含んでよい。プロセッサ１４０は、メモリ１５０に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部１６０として機能する。

図２は、処理部１６０の機能構成例を示すブロック図である。処理部１６０は、領域処理部１６１、変形処理部１６２、画像生成部１６３、位置設定部１６４、角度情報処理部１６５、及び表示制御部１６６を備える。なお、処理部１６０に含まれる各部は、１つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部１６０に含まれる各部は、専用のハードウェア部品により実現されてもよい。

領域処理部１６１は、例えば取得部１１０を介して、被検体のボリュームデータを取得する。領域処理部１６１は、ボリュームデータに含まれる任意の領域を抽出する。領域処理部１６１は、例えばボリュームデータの画素値に基づいて、自動で関心領域を指定し、関心領域を抽出してよい。領域処理部１６１は、例えばＵＩ１２０を介して、手動で関心領域を指定し、関心領域を抽出してよい。関心領域は、臓器、骨、血管、患部（例えば病変組織や腫瘍組織）、等の領域を含んでよい。

変形処理部１６２は、手術対象の被検体における変形に関する処理を行う。例えば、変形処理部１６２は、仮想的に被検体ＰＳに対して気腹する気腹シミュレーションを行ってよい。気腹シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献１に記載された方法でよい。つまり、変形処理部１６２は、非気腹状態のボリュームデータを基に、気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成してよい。気腹シミュレーションにより、ユーザは、被検体に対して実際に気腹しなくても、被検体が気腹された状態を仮定し、仮想的に気腹された状態を観察できる。なお、気腹状態のうち、気腹シミュレーションにより推定される気腹の状態を仮想気腹状態と称し、実際の気腹された状態を実気腹状態と称してよい。

（参考非特許文献１）Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention), 2004, P559-P567

気腹シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形処理部１６２は、被検体の皮下脂肪を含む体表と、被検体の腹部内臓と、をセグメンテーションしてよい。そして、変形処理部１６２は、体表を皮膚と体脂肪との２層の有限要素にモデル化し、腹部内臓を有限要素にモデル化してよい。変形処理部１６２は、任意に、例えば肺と骨とをセグメンテーションし、モデルに追加してよい。また、体表と腹部内臓との間にガス領域を設け、仮想的なガス注入に応じてガス領域（気腹空間）が拡張（膨張）してよい。

変形処理部１６２は、被検体ＰＳ内の臓器や病変等のターゲットを仮想的に変形させてよい。例えば、臓器が鉗子により引っ張られたり押されたり、切断される様子をシミュレートしてよい。例えば、体位変換による臓器の移動をシミュレートしてよい。この場合、臓器や病変の接点に加わる弾性力や臓器や病変の剛性、その他の物理的な特性が加味されてよい。

画像生成部１６３は、各種画像を生成する。画像生成部１６３は、取得されたボリュームデータの少なくとも一部（例えばボリュームデータにおいて抽出された領域）に基づいて、３次元画像や２次元画像を生成する。画像生成部１６３は、変形処理部１６２により変形されたボリュームデータ（例えば仮想気腹状態のボリュームデータや手術器具（例えば鉗子、カメラ、その他の手術器具）の動きに対応して変形されたボリュームデータ）に基づいて、３次元画像や２次元画像を生成してよい。鉗子は、把持鉗子、剥離鉗子、電気メス、等を含んでよい。

位置設定部１６４は、被検体の体表に設置（穿孔）される１つ以上のポートの位置（ポート位置）を設定（計画）する。位置設定部１６４は、非気腹状態のボリュームデータに対してポート位置を設定してよい。位置設定部１６４は、仮想気腹状態のボリュームデータに対してポート位置を設定してよい。例えば、術式に応じて、ポート位置を設定してよい。被検体におけるターゲットの位置に応じて、ポート位置を設定してよい。ロボット手術が行われる場合、ロボット手術を行うための手術器具（例えば鉗子に相当するエンドエフェクタやロボットアーム）のキネマティクスの情報に応じて、ポート位置を設定してよい。キネマティクスの情報は、手術器具の形状に関する形状情報や動作に関する動作情報を含んでよい。ポート位置は、メモリ１５０に保持されたポート位置でもよいし、取得部１１０を介して外部サーバから取得されたポート位置でもよい。ポート位置は、ＵＩ１２０を介してユーザが指定したポート位置でもよい。

位置設定部１６４は、被検体において手術器具が到達するターゲットを設定する。ターゲットは、被検体における点又は領域でよい。ターゲットは、非気腹状態のボリュームデータ（気腹前ボリュームデータ）において設定されてもよいし、仮想気腹状態のボリュームデータ（気腹ボリュームデータ）において設定されてもよい。ターゲットは、関心領域と同じでもよいし、関心領域に含まれる特にユーザが注目したい点又は領域（例えば患部）でもよい。また、ターゲットは、ユーザが注目したい点又は領域を含む臓器全体、点又は領域を含む臓器の一部（例えば区域、支配血管）でもよい。ターゲットの設定方法は、上記の関心領域の指定方法と同様でよく、手動又は自動で設定されてよい。

角度情報処理部１６５は、設定されたポート位置のポートに挿入される鉗子と、被検体の体表面と、の成す角度を算出し、この角度に関する角度情報を生成する。ポートに挿入された鉗子は、設定されたターゲットに到達する。鉗子は、ポートとターゲットとを通る。角度情報は、ポートの位置とターゲットの位置と鉗子の位置とを明示する情報を含んでよい。角度情報は、ポート位置における体表面と、ポート位置における鉗子と、の成す角度を示す情報を含んでよい。角度情報は、上記の体表の平面と鉗子との成す角度が所定範囲の角度から外れている場合、その旨を通知するための警告情報を含んでよい。警告情報は、例えば×印で示されたり、警告メッセージで示されたり、警告を示す色で示されたり、警告を示す音で示されたりしてよい。なお、鉗子以外の手術器具と被検体の体表面との角度に関する角度情報が生成されてもよい。

また、角度情報処理部１６５は、鉗子が曲がることを考慮し、鉗子の特性情報を取得してよい。この特性情報は、取得部１１０を介して外部サーバから取得されてもよいし、メモリ１５０に保持されていたものが読み出されて取得されてもよい。鉗子の特性情報は、鉗子の曲がり方に関する情報を含んでよい。例えば、鉗子がシャフト部において可撓性を有する場合、可撓性の度合いを示す情報を含んでよい。例えば、鉗子が可撓性を有さず、直線的に鉗子におけるシャフト部において１つ以上の箇所で折れ曲がる場合、折れ曲がる位置と角度を示す情報を含んでよい（例えばオジギ鉗子）。つまり、鉗子は、何らかの方法で曲がり、先端部が角度調整可能でよい。角度情報処理部１６５は、鉗子に限らず、他の手術器具の特性情報を取得してもよい。そして、手術器具の特性情報を基に、角度を算出し、角度情報を生成してよい。また、変形処理部１６２は、鉗子の特性情報を基に、鉗子を押し当てることによる臓器や病変の変形をシミュレートしてよい。

表示制御部１６６は、各種データ、情報、画像をディスプレイ１３０に表示させる。画像は、画像生成部１６３で生成された画像（例えばレンダリング画像）を含む。表示制御部１６６は、レンダリング画像に重畳して、角度情報を表示させる。また、表示制御部１６６は、レンダリング画像の輝度調整を行ってよい。輝度調整は、例えばウインドウ幅（ＷＷ：Window Width）及びウインドウレベル（ＷＬ：Window Level）の少なくとも一方の調整を含んでよい。ここで、ＷＷ／ＷＬの変換値が所定値以下の時に透明としても良い。輝度調整は、例えば、ボクセル値に対応したＲＧＢＡ値を設定するＬＵＴ(Look Up Table)を用いて行ってもよい。

図３は、ポート気密保持器具１０の一例を示す模式図である。ポート気密保持器具１０は、例えば、基部１１と、カメラ挿通部１２と、鉗子挿通部１３と、を備える。基部１１は、例えば円柱形状を有する。基部１１は、ポート気密保持器具１０がポートに設置されると、基部１１の側面が、ポートに係合する。この場合、ポート気密保持器具１０が、設置されたポートに嵌め込まれることで、基部１１と体表のポートとの間に隙間がなくなり、ポート内部（被検体の内部）が気密に維持される。基部１１には、カメラ挿通部１２と、鉗子挿通部１３と、が接続される。

カメラ挿通部１２には、ターゲット周辺を観察するためのカメラが挿通される。鉗子挿通部１３には、ターゲットに対して各種処置を行うための鉗子が挿通される。鉗子及び鉗子挿通部１３は、複数存在してよい。例えば、手動手術を行う場合、鉗子及び鉗子挿通部１３は２個であり、カメラ及びカメラ挿通部１２は１個である。例えば、ロボット手術を行う場合、鉗子及び鉗子挿通部１３は３個であり、カメラ及びカメラ挿通部１２は１個であることがある。なお、カメラ及びカメラ挿通部１２が複数存在してもよい。

ポート気密保持器具１０は、被検体の体表の角度に応じて、様々な角度で体表に対応して設置される。よって、ポート気密保持器具１０に挿通されるカメラや鉗子の向きは様々な向きとなり得る。医用画像処理装置１００は、角度情報を表示することで、ポートの位置での体表と鉗子との角度を把握できる。角度情報は、角度情報に係る角度での鉗子を用いた処置の安全性を把握する目安となる。

ポート気密保持器具１０は、例えばＳＩＬＳの際に用いられる。ＳＩＬＳは、腹腔鏡手術の一種であり、被検体の腹部に１つのポート（孔）が設置され、１つのポートから複数の鉗子類が挿入される。ＳＩＬＳ用のポートは、例えば臍に設置される。これによって術後の傷跡が目立たないので審美性に優れ、美容上好まれる。ＳＩＬＳは、例えば、婦人科手術、胆嚢摘出、盲腸手術、腎臓手術に適用される。なお、単一のポートとともに、補助用ポートが設置されることがあるが、この場合もＳＩＬＳに含まれてよい。

経管腔的内視鏡手術（ＮＯＴＥＳ：Natural Orifice Translumenal Endoscopic Surgery)においては内腔にポートを設置してよい。ＮＯＴＥＳには、経肛門的全直腸間膜切除術（ＴａＴＭＥ：Transanal Total Mesorectal Excision）が含まれる。ＮＯＴＥＳでは、内腔を穿刺して内視鏡を伸ばすときに、体表の代わりに、内腔表面と鉗子との角度が算出され、この角度に関する角度情報が表示されてよい。なお、ＳＩＬＳ、ＮＯＴＥＳ、ＴａＴＭＥのいずれにおいても、手動手術及びロボット手術のいずれが行われてよい。また、複数の鉗子を利用した腹腔鏡手術及び低侵襲ロボット手術のいずれが行われてよい。

図４は、術前シミュレーションにおけるポートＰＴに挿入される鉗子ＦＣと体表ＳＫとの角度ＡＧを説明するための図である。

図４では、変形処理部１６２は、取得部１１０を介して取得された非気腹状態のボリュームデータ（元ＣＴデータ）を基に、気腹シミュレーションを行い、仮想気腹状態のボリュームデータを得る。仮想気腹状態のボリュームデータでは、気腹空間ＫＳが存在する。位置設定部１６４は、仮想気腹状態のボリュームデータに対して、体表ＳＫ上のポートＰＴの位置を設定する。

角度情報処理部１６５は、設定されたポートＰＴの位置における体表面ＳＦを算出する。体表面ＳＦは、ポート位置における体表に対する接線を含む接平面である。角度情報処理部１６５は、被検体内のターゲットＴＧ（例えば患部）の位置を取得する。角度情報処理部１６５は、ポートＰＴの位置とターゲットＴＧの位置とを結ぶ線（例えば直線）を、仮想的な鉗子ＦＣの位置として算出する。角度情報処理部１６５は、ポートＰＴの位置における鉗子ＦＣと体表ＳＫとの角度ＡＧを算出し、角度ＡＧを基に角度情報を生成する。表示制御部１６６は、ディスプレイ１３０に角度情報を表示させる。なお、ポートＰＴの位置の体表ＳＫは、体表面ＳＦと一致する。

次に、角度情報の表示例について説明する。

図５は、角度情報の第１表示例を示す図である。図６は、角度情報の第２表示例を示す図である。図５では、体表を半透明化したレンダリング画像と角度情報とが表示されている。図６では、体表を透明化したレンダリング画像と角度情報とが表示されている。ターゲットＡとポートＡの位置が設定されると、図５及び図６の角度情報が表示される。この角度情報は、ターゲットＡの位置と、ポートＡの位置と、ターゲットＡとポートＡとを結ぶ鉗子ＦＣ１の位置と、ポートＡの位置における鉗子ＦＣ１と体表面との角度ＡＧ１（ここでは４６°）と、を示す情報を含む。

図７は、角度情報の第３表示例を示す図である。図７では、複数のターゲットとしてターゲットＡ，Ｂが存在する場合のレンダリング画像と角度情報とが表示されている。ターゲットＡ，ＢとポートＡの位置が設定されると、図７の角度情報が表示される。この角度情報は、ターゲットＡの位置と、ターゲットＢの位置と、ポートＡの位置と、ターゲットＡとポートＡとを結ぶ鉗子ＦＣ１の位置と、ターゲットＢとポートＡとを結ぶ鉗子ＦＣ２の位置と、を示す情報を含む。また、ポートＡの位置における鉗子ＦＣ１と体表面との角度ＡＧ１が４６°であり、ポートＡの位置における鉗子ＦＣ２と体表面との角度ＡＧ２が４０°である。そのため、図７では、角度情報は、ポートＡに挿入される鉗子の角度が４０°～４６°で調整される可能性があることを示す情報を含む。

このように、医用画像処理装置１００は、単一のポートＡからアクセスするターゲットＡ，Ｂが複数存在する場合、ターゲットＡ，Ｂにアクセスする角度の範囲を、例えば角度上限の角度ＡＧ１と下限の角度ＡＧ２とを用いて表示できる。図７では、鉗子ＦＣ１，ＦＣ２の向きによって、異なる２つの角度ＡＧ１，ＡＧ２が考慮されている。

図８は、角度情報の第４表示例を示す図である。図８では、曲がった鉗子を考慮したレンダリング画像と角度情報とが表示されている。ターゲットＡとポートＡの位置が設定され、鉗子ＦＣの特性情報が取得されると、図８の角度情報が表示される。この角度情報は、ターゲットＡの位置と、ポートＡの位置と、鉗子ＦＣ１の位置と、鉗子ＦＣ３の位置と、を示す情報を含む。鉗子ＦＣ１は、ターゲットＡとポートＡとを結び、可撓性を有しない。鉗子ＦＣ３は、ターゲットＡとポートＡとを結び、可撓性を有しカーブしている。また、ポートＡの位置における鉗子ＦＣ１と体表面との角度ＡＧ１が４６°であり、ポートＡの位置における鉗子ＦＣ３と体表面との角度ＡＧ３が４０°である。そのため、図８では、角度情報は、ポートＡに挿入される鉗子の角度が４０°～４６°で調整される可能性があることを示す情報を含む。なお、図８では、鉗子ＦＣ１が「Ｆｏｒｃｅｐｓ Ａ」として、鉗子ＦＣ３が「Ｆｏｒｃｅｐ Ｂ」として可視化されている。

このように、医用画像処理装置１００は、複数の鉗子ＦＣ１，ＦＣ３の曲がり具合が異なる場合、ターゲットＡにアクセスする角度の範囲を、例えば角度上限の角度ＡＧ１と下限の角度ＡＧ３とを用いて表示できる。

図９Ａは、レンダリング画像と体表上に配置されたポート位置設定ＵＩ２０との表示例を示す図である。図９Ｂは、ポート位置設定ＵＩ２０を説明するための図である。図９Ｃは、角度情報の第５表示例を示す図である。図９Ｄは、角度情報の第６表示例を示す図である。

ポート位置設定ＵＩ２０は、ＵＩ１２０を介して操作可能である。ポート位置設定ＵＩ２０は、被検体の体表に沿って任意の位置に移動可能である。ポート位置設定ＵＩ２０は、ポートＰＴの位置における体表面ＳＦと、アキシャル面ＡＳＦと、サジタル面ＳＳＦと、鉗子ＦＣの位置と、を含んで可視化されてよい。図９Ｂでは、鉗子ＦＣは、ポートＰＴを通って直線的に延びている。ポート位置設定ＵＩ２０は、例えば半球状の画像で示され、半球の底面における中心が、ポート位置を示してよい。ポート位置設定ＵＩ２０が移動することで、ポート位置が移動する。

画像生成部１６３は、アキシャル面ＡＳＦを可視化したアキシャル画像を生成し、サジタル面ＳＳＦを可視化したサジタル画像を生成する。ポートＰＴの位置における鉗子ＦＣと体表との角度ＡＧは、サジタル面ＳＳＦに投影されると、サジタル投影角度θで示される。この角度ＡＧは、アキシャル面ＡＳＦに投影されると、アキシャル投影角度φで示される。よって、角度ＡＧは、（θ，φ）により表現され得る。

角度情報処理部１６５は、ポート位置設定ＵＩ２０が示すポート位置を取得する。例えばユーザ操作によりポート位置設定ＵＩ２０の位置の変更を受けると、ポートＰＴの位置の変更に応じて、ポートＰＴの位置における体表面ＳＦと鉗子ＦＣとの角度を再算出し、角度情報を再生成し、角度情報を再表示させてよい。

図９Ｃでは、サジタル画像とサジタル投影角度θに関する角度情報とが表示されている。サジタル投影角度θは、体軸方向ＢＡ及びポートＰＴの位置を含むサジタル面ＳＳＦに鉗子ＦＣを表現する線を投影した場合における、サジタル面ＳＳＦにおける鉗子ＦＣと体表との間の角度である。図９Ｃでは、角度情報は、ターゲットＣの位置と、ポートＡの位置と、ターゲットＣとポートＡとを結ぶ鉗子ＦＣ４の位置と、ポートＡの位置における鉗子ＦＣ４と体表面との角度ＡＧ４（ここでは４５°）と、角度ＡＧ４のサジタル投影角度θ（ここでは３０°）と、を示す情報を含む。

なお、図９Ｃでは、ターゲットＣが、サジタル画像の断面（サジタル面ＳＳＦ）上に存在しないため、ターゲットＣが点線にて示されている。また、図９Ｃでは、角度ＡＧ及びサジタル投影角度θのうち少なくとも一方の表示が省略されてもよい。

図９Ｄでは、アキシャル画像とアキシャル面ＡＳＦに投影されたアキシャル投影角度φに関する角度情報とが表示されている。アキシャル投影角度φは、体軸方向ＢＡに垂直な被検体の左右方向とポートＰＴの位置とを含むアキシャル面ＡＳＦに鉗子ＦＣを表現する線を投影した場合における、アキシャル面ＡＳＦにおける鉗子ＦＣと体表との間の角度である。図９Ｄでは、角度情報は、ターゲットＣの位置と、ポートＡの位置と、ターゲットＣとポートＡとを結ぶ鉗子ＦＣ４の位置と、ポートＡの位置における鉗子ＦＣ４と体表面との角度ＡＧ４（ここでは４５°）と、角度ＡＧ４のアキシャル投影角度φ（ここでは１１０°）と、を示す情報を含む。

なお、図９Ｄでは、ターゲットＣが、アキシャル画像の断面（アキシャル面ＡＳＦ）上に存在しないため、ターゲットＣが点線にて示されている。また、図９Ｄでは、角度ＡＧ及びアキシャル投影角度φのうち少なくとも一方の表示が省略されてもよい。また、被検体の左右方向のいずれかを角度を表現するための基準方向とするため、アキシャル投影角度φが９０°以上となったり９０°以下となったりする。このことは、サジタル投影角度θについても同様である。

なお、表示制御部１６６は、輝度調整（例えばウインドウ幅（ＷＷ：Window Width）及びウインドウレベル（ＷＬ：Window Level）の少なくとも一方の調整によって、被検体の体表面を非表示にして、レンダリング画像を表示させてもよい。

このように、医用画像処理装置１００は、被検体の体軸方向ＢＡ等を基準とした方向に投影された投影角度を表示できる。よって、ユーザは、例えば被検体の向きを基準に立ち位置を決め、被検体の特定の方向を基準にして患部を観察する場合等において、ポート位置での鉗子と体表面との角度を把握し易くなる。

図１０は、角度情報の第７表示例を示す図である。図１０では、ＮＯＴＥＳにおいて内腔からターゲットにアプローチする場合のレンダリング画像と角度情報とが表示されている。図１０では、レンダリング画像がアキシャル画像であることを例示する。ターゲットＤとポートＣの位置が設定されると、図１０の角度情報が表示される。ここでは、管状組織３０（例えば直腸）の内腔表面ＳＦ２に、ポートＣが設定される。図１０では、角度情報は、ターゲットＤの位置と、ポートＣの位置と、ターゲットＤとポートＣとを結ぶ鉗子ＦＣ５の位置と、を示す情報を含む。また、角度情報は、ポートＣの位置における鉗子ＦＣ５と内腔表面ＳＦ２との角度ＡＧ５（ここでは５０°）と、そのアキシャル投影角度φ２（ここでは４５°）と、を示す情報を含む。

図１１は、角度情報の第８表示例を示す図である。図１１では、レンダリング画像と警告情報を含む角度情報とが表示されている。ターゲットＥとポートＡの位置が設定されると、図１１の角度情報が表示される。この角度情報は、ターゲットＥの位置と、ポートＡの位置と、ターゲットＥとポートＡとを結ぶ鉗子ＦＣ６の位置と、ポートＡの位置における鉗子ＦＣ６と体表面との角度ＡＧ６（ここでは１０°）と、を示す情報を含む。また、角度ＡＧ５が１０°である場合、被検体への負荷が許容される所定範囲（例えば２０°より大きく９０°以下の角度範囲に含まれる所定範囲）の角度でないので、角度情報は、角度ＡＧが所定範囲の角度でないことを示す警告情報（ここでは×印）を含む。警告情報は、角度情報に含まれて、ディスプレイ１３０に表示されてよい。なお、角度情報は、警告情報でなく、角度ＡＧ５が所定範囲の角度であることを示す安全情報（例えば○印）を含んでもよい。なお、角度情報は、角度の数値を示さずに警告情報や安全情報を表示するのみでもよい。また、被検体への負荷が許容される所定範囲は、体表上の位置によっても異なってよく、例えば腹部の中心に近いほど許容される角度は大きくしてよい。例えば、腹部の辺縁部の場合（臍から所定距離以上である場合）、角度の所定範囲が２０°～９０°とされ、腹部の中心部の場合（臍から所定距離未満である場合）、角度の所定範囲が３０°～９０°とされてよい。なお、角度の所定範囲の表示において、下限又は上限が省略されてもよい。例えば、角度の所定範囲が２０°～９０°の場合に、２０°以上と表示されてもよい。また、被検体への負荷が許容される所定範囲は、ポートＡの位置における鉗子ＦＣ６が上肢方向に向かう場合と下肢方向に向かう場合を区別して、上肢方向に向かう場合を約９０°より小さい値の範囲、下肢方向に向かう場合は約９０°より大きい値の範囲としてよい。例えば、所定範囲を、１０°より大きく１６０°より小さい角度の範囲としてよい。

図１２は、医用画像処理装置１００の動作例を示すフローチャートである。

まず、被検体（例えば患者）の非気腹状態のボリュームデータを取得する（Ｓ１１）。非気腹状態のボリュームデータにおいてターゲットの位置を設定する（Ｓ１２）。気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成する（Ｓ１３）。また、非気腹状態のボリュームデータと仮想気腹状態のボリュームデータとの対応関係を示す変形情報を生成する（Ｓ１３）。仮想気腹状態のボリュームデータの例えば輪郭を抽出して、被検体の体表を取得する（Ｓ１４）。被検体の体表上でポート位置を設定する（Ｓ１５）。ポート位置における体表の接平面（体表面に相当）を算出する（Ｓ１６）。ポート位置とターゲット位置とを結ぶ直線（鉗子の仮想位置に相当）と体表の接平面との成す角度を算出し、角度情報を生成する（Ｓ１７）。仮想気腹状態のボリュームデータを体表を透明にする輝度設定で輝度調整して、ボリュームレンダリングし、レンダリング画像を生成する。レンダリング画像と、レンダリング画像におけるポート位置に角度情報を重畳表示させる（Ｓ１８）。

ＳＩＬＳでは、１つのポート気密保持器具１０によりポートＰＴの気密を確保する。そのため、腹腔鏡手術において複数のトロッカーが設置される場合と比較すると、ポート気密保持器具１０を体表に対して斜めに傾ける時の体表に加わる負荷かが大きくなる。これに対し、医用画像処理装置１００は、ポート位置における鉗子と体表面との角度を算出し、角度情報を生成し、角度情報を表示する。よって、ユーザは、角度情報を基に体表にかかる負荷の状況を確認でき、術前や術中に必要な処置を講じることができる。

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

例えば、角度情報には、角度を具体的な数字として示す情報の代わりに、又は具体的な数字の情報とともに、あるいは具体的な数字の情報に代わって、赤、黄色、青などの角度の許容度を示す情報が含まれてよい。例えば、赤は許容度が低く（危険）、黄色は許容度がやや低く（警告）、青は許容度が高い（安全）であることを示してよい。また、許容度は、ポートの位置やポートの大きさに応じて調整されてよい。また、鉗子と体表との間の角度は、鉗子と体表の法線との間の角度でも表現できる。

また、図１２のＳ１３が省略され、被検体に対して気腹シミュレーションや実際の気腹が行われなくてもよい。組織によっては（例えば肺では）、気腹しないことが考えられるためである。

また、ＮＯＴＥＳの場合、変形処理部１６２が変形シミュレーションにより胃や腸を仮想的に変形させてから、角度情報処理部１６５が角度を算出して角度情報を生成してよい。例えば、内視鏡手術において内視鏡が挿入された管状組織の内腔から鉗子を押して穿刺することが想定されるためである。この場合、被検体の体表ではなく、例えば、被検体の管状組織の内面（内腔表面）と鉗子との角度を算出し、角度情報を生成してよい。つまり、体表、内腔を含む上皮組織と鉗子との角度を算出し、角度情報を生成してよい。

また、術前シミュレーションの他に、術中ナビゲーションにおいて、ポート位置での鉗子と体表面との角度の算出、角度情報の生成、角度情報の表示等が行われてよい。角度情報処理部１６５は、術前シミュレーションにおける上記の角度の算出、角度情報の生成、角度情報の表示、等の結果を、メモリ１５０に保持させておいてよい。術中ナビゲーションでは、角度情報処理部１６５は、術前シミュレーションの結果をメモリ１５０から読み出して、表示制御部１６６及びディスプレイ１３０を介して角度情報を表示させてよい。

また、角度情報処理部１６５は、読み出した角度情報を、術中ナビゲーション時に得られたデータや情報を基に補正してよい。例えば、術前シミュレーション時の角度と実際の角度の計測値とが異なる場合、角度情報処理部１６５は、角度の計測値を基に角度情報を再生成し、この角度情報を表示させてよい。この場合、例えば、磁気センサによりポート位置、鉗子の位置、ターゲットの位置等が検出され、角度情報処理部１６５により、術中ナビゲーション時のポート位置での鉗子と体表との角度ＡＧが算出され、計測値とされてよい。

また、ＳＩＬＳが適用される内視鏡手術には、腹腔鏡を用いた手術、胃カメラを用いた手術、大腸鏡を用いた手術、等が含まれてよい。また、上記実施形態は、１つのポートＰＴを介してカメラや複数の鉗子が挿入されるＳＩＬＳではなく、複数のポートＰＴを介してカメラや複数の鉗子が挿入される複数孔式の腹腔鏡下手術に適用されてもよい。

また、ポート位置の設定が変形シミュレーションの後に行われ、ターゲット位置の設定が変形シミュレーションの前に行われることを例示したが、これに限られない。ポート位置及びターゲット位置の設定は、変形シミュレーションの前に行われても、変形シミュレーション後に行われてもよい。ポート位置及びターゲット位置は、例えば、ＵＩ１２０を介して、被検体のボリュームデータに基づく所定の断面画像（ＭＰＲ）を用いて指定されてよい。

また、ポート位置での鉗子と体表との成す角度が複数存在する場合、この２つの角度の範囲で調整可能であることを表示することを例示したが、これに限られない。例えば、角度の範囲のうち、手術の観点において最も好ましい値が表示されてもよいし、角度の範囲の上限値、下限値、中央値、平均値、その他の統計値が表示されてよい。また、ポートＰＴが設定される上皮組織は、被検体の体表（最表面にある皮膚）でもよいし、被検体の内部の臓器の内腔表面であってもよい。また、腹腔鏡、内視鏡、鉗子類、ロボット手術装置のエンドエフェクタ、その他の手術器具を総称して、「低侵襲手術器具」とも称する。

また、医用画像処理装置１００は、少なくともプロセッサ１４０及びメモリ１５０を備えてよい。取得部１１０、ＵＩ１２０、及びディスプレイ１３０は、医用画像処理装置１００に対して外付けであってもよい。

また、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ（例えば画像データサーバ（ＰＡＣＳ）（不図示））等へ送信され、保管されてもよい。この場合、必要時に医用画像処理装置１００の取得部１１０が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体（不図示）を介して取得してもよい。

また、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へ取得部１１０を経由して送信されることを例示した。これは、実質的にＣＴ装置２００と医用画像処理装置１００とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置１００がＣＴ装置２００のコンソールとして扱われている場合も含む。

また、ＣＴ装置２００により画像を撮像し、被検体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、血管造影装置（Angiography装置）、又はその他のモダリティ装置を含む。また、ＰＥＴ装置は、他のモダリティ装置と組み合わせて用いられてもよい。

また、医用画像処理装置１００における動作が規定された医用画像処理方法として表現可能である。また、コンピュータに医用画像処理方法の各ステップを実行させるためのプログラムとして表現可能である。

（上記実施形態の概要）
上記実施形態の一態様は、医用画像処理装置１００であって、取得部１１０と、処理部１６０と、表示部（例えばディスプレイ１３０）と、を備える。取得部１１０は、被検体のボリュームデータを取得する機能を有する。処理部１６０は、ボリュームデータに基づく３Ｄデータ（例えば無加工の非気腹状態のボリュームデータ、胃や腸を変形させたボリュームデータ、ボリュームデータから作成したサーフィスモデルを変形させたもの、又は仮想気腹状態のボリュームデータ）において、被検体の上皮組織（例えば体表ＳＫ、体表面ＳＦ、内腔表面ＳＦ２）に配置されるポートＰＴと被検体の内部に配置されるターゲットＴＧとを設定する機能を有する。処理部１６０は、３Ｄデータを可視化して上皮組織を非表示とし、透明化し、又は半透明化した画像（例えばレンダリング画像）とともに、ポートＰＴの位置における、ポートＰＴからターゲットＴＧに至るよう挿入される手術器具（例えば鉗子ＦＣ）と被検体の上皮組織との成す角度を示す情報（例えば角度情報）を、表示部に表示させる機能を有する。

これにより、医用画像処理装置１００は、角度情報を基に上皮組織にかかる負荷の状況をユーザに提供でき、手術時の安全性を向上できる。よって、ユーザは、術前シミュレーションや術中ナビゲーションにおいて、角度情報を加味して必要な処置を講じることができる。また、ユーザは、ターゲット及び周辺組織を確認しながらポートＰＴの位置とポートＰＴにおける上皮組織にかかる負荷の状況を同時に直感的に把握し易くなる。

また、処理部１６０は、被検体の変形シミュレーションにより被検体の変形に関する変形情報を生成し、ボリュームデータと変形情報に基づいて、３Ｄデータを生成してよい。これにより、医用画像処理装置１００は、気腹や手術器具の動きに起因する被検体内の組織の変形を加味して、手術時の実態に即した角度を算出し、角度情報を提供できる。

また、ポートＰＴのうち少なくとも一つは、複数の手術器具が挿入されてよい。単一のポートを利用したＳＩＬＳでは、被検体内に挿入される複数の手術器具の動きの自由度が小さい。この場合でも、ユーザは、制限された手術器具を用いて処置する際に、角度情報を確認することで、安全に配慮して処置できる。

また、ターゲットＴＧは、被検体における複数の点又は領域を含んでよい。角度を示す情報は、手術器具と上皮組織との成す複数の角度の上限及び下限の少なくとも一つを示す情報を含んでよい。なお、上記の領域は、複数の点を含む。これにより、ユーザは、複数のターゲットＴＧに対して処置を行う場合でも、手術器具を動かして調整可能と許容される角度の範囲を確認することができる。

処理部１６０は、手術器具と上皮組織との成す角度が所定の条件を満たす場合は、角度を示す情報として、所定の条件を満たしたことを示す情報を表示させてよい。例えば、手術器具と上皮組織との成す角度が所定範囲外の角度である場合、角度を示す情報に含めて、手術器具と上皮組織との成す角度が所定範囲外の角度であることを示す警告情報を表示させてよい。これにより、ユーザは、警告情報や安全情報を確認することで、例えば手術器具と上皮組織との成す角度が所定範囲に収まるように処置を行うように留意でき、被検体の上皮組織への負担を軽減できる。

また、手術器具は、シャフト部に可撓性を有し又は折り曲げ機構を有し、手術器具の先端部の角度を調整可能でよい。この場合でも、医用画像処理装置１００は、手術器具の調整される角度範囲等を加味して、角度情報を提示できる。また、同じポート位置及びターゲット位置を通る手術器具であっても、手術器具の調整角度が異なる場合、被検体内において処置を行うためのスペース（ワーキングエリア）を確保し易くなる。

また、手術器具は、ロボット手術装置に用いられるエンドエフェクタでよい。これにより、医用画像処理装置１００は、ロボット手術を角度情報の提示により支援できる。

また、医用画像処理装置１００は、上皮組織に沿ってポートＰＴを移動可能なユーザインタフェース（例えばポート位置設定ＵＩ２０）、を有してよい。処理部１６０は、このユーザインタフェースを介したポートＰＴの位置の変更に応じて、角度を示す情報を再表示させてよい。これにより、医用画像処理装置１００は、ポート位置設定ＵＩ２０を用いて、被検体の上皮組織上の異なる位置にポート位置を容易に設定でき、このポート位置での角度に関する角度情報を容易に確認できる。

また、被検体の上皮組織は、被検体内の内腔表面ＳＦ２の組織でよい。管状組織３０の内腔表面ＳＦ２は被検体内に位置するので、ユーザからは直接視認できない。これに対し、医用画像処理装置１００は、ユーザに内腔表面ＳＦ２におけるポート位置での角度に関する角度情報を提供でき、手術の安全性を一層向上できる。よって、医用画像処理装置１００は、ＮＯＴＥＳの術前シミュレーション又は術中ナビゲーションにおいても、角度情報を示して手術を支援できる。

上記実施形態の一態様は、被検体のボリュームデータを取得するステップと、ボリュームデータに基づく３Ｄデータにおいて、被検体の上皮組織に配置されるポートＰＴと被検体の内部に配置されるターゲットＴＧとを設定するステップと、３Ｄデータを可視化して上皮組織を非表示とし、透明化し、又は半透明化した画像とともに、ポートＰＴの位置における、ポートＰＴからターゲットＴＧに至るよう挿入される手術器具と被検体の上皮組織との成す角度ＡＧを示す情報を、表示部に表示させるステップと、を有する医用画像処理方法である。

本実施形態の一態様は、上記の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラムである。

本開示は、被検体のポートを介して挿入される手術器具による被検体への負担の状況を可視化できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに有用である。

１０ ポート気密保持器具
１１ 基部
１２ カメラ挿通部
１３ 鉗子挿通部
２０ ポート位置設定ＵＩ
３０ 管状組織
１００ 医用画像処理装置
１１０ 取得部
１２０ ユーザインタフェース（ＵＩ）
１３０ ディスプレイ
１４０ プロセッサ
１５０ メモリ
１６０ 処理部
１６１ 領域処理部
１６２ 変形処理部
１６３ 画像生成部
１６４ 位置設定部
１６５ 角度情報処理部
１６６ 表示制御部
２００ ＣＴ装置
ＳＫ 体表
ＳＦ 体表面
ＳＦ２ 内腔表面
ＫＳ 気腹空間
ＫＳ 気腹空間
ＰＳ 被検体
ＰＴ ポート
ＴＧ ターゲット

Claims (12)

1. 医用画像処理装置であって、
   取得部と、処理部と、表示部と、を備え、
   前記取得部は、被検体のボリュームデータを取得する機能を有し、
   前記処理部は、
   前記ボリュームデータに基づく３Ｄデータにおいて、前記被検体の上皮組織に配置されるポートと前記被検体の内部に配置されるターゲットとを設定し、
   前記３Ｄデータを可視化して前記上皮組織を非表示とし、透明化し、又は半透明化した画像とともに、前記ポートの位置における、前記ポートから前記ターゲットに至るよう挿入される手術器具と前記被検体の上皮組織との成す角度を示す情報を、前記表示部に表示させる、機能を有する、
   医用画像処理装置。
2. 前記処理部は、
   前記被検体の変形シミュレーションにより前記被検体の変形に関する変形情報を生成し、
   前記ボリュームデータと前記変形情報とに基づいて、前記３Ｄデータを生成する、
   請求項１に記載の医用画像処理装置。
3. 前記ポートのうち少なくとも一つは、複数の前記手術器具が挿入される、
   請求項１又は２に記載の医用画像処理装置。
4. 前記ポートのうち少なくとも一つには、前記ポートに設置される前記ポートの内部を気密に維持するポート気密保持器具を通って、複数の前記手術器具が挿入される、
   請求項３に記載の医用画像処理装置。
5. 前記ターゲットは、前記被検体における複数の点又は領域を含み、
   前記角度を示す情報は、前記手術器具と前記上皮組織との成す複数の角度の上限及び下限の少なくとも一つを示す情報を含む、
   請求項１～４のいずれか１項に記載の医用画像処理装置。
6. 前記処理部は、前記手術器具と前記上皮組織との成す角度が所定の条件を満たす場合は、前記角度を示す情報として、前記所定の条件を満たしたことを示す情報を表示させる、
   請求項１～５のいずれか１項に記載の医用画像処理装置。
7. 前記手術器具は、シャフト部に可撓性を有し又は折り曲げ機構を有し、前記手術器具の先端部の角度を調整可能である、
   請求項１～６のいずれか１項に記載の医用画像処理装置。
8. 前記手術器具は、ロボット手術に用いられるエンドエフェクタである、
   請求項１～７のいずれか１項に記載の医用画像処理装置。
9. 前記上皮組織に沿って前記ポートを移動可能なユーザインタフェース、を更に有し、
   前記処理部は、前記ユーザインタフェースを介した前記ポートの位置の変更に応じて、前記角度を示す情報を再表示させる、
   請求項１～８のいずれか１項に記載の医用画像処理装置。
10. 前記被検体の上皮組織は、前記被検体の内腔表面の組織である
    請求項１～９のいずれか１項に記載の医用画像処理装置。
11. 被検体のボリュームデータを取得するステップと、
    前記ボリュームデータに基づく３Ｄデータにおいて、前記被検体の上皮組織に配置されるポートと前記被検体の内部に配置されるターゲットとを設定するステップと、
    前記３Ｄデータを可視化して前記上皮組織を非表示とし、透明化し、又は半透明化した画像とともに、前記ポートの位置における、前記ポートから前記ターゲットに至るよう挿入される手術器具と前記被検体の上皮組織との成す角度を示す情報を、表示部に表示させるステップと、
    を有する医用画像処理方法。
12. 請求項１１に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。

Images