JPWO2019155931A1 - 手術システム、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】生体器官内の組織の分布をより正確に把握することが可能な、手術システム、画像処理装置及び画像処理方法を提案する。【解決手段】生体器官を撮像し、前記生体器官の画像を取得する手術用カメラと、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を前記生体器官の画像に重畳する画像処理装置と、を備える、手術システム。【選択図】図４

Description

本開示は、手術システム、画像処理装置及び画像処理方法に関する。

医療現場において、生体内部を観察するための機器として内視鏡等の手術用カメラが普及するのに伴い、医師が生体内部の患部を直接肉眼で確認するのではなく、手術用カメラを用いて取得された映像から患部を確認して治療する場面が増加している。近年、手術用カメラで取得された画像に対して、目的に応じた画像処理を施すことで手術の支援を行う技術が数多く提案されている。

手術支援技術の一つとして、例えば、以下の特許文献１には、被検体である生体器官等の表面付近でその深さ方向に走行している血管構造等を観察する技術が開示されている。

特開２００１−１７０００９号公報

しかし、特許文献１に開示されているような技術では、生体器官内部の組織を観察することは可能であるものの、生体器官表面からの距離を正確に把握することは困難である。

そこで、本開示では、上記事情に鑑みて、生体器官内の組織の分布をより正確に把握することが可能な、手術システム、画像処理装置及び画像処理方法を提案する。

本開示によれば、生体器官を撮像し、生体器官の画像を取得する手術用カメラと、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を生体器官の画像に重畳する画像処理装置と、を備える、手術システムが提供される。

また、本開示によれば、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された生体器官の画像に重畳する画像処理部、を備える、画像処理装置が提供される。

また、本開示によれば、プロセッサにより、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された生体器官の画像に重畳すること、を含む、画像処理方法が提供される。

本開示によれば、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示が生体器官の画像に重畳される。

以上説明したように本開示によれば、生体器官内の組織の分布をより正確に把握することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る技術思想を用いた内視鏡手術室システムが適用された手術の様子の一例を示す図である。 本開示の実施形態に係る手術システムの構成例を示すブロック図である。 同実施形態に係る患者位置を計測する方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る手術システムの動作の流れを示すフローチャートである。 同実施形態に係る手術システムの動作の流れを示すフローチャートである。 同実施形態に係る手術システムの動作の流れを示すフローチャートである。 本開示の一実施形態に係る制御システムのハードウェア構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜１．背景＞
＜２．構成＞
＜２−１．全体構成＞
＜２−２．手術システム１の構成＞
＜３．動作＞
＜４．ハードウェア構成＞
＜５．結び＞

＜１．背景＞
従来から、外科手術の中でも肝臓の手術は困難であるとされている。その理由の一つとして、多量の出血を伴うことが挙げられる。肝臓は実質臓器であり、管腔臓器と比較して多数の血管が存在している。そのため、肝臓を切除する手術では、例えば、消化管のような管腔臓器の手術と比較しても多量に出血することが多く、出血に伴う合併症を発症する危険性が高い。そのため、肝臓の手術では、できるだけ出血量を抑えることが重要となっている。

一方で、例えば、肝細胞癌は、血液が消化管から肝臓へ流れ込む太い血管である門脈の付近に存在する腫瘍が門脈に流れる血液により拡大する場合が多い。しかし、術者が術中にその腫瘍の位置や門脈を含めた血管の位置を正確に把握することは困難である。また、術者は、術中に肝臓に張力を与えながら手術を行うため、肝臓に変形が生じる。この変形が、術者による重要な血管の位置の把握をより一層困難にしている。その結果、術者は門脈等主要な血管を誤って損傷させ、多量の出血を生じさせる可能性がある。そのため、出血量を抑制する方法の一つとして、門脈を結索させ、肝臓への血流が一時的に減少している間に患部を切除する方法が行われている。しかしながら、この方法では、患者の身体に大きな負担がかかり、場合によっては肝臓が壊死してしまうことがある。

また、以前は、開腹手術が主に行われていたが、患者の身体への負担軽減を目的に、腹部に小さな穴を数か所開け、その穴から内視鏡や術具を挿入して手術を行う腹腔鏡手術が増加している。しかしながら、腹腔鏡手術では、肝臓を術者が直接手で把持することができず、開腹手術よりも困難な手術法となっている。

以上のような問題を解決するために、手術時に重要な血管の位置を把握するための技術開発が行われている。例えば、先だって説明したように、生体器官の表面付近でその深さ方向に走行している血管構造を観察する技術等が開示されている。しかしながら、このような技術では、肝臓のような多数の血管が存在する生体器官では、内視鏡画像に多くの血管画像が一度に表示されてしまい、術者が重要な血管とそうでない血管の判断ができずに、かえって術者の集中を妨げるなどの問題が生じることがある。また、上記技術では、生体器官表面を観察する通常観察と、生体器官内部を走行する血管構造等を観察する特殊観察とで観察モードを切り替えなければならず、術中において煩瑣な作業となることがある。

そこで、本発明者らは、術中の内視鏡画像に、生体器官内の所定領域に存在する血管を選択的に重畳させて表示させることに着想し、本技術を発明するに至った。

＜２．構成＞
ここまで、本技術を発明する至った背景を説明した。続いて、図１〜図６を参照しながら、本開示に係る手術システムの構成について説明する。
＜２−１．全体構成＞
まず、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略構成を説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、位置計測装置６０００から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置５０２７）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡５００１）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（Ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。術者５０６７を含むユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者５０６７の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

位置計測装置６０００は、内視鏡５００１や術具５０１７等の内視鏡手術に用いられる器具や患者の位置及び／又は姿勢を計測する。位置計測装置６０００で取得された器具や患者５０７１の位置等により、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮影法）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ：核磁気共鳴画像法）や超音波診断装置像等の、生体内部を撮影する装置により取得された患者５０７１の血管、神経叢、リンパ管、腫瘍等の要素組織の３次元情報と、術中に用いられる内視鏡５００１により取得された画像との位置合わせが可能となる。ここで、要素組織とは、健康な生体器官を構成する組織や生体器官に発生した異常組織等のことを言い、上記のように、例えば、血管、神経叢、リンパ管、腫瘍等が挙げられる。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置５０２７）
一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されるが、支持アーム装置５０２７を用いることにより、内視鏡５００１の位置を固定してもよい。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置５０４３）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ：ＮＢＩ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（位置計測装置６０００）
位置計測装置６０００は、内視鏡５００１に取り付けられる機器用マーカー６００１や患者５０７１に取り付けられる患者用マーカー６００２に基づいて、内視鏡５００１及び患者５０７１の位置及び姿勢を計測する。機器用マーカー６００１は、内視鏡５００１に限られず、例えば、攝子、レトラクタ等の術具５０１７に取付けられてもよい。また、図３に示すように、患者用マーカー６００２は、要素組織の３次元分布情報を取得する要素組織情報取得装置７０００が用いられる際にも患者５０７１に取付けられる。要素組織情報取得装置７０００は、患者５０７１の生体器官を画像化する機能を有する装置であり、要素組織の画像を取得することができる。要素組織情報取得装置７０００として、術前に要素組織画像を取得する場合には、例えば、ＣＴ、ＭＲＩ等が挙げられ、術中に要素組織画像を取得する場合には、超音波診断装置、血管造影装置やＮＢＩ装置等が挙げられる。患者用マーカー６００２は、図３に示すように、マーカー６００２Ａ、マーカー６００２Ｂ、マーカー６００２Ｃ、及びマーカー６００２Ｄが患者５０７１の身体に取付けられることにより、患者５０７１の生体器官に存在する要素組織の３次元分布情報が取得されるとともに、患者５０７１の各生体器官の位置関係及び要素組織の位置関係に関する情報が取得される。

＜２−２．手術システム１の構成＞
次に、本開示の実施形態に係る手術システム１の構成例について説明する。図２は、本開示の実施形態に係る手術システム１の構成例を示す図である。図２に示すように、本実施形態に係る手術システム１では、手術用カメラ１０と、画像処理装置２０とを備え、公知のネットワーク３０を介して相互に接続される。なお、ネットワーク３０には、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブル等の有線の伝送ケーブルが用いられてもよいし、無線による通信方法が用いられてもよい。

（手術用カメラ１０）
本実施形態に係る手術用カメラ１０は、生体器官を撮像して画像を取得する装置である。本実施形態に係る手術用カメラ１０として、たとえば、先だって説明した内視鏡５００１や、手術用顕微鏡が用いられてよい。また、本実施形態に係る手術用カメラ１０は、撮像部１１０及び通信部１２０を備える。

［撮像部１１０］
撮像部１１０は、生体器官を撮像して画像を取得する機能を有する。そのため、本実施形態に係る撮像部１１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）などの撮像素子を含む。

［通信部１２０］
通信部１２０は、ネットワーク３０を介して、画像処理装置２０と通信を行う機能を有する。具体的には、通信部１２０は、撮像部１１０が撮像した生体内の画像を画像処理装置２０に送信する。また、通信部１２０は、画像処理装置２０から手術用カメラ１０の駆動を制御するための制御信号を受信してもよい。

（画像処理装置２０）
本実施形態に係る画像処理装置２０は、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を特定し、特定された要素組織を、手術用カメラ１０により取得された画像上に重畳させて表示させる。本実施形態に係る画像処理装置２０は、例えば、図１に示したＣＣＵ５０３９であってよい。本実施形態に係る画像処理装置２０は、画像処理部２１０と、制御部２２０と、通信部２３０とを備える。

［画像処理部２１０］
本実施形態に係る画像処理部２１０は、手術用カメラ１０から取得した画像に対して画像処理を施す機能を有する。画像処理部２１０は、先だって説明したように、図３に示すような、要素組織情報取得装置７０００で取得された、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を特定し、特定された要素組織を手術用カメラ１０により取得された画像上に重畳させて表示させる機能を有する。

［制御部２２０］
制御部２２０は、手術用カメラ１０による術部の撮像、及びその撮像画像の表示に関する制御を行う。また、制御部２２０は、画像処理部２１０によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に所定の表示方法で表示させる。

［通信部２３０］
通信部２３０は、ネットワーク３０を介して、手術用カメラ１０との情報通信を行う機能を有する。具体的には、通信部２３０は、手術用カメラ１０から生体器官の画像を受信する。

ここで、特定された要素組織を手術用カメラ１０で取得された画像に重畳させる方法を詳細に説明する。

まず、位置計測装置６０００により、手術用カメラ１０及び患者５０７１の位置と姿勢が計測される。次いで、内視鏡手術システム５０００は、測定された手術用カメラ１０の位置及び姿勢に対して、図１に示した手術用カメラ先端座標系６００３を設定する。また、内視鏡手術システム５０００は、測定された患者５０７１の位置及び姿勢に対して、患者座標系６００４を設定する。そして、内視鏡手術システム５０００は、この設定された患者座標系６００４から手術用カメラ先端座標系６００３へ座標系を変換するための変換行列を算出する。

この算出された変換行列を利用して、要素組織情報取得装置７０００により取得された要素組織の３次元分布情報は、手術用カメラ１０により取得された画像に反映される。具体的には、患者用マーカー６００２が、要素組織情報取得装置７０００により要素組織の３次元分布情報が取得される際に患者５０７１に取付けられる。詳細には、図３に示すように、マーカー６００２Ａ、マーカー６００２Ｂ、マーカー６００２Ｃ、及びマーカー６００２Ｄが患者５０７１の身体に取付けられる。そして、患者座標系６００４に対応した患者５０７１の生体器官に存在する要素組織の３次元分布情報が取得されるとともに、患者５０７１の各生体器官の位置関係及び要素組織の位置関係に関する情報が取得される。この患者座標系６００４で取得された生体器官及び要素組織の３次元分布情報を手術用カメラ先端座標系６００３に変換することで、手術用カメラ１０により取得された生体器官の画像に、その生体器官の一部の３次元領域に含まれる要素組織を示す表示が重畳される。

続いて、画像処理部２１０は、手術用カメラ１０から送信された画像信号に対して画像処理を実施し、生体器官の位置や形状及びその位置や形状の変化を算出する。詳細には、手術用カメラ１０から取得した画像から、生体器官のエッジや色等を特徴量として抽出し、各生体器官の位置及び形状並びに要素組織の位置及び形状を算出する。さらに、画像処理部２１０は、手術用カメラ１０から随時生体器官の画像を取得し、特徴量の変化を検出して、生体器官の変形や各生体器官の位置関係、及び／又は要素組織の位置や形状などの情報を取得する。また、画像処理部２１０は、生体器官の色や形状等から生体器官の撮像方向を判断してもよい。このようにして、画像処理部２１０は、例えば、生体器官や周辺組織、門脈を結索して生じる虚血境界線と、要素組織との位置関係及び変化を検出することができる。その結果、切離し等による生体器官の変形に応じて、手術用カメラ１０で取得された画像に重畳される要素組織の重畳位置は調整される。このようにして、手術用カメラ１０で取得された画像に要素組織が重畳されることで、例えば、肝静脈や虚血境界線をメルクマールとして、肝臓の亜区域をより正確に同定することが可能となり、更には、亜区域ごとに肝臓を切除する系統的肝切除をより円滑に行うことが可能となる。

また、制御部２２０は、この重畳画像を表示装置５０４１に所定の表示方法で表示させる。図４〜図６を参照しながら、重畳画像の表示方法について説明する。

図４は、表示装置５０４１に表示された重畳画像の一例を示す模式図である。図４では、生体器官の一つである肝臓の画像に、要素組織Ｖの一つである血管を示す表示が重畳して表示されている。制御部２２０は、図４左部に示す、第１の方向から見た生体器官の画像である第１の画像と、図４右部に示す、第１の方向と直交する第２の方向から見た生体器官の画像である第２の画像を表示装置５０４１に提供する。第２の画像は、第１の方向に沿った位置が表示される参照画像であってもよい。図４では、患者５０７１の腹部から背中部に向かう方向を第１の方向として示している。図４右部に示される第２の画像には、例えば、第１の方向に沿った座標軸が表示されてもよい。また、この第２の画像上には、重畳される要素組織を含む領域Ａが表示されてもよい。この領域Ａに含まれる要素組織を示す表示が、第１の画像に重畳して表示される。第１の画像に要素組織が重畳表示されることで、手術用カメラ１０で取得された画像を他の画像に切り替える作業を要することなく、ユーザは手術を行うことが可能となる。

また、第２の画像上には、領域Ａの位置及び範囲が表示されてもよく、例えば、図４に示すように、第１の方向に沿ったスケールが表示されてもよい。また、領域Ａの位置及び範囲を示す表示は、スケール表示に限られず、領域Ａの位置及び範囲がユーザに認識されればよく、例えば、領域Ａの座標値等が表示されてもよい。

また、領域Ａの位置及び範囲は、ユーザによって任意に設定されてもよい。ユーザによって領域Ａの位置及び範囲が設定されることで、ユーザが所望する組織要素が選択的に表示される。その結果生体器官の切除術において、誤って血管を切離することによる多量の出血や、悪性腫瘍への損傷による播種、神経叢損傷による機能障害などのリスクを低減することが可能となる。

ユーザが領域Ａの位置及び範囲を設定する方法は、公知のユーザインターフェースを利用することができ、例えば、図１に示したフットスイッチ５０５７や、タッチパネル、音声認識技術、ジェスチャ認識技術、近接センサ、術具５０１７に取付けられたジョイスティック、物理的なボタン等を利用してもよい。なお、表示装置５０４１には、第１の画像及び第２の画像の他に、例えば、心拍数や出血量等の各種の手術支援情報を表示させてもよい。

また、領域Ａの位置は、所定の術具５０１７の位置に応じて決定されてもよい。例えば、ユーザが扱うエネルギー処置具５０２１の先端位置を位置計測装置６０００が検出し、検出されたエネルギー処置具５０２１の先端位置を基準位置として、この基準位置から予め設定された範囲を領域Ａとしてもよい。この場合、エネルギー処置具５０２１の位置は、エネルギー処置具５０２１に備えられた機器用マーカー６００１に基づいて検出されてもよい。これにより、ユーザは、術中により注意すべき血管等の要素組織を把握することが可能となる。

制御部２２０は、所定の術具５０１７に応じて、重畳表示させた要素組織の一部を強調表示させてもよい。例えば、先だって説明した方法で要素組織が重畳表示され、上記方法で検出されたエネルギー処置具５０２１の位置の先端位置を基準位置として、制御部２２０は、この基準位置から予め設定された範囲内に存在する要素組織を強調表示させてもよい。

制御部２２０は、更に、要素組織と、その要素組織の第１の方向に沿った存在位置が相対的に表示されるように制御してもよい。制御部２２０は、例えば、第１の方向を患者５０７１の腹部から背中部に向かう方向に設定し、第１の方向に沿って生体器官を３つに区分して、それぞれの区分された生体器官に含まれる要素組織を重畳表示させてもよい。例えば、図５Ａは、３つに区分された生体器官に含まれる要素組織Ｖが重畳表示された画像を示している。図５Ｂは、３つに区分された生体器官のうちの腹部側から２番目に区分された生体器官に含まれる要素組織Ｖが重畳表示された画像を示している。図５Ｃは、３つに区分された生体器官のうちの背中側に区分された生体器官に含まれる要素組織Ｖが重畳表示された画像を示している。制御部２２０は、それぞれの画像に、それぞれ区分された生体器官の位置に応じたアイコンを表示してもよい。例えば、図５Ａ左上部には要素組織Ｖが浅い位置にあることを示すアイコンが表示され、図５Ｂ左上部には要素組織Ｖが比較的浅い位置にあることを示すアイコンが表示され、図５Ｃ左上部には要素組織Ｖが深い位置にあることを示すアイコンが表示されている。術者５０６７は、表示されたアイコンを確認しながら適宜手術を進めることができる。

制御部２２０は、更に、領域Ａに含まれない生体器官の部分に存在する要素組織Ｖ’を更に第２の画像上に表示するように制御してもよい。制御部２２０は、例えば、図６左図に示すように、領域Ａに含まれる要素組織Ｖと、領域Ａに含まれない生体器官の部分に存在する要素組織Ｖ’とが異なる態様で表示されるように制御してもよい。例えば、要素組織Ｖは強調して表示されてもよいし、領域Ａから離れた位置に存在する要素組織Ｖ’は、要素組織Ｖの明るさを基準として、第１の方向に沿って色や明るさ又は画像のぼけ具合が変化するように表示されてもよい。その結果、ユーザは領域Ａからの要素組織Ｖ’の距離を把握しやすくなる。

また、制御部２２０は、ユーザにより選択された複数種類の要素組織を、手術用カメラ１０で取得された画像に同時に重畳表示させてもよい。例えば、制御部２２０は、血管、神経叢、リンパ管、又は腫瘍のうち、血管と腫瘍の２種類を、手術用カメラ１０で取得された画像に同時に重畳表示させてもよい。このように、制御部２２０は、複数種類の要素組織のうち、少なくとも１種の要素組織を手術用カメラ１０で取得された画像に重畳表示させてもよい。さらに、制御部２２０は、ユーザにより選択された要素組織のうち、所定の要素組織を手術用カメラ１０で取得された画像に重畳表示させてもよい。例えば、重畳表示させる要素組織が血管である場合、画像処理部２１０は、動脈と静脈の特徴量の違いを検出し、制御部２２０は、例えば動脈を示す表示のみを手術用カメラ１０から取得した画像に重畳表示させてもよい。また、制御部２２０は、表示装置５０４１に生体器官の各区域（例えば、肝臓の亜区域ごと）の血管を選択的に重畳表示させてもよいし、解剖学的に意味のある血管のみを選択的に重畳表示させてもよい。このように、ユーザ所望の要素組織のみを重畳して表示装置５０４１に表示させることで、手術システム１は、ユーザにかかる負担を低減することが可能となる。

＜３．動作＞
続いて、手術システム１の動作の一例について詳細に説明する。
本実施形態に係る手術システム１の動作について、図７〜図９を参照しながら説明する。図７は、本実施形態に係る手術システム１の動作の流れの一例を示す流れ図である。

まず、手術用カメラ１０により、患者５０７１の生体器官の画像が取得される（Ｓ１１０）。手術用カメラ１０により取得された画像は、ネットワーク３０を介して画像処理装置２０に送信される。次いで、画像処理装置２０に備えられた画像処理部２１０は、手術用カメラ１０から送信された画像に対して画像処理を実施し、生体器官のエッジや色等を特徴量として抽出する（Ｓ１２０）。画像処理部２１０は、その特徴量から生体器官の形状を算出し、さらに、各生体器官の位置関係を算出して記憶する（Ｓ１３０）。次いで、画像処理部２１０は、手術用カメラ１０から取得した画像について画像処理を行い、特徴量を抽出して要素組織の位置や形状を算出する（Ｓ１４０）。そして、画像処理装置２０に備えられた制御部２２０は、手術用カメラ１０により取得された画像上に、要素組織を示す表示が重畳した重畳画像を生成する（Ｓ１５０）。その後、Ｓ１４０及びＳ１５０の処理が繰り返し実行される。画像処理部２１０は、随時手術用カメラ１０から生体器官の画像を取得し、取得した画像について適宜画像処理を行うことで特徴量の変化を抽出する。そして、画像処理部２１０は、術中に生じる生体器官や要素組織の位置や形状の変化を算出し、表示装置５０４１に表示させる重畳画像を更新する。

ここで、図８を参照しながら、Ｓ１５０の処理について詳細に説明する。まず、要素組織情報取得装置７０００により、生体器官の要素組織像が取得される（Ｓ１５１）。取得された要素組織像は、生体器官内の３次元分布情報として保存される。この生体器官の要素組織像の３次元分布情報は、例えば、術前又は術中に要素組織情報取得装置７０００を用いて取得されてもよい。

次いで、制御部２２０は、取得された要素組織の３次元分布情報を手術用カメラ１０で取得された生体器官の画像に反映し、位置合わせがされる（Ｓ１５３）。詳細には、位置計測装置６０００により、手術用カメラ１０及び患者５０７１の位置及び／又は姿勢が計測される。次いで、内視鏡手術システム５０００は、測定された手術用カメラ１０の位置及び姿勢に対して、図１に示した手術用カメラ先端座標系６００３を設定する。また、内視鏡手術システム５０００は、測定された患者５０７１の位置及び姿勢に対して、患者座標系６００４を設定する。内視鏡手術システム５０００は、この設定された患者座標系６００４から手術用カメラ先端座標系６００３へ座標系を変換するための変換行列を算出する。制御部２２０は、この算出された変換行列を利用して、患者座標系６００４で取得された生体器官及び要素組織の３次元分布情報を手術用カメラ先端座標系６００３に変換する。

次いで、ユーザにより、手術用カメラ１０により取得された画像に要素組織を示す表示を重畳させる領域Ａの位置及び範囲が選択される（Ｓ１５５）。このとき、ユーザは、領域Ａを選択するための第１の方向を設定してもよい。たとえば、患者５０７１の腹部から背中部に向かう方向を第１の方向としてもよい。

そして、手術用カメラ１０により取得された生体器官の画像に、領域Ａに含まれる要素組織を重畳して表示する（Ｓ１５７）。そして、手術用カメラ１０が取得した画像が更新される度に、上記処理は適宜実行される。

続いて、図９を参照しながら、位置計測装置６０００を用いた、手術用カメラ１０及び患者５０７１の位置及び姿勢の計測方法並びに座標変換方法を説明する。まず、手術用カメラ１０に、位置及び姿勢を計測する機器用マーカー６００１が取り付けられ、位置計測装置６０００は、この機器用マーカー６００１の位置を計測する（Ｓ２１０）。機器用マーカー６００１の取付位置は、手術用カメラ１０の位置が特定できれば特段限定されず、例えば、カメラヘッド５００５やアーム部５０３１に取付けられてよい。次いで、内視鏡手術システム５０００は、機器用マーカー６００１に基づいて、手術用カメラ先端座標系６００３を設定する（Ｓ２２０）。

次いで、患者５０７１の位置及び姿勢を計測する患者用マーカー６００２が患者５０７１に取り付けられ、位置計測装置６０００は、この患者用マーカー６００２の位置を計測する（Ｓ２３０）。患者用マーカー６００２の取付位置は、患者５０７１の位置及び姿勢が特定できれば特段限定されないが、術部の位置や形状の変化がより正確に取得されるような位置であることが好ましい。次いで、内視鏡手術システム５０００は、患者用マーカー６００２に基づいて、患者座標系６００４を設定する（Ｓ２４０）。そして、内視鏡手術システム５０００は、この設定された患者座標系６００４から手術用カメラ先端座標系６００３へ座標系を変換するための変換行列を算出する（Ｓ２５０）。この変換行列を用いて、患者座標系６００４は手術用カメラ先端座標系６００３に座標変換される。

＜４．ハードウェア構成＞
以上、本開示に係る実施形態について説明した。上述した画像処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。

次に、本開示の一実施形態に係る画像処理装置２０のハードウェア構成例について説明する。図１０は、本開示の一実施形態に係る画像処理装置２０のハードウェア構成例を示すブロック図である。図１０を参照すると、画像処理装置２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。

（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。

（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカー、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

＜５．結び＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
生体器官を撮像し、前記生体器官の画像を取得する手術用カメラと、
前記生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を前記生体器官の画像に重畳する画像処理装置と、
を備える、手術システム。
（２）
前記３次元領域は、第１の方向における一部の範囲上に位置する前記生体器官の領域である、（１）に記載の手術システム。
（３）
前記画像処理装置は、前記第１の方向上での前記３次元領域の範囲を示す範囲表示を生成する、（２）に記載の手術システム。
（４）
前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
前記範囲表示は、前記参照画像上で前記範囲を示す表示である、（３）に記載の手術システム。
（５）
前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
前記参照画像には、前記第１の方向に沿ったスケール表示が付され、
前記範囲表示は、前記第１の方向上での前記範囲を示す数値表示である、（３）に記載の手術システム。
（６）
前記３次元領域はユーザにより選択された前記生体器官の一部の領域である、（１）〜（５）のいずれか１つに記載の手術システム。
（７）
前記３次元領域は所定の術具の位置に応じて決定される前記生体器官の一部の領域である、（１）〜（５）のいずれか１つに記載の手術システム。
（８）
前記画像処理装置は、前記要素組織を示す表示のうちで、所定の術具の位置に応じた部分を示す表示を強調する、（１）〜（７）のいずれか１つに記載の手術システム。
（９）
前記画像処理装置は、前記要素組織として血管、神経叢、リンパ管、又は腫瘍の少なくともいずれか１種を示す表示を前記生体器官の画像に重畳する、（１）〜（８）のいずれか１つに記載の手術システム。
（１０）
前記生体器官は、肝臓であり、
前記画像処理装置は、前記要素組織として血管を示す表示を前記肝臓の画像に重畳する、（１）〜（９）のいずれか１つに記載の手術システム。
（１１）
前記画像処理装置は、前記３次元領域外に含まれる要素組織を示す表示を前記生体器官の画像にさらに重畳し、
前記３次元領域外に含まれる要素組織を示す表示の態様は、前記３次元領域に含まれる要素組織を示す表示の態様と異なる、（１）〜（１０）のいずれか１つに記載の手術システム。
（１２）
前記生体器官には複数種類の要素組織が含まれ、
前記画像処理装置は、前記複数種類の要素組織のうちでユーザにより選択された種類の要素組織を示す表示を前記生体器官の画像に重畳する、（１）〜（１１）のいずれか１つに記載の手術システム。
（１３）
生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳する画像処理部、を備える、画像処理装置。
（１４）
プロセッサにより、生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳すること、を含む、画像処理方法。

１ 手術システム
１０ 手術用カメラ
２０ 画像処理装置
３０ ネットワーク
１１０ 撮像部
１２０、２３０ 通信部
２１０ 画像処理部
５００１ 内視鏡
５０３９ ＣＣＵ
５０４１ 表示装置
６０００ 位置計測装置
６００１ 機器用マーカー
６００２ 患者用マーカー
６００３ 手術用カメラ先端座標系
６００４ 患者座標系

Claims (14)

1. 生体器官を撮像し、前記生体器官の画像を取得する手術用カメラと、
   前記生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を前記生体器官の画像に重畳する画像処理装置と、
   を備える、手術システム。
2. 前記３次元領域は、第１の方向における一部の範囲上に位置する前記生体器官の領域である、請求項１に記載の手術システム。
3. 前記画像処理装置は、前記第１の方向上での前記３次元領域の範囲を示す範囲表示を生成する、請求項２に記載の手術システム。
4. 前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
   前記範囲表示は、前記参照画像上で前記範囲を示す表示である、請求項３に記載の手術システム。
5. 前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
   前記参照画像には、前記第１の方向に沿ったスケール表示が付され、
   前記範囲表示は、前記第１の方向上での前記範囲を示す数値表示である、請求項３に記載の手術システム。
6. 前記３次元領域はユーザにより選択された前記生体器官の一部の領域である、請求項１に記載の手術システム。
7. 前記３次元領域は所定の術具の位置に応じて決定される前記生体器官の一部の領域である、請求項１に記載の手術システム。
8. 前記画像処理装置は、前記要素組織を示す表示のうちで、所定の術具の位置に応じた部分を示す表示を強調する、請求項１に記載の手術システム。
9. 前記画像処理装置は、前記要素組織として血管、神経叢、リンパ管、又は腫瘍の少なくともいずれか１種を示す表示を前記生体器官の画像に重畳する、請求項１に記載の手術システム。
10. 前記生体器官は、肝臓であり、
    前記画像処理装置は、前記要素組織として血管を示す表示を前記肝臓の画像に重畳する、請求項１に記載の手術システム。
11. 前記画像処理装置は、前記３次元領域外に含まれる要素組織を示す表示を前記生体器官の画像にさらに重畳し、
    前記３次元領域外に含まれる要素組織を示す表示の態様は、前記３次元領域に含まれる要素組織を示す表示の態様と異なる、請求項１に記載の手術システム。
12. 前記生体器官には複数種類の要素組織が含まれ、
    前記画像処理装置は、前記複数種類の要素組織のうちでユーザにより選択された種類の要素組織を示す表示を前記生体器官の画像に重畳する、請求項１に記載の手術システム。
13. 生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳する画像処理部、を備える、画像処理装置。
14. プロセッサにより、生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳すること、を含む、画像処理方法。

Images