JP7148193B1 - 手術支援システム、手術支援方法、及び手術支援プログラム - Google Patents

Abstract

【課題】手術を受ける被検体に対する負担が増大することなく、術者が術中に認識するべき所定の器官を内視鏡により撮像された画像に重畳表示して術者への手術支援を行うことができる手術支援システム等を提供する。【解決手段】本開示に係る手術支援システムは、内視鏡により撮像された画像を取得する画像取得部と、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得部によって取得された画像を入力して、画像取得部によって取得された画像内における所定の器官の位置及び範囲を推定する器官領域推定部と、器官領域推定部によって推定された所定の器官の位置及び範囲を示す情報を、画像取得部が取得した画像に重畳して表示する推定領域表示部と、を備える。【選択図】図２

Description

本発明は、手術支援システム、手術支援方法、及び手術支援プログラムに関し、特に内視鏡を用いた手術中の術者の器官の認識を支援する手術支援システム、手術支援方法、及び手術支援プログラムに関するものである。

近年、内視鏡を用いる手術が多くの施設で行われるようになった。内視鏡を用いる手術には、経口、経鼻、肛門から内視鏡を消化器などに入れて行う内視鏡手術、腹腔に内視鏡を入れて行う腹腔鏡手術、胸腔に内視鏡を入れて行う胸腔鏡手術、及び関節に内視鏡を入れて行う関節鏡手術などがある。

例えば、腹腔鏡手術は、５から１２ミリメートル程度の切開を腹部に数カ所設け、腹腔鏡（内視鏡の一種）、鉗子、及び電気メスなどを切開から腹腔に挿入し、腹腔鏡で捉えた映像をモニタに映し出して手術を行うものである。

腹腔鏡手術は、切開で生じる傷が小さく目立たないため美容的に優れ、術後の痛みが開腹手術より少なく早期回復が可能であり、感染症のリスクが低く、出血量も少ないなどのメリットが挙げられる。

一方、腹腔鏡手術を含む内視鏡を用いた手術は、術者の視界が制限されるとともに術者が臓器などの器官に直接触れることができない等の理由により技術を習得するのに時間及び経験を要するため、術者、施設間での技術の差が大きいなどのデメリットが挙げられる。

そこで、内視鏡を用いた手術の上記のデメリットを軽減することを目的として、手術の対象となる治療部位の全体を広範囲に観察することができるとする内視鏡システムが提案された（特許文献１参照）。特許文献１に開示の技術は、内視鏡とともに、体腔内に留置される小型カメラを用いることで術中の視野を広範囲に確保できるとしている。

しかし、特許文献１に開示の技術は、手術前の被検者の体腔内に当該小型カメラを適切な位置に設置し、術中に当該小型カメラを適切な位置に留置し続ける必要があった。このため、当該小型カメラの設置にある程度の時間を要し被検者に対する負担が増大する虞があった。

また、手術後に被検者の体腔内から小型カメラを取り除く必要があり、この点に関しても被検者に対する負担が増大する虞があった。

特開２００８－３０７２２５号

そこで、本開示は、手術を受ける被検体に対する負担が増大することなく、術者が術中に認識するべき所定の器官を内視鏡により撮像された画像に重畳表示して術者への手術支援を行うことができる手術支援システム、手術支援方法、及び手術支援プログラムを提供することを目的とする。

すなわち、第１の態様に係る手術支援システムは、内視鏡により撮像された画像を取得する画像取得部と、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得部によって取得された画像を入力して、画像取得部によって取得された画像内における所定の器官の位置及び範囲を推定する器官領域推定部と、器官領域推定部によって推定された所定の器官の位置及び範囲を示す情報を、画像取得部が取得した画像に重畳して表示する推定領域表示部と、を備える。

第２の態様は、第１の態様に係る手術支援システムにおいて、器官領域推定モデルは、手術の術式を示す識別情報と、手術時に撮像された画像と、当該画像内における当該術式に関連する所定の器官の位置及び範囲との関係を予め学習したモデルであり、手術の術式の選択を受け付ける術式選択受付部を備え、器官領域推定部は、器官領域推定モデルに、画像取得部が取得した画像と、術式選択受付部が受け付けた術式を示す識別情報と、を入力して、画像取得部が取得した画像内における所定の器官の位置及び範囲を推定することとしてもよい。

第３の態様は、第２の態様に係る手術支援システムにおいて、手術の術式の開始から終了までの過程を内容ごとに分類し順次実施される一連の工程の各工程と、手術時に撮像された画像との関係を予め学習した工程分類モデルに、画像取得部によって取得された画像と、術式選択受付部が受け付けた術式を示す識別情報とを入力して、画像取得部が取得した画像における術式の工程を推定する工程推定部を備え、器官領域推定モデルは、手術の術式を示す識別情報と、術式の工程を示す識別情報と、手術時に撮像された画像と、当該画像内における術式の工程に関連する所定の器官の位置及び範囲と、の関係を学習したモデルであり、器官領域推定部は、器官領域推定モデルに、画像取得部が取得した画像と、術式選択受付部が受け付けた術式を示す識別情報と、工程推定部により推定された工程を示す識別情報とを入力して、画像取得部が取得した画像内における所定の器官の位置及び範囲を推定することとしてもよい。

第４の態様は、第３の態様に係る手術支援システムにおいて、手術の術式の工程に係る器官と、当該手術による切開箇所における切開前の画像と、当該画像に切開の際の術具の先端部の軌跡をアノテーションとして付与した画像との関係を予め学習した切開ライン推定モデルに、画像取得部が取得した画像と、術式選択受付部が受け付けた術式を示す識別情報と、工程推定部により推定された工程を示す識別情報とを入力して、画像取得部が取得した画像内における、切開の際に術具の先端部が通るべき切開ラインの位置及び範囲を推定する切開ライン推定部を備え、推定領域表示部は、切開ライン推定部によって推定された切開ラインを示す情報を、画像取得部が取得した画像に重畳して表示することとしてもよい。

第５の態様は、第４の態様に係る手術支援システムにおいて、術具の先端部の形状を予め学習した術具検知モデルを用い、画像取得部により取得された画像の中の術具の先端部の位置を検知する術具先端検知部と、術具先端検知部により検知された先端部の位置が、切開ライン推定部により推定された切開ラインに達したか否かを判定する切開開始判定部と、切開開始判定部が達したと判定した場合に術者に切開開始の可能性を報知する切開開始報知部と、を備えることとしてもよい。

第６の態様は、第１乃至第３の態様の何れか１の態様に係る手術支援システムにおいて、術具の先端部の形状を予め学習した術具検知モデルを用い、画像取得部により取得された画像の中の術具の先端部の位置を検知する術具先端検知部と、術具先端検知部により検知された先端部の位置が、器官領域推定部により推定された所定の器官の位置及び範囲に達したか否かを判定する器官損傷判定部と、器官損傷判定部が達したと判定した場合に術者に器官損傷の可能性を報知する器官損傷報知部と、を備えることとしてもよい。

第７の態様は、第１乃至第３の態様の何れか１の態様に係る手術支援システムにおいて、術具の先端部の形状を予め学習した術具検知モデルを用い、画像取得部により取得された画像の中の術具の先端部の位置を検知する術具先端検知部と、画像取得部によって取得された画像の中の血管の位置及び範囲を検出する血管検出部と、術具先端検知部により検知された先端部の位置が、血管検出部により検出された血管に達したか否かを判定する血管損傷判定部と、血管損傷判定部が達したと判定した場合に術者に血管の損傷の可能性を報知する血管損傷報知部と、を備えることとしてもよい。

第８の態様は、第１乃至第７の態様の何れか１の態様に係る手術支援システムにおいて、器官領域推定部が、画像取得部によって取得された画像において、複数の所定の器官の位置及び範囲を推定した場合、推定領域表示部は、器官領域推定部によって推定された複数の所定の器官を示す情報についてそれぞれ表示態様を変えて画像取得部が取得した画像に重畳して表示することとしてもよい。

第９の態様は、第１乃至第８の態様の何れか１の態様に係る手術支援システムにおいて、器官領域推定モデルは、学習の対象となる器官が自動性を有する場合は当該自動性に係る運動の態様を予め学習し、器官領域推定部により推定された所定の器官が自動性を有する場合、推定領域表示部は、器官領域推定部によって推定された所定の器官を示す情報を所定の態様により強調して画像取得部が取得した画像に重畳して表示することとしてもよい。

第１０の態様は、第１乃至第９の態様の何れか１の態様に係る手術支援システムにおいて、器官領域推定部により推定された所定の器官の位置及び範囲と、画像取得部によって取得された画像とを比較することで所定の器官の露出度を判定する露出度判定部と、推定領域表示部は、露出度判定部により判定された露出度に応じて、器官領域推定部によって推定された所定の器官を示す情報の表示態様を変えることとしてもよい。

第１１の態様は、第１乃至第１０の態様の何れか１の態様に係る手術支援システムにおいて、画像取得部は、連続する複数枚の画像を取得し、器官領域推定部は、画像取得部により取得された連続する複数枚の画像を器官領域推定モデルに入力することによって所定の器官の位置及び範囲の軌跡を推定することとしてもよい。

第１２の態様は、第１乃至第１１の態様の何れか１の態様に係る手術支援システムにおいて、画像取得部は、内視鏡により撮像された画像とともに、コンピュータ断層撮影により手術前に撮像された画像及び磁気共鳴画像撮影により手術前に撮像された画像のうち少なくとも何れか一方を取得し、器官領域推定部は、画像取得部によって取得された画像を器官領域推定モデルに入力することによって所定の器官の位置及び範囲を推定し、推定領域表示部は、器官領域推定部によって推定された所定の器官の位置及び範囲を示す情報を、画像取得部が取得したコンピュータ断層撮影により手術前に撮像された画像及び磁気共鳴画像撮影により手術前に撮像された画像のうち少なくとも何れか一方に重畳表示することとしてもよい。

第１３の態様は、第１乃至第１２の態様の何れか１の態様に係る手術支援システムにおいて、所定の器官とは、手術中に損傷する確率の高い器官であることとしてもよい。

第１４の態様は、第８の態様に係る手術支援システムにおいて、内視鏡が腹腔鏡であって、器官領域推定部が、画像取得部によって取得された画像を器官領域推定モデルに入力することにより隣り合う２つの器官の位置及び範囲を推定した場合、推定領域表示部は、隣り合う２つの器官のうちの一方の器官の位置及び範囲を示す情報のうち、隣り合う２つの器官のうちの他方の器官の位置及び範囲に近い部分を画像取得部が取得した画像に重畳して表示することとしてもよい。

第１５の態様に係る手術支援方法は、手術支援システムに用いられるコンピュータに、内視鏡により撮像された画像を取得する画像取得ステップと、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得ステップにおいて取得された画像を入力して、画像取得ステップにおいて取得された画像内における所定の器官の位置及び範囲を推定する器官領域推定ステップと、器官領域推定ステップにおいて推定された所定の器官の位置及び範囲を示す情報を、画像取得ステップにおいて取得した画像に重畳して表示する推定領域表示ステップと、を実行させる。

第１６の態様に係る手術支援プログラムは、手術支援システムに用いられるコンピュータに、内視鏡により撮像された画像を取得する画像取得機能と、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得機能において取得された画像を入力して、画像取得機能において取得された画像内における所定の器官の位置及び範囲を推定する器官領域推定機能と、器官領域推定機能において推定された所定の器官の位置及び範囲を示す情報を、画像取得機能において取得した画像に重畳して表示する推定領域表示機能と、を発揮させる。

本開示に係る手術支援システム等は、内視鏡により撮像された画像を取得する画像取得部と、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得部によって取得された画像を入力して、画像取得部によって取得された画像内における所定の器官の位置及び範囲を推定する器官領域推定部と、器官領域推定部によって推定された所定の器官の位置及び範囲を示す情報を、画像取得部が取得した画像に重畳して表示する推定領域表示部と、を備えるので、手術を受ける被検体に対する負担が増大することなく、所定の器官を内視鏡により撮像された画像に重畳表示して術者への手術支援を行うことができる。

本実施形態の手術支援システムに係る機械的構成の一例を示すブロック図である。 本実施形態の手術支援システムに係る機能的構成の一例を示すブロック図である。 本実施形態の手術支援システムに係る術式の工程の一例を説明するための表である。 本実施形態の手術支援システムに係る術具の先端部の位置を検知し内視鏡により撮像された画像に重畳表示した一例を示す図である。 本実施形態の手術支援システムに係る実際の手術により切開をした跡の一例を示す図である。 本実施形態の手術支援システムに係る実際の手術による切開箇所の切開前の画像にアノテーションを付与した画像の一例を示す図である。 本実施形態の手術支援システムに係る内視鏡により撮像された画像に切開ラインを強調して内視鏡により撮像された画像に重畳表示した一例を示す図である。 本実施形態の手術支援システムに係る内視鏡により撮像された画像の一例を示す図である。 本実施形態の手術支援システムに係る手術中に損傷する可能性の高い器官の位置及び範囲を強調して内視鏡により撮像された画像に重畳表示した一例を示す図である。 本実施形態の手術支援システムに係る、子宮頸部のうち膀胱に近い側の子宮頸部の位置及び範囲を強調して内視鏡により撮像された画像に重畳表示した一例を示す図である。 本実施形態の手術支援プログラムに係る器官露出判定モードのフローチャートである。 本実施形態の手術支援プログラムに係る器官損傷判定モードのフローチャートである。 本実施形態の手術支援プログラムに係る切開開始判定モードのフローチャートである。 本実施形態の手術支援プログラムに係る血管損傷判定モードのフローチャートである。 本実施形態の手術支援システムに係る学習モデルの生成過程における機能ブロック図である。 本実施形態の手術支援システムに係る学習モデルの生成過程のフローチャートである。

図１乃至図１０を参照して本実施形態の手術支援システム１０について説明する。
手術支援システム１０は、パーソナルコンピュータ、ノートＰＣ、タブレット型コンピュータなどに代表される電子計算機であり、後述する内視鏡システム１４などの外部装置に接続され、当該外部装置に対してデータの入出力を行う。手術支援システム１０は、内視鏡システム１４が撮像した動画若しくは静止画の画像に対して即時に画像解析を行い、当該画像解析の結果を、内視鏡システム１４の内視鏡が撮像した当該画像とともにモニタ１２に出力し得るものである。本実施形態では、手術支援システム１０が１つの装置として単体で存在する場合を示しているが、これに限らず手術支援システム１０がモジュール化され他の電子計算機の一部として組み込まれても良い。

内視鏡システム１４は、内視鏡、鉗子、外科手術用エネルギーデバイス、トロッカー、ビデオプロセッサ、内視鏡用ディスプレイなどから構成される。
内視鏡は、体内に挿入し、内部の様子を見るものでありスコープともよばれ、用いられる部位によって腹腔鏡、胸腔鏡、神経内視鏡、耳鼻咽喉用内視鏡、気管支内視鏡、上部消化器官内視鏡、胆道内視鏡、十二指腸用内視鏡、大腸内視鏡、小腸内視鏡、膀胱尿道胸、関節鏡などとも呼ばれる。本実施形態では、手術支援システム１０を腹腔鏡手術に用いられる内視鏡システム１４に接続して用いる例について説明するが、手術支援システム１０は胸腔鏡など他の部位に用いる内視鏡システム１４に接続して用いることもできる。

鉗子は、術具の一種であり、臓器など器官を掴むための把持鉗子、組織を剥がしとるための剥離鉗子、病変部の一部などを切開・切除するための鋏鉗子などがある。
外科手術用エネルギーデバイスは、エネルギーの力で組織を切開・剥離し、止血するための術具である。エネルギーには、主に止血に優れる高周波電流と、組織の切開・剥離に優れる超音波振動とがある。

トロッカーとは、針と管とを備え、胸腔又は腹腔からの排液又は排気を行うために使用される。
ビデオプロセッサとは、内視鏡からの電気信号に対して、ノイズ抑制処理、映像信号への変換処理、ホワイトバランス処理などをして内視鏡用ディスプレイ及び手術支援システム１０に内視鏡からの映像信号を出力する。

（手術支援システム１０の機械的構成）
図１を参照して手術支援システム１０の機械的構成の一例について説明する。図１は本実施形態の手術支援システム１０に係る機械的構成の一例を示すブロック図である。

手術支援システム１０は、通信インターフェース１０ａ、Read Only Memory（ＲＯＭ）１０ｂ、Random Access Memory（ＲＡＭ）１０ｃ、記憶部１０ｄ、Central Processing Unit（ＣＰＵ）１０ｅ、及び入出力インターフェース１０ｆなどを備えている。また、手術支援システム１０は、その外部装置として、モニタ１２、スマートグラス１３、内視鏡システム１４、入力装置１５及び出力装置２５を備えている。

記憶部１０ｄは、記憶装置として利用でき、手術支援システム１０が動作する上で必要となる後述の手術支援プログラム、各種アプリケーション及び当該アプリケーションによって利用される各種データなどを記憶している。さらに、記憶部１０ｄは、各種用途に合わせて機械学習によって生成された後述の各種学習済みモデルが予め記憶している。

入出力インターフェース１０ｆは、外部装置である、モニタ１２、スマートグラス１３、内視鏡システム１４、入力装置１５及び出力装置２５に対してデータなどの送受信を行う。入力装置１５は、フットスイッチ１６、マイク１７、キーボード１８、マウス１９、及びスキャナ２０などのことであり、出力装置２５はスピーカ２６、及びプリンタ２７などのことであり、これらはいわゆる手術支援システム１０の周辺機器である。

通信インターフェース１０ａは、ネットワーク１１に対してデータ等を送受信可能とするものであり、遠隔から指示・指導を行う指示者・指導者などの情報処理端末に接続され得るものである。

手術支援システム１０は、動作する上で必要となる手術支援プログラムをＲＯＭ１０ｂ若しくは記憶部１０ｄに保存し、ＲＡＭ１０ｃなどで構成されるメインメモリに手術支援プログラムを取り込む。ＣＰＵ１０ｅは、手術支援プログラムを取り込んだメインメモリにアクセスして、手術支援プログラムを実行し、後述する各種機能部を備える。

スマートグラス１３は、術者などが頭部に装着するものであり、術者に対して視覚情報、聴覚情報を出力するモニタ、マイクを備えるとともに、術者の動作・姿勢を検知するジャイロセンサ、術者の音声を集音するマイクを備える。術者は、頭部を振ることで当該ジャイロセンサが術者の動作を検知し、手術支援システム１０に対して指令信号を与えることができる。また、術者は、マイクに対して所定の音声を発することで手術支援システム１０に対して指令信号を与えることができる。なお、スマートグラス１３は、ヘッドマウントディスプレイ（Head Mounted Display）を代用として用いることができる。

フットスイッチ１６は、術者などが足によって操作するスイッチであり、手術支援システム１０に対して指令信号を与えることができる。

（手術支援システム１０の機能的構成）
図２を参照して、手術支援システム１０の機能的構成の一例について説明する。図２は本実施形態に係る手術支援システム１０の機能的構成の一例を示すブロック図である。

手術支援システム１０は、動作する上で必要となる手術支援プログラムをＲＯＭ１０ｂ若しくは記憶部１０ｄに保存し、ＲＡＭ１０ｃなどで構成されるメインメモリに手術支援プログラムを取り込む。ＣＰＵ１０ｅは、手術支援プログラムを取り込んだメインメモリにアクセスして手術支援プログラムを実行する。

手術支援システム１０は、手術支援プログラムを実行することで、ＣＰＵ１０ｅに術式選択受付部３０、画像取得部３１、工程推定部３２、器官領域推定部３３、露出度判定部３４、術具先端検知部３５、器官損傷判定部３６、器官損傷報知部３７、切開ライン推定部３８、切開開始判定部３９、切開開始報知部４０、血管検出部４１、血管損傷判定部４２、血管損傷報知部４３、及び推定領域表示部４４などを機能部として備える。

（術式選択受付部）
術式選択受付部３０は、手術の術式の選択を受け付ける。
手術支援システム１０の使用者である術者などは、手術支援システム１０に予め登録してある手術の術式の中から、実施する手術の術式を選択する。一例として、術者は、モニタ１２又はスマートグラス１３に表示される術式のメニューの中からマウス等のポインティングデバイス又は音声入力機能等を用いて、術式を選択することとしてよい。術式選択受付部３０は、手術の開始前に当該手術に係る術式について術者などの選択により受け付ける。なお、術式は手術の途中での変更が可能であり、術式選択受付部３０は手術の途中で他の術式の選択を受け付けることができ、手術支援システム１０は手術の途中で受け付けた他の術式の識別情報を用いてその後の処理を行う。

（画像取得部）
画像取得部３１は、内視鏡により撮像された画像を取得する。
画像取得部３１は、内視鏡システム１４のビデオプロセッサからの出力信号を取得することにより、内視鏡により撮像された動画若しくは静止画の画像の映像信号を取得する。また、画像取得部３１は、図示しないコンピュータ断層撮影（ＣＴ：Computed Tomography）装置及び磁気共鳴画像撮影（ＭＲＩ：Magnetic Resonance Imaging）装置によって撮影された画像を取得することができる。なお、本実施形態に係る内視鏡システム１４は、コンピュータ断層撮影（ＣＴ）装置及び磁気共鳴画像撮影（ＭＲＩ）装置が撮像した画像を取得することができるが、コンピュータ断層撮影（ＣＴ）装置及び磁気共鳴画像撮影（ＭＲＩ）装置は本件発明に必要不可欠の構成ではない。

（工程推定部）
工程推定部３２は、手術の術式の開始から終了までの過程を内容ごとに分類し順次実施される一連の工程の各工程と、手術時に撮像された画像との関係を予め学習した工程分類モデルに、画像取得部３１によって取得された画像と、術式選択受付部３０が受け付けた術式を示す識別情報とを入力して、画像取得部３１が取得した画像における術式の工程を推定する。
工程推定部３２は、画像取得部３１によって取得された画像を工程分類モデルに入力することで、当該画像のシーン認識を行い当該画像に係る工程を推定するものである。

図３を参照して術式の構成について説明する。図３は本実施形態の手術支援システム１０に係る術式の工程の一例を説明するための表である。術式の一例として、Ｓ状結腸切除術を掲げて説明する。Ｓ状結腸切除術は開始から終了までの過程を９つの工程に分類される。９つ工程は、工程１「直腸後腔処理」、工程２「血管処理前の内側授動」、工程３「血管処理」、工程４「血管処理後の内側授動」、工程５「外側授動」、工程６「直腸周囲剥離」、工程７「直腸腸間膜処理」、工程８「切離・吻合」、工程９「下腸間膜静脈（左結腸動脈）処理」を備える。術式を工程に分類することで、手術の手順管理、精度管理、所要時間管理、患者の体調管理などが工程ごとに行うことが可能になり手術全体の管理を効率的に行うことができるとともに、手術に関する手技の習得、トレーニングを行う際に有用である。

工程分類モデルは、手術時の工程ごとに撮像された画像と当該画像における術式の工程の識別情報との対応関係を予め学習したモデルであり、機械学習により生成され手術支援システム１０の記憶部１０ｄに予め記憶されている。

（器官領域推定部）
器官領域推定部３３は、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得部３１によって取得された画像を入力して、画像取得部３１によって取得された画像内における所定の器官の位置及び範囲を推定する。
器官とは、臓器、筋肉、靱帯、腱、血管、神経、尿管、骨などのことをいい、人体を構成する単位であり、一定の機能を司る組織の集合体である。
なお、本実施形態の器官領域推定モデルは、手術時に撮像された画像内の所定の器官にアノテーションを付与した教師データを用いて、当該画像内における所定の器官の位置及び範囲との関係を予め学習するが、これに限定されるものでは無い。器官領域推定部３３は、器官に拘わらず手術中に損傷する可能性の高い部位にアノテーションを付与した教師データを用いて、当該画像内における所定の部位の位置及び範囲との関係を予め学習したモデルに、画像取得部３１によって取得された画像を入力して、画像取得部３１によって取得された画像内における所定の部位の位置及び範囲を推定することとしてもよい。所定の部位とは、例えば、複数の器官を跨ぐ広範囲の部位であって手術中に損傷しやすい部位、或いは、器官の一部分であって手術中に損傷しやすい部位などである。

器官領域推定部３３は、内視鏡システム１４の内視鏡によって撮像された画像を、器官領域推定モデルに入力して、当該画像内における所定の器官の位置及び範囲をリアルタイム（即時）に推定する。器官領域推定部３３の推定結果は、後述の推定領域表示部４４により、内視鏡によって撮影された画像にリアルタイム（即時）に重畳されてモニタ１２に表示される。術者は、モニタ１２に表示された当該推定結果を手術中に確認することで、所定の器官の位置及び範囲に注意しながら手術を行うことができる。

器官領域推定部３３の推定の対象となる器官は、手術中に損傷する確率の高い器官であることとしてもよい。器官領域推定モデルは、手術時に撮像された画像と、当該画像内における手術中に損傷する確率の高い器官の位置及び範囲との関係を予め学習したモデルである。器官領域推定部３３は、当該器官領域推定モデルに、画像取得部３１によって取得された画像を入力して、画像取得部３１によって取得された画像内における手術中に損傷する確率の高い器官の位置及び範囲を推定する。手術支援システム１０は、手術中に損傷する確率の高い器官の位置及び範囲を推定し、画像取得部３１によって取得された画像内にリアルタイム（即時）に当該器官の位置及び範囲を示すことができるので、術者に手術中の支援をすることができる。

器官領域推定モデルは、手術の術式を示す識別情報と、手術時に撮像された画像と、当該画像内における当該術式に関連する所定の器官の位置及び範囲との関係を予め学習したモデルであってもよい。器官領域推定部３３は、器官領域推定モデルに、画像取得部３１が取得した画像と、術式選択受付部３０が受け付けた術式を示す識別情報と、を入力して、画像取得部３１が取得した画像内における所定の器官の位置及び範囲を推定する。

所定の器官が手術中に損傷する確率の高い器官である場合、器官領域推定モデルは、手術の術式を示す識別情報と、手術時に撮像された画像と、当該画像内における当該術式による手術中に損傷する確率の高い器官の位置及び範囲との関係を予め学習したモデルであってもよい。器官領域推定部３３は、当該器官領域推定モデルに、画像取得部３１が取得した画像と、術式選択受付部３０が受け付けた術式を示す識別情報と、を入力して、画像取得部３１が取得した画像内における当該術式による手術中に損傷する確率の高い器官の位置及び範囲を推定する。

例えば、術式が子宮全摘術であり、当該術式の手術中に損傷する確率の高い器官が膀胱、直腸、腸管、尿管である場合、器官領域推定部３３は、当該器官領域推定モデルに、画像取得部３１が取得した画像と、術式選択受付部３０が受け付けた子宮全摘術を示す識別情報とを入力して、画像取得部３１が取得した画像内における膀胱、直腸、腸管、尿管の位置及び範囲を推定する。器官領域推定部３３は、術式が特定されることによって推定する器官が絞られるので、当該器官の位置及び範囲の推定精度が向上する。

器官領域推定モデルは、手術の術式を示す識別情報と、術式の工程を示す識別情報と、手術時に撮像された画像と、当該画像内における術式の工程に関連する所定の器官の位置及び範囲との関係を学習したモデルであってもよい。器官領域推定部３３は、器官領域推定モデルに、画像取得部３１が取得した画像と、術式選択受付部３０が受け付けた術式を示す識別情報と、工程推定部３２により推定された工程を示す識別情報とを入力して、画像取得部３１が取得した画像内における所定の器官の位置及び範囲を推定する。

所定の器官が手術中に損傷する確率の高い器官である場合、器官領域推定モデルは、手術の術式を示す識別情報と、術式の工程を示す識別情報と、手術時に撮像された画像と、当該画像内における当該術式による手術中に損傷する確率の高い器官の位置及び範囲との関係を予め学習したモデルであってもよい。器官領域推定部３３は、当該器官領域推定モデルに、画像取得部３１が取得した画像と、術式選択受付部３０が受け付けた術式を示す識別情報と、工程推定部３２より推定された工程を示す識別情報とを入力して、画像取得部３１が取得した画像内における当該工程による手術中に損傷する確率の高い器官の位置及び範囲を推定する。

例えば、術式がＳ状結腸切除術、工程が工程６「直腸周囲剥離」であり、当該工程の手術中に損傷する確率の高い器官が小腸、回腸、上直腸動脈である場合、器官領域推定部３３は、当該器官領域推定モデルに、画像取得部３１が取得した画像と、術式選択受付部３０が受け付けたＳ状結腸切除術を示す識別情報と、工程６「直腸周囲剥離」を示す識別情報とを入力して、画像取得部３１が取得した画像内における小腸、回腸、上直腸動脈の位置及び範囲を推定する。器官領域推定部３３は、術式が特定された上に更に工程が特定されることによって推定する器官が絞られるので、当該器官の位置及び範囲の推定精度が向上する。

（術具先端検知部）
術具先端検知部３５は、術具の先端部の形状を予め学習した術具検知モデルを用い、画像取得部３１により取得された画像の中の術具の先端部の位置を検知する。
術具先端検知部３５は、公知の３次元形状認識手法により画像内の術具の先端部の位置を検知する。例えば、術具の３次元物体としての形状認識は、手術に使われる術具の外観を様々な角度から撮影した画像を多数用意し、この多数の画像を当該術具の３次元物体としての多視点画像群とし術具検知モデルに機械学習させることで学習モデルを生成する。術具先端検知部３５は、当該機械学習により得られた術具検知モデルに画像取得部３１により取得された画像を入力することで、画像内の術具の先端部の位置を検知する。
なお、術具先端検知部３５は、それぞれの術具に対応するテンプレートを用いて、画像取得部３１が取得した画像の一部が、テンプレートとの関係において所定の類似度を有するか否かにより術具の検知を行うパターンマッチングを行っても良い。

図４を参照して術具先端検知部３５の術具の先端部の位置の検知について説明する。図４は、本実施形態の手術支援システム１０に係る術具の先端部の位置を検知し内視鏡により撮像された画像に重畳表示した一例を示す図である。

図４に示す画像は２個の術具（第１術具５９、第２術具６０）を含む。術具先端検知部３５は、画像取得部３１により取得された画像内の第１術具４９及び第２術具５０を第１バウンディングボックス６１及び第２バウンディングボックス６２で囲う。次に、術具先端検知部３５は、第１バウンディングボックス６１及び第２バウンディングボックス６２の中にある先端部を検知し、当該先端部のエッジ部分に第１強表表示６３及び第２強調表示６４を付与する。推定領域表示部４４は、第１バウンディングボックス６１、第２バウンディングボックス６２、第１強表表示６３、及び第２強調表示６４を画像取得部３１により取得された画像に重畳表示することで、術者に術具の先端位置を示す。
術具先端検知部３５は、後述する手術支援システム１０の器官損傷判定モード、切開開始判定モード、及び血管損傷判定モードに用いられる。

（器官損傷判定モード）
手術支援システム１０の器官損傷判定モードは、手術中に器官が術具により損傷された場合を検知し術者などに報知するものである。
器官損傷判定部３６は、術具先端検知部３５により検知された先端部の位置が、器官領域推定部３３により推定された所定の器官の位置及び範囲に達したか否かを判定する。
器官損傷報知部３７は、器官損傷判定部３６が達したと判定した場合に術者に器官損傷の可能性を報知する。器官損傷報知部３７による報知の方法は、モニタ１２、スマートグラス１３への所定報知画面の表示、及びスマートグラス１３、スピーカ２６により所定の警報音の警鳴である。

（切開開始判定モード）
手術支援システム１０の切開開始判定モードは、手術中に術者が器官を切開する際に、術具による実際の切開の開始を検知し術者などに報知するものである。
切開ライン推定部３８は、手術の術式の工程に係る器官と、当該手術による切開箇所における切開前の画像と、当該画像に切開の際の術具の先端部の軌跡をアノテーションとして付与した画像との関係を予め学習した切開ライン推定モデルに、画像取得部３１が取得した画像と、術式選択受付部３０が受け付けた術式を示す識別情報と、工程推定部３２により推定された工程を示す識別情報とを入力して、画像取得部３１が取得した画像内における、切開の際に術具の先端部が通るべき切開ラインの位置及び範囲を推定する。

推定領域表示部４４は、切開ライン推定部３８によって推定された切開ラインを示す情報を、画像取得部３１が取得した画像に重畳して表示する。
術者は、術具により切開する際に術具の先端部が何処を通れば良いか認識することができるので安全に切開することができる。

切開開始判定部３９は、術具先端検知部３５により検知された先端部の位置が、切開ライン推定部３８により推定された切開ラインに達したか否かを判定する。
切開開始報知部４０は、切開開始判定部３９が達したと判定した場合に術者に切開開始の可能性を報知する。

図５乃至図７を参照して切開ライン推定モデルの学習データについて説明する。図５は本実施形態の手術支援システム１０に係る実際の手術により切開をした跡の一例を示す図であり、図６は本実施形態の手術支援システム１０に係る実際の手術による切開箇所の切開前の画像にアノテーションを付与した画像の一例を示す図であり、図７は本実施形態の手術支援システム１０に係る内視鏡により撮像された画像に切開ラインを強調して内視鏡により撮像された画像に重畳表示した一例を示す図である。

図５に係る画像は、外科手術用エネルギーデバイス６５による手術時の実際の切開ライン６７を示している。手術時の切開の様子を撮影した動画において、図５に係る画像から所定時間巻き戻して、当該切開箇所の切開前に係る画像が図６の画像である。教師データは、図６の画像内の図５に係る切開箇所に相当する位置にアノテーション６９を付与することで生成される。

切開ライン推定モデルは、手術による切開箇所における切開前の画像（図６のアノテーション６９を付与する前の画像に相当）と、当該画像に切開の際の術具の先端部の軌跡をアノテーション６９として付与した画像（図６に相当）と、当該手術の術式の工程に係る器官の関係を予め学習して生成されたものである。

器官領域推定部３３は画像取得部３１が取得した画像内における切開の際に術具の先端部が通るべき切開ラインの位置及び範囲を推定し、推定領域表示部４４は、図７に示す様に画像取得部３１が取得した画像の器官領域推定部３３が推定した切開ラインの位置及び範囲に強調表示７０を重畳表示する。

（血管損傷判定モード）
手術支援システム１０の血管損傷判定モードは、手術中に血管が術具により損傷された場合を検知し術者などに報知するものである。
血管検出部４１は、画像取得部３１によって取得された画像の中の血管の位置及び範囲を検出する。血管検出部４１は、公知の画像認識手法により画像内における血管を検知する。例えば、血管検出部４１は、血管画像のパターンを予め学習したパターン認識モデルを用いて画像内の血管を検出する。血管検出部４１は、画像取得部３１によって取得された画像をパターン認識モデルに入力し、当該パターン認識モデルは当該画像内の血管のパターン画像に類似する部分を検出する。

血管損傷判定部４２は、術具先端検知部３５により検知された先端部の位置が、血管検出部４１により検出された血管に達したか否かを判定する。
血管損傷報知部４３は、血管損傷判定部４２が達したと判定した場合に術者に血管の損傷の可能性を報知する。血管損傷報知部４３による報知の方法は、モニタ１２、スマートグラス１３への所定報知画面の表示、及びスマートグラス１３、スピーカ２６による所定の警報音の警鳴である。

（指定領域表示部）
推定領域表示部４４は、器官領域推定部３３によって推定された所定の器官の位置及び範囲を示す情報を、画像取得部３１が取得した画像に重畳して表示する。
推定領域表示部４４は、器官領域推定部３３によって推定された所定の器官の位置及び範囲に対してセマンティック・セグメンテーションを実施する。セマンティック・セグメンテーションとは、画像の画素ごとに所定のカテゴリに分類する方法であり、画像の中の全ての画素をカテゴリに分類する。

図８及び図９を参照して、推定領域表示部４４の器官領域推定部３３の推定結果を示す情報を、画像取得部３１が取得した画像に重畳して表示する態様について説明する。
図８は本実施形態の手術支援システム１０に係る内視鏡により撮像された画像の一例を示す図であり、図９は本実施形態の手術支援システム１０に係る手術中に損傷する可能性の高い器官の位置及び範囲を強調して内視鏡により撮像された画像に重畳表示した一例を示す図である。
推定領域表示部４４は、画像取得部３１が取得した画像（図８参照）に、器官領域推定部３３の推定結果を示す情報（強調表示７３）を重畳表示する(図９参照)。

本実施形態におけるカテゴリとは各器官及び各術具である。推定領域表示部４４は、画像に対して、セマンティック・セグメンテーションを実施することで、各器官及び各術具を分類し個々に識別可能に表示する。推定領域表示部４４は、同じ器官及び同じ術具にはその存在する領域に同じ表示態様を用いて表示する。推定領域表示部４４は、器官ごと、術具ごとに色、濃度、輝度、ハッチングパターン及び点滅パターンなど表示態様を変えることで、器官ごと、術具ごとの識別を可能にしている。

器官領域推定部３３が、画像取得部３１によって取得された画像において、複数の所定の器官の位置及び範囲を推定した場合、推定領域表示部４４は、器官領域推定部３３によって推定された複数の所定の器官を示す情報についてそれぞれ表示態様を変えて画像取得部３１が取得した画像に重畳して表示する。

器官領域推定モデルは、学習の対象となる器官が自動性を有する場合は当該自動性に係る運動の態様を予め学習する。器官領域推定部３３により推定された所定の器官が自動性を有する場合、推定領域表示部４４は、器官領域推定部３３によって推定された所定の器官を示す情報を所定の態様により強調して画像取得部３１が取得した画像に重畳して表示する。

（露出度判定モード）
手術支援システム１０の露出度判定モードは、器官領域推定部３３により推定された所定の器官の露出度に応じて、推定領域表示部４４の当該所定の器官を示す情報の表示態様を変えるものである。
露出度判定部３４は、器官領域推定部３３により推定された所定の器官の位置及び範囲と、画像取得部３１によって取得された画像とを比較することで所定の器官の露出度を判定する。推定領域表示部４４は、露出度判定部３４により判定された露出度に応じて、器官領域推定部３３によって推定された所定の器官を示す情報の表示態様を変える。

（トラッキング）
画像取得部３１は連続する複数枚の画像を取得し、器官領域推定部３３は画像取得部３１により取得された連続する複数枚の画像を器官領域推定モデルに入力することによって所定の器官の位置及び範囲の軌跡を推定することとしてもよい。

例えば、画像取得部３１は内視鏡により所定の間隔（例えば１秒）で撮像された画像を１０枚取得し、器官領域推定部３３は当該１０枚の画像を器官領域推定モデルに入力してそれぞれの画像について所定の器官の位置及び範囲を推定する。推定領域表示部４４は、器官領域推定部３３が推定した所定の器官の１０個の位置及び範囲を示す情報を画像取得部３１が取得した画像に重畳して表示することで、所定の器官の１０秒間の軌跡を術者に示すことができる。

（ＣＴ・ＭＲＩ）
画像取得部３１は、内視鏡により撮像された画像とともに、コンピュータ断層撮影（ＣＴ：Computed Tomography）により手術前に撮像された画像及び磁気共鳴画像撮影（ＭＲＩ：Magnetic Resonance Imaging）により手術前に撮像された画像のうち少なくとも何れか一方を取得し、器官領域推定部３３は、画像取得部３１によって取得された画像を器官領域推定モデルに入力することによって所定の器官の位置及び範囲を推定し、推定領域表示部４４は、器官領域推定部３３によって推定された所定の器官の位置及び範囲を示す情報を、画像取得部３１が取得したコンピュータ断層撮影（ＣＴ）により手術前に撮像された画像及び磁気共鳴画像撮影（ＭＲＩ）により手術前に撮像された画像のうち少なくとも何れか一方に重畳表示する。

コンピュータ断層撮影（ＣＴ）及び磁気共鳴画像撮影（ＭＲＩ）は、人体内部を３次元の画像によって表示することができる。推定領域表示部４４は、器官領域推定部３３が推定した所定の器官の位置及び範囲を示す情報をコンピュータ断層撮影（ＣＴ）及び磁気共鳴画像撮影（ＭＲＩ）のうち少なくとも何れか一方で撮像した３次元の画像に重畳表示することで術者に所定の器官を分かりやすく示すことができる。

図１０を参照して、子宮頸部８０のうち膀胱８１に近い側の子宮頸部８０の位置及び範囲を強調して内視鏡により撮像された画像に重畳表示（８２）した態様について説明する。図１０は、本実施形態の手術支援システム１０に係る、子宮頸部８０のうち膀胱８１に近い側の子宮頸部８０の位置及び範囲を強調して内視鏡により撮像された画像に重畳表示（８２）した一例を示す図である。

内視鏡が腹腔鏡であって、器官領域推定部３３が、画像取得部３１によって取得された画像を器官領域推定モデルに入力することにより隣り合う２つの器官の位置及び範囲を推定した場合、推定領域表示部４４は、隣り合う２つの器官のうちの一方の器官の位置及び範囲を示す情報のうち、隣り合う２つの器官のうちの他方の器官の位置及び範囲に近い部分を画像取得部３１が取得した画像に重畳して表示する。
隣り合う２つの器官とは、一方の器官の施術中に術具等が他方の器官に接触する恐れがあるほどに相互に接近している２つの器官のことをいう。
例えば図１０に示すように、器官領域推定部３３が、膀胱８１及び子宮頸部８０の位置及び範囲を推定した場合、推定領域表示部４４は、子宮頸部８０の位置及び範囲を示す情報のうち、膀胱８１の位置及び範囲に近い部分８２を画像取得部３１が取得した画像に重畳して表示する。
術者が、隣り合う２つの器官のうちの一方の器官に関する治療を施術する場合、他方の器官に近い部分が術者により損傷される可能性が高い。このような場合は、一方の器官のうち他方の器官に近い部分を強調表示することで、一方の器官のうち損傷の可能性の高い部位について術者に注意を促すことができ、術者の術中の事故の発生を効果的に抑制することができる。
図１０の例では、子宮頸部８０の膀胱８１に近い部分が術者により損傷される可能性が高い。従って、子宮頸部８０の膀胱８１に近い部分を強調表示する。

（手術支援方法及び手術支援プログラム）
次に図１１乃至図１４を参照して、本実施形態に係る手術支援方法について手術支援プログラムとともに説明する。図１１乃至図１４は本実施形態に係る手術支援プログラムのフローチャートである。

手術支援システム１０は、手術支援プログラムを実行することで４つのモード（露出度判定モード、器官損傷判定モード、切開開始判定モード、及び血管損傷判定モード）で動作する。露出度判定モード、器官損傷判定モード、切開開始判定モード、及び血管損傷判定モードに係るそれぞれのフローチャートを説明することで、手術支援方法及び手術支援プログラムを説明するものとする。

図１１は本実施形態の手術支援プログラムに係る器官露出判定モードのフローチャートであり、図１２は本実施形態の手術支援プログラムに係る器官損傷判定モードのフローチャートであり、図１３は本実施形態の手術支援プログラムに係る切開開始判定モードのフローチャートであり、図１４は本実施形態の手術支援プログラムに係る血管損傷判定モードのフローチャートである。

（器官露出度判定モード）
図１１に示す様に、器官露出判定モードのフローチャートは、術式選択受付ステップＳ３０、画像取得ステップＳ３１、工程推定ステップＳ３２、器官領域推定ステップＳ３３、露出度判定ステップＳ３４、推定領域表示ステップＳ４４などを含む。

手術支援システム１０は、ＲＯＭ１０ｂ若しくは記憶部１０ｄに保存された手術支援プログラムをメインメモリに取り込み、ＣＰＵ１０ｅにより器官露出判定モードに関連のある手術支援プログラムを実行する。

器官露出判定モードに関連のある手術支援プログラムは、手術支援システム１０のＣＰＵ１０ｅに対して、術式選択受付機能、画像取得機能、工程推定機能、器官領域推定機能、露出度判定機能、推定領域表示機能などの各種機能を実現させる。

これらの機能は図１１のフローチャートに示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて器官露出判定モードに関連のある手術支援プログラムを実行してもよい。

なお、上記した各機能は、前述の術式選択受付部３０、画像取得部３１、工程推定部３２、器官領域推定部３３、露出度判定部３４、推定領域表示部４４の説明と重複するため、その詳細な説明は省略する。

術式選択受付機能は、手術の術式の選択を受け付ける（Ｓ３０：術式選択受付ステップ）。
画像取得機能は、内視鏡により撮像された画像を取得する（Ｓ３１：画像取得ステップ）。

工程推定機能は、手術の術式の開始から終了までの過程を内容ごとに分類し順次実施される一連の工程の各工程と、手術時に撮像された画像との関係を予め学習した工程分類モデルに、画像取得機能において取得された画像と、術式選択受付機能において受け付けた術式を示す識別情報とを入力して、画像取得機能において取得した画像における術式の工程を推定する（Ｓ３２：工程推定ステップ）。

器官領域推定機能は、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得機能おいて取得された画像を入力して、画像取得機能おいて取得された画像内における所定の器官の位置及び範囲を推定する（Ｓ３３：器官領域推定ステップ）。

露出度判定機能は、器官領域推定機能において推定された所定の器官の位置及び範囲と、画像取得機能において取得された画像とを比較することで所定の器官の露出度を判定する（Ｓ３４：露出度判定ステップ）。
推定領域表示機能は、器官領域推定機能において推定された所定の器官の位置及び範囲を示す情報を、画像取得機能において取得した画像に重畳して表示する（Ｓ４４：推定領域表示ステップ）。

（器官損傷判定モード）
図１２に示す様に、器官損傷判定モードのフローチャートは、術式選択受付ステップＳ３０、画像取得ステップＳ３１、工程推定ステップＳ３２、器官領域推定ステップＳ３３、術具先端検知ステップＳ３５、器官損傷判定ステップＳ３６、器官損傷報知ステップＳ３７、推定領域表示ステップＳ４４などを含む。

手術支援システム１０は、ＲＯＭ１０ｂ若しくは記憶部１０ｄに保存された手術支援プログラムをメインメモリに取り込み、ＣＰＵ１０ｅにより器官損傷判定モードに関連のある手術支援プログラムを実行する。

器官損傷判定モードに関連のある手術支援プログラムは、手術支援システム１０のＣＰＵ１０ｅに対して、術式選択受付機能、画像取得機能、工程推定機能、器官領域推定機能、術具先端検知機能、器官損傷判定機能、器官損傷報知機能、推定領域表示機能などの各種機能を実現させる。

これらの機能は図１２のフローチャートに示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて器官損傷判定モードに関連のある手術支援プログラムを実行してもよい。

なお、上記した各機能は、前述の術式選択受付部３０、画像取得部３１、工程推定部３２、器官領域推定部３３、術具先端検知部３５、器官損傷判定部３６、器官損傷報知部３７、推定領域表示部４４の説明と重複するため、その詳細な説明は省略する。

術式選択受付機能は、手術の術式の選択を受け付ける（Ｓ３０：術式選択受付ステップ）。
画像取得機能は、内視鏡により撮像された画像を取得する（Ｓ３１：画像取得ステップ）。

工程推定機能は、手術の術式の開始から終了までの過程を内容ごとに分類し順次実施される一連の工程の各工程と、手術時に撮像された画像との関係を予め学習した工程分類モデルに、画像取得機能において取得された画像と、術式選択受付機能において受け付けた術式を示す識別情報とを入力して、画像取得機能において取得した画像における術式の工程を推定する（Ｓ３２：工程推定ステップ）。

器官領域推定機能は、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得機能おいて取得された画像を入力して、画像取得機能おいて取得された画像内における所定の器官の位置及び範囲を推定する（Ｓ３３：器官領域推定ステップ）。

術具先端検知機能は、術具の先端部の形状を予め学習した術具検知モデルを用い、画像取得機能において取得された画像の中の術具の先端部の位置を検知する（Ｓ３５：術具先端検知ステップ）。
器官損傷判定機能は、術具先端検知機能において検知された先端部の位置が、器官領域推定機能において推定された所定の器官の位置及び範囲に達したか否かを判定する（Ｓ３６：器官損傷判定ステップ）。

器官損傷報知機能は、器官損傷判定機能において達したと判定した場合に術者に器官損傷の可能性を報知する（Ｓ３７：器官損傷報知ステップ）。
推定領域表示機能は、器官領域推定機能において推定された所定の器官の位置及び範囲を示す情報を、画像取得機能において取得した画像に重畳して表示する（Ｓ４４：推定領域表示ステップ）。

（切開開始判定モード）
図１３に示す様に、切開開始判定モードのフローチャートは、術式選択受付ステップＳ３０、画像取得ステップＳ３１、工程推定ステップＳ３２、器官領域推定ステップＳ３３、術具先端検知ステップＳ３５、切開ライン推定ステップＳ３８、切開開始判定ステップＳ３９、切開開始報知ステップＳ４０、推定領域表示ステップＳ４４などを含む。

手術支援システム１０は、ＲＯＭ１０ｂ若しくは記憶部１０ｄに保存された手術支援プログラムをメインメモリに取り込み、ＣＰＵ１０ｅにより切開開始判定モードに関連のある手術支援プログラムを実行する。

切開開始判定モードに関連のある手術支援プログラムは、手術支援システム１０のＣＰＵ１０ｅに対して、術式選択受付機能、画像取得機能、工程推定機能、器官領域推定機能、術具先端検知機能、切開ライン推定機能、切開開始判定機能、切開開始報知機能、推定領域表示機能などの各種機能を実現させる。

これらの機能は図１３のフローチャートに示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて切開開始判定モードに関連のある手術支援プログラムを実行してもよい。

なお、上記した各機能は、前述の術式選択受付部３０、画像取得部３１、工程推定部３２、器官領域推定部３３、術具先端検知部３５、切開ライン推定部３８、切開開始判定部３９、切開開始報知部４０、推定領域表示部４４の説明と重複するため、その詳細な説明は省略する。

術式選択受付機能は、手術の術式の選択を受け付ける（Ｓ３０：術式選択受付ステップ）。
画像取得機能は、内視鏡により撮像された画像を取得する（Ｓ３１：画像取得ステップ）。

工程推定機能は、手術の術式の開始から終了までの過程を内容ごとに分類し順次実施される一連の工程の各工程と、手術時に撮像された画像との関係を予め学習した工程分類モデルに、画像取得機能において取得された画像と、術式選択受付機能において受け付けた術式を示す識別情報とを入力して、画像取得機能において取得した画像における術式の工程を推定する（Ｓ３２：工程推定ステップ）。

器官領域推定機能は、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得機能おいて取得された画像を入力して、画像取得機能おいて取得された画像内における所定の器官の位置及び範囲を推定する（Ｓ３３：器官領域推定ステップ）。

術具先端検知機能は、術具の先端部の形状を予め学習した術具検知モデルを用い、画像取得機能において取得された画像の中の術具の先端部の位置を検知する（Ｓ３５：術具先端検知ステップ）。

切開ライン推定機能は、手術の術式の工程に係る器官と、当該手術による切開箇所における切開前の画像と、当該画像に切開の際の術具の先端部の軌跡をアノテーションとして付与した画像との関係を予め学習した切開ライン推定モデルに、画像取得機能において取得した画像と、術式選択受付機能において受け付けた術式を示す識別情報と、工程推定機能において推定された工程を示す識別情報とを入力して、画像取得機能において取得した画像内における、切開の際に術具の先端部が通るべき切開ラインの位置及び範囲を推定する（Ｓ３８：切開ライン推定ステップ）。

切開開始判定機能は、術具先端検知機能において検知された先端部の位置が、切開ライン推定機能において推定された切開ラインに達したか否かを判定する（Ｓ３９：切開開始判定ステップ）。
切開開始報知機能は、切開開始判定機能において達したと判定した場合に術者に切開開始の可能性を報知する（Ｓ４０：切開開始報知ステップ）。

（血管損傷判定モード）
図１４に示す様に、血管損傷判定モードのフローチャートは、術式選択受付ステップＳ３０、画像取得ステップＳ３１、工程推定ステップＳ３２、器官領域推定ステップＳ３３、術具先端検知ステップＳ３５、血管検出ステップＳ４１、血管損傷判定ステップＳ４２、血管損傷報知ステップＳ４３、推定領域表示ステップＳ４４などを含む。

手術支援システム１０は、ＲＯＭ１０ｂ若しくは記憶部１０ｄに保存された手術支援プログラムをメインメモリに取り込み、ＣＰＵ１０ｅにより血管損傷判定モードに関連のある手術支援プログラムを実行する。

血管損傷判定モードに関連のある手術支援プログラムは、手術支援システム１０のＣＰＵ１０ｅに対して、術式選択受付機能、画像取得機能、工程推定機能、器官領域推定機能、術具先端検知機能、血管検出機能、血管損傷判定機能、血管損傷報知機能、推定領域表示機能などの各種機能を実現させる。

これらの機能は図１３のフローチャートに示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて切開開始判定モードに関連のある手術支援プログラムを実行してもよい。

なお、上記した各機能は、前述の術式選択受付部３０、画像取得部３１、工程推定部３２、器官領域推定部３３、術具先端検知部３５、血管検出部４１、血管損傷判定部４２、血管損傷報知部４３、推定領域表示部４４の説明と重複するため、その詳細な説明は省略する。

術式選択受付機能は、手術の術式の選択を受け付ける（Ｓ３０：術式選択受付ステップ）。
画像取得機能は、内視鏡により撮像された画像を取得する（Ｓ３１：画像取得ステップ）。

工程推定機能は、手術の術式の開始から終了までの過程を内容ごとに分類し順次実施される一連の工程の各工程と、手術時に撮像された画像との関係を予め学習した工程分類モデルに、画像取得機能において取得された画像と、術式選択受付機能において受け付けた術式を示す識別情報とを入力して、画像取得機能において取得した画像における術式の工程を推定する（Ｓ３２：工程推定ステップ）。

器官領域推定機能は、手術時に撮像された画像と、当該画像内における所定の器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、画像取得機能おいて取得された画像を入力して、画像取得機能おいて取得された画像内における所定の器官の位置及び範囲を推定する（Ｓ３３：器官領域推定ステップ）。

術具先端検知機能は、術具の先端部の形状を予め学習した術具検知モデルを用い、画像取得機能において取得された画像の中の術具の先端部の位置を検知する（Ｓ３５：術具先端検知ステップ）。

血管検出機能は、画像取得機能において取得された画像の中の血管の位置及び範囲を検出する（Ｓ４１：血管検出ステップ）。
血管損傷判定機能は、術具先端検知機能において検知された先端部の位置が、血管検出機能において検出された血管に達したか否かを判定する（Ｓ４２：血管損傷判定ステップ）。

血管損傷報知機能は、血管損傷判定機能において達したと判定した場合に術者に血管の損傷の可能性を報知する（Ｓ４３：血管損傷報知ステップ）。
推定領域表示機能は、器官領域推定機能において推定された所定の器官の位置及び範囲を示す情報を、画像取得機能において取得した画像に重畳して表示する（Ｓ４４：推定領域表示ステップ）。

（学習モデルの生成過程）
次に図１５、１６を参照して、手術支援システム１０の学習モデル（器官領域推定モデル、工程分類モデル、及び切開ライン推定モデル）の生成過程について説明する。図１５は手術支援システム１０の学習モデルの生成過程における機能ブロック図であり、図１６は手術支援システム１０の学習モデルの生成過程のプログラム（以下、学習モデル生成プログラムという）のフローチャートである。

先ず図１５を参照して、手術支援システム１０の学習モデルの生成過程における機能的構成について説明する。
手術支援システム１０は、学習モデルの生成過程で必要となる学習モデル生成プログラムをＲＯＭ１０ｂ若しくは記憶部１０ｄに保存し、ＲＡＭ１０ｃなどで構成されるメインメモリに学習モデル生成プログラムを取り込む。ＣＰＵ１０ｅは、学習モデル生成プログラムを取り込んだメインメモリにアクセスして学習モデル生成プログラムを実行する。

手術支援システム１０は、学習モデル生成プログラムを実行することで、ＣＰＵ１０ｅに画像取得部８５、前処理部８６、セグメンテーション部８７、画像抽出部８８、教師データ取得部８９、評価部９０、パラメータ調整部９１、学習モデル生成部９２、学習モデル記憶部９３などを機能部として備える。

画像取得部８５は、ＲＡＭ１０ｃ又は記憶部１０ｄに記憶されている手術時に撮像された画像を取得する。
画像取得部８５は、手術支援システム１０の外部に記憶されている手術時に撮像された画像を通信インターフェース１０ａを介してネットワーク１１から入手してもよい。

前処理部８６は、画像取得部８５が取得した画像に対して前処理を行う。
前処理とは、学習モデルに入力する画像が持つ規則性（特徴量）について、学習モデルが学習できるように、当該画像を学習モデルに入力する前に行う処理のことである。前処理には、特徴量を際立たせる処理、ノイズを除去する処理、及び特徴量を増やす処理がある。特徴量を際立たせる処理として、グレースケール変換、２値化、及び正規化がある。ノイズを除去する処理として、モルフォロジー変換、ヒストグラム、次元圧縮、リサイズがある。特徴量を増やす処理として、画像の反転、平滑化、明度変更を行う画像水増しがある。

セグメンテーション部８７は、前処理部８６により前処理が行われた画像に対して、当該画像内に存在する物体ごとの領域に分割するセグメンテーションを実施する。
セグメンテーション部８７は、ニューラルネットワークを用いてセグメンテーションを行う。

画像抽出部８８は、セグメンテーション部８７によりセグメンテーションが実施された画像から画像認識の対象となる物体の画像を抽出する。
器官領域推定モデルを学習する際における物体とは、所定の器官又は部位のことである。所定の器官又は部位とは、例えば、手術中に損傷する可能性の高い器官又は部位のことである。
工程分類モデルを学習する際における物体とは、画像内の器官のことである。
切開ライン推定モデルを学習する際における物体とは、画像内の器官及び切開ラインのことである。

教師データ取得部８９は、ＲＡＭ１０ｃ又は記憶部１０ｄに記憶されている教師データを取得する。
教師データ取得部８９は、手術支援システム１０の外部に記憶されている教師データを通信インターフェース１０ａを介してネットワーク１１から入手してもよい。

教師データとは、手術時に撮像された画像内の物体に対して、画像認識の対象となる物体が占める領域の輪郭線情報を付与（セグメンテーション）した後、その領域の器官又は部位の名称などの特徴を付与するラベリングを行うアノテーションにより得られる。
器官領域推定モデルの教師データは、画像認識の対象となる器官の位置及び範囲にアノテーションが付与された画像である。
工程分類モデルの教師データは、画像認識の対象となる工程の名称が付与された画像である。
切開ライン推定モデルの教師データは、画像認識の対象となる切開ラインの位置及び範囲にアノテーションが付与された画像である。

評価部９０は、誤差関数を用い画像抽出部８８が抽出した画像と教師データ取得部８９が取得した教師データとの誤差を算出することで、学習モデルを評価する。
誤差関数とは、画像抽出部８８が抽出した画像と教師データ取得部８９が取得した教師データとの間のズレの大きさを表す関数であり、学習モデルの予測精度を評価する関数である。学習モデルは、誤差関数の値が小さいほど正確なモデルと評価される。

パラメータ調整部９１は、評価部９０が算出した誤差関数の値が最小になるように学習モデルに用いるニューラルネットワークの重み係数を表すパラメータを調整する。
パラメータ調整部９１は、誤差逆伝播法（Backpropagation）を用い、誤差関数の値を学習モデルに用いるニューラルネットワークの各層に伝播させて当該誤差が最小になるように各層の重み係数を表すパラメータを調整する。

学習モデル生成部９２は、誤差関数の値が最小になるようにパラメータ調整部９１によって調整されたパラメータを用いて学習モデルを生成する。
学習モデル記憶部９３は、学習モデル生成部９２のよって生成された学習モデルをＲＡＭ１０ｃ又は記憶部１０ｄに記憶する。

なお、本実施形態では、手術支援システム１０が学習モデルを生成するが、これに限定されるものではなく、手術支援システム１０とは異なる電子計算機が手術支援システム１０の学習モデルを生成してもよい。

次に図１６を参照して、手術支援システム１０の学習モデル生成プログラムについて説明する。
図１６に示す様に、学習モデル生成プログラムは、画像取得ステップＳ８５、前処理ステップＳ８６、セグメンテーションステップＳ８７、画像抽出ステップＳ８８、教師データ取得ステップＳ８９、評価ステップＳ９０、パラメータ調整ステップＳ９１、学習モデル生成ステップＳ９２、学習モデル記憶ステップＳ９３などを含む。

手術支援システム１０は、ＲＯＭ１０ｂ若しくは記憶部１０ｄに保存された学習モデル生成プログラムをメインメモリに取り込み、ＣＰＵ１０ｅにより学習モデル生成プログラムを実行する。

学習モデル生成プログラムは、手術支援システム１０のＣＰＵ１０ｅに対して、画像取得機能、前処理機能、セグメンテーション機能、画像抽出機能、教師データ取得機能、評価機能、パラメータ調整機能、学習モデル生成機能、学習モデル記憶機能などの各種機能を実現させる。

これらの機能は図１６のフローチャートに示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて学習モデル生成プログラムを実行してもよい。

なお、上記した各機能は、前述の画像取得部８５、前処理部８６、セグメンテーション部８７、画像抽出部８８、教師データ取得部８９、評価部９０、パラメータ調整部９１、学習モデル生成部９２、学習モデル記憶部９３の説明と重複するため、その詳細な説明は省略する。

画像取得機能は、ＲＡＭ１０ｃ又は記憶部１０ｄに記憶されている手術時に撮像された画像を取得する（S８５：画像取得ステップ）。
前処理機能は、画像取得機能において取得した画像に対して前処理を行う（S８６：前処理ステップ）。

セグメンテーション機能は、前処理機能において前処理が行われた画像に対して、当該画像内に存在する物体ごとの領域に分割するセグメンテーションを実施する（S８７：セグメンテーションステップ）。

画像抽出機能は、セグメンテーション機能においてセグメンテーションが実施された画像から画像認識の対象となる物体の画像を抽出する（S８８：画像抽出ステップ）。
教師データ取得機能は、ＲＡＭ１０ｃ又は記憶部１０ｄに記憶されている教師データを取得する（Ｓ８９：教師データ取得ステップ）。

評価機能は、誤差関数を用い画像抽出機能において抽出した画像と教師データ取得機能において取得した教師データとの誤差を算出することで、学習モデルを評価する（Ｓ９０：評価ステップ）。

パラメータ調整機能は、評価機能において算出した誤差関数の値が最小になるように学習モデルに用いるニューラルネットワークの重み係数を表すパラメータを調整する（Ｓ９１：パラメータ調整ステップ）。

学習モデル生成機能は、誤差関数の値が最小になるようにパラメータ調整機能において調整されたパラメータを用いて学習モデルを生成する（Ｓ９２：学生モデル生成ステップ）。

学習モデル記憶機能は、学習モデル生成機能において生成された学習モデルをＲＡＭ１０ｃ又は記憶部１０ｄに記憶する（Ｓ９３：学習モデル記憶ステップ）。

上記した実施形態によれば、手術支援システム１０は、内視鏡システム１４の内視鏡が撮像した画像を器官領域推定モデルに入力することで、即時に当該画像内の手術時に損傷する可能性の高い器官の位置及び範囲を推定し、内視鏡システム１４の内視鏡が撮像した画像に手術時に損傷する可能性の高い器官を重畳して術者に示すことができる。これにより、術中の視野を広範囲に確保する目的でカメラなどの機器を被検者の体腔内に追加して設置することなく、術者は手術中に、損傷する可能性の高い器官に注意しながら切開等の施術をすることができる。

上記した実施形態によれば、手術支援システム１０は、内視鏡システム１４の内視鏡が撮像した画像から術式の工程を即座に推定することができるので、術者に現時点の工程を術者に示すことができ、術者は自分が行っている術式の工程を確認しながら手術を進めることができる。

上記した実施形態によれば、手術支援システム１０は、手術中に切開する際に術具の先端部が通るべき切開ラインを術者に示すことができるので、術者は安心して切開を行うことができ手術の失敗の可能性を低くすることができる。

本開示は上記した実施形態に係る手術支援システム１０、手術支援方法、及び手術支援プログラムに限定されるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。

１０ 手術支援システム
１０ａ 通信インターフェース
１０ｂ Read Only Memory（ＲＯＭ）
１０ｃ Random Access Memory（ＲＡＭ）
１０ｄ 記憶部
１０ｅ Central Processing Unit（ＣＰＵ）
１０ｆ 通信インターフェース
１０ｇ 入力装置
１０ｈ 出力装置
１１ ネットワーク
１２ モニタ
１３ スマートグラス
１４ 内視鏡システム
１５ 入力装置
１６ フットスイッチ
１７ マイク
１８ キーボード
１９ マウス
２０ スキャナ
２６ 出力装置
２７ スピーカ
２８ プリンタ
３０ 術式選択受付部
３１ 画像取得部
３２ 工程推定部
３３ 器官領域推定部
３４ 露出度判定部
３５ 術具先端検知部
３６ 器官損傷判定部
３７ 器官損傷報知部
３８ 切開ライン推定部
３９ 切開開始判定部
４０ 切開開始報知部
４１ 血管検出部
４２ 血管損傷判定部
４３ 血管損傷報知部
４４ 推定領域表示部
５９ 第１術具
６０ 第２術具
６１ 第１バウンディングボックス
６２ 第２バウンディングボックス
６３ 第１強調表示
６４ 第２強調表示
６５ 外科手術用エネルギーデバイス
６７ 実際の切開ライン
６８ 術具
６９ アノテーション
７０ 強調表示
７３ 強調表示
８０ 子宮頸部
８１ 膀胱
８２ 強調表示
８５ 画像取得部
８６ 前処理部
８７ セグメンテーション分
８８ 画像抽出部
８９ 教師データ取得部
９０ 評価部
９１ パラメータ調整部
９２ 学習モデル生成部
９３ 学習モデル記憶部

Claims (9)

1. 内視鏡により撮像された画像を取得する画像取得部と、
   手術の術式の選択を受け付ける術式選択受付部と、
   手術の術式を示す識別情報と、手術時に内視鏡により撮像された画像と、当該画像内における当該術式に係る手術中に損傷する確率の高い器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、前記画像取得部によって取得された前記画像と、前記術式選択受付部が受け付けた術式を示す識別情報を入力して、前記画像取得部によって取得された前記画像内における前記手術中に損傷する確率の高い器官の位置及び範囲を推定する器官領域推定部と、
   前記器官領域推定部によって推定された前記手術中に損傷する確率の高い器官の位置及び範囲を示す情報を、前記画像取得部が取得した画像に重畳して表示する推定領域表示部と、
   を備える手術支援システム。
2. 術具の先端部の形状を予め学習した術具検知モデルを用い、前記画像取得部により取得された画像の中の前記術具の先端部の位置を検知する術具先端検知部と、
   前記術具先端検知部により検知された前記先端部の位置が、前記器官領域推定部により推定された前記手術中に損傷する確率の高い器官に達したか否かを判定する器官損傷判定部と、
   前記器官損傷判定部が達したと判定した場合に術者に器官損傷の可能性を報知する器官損傷報知部と、
   を備えることを特徴とする請求項１に記載の手術支援システム。
3. 術具の先端部の形状を予め学習した術具検知モデルを用い、前記画像取得部により取得された画像の中の前記術具の先端部の位置を検知する術具先端検知部と、
   前記画像取得部によって取得された前記画像の中の血管の位置及び範囲を検出する血管検出部と、
   前記術具先端検知部により検知された前記先端部の位置が、前記血管検出部により検出された血管に達したか否かを判定する血管損傷判定部と、
   前記血管損傷判定部が達したと判定した場合に術者に血管の損傷の可能性を報知する血管損傷報知部と、
   を備えることを特徴とする請求項１又は２に記載の手術支援システム。
4. 前記器官領域推定部が、前記画像取得部によって取得された前記画像において、複数の前記手術中に損傷する確率の高い器官の位置及び範囲を推定した場合、
   前記推定領域表示部は、前記器官領域推定部によって推定された複数の前記手術中に損傷する確率の高い器官を示す情報についてそれぞれ表示態様を変えて前記画像取得部が取得した画像に重畳して表示することを特徴とする請求項１乃至３の何れか１項に記載の手術支援システム。
5. 前記器官領域推定モデルは、学習の対象となる器官が自動性を有する場合は当該自動性に係る運動の態様を予め学習し、
   前記器官領域推定部により推定された前記手術中に損傷する確率の高い器官が自動性を有する場合、
   前記推定領域表示部は、前記器官領域推定部によって推定された前記手術中に損傷する確率の高い器官を示す情報を所定の態様により強調して前記画像取得部が取得した画像に重畳して表示することを特徴とする請求項１乃至４の何れか１項に記載の手術支援システム。
6. 前記器官領域推定部により推定された前記手術中に損傷する確率の高い器官の位置及び範囲と、前記画像取得部によって取得された前記画像とを比較することで前記手術中に損傷する確率の高い器官の露出度を判定する露出度判定部と、
   前記推定領域表示部は、前記露出度判定部により判定された露出度に応じて、前記器官領域推定部によって推定された前記手術中に損傷する確率の高い器官を示す情報の表示態様を変えることを特徴とする請求項１乃至５の何れか１項に記載の手術支援システム。
7. 前記画像取得部は、連続する複数枚の前記画像を取得し、
   前記器官領域推定部は、前記画像取得部により取得された連続する複数枚の前記画像を前記器官領域推定モデルに入力することによって前記手術中に損傷する確率の高い器官の位置及び範囲の軌跡を推定することを特徴とする請求項１乃至６の何れか１項に記載の手術支援システム。
8. 手術支援システムに用いられるコンピュータが、
   内視鏡により撮像された画像を取得する画像取得ステップと、
   手術の術式の選択を受け付ける術式選択受付ステップと、
   手術の術式を示す識別情報と、手術時に内視鏡により撮像された画像と、当該画像内における当該術式に係る手術中に損傷する確率の高い器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、前記画像取得ステップによって取得された前記画像と、前記術式選択受付ステップが受け付けた術式を示す識別情報を入力して、前記画像取得ステップによって取得された前記画像内における前記手術中に損傷する確率の高い器官の位置及び範囲を推定する器官領域推定ステップと、
   前記器官領域推定ステップによって推定された前記手術中に損傷する確率の高い器官の位置及び範囲を示す情報を、前記画像取得ステップが取得した画像に重畳して表示する推定領域表示ステップと、
   を実行する手術支援方法。
9. 手術支援システムに用いられるコンピュータに、
   内視鏡により撮像された画像を取得する画像取得機能と、
   手術の術式の選択を受け付ける術式選択受付機能と、
   手術の術式を示す識別情報と、手術時に内視鏡により撮像された画像と、当該画像内における当該術式に係る手術中に損傷する確率の高い器官の位置及び範囲との関係を予め学習した器官領域推定モデルに、前記画像取得機能によって取得された前記画像と、前記術式選択受付機能が受け付けた術式を示す識別情報を入力して、前記画像取得機能によって取得された前記画像内における前記手術中に損傷する確率の高い器官の位置及び範囲を推定する器官領域推定機能と、
   前記器官領域推定機能によって推定された前記手術中に損傷する確率の高い器官の位置及び範囲を示す情報を、前記画像取得機能が取得した画像に重畳して表示する推定領域表示機能と、
   を発揮させる手術支援プログラム。

Images