JP2024041891A - コンピュータプログラム、学習モデルの生成方法、及び支援装置 - Google Patents

Abstract

【課題】コンピュータプログラム、学習モデルの生成方法、及び支援装置の提供。【解決手段】コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、術野画像を入力した場合、対象組織に関する情報を出力するように学習された学習モデルを用いて、取得した術野画像に含まれる対象組織部分を該対象組織部分の表面に現れる血管組織部分と区別して認識する処理を実行させる。【選択図】図９

Description

本発明は、コンピュータプログラム、学習モデルの生成方法、及び支援装置に関する。

腹腔鏡手術では、例えば患者の体内に形成された悪性腫瘍などの病変部を取り除く手術を行う。このとき、患者の体内を腹腔鏡により撮像し、得られた術野画像をモニタに表示させる（例えば、特許文献１を参照）。

特開２００５－２８７８３９号公報

従来、術者が注意を要するような神経や尿管などの組織を術野画像から認識し、術者に報知することは困難であった。

本発明は、術野画像から神経や尿管などの組織の認識結果を出力できるコンピュータプログラム、学習モデルの生成方法、及び支援装置を提供することを目的とする。

本発明の一態様におけるコンピュータプログラムは、コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、術野画像を入力した場合、対象組織に関する情報を出力するように学習された学習モデルを用いて、取得した術野画像に含まれる対象組織部分を該対象組織部分の表面に現れる血管組織部分と区別して認識する処理を実行させるためのコンピュータプログラムである。

本発明の一態様における学習モデルの生成方法は、コンピュータが、鏡視下手術の術野を撮像して得られる術野画像と、該術野画像に含まれる対象組織部分を該対象組織部分の表面に現れる血管組織部分と区別してラベル付けした正解データとを含む訓練データを取得し、取得した訓練データのセットに基づき、術野画像を入力した場合、対象組織に関する情報を出力する学習モデルを生成する。

本発明の一態様における支援装置は、鏡視下手術の術野を撮像して得られる術野画像を取得する取得部と、術野画像を入力した場合、対象組織に関する情報を出力するように学習された学習モデルを用いて、取得した術野画像に含まれる対象組織部分を該対象組織部分の表面に現れる血管組織部分と区別して認識する認識部と、該認識部の認識結果に基づき、前記鏡視下手術に関する支援情報を出力する出力部とを備える。

本願によれば、術野画像から神経や尿管などの組織の認識結果を出力できる。

実施の形態１に係る腹腔鏡手術支援システムの概略構成を説明する模式図である。 支援装置の内部構成を説明するブロック図である。 術野画像の一例を示す模式図である。 学習モデルの構成例を示す模式図である。 学習モデルによる認識結果を示す模式図である。 実施の形態１の認識結果を示す部分拡大図である。 比較例の認識結果を示す部分拡大図である。 学習モデルの生成手順を説明するフローチャートである。 手術支援の実行手順を説明するフローチャートである。 表示装置における表示例を示す模式図である。 実施の形態２における術野画像の例を示す模式図である。 実施の形態２における学習モデルの構成を説明する説明図である。 実施の形態２における認識結果の表示例を示す模式図である。 実施の形態３における術野画像の例を示す模式図である。 実施の形態３における学習モデルの構成を説明する説明図である。 実施の形態３における認識結果の表示例を示す模式図である。 実施の形態４における表示例を示す模式図である。 実施の形態５における表示手法を説明する説明図である。 実施の形態６に係る支援装置が実行する処理の手順を説明するフローチャートである。 実施の形態６における表示例を示す模式図である。 実施の形態７における学習モデルの構成を説明する説明図である。 実施の形態７における認識結果の表示例を示す模式図である。 実施の形態８における学習モデルの構成を説明する説明図である。 臓器境界の特定手法を説明する説明図である。 実施の形態８に係る支援装置が実行する処理の手順を説明するフローチャートである。

以下、本発明を腹腔鏡手術の支援システムに適用した形態について、図面を用いて具体的に説明する。なお、本発明は、腹腔鏡手術に限らず、胸腔鏡、消化管内視鏡、膀胱鏡、関節鏡、ロボット支援下内視鏡、脊椎内視鏡、手術顕微鏡、神経内視鏡、外視鏡など撮像装置を用いた鏡視下手術全般に適用可能である。
（実施の形態１）
図１は実施の形態１に係る腹腔鏡手術支援システムの概略構成を説明する模式図である。腹腔鏡手術では、開腹手術を実施する代わりに、トロッカ１０と呼ばれる開孔器具を患者の腹壁に複数個取り付け、トロッカ１０に設けられた開孔から、腹腔鏡１１、エネルギ処置具１２、鉗子１３などの器具を患者の体内に挿入する。術者は、腹腔鏡１１によって撮像された患者体内の画像（術野画像）をリアルタイムに見ながら、エネルギ処置具１２を用いて患部を切除するなどの処置を行う。腹腔鏡１１、エネルギ処置具１２、鉗子１３などの術具は、術者又はロボットなどにより保持される。術者とは、腹腔鏡手術に関わる医療従事者であり、執刀医、助手、看護師、手術をモニタしている医師などを含む。

腹腔鏡１１は、患者の体内に挿入される挿入部１１Ａ、挿入部１１Ａの先端部分に内蔵される撮像装置１１Ｂ、挿入部１１Ａの後端部分に設けられる操作部１１Ｃ、及びカメラコントロールユニット（ＣＣＵ）１１０や光源装置１２０に接続するためのユニバーサルコード１１Ｄを備える。

腹腔鏡１１の挿入部１１Ａは、硬性管により形成されている。硬性管の先端部分には湾曲部が設けられている。湾曲部における湾曲機構は一般的な腹腔鏡に組み込まれている周知の機構であり、操作部１１Ｃの操作に連動した操作ワイヤの牽引によって例えば上下左右の４方向に湾曲するように構成されている。なお、腹腔鏡１１は、上述したような湾曲部を有する軟性鏡に限らず、湾曲部を持たない硬性鏡であってもよい。

撮像装置１１Ｂは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子、タイミングジェネレータ（ＴＧ）やアナログ信号処理回路（ＡＦＥ）などを備えたドライバ回路を備える。撮像装置１１Ｂのドライバ回路は、ＴＧから出力されるクロック信号に同期して固体撮像素子から出力されるＲＧＢ各色の信号を取り込み、ＡＦＥにおいて、ノイズ除去、増幅、ＡＤ変換などの必要な処理を施し、デジタル形式の画像データを生成する。撮像装置１１Ｂのドライバ回路は、生成した画像データを、ユニバーサルコード１１Ｄを介して、ＣＣＵ１１０へ伝送する。

操作部１１Ｃは、術者によって操作されるアングルレバーやリモートスイッチなどを備える。アングルレバーは、湾曲部を湾曲させるための操作を受付ける操作具である。アングルレバーに代えて、湾曲操作ノブ、ジョイスティックなどが設けられてもよい。リモートスイッチは、例えば、観察画像を動画表示又は静止画表示に切り替える切替スイッチ、観察画像を拡大又は縮小させるズームスイッチなどを含む。リモートスイッチには、予め定められた特定の機能が割り当てられてもよく、術者によって設定された機能が割り当てられてもよい。

また、操作部１１Ｃには、リニア共振アクチュエータやピエゾアクチュエータなどにより構成される振動子が内蔵されてもよい。腹腔鏡１１を操作する術者に対して報知すべき事象が発生した場合、ＣＣＵ１１０は、操作部１１Ｃに内蔵された振動子を作動させることによって操作部１１Ｃを振動させ、前記事象の発生を術者に知らせてもよい。

腹腔鏡１１の挿入部１１Ａ、操作部１１Ｃ、及びユニバーサルコード１１Ｄの内部には、ＣＣＵ１１０から撮像装置１１Ｂへ出力される制御信号や撮像装置１１Ｂから出力される画像データを伝送するための伝送ケーブル、光源装置１２０から出射される照明光を挿入部１１Ａの先端部分まで導くライトガイドなどが配されている。光源装置１２０から出射される照明光は、ライトガイドを通じて挿入部１１Ａの先端部分まで導かれ、挿入部１１Ａの先端部分に設けられた照明レンズを介して術野に照射される。なお、本実施の形態では、光源装置１２０を独立した装置として記載したが、光源装置１２０はＣＣＵ１１０に内蔵される構成であってもよい。

ＣＣＵ１１０は、腹腔鏡１１が備える撮像装置１１Ｂの動作を制御する制御回路、ユニバーサルコード１１Ｄを通じて入力される撮像装置１１Ｂからの画像データを処理する画像処理回路等を備える。制御回路は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備え、ＣＣＵ１１０が備える各種スイッチの操作や腹腔鏡１１が備える操作部１１Ｃの操作に応じて、撮像装置１１Ｂへ制御信号を出力し、撮像開始、撮像停止、ズームなどの制御を行う。画像処理回路は、ＤＳＰ（Digital Signal Processor）や画像メモリなどを備え、ユニバーサルコード１１Ｄを通じて入力される画像データに対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の適宜の処理を施す。ＣＣＵ１１０は、処理後の画像データから動画用のフレーム画像を生成し、生成した各フレーム画像を後述する支援装置２００へ順次出力する。フレーム画像のフレームレートは、例えば３０ＦＰＳ（Frames Per Second）である。

ＣＣＵ１１０は、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternating Line）、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）などの所定の規格に準拠した映像データを生成してもよい。ＣＣＵ１１０は、生成した映像データを表示装置１３０へ出力することにより、表示装置１３０の表示画面に術野画像（映像）をリアルタイムに表示させることができる。表示装置１３０は、液晶パネルや有機ＥＬ（Electro-Luminescence）パネルなどを備えたモニタである。また、ＣＣＵ１１０は、生成した映像データを録画装置１４０へ出力し、録画装置１４０に映像データを記録させてもよい。録画装置１４０は、ＣＣＵ１１０から出力される映像データを、各手術を識別する識別子、手術日時、手術場所、患者名、術者名などと共に記録するＨＤＤ（Hard Disk Drive）などの記録装置を備える。

支援装置２００は、ＣＣＵ１１０から入力される画像データ（すなわち、術野を撮像して得られる術野画像の画像データ）に基づき、腹腔鏡手術に関する支援情報を生成する。具体的には、支援装置２００は、認識対象の対象組織と対象組織の表面に現れる血管組織（表面血管）とを区別して認識し、認識した対象組織に関する情報を表示装置１３０に表示させる処理を行う。実施の形態１～６では、対象組織として神経組織を認識する構成について説明し、後述する実施の形態７では、対象組織として尿管組織を認識する構成について説明する。対象組織は、神経組織や尿管組織に限らず、動脈、精管、胆管、骨、筋肉など表面血管が存在する任意の臓器であってもよい。

本実施の形態では、支援装置２００において神経組織の認識処理を実行する構成について説明するが、支援装置２００と同等の機能をＣＣＵ１１０に設け、ＣＣＵ１１０において神経組織の認識処理を実行する構成としてもよい。

以下、支援装置２００の内部構成、支援装置２００が実行する認識処理及び表示処理について説明する。

図２は支援装置２００の内部構成を説明するブロック図である。支援装置２００は、制御部２０１、記憶部２０２、操作部２０３、入力部２０４、出力部２０５、通信部２０６などを備える専用又は汎用のコンピュータである。支援装置２００は、手術室内に設置されるコンピュータであってもよく、手術室の外部に設置されるコンピュータであってもよい。また、支援装置２００は、腹腔鏡手術を行う病院内に設置されるサーバであってもよく、病院外に設置されるサーバであってもよい。

制御部２０１は、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを備える。制御部２０１が備えるＲＯＭには、支援装置２００が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部２０１内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部２０２に記憶された各種コンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、装置全体を本願における支援装置として機能させる。制御部２０１が備えるＲＡＭには、演算の実行中に利用されるデータ等が一時的に記憶される。

本実施の形態では、制御部２０１がＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、制御部２０１の構成は任意であり、例えば、ＧＰＵ（Graphics Processing Unit）、量子プロセッサ、揮発性又は不揮発性のメモリ等を１又は複数備えた演算回路や制御回路であってもよい。また、制御部２０１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を有するものであってもよい。

記憶部２０２は、ハードディスク、フラッシュメモリなどを用いた記憶装置を備える。記憶部２０２には、制御部２０１によって実行されるコンピュータプログラム、外部から取得した各種データ、装置内部で生成した各種データ等が記憶される。

記憶部２０２に記憶されるコンピュータプログラムは、術野画像に含まれる対象組織部分を血管組織部分と区別して認識するための処理を制御部２０１に実行させる認識処理プログラムＰＧ１、認識結果に基づく支援情報を表示装置１３０に表示させるための処理を制御部２０１に実行させる表示処理プログラムＰＧ２、学習モデル３１０を生成するための学習処理プログラムＰＧ３を含む。なお、認識処理プログラムＰＧ１及び表示処理プログラムＰＧ２は、それぞれ独立したコンピュータプログラムである必要はなく、１つのコンピュータプログラムとして実装されてもよい。これらのプログラムは、例えば、コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍにより提供される。記録媒体Ｍは、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カードなどの可搬型メモリである。制御部２０１は、図に示していない読取装置を用いて、記録媒体Ｍから所望のコンピュータプログラムを読み取り、読み取ったコンピュータプログラムを記憶部２０２に記憶させる。代替的に、上記コンピュータプログラムは、通信部２０６を用いた通信により提供されてもよい。

また、記憶部２０２には、上述した認識処理プログラムＰＧ１において用いられる学習モデル３１０が記憶される。学習モデル３１０は、術野画像の入力に対して、対象組織に関する認識結果を出力するように学習された学習モデルである。学習モデル３１０はその定義情報によって記述される。学習モデル３１０の定義情報は、学習モデル３１０が備える層の情報、各層を構成するノードの情報、ノード間の重み付け及びバイアスなどのパラメータを含む。これらのパラメータは、術野を撮像して得られる術野画像と、術野画像内の対象組織部分を示す正解データとを訓練データとして、所定の学習アルゴリズムを用いて学習される。学習モデル３１０の構成及び生成手順については後に詳述する。

操作部２０３は、キーボード、マウス、タッチパネル、非接触パネル、スタイラスペン、マイクロフォンによる音声入力などの操作デバイスを備える。操作部２０３は、術者などによる操作を受付け、受付けた操作に関する情報を制御部２０１へ出力する。制御部２０１は、操作部２０３から入力される操作情報に応じて適宜の処理を実行する。なお、本実施の形態では、支援装置２００が操作部２０３を備える構成としたが、外部に接続されたＣＣＵ１１０などの各種機器を通じて操作を受付ける構成であってもよい。

入力部２０４は、入力機器を接続する接続インタフェースを備える。本実施の形態において、入力部２０４に接続される入力機器はＣＣＵ１１０である。入力部２０４には、腹腔鏡１１によって撮像され、ＣＣＵ１１０によって処理が施された術野画像の画像データが入力される。入力部２０４は、入力された画像データを制御部２０１へ出力する。また、制御部２０１は、入力部２０４から取得した画像データを記憶部２０２に記憶させてもよい。

出力部２０５は、出力機器を接続する接続インタフェースを備える。本実施の形態において、出力部２０５に接続される出力機器は表示装置１３０である。制御部２０１は、学習モデル３１０による認識結果など、術者等に報知すべき情報を生成した場合、生成した情報を出力部２０５より表示装置１３０へ出力することにより、表示装置１３０に情報を表示させる。本実施の形態では、出力機器として表示装置１３０を出力部２０５に接続する構成としたが、音を出力するスピーカなどの出力機器が出力部２０５に接続されてもよい。

通信部２０６は、各種のデータを送受信する通信インタフェースを備える。通信部２０６が備える通信インタフェースは、イーサネット（登録商標）やＷｉＦｉ（登録商標）において用いられる有線又は無線の通信規格に準じた通信インタフェースである。通信部２０６は、送信すべきデータが制御部２０１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部２０６は、外部装置から送信されたデータを受信した場合、受信したデータを制御部２０１へ出力する。

支援装置２００は、単一のコンピュータである必要はなく、複数のコンピュータや周辺機器からなるコンピュータシステムであってもよい。更に、支援装置２００は、ソフトウェアによって仮想的に構築される仮想マシンであってもよい。

次に、支援装置２００に入力される術野画像について説明する。
図３は術野画像の一例を示す模式図である。本実施の形態における術野画像は、患者の腹腔内を腹腔鏡１１により撮像して得られる画像である。術野画像は、腹腔鏡１１の撮像装置１１Ｂが出力する生の画像である必要はなく、ＣＣＵ１１０などによって処理が施された画像（フレーム画像）であればよい。

腹腔鏡１１により撮像される術野には、臓器、血管、神経などを構成する組織、組織間に存在する結合組織、腫瘍などの病変部を含む組織、組織を被う膜や層などの組織が含まれている。術者は、これらの解剖学的構造の関係を把握しながら、鉗子やエネルギ処置具などの器具を用いて、病変部を含む組織の剥離を行う。図３に例として示す術野画像は、鉗子１３を用いて臓器３１を被う膜３２を牽引し、エネルギ処置具１２を用いて病変部３３を含む組織を剥離しようとしている場面を示している。また、図３の例は、病変部３３の近傍において神経３４が図の上下方向に走行している様子を示している。鏡視下手術において、牽引や剥離を行う過程で神経が損傷した場合、術後において機能障害が発生する可能性がある。例えば、大腸手術における下腹神経の損傷は排尿障害の原因となり得る。また、食道切除や肺切除における半回神経の損傷は嚥下障害の原因となり得る。

術中の神経損傷を回避するためには、神経の走行方向を把握することが重要となる。しかしながら、神経が完全に露出することは稀であり、血管などの他の組織と重なっていることも多いため、術者にとって神経の走行方向を把握することは必ずしも容易ではない。そこで、本実施の形態に係る支援装置２００は、学習モデル３１０を用いて、術野画像に含まれる神経組織部分を血管組織部分と区別して認識し、認識結果に基づき、腹腔鏡手術に関する支援情報を出力する。

以下、学習モデル３１０の構成例について説明する。
図４は学習モデル３１０の構成例を示す模式図である。学習モデル３１０は、画像セグメンテーションを行うための学習モデルであり、例えばＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。学習モデル３１０は、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションが行える任意のニューラルネットワークを用いて構築されてもよい。また、学習モデル３１０は、画像セグメンテーション用のニューラルネットワークに代えて、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）など物体検出用のニューラルネットワークを用いて構築されてもよい。

本実施の形態において、学習モデル３１０への入力画像は、腹腔鏡１１から得られる術野画像である。学習モデル３１０は、術野画像の入力に対し、術野画像に含まれる神経組織の認識結果を示す画像を出力するように学習される。

学習モデル３１０は、例えば、エンコーダ３１１、デコーダ３１２、及びソフトマックス層３１３を備える。エンコーダ３１１は、畳み込み層とプーリング層とを交互に配置して構成される。畳み込み層は２～３層に多層化されている。図４の例では、畳み込み層にはハッチングを付さずに示し、プーリング層にはハッチングを付して示している。

畳み込み層では、入力されるデータと、それぞれにおいて定められたサイズ（例えば、３×３や５×５など）のフィルタとの畳み込み演算を行う。すなわち、フィルタの各要素に対応する位置に入力された入力値と、フィルタに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和を算出する。算出した線形和に、設定されたバイアスを加算することによって、畳み込み層における出力が得られる。なお、畳み込み演算の結果は活性化関数によって変換されてもよい。活性化関数として、例えばＲｅＬＵ（Rectified Linear Unit）を用いることができる。畳み込み層の出力は、入力データの特徴を抽出した特徴マップを表している。

プーリング層では、入力側に接続された上位層である畳み込み層から出力された特徴マップの局所的な統計量を算出する。具体的には、上位層の位置に対応する所定サイズ（例えば、２×２、３×３）のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。統計量としては、例えば最大値を採用できる。プーリング層から出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小（ダウンサンプリング）される。図４の例は、エンコーダ３１１において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、２２４画素×２２４画素の入力画像を、１１２×１１２、５６×５６、２８×２８、…、１×１の特徴マップに順次ダウンサンプリングしていることを示している。

エンコーダ３１１の出力（図４の例では１×１の特徴マップ）は、デコーダ３１２に入力される。デコーダ３１２は、逆畳み込み層と逆プーリング層とを交互に配置して構成される。逆畳み込み層は２～３層に多層化されている。図４の例では、逆畳み込み層にはハッチングを付さずに示し、逆プーリング層にはハッチングを付して示している。

逆畳み込み層では、入力された特徴マップに対して、逆畳み込み演算を行う。逆畳み込み演算とは、入力された特徴マップが特定のフィルタを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、特定のフィルタを行列で表したとき、この行列に対する転置行列と、入力された特徴マップとの積を算出することで、出力用の特徴マップを生成する。なお、逆畳み込み層の演算結果は、上述したＲｅＬＵなどの活性化関数によって変換されてもよい。

デコーダ３１２が備える逆プーリング層は、エンコーダ３１１が備えるプーリング層に１対１で個別に対応付けられており、対応付けられている対は実質的に同一のサイズを有する。逆プーリング層は、エンコーダ３１１のプーリング層においてダウンサンプリングされた特徴マップのサイズを再び拡大（アップサンプリング）する。図４の例は、デコーダ３１２において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、１×１、７×７、１４×１４、…、２２４×２２４の特徴マップに順次アップサンプリングしていることを示している。

デコーダ３１２の出力（図４の例では２２４×２２４の特徴マップ）は、ソフトマックス層３１３に入力される。ソフトマックス層３１３は、入力側に接続された逆畳み込み層からの入力値にソフトマックス関数を適用することにより、各位置（画素）における部位を識別するラベルの確率を出力する。本実施の形態では、神経組織を識別するラベルを設定し、神経組織に属するか否かを画素単位で識別すればよい。ソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば７０％以上）の画素を抽出することによって、神経組織部分の認識結果を示す画像（以下、認識画像という）が得られる。

なお、図４の例では、２２４画素×２２４画素の画像を学習モデル３１０への入力画像としているが、入力画像のサイズは上記に限定されるものではなく、支援装置２００の処理能力、腹腔鏡１１から得られる術野画像のサイズ等に応じて、適宜設定することが可能である。また、学習モデル３１０への入力画像は、腹腔鏡１１より得られる術野画像の全体である必要はなく、術野画像の注目領域を切り出して生成される部分画像であってもよい。処置対象を含むような注目領域は術野画像の中央付近に位置することが多いので、例えば、元の半分程度のサイズとなるように術野画像の中央付近を矩形状に切り出した部分画像を用いてもよい。学習モデル３１０に入力する画像のサイズを小さくすることにより、処理速度を上げつつ、認識精度を高めることができる。

図５は学習モデル３１０による認識結果を示す模式図である。図５の例では、学習モデル３１０を用いて認識した神経組織部分５１にハッチングを付して示し、それ以外の臓器や膜、術具の部分を参考として破線により示している。支援装置２００の制御部２０１は、認識した神経組織部分を判別可能に表示するために神経組織の認識画像を生成する。認識画像は、術野画像と同一サイズを有し、神経組織として認識された画素に特定の色を割り当てた画像である。神経組織に割り当てる色は任意に設定される。例えば、神経組織に割り当てる色は神経と同様の白色系の色であってもよく、人体内部には存在しない青系の色であってもよい。また、認識画像を構成する各画素には透過度を表す情報が付加され、神経組織として認識された画素には不透過の値、それ以外の画素は透過の値が設定される。支援装置２００は、このように生成された認識画像を術野画像に重畳して表示することにより、神経組織部分を特定の色を有する構造として術野画像上に表示することができる。

図６は実施の形態１の認識結果を示す部分拡大図である。図６は、術野画像に含まれる神経組織部分６１と、神経組織部分６１の表面に現れる血管組織部分６２とを区別して認識した結果を示している。図６の例では、血管組織部分６２を除いて認識した神経組織部分６１のみをハッチングを付して示している。この認識結果からは、図に示す２つの矢符の方向に並走する２本の神経の存在を確認することができる。

図７は比較例の認識結果を示す部分拡大図である。図７の比較例は、図６と同一領域を、表面に現れる血管組織部分と区別せずに神経組織部分７１を認識した結果を示している。この認識結果からは、並走する２本の神経の存在を明確に把握することはできないので、比較的太い１本の神経が矢符の方向に走行していると解釈される虞がある。

本実施の形態では、術野画像に含まれる神経組織部分と、神経組織部分の表面に現れる血管組織部分とを区別して認識するために、画素単位で神経組織に該当するか否かを認識する学習モデル３１０を生成する。学習モデル３１０を生成する準備段階として、撮像済みの術野画像に対してアノテーションが実施される。

学習モデル３１０を生成する準備段階において、作業者（医師などの専門家）は、録画装置１４０に録画された術野画像を表示装置１３０に表示させ、操作部２０３として備えるマウスやスタイラスペンなどを用いて、神経組織に該当する部分を画素単位で指定することによりアノテーションを行う。このとき、作業者は、神経組織の表面に現れる血管組織を除外して、神経組織に該当する部分を画素単位で指定することが好ましい。アノテーションに用いられた多数の術野画像と、各術野画像において指定された神経組織に該当する画素の位置を示すデータ（正解データ）とのセットは、学習モデル３１０を生成するための訓練データとして支援装置２００の記憶部２０２に記憶される。訓練データの数を増やすために、透視変換や鏡映処理などを適用して生成した術野画像と、当該術野画像に対する正解データとのセットを訓練データに含めてもよい。更に、学習が進めば、術野画像と、術野画像を入力して得られる学習モデル３１０の認識結果（正解データ）とのセットを訓練データに含めてもよい。

更に、アノテーションを行う際に、作業者は、除外すべき血管組織に該当する画素を不正解データとしてラベル付けしてもよい。アノテーションに用いられた術野画像と、各術野画像において指定された神経組織に該当する画素の位置を示すデータ（正解データ）と、指定された血管組織に該当する画素の位置を示すデータ（不正解データ）とのセットを、学習モデル３１０を生成するための訓練データとして支援装置２００の記憶部２０２に記憶させてもよい。

支援装置２００は、上述した訓練データを用いて、学習モデル３１０を生成する。図８は学習モデル３１０の生成手順を説明するフローチャートである。支援装置２００の制御部２０１は、記憶部２０２から学習処理プログラムＰＧ３を読み出し、以下の手順を実行することにより、学習モデル３１０を生成する。なお、学習を開始する前の段階では、学習モデル３１０を記述する定義情報には、初期値が与えられているものとする。

制御部２０１は、記憶部２０２にアクセスし、学習モデル３１０を生成するために事前に準備された訓練データから、一組の訓練データを選択する（ステップＳ１０１）。制御部２０１は、選択した訓練データに含まれる術野画像を学習モデル３１０へ入力し（ステップＳ１０２）、学習モデル３１０による演算を実行する（ステップＳ１０３）。すなわち、制御部２０１は、入力した術野画像から特徴マップを生成し、生成した特徴マップを順次ダウンサンプリングするエンコーダ３１１による演算、エンコーダ３１１から入力される特徴マップを順次アップサンプリングするデコーダ３１２による演算、及びデコーダ３１２より最終的に得られる特徴マップの各画素を識別するソフトマックス層３１３による演算を実行する。

制御部２０１は、学習モデル３１０から演算結果を取得し、取得した演算結果を評価する（ステップＳ１０４）。例えば、制御部２０１は、演算結果として得られる神経組織の画像データと、訓練データに含まれる正解データとの類似度を算出することによって、演算結果を評価すればよい。類似度は、例えばＪａｃｃａｒｄ係数により算出される。Ｊａｃｃａｒｄ係数は、学習モデル３１０によって抽出した神経組織部分をＡ、正解データに含まれる神経組織部分をＢとしたとき、Ａ∩Ｂ／Ａ∪Ｂ×１００（％）により与えられる。Ｊａｃｃａｒｄ係数に代えて、Ｄｉｃｅ係数やＳｉｍｐｓｏｎ係数を算出してもよく、その他の既存の手法を用いて類似度を算出してもよい。訓練データに不正解データが含まれている場合、制御部２０１は、不正解データを参照して学習を進めてもよい。例えば、学習モデル３１０によって抽出した神経組織部分が不正解データに含まれる血管組織部分に該当する場合、制御部２０１は、類似度を減算する処理を行えばよい。

制御部２０１は、演算結果の評価に基づき、学習が完了したか否かを判断する（ステップＳ１０５）。制御部２０１は、予め設定した閾値以上の類似度が得られた場合に、学習が完了したと判断することができる。

学習が完了していないと判断した場合（Ｓ１０５：ＮＯ）、制御部２０１は、逆誤差伝搬法を用いて、学習モデル３１０の各層における重み係数及びバイアスを学習モデル３１０の出力側から入力側に向かって順次的に更新する（ステップＳ１０６）。制御部２０１は、各層の重み係数及びバイアスを更新した後、処理をステップＳ１０１へ戻し、ステップＳ１０１からステップＳ１０５までの処理を再度実行する。

ステップＳ１０５において学習が完了したと判断した場合（Ｓ１０５：ＹＥＳ）、学習済みの学習モデル３１０が得られるので、制御部２０１は、本フローチャートによる処理を終了する。

本実施の形態では、支援装置２００において学習モデル３１０を生成する構成としたが、サーバ装置などの外部コンピュータを用いて学習モデル３１０を生成してもよい。この場合、支援装置２００は、外部コンピュータにて生成された学習モデル３１０を通信等の手段を用いて取得し、取得した学習モデル３１０を記憶部２０２に記憶させればよい。

支援装置２００は、学習モデル３１０が生成された後の運用フェーズにおいて手術支援を行う。図９は手術支援の実行手順を説明するフローチャートである。支援装置２００の制御部２０１は、記憶部２０２から認識処理プログラムＰＧ１及び表示処理プログラムＰＧ２を読み出して実行することにより、以下の手順を実行する。腹腔鏡手術が開始されると、腹腔鏡１１の撮像装置１１Ｂにより術野を撮像して得られる術野画像はユニバーサルコード１１Ｄを介してＣＣＵ１１０へ随時出力される。支援装置２００の制御部２０１は、ＣＣＵ１１０から出力される術野画像を入力部２０４より取得する（ステップＳ１２１）。制御部２０１は、術野画像を取得する都度、以下の処理を実行する。

制御部２０１は、取得した術野画像を学習モデル３１０に入力し、学習モデル３１０を用いた演算を実行し（ステップＳ１２２）、術野画像に含まれる神経組織部分を認識する（ステップＳ１２３）。すなわち、制御部２０１は、入力された術野画像から特徴マップを生成し、生成した特徴マップを順次ダウンサンプリングするエンコーダ３１１による演算、エンコーダ３１１から入力された特徴マップを順次アップサンプリングするデコーダ３１２による演算、及びデコーダ３１２より最終的に得られる特徴マップの各画素を識別するソフトマックス層３１３による演算を実行する。また、制御部２０１は、ソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば７０％以上）の画素を神経組織部分として認識する。

学習モデル３１０を生成する際に、術者の中心視野にある神経組織を認識するようにアノテーションが行われていた場合、ステップＳ１２３では、術者の中心視野に存在する神経組織のみが認識される。また、術者の中心視野にない神経組織を認識するようにアノテーションが行われていた場合、ステップＳ１２３では、術者の中心視野にない神経組織のみが認識される。更に、テンションが掛かった状態の神経組織を認識するようにアノテーションが行われていた場合、ステップＳ１２３では、神経組織が緊張した前の状態から緊張状態に移行した段階で神経組織として認識される。更に、術野に露出し始めた神経組織を認識するようにアノテーションが行われていた場合、臓器などの組織を覆う膜や層を牽引又は切除して、神経組織が露出し始めた段階で神経組織として認識される。

制御部２０１は、学習モデル３１０を用いて認識した神経組織部分を判別可能に表示するために、神経組織の認識画像を生成する（ステップＳ１２４）。制御部２０１は、神経組織として認識された画素には、神経と同様の白色系の色や人体に存在しない青系の色など特定の色を割り当て、神経組織以外の画素には背景が透過するような透過度を設定すればよい。

制御部２０１は、ステップＳ１２１で取得した術野画像と共に、ステップＳ１２４で生成した神経組織の認識画像を出力部２０５より表示装置１３０へ出力し、術野画像上に認識画像を重ねて表示装置１３０に表示させる（ステップＳ１２５）。これにより、学習モデル３１０を用いて認識した神経組織部分は特定の色を有する構造として術野画像上に表示される。

図１０は表示装置１３０における表示例を示す模式図である。図面作成の都合上、図１０の表示例では、学習モデル３１０を用いて認識された神経組織部分１０１はハッチングを付した領域として示されている。実際には、神経組織部分１０１は画素単位で白色系や青系などの特定の色で塗られるため、術者は、表示装置１３０の表示画面を閲覧することにより、神経組織部分１０１を血管組織部分１０２と区別して明確に認識することができる。

本実施の形態では、神経組織に該当する画素を白色系や青系の色で着色して表示する構成としたが、予め設定された表示色（白色系や青系の色）と、背景の術野画像の表示色とを平均化し、平均化した色で着色して表示してもよい。例えば、神経組織部分について設定されている表示色を（Ｒ１，Ｇ１，Ｂ１）、背景の術野画像における神経組織部分の表示色を（Ｒ２，Ｇ２，Ｂ２）とした場合、制御部２０１は、認識した神経組織部分を（（Ｒ１＋Ｒ２）／２，（Ｇ１＋Ｇ２）／２，（Ｂ１＋Ｂ２）／２）の色で着色して表示すればよい。代替的に、重み係数Ｗ１，Ｗ２を導入し、認識した血管部分を（Ｗ１×Ｒ１＋Ｗ２×Ｒ２，Ｗ１×Ｇ１＋Ｗ２×Ｇ２，Ｗ１×Ｂ１＋Ｗ２×Ｂ２）の色で着色して表示してもよい。

また、認識した対象組織部分（本実施の形態では神経組織部分）を点滅表示してもよい。すなわち、制御部２０１は、認識した対象組織部分を第１設定時間（例えば２秒間）だけ表示する処理と、認識した対象組織部分を第２設定時間（例えば２秒間）だけ非表示にする処理とを交互に繰り返し実行することにより、対象組織部分の表示及び非表示を周期的に切り替えてもよい。対象組織部分の表示時間及び非表示時間は適宜設定されるとよい。また、患者の心拍や脈拍などの生体情報に同期させて、対象組織部分の表示及び非表示を切り替える構成としてもよい。更に、対象組織部分を点滅表示する構成に代えて、血管組織部分を点滅表示する構成としてもよい。血管組織部分を除く対象組織部分のみを点滅表示したり、血管組織部分のみを点滅表示したりすることにより、対象組織部分を血管組織部分と区別して強調表示することができる。

図９に示すフローチャートでは、術野画像に含まれる神経組織を認識した場合、当該神経組織部分の認識画像を術野画像に重畳表示する構成としたが、表示指示が与えられた場合にのみ重畳表示する構成としてもよい。表示指示は、支援装置２００の操作部２０３により与えられてもよく、腹腔鏡１１の操作部１１Ｃにより与えられてもよい。また、表示指示は、図に示してないフットスイッチ等により与えられてもよい。

また、本実施の形態では、神経組織の認識画像を術野画像に重畳表示する構成としたが、神経組織の検出を音又は音声により術者に報知してもよい。

更に、支援装置２００の制御部２０１は、神経組織の認識結果に基づき、エネルギ処置具１２や手術用ロボット（不図示）などの医療デバイスを制御するための制御信号を生成し、生成した制御信号を医療デバイスへ出力する構成としてもよい。

以上のように、本実施の形態では、学習モデル３１０を用いて神経組織を認識し、認識した神経組織を画素単位で判別可能に表示することができるので、腹腔鏡手術における視覚支援を行うことができる。

神経の認識手法として、仮に、神経組織と、神経組織の表面に現れる血管組織とを区別せずに一体の領域として認識する手法を採用した場合、術野画像内の神経を含む領域はベタ塗りの画像で覆われることになるため、神経自体が見えづらくなり、手術を行う術者にとって必要な情報がかえって失われる可能性がある。

これに対して、本実施の形態では、認識した神経組織を画素単位で判別可能に表示することができるので、認識した神経組織を見やすく表示することができる。また、神経組織と、神経組織の表面に現れる血管組織とを区別して表示することで神経の走行方向がより強調される。術者は、神経の走行方向を把握することにより、見えていない神経の存在を予測することができる。

本実施の形態では、神経組織と、神経組織の表面に現れる血管組織とを区別して認識するために、神経組織に該当する画素と、神経組織の表面に現れる血管組織に該当する画素とを区別してアノテーションを行い、このアノテーションにより得られる訓練データを用いて学習を行うことにより、学習モデル３１０を生成する。神経の表面に現れる表面血管は、神経に固有の模様を有しており、他の臓器に現れる表面血管の模様とは異なる。学習の際に、上述のような訓練データを用いることにより、単に神経の位置情報だけでなく、神経の表面に現れる表面血管の模様の情報も加味して学習が進むので、神経の認識精度が向上する。

なお、支援装置２００から生成される画像は、手術支援に用いられるだけでなく、研修医等の教育支援のために用いられてもよく、腹腔鏡手術の評価のために用いられてもよい。例えば、また、手術中に録画装置１４０に録画された画像と支援装置２００が生成した画像とを比較して、腹腔鏡手術における牽引操作や剥離操作が適切であったか否かを判断することにより、腹腔鏡手術を評価することができる。

（実施の形態２）
実施の形態２では、第１方向に走行する神経組織と、第１方向とは異なる第２方向に走行する神経組織とを区別して認識する構成について説明する。

図１１は実施の形態２における術野画像の例を示す模式図である。図１１は、術野画像の下部領域（ドットを付した領域）に現れている臓器１１１と、臓器１１１に沿った方向（図中の黒色矢印の方向）へ走行する神経組織１１２と、この神経組織１１２から分岐して臓器１１１に向かう方向（図中の白色矢印の方向）へ走行する神経組織１１３とを含んだ術野画像を示している。

以下において、臓器に沿った方向へ走行している神経組織を第１神経組織、臓器に向かう方向に走行している神経組織を第２神経組織と記載する。本実施の形態において、第１神経組織は、腹腔鏡手術において温存すべき神経を表す。例えば、迷走神経や反回神経などが第１神経組織に該当する。これに対し、第２神経組織は、腹腔鏡手術において剥離可能な神経を表しており、臓器を展開する場合や病変部を切除する場合などにおいて必要に応じて剥離される。第１神経組織及び第２神経組織は、単一の神経組織である必要はなく、神経叢や神経繊維束などの組織であってもよい。

一方向（第１方向とする）に走行する第１神経組織と、他方向（第２方向とする）に走行する第２神経組織とを区別して認識し、認識結果を術者に提供できれば、術者にとって有用である。そこで、実施の形態に２に係る支援装置２００は、学習モデル３２０（図１２を参照）を用いて、第１方向に走行する第１神経組織を、第２方向に走行する第２神経組織と区別して認識する。

図１２は実施の形態２における学習モデル３２０の構成を説明する説明図である。図１２では、簡略化のために、学習モデル３２０のソフトマックス層３２３のみを示している。ソフトマックス層３２３以外の構成は、実施の形態１に示す学習モデル３１０と同様である。実施の形態２における学習モデル３２０が備えるソフトマックス層３２３は、各画素に対応して設定されたラベルについて確率を出力する。実施の形態２では、第１神経組織を識別するラベル、第２神経組織を識別するラベル、それ以外を示すラベルが設定される。支援装置２００の制御部２０１は、第１神経組織を識別するラベルの確率が閾値以上であれば、その画素が第１神経組織であると認識し、第２神経組織を識別するラベルの確率が閾値以上であれば、その画素が第２神経組織であると認識する。また、制御部２０１は、それ以外を示すラベルの確率が閾値以上であれば、その画素は第１神経組織でも第２神経組織でもないと認識する。

このような認識結果を得るための学習モデル３２０は、術野画像と、術野画像に含まれる第１神経組織及び第２神経組織のそれぞれの位置（画素）を示す正解データとを含むセットを訓練データに用いて学習することにより生成される。学習モデル３２０の生成方法については、実施の形態１と同様であるため、その説明を省略する。

図１３は実施の形態２における認識結果の表示例を示す模式図である。支援装置２００の制御部２０１は、術野画像を学習済みの学習モデル３２０に入力することによって、学習モデル３２０による認識結果を取得する。制御部２０１は、学習モデル３２０による認識結果を参照して、第１神経組織と第２神経組織とを判別可能な認識画像を生成する。例えば、制御部２０１は、第１神経組織と認識された画素に対して白色系や青色系の特定の色を割り当て、第２神経組織と認定された画素に対して別の色を割り当てることによって認識画像を生成することができる。

図１３の表示例では、作図の都合上、第１神経組織部分１３１（臓器に沿って走行する神経組織部分）のみをハッチングを付して示している。実際には、第１神経組織に該当する部分は画素単位で白色系や青色系などの特定の色を付して表示すればよい。

また、図１３では、第１神経組織部分１３１のみを表示しているが、第２神経組織部分１３２（臓器に向かう方向に走行する神経組織部分）のみを表示してもよく、第１神経組織部分１３１及び第２神経組織部分１３２をそれぞれ異なる表示態様にて表示してもよい。

以上のように、実施の形態２では、第１方向に走行する神経組織と第２方向に走行する神経組織とを区別して認識することができるので、例えば、温存すべき神経組織の存在、及び剥離可能な神経組織の存在を術者に知らせることができる。

なお、本実施の形態では、第１方向に走行する神経組織及び第２方向に走行する神経組織の双方を認識する構成としたが、第１方向（又は第２方向）に走行する神経組織のみを認識する構成としてもよい。この場合、第１方向（又は第２方向）に走行する神経組織に該当する画素を正解データ、第２方向（又は第１方向）に走行する神経組織に該当する画素を不正解データとして含む訓練データを用いて、学習モデル３２０を生成すればよい。このような学習モデル３２０を用いて神経組織を認識することにより、第１方向（又は第２方向）に走行する神経組織のみを認識することができる。

（実施の形態３）
実施の形態３では、神経組織と疎性結合組織とを区別して認識する構成について説明する。

図１４は実施の形態３における術野画像の例を示す模式図である。図１４は、術野画像の中央部の領域（ドットを付した領域）に現れている臓器１４１と、臓器１４１の表面において左右方向（図中の黒色矢印の方向）に走行する神経組織１４１と、神経組織１４１と交差する方向（図中の白色矢印の方向）に走行する疎性結合組織１４３とを含んだ術野画像を示している。

疎性結合組織は、組織や器官の間を満たす線維性の結合組織であり、組織を構成する線維（膠原線維や弾性線維）の量が比較的少ないものをいう。疎性結合組織は、臓器を展開する場合や病変部を切除する場合などにおいて必要に応じて剥離される。

術野画像に現れる神経組織及び疎性結合組織は、共に白色系の色を有し、線状に延びる組織であるため、外見上区別することが困難であることが多い。このため、神経組織と、疎性結合組織とを区別して認識し、認識結果を術者に提供できれば、術者にとって有用である。そこで、実施の形態に３に係る支援装置２００は、学習モデル３３０（図１５を参照）を用いて、神経組織を疎性結合組織と区別して認識する。

図１５は実施の形態３における学習モデル３３０の構成を説明する説明図である。図１５では、簡略化のために、学習モデル３３０のソフトマックス層３３３のみを示している。ソフトマックス層３３３以外の構成は、実施の形態１に示す学習モデル３１０と同様である。実施の形態３における学習モデル３３０が備えるソフトマックス層３３３は、各画素に対応して設定されたラベルについて確率を出力する。実施の形態３では、神経組織を識別するラベル、疎性結合組織を識別するラベル、それ以外を示すラベルが設定される。支援装置２００の制御部２０１は、神経組織を識別するラベルの確率が閾値以上であれば、その画素が神経組織であると認識し、疎性結合組織を識別するラベルの確率が閾値以上であれば、その画素が疎性結合組織であると認識する。また、制御部２０１は、それ以外を示すラベルの確率が閾値以上であれば、その画素は神経組織でも疎性結合組織でもないと認識する。

このような認識結果を得るための学習モデル３３０は、術野画像と、術野画像に含まれる神経組織及び疎性結合組織のそれぞれの位置（画素）を示す正解データとを含むセットを訓練データに用いて学習することにより生成される。学習モデル３３０の生成方法については、実施の形態１と同様であるため、その説明を省略する。

図１６は実施の形態３における認識結果の表示例を示す模式図である。支援装置２００の制御部２０１は、術野画像を学習済みの学習モデル３３０に入力することによって、学習モデル３３０による認識結果を取得する。制御部２０１は、学習モデル３３０による認識結果を参照して、神経組織と疎性結合組織とを判別可能な認識画像を生成する。例えば、制御部２０１は、神経組織と認識された画素に対して白色系や青色系の特定の色を割り当て、疎性結合組織と認定された画素に対して別の色を割り当てることによって認識画像を生成することができる。

図１６の表示例では、作図の都合上、神経組織部分１６１のみをハッチングを付して示している。実際には、神経組織に該当する部分は画素単位で白色系や青色系などの特定の色を付して表示すればよい。

また、図１６では、神経組織部分１６１のみを表示しているが、疎性結合組織部分１６２のみを表示してもよく、神経組織部分１６１及び疎性結合組織部分１６２をそれぞれ異なる表示態様にて表示してもよい。

以上のように、実施の形態３では、神経組織と疎性結合組織とを区別して認識することができるので、例えば、温存すべき神経組織の存在、及び剥離可能な疎性結合組織の存在を術者に知らせることができる。

なお、本実施の形態では、神経組織及び疎性結合組織の双方を認識する構成としたが、神経組織（又は疎性結合組織）のみを認識する構成としてもよい。この場合、神経組織（又は疎性結合組織）に該当する画素を正解データ、疎性結合組織（又は神経組織）に該当する画素を不正解データとして含む訓練データを用いて、学習モデル３３０を生成すればよい。このような学習モデル３３０を用いることにより、制御部２０１は、神経組織（又は疎性結合組織）のみを疎性結合組織（又は神経組織）から区別して認識することができる。

（実施の形態４）
実施の形態４では、神経組織に対する認識結果の確信度に応じて、表示態様を変更する構成について説明する。

実施の形態４において説明したように、学習モデル３１０のソフトマックス層３１３は、各画素に対応して設定されたラベルについて確率を出力する。この確率は、認識結果の確信度を表す。支援装置２００の制御部２０１は、認識結果の確信度に応じて、神経組織部分の表示態様を異ならせる。

図１７は実施の形態４における表示例を示す模式図である。図１７は神経組織を含む領域を拡大して示している。この例では、神経組織の認識結果に関して、確信度が７０％～８０％の場合、８０％～９０％の場合、９０％～９５％の場合、９５％～１００％の場合の夫々で濃度を異ならせて神経組織部分を表示している。この例では、確信度が高くなる程、濃度が高くなるように表示態様を変更している。

また、図１７の例では、確信度に応じて濃度を異ならせる構成としたが、確信度に応じて色や透過度を異ならせてもよい。色を異ならせる場合、例えば、確信度が低くなる程、白色系の色で表示し、確信度が高くなる程、青色系の色で表示してもよい。また、透過度を異ならせる場合、確信度が高くなる程、透過度が低くなるように表示態様を変更すればよい。

また、図１７の例では、確信度に応じて４段階に濃度を変更しているが、更に細かく濃度を設定し、確信度に応じたグラデーション表示を行ってもよい。

（実施の形態５）
実施の形態５では、術具などの物体の陰に隠れて視認することができない神経組織部分の推定位置を表示する構成について説明する。

図１８は実施の形態５における表示手法を説明する説明図である。上述したように、支援装置２００は、学習モデル３１０を用いて、術野画像に含まれる神経組織部分を認識する。しかしながら、撮像対象の術野に術具やガーゼなどの物体が存在する場合、支援装置２００は、学習モデル３１０を用いたとしても、物体の陰に隠れている神経組織を術野画像から認識することはできない。このため、神経組織の認識画像を術野画像に重畳して表示させた場合、物体の陰に隠れている神経組織部分を判別可能に表示することはできない。

そこで、実施の形態５に係る支援装置２００は、物体の陰に隠れていない状態で認識した神経組織の認識画像を記憶部２０２に保持しておき、当該神経組織部分が物体の陰に隠れた場合、記憶部２０２に保持した認識画像を読み出して、術野画像に重畳表示することを行う。

図１８の例では、時刻Ｔ１は神経組織が術具の陰に隠れていない状態の術野画像を示し、時刻Ｔ２は神経組織の一部が術具の陰に隠れた状態の術野画像を示している。ただし、時刻Ｔ１と時刻Ｔ２との間では、腹腔鏡１１は移動させておらず、撮像している領域に変化はないものとする。

時刻Ｔ１の術野画像からは、術野に現れる神経組織を認識することが可能であり、学習モデル３１０の認識結果から、神経組織の認識画像が生成される。生成された神経組織の認識画像は記憶部２０２に記憶される。

一方、時刻Ｔ２の術野画像からは、術野に現れる神経組織のうち、術具に隠れていない神経組織については認識可能であるが、術具に隠れている神経組織については認識することがない。そこで、支援装置２００は、時刻Ｔ１の術野画像から生成された神経組織の認識画像を時刻Ｔ２の術野画像に重畳して表示する。図１８の例では、破線で示す部分が術具に隠れて視認できない神経組織部分であるが、支援装置２００は、時刻Ｔ１において認識された認識画像を流用することにより、当該部分も含めて判別可能に表示することが可能となる。

以上のように、実施の形態５では、術具やガーゼなどの物体の陰に隠れて視認することができない神経組織の存在を術者に報知することができるので、手術時の安全性を高めることができる。

本実施の形態では、物体の陰に隠れていない状態で認識した神経組織の認識画像を流用することによって、物体の陰に隠れた神経組織部分を判別可能に表示する構成としたが、支援装置２００は、物体の陰に隠れている神経組織部分を内挿又は外挿などの数学的手法を用いて推定することにより、当該神経組織部分を判別可能に表示してもよい。また、支援装置２００は、物体の陰に隠れていない神経組織部分と、物体の陰に隠れている神経組織部分とを表示態様（色、濃度、透明度など）を変えて表示してもよい。更に、支援装置２００は、ＧＡＮ（Generative Adversarial Network）やＶＡＥ（Variational AutoEncoder）などの画像生成系の学習モデルを用いて、物体の陰に隠れていない神経組織部分と、物体の陰に隠れている神経組織部分との双方を含む認識画像を生成し、生成した認識画像を術野画像に重畳して表示してもよい。

（実施の形態６）
実施の形態６では、神経組織の走行パターンを予測し、予測した神経組織の走行パターンにより推定される神経部分を判別可能に表示する構成について説明する。

図１９は実施の形態６に係る支援装置２００が実行する処理の手順を説明するフローチャートである。支援装置２００の制御部２０１は、実施の形態１と同様に、術野画像を取得し（ステップＳ６０１）、取得した術野画像を学習モデル３１０に入力して学習モデル３１０による演算を実行する（ステップＳ６０２）。制御部２０１は、学習モデル３１０による演算結果に基づき、神経組織の走行パターンを予測する（ステップＳ６０３）。実施の形態１では、学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば７０％以上）の画素を抽出することによって、神経組織部分の認識画像を生成していたが、実施の形態６では、その閾値を下げることにより神経組織の走行パターンを予測する。具体的には、制御部２０１は、学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が第１閾値以上（例えば４０％以上）、第２閾値未満（例えば７０％）未満の画素を抽出することによって、神経組織の走行パターンを予測する。

制御部２０１は、予測した走行パターンにより推定される神経組織部分を判別可能に表示する（ステップＳ６０４）。図２０は実施の形態６における表示例を示す模式図である。図２０では、認識した神経組織部分２０１Ａをハッチングにより示し、予測した走行パターンにより推定される神経組織部分２０１Ｂを太破線により示している。図面作成の都合上、図２０の例では、認識した神経組織部分２０１Ａをハッチングにより示し、走行パターンにより推定される神経組織部分２０１Ｂを太破線により示しているが、色、濃度、透過度などの表示態様を異ならせて表示すればよい。

以上のように、実施の形態６では、走行パターンにより推定される神経組織部分を併せて表示できるので、腹腔鏡手術における視覚支援を行うことができる。

本実施の形態では、神経組織を認識する際の閾値を下げることにより、神経組織の走行パターンを予測する構成としたが、支援装置２００は、ＧＡＮやＶＡＥなどの画像生成系の学習モデルを用いて、術野画像からは明確に視認することができない神経組織の走行パターンを含む認識画像を生成し、生成した認識画像を術野画像に重畳して表示してもよい。

（実施の形態７）
実施の形態１～６では、対象組織として神経組織を認識する構成について説明したが、対象組織は神経組織に限らず、尿管であってもよい。実施の形態７では、神経組織に代えて尿管を認識する構成について説明する。

図２１は実施の形態７における学習モデル３４０の構成を説明する説明図である。図２１では、簡略化のために、学習モデル３４０のソフトマックス層３４３のみを示している。ソフトマックス層３４３以外の構成は、実施の形態１に示す学習モデル３１０と同様である。実施の形態７における学習モデル３４０が備えるソフトマックス層３４３は、各画素に対応して設定されたラベルについて確率を出力する。実施の形態７では、尿管組織を識別するラベル、及びそれ以外を示すラベルが設定される。支援装置２００の制御部２０１は、尿管組織を識別するラベルの確率が閾値以上であれば、その画素が尿管組織であると認識する。また、制御部２０１は、それ以外を示すラベルの確率が閾値以上であれば、その画素は尿管組織でないと認識する。

このような認識結果を得るための学習モデル３４０は、術野画像と、術野画像に含まれる尿管組織の位置（画素）を示す正解データとを含むセットを訓練データに用いて学習することにより生成される。すなわち、実施の形態７における学習モデル３４０は、尿管組織を血管組織と区別して認識するよう学習される。学習モデル３４０の生成方法については、実施の形態１と同様であるため、その説明を省略する。

図２２は実施の形態７における認識結果の表示例を示す模式図である。支援装置２００の制御部２０１は、術野画像を学習済みの学習モデル３４０に入力することによって、学習モデル３４０による認識結果を取得する。制御部２０１は、学習モデル３４０による認識結果を参照して、尿管組織と血管組織を含む他の組織とを判別可能な認識画像を生成する。例えば、制御部２０１は、尿管組織と認識された画素に対して白色系や青色系の特定の色を割り当ることによって認識画像を生成することができる。

図２２の表示例では、作図の都合上、尿管組織部分２２１のみをハッチングを付して示している。実際には、尿管組織に該当する部分は画素単位で白色系や青色系などの特定の色を付して表示すればよい。

以上のように、実施の形態７では、学習モデル３４０を用いて尿管組織を認識し、認識した尿管組織を画素単位で判別可能に表示することができるので、腹腔鏡手術における視覚支援を行うことができる。

尿管の認識手法として、仮に、尿管組織と、尿管組織の表面に現れる血管組織とを区別せずに一体の領域として認識する手法を採用した場合、術野画像内の尿管を含む領域はベタ塗りの画像で覆われることになるため、尿管自体が見えづらくなり、手術を行う術者にとって必要な情報がかえって失われる可能性がある。例えば、尿管は、尿を腎盂から膀胱へ運ぶために蠕動運動を行っているが、尿管を含む領域がベタ塗りの画像で覆われた場合、蠕動運動を認識することが困難になる可能性がある。

これに対して、本実施の形態では、認識した尿管組織を画素単位で判別可能に表示することができるので、認識した尿管組織を見やすく表示することができる。特に、本実施の形態では、尿管組織と、尿管組織の表面に現れる血管組織（表面血管）とを区別して表示するので、尿管の蠕動運動に伴って動く表面血管の存在が強調される。この結果、術者は、尿管の蠕動運動を容易に認識することできる。更に、尿管組織の表面に現れる血管組織を除外して表示することで尿管の走行方向がより強調される。術者は、尿管の走行方向を把握することにより、見えていない尿管の存在を予測することができる。

本実施の形態では、尿管組織と、尿管組織の表面に現れる血管組織とを区別して認識するために、尿管組織に該当する画素と、尿管組織の表面に現れる血管組織に該当する画素とを区別してアノテーションを行い、このアノテーションにより得られる訓練データを用いて学習を行うことにより、学習モデル３４０を生成する。尿管の表面に現れる表面血管は、尿管に固有の模様を有しており、他の臓器に現れる表面血管の模様とは異なる。学習の際に、上述のような訓練データを用いることにより、単に尿管の位置情報だけでなく、尿管の表面に現れる表面血管の模様の情報も加味して学習が進むので、尿管の認識精度が向上する。

（実施の形態８）
実施の形態８では、臓器表面に現れる表面血管を認識し、認識した表面血管部分の末端の位置を特定することにより、臓器の境界を特定する構成について説明する。

図２３は実施の形態８における学習モデル３５０の構成を説明する説明図である。図２３では、簡略化のために、学習モデル３５０のソフトマックス層３５３のみを示している。ソフトマックス層３５３以外の構成は、実施の形態１に示す学習モデル３１０と同様である。実施の形態８における学習モデル３５０が備えるソフトマックス層３５３は、各画素に対応して設定されたラベルについて確率を出力する。実施の形態８では、表面血管を識別するラベル、及びそれ以外を示すラベルが設定される。支援装置２００の制御部２０１は、表面血管を識別するラベルの確率が閾値以上であれば、その画素が表面血管に該当する画素であると認識する。また、制御部２０１は、それ以外を示すラベルの確率が閾値以上であれば、その画素は表面血管でないと認識する。

このような認識結果を得るための学習モデル３５０は、術野画像と、術野画像に含まれる表面血管の位置（画素）を示す正解データとを含むセットを訓練データに用いて学習することにより生成される。すなわち、実施の形態８における学習モデル３５０は、表面血管を他の組織と区別して認識するよう学習される。学習モデル３５０の生成方法については、実施の形態１と同様であるため、その説明を省略する。

図２４は臓器境界の特定手法を説明する説明図である。支援装置２００の制御部２０１は、術野画像を学習済みの学習モデル３５０に入力することによって、学習モデル３５０による認識結果を取得する。制御部２０１は、学習モデル３５０による認識結果を参照して、臓器表面に現れている表面血管の認識画像を生成する。図２４において実線は学習モデル３５０により認識された表面血管を表す。

制御部２０１は、生成した認識画像において、表面血管の末端の位置座標を特定する。例えば、制御部２０１は、表面血管のセグメントを構成する画素のそれぞれについて、同一セグメントに属する画素の隣接数を求め、その隣接数が１となる画素を特定することにより、末端の位置座標を特定することができる。図２４は、表面血管の末端の位置座標として、点Ｐ１～Ｐ４の４つの点の座標を特定した例を示している。制御部２０１は、特定した点Ｐ１～Ｐ４（若しくは点Ｐ１～Ｐ４の近傍）を通る近似曲線を導出することにより、表面血管が現れている臓器の境界を特定する。近似曲線の導出には、最小二乗法などの公知の手法を用いることができる。また、制御部２０１は、特定した末端の点を全て内包する閉曲線を導出することにより、表面血管が現れている臓器の境界を特定してもよい。

なお、制御部２０１は、臓器境界の全てを特定する必要はなく、臓器境界の一部を特定する構成であってもよい。

図２５は実施の形態８に係る支援装置２００が実行する処理の手順を説明するフローチャートである。支援装置２００の制御部２０１は、実施の形態１と同様に、術野画像を取得し（ステップＳ８０１）、取得した術野画像を学習モデル３５０に入力して学習モデル３５０による演算を実行する（ステップＳ８０２）。制御部２０１は、学習モデル３５０による演算結果に基づき、臓器表面に現れる表面血管を認識する（ステップＳ８０３）。

次いで、制御部２０１は、表面血管の末端の位置座標を特定する（ステップＳ８０４）。このとき、制御部２０１は、全ての表面血管の末端の位置座標を特定してもよく、長さが閾値以上の表面血管のみを抽出して末端の位置座標を特定してもよい。

次いで、制御部２０１は、特定した表面血管の末端の位置座標に基づき、臓器の境界を特定する（ステップＳ８０５）。制御部２０１は、上述したように、特定した表面血管の末端の位置座標（若しくは位置座標の近傍）を通る近似曲線を導出することにより、表面血管が現れている臓器の境界を特定することができる。

以上のように、実施の形態８では、臓器表面に現れる表面血管を手掛かりとして、臓器の境界を特定することができる。支援装置２００は、特定した境界の情報を術者に提示することにより、手術支援を行うことができる。

実施の形態８では、臓器の境界を特定する構成としたが、境界を特定する対象組織は臓器に限らず、臓器を覆う膜や層などであってもよい。

今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１０ トロッカ
１１ 腹腔鏡
１２ エネルギ処置具
１３ 鉗子
１１０ カメラコントロールユニット（ＣＣＵ）
１２０ 光源装置
１３０ 表示装置
１４０ 録画装置
２００ 支援装置
２０１ 制御部
２０２ 記憶部
２０３ 操作部
２０４ 入力部
２０５ 出力部
２０６ 通信部
３１０，３２０，３３０，３４０，３５０ 学習モデル
ＰＧ１ 認識処理プログラム
ＰＧ２ 表示処理プログラム
ＰＧ３ 学習処理プログラム

Claims (15)

1. コンピュータに、
   鏡視下手術の術野を撮像して得られる術野画像を取得し、
   術野画像を入力した場合、対象組織に固有の模様を表す表面血管の組織部分を除いた正味の対象組織部分の情報を出力するように学習された学習モデルを用いて、取得した術野画像から、対象組織に固有の模様を表す表面血管を除いて、対象組織部分を認識する
   処理を実行させるためのコンピュータプログラム。
2. 前記コンピュータに、
   前記対象組織部分と前記表面血管の組織部分とを前記術野画像上で判別可能に表示する
   処理を実行させるための請求項１に記載のコンピュータプログラム。
3. 前記コンピュータに、
   前記対象組織部分の表示及び非表示を周期的に切り替える
   処理を実行させるための請求項１又は請求項２に記載のコンピュータプログラム。
4. 前記コンピュータに、
   前記表面血管の組織部分の表示及び非表示を周期的に切り替える
   処理を実行させるための請求項１から請求項３の何れか１つに記載のコンピュータプログラム。
5. 前記対象組織は、神経組織であり、
   前記学習モデルを用いて、前記術野画像から、神経組織の表面に現れる表面血管を除いて、神経組織部分を認識する処理を前記コンピュータに実行させるための請求項１から請求項４の何れか１つに記載のコンピュータプログラム。
6. 前記対象組織は、第２方向とは異なる第１方向に走行する神経組織であり、
   前記学習モデルを用いて、前記術野画像から、前記第１方向に走行する神経組織の表面に現れる表面血管を除いて、前記第１方向の神経組織部分を認識する処理を前記コンピュータに実行させるための請求項１から請求項４の何れか１つに記載のコンピュータプログラム。
7. 前記対象組織は、疎性結合組織と交差する方向に走行する神経組織であり、
   前記学習モデルを用いて、前記術野画像から、疎性結合組織と交差する方向に走行する神経組織の表面に現れる表面血管を除いて、神経組織部分を認識する処理を前記コンピュータに実行させるための請求項１から請求項４の何れか１つに記載のコンピュータプログラム。
8. 前記対象組織は、尿管組織であり、
   前記学習モデルを用いて、前記術野画像から、尿管組織の表面に現れる表面血管を除いて、尿管組織部分を認識する処理を前記コンピュータに実行させるための請求項１から請求項４の何れか１つに記載のコンピュータプログラム。
9. 前記対象組織は、緊張状態にある組織であり、
   前記学習モデルを用いて、前記術野画像から、緊張状態にある組織の表面に現れる表面血管を除いて、前記組織部分を認識する処理を前記コンピュータに実行させるための請求項１から請求項８の何れか１つに記載のコンピュータプログラム。
10. 前記コンピュータに、
    前記学習モデルによる認識結果の確信度を算出し、
    算出した確信度に応じた表示態様にて、前記対象組織部分を表示する
    処理を実行させるための請求項１から請求項９の何れか１つに記載のコンピュータプログラム。
11. 前記コンピュータに、
    前記学習モデルによる認識結果を参照し、他の物体の陰に隠れた対象組織部分の推定位置を表示する
    処理を実行させるための請求項１から請求項１０の何れか１つに記載のコンピュータプログラム。
12. 前記コンピュータに、
    前記学習モデルを用いて認識した前記対象組織部分の走行パターンを推定し、
    推定した走行パターンに基づき、前記術野画像に現れない対象組織部分の推定位置を表示する
    処理を実行させるための請求項１から請求項１１の何れか１つに記載のコンピュータプログラム。
13. コンピュータが、
    鏡視下手術の術野を撮像して得られる術野画像と、該術野画像に含まれる対象組織のうち、該対象組織に固有の模様を表す表面血管の組織部分を除いた正味の対象組織部分の情報とを含む訓練データを取得し、
    取得した訓練データのセットに基づき、術野画像を入力した場合、対象組織に固有の模様を表す表面血管の組織部分を除いた正味の対象組織部分の情報を出力する学習モデルを生成する
    学習モデルの生成方法。
14. 鏡視下手術の術野を撮像して得られる術野画像を取得する取得部と、
    術野画像を入力した場合、対象組織に固有の模様を表す表面血管の組織部分を除いた正味の対象組織部分の情報を出力するように学習された学習モデルを用いて、取得した術野画像から、対象組織に固有の模様を表す表面血管を除いて、対象組織部分を認識する認識部と、
    該認識部の認識結果に基づき、前記鏡視下手術に関する支援情報を出力する出力部と
    を備える支援装置。
15. 前記出力部は、認識した対象組織部分を示す認識画像を前記術野画像に重畳して表示する
    請求項１４に記載の支援装置。

Images