WO2022071328A1

WO2022071328A1 - 情報処理装置、情報処理方法およびプログラム

Info

Publication number: WO2022071328A1
Application number: PCT/JP2021/035671
Authority: WO
Inventors: 泰一坂本; 克彦清水; 弘之石原; 俊祐吉澤; トマエン; クレモンジャケ; ステフェンチェン; 亮介佐賀
Original assignee: テルモ株式会社; 株式会社ロッケン
Priority date: 2020-09-29
Filing date: 2021-09-28
Publication date: 2022-04-07
Also published as: CN116419705A; JPWO2022071328A1; EP4205663A1; EP4205663A4; US20230260120A1

Abstract

画像取得用カテーテルにより取得した画像の理解を支援する情報処理装置等を提供すること。情報処理装置は、画像取得用カテーテルにより得られた内腔を含むカテーテル画像（５１８）を取得する画像取得部と、前記カテーテル画像（５１８）に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得する位置情報取得部と、前記カテーテル画像（５１８）と前記位置情報とを入力した場合に、前記カテーテル画像（５１８）のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データ（５６１）を出力する第１学習済モデル（６３１）に、取得した前記カテーテル画像（５１８）と、取得した前記位置情報とを入力して前記第１データ（５６１）を出力する第１データ出力部とを備える。

Description

情報処理装置、情報処理方法およびプログラム

　本発明は、情報処理装置、情報処理方法およびプログラムに関する。

　血管等の管腔器官に画像取得用カテーテルを挿入して、画像を取得するカテーテルシステムが使用されている（特許文献１）。

国際公開第２０１７／１６４０７１号

　たとえば心腔内領域のように複雑な構造の場所では、画像取得用カテーテルで取得した画像を素早く理解することが難しい場合がある。

　一つの側面では、画像取得用カテーテルにより取得した画像の理解を支援する情報処理装置等を提供することを目的とする。

　情報処理装置は、画像取得用カテーテルにより得られた内腔を含むカテーテル画像を取得する画像取得部と、前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得する位置情報取得部と、前記カテーテル画像と前記位置情報とを入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データを出力する第１学習済モデルに、取得した前記カテーテル画像と、取得した前記位置情報とを入力して前記第１データを出力する第１データ出力部とを備える。

　一つの側面では、画像取得用カテーテルにより取得した画像の理解を支援する情報処理装置等を提供できる。

カテーテルシステムの概要を説明する説明図である。画像取得用カテーテルの概要を説明する説明図である。カテーテルシステムの構成を説明する説明図である。カテーテルシステムの動作の概要を説明する説明図である。画像取得用カテーテルの動作を模式的に示す説明図である。画像取得用カテーテルにより撮影されたカテーテル画像を模式的に示す説明図である。カテーテル画像に基づいて生成された分類データを模式的に説明する説明図である。医療器具学習済モデルの構成を説明する説明図である。分類モデルの構成を説明する説明図である。位置情報に関する処理の概要を説明する説明図である。医療器具位置訓練データＤＢのレコードレイアウトを説明する説明図である。医療器具位置訓練データＤＢの作成に用いる画面の例である。医療器具位置訓練データＤＢを作成するプログラムの処理の流れを説明するフローチャートである。医療器具学習済モデル生成プログラムの処理の流れを説明するフローチャートである。医療器具位置訓練データＤＢにデータを追加するプログラムの処理の流れを説明するフローチャートである。医療器具の描出を説明する説明図である。角度学習済モデルの構成を説明する説明図である。位置情報モデルを説明する説明図である。実施の形態３のプログラムの処理の流れを説明するフローチャートである。分類モデルの構成を説明する説明図である。第１訓練データを説明する説明図である。実施の形態４のプログラムの処理の流れを説明するフローチャートである。実施の形態５の分類モデルの構成を説明する説明図である。第２訓練データを説明する説明図である。実施の形態５のプログラムの処理の流れを説明するフローチャートである。分類合成のサブルーチンの処理の流れを説明するフローチャートである。ヒント有学習済モデル６３１の構成を説明する説明図である。ヒント有モデル訓練データＤＢのレコードレイアウトを説明する説明図である。実施の形態６のプログラムの処理の流れを説明するフローチャートである。変形例のプログラムの処理の流れを説明するフローチャートである。実施の形態７の分類モデルの構成を説明する説明図である。変形例の分類モデルの構成を説明する説明図である。実施の形態８の処理の概要を説明する説明図である。位置情報の修正過程の概要を説明する説明図である。位置情報の修正過程の概要を説明する説明図である。位置情報の修正過程の概要を説明する説明図である。位置情報の修正過程の概要を説明する説明図である。実施の形態８のプログラムの処理の流れを説明するフローチャートである。三次元表示のサブルーチンの処理の流れを説明するフローチャートである。実施の形態９のパディング処理を説明する説明図である。変形例のポーラーパディング処理を説明する説明図である。実施の形態１０のカテーテルシステムの構成を説明する説明図である。実施の形態１１の情報処理装置の機能ブロック図である。

［実施の形態１］
　図１は、カテーテルシステム１０の概要を説明する説明図である。本実施の形態のカテーテルシステム１０は、Ｘ線透視装置等の画像診断装置を用いて透視を行ないながら、種々の臓器の治療を行なうＩＶＲ（Interventional Radiology）に使用される。治療対象部位の近傍に配置したカテーテルシステム１０により取得した画像を参照することにより、治療用の医療器具を正確に操作できる。

　カテーテルシステム１０は、画像取得用カテーテル４０と、ＭＤＵ（Motor Driving Unit）３３と、情報処理装置２０とを備える。画像取得用カテーテル４０は、ＭＤＵ３３を介して情報処理装置２０に接続されている。情報処理装置２０には、表示装置３１および入力装置３２が接続されている。入力装置３２は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。表示装置３１と入力装置３２とは、一体に積層されて、タッチパネルを構成していてもよい。入力装置３２と情報処理装置２０とは、一体に構成されていてもよい。

　図２は、画像取得用カテーテル４０の概要を説明する説明図である。画像取得用カテーテル４０は、プローブ部４１と、プローブ部４１の端部に配置されたコネクタ部４５とを有する。プローブ部４１は、コネクタ部４５を介してＭＤＵ３３に接続される。以下の説明では画像取得用カテーテル４０のコネクタ部４５から遠い側を先端側と記載する。

　プローブ部４１の内部に、シャフト４３が挿通されている。シャフト４３の先端側に、センサ４２が接続されている。プローブ部４１の先端に、ガイドワイヤルーメン４６が設けられている。ユーザは、目的部位を超える位置までガイドワイヤを挿入した後に、当該ガイドワイヤをガイドワイヤルーメン４６に挿通することにより、センサ４２を目的部位に誘導する。プローブ部４１の先端部近傍に、環状の先端マーカ４４が固定されている。

　センサ４２は、たとえば超音波の送受信を行なう超音波トランスデューサ、または、近赤外光の照射と反射光の受信を行なうＯＣＴ（Optical Coherence Tomography）用の送受信部である。以下の説明では、画像取得用カテーテル４０は循環器の内側から超音波断層像を撮影する際に用いられるＩＶＵＳ（Intravascular Ultrasound）用カテーテルである場合を例にして説明する。

　図３は、カテーテルシステム１０の構成を説明する説明図である。前述の通りカテーテルシステム１０は、情報処理装置２０、ＭＤＵ３３および画像取得用カテーテル４０を有する。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、カテーテル制御部２７１およびバスを備える。

　制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。

　主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。

　補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、医療器具学習済モデル６１１、分類モデル６２、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェースである。

　表示部２５は、表示装置３１とバスとを接続するインターフェースである。入力部２６は、入力装置３２とバスとを接続するインターフェースである。カテーテル制御部２７１は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく画像の生成等を行なう。

　ＭＤＵ３３は、プローブ部４１の内部でセンサ４２およびシャフト４３を回転させる。カテーテル制御部２７１は、センサ４２の一回転ごとに１枚のカテーテル画像５１（図４参照）を生成する。生成されるカテーテル画像５１は、プローブ部４１を中心とし、プローブ部４１に略垂直な横断層像である。

　ＭＤＵ３３は、プローブ部４１の内部でセンサ４２およびシャフト４３を回転させながら、さらにセンサ４２を進退させることも可能である。センサ４２を引っ張りながら、または押し込みながら回転させる操作により、カテーテル制御部２７１はプローブ部４１に略垂直な複数枚のカテーテル画像５１を連続的に生成する。連続的に生成されたカテーテル画像５１は、三次元画像の構築に使用可能である。したがって、画像取得用カテーテル４０は長手方向に沿って複数のカテーテル画像５１を順次取得する三次元走査用カテーテルの機能を実現する。

　センサ４２の進退操作には、プローブ部４１全体を進退させる操作と、プローブ部４１の内部でセンサ４２を進退させる操作との両方を含む。進退操作は、ＭＤＵ３３により所定の速度で自動的に行なわれても、ユーザにより手動で行なわれても良い。

　なお、画像取得用カテーテル４０は機械的に回転および進退を行なう機械走査方式に限定しない。複数の超音波トランスデューサを環状に配置したセンサ４２を用いた、電子ラジアル走査型の画像取得用カテーテル４０であってもよい。

　画像取得用カテーテル４０を用いて、心臓壁、血管壁等の循環器を構成する生体組織に加えて、たとえば赤血球等の循環器の内側に存在する反射体、および、たとえば呼吸器、消化器等の循環器の外側に存在する臓器を含むカテーテル画像５１を撮影できる。

　本実施の形態においては、画像取得用カテーテル４０を心房中隔穿刺に用いる場合を例にして説明する。心房中隔穿刺においては、右心房に画像取得用カテーテル４０を挿入した後に、超音波ガイド下にブロッケンブロー針を心房中隔の薄肉部である卵円窩に穿刺する。ブロッケンブロー針の先端は、左心房の内部に到達する。

　心房中隔穿刺を行なう場合、カテーテル画像５１には、心房中隔、右心房、左心房、大動脈等の循環器を構成する生体組織、および、循環器内部を流れる血液に含まれる赤血球等の反射体に加えて、ブロッケンブロー針が描出される。医師等のユーザは、カテーテル画像５１を用いて卵円窩とブロッケンブロー針の先端との位置関係を確認することにより、安全に心房中隔穿刺を行なえる。ブロッケンブロー針は、本実施の形態の医療器具の例示である。

　なお、カテーテルシステム１０の用途は心房中隔穿刺に限定しない。たとえば経カテーテル心筋焼灼術、経カテーテル弁置換術および冠動脈等へのステント留置等の手技に、カテーテルシステム１０を使用できる。カテーテルシステム１０を使用して治療を行なう部位は心臓周辺に限定しない。たとえば、膵管、胆管および下肢の血管等の様々な部位の治療にカテーテルシステム１０を使用できる。

　カテーテル制御部２７１の機能および構成は、従来から使用されている超音波診断装置と同様であるため、詳細については説明を省略する。なお、制御部２１が、カテーテル制御部２７１の機能を実現してもよい。

　情報処理装置２０は、ＨＩＳ（Hospital Information System）等を介して、Ｘ線血管撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、または超音波診断装置等の様々な画像診断装置３７と接続されている。

　本実施の形態の情報処理装置２０は、専用の超音波診断装置、または、超音波診断装置の機能を有するパソコン、タブレット、または、スマートフォン等である。なお、以下の説明では医療器具学習済モデル６１１等の学習済モデルの学習および訓練データの作成にも情報処理装置２０を用いる場合を例にして説明する。学習済モデルの学習および訓練データの作成には、情報処理装置２０とは異なるコンピュータまたはサーバ等が使用されてもよい。

　なお、以後に説明では、主に制御部２１がソフトウェア的な処理を行なう場合を例にして説明する。フローチャートを使用して説明する処理、および、種々の学習済モデルは、それぞれ専用のハードウェアにより実装されてもよい。

　図４は、カテーテルシステム１０の動作の概要を説明する説明図である。図４では、センサ４２を所定の速度で引きながら複数のカテーテル画像５１を撮影し、リアルタイムで画像を表示する場合を例にして説明する。

　制御部２１は、１枚のカテーテル画像５１を撮影する（ステップＳ５０１）。制御部２１は、カテーテル画像５１に描出されている医療器具の位置情報を取得する（ステップＳ５０２）。図４においては、「×」印でカテーテル画像５１中の医療器具の位置を示す。

　制御部２１は、カテーテル画像５１と、画像取得用カテーテル４０の長手方向におけるカテーテル画像５１の位置と、医療器具の位置情報とを関連づけて補助記憶装置２３またはＨＩＳに接続された大容量記憶装置に記録する（ステップＳ５０３）。

　制御部２１は、カテーテル画像５１を構成する各部分について、描出されている被写体ごとに分類した分類データ５２を生成する（ステップＳ５０４）。図４においては、分類結果に基づいてカテーテル画像５１を塗分けた模式図により、分類データ５２を示す。

　制御部２１は、ユーザが二次元表示を指定しているか、三次元表示を指定しているかを判定する（ステップＳ５０５）。ユーザが二次元表示を指定していると判定した場合（ステップＳ５０５で２Ｄ）、制御部２１はカテーテル画像５１および分類データ５２を二次元表示により表示装置３１に表示する（ステップＳ５０６）。

　なお、図４のステップＳ５０５においては、「２Ｄ／３Ｄ」のように、「二次元表示」と「三次元表示」とのいずれか一方の選択であるかのように記載する。しかし、ユーザが「３Ｄ」を選択した場合には、制御部２１は「二次元表示」と「三次元表示」との双方を表示してもよい。

　ユーザが三次元表示を指定していると判定した場合（ステップＳ５０５で３Ｄ）、制御部２１はステップＳ５０３で逐次記録した医療器具の位置情報が正常であるか否かを判定する（ステップＳ５１１）。正常ではないと判定した場合（ステップＳ５１１でＮＯ）、制御部２１は位置情報の修正を行なう（ステップＳ５１２）。ステップＳ５１１およびステップＳ５１２で行なう処理の詳細については後述する。

　正常であると判定した場合（ステップＳ５１１でＹＥＳ）、またはステップＳ５１２の終了後、制御部２１は観察中の部位の構造と、医療器具の位置とを図示する三次元表示を行なう（ステップＳ５１３）。前述のとおり制御部２１は、三次元表示と二次元表示の両方を一つの画面に表示させてもよい。

　ステップＳ５０６またはステップＳ５１３の終了後、制御部２１はカテーテル画像５１の取得が終了したか否かを判定する（ステップＳ５０７）。たとえば、ユーザによる終了指示を受け付けた場合に、制御部２１は処理を終了すると判定する。

　処理を終了しないと判定した場合（ステップＳ５０７でＮＯ）、制御部２１はステップＳ５０１に戻る。処理を終了すると判定した場合（ステップＳ５０７でＹＥＳ）、制御部２１は処理を終了する。

　図４においては、一連のカテーテル画像５１を撮影中に、リアルタイムで二次元表示（ステップＳ５０６）または三次元表示（ステップＳ５１３）を行なう場合の処理の流れを説明した。制御部２１はステップＳ５０３で記録したデータに基づいて、非リアルタイムで二次元表示または三次元表示を行なっても良い。

　図５Ａは、画像取得用カテーテル４０の動作を模式的に示す説明図である。図５Ｂは、画像取得用カテーテル４０により撮影されたカテーテル画像５１を模式的に示す説明図である。図５Ｃは、カテーテル画像５１に基づいて生成された分類データ５２を模式的に説明する説明図である。図５Ａから図５Ｃを使用して、ＲＴ（Radius-Theta）形式とＸＹ形式とを説明する。

　前述のとおり、画像取得用カテーテル４０の内部でセンサ４２が回転しながら超音波を送受信する。カテーテル制御部２７１は、図５Ａに８本の矢印で模式的に示すように、画像取得用カテーテル４０を中心として放射状の走査線データを取得する。

　カテーテル制御部２７１は、走査線データに基づいてＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９の２通りの形式で、図５Ｂに示すカテーテル画像５１を生成できる。ＲＴ形式カテーテル画像５１８は、それぞれの走査線データを互いに平行に並べて生成した画像である。ＲＴ形式カテーテル画像５１８の横方向は画像取得用カテーテル４０からの距離を示す。

　ＲＴ形式カテーテル画像５１８の縦方向は走査角度を示す。１枚のＲＴ形式カテーテル画像５１８は、センサ４２が３６０度回転して取得した走査線データを走査角度順に平行に配列することにより形成される。

　図５Ｂにおいては、ＲＴ形式カテーテル画像５１８の左側は画像取得用カテーテル４０に近い場所を示し、ＲＴ形式カテーテル画像５１８の右側は画像取得用カテーテル４０から遠い場所を示す。

　ＸＹ形式カテーテル画像５１９は、それぞれの走査線データを放射状に並べて補間することにより生成した画像である。ＸＹ形式カテーテル画像５１９はセンサ４２の位置で画像取得用カテーテル４０に対して垂直に被写体を切断した断層像を示す。

　図５Ｃに、カテーテル画像５１を構成する各部分について、描出されている被写体ごとに分類した分類データ５２を模式的に示す。分類データ５２も、ＲＴ形式分類データ５２８とＸＹ形式分類データ５２９の２通りの形式で表示可能である。ＲＴ形式とＸＹ形式との間の画像変換方法は公知であるため、説明を省略する。

　図５Ｃにおいては、太い右下がりのハッチングは心房壁および心室壁等の、画像取得用カテーテル４０が挿入されている腔を形成する生体組織領域を示す。細い左下がりのハッチングは、画像取得用カテーテル４０の先端部分が挿入されている血流領域である第１腔の内部を示す。細い右下がりのハッチングは第１腔以外の血流領域である第２腔の内部を示す。

　右心房から左心房への心房中隔穿刺を行なう場合においては、第１腔は右心房であり、第２腔は左心房、右心室、左心室、大動脈および冠動脈等である。以下の説明では、第１腔の内部を第１内腔領域、第２腔の内部を第２内腔領域と記載する。

　太い左下がりのハッチングは、非生体組織領域のうち第１内腔領域でも第２内腔領域でもない非内腔領域を示す。非内腔領域には、心腔外領域および心臓構造より外部の領域等が含まれる。画像取得用カテーテル４０の描出可能範囲が小さく左心房の遠位側の壁を十分に描出できない場合には、左心房の内部も非内腔領域に含まれる。同様に、左心室、肺動脈、肺静脈および大動脈弓等の内腔も、遠位側の壁を十分に描出できない場合には、非内腔領域に含まれる。

　黒塗りは、ブロッケンブロー針等の医療器具が描出された、医療器具領域を示す。以下の説明では、生体組織領域と非生体組織領域とを合わせて生体組織関連領域と記載する場合がある。

　なお、医療器具は、画像取得用カテーテル４０と同じ第１腔に挿入されるとは限らない。手技によっては、第２腔に医療器具が挿入される場合もある。

　図５Ｃに示すハッチングおよび黒塗りは、それぞれの領域を区別できる態様の例示である。それぞれの領域はたとえば異なる色を使用して表示装置３１に表示される。制御部２１は、第１内腔領域、第２内腔領域および生体組織領域をそれぞれ区別できる態様で出力する第１態様出力部の機能を実現する。制御部２１は、第１内腔領域、第２内腔領域、非内腔領域および生体組織領域をそれぞれ区別できる態様で出力する第２態様出力部の機能も実現する。

　たとえば心房中隔穿刺を行なうためにブロッケンブロー針の位置を確認する場合等、ＩＶＲの手技中には、ＸＹ形式による表示が適している。しかしながら、ＸＹ表示では画像取得用カテーテル４０近傍の情報は圧縮されてデータ量が減少し、画像取得用カテーテル４０から離れた位置では補間により本来は存在しないデータが追加される。したがって、カテーテル画像５１の解析を行なう場合には、ＲＴ形式画像を用いる方がＸＹ形式画像を用いるよりも高精度の結果を得ることができる。

　以下の説明においては、制御部２１はＲＴ形式カテーテル画像５１８に基づいてＲＴ形式分類データ５２８を生成する。制御部２１は、ＸＹ形式カテーテル画像５１９を変換してＲＴ形式カテーテル画像５１８を生成し、ＲＴ形式分類データ５２８を変換してＸＹ形式分類データ５２９を生成する。

　分類データ５２について、具体例を挙げて説明する。「生体組織領域」に分類された画素には「生体組織領域ラベル」が、「第１内腔領域」に分類された画素には「第１内腔領域ラベル」が、「第２内腔領域」に分類された画素には「第２内腔領域ラベル」が、「非内腔領域」に分類された画素には「非内腔領域ラベル」が、「医療器具領域」に分類された画素には「医療器具領域ラベル」が、「非生体組織領域」に分類された画素には「非生体組織領域ラベル」がそれぞれ記録される。各ラベルは、たとえば整数で示される。

　なお、制御部２１はＸＹ形式カテーテル画像５１９に基づいてＸＹ形式分類データ５２９を生成してもよい。制御部２１は、ＸＹ形式分類データ５２９に基づいてＲＴ形式分類データ５２８を生成してもよい。

　図６は、医療器具学習済モデル６１１の構成を説明する説明図である。医療器具学習済モデル６１１は、カテーテル画像５１を受け付けて、医療器具が描出されている位置に関する第１位置情報を出力するモデルである。医療器具学習済モデル６１１は、図４を使用して説明したステップＳ５０２を実現する。医療器具学習済モデル６１１の出力層は、第１位置情報を出力する第１位置情報出力部の機能を果たす。

　図６においては、医療器具学習済モデル６１１の入力はＲＴ形式カテーテル画像５１８である。第１位置情報は、ＲＴ形式カテーテル画像５１８上の各部分についての医療器具が描出されている確率である。図６においては、医療器具が描出されている確率が高い場所を濃いハッチングで、医療器具が描出されている確率が低い場所をハッチング無しで示す。

　医療器具学習済モデル６１１は、たとえばＣＮＮ（Convolutional Neural Network）のニューラルネットワーク構造を使用して、機械学習により生成される。医療器具学習済モデル６１１の生成に使用可能なＣＮＮの例としては、Ｒ－ＣＮＮ（Region Based Convolutional Neural Network）、ＹＯＬＯ（You only look once）、Ｕ－ＮｅｔおよびＧＡＮ（Generative Adversarial Network）等が挙げられる。医療器具学習済モデル６１１は、ＣＮＮ以外のニューラルネットワーク構造を用いて生成されてもよい。

　医療器具学習済モデル６１１は、時系列的に取得した複数のカテーテル画像５１を受け付けて、最新のカテーテル画像５１に対する第１位置情報を出力するモデルであってもよい。ＲＮＮ（Recurrent Neural Network）等の時系列的な入力を受け付けるモデルを、前述のニューラルネットワーク構造と組み合わせて、医療器具学習済モデル６１１を生成できる。

　ＲＮＮは、たとえば、ＬＳＴＭ（Long short-term memory）である。ＬＳＴＭを使用する場合、医療器具学習済モデル６１１は過去に入力されたカテーテル画像５１に関する情報を保持するメモリ部を備える。医療器具学習済モデル６１１は、メモリ部に保持した情報と、最新のカテーテル画像５１とに基づいて、第１位置情報を出力する。

　時系列的に取得した複数のカテーテル画像５１を使用する場合、医療器具学習済モデル６１１は過去に入力されたカテーテル画像５１に基づく出力を、次のカテーテル画像５１とともに入力する再帰入力部を備えてもよい。医療器具学習済モデル６１１は、最新のカテーテル画像５１と、再帰入力部からの入力とに基づいて、第１位置情報を出力する。時系列的に取得したカテーテル画像５１を用いることにより、画像ノイズ等の影響を受けにくく、高精度に第１位置情報を出力する医療器具学習済モデル６１１を実現できる。

　医療器具学習済モデル６１１は、入力を受け付けたカテーテル画像５１上の１個の画素の位置を用いて、医療器具が描出されている確率が高い場所を出力してもよい。たとえば医療器具学習済モデル６１１は、図６に示すようにカテーテル画像５１上の各部位について医療器具が描出されている確率を算出した後に、確率が最も高い画素の位置を出力するモデルであってもよい。医療器具学習済モデル６１１は、医療器具が描出されている確率が所定の閾値を超える領域の重心の位置を出力してもよい。医療器具学習済モデル６１１は、医療器具が描出されている確率が所定の閾値を超える領域を出力してもよい。

　なお、複数の医療器具が同時に使用される場合がある。カテーテル画像５１に複数の医療器具が描出されている場合、医療器具学習済モデル６１１は複数の医療器具それぞれの第１位置情報を出力するモデルであることが望ましい。

　医療器具学習済モデル６１１は、１本の医療器具の第１位置情報のみを出力するモデルであってもよい。制御部２１は、医療器具学習済モデル６１１から出力された第１位置情報の周辺をマスクしたＲＴ形式カテーテル画像５１８を医療器具学習済モデル６１１に入力して、２本目の医療器具の第１位置情報を取得できる。同様の処理を繰り返すことにより、制御部２１は３本目以降の医療器具の第１位置情報も取得できる。

　図７は、分類モデル６２の構成を説明する説明図である。分類モデル６２は、カテーテル画像５１を受け付けて、カテーテル画像５１を構成する各部分について、描出されている被写体ごとに分類した分類データ５２を出力するモデルである。分類モデル６２は、図４を使用して説明したステップＳ５０４を実現する。

　具体例を挙げて説明する。分類モデル６２は、入力されたＲＴ形式カテーテル画像５１８を構成するそれぞれの画素を、たとえば「生体組織領域」、「第１内腔領域」、「第２内腔領域」、「非内腔領域」および「医療器具領域」に分類し、画素の位置と、分類結果を示すラベルとを関連づけたＲＴ形式分類データ５２８を出力する。

　分類モデル６２は、カテーテル画像５１をたとえば縦３画素、横３画素の合計９画素等の任意の大きさの領域に区切り、それぞれの領域を分類した分類データ５２を出力してもよい。分類モデル６２は、たとえばカテーテル画像５１に対してセマンテックセグメンテーションを行なう学習済モデルである。分類モデル６２の具体例については後述する。

　図８は、位置情報に関する処理の概要を説明する説明図である。センサ４２を画像取得用カテーテル４０の長手方向に移動させながら、複数のカテーテル画像５１を撮影する。図８において略円錐台の線画は、複数のカテーテル画像５１に基づいて三次元構築した生体組織領域を模式的に示す。略円錐台の内部は、第１内腔領域を意味する。

　白丸および黒丸は、それぞれのカテーテル画像５１から取得された医療器具の位置を示す。このうち黒丸は、白丸とは大きく離れた位置であるため、誤検出であると判定される。白丸を滑らかに連結する太線により、医療器具の形状を再現できる。×印は、検出できていない医療器具の位置情報を補完した補完情報を示す。

　図８を使用して説明した処理の詳細については、実施の形態８で説明する。図８を使用して説明した処理により、図４を使用して説明したステップＳ５１１およびステップＳ５１２の処理が実現される。

　たとえば、医療器具と生体組織領域とが接触している場合、熟練した医師または検査技師等のユーザが１枚のカテーテル画像５１を静止画の状態で読影しても、どこに医療器具が描出されているかの識別が困難である場合があることが知られている。しかし、動画によりカテーテル画像５１を観察している場合には、ユーザは比較的容易に医療器具の位置を判断できる。ユーザは、前のフレームと同様の位置に医療器具が存在すると期待しながら読影するためである。

　図８を使用して説明した処理においては、複数のカテーテル画像５１からそれぞれ取得した医療器具の位置情報を用いて、矛盾が生じないように医療器具を再構築する。このような処理を行なうことにより、ユーザが動画を観察する場合と同様に医療器具の位置を正確に判定し、三次元画像中に医療器具の形状を表示するカテーテルシステム１０を実現できる。

　本実施の形態によると、ステップＳ５０６およびステップＳ５１３の表示により、画像取得用カテーテル４０を用いて取得したカテーテル画像５１の理解を支援するカテーテルシステム１０を提供できる。本実施の形態のカテーテルシステム１０を用いることにより、ユーザは医療器具の位置を正確に把握でき、ＩＶＲを安全に行なえる。

［実施の形態２］
　本実施の形態は、医療器具学習済モデル６１１の生成方法に関する。実施の形態１と共通する部分については、説明を省略する。なお、本実施の形態では図３を使用して説明した情報処理装置２０を使用して医療器具学習済モデル６１１を生成する場合を例にして説明する。

　医療器具学習済モデル６１１は、情報処理装置２０とは別のコンピュータ等を用いて作成されてもよい。機械学習が完了した医療器具学習済モデル６１１がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた医療器具学習済モデル６１１を、複数の情報処理装置２０で使用できる。

　図９は、医療器具位置訓練データＤＢ（Database）７１のレコードレイアウトを説明する説明図である。医療器具位置訓練データＤＢ７１は、カテーテル画像５１と医療器具の位置情報とを関連づけて記録したデータベースであり、機械学習による医療器具学習済モデル６１１の訓練に使用される。

　医療器具位置訓練データＤＢ７１は、カテーテル画像フィールドおよび位置情報フィールドを有する。カテーテル画像フィールドには、ＲＴ形式カテーテル画像５１８等のカテーテル画像５１が記録されている。カテーテル画像フィールドには、センサ４２が受信した超音波信号を示す、いわゆる音線データが記録されていてもよい。カテーテル画像フィールドには、音線データに基づいて生成された走査線データが記録されていてもよい。

　位置情報フィールドには、カテーテル画像５１に描出されている医療器具の位置情報が記録されている。位置情報は、たとえば後述するようにカテーテル画像５１にラベラーがマーキングした１個の画素の位置を示す情報である。位置情報は、カテーテル画像５１にラベラーがマーキングした点付近を中心とする円の領域を示す情報であってもよい。円は、カテーテル画像５１に描出されている医療器具の大きさを超えない程度の寸法である。円は、たとえば縦横５０画素以下の正方形に内接する大きさである。

　図１０は、医療器具位置訓練データＤＢ７１の作成に用いる画面の例である。図１０の画面には、ＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９との一組のカテーテル画像５１が表示されている。ＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９とは、同一の音線データに基づいて作成された画像である。

　カテーテル画像５１の下に、制御ボタンエリア７８２が表示されている。制御ボタンエリア７８２の上部に、表示中のカテーテル画像５１のフレーム番号、および、ユーザが任意のフレーム番号を入力して表示をジャンプさせる際に用いるジャンプボタンが配置されている。

　フレーム番号等の下側に、ユーザが早送り、巻き戻し、コマ送り等の操作を行なう際に用いる各種のボタンが配置されている。これらのボタンは、種々の画像再生装置等で一般的に使用されているものと同様であるため、説明を省略する。

　本実施の形態のユーザは、あらかじめ記録されたカテーテル画像５１を見て、医療器具の位置にラベルを付けることにより、訓練データを作成する担当者である。以下の説明では、訓練データを作成する担当者をラベラーと記載する。ラベラーは、カテーテル画像５１の読影に習熟した医師、検査技師、または正確なラベル付けを行なえるように訓練を受けた者である。さらに以下の説明では、ラベルを付けるためにラベラーがカテーテル画像５１にマーク等を付ける作業をマーキングと記載する場合がある。

　ラベラーは、表示されたカテーテル画像５１を観察して、医療器具が描出されている位置を判断する。一般的に、カテーテル画像５１全体の面積に対して、医療器具が描出されている領域は非常に小さい。ラベラーは、医療器具が描出されている領域の略中央にカーソル７８１を動かして、クリック操作等によりマーキングを行なう。表示装置３１がタッチパネルである場合には、ラベラーは指またはスタイラスペン等を用いたタップ操作によりマーキングを行なってもよい。ラベラーは、いわゆるフリック操作によりマーキングを行なってもよい。

　なお、ラベラーはＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９のどちらのカテーテル画像５１にマーキングを行なってもよい。制御部２１は、他方のカテーテル画像５１の対応する位置に、マークを表示しても良い。

　制御部２１は、医療器具位置訓練データＤＢ７１に新規レコードを作成し、カテーテル画像５１とラベラーがマーキングした位置とを関連づけて記録する。制御部２１は、次のカテーテル画像５１を表示装置３１に表示する。以上の処理を多数回繰り返すことにより、医療器具位置訓練データＤＢ７１が作成される。

　すなわちラベラーは、制御ボタンエリア７８２の各ボタンを操作することなく、カテーテル画像５１上でクリック操作等を行なうだけで複数のカテーテル画像５１に順次マーキングを行なえる。１本の医療器具が描出された１枚のカテーテル画像５１に対してラベラーが行なう操作は、一回のクリック操作等のみである。

　前述のとおり、カテーテル画像５１には複数の医療器具が描出される場合もある。ラベラーはそれぞれの医療器具を１回のクリック操作等でマーキングできる。なお以下の説明では、１枚のカテーテル画像５１に１本の医療器具が描出されている場合を例にして説明する。

　図１１は、医療器具位置訓練データＤＢ７１を作成するプログラムの処理の流れを説明するフローチャートである。情報処理装置２０を用いて医療器具位置訓練データＤＢ７１を作成する場合を例にして説明する。図１１のプログラムは情報処理装置２０とは別のハードウェアで実行されてもよい。

　図１１のプログラムの実行に先立ち、多数のカテーテル画像５１が補助記憶装置２３または外部の大容量記憶装置に記録されている。以下の説明では時系列的に撮影された複数のＲＴ形式カテーテル画像５１８を含む動画データの形式でカテーテル画像５１が補助記憶装置２３に記録されている場合を例にして説明する。

　制御部２１は１フレームのＲＴ形式カテーテル画像５１８を補助記憶装置２３から取得する（ステップＳ６７１）。制御部２１は、ＲＴ形式カテーテル画像５１８を変換してＸＹ形式カテーテル画像５１９を生成する（ステップＳ６７２）。制御部２１は、図１０を使用して説明した画面を表示装置３１に表示する（ステップＳ６７３）。

　制御部２１は、入力装置３２を介してラベラーによる位置情報の入力操作を受け付ける（ステップＳ６７４）。入力操作は、具体的にはＲＴ形式カテーテル画像５１８またはＸＹ形式カテーテル画像５１９に対するクリック操作またはタップ操作等である。

　制御部２１は、入力操作を受け付けた位置に、小丸等のマークを表示する（ステップＳ６７５）。入力装置３２を介した、表示装置３１に表示した画像に対する入力操作の受付、および表示装置３１へのマークの表示は従来から使用されているユーザインターフェイスであるため、詳細については説明を省略する。

　制御部２１は、ステップＳ６７４で入力操作を受け付けた画像がＲＴ形式カテーテル画像５１８であるか否かを判定する（ステップＳ６７６）。ＲＴ形式カテーテル画像５１８であると判定した場合（ステップＳ６７６でＹＥＳ）、制御部２１はＸＹ形式カテーテル画像５１９の対応する位置にもマークを表示する（ステップＳ６７７）。ＲＴ形式カテーテル画像５１８ではないと判定した場合（ステップＳ６７６でＮＯ）、制御部２１はＲＴ形式カテーテル画像５１８の対応する位置にもマークを表示する（ステップＳ６７８）。

　制御部２１は、医療器具位置訓練データＤＢ７１に新規レコードを作成する。制御部２１は、カテーテル画像５１とラベラーが入力した位置情報とを関連づけて医療器具位置訓練データＤＢ７１に記録する（ステップＳ６７９）。

　ステップＳ６７９で記録するカテーテル画像５１は、ステップＳ６７１で取得したＲＴ形式カテーテル画像５１８のみであっても、ＲＴ形式カテーテル画像５１８とステップＳ６７２で生成したＸＹ形式カテーテル画像５１９との両方であってもよい。ステップＳ６７９で記録するカテーテル画像５１は、センサ４２が受信した一回転分の音線データ、または音線データを信号処理して生成した走査線データであってもよい。

　ステップＳ６７９で記録する位置情報は、たとえばラベラーが入力装置３２を用いてクリック操作等を行なった位置に対応する、ＲＴ形式カテーテル画像５１８上の１個の画素の位置を示す情報である。位置情報は、ラベラーがクリック操作等を行なった位置とその周辺の範囲を示す情報であってもよい。

　制御部２１は、処理を終了するか否かを判定する（ステップＳ６８０）。たとえば、補助記憶装置２３に記録されたカテーテル画像５１の処理を終了した場合、制御部２１は処理を終了すると判定する。終了すると判定した場合（ステップＳ６８０でＹＥＳ）、制御部２１は処理を終了する。

　処理を終了しないと判定した場合（ステップＳ６８０でＮＯ）、制御部２１はステップＳ６７１に戻る。制御部２１はステップＳ６７１で次のＲＴ形式カテーテル画像５１８を取得し、ステップＳ６７２以下の処理を実行する。すなわち制御部２１は制御ボタンエリア７８２に表示されたボタンに対する操作を待たずに、自動的に次のＲＴ形式カテーテル画像５１８を取得して表示する。

　ステップＳ６７１からステップＳ６８０のループにより、制御部２１は、補助記憶装置２３に記録された多数のＲＴ形式カテーテル画像５１８に基づく訓練データを、医療器具位置訓練データＤＢ７１に記録する。

　なお、制御部２１は図１０を使用して説明した画面にたとえば「保存ボタン」を表示し、「保存ボタン」の選択を受け付けた場合にステップＳ６７９を実行してもよい。さらに制御部２１は、図１０を使用して説明した画面にたとえば「ＡＵＴＯボタン」を表示し、「ＡＵＴＯボタン」の選択を受け付けている間は「保存ボタン」の選択を待たずに自動的にステップＳ６７９を実行してもよい。

　以下の説明では、ステップＳ６７９で医療器具位置訓練データＤＢ７１に記録されたカテーテル画像５１はＲＴ形式カテーテル画像５１８であり、位置情報はＲＴ形式カテーテル画像５１８上の１個の画素の位置である場合を例にして説明する。

　図１２は、医療器具学習済モデル６１１生成プログラムの処理の流れを説明するフローチャートである。図１２のプログラムの実行に先立ち、たとえば畳込層、プーリング層および全結合層を組み合わせた未学習のモデルが準備されている。前述のとおり、未学習のモデルはたとえばＣＮＮのモデルである。医療器具学習済モデル６１１の生成に使用可能なＣＮＮの例としては、Ｒ－ＣＮＮ、ＹＯＬＯ、Ｕ－ＮｅｔおよびＧＡＮ等が挙げられる。医療器具学習済モデル６１１は、ＣＮＮ以外のニューラルネットワーク構造を用いて生成されてもよい。

　制御部２１は、医療器具位置訓練データＤＢ７１から１エポックの訓練に使用する訓練レコードを取得する（ステップＳ５７１）。前述のとおり、医療器具位置訓練データＤＢ７１に記録された訓練レコードは、ＲＴ形式カテーテル画像５１８と、ＲＴ形式カテーテル画像５１８に描出されている医療器具の位置を示す座標との組み合わせである。

　制御部２１は、モデルの入力層にＲＴ形式カテーテル画像５１８が入力された場合に、出力層から位置情報に対応する画素の位置が出力されるように、モデルのパラメータを調整する（ステップＳ５７２）。訓練レコードの取得、およびモデルのパラメータ調整においては、プログラムは、ユーザによる修正の受付、判断の根拠の提示、追加学習等を制御部２１に実行させる機能を適宜有していても良い。

　制御部２１は、処理を終了するか否かを判定する（ステップＳ５７３）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、医療器具位置訓練データＤＢ７１からテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。

　処理を終了しないと判定した場合（ステップＳ５７３でＮＯ）、制御部２１はステップＳ５７１に戻る。処理を終了すると判定した場合（ステップＳ５７３でＹＥＳ）、制御部２１は学習済の医療器具位置訓練データＤＢ７１のパラメータを補助記憶装置２３に記録する（ステップＳ５７４）。その後、制御部２１は処理を終了する。以上の処理により、カテーテル画像５１を受け付けて第１位置情報を出力する医療器具学習済モデル６１１が生成される。

　図１２のプログラムの実行に先立ち、ＲＮＮ等の時系列的な入力を受け付けるモデルが準備されていても良い。ＲＮＮは、たとえば、ＬＳＴＭである。ステップＳ５７２において制御部２１は、モデルの入力層に時系列的に撮影された複数のＲＴ形式カテーテル画像５１８が入力された場合に、出力層から時系列的に最後のＲＴ形式カテーテル画像５１８に関連づけられた位置情報に対応する画素の位置が出力されるように、モデルのパラメータを調整する。

　図１３は、医療器具位置訓練データＤＢ７１にデータを追加するプログラムの処理の流れを説明するフローチャートである。図１３のプログラムは、医療器具学習済モデル６１１を作成した後に、医療器具位置訓練データＤＢ７１に訓練データを追加するプログラムである。追加された訓練データは、医療器具学習済モデル６１１の追加学習に使用される。

　図１３のプログラムの実行に先立ち、まだ医療器具位置訓練データＤＢ７１の作成に使用されていない多数のカテーテル画像５１が補助記憶装置２３または外部の大容量記憶装置に記録されている。以下の説明では時系列的に撮影された複数のＲＴ形式カテーテル画像５１８を含む動画データの形式でカテーテル画像５１が補助記憶装置２３に記録されている場合を例にして説明する。

　制御部２１は１フレームのＲＴ形式カテーテル画像５１８を補助記憶装置２３から取得する（ステップＳ７０１）。制御部２１は、ＲＴ形式カテーテル画像５１８を医療器具学習済モデル６１１に入力して、第１位置情報を取得する（ステップＳ７０２）。

　制御部２１は、ＲＴ形式カテーテル画像５１８を変換してＸＹ形式カテーテル画像５１９を生成する（ステップＳ７０３）。制御部２１は、ＲＴ形式カテーテル画像５１８およびＸＹ形式カテーテル画像５１９にそれぞれステップＳ７０２で取得した第１位置情報を示すマークを重畳させた状態で、図１０を使用して説明した画面を表示装置３１に表示する（ステップＳ７０４）。

　ラベラーは、自動的に表示されたマークの位置が不適切だと判断した場合、一回のクリック操作等を行なって医療器具の正しい位置を入力する。すなわちラベラーは、自動的に表示されたマークに対する訂正指示を入力する。

　制御部２１は、所定の時間内にラベラーによる入力装置３２を介した入力操作を受け付けたか否かを判定する（ステップＳ７０５）。所定の時間は、ラベラーが適宜設定できることが望ましい。入力操作は、具体的にはＲＴ形式カテーテル画像５１８またはＸＹ形式カテーテル画像５１９に対するクリック操作またはタップ操作等である。

　入力操作を受け付けたと判定した場合（ステップＳ７０５でＹＥＳ）、制御部２１は、入力操作を受け付けた位置に、小丸等のマークを表示する（ステップＳ７０６）。ステップＳ７０６で表示するマークは、ステップＳ７０２で取得した位置情報を示すマークとは異なる色、または異なる形状等であることが望ましい。なお、制御部２１は、ステップＳ７０２で取得した位置情報を示すマークを消去してもよい。

　制御部２１は、ステップＳ７０５で入力操作を受け付けた画像がＲＴ形式カテーテル画像５１８であるか否かを判定する（ステップＳ７０７）。ＲＴ形式カテーテル画像５１８であると判定した場合（ステップＳ７０７でＹＥＳ）、制御部２１はＸＹ形式カテーテル画像５１９の対応する位置にもマークを表示する（ステップＳ７０８）。ＲＴ形式カテーテル画像５１８ではないと判定した場合（ステップＳ７０７でＮＯ）、制御部２１はＲＴ形式カテーテル画像５１８の対応する位置にもマークを表示する（ステップＳ７０９）。

　制御部２１は、医療器具位置訓練データＤＢ７１に新規レコードを作成する。制御部２１は、カテーテル画像５１とラベラーが入力した位置情報とを関連づけた訂正データを、医療器具位置訓練データＤＢ７１に記録する（ステップＳ７１０）。

　入力操作を受け付けていないと判定した場合（ステップＳ７０５でＮＯ）、制御部２１は医療器具位置訓練データＤＢ７１に新規レコードを作成する。制御部２１は、カテーテル画像５１とステップＳ５３２で取得した第１位置情報とを関連づけた非訂正データを医療器具位置訓練データＤＢ７１に記録する（ステップＳ７１１）。

　ステップＳ７１０またはステップＳ７１１の終了後、制御部２１は、処理を終了するか否かを判定する（ステップＳ７１２）。たとえば、補助記憶装置２３に記録されたカテーテル画像５１の処理を終了した場合、制御部２１は処理を終了すると判定する。終了すると判定した場合（ステップＳ７１２でＹＥＳ）、制御部２１は処理を終了する。

　処理を終了しないと判定した場合（ステップＳ７１２でＮＯ）、制御部２１はステップＳ７０１に戻る。制御部２１はステップＳ７０１で次のＲＴ形式カテーテル画像５１８を取得し、ステップＳ７０２以下の処理を実行する。ステップＳ７０１からステップＳ７１２のループにより、制御部２１は、補助記憶装置２３に記録された多数のＲＴ形式カテーテル画像５１８に基づく訓練データを、医療器具位置訓練データＤＢ７１に追加する。

　なお、制御部２１は図１０を使用して説明した画面にたとえば医療器具学習済モデル６１１による出力を承認する「ＯＫボタン」を表示してもよい。「ＯＫボタン」の選択を受け付けた場合、制御部２１はステップＳ７０５で「ＮＯ」である旨の指示を受け付けたと判定して、ステップＳ７１１を実行する。

　本実施の形態によると、ラベラーは一回のクリック操作または一回のタップ操作等の一回の操作のみでカテーテル画像５１に描出された１本の医療器具をマーキングできる。制御部２１は、いわゆるダブルクリック操作またはダブルタップ操作により１本の医療器具をマーキングする操作を受け付けてもよい。医療器具の境界線をマーキングする場合に比べて、マーキング作業を大幅に省力化できるため、ラベラーの負担を軽減できる。本実施の形態によると、短い時間で多くの訓練データを作成できる。

　本実施の形態によると、カテーテル画像５１に複数の医療器具が描出される場合、ラベラーはそれぞれの医療器具を１回のクリック操作等でマーキングできる。

　なお、制御部２１は図１０を使用して説明した画面にたとえば「ＯＫボタン」を表示し、「ＯＫボタン」の選択を受け付けた場合にステップＳ６７９を実行してもよい。

　本実施の形態によると、医療器具学習済モデル６１１を使用して取得した位置情報をカテーテル画像５１に重畳表示することにより、ラベラーの負担を軽減しながら、追加の訓練データを速やかに作成できる。

［変形例２－１］
　医療器具位置訓練データＤＢ７１は、医療器具の種類を記録するフィールドを有してもよい。そのようにする場合、図１０を使用して説明した画面において、制御部２１は「ブロッケンブロー針」、「ガイドワイヤ」、「バルーンカテーテル」等、医療器具の種類の入力を受け付ける。

　このようにして作成した医療器具位置訓練データＤＢ７１を用いて機械学習を行なうことにより、医療器具の位置に加えて医療器具の種類を出力する医療器具学習済モデル６１１が生成される。

［実施の形態３］
　本実施の形態は、２個の学習済モデルを使用して、カテーテル画像５１から医療器具の位置に関する第２位置情報を取得するカテーテルシステム１０に関する。実施の形態２と共通する部分については、説明を省略する。

　図１４は、医療器具の描出を説明する説明図である。図１４においては、ＲＴ形式カテーテル画像５１８およびＸＹ形式カテーテル画像５１９に描出される医療器具を強調して示す。

　一般的に、医療器具は生体組織に比べて超音波を強く反射する。センサ４２から放射された超音波は医療器具よりも遠方には到達しにくい。そのため医療器具は、画像取得用カテーテル４０に近い側を示す高エコー領域と、その後方に続く低エコー領域とにより描出される。医療器具の後方に続く低エコー領域を音響陰影と記載する。図１４においては、音響陰影の部分を縦線のハッチングで示す。

　ＲＴ形式カテーテル画像５１８においては、音響陰影は水平方向の直線状に描出される。ＸＹ形式カテーテル画像５１９においては、音響陰影は扇形に描出される。いずれの場合も、音響陰影よりも画像取得用カテーテル４０に近い部位に高輝度領域が描出される。なお、高輝度領域は走査線方向に沿って規則的に繰り返す、いわゆる多重エコーの態様で描出される場合もある。

　ＲＴ形式カテーテル画像５１８の走査角度方向、すなわち図１４における横方向の特徴に基づいて、医療器具が描出されている走査角度を判定できる。

　図１５は、角度学習済モデル６１２の構成を説明する説明図である。角度学習済モデル６１２は、カテーテル画像５１を受け付けて医療器具が描出されている走査角度に関する走査角度情報を出力するモデルである。

　図１５においては、ＲＴ形式カテーテル画像５１８を受け付けて、それぞれの走査角度、すなわちＲＴ形式カテーテル画像５１８の縦方向において、医療器具が描出されている確率を示す走査角度情報を出力する角度学習済モデル６１２を模式的に示す。なお、医療器具は複数の走査角度にわたって描出されるため、走査角度情報の出力される確率の合計は１００％を超える。角度学習済モデル６１２は医療器具が描出されている確率が高い角度を抽出して出力してもよい。

　角度学習済モデル６１２は、機械学習により生成される。図９を使用して説明した医療器具位置訓練データＤＢ７１の位置情報フィールドから、位置情報のうちの走査角度を抽出することにより、角度学習済モデル６１２を生成する訓練データに使用できる。

　図１２のフローチャートを使用して、角度学習済モデル６１２を生成する処理の概要を説明する。図１２のプログラムの実行に先立ち、たとえば畳込層、プーリング層および全結合層を組み合わせたＣＮＮ等の未学習のモデルが準備されている。図１２のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。

　制御部２１は、モデルの入力層にＲＴ形式カテーテル画像５１８が入力された場合に、出力層から位置情報に対応する走査角度が出力されるように、モデルのパラメータを調整する（ステップＳ５７２）。訓練レコードの取得、およびモデルのパラメータ調整においては、プログラムは、ユーザによる修正の受付、判断の根拠の提示、追加学習等を制御部２１に実行させる機能を適宜有していても良い。

　処理を終了しないと判定した場合（ステップＳ５７３でＮＯ）、制御部２１はステップＳ５７１に戻る。処理を終了すると判定した場合（ステップＳ５７３でＹＥＳ）、制御部２１は学習済の医療器具位置訓練データＤＢ７１のパラメータを補助記憶装置２３に記録する（ステップＳ５７４）。その後、制御部２１は処理を終了する。以上の処理により、カテーテル画像５１を受け付けて走査角度に関する情報を出力する角度学習済モデル６１２が生成される。

　図１２のプログラムの実行に先立ち、ＲＮＮ等の時系列的な入力を受け付けるモデルが準備されていても良い。ＲＮＮは、たとえば、ＬＳＴＭである。ステップＳ５７２において制御部２１は、モデルの入力層に時系列的に撮影された複数のＲＴ形式カテーテル画像５１８が入力された場合に、出力層から時系列的に最後のＲＴ形式カテーテル画像５１８に関連づけられた走査角度に関する情報が出力されるように、モデルのパラメータを調整する。

　角度学習済モデル６１２を使用する代わりに、制御部２１はパターンマッチングにより医療器具が描出されている走査角度を判定してもよい。

　図１６は、位置情報モデル６１９を説明する説明図である。位置情報モデル６１９は、ＲＴ形式カテーテル画像５１８を受け付けて、描出されている医療器具の位置を示す第２位置情報を出力するモデルである。位置情報モデル６１９は、医療器具学習済モデル６１１、角度学習済モデル６１２および位置情報合成部６１５を含む。

　医療器具学習済モデル６１１と角度学習済モデル６１２との双方に、同一のＲＴ形式カテーテル画像５１８が入力される。医療器具学習済モデル６１１から、第１位置情報が出力される。図６を使用して説明したように、第１位置情報は、ＲＴ形式カテーテル画像５１８上の各部位において医療器具が描出されている確率である。以下の説明では、画像取得用カテーテル４０の中心からの距離がｒ、走査角度がθである位置において医療器具が描出されている確率をＰ1（ｒ，θ）で示す。

　角度学習済モデル６１２から、走査角度情報が出力される。走査角度情報は、それぞれの走査角度において医療器具が描出されている確率である。以下の説明では、走査角度θの方向に医療器具が描出されている確率をＰt（θ）で示す。

　第１位置情報と、走査角度情報とが位置情報合成部６１５で合成されて、第２位置情報が生成される。第２位置情報は、第１位置情報と同様に、ＲＴ形式カテーテル画像５１８上の各部位において医療器具が描出されている確率である。位置情報合成部６１５の入力端は、第１位置情報取得部の機能および走査角度情報取得部の機能を果たす。

　なお、医療器具はある程度の広がりをもってＲＴ形式カテーテル画像５１８に描出されるため、Ｐ1の総和およびＰtの総和は、いずれも１よりも大きい場合がある。画像取得用カテーテル４０の中心からの距離がｒ、走査角度がθである位置における第２位置情報Ｐ2（ｒ，θ）は、たとえば（１－１）式により算出される。
　　　Ｐ2（ｒ，θ）＝Ｐ1（ｒ，θ）＋ｋＰt（θ）　‥‥‥　（１－１）
　　ｋは、第１位置情報と走査角度情報との間の重みづけに関する係数である。

　第２位置情報Ｐ2（ｒ，θ）は、（１－２）式により算出されてもよい。
　　　Ｐ2（ｒ，θ）＝Ｐ1（ｒ，θ）×Ｐt（θ）　‥‥‥　（１－２）

　第２位置情報Ｐ2（ｒ，θ）は、（１－３）式により算出されてもよい。（１－３）式は、第１位置情報と、走査角度情報との平均値を算出する式である。
　　　Ｐ2（ｒ，θ）＝（Ｐ1（ｒ，θ）＋Ｐt（θ））／２　‥‥‥　（１－３）

　なお、（１－１）式から（１－３）式における第２位置情報Ｐ2（ｒ，θ）は、いずれも確率ではなく医療器具が描出されている可能性の大小を相対的に示す数値である。第１位置情報と走査角度情報とを合成することにより、走査角度方向に関する精度が向上する。なお、第２位置情報は、Ｐ2（ｒ，θ）の値が最も大きい位置に関する情報であってもよい。第２位置情報は、（１－１）式から（１－３）式までに例示した式以外の関数により定められてもよい。

　第２位置情報は、図４を使用して説明したステップＳ５０２において取得される医療器具の位置情報の例示である。医療器具学習済モデル６１１、角度学習済モデル６１２および位置情報合成部６１５は、連携して図４を使用して説明したステップＳ５０２を実現する。位置情報合成部６１５の出力端は、第１位置情報と走査角度情報に基づいて第２位置情報を出力する第２位置情報出力部の機能を果たす。

　図１７は、実施の形態３のプログラムの処理の流れを説明するフローチャートである。図１７を使用して説明するフローチャートは、図４を使用して説明したステップＳ５０２の処理の詳細を示す。

　制御部２１は１フレームのＲＴ形式カテーテル画像５１８を取得する（ステップＳ５４１）。制御部２１は、ＲＴ形式カテーテル画像５１８を医療器具学習済モデル６１１に入力して、第１位置情報を取得する（ステップＳ５４２）。制御部２１は、ＲＴ形式カテーテル画像５１８を角度学習済モデル６１２に入力して、走査角度情報を取得する（ステップＳ５４３）。

　制御部２１は、たとえば（１－１）式または（１－２）式に基づいて、第２位置情報を算出する（ステップＳ５４４）。その後、制御部２１は処理を終了する。以後、制御部２１はステップＳ５４４で算出した第２位置情報を、ステップＳ５０２における位置情報に使用する。

　本実施の形態によると、カテーテル画像５１に描出されている医療器具の位置情報を精度良く算出するカテーテルシステム１０を提供できる。

［実施の形態４］
　本実施の形態は、図７を使用して説明した分類モデル６２の具体例に関する。図１８は、分類モデル６２の構成を説明する説明図である。分類モデル６２は、第１分類学習済モデル６２１および分類データ変換部６２９を含む。

　第１分類学習済モデル６２１は、ＲＴ形式カテーテル画像５１８を受け付けて、ＲＴ形式カテーテル画像５１８を構成する各部分について、「生体組織領域」、「非生体組織領」および「医療器具領域」に分類した第１分類データ５２１を出力する。第１分類学習済モデル６２１は、さらにそれぞれの部分について分類結果の信頼度、すなわち分類結果が正しい確率を出力する。第１分類学習済モデル６２１の出力層は、第１分類データ５２１を出力する第１分類データ出力部の機能を果たす。

　図１８の右上の図は、第１分類データ５２１をＲＴ形式で模式的に示す。太い右下がりのハッチングは心房壁および心室壁等の生体組織領域を示す。黒塗りは、ブロッケンブロー針等の医療器具が描出された、医療器具領域を示す。格子状のハッチングは、医療器具領域でも生体組織領域でもない、非生体組織領域を示す。

　第１分類データ５２１は、分類データ変換部６２９により分類データ５２に変換される。図１８の右下の図は、ＲＴ形式分類データ５２８を模式的に示す。非生体組織領域は、第１内腔領域、第２内腔領域および非内腔領域の３種類に分類されている。図５Ｃと同様に、細い左下がりのハッチングは第１内腔領域を示す。細い右下がりのハッチングは第２内腔領域を示す。太い左下がりのハッチングは非内腔領域を示す。

　分類データ変換部６２９が行なう処理の概要を説明する。非生体組織領域のうち、画像取得用カテーテル４０に接する領域、すなわち第１分類データ５２１において一番右側の領域は、第１内腔領域に分類される。非生体組織領域のうち、生体組織領域で囲まれている領域は、第２内腔領域に分類される。なお、第２内腔領域の分類は、ＲＴ形式カテーテル画像５１８の上端と下端とを接続して、円筒形状にした状態で判定することが望ましい。非生体組織領域のうち第１内腔領域でも第２内腔領域でもない領域は、非内腔領域に分類される。

　図１９は、第１訓練データを説明する説明図である。第１訓練データは、機械学習により第１分類学習済モデル６２１を生成する際に用いられる。以下の説明では、図３を使用して説明した情報処理装置２０を使用して第１訓練データを作成する場合を例にして説明する。第１訓練データは、情報処理装置２０とは別のコンピュータ等を用いて作成されてもよい。

　制御部２１は、ＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９の２種類のカテーテル画像５１を表示装置３１に表示する。ラベラーは、表示されたカテーテル画像５１を観察して、「第１内腔領域と生体組織領域との境界線」、「第２内腔領域と生体組織領域との境界線」、「非内腔領域と生体組織領域との境界線」および「医療器具領域の外形線」の４種類の境界線データをマーキングする。

　なお、ラベラーはＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９のどちらのカテーテル画像５１にマーキングを行なってもよい。制御部２１は、他方のカテーテル画像５１の対応する位置に、マーキングに対応する境界線を表示する。以上により、ラベラーはＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９との双方を確認して、適切なマーキングを行なえる。

　ラベラーは、マーキングした４種類の境界線データで区切られたそれぞれの領域が、「生体組織領域」、「非生体組織領域」および「医療器具領域」のいずれであるかを入力する。なお、制御部２１が領域を自動判定し、必要に応じてラベラーが修正指示を行なってもよい。以上の処理により、カテーテル画像５１の各領域が「生体組織領域」、「非生体組織領域」および「医療器具領域」のいずれに分類されるかを明示した第１分類データ５２１が作成される。

　第１分類データ５２１について、具体例を挙げて説明する。「生体組織領域」に分類された画素には「生体組織領域ラベル」が、「第１内腔領域」に分類された画素には「第１内腔領域ラベル」が、「第２内腔領域」に分類された画素には「第２内腔領域ラベル」が、「非内腔領域」に分類された画素には「非内腔領域ラベルが、「医療器具領域」に分類された画素には「医療器具領域ラベル」が、「非生体組織領域」に分類された画素には「非生体組織領域ラベル」それぞれ記録される。各ラベルは、たとえば整数で示される。第１分類データ５２１は、画素の位置とラベルとを関連づけたラベルデータの例示である。

　制御部２１は、カテーテル画像５１と第１分類データ５２１とを関連づけて記録する。以上の処理を繰り返して多数組のデータを記録することにより、第１訓練データＤＢが作成される。以下の説明では第１訓練データＤＢにＲＴ形式カテーテル画像５１８と、ＲＴ形式の第１分類データ５２１とを関連づけて記録した第１訓練データＤＢを例にして説明する。

　図１２のフローチャートを使用して、第１分類学習済モデル６２１を生成する処理の概要を説明する。図１２のプログラムの実行に先立ち、たとえばセマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造等の未学習のモデルが準備されている。

　Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とを含む。それぞれのエンコーダ層は、プーリング層と畳込層とを含む。セマンテックセグメンテーションにより、入力された画像を構成するそれぞれの画素に対してラベルが付与される。なお、未学習のモデルは、Ｍａｓｋ　Ｒ－ＣＮＮモデル、その他任意の画像のセグメンテーションを実現するモデルであってもよい。

　制御部２１は、第１訓練データＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ５７１）。制御部２１は、モデルの入力層にＲＴ形式カテーテル画像５１８が入力された場合に、出力層からＲＴ形式の第１分類データ５２１が出力されるように、モデルのパラメータを調整する（ステップＳ５７２）。訓練レコードの取得、およびモデルのパラメータ調整においては、プログラムは、ユーザによる修正の受付、判断の根拠の提示、追加学習等を制御部２１に実行させる機能を適宜有していても良い。

　制御部２１は、処理を終了するか否かを判定する（ステップＳ５７３）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、第１訓練データＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。

　処理を終了しないと判定した場合（ステップＳ５７３でＮＯ）、制御部２１はステップＳ５７１に戻る。処理を終了すると判定した場合（ステップＳ５７３でＹＥＳ）、制御部２１は学習済の第１分類学習済モデル６２１のパラメータを補助記憶装置２３に記録する（ステップＳ５７４）。その後、制御部２１は処理を終了する。以上の処理により、カテーテル画像５１を受け付けて第１分類データ５２１を出力する第１分類学習済モデル６２１が生成される。

　図１２のプログラムの実行に先立ち、時系列的な入力を受け付けるモデルが準備されていても良い。時系列的な入力を受け付けるモデルは、たとえば過去に入力されたＲＴ形式カテーテル画像５１８に関する情報を保持するメモリ部を備える。時系列的な入力を受け付けるモデルは、過去に入力されたＲＴ形式カテーテル画像５１８に対する出力を、次のＲＴ形式カテーテル画像５１８と共に入力する再帰入力部を備えてもよい。

　時系列的に取得したカテーテル画像５１を用いることにより、画像ノイズ等の影響を受けにくく、高精度に第１分類データ５２１を出力する第１分類学習済モデル６２１を実現できる。

　第１分類学習済モデル６２１は、情報処理装置２０とは別のコンピュータ等を用いて作成されてもよい。機械学習が完了した第１分類学習済モデル６２１がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた第１分類学習済モデル６２１を、複数の情報処理装置２０で使用できる。

　図２０は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。図２０を使用して説明するフローチャートは、図７を使用して説明した分類モデル６２が行なう処理の詳細を示す。

　制御部２１は１フレームのＲＴ形式カテーテル画像５１８を取得する（ステップＳ５５１）。制御部２１は、ＲＴ形式カテーテル画像５１８を第１分類学習済モデル６２１に入力して、第１分類データ５２１を取得する（ステップＳ５５２）。制御部２１は、第１分類データ５２１から連続した１個の非生体組織領域を抽出する（ステップＳ５５３）。なお、非生体組織領域の抽出以降の処理は、ＲＴ形式カテーテル画像５１８の上端と下端とを接続して、円筒形状にした状態で行なわれることが望ましい。

　制御部２１は、ステップＳ５５２で抽出した非生体組織領域が、画像取得用カテーテル４０に接する側、すなわちＲＴ形式カテーテル画像５１８の左端に接する部分であるか否かを判定する（ステップＳ５５４）。画像取得用カテーテル４０に接する側であると判定した場合（ステップＳ５５４でＹＥＳ）、制御部２１はステップＳ５５３で抽出した非生体組織領域は第１内腔領域であると判定する（ステップＳ５５５）。

　画像取得用カテーテル４０に接する部分ではないと判定した場合（ステップＳ５５４でＮＯ）、制御部２１はステップＳ５５２で抽出した非生体組織領域が、生体組織領域に囲まれているか否かを判定する（ステップＳ５５６）。生体組織領域に囲まれていると判定した場合（ステップＳ５５６でＹＥＳ）、制御部２１はステップＳ５５３で抽出した非生体組織領域は第２内腔領域であると判定する（ステップＳ５５７）。ステップＳ５５５およびステップＳ５５７により、制御部２１は内腔領域抽出部の機能を実現する。

　生体組織領域に囲まれていないと判定した場合（ステップＳ５５６でＮＯ）、制御部２１はステップＳ５５３で抽出した非生体組織領域は非内腔領域であると判定する（ステップＳ５５８）。

　ステップＳ５５５、ステップＳ５５７またはステップＳ５５８の終了後、制御部２１はすべての非生体組織領域の処理を終了したか否かを判定する（ステップＳ５５９）。終了していないと判定した場合（ステップＳ５５９でＮＯ）、制御部２１はステップＳ５５３に戻る。終了したと判定した場合（ステップＳ５５９でＹＥＳ）、制御部２１は処理を終了する。

　制御部２１は、ステップＳ５５３からステップＳ５５９までの処理により、分類データ変換部６２９の機能を実現する。

　なお、第１分類学習済モデル６２１は、ＸＹ形式カテーテル画像５１９を生体組織領域と非生体組織領域と医療器具領域とに分類するモデルであってもよい。第１分類学習済モデル６２１はＲＴ形式カテーテル画像５１８を生体組織領域と非生体組織領域とに分類するモデルであってもよい。そのようにする場合、ラベラーは医療器具領域に関するマーキングを行なわなくてもよい。

　本実施の形態によると、カテーテル画像５１を生体組織領域と非生体組織領域と医療器具領域とに分類する第１分類学習済モデル６２１を生成できる。本実施の形態によると、生成した第１分類学習済モデル６２１を使用して、分類データ５２を生成するカテーテルシステム１０を提供できる。

［変形例４－１］
　ラベラーは、マーキングした４種類の境界線データで区切られたそれぞれの領域が、「生体組織領域」、「第１内腔領域」、「第２内腔領域」「非内腔領域」および「医療器具領域」のいずれであるかを入力してもよい。このようにして作成された第１訓練データＤＢを用いて機械学習を行なうことにより、カテーテル画像５１を「生体組織領域」、「第１内腔領域」、「第２内腔領域」、「非内腔領域」および「医療器具領域」に分類する第１分類学習済モデル６２１を生成できる。

　以上により、分類データ変換部６２９を使用せずに、カテーテル画像５１を「生体組織領域」、「第１内腔領域」、「第２内腔領域」、「非内腔領域」および「医療器具領域」に分類する分類モデル６２を実現できる。

［実施の形態５］
　本実施の形態は、２個の分類学習済モデルからそれぞれ出力された分類データ５２を合成する合成分類モデル６２６を用いるカテーテルシステム１０に関する。実施の形態４と共通する部分については、説明を省略する。

　図２１は、実施の形態５の分類モデル６２の構成を説明する説明図である。分類モデル６２は、合成分類モデル６２６および分類データ変換部６２９を含む。合成分類モデル６２６は、第１分類学習済モデル６２１、第２分類学習済モデル６２２および分類データ合成部６２８を含む。第１分類学習済モデル６２１は、実施の形態４と同様であるため、説明を省略する。

　第２分類学習済モデル６２２は、ＲＴ形式カテーテル画像５１８を受け付けて、ＲＴ形式カテーテル画像５１８を構成する各部分について、「生体組織領域」、「非生体組織領域」および「医療器具領域」に分類した第２分類データ５２２を出力するモデルである。第２分類学習済モデル６２２は、さらにそれぞれの部分について分類結果の信頼度、すなわち分類結果が正しい確率を出力する。第２分類学習済モデル６２２の詳細については後述する。

　分類データ合成部６２８は、第１分類データ５２１と第２分類データ５２２とを合成して、合成分類データ５２６を生成する。すなわち、分類データ合成部６２８の入力端は、第１分類データ取得部および第２分類データ取得部の機能を実現する。分類データ合成部６２８の出力端は、合成分類データ出力部の機能を実現する。

　合成分類データ５２６の詳細については後述する。合成分類データ５２６は、分類データ変換部６２９により分類データ５２に変換される。分類データ変換部６２９が行なう処理は、実施の形態４と同様であるため、説明を省略する。

　図２２は、第２訓練データを説明する説明図である。第２訓練データは、機械学習により第２分類学習済モデル６２２を生成する際に用いられる。以下の説明では、図３を使用して説明した情報処理装置２０を使用して第２訓練データを作成する場合を例にして説明する。第２訓練データは、情報処理装置２０とは別のコンピュータ等を用いて作成されてもよい。

　制御部２１は、ＲＴ形式カテーテル画像５１８とＸＹ形式カテーテル画像５１９の２種類のカテーテル画像５１を表示装置３１に表示する。ラベラーは、表示されたカテーテル画像５１を観察して、「第１内腔領域と生体組織領域との境界線」および「医療器具領域の外形線」の２種類の境界線データをマーキングする。

　ラベラーは、マーキングした２種類の境界線データで区切られたそれぞれの領域が、「生体組織領域」、「非生体組織領域」および「医療器具領域」のいずれであるかを入力する。なお、制御部２１が領域を自動判定し、必要に応じてラベラーが修正指示を行なってもよい。以上の処理により、カテーテル画像５１の各部分が「生体組織領域」、「非生体組織領域」および「医療器具領域」のいずれの領域に分類されるかを明示した第２分類データ５２２が作成される。

　第２分類データ５２２について、具体例を挙げて説明する。「生体組織領域」に分類された画素には「生体組織領域ラベル」が、「非生体組織領域」に分類された画素には「非生体組織領域ラベル」が、「医療器具領域」に分類された画素には「医療器具領域ラベル」がそれぞれ記録される。各ラベルは、たとえば整数で示される。第２分類データ５２２は、画素の位置とラベルとを関連づけたラベルデータの例示である。

　制御部２１は、カテーテル画像５１と第２分類データ５２２とを関連づけて記録する。以上の処理を繰り返して多数組のデータを記録することにより、第２訓練データＤＢが作成される。第２訓練データＤＢを用いて実施の形態４で説明した機械学習と同様の処理を行なうことにより、第２分類学習済モデル６２２を生成できる。

　なお、第２分類学習済モデル６２２は、ＸＹ形式カテーテル画像５１９を生体組織領域と非生体組織領域と医療器具領域とに分類するモデルであってもよい。第２分類学習済モデル６２２はＲＴ形式カテーテル画像５１８を生体組織領域と非生体組織領域とに分類するモデルであってもよい。そのようにする場合、ラベラーは医療器具領域に関するマーキングを行なわなくてもよい。

　第２分類データ５２２の作成は、第１分類データ５２１の作成に比べると短時間で行なえる。第２分類データ５２２を作成するラベラーのトレーニングは、第１分類データ５２１を作成するラベラーのトレーニングに比べて短時間で行なえる。以上により、第２訓練データＤＢには第１訓練ＤＢに比べて多量の訓練データを登録可能である。

　多量の訓練データを使用できるため、第１内腔領域と生体組織領域との境界および医療器具領域の外形については、第１分類学習済モデル６２１よりも高い精度で識別可能な第２分類学習済モデル６２２を生成できる。しかしながら、第２分類学習済モデル６２２は第１内腔領域以外の非生体組織領域については学習していないため、生体組織領域との識別を行なえない。

　分類データ合成部６２８が行なう処理について説明する。第１分類学習済モデル６２１と第２分類学習済モデル６２２との双方に、同一のＲＴ形式カテーテル画像５１８が入力される。医療器具学習済モデル６１１から、第１分類データ５２１が出力される。第２分類学習済モデル６２２から第２分類データ５２２が出力される。

　以下の説明では、第１分類学習済モデル６２１、第２分類学習済モデル６２２とも、ＲＴ形式カテーテル画像５１８のそれぞれの画素について、分類したラベルと当該ラベルの信頼度とを出力する場合を例にして説明する。なお、第１分類学習済モデル６２１および第２分類学習済モデル６２２は、たとえばＲＴ形式カテーテル画像５１８の縦３画素、横３画素の合計９画素等の範囲ごとに分類したラベルと確率とを出力してもよい。

　画像取得用カテーテル４０の中心からの距離がｒ、走査角度がθである画素について、第１分類学習済モデル６２１が生体組織領域であることの信頼度をＱ1t（ｒ，θ）で示す。なお、第１分類学習済モデル６２１が生体組織領域以外の領域に分類した画素については、Ｑ1t（ｒ，θ）＝０である。

　同様に画像取得用カテーテル４０の中心からの距離がｒ、走査角度がθである画素について、第２分類学習済モデル６２２が生体組織領域であることの信頼度をＱ2t（ｒ，θ）で示す。なお、第２分類学習済モデル６２２が生体組織領域以外の領域に分類した画素については、Ｑ2t（ｒ，θ）＝０である。

　分類データ合成部６２８は、たとえば（５－１）式に基づいて合成値Ｑt（ｒ，θ）を算出する。なお、Ｑt（ｒ，θ）は生体組織領域であるという分類が正しい確率ではなく、生体組織領域であることの信頼度の大小を相対的に示す数値である。
　　　Ｑt（ｒ，θ）＝Ｑ1t（ｒ，θ）×Ｑ2t（ｒ，θ）　‥‥‥（５－１）
　分類データ合成部６２８は、Ｑt（ｒ，θ）が０．５以上の画素を生体組織領域に分類する。

　同様に、第１分類学習済モデル６２１が医療器具領域であることの信頼度をＱ1c（ｒ，θ）で示し、第２分類学習済モデル６２２が医療器具領域であることの信頼度をＱ2c（ｒ，θ）で示す。

　分類データ合成部６２８は、たとえば（５－２）式に基づいて合成値Ｑc（ｒ，θ）を算出する。なお、Ｑc（ｒ，θ）も医療器具領域であるという分類が正しい確率ではなく、医療器具領域であることの信頼性の大小を相対的に示す数値である。
　　　Ｑc（ｒ，θ）＝Ｑ1c（ｒ，θ）×Ｑ2c（ｒ，θ）　‥‥‥（５－２）

　分類データ合成部６２８は、Ｑc（ｒ，θ）が０．５以上の画素を医療器具領域に分類する。分類データ合成部６２８は、医療器具領域にも生体組織領域にも分類されなかった画素を、非生体組織領域に分類する。以上により、分類データ合成部６２８は第１分類データ５２１と第２分類データ５２２とを合成した合成分類データ５２６を生成する。合成分類データ５２６は、分類データ変換部６２９によりＲＴ形式分類データ５２８に変換される。

　なお、（５－１）式および（５－２）式は例示である。分類データ合成部６２８が分類を行なう際の閾値も例示である。分類データ合成部６２８は、第１分類データ５２１と第２分類データ５２２とを受け付けて合成分類データ５２６を出力する学習済モデルであってもよい。

　第１分類データ５２１は、実施の形態４で説明した分類データ変換部６２９により「生体組織領域」、「第１内腔領域」、「第２内腔領域」、「非内腔領域」および「医療器具領域」に分類された後に、分類データ合成部６２８に入力されてもよい。

　第１分類学習済モデル６２１は、変形例４－１で説明したカテーテル画像５１を「生体組織領域」、「第１内腔領域」、「第２内腔領域」、「非内腔領域」および「医療器具領域」に分類するモデルであってもよい。

　非生体組織領域を「第１内腔領域」、「第２内腔領域」および「非内腔領域」に分類済のデータが分類データ合成部６２８に入力される場合、分類データ合成部６２８は「生体組織領域」、「第１内腔領域」、「第２内腔領域」、「非内腔領域」および「医療器具領域」に分類済の合成分類データ５２６を出力できる。そのようにする場合、合成分類データ５２６を分類データ変換部６２９に入力してＲＴ形式分類データ５２８に変換する必要はない。

　図２３は、実施の形態５のプログラムの処理の流れを説明するフローチャートである。図２３を使用して説明するフローチャートは、図７を使用して説明した分類モデル６２が行なう処理の詳細を示す。

　制御部２１は１フレームのＲＴ形式カテーテル画像５１８を取得する（ステップＳ５８１）。ステップＳ５８１により、制御部２１は画像取得部の機能を実現する。制御部２１は、ＲＴ形式カテーテル画像５１８を第１分類学習済モデル６２１に入力して、第１分類データ５２１を取得する（ステップＳ５８２）。制御部２１は、ＲＴ形式カテーテル画像５１８を第２分類学習済モデル６２２に入力して、第２分類データ５２２を取得する（ステップＳ５８３）。

　制御部２１は、分類合成のサブルーチンを起動する（ステップＳ５８４）。分類合成のサブルーチンは、第１分類データ５２１と第２分類データ５２２とを合成して、合成分類データ５２６を生成するサブルーチンである。分類合成のサブルーチンの処理の流れは後述する。

　制御部２１は、合成分類データ５２６から連続した１個の非生体組織領域を抽出する（ステップＳ５８５）。なお、非生体組織領域の抽出以降の処理は、ＲＴ形式カテーテル画像５１８の上端と下端とを接続して、円筒形状にした状態で行なわれることが望ましい。

　制御部２１は、ステップＳ５８５で抽出した非生体組織領域が、画像取得用カテーテル４０に接する側であるか否かを判定する（ステップＳ５５４）。以後、ステップＳ５５９までの処理は、図２０を使用して説明した実施の形態４のプログラムの処理の流れと同一であるため、説明を省略する。

　制御部２１はすべての非生体組織領域の処理を終了したか否かを判定する（ステップＳ５５９）。終了していないと判定した場合（ステップＳ５５９でＮＯ）、制御部２１はステップＳ５８５に戻る。終了したと判定した場合（ステップＳ５５９でＹＥＳ）、制御部２１は処理を終了する。

　図２４は、分類合成のサブルーチンの処理の流れを説明するフローチャートである。分類合成のサブルーチンは、第１分類データ５２１と第２分類データ５２２とを合成して、合成分類データ５２６を生成するサブルーチンである。

　制御部２１は、処理を行なう画素を選択する（ステップＳ６０１）。制御部２１は、第１分類データ５２１から処理中の画素が生体組織領域であることの信頼度Ｑ1t（ｒ，θ）を取得する（ステップＳ６０２）。制御部２１は、第２分類データ５２２から処理中の画素が生体組織領域であることの信頼度Ｑ2t（ｒ，θ）を取得する（ステップＳ６０３）。

　制御部２１は、たとえば（５－１）式に基づいて合成値Ｑt（ｒ，θ）を算出する（ステップＳ６０４）。制御部２１は、合成値Ｑt（ｒ，θ）が所定の閾値以上であるか否かを判定する（ステップＳ６０５）。所定の閾値は、たとえば０．５である。

　所定の閾値以上であると判定した場合（ステップＳ６０５でＹＥＳ）、制御部２１は処理中の画素を「生体組織領域」に分類する（ステップＳ６０６）。所定の閾値未満であると判定した場合（ステップＳ６０５でＮＯ）、制御部２１は、第１分類データ５２１から処理中の画素が医療器具領域であることの信頼度Ｑ1c（ｒ，θ）を取得する（ステップＳ６１１）。制御部２１は、第２分類データ５２２から処理中の画素が医療器具領域であることの信頼度Ｑ2c（ｒ，θ）を取得する（ステップＳ６１２）。

　制御部２１は、たとえば（５－２）式に基づいて合成値Ｑc（ｒ，θ）を算出する（ステップＳ６１３）。制御部２１は、合成値Ｑc（ｒ，θ）が所定の閾値以上であるか否かを判定する（ステップＳ６１４）。所定の閾値は、たとえば０．５である。

　所定の閾値以上であると判定した場合（ステップＳ６１４でＹＥＳ）、制御部２１は処理中の画素を「医療器具領域」に分類する（ステップＳ６１５）。所定の閾値未満であると判定した場合（ステップＳ６１４でＮＯ）、制御部２１は、処理中の画素を「非生体組織領域」に分類する（ステップＳ６１６）。

　ステップＳ６０６、ステップＳ６１５またはステップＳ６１６の終了後、制御部２１はすべての画素の処理を終了したか否かを判定する（ステップＳ６０７）。終了していないと判定した場合（ステップＳ６０７でＮＯ）、制御部２１はステップＳ６０１に戻る。終了したと判定した場合（ステップＳ６０７でＹＥＳ）、制御部２１は処理を終了する。制御部２１は、分類合成のサブルーチンにより、分類データ合成部６２８の機能を実現する。

　本実施の形態によると、２個の分類学習済モデルからそれぞれ出力された分類データ５２を合成した合成分類データ５２６を用いてＲＴ形式分類データ５２８を生成するカテーテルシステム１０を提供できる。比較的容易に多数の訓練データを収集して、分類精度を高められる第２分類学習済モデル６２２と、訓練データの収集に手間が掛かる第１分類学習済モデル６２１とを組み合わせて使用することにより、学習済モデルの生成コストと、分類精度とのバランスのよいカテーテルシステム１０を提供できる。

［実施の形態６］
　本実施の形態は、医療器具の位置情報をヒントに使用して、カテーテル画像５１を構成する各部分について分類を行なうカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。

　図２５は、ヒント有学習済モデル６３１の構成を説明する説明図である。ヒント有学習済モデル６３１は、図７を使用して説明した分類モデル６２の代わりに、図４を使用して説明したステップＳ６０４で使用される。

　ヒント有学習済モデル６３１は、ＲＴ形式カテーテル画像５１８と、ＲＴ形式カテーテル画像５１８に描出されている医療器具の位置情報とを受け付けて、ＲＴ形式カテーテル画像５１８を構成する各部分について、「生体組織領域」、「非生体組織領域」および「医療器具領域」に分類したヒント有分類データ５６１を出力するモデルである。第１分類学習済モデル６２１は、さらにそれぞれの部分について分類結果の信頼度、すなわち分類結果が正しい確率を出力する。

　図２６は、ヒント有モデル訓練データＤＢ７２のレコードレイアウトを説明する説明図である。ヒント有訓練データＤＢ７２は、カテーテル画像５１と、カテーテル画像５１に描出されている医療器具の位置情報と、カテーテル画像５１を構成する各部分について、描出されている被写体ごとに分類した分類データ５２とを関連づけて記録したデータベースである。

　分類データ５２は、たとえば図１９を使用して説明した手順に基づいて、ラベラーが作成したデータである。ヒント有訓練データＤＢ７２を用いて実施の形態４で説明した機械学習と同様の処理を行なうことにより、ヒント有学習済モデル６３１を生成できる。

　図２７は、実施の形態６のプログラムの処理の流れを説明するフローチャートである。図２７を使用して説明するフローチャートは、図４を使用して説明したステップＳ５０４で行なう処理の詳細を示す。

　制御部２１は１フレームのＲＴ形式カテーテル画像５１８を取得する（ステップＳ６２１）。制御部２１は、ＲＴ形式カテーテル画像５１８をたとえば図６を使用して説明した医療器具学習済モデル６１１に入力して、医療器具の位置情報を取得する（ステップＳ６２２）。制御部２１は、ＲＴ形式カテーテル画像５１８と位置情報とをヒント有学習済モデル６３１に入力して、ヒント有分類データ５６１を取得する（ステップＳ６２３）。

　制御部２１は、ヒント有分類データ５６１から連続した１個の非生体組織領域を抽出する（ステップＳ６２４）。なお、非生体組織領域の抽出以降の処理は、ＲＴ形式カテーテル画像５１８の上端と下端とを接続して、円筒形状にした状態で行なわれることが望ましい。

　制御部２１は、ステップＳ６２４で抽出した非生体組織領域が、画像取得用カテーテル４０に接する側であるか否かを判定する（ステップＳ５５４）。以後、ステップＳ５５９までの処理は、図２０を使用して説明した実施の形態４のプログラムの処理の流れと同一であるため、説明を省略する。

　制御部２１はすべての非生体組織領域の処理を終了したか否かを判定する（ステップＳ５５９）。終了していないと判定した場合（ステップＳ５５９でＮＯ）、制御部２１はステップＳ６２４に戻る。終了したと判定した場合（ステップＳ５５９でＹＥＳ）、制御部２１は処理を終了する。

　本実施の形態によると、医療器具の位置情報をヒントとして入力することにより、分類データ５２を精度良く生成するカテーテルシステム１０を提供できる。

［変形例６－１］
　図２８は、変形例のプログラムの処理の流れを説明するフローチャートである。図２８を使用して説明する処理は、図２７を使用して説明した処理の代わりに実行される。

　制御部２１は１フレームのＲＴ形式カテーテル画像５１８を取得する（ステップＳ６２１）。制御部２１は、医療器具の位置情報を取得する（ステップＳ６２２）。制御部２１は、医療器具の位置情報の取得に成功したか否かを判定する（ステップＳ６３１）。たとえば、医療器具学習済モデル６１１から出力される信頼度が閾値よりも高い場合に、制御部２１は位置情報の取得に成功したと判定する。

　なお、ステップＳ６３１の「成功」は、ＲＴ形式カテーテル画像５１８に医療器具が描出されており、閾値よりも高い信頼度で当該医療器具の位置情報を制御部２１が取得できたことを意味する。「成功」しない場合には、たとえば、ＲＴ形式カテーテル画像５１８の撮影範囲に医療器具が存在しない場合、および、医療器具が生体組織領域の表面に密着していて明瞭に描出されない場合が含まれる。

　位置情報の取得に成功したと判定した場合（ステップＳ６３１でＹＥＳ）、制御部２１は、ＲＴ形式カテーテル画像５１８と位置情報とをヒント有学習済モデル６３１に入力して、ヒント有分類データ５６１を取得する（ステップＳ６２３）。位置情報の取得に成功していないと判定した場合（ステップＳ６３１でＮＯ）、制御部２１はＲＴ形式カテーテル画像５１８をヒント無学習済モデル６３２に入力してヒント無分類データを取得する（ステップＳ６３２）。

　ヒント無学習済モデル６３２は、たとえば図７、図１８または図２１を使用して説明した分類モデル６２である。同様にヒント無分類データは、分類モデル６２から出力される分類データ５２である。

　ステップＳ６２３またはステップＳ６３２の終了後、制御部２１は、ヒント有分類データ５６１または分類モデル６２から連続した１個の非生体組織領域を抽出する（ステップＳ６２４）。以後の処理は、図２７を使用して説明した処理の流れと同一であるため、説明を省略する。

　ヒント有分類データ５６１は、第１データの例示である。ヒント有学習済モデル６３１は、カテーテル画像５１と医療器具の位置情報とを入力した場合に第１データを出力する第１学習済モデルの例示である。ヒント有学習済モデル６３１の出力層は、第１データを出力する第１データ出力部の例示である。

　ヒント無分類データは、第２データの例示である。ヒント無学習済モデル６３２は、カテーテル画像５１を入力した場合に第２データを出力する第２学習済モデルおよび第２モデルの例示である。ヒント無学習済モデル６３２の出力層は、第２データ出力部の例示である。

　本変形例によると、位置情報の取得に成功していない場合には、位置情報の入力を必要としない分類モデル６２を使用する。したがって、誤ったヒントをヒント有学習済モデル６３１に入力することによる誤動作を防止するカテーテルシステム１０を提供できる。

［実施の形態７］
　本実施の形態は、ヒント有学習済モデル６３１の出力とヒント無学習済モデル６３２の出力とを合成して合成データ５３６を生成するカテーテルシステム１０に関する。実施の形態６と共通する部分については説明を省略する。なお、合成データ５３６は、図４を使用して説明したステップＳ５０４の出力である分類データ５２の代わりに使用されるデータである。

　図２９は、実施の形態７の分類モデル６２の構成を説明する説明図である。分類モデル６２は、位置分類解析部６６および第３合成部５４３を含む。位置分類解析部６６は、位置情報取得部６５、ヒント有学習済モデル６３１、ヒント無学習済モデル６３２、第１合成部５４１および第２合成部５４２を含む。

　位置情報取得部６５は、たとえば図６を使用して説明した医療器具学習済モデル６１１または、図１６を使用して説明した位置情報モデル６１９から医療器具が描出されている位置を示す位置情報を取得する。ヒント有学習済モデル６３１は、実施の形態６と同様であるため、説明を省略する。ヒント無学習済モデル６３２は、たとえば図７、図１８または図２１を使用して説明した分類モデル６２である。

　第１合成部５４１の動作を説明する。第１合成部５４１は、ヒント有学習済モデル６３１から出力されたヒント有分類データ５６１と、ヒント無学習済モデル６３２から出力されたヒント無分類データとを合成して、分類情報を作成する。第１合成部５４１の入力端は、ヒント有分類データ５６１を取得する第１データ取得部、および、ヒント無分類データを取得する第２データ取得部の機能を果たす。第１合成部５４１の出力端は、ヒント有分類データ５６１とヒント無分類データとを合成した第１合成データを出力する第１合成データ出力部の機能を果たす。

　非生体組織領域が、第１内腔領域、第２内腔領域および非内腔領域に分類されていないデータが入力された場合、第１合成部５４１は分類データ変換部６２９の機能を果たして非生体組織領域の分類を行なう。

　たとえば第１合成部５４１は、位置情報取得部６５が位置情報の取得に成功した場合には、ヒント有学習済モデル６３１の重みをヒント無学習済モデル６３２の重みよりも大きくして、両者を合成する。画像の重みづけ合成を行なう方法は公知であるため、説明を省略する。

　第１合成部５４１は、位置情報取得部６５が取得した位置情報の信頼度に基づいて、ヒント有分類データ５６１とヒント無分類データとの重みづけを定めて合成しても良い。

　第１合成部５４１は、ヒント有分類データ５６１およびヒント無分類データのそれぞれの領域の信頼度に基づいてヒント有分類データ５６１とヒント無分類データとを合成しても良い。分類データ５２の信頼度に基づく合成は、たとえば実施の形態５で説明した分類データ合成部６２８と同様の処理により実行できる。

　なお、第１合成部５４１は、ヒント有学習済モデル６３１およびヒント無学習済モデル６３２から出力された医療器具領域を、隣接する非生体組織領域と同様に扱う。たとえば、第１内腔領域に医療器具領域が存在する場合、第１合成部５４１は医療器具領域を第１内腔領域と同様に扱う。同様に第２内腔領域に医療器具領域が存在する場合、第１合成部５４１は医療器具領域を第２内腔領域と同様に扱う。

　ヒント有学習済モデル６３１またはヒント無学習済モデル６３２のいずれか一方に、医療器具領域を出力しない学習済モデルを使用してもよい。したがって、図２９の中央部に示すように、第１合成部５４１から出力される分類情報は、医療器具領域に関する情報を含まない。

　第１合成部５４１は、位置情報取得部６５が位置情報の取得に成功したか否かに基づいて、ヒント有分類データ５６１とヒント無分類データとを切り替えるスイッチの機能を果たしてもよい。第１合成部５４１は、さらに分類データ変換部６２９の機能を果たしてもよい。

　具体的には、位置情報取得部６５が位置情報の取得に成功した場合、第１合成部５４１は、ヒント有学習済モデル６３１から出力されたヒント有分類データ５６１に基づいて分類情報を出力する。位置情報取得部６５が位置情報の取得に成功していない場合、第１合成部５４１は、ヒント無学習済モデル６３２から出力されたヒント無分類データに基づいて分類情報を出力する。

　第２合成部５４２の動作を説明する。位置情報取得部６５が位置情報の取得に成功した場合、第２合成部５４２はヒント有学習済モデル６３１から出力された医療器具領域を出力する。位置情報取得部６５が位置情報の取得に成功しなかった場合、第２合成部５４２はヒント無分類データに含まれる医療器具領域を出力する。

　なお、ヒント無学習済モデル６３２に図２１を使用して説明した第２分類学習済モデル６２２を使用することが望ましい。前述のとおり、第２分類学習済モデル６２２の学習には多数の訓練データを使用できるため、医療器具領域を精度よく抽出できる。

　位置情報取得部６５が位置情報の取得に成功しなかった場合、第２合成部５４２はヒント有分類データ５６１に含まれる医療器具領域と、ヒント無分類データに含まれる医療器具領域とを合成して出力してもよい。ヒント有分類データ５６１とヒント無分類データとの合成は、たとえば実施の形態５で説明した分類データ合成部６２８と同様の処理により実行できる。

　第２合成部５４２の出力端は、ヒント有分類データ５６１の医療器具領域とヒント無分類データの医療器具領域とを合成した第２合成データを出力する第２合成データ出力部の機能を果たす。

　第３合成部５４３の動作を説明する。第３合成部５４３は、第１合成部５４１から出力された分類情報に、第２合成部５４２から出力された医療器具領域を重畳した合成データ５３６を出力する。図２９においては重畳された医療器具領域を黒塗りで示す。

　第１合成部５４１の代わりに第３合成部５４３が、非生体組織領域を第１内腔領域、第２内腔領域および非内腔領域に分類する分類データ変換部６２９の機能を果たしてもよい。

　位置分類解析部６６を構成する複数の学習済モデルのうちの一部または全部が、時系列的に取得した複数のカテーテル画像５１を受け付けて、最新のカテーテル画像５１に対する情報を出力するモデルであってもよい。

　本実施の形態によると、医療器具の位置情報を高精度に取得して、分類情報と組み合わせて出力するカテーテルシステム１０を提供できる。制御部２１は、画像取得用カテーテル４０の長手方向に沿って連続的に撮影された複数のカテーテル画像５１のそれぞれに基づいて合成データ５３６を生成した後に、当該合成データ５３６を積層することで生体組織及び医療器具の三次元データを構築して、表示してもよい。

［変形例７－１］
　図３０は、変形例の分類モデル６２の構成を説明する説明図である。位置分類解析部６６に、Ｘ％ヒント学習済モデル６３９が追加されている。Ｘ％ヒント学習済モデル６３９は、ヒント有訓練データＤＢ７２を使用して学習を行なう際に、訓練データのうちのＸパーセントでは位置情報を入力し、（１００－Ｘ）パーセントでは位置情報を入力しない条件で学習を行なったモデルである。以下の説明では、Ｘ％ヒント学習済モデル６３９から出力されるデータを、Ｘ％ヒント分類データと記載する。

　Ｘ％ヒント学習済モデル６３９は、Ｘが「１００」である場合にはヒント有学習済モデル６３１と同一であり、Ｘが「０」である場合にはヒント無学習済モデル６３２と同一である。Ｘは、たとえば「５０」である。

　第１合成部５４１は、ヒント有学習済モデル６３１と、ヒント無学習済モデル６３２と、Ｘ％ヒント学習済モデル６３９とのそれぞれから取得した分類データ５２を、所定の重みづけに基づいて合成したデータを出力する。重みづけは、位置情報取得部６５が位置情報の取得に成功したか否かによって変化する。

　たとえば、位置情報取得部６５が位置情報の取得に成功した場合、ヒント有学習済モデル６３１の出力とＸ％ヒント学習済モデル６３９の出力とが合成される。位置情報取得部６５が位置情報の取得に失敗した場合、ヒント無学習済モデル６３２の出力とＸ％ヒント学習済モデル６３９の出力が合成される。合成時の重みづけは、位置情報取得部６５が取得した位置情報の信頼度に基づいて変化してもよい。

　位置分類解析部６６に、複数のＸ％ヒント学習済モデル６３９が含まれていてもよい。たとえば、Ｘが「２０」のＸ％ヒント学習済モデル６３９と、Ｘが「５０」のＸ％ヒント学習済モデル６３９とを組み合わせて使用できる。

　臨床現場においては、カテーテル画像５１から医療器具領域を抽出できない場合がある。たとえば、医療器具が第１腔に挿入されていない場合、および、医療器具が生体組織の表面に密着している場合等である。本変形例によると、このような臨床現場での実際の状況に合致した分類モデル６２を実現できる。そのため、位置情報の検出および分類を精度良く行なえるカテーテルシステム１０を提供できる。

［実施の形態８］
　本実施の形態は、カテーテル画像５１の三次元表示に関する。実施の形態７と共通する部分については、説明を省略する。図３１は、実施の形態８の処理の概要を説明する説明図である。

　本実施の形態においては、画像取得用カテーテル４０の長手方向に沿って連続的に撮影された複数のＲＴ形式カテーテル画像５１８を使用する。制御部２１は、複数のＲＴ形式カテーテル画像５１８を、それぞれ実施の形態７で説明した位置分類解析部６６に入力する。位置分類解析部６６から、それぞれのＲＴ形式カテーテル画像５１８に対応する分類情報と医療器具領域とが出力される。制御部２１は、分類情報と医療器具情報とを第３合成部５４３に入力して合成データ５３６を合成する。

　制御部２１は、複数の合成データ５３６に基づいて、生体組織の三次元構造を示す生体三次元データ５５１を作成する。生体三次元データ５５１は、たとえば三次元空間における体積格子ごとに、生体組織ラベル、第１内腔領域ラベル、第２内腔領域ラベル、非内腔領域ラベル等を示す値を記録した、ボクセルデータである。生体三次元データ５５１は、それぞれの領域の境界を示す複数のポリゴンにより構成されたポリゴンデータであってもよい。複数枚のＲＴ形式のデータに基づいて三次元データ５５を作成する方法は公知であるため、説明を省略する。

　制御部２１は、位置分類解析部６６に含まれる位置情報取得部６５から、それぞれのＲＴ形式カテーテル画像５１８に描出されている医療器具の位置を示す位置情報を取得する。制御部２１は、複数の位置情報に基づいて、医療器具の三次元的な形状を示す医療器具三次元データ５５２を作成する。医療器具三次元データ５５２の詳細については、後述する。

　制御部２１は、生体三次元データ５５１と医療器具三次元データ５５２とを合成して三次元データ５５を生成する。三次元データ５５は、図４を使用して説明したステップＳ５１３の「３Ｄ表示」に使用される。なお、三次元データ５５を合成する際に、制御部２１は合成データ５３６に含まれる医療器具領域を空白領域、または、非生体領域に置換した後に、医療器具三次元データ５５２を合成する。制御部２１は、位置分類解析部６６に含まれる第１合成部５４１から出力される分類情報を用いて生体三次元データ５５１を生成してもよい。

　図３２Ａから図３２Ｄは、位置情報の修正過程の概要を説明する説明図である。図３２Ａから図３２Ｄは、画像取得用カテーテル４０を図の右方向に引きながらカテーテル画像５１を撮影している状態を時系列順に示す模式図である。太い円筒は、第１腔の内面を模式的に示す。

　図３２Ａにおいては、３枚のカテーテル画像５１が撮影済である。それぞれのカテーテル画像５１から抽出された医療器具の位置情報を白丸で示す。図３２Ｂは、４枚目のカテーテル画像５１を撮影した状態を示す。４枚目のカテーテル画像５１から抽出された医療器具の位置情報を黒丸で示す。

　先に撮影された３枚のカテーテル画像５１とは明らかに異なる場所に医療器具が検出されている。一般的に、ＩＶＲで使用する医療器具は、ある程度の剛性を有し急激に屈曲することは考えにくい。したがって、黒丸で示す位置情報は誤検出である可能性が高い。

　図３２Ｃにおいては、さらに２枚のカテーテル画像５１を撮影済である。それぞれのカテーテル画像５１から抽出された医療器具の位置情報を白丸で示す。５個の白丸は、画像取得用カテーテル４０の長手方向に沿ってほぼ一列に並んでいるが、黒丸は大きく離れており、誤検出であることが明らかである。

　図３２Ｄにおいては、５個の白丸に基づいて補完した位置情報を×印で示す。黒丸で示す位置情報の代わりに、×印で示す位置情報を使用することにより、第１腔内の医療器具の形状を三次元画像に正しく表示できる。

　なお、位置情報取得部６５が位置情報の取得に成功しなかった場合、制御部２１は位置分類解析部６６に含まれる第２合成部５４２から取得した医療器具領域の代表点を位置情報に使用してもよい。たとえば医療器具領域の重心を代表点に使用できる。

　図３３は、実施の形態８のプログラムの処理の流れを説明するフローチャートである。図３３を使用して説明するプログラムは、図４を使用して説明したステップＳ５０５でユーザが三次元表示を指定していると判定した場合（ステップＳ５０５で３Ｄ）に実行されるプログラムである。

　図３３のプログラムは、画像取得用カテーテル４０の長手方向に沿って、複数のカテーテル画像５１が撮影されている途中で実行可能である。図３３のプログラムの実行に先立ち、撮影済のカテーテル画像５１についてはそれぞれ分類情報および位置情報が生成済であり、補助記憶装置２３または外部の大容量記憶装置に記憶されている場合を例にして説明する。

　制御部２１は、１枚のカテーテル画像５１に対応する位置情報を取得し、主記憶装置２２または補助記憶装置２３に記録する（ステップＳ６４１）。なお、制御部２１は、一連のカテーテル画像５１のうち、先に記憶されたカテーテル画像５１から順番に処理を行なう。ステップＳ６４１において制御部２１は、一連のカテーテル画像５１のうち最初の数枚のカテーテル画像５１から位置情報を取得して記録してもよい。

　制御部２１は、次の１枚のカテーテル画像５１に対応する位置情報を取得する（ステップＳ６４２）。以下の説明では、処理中の位置情報を第１位置情報と記載する。制御部２１は、ステップＳ６４１および過去のステップＳ６４１で取得した位置情報の中から、第１位置情報に最も近接する位置情報を抽出する（ステップＳ６４３）。以下の説明ではステップＳ６４３で抽出した位置情報を、第２位置情報と記載する。

　なお、ステップＳ６４２においては、複数のカテーテル画像５１を画像取得用カテーテル４０に直交する一つの平面に投影した状態で、位置情報間の距離を比較する。すなわち、第２位置情報を抽出する際には、画像取得用カテーテル４０の長手方向の距離については考慮しない。

　制御部２１は、第１位置情報と第２位置情報との間の距離が所定の閾値以下であるか否かを判定する（ステップＳ６４４）。閾値は、たとえば３ミリメートルである。閾値以下であると判定した場合（ステップＳ６４４でＹＥＳ）、制御部２１は第２位置情報を主記憶装置２２または補助記憶装置２３に記録する（ステップＳ６４５）。

　閾値を超えると判定した場合（ステップＳ６４４でＮＯ）、またはステップＳ６４５の終了後、制御部２１は、記録されている位置情報の処理を終了したか否かを判定する（ステップＳ６４６）。終了していないと判定した場合（ステップＳ６４６でＮＯ）、制御部２１はステップＳ６４２に戻る。

　図３２において黒丸で示した位置情報は、ステップＳ６４４で閾値を超えると判定される位置情報の例示である。制御部２１は、このような位置情報をステップＳ６４５で記録せずに無視する。制御部２１は、ステップＳ６４４でＮＯと判定した場合の処理により、所定の条件を満たさない位置情報を除外する除外部の機能を実現する。なお制御部２１は、ステップＳ６４４で閾値を超えると判定した位置情報に「エラー」を示すフラグを付けて記録してもよい。

　終了したと判定した場合（ステップＳ６４６でＹＥＳ）、制御部２１は、ステップＳ６４１およびステップＳ６４５で記録した位置情報に基づいて、位置情報の補完を行なえるか否かを判定する（ステップＳ６４７）。可能であると判定した場合（ステップＳ６４７でＹＥＳ）、制御部２１は位置情報を補完する（ステップＳ６４８）。

　ステップＳ６４８において制御部２１は、たとえばステップＳ６４４で閾値を超えると判定された位置情報を代替する位置情報を補完する。制御部２１は、カテーテル画像５１同士の間の位置情報を補完してもよい。補完は、たとえば線形補間、スプライン補間、ラグランジェ補間またはニュートン補間等の任意の手法を用いて行なえる。制御部２１は、ステップＳ６４８により位置情報に補完情報を加える補完部の機能を実現する。

　位置情報の補完を行なえないと判定した場合（ステップＳ６４７でＮＯ）、またはステップＳ６４８の終了後、制御部２１は、三次元表示のサブルーチンを起動する（ステップＳ６４９）。三次元表示のサブルーチンは、一連のカテーテル画像５１に基づく三次元表示を行なうサブルーチンである。三次元表示のサブルーチンの処理の流れは後述する。

　制御部２１は、処理を終了するか否かを判定する（ステップＳ６５０）。たとえば、ＭＤＵ３３により新たなプルバック操作、すなわち三次元画像の生成に用いるカテーテル画像５１の撮影が開始された場合、制御部２１は処理を終了すると判定する。

　処理を終了しないと判定した場合（ステップＳ６５０でＮＯ）、制御部２１はステップＳ６４２に戻る。処理を終了すると判定した場合（ステップＳ６５０でＹＥＳ）、制御部２１は処理を終了する。

　なお、制御部２１は、図３３のプログラムの実行と平行して、新たに撮影されたカテーテル画像５１に基づいて、分類情報および位置情報を生成して記録する。すなわち、ステップＳ６４６で終了したと判定した場合に、ステップＳ６４７以降が実行されるが、ステップＳ６４７からステップＳ６５０までを実行する間に、新たな位置情報および分類情報が生成されている可能性がある。

　図３４は、三次元表示のサブルーチンの処理の流れを説明するフローチャートである。三次元表示のサブルーチンは、一連のカテーテル画像５１に基づく三次元表示を行なうサブルーチンである。三次元表示のサブルーチンにより、制御部２１は三次元出力部の機能を実現する。

　制御部２１は、一連のカテーテル画像５１に対応する合成データ５３６を取得する（ステップＳ６６１）。制御部２１は、一連の合成データ５３６に基づいて生体組織の三次元構造を示す生体三次元データ５５１を作成する（ステップＳ６６２）。

　なお、前述のとおり三次元データ５５を合成する際に、制御部２１は合成データ５３６に含まれる医療器具領域を空白領域、または、非生体領域に置換した後に、医療器具三次元データ５５２を合成する。制御部２１は、位置分類解析部６６に含まれる第１合成部５４１から出力される分類情報を用いて生体三次元データ５５１を生成してもよい。制御部２１は、図１８を使用して説明した第１分類データ５２１に基づいて生体三次元データ５５１を生成してもよい。すなわち制御部２１は、複数の第１分類データ５２１に直接的に基づいて生体三次元データ５５１を生成できる。

　制御部２１は、複数の第１分類データ５２１に間接的に基づいて生体三次元データ５５１を生成してもよい。「間接的に基づく」とは、たとえば図３１を使用して説明したように、複数の第１分類データ５２１を用いて生成した複数の合成データ５３６に基づいて生体三次元データ５５１を生成することを意味する。制御部２１は、第１複数の分類データ５２１を用いて生成した合成データ５３６とは異なる複数のデータに基づいて、生体三次元データ５５１を生成してもよい。

　制御部２１は、図３３を使用して説明したプログラムのステップＳ６４１およびステップＳ６４５で記録された一連の位置情報およびステップＳ６４８で補完された補完情報により定められる曲線に太さ情報を付与する（ステップＳ６６３）。太さ情報は、ＩＶＲの手技で一般的に使用される医療器具の太さであることが望ましい。制御部２１は、使用中の医療器具に関する情報を受け付けて、当該医療器具に対応する太さ情報を付与してもよい。太さ情報の付与により、医療器具の三次元形状が再現される。

　制御部２１は、ステップＳ６６２で生成した生体三次元データ５５１に、ステップＳ６６２で生成した医療器具の三次元形状を合成する（ステップＳ６６４）。制御部２１は合成後の三次元データ５５を表示装置３１に表示する（ステップＳ６６５）。

　制御部２１は、三次元表示した画像に対する回転、断面の変更、拡大、縮小等の指示をユーザから受け付けて、表示を変更する。三次元表示した画像に対する指示の受付および表示の変更は従来から行われているため、説明を省略する。制御部２１は処理を終了する。

　本実施の形態によると、位置情報の誤検出による影響を除去し、当な形状の医療器具を表示するカテーテルシステム１０を提供できる。ユーザは、たとえばブロッケンブロー針と、卵円窩との位置関係を容易に把握して、ＩＶＲの手技を行なえる。

　なお、ステップＳ６４３からステップＳ６４５の処理を行なう代わりに、複数の位置情報をクラスタリング処理することにより、他の位置情報から大きく離れた異常な位置情報を除去してもよい。

［変形例８－１］
　本変形例は、医療器具が誤検出されていない場合には、カテーテル画像５１から検出した医療器具領域に基づいて三次元表示を行なうカテーテルシステム１０に関する。実施の形態８と共通する部分については、説明を省略する。

　制御部２１は、図３４を使用して説明したサブルーチンのステップＳ６６３において、たとえばヒント有学習済モデル６３１またはヒント無学習済モデル６３２から出力された医療器具領域に基づいて医療器具の太さを定める。ただし、位置情報が誤りであると判定されたカテーテル画像５１については、前後のカテーテル画像５１の医療器具領域に基づいて太さ情報を補完する。

　本変形例によると、たとえばシースから針を突出させた状態の医療器具等、途中で太さが変化する医療器具を三次元画像中に適切に表示するカテーテルシステム１０を提供できる。

［実施の形態９］
　本実施の形態は、ラジアル走査型の画像取得用カテーテル４０を用いて取得したＲＴ形式カテーテル画像５１８を処理する学習済モデルに適したパディング処理に関する。実施の形態１と共通する部分については、説明を省略する。

　パディング処理は、畳込み処理を行なう前に入力データの周囲にデータを付加する処理である。画像の入力を受け付ける入力層の直後の畳込み処理においては、入力データは入力された画像である。入力層の直後以外の畳込み処理においては、入力データは前の段階で抽出された特徴マップである。画像データを処理する学習済モデルにおいては、畳込層に入力された入力データの周囲に「０」のデータを付与する、いわゆるゼロパディング処理が一般的に行なわれる。

　図３５は、実施の形態９のパディング処理を説明する説明図である。図３５の右端は、畳込層に入力される入力データの模式図である。畳込層は、たとえば医療器具学習済モデル６１１に含まれる第１畳込層、および、角度学習済モデル６１２に含まれる第２畳込層の例示である。畳込層は、ラジアル走査型の画像取得用カテーテル４０を用いて撮影したカテーテル画像５１の処理に用いる任意の学習済モデルに含まれる畳込層であってもよい。

　入力データはＲＴ形式であり、横方向はセンサ４２からの距離に、縦方向は走査角度に対応する。入力データの右上端部および左下端部を拡大した模式図を、図３５の中央に示す。それぞれの枠は画素に対応し、枠内の数値は画素値に対応する。

　図３５の右端は、本実施の形態のパディング処理を行なった後のデータの模式図である。斜体で示す数値が、パディング処理により付加されたデータを示す。入力データの左右の端に「０」のデータが付加される。入力データの上端に、パディング処理を行なう前にデータの下端の「Ａ」で示すデータがコピーされる。入力データの下端に、パディング処理を行なう前にデータの上端の「Ｂ」で示すデータがコピーされている。

　すなわち図３５の右端においては、走査角度が小さい側の外側に走査角度が大きい側と同じデータが付加されており、走査角度が大きい側の外側に走査角度が小さい側と同じデータが付加されている。以下の説明では、図３５を使用して説明したパディング処理をポーラーパディング処理と記載する。

　ラジアル走査型の画像取得用カテーテル４０ではＲＴ形式カテーテル画像５１８の上端と下端とは略同一である。たとえば一つの医療器具または病変部等が、ＲＴ形式カテーテル画像５１８の上下に分離する場合がある。ポーラーパディング処理は、このような特徴を利用した処理である。

　本実施の形態によると、ＲＴ形式の画像の上下の情報を十分に反映する学習済モデルを生成できる。

　学習済モデルが含むすべての畳込層でポーラーパディング処理を行なっても、一部の畳込層でポーラーパディング処理を行なってもよい。

　図３５は入力データの四方にそれぞれ１個のデータを付加するパディング処理を行なう例を示すが、パディング処理は複数個のデータを付加する処理であっても良い。畳込み処理に用いるフィルタのサイズおよびストライド量に応じて、ポーラーパディング処理で付加するデータの数が選択される。

［変形例９－１］
　図３６は、変形例のポーラーパディング処理を説明する説明図である。本変形例のポーラーパディング処理は、ＲＴ形式カテーテル画像５１８を最初に処理する段階の畳込層に有効である。

　図３６の上側は、センサ４２を右向きに引きながらラジアル走査を行なう状態を模式的に示す。センサ４２が一回転する間に取得した走査線データに基づいて図３６の左下に模式的に示す１枚のＲＴ形式カテーテル画像５１８が生成される。ＲＴ形式カテーテル画像５１８は、センサ４２の回転に従い上側から下側に向けて形成される。

　図３６の右下は、ＲＴ形式カテーテル画像５１８にパディング処理を行なった状態を模式的に示す。ＲＴ形式カテーテル画像５１８の上側に、左下がりのハッチングで示す一回転前のＲＴ形式カテーテル画像５１８の終端部のデータが付加される。ＲＴ形式カテーテル画像５１８の下側に、右下がりのハッチングで示す一回転後ろのＲＴ形式カテーテル画像５１８の開始部のデータが付加される。ＲＴ形式カテーテル画像５１８の左右に「０」のデータが付加される。

　本変形例によると、実際の走査線データに基づいたパディング処理を行なうため、さらに正確にＲＴ形式の画像の上下の情報を十分に反映する学習済モデルを生成できる。

［実施の形態１０］
　図３７は、実施の形態１０のカテーテルシステム１０の構成を説明する説明図である。本実施の形態は、カテーテル制御装置２７と、ＭＤＵ３３と、画像取得用カテーテル４０と、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態のカテーテルシステム１０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。

　カテーテル制御装置２７は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像および縦断層像の生成等を行なう、ＩＶＵＳ用の超音波診断装置である。カテーテル制御装置２７の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。

　本実施の形態のカテーテルシステム１０は、コンピュータ９０を含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。

　プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。

　プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。

　コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。

［実施の形態１１］
　図３８は、実施の形態１１の情報処理装置２０の機能ブロック図である。情報処理装置２０は、画像取得部８１と、位置情報取得部８４と、第１データ出力部８５とを備える。画像取得部８１は、画像取得用カテーテル４０により得られた内腔を含むカテーテル画像５１を取得する。位置情報取得部８４は、カテーテル画像５１に含まれる内腔に挿入された医療器具の位置に関する位置情報を取得する。

　第１データ出力部８５は、カテーテル画像５１と位置情報とを入力した場合に、カテーテル画像５１のそれぞれの領域を、生体組織領域、医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データ５６１を出力する第１学習済モデル６３１に、取得したカテーテル画像５１と、取得した位置情報とを入力して第１データ５６１を出力する。

（付記Ａ１）
　第１腔に挿入された画像取得用カテーテルにより得られたカテーテル画像を取得する画像取得部と、
　前記カテーテル画像を入力した場合に、前記第１腔の内側である第１内腔領域および前記画像取得用カテーテルが挿入されていない第２腔の内側である第２内腔領域を含む非生体組織領域と、生体組織領域とを異なる領域として分類した第１分類データを出力する第１分類学習済モデルに、取得した前記カテーテル画像を入力して、前記第１分類データを出力する第１分類データ出力部とを備え、
　前記第１分類学習済モデルは、少なくとも、前記第１内腔領域および前記第２内腔領域を含む前記非生体組織領域と、前記生体組織領域と、が明示された第１訓練データを用いて生成されている
　情報処理装置。

（付記Ａ２）
　前記第１分類データにおいて、前記非生体組織領域から前記第１内腔領域と前記第２内腔領域とをそれぞれ抽出する内腔領域抽出部と、
　前記第１分類データを、前記第１内腔領域と、前記第２内腔領域と、前記生体組織領域とをそれぞれ区別できる態様に変更して出力する第１態様出力部とを備える
　付記Ａ１に記載の情報処理装置。

（付記Ａ３）
　前記第１分類データにおいて、前記非生体組織領域から前記第１内腔領域でも前記第２内腔領域でもない非内腔領域を抽出し、
　前記第１分類データを、前記第１内腔領域と、前記第２内腔領域と、前記非内腔領域と、前記生体組織領域とをそれぞれ区別できる態様に変更して出力する第２態様出力部とを備える
　付記Ａ１または付記Ａ２に記載の情報処理装置。

（付記Ａ４）
　前記第１分類学習済モデルは、前記カテーテル画像を入力した場合に、前記生体組織領域と、前記第１内腔領域と、前記第２内腔領域と、前記非内腔領域とをそれぞれ異なる領域として分類した前記第１分類データを出力する
　付記Ａ３に記載の情報処理装置。

（付記Ａ５）
　前記画像取得用カテーテルは、ラジアル走査型の断層像取得用カテーテルであり、
　前記カテーテル画像は、前記画像取得用カテーテルから取得した複数の走査線データを走査角度順に平行に配列したＲＴ形式画像であり、
　前記第１分類データは、前記ＲＴ形式画像における各画素の分類結果である
　付記Ａ１から付記Ａ４のいずれか一つに記載の情報処理装置。

（付記Ａ６）
　前記第１分類学習済モデルは、
　　複数の畳込層を含み、
　　複数の前記畳込層の少なくとも一つは、走査角度が小さい側の外側に走査角度が大きい側と同じデータを付加し、走査角度が大きい側の外側に走査角度が小さい側と同じデータを付加するパディング処理を行なって学習されている
　付記Ａ５に記載の情報処理装置。

（付記Ａ７）
　前記第１分類学習済モデルは、時系列的に取得した複数の前記カテーテル画像を入力した場合に、複数の前記カテーテル画像のうちの最新の前記カテーテル画像に関して前記非生体組織領域と前記生体組織領域とを分類した前記第１分類データを出力する
　付記Ａ１から付記Ａ６のいずれか一つに記載の情報処理装置。

（付記Ａ８）
　前記第１分類学習済モデルは、
　　過去に入力された前記カテーテル画像に関する情報を保持するメモリ部を備え、
　　前記メモリ部に保持した情報と、複数の前記カテーテル画像のうちの最新の前記カテーテル画像とに基づいて、前記第１分類データを出力する
　付記Ａ７に記載の情報処理装置。

（付記Ａ９）
　前記第１分類学習済モデルは、前記カテーテル画像を入力した場合に、前記生体組織領域と、前記非生体組織領域と、前記第１腔または前記第２腔に挿入されている医療器具を示す医療器具領域とをそれぞれ異なる領域として分類した前記第１分類データを出力する
　付記Ａ１から付記Ａ８のいずれか一つに記載の情報処理装置。

（付記Ａ１０）
　前記カテーテル画像を入力した場合に、前記第１内腔領域を含む前記非生体組織領域と、前記生体組織領域とを異なる領域として分類した第２分類データを出力する第２分類学習済モデルに、取得した前記カテーテル画像を入力して、出力される第２分類データを取得する第２分類データ取得部と、
　前記第１分類データに前記第２分類データを合成した合成分類データを出力する合成分類データ出力部とを備え、
　前記第２分類学習済モデルは、前記非生体組織領域のうち前記第１内腔領域のみが明示された第２訓練データを用いて生成されている
　付記Ａ１から付記Ａ９のいずれか一つに記載の情報処理装置。

（付記Ａ１１）
　前記第２分類学習済モデルは、前記カテーテル画像を入力した場合に、前記生体組織領域と、前記非生体組織領域と、前記第１腔または前記第２腔に挿入されている医療器具を示す医療器具領域とをそれぞれ異なる領域として分類した前記第２分類データを出力する
　付記Ａ１０に記載の情報処理装置。

（付記Ａ１２）
　前記第１分類学習済モデルは、前記カテーテル画像のそれぞれの部分について前記生体組織領域である確率または前記非生体組織領域である確率をさらに出力し、
　前記第２分類学習済モデルは、前記カテーテル画像のそれぞれの部分について前記生体組織領域である確率または前記非生体組織領域である確率をさらに出力し、
　前記合成分類データ出力部は、前記カテーテル画像のそれぞれの部分について前記生体組織領域である確率または前記非生体組織領域である確率を演算した結果に基づいて前記第１分類データに前記第２分類データを合成した合成分類データを出力する
　付記Ａ１０または付記Ａ１１に記載の情報処理装置。

（付記Ａ１３）
　前記画像取得用カテーテルは、前記画像取得用カテーテルの長手方向に沿って複数の前記カテーテル画像を順次取得する三次元走査用カテーテルである
　付記Ａ１から付記Ａ１２のいずれか一つに記載の情報処理装置。

（付記Ａ１４）
　取得した複数の前記カテーテル画像からそれぞれ生成した複数の前記第１分類データに基づいて生成した三次元画像を出力する三次元出力部を備える
　付記Ａ１３に記載の情報処理装置。

（付記Ａ１５）
　第１腔に挿入された画像取得用カテーテルにより得られたカテーテル画像を取得し、
　少なくとも、前記第１腔の内側である第１内腔領域、および、前記画像取得用カテーテルが挿入されていない第２腔の内側である第２内腔領域を含む非生体組織領域と、生体組織領域と、が明示された第１訓練データを用いて生成されており、前記カテーテル画像を入力した場合に、前記非生体組織領域と前記生体組織領域とを異なる領域として分類した第１分類データを出力する第１分類学習済モデルに、取得した前記カテーテル画像を入力して、前記第１分類データを出力する
　処理をコンピュータに実行させる情報処理方法。

（付記Ａ１６）
　第１腔に挿入された画像取得用カテーテルにより得られたカテーテル画像を取得し、
　少なくとも、前記第１腔の内側である第１内腔領域、および、前記画像取得用カテーテルが挿入されていない第２腔の内側である第２内腔領域を含む非生体組織領域と、生体組織領域と、が明示された第１訓練データを用いて生成されており、前記カテーテル画像を入力した場合に、前記非生体組織領域と前記生体組織領域とを異なる領域として分類した第１分類データを出力する第１分類学習済モデルに、取得した前記カテーテル画像を入力して、前記第１分類データを出力する
　処理をコンピュータに実行させるプログラム。

（付記Ａ１７）
　第１腔に挿入された画像取得用カテーテルにより得られたカテーテル画像と、前記カテーテル画像の各部分に対して、生体組織領域であることを示す生体組織領域ラベルと、前記第１腔の内側であることを示す第１内腔領域、前記画像取得用カテーテルが挿入されていない第２腔の内側であることを示す第２内腔領域、および、前記第１内腔領域でも前記第２内腔領域でもない非内腔領域を含む非生体組織領域ラベルと、を有する複数のラベルを付与したラベルデータと、を関連づけて記録した複数組の訓練データを取得し、
　前記複数組の訓練データを用いて、前記カテーテル画像を入力、前記ラベルデータを出力として、前記カテーテル画像が入力された場合に、前記カテーテル画像の各部分に対して、前記生体組織領域ラベルと前記非生体組織領域ラベルとを出力する学習済モデルを生成する
　学習済モデルの生成方法。

（付記Ａ１８）
　前記複数組の訓練データの前記非生体組織領域ラベルは、前記第１内腔領域を示す第１内腔領域ラベル、前記第２内腔領域を示す第２内腔領域ラベルおよび前記非内腔領域を示す非内腔領域ラベルを有し、
　前記複数組の訓練データを用いて、前記カテーテル画像を入力、前記ラベルデータを出力として、前記カテーテル画像が入力された場合に、前記カテーテル画像の各部分に対して、前記生体組織領域ラベル、前記第１内腔領域ラベル、前記第２内腔領域ラベルおよび前記非内腔領域ラベルを出力する学習済モデルを生成する
　付記Ａ１７に記載の学習済モデルの生成方法。

（付記Ａ１９）
　第１腔に挿入された画像取得用カテーテルにより得られたカテーテル画像と、前記カテーテル画像における前記第１腔の内側の境界線を示す境界線データを基に生成された、生体組織領域であることを示す生体組織領域ラベルと、前記第１腔の内側であることを示す第１内腔領域を含む非生体組織領域ラベルとを有する複数のラベルを付与したラベルデータと、を関連づけて記録した複数組の訓練データを取得し、
　前記複数組の訓練データを用いて、前記カテーテル画像を入力、前記ラベルデータを出力として、前記カテーテル画像が入力された場合に、前記カテーテル画像の各部分に対して、前記生体組織領域ラベルと前記非生体組織領域ラベルとを出力する学習済モデルを生成する
　学習済モデルの生成方法。

（付記Ａ２０）
　前記カテーテル画像は、ラジアル走査型の前記画像取得用カテーテルにより得られた、
　一回転分の走査線データを走査角度順に平行に配列したＲＴ形式画像であり、
　前記学習済モデルは複数の畳込層を含み、
　前記畳込層の少なくとも一つは、走査角度が小さい側の外側に走査角度が大きい側と同じデータを付加し、走査角度が大きい側の外側に走査角度が小さい側と同じデータを付加するパディング処理を行なって学習する
　付記Ａ１７から付記Ａ１９のいずれか一つに記載の学習済モデルの生成方法。

（付記Ｂ１）
　ラジアル走査型の画像取得用カテーテルにより得られたカテーテル画像を取得する画像取得部と、
　前記カテーテル画像を入力した場合に、前記カテーテル画像に含まれる医療器具の位置に関する第１位置情報を出力する医療器具学習済モデルに、取得した前記カテーテル画像を入力して、前記第１位置情報を出力する第１位置情報出力部と
　を備える情報処理装置。

（付記Ｂ２）
　前記第１位置情報出力部は、前記カテーテル画像に含まれる１個の画素の位置を用いて前記第１位置情報を出力する
　付記Ｂ１に記載の情報処理装置。

（付記Ｂ３）
　前記第１位置情報出力部は、時系列的に得られた複数の前記カテーテル画像にそれぞれ対応する時系列的な前記第１位置情報を取得する第１位置情報取得部と
　時系列的な前記第１位置情報から、所定の条件を満たさない前記第１位置情報を除外する除外部と、
　時系列的な前記第１位置情報に、所定の条件を満たす補完情報を加える補完部と
　を備える付記Ｂ１または付記Ｂ２に記載の情報処理装置。

（付記Ｂ４）
　前記医療器具学習済モデルは、時系列的に取得した複数の前記カテーテル画像を入力した場合に、複数の前記カテーテル画像のうちの最新の前記カテーテル画像に関して前記第１位置情報を出力する
　付記Ｂ１から付記Ｂ３のいずれか一つに記載の情報処理装置。

（付記Ｂ５）
　前記医療器具学習済モデルは、
　　過去に入力された前記カテーテル画像に関する情報を保持するメモリ部を備え、
　　前記メモリ部に保持した情報と、複数の前記カテーテル画像のうちの最新の前記カテーテル画像とに基づいて、前記第１位置情報を出力する
　付記Ｂ４に記載の情報処理装置。

（付記Ｂ６）
　前記医療器具学習済モデルは、
　　前記画像取得用カテーテルから取得した複数の走査線データを走査角度順に平行に配列したＲＴ形式画像で前記カテーテル画像の入力を受け付け、
　　複数の第１畳込層を含み、
　　複数の前記第１畳込層の少なくとも一つは、走査角度が小さい側の外側に走査角度が大きい側と同じデータを付加し、走査角度が大きい側の外側に走査角度が小さい側と同じデータを付加するパディング処理を行なって学習されている
　付記Ｂ１から付記Ｂ５のいずれか一つに記載の情報処理装置。

（付記Ｂ７）
　前記カテーテル画像を入力した場合に、前記カテーテル画像に含まれる医療器具の位置に関する走査角度情報を出力する角度学習済モデルに、取得した前記カテーテル画像を入力して、出力された前記走査角度情報を取得する走査角度情報取得部と、
　前記医療器具学習済モデルから出力された前記第１位置情報と、前記角度学習済モデルから出力された前記走査角度情報とに基づいて、前記カテーテル画像に含まれる医療器具の位置に関する第２位置情報を出力する第２位置情報出力部とを備える
　付記Ｂ１から付記Ｂ６のいずれか一つに記載の情報処理装置。

（付記Ｂ８）
　前記角度学習済モデルは、
　　前記画像取得用カテーテルから取得した複数の走査線データを走査角度順に平行に配列したＲＴ形式画像で前記カテーテル画像の入力を受け付け、
　　複数の第２畳込層を含み、
　　複数の前記第２畳込層の少なくとも一つは、走査角度が小さい側の外側に走査角度が大きい側と同じデータを付加し、走査角度が大きい側の外側に走査角度が小さい側と同じデータを付加するパディング処理を行なって学習されている
　付記Ｂ７に記載の情報処理装置。

（付記Ｂ９）
　前記医療器具学習済モデルは、前記カテーテル画像と、前記カテーテル画像に含まれる医療器具の位置とを関連づけて記録した複数組の訓練データを用いて生成されている
　付記Ｂ１から付記Ｂ８のいずれか一つに記載の情報処理装置。

（付記Ｂ１０）
　前記訓練データは、
　　前記画像取得用カテーテルにより得られた前記カテーテル画像を表示し、
　　前記カテーテル画像に対する一回のクリック操作または一回のタップ操作により、前記カテーテル画像に含まれる医療器具の位置を受け付け、
　　前記カテーテル画像と、医療器具の位置とを関連づけて記憶する処理により生成されている
　付記Ｂ９に記載の情報処理装置。

（付記Ｂ１１）
　前記訓練データは、
　　前記医療器具学習済モデルに前記カテーテル画像を入力し、
　前記医療器具学習済モデルから出力された前記第１位置情報を、入力した前記カテーテル画像に重畳して表示し、
　　前記カテーテル画像に含まれる医療器具の位置に関する訂正指示を受け付けない場合、前記カテーテル画像と前記第１位置情報とを関連づけた非訂正データを前記訓練データとして記憶し、
　前記カテーテル画像に含まれる医療器具の位置に関する訂正指示を受け付けた場合、前記カテーテル画像と前記訂正指示に基づく医療器具の位置に関する情報とを関連づけた訂正データを前記訓練データとして記憶する処理により生成されている
　付記Ｂ９に記載の情報処理装置。

（付記Ｂ１２）
　画像取得用カテーテルにより得られたカテーテル画像と、前記カテーテル画像に含まれる医療器具の位置に関する第１位置情報とを関連づけて記録した複数組の訓練データを取得し、
　複数組の前記訓練データに基づいて、前記カテーテル画像が入力された場合に前記カテーテル画像に含まれる医療器具の位置に関する第１位置情報を出力する学習済モデルを生成する
　学習済モデルの生成方法。

（付記Ｂ１３）
　前記第１位置情報は、前記カテーテル画像に含まれる１個の画素の位置に関する情報である
　付記Ｂ１２に記載の学習済モデルの生成方法。

（付記Ｂ１４）
　画像取得用カテーテルにより得られた内腔を含むカテーテル画像を表示し、
　前記カテーテル画像に対する一回のクリック操作または一回のタップ操作により、前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する第１位置情報を受け付け、
　前記カテーテル画像と、前記第１位置情報とを関連づけた訓練データを記憶する
　処理をコンピュータに実行させる訓練データ生成方法。

（付記Ｂ１５）
　前記第１位置情報は、前記カテーテル画像に含まれる１個の画素の位置に関する情報である
　付記Ｂ１４に記載の訓練データ生成方法。

（付記Ｂ１６）
　前記カテーテル画像に対して前記第１位置情報を受け付けた場合、
　時系列的に連続して得られた別のカテーテル画像を表示する
　付記Ｂ１４または付記Ｂ１５に記載の訓練データ生成方法。

（付記Ｂ１７）
　前記画像取得用カテーテルは、ラジアル走査型の断層像取得用カテーテルであり、
　前記カテーテル画像の表示は、前記画像取得用カテーテルから取得した複数の走査線データを走査角度順に平行に配列したＲＴ形式画像と、前記走査線データに基づくデータを前記画像取得用カテーテルの周囲に放射状に配置したＸＹ形式画像との２枚を並べて表示し、
　前記第１位置情報は、前記ＲＴ形式画像と前記ＸＹ形式画像とのいずれの画像からも受け付ける
　付記Ｂ１４から付記Ｂ１６のいずれか一つに記載の訓練データ生成方法。

（付記Ｂ１８）
　画像取得用カテーテルにより得られたカテーテル画像を入力した場合に前記カテーテル画像に含まれる医療器具の位置に関する第１位置情報を出力する医療器具学習済モデルに、前記カテーテル画像を入力し、
　前記医療器具学習済モデルから出力された前記第１位置情報を、入力した前記カテーテル画像に重畳して表示し、
　前記カテーテル画像に含まれる医療器具の位置に関する訂正指示を受け付けない場合、前記カテーテル画像と前記第１位置情報とを関連づけた非訂正データを訓練データとして記憶し、
　前記カテーテル画像に含まれる医療器具の位置に関する訂正指示を受け付けた場合、前記カテーテル画像と受け付けた医療器具の位置に関する情報とを関連づけた訂正データを前記訓練データとして記憶する
　処理をコンピュータに実行させる訓練データ生成方法。

（付記Ｂ１９）
　前記非訂正データおよび前記訂正データは、前記カテーテル画像に含まれる１個の画素の位置に関するデータである
　付記Ｂ１８に記載の訓練データ生成方法。

（付記Ｂ２０）
　時系列的に得られた複数の前記カテーテル画像を順番に前記医療器具学習済モデルに入力し、
　出力されたそれぞれの位置を入力した前記カテーテル画像に重畳して順番に表示する
　付記Ｂ１８または付記Ｂ１９に記載の訓練データ生成方法。

（付記Ｂ２１）
　前記医療器具の位置は、一回のクリック操作または一回のタップ操作により受け付ける
　付記Ｂ１８から付記Ｂ２０のいずれか一つに記載の訓練データ生成方法。

（付記Ｂ２２）
　前記画像取得用カテーテルは、ラジアル走査型の断層像取得用カテーテルであり、
　前記カテーテル画像の表示は、前記画像取得用カテーテルから取得した複数の走査線データを走査角度順に平行に配列したＲＴ形式画像と、前記走査線データに基づくデータを前記画像取得用カテーテルの周囲に放射状に配置したＸＹ形式画像との２枚を並べて表示し、
　前記医療器具の位置は、前記ＲＴ形式画像と前記ＸＹ形式画像とのいずれの画像からも受け付ける
　付記Ｂ１８から付記Ｂ２１のいずれか一つに記載の訓練データ生成方法。

（付記Ｃ１）
　画像取得用カテーテルにより得られた内腔を含むカテーテル画像を取得する画像取得部と、
　前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得する位置情報取得部と、
　前記カテーテル画像と前記位置情報とを入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データを出力する第１学習済モデルに、取得した前記カテーテル画像と、取得した前記位置情報とを入力して前記第１データを出力する第１データ出力部と
　を備える情報処理装置。

（付記Ｃ２）
　前記位置情報取得部は、
　　前記カテーテル画像を入力した場合に、前記カテーテル画像に含まれる前記位置情報を出力する医療器具学習済モデルに、取得した前記カテーテル画像を入力して、前記医療器具学習済モデルから前記位置情報を取得する
　付記Ｃ１に記載の情報処理装置。

（付記Ｃ３）
　前記位置情報を入力せずに前記カテーテル画像を入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第２データを出力する第２モデルに、取得した前記カテーテル画像を入力して前記第２データを取得する第２データ取得部と
　前記第１データと前記第２データとを合成した合成データを出力する合成データ出力部とを備える
　付記Ｃ２に記載の情報処理装置。

（付記Ｃ４）
　前記合成データ出力部は、
　　前記第１データおよび前記第２データのうち、前記生体組織領域および前記非生体組織領域に分類された生体組織関連領域に関するデータを合成した第１合成データを出力する第１合成データ出力部と、
　　前記第１データおよび前記第２データのうち、前記医療器具領域に関するデータを合成した第２合成データを出力する第２合成データ出力部とを備える
　付記Ｃ３に記載の情報処理装置。

（付記Ｃ５）
　前記第２合成データ出力部は、
　　前記医療器具学習済モデルから前記位置情報を取得できた場合、前記第１データに含まれる前記医療器具領域に関するデータを使用して前記第２合成データを出力し、
　　前記医療器具学習済モデルから前記位置情報を取得できなかった場合、前記第２データに含まれる前記医療器具領域に関するデータを使用して前記第２合成データを出力する
　付記Ｃ４に記載の情報処理装置。

（付記Ｃ６）
　前記合成データ出力部は、前記第１データの信頼度および前記第２データの信頼度に応じた重みづけに基づいて前記医療器具領域に関するデータを合成した前記第２合成データを出力する
　付記Ｃ４に記載の情報処理装置。

（付記Ｃ７）
　前記信頼度は、前記医療器具学習済モデルから前記位置情報を取得できたか否かに基づいて定められる
　付記Ｃ６に記載の情報処理装置。

（付記Ｃ８）
　前記合成データ出力部は、
　　前記医療器具学習済モデルから前記位置情報を取得できた場合、前記第１データの信頼度を前記第２データの信頼度よりも高く設定し、
　　前記医療器具学習済モデルから前記位置情報を取得できない場合、前記第１データの信頼度を前記第２データの信頼度よりも低く設定する
　付記Ｃ６に記載の情報処理装置。

（付記Ｃ９）
　前記画像取得用カテーテルは、前記画像取得用カテーテルの長手方向に沿って複数の前記カテーテル画像を順次取得する三次元走査用カテーテルである
　付記Ｃ１から付記Ｃ８のいずれか一つに記載の情報処理装置。

（付記Ｃ１０）
　画像取得用カテーテルにより得られた内腔を含むカテーテル画像を取得し、
　前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得し、
　前記カテーテル画像と前記カテーテル画像に含まれる前記医療器具の位置に関する位置情報とを入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データを出力する第１学習済モデルに、取得した前記カテーテル画像と、取得した位置情報とを入力して前記第１データを出力する
　処理をコンピュータに実行させる情報処理方法。

（付記Ｃ１１）
　画像取得用カテーテルにより得られた内腔を含むカテーテル画像を取得し、
　前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得し、
　前記カテーテル画像と前記カテーテル画像に含まれる前記医療器具の位置に関する位置情報とを入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データを出力する第１学習済モデルに、取得した前記カテーテル画像と、取得した位置情報とを入力して前記第１データを出力する
　処理をコンピュータに実行させるプログラム。

　各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　１０　　カテーテルシステム
　２０　　情報処理装置
　２１　　制御部
　２２　　主記憶装置
　２３　　補助記憶装置
　２４　　通信部
　２５　　表示部
　２６　　入力部
　２７　　カテーテル制御装置
　２７１　カテーテル制御部
　２９　　読取部
　３１　　表示装置
　３２　　入力装置
　３３　　ＭＤＵ
　３７　　画像診断装置
　４０　　画像取得用カテーテル
　４１　　プローブ部
　４２　　センサ
　４３　　シャフト
　４４　　先端マーカ
　４５　　コネクタ部
　４６　　ガイドワイヤルーメン
　５１　　カテーテル画像
　５１８　ＲＴ形式カテーテル画像（カテーテル画像）
　５１９　ＸＹ形式カテーテル画像
　５２　　分類データ（ヒント無分類データ、第２データ）
　５２１　第１分類データ（ラベルデータ）
　５２２　第２分類データ（ラベルデータ）
　５２６　合成分類データ
　５２８　ＲＴ形式分類データ
　５２９　ＸＹ形式分類データ
　５３６　合成データ　
　５４１　第１合成部
　５４２　第２合成部
　５４３　第３合成部
　５５　　三次元データ
　５５１　生体三次元データ
　５５２　医療器具三次元データ
　５６１　ヒント有分類データ（第１データ）
　６１１　医療器具学習済モデル
　６１２　角度学習済モデル
　６１５　位置情報合成部
　６１９　位置情報モデル
　６２　　分類モデル（第２モデル）
　６２１　第１分類学習済モデル
　６２２　第２分類学習済モデル
　６２６　合成分類モデル
　６２８　分類データ合成部
　６２９　分類データ変換部
　６３１　ヒント有学習済モデル（第１学習済モデル）
　６３２　ヒント無学習済モデル（第２学習済モデル）
　６３９　Ｘ％ヒント学習済モデル
　６５　　位置情報取得部
　６６　　位置分類解析部
　７１　　医療器具位置訓練データＤＢ
　７２　　ヒント有訓練データＤＢ
　７８１　カーソル
　７８２　制御ボタンエリア
　８１　　画像取得部
　８２　　第１分類データ出力部
　９０　　コンピュータ
　９６　　可搬型記録媒体
　９７　　プログラム
　９８　　半導体メモリ

Claims

　画像取得用カテーテルにより得られた内腔を含むカテーテル画像を取得する画像取得部と、
　前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得する位置情報取得部と、
　前記カテーテル画像と前記位置情報とを入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データを出力する第１学習済モデルに、取得した前記カテーテル画像と、取得した前記位置情報とを入力して前記第１データを出力する第１データ出力部と
　を備える情報処理装置。
　前記位置情報取得部は、
　　前記カテーテル画像を入力した場合に、前記カテーテル画像に含まれる前記位置情報を出力する医療器具学習済モデルに、取得した前記カテーテル画像を入力して、前記医療器具学習済モデルから前記位置情報を取得する
　請求項１に記載の情報処理装置。
　前記位置情報を入力せずに前記カテーテル画像を入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第２データを出力する第２モデルに、取得した前記カテーテル画像を入力して前記第２データを取得する第２データ取得部と
　前記第１データと前記第２データとを合成した合成データを出力する合成データ出力部とを備える
　請求項２に記載の情報処理装置。
　前記合成データ出力部は、
　　前記第１データおよび前記第２データのうち、前記生体組織領域および前記非生体組織領域に分類された生体組織関連領域に関するデータを合成した第１合成データを出力する第１合成データ出力部と、
　　前記第１データおよび前記第２データのうち、前記医療器具領域に関するデータを合成した第２合成データを出力する第２合成データ出力部とを備える
　請求項３に記載の情報処理装置。
　前記第２合成データ出力部は、
　　前記医療器具学習済モデルから前記位置情報を取得できた場合、前記第１データに含まれる前記医療器具領域に関するデータを使用して前記第２合成データを出力し、
　　前記医療器具学習済モデルから前記位置情報を取得できなかった場合、前記第２データに含まれる前記医療器具領域に関するデータを使用して前記第２合成データを出力する
　請求項４に記載の情報処理装置。
　前記合成データ出力部は、前記第１データの信頼度および前記第２データの信頼度に応じた重みづけに基づいて前記医療器具領域に関するデータを合成した前記第２合成データを出力する
　請求項４に記載の情報処理装置。
　前記信頼度は、前記医療器具学習済モデルから前記位置情報を取得できたか否かに基づいて定められる
　請求項６に記載の情報処理装置。
　前記合成データ出力部は、
　　前記医療器具学習済モデルから前記位置情報を取得できた場合、前記第１データの信頼度を前記第２データの信頼度よりも高く設定し、
　　前記医療器具学習済モデルから前記位置情報を取得できない場合、前記第１データの信頼度を前記第２データの信頼度よりも低く設定する
　請求項６に記載の情報処理装置。
　前記画像取得用カテーテルは、前記画像取得用カテーテルの長手方向に沿って複数の前記カテーテル画像を順次取得する３次元走査用カテーテルである
　請求項１から請求項８のいずれか一つに記載の情報処理装置。
　画像取得用カテーテルにより得られた内腔を含むカテーテル画像を取得し、
　前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得し、
　前記カテーテル画像と前記カテーテル画像に含まれる前記医療器具の位置に関する位置情報とを入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データを出力する第１学習済モデルに、取得した前記カテーテル画像と、取得した位置情報とを入力して前記第１データを出力する
　処理をコンピュータに実行させる情報処理方法。
　画像取得用カテーテルにより得られた内腔を含むカテーテル画像を取得し、
　前記カテーテル画像に含まれる前記内腔に挿入された医療器具の位置に関する位置情報を取得し、
　前記カテーテル画像と前記カテーテル画像に含まれる前記医療器具の位置に関する位置情報とを入力した場合に、前記カテーテル画像のそれぞれの領域を、生体組織領域、前記医療器具が存在する医療器具領域および非生体組織領域の少なくとも３つに分類した第１データを出力する第１学習済モデルに、取得した前記カテーテル画像と、取得した位置情報とを入力して前記第１データを出力する
　処理をコンピュータに実行させるプログラム。