JP7581331B2 - プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム - Google Patents

Description

特許法第３０条第２項適用 令和 １年１０月３１日に、テルモ株式会社のウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｔｅｒｕｍｏ．ｃｏ．ｊｐ／ｐｒｅｓｓｒｅｌｅａｓｅ／ｄｅｔａｉｌ／２０１９１０３１／１００７／）にて公開 令和 １年１１月１９日に、日経産業新聞 令和元年１１月１９日第９面にて公開

本発明は、プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システムに関する。

血管等の管腔器官に画像診断用カテーテルを挿入して、断層像を撮影するカテーテルシステムが使用されている（特許文献１）。

国際公開第２０１７／１６４０７１号

画像診断用カテーテルを用いて撮影した断層像の読影には熟練を要する。そのため、カテーテルシステムを使用するためには長時間のトレーニングが必要である。

一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供することを目的とする。

プログラムは、管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれの前記オブジェクトの範囲とを関連づけて出力する第１モデルに、取得した前記断層像を入力して、前記第１モデルから出力されたオブジェクトの種類と範囲とを取得し、前記断層像は、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向に対して交差する方向に切断した断面を示す横断層像であり、複数枚の前記横断層像のそれぞれについて、前記オブジェクトの種類および範囲をマッピングして記憶し、複数枚の前記横断層像に基づいて生成された、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向と平行な方向に切断した断面を示す縦断層像に前記オブジェクトの種類および範囲をマッピングして出力する処理をコンピュータに実行させる。

一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供できる。

カテーテルシステムの概要を説明する説明図である。 画像診断用カテーテルの概要を説明する説明図である。 カテーテルシステムの構成を説明する説明図である。 第１モデルを説明する説明図である。 カテーテルシステムが表示する画面の例である。 カテーテルシステムが表示する画面の例である。 カテーテルシステムが表示する画面の例である。 プログラムの処理の流れを説明するフローチャートである。 実施の形態２のカテーテルシステムの構成を説明する説明図である。 実施の形態３のカテーテルシステムが表示する画面の例である。 実施の形態３のカテーテルシステムが表示する画面の例である。 実施の形態３のプログラムの処理の流れを説明するフローチャートである。 第２モデルの構成を説明する説明図である。 実施の形態４のカテーテルシステムが表示する画面の例である。 実施の形態４のプログラムの処理の流れを説明するフローチャートである。 実施の形態５のカテーテルシステムが表示する画面の例である。 実施の形態５のプログラムの処理の流れを説明するフローチャートである。 訓練データＤＢのレコードレイアウトを説明する説明図である。 実施の形態６のプログラムの処理の流れを説明するフローチャートである。 実施の形態６のプログラムの処理の流れを説明するフローチャートである。 第１修正ＤＢのレコードレイアウトを説明する説明図である。 実施の形態７のカテーテルシステムが表示する画面の例である。 第２修正ＤＢのレコードレイアウトを説明する説明図である。 実施の形態７のカテーテルシステムが表示する画面の例である。 実施の形態８のカテーテルシステムの機能ブロック図である。 実施の形態９のカテーテルシステムの構成を説明する説明図である。

［実施の形態１］
図１は、カテーテルシステム１０の概要を説明する説明図である。カテーテルシステム１０は、画像診断用カテーテル４０と、ＭＤＵ（Motor Driving Unit）３３と、情報処理装置２０とを備える。画像診断用カテーテル４０は、ＭＤＵ３３を介して情報処理装置２０に接続されている。情報処理装置２０には、表示装置３１および入力装置３２が接続されている。入力装置３２は、たとえばキーボード、マウス、トラックボールまたはマイク等である。表示装置３１と入力装置３２とは、一体に積層されて、タッチパネルを構成していてもよい。入力装置３２と情報処理装置２０とは、一体に構成されていてもよい。

図２は、画像診断用カテーテル４０の概要を説明する説明図である。画像診断用カテーテル４０は、プローブ部４１と、プローブ部４１の端部に配置されたコネクタ部４５とを有する。プローブ部４１は、コネクタ部４５を介してＭＤＵ３３に接続される。以下の説明では画像診断用カテーテル４０のコネクタ部４５から遠い側を先端側と記載する。

プローブ部４１の内部に、シャフト４３が挿通されている。シャフト４３の先端側に、センサ４２が接続されている。プローブ部４１の先端部近傍に、環状の先端マーカ４４が固定されている。

ＭＤＵ３３の機能により、プローブ部４１の内部でセンサ４２およびシャフト４３が回転しながら進退可能である。センサ４２を一定の速度でＭＤＵ３３側に向けて引っ張りながら回転させるプルバック操作により、プローブ部４１を中心とし、プローブ部４１に略垂直な複数枚の横断層像４８５（図４参照）が、所定の間隔で連続的に撮影される。

センサ４２は、たとえば超音波の送受信を行なう超音波トランスデューサ、または、近赤外光の照射と反射光の受信を行なうＯＣＴ（Optical Coherence Tomography）用の送受信部である。画像診断用カテーテル４０が挿入されて、使用される管腔器官は、たとえば血管、膵管、胆管または気管支等である。

図２は、血管の内側から超音波断層像を撮影する際に用いられるＩＶＵＳ（Intravascular Ultrasound）用の画像診断用カテーテル４０の例を示す。以下の説明では、画像診断用カテーテル４０はＩＶＵＳ用カテーテルである場合を例にして説明する。

なお、画像診断用カテーテル４０は機械的に回転および進退を行なう機械走査方式に限定しない。複数の超音波トランスデューサを環状に配置したセンサ４２を用いた、電子ラジアル走査型の画像診断用カテーテル４０であってもよい。

画像診断用カテーテル４０は、長手方向に沿って複数の超音波トランスデューサを一列に配置した、いわゆるリニア走査型のセンサ４２を有してもよい。画像診断用カテーテル４０は、複数の超音波トランスデューサをマトリクス状に配置した、いわゆる２次元アレイ型のセンサ４２を有してもよい。

画像診断用カテーテル４０は、血管壁等の管腔壁に加えて、たとえば赤血球等の管腔器官の管腔内部に存在する反射体、および、たとえば心嚢、心臓等の管腔器官の外側に存在する臓器を含む断層像を撮影できる。

図３は、カテーテルシステム１０の構成を説明する説明図である。前述の通りカテーテルシステム１０は、情報処理装置２０、ＭＤＵ３３および画像診断用カテーテル４０を有する。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、カテーテル制御部２７１およびバスを備える。

制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム、第１モデル６１およびプログラムの実行に必要な各種データが保存される。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。

表示部２５は、表示装置３１とバスとを接続するインターフェイスである。入力部２６は、入力装置３２とバスとを接続するインターフェイスである。カテーテル制御部２７１は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像４８５および縦断層像の生成等を行なう。カテーテル制御部２７１の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。なお、制御部２１が、カテーテル制御部２７１の機能を実現してもよい。

情報処理装置２０は、ＨＩＳ（Hospital Information System）等を介して、Ｘ線血管撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、または超音波診断装置等の様々な画像診断装置３７と接続されている。

本実施の形態の情報処理装置２０は、専用の超音波診断装置、または、超音波診断装置の機能を有するパソコン、タブレット、または、スマートフォン等である。

図４は、第１モデル６１を説明する説明図である。第１モデル６１は、横断層像４８５を受け付けて、横断層像４８５に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけてマッピングしたオブジェクト配置像４８２を出力するモデルである。第１モデル６１は、機械学習により生成されている。

図４に示すオブジェクト配置像４８２において、縦線のハッチングは、「画像診断用カテーテル４０の断面」を、横線のハッチングは「管腔器官壁」を、右下がりのハッチングは「管腔器官の内側」を、左下がりのハッチングは「ガイドワイヤ」を、細い格子状のハッチングは「石灰化」をそれぞれ示す。

「ガイドワイヤ」は、ガイドワイヤ自体、ガイドワイヤによって生じた多重エコー、および、ガイドワイヤによって生じた音響陰影を含む。同様に「石灰化」は、石灰化した部分自体、石灰化した部分によって生じた多重エコー、および、石灰化した部分によって生じた音響陰影を含む。

図４中のハッチングは、それぞれのオブジェクトを異なる色で塗り分けていることを模式的に示す。オブジェクトの塗り分けは、それぞれのオブジェクトを区別して表示する方法の一例である。それぞれのオブジェクトの外縁を囲む等の任意の態様により、他のオブジェクトと識別可能に表示してもよい。

ここで、「画像診断用カテーテル４０の断面」、「管腔器官壁」、「管腔器官の内側」、「ガイドワイヤ」および「石灰化」は、横断層像４８５に含まれるオブジェクトの例示である。たとえば、「ガイドワイヤ自体」と、「ガイドワイヤによって生じた多重エコー」と、「ガイドワイヤによって生じた音響陰影」とが、それぞれ異なるオブジェクトに分類されてもよい。同様に、管腔器官壁に生じた「プラーク」、「解離」等の病変部が、それぞれ異なるオブジェクトに分類されてもよい。

以後の説明においては、縦断層像を生成可能な複数の横断層像４８５の組を１セットの横断層像４８５と記載する。同様に、画像診断用カテーテル４０を使用して縦断層像を生成可能な１セットの横断層像４８５を取得することを、１回の画像取得と記載する。１セットの横断層像４８５の入力を受け付けて、それぞれの横断層像４８５に対応するオブジェクト配置像４８２を出力する第１モデル６１の例を以下に説明する。

１セットの横断層像４８５は、たとえばＭＤＵ３３による１回のプルバック操作により取得される。１セットの横断層像４８５は、ユーザが手動で画像診断用カテーテル４０の押し引き操作を行なっている間に取得されてもよい。ここで画像診断用カテーテル４０の押し引き操作には、プローブ部４１を押し引きする操作と、プローブ部４１の内部でセンサ４２を押し引きする操作との両方を含む。

たとえば、ユーザはセンサ４２を略一定の速度で引き戻す操作、または、押し込む操作を行なう。ユーザが音声入力等により取得開始を指示してから、取得終了を指示するまでの間に取得された横断層像４８５が、１セットの横断層像４８５を構成する。

ユーザがセンサ４２を押し引きする量を検出するセンサ等を設けてもよい。ユーザがセンサ４２を所定の範囲にわたって引き戻す間、または押し込む間に取得された画像が、１セットの横断層像４８５を構成する。

センサ４２の位置を検出可能である場合には、ユーザはセンサ４２の押し引き操作を任意の速度および向きで行なってもよい。プローブ部４１の長手方向に沿った順番に並べ替えた横断層像４８５が、１セットの横断層像４８５を構成する。横断層像４８５間の間隔が一定でない場合には、それぞれの横断層像４８５にはプローブ部４１の長手方向に沿った位置情報が関連づけて記録される。なお、以下の説明では、横断層像４８５の間隔が一定である場合を例に説明する。

前述のとおり、第１モデル６１はＭＤＵ３３によるプルバック操作で得た１セットの横断層像４８５を受け付けるモデルであっても、センサ４２を手動操作で進退させて得た１セットの横断層像４８５の入力を受け付けるモデルであってもよい。第１モデル６１は、１枚の横断層像４８５の入力を受け付けるモデルであってもよい。第１モデル６１は、１回のプルバック操作で得た横断層像４８５のうちの半分、または１／３等の入力を受け付けるモデルであってもよい。

第１モデル６１は、たとえばセマンティックセグメンテーションモデルであり、入力層と、ニューラルネットワークと、出力層とを備える。ニューラルネットワークは、たとえばセマンティックセグメンテーションを実現するＵ－Ｎｅｔ構造を有する。Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。セマンティックセグメンテーションにより、入力された画像を構成するそれぞれの画素に対して、オブジェクトの種類を示すラベルが付与される。

制御部２１は、ラベルにしたがってそれぞれの画素の表示方法を定めることにより図４のオブジェクト配置像４８２に示すように、オブジェクトをその種類ごとに異なる色または地模様等の態様によりマッピングした出力画像を生成できる。

第１モデル６１は、Ｍａｓｋ Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）モデル、その他任意の機械学習アルゴリズムに基づいて生成された、画像のセグメンテーションを実現するモデルであってもよい。

第１モデル６１は、Ｒ－ＣＮＮ等の物体検出を実現するモデルであっても良い。セグメンテーションを行なわずに物体検出を行なうモデルを使用する場合、制御部２１は対象を検出した部分をバウンディングボックスで囲むとともに、「石灰化」等の文字をバウンディングボックスの近傍に表示する。

なお、１セットの横断層像４８５全体を入力データにすることにより、隣接する横断層像４８５の情報がオブジェクト配置像４８２に反映される。したがって、個々の横断層像４８５中のノイズ等の影響を受けにくく、オブジェクトの範囲を正確に出力する第１モデル６１を実現できる。

図５は、カテーテルシステム１０が表示する画面の例である。図５に示す画面は、横断層像欄５１、横オブジェクト配置像欄５１５および縦オブジェクト配置像欄５２５を有する。横断層像欄５１には、前述の横断層像４８５が表示されている。横オブジェクト配置像欄５１５には、横断層像欄５１に表示された横断層像４８５に対応するオブジェクト配置像４８２が表示されている。

縦オブジェクト配置像欄５２５には、縦断層像に対応するオブジェクト配置像４８２が表示されている。縦断層像に対応するオブジェクト配置像４８２は、縦断層像と同様に１セットの横断層像４８５それぞれに対応するオブジェクト配置像４８２に基づいて形成される。

具体的には、それぞれのオブジェクト配置像４８２から、縦断層像に対応する位置の画素を抽出し、補間処理等を行ない再構成することにより、縦断層像に対応するオブジェクト配置像を形成する。この処理は、１セットの横断層像４８５から縦断層像を形成する方法と同様であるため、詳細については説明を省略する。

１セットの横断層像４８５に基づいて３次元データを生成し、それぞれのボクセルに対してオブジェクトの種類を示すラベルを付与する３次元セマンティックセグメンテーションを行なってもよい。３次元セマンティックセグメーション結果により生成した３次元のオブジェクト配置像から、縦断層像に対応するオブジェクト配置像４８２を生成できる。

縦オブジェクト配置像欄５２５の縁に、横断層像欄５１および横オブジェクト配置像欄５１５に表示されている横断層像４８５の位置を示す横断層位置マーカ５５１が表示されている。横断層像欄５１および横オブジェクト配置像欄５１５の縁近傍に、縦断層像欄５２に表示されている縦断層像の位置を示す縦断層位置マーカ５５２が表示されている。

ユーザは、入力装置３２を操作して横断層位置マーカ５５１および縦断層位置マーカ５５２の位置を変更することにより、表示する断面を適宜変更できる。なお、制御部２１は、ユーザからの音声入力を受け付けてもよい。

図５の画面により、ユーザは病変部の長軸方向の状態を確認できる。なお、図５は画面表示の一例であり、これに限定するものではない。たとえば、横断面の集合体としての３次元表示を行なってもよい。

図６は、カテーテルシステム１０が表示する画面の例である。ユーザが、「石灰化」を示すオブジェクトを構成する各画素について、「石灰化」という判定が正しい確率を表示するように指示した場合に、制御部２１は図６に示す画面を表示する。図６の上部に「石灰化」を示す部分の拡大図を示す。

なお、それぞれの画素の判定が正しい確率は、図４を使用して説明した第１モデル６１から出力される。制御部２１は、それぞれの画素が「石灰化」のオブジェクトに分類される確率に基づいて、画素の色を塗り分ける。

たとえば制御部２１は、「石灰化」を示す色相は共通のまま、明度または彩度にグラデーションをつけることにより、「石灰化」という判定が正しい確率を表現できる。制御部２１は、横オブジェクト配置像欄５１５全体を、各画素に対するオブジェクトの判定の正しさを確率で表す判定確率に基づいて塗分けて表示してもよい。

ユーザは、図６に示す画面により、「石灰化」という判定がどの程度信頼できる判定であるかを認識できる。仮に、比較的低い確率で「石灰化」であるという判定が出力されている場合には、ユーザは横断層像欄５１に表示されている横断層像４８５を専門的見地に基づいて十分に観察することが望ましい。

図７は、カテーテルシステム１０が表示する画面の例である。ユーザが、「石灰化」を示す部分に関する根拠を示すように指示した場合に、制御部２１は図７に示す画面を表示する。横断層像欄５１には「石灰化」という判定の根拠となった根拠領域を示す根拠マーカ５６１を重畳させた横断層像４８５が表示されている。根拠マーカ５６１は、横オブジェクト配置像欄５１５に表示するオブジェクトの根拠に関する根拠情報の一例である。

制御部２１は、たとえばＧｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）、または、Ｇｒａｄ－ＣＡＭ＋＋等のモデル可視化手法により、根拠領域を抽出する。根拠領域は、学習モデル６５に入力された複数の横断層像４８５中の、「石灰化」と判定された画素の出力に強く影響した領域である。根拠マーカ５６１は、出力への影響度が高い場所ほど細かいハッチングを用いて表示されている。

ユーザは、図７に示す画面により、制御部２１による判定の根拠が妥当であるか否かを専門的見地に基づいて判断できる。

図８は、プログラムの処理の流れを説明するフローチャートである。制御部２１は、カテーテル制御部２７１から１セット分の横断層像４８５を取得する（ステップＳ７０１）。制御部２１は、取得した横断層像４８５を第１モデル６１に入力して、横断層像４８５に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけたオブジェクト配置像４８２、および、それぞれの画素に対するオブジェクトの判定が正しい確率を取得する（ステップＳ７０２）。

制御部２１は、１セット分のオブジェクト配置像４８２に基づいて、オブジェクト配置像４８２の縦断層像を生成する（ステップＳ７０３）。以下の説明ではオブジェクト配置像４８２の縦断層像を、縦オブジェクト配置像と記載する。制御部２１は、ユーザによる縦断層位置マーカ５５２の操作に対応して、指定された断面による縦オブジェクト配置像を速やかに表示できるよう、生成した縦オブジェクト配置像を補助記憶装置２３に記録する。

制御部２１は、図５を使用して説明した画面を表示装置３１に表示する（ステップＳ７０４）。制御部２１は、オブジェクトの判定確率を表示する指示をユーザから受け付けたか否かを判定する（ステップＳ７０５）。ユーザは、たとえば横オブジェクト配置像欄５１５内のオブジェクトをダブルクリックする等の操作により、確率を表示する指示を入力できる。制御部２１は、ユーザからの音声入力を受け付けてもよい。

確率を表示する指示を受け付けたと判定した場合（ステップＳ７０５でＹＥＳ）、制御部２１はステップＳ７０２で取得したそれぞれの画素に対するオブジェクトの判定が正しい確率に基づいて、図６を使用して説明した画像を表示する（ステップＳ７０６）。

確率を表示する指示を受け付けていないと判定した場合（ステップＳ７０５でＮＯ）またはステップＳ７０６の終了後、制御部２１は、根拠を表示する指示をユーザから受け付けたか否かを判定する（ステップＳ７０７）。ユーザは、たとえば横オブジェクト配置像欄５１５内のオブジェクトをスワイプする等の操作により、根拠を表示する指示を入力できる。制御部２１は、ユーザからの音声入力を受け付けてもよい。

根拠を表示する指示を受け付けたと判定した場合（ステップＳ７０７でＹＥＳ）、制御部２１は根拠を表示する項目を取得する（ステップＳ７０８）。制御部２１は、たとえばＧｒａｄ－ＣＡＭ、またはＧｒａｄ－ＣＡＭ＋＋等のモデル可視化手法により、ステップＳ７０８で取得した項目と関連する根拠領域を抽出する（ステップＳ７０９）。

制御部２１は、図７を使用して説明した画面を使用して、根拠マーカ５６１を重畳した横断層像４８５を横断層像欄５１に表示する（ステップＳ７１０）。根拠を表示する指示を受け付けていないと判定した場合（ステップＳ７０７でＮＯ）、またはステップＳ７１０の終了後、制御部２１は処理を終了する。

本実施の形態によると、断層像の読影に十分に習熟していないユーザであっても容易に使用できるカテーテルシステム１０を提供できる。

本実施の形態によると、オブジェクト配置像４８２によりユーザの読影を補助するカテーテルシステム１０を提供できる。ユーザは、断層像のどこに何が表示されているかを速やかに把握できるため、診断および処置を行なう上で重要な部分の観察に注力できる。

本実施の形態によると、各画素に対するオブジェクトの判定確率を表示するカテーテルシステム１０を提供できる。第１モデル６１による判定がどの程度信頼できるかをユーザが把握できるカテーテルシステム１０を提供できる。

本実施の形態によると、オブジェクトの判定の根拠を表示するカテーテルシステム１０を提供できる。第１モデル６１による判定の根拠をユーザが確認できるカテーテルシステム１０を提供できる。

［実施の形態２］
本実施の形態は、カテーテル制御装置２７と情報処理装置２０とが別体であるカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。

図９は、実施の形態２のカテーテルシステム１０の構成を説明する説明図である。本実施の形態のカテーテルシステム１０は、情報処理装置２０、カテーテル制御装置２７、ＭＤＵ３３および画像診断用カテーテル４０を有する。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスを備える。

カテーテル制御装置２７は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像４８５および縦断層像の生成等を行なう、ＩＶＵＳ用の超音波診断装置である。カテーテル制御装置２７の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。

カテーテル制御装置２７と情報処理装置２０とは、ケーブルまたは無線通信を介して直接接続されていても、ネットワークを介して接続されていてもよい。

本実施の形態の情報処理装置２０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。情報処理装置２０は、分散処理を行なう複数のパソコン等であってもよい。

［実施の形態３］
本実施の形態は、断層像に描写されている部分の長さおよび面積等の定量的な情報を表示するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。

図１０から図１２は、実施の形態３のカテーテルシステムが表示する画面の例である。図１０に示す画面においては、図５を使用した画面の横オブジェクト配置像欄５１５および縦オブジェクト配置像欄５２５にそれぞれ値ラベル５３８が表示されている。

制御部２１は、１セットの横断層像４８５に対応するオブジェクト配置像４８２に基づいて、ユーザにより指定されたオブジェクトに関連する長さ、面積および体積等の定量的な情報を算出する。たとえば面積を算出する場合には、制御部２１はオブジェクトを構成する画素数と、１ピクセル当たりの面積とを積算する。体積を算出する場合には、制御部２１は算出した面積にさらに１スライスあたりの厚さを積算する。任意の図形から定量的な情報を算出する方法については公知であるため、詳細については説明を省略する。

指定されたオブジェクトが「管腔器官の内側」であり、１セットの横断層像４８５に狭窄している病変が含まれている場合を例にして説明を続ける。制御部２１は、それぞれのオブジェクト配置像４８２から算出した「管腔器官の内側」の径に基づいて、径が最小である位置、すなわち最も狭窄している位置を判定する。制御部２１は、所定の判定基準に基づいて病変の両端を判定する。

図１０においては、横オブジェクト配置像欄５１５の左下に表示されている値ラベル５３８には、右下がりのハッチングで示す「管腔器官の内側」の面積と、径の最小値と、径の最大値とがそれぞれ表示されている。

縦オブジェクト配置像欄５２５には、「参照血管」、２つの「病変端部」および「最小径部」の位置を示す、合計４本の縦線が表示されている。「参照血管」は病変がない部分を意味する。

それぞれの縦線の端に、対応する値ラベル５３８が表示されている。値ラベル５３８には、それぞれの位置における「管腔器官の内側」の径の最小値および最大値と、プラークバーデンが表示されている。２つの「病変端部」を示す２本の縦線の間に、「病変長」が表示されている。

たとえばユーザが「最小径部」の位置を示す縦線の近傍をクリック操作した場合、横断層位置マーカ５５１が、「最小径部」の位置に移動する。横断層像欄５１および横オブジェクト配置像欄５１５に「最小径部」の横断層像４８５および横オブジェクト配置像欄５１５が表示される。ユーザは「最小径部」の状態を確認できる。

同様にユーザが、「参照血管」または「病変端部」の位置を示す縦線の近傍をクリック操作した場合、横断層位置マーカ５５１は対応する位置に移動する。ユーザは、判断する際のポイントである部分の状態を容易に確認できる。

ユーザは、値ラベル５３８に表示された組織性状および数値と、学会等で定められた判定基準とに基づいて、診断および治療を行なえる。たとえば、ユーザは血管径、狭窄の程度、病変長、または、石灰化の分布状態に基づいて、血管拡張術の要否および術式等を判断する。制御部２１は値ラベル５３８と共に関連する判定基準に関する情報を表示してもよい。

図１１は、ユーザが横断層位置マーカ５５１を縦オブジェクト配置像欄５２５の右側に移動させた状態を示す。横断層像欄５１には、図１０とは異なる横断層像４８５が表示されている。横オブジェクト配置像欄５１５には、横断層像欄５１に対応するオブジェクト配置像４８２が表示されている。

図１１の横オブジェクト配置像欄５１５には、縦線のハッチングで示す「画像診断用カテーテル４０の断面」、右下がりのハッチングで示す「管腔器官の内側」および格子状のハッチングで示す「石灰化」のオブジェクトがそれぞれ表示されている。オブジェクトが表示されていない部分には、横断層像４８５が表示されている。ユーザは、「石灰化」のオブジェクトの周囲に存在する管腔器官の状態を確認できる。

「石灰化」を示すオブジェクトは、円弧状に表示されている。制御部２１は、「管腔器官壁」の中心を基準にして、「石灰化」の角度を算出して、値ラベル５３８に表示する。

角度を算出する方法の具体例を説明する。制御部２１は「管腔器官の内側」の外周、すなわち管腔器官壁の内面に近似する形状の円を算出する。制御部２１は、算出した円の中心から、「石灰化」を示すオブジェクトの両端にそれぞれ延びるベクトルを抽出する。制御部２１は、抽出した２本のベクトル間の角度を算出する。なお、角度を算出する方法は任意であり、これに限定するものではない。

制御部２１は「管腔器官壁」または「管腔器官の内側」のように円筒形状のオブジェクトについては、内径、外径、最小内径および最大内径をそれぞれ算出して値ラベル５３８に表示する。制御部２１は、図１１に示す「石灰化」のように円弧形状のオブジェクトについては、角度を算出して値ラベル５３８に表示する。なお、制御部２１は図１１に示す「石灰化」のオブジェクトに対して厚さおよび体積等を表示しても良い。

どの項目を値ラベル５３８に表示するかは、ユーザがその都度指定してもよい。オブジェクトの種類、形状等に応じて、デフォルトで値ラベル５３８に表示する項目が定められていても良い。

図１２は、実施の形態３のプログラムの処理の流れを説明するフローチャートである。図１２のプログラムは、図８を使用して説明したプログラムのステップＳ７０４において、制御部２１が図５を使用して説明した画面を表示した後に、ユーザが値ラベル５３８の表示を指示した場合に実行される。

ユーザは、たとえば横オブジェクト配置像欄５１５に表示されたオブジェクトのタップ操作により値ラベル５３８の表示を指示できる。なお、制御部２１は、ユーザからの音声入力を受け付けてもよい。

制御部２１は、ユーザによる指示に基づいて、値ラベル５３８を表示する対象のオブジェクトの指定を取得する（ステップＳ７２１）。制御部２１は、指定されたオブジェクトの形状等に基づいて、算出する項目を判定する（ステップＳ７２２）。

制御部２１は、ステップＳ７２２で判定した項目を算出する（ステップＳ７２３）。制御部２１は、図１０および図１１を使用して説明したように、値ラベル５３８を表示する（ステップＳ７２４）。その後、制御部２１は処理を終了する。

［実施の形態４］
本実施の形態は、断層像を入力した場合に管腔器官、または、管腔器官周辺の状態に関する情報を出力する第２モデル６２を使用するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。

図１３は、第２モデル６２の構成を説明する説明図である。第２モデル６２は、１セットの横断層像４８５を受け付けて、治療の要否、血流うっ滞の有無、または分岐の有無等、管腔器官の状態、または、当該管腔器官周辺の状態に関する所見を出力するモデルである。なお、「治療の要否」は、管腔器官の内部で処置を行なうＩＶＲ（Interventional Radiology）の要否であっても、服薬および食事療法等を含む一般的な治療の要否であってもよい。

第２モデル６２が出力する所見は、複数の項目のそれぞれに対する、「有」、「無」等の所定の選択肢に関する確率である。表１から表５に、第２モデル６２が確率を出力する項目の例を示す。表１から表５の１つの行は、一つの項目を示す。第２モデル６２は、それぞれの項目ごとに選択肢の確率を出力する。表１から表５に、第２モデル６２が出力する所見に含まれる項目の例を示す。

表１は、治療の要否に関する情報を示す。

表２は、血流情報に関する項目を示す。

表３は、管腔器官および管腔器官周囲の定性的形状情報に関する項目を示す。

表４は、管腔器官および管腔器官周囲の性状を示す性状情報に関する項目を示す。

表４に示す「ステント内狭窄」は、たとえば数か月から数年前に管腔器官内に留置したステントの狭窄の有無を示す。ステント留置の処置の直後に横断層像４８５を撮影した場合には、留置したステントの狭窄の有無を示す。すなわち、横断層像４８５は未処置管腔器官の断層像であっても、処置後の経過観察中の管腔器官の断層像であっても、一連の管腔器官内処置の終了直後に撮影した管腔器官の断層像であってもよい。

表５は、管腔器官内に配置されたステント等の留置デバイスの状態を示すデバイス情報に関する項目を示す。

表１から表５に示す各項目は例示である。第２モデル６２は、表１から表５に示す項目の一部に対する確率を出力してもよい。第２モデル６２は、表１から表５に示す項目以外の項目に対する確率を出力してもよい。

表１から表５に示す各項目の選択肢は例示である。たとえば各表で「有」、「無」の２択で表示した項目について、「大」、「小」、「無」等の３択以上の選択肢を用いてもよい。

以後の説明においては、１回の画像取得で得た１セットの横断層像４８５の入力を受け付けて、管腔器官の状態、または、当該管腔器官周辺の状態に関する所見を出力する第２モデル６２を例に説明する。なお、第２モデル６２は、１枚の横断層像４８５の入力を受け付けて、管腔器官、または、当該管腔器官周辺の状態に関する所見を出力するモデルであってもよい。

前述のとおり、ＭＤＵ３３による１回のプルバック操作で１回の画像取得を行なってもよい。第２モデル６２は、１回のプルバック操作で得た横断層像４８５のうちの半分、または１／３等、一部分の横断層像４８５の入力を受け付けて、管腔器官の状態、または、当該管腔器官周辺の状態に関する所見を出力するモデルであってもよい。

第２モデル６２は、入力層と、ニューラルネットワーク６２９と、複数のソフトマックス層６２５と、出力層とを備える。ニューラルネットワーク６２９は、たとえば複数の畳込み層とプーリング層との組と、全結合層とを有するＣＮＮ（Convolutional Neural Network）である。表１から表５に示す１つの行について、１つのソフトマックス層６２５が設けられている。

入力層には、１セットの横断層像４８５を走査順に結合して１枚にした画像が入力される。ニューラルネットワーク６２９およびソフトマックス層６２５を介して、出力層に表１から表５に示す各項目に対する確率を出力する。

たとえば図１３においては、「治療の必要性」については「無」である確率が９５パーセント、「血流うっ滞」については「無」である確率が９０パーセント、「分岐」については「有」である確率が９０パーセントである。なお、第２モデル６２は、表１から表５についてそれぞれ分かれていてもよい。第２モデル６２は、出力する項目ごとにそれぞれ分かれていてもよい。

ソフトマックス層６２５の後段に、最も確率が高い選択肢を選択して出力する選択層が設けられていてもよい。

第２モデル６２には、カテーテル制御部２７１がセンサ４２から取得した音線データ等の、横断層像４８５を形成する前段階のデータが入力されてもよい。

図１４は、実施の形態４のカテーテルシステム１０が表示する画面の例である。図１４に示す画面は、横断層像欄５１、横オブジェクト配置像欄５１５および所見欄５３を含む。横断層像欄５１および横オブジェクト配置像欄５１５については、図５を使用して説明した実施の形態１のカテーテルシステム１０が表示する画面と同一であるため、説明を省略する。

所見欄５３に、所見が表示されている。制御部２１は、第２モデル６２から出力された所見のうち、所定の閾値よりも確率が高い所見を選択して、所見欄５３に表示する。

制御部２１は、横断層像欄５１に表示中の横断層像４８５に関連する所見を選択して所見欄５３に表示してもよい。図１４においては図示を省略するが、制御部２１は図５と同様に縦オブジェクト配置像欄５２５を表示してもよい。

図１５は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。ステップＳ７０３までは、図８を使用して説明した実施の形態１のプログラムと同一であるため、説明を省略する。

制御部２１は、ステップＳ７０１で取得した横断層像４８５を第２モデル６２に入力して所見を取得する（ステップＳ７３１）。制御部２１は、図１４を使用して説明した画面を表示装置３１に表示する（ステップＳ７３２）。制御部２１は、オブジェクトの判定確率を表示する指示をユーザから受け付けたか否かを判定する（ステップＳ７０５）。以後の処理は、図８を使用して説明した実施の形態１のプログラムと同一であるため、説明を省略する。

本実施の形態によると、オブジェクト配置像４８２に加えて所見を表示するカテーテルシステム１０を提供できる。

なお、制御部２１は、所見欄５３に表示した所見の根拠を示す根拠マーカ５６１を表示してもよい。制御部２１は、たとえばＧｒａｄ－ＣＡＭ、または、Ｇｒａｄ－ＣＡＭ＋＋等のモデル可視化手法により、第２モデル６２から出力された所見に関する根拠領域を抽出できる。

第１モデル６１および第２モデル６２には、横断層像４８５に加えて画像診断装置３７を用いて撮影した画像、血圧、心拍数または酸素飽和度等の、リアルタイムで取得した医療情報が入力されてもよい。第１モデル６１および第２モデル６２には、横断層像４８５に加えて既往症、身長、体重、過去に画像診断装置３７を用いて撮影した画像等の、電子カルテから取得した医療情報が入力されてもよい。

このようにする場合、第１モデル６１は、横断層像４８５と医療情報とを受け付けて、横断層像４８５に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけてマッピングしたオブジェクト配置像４８２を出力する。同様に第２モデル６２は、横断層像４８５と医療情報とを受け付けて、管腔器官の状態、または、当該管腔器官周辺の状態に関する所見を出力する。

横断層像４８５以外の医療情報を第１モデル６１の入力データに含めることにより、オブジェクトの分類を精度良く行なうカテーテルシステム１０を提供できる。横断層像４８５以外の医療情報を第２モデル６２の入力データに含めることにより、精度の高い所見を出力するカテーテルシステム１０を提供できる。

［実施の形態５］
本実施の形態は、画像診断装置３７から取得した画像に画像診断用カテーテル４０を用いて撮影した断層像の位置を重畳表示するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。

図１６は、実施の形態５のカテーテルシステム１０が表示する画面の例である。図１６に示す画面は他装置画像欄５９を含む。他装置画像欄５９には、画像診断装置３７により撮影された医用画像が表示されている。

画像診断用カテーテル４０が撮影した断層像の位置を示すスキャンエリア５９１が、縦断層像の外形を示す長方形で他装置画像欄５９に重畳表示されている。制御部２１は、スキャンエリア５９１の内側に縦断層像または縦オブジェクト配置像をリアルタイムで表示してもよい。制御部２１は、スキャンエリア５９１の表示形態に関する選択をユーザから受け付けてもよい。

画像診断装置３７が、Ｘ線血管撮影装置である場合を例にして、スキャンエリア５９１を表示する方法の概要を説明する。センサ４２は、Ｘ線を透過しないセンサマーカに搭載されている。先端マーカ４４およびセンサマーカはＸ線を透過しないため、Ｘ線血管撮影装置で撮影された医用画像中に鮮明に表示される。

制御部２１は、医用画像から先端マーカ４４およびセンサマーカを検出する。検出されたセンサマーカは、センサ４２の位置を示す。たとえばＭＤＵ３３によるプルバック操作を用いて１セットの横断層像４８５を生成する場合、画像取得時のセンサ４２の動作範囲の両端が、スキャンエリア５９１の短辺の位置に対応する。

制御部２１は、横断層像４８５の表示レンジと、他装置画像の縮尺に基づいて、スキャンエリア５９１の短辺の長さを決定する。制御部２１は、短辺の位置および短辺の長さから定まる長方形のスキャンエリア５９１を、医用画像を表示した他装置画像欄５９に重畳表示する。

以上の処理により、画像診断用カテーテル４０の先端部分が画像診断装置３７の投影面に対して平行ではない場合であっても、制御部２１は他装置画像欄５９の正しい位置にスキャンエリア５９１を表示できる。

図１６に戻って説明を続ける。スキャンエリア５９１内に、複数の横断層位置マーカ５５１が表示されている。それぞれの横断層位置マーカ５５１に対応するオブジェクト配置像４８２を表示する横オブジェクト配置像欄５１５が他装置画像欄５９の周辺に表示されている。ユーザは、入力装置３２を介して横断層位置マーカ５５１を動かすことにより、オブジェクト配置像４８２の断層位置を適宜変更できる。なお、制御部２１は、ユーザからの音声入力を受け付けてもよい。

制御部２１は、ユーザによる指示に基づいてオブジェクト配置像４８２と横断層像４８５とを切り替えて表示してもよい。制御部２１はオブジェクト配置像４８２と横断層像４８５とを並べて表示してもよい。制御部２１は、縦断層像または縦オブジェクト配置像を表示してもよい。

他装置画像欄５９には、画像診断装置３７により撮影された医用画像の代わりに、管腔器官を模式的に表したシェーマが表示されてもよい。ユーザが断層像の位置をさらに容易に把握可能なカテーテルシステム１０を提供できる。

図１７は、実施の形態５のプログラムの処理の流れを説明するフローチャートである。制御部２１は、１回の画像取得の際にカテーテル制御部２７１および画像診断装置３７のそれぞれから横断層像４８５および医用画像を取得する（ステップＳ７５１）。

制御部２１は、医用画像から先端マーカ４４およびセンサマーカを検出する（ステップＳ７５２）。たとえばＭＤＵ３３によるプルバック操作を用いて１セットの横断層像４８５を生成する場合、制御部２１は、プルバック操作の両端で検出されたセンサマーカの位置に基づいて、スキャンエリア５９１の位置および寸法を決定する。制御部２１は、スキャンエリア５９１に基づいて横断層位置マーカ５５１の位置を決定する（ステップＳ７５３）。

なお、制御部２１はスキャンエリア５９１に対応する位置を、その後に撮影した医用画像上にリアルタイムでトレースして表示することが望ましい。

制御部２１は、ステップＳ７５１で取得した横断層像４８５を第１モデル６１に入力して、横断層像４８５に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけたオブジェクト配置像４８２、および、それぞれの画素に対するオブジェクトの判定が正しい確率を取得する（ステップＳ７５４）。

制御部２１は、１セット分のオブジェクト配置像４８２に基づいて、縦オブジェクト配置像を生成する（ステップＳ７５５）。制御部２１は、ユーザによる縦断層位置マーカ５５２の操作に対応して、指定された断面による縦オブジェクト配置像を速やかに表示できるよう、生成した縦オブジェクト配置像を補助記憶装置２３に記録する。

制御部２１は、図１６を使用して説明した画面を表示装置３１に表示する（ステップＳ７５６）。その後、制御部２１は処理を終了する。

本実施の形態によると、画像診断装置３７により撮影された医用画像に画像診断用カテーテル４０を使用して撮影した断層像または断層像に基づいて生成したオブジェクト配置像４８２の位置を重畳表示するカテーテルシステム１０を提供できる。ユーザは、横断層位置マーカ５５１を操作することにより表示する横断層像４８５の位置を容易に変更できる。以上により、ユーザが、断層像と、その周囲の臓器との位置関係を容易に把握できるカテーテルシステム１０を提供できる。

なお、画像診断装置３７はＸ線血管撮影装置に限定しない。たとえば、体外式プローブまたはＴＥＥ（Transesophageal Echocardiography）プローブと組み合わせた超音波診断装置であっても、リアルタイムで画像診断用カテーテル４０とは異なる断層像を撮影できる。

画像診断用カテーテル４０が、超音波用のセンサ４２とＯＣＴ用のセンサ４２との両方を搭載している場合には、略同一断面で超音波による横断層像４８５とＯＣＴによる横断層像４８５とを撮影できる。

制御部２１は、分解能に優れたＯＣＴによる横断層像４８５から得たオブジェクト配置像４８２を、ＯＣＴに比べると深達度に優れた超音波による横断層像４８５に重畳表示してもよい。そのほか、制御部２１は、ＯＣＴによる横断層像４８５と、オブジェクト配置像４８２、超音波による横断層像４８５とオブジェクト配置像４８２を適宜組み合わせて表示してもよい。両者の利点を生かした情報を表示するカテーテルシステム１０を提供できる。

医用画像は、リアルタイムで撮影された医用画像に限定しない。制御部２１は、たとえばＣＴ、ＭＲＩ、ＰＥＴ、Ｘ線血管撮影装置または超音波診断装置等の、任意の画像診断装置により撮影されて、電子カルテ等に記録されている医用画像に、スキャンエリア５９１を重畳表示してもよい。制御部２１は、それぞれの画像中に含まれる血管の分岐、心臓の位置等に基づいて、スキャンエリア５９１の位置を判定する。

本実施の形態の処理は、画像診断装置３７側で実行され、画像診断装置３７に接続された表示装置に表示されてもよい。

［実施の形態６］
本実施の形態は、第１モデル６１および第２モデル６２をそれぞれ生成するプログラムに関する。実施の形態４と共通する部分については、説明を省略する。

図１８は、訓練データＤＢ（Database）のレコードレイアウトを説明する説明図である。訓練データＤＢは、入力と正解ラベルとを関連づけて記録したデータベースであり、機械学習によるモデルの訓練に使用される。訓練データＤＢは、断層像データフィールド、塗分けデータフィールドおよび所見フィールドを有する。所見フィールドは、治療の必要性フィールド、血流うっ滞フィールド、分岐フィールド等、第２モデル６２が出力する所見に対応するフィールドを有する。

断層像データフィールドには、縦断層像を生成可能な横断層像４８５のセットが記録されている。塗分けデータフィールドには、横断層像４８５を専門家がそれぞれのオブジェクトごとに異なる色または地模様で塗分けた画像のセットが記録されている。すなわち、塗分けデータフィールドには、横断層像４８５を構成するそれぞれの画素が対応するオブジェクトが記録されている。

治療の必要性フィールドには、断層像データフィールドに記録された横断層像４８５に基づいて、専門家が治療の必要性を判断した結果が表示されている。同様に、血流うっ滞フィールドには血流うっ滞の有無が、分岐フィールドには分岐の有無がそれぞれ記録されている。

訓練データＤＢには、画像診断用カテーテル４０を用いて撮影した横断層像４８５のセットと、専門の医師等が判断した塗分けた画像のセットおよび治療の必要性との組み合わせが大量に記録されている。なお、以下の説明では、セットを構成する横断層像４８５同士の間隔が一定である場合を例にして説明する。

第１モデル６１を生成する場合には、断層像データフィールドに記録された横断層像４８５のセットが入力データに、塗分けデータフィールドに記録された画像のセットが正解データに使用される。第２モデル６２を生成する場合には、断層像データフィールドに記録された横断層像４８５のセットが入力データに、所見フィールドのそれぞれに記録されたデータが正解ラベルに使用される。

訓練データＤＢは、たとえば第１モデル６１生成用のデータベースと、第２モデル６２生成用のデータベースとに分けて作成されていてもよい。

図１９は、実施の形態５のプログラムの処理の流れを説明するフローチャートである。情報処理装置２０を用いて第１モデル６１の機械学習を行なう場合を例にして説明する。

図１９のプログラムは情報処理装置２０とは別のハードウェアで実行され、機械学習が完了した第１モデル６１がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた第１モデル６１を、複数の情報処理装置２０で使用できる。

図１９のプログラムの実行に先立ち、たとえばセマンティックセグメンテーションを実現するＵ－Ｎｅｔ構造等の未学習のモデルが準備されている。前述のとおり、Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。図１９のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。

制御部２１は、訓練データＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ７６１）。１エポックの訓練に使用する訓練レコードの数は、いわゆるハイパーパラメータであり、適宜定められている。

制御部２１は、取得したそれぞれの訓練レコードに含まれる入力データから、入力画像を生成する（ステップＳ７６２）。具体的には、制御部２１は断層像フィールドに含まれる横断層像４８５を走査順に結合して１枚にした画像を生成する。なお、断層像データフィールドに、結合済の横断層像が記録されていてもよい。

制御部２１は、取得したそれぞれの訓練レコードに含まれる塗分けデータから、正解画像を生成する（ステップＳ７６３）。具体的には、制御部２１は塗分けデータフィールドに含まれる塗分け画像を走査順に結合して１枚にした画像を生成する。なお、塗分けデータフィールドに、結合済の塗分け画像が記録されていてもよい。

制御部２１は、モデルの入力層に入力画像が入力された場合に、出力層から正解画像ラベルが出力されるように、モデルのパラメータを調整する（ステップＳ７６４）。

制御部２１は、処理を終了するか否かを判定する（ステップＳ７６５）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、訓練データＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。

処理を終了しないと判定した場合（ステップＳ７６５でＮＯ）、制御部２１はステップＳ７６１に戻る。処理を終了すると判定した場合（ステップＳ７６５でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ７６７）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。

図２０は、実施の形態６のプログラムの処理の流れを説明するフローチャートである。図１９と同様に、情報処理装置２０を用いて第２モデル６２の機械学習を行なう場合を例にして説明する。

図２０のプログラムの実行に先立ち、たとえば畳み込み層、プーリング層、全結合層を含むニューラルネットワーク６２９と、ソフトマックス層６２５とを有するＣＮＮ等の未学習のモデルが準備されている。未学習のモデルは、ＣＮＮに限定しない。たとえば決定木またはランダムフォレスト等の任意のタイプのモデルを使用できる。図２０のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。

制御部２１は、訓練データＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ７７１）。制御部２１は、取得したそれぞれの訓練レコードに含まれる入力データから、入力画像を生成する（ステップＳ７７２）。

制御部２１は、モデルの入力層に入力データベクトルが入力された場合に、出力層から所見フィールドに記録された正解ラベルが出力されるように、モデルのパラメータを調整する（ステップＳ７７３）。

制御部２１は、処理を終了するか否かを判定する（ステップＳ７７４）。処理を終了しないと判定した場合（ステップＳ７７４でＮＯ）、制御部２１はステップＳ７７１に戻る。処理を終了すると判定した場合（ステップＳ７７４でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ７７５）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。

本実施の形態によると、機械学習により第１学習モデル６５１および第２学習モデル６５２を生成できる。

［実施の形態７］
本実施の形態は、学習モデル６５により出力された所見をユーザが修正可能なカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。

図２１は、第１修正ＤＢのレコードレイアウトを説明する説明図である。第１修正ＤＢは、カテーテルシステム１０が出力したオブジェクト配置像４８２と、ユーザによる修正とを関連づけた修正情報を記録したデータベースである。

第１修正ＤＢは、断層像データフィールド、出力データフィールドおよび修正データフィールドを有する。断層像データフィールドには、縦断層像を生成可能な横断層像４８５のセットが記録されている。出力データフィールドには、制御部２１が表示装置３１に出力したオブジェクト配置像４８２が記録されている。修正データフィールドには、ユーザが修正したオブジェクト配置像４８２が記録されている。第１修正ＤＢは、横断層像４８５のセットに対するユーザによる修正ごとに、１つのレコードを有する。

図２２は、実施の形態７のカテーテルシステム１０が表示する画面の例である。図２２は、たとえば図６を使用して説明した画面の表示中に、ユーザがオブジェクト配置像４８２の修正を指示した場合に制御部２１が表示装置３１に表示する画面である。

図２２に示す画面は、横オブジェクト配置像欄５１５、候補ラベル欄５７１、正解ラベル欄５７２および形状修正ボタン５７４を含む。候補ラベル欄５７１には、オブジェクトの種類を示すラベルの候補が表示されている。正解ラベル欄５７２には、ユーザが正解であると判断したラベルが表示されている。

ユーザはカーソル５７５を使用して種類を変更するオブジェクトを指定する。その後、ユーザは、候補ラベル欄５７１に表示されているラベルを正解ラベル欄５７２にドラッグアンドドロップ操作することで、正しいラベルを入力する。

制御部２１は正解ラベル欄５７２に表示されているラベルをユーザにより指定されたラベルに入れ替える。制御部２１は、カーソル５７５により指定されたオブジェクトをユーザにより選択されたラベルに対応する色または地模様に塗り替える。

なお、制御部２１は音声入力による入力を受け付けてもよい。たとえばユーザが「石灰化を血腫に変更」と発声した場合に、制御部２１は「石灰化」の色または地模様で表示されたオブジェクトを「血腫」の色または地模様に塗り替える。

ユーザが形状修正ボタン５７４を選択した場合、制御部２１はペイントソフト様のユーザインターフェースによりオブジェクト配置像４８２の塗分け形状の修正を受け付ける。ペイントソフトは従来から使用されているため、詳細な説明は省略する。

以上により、ユーザはオブジェクト配置像４８２を適宜修正できる。制御部２１はユーザにより修正されたオブジェクト配置像４８２を、修正前のオブジェクト配置像４８２および横断層像４８５のセットとともに、第１修正ＤＢに記録する。

図２３は、第２修正ＤＢのレコードレイアウトを説明する説明図である。第２修正ＤＢは、カテーテルシステム１０が出力した所見と、ユーザによる修正とを関連づけた修正情報を記録したデータベースである。修正ＤＢは、横断層像４８５のセットに対するユーザによる修正ごとに、１つのレコードを有する。

修正ＤＢは、断層像データフィールド、出力フィールドおよび修正フィールドを有する。断層像データフィールドには、縦断層像を生成可能な横断層像４８５のセットが記録されている。出力フィールドには、制御部２１が表示装置３１に出力した所見が記録されている。修正フィールドには、ユーザが修正した所見が記録されている。

図２４は、実施の形態７のカテーテルシステム１０が表示する画面の例である。図２４は、たとえば図１４を使用して説明した画面の表示中に、ユーザが所見欄５３の修正を指示した場合に制御部２１が表示装置３１に表示する画面である。

図２４に示す画面は、横断層像欄５１、候補ラベル欄５７１、正解ラベル欄５７２および自由記述欄５７３を含む。候補ラベル欄５７１には、定性的所見を示すラベルの候補が表示されている。正解ラベル欄５７２には、ユーザが正解であると判断したラベルが表示されている。

ユーザは、候補ラベル欄５７１と正解ラベル欄５７２との間でラベルをドラッグアンドドロップ操作することで、正しい所見を入力できる。なお、制御部２１は音声入力による入力を受け付けてもよい。たとえばユーザが「正解、血腫」と発声した場合に、制御部２１は候補ラベル欄５７１の１行目の「血腫」のラベルを正解ラベル欄５７２に移動させる。

候補ラベル欄５７１に適切な所見を表すラベルが見付からない場合、ユーザは自由記述欄５７３を使用して任意の所見を入力できる。図示を省略するが、定量的な所見に関しても同様にユーザが適宜変更できる。

制御部２１は、図２４の画面を使用してユーザが入力した修正内容を、図２３を使用して説明した修正ＤＢに記録する。

図２２および図２４の画面を使用してユーザが修正した内容は、患者の診療結果を記録する電子カルテに添付されてもよい。第１修正ＤＢおよび第２修正ＤＢに記録されたデータは、第１モデル６１および第２モデル６２の再学習、および、機械学習のエンジニアによる機械学習時に用いるハイパーパラメータの修正等に活用される。

［実施の形態８］
図２５は、実施の形態８のカテーテルシステム１０の機能ブロック図である。カテーテルシステム１０は、カテーテルシステム１０は、取得部８６および出力部８７を備える。取得部８６は、管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得する。出力部８７は、取得部８６が取得した断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけて出力するモデル６５に、取得した断層像を入力して、モデル６５から出力されたオブジェクトの種類と範囲とを出力する。

［実施の形態９］
図２６は、実施の形態９のカテーテルシステムの構成を説明する説明図である。本実施の形態は、汎用のコンピュータ９０とプログラム９７とを組み合わせて動作させることにより、本実施の形態の情報処理装置２０を実現する形態に関する。図２６は、実施の形態９の情報処理装置２０の構成を示す説明図である。実施の形態２と共通する部分については、説明を省略する。

本実施の形態のカテーテルシステム１０は、コンピュータ９０を含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。

プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。

プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ カテーテルシステム
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ 表示部
２６ 入力部
２７ カテーテル制御装置
２７１ カテーテル制御部
２９ 読取部
３１ 表示装置
３２ 入力装置
３３ ＭＤＵ
３７ 画像診断装置
４０ 画像診断用カテーテル
４１ プローブ部
４２ センサ
４３ シャフト
４４ 先端マーカ
４５ コネクタ部
４８２ オブジェクト配置像
４８５ 横断層像（断層像）
５１ 横断層像欄
５１５ 横オブジェクト配置像欄
５２ 縦断層像欄
５２５ 縦オブジェクト配置像欄
５３ 所見欄
５３８ 値ラベル
５５１ 横断層位置マーカ
５５２ 縦断層位置マーカ
５６１ 根拠マーカ
５７１ 候補ラベル欄
５７２ 正解ラベル欄
５７３ 自由記述欄
５７４ 形状修正ボタン
５７５ カーソル
５９１ スキャンエリア
６１ 第１モデル
６２ 第２モデル
６２５ ソフトマックス層
６２９ ニューラルネットワーク
６５ 学習モデル（モデル）
６５１ 第１学習モデル
６５２ 第２学習モデル
８６ 取得部
８７ 出力部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ

Claims (20)

1. 管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、
   断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれの前記オブジェクトの範囲とを関連づけて出力する第１モデルに、取得した前記断層像を入力して、前記第１モデルから出力されたオブジェクトの種類と範囲とを取得し、
   前記断層像は、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向に対して交差する方向に切断した断面を示す横断層像であり、
   複数枚の前記横断層像のそれぞれについて、前記オブジェクトの種類および範囲をマッピングして記憶し、
   複数枚の前記横断層像に基づいて生成された、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向と平行な方向に切断した断面を示す縦断層像に前記オブジェクトの種類および範囲をマッピングして出力する
   処理をコンピュータに実行させるプログラム。
2. 前記オブジェクトの種類および範囲を、前記オブジェクトの種類ごとにそれぞれ異なる態様で表示する
   請求項１に記載のプログラム。
3. 前記縦断層像と、複数枚の前記横断層像から選択された選択断層像とを同時に出力し、
   前記縦断層像に、前記選択断層像の位置を示すマーカを表示する
   請求項１または請求項２に記載のプログラム。
4. 取得した前記断層像とは異なる医用画像、またはシェーマに、前記断層像の位置を示すマーカを重畳表示する
   請求項１から請求項３のいずれか一つに記載のプログラム。
5. 前記オブジェクトの範囲に基づいて、該オブジェクトの寸法、面積または体積を算出し、
   算出した寸法、面積または体積を出力する
   請求項１から請求項４のいずれか一つに記載のプログラム。
6. 前記オブジェクトから選択された１つのオブジェクトの範囲に基づいて、前記管腔器官が当該オブジェクトに対応する状態である範囲の角度を算出し、
   算出した角度を出力する
   請求項１から請求項４のいずれか一つに記載のプログラム。
7. 管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、
   断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれの前記オブジェクトの範囲とを関連づけて出力する第１モデルに、取得した前記断層像を入力して、前記第１モデルから出力されたオブジェクトの種類と範囲とを取得し、
   前記オブジェクトから選択された１つのオブジェクトの範囲に基づいて、前記管腔器官が当該オブジェクトに対応する状態である範囲の角度を算出し、
   算出した角度を出力する
   処理をコンピュータに実行させるプログラム。
8. 前記第１モデルから出力されたオブジェクトの種類および範囲と共に、前記オブジェクトの種類および範囲に関する根拠情報を出力する
   請求項１から請求項７のいずれか一つに記載のプログラム。
9. 前記第１モデルは、入力された断層像を構成する各画素について前記オブジェクトのいずれに該当するかについての確率を出力し、
   前記オブジェクトの種類および範囲を、前記オブジェクトの種類ごとに定めた色相で表示するとともに、前記オブジェクトに該当する確率の相違をそれぞれの画素の明度または彩度の相違で表示する
   請求項１から請求項８のいずれか一つに記載のプログラム。
10. 前記オブジェクトの種類または範囲に対する修正を受け付ける
    請求項１から請求項９のいずれか一つに記載のプログラム。
11. 取得した断層像と、前記オブジェクトの種類または範囲に関する修正とを関連づけた修正情報を記録する
    請求項１０に記載のプログラム。
12. 前記修正情報に基づいて、前記第１モデルの再学習を行なう
    請求項１１に記載のプログラム。
13. 断層像を入力した場合に管腔器官、または、前記管腔器官周辺の状態に関する情報を出力する第２モデルに、取得した前記断層像を入力して、前記第２モデルから出力された情報をさらに出力する
    請求項１から請求項１０のいずれか一つに記載のプログラム。
14. 前記管腔器官、または、前記管腔器官周辺の状態に対する修正を受け付ける
    請求項１３に記載のプログラム。
15. 取得した前記断層像と、前記管腔器官、または、前記管腔器官周辺の状態に対する修正とを関連づけた修正情報を記録する
    請求項１４に記載のプログラム。
16. 前記修正情報に基づいて、前記第２モデルの再学習を行なう
    請求項１５に記載のプログラム。
17. 管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、
    断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれの前記オブジェクトの範囲とを関連づけて出力する第１モデルに、取得した前記断層像を入力して、前記第１モデルから出力されたオブジェクトの種類と範囲とを取得し、
    前記断層像は、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向に対して交差する方向に切断した断面を示す横断層像であり、
    複数枚の前記横断層像のそれぞれについて、前記オブジェクトの種類および範囲をマッピングして記憶し、
    複数枚の前記横断層像に基づいて生成された、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向と平行な方向に切断した断面を示す縦断層像に前記オブジェクトの種類および範囲をマッピングして出力する
    処理をコンピュータが実行する情報処理方法。
18. 管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、
    断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれの前記オブジェクトの範囲とを関連づけて出力する第１モデルに、取得した前記断層像を入力して、前記第１モデルから出力されたオブジェクトの種類と範囲とを取得し、
    前記オブジェクトから選択された１つのオブジェクトの範囲に基づいて、前記管腔器官が当該オブジェクトに対応する状態である範囲の角度を算出し、
    算出した角度を出力する
    処理をコンピュータが実行する情報処理方法。
19. 管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得する取得部と、
    前記取得部が取得した断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれの前記オブジェクトの範囲とを関連づけて出力するモデルに、取得した前記断層像を入力して、前記モデルから出力されたオブジェクトの種類と範囲とを取得する第２取得部とを備え、
    前記断層像は、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向に対して交差する方向に切断した断面を示す横断層像であり、
    前記第２取得部が取得した複数枚の前記横断層像のそれぞれについて、前記オブジェクトの種類および範囲をマッピングして記憶する記憶部と、
    複数枚の前記横断層像に基づいて生成された、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向と平行な方向に切断した断面を示す縦断層像に前記オブジェクトの種類および範囲をマッピングして出力する出力部とをさらに備える
    情報処理システム。
20. 管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得する取得部と、
    前記取得部が取得した断層像を入力した場合に、該断層像に含まれる複数のオブジェクトの種類と、それぞれの前記オブジェクトの範囲とを関連づけて出力するモデルに、取得した前記断層像を入力して、前記モデルから出力されたオブジェクトの種類と範囲とを取得する第２取得部と、
    前記オブジェクトから選択された１つのオブジェクトの範囲に基づいて、前記管腔器官が当該オブジェクトに対応する状態である範囲の角度を算出する算出部と、
    算出した角度を出力する出力部と
    を備える情報処理システム。

Images