JP2024050056A - コンピュータプログラム、学習モデル、情報処理方法、及び情報処理装置 - Google Patents

Abstract

【課題】画像診断カテーテルから得られる医用画像を、視認性を高く、診断しやすくするコンピュータプログラム、学習モデル、情報処理方法、及び情報処理装置を提供する。【解決手段】コンピュータプログラムは、コンピュータに、管腔器官に挿入されるカテーテルが備えるイメージングデバイスからの信号に基づく前記管腔器官の断層画像が入力された場合に、前記断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを用い、新たに断層画像を生成し、生成した断層画像を前記モデルに入力して得られるデータに基づき、前記組織又は病変部の範囲それぞれの領域画像を前記断層画像から抽出し、抽出された領域画像それぞれに前記組織又は病変部の種類に応じた画像処理を実行し、画像処理後の領域画像を利用して補正断層画像を生成する処理を実行させる。【選択図】図１０

Description

本発明は、医用画像に関する処理に係るコンピュータプログラム、学習モデル、情報処理方法、及び情報処理装置に関する。

医学的検査において、検査対象の画像を直接的に撮像するか、又は、電磁波を利用した測定結果を画像化するなどして得られる画像が診断に利用されている。特に、管腔器官の検査では、画像素子を器官内に移動させて得られる画像を使用する技術が種々利用されている。

管腔器官の中でも特に血管の画像診断は、冠動脈インターベンション（ＰＣＩ：Percutaneous Coronary Intervention）等の施術を安全確実に行なうために必要不可欠である。このため、造影剤を用いて体外から撮影する血管造影技術（angiography ）と併せて、カテーテルを用いたＩＶＵＳ（Intravascular Ultrasound）、ＯＣＴ（Optical Coherence Tomography）／ＯＦＤＩ（Optical Frequency Domain Imaging）等の血管内イメージング技術が普及している。

上述した画像診断では、撮影された医用画像から診断に関する情報を正確に得ることは容易ではない。医用画像の読影を補助するために、画像解析又は機械学習を用いて、画像内に写っている部分を判別する技術が種々提案されている（特許文献１等）。

特開２０２２－０５６７１４号公報

カテーテルデバイスを利用するシステムでは、画像診断カテーテルによって得られたＩＶＵＳの画像をカテーテルに係る手技を行なう医師に提示する。特許文献１に開示されているように情報を付加しているとしても、医用画像から管腔器官の状態を正確に診断するためには、画像を視認する医師にも、一定の経験や知識が必要となる。熟練度の高低に寄らず、より正確な診断を行なうために当該システムは、画像診断カテーテルから得られる医用画像を視認しやすくすることが求められる。

本開示の目的は、画像診断カテーテルから得られる医用画像を、視認性を高く、診断しやすくするコンピュータプログラム、学習モデル、情報処理方法、及び情報処理装置を提供することを目的とする。

（１）本開示に係るコンピュータプログラムは、コンピュータに、管腔器官に挿入されるカテーテルが備えるイメージングデバイスからの信号に基づく前記管腔器官の断層画像が入力された場合に、前記断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを用い、新たに断層画像を生成し、生成した断層画像を前記モデルに入力して得られるデータに基づき、前記組織又は病変部の範囲それぞれの領域画像を前記断層画像から抽出し、抽出された領域画像それぞれに前記組織又は病変部の種類に応じた画像処理を実行し、画像処理後の領域画像を利用して補正断層画像を生成する処理を実行させる。

（２）上記（１）のコンピュータプログラムにおいて、前記コンピュータに、前記画像処理として、前記領域画像毎に輝度を上昇又は下降させる処理を実行させてもよい。

（３）上記（１）又は（２）コンピュータプログラムにおいて、前記コンピュータに、前記画像処理として、前記組織又は病変部の範囲のうち、特定の範囲の領域画像にエッジ強調処理を実行させてもよい。

（４）上記（１）から（３）のいずれかのコンピュータプログラムにおいて、前記コンピュータに、前記断層画像に写っている前記組織又は病変部から、強調する範囲の選択を受け付け、前記画像処理として、選択された前記組織又は病変部の範囲を強調する処理を実行させてもよい。

（５）上記（４）のコンピュータプログラムにおいて、前記コンピュータに、前記イメージングデバイスからの信号に基づく前記断層画像を表示装置で表示中に、前記断層画像上で範囲の選択を受け付ける処理を実行させてもよい。

（６）上記（１）から（３）のいずれかのコンピュータプログラムにおいて、前記コンピュータに、前記カテーテルを用いた検査目的の選択を受け付け、前記画像処理として、選択された検査目的に応じた前記組織又は病変部の範囲を強調する処理を実行させてもよい。

（７）上記（１）から（６）のいずれかのコンピュータプログラムにおいて、前記イメージングデバイスは、追加のイメージングデバイスを備え、前記コンピュータに、追加のイメージングデバイスからの信号に基づく第２の断層画像に対して、前記第２の断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを更に用い、前記第２の断層画像に対して分別された範囲の領域画像を用い、前記補正断層画像を生成する処理を実行させてもよい。

（８）上記（７）のコンピュータプログラムにおいて、コンピュータに、異なる種類のイメージングデバイスからの信号に基づく複数の断層画像と、前記複数の断層画像それぞれに対応する前記組織又は病変部の範囲を分別するデータとが入力された場合に、各範囲のコントラストを強調させる補正断層画像を出力するように学習済みの補正画像生成モデルを用い、前記補正断層画像を生成する処理を実行させてもよい。

（９）本開示に係る学習モデルは、管腔器官に挿入されるカテーテルが備える異なる種類のイメージングデバイスからの信号に基づく前記管腔器官の複数の断層画像と、前記複数の断層画像それぞれに対して前記断層画像に写っている組織又は病変部の範囲を分別した分別済みのデータとを入力する入力層と、前記組織又は病変部のうち、特定の範囲を強調した補正断層画像を出力する出力層と、複数の断層画像、前記複数の断層画像それぞれに対して前記断層画像に写っている組織又は病変部の範囲を分別するデータ、及び前記データに基づいて複数の断層画像から特定の組織又は病変部を強調させた補正断層画像のセットを教師データとして学習済みの中間層とを備え、新たに前記イメージングデバイスからの信号に基づき得られた複数の断層画像と、前記複数の断層画像それぞれに含まれる前記組織又は病変部の範囲を分別したデータとが前記入力層に入力された場合に、補正断層画像を前記出力層から出力するよう、コンピュータを機能させる。

（１０）本開示に係る情報処理方法は、管腔器官に挿入されるカテーテルに備えられたイメージングデバイスによる走査信号を取得するコンピュータが、前記走査信号に基づく前記管腔器官の断層画像が入力された場合に、前記断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを用い、新たに走査信号を取得した場合に、新たに断層画像を生成し、生成した断層画像を前記モデルに入力して得られるデータに基づき、前記組織又は病変部の範囲それぞれの領域画像を前記断層画像から抽出し、抽出された領域画像それぞれに前記組織又は病変部の種類に応じた画像処理を実行し、画像処理後の領域画像を利用して補正断層画像を生成する。

（１１）本開示に係る情報処理装置は、管腔器官に挿入されるカテーテルに備えられたイメージングデバイスによる走査信号を取得する情報処理装置において、前記走査信号に基づく前記管腔器官の断層画像が入力された場合に、前記断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを記憶する記憶部と、前記走査信号に基づく画像処理を実行する処理部とを備え、前記処理部は、新たに走査信号を取得した場合に、新たに断層画像を生成し、生成した断層画像を前記モデルに入力して得られるデータに基づき、前記組織又は病変部の範囲それぞれの領域画像を前記断層画像から抽出し、抽出された領域画像それぞれに前記組織又は病変部の種類に応じた画像処理を実行し、画像処理後の領域画像を利用して補正断層画像を生成する。

本開示によれば、組織又は病変部の範囲毎に、その種類に応じた画像処理が実行されるため、組織又は病変部どうしが明瞭になった正断層画像が生成される。各々の範囲を示す画像が重畳されることとは別に、画像処理によって元の質感を保ったまま特定の範囲が色濃くなるなどの処理が行なわれる。これにより、イメージングデバイスを備えたカテーテルから得られる医用画像を、視認性を高く、診断しやすくすることができる。

画像診断装置の概要図である。 カテーテルの動作を示す説明図である。 画像処理装置の構成を示すブロック図である。 セグメンテーションモデルの概要図である。 画像処理装置による情報処理手順の一例を示すフローチャートである。 表示装置に表示される補正断層画像の例を示す。 表示装置に表示される補正断層画像の他の例を示す。 第２実施形態の画像処理装置による情報処理手順の一例を示すフローチャートである。 第２実施形態の画像処理装置による情報処理手順の一例を示すフローチャートである。 表示装置における表示例を示す説明図である。 第３実施形態の画像処理装置による情報処理手順の一例を示すフローチャートである。 第３実施形態の画像処理装置による情報処理手順の一例を示すフローチャートである。 第３実施形態の表示装置に表示される補正断層画像の一例を示す。 表示装置に表示される補正断層画像の他の一例を示す 第４実施形態の画像処理装置の構成を示すブロック図である。 補正画像生成モデルの概要図である。 補正画像生成モデルの他の一例の概要図である。 第４実施形態の画像処理装置による情報処理手順の一例を示すフローチャートである。 第４実施形態の画像処理装置による情報処理手順の一例を示すフローチャートである。

本発明の実施形態に係るコンピュータプログラム、情報処理方法、及び情報処理装置の具体例を、図面を参照しつつ以下に説明する。

（第１実施形態）
図１は、画像診断装置１００の概要図である。画像診断装置１００は、カテーテル１、ＭＤＵ（Motor Drive Unit）２、画像処理装置（情報処理装置）３、表示装置４及び入力装置５を備える。

カテーテル１は、医療用の柔軟性のある管である。カテーテル１は、先端部にイメージングデバイス１１を設け、基端からの駆動によって周方向に回転するイメージングカテーテルと呼ばれるものである。カテーテル１のイメージングデバイス１１は、ＩＶＵＳ法の場合は超音波振動子及び超音波センサを含む超音波プローブである。ＯＦＤＩの場合は、近赤外線レーザ及び近赤外線センサ等を含むＯＦＤＩデバイスである。イメージングデバイス１１は、その他、可視光等の他の波長の電磁波を用いる他のデバイスを用いてもよい。

ＭＤＵ２は、カテーテル１の基端に取り付けられる駆動装置であり、検査オペレータの操作に応じて内部モータを駆動することによって、カテーテル１の動作を制御する。

画像処理装置３は、カテーテル１のイメージングデバイス１１から出力された信号に基づいて、血管の断層像等、複数の医用画像を生成する。画像処理装置３の構成の詳細については後述する。

表示装置４は、液晶表示パネル、有機ＥＬ表示パネル等を用いる。表示装置４は、画像処理装置３によって生成される医用画像と、医用画像に関する情報とを表示する。

入力装置５は、画像処理装置３に対する操作を受け付ける入力インタフェースである。入力装置５は、キーボード、マウス等であってもよいし、表示装置４に内蔵されるタッチパネル、ソフトキー、ハードキー等であってもよい。入力装置５は、音声入力に基づく操作を受け付けてもよい。この場合、入力装置５は、マイクロフォン及び音声認識エンジンを用いる。

図２は、カテーテル１の動作を示す説明図である。図２においてカテーテル１は、血管内に検査オペレータによって、図中に示す冠動脈に挿入されたガイドワイヤＷに沿って、管状の血管Ｌ内に挿入されている。図２中の血管Ｌの拡大図において右部は、カテーテル１及びガイドワイヤＷの挿入箇所から遠位、左部は近位に対応する。

カテーテル１は、ＭＤＵ２の駆動により、図中の矢符で示すように、血管Ｌ内の遠位から近位へ向けて移動し、且つ、周方向に回転しながら、イメージングデバイス１１によって螺旋状に血管内を走査する。

本実施形態の画像診断装置１００では、画像処理装置３が、カテーテル１のイメージングデバイス１１から出力された１走査毎の信号をそれぞれ取得する。１回の走査は、イメージングデバイス１１から検出波を径方向に発し、反射光を検出することであり、螺旋状に走査される。画像処理装置３は、１走査毎の信号を360度分毎に極座標変換することで得られる断層画像（横断面画像）を生成する（図２中、Ｉ１）。断層画像Ｉ１は、フレーム画像ともいう。断層画像Ｉ１の基準点（中心）は、カテーテル１の範囲（画像化されない）に対応する。画像処理装置３は更に、断層画像Ｉ１の基準点を通る直線上の画素値を、カテーテル１が血管の長さ方向（長軸方向）に沿って並べた長軸画像（縦断面画像）を生成する（図２中、Ｉ２）。画像処理装置３は、得られた断層画像Ｉ１、長軸画像Ｉ２に基づいて血管の分岐構造を分析処理し、血管の構造を示す二次元又は三次元画像を、医師、検査オペレータあるいは他の医療従事者が視認可能に出力する。

本開示における画像診断装置１００では、画像処理装置３が、イメージングデバイス１１からの信号から作成される断層画像Ｉ１の視認性を高めて出力する。以下、画像処理装置３による処理について詳細を説明する。

図３は、画像処理装置３の構成を示すブロック図である。画像処理装置３は、コンピュータであり、処理部３０、記憶部３１、及び入出力Ｉ／Ｆ３２を備える。

処理部３０は、一又は複数のＣＰＵ（Central Processing Unit ）、ＭＰＵ（Micro-Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等を含む。処理部３０は、ＲＡＭ（Random Access Memory）等の非一時記憶媒体を内蔵し、処理中に生成したデータを非一時記憶媒体に記憶しつつ、記憶部３１に記憶されているコンピュータプログラムＰ３に基づき演算を実行する。

記憶部３１は、ハードディスク、フラッシュメモリ等の不揮発性記憶媒体である。記憶部３１は、処理部３０が読み出すコンピュータプログラムＰ３、設定データ等を記憶する。また記憶部３１は、学習済みのセグメンテーションモデル３１Ｍを記憶する。

コンピュータプログラムＰ３、セグメンテーションモデル３１Ｍは、装置外の非一時記憶媒体９に記憶されたコンピュータプログラムＰ９、セグメンテーションモデル９１Ｍを入出力Ｉ／Ｆ３２を介して読み出して複製したものであってもよい。コンピュータプログラムＰ３、セグメンテーションモデル３１Ｍは、遠隔のサーバ装置が配信するものを画像処理装置３が図示しない通信部を介して取得し、記憶部３１に記憶したものであってもよい。

入出力Ｉ／Ｆ３２は、カテーテル１、表示装置４及び入力装置５が接続されるインタフェースである。処理部３０は、入出力Ｉ／Ｆ３２を介し、イメージングデバイス１１から出力される信号（デジタルデータ）を取得する。処理部３０は、入出力Ｉ／Ｆ３２を介し、生成した断層画像Ｉ１及び／又は長軸画像Ｉ２を含む画面の画面データを表示装置４へ出力する。処理部３０は、入出力Ｉ／Ｆ３２を介して、入力装置５に入力された操作情報を受け付ける。

図４は、セグメンテーションモデル３１Ｍの概要図である。セグメンテーションモデル３１Ｍは、画像が入力された場合に、画像に写っている１又は複数の対象物の領域を示す画像を出力するように学習されたモデルである。セグメンテーションモデル３１Ｍは例えば、セマンティックセグメンテーション（Semantic Segmentation ）を実施するモデルである。セグメンテーションモデル３１Ｍは、入力された画像中の各画素に対し、各画素がいずれの対象物が写っている範囲の画素であるかを示すデータをタグ付けした画像を出力するように設計されている。

セグメンテーションモデル３１Ｍは例えば、図４に示すように、畳み込み層、プーリング層、アップサンプリング層、及びソフトマックス層を対象的に配置した所謂Ｕ－ｎｅｔを用いる。セグメンテーションモデル３１Ｍは、カテーテル１からの信号によって作成した断層画像Ｉ１が入力された場合に、タグ画像ＩＳを出力する。タグ画像ＩＳは、血管の内腔範囲、血管の中膜を含む血管の内腔境界と血管境界との間に対応する膜範囲、ガイドワイヤＷ及びそれによる反響が写っている範囲、並びにカテーテル１に対応する範囲を、その位置の画素に各々異なる画素値（図４中では異なる種類のハッチング及び無地で示す）によってタグを付したものである。セグメンテーションモデル３１Ｍは更に、血管に形成されている繊維性プラークの部分、脂質性プラークの部分、石灰化プラークの部分、といった病変部等を識別できてもよい。

セグメンテーションモデル３１Ｍは上述したようにセマンティックセグメンテーション、Ｕ－ｎｅｔを例示したがこれに限らないことは勿論である。その他、セグメンテーションモデル３１Ｍは、インスタンスセグメンテーション等による個別認識処理を実現するモデルであってもよい。セグメンテーションモデル３１Ｍは、Ｕ－ｎｅｔベースに限らず、ＳｅｇＮｅｔ、Ｒ－ＣＮＮ、又は他のエッジ抽出処理との統合モデル等をベースにしたモデル使用してもよい。

処理部３０は、セグメンテーションモデル３１Ｍに断層画像Ｉ１を入力して得られるタグ画像ＩＳにおける画素値とその画像内の座標とによって、断層画像Ｉ１に写っている血管の血液（内腔範囲）、内膜範囲、中膜範囲、外膜範囲を識別できる。

図５は、画像処理装置３による情報処理手順の一例を示すフローチャートである。画像処理装置３の処理部３０は、検査のために医療事業者がカテーテル１を血管に挿入する手技の実施中に、カテーテル１のイメージングデバイス１１から信号が出力されると以下の処理を開始する。

処理部３０は、カテーテル１のイメージングデバイス１１からの信号（データ）を所定量（例えば３６０度分）取得する都度（ステップＳ１０１）、矩形に並べた信号を極座標変換（逆変換）して断層画像Ｉ１を生成する（ステップＳ１０２）。

処理部３０は、ステップＳ１０１で取得した信号データと、断層画像Ｉ１とを長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ１０３）。

処理部３０は、断層画像Ｉ１をセグメンテーションモデル３１Ｍへ入力する（ステップＳ１０４）。処理部３０は、セグメンテーションモデル３１Ｍから出力されるタグ画像ＩＳに基づき、断層画像Ｉ１の各範囲の領域画像を抽出する（ステップＳ１０５）。処理部３０は、抽出した各範囲の領域画像を、長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ１０６）。

処理部３０は、抽出した各範囲の領域画像に対し、設定に基づき、各範囲の種類に応じた輝度の変更処理（画像処理）を実行する（ステップＳ１０７）。ステップＳ１０７における輝度の変更処理の設定は、記憶部３１に記憶されている。設定は、例えば、セグメンテーションモデル３１Ｍにて識別される範囲それぞれを識別する識別データに対応付けられた輝度の係数又は加減値（マージン）である。輝度を減少させる場合、処理部３０は１未満の係数を輝度に乗ずるか、若しくは加減値を輝度から減算する。輝度を増加させる場合、処理部３０は１以上の係数を輝度に乗ずるか、若しくは加減値を輝度に加算する。

ステップＳ１０７において処理部３０は、例えば中膜範囲の輝度を減少（暗く）させ、内腔（血液）範囲の輝度を増加（明るく）させる。ステップＳ１０７において処理部３０は、例えば内膜範囲に輝度を減少させ、中膜範囲の輝度を増加させる。

処理部３０は、輝度を変更した後の領域画像を結合することによってコントラストを強調させた補正断層画像を作成し（ステップＳ１０８）、作成した補正断層画像を、表示装置４に表示中の画面に出力する（ステップＳ１０９）。

ステップＳ１０９において処理部３０は、各長軸上の位置に対応する補正断層画像のみならず、断層画像Ｉ１から得られる解剖学的特徴を示すデータを出力するとよい。処理部３０は例えば、内腔範囲の内腔境界から内側における最大径、最小径、平均内径等の数値を算出して出力する。処理部３０は更に、膜範囲の外側輪郭を血管境界として算出し、その最大径、最小径、及び平均径を算出してもよい。処理部３０は、例えば、内腔境界及び血管境界を算出するとともに、断層画像Ｉ１における内腔境界と血管境界との間の画素値に基づき、繊維性プラーク範囲、脂質性プラーク範囲、石灰化プラーク範囲等を決定し、これらの範囲を示す画像を補正断層画像に重畳させて表示してもよい。処理部３０は、、繊維性プラーク範囲、脂質性プラーク範囲、又は石灰化プラーク範囲を決定できた場合、その断面積の血管境界内側の面積に対する割合（plaque burden）を算出し、補正断層画像と併せて表示させてもよい。

処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ１１０）。走査を完了していないと判断された場合（Ｓ１１０：ＮＯ）、処理部３０は、処理をステップＳ１０１へ戻し、次の断層画像Ｉ１を生成する。

走査を完了したと判断された場合（Ｓ１１０：ＹＥＳ）、処理を終了する。

走査を完了した後は、ステップＳ１０３、及びＳ１０６によって血管の長軸上の位置に対応付けて断層画像Ｉ１及び各領域画像が記憶されている。したがって、これらの画像に基づいて、ステップＳ１０７－Ｓ１０９の処理によって事後的に、任意の位置における断層画像Ｉ１に対する補正断層画像を出力させることができる。

図６は、表示装置４に表示される補正断層画像の例を示す。図６Ａは、補正断層画像の一例を示し、図６Ｂは、補正断層画像の他の例を示す。図６Ｃは、比較例としてコントラストが調整される前の断層画像Ｉ１（図４）を示す。

図６Ａは、中膜範囲を強調するための輝度の変更処理（画像処理）が実行された画像である。図６Ａに示す画像は、中膜範囲の輝度を減少（暗く）し、内腔（血液）範囲の輝度を増加（明るく）する変更処理がされている。これにより、中膜範囲が明確になり、外弾性板（ＥＥＭ：External Elastic Membrane ）が強調される。医師は、図６Ｃに示す断層画像Ｉ１をそのまま視認するよりも、外弾性板を把握しやすくなる。

図６Ｂは、内膜範囲を強調するための輝度の変更処理が実行された画像である。図６Ｂに示す画像では、内膜範囲の輝度を減少（暗く）させ、内腔（血液）範囲の輝度を増加させ、中膜範囲の輝度を更に増加させた輝度の変更処理がされている。これにより、暗く写りやすい中膜（ＥＥＭ）より内側の内膜の範囲を把握しやすくなる。

このように、画像処理装置３の処理部３０は、セグメンテーションモデル３１Ｍによって判別された各範囲を示すタグ画像ＩＳを表示するのではなく、各領域の輝度を加減してコントラストを調整した補正断層画像を表示する。これにより、各領域内での画像の質感を残したまま、領域の区別を視認しやすくすることができる。

画像処理装置３の処理部３０は、図５に示した処理手順のうち、ステップＳ１０７における各範囲の種類に応じた輝度の変更処理に加えて、範囲のエッジを抽出する処理を、いずれかの領域画像に対して加えてもよい。例えば処理部３０は、病変部（プラーク）の範囲の領域画像に対し、プラークの輪郭を強調するエッジ抽出処理を実行してもよい。

図７は、表示装置４に表示される補正断層画像の他の例を示す。図７Ａは、補正断層画像の一例を示し、図７Ｂは、比較例としてコントラストが調整される前の断層画像Ｉ１（図４）である。

図７Ａは、中膜範囲の輝度を減少（暗く）させ、内腔（血液）範囲の輝度を増加（明るく）させた輝度の変更処理（画像処理）が実行された上で、プラークの範囲のエッジを強調させた画像である。これにより、中膜範囲が明確となり、外弾性板及びプラーク範囲が把握しやすくなる。

（第２実施形態）
第２実施形態では、表示装置４で表示中の断層画像Ｉ１に対し、強調させる範囲の選択を受け付けた上で、補正断層画像を出力する。第２実施形態における画像診断装置１００及び画像処理装置３の構成は、上述の選択を受け付けるための画像処理装置３による処理手順の一部以外、第１実施形態の画像診断装置１００及び画像処理装置３の構成と同様である。したがって、第２実施形態における画像処理装置３の構成のうち、第１実施形態と共通する構成については同一の符号を付して詳細な説明を省略する。

図８及び図９は、第２実施形態の画像処理装置３による情報処理手順の一例を示すフローチャートである。画像処理装置３の処理部３０は、検査のために医療事業者がカテーテル１を血管に挿入する手技の実施中に、カテーテル１のイメージングデバイス１１から信号が出力されると以下の処理を開始する。図８及び図９のフローチャートに示す処理手順のうち、第１実施形態の図５のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

第２実施形態において処理部３０は、領域画像を抽出して記憶した後（Ｓ１０６）、補正断層画像を表示する選択がされたか否か（既にされているか否か）を判断する（ステップＳ１１１）。

補正断層画像を表示する選択がされていないと判断された場合（Ｓ１１１：ＮＯ）、処理部３０は、ステップＳ１０２で生成した断層画像Ｉ１を表示装置４に表示中の画面に出力し（ステップＳ１１２）、処理をステップＳ１１０へ進める。

補正断層画像を表示する選択がされていると判断された場合（Ｓ１１１：ＹＥＳ）、処理部３０は、ステップＳ１０７－Ｓ１０９の処理を実行する。

処理部３０は、表示装置４に補正断層画像を出力した後（Ｓ１０９）、入力装置５により、補正断層画像を表示しない選択がされたか否かを判断する（ステップＳ１１３）。補正断層画像を表示しない選択がされたと判断された場合（Ｓ１１３：ＹＥＳ）、処理部３０は処理をステップＳ１１０へ進める。この場合、以後、補正断層画像を表示する選択が再度されるまで、ステップＳ１１１において選択がされていないと判断される。

補正断層画像を表示しない選択はされていないと判断された場合（Ｓ１１３：ＮＯ）、処理部３０は、強調する範囲の選択を受け付けたか否かを判断する（ステップＳ１１４）。選択の方法は、表示装置４の画面上に表示されている強調範囲の選択メニューに対する入力装置５による操作であってもよいし、画面上に表示されている検査目的の選択メニューに対する操作であってもよい。

ステップＳ１１４にて選択を受け付けたと判断された場合（Ｓ１１４：ＹＥＳ）、処理部３０は、ステップＳ１０７の輝度の変更処理の設定を変更し（ステップＳ１１５）、ステップＳ１１０へ処理を進める。以後、変更後の設定に基づき、補正断層画像を表示する選択がされている状態で、輝度が変更された補正断層画像が表示装置４に表示される。

ステップＳ１１４にて選択を受け付けていないと判断された場合（Ｓ１１４：ＮＯ）、処理部３０は処理をそのままステップＳ１１０へ進める。

走査を完了した後は、ステップＳ１０３、及びＳ１０６によって血管の長軸上の位置に対応付けて断層画像Ｉ１及び各領域画像が記憶されている。したがって、これらの画像に基づいて、ステップＳ１０７－Ｓ１０９，Ｓ１１５の処理によって事後的に、任意の位置における断層画像Ｉ１に対する補正断層画像を出力させ、任意の位置で強調させる範囲を変更することができる。

図１０は、表示装置４における表示例を示す説明図である。図１０は、図８及び図９のフローチャートのステップＳ１１１によって選択を受け付ける画面４００を示す。表示装置４に表示されている画面４００には、図１０に示すように、補正断層画像４０１が表示されている。補正断層画像４０１の側方に、設定変更メニュー４０２が表示されている。設定変更メニュー４０２は、入力装置５により選択すると対象のリストが表示するコントロールである。リストから対象の範囲、つまり内膜、中膜、外膜、内腔等の範囲を識別する項目を入力装置５で選択すると、処理部３０は、選択された範囲が強調された補正断層画像に切り替える。

図１０では、中膜を強調することを設定変更メニュー４０２で選択した場合に、左下に示すように中膜に相当する領域が強調されるようにコントラストを調整された補正断層画像４０１が表示されている。同様に、内膜を強調することを設定変更メニュー４０２で選択した場合に、右下に示すように内膜に相当する領域が強調されるようにコントラストを調整された補正断層画像４０１が表示されている。

設定変更メニュー４０２の内容は、強調させたい対象の範囲を選択することに限られない。例えば設定は、検査の目的（プラン）に応じた、いずれの範囲の輝度をどれだけ上昇させ、いずれの範囲の輝度をどれだけ下降させるかのデータであってもよい。この場合、設定変更メニュー４０２は、検査の目的のリストを受け付ける。例えば、「内腔測定」の目的が選択された場合、処理部３０は、内膜を強調させた補正断層画像を作成して出力する。

また、設定変更メニュー４０２は、補正断層画像４０１上の箇所を入力装置５に対応するポインタで選択されて実現されてもよい。例えば図１０の表示例では、内膜の範囲を入力装置５で選択すると、処理部３０ｇ、内膜を強調した補正断層画像に切り替える。

このようにして、表示装置４で表示しながら手技中に、医療事業者の操作に応じてリアルタイムにコントラストの調整具合を変更して表示させることが可能である。

（第３実施形態）
第３実施形態では、イメージングデバイス１１が、異なる波長の波（超音波、光）の送信器及び受信器をそれぞれ含むデュアルタイプのカテーテルデバイスである。イメージングデバイス１１は、ＩＶＵＳ法の超音波振動子及び超音波センサを含む超音波プローブと、近赤外線レーザ及び近赤外線センサ等を含むＯＦＤＩデバイスとを含む。デュアルタイプの対象は、ＩＶＵＳ及びＯＦＤＩの組み合わせに限らず、エコー等であってもよい。

第３実施形態の画像処理装置３は、カテーテル１のイメージングデバイス１１から出力された１走査毎のＩＶＵＳ及びＯＦＤＩの信号をそれぞれ取得し、ＩＶＵＳの医用画像と、ＯＦＤＩの医用画像とをそれぞれ長軸方向に複数生成する。画像処理装置３は、ＩＶＵＳ及びＯＦＤＩそれぞれについて得られた医用画像（断層画像及び／又は長軸画像）に基づいて血管の分岐構造を分析処理し、医用画像を見やすく加工し、医師、検査オペレータあるいは他の医療従事者が視認可能に出力する。

第３実施形態における画像診断装置１００及び画像処理装置３の構成は、上述したイメージングデバイス１１がデュアルタイプであること、それに伴う画像処理装置３による処理手順の一部以外は、第１実施形態の画像診断装置１００及び画像処理装置３の構成と同様である。したがって、画像処理装置３の構成について、第１実施形態の画像処理装置３の構成と共通する構成については同一の符号を付して詳細な説明を省略する。

図１１及び図１２は、第３実施形態の画像処理装置３による情報処理手順の一例を示すフローチャートである。画像処理装置３の処理部３０は、検査のために医療事業者がカテーテル１を血管に挿入する手技の実施中に、カテーテル１のイメージングデバイス１１から信号が出力されると以下の処理を開始する。

処理部３０は、カテーテル１のイメージングデバイス１１からの信号（データ）を、ＩＶＵＳ及びＯＦＤＩの両方について、所定量（例えば３６０°）分取得する都度（ステップＳ２０１）、断層画像Ｉ１１，Ｉ１２を生成する（ステップＳ２０２）。ステップＳ２０２において処理部３０は、ＩＶＵＳ及びＯＦＤＩそれぞれについて、矩形に並べた信号を極座標変換（逆変換）して断層画像Ｉ１１，Ｉ１２を生成する。

処理部３０は、ＩＶＵＳ及びＯＦＤＩそれぞれについて、ステップＳ２０１で取得した信号データと、ステップＳ２０２で生成した断層画像Ｉ１１，Ｉ１２とを血管の長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ２０３）。

処理部３０は、ＩＶＵＳ用のセグメンテーションモデル３１Ｍへ、ＩＶＵＳの断層画像Ｉ１１を入力する（ステップＳ２０４）。処理部３０は、セグメンテーションモデル３１Ｍから出力されるタグ画像ＩＳに基づき、ＩＶＵＳで得られた断層画像Ｉ１１の各範囲の領域画像を抽出する（ステップＳ２０５）。処理部３０は、抽出した各範囲の領域画像を、長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ２０６）。

処理部３０は、ＯＦＤＩ用のセグメンテーションモデル３１Ｍへ、ＯＦＤＩの断層画像Ｉ１２を入力する（ステップＳ２０７）。処理部３０は、セグメンテーションモデル３１Ｍから出力されるタグ画像ＩＳに基づき、ＯＦＤＩで得られた断層画像Ｉ１２の各範囲の領域画像を抽出する（ステップＳ２０８）。処理部３０は、抽出した各範囲の領域画像を、長軸上の位置に対応付けて記憶部３１に記憶する（ステップＳ２０９）。

処理部３０は、ＩＶＵＳの断層画像Ｉ１１から得られた各範囲の領域画像と、ＯＦＤＩの断層画像Ｉ１２から得られた各範囲の領域画像とを比較し、相互に必要な領域画像を抽出する（ステップＳ２１０）。ステップＳ２１０において処理部３０は、基本的にＩＶＵＳの断層画像Ｉ１１から得られた、外膜範囲、中膜範囲、内膜範囲、内腔範囲、プラーク範囲として識別された領域画像を抽出する。処理部３０はステップＳ２１０において、ＯＦＤＩで効果的に撮像される範囲（石灰性プラーク）として識別された領域画像を抽出する。

処理部３０は、抽出された領域画像それぞれについて、各範囲の種類に応じた輝度の変更処理（画像処理）を実行する（ステップＳ２１１）。ステップＳ２１１の処理は、第１実施形態の図５に示したステップＳ１０７の処理と同様である。

処理部３０は、輝度を変更した後の領域画像を結合することによって、２つのイメージング技術に基づくコントラストを強調させた補正断層画像を作成し（ステップＳ２１２）、作成した補正断層画像を、表示装置４に表示中の画面に出力する（ステップＳ２１３）。

処理部３０は、カテーテル１のイメージングデバイス１１による走査を完了したか否かを判断する（ステップＳ２１４）。走査を完了していないと判断された場合（Ｓ２１４：ＮＯ）、処理部３０は、処理をステップＳ２０１へ戻し、次の断層画像Ｉ１を生成する。

走査を完了したと判断された場合（Ｓ２１４：ＹＥＳ）、処理を終了する。

図１１及び図１２に示した処理手順による補正断層画像の例を示す。図１３は、第３実施形態の表示装置４に表示される補正断層画像の一例を示す。図１３に示す補正断層画像は、ＩＶＵＳの断層画像Ｉ１１の各領域画像に、ＯＦＤＩの断層画像Ｉ１２において、石灰化プラークの範囲として識別された領域画像が結合されている。図１３の補正断層画像では、ＯＦＤＩで得られた石灰化プラークの範囲の領域画像に対して輝度を低下する処理が行なわれている。同様に図１３の補正断層画像では、ＩＶＵＳの断層画像Ｉ１１にて識別された中膜範囲の領域画像に対して輝度を低下する処理が行なわれ、他の範囲の領域画像には輝度を低下又は上昇させる処理が行なわれている。これにより、中膜と石灰化プラークとの位置関係が明瞭な補正断層画像が得られる。

図１４は、表示装置４に表示される補正断層画像の他の一例を示す。図１４に示す補正断層画像は、ＯＦＤＩの断層画像１２の各領域画像に、ＩＶＵＳの断層画像Ｉ１１にて脂質性プラークの範囲として識別された領域画像が結合されている。図１４の補正断層画像では、ＩＶＵＳで得られた脂質性プラークの範囲の領域画像に対して輝度を低下させる処理が行なわれている。同様に、図１４の補正断層画像では、ＯＦＤＩの断層画像１２にて識別された内腔範囲の領域画像に対して輝度を低下する処理が行なわれ、他の範囲の領域画像には輝度を低下又は上昇させる処理が行なわれている。これにより、内腔と脂質性プラークとの位置関係が明瞭な補正断層画像が得られる。

第３実施形態で示したように、デュアル式のイメージングデバイス１１を用いる場合は、同時に同一の管腔器官を撮像した信号が得られるので、より正確な判断を支援できるように、両方のデバイスの長所を取り込んだ補正断層画像を表示することが可能になる。例えば、ＩＶＵＳでは鮮明に写りづらい硬い病変の画像に、ＯＦＤＩによって撮像された鮮明な病変の画像を補完させた断層画像が得られる。逆に、ＯＦＤＩによって撮像された詳細な内腔表面付近の画像に、ＩＶＵＳでより深くまで撮影した柔らかな部分の画像を補完させた断層画像が得られる。それぞれの元の画像も記憶しておき、そのままの画像も表示できる。これにより、より迅速に検査を行なって患者の負担を低減しつつ、正確な診断が可能となる。

（第４実施形態）
第４実施形態では、第３実施形態同様に、デュアル式のイメージングデバイス１１を用いる。第４実施形態では、異なる種類のイメージング技術によって得られた信号に基づく各々の画像から、双方の位置を合わせ、且つ、相互により鮮明に写った範囲を抽出して結合した補正後断層画像を、学習モデルを用いて生成する。

図１５は、第４実施形態の画像処理装置３の構成を示すブロック図である。第４実施形態において画像処理装置３は、記憶部３１にコンピュータプログラムＰ３、第１セグメンテーションモデルＭ３１、第２セグメンテーションモデルＭ３２、及び補正画像生成モデル３３Ｍを記憶している。

第１セグメンテーションモデル３１Ｍ、第２セグメンテーションモデル３２Ｍ及び補正画像生成モデル３３Ｍは、装置外の非一時記憶媒体９に記憶された第１セグメンテーションモデル９１Ｍ、第２セグメンテーションモデル９２Ｍ及び補正画像生成モデル９３Ｍを入出力Ｉ／Ｆ３２を介して読み出して複製したものであってもよい。第１セグメンテーションモデル３１Ｍ、第２セグメンテーションモデル３２Ｍ及び補正画像生成モデル３３Ｍは、遠隔のサーバ装置が配信するものを画像処理装置３が図示しない通信部を介して取得し、記憶部３１に記憶したものであってもよい。

画像処理装置３のその他の構成については、第１実施形態に示した構成と同様である。したがって、第４実施形態の画像診断装置１００及び画像処理装置３の構成のうち、第１実施形態の構成と共通する構成については同一の符号を付して詳細な説明を省略する。

第１セグメンテーションモデルＭ３１は、デュアル式のイメージングデバイス１１から得られるデータのうち、ＩＶＵＳのプローブから得られる信号に基づく断層画像Ｉ１１に対して領域を認識したタグ画像ＩＳを出力するように学習されたモデルである。第２セグメンテーションモデルＭ３２は、デュアル式のイメージングデバイス１１から得られるデータのうち、ＯＦＤＩデバイスから得られる信号に基づく断層画像Ｉ１２に対して領域を認識したタグ画像ＩＳを出力するように学習されたモデルである。

補正画像生成モデル３３Ｍは、ＩＶＵＳの断層画像Ｉ１１、第１セグメンテーションモデルＭ３１から出力されたタグ画像ＩＳ、ＯＦＤＩの断層画像Ｉ１２、第２セグメンテーションモデルＭ３２から出力されたタグ画像ＩＳを入力した場合に、補正断層画像が出力されるように学習されている。

図１６は、補正画像生成モデル３３Ｍの概要図である。補正画像生成モデル３３Ｍは、入力される２つの断層画像Ｉ１１，Ｉ１２から、補正断層画像を出力するように学習されたモデルである。補正画像生成モデル３３Ｍは例えば、図１６に示すように、ＩＶＵＳの断層画像Ｉ１１と、断層画像Ｉ１１に対しセグメンテーションモデル３１Ｍから出力された各範囲を識別した領域画像（タグ画像ＩＳ）と、ＯＦＤＩの断層画像Ｉ１２と、断層画像Ｉ１２に対しセグメンテーションモデル３２Ｍから出力された各範囲を識別した領域画像（タグ画像ＩＳ）とが入力される入力層３３１を備える。補正画像生成モデル３３Ｍは、各画像に対する畳み込み層、プーリング層等をふくみ特徴量を導出するとともに、それらの特徴量から画像を生成するためのアップサンプリング層等を含む中間層３３２を備える。補正画像生成モデル３３Ｍは、中間層３３２における演算によって補正断層画像を出力する出力層３３３を備える。補正画像生成モデル３３Ｍは、オートエンコーダを用いてもよい。

補正画像生成モデル３３Ｍは、同時に得られたＩＶＵＳ及びＯＦＤＩの信号に基づき生成された断層画像Ｉ１１、Ｉ１２、それぞれのタグ画像ＩＳを入力とし、断層画像Ｉ１１、Ｉ１２の両者に基づき組織又は病変部の領域が確定した結果（画像）を出力とする教師データに基づき学習される。組織又は病変部の領域の確定は、予め医師によって実施される。又は、第１実施形態、第２実施形態の設定に基づく画像処理によって生成された補正断層画像を出力とする教師データによって学習されてもよい。

上述の教師データを用い、画像処理装置３又は他の装置が予め、ＩＶＵＳ及びＯＦＤＩの信号に基づく断層画像Ｉ１１、Ｉ１２及びそれらのタグ画像ＩＳが入力された場合に、結果の画像が得られるように中間層３３２のパラメータを学習する。

第４実施形態では、このようにして得られる学習済みの補正画像生成モデル３３Ｍを用いて、補正断層画像を生成する。

補正画像生成モデル３３Ｍは、図１０に示したように、いずれの範囲を強調させるか、どのようなプランの検査であるのか、という目的に応じて異なるモデルとして学習されてもよい。

補正画像生成モデル３３Ｍに入力される断層画像Ｉ１１及び断層画像Ｉ１２は、同時に得られたＩＶＵＳ及びＯＦＤＩの信号に基づき生成されていても、画像をそのまま重ねた場合に各領域が一致するとは限らない。そこで補正画像生成モデル３３Ｍに入力する断層画像Ｉ１１，Ｉ１２には、前処理を実行しておくことが好ましい。前処理は、断層画像Ｉ１１に対する断層画像Ｉ１２の中心合わせ、回転、拡縮である。前処理のパラメータ（中心をずらす量、回転量、拡縮倍率）は、検査オペレータによって画像処理装置３にて予め設定されてもよい。前処理は、後述するように学習モデルを用いて実施されてもよい。

図１７は、補正画像生成モデル３３Ｍの他の一例の概要図である。他の例の補正画像生成モデル３３Ｍは、前段階に位置補正モデルが接続される。位置補正モデルは、同時に得られたＩＶＵＳ及びＯＦＤＩの信号に基づき生成された断層画像Ｉ１１、Ｉ１２、それぞれのタグ画像ＩＳが入力された場合に、上述の前処理のパラメータ（位置補正量）を出力するモデルである。位置補正モデルは、断層画像Ｉ１１、Ｉ１２及びそれぞれのタグ画像ＩＳを入力とし、前処理のパラメータ（位置補正量）を出力とする教師データに基づき学習される。位置補正モデルは、断層画像Ｉ１１，Ｉ１２の一方を中心ずらし、回転及び拡縮した前処理後の画像を出力するように学習されてもよい。

図１７において、補正画像生成モデル３３Ｍの画像生成モデルは、断層画像Ｉ１１、Ｉ１２、及びそれぞれのタグ画像ＩＳに加え、位置補正量を入力層３３１に入力された場合に、補正断層画像を出力するように学習される。これにより、更に正確な補正断層画像を自動的に作成することが可能である。

図１８及び図１９は、第４実施形態の画像処理装置３による情報処理手順の一例を示すフローチャートである。図１８及び図１９のフローチャートに示す処理手順のうち、第３実施形態の図１１及び図１２のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

第４実施形態において画像処理装置３の処理部３０は、ＩＶＵＳの断層画像、それに対する領域画像（タグ画像ＩＳ）、ＯＦＤＩの断層画像、及びそれに対する領域画像（タグ画像ＩＳ）を取得すると（Ｓ２０１－Ｓ２０９）、それらを補正画像生成モデル３３Ｍへ入力する（ステップＳ２２０）。

処理部３０は、補正画像生成モデル３３Ｍから出力される補正断層画像を、表示装置４に表示させ（ステップＳ２２１）、処理をステップＳ２１４へ進める。

このように、２つのイメージング技術によって得られる断層画像を相互に補完するための画像処理を、学習モデルを用いて実施することも可能である。

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１００ 画像診断装置
１ カテーテル
１１ イメージングデバイス
３ 画像処理装置
３０ 処理部
３１ 記憶部
３１Ｍ，３２Ｍ セグメンテーションモデル
３３Ｍ 補正画像生成モデル
Ｐ３，Ｐ９ コンピュータプログラム
４ 表示装置
５ 入力装置

Claims (11)

1. コンピュータに、
   管腔器官に挿入されるカテーテルが備えるイメージングデバイスからの信号に基づく前記管腔器官の断層画像が入力された場合に、前記断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを用い、
   新たに断層画像を生成し、
   生成した断層画像を前記モデルに入力して得られるデータに基づき、前記組織又は病変部の範囲それぞれの領域画像を前記断層画像から抽出し、
   抽出された領域画像それぞれに前記組織又は病変部の種類に応じた画像処理を実行し、
   画像処理後の領域画像を利用して補正断層画像を生成する
   処理を実行させるコンピュータプログラム。
2. 前記コンピュータに、前記画像処理として、前記領域画像毎に輝度を上昇又は下降させる処理を実行させる
   請求項１に記載のコンピュータプログラム。
3. 前記コンピュータに、前記画像処理として、前記組織又は病変部の範囲のうち、特定の範囲の領域画像にエッジ強調処理を実行させる
   請求項１に記載のコンピュータプログラム。
4. 前記コンピュータに、
   前記断層画像に写っている前記組織又は病変部から、強調する範囲の選択を受け付け、
   前記画像処理として、選択された前記組織又は病変部の範囲を強調する
   処理を実行させる請求項１に記載のコンピュータプログラム。
5. 前記コンピュータに、
   前記イメージングデバイスからの信号に基づく前記断層画像を表示装置で表示中に、
   前記断層画像上で範囲の選択を受け付ける
   処理を実行させる請求項４に記載のコンピュータプログラム。
6. 前記コンピュータに、
   前記カテーテルを用いた検査目的の選択を受け付け、
   前記画像処理として、選択された検査目的に応じた前記組織又は病変部の範囲を強調する
   処理を実行させる請求項１に記載のコンピュータプログラム。
7. 前記イメージングデバイスは、追加のイメージングデバイスを備え、
   前記コンピュータに、
   追加のイメージングデバイスからの信号に基づく第２の断層画像に対して、前記第２の断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを更に用い、
   前記第２の断層画像に対して分別された範囲の領域画像を用い、前記補正断層画像を生成する
   処理を実行させる請求項１に記載のコンピュータプログラム。
8. コンピュータに、
   異なる種類のイメージングデバイスからの信号に基づく複数の断層画像と、前記複数の断層画像それぞれに対応する前記組織又は病変部の範囲を分別するデータとが入力された場合に、各範囲のコントラストを強調させる補正断層画像を出力するように学習済みの補正画像生成モデルを用い、
   前記補正断層画像を生成する処理を実行させる
   請求項７に記載のコンピュータプログラム。
9. 管腔器官に挿入されるカテーテルが備える異なる種類のイメージングデバイスからの信号に基づく前記管腔器官の複数の断層画像と、前記複数の断層画像それぞれに対して前記断層画像に写っている組織又は病変部の範囲を分別した分別済みのデータとを入力する入力層と、
   前記組織又は病変部のうち、特定の範囲を強調した補正断層画像を出力する出力層と、
   複数の断層画像、前記複数の断層画像それぞれに対して前記断層画像に写っている組織又は病変部の範囲を分別するデータ、及び前記データに基づいて複数の断層画像から特定の組織又は病変部を強調させた補正断層画像のセットを教師データとして学習済みの中間層とを備え、
   新たに前記イメージングデバイスからの信号に基づき得られた複数の断層画像と、前記複数の断層画像それぞれに含まれる前記組織又は病変部の範囲を分別したデータとが前記入力層に入力された場合に、補正断層画像を前記出力層から出力するよう、コンピュータを機能させる
   学習モデル。
10. 管腔器官に挿入されるカテーテルに備えられたイメージングデバイスによる走査信号を取得するコンピュータが、
    前記走査信号に基づく前記管腔器官の断層画像が入力された場合に、前記断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを用い、
    新たに走査信号を取得した場合に、新たに断層画像を生成し、
    生成した断層画像を前記モデルに入力して得られるデータに基づき、前記組織又は病変部の範囲それぞれの領域画像を前記断層画像から抽出し、
    抽出された領域画像それぞれに前記組織又は病変部の種類に応じた画像処理を実行し、
    画像処理後の領域画像を利用して補正断層画像を生成する
    情報処理方法。
11. 管腔器官に挿入されるカテーテルに備えられたイメージングデバイスによる走査信号を取得する情報処理装置において、
    前記走査信号に基づく前記管腔器官の断層画像が入力された場合に、前記断層画像に写っている組織又は病変部の範囲を分別するデータを出力する学習済みのモデルを記憶する記憶部と、
    前記走査信号に基づく画像処理を実行する処理部と
    を備え、
    前記処理部は、
    新たに走査信号を取得した場合に、新たに断層画像を生成し、
    生成した断層画像を前記モデルに入力して得られるデータに基づき、前記組織又は病変部の範囲それぞれの領域画像を前記断層画像から抽出し、
    抽出された領域画像それぞれに前記組織又は病変部の種類に応じた画像処理を実行し、
    画像処理後の領域画像を利用して補正断層画像を生成する
    情報処理装置。

Images