JP7843748B2 - プログラム、情報処理方法及び情報処理装置 - Google Patents

Description

本発明は、プログラム、情報処理方法及び情報処理装置に関する。

従来、超音波や光を利用して血管等の管腔器官内の医用画像を取得する画像診断用のカテーテルが知られており、このようなカテーテルを用いて生成した画像診断用の医用画像を表示する画像診断装置が開示されている（例えば、特許文献１参照）。

国際公開第２０１７／１６４０７１号

画像診断装置により得られる医用画像の方向は、カテーテルの屈曲状態等により変化する。医師等が診断を行う上で、医用画像の方向を正しく把握することは重要である。しかしながら医用画像の方向を把握するには、描出されている医用画像を正しく読影する能力が必要であるため、長時間のトレーニングが必要である。

本開示の目的は、医用画像の方向を容易に把握することができるプログラム等を提供することである。

本開示の一態様に係るプログラムは、カテーテルを用いて管腔器官を撮像した医用画像を取得し、取得した前記医用画像に基づき前記医用画像に対する関心部位の方向を示す関心方向を特定し、特定した前記関心方向を示す情報を前記医用画像に関連付けて表示する又は前記関心方向を示す情報に基づき画像処理された前記医用画像を表示する処理をコンピュータに実行させる。

本開示によれば、医用画像の方向を容易に把握することができる。

画像診断装置の構成例を示す説明図である。 画像処理装置の構成例を示すブロック図である。 学習モデルの概要を説明する説明図である。 画像処理装置にて実行される処理手順の一例を示すフローチャートである。 表示装置に表示される画面の一例を示す模式図である。 第２実施形態における学習モデルの概要を説明する説明図である。 第２実施形態における画像処理装置にて実行される処理手順の一例を示すフローチャートである。

本開示の実施形態に係るコンピュータプログラム、画像処理方法及び画像処理装置の具体例を、以下に図面を参照しつつ説明する。

（第１実施形態）
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態に係る画像診断装置１００は、血管内超音波検査装置１０１、血管造影装置１０２、画像処理装置（情報処理装置）３、表示装置４及び入力装置５を備える。画像診断装置１００は、被検者の管腔器官をイメージングするための装置ユニットである。本実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。

血管内超音波検査装置１０１は、例えば血管内超音波（ＩＶＵＳ：Intra Vascular Ultra Sound）法によって被検者の血管の横断面である超音波断層像を含むＩＶＵＳ画像（医用画像）を生成し、血管内の超音波検査及び診断を行うための装置である。血管内超音波検査装置１０１は、カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。

カテーテル１は、ＩＶＵＳ法によって血管の超音波断層像を得るための画像診断用カテーテルである。超音波断層像は、カテーテル１を用いて生成されたカテーテル画像の例示である。カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１２とを有する。プローブ１１は、コネクタ部１２を介してＭＤＵ２に接続される。プローブ１１の内部に、シャフト１３が挿通されている。シャフト１３の先端側に、センサ部１４が接続されている。

センサ部１４は、超音波トランスデューサであり、血管内においてパルス信号に基づく超音波を送信すると共に、血管の生体組織又は医用機器で反射された反射波を受信する。センサ部１４及びシャフト１３は、プローブ１１の内部で進退可能であり、また、周方向に回転することができる。センサ部１４及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。

プローブ１１の先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部１５が設けられている。ガイドワイヤ挿通部１５はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ１１を患部まで導くのに使用される。ガイドワイヤルーメンにおける管部の中心線と、プローブ１１の管部の中心線とは所定長離隔している。

また、カテーテル１は、血管内超音波検査装置１０１によって得られるＩＶＵＳ画像と、血管造影装置１０２によって得られるアンギオ画像との位置関係を決定するため、Ｘ線を透過しないマーカ１６を有する。図１の例では、プローブ１１の先端部にマーカ１６が設けられている。このように構成されたカテーテル１をＸ線で撮像すると、マーカ１６の画像を含むＸ線透視画像であるアンギオ画像が得られる。なおマーカ１６を設ける位置は一例であり、マーカ１６はシャフト１３に設けてもよく、プローブ１１の先端部以外の箇所に設けてもよい。

ＭＤＵ２は、カテーテル１が着脱可能に取り付けられる駆動装置であり、使用者の操作に応じて内蔵モータを駆動することにより、血管内に挿入されたカテーテル１の動作を制御する。ＭＤＵ２は、シャフト１３及びセンサ部１４を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１４は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査し、検出された超音波の反射波データを画像処理装置３へ出力する。

画像処理装置３は、カテーテル１のプローブ１１から出力された反射波データに基づいて、血管を撮像したＩＶＵＳ画像を生成する処理装置である。画像処理装置３は、センサ部１４の１回転ごとに１フレームの画像を生成する。生成される画像は、プローブ１１を中心とし、プローブ１１に略垂直な横断層像である。なお、センサ部１４は血管内を移動しながら走査するため、移動範囲（１回のプルバック範囲）内において１回転した各位置で１フレームの画像が生成される。すなわち移動範囲内で複数フレームの画像が生成される。画像処理装置３は、生成した超音波断層像を表示装置４に表示させるほか、入力装置５を介して検査を行う際の各種設定値の入力を受け付ける。

カテーテル１は、近赤外光を用いて光断層像を生成するＯＣＴ（Optical Coherence Tomography）用またはＯＦＤＩ（Optical Frequency Domain Imaging）用等の、光断層像生成用のカテーテルであってもよい。この場合、センサ部１４は、近赤外光の照射と反射光の受信を行なう送受信部である。カテーテル１は、超音波トランスデューサと、ＯＣＴ又はＯＦＤＩ用の送受信部との両方のセンサ部１４を有し、超音波断層像及び光断層像の両方を含む医用画像を生成するためのものであってもよい。

血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像（医用画像）を得るための撮像装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。血管造影装置１０２は、撮像して得られたアンギオ画像を画像処理装置３へ出力する。

なお、本実施形態では主に２次元のアンギオ画像を撮像する血管造影装置１０２を例にして説明するが、生体外の異なる方向から患者の管腔器官及びカテーテル１を撮像する装置であれば、特に限定されるものではない。例えば、３次元ＣＴアンギオグラフィ、磁気共鳴（ＭＲＩ；Magnetic Resonance Imaging）画像などであってもよい。

表示装置４は、例えば液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等であり、入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。

図２は、画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３及び補助記憶部３４を備える。

画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。

制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。

主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。

入出力Ｉ／Ｆ３３は、血管内超音波検査装置１０１及び血管造影装置１０２、表示装置４及び入力装置５が接続されるインタフェースである。制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像又はアンギオ画像を取得する。また、制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力Ｉ／Ｆ３３を介して、入力装置５に入力された情報を受け付ける。

補助記憶部３４は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部３４は、制御部３１が実行するプログラム３Ｐ、制御部３１の処理に必要な各種データを記憶する。また、補助記憶部３４は、学習モデル３Ｍを記憶する。学習モデル３Ｍの詳細は後述する。

なお、補助記憶部３４は画像処理装置３に接続された外部記憶装置であってもよい。プログラム３Ｐは、画像処理装置３の製造段階において補助記憶部３４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３４に記憶させてもよい。プログラム３Ｐは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、不図示の読取部が記録媒体３０から読み出して補助記憶部３４に記憶させてもよい。

制御部３１は、補助記憶部３４に記憶されたプログラム３Ｐを読み出して実行することにより、画像診断装置１００で生成されたＩＶＵＳ画像を取得し、ＩＶＵＳ画像に対する関心方向を特定し、特定した関心方向を示す情報を関連付けたＩＶＵＳ画像を表示する処理を実行する。

関心方向とは、医師等が関心を有する関心部位の方向を示すものである。医師等は、ＩＶＵＳ画像における関心方向に基づき、被検者に対するＩＶＵＳ画像の撮像方向（向き）を把握する。以下では、関心部位が心外膜であり、関心方向が心外膜の方向である例を説明する。例えば心臓カテーテル治療においては、重篤な合併症である心タンポナーデを予見するために、被検者の心外膜の方向を正しく把握することが重要である。すなわち、ＩＶＵＳ画像に対する心外膜の方向を正しく把握することが重要である。しかしながら、ＩＶＵＳ画像の向きは、血管内におけるカテーテル１の挿入状態に応じて随時変化する。ＩＶＵＳ画像に描出された情報から心外膜の方向を正しく把握することは熟練を要し、経験の浅い医師にとって容易ではない。また、撮像条件によって、ＩＶＵＳ画像に心外膜の方向を特定できる情報が描出されていないこともあり、このようなＩＶＵＳ画像に対する心外膜の方向を把握することはさらに困難である。本実施形態では、画像処理装置３により心外膜の方向を特定し、特定した心外膜の方向を示す情報を関連付けたＩＶＵＳ画像を提供することで、医師等が心外膜の方向を容易に認識することを可能とする。

本実施形態におけるＩＶＵＳ画像の関心方向の特定方法について説明する。画像処理装置３の制御部３１は、学習モデル３Ｍを用いてＩＶＵＳ画像に含まれるメルクマールを検出し、検出結果に基づきＩＶＵＳ画像の関心方向を特定する。メルクマールとは、ＩＶＵＳ画像の関心方向を特定するための目印となる情報である。例えば、メルクマールは、関心部位、カテーテル１が挿入されている管腔器官の形状、側枝構造、当該管腔器官に近接する心臓等の臓器、当該管腔器官の周囲にある管腔器官、病変等である。関心方向が心外膜の方向である場合、メルクマールには、例えば当該心外膜の方向を直接的に示す心外膜と、心外膜の方向を間接的に示す側枝の血管、静脈、Trance-thoracic sinus、Triangle of Brocq-Mouchet、心筋ブリッジ、石灰化病変、ガイドワイヤ等が含まれる。

図３は、学習モデル３Ｍの概要を説明する説明図である。学習モデル３Ｍは、ＩＶＵＳ画像を入力として、当該ＩＶＵＳ画像に含まれる所定のオブジェクト（メルクマール）に関する情報を出力するモデルである。具体的には、学習モデル３Ｍは、カテーテル１の走査に従い、血管の長手方向に沿って連続する複数フレームのＩＶＵＳ画像を入力として受け付ける。学習モデル３Ｍは、時間軸ｔに沿って連続する各フレームのＩＶＵＳ画像におけるメルクマールを認識する。

学習モデル３Ｍは、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。学習モデル３Ｍは、セマンティックセグメンテーション（Semantic Segmentation )を用いた画像認識技術により、入力される画像内の各画素がオブジェクト領域に対応する画素であるか否か、画素単位で認識する。学習モデル３Ｍは、ＩＶＵＳ画像が入力される入力層と、画像の特徴量を抽出し復元する中間層と、ＩＶＵＳ画像に含まれるオブジェクトの位置及び範囲並びに種類を示す情報を出力する出力層とを有する。学習モデル３Ｍは、例えばＵ－Ｎｅｔである。

学習モデル３Ｍの入力層は、ＩＶＵＳ画像に含まれる各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層に受け渡す。中間層は、畳み込み層（ＣＯＮＶ層）と、逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、画像データを次元圧縮する層である。次元圧縮により、オブジェクトの特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、ＩＶＵＳ画像の各画素がオブジェクトであるか否かをオブジェクトの種類に応じた画素値で示すラベル画像が生成される。出力層は、ラベル画像を出力する複数のノードを有する。ラベル画像は、例えば、第１のメルクマール（心外膜）に対応する画素がクラス「１」、第２のメルクマール（側枝）に対応する画素がクラス「２」、第３のメルクマール（静脈）に対応する画素がクラス「３」、…、その他の画像に対応する画素がクラス「０」の画像である。

学習モデル３Ｍはさらに、ＩＶＵＳ画像以外の医用画像を入力要素に含むものであってもよい。他の医用画像は、例えばＩＶＵＳ画像と同一時点において撮像された光断層像、アンギオ画像を含んでよい。また学習モデル３Ｍは、カテーテル１が挿入されている管腔器官に関する情報を入力要素に含むものであってもよい。管腔器官に関する情報は、例えば右冠動脈、左冠動脈、ＬＡＤ等の血管の名称、血管を識別する番号（ＡＨＡ分類）等を含んでよい。これらを入力要素として学習モデル３Ｍに入力することにより、ＩＶＵＳ画像以外の情報も考慮してメルクマールを認識することができ、認識精度を向上させることができる。

学習モデル３Ｍは、オブジェクト（メルクマール）を含むＩＶＵＳ画像と、各オブジェクトの位置及び範囲並びに種類を示すラベル画像とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、制御部３１は、訓練データに含まれる複数のＩＶＵＳ画像を学習前のニューラルネットワークモデルの入力層に入力し、中間層での演算処理を経て、出力層から出力される画像を取得する。そして、制御部３１は、出力層から出力された画像と、訓練データに含まれるラベル画像とを比較し、出力層から出力される画像がラベル画像に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば制御部３１は誤差逆伝播法を用いて各種パラメータの最適化を行う。訓練データにおけるメルクマールの位置は、例えば専門知識を有する医師が行った判断を正解ラベルとしてよい。

このように学習された学習モデル３Ｍによれば、図３に示すように、ＩＶＵＳ画像を学習モデル３Ｍに入力することによって各種メルクマールを画素単位で示すラベル画像が得られる。

上記では、学習モデル３ＭがＣＮＮである例を説明したが、学習モデル３Ｍの構成は限定されるものではなく、ＩＶＵＳ画像に含まれるメルクマールを認識可能であればよい。学習モデル３Ｍは、例えばＲ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）等であってもよく、ニューラルネットワークを用いないサポートベクタマシン、回帰木等、他の学習アルゴリズムで構築されたモデルであってよい。

画像処理装置３の制御部３１は、メルクマールの検出結果を用いてＩＶＵＳ画像における関心方向を特定する。検出したメルクマールが心外膜である、すなわち検出したメルクマールが関心部位である場合、制御部３１は、検出したメルクマールの方向を心外膜の方向として直接的に特定する。検出したメルクマールが心外膜でない、すなわち検出したメルクマールが関心部位でない場合、制御部３１は、予め記憶する心外膜でない（心外膜以外である）メルクマール（以下、他のメルクマールという）と、心外膜との位置関係に基づき、他のメルクマールの方向から心外膜の方向を間接的に特定する。心外膜の方向は、例えば略円形のＩＶＵＳ画像に対し、０時方向を基準（０度）とした場合の角度を用いて示される。

例えば、制御部３１は、他のメルクマールと心外膜との位置関係に基づき、他のメルクマールに対する回転角度を予め記憶しておく。回転角度とは、他のメルクマールの方向から心外膜の方向を算出するために、ＩＶＵＳ画像におけるプローブ１１の中心を基準として周方向に回転させる角度である。制御部３１は、検出した他のメルクマールに基づき、他のメルクマールから所定角度回転させた方向を心外膜の方向として特定する。例えば、他のメルクマールとしてカテーテル１が挿入された血管から分岐した側枝の血管が検出された場合を説明する。制御部３１は、予め記憶する側枝の血管と、当該血管及び側枝の血管の位置関係により規定される回転角度との対応関係に基づき、側枝の血管の方向を所定角度回転させることにより心外膜の方向を算出する。

制御部３１は、心外膜の方向の特定にあたりＩＶＵＳ画像以外の情報を用いるものであってよい。ＩＶＵＳ画像以外の情報は、例えばＩＶＵＳ画像と同一時点において撮像された光断層像、アンギオ画像、カテーテル１が挿入されている管腔器官に関する情報等を含んでよい。管腔器官に関する情報とは、例えば右冠動脈、左冠動脈、ＬＡＤ等の血管の名称、血管を識別する番号（ＡＨＡ分類）等である。例えば、他のメルクマールとしてガイドワイヤが検出された場合を説明する。ＩＶＵＳ画像と同一時点において撮像されたアンギオ画像には、血管、カテーテル１（マーカ１６）及びガイドワイヤの像が含まれている。制御部３１は、ＩＶＵＳ画像におけるガイドワイヤの方向と、アンギオ画像における血管、カテーテル１（マーカ１６）及びガイドワイヤの位置に基づき、ＩＶＵＳ画像とアンギオ画像との位置関係（アンギオ画像に対するＩＶＵＳ画像の位置及び方向）を特定する。制御部３１は、特定した位置関係と、被検者に対するアンギオ画像の撮像方向とに基づき、被検者に対するＩＶＵＳ画像の方向を特定する。制御部３１は、特定したＩＶＵＳ画像の方向に基づき、ＩＶＵＳ画像に対する心外膜の方向を特定する。

このように、制御部３１は、ＩＶＵＳ画像に含まれるメルクマールに基づき、直接的又は間接的にＩＶＵＳ画像に対する心外膜の方向（関心方向）を特定する。

次いで制御部３１は、特定した心外膜の方向から外れ値を除去する。具体的には、制御部３１は、血管の長手方向に沿って連続する時系列順の複数のＩＶＵＳ画像における心外膜の方向に基づき、大部分の心外膜の方向から乖離した心外膜の方向（外れ値）を検出し、除去する。外れ値の検出方法は限定されるものではない。一例として、制御部３１は、各ＩＶＵＳ画像（各フレーム）における心外膜の方向（角度）と、その心外膜の方向（角度）の時系列データの移動平均との偏差を導出し、導出した偏差の絶対値が閾値以上である心外膜の方向を外れ値として検出する。制御部３１は、検出した外れ値を特定結果から除去する。

さらに制御部３１は、メルクマールが検出されていないＩＶＵＳ画像に対する心外膜の方向を推定する。具体的には、制御部３１は、上記外れ値を除去した心外膜の方向（角度）の時系列データに基づき、心外膜の方向が得られていない不連続部分を所定の補間手法（例えばスプライン補間、線形補間等）により補間する。これにより、制御部３１は、メルクマールが検出されず、心外膜の方向が特定されていないＩＶＵＳ画像に対する心外膜の方向を取得する。カテーテル１を用いて取得されるＩＶＵＳ画像には、必ずしもメルクマールが含まないことから、前後フレームを用いて補間処理を行うことにより、全てのＩＶＵＳ画像に対し心外膜の方向を付与することができる。上記補間処理は、メルクマールが検出されていないＩＶＵＳ画像のみならず、外れ値として特定結果を除去したＩＶＵＳ画像に対しても同様に行われるとよい。

図４は、画像処理装置３にて実行される処理手順の一例を示すフローチャートである。画像処理装置３の制御部３１は、プログラム３Ｐに従って以下の処理を実行する。制御部３１は、例えば血管内超音波検査装置１０１を介して医用画像が出力される都度、リアルタイムで以下の処理を行ってもよく、録画された医用画像に基づき、任意のタイミングで事後的に処理を行ってもよい。

画像処理装置３の制御部３１は、血管内超音波検査装置１０１を介して、ＩＶＵＳ画像を含む医用画像を取得する（ステップＳ１１）。詳細には、制御部３１は、血管内超音波検査装置１０１を介して取得した超音波の反射波の信号に基づき生成したＩＶＵＳ画像を取得する。制御部３１は、血管を撮像した医用画像を取得する取得部として機能する。この場合において、制御部３１は、ＩＶＵＳ画像と共に光断層像を取得してもよく、血管造影装置１０２を介してアンギオ画像を取得してもよい。

制御部３１は、取得したＩＶＵＳ画像を入力データとして学習モデル３Ｍに入力する（ステップＳ１２）。制御部３１は、学習モデル３Ｍから出力されるメルクマールの位置及び範囲並びに種類を示すラベル画像を取得する（ステップＳ１３）。制御部３１は、メルクマールが心外膜、すなわち関心部位であるか否かを判定する（ステップＳ１４）。なお制御部３１は、例えば予め関心部位の登録を受け付けることにより、関心部位を取得し記憶しているものであってよい。

メルクマールが心外膜でないと判定した場合（ステップＳ１４：ＮＯ）、制御部３１は、検出した心外膜でないメルクマール（他のメルクマール）と心外膜との位置関係に基づき、ＩＶＵＳ画像に対する心外膜の方向（角度）を特定し（ステップＳ１５）、ステップＳ１７へ処理を進める。例えば制御部３１は、予め記憶する他のメルクマールの方向と心外膜の方向との対応関係を参照し、検出した他のメルクマールに基づき、他のメルクマールの方向から所定角度回転させた方向を心外膜の方向として特定する。この場合において、制御部３１は、例えば光断層像、アンギオ画像又はカテーテル１が挿入されている管腔器官に関する情報等、ＩＶＵＳ画像以外の情報を用いて心外膜の方向を特定してもよい。

メルクマールが心外膜であると判定した場合（ステップＳ１４：ＹＥＳ）、制御部３１は、検出した心外膜に応じて、ＩＶＵＳ画像に対する心外膜の方向を特定する（ステップＳ１６）。制御部３１は、検出した心外膜の位置及び範囲に応じて、例えば検出した心外膜の周方向中心を通る角度を当該心外膜の方向と特定する。

制御部３１は、取得した全てのＩＶＵＳ画像に対するメルクマールの検出処理が終了したか否かを判定する（ステップＳ１７）。全てのＩＶＵＳ画像に対する検出処理が終了していないと判定した場合（ステップＳ１７：ＮＯ）、制御部３１は、ステップＳ１２に処理を戻し、全ＩＶＵＳ画像の検出処理が終了するまで待機する。

全てのＩＶＵＳ画像に対する検出処理が終了したと判定した場合（ステップＳ１７：ＹＥＳ）、制御部３１は、各検出結果に基づき、特定した心外膜の方向における外れ値を検出する（ステップＳ１８）。具体的には、制御部３１は、各ＩＶＵＳ画像（各フレーム）における心外膜の方向と、その心外膜の方向の時系列データの移動平均との偏差を導出する。制御部３１は、算出した各偏差の絶対値と、予め設定されている閾値との大小関係を判断することにより、算出した偏差の絶対値が閾値以上である心外膜の方向（外れ値）を検出する。制御部３１は、検出した外れ値を心外膜の方向に係る特定結果、すなわち心外膜の方向の時系列データから除去する（ステップＳ１９）。

制御部３１は、外れ値を除去した心外膜の方向の時系列データに基づき、心外膜の方向が得られていない不連続部分を、所定の補間方法（例えばスプライン補間）により補間する（ステップＳ２０）。制御部３１は、補間結果に応じて、心外膜の方向が得られていないＩＶＵＳ画像に係る心外膜の方向を特定する（ステップＳ２１）。心外膜の方向が得られていないＩＶＵＳ画像には、メルクマールが検出されていないＩＶＵＳ画像、及び外れ値として特定結果を除去したＩＶＵＳ画像が含まれる。これにより、全てのＩＶＵＳ画像に対する心外膜の方向が特定される。制御部３１は、ＩＶＵＳ画像に対する心外膜の方向を特定する特定部として機能する。

制御部３１は、特定した各心外膜の方向に対応するＩＶＵＳ画像を表示する画面情報を生成する（ステップＳ２２）。詳細には、制御部３１は、特定した各心外膜の方向とＩＶＵＳ画像とを関連付けて表示する画面情報、又は特定した各心外膜の方向に基づき画像処理されたＩＶＵＳ画像を表示する画面情報を生成する。制御部３１は、生成した画面情報に基づく画面４０を表示装置４に表示させ（ステップＳ２３）、一連の処理を終了する。制御部３１は、心外膜の方向とＩＶＵＳ画像とを関連付けて表示する又は心外膜の方向に基づき画像処理されたＩＶＵＳ画像を表示する表示部として機能する。

図５は、表示装置４に表示される画面４０の一例を示す模式図である。画面４０には、複数フレームに対応する複数のＩＶＵＳ画像を時系列順に並べて表示する全画像表示部４１と、複数のＩＶＵＳ画像のうち医師等により選択されたＩＶＵＳ画像を表示する選択画像表示部４２とが含まれている。選択画像表示部４２は、いずれかのＩＶＵＳ画像と、当該ＩＶＵＳ画像に対する心外膜の方向を示す情報とを関連付けて表示する。図５に示す例にて、選択画像表示部４２は、ＩＶＵＳ画像上に心外膜の方向を示す図形オブジェクト（矢印）を重畳表示している。さらに選択画像表示部４２は、ＩＶＵＳ画像から検出したメルクマールをＩＶＵＳ画像上に重畳表示している。

画像処理装置３の制御部３１は、１回のプルバック操作により取得した複数のＩＶＵＳ画像それぞれについて、学習モデル３Ｍによるメルクマールの検出結果（ラベル画像）と、心外膜の方向の特定結果とを対応付けて取得する。制御部３１は、各ＩＶＵＳ画像に対し学習モデル３Ｍから出力されたラベル画像を半透明マスクに加工し、元のＩＶＵＳ画像に重畳して表示する。この場合において、制御部３１は、マスクの表示色をメルクマールの種類に応じて変更するなど、各メルクマール領域の表示態様をメルクマールの種類に応じて異ならせるものであってよい。図５に示す例では、メルクマールに応じて異なるハッチングを用いて表示している。

また制御部３１は、各ＩＶＵＳ画像に対する心外膜の方向（角度）に応じて、ＩＶＵＳ画像の中心から心外膜の方向に向けて延びる図形オブジェクトを生成し、元のＩＶＵＳ画像に重畳して表示する。この場合において、制御部３１は、図形オブジェクトの線種、表示色を心外膜の方向の特定内容に応じて変更するなど、各図形オブジェクトの表示態様を心外膜の方向の特定内容に応じて異ならせるものであってよい。心外膜の方向の特定内容とは、例えばメルクマールとして心外膜を用いた直接的な特定、メルクマールとして心外膜以外を用いた間接的な特定、他のフレームを用いた補間による間接的な特定である。図５に示す例では、実線、破線及び点線の３種類の線種を用いて心外膜の方向の特定内容を識別可能に表示している。図５中、実線の矢印は、メルクマールとして心外膜が検出されたＩＶＵＳ画像における関心方向を示している。図５中、破線の矢印は、メルクマールとして心外膜以外が検出されたＩＶＵＳ画像における関心方向を示している。図５中、点線の矢印は、補間により関心方向が特定されたＩＶＵＳ画像における関心方向を示している。

制御部３１は、取得した全てのＩＶＵＳ画像に対し上述の処理を行い、メルクマール及び心外膜の方向を関連付けた各ＩＶＵＳ画像を時系列順に並べて全画像表示部４１に表示する。制御部３１は、例えば入力装置５を介して、全画像表示部４１に表示されるＩＶＵＳ画像のうちいずれかのＩＶＵＳ画像の選択を受け付け、選択に応じたＩＶＵＳ画像を選択画像表示部４２に表示する。

このように、画像処理装置３は、各ＩＶＵＳ画像に対する心外膜の方向を示す画面４０を表示装置４を介して医師等へ提供する。医師等は、画面４０により、各ＩＶＵＳ画像に対する心外膜の方向を容易に把握することができる。また、メルクマール及び心外膜の方向の特定内容が識別可能に表示されるため、医師等は、ＩＶＵＳ画像に対するメルクマールの検出精度又は心外膜の方向の特定精度を推定し、推定結果を考慮して診断することができる。

図５に示す画面４０は一例であり、表示内容は図５の例に限定されるものではないことは勿論である。画面４０は、例えばＯＣＴ画像、アンギオ画像等、ＩＶＵＳ画像以外に取得した医用画像を表示してもよい。さらに制御部３１は、光断層像、アンギオ画像又はカテーテル１が挿入されている管腔器官に関する情報等、ＩＶＵＳ画像以外の情報を用いた場合には、これらの情報をＩＶＵＳ画像に関連付けて画面４０に表示してもよい。

なお心外膜の方向の表示態様は限定されるものではない。心外膜の方向は、例えばＩＶＵＳ画像の近傍に表示されてもよい。心外膜の方向は、図形オブジェクトに代えて、又は図形オブジェクトに加えてその角度を示す数値を用いて表示されてもよい。

心外膜の方向は、ＩＶＵＳ画像に関連付けて表示されるものに限定されず、ＩＶＵＳ画像に画像処理を施すことで、その方向を認識可能に示されるものであってもよい。制御部３１は、例えば、各ＩＶＵＳ画像における心外膜の方向に基づき、各ＩＶＵＳ画像を回転処理させることにより心外膜の方向を提示する。制御部３１は、連続する複数のＩＶＵＳ画像のうちいずれか１つを基準画像とし、当該基準画像における心外膜の方向に基づき、基準画像における心外膜の方向と他のＩＶＵＳ画像における心外膜の方向とが同期するよう、他のＩＶＵＳ画像を回転させる画像処理を行う。例えば１フレーム目を基準画像とした場合において、１フレーム目における心外膜の方向が１時方向であり、２フレーム目における心外膜の方向が３時方向であったとき、制御部３１は、２フレーム目のＩＶＵＳ画像に対し、時計回りに６０度回転させる画像処理を施す。この場合において、制御部３１は、回転角度をＩＶＵＳ画像に重畳表示する等、画像処理に関する情報をＩＶＵＳ画像に関連付けて表示してもよい。なお画像処理方法は、基準画像に応じて他のＩＶＵＳ画像を回転させるものに限定されない。制御部３１は、例えば各ＩＶＵＳ画像における心外膜の方向に基づき、各ＩＶＵＳ画像における心外膜の方向が予め設定される基準方向（例えば０時方向）に一致するよう、各ＩＶＵＳ画像を回転させてもよい。

なお画像処理装置３の制御部３１は、メルクマールの検出結果に対し学習モデル３Ｍの再学習を行ってもよい。制御部３１は、メルクマールの検出結果を修正する入力を医師等から受け付け、入力された情報に基づく再学習を行う。具体的には、制御部３１は、例えば図５で例示した画面４０において、検出結果として表示したメルクマールの位置及び種類が正しいか否か、修正入力を受け付ける。さらに制御部３１は、表示したメルクマールの位置及び種類が誤りである場合には、正しいメルクマールの位置及び種類の入力を受け付ける。修正入力を受け付けた場合、制御部３１は、修正された検出結果（メルクマールの位置及び種類）をラベリングしたＩＶＵＳ画像を訓練データとして再学習を行い、学習モデル３Ｍを更新する。同様に、制御部３１は、心外膜の方向の特定結果に対しても、心外膜の方向の特定結果を修正する入力を医師等から受け付け、入力された情報に基づき特定ルールを更新してもよい。これにより、本システムの運用を通じてメルクマールの検出精度及び関心方向の特定精度を向上させることができる。

上記では、関心方向として心外膜の方向を特定する例を説明したが本実施形態は限定されるものではない。例えば、下肢血管にカテーテル１を挿入した場合、関心方向は脛又はふくらはぎ等の方向であってもよく、他の管腔器官にカテーテル１を挿入した場合、関心方向は腹部又は背部の方向であってもよい。

制御部３１は、関心部位（関心方向）に応じた複数の学習モデル３Ｍ及び特定ルールを補助記憶部３４に記憶するものであってもよい。この場合、制御部３１は、例えば検査前に医師等からの選択登録を受け付けることにより関心部位を取得し、取得した関心部位に応じた学習モデル３Ｍ及び特定ルールを選択し、選択した学習モデル３Ｍ及び特定ルールを用いてメルクマールの検出及び関心方向の特定処理を実行する。

本実施形態によれば、学習モデル３Ｍを用いてＩＶＵＳ画像に対する心外膜の方向を特定するためのメルクマールを精度よく推定し、推定結果に応じて心外膜の方向を効率的に特定する。心外膜の方向の特定結果は、画面４０により視覚的に容易に認識可能な態様にて表示されるため、ＩＶＵＳ画像の読影に未熟な医師等であっても心外膜の方向を容易に把握することができ、また各ＩＶＵＳ画像に対する心外膜の方向を容易に同定することができる。医師等は、例えば血管内超音波検査装置１０１によるＩＶＵＳ画像及び血管造影装置１０２によるアンギオ画像といったような、複数のモダリティを用いて取得される情報を３次元的に統合して直感的に把握することができ、医師等の診断を好適に支援することができる。

また本実施形態によれば、メルクマールが関心部位であるか否かに応じて、異なる手順で関心方向を特定するため、メルクマールの種類に応じて精度よく関心方向を特定することができる。関心方向の特定結果は、外れ値を除去することで精度を向上する。さらに、前後のフレーム画像を用いた補間処理により、メルクマールが検出されないＩＶＵＳ画像についても好適に関心方向を特定することができる。

（第２実施形態）
第２実施形態では、学習モデルにより関心方向を直接特定する点で第１実施形態と異なる。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

画像処理装置３の制御部３１は、補助記憶部３４に記憶する学習モデル３Ｍを用いて、ＩＶＵＳ画像における関心方向を識別する。図６は、第２実施形態における学習モデル３Ｍの概要を説明する説明図である。第２実施形態における学習モデル３Ｍは、ＩＶＵＳ画像を入力として、当該ＩＶＵＳ画像における関心方向（例えば心外膜の方向）を示す情報を出力するモデルである。具体的には、学習モデル３Ｍは、カテーテル１の走査に従い、血管の長手方向に沿って連続する複数フレームのＩＶＵＳ画像を入力として受け付ける。学習モデル３Ｍは、時間軸ｔに沿って連続する各フレームのＩＶＵＳ画像における関心方向を識別する。

学習モデル３Ｍは、例えば深層学習による学習済みの畳み込みニューラルネットワークである。学習モデル３Ｍは、ＩＶＵＳ画像が入力される入力層と、画像の特徴量を抽出する中間層と、ＩＶＵＳ画像における関心方向を示す情報を出力する出力層とを有する。中間層は、畳み込み層、プーリング層及び全結合層等を含んでよい。

学習モデル３Ｍの入力層は、ＩＶＵＳ画像に含まれる各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層に受け渡す。中間層は、入力データの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力する。

出力層は、設定されている関心方向の角度（例えば０度、１度、２度、…）に各々対応する複数のノードを有し、各関心方向に対する確度をスコアとして出力する。制御部３１は、スコアが最も高い関心方向、あるいはスコアが閾値以上である関心方向を出力層の出力値とすることができる。なお出力層は、それぞれの関心方向の角度に対する確度を出力する複数の出力ノードを有する代わりに、最も確度の高い関心方向の角度を出力する１個の出力ノードを有してもよい。

学習モデル３Ｍは、ＩＶＵＳ画像と、各関心方向を示すラベルとが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、制御部３１は、訓練データに含まれる複数のＩＶＵＳ画像を学習前のニューラルネットワークモデルの入力層に入力し、中間層での演算処理を経て、出力層から出力される関心方向を取得する。そして、制御部３１は、出力層から出力された関心方向と、訓練データに含まれる関心方向とを比較し、出力層から出力される関心方向が訓練データに含まれる関心方向に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば制御部３１は誤差逆伝播法を用いて各種パラメータの最適化を行う。訓練データにおける関心方向は、例えば専門知識を有する医師が行った判断を正解ラベルとしてよい。

学習モデル３Ｍはさらに、ＩＶＵＳ画像以外の医用画像を入力要素に含むものであってもよい。他の医用画像は、例えばＩＶＵＳ画像と同一時点において撮像された光断層像、アンギオ画像を含んでよい。また学習モデル３Ｍは、カテーテル１が挿入されている管腔器官に関する情報を入力要素に含むものであってもよい。管腔器官に関する情報は、例えば右冠動脈、左冠動脈、ＬＡＤ等の血管の名称、血管を識別する番号（ＡＨＡ分類）等を含んでよい。これらを入力要素として学習モデル３Ｍに入力することにより、ＩＶＵＳ画像以外の情報も考慮して関心方向を識別することができ、識別精度を向上させることができる。

上記では、学習モデル３ＭがＣＮＮである例を説明したが、学習モデル３Ｍの構成は限定されるものではなく、ＩＶＵＳ画像における関心方向を識別可能であればよい。例えば学習モデル３Ｍは、時系列データを取得した場合にはリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）であってもよく、ニューラルネットワークを用いないサポートベクタマシン、回帰木等、他の学習アルゴリズムで構築されたモデルであってよい。

図７は、第２実施形態における画像処理装置３にて実行される処理手順の一例を示すフローチャートである。画像処理装置３の制御部３１はプログラム３Ｐに従って以下の処理を実行する。

画像処理装置３の制御部３１は、血管内超音波検査装置１０１を介して、ＩＶＵＳ画像を含む医用画像を取得する（ステップＳ３１）。この場合において、制御部３１は、ＩＶＵＳ画像と共に光断層像を取得してもよく、血管造影装置１０２を介してアンギオ画像を取得してもよい。

制御部３１は、取得したＩＶＵＳ画像を入力データとして学習モデル３Ｍに入力する（ステップＳ３２）。制御部３１は、学習モデル３Ｍから出力される心外膜の方向を示す情報を取得することにより（ステップＳ３３）、ＩＶＵＳ画像に対する心外膜の方向を特定する。以降、制御部３１は、図４に示したステップＳ２２～ステップＳ２３の処理を実行することにより、学習モデル３Ｍから出力された心外膜の方向に対応するＩＶＵＳ画像を表示する画面を出力する。

上述の処理において、いずれかのＩＶＵＳ画像に対し学習モデル３Ｍによる心外膜の方向の特定結果が得られなかった場合には、制御部３１は、図４に示したステップＳ２０～ステップＳ２１の補間処理を実行してもよい。

本実施形態によれば、学習モデル３Ｍを用いてＩＶＵＳ画像に対する心外膜の方向を精度よく推定することができる。

上述の各フローチャートにおいて、画像処理装置３が実行する処理の一部又は全部は、画像処理装置３と通信可能に接続された不図示の外部サーバにより実行されてもよい。この場合、外部サーバの記憶部には、上述したプログラム３Ｐ及び学習モデル３Ｍと同様のプログラム及び学習モデルが記憶されている。外部サーバは、ＬＡＮ（Local Area Network）、インターネット等のネットワークを介して画像処理装置３から医用画像を取得する。外部サーバは、取得した医用画像に基づいて、各実施形態の画像処理装置３と同様の処理を実行し、心外膜の方向の特定結果を画像処理装置３へ送信する。画像処理装置３は、外部サーバから送信された心外膜の方向の特定結果を取得し、図５に示す如く心外膜の方向を示す図形オブジェクトをＩＶＵＳ画像に重畳させて表示装置４に表示させる。

上記の各実施形態に示した例は、各実施形態に示した構成の全部又は一部を組み合わせて他の実施の形態を実現することが可能である。また上記の各実施形態に示したシーケンスは限定されるものではなく、各処理手順はその順序を変更して実行されてもよく、また並行して複数の処理が実行されてもよい。

今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。

１００ 画像診断装置
１０１ 血管内超音波検査装置
１０２ 血管造影装置
１ カテーテル
２ ＭＤＵ
３ 画像処理装置
３１ 制御部
３２ 主記憶部
３３ 入出力Ｉ／Ｆ
３４ 補助記憶部
３Ｐ プログラム
３Ｍ 学習モデル
３０ 記録媒体
４ 表示装置
５ 入力装置

Claims (6)

1. カテーテルを用いて管腔器官を撮像した医用画像を取得し、
   取得した前記医用画像に含まれる関心部位又は関心部位以外を含むメルクマールを検出し、
   検出した前記メルクマールに基づき前記医用画像に対する関心部位の方向を示す関心方向を特定し、
   特定した前記関心方向を示す情報と前記医用画像とを関連付けて表示する又は前記関心方向を示す情報に基づき画像処理された前記医用画像を表示し、
   前記関心方向の特定において、
   検出した前記メルクマールが前記関心部位であるか否かを判定し、
   前記メルクマールが前記関心部位である場合、前記メルクマールに基づき前記関心方向を特定し、
   前記メルクマールが前記関心部位でない場合、前記メルクマールと前記関心部位との位置関係に基づき前記関心方向を特定する
   処理をコンピュータに実行させるためのプログラム。
2. 前記メルクマールを含む第２の医用画像を取得し、
   前記医用画像に含まれる前記メルクマールと、前記第２の医用画像に含まれる前記メルクマールとに基づき前記医用画像と前記第２の医用画像との位置関係を特定し、
   特定した位置関係に基づき、前記関心方向を特定する
   請求項１に記載のプログラム。
3. 複数の前記医用画像それぞれに対する前記関心方向を特定し、
   複数の前記医用画像それぞれに対する前記関心方向に基づき特定される前記関心方向の外れ値を除去する
   請求項１又は請求項２に記載のプログラム。
4. 複数の前記医用画像それぞれに対する前記関心方向を特定し、
   特定した複数の前記医用画像それぞれに対する前記関心方向を用いて補間することにより、前記関心方向が特定されていない医用画像に対する前記関心方向を特定する
   請求項１から請求項３のいずれか１項に記載のプログラム。
5. カテーテルを用いて管腔器官を撮像した医用画像を取得し、
   取得した前記医用画像に含まれる関心部位又は関心部位以外を含むメルクマールを検出し、
   検出した前記メルクマールに基づき前記医用画像に対する関心部位の方向を示す関心方向を特定し、
   特定した前記関心方向を示す情報を前記医用画像に関連付けて表示する又は前記関心方向を示す情報に基づき画像処理された前記医用画像を表示し、
   前記関心方向の特定において、
   検出した前記メルクマールが前記関心部位であるか否かを判定し、
   前記メルクマールが前記関心部位である場合、前記メルクマールに基づき前記関心方向を特定し、
   前記メルクマールが前記関心部位でない場合、前記メルクマールと前記関心部位との位置関係に基づき前記関心方向を特定する
   処理をコンピュータが実行する情報処理方法。
6. カテーテルを用いて管腔器官を撮像した医用画像を取得する取得部と、
   取得した前記医用画像に含まれる関心部位又は関心部位以外を含むメルクマールを検出し、検出した前記メルクマールに基づき前記医用画像に対する関心部位の方向を示す関心方向を特定する特定部と、
   前記特定部が特定した関心方向を示す情報を前記医用画像に関連付けて表示する又は前記関心方向を示す情報に基づき画像処理された前記医用画像を表示する表示部と
   を備え、
   前記特定部は、前記関心方向の特定において、
   検出した前記メルクマールが前記関心部位であるか否かを判定し、
   前記メルクマールが前記関心部位である場合、前記メルクマールに基づき前記関心方向を特定し、
   前記メルクマールが前記関心部位でない場合、前記メルクマールと前記関心部位との位置関係に基づき前記関心方向を特定する
   情報処理装置。