JP7548852B2 - コンピュータプログラム、画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、コンピュータプログラム、画像処理方法及び画像処理装置に関する。

従来より、動脈硬化の診断、バルーンカテーテル若しくはステント等の高機能カテーテルによる血管内治療時の術前診断、又は術後の結果確認のために、画像診断装置が広く使用されている。画像診断装置には、超音波断層画像診断装置（IVUS:IntraVascular Ultra Sound）、光干渉断層画像診断装置（OCT:Optical Coherence Tomography）等が含まれ、それぞれが異なる特性を有している。
また、ＩＶＵＳの機能と、ＯＣＴの機能とを組み合わせた画像診断装置、つまり超音波を送受信可能な超音波送受信部と、光を送受信可能な光送受信部とを備える画像診断装置が提案されている（例えば、特許文献１及び２）。
このような画像診断装置によれば、高深度領域まで測定できるＩＶＵＳの特性を活かした超音波断層画像と、高分解能で測定できるＯＣＴの特性を活かした光干渉断層画像の両方を、一回の走査で構築することができる。

特開平１１－５６７５２号公報 特表２０１０－５０８９７３号公報 再表２０１４／１６２３６７号公報

しかしながら、構築される超音波断層画像及び光干渉断層画像の観察位置は必ずしも一致しておらず、断層画像の読影を難しくする一因となっている。

一つの側面では、ＩＶＵＳ機能及びＯＣＴ機能を備えるデュアルタイプのカテーテルを用いて得られた超音波断層画像及び光干渉断層画像の観察位置を整合させることができるコンピュータプログラム、画像処理方法及び画像処理装置を提供することを目的とする。

一つの側面では、コンピュータプログラムは、管腔器官の内腔から径方向の外側を向いて超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を前記管腔器官の走行方向に沿って移動させながら、複数の観察位置における複数の超音波断層画像及び複数の光干渉断層画像を取得し、取得した前記超音波断層画像に含まれる前記管腔器官の第１内腔画像を認識し、取得した前記光干渉断層画像に含まれる前記管腔器官の第２内腔画像を認識し、認識した複数の前記超音波断層画像における前記第１内腔画像と、前記光干渉断層画像における前記第２内腔画像に基づいて、前記観察位置が整合するように複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する処理をコンピュータに実行させる。

一つの側面では、画像処理方法は、管腔器官の内腔から径方向の外側を向いて超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を前記管腔器官の走行方向に沿って移動させながら、複数の観察位置における複数の超音波断層画像及び複数の光干渉断層画像を取得し、取得した前記超音波断層画像に含まれる前記管腔器官の第１内腔画像を認識し、取得した前記光干渉断層画像に含まれる前記管腔器官の第２内腔画像を認識し、認識した複数の前記超音波断層画像における前記第１内腔画像と、前記光干渉断層画像における前記第２内腔画像に基づいて、前記観察位置が整合するように複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する。

一つの側面では、画像処理装置は、管腔器官の内腔から径方向の外側を向いて超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を前記管腔器官の走行方向に沿って移動させながら、複数の観察位置における複数の超音波断層画像及び複数の光干渉断層画像を取得する取得部と、前記取得部にて取得した前記超音波断層画像に含まれる前記管腔器官の第１内腔画像を認識する第１認識部と、前記取得部にて取得した前記光干渉断層画像に含まれる前記管腔器官の第２内腔画像を認識する第２認識部と、前記第１認識部及び前記第２認識部にて認識した複数の前記超音波断層画像における前記第１内腔画像と、前記光干渉断層画像における前記第２内腔画像に基づいて、前記観察位置が整合するように複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する補正部とを備える。

一つの側面では、ＩＶＵＳ機能及びＯＣＴ機能を備えるデュアルタイプのカテーテルを用いて得られた超音波断層画像及び光干渉断層画像の観察位置を整合させることができる。

画像診断装置の構成例を示す説明図である。 画像診断用カテーテルの構成例を示す説明図である。 センサ部を挿通させた血管の断面を模式的に示す説明図である。 断層画像の説明図である。 画像処理装置の構成例を示すブロック図である。 第１学習モデルの構成例を示すブロック図である。 第２学習モデルの構成例を示すブロック図である。 画質改善学習モデルの構成例を示すブロック図である。 画質改善学習モデルの生成方法を示すフローチャートである。 本実施形態１に係る画像処理手順を示すフローチャートである。 オブジェクト抽出ＩＶＵＳ画像及びオブジェクト抽出ＯＣＴ画像に基づいて構築される３次元内腔画像を示す説明図である。 剛体レジストレーションにより３次元内腔画像を合致させ、観察位置、観察方向及びスケールを補正する方法を概念的に示す説明図である。 ＩＶＵＳ画像及びＯＣＴ画像の対応関係及びスケールの補正方法を概念的に示す説明図である。 内腔部分のスケール補正方法を概念的に示す説明図である。 内腔外側部分のスケール補正方法を概念的に示す説明図である。 実施形態２に係る画像処理手順を示すフローチャートである。 超音波ラインデータ及び光ラインデータの対応関係の補正方法を示す説明図である。 超音波ラインデータ及び光ラインデータのスケール補正方法を示す説明図である。

以下、本開示のコンピュータプログラム、画質改善学習モデル、学習モデル生成方法、画像処理方法及び画像処理装置について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。また、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、ＩＶＵＳ画像及びＯＣＴ画像という。また、ＩＶＵＳ画像及びＯＣＴ画像を総称して断層画像という。

（実施形態１）
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態の画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。

血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。血管造影装置１０２は、撮像して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して表示装置４に表示される。なお、表示装置４には、アンギオ画像と、画像診断用カテーテル１を用いて撮像された血管の断層画像とが表示される。

図２は画像診断用カテーテル１の構成例を示す説明図である。なお、図２中の上側の一点鎖線で囲まれた領域は、下側の一点鎖線で囲まれた領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側という。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４からコネクタ部１５に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。

センサ部１２は、ハウジング１２ｃを有し、ハウジング１２ｃの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｃ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａと、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂとが配置されている。図２に示す例では、プローブ１１の先端側に超音波送受信部１２ａが設けられており、基端側に光送受信部１２ｂが設けられている。つまり、超音波送受信部１２ａ及び光送受信部１２ｂは、シャフト１３の中心軸上（図２中の二点鎖線上）において軸方向に沿って所定長だけ離れて、ハウジング１２ｃ内に配置されている。
また、超音波送受信部１２ａ及び光送受信部１２ｂは、超音波及び近赤外光の送受信方向がシャフト１３の軸方向に対して略９０度の方向（シャフト１３の径方向）となるように配置されている。なお、超音波送受信部１２ａ及び光送受信部１２ｂは、カテーテルシース１１ａの内面での反射波及び反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施形態では、例えば図２中の矢符で示すように、超音波送受信部１２ａは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、光送受信部１２ｂは径方向に対して先端側に傾斜した方向を近赤外光の照射方向とする姿勢で設けられている。

シャフト１３には、超音波送受信部１２ａに接続された電気信号ケーブル（図示せず）と、光送受信部１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。

ＭＤＵ２は、画像診断用カテーテル１のコネクタ部１５が着脱可能に取り付けられ、医療従事者の操作に応じて内蔵モータを駆動し、血管内に挿入された画像診断用カテーテル１の動作を制御する駆動装置である。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ１１に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。ＭＤＵ２は、超音波送受信部１２ａが受信した超音波の反射波信号と、光送受信部１２ｂが受信した反射光信号とを画像処理装置３へ出力する。
ＭＤＵ２は、センサ部１２を高速で後退させる高速プルバックモードと、センサ部１２を低速で後退させる低速プルバックモードとを有する。高速プルバックモードにおいては、ＭＤＵ２は、モータを高速で駆動し、センサ部１２を高速で後退させる。低速プルバックモードにおいては、ＭＤＵ２は、モータを低速で駆動し、センサ部１２を低速で後退させる。画像処理装置３は、高速プルバックモード又は低速プルバックモードのいずれのモードで動作しているかを認識しており、プルバック速度に応じた処理を実行する。詳細は後述する。

画像処理装置３は、ＭＤＵ２を介して超音波送受信部１２ａから出力された超音波の反射波信号を反射波データとして取得し、取得した反射波データに基づいて超音波ラインデータを生成する。超音波ラインデータは、超音波送受信部１２ａからみた血管の深さ方向における超音波の反射強度を示すデータである。画像処理装置３は、生成した超音波ラインデータに基づいて血管の横断層を表すＩＶＵＳ画像６０（図４参照）を構築する。

また、画像処理装置３は、ＭＤＵ２を介して光送受信部１２ｂから出力された反射光信号と、光源からの光を分離して得られた参照光とを干渉させることにより、干渉光データを取得し、取得した干渉光データに基づいて光ラインデータを生成する。光ラインデータは、光送受信部１２ｂからみた血管の深さ方向における反射光の反射強度を示すデータである。画像処理装置３は、生成した光ラインデータに基づいて血管の横断層を表したＯＣＴ画像７０（図４参照）を構築する。

ここで、超音波送受信部１２ａ及び光送受信部１２ｂによって得られる超音波ラインデータ及び光ラインデータと、超音波ラインデータ及び光ラインデータから構築されるＩＶＵＳ画像６０及びＯＣＴ画像７０について説明する。

図３は、センサ部１２を挿通させた血管の断面を模式的に示す説明図であり、図４は断層画像の説明図である。まず、図３を用いて、血管内における超音波送受信部１２ａ及び光送受信部１２ｂの動作と、超音波送受信部１２ａ及び光送受信部１２ｂによって得られる超音波ラインデータ及び光ラインデータについて説明する。

センサ部１２及びシャフト１３が血管内に挿通された状態で断層画像の撮像が開始されると、センサ部１２が矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、超音波送受信部１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施形態では、超音波送受信部１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。超音波送受信部１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータを取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すような２次元のＩＶＵＳ画像６０を構築することができる。

同様に、光送受信部１２ｂも、各回転角度において近赤外光（測定光）の送信及び受信を行う。光送受信部１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示す２次元のＯＣＴ画像７０を構築することができる。

このように複数本の超音波ラインデータから構築される２次元の断層画像を１フレームのＩＶＵＳ画像６０という。また、複数本の光ラインデータから構築される２次元の断層画像を１フレームのＯＣＴ画像７０という。センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ画像６０又はＯＣＴ画像７０が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ画像６０又はＯＣＴ画像７０が取得されるので、図４Ｂに示すように、移動範囲内で複数フレームのＩＶＵＳ画像６０又はＯＣＴ画像７０が取得される。

なお、１回転における超音波及び光の送受信回数は一例であり、送受信回数は５１２回に限定されるものではない。また、超音波の送受信回数と、光の送受信回数とは同一であっても良いし、異なっていてもよい。

ＯＣＴ画像７０を得るために必要な造影剤の量を最小限にするためには、センサ部１２を高速でプルバックさせることが望ましい。ところが、送信された超音波が対象部位で反射され戻ってくるまでに時間を要するため、血管内検査装置１０１は、プルバック速度を速くした場合、送受信回数を低減させる。つまり、血管内検査装置１０１は、血管の所要深度における反射波を受信できるように、超音波ラインデータの取得本数を削減する。なお、近赤外光の伝播速度は十分に速いため、センサ部１２の移動速度にかかわらず、光ラインデータの取得本数を維持することができる。
例えば、画像処理装置３は、センサ部１２を後退させる速度が低速である場合（低速プルバック）、センサ部１２が１回転する間に、５１２本の超音波ラインデータ及び光ラインデータを取得するところ、センサ部１２を後退させる速度が高速である場合（高速プルバック）、センサ部１２が１回転する間に、２５６本の超音波ラインデータを取得し、５１２本の光ラインデータを取得する。
以上の通り、血管内検査装置１０１及び画像処理装置３は、センサ部１２の後退速度が速い場合、超音波ラインデータの取得本数を、光ラインデータの取得本数に比べて、より大きく削減させる。光ラインデータの取得本数は、維持してもよいし、削減してもよい。

また、血管内検査装置１０１、プルバック速度を速くした場合、超音波の送受信時間を短くするように構成してもよい。この場合、撮像される血管の深さ方向が短くなる。
このようにプルバック速度を速くした場合、ＩＶＵＳ画像６０の画質が低下する。以下、センサ部１２を後退させる速度が第１速度である場合に構築される高画質のＩＶＵＳ画像６０を高画質ＩＶＵＳ画像６０ｂ、センサ部１２を後退させる速度が第１速度よりも高速の第２速度である場合に構築される低画質のＩＶＵＳ画像６０を、低画質ＩＶＵＳ画像６０ａという。高画質ＩＶＵＳ画像６０ｂ及び低画質ＩＶＵＳ画像６０ａは、両者の画質を対比した場合に、一方のＩＶＵＳ画像６０の画質が、他方のＩＶＵＳ画像６０の画質に比べて高い又は低いことを意味する。高画質ＩＶＵＳ画像６０ｂ及び低画質ＩＶＵＳ画像６０ａを区別する必要が無い技術的特徴を説明する際は、両者を区別すること無く単にＩＶＵＳ画像６０と呼ぶ。

図５は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、処理部３１、記憶部３２、超音波ラインデータ生成部３３、光ラインデータ生成部３４、入出力Ｉ／Ｆ３５、読取部３６を備える。処理部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。処理部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。

記憶部３２は、例えば主記憶部及び補助記憶部を有する。主記憶部は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、処理部３１が演算処理を実行するために必要なデータを一時的に記憶する。補助記憶部は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部は、処理部３１が実行するコンピュータプログラムＰ、第１学習モデル６、第２学習モデル７、画質改善学習モデル８、その他の処理に必要な各種データを記憶する。なお、補助記憶部は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部に記憶させてもよい。コンピュータプログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３６が記録媒体３０から読み出して補助記憶部に記憶させてもよい。

超音波ラインデータ生成部３３は、血管内検査装置１０１の超音波送受信部１２ａから出力された超音波の反射波信号を反射波データとして取得し、取得した反射波データに基づいて超音波ラインデータを生成する。

光ラインデータ生成部３４は、血管内検査装置１０１の光送受信部１２ｂから出力された反射光信号と、光源からの光を分離して得られた参照光とを干渉させることにより、干渉光データを取得し、取得した干渉光データに基づいて光ラインデータを生成する。

入出力Ｉ／Ｆ３５は、血管内検査装置１０１、血管造影装置１０２、表示装置４及び入力装置５が接続されるインタフェースである。処理部３１は、入出力Ｉ／Ｆ３５を介して、血管造影装置１０２からアンギオ画像を取得する。また、処理部３１は、入出力Ｉ／Ｆ３５を介して、ＩＶＵＳ画像６０、ＯＣＴ画像７０、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、処理部３１は、入出力Ｉ／Ｆ３５を介して、入力装置５に入力された情報を受け付ける。

画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。本実施形態では、画像処理装置３に、２次元のアンギオ画像を撮像する血管造影装置１０２が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル１を撮像する装置であれば、血管造影装置１０２に限定されない。

画像処理装置３の処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、超音波ラインデータ生成部３３にて超音波ラインデータを生成し、生成された超音波ラインデータに基づいてＩＶＵＳ画像６０を構築する処理を実行する。また、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、光ラインデータ生成部３４にて光ラインデータを生成し、生成された光ラインデータに基づいてＯＣＴ画像７０を構築する処理を実行する。

ところで、超音波送受信部１２ａ及び光送受信部１２ｂは、センサ部１２における配置位置が異なり、超音波及び光の送受信方向も異なるため、超音波送受信部１２ａ及び光送受信部１２ｂが同じ撮像タイミングで血管を走査したとしても血管の観察位置及び観察方向にずれが生じる。観察位置のずれは、血管の長手方向及び走行方向のずれである。観察方向のずれは、血管の周方向におけるずれである。また、光送受信部１２ｂにより光を送受信するためには、フラッシュ液を用いて血管内の血液を置換する必要がある。超音波の伝播速度はフラッシュ液の種類によって異なるため、超音波断層画像及び光干渉断層画像のスケールは一致しなくなる。
そこで、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、ＩＶＵＳ画像６０及びＯＣＴ画像７０を構築する際に、ＩＶＵＳ画像６０及びＯＣＴ画像７０における観察位置及び観察方向のずれを補正すると共に、ＩＶＵＳ画像６０及びＯＣＴ画像７０のスケールを一致させる処理を実行する。このように、本実施形態の画像処理装置３は、観察位置、観察方向及びスケールを一致させたＩＶＵＳ画像６０及びＯＣＴ画像７０を構築することができ、読影し易い画像を提供することができる。

また、上記した通り、ＯＣＴ画像７０を得るために必要な造影剤の量を最小限にするためには、センサ部１２を高速でプルバックさせることが望ましく、この場合、ＩＶＵＳ画像６０の画質が低下するという問題が生ずる。そこで、処理部３１は、記憶部３２が記憶するコンピュータプログラムＰを読み出して実行することにより、低画質ＩＶＵＳ画像６０ａと、画質が低下しないＯＣＴ画像７０とを用いて、高画質ＩＶＵＳ画像６０ｂを生成及び構築する処理を実行する。

次に、超音波断層画像及び光干渉断層画像の観察位置及び観察方向のずれ補正及びスケール補正を行うために用いる第１学習モデル６及び第２学習モデル７について説明する。また低画質ＩＶＵＳ画像６０ａの画質を改善させる画質改善学習モデル８について説明する。

図６は、第１学習モデル６の構成例を示すブロック図である。第１学習モデル６は、ＩＶＵＳ画像６０に含まれる所定のオブジェクトを認識するモデルである。第１学習モデル６は、例えば、セマンティックセグメンテーション（Semantic Segmentation）を用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、ＩＶＵＳ画像６０に含まれる各種オブジェクトを認識することができる。具体的には、第１学習モデル６は、ＩＶＵＳ画像６０における内腔画像（第１内腔画像）を認識する。また、第１学習モデル６は、ＩＶＵＳ画像６０における内腔外側のオブジェクト画像（第１オブジェクト画像）、例えば血管壁画像、プラーク画像、ステント画像等を認識する。血管壁は、中膜であり、より具体的には外弾性膜（ＥＥＭ）である。なお、第１学習モデル６は、センサ部１２の中心位置を認識するように構成してもよい。

第１学習モデル６は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）である。第１学習モデル６は、ＩＶＵＳ画像６０が入力される入力層６ａと、ＩＶＵＳ画像６０の特徴量を抽出し復元する中間層６ｂと、ＩＶＵＳ画像６０に含まれるオブジェクト画像を画素単位で示すオブジェクト抽出ＩＶＵＳ画像６１を出力する出力層６ｃとを有する。第１学習モデル６は、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolution Network）、ＳｅｇＮｅｔ等である。

第１学習モデル６の入力層６ａは、ＩＶＵＳ画像６０、つまりＩＶＵＳ画像６０を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層６ｂに受け渡す。中間層６ｂは、複数の畳み込み層（ＣＯＮＶ層）と、複数の逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、ＩＶＵＳ画像６０を次元圧縮する層である。次元圧縮により、オブジェクト画像の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、各画素がオブジェクトのクラスに対応する画素値（クラスデータ）を有するオブジェクト抽出ＩＶＵＳ画像６１が生成される。出力層６ｃは、オブジェクト抽出ＩＶＵＳ画像６１を出力する複数のニューロンを有する。オブジェクト抽出ＩＶＵＳ画像６１は、図６に示すように、内腔画像、血管壁画像、プラーク画像、ステント画像等のオブジェクトの種類毎にクラス分け、例えば色分けされたような画像である。

第１学習モデル６は、超音波送受信部１２ａにて得られるＩＶＵＳ画像６０と、当該ＩＶＵＳ画像６０の各画素に、対応するオブジェクトの種類に応じたクラスデータを付与（アノテーション）したオブジェクト抽出ＩＶＵＳ画像６１とを有する訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、訓練データのＩＶＵＳ画像６０を未学習のニューラルネットワークに入力した場合に出力されるオブジェクト抽出ＩＶＵＳ画像６１と、訓練データとしてアノテーションされた画像との差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば処理部３１は最急降下法等を用いて各種パラメータの最適化を行う。

このように学習された第１学習モデル６によれば、図６に示すようにＩＶＵＳ画像６０を第１学習モデル６に入力することによって、血管の内腔画像、血管壁画像、プラーク画像等のオブジェクトの種類に応じて各部が画素単位でクラス分けされたオブジェクト抽出ＩＶＵＳ画像６１が得られる。

図７は、第２学習モデル７の構成例を示すブロック図である。第２学習モデル７は、ＯＣＴ画像７０に含まれる所定のオブジェクトを認識するモデルである。第２学習モデル７は、第１学習モデル６と同様、例えばセマンティックセグメンテーションを用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、ＯＣＴ画像７０に含まれる各種オブジェクトを認識することができる。具体的には、第２学習モデル７は、ＯＣＴ画像７０における内腔画像（第２内腔画像）を認識する。また、第２学習モデル７は、ＯＣＴ画像７０における内腔外側のオブジェクト画像（第２オブジェクト画像）、例えば血管壁画像、プラーク画像、ステント画像等を認識する。

第２学習モデル７は、例えば深層学習による学習済みの畳み込みニューラルネットワークである。第２学習モデル７は、ＯＣＴ画像７０が入力される入力層７ａと、ＯＣＴ画像７０の特徴量を抽出し復元する中間層７ｂと、ＯＣＴ画像７０に含まれるオブジェクト画像を画素単位で示すオブジェクト抽出ＯＣＴ画像７１を出力する出力層７ｃとを有する。第２学習モデル７は、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolution Network）、ＳｅｇＮｅｔ等である。

第２学習モデル７の入力層７ａは、ＯＣＴ画像７０、つまりＯＣＴ画像７０を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層７ｂに受け渡す。中間層７ｂは、複数の畳み込み層と、複数の逆畳み込み層とを有する。畳み込み層は、ＯＣＴ画像７０を次元圧縮する層である。次元圧縮により、オブジェクト画像の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、各画素がオブジェクトのクラスに対応する画素値（クラスデータ）を有するオブジェクト抽出ＯＣＴ画像７１が生成される。出力層７ｃは、オブジェクト抽出ＯＣＴ画像７１を出力する複数のニューロンを有する。オブジェクト抽出ＯＣＴ画像７１は、内腔画像、血管壁画像、プラーク画像、ステント画像等のオブジェクトの種類毎にクラス分け、例えば色分けされたような画像である。

第２学習モデル７は、光送受信部１２ｂにて得られるＯＣＴ画像７０と、当該ＯＣＴ画像７０の各画素に、対応するオブジェクトの種類に応じたクラスデータを付与（アノテーション）したオブジェクト抽出ＯＣＴ画像７１とを有する訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、第１学習モデル６の学習と同様、訓練データのＯＣＴ画像７０を未学習のニューラルネットワークに入力した場合に出力されるオブジェクト抽出ＯＣＴ画像７１と、訓練データとしてアノテーションされた画像との差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。

このように学習された第２学習モデル７によれば、図７に示すようにＯＣＴ画像７０を第２学習モデル７に入力することによって、血管の内腔画像、血管壁画像、プラーク画像等のオブジェクトの種類に応じて各部が画素単位でクラス分けされたオブジェクト抽出ＯＣＴ画像７１が得られる。

図８は、画質改善学習モデル８の構成例を示すブロック図である。画質改善学習モデル８は、略同一の観察位置で撮像された低画質ＩＶＵＳ画像６０ａと、ＯＣＴ画像７０とに基づいて、高画質ＩＶＵＳ画像６０ｂを生成するモデルである。高速プルバック時においても、ＯＣＴ画像７０の画質は低下しないため、画質改善学習モデル８は、低画質ＩＶＵＳ画像６０ａの情報を、ＯＣＴ画像７０によって補い、再構築することにより、高画質ＩＶＵＳ画像６０ｂを生成することができる。

画質改善学習モデル８は、例えば深層学習による学習済みの畳み込みニューラルネットワークである。画質改善学習モデル８は、低画質ＩＶＵＳ画像６０ａが入力される第１入力層８１ａと、ＯＣＴ画像７０が入力される第２入力層８２ａと、低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０の特徴量を抽出し復元する中間層８ｂと、抽出された特徴量に基づいて復元された高画質ＩＶＵＳ画像６０ｂを出力する出力層８ｃとを有する。画質改善学習モデル８は、例えばＵ－Ｎｅｔである。

画質改善学習モデル８の第１入力層８１ａは、低画質ＩＶＵＳ画像６０ａ、つまりＩＶＵＳ画像６０を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層８ｂに受け渡す。第２入力層８２ａは、ＯＣＴ画像７０、つまりＯＣＴ画像７０を構成する各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層８ｂに受け渡す。中間層８ｂは、複数の畳み込み層と、複数の逆畳み込み層とを有する。畳み込み層は、低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０を次元圧縮する層である。次元圧縮により、低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、１枚の高画質ＩＶＵＳ画像６０ｂを復元する。出力層８ｃは、高画質ＩＶＵＳ画像６０ｂを出力する複数のニューロンを有する。

図９は、画質改善学習モデル８の生成方法を示すフローチャートである。ここでは、一例として、画像処理装置３が画質改善学習モデル８の生成を行う例を説明するが、画質改善学習モデル８の生成を行うコンピュータの種類等は特に限定されるものではない。

まず、画像処理装置３は、センサ部１２を高速で後退させる高速プルバックモードに設定し、所定の血管部位の低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０を取得する（ステップＳ１０１）。高速プルバックを行った場合に得られる低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０は、略同一の観察位置で血管を走査して構築したＩＶＵＳ画像６０及びＯＣＴ画像７０である。
そして、画像処理装置３は、センサ部１２を低速で後退させる低速プルバックモードに設定し、同じ血管部位の高画質ＩＶＵＳ画像６０ｂを取得する（ステップＳ１０２）。画像処理装置３は、ステップＳ１０１及びステップＳ１０２で取得した、高速プルバックを行った場合に得られる低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０と、低速プルバックを行った場合に得られる高画質ＩＶＵＳ画像６０ｂとを有する訓練データとして蓄積する（ステップＳ１０３）。画像処理装置３は、ステップＳ１０１～ステップＳ１０３の処理を繰り返すことにより、多数の訓練データを蓄積する。もちろん、他の画像診断装置１００により取得及び蓄積された訓練データを収集するように構成してもよい。

なお、訓練データを構成する低画質ＩＶＵＳ画像６０ａ、ＯＣＴ画像７０、及び高画質ＩＶＵＳ画像６０ｂは、同一観察位置及び観察方向から得られた画像であることが望ましい。内腔画像を対比することにより、複数フレームの低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０の観察位置及び観察方向を整合させる方法を後述するが、当該方法を用いることにより、訓練データである低画質ＩＶＵＳ画像６０ａ、ＯＣＴ画像７０、及び高画質ＩＶＵＳ画像６０ｂの観察位置及び観察方向を合致させることができる。

そして、画像処理装置３は、蓄積した訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成する（ステップＳ１０４）。具体的には、訓練データの低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０を未学習のニューラルネットワークに入力した場合に出力されるＩＶＵＳ画像６０と、訓練データの高画質ＩＶＵＳ画像６０ｂとの差分が小さくなるように、当該ニューラルネットワークのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば処理部３１は最急降下法等を用いて各種パラメータの最適化を行う。

このように学習された画質改善学習モデル８によれば、図８に示すように、センサ部１２を用いて略同一の観察位置で撮像された低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０を入力することによって、高画質ＩＶＵＳ画像６０ｂが得られる。

図１０は、本実施形態１に係る画像処理手順を示すフローチャートである。画像処理装置３の超音波ラインデータ生成部３３及び光ラインデータ生成部３４は、超音波送受信部１２ａから出力される反射波データ、光送受信部１２ｂから出力される反射光及び参照光の干渉により得られる干渉光データに基づいて、複数本の超音波ラインデータ及び光ラインデータを生成する（ステップＳ１１１）。複数本の超音波ラインデータ及び光ラインデータには、例えば観察時間の時系列順にライン番号が付されている。ライン番号は、観察時点に相当する。言い換えると、ライン番号は観察位置及び観察方向に相当する。

次いで処理部３１は、超音波ラインデータに基づいて複数フレームのＩＶＵＳ画像６０を構築し、光ラインデータに基づいて複数フレームのＯＣＴ画像７０を構築する（ステップＳ１１２）。複数フレームのＩＶＵＳ画像６０及びＯＣＴ画像７０には、例えば観察時間の時系列順にフレーム番号が付されている。フレーム番号は、観察位置に相当する。複数フレームのＩＶＵＳ画像６０及びＯＣＴ画像７０は、プローブ１１の先端側から基端側に亘る複数の観察位置で血管を観察して得た画像に相当する。但し、超音波送受信部１２ａ及び光送受信部１２ｂの配置、超音波又は光の送受信方向が異なるため、同一フレーム番号が付されたＩＶＵＳ画像６０及びＯＣＴ画像７０の観察位置は必ずしも一致していない。言い換えると、ＩＶＵＳ画像６０と、ＯＣＴ画像７０とは、血管の走行方向に位置ずれしている。また、同様の理由により、ＩＶＵＳ画像６０と、ＯＣＴ画像７０とは、血管の周方向にも位置ずれしている。更に、ＯＣＴ画像７０を得るために血液はフラッシュ液に置換されており、フラッシュ液の種類等によって、ＩＶＵＳ画像６０及びＯＣＴ画像７０のスケールにもずれが生じている。

なお、ステップＳ１１１及びステップＳ１１２の処理を実行する処理部３１、超音波ラインデータ生成部３３及び光ラインデータ生成部３４は、ＩＶＵＳ画像６０（超音波断層画像）及びＯＣＴ画像７０（光干渉断層画像）を取得する取得部として機能する。

次いで、処理部３１は、ＩＶＵＳ画像６０を第１学習モデル６に入力することによって、ＩＶＵＳ画像６０における内腔画像、及び内腔外側のオブジェクト画像（例えば、血管壁画像、プラーク画像、ステント画像）を認識する（ステップＳ１１３）。処理部３１は、複数フレームのＩＶＵＳ画像６０それぞれについて、画像認識処理を実行する。なお、第１学習モデル６から出力されるオブジェクト抽出ＩＶＵＳ画像６１には、入力したＩＶＵＳ画像６０と同じフレーム番号又は同様のフレーム番号が付されている。また、ステップＳ１１３の処理を実行する処理部３１は、ＩＶＵＳ画像６０における内腔画像（第１内腔画像）を認識する第１認識部として機能する。

また、処理部３１は、ＯＣＴ画像７０を第２学習モデル７に入力することによって、ＯＣＴ画像７０における内腔画像、及び内腔外側のオブジェクト画像（例えば、血管壁画像、プラーク画像、ステント画像）を認識する（ステップＳ１１４）。処理部３１は、複数フレームのＩＶＵＳ画像６０それぞれについて、画像認識処理を実行する。なお、第２学習モデル７から出力されるオブジェクト抽出ＯＣＴ画像７１には、入力したＯＣＴ画像７０と同じフレーム番号又は同様のフレーム番号が付されている。また、ステップＳ１１４の処理を実行する処理部３１は、ＯＣＴ画像７０における内腔画像（第２内腔画像）を認識する第２認識部として機能する。

第１学習モデル６及び第２学習モデル７により認識することができるオブジェクト画像は必ずしも同一では無いが、処理部３１は、少なくともＩＶＵＳ画像６０における内腔画像と、ＯＣＴ画像７０における内腔画像とを認識することができる。また、内腔画像の外側にある血管壁、プラーク、ステント等のオブジェクト画像の一部については、ＩＶＵＳ画像６０及びＯＣＴ画像７０の両画像において、共通のオブジェクト画像として認識される。

図１１は、オブジェクト抽出ＩＶＵＳ画像６１及びオブジェクト抽出ＯＣＴ画像７１に基づいて構築される３次元内腔画像６５，７５を示す説明図である。複数フレームのオブジェクト抽出ＩＶＵＳ画像６１は、血管の走行方向の複数の観察位置における内腔領域を示しており、処理部３１は、図１１上図に示すように、当該複数フレームのオブジェクト抽出ＩＶＵＳ画像６１に含まれる内腔領域の画像に基づいて、３次元内腔画像６５を構成することができる。
同様に、複数フレームのオブジェクト抽出ＯＣＴ画像７１は、血管の走行方向の複数の観察位置における内腔領域を示しており、処理部３１は、図１１下図に示すように、当該複数フレームのオブジェクト抽出ＯＣＴ画像７１に含まれる内腔領域の画像に基づいて、３次元内腔画像７５を構成することができる。

次いで、処理部３１は、剛体レジストレーションにより、３次元内腔画像６５，７５の位置、向き及び寸法を合致させる、３次元内腔画像６５の平行移動量、回転量及びスケール補正係数を特定する（ステップＳ１１５）。つまり、処理部３１は、複数フレームのＩＶＵＳ画像６０における内腔画像と、複数フレームのＯＣＴ画像７０における内腔画像とが合致するフレーム番号の対応関係を特定する。また、処理部３１は、ＩＶＵＳ画像６０における内腔画像の向きと、ＯＣＴ画像７０における内腔画像の向きとを合致させる、ＩＶＵＳ画像６０の回転量を特定する。また、処理部３１は、ＩＶＵＳ画像６０における内腔部分の径方向のスケール補正量を特定する。

図１２は、剛体レジストレーションにより３次元内腔画像６５，７５を合致させ、観察位置、観察方向及びスケールを補正する方法を概念的に示す説明図である。図１２中、上図は、オブジェクト抽出ＩＶＵＳ画像６１に基づく３次元内腔画像６５であり、下図は、オブジェクト抽出ＯＣＴ画像７１に基づく３次元内腔画像７５である。３次元内腔画像６５及び３次元内腔画像７５は、観察位置と、観察方向と、血管の径方向におけるスケールがずれている。
処理部３１は、例えば、上図及び中央の図に示すように剛体レジストレーションにより、オブジェクト抽出ＩＶＵＳ画像６１に基づく３次元内腔画像６５を平行移動させ、周方向に回転させ、また、血管内腔を径方向に伸縮させることによって、３次元内腔画像６５，７５の位置、向き及び寸法が合致する平行移動量、回転量、内腔部分のスケール補正係数を特定する。具体的には、処理部３１は、３次元座標系における３次元内腔画像６５と、３次元内腔画像７５との類似度又は相違度を算出し、類似度が最大又は相違度が最小になる平行移動量、回転量、内腔部分のスケール補正係数を特定する。類似度としては、例えば正規化相互相関等を用いればよい。相違度としては、残差２乗和等を用いればよい。なお、処理部３１は、３次元内腔画像６５，７５の輪郭の類似度又は相違度を算出すればよい。

図１３は、ＩＶＵＳ画像６０及びＯＣＴ画像７０の対応関係及びスケールの補正方法を概念的に示す説明図である。剛体レジストレーションによる３次元内腔画像６５の平行移動は、ＩＶＵＳ画像６０のフレーム番号と、ＯＣＴ画像７０のフレーム画像との対応関係の補正に相当する。また、３次元内腔画像６５の回転は、ＩＶＵＳ画像６０における画像の回転処理に相当する。

処理部３１は、ＩＶＵＳ画像６０と、ＯＣＴ画像７０との対応関係を補正する（ステップＳ１１６）。つまり、同じ観察位置で撮像されたＩＶＵＳ画像６０のフレームと、ＯＣＴ画像７０のフレームとを対応付ける。具体的には、同じ観察位置で撮像されたＩＶＵＳ画像６０のフレーム番号と、ＯＣＴ画像７０のフレーム番号とを対応付ける。ステップＳ１１５で特定された平行移動量は、同じ観察位置で撮像されたＩＶＵＳ画像６０のフレーム番号と、ＯＣＴ画像７０のフレーム番号との差分に相当するため、当該差分に当たるフレーム数を加減算することによって、ＩＶＵＳ画像６０と、ＯＣＴ画像７０とを対応付けることができる。なお、画像処理装置３は、平行移動量と、フレーム番号の差分との対応関係を記憶している。

また、処理部３１は、ＩＶＵＳ画像６０におけるオブジェクト画像の向きと、ＯＣＴ画像７０におけるオブジェクト画像の向きが一致するように、つまり観察方向が同一になるようにＩＶＵＳ画像６０の向きを補正する（ステップＳ１１７）。ステップＳ１１５で特定された回転量は、ＩＶＵＳ画像６０と、ＯＣＴ画像７０の向きのずれ量、つまり回転角度のずれ量に相当するため、当該ずれ量分だけＩＶＵＳ画像６０を画像回転させることによって、ＩＶＵＳ画像６０及びＯＣＴ画像７０の向きを揃えることができる。

なお、３次元内腔画像６５，７５の剛体レジストレーションによる観察位置及び観察方向の補正について説明したが、３次元内腔画像６５，７５を構成せずに、オブジェクト抽出ＩＶＵＳ画像６１及びオブジェクト抽出ＯＣＴ画像７１を直接的に比較することによって、観察位置、観察方向及びスケールを補正してもよい。

平行移動前においては、第ｎフレームのＩＶＵＳ画像６０と、第ｎフレームのＯＣＴ画像７０とが対応付けられているものとする。ｎは１以上の整数である。処理部３１は、例えば対応するフレーム番号のオブジェクト抽出ＩＶＵＳ画像６１における内腔領域と、オブジェクト抽出ＯＣＴ画像７１における内腔領域との類似度又は相違度を算出する。処理部３１は、所定数のオブジェクト抽出ＩＶＵＳ画像６１及びオブジェクト抽出ＯＣＴ画像７１について、内腔領域の類似度又は相違度を算出する。次いで、処理部３１は、第（ｎ＋α）フレームのオブジェクト抽出ＩＶＵＳ画像６１における内腔領域と、第ｎフレームのオブジェクト抽出ＯＣＴ画像７１における内腔領域との類似度又は相違度を同様にして算出する。αは整数であり、３次元内腔画像６５の平行移動量に相当する。処理部３１は、変数αを１ずるインクリメントしながら、オブジェクト抽出ＩＶＵＳ画像６１と、オブジェクト抽出ＯＣＴ画像７１との対応関係を検証する。
また、処理部３１は、内腔領域を対比する際、オブジェクト抽出ＩＶＵＳ画像６１における内腔領域の向きを周方向に角度補正量θだけ回転させる。角度補正量θは、３次元内腔画像６５の回転量に相当する。なお、回転中心はオブジェクト抽出ＩＶＵＳ画像６１の中心では無く、センサ部１２の中心に相当する位置を中心にして回転させる。更に、処理部３１は、内腔領域を対比する際、オブジェクト抽出ＩＶＵＳ画像６１における内腔領域の径方向寸法をスケール補正係数ｋ１により伸縮させる。処理部３１は、変数αと共に、角度補正量θ及びスケール補正係数ｋを所定量ずつ変化させながら、オブジェクト抽出ＩＶＵＳ画像６１及びオブジェクト抽出ＯＣＴ画像７１における内腔領域の類似度又は相違度を算出し、類似度が最大になる、又は相違度が最小になる変数α、角度補正量θ及びスケール補正係数ｋ１を特定する。そして、処理部３１は特定した変数α、角度補正量θ及びスケール補正係数ｋ１を記憶する。

なお、超音波送受信部１２ａ及び光送受信部１２ｂの配置、使用可能なフラッシュ液の特性により、一般的に内腔領域のずれ量は一定の範囲内に収まる。このため、変数α、角度補正量θ及びスケール補正係数ｋ１それぞれについて、所定の探索範囲を設定するとよい。処理部３１は、当該探索範囲において、内腔領域の類似度が最大又は相違度が最小になる変数α、角度補正量θ及びスケール補正係数ｋ１を特定するように構成するとよい。
なお、超音波送受信部１２ａ及び光送受信部１２ｂの配置、超音波及び近赤外光の照射方向、血管のサイズ等により、観察位置が合致するＩＶＵＳ画像６０と、ＯＣＴ画像７０のフレーム番号は前後する可能性があるため、変数αの探索範囲は正負を含むようにするとよい。ただし、超音波送受信部１２ａ及び光送受信部１２ｂの配置に応じて、変数αの正側の探索範囲の広さと、負側の探索範囲の広さとを非対称にするとよい。より、効率的に変数αを特定することができる。

次いで、処理部３１は、ＩＶＵＳ画像６０における内腔部分のスケールを補正する（ステップＳ１１８）。

図１４は、内腔部分のスケール補正方法を概念的に示す説明図である。上図は、オブジェクト抽出ＩＶＵＳ画像６１と、補正前のＩＶＵＳ画像６０とを示している。下図は、オブジェクト抽出ＯＣＴ画像７１と、スケール補正後のＩＶＵＳ画像６０とを示している。処理部３１は、上記した処理により、オブジェクト抽出ＩＶＵＳ画像６１における内腔領域の寸法と、オブジェクト抽出ＯＣＴ画像７１における内腔領域の寸法とを比較することによって、ＩＶＵＳ画像６０における内腔画像の寸法を、ＯＣＴ画像７０における内腔画像の寸法に合致させるスケール補正係数ｋ１を特定する。補正係数ｋ１は、ＩＶＵＳ画像６０におけるセンサ部１２に相当する部分を中心とする内腔画像における径方向の長さスケールを補正する係数である。処理部３１は、ＩＶＵＳ画像６０における内腔画像の径方向の長さを、補正係数ｋ１を用いて線形変換することによって、スケール補正を行う。より具体的には、内腔領域にある任意のオブジェクト画像と、センサ部１２の中心との距離をＲ１とすると、補正後のオブジェクト画像と、センサ部１２の中心との距離Ｒ１’は、Ｒ１×ｋ１で表される。処理部３１はオブジェクト抽出ＩＶＵＳ画像６１の内腔領域を補正係数ｋ１で補正したときの輪郭と、オブジェクト抽出ＯＣＴ画像７１における内腔領域の輪郭とが合致する、言い換えると両輪郭の類似度が最大又は相違度が最小になる補正係数ｋ１を求める。
そして、ステップＳ１１８において、処理部３１は、求めた補正係数ｋ１を用いて、ＩＶＵＳ画像６０における内腔領域に対応する部位の径方向の長さスケールを補正する。ここでは内腔外側領域のスケールは補正しない。内腔領域が縮小した場合、内腔外側領域は周知の補間処理によって周方向に広げられる。内腔領域が拡大した場合、内腔外側領域は間引き処理によって周方向に狭められる。なお、内腔領域のスケール補正は、ＩＶＵＳラインデータを用いて行い、スケール補正後のＩＶＵＳラインデータを用いてＩＶＵＳ画像６０を再構築するように構成してもよい。

次いで，処理部３１は、ＩＶＵＳ画像６０における内腔外側部分のスケールを補正する（ステップＳ１１９）。なお、ステップＳ１１５～ステップＳ１１９の処理を実行する処理部３１は、観察位置、観察方向、スケール補正等の各種補正処理を行う補正部として機能する。

図１５は、内腔外側部分のスケール補正方法を概念的に示す説明図である。上図は、オブジェクト抽出ＩＶＵＳ画像６１と、補正前のＩＶＵＳ画像６０とを示し、下図は、オブジェクト抽出ＯＣＴ画像７１と、スケール補正後のＩＶＵＳ画像６０とを示している。処理部３１は、オブジェクト抽出ＩＶＵＳ画像６１における内腔領域外側の任意のオブジェクト画像と、オブジェクト抽出ＯＣＴ画像７１における内腔領域外側の当該オブジェクト画像の寸法とを比較することによって、ＩＶＵＳ画像６０における内腔外側のオブジェクト画像を、ＯＣＴ画像７０における内腔外側のオブジェクト画像の寸法に合致させるスケール補正係数ｋ２を特定する。補正係数ｋ２は、ＩＶＵＳ画像６０におけるセンサ部１２に相当する部分を中心とする内腔外側における径方向の長さスケールを補正する係数である。処理部３１は、ＩＶＵＳ画像６０における内腔外側の画像の径方向の長さを、補正係数ｋ２を用いて線形変換することによって、スケール補正を行う。より具体的には、内腔領域外側にある任意のオブジェクト画像と、センサ部１２の中心との距離をＲ２とすると、補正後のオブジェクト画像と、センサ部１２の中心との距離Ｒ２’は、Ｒ１’＋（Ｒ２－Ｒ１）×ｋ２で表される。処理部３１はオブジェクト抽出ＩＶＵＳ画像６１の内腔領域を補正係数ｋ１で補正したときの内腔外側のオブジェクト画像と、オブジェクト抽出ＯＣＴ画像７１における内腔外側のオブジェクト画像とが合致する、言い換えると両オブジェクト画像の類似度が最大又は相違度が最小になる補正係数ｋ２を求める。処理部３１は、求めた補正係数ｋ２を用いて、ＩＶＵＳ画像６０における内腔外側の部位の径方向の長さスケールを補正する。なお、内腔外側領域のスケール補正は、ＩＶＵＳラインデータを用いて行い、スケール補正後のＩＶＵＳラインデータを用いてＩＶＵＳ画像６０を再構築するように構成してもよい。

次いで、処理部３１は、ＩＶＵＳ画像６０が低画質ＩＶＵＳ画像６０ａである場合、画質改善学習モデル８を用いて、低画質ＩＶＵＳ画像６０ａの画質改善処理を実行する（ステップＳ１２０）。具体的には、図８に示すように、低画質ＩＶＵＳ画像６０ａを、画質改善学習モデル８の第１入力層８１ａに入力し、ＯＣＴ画像７０を第２入力層８１ｂに入力することによって、高画質ＩＶＵＳ画像６０ｂを生成する。なお、観察位置、観察方向及びスケールを合致させた低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０を画質改善学習モデル８に入力することによって、より正確な高画質ＩＶＵＳ画像６０ｂを得ることができる。なお、ステップＳ１２０の処理を実行する処理部３１は、画質改善学習モデル８を用いてＩＶＵＳ画像６０の画質改善を行う画質改善処理部として機能する。

そして、処理部３１は、観察位置、観察方向及びスケール補正、並びに画質改善されたＩＶＵＳ画像６０及びＯＣＴ画像７０を表示装置４に表示する（ステップＳ１２１）。

なお、処理部３１は、先に画質改善前の低画質ＩＶＵＳ画像６０ａを表示装置４に表示し、高画質ＩＶＵＳ画像６０ｂが生成される都度、低画質ＩＶＵＳ画像６０ａを高画質ＩＶＵＳ画像６０ｂに代えて表示するように構成してもよい。また、処理部３１は、現在表示中の低画質ＩＶＵＳ画像６０ａから優先滴に画質改善処理を実行するとよい。

以上の通り、本実施形態１に係る画像処理装置３等によれば、ＩＶＵＳ機能及びＯＣＴ機能を備えるデュアルタイプのカテーテルを用いて得られたＩＶＵＳ画像６０及びＯＣＴ画像７０の観察位置及び観察方向を整合させることができる。

ＩＶＵＳ機能及びＯＣＴ機能を備えるデュアルタイプのカテーテルを用いて得られたＩＶＵＳ画像６０及びＯＣＴ画像７０のスケール、特に径方向スケールを整合させることができる。

更に、高速プルバック時においても高画質ＩＶＵＳ画像６０ｂを構築することができる。具体的には、低画質ＩＶＵＳ画像６０ａ及びＯＣＴ画像７０に基づいて、高画質ＩＶＵＳ画像６０ｂを構築することができる。従って、ＩＶＵＳ機能及びＯＣＴ機能を備えるデュアルタイプのカテーテルを用いたＩＶＵＳ画像６０及びＯＣＴ画像７０の撮像高速化及び造影剤低減と、高画質化とを両立することができる。

なお、本実施形態１では、第１学習モデル６及び第２学習モデル７を用いて、ＩＶＵＳ画像６０及びＯＣＴ画像７０における内腔画像を認識する例を説明したが、２値化、エッジ検出、パターンマッチング等の画像処理によって、内腔画像の輪郭を抽出するようにしてもよい。

また、ＩＶＵＳ画像６０における内腔部分と、内腔外側部分とを異なる補正係数でスケール補正する例を説明したが、内腔部分のみ、径方向のスケールを補正するように構成してもよい。
更に、一つのスケール補正係数ｋ１を用いて、全てのＩＶＵＳ画像６０における内腔画像のスケール補正を行う例を説明したが、連続する所定フレーム枚数毎に補正係数ｋ１を特定し、ＩＶＵＳ画像６０における内腔画像のスケールを補正するように構成してもよい。

更に、ＩＶＵＳ画像６０及びＯＣＴ画像７０の観察位置、観察方向の補正及び径方向のスケール補正を行う例を説明したが、観察位置及び観察方向の補正、径方向のスケール補正のいずれか一つ又は２つを実行するように構成してもよい。

更にまた、本実施形態では、３次元内腔画像６５，７５の平行移動量、回転量及びスケール補正量を特定する例を説明したが、スケール補正係数を特定しない場合、平行移動量及び回転量のみを特定するように構成してもよい。なお、３次元内腔画像６５，７５平行移動、回転、拡大又は縮小を行う線形変換を主に説明したが、高次多項式、その他の非線形変換により、３次元内腔画像６５，７５を整合させる補正量を算出するように構成してもよい。

更にまた、観察位置及び観察方向を合致させ、及びスケール補正を行った低画質ＩＶＵＳ画像６０ａと、ＯＣＴ画像７０とを用いて、ＩＶＵＳ画像６０の画質改善を行う例を説明したが、かかる補正を行わずに、低画質ＩＶＵＳ画像６０ａと、ＯＣＴ画像７０を画質改善学習モデル８に入力することによって、高画質ＩＶＵＳ画像６０ｂを生成するように構成してもよい。

更にまた、本実施形態１では、ＯＣＴ画像７０を基準にしてＩＶＵＳ画像６０の向き及びスケールを補正する例を説明したが、ＩＶＵＳ画像６０を基準にしてＯＣＴ画像７０の向き及びスケールを補正するように構成してもよい。
具体的には、ステップＳ１１５において、処理部３１は、ＩＶＵＳ画像６０における内腔画像の向きと、ＯＣＴ画像７０における内腔画像の向きとを合致させる、ＯＣＴ画像７０の回転量を特定する。また、処理部３１は、ＯＣＴ画像７０における内腔部分の径方向のスケール補正量を特定する。処理部３１は、例えば、剛体レジストレーションにより、オブジェクト抽出ＯＣＴ画像７１に基づく３次元内腔画像７５を平行移動させ、周方向に回転させ、また、血管内腔を径方向に伸縮させることによって、３次元内腔画像６５，７５の位置、向き及び寸法が合致する平行移動量、回転量、内腔部分のスケール補正係数を特定する。
そして、処理部３１は、ステップＳ１１７において、ＩＶＵＳ画像６０におけるオブジェクト画像の向きと、ＯＣＴ画像７０におけるオブジェクト画像の向きが一致するように、つまり観察方向が同一になるようにＯＣＴ画像７０の向きを補正する。また、処理部３１は、ステップＳ１１８において、ＯＣＴ画像７０における内腔部分のスケールを補正し、ステップＳ１１９において、ＯＣＴ画像７０における内腔外側部分のスケールを補正する。

更にまた、ＩＶＵＳ画像６０及びＯＣＴ画像７０以外の第３の医用画像がある場合、当該医用画像を基準に、ＩＶＵＳ画像６０及びＯＣＴ画像７０の観察位置、観察方向、スケールが互いに整合するようにＩＶＵＳ画像６０及びＯＣＴ画像７０の双方を補正するように構成してもよい。

（実施形態２）
実施形態２に係る画像診断装置１００は、超音波ラインデータ及び光ラインデータベースで、観察位置、観察方向及びスケールの補正を行う点が実施形態１と異なる。画像処理装置３のその他の構成は、実施形態１に係る画像処理装置３と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

図１６は、実施形態２に係る画像処理手順を示すフローチャートである。処理部３１は、実施形態１と同様にして、超音波ラインデータ及び光ラインデータを生成する（ステップＳ２１１）。そして、処理部３１は、超音波ラインデータ及び光ラインデータを用いて、内腔画像、血管壁画像、プラーク及びステント等の画像認識を行う（ステップＳ２１２、ステップＳ２１３）。
なお、第１学習モデル６及び第２学習モデル７は、フレーム画像として構築されたＩＶＵＳ画像６０及びＯＣＴ画像７０のフレーム画像では無く、１フレームを構成する超音波ラインデータ及び光ラインデータを訓練データとして学習している。つまり、１フレームを構成する超音波ラインデータを並べた画像は、第１軸を周方向、第２軸を深さ方向とする極座標で表したような画像である。第１学習モデル６に１フレームを構成する超音波ラインデータが入力された場合、オブジェクト画像が抽出されたオブジェクト抽出超音波ラインデータが出力される。同様に、第２学習モデル７に１フレームを構成するＯＣＴラインデータが入力された場合、オブジェクト画像が抽出されたオブジェクト抽出ＯＣＴラインデータが出力される。

次いで、処理部３１は、実施形態１と同様の観察位置、観察方向及びスケールの補正をラインデータ単位で実行する（ステップＳ２１４～ステップＳ２１８）。なお、ステップＳ２１５、ステップＳ２１６の処理は一の処理で実行するとよい。処理部３１は補正後の超音波ラインデータ及び光ラインデータに基づいて、ＩＶＵＳ画像６０及びＯＣＴ画像７０を構築する（ステップＳ２１９）。ステップＳ２２０及びステップＳ２２１の処理は実施形態１と同様である。

図１７は、超音波ラインデータ及び光ラインデータの対応関係の補正方法を示す説明図である。上図は超音波ラインデータを示す模式図、下図は光ラインセンサを示す模式図である。処理部３１は、実施形態１と同様、平行移動前においては、第ｎラインの超音波ラインデータと、第ｎラインの光ラインデータとが対応付けられているものとする。ｎは１以上の整数である。処理部３１は、例えば対応する第ｎライン～第ｍラインのオブジェクト抽出超音波ラインデータにおける内腔領域と、オブジェクト抽出光ラインデータにおける内腔領域との類似度又は相違度を算出する。ｍはｎより大きな整数である。次いで、処理部３１は、第（ｎ＋β）ライン～第（ｍ＋β）の超音波ラインデータにおける内腔領域と、第ｎライン～第ｍラインのオブジェクト抽出光ラインデータにおける内腔領域との類似度又は相違度を同様にして算出する。変数βは１以上の整数であり、３次元内腔画像６５の平行移動量及び回転量に相当する。変数βを１ずつインクリメントしながら、超音波ラインデータ及び光ラインデータの対応関係を検証する。そして、処理部３１は、類似度が最大になる、又は相違度が最小になる変数βを特定する。そして、処理部３１は特定した変数βを記憶する。

図１８は、超音波ラインデータ及び光ラインデータのスケール補正方法を示す説明図である。オブジェクト抽出超音波ラインデータにおける内腔領域の輪郭と、光ラインデータにおける内腔領域の輪郭とが合致するように、超音波ラインデータの内腔画像の寸法に合致させるスケール補正係数ｋ１を特定する。同様にして、オブジェクト抽出超音波ラインデータにおける内腔外側のオブジェクト領域の寸法と、オブジェクト抽出光ラインデータにおける内腔外側のオブジェクト領域の寸法とが合致するように、超音波ラインデータの内腔外側のスケール補正係数ｋ２を特定する。処理部３１は、求めた補正係数ｋ１を用いて、超音波ラインデータにおける内腔領域に対応する部位の径方向の長さスケールを補正する。また、処理部３１は、補正係数ｋ２を用いて、超音波ラインデータにおける内腔外側の領域に対応する部位の径方向の長さスケールを補正する。

本実施形態２に係る画像処理装置３等によれば、実施形態１と同様、デュアルタイプのカテーテルを用いて得られたＩＶＵＳ画像６０及びＯＣＴ画像７０の観察位置、観察方向を整合させることができ、更にスケールを整合させることができる。

超音波ラインデータ及び超音波ラインデータに対する画像処理によって、観察位置、観察方向及びスケールを補正し、ＩＶＵＳ画像６０及びＯＣＴ画像７０を構築するため、より正確に効率良く補正を行い、ＩＶＵＳ画像６０及びＯＣＴ画像７０を構築することができる。

なお、実施形態２においては、光ラインデータベースを基準にして、超音波ラインデータのスケールを補正する例を説明したが、超音波ラインデータを基準にして光ラインデータベースのスケールを補正するように構成してもよい。

１ 画像診断用カテーテル
２ ＭＤＵ
３ 画像処理装置
４ 表示装置
５ 入力装置
６ 第１学習モデル
７ 第２学習モデル
８ 画質改善学習モデル
１１ プローブ
１１ａ
１２ センサ部
１２ａ 超音波送受信部
１２ｂ 光送受信部
１２ｃ ハウジング
１３ シャフト
１４ ガイドワイヤ挿通部
１５ コネクタ部
３０ 記録媒体
３１ 処理部
３２ 記憶部
３３ 超音波ラインデータ生成部
３４ 光ラインデータ生成部
６０ ＩＶＵＳ画像
６０ａ 低画質ＩＶＵＳ画像
６０ｂ 高画質ＩＶＵＳ画像
６１ オブジェクト抽出ＩＶＵＳ画像
６５ ３次元内腔画像
７０ ＯＣＴ画像
７１ オブジェクト抽出ＯＣＴ画像
７５ ３次元内腔画像
１００ 画像診断装置
１０１ 血管内検査装置
１０２ 血管造影装置

Claims (11)

1. 管腔器官の内腔から径方向の外側を向いて超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を前記管腔器官の走行方向に沿って移動させながら、複数の観察位置における複数の超音波断層画像及び複数の光干渉断層画像を取得し、
   取得した前記超音波断層画像に含まれる前記管腔器官の第１内腔画像を認識し、
   取得した前記光干渉断層画像に含まれる前記管腔器官の第２内腔画像を認識し、
   認識した複数の前記超音波断層画像における前記第１内腔画像と、前記光干渉断層画像における前記第２内腔画像に基づいて、前記観察位置が整合するように複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する
   処理をコンピュータに実行させるためのコンピュータプログラム。
2. 前記第１内腔画像の輪郭と、前記第２内腔画像の輪郭とを比較することによって、複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する
   処理をコンピュータに実行させるための請求項１に記載のコンピュータプログラム。
3. 前記超音波断層画像に含まれる前記第１内腔画像を認識する第１学習モデルに、取得した複数の前記超音波断層画像を入力することによって、複数の前記超音波断層画像における前記第１内腔画像を認識し、
   前記光干渉断層画像に含まれる前記第２内腔画像を認識する第２学習モデルに、取得した複数の前記光干渉断層画像を入力することによって、複数の前記光干渉断層画像における前記第２内腔画像を認識する
   処理をコンピュータに実行させるための請求項１又は請求項２に記載のコンピュータプログラム。
4. 前記超音波断層画像及び前記光干渉断層画像のフレーム単位で、前記第１内腔画像の輪郭と、前記第２内腔画像の輪郭とが合致するように複数の前記超音波断層画像と、複数の前記光干渉断層画像の対応関係を補正する
   処理をコンピュータに実行させるための請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。
5. 前記センサ部を走行方向に沿って移動させながら回転させて、複数の観察位置における複数の前記超音波断層画像及び複数の前記光干渉断層画像を取得しており、
   認識した複数の前記超音波断層画像における前記第１内腔画像と、前記光干渉断層画像における前記第２内腔画像に基づいて、前記観察位置及び観察方向が整合するように複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する
   処理をコンピュータに実行させるための請求項１～請求項４のいずれか１項に記載のコンピュータプログラム。
6. 前記超音波断層画像及び前記光干渉断層画像のフレーム単位で、前記第１内腔画像の輪郭と、前記第２内腔画像の輪郭とが合致するように複数の前記超音波断層画像と、複数の前記光干渉断層画像との対応関係を補正し、かつ前記第１内腔画像及び前記第２内腔画像の向きが一致するように前記超音波断層画像又は前記光干渉断層画像を回転させる
   処理をコンピュータに実行させるための請求項５に記載のコンピュータプログラム。
7. 前記センサ部から得られる信号に基づいて、前記センサ部の回転中心から放射線状に延びるライン上の画像を構成する超音波ラインデータ及び光ラインデータを生成し、
   ラインデータ単位で、前記第１内腔画像の輪郭と、前記第２内腔画像の輪郭とが合致するように前記超音波ラインデータ及び前記光ラインデータの対応関係を補正し、
   対応付けられた前記超音波ラインデータ及び前記光ラインデータに基づいて、１フレームの前記超音波断層画像及び前記光干渉断層画像を構築する
   処理をコンピュータに実行させるための請求項５に記載のコンピュータプログラム。
8. 前記管腔器官は血管である
   請求項１から請求項７のいずれか１項に記載のコンピュータプログラム。
9. 認識した前記第１内腔画像に基づく３次元内腔画像及び前記第２内腔画像に基づく３次元内腔画像の剛体レジストレーションにより、前記３次元内腔画像の寸法が整合するようにスケールを補正する
   処理をコンピュータに実行させるための請求項１から請求項８のいずれか１項に記載のコンピュータプログラム。
10. 管腔器官の内腔から径方向の外側を向いて超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を前記管腔器官の走行方向に沿って移動させながら、複数の観察位置における複数の超音波断層画像及び複数の光干渉断層画像を取得し、
    取得した前記超音波断層画像に含まれる前記管腔器官の第１内腔画像を認識し、
    取得した前記光干渉断層画像に含まれる前記管腔器官の第２内腔画像を認識し、
    認識した複数の前記超音波断層画像における前記第１内腔画像と、前記光干渉断層画像における前記第２内腔画像に基づいて、前記観察位置が整合するように複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する
    画像処理方法。
11. 管腔器官の内腔から径方向の外側を向いて超音波を送受信する超音波送受信部及び光を送受信する光送受信部を有するセンサ部を前記管腔器官の走行方向に沿って移動させながら、複数の観察位置における複数の超音波断層画像及び複数の光干渉断層画像を取得する取得部と、
    前記取得部にて取得した前記超音波断層画像に含まれる前記管腔器官の第１内腔画像を認識する第１認識部と、
    前記取得部にて取得した前記光干渉断層画像に含まれる前記管腔器官の第２内腔画像を認識する第２認識部と、
    前記第１認識部及び前記第２認識部にて認識した複数の前記超音波断層画像における前記第１内腔画像と、前記光干渉断層画像における前記第２内腔画像に基づいて、前記観察位置が整合するように複数の前記超音波断層画像及び複数の前記光干渉断層画像の対応関係を補正する補正部と
    を備える画像処理装置。

Images