WO2022209705A1

WO2022209705A1 - プログラム、画像処理方法及び画像処理装置

Info

Publication number: WO2022209705A1
Application number: PCT/JP2022/010572
Authority: WO
Inventors: 由希子土井; 昌典時田
Original assignee: テルモ株式会社
Priority date: 2021-03-29
Filing date: 2022-03-10
Publication date: 2022-10-06
Also published as: JPWO2022209705A1; US20240016460A1

Abstract

読影し易い画像を提供することが可能なプログラム等を提供する。コンピュータは、プログラムに従って、カテーテルに用いられるイメージングコアの長軸方向に対して第１角度傾いた方向に照射した第１検査波による信号データセットを取得する。そして、コンピュータは、取得した信号データセットに基づいて、前記イメージングコアの長軸方向に対して、前記第１角度とは異なる第２角度傾いた方向を観察対象とした画像を構築する。

Description

プログラム、画像処理方法及び画像処理装置

　本発明は、プログラム、画像処理方法及び画像処理装置に関する。

　狭心症又は心筋梗塞等に対する低侵襲治療として、経皮的冠動脈インターベンション（Percutaneous Coronary Intervention：ＰＣＩ）に代表される血管内治療が行われている。ＰＣＩは、手首、肘又は足の付け根からカテーテルを血管内に挿入し、バルーン又はステントを用いて冠動脈の狭窄部位を拡張する治療方法である。カテーテルには、例えば血管内超音波（ＩＶＵＳ：Intra Vascular Ultra Sound）検査用のセンサが設けられており、術者は、ＩＶＵＳ用センサで血管内部から撮影したＩＶＵＳ画像によって血管内の狭窄部位を確認することができる。またカテーテルには、近赤外光を用いた光干渉断層撮影（ＯＣＴ：Optical Coherence Tomography）用のセンサが設けられているものもある。特許文献１には、ＩＶＵＳセンサ及びＯＣＴセンサが設けられたカテーテルが開示されている。

特開２００５－９５６２４号公報

　特許文献１に開示されたカテーテルでは、ＩＶＵＳセンサ及びＯＣＴセンサは、カテーテルの長軸方向（血管の走行方向）に異なる位置に設けられている。よって、同じ撮影タイミングでのＩＶＵＳセンサによる観察位置とＯＣＴセンサによる観察位置との間にズレが生じる。よって、ＩＶＵＳ画像及びＯＣＴ画像の読影が煩雑化し、ＩＶＵＳ画像及びＯＣＴ画像を確認しながら行われる手技の正確性が低下する虞がある。

　また、カテーテルにＸ線不透過性物質による造影マーカを設け、Ｘ線画像に写る造影マーカによって、カテーテルの位置を確認しながら、ＩＶＵＳ画像又はＯＣＴ画像によって狭窄部位を確認することが行われている。このような構成においても、ＩＶＵＳセンサ又はＯＣＴセンサと、造影マーカとは、カテーテルの長軸方向に異なる位置に設けられており、同じ撮影タイミングでのＸ線画像中の造影マーカの位置と、ＩＶＵＳセンサ又はＯＣＴセンサによる観察位置との間にズレが生じる。よって、このような構成においても、ＩＶＵＳ画像又はＯＣＴ画像の読影が煩雑化する。

　一つの側面では、カテーテルを用いて撮影された画像に基づいて、読影し易い画像を提供することが可能なプログラム等を提供することを目的とする。

　一つの側面に係るプログラムは、カテーテルに用いられるイメージングコアの長軸方向に対して第１角度傾いた方向に照射した第１検査波による信号データセットを取得し、取得した信号データセットに基づいて、前記長軸方向に対して前記第１角度とは異なる第２角度傾いた方向を観察対象とした画像を構築する処理をコンピュータに実行させる。

　一つの側面では、カテーテルを用いて撮影された画像に基づいて、術者が読影し易い画像を提供することができる。

画像診断装置の構成例を示す説明図である。画像診断用カテーテルの概要を説明する説明図である。センサ部を挿通させた血管の断面を示す説明図である。断層画像を説明する説明図である。断層画像を説明する説明図である。画像処理装置の構成例を示すブロック図である。ＩＶＵＳセンサ及びＯＣＴセンサによる観察位置のズレを説明する説明図である。ＩＶＵＳセンサ及びＯＣＴセンサによる観察位置のズレを説明する説明図である。観察位置のズレを補正する処理を説明する説明図である。観察位置のズレを補正する処理を説明する説明図である。断層画像の補正処理手順の一例を示すフローチャートである。センサ部の回転中心からの距離に応じた観察位置のズレ量の算出方法の説明図である。各距離に応じた補正フレーム数の算出結果の例を示す説明図である。実施形態２の画像処理装置の構成例を示すブロック図である。実施形態２の断層画像の補正処理手順の一例を示すフローチャートである。実施形態３の画像処理装置及びサーバの構成例を示すブロック図である。カテーテルＤＢの構成例を示す模式図である。実施形態３の断層画像の補正処理手順の一例を示すフローチャートである。学習モデルの構成例を示す模式図である。学習モデルの生成処理手順の一例を示すフローチャートである。実施形態４の断層画像の補正処理手順の一例を示すフローチャートである。ＩＶＵＳセンサによる観察位置のマーカに対するズレを説明する説明図である。観察位置のズレを補正する処理を説明する説明図である。観察位置のズレを補正する処理を説明する説明図である。実施形態５の断層画像の補正処理手順の一例を示すフローチャートである。

　以下、本開示のプログラム、画像処理方法及び画像処理装置について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。

（実施形態１）
　図１は、画像診断装置１００の構成例を示す説明図である。本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、ＩＶＵＳ画像及びＯＣＴ画像という。また、ＩＶＵＳ画像及びＯＣＴ画像を総称して断層画像という。

　本実施形態の画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。

　血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮影し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像（Ｘ線画像）をイメージングする。なお、画像診断用カテーテル１にはＸ線を透過しないＸ線不透過性物質で構成されたマーカが設けられており、アンギオ画像において画像診断用カテーテル１（マーカ）の位置が可視化される。血管造影装置１０２は、撮影して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して表示装置４に表示される。なお、表示装置４には、アンギオ画像と、画像診断用カテーテル１を用いて撮影された断層画像とが表示される。

　図２は画像診断用カテーテル１の概要を説明する説明図である。なお、図２中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側と記載する。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４との接続部分からコネクタ部１５との接続部分に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。

　センサ部１２は、ハウジング１２ｄを有し、ハウジング１２ｄの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｄ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａ（以下ではＩＶＵＳセンサ１２ａという）と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂ（以下ではＯＣＴセンサ１２ｂという）とが配置されている。図２に示す例では、プローブ１１の先端側にＩＶＵＳセンサ１２ａが設けられており、基端側にＯＣＴセンサ１２ｂが設けられており、シャフト１３の中心軸上（図２中の二点鎖線上）において軸方向（シャフト１３の長軸方向）に沿って距離ｘだけ離れて配置されている。画像診断用カテーテル１において、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、シャフト１３の軸方向に対して略９０度となる方向（シャフト１３の径方向）を超音波又は近赤外光の送受信方向として取り付けられている。なお、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、カテーテルシース１１ａの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施形態では、例えば図２中の矢符で示すように、ＩＶＵＳセンサ１２ａは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、ＯＣＴセンサ１２ｂは径方向に対して先端側に傾斜した方向を近赤外光の照射方向として取り付けられている。

　シャフト１３には、ＩＶＵＳセンサ１２ａに接続された電気信号ケーブル（図示せず）と、ＯＣＴセンサ１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。画像診断装置１００では、センサ部１２及びシャフト１３によって構成されるイメージングコアを用いることにより、血管の内側から撮影された超音波断層画像（ＩＶＵＳ画像）、又は、血管の内側から撮影された光干渉断層画像（ＯＣＴ画像）によって血管内部の状態を測定する。

　ＭＤＵ２は、コネクタ部１５によってプローブ１１（画像診断用カテーテル１）が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル１の動作を制御する。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ１１に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。ＭＤＵ２は、ＩＶＵＳセンサ１２ａが受信した超音波の反射波データと、ＯＣＴセンサ１２ｂが受信した反射光データとを画像処理装置３へ出力する。

　画像処理装置３は、ＭＤＵ２を介してＩＶＵＳセンサ１２ａが受信した超音波の反射波データと、ＯＣＴセンサ１２ｂが受信した反射光データとを取得する。画像処理装置３は、超音波の反射波データから信号データセットである超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層を撮影した超音波断層画像（ＩＶＵＳ画像）を構築する。また、画像処理装置３は、反射光データから信号データセットである光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮影した光断層画像（ＯＣＴ画像）を構築する。ここで、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂによって取得される信号データセットと、信号データセットから構築される断層画像とについて説明する。図３は、センサ部１２を挿通させた血管の断面を示す説明図であり、図４Ａ及び図４Ｂは断層画像を説明する説明図である。

　まず、図３を用いて、血管内におけるＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂの動作と、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂによって取得される信号データセット（超音波ラインデータ及び光ラインデータ）について説明する。センサ部１２及びシャフト１３が血管内に挿通された状態で断層画像の撮影が開始されると、センサ部１２が矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、ＩＶＵＳセンサ１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施形態では、ＩＶＵＳセンサ１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。ＩＶＵＳセンサ１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータ（信号データ）を取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すような２次元の超音波断層画像（ＩＶＵＳ画像）を構築することができる。

　同様に、ＯＣＴセンサ１２ｂも、各回転角度において近赤外光（測定光）の送信及び受信を行う。ＯＣＴセンサ１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すＩＶＵＳ画像と同様の２次元の光干渉断層画像（ＯＣＴ画像）を構築することができる。

　このように５１２本のラインデータから構築される２次元の断層画像を１フレームのＩＶＵＳ画像又はＯＣＴ画像という。なお、センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ画像又はＯＣＴ画像が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ画像又はＯＣＴ画像が取得されるので、図４Ｂに示すように、移動範囲内で複数フレームのＩＶＵＳ画像又はＯＣＴ画像が取得される。本実施形態では、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂはそれぞれ、５１２本のラインデータを取得する構成とするが、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂが取得するラインデータの数は５１２本に限定されない。

　画像診断用カテーテル１は、ＩＶＵＳセンサ１２ａによって得られるＩＶＵＳ画像又はＯＣＴセンサ１２ｂによって得られるＯＣＴ画像と、血管造影装置１０２によって得られるアンギオ画像との位置関係を確認するために、Ｘ線を透過しないマーカを有する。図２に示す例では、カテーテルシース１１ａの先端部、例えばガイドワイヤ挿通部１４にマーカ１４ａが設けられており、センサ部１２のシャフト１３側にマーカ１２ｃが設けられている。このように構成された画像診断用カテーテル１をＸ線で撮影すると、マーカ１４ａ，１２ｃが可視化されたアンギオ画像が得られる。マーカ１４ａ，１２ｃを設ける位置は一例であり、マーカ１２ｃはセンサ部１２ではなくシャフト１３に設けてもよく、マーカ１４ａはカテーテルシース１１ａの先端部以外の箇所に設けてもよい。

　図５は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、補助記憶部３４、読取部３５を備える。制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。

　主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。

　入出力Ｉ／Ｆ３３は、血管内検査装置１０１及び血管造影装置１０２、表示装置４及び入力装置５が接続されるインタフェースである。制御部３１は、入出力Ｉ／Ｆ３３を介して、血管内検査装置１０１から超音波の反射波データ及び測定光の反射光データを取得し、血管造影装置１０２からアンギオ画像を取得する。なお、制御部３１は、血管内検査装置１０１から取得した反射波データから超音波ラインデータを生成し、更にＩＶＵＳ画像を構築する。また制御部３１は、血管内検査装置１０１から取得した反射光データから光ラインデータを生成し、更にＯＣＴ画像を構築する。また、制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像、ＯＣＴ画像、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力Ｉ／Ｆ３３を介して、入力装置５に入力された情報を受け付ける。

　補助記憶部３４は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部３４は、制御部３１が実行するコンピュータプログラムＰ、制御部３１の処理に必要な各種データを記憶する。なお、補助記憶部３４は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部３４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３４に記憶させてもよい。コンピュータプログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３５が記録媒体３０から読み出して補助記憶部３４に記憶させてもよい。

　画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。本実施形態では、画像処理装置３に、２次元のアンギオ画像を撮影する血管造影装置１０２が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル１を撮影する装置であれば、血管造影装置１０２に限定されない。

　本実施形態の画像処理装置３において、制御部３１は、補助記憶部３４に記憶されたコンピュータプログラムＰを読み出して実行することにより、ＩＶＵＳセンサ１２ａが受信した反射波データから超音波ラインデータを生成し、ＯＣＴセンサ１２ｂが受信した反射光データから光ラインデータを生成する。更に制御部３１は、超音波ラインデータに基づいてＩＶＵＳ画像を構築する処理を行い、光ラインデータに基づいてＯＣＴ画像を構築する処理を行う。なお、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、後述するように同じ撮影タイミングでの観察位置にズレが生じるので、制御部３１は、ＩＶＵＳ画像及びＯＣＴ画像を構築する際に、ＩＶＵＳ画像及びＯＣＴ画像における観察位置のズレを補正する処理を行う。よって、本実施形態の画像処理装置３は、観察位置を一致させたＩＶＵＳ画像及びＯＣＴ画像を構築することができ、読影し易い画像を提供することができる。

　図６Ａ及び図６Ｂは、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂによる観察位置のズレを説明する説明図である。図６Ａはセンサ部１２をシャフト１３の径方向から見た状態を示し、図６Ｂはセンサ部１２をプローブ１１の先端側から見た状態を示す。図６Ａ，Ｂにおいて実線矢符はＩＶＵＳセンサ１２ａによる超音波の送受信方向を示し、破線矢符はＯＣＴセンサ１２ｂによる測定光の送受信方向を示す。

　本実施形態のセンサ部１２では、ＩＶＵＳセンサ１２ａはシャフト１３の径方向に対して基端側に傾斜した方向を超音波の送受信方向としており、図６Ａに示す例では、超音波の送受信方向はシャフト１３の中心軸上の基端側の方向に対して角度αをなしている。またＯＣＴセンサ１２ｂはシャフト１３の径方向に対して先端側に傾斜した方向を測定光の送受信方向としており、測定光の送受信方向はシャフト１３の中心軸上の先端側の方向に対して角度βをなしている。このようなＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂでは、図６Ａに示すように超音波の経路及び測定光の経路が交差しており、交差する位置では同じ対象が観察されるが、その他の箇所では、それぞれの観察位置にシャフト１３の軸方向のズレが生じる。観察位置のズレは、超音波及び測定光の交差位置で最も小さく、交差位置から離れるにつれて大きくなる。また、交差位置よりもセンサ部１２側の領域は、ＯＣＴセンサ１２ｂがＩＶＵＳセンサ１２ａよりも先に観察し、交差位置よりも更に遠い領域は、ＩＶＵＳセンサ１２ａがＯＣＴセンサ１２ｂよりも先に観察するので、観察される順番が異なる。このような観察位置のズレは、センサ１２ａ，１２ｂの配置位置間の距離ｘと、センサ１２ａ，１２ｂの取付角度（超音波の送受信方向の角度α、測定光の送受信方向の角度β）と、センサ部１２の回転中心から観察位置までの距離とに応じて異なる。センサ１２ａ，１２ｂの配置位置間の距離ｘ及び取付角度は、画像診断用カテーテル１の製造過程で生じる個体差を含むので、センサ部１２の回転中心から観察位置までの各距離における観察位置のズレ量は画像診断用カテーテル１毎に異なる。

　また図６Ｂに示すように、ＩＶＵＳセンサ１２ａによる超音波の送受信方向と、ＯＣＴセンサ１２ｂによる測定光の送受信方向とは、センサ部１２の回転方向（周方向）にもズレが生じる。図６Ｂに示す例では、超音波の送受信方向を基準として時計回りを正方向として角度φだけ測定光の送受信方向がずれている。従って、ＩＶＵＳセンサ１２ａによる観察位置とＯＣＴセンサ１２ｂによる観察位置とは周方向にもずれており、周方向の観察位置のズレ（角度差）も、センサ１２ａ，１２ｂの取付角度に応じて異なる。よって、周方向の観察位置のズレ量も画像診断用カテーテル１毎に異なる。

　従って、本実施形態の画像処理装置３は、超音波ラインデータ及び光ラインデータからＩＶＵＳ画像及びＯＣＴ画像を構築する際に、上述したようなセンサ１２ａ，１２ｂによる観察位置のズレを補正したＩＶＵＳ画像及びＯＣＴ画像を構築する。図７Ａ及び図７Ｂは観察位置のズレを補正する処理を説明する説明図である。図７Ａはシャフト１３の軸方向における観察位置のズレの説明図であり、図７Ｂは、ＯＣＴ画像における観察位置とＩＶＵＳ画像における観察位置とが一致するようにＯＣＴ画像を補正する処理の説明図である。

　図７Ａ中の１，２，３は、センサ部１２の回転中心からの距離がｒ１，ｒ２，ｒ３の観察位置を示す。図７Ａには、ＯＣＴセンサ１２ｂは観察位置１をｎ－１フレーム目で観察し、観察位置２をｎフレーム目で観察し、観察位置３をｎ＋１フレーム目で観察したことを示し、ＩＶＵＳセンサ１２ａは観察位置１～３をｎフレーム目で観察したことを示している。このような状況では、図７Ｂの上段に示すように、ＩＶＵＳ画像にはｎフレーム目に観察位置１～３が撮影され、ｎ－１フレーム目及びｎ＋１フレーム目は観察位置１～３が撮影されない。一方、図７Ｂの上から二段目に示すように、ＯＣＴ画像にはｎ－１フレーム目に観察位置１が撮影され、ｎフレーム目に観察位置２が撮影され、ｎ＋１フレーム目に観察位置３が撮影される。即ち、図７Ａに示す例では、観察位置１に対するＯＣＴセンサ１２ｂによる観察タイミングはＩＶＵＳセンサ１２ａよりも１フレーム前であり、観察位置３に対する観察タイミングは１フレーム後である。よって、画像処理装置３は、ＩＶＵＳ画像及びＯＣＴ画像を、各観察位置１～３を同じ観察タイミングで観察した状態（同じフレーム番号の断層画像に撮影された状態）に補正することにより、観察位置のズレを補正することができる。

　なお、観察位置はシャフト１３の軸方向だけでなく、図６Ｂに示すように周方向（回転方向）にもずれているので、図７Ｂの上から三段目に示すように、ＯＣＴ画像には、観察位置１～３がそれぞれ周方向に角度φずれた位置に撮影される。従って、本実施形態の画像処理装置３は、図７Ｂの下段に示すように、複数フレームのＯＣＴ画像における各領域を合成して１フレームのＯＣＴ画像を構築することにより、ＯＣＴ画像における観察位置とＩＶＵＳ画像における観察位置とのズレを解消する補正処理を行う。以下では、ＯＣＴ画像に対して補正を行ってＯＣＴ画像の観察対象をＩＶＵＳ画像の観察対象に一致させる処理を行うが、ＩＶＵＳ画像に対して同様の補正を行ってＩＶＵＳ画像の観察対象をＯＣＴ画像の観察対象に一致させる処理を行ってもよい。

　図８は、断層画像の補正処理手順の一例を示すフローチャートである。以下の処理は、画像処理装置３の制御部３１が、補助記憶部３４に記憶してあるコンピュータプログラムＰに従って行う。なお、図６Ａに示したセンサ１２ａ，１２ｂの配置位置間の距離ｘ、ＩＶＵＳセンサ１２ａによる超音波の送受信方向の角度α（第２角度）、ＯＣＴセンサ１２ｂによる測定光の送受信方向の角度β（第１角度）、図６Ｂに示した超音波及び測定光の送受信方向における周方向のズレ量（角度φ）は、主記憶部３２又は補助記憶部３４に記憶されているものとする。以下では、ＯＣＴセンサ１２ｂ（第１送受信部）が送信した測定光（第１検査波）の反射光データから生成されたＯＣＴ画像に対して、ＩＶＵＳセンサ１２ａ（第２送受信部）が送信した超音波（第２検査波）の反射波データから生成されたＩＶＵＳ画像に観察対象を一致させる補正処理を行う。

　画像処理装置３の制御部３１（取得部）は、血管内検査装置１０１による血管内の撮影処理が開始された場合、ＭＤＵ２を介してＩＶＵＳセンサ１２ａから超音波の反射波データを取得し、取得した超音波の反射波データから超音波ラインデータを生成する。また制御部３１は、ＭＤＵ２を介してＯＣＴセンサ１２ｂから反射光データを取得し、取得した反射光データから光ラインデータを生成する（Ｓ１１）。制御部３１は、超音波ラインデータに対して、補間処理によって画素を補間して２次元のＩＶＵＳ画像を構築する（Ｓ１２）。そして、制御部３１は、光ラインデータに基づいて、ＩＶＵＳ画像と観察対象を一致させたＯＣＴ画像（以下ではＯＣＴ補正画像という）を構築する。具体的には、まず制御部３１は、センサ部１２による撮影時のフレームピッチを算出する（Ｓ１３）。フレームピッチは、断層画像の各フレーム間の距離（シャフト１３の軸方向において各フレームの観察位置間の距離（測定光の照射間隔））であり、撮影時におけるセンサ部１２の移動速度及び回転速度によって算出される。具体的には、プルバック操作によるセンサ部１２の移動速度（例えば１秒間の移動距離（単位：ｍｍ））及び回転速度（例えば１秒間の回転数（単位：回））によって算出される。制御部３１は、例えば（移動速度／回転速度）によってフレームピッチを算出する。

　次に制御部３１は、センサ部１２の回転中心から各距離の箇所における観察位置のズレ量を算出する（Ｓ１４）。ここでは制御部３１は、シャフト１３の軸方向における観察位置のズレ量、即ち、ＩＶＵＳセンサ１２ａによる超音波の照射位置とＯＣＴセンサ１２ｂによる測定光の照射位置との間のズレ量を算出する。図９は、センサ部１２の回転中心からの距離に応じた観察位置のズレ量の算出方法の説明図である。図９において、センサ部１２の回転中心からの距離がＬである領域における観察位置のズレ量はΔｘ（単位：ｍｍ）で表される。軸方向におけるズレ量Δｘは以下の式１で表される。なお、ｘ（単位：ｍｍ）はセンサ１２ａ，１２ｂの配置位置の軸方向におけるズレ量である。また、Δｘ_IVUS（単位：ｍｍ）は以下の式２で表され、Δｘ_OCT（単位：ｍｍ）は以下の式３で表される。よって、式２及び式３を式１に代入することによって、式４が得られ、センサ部１２の回転中心からの距離がＬである領域における観察位置のズレ量Δｘは式４を用いて算出される。

　　Δｘ＝ｘ－Δｘ_IVUS－Δｘ_OCT　　　　　　　…(式１)
　　Δｘ_IVUS＝Ｌ×ｃｏｔα　　　　　　　　　…（式２）
　　Δｘ_OCT＝Ｌ×ｃｏｔβ　　　　　　　　　…（式３）
　　Δｘ＝ｘ－Ｌ×（ｃｏｔα＋ｃｏｔβ）　…（式４）

　次に制御部３１は、シャフト１３の軸方向における観察位置のズレ量に基づいて、センサ部１２の回転中心から各距離の箇所において、軸方向における補正量（補正フレーム数）を算出する（Ｓ１５）。補正フレーム数は、ステップＳ１４で算出した軸方向における観察位置のズレ量と、ステップＳ１３で算出したフレームピッチとに基づいて、以下の式５を用いて算出される。

　　補正フレーム数＝Δｘ／フレームピッチ　　…（式５）

　なお、制御部３１は、センサ部１２の回転中心からの各距離における観察位置のズレ量Δｘ及び補正フレーム数を算出する代わりに、観察位置のズレ量Δｘがフレームピッチの倍数となる各箇所における回転中心からの距離Ｌをそれぞれ算出してもよい。例えばフレームピッチが０．１ｍｍの場合、観察位置のズレ量Δｘが０．１ｍｍ，０．２ｍｍ，０．３ｍｍ，…となる各距離Ｌを算出する。この場合、算出した各距離Ｌに応じた補正フレーム数として１，２，３，…を特定できる。図１０は各距離Ｌに応じた補正フレーム数の算出結果の例を示す説明図である。図１０に示す例は、例えばセンサ部１２の移動速度が１０ｍｍ／ｓであり、回転速度が６０００ｒｐｍ（１００ｆｐｓ）であり、センサ１２ａ，１２ｂ間の軸方向の距離ｘが０．８０ｍｍであり、超音波の送受信方向の角度αが８５°であり、測定光の送受信方向の角度βが８４°である場合の算出結果を示す。このように算出された補正フレーム数は、１フレームのＩＶＵＳ画像に撮影された観察対象をＯＣＴセンサ１２ｂで撮影した場合のＯＣＴ画像のフレーム数を示しており、このような補正フレーム数を用いることにより、軸方向における観察位置のズレを、フレームピッチ単位で補正することができる。

　次に制御部３１は、センサ部１２の回転方向における観察位置のズレ量に基づいて、周方向における補正量（補正ライン数）を算出する（Ｓ１６）。補正ライン数は、ＩＶＵＳセンサ１２ａによる超音波の送受信方向と、ＯＣＴセンサ１２ｂによる測定光の送受信方向とにおける周方向のズレ量（角度φ）に基づいて算出される。なお、１フレームのＯＣＴ画像は周方向に並ぶ５１２本のラインデータで構成されているので、制御部３１は、以下の式６を用いて補正ライン数を算出できる。これにより、送受信方向が角度φずれている場合に、ＯＣＴ画像を補正ライン数だけ前倒しに補正することにより、ＯＣＴ画像の観察位置をＩＶＵＳ画像の観察対象に一致させることができ、周方向における観察位置のズレを解消する補正を行うことができる。

　　補正ライン数＝５１２×φ／３６０°　　…（式６）

　制御部３１（画像構築部）は、ステップＳ１５で算出した各距離に応じた補正フレーム数と、ステップＳ１６で算出した補正ライン数とに基づいて、観察対象をＩＶＵＳ画像に一致させたＯＣＴ補正画像を構築する（Ｓ１７）。例えば制御部３１は、光ラインデータの各ライン番号に対して、ステップＳ１６で算出した補正ライン数を減算する。なお、減算後のライン番号が負の数となった場合、５１２を加算し、減算後の各ライン番号が１～５１２の値となるようにする。これにより、光ラインデータの各ラインと超音波ラインデータの各ラインとが対応付けられ、対応付けられた内容に従って、ＩＶＵＳ画像を基準とした周方向における観察位置のズレが補正される。そして制御部３１は、減算後の各ライン番号の光ラインデータを用いて、ステップＳ１５で算出した補正フレーム数に応じた補正処理を行い、各フレームのＯＣＴ補正画像を構築する。以下では、ｎフレーム目のＯＣＴ補正画像の構築処理について説明する。

　図１０に示す算出結果の場合、例えば回転中心からの距離が０．７８ｍｍ（０．５２ｍｍと１．０４ｍｍとの中間の箇所）までの領域については、ｎ－７フレーム目の光ラインデータにおいて、回転中心からの距離が０．７８ｍｍまでの領域に対応するデータ値に基づく各画素値を割り当てる。また、回転中心からの距離が０．７８～１．３０ｍｍ（１．０４ｍｍと１．５６ｍｍとの中間の箇所）の領域については、ｎ－６フレーム目の光ラインデータにおいて、回転中心からの距離が０．７８～１．３０ｍｍの領域に対応するデータ値に基づく各画素値を割り当てる。このような処理を、回転中心からの距離に応じた各領域に対して行うことにより、光ラインデータの各ラインのデータと超音波ラインデータの各ラインのデータとが対応付けられ、対応付けられた内容に従って、各領域におけるズレ量に応じたフレームのＯＣＴ画像が合成されて１フレームのＯＣＴ補正画像を構築することができる。なお、観察位置のズレ量が０となる位置よりも回転中心から離れた領域では、（ｎ＋補正フレーム数）番目のフレームの光ラインデータのデータ値に基づいて各画素値が割り当てられる。例えば、観察位置のズレ量が０となる位置よりも回転中心から離れた領域のうちで、算出した補正フレーム数が１の領域については、ｎ＋１フレーム目の光ラインデータにおいて、対応する領域のデータ値に基づく各画素値を割り当てる。このように構築されたＯＣＴ補正画像は、ＩＶＵＳ画像を基準とした軸方向における観察位置のズレが補正された断層画像となる。なお、制御部３１は、上述した処理によってセンサ部１２の回転方向及び軸方向における補正処理を行うと共に、光ラインデータに対して補間処理によって各ライン間の画素を補間して２次元のＯＣＴ画像（ＯＣＴ補正画像）を構築する。

　制御部３１は、上述したような補正処理を行うことにより、光ラインデータから複数フレームのＯＣＴ補正画像を構築し、観察位置をＩＶＵＳ画像に一致させたＯＣＴ補正画像を生成する。上述した処理によって構築されたＩＶＵＳ画像及びＯＣＴ補正画像は、例えば表示装置４に表示され、画像診断用カテーテル１を使用する術者に提示される。

　本実施形態では、図２及び図６Ａに示すようにＩＶＵＳセンサ１２ａによる超音波の送受信方向と、ＯＣＴセンサ１２ｂによる測定光の送受信方向とが交差するようにセンサ１２ａ，１２ｂが配置されているが、このような構成に限定されない。例えば超音波の送受信方向がシャフト１３の径方向に対して先端側に傾斜した方向であり、測定光の送受信方向が基端側に傾斜した方向となるようにセンサ１２ａ，１２ｂが配置された構成であっても、同様の処理によってＩＶＵＳ画像及びＯＣＴ画像における観察位置のズレを補正することができる。

（実施形態２）
　断層画像を補正する際に用いる情報が画像診断用カテーテル１の製造時に測定され、測定された各数値をコード化したコードが画像診断用カテーテル１に付加してある画像診断装置について説明する。なお、断層画像の補正処理に用いる情報は、シャフト１３の軸方向におけるセンサ１２ａ，１２ｂ間の距離ｘと、ＩＶＵＳセンサ１２ａによる超音波の送受信方向（角度α）と、ＯＣＴセンサ１２ｂによる測定光の送受信方向（角度β）と、センサ部１２の回転方向における超音波及び測定光の送受信方向のズレ量（角度φ）とを含む。

　本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。なお、本実施形態の画像診断装置１００では、画像処理装置３の構成が実施形態１とは若干異なるので、異なる箇所についてのみ説明する。

　図１１は実施形態２の画像処理装置３の構成例を示すブロック図である。本実施形態の画像処理装置３は、図５に示す実施形態１の画像処理装置３の構成に加えてコードリーダ３６を備える。コードリーダ３６は、バーコード等の１次元コード及びＱＲコード（登録商標）等の二次元コードを読み取る装置であり、読み取ったコードをデコードしてコード情報を取得し、得られたコード情報を制御部３１へ送出する。

　本実施形態の画像診断装置１００では、画像診断用カテーテル１の製造過程において、上述したような断層画像の補正処理に用いる情報（ｘ，α，β，φ）が計測され、計測された各数値と、この画像診断用カテーテル１に付与されるシリアルナンバーとをコード化する。図１１に示す例ではＱＲコードＣがコネクタ部１５に付加されている。コードＣはコネクタ部１５に直接印字されてもよく、コードＣが印刷されたシールがコネクタ部１５に貼付されてもよい。このような構成の画像診断装置１００では、例えば術者が、コネクタ部１５を介して画像診断用カテーテル１をＭＤＵ２に接続する際にコードＣをコードリーダ３６に読み取らせることにより、画像処理装置３は、断層画像の補正処理に用いる情報（ｘ，α，β，φ）を取得する。

　図１２は、実施形態２の断層画像の補正処理手順の一例を示すフローチャートである。図１２に示す処理は、図８に示す処理において、ステップＳ１１の前にステップＳ２１を追加したものである。図８と同じステップについては説明を省略する。本実施形態の画像診断装置１００では、画像処理装置３の制御部３１は、まずコードリーダ３６によってコードＣからコード情報を読み取る（Ｓ２１）。コード情報は、画像診断用カテーテル１の製造過程において測定された各数値（ｘ，α，β，φ）と、画像診断用カテーテル１のシリアルナンバーとを含み、読み取った各情報は主記憶部３２に記憶される。

　その後、血管内検査装置１０１による血管内の撮影処理が開始され、制御部３１は、ステップＳ１１以降の処理を実行する。なお、本実施形態では、ステップＳ１３で撮影時のフレームピッチを算出する場合、ステップＳ１４～Ｓ１５でシャフト１３の軸方向における観察位置のズレ量及び補正フレーム数を算出する場合、更に、ステップＳ１６でセンサ部１２の回転方向における補正ライン数を算出する場合に、コードＣから読み取った各情報を用いる。

　上述した処理により、本実施形態においても、ＩＶＵＳセンサ１２ａによる観察位置及びＯＣＴセンサ１２ｂによる観察位置において、センサ部１２の軸方向及び回転方向におけるズレが補正され、観察位置をＩＶＵＳ画像に一致させたＯＣＴ補正画像を構築できる。

　本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、センサ１２ａ，１２ｂ間の距離ｘ、ＩＶＵＳセンサ１２ａによる超音波の送受信方向（角度α）、ＯＣＴセンサ１２ｂによる測定光の送受信方向（角度β）、センサ部１２の回転方向における超音波及び測定光の送受信方向のズレ量（角度φ）が、画像診断用カテーテル１の製造過程において測定され、コード化されて画像診断用カテーテル１（例えばコネクタ部１５）に付加される。よって、画像処理装置３は、画像診断用カテーテル１に付加されたコードＣをコードリーダ３６で読み取ることにより、断層画像に行うべき補正処理に用いる各情報を取得することができる。これらの情報は、製造過程においてカテーテル１毎に生じる取付誤差（個体差）を含むので、このようなコードＣをカテーテル１に付与しておくことにより、精度の良い補正処理の実行が可能となる。なお、本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。例えば、光ラインデータから、観察対象をＩＶＵＳ画像に一致させたＯＣＴ補正画像を構築する代わりに、超音波ラインデータから、観察対象をＯＣＴ画像に一致させたＩＶＵＳ補正画像を構築する処理を行ってもよい。このような構成とした場合であっても、本実施形態と同様の効果が得られる。

（実施形態３）
　実施形態２の画像診断装置１００において、断層画像を補正する際に用いる情報を画像処理装置３がサーバから取得するように構成された画像診断装置について説明する。本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。なお、本実施形態の画像診断装置１００では、画像処理装置３の構成が実施形態２と若干異なる。本実施形態では、断層画像を補正する際に用いる情報（ｘ，α，β，φ）が、インターネット等のネットワークに接続されたサーバで管理されている。よって、画像処理装置３は、ネットワークを介してサーバから断層画像の補正処理に用いる情報を取得することにより、実施形態１，２と同様の補正処理の実行が可能となる。

　図１３は実施形態３の画像処理装置３及びサーバ６の構成例を示すブロック図である。本実施形態の画像処理装置３は、図１１に示す実施形態２の画像処理装置３の構成に加えて通信部３７を備える。通信部３７は、有線通信又は無線通信によって画像処理装置３をネットワークＮに接続するための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。

　サーバ６は、例えばサーバコンピュータ又はパーソナルコンピュータを用いて構成される。サーバ６は、複数台設けられて分散処理する構成でもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。サーバ６は、制御部６１、主記憶部６２、入出力Ｉ／Ｆ６３、補助記憶部６４、読取部６５、通信部６６を備える。サーバ６の制御部６１、主記憶部６２、入出力Ｉ／Ｆ６３、補助記憶部６４、読取部６５、通信部６６のそれぞれは、画像処理装置３の制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、補助記憶部３４、読取部３５、通信部３７と同様の構成であるので説明を省略する。なお、サーバ６の補助記憶部６４は、制御部６１が実行するコンピュータプログラムに加えて、後述するカテーテルＤＢ６４ａを記憶する。カテーテルＤＢ６４ａは、サーバ６に接続された他の記憶装置に記憶されていてもよく、サーバ６が通信可能な他の記憶装置に記憶されていてもよい。

　図１４はカテーテルＤＢ６４ａの構成例を示す模式図である。カテーテルＤＢ６４ａは、画像診断用カテーテル１に付与されたシリアルナンバーに対応付けて、画像診断用カテーテル１の製造過程において測定された各数値（ｘ，α，β，φ）を記憶する。具体的には、画像診断用カテーテル１に取り付けられたセンサ１２ａ，１２ｂ間の軸方向の距離ｘ、ＩＶＵＳセンサ１２ａによる超音波の送受信方向の角度α、ＯＣＴセンサ１２ｂによる測定光の送受信方向の角度β、センサ部１２の回転方向における超音波及び測定光の送受信方向のズレ量（角度φ）が登録されている。

　上述した構成の画像診断装置１００では、画像診断用カテーテル１の製造過程において、断層画像の補正処理に用いる情報（ｘ，α，β，φ）が計測され、計測された各数値が、この画像診断用カテーテル１に付与されたシリアルナンバーと共にサーバ６に登録される。一方、画像診断用カテーテル１に付与されたシリアルナンバーがコード化され、図１１と同様にコードＣがコネクタ部１５に付加される。本実施形態の画像診断装置１００においても、術者がコネクタ部１５を介して画像診断用カテーテル１をＭＤＵ２に接続する際にコードＣをコードリーダ３６に読み取らせる。これにより、画像処理装置３は、画像診断用カテーテル１のシリアルナンバーを取得し、シリアルナンバーに基づいて、断層画像の補正処理に用いる情報（ｘ，α，β，φ）をサーバ６から取得する。

　図１５は、実施形態３の断層画像の補正処理手順の一例を示すフローチャートである。図１５に示す処理は、図１２に示す処理において、ステップＳ２１，Ｓ１１の間にステップＳ３１～Ｓ３４を追加したものである。図１２と同じステップについては説明を省略する。なお、図１５では左側に画像処理装置３が行う処理を、右側にサーバ６が行う処理をそれぞれ示す。本実施形態の画像診断装置１００では、画像処理装置３の制御部３１は、まずコードリーダ３６によってコードＣからコード情報を読み取る（Ｓ２１）。ここでのコード情報は、画像診断用カテーテル１のシリアルナンバーであり、制御部３１は、読み取ったシリアルナンバーに基づいて、ここでの画像診断用カテーテル１を用いて取得した断層画像に行うべき補正処理に用いる情報（ｘ，α，β，φ）をサーバ６に要求する（Ｓ３１）。

　サーバ６の制御部６１は、画像処理装置３から画像診断用カテーテル１のシリアルナンバーを取得した場合、シリアルナンバーに対応する各情報（ｘ，α，β，φ）をカテーテルＤＢ６４ａから読み出す（Ｓ３２）。そして制御部６１は、読み出した情報（ｘ，α，β，φ）をネットワークＮ経由で画像処理装置３へ送信する（Ｓ３３）。画像処理装置３の制御部３１は、サーバ６から取得した各情報（ｘ，α，β，φ）を主記憶部３２に記憶する（Ｓ３４）。

　その後、血管内検査装置１０１による血管内の撮影処理が開始され、制御部３１は、ステップＳ１１以降の処理を実行する。なお、本実施形態では、ステップＳ１３で撮影時のフレームピッチを算出する場合、ステップＳ１４～Ｓ１５でシャフト１３の軸方向における観察位置のズレ量及び補正フレーム数を算出する場合、更に、ステップＳ１６でセンサ部１２の回転方向における補正ライン数を算出する場合に、サーバ６から取得した各情報を用いる。上述した処理により、本実施形態においても、ＩＶＵＳセンサ１２ａによる観察位置及びＯＣＴセンサ１２ｂによる観察位置において、センサ部１２の軸方向及び回転方向におけるズレが補正され、観察位置をＩＶＵＳ画像に一致させたＯＣＴ補正画像を構築できる。

　本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、断層画像に行う補正処理に用いる各情報（ｘ，α，β，φ）が、画像診断用カテーテル１のシリアルナンバーに対応付けてサーバ６で管理される。よって、画像処理装置３は、断層画像に行うべき補正処理に用いる各情報をサーバ６から取得することができる。これにより、本実施形態においても、精度の良い補正処理の実行が可能となり、観察対象を一致させたＩＶＵＳ画像及びＯＣＴ画像の提供が可能となる。なお、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。

（実施形態４）
　画像処理装置３がＩＶＵＳ画像及びＯＣＴ画像に基づいて、ＩＶＵＳ画像又はＯＣＴ画像に行うべき補正処理に用いる各情報を特定するように構成された画像診断装置１００について説明する。本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。なお、本実施形態の画像診断装置１００において、画像処理装置３は、図５に示す実施形態１の画像処理装置３の構成に加えて、補助記憶部３４に学習モデル３４Ｍを記憶している。

　図１６は学習モデル３４Ｍの構成例を示す模式図である。学習モデル３４Ｍは、画像診断用カテーテル１を用いて取得した超音波ラインデータ及び光ラインデータに基づいて画像処理装置３が生成したＩＶＵＳ画像及びＯＣＴ画像を入力として、ＩＶＵＳ画像又はＯＣＴ画像に行うべき補正処理に用いる情報を出力する機械学習モデルである。補正処理に用いる情報は、画像診断用カテーテル１において、シャフト１３の軸方向におけるセンサ１２ａ，１２ｂ間の距離ｘと、超音波の送受信方向（角度α）と、測定光の送受信方向（角度β）と、センサ部１２の回転方向における超音波及び測定光の送受信方向のズレ量（角度φ）とを含む。学習モデル３４Ｍは、各情報（ｘ，α，β，φ）に対して予め設定された選択肢に対する確率を出力する。

　学習モデル３４Ｍは、例えば深層学習によって生成されるニューラルネットワークであるＣＮＮ（Convolutional Neural Network）で構成される。学習モデル３４Ｍは、ＣＮＮのほかに、ＲＮＮ（Recurrent Neural Network）、ＧＡＮ（Generative Adversarial Network）、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。画像処理装置３は、所定の訓練データを学習する機械学習を行って学習モデル３４Ｍを事前に生成しておく。そして画像処理装置３は、ＩＶＵＳ画像及びＯＣＴ画像を学習モデル３４Ｍに入力し、ＩＶＵＳ画像又はＯＣＴ画像に行うべき補正処理に用いる情報を取得する。

　学習モデル３４Ｍには、例えばＭＤＵ２による１回のプルバック操作で取得されたＩＶＵＳ画像及びＯＣＴ画像が入力される。学習モデル３４Ｍには、同じタイミングで取得した１フレームのＩＶＵＳ画像及びＯＣＴ画像が入力され、時系列で取得されたＩＶＵＳ画像及びＯＣＴ画像が順次入力されてもよい。学習モデル３４Ｍは、ＩＶＵＳ画像及びＯＣＴ画像が入力される入力層と、入力情報から特徴量を抽出する中間層と、補正処理に用いる各情報を出力する出力層とを備える。出力層は、各情報（ｘ，α，β，φ）について１つの出力層が設けられている。

　入力層は複数の入力ノードを有しており、各入力ノードにはＩＶＵＳ画像及びＯＣＴ画像の各画素がそれぞれ入力される。中間層は、所定の関数及び閾値等を用いて、入力層を介して入力された断層画像に対してフィルタ処理及び圧縮処理等の演算を行って出力値を算出し、算出した出力値を出力層へ出力する。中間層が複数の層を有する場合、各層のノードは、各層間の関数及び閾値等を用いて、入力された断層画像に基づく出力値を算出し、算出した出力値を順次後の層のノードに入力する。中間層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に算出した出力値を出力層へ与える。

　学習モデル３４Ｍは、出力層としてセンサ間距離出力層、超音波角度出力層、測定光角度出力層、及び周方向ズレ量出力層を有する。センサ間距離出力層はセンサ１２ａ，１２ｂ間の距離ｘを出力し、超音波角度出力層は超音波の送受信方向（角度α）を出力し、測定光角度出力層は測定光の送受信方向（角度β）を出力し、周方向ズレ量出力層は回転方向における超音波及び測定光の送受信方向のズレ量（角度φ）を出力する。センサ間距離出力層は、選択肢として用意された距離（第１距離、第２距離等）をそれぞれ対応付けられた複数の出力ノードを有し、各出力ノードから、対応付けられた距離であると判別すべき確率を出力する。センサ間距離出力層の各出力ノードからの出力値は例えば０～１の値であり、各出力ノードから出力された確率の合計が１．０（１００％）となる。同様に、超音波角度出力層、測定光角度出力層、及び周方向ズレ量出力層のそれぞれは、選択肢として用意された角度（第１角度、第２角度等）をそれぞれ対応付けられた複数の出力ノードを有し、各出力ノードから、対応付けられた角度であると判別すべき確率を出力する。超音波角度出力層、測定光角度出力層、及び周方向ズレ量出力層のそれぞれにおいて、各出力ノードからの出力値は例えば０～１の値であり、各出力ノードから出力された確率の合計が１．０（１００％）となる。超音波角度出力層、測定光角度出力層、及び周方向ズレ量出力層に対して選択肢として設定される角度はそれぞれ異なる角度である。上述した構成により、学習モデル３４Ｍは、ＩＶＵＳ画像及びＯＣＴ画像が入力された場合に、ＩＶＵＳ画像及びＯＣＴ画像を撮影した画像診断用カテーテル１における各情報（ｘ，α，β，φ）を出力する。

　上述した学習モデル３４Ｍを用いる場合、画像処理装置３は、センサ間距離出力層からの出力値のうちで最大の出力値（判別確率）を出力した出力ノードに対応付けられている距離を、画像診断用カテーテル１におけるセンサ間距離に特定する。また、超音波角度出力層からの出力値のうちで最大の出力値を出力した出力ノードに対応付けられている角度を、ＩＶＵＳセンサ１２ａによる超音波の送受信角度に特定する。また、測定光角度出力層からの出力値のうちで最大の出力値を出力した出力ノードに対応付けられている角度を、ＯＣＴセンサ１２ｂによる測定光の送受信角度に特定する。更に、周方向ズレ量出力層からの出力値のうちで最大の出力値を出力した出力ノードに対応付けられている角度を、超音波及び測定光の周方向のズレ量に特定する。なお、それぞれの出力層の後段に、最も確率が高い選択肢を選択して出力する選択層が設けられていてもよい。この場合、それぞれの出力層は、判別確率が最も高い選択肢（距離又は角度）を出力する１個の出力ノードを有する構成となる。

　学習モデル３４Ｍは、画像診断用カテーテル１を用いて取得したＩＶＵＳ画像及びＯＣＴ画像と、例えば画像診断用カテーテル１の製造過程において測定された各情報（ｘ，α，β，φ）（正解ラベル）とを含む訓練データを用意し、この訓練データを用いて未学習の学習モデルを機械学習させることにより生成することができる。学習モデル３４Ｍは、訓練データに含まれるＩＶＵＳ画像及びＯＣＴ画像が入力された場合に、各出力層において、訓練データに含まれる正解ラベル（各情報）に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習する。具体的には、学習モデル３４Ｍは、入力されたＩＶＵＳ画像及びＯＣＴ画像に基づいて中間層での演算を行い、各出力層の出力ノードからの出力値を算出する。そして学習モデル３４Ｍは、算出した各出力ノードの出力値と、正解ラベルに応じた値（正解の値に対応する出力ノードについては１、その他の出力ノードについては０）とを比較し、各出力値が正解ラベルに応じた値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）等である。パラメータの最適化の方法は特に限定されないが、最急降下法、誤差逆伝播法等を用いることができる。

　学習モデル３４Ｍの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル３４Ｍは、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて補助記憶部３４に記憶される。

　以下に、訓練データを学習して学習モデル３４Ｍを生成する処理について説明する。図１７は学習モデル３４Ｍの生成処理手順の一例を示すフローチャートである。以下の処理は、画像処理装置３の制御部３１が、補助記憶部３４に記憶してあるコンピュータプログラムＰに従って行うが、他の学習装置で行われてもよい。

　画像処理装置３の制御部３１は、ＩＶＵＳ画像及びＯＣＴ画像に対して、正解の各情報（ｘ，α，β，φ）が付与された訓練データを取得する（Ｓ４１）。訓練データ用のＩＶＵＳ画像及びＯＣＴ画像は、カテーテル治療の際に撮影されたＩＶＵＳ画像及びＯＣＴ画像を用いることができる。正解の各情報は、ＩＶＵＳ画像及びＯＣＴ画像を撮影した画像診断用カテーテル１に対して例えば製造過程において測定した各情報を用いることができる。なお、訓練データは、予め訓練データ用のＩＶＵＳ画像及びＯＣＴ画像と画像診断用カテーテル１の各情報とを用意して訓練データＤＢ（図示せず）に登録しておいてもよい。この場合、制御部３１は、訓練データＤＢから訓練データを取得すればよい。

　制御部３１は、取得した訓練データを用いて学習モデル３４Ｍの学習処理を行う（Ｓ４２）。ここでは、制御部３１は、訓練データに含まれるＩＶＵＳ画像及びＯＣＴ画像を学習モデル３４Ｍに入力し、センサ間距離ｘ、超音波角度α、測定光角度β、周方向ズレ量φの各情報に関する出力値を取得する。制御部３１は、出力された各情報に関する出力値を、正解の各情報に応じた値（０又は１）と比較し、両者が近似するように、中間層での演算処理に用いるパラメータを最適化する。具体的には、制御部３１は、各出力層において、正解の値に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習モデル３４Ｍを学習させる。

　制御部３１は、未処理のデータがあるか否かを判断する（Ｓ４３）。例えば訓練データが予め訓練データＤＢに登録してある場合、制御部３１は、訓練データＤＢに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断する。未処理のデータがあると判断した場合（Ｓ４３：ＹＥＳ）、制御部３１はステップＳ４１の処理に戻り、学習処理が未処理の訓練データに基づいて、ステップＳ４１～Ｓ４２の処理を行う。未処理のデータがないと判断した場合（Ｓ４３：ＮＯ）、制御部３１は一連の処理を終了する。

　上述した処理により、ＩＶＵＳ画像及びＯＣＴ画像を入力することによって、ＩＶＵＳ画像及びＯＣＴ画像の撮影に用いた画像診断用カテーテル１における各情報（ｘ，α，β，φ）を出力するように学習された学習モデル３４Ｍが得られる。なお、上述したような訓練データを用いた学習処理を繰り返し行うことにより、学習モデル３４Ｍを更に最適化することができる。また、既に学習済みの学習モデル３４Ｍについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い学習モデル３４Ｍが得られる。

　本実施形態の画像診断装置１００では、画像診断用カテーテル１を用いてＩＶＵＳ画像及びＯＣＴ画像を取得した後、取得したＩＶＵＳ画像及びＯＣＴ画像から学習モデル３４Ｍを用いて画像診断用カテーテル１における各情報（ｘ，α，β，φ）を特定する。そして画像処理装置３は、特定した各情報（ｘ，α，β，φ）を用いて、ＩＶＵＳ画像又はＯＣＴ画像に対して補正処理を行うことにより、観察対象を一致させたＩＶＵＳ画像及びＯＣＴ画像が得られる。

　図１８は、実施形態４の断層画像の補正処理手順の一例を示すフローチャートである。図１８に示す処理は、図８に示す処理において、ステップＳ１２，Ｓ１３の間にステップＳ５１～Ｓ５２を追加したものである。図８と同じステップについては説明を省略する。本実施形態の画像処理装置３では、制御部３１は、図８に示すステップＳ１１～Ｓ１２の処理を行った後、ステップＳ１１で取得した光ラインデータに対して、補間処理によって画素を補間して２次元のＯＣＴ画像を構築する（Ｓ５１）。なお、ここでのＩＶＵＳ画像及びＯＣＴ画像は観察位置にズレが生じている画像である。

　次に制御部３１は、ステップＳ１２で構築したＩＶＵＳ画像と、ステップＳ５１で構築したＯＣＴ画像とを学習モデル３４Ｍに入力し、学習モデル３４Ｍからの出力値に基づいて、ＩＶＵＳ画像及びＯＣＴ画像を撮影した画像診断用カテーテル１における各情報（ｘ，α，β，φ）を特定する（Ｓ５２）。例えば制御部３１は、学習モデル３４Ｍにおいて、各出力層の出力ノードのうちで、最大の出力値を出力した出力ノードを特定し、特定した出力ノードに対応付けられている値（距離又は角度）を、画像診断用カテーテル１における各情報に特定する。このように特定した各情報（ｘ，α，β，φ）は例えば主記憶部３２に記憶される。

　その後、制御部３１は、ステップＳ１３以降の処理を実行する。なお、本実施形態では、ステップＳ１３で撮影時のフレームピッチを算出する場合、ステップＳ１４～Ｓ１５でシャフト１３の軸方向における観察位置のズレ量及び補正フレーム数を算出する場合、更に、ステップＳ１６でセンサ部１２の回転方向における補正ライン数を算出する場合に、学習モデル３４Ｍを用いて特定した各情報を用いる。上述した処理により、本実施形態においても、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂにおける観察位置のズレが補正され、観察位置を一致させたＩＶＵＳ画像及びＯＣＴ補正画像を提供できる。

　本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、ＩＶＵＳ画像又はＯＣＴ画像に行うべき補正処理に用いる各情報（ｘ，α，β，φ）が、学習モデル３４Ｍを用いてＩＶＵＳ画像及びＯＣＴ画像から特定される。よって、このような情報を用いて補正処理を行うことにより、観察位置をＩＶＵＳ画像に一致させたＯＣＴ補正画像を構築することが可能となる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。

　本実施形態では、学習モデル３４Ｍを用いて画像診断用カテーテル１における各情報（補正処理に用いる各情報）を特定する処理を画像処理装置３がローカルで行う構成であるが、この構成に限定されない。例えば、学習モデル３４Ｍを用いた各情報の特定処理を行うサーバを設けてもよい。この場合、画像処理装置３は、ＩＶＵＳ画像及びＯＣＴ画像をサーバへ送信し、サーバでＩＶＵＳ画像及びＯＣＴ画像から特定された各情報を取得するように構成されていてもよい。このような構成とした場合であっても、本実施形態と同様の処理が可能であり、同様の効果が得られる。

　本実施形態において、学習モデル３４Ｍは、ＩＶＵＳ画像及びＯＣＴ画像が入力された場合に、補正処理に用いる各情報（ｘ，α，β，φ）の代わりに、補正処理に用いる補正フレーム数及び補正ライン数（補正量）を出力するように構成されていてもよい。この場合、画像処理装置３は、学習モデル３４Ｍを用いて補正処理に用いる補正量を特定し、特定した補正量を用いた補正処理を行うことにより、補正後のＩＶＵＳ補正画像又はＯＣＴ補正画像を生成できる。また、学習モデル３４Ｍは、ＩＶＵＳ画像及びＯＣＴ画像が入力された場合に、補正処理が施されたＩＶＵＳ補正画像又はＯＣＴ補正画像を出力するように構成されていてもよい。この場合、画像処理装置３は、学習モデル３４Ｍを用いることにより、補正後のＩＶＵＳ補正画像又はＯＣＴ補正画像を取得できる。

（実施形態５）
　上述した実施形態１～４の画像診断装置１００では、画像処理装置３は、観察対象をＩＶＵＳ画像に一致させたＯＣＴ補正画像を構築する構成である。本実施形態では、観察対象をアンギオ画像上に可視化されたマーカ１２ｃ（造影マーカ）の位置に一致させたＩＶＵＳ補正画像又はＯＣＴ補正画像を構築する画像処理装置３について説明する。本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。以下では、画像診断用カテーテル１がＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂの両方を備える構成を例に説明するが、本実施形態の画像診断用カテーテル１はＩＶＵＳセンサ１２ａのみを備える構成であってもよく、ＯＣＴセンサ１２ｂのみを備える構成であってもよい。以下では、観察対象をアンギオ画像上のマーカ１２ｃに一致させたＩＶＵＳ補正画像を構築する処理について説明するが、同様の処理によって、観察対象をアンギオ画像上のマーカ１２ｃに一致させたＯＣＴ補正画像も構築可能である。

　図１９は、ＩＶＵＳセンサ１２ａによる観察位置のマーカ１２ｃに対するズレを説明する説明図である。図１９はセンサ部１２をシャフト１３の径方向から見た状態を示しており、このような画像診断用カテーテル１を血管造影装置１０２によって撮影すると、図１９下図のようにマーカ１２ｃが可視化されたアンギオ画像が得られる。本実施形態のセンサ部１２では、ＩＶＵＳセンサ１２ａはシャフト１３の中心軸上の基端側の方向に対して角度αの方向を超音波の送受信方向としている。よって、図１９に示すように超音波の経路とマーカ１２ｃの造影範囲とが交差しており、交差位置以外の箇所では、ＩＶＵＳセンサ１２ａの観察位置がマーカ１２ｃの位置に対してシャフト１３の軸方向にずれる。マーカ１２ｃの位置に対するＩＶＵＳセンサ１２ａの観察位置のズレは、ＩＶＵＳセンサ１２ａ及びマーカ１２ｃ配置位置間の距離ｙと、ＩＶＵＳセンサ１２ａの取付角度（超音波の送受信方向の角度α）と、センサ部１２の回転中心からの距離Ｌとに応じて異なる。

　本実施形態の画像処理装置３は、超音波ラインデータからＩＶＵＳ画像を構築する際に、上述したようなマーカ１２ｃの位置に対するＩＶＵＳセンサ１２ａの観察位置のズレを補正したＩＶＵＳ補正画像を構築する。図２０及び図２１は観察位置のズレを補正する処理を説明する説明図である。図２０はシャフト１３の軸方向におけるＩＶＵＳセンサ１２ａの観察位置のズレの説明図であり、図２１は観察位置をマーカ１２ｃの位置に一致させたＩＶＵＳ補正画像の説明図である。図２０中の１２ｃは、ｎフレーム目のＩＶＵＳ画像の撮影タイミングでのマーカ１２ｃの位置を示しており、図２０中の１～５は、ｎフレーム目におけるマーカ１２ｃの位置（造影範囲）において、センサ部１２の回転中心からの距離がｒ１～ｒ５の位置を示す。図２０には、ＩＶＵＳセンサ１２ａが観察位置５をｎ－２フレーム目で観察し、観察位置４をｎ－１フレーム目で観察し、観察位置３をｎフレーム目で観察し、観察位置２をｎ＋１フレーム目で観察し、観察位置１をｎ＋２フレーム目で観察したことを示している。

　このような状況では、図２１の上側に示すように、ＩＶＵＳ画像にはｎ－２フレーム目に観察位置５が撮影され、ｎ－１フレーム目に観察位置４が撮影され、ｎフレーム目に観察位置３が撮影され、ｎ＋１フレーム目に観察位置２が撮影され、ｎ＋２フレーム目に観察位置１が撮影される。即ち、図２０及び図２１に示す例では、観察位置５に対するＩＶＵＳセンサ１２ａの観察タイミングはマーカ１２ｃの到達タイミングよりも２フレーム前であり、観察位置４に対するＩＶＵＳセンサ１２ａの観察タイミングはマーカ１２ｃの到達タイミングよりも１フレーム前である。また、観察位置２に対するＩＶＵＳセンサ１２ａの観察タイミングはマーカ１２ｃの到達タイミングよりも１フレーム後であり、観察位置１に対するＩＶＵＳセンサ１２ａの観察タイミングはマーカ１２ｃの到達タイミングよりも２フレーム後である。よって、画像処理装置３は、図２１の下側に示すように、複数フレームのＩＶＵＳ画像における各領域（回転中心からの距離に応じた領域）を合成して１フレームのＩＶＵＳ画像を構築することにより、観察位置をマーカ１２ｃの位置に一致させたＩＶＵＳ補正画像を生成することができる。

　図２２は、実施形態５の断層画像の補正処理手順の一例を示すフローチャートである。図１９に示したＩＶＵＳセンサ１２ａ及びマーカ１２ｃ間の距離ｙ、ＩＶＵＳセンサ１２ａによる超音波の送受信角度αは、主記憶部３２又は補助記憶部３４に記憶されているものとする。

　画像処理装置３の制御部３１は、血管内検査装置１０１による血管内の撮影処理が開始された場合、ＭＤＵ２を介してＩＶＵＳセンサ１２ａから超音波の反射波データを取得し、取得した超音波の反射波データから超音波ラインデータを生成する（Ｓ６１）。次に制御部３１は、センサ部１２による撮影時のフレームピッチを算出する（Ｓ６２）。フレームピッチの算出は、図８中のステップＳ１３と同様である。次に制御部３１は、センサ部１２の回転中心からの各距離における、マーカ１２ｃの位置に対するＩＶＵＳセンサ１２ａの観察位置のズレ量を算出する（Ｓ６３）。センサ部１２の回転中心からの距離がＬである領域における観察位置のズレ量Δｙ（単位：ｍｍ）は以下の式７を用いて算出される。なお、ｙ（単位：ｍｍ）はＩＶＵＳセンサ１２ａ及びマーカ１２ｃ間の軸方向における距離である。

　　Δｙ＝ｙ－Δｘ_IVUS＝ｙ－Ｌ×ｃｏｔα　…（式７）

　次に制御部３１は、マーカ１２ｃに対するＩＶＵＳセンサ１２ａの観察位置のズレ量に基づいて、センサ部１２の回転中心からの各距離において、軸方向における補正量（補正フレーム数）を算出する（Ｓ６４）。補正フレーム数は、ステップＳ６３で算出した観察位置のズレ量と、ステップＳ６２で算出したフレームピッチとに基づいて、以下の式８を用いて算出される。

　　補正フレーム数＝Δｙ／フレームピッチ　　…（式８）

　本実施形態においても、制御部３１は、センサ部１２の回転中心からの各距離におけるズレ量Δｙを算出する代わりに、ズレ量Δｙがフレームピッチの倍数となる各箇所における回転中心からの距離Ｌをそれぞれ算出してもよい。例えばフレームピッチが０．１ｍｍの場合、観察位置のズレ量Δｙが０．１ｍｍ，０．２ｍｍ，０．３ｍｍ，…となる各距離Ｌを算出する。この場合、算出した各距離Ｌに応じた補正フレーム数として１，２，３，…を特定できる。

　制御部３１は、ステップＳ６４で算出した各距離に応じた補正フレーム数に基づいて、観察対象をマーカ１２ｃの位置に一致させたＩＶＵＳ補正画像を構築する（Ｓ６５）。例えば制御部３１は、超音波ラインデータを用いて、センサ部１２の回転中心からの距離に応じた補正フレーム数に従い、複数フレームのＩＶＵＳ画像の各領域を合成することにより、１フレームのＩＶＵＳ補正画像を構築する。図２０及び図２１に示す例では、センサ部１２の回転中心から遠い領域の順に、ｎ－２フレーム目～ｎ＋２フレーム目の５本の超音波ラインデータの各領域に対応するデータ値に基づく各画素値を割り当て、１フレームのＩＶＵＳ補正画像を構築する。なお、制御部３１は、上述した補正処理を行うと共に、超音波ラインデータに対して補間処理によって各ライン間の画素を補間して２次元のＩＶＵＳ画像（ＩＶＵＳ補正画像）を構築する。このように構築されたＩＶＵＳ補正画像は、マーカ１２ｃの造影範囲を撮影対象としたＩＶＵＳ画像となるので、アンギオ画像上のマーカ１２ｃの箇所を撮影したＩＶＵＳ補正画像を提供できる。このようにＩＶＵＳ補正画像の撮影位置とアンギオ画像上のマーカ１２ｃの位置とが一致するので、読影し易いＩＶＵＳ画像を提供でき、ＩＶＵＳ画像を確認しながら行われる手技の正確性の向上が期待できる。上述した処理によって構築されたＩＶＵＳ補正画像は、例えば表示装置４に表示され、画像診断用カテーテル１を使用する術者に提示される。

　本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、観察対象をアンギオ画像上のマーカ１２ｃに一致させたＩＶＵＳ補正画像を提供できるので、画像診断装置１００をＩＶＵＳ画像のみを取得するモードで使用する場合であっても、読影し易いＩＶＵＳ画像の提示が可能となる。なお、本実施形態において、同様の処理によって、観察対象をアンギオ画像上のマーカ１２ｃに一致させたＯＣＴ補正画像も構築可能である。この場合、画像診断装置１００をＯＣＴ画像のみを取得するモードで使用する場合であっても、読影し易いＯＣＴ画像の提示が可能となる。

　本実施形態の構成は、実施形態２～３の画像診断装置１００にも適用可能であり、実施形態２～３に適用した場合であっても同様の効果が得られる。なお、実施形態２～３に適用した場合、補正処理に用いる各情報（ＩＶＵＳセンサ１２ａ及びマーカ１２ｃ間の距離ｙ、ＩＶＵＳセンサ１２ａによる超音波の送受信角度α）は、画像診断用カテーテル１に付加されたコードＣを読み取ることによって、又はサーバ６から取得することによって得られる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。

　上述した実施形態１～４の画像処理装置３は、ＩＶＵＳセンサ１２ａによる観察位置とＯＣＴセンサ１２ｂによる観察位置とを一致させる補正処理を行う。このほかに、例えば実施形態５のように、観察位置をマーカ１２ｃの位置（造影範囲）に一致させる補正処理を、ＩＶＵＳ画像及びＯＣＴ画像のそれぞれに行うことにより、ＩＶＵＳセンサ１２ａによる観察位置とＯＣＴセンサ１２ｂによる観察位置とを一致させてもよい。この場合、例えばＩＶＵＳ画像の取得処理とＯＣＴ画像の取得処理とを別々に行う場合であっても、それぞれ得られたＩＶＵＳ画像及びＯＣＴ画像に対して、観察位置をマーカ１２ｃの位置に一致させる補正処理を実行することにより、ＩＶＵＳ画像及びＯＣＴ画像における観察対象を一致させることが可能となる。

　上述した各実施形態では、超音波を用いて血管内の断層画像を撮影するＩＶＵＳセンサ１２ａと、近赤外光を用いて血管内の断層画像を撮影するＯＣＴセンサ１２ｂとを使用する構成であるが、このような構成に限定されない。例えばＩＶＵＳセンサ１２ａ又はＯＣＴセンサ１２ｂの代わりに、血管内からのラマン散乱光を受光して血管内の断層画像を撮影するセンサ、血管内からの励起光を受光して血管内の断層画像を撮影するセンサ等、血管の状態を観察できる各種のセンサを使用する構成とすることもできる。

　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

　１　　　画像診断用カテーテル
　２　　　ＭＤＵ
　３　　　画像処理装置
　４　　　表示装置
　５　　　入力装置
　６　　　サーバ
　３１　　制御部
　３６　　コードリーダ
　３７　　通信部
　１０１　血管内検査装置
　１０２　血管造影装置
　３４Ｍ　学習モデル
　６４ａ　カテーテルＤＢ
　Ｃ　　　コード
　Ｐ　　　コンピュータプログラム

Claims

　カテーテルに用いられるイメージングコアの長軸方向に対して第１角度傾いた方向に照射した第１検査波による信号データセットを取得し、
　取得した信号データセットに基づいて、前記長軸方向に対して前記第１角度とは異なる第２角度傾いた方向を観察対象とした画像を構築する
　処理をコンピュータに実行させるプログラム。
　前記イメージングコアは、前記第１検査波を照射して前記第１検査波の反射波を受信する第１送受信部と、前記長軸方向に対して前記第２角度傾いた方向に第２検査波を照射して前記第２検査波の反射波を受信する第２送受信部とを有し、
　前記第１検査波による信号データセットに基づいて、前記第２検査波が照射される方向を観察対象とした画像を構築する
　処理を前記コンピュータに実行させる請求項１に記載のプログラム。
　前記第１送受信部による前記第１検査波の照射方向と、前記第２送受信部による前記第２検査波の照射方向とにおける、前記長軸方向を軸とした周方向の角度差に基づいて、前記第１検査波による信号データセット又は前記第２検査波による信号データセットに対して、前記周方向の角度差を解消する補正を行う
　処理を前記コンピュータに実行させる請求項２に記載のプログラム。
　前記第１角度及び前記第２角度と、前記イメージングコアに設けられた前記第１送受信部及び前記第２送受信部の配置位置における前記長軸方向の距離とに基づいて、前記第１検査波による信号データセットに含まれる各信号データと、前記第２検査波による信号データセットに含まれる各信号データとを対応付け、
　対応付けた内容に基づいて、前記第１検査波による信号データセットから、前記第２検査波が照射される方向を観察対象とした画像を構築する
　処理を前記コンピュータに実行させる請求項２又は３に記載のプログラム。
　前記カテーテルの製造時に計測された前記第１角度、前記第２角度、及び前記イメージングコアの前記第１送受信部及び前記第２送受信部の配置位置における前記長軸方向の距離を取得し、
　取得した前記第１角度、前記第２角度及び前記長軸方向の距離に基づいて、前記第１検査波による信号データセットから、前記第２検査波が照射される方向を観察対象とした画像を構築する
　処理を前記コンピュータに実行させる請求項２から４までのいずれかひとつに記載のプログラム。
　前記第１角度、前記第２角度、及び前記イメージングコアの前記第１送受信部及び前記第２送受信部の配置位置における前記長軸方向の距離に基づいて、前記イメージングコアから観察対象までの各距離において、前記第１検査波の照射位置と、前記第２検査波の照射位置とにおける前記長軸方向の距離を算出し、
　算出した前記照射位置の距離と、前記第１検査波の照射間隔とに基づいて、前記第１検査波による信号データセットから、前記第２検査波が照射される方向を観察対象とした画像を構築するための補正量を算出し、
　算出した補正量に基づいて、前記第１検査波による信号データセットから、前記第２検査波が照射される方向を観察対象とした画像を構築する
　処理を前記コンピュータに実行させる請求項２から５までのいずれかひとつに記載のプログラム。
　前記第１検査波による信号データセット及び前記第２検査波による信号データセットを入力した場合に、前記第１角度、前記第２角度、及び前記イメージングコアの前記第１送受信部及び前記第２送受信部の配置位置における前記長軸方向の距離を出力するように学習済みの学習モデルに、取得した前記第１検査波による信号データセット及び前記第２検査波による信号データセットを入力して前記第１角度、前記第２角度、及び前記長軸方向の距離を特定し、
　特定した前記第１角度、前記第２角度、及び前記長軸方向の距離に基づいて、前記第１検査波による信号データセットから、前記第２検査波が照射される方向を観察対象とした画像を構築する
　処理を前記コンピュータに実行させる請求項２から６までのいずれかひとつに記載のプログラム。
　前記イメージングコアは、前記第１検査波を照射して前記第１検査波の反射波を受信する第１送受信部と、Ｘ線不透過性物質によって構成された造影マーカとを有しており、
　前記イメージングコアに設けられた前記第１送受信部及び前記造影マーカの配置位置における前記長軸方向の距離並びに前記第１角度に基づいて、前記第１検査波による信号データセットに含まれる各信号データと、前記造影マーカを撮影したＸ線画像とを対応付け、
　対応付けた内容に基づいて、前記第１検査波による信号データセットから、前記Ｘ線画像中の造影マーカの造影範囲を観察対象とした画像を構築する
　処理を前記コンピュータに実行させる請求項１に記載のプログラム。
　カテーテルに用いられるイメージングコアの長軸方向に対して第１角度傾いた方向に照射した第１検査波による信号データセットを取得し、
　取得した信号データセットに基づいて、前記長軸方向に対して前記第１角度とは異なる第２角度傾いた方向を観察対象とした画像を構築する
　処理をコンピュータが実行する画像処理方法。
　カテーテルに用いられるイメージングコアの長軸方向に対して第１角度傾いた方向に照射した第１検査波による信号データセットを取得する取得部と、
　取得した信号データセットに基づいて、前記長軸方向に対して前記第１角度とは異なる第２角度傾いた方向を観察対象とした画像を構築する画像構築部と
　を備える画像処理装置。