JP7489882B2 - コンピュータプログラム、画像処理方法及び画像処理装置 - Google Patents
コンピュータプログラム、画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP7489882B2 JP7489882B2 JP2020162616A JP2020162616A JP7489882B2 JP 7489882 B2 JP7489882 B2 JP 7489882B2 JP 2020162616 A JP2020162616 A JP 2020162616A JP 2020162616 A JP2020162616 A JP 2020162616A JP 7489882 B2 JP7489882 B2 JP 7489882B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- catheter
- lumen
- blood vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 title description 56
- 238000003672 processing method Methods 0.000 title description 5
- 210000004204 blood vessel Anatomy 0.000 claims description 87
- 238000000034 method Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 40
- 239000003550 marker Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 6
- 238000002608 intravascular ultrasound Methods 0.000 description 97
- 239000011159 matrix material Substances 0.000 description 37
- 230000009466 transformation Effects 0.000 description 32
- 238000002583 angiography Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 210000000056 organ Anatomy 0.000 description 17
- 230000003902 lesion Effects 0.000 description 14
- 230000002792 vascular Effects 0.000 description 13
- 238000002604 ultrasonography Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 239000000523 sample Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013146 percutaneous coronary intervention Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000001684 chronic effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000004351 coronary vessel Anatomy 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010053648 Vascular occlusion Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000277 pancreatic duct Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 208000021331 vascular occlusion disease Diseases 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
本開示は、コンピュータプログラム、画像処理方法及び画像処理装置に関する。
冠動脈が慢性的に完全に閉塞して血液が流れなくなってしまった慢性完全閉塞病変（CTO: Chronic Total Occlusion）の治療法の一つに経皮的冠状動脈インターベンション（PCI: Percutaneous Coronary Intervention）と称される方法がある。ＰＣＩは、閉塞した病変部をバルーンカテーテルで拡張し、ステントを留置して、血管を再建する低侵襲治療である。
ＰＣＩにおいて、術者は、カテーテルを用いた血管内超音波（IVUS: Intra Vascular Ultra Sound）検査により、血管の閉塞部を確認することができる。また、血管に造影剤を注入しながら、Ｘ線を用いて血管を撮影する血管造影検査により、閉塞部に至る血管の走行を確認することができる。
ところで、ＰＣＩにおいては、順行性の第１のガイドワイヤが、血管壁等の偽腔に迷入することがある。この場合、迷入した第１のガイドワイヤにＩＶＵＳカテーテルを挿入し、ＩＶＵＳにより得られた画像（以下、ＩＶＵＳ画像と呼ぶ。）によって真腔を確認し、第２のガイドワイヤを閉塞部に通過させることが行われている。
しかし、ＩＶＵＳ画像は血管の横断面像であり、術者が頭の中で血管の３次元イメージを構築し、ＩＶＵＳカテーテルと、真腔との位置関係を把握することは容易ではない。
一方、血管造影検査により得られる画像（以下、アンギオ画像と呼ぶ。）は、生体外の所定方向から撮影される透視画像であるため、血管とＩＶＵＳカテーテルの位置関係を比較的把握し易い。しかし、造影剤が通過しない閉塞部側の血管の像を得ることができず、真腔の位置は分からない。
また、ＩＶＵＳ画像を参照し、アンギオ画像における真腔の位置を把握することも考えられる。一般的にアンギオ画像が撮像された方向と、ＩＶＵＳ画像の上下左右方向との関係は分からないが、ＩＶＵＳカテーテルの先端部に設けられているＸ線を透過しないマーカの位置を手がかりに、ＩＶＵＳ画像と、アンギオ画像との位置関係を確認することも考えられる。しかし、術者が両画像を用いて血管の３次元イメージを頭の中で再構築することはやはり容易ではない。また、ＩＶＵＳ画像とアンギオ画像との位置関係を確認するための機器操作も簡易ではない。
一方、血管造影検査により得られる画像（以下、アンギオ画像と呼ぶ。）は、生体外の所定方向から撮影される透視画像であるため、血管とＩＶＵＳカテーテルの位置関係を比較的把握し易い。しかし、造影剤が通過しない閉塞部側の血管の像を得ることができず、真腔の位置は分からない。
また、ＩＶＵＳ画像を参照し、アンギオ画像における真腔の位置を把握することも考えられる。一般的にアンギオ画像が撮像された方向と、ＩＶＵＳ画像の上下左右方向との関係は分からないが、ＩＶＵＳカテーテルの先端部に設けられているＸ線を透過しないマーカの位置を手がかりに、ＩＶＵＳ画像と、アンギオ画像との位置関係を確認することも考えられる。しかし、術者が両画像を用いて血管の３次元イメージを頭の中で再構築することはやはり容易ではない。また、ＩＶＵＳ画像とアンギオ画像との位置関係を確認するための機器操作も簡易ではない。
一つの側面では、血管の３次元画像をアンギオ画像に重畳表示し、術者が血管の状態を直感的に把握し易くすることができるコンピュータプログラム、画像処理方法及び画像処理装置を提供することを目的とする。
一つの側面に係るコンピュータプログラムは、カテーテルを用いて管腔器官の横断面を複数箇所で撮像した複数の第１画像を取得し、取得した複数の第１画像に基づいて、前記管腔器官の３次元画像を生成し、生体外の異なる複数の方向から前記管腔器官及び前記カテーテルを撮像した複数の第２画像を取得し、取得した複数の第２画像に基づいて、第１画像及び第２画像の位置関係を特定し、特定された位置関係に基づいて、前記３次元画像を前記第２画像に写像して重畳表示する処理をコンピュータに実行させる。
一つの側面に係る画像処理方法は、カテーテルを用いて管腔器官の横断面を複数箇所で撮像した複数の第１画像を取得し、取得した複数の第１画像に基づいて、前記管腔器官の３次元画像を生成し、生体外の異なる複数の方向から前記管腔器官及び前記カテーテルを撮像した複数の第２画像を取得し、取得した複数の第２画像に基づいて、第１画像及び第２画像の位置関係を特定し、特定された位置関係に基づいて、前記３次元画像を前記第２画像に写像して重畳表示する処理をコンピュータが実行する
一つの側面に係る画像処理装置は、カテーテルを用いて管腔器官の横断面を複数箇所で撮像した複数の第１画像を取得する第１取得部と、取得した複数の第１画像に基づいて、前記管腔器官の３次元画像を生成する生成部と、生体外の異なる複数の方向から前記管腔器官及び前記カテーテルを撮像した複数の第２画像を取得する第２取得部と取得した複数の第２画像に基づいて、第１画像及び第２画像の位置関係を特定する特定部と、特定された位置関係に基づいて、前記３次元画像を前記第２画像に写像して重畳表示する重畳表示部とを備える。
本開示によれば、血管の３次元画像をアンギオ画像に重畳表示し、術者が血管の状態を直感的に把握し易くすることができる。
本開示の実施形態に係るコンピュータプログラム、画像処理方法及び画像処理装置の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態及び変形例の少なくとも一部を任意に組み合わせてもよい。
本実施形態では血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。
本実施形態では血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。
＜画像診断装置１００の全体構成＞
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態に係る画像診断装置１００は、血管内超音波検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。本実施形態に係る画像処理装置３は、血管（管腔器官）の３次元画像をアンギオ画像に重畳表示し、術者が血管の状態を直感的に把握し易くすることを可能にするものである。
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態に係る画像診断装置１００は、血管内超音波検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。本実施形態に係る画像処理装置３は、血管（管腔器官）の３次元画像をアンギオ画像に重畳表示し、術者が血管の状態を直感的に把握し易くすることを可能にするものである。
血管内超音波検査装置１０１は、血管内超音波（IVUS: Intra Vascular Ultra Sound）法によって血管（管腔器官）の横断面である超音波断層像を含むＩＶＵＳ画像（第１画像）を生成し、血管内の超音波検査及び診断を行うための装置である。血管内超音波検査装置１０１は、カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。
図２はカテーテル１の構成例を示す側断面図である。本実施形態に係るカテーテル１は、ＩＶＵＳ法によって血管の超音波断層像を得るための画像診断用カテーテルである。カテーテル１は、血管の超音波断層像を得るための超音波プローブ１０を先端部に有する。超音波プローブ１０は管部を有し、管部内にシャフト１１が挿通している。シャフト１１は管部に沿って進退可能であり、また、周方向に回転することができる。シャフト１１の先端部には、血管内において超音波を発すると共に、血管の生体組織又は医用機器で反射された反射波（超音波エコー）を受信する超音波送受信部１０ａが設けられている。超音波プローブ１０は、血管の周方向に回転しながら、血管の長手方向に進退可能に構成されている。
カテーテル１は、第１ガイドワイヤＧＷ１が挿通するガイドワイヤルーメンを先端部に有する。ガイドワイヤルーメンにおける管部の中心線と、超音波プローブ１０の管部の中心線とは所定長離隔している。
カテーテル１は、第１ガイドワイヤＧＷ１が挿通するガイドワイヤルーメンを先端部に有する。ガイドワイヤルーメンにおける管部の中心線と、超音波プローブ１０の管部の中心線とは所定長離隔している。
また、カテーテル１は、血管内超音波検査装置１０１によって得られるＩＶＵＳ画像と、血管造影装置１０２によって得られるアンギオ画像との位置関係を決定するため、Ｘ線を透過しない第１～第３マーカ１１ａ，１１ｂ，１１ｃを有する。第１～第３マーカ１１ａ，１１ｂ，１１ｃは、直線状に並ばないよう、非直線状に設けられている。例えば、第１マーカ１１ａ及び第２マーカ１１ｂは、超音波送受信部１０ａを挟んでシャフト１１の先端部に設けられている。第３マーカ１１ｃはガイドワイヤルーメンに設けられている。このように構成されたカテーテル１をＸ線で撮像すると、例えば図２下図のように第１～第３マーカ１１ａ，１１ｂ，１１ｃの画像を含むＸ線透視画像であるアンギオ画像が得られる。
なお、第１～第３マーカ１１ａ，１１ｂ，１１ｃを設ける位置は一例である。第１マーカ１１ａ及び第２マーカ１１ｂをシャフト１１では無く、シャフト１１が挿通する管部を有するカテーテル１本体に設けてもよい。つまり、シャフト１１の位置に関係無く、第１～第３マーカ１１ａ，１１ｂ，１１ｃの位置が一定となるように設けてもよい。
なお、第１～第３マーカ１１ａ，１１ｂ，１１ｃを設ける位置は一例である。第１マーカ１１ａ及び第２マーカ１１ｂをシャフト１１では無く、シャフト１１が挿通する管部を有するカテーテル１本体に設けてもよい。つまり、シャフト１１の位置に関係無く、第１～第３マーカ１１ａ，１１ｂ，１１ｃの位置が一定となるように設けてもよい。
ＭＤＵ２は、カテーテル１が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入されたカテーテル１の動作を制御する。ＭＤＵ２は、カテーテル１の超音波送受信部１０ａを先端（遠位）側から基端（近位）側へ移動させながら周方向に回転させる（図８参照）。超音波プローブ１０は、所定の時間間隔で連続的に血管内を走査し、検出された超音波の反射波データに基づくＩＶＵＳ画像を画像処理装置３へ出力する。
画像処理装置３は、カテーテル１の超音波プローブ１０から出力された反射波データに基づいて、血管の横断層を撮像した超音波断層像を含む時系列順の複数のＩＶＵＳ画像を生成する（図８参照）。超音波プローブ１０は、血管内を先端（遠位）側から基端（近位）側へ移動しながら血管内を走査するため、時系列順の複数のＩＶＵＳ画像は、遠位から近位にわたる複数箇所で観測された血管の断層画像ということになる。
血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るための撮像装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。血管造影装置１０２は、撮像して得られたアンギオ画像を画像処理装置３へ出力する。
血管造影装置１０２を用いて、カテーテル１が挿入された血管を撮像した場合、血管、カテーテル１、第１ガイドワイヤＧＷ１の像を含むアンギオ画像が得られる。後述の第２ガイドワイヤＧＷ２が血管に挿入されている場合、血管、カテーテル１、第１ガイドワイヤＧＷ１、第２ガイドワイヤＧＷ２の像を含むアンギオ画像が得られる。また、上記の通り、カテーテル１にはＸ線を透過しない第１～第３マーカ１１ａ，１１ｂ，１１ｃが設けられており、第１マーカ画像、第２マーカ画像及び第３マーカ画像を含むアンギオ画像が得られる。
なお、本実施形態では主に２次元のアンギオ画像を撮像する血管造影装置１０２を例にして説明するが、生体外の複数の方向から患者の管腔器官及びカテーテル１を撮像する装置であれば、特に限定されるものではない。例えば、３次元ＣＴアンギオグラフィ、磁気共鳴（ＭＲＩ；Magnetic Resonance Imaging）画像などであってもよい。
表示装置４は、液晶表示パネル、有機ＥＬ表示パネル等であり、画像処理装置３によって生成されたＩＶＵＳ画像、アンギオ画像等の医用画像を表示する。
入力装置５は、検査を行う際の各種設定値の入力、画像処理装置３の操作等を受け付けるキーボード、マウス等の入力インターフェースである。入力装置５は、表示装置４に設けられたタッチパネル、ソフトキー、ハードキー等であっても良い。
＜画像処理装置３のハードウェア構成＞
図３は、画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、及び補助記憶部３４を備える。
図３は、画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、及び補助記憶部３４を備える。
制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）
等の演算処理装置を用いて構成されている。
等の演算処理装置を用いて構成されている。
主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。
入出力Ｉ／Ｆ３３は、血管内超音波検査装置１０１及び血管造影装置１０２、表示装置４及び入力装置５が接続されるインターフェースである。制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像又はアンギオ画像を取得する。また、制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力Ｉ／Ｆ３３を介して、入力装置５に入力された情報を受け付ける。
補助記憶部３４は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部３４は、制御部３１が実行するコンピュータプログラムＰ、制御部３１の処理に必要な各種データを記憶する。また、補助記憶部３４は、学習モデル３５を記憶する。学習モデル３５の詳細は後述する。
なお、補助記憶部３４は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部３４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３４に記憶させてもよい。コンピュータプログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよい。
制御部３１は、補助記憶部３４に記憶されたコンピュータプログラムＰを読み出して実行することにより、画像診断装置１００で生成されたＩＶＵＳ画像を取得し、ＣＴＯ病変部位Ｃを有する血管の３次元画像を生成し、生成した３次元画像をアンギオ画像に写像して重畳表示する処理を実行する。
画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。
＜ＣＴＯ病変部位と、アンギオ画像及びＩＶＵＳ画像の関係＞
画像処理装置３の機能を説明する前に、慢性完全閉塞病変と、アンギオ画像及びＩＶＵＳ画像との関係を説明する。
画像処理装置３の機能を説明する前に、慢性完全閉塞病変と、アンギオ画像及びＩＶＵＳ画像との関係を説明する。
図４は血管の側断面を示す模式図である。図４に示す血管には、冠動脈が慢性的に完全に閉塞して血液が流れなくなってしまったＣＴＯ（Chronic Total Occlusion）病変部位Ｃが見られる。図４中、破線より右側の血管閉塞部位がＣＴＯ病変部位Ｃである。
ＣＴＯ病変部位ＣのＰＣＩ治療においては、閉塞した血管における真腔Ａの位置を把握してガイドワイヤを当該真腔Ａに挿通する必要がある。ところで、ＰＣＩにおいては、順行性の第１ガイドワイヤＧＷ１が、偽腔Ｂに迷入することがある。図４は、第１ガイドワイヤＧＷ１が血管壁Ｖの偽腔Ｂに迷入した状態を示している。この場合、迷入した第１ガイドワイヤＧＷ１に血管内超音波検査装置１０１のカテーテル１を挿入し、ＩＶＵＳ画像を得ることによって、血管壁Ｖ、真腔Ａ及び偽腔Ｂの位置を確認することが行われる。術者は、真腔Ａの位置を把握し、図４に示すように第２ガイドワイヤＧＷ２をＣＴＯ病変部位Ｃ及び真腔Ａに挿通させる。
ところが、ＩＶＵＳ画像及びアンギオ画像から真腔Ａ及び偽腔Ｂの位置を把握することは容易ではない。
ＣＴＯ病変部位ＣのＰＣＩ治療においては、閉塞した血管における真腔Ａの位置を把握してガイドワイヤを当該真腔Ａに挿通する必要がある。ところで、ＰＣＩにおいては、順行性の第１ガイドワイヤＧＷ１が、偽腔Ｂに迷入することがある。図４は、第１ガイドワイヤＧＷ１が血管壁Ｖの偽腔Ｂに迷入した状態を示している。この場合、迷入した第１ガイドワイヤＧＷ１に血管内超音波検査装置１０１のカテーテル１を挿入し、ＩＶＵＳ画像を得ることによって、血管壁Ｖ、真腔Ａ及び偽腔Ｂの位置を確認することが行われる。術者は、真腔Ａの位置を把握し、図４に示すように第２ガイドワイヤＧＷ２をＣＴＯ病変部位Ｃ及び真腔Ａに挿通させる。
ところが、ＩＶＵＳ画像及びアンギオ画像から真腔Ａ及び偽腔Ｂの位置を把握することは容易ではない。
図５はＩＶＵＳ画像とアンギオ画像の相違を示す説明図である。図５Ａは血管の３次元イメージである。図５Ｂはアンギオ画像、図５ＣはＩＶＵＳ画像の模式図である。
図５Ａ及び図５Ｂに示すように、アンギオ画像は血管を横方向（径方向外側）から撮像して得られる透視画像であり、血管の走行を把握するには適している。しかし、造影剤はＣＴＯ病変部位Ｃを通過しないため、図５Ｂ中破線で示した部分の血管壁Ｖ、真腔Ａ及び偽腔Ｂの像を得ることができない。カテーテル１及び第１ガイドワイヤＧＷ１の像が見えるのみである。
一方、図５Ａ及び図５Ｃに示すように、ＩＶＵＳ画像は血管の横断面像（血管の中心線に垂直な面で切った断面像）であり、ＣＴＯ病変部位Ｃ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１の位置を確認することができる。また、図示しない第２ガイドワイヤＧＷ２が存在する部位を撮像すれば、第２ガイドワイヤＧＷ２の位置も確認することができる。しかし、ＩＶＵＳ画像は血管の横断面像であり、術者が頭の中で血管の３次元イメージを構築し、カテーテル１と、真腔Ａとの位置関係を把握することは容易ではない。
図５Ａ及び図５Ｂに示すように、アンギオ画像は血管を横方向（径方向外側）から撮像して得られる透視画像であり、血管の走行を把握するには適している。しかし、造影剤はＣＴＯ病変部位Ｃを通過しないため、図５Ｂ中破線で示した部分の血管壁Ｖ、真腔Ａ及び偽腔Ｂの像を得ることができない。カテーテル１及び第１ガイドワイヤＧＷ１の像が見えるのみである。
一方、図５Ａ及び図５Ｃに示すように、ＩＶＵＳ画像は血管の横断面像（血管の中心線に垂直な面で切った断面像）であり、ＣＴＯ病変部位Ｃ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１の位置を確認することができる。また、図示しない第２ガイドワイヤＧＷ２が存在する部位を撮像すれば、第２ガイドワイヤＧＷ２の位置も確認することができる。しかし、ＩＶＵＳ画像は血管の横断面像であり、術者が頭の中で血管の３次元イメージを構築し、カテーテル１と、真腔Ａとの位置関係を把握することは容易ではない。
また、ＩＶＵＳ画像は、カテーテル１の超音波プローブ１０を周方向に回転させながら、超音波を発し、反射波を検出することにより得られる画像であり、上下左右方向は不定である。このため、図５Ｃ中白抜き矢印で示すように、アンギオ画像は、ＩＶＵＳ画像における血管をどの方向から撮像して得たものかが直ちに分かるものではない。異なる複数の方向から撮像したアンギオ画像を取得し、カテーテル１、第１ガイドワイヤＧＷ１、第１～第３マーカ１１ａ，１１ｂ，１１ｃの画像から、術者はＩＶＵＳ画像とアンギオ画像の位置関係を推定し、ＣＴＯ病変部位Ｃにおける真腔Ａの３次元イメージを頭の中で再構築する必要があり、容易なことではない。
そこで、本実施形態に係る画像処理装置３は、ＩＶＵＳ画像に基づいて、ＣＴＯ病変部位Ｃの血管の３次元画像を生成し、アンギオ画像に当該３次元画像を写像して重畳して表示する処理を実行する。
＜画像処理装置３の機能ブロック図＞
図６は画像処理装置３の機能ブロック図、図７はアンギオ画像に３次元画像が写像及び重畳された合成画像である。画像処理装置３の制御部３１は、補助記憶部３４が記憶するコンピュータプログラムＰを読み出して実行することにより、認識部３ａ、三次元画像生成部３ｂ、座標変換部３ｃ、画像合成部３ｄとして機能する。
図６は画像処理装置３の機能ブロック図、図７はアンギオ画像に３次元画像が写像及び重畳された合成画像である。画像処理装置３の制御部３１は、補助記憶部３４が記憶するコンピュータプログラムＰを読み出して実行することにより、認識部３ａ、三次元画像生成部３ｂ、座標変換部３ｃ、画像合成部３ｄとして機能する。
認識部３ａは、学習モデル３５を用いてＩＶＵＳ画像に含まれる所定のオブジェクトを認識する処理を実行する。例えば、認識部３ａは、ＩＶＵＳ画像に含まれる血管壁Ｖの画像、真腔Ａの画像、偽腔Ｂの画像、カテーテル１の画像、第１ガイドワイヤＧＷ１及び第２ガイドワイヤＧＷ２の画像を認識する。認識部３ａによって認識処理された画像は、オブジェクトの種類に応じた画素値を有する画像、つまりオブジェクトの種類に応じた画素値によってラベル付けされた画像（以下、ラベル付きＩＶＵＳ画像と呼ぶ。）である。認識部３ａは、複数のＩＶＵＳ画像それぞれに対して認識処理を実行し、認識処理によって得られた複数のラベル付きＩＶＵＳ画像を三次元画像生成部３ｂへ出力する。
三次元画像生成部３ｂは、複数のラベル付きＩＶＵＳ画像に基づいて、ＣＴＯ病変部位Ｃの血管を表す３次元画像を生成し、生成した３次元画像を座標変換部３ｃへ出力する。３次元画像は、例えばボクセル法により生成することができる。３次元画像は、所定の座標系におけるボクセルの座標値と、オブジェクトの種類を示すボクセル値とで表されるボリュームデータで表される。なお、３次元画像のデータ形式は特に限定されるものではなく、ポリゴンデータ、点群データであってもよい。
座標変換部３ｃは、３次元画像をアンギオ画像における２次元座標系に座標変換し、座標変換された２次元画像を画像合成部３ｄへ出力する。座標変換の詳細は後述する。
画像合成部３ｄは、図７に示すように座標変換された血管の２次元画像をアンギオ画像に重畳させる合成処理を実行する。画像処理部は、血管の２次元画像を半透明にしてアンギオ画像に重畳させるとよい。つまり、座標変換部３ｃ及び画像合成部３ｄの処理により、血管の３次元画像がアンギオ画像に写像され、重畳表示される。
＜学習モデル３５＞
学習モデル３５は、ＩＶＵＳ画像に含まれる所定のオブジェクトを認識するモデルである。学習モデル３５は、例えば、セマンティックセグメンテーション（Semantic Segmentation）を用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、ＩＶＵＳ画像に含まれるＣＴＯ病変部位Ｃ、具体的には血管壁Ｖ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１、第２ガイドワイヤＧＷ２を認識することができる。
学習モデル３５は、ＩＶＵＳ画像に含まれる所定のオブジェクトを認識するモデルである。学習モデル３５は、例えば、セマンティックセグメンテーション（Semantic Segmentation）を用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、ＩＶＵＳ画像に含まれるＣＴＯ病変部位Ｃ、具体的には血管壁Ｖ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１、第２ガイドワイヤＧＷ２を認識することができる。
図８は、学習モデル３５を用いた画像認識方法を示す説明図である。学習モデル３５は、ＩＶＵＳ画像における血管壁Ｖ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１、第２ガイドワイヤＧＷ２の画像を画素単位で認識できるように学習されている。
学習モデル３５は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）である。学習モデル３５は、いわゆるセマンティックセグメンテーションを用いた画像認識技術により、オブジェクトを画素単位で認識する。
学習モデル３５は、ＩＶＵＳ画像が入力される入力層３５ａと、画像の特徴量を抽出し、復元する中間層３５ｂと、ＩＶＵＳ画像に含まれるオブジェクトを画素単位で示すラベル付きＩＶＵＳ画像を出力する出力層３５ｃとを有する。学習モデル３５は、例えばＵ－Ｎｅｔである。
学習モデル３５は、ＩＶＵＳ画像が入力される入力層３５ａと、画像の特徴量を抽出し、復元する中間層３５ｂと、ＩＶＵＳ画像に含まれるオブジェクトを画素単位で示すラベル付きＩＶＵＳ画像を出力する出力層３５ｃとを有する。学習モデル３５は、例えばＵ－Ｎｅｔである。
学習モデル３５の入力層３５ａは、ＩＶＵＳ画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層３５ｂに受け渡す。中間層３５ｂは、畳み込み層（ＣＯＮＶ層）と、逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、画像データを次元圧縮する層である。次元圧縮により、オブジェクトの特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、画像内の各画素が所定のオブジェクトであるか否かを、オブジェクトの種類に応じた画素値で表したラベル付きＩＶＵＳ画像が生成される。出力層３５ｃは、ラベル付きＩＶＵＳ画像を出力する複数のニューロンを有する。ラベル付きＩＶＵＳ画像は、例えば、血管壁Ｖに対応する画素がクラス「１」、真腔Ａに対応する画素クラス「２」、偽腔Ｂに対応する画素クラス「３」、カテーテル１に対応する画素クラス「４」、第１及び第２ガイドワイヤＧＷ１，ＧＷ２に対応する画素クラス「５」、その他の画像に対応する画素がクラス「０」の画像である。
学習モデル３５は、血管壁Ｖ、カテーテル１、ガイドワイヤ、真腔Ａ及び偽腔Ｂを含むＩＶＵＳ画像と、当該ＩＶＵＳ画像における各オブジェクト画像を示すラベル付きＩＶＵＳ画像とを有する訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。具体的には、制御部３１は、訓練データに含まれる複数のＩＶＵＳ画像を学習前のニューラルネットワークモデルの入力層３５ａに入力し、中間層３５ｂでの演算処理を経て、出力層３５ｃから出力される画像を取得する。そして、制御部３１は、出力層３５ｃから出力された画像と、訓練データに含まれるラベル付きＩＶＵＳ画像とを比較し、出力層３５ｃから出力される画像がラベル付きＩＶＵＳ画像に近づくように、中間層３５ｂでの演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば制御部３１は最急降下法、誤差逆伝播法等を用いて各種パラメータの最適化を行う。
このように学習された学習モデル３５によれば、ＩＶＵＳ画像を学習モデル３５に入力することによって、血管壁Ｖ、カテーテル１、ガイドワイヤ、真腔Ａ及び偽腔Ｂを画素単位で示すラベル付きＩＶＵＳ画像が得られる。
＜３次元画像の座標変換及び重畳表示＞
図９は座標変換方法を示す説明図である。以下、理解を容易にするため、固定された所定の３次元直交座標系である世界座標系を導入し、世界座標系を介して血管の三次元画像をアンギオ画像に写像するものとして説明する。図９中、黒丸は、第１～第３マーカ１１ａ，１１ｂ，１１ｃの画像を示している。なお、説明を簡単にするため、第１～第３マーカ１１ａ，１１ｂ，１１ｃの画像は、カテーテル１による血管走査前、つまりシャフト１１移動前の各マーカの画像であるものとする。
図９は座標変換方法を示す説明図である。以下、理解を容易にするため、固定された所定の３次元直交座標系である世界座標系を導入し、世界座標系を介して血管の三次元画像をアンギオ画像に写像するものとして説明する。図９中、黒丸は、第１～第３マーカ１１ａ，１１ｂ，１１ｃの画像を示している。なお、説明を簡単にするため、第１～第３マーカ１１ａ，１１ｂ，１１ｃの画像は、カテーテル１による血管走査前、つまりシャフト１１移動前の各マーカの画像であるものとする。
図９中、右上に示すアンギオ画像は２次元のアンギオ座標系で表されるものとする。アンギオ座標系のＸａ軸及びＹａ軸は、例えば表示装置４に表示される画像の水平線（横軸）及び垂直線（縦軸）である。図９中、（ｘａ，ｙａ）は、アンギオ座標系におけるアンギオ画像を構成するピクセルの座標値である。
アンギオ画像における第１～第３マーカ１１ａ，１１ｂ，１１ｃ画像の位置は、撮像方向によって変化する。そこで、世界座標系における第１～第３マーカ１１ａ，１１ｂ，１１ｃの絶対的な位置を考える。世界座標系は任意の３次元直交座標系である。世界座標系の設定方法は任意であるが、例えば、血管造影装置１０２による撮像方向が原点であり、撮像方向がＸｗ軸回りで変化するように設定すればよい。
血管走査前のカテーテル１に設けられた第１～第３マーカ１１ａ，１１ｂ，１１ｃの位置は固定的である。少なくとも、第１及び第２マーカ１１ａ，１１ｂの位置関係は一定であり、第１及び第２マーカ１１ａ，１１ｂを通る直線と、第３マーカ１１ｃとの位置関係は一定である。
従って、複数の異なる撮像方向θから撮像して得られるアンギオ画像における第１～第３マーカ画像の座標位置より、世界座標系における第１～第３マーカ１１ａ，１１ｂ，１１ｃの座標位置（ｘｗ，ｙｗ，ｚｗ）を求めることができる。また、世界座標系の座標（ｘｗ，ｙｗ，ｚｗ）を、アンギオ座標系の座標（ｘａ，ｙａ，ｚａ）に変換する座標変換行列ｆｗａを求めることができる。座標変換行列ｆｗａは、回転行列、平行移動行列、正射影行列、拡大縮小行列等の積で表すことができる。座標変換行列ｆｗａは、血管造影装置１０２による撮像方向θの関数で表すことができる。
従って、複数の異なる撮像方向θから撮像して得られるアンギオ画像における第１～第３マーカ画像の座標位置より、世界座標系における第１～第３マーカ１１ａ，１１ｂ，１１ｃの座標位置（ｘｗ，ｙｗ，ｚｗ）を求めることができる。また、世界座標系の座標（ｘｗ，ｙｗ，ｚｗ）を、アンギオ座標系の座標（ｘａ，ｙａ，ｚａ）に変換する座標変換行列ｆｗａを求めることができる。座標変換行列ｆｗａは、回転行列、平行移動行列、正射影行列、拡大縮小行列等の積で表すことができる。座標変換行列ｆｗａは、血管造影装置１０２による撮像方向θの関数で表すことができる。
一方、ＩＶＵＳ画像に基づいて生成される３次元画像はＩＶＵＳ座標系にマッピングされる。ＩＶＵＳ座標系は、例えば３次元直交座標系である。ＩＶＵＳ座標系の取り方は任意である。例えば、第１マーカ及び第２マーカがＺｉ軸を通り、第３マーカがＸｉ軸を通るような３次元座標系が考えられる。具体的には、３次元画像におけるカテーテル１の中心線、言い換えると超音波を出力点の複数のボクセルのＸ座標値及びＹ座標値をゼロとし、３次元画像における第１ガイドワイヤＧＷ１を構成するボクセルのうち、Ｚ軸座標値がゼロのボクセルのＹ座標値がゼロとなるように、３次元座標をＩＶＵＳ座標系にマッピングするとよい。図９中、（ｘｉ，ｙｉ，ｚｉ）は、ＩＶＵＳ座標系における３次元画像を構成するボクセルとの座標値である。
なお、超音波プローブ１０が移動すると、第１マーカ及び第２マーカの位置が変化するが、第１マーカ及び第２マーカは常にＺｉ軸上にあるため、問題無く一つのＩＶＵＳ座標系に３次元画像をマッピングすることができる。
このように第１～第３マーカ１１ａ，１１ｂ，１１ｃの位置をＩＶＵＳ座標系に合わせることにより、いわばカテーテル１を所定の向きに合わせるかのようにして３次元座標をＩＶＵＳ座標系にマッピングすることができる。
なお、超音波プローブ１０が移動すると、第１マーカ及び第２マーカの位置が変化するが、第１マーカ及び第２マーカは常にＺｉ軸上にあるため、問題無く一つのＩＶＵＳ座標系に３次元画像をマッピングすることができる。
このように第１～第３マーカ１１ａ，１１ｂ，１１ｃの位置をＩＶＵＳ座標系に合わせることにより、いわばカテーテル１を所定の向きに合わせるかのようにして３次元座標をＩＶＵＳ座標系にマッピングすることができる。
上記の通りＩＶＵＳ座標系における第１～第３マーカ１１ａ，１１ｂ，１１ｃの位置は既知であり、世界座標系における第１～第３マーカ１１ａ，１１ｂ，１１ｃの座標位置も求められているため、ＩＶＵＳ座標系の座標（ｘｉ，ｙｉ，ｚｉ）を世界座標系の座標（ｘｗ，ｙｗ，ｚｗ）に変換する座標変換行列ｆｉｗを求めることができる。この座標変換行列ｆｉｗは回転行列、平行移動行列及び拡大縮小行列の積で表すことができる。
結局、ＩＶＵＳ座標系における３次元画像を、アンギオ座標系へ写像する座標変換行列ｆｉａは、座標変換行列ｆｉｗと座標変換行列ｆｗａの積で表すことができる。
＜座標変換行列の導出処理＞
図１０は座標変換行列ｆｉａの作成方法を示す説明図、図１１は座標変換行列の作成処理手順を示すフローチャートである。制御部３１は、血管造影装置１０２により複数の異なる撮像方向θから撮像して得られたアンギオ画像及び撮像方向θを取得する（ステップＳ１１）。次いで、制御部３１は所定数方向からアンギオ画像を撮像したか否かを判定する（ステップＳ１２）。所定数は２以上であるが、撮像方向が多い程、座標変換行列の精度、つまり、血管の３次元画像をアンギオ画像に写像する精度が高くなる。
図１０は座標変換行列ｆｉａの作成方法を示す説明図、図１１は座標変換行列の作成処理手順を示すフローチャートである。制御部３１は、血管造影装置１０２により複数の異なる撮像方向θから撮像して得られたアンギオ画像及び撮像方向θを取得する（ステップＳ１１）。次いで、制御部３１は所定数方向からアンギオ画像を撮像したか否かを判定する（ステップＳ１２）。所定数は２以上であるが、撮像方向が多い程、座標変換行列の精度、つまり、血管の３次元画像をアンギオ画像に写像する精度が高くなる。
所定数方向から撮像したアンギオ画像が得られていない場合（ステップＳ１２：ＮＯ）、制御部３１は、血管造影装置１０２へ撮像方向の変更を指示する信号を出力して撮像方向θを変更させ（ステップＳ１３）、処理をステップＳ１１へ戻す。なお、血管造影装置１０２が自動的に撮像方向θを連続的に変化させている場合、ステップＳ１３の処理は不要である。
なお、ステップＳ１１～ステップＳ１３の処理を実行する制御部３１は、生体外の異なる複数の方向から血管（管腔器官）及びカテーテル１を撮像した複数のアンギオ画像（第２画像）を取得する第２取得部として機能する。
なお、ステップＳ１１～ステップＳ１３の処理を実行する制御部３１は、生体外の異なる複数の方向から血管（管腔器官）及びカテーテル１を撮像した複数のアンギオ画像（第２画像）を取得する第２取得部として機能する。
所定数方向から撮像した複数のアンギオ画像が得られた場合（ステップＳ１２：ＹＥＳ）、制御部３１は、複数の異なる撮像方向θから撮像して得た複数のアンギオ画像における第１～第３マーカ１１ａ，１１ｂ，１１ｃの座標値及び撮像方向θを用いて、座標変換行列ｆｉａを算出し（ステップＳ１４）、処理を終える。
なお、ステップＳ１４の処理を実行する制御部３１は、取得した複数のアンギオ画像（第２画像）に基づいて、ＩＶＵＳ画像（第１画像）及びアンギオ画像（第２画像）の位置関係を特定する特定部として機能する。
なお、ステップＳ１４の処理を実行する制御部３１は、取得した複数のアンギオ画像（第２画像）に基づいて、ＩＶＵＳ画像（第１画像）及びアンギオ画像（第２画像）の位置関係を特定する特定部として機能する。
分解して考えると、世界座標系における第１～第３マーカ１１ａ，１１ｂ，１１ｃの座標値が求まれば、ＩＶＵＳ座標系から世界座標系への座標変換行列ｆｉｗが求まる。また、世界座標系における第１～第３マーカ１１ａ，１１ｂ，１１ｃの座標値が求まれば、制御部３１は、世界座標系からアンギオ座標系への座標変換行列ｆｗａ（θの関数）により得られる第１～第３マーカ画像の座標値と、撮像方向θから撮像して得られたアンギオ画像における第１～第３マーカ画像の座標値とが整合するように、例えば最尤推定法により、座標変換行列ｆｗａを求めることができる。そして、座標変換行列ｆｉｗと座標変換行列ｆｗａとの積を求めれば、ＩＶＵＳ座標系における３次元画像を、アンギオ座標系に写像する座標変換行列ｆｉａを求めることができる。
なお、アンギオ座標系に写像される血管の画像は、血管の位置、大きさ、３次元空間における向き及び傾きが全て反映された２次元画像であるため、この２次元画像をアンギオ画像に重畳させることにより、術者はアンギオ画像における血管の３次元構造を容易に理解することができる。
＜３次元画像生成及び重畳表示処理＞
図１２は画像処理手順を示すフローチャートである。画像処理装置３は、学習済みの学習モデル３５と、図１１の処理で座標変換行列を作成済みであるものとして説明する。
図１２は画像処理手順を示すフローチャートである。画像処理装置３は、学習済みの学習モデル３５と、図１１の処理で座標変換行列を作成済みであるものとして説明する。
制御部３１は、血管内超音波検査装置１０１から出力される複数のＩＶＵＳ画像を取得する（ステップＳ３１）。なお、ステップＳ３１の処理を実行する制御部３１は、カテーテルを用いて血管（管腔器官）の横断面を複数箇所で撮像した複数のＩＶＵＳ画像（第１画像）を取得する第１取得部として機能する。
次いで、制御部３１は、取得したＩＶＵＳ画像を学習モデル３５に入力することによって、ＩＶＵＳ画像に含まれるオブジェクトを認識する（ステップＳ３２）。そして、制御部３１は、ステップＳ３２のオブジェクトの認識処理によって得られたラベル付きＩＶＵＳ画像に基づいて血管が３次元画像を生成する（ステップＳ３３）。３次元画像は、例えば、血管壁Ｖ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１及び第２ガイドワイヤＧＷ２を３次元的に表した画像である。
なお、ステップＳ３１及びステップＳ３３の処理を実行する制御部３１は、取得した複数のＩＶＵＳ画像（第１画像）に基づいて、血管（管腔器官）の３次元画像を生成する生成部として機能する。
なお、ステップＳ３１及びステップＳ３３の処理を実行する制御部３１は、取得した複数のＩＶＵＳ画像（第１画像）に基づいて、血管（管腔器官）の３次元画像を生成する生成部として機能する。
そして、制御部３１は、血管造影装置１０２からアンギオ画像と、撮像方向θとを取得する（ステップＳ３４）。制御部３１は、撮像方向θにより座標変換行列を求め、当該座標変換行列を用いて、ＩＶＵＳ座標系における３次元画像を、アンギオ座標系の２次元画像に変換し（ステップＳ３５）、アンギオ座標系に写像された血管の２次元画像を、アンギオ画像に重畳させ（ステップＳ３６）、血管の３次元画像をアンギオ画像に写像して得られた合成画像を表示処理に表示する（ステップＳ３７）。
なお、ステップＳ３５及びステップＳ３６の処理を実行する制御部３１は、特定された位置関係に基づいて、３次元画像をアンギオ画像（第２画像）に写像して重畳表示する重畳表示部として機能する。
なお、ステップＳ３５及びステップＳ３６の処理を実行する制御部３１は、特定された位置関係に基づいて、３次元画像をアンギオ画像（第２画像）に写像して重畳表示する重畳表示部として機能する。
次いで、制御部３１は、処理を終了するか否かを判定する（ステップＳ３８）。終了すると判定した場合（ステップＳ３８：ＹＥＳ）、制御部３１は血管の３次元画像の重畳処理を終了する。終了しないと判定した場合（ステップＳ３８：ＮＯ）、制御部３１は処理をステップＳ３４へ戻す。
以上の通り、本実施形態に係る画像処理装置３等によれば、血管の３次元画像をアンギオ画像に写像して重畳表示することができる。術者が血管の状態を直感的に把握し易くすることができる。
また、カテーテル１に設けられた第１～第３マーカ１１ａ，１１ｂ，１１ｃの座標値に基づいて、座標変換行列を求めることにより、血管の３次元画像を精度良くアンギオ画像に写像し、重畳表示させることができる。
更に、ＩＶＵＳ画像に含まれる血管壁Ｖ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１及び第２ガイドワイヤＧＷ２を認識して３次元画像を生成し、アンギオ画像に写像して重畳表示させることができる。従って、術者は、アンギオ画像における血管壁Ｖ、真腔Ａ、偽腔Ｂ、カテーテル１の位置を容易に認識することができる。
また、画像処理装置３は、３次元画像に含まれる各オブジェクトを透明画像としてアンギオ画像に写像して重畳表示させる構成であるため、アンギオ画像の画像と、ＩＶＵＳ画像に基づく血管の真腔Ａ及び偽腔Ｂ等のオブジェクトの関係をより正確に把握することができる。
また、画像処理装置３は、３次元画像に含まれる各オブジェクトを透明画像としてアンギオ画像に写像して重畳表示させる構成であるため、アンギオ画像の画像と、ＩＶＵＳ画像に基づく血管の真腔Ａ及び偽腔Ｂ等のオブジェクトの関係をより正確に把握することができる。
更にまた、ステップＳ３４～ステップＳ３７の処理を繰り返し実行することにより、時系列的にアンギオ画像及び撮像方向θを取得し、都度、撮像方向θに応じた座標変換画像を求め、三次元画像を、時系列順に取得される当該アンギオ画像に重畳表示させることができる。撮像方向θの変換によってアンギオ画像における血管の位置が変化しても、血管の位置変換に追従するように、３次元画像を該当位置に写像して重畳させることができる。
なお、画像処理装置３は、ＩＶＵＳ画像に含まれる血管壁Ｖ、真腔Ａ、偽腔Ｂ、カテーテル１、第１ガイドワイヤＧＷ１及び第２ガイドワイヤＧＷ２等のオブジェクトを全てアンギオ画像に重畳させる必要は無く、表示するオブジェクトをユーザから受け付けるように構成してもよい。画像処理装置３は、受け付けた表示対象のオブジェクトを含む３次元画像を生成する。具体的には、制御部３１は、ラベル付きＩＶＵＳ画像から、表示対象外のオブジェクトのクラスが付された画素値をゼロに設定することによって、表示対象のオブジェクトのみを含むラベル付きＩＶＵＳ画像を得ることができる。制御部３１は、表示対象のオブジェクトのみを含むラベル付きＩＶＵＳ画像に基づいて、表示対象を表した３次元画像を得ることができる。例えば、制御部３１は、血管壁Ｖと、真腔Ａのみを表した３次元画像を生成し、アンギオ画像に写像し、重畳させることができる。
また、アンギオ画像に重畳させる画像のオブジェクトの内容を示す文字、記号等をアンギオ画像に重畳表示させるように構成してもよい。更に、オブジェクトの種類毎に、異なる色の透明画像をアンギオ画像に重畳させるように構成してもよい。
（変形例１）
また、本実施形態では、カテーテル１に設けられた第１～第３マーカ１１ａ，１１ｂ，１１ｃによって、座標変換行列を求める例を説明したが、これに限定されるものではない。例えば、制御部３１は、カテーテル１に設けられた第１マーカ１１ａ及び第２マーカ１１ｂのマーカ画像と、第１ガイドワイヤＧＷ１又は第２ガイドワイヤＧＷ２の先端部の画像とに基づいて、座標変換行列を求めてもよい。各座標の関係を特定するための基準が異なるのみであり、実施形態で説明した方法で座標変換行列を算出することができる。
その他、血管造影装置１０２によって撮像することができ、かつ３次元空間における位置及び姿勢を特定することができる３点以上の部位であれば、マーカの設定方法は特に限定されるものではない。
また、本実施形態では、カテーテル１に設けられた第１～第３マーカ１１ａ，１１ｂ，１１ｃによって、座標変換行列を求める例を説明したが、これに限定されるものではない。例えば、制御部３１は、カテーテル１に設けられた第１マーカ１１ａ及び第２マーカ１１ｂのマーカ画像と、第１ガイドワイヤＧＷ１又は第２ガイドワイヤＧＷ２の先端部の画像とに基づいて、座標変換行列を求めてもよい。各座標の関係を特定するための基準が異なるのみであり、実施形態で説明した方法で座標変換行列を算出することができる。
その他、血管造影装置１０２によって撮像することができ、かつ３次元空間における位置及び姿勢を特定することができる３点以上の部位であれば、マーカの設定方法は特に限定されるものではない。
（変形例２）
更に、実施形態では、血管造影装置１０２からアンギオ画像と共に撮像方向θの情報を取得する例を説明したが、撮像方向θは必須の情報ではない。制御部３１は、撮像方向θを用いずに座標変換行列を求めるようにしてもよい。制御部３１は、異なる複数の撮像方向θから得られる複数のアンギオ画像に含まれる第１～第３マーカ画像の位置が分かれば、撮像方向θの相対的な変化を求めることができる。制御部３１は、一のアンギオ画像が撮像された撮像方向を基準方向とし、他のアンギオ画像が得られる撮像方向を当該基準方向からの相対角度で表すことができる。この相対角度は、２枚のアンギオ画像から求めることができ、座標変換行列をこの相対角度によって表現すれば、血管造影装置１０２から撮像方向θの情報を得ることなく、血管の３次元画像をアンギオ画像に写像し、重畳させることができる。
更に、実施形態では、血管造影装置１０２からアンギオ画像と共に撮像方向θの情報を取得する例を説明したが、撮像方向θは必須の情報ではない。制御部３１は、撮像方向θを用いずに座標変換行列を求めるようにしてもよい。制御部３１は、異なる複数の撮像方向θから得られる複数のアンギオ画像に含まれる第１～第３マーカ画像の位置が分かれば、撮像方向θの相対的な変化を求めることができる。制御部３１は、一のアンギオ画像が撮像された撮像方向を基準方向とし、他のアンギオ画像が得られる撮像方向を当該基準方向からの相対角度で表すことができる。この相対角度は、２枚のアンギオ画像から求めることができ、座標変換行列をこの相対角度によって表現すれば、血管造影装置１０２から撮像方向θの情報を得ることなく、血管の３次元画像をアンギオ画像に写像し、重畳させることができる。
１ カテーテル
３ 画像処理装置
３ａ 認識部
３ｂ 三次元画像生成部
３ｃ 座標変換部
３ｄ 画像合成部
４ 表示装置
５ 入力装置
１０ 超音波プローブ
１１ シャフト
１０ａ 超音波送受信部
３１ 制御部
３５ 学習モデル
Ｐ コンピュータプログラム
Ａ 真腔
Ｂ 偽腔
Ｃ ＣＴＯ病変部位
Ｖ 血管壁
ＧＷ１ 第１ガイドワイヤ
ＧＷ２ 第２ガイドワイヤ
１００ 画像診断装置
１０１ 血管内超音波検査装置
１０２ 血管造影装置
３ 画像処理装置
３ａ 認識部
３ｂ 三次元画像生成部
３ｃ 座標変換部
３ｄ 画像合成部
４ 表示装置
５ 入力装置
１０ 超音波プローブ
１１ シャフト
１０ａ 超音波送受信部
３１ 制御部
３５ 学習モデル
Ｐ コンピュータプログラム
Ａ 真腔
Ｂ 偽腔
Ｃ ＣＴＯ病変部位
Ｖ 血管壁
ＧＷ１ 第１ガイドワイヤ
ＧＷ２ 第２ガイドワイヤ
１００ 画像診断装置
１０１ 血管内超音波検査装置
１０２ 血管造影装置
Claims (9)
- カテーテルを用いて血管の横断面を複数箇所で撮像した複数の第１画像を取得し、
取得した複数の第１画像に含まれる真腔又は偽腔の画像を認識し、
認識した真腔又は偽腔の前記画像に基づいて、少なくとも前記血管における真腔又は偽腔を表現した３次元画像を生成し、
生体外の異なる複数の方向から前記血管及び前記カテーテルを撮像した複数の第２画像を取得し、
取得した複数の第２画像に基づいて、第１画像及び第２画像の位置関係を特定し、
特定された位置関係に基づいて、前記３次元画像を前記第２画像に写像して重畳表示する
処理をコンピュータに実行させるコンピュータプログラム。 - 前記第２画像は、前記カテーテルに設けられたマーカを撮像して得られるマーカ画像を含み、
取得した複数の第２画像における前記マーカ画像に基づいて、第１画像及び第２画像の位置関係を特定する
処理を前記コンピュータに実行させる請求項１に記載のコンピュータプログラム。 - 前記第２画像は、前記カテーテルに設けられた非直線上に位置する３つ以上のマーカを撮像して得られる複数のマーカ画像を含み、
取得した複数の第２画像それぞれに含まれる複数のマーカ画像に基づいて、第１画像及び第２画像の位置関係を特定する
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。 - 前記第２画像は、前記カテーテルに設けられた複数のマーカを撮像して得られる複数のマーカ画像と、ガイドワイヤの画像とを含み、
取得した複数の第２画像それぞれに含まれる前記複数のマーカ画像及び前記ガイドワイヤの画像に基づいて、第１画像及び第２画像の位置関係を特定する
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプロ
グラム。 - 時系列的に第２画像を取得し、
第１画像と、取得した第２画像との位置関係を順次特定し、
特定された位置関係に基づいて、前記３次元画像を時系列的に取得した各第２画像に順次、写像して重畳表示する
処理を前記コンピュータに実行させる請求項１～請求項４のいずれか１項に記載のコンピュータプログラム。 - 画像に含まれる真腔又は偽腔の画像を認識する学習モデルに、取得した第１画像を入力することによって、第１画像に含まれる真腔又は偽腔の画像を認識する
処理を前記コンピュータに実行させる請求項１～請求項５のいずれか１項に記載のコンピュータプログラム。 - 取得した複数の第１画像に含まれるガイドワイヤの画像を認識し、
認識した前記ガイドワイヤの画像に基づいて、前記ガイドワイヤを表現した３次元画像を生成する
処理を前記コンピュータに実行させる請求項１～請求項６のいずれか１項に記載のコンピュータプログラム。 - カテーテルを用いて血管の横断面を複数箇所で撮像した複数の第１画像を取得し、
取得した複数の第１画像に含まれる真腔又は偽腔の画像を認識し、
認識した真腔又は偽腔の前記画像に基づいて、少なくとも前記血管における真腔又は偽腔を表現した３次元画像を生成し、
生体外の異なる複数の方向から前記血管及び前記カテーテルを撮像した複数の第２画像を取得し、
取得した複数の第２画像に基づいて、第１画像及び第２画像の位置関係を特定し、
特定された位置関係に基づいて、前記３次元画像を前記第２画像に写像して重畳表示する
処理をコンピュータが実行する画像処理方法。 - カテーテルを用いて血管の横断面を複数箇所で撮像した複数の第１画像を取得する第１取得部と、
取得した複数の第１画像に含まれる真腔又は偽腔の画像を認識する認識部と、
認識した真腔又は偽腔の前記画像に基づいて、少なくとも前記血管における真腔又は偽腔を表現した３次元画像を生成する生成部と、
生体外の異なる複数の方向から前記血管及び前記カテーテルを撮像した複数の第２画像を取得する第２取得部と
取得した複数の第２画像に基づいて、第１画像及び第２画像の位置関係を特定する特定部と、
特定された位置関係に基づいて、前記３次元画像を前記第２画像に写像して重畳表示する重畳表示部と
を備える画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020162616A JP7489882B2 (ja) | 2020-09-28 | 2020-09-28 | コンピュータプログラム、画像処理方法及び画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020162616A JP7489882B2 (ja) | 2020-09-28 | 2020-09-28 | コンピュータプログラム、画像処理方法及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022055170A JP2022055170A (ja) | 2022-04-07 |
| JP7489882B2 true JP7489882B2 (ja) | 2024-05-24 |
Family
ID=80997923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020162616A Active JP7489882B2 (ja) | 2020-09-28 | 2020-09-28 | コンピュータプログラム、画像処理方法及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7489882B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023176250A (ja) * | 2022-05-31 | 2023-12-13 | 朝日インテック株式会社 | 手術支援装置、手術支援方法、及びコンピュータプログラム |
| US20250389675A1 (en) * | 2022-08-23 | 2025-12-25 | Shimadzu Corporation | X-ray Imaging Apparatus |
| KR102814592B1 (ko) * | 2023-10-31 | 2025-06-16 | 주식회사 메디픽셀 | 3차원의 혈관 형상 데이터를 생성하는 방법 및 전자 장치 |
| WO2025262829A1 (ja) * | 2024-06-19 | 2025-12-26 | 朝日インテック株式会社 | 手術支援装置および手術支援方法 |
| WO2026004090A1 (ja) * | 2024-06-28 | 2026-01-02 | 朝日インテック株式会社 | 医療装置、画像処理方法、コンピュータプログラム、およびコンピュータプログラム製品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013183875A (ja) | 2012-03-07 | 2013-09-19 | Toshiba Corp | 超音波診断装置及び超音波診断支援方法 |
| WO2014136137A1 (ja) | 2013-03-04 | 2014-09-12 | テルモ株式会社 | 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体 |
| US20140275996A1 (en) | 2013-03-12 | 2014-09-18 | Volcano Corporation | Systems and methods for constructing an image of a body structure |
| CN104068897A (zh) | 2014-06-17 | 2014-10-01 | 汝磊生 | 血管内超声双腔微导管 |
| JP2017153621A (ja) | 2016-02-29 | 2017-09-07 | テルモ株式会社 | 医療用デバイス |
-
2020
- 2020-09-28 JP JP2020162616A patent/JP7489882B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013183875A (ja) | 2012-03-07 | 2013-09-19 | Toshiba Corp | 超音波診断装置及び超音波診断支援方法 |
| WO2014136137A1 (ja) | 2013-03-04 | 2014-09-12 | テルモ株式会社 | 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体 |
| US20140275996A1 (en) | 2013-03-12 | 2014-09-18 | Volcano Corporation | Systems and methods for constructing an image of a body structure |
| CN104068897A (zh) | 2014-06-17 | 2014-10-01 | 汝磊生 | 血管内超声双腔微导管 |
| JP2017153621A (ja) | 2016-02-29 | 2017-09-07 | テルモ株式会社 | 医療用デバイス |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022055170A (ja) | 2022-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7489882B2 (ja) | コンピュータプログラム、画像処理方法及び画像処理装置 | |
| CN108633312B (zh) | 一种在x射线图像中的造影云检测方法 | |
| US10687777B2 (en) | Vascular data processing and image registration systems, methods, and apparatuses | |
| US8295577B2 (en) | Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ | |
| CN114126491B (zh) | 血管造影图像中的冠状动脉钙化的评估 | |
| EP3003161B1 (en) | Method for 3d acquisition of ultrasound images | |
| US8126241B2 (en) | Method and apparatus for positioning a device in a tubular organ | |
| US8126239B2 (en) | Registering 2D and 3D data using 3D ultrasound data | |
| CA2905203E (en) | Vascular data processing and image registration systems, methods, and apparatuses | |
| JP5685605B2 (ja) | インターベンション装置をナビゲートするシステム及びその作動方法、コンピュータプログラムエレメント並びにコンピュータ可読媒体 | |
| US12333718B2 (en) | Method for generating model by recognizing cross-section regions in units of pixels | |
| JP2007536973A (ja) | 情報強調された画像誘導介入 | |
| US20240013385A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus | |
| US12530793B2 (en) | Computer program, information processing method, and information processing device | |
| US20230260120A1 (en) | Information processing device, information processing method, and program | |
| WO2022202323A1 (ja) | プログラム、情報処理方法及び情報処理装置 | |
| US20250221624A1 (en) | Image diagnostic system, image diagnostic method, and storage medium | |
| US20250221625A1 (en) | Image diagnostic system, image diagnostic method, and storage medium | |
| JP7813276B2 (ja) | コンピュータプログラム、情報処理方法及び情報処理装置 | |
| US20250248664A1 (en) | Image diagnostic system and method | |
| WO2008050315A2 (en) | Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ | |
| WO2023100838A1 (ja) | コンピュータプログラム、情報処理装置、情報処理方法及び学習モデル生成方法 | |
| CN116894865A (zh) | 结果数据集的提供 | |
| WO2022071325A1 (ja) | 情報処理装置、情報処理方法、プログラムおよび学習済モデルの生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240514 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7489882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |