JP7650037B2 - マルチモーダル融合映像を利用した動脈硬化性プラーク組織分析方法および装置 - Google Patents

Description

本発明は人工知能映像分析に関する。

光干渉断層映像化技術（Optical coherence tomography，ＯＣＴ）は、参照アーム（Reference arm）のミラーで反射して戻った光とサンプルアーム（sample arm）の組織で散乱されて戻った光を干渉させて組織を映像化する技術である。光干渉断層映像（OCT image）は、心血管内冠状動脈の高解像度形態学的情報を含むため、血管微細構造分析やステント施術後評価のために臨床において幅広く使用されている。しかし、光干渉断層映像を介して、生化学的に複合かつ多様に勃発する動脈硬化性プラークの生化学的情報、および動脈硬化性プラークの破裂危険性評価のための炎症反応などの情報を得るには限界がある。

これを補完するために、光干渉断層映像化技術に近赤外線蛍光映像化技術（near-infrared fluorescence imaging，ＮＩＲＦ）を融合した融合映像技法が提示されたが、動脈硬化性プラークに対する情報を得るために造影剤を使用しなければならないため、臨床および試験に限界がある。

一方、紫外線基盤の蛍光寿命映像化技術（Fluorescence lifetime imaging，ＦＬＩｍ）は、組織自体で発生する自己蛍光の減衰率を測定する技術であって、造影剤がなくても組織の生化学的情報を取得できる長所がある。但し、光干渉断層映像化技術と蛍光寿命映像化技術を融合する場合、特定成分の信号を検出するのではなく組織の自己蛍光を利用しなければならず、多チャンネル映像に含まれる多量の情報により、直観的な映像分析が容易ではない問題を解決しなければならない。

本開示は、マルチモーダル技術が融合されたイメージングシステムにより、血管の融合映像を取得し、人工知能モデルを利用して融合映像から動脈硬化性プラーク組織の構成成分を定量分析する方法および装置を提供するものである。

具体的に本開示は、光干渉断層映像に含まれた動脈硬化性プラークの光学的散乱および吸収特性を反映した形態学的情報と、蛍光寿命映像に含まれた組織構成成分の生化学的情報を統合的に分析する人工知能モデルを学習させ、学習された人工知能モデルを利用して動脈硬化性プラーク組織の構成成分を分析し、血管内炎症反応情報を含む分析結果に基づいて動脈硬化性プラークを検出して、破裂危険性を予測する方法および装置を提供するものである。

一実施例に係る少なくとも一つのプロセッサーによって動作する分析装置の動作方法であって、融合映像の入力を受けるステップと、人工知能モデルを利用して前記融合映像の組織構成成分を分類するステップと、を含む。前記融合映像は、光干渉断層映像化装置を介して血管組織を映像化した第１情報と、蛍光寿命映像化装置を介して前記血管組織を映像化した第２情報と、を含む。前記人工知能モデルは、入力映像に含まれた形態学的特徴および蛍光寿命映像情報を利用して組織構成成分を分類するように学習されたモデルである。

前記人工知能モデルは、前記入力映像に含まれた光干渉断層映像の入力を受け、前記光干渉断層映像の形態学的特徴を抽出するように学習された畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）モデルと、前記ＣＮＮモデルから出力された形態学的特徴、および前記入力映像に含まれた蛍光寿命映像情報の入力を受け、前記入力映像に対する組織構成成分を出力するように学習された分類器と、を含むことができる。前記ＣＮＮモデルが入力を受ける前記光干渉断層映像は、前記融合映像に含まれた前記第１情報を極座標ドメインで表現した映像であり得る。

前記人工知能モデルは、前記第１情報および前記第２情報に含まれたパラメータを示すマルチモーダル映像の入力を受け、前記マルチモーダル映像の特徴値を抽出する拡張されたＣＮＮモデルで実現することができる。

前記第２情報は、互いに異なる波長を有する励起光にマッピングされた多チャンネルの蛍光寿命映像を含み、各蛍光寿命映像は、当該チャンネルで取得された蛍光寿命（lifetime）および蛍光強さ（intensity）を含むことができる。

前記組織構成成分は、脂質、マクロファージ、平滑筋細胞、線維性プラーク、カルシウム、コレステロール結晶、および正常血管壁のうち少なくとも一つを含むことができる。

前記動作方法は、前記融合映像の組織構成成分のうちマクロファージの定量情報に基づいて炎症反応を推定し、前記マクロファージを含む組織を炎症組織または炎症が混ざった脂質組織に分類するステップをさらに含むことができる。

前記動作方法は、前記融合映像の組織構成成分から動脈硬化性プラークを検出するステップをさらに含むことができる。

前記動作方法は、前記融合映像の組織構成成分に基づいて前記動脈硬化性プラークの破裂の可能性を予測するステップをさらに含むことができる。

前記破裂の可能性を予測するステップは、前記融合映像の組織構成成分のうち、破裂の可能性を高める組織構成成分および安定化に寄与する組織構成成分の比率に基づいて前記破裂の可能性を予測することができる。

他の実施例に係る少なくとも一つのプロセッサーによって動作する分析装置の動作方法であって、光干渉断層映像化装置を介して血管組織を映像化した第１情報、および蛍光寿命映像化装置を介して前記血管組織を映像化した第２情報を含む融合映像の入力を受けるステップと、前記第１情報から前記血管組織の形態学的特徴を抽出するステップと、前記形態学的特徴および前記第２情報に含まれる蛍光寿命情報を利用して前記血管組織の組織構成成分を分類するステップと、前記血管組織の構成成分から動脈硬化性プラークを検出するステップと、を含む。

前記第２情報は、互いに異なる波長を有する励起光にマッピングされた多チャンネルの蛍光寿命映像を含み、各蛍光寿命映像は、当該チャンネルで取得された蛍光寿命（lifetime）および蛍光強さ（intensity）を含むことができる。

前記組織構成成分は、脂質、マクロファージ、平滑筋細胞、線維性プラーク、カルシウム、コレステロール結晶、および正常血管壁のうち少なくとも一つを含むことができる。

前記動作方法は、前記血管組織の組織構成成分のうちマクロファージの定量情報に基づいて炎症反応を推定し、前記マクロファージを含む組織を炎症組織または炎症が混ざった脂質組織に分類するステップをさらに含むことができる。

前記動作方法は、前記血管組織の組織構成成分に基づいて前記動脈硬化性プラークの破裂の可能性を予測するステップをさらに含むことができる。

前記破裂の可能性を予測するステップは、前記融合映像の組織構成成分のうち、破裂の可能性を高める組織構成成分および安定化に寄与する組織構成成分の比率に基づいて前記破裂の可能性を予測することができる。

本開示の分析装置は、蛍光寿命映像を利用して血管および動脈硬化性プラーク組織の構成成分に対する定量分析により、動脈硬化性プラークを検出することができ、特に炎症反応分析により、動脈硬化性プラークの破裂の可能性を予測することができる。

本開示の分析装置は、光干渉断層映像化技術（ＯＣＴ）や血管内超音波映像化技術（ＩＶＵＳ）とは異なり、融合映像を取得すると同時に動脈硬化性プラーク組織の構成成分である脂質、マクロファージ、平滑筋細胞、線維性プラークなどに対する定量的かつ包括的な情報を提供することができる。

本開示の分析装置は、動脈硬化性プラークの検出および破裂の可能性予測により、心血管疾患診断に活用することができ、パーソナライズド治療に寄与することができ、動脈硬化性プラークに対する病理生理学的理解を高めるのに寄与することができる。

本開示の分析装置は、蛍光寿命映像と光干渉断層映像を利用するため、血管内超音波映像化技術（ＩＶＵＳ）に比べて解像度と処理速度を改善することができる。

本開示の分析装置は、蛍光寿命映像を利用するため、他のモーダリティとは異なり患者に造影剤を投与する必要がない。

一実施例に係るマルチモーダルイメージングシステムの概念図である。 一実施例に係る人工知能モデルを利用した分析を説明する概念図である。 一実施例に係る人工知能モデルを例示的に説明する図面である。 一実施例に係る学習方法を例示的に説明する図面である。 一実施例に係る動脈硬化性プラーク組織分析方法のフローチャートである。 一実施例に係る動脈硬化性プラーク組織分析結果を説明する図面である。 一実施例に係る分析装置のハードウェアの構成図である。

以下、添付した図面を参考して、本発明の実施例に対して本発明が属する技術分野において通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、本発明は種々の異なる形態で実現することができ、ここで説明する実施例に限られない。そして図面で本発明を明確に説明するために、説明上不要な部分は省略し、明細書全体にわたって類似の部分については類似の図面符号を付けた。

明細書全体で、ある部分がある構成要素を「含む」という時、これは特に反対になる記載がない限り、他の構成要素を除くのではなく他の構成要素をさらに含むことができることを意味する。また、明細書に記載された「・・・部」、「・・・器」、「モジュール」等の用語は、少なくとも一つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア、またはハードウェアおよびソフトウェアの結合で実現することができる。

マルチモーダルは、様々な心血管映像化技術の中から選択することができ、説明では、蛍光寿命映像化技術（Fluorescence lifetime imaging，ＦＬＩｍ）と光干渉断層映像化技術（Optical coherence tomography，ＯＣＴ）を例に上げて説明する。他にも、蛍光寿命映像化技術と血管内超音波映像化技術（IntraVascular UltraSonography，ＩＶＵＳ）が融合したり、蛍光寿命映像化技術、光干渉断層映像化技術、および血管内超音波映像化技術が融合できる。

図１は、一実施例に係るマルチモーダルイメージングシステムの概念図であり、図２は、一実施例に係る人工知能モデルを利用した分析を説明する概念図である。

図１を参考すると、マルチモーダルイメージングシステム１０は、光干渉断層映像化（Optical coherence tomography，ＯＣＴ）装置２０と蛍光寿命映像化（Fluorescence lifetime imaging，ＦＬＩｍ）装置３０を含み、組織に光を照射して反射した光を取得する測定装置４０、および光干渉断層映像化装置２０と蛍光寿命映像化装置３０を測定装置４０に結合させるロータリージョイント装置５０を含むことができる。測定装置４０は、血管に挿入できるプローブまたはカテーテルであってもよく、ロータリージョイント装置５０から入ってきた光を組織に照射し、組織から得られた光を指定された経路を介して伝達する。

マルチモーダルイメージングシステム１０は、少なくとも一つのプロセッサーによって動作する分析装置１００を含むことができる。または、分析装置１００がマルチモーダルイメージングシステム１０と分離されて実現することができ、マルチモーダルイメージングシステム１０は、分析装置１００に光干渉断層映像化装置２０と蛍光寿命映像化装置３０の測定結果を伝達することができ、これを行うコンピューティング装置を含むことができる。

光干渉断層映像化装置２０は、光源の光を測定装置４０に出力し、測定装置４０から戻ってきた光を利用して組織を映像化するが、参照アーム（reference arm）のミラーで反射して戻った光と組織で散乱されて戻った光を干渉させて、干渉信号を利用して組織を映像化することができる。したがって、光干渉断層映像化装置２０を介して映像化された情報は、血管組織の形態学的情報を含むことができる。参考として、測定装置４０を介して取得されたオリジナル光干渉断層映像は、Ｚ軸（測定装置の移動方向）、角度軸（θ、測定装置の回転方向）、および放射軸（ｒ、深さ方向）の３次元映像であり、オリジナル３次元映像でθ別に最大輝度値だけを抽出して２Ｄ最大投射マッピング（maximum projection mapping）映像１ａを作ったり、ＯＣＴ極座標映像１ｂを作ることができる。２Ｄ最大投射マッピング映像１ａは、横がＺ軸であり、縦が角度軸である映像であり、ＯＣＴ極座標映像１ｂは、横が角度軸であり、縦が放射軸の極座標ドメインの映像であり得る。説明では、映像座標系を区分せず、単に光干渉断層映像と呼ぶことができる。

蛍光寿命映像化装置３０は、光源の光を測定装置４０に出力し、測定装置４０から戻ってきた光を利用して組織を映像化するが、蛍光寿命および蛍光強さを利用して組織を映像化することができる。このように、蛍光寿命映像化装置３０は、分子または物質毎に励起光に対して発光する時間（蛍光寿命）が固有である点を利用するため、蛍光寿命映像から組織構成成分の生化学的情報を知ることができる。

蛍光寿命映像化装置３０は、多チャンネル波長分光モジュールを含むことができ、これにより、互いに異なる波長を有する励起光にマッピングされた多チャンネル（例えば、チャンネル１、チャンネル２、チャンネル３）の蛍光寿命映像２を生成することができる。例えば蛍光寿命映像２は、コラーゲン（collagen）情報を概して含むチャンネル１の映像、エラスチン（elastin）とマクロファージ（macrophage）情報を概して含むチャンネル２の映像、脂質（lipid）情報を概して含むチャンネル３の映像で構成される。参考として、蛍光寿命映像２は、横がＺ軸（測定装置の移動方向）であり、縦が角度軸（θ、測定装置の回転方向）を示し、実際取得されたオリジナル映像であり得る。

分析装置１００は、融合映像の入力を受け、人工知能モデル２００を利用して融合映像の組織構成成分を分類する。人工知能モデル２００は、入力映像に含まれる形態学的特徴および蛍光寿命映像情報を利用して組織構成成分を分類するように学習されたモデルである。融合映像は、光干渉断層映像化装置２０を介して血管組織を映像化した情報と、蛍光寿命映像化装置３０を介して血管組織を映像化した情報と、を含むことができる。ここで、光干渉断層映像化装置２０を介して映像化した情報は、光干渉断層映像と表現することができる。蛍光寿命映像化装置３０を介して映像化した情報は、蛍光寿命および蛍光強さであるか、蛍光寿命および蛍光強さを含む蛍光寿命映像と表現することができる。

具体的に、分析装置１００は、光干渉断層映像化装置２０で取得した光干渉断層映像、および蛍光寿命映像化装置３０で取得した蛍光寿命映像の入力を受け、光干渉断層映像と蛍光寿命映像が同じ位置（同じＺ値）にマッピングされた融合映像を生成することができる。分析装置１００は、光干渉断層映像化装置２０で測定した干渉信号、そして蛍光寿命映像化装置３０で測定した蛍光寿命および蛍光強さを受信し、これらの情報が結合された融合映像を生成することができる。または、分析装置１００は、光干渉断層映像と蛍光寿命映像がマッピングされた融合映像の入力を受けることができる。

分析装置１００は、融合映像から組織の構成成分およびその定量情報を含む分析結果３を生成する。分析結果３は、組織構成成分を視覚的に区分して表示し、各構成成分の定量情報を表示することができる。例えば、分析装置１００は、分析された脂質領域、脂質および炎症領域、炎症領域、線維性プラーク領域、正常領域を互いに異なるカラーで区分し、脂質１６．９３％、脂質および炎症３．２７％、炎症９．１７％、線維性プラーク２６．３％、正常４２．２９％と分析された分析結果３を提供することができる。

これのために、分析装置１００は、光干渉断層映像と蛍光寿命映像がマッピングされた融合映像から、組織構成成分に係る特徴を抽出し、特徴から構成成分を分類するように学習された人工知能モデル２００を使用する。この時、人工知能モデル２００は、Ｚ値毎の入力映像から組織構成成分を抽出できる様々な形態で実現することができ、Ｚ値毎に角度に応じた組織構成成分を予測することができる。角度に応じた組織構成成分を全体Ｚ軸に累積すると、測定方向全体に対する分析結果３が生成される。

分析装置１００は、学習された人工知能モデル２００を搭載し、直接人工知能モデル２００を学習させることができるが、説明の便宜上、分析装置１００が人工知能モデル２００を学習させると説明することができる。

分析装置１００は、少なくとも一つのプロセッサーを含み、プロセッサーが命令（instructions）を実行することによって、本開示の動作を行うことができるハードウェアおよびソフトウェアを含む。コンピュータプログラムは、プロセッサーが本開示の動作を実行するように記述された命令（instructions）を含み、非一時的－コンピュータ読み取り可能記憶媒体（non-transitory computer readable storage medium）に記憶される。コンピュータプログラムは、ネットワークを介してダウンロードされたり、製品形態で販売される。

図２を参考すると、人工知能モデル２００は、入力に対する特徴抽出タスク（task）および組織構成成分への分類タスクを学習したモデルであり得る。人工知能モデル２００の入力は、光干渉断層映像（OCT image）と蛍光寿命映像が融合された融合映像４であり、出力は分類された組織構成成分およびその定量情報を含むことができる。ここで、人工知能モデル２００は、特定Ｚ値（Ｚ=ｋ）での融合映像４から特定Ｚ値（Ｚ=ｋ）の角度方向の組織構成成分を抽出することができる。組織構成成分は、例えば、脂質、マクロファージ、平滑筋細胞、線維性プラーク、カルシウム、コレステロール結晶、正常血管壁などを含むことができる。定量情報は、各組織構成成分の確率値を含むことができる。

特定Ｚ値（Ｚ=ｋ）での融合映像４は、含まれた情報を利用してマルチモーダル映像に変換されることができる。マルチモーダル映像は、光干渉断層映像（OCT image）、チャンネル１の蛍光寿命映像（lifetime image）および強さ映像（intensity image）、チャンネル２の蛍光寿命映像および強さ映像、チャンネル３の蛍光寿命映像および蛍光強さを含むことができる。または、マルチモーダル映像は、強さ比率（intensity ratio）映像をさらに含むことができる。

参考として、カテーテルスキャン方式が、高速回転しながら後から引っ張れる螺旋状方式スキャンであるため、融合映像４は、スキャン方式を反映した映像化のために、ＸＹ直交座標系の光干渉断層映像に蛍光寿命映像の情報を外側環形態で表示することができる。分析装置１００は、人工知能モデル２００から出力した組織構成成分を、ＸＹ直交座標系の光干渉断層映像の外側環で表示した出力視角化映像５を提供することができる。

分析装置１００は、人工知能モデル２００の出力情報を加工して分析結果３を提供することができる。分析結果３は、融合映像に対して分類された組織構成成分、および各構成成分の定量情報（確率値）を含むことができる。追加的に、分析結果３は、マクロファージ分布量により推定された炎症反応を含むことができる。

分析結果３は、横がＺ軸であり、縦が角度軸である座標系において、組織構成成分を視覚的に表示することができる。そして、分析結果３は、組織構成成分の比率を表示することができる。分析結果３は、出力視角化映像５に変換することができる。出力視角化映像５は、特定地点（Ｚ=ｋ）での組織構成成分および各構成成分の定量情報を環形態に視覚的に区分して表示することができる。

人工知能モデル２００は、光干渉断層映像に含まれる動脈硬化性プラークの光学的散乱および吸収特性を反映した形態学的情報、および蛍光寿命映像に含まれる組織構成成分の生化学的情報を統合的に分析することができる。実際に、脂質だけ分布した組織、炎症に関連するマクロファージだけ分布した組織、および脂質とマクロファージが共に分布した組織それぞれは蛍光信号が異なり、蛍光寿命および蛍光強さに基づいて組織の構成成分分類が可能である。

人工知能モデル２００を利用した分析結果３により、分析装置１００は、動脈硬化性プラークを検出することができる。また分析装置１００は、分析結果３により、動脈硬化性プラークの破裂の可能性を予測して、高危険動脈硬化性プラークと診断することができる。動脈硬化性プラークの破裂の可能性は、病変の高危険度で計算することができる。病変の高危険度は、病変が有する高危険構成成分の相対的比率で判断することができる。即ち、脈硬化性プラークの破裂の可能性は、分析結果３に含まれる組織構成成分の中で、破裂の可能性を高める脂質、マクロファージ、カルシウム、およびコレステロール結晶などの比率、そして安定化に寄与する線維性プラークなどの比率に基づいて計算することができる。

人工知能モデル２００は、少なくとも一つのタスク（task）を学習する機械学習モデル（machine learning model）であって、プロセッサーによって実行されるコンピュータプログラムで実現することができる。人工知能モデル２００は、入力データ、タスク（task）の種類、学習方法に合わせて、様々なモデルを利用して構成することができる。

人工知能モデル２００は、光干渉断層映像に含まれる動脈硬化性プラークの光学的散乱および吸収特性を反映した形態学的特徴を抽出するタスク、および、光干渉断層映像の形態学的特徴と蛍光寿命映像の生化学的特徴に基づいて組織構成成分を分類するタスクを学習することができる。人工知能モデル２００は、マルチモーダル融合映像の入力を受けるが、光干渉断層映像と蛍光寿命映像を含む融合映像の入力を受けることができる。

人工知能モデル２００の学習データは、ラベル（label）を有する融合映像を含むことができる。各融合映像は、動脈硬化性プラーク組織の構成成分である脂質、マクロファージ、平滑筋細胞、線維性プラーク、カルシウム、コレステロール結晶、正常血管壁などに区分され、組織構成成分が映像にアノテーションされている。ここで、融合映像に組織構成成分をアノテーションすることが容易ではないが、光干渉断層映像と蛍光寿命映像だけでなく実際の組織染色映像を取得し、実際の組織染色映像に含まれる形態、脂質強調、マクロファージ免疫などを融合映像にマッチングする方式で組織構成成分をアノテーションすることができる。

図３と図４それぞれは、一実施例に係る人工知能モデルおよびその学習方法を例として説明する図面である。

図３を参考すると、人工知能モデル２００の一実施例として、人工知能モデル２００ａは、入力映像の形態学的特徴を抽出する畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）モデル２１０、および入力された特徴値を組織構成成分としてランダムフォレスト分類器（Random forest classifier）２３０で構成することができる。ＣＮＮモデル２１０は、残差ブロック（residual block）を利用するResNetで実現されるが、他の種類のＣＮＮモデルで実現することができる。入力映像は、Ｚ値毎に測定された融合映像であり、入力映像に対する出力は、Ｚ値で角度毎の組織構成成分であり、出力をＺ値に応じて累積して全体入力映像に対する分析結果が生成される。

人工知能モデル２００ａは、Ｚ軸で連続的に測定された融合映像で構成された学習データを利用して学習され、Ｚ軸単位の融合映像の入力を受け、入力映像に対する組織構成成分を出力する。これのために、ＣＮＮモデル２１０は、学習データで、光干渉断層映像の入力を受け、入力映像に含まれる形態学的特徴を抽出する学習をする。この時、ＣＮＮモデル２１０は、入力映像から各軸方向プロファイルを代表する合成積特徴値を抽出できるように構成することができる。ＣＮＮモデル２１０は、出力とラベルの損失（loss）を最少化する指導学習することができる。

ＣＮＮモデル２１０は、最終段に完全連結レイヤー（Fully Connected layer，ＦＣ）が追加された状態で入力映像から形態学的特徴を抽出する学習をした後、人工知能モデル２００ａの特徴値抽出器で使用されることができる。この時、完全連結レイヤーは、入力映像から抽出する特徴値の個数だけのノードを有するが、これは人工知能モデル２００ａが入力映像に対して分類する組織構成成分の個数と同じであってもよい。一方、組織構成成分は、隣接する構成成分の影響を受けることがあるため、ＣＮＮモデル２１０は、光干渉断層映像を放射軸－角度ドメイン（ｒ，θ）に変換した極座標映像の入力を受けることができる。

人工知能モデル２００ａのランダムフォレスト分類器２３０は、入力映像が有する血管の形態学的特徴、そして血管から取得されたチャンネル別蛍光寿命（lifetime）および蛍光強さ（intensity）を含む蛍光寿命映像パラメータの入力を受け、入力映像に対して組織構成成分を分類する学習をする。ランダムフォレスト分類器２３０は、入力映像のデータを入力として使用し、特定構成成分に対するワン－ホットベクトル（one-hot vector）を出力として、ランダムフォレスト分類学習をする。この時、ランダムフォレスト分類器２３０は、図２で説明した通り、入力映像の角度に応じた構成成分確率を提供することができる。ランダムフォレスト分類器２３０から出力された構成成分の分類確率に基づいて、角度に対する分類結果を視覚的に表現した映像が生成される。

この時、ランダムフォレスト分類器２３０は、学習されたＣＮＮモデル２１０から入力映像が有する形態学的特徴の入力を受けることができる。学習されたＣＮＮモデル２１０は、入力映像の形態学的特徴を抽出するが、学習と同様に、融合映像に含まれる半径－角度ドメイン（ｒ，θ）に変換した極座標映像の入力を受けることができる。

ランダムフォレスト分類器２３０は、入力映像に含まれる蛍光寿命映像から抽出されたチャンネル別蛍光寿命および蛍光強さの入力を受けることができる。蛍光寿命映像が、コラーゲン（collagen）情報を概して含むチャンネル１の映像、エラスチン（elastin）とマクロファージ（macrophage）情報を概して含むチャンネル２の映像、脂質（lipid）情報を概して含むチャンネル３の映像で構成される場合、ランダムフォレスト分類器２３０は、三つのチャンネルそれぞれで測定される蛍光寿命および蛍光強さ（６個の測定値）を特徴値として入力を受けることができる。

このように、ランダムフォレスト分類器２３０は、光干渉断層映像から抽出された形態学的特徴値と蛍光寿命映像で取得された６個の測定値を利用して、組織構成成分を分類する学習をする。したがって、形態学的情報と生化学的情報を全て利用したため、ノイズが目立つ医学映像で良い分類性能を提供するようになる。

学習された人工知能モデル２００ａは、光干渉断層映像と蛍光寿命映像を含む融合映像の入力を受け、融合映像が撮影された組織の構成成分を出力することができる。撮影された組織は、脂質、マクロファージ、平滑筋細胞、線維性プラーク、カルシウム、コレステロール結晶、正常血管壁などに分類され、各構成成分の定量的比率が計算される。

図４を参考すると、人工知能モデル２００の他の実施例として、人工知能モデル２００ｂは、血管から取得されたマルチモーダルイメージの特徴値から組織構成成分の確率値を出力することができる。

人工知能モデル２００ｂは、光干渉断層映像および蛍光寿命映像を結合（concatenate）したマルチモーダル映像（multimodal images）の入力を受けることができる。人工知能モデル２００ｂは、放射軸－角度ドメイン（ｒ，θ）に変換したマルチモーダル映像の入力を受けることができる。

マルチモーダル映像は、融合映像４に含まれる様々なパラメータを示すことができ、例えば、光干渉断層映像（OCT image）、チャンネル１の蛍光寿命映像（lifetime image）および強さ映像（intensity image）、チャンネル２の蛍光寿命映像および強さ映像、チャンネル３の蛍光寿命映像および蛍光強さを含むことができる。または、マルチモーダル映像は、強さ比率（intensity ratio）映像をさらに含むことができる。

人工知能モデル２００ｂは、放射軸－角度ドメイン（ｒ，θ）のマルチモーダル映像の入力を受け、マルチモーダル映像の特徴値を抽出した後、最終ソフトマックスレイヤーで組織構成成分の確率値を出力することができる。この時、放射軸（ｒ）方向の情報はなくなり、入力映像の角度に応じた構成成分確率が出力できる。人工知能モデル２００ｂは、拡張されたＣＮＮ基盤で実現でき、例えば、U-net構造の拡張されたＣＮＮで実現することができる。

図５は、一実施例に係る動脈硬化性プラーク組織分析方法のフローチャートである。

図５を参考すると、少なくとも一つのプロセッサーによって動作する分析装置１００は、光干渉断層映像情報と蛍光寿命映像情報を含む融合映像の入力を受ける（Ｓ１１０）。融合映像は、同じ血管組織を光干渉断層映像化装置２０を介して映像化した情報と、蛍光寿命映像化装置３０を介して映像化した情報とを含む。蛍光寿命映像化装置３０は、互いに異なる波長を有する励起光にマッピングされた多チャンネルの蛍光寿命映像を出力することができる。

分析装置１００は、形態学的特徴および蛍光寿命映像情報を利用して組織構成成分を分類するタスクを学習した人工知能モデル２００を利用して、融合映像の組織構成成分を出力する（Ｓ１２０）。人工知能モデル２０は、融合映像に含まれる光干渉断層映像の形態学的特徴、および蛍光寿命映像情報（蛍光寿命および蛍光強さ）を利用して組織構成成分を分類することができる。分析装置１００は、融合映像に含まれる光干渉断層映像情報を極座標映像に変換し、極座標映像を人工知能モデル２００に入力することができる。また、分析装置１００は、融合映像に含まれる蛍光寿命映像情報からチャンネル別に測定された蛍光寿命および蛍光強さを抽出し、蛍光寿命および蛍光寿命を人工知能モデル２００に入力することができる。このための人工知能モデル２００は、図３の人工知能モデル２００ａのように、融合映像の形態学的特徴と蛍光寿命特徴から、組織構成成分を分類するランダムフォレスト分類器２３０で構成することができ、融合映像の形態学的特徴は、光干渉断層映像にＣＮＮモデル２１０を適用して抽出し、蛍光寿命特徴は、融合映像の中の蛍光寿命映像の蛍光寿命と蛍光強さを利用することができる。

人工知能モデル２００は、図４の人工知能モデル２００ｂのように、融合映像に含まれるマルチモーダル映像から組織構成成分の確率値を出力するＣＮＮ基盤のモデルであり得る。

分析装置１００は、融合映像の組織構成成分から動脈硬化性プラークを検出して、破裂危険性を予測する（Ｓ１３０）。

図６は、一実施例に係る動脈硬化性プラーク組織分析結果を説明する図面である。

図６を参考すると、人工知能モデル２００を含む分析装置１００は、光干渉断層映像情報と蛍光寿命映像情報を含む融合映像６，７の入力を受け、入力映像の組織構成成分を分析した分析結果８，９を出力することができる。

例えば、動脈硬化性プラーク血管から取得された融合映像６が入力されると、分析装置１００は、動脈硬化性プラーク組織の構成成分で融合映像を分類し、各組織構成成分の定量的比率を含む分析結果８を出力することができる。分析結果８は、脂質、線維性プラーク、正常を含むことができる。分析装置１００は、組織構成成分のうち、マクロファージの定量情報に基づいて炎症反応を推定して、マクロファージを含む組織を炎症組織、または炎症が混ざった脂質組織に分類することができる。

一方、正常血管から取得された融合映像７が入力されると、分析装置１００は、正常組織に分類された分析結果９を出力することができる。

図７は、一実施例に係る分析装置のハードウェアの構成図である。

図７を参考すると、分析装置１００は、少なくとも一つのプロセッサーによって動作するコンピューティング装置で実現することができる。分析装置１００は、一つ以上のプロセッサー１１０、プロセッサー１１０によって実行されるコンピュータプログラムをロードするメモリ１３０、コンピュータプログラムおよび各種データを記憶する記憶装置１５０、通信インターフェース１７０、そしてこれらを接続するバス１９０を含むことができる。他にも、分析装置１００は、様々な構成要素をさらに含むことができる。

プロセッサー１１０は、分析装置１００の動作を制御する装置であって、コンピュータプログラムに含まれる命令語を処理する様々な形態のプロセッサーであってもよく、例えば、ＣＰＵ（Central-Processing-Unit）、ＭＰＵ（Micro Processor Unit）、ＭＣＵ（Micro Controller Unit）、ＧＰＵ（Graphic Processing Unit）または本開示の技術分野によく知られた任意の形態のプロセッサーのうち少なくとも一つを含んで構成されてもよい。

メモリ１３０は、各種データ、命令および／または情報を記憶する。メモリ１３０は、本開示の動作を実行するように記述された命令がプロセッサー１１０によって処理されるように当該コンピュータプログラムを記憶装置１５０からロードすることができる。メモリ１３０は、例えばＲＯＭ（read only memory）、ＲＡＭ（random access memory）などであり得る。

記憶装置１５０は、コンピュータプログラム、各種データを非臨時的に記憶することができる。記憶装置１５０は、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリなどのような非揮発性メモリ、ハードディスク、着脱型ディスク、または本開示が属する技術分野においてよく知られた任意の形態のコンピュータで読み取り可能な記録媒体を含んで構成される。

通信インターフェース１７０は、有／無線通信をサポートする有／無線通信モジュールであり得る。

バス１９０は、分析装置１００の構成要素間通信機能を提供する。

コンピュータプログラムは、プロセッサー１１０によって実行される命令（instructions）を含み、非一時的－コンピュータ読み取り可能記憶媒体（non-transitory computer readable storage medium）に記憶され、命令は、プロセッサー１１０が本開示の動作を実行するように作る。コンピュータプログラムは、ネットワークを介してダウンロードされたり、製品形態で販売される。人工知能モデル２００は、プロセッサー１１０によって実行されるコンピュータプログラムで実現することができる。

このように、本開示の分析装置は、動脈硬化性プラーク組織の構成成分に対する定量分析により、動脈硬化性プラークを検出することができ、特に炎症反応分析により、動脈硬化性プラークの破裂の可能性を予測することができる。

本開示の分析装置は、融合映像を取得すると同時に、動脈硬化性プラーク組織の構成成分の脂質、マクロファージ、平滑筋細胞、線維性プラークなどに対する定量的かつ包括的な情報を提供することができる。

本開示の分析装置は、動脈硬化性プラークの検出および破裂の可能性予測により、心血管疾患診断に活用することができ、パーソナライズド治療に寄与することができ、動脈硬化性プラークに対する病理生理学的理解を高めるのに寄与することができる。

以上で説明した本発明の実施例は、装置および方法だけによって実現されるのではなく、本発明の実施例の構成に対応する機能を実現するプログラムまたはそのプログラムが記録された記録媒体を介して実現することもできる。

以上、本発明の実施例に対して詳細に説明したが、本発明の権利範囲はこれに限定されるものではなく、次の請求範囲で定義している本発明の基本概念を利用した当業者の様々な変形および改良形態も本発明の権利範囲に属するものである。

Claims (14)

1. 少なくとも一つのプロセッサーによって動作する分析装置の動作方法であって、
   融合映像の入力を受けるステップと、
   人工知能モデルを利用して前記融合映像の組織構成成分を分類するステップと、を含み、
   前記融合映像は、光干渉断層映像化装置を介して血管組織を映像化した第１情報と、蛍光寿命映像化装置を介して前記血管組織を映像化した第２情報と、を含み、
   前記人工知能モデルは、入力映像に含まれた形態学的特徴および蛍光寿命映像情報を利用して組織構成成分を分類するように学習されたモデルであり、
   前記人工知能モデルは、前記入力映像に含まれた光干渉断層映像の入力を受け、前記光干渉断層映像の形態学的特徴を抽出するように学習された畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）モデルと、
   前記ＣＮＮモデルから出力された形態学的特徴、および前記入力映像に含まれた蛍光寿命映像情報の入力を受け、前記入力映像に対する組織構成成分を出力するように学習された分類器と、を含む、動作方法。
2. 前記ＣＮＮモデルが入力を受ける前記光干渉断層映像は、前記融合映像に含まれた前記第１情報を極座標ドメインで表現した映像である、請求項１に記載の動作方法。
3. 前記第２情報は、互いに異なる波長を有する励起光にマッピングされた多チャンネルの蛍光寿命映像を含み、各蛍光寿命映像は、当該チャンネルで取得された蛍光寿命（lifetime）および蛍光強さ（intensity）を含む、請求項１に記載の動作方法。
4. 前記組織構成成分は、脂質、マクロファージ、平滑筋細胞、線維性プラーク、カルシウム、コレステロール結晶、および正常血管壁のうち少なくとも一つを含む、請求項１に記載の動作方法。
5. 前記融合映像の組織構成成分のうちマクロファージの定量情報に基づいて炎症反応を推定し、前記マクロファージを含む組織を炎症組織または炎症が混ざった脂質組織に分類するステップをさらに含む、請求項１に記載の動作方法。
6. 前記融合映像の組織構成成分から動脈硬化性プラークを検出するステップをさらに含む、請求項１に記載の動作方法。
7. 前記融合映像の組織構成成分に基づいて前記動脈硬化性プラークの破裂の可能性を予測するステップをさらに含む請求項６に記載の動作方法。
8. 前記破裂の可能性を予測するステップは、前記融合映像の組織構成成分のうち、破裂の可能性を高める組織構成成分および安定化に寄与する組織構成成分の比率に基づいて前記破裂の可能性を予測する、請求項７に記載の動作方法。
9. 少なくとも一つのプロセッサーによって動作する分析装置の動作方法であって、
   光干渉断層映像化装置を介して血管組織を映像化した第１情報、および蛍光寿命映像化装置を介して前記血管組織を映像化した第２情報を含む融合映像の入力を受けるステップと、
   人工知能モデルを利用して前記第１情報から前記血管組織の形態学的特徴を抽出するステップと、
   前記人工知能モデルを利用して前記形態学的特徴および前記第２情報に含まれる蛍光寿命情報を利用して前記血管組織の組織構成成分を分類するステップと、
   前記血管組織の構成成分から動脈硬化性プラークを検出するステップと、を含み、
   前記人工知能モデルは、前記第１情報から前記血管組織の形態学的特徴を抽出するように学習された畳み込みニューラルネットワーク（Convolutional Neural Network,ＣＮＮ）モデルと、
   前記ＣＮＮモデルから出力された形態学的特徴、および前記蛍光寿命情報から前記血管組織の組織構成成分を分類するように学習された分類器と、を含む、動作方法。
10. 前記第２情報は、互いに異なる波長を有する励起光にマッピングされた多チャンネルの蛍光寿命映像を含み、各蛍光寿命映像は、当該チャンネルで取得された蛍光寿命（lifetime）および蛍光強さ（intensity）を含む、請求項９に記載の動作方法。
11. 前記組織構成成分は、脂質、マクロファージ、平滑筋細胞、線維性プラーク、カルシウム、コレステロール結晶、および正常血管壁のうち少なくとも一つを含む、請求項９に記載の動作方法。
12. 前記血管組織の組織構成成分のうちマクロファージの定量情報に基づいて炎症反応を推定し、前記マクロファージを含む組織を炎症組織または炎症が混ざった脂質組織に分類するステップをさらに含む、請求項９に記載の動作方法。
13. 前記血管組織の組織構成成分に基づいて前記動脈硬化性プラークの破裂の可能性を予測するステップをさらに含む請求項９に記載の動作方法。
14. 前記破裂の可能性を予測するステップは、前記融合映像の組織構成成分のうち、破裂の可能性を高める組織構成成分および安定化に寄与する組織構成成分の比率に基づいて前記破裂の可能性を予測する、請求項１３に記載の動作方法。