JP2024526761A - Ｏｃｔ画質保証のための深層学習に基づくアプローチ - Google Patents

Abstract

本開示の態様は、ＯＣＴ画像を分類するために機械学習モデル又はニューラルネットワークをトレーニングするシステム、方法、及びアルゴリズムに関する。ニューラルネットワーク又は機械学習モデルは、ＯＣＴ画像のどの部分が遮られているか、及びどの部分がクリアであるかを示す、アノテートされたＯＣＴ画像と、クリアなもの又は遮られているものとしてのＯＣＴ画像の分類とを受信してもよい。トレーニングの後、ニューラルネットワークは、１枚以上の新たなＯＣＴ画像を分類するために使用されてもよい。分類の結果を出力し、１枚以上のＯＣＴ画像の分析を要約するために、ユーザインタフェースが提供されてもよい。【選択図】図８

Description

本開示は、一般的に、血管系撮像及びデータ収集のシステム及び方法の分野に関する。特に、本開示は、光干渉断層撮影（ＯＣＴ：Optical Coherence Tomography）システムにおける画質の検出及び画像のカテゴライズを改善する方法に関する。

［関連出願の相互参照］
本願は、２０２１年７月１２日に出願された米国仮特許出願第６３／２２０，７２２号の出願日の利益を主張し、その開示内容は引用することにより本明細書の一部をなすものとする。

光干渉断層撮影法（ＯＣＴ）は、光を使用してミクロンスケールで組織の断面画像をキャプチャする撮像手法である。ＯＣＴは、光を使用して冠動脈又は他の動脈の壁を覗き込み、研究のためにその画像を生成する、カテーテルベースの撮像モダリティ（imaging modality）となりうる。コヒーレント光、干渉計、及び微小光学系を利用して、ＯＣＴは、マイクロメートルレベルの分解能で疾患血管内のビデオレートの生体内断層撮影を可能にする。光ファイバプローブを使用して高分解能で表面下の構造を見ることは、ＯＣＴを、内部組織及び臓器の低侵襲撮像に特に有用なものとする。ＯＣＴを用いて可能とされるこのレベルの詳細さは、医師が冠動脈疾患の進行を診断及び監視することを可能にする。

ＯＣＴ画像は、様々な理由によって劣化しうる。例えば、ＯＣＴ画像は、血管のＯＣＴ画像が取得されるときに、その血管内の血液の存在により劣化しうる。血液の存在は、血管内の処置の間に、血管境界の適切な特定を妨げうる。劣化した画像は、解釈又は診断に有用でないものとなりうる。例えば、ＯＣＴデバイスが血管の長さをスキャンするために使用される処置である「引き戻し」（pull-back）の間、数千枚の画像が取得されうるが、そのうちのいくつかは、ＯＣＴの引き戻しの間に管腔輪郭を遮る血液の存在のために、劣化しうるか、不正確なものとなりうるか、又は分析に有用でないものとなりうる。

どのＯＣＴ画像が劣化しているかの特定は、血管のＯＣＴスキャンの間に取得された数百枚又は数千枚の画像の、手作業での、フレーム毎又は画像毎の分析を必要とする。さらに、この分析は、ＯＣＴ処置が完了した後に実行されるものであり、劣化した画像に対応する血管の部分の、より好適な品質の画像を取得するためには、追加的なＯＣＴスキャンを潜在的に必要とする。

血液の存在を検出するために必要とされる追加的な機器は、典型的な臨床ワークフローを変更させるか、画質を劣化させるか、又は他の態様で臨床の実装における複雑さを増大させうる。潜在的に不正確な管腔検出を検出するために開発された他のツールは、信頼性が低いことが示されており、キャプチャされたＯＣＴ画像が血液で遮られているか否かを直接には検出せず、したがって解釈に有用でない。

画像から直接の、どの画像又は画像の群が劣化しているかの、リアルタイムの又は略リアルタイムの識別は、ＯＣＴスキャンを解釈する際にそれらの画像が無視されることを可能にし、ＯＣＴ機器が依然としてその場所（in situ）にある間に、遮られた血管の部分が再スキャンされることを可能にする。

開示される技術の態様は、ＯＣＴの引き戻し（pullback）のクリア画像長（ＣＩＬ：clear image length）の算出を可能にする。クリア画像長は、例えば血液等によって妨害されていないＯＣＴの引き戻しの連続したセクションについての指標となりうる。

開示される技術の態様は、診断用医用画像（diagnostic medical image）を分類する方法を含む。本方法は、診断用医用画像を受信するステップと、トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析するステップであって、トレーニングされた機械学習モデルは、アノテートされた（annotated：注釈が施された）診断用医用画像のセットに対してトレーニングされるものである、ステップと、分析に基づいて、診断用医用画像の画質を特定するステップと、特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップとを含んでもよい。診断用医用画像は、一連の診断用医用画像のうちの単一の画像であってもよい。一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される。診断用医用画像は、第１の分類又は第２の分類として分類されてもよい。診断用医用画像が第２の分類に分類された場合に、アラート又は通知が提供されてもよい。アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含んでもよい。診断用医用画像は、光干渉断層撮影法画像であってもよい。診断用医用画像は、クリア医用画像又は血液医用画像として分類されてもよい。診断用医用画像が許容可能であるか許容可能でないかを示す確率が、計算されてもよい。計算された確率を診断用医用画像の分類に変換するために、閾値法が使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、グラフカットが使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、形態学的分類が使用されてもよい。「許容可能」（acceptable）とは、診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味しうる。クリア画像長又はクリア画像長インジケータが、表示又は出力されてもよい。

開示される技術の態様は、命令を記憶するメモリに結合された処理デバイスを備えるシステムであって、命令は、処理デバイスに対し、診断用医用画像を受信することと、トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析することであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものである、ことと、分析に基づいて、診断用医用画像の画質を特定することと、特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力することとを行わせるものである、システムを含んでもよい。診断用医用画像は、光干渉断層撮影法（ＯＣＴ）画像であってもよい。命令は、複数のＯＣＴ画像を、複数のＯＣＴ画像の各画像の分類に関連するインジケータとともに表示するように構成されていてもよい。一連の診断用医用画像は、光干渉断層撮影の引き戻し（pullback）を通して取得されてもよい。

開示される技術の態様は、プログラム命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されたときに、診断用医用画像を受信するステップと、トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析するステップであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされる、ステップと、分析に基づいて、診断用医用画像の画質を特定するステップと、特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップとを実行する、非一時的コンピュータ可読媒体を含んでもよい。診断用医用画像は、一連の診断用医用画像のうちの単一の画像であってもよい。一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得されてもよい。診断用医用画像は、第１の分類又は第２の分類として分類されてもよい。診断用医用画像が第２の分類に分類された場合に、アラート又は通知が提供されてもよい。アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含んでもよい。診断用医用画像は、クリア医用画像又は血液医用画像として分類されてもよい。診断用医用画像が許容可能であるか許容可能でないかを示す確率が、計算されてもよい。計算された確率を診断用医用画像の分類に変換するために、閾値法が使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、グラフカットが使用されてもよい。計算された確率を診断用医用画像の分類に変換するために、形態学的分類が使用されてもよい。「許容可能」とは、診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味しうる。クリア画像長又はクリア画像長インジケータが、表示又は出力されてもよい。分類不可能な画像は、トレーニングされた機械学習モデルを再トレーニングするために保存されてもよい。

本開示の態様による、撮像及びデータ収集システムの概略図である。 本開示の態様による、「クリアな」ＯＣＴ画像である。 本開示の態様による、アノテートされた「クリアな」ＯＣＴ画像である。 本開示の態様による、「遮られている」ＯＣＴ画像である。 本開示の態様による、アノテートされた「遮られている」ＯＣＴ画像である。 本開示の態様による、データのトレーニングセットに関連するヒストグラムである。 本開示の態様による、トレーニングプロセスのフロー図である。 本開示の態様による、ＯＣＴ画像を分類する態様に関連するフロー図である。 本開示の態様による、ＯＣＴ画像のシーケンスを分類又はグループ化するために使用されうる手法の態様を示す図である。 本開示の態様による、管腔輪郭の信頼度及び画質の態様に関連するユーザインタフェースを示す図である。 本開示の態様による、ＯＣＴの引き戻しのクリア画像長（ＣＩＬ）を生成又は算出するために使用されうる方法を示す図である。 本開示の態様による、一例示のＣＩＬコストマトリクスを示す図である。 本開示の態様による、ＯＣＴの引き戻しに組み込まれたＣＩＬを有する一例示のＯＣＴの引き戻しを示す図である。 本開示の態様による、機械学習のタスクベースのアプローチを使用して画質を保証する一例示の方法を示すフロー図である。 本開示の態様による、管腔検出タスクからの一例示の画像である。 本開示の態様による、図１３Ａの画像についての一例示のタスク結果を示す図である。 本開示の態様による、管腔検出タスクの一例示の信頼度の結果を示す図である。 本開示の態様による、図１３Ｃに関連する信頼度値を示す一例示のグラフである。 本開示の態様による、図１３Ｃに関連する信頼度値を示す一例示のグラフである。 本開示の態様による、管腔検出タスクからの別の例示の画像である。 本開示の態様による、図１５Ａの画像についての別の例示のタスク結果を示す図である。 本開示の態様による、管腔検出タスクについての別の例示の信頼度の結果を示す図である。 本開示の態様による、図１５Ｃに関連する信頼度値を示す一例示のグラフである。 本開示の態様による、図１５Ｃに関連する信頼度値を示す一例示のグラフである。 本開示の態様による、Ａラインフレーム毎の一例示の信頼度集計を示す図である。 本開示の態様による、フレーム引き戻し毎の一例示の信頼度集計を示す図である。 本開示の態様による、一例示のユーザインタフェースのスクリーンショットである。

本開示は、機械学習に基づく手法の使用を通して、画質の悪い医療診断画像（medical diagnostic image）をリアルタイムで特定する、システム、方法、及び非一時的コンピュータ可読媒体に関する。医療診断画像の非限定的な例は、ＯＣＴ画像、血管内超音波（ＩＶＵＳ：intravascular ultrasound）画像、ＣＴスキャン、又はＭＲＩスキャンを含む。例えば、ＯＣＴ画像が受信され、トレーニングされた機械学習モデルを用いて分析される。いくつかの例においては、トレーニングされた機械学習モデルは、画像を分析した後に確率を出力してもよい。いくつかの例においては、出力される確率は、画像が特定のカテゴリ又は分類に属するか否かの確率に関連してもよい。例えば、分類は、取得された画像の品質、及び／又は品質が更なる処理又は分析を実行するのに十分であるか否かに、関連するものとすることができる。いくつかの例においては、分類は、「許容可能／許容不可能」（acceptable/unacceptable）、「クリア／遮られている」（clear/blocked）等のバイナリ分類であってもよい。

機械学習モデルは、アノテートされた又はマークされたデータのセットに基づいてトレーニングすることができる。アノテートされた又はマークされたデータのセットは、画像の部分の分類又は特定を含んでもよい。いくつかの例によれば、トレーニングデータのセットは、「血液で遮られている」又は「血液で遮られていない」としてマーク又は分類することができる。いくつかの例においては、トレーニングデータは、許容可能又は許容不可能／遮られているものとしてマークすることができる。いくつかの例においては、データのセットは、１回以上のＯＣＴの引き戻しの間に取得されたＯＣＴ画像を含んでもよい。いくつかの例においては、トレーニングデータの１つ以上のセットは、トレーニングデータの各セットがデータの分類の類似する分布を有するように、選ばれるか又は層別化されてもよい。

データのトレーニングセットは、トレーニングデータのセットを増強、修正、又は変更すること等によって、操作されてもよい。機械学習モデルのトレーニングはまた、トレーニングデータの操作されたセットに対して行われてもよい。いくつかの例においては、増強、修正、又は変更されたトレーニングデータの使用が、機械学習モデルを一般化し、機械学習モデルのオーバーフィッティングを防止しうる。

トレーニングされた機械学習モデルによるＯＣＴ画像のカテゴライズの後、又は画像が特定のカテゴリに属する確率を取得した後、画像に関連する情報をユーザに表示する前に、画像に対して後処理手法が使用されてもよい。いくつかの例においては、後処理手法は、丸め手法、グラフカット、収縮、膨張、又は他の形態学的方法を含んでもよい。分析されたＯＣＴ画像に関連する追加的な情報もまた、例えば、どのＯＣＴ画像が許容不可能であったか又は遮られているものであったかを示す情報等の、ＯＣＴ画像に関連する出力をユーザに表示するときに、生成され使用されてもよい。

本開示において使用される、ＯＣＴ画像又はＯＣＴフレームは、交換可能に使用されうる。さらに、本開示において使用される、「許容不可能」又は「遮られている」ＯＣＴ画像とは、当業者には理解されるように、血液又は他の流体の存在により管腔及び血管壁がクリアに撮像されていないものである。

ここで与えられる例は主にＯＣＴ画像に関係して説明されているが、当業者であれば、本明細書で説明される手法は他の撮像モダリティに適用されうることを理解するであろう。

図１は、血管内データの収集における使用のためのデータ収集システム１００を示す。本システムは、血管１０２を撮像するために使用されうるデータ収集プローブ１０４を含みうる。プローブ１０４を血管１０２に導入するために、図示されていないが、ガイドワイヤを使用することができる。プローブ１０４は、データを収集している間に、血管の長さに沿って導入すること及び引き戻すことができる。プローブ１０４が引き戻されるときに、すなわち引き戻されるときに、複数のスキャン又はＯＣＴ及び／又はＩＶＵＳデータセットを収集することができる。データセット、又は画像データのフレームは、血管の寸法、圧力及び流れの特性等の特徴を特定するために使用することができる。

プローブ１０４は、光ファイバ１０６を介してサブシステム１０８に接続することができる。サブシステム１０８は、レーザ等の光源、サンプルアーム及び参照アームを有する干渉計、様々な光路、クロック発生器、フォトダイオード、並びに他のＯＣＴ及び／又はＩＶＵＳコンポーネントを含みうる。

プローブ１０４は、光受信器１１０に接続することができる。いくつかの例によれば、光受信器１１０は、平衡型フォトダイオードベースのシステムとすることができる。光受信器１１０は、プローブ１０４によって集められた光を受けるように構成することができる。

サブシステムは、コンピューティングデバイス１１２を含みうる。コンピューティングデバイスは、１つ以上のプロセッサ１１３、メモリ１１４、命令１１５、データ１１６、及び１つ以上のモジュール１１７を含みうる。

１つ以上のプロセッサ１１３は、市販のマイクロプロセッサ等の任意の従来のプロセッサとすることができる。代替としては、１つ以上のプロセッサは、特定用途向け集積回路（ＡＳＩＣ）又は他のハードウェアベースのプロセッサ等の専用デバイスとすることができる。図１は、デバイス１１２のプロセッサ、メモリ、及び他の要素を、同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、又はメモリは、実際には、同じ物理的なハウジング内に格納されたもの又は格納されていないものとすることができる複数のプロセッサ、コンピューティングデバイス、又はメモリを含みうることは、当業者には理解されるであろう。同様に、メモリは、デバイス１１２のハウジングとは異なるハウジング中に位置するハードドライブ又は他の記憶媒体とすることができる。したがって、プロセッサ又はコンピューティングデバイスへの参照は、並列に動作するもの又はしないものとすることができるプロセッサ若しくはコンピューティングデバイス又はメモリの集合への参照を含むことが、理解されるであろう。

メモリ１１４は、プロセッサ１１３によって実行することができる命令１１５、及びデータ１１６を含む、プロセッサによってアクセス可能な情報を記憶することができる。メモリ１１４は、非一時的コンピュータ可読媒体、又はハードドライブ、メモリカード、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、光ディスク、並びに他の書き込み可能メモリ及び読み取り専用メモリ等の電子デバイスの助けを借りて読み取ることができるデータを記憶する他の媒体を含む、プロセッサ１１３によってアクセス可能な情報を記憶するように動作可能なタイプのメモリとすることができる。本明細書で開示される主題は、命令１１５及びデータ１１６の異なる部分が異なるタイプの媒体に記憶されるような、前述のものの種々の組み合わせを含みうる。

メモリ１１４は、命令１１５に従ってプロセッサ１１３によって取り出し、記憶、又は修正することができる。例えば、本開示は、特定のデータ構造によって限定されるものではないが、データ１１６は、コンピュータレジスタ、複数の異なるフィールド及びレコードを有するテーブルとしてのリレーショナルデータベース、ＸＭＬ文書、又はフラットファイルに記憶することができる。データ１１６はまた、限定するものではないが、バイナリ値、ＡＳＣＩＩ又はＵｎｉｃｏｄｅ等の、コンピュータ可読形式でフォーマットすることができる。単なる更なる例として、データ１１６は、圧縮又は非圧縮で記憶される画素から構成されるビットマップ、若しくは様々な画像形式（例えばＪＰＥＧ）、ベクトルベースの形式（例えばＳＶＧ）、又はグラフィックを描画するためのコンピュータ命令として記憶することができる。さらに、データ１１６は、数字、記述テキスト、独自コード、ポインタ、他のメモリ（他のネットワークのロケーションを含む）に記憶されたデータへの参照、又は関連データを算出する機能によって使用される情報等の、関連情報を特定するのに十分な情報を含みうる。メモリ１１４はまた、機械学習モデルをトレーニングしてトレーニングデータのセットに含まれないＯＣＴ画像を分析するために機械学習モデルとともに使用される、ＯＣＴ画像等のトレーニングデータのセットを含むか又は記憶してもよい。

命令１１５は、プロセッサ１１３によって、直接的に実行される、マシンコード等の命令、又は間接的に実行される、スクリプト等の命令の、任意のセットであってもよい。これに関して、本明細書では、「命令」、「アプリケーション」、「ステップ」、及び「プログラム」という用語は、交換可能に使用されうる。命令は、プロセッサによる直接の処理のためのオブジェクトコード形式で、又はスクリプト若しくはオンデマンドで解釈されるか若しくは事前にコンパイルされる独立したソースコードモジュールの集合を含む任意の他のコンピューティングデバイスの言語で、記憶されてもよい。命令の機能、方法、及びルーチンは、以下により詳細に説明される。

モジュール１１７は、表示モジュールを含みうる。いくつかの例においては、他の血管特性を計算するためのモジュール等の、更なるタイプのモジュールを含めることができる。いくつかの例によれば、モジュールは、画像データ処理パイプライン又はそのコンポーネントモジュールを含みうる。画像処理パイプラインは、収集されたＯＣＴデータを、血管、ステント、及び／又は検出された領域の２次元（「２Ｄ」）及び／又は３次元（「３Ｄ」）のビュー及び／又は表現に変換するために使用することができる。モジュール１１７はまた、画像の１つ以上の要素を特定及び分類するための、画像認識及び画像処理モジュールを含んでもよい。

モジュール１１７は、機械学習モジュールを含みうる。機械学習モジュールは、ニューラルネットワーク及びニューラルネットを含む、機械学習アルゴリズム及び機械学習モデルを含んでもよい。機械学習モジュールは、トレーニングデータのセットを使用してトレーニングされたものであってもよい機械学習モデルを含んでもよい。いくつかの例においては、限定するものではないが、機械学習モジュール又は機械学習アルゴリズムは、畳み込みニューラルネットワーク（convolution neural network）、パーセプトロンネットワーク（perceptron network）、放射基底ネットワーク（radial basis networ）、深層順伝播型ネットワーク（deep feed forward network）、回帰型ニューラルネットワーク（recurrent neural network）、自己符号化器ネットワーク（auto encoder network）、ゲート付き回帰型ユニットネットワーク（gated recurrent unit network）、深層畳み込みネットワーク（deep convolution network）、逆畳み込みネットワーク（deconvolution network）、又はサポートベクタマシンネットワーク（support vector machine network）の任意の組み合わせを含むか、又はかかる組み合わせから作られてもよい。いくつかの例においては、機械学習アルゴリズム又は機械学習モデルは、ＯＣＴ画像等の医療診断画像を入力としてとり、画像が特定の分類又はカテゴリに属する確率を出力として提供するように構成されてもよい。

サブシステム１０８は、コンテンツをユーザに出力するためのディスプレイ１１８を含みうる。図示されるように、ディスプレイ１１８はコンピューティングデバイス１１２とは別個であるが、いくつかの例によれば、ディスプレイ１１８はコンピューティングデバイス１１２の一部とすることができる。ディスプレイ１１８は、血管中で検出された１つ以上の特徴に関連する画像データを出力することができる。例えば、出力は、限定するものではないが、断面スキャンデータ、縦方向スキャン、直径グラフ、画像マスク等を含みうる。出力は更に、計算された圧力値、又は血管のサイズ及び形状等の、病変及び血管の特性又は病変の特性の視覚的なインジケータを含みうる。出力は更に、取得されたＯＣＴ画像が「クリア」でなかった領域等の、収集されたＯＣＴ画像に関連する情報、又はスキャンの全体的な品質等の、ＯＣＴスキャンについての要約情報を含みうる。ディスプレイ１１８は、テキスト、矢印、カラーコード化、強調表示、輪郭線、又は他の適切な人間により若しくは機械により可読な印を用いて、特徴を特定することができる。

いくつかの例によれば、ディスプレイ１１８は、グラフィックユーザインタフェース（「ＧＵＩ」）を含みうる。他の例によれば、ユーザは、マウス、キーボード、トラックパッド、マイクロフォン、ジェスチャセンサ、又は任意の他のタイプのユーザ入力デバイス等の、他の形式の入力を使用して、コンピューティングデバイス１１２とインタラクトし、それによって特定のコンテンツがディスプレイ１１８上に出力されるようにすることができる。画像をナビゲートする、情報を入力する、入力を選択する及び／又は入力とインタラクトする等のために、１つ以上のステップを、自動的に又はユーザ入力なしで、実行することができる。ディスプレイ１１８及び入力デバイスは、コンピューティングデバイス１１２とともに、ワークフローにおける異なる段階、異なるビューモード等の間の移行を可能にすることができる。例えば、ユーザは、以下に更に説明されるように、ＯＣＴ画像と、その画像が許容可能のもの／クリアなものとみなされるか許容不可能のもの／遮られているものとみなされるか等の、ＯＣＴ画像の関連する分析とを見るための血管のセグメントを選択することができる。

図２Ａは、「クリアな」ＯＣＴ画像を示す。図２Ａに示されているのは、クリアなＯＣＴ画像２００である。ＯＣＴ画像２００は、血管組織の一部の断面表現である。ＯＣＴ画像は不均一であり得て、様々な程度、強度、及び形状のものとなり得て、明るい同心円又はガイドワイヤから現れる明るい構造等のアーティファクトを含みうる。画像２００に示されているのは、管腔２０５と、ＯＣＴガイドカテーテル２１５の周囲内に含まれる、中心に位置するＯＣＴガイドワイヤ２１０とである。ＯＣＴ画像２００は、ガイドカテーテル以外に管腔を見る際の障害物又は画像中のアーティファクトがないので、クリアである。ＯＣＴ画像２００においては、管腔の輪郭が画像中で視認可能であり、血液の存在は、あるとしても最小限であるか又は所定の閾値を下回る。ＯＣＴ画像２００は、かくして「クリア」である。

図２Ｂは、画像２００のアノテートされたバージョンである、アノテートされたクリアなＯＣＴ画像２５０を示す。参考のため、ＯＣＴガイドワイヤ２１０及びＯＣＴガイドカテーテル２１５が、図２Ｂにおいてラベル付けされている。アノテートされたクリアな画像２５０は、クリアなＯＣＴ画像２００のアノテートされた又はマークされたバージョンであり、管腔のアノテーション２５１を用いて管腔をマークしている。管腔のアノテーション２５１と同様に、図２Ｂにおいて破線で描かれているように、ガイドカテーテルもまたアノテートされてもよい。いくつかの例においては、アノテーションの特定のセットが機械学習モデルをトレーニングするために使用され、他のアノテーションは無視されるか又はトレーニングのために使用されなくてもよい。例えば、ガイドカテーテルは全てのＯＣＴ画像に存在すると予測することができるため、機械学習モデルのトレーニングに使用しないか、又は後で新たな画像をカテゴライズする際に使用しないこととすることができる。画像２５０は、管腔が概ね視認可能であり、管腔を見るための主要な障害物が存在しないので、「クリア」とカテゴライズすることができる。

画像２５０はまた、機械学習モデルをトレーニングするために使用されるときに画像がクリアであるとみなされることを示すために、タグ、メタデータと関連付けられるか、又は「クリア」等のカテゴリに入れられてもよい。機械学習モデルは、新たな画像の分類を実行するように構成されてもよい。分類は、１つ以上の独立変数に基づいて従属変数が属するクラスを決定するための手法である。かくして、分類は、１つ以上の独立変数を入力としてとり、分類又は分類に関連する確率を出力する。例えば、画像２５０は、新たな画像を分類するように機械学習モデルをトレーニングするために使用される機械学習トレーニングデータのセットの一部とされてもよい。画像２５０等の画像及びその関連するカテゴリを含む、機械学習モデルをトレーニングするために使用されるデータのセット内の画像のカテゴライズを使用することによって、どの特徴又は特徴の組み合わせが、特定の画像が「クリア」にカテゴライズされること又は別のカテゴリにカテゴライズされることに導くのかを評価するように、機械学習アルゴリズムがトレーニングされうる。

図３Ａは、「遮られている」ＯＣＴ画像を示す。図３に示されているのは、遮られているＯＣＴ画像３００である。ＯＣＴ画像３００において見られるように、画像の一部は、画像の左上部分において、中心にあるガイドカテーテル３１５及びガイドワイヤ３１０を取り囲む血液３０１によって遮られている。

いくつかの例においては、「遮られている」又は「許容不可能」とみなされる遮蔽の度合いは、ユーザによって設定可能とすることもできるし、又は製造の間に予め設定することもできる。単なる例として、管腔の２５％以上が血液によって遮られている画像は、「遮られている」画像であるとみなされてもよい。

図３Ｂは、アノテートされた「遮られている」ＯＣＴ画像を示す。アノテートされた遮られているＯＣＴ画像３５０は、遮られているＯＣＴ画像３００のアノテートされたバージョンを示す。アノテーション３５１（実線の円形線）は管腔部分を図示し、アノテーション３５２は血液３０１によって遮られている管腔の部分を示し、アノテーション３５３（左上の凸状の閉じた形状）はＯＣＴ画像のうち血液である部分を示す。クリアなアノテートされた画像２５０と同様に、遮られているアノテートされた画像３５０もまた、機械学習モデルにおけるトレーニングのために使用されるときに、画像が許容可能でないこと、又は不明瞭であるとみなされることを示すために、タグ、メタデータと関連付けられてもよく、又は、「クリアでない」、「遮られている」、若しくは「血液」等のカテゴリに入れられてもよい。

図４は、データのトレーニングセットに関連付けられたヒストグラム４００を示す。トレーニングデータは、例えば、図２及び図３に関連して以上に説明されたもの等の、様々なクリアさ又は遮蔽の度合いを有するＯＣＴ画像を含みうる。データのトレーニングセットは、ＯＣＴ画像を分類するために使用することができる、ＯＣＴ画像に対応するアノテーション、メタデータ、測定値、又は他の情報等の、追加的な情報を更に含みうる。データのトレーニングセットは任意の数の画像を含んでもよく、多数の画像は機械学習モデルの向上した精度を提供する。例えば、様々なＯＣＴの引き戻し又は他のＯＣＴ測定から取得されうる、数百又は数千のＯＣＴ画像が使用されてもよい。すでにカテゴライズされている画像、又はガイドカテーテルからなる画像、血液により遮られている画像、若しくはクリアである画像の、相対的な割合が、ヒストグラム４００に示され又は可視化されている。画像の相対的な割合は、トレーニングされる機械学習モデルのトレーニングを調整するために、調整又は調節されてもよい。データのトレーニングセットは、適切なトレーニングを確実にするために、これらの様々なカテゴリの適切な割合を有するように調節されてもよい。例えばクリアである画像をより多く含むこと等によって、例えばトレーニングセットが「アンバランス」なものである場合、機械学習モデルは、画像を「クリア」でないものとする特徴を区別するために十分にトレーニングされないこととなることがあり、単に画像の大部分を「クリア」と分類することによって性能を人為的に高めてしまうように偏ったものとなりうる。より「バランスのとれた」トレーニングセットを使用することによって、この問題は回避されうる。

図５は、方法５００のフロー図を示す。方法５００は、ニューラルネット、ニューラルネットワーク、又は他の機械学習モデルをトレーニングするために使用されうる。ニューラルネットワーク又はニューラルネットは、シミュレートされたニューロンの集合からなるものであってもよい。ニューラルネットワークのトレーニングは、ニューロン間の様々な接続又はニューラルネットワークの接続を重み付けすることを含んでもよい。ニューラルネットワークのトレーニングは、誤差が十分に収束するまで、ネットワークに関連する誤差が観察されうるエポック中で行われてもよい。いくつかの例においては、限定するものではないが、ニューラルネット又はニューラルネットワークは、畳み込みニューラルネットワーク、パーセプトロンネットワーク、放射基底ネットワーク、深層順伝播型ネットワーク、回帰型ニューラルネットワーク、自己符号化器ネットワーク、ゲート付き回帰型ユニットネットワーク、深層畳み込みネットワーク、逆畳み込みネットワーク、サポートベクタマシンネットワーク、又はこれらの若しくは他のタイプのネットワークの任意の組み合わせであってもよい。

ブロック５０５において、医療診断画像のセットが取得されてもよい。いくつかの例においては、医療診断画像のセットは、ＯＣＴの引き戻し又は他の血管内撮像手法から取得されてもよい。他の例においては、医療診断画像のセットは、大きなサンプルサイズの画像を提供するために、ランダム化されてもよいし、又は様々なサンプル、標本、若しくは血管組織から採取されてもよい。この医療診断画像のセットは、ＯＣＴ画像２００又はＯＣＴ画像３００と同様のものであってもよい。

ブロック５１０においては、医療診断画像のセットは、機械学習モデルをトレーニングするためのデータセットとして使用されるように準備されてもよい。このブロックにおいては、トレーニングデータとして使用されるように医療診断画像のセットを準備するために、１つ以上の手法が使用されてもよい。

例えば、医療診断画像は、アノテートされてもよい。医療診断画像のセットからの各医療診断画像の一部は、例えば、アノテートされたクリアなＯＣＴ画像２５０又はアノテートされた遮られているＯＣＴ画像と同様の画像を形成するようにアノテートされてもよい。例えば、各画像は、画像を表す画像の部分を表すために「クリア」又は「血液」とアノテートされた画像の部分を有してもよい。例えば、トレーニングのために使用されうる医療診断画像のセットは、アノテートされたクリアなＯＣＴ画像２５０及びアノテートされた遮られているＯＣＴ画像３５０と同様の画像を作成するようにアノテート又はカテゴライズされてもよい。他の例においては、アノテーションは、管腔、血液、又はガイドカテーテル等の、特定の特徴に対応する画像の部分を特定するように、画像上にデジタル的に描画されてもよい。いくつかの例においては、アノテーションデータは、画像の一部又は画素のセットとして表現されてもよい。

医療診断画像はまた、いくつかのカテゴリへとカテゴライズ又は分離されてもよい。いくつかの例においては、カテゴライズは、人間のオペレータによって行われてもよい。例えば、医療診断画像は、［許容不可能，許容可能］、［クリアでない、クリア］、［遮られている，遮られていない］又は［有用でない，有用である］等の、バイナリのセットの値の間で分類されてもよい。いくつかの例においては、例えば［０％遮られている，２０％遮られている，４０％遮られている，６０％遮られている，８０％遮られている，又は１００％遮られている］等、遮蔽のパーセンテージを示すことができる分類のセット等の、バイナリでない分類が使用されてもよい。各医療診断画像は、その医療診断画像を最もよく表すカテゴリに入れられるようにすることができる。

いくつかの例においては、複数のタイプの分類が、医療診断画像に対して使用されてもよい。医用診断画像は、カテゴリの複数のセットに関連付けることができる。例えば、医療診断画像がステントを有し、血液が遮られている見込みが高い場合、その画像についての分類は＜ステント，遮られている＞とすることができる。別の例は、フレームがガイドカテーテルを含むか否かとすることができ、画像についての分類は＜カテーテル，遮られている＞とすることができる。複数の分類は、機械学習モデルのトレーニング又はデータの分類の間に、まとめて使用されてもよい。

いくつかの例においては、トレーニングデータのセットは、遮られている画像及びクリアな画像の所望の分布を含むようにプルーニング（pruned：枝刈りされる）又は調節されてもよい。

医療診断画像のセットは、トレーニングにおける使用に先立ち、再加工、操作、修正、訂正、又は一般化されてもよい。医療診断画像の操作は、機械学習モデルのトレーニングが、特定の特性に対してオーバーフィットされるのではなく、１つ以上の特性に関してバランスのとれたものとなることを可能にする。例えば、医療診断画像は、サイズ変更されてもよく、ランダム的なフーリエ級数を使用して変形されてもよく、極座標において反転させられてもよく、ランダム的に回転させられてもよく、コントラスト、明るさ、強度、ノイズ、グレースケール、スケールを調節されてもよく、又は他の調節若しくは変更を適用されてもよい。他の例においては、マトリクスによって表現される任意の線形マッピングが、ＯＣＴ画像に適用されてもよい。２つの少ない特徴しかない等、モデルが単純すぎて、新たな画像をカテゴライズ又は分析するのに必要とされる複雑さを正確に表現していない場合には、アンダーフィッティングが起こりうる。トレーニングされたモデルが、データのトレーニングセットによって表現されることを意図された一般的な問題を解決するために十分に一般化されていない場合には、オーバーフィッティングが起こりうる。例えば、トレーニングされたモデルが、データのトレーニングセット内ではより正確に画像をカテゴライズするが、データのテストセットに対しては低い精度を有する場合、トレーニングされたモデルは、オーバーフィットされていると言える。かくして、例えば、全ての画像が１つの向きのものであるか、又は特定のコントラストを有する場合、モデルはオーバーフィットとなり、異なるコントラスト比を有するか又は異なる向きとされた画像を正確にカテゴライズすることが可能でないことがある。

ブロック５１５においては、ニューラルネットワーク、ニューラルネット、又は機械学習モデルが、カテゴライズされたデータセットを使用してトレーニングされてもよい。いくつかの例においては、機械学習モデルのトレーニングは、機械学習モデルに関連する誤差が十分に収束又は安定するまで、エポック中で進行してもよい。いくつかの例においては、ニューラルネットワークは、画像のバイナリのセット等で画像を分類するようにトレーニングされる。例えば、ニューラルネットワークは、クリアな画像及び遮られている画像を含むトレーニングデータのセットに基づいてトレーニングされてもよく、出力として「クリア」又は「遮られている」のいずれかを出力するようにトレーニングされてもよい。

ブロック５２０においては、トレーニングされたニューラルネット、ニューラルネットワーク、又は機械学習モデルがテストされてもよい。いくつかの例においては、ニューラルネットワークは、ネットワークをトレーニングするためには使用されず、分類が他の方法で既知である画像に基づいて、テストされてもよい。いくつかの例においては、明確に分類できない画像等の、分析されたときに「エッジケース」（edge case）であるとみなされる画像は、画像の手動での分類の後に、ニューラルネットワークを再トレーニングするために使用されてもよい。例えば、特定の画像が、血液で満たされた血管断面を描画しているのか、クリアな血管断面を描画しているのかの決定が、低い信頼度を有する場合、その特定の画像は、人間のオペレータによる分析のために保存されてもよい。人間のオペレータによってカテゴライズされると、その画像は機械学習モデルをトレーニングするために使用されるデータのセットに追加されてもよく、モデルが新たなエッジケース画像を用いて更新されてもよい。

ブロック５２５においては、機械学習モデルのトレーニングの様々なエポックについての損失曲線又は誤差率曲線等の学習曲線が、表示されてもよい。いくつかの例においては、各エポックは、機械学習モデルをトレーニングするために使用されるＯＣＴ画像の一意のセットに関連してもよい。学習曲線は、トレーニング間の各更新の効果を評価するために使用されてもよく、各エポック又は更新の間のモデルの態様を測定して性能をプロットすることが、トレーニングされたモデルの特性及び性能についての情報を提供しうる。いくつかの例においては、検証損失トレーニング曲線（validation loss training curve）が最も重要となるように、モデルが最小の検証損失を有するようにモデルが選択されてもよい。ブロック５１５及び５２０は、機械学習モデルが十分にトレーニングされ、トレーニングされたモデルが所望の性能特性を有するようになるまで、繰り返されてもよい。一例として、トレーニングされたモデルの計算時間又は計算強度は、或る特定の閾値を下回る性能特性であってもよい。

最も低い検証損失を含むエポックにおいてモデルが保存されてもよく、トレーニングされた特性を有するこのモデルが、トレーニングにおいて使用されていないものであってもよいテストセットに対して性能メトリクスを評価するために使用されてもよい。かかるモデルの性能が閾値を超えた場合に、そのモデルは十分にトレーニングされたものであるとみなされてもよい。機械学習モデルに関連する他の特性もまた、調べられてもよい。例えば、トレーニングされた機械学習モデルの性能を評価するために、受信者動作特性曲線（receiver operating characteristic curve）又は混同行列（confusion matrix）が使用されてもよい。

図６は、医療診断処置における画像を分類する方法６００を示すフロー図を提供する。方法６００は、ＯＣＴ画像又は一連のＯＣＴ画像を特性評価するために使用されうる。例えば、方法６００は、動脈等の血管組織の特定の長さに対応するＯＣＴ画像が取得される、ＯＣＴの引き戻しに関連する一連のＯＣＴ画像を特性評価するために使用されてもよい。かかる特性評価は、予め定義された閾値の画質を有する画像が取得されたか否かをリアルタイムで医師に示すために、使用することができる。これに関して、ＯＣＴの引き戻しについての画質が十分でなかった場合、医師は、ＯＣＴカテーテル及びプローブが再挿入される必要があることとなるフォローアップ処置を必要とするのではなく、ＯＣＴプローブ及びカテーテルが依然として患者の血管内にあるときに、同じ医療処置内でもう一度の引き戻しを実行することができる。

ブロック６０５においては、１枚以上の分類されていないＯＣＴ画像が受信されてもよい。受信されたＯＣＴ画像は、血管組織内の特定のロケーションと関連付けられてもよく、このロケーションは、ＯＣＴの間に取得されたデータの様々な表現を作成するために後に使用されてもよい。

ブロック６１０においては、受信されたＯＣＴ画像は、トレーニングされたニューラルネットワーク、トレーニングされたニューラルネット、又はトレーニングされた機械学習モデルを使用して、分析又は分類されてもよい。トレーニングされたニューラルネットワーク、トレーニングされたニューラルネット、又はトレーニングされた機械学習モデルは、データのトレーニングセットから管腔又は血液等の様々な特徴を特定するようにトレーニング及び調整されている。これらのパラメータは、画像又は物体認識手法を使用して特定されてもよい。他の例においては、機械学習モデル又はニューラルネットワークのトレーニングの間に既知の又は隠れた変数となりうる画像又は画像データから、特性のセットが集められてもよい。例えば、画像の要素の相対的な色、コントラスト、又は丸みを、既知の変数とすることができる。他の隠れた変数は、トレーニングプロセスの間に導出されてもよく、直接には特定されないこととなりうるが、提供された画像に関連している。他の変数は、どのＯＣＴシステムが画像を撮影したか等の画像メタデータに関連していてもよい。他の例においては、トレーニングされたニューラルネットワークは、ネットワークのトレーニングに基づいて、ネットワークの様々なニューロン又は接続の間に重み付けを有してもよい。これらの重み付けされた接続は、入力画像を取り込み、画像の様々な部分、又は画像内に含まれる特徴を重み付けして、確率又は分類等の最終的な結果を生成しうる。いくつかの例においては、各入力画像は手動のアノテーションを関連付けられているため、トレーニングは教師ありとみなされうる。

トレーニングされたニューラルネットワーク、トレーニングされたニューラルネット、又はトレーニングされた機械学習モデルは、ＯＣＴ画像を入力としてとり、画像の分類を出力として提供してもよい。例えば、出力は、画像が「クリア」なものであるか「遮られている」ものであるかであってもよい。いくつかの例においては、ニューラルネットワーク、ニューラルネット、又は機械学習モデルは、ＯＣＴ画像が「クリア」なものであるか「遮られている」ものであるか等の、受信されたＯＣＴ画像に関連する確率を提供してもよい。

図７に関して説明されるもの等のいくつかの例においては、ＯＣＴ画像のシーケンスを分類又はグループ化するために、追加的な方法が使用されてもよい。

他の例においては、ＯＣＴ画像を処理するために、複数のニューラルネットワーク又は機械学習モデルが使用されてもよい。例えば、よりロバストな予測又は分類を提供するために、任意の数のモデルが使用されてもよく、モデルの確率結果が平均化されてもよい。複数のモデルの使用は、特定の画像が分類するのに困難である場合、又は１つのモデルがＯＣＴ画像の結果を明確に分類することが可能ではないエッジケースである場合に、任意選択的に使用されてもよい。

ブロック６１５においては、ブロック６１０から受信された出力が、受信されたＯＣＴ画像に付加されるか、又は他の態様で関連付けられてもよい。この情報は、ＯＣＴ画像をユーザに表示するときに使用されてもよい。

ブロック６２０においては、ＯＣＴ画像についての情報及び／又はＯＣＴ画質についての情報が、ユーザインタフェース上でユーザに提供されてもよい。ユーザインタフェースの追加的な例が、図８に関して与えられる。例えば、情報は、各ＯＣＴ画像又はＯＣＴスキャン若しくはＯＣＴの引き戻しの要約とともに、表示されてもよい。いくつかの例においては、図８に示されるもの等の血管の縦方向のビューが、ＯＣＴ画像の組み合わせから作成されてもよく、血管のどの部分が「遮られている」画像のために撮像されなかったかについての情報が、縦方向のビューとともに表示されてもよい。

他の例においては、スキャンについての要約情報が、ディスプレイ上での表示のためにユーザに提供されてもよい。要約情報は、遮られているとみなされたフレーム又はＯＣＴ画像の数、又はクリアとみなされたＯＣＴ画像の全体的な割合等の情報を含んでもよく、ＯＣＴ画像のクラスタが遮られた領域を特定してもよい。他の例においては、要約情報又は通知は、ＯＣＴの引き戻しが速く実行されすぎた等の、特定のフレームが遮られた理由についての追加的な情報を提供してもよい。

図７は、確率からＯＣＴ画像のシーケンスを分類又はグループ化するために使用されうる手法の態様を示す。図７に示されているのは、特定の画像が「クリア」である又は「遮られている」確率を０～１までのスケールで表した、グラフ７１０である。グラフ７１０は、トレーニングされた機械学習モデル又はニューラルネットワークから取得されうる生の確率値である。確率０は、画像が完全にクリアであるとみなされることを意味し、確率１は、画像が遮られているとみなされることを意味する。０と１との間の値は、画像がクリアである又は遮られている見込みを表しうる。グラフ７１０における横軸のｘ軸は、ＯＣＴの引き戻しの間に取得されるもの等の、ＯＣＴ画像又はＯＣＴフレームのシーケンスのフレーム番号を表しうる。横軸のｘ軸はまた、ＯＣＴ画像を作成するために撮像された血管組織の近位又は遠位のロケーションに関連するものであってもよい。

グラフ７２０は、グラフ７１０の確率分布をバイナリの分類へと分類するための「閾値」手法の使用を示している。閾値手法においては、或る特定の閾値を上回る確率値を有するＯＣＴ画像が「遮られている」とみなされてもよく、同じ閾値を下回る確率値を有するものは「クリア」であるとみなされてもよい。かくして、グラフ７１０は入力として使用されてもよく、グラフ７２０は出力として取得されてもよい。

グラフ７３０は、グラフ７１０の確率分布を分類するためのグラフカット手法の使用を示す。例えば、確率を「クリア」又は「遮られている」のいずれかとして分類するために、グラフカットアルゴリズムが使用されてもよい。

グラフ７４０は、グラフ７１０の確率分布を分類するための形態学的手法の使用を示す。形態学的手法は、構造化要素を入力画像に適用し、同じサイズの出力画像を作成する。形態学的動作においては、出力画像中の各画素の値は、入力画像中の対応する画素の、その隣接画素との比較に基づく。グラフ７１０の確率値がこのように比較されて、グラフ７４０を作成してもよい。

図８は、管腔輪郭信頼度及び画質の態様を示す一例示のユーザインタフェース８００を示す。ユーザインタフェース８００は、横軸が血管組織内のロケーション又は深さを示す、コンポーネント８１０中の一連のＯＣＴ画像の線形表現を示す。コンポーネント８１０内のインジケータ８１１は、ＯＣＴ画像８２０によって表されている血管組織内の現在のロケーション又は血管組織内の深さを表しうる。インジケータ８１２は、横軸に対応する着色されたインジケータであってもよい。インジケータ８１２は、そのロケーションに関連するＯＣＴ画像が「遮られている」又は「クリア」である確率又は信頼度を表すために、赤色等で着色されてもよい。いくつかの例においては、インジケータ８１２に対応する画像の部分上に白色又は透過性のオーバーレイが存在し、その領域は信頼度が低いことを更に示すものとすることができる。画像８２０は、インジケータ８１２によって表されるロケーションにおけるＯＣＴ画像であってもよい。画像８２０はまた、信頼度の低い領域である管腔の部分を示すための着色又は他のインジケータを含むものとすることができる。ユーザインタフェース８００は、ＯＣＴの引き戻しを再実行するか、又はＯＣＴの引き戻しの結果を受け入れる選択肢を含んでもよい。

いくつかの例においては、画像８２０に関連する追加的なメタデータを、ユーザインタフェース８００上に表示することができる。例えば、画像の分解能、使用された画像の波長、粒度、ＯＣＴフレームの疑われる直径、又はＯＣＴフレームを評価する際に医師を支援することができるＯＣＴの引き戻しに関連する他のメタデータ等、画像についての追加情報が利用可能である。

図８に示されるように、インタフェースは、画像の機械学習評価に関連する通知又は他の情報に応答して、医師にプロンプトを更に提供することができる。例えば、プロンプトは、収集された画像を受け入れて処置の次のステップに進むか、又はもう一度のＯＣＴの引き戻しを実行する等によって画像収集ステップを繰り返すかの選択権を、医師に提供することができる。例えば、ユーザインタフェース８００は、ＯＣＴの引き戻しが繰り返されることを可能とするプロンプト８３０を含みうる。プロンプト８３０を選択する又はプロンプト８３０とインタラクトすると、コンピューティングデバイスは、ＯＣＴ機器が追加的なＯＣＴフレームを受信するよう構成されるようにしてもよい。インタフェース８００はまた、ＯＣＴの結果が受け入れられることを可能にするプロンプト８３１を含みうる。プロンプト８３１とインタラクトすると、追加的なＯＣＴフレームは受け付けられなくなる。これに加えて、図９～図１１を参照しながら更に説明されるように、ユーザインタフェース８００は、ＯＣＴの引き戻しのクリア画像長（ＣＩＬ）を表示することができる。いくつかの例においては、ユーザインタフェース８００は、ＣＩＬが所定の長さより小さい場合に、ＯＣＴの引き戻しが再び実行されることを提案又は要求することができる。

図９は、方法９００を示す。方法９００は、ＯＣＴの引き戻しのクリア画像長（ＣＩＬ）を生成又は算出するために使用されうる。クリア画像長すなわちＣＩＬは、例えば血液によって遮られていない又は血液フレームとみなされないもの等の、妨害されていない又はクリアであると決定された、ＯＣＴの引き戻しの連続的なセクションに関連する指標又は情報であってもよい。「ｎ」個のフレームの引き戻しに対するＣＩＬベクトルスコアは、０とｎとの間の値で算出されてもよい。０というスコアは完全な不一致を表すことがあり、ｎというスコアは完全な一致を意味する。図１０を参照しながら、ＣＩＬベクトルスコアの一例が与えられる。一致とは、ＣＩＬ分類と一致する分類を指す。いくつかの例においては、ＣＩＬ分類内で、「除外ゾーン」中の全てを「０」とし、除外ゾーンの外の全てを「１」としてもよい。ＣＩＬ分類がフレーム毎の分類と一致する場合、「１」がスコアに加えられてもよく、一致しない場合、「０」がスコアに加えられてもよい。最も高いスコアを有するＣＩＬが、選択されてもよい。

ブロック９０５において、所与のＯＣＴの引き戻しに対して、フレーム毎の品質保証分類が、引き戻しにおける各ＯＣＴ画像に対して実行されてもよい。いくつかの例においては、各ＯＣＴフレームに対して０又は１のスコアに帰着する、バイナリ分類器が使用されてもよい。他の例においては、アセンブル手法を使用すること等を通して、各ＯＣＴフレームに対して０と１との間の範囲の値が発生させられてもよい。

ブロック９１０においては、マーカｘ１及びマーカｘ２等の、マーカ位置の網羅的検索が実行される。いくつかの例においては、ｘ１は血液のマーカに対応し、ｘ２はクリアなマーカに対応してもよい。例えば、図８を参照すると、マーカ８４０及びマーカ８４１が、それぞれｘ１及びｘ２に対応しうる。マーカ８４０及びマーカ８４１を変化させることによって、全ての組み合わせが評価されうる。各位置の検索を実行した後、ｘ２＞ｘ１となるような各ｘ１及びｘ２の位置に対する順列が算出されて、おおよそＮ^２／２の計算複雑度（computational complexity）に導いてもよい。

ブロック９１５においては、各順列について、その順列に関連するコストが算出され、コストの大域的な最適値又は最大値が決定されてもよい。いくつかの例においては、コストは、自動画質ベクトルのスコアベクトルと対応するＣＩＬスコアベクトルとの間の一致の数を合計することによって計算されてもよい。計算されたスコアの一例が、図１０を参照しながら与えられる。図１０における最大点は、ＯＣＴの引き戻しにおける最長又は最大のＣＩＬに対応しうる。このコストマトリクスの最大値の位置は、結果のＣＩＬについての最適なｘ１及びｘ２の位置である。いくつかの例においては、ＣＩＬは、非血液フレームの「最良」のとりうる連続範囲であるが、依然としていくつかの血液フレームを含みうる。いくつかの例においては、ＣＩＬは、引き戻しにおける造影剤のボーラスの位置の尺度となりうる。他の例においては、側枝及びボーラスの血液との混合により、このボーラス内にいくつかの血液フレームを有することがありうる。

いくつかの例においては、ＣＩＬは、ＯＣＴの引き戻しの間に自動的に計算されてもよい。いくつかの例においては、ＣＩＬに関連する情報は、ＯＣＴ撮像システムの性能を向上させ、ＯＣＴシステムの計算効率を向上させるために、血液によって妨害された画像を処理することを回避するように、下流のアルゴリズムによって使用されてもよい。

ブロック９２０においては、算出された最適又は最大のＣＩＬに基づいて、ＯＣＴ画像上にＣＩＬインジケータがプロットされてもよい。例えば、ＣＩＬは、着色された破線の間にプロットされてもよい。ＣＩＬの外側に、「血液」フレームとして検出又は分類されたＯＣＴフレームがある場合、それらのフレームは、フレームが「血液」フレームであることを示すために、透明な赤色でオーバーレイされてもよい。ＣＩＬ内に、血液として検出されたフレームがある場合、それらのフレームは、視覚的に平滑化され、透明な赤色として表示されてもよい。

図１０は、一例示のＣＩＬコストマトリクス１０００を示す。コストマトリクス１０００は、ｘ２≧ｘ１の値として右上のマトリクスとなりうる。領域１００５は、ｘ１及びｘ２の許容される値又は実行可能な値の領域となりうる。同様にコストマトリクス１０００に示されているのは、ブロック９１０を参照して論じた最大値である、点１０１０である。点１０１０は、領域１００５内のｘ１及びｘ２の値から算出されうる。点１０１０は、コスト関数の最大値に対応しうる。いくつかの例においては、領域１００５は、２Ｄ形式で強度及びコストを示すために階調をつけて着色されてもよく、点１０１０は、コスト関数の最大値となるように選ばれてもよい。

図１１は、ＯＣＴの引き戻しに組み込まれたＣＩＬを有する一例示のＯＣＴの引き戻し１１００を示す。ＯＣＴの引き戻しに組み込まれたＣＩＬは、図８に関しても見られる。例えば、図８を参照すると、マーカ８４０及びマーカ８４１は、それぞれｘ１及びｘ２に対応しうる。ＣＩＬは、マーカ８４０とマーカ８４１との間の長さに対するものであってもよい。

ＯＣＴの引き戻し１１００は、ユーザインタフェース８００（図８）等のグラフィカルユーザインタフェース又はユーザインタフェース上に表示されてもよい。ＯＣＴの引き戻し１１００の横軸は、ＯＣＴフレーム番号、血管組織内のロケーション、又は血管組織内の深さを示しうる。図１１に示されているのは、ＯＣＴの引き戻し１１００上に含まれる様々な印である。破線１１０５及び破線１１０６は、ＣＩＬの境界を示しうる。ＣＩＬの境界内に図示されているのは、ぼやけた領域で示された血液領域１１１５及び血液領域１１１６である。破線１１０５の左側の領域１１２０は、ＣＩＬの境界外の領域を示す。いくつかの例においては、領域１１２０は、その領域がＣＩＬの外側にあることを示す視覚的な指標をユーザに視覚的に提供するために、重ねられた透過性の、透明の、又は半透明の画像を含んでもよい。ロケーションインジケータ１１３０は、ＯＣＴフレーム１１３５に対応するＯＣＴの引き戻し１１００内のロケーションを示しうる。

本技術は、トレーニングされた機械学習モデル又はトレーニングされたニューラルネットワークに基づいてＯＣＴ処置が実行されているときに、画質に関連する情報を含むリアルタイム又は略リアルタイムの通知を提供しうる。例えば、通知は、機械学習モデルによってなされた分類に関して医師にアラートするアイコン、テキスト、可聴の指標、又は他の形式の通知とすることができる。例えば、通知は、画像を「クリア」又は「遮られている」として特定することができる。いくつかの例によれば、通知は、特定の画像フレーム又は血管セグメントにおいて、どの程度の血液の遮蔽が血管を塞いでいるかの定量化を含みうる。このことは、取得されているデータ及び画像が診断又は他の目的のために十分にクリアであるか否かの即時の指標を医師が得ることを可能にし、処置が行われた後に数百又は数千もの画像を手作業でチェックする必要がなくなる。全てのＯＣＴ画像が手作業でチェックされることは現実的でないことでありうるので、この技術は、不適切であるか又は十分にクリアでないＯＣＴスキャンの不適切な解釈を防止する。

これに加えて、リアルタイムで分析を行うことあるため、ＯＣＴ画像に関連する通知又はアラートは、ＯＣＴスキャン又はＯＣＴの引き戻しのどの部分が十分にクリアな品質のものでなかったか（又は遮られていたか）を示し、ＯＣＴスキャン又はＯＣＴの引き戻しのそれらの部分が実行されることを可能にすることができる。このことは、ＯＣＴデバイスが依然としてその場所にある間に、十分にクリアでなかった部分のもう一度のＯＣＴスキャン又はＯＣＴの引き戻しを医師が実行することを可能にし、患者がもう一度の処置のために再来院する必要性を回避する。さらに、コンピューティングデバイスは、欠陥があるか又は遮られているとみなされたスキャンの部分をＯＣＴ画像の新たなセットで置き換え、画像を「ステッチ」（stitch：合わせる）又は結合して、ＯＣＴの引き戻しにおいて取得された血管の単一の縦方向のビューを提供してもよい。

これに加えて、許容可能又はクリアであるとみなされないＯＣＴスキャン又はＯＣＴの引き戻しの部分の特定が医師によって評価されて、遮られているＯＣＴ画像に対応する領域に医師が関心があるか否かを決定してもよい。

さらに、ＯＣＴスキャン又はＯＣＴの引き戻しの要約が、ユーザに提供されてもよい。例えば、要約情報は、許容可能であるとみなされるフレームの全体的なパーセンテージ又は数についての情報、第２のスキャンがフレームのパーセンテージを改善する見込みがあるか否かについての情報を含んでもよい。他の例においては、要約情報又は通知は、ＯＣＴの引き戻しが速く実行されすぎたこと、又は血液が変位されなかったこと等の、特定のフレームが遮られた理由についての追加的な情報を提供してもよい。

いくつかの例においては、画質の検出において使用される閾値を設定すること等によって、ユーザ又は医師が、画像がクリアであるか遮られているかを定義することができ、他の例においては、画像が十分にクリアであるか否かを決定するために、計算タスクの信頼度レベルを使用することができる。例えば、タスクベースの画質査定方法が、本明細書に説明されている。タスクベースの画質査定方法は、予測モデルをトレーニングするために人間のオペレータが高画質画像フレーム及び低画質画像フレームを選択する必要がないという点で、有益なものとなりうる。むしろ、画質は、達成されるタスクの信頼度レベルによって決定される。画質保証方法は、計算タスクにおいて使用される技術の進化に対応しうる。例えば、タスクを達成するための技術が進歩して行けば、画質保証の結果もともに進化し、より現実的に画質を反映するようになる。タスクベースの画質保証は、ユーザが可能な限り多くのＯＣＴフレームを保持しつつ、これらのフレームの臨床的有用性を確保するのに役立ちうる。

図１２は、機械学習タスクベースのアプローチを使用した画質を保証する一例示の方法１２００を示すフロー図である。タスクは、管腔輪郭検出、カルシウム検出、又は任意の他の特性の検出等の、様々なタスクのいずれかとすることができる。管腔輪郭検出は、例えば、幾何学的測定、血管壁又は境界の検出、穴又は開口部の検出、曲線の検出等を含みうる。かかる検出は、血管狭窄の重症度の査定、側枝の特定、ステント支柱の特定、プラーク、ＥＥＬ若しくは他の媒体の特定、又は他のタイプの血管評価において使用することができる。

ブロック１２１０においては、タスクに対してデータが収集される。データは、例えば、ＯＣＴ画像、超音波画像、近赤外分光法（ＮＩＲＳ：near-infrared spectroscopy）、マイクロＯＣＴ画像、又は任意の他のタイプの画像等の、血管内画像とすることができる。いくつかの例においては、データはまた、患者情報、画像キャプチャ情報（例えば日付、時刻、画像キャプチャデバイス、オペレータ等）、又は任意の他のタイプの情報等の情報を含みうる。データは、１人以上の患者から１つ以上の撮像プローブを使用して収集することができる。いくつかの例によれば、データは、一定の期間にわたって多数の患者からキャプチャされた複数の画像を記憶するデータベースから取り出すことができる。いくつかの例においては、データは、極座標系で提示することができる。いくつかの例によれば、データは、タスクが管腔輪郭を特定することである場合に管腔輪郭の存在及びロケーションを示す等のために、手動でアノテートすることができる。さらに、データは、トレーニングのために使用される第１のサブセットと、検証のために使用される第２のサブセットとに分割することができる。

ブロック１２２０においては、収集されたデータを使用して、機械学習モデルがトレーニングされる。機械学習モデルは、タスクに従って構成することができる。例えば、モデルは、管腔輪郭を検出するように構成することができる。モデルをトレーニングすることは、例えば、タスクに一致する収集されたデータを入力することを含みうる。管腔検出については、モデルをトレーニングすることは、管腔輪郭を描画する画像を入力することを含みうる。

ブロック１２３０において、トレーニングデータに基づいて、機械学習モデルが最適化される。管腔輪郭検出タスクの例においては、モデル入力は、３Ｄパッチの形をとるものであってもよい一連のグレーレベルＯＣＴ画像とすることができる。３Ｄパッチは、連続するＯＣＴ画像のスタックであり、スタックのサイズは、グラフィカルプロセッシングユニット（ＧＰＵ）のメモリ等の計算リソースに依存する。トレーニングの間のモデル出力は、人間のオペレータによって手動でアノテートされた各対応するスタックのバイナリマスクを含みうる。３Ｄパッチに対する手動のアノテートは時間がかかるため、機械学習モデルを最適化する前にデータ増強前処理ステップを含みうる。データ増強は、十分なトレーニングデータセットが生成されるように、ＯＣＴ画像及びアノテーションの両方の３Ｄパッチのランダム的な回転、切り抜き、反転、幾何学的変形等のバリエーションを用いて、アノテートされたデータに対して実行することができる。データ増強プロセスは、タスクのタイプによって異なるものであってもよい。データ増強ステップが決定されると、損失関数及び最適化器がクロスエントロピー及びＡｄａｍ最適化器として指定される。同様に、損失及び最適化器（並びにトレーニングプロセスにおける他のハイパーパラメータ）は、タスク及び画像データのタイプによって異なるものとすることができる。機械学習モデルは、モデルの計算出力と予測される出力との不一致の尺度である損失関数値が、所与の反復又はエポックの回数内で最小化されるまで、最適化される。

ブロック１２４０においては、データの検証セットを、機械学習モデルの精度を査定するために使用することができる。例えば、検証データを使用して機械学習モデルを実行することができ、機械学習モデルが検証データに対して予測された結果を生成したか否かを決定することができる。例えば、アノテートされた検証画像と機械学習モデルの出力とを比較して、アノテートされた検証画像と機械学習の出力画像との重なりの度合いを決定することができる。重なりの度合いは、数値、比率、画像、又は類似若しくは相違の度合いを査定するための任意の他の機構として表現することができる。機械学習モデルは、検証データに対する予測された結果と検証データに対する出力結果との間の不一致を考慮した調節を行うことによって、更に最適化されてもよい。精度の査定及び機械学習の最適化は、機械学習モデルが十分な度合いの精度を有する結果を出力するまで繰り返すことができる。

ブロック１２５０において、最適化された機械学習モデルは、タスクに対する出力を、出力に対応する信頼度値とともに提供することができる。例えば、管腔輪郭を検出するタスクについては、信頼度値は、画像の一部が輪郭を含むか否かの見込みがどの程度高いかを示すことができる。

方法１２００は１つのタスクに関連して以上に説明されたが、他の例においては、各タスクからの情報を統合することによって、複数のタスクに基づいて信頼度値が取得されうる。いずれの例においても、信頼度値は、査定されている画像フレームとともに出力することができる。例えば、信頼度値は、ディスプレイ上に数値として出力することができる。他の例においては、信頼度値は、視覚的、音響的、触覚的、又は他のインジケータとして出力することができる。例えば、インジケータは、色、陰影、アイコン、テキスト等とすることができる。いくつかの例においては、視覚的なインジケータは、信頼度値が対応する画像の特定の部分を指定することができ、単一の画像は、画像の種々の部分に対応する複数の信頼度値を有することができる。更なる例においては、信頼度値が特定の閾値を上回るか又は下回る場合にのみ、インジケータを提供することができる。例えば、信頼度値が閾値を下回り、低品質の画像を示す場合に、インジケータは、画像が十分にクリアでないことを医師に知らせることができる。信頼度が閾値を上回る場合には、インジケータは、画像が許容可能であることを知らせることができる。かかる閾値は、以上に説明された機械学習の最適化を通して、自動的に決定することができる。画質インジケータは、画像自体のクリア度をキャプチャするのみならず、診断用医用画像システムを使用した病状の評価について等の、分析パイプライン全体にわたる信頼性の高い画像の特性評価の結果ももたらす。

図１３Ａ～図１３Ｃは、図１２に関連して以上に説明された機械学習モデルを使用して処理された画像を示す。図１３Ａ～図１３Ｃのそれぞれにおいて、横軸はＡラインの画素を示し、縦軸は画像フレームのＡラインを表す。Ａラインは、例えば、スキャンラインとすることができる。撮像プローブが血管を通過する際に回転する場合、各回転は複数のＡライン、例えば数百本のＡラインを含みうる。

図１３Ａは、ＯＣＴ画像等の血管内画像である。図１３Ｂは、機械学習モデルの出力である。例えば、管腔検出タスクのための機械学習モデルについては、モデル出力はバイナリマスクとすることができる。バイナリマスク中の白色の画素は検出された管腔を表し、黒色の画素は背景を表す。図１３Ｃは、管腔検出についての信頼度マップである。各画素は０と１との間の浮動小数点数で表され、０は信頼度がないことを示し、１は完全な信頼度を示す。図１３Ｃの視覚化は、（１－信頼度値）によって値を反転させており、不確実性を表すようにしている。図１３Ｃに示されるように、管腔の一部は視野の外にあり、低信頼度のＡラインに帰着している。

画像フレームの品質を査定するために、信頼度マップに埋め込まれた情報を、高画質フレーム又は低画質フレームとしてバイナリ判定に変換することができる。全てのＯＣＴフレームの信頼度マップが与えられると、各フレームｉについて、各Ａライン上の画素の信頼度値は、Ａライン全体の品質を表す単一の信頼度値に変換される。

図１４Ａ及び図１４Ｂは、高信頼度の品質のＡラインと低信頼度の品質のＡラインとの相違を示すヒストグラムを提供する。管腔検出タスクが１本のＡラインについて管腔と非管腔との間のクリアなセグメント化を特定した場合、タスクにおいて使用される計算モデルは、Ａライン上の画素を管腔か又は背景のいずれかに確信度高く分類することとなる。それゆえ、ヒストグラムは、信頼度がほとんど０及び１となることを示すこととなる。しかしながら、Ａラインに沿った画質が低い場合、モデルは、画素を管腔又は背景として決定することにおいて信頼度が低いものとなる。対応するヒストグラムはこのとき、そのことをクリアに視覚化し、０と１との間のいくつかの確率値が提示されることとなる。かかるヒストグラムの相違は、以下の式において定義されるエントロピーを使用することによって算出されうる。

Ｅ_ｉ，ｊはフレームｊにおけるｉ番目のＡラインの品質のエントロピーを表し、ａはｉ番目のＡライン上の画素のインデックスであり、ｎはｉ番目のＡライン上の画素の数であり、ｐはロケーション（ｉ，ａ）における画素の信頼度値の確率である。

図１４Ａは、高信頼度のＡライン上のエントロピーの一例を示す。この例においては、以上の式によるエントロピーは０．４８である。図１４Ｂは、低信頼度のＡライン上のエントロピーの一例を示し、エントロピーは２２．６４である。

ｊ番目のフレーム品質は、以下の式によって決定することができる。
ここで、ｃｏｕｎｔは、第１の閾値Ｔ_１よりも大きいエントロピー値を有するＡラインの数を算出する関数である。Ｔ_２は、Ａラインのパーセンテージを示す第２の閾値である。第１の閾値Ｔ_１は、実験の結果として製造の間に設定することができる。Ｔ_１は、エントロピー値の正規化後の０と１との間の値とすることができる。単なる例として、Ｔ_１は、２％、５％、１０％、２０％、３０％、５０％、又は他の任意の値とすることができる。いくつかの例によれば、Ｔ_１の値は、ユーザの好みに基づいて調節することができる。この式においては、画質について定義される「良」及び「不良」のカテゴリがある。例えば、式がＴ_２を上回る値に帰着し、第２の閾値を上回るパーセンテージのＡラインが第１の閾値を上回るエントロピー値を有することを示唆する場合、画像フレームは「良」と定義することができ、式がＴ_２を下回る値に帰着する場合、画像フレームは「不良」と定義することができる。他の例においては、かかる信頼度分析は、より細かいタイプのカテゴリを更に特定するために拡張することができる。例えば、「不良」は、解離、側枝、血栓、ＯＣＴにおけるタンジェンシャルな撮像アーティファクト等の発生のサブカテゴリを更に含んでもよい。

Ｔ_２の値は、例えば、受信者動作特性（ＲＯＣ）分析に基づいて決定することができる。例えば、Ｔ_２の値は、感度、特異度、陽性予測値等の、ユーザによって定義することができる因子又は設定に依存するものとすることができる。例として、ユーザが全ての低画質画像を捕捉することを好む場合、感度を１００％近くに設定することができ、Ｔ_２が０～１０％等、比較的低く設定されてもよい。このことは、数画素のみがクリアでない場合にも、画像フレームが「不良」に分類される、偽陽性の数が多くなることに帰着しうる。他の例においては、より少ない画像フレームを「不良」として分類するように、Ｔ_２がより高く設定されてもよい。単なる例として、Ｔ_２は、約７０％、５０％、３０％、２０％又は他の任意の値に設定されてもよい。

図１５Ａ～図１５Ｃは、機械学習モデルを使用した画質検出の別の例を示す。この例においては、図１５Ａに示される取得された画像フレームは、血液のアーティファクトを伴う画像である。血液が管腔全体に広がっているにもかかわらず、セグメント化タスクは適切に達成されている。それゆえ、図１５Ｂにおけるマスクは、管腔を表す白色の画素と背景を表す黒色の画素との間のクリアな境界を描画する。さらに、図１５Ｃの出力は、検出された輪郭についての高い信頼度を示している。このタスクにおいて使用されたモデルは、血液のアーティファクトに対してロバストであるため、図１６Ａ及び図１６ＢにおけるＡラインのヒストグラムは、信頼度値がほとんど０及び１のバケットに入ることを示している。エントロピー値は、０．４４及び２．０８と低い。その結果、図１５Ａのフレームは、良好な品質として分類される。

図１７Ａ及び図１７Ｂは、信頼度査定の集約された出力を示す。図１７Ａは、引き戻し中の全てのフレームの全てのＡラインの品質を示し、画素の強度は、Ａラインの品質を示す。以上の式を使用して決定されるもの等のフレーム品質を使用して、ＯＣＴ画像品質は図１７Ｂに示されるように決定され得て、ここで０は低品質を示し、１は高品質を示す。最小限の不確実性を有する最長のクリアな画像長がユーザに提供されることを確実にするため、或る特定の後処理がこの結果に適用されてもよい。

以上の式はエントロピーのメトリクスに関するものであるが、他のメトリクスを使用することもできる。例としては、かかる他のメトリクスは、データ系列のランダム性又は変動を含みうる。信頼度又は不確実性のメトリクスは、標準偏差、分散、又はシャノンエントロピー若しくは計算エントロピー等の様々な形式のエントロピー等の、種々のタイプの統計値から算出することができる。上述した閾値は、受信者動作特性（ＲＯＣ：receiver operating characteristic）分析、又は経験的決定のいずれかによって決定されてもよい。

いくつかの例によれば、タスクベースの品質メトリクスと一致する画質のインジケータを出力することができる。品質インジケータは、例えば、視覚的、音響的、触覚的、及び／又は他のタイプのインジケータとすることができる。例えば、システムは、キャプチャされた画像が閾値の品質を満たす場合に、特徴的な音響トーンを再生することができる。別の例としては、システムは、撮像処置の間に取得された画像を出力するディスプレイ上に、視覚的なインジケータを配置することができる。この点に関して、処置を実行している医師は、十分な画像が取得されたか否かを即座に知ることとなり、それによって、よりクリアな画像を取得するための後続の処置の潜在的な必要性を低減する。後続の処置の低減された必要性は、向上した患者の安全性に帰着する。

図１８は、撮像システムのための一例示のユーザインタフェースのスクリーンショットであり、ユーザインタフェースは、画像フレームの品質の視覚的なインジケータを提供する。撮像システムは、例えば、ＯＣＴ、超音波、ＮＩＲＳ、マイクロＯＣＴ等の血管内撮像システムとすることができる。他の例においては、リアルタイムの品質の査定及び指標を、他のタイプの医療用又は非医療用撮像のために提供することができる。

図１８の例は、フレームビュー１８１０及びセグメントビュー１８２０を含む。フレームビュー１８１０は、セグメントビュー１８２０中の複数の画像のうちの単一の画像とすることができる。例えば、セグメントビュー１８２０中のフレームインジケータ１８２１は、セグメント中の他のフレームに対して、どのフレームがフレームビュー１８１０中に現在描画されているフレームに対応するかを特定することができる。血管内撮像処置の例においては、フレームビュー１８１０は撮像されている血管の断面図を描画し得て、セグメントビュー１８２０は撮像されている血管のセグメント又は部分の縦方向の図を描画する。

図１８の例は、タスクが管腔輪郭を検出することである、ＯＣＴの引き戻しについてのものである。タスクは、ユーザインタフェースを通して入力の選択肢を選択すること等によって、引き戻しを開始することに先立ち医師によって特定することができる。品質インジケータは、選択されたタスクに固有のものとすることができる。例えば、管腔輪郭を検出するタスクについては、インジケータは、管腔輪郭を描画する画像又は画像の一部がクリア又はクリアでない箇所を特定することができる。カルシウムを検出するタスクについては、インジケータは、画像中でカルシウムが閾値の確実性の度合いに関連して示されている箇所を特定することができる。いくつかの例によれば、複数のタスクが選択され、それにより、ユーザインタフェースが複数のタスクに関連する品質インジケータを描写するようにしてもよい。例えば、第１のインジケータは管腔輪郭に関連して提供されることがあり、第２のインジケータはカルシウムに関連して提供される。第１のインジケータと第２のインジケータとは、色、階調、テキスト、アノテーション、英数字値等のタイプが、同じものとすることもできるし、又は異なるものとすることもできる。

フレームビュー１８１０において見られるように、管腔輪郭は、画像の右下側における画像の第１の部分１８１２中に、クリアに撮像されている。管腔輪郭は、画像の左上側における画像の第２の部分１８１４中では、あまりクリアには撮像されていない。第１の部分１８１２は、管腔壁と管腔との境界をクリアに示しているが、第２の部分１８１４は、境界をあまりクリアには示していない。この例においては、フレームビューインジケータ１８１５は、管腔輪郭が明確に描画されていない第２の部分１８１４に対応している。フレームビューインジケータ１８１５は、管腔断面の円周のまわりに部分的に延在する着色された円弧（arc）として示されている。円弧によってカバーされる角度距離は、管腔輪郭がクリアに撮像されていない第２の部分１８１４の角度距離に対応する。例えば、画質が各画素について査定され、画質インジケータが特定の画素に対応しうるように、フレームを画素毎に評価することができる。したがって、フレームビューインジケータ１８１５は、画質が特定の閾値を下回る画像の特定の部分を特定しうる。

フレームビューインジケータ１８１５は着色された円弧として示されているが、様々な他のタイプのインジケータのいずれをも使用することができることが理解されるべきである。単なる例として、かかる他のタイプのインジケータは、限定するものではないが、オーバーレイやアノテーションや陰影やテキスト等を含みうる。いくつかの例によれば、インジケータは、画像の種々の部分についての品質の度合いを描画することができる。例えば、図１８における円弧は、色、陰影、又は透明性の度合い等の階調であってもよく、このときスペクトルの一端は低品質に対応し、スペクトルの他端は高品質に対応する。

セグメントビュー１８２０もまた、画質のインジケータを含みうる。図示されるように、セグメント品質インジケータ１８２５は、撮像された血管セグメントに沿った各画像フレームの品質を示すことができる。図１８の例においては、セグメント品質インジケータ１８２５は、セグメントビューの長さに沿って延在する着色されたバーである。着色されたバーは、フレーム品質が閾値を上回っている箇所を示す第１の色と、フレーム品質が閾値を下回っている箇所を示す第２の色とを含む。例えば、閾値は、タスクに従った画像が十分なクリアさでキャプチャされた各フレームの一部又はパーセンテージに対応するものとすることができる。かかる閾値は、例えば、以上のフレーム品質の式に関連して説明された閾値Ｔ_２に対応するものとすることができる。この例においては、セグメント品質インジケータ１８２５の第１の部分１８２７は、閾値を上回る十分な品質を有するセグメント中のフレームに対応する、第１の色である。セグメント品質インジケータ１８２５の第２の部分１８２９は、フレームビュー１８１０中に示されるフレーム等の、閾値を下回る低い品質を有するセグメント中のフレームに対応する、第２の色である。この例においては、セグメント品質インジケータ１８２５は、色を使用してセグメントに沿った各フレームの品質を区別するが、他の例においては、セグメント品質インジケータ１８２５は、陰影、階調、アノテーション等の他の印を使用することができる。さらに、セグメント品質インジケータ１８２５はバーとして図示されているが、他の任意の形状、サイズ、又は形式の印を使用することができることが理解されるべきである。

以上のいくつかの例は、ＯＣＴ画像に関連して説明されているが、以上に説明されたような直接的な深層学習又は管腔信頼度を使用する、自動的なリアルタイム品質検出の手法は、限定するものではないが、ＩＶＵＳやＮＩＲＳやマイクロＯＣＴ等を含む、様々な医療撮像モダリティのいずれにおいても適用することができる。例えば、管腔検出のための機械学習モデルは、管腔をアノテートされたＩＶＵＳ画像を使用して、トレーニングすることができる。そのモデルからの信頼度信号を使用して、画質を評定することができる。別の例としては、ＩＶＵＳフレームは、高品質又は低品質としてアノテートすることができ、画質を検出する直接的な深層学習アプローチを、ＩＶＵＳ処置の間のリアルタイムの画像取得において適用することができる。更に別の例としては、高精細血管内超音波（ＨＤ－ＩＶＵＳ：high-definition intravascular ultrasound）を使用する場合、改善されたＩＶＵＳ画質を提供するよう血液を取り除くために、生理食塩水のフラッシュを使用することができる。かかる場合においては、血管のフラッシュされた領域とフラッシュされていない領域とを区別するために、品質検出手法を適用することができる。更なる例においては、品質検出手法は、グレースケール又は軸方向分解能／横方向分解能等のＩＶＵＳパラメータに基づくものとすることができる。例えば、機械学習モデルは、画像が閾値分解能で取得されているか否かを検出するようにトレーニングすることができる。本明細書に説明された手法の様々な更なる応用のいずれもがまた可能であることは、理解されるべきである。

開示される技術の態様は、特徴の以下の組み合わせを含みうる。
（特徴１）
診断用医用画像を分類する方法であって、
診断用医用画像を受信するステップと、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析するステップであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものである、ステップと、
分析に基づいて、診断用医用画像の画質を特定するステップと、
特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップと
を含んでなる方法。
（特徴２）
診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、特徴１に記載の方法。
（特徴３）
一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、特徴２に記載の方法。
（特徴４）
診断用医用画像を第１の分類又は第２の分類として分類するステップを更に含む、特徴１に記載の方法。
（特徴５）
診断用医用画像が第２の分類に分類された場合に、アラート又は通知を提供するステップを更に含む、特徴１～４のいずれかに記載の方法。
（特徴６）
アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含む、特徴１に記載の方法。
（特徴７）
診断用医用画像は、光干渉断層撮影法画像である、特徴１に記載の方法。
（特徴８）
診断用医用画像をクリア医用画像又は血液医用画像として分類するステップを更に含む、特徴１に記載の方法。
（特徴９）
診断用医用画像が許容可能であるか許容可能でないかを示す確率を計算するステップを更に含む、特徴１に記載の方法。
（特徴１０）
計算された確率を診断用医用画像の分類に変換するために閾値法を使用するステップを更に含む、特徴９に記載の方法。
（特徴１１）
計算された確率を診断用医用画像の分類に変換するためにグラフカットを使用するステップを更に含む、特徴９に記載の方法。
（特徴１２）
計算された確率を診断用医用画像の分類に変換するために形態学的分類を使用するステップを更に含む、特徴１～９のいずれかに記載の方法。
（特徴１３）
許容可能とは、診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味するものである、特徴１～９のいずれかに記載の方法。
（特徴１４）
命令を記憶するメモリに結合された処理デバイスを備えるシステムであって、命令は、処理デバイスに対し、
診断用医用画像を受信することと、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析することであって、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされることと、
分析に基づいて、診断用医用画像の画質を特定することと、
特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力することと
を行わせるものである、システム。
（特徴１５）
診断用医用画像は、光干渉断層撮影法（ＯＣＴ）画像である、特徴１４に記載のシステム。
（特徴１６）
命令は、複数のＯＣＴ画像を、複数のＯＣＴ画像の各画像の分類に関連するインジケータとともに表示するように構成されている、特徴１５に記載のシステム。
（特徴１７）
一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、特徴１４～１６のいずれかに記載のシステム。
（特徴１８）
プログラム命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されたときに、
診断用医用画像を受信し、
トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、診断用医用画像を分析し、ここで、トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものであり、
分析に基づいて、診断用医用画像の画質を特定し、
特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力する
ことを実行するものである、非一時的コンピュータ可読媒体。
（特徴１９）
診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、特徴１８に記載の非一時的コンピュータ可読媒体。
（特徴２０）
一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、特徴１９に記載の非一時的コンピュータ可読媒体。
（特徴２１）
診断用医用画像を第１の分類又は第２の分類として分類することを更に含む、特徴１８～２０のいずれかに記載の非一時的コンピュータ可読媒体。
（特徴２２）
診断用医用画像が第２の分類に分類された場合に、アラート又は通知を提供することを更に含む、特徴１８～２１のいずれかに記載の非一時的コンピュータ可読媒体。
（特徴２３）
アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含む、特徴１８～２２のいずれかに記載の非一時的コンピュータ可読媒体。
（特徴２４）
診断用医用画像は、光干渉断層撮影法画像である、特徴１８～２２のいずれかに記載の非一時的コンピュータ可読媒体。
（特徴２５）
診断用医用画像をクリア医用画像又は血液医用画像として分類することを更に含む、特徴１８～２４のいずれかに記載の非一時的コンピュータ可読媒体。
（特徴２６）
診断用医用画像が許容可能であるか許容可能でないかを示す確率を計算することを更に含む、特徴１８に記載の非一時的コンピュータ可読媒体。
（特徴２７）
計算された確率を診断用医用画像の分類に変換するために、閾値の非一時的コンピュータ可読媒体を使用することを更に含む、特徴１８～２６のいずれかに記載の非一時的コンピュータ可読媒体。
（特徴２８）
トレーニングされた機械学習モデルを再トレーニングするために、分類不可能な画像を記憶することを更に含む、特徴２７に記載の非一時的コンピュータ可読媒体。
（特徴２９）
クリア画像長又はクリア画像長インジケータを出力することを更に含む、特徴１８に記載の非一時的コンピュータ可読媒体。
（特徴３０）
命令は、クリア画像長又はクリア画像長インジケータを表示するように構成されている、特徴１４に記載のシステム。
（特徴３１）
クリア画像長又はクリア画像長インジケータを表示又は出力することを更に含む、特徴１に記載の方法。

本開示の態様、実施形態、特徴、及び例は、全ての点で例示的であると考えられ、本開示を限定することを意図するものではなく、その範囲は特許請求の範囲によってのみ規定される。他の実施形態、修正形態、及び使用法は、特許請求される開示の趣旨及び範囲から逸脱することなく、当業者には明らかであろう。

本出願における見出し及び段落の使用は、本開示を制限することを意味せず、各段落は、本開示の任意の態様、実施形態、又は特徴に適用することができる。

本出願全体を通して、構成物が特定のコンポーネントを有する、含む、又は備えるものとして述べられる場合、又は、プロセスが特定のプロセスステップを有する、含む、又は備えるものと述べられる場合、本教示の構成物が、本質的に列挙されるコンポーネントからなる又は列挙されるコンポーネントからなること、及び、本教示のプロセスが、本質的に列挙されるプロセスステップからなる又は列挙されるプロセスステップからなることが企図される。

本出願において、要素又はコンポーネントが、列挙された要素又はコンポーネントのリストに含まれる及び／又はそのリストから選択されると言及される場合、その要素又はコンポーネントが、列挙される要素又はコンポーネントのいずれか１つとすることができ、また、列挙される要素又はコンポーネントの２つ以上からなる群から選択することができることが理解されるべきである。さらに、本明細書において述べる構成物、装置、又は方法の要素及び／又は特徴を、本明細書において明示的であろうと暗黙的であろうと、本教示の趣旨及び範囲から逸脱することなく種々の方法で組み合わせることができることが理解されるべきである。

用語「含む（include）」、「含む（includes）」、「含んでいる（including）」、「有する（have）」、「有する（has）」、又は「有している（having）」の使用は、別段の定めがない限り、一般にオープンエンドでかつ非限定的であると理解されるべきである。

本明細書における単数形の使用は、別段の定めがない限り、複数を含む（逆の場合も同様である）。さらに、別段に文脈が明確に指示しない限り、単数形「一（"a," "an"）」及び「その（the）」は、複数形を含む。さらに、用語「約（about）」又は「実質的に（substantially）」の使用が定量値の前である場合に、本教示は、別段の定めがない限り、特定の定量値自体も含む。本明細書において使用される用語「約」又は「実質的に」は、例えば、現実の世界における測定又はハンドリング処置を通して、これらの処置における偶発的な誤差を通して、複合テープ等の材料の製造における差／不具合を通して、欠陥を通して起こりうる数量の変動、並びに、変動であって、そのような変動が従来技術によって実施される既知の値を包含しない限り、当業者によって同等であるものと認識されることになる、変動を指す。典型的には、用語「約」又は「実質的に」は、述べる値の１／１０、例えば、±１０％だけ、述べた値又は値の範囲より大きい又は小さいことを意味する。

ステップの順序又は或る特定の動作を実施するための順序が、本教示が使用可能なままである限り、重要でないことが理解されるべきである。さらに、２つ以上のステップ又は動作を、同時に行うことができる。

値の範囲又はリストが提供される場合、値のその範囲又はリストの上限と下限との間の介在する各値は、個々に企図され、各値が本明細書に具体的に列挙されているかのように本開示内に包含される。さらに、所与の範囲の上限と下限との間及びそれらを含むより小さい範囲が、企図され、本開示内に包含される。例示的な値又は範囲のリストは、所与の範囲の上限及び下限の間並びにそれらを含む他の値又は範囲を排除するものではない。

本開示の図及び説明が、明確化のために他の要素を削除しながら、本開示の明確な理解のために適切である要素を示すように簡略化されていることが理解される。当業者は、しかしながら、これら及び他の要素が望ましい場合があることを認識するであろう。しかしながら、そのような要素が当技術分野でよく知られているため、また、それらの要素が本開示のより良い理解を促進しないため、そのような要素の説明は、本明細書において提供されない。図が、構造図としてではなく、例示のために提示されていることが理解されるべきである。省略された詳細及び修正形態又は代替的な例は、当業者の知識の範囲内にある。

本開示の或る特定の態様において、要素又は構造を提供するため、又は単数若しくは複数の所与の機能を実施するために、単一コンポーネントを複数コンポーネントに置き換えることができ、また、複数コンポーネントを単一コンポーネントに置き換えることができることを、認識することができる。そのような置換が本開示の或る特定の実施形態を実施するために使用可能でない場合を除いて、そのような置換は、本開示の範囲内にあると考えられる。

本明細書に提示される例は、本開示の可能性のあるかつ具体的な実施態様を例示することを意図される。その例が、主に、当業者のために本開示の例示のために意図されることを、認識することができる。本開示の趣旨から逸脱することなく、これらの図又は本明細書において述べる動作に対する変形が存在する場合がある。例えば、或る特定の場合には、方法ステップ又は動作を、異なる順序で実施若しくは実行することができる、又は、動作を、追加、削除、若しくは修正することができる。

Claims (20)

1. 診断用医用画像を分類する方法であって、
   前記診断用医用画像を受信するステップと、
   トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、前記診断用医用画像を分析するステップであって、前記トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものである、ステップと、
   前記分析に基づいて、前記診断用医用画像の画質を特定するステップと、
   前記特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力するステップと
   を含んでなる方法。
2. 前記診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、請求項１に記載の方法。
3. 前記一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、請求項２に記載の方法。
4. 前記診断用医用画像を、第１の分類又は第２の分類として分類するステップを更に含む、請求項１に記載の方法。
5. 前記診断用医用画像が前記第２の分類に分類された場合に、アラート又は通知を提供するステップを更に含む、請求項４に記載の方法。
6. 前記アノテートされた診断用医用画像のセットは、「クリア」、「血液」、又は「ガイドカテーテル」を含むアノテーションを含む、請求項１に記載の方法。
7. 前記診断用医用画像は、光干渉断層撮影法画像である、請求項１に記載の方法。
8. 前記診断用医用画像を、クリア医用画像又は血液医用画像として分類するステップを更に含む、請求項１に記載の方法。
9. 前記診断用医用画像が許容可能であるか許容可能でないかを示す確率を計算するステップを更に含む、請求項１に記載の方法。
10. 前記計算された確率を前記診断用医用画像の分類に変換するために閾値法を使用するステップを更に含む、請求項９に記載の方法。
11. 前記計算された確率を前記診断用医用画像の分類に変換するためにグラフカットを使用するステップを更に含む、請求項９に記載の方法。
12. 前記計算された確率を前記診断用医用画像の分類に変換するために形態学的分類を使用するステップを更に含む、請求項９に記載の方法。
13. 許容可能とは、前記診断用医用画像が、閾値レベルよりも高い精度又は信頼度の人体組織の特性の評価を可能にする、予め定義された閾値品質よりも高いことを意味する、請求項９に記載の方法。
14. 前記予め定義された閾値品質の値が、機械学習モデルを最適化することによって決定される、請求項１３に記載の方法。
15. 命令を記憶するメモリに結合された処理デバイスを備えるシステムであって、前記命令は、前記処理デバイスに対し、
    診断用医用画像を受信し、
    トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、前記診断用医用画像を分析し、ここで、前記トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものであり、
    前記分析に基づいて、前記診断用医用画像の画質を特定し、
    前記特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力する
    ことを行わせるものである、システム。
16. 前記診断用医用画像は、光干渉断層撮影法（ＯＣＴ）画像である、請求項１５に記載のシステム。
17. 前記命令は、複数のＯＣＴ画像を、前記複数のＯＣＴ画像の各画像の分類に関連するインジケータとともに表示するように構成されている、請求項１６に記載のシステム。
18. 一連の診断用医用画像は、光干渉断層撮影法の引き戻しを通して取得される、請求項１５に記載のシステム。
19. プログラム命令を含む非一時的コンピュータ可読媒体であって、前記プログラム命令は、実行されたときに、
    診断用医用画像を受信し、
    トレーニングされた機械学習モデルを用いて、リアルタイムで又は略リアルタイムで、前記診断用医用画像を分析し、ここで、前記トレーニングされた機械学習モデルは、アノテートされた診断用医用画像のセットに対してトレーニングされるものであり、
    前記分析に基づいて、前記診断用医用画像の画質を特定し、
    前記特定された画質の指標を、リアルタイムで又は略リアルタイムで、ユーザインタフェース上での表示のために出力する
    ことを実行するものである、非一時的コンピュータ可読媒体。
20. 前記診断用医用画像は、一連の診断用医用画像のうちの単一の画像である、請求項１９に記載の非一時的コンピュータ可読媒体。