JP2023520741A - ホログラフィックによる遠隔プロクタリングのための、心エコー画像からの医療機器のリアルタイムトラッキング方法 - Google Patents

Abstract

本発明は、介入部位で取得された医用画像ストリームを、遠隔ホログラフィックデバイス（１１２）によって可視化する方法に関し、本方法は、Ａ．患者の身体器官の医用画像ストリームを医用取得装置（１０１）によって取得するステップであって、介入中に医療機器が患者の身体器官に挿入される、ステップと、Ｂ．医用画像ストリームをサーバ（１０５）上の仮想マシンにストリーミングするステップ（１０２）と、Ｃ．当該仮想マシン上で実行される、画像ストリームのみに基づくエキスパートアルゴリズム（１０７）によって、医療機器のデジタル位置及び向き、並びに画像ストリーム内の画像の少なくともサブセット上にある少なくとも２つのデジタル解剖学的ランドマークを同定するステップと、Ｄ．医療機器のデジタル位置及び向きを表すグラフィック要素を生成し、かつ当該画像のサブセットにグラフィック要素を重ね合わせることで、重ね合わせ画像ストリームを取得するステップと、Ｅ．重ね合わせ画像ストリームをビデオ信号へと再フォーマットするステップ（１０８）と、Ｆ．可視化を行うために、遠隔ホログラフィックデバイス（１１２）にビデオ信号を送信するステップと、を実行することを含む。

Description

本発明は、ホログラフィックによる遠隔プロクタリングのための、心エコー画像からの医療機器のリアルタイムトラッキング方法に関する。

アメリカ家庭医学会（Ａｍｅｒｉｃａｎ Ａｃａｄｅｍｙ ｏｆ Ｆａｍｉｌｙ Ｐｈｙｓｉｃｉａｎｓ：ＡＡＦＰ）によれば、プロクタリングとは、医療スタッフを代表し、なおかつ医療スタッフに対して指導責任を負う立場にあるプロクター（監督医師）が、医師の臨床能力を客観的に評価することである。権限を求める新人の医療スタッフ、又は新たに権限の拡大を求める既存の医療スタッフに対し、診療の提供中又は権限が求められる手技の実行中にプロクタリングが行われる。多くの場合、プロクターは、別の医師の技術的な能力や認識能力を評価する監督としての役割のみを果たす。プロクターが患者の治療を直接行うことはなく、受療患者との医師・患者関係を有しないため、患者から診察料を受け取ることはない。

「プロクター制度」及び「プリセプター制度」という用語は、場合によっては互換的に使用される。しかしながら、プリセプター制度は、指導医が別の医師に対して新たな技能の指導を行い、なおかつその指導医が患者の治療に対する主な責任を負う教育プログラムであるという点で異なっている。

プロクタリングには、事前、同時並行、及び事後の３つの形式がある。事前のプロクタリングでは、プロクターは治療前に、患者を自身で検査するか、又は患者のカルテをレビューする。この形式のプロクタリングは、特定の手技に対する指示を決定することが困難である場合、又は当該手技が特に危険を伴う場合に使用されてもよい。同時並行のプロクタリングでは、プロクターは希望者の手技を直接監視する。この形式のプロクタリングは通常、当該希望者の力量を保証する説明をプロクターが医療スタッフに直接行うことができるように、侵襲的手技に使用される。事後のプロクタリングは、プロクターが患者のカルテを事後に検討することを含む。事後の検討は通常、非侵襲的手技のプロクタリングに適している。

同時並行のプロクタリングには時間がかかり、準備して実施するのがより困難であるが、最も有効であり得る。

特許文献１は、２Ｄフラットパネルスクリーン上に可視化する際に生じるいくつかの不都合を克服する、ライブ３Ｄホログラフィックガイダンス及びナビゲーションを用いて低侵襲的に実施され得る介入手技を開示している。ライブ３Ｄホログラフィックガイダンスは、トラッキングされた介入器具／機器のナビゲーションを可能にするために、患者身体の一部の完全なホログラフィック表示を提供することができる。しかしながら、開示されている方法では、こうした表示を実現するために光発生器及びトラッキングデバイスを使用しており、このトラッキングデバイスは反射マーカであり得、またトラッキングデータを提供するために、光学的にトラッキングされ得る。このため、そのようなマーカは、これらのデバイスに介入手術を依存させている物理的デバイスと言える。これらのデバイスを既存の介入器具に適用することは、困難又は不可能でさえあり得る。これらのデバイスを新たに介入器具に組み込むとコストがかかる恐れがあり、また当該器具のサイズが大型化するだけでなく、その機能性にも影響が及ぶ可能性がある。

仮想の遠隔プロクタリングを実現するために、情報通信技術を使用することが強く必要とされており、この仮想の遠隔プロクタリングにより、病院の医師をプロクタリングするのに世界で最も適した専門家を起用することができる。このような点から、トラッキング対象の器具にいかなる物理的なマーカデバイスも追加することなく、即ち画像演算のみによって、手術中に介入器具をトラッキングする方法を備える必要性が感じられている。このように、介入器具の開発と、トラッキング技術及びプロクタリング技術の開発とは独立して行われ、これによりコスト削減、専用の研究、サイズの縮小、実際のリアルタイムの遠隔支援を可能にするトラッキング速度の向上、及び物理的マーカの誤動作の回避を含む、利点すべてがもたらされる。

米国特許出願公開第２０１９３３９５２５（Ａ１）号明細書

本発明の目的は、ホログラフィックによる遠隔プロクタリングのための、外科的介入中の医療機器のリアルタイムトラッキング方法を提供することである。

本発明の主題は、添付の特許請求の範囲による医療機器のリアルタイムトラッキング方法である。

本発明の特定の主題は、添付のサーバの請求項に記載されている、本発明の方法で使用されるように構成されたサーバである。

ここで本発明について、添付の図面における図を具体的に参照して、限定ではなく例示の目的で説明する。
本発明の概略的なプロクタリングによる支援の概念を示す図である。 本発明による一実施形態を示す詳細なフローチャートである。 本発明を使用する医師及びプロクターを示す概略図である。 心臓介入に適用される本発明の方法において、ＡＩを訓練するために使用される様々な学習用セットを示す図である。 心臓介入に適用される本発明の方法において、ＡＩを訓練するために使用される様々な学習用セットを示す図である。 心臓介入に適用される本発明の方法において、ＡＩを訓練するために使用される様々な学習用セットを示す図である。 本発明による方法のニューラルネットワーク訓練の一例における、学習用データセット（濃灰色）及び検証用データセット（薄灰色）でのＵＮＥＴニューラルネットワークの損失傾向を示す図である。 本発明による検証用画像に対して得られた、本発明のニューラルネットワークの結果例を示す図である。１行目は機器のセグメント化に関し、２行目は心臓の弁尖に関する。左の画像は、切り取られた診断画像に重ね合わされたニューラルネットワークによるセグメント化を示し、中央の画像は、テスト提供者によって提供されたセグメント化を示し、また右の画像では、ニューラルネットワークによるセグメント化が示されている。 本発明によるニューラルネットワークの結果例を示し、ここでは弁尖のセグメント化（２行目）は誤っており不完全であるが、機器のセグメント化（１行目）は正確である。

当業者が本稿の記載から直接的かつ明確に理解を得るように、本発明の技術的概念を考慮しながら制限することなく、異なる実施形態の要素を組み合わせて更なる実施形態を提供できることが、ここに明記される。

本明細書はまた、その実施のために、例えば同じ種類の解決策において従来技術で通常使用される比較的重要性が低い要素など、記載していない個別の特性に関して、従来技術を参照している。

１つの要素が導入される場合、それは常に「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」又は「１つ又は複数（ｏｎｅ ｏｒ ｍｏｒｅ）」であり得ることを意味する。

要素又は特徴のリストが本明細書に列挙されている場合、本発明による知見は、そのような要素を「備える（ｃｏｍｐｒｉｓｅ）」又はそのような要素から「構成される（ｉｓ ｃｏｍｐｏｓｅｄ ｏｆ）」ことが理解される。

実施形態
以下の実施形態は、心臓介入中のプロクタリングに言及しているが、本発明の方法が、あらゆる器官又は器官群のあらゆる外科的又は医学的介入の遠隔プロクタリングを可能にすることを理解されたい。

実際に図１を参照すると、プロクタリングサービスを提供する医療機器会社１０は、情報通信ネットワーク２０を使用して１つ又は複数の病院３０に接続しており、病院で行われた介入からのデータが、好ましくはマルチアクセス・エッジ・コンピューティング（Ｍｕｌｔｉ－ａｃｃｅｓｓ ｅｄｇｅ ｃｏｍｐｕｔｉｎｇ：ＭＥＣ）４０を使用して転送されている。

以下の実施形態は５Ｇ情報通信ネットワークの使用に言及しているが、本発明の方法が、経路の遅延時間が異なっているケーブル接続及びＷｉ－Ｆｉ（登録商標）を含む、他の現行又は将来型のネットワークによっても十分に実現され得ることを理解されたい。

本発明の一態様によれば、患者の心臓弁及び心臓構造の心エコー画像が、経カテーテル外科的手技中の心血管医療機器を埋植している間に取得される。手技に使用されて埋植されない機器も含むあらゆる種類の医療機器が、本発明に従ってトラッキングされ得る。

この点に関して、本発明の方法によってトラッキングされるに際し、医療機器がその内部／上に物理的マーカ（又は任意のトラッキングハードウェアシステム若しくは構成要素）を有する必要はない。本発明の方法は、画像処理のみによって機能する。しかしながら、状況によっては、本発明の方法を別の形で補完するために、１つ又は複数の物理的マーカを備える医療機器を使用することができる。

取得時、画像は患者の関心対象の解剖学的構造（例えば、心臓弁の弁尖、弁輪、左心房及び左心室）と、操作者によって操作される医療機器とを含む。

図２のフローチャートを参照すると、患者の心臓のライブイメージング映像が、手術室内の心エコー装置１０１によって撮像されている。そのようなライブイメージング映像は、ビデオキャプチャ装置（例えばＨＤＭＩ（登録商標）変換器）を介してキャプチャされ得、好ましくは１０１の出力と同一の解像度及びフレームレートを維持しながら、（手術室内の）ローカルコンピュータ上のストリーミングソフトウェア１０２（例えば、ピアツーピアのビデオストリーミング）に生データとして送信され得る。

１０２のストリーミングソフトウェアはビデオ入力を取得し、ストリーミングソフトウェア受信部１０６が設置されたサーバ１０５（例えば、Ｍ．Ｅ．Ｃ環境が実装される）内の仮想マシン（例えば、現在では複合現実デバイス間の接続により適しているＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムを使用している）のＩＰアドレスに向けたストリーミング接続（例えば、ユーザ・データグラム・プロトコル（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ：ＵＤＰ）を生成する。

ピアツーピアビデオ受信部１０６は、５Ｇルータ１０３及び５Ｇアンテナ１０４を介してストリーミング信号を受信し、好ましくは１０１の出力と同一の解像度及びフレームレートを維持する。本発明の好ましい一実施形態によれば、この時点で、２０Ｍｂｉｔ／ｓ近くのデータ転送が１０２から１０６へと生成される。

本発明によれば、通常５Ｇルータは、ＬＡＮ又はＷｉＦｉケーブルを介してビデオストリーマに接続され得、また５Ｇ無線信号を介して５Ｇアンテナに接続され得る。さらに、本発明の一態様によれば、ルータの代わりに、５Ｇ ＳＩＭを備えるコンピュータを使用して、ネットワークに直接アクセスすることができる。

別の実施形態によれば、ルータは、エンドユーザのホログラフィック（可視化）デバイスに組み込まれ得る（図２では、ブロック１０３はブロック１１３に組み込まれている）。より一般的には、エンドユーザのホログラフィック（可視化）デバイスは、（５Ｇ）ネットワークに接続するように構成され得る。

次いで、ビデオストリーミングが、好ましくは画像の連続ストリームとしてＡＩネットワーク１０７に渡される。ＡＩネットワークは心エコー画像上で、ストリーム画像の少なくともサブセットごとに、好ましくは処理されたすべての画像ごとに（即ち、ビデオフレームごとに）、上記医療機器の位置及び少なくとも２つの解剖学的ランドマーク（本実施例では僧帽弁弁尖から弁輪にかけての挿入）を認識するように訓練されている。解剖学的ランドマークは、位置、向き、形状、特定の点又は代表点のうちの１つ又は複数によって定義され得る。これらのランドマークは２つの効果を有し得、即ちプロクタリングされる者（本発明の一態様に従って画像ストリームに重ね合わされたグラフィック要素によって表される場合）又は医師が関心領域を認識するのを補助することができ、また以下に説明するように、これらを使用して、手技の３Ｄ表現を作成することができる。

ＡＩの訓練段階中に使用されるデータセットと一致するように、各フレームがグレースケール画像に変換され得る。この演算は、データレベル並列性（ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ ｄａｔａ：ＳＩＭＤ）を利用して、高度に並列に算出される。

ここでは１つの医療機器について言及しているが、本発明の方法により、介入で使用される２つ以上の医療機器を同時並行的に認識できるようになる。

受信されたフレームはローカルバッファにキャッシュされ得、即ち少数のフレームのセットとなり、次いでＡＩが個々の画像を処理すると、即時にローカルバッファから除去され得る。ＡＩによるフレームの処理速度がバッファ充填の速度よりも遅い場合、キャッシュが完全にフルになる可能性があり、この場合、ユーザに対し確実にスムーズなフレームフローが戻るようにするために、ビデオストリームを停止するのではなく、ＡＩからの情報なしで元のビデオフレームを代わりに使用することが好ましい。

本発明の一態様によれば、ＡＩネットワーク１０７（又は、より一般的にはエキスパートアルゴリズム）は、デバイスの位置（及び好ましくは向きも）と解剖学的ランドマークとを表示するために、各処理画像に重ね合わされるグラフィック要素（例えば、任意の形状の線又はセグメント）を生成している。この演算は、当該演算の遅延が確実に最短になるように、グラフィック処理装置によって提供される高レベルの並列性を利用することによって実行され得る。ＡＩネットワークは、有利には同一のフォーマットのビデオ入力を有するビデオ映像に再フォーマットされた画像の（例えば、連続的）ストリームである出力を生成し、次いでこの出力は、仮想ビデオ作成部１０８に直接渡される。仮想ビデオ作成部が、ライブカメラによって生成されたかのようにビデオストリームを作成する、仮想ウェブカム作成部であると好ましい。ＡＩネットワークは、所与の心エコー画像上で強調表示される必要のある、それらのピクセル座標のリストのみを送信することができる。この送信を行うことにより、２つのＶＭ間で交換されるデータ量を削減することができる。データ交換量が少ないということは、後処理された画像全体を直接送信する場合と比較して、遅延時間が１０分の１に短縮されることを意味する。

仮想ビデオ作成部は、ピクセル座標バイトを受信し、それらを初期のフルフレーム画像のピクセルデータと共にインテリジェントに処理して、最終的な重ね合わせ出力ビデオストリームを生成する。好ましい一実装では、この動作は、プロセスの速度をさらに向上させるために、有意なサイズのバッチで各フレームをグループ化して実行される。画像の連続ストリームの場合、本発明は、重ね合わせプロセスが終了する前に画像をキューに格納し、ＡＩがその応答を送信するのを待機するバッファリングシステムを利用することができる。仮想ビデオ作成部は、高度な並列演算アルゴリズムを使用することにより、ＶＭのすべての演算部の能力を利用して各フレームを処理している。本発明は、複数の参加者（例えば、病院）が互いに接続されている場合に、ＭＥＣの全演算能力を使用することによって水平方向にスケーリングされ得る。

ＡＩ １０７が、第１の仮想マシンと同一のＭ．Ｅ．Ｃ層でホストすることができる、第２の仮想マシン（例えば、現在ではより効果的に機能するという理由から、Ｌｉｎｕｘ（登録商標）オペレーティングシステムを使用している）でホストされると好ましい。仮想ウェブカム作成部１０８は、ピアツーピアビデオ受信部１０６と共に第１の仮想マシン上でホストされている。２つのＶＭ間の通信には、リアルタイムデータ交換技術を利用している。データは、メモリ内データベースを使用してすべてＲＡＭ内の２つの仮想マシン間で交換され、その際、Ｐｉｎｇ時間が確実に２ミリ秒未満となるようにしている。

仮想ウェブカム作成部１０８が、好ましくは同一の解像度及びフレームレートを維持しながら、１０７からの入力を仮想ライブウェブカムビデオ信号として符号化してもよい。このビデオ符号化プロセスでは、心エコー装置１０１から得られる高スループットを、その後ストリーミングプロトコル仮想サーバ１０９で利用するように最適化する。仮想サーバ１０９が、ＷｅｂＲＴＣ伝送プロトコルを利用することによって接続ユーザとのマルチピア接続を確立し、これにより、他の技術と比較してデータネットワーク伝送の総量を１０分の１まで削減する（例えば、２Ｍｂｉｔ／ｓまで）、ＷｅｂＲＴＣ仮想サーバであると好ましい。

ストリーミングプロトコル１０９は第１の仮想マシン上にあり、ビデオチャットシステムとして１０８の仮想ウェブカム信号を読み取り（当該読取りはウェブカム信号を処理する場合に限られ、その他の場合はストリーミングプロトコルは１０８の信号をチャットとして読み取らない）、これを処理して、５Ｇアンテナ１１０及び５Ｇルータ１１１並びに／又は５Ｇアンテナ１０４及び５Ｇルータ１０３をそれぞれ介して、エンドユーザのホログラフィックデバイス１１２及び／又はホログラフィックデバイス１１３へとバイナリデータを送信する。

本明細書では、デバイス１１２は人間の医師によって使用される物理的デバイスであるが、デバイス１１２が、医療機器を制御するように構成されたロボット内に組み込まれる仮想デバイスである場合にも、本発明は等しく適用される。したがって、本出願では、可視化を行う物理的及び仮想的デバイスは、本発明を説明し、かつ特許請求するにあたって等しく意図されている。

このバイナリデータには、当該ビデオ映像の処理された各ピクセルの情報が含まれる。本発明の一実施形態によれば、この情報は１１２及び１１３によって同時に受信され、現在の技術の場合には、この情報を適用して、仮想サーバ１０９のビデオ出力、即ち医療機器を使用した心エコー画像、及び場合によっては解剖学的ランドマークの認識（対応するグラフィック要素を含み、これについては以下を参照されたい）を正確に示す、仮想モニタを表すホログラフィック３Ｄ立体のテクスチャ素材の特性が変更される。

有利には、１１２は１０１から離隔した遠隔地点に設置されている（医師が装着する）一方、１１３は１０１と同一地点に設置されている。それでもなお、システム全体により、２人の操作者（１１２がプロクターであり、１１３が執刀医である）が同一のホログラフィックによる心エコーの可視化を、時間における全く同一の瞬間にトラッキングするＡＩデバイスを用いて共有することができる。５Ｇネットワークを使用すると、遅延は１０１の出力に対して０．５秒未満になり得る。

システム全体は、サーバ１０５上のＭ．Ｅ．Ｃ．環境に依存してもよく、当該環境は、５Ｇルータ及び５Ｇアンテナとのネットワーク接続と、専用のクラウド・コンピューティング・サービスとして機能する仮想マシンとの両方をホストすることができる技術である。

Ｍ．Ｅ．Ｃ．インフラストラクチャは、データソース、即ち１０１及び病院施設に近接した分散型エッジ・コンピューティング・ポイントであるように実装される。処理コンピューティングのこうした分散化は、目下Ｍ．Ｅ．Ｃ．インフラストラクチャに固有のものであり、他のいかなるネットワークシステム（例えば４Ｇ）が実現するよりも、コンピューティングリソースをデータソースに近接させることができる。したがって、５Ｇ技術を使用すると、高帯域幅のデータ伝送及びリアルタイム接続が行われても、Ｍ．Ｅ．Ｃ．へのデータ伝送及びＭ．Ｅ．Ｃ．からのデータ伝送において、極めて低い遅延を得るのに有利である。とりわけ複数の接続、即ち多数のユーザが接続されている場合にも、確実に低遅延が得られるようになる。この低遅延は２つの状況で起こり得、
１）１１２が１１３を支援している間、Ｎ＞５０名の参加者が、学習目的で１１２及び１１３の手技を見学するために接続している状況、及び
２）病院とプロクターとのＮ個の接続を同時並行的に管理するＮ＞２０対の仮想マシンを、１０５が並行してホストしている状況である。これらの接続はすべて、よりコンピューティングサーバに近接したアンテナ１０４、１１０のセットを通過してもよい。

同時並行的可視化
図３を参照すると、本発明のシステムにより、プロクタリングが異なる地点で行われている間でも、病院の現場で遠隔プロクタリングキットを使用することができる。例えば、地点♯１と地点♯２とは遠く離れている可能性があるが、２つのプロクタリングを実現している。この場合、これら２つの可視化地点は、遠隔可視化に使用されるのと同一の情報通信ネットワークとすることができる情報通信ネットワークを介して、互いに通信し合うことができる。

３Ｄエコー装置は心エコーを取得し、ローカル及び遠隔のＨｏｌｏｌｅｎｓデバイス上でのビデオ映像の可視化を実現するローカルコンピュータへと、当該心エコーを渡す。この可視化を行うために、ビデオ映像はまずＭＥＣサーバに送信される。次いで複合現実によるビデオ映像はローカルアンテナに返され、そしてＨｏｌｏｌｅｎｓの他、遠隔受信者にも返され、その後遠隔Ｈｏｌｏｌｅｎｓに返される。

複合現実
上記のホログラフィックによる心エコーの可視化は、本発明の特定の一実施形態によれば、複合現実で行われ得る。この場合、心臓（又は他の器官）の３Ｄ解剖学的モデルが事前に作成され（何らかのスキャンに基づいて患者ごとに）、ライブストリーミングに重ね合わされる。さらに、ＡＩは医療機器の位置及び向きだけでなく、解剖学的ランドマークをも認識する。

このようにして、医療機器は解剖学的モデル内で可視化され得、その結果、医師は対象物を様々に動かす判断を下すことができる。解剖学的ランドマークは、他の臨床目的にも役立てることができる。

ホログラフィック可視化デバイスを、例えばＨｏｌｏｌｅｎｓ、Ｍａｇｉｃ ｌｅａｐ、Ｌｅｎｏｖｏ Ｅｘｐｌｏｒｅｒ、又はホログラフィックかどうかにかかわらず、他の任意のデバイスとすることができる。さらに、複合現実は、ボタンパネルなどの他の任意の有用な要素を含むことができる。

エコー画像の３Ｄモデルへの重ね合わせは、剛体変換によって行われてもよい。しかしながら、解剖学的部位が動いている（例えば、拍動する心臓）場合には、剛体重ね合わせを行うのは不可能である。この場合、剛体アフィニティ変換が使用され得る。

例えば、僧帽弁の心エコー取得では、鞍形弁尖

［Ｎｅｔｔｅｒ、Ｆｒａｎｋ．Ｈ．著、「Ａｔｌａｓ Ｏｆ Ｈｕｍａｎ Ａｎａｔｏｍｙ」、ペンシルバニア州フィラデルフィア、Ｓａｕｎｄｅｒｓ／Ｅｌｓｅｖｉｅｒ社、２０１１年］、弁輪後部の中間点

［Ｎｅｔｔｅｒ、Ｆｒａｎｋ．Ｈ．著、「Ａｔｌａｓ Ｏｆ Ｈｕｍａｎ Ａｎａｔｏｍｙ」、ペンシルバニア州フィラデルフィア、Ｓａｕｎｄｅｒｓ／Ｅｌｓｅｖｉｅｒ社、２０１１年］、及び心室尖部

［Ｎｅｔｔｅｒ、Ｆｒａｎｋ．Ｈ．著、「Ａｔｌａｓ Ｏｆ Ｈｕｍａｎ Ａｎａｔｏｍｙ」、ペンシルバニア州フィラデルフィア、Ｓａｕｎｄｅｒｓ／Ｅｌｓｅｖｉｅｒ社、２０１１年］を同定することができる。本実施例では、当然ながらその部位の一箇所を取得しているが、ほとんどの場合はこれで十分である。

３Ｄ術前モデル上の３つの対応するマーカ

を同定した後、当該３Ｄモデル上に２Ｄ画像を重ね合わせるために、解を得る方程式は以下の通りである。

また、３Ｄ解剖学的モデルを動的、即ち一連のモデルフレームとすることができ、モデルの身体器官は（少なくともモデルフレームのサブセットごとに）異なるフレームで異なる形状を有する。取得された画像ストリームについて（したがって、グラフィック要素が重ね合わされた画像ストリームについて）同じことが当てはまる場合、当該モデルへのストリームの重ね合わせは問題となり得る。この場合、取得された中で、所与のモデルフレームに重ね合わせる正しい身体器官フレームを認識することは、所与のモデルフレームに対するアフィン変換の誤差が最小である（重ね合わされた）フレームを同定することによって実行され得る。この認識は、数学的変換又は学習済みアルゴリズムによって実現され得る。当然ながら、この認識はモデルフレームの一部に対してのみ行うことができ、合間に補間又は他の方法を使用することができる。

ニューラルネットワークの訓練
ＡＩが認識するランドマークは事前に決定されている。したがって、ＡＩは、マーカを検出するまで画像を一枚ずつ認識するように訓練されることになる。

マーカは領域であり得るので、この場合、モデル上の位置決めを決定する必要がある。この作業は医療機器の位置決め精度を変化させ得るので、本発明の一態様によれば、ＡＩは４つ以上のマーカを使用することにより、重ね合わせを最適化するように訓練され得る。

図４～図６は、２つのマーカ（心臓弁の弁尖用の正方形格子パターンセグメント及び他の心臓弁の弁尖用の十字パターンセグメント）と、医療機器（斜線パターンセグメント）とを有する例示的な学習用セットを示す。

ＡＩ発明の具体例（エキスパートアルゴリズム）
例示的な状況
２Ｄ心エコー図の時間的シーケンスとして取得されたビデオ映像において、心臓弁組織片を縫合するＡｂｂｏｔｔ Ｍｉｔｒａｃｌｉｐ（商標）弁修復装置を同定するためのＡＩベースのシステムが開発された。具体的には、
－ビデオ映像の各フレームは、装置をセグメント化するために解析され、
－当該モデルの結果は、各フレームにおけるＭｉｔｒａｃｌｉｐ（商標）のバイナリセグメンテーションである。

データセットの説明と前処理
図４～図６を参照すると、心エコー検査の実行中に保存された画像及び対応するアノテーションが、基礎となる起点を構成する。具体的には、画像ごとに、アノテーションがＭｉｔｒａｃｌｉｐ（商標）を斜線パターンセグメントとして示している一方、僧帽弁弁尖は、正方形の格子パターンセグメント及び十字パターンセグメントとして同定されている。

３Ｄモード又は２Ｄモードで２つの異なるメーカーのプローブを使用して実施された心エコー検査中に、画像を取得した。具体的には、
－ＧＥ社製のプローブを使用して、２Ｄ心エコー検査から１８６枚の画像を取得し、
－Ｐｈｉｌｉｐｓ社製のプローブを使用して、２Ｄ心エコー検査から８２３枚の画像を取得し、
－ＧＥ社製のプローブを使用して、３Ｄ心エコー検査から１６６枚の画像を取得し、
－Ｐｈｉｌｉｐｓ社製のプローブを使用して、３Ｄ心エコー検査から２１６枚の画像を取得した。

第１のテストでは、Ｐｈｉｌｉｐｓ社製のプローブを使用して２Ｄ心エコー検査から取得した画像のみが使用されているが、当該モデルの開発では、データセットのサイズを拡大するためにすべての種類の画像を利用した。

学習用セット、検証用セット及びテスト用セットは、固定シードであるが、同一の心エコー検査で取得されたすべての画像を同一のセットに含めるという制約を伴って、ランダムに構築された（画像間でのランダムな選択）。利用可能なデータセット全体の約１０％がテスト用セットに含まれ、約１０％が検証用データセットに含まれ、そして残りの８０％が学習用セットに含まれていた。

マスク構築（マスクは、元の画像に重ね合わされた一対の画像であり、当該一対の画像には、セグメント化された領域が存在する）において機器を同定するために、斜線パターンピクセルが選択される一方、正方形格子パターンピクセル及び十字パターンピクセルは弁尖を抽出していると考えられる。アノテーションを起点とするマスク構築により、僧帽弁弁尖を含むこともできるし、含まないこともできる。第１の事例ではマスクは三次元であり、僧帽弁弁尖と見なされる２つのチャネルを含む（各チャネルは通常、セグメント化されたオブジェクトに対応し得る）一方、第２の事例ではマスクは二次元である。

ニューラルネットワーク構造
二次元画像（より一般的には、例えば、エコー検査若しくはＸ線検査又は他の撮像システムからのＮ次元画像、例えば３Ｄ画像である）をセグメント化することを目的としているため、本発明者らはｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｍｉｌｅｓｉａｌ／Ｐｙｔｏｒｃｈ－ＵＮｅｔ／ｂｌｏｂ／ｍａｓｔｅｒ／ｕｎｅｔ／ｕｎｅｔ＿ｍｏｄｅｌ．ｐｙで入手可能な典型的なモデルから始めて、ＵＮＥＴニューラルネットワークを使用することを選択した。本発明者らは、ダイススコアの補完値を最小化することによって当該モデルを訓練することを選択した。

ニューラルネットワークは、検査者が機器のみを同定したいか、又は僧帽弁弁尖もさらに同定したいかに応じて、１つ又は複数の出力クラスを有してもよい。弁尖と機器との両方をセグメント化する場合、２つの出力チャネルの損失が平均化される。ドロップアウトを使用して当該モデルを訓練する可能性も含まれていた（即ち、弁尖及び医療機器がない状態で）。

各バッチは１６枚の画像を含み、学習率及び荷重減衰（ｗｅｉｇｈｔ ｄｅｃａｙ）はそれぞれ、１ｅ－３と１ｅ－４とに初期化された。学習率は、０．６１８ガンマで８００エポックごとに更新された。

ニューラルネットワーク入力として使用する前に、当該画像にいくつかの変換を施した。より詳細には、学習用セット画像は、
・９０°の範囲でランダムに回転され、
・正方形になるようにランダムにトリミングされ、その辺は学習用セット画像における最小サイズに等しく、
・ランダムに反転し、
・必要に応じて、その輝度をランダムに変換しており、
・１２８×１２８のサイズとなるようにサイズ変更されている。

検証用データセット画像は、その辺が学習用セット画像における最小サイズに等しい状態で、中央にトリミングされただけであり、次いで当該画像は、１２８×１２８のサイズにサイズ変更された。

ニューラルネットワークの性能
本発明者らは、以下の異なる構成を使用してＮＮモデルを訓練した。
１．古典的２Ｄ ＵＮＥＴ（上記リンクの）、
２．ドロップアウトを伴う２Ｄ ＵＮＥＴ、
３．ドロップアウト及び弁尖のセグメント化を伴う２Ｄ ＵＮＥＴ、
４．ドロップアウト、弁尖のセグメント化及び輝度変換を伴う２Ｄ ＵＮＥＴ。

当該性能は、検証用セット画像におけるＭｉｔｒａｃｌｉｐ（商標）のセグメント化の解析と、新たなビデオ映像に対してテスト提供者によって行われたいくつかのテストとによって評価された。上記の第３の事例で最高の性能に達しており、弁尖のセグメント化が、機器のセグメント化結果を改善するのに役立つ補助タスクであることが判明した。実際、弁尖が存在する領域を認識すると、医療機器の探索領域が少なく済む。さらに、この認識により、弁尖と機器との間の相互位置においてより多くの制約が規定される。図７のグラフは、学習用データセット（濃灰色）及び検証用データセット（薄灰色）における損失傾向を示す。

実際、弁尖が存在する領域を認識すると、相互位置を考慮して、医療機器の探索においても制約を確立する。通常は、補助タスクを追加することによって、ネットワーク損失が複数のタスクの性能を評価している（損失＝一次＿損失＋補助＿損失であり、ここでの一次タスクは機器のセグメント化である）。このため、複数のタスクを実行することができ、その結果、特定のタスクに対する過剰適合のリスク（即ち、一次損失）が低減され、より効果的に一般化されるモデルが得られる。多くの層、ひいてはネットワーク荷重は、各タスクの特定の層がその後に続く場合でも、様々なタスク間で共有されている。層を共有することにより、２つの部分損失の加重和が最小化されるため、学習がより制約される。次いで、共有レベルでより高まる正確性が、一次活動のために、即ち機器をセグメント化するために、特定の層によって利用され得る。すべての認識がデジタル的に行われる中で、外科手術に取り組む方法では、認識精度が重要である。このため、（少なくとも）２つの解剖学的ランドマークを認識することは、上述したように、重ね合わせ画像ストリームを身体器官の所定の３Ｄモデルに重ね合わせるのに有用であり得る。したがって、認識の重要性は２倍（ｔｗｏｆｏｌｄ）になり得る。

図８は、検証用画像に対して得られた結果例を示す。画像の一番上の行はＭｉｔｒａｃｌｉｐ（商標）のセグメント化に関連しており、一番下の行は弁尖のセグメント化に関連している。両方の行において、左側の画像は、切り取られた診断画像に重ね合わされたニューラルネットワークによる予測を示し、中央の画像は、テスト提供者による元のセグメント化を示し、右側には、ニューラルネットワークによる予測のみが示されている。

通常は、機器のセグメント化の方が弁尖のセグメント化よりも優れており、図９から分かるように、この弁尖のセグメント化は誤っていたり、不完全であったりする場合がある。ニューラルネットワークでのＭｉｔｒａｃｌｉｐ（商標）のセグメント化は正確であるように思われ、テスト提供者によって提供される線形近似よりも良好に機器の形状に適合している。

心エコービデオへのモデルの適用
当該モデル（エキスパートアルゴリズム）を使用して、心エコー検査を実施することによって取得されたビデオ映像内のＭｉｔｒａｃｌｉｐ（商標）を同定しており、当該ビデオ映像は２Ｄ心エコー図の時間的シーケンスである。

ひとたびビデオ映像が取得されると、当該映像はフレームに分割される。フレームの各々は、ニューラルネットワークへの入力として与えられ、次いでその予測が行われる。その後、異なるフレームに対する結果が順にグループ化され、ｍｐ４ビデオに保存される。

ビデオ映像のレンダリングを改善するために、本発明者らは不透明度係数を上昇させながら、各フレームに対する予測をｎ個前後のフレームに拡張できる可能性を追加することを決定し、この後処理により、ビデオ映像自体のより均一なセグメント化とより安定した表示とが可能になる。

発明の効果
本発明の技術によって仮想の遠隔プロクタリングが実現し、これにより、病院の医師をプロクタリングするのに世界で最も適した専門家を使用することができる。

また、本発明の技術によれば、迅速に到着することができなかった相互に離隔した異なる地域で、一連のプロクタリングを間断なく実施できるようになり、これによって同一のプロクターが複数の病院を担当できる可能性が上昇する。

さらに、本発明の技術によれば、「緊急」介入、又はプロクター制度による介入として計画されていなかった介入が実現する。このことは、プロクターによる介入が事前に予見されなかったような概ね標準的な症例で、想定外の合併症が起こった場合にとりわけ有利となり得る。

上記で好ましい実施形態について説明し、また本発明の変形形態を提案してきたが、当業者であれば、添付の特許請求の範囲によって定義される対応する保護範囲から逸脱することなく、修正及び変更を行うことができることを理解されたい。

Claims (15)

1. 医用画像ストリームを、遠隔ホログラフィックデバイス（１１２）によって可視化する方法であって、前記方法は、
   Ａ．医用画像取得装置（１０１）から取得される医用画像ストリームを、サーバ（１０５）上の仮想マシンにストリーミングするステップ（１０２）であって、前記医用画像ストリームは、物理的トラッキングマーカ又はハードウェアトラッキングシステムをいずれも欠いており、身体器官に挿入される医療機器のデジタル表現を含む、ステップと、
   Ｂ．前記仮想マシン上で実行される、前記画像ストリームのみに基づくエキスパートアルゴリズム（１０７）によって、前記医療機器のデジタル位置及び向き、並びに前記画像ストリーム内の画像の少なくともサブセット上にある少なくとも２つの所定のデジタル解剖学的ランドマークを同定するステップと、
   Ｃ．前記医療機器の前記デジタル位置及び向きを表すグラフィック要素を生成し、かつ前記画像のサブセットに前記グラフィック要素を重ね合わせることで、重ね合わせ画像ストリームを取得するステップと、
   Ｄ．前記重ね合わせ画像ストリームをビデオ信号へと再フォーマットするステップ（１０８）と、
   Ｅ．可視化を行うために、前記遠隔ホログラフィックデバイス（１１２）に前記ビデオ信号を送信するステップと、を実行することを含む、
   方法。
2. 前記ステップＣにおいて、前記少なくとも２つの解剖学的ランドマークを表す少なくとも２つの更なるグラフィック要素が生成され、前記画像のサブセットに重ね合わされる、請求項１に記載の方法。
3. 前記ステップＡにおいて、前記医用画像ストリームが、例えば経カテーテルの外科的手技を表す心エコー画像からなり、前記少なくとも２つの解剖学的ランドマークが、僧帽弁弁尖から弁輪にかけての挿入である、請求項１又は２に記載の方法。
4. 前記ステップＡの前記ストリーミングすることが、前記仮想マシンのＩＰアドレスに向けたユーザ・データグラム・プロトコルのストリーミング接続を生成することによって行われる、請求項１から３のいずれか一項に記載の方法。
5. 重ね合わされた前記グラフィック要素がセグメントである、請求項１から４のいずれか一項に記載の方法。
6. 前記ステップＤと前記ステップＥとの間で、前記ビデオ信号が、
   ＷｅｂＲＴＣストリーミングプロトコルと互換性のあるスループットを最適化するように符号化される、請求項１から５のいずれか一項に記載の方法。
7. 前記ステップＡにおいて、前記仮想マシンが、マルチアクセス・エッジ・コンピューティング環境内にある、請求項１から６のいずれか一項に記載の方法。
8. 前記ステップＣ及び前記ステップＤが、前記ステップＢを実行する前記仮想マシンとは異なる仮想マシン上で実行される、請求項１から７のいずれか一項に記載の方法。
9. 介入部位でホログラフィック可視化を行うために、前記ビデオ信号をローカルホログラフィックデバイス（１０３）に送信するステップＦが、前記ステップＥと同時並行的に実行される、請求項１から８のいずれか一項に記載の方法。
10. 前記サーバ（１０５）が５Ｇサーバである、請求項１から９のいずれか一項に記載の方法。
11. 前記ステップＤにおいて、前記ビデオ信号が仮想ウェブカム作成部（１０９）によってさらに処理される、請求項１から１０のいずれか一項に記載の方法。
12. 前記ステップＣにおいて、認識された前記少なくとも２つの解剖学的ランドマークを使用して、前記重ね合わせ画像ストリームを前記身体器官の所定の３Ｄモデルに重ね合わせる、請求項１から１１のいずれか一項に記載の方法。
13. 前記ステップＡにおいて、前記画像ストリームが患者の身体器官の一連の画像フレームによって構成されており、前記身体器官の形状は前記身体器官の画像フレームの少なくともサブセットについて異なっており、前記身体器官の前記所定の３Ｄモデルが一連のモデルフレームによっても構成される場合、前記重ね合わせ画像ストリームを前記所定の３Ｄモデルに重ね合わせるために、
    Ｓ１．前記モデルフレームごとに、前記重ね合わせ画像ストリームのフレームの少なくともサブセットを前記モデルフレームに変換する剛体アフィニティ変換を演算するステップと、
    Ｓ２．前記モデルフレームごとに、前記重ね合わせ画像ストリームの特定のフレームを重ね合わせるステップであって、前記特定のフレームが、前記ステップＳ１の前記アフィニティ変換の誤差を最小化する、ステップと、
    が実行される、請求項１２に記載の方法。
14. 前記遠隔ホログラフィックデバイス（１１２）が、前記医療機器を制御するように構成されるロボット内に組み込まれた仮想デバイスである、請求項１から１３のいずれか一項に記載の方法。
15. 請求項１から１４のいずれか一項に記載のステップＢ、ステップＣ、ステップＤを実行するように構成される、サーバ。

Images