JPWO2020056086A5

JPWO2020056086A5 -

Info

Publication number: JPWO2020056086A5
Application number: JP2021513943A
Authority: JP
Publication date: 2022-09-09
Anticipated expiration: 2039-09-12

Claims

人工知能を基盤とする術中外科的ガイダンスシステムであって、
複数の術中蛍光透視医用画像を分類するための少なくとも1つの画像処理アルゴリズムを含むコンピュータープラットフォームを備えており、前記コンピュータープラットフォームは１つまたは複数の自動化された人工知能モデルを実行するように構成され、前記１つまたは複数の自動化された人工知能モデルが、外科的転帰分類のためのスコアを提供するニューラルネットワークのモデルを備え、前記１つまたは複数の自動化された人工知能モデルが、データ層からのデータ上でトレーニングされ、前記データ層が、少なくとも複数の蛍光透視手術画像を含み、前記自動化された人工知能モデルが、術中外科的決定リスクを計算するようにトレーニングされており、
さらに、計算された術中外科的決定リスクに基づく外科的転帰予測をユーザに表示するように構成された視覚的ディスプレイを備えている、人工知能を基盤とする術中外科的ガイダンスシステム。
前記コンピュータープラットフォームは、
整復またはアライメント処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰予測を予測し、
且つインプラント固定処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための複数の少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰予測を予測し、
且つ予測及び時系列の術後蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰予測を予測する、請求項１に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
術中外科的決定リスクを提供するように構成された人工知能を基盤とする術中外科的ガイダンスシステムであって、
ソフトウェアモジュールを形成するコンピューターが可読な命令でエンコードされた非一時的コンピューター可読記憶媒体と、前記命令を処理するためのプロセッサとを含み、前記ソフトウェアモジュールは、データ層と、アルゴリズム層と、アプリケーション層とを含み、前記人工知能を基盤とする術中外科的ガイダンスシステムは、少なくとも１つの分類子アルゴリズムを適用することによって術中外科的決定リスクを計算するようにトレーニングされ、前記アルゴリズム層は、複数の術中蛍光透視医用画像を分類するための少なくとも１つの画像処理アルゴリズムを含み、
コンピュータープラットフォームが、
整復またはアライメント処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムと、インプラント固定処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための複数の少なくとも１つの画像処理アルゴリズムとで構成されており、
さらに、計算された術中外科的決定リスクに基づく外科的転帰予測をユーザに表示するように構成された視覚的ディスプレイを備えている、
人工知能を基盤とする術中外科的ガイダンスシステム。
前記アルゴリズム層は、時系列の術後蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
前記アルゴリズム層が、
複数の取得した蛍光透視医用画像の画像品質スコアを計算するように構成される画像品質スコアリングモジュールと、
取得した前記蛍光透視医用画像の歪みを補正するように構成される歪み補正モジュールと、
術前蛍光透視画像内の少なくとも１つの解剖学的ランドマークに注釈を付けて、少なくとも１つの注釈付き術前蛍光透視画像を提供するように構成される画像注釈モジュールと、
少なくとも１つの前記注釈付き蛍光透視術前画像を格納するように構成される術前画像データベースと、
インプラントまたは解剖学的構造の３次元形状を推定するように構成される３Ｄ形状モデリングモジュールと、
術中蛍光透視医用画像を分類するための画像処理アルゴリズムを含む人工知能エンジンと、
アライメントグリッドを注釈付き蛍光透視画像特徴にマッピングして合成画像を形成するように構成される画像登録モジュールと、
術中にユーザーに外科的転帰予測を提供するように構成される転帰モジュールとを含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
前記画像品質スコアが、取得された蛍光透視画像の正確さのレベルを定量化する１つまたは複数の自動化された人工知能モデルに基づいて計算される、請求項５に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
前記アルゴリズム層が、術前非手術側の蛍光透視画像および術中手術側の蛍光透視画像を共通の座標系に登録するための少なくとも１つのアルゴリズムを含む、請求項５に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
インプラントまたは解剖学的アライメントの複数の重大な失敗モード要因を解釈するために使用される少なくとも１つのデータセットの深層学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
インプラントの重大な失敗モード要因を解釈するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
ねじ軌道を決定するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
ねじ配置の重大な失敗モード要因を解釈するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
手術中に外科医に術中外科的ガイダンスを提供する方法であって、ソフトウェアモジュールを形成するコンピューターが可読な命令でエンコードされた非一時的コンピューター可読記憶媒体と、前記命令を処理するためのプロセッサとを含む、人工知能術中外科的ガイダンスシステムを提供するステップを含み、前記ソフトウェアモジュールは、データ層と、アルゴリズム層と、アプリケーション層を含み、前記システムは、少なくとも１つの転帰分類子を適用し、最も一致する非手術側の蛍光透視画像を現在の手術側の蛍光透視画像に登録することにより、術中外科的決定リスクを計算するようにトレーニングされ、前記登録するステップは、対象の解剖学的構造の非手術側の術前蛍光透視画像と、前記対象の解剖学的構造の手術側の術中の蛍光透視画像とを含む対象の蛍光透視画像データを取得することを含み、前記コンピュータープラットフォームは、現在の手術側の蛍光透視画像と比較して、最も一致する非手術側の蛍光透視画像を識別し、前記非手術側の蛍光透視画像を現在の手術側の蛍光透視画像と位置合わせして、ガイダンス姿勢ガイド蛍光透視画像を提供し、前記ガイダンス姿勢ガイド蛍光透視画像は、前記非手術側の蛍光透視画像と手術側の蛍光透視画像の解剖学的位置の違いをグラフで示す、方法。
前記対象の蛍光透視画像データ内の解剖学的構造を選択するステップと、グリッドテンプレートを解剖学的構造にマッピングして、前記対象の解剖学的構造の非手術側の蛍光透視画像を、前記対象の解剖学的構造の手術側の術中蛍光透視画像の画像とともに登録して、登録された合成蛍光透視画像を提供するステップと、前記登録された合成蛍光透視画像を前記人工知能エンジンに提供して、少なくとも１つの外科的ガイダンスを生成するステップであって、前記少なくとも１つの外科的ガイダンスは、グラフィカルな外科的インジケーターであるステップと、前記外科医が術中変数を変更すると、前記コンピュータープラットフォームによって、前記登録された合成蛍光透視画像を前記グラフィカルな外科的ガイダンスインジケーターとともに動的に更新するステップとをさらに含む、請求項１２に記載の方法。
前記対象の蛍光透視画像データ内の解剖学的構造を選択する前記ステップは、前記対象の蛍光透視画像データに示されるように前記解剖学的構造の一部をセグメント化し、少なくとも１つの人工知能モデルを適用して少なくとも１つの外科的ランドマークを識別するステップをさらに含む、請求項１２に記載の方法。
前記外科手術処置は、整復およびアライメントからなる群から選択され、前記少なくとも１つの人工知能エンジンは、整復またはアライメント処置の術中医用蛍光透視画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項１２に記載の方法。
前記外科手術処置はインプラント固定であり、前記少なくとも１つの人工知能エンジンは、インプラント固定処置の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項１２に記載の方法。
前記外科手術処置は、前記少なくとも１つの人工知能エンジンは、時系列の術後蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項１２に記載の方法。
前記蛍光透視医用画像を前処理する前記ステップが、データセットに基づく人工知能モデルを適用することを含み、前記データセットが本質的に良いおよび悪いの術中蛍光透視画像からなる、請求項１２に記載の方法。
前記少なくとも１つの外科的ガイダンスが、触覚フィードバックデバイス、ロボット、追跡可能ガイド、カッティングブロック、コンピューター支援手術装置、ＩｏＴデバイス、および複合リアリティデバイスからなるグループから選択される外科ファシリテーターを指示する、請求項１２に記載の方法。
センサーを前記コンピュータープラットフォームと同期させて、術中の解剖学的位置データを提供するステップをさらに含む、請求項１２に記載の方法。
センサーを前記コンピュータープラットフォームと同期させて、術中のインプラント位置データを提供するステップをさらに含む、請求項１２に記載の方法。
センサーを前記コンピュータープラットフォームと同期させて、術後の外部アライメント位置データを提供するステップをさらに含む、請求項１２に記載の方法。
前記対象の蛍光透視画像データを動的に表示する前記ステップが、前記グリッドテンプレートによって導かれる追跡可能な位置および配向を生成するステップをさらに含む、請求項１２に記載の方法。
前記外科的ガイダンスが、変形矯正、解剖学的アライメント、骨折整復、および解剖学的整復からなる群から選択される処置に適用される、請求項１２に記載の方法。
前記外科的ガイダンスが、インプラント選択推奨およびインプラント配置からなる群から選択される、請求項１２に記載の方法。
前記外科的ガイダンスが、性能予測、良好な転帰の確率、および失敗リスクスコアからなる群から選択される、請求項１２に記載の方法。
前記外科的ガイダンスが、機器ガイダンスおよびオブジェクト追跡からなる群から選択される、請求項１２に記載の方法。
人工知能ベースの外科的ガイダンスのためのコンピューターで実施される方法であって、
マイクロプロセッサに結合された非一時的コンピューター可読記憶媒体を含む、コンピュータープラットフォームを提供するステップであって、前記非一時的コンピューター可読記憶媒体は、複数のモジュールの機能を実装するコンピューターが可読な命令でエンコードされ、前記コンピューターが可読な命令はマイクロプロセッサによって実行されるように、提供するステップと、
対象の少なくとも１つの術前蛍光透視画像を受信するステップと、
画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、
前記少なくとも１つの蛍光透視術前画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて前記術前蛍光透視画像を受けいれるか拒否するステップと、
前記少なくとも１つの術前蛍光透視画像の歪みを補正するステップと、
画像注釈モジュールを使用して前記術前蛍光透視画像内の少なくとも１つの解剖学的ランドマークに注釈を付けて、少なくとも１つの注釈付き術前蛍光透視画像を提供するステップと、
前記少なくとも１つの注釈付き術前蛍光透視画像を術前画像データベースに保存するステップと、
少なくとも１つの術中蛍光透視画像を受信するステップと、
画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、
前記少なくとも１つの術中蛍光透視画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、少なくとも１つの術中蛍光透視画像を受けいれるか拒否するステップと、
前記少なくとも１つの術中蛍光透視画像の歪みを補正するステップと、
画像注釈モジュールを使用して少なくとも１つの解剖学的ランドマークに注釈を付けて、少なくとも１つの注釈付き術中蛍光透視画像を提供するステップと、
前記少なくとも１つの注釈付き術中画像を前記術前画像データベース内の最も一致する画像に登録するステップと、
受けいれられた場合、画像登録モジュールを使用してマッチングスコアを計算するステップと、
３Ｄ形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の３次元形状を推定するステップと、
画像登録モジュールを使用してアライメントグリッドを前記注釈付き蛍光透視画像特徴にマッピングし、合成蛍光透視画像を形成するステップと、
グラフィカルユーザーインターフェイスに前記合成蛍光透視画像を表示するステップと、
前記コンピュータープラットフォームによって、前記合成蛍光透視画像を動的に更新して、少なくとも１つの外科的ガイダンスを提供するステップとを含む、方法。
前記外科手術処置が、整復、アライメント、および固定からなる群から選択され、方法が、整復転帰予測モジュールを使用して転帰確率スコアを計算するステップをさらに含む、請求項２８に記載の方法。
前記コンピュータープラットフォームによって前記対象の少なくとも１つの術後蛍光透視画像を受信するステップと、
画像品質スコアリングモジュールを使用して、少なくとも１つの術後蛍光透視画像の画像品質スコアを計算するステップと、
蛍光透視画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、前記少なくとも１つの術後蛍光透視画像を受けいれるか拒否するステップと、
前記少なくとも１つの術後蛍光透視画像の歪みを補正するステップと、
画像注釈モジュールを使用して少なくとも１つの蛍光透視画像解剖学的ランドマークに注釈を付けて、少なくとも１つの術後注釈付き蛍光透視画像を提供するステップと、
前記少なくとも１つの術後注釈付き蛍光透視画像を術後画像データベース内の前の画像に登録し、マッチングスコアを計算するステップと、
受けいれられた場合、画像登録指標を使用してマッチングスコアを計算するステップと、
３Ｄ形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の３次元形状を推定するステップと、
前記画像登録モジュールを使用して、アライメントグリッドを前記注釈付き蛍光透視画像特徴にマッピングするステップと、
前記グラフィカルユーザーインターフェイスに合成蛍光透視画像を表示するステップと、
前記術後転帰予測モデルを使用して転帰確率スコアを計算するステップと、
前記合成蛍光透視画像を表示するステップと、
前記コンピュータープラットフォームによって、転帰予測ガイダンスとともに前記合成蛍光透視画像を動的に更新するステップとをさらに含む、請求項２８に記載の方法。
アライメントまたは固定処置を実施する整形外科医に、前記整形外科医に術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供する方法であって、コンピュータープラットフォームを提供するステップであって、前記コンピュータープラットフォームは、複数のデータセットおよびそれぞれがアライメントまたは固定処置のための外科的転帰予測への加重寄与を有する、複数のトレーニングされた分類子からなる少なくとも１つの転帰予測モジュールをさらに含み、前記複数のトレーニングされた分類子の１つは、アライメントまたは固定処置のための術中蛍光透視医用画像を分類するものであることを特徴とする、コンピュータープラットフォームを提供するステップと、アライメントまたは固定処置を実施する前記整形外科医に前記術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供するステップとを含む、方法。
最適なマッチングの非手術側の蛍光透視画像を現在の手術側の蛍光透視画像に登録するステップであって、登録するステップは、対象の解剖学的構造の非手術側の術前蛍光透視画像と、前記対象の解剖学的構造の手術側の術中蛍光透視画像とを含む対象の蛍光透視画像データを取得することを含み、前記コンピュータープラットフォームは、現在の手術側の蛍光透視画像と比較して、最も一致する非手術側の蛍光透視画像を識別するように、登録するステップと、前記非手術側の蛍光透視画像を前記現在の手術側の蛍光透視画像と位置合わせして、ガイダンス姿勢ガイド蛍光透視画像を提供するステップであって、前記ガイダンス姿勢ガイド蛍光透視画像は、前記非手術側の蛍光透視画像と前記手術側の蛍光透視画像の解剖学的位置決めの違いをグラフで示すように、提供するステップとをさらに含む、請求項３１に記載の方法。
対象の蛍光透視画像データ内の解剖学的構造を選択するステップと、
グリッドテンプレートを前記解剖学的構造にマッピングして、前記対象の解剖学的構造の非手術側の蛍光透視画像を、前記対象の解剖学的構造の手術側の前記術中蛍光透視画像の画像とともに登録して、登録された合成蛍光透視画像を提供するステップと、
前記登録された合成蛍光透視画像を前記人工知能エンジンに提供して、少なくとも１つの外科的ガイダンスを生成するステップであって、前記少なくとも１つの外科的ガイダンスは、グラフィカルな外科的インジケーターであるように、生成するステップと、
前記外科医が術中変数を変更すると、前記コンピュータープラットフォームによって、前記登録された合成蛍光透視画像を前記グラフィカルな外科的ガイダンスインジケーターとともに動的に更新するステップとをさらに含む、請求項３１に記載の方法。