JP2023523561A - ビデオにおけるコンピュータ支援の標識または基準配置のシステムおよび方法 - Google Patents

Abstract

本発明の様々な実施形態は、外科的視野において１つまたは複数の位置への任意の標識の配置によって、関節鏡視下手術（例えば、肩、膝または股関節の手術）または他の外科的手技を支援または誘導するシステムおよび方法を提供する。本システムおよび方法は、関節鏡または他のイメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手術または他の医学的手技中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にそのオーバーレイを表示するステップとを含む。

Description

[0002]本発明の実施形態は、特に人工知能（ＡＩ）を使用して外科的手技を支援するシステム、装置および方法に関する。

[0003]近年、人工知能は、人間の顔とともに、人間の身体における様々な解剖学的構造の特徴を認識するために画像を処理するために使用されるように開発が進められ始めている。それらのＡＩツールは、医学的手技中に操作者を支援するために解剖学的特徴を自動的に認識するために使用可能である。医学的手技において生成される情報を収集および処理する画像または言語処理のために、機械学習アルゴリズムおよび深層学習アルゴリズムなどの計算法が使用可能である。したがって、外科手術の結果を改善するために使用可能なＡＩアルゴリズムを使用するステップが望ましい。現在のＡＩ支援の外科用システムおよび方法は、例えば外科的手技を誘導するために使用される多くの点において依然として理想的とは言えない。したがって、改善されたＡＩ支援の外科用システムおよび方法が望まれる。

[0004]本発明の様々な実施形態は、リアルタイムで解剖学的特徴を識別および標識し、その識別された解剖学的特徴上に１つまたは複数の標識を配置するなどによって、外科的手技を誘導するコンピュータ実施による医療システム、装置、および方法に関する。外科医は、潜在的な血管分布、ステープルライン、縫合箇所、潜在的な解剖学的構造などの追跡という多種多様な認知的作業を支えるために物理的標識を使用する。標識は、染料、焼灼マークなどを使用して通常配置される。いくつかの実施形態では、点に印付けをするために、針が外側から挿入される。患者の身体に物体を移植することを必要とし得る物理的標識の配置は、外科手術に複雑性を加え、外科手術の過程で手術器具の動きを物理的に抑制する場合がある。他の問題は、高費用となり得る外科手術の過程で操作者が誤りをおかすことを含み得る。例えば、操作者が、カメラ（例えば、関節鏡または顕微鏡視下手術中に使用されるカメラ）から隠れている重要な解剖学的特徴の正確な位置を把握することは難しい、または不可能な場合があり、もしくは視野の変更によって、操作者が標識の位置を認識することが困難となり得る。したがって、特に、患者の身体上（例えば、器官または解剖学的特徴上）に仮想標識を付加するステップにより医学的手技を誘導するための、人工知能（ＡＩ）ツールなどのコンピュータ実施の医療システム、装置、および方法は有益であり得る。これらのＡＩツールは、器具、解剖学的構造、または手技の検出を正確かつ確実に予測することに限界を有する場合がある。ペースの速い外科的手技において、ＡＩツールは、操作者へリアルタイムの支援を提供するためには、低レイテンシで予測を行う必要もある場合がある。

[0005]操作者（例えば、外科医、介入放射線医）のために外科的（または他の医学的）手技を容易にするため、さらに外科的手術または他の医学的手技の結果を改善するために、関心位置に仮想標識を配置することによって、外科手術または他の医学的手技の過程においてリアルタイムで操作者を支援する、高速で、正確かつ確実なＡＩツールの必要性が本明細書において認められる。それに応じて、本発明の様々な態様および実施形態は、様々な医学的手技における標識の独自の必要性に対して汎用性があり十分に訓練された機械学習アルゴリズムのパイプラインを提供する。

[0006]本明細書で説明される本発明の様々な実施形態は、医学的手技（例えば、外科手術）の実施前または実施中に情報（例えば、画像、音声、ユーザ入力）を受信し、手技と関連した標識配置と関連した特徴を識別するために受信情報を処理し、手技中にリアルタイムで関心位置に仮想標識を配置できるシステム、装置、および方法を提供する。

[0007]本発明の態様は、さらに、イメージングモダリティと、蛍光透視法、磁気共鳴画像法（ＭＲＩ）、またはコンピュータ断層撮影法（ＣＴ）スキャンなどの関連方法とを使用して手術前に取得された画像を使用することによって、手術中に関心位置に標識を配置する際に外科医を支援する。１つまたは複数の実施形態において、手術前画像は外科的視野の手術前画像であることが可能であり、人工知能（ＡＩ）は、外科医に対して誘導を提供するために、外科的手技のリアルタイムのビデオストリーム上に標識の画像および／または位置をオーバーレイするために、手術前に生成された画像に適用され得る。外科的手技を支援するために、または外科用ＡＩとして手技の結果を改善するために、手術中、手術前、または手術後に使用されるＡＩモジュール／アルゴリズムについて言及する。

[0008]本発明の一態様は、コンピュータ実施による任意の標識配置を可能にすることによって肩、膝、股関節、足首、または他の関節の修復など関節鏡視下手術を支援するためのシステムであって、このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、動作は、関節鏡イメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手術中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にオーバーレイを表示するステップとを含む、システムを提供する。内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技（例えば、任意の標識の配置による）への支援に対するシステムの実施形態の適用も企図される。
そのような低侵襲的手技の例は、消化器（ＧＩ）手術（例えば、腸生検、ポリープ切除、肥満手術、胃縮小手術／垂直帯胃形成術）、泌尿器科的処置（例えば、腎臓石の除去、膀胱修復）、婦人科手術（例えば、ｄｎｃ、子宮筋腫切除）、および腹腔鏡視下手術（例えば、虫垂切除術、胆嚢摘除術、結腸切除、ヘルニア修復、噴門形成術）のうちの１つまたは複数を含み得る。

[0009]いくつかの実施形態では、上記動作は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用してビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含む。いくつかの実施形態では、この１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態で、ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のソフトウェアモジュール（本明細書ではモジュール）を使用することを含む。いくつかの実施形態では、１つまたは複数のモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡を実行するためのモジュールを含んでもよい。いくつかの実施形態では、システムは、識別された要素に少なくとも部分的に基づいて１つまたは複数の標識を推薦する。

[0010]いくつかの実施形態では、動作は、さらに、１つまたは複数の標識の座標の１つまたは複数のセットを記憶するステップと、オーバーレイされた標識が表示されることから除外するように表示のビューを変更するステップと、ビューを前の表示に戻すステップと、１つまたは複数の標識の座標の１つまたは複数のセットを識別するステップと、１つまたは複数の標識を再度オーバーレイするステップとを含む。いくつかの実施形態では、操作者が上記の変更するステップおよび戻すステップを作動させる。いくつかの実施形態では、ビューを変更するステップは、識別された解剖学的構造または病変における変化に基づいて自動的に作動される。

[0011]いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットは、手術中に操作者（例えば、外科医、介入心臓専門医、放射線医など）によって提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが操作者によって手術前に提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが、対象の１つまたは複数の医用画像から生成される。いくつかの実施形態では、１つまたは複数の医用画像は対象の放射線像である。いくつかの実施形態では、放射線像は、対象の関節または他の骨構造からである。いくつかの実施形態では、放射線像は、対象の肩、膝、股関節、足首、または肘と関連している。いくつかの実施形態では、放射線像は、蛍光透視法、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波イメージングを使用して生成される。

[0012]いくつかの実施形態では、ビデオストリームは、関節鏡視下手術中に関節鏡（または他のイメージング装置）によって提供される。様々な実施形態では、関節鏡視下手術は、膝手術における十字靭帯修復、例えば、断裂した肩腱板の上方関節包再建術で使用されるグラフト留置術、除圧術、１つまたは複数の炎症組織の除去または切除、１つまたは複数の亀裂が生じた腱の除去または切除という種類の手技（したがって、そのためにシステムおよびモジュールの実施形態が支援のために構成され得る）のうちの１つまたは複数に対応してもよく、ここで、ビデオストリームは単眼である。上記の手技および他の手技のうちの１つまたは複数において、ビデオストリームは、特定の手技において特記されていない限り、立体視または単眼である。また、様々な実施において、本発明のシステムの実施形態は、単眼または立体の入力ビデオストリームと、関連の出力ビデオオーバーレイとを往復してトグルする、または切り換えるように構成され得る。

[0013]いくつかの実施形態では、１つまたは複数のコンピュータプロセッサは、有線メディア接続を使用して１つまたは複数のカメラ制御ユニットからビデオストリームを受信する。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイとの間のレイテンシは、毎秒約２４フレーム（ｆｐｓ）のデジタルカメラに対応するための最大でも４０ミリ秒（ｍｓ）である。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイとの間のレイテンシは、デジタルカメラからの２つの連続フレーム間の時間を超えない。

[0014]いくつかの実施形態では、１つまたは複数のコンピュータプロセッサは、ネットワーク接続を使用して１つまたは複数のカメラ制御ユニットからビデオストリームを受信する。いくつかの実施形態では、介入イメージング装置は、関節鏡での使用に特化したデジタルカメラである。いくつかの実施形態では、デジタルカメラは、関節鏡関節における操作に適した硬性鏡に搭載される。いくつかの実施形態では、カメラ制御ユニットは、光源を制御し、デジタルカメラによって生成されたデジタル情報を取り込むように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をビデオストリームに変換する。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をメモリ装置に記録する。いくつかの実施形態では、メモリ装置はローカルメモリ装置である一方、クラウドベースのメモリ装置でもよい。いくつかの実施形態では、デジタルカメラは、カメラ制御ユニットに接続され、様々な実施形態で、１つまたは複数のコンピュータプロセッサからの出力をビデオストリームにオーバーレイするように構成されてもよい。

[0015]いくつかの実施形態では、システムは、表示モニタをさらに備える。いくつかの実施形態では、１つまたは複数のコンピュータプロセッサは、中央演算装置または画像処理装置（ＧＰＵとも呼ばれる）を含む。いくつかの実施形態では、システムは、手術中に少なくとも１人の操作者から（標識を付けることを作動させるか、停止させるかの）入力を受信する機構をさらに含む。様々な実施形態で、その機構は、押しボタン、タッチスクリーン装置、ポインティングデバイス（例えば、マウスまたはヘッドマウントポインティングデバイス）、フットペダル、ジェスチャ認識システム、または音声認識システムのうちの１つまたは複数を介する入力を受信するように構成される。いくつかの実施形態では、１つまたは複数の標識は、関節鏡視下手術または他の医学的手技中に追跡される。いくつかの実施形態では、１つまたは複数の標識の追跡は、解剖学的構造、その構造の負傷または病変、その構造に留置されたインプラント、またはその構造の修復のうちの少なくとも１つまたは複数に関する、１つまたは複数の標識の座標のセットと関連する。

[0016]いくつかの実施形態では、１つまたは複数の標識の表示は、ビデオストリームの表示上にオーバーレイされる。いくつかの実施形態では、上記の関係する解剖学的構造がビデオストリームで識別されたとき、１つまたは複数の標識が表示される。いくつかの実施形態では、操作者は、１つまたは複数の標識を、関節鏡視下手術または他の医学的手技中に一時的に、または関節鏡視下手術または他の医学的手技の全体を通して不可視とすることを選択できる。

[0017]本発明の他の態様は、放射線イメージングを使用したコンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術または他の医学的手技を支援するためのシステムであって、システムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えるシステムを提供する。いくつかの実施形態では、動作は、対象の少なくとも１つの放射線像を受信するステップと、訓練された機械学習アルゴリズムを用いて少なくとも１つの放射線像における１つまたは複数の解剖学的特徴を識別するステップと、識別された解剖学的特徴の３Ｄ表現を生成するステップと、操作者から１つまたは複数の標識の位置を受信するステップと、解剖学的構造の３Ｄ表現上に１つまたは複数の標識をオーバーレイするステップと、操作者によって使用される表示装置上にオーバーレイを表示するステップとを含む。
この場合も、内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の支援に対する上記システムの実施形態の適用も企図される。

[0018]いくつかの実施形態では、解剖学的特徴は、骨構造または腱を含む。いくつかの実施形態では、少なくとも１つの放射線像は、ＭＲＩスキャン、ＣＴスキャン、ＰＥＴスキャン、超音波画像、またはそれらの組み合わせのうちの１つまたは複数を含む。いくつかの実施形態では、少なくとも１つの放射線像は、標識の画像を含む。いくつかの実施形態では、動作は、標識の位置を識別するステップをさらに含む。いくつかの実施形態では、動作は、少なくとも１つの放射線像における標識の識別された位置に少なくとも部分的に基づいて標識のための位置を推薦するステップをさらに含む。

[0019]いくつかの実施形態では、少なくとも１つの放射線像または１つまたは複数の標識は、イメージング装置からのビデオストリームとブレンドされる。いくつかの実施形態では、ブレンドされた画像は、表示装置上に表示される。いくつかの実施形態では、ブレンドされた画像を表示するステップは、関節鏡視下手術中または他の医学的手技中に発生する。いくつかの実施形態では、イメージング装置は、超音波イメージング装置または蛍光透視イメージング装置などの介入イメージング装置である。様々な実施形態では、ビデオストリームは単眼または立体視でもよく、システムは、その種類間での切り換えの往復のいずれかを認識し、それに応じて関連出力を生成するように構成され得る。

[0020]本発明の他の態様は、関節鏡視下手術または他の医学的手技を支援するためのコンピュータ実施方法を提供する。いくつかの実施形態では、その方法は、イメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手術または他の医学的手技中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にそのオーバーレイを表示するステップとを含む。内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の支援に対する上記方法の実施形態の適用も企図される。

[0021]いくつかの実施形態では、上記の方法は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用してビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含み、１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態で、ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のモジュールを使用することを含む。いくつかの実施形態では、１つまたは複数のモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡のための１つまたは複数のモジュールを含む。いくつかの実施形態では、１つまたは複数の標識は、識別された要素に少なくとも部分的に基づいて推薦される。

[0022]いくつかの実施形態では、上記の方法は、さらに、１つまたは複数の標識の座標の１つまたは複数のセットを記憶するステップと、上記のオーバーレイされた標識が表示されることから除外するように表示のビューを変更するステップと、ビューを前の表示に戻すステップと、上記１つまたは複数の標識の座標の上記１つまたは複数のセットを識別するステップと、上記１つまたは複数の標識を再度オーバーレイするステップとを含む。いくつかの実施形態では、操作者が上記の変更するステップおよび戻すステップを作動させる。いくつかの実施形態では、上記のビューを変更するステップは、識別された解剖学的構造または病変における変化に基づいて自動的に作動される。

[0023]いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが操作者によって手術中に提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが操作者によって手術前に提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが、対象の１つまたは複数の医用画像から生成される。いくつかの実施形態では、１つまたは複数の医用画像は放射線像である。いくつかの実施形態では、放射線像は、蛍光透視、ＭＲＩ、またはＣＴスキャンを使用して生成される。いくつかの実施形態では、ビデオストリームは、関節鏡視下手術中に関節鏡によって提供される。いくつかの実施形態では、その関節鏡視下手術は、肩腱板移植術で使用される。いくつかの実施形態では、その関節鏡視下手術は、膝手術における十字靭帯トンネル留置で使用される。いくつかの実施形態では、ビデオストリームは単眼である。いくつかの実施形態では、ビデオストリームは立体視である。

[0024]いくつかの実施形態では、デジタルカメラから上記１つまたは複数のビデオストリームを受信する上記ステップは、有線メディア接続を使用して実行される。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイの表示との間のレイテンシは、毎秒約２４フレーム（ｆｐｓ）のデジタルカメラに対応するための最大でも４０ミリ秒（ｍｓ）である。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイとの間のレイテンシは、デジタルカメラからの２つの連続フレーム間の時間を超えず、デジタルカメラから１つまたは複数のビデオストリームを受信するステップは、ネットワーク接続を使用して実行される。

[0025]いくつかの実施形態では、方法は、１つまたは複数のコンピュータ処理ユニットを使用して実行される。いくつかの実施形態では、１つまたは複数のコンピュータ処理ユニットは、中央演算装置または画像処理装置を含む。いくつかの実施形態では、介入イメージング装置はデジタルカメラである。いくつかの実施形態では、デジタルカメラは、見る器械に搭載される。

[0026]いくつかの実施形態では、カメラ制御ユニットは、光源を制御し、デジタルカメラによって生成されたデジタル情報を取り込むように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をビデオストリームに変換するように構成される。

[0027]いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報を、上記の方法の１つまたは複数の動作／ステップを実行するコンピュータシステムに常駐する、または動作可能に結合されるローカルメモリ装置、またはクラウドベースのメモリ装置などのリモートメモリ装置でもよいメモリ装置に記録する。いくつかの実施形態では、デジタルカメラはカメラ制御ユニットに接続される。いくつかの実施形態では、ビデオストリームは、処理されるために、１つまたは複数のコンピュータ処理ユニットによってカメラ制御ユニットから受信される。いくつかの実施形態では、カメラ制御ユニットは、１つまたは複数のコンピュータ処理ユニットによる処理からの出力をビデオストリームにオーバーレイするように構成される。いくつかの実施形態では、上記方法は、表示モニタをさらに備える。

[0028]いくつかの実施形態では、方法は、手術中に少なくとも１人の操作者から標識を付けることを作動させるか、停止させるかの入力を受信する機構を利用するステップをさらに含む。１つまたは複数の実施形態では、その機構は、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識方法、または音声認識方法を介して入力を受信するように構成されてもよい。

[0029]いくつかの実施形態では、１つまたは複数の標識は、関節鏡視下手術または他の医学的手技（内視鏡視下手術、腹腔鏡視下手術、心臓鏡視下手術）中に追跡される。いくつかの実施形態では、１つまたは複数の標識の追跡は、解剖学的構造、その構造の負傷または病変、その構造におけるインプラント、またはその構造の修復のうちの少なくとも１つに関する、１つまたは複数の標識の座標のセットと関連する。いくつかの実施形態では、１つまたは複数の標識の表示は、ビデオストリームの表示とブレンドされる。いくつかの実施形態では、上記の関係する解剖学的構造がビデオストリーミングで識別されたとき、１つまたは複数の標識が表示される。いくつかの実施形態では、操作者は、１つまたは複数の標識を、関節鏡視下手術中に一時的に、または関節鏡視下手術の全体を通して不可視とすることを選択できる。

[0030]本発明の他の態様は、放射線イメージングを使用した任意の標識配置によって関節鏡視下手術または他の医学的手技を支援するためのコンピュータ実施方法を提供する。いくつかの実施形態では、この方法は、対象の少なくとも１つの放射線像を受信するステップと、訓練された機械学習アルゴリズムを用いて少なくとも１つの放射線像における１つまたは複数の解剖学的特徴を識別するステップと、識別された１つまたは複数の解剖学的特徴の３Ｄ表現を生成するステップと、操作者から１つまたは複数の標識の位置を受信するステップと、１つまたは複数の解剖学的特徴の３Ｄ表現上に１つまたは複数の標識をオーバーレイするステップと、操作者によって使用される表示装置上にオーバーレイを表示するステップとを含む。内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の支援に対する方法の実施形態の適用も企図される。

[0031]いくつかの実施形態では、解剖学的特徴は、骨構造または腱を含む。いくつかの実施形態では、少なくとも１つの放射線像は、ＭＲＩスキャン、ＣＴスキャン、またはそれらの組み合わせのうちの１つまたは複数を含む。いくつかの実施形態では、少なくとも１つの放射線像は、標識の画像を含む。いくつかの実施形態では、方法は、標識の位置を識別するステップをさらに含む。

[0032]いくつかの実施形態では、方法は、少なくとも１つの放射線像における標識の識別された位置に少なくとも部分的に基づいて標識のための位置を推薦するステップをさらに含む。いくつかの実施形態では、少なくとも１つの放射線像または１つまたは複数の標識は、イメージング装置からのビデオストリームにオーバーレイされる。いくつかの実施形態では、ブレンドされた画像は、表示装置上に表示される。いくつかの実施形態では、ブレンドされた画像を表示するステップは、関節鏡視下手術中である。いくつかの実施形態では、イメージング装置は介入イメージング装置である。いくつかの実施形態では、ビデオストリームは単眼である。いくつかの実施形態では、ビデオストリームは立体視である。

[0033]本発明の他の態様は、１つまたは複数のコンピュータプロセッサによって実行されると、上記または本明細書の他の箇所の方法のいずれかを実施する機械実行可能コードを含む非一時的コンピュータ可読媒体を提供する。

[0034]本発明の他の態様は、１つまたは複数のコンピュータプロセッサと、それに結合されたコンピュータメモリとを備えるシステムを提供する。このコンピュータメモリは、１つまたは複数のコンピュータプロセッサによって実行されると、上記または本明細書の他の箇所の方法のいずれかを実施する機械実行可能コードを含む。

[0035]本発明のさらなる態様および利点は、以下の詳細な説明から当業者にとって容易に明らかとなり、本発明の例に過ぎない実施形態が図示され、説明される。認識されるように、本発明は、他の実施形態および異なる実施形態が可能であり、そのいくつかの詳細は、全てが本発明から逸脱せずに、様々な明らかな点において修正可能である。したがって、図面および明細書は、性質という観点から例示的であるとみなされるべきであり、限定的であるとみなされるべきでない。
参照による組み込み
[0036]本明細書で言及される全ての公報、特許および特許出願は、本明細書において、それぞれの個別の公報、特許、または特許出願が参照によって組み込まれることが明確かつ個別に示されるのと同程度に、参照によって組み込まれる。参照によって組み込まれる公報および特許または特許出願が本明細書に含まれる開示と矛盾する程度に、本明細書は、そのような矛盾した事柄に取って変わる、および／またはそれに優先することが意図される。

[0037]本発明の新規の特徴が、添付の特許請求の範囲における詳細とともに説明される。本発明の特徴および利点のより深い理解は、本発明の原理が利用される例示的な実施形態を説明する以下の詳細な記載および以下の添付図面（本明細書では「図面」および「図」とも呼ばれる）を参照することによって実現される。

[0038]いくつかの実施形態による、コンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術を支援するためのシステムのハードウェア構成の概略的な例を示す図である。 [0039]いくつかの実施形態による、モデル大腿顆上における標識配置の例を示す図である。 いくつかの実施形態による、モデル大腿顆上における標識配置の例を示す図である。 [0040]いくつかの実施形態による、標識配置システムの例示的なフローチャートの概略を示す図である。 [0041]いくつかの実施形態による、手術前画像を使用した標識配置の例示的なワークフローの概略を示す図である。 [0042]いくつかの実施形態による、標識配置を推薦するシステムの例示的なワークフローの概略を示す図である。 [0043]いくつかの実施形態による、立体視ビデオストリームを処理する例示的システムの概略的なフローチャートである。 [0044]いくつかの実施形態による、本明細書において提示される方法を実施するようにプログラムされる、または他のやり方で構成されるコンピュータシステムを示す図である。 [0045]いくつかの実施形態による、標識の配置およびオクルージョンの補償の例を示す図である。 [0046]いくつかの実施形態による、物体から取り除かれている標識の例を示す図である。 [0047]図１０Ａは、いくつかの実施形態による、解剖学的構造に関するカメラの移動に対して標識を安定させる例を示す図である。図１０Ｂは、いくつかの実施形態による、解剖学的構造に関するカメラの移動に対して標識を安定させる例を示す図である。 [0048]いくつかの実施形態による、特徴検出の例を示す図である。 いくつかの実施形態による、特徴検出の例を示す図である。

[0049]本発明の様々な実施形態が図示され、本明細書で説明されるが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換に想到し得る。なお、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることを理解されたい。

[0050]本発明の様々な実施形態は、ＡＩを使用して、手術中の状況において外科医を支援するためのコンピュータ実施による医療システム、装置、および方法を提供する。本明細書で開示されるシステム、装置、および方法は、外科手術（例えば、手術器具、解剖学的特徴、操作手順）に含まれる様々な要素の高速かつ確実な分類（例えば、リアルタイム）と、その様々な要素の分類に基づいて、高い精度および正確性による仮想標識の配置を実現することによって既存の外科用標識配置方法に関して改善し得る。例えば、本明細書で提供されるシステム、装置、および方法は、外科手術に関わる要素のリアルタイム分類を改善する分類器を構築するためにＡＩによる方法（例えば、機械学習、深層学習）を使用する場合があり、操作者（例えば、手術用プローブの使用による）からの手術中のコマンドによって、または手術前医用画像が標識を含む場合に、手術前医用画像（例えば、ＭＲＩ、ＣＴスキャン、または蛍光透視）を処理することによって、標識の位置を識別する。ＡＩによるアプローチは、データセットから新たな洞察を得るために、大量のデータセットを活用する場合がある。分類器モデルは、手術に関わる様々な要素のリアルタイムでの特徴付けを改善することができ、より高い手術成功率に繋がり得る。この分類器モデルは、操作者（例えば、外科医、手術室担当看護師、外科技術者）に、物理的標識の欠陥を解消する仮想標識のより正確な配置のための情報を提供し得る。この仮想標識は、ボタンを使用することによって、追跡可能、削除可能、または変更可能である。仮想標識は、外科手術中に手術器具の物理的移動を阻害しないことが可能である。システムおよび方法は、ここでは、（例えば、操作者からのコマンドに基づいて表示または非表示する）要望に応じて、外科手術のビデオストリーム上に標識をオーバーレイできる。

[0051]以下で、様々な実施形態について詳細に言及し、その例が添付図面に示される。以下の詳細な説明において、本発明および記載される実施形態の十分な理解を実現するために、多数の特定の詳細が記載される。ただし、本発明の実施形態は、それらの特定の詳細がなくても任意選択で実践される。他の例では、実施形態の態様を不必要に不明瞭としないために、よく知られた方法、手順、構成要素、および回路は詳細に説明されていない。図面において、同一の参照番号が同一または類似のステップまたは構成要素を示す。

[0052]本明細書で使用される語は特定の実施形態を説明する目的のみであり、特許請求の範囲を限定することは、意図されない。実施形態および添付の特許請求の範囲の記載で使用される場合、文脈が明確に示さない限り、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は複数形も同様に含むことが意図される。また、「および／または」という語は、本明細書で使用される場合、関連する列挙項目の１つまたは複数のいずれかの可能な組み合わせまたは全ての可能な組み合わせを指し、それらを包含することを理解されたい。

[0053]本明細書で使用される場合、「～の場合」という語は、「とき」または「したとき」あるいは、文脈に応じて、先行して記述された条件が真であるという「決定に応答して」、または「決定にしたがって」または「検出に応答して」を意味すると任意選択で解釈される。同様に、「［先行する記述された条件が真である］と判断される場合」または「［先行する記述された条件が真である］場合」あるいは「［先行する記述された条件が真である］とき」という表現は、文脈に応じて、先行して記述された条件が真であるという「決定したとき」もしくは「決定に応答して」もしくは「決定にしたがって」、または「検出したとき」もしくは「検出に応答して」を意味すると任意選択で解釈され得る。

[0054]本明細書で使用される場合、特記しない限り、「約」または「およそ」という語は、当業者によって決定されるような特定の値に対する許容範囲の誤差を意味し、その値がどのように測定または決定されるかに部分的に依存する。特定の実施形態では、「約」または「およそ」という語は、１、２、３、または４の標準偏差内を意味する。特定の実施形態では、「約」または「およそ」という語は、所与の値または範囲の３０％、２５％、２０％、１５％、１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％、０．５％、０．１％、または０．０５％以内を意味する。

[0055]本明細書で使用される場合、「備える」、「備えている」という語、またはその何らかの他の変形は、列挙されている要素を備えるプロセス、方法、物品、または装置がそれらの要素を含むだけでなく明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、または装置に固有の他の要素を含むように、非排他的含有物を網羅することが意図される。

[0056]本明細書で使用される場合、「対象」および「患者」という語は、入れ替え可能に使用される。本明細書で使用される場合、「対象」は、人間を指す。特定の実施形態では、対象は外科手術を経験している。特定の実施形態では、対象は、０カ月から６カ月、６カ月から１２カ月、１歳から５歳、５歳から１０歳、１０歳から１５歳、１５歳から２０歳、２０歳から２５歳、２５歳から３０歳、３０歳から３５歳、３５歳から４０歳、４０歳から４５歳、４５歳から５０歳、５０歳から５５歳、５５歳から６０歳、６０歳から６５歳、６５歳から７０歳、７０歳から７５歳、７５歳から８０歳、８０歳から８５歳、８５歳から９０歳、９０歳から９５歳、または９５歳から１００歳である。

[0057]「少なくとも」、「より大きい」、または「以上」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「少なくとも」、「より大きい」、または「以上」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、１、２、または３以上は、１以上、２以上、または３以上と等価である。

[0058]「～を超えない」、「未満」または「以下」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「～を超えない」、「未満」または「以下」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、３、２、または１以下は、３以下、２以下、または１以下と等価である。

[0059]「外科用ＡＩ」または「外科用ＡＩモジュール」という語は、本明細書で使用される場合、全般的に、人工知能アルゴリズムを使用して、外科手術の前、間、および／または後で支援するシステム、装置、または方法を指す。外科用ＡＩモジュールは、入力データ、機械学習または深層学習アルゴリズム、訓練データセット、または他のデータセットの組み合わせとして定義され得る。

[0060]「機械学習」という語は、本明細書で使用される場合、全般的に、時間の経過とともに自動的に改良し得るコンピュータアルゴリズムを指し得る。機械学習の本明細書におけるいずれかの記載は、人工知能に適用されることが可能であり、その逆も可能であり、または任意のそれらの組み合わせにも適用可能である。

[0061]本明細書で使用される場合、「継続的」、「継続的に」という語、またはその何らかの他の変形は、全般的に、ほぼ途切れないプロセス、またはプロセスの文脈において許容可能な時間遅延を有するプロセスを指す。

[0062]「ビデオストリーム」または「ビデオフィード」という語は、本明細書で使用される場合、デジタルカメラによって生成されたデータを指す。ビデオフィードは、一連の静止画または動画であり得る。

[0063]「部位」、「器官」、「組織」、「構造」という語は、本明細書で使用される場合、全般的に、人体の解剖学的特徴を指し得る。部位は器官より大きい場合があり、器官を含み得る。器官は、１つまたは複数の組織の種類および構造を含み得る。組織は、共通の機能を完成させるために構造的に結合された細胞のグループを指し得る。構造は、組織の一部を指すことが可能である。いくつかの実施形態では、構造は、解剖学的特徴を創出するためにともに結合された１つまたは複数の組織の１つまたは複数の部分を指し得る。

[0064]「外科的視野」または「視野」という語は、本明細書で使用される場合、介入イメージング装置によって取り込まれる視界の範囲を指す。視野は、人間の眼によって観察可能で、デジタルカメラによって取り込まれる視覚データの範囲を指し得る。

[0065]「決定」という語は、本明細書で説明される場合、機械学習またはＡＩアルゴリズムからの出力を指し得る。決定は、標識すること、分類、予測などを含み得る。

[0066]「介入イメージング装置」という語は、本明細書で使用される場合、全般的に、医療目的のために使用されるイメージング装置を指す。介入イメージング装置は、外科手術で使用されるイメージング装置を指してもよく、例えば、関節鏡、心臓鏡、内視鏡、または腹腔鏡、または他の同様の装置のうちの１つまたは複数である。外科手術は、いくつかの実施形態では、手術または他の医学的手技のシミュレーションでもよい。

[0067]本明細書で使用される「操作者」という語は、外科手術に関わる医療の専門家を指す。操作者は、外科医、手術室担当看護師、外科技術者であることが可能である。

[0068]「標識」、「任意の標識」、「仮想標識」、および「基準マーカー」という語は、本明細書では入り替え可能に使用される場合、外科的手技または他の医学的手技を誘導するために使用されるマークを指す。

[0069]本発明の一態様は、コンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術を支援するためのシステムを提供する。このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えてもよく、動作は、関節鏡イメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手術中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にオーバーレイを表示するステップとを含み得る。いくつかの実施形態では、操作者（例えば、外科医）は、手術前に、１つまたは複数の標識の座標の１つまたは複数のセットを提供する。

[0070]上記のビデオストリームは、関節鏡視下手術中に関節鏡イメージング装置によって提供され得る。いくつかの実施形態では、関節鏡イメージング装置はデジタルカメラを備える。ビデオストリームは、関節鏡視下手術に特化したデジタルカメラから取得され得る。このデジタルカメラは、関節鏡関節における操作に適した硬性鏡に搭載されてもよい。この硬性鏡は、外科手術の視野を照明する光ファイバーを備え得る。デジタルカメラは、カメラ制御ユニットに搭載されてもよい。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報を取り込むように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をビデオストリームに変換する。いくつかの実施形態では、カメラ制御ユニットは、光源を制御するように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をメモリ装置に記録するように構成される。いくつかの実施形態では、デジタル情報を記録するために使用されるメモリ装置は、ローカルメモリ装置である。いくつかの実施形態では、カメラ制御ユニットは、１つまたは複数のコンピュータプロセッサからの出力をビデオストリームにオーバーレイするように構成される。いくつかの実施形態では、メモリ装置は、リモートまたはクラウドベースのメモリ装置である。カメラ制御ユニットは、ビデオストリームを１つまたは複数のコンピュータプロセッサに送信し得る。いくつかの実施形態では、１つより多いカメラ制御ユニットが存在する。いくつかの実施形態では、２つ、３つ、４つ、５つ、またはそれ以上のカメラ制御ユニットが存在する。１つまたは複数のカメラ制御ユニットは、ビデオストリームを、ネットワーク接続または有線メディア接続を介してコンピュータプロセッサへ送信し得る。ビデオストリームは、立体視または単眼でもよい。いくつかの実施形態では、システムは、表示モニタをさらに備える。いくつかの実施形態では、システムは、手術中に少なくとも１人の操作者から（例えば標識を付けることを作動させるか、停止させるかの）入力を受信する機構を含む。いくつかの実施形態では、その機構は、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識システムを介して入力を受信する。

[0071]いくつかの実施形態では、上記の座標の１つまたは複数のセットは、外科手術および／または外科的アクション（例えば、組織切除、アブレーションなど）を実行するために点または部位を選択するように、ビデオストリームの画像に印付けできるデジタルポインタ（例えば、コンピュータマウスまたは関連装置）を使用して、外科手術中に提供される。いくつかの実施形態では、操作者（例えば、外科医）は、標準的な手術用プローブを使用して所望の位置を示すことによって、手術中に、座標の１つまたは複数のセットを提供する。いくつかの実施形態では、所望の位置の座標が選択または示された後、操作者は、システムが位置を登録できるようにコマンドを発出できる。いくつかの実施形態では、システムは、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識システムを介して操作者からの登録コマンドを受信する。

[0072]図１は、本明細書で説明されるシステムのハードウェア構成の概略的な例を示す図である。例示的なシステム１００は、複数の入力を備え得る。この複数の入力は、ビデオストリーム入力１０１、操作者（例えば、外科医）入力１０２、および１つまたは複数の手術前イメージング入力を含み得る。この手術前イメージング入力は、蛍光透視イメージング入力１０３、医療データシステム（例えば、ＭＲＩまたはＣＴスキャンなどの放射線イメージング）入力１０４を含み得る。いくつかの実施形態では、それらの複数の入力のそれぞれは、対応インターフェースに接続される。例えば、ビデオストリーム入力１０１はカメラ制御ユニット（ＣＣＵ）１１１に接続されてもよく、操作者入力１０２は制御インターフェース１１２に接続されてもよく、蛍光透視イメージング入力１０３は蛍光透視インターフェース１１３に接続され、または医療データシステム入力１０４は医療データシステム（例えば、放射線イメージング）インターフェース１１４に接続されてもよい。それらのインターフェースのそれぞれは、その対応入力から入力を受信するように構成され得る。システム１００は、外科医、臨床データシステム、外科用機器などから様々なモダリティにおいて入力を受信するために、他の外部インターフェースをサポートしてもよい。複数のインターフェースによって受信された複数の入力は、その後、処理ユニットに送信されて、人工知能（ＡＩ）パイプラインを使用して処理されてもよい。いくつかの実施形態では、処理ユニットは、中央演算装置（ＣＰＵ）１０６、画像処理装置（ＧＰＵ）１０７、またはその両方を備え得る。いくつかの実施形態では、ＣＰＵまたはＧＰＵは、複数のＣＰＵまたはＧＰＵを含む。ＣＰＵまたはＧＰＵは、メディアコネクタ（例えば、ＨＤＭＩケーブル、ＤＶＩコネクタ）を介して複数のインターフェースに接続され得る。ＣＰＵまたはＧＰＵは、ネットワーク接続（例えば、ＴＣＰ／ＩＰ）を介して複数のインターフェース（例えば、外科用ビデオカメラ）に接続されてもよく、それによって少ない有線接続でより高い柔軟性を実現し得る。いくつかの実施形態では、ビデオ処理および再生におけるレイテンシは、メディアコネクタと比較した場合に接続がネットワークを介する場合の方が高くなり得る。いくつかの実施形態では、ネットワーク接続は、ローカルネットワーク接続でもよい。事前に定義された装置（例えば、外科手術で使用されている装置）のセットを含むローカルネットワークは、分離されていてもよい。リアルタイムの（例えば、外科手術中の）フィードバックのために、より低いレイテンシがより望ましい場合がある。いくつかの実施形態では、より高いレイテンシを有するシステム構成は、訓練の目的のために使用可能である（例えば、モック手術）。ＡＩパイプラインは、１つまたは複数のコンピュータビジョン（ＣＶ）モジュールを含む１つまたは複数の機械学習モジュールまたはＡＩモジュールを備え得る。いくつかの実施形態では、ＡＩモジュールおよびＣＶモジュールは、ビデオおよびＡＩ推論パイプライン（ＶＡＩＰ）１０５によってサポートされる。いくつかの実施形態では、ＶＡＩＰ１０５は、ＡＩモジュールおよびＣＶモジュールをサポートし、モジュール間の制御および情報のフローを管理する。ＶＡＩＰ１０５は、そのフローを接続および管理するための命令を含む構成ファイルを備え得る。ＶＡＩＰ１０５は、ＧＰＵ１０７上でのＡＩアルゴリズムの実行をサポートし得る。ＶＡＩＰ１０５は、さらに、直接メディアインターフェース（例えば、ＨＤＭＩまたはＤＶＩ）をサポートし得る。ＡＩパイプラインによって処理される、標識位置１２０と、複数の入力１０９から識別される１つまたは複数の特徴要素とを含む複数の入力の１つまたは複数の出力が生成され得る。１つまたは複数の出力は、出力１３０を生成するためにビデオストリーム入力１０１にオーバーレイされ得る。いくつかの実施形態では、システム１００は表示モニタを備える。いくつかの実施形態では、出力１３０は、表示モニタ（例えば、モニタ、テレビ（ＴＶ））に表示される。いくつかの実施形態では、システムは表示装置を備える。いくつかの実施形態では、標識位置１２０および入力１０９は、ＣＣＵへ送り返され、出力１３０を生成するためにビデオストリームにオーバーレイされる。

[0073]いくつかの実施形態では、関節鏡は、少なくとも毎秒約１０フレーム（ｆｐｓ）のレートで連続画像（例えば、ビデオフィード）を生成し得る。いくつかの実施形態では、画像（例えば、ビデオフィード）を受信してオーバーレイ（例えば、処理画像）を提供するために必要な時間であるレイテンシがシステムに存在する。いくつかの他の場合に、ビデオストリーム（例えば、ビデオストリーム入力３０１）からの２つの連続フレームは、１／ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の速度で生成され得る。いくつかの実施形態では、システムにおけるレイテンシは、最大でも１／ｆｐｓである。システムのレイテンシは、外科用カメラによる連続画像生成のレートの逆数未満であり得る。例えば、入力信号が毎秒２０フレームでストリーミングされるとき、レイテンシは、１／２０（１／ｆｐｓ）または５０ｍｓ以下の場合がある。いくつかの実施形態では、レイテンシは、システムにおける停止期間を含み得る。

[0074]いくつかの実施形態では、上記の動作は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用してビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含んでもよく、１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態で、ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のＡＩモジュールを使用することを含む。いくつかの実施形態では、１つまたは複数のＡＩモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡のための１つまたは複数のモジュールを含んでもよい。いくつかの実施形態では、システムは、識別された要素に少なくとも部分的に基づいて１つまたは複数の標識を推薦する。いくつかの実施形態では、システムは、識別された要素に少なくとも部分的に基づいて１つまたは複数の標識を推薦する。

[0075]図２Ａおよび図２Ｂは、モデル大腿顆上における標識配置の例を示す図である。いくつかの実施形態では、図２Ａに示すように、操作者（例えば、外科医）は、標準的な手術用プローブ２０１を使用して標識の所望の位置を示す。操作者は、その後、所望の位置を登録する、システムへの登録コマンドを作動させてもよい。標識の位置は、ドット２０２（例えば、青ドット）を有する外科手術のビデオストリームを表示する画面上で可視化され得る。いくつかの実施形態では、システムは、標識の位置を保存し、外科手術全体にわたってその標識を追跡する。標識を可視化したドットは、画面上に表示されることが可能であり、または操作者によっていつでも画面から取り除かれることができる。いくつかの実施形態では、標識は、１つの孤立したドットである。いくつかの実施形態では、標識は、図２Ｂに示すように、複数の孤立ドット２０２である。いくつかの実施形態では、標識は、仮想の任意のパターンまたは事前に定義された形状である。いくつかの実施形態では、標識の位置は、手術前に示されることが可能であり、および／または選択されることが可能である。標識は、関節鏡視下手術中では、インプラントの位置またはアンカー位置でもよい。いくつかの実施形態では、その関節鏡視下手術は、肩腱板断裂修復術で使用される。いくつかの実施形態では、その関節鏡視下手術は、膝手術における十字靭帯修復で使用される。いくつかの実施形態では、その関節鏡視下手術は、グラフト留置術で使用される。いくつかの実施形態では、その関節鏡視下手術は、除圧術で使用される。いくつかの実施形態では、その除圧術は、痛みを軽減するための骨構造の除去または再成形を含む。いくつかの実施形態では、肩関節鏡視下手術は、グラフトの留置を含む。

[0076]いくつかの実施形態では、関節鏡視下手術は、炎症組織および／または亀裂が生じた腱の除去または切除を含む。いくつかの実施形態では、関節鏡視下手術は、１つまたは複数の炎症組織の除去または切除で使用される。いくつかの実施形態では、関節鏡視下手術は、１つまたは複数の亀裂が生じた腱の除去または切除で使用され、ビデオストリームは単眼である。例えば、放射線イメージング、または蛍光透視イメージングなどの他のイメージング方法は、標識の配置の位置を特定するために使用可能である。それらのイメージング方法から取得された画像は、外科手術中にシステムに提供され、ビデオストリームにオーバーレイされることが可能である。いくつかの実施形態では、上記システムは、潜在的な解剖学的構造または病変を示し、例えば、操作者（例えば、外科医）は、外科的手技中に露出されない場合もあるが、システムが尿管の位置を可視化するため、尿管を保護し得る。例えば、上記システムは、蛍光透視イメージングシステムなどの外部システムから情報を取り入れ得る。標識は、その後、蛍光透視イメージングシステムを使用してイメージングされる蛍光染料によって可視化するようにされた血管分布の形態を有し得る。システムは、手技（例えば、関節鏡視下手術）中に血管分布を保持および追跡することを継続してもよい。

[0077]いくつかの実施形態では、システム１００は、記憶されたビデオコンテンツに対して動作する。関節鏡視下手術のビデオ録画は、再生およびインターフェースへの送信が可能である。システムは、その後、本明細書で説明されるように、ビデオストリーム上に任意の標識をオーバーレイし得る。いくつかの実施形態では、外科手術の記録上への標識配置は、訓練目的で使用される。いくつかの実施形態では、システムは、立体視ビデオストリームに対して動作する。いくつかの実施形態では、システムは、ロボットによる関節鏡視下手術（例えば、外科手術）中に使用され得る。いくつかの実施形態では、表示のビューは、変更され得る。いくつかの実施形態では、ビューを変更することによって、ビデオストリームにオーバーレイされた標識は、表示されることから除外されることが可能である。いくつかの実施形態では、操作者は、標識を、関節鏡視下手術中に一時的に、または関節鏡視下手術の全体を通して不可視とすることを選択できる。操作者は、ビューを前の表示に戻し得る。操作者は、標識のための座標の新しいセットを識別し得る。新しい標識は、ビデオストリームにオーバーレイされて、表示され得る。複数の標識は、同時に、または一度に１つずつ表示されるように選択され得る。いくつかの実施形態では、ビューにおける変更は自動である。いくつかの実施形態では、ビューの変更は、ＡＩパイプラインが解剖学的構造または病変を識別することによって引き起こされる。

[0078]いくつかの実施形態では、標識の座標のセットは、手術中に操作者によって提供される。図３は、標識配置システム３００の例示的なフローチャートの概略を示す図である。システムは、関節鏡カメラによって生成されたビデオストリーム入力３０１および操作者（例えば、外科医）から受信した入力３０２に対して動作する複数のモジュールを備え得る。いくつかの実施形態では、ビデオストリーム入力３０１は、ビデオストリームを一連の画像に分解するＣＶアルゴリズムを備えるビデオストリーム分解モジュール３０３によって処理される。一連の画像は、メモリ装置に記憶され得る。一連の画像からの１つまたは複数の画像は、器具認識モジュール３０４または解剖学的構造認識モジュール３０５を含む１つまたは複数の下流コンポーネントに対して提供され得る。いくつかの実施形態では、ビデオストリーム分解モジュール３０３は、外科手術の視野の画像を出力する。

[0079]いくつかの実施形態では、器具認識モジュール３０４はＡＩネットワークを使用して、視野内の手術器具を認識する。器具認識モジュール３０４で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ＡＩネットワークは、そのアーキテクチャに特化した訓練技法を含む機械学習訓練を使用して関心手術器具を認識するように訓練される。いくつかの実施形態では、訓練されたＡＩネットワークは、画像において手術器具の存在を検出し、マスクを出力する。このマスクは、入力画像から抽出されたピクセルのセットでもよく、手術器具の高精度の輪郭を示す。いくつかの実施形態では、ＡＩネットワークは、器具が検出または表示されるボックス（例えば、矩形領域）を出力する。

[0080]いくつかの実施形態では、解剖学的構造認識モジュール３０５はＡＩネットワークを使用して、視野内の解剖学的構造を認識する。解剖学的構造認識モジュール３０５で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ＡＩネットワークは、そのアーキテクチャに特化した訓練技法を使用して関心解剖学的構造を認識するように訓練される。いくつかの実施形態では、訓練されたＡＩネットワークは、視野内で見られるときに解剖学的構造を認識する。いくつかの実施形態では、訓練されたネットワークは、認識された解剖学的構造の高精度の輪郭を示し得るピクセルマスクを出力する。いくつかの実施形態では、訓練されたネットワークは、器具が検出された、または表示されるボックス（例えば、矩形領域）を出力する。

[0081]いくつかの実施形態では、器具認識モジュール３０４からの出力は、器具追跡モジュール３０６に提供される。いくつかの実施形態では、器具追跡モジュール３０６は、器具認識モジュール３０４によって識別された１つまたは複数の器具の動きを追跡する。いくつかの実施形態では、器具の位置（例えば、器具の瞬時位置）がメモリ（例えば、バッファ）に記憶され得る。いくつかの実施形態では、器具追跡モジュール３０６は、ＣＶアルゴリズムを使用して、器具の速度および加速度を計算し、それらの値をメモリに記憶する。このデータは、固定長アレイとして記憶され得る。いくつかの実施形態では、このアレイは、取り込まれた時間順で記憶される。いくつかの実施形態では、アレイは、新しい順に記憶される。アレイは、固定長を有してもよく、新規データが追加されると、より古いエントリがアレイおよびメモリバッファから削除され得る。いくつかの実施形態では、新規エントリの追加によって、最も古いエントリは、アレイから削除される。器具追跡モジュール３０６の出力は、認識された器具のマスクを器具の速度および／または加速度のアレイとともに含み得る。器具追跡モジュール３０６は、１つまたは複数の器具の位置または位置のアレイをジェスチャ認識モジュール３０７および標識登録モジュール３０８（例えば、ＢｌｕＤｏｔ点登録モジュール）へ供給し得る。

[0082]いくつかの実施形態では、ジェスチャ認識モジュール３０７は、メモリを備えるＡＩネットワーク（例えば、リカレント型ニューラルネットワーク（ＲＮＮ））を使用して、器具の動きを解釈する。いくつかの実施形態では、ＡＩネットワークは、特定の器具を認識する、および／または特定の移動パターンを識別するように訓練される。例えば、タップは、背景の解剖学的構造に関して特定のやり方で器具が移動することを伴い得る。いくつかの実施形態では、外科医は、手術器具を使用した所定のジェスチャを使用することによって任意の標識の位置を示すことができる。ジェスチャの非限定的な例は、タップ、ダブルタップ、トリプルタップ、横振り（例えば、器具を左から右へ動かす）を含み得る。いくつかの実施形態では、ジェスチャ認識モジュール３０７は、器具を使用する操作者によってなされたジェスチャのラベルを出力する。いくつかの実施形態では、ジェスチャ認識モジュール３０７は、操作者によってなされたジェスチャを認識し、認識されたジェスチャの名称のラベルを生成して、標識登録モジュール３０８であり得る下流のコンポーネントに供給される。

[0083]いくつかの実施形態では、標識登録モジュール３０８は、本明細書で説明されるように、器具追跡モジュール３０６および／またはジェスチャ認識モジュール３０７から１つまたは複数の入力を受信する。いくつかの実施形態では、ジェスチャ認識モジュール３０７からの入力が、標識登録モジュール３０８に、操作者からのジェスチャが認識されることを指示する。このジェスチャは、その後、アクションとマッピングされ得る。いくつかの実施形態では、このマッピングは、手術前に構成され、システムが初期化されたときにデータベースからロードされる。３標識登録モジュール０８によってマッピングされるアクションの非限定的な例は、開始、置換、または全消去を含み得る。いくつかの実施形態では、標識登録モジュール３０８は、一意の識別子を標識（例えば、ＢｌｕＤｏｔ）に割り当てるように開始されてもよい。１つまたは複数の標識を消去するコマンドまたは全てを消去するコマンドを含むアクションは、１つまたは複数の標識のリストを更新するように標識登録モジュール３０８を作動させてもよい。開始アクションは、器具の位置を解剖学的構造および標識追跡コンポーネント３０９へ供給するように標識登録モジュール３０８をトリガし得る。置換アクションは、１つまたは複数の標識の位置と関連したデータを新しい標識の位置と置換するように、標識登録モジュール３０８をトリガしてもよい。全消去アクションは、表示されている、またはメモリに記憶されている任意の標識を消去するように標識登録モジュール３０８をトリガしてもよい。いくつかの実施形態では、標識登録モジュール３０８は、標識を配置、置換、または消去する直接入力を操作者から受信する。この直接入力は、デジタルボタンまたは機械的ボタンを使用して、例えば、関節鏡装置のフットペダルの押下または専用ボタンの押下によって提供され得る。いくつかの実施形態では、ＣＣＵは、その直接入力を特化インターフェースを介して本明細書で説明されるＶＡＩＰへ伝達する。例えば、特化インターフェースは、操作者のためにカスタマイズされたアクションにマッピングされたジェスチャを含み得る。

[0084]いくつかの実施形態では、標識登録モジュール３０８は、レンダリングおよび／またはリコールを目的として、（例えば、手術前に、ジェスチャによって手術中に、操作者からの直接コマンドによって手術中に）標識が指定される手法間を区別する。例えば、手術前の計画から取得された標識は、削除が免れ得る。いくつかの実施形態では、標識登録モジュール３０８は、外科的視野の画像において器具認識モジュール３０４によって識別された器具の座標のセットを供給する。標識登録モジュール３０８における更新済みリストは、下流の解剖学的構造および標識追跡コンポーネント３０９に渡されてもよく、下流の解剖学的構造および標識追跡コンポーネント３０９は、消去のために設定され得る標識の追跡および表示を停止し得る。例えば、動脈または静脈を識別する際に操作者（例えば、外科医）を支援するために、血管に蛍光染料が注入されてもよい。いくつかの実施形態では、外科手術は、動脈または静脈を傷つけると深刻な結果となり得る血管の多い部位に近接して実行される。（例えば、染料を使用して）識別された動脈または静脈の画像は、受信され、ＶＡＩＰによって外科用ビデオに標識としてオーバーレイされてもよい。標識（例えば、識別された動脈または静脈）の追跡およびリコールのＶＡＩＰの正確性における確実性を表す信頼度がほぼ継続的に計算され得る。いくつかの実施形態では、信頼度は、閾値より低くてもよく、この閾値は、約８０％、７０％、６０％、５０％、４０％、３０％、２０％、１０％以下でもよい。この閾値は、操作者によって設定されてもよい。いくつかの実施形態では、信頼度の変化は、外科的視野の変化に起因するものである（例えば、手術が実行されたとき、解剖学的構造を変化させる場合がある）。システムは、その場合、標識の追跡の信頼度が減少したことを示してもよい。操作者は、例えば、染料を血管に注入することによって、標識を強調させてもよい。その後、システムは、前に識別された標識を新しく識別された標識で置換し、その標識を外科用画像（例えば、ビデオストリーム）にオーバーレイしてもよい。

[0085]いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造認識モジュール３０５から解剖学的構造のマスク、および／または器具認識モジュール３０４から識別された器具のマスクをほぼ継続的に受信する。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造および標識追跡コンポーネント３０９が一連の動作を実行するアクションを示す入力を標識登録モジュール３０８から受信する。一連の動作は、いずれの解剖学的構造上に器具が配置または保持されているかを判断するために、器具と解剖学的構造との重ね合わせをマスクから判断することを含み得る。器具と解剖学的構造との座標は、解剖学的構造との器具の重なりを識別するために使用され得る。一連の動作は、１つまたは複数の解剖学的構造の位置に関連して、標識（例えば、ＢｌｕＤｏｔ）の位置を特定するために特徴を抽出することをさらに含み得る。いくつかの実施形態では、この特徴は、血管分布のパターン、組織のエッジ、またはピクセルの局所的に一意のパッチを含み得る画像上に詳細を含む。この特徴を使用して、システムは、（図１０Ａ～図１０Ｂにも示すような）解剖学的構造に関するカメラの動きに対して標識（例えば、ＢｌｕＤｏｔ）を安定させ得る。いくつかの実施形態では、器具が解剖学的構造から独立して移動している場合、特徴は、外科的視野における器具上の点を含み得る。その後、（図８および図９にも示すような）器具の動きに対して標識を安定させるために、器具上の特徴は、解剖学的構造および標識追跡コンポーネント３０９において除外され得る。

[0086]いくつかの実施形態では、この標識は、初期化されて、器具の初期位置に指定される。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造上の特徴の位置の変化を識別し、標識の位置を再度指定する。いくつかの実施形態では、解剖学的構造は、やや変形可能な固体としてモデル化され、解剖学的構造上の特徴を追跡するために、適切な計算技法が使用される。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、継続的に特徴を取得し、拡張キャンバス上でその標識の動きを追跡する。拡張キャンバスは、より大きい視野を生成するために互いに接続され得る、ビデオストリームから取得された様々な画像における外科的視野を含み得る。いくつかの実施形態では、標識またはその下の解剖学的構造がカメラの視野からはずれた場合でも、本明細書で説明される特徴を使用して、システムは、高い確実度で標識を追跡する。いくつかの実施形態では、外科手術中に、操作者は、標識および周辺組織の位置から離れる方向にカメラを移動して、操作者が標識を見失う場合がある。いくつかの実施形態では、操作者が通常領域に再度戻ったときに、標識の位置が再度取得される必要がある。いくつかの場合に、解剖学的構造は、視野におけるあらゆる器具を除いて、前述したように最初に認識される。１つまたは複数の特徴は、以前認識された解剖学的構造にしたがって、標識の位置を認識するために識別され得る。

[0087]例えば、１つまたは複数の特徴点が出現する解剖学的構造によって分離され得る１つまたは複数の特徴点が識別され得る。外科医が前の画像で分析された外科的視野に再度入ると、解剖学的構造認識モジュールが以前処理された画像を認識し得る。現在の画像における特徴点の新規座標を前に処理された画像における特徴点の座標と整合する際に、標識はその位置に配置され得る。標識の位置は、以前識別された特徴点とともに現在の画像における特徴点に基づいて、再度設定され得る。この特徴点整合プロセスは、標識配置の正確性を高めるために繰り返されてもよい。このプロセスは、並列コンピューティング（例えば、ＧＰＵ）を使用して実行され得る。システムは、以前処理された画像において識別された特徴点を破棄して、それらを、現在の画像で識別された特徴点と置換してもよい。本明細書で説明されるプロセスは、解剖学的構造および標識追跡モジュール３０９、部位外認識モジュール３１０、および解剖学的構造再取得モジュール３１１を使用して実行され得る。

[0088]図１１Ａ～図１１Ｂは、特徴検出の例を示す図である。例えば、複数の特徴（または特徴点）１１０１は、器具１１００（図１１Ａ～図１１Ｂで緑点１１０１として示される）上で検出される場合があり、解剖学的構造１１０３上で認識される特徴１１０２（図１１Ａ～図１１Ｂで赤点１１０２として示される）のセットとは区別され得る。いくつかの実施形態では、外科的手技中に、外科的視野が変更され得る。例えば、手技は、視野を変更し得る軟組織のデブリドマンを含み得る。器具が認識および追跡（例えば、リアルタイムで）されると、器具上で検出された特徴点が消去され得る。いくつかの実施形態では、解剖学的構造上で検出された特徴点は、標識を追跡するために使用され得る。これは、標識を遮る場合がある器具の動きに対する標識の安定化を改善し得る。図８は、ビデオまたは画像に標識をオーバーレイしたときに無視される器具によるオクルージョンの例を示す図である。いくつかの実施形態では、出血または体液が視野を変化させ得る。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９における動作は、手技において実行されるアクションによる視野の変化に対して標識を安定させるために、視野から特徴を継続的に取得することと、連続画像において欠落している特徴を破棄することとを含む。この特徴は、基準として、解剖学的構造に対して取得され得る。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、部位外認識モジュール３１０と、解剖学的構造再取得モジュール３１１とを備える。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造の観察可能部分における特徴に基づいて、標識の位置を更新する。いくつかの実施形態では、本明細書で説明されるように、解剖学的構造または標識を除く視野は、シフトされてもよい。カメラが標識の位置にパンして戻った場合、解剖学的構造および標識追跡コンポーネント３０９は、本明細書で説明されるように、部位外認識モジュール３１０および解剖学的構造再取得モジュール３１１を使用することによって標識の位置の信頼度を高め得る。解剖学的構造および標識追跡コンポーネント３０９の出力は、視野および／または処理中の画像のフレームまたは範囲内の標識（例えば、ＢｌｕＤｏｔ）の位置を含む。この標識の位置は、モジュール３２０に送信される。この標識は、その後、出力ビデオストリーム３３０にオーバーレイされ得る。出力ビデオストリーム３３０の例が図８に示される。いくつかの実施形態では、外科的視野は、約３センチメートル（ｃｍ）から約６ｃｍである。いくつかの実施形態では、外科用カメラ（例えば、関節鏡）の移動範囲は、約３ｃｍから約６ｃｍである。いくつかの実施形態では、安定化を得られる範囲は、約３ｃｍから約６ｃｍである外科用カメラの移動範囲と同様である。いくつかの実施形態では、視野における変化に対する標識の安定化の精度は、約１ミリメートル（ｍｍ）から約３ｍｍである。

[0089]いくつかの実施形態では、標識位置モジュール３２０からの出力は、ビデオブレンドモジュール３１２におけるモジュール３０１から入力されるビデオストリームにオーバーレイされる。ビデオブレンドモジュール３１２からの出力は、出力ビデオストリーム３３０（例えば、画面、モニタ、ＴＶ、ラップトップ画面などを用いた場合）に表示され得る。３２０からの出力は、カメラ制御ユニットへ送られ、拡大縮小され、手技のビデオストリームにオーバーレイされ得る。

[0090]本発明の他の態様は、放射線イメージングを使用したコンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術を支援するためのシステムを提供する。このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、動作は、対象の放射線像を受信するステップと、放射線像の３Ｄ表現を生成するステップと、訓練された機械学習アルゴリズムを用いて放射線像における解剖学的構造を識別するステップと、操作者から標識の位置を受信するステップと、標識を、放射線像の３Ｄ表現にオーバーレイするステップと、操作者によって使用される、表示装置上のオーバーレイを表示するステップとを含み得る。

[0091]いくつかの実施形態では、操作者は、手術前の外科手術計画段階中の標識の位置を識別または設定する。いくつかの実施形態では、標識は、対象から取得された放射線像上に操作者（例えば、外科医）によって設定され得る。この標識は、その後、図３の標識登録モジュール３０８に類似した標識登録モジュールに供給され得る。これは、操作者が、手術前の外科手術計画段階中に標識を非表示または表示にさせることを可能にする。

[0092]図４は、放射線イメージングを使用した標識配置の例示的なワークフローの概略を示す図である。図４に示すように、関節鏡視下手術の（例えば、ビデオストリーム入力３０１からの）ビデオストリーム上に標識の位置を設定するために、対象４０１の手術前医用イメージングデータ（例えば、ＭＲＩまたはＣＴスキャンなどの放射線イメージングデータ）を使用できるようにする複数のモジュールが、図３に示されるシステム３００に追加されてもよい。いくつかの実施形態では、手術前医用イメージング取込モジュール４０２は、手術前医用イメージングデータ４０１をインポートするために外部リポジトリにインターフェース接続する。手術前医用イメージングデータは、対象の放射線像を含み得る。いくつかの実施形態では、放射線像は、肩、膝、股関節、足首、または背骨などの対象の関節または他の骨構造からのものであり、それと関連付けられている。様々な実施形態では、放射線像は、蛍光透視、磁気共鳴画像法（ＭＲＩ）、Ｘ線、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波のうちの１つまたは複数を使用して生成され得る。いくつかの実施形態では、手術前医用画像は、含む。いくつかの実施形態では、ＭＲＩまたはＣＴスキャン画像は、関節鏡視下手術（例えば、膝手術、肩手術、または股関節手術）のために、対象から取得される。ＭＲＩまたはＣＴスキャン画像は、対象の膝または肩の画像を含み得る。いくつかの実施形態では、ＭＲＩ、ＣＴスキャンまたは他の画像は、標準的なフォーマット（例えば、ＤＩＣＯＭ）でリポジトリから取得される。いくつかの実施形態では、手術前医用イメージング取込モジュール４０２は、システム４００からイメージングシステム（例えば、ＭＲＩ、ＣＴスキャン、またはＰＥＴイメージング）に関連した外部システムを抽象化するアプリケーションプログラミングインターフェース（ＡＰＩ）層を含む。いくつかの実施形態では、画像のリポジトリは、標識の画像を含む。いくつかの実施形態では、リポジトリからの標識の画像は、対象のＭＲＩまたはＣＴスキャン画像上に操作者（例えば、外科医）によって配置されている。手術前医用イメージング取込モジュール４０２からの出力は、三次元（３Ｄ）画像再構成モジュール４０３に提供され得る。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３は、二次元（２Ｄ）画像の１つまたは複数のスライスを含む、手術前医用イメージング取込モジュール４０２からの画像における体積的なデータを変換し、コンピュータメモリにおいてそのデータを３Ｄ画像に変換する。いくつかの実施形態では、操作者によって設定された標識の座標がその３Ｄ画像上にマッピングされる。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３は、放射線像の３Ｄ表現と、その画像にマッピングされた標識とを含む多次元アレイを生成し得る。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３からの出力は、マッピングモジュール４０４を使用して、解剖学的構造認識モジュール３０５によって生成されるマスクと統合され得る。いくつかの実施形態では、４０４は、手術前に取得された画像（例えば、ＭＲＩまたはＣＴスキャン画像）における解剖学的構造を認識する、訓練されたＡＩネットワークを備える。いくつかの実施形態では、その解剖学的構造は骨構造を含み得る。いくつかの実施形態では、解剖学的構造は腱を含み得る。いくつかの実施形態では、画像（例えば、ＭＲＩまたはＣＴスキャン画像）において認識された解剖学的構造は、解剖学的構造認識モジュール３０５で使用された同一の標識システムを使用して、マッピングモジュール４０４においてマスクされ得る（例えば、標識され得る）。マッピングモジュール４０４で認識された解剖学的構造は、その後、解剖学的構造認識モジュール３０５で認識された解剖学的構造と整合されてもよい。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３で特定された標識は、解剖学的構造認識モジュール３０５で認識された解剖学的構造上にマッピングされてもよい。このマッピングは、標識登録モジュール３０８へ提供され得る。本明細書で前述されたように、標識登録モジュール３０８は、外科手術のビデオストリーム上にオーバーレイされる標識および解剖学的構造情報を処理および送信し得る。いくつかの実施形態では、３２０は、外科用カメラの動きのために適合される。いくつかの実施形態では、類似構造が手術前医用画像（例えば、ＭＲＩまたはＣＴスキャン画像）からと、外科手術のビデオストリームからの画像から識別された場合、（例えば、マッピングモジュール４０４において）その２つの解剖学的構造は整合され、外科用カメラの動きと関連した何らかの画像の矛盾に関してフレームを修正する。いくつかの実施形態では、ビデオストリームからの各フレームは、外科用カメラの動きのために修正される。

[0093]いくつかの実施形態では、システムは、外科的文脈に少なくとも部分的に基づいて標識の配置を推薦できるレコメンダモジュールを備える。図５は、標識配置を推薦するシステムの例示的なワークフローの概略を示す図である。図５に示されるシステム５００は、システム４００と、標識を配置するためのレコメンデーションを行うレコメンダモジュール５０１を備え得る。いくつかの実施形態では、システム５００は外科用意思決定支援システムである。いくつかの実施形態では、５０１は、マッピングモジュール４０４から解剖学的特徴マスクまたは解剖学的構造マスクを受信する。いくつかの実施形態では、受信した解剖学的特徴マスクまたは解剖学的構造マスクに基づいて、５０１は、その外科手術の文脈（例えば、解剖学的部位またはポータル）を識別する。

[0094]いくつかの実施形態では、識別された文脈に少なくとも基づいて、５０１は、標識の配置を推薦する。５０１からのレコメンデーションの非限定的な例は、前十字人体帯（ＡＣＬ）手術における大腿および脛骨のトンネル留置、または肩腱板断裂修復術におけるアンカー留置を含み得る。いくつかの実施形態では、５０１は、３Ｄ画像再構成モジュール４０３および／またはマッピングモジュール４０４によって識別された対象の手術前医用画像における標識の位置に少なくとも部分的に基づいて、標識の位置を推薦する。推薦された標識および／または標識位置は、本明細書で上述したように、標識登録モジュール３０８に送信され、処理され、その手術のビデオストリームにオーバーレイされ、表示装置（例えば、モニタ）に表示される。いくつかの実施形態では、手術前に取得された画像（例えば、ＭＲＩ、ＣＴスキャンなど）は、標識の大きさまたは位置を推定するために必要な情報を提供するために、器具追跡モジュール３０６と組み合わされて、本明細書で説明されるように処理され得る。例えば、イメージングモダリティ（例えば、ＣＴスキャン、ＭＲＩ）は、本明細書で説明されるようにシステムによって認識されることが可能な解剖学的特徴を含む画像を生成し得る。画像は、標識の位置をさらに含み得る。いくつかの実施形態では、これらの画像は、ボクセルを含む三次元画像であり、ボクセル（体積的なピクセル）は、物理的空間における体積を表し得る。したがって、標識の位置は、（例えば、手術前画像および外科用画像上で解剖学的特徴を認識することによって）識別された解剖学的構造を整合することによって外科的視野画像上で識別され得る。標識の位置は、手術前画像におけるボクセルの大きさに部分的に基づく解剖学的構造の大きさを測定することによる測定結果に部分的に基づいてさらに識別され得る。この測定結果は、手術前画像（例えば、ＣＴスキャン、ＭＲＩ）上で識別された標識の位置に対応する外科用画像上の解剖学的構造の位置に標識を配置するために使用され得る。

[0095]いくつかの実施形態では、システムは、立体外科用カメラ（例えば、立体関節鏡）からのビデオストリームを処理するように構成される。図６は、立体視ビデオストリーム（例えば３Ｄビデオ）を処理する例示的システムの概略的なフローチャートを示す。いくつかの実施形態では、システム６００は、システム５００における構成要素と、立体視ビデオ入力またはストリーム６０１を処理する複数のモジュールとを備える。いくつかの実施形態では、立体視ビデオ入力またはストリーム６０１は、立体視ビデオ入力またはストリーム６０１から画像を生成するために、立体視ビデオ分解モジュール６０２によってまず処理される。いくつかの実施形態では、立体視ビデオ分解モジュール６０２は、立体視ビデオ入力またはストリーム６０１から器具認識モジュール６０３および／または解剖学的構造認識モジュール６０５へ画像を提供する。器具認識モジュール６０３および解剖学的構造認識モジュール６０５のモジュールは、それぞれ、器具認識モジュール３０４および解剖学的構造認識モジュール３０５と類似している。いくつかの実施形態では、器具認識モジュール６０３および解剖学的構造認識モジュール６０５は、立体視ビデオストリームにおける視差に起因するビューのシフトを有する画像において外科的視野を処理できる。立体視ビデオストリームまたは立体視ビデオストリームからの画像は、２つのチャネルを含み得る（例えば、右側、左側）。視差は、２つの異なる視線に沿って見られる物体の視位置のずれまたは差を含み得る。いくつかの実施形態では、器具認識モジュール６０３は、手術器具のための１つまたは複数のマスクを、器具位置特定モジュールである器具位置特定モジュール６０４へ提供する。いくつかの実施形態では、器具認識モジュール６０３は、解剖学的構造のための１つまたは複数のマスクを解剖学的構造位置特定モジュール６０６へ提供する。いくつかの実施形態では、器具位置特定モジュール６０４は、所与の器具の尺度における差を使用し、３Ｄ空間における器具の位置を特定する。いくつかの実施形態では、器具位置特定モジュール６０４は、立体視ビデオストリーム（例えば、両眼ビデオストリーム）からの画像の２つのチャネルに適用される器具認識アルゴリズムを備える。標識は、本明細書で述べたように、手術器具を使用して登録され得る。いくつかの実施形態では、標識は、３Ｄビューイング装置（例えば、両眼ビューワ）を使用して見る場合に３Ｄ空間に現れる。いくつかの実施形態では、解剖学的構造認識モジュール６０５は、解剖学的構造のための１つまたは複数のマスクを解剖学的位置特定モジュール６０６に提供する。いくつかの実施形態では、解剖学的構造位置特定モジュール６０６は、立体視ビデオストリームからの画像の２つのチャネルにおける解剖学的構造マスクを処理し、解剖学的構造認識モジュール６０５によって提供された解剖学的構造の空間情報に基づいて３Ｄビューワにおいて可視化され得るマスクを生成する。いくつかの実施形態では、標識（例えば、ＢｌｕＤｏｔ）は、標識が立体表示チャネルの左チャネルと右チャネルとに独立して配置されるように視野へ描画される。いくつかの実施形態では、標識は、知覚的な奥行を生成するためにずれて（例えば、横方向）配置される。出力ビデオストリーム３３０は、外科手術のビデオストリームにおける解剖学的構造上にオーバーレイされて（例えば、付加されて）３Ｄで可視化または表示される標識を含み得る。

[0096]いくつかの実施形態では、物体（例えば、プローブまたは手術器具）８０１は、標識８０２と同一の位置に配置され得る。システムは、本明細書で説明されるように器具８０１を識別し、あらゆるオクルージョン（図８）を補償する。標識８０２も、解剖学的構造８０３が移動するときの位置に対応して移動し得る。図９は、標識８０２を遮る可能性がある物体（例えば、器具）８０１から取り除かれる標識８０２の他の例を示す図である。図１０Ａおよび図１０Ｂは、解剖学的構造に関するカメラの移動に対して標識１００１（例えば、ＢｌｕＤｏｔ）を安定させる際のシステムの動作を示す図である。カメラは、解剖学的構造１００２に関して移動し得るが、標識１００１は、解剖学的構造上の印付けされた位置に留まり得る。すなわち、標識１００１は、カメラが位置を変えるに伴って解剖学的構造１００２とともに移動し得る。
コンピュータシステム
[0097]本発明の様々な実施形態はまた、本発明の方法を実施するようにプログラムされたコンピュータシステムを提供する。したがって、そのようなコンピュータシステムの１つまたは複数の実施形態の詳細が以下で説明される。図７は、本発明の方法の１つまたは複数の機能または動作を実行するようにプログラムされる、または他のやり方で構成されるコンピュータシステム７０１を示す図である。コンピュータシステム７０１は、例えば、介入イメージング装置から画像を受信することと、画像認識アルゴリズムを使用してその画像における特徴を識別することと、その特徴を、表示装置上のビデオフィード上にオーバーレイすることと、画像における識別された特徴に基づいて操作者へレコメンデーションまたはサジェスチョンを行うことなど、本発明の様々な態様を統制できる。コンピュータシステム７０１は、ユーザの電子装置、または電子装置に対してリモートに配置されるコンピュータシステムであり得る。電子装置は、モバイル電子装置であり得る。

[0098]コンピュータシステム７０１は、シングルコアまたはマルチコアのプロセッサあるいは並列処理のための複数のプロセッサであり得る中央演算装置（ＣＰＵ、本明細書では「プロセッサ」および「コンピュータプロセッサ」）７０５を含む。コンピュータシステム７０１また、メモリまたは記憶域７１０（例えば、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ）と、電子記憶ユニット７１５（例えば、ハードディスク）と、１つまたは複数の他のシステムと通信するための通信インターフェース７２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データストレージおよび／または電子表示アダプタなどの周辺装置７２５とを備える。メモリ７１０、記憶ユニット７１５、インターフェース７２０、および周辺装置７２５は、マザーボードなど、通信バス（実線）を介してＣＰＵ７０５と通信可能状態である。記憶ユニット７１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム７０１は、通信インターフェース７２０を用いてコンピュータネットワーク（「ネットワーク」）７３０と動作可能に結合され得る。ネットワーク７３０は、インターネット、インターネットおよび／またはエクストラネット、またはインターネットと通信可能状態であるイントラネットおよび／またはエクストラネットであり得る。いくつかの実施形態におけるネットワーク７３０は、電気通信ネットワークおよび／またはデータネットワークである。ネットワーク７３０は、クラウドコンピューティングなどの分散コンピューティングを可能にできる１つまたは複数のコンピュータサーバを含み得る。ネットワーク７３０は、コンピュータシステム７０１を用いたいくつかの実施形態では、クライアントまたはサーバとして振る舞うためにコンピュータシステム７０１に結合された装置を可能にし得るピアツーピアネットワークを実施できる。

[0099]ＣＰＵ７０５は、プログラムまたはソフトウェアで具体化され得る、機械可読命令列を実行し得る。この命令は、メモリ７１０などの記憶域に記憶され得る。命令は、ＣＰＵ７０５に対して下されることができ、その後、本発明の方法を実施するように、プログラムまたは他のやり方で、ＣＰＵ７０５を構成することができる。ＣＰＵ７０５によりなされる動作の例は、フェッチ、デコード、実行、およびライトバックを含み得る。

[00100]ＣＰＵ７０５は、集積回路などの回路の部分であり得る。システム７０１の１つまたは複数の他の構成要素は、その回路に含まれることができる。いくつかの実施形態では、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

[00101]記憶ユニット７１５は、ドライバ、ライブラリ、および保存されたプログラムなどのファイルを記憶し得る。記憶ユニット７１５は、例えば、ユーザ優先事項およびユーザプログラムなどのユーザデータを記憶し得る。いくつかの実施形態におけるコンピュータシステム７０１は、イントラネットまたはインターネットを介してコンピュータシステム７０１と通信可能状態にあるリモートサーバ上に配置されるなど、１つまたは複数のさらなるデータ記憶ユニットであって、コンピュータシステム７０１の外部のデータ記憶ユニットを含み得る。

[00102]コンピュータシステム７０１は、ネットワーク７３０を介して、１つまたは複数のリモートコンピュータシステムと通信し得る。例えば、コンピュータシステム７０１は、ユーザのリモートコンピュータシステム（例えば、ポータブルコンピュータ、タブレット、スマートディスプレイ装置、スマートｔｖなど）と通信し得る。リモートコンピュータシステムの例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートＰＣまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標）ｉＰａｄ、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｎｄｒｏｉｄ対応装置、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、またはパーソナルデジタルアシスタントを含む。ユーザは、ネットワーク７３０を介してコンピュータシステム７０１にアクセスできる。

[00103]本明細書で説明される方法は、コンピュータシステム７０１の電子記憶場所、例えばメモリ７１０または電子記憶ユニット７１５上に記憶された機械（例えば、コンピュータプロセッサ）実行可能コードを介して実施され得る。機械実行可能コードまたは機械可読コードは、ソフトウェアの形態で提供され得る。使用時に、コードは、プロセッサ７０５によって実行され得る。いくつかの実施形態では、コードは、記憶ユニット７１５から取り出されて、プロセッサ７０５によるアクセスに備えてメモリ７１０に記憶され得る。場合によって、電子記憶ユニット７１５は除外されることができ、機械実行可能命令はメモリ７１０に記憶される。

[00104]コードは、そのコードを実行するように適合させたプロセッサを有する機械との使用のために、あらかじめコンパイルかつ構成されることができ、または実行中にコンパイルされることもできる。コードは、そのコードを、あらかじめコンパイルされた様式またはコンパイルされた通りの様式で実行することを可能にするように選択され得るプログラム言語で供給されることができる。

[00105]コンピュータシステム７０１など、本明細書で提供されるシステムおよび方法の態様は、プログラミングにおいて具体化されることができる。技術の様々な態様は、ある種の機械可読媒体上に保有されているか、またはこの中に具体化されている、機械（またはプロセッサ）実行可能コードおよび／または関連するデータの形態であることが典型的な「製品」または「製造品」として考えられることができる。様々な実施形態で、機械実行可能コードは、メモリ（例えば、読出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスクなど、電子記憶ユニットに記憶され得る。「記憶」型媒体は、任意の時点において、ソフトウェアのプログラミングのために非一時的ストレージを提供し得る、様々な半導体メモリ、テープドライブ、ディスクドライブなど、コンピュータ、プロセッサなどの有形メモリまたはその関連モジュールのいずれかまたは全てを含み得る。ソフトウェアの全部または一部は、場合によっては、インターネットまたは他の様々な電気通信ネットワーク（無線ネットワークおよび有線ネットワークを含む）を介して通信することができる。このような通信は、例えば、１つのコンピュータまたはプロセッサから別のコンピュータまたはプロセッサへのソフトウェアのロード、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのロードを可能にし得る。したがって、ソフトウェア要素を保有し得る他の種類の媒体は、有線ネットワークおよび光ケーブルネットワークを介する、ローカル装置間の物理インターフェース、および様々なエアリンクによる物理インターフェースにわたり使用されるなどの、光波、電波、および電磁波を含む。有線リンクまたは無線リンク、光学リンクなど、このような波を運ぶ物理的要素もまた、ソフトウェアを保有する媒体として考えられ得る。本明細書で使用される場合、非一時的有形「記憶」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの語は、実行のためにプロセッサに命令を提供することに関係するあらゆる媒体を指す。

[00106]よって、コンピュータ実行可能コードなどの機械可読媒体は、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含むがこれらに限定されない多くの形態を取り得る。非揮発性記憶媒体は、例えば、図面に示される、データベースなどを実装するのに使用され得るコンピュータなど、任意のコンピュータなどにおける記憶装置のうちのいずれかなど、光学ディスクまたは磁気ディスクを含む。揮発性記憶媒体は、このようなコンピュータプラットフォームの主メモリなどの動的メモリを含む。有形伝送媒体は、コンピュータシステム内のバスを含む配線を含む、同軸ケーブル、すなわち銅線および光ファイバーを含む。搬送波伝送媒体は、無線周波数（ＲＦ）データ通信時および赤外線（ＩＲ）データ通信時に発生する信号または波など、電気信号または電磁信号、または音響波もしくは光波の形態を取り得る。したがって、コンピュータ可読媒体の一般的形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の任意の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、他の任意の光学媒体、パンチカード用紙テープ、穿孔パターンを有する、他の任意の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、他の任意のメモリチップまたはメモリカートリッジ、データまたは命令を運ぶ搬送波、このような搬送波を運ぶケーブルまたはリンク、もしくはコンピュータがプログラミングコードおよび／またはデータを読み出し得る他の任意の媒体を含む。コンピュータ可読媒体のこれらの形態の多くは、１つまたは複数の命令の１つまたは複数の列を、実行のためにプロセッサへと運ぶことに関与し得る。

[00107]コンピュータシステム７０１は、例えば、関節鏡からのビデオフィード上への識別された特徴のオーバーレイを提供するために、または外科手術の過程で操作者に対してレコメンデーションを提供するために、ユーザインターフェース（ＵＩ）７４０を含む電子ディスプレイ７３５を含み得る、またはその電子ディスプレイ７３５と通信可能状態であり得る。ＵＩの例は、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースユーザインターフェースを含むが、限定されない。

[00108]様々な実施形態で、本発明の方法およびシステムは、１つまたは複数のアルゴリズムを介して実施され得る。中央演算装置７０５による実行時に、アルゴリズムがソフトウェアを介して実施され得る。アルゴリズムは、例えば、介入イメージング装置から画像を受信することと、画像認識アルゴリズムを使用してその画像における特徴を識別することと、その特徴を、表示装置上のビデオフィード上にオーバーレイすることと、画像における識別された特徴に基づいて操作者へレコメンデーションまたはサジェスチョンを行うことを含み得る。

[00109]本発明の好適な実施形態が図示され、本明細書で説明されるが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。本発明が、本明細書内で提供される具体例により限定されることを意図されない。本発明は前述の明細書に言及しながら記載されたたが、本明細書の実施形態の記載および例示は、限定的な意味で解釈されることは意図されない。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換にここで想到し得る。さらに、本発明の全ての態様は、様々な条件および変数に依存する、本明細書に記載される具体的な描示、構成、または相対的比率に限定されないことを理解されたい。なお、本発明を実践する際に、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることを理解されたい。したがって、本発明は、本明細書で説明される本発明の実施形態の様々な代替物、改変、変形、または同等物も網羅することが想定されることを理解されたい。

[00110]また、本発明の範囲内で多くのさらなる実施形態を形成するために、ある実施形態からの要素、特徴、または動作は、他の実施形態からの１つまたは複数の要素、特徴、または動作と容易に結合し直され得る、または置き換えられ得る。さらに、他の要素と結合されると図示または説明される要素は、様々な実施形態で、単独の要素として存在し得る。さらに、本発明の実施形態は、要素、動作、または特徴が明確に記載されている場合、その要素、動作、または特徴などの除外を特に企図する。したがって、本発明の範囲は、説明された実施形態の詳細に限定されず、むしろ添付の請求の範囲によってのみ限定される。

関連出願の相互参照
［0001］本ＰＣＴ出願は、２０２０年４月１３日に提出されたインド仮特許出願第２０２０４１０１５９９３号、および２０２０年５月２７日に提出された米国仮出願第６３／０３０，７２１号および２０２１年１月２９日に提出された第６３／１４３，３８０号への優先権を主張するものであり、その全体の内容が参照によって本明細書に全体的に組み込まれる。

[0002]本発明の実施形態は、特に人工知能（ＡＩ）を使用して外科的手技を支援するシステム、装置および方法に関する。

[0003]近年、人工知能は、人間の顔とともに、人間の身体における様々な解剖学的構造の特徴を認識するために画像を処理するために使用されるように開発が進められ始めている。それらのＡＩツールは、医学的手技中に操作者を支援するために解剖学的特徴を自動的に認識するために使用可能である。医学的手技において生成される情報を収集および処理する画像または言語処理のために、機械学習アルゴリズムおよび深層学習アルゴリズムなどの計算法が使用可能である。したがって、外科手術の結果を改善するために使用可能なＡＩアルゴリズムを使用するステップが望ましい。現在のＡＩ支援の外科用システムおよび方法は、例えば外科的手技を誘導するために使用される多くの点において依然として理想的とは言えない。したがって、改善されたＡＩ支援の外科用システムおよび方法が望まれる。

[0004]本発明の様々な実施形態は、リアルタイムで解剖学的特徴を識別および標識し、その識別された解剖学的特徴上に１つまたは複数の標識を配置するなどによって、外科的手技を誘導するコンピュータ実施による医療システム、装置、および方法に関する。外科医は、潜在的な血管分布、ステープルライン、縫合箇所、潜在的な解剖学的構造などの追跡という多種多様な認知的作業を支えるために物理的標識を使用する。標識は、染料、焼灼マークなどを使用して通常配置される。いくつかの実施形態では、点に印付けをするために、針が外側から挿入される。患者の身体に物体を移植することを必要とし得る物理的標識の配置は、外科手術に複雑性を加え、外科手術の過程で手術器具の動きを物理的に抑制する場合がある。他の問題は、高費用となり得る外科手術の過程で操作者が誤りをおかすことを含み得る。例えば、操作者が、カメラ（例えば、関節鏡または顕微鏡視下手術中に使用されるカメラ）から隠れている重要な解剖学的特徴の正確な位置を把握することは難しい、または不可能な場合があり、もしくは視野の変更によって、操作者が標識の位置を認識することが困難となり得る。したがって、特に、患者の身体上（例えば、器官または解剖学的特徴上）に仮想標識を付加するステップにより医学的手技を誘導するための、人工知能（ＡＩ）ツールなどのコンピュータ実施の医療システム、装置、および方法は有益であり得る。これらのＡＩツールは、器具、解剖学的構造、または手技の検出を正確かつ確実に予測することに限界を有する場合がある。ペースの速い外科的手技において、ＡＩツールは、操作者へリアルタイムの支援を提供するためには、低レイテンシで予測を行う必要もある場合がある。

[0005]操作者（例えば、外科医、介入放射線医）のために外科的（または他の医学的）手技を容易にするため、さらに外科的手術または他の医学的手技の結果を改善するために、関心位置に仮想標識を配置することによって、外科手術または他の医学的手技の過程においてリアルタイムで操作者を支援する、高速で、正確かつ確実なＡＩツールの必要性が
本明細書において認められる。それに応じて、本発明の様々な態様および実施形態は、様々な医学的手技における標識の独自の必要性に対して汎用性があり十分に訓練された機械学習アルゴリズムのパイプラインを提供する。

[0006]本明細書で説明される本発明の様々な実施形態は、医学的手技（例えば、外科手術）の実施前または実施中に情報（例えば、画像、音声、ユーザ入力）を受信し、手技と関連した標識配置と関連した特徴を識別するために受信情報を処理し、手技中にリアルタイムで関心位置に仮想標識を配置できるシステム、装置、および方法を提供する。

[0007]本発明の態様は、さらに、イメージングモダリティと、蛍光透視法、磁気共鳴画像法（ＭＲＩ）、またはコンピュータ断層撮影法（ＣＴ）スキャンなどの関連方法とを使用して手術前に取得された画像を使用することによって、手術中に関心位置に標識を配置する際に外科医を支援する。１つまたは複数の実施形態において、手術前画像は外科的視野の手術前画像であることが可能であり、人工知能（ＡＩ）は、外科医に対して誘導を提供するために、外科的手技のリアルタイムのビデオストリーム上に標識の画像および／または位置をオーバーレイするために、手術前に生成された画像に適用され得る。外科的手技を支援するために、または外科用ＡＩとして手技の結果を改善するために、手術中、手術前、または手術後に使用されるＡＩモジュール／アルゴリズムについて言及する。

[0008]本発明の一態様は、コンピュータ実施による任意の標識配置を可能にすることによって肩、膝、股関節、足首、または他の関節の修復など関節鏡視下手術を支援するためのシステムであって、このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、動作は、関節鏡イメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手術中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にオーバーレイを表示するステップとを含む、システムを提供する。内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技（例えば、任意の標識の配置による）への支援に対するシステムの実施形態の適用も企図される。
そのような低侵襲的手技の例は、消化器（ＧＩ）手術（例えば、腸生検、ポリープ切除、肥満手術、胃縮小手術／垂直帯胃形成術）、泌尿器科的処置（例えば、腎臓石の除去、膀胱修復）、婦人科手術（例えば、ｄｎｃ、子宮筋腫切除）、および腹腔鏡視下手術（例えば、虫垂切除術、胆嚢摘除術、結腸切除、ヘルニア修復、噴門形成術）のうちの１つまたは複数を含み得る。

[0009]いくつかの実施形態では、上記動作は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用してビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含む。いくつかの実施形態では、この１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態で、ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のソフトウェアモジュール（本明細書ではモジュール）を使用することを含む。いくつかの実施形態では、１つまたは複数のモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡を実行するためのモジュールを含んでもよい。いくつかの実施形態では、システムは、識別された要素に少なくとも部分的に基づいて１つまたは複数の標識を推薦する。

[0010]いくつかの実施形態では、動作は、さらに、１つまたは複数の標識の座標の１つまたは複数のセットを記憶するステップと、オーバーレイされた標識が表示されることから除外するように表示のビューを変更するステップと、ビューを前の表示に戻すステップと、１つまたは複数の標識の座標の１つまたは複数のセットを識別するステップと、１つまたは複数の標識を再度オーバーレイするステップとを含む。いくつかの実施形態では、操作者が上記の変更するステップおよび戻すステップを作動させる。いくつかの実施形態では、ビューを変更するステップは、識別された解剖学的構造または病変における変化に基づいて自動的に作動される。

[0011]いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットは、手術中に操作者（例えば、外科医、介入心臓専門医、放射線医など）によって提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが操作者によって手術前に提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが、対象の１つまたは複数の医用画像から生成される。いくつかの実施形態では、１つまたは複数の医用画像は対象の放射線像である。いくつかの実施形態では、放射線像は、対象の関節または他の骨構造からである。いくつかの実施形態では、放射線像は、対象の肩、膝、股関節、足首、または肘と関連している。いくつかの実施形態では、放射線像は、蛍光透視法、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波イメージングを使用して生成される。

[0012]いくつかの実施形態では、ビデオストリームは、関節鏡視下手術中に関節鏡（または他のイメージング装置）によって提供される。様々な実施形態では、関節鏡視下手術は、膝手術における十字靭帯修復、例えば、断裂した肩腱板の上方関節包再建術で使用されるグラフト留置術、除圧術、１つまたは複数の炎症組織の除去または切除、１つまたは複数の亀裂が生じた腱の除去または切除という種類の手技（したがって、そのためにシステムおよびモジュールの実施形態が支援のために構成され得る）のうちの１つまたは複数に対応してもよく、ここで、ビデオストリームは単眼である。上記の手技および他の手技のうちの１つまたは複数において、ビデオストリームは、特定の手技において特記されていない限り、立体視または単眼である。また、様々な実施において、本発明のシステムの実施形態は、単眼または立体の入力ビデオストリームと、関連の出力ビデオオーバーレイとを往復してトグルする、または切り換えるように構成され得る。

[0013]いくつかの実施形態では、１つまたは複数のコンピュータプロセッサは、有線メディア接続を使用して１つまたは複数のカメラ制御ユニットからビデオストリームを受信する。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイとの間のレイテンシは、毎秒約２４フレーム（ｆｐｓ）のデジタルカメラに対応するための最大でも４０ミリ秒（ｍｓ）である。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイとの間のレイテンシは、デジタルカメラからの２つの連続フレーム間の時間を超えない。

[0014]いくつかの実施形態では、１つまたは複数のコンピュータプロセッサは、ネットワーク接続を使用して１つまたは複数のカメラ制御ユニットからビデオストリームを受信する。いくつかの実施形態では、介入イメージング装置は、関節鏡での使用に特化したデジタルカメラである。いくつかの実施形態では、デジタルカメラは、関節鏡関節における操作に適した硬性鏡に搭載される。いくつかの実施形態では、カメラ制御ユニットは、光源を制御し、デジタルカメラによって生成されたデジタル情報を取り込むように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をビデオストリームに変換する。いくつかの実施形態では、カメラ制御ユ
ニットは、デジタルカメラによって生成されたデジタル情報をメモリ装置に記録する。いくつかの実施形態では、メモリ装置はローカルメモリ装置である一方、クラウドベースのメモリ装置でもよい。いくつかの実施形態では、デジタルカメラは、カメラ制御ユニットに接続され、様々な実施形態で、１つまたは複数のコンピュータプロセッサからの出力をビデオストリームにオーバーレイするように構成されてもよい。

[0015]いくつかの実施形態では、システムは、表示モニタをさらに備える。いくつかの実施形態では、１つまたは複数のコンピュータプロセッサは、中央演算装置または画像処理装置（ＧＰＵとも呼ばれる）を含む。いくつかの実施形態では、システムは、手術中に少なくとも１人の操作者から（標識を付けることを作動させるか、停止させるかの）入力を受信する機構をさらに含む。様々な実施形態で、その機構は、押しボタン、タッチスクリーン装置、ポインティングデバイス（例えば、マウスまたはヘッドマウントポインティングデバイス）、フットペダル、ジェスチャ認識システム、または音声認識システムのうちの１つまたは複数を介する入力を受信するように構成される。いくつかの実施形態では、１つまたは複数の標識は、関節鏡視下手術または他の医学的手技中に追跡される。いくつかの実施形態では、１つまたは複数の標識の追跡は、解剖学的構造、その構造の負傷または病変、その構造に留置されたインプラント、またはその構造の修復のうちの少なくとも１つまたは複数に関する、１つまたは複数の標識の座標のセットと関連する。

[0016]いくつかの実施形態では、１つまたは複数の標識の表示は、ビデオストリームの表示上にオーバーレイされる。いくつかの実施形態では、上記の関係する解剖学的構造がビデオストリームで識別されたとき、１つまたは複数の標識が表示される。いくつかの実施形態では、操作者は、１つまたは複数の標識を、関節鏡視下手術または他の医学的手技中に一時的に、または関節鏡視下手術または他の医学的手技の全体を通して不可視とすることを選択できる。

[0017]本発明の他の態様は、放射線イメージングを使用したコンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術または他の医学的手技を支援するためのシステムであって、システムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えるシステムを提供する。いくつかの実施形態では、動作は、対象の少なくとも１つの放射線像を受信するステップと、訓練された機械学習アルゴリズムを用いて少なくとも１つの放射線像における１つまたは複数の解剖学的特徴を識別するステップと、識別された解剖学的特徴の３Ｄ表現を生成するステップと、操作者から１つまたは複数の標識の位置を受信するステップと、解剖学的構造の３Ｄ表現上に１つまたは複数の標識をオーバーレイするステップと、操作者によって使用される表示装置上にオーバーレイを表示するステップとを含む。
この場合も、内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の支援に対する上記システムの実施形態の適用も企図される。

[0018]いくつかの実施形態では、解剖学的特徴は、骨構造または腱を含む。いくつかの実施形態では、少なくとも１つの放射線像は、ＭＲＩスキャン、ＣＴスキャン、ＰＥＴスキャン、超音波画像、またはそれらの組み合わせのうちの１つまたは複数を含む。いくつかの実施形態では、少なくとも１つの放射線像は、標識の画像を含む。いくつかの実施形態では、動作は、標識の位置を識別するステップをさらに含む。いくつかの実施形態では、動作は、少なくとも１つの放射線像における標識の識別された位置に少なくとも部分的に基づいて標識のための位置を推薦するステップをさらに含む。

[0019]いくつかの実施形態では、少なくとも１つの放射線像または１つまたは複数の標
識は、イメージング装置からのビデオストリームとブレンドされる。いくつかの実施形態では、ブレンドされた画像は、表示装置上に表示される。いくつかの実施形態では、ブレンドされた画像を表示するステップは、関節鏡視下手術中または他の医学的手技中に発生する。いくつかの実施形態では、イメージング装置は、超音波イメージング装置または蛍光透視イメージング装置などの介入イメージング装置である。様々な実施形態では、ビデオストリームは単眼または立体視でもよく、システムは、その種類間での切り換えの往復のいずれかを認識し、それに応じて関連出力を生成するように構成され得る。

[0020]本発明の他の態様は、関節鏡視下手術または他の医学的手技を支援するためのコンピュータ実施方法を提供する。いくつかの実施形態では、その方法は、イメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手術または他の医学的手技中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にそのオーバーレイを表示するステップとを含む。内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の支援に対する上記方法の実施形態の適用も企図される。

[0021]いくつかの実施形態では、上記の方法は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用してビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含み、１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態で、ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のモジュールを使用することを含む。いくつかの実施形態では、１つまたは複数のモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡のための１つまたは複数のモジュールを含む。いくつかの実施形態では、１つまたは複数の標識は、識別された要素に少なくとも部分的に基づいて推薦される。

[0022]いくつかの実施形態では、上記の方法は、さらに、１つまたは複数の標識の座標の１つまたは複数のセットを記憶するステップと、上記のオーバーレイされた標識が表示されることから除外するように表示のビューを変更するステップと、ビューを前の表示に戻すステップと、上記１つまたは複数の標識の座標の上記１つまたは複数のセットを識別するステップと、上記１つまたは複数の標識を再度オーバーレイするステップとを含む。いくつかの実施形態では、操作者が上記の変更するステップおよび戻すステップを作動させる。いくつかの実施形態では、上記のビューを変更するステップは、識別された解剖学的構造または病変における変化に基づいて自動的に作動される。

[0023]いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが操作者によって手術中に提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが操作者によって手術前に提供される。いくつかの実施形態では、１つまたは複数の標識の座標の１つまたは複数のセットが、対象の１つまたは複数の医用画像から生成される。いくつかの実施形態では、１つまたは複数の医用画像は放射線像である。いくつかの実施形態では、放射線像は、蛍光透視、ＭＲＩ、またはＣＴスキャンを使用して生成される。いくつかの実施形態では、ビデオストリームは、関節鏡視下手術中に関節鏡によって提供される。いくつかの実施形態では、その関節鏡視下手術は、肩腱板移植術で使用される。いくつかの実施形態では、その関節鏡視下手術は、膝手術における十字靭帯トンネル留置で使用される。いくつかの実施形態では、ビデオストリームは単眼である。いくつかの実施形態では、ビデオストリームは立体視である。

[0024]いくつかの実施形態では、デジタルカメラから上記１つまたは複数のビデオスト
リームを受信する上記ステップは、有線メディア接続を使用して実行される。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイの表示との間のレイテンシは、毎秒約２４フレーム（ｆｐｓ）のデジタルカメラに対応するための最大でも４０ミリ秒（ｍｓ）である。いくつかの実施形態では、デジタルカメラからの入力の受信と出力およびビデオストリームのオーバーレイとの間のレイテンシは、デジタルカメラからの２つの連続フレーム間の時間を超えず、デジタルカメラから１つまたは複数のビデオストリームを受信するステップは、ネットワーク接続を使用して実行される。

[0025]いくつかの実施形態では、方法は、１つまたは複数のコンピュータ処理ユニットを使用して実行される。いくつかの実施形態では、１つまたは複数のコンピュータ処理ユニットは、中央演算装置または画像処理装置を含む。いくつかの実施形態では、介入イメージング装置はデジタルカメラである。いくつかの実施形態では、デジタルカメラは、見る器械に搭載される。

[0026]いくつかの実施形態では、カメラ制御ユニットは、光源を制御し、デジタルカメラによって生成されたデジタル情報を取り込むように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をビデオストリームに変換するように構成される。

[0027]いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報を、上記の方法の１つまたは複数の動作／ステップを実行するコンピュータシステムに常駐する、または動作可能に結合されるローカルメモリ装置、またはクラウドベースのメモリ装置などのリモートメモリ装置でもよいメモリ装置に記録する。いくつかの実施形態では、デジタルカメラはカメラ制御ユニットに接続される。いくつかの実施形態では、ビデオストリームは、処理されるために、１つまたは複数のコンピュータ処理ユニットによってカメラ制御ユニットから受信される。いくつかの実施形態では、カメラ制御ユニットは、１つまたは複数のコンピュータ処理ユニットによる処理からの出力をビデオストリームにオーバーレイするように構成される。いくつかの実施形態では、上記方法は、表示モニタをさらに備える。

[0028]いくつかの実施形態では、方法は、手術中に少なくとも１人の操作者から標識を付けることを作動させるか、停止させるかの入力を受信する機構を利用するステップをさらに含む。１つまたは複数の実施形態では、その機構は、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識方法、または音声認識方法を介して入力を受信するように構成されてもよい。

[0029]いくつかの実施形態では、１つまたは複数の標識は、関節鏡視下手術または他の医学的手技（内視鏡視下手術、腹腔鏡視下手術、心臓鏡視下手術）中に追跡される。いくつかの実施形態では、１つまたは複数の標識の追跡は、解剖学的構造、その構造の負傷または病変、その構造におけるインプラント、またはその構造の修復のうちの少なくとも１つに関する、１つまたは複数の標識の座標のセットと関連する。いくつかの実施形態では、１つまたは複数の標識の表示は、ビデオストリームの表示とブレンドされる。いくつかの実施形態では、上記の関係する解剖学的構造がビデオストリーミングで識別されたとき、１つまたは複数の標識が表示される。いくつかの実施形態では、操作者は、１つまたは複数の標識を、関節鏡視下手術中に一時的に、または関節鏡視下手術の全体を通して不可視とすることを選択できる。

[0030]本発明の他の態様は、放射線イメージングを使用した任意の標識配置によって関節鏡視下手術または他の医学的手技を支援するためのコンピュータ実施方法を提供する。
いくつかの実施形態では、この方法は、対象の少なくとも１つの放射線像を受信するステップと、訓練された機械学習アルゴリズムを用いて少なくとも１つの放射線像における１つまたは複数の解剖学的特徴を識別するステップと、識別された１つまたは複数の解剖学的特徴の３Ｄ表現を生成するステップと、操作者から１つまたは複数の標識の位置を受信するステップと、１つまたは複数の解剖学的特徴の３Ｄ表現上に１つまたは複数の標識をオーバーレイするステップと、操作者によって使用される表示装置上にオーバーレイを表示するステップとを含む。内視鏡視下手術、腹腔鏡視下手術、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の支援に対する方法の実施形態の適用も企図される。

[0031]いくつかの実施形態では、解剖学的特徴は、骨構造または腱を含む。いくつかの実施形態では、少なくとも１つの放射線像は、ＭＲＩスキャン、ＣＴスキャン、またはそれらの組み合わせのうちの１つまたは複数を含む。いくつかの実施形態では、少なくとも１つの放射線像は、標識の画像を含む。いくつかの実施形態では、方法は、標識の位置を識別するステップをさらに含む。

[0032]いくつかの実施形態では、方法は、少なくとも１つの放射線像における標識の識別された位置に少なくとも部分的に基づいて標識のための位置を推薦するステップをさらに含む。いくつかの実施形態では、少なくとも１つの放射線像または１つまたは複数の標識は、イメージング装置からのビデオストリームにオーバーレイされる。いくつかの実施形態では、ブレンドされた画像は、表示装置上に表示される。いくつかの実施形態では、ブレンドされた画像を表示するステップは、関節鏡視下手術中である。いくつかの実施形態では、イメージング装置は介入イメージング装置である。いくつかの実施形態では、ビデオストリームは単眼である。いくつかの実施形態では、ビデオストリームは立体視である。

[0033]本発明の他の態様は、１つまたは複数のコンピュータプロセッサによって実行されると、上記または本明細書の他の箇所の方法のいずれかを実施する機械実行可能コードを含む非一時的コンピュータ可読媒体を提供する。

[0034]本発明の他の態様は、１つまたは複数のコンピュータプロセッサと、それに結合されたコンピュータメモリとを備えるシステムを提供する。このコンピュータメモリは、１つまたは複数のコンピュータプロセッサによって実行されると、上記または本明細書の他の箇所の方法のいずれかを実施する機械実行可能コードを含む。

[0035]本発明のさらなる態様および利点は、以下の詳細な説明から当業者にとって容易に明らかとなり、本発明の例に過ぎない実施形態が図示され、説明される。認識されるように、本発明は、他の実施形態および異なる実施形態が可能であり、そのいくつかの詳細は、全てが本発明から逸脱せずに、様々な明らかな点において修正可能である。したがって、図面および明細書は、性質という観点から例示的であるとみなされるべきであり、限定的であるとみなされるべきでない。
参照による組み込み
[0036]本明細書で言及される全ての公報、特許および特許出願は、本明細書において、それぞれの個別の公報、特許、または特許出願が参照によって組み込まれることが明確かつ個別に示されるのと同程度に、参照によって組み込まれる。参照によって組み込まれる公報および特許または特許出願が本明細書に含まれる開示と矛盾する程度に、本明細書は、そのような矛盾した事柄に取って変わる、および／またはそれに優先することが意図される。

[0037]本発明の新規の特徴が、添付の特許請求の範囲における詳細とともに説明される
。本発明の特徴および利点のより深い理解は、本発明の原理が利用される例示的な実施形態を説明する以下の詳細な記載および以下の添付図面（本明細書では「図面」および「図」とも呼ばれる）を参照することによって実現される。

[0038]いくつかの実施形態による、コンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術を支援するためのシステムのハードウェア構成の概略的な例を示す図である。 [0039]いくつかの実施形態による、モデル大腿顆上における標識配置の例を示す図である。 いくつかの実施形態による、モデル大腿顆上における標識配置の例を示す図である。 [0040]いくつかの実施形態による、標識配置システムの例示的なフローチャートの概略を示す図である。 [0041]いくつかの実施形態による、手術前画像を使用した標識配置の例示的なワークフローの概略を示す図である。 [0042]いくつかの実施形態による、標識配置を推薦するシステムの例示的なワークフローの概略を示す図である。 [0043]いくつかの実施形態による、立体視ビデオストリームを処理する例示的システムの概略的なフローチャートである。 [0044]いくつかの実施形態による、本明細書において提示される方法を実施するようにプログラムされる、または他のやり方で構成されるコンピュータシステムを示す図である。 [0045]いくつかの実施形態による、標識の配置およびオクルージョンの補償の例を示す図である。 [0046]いくつかの実施形態による、物体から取り除かれている標識の例を示す図である。 [0047]図１０Ａは、いくつかの実施形態による、解剖学的構造に関するカメラの移動に対して標識を安定させる例を示す図である。図１０Ｂは、いくつかの実施形態による、解剖学的構造に関するカメラの移動に対して標識を安定させる例を示す図である。 [0048]いくつかの実施形態による、特徴検出の例を示す図である。 いくつかの実施形態による、特徴検出の例を示す図である。

[0049]本発明の様々な実施形態が図示され、本明細書で説明されるが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換に想到し得る。なお、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることを理解されたい。

[0050]本発明の様々な実施形態は、ＡＩを使用して、手術中の状況において外科医を支援するためのコンピュータ実施による医療システム、装置、および方法を提供する。本明細書で開示されるシステム、装置、および方法は、外科手術（例えば、手術器具、解剖学的特徴、操作手順）に含まれる様々な要素の高速かつ確実な分類（例えば、リアルタイム）と、その様々な要素の分類に基づいて、高い精度および正確性による仮想標識の配置を実現することによって既存の外科用標識配置方法に関して改善し得る。例えば、本明細書で提供されるシステム、装置、および方法は、外科手術に関わる要素のリアルタイム分類を改善する分類器を構築するためにＡＩによる方法（例えば、機械学習、深層学習）を使用する場合があり、操作者（例えば、手術用プローブの使用による）からの手術中のコマ
ンドによって、または手術前医用画像が標識を含む場合に、手術前医用画像（例えば、ＭＲＩ、ＣＴスキャン、または蛍光透視）を処理することによって、標識の位置を識別する。ＡＩによるアプローチは、データセットから新たな洞察を得るために、大量のデータセットを活用する場合がある。分類器モデルは、手術に関わる様々な要素のリアルタイムでの特徴付けを改善することができ、より高い手術成功率に繋がり得る。この分類器モデルは、操作者（例えば、外科医、手術室担当看護師、外科技術者）に、物理的標識の欠陥を解消する仮想標識のより正確な配置のための情報を提供し得る。この仮想標識は、ボタンを使用することによって、追跡可能、削除可能、または変更可能である。仮想標識は、外科手術中に手術器具の物理的移動を阻害しないことが可能である。システムおよび方法は、ここでは、（例えば、操作者からのコマンドに基づいて表示または非表示する）要望に応じて、外科手術のビデオストリーム上に標識をオーバーレイできる。

[0051]以下で、様々な実施形態について詳細に言及し、その例が添付図面に示される。以下の詳細な説明において、本発明および記載される実施形態の十分な理解を実現するために、多数の特定の詳細が記載される。ただし、本発明の実施形態は、それらの特定の詳細がなくても任意選択で実践される。他の例では、実施形態の態様を不必要に不明瞭としないために、よく知られた方法、手順、構成要素、および回路は詳細に説明されていない。図面において、同一の参照番号が同一または類似のステップまたは構成要素を示す。

[0052]本明細書で使用される語は特定の実施形態を説明する目的のみであり、特許請求の範囲を限定することは、意図されない。実施形態および添付の特許請求の範囲の記載で使用される場合、文脈が明確に示さない限り、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は複数形も同様に含むことが意図される。また、「および／または」という語は、本明細書で使用される場合、関連する列挙項目の１つまたは複数のいずれかの可能な組み合わせまたは全ての可能な組み合わせを指し、それらを包含することを理解されたい。

[0053]本明細書で使用される場合、「～の場合」という語は、「とき」または「したとき」あるいは、文脈に応じて、先行して記述された条件が真であるという「決定に応答して」、または「決定にしたがって」または「検出に応答して」を意味すると任意選択で解釈される。同様に、「［先行する記述された条件が真である］と判断される場合」または「［先行する記述された条件が真である］場合」あるいは「［先行する記述された条件が真である］とき」という表現は、文脈に応じて、先行して記述された条件が真であるという「決定したとき」もしくは「決定に応答して」もしくは「決定にしたがって」、または「検出したとき」もしくは「検出に応答して」を意味すると任意選択で解釈され得る。

[0054]本明細書で使用される場合、特記しない限り、「約」または「およそ」という語は、当業者によって決定されるような特定の値に対する許容範囲の誤差を意味し、その値がどのように測定または決定されるかに部分的に依存する。特定の実施形態では、「約」または「およそ」という語は、１、２、３、または４の標準偏差内を意味する。特定の実施形態では、「約」または「およそ」という語は、所与の値または範囲の３０％、２５％、２０％、１５％、１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％、０．５％、０．１％、または０．０５％以内を意味する。

[0055]本明細書で使用される場合、「備える」、「備えている」という語、またはその何らかの他の変形は、列挙されている要素を備えるプロセス、方法、物品、または装置がそれらの要素を含むだけでなく明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、または装置に固有の他の要素を含むように、非排他的含有物を網羅することが意図される。

[0056]本明細書で使用される場合、「対象」および「患者」という語は、入れ替え可能
に使用される。本明細書で使用される場合、「対象」は、人間を指す。特定の実施形態では、対象は外科手術を経験している。特定の実施形態では、対象は、０カ月から６カ月、６カ月から１２カ月、１歳から５歳、５歳から１０歳、１０歳から１５歳、１５歳から２０歳、２０歳から２５歳、２５歳から３０歳、３０歳から３５歳、３５歳から４０歳、４０歳から４５歳、４５歳から５０歳、５０歳から５５歳、５５歳から６０歳、６０歳から６５歳、６５歳から７０歳、７０歳から７５歳、７５歳から８０歳、８０歳から８５歳、８５歳から９０歳、９０歳から９５歳、または９５歳から１００歳である。

[0057]「少なくとも」、「より大きい」、または「以上」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「少なくとも」、「より大きい」、または「以上」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、１、２、または３以上は、１以上、２以上、または３以上と等価である。

[0058]「～を超えない」、「未満」または「以下」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「～を超えない」、「未満」または「以下」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、３、２、または１以下は、３以下、２以下、または１以下と等価である。

[0059]「外科用ＡＩ」または「外科用ＡＩモジュール」という語は、本明細書で使用される場合、全般的に、人工知能アルゴリズムを使用して、外科手術の前、間、および／または後で支援するシステム、装置、または方法を指す。外科用ＡＩモジュールは、入力データ、機械学習または深層学習アルゴリズム、訓練データセット、または他のデータセットの組み合わせとして定義され得る。

[0060]「機械学習」という語は、本明細書で使用される場合、全般的に、時間の経過とともに自動的に改良し得るコンピュータアルゴリズムを指し得る。機械学習の本明細書におけるいずれかの記載は、人工知能に適用されることが可能であり、その逆も可能であり、または任意のそれらの組み合わせにも適用可能である。

[0061]本明細書で使用される場合、「継続的」、「継続的に」という語、またはその何らかの他の変形は、全般的に、ほぼ途切れないプロセス、またはプロセスの文脈において許容可能な時間遅延を有するプロセスを指す。

[0062]「ビデオストリーム」または「ビデオフィード」という語は、本明細書で使用される場合、デジタルカメラによって生成されたデータを指す。ビデオフィードは、一連の静止画または動画であり得る。

[0063]「部位」、「器官」、「組織」、「構造」という語は、本明細書で使用される場合、全般的に、人体の解剖学的特徴を指し得る。部位は器官より大きい場合があり、器官を含み得る。器官は、１つまたは複数の組織の種類および構造を含み得る。組織は、共通の機能を完成させるために構造的に結合された細胞のグループを指し得る。構造は、組織の一部を指すことが可能である。いくつかの実施形態では、構造は、解剖学的特徴を創出するためにともに結合された１つまたは複数の組織の１つまたは複数の部分を指し得る。

[0064]「外科的視野」または「視野」という語は、本明細書で使用される場合、介入イメージング装置によって取り込まれる視界の範囲を指す。視野は、人間の眼によって観察可能で、デジタルカメラによって取り込まれる視覚データの範囲を指し得る。

[0065]「決定」という語は、本明細書で説明される場合、機械学習またはＡＩアルゴリ
ズムからの出力を指し得る。決定は、標識すること、分類、予測などを含み得る。

[0066]「介入イメージング装置」という語は、本明細書で使用される場合、全般的に、医療目的のために使用されるイメージング装置を指す。介入イメージング装置は、外科手術で使用されるイメージング装置を指してもよく、例えば、関節鏡、心臓鏡、内視鏡、または腹腔鏡、または他の同様の装置のうちの１つまたは複数である。外科手術は、いくつかの実施形態では、手術または他の医学的手技のシミュレーションでもよい。

[0067]本明細書で使用される「操作者」という語は、外科手術に関わる医療の専門家を指す。操作者は、外科医、手術室担当看護師、外科技術者であることが可能である。

[0068]「標識」、「任意の標識」、「仮想標識」、および「基準マーカー」という語は、本明細書では入り替え可能に使用される場合、外科的手技または他の医学的手技を誘導するために使用されるマークを指す。

[0069]本発明の一態様は、コンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術を支援するためのシステムを提供する。このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えてもよく、動作は、関節鏡イメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手術中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にオーバーレイを表示するステップとを含み得る。いくつかの実施形態では、操作者（例えば、外科医）は、手術前に、１つまたは複数の標識の座標の１つまたは複数のセットを提供する。

[0070]上記のビデオストリームは、関節鏡視下手術中に関節鏡イメージング装置によって提供され得る。いくつかの実施形態では、関節鏡イメージング装置はデジタルカメラを備える。ビデオストリームは、関節鏡視下手術に特化したデジタルカメラから取得され得る。このデジタルカメラは、関節鏡関節における操作に適した硬性鏡に搭載されてもよい。この硬性鏡は、外科手術の視野を照明する光ファイバーを備え得る。デジタルカメラは、カメラ制御ユニットに搭載されてもよい。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報を取り込むように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をビデオストリームに変換する。いくつかの実施形態では、カメラ制御ユニットは、光源を制御するように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をメモリ装置に記録するように構成される。いくつかの実施形態では、デジタル情報を記録するために使用されるメモリ装置は、ローカルメモリ装置である。いくつかの実施形態では、カメラ制御ユニットは、１つまたは複数のコンピュータプロセッサからの出力をビデオストリームにオーバーレイするように構成される。いくつかの実施形態では、メモリ装置は、リモートまたはクラウドベースのメモリ装置である。カメラ制御ユニットは、ビデオストリームを１つまたは複数のコンピュータプロセッサに送信し得る。いくつかの実施形態では、１つより多いカメラ制御ユニットが存在する。いくつかの実施形態では、２つ、３つ、４つ、５つ、またはそれ以上のカメラ制御ユニットが存在する。１つまたは複数のカメラ制御ユニットは、ビデオストリームを、ネットワーク接続または有線メディア接続を介してコンピュータプロセッサへ送信し得る。ビデオストリームは、立体視または単眼でもよい。いくつかの実施形態では、システムは、表示モニタをさらに備える。いくつかの実施形態では、システムは、手術中に少なくとも１人の操作者から（例えば標識を付けることを作動させるか、停止させ
るかの）入力を受信する機構を含む。いくつかの実施形態では、その機構は、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識システムを介して入力を受信する。

[0071]いくつかの実施形態では、上記の座標の１つまたは複数のセットは、外科手術および／または外科的アクション（例えば、組織切除、アブレーションなど）を実行するために点または部位を選択するように、ビデオストリームの画像に印付けできるデジタルポインタ（例えば、コンピュータマウスまたは関連装置）を使用して、外科手術中に提供される。いくつかの実施形態では、操作者（例えば、外科医）は、標準的な手術用プローブを使用して所望の位置を示すことによって、手術中に、座標の１つまたは複数のセットを提供する。いくつかの実施形態では、所望の位置の座標が選択または示された後、操作者は、システムが位置を登録できるようにコマンドを発出できる。いくつかの実施形態では、システムは、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識システムを介して操作者からの登録コマンドを受信する。

[0072]図１は、本明細書で説明されるシステムのハードウェア構成の概略的な例を示す図である。例示的なシステム１００は、複数の入力を備え得る。この複数の入力は、ビデオストリーム入力１０１、操作者（例えば、外科医）入力１０２、および１つまたは複数の手術前イメージング入力を含み得る。この手術前イメージング入力は、蛍光透視イメージング入力１０３、医療データシステム（例えば、ＭＲＩまたはＣＴスキャンなどの放射線イメージング）入力１０４を含み得る。いくつかの実施形態では、それらの複数の入力のそれぞれは、対応インターフェースに接続される。例えば、ビデオストリーム入力１０１はカメラ制御ユニット（ＣＣＵ）１１１に接続されてもよく、操作者入力１０２は制御インターフェース１１２に接続されてもよく、蛍光透視イメージング入力１０３は蛍光透視インターフェース１１３に接続され、または医療データシステム入力１０４は医療データシステム（例えば、放射線イメージング）インターフェース１１４に接続されてもよい。それらのインターフェースのそれぞれは、その対応入力から入力を受信するように構成され得る。システム１００は、外科医、臨床データシステム、外科用機器などから様々なモダリティにおいて入力を受信するために、他の外部インターフェースをサポートしてもよい。複数のインターフェースによって受信された複数の入力は、その後、処理ユニットに送信されて、人工知能（ＡＩ）パイプラインを使用して処理されてもよい。いくつかの実施形態では、処理ユニットは、中央演算装置（ＣＰＵ）１０６、画像処理装置（ＧＰＵ）１０７、またはその両方を備え得る。いくつかの実施形態では、ＣＰＵまたはＧＰＵは、複数のＣＰＵまたはＧＰＵを含む。ＣＰＵまたはＧＰＵは、メディアコネクタ（例えば、ＨＤＭＩケーブル、ＤＶＩコネクタ）を介して複数のインターフェースに接続され得る。ＣＰＵまたはＧＰＵは、ネットワーク接続（例えば、ＴＣＰ／ＩＰ）を介して複数のインターフェース（例えば、外科用ビデオカメラ）に接続されてもよく、それによって少ない有線接続でより高い柔軟性を実現し得る。いくつかの実施形態では、ビデオ処理および再生におけるレイテンシは、メディアコネクタと比較した場合に接続がネットワークを介する場合の方が高くなり得る。いくつかの実施形態では、ネットワーク接続は、ローカルネットワーク接続でもよい。事前に定義された装置（例えば、外科手術で使用されている装置）のセットを含むローカルネットワークは、分離されていてもよい。リアルタイムの（例えば、外科手術中の）フィードバックのために、より低いレイテンシがより望ましい場合がある。いくつかの実施形態では、より高いレイテンシを有するシステム構成は、訓練の目的のために使用可能である（例えば、モック手術）。ＡＩパイプラインは、１つまたは複数のコンピュータビジョン（ＣＶ）モジュールを含む１つまたは複数の機械学習モジュールまたはＡＩモジュールを備え得る。いくつかの実施形態では、ＡＩモジュールおよびＣＶモジュールは、ビデオおよびＡＩ推論パイプライン（ＶＡＩＰ）１０５によってサポートされる。いくつかの実施形態では、ＶＡＩＰ１０５は、ＡＩモジュールおよびＣＶモジュールをサポートし、モジュール間の制御および情報のフローを管理する。ＶＡＩ
Ｐ１０５は、そのフローを接続および管理するための命令を含む構成ファイルを備え得る。ＶＡＩＰ１０５は、ＧＰＵ１０７上でのＡＩアルゴリズムの実行をサポートし得る。ＶＡＩＰ１０５は、さらに、直接メディアインターフェース（例えば、ＨＤＭＩまたはＤＶＩ）をサポートし得る。ＡＩパイプラインによって処理される、標識位置１２０と、複数の入力１０９から識別される１つまたは複数の特徴要素とを含む複数の入力の１つまたは複数の出力が生成され得る。１つまたは複数の出力は、出力１３０を生成するためにビデオストリーム入力１０１にオーバーレイされ得る。いくつかの実施形態では、システム１００は表示モニタを備える。いくつかの実施形態では、出力１３０は、表示モニタ（例えば、モニタ、テレビ（ＴＶ））に表示される。いくつかの実施形態では、システムは表示装置を備える。いくつかの実施形態では、標識位置１２０および入力１０９は、ＣＣＵへ送り返され、出力１３０を生成するためにビデオストリームにオーバーレイされる。

[0073]いくつかの実施形態では、関節鏡は、少なくとも毎秒約１０フレーム（ｆｐｓ）のレートで連続画像（例えば、ビデオフィード）を生成し得る。いくつかの実施形態では、画像（例えば、ビデオフィード）を受信してオーバーレイ（例えば、処理画像）を提供するために必要な時間であるレイテンシがシステムに存在する。いくつかの他の場合に、ビデオストリーム（例えば、ビデオストリーム入力３０１）からの２つの連続フレームは、１／ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の速度で生成され得る。いくつかの実施形態では、システムにおけるレイテンシは、最大でも１／ｆｐｓである。システムのレイテンシは、外科用カメラによる連続画像生成のレートの逆数未満であり得る。例えば、入力信号が毎秒２０フレームでストリーミングされるとき、レイテンシは、１／２０（１／ｆｐｓ）または５０ｍｓ以下の場合がある。いくつかの実施形態では、レイテンシは、システムにおける停止期間を含み得る。

[0074]いくつかの実施形態では、上記の動作は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用してビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含んでもよく、１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態で、ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のＡＩモジュールを使用することを含む。いくつかの実施形態では、１つまたは複数のＡＩモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡のための１つまたは複数のモジュールを含んでもよい。いくつかの実施形態では、システムは、識別された要素に少なくとも部分的に基づいて１つまたは複数の標識を推薦する。いくつかの実施形態では、システムは、識別された要素に少なくとも部分的に基づいて１つまたは複数の標識を推薦する。

[0075]図２Ａおよび図２Ｂは、モデル大腿顆上における標識配置の例を示す図である。いくつかの実施形態では、図２Ａに示すように、操作者（例えば、外科医）は、標準的な手術用プローブ２０１を使用して標識の所望の位置を示す。操作者は、その後、所望の位置を登録する、システムへの登録コマンドを作動させてもよい。標識の位置は、ドット２０２（例えば、青ドット）を有する外科手術のビデオストリームを表示する画面上で可視化され得る。いくつかの実施形態では、システムは、標識の位置を保存し、外科手術全体にわたってその標識を追跡する。標識を可視化したドットは、画面上に表示されることが可能であり、または操作者によっていつでも画面から取り除かれることができる。いくつかの実施形態では、標識は、１つの孤立したドットである。いくつかの実施形態では、標識は、図２Ｂに示すように、複数の孤立ドット２０２である。いくつかの実施形態では、標識は、仮想の任意のパターンまたは事前に定義された形状である。いくつかの実施形態では、標識の位置は、手術前に示されることが可能であり、および／または選択されることが可能である。標識は、関節鏡視下手術中では、インプラントの位置またはアンカー位
置でもよい。いくつかの実施形態では、その関節鏡視下手術は、肩腱板断裂修復術で使用される。いくつかの実施形態では、その関節鏡視下手術は、膝手術における十字靭帯修復で使用される。いくつかの実施形態では、その関節鏡視下手術は、グラフト留置術で使用される。いくつかの実施形態では、その関節鏡視下手術は、除圧術で使用される。いくつかの実施形態では、その除圧術は、痛みを軽減するための骨構造の除去または再成形を含む。いくつかの実施形態では、肩関節鏡視下手術は、グラフトの留置を含む。

[0076]いくつかの実施形態では、関節鏡視下手術は、炎症組織および／または亀裂が生じた腱の除去または切除を含む。いくつかの実施形態では、関節鏡視下手術は、１つまたは複数の炎症組織の除去または切除で使用される。いくつかの実施形態では、関節鏡視下手術は、１つまたは複数の亀裂が生じた腱の除去または切除で使用され、ビデオストリームは単眼である。例えば、放射線イメージング、または蛍光透視イメージングなどの他のイメージング方法は、標識の配置の位置を特定するために使用可能である。それらのイメージング方法から取得された画像は、外科手術中にシステムに提供され、ビデオストリームにオーバーレイされることが可能である。いくつかの実施形態では、上記システムは、潜在的な解剖学的構造または病変を示し、例えば、操作者（例えば、外科医）は、外科的手技中に露出されない場合もあるが、システムが尿管の位置を可視化するため、尿管を保護し得る。例えば、上記システムは、蛍光透視イメージングシステムなどの外部システムから情報を取り入れ得る。標識は、その後、蛍光透視イメージングシステムを使用してイメージングされる蛍光染料によって可視化するようにされた血管分布の形態を有し得る。システムは、手技（例えば、関節鏡視下手術）中に血管分布を保持および追跡することを継続してもよい。

[0077]いくつかの実施形態では、システム１００は、記憶されたビデオコンテンツに対して動作する。関節鏡視下手術のビデオ録画は、再生およびインターフェースへの送信が可能である。システムは、その後、本明細書で説明されるように、ビデオストリーム上に任意の標識をオーバーレイし得る。いくつかの実施形態では、外科手術の記録上への標識配置は、訓練目的で使用される。いくつかの実施形態では、システムは、立体視ビデオストリームに対して動作する。いくつかの実施形態では、システムは、ロボットによる関節鏡視下手術（例えば、外科手術）中に使用され得る。いくつかの実施形態では、表示のビューは、変更され得る。いくつかの実施形態では、ビューを変更することによって、ビデオストリームにオーバーレイされた標識は、表示されることから除外されることが可能である。いくつかの実施形態では、操作者は、標識を、関節鏡視下手術中に一時的に、または関節鏡視下手術の全体を通して不可視とすることを選択できる。操作者は、ビューを前の表示に戻し得る。操作者は、標識のための座標の新しいセットを識別し得る。新しい標識は、ビデオストリームにオーバーレイされて、表示され得る。複数の標識は、同時に、または一度に１つずつ表示されるように選択され得る。いくつかの実施形態では、ビューにおける変更は自動である。いくつかの実施形態では、ビューの変更は、ＡＩパイプラインが解剖学的構造または病変を識別することによって引き起こされる。

[0078]いくつかの実施形態では、標識の座標のセットは、手術中に操作者によって提供される。図３は、標識配置システム３００の例示的なフローチャートの概略を示す図である。システムは、関節鏡カメラによって生成されたビデオストリーム入力３０１および操作者（例えば、外科医）から受信した入力３０２に対して動作する複数のモジュールを備え得る。いくつかの実施形態では、ビデオストリーム入力３０１は、ビデオストリームを一連の画像に分解するＣＶアルゴリズムを備えるビデオストリーム分解モジュール３０３によって処理される。一連の画像は、メモリ装置に記憶され得る。一連の画像からの１つまたは複数の画像は、器具認識モジュール３０４または解剖学的構造認識モジュール３０５を含む１つまたは複数の下流コンポーネントに対して提供され得る。いくつかの実施形態では、ビデオストリーム分解モジュール３０３は、外科手術の視野の画像を出力する。

[0079]いくつかの実施形態では、器具認識モジュール３０４はＡＩネットワークを使用して、視野内の手術器具を認識する。器具認識モジュール３０４で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ＡＩネットワークは、そのアーキテクチャに特化した訓練技法を含む機械学習訓練を使用して関心手術器具を認識するように訓練される。いくつかの実施形態では、訓練されたＡＩネットワークは、画像において手術器具の存在を検出し、マスクを出力する。このマスクは、入力画像から抽出されたピクセルのセットでもよく、手術器具の高精度の輪郭を示す。いくつかの実施形態では、ＡＩネットワークは、器具が検出または表示されるボックス（例えば、矩形領域）を出力する。

[0080]いくつかの実施形態では、解剖学的構造認識モジュール３０５はＡＩネットワークを使用して、視野内の解剖学的構造を認識する。解剖学的構造認識モジュール３０５で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ＡＩネットワークは、そのアーキテクチャに特化した訓練技法を使用して関心解剖学的構造を認識するように訓練される。いくつかの実施形態では、訓練されたＡＩネットワークは、視野内で見られるときに解剖学的構造を認識する。いくつかの実施形態では、訓練されたネットワークは、認識された解剖学的構造の高精度の輪郭を示し得るピクセルマスクを出力する。いくつかの実施形態では、訓練されたネットワークは、器具が検出された、または表示されるボックス（例えば、矩形領域）を出力する。

[0081]いくつかの実施形態では、器具認識モジュール３０４からの出力は、器具追跡モジュール３０６に提供される。いくつかの実施形態では、器具追跡モジュール３０６は、器具認識モジュール３０４によって識別された１つまたは複数の器具の動きを追跡する。いくつかの実施形態では、器具の位置（例えば、器具の瞬時位置）がメモリ（例えば、バッファ）に記憶され得る。いくつかの実施形態では、器具追跡モジュール３０６は、ＣＶアルゴリズムを使用して、器具の速度および加速度を計算し、それらの値をメモリに記憶する。このデータは、固定長アレイとして記憶され得る。いくつかの実施形態では、このアレイは、取り込まれた時間順で記憶される。いくつかの実施形態では、アレイは、新しい順に記憶される。アレイは、固定長を有してもよく、新規データが追加されると、より古いエントリがアレイおよびメモリバッファから削除され得る。いくつかの実施形態では、新規エントリの追加によって、最も古いエントリは、アレイから削除される。器具追跡モジュール３０６の出力は、認識された器具のマスクを器具の速度および／または加速度のアレイとともに含み得る。器具追跡モジュール３０６は、１つまたは複数の器具の位置または位置のアレイをジェスチャ認識モジュール３０７および標識登録モジュール３０８（例えば、ＢｌｕＤｏｔ点登録モジュール）へ供給し得る。

[0082]いくつかの実施形態では、ジェスチャ認識モジュール３０７は、メモリを備えるＡＩネットワーク（例えば、リカレント型ニューラルネットワーク（ＲＮＮ））を使用して、器具の動きを解釈する。いくつかの実施形態では、ＡＩネットワークは、特定の器具を認識する、および／または特定の移動パターンを識別するように訓練される。例えば、タップは、背景の解剖学的構造に関して特定のやり方で器具が移動することを伴い得る。いくつかの実施形態では、外科医は、手術器具を使用した所定のジェスチャを使用することによって任意の標識の位置を示すことができる。ジェスチャの非限定的な例は、タップ、ダブルタップ、トリプルタップ、横振り（例えば、器具を左から右へ動かす）を含み得る。いくつかの実施形態では、ジェスチャ認識モジュール３０７は、器具を使用する操作者によってなされたジェスチャのラベルを出力する。いくつかの実施形態では、ジェスチャ認識モジュール３０７は、操作者によってなされたジェスチャを認識し、認識されたジ
ェスチャの名称のラベルを生成して、標識登録モジュール３０８であり得る下流のコンポーネントに供給される。

[0083]いくつかの実施形態では、標識登録モジュール３０８は、本明細書で説明されるように、器具追跡モジュール３０６および／またはジェスチャ認識モジュール３０７から１つまたは複数の入力を受信する。いくつかの実施形態では、ジェスチャ認識モジュール３０７からの入力が、標識登録モジュール３０８に、操作者からのジェスチャが認識されることを指示する。このジェスチャは、その後、アクションとマッピングされ得る。いくつかの実施形態では、このマッピングは、手術前に構成され、システムが初期化されたときにデータベースからロードされる。３標識登録モジュール０８によってマッピングされるアクションの非限定的な例は、開始、置換、または全消去を含み得る。いくつかの実施形態では、標識登録モジュール３０８は、一意の識別子を標識（例えば、ＢｌｕＤｏｔ）に割り当てるように開始されてもよい。１つまたは複数の標識を消去するコマンドまたは全てを消去するコマンドを含むアクションは、１つまたは複数の標識のリストを更新するように標識登録モジュール３０８を作動させてもよい。開始アクションは、器具の位置を解剖学的構造および標識追跡コンポーネント３０９へ供給するように標識登録モジュール３０８をトリガし得る。置換アクションは、１つまたは複数の標識の位置と関連したデータを新しい標識の位置と置換するように、標識登録モジュール３０８をトリガしてもよい。全消去アクションは、表示されている、またはメモリに記憶されている任意の標識を消去するように標識登録モジュール３０８をトリガしてもよい。いくつかの実施形態では、標識登録モジュール３０８は、標識を配置、置換、または消去する直接入力を操作者から受信する。この直接入力は、デジタルボタンまたは機械的ボタンを使用して、例えば、関節鏡装置のフットペダルの押下または専用ボタンの押下によって提供され得る。いくつかの実施形態では、ＣＣＵは、その直接入力を特化インターフェースを介して本明細書で説明されるＶＡＩＰへ伝達する。例えば、特化インターフェースは、操作者のためにカスタマイズされたアクションにマッピングされたジェスチャを含み得る。

[0084]いくつかの実施形態では、標識登録モジュール３０８は、レンダリングおよび／またはリコールを目的として、（例えば、手術前に、ジェスチャによって手術中に、操作者からの直接コマンドによって手術中に）標識が指定される手法間を区別する。例えば、手術前の計画から取得された標識は、削除が免れ得る。いくつかの実施形態では、標識登録モジュール３０８は、外科的視野の画像において器具認識モジュール３０４によって識別された器具の座標のセットを供給する。標識登録モジュール３０８における更新済みリストは、下流の解剖学的構造および標識追跡コンポーネント３０９に渡されてもよく、下流の解剖学的構造および標識追跡コンポーネント３０９は、消去のために設定され得る標識の追跡および表示を停止し得る。例えば、動脈または静脈を識別する際に操作者（例えば、外科医）を支援するために、血管に蛍光染料が注入されてもよい。いくつかの実施形態では、外科手術は、動脈または静脈を傷つけると深刻な結果となり得る血管の多い部位に近接して実行される。（例えば、染料を使用して）識別された動脈または静脈の画像は、受信され、ＶＡＩＰによって外科用ビデオに標識としてオーバーレイされてもよい。標識（例えば、識別された動脈または静脈）の追跡およびリコールのＶＡＩＰの正確性における確実性を表す信頼度がほぼ継続的に計算され得る。いくつかの実施形態では、信頼度は、閾値より低くてもよく、この閾値は、約８０％、７０％、６０％、５０％、４０％、３０％、２０％、１０％以下でもよい。この閾値は、操作者によって設定されてもよい。いくつかの実施形態では、信頼度の変化は、外科的視野の変化に起因するものである（例えば、手術が実行されたとき、解剖学的構造を変化させる場合がある）。システムは、その場合、標識の追跡の信頼度が減少したことを示してもよい。操作者は、例えば、染料を血管に注入することによって、標識を強調させてもよい。その後、システムは、前に識別された標識を新しく識別された標識で置換し、その標識を外科用画像（例えば、ビデオストリーム）にオーバーレイしてもよい。

[0085]いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造認識モジュール３０５から解剖学的構造のマスク、および／または器具認識モジュール３０４から識別された器具のマスクをほぼ継続的に受信する。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造および標識追跡コンポーネント３０９が一連の動作を実行するアクションを示す入力を標識登録モジュール３０８から受信する。一連の動作は、いずれの解剖学的構造上に器具が配置または保持されているかを判断するために、器具と解剖学的構造との重ね合わせをマスクから判断することを含み得る。器具と解剖学的構造との座標は、解剖学的構造との器具の重なりを識別するために使用され得る。一連の動作は、１つまたは複数の解剖学的構造の位置に関連して、標識（例えば、ＢｌｕＤｏｔ）の位置を特定するために特徴を抽出することをさらに含み得る。いくつかの実施形態では、この特徴は、血管分布のパターン、組織のエッジ、またはピクセルの局所的に一意のパッチを含み得る画像上に詳細を含む。この特徴を使用して、システムは、（図１０Ａ～図１０Ｂにも示すような）解剖学的構造に関するカメラの動きに対して標識（例えば、ＢｌｕＤｏｔ）を安定させ得る。いくつかの実施形態では、器具が解剖学的構造から独立して移動している場合、特徴は、外科的視野における器具上の点を含み得る。その後、（図８および図９にも示すような）器具の動きに対して標識を安定させるために、器具上の特徴は、解剖学的構造および標識追跡コンポーネント３０９において除外され得る。

[0086]いくつかの実施形態では、この標識は、初期化されて、器具の初期位置に指定される。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造上の特徴の位置の変化を識別し、標識の位置を再度指定する。いくつかの実施形態では、解剖学的構造は、やや変形可能な固体としてモデル化され、解剖学的構造上の特徴を追跡するために、適切な計算技法が使用される。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、継続的に特徴を取得し、拡張キャンバス上でその標識の動きを追跡する。拡張キャンバスは、より大きい視野を生成するために互いに接続され得る、ビデオストリームから取得された様々な画像における外科的視野を含み得る。いくつかの実施形態では、標識またはその下の解剖学的構造がカメラの視野からはずれた場合でも、本明細書で説明される特徴を使用して、システムは、高い確実度で標識を追跡する。いくつかの実施形態では、外科手術中に、操作者は、標識および周辺組織の位置から離れる方向にカメラを移動して、操作者が標識を見失う場合がある。いくつかの実施形態では、操作者が通常領域に再度戻ったときに、標識の位置が再度取得される必要がある。いくつかの場合に、解剖学的構造は、視野におけるあらゆる器具を除いて、前述したように最初に認識される。１つまたは複数の特徴は、以前認識された解剖学的構造にしたがって、標識の位置を認識するために識別され得る。

[0087]例えば、１つまたは複数の特徴点が出現する解剖学的構造によって分離され得る１つまたは複数の特徴点が識別され得る。外科医が前の画像で分析された外科的視野に再度入ると、解剖学的構造認識モジュールが以前処理された画像を認識し得る。現在の画像における特徴点の新規座標を前に処理された画像における特徴点の座標と整合する際に、標識はその位置に配置され得る。標識の位置は、以前識別された特徴点とともに現在の画像における特徴点に基づいて、再度設定され得る。この特徴点整合プロセスは、標識配置の正確性を高めるために繰り返されてもよい。このプロセスは、並列コンピューティング（例えば、ＧＰＵ）を使用して実行され得る。システムは、以前処理された画像において識別された特徴点を破棄して、それらを、現在の画像で識別された特徴点と置換してもよい。本明細書で説明されるプロセスは、解剖学的構造および標識追跡モジュール３０９、部位外認識モジュール３１０、および解剖学的構造再取得モジュール３１１を使用して実行され得る。

[0088]図１１Ａ～図１１Ｂは、特徴検出の例を示す図である。例えば、複数の特徴（または特徴点）１１０１は、器具１１００（図１１Ａ～図１１Ｂで緑点１１０１として示される）上で検出される場合があり、解剖学的構造１１０３上で認識される特徴１１０２（図１１Ａ～図１１Ｂで赤点１１０２として示される）のセットとは区別され得る。いくつかの実施形態では、外科的手技中に、外科的視野が変更され得る。例えば、手技は、視野を変更し得る軟組織のデブリドマンを含み得る。器具が認識および追跡（例えば、リアルタイムで）されると、器具上で検出された特徴点が消去され得る。いくつかの実施形態では、解剖学的構造上で検出された特徴点は、標識を追跡するために使用され得る。これは、標識を遮る場合がある器具の動きに対する標識の安定化を改善し得る。図８は、ビデオまたは画像に標識をオーバーレイしたときに無視される器具によるオクルージョンの例を示す図である。いくつかの実施形態では、出血または体液が視野を変化させ得る。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９における動作は、手技において実行されるアクションによる視野の変化に対して標識を安定させるために、視野から特徴を継続的に取得することと、連続画像において欠落している特徴を破棄することとを含む。この特徴は、基準として、解剖学的構造に対して取得され得る。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、部位外認識モジュール３１０と、解剖学的構造再取得モジュール３１１とを備える。いくつかの実施形態では、解剖学的構造および標識追跡コンポーネント３０９は、解剖学的構造の観察可能部分における特徴に基づいて、標識の位置を更新する。いくつかの実施形態では、本明細書で説明されるように、解剖学的構造または標識を除く視野は、シフトされてもよい。カメラが標識の位置にパンして戻った場合、解剖学的構造および標識追跡コンポーネント３０９は、本明細書で説明されるように、部位外認識モジュール３１０および解剖学的構造再取得モジュール３１１を使用することによって標識の位置の信頼度を高め得る。解剖学的構造および標識追跡コンポーネント３０９の出力は、視野および／または処理中の画像のフレームまたは範囲内の標識（例えば、ＢｌｕＤｏｔ）の位置を含む。この標識の位置は、モジュール３２０に送信される。この標識は、その後、出力ビデオストリーム３３０にオーバーレイされ得る。出力ビデオストリーム３３０の例が図８に示される。いくつかの実施形態では、外科的視野は、約３センチメートル（ｃｍ）から約６ｃｍである。いくつかの実施形態では、外科用カメラ（例えば、関節鏡）の移動範囲は、約３ｃｍから約６ｃｍである。いくつかの実施形態では、安定化を得られる範囲は、約３ｃｍから約６ｃｍである外科用カメラの移動範囲と同様である。いくつかの実施形態では、視野における変化に対する標識の安定化の精度は、約１ミリメートル（ｍｍ）から約３ｍｍである。

[0089]いくつかの実施形態では、標識位置モジュール３２０からの出力は、ビデオブレンドモジュール３１２におけるモジュール３０１から入力されるビデオストリームにオーバーレイされる。ビデオブレンドモジュール３１２からの出力は、出力ビデオストリーム３３０（例えば、画面、モニタ、ＴＶ、ラップトップ画面などを用いた場合）に表示され得る。３２０からの出力は、カメラ制御ユニットへ送られ、拡大縮小され、手技のビデオストリームにオーバーレイされ得る。

[0090]本発明の他の態様は、放射線イメージングを使用したコンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術を支援するためのシステムを提供する。このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、動作は、対象の放射線像を受信するステップと、放射線像の３Ｄ表現を生成するステップと、訓練された機械学習アルゴリズムを用いて放射線像における解剖学的構造を識別するステップと、操作者から標識の位置を受信するステップと、標識を、放射線像の３Ｄ表現にオーバーレイするステップと、操作者によって使用される、表示装置上のオーバーレイを表示するステップとを含み得る。

[0091]いくつかの実施形態では、操作者は、手術前の外科手術計画段階中の標識の位置を識別または設定する。いくつかの実施形態では、標識は、対象から取得された放射線像上に操作者（例えば、外科医）によって設定され得る。この標識は、その後、図３の標識登録モジュール３０８に類似した標識登録モジュールに供給され得る。これは、操作者が、手術前の外科手術計画段階中に標識を非表示または表示にさせることを可能にする。

[0092]図４は、放射線イメージングを使用した標識配置の例示的なワークフローの概略を示す図である。図４に示すように、関節鏡視下手術の（例えば、ビデオストリーム入力３０１からの）ビデオストリーム上に標識の位置を設定するために、対象４０１の手術前医用イメージングデータ（例えば、ＭＲＩまたはＣＴスキャンなどの放射線イメージングデータ）を使用できるようにする複数のモジュールが、図３に示されるシステム３００に追加されてもよい。いくつかの実施形態では、手術前医用イメージング取込モジュール４０２は、手術前医用イメージングデータ４０１をインポートするために外部リポジトリにインターフェース接続する。手術前医用イメージングデータは、対象の放射線像を含み得る。いくつかの実施形態では、放射線像は、肩、膝、股関節、足首、または背骨などの対象の関節または他の骨構造からのものであり、それと関連付けられている。様々な実施形態では、放射線像は、蛍光透視、磁気共鳴画像法（ＭＲＩ）、Ｘ線、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波のうちの１つまたは複数を使用して生成され得る。いくつかの実施形態では、手術前医用画像は、含む。いくつかの実施形態では、ＭＲＩまたはＣＴスキャン画像は、関節鏡視下手術（例えば、膝手術、肩手術、または股関節手術）のために、対象から取得される。ＭＲＩまたはＣＴスキャン画像は、対象の膝または肩の画像を含み得る。いくつかの実施形態では、ＭＲＩ、ＣＴスキャンまたは他の画像は、標準的なフォーマット（例えば、ＤＩＣＯＭ）でリポジトリから取得される。いくつかの実施形態では、手術前医用イメージング取込モジュール４０２は、システム４００からイメージングシステム（例えば、ＭＲＩ、ＣＴスキャン、またはＰＥＴイメージング）に関連した外部システムを抽象化するアプリケーションプログラミングインターフェース（ＡＰＩ）層を含む。いくつかの実施形態では、画像のリポジトリは、標識の画像を含む。いくつかの実施形態では、リポジトリからの標識の画像は、対象のＭＲＩまたはＣＴスキャン画像上に操作者（例えば、外科医）によって配置されている。手術前医用イメージング取込モジュール４０２からの出力は、三次元（３Ｄ）画像再構成モジュール４０３に提供され得る。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３は、二次元（２Ｄ）画像の１つまたは複数のスライスを含む、手術前医用イメージング取込モジュール４０２からの画像における体積的なデータを変換し、コンピュータメモリにおいてそのデータを３Ｄ画像に変換する。いくつかの実施形態では、操作者によって設定された標識の座標がその３Ｄ画像上にマッピングされる。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３は、放射線像の３Ｄ表現と、その画像にマッピングされた標識とを含む多次元アレイを生成し得る。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３からの出力は、マッピングモジュール４０４を使用して、解剖学的構造認識モジュール３０５によって生成されるマスクと統合され得る。いくつかの実施形態では、４０４は、手術前に取得された画像（例えば、ＭＲＩまたはＣＴスキャン画像）における解剖学的構造を認識する、訓練されたＡＩネットワークを備える。いくつかの実施形態では、その解剖学的構造は骨構造を含み得る。いくつかの実施形態では、解剖学的構造は腱を含み得る。いくつかの実施形態では、画像（例えば、ＭＲＩまたはＣＴスキャン画像）において認識された解剖学的構造は、解剖学的構造認識モジュール３０５で使用された同一の標識システムを使用して、マッピングモジュール４０４においてマスクされ得る（例えば、標識され得る）。マッピングモジュール４０４で認識された解剖学的構造は、その後、解剖学的構造認識モジュール３０５で認識された解剖学的構造と整合されてもよい。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３で特定された標識は、解剖学的構造認識モジュール３０５で認識された解剖学的構造上にマッピ
ングされてもよい。このマッピングは、標識登録モジュール３０８へ提供され得る。本明細書で前述されたように、標識登録モジュール３０８は、外科手術のビデオストリーム上にオーバーレイされる標識および解剖学的構造情報を処理および送信し得る。いくつかの実施形態では、３２０は、外科用カメラの動きのために適合される。いくつかの実施形態では、類似構造が手術前医用画像（例えば、ＭＲＩまたはＣＴスキャン画像）からと、外科手術のビデオストリームからの画像から識別された場合、（例えば、マッピングモジュール４０４において）その２つの解剖学的構造は整合され、外科用カメラの動きと関連した何らかの画像の矛盾に関してフレームを修正する。いくつかの実施形態では、ビデオストリームからの各フレームは、外科用カメラの動きのために修正される。

[0093]いくつかの実施形態では、システムは、外科的文脈に少なくとも部分的に基づいて標識の配置を推薦できるレコメンダモジュールを備える。図５は、標識配置を推薦するシステムの例示的なワークフローの概略を示す図である。図５に示されるシステム５００は、システム４００と、標識を配置するためのレコメンデーションを行うレコメンダモジュール５０１を備え得る。いくつかの実施形態では、システム５００は外科用意思決定支援システムである。いくつかの実施形態では、５０１は、マッピングモジュール４０４から解剖学的特徴マスクまたは解剖学的構造マスクを受信する。いくつかの実施形態では、受信した解剖学的特徴マスクまたは解剖学的構造マスクに基づいて、５０１は、その外科手術の文脈（例えば、解剖学的部位またはポータル）を識別する。

[0094]いくつかの実施形態では、識別された文脈に少なくとも基づいて、５０１は、標識の配置を推薦する。５０１からのレコメンデーションの非限定的な例は、前十字人体帯（ＡＣＬ）手術における大腿および脛骨のトンネル留置、または肩腱板断裂修復術におけるアンカー留置を含み得る。いくつかの実施形態では、５０１は、３Ｄ画像再構成モジュール４０３および／またはマッピングモジュール４０４によって識別された対象の手術前医用画像における標識の位置に少なくとも部分的に基づいて、標識の位置を推薦する。推薦された標識および／または標識位置は、本明細書で上述したように、標識登録モジュール３０８に送信され、処理され、その手術のビデオストリームにオーバーレイされ、表示装置（例えば、モニタ）に表示される。いくつかの実施形態では、手術前に取得された画像（例えば、ＭＲＩ、ＣＴスキャンなど）は、標識の大きさまたは位置を推定するために必要な情報を提供するために、器具追跡モジュール３０６と組み合わされて、本明細書で説明されるように処理され得る。例えば、イメージングモダリティ（例えば、ＣＴスキャン、ＭＲＩ）は、本明細書で説明されるようにシステムによって認識されることが可能な解剖学的特徴を含む画像を生成し得る。画像は、標識の位置をさらに含み得る。いくつかの実施形態では、これらの画像は、ボクセルを含む三次元画像であり、ボクセル（体積的なピクセル）は、物理的空間における体積を表し得る。したがって、標識の位置は、（例えば、手術前画像および外科用画像上で解剖学的特徴を認識することによって）識別された解剖学的構造を整合することによって外科的視野画像上で識別され得る。標識の位置は、手術前画像におけるボクセルの大きさに部分的に基づく解剖学的構造の大きさを測定することによる測定結果に部分的に基づいてさらに識別され得る。この測定結果は、手術前画像（例えば、ＣＴスキャン、ＭＲＩ）上で識別された標識の位置に対応する外科用画像上の解剖学的構造の位置に標識を配置するために使用され得る。

[0095]いくつかの実施形態では、システムは、立体外科用カメラ（例えば、立体関節鏡）からのビデオストリームを処理するように構成される。図６は、立体視ビデオストリーム（例えば３Ｄビデオ）を処理する例示的システムの概略的なフローチャートを示す。いくつかの実施形態では、システム６００は、システム５００における構成要素と、立体視ビデオ入力またはストリーム６０１を処理する複数のモジュールとを備える。いくつかの実施形態では、立体視ビデオ入力またはストリーム６０１は、立体視ビデオ入力またはストリーム６０１から画像を生成するために、立体視ビデオ分解モジュール６０２によって
まず処理される。いくつかの実施形態では、立体視ビデオ分解モジュール６０２は、立体視ビデオ入力またはストリーム６０１から器具認識モジュール６０３および／または解剖学的構造認識モジュール６０５へ画像を提供する。器具認識モジュール６０３および解剖学的構造認識モジュール６０５のモジュールは、それぞれ、器具認識モジュール３０４および解剖学的構造認識モジュール３０５と類似している。いくつかの実施形態では、器具認識モジュール６０３および解剖学的構造認識モジュール６０５は、立体視ビデオストリームにおける視差に起因するビューのシフトを有する画像において外科的視野を処理できる。立体視ビデオストリームまたは立体視ビデオストリームからの画像は、２つのチャネルを含み得る（例えば、右側、左側）。視差は、２つの異なる視線に沿って見られる物体の視位置のずれまたは差を含み得る。いくつかの実施形態では、器具認識モジュール６０３は、手術器具のための１つまたは複数のマスクを、器具位置特定モジュールである器具位置特定モジュール６０４へ提供する。いくつかの実施形態では、器具認識モジュール６０３は、解剖学的構造のための１つまたは複数のマスクを解剖学的構造位置特定モジュール６０６へ提供する。いくつかの実施形態では、器具位置特定モジュール６０４は、所与の器具の尺度における差を使用し、３Ｄ空間における器具の位置を特定する。いくつかの実施形態では、器具位置特定モジュール６０４は、立体視ビデオストリーム（例えば、両眼ビデオストリーム）からの画像の２つのチャネルに適用される器具認識アルゴリズムを備える。標識は、本明細書で述べたように、手術器具を使用して登録され得る。いくつかの実施形態では、標識は、３Ｄビューイング装置（例えば、両眼ビューワ）を使用して見る場合に３Ｄ空間に現れる。いくつかの実施形態では、解剖学的構造認識モジュール６０５は、解剖学的構造のための１つまたは複数のマスクを解剖学的位置特定モジュール６０６に提供する。いくつかの実施形態では、解剖学的構造位置特定モジュール６０６は、立体視ビデオストリームからの画像の２つのチャネルにおける解剖学的構造マスクを処理し、解剖学的構造認識モジュール６０５によって提供された解剖学的構造の空間情報に基づいて３Ｄビューワにおいて可視化され得るマスクを生成する。いくつかの実施形態では、標識（例えば、ＢｌｕＤｏｔ）は、標識が立体表示チャネルの左チャネルと右チャネルとに独立して配置されるように視野へ描画される。いくつかの実施形態では、標識は、知覚的な奥行を生成するためにずれて（例えば、横方向）配置される。出力ビデオストリーム３３０は、外科手術のビデオストリームにおける解剖学的構造上にオーバーレイされて（例えば、付加されて）３Ｄで可視化または表示される標識を含み得る。

[0096]いくつかの実施形態では、物体（例えば、プローブまたは手術器具）８０１は、標識８０２と同一の位置に配置され得る。システムは、本明細書で説明されるように器具８０１を識別し、あらゆるオクルージョン（図８）を補償する。標識８０２も、解剖学的構造８０３が移動するときの位置に対応して移動し得る。図９は、標識８０２を遮る可能性がある物体（例えば、器具）８０１から取り除かれる標識８０２の他の例を示す図である。図１０Ａおよび図１０Ｂは、解剖学的構造に関するカメラの移動に対して標識１００１（例えば、ＢｌｕＤｏｔ）を安定させる際のシステムの動作を示す図である。カメラは、解剖学的構造１００２に関して移動し得るが、標識１００１は、解剖学的構造上の印付けされた位置に留まり得る。すなわち、標識１００１は、カメラが位置を変えるに伴って解剖学的構造１００２とともに移動し得る。
コンピュータシステム
[0097]本発明の様々な実施形態はまた、本発明の方法を実施するようにプログラムされたコンピュータシステムを提供する。したがって、そのようなコンピュータシステムの１つまたは複数の実施形態の詳細が以下で説明される。図７は、本発明の方法の１つまたは複数の機能または動作を実行するようにプログラムされる、または他のやり方で構成されるコンピュータシステム７０１を示す図である。コンピュータシステム７０１は、例えば、介入イメージング装置から画像を受信することと、画像認識アルゴリズムを使用してその画像における特徴を識別することと、その特徴を、表示装置上のビデオフィード上にオーバーレイすることと、画像における識別された特徴に基づいて操作者へレコメンデーシ
ョンまたはサジェスチョンを行うことなど、本発明の様々な態様を統制できる。コンピュータシステム７０１は、ユーザの電子装置、または電子装置に対してリモートに配置されるコンピュータシステムであり得る。電子装置は、モバイル電子装置であり得る。

[0098]コンピュータシステム７０１は、シングルコアまたはマルチコアのプロセッサあるいは並列処理のための複数のプロセッサであり得る中央演算装置（ＣＰＵ、本明細書では「プロセッサ」および「コンピュータプロセッサ」）７０５を含む。コンピュータシステム７０１また、メモリまたは記憶域７１０（例えば、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ）と、電子記憶ユニット７１５（例えば、ハードディスク）と、１つまたは複数の他のシステムと通信するための通信インターフェース７２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データストレージおよび／または電子表示アダプタなどの周辺装置７２５とを備える。メモリ７１０、記憶ユニット７１５、インターフェース７２０、および周辺装置７２５は、マザーボードなど、通信バス（実線）を介してＣＰＵ７０５と通信可能状態である。記憶ユニット７１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム７０１は、通信インターフェース７２０を用いてコンピュータネットワーク（「ネットワーク」）７３０と動作可能に結合され得る。ネットワーク７３０は、インターネット、インターネットおよび／またはエクストラネット、またはインターネットと通信可能状態であるイントラネットおよび／またはエクストラネットであり得る。いくつかの実施形態におけるネットワーク７３０は、電気通信ネットワークおよび／またはデータネットワークである。ネットワーク７３０は、クラウドコンピューティングなどの分散コンピューティングを可能にできる１つまたは複数のコンピュータサーバを含み得る。ネットワーク７３０は、コンピュータシステム７０１を用いたいくつかの実施形態では、クライアントまたはサーバとして振る舞うためにコンピュータシステム７０１に結合された装置を可能にし得るピアツーピアネットワークを実施できる。

[0099]ＣＰＵ７０５は、プログラムまたはソフトウェアで具体化され得る、機械可読命令列を実行し得る。この命令は、メモリ７１０などの記憶域に記憶され得る。命令は、ＣＰＵ７０５に対して下されることができ、その後、本発明の方法を実施するように、プログラムまたは他のやり方で、ＣＰＵ７０５を構成することができる。ＣＰＵ７０５によりなされる動作の例は、フェッチ、デコード、実行、およびライトバックを含み得る。

[00100]ＣＰＵ７０５は、集積回路などの回路の部分であり得る。システム７０１の１
つまたは複数の他の構成要素は、その回路に含まれることができる。いくつかの実施形態では、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

[00101]記憶ユニット７１５は、ドライバ、ライブラリ、および保存されたプログラム
などのファイルを記憶し得る。記憶ユニット７１５は、例えば、ユーザ優先事項およびユーザプログラムなどのユーザデータを記憶し得る。いくつかの実施形態におけるコンピュータシステム７０１は、イントラネットまたはインターネットを介してコンピュータシステム７０１と通信可能状態にあるリモートサーバ上に配置されるなど、１つまたは複数のさらなるデータ記憶ユニットであって、コンピュータシステム７０１の外部のデータ記憶ユニットを含み得る。

[00102]コンピュータシステム７０１は、ネットワーク７３０を介して、１つまたは複
数のリモートコンピュータシステムと通信し得る。例えば、コンピュータシステム７０１は、ユーザのリモートコンピュータシステム（例えば、ポータブルコンピュータ、タブレット、スマートディスプレイ装置、スマートｔｖなど）と通信し得る。リモートコンピュータシステムの例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートＰＣまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標）ｉＰａｄ、Ｓａｍｓｕｎｇ（
登録商標）Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｎｄｒｏｉｄ対応装置、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、またはパーソナルデジタルアシスタントを含む。ユーザは、ネットワーク７３０を介してコンピュータシステム７０１にアクセスできる。

[00103]本明細書で説明される方法は、コンピュータシステム７０１の電子記憶場所、
例えばメモリ７１０または電子記憶ユニット７１５上に記憶された機械（例えば、コンピュータプロセッサ）実行可能コードを介して実施され得る。機械実行可能コードまたは機械可読コードは、ソフトウェアの形態で提供され得る。使用時に、コードは、プロセッサ７０５によって実行され得る。いくつかの実施形態では、コードは、記憶ユニット７１５から取り出されて、プロセッサ７０５によるアクセスに備えてメモリ７１０に記憶され得る。場合によって、電子記憶ユニット７１５は除外されることができ、機械実行可能命令はメモリ７１０に記憶される。

[00104]コードは、そのコードを実行するように適合させたプロセッサを有する機械と
の使用のために、あらかじめコンパイルかつ構成されることができ、または実行中にコンパイルされることもできる。コードは、そのコードを、あらかじめコンパイルされた様式またはコンパイルされた通りの様式で実行することを可能にするように選択され得るプログラム言語で供給されることができる。

[00105]コンピュータシステム７０１など、本明細書で提供されるシステムおよび方法
の態様は、プログラミングにおいて具体化されることができる。技術の様々な態様は、ある種の機械可読媒体上に保有されているか、またはこの中に具体化されている、機械（またはプロセッサ）実行可能コードおよび／または関連するデータの形態であることが典型的な「製品」または「製造品」として考えられることができる。様々な実施形態で、機械実行可能コードは、メモリ（例えば、読出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスクなど、電子記憶ユニットに記憶され得る。「記憶」型媒体は、任意の時点において、ソフトウェアのプログラミングのために非一時的ストレージを提供し得る、様々な半導体メモリ、テープドライブ、ディスクドライブなど、コンピュータ、プロセッサなどの有形メモリまたはその関連モジュールのいずれかまたは全てを含み得る。ソフトウェアの全部または一部は、場合によっては、インターネットまたは他の様々な電気通信ネットワーク（無線ネットワークおよび有線ネットワークを含む）を介して通信することができる。このような通信は、例えば、１つのコンピュータまたはプロセッサから別のコンピュータまたはプロセッサへのソフトウェアのロード、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのロードを可能にし得る。したがって、ソフトウェア要素を保有し得る他の種類の媒体は、有線ネットワークおよび光ケーブルネットワークを介する、ローカル装置間の物理インターフェース、および様々なエアリンクによる物理インターフェースにわたり使用されるなどの、光波、電波、および電磁波を含む。有線リンクまたは無線リンク、光学リンクなど、このような波を運ぶ物理的要素もまた、ソフトウェアを保有する媒体として考えられ得る。本明細書で使用される場合、非一時的有形「記憶」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの語は、実行のためにプロセッサに命令を提供することに関係するあらゆる媒体を指す。

[00106]よって、コンピュータ実行可能コードなどの機械可読媒体は、有形記憶媒体、
搬送波媒体、または物理的伝送媒体を含むがこれらに限定されない多くの形態を取り得る。非揮発性記憶媒体は、例えば、図面に示される、データベースなどを実装するのに使用され得るコンピュータなど、任意のコンピュータなどにおける記憶装置のうちのいずれかなど、光学ディスクまたは磁気ディスクを含む。揮発性記憶媒体は、このようなコンピュータプラットフォームの主メモリなどの動的メモリを含む。有形伝送媒体は、コンピュー
タシステム内のバスを含む配線を含む、同軸ケーブル、すなわち銅線および光ファイバーを含む。搬送波伝送媒体は、無線周波数（ＲＦ）データ通信時および赤外線（ＩＲ）データ通信時に発生する信号または波など、電気信号または電磁信号、または音響波もしくは光波の形態を取り得る。したがって、コンピュータ可読媒体の一般的形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の任意の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、他の任意の光学媒体、パンチカード用紙テープ、穿孔パターンを有する、他の任意の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、他の任意のメモリチップまたはメモリカートリッジ、データまたは命令を運ぶ搬送波、このような搬送波を運ぶケーブルまたはリンク、もしくはコンピュータがプログラミングコードおよび／またはデータを読み出し得る他の任意の媒体を含む。コンピュータ可読媒体のこれらの形態の多くは、１つまたは複数の命令の１つまたは複数の列を、実行のためにプロセッサへと運ぶことに関与し得る。

[00107]コンピュータシステム７０１は、例えば、関節鏡からのビデオフィード上への
識別された特徴のオーバーレイを提供するために、または外科手術の過程で操作者に対してレコメンデーションを提供するために、ユーザインターフェース（ＵＩ）７４０を含む電子ディスプレイ７３５を含み得る、またはその電子ディスプレイ７３５と通信可能状態であり得る。ＵＩの例は、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースユーザインターフェースを含むが、限定されない。

[00108]様々な実施形態で、本発明の方法およびシステムは、１つまたは複数のアルゴ
リズムを介して実施され得る。中央演算装置７０５による実行時に、アルゴリズムがソフトウェアを介して実施され得る。アルゴリズムは、例えば、介入イメージング装置から画像を受信することと、画像認識アルゴリズムを使用してその画像における特徴を識別することと、その特徴を、表示装置上のビデオフィード上にオーバーレイすることと、画像における識別された特徴に基づいて操作者へレコメンデーションまたはサジェスチョンを行うことを含み得る。

[00109]本発明の好適な実施形態が図示され、本明細書で説明されるが、当業者には、
そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。本発明が、本明細書内で提供される具体例により限定されることを意図されない。本発明は前述の明細書に言及しながら記載されたたが、本明細書の実施形態の記載および例示は、限定的な意味で解釈されることは意図されない。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換にここで想到し得る。さらに、本発明の全ての態様は、様々な条件および変数に依存する、本明細書に記載される具体的な描示、構成、または相対的比率に限定されないことを理解されたい。なお、本発明を実践する際に、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることを理解されたい。したがって、本発明は、本明細書で説明される本発明の実施形態の様々な代替物、改変、変形、または同等物も網羅することが想定されることを理解されたい。

[00110]また、本発明の範囲内で多くのさらなる実施形態を形成するために、ある実施
形態からの要素、特徴、または動作は、他の実施形態からの１つまたは複数の要素、特徴、または動作と容易に結合し直され得る、または置き換えられ得る。さらに、他の要素と結合されると図示または説明される要素は、様々な実施形態で、単独の要素として存在し得る。さらに、本発明の実施形態は、要素、動作、または特徴が明確に記載されている場合、その要素、動作、または特徴などの除外を特に企図する。したがって、本発明の範囲は、説明された実施形態の詳細に限定されず、むしろ添付の請求の範囲によってのみ限定される。

Claims (112)

1. コンピュータ実施による任意の標識配置を可能にすることによって低侵襲的手技を支援するためのシステムであって、１つまたは複数のコンピュータプロセッサと、前記１つまたは複数のコンピュータプロセッサによって実行されたとき、前記１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、
   前記動作は、
   関節鏡イメージング装置からビデオストリームを受信するステップと、
   １つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、
   前記ビデオストリーム上に前記１つまたは複数の標識をオーバーレイするステップと、
   前記関節鏡視下手術中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上に前記オーバーレイを表示するステップと、
   を含む、システム。
2. 前記低侵襲的手技が関節鏡視下手術である、請求項１に記載のシステム。
3. 前記動作は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用して前記ビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含み、前記１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、請求項１に記載のシステム。
4. 前記ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のモジュールを使用することを含む、請求項３に記載のシステム。
5. 前記１つまたは複数のモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡を含む、請求項４に記載のシステム。
6. 前記識別された要素に少なくとも部分的に基づいて１つまたは複数の標識を推薦する、請求項４に記載のシステム。
7. 前記動作は、さらに、
   １つまたは複数の標識の座標の前記１つまたは複数のセットを記憶するステップと、
   前記オーバーレイされた標識を表示されることから除外するように前記表示のビューを変更するステップと、
   前記ビューを前の表示に戻すステップと、
   前記１つまたは複数の標識の座標の前記１つまたは複数のセットを識別するステップと、
   前記１つまたは複数の標識を再度オーバーレイするステップと、
   を含む、請求項１に記載のシステム。
8. 前記操作者が、前記変更するステップおよび前記戻すステップを作動させる、請求項７に記載のシステム。
9. 前記ビューを変更するステップは、識別された解剖学的構造または病変における変化に基づいて自動的に作動される、請求項７に記載のシステム。
10. 前記１つまたは複数の標識の座標の前記１つまたは複数のセットが操作者によって手術中に提供される、請求項１に記載のシステム。
11. 前記１つまたは複数の標識の座標の前記１つまたは複数のセットが操作者によって手術前に提供される、請求項１に記載のシステム。
12. 前記１つまたは複数の標識の座標の前記１つまたは複数のセットが、対象の１つまたは複数の医用画像から生成される、請求項１に記載のシステム。
13. 前記１つまたは複数の医用画像は、前記対象の放射線像である、請求項１２に記載のシステム。
14. 前記放射線像は、前記対象の関節からのものである、請求項１３に記載のシステム。
15. 前記放射線像は、前記対象の肩、膝、または股関節と関連している、請求項１３に記載のシステム。
16. 前記放射線像は、蛍光透視法、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波イメージングを使用して生成される、請求項１３に記載のシステム。
17. 前記ビデオストリームは、関節鏡視下手術中に関節鏡によって提供される、請求項２に記載のシステム。
18. 前記関節鏡視下手術は、肩腱板断裂修復術で使用される、請求項２に記載のシステム。
19. 前記関節鏡視下手術は、膝の手術における十字靭帯修復で使用される、請求項２に記載のシステム。
20. 前記関節鏡視下手術は、グラフト留置術で使用される、請求項２に記載のシステム。
21. 前記関節鏡視下手術は、除圧術で使用される、請求項２に記載のシステム。
22. 前記関節鏡視下手術は、１つまたは複数の炎症組織の除去または切除で使用される、請求項２に記載のシステム。
23. 前記関節鏡視下手術は、１つまたは複数の亀裂が生じた腱の除去または切除で使用され、前記ビデオストリームは単眼である、請求項２に記載のシステム。
24. 前記ビデオストリームは立体視である、請求項１に記載のシステム。
25. 前記１つまたは複数のコンピュータプロセッサは、有線メディア接続を使用して１つまたは複数のカメラ制御ユニットから前記ビデオストリームを受信する、請求項１に記載のシステム。
26. 前記デジタルカメラからの入力の受信と出力および前記ビデオストリームのオーバーレイとの間のレイテンシは、毎秒約２４フレーム（ｆｐｓ）のデジタルカメラに対応するための最大でも４０ミリ秒（ｍｓ）である、請求項２５に記載のシステム。
27. 前記デジタルカメラからの入力の受信と出力および前記ビデオストリームのオーバーレイとの間のレイテンシは、前記デジタルカメラからの２つの連続フレーム間の時間を超えない、請求項２５に記載のシステム。
28. 前記１つまたは複数のコンピュータプロセッサは、ネットワーク接続を使用して１つまたは複数のカメラ制御ユニットから前記ビデオストリームを受信する、請求項１に記載のシステム。
29. 前記介入イメージング装置は、関節鏡での使用に特化したデジタルカメラである、請求項２に記載のシステム。
30. 前記デジタルカメラは、関節鏡関節における操作に適した硬性鏡に搭載される、請求項２９に記載のシステム。
31. 前記カメラ制御ユニットは、前記デジタルカメラによって生成されたデジタル情報を取り込むように光源を制御するように構成される、請求項２９に記載のシステム。
32. 前記カメラ制御ユニットは、前記デジタルカメラによって生成された前記デジタル情報を前記ビデオストリームに変換する、請求項３１に記載のシステム。
33. 前記カメラ制御ユニットは、前記デジタルカメラによって生成された前記デジタル情報をメモリ装置に記録する、請求項３１に記載のシステム。
34. 前記メモリ装置は、ローカルメモリ装置である、請求項３３に記載のシステム。
35. 前記メモリ装置は、クラウドベースのメモリ装置である、請求項３３に記載のシステム。
36. 前記デジタルカメラはカメラ制御ユニットに接続される、請求項２９に記載のシステム。
37. 前記カメラ制御ユニットは、前記１つまたは複数のコンピュータプロセッサからの出力を前記ビデオストリームにオーバーレイするように構成される、請求項３６に記載のシステム。
38. 表示モニタをさらに備える、請求項１に記載のシステム。
39. 前記１つまたは複数のコンピュータプロセッサは、中央演算装置または画像処理装置を含む、請求項１に記載のシステム。
40. 手術中に前記少なくとも１人の操作者から（前記標識を付けることを作動させるか、停止させるかの）入力を受信する機構をさらに含む、請求項１に記載のシステム。
41. 前記機構は、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識システムを介して前記入力を受信する、請求項４０に記載のシステム。
42. 前記１つまたは複数の標識は前記低侵襲的手技中に追跡される、請求項１に記載のシステム。
43. 少なくとも解剖学的構造に関係する１つまたは複数の標識の前記追跡は、前記１つまたは複数の標識の座標の前記セットと関連している、請求項４２に記載のシステム。
44. 前記１つまたは複数の標識の前記表示は、前記ビデオストリームの前記表示上にオーバーレイされる、請求項４２に記載のシステム。
45. 前記関係する解剖学的構造が前記ビデオストリーミングで識別されたとき、前記１つまたは複数の標識が表示される、請求項４４に記載のシステム。
46. 前記操作者は、前記１つまたは複数の標識を、前記低侵襲的手技中に一時的に、または前記低侵襲的手技の全体を通して不可視とすることを選択できる、請求項４４に記載のシステム。
47. 放射線イメージングを使用したコンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手術を支援するためのシステムであって、１つまたは複数のコンピュータプロセッサと、前記１つまたは複数のコンピュータプロセッサによって実行されたとき、前記１つまたは複数のコンピュータプロセッサに動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、前記動作は、
    対象の少なくとも１つの放射線像を受信するステップと、
    訓練された機械学習アルゴリズムを用いて前記少なくとも１つの放射線像における１つまたは複数の解剖学的特徴を識別するステップと、
    識別された前記解剖学的特徴の３Ｄ表現を生成するステップと、
    操作者から１つまたは複数の標識の位置を受信するステップと、
    前記解剖学的構造の前記３Ｄ表現上に前記１つまたは複数の標識をオーバーレイするステップと、
    前記操作者によって使用される表示装置上に前記オーバーレイを表示するステップと、
    を含む、システム。
48. 前記解剖学的特徴は、骨構造または腱を含む、請求項４７に記載のシステム。
49. 前記少なくとも１つの放射線像は、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波イメージング、またはそれらの組み合わせのうちの１つまたは複数を含む、請求項４７に記載のシステム。
50. 前記少なくとも１つの放射線像は、標識の画像を含む、請求項４７に記載のシステム。
51. 前記動作は、前記標識の位置を識別するステップをさらに含む、請求項５０に記載のシステム。
52. 前記動作は、少なくとも１つの放射線像における前記標識の前記識別された位置に少なくとも部分的に基づいて標識のための位置を推薦するステップをさらに含む、請求項５１に記載のシステム。
53. 前記少なくとも１つの放射線像または前記１つまたは複数の標識は、イメージング装置からのビデオストリームとブレンドされる、請求項４７に記載のシステム。
54. 前記ブレンドされた画像は、表示装置上に表示される、請求項５３に記載のシステム。
55. 前記ブレンドされた画像を表示する前記ステップは、前記関節鏡視下手術中である、請求項５４に記載のシステム。
56. 前記イメージング装置は、介入イメージング装置である、請求項５３に記載のシステム。
57. 前記ビデオストリームは単眼である、請求項５３に記載のシステム。
58. 前記ビデオストリームは立体視である、請求項５３に記載のシステム。
59. 関節鏡視下手術を支援するためのコンピュータ実施方法であって、
    イメージング装置からビデオストリームを受信するステップと、
    １つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、
    前記ビデオストリーム上に前記１つまたは複数の標識をオーバーレイするステップと、
    前記関節鏡視下手術中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上に前記オーバーレイを表示するステップと、
    を含む、方法。
60. 訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用して前記ビデオストリーム中の１つまたは複数の要素を識別および標識するステップをさらに含み、前記１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、請求項５９に記載の方法。
61. 前記ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のモジュールを使用することを含む、請求項６０に記載の方法。
62. 前記１つまたは複数のモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、標識点登録、または解剖学的構造および標識追跡のための１つまたは複数のモジュールを含む、請求項６１に記載の方法。
63. 前記１つまたは複数の標識は、前記識別された要素に少なくとも部分的に基づいて推薦される、請求項６１に記載の方法。
64. 前記１つまたは複数の標識の座標の１つまたは複数のセットを記憶するステップと、
    前記のオーバーレイされた標識を表示されることから除外するように前記表示のビューを変更するステップと、
    前記ビューを前の表示に戻すステップと、
    前記１つまたは複数の標識の座標の前記１つまたは複数のセットを識別するステップと、
    前記１つまたは複数の標識を再度オーバーレイするステップと、
    をさらに含む、請求項５９に記載の方法。
65. 前記操作者が、前記変更するステップおよび前記戻すステップを作動させる、請求項６４に記載の方法。
66. 前記ビューを変更するステップは、識別された解剖学的構造または病変における変化に基づいて自動的に作動される、請求項６４に記載の方法。
67. 前記１つまたは複数の標識の座標の前記１つまたは複数のセットが操作者によって手術中に提供される、請求項５８に記載の方法。
68. 前記１つまたは複数の標識の座標の前記１つまたは複数のセットが操作者によって手術前に提供される、請求項５８に記載の方法。
69. 前記１つまたは複数の標識の座標の前記１つまたは複数のセットが、対象の１つまたは複数の医用画像から生成される、請求項５８に記載の方法。
70. 前記１つまたは複数の医用画像は、放射線像である、請求項６９に記載の方法。
71. 前記放射線像は、蛍光透視法、磁気共鳴画像法、コンピュータ断層撮影法スキャン、陽子射出断層撮影法画像スキャン、または超音波イメージングを使用して生成される、請求項７０に記載の方法。
72. 前記ビデオストリームは、関節鏡視下手術中に関節鏡によって提供される、請求項５９に記載の方法。
73. 前記関節鏡視下手術は、肩腱板移植術で使用される、請求項７２に記載の方法。
74. 前記関節鏡視下手術は、膝の手術におけるＡＣＬトンネル留置で使用される、請求項７２に記載の方法。
75. 前記ビデオストリームは単眼である、請求項５９に記載の方法。
76. 前記ビデオストリームは立体視である、請求項５９に記載の方法。
77. 前記デジタルカメラから前記１つまたは複数のビデオストリームを受信する前記ステップは、有線メディア接続を使用して実行される、請求項５９に記載の方法。
78. 前記デジタルカメラからの入力の受信と出力および前記ビデオストリームのオーバーレイの表示との間のレイテンシは、毎秒約２４フレーム（ｆｐｓ）のデジタルカメラに対応するための最大でも４０ミリ秒（ｍｓ）である、請求項７７に記載の方法。
79. 前記デジタルカメラからの入力の受信と出力および前記ビデオストリームのオーバーレイとの間のレイテンシは、前記デジタルカメラからの２つの連続フレーム間の時間を超えず、前記デジタルカメラから前記１つまたは複数のビデオストリームを受信する前記ステップは、ネットワーク接続を使用して実行される、請求項５９に記載の方法。
80. １つまたは複数のコンピュータ処理ユニットを使用して実行される、請求項５９に記載の方法。
81. 前記１つまたは複数のコンピュータ処理ユニットは、中央演算装置または画像処理装置を含む、請求項８０に記載の方法。
82. 前記介入イメージング装置は、デジタルカメラである、請求項５９に記載の方法。
83. 前記デジタルカメラは、見る器械に搭載される、請求項８２に記載の方法。
84. 前記カメラ制御ユニットは、前記デジタルカメラによって生成されたデジタル情報を取り込むように光源を制御するように構成される、請求項８２に記載の方法。
85. 前記カメラ制御ユニットは、前記デジタルカメラによって生成された前記デジタル情報を前記ビデオストリームに変換する、請求項８４に記載の方法。
86. 前記カメラ制御ユニットは、前記デジタルカメラによって生成された前記デジタル情報をメモリ装置に記録する、請求項８４に記載の方法。
87. 前記メモリ装置は、ローカルメモリ装置である、請求項８６に記載の方法。
88. 前記メモリ装置は、クラウドベースのメモリ装置である、請求項８６に記載の方法。
89. 前記デジタルカメラはカメラ制御ユニットに接続される、請求項８２に記載の方法。
90. 前記ビデオストリームは、処理されるために、前記１つまたは複数のコンピュータ処理ユニットによって前記カメラ制御ユニットから受信される、請求項８９に記載の方法。
91. 前記カメラ制御ユニットは、前記１つまたは複数のコンピュータ処理ユニットによる前記処理からの出力を前記ビデオストリームにオーバーレイするように構成される、請求項８９に記載の方法。
92. 表示モニタをさらに備える、請求項５９に記載の方法。
93. 手術中に前記少なくとも１人の操作者から前記標識を付けることを作動させるか、停止させるかの入力を受信する機構をさらに含む、請求項５９に記載の方法。
94. 前記機構は、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識方法を介して前記入力を受信する、請求項９３に記載の方法。
95. 前記１つまたは複数の標識は、前記関節鏡視下手術中に追跡される、請求項５９に記載の方法。
96. 少なくとも解剖学的構造に関係する１つまたは複数の標識の前記追跡は、前記１つまたは複数の標識の座標の前記セットと関連している、請求項９５に記載の方法。
97. 前記１つまたは複数の標識の前記表示は、前記ビデオストリームの前記表示とブレンドされる、請求項９５に記載の方法。
98. 前記関係する解剖学的構造が前記ビデオストリーミングで識別されたとき、前記１つまたは複数の標識が表示される、請求項９７に記載の方法。
99. 前記操作者は、前記１つまたは複数の標識を、前記関節鏡視下手術中に一時的に、または前記関節鏡視下手術の全体を通して不可視とすることを選択できる、請求項９７に記載の方法。
100. 放射線イメージングを使用して任意の標識配置によって低侵襲的手技を支援するためのコンピュータ実施方法であって、
     対象の少なくとも１つの放射線像を受信するステップと、
     訓練された機械学習アルゴリズムを用いて前記少なくとも１つの放射線像における１つまたは複数の解剖学的特徴を識別するステップと、
     前記識別された１つまたは複数の解剖学的特徴の３Ｄ表現を生成するステップと、
     操作者から１つまたは複数の標識の位置を受信するステップと、
     前記１つまたは複数の解剖学的特徴の前記３Ｄ表現上に前記１つまたは複数の標識をオーバーレイするステップと、
     前記操作者によって使用される表示装置上に前記オーバーレイを表示するステップと、
     を含む、方法。
101. 前記解剖学的特徴は、骨構造または腱を含む、請求項１００に記載の方法。
102. 前記少なくとも１つの放射線像は、磁気共鳴画像（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波画像のうちの１つまたは複数を含む、請求項１００に記載の方法。
103. 前記少なくとも１つの放射線像は、標識の画像を含む、請求項１００に記載の方法。
104. 前記標識の前記位置を識別するステップをさらに含む、請求項１０３に記載の方法。
105. 少なくとも１つの放射線像における前記標識の前記識別された位置に少なくとも部分的に基づいて標識のための位置を推薦するステップをさらに含む、請求項１０４に記載の方法。
106. 前記少なくとも１つの放射線像または前記１つまたは複数の標識は、イメージング装置からのビデオストリーム上にオーバーレイされる、請求項１００に記載の方法。
107. 前記ブレンドされた画像は、表示装置上に表示される、請求項１０６に記載の方法。
108. 前記ブレンドされた画像を表示する前記ステップは、関節鏡視下手術中である、請求項１０７に記載の方法。
109. 前記イメージング装置は、介入イメージング装置である、請求項１０６に記載の方法。
110. 前記ビデオストリームは単眼である、請求項１０６に記載の方法。
111. 前記ビデオストリームは立体視である、請求項１０６に記載の方法。
112. 前記低侵襲的手技は関節鏡視下手術である、請求項１００に記載の方法。

Images