JP7355825B2 - 自動化されたニードル検出 - Google Patents

Description

関連出願とのクロスレファレンス
本出願は、２０１８年１２月５日に出願された米国特許出願第１６／２１０，２５３号に関連しており、該米国特許出願の利益を主張し、参照により全体として本明細書に組み込まれる。

技術分野
開示される技術は、超音波イメージングシステムに関し、特に体内の介入器具を撮像するための超音波イメージングシステムに関する。

超音波イメージングは、介入器具を体内の所望の位置に案内するときに使用されるべき標準治療としてますます受け入れられるようになってきている。この処置のための１つの一般的な使用は、麻酔の適用中であって、それによって、医師又は医療技術者が、針（ニードル）を所望の神経又は関心のある領域に案内することを助けるために超音波画像を見る。医師の、ニードルを見る能力を高めるために、多くの超音波システムは、生体組織（解剖学的）画像及び針の画像から複合画像を生成する、いわゆる「針可視化」技術を組み込むことができる。最良の画像を得るために、送信ビームの方向は、針又は他の介在器具に対してほぼ垂直であり得る。具体的な実施例では、ユーザ又は超音波システムは、ビーム方向を変化させるために、異なる角度においていくつかの画像を撮ることがよく、その結果、ニードルの最良画像が、特定されることができ、また使用されることができる。

具体的な実施の形態では、既存のニードル検出システムは、少なくとも２つの入力、１）ニードル検出が使用されるべきであることを示すこと、２）該ニードルが画像フレームに入る方向（例えば、左又は右の進入）を提供することをユーザに要求することができる。特定の実施の形態では、ニードル検出が使用されるべきであることをユーザが示さない場合、ニードル検出画像が取り込まれない。間違ったニードル進入方向をユーザが選択する場合、送信ビームはニードルと交差しないので、ニードルは検出されない。特定の実施の形態では、既存のニードル検出システムに関する別の潜在的な問題は、複数のニードル視覚化フレームがキャプチャ（保存）されなければならないことであり、これは、複合画像の全般的なフレームレートを低下させることがある。特定の実施の形態では、ニードル入力情報が現在のフレームの組から特定されることができる場合、そのときは追加のニードル視覚化フレームを取得する必要がないかもしれず、それによって超音波撮像のフレームレートを改善することができる。特定の実施の形態では、ニードル検出システムは、介入器具が存在すると結論付けるためにニードル可視化フレームに頼ることなく、生体組織の画像における組織の反り又は時間的変化に基づき介入器具を検出することができる。

図１は、組織及び介入器具の混合画像を生成すると共に表示するための例示的な超音波イメージングシステムの簡略された図面を示す。 図２は、一例の超音波イメージングシステムのブロック図を示す。 図３は、ニードルフレームに最も適切な角度を特定するために複数の角度で撮影された複数の超音波画像の例を示す図面である。 図４は、組織及び介入器具の混合画像を生成すると共に表示することができる超音波イメージングシステムの例示的な図面を示す。 図５は、複数のステアリング（ｓｔｅｅｒ）角度から最適なニードルフレームを自動的に選択することができると共に、組織及び介入器具の混合画像を生成しまた表示することができる超音波イメージングシステムの例示的な図を示す。 図６Ａは、表示のための混合画像を生成するために、組織フレームと組み合わされている一例のニードルフレーム画像を示す。 図６Ｂは、表示のための混合画像を生成するために、組織フレームと組み合わされている一例のニードルフレーム画像を示す。 図６Ｃは、表示のための混合画像を生成するために、組織フレームと組み合わされている一例のニードルフレーム画像を示す。 図７は、介入器具の存在及び進入の方向を自動的に検出することができ、複数のステアリング角度から最適なニードルフレームを自動的に選択することができ、また組織及び介入器具の混合画像を生成することができると共に表示することができる超音波イメージングシステムの例示的な図面を示す。

以下でさらに詳細に説明されるように、開示される技術は、超音波イメージングシステムにおける改良に関し、特に、撮像される組織内に挿入された介入器具の存在及び介入器具の進入方向を自動的に検出すると共に組織及び介入器具の組み合わせ画像を生成するように構成される超音波イメージングシステムに関する。以下の説明では、介入器具は、麻酔又は他の薬物を所望の位置に届けるために使用されたニードル（針）であるとして説明される。しかしながら、バイオプシー針、組織を縫合するための針、流体を引き出すための針（例えば羊水穿刺）、ロボット手術器具、カテーテル、ガイドワイヤ、又は他の侵襲的な医療器具といった他のデバイスが、同様に、撮像され得る。

一実施の形態では、超音波システム内のプロセッサは、検査中の生体組織（解剖学的）画像を生成するために、いくつかの送信ビームを生成させると共に身体に届けさせるように構成されてもよい。加えて、プロセッサは、介入器具を撮像するために、異なる送信ビーム角度、すなわちステアリング角度でいくつかの送信ビームを生成させるように構成されてもよい。生体組織の画像を介入器具の画像から区別するために、介入器具のフレームは、器具がニードルでない場合でも、「ニードルフレーム」として参照されることがある。

異なる送信角度での送信から生成されたニードルフレームの各々は、介入器具の存在を検出するために分析され得る。一実施の形態では、組織及び介入器具の位置の両方を示すために、異なる送信ビーム方向を用いてキャプチャされた１又は複数のニードルフレームからのエコーデータ及び生体組織の画像を用いて、複合画像が生成されてもよい。特定の実施の形態では、時間にわたって該生体組織の画像及び該ニードルフレームの複数の画像をキャプチャすることによって、超音波イメージングシステムが複合画像のライブ映像をユーザに提供することが可能であり、その結果、ユーザは、時間にわたって生体組織の構造に対する介入器具の位置を観察することができる。

図１は、患者の組織を撮像するための開示された技術を実施する代表的な超音波イメージングシステム（超音波撮像システム）を示す。特定の実施の形態では、超音波イメージングシステム１０は、ハンドヘルド、ポータブル、又はカートベースのシステムであることができ、該システムは、変換器プローブ１２を使用して、走査されている組織の画像を生成するために、関心のある領域に超音波信号を送信すると共に、対応するエコー信号を受信する。プローブ１２は、１次元若しくは２次元の直線状若しくは曲線状の変換器、又はフェーズドアレイ変換器であることができ、これらのトランスデューサの全ては、電子的にステアリング角度を選択的に変化させることができる。

超音波イメージングシステム１０は、受信されたエコー信号の特性（例えば、それらの振幅、位相、電力、周波数シフト、など）を、画像としてユーザのために定量化されまた表示されるデータに変換することができる。生成された画像は、デジタル記録保持のために電子的に格納されることができ、又は、別のデバイス若しくは位置へ有線若しくは無線の通信リンクを介して送信されてもよい。特定の実施の形態では、操作者は、プローブ１２を一方の手で保持しながら、他方の手で介入器具１５を患者（又は被験者）２０内に案内することができる。超音波イメージングシステム１０は、介入器具１５の存在を自動的に検出することができ、また介入器具１５の位置を最も良く描写する１又は複数のニードルフレームを特定することができる。操作者は、組織の複合画像２２と、介入器具が組織内に位置する場所の表示２４とを見ることができる。複合画像２２は、器具が目標位置に案内されている間に、スクリーン上で更新されてもよい。このような位置は、麻酔の分野における特定の神経部位、又は血管若しくは特定の器官（例えば、子宮、前立腺、腫瘍、心臓血管、など）といった関心のある他の領域であり得る。

当業者によって理解され得るように、（ニードルといった）長く細い介在器具を撮像するための最適なビーム方向は、器具の長さに対してほぼ垂直である角度にあってもよい。
しかしながら、器具を撮像するために必要な撮像パラメータ及びビーム方向は、しばしば、組織を撮像するために最適なものと同じではない。特定の実施の形態では、ユーザは、ニードルフレームを生成する際に使用する特定のビーム角度を選択する必要がない場合がある。代わりに、プロセッサは、複数の異なるステアリング角を用いてニードルフレームを生成するようにプログラムされてもよい。これらの異なるステアリング角度から生成されたニードルフレームのエコーデータは、介入器具であり得る物体の存在を検出するために分析され得る。特定の実施の形態では、介入器具の検出、及び介入器具の視覚化のための最良のニードルフレームステア角の特定は、トレーニング済み（学習済み）機械学習アルゴリズムを介して特定されることができる。限定ではなく例示として、トレーニング済みニューラルネットワークは、１又は複数の超音波画像を分析して、介入器具が存在するか否かと、及びニードルフレームが複合フレームを生成するように生体組織の画像と組み合わされるために介入器具をキャプチャするための適切な角度と、を特定することができる。特定の実施の形態では、異なる送信ビーム方向を使用して取得された１又は複数のニードルフレームからの、介入器具を表す可能性のあるエコーデータは、組織及び介入器具の位置の両方を示す合成画像を生成するために、ニードルフレームからコピーされ、また生体組織の画像のためのエコーデータと融合（混合）されることができる。

図２は、開示される技術の一実施の形態による超音波イメージングシステムの簡略化されたブロック図を示す。特定の実施の形態では、超音波システムは、図示されたものとは異なる構成要素で構成されてもよい。加えて、超音波システムは、説明されていない（例えば、電源など）また開示された技術をどのように作りどのように使用するかを理解するために必要ではない部分を含むことができる。図示の実施の形態では、超音波システムは、プロセッサ４０を含むことができ、該プロセッサは、内蔵又は外部メモリ（図示せず）を有し、該メモリは、以下で詳細に説明するように超音波イメージングシステムを動作させるために該プロセッサによって実行可能な命令を含む。送信経路において、超音波システムは、送信ビーム形成器４２と、送信利得制御増幅器４４と、送信／受信スイッチ４６とを含んでもよい。超音波プローブ１２がフェーズドアレイタイプであるか、又はそうでなければ送信角度を電子的に変更することができる場合、送信ビーム形成器４２は、所望の送信ビーム方向（所望のステアリング角度）に構造的に強める変換器素子（プローブの変換器素子）のいくつか又は全てから超音波ビームを生成するために選択される相対的な振幅及び位相（タイミング）を有するいくつかの信号を生成するように動作することができる。送信ビーム形成器からの信号は、検査されている組織内における所望の音響信号を変換器素子に生成させる十分に高い電圧レベルに、送信増幅器４４によって増幅されることができる。特定の実施の形態では、プロセッサ４０は、デジタル値（例えば、０から２５５）といった制御コマンドを利得制御増幅器に供給するように接続されることができる。コマンドの値は、送信増幅器４４によって供給される利得の量を制御してもよい。

超音波信号のパワーを調整するための他の技術は、超音波信号のパワーを増加させ又は減少させるために変換器素子を駆動する波形を変化させることを含み得る。特定の実施の形態では、駆動信号を生成する増幅器の電圧レール（＋Ｖ、－Ｖ）は、超音波信号のパワーを変化させるために変更され得る。特定の実施の形態では、駆動信号は、超音波信号のパワーを変化させるために、より少ない又はより多くの変換器素子に供給されてもよい。当業者は、これらの技術は単に例示的なものであること、及び患者に供給された超音波信号の音響パワーのレベルが調整されることができる多くの方法があり得ること、を理解することができる。

特定の実施の形態では、増幅された送信信号は、送信／受信スイッチ４６を通して変換器プローブ１２に供給されることができ、送信／受信スイッチ４６は、敏感な受信電子機器を、該送信信号が変換器プローブ１２に供給される時点で、送信信号から切り離される又は遮蔽される。該信号が送信された後、送信／受信スイッチ４６は、戻り音波が変換器素子に作用する（ぶつかる）ときに生成された対応する電子エコー信号を検知するために、受信電子機器を変換器素子に接続することができる。

特定の実施の形態では、受信経路において、超音波イメージングシステムは、低雑音の増幅器５０、時間利得制御増幅器５２、アナログ－デジタル変換器５４、受信ビーム形成器５６、および画像プロセッサ５８を含んでもよい。イメージングプローブによって生成されたアナログエコー信号は、送信／受信スイッチ４６を介して、該アナログエコー信号が増幅される低雑音増幅器に導かれてもよい。ＴＧＣ増幅器５２は、信号対深さの減衰に対抗するために、適用される増幅レベルを信号の戻り時間と共に（例えば、撮像されている組織内の深さに比例して）変化させる可変増幅を受信信号に適用することができる。次いで、増幅された信号は、アナログ－デジタル変換器５４によってデジタルフォーマットに変換され得る。
デジタル化されたエコー信号は、その後に、画像プロセッサに供給される前に、受信ビーム形成器５６によって遅延されまた合計されてもよい。

特定の実施の形態において、送信されたビーム（ライン）及び受信されたビーム（ライン）の数は、互いに異なる場合がある。限定ではなく例として、受信ビーム形成器は、送信ビーム当たり２又はより多くの隣接するラインを並列に（即ち、同時に）生成することができ、技術は、時には、並列受信ビームフォーミング又はマルチライン処理として知られている。フレーム当たりの受信ライン数（ライン密度）を一定に保つことができる一方で、送信ビームの数を下げることによって撮像フレームレートを増加させるために、マルチライン処理を使用してもよい。特定の実施の形態では、より高いマルチライン次数（単一の送信ビームから並列してビーム形成された受信ラインの数）が、送信ビームの数、これ故にフレームレート、を一定に保ちながらフレーム当たりの受信ラインの数を増加させるために、使用されることができる。ライン密度、フレームレートおよび複数ライン次数の他の組み合わせが、同様に可能である。さらにまた、非集束ビーム（平面波）を送信すると共にその単一送信ビームからフレームの全受信ラインをビーム形成することが可能であることがある。該システムはまた、介入器具を撮像することに対して組織を撮像するためのマルチライン次数及びライン密度の異なる組み合わせを採用してもよい。特定の実施の形態では、フレームレートを改善しつつ、より高いマルチライン次数、より低いライン密度、又は非集束の送信ビームを使用することは、取得された画像の品質を低下させ得る。

該受信された信号から画像プロセッサ５８によって生成された画像は、ディスプレイ６０上に表示されてもよい。加えて、該画像は、将来の再呼び出しおよび再検討のために画像メモリ（図示せず）に記録されてもよい。いくつかの入力７２が、操作者が超音波イメージングシステムの様々な動作パラメータを変更すると共に患者の名前または他の記録保持データといったデータを入力することを可能にするために、提供されることができる。加えて、超音波イメージングシステムは、入力／出力（Ｉ／Ｏ）回路を含んでもよく、該入力／出力（Ｉ／Ｏ）回路は、該システムが有線（例えば、イーサネット（登録商標）、ＵＳＢ、Ｔｈｕｎｄｅｒｂｏｌｔ、Ｆｉｒｅｗｉｒｅ（登録商標）、若しくは同類のもの）又は無線（８０２．１１、セルラ、衛星、Ｂｌｕｅｔｏｏｔｈ（登録商標）、若しくは同類のもの）の通信リンクを介してコンピュータ通信リンク（ＬＡＮ、ＷＡＮ、インターネット、等）に接続することを可能にする。

超音波イメージングシステムを備える構成要素の詳細及び該構成要素がどのように動作するかは、一般的には、当業者に周知であると考えられることができる。超音波イメージングシステムは、多くの別個の構成要素を有するように示されているけれども、ＡＳＩＣ、ＦＰＧＡ、デジタル信号プロセッサ（ＤＳＰ）、ＣＰＵ、またはＧＰＵといったデバイスが、これら個々の構成要素のうちの複数のものの機能を実行するために使用されることができる。

上述のように、プロセッサ４０は、検査されている組織と、組織に導入されている介入器具との複合画像を生成するようにプログラムされてもよい。特定の実施の形態では、画像プロセッサは、走査されている組織の深さ及び特定のタイプに関して選択されるイメージングパラメータを用いて検査される組織の生体構造的な画像を生成する。画像プロセッサ５８によって生成された生体構造的な画像は、介入器具の位置を突き止める（ｌｏｃａｔｅ）ために生成された１又は複数のニードルフレームのためのエコーデータと組み合わされるように、メモリに格納されることができる。

一実施の形態では、プロセッサは、介入器具を撮像するために、送信電子機器にいくつかの異なる送信方向に送信ビームを生成させることができる。限定でなく一例として、プロセッサ４０は、変換器プローブの長手軸に関して測定されるものとして浅い、中程度の、及び急勾配の角度で生成されるように送信ビームを向けることができる。特定の実施の形態では、介入器具の位置は、１又は複数のニードルフレームに、残りのものより明確に現れることができる。例示的なニードル視覚化技術は、２０１６年１１月９日に出願された、共有に係る米国特許出願第１５／３４７，６９７号に示されており、参照により本明細書に組み込まれる。

特定の実施の形態では、異なる送信角度における送信から生成されたニードルフレーム毎のエコーデータは、介入器具が存在することについて分析されてもよい。様々な計器検出アルゴリズムが使用されることができる。限定ではなく一例として、画像は、隣接する画素よりもはるかに明るい（例えば、より大きな振幅の）画素の線状セグメントが存在することに関して分析されることができ、それによって、強い直線状の反射体の存在を示す。介入器具を表すことができるセグメントの長さは変わることができ、またいくつかの実施の形態では、器具が挿入されるときに介入器具自体が湾曲している又は曲がる場合に、湾曲されることができる。あるいは、該セグメントは、曲線状の変換器形状（ｇｅｏｍｅｔｒｙ）（例えば、凸状）を用いて画像が取得された場合に検出が実行される座標系において湾曲しているように見えることがある。

特定の実施の形態では、明るい画素の各セグメントは、セグメントが介入器具を表す可能性を示すためにスコア付けされる。限定ではなく例として、そのようなスコアは、ある閾値を超える明るいピクセルの長さ、ピクセルのセグメントがどのくらい直線的又は線状であるか、明るいピクセルと隣接するピクセルとの間にどのくらいのコントラストが存在するか、明るいピクセルのセグメントの周りのエッジが、勾配又は他のエッジ検出操作によって特定されるものとしてどのくらい強いか、等によって調整されてもよい。ハフ変換又は他の同様の技法が、線状の又はパラメータ化された湾曲セグメント上にあるピクセルの位置を特定するために使用されることができ、スコアが、それから特定されてもよい。

特定の実施の形態において、画像に関する輝度データ値は、ビームラインに沿った隣接する輝度値の間の差に目を向けることによって、対応する勾配値に変換されることができる。介入器具であるニードル（針）又は他の明るい反射体は、一般的には、変換器からの方向に及び組織内に観察されるときに、輝度値の大きな負の勾配（例えば、明から暗）が近接して輝度値の大きな正の勾配（例えば、暗から明）に続くことによって特徴付けられることができる。勾配値は、正および負の勾配値の大きな変化が、介入器具について予想される距離内で生じることを確実にするためにフィルタ処理され得る。次に、ハフ変換が使用されることができて、大きな正／負の勾配変化が、隣接するビームラインにおいて線形パターンで生じるかどうかを特定する。大きな勾配変化のセグメントに関するスコアは、勾配変化の長さ、正の勾配変化が負の勾配変化からどれだけ近いか、勾配変化がビームからビームへ空間的にどのように整列するか、のうちの１又は複数に依存して、増加され又は減少され得る。

特定の実施の形態では、エコーデータのセグメントは、勾配がどのくらい大きいか、及び勾配が隣接するビームラインにおいてどのくらい良好に整列するか、に従ってスコア付けされることができる。より大きな勾配を有する共により一列に並んでいるそのようなセグメントには、より小さな勾配を有すると共により整列されていないセグメントより、大きなスコアを与え得る。器具の表示は、単一の長いセグメント又は複数の短いセグメントを含むことができ、最も高いスコアを有する全てのセグメントが同じニードルフレームから生じているわけではない。

特定の実施の形態では、最も高いスコア付けセグメントを持つ画像から恐らく介入器具を表すであろうエコーデータは、２つ又はより多くのニードルフレームからコピーされ、またエコーデータには生体組織画像が混合（ブレンド）される。別の実施の形態では、エコーデータは、単一のニードルフレームからコピーされ、またエコーデータには解剖画像のためのエコーデータが混合されてもよい。特定の実施の形態では、超音波画像におけるニードル又は他の介入器具の存在を検出するための他のニードル可視化技術も使用され得る。

特定の実施の形態では、プロセッサは、様々な送信角度で取られた送信から生成された１又は複数のニードルフレームからのピクセルデータのセグメントを識別するようにプログラムされることができ、これらのセグメントは、ピクセルが恐らく介入器具を表すことを示すスコアを有する。プロセッサは、該器具を表すピクセルデータをコピーし、また該コピーされたピクセルデータを組織画像内のピクセルデータと組み合わせるためにブレンド（混合）機能を使用することができる。

特定の実施の形態では、超音波画像を表示するために使用されたピクセルデータは、介入器具の存在を検出するために分析されてもよい。特定の実施の形態では、エコーデータは、表示のために準備できているピクセルデータへの変換に先だって分析される。限定のためではなく例として、増幅され、デジタルに変換され、及びビーム形成されたがまだスキャン変換されていないエコーデータは、介入器具を表すデータ内のセグメントを検出し及びスコア付けするために分析されてもよい。

特定の実施の形態では、異なる送信角度でいくつかのニードルフレームを生成することは、超音波イメージングシステムのフレームレートを低下させることがある。特定の実施の形態では、プロセッサは、ニードルフレームのサブセット（例えば、複数の高品質ニードルフレーム）のために、ニードルフレームの残りの部分（低品質ニードルフレーム）よりも高いライン密度及び／又は低いマルチライン設定を選択することができ、ここでは、該高品質ニードルフレームは、器具検出アルゴリズムによって検出された構造の配向（向き）に基づき、高いスコア（すなわち、介入器具の存在に関して高い確率）を用いて適応的に選択される。検出アルゴリズムが、高いスコアを持つ類似の配向の構造を複数のニードルフレームに見いだす場合、プローブの配向に対して垂直に近い角度で介入器具に超音波を照射するであろう撮像ステアリング角度を持つニードルフレームは、選択されることができて、高品質のニードルフレームの取得になり、また他のニードルフレームは、より低い品質のニードルフレームとして取得され続け得る。高品質のニードルフレームの適応的選択は、また「最も可能性の高い」介入器具の高品質の視覚化を保証し得るものであり、残りの低品質のニードルフレームが、他の配向の器具が見逃されないこと、及び超音波スキャンヘッドに対する介入器具の角度が処理中に変化する場合に、オペレータが高品質のニードルフレームを手動で選択することを要求され得ないこと、を保証し得る。

特定の実施の形態では、システムは、検出スコアに基づき適応的に採用された角度、並びに取得レート及びニードルフレームの数を変更してもよい。限定ではなく例として、高い検出スコアを持つ特徴が、ある特定の角度設定を持つニードルフレーム内で識別される場合、システムは、その角度を「高優先度角度」として指定し、またその角度設定で又はその近くでニードルフレームの獲得レートを増加させ、その一方で、高優先度角度からより遠く離れた角度で、または高いセグメントスコアを持つ特徴を含まないニードルフレームのための角度で、ニードルフレームの獲得レートを落とすことができる。特定の実施の形態では、システムは、高優先度角度の設定からより遠く離れた角度を有するニードルフレームを、「スカウティング（探し出し、ｓｃｏｕｔｉｎｇ）」ニードルフレームとして獲得しまた分析し続けることができ、その結果、システムは、より高い検出スコアを持つ特徴がそれらの探し出しフレームでどんな時でも検出される場合、オンザフライで「高優先度角度」を再評価しまた変更することができる。特定の実施の形態では、スカウティングニードルフレームの角度は、それらの間のより大きな角度広がり及び／又はフレームレートに対するより低い取得レートを有するようにして全体的な影響を最小限に抑えるために選択されてもよい。

図３は、超音波イメージングシステムによって撮影された３つのニードルフレーム画像の例を示す。図３の例では、ニードルフレーム画像は、浅い（ｓｈａｌｌｏｗ）角度、中程度（ｍｅｄｉｕｍ）の角度、および急な（ｓｔｅｅｐ）角度で撮影されてもよい。特定の実施の形態では、ニードルフレーム画像の各々は、Ｂモードフレームに関して普通に撮影された画像よりもより急峻な角度であってもよい。図３に描かれた３つのニードルフレームの各々において、介入器具（例えば、ニードル）がフレーム内に見えることがある。図３では、浅い角度で捕らえたニードルフレームは、中程度の角度および急な角度と比較して、より明確にニードルを示す場合がある。この例では、ニードルは、浅いフレームの送信ビームの角度に対して垂直であり、一方、ニードルは、中程度の及び急なフレームの送信ビームの角度に対して完全に垂直とはいえないことがわかることがある。特定の実施の形態では、ニードルフレーム画像のために使用された角度は、超音波画像の視野内に生体組織の構造の画像を生成するには急峻すぎる場合がある。

図４は、介入器具（例えば、ニードル）に対応する線状構造と複合組織フレームとを組み合わる混合（ｂｌｅｎｄｅｄ）画像を生成するための例示的なシステムを示す。図４の例では、超音波イメージングシステムは、組織フレームを特定するために使用されるべき３つのフレーム４１０、４１１、および４１２をキャプチャすることができる。特定の実施の形態では、３つのフレーム４１０、４１１及び４１２は、異なる送信ビーム方向で撮られ、しかし、同じ生体組織の構造に向けられる。限定ではなく例として、フレーム４１０は－１４度の角度で撮られ、フレーム４１１は０度の角度で撮られ、フレーム４１２は＋１４度の角度で撮られる。特定の実施の形態では、フレーム４１０、４１１、および４１２に使用された角度は、介入器具を視覚化するために必要な角度よりも浅くてもよい。特定の実施の形態では、フレーム４１０、４１１及び４１２に使用される角度は、輝度モード、つまりＢモード、の超音波画像に適した角度である。限定ではなく例として、スペックルを低減するようにＢモード画像を生成するために、３又は５つの画像フレームがキャプチャされてもよく、少なくとも１つのフレームは０度でキャプチャされ、他のフレームは－１５度と＋１５度との間でキャプチャされる。ステップ４２０において、超音波イメージングシステムは、フレーム４１０、４１１、および４１２を組み合わせて、視野内の生体組織の構造を描写する複合組織フレーム４３０を生成する。特定の実施の形態では、フレーム４１０、４１１及び４１２は、カラーモードのような１又は複数の他の撮像モードに適した画像フレームである。特定の実施の形態では、フレーム４１０、４１１及び４１２は、第１画像モードに適したフレームが第２画像モードに適したフレームと交互配置（インターリーブ）されるように、経時的に設定を変更するようにしてもよい。

特定の実施の形態では、超音波イメージングシステムは、また、ニードルフレーム４４０をキャプチャしてもよく、該ニードルフレームは、介入器具の視覚化をより良くする（強化する）ために、より急な角度でキャプチャされ得る。特定の実施の形態では、超音波イメージングシステムのユーザは、１つ又は複数のニードルフレームをキャプチャするオプションを手動で選択することができる。このような実施の形態では、ユーザは、画像を左に又は右に角度付けるかを入力することができ、またユーザは、ニードルフレームのステアリング角を入力することができる。図４の例では、超音波画像フレーム４４０は、＋３０度の角度で撮影され、該角度が、超音波信号を反射して介在器具のシャフト（軸）から離すためにより適合させられていてもよい。ステップ４４２では、超音波イメージングシステムは、構造物が存在することを特定し、またステップ４４４においては、画像プローブが直線であるか湾曲しているかを特定し、プローブが湾曲している場合、そのときは、超音波イメージングシステムは、ステップ４４６においてスキャン変換を行う。ステップ４５０においては、超音波イメージングシステムは、介入器具に対応する線状構造が存在することと、及び超音波画像内におけるその位置とを特定することができる。超音波イメージングシステムは、次いで、複合組織フレーム４３０と同じ視野内の該線状構造の辺り画定されたマスクされた領域を用いて、介入器具を描写する線状構造の画像４６０を生成することができる。ステップ４７０においては、超音波イメージングシステムは、複合組織フレーム４３０をマスクされた領域内の線状構造４６０とマージ（ｍｅｒｇｅ）して、混合（ｂｌｅｎｄｅｄ）画像４８０を生成することができ、該混合画像は、強化された介入器具、及び画像化された生体組織の構造に対する相対位置を描写する。

図５は、介入器具に対応する線状構造と複合組織フレームとを組み合わせる混合画像を生成するための別の例示的なシステムを示す。図５の例では、超音波イメージングシステムは、複数のニードルフレームをキャプチャすることができ、どのフレームが混合画像に組み合わすために最も適しているかを特定することができる。図５では、図４と同様に、超音波イメージングシステムは、Ｂモード画像に結合するために適した複数の角度で、３つのフレーム５１０、５１１、および５１２をキャプチャすることができる。ステップ５２０においては、超音波イメージングシステムは、空間的な混ぜ合せのために、フレーム５１０、５１１、および５１２を結び付けて複合組織フレーム５３０にする。介入器具が存在するという指示と、介入器具が導入されつつある方向とをユーザから受信すると、超音波イメージングシステムは、異なる角度から複数のニードルフレーム５４０、５４１、および５４２をキャプチャすることができる。図５の例では、ニードルフレーム５４０は、＋２４度のステアリング角でキャプチャされ、ニードルフレーム５４１は、＋３２度のステアリング角でキャプチャされ、ニードルフレーム５４２は、＋４０度のステアリング角でキャプチャされる。特定の実施の形態では、浅いニードルフレーム、中程度のニードルフレーム、および急勾配のニードルフレームの角度は、超音波イメージングシステムによって予め特定されてもよく、又はユーザによって事前に設定されてもよい。

図５の例では、超音波イメージングシステムは、次に、ニードルフレーム５４０、５４１、５４２のどれが線状構造を特定するために適切であるかを特定する。特定の実施の形態では、超音波イメージングシステムは、最も高い線状構造スコアを持つフレームを選択することによって、どのニードルフレームが介入器具の存在を最も顕著に示すかを特定する。ステップ５４３においては、超音波イメージングシステムは、１または複数のニードルフレーム内に構造物が存在することを特定し、ステップ５４４においては、イメージングプローブが線状であるか湾曲しているかを特定する。プローブが湾曲している場合、ステップ５４６で、超音波イメージングシステムは、スキャン変換を行う。ステップ５５０においては、超音波イメージングシステムは、介入器具に対応する線状構造が存在することと、超音波画像内におけるその位置とを特定することができる。特定の実施の形態では、超音波イメージングシステムは、ニードルフレーム５４０、５４１、及び５４２のうちのいずれが強化された線状構造のために使用されるべきかを特定することができ、非選択のニードルフレームを考慮から除外することができる。次いで、超音波イメージングシステムは、複合組織フレーム５３０と同じ視野内の線状構造の辺りに画定されたマスクされた領域を用いて（選択されたニードルフレーム角度で）介入器具を描写する強調された線状構造画像５６０を生成し得る。ステップ５７０では、超音波イメージングシステムは、複合組織フレーム５３０を強化された線状構造５６０とマージして混合画像５８０を生成することができ、該混合画像は、介入器具と、撮像された生体組織の構造に対するその相対位置とを描く。

特定の実施の形態においては、図４に描写されるようなシステムといったものに対する図５のシステムの利点は、ユーザが、ライン構造を描写するためのステアリング角度を特定する必要がないことであり得、また複数のニードルフレームが使用されるので、超音波イメージングシステムは、介在器具を描写するための最良の角度を経時的に動的に特定することができ、必要に応じて使用されたニードルフレーム角度を切り替えることができる。特定の実施の形態では、図５のシステムに対する潜在的な不都合は、３つのニードルフレームが複合組織フレームの各組（該フレームはそれ自体３つのフレームの組み合わせである）毎にキャプチャされなければならないので、図５のシステムは、単一の混合画像を生成するために、少なくとも６つの合計フレームがキャプチャされることを必要とし得て、これは、超音波イメージングシステムのフレームレートを低減させる可能性がある。

図６Ａ～図６Ｃは、超音波イメージングシステムによって混合画像に組み合わせることができるニードルフレームおよび複合組織フレームの例示的な画像を示す。図６Ａは、ニードルフレームを描いており、そこでは、介在器具に対応する線状構造がフレームの中央に見える。特定の実施の形態では、超音波イメージングシステムは、ニードルフレーム内の介入器具の規模（ｅｘｔｅｎｔ）を特定することができる。限定ではなく例として、線状構造の最も左側又は最も右側の部分に対応するｘ座標が特定されてもよい。図６Ｂは、図６Ａに描写されたものと同じ視野に存在する生体組織の構造物を描写する複合組織フレームを描写する。図６Ｃは、図６Ａのニードルフレームと図６Ｂの複合組織フレームとを組み合わせる混合画像を示す。図６Ｃの混合（ｂｌｅｎｄｅｄ）画像を眺めるユーザは、複合組織フレーム内の生体組織の構造物との関連で介入器具を視覚化することができる。

特定の実施の形態では、超音波イメージングシステムは、介入器具が生体組織の構造内に左側から又は右側から挿入されたかを自動的に検出することができる。限定ではなく例として、ユーザは、超音波イメージングシステム上のユーザ入力を介して、関心のある生体組織の特徴と共に介入器具が使用されていることを示すことができる。ユーザは、次いで、介入器具が有効な状態に行使（ａｓｓｅｒｔｅｄ）されている方向を指定することなく、介入器具を挿入することができる。超音波イメージングシステムは、複合組織フレームを生成するための１または複数のＢモードフレーム、加えて介入器具の位置を示す１または複数のニードルフレームを受信することができる。

特定の実施の形態では、超音波イメージングシステムは、Ｂモードフレームのみから介入器具の存在を検出することができる。限定ではなく例として、超音波イメージングシステムは、フレームへのニードルの右側進入に整合するＢモードフレームにおける組織のゆがみを検出することができる。特定の実施の形態では、「左」および「右」側の進入は、ユーザの視点から特定されることができる。特定の実施の形態では、「左」および「右」側の進入は、超音波プローブの視点から特定されてもよい。特定の実施の形態では、組織又は他のものに対する一方向からの進入のための特定の用語は、ユーザがどの用語がどの方向を指すということを一貫して承知している限り、無関係であることが理解されることができる。本出願で説明される例では、「左」および「右」が使用され、またニードルの進入が可能である２つの反対方向を指すと理解されてもよい。別の例として、超音波イメージングシステムは、時間にわたってＢモードフレームを比較し、また介入器具の左側進入に対応する動きを検出することができる。特定の実施の形態では、介入器具の左又は右の進入の検出に基づき、超音波イメージングシステムは、検出された側に対応する角度から１又は複数のニードルフレームを自動的にキャプチャすることができる。限定ではなく一例として、超音波イメージングシステムが、ニードルの左側進入があるということをＢモードフレームから特定する場合、超音波イメージングシステムは、左側進入に適した浅い、中程度の、および急な角度における左側進入の画像に対応する３つのニードルフレーム画像をキャプチャし、次いで、３つの画像すべてを用いて、ニードルに対応する線状構造を特定することができる。

特定の実施の形態では、超音波イメージングシステムは、介入器具の左側又は右側の進入を検出するために１組の探索ニードルフレームを使用することができる。限定ではなく例として、介入器具の検出に先だって、超音波イメージングシステムは、表示のための複合組織フレームを生成するために複数のＢモードフレーム（例えば、３つのＢモードフレーム）を取得し、続いて、左側の中程度の角度のニードルフレームを取得し、次に続いて、右側の中程度の角度のニードルフレームを取得してもよい。別の例として、超音波イメージングシステムは、さらに、第３ニードルフレームをキャプチャすることも可能であって、ここで、第３ニードルフレームは、左側ニードルフレームおよび右側ニードルフレームから循環する。特定の実施の形態では、３つのニードルフレームが続く３つのＢモードフレームをキャップチャするための全体のフレームレートは、超音波イメージングシステムが、ニードルフレームのために最良の角度を自動的に特定する場合のフレームレートに類似してもよく、同様に３つのＢモードフレームおよび３つのニードルフレームも利用する。

特定の実施の形態では、超音波イメージングシステムは、ターゲット組織領域の超音波画像フレームの第１セットをキャプチャすることができ、第１セットは、該ターゲット領域内の組織を描写するための複数のＢモード、カラーモード、又は他の適切な画像フレームに対応する。限定ではなく例として、超音波画像フレームの第１セットのためのステアリング角度は、－１４度、０度および＋１４度であってもよく、この例では、０度が、超音波イメージングシステムの送信ビームが超音波イメージングシステムの超音波トランスデューサに垂直である角度を描写する。正、負、およびゼロのステアリング角の例示的な座標系が、図４および図５に示されている。特定の実施の形態では、特定の方向への「正」のステアリング角及び他の方向への「負」のステアリング角の特定の割り当ては、システム及びユーザが、これらが互いに反対であることを区別できる限り、重要ではない可能性がある。超音波イメージングシステムは、次いで、第１セットに続く第２セットの超音波画像フレームをキャプチャすることができる。第２セットの超音波画像フレームは、第１セットよりも急な勾配であるステアリング角度を使用することができ、これは、ニードルといった介入器具を撮像するためにより適切であり得る。一例として、超音波画像フレームの第２セットは、－３２度、＋２４度、および＋３２度のステアリング角において撮影されることができる。特定の実施の形態では、超音波画像フレームの第２セットは、ゼロ度の第１側（即ち、負のステアリング角）から取られた少なくとも１つのフレームと、反対側の第２側（即ち、正のステアリング角）から取られた少なくとも１つのフレームとを含んでもよい。特定の実施の形態では、超音波画像フレームの第２セットは、引き続く一連のフレームのためのステアリング角度の比を交互にしてもよい。限定ではなく例として、超音波画像フレームの先行の第２セットが－３２度、＋２４度、及び＋３２度を使用した場合、引き続く第２セットは－３２度、－２４度、及び＋３２度を使用することができる。特定の実施の形態では、偶数個の第２組のフレームがキャプチャされ、各第２組は、等しい数の負及び正の角度の超音波画像フレームをキャプチャすることができる。

特定の実施の形態では、超音波画像フレームの第２セットに基づき、超音波イメージングシステムは、ニードルといった介入器具が１又は複数の画像に存在するか否かを特定する。特定の実施の形態では、超音波画像フレームの第２セットのいずれも介入器具を描写しない場合、撮像シーケンスは上述のように継続する。特定の実施の形態では、介入器具が検出される場合、超音波イメージングシステムは、次いで、介入器具が左側進入で描写されるか（例えば、負の角度の画像に描写される）又は右側進入で描写されるか（例えば、正の角度の画像に描写される）を特定することができる。ステアリング角度が（ニードルのシャフトといった）介在器具の主軸に対して垂直またはほぼ垂直であるときに介在器具の画像が強くなる可能性があるので、介在器具は、一方向に他方向（ステアリング角が介在器具と平行で近い方向）よりもはるかに強く描写されることになる。特定の実施の形態では、いったん、方向が選択されると、超音波イメージングシステムは、組織のための超音波画像フレームの第１セットと、介入器具を描写するように撮られた１又は複数の超音波画像フレームとを用いることによって、介入器具を視覚化するために複合組織フレームを生成することができる。特定の実施の形態では、該１又は複数の超音波画像フレームは、第２セットにおいて既にキャプチャされた画像であってもよい。特定の実施の形態では、超音波イメージングシステムは、介入器具をキャプチャするために追加の画像が必要であることを特定することができる。超音波イメージングシステムは、第２セットの画像と比較して、介入器具をより良く描写することができる追加の画像のための新しいステアリング角を特定することができる。

特定の実施の形態では、介在機器および介在機器の進入方向を検出すると直ぐに、超音波イメージングシステムは、引き続く画像のために、超音波画像フレームの第２セットの方向およびステアリング角を調整してもよい。例えば、事前の画像セットが、介入器具が＋３２度で最も良くキャプチャされた右側進入で検出されることを示す場合、そのとき超音波イメージングシステムは、介入器具を描写する複合組織フレームと融合するために、正の方向にのみ引き続く第２セットをキャプチャすることができ、または＋３２度ステアリング角を常に含むことができる。この例では、超音波イメージングシステムは、キャプチャされた負のステアリング角のフレーム（すなわち、左側の進入と整合する）の数を除くことができ、これは、介入器具が既に右側進入で検出されているからである。特定の実施の形態では、超音波イメージングシステムは、いったん右側進入が特定されると、第２セットのための左側フレームのキャプチャを停止し、また前方に移動する右側進入のフレームのみをキャプチャする。特定の実施の形態では、超音波イメージングシステムは、複数の第２セットが介入器具が存在すること及び進入方向を確認するまで、超音波画像フレームの第２セットをキャプチャするために通常のプロセスを続ける。限定ではなく例として、超音波画像フレームの第２セットの１つが左側進入を示す場合、超音波画像フレームの引き続く２つのセットが左側進入を示すまで、超音波イメージングシステムは、介入器具の左側進入が存在することを依然として特定できない。

特定の実施の形態では、以下のことがさらに有利であり得る：超音波イメージングシステムが、介入器具が視野内に導入されたことをユーザからの入力が示すことなしに、介入器具が生体組織の画像の視野内に存在するかどうかを自動的に検出すること。特定の実施の形態では、介入器具の自動検出は、介入器具の左側または右側の進入の自動決定、および最適なニードルフレームとしての浅い、中程度の、または急勾配の角度の自動識別と組み合わされることができる。そのような実施の形態の利点は、ユーザが、介在器具を撮像することを開始するために、いかなる追加の入力を提供する必要がないことであり得、いったんユーザが、介在器具を挿入すると、超音波イメージングシステムは、器具を検出し、方向および角度を特定し、適切な方向および角度でニードルフレームをキャプチャすることによって線状構造を検出し、並びに表示のための混合画像を生成する、ことができる。

特定の実施の形態では、自動検出は、超音波イメージングシステムに、Ｂモードフレームに加えて、少なくとも１つのニードルフレーム画像を常にキャプチャさせることによって実行されてもよい。特定の実施の形態では、超音波イメージングシステムは、いったん介入器具が存在することを特定すると、進入方向を特定するために追加のニードルフレームのキャプチャを開始することができ、また介入器具を撮像するための最適な角度を識別することができる。特定の実施の形態では、介入器具の自動検出は、ニードルフレームなしで、Ｂモードフレームのみの分析によって開始されてもよい。限定ではなく例として、ニードルは、正確な視覚化および表示には十分な品質ではないが、介入器具が挿入されたこと及びどの方向から挿入されたかを特定するための十分な品質で、角度付きＢモードフレーム（例えば、＋１５度）上において検出されてもよい。

特定の実施の形態では、超音波イメージングシステムは、ニードルフレーム画像を利用することなく、介入器具が生体組織の画像に存在するかどうかを特定するために１又は複数の分類器アルゴリズムを利用してもよい。特定の実施の形態では、分類器アルゴリズムは、超音波画像を分析するために、人工知能、機械学習、ニューラルネットワーク、又は任意の他の適切なアルゴリズムに頼ることができる。限定ではなく例として、分類器アルゴリズムは、周囲の組織に影響を及ぼす介入器具の移動に起因して経時的に生じる生体組織の画像における組織のゆがみを検出することができる。限定ではなく別の例として、分類器アルゴリズムは、生体組織の画像における非周期的な時間的変化を描く画像を、介入器具を潜在的に含むものとして分類するように訓練されてもよい。このような例では、分類器アルゴリズムは、生体組織の画像における経時的な変化が（心拍のようである）周期的な動きによるものであるかどうかを特定し、またそれらの動きを無視する。特定の実施の形態では、分類器アルゴリズムは、介入器具の挿入に対応する生体組織の構造の時間的変化を検出するための正のフィードバックと、血流、心拍、又は筋肉運動といった他の要因による時間的変化を検出するための負のフィードバックとを受けてもよい。

特定の実施の形態では、訓練された（訓練済み、学習済み）分類器アルゴリズムは、ニューラルネットワークに基づいてもよい。当技術分野でよく理解されているように、ニューラルネットワークは、複数の個々の「ニューロン」アルゴリズムを含み、各ニューロンは、特定の入力を検出すると共に入力が検出されたときに値を出力するように訓練される。ニューラルネットワークは、並列して動作する多数のニューロンと、前の層からの入力を反復的に受信すると共に引き続く層に出力を提供する多数のニューロンの層とを有することができる。限定ではなく例として、ニューラルネットワークは、多数の画像と、加えて、介入器具が存在するかどうか、どの方向、およびどのニードルフレーム角度が適切であるかを示す情報とを入力することによって、介入器具の左または右の進入を検出することを検知するように訓練されてもよい。入力画像に基づく出力が各画像について知られた情報に対応するようにニューロンを訓練することによって、ニューラルネットワークは、今後の画像を受信すると共に本明細書で説明された分類器アルゴリズムを実行するように訓練され（学習され）得る。特定の実施の形態では、分類器アルゴリズムを開発するためにニューラルネットワークを使用することは、十分な数のラベル付けされた訓練（トレーニング、学習）画像が与えられると、訓練プロセスが完全に自動化されることを可能にする。特定の実施の形態では、十分な訓練画像及び訓練用のフィードバックが与えられると、ニューラルネットワークは、介入器具及びその進入方向を検出するために関連している可能性のある超音波画像における任意の他の入力を、そのような入力を探すためにユーザからの明示の入力を必要とすることなく、検出することができる。特定の実施の形態では、訓練済み（トレーニング済み、学習済み）分類器アルゴリズムを使用することは、介在器具の存在、その方向を自動的に検出する際に、及び介在器具を画像化するためのニードルフレーム角度を選択する際に、超音波イメージングシステムに技術的改良を提供し得る。

特定の実施の形態では、分類器アルゴリズムは、介入器具が存在するかどうかを検出するためにのみ訓練されてもよい。特定の実施の形態では、分類器アルゴリズムは、また、介入器具の左又は右の進入を識別するように訓練されてもよい。限定ではなく例として、分類器アルゴリズムは、超音波画像を分析すると共に０から１の範囲のスコアを返すことができ、ここで、０は「左」を示し、１は「右」を示す。この例では、０から１の間のスコアは、介入器具が左または右にある可能性を表すことができる。特定の実施の形態では、分類器アルゴリズムは、介入器具が存在するかを特定する第１ステップを有することができ、次に、第２ステップにおいて、介入器具が存在する場合、そのときは、上述したように、介入器具の左側又は右側の進入があるかどうかに対応するスコアを特定する。そのような実施の形態では、第１ステップでは、介入器具が検出されない場合、第２ステップに進む必要がない場合がある。特定の実施の形態では、閾値スコアは、左側又は右側の進入があることを特定するために要求される。限定ではなく例として、０が「左」に対応すると共に１が「右」に対応する場合、そのときは、分類器アルゴリズムからのスコアが０．２５未満である場合に左側進入が特定され、分類器アルゴリズムからのスコアが０．７５より大きい場合、右側進入が特定され得る。閾値は、超音波イメージングシステムによって自動的に調整されてもよいし、或いはユーザによって設定されてもよい。特定の実施の形態では、左側又は右側の進入の特定は、複数のフレーム関して閾値スコアが満たされることを要求する。限定ではなく例として、超音波イメージングシステムによってキャプチャされた３つの連続するフレームが、左側進入のための閾値範囲内における分類器アルゴリズムからのスコアを返すまで、左側進入は特定されない。別の例として、右側進入は、Ｙ個の直近のフレーム内のＸ個のフレームが右側進入の閾値範囲内のスコアを有する場合に特定されてもよい。そのような場合、超音波イメージングシステムによってキャプチャされた最後の１０個のフレームのうちの８個が、右側進入に対応するスコアを示す場合、そのときは、分類器アルゴリズムは、介入器具の右側進入があったことを特定することができる。特定の実施の形態では、分類器アルゴリズムは、フレーム毎に進入を特定することができる。特定の実施の形態では、スコアが分類器アルゴリズムによって特定されるが左側又は右側進入のいずれに対しても閾値スコアが満たされない場合、分類器アルゴリズムは、介入器具が実際に存在しないことを特定する。特定の実施の形態では、閾値スコアが満たされない場合、分類器アルゴリズムは、介入器具が存在することを確認すると共に進入の方向を特定するために、追加の画像がキャプチャされると共に分析されなければならないことを特定することができる。特定の実施の形態では、分類器アルゴリズムは、浅い、中程度の、及び急峻なニードルフレームのうちのどれが複合画像の生成に最も適切であり得るかを識別するように更に訓練されることができる。

特定の実施の形態では、トレーニング画像のセットが、分類器アルゴリズムを訓練するために使用される。限定ではなく例として、模擬された超音波画像が、ＭＡＴＬＡＢ又は他の適切なプログラムを介して生成されてもよく、この結果、該模擬された超音波画像内のデータが、組織内の介入器具を表す画像に対応する。訓練画像のセットは、トランスデューサに対する様々な角度で介入器具を描写することができる。特定の実施の形態では、訓練画像のセットは、実際の組織画像上に重ね合わされた模擬されたニードル画像を含むようにしてもよい。特定の実施の形態では、訓練画像のセットは、有機組織内に置かれた介入器具の本来の位置（インスィトゥー、ｉｎ ｓｉｔｕ）の画像を含むことができる。特定の実施の形態では、訓練画像のセットは、訓練されている分類器アルゴリズムのタイプに特有のものである。限定ではなく例として、分類器アルゴリズムが、角度付きＢモード画像（例えば、－１５度及び＋１５度）内に介入器具を検出するように訓練されているならば、該訓練画像のセットは、介入器具を有する又は有さないかもしれないラベル付きＢモード画像を含んでもよい。限定ではなく別の例として、第１複合組織フレームと、直近の連続する複合組織フレームとの間の差分フレームにおける組織のゆがみを検出するために訓練されている分類器アルゴリズムに関して、該訓練画像のセットは、ラベル付き差分フレームを含むことができる。

図７は、介入器具が存在することを自動的に検出し、介入器具が左から入っているか右から入っているかを検出し、適切なニードルフレーム角度を特定し、及び組織画像と器具との混合画像を生成するための例示的なシステムを示す。超音波イメージングシステムは、複数のＢモードフレーム７１０をキャプチャする。限定ではなく例として、－１４度、０度及び＋１４度における３つのＢモード画像がキャプチャされることができる。別の例として、５つのＢモード画像、すなわち、左から角度付けられた２つ、右から角度付けられた２つ、および０度の１つが、キャプチャされることができる。ステップ７２０において、超音波イメージングシステムは、複数のＢモードフレーム７１０を合成して、複合組織フレーム７３０にすることができる。特定の実施の形態では、複合組織フレーム７３０は、関心のある生体組織構造を示す。特定の実施の形態では、複数のＢモード画像７１０をキャプチャしている間に、介入器具が存在してもよい。

図７の例では、第１分類器アルゴリズム７４０が、入力として複合組織フレーム７３０を受信することができ、また介入器具が存在するかどうかを特定することができる。限定ではなく例として、第１分類器アルゴリズム７４０は、複合組織フレームにおけるゆがみを検出することができ、該ゆがみが介入器具の存在に対応することを特定することができる。限定ではなく別の例として、第１分類器アルゴリズム７４０は、介入器具が存在することを特定するために、複合組織フレームにおける線状構造を検出してもよい。介入器具が存在するという特定すると直ぐに、第１分類器アルゴリズム７４０は、介入器具が左側又は右側であるかを示す値を出力することができる。特定の実施の形態では、この出力は、投票アルゴリズム７５０に送られる。

複合組織フレーム７３０は、さらに、超音波イメージングシステムによってキャプチャされまた表示された以前の組織フレームと比較されてもよい。限定ではなく例として、以前の組織フレームは、現在の複合組織フレーム７３０に先立っており時間における最も近接する複合組織フレームであってもよい。この比較に基づいて、超音波イメージングシステムは、複合組織フレームの時間的変化を表すフレーム差分７４２を生成することができる。フレーム差分７４２は、第２分類器アルゴリズム７４４に入力されることができ、該第２分類器アルゴリズムは、組織における時間的変化に基づき介入器具を検出するように訓練される。限定ではなく例として、複合組織フレーム７３０と以前の組織フレームとの間の組織のゆがみは、介入器具の存在及びその位置を示す。特定の実施の形態では、２つの組織フレームの比較は、時間において連続するフレームとしてキャプチャされた２つのフレームを伴うことができる。特定の実施の形態では、比較は、設定された時間量又は設定されたフレーム量によって分離される２つの組織フレームを使用することができる。特定の実施の形態では、比較のための２つの組織フレームの選択は、超音波イメージングシステムの現在の画像キャプチャ設定に基づき、超音波イメージングシステムによって自動的に設定されてもよい。特定の実施の形態では、ユーザは、比較されている（比較中の）２つの組織フレーム間の区別のためのパラメータを入力することができる。

特定の実施の形態では、第２分類器アルゴリズム７４４は、複合組織フレーム７３０よりもむしろＢモードフレーム７１０を用いて差分を検出することができる。限定ではなく例として、第２分類器アルゴリズム７４４は、＋１４度で取得された最近のＢモードフレームと＋１４度で取得された先立つＢモードフレームとの間の変化を検出することができ、介在部材に対応する変化が検出され得るかを特定する。第２分類器アルゴリズム７４４は、介入器具が左に又は右にあるかを示すスコアを出力することができ、またその出力を投票アルゴリズム７５０に送ることができる。特定の実施の形態では、第２分類器アルゴリズム７４４は、介入器具を検出しない場合、投票アルゴリズム７５０に出力スコアを送らないことがあり得る。特定の実施の形態では、介入器具が検出されない場合、第２分類器アルゴリズム７４４は、介入器具を検出しなかったことを投票アルゴリズム７５０に肯定的に示す。

複数のＢモードフレーム７１０は、第３分類器アルゴリズム７１５に送られてもよい。
第３分類器アルゴリズム７１５は、線状構造が最も急な角度のＢモードフレームを用いて検出され得るか否かを特定することができる。限定ではなく例として、複数のＢモードフレームは、－１２度、－６度、０度、＋６度、及び＋１２度でキャプチャされたフレームを含むことができる。そのような例では、第３分類器アルゴリズム７１５は、－１２度および＋１２度でキャプチャされたフレームを検討することができる。第３分類器アルゴリズム７１５は、検討されたＢモードフレームが、上述のように、介入機器を明確に描写するか否かを特定することができる。第３分類器アルゴリズム７１５が、介入器具が存在することを、例えば、１若しくは複数のＢモードフレームにおける組織の歪みの検出又は線状構造の検出を介して特定する場合、介入器具が左へまたは右へのどちらにあるかを示すスコアを出力してもよく、またその出力を投票アルゴリズム７５０に送ってもよい。特定の実施の形態では、第３分類器アルゴリズム７１５は、第１分類器アアルゴリズム７４０と同じであり、両者は、１又は複数のフレームにおける組織のゆがみ又は線状構造を検出するように訓練される。

特定の実施の形態では、投票アルゴリズム７５０は、第１分類器アルゴリズム７４０、第２分類器アルゴリズム７４４、および第３分類器アルゴリズム７１５からの出力を受信することができ、分類器アルゴリズムの各々は、介在機器が存在するかどうか、およびどの方向からの特定を含む出力値を提供した。特定の実施の形態では、投票アルゴリズム７５０は、介入器具が配置された最も可能性の高い方向及び最も適切な角度を特定するために、分類器アルゴリズムからの出力の加重平均を特定することができる。特定の実施の形態において、投票アルゴリズム７５０は、それ自体、分類器アルゴリズムから受けた特定の入力に基づき、方向および角度に関するある特定の値を出力するように訓練された可能性がある。特定の実施の形態では、投票アルゴリズム７５０は、ある期間にわたって進入の方向に対応する平均値を計算することができ、これは、時間にわたる画像における任意の偽陽性の主要因であることができる。限定ではなく一例として、投票アルゴリズム７５０が、介入器具が右から挿入されている超音波画像の５０セットの連続したセットを特定する場合、そのときは、２セットの超音波画像に関して、投票アルゴリズム７５０は、介入器具が左にあることを特定し、次いで、超音波画像の引き続くセットに関して、介入器具が右に検出され、投票アルゴリズム７５０は、該左側にあると特定された２セットが実際には偽陽性であることを特定し、そして、この期間を通して右側進入のニードルフレームをキャプチャすることを続ける。特定の実施の形態では、投票アルゴリズム７５０は、分類器アルゴリズムから、介入器具がその時点で存在しないことを特定することができ、ニードルフレームが必要でないことを特定することができる。特定の実施の形態では、介入器具がないという特定は、超音波画像の十分な数の連続したセットが介入器具を示さない場合にのみ特定され、その結果、偽陰性が取り除かれる（ｓｍｏｏｔｈ ｏｕｔ）ことができる。

ステップ７５５において、投票アルゴリズム７５０は、超音波イメージングシステムの信号経路制御（ＳＰＣＴＬ：ｓｉｇｎａｌ ｐａｔｈ ｃｏｎｔｒｏｌ）を適応的に制御してもよい。ＳＰＣＴＬは、介入器具に特に適した角度において左または右のニードルフレーム７６０をキャプチャするために、超音波イメージングシステムのフレームシーケンサを更新するように使用されてもよい。特定の実施の形態では、投票アルゴリズム７５０の出力に基づき、１つのニードルフレーム７６０のみが、混合された画像を提供するために必要である。特定の実施の形態では、投票アルゴリズム７５０の出力に基づき、超音波イメージングシステムは、介入器具を視覚化するためにニードルフレームが必要でないことを特定することができる。限定ではなく例として、投票アルゴリズム７５０は、複合組織フレーム（及び第３分類器アルゴリズム）に使用された急峻なＢモードフレームが線状構造の検出に十分であることを特定することができる。

ステップ７６５では、介在機器の可視化のためにキャプチャされたニードルフレーム７６０に基づき、超音波イメージングシステムは、ニードルフレーム７６０内に線状構造が存在するか否かを特定することができる。超音波イメージングシステムは、引き続いて、増強された線状構造７７０を生成することができ、該線状構造は、組織フレームに登録されている（ｒｅｇｉｓｔｅｒｅｄ）。ステップ７８０では、混合組織フレーム７３０および増強された線状構造７７０が結合されて、混合された画像７９０になり、これらは、次いで、表示されてもよい。

特定の実施の形態は、必要な場合には、図７に開示される１又は複数のステップを繰り返してもよい。本開示は、図７の方法の特定のステップを特定の順序で生じるものとして説明しまた例示するけれども、本開示は、任意の適切な順序で生じる図７の方法の任意の適切なステップを予定する。さらにまた、本開示は、図７の方法の特定のステップを実行する特定のコンポーネント、デバイス、またはシステムを説明しまた例示するけれども、本開示は、図７の方法の任意の適切なステップを実行する任意の適切なコンポーネント、装置、またはシステムの任意の適切な組み合わせを予定する。

特定の実施の形態では、介入器具の常時オン検出、および介入器具の自動の左右進入の検出を利用する本発明は、混合画像が生成されることができるフレームレートを改善することによって、以前のニードル進入検出システムを上回る利点を提供することができる。限定ではなく例として、器具の視覚化中にキャプチャされなければならないニードルフレームの数を１または０フレーム（３つ以上のフレームから）に低減することによって、混合されたフレームにおける使用のためのニードルフレームをキャプチャするために、より短い時間が必要とされて、超音波撮像のフレームレートを効果的に増大させる。特定の実施の形態では、混合された画像のフレームレートは、必要とされるニードルフレームの減少量に正比例して改善されることができる。特定の実施の形態では、本発明の別の利点は、（１）介入器具が使用されるであろうということ、及び（２）器具が挿入されている方向、を指定することへユーザが注意をそらすことの必要ないことによる、超音波イメージングシステムを使用する際における改善されたユーザ体験、であってもよい。

本明細書で説明される主題および動作は、デジタル電子回路類において、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて、又はそれらの１若しくは複数の組合せにおいて実施され得、これらデジタル電子回路類、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアは、本明細書で開示される構造およびそれらの構造的等価物を含む。本明細書で説明される主題の実施の形態は、１又は複数のコンピュータプログラム、すなわち、コンピュータプログラム命令の１又は複数のモジュールとして実装され得、コンピュータプログラム命令は、データ処理装置による実行のための、又はデータ処理装置の動作を制御するための、コンピュータ記録媒体上に符号化される。

コンピュータ記憶媒体は、コンピュータにより可読な記録装置、コンピュータにより可読な記録基板、ランダム若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はそれらの１若しくは複数の組み合わせ、であることができ、或いはそれらに含まれてもよい。さらにまた、コンピュータ記録媒体は伝搬信号ではない一方で、コンピュータ記録媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令の発信源又は目的地であることができる。コンピュータ記録媒体は、また、１又は複数の別個の物理的コンポーネント又は媒体（例えば、複数のＣＤ、ディスク、又は他の記録デバイス）であることができ、或いはそれらに含まれてもよい。

用語「プロセッサ」は、データを処理するためのすべての種類の装置、デバイス、および機械を包含しており、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、又は前述の複数のもの若しくはそれらの組合せ物を含む。装置は、特殊目的論理回路、例えば、ＦＰＧＡ （フィールドプログラマブルゲートアレイ）又はＡＳＩＣ （特定用途向け集積回路）を含むことができる。この装置は、また、ハードウェアに加えて、当該コンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はそれらの１若しくは複数の組み合わせ物を構成するコード、を含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャ、といった様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイル型（ｃｏｍｐｉｌｅｄ）またはインタープリタ型（ｉｎｔｅｒｐｒｅｔｅｄ）言語、宣言型言語または手続き型言語を含む任意の形式のプログラミング言語で記載されることができ、それは、スタンドアロンプログラムとして、又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、オブジェクト、若しくはその他のユニットとして含む任意の形式で展開されることができる。コンピュータプログラムは、必要ではないが、ファイルシステム内のファイルに対応することができる。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に格納された１又は複数のスクリプト）を保持するファイルの一部に、当該プログラムに専用の１若しくは複数のファイル、又は複数の調整されたファイル（例えば、１若しくは複数のモジュール、サブプログラム、若しくはコードの一部を格納するファイル）に格納されてもよい。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに配置される、若しくは複数のサイトに分散されると共に通信ネットワークによって相互接続される複数のコンピュータ上で、実行されるように展開されることができる。

本明細書で説明されるプロセスおよび論理フローは、入力データに対して動作すると共に出力を生成することによってアクションを実行するために、１または複数のコンピュータプログラムを実行する１または複数のプログラマブルプロセッサによって実行され得る。プロセスおよび論理フローは、同様に、特殊目的論理回路類、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）、によって実行されることができ、また、装置は、特殊目的論理回路類、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）、として実装されることができる。

コンピュータプログラムの実行に適したプロセッサは、限定ではなく例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方を含むことができる。コンピュータプログラム命令およびデータを格納するために適したデバイスは、すべての形態の不揮発性メモリ、媒体、およびメモリ装置を含むことができ、これらは、限定ではなく例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリ装置；磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク；光磁気ディスク；並びにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭのディスクを含む。プロセッサおよびメモリは、特殊用途論理回路類によって補足されてもよく、または特殊用途論理回路類に内蔵されてもよい。

上記から、本発明の特定の実施の形態が例示の目的で本明細書に記載されているが、本発明の範囲から逸脱することなく様々な修正が為されることができることを理解されたい。したがって、本発明は、添付の特許請求の範囲によって限定される以外には、限定されない。

Claims (14)

1. 超音波イメージングシステムは画像プロセッサを備え、該画像プロセッサは：
   複数の超音波画像フレームを受信することであって、前記複数の超音波画像フレームの各々はターゲット領域のものである、複数の超音波画像フレームを受信する；
   前記複数の超音波画像フレームから複合組織フレームを生成する；
   介入器具を検出するように訓練された１又は複数の分類器アルゴリズムに基づき、前記介入器具が前記複数の超音波画像フレーム内に存在するかどうかを特定することであって、前記１又は複数の分類器アルゴリズムは、非周期的な時間的変化を描く画像を、前記複数の超音波画像フレームに前記介入器具を含むものとして分類するように訓練された分類器アルゴリズムを含む、前記介入器具が前記複数の超音波画像フレーム内に存在するかどうかを特定する；
   前記介入器具が前記複数の超音波画像フレームに存在する場合、追加の画像フレームが前記介入器具を描写するために必要であるかどうかを特定する；
   追加の画像フレームが必要であると特定される場合、前記追加の画像フレームの角度を特定すると共に特定された前記角度において前記追加の画像フレームをキャプチャする；
   前記複数の超音波画像フレームおよび／または前記追加の画像フレームに基づき、前記介入器具に対応する線状構造を特定する；及び
   前記介入器具を描写する混合画像フレームを生成するために、前記線状構造を前記複合組織フレームと複合する、
   ように構成される、
   超音波イメージングシステム。
2. 前記画像プロセッサは、前記介入器具の前記線状構造が前記複数の超音波画像フレームから特定され得る場合、前記追加の画像フレームが前記介入器具を描写するために必要とされないことを特定するように構成される、
   請求項１に記載の超音波イメージングシステム。
3. 前記複数の超音波画像フレームは：
   ０度のステアリング角度でキャプチャされた少なくとも１つの超音波画像フレーム；及び
   －１５度から＋１５度の間のステアリング角度でキャプチャされた少なくとも１つの追加の超音波画像フレーム、
   を備える、
   請求項１に記載の超音波イメージングシステム。
4. 前記１又は複数の分類器アルゴリズムは、
   前記複数の超音波画像フレームのうちの１若しくは複数、又は
   前記複合組織フレーム、
   内における組織のゆがみの検出又は線状構造の検出に基づき、前記介入器具が存在するかどうかを特定するように訓練された第１分類器アルゴリズムを備える、
   請求項１に記載の超音波イメージングシステム。
5. 前記１又は複数の分類器アルゴリズムは、前記超音波イメージングシステムによってキャプチャされた先立つ組織フレーム及び前記複合組織フレームから発生された差分フレームにおいて検出された動きに基づき、前記介入器具が存在するかどうかを特定するように訓練された第２分類器アルゴリズムを備える、
   請求項１に記載の超音波イメージングシステム。
6. 前記１又は複数の分類器アルゴリズムからの複数の出力が、前記介入器具が存在する可能性を特定するために組み合わされる、
   請求項１に記載の超音波イメージングシステム。
7. 前記複数の出力の組み合わせは、前記複数の出力の加重平均を含む、
   請求項６に記載の超音波イメージングシステム。
8. コンピュータにより読み取り可能な一時的でない１又は複数の記録媒体であって、前記記録媒体は、１又は複数のコンピューティングデバイスによって実行されるときに動作可能な、超音波イメージングシステムのソフトウェアを：
   複数の超音波画像フレームを受信することであって、前記超音波画像フレームの各々はターゲット領域のものである、複数の超音波画像フレームを受信すること；
   前記複数の超音波画像フレームから複合組織フレームを作成すること；
   介入器具を検出するように訓練された１又は複数の分類器アルゴリズムに基づき、前記介入器具が前記複数の超音波画像フレームに存在するかどうかを特定することであって、前記１又は複数の分類器アルゴリズムは、非周期的な時間的変化を描く画像を、前記複数の超音波画像フレームに前記介入器具を含むものとして分類するように訓練された分類器アルゴリズムを含む、前記介入器具が前記複数の超音波画像フレームに存在するかどうかを特定すること；
   前記介入器具が前記複数の超音波画像フレームに存在する場合、追加の画像フレームが前記介入器具を描写するために必要であるかどうかを特定すること；
   追加の画像フレームが必要であると特定される場合、前記追加の画像フレームの角度を特定すると共に、特定された前記角度において前記追加の画像フレームをキャプチャすること；
   前記複数の超音波画像フレーム及び／又は前記追加の画像フレームに基づき、前記介入器具に対応する線状構造を特定すること；及び
   前記介入器具を描写する混合画像フレームを生成するために、前記線状構造を前記複合組織フレームと複合させる、
   ように具体化する、
   記録媒体。
9. 前記コンピューティングデバイスは、前記介入器具の前記線状構造が前記複数の超音波画像フレームから特定され得る場合に、前記追加の画像フレームが前記介入器具を描写するために必要とされないことを特定するように構成される、
   請求項８に記載の記録媒体。
10. 前記複数の超音波画像フレームは：
    ０度のステアリング角度でキャプチャされた少なくとも１つの超音波画像フレーム；及び
    －１５度から＋１５度の間のステアリング角度でキャプチャされた少なくとも１つの追加の超音波画像フレーム、
    を含む、
    請求項８に記載の記録媒体。
11. 前記１又は複数の分類器アルゴリズムは：
    前記複数の超音波画像フレームのうちの１若しくは複数；又は
    前記複合組織フレーム、
    内における組織のゆがみの検出に基づき、前記介入器具が存在するかどうかを特定するように訓練された第１分類器アルゴリズムを備える、
    請求項８に記載の記録媒体。
12. 前記１又は複数の分類器アルゴリズムは、前記超音波イメージングシステムによってキャプチャされた先立つ組織フレーム及び前記複合組織フレームから生成された差分フレームにおいて検出された動きに基づき、前記介入器具が存在するかどうかを特定するように訓練された第２分類器アルゴリズムを備える、
    請求項８に記載の記録媒体。
13. 前記１又は複数の分類器アルゴリズムからの複数の出力が、前記介入器具が存在する可能性を特定するために組み合わされる、
    請求項８に記載の記録媒体。
14. 前記複数の出力の組み合わせは、前記複数の出力の加重平均を含む、
    請求項１３に記載の記録媒体。