JP6947759B2 - 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 - Google Patents

Description

（関連出願の相互参照）
本出願は、米国特許仮出願第６２／３５９、７２６号（２０１６年７月８日出願）、同第６２／４２９、１５７号（２０１６年１２月２日出願）、及び同第６２／５００、７５０号（２０１７年５月３日出願）に基づく優先権を主張するものである。

（技術分野）
本発明は、医用イメージングの分野における解剖学的対象物の検出に関し、特に、ディープラーニングアルゴリズムを用いて、解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法に関する。

解剖学的対象物の検出及びセグメンテーションは、診断、患者の層別化、治療計画、治療介入、及び／または経過観察のために臨床イメージングワークフローを支援する医用イメージングにおいて欠かせないタスクである。したがって、解剖学的対象物及びその周囲組織の検出及びセグメンテーションを迅速かつロバストに行うことが重要である。

医用イメージングにおける解剖学的検出及びトラッキングについての問題を解決するための、従来のアプローチに基づく様々なシステム、例えばコンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、超音波、蛍光透視像視などに基づく様々なシステムが存在する。しかしながら、このようなシステムを使用した解剖学的対象物の検出は、とりわけ、解剖学的対象物が生体構造、形状、及び／または外観において大きなバラツキを示すことや、医用画像におけるノイズ及びアーチファクトなどの、いくつかの検出上の困難な問題に関しては、必ずしもロバストではない。例えば、特定の神経ブロック処置では、医師が、超音波画像化システムによって標的神経束を迅速かつ正確に位置特定するのが困難である場合が多い。

したがって、本開示は、既存の画像化システムによって実行することができるディープラーニングアルゴリズムを用いて、解剖学的対象物（例えば、神経束）を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法を対象とする。

本発明の目的及び利点は、その一部が以下の説明に記載されており、あるいは以下の説明から明らかであり、あるいは本発明の実施により学ぶことができるであろう。

一態様では、本発明は、画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションする方法に関する。本開示の方法は、解剖学的対象物及びその周囲組織を含む画像をプロセッサに提供するステップを含む。また、本開示の方法は、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に検出するための、１または複数の畳み込み型ニューラルネットワークを含むパラメータ空間ディープラーニングネットワークを開発し、訓練するステップを含む。さらに、本開示の方法は、別の畳み込み型ニューラルネットワークを用いて、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップを含む。加えて、本開示の方法は、画像中の解剖学的対象物及びその周囲組織を自動的にラベル付けするステップを含む。そして、本開示の方法は、ラベル付けされた画像をユーザに対して表示するステップを含む。

一実施形態では、少なくとも１つの解剖学的対象物及びその周囲組織は、患者の任意の解剖学的構造体及び／またはその周囲組織を含み得る。そのようなものとしては、これに限定しないが、例えば、腕神経叢、斜角筋間筋、胸鎖乳突筋、中斜角筋、前斜角筋、鎖骨上筋、鎖骨下筋、腋窩筋、腰神経叢、腸骨筋膜、大腿神経、坐骨神経、外転筋管、膝窩神経、膝窩動脈、膝窩筋、伏在静脈、伏在神経、肋間腔、腹横筋膜面、または胸部傍脊椎腔などが挙げられる。

別の実施形態では、本開示の方法は、解剖学的対象物及びその周囲組織を含む画像のパラメータ空間を自動的に検出するディープラーニングネットワークを、グランドトゥルースデータを使用して訓練するステップを含む。より具体的には、ある実施形態では、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に検出するディープラーニングネットワークを開発し、訓練するステップは、複数の患者から、解剖学的対象物及びその周囲組織の画像データセットをスキャンし、収集するステップと、グランドトゥルースデータを生成するために、ユーザ（例えば、医療専門家）の入力に基づいて画像データセットに注釈を付けるステップと、画像データセット及びグランドトゥルースデータを、訓練データセット及び妥当性確認データセットに分割するステップと、訓練データセットを使用してディープラーニングネットワークを訓練するステップと、を含む。

さらなる実施形態では、訓練データセットを使用してディープラーニングネットワークを訓練するステップは、ディープラーニングネットワークの出力とグランドトゥルースデータとの間の誤差を最小化するためにコスト関数を最適化するステップを含む。より具体的には、ある実施形態では、誤差を最小化するためにコスト関数を最適化するステップは、グランドトゥルースデータの一部を反復処理し、ディープラーニングネットワークの出力とグランドトゥルースデータとの間の誤差に基づいてディープラーニングネットワークの１以上のパラメータを調整する確率的勾配降下（ＳＧＤ）アルゴリズムを使用するステップを含む。

さらに別の実施形態では、本開示の方法は、ディープニューラルネットワークが一般化されるようにするために、コスト関数の最適化後に、ディープラーニングネットワークをリアルタイムで使用して妥当性確認データの予測を自動的に提供し、予測をグランドトゥルースデータと比較するステップを含む。

さらなる別の実施形態では、グランドトゥルースデータを作成するために、ユーザ入力に基づいて画像データセットに注釈を付けるステップは、各画像データセット中の解剖学的対象物及びその周囲組織を手動で識別し、注釈を付けるステップを含む。

さらなる実施形態では、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップは、セマンティックセグメンテーションによって解剖学的対象物及びその周囲組織をセグメンテーションするステップを含む。

別の実施形態では、本開示の方法はまた、解剖学的対象物及びその周囲組織を含む画像のパラメータ空間を自動的に検出するためのディープラーニングネットワークを、オフラインで最初に訓練するステップを含む。さらに別の実施形態では、本開示の方法は、記解剖学的対象物及びその周囲組織を含む画像のパラメータ空間を自動的に検出するためのディープラーニングネットワークを、オンラインで継続的に訓練するステップを含む。

別の実施形態では、画像中の解剖学的対象物及びその周囲組織を自動的にラベル付けするステップは、画像中の少なくとも１つの解剖学的対象物及びその周囲組織の輪郭を描くこと（アウトラインニング）及び陰影を付けること（シェーディング）の少なくとも一方、または、少なくとも１つの解剖学的対象物及びその周囲組織の各々の上に記述的ラベルを重畳することを含む。

さらに別の実施形態では、別の畳み込み型ニューラルネットワークを用いて、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップは、画像から解剖学的対象物の周囲の関心領域を抽出するステップを含む。

さらなる別の実施形態では、解剖学的対象物及びその周囲組織を含む画像は、プロセッサに提供される前に、自動的にクロッピング（トリミング）される。

別の態様では、本開示は、画像化システムに関する。より具体的には、ある実施形態では、本開示の画像化システムは、超音波画像化システム、コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴画像化（ＭＲ）スキャナなどであり得る。加えて、本開示の画像化システムは、１以上のステップを実行するように構成された少なくとも１つのプロセッサと、ユーザディスプレイとを備える。より具体的には、上記の１以上のステップは、これに限定しないが、少なくとも１つの解剖学的対象物及びその周囲組織を含む画像を受け取るステップと、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に検出するための、１または複数の畳み込み型ニューラルネットワークを含むパラメータ空間ディープラーニングネットワークを開発し、訓練するステップと、別の畳み込み型ニューラルネットワークを用いて、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップと、画像中の解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、を含む。ユーザディスプレイは、ラベル付けされた画像をユーザに対して表示するように構成されている。

別の実施形態では、ディープラーニングネットワークは、１または複数の畳み込み型ニューラルネットワーク、１または複数の再帰型ニューラルネットワーク、または任意の他の適切なニューラルネットワークを含む。本開示の画像化システムは、本明細書で説明された任意の方法ステップ及び／またはフューチャを実施するようにさらに構成され得ることを理解されたい。

さらに別の態様では、本開示は、画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションする方法に関する。本開示の方法は、解剖学的対象物及びその周囲組織を含む画像をプロセッサに提供するステップを含む。また、本開示の方法は、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に検出するためのパラメータ空間ディープラーニングネットワークを開発し、訓練するステップを含む。さらに、本開示の方法は、１または複数のディープラーニングアルゴリズムを用いて、画像のパラメータ空間内の解剖学的対象物及びその周囲組織を自動的に位置特定及びセマンティックセグメンテーションするステップを含む。また、本開示の方法は、画像中の解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、ラベル付けされた画像をユーザに対して表示するステップとを含む。本開示の方法は、本明細書で説明された任意の方法ステップ及び／またはフューチャを実施するようにさらに構成され得ることを理解されたい。

本発明の上記及び他の特徴、態様及び利点は、以下の説明及び添付された特許請求の範囲を参照することにより、より良く理解できるであろう。添付図面は、本明細書に組み込まれてその一部を構成し、本発明の実施形態を図示し、本明細書と共に本発明の原理を説明する役割を果たす。

当業者を対象にした本開示の完全かつ実現可能な開示（ベストモードを含む）が、添付図面を参照して、本明細書の残りの部分により詳細に説明される。

本開示による画像化システムの一実施形態の斜視図である。 本開示による画像化システムのプロセッサの一実施形態のブロック図である。 本開示による画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションする方法の一実施形態のフロー図である。 本開示による画像化システムにより生成された画像のパラメータ空間の一実施形態の概略図であり、とりわけ、患者の腕神経叢の斜角筋間位置特定を、輪郭が描かれ、かつ番号が付された周囲組織と共に示す。 本開示による画像化システムにより生成された画像のパラメータ空間の別の実施形態の概略図であり、とりわけ、患者の腕神経叢の斜角筋間位置特定を、輪郭が描かれ、かつ番号が付された周囲組織と共に示す。 本開示による画像化システムにより生成された画像のパラメータ空間のさらに別の実施形態の概略図であり、とりわけ、患者の腕神経叢の斜角筋間位置特定を、陰影が付けられた周囲組織と共に示す。 本開示による画像化システムにより生成された画像のパラメータ空間の一実施形態の概略図であり、とりわけ、患者の腕神経叢の斜角筋間位置特定を示す。 本開示による画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションする方法の別の実施形態のフロー図である。 本開示による画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションする方法の一実施形態の概略図であり、とりわけ、患者の腕神経叢の斜角筋間位置特定を、ラベル付けされた周囲組織と共に示す。 本開示による画像化システムにより生成された画像を前処理する方法の概略図である。 図１０の方法にしたがって変換されていない、第１の超音波装置（例えば、装置Ａ）により取得された画像である。 図１０の方法にしたがって変換された、第１の超音波装置（例えば、装置Ａ）により取得された画像である。 図１０の方法にしたがって変換されていない、第１の超音波装置（例えば、装置Ａ）により取得された画像のヒストグラムである。 図１０の方法にしたがって変換された、第１の超音波装置（例えば、装置Ａ）により取得された画像のヒストグラムである。 図１０の方法にしたがって変換されていない、第２の超音波装置（例えば、装置Ｂ）により取得された画像である。 図１０の方法にしたがって変換された、第２の超音波装置（例えば、装置Ｂ）により取得された画像である。 図１０の方法にしたがって変換されていない、第２の超音波装置（例えば、装置Ｂ）により取得された画像のヒストグラムである。 図１０の方法にしたがって変換された、第２の超音波装置（例えば、装置Ｂ）により取得された画像のヒストグラムである。 図１０の方法にしたがって変換されていない、第３の超音波装置（例えば、装置Ｃ）により取得された画像である。 図１０の方法にしたがって変換された、第３の超音波装置（例えば、装置Ｃ）により取得された画像である。 図１０の方法にしたがって変換されていない、第３の超音波装置（例えば、装置Ｃ）により取得された画像のヒストグラムである。 図１０の方法にしたがって変換された、第３の超音波装置（例えば、装置Ｃ）により取得された画像のヒストグラムである。 本開示による低計算能力デバイスを使用する画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的にセグメンテーションする方法の一実施形態の概略図である。 本開示による画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物の自動的な検出及びセグメンテーションを同時に行う方法の一実施形態の概略図である。 ビデオストリーム中から識別された画像をプロセッサに提供する本開示の方法の一実施形態のフロー図である。 ディープラーニングネットワークを訓練することにより、解剖学的対象物及びその周囲組織を含む画像のパラメータ空間を自動的に検出する本開示の方法の一実施形態のフロー図である。ディープラーニングネットワークの訓練は、ビデオストリーム中の画像のパラメータ空間内の少なくとも１つの解剖学的対象物を識別し、注釈を付けることを含む。 リアルタイム超音波画像から、腕神経叢（ＢＰ）などの解剖学的対象物を含む関心領域を自動的に位置特定し、セグメンテーションまたは抽出する方法の一実施形態のフロー図である。 元の画像中に検出された関心領域を自動的にデータクリーニングする方法の一実施形態のフロー図である。元の画像をクリーニングし、クロッピングしたバージョンは、例えば、画像の注釈付けや、ディープラーニングなどの後続ステップで使用される。

以下、本発明の様々な実施形態及びその１以上の実施例を詳細に説明する。各実施例は、本発明を説明するために提示されたものであり、本発明を限定するものではない。例えば、ある実施形態の一部として例示または説明された特徴を、別の実施形態を用いて、さらなる別の実施形態を創出することもできる。本発明は、添付された特許請求の範囲及びその均等物の範囲に含まれる限り、そのような変更形態及び変形形態を包含することを意図している。

概して、本開示は、画像化システム（例えば、超音波画像化システム）により生成された画像のパラメータ空間内の１または複数の解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするためのシステム及び方法に関する。より具体的には、図面を参照すると、図１及び図２は、画像化システム１０により生成された画像のパラメータ空間１２内の１または複数の解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションするように構成された画像化システム１０及びそれに関連するプロセッサ１６の一実施形態を示す。本明細書で使用するとき、画像化システム１０は、超音波画像化システム（図示のように）、コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴画像化（ＭＲＩ）スキャナ、または本技術から利益を得ることができる任意の他の適切な画像化システムに相当し得る。より具体的には、図示のように、画像化システム１０は、概して、コンピュータにより実施される様々な機能（例えば、本開示の方法等を実施する機能、本明細書に開示されたような関連データを格納する機能など）を実行するように構成された１以上のプロセッサ１６及びそれに関連するメモリデバイス１８、並びに、ユーザディスプレイ２０を含む。加えて、画像化システム１０は、画像１４のパラメータ空間１２を生成及び／または操作するときにユーザを補助するように構成された、コンピュータ及び／またはキーボードなどのユーザインタフェース２２を含み得る。

加えて、図２に示すように、プロセッサ１６は、該プロセッサ１６と画像化システム１０の様々な要素（例えば、図１の要素のいずれか）との間の通信を容易にする通信モジュール２４を含み得る。さらに、通信モジュール２４は、１以上のプローブ２８（例えば、超音波プローブ）から送信された信号を、プロセッサ１６が理解して処理することができる信号に変換することを可能にするセンサインタフェース２６（例えば、１以上のアナログ／デジタル変換器）を含み得る。超音波プローブ２８は、任意の適切な手段を用いて、通信モジュール２４に通信可能に接続され得ることを理解されたい。例えば、図２に示すように、超音波プローブ２８は、有線接続によってセンサインタフェース２６に接続され得る。また、他の実施形態では、超音波プローブ２８は、例えば当分野で既知の任意の適切な無線通信プロトコルを使用して、無線接続によってセンサインタフェース２６に接続され得る。このようにして、プロセッサ１６は、超音波プローブ２８から１以上の信号を受信するように構成され得る。

本明細書で使用するとき、「プロセッサ」という用語は、当分野ではコンピュータ内に含まれていると見なされる集積回路だけでなく、コントローラ（制御装置）、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び他のプログラマブル回路も指す。プロセッサ１６はまた、高度な制御アルゴリズムを計算し、様々なイーサネット（登録商標）またはシリアルベースのプロトコル（Ｍｏｄｂｕｓ、ＯＰＣ、ＣＡＮ等）と通信するように構成される。さらに、ある実施形態では、プロセッサ１６は、計算時間の短縮、及びローカルデバイスの負担軽減を目的として、クラウドコンピューティングのためにインターネットを介してサーバと通信するようにしてもよい。加えて、メモリデバイス１８は、一般に、コンピュータ可読媒体（例えば、ランダムアクセスメモリ（ＲＡＭ））、コンピュータ可読不揮発性媒体（例えば、フラッシュメモリ）、フロッピーディスク、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光磁気ディスク（ＭＯＤ）、デジタル多用途ディスク（ＤＶＤ）、及び／または他の適切な記憶素子を含み得る。このようなメモリデバイス１８は、一般に、プロセッサ１６によって実施されたときに本明細書に記載されたような様々な機能を実行するようにプロセッサ１６を構成する適切なコンピュータ可読命令を格納するように構成され得る。

次に図３−図７を参照すると、画像化システム（例えば、超音波画像化システム）により生成された画像１４のパラメータ空間１２内の少なくとも１つの解剖学的対象物３０を自動的に検出、位置特定、及びセグメンテーションする方法１００の一実施形態を説明するためのフロー図（図３）、並びに、画像１４のパラメータ空間１２を表示するユーザディスプレイ２０からキャプチャした様々な実施形態のスクリーンショット（図４−図７）が示されている。ある実施形態では、本明細書で説明されたような解剖学的対象物３０及びその周囲組織３２は、患者の任意の解剖学的構造体及び／またはその周囲組織を含み得る。より具体的には、図４−図７の実施形態に示すように、解剖学的対象物３０は、下側の４つの頸神経と第１胸神経の前枝によって構成され脊髄から延びる神経ネットワークに概ね対応する、患者の斜角筋間の腕神経叢（ＢＰ）３４を含み得る。腕神経叢３４は、頚部の頸部同軸管を通過し、第１肋骨を越え、腋窩（すなわち、腋窩領域）内まで延びており、腋窩領域において上肢、並びに、頚部及び肩部の筋肉の一部を神経支配する。このため、腕神経叢３４の周囲組織３２は、一般に、胸鎖乳突筋（ＳＭ）３６、中斜角筋（ＭＣＭ）３８、前斜角筋（ＡＳＭ）４０等に相当する。このような解剖学的構造体の視野またはパラメータ空間１２をキャプチャすることは、一般的に、医師にとって困難である。したがって、本開示のシステム及び方法は、本明細書で言及した腕神経叢（ＢＰ）及びその周囲組織を含む視野を自動的に検出、位置特定、及びセグメンテーションするための改良された方法を提供する。

しかしながら、本開示のシステム及び方法は、腕神経叢３４に関連する医療処置に加えて、任意の解剖学的構造体に関与する任意の様々な医療処置にも使用され得ることを理解されたい。例えば、解剖学的対象物３０及びその周囲組織は、上肢及び下肢並びにコンパートメント（筋区画）ブロックを含み得る。より具体的には、このような実施形態では、上肢の解剖学的対象物３０及びその周囲組織は、互いに異なる位置で腕神経叢（上肢の神経束）をブロックする、斜角筋間筋、鎖骨上筋、鎖骨下筋、及び／または腋窩筋神経ブロックを含み得る。さらに、下肢の解剖学的対象物３０及びその周囲組織は、腰神経叢、腸骨筋膜、大腿神経、坐骨神経、外転筋管、膝窩、伏在静脈（足首）等を含み得る。加えて、コンパートメントブロックの解剖学的対象物３０及びその周囲組織は、肋間腔、腹横筋膜面（ＴＡＰ）、胸部傍脊椎腔等を含み得る。さらに、図４及び図５に示すように、画像化システム１０により生成された画像１４は、パラメータ空間と、それに隣接して配置された任意選択のタスクバー１５とを含み得る。加えて、タスクバー１５は、日付及び時刻のみならず、オープンボタン（open）、スタートボタン（start）、ストップボタン（stop）等の他の適切な制御機能を含み得る。別の実施形態では、図６及び図７に示すように、タスクバー１５を省略してもよい。また、画像１４が任意の他の適切な制御及び／または表示機能をさらに含み、ユーザインタフェース２２またはタッチスクリーン機能を介して制御してもよいことを理解されたい。

特に図３を参照すると、本開示の方法は、画像化システム１０によって、解剖学的対象物３０及びその周囲組織３２を含む画像１４を生成し、生成された全体画像をプロセッサ１６に提供するステップ１０２を含む。さらに、本開示の方法１００は、画像１４のパラメータ空間１２内の解剖学的対象物３０及び／またはその周囲組織３２を自動的に検出するためのパラメータ空間ディープラーニングネットワークを開発し、訓練するステップ１０４を含む。より具体的には、ある実施形態では、ディープラーニングネットワークは、１または複数のディープ畳み込み型ニューラルネットワーク（ＣＮＮ）、１以上の再帰型ニューラルネットワーク、または任意の他の適切なニューラルネットワーク構成を含み得る。機械学習では、ディープ畳み込み型ニューラルネットワークは、一般に、そのニューロン間の接続パターンが、動物の視覚野（個々のニューロンが、視野をタイリングする重複領域に応答するように配置されている）の構成に触発されたフィードフォワード型の人工ニューラルネットワークを指す。対照的に、再帰型ニューラルネットワーク（ＲＮＮ）は、一般に、ユニット間の接続が有向サイクルを形成する人工ニューラルネットワークのクラスを指す。そのような接続は、ネットワークが動的な時間的挙動を示すことを可能にするネットワークの内部状態を生成する。フィードフォワード型ニューラルネットワーク（例えば、畳み込み型ニューラルネットワークなど）とは異なり、ＲＮＮは、その内部メモリを使用して任意の入力シーケンスを処理することができる。したがって、ＲＮＮは、解剖学的対象物をリアルタイムでより良好に特定して追跡するために画像フレーム間の相関を抽出することができる。

ある実施形態では、プロセッサ１６は、グランドトゥルースデータを使用して、解剖学的対象物３０及び／またはその周囲組織３２を含む画像１４のパラメータ空間１２を自動的に検出するためのディープニューラルネットワークを訓練及び／または開発することができる。例えば、特定の実施形態では、プロセッサ１６は、最初に、解剖学的対象物３０及び／またはその周囲組織３２を含むパラメータ空間１２を自動的に検出するためのパラメータ空間ディープニューラルネットワークを訓練するように構成され得る。より具体的には、ある実施形態では、この初期訓練は、プロセッサ１６がオフラインの間に完了され得る。別の実施形態では、プロセッサ１６は、例えば初期訓練の完了後に、解剖学的対象物３０及び／またはその周囲組織３２を含むパラメータ空間１２を自動的に検出するためのディープニューラルネットワークをオンラインで継続的に訓練するように構成され得る。

より具体的には、特定の実施形態では、プロセッサ１６は、複数の患者から解剖学的対象物３０及び／またはその周囲組織３２の画像データセットをスキャンして収集することにより当分野で新たにキャプチャされたデータに基づき、パラメータ空間１２内の解剖学的対象物３０及び／またはその周囲組織３２を自動的に検出するためのディープニューラルネットワークを継続的に訓練するためにオンラインで学習するように構成され得る。例えば、ある実施形態では、数百及び／または数千の画像を複数の患者からスキャンして収集し、メモリデバイス１８を介して画像データセットに格納するとよい。さらに、格納する前に、画像データセットに、ユーザ入力に基づいて注釈を付けて、グランドトゥルースデータを作成してもよい。例えば、ある実施形態では、医師は、専門家としての知識に基づいて画像データセットの注釈付け（アノテーション）及び手動での識別を行い、ディープラーニングネットワークにおける、画像データセットの各画像中の解剖学的対象物３０及び／またはその周囲組織３２の検出及び識別を支援するようにしてもよい。このため、本明細書で説明されたようなグランドトゥルースデータは、一般に、推論によって提供される情報とは対照的に、当分野の専門家の直接的な観察によって提供される情報を指す。したがって、本開示のパラメータ空間ディープラーニングネットワークは、動作中に人間の脳を模倣するように構成される。

特定の実施形態では、画像データセットは、その後、複数のグループに分割することができる。例えば、一実施形態では、グランドトゥルースデータは、訓練データセット及び妥当性確認（バリデーション）データセットを含む少なくとも２つのグループに分割され得る。したがって、特定の実施形態では、プロセッサ１６は、訓練データセットを使用して、パラメータ空間ディープニューラルネットワークを訓練するように構成される。より具体的には、ある実施形態では、プロセッサ１６は、ディープニューラルネットワークの出力とグランドトゥルースデータとの間の誤差を最小化するためにコスト関数を最適化するように構成され得る。例えば、一実施形態では、誤差を最小化するためにコスト関数を最適化するステップは、グランドトゥルースデータの一部を反復処理し、ディープニューラルネットワークの出力とグランドトゥルースデータとの間の誤差に基づいてディープニューラルネットワークの１以上のパラメータを調整する確率的近似アルゴリズム（例えば、確率的勾配降下（ＳＧＤ）アルゴリズムなど）を使用することを含む。本明細書で使用するとき、確率的勾配降下法は、一般に、微分可能関数の和で表される目的関数を最小化するための勾配降下最適化方法の確率的近似を指す。より具体的には、一実施形態では、プロセッサ１６は、ディープニューラルネットワークの出力とグランドトゥルースデータとの間の誤差を最小化するための教師付き学習を実施するように構成され得る。本明細書で使用するとき、「教師付き学習」は、一般に、ラベル付けされた訓練データから関数を推論する機械学習タスクを指す。

しかしながら、コスト関数は、様々な方法で定義することができ、かつ様々な方法を用いて最適化することができることを理解されたい。例えば、さらなる実施形態では、プロセッサ１６は、例えば、強化学習、教師なし学習、及び／または当分野で現在既知かまたは将来開発される他の技術などのさらなるディープラーニング技術を実施することができる。このような方法は、必要とする訓練データがより少ない、及び／または、報酬／罰機能に依存し、ラベル付けされたデータをシステムに特に提供する必要がない方法であり得る。

別の実施形態では、本開示の方法１００はまた、コスト関数の最適化後に、パラメータ空間ディープラーニングネットワークをリアルタイムで使用して、妥当性確認データ及び新たにキャプチャされたデータに関する予測を自動的に提供することを含み得る。したがって、このような実施形態では、プロセッサ１６は、ディープニューラルネットワークを一般化するために、上記の予測をグランドトゥルースデータと比較するように構成され得る。換言すれば、プロセッサ１６は、訓練データの範囲外である場合でも、ディープニューラルネットワークが正確な予測を提供できるように構成され得る。

引き続き図３を参照して、本開示の方法１００は、別のディープニューラルネットワークを使用して、画像１４のパラメータ空間１２内の解剖学的対象物３０及び／またはその周囲組織３２を自動的に位置特定及びセグメンテーションするステップ１０６を含む。この別のディープニューラルネットワークは、任意の特定の目的のために、本明細書に記載されたような任意の適切な方法にしたがって訓練することができる。例えば、この別のディープニューラルネットワークは、最初に、解剖学的対象物３０及び／またはその周囲組織３２を位置特定するように訓練され得る。加えて、この別のディープニューラルネットワークは、解剖学的対象物３０及び／またはその周囲組織３２を位置特定及びセグメンテーションするように訓練され得る。特定の実施形態では、解剖学的対象物３０及び／またはその周囲組織３２を位置特定するためのディープニューラルネットワークの訓練と、解剖学的対象物３０及び／またはその周囲組織３２をセグメンテーションするためのディープニューラルネットワークの訓練との差異は、訓練及びアーキテクチャの詳細のためのデータへのラベル付けの仕方を含む。本明細書で使用するとき、「セグメンテーション」は、一般に、画像をいくつかのコヒーレント部分に分割することを指すが、通常は、そのようなコヒーレント部分が何を表すかを理解しようとは試みない。一方、「セマンティックセグメンテーション」は、一般に、画像を意味的に重要な部分に分割し、その各部分を所定のクラスのうちの１つに分類することを試みる。

引き続き図３を参照して、本開示の方法１００は、プロセッサ１６は、画像１４中の解剖学的対象物３０及びその周囲組織３２を自動的にラベル付けするように構成され得る（ステップ１０８）。このため、本開示の方法は、ラベル付けされた画像をユーザに対して表示するステップ１１０を含む。より具体的には、ある実施形態では、プロセッサ１６は、画像１４中の標的の解剖学的対象物３０及び／またはその周囲組織３２の輪郭を描くように構成され得る。例えば、図４及び図５に示すように、腕神経叢３４（すなわち、解剖学的対象物３０）は、第１の太さまたはパターンを有する境界線で輪郭が描かれる。加えて、図示のように、様々な周囲組織３２が、腕神経叢３４の輪郭を描くのに用いられた第１の厚さまたはパターンとは異なる第２の太さまたはパターンを有する境界線で輪郭が描かれる。このことにより、ユーザは、目的の解剖学的対象物３０を容易に識別し、かつ周囲組織３２と区別することができる。

さらなる実施形態では、プロセッサ１６は、画像１４中の解剖学的対象物３０及び／またはその周囲組織３２の上に記述的ラベルを重畳させるように構成され得る。例えば、図４に示すように、医師による識別を容易にするために、周囲組織３２に番号を付して、（例えば、画像１４の右側に）ランドマーク４２としてラベル付けしてもよい。あるいは、図５に示すように、周囲組織３２は、その輪郭を描く線の種類によって識別及び区別され、特に患者の身体内の位置を図示するランドマーク４２として識別され得る。さらに別の実施形態では、図６に示すように、周囲組織３２は、陰影を付けたり、記述的な医学的名称を用いてラベル付けしたりしてもよい。さらなる別の実施形態では、図６に示すように、解剖学的対象物３０をさらに定義及び／またはセグメンテーションしてもよい。このようにして、腕神経叢３４の場合、ユーザは、神経ブロック処置中に、個々の神経または神経束を容易に識別することができる。

別の実施形態では、図４−図７に示すように、プロセッサ１６は、解剖学的対象物３０及び／またはその周囲組織３２の信頼レベル４４を決定するように構成され得る。例えば、図４及び図５に示すように、腕神経叢３４の位置の信頼レベル４４が、画像１４のタスクバー１５上に表示される。あるいは、図６及び図７に示すように、腕神経叢３４の位置の信頼レベル４４は、画像１４のパラメータ空間１２内（例えば、解剖学的対象物３０に隣接する位置）に表示され得る。

次に図８及び図９を参照すると、画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象を自動的に検出、位置特定、及びセマンティックセグメンテーションする方法２００の別の実施形態の概略図及びフロー図が示されている。図８に示すように、本開示の方法２００は、解剖学的対象物及びその周囲組織を含む画像をプロセッサ１６に提供するステップ２０２を含む。例えば、図９に示すように、リアルタイム超音波画像４６がプロセッサ１６に提供され得る。図８に示すように、本開示の方法２００は、画像のパラメータ空間内の解剖学的対象及びその周囲組織を自動的に検出するためのパラメータ空間ディープニューラルネットワークを開発し、訓練するステップ２０４を含む。例えば、図９に示すように、プロセッサ１６は、リアルタイム超音波画像４６を受け取り、ブロック４８において、パラメータ空間内の解剖学的対象物及びその周囲組織を自動的に検出するように構成される。図８に示すように、本開示の方法２００は、１または複数の別のディープニューラルネットワークを用いて、パラメータ空間内の解剖学的対象物及びその周囲組織を自動的に位置特定及びセマンティックセグメンテーションするステップ２０６を含む。例えば、図９に示すように、プロセッサ１６は、ブロック５０において、セマンティックセグメンテーションを実施するように構成される。図８に示すように、本開示の方法２００は、プロセッサによって、画像中の解剖学的対象物及びその周囲組織を自動的にラベル付けするステップ２０８を含む。図８に示すように、本開示の方法２００は、ラベル付けされた画像をユーザに対して表示するステップ２１０を含む。例えば、図９に示すように、プロセッサ１６は、ラベル付けされた画像１４を、ユーザディスプレイ２０を介して表示するように構成される。

次に図１０を参照すると、本開示は、いくつかの実施形態では、プロセッサ１６に提供されるリアルタイム超音波画像４６は、単一の画像システム（例えば、第１の超音波装置Ａ）から取得するが、ディープラーニングネットワークを開発し、訓練するためのグランドトゥルースデータは、第１の超音波装置Ａ、第２の超音波装置Ｂ、第３の超音波装置Ｃなどの様々な装置から収集することを意図している。このため、グランドトゥルースデータを作成するために使用される画像のデータセットは、互いに異なる画像化システムでキャプチャされた画像を含むことができるので、データセット中の画像は、画像サイズ、強度、コントラスト、テクスチャなどを含む様々な特性に関して互いに大幅に異なり得る。このようなバラツキは、互いに異なる画像化システムにおけるディープラーニングアルゴリズムの使用に制約を課す恐れがある。図１０は、画像が、装置Ａ、装置Ｂ、及び装置Ｃなどの複数の超音波画像化システム間で一貫性（consistent）を有するように、１または複数の画像化システムにより生成された画像を前処理する方法の概略図を示す。一般的に、装置Ａ、Ｂ、及びＣからのデータ５２（例えば、画像データセット）は、ブロック５４で変換（または前処理）することができる。変換されたデータ５２は、様々な装置Ａ、装置Ｂ、及び装置Ｃ間で、バラツキが少なくなり一貫性を有することとなり、その後、ブロック５６において、訓練されたアルゴリズムを生成するのに使用される。これにより、複数の超音波画像化システムから画像データセットを取得したにもかかわらず、望ましい出力５８を実現することができる。

より具体的には、ディープラーニングネットワークの開発における一般的なプロセスは、画像化システム（例えば、超音波画像化装置）からデータを収集するステップと、画像をクリーニングするステップと、画像に注釈を付けるステップと、画像及び注釈を使用して上述したようにして学習ベースアルゴリズムを開発するステップとを含む。しかしながら、このようなアルゴリズムを使用する場合の主な課題の１つは、上述したような、互いに異なる画像化システム間でバラツキがあること、すなわちキャプチャ画像が画像サイズ、強度、コントラスト、テクスチャなどの点で互いに異なることである。したがって、特定の画像化システムを使用して訓練したディープラーニングネットワークまたは学習ベースアルゴリズムは、他の画像化システムからの出力データ及びキャプチャ画像の処理及び推測において困難に直面する。本開示は、ブロック５４において、互いに異なる装置から得られたデータ５２に対する前処理ステップを実行し、画像データセットを、一貫性を有するデータセットに変換することによってこの問題を解決する。このことにより、ブロック５６において、ディープラーニングネットワークをより正確かつ的確に訓練することができ、その結果、望ましい出力５８（例えば、ロバストなディープラーニングネットワーキング）が得られる。ブロック５４における前処理ステップまたは変換は、データセット内の画像を所定の一貫したサイズにサイズ変更し、その後、画像ヒストグラム均等化及び画像ヒストグラムマッチングなどの画像正規化技術を用いて様々な画像間の一貫性を向上させ、そして、ヒストグラム均等化に基づいて元の画像を調節することによって、均等化された画像のセットを得ることを含む。したがって、ディープラーニングネットワークまたはアルゴリズムに入力されるデータセットは、互いに異なる画像化システム間で望ましい出力５８を得ることを確実にする、同様の統計的特徴を有することができる。変換ステップの結果、データセットを、ディープラーニングアルゴリズムのための一貫性を有するデータセットに変換することができる。

本明細書で使用するとき、「ヒストグラム」という用語は、データ分布の視覚的印象を示すグラフ表示を指すことを理解されたい。画像ヒストグラムは、デジタル画像の明度／色分布のグラフ表示としての役割を果たす特別な種類のヒストグラムであり、各値のピクセル数をプロットする。さらに、本明細書で使用するとき、「ヒストグラム均等化」という用語は、画像のヒストグラムを使用するコントラスト調節の画像処理における方法を指す。この方法は通常、とりわけ、使用可能な画像データが互いに近いコントラスト値で表される場合、多くの画像の全体的なコントラストを増加させる。この調節によって、ヒストグラム上で強度をより良好に分散させることができる。これにより、より低い局所コントラストの領域が、より高いコントラストを得ることが可能になる。ヒストグラム均等化は、最も多い強度値を効果的に分散させることによって、このことを実現する。加えて、本明細書で使用するとき、「ヒストグラムマッチング」または「ヒストグラム指定」という用語は、そのヒストグラムが特定のヒストグラムと一致するように画像を変換することを指す。この周知のヒストグラム均等化方法は、指定されたヒストグラムが一様に分布する特殊な方法である。ヒストグラムマッチングは、互いに異なる医用画像装置で画像が取得された場合などで、２つの画像を正規化するために使用することができる。

図１１−図２２は、変換（例えば、正規化）の前後での、様々な超音波装置Ａ、Ｂ、及びＣにより取得された画像及びそれらのヒストグラムを示す。具体的には、図１１は、図１０の方法にしたがって変換されていない、第１の超音波装置（例えば、装置Ａ）により取得された画像を示す。図１２は、図１の方法にしたがって変換された、第１の超音波装置（例えば、装置Ａ）により取得された画像を示す。図１３は、図１０の方法にしたがって変換されていない、第１の超音波装置（例えば、装置Ａ）により取得された画像のヒストグラムを示す。図１４は、図１０の方法にしたがって変換された、第１の超音波装置（例えば、装置Ａ）により取得された画像のヒストグラムを示す。図１５は、図１０の方法にしたがって変換されていない、第２の超音波装置（例えば、装置Ｂ）により取得された画像を示す。図１６は、図１０の方法にしたがって変換された、第２の超音波装置（例えば、装置Ｂ）により取得された画像を示す。図１７は、図１０の方法にしたがって変換されていない、第２の超音波装置（例えば、装置Ｂ）により取得された画像のヒストグラムを示す。図１８は、図１０の方法にしたがって変換された、第２の超音波装置（例えば、装置Ｂ）により取得された画像のヒストグラムを示す。図１９は、図１０の方法にしたがって変換されていない、第３の超音波装置（例えば、装置Ｃ）により取得された画像を示す。図２０は、図１０の方法にしたがって変換された、第３の超音波装置（例えば、装置Ｃ）により取得された画像を示す。図２１は、図１０の方法にしたがって変換されていない、第３の超音波装置（例えば、装置Ｃ）により取得された画像のヒストグラムを示す。図２２は、図１０の方法にしたがって変換された、第３の超音波装置（例えば、装置Ｃ）により取得された画像のヒストグラムを示す。図１１−図２２に示すように、様々な超音波装置からの様々な画像及びそれらのヒストグラムは、図１０のブロック５４の変換ステップの実施後は、バラツキが少なくなり一貫性を有することとなる。このようにして、本開示によって意図される解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションする方法で使用されるディープラーニングネットワークは、装置に依存しないように構成され得る。

次に図２３を参照して、本開示はまた、いくつかの実施形態では、少なくとも１つの解剖学的対象を自動的に検出、位置特定、及びセグメンテーションするための本開示の方法における様々なステップが、例えばグラフィックス・プロセッシング・ユニット（ＧＰＵ）などの計算能力が高いプラットフォームとは対照的な、例えば中央演算装置（ＣＰＵ）ベースのコンピュータ、携帯電話、タブレットなどの計算能力が限られたプラットフォームを使用して実行されることを意図する。機械学習、人工知能、ディープラーニングネットワークなどを使用した医用画像中の解剖学的対象物を検出／認識、位置特定、及びセグメンテーションするための既存の方法は、超音波画像化などの用途のためのリアルタイムな展開時間を実現するためにＧＰＵプラットフォームを必要とする。しかしながら、超音波画像化システムなどの様々な医用画像化システムは、計算能力が限られており、複数のタスクに共用されるＣＰＵを主に使用する。さらに、画像化及び診断デバイスの業界動向は、携帯電話、タブレット、ハンドヘルドコンピュータなどのモバイル及びポータブルデバイスを使用する方向に向っている。このことは、そのようなデバイスにおいて、（人工知能、機械学習、及びディープラーニングネットワークに基づく）高計算量の学習ベースのアルゴリズムを展開するときの障害となる。このようなアルゴリズムを展開する上での重要な要素は、単一のフレーム（約数十億回の計算）を処理するのに必要な計算及び乗算の数である。本開示により意図されるシステム及び方法は、複数の技術を使用して、性能を維持しつつ、計算量を減らすことによって、ＣＰＵベースのコンピュータ、タブレット、及びモバイルデバイスなどの計算能力が低いデバイスで実施可能な解剖学的対象物の自動セグメンテーションを提供する。そのためには、解剖学的対象物の形状を楕円形として推定することによって、解剖学的セグメンテーションのための低計算量のディープラーニングアーキテクチャを使用することができる。この所見により、画像中の全てのピクセルを予測するのではなく、楕円６８パラメータ（中心７０、長軸７２、短軸７４、及び回転角度７６）をセグメンテーション目的で予測する機会が与えられる。このようなアーキテクチャにより、計算量が減少するだけでなく、解剖学的対象物の検出及びセグメンテーションの精度が高まる。

計算量における別のボトルネックは、ネットワークのパラメータの数値精度に関連する。全ての学習ベースのアルゴリズムは、訓練プロセス中に訓練して、ネットワークのいわゆる「重み」を学習して取得する必要がある。一般的に、３２ビットの浮動小数点数が重みとして使用される。しかしながら、浮動小数点数の乗算は計算コストが高い。したがって、本開示は、重みを表すために、８ビット整数または１ビット２進数などの精度がより低い数値を代わりに使用することを意図する。この改良により、計算量及びメモリ必要量が大幅に削減される。図２３は、本開示による低計算能力デバイスを使用する画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的にセグメンテーションする方法の一実施形態の概略図を示す。図示したように、入力リアルタイム画像４６は、減少した数のバイナリ重み６６（例えば、８ビット整数または１ビット２進数）を使用してネットワークによって処理され、画像４６中の各解剖学的対象物について、対象の解剖学的対象物に適合する中心７０、長軸７２、短軸７４、及び回転角度７６を有する楕円６８が予測される。

本開示はまた、解剖学的対象物の自動的な検出及びセグメンテーションを、２つの別個のステップではなく、単一のステップで同時に行うことができる方法を意図する。図２４を参照すると、本開示による画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物の自動的な検出及びセグメンテーションを同時に行うバージョン方法の一実施形態の概略図が示されている。例えば、この方法は、アルゴリズムの訓練後に、リアルタイム画像４６を入力するステップと、例えばディープ畳み込み型ニューラルネットワーク６０を使用して解剖学的タイプ６２を検出するステップと、セグメンテーションマスク６４を提供するステップとを同時に実施する。

本開示の方法は、ディープラーニングアルゴリズムを使用することができ、画像検出及びセグメンテーションプロセスを自動的に、ロバストに、正確に、かつ効率的に行うために、画像検出及びセグメンテーションの両方を１つのステップで行うことを可能にする。この方法の概略図を図２４に示す。このアルゴリズムは、ディープ畳み込み型ニューラルネットワークを使用して、医用画像中の低レベルピクセルを、高レベルのフィーチャ及び抽象的概念に自動的に変換する。次いで、これらの抽出されたフィーチャを使用して、解剖学的シーンまたは対象物を、認識されたシーンまたは対象物の信頼レベルと共に検出する。それと同時に、シーンまたは対象物が認識された場合には、医師によるさらなる処理及び臨床評価のために、認識されたシーンまたは対象物は、意味を持つ解剖学的対象物にセグメンテーションされる。実世界の用途にネットワークを展開するのを可能にするためには、訓練プロセス中にアルゴリズムを訓練する必要がある。このためには、データを収集し、専門家によって手動で注釈を付け、アルゴリズムの左半分（図２４の解剖学的タイプ６２まで）を訓練して、特定の解剖学的対象物または解剖学的タイプ６２を生成する。次に、アルゴリズムの左半分は変更しないままにして、アルゴリズムの残りの部分を微調整することにより、特定の解剖学的対象物または解剖学的タイプ６２のためのセグメンテーションマスク６４が提供される。訓練プロセスが完了すると、アルゴリズムは、自動的に検出された解剖学的対象物または解剖学的タイプ及びそれらの各セグメンテーションマスクを同時にユーザに提供する。

次に図２５を参照すると、本開示は、いくつかの実施形態では、プロセッサ１６に提供されるリアルタイム超音波画像４６と、ディープラーニングネットワークを開発し、訓練するためのグランドトゥルースデータを作成するのに使用される画像データセットとをビデオストリームから取得することを意図する。図２５は、ビデオストリーム中から識別された画像をプロセッサに提供する本開示の方法の一実施形態のフロー図を示す。本開示の方法３００は、画像ソースを取得する最初のステップ３０２と、それに続く、１以上の解剖学的構造体をディープニューラルネットワークによりクラス分類し、取得した解剖学的構造体及び信頼レベルに基づきイベントを生成するステップ３０４と、それに続く、イベント前及びイベント後のフレームバッファリングのステップ３０６とを含む。その後、イベントは、ステップ３０８に示すようにローカルに格納されるか、またはステップ３１０に示すようにクラウドサービスに送信される。

より具体的には、方法３００は、ディープラーニングネットワーク（例えば、ディープニューラルネットワーク）を開発する目的で医療専門家によって注釈が付けられたグランドトゥルースデータを収集するために、神経ブロック処置の実施時に医療専門家が関心を持つ複数の画像を収集するための拡張可能な方法に焦点を当てている。注釈が付けられた画像のフィードバックループは、システムの精度を高めるために、追加的なグランドトゥルースデータを使用して経時的にアップデートすることができる。ディープラーニングネットワークは、その後、ビデオストリーム（または、超音波画像化システムから収集された画像を提供する任意の他の態様）から、関心のある少なくとも１つの解剖学的対象物を識別するために使用される。ディープラーニングネットワークは、フレームが収集され、ローカルに格納されるか、またはクラウドサービスに送信された特定のビデオストリームから、関心のあるフレームをネット経由で識別することができる。そして、関心のある少なくとも１つの解剖学的対象物を所定の信頼レベル閾値内で識別するために、ディープラーニングネットワークを使用して分析する。この方法は、解剖学的対象物が識別されるまで記録されたビデオフレームと、関心のある解剖学的対象物を特定した直後に記録されたビデオフレームとを確実にキャプチャするために、イベント前のバッファリングステップ及びイベント後のバッファリングステップを含む。さらに、本開示の方法は、グランドトゥルースデータをローカルにまたはクラウドサービス上に格納しておき、ディープラーニングネットワークを向上させるための注釈付け及び／または追加分析のために、グランドトゥルースデータを送り返す能力を意図する。

例えば、図２６に示すように、医療専門家は、ビデオストリーム中の少なくとも１つの解剖学的対象物を識別し注釈を付けることができる。この方法４００は、画像ソースを取得するステップ４０２と、フレーム間ピクセル動きのオプティカルフロー計算を実施するステップ４０４と、フレームのビデオストリーム中のピクセル動きをクラスタリングするための教師なし学習を行うステップ４０６と、ピクセル動きのクラスタをヒューマンラベリングするステップ４０８と、その後、ラベル付けされたクラスタを使用して、ディープニューラルネットワークにより教師付き学習を行うステップ４１０とを含む。例えば、オプティカルフローフレームを使用してピクセル動きを追跡し、その後、教師なし学習プロセスによって、ピクセル動きをグループにクラスタリングすることができる、グループは、所定の範囲のフレームにわたって識別され、論理ラベルを提供するために、ユーザ（例えば、医療専門家）に提供される。ラベル付けされたフレームは、その後、が、ディープニューラルネットワークによる教師付き学習プロセスで使用される。一般的に、オプティカルフローを使用すると、入力画像の斑点特性に起因して、超音波画像化システムにより取得された画像から良好な結果を得ることは困難になる。したがって、教師なし学習環境でのクラスタリングを使用することにより、無関係な出力を除去し、ピクセル動きを、共通ベクトル経路に沿って移動するピクセル群などのより論理的なグループにクラスタリングすることができ、これにより、ディープニューラルネットワークの使用時の正確さを向上させることが可能となる。

次に図２７を参照すると、本開示はまた、リアルタイム超音波画像から腕神経叢（ＢＰ）などの解剖学的対象物を含む関心領域を自動的に位置特定し、セグメンテーションまたは抽出する方法及びシステムを意図する。具体的には、この方法５００は、解剖学的対象物３０及び／またはその周囲組織３２の自動的な位置特定４９に使用するために、リアルタイム超音波画像４６を取得し、リアルタイム超音波画像４６から関心領域８０を自動的に選択することを含む。関心領域８０をリアルタイム超音波画像４６から抽出することにより、抽出された関心領域８０は、解剖学的対象物３０及びその周囲組織３２の一部を依然として含む、元の視野よりも小さいサイズのクロッピング画像５０２（トリミング画像）として出力される。クロッピング画像５０２は処理がより容易であり、本開示により意図される方法及びシステムは、関心のある解剖学的対象物３０（例えば、腕神経叢）のセグメンテーション５０の実施中に、クロッピング画像５０２を本開示のディープラーニングネットワークまたはアルゴリズムの入力として高精度で使用することができる。例えば、本発明者らは、斜角筋間腕神経叢は、一般的に、周囲組織と比べて小さく、例えば画像取得条件に応じて向き及び形状が異なるため、腕神経叢を高精度でセグメンテーションすることは困難であることを見出した。しかしながら、ディープラーニングネットワークまたはアルゴリズムによって腕神経叢を自動的に位置特定及びセグメンテーションする前に、腕神経叢を含む関心領域を抽出すると、画像の視野がより小さくなるので、精度を向上させることができる。

次に図２８を参照して、本開示はまた、元の画像中の関心領域が検出される、自動的なデータクリーニングの方法を意図している。元の画像をクリーニングし、クロッピング（トリミング）したバージョンは、画像の注釈付けや、ディープラーニングなどの後続ステップで使用される。例えば、この方法６００は、解剖学的対象物及びその周囲組織の元の超音波画像４６を取得するステップ６０２と、元の超音波画像から関心領域８２を自動的に抽出またはクロッピングするステップ６０４と、注釈付け、ディープラーニング、位置特定、セグメンテーションなどのさらなる分析のために、クロッピングされた関心領域８２を出力するステップ６０６とを含む。プロセッサに超音波画像を提供する前に本開示のシステムによって自動的に実行されるこのようなデータクリーニングは、本明細書で説明されるディープラーニングベースの方法のためのデータパイプラインを高速化するのに役立つ。

具体的には、本開示により意図されるデータクリーニングは、学習ベースの方法に必要とされる医用画像の分析に関する様々な問題を解決することができる。データクリーニングは、例えば解剖学的検出及びセグメンテーションなどの医用画像の分析において有用である。なぜならば、一般的に、様々な医療機器から取得された様々な患者の医用画像の大きなデータセットが収集され、学習に使用するためのデータセットを作成するためにデータパイプラインに供給されるからである。収集された画像は、検出、位置特定、及びセグメンテーションの対象となる解剖学的対象物を含む特定の関心領域を定義することができる患者の解剖学的視覚化を含み得る。加えて、関心領域の周囲にテキスト情報（例えば、日付、時間、設定、ロゴなど）が存在してもよいが、それらは本開示の学習ベースの方法に必要とされる画像解析には必要ではない。また、そのようなテキスト情報は、データ格納スペースを占有し、処理時間を遅くする恐れがある。したがって、関心領域の周囲のテキスト情報などの追加的な情報は、画像から除去してもよい。さらに、手動ベースのクロッピング方法とは対照的に、データクリーニングの目的で本開示により意図されるクロッピングは自動的に行ってもよく、これにより、エラーの量を減らし、時間を節約し、手動によるクロッピングよりも拡張性を高めることができる。

元の超音波画像から追加的な情報を自動的にクロッピングするために、画像処理アルゴリズム（例えば、強度閾値、変形可能モデルなど）を使用して関心領域を自動的に見つけ出し、元の超音波画像から切り出すことができる。結果として得られる出力は元の超音波画像をクリーニングしたバージョンであり、画像の注釈付け、訓練、位置特定、セグメンテーションなどのデータパイプラインの後続ステップで使用することができる。このアルゴリズムは、計算量が少なく、自動的、高速、かつ正確であり、大きなデータセットに対してタスクを短時間で実行するために、一般的なコンピュータ上で実行することができる。このアルゴリズムは、元の画像から関心領域をピクセルレベルで切り取り、ピクセルの差を求めることにより、関心領域の周りに境界線を描くためにピクセル値を比較することを可能にする。これにより、関心領域を自動的に切り取って、後続ステップで使用することができる。

本明細書は、実施例を用いて、最良の実施の形態（ベストモード）を含む本発明の内容を開示し、かつ本発明を当業者が実施（任意の装置またはシステムの作製及び使用、並びに記載内容に組み入れられたあらゆる方法の実施を含む）することを可能にしている。本発明の特許される技術範囲は、特許請求の範囲の請求項の記載によって特定され、当業者が想到可能な他の実施形態もそれに含まれ得る。そのような他の実施形態は、各請求項の文言と異なっていない構成要素を含む場合、またはそれらが各請求項の文言とは実質的には異ならない均等な構成要素を含む場合、それらの請求項の特定する技術範囲内にあるものとする。

Claims (30)

1. 画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションする方法であって、
   前記解剖学的対象物及びその周囲組織を含む画像をプロセッサに提供するステップと、
   前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出するための、１または複数の畳み込み型ニューラルネットワークを含むパラメータ空間ディープラーニングネットワークを開発し、訓練するステップと、
   別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップであって、前記解剖学的対象物の形状を楕円形として推定する、該ステップと、
   前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、
   ラベル付けされた前記画像をユーザに対して表示するステップと、を含むことを特徴とする方法。
2. 前記画像が正規化画像であり、
   前記正規化画像は、サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために前処理されることを特徴とする、請求項１に記載の方法。
3. 前記画像が、ビデオストリーム中のフレームから提供され、
   前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項１に記載の方法。
4. 前記解剖学的対象物の自動的な検出と、前記解剖学的対象物の自動的な位置特定及びセグメンテーションとが、中央演算装置（ＣＰＵ）ベースのコンピュータ、タブレット、またはモバイルデバイスにおいて、単一のディープラーニングネットワークを用いて実施されることを特徴とする、請求項１に記載の方法。
5. 前記１または複数の畳み込み型ニューラルネットワーク、前記別の畳み込み型ニューラルネットワーク、またはその両方が、８ビット整数または１ビット２進数の重みを使用することを特徴とする、請求項１に記載の方法。
6. 前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、グランドトゥルースデータを使用して訓練するステップをさらに含み、
   前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出する前記ディープラーニングネットワークを開発し、訓練する前記ステップが、
   複数の患者から、前記解剖学的対象物及びその周囲組織の画像データセットをスキャンし、収集するステップと、
   前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付けるステップと、
   前記画像データセット及び前記グランドトゥルースデータを、訓練データセット及び妥当性確認データセットに分割するステップと、
   前記訓練データセットを使用して前記ディープラーニングネットワークを訓練するステップと、を含むことを特徴とする、請求項１に記載の方法。
7. サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために、前記画像データセットを前処理することによって前記画像データセットを正規化するステップをさらに含むことを特徴とする、請求項６に記載の方法。
8. 前記画像データセットが、複数の画像化システムから収集されることを特徴とする、請求項６に記載の方法。
9. 前記画像データセットが、少なくとも１つのビデオストリームから収集されたフレームを含み、
   前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項６に記載の方法。
10. 前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付ける前記ステップが、
    フレーム間ピクセル動きのオプティカルフロー計算を実施するステップと、
    前記少なくとも１つのビデオストリームにわたって前記フレーム間ピクセル動きをグループにクラスタリングするために教師なし学習を実施するステップと、
    所定の範囲のフレームにわたって識別及びラベル付けするために、ピクセル動きの前記グループを前記ユーザに提供するステップと、を含むことを特徴とする、請求項９に記載の方法。
11. 前記訓練データセットを使用して前記ディープラーニングネットワークを訓練する前記ステップが、
    前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差を最小化するためにコスト関数を最適化するステップをさらに含み、
    前記誤差を最小化するために前記コスト関数を最適化する前記ステップが、
    前記グランドトゥルースデータの一部を反復処理し、前記ディープラーニングネットワークの前記出力と前記グランドトゥルースデータとの間の前記誤差に基づいて前記ディープラーニングネットワークの１以上のパラメータを調整する確率的勾配降下（ＳＧＤ）アルゴリズムを使用するステップをさらに含むことを特徴とする、請求項６に記載の方法。
12. 前記コスト関数の最適化後に、前記ディープラーニングネットワークをリアルタイムで使用して妥当性確認データの予測を自動的に提供し、前記予測を前記グランドトゥルースデータと比較するステップを含むことを特徴とする、請求項１１に記載の方法。
13. 前記グランドトゥルースデータを作成するために、ユーザ入力に基づいて前記画像データセットに注釈を付ける前記ステップが、
    前記各画像データセット中の前記解剖学的対象物及びその周囲組織を手動で識別し、注釈を付けるステップをさらに含むことを特徴とする、請求項６に記載の方法。
14. 前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
    セマンティックセグメンテーションによって前記解剖学的対象物及びその周囲組織をセグメンテーションするステップをさらに含むことを特徴とする、請求項１に記載の方法。
15. 前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、オフラインで最初に訓練するステップと、
    前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、オンラインで継続的に訓練するステップと、をさらに含むことを特徴とする、請求項１に記載の方法。
16. 前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けする前記ステップが、
    前記画像中の少なくとも１つの前記解剖学的対象物及びその周囲組織の輪郭を描くこと及び陰影を付けることの少なくとも一方、または、前記少なくとも１つの前記解剖学的対象物及びその周囲組織の各々の上に記述的ラベルを重畳することを含み、
    前記別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
    前記画像から前記解剖学的対象物の周囲の関心領域を抽出するステップを含み、
    前記解剖学的対象物及びその周囲組織を含む前記画像は、前記プロセッサに提供される前に、自動的にクロッピングされることを特徴とする、請求項１に記載の方法。
17. 画像化システムであって、
    少なくとも１つのプロセッサと、
    ユーザディスプレイと、を備え、
    前記少なくとも１つのプロセッサが、
    少なくとも１つの解剖学的対象物及びその周囲組織を含む画像を受け取るステップと、
    前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出するための、１または複数の畳み込み型ニューラルネットワークを含むパラメータ空間ディープラーニングネットワークを開発し、訓練するステップと、
    別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップであって、前記解剖学的対象物の形状を楕円形として推定する、該ステップと、
    前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、を含む１以上のステップを実施するように構成されており、
    前記ユーザディスプレイが、ラベル付けされた前記画像をユーザに対して表示するように構成されていることを特徴とする、画像化システム。
18. 当該画像化システムが、超音波画像化システム、コンピュータ断層撮影（ＣＴ）スキャナ、または磁気共鳴画像化（ＭＲ）スキャナを含み、
    前記画像が正規化画像であり、
    前記正規化画像は、サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために前処理されることを特徴とする、請求項１７に記載の画像化システム。
19. 前記画像が、ビデオストリーム中のフレームから提供され、
    前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項１７に記載の画像化システム。
20. 前記解剖学的対象物の自動的な検出と、前記解剖学的対象物の自動的な位置特定及びセグメンテーションとが、中央演算装置（ＣＰＵ）ベースのコンピュータ、タブレット、またはモバイルデバイスにおいて、単一のディープラーニングネットワークを用いて実施されることを特徴とする、請求項１７に記載の画像化システム。
21. 前記１または複数の畳み込み型ニューラルネットワーク、前記別の畳み込み型ニューラルネットワーク、またはその両方が、８ビット整数または１ビット２進数の重みを使用することを特徴とする、請求項１７に記載の画像化システム。
22. 前記別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
    前記画像から前記解剖学的対象物の周囲の関心領域を抽出するステップを含み、
    当該システムが、前記少なくとも１つの解剖学的対象物及びその周囲組織を含む画像を前記少なくとも１つのプロセッサに提供する前に、該画像を自動的にクロッピングするように構成されていることを特徴とする、請求項１７に記載の画像化システム。
23. 画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションする方法であって、
    前記解剖学的対象物及びその周囲組織を含む画像をプロセッサに提供するステップと、
    前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出するためのパラメータ空間ディープラーニングネットワークを開発し、訓練するステップと、
    １または複数のディープラーニングアルゴリズムを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセマンティックセグメンテーションするステップであって、前記解剖学的対象物の形状を楕円形として推定する、該ステップと、
    前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、
    ラベル付けされた前記画像をユーザに対して表示するステップと、を含むことを特徴とする方法。
24. 前記画像が、正規化画像であり、
    前記正規化画像は、サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために前処理されることを特徴とする、請求項２３に記載の方法。
25. 前記画像は、ビデオストリーム中のフレームから提供され、
    前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項２３に記載の方法。
26. 前記解剖学的対象物の自動的な検出と、前記解剖学的対象物の自動的な位置特定及びセグメンテーションとが、中央演算装置（ＣＰＵ）ベースのコンピュータ、タブレット、またはモバイルデバイスにおいて、単一のディープラーニングネットワークを用いて実施され、
    前記１または複数の畳み込み型ニューラルネットワーク、前記別の畳み込み型ニューラルネットワーク、またはその両方が、８ビット整数または１ビット２進数の重みを使用することを特徴とする、請求項２３に記載の方法。
27. 前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、グランドトゥルースデータを使用して訓練するステップをさらに含み、
    前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出する前記ディープラーニングネットワークを開発し、訓練する前記ステップが、
    複数の患者から、前記解剖学的対象物及びその周囲組織の画像データセットをスキャンし、収集するステップと、
    前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付けるステップと、
    前記画像データセット及び前記グランドトゥルースデータを、訓練データセット及び妥当性確認データセットに分割するステップと、
    前記訓練データセットを使用して前記ディープラーニングネットワークを訓練するステップと、を含むことを特徴とする、請求項２３に記載の方法。
28. サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために、前記画像データセットを前処理することによって前記画像データセットを正規化するステップをさらに含み、
    前記画像データセットが、複数の画像化システムから収集され、
    前記画像データセットは、少なくとも１つのビデオストリームから収集されたフレームを含み、
    前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項２７に記載の方法。
29. 前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付ける前記ステップが、
    フレーム間ピクセル動きのオプティカルフロー計算を実施するステップと、
    前記少なくとも１つのビデオストリームにわたって前記フレーム間ピクセル動きをグループにクラスタリングするために教師なし学習を実施するステップと、
    所定の範囲のフレームにわたって識別及びラベル付けするために、ピクセル動きの前記グループを前記ユーザに提供するステップと、を含み、
    前記訓練データセットを使用して前記ディープラーニングネットワークを訓練する前記ステップが、前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差を最小化するためにコスト関数を最適化するステップをさらに含むことを特徴とする、請求項２７に記載の方法。
30. 前記別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
    前記画像から前記解剖学的対象物の周囲の関心領域を抽出するステップを含み、
    前記解剖学的対象物及びその周囲組織を含む前記画像は、前記プロセッサに提供される前に、自動的にクロッピングされることを特徴とする、請求項２３に記載の方法。

Images