JP7163195B2 - 人工知能ネットワークを活用した超音波画像認識システムと方法 - Google Patents

Description

関連出願への相互参照

本出願は、２０１６年３月９日に出願された米国仮出願第６２／３０５,９８０号、および２０１６年３月２５日に出願された米国仮出願第６２／３１３,６０１号に基づく、３５Ｕ．Ｓ．Ｃ第１１９条（ｅ）に定められた優先権を主張し、これらの出願は、その内容全体を参照することにより本願に組み込まれる。

背景

（技術分野）
この開示は、一般的には超音波撮像システム（ultrasound imaging systems）と方法に関し、より詳細には、超音波撮像ならびに超音波画像の評価、および患者の１つまたは複数の器官（organs）についての臨床的に望ましい見え方（view）を表す超音波画像が取得されたか否かを判定するシステムならびに方法に用いられる、人工知能に基づくネットワーク（artificial intelligence based networks）に関する。

（関連技術の記述）
超音波撮像（Ultrasound imaging）は、典型的には臨床現場において、訓練された超音波熟練者により行われる。超音波画像診断には、器官や他の組織や身体の特徴（たとえば体液や骨や関節など）の特定の見え方が臨床的に重要である。このような見え方は、対象器官や診断目的などによって、超音波技師によってキャプチャされる（captured）見え方として、臨床標準によって規定されている場合がある。超音波技師には、一般に、超音波撮像設備を適切に操作するための、また患者の器官や他の組織や身体の特徴について取得された画像または見え方が、いつ臨床的に望ましい見え方を適切に表しているかを見分けるための、特別な訓練が求められる。それにもかかわらず、超音波技師によってキャプチャされた超音波画像は、典型的には、キャプチャされた画像が臨床的に望ましいかまたは標準的な見え方を十分に表しているか否かを判定するために、医師によって再検討されている。

従来の超音波撮像システムは、病院や同様の臨床現場における大部分の患者には適しているかもしれないが、このようなシステムには、操作の面と、臨床的に望ましい見え方を適切にキャプチャするための著しい訓練が必要となる。熟練した専門家しか従来の超音波撮像装置（ultrasound imaging devices）を適切に動作させることができないので、このことは、このような超音波撮像の全体的なコストを増大させ、さらに、超音波撮像の患者への利用可能性を制限してしまう。

簡単な要約

本開示は、超音波画像認識（ultrasound image recognition）を容易にする超音波システムおよび方法を提供する。特に、この超音波システムおよび方法は、超音波撮像装置によって取得された超音波画像が、患者の１つまたは複数の器官や組織や身体の特徴に関して既知の、臨床的に望ましい見え方に対応しているか否かを判定するように動作可能である。超音波撮像装置によってキャプチャされた超音波画像に関してそのような判定を行うために、人工知能の手法（Artificial intelligence approaches）が超音波画像認識モジュール（ultrasound image recognition module）において用いられる。

一実施形態では、超音波撮像装置と超音波画像認識モジュールとを含む超音波システム（ultrasound system）が提供される。超音波撮像装置は、患者の超音波画像を取得するように構成されている。超音波画像認識モジュールは、取得された超音波画像（acquired ultrasound images）を超音波撮像装置から受信し、受信された超音波画像が器官や他の身体の特徴に関して臨床的に望ましい見え方を表しているか否かを判定するように構成されている。そして、臨床的に望ましい見え方がキャプチャされたか否かを示すために、視覚的な（visual）または可聴的な（audible）合図（cue）を用いるような、正または負のフィードバックが使用者に提供されてよい。臨床的に望ましい見え方がキャプチャされたか否かの判定においてシステムを補助するために、使用者は、画像キャプチャプロセス（image capture process）の前または最中に、使用者がキャプチャしたい特定の画像の透視図（perspective）または見え方を識別し、そしてシステムはこの入力を、望ましい見え方が実際にキャプチャされているか否かの識別を補助するために用いることができる。

別の実施形態では、患者の１つまたは複数の超音波画像を超音波撮像装置によって取得するステップと、取得された患者の超音波画像を超音波画像認識モジュールに送信するステップと、超音波画像認識モジュールによって取得された超音波画像が、器官や他の身体の特徴についての臨床的に望ましい見え方を表しているか否かを判定するステップとを含む方法が提供される。

別の実施形態では、患者の超音波画像を取得するように構成された超音波撮像装置と、取得された超音波画像が器官や他の身体の特徴についての臨床的に望ましい見え方を表しているか否かを判定する超音波画像認識手段とを含む超音波システムが提供される。

本開示は、さらに、超音波画像取得と解釈のための、超音波画像認識を容易にする超音波データ情報システムおよび方法を提供する。特に、超音波データ情報システムおよび方法は、画像取得の状況において、超音波撮像装置によって取得された超音波画像が、１つまたは複数の器官や組織や身体の特徴についての既知の臨床的に望ましい見え方に対応しているか、または、画像解釈の状況において、超音波撮像装置によって取得された超音波画像が特定の病変または正常機能のどちらを示しているかを決定するように動作することができる。人工知能の手法は、患者の超音波画像に関する認識および／または決定を行うように訓練された、中央人工知能（AI）超音波画像認識訓練ネットワーク（central artificial intelligence (AI) ultrasound image recognition training network）で使用される。ＡＩ訓練ネットワーク（AI training network）および／またはＡＩ訓練ネットワークによって成長させられた知識（knowledge）は、どこにでも配置されうる多数の超音波撮像装置に供給され、それらによって実装されてよい。したがって、ＡＩ訓練ネットワークによって生成された超音波画像知識（ultrasound image knowledge）を利用して、超音波撮像装置は患者の画像を取得し、たとえば、取得された画像が臨床的に望ましい１つまたは複数の見え方を表しているか否かを判定しうる。次いで、超音波撮像装置によって取得された超音波画像は、訓練入力情報（training input information）としてＡＩ訓練ネットワークへ送り返され、これによってＡＩ訓練ネットワークをさらに訓練し、さらなるおよび／または洗練された超音波画像知識を成長させる。

超音波撮像装置は、ＡＩ訓練ネットワークから定期的な更新（updates）（たとえば、毎月、毎週、毎日、またはより頻繁に）を受信してよく、したがって、更新のたびに、ＡＩ訓練ネットワークに記憶された、直近に成長させられた超音波画像知識を受信する。

少なくとも１つの実施形態では、１つまたは複数のプロセッサを有するコンピュータ装置に少なくとも部分的に記憶された超音波画像認識訓練ネットワークを含む超音波データ情報システムが提供される。超音波画像認識訓練ネットワークは、超音波訓練画像（ultrasound training images）を受信し、受信された超音波訓練画像に基づいて超音波画像知識を成長させるように構成されている。超音波データ情報システムは、患者の超音波画像を取得するように構成された超音波撮像装置と、超音波撮像装置内の超音波画像認識モジュールとをさらに含んでいる。超音波画像認識モジュールは、超音波画像知識を受信し、取得された超音波画像を超音波撮像装置から受信し、超音波画像知識に基づいて、受信された超音波画像が器官またはある種の病変についての臨床的に望ましい見え方を表しているか否かを判定するように構成されている。

別の実施形態では、本開示は、超音波画像認識訓練ネットワークによって超音波訓練画像を受信するステップを含む方法を提供する。本方法はさらに、超音波画像認識訓練ネットワークによって、受信された超音波訓練画像に基づいて超音波画像知識を生成し、超音波画像認識訓練ネットワークとは別個であって離れて位置する超音波撮像装置に送信するステップを含んでいる。このようにして、超音波撮像装置は、患者の超音波画像を取得し、超音波画像知識に基づいて、取得された超音波画像が器官の臨床的に望ましい見え方を表しているか否かを判定しうる。

図１は、本開示の１つまたは複数の実施形態による超音波画像認識システムを示すブロック図である。 図２は、本開示の１つまたは複数の実施形態による超音波画像認識モジュールの訓練を示すブロック図である。 図３は、本開示の１つまたは複数の実施形態による超音波画像認識モジュールによって実装されうるニューラルネットワーク（neural network）を示すブロック図である。 図４は、本開示の１つまたは複数の実施形態による超音波撮像装置の概略図である。 図５は、本開示の１つまたは複数の実施形態による超音波画像認識方法を示すフローチャートである。 図６は、本開示の１つまたは複数の実施形態による超音波データ情報システムを示すブロック図である。 図７は、本開示の１つまたは複数の実施形態による超音波撮像装置を示すブロック図である。 図８は、本開示の１つまたは複数の実施形態による人工知能超音波画像認識訓練ネットワークの訓練を示すブロック図である。 図９は、本開示の１つまたは複数の実施形態による超音波画像認識方法を示すフローチャートである。

詳細な説明

本開示は、超音波画像認識システムおよび方法のいくつかの実施形態を提供する。本明細書で提供されるシステムおよび方法は、非熟練の超音波技師によって実行される超音波撮像および／または非伝統的な臨床現場で行われうるハンドヘルド（handheld）もしくはモバイル型（mobile）の超音波撮像装置を利用する超音波撮像に特に有用でありうる。本明細書で提供されるシステムおよび方法は、人工知能の手法を用いて、取得された超音波画像が患者の器官や他の組織、患者における特徴や関心領域の望ましい見え方を正確に描写または表現しているか否かを判定することができる。そしてこれらのシステムは、患者の器官や他の組織や特徴の望ましい見え方がキャプチャされたか否かを示すために、使用者にフィードバックを提供してもよい。その代わりにまたはそれに加えて、これらのシステムは、使用者がキャプチャしたい患者の器官の特定の見え方に関する使用者からの入力を受け入れてよい。さらに、このシステムは、特定の解剖学的構造の１つまたは複数の特定の見え方を順番にキャプチャしようとするように使用者を誘導し、１つまたは複数の望ましい見え方がキャプチャされたか否かを使用者に確認してよい。

本開示はさらに、超音波撮像のための人工知能ネットワークシステムおよび方法のいくつかの実施形態を提供する。本明細書で提供される人工知能システムおよび方法は、あらゆる技能水準の超音波技師によって実行される超音波撮像、および／または非伝統的な臨床現場で行われうるハンドヘルドもしくはモバイル型の超音波撮像装置を使用する超音波撮像に対して特に有用でありうる。本明細書で提供されるシステムおよび方法は、人工知能の手法を用いて、（ｉ）取得された超音波画像が、たとえば患者の器官や他の組織、患者における特徴もしくは関心領域を含めた構造および／または解剖学的構造の望ましい見え方を、正確にもしくは実質的に正確に描写もしくは表しているか否か、または不正確にもしくは実質的に不正確に描写もしくは表しているか否か、そして（ｉｉ）臨床的に望ましい解剖学的見え方を表している取得された画像が、正常な機能または特定の病変のどちらを示しているか、を判定することができる。たとえば、心臓の特定の見え方を実質的に正確に描写または表していると判定された取得済みの超音波画像に基づいて、人工知能の手法はさらに、心臓における僧帽弁（mitral valves）の特定の問題を示しうる。

人工知能超音波画像認識訓練ネットワーク（「ＡＩ訓練ネットワーク」（"AI training network"））は、クラウドベース（cloud-based）または分散コンピューティングネットワーク（distributed computing network）であってよく、多数の超音波撮像装置にアクセス可能であってよい。ＡＩ訓練ネットワークは、既知のまたは臨床的に判定された見え方を表す多数の超音波画像を用いて訓練されてよく、これらの見え方の中で超音波画像は正常または病的な機能を表しうる。訓練プロセスを通じて、ＡＩ訓練ネットワークのパラメータは、患者の器官や組織や任意の他の関心領域のような様々な構造の見え方の認識について、および様々な正常な状態ならびに病的な状態について、最適化される。ＡＩ訓練ネットワークおよび／またはネットワークパラメータ（network parameters）（たとえば、訓練プロセスを通じてＡＩ訓練ネットワークによって学習された知識）は、取得された超音波画像について認識し、解釈し、および／または判定を行うために、超音波撮像装置によってダウンロードされ、実装されうる。したがって、超音波撮像装置は必ずしも個別に訓練される必要はない（これは計算集約的なプロセス（computationally intensive process）である）。超音波撮像装置によって取得された超音波画像は、ＡＩ訓練ネットワークをさらに訓練するための訓練入力として、ＡＩ訓練ネットワークに送り返されてよい。

図１は、本開示の実施形態による超音波システム１００のブロック図を示した図である。図１に示したように、超音波システム１００は、超音波撮像装置１１０と、通信ネットワーク（communications network）１０２と、超音波画像認識モジュール１２０と、画像知識データベース（image knowledge database）１２２とを含んでいる。これらの各々は、ハンドヘルド装置やポータブル型装置などの単一の超音波装置に組み込まれていてよく、または互いに動作可能にリンクされるかまたはリンク可能な複数の装置を構成していてもよい。

超音波撮像装置１１０は、患者の超音波画像を取得するように動作可能な任意の超音波装置であり、たとえばハンドヘルド超音波撮像装置であってよい。超音波撮像装置１１０は、ディスプレイ１１２と、メモリ１１４と、１つまたは複数のプロセッサ１１６とを含んでいてよい。超音波撮像装置１１０は、超音波プローブ（ultrasound probe）１１８に動作可能なように接続されている。

メモリ１１４は、たとえば、読み出し専用メモリ（read-only memory (ROM)）、ランダムアクセスメモリ（random access memory (RAM)）、フラッシュメモリ（flash memory）、ハードディスクドライブ（hard disk drive）、光学的記憶装置（optical storage device）、磁気記憶装置（magnetic storage device）、電気的消去可能プログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory (EEPROM)）、有機記憶媒体（organic storage media）などを含む、任意のコンピュータ可読記憶媒体（computer-readable storage medium）であってよい。

プロセッサ１１６は、本明細書で説明するような超音波撮像装置１１０の機能を実行する命令（たとえばメモリ１１４に記憶された命令）を処理するように動作可能な任意のコンピュータプロセッサであってよい。

超音波プローブ１１８は、超音波撮像装置１１０によって駆動され、患者の目標領域に向かって信号を送信し、その送信された信号に応答して目標領域から戻るエコー信号（echo signals）を受信する。動作中、超音波装置１１０の使用者は、所望の超音波画像を取得するための位置および角度で、患者の身体に対してプローブ１１８を保持する場合がある。プローブによって受信された信号（すなわちエコー信号）は、超音波撮像装置１１０へ伝達され、患者の目標領域の超音波画像を形成するか、または形成するように処理されてよい。さらに、超音波画像は、超音波画像および／または任意の他の関連情報を使用者に対して表示しうるディスプレイ１１２へ供給されてよい。

したがって、超音波撮像装置１１０によって取得された超音波画像は、通信ネットワーク１０２を介して超音波画像認識モジュール１２０へ供給されてよい。超音波撮像装置１１０から得られた超音波画像は、参照符号１０１で示したように、超音波画像認識モジュール１２０へ供給される。通信ネットワーク１０２は、ローカルエリアネットワーク（local area networks）、無線ネットワーク（wireless networks）、専用線（dedicated lines）、イントラネット（intranets）、インターネット（the Internet）などを含む１つまたは複数の物理ネットワークを介して通信するために１つまたは複数のプロトコルを利用してよい。

１つまたは複数の実施形態では、超音波画像認識モジュール１２０は超音波撮像装置１１０内に設けられていてよく、または、超音波画像認識モジュール１２０の局所的な複製および／もしくは画像知識データベース１２２に記憶された超音波知識は超音波撮像装置１１０内に含まれていてよく、この超音波撮像装置１１０は、たとえば、更新された超音波画像認識アルゴリズムおよび／または知識を受信するための、離れて位置する（たとえば１つまたは複数のサーバコンピュータまたは「クラウド」に記憶された）超音波画像認識モジュール１２０にアクセスする。

超音波画像認識モジュール１２０は、超音波撮像装置１１０から取得された超音波画像を受信し、受信された超音波画像の１つまたは複数が患者の器官または他の態様、領域または特徴についての臨床的に望ましい見え方を表しているか否かを判定する。超音波画像認識モジュール１２０は、受信された超音波画像が臨床的に望ましい見え方を表しているか否かを判定するために、画像知識データベース１２２からもたらされる、人工知能を用いた任意の計算機による知的システム（computationally intelligent system）によって実装されてよい。本明細書に記載した、超音波画像認識モジュールによって行われる判定の一部または全部は、たとえば取得された超音波画像の受信に応答して、超音波画像認識モジュール１２０によって自動的に実行されてよい。

本明細書内の「人工知能」の語は、（たとえば訓練データに基づいて）知識を学習することができ、そして１つまたは複数の問題を解決するための手法を適用させるためにそのような学習された知識を用いることのできる、あらゆる計算機による知的システムおよび方法を広く表すために用いられている。人工知能機械（Artificially intelligent machines）は、画像認識（image recognition）などの問題を解決するために、たとえばニューラルネットワーク（neural network）、深層学習（deep learning）、畳み込みニューラルネットワーク（convolutional neural network）、ベイジアンプログラム学習法（Bayesian program learning techniques）などを用いることがある。さらに、人工知能は、以下に挙げる、制約プログラム（constraint program）、ファジィ論理（fuzzy logic）、クラスタ分析（classification）、従来型の人工知能（conventional artificial intelligence）、記号操作（symbolic manipulation）、ファジィ集合理論（fuzzy set theory）、進化計算（evolutionary computation）、サイバネティックス（cybernetics）、データマイニング（data mining）、近似推論（approximate reasoning）、派生自由最適化（derivative-free optimization）、決定ツリー（decision trees）、および／またはソフトコンピューティング（soft computing）などの計算技法（computational techniques）の任意の１つまたはそれらの組み合わせを含んでいてよい。１つまたは複数の計算機による知的技術（computationally intelligent techniques）を用いることにより、超音波画像認識モジュール１２０は、より良い性能を得るために学習し、未知の環境および／または変化する環境に適応しうる。

画像知識データベース１２２は、受信された超音波画像について、超音波画像認識モジュール１２０による画像解析を容易にするような種々の情報を含んでいてよい。特に、画像知識データベース１２２は、様々な器官の様々な画像の見え方に関する情報を含んでいてよい。たとえば、画像知識データベース１２２は、心臓の臨床的に標準的な見え方または望ましい見え方に関連する情報を含んでいてよい。心臓の臨床的に標準的な見え方には、たとえば、胸骨上（suprasternal）、肋骨下（subcostal）、短軸および長軸の傍胸骨（short- and long-axis parasternal）、心尖部２腔（2-chamber apical）、心尖部３腔（3-chamber apical）、心尖部４腔（4-chamber apical）、心尖部５腔（5-chamber apical）の見え方が含まれうる。さらに、臨床的に標準的な見え方に関連する情報は、３次元像（three-dimensional view）、２次元断面像（two-dimensional cross section view）および／または１組の２次元断面像に関連する情報であってよい。画像知識データベース１２２は、超音波画像認識モジュール１２０によってアクセス可能な任意のコンピュータ可読記憶媒体に記憶されていてよい。

超音波画像認識モジュール１２０は、本明細書で説明した種々の機能や動作を実行するように構成されたコンピュータプロセッサ（computer processor）を含むか、さもなければそれによって実行されてよい。たとえば、超音波画像認識モジュール１２０は、汎用コンピュータもしくは記憶されたコンピュータプログラムによって選択的に起動されるかもしくは再構成された（reconfigured）データプロセッサ（data processor）によって実行されてよく、または本明細書で説明する特徴や動作を実行するために特別に構成されたコンピュータプラットフォーム（computing platform）であってもよい。

図２は、１つまたは複数の実施形態による超音波画像認識モジュール１２０の訓練を示すブロック図である。超音波画像認識モジュール１２０は、訓練画像２１０に基づいて訓練されてよい。訓練画像２１０は、いかなる超音波画像情報をも含んでいてよい。たとえば、訓練画像２１０は、心臓のような器官の既知の見え方に関連する様々な超音波画像情報を含んでいてよい。さらなる例として、訓練画像２１０は、たとえば心臓の胸骨上の見え方の臨床的に望ましい画像であってよい。そのような場合、訓練画像２１０は、心臓の臨床的に望ましい胸骨上の見え方を適切に示すように、（たとえば医師によって）あらかじめ判定された超音波画像であってよい。そのような訓練画像２１０の各々は、わずかに異なる特性（たとえば、高品質画像、低品質画像、ぼやけた画像、わずかに異なる角度で撮影された画像など）を有する場合があるが、 それでもなおそのような各訓練画像２１０は、心臓の臨床的に望ましい見え方を適切に表しているものとしてあらかじめ判定されていてよい。

さらに、訓練画像２１０は、臨床的に標準的な見え方または臨床的に望ましい見え方に関連する画像情報だけでなく、臨床的には望ましくない見え方に関連する画像情報をさらに含んでいてもよい。したがって超音波認識モジュール１２０は、たとえば特定の臨床的に望ましい見え方（たとえば胸骨上、肋骨下、短軸および長軸の傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔、心尖部５腔の見え方）を表していない心臓の見え方を受信することがある。そのような場合、超音波認識モジュール１２０は、それでもなおその画像を心臓の見え方として認識する場合があり、さらにその画像を、たとえば心尖部２腔の見え方と心尖部３腔の見え方との間のどこかの画像であると認識する場合がある。臨床的に標準的な心尖部３腔の見え方は、一般に、たとえば超音波撮像プローブを心尖部２腔の見え方に対して反時計回りに約６０°回転させることによって得ることができる。心尖部２腔の見え方に対して反時計回りにたとえば５°から５５°の間のどこかの回転角度においてプローブによって得られた超音波画像は、心臓の臨床的に望ましい見え方を表していないものと判定される場合がある。しかし、超音波画像認識モジュール１２０は、心臓の、既知ではあるが臨床的には望ましくない様々な見え方（たとえば心尖部２腔の見え方と心尖部３腔の見え方との間のどこかの見え方）を示す訓練画像２１０を用いて訓練されてよく、そのような見え方を認識しうる（たとえば超音波画像認識モジュール１２０は心尖部２腔の見え方に対してプローブ１１８の反時計回りに３５°の回転を表す見え方を認識しうる）。

他の訓練入力２２０が訓練のために超音波画像認識モジュール１２０にさらに供給されてよい。他の訓練入力２２０は、たとえば、訓練プロセスを通じて画像認識モジュール１２０内で成長させられた画像認識モデルを調整するか、さもなければ管理するための、手作業で入力された入力（manually-entered input）を含んでいてよい。

超音波画像認識モジュール１２０は、訓練画像２１０を用いて反復訓練プロセスを実装しうる。訓練は、様々な学習規則（learning rules）または訓練アルゴリズム（training algorithms）に基づいていてよい。たとえば、学習規則は、以下に挙げる、バックプロパゲーション（back-propagation）、リアルタイムリカレント学習（real-time recurrent learning）、パターンバイパターン学習（pattern-by-pattern learning）、教師あり学習（supervised learning）、補間（interpolation）、加重和（weighted sum）、強化学習（reinforced learning）、時間差学習（temporal difference learning）、教師なし学習（unsupervised learning）および／または記録学習（recording learning）のうちの１つまたは複数を含んでいてよい。

バックプロパゲーション学習アルゴリズム（The back-propagation learning algorithm）は、人工ニューラルネットワーク（artificial neural networks）を訓練する一般的な方法である（たとえば図３に示す人工ニューラルネットワーク３００で使用されうる）。バックプロパゲーションには、一般に、伝播（propagation）と重みの更新（weight update）の２つのフェーズが含まれる。伝播フェーズでは、伝播の出力活性（output activations）を生成するために、訓練パターンの入力がニューラルネットワークを通って順方向に伝播される。次に、すべての出力ニューロンと隠れニューロン（hidden neurons）とのデルタ（すなわち入力値と出力値との間の差）を生成するために、伝播の出力活性が訓練パターンターゲット（training pattern target）を用いてニューラルネットワークを通って逆方向に伝播される。重み更新フェーズにおいては、それぞれの重みシナプス（weight-synapse）について、以下のステップが一般的に実行される。１．重みの勾配（gradient）を得るために、その出力デルタと入力活性（input activation）とを乗ずる。２．重みから勾配の比率（パーセンテージ）を減じる。伝播フェーズと重み更新フェーズとは、ネットワークの性能が満足できるものになるまで必要なだけ繰り返される。

訓練の結果として、超音波画像認識モジュール１２０は、訓練画像２１０に応答してその挙動を修正し、超音波画像知識２３０を取得するかまたは生成することを学習しうる。超音波画像知識２３０は、超音波画像認識モジュール１２０が新しいデータや状況に対する適切な応答を決定しうるいかなる情報も表していてよい。特に、超音波画像知識２３０は、超音波画像と器官の１つまたは複数の見え方との間の関連性（たとえば１つまたは複数の関数であって超音波画像パラメータ（ultrasound image parameters）、係数（coefficients）、重み付け情報（weighting information）、図３に示したニューラルネットワークの例に関連するパラメータ、またはそのような任意の変数に基づいて器官の１つまたは複数の見え方を描写するもの）を表す。超音波画像知識２３０は、超音波画像知識データベース１２２内に記憶されていてよい。

超音波画像認識モジュール１２０は、訓練画像２１０に基づいて学習し、その挙動を変更してよく、画像知識データベース１２２内に含まれている知識を適用して、新しい入力、たとえば超音波撮像装置１１０から受信された超音波画像情報に関して、決定を行う方法を変更しうる。

図３は、１つまたは複数の実施形態による、超音波画像認識モジュール１２０によって実装されうる人工ニューラルネットワーク３００の一例を示すブロック図である。人工ニューラルネットワーク（ANNs）は、多数の入力（それは一般的には未知である）に依存しうる関数を推定するかまたは近似させるために用いられる人工知能モデルである。そのようなニューラルネットワークは一般に、互いに情報をやりとりする相互接続された「ニューロン」（"neurons"）のシステムを含んでいる。その接続は、経験に基づいて調整されうる数値重み（numeric weights）を有し、したがってニューラルネットワークは、入力に適応し、学習することができる。

図３に示した人工ニューラルネットワーク３００は、入力ニューロンｉ_１からｉ_３を含む１つの入力層３１０と、隠れ層ニューロンｈ_１からｈ_４を含む１つの隠れ層３２０と、出力ニューロンｆ_１およびｆ_２を含む１つの出力層３３０とからなる３つの層を含んでいる。図３のニューラルネットワーク３００は３つの層を有するように示されているが、超音波画像認識モジュール１２０の最適な訓練と性能とを達成するために、必要に応じてニューラルネットワーク３００に追加の層を含めうることは容易に理解されるべきである。同様に、各層のニューロンは例示的な目的のために示されており、各層が図３に示したものよりも多くの、さらにはるかに多くのニューロンを含みうることは容易に理解されるべきである。

ニューラルネットワーク３００は、訓練画像２１０を入力層３１０に供給することによって訓練されてよい。図２に関して述べたように、訓練画像は、たとえば様々な器官の見え方、様々な画像品質または特徴、様々な画像化角度（imaging angles）などを含んだ広範な既知の特性を有する超音波画像情報を含んでいてよい。ニューラルネットワーク３００は、訓練を通じて、入力層３１０に供給された訓練画像２１０を出力層３３０における既知の出力情報（たとえば心臓の肋骨下での見え方、胸骨上での見え方などの画像の分類）へとマッピングする重み付けされた結合（weighted connections）を表す隠れ層３２０を生成し、および／または修正しうる。訓練プロセスを通じて形成され、重み結合関係（weight connection relationships）を含みうる、入力層３１０と隠れ層３２０と出力層３３０とにおけるニューロン間の関係を、本明細書では「超音波画像知識」（"ultrasound image knowledge"）と総称し、それはたとえば超音波画像知識データベース１２２内に記憶されてよい。

ニューラルネットワーク３００がいったん十分に訓練されると、ニューラルネットワーク３００には、入力層３１０において非訓練用超音波画像（すなわち超音波撮像装置１１０を利用して撮影された患者の超音波画像）が供給されうる。ニューラルネットワーク３００は、超音波画像知識データベース１２２内に記憶された超音波画像知識（それらはたとえばニューラルネットワーク３００のニューロン間の重み付けされた結合情報（weighted connection information）を含みうる）を用いて、受信された超音波画像情報についての判定を出力層３３０において行いうる。たとえば、ニューラルネットワーク３００は、受信された超音波画像が器官の１つまたは複数の臨床的に望ましい見え方を表しているか否かを判定しうる。

図３のニューラルネットワーク３００は、受信された超音波画像情報に関して判定を行うために人工知能を用いる超音波画像認識モジュール１２０の種々ありうる実施例中の単なる一例として提供されているにすぎない。たとえば、超音波画像認識モジュール１２０は、患者の受信された超音波画像に関する判定を行うために、ニューラルネットワーク、深層学習、畳み込みニューラルネットワーク、ベイジアンプログラム学習法のいずれかを実装しうる。

さらに、超音波認識モジュール１２０は、受信された超音波画像情報に関する様々な判定を行うために、様々な訓練画像２１０および／または訓練画像２１０の様々なシーケンス（sequences）を利用して訓練されうる。たとえば、超音波認識モジュール１２０は、受信された超音波画像が１つまたは複数の臨床的に標準的な見え方または望ましい見え方を表しているか否かを判定するように訓練されるか、さもなければそのように構成されうる。さらに、超音波認識モジュール１２０は、受信された超音波画像が臨床的には望ましくない見え方を表しているか否かを判定し（そして患者内の特定の器官もしくは他の組織についての特定の見え方または角度であるような、臨床的には望ましくない見え方を認識する場合がある）、さらに、受信された超音波画像のシーケンスに基づいて、画像が器官の臨床的に望ましい見え方に近づいているかまたは遠ざかっているかということをさらに判定しうる。画像が器官の臨床的に望ましい見え方に近づいているかまたは遠ざかっているかということを認識すること、および／またはキャプチャされた実際の画像を認識することに基づいて、このシステムは、たとえば使用者がプローブを動かすことを望みうる方向および／または使用者がプローブに角度をつけたいと望みうる回転の角度もしくは向きを示すことによって、使用者にフィードバックを提供し、器官の望ましい見え方をキャプチャする際に使用者を支援するように構成されていてよい。

たとえば、上述したように、超音波画像認識モジュール１２０は、心臓についての、既知ではあるが臨床的には望ましくない様々な見え方（たとえば心尖部２腔の見え方と心尖部３腔の見え方と間のどこかの見え方など）を示す訓練画像２１０を用いて訓練されてよく、そのため、そのような見え方を認識することがある（たとえば超音波画像認識モジュール１２０は、心尖部２腔の見え方に対してプローブ１１８の反時計回りに３５°の回転を表している見え方を認識することがある）。さらに、超音波画像認識モジュール１２０は、認識されたものの臨床的には標準的でない、または臨床的には望ましくない心臓の見え方のシーケンスを用いて訓練されてよい。たとえば、超音波画像認識モジュール１２０は、心尖部２腔の見え方に対して反時計回りに０°から６０°までの間の各回転角度（すなわち心尖部２腔の見え方と心尖部３腔の見え方との間のあらゆる角度）において心臓の見え方を表している超音波画像を認識するように訓練されてよい。さらに、超音波画像認識モジュール１２０は、臨床的には望ましくない見え方が臨床的に望ましい見え方に向かうような、および／またはそれから遠ざかるようなシーケンスや漸進（progression）を認識するように訓練されうる（たとえば訓練画像２１０は、プローブ１１８を、心尖部２腔の見え方から心尖部３腔の見え方に向かって、および／または心尖部３腔の見え方から離れる方向へと回転させることを表現する超音波画像のシーケンスを含む場合がある）。したがって、超音波画像認識モジュール１２０は、受信された超音波画像が、特定の臨床的に望ましい見え方を表してはいないものの、臨床的に望ましい見え方へと連続的に近づいていく（または遠ざかっていく）ことを認識するように訓練されうる。

さらに、超音波画像認識モジュール１２０は、受信された超音波画像が器官についての複数の臨床的に望ましい見え方のいずれかを表しているか否かを超音波画像認識モジュール１２０が判定しうるように、訓練されてよい。器官についてのそのような臨床的に望ましい見え方には、たとえば胸骨上、肋骨下、短軸および長軸の傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔、心尖部５腔での心臓の見え方が含まれうる。

再び図１を参照すると、超音波画像認識モジュール１２０は、以下でさらに詳細に説明するように、超音波撮像装置１１０へ（参照符号１０３で示した）フィードバック信号を供給してよい。フィードバック信号１０３は、受信された超音波画像に関して超音波画像認識モジュール１２０が行う判定への応答として供給されてよい。

図４は、１つまたは複数の実施形態による超音波撮像装置１１０を概略的に示した図である。超音波撮像装置１１０は、１つまたは複数の入力要素４１２、１つもしくは複数の視覚的フィードバック要素４２０および／または可聴的フィードバック要素４３０および／または触覚フィードバック要素４４０を含むユーザインタフェース４１０と、ディスプレイ１１２とを含んでいてよい。

ユーザインタフェース４１０によって、使用者は、超音波撮像装置１１０を制御するか、さもなければそれと通信することが可能になる。様々な種類の使用者の入力が、たとえばボタンや同様の使用者入力要素であってよい使用者入力要素４１２を介して供給されうる。これに加えてまたはこれに代えて、ディスプレイ１１２はタッチスクリーンディスプレイであってよく、使用者の入力がディスプレイ１１２を介して受信されてもよい。使用者は、超音波撮像装置１１０を使用して、患者において撮像されるべき器官の望ましい見え方を、（たとえば入力要素４１２および／またはディスプレイ１１２を介して）選択するか、さもなければ入力してよい。たとえば、使用者は、超音波撮像装置１１０内に記憶されていて使用者に対して提示された複数の臨床的に望ましい見え方のうちから１つの見え方（たとえば心臓の肋骨下での見え方）を選択してよい。超音波撮像装置１１０は、選択された見え方を超音波画像認識モジュール１２０に伝達してよく、したがって超音波画像認識モジュール１２０は、受信された超音波画像が選択された見え方を表しているか否かを判定するように構成されていてよい。すなわち、超音波画像認識モジュール１２０は、画像知識データベース１２２内の適切な超音波画像知識（たとえば心臓の肋骨下での見え方に関連する知識や規則や関係性）にアクセスし、そのことによって、受信された超音波画像は、選択された見え方に対応する知識と比較されるか、またはそれによって処理されうる。あるいは、使用者は、上述したように、心臓のような器官の１つまたは複数の一連の標準的な見え方のうちの１つの見え方をキャプチャすることを通じてシステムが使用者を誘導するような動作モード（mode of operation）を選択してもよい。そのようなモードにおいては、システムはまず、撮像されるべき器官の望ましい見え方を選択し、次いで、望ましい画像がキャプチャされたときに使用者に対して確認する、および／または最初にキャプチャされた画像に基づいて使用者を望ましい見え方へと導く。そしてシステムは、撮像されるべき器官の望ましい標準的な見え方のそれぞれについて、このプロセスを連続して繰り返すことになる。あるいは、システムは、キャプチャされるべき各画像とキャプチャされたあらゆる画像とを比較して、最初にキャプチャされるべき画像を初めに指示されることなしに、１つまたは複数の望ましい標準的な見え方がキャプチャされた時に確認するように動作することも可能である。

視覚的フィードバック要素（visual feedback elements）４２０は、超音波撮像装置１１０の使用者に視覚的表示（visual indication）を提供することのできる任意の要素であってよく、静止画であれ動画であれ、たとえば１つまたは複数の光や色や形状やアイコン（icons）などであってよい。可聴的フィードバック要素（audible feedback element）４３０は、超音波撮像装置１１０の使用者に対する可聴指示（audible indication）を呈示することのできる任意の要素であってよく、たとえば、キャプチャされた画像とキャプチャしたいと望まれる画像との間の関連性および関連性の欠如に関連づけられた様々なトーン（tones）や音（sounds）を呈示するためのスピーカであってよい。同様に、触覚フィードバック要素（haptic feedback element）４４０は、超音波撮像装置１１０の使用者に触覚効果（haptic effect）を提供することのできる任意の要素であってよく、たとえば振動装置（vibration device）であってよい。

超音波画像認識モジュール１２０によって提供されるフィードバック信号１０３は、超音波撮像装置１１０から受信された超音波画像に関する、超音波画像認識モジュール１２０によって行われたあらゆる様々な判定を示してよい。

たとえば、超音波画像認識モジュール１２０は、現在または直近に（most recently）受信された超音波画像が器官についての臨床的に望ましい見え方（たとえば選択された臨床的に望ましい見え方）を表していることを示すフィードバック信号１０３を提供してよい。さらなる例では、超音波画像認識モジュール１２０は、受信された超音波画像が器官についての臨床的に望ましい見え方に連続的に接近しているかまたは遠ざかっているかを判定し、受信された超音波画像が器官についての臨床的に望ましい見え方に連続的に接近しているかまたは遠ざかっているかということを示すフィードバック信号１０３を提供してよい。このフィードバック信号は、特定の方法でプローブを移動させるか、もしくは角度を付けるように使用者に指示するための、視覚的な、もしくは可聴的なコマンド（command）を含めることができ、または、器官についての望ましい画像によりよく近づけるためにプローブに求められる移動の方向および／もしくは移動の角度を示す、まっすぐもしくは曲がった矢印などのアイコンを含めることもできる。

超音波撮像装置１１０は、フィードバック信号１０３を受信し、それに応答して、超音波撮像装置１１０の使用者にフィードバック効果を提供するために、１つまたは複数のフィードバック要素（すなわち視覚的フィードバック要素４２０および／または可聴的フィードバック要素４３０および／または触覚フィードバック要素４４０）を作動させてよい。たとえば、フィードバック信号１０３は、現在または直近に受信された超音波画像が、器官についての臨床的に望ましい見え方を表していることを示してよい。このような場合、超音波撮像装置１１０によって提供されるフィードバック効果は、視覚的フィードバック要素４２０の緑色光４２０ａの発光や、可聴的フィードバック要素４３０からの可聴トーン（audible tone）もしくはビープ音、および／または触覚フィードバック要素４４０によって提供される振動パルス（vibrational pulse）を含んでいてよい。発光する緑色光４２０ａおよび／または可聴音および／または振動パルスは、望ましい見え方が得られたことを使用者に示し、したがって使用者は、（たとえば１つまたは複数の使用者入力要素４１２を使用することによって）望ましい見え方の超音波画像を保持し、そして画像を超音波画像データベース１１５に記憶させうる。

これに加えてまたはこれに代えて、受信された超音波画像に器官の臨床的に望ましい見え方が表されていると判定すると、超音波画像認識モジュール１２０は、（たとえばフィードバック信号１０３によって）超音波撮像装置１１０に、その超音波画像を自動的に保持して超音波画像データベース１１５に記憶させるようにしてもよい。使用者が既に所望の画像をキャプチャしているか否か、または撮像された特定の患者について所望の画像がキャプチャされている状態を維持しているか否かを示すために、それぞれの望ましい種類の画像の隣に適切な表記と共に表（table）が表示されるようになっていてもよい。

フィードバック信号１０３が、受信された超音波画像が器官の臨床的に望ましい見え方に連続的に近づいていくかまたは遠ざかっていくことを示す実施形態においては、超音波撮像装置１１０は、たとえば、受信された超音波画像が臨床的に望ましい見え方に近づく（または遠ざかる）につれて周波数が増加する（または減少する）可聴音や、受信された超音波画像が臨床的に望ましい見え方に近づく（またはそこから遠ざかる）につれて増加する（または減少する）強度を有する一連の振動パルス、および／または受信された超音波画像が臨床的に望ましい見え方に近づいているかまたは遠ざかっているときに、色や位置が異なる光源を発光させる（たとえば、受信された超音波画像が臨床的に望ましい見え方に近づくにつれて、外側に位置する赤い光源４２０ｃを発光させ、次に中間に位置する黄色の光源４２０ｂを発光させ、そして、中心に位置する緑色の光源４２０ａを発光させる）等の変化するフィードバック効果を提供することによって、そのことを使用者に伝達してよい。

超音波撮像装置１１０に動作可能なように接続されたプローブ１１８は、たとえば加速度計（accelerometers）やジャイロスコープ（gyroscopes）などを含む任意の動きセンサ（motion sensors）であってよい１つまたは複数の動きセンサ４５０を含んでいてよい。したがって、超音波撮像装置１１０は、プローブ１１８の位置および／または動きを判定しうる。特に、超音波撮像装置１１０は、患者における１つまたは複数の既知の点に対するプローブ１１８の位置および／または動きを判定しうる。たとえば、使用者は、患者における既知の点（たとえば患者の胸の特定の点）において既知の向き（orientation）（たとえば患者の皮膚に対して実質的に垂直）にプローブ１１８を配置する場合があり、超音波撮像装置１１０は、この位置を基準点または初期化点として（たとえば使用者入力要素４１２を介して）キャプチャしてよい。したがって、超音波撮像装置１１０は、たとえば慣性航法技術（inertial navigation techniques）を含む任意の既知の位置決めアルゴリズムを利用して、既知の基準点に対する自身の位置を判定しうる。同様に、超音波画像認識モジュール１２０は、たとえば（本明細書で説明するように）臨床的に望ましい見え方から遠ざかる方向に移動していることを判定してよく、臨床的に望ましい見え方を得るために、患者における既知の点に関してのプローブ１１８の動きを（たとえばフィードバック信号１０３によって）提案してよい。たとえば、超音波画像認識モジュール１２０は、たとえば受信された超音波画像が心尖部２腔の見え方に関して反時計回りに４５°、４０°、そして３５°の回転に伴う心臓の連続的な見え方を表していると判定しうる。臨床的に望ましい見え方は、たとえば、心尖部２腔の見え方に対してプローブ１１８を約６０°回転させることによって得ることのできる心尖部３腔の見え方である場合がある。したがって、超音波画像認識モジュール１２０は、受信された超音波画像が臨床的に望ましい見え方から遠ざかっていると判定する場合があり、さらに、たとえば、心尖部３腔の見え方を得るために、使用者がプローブ１１８を反時計回りに約２５°回転させることを提案してよい（直近の見え方が心尖部２腔の見え方に関して反時計回りに３５°の回転を表す場合があり、反時計回りに追加的に２５°だけ回転させることにより、望ましい心尖部３腔の見え方が得られる）。

本明細書では、超音波画像認識モジュール１２０は、超音波撮像装置１１０から分離されていて、通信ネットワーク１０２を介してアクセス可能なものとして説明したが、超音波画像認識モジュール１２０は超音波撮像装置１１０内に含まれていてもよいということは容易に理解されるべきである。すなわち、超音波画像認識モジュール１２０（画像認識モジュール１２０自体または遠隔に位置する画像認識モジュール１２０の局所的な複製（local copy）のいずれか）は、超音波撮像装置１１０内に含まれていてよく、たとえばメモリ１１４に記憶されていてよく、超音波画像認識モジュール１２０の特徴および／または機能は、プロセッサ１１６によって実行されるか、さもなければ実装されてよい。

図５は、１つまたは複数の実施形態による超音波画像認識方法５００を示すフローチャートである。ブロック５０２において、方法５００は、超音波撮像装置１１０によって患者の超音波画像を取得するステップを含んでいる。取得された超音波画像は、たとえば患者の器官の見え方を含んでいてよい。

ブロック５０４において、方法５００は、取得された超音波画像を超音波画像認識モジュール１２０へ送信するステップを含んでいる。取得された超音波画像は、通信ネットワーク１０２を介して送信されてよく、あるいは、超音波画像認識モジュール１２０が超音波撮像装置１１０内に含まれていてもよく、取得された超音波画像は実配線による接続（hardwired connection）を介して送信されてもよい。

ブロック５０６において、方法５００は、取得された超音波画像が器官についての臨床的に望ましい見え方を表しているか否かを超音波画像認識モジュール１２０によって判定するステップを含んでいる。超音波画像認識モジュール１２０は、たとえば図２および図３に示して説明したように、判定を容易にする任意の人工知能の方法を用いてよい。

ブロック５０８において、方法５００は、受信された超音波画像が器官についての臨床的に望ましい見え方を表しているか否かを判定することに応答して、フィードバック信号１０３を超音波撮像装置１１０へ送信するステップをさらに含んでいてよい。フィードバック信号１０３は、種々ありうるメッセージを超音波撮像装置１１０に通信してよい。たとえば、フィードバック信号１０３は、取得された超音波画像が臨床的に望ましい見え方を表していること、臨床的に望ましい見え方を表していないこと、および／または画像が臨床的に望ましい見え方に連続的に近づいているか、もしくは遠ざかっていることを示してよい。

ブロック５１０において、方法１００は、取得された超音波画像が器官についての臨床的に望ましい見え方を表していると判定した超音波画像認識モジュール１２０に応答して、取得された超音波画像を記憶するステップをさらに含んでいてよい。そのような場合、取得された超音波画像は、たとえば超音波画像データベース１１５内に自動的に記憶されてよい。これに加えてまたはこれに代えて、超音波撮像装置１１０の使用者は、たとえばユーザインタフェース４１０を介して超音波撮像装置１１０へ入力を供給することによって、取得された超音波画像を記憶するように促されてもよい。

図６は、本開示の実施形態による超音波データ情報システム（ultrasound data information system）６００のブロック図を示した図である。図６に示したように、超音波データ情報システム６００は、多数の超音波撮像装置６１０と、通信ネットワーク６０２と、クラウドベースの人工知能（ＡＩ）超音波画像認識訓練ネットワーク６２０（以下「ＡＩ訓練ネットワーク１２０」という）と、超音波画像知識データベース６２２とを含んでいる。超音波データ情報システム６００はさらに、１つまたは複数のユーザコンピュータ装置（user computer devices）６３０を含んでいてよい。

ＡＩ訓練ネットワーク６２０は、超音波画像を認識するように訓練された、クラウドベースであるかまたは分散コンピューティングの人工知能ネットワークである。特に、ＡＩ訓練ネットワーク６２０は、受信された超音波画像が患者の器官もしくは他の態様、領域もしくは特徴について、臨床的に望ましい見え方を表しているか否か、または臨床的に望ましい見え方が正常な機能もしくは特定の病変のどちらを示しているか、を判定するように訓練されていてよい。ＡＩ訓練ネットワーク６２０は、（たとえば画像知識データベース６２２に記憶されているような）知識を学習するか、さもなければ生成するために訓練入力からもたらされる、人工知能を用いた任意の計算機による知能システムによって実装されてよく、これは、受信された超音波画像が臨床的に望ましい見え方を表しているか否か、または臨床的に望ましい見え方が正常な機能もしくは特定の病変をどちらを示しているかを判定するために利用される。

ＡＩ訓練ネットワーク６２０は、１つまたは複数の計算機による知能技術を用いて、より良い性能を得るために学習し、未知のおよび／または変化する環境に適応しうる。

ＡＩ訓練ネットワーク６２０は、人工知能訓練プロセスを通じて、知識を学習し、これは画像知識データベース６２２に記憶されている。画像知識データベース６２２内に記憶された知識は、受信された超音波画像に関して、ＡＩ訓練ネットワーク６２０および／または超音波撮像装置６１０内の超音波画像認識モジュール６２１による超音波画像解析を容易にする種々の情報を含んでいてよく、これについては本明細書でさらに詳しく説明する。特に、たとえば画像知識データベース６２２は、様々な器官の様々な画像の見え方、および様々な器官の正常な状態や病理学的状態に関する情報を含んでいてよい。たとえば画像知識データベース６２２は、心臓の臨床的に標準的な見え方または望ましい見え方に関連する情報を含んでいてよい。心臓の臨床的に標準的な見え方には、たとえば、胸骨上、肋骨下、短軸および長軸の傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔、心尖部５腔の見え方が含まれうる。さらに、臨床的に標準的な見え方に関連する情報は、３次元の見え方、２次元断面の見え方、および／または１組の２次元断面の見え方に関連する情報である場合がある。同様に、画像知識データベース６２２は、たとえば心筋収縮性や弁機能を含む、心臓のような器官の正常な機能や器官の様々な病的状態に関連する情報を含んでいてよい。画像知識データベース６２２は、ＡＩ訓練ネットワーク６２０によってアクセス可能な任意のコンピュータ可読記憶媒体に記憶されていてよい。

ＡＩ訓練ネットワーク６２０は、本明細書で説明する様々な機能や動作を行うように構成された１つまたは複数のコンピュータプロセッサを含んでいてよいし、さもなければそれによって実行されてよい。たとえば、ＡＩ訓練ネットワーク６２０は、記憶されたコンピュータプログラムによって選択的に起動されるかもしくは構成される、１つもしくは複数の汎用コンピュータもしくはデータプロセッサによって実行されてよく、または本明細書で述べる特徴や動作を実行するために特別に構成されたコンピューティングプラットフォーム（computing platform）であってもよい。特に、ＡＩ訓練ネットワーク６２０は、超音波画像知識を生成するために非常に多数（たとえば数万またはそれを超える数）の訓練画像を受信して処理することのできるような高度な計算能力を有するクラウドベースかまたは分散コンピューティングの人工知能ネットワークであってよい。１つまたは複数の実施形態では、ＡＩ訓練ネットワーク６２０は、超音波撮像装置６１０内に含まれていてよく、および／または超音波撮像装置６１０内で実行されてよい。

超音波撮像装置６１０は、患者の超音波画像を取得するように動作可能な任意の超音波装置であってよく、たとえばハンドヘルドの超音波撮像装置であってよい。図６に示した超音波撮像装置６１０は、図１に示した超音波撮像装置１１０と同じであるか、または実質的に同じであってよい。特に、超音波撮像装置６１０は、超音波撮像装置１１０に関して上述した（そしてたとえば図１から図４に示した）のと同じ特徴を含んでいてよく、図７に関して以下に述べるような追加の特徴をさらに含んでいてもよい。

図７を参照すると、超音波撮像装置６１０は、ディスプレイ１１２と、メモリ１１４と、１つまたは複数のプロセッサ１１６と、超音波画像認識モジュール６２１とを含んでいてよい。超音波撮像装置６１０に含まれている超音波画像認識モジュール６２１は、図１に示してそれに関連して説明した超音波画像認識モジュール１２０と本質的に同じであってよい。１つ異なるのは、超音波画像認識モジュール６２１（および局所的な超音波知識データベース６１２）が図８における超音波撮像装置６１０内に配置されているのに対し、超音波画像認識モジュール１２０は図１における超音波撮像装置１１０に対して離れて位置しているということである。

超音波撮像装置６１０は、取得された超音波画像のデータベース（acquired ultrasound image database）６１５および／または局所的な超音波画像知識データベース６１２をさらに含んでいてよい。超音波撮像装置６１０は、超音波プローブ１１８に動作可能なように接続されている。

メモリ１１４と、プロセッサ１１６と、超音波プローブ１１８と、ディスプレイ１１２とは、図１の超音波撮像装置１１０に関して上述したとおりである。

超音波画像認識モジュール６２１は、たとえば、画像知識データベース６２２内に取得され記憶された画像知識を含む、あらかじめ訓練されたクラウドベースのＡＩ訓練ネットワーク６２０の一部または全部を組み込んでいてよい。すなわち、超音波撮像装置６１０は、通信ネットワーク６０２を介して、ＡＩ訓練ネットワーク６２０および／または超音波画像知識データベース６２２に記憶された超音波画像知識（それらはたとえば局所的な超音波画像知識データベース６１２内に記憶されていてよい）をダウンロードしてよい。したがって、ＡＩ訓練ネットワーク６２０によって学習された画像知識は、超音波撮像装置６１０によって取得された超音波画像に関する処理や決定を行うために、超音波画像認識モジュール６２１によって適用されうる。通信ネットワーク６０２は、ローカルエリアネットワークや、無線ネットワークや、専用線や、イントラネットや、インターネットなどを含む１つまたは複数の物理ネットワークを介して通信するために１つまたは複数のプロトコルを利用してよい。

したがって、超音波撮像装置６１０によって取得された超音波画像は超音波画像認識モジュール６２１に供給され、そして超音波画像認識モジュール６２１によって処理されてよい。超音波画像認識モジュール６２１は、超音波撮像装置６１０によって取得された超音波画像を受信し、受信された超音波画像の１つまたは複数が器官もしくは他の態様、患者における領域もしくは特徴の臨床的に望ましい見え方を表しているか否か、または臨床的に望ましい見え方が正常な機能もしくは特定の病変のどちらを示しているか、を判定する。超音波画像認識モジュール６２１は、受信された超音波画像が臨床的に望ましい見え方を表しているか否か、または臨床的に望ましい見え方が正常な機能もしくは特定の病変のどちらを示しているかを判定するために、局所的な超音波画像知識データベース６１２内に含まれているような学習された知識からもたらされる、人工知能を用いた任意の計算機による知能システムによって実装されてよい。

超音波画像知識データベース６２２は、図１に示した超音波画像知識データベース１２２に類似のものであるか、またはそれと同じであってよい。ＡＩ訓練ネットワーク６２０は、超音波撮像装置６１０によって取得された超音波画像に関連した判定を行うためにＡＩ訓練ネットワーク６２０が訓練され、かつ超音波画像知識（超音波画像知識データベース６２２内に記憶されている）を成長させるという点において、図１に示した超音波画像認識モジュール１２０と同様である。しかしながら、１つ異なるのは、ＡＩ訓練ネットワーク６２０は、部分的に、多数の超音波撮像装置６１０によって取得された実際の超音波画像によって訓練されていて、それらの多数の超音波撮像装置６１０が追加的なまたは洗練された超音波画像知識をさらに訓練して成長させるためにＡＩ訓練ネットワーク６２０に提供される、という点である。

図８は、１つまたは複数の実施形態によるクラウドベースのＡＩ訓練ネットワーク６２０の訓練を示すブロック図である。ＡＩ訓練ネットワーク６２０は、最初に訓練画像８１０を用いて訓練されてよい。訓練画像８１０は、あらゆる超音波画像情報を含んでいてよく、図２に示して説明した訓練画像２１０と同じであるかまたは類似したものであってよい。たとえば、訓練画像８１０は、器官についての既知の見え方（たとえば心臓の胸骨上の臨床的に望ましい見え方など）に関連する様々な超音波画像情報を含んでいてよい。さらに、訓練画像８１０は、特定の臨床的に望ましい見え方を適切に表すように（たとえば医師によって）あらかじめ判定された超音波画像であってよい。さらに、訓練画像８１０には、正常な機能および／または特定の病変を表す様々な特性を持った多種多様な画像が含まれていてよい。

さらに、訓練画像８１０は、超音波画像認識モジュール１２０を訓練するために供給される訓練画像２１０に関して図２に示して上述したように、臨床的には望ましくない見え方に関連する画像情報を含んでいてもよい。したがって、ＡＩ訓練ネットワーク６２０は、たとえば、臨床的に望ましいいかなる見え方も表していないが、それでもなお心臓の見え方であると画像を認識しうる心臓の見え方を受信することがあり、たとえば、さらに、その画像を心尖部２腔の見え方と心尖部３腔の見え方との間のどこかの画像であると認識することがある。ＡＩ訓練ネットワーク６２０は、心臓についての、既知ではあるが臨床的には望ましくない様々な見え方（心尖部２腔の見え方と心尖部３腔の見え方との間のどこかの見え方など）を示す訓練画像８１０によって訓練されてよく、したがってそのような見え方の認識を容易にする知識を成長させうる（たとえばＡＩ訓練ネットワーク６２０は、心尖部２腔の見え方に関してプローブ１１８を反時計回りに３５°だけ回転させたものを表す見え方を認識しうる）。１つまたは複数の実施形態によれば、たとえば図１（フィードバック１０３）に関して説明したように、キャプチャされた画像の認識（またはその欠如）および識別または解釈（またはそれらの欠如）に関するフィードバックが使用者に提供される。

他の訓練入力８２０が訓練のためにＡＩ訓練ネットワーク６２０にさらに提供されてよい。他の訓練入力８２０は、たとえば訓練プロセスを通じてＡＩ訓練ネットワーク６２０内で成長させられた画像認識モデルを調整するか、さもなければ管理するための、手作業で入力された入力を含んでいてよい。

訓練画像８１０を用いることによって、ＡＩ訓練ネットワーク６２０は反復訓練プロセスを実装しうる。訓練は、さまざまな学習規則や訓練アルゴリズムに基づいていてよい。たとえば、学習規則は、以下に挙げるバックプロパゲーション、リアルタイムリカレント学習、パターンバイパターン学習、教師あり学習、補間、加重和、強化学習、時間差学習、教師なし学習、および／または記録学習のうちの１つまたは複数を含んでいてよい。

図３に関して先に説明したように、バックプロパゲーション学習アルゴリズムは、人工ニューラルネットワークを訓練する一般的な方法である（そして、たとえばＡＩ訓練ネットワーク６２０によって利用されるか、それにより実装されうる、図３に示した人工ニューラルネットワーク３００で使用されうる）。

訓練の結果として、ＡＩ訓練ネットワーク６２０は、学習して、訓練画像８１０に応答してその挙動を修正してよく、そして超音波画像知識８３０を取得するかまたは生成しうる。超音波画像知識８３０は、人工知能ネットワーク（たとえばＡＩ訓練ネットワーク６２０および／または超音波画像認識モジュール６２１）が新しいデータや状況に対する適切な応答であると判断することのできる任意の情報を表すことがある。特に、超音波画像知識８３０は、超音波画像と器官についての１つまたは複数の見え方と器官についての正常に対する病理状態との間の関連性（たとえば超音波画像パラメータ、係数、重み付け情報、図３に示した例示的なニューラルネットワークに関連するパラメータ、またはそのような変数に基づいた器官についての１つまたは複数の見え方を描く１つまたは複数の機能）を表す。超音波画像知識８３０は、超音波画像知識データベース６２２内に記憶されてよい。

ＡＩ訓練ネットワーク６２０が最初の訓練画像８１０に基づいていったん十分に訓練されると、超音波撮像装置６１０は、訓練されたＡＩ訓練ネットワーク６２０および／またはＡＩ訓練ネットワーク６２０によって成長させられて超音波画像知識データベース６２２内に記憶された画像知識を、通信ネットワーク６０２を介して（たとえば参照符号６０３で示したように）ダウンロードしうる。すなわち、超音波撮像装置６１０内の超音波画像認識モジュール６２１は、たとえば、すでに訓練されたＡＩ訓練ネットワーク６２０の１つもしくは複数の部分を含んでいてよく、またはその完全な複製であってよく、超音波撮像装置６１０内の局所的な超音波画像知識データベース６１２には、超音波画像知識データベース６２２内に記憶された超音波画像知識のいくつか、または全てが供給されてよい。

したがって、超音波撮像装置６１０は、通常の動作使用中に未知の超音波画像を取得したり、取得された超音波画像が患者についての臨床的に望ましい見え方を表しているか否か、または臨床的に望ましい見え方が正常な機能もしくは特定の病変のどちらを示しているかを（たとえば超音波画像認識モジュール６２１によって）判定したりする能力を有している。

取得された超音波画像のデータベース６１５内には、通常の動作使用中に超音波撮像装置６１０によって取得された画像（たとえば患者について取得された診断画像８１７）が記憶されてよく、（図６においてたとえば参照符号６０１で示した）ＡＩ訓練ネットワーク６２０へ追加の訓練入力としてさらに供給され、それによってＡＩ訓練ネットワーク６２０をさらに訓練してよい。そのような取得された超音波画像（acquired ultrasound images）８１７は、超音波撮像装置６１０によって直接取得された画像であってよく、および／またはＡＩ訓練ネットワーク６２０をさらに訓練するための訓練データとして使用するための、検証され、変更され、および／または臨床的に判定された画像であってよい。たとえば、取得された超音波画像８１７は、超音波撮像装置６１０によって取得され、局所的な超音波画像認識モジュール６２１によっては正しく判定されなかった画像を含む場合がある。たとえば、超音波画像認識モジュール６２１は、特定の画像が臨床的には望ましい見え方（たとえば心臓の胸骨上での見え方）を表していないと判断する場合があるが、しかし実際には同じ画像が臨床的に望ましい見え方を表している可能性がある。たとえば、医師または他のそのような専門家が、その超音波画像の独立した再検討の際に、画像が心臓の胸骨上の臨床的に十分な見え方を実際に示していると判断したものの、超音波画像認識モジュール６２１は同じ判定を行わなかった場合があり、したがってこのことは、超音波画像認識モジュール６２１が、画像を正確に判定または認識するようにさらに最適化されうることを示している。そのような場合、取得された超音波画像は、取得された画像が臨床的に望ましい見え方（たとえば心臓の胸骨上での見え方）を表していることを示すように変更されるか、ラベル付けされるか、さもなければ訓練データに関連付けられてよく、したがって取得された超音波画像は、ＡＩ訓練ネットワーク６２０をさらに訓練するための取得された超音波画像８１７として供給されてよく、これは今度は超音波画像認識モジュール６２１を更新するために用いられる。

超音波撮像装置６１０によって取得された超音波画像は、取得された超音波画像のデータベース６１５内に記憶されてよく、および／または訓練情報（たとえば画像が特定の臨床的に望ましい見え方や通常の機能や既知の病変を表しているかまたは表していないかというような、画像についてのあらゆる既知の特性を示すようなもの）を含むように変更され、次いで、取得された超音波画像のデータベース６１５内に記憶されてよい。したがって、取得された超音波画像８１７に関する１つまたは複数の既知の特性を示す訓練情報を備えた取得済みの超音波画像８１７は、超音波画像知識８３０をさらに訓練し、さらに成長させ、および／またはさらに改良するために、ＡＩ訓練ネットワーク６２０へ供給されうる。

ＡＩ訓練ネットワーク６２０をさらに訓練するために用いられる取得された超音波画像８１７は、超音波撮像装置６１０から直接に（たとえば取得された画像のデータベース６１５内に記憶された画像を、通信ネットワーク６０２を介してＡＩ訓練ネットワーク６２０へアップロードすることによって）受信されてよく、および／または１つまたは複数のユーザコンピュータデバイス６３０から受信されてもよい。たとえば医師は、超音波画像を超音波撮像装置６１０からユーザコンピュータ装置６３０へダウンロードしてよく、さらにそれを修正したり、ラベル付けしたり、さもなければ超音波画像に関連する１つまたは複数の既知の特性を示す超音波画像に訓練データを追加したりしてよい。したがってユーザコンピュータ装置６３０は、取得された超音波画像８１７（これはたとえば１つまたは複数の既知の特性を示す訓練データを含んでいてよい）をＡＩ訓練ネットワーク６２０へ送信してさらに訓練するために利用されうる。ユーザコンピュータ装置６３０は、さらに、または代替的に、関連する任意の超音波撮像装置６１０と通信しうるＡＩ訓練ネットワーク６２０から、更新された知識を受信するために使用されうる。

したがって、取得された超音波画像８１７は、ＡＩ訓練ネットワーク６２０をさらに訓練するために用いられる訓練画像である。すなわち、訓練画像の初期のセット（initial set of training images）８１０は、ＡＩ訓練ネットワーク６２０を最初に訓練するために用いられ、取得された超音波画像８１７は、ＡＩ訓練ネットワーク６２０をさらに訓練するために供給されるのであり、それは、１つまたは複数の超音波撮像装置６１０が配置され、訓練値を供給しうる超音波画像を１つまたは複数の超音波撮像装置６１０が取得した後に供給される。訓練画像８１０と取得された超音波画像８１７とは、同種の情報、すなわち超音波画像情報とそれに関連する訓練ラベルとを含んでいる。

ＡＩ訓練ネットワーク６２０を訓練するための訓練画像８１０および／または取得された超音波画像８１７は、一連の画像（たとえば連続して取得された画像フレームのシーケンスを有するビデオクリップ（video clip））を含んでいてよい。たとえば、クリップは、心臓の動き／収縮のような動的現象を示す一連の画像を含んでいてよい。そのようなクリップは、初期訓練画像８１０および／または取得された超音波画像８１７として、ＡＩ訓練ネットワーク６２０をさらに訓練するためにＡＩ訓練ネットワーク６２０へ供給されてよい。

ＡＩ訓練ネットワーク６２０は、訓練画像８１０に基づいて学習し、その動作を変更してよく、そして、画像知識データベース６２２に含まれている知識を適用して新たな入力、たとえば超音波撮像装置６１０から受信された取得済みの超音波画像情報８１７などに関する判定を行う方法を変更してよい。取得された超音波画像８１７は、通信ネットワーク６０２を介してＡＩ訓練ネットワーク６２０へ供給されてよく、したがって、ＡＩ訓練ネットワーク６２０をさらに訓練するための追加の訓練入力として用いられてよく、そして、さらに成長させられた画像知識８３０を生成するために用いられてよく、この画像知識８３０は画像知識データベース６２２内に記憶されうる。

１つまたは複数の実施形態による、ＡＩ訓練ネットワーク６２０および／または超音波画像認識モジュール６２１によって、人工ニューラルネットワーク（たとえば図３に示した人工ニューラルネットワーク３００）が実装されてよい。上述したように、図３に示した人工ニューラルネットワーク３００は、３つの層、すなわち入力ニューロンｉ_１からｉ_３を含む１つの入力層３１０と、隠れ層ニューロンｈ_１からｈ_４を含む１つの隠れ層３２０と、出力ニューロンｆ_１およびｆ_２を含む１つの出力層３３０とを含んでいる。図３におけるニューラルネットワーク３００は３つの層を有しているように示したが、ＡＩ訓練ネットワーク６２０および／または超音波画像認識モジュール６２１の最適な訓練と性能とを得るために、必要に応じて追加の層をニューラルネットワーク３００内に含めてもよいことは容易に理解されるべきである。同様に、各層におけるニューロンは例示的な目的のために示したものであり、各層が図３に示したのよりも多くの、さらにはるかに多くのニューロンを含んでいてもよいということは容易に理解されるべきである。

ニューラルネットワーク３００は、訓練画像８１０および／または取得された超音波画像８１７を入力層３１０へ供給することによって（たとえばＡＩ訓練ネットワーク６２０がニューラルネットワーク３００である実施形態において）訓練されてよい。図８に関して述べたように、訓練画像８１０（およびＡＩ訓練ネットワーク６２０への訓練入力として供給される、取得された超音波画像８１７）は、様々な既知の特性を有する超音波画像情報、たとえば器官についての様々な見え方、正常な機能、様々な病変、様々な画像品質または画像特性、様々な撮像角度などを含む多種多様な画像を含んでいてよい。ニューラルネットワーク３００は、訓練を通じて、入力層３１０において供給された訓練画像８１０および／または取得された超音波画像８１７を、出力層３３０における既知の出力情報（たとえば心臓の肋骨下での見え方や胸骨上での見え方などとしての画像の分類）へとマッピングする重み付けされた結合を表す隠れ層３２０を生成し、および／または修正しうる。訓練プロセスを通じて形成され、重み結合関係を含みうる、入力層３１０と隠れ層３２０と出力層３３０とにおけるニューロン間の関係を、本明細書では「超音波画像知識」と総称し、それはたとえば超音波画像知識データベース６２２内に記憶されてよい。

ニューラルネットワーク３００が十分に訓練されると、ニューラルネットワーク３００は超音波撮像装置６１０へと供給され、たとえば超音波画像認識モジュール６２１によって実装される。このように、ニューラルネットワーク３００は、入力層３１０において訓練用ではない超音波画像（すなわち超音波撮像装置６１０を用いて撮影された患者についての超音波画像）を受信しうる。超音波画像知識データベース６２２（これは局所的な超音波画像知識データベース６１２へと供給され、その中に記憶されてよく、たとえばニューラルネットワーク３００のニューロン間の重み付けされた結合情報を含んでいてよい）内に記憶された超音波画像知識を用いて、ニューラルネットワーク３００は出力層３３０において受信された超音波画像情報に関する判定を行ってよい。たとえば、ニューラルネットワーク３００は、受信された超音波画像が器官の１つまたは複数の臨床的に望ましい見え方を表しているか否かを判定してよい。

したがって、クラウドベースのＡＩ訓練ネットワーク６２０は、超音波撮像装置６１０内の超音波画像認識モジュール６２１内に実装するのに十分なネットワークおよび／または画像知識を成長させるために、最初に訓練される。そしてクラウドベースのＡＩ訓練ネットワーク６２０は、超音波装置６１０によって取得され、通信ネットワーク６０２を介してＡＩ訓練ネットワーク６２０へと供給される、（たとえば図６に参照符号６０１で示した）取得済みの超音波画像８１７に基づいて、さらに訓練され続ける。ＡＩ訓練ネットワーク６２０の継続的な訓練の結果として、ＡＩ訓練ネットワーク６２０は、超音波画像知識データベース６２２内に記憶される追加の超音波画像知識を成長させ、改良し、さもなければ生成し続ける。したがって超音波撮像装置６１０は、（図６においてたとえば参照符号６０３で示した）超音波画像知識データベース６２２内に記憶された更新された超音波画像知識を、所定のスケジュールに従って自動的にダウンロードされる更新を通じて、または使用者によって望まれるかもしくは要求された特定の時間に、または撮像装置が最後に更新されてからネットワークがさらに訓練される結果となった特定の閾値数の追加画像をデータベースが受信した時に自動的に、定期的に受信してよい。

図３のニューラルネットワーク３００は、ＡＩ訓練ネットワーク６２０および／または受信された超音波画像情報に関する判定を行うために人工知能を用いる超音波画像認識モジュール６２１の、種々ありうる実施形態のうちの単なる一例として提供されているにすぎない。たとえば、ＡＩ訓練ネットワーク６２０および／または超音波画像認識モジュール６２１は、患者についての受信された超音波画像に関する判定を行うために、ニューラルネットワーク、深層学習、畳み込みニューラルネットワーク、ベイジアンプログラム学習法のいずれかを実装してよい。

さらにＡＩ訓練ネットワーク６２０は、受信された超音波画像情報に関連する様々な判定を行うために、様々な訓練画像８１０および／または取得された超音波画像８１７を利用して訓練されてよい（さらに訓練画像８１０および／または取得された超音波画像８１７の様々なシーケンスを利用して訓練されてよい）。たとえば、ＡＩ訓練ネットワーク６２０は、受信された超音波画像が１つもしくは複数の臨床的に標準的な見え方もしくは望ましい見え方を表しているか否か、または臨床的に望ましい見え方が正常な機能もしくは特定の病変のどちらを示しているか、を判定するように訓練されてよいし、さもなければそのように判定するように構成されていてもよい。さらに、ＡＩ訓練ネットワーク６２０は、受信された超音波画像が臨床的には望ましくない見え方を表しているか否かを判定するように訓練されてよく（そしてそのような臨床的には望ましくない見え方を、患者内の特定の器官または他の組織についての特定の見え方または角度として認識してよい）、受信された超音波画像のシーケンスに基づいて、画像が器官についての臨床的に望ましい見え方に近づいているかまたは遠ざかっているかをさらに判定してよい。

ＡＩ訓練ネットワーク６２０および／またはＡＩ訓練ネットワーク６２０によって成長させられて超音波画像知識データベース６２２内に記憶された超音波画像知識をダウンロードすることによって、超音波撮像装置６１０内の超音波画像認識モジュール６２１と局所的な超音波画像知識データベース６１２とは、訓練されたＡＩ訓練ネットワーク６２０と超音波画像知識データベース６２２とに関して本明細書で説明する特徴や機能のすべてを含んでいてよい。

たとえば、上述したように、ＡＩ訓練ネットワーク６２０は、訓練画像８１０および／または患者における器官もしくは他の構造についての既知ではあるが臨床上は望ましくない様々な見え方を示す取得された超音波画像８１７を用いて訓練されてよく、したがって超音波装置６１０内の超音波画像認識モジュール６２１は、そのような見え方を認識しうる。さらに、ＡＩ訓練ネットワーク６２０は、認識されているが臨床的には標準的でないか、または望ましくない見え方の１つもしくは複数のシーケンスを用いて訓練されてよく、ＡＩ訓練ネットワーク６２０は、そのような臨床的には望ましくない見え方のシーケンスまたは漸進が、臨床的に望ましい見え方へと向かうこと、および／または遠ざかることを認識するように訓練されてよい（たとえば訓練画像８１０は、心尖部２腔の見え方から心尖部３腔の見え方に向かっていく、および／またはそこから離れていく、プローブ１１８の回転を表す一連の超音波画像を含んでいてよい）。したがって、ＡＩ訓練ネットワーク６２０は、受信された超音波画像が特定の臨床的に望ましい見え方を表していないものの臨床的に望ましい見え方へと連続的に近づいていく（または遠ざかっていく）ことを認識するように訓練されてよい（したがって超音波撮像装置６１０内の超音波画像認識モジュール６２１がそのように実装されうる）。

さらに、ＡＩ訓練ネットワーク６２０は、超音波撮像装置６１０内における超音波画像認識モジュール６２１として実装されたときに、超音波画像認識モジュール６２１が、受信された超音波画像が器官についての複数の臨床的に望ましい見え方のいずれかを表しているか否かを判定しうるように訓練されてよい。器官についてのこのような臨床的に望ましい見え方には、たとえば、胸骨上、肋骨下、短軸および長軸の傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔および心尖部５腔での心臓の見え方が含まれうる。

図６は、クラウドベースの超音波画像認識ＡＩ訓練ネットワーク６２０を含む超音波データ情報システム６００を示しているが、１つまたは複数の別の実施形態においては、超音波画像認識ＡＩ訓練ネットワーク６２０は、１つまたは複数の超音波装置６１０内に含まれていてもよい。したがって、超音波撮像装置６１０内のＡＩ訓練ネットワーク６２０は、上述したように（そしてたとえば図８に示したように）初期訓練画像８１０に基づいて訓練されてよく、さらに、超音波撮像装置６１０によって取得され、訓練情報を供給するために何らかの方法でラベル付けされた、および／または修正された取得済みの超音波画像８１７に基づいて訓練されてよい。たとえば、超音波撮像装置６１０によって取得された超音波画像が、超音波画像認識モジュール６２１および／またはＡＩ訓練ネットワーク６２０によって、心臓などの特定の器官についての望ましい臨床的な見え方を表していないとして判定されることがある。超音波撮像装置６１０を操作する超音波技師は、たとえば、取得された画像が実際には臨床的に望ましい見え方を表していることを知りうるが、しかしながら、患者の心臓は非定型の解剖学的構造を有しており、したがって超音波画像認識モジュール６２１および／またはＡＩ訓練ネットワーク６２０は、画像が臨床的に望ましい見え方であると正しく認識しない。そのような場合、超音波技師は、（たとえば超音波撮像装置６１０上の対応するボタンを押すことによって、取得された画像を、超音波撮像装置６１０および／もしくはユーザコンピュータ装置６３０もしくはそれに類するものを利用して医師または他の熟練した専門家によるラベル付けのために、取得された超音波画像のデータベース６１５に記憶することよって）取得された画像を臨床的に望ましい見え方であるとしてラベル付けしてよい。画像は、臨床的に望ましい見え方を適切に表しているとしてラベル付けされると、ＡＩ訓練ネットワーク６２０および／または超音波撮像装置６１０内の超音波画像認識モジュール６２１をさらに訓練するための訓練入力（たとえば取得された超音波画像８１７）として供給される。したがって、超音波撮像装置６１０は、超音波撮像装置６１０によって取得された画像に基づいて、その内部にある超音波画像認識モジュール６２１を自己訓練する能力を含んでいてよい。

さらに、複数の組織（たとえば病院や診療所）または超音波撮像装置６１０の使用者のグループ（たとえば業界団体や非公式のグループ）は、それぞれ独自のＡＩ訓練ネットワーク（組織もしくはグループ内の超音波撮像装置６１０によって取得された超音波画像に基づいて、更新された画像知識を供給するための、中央ＡＩ訓練ネットワーク６２０、もしくは別個の、組織もしくはグループのＡＩ訓練ネットワークなど）および／または彼らの組織もしくはグループのための知識データベースを保有している場合があり、そのような組織またはグループ内の超音波撮像装置６１０によって取得された超音波画像から、更新が生成される。

図９は、１つまたは複数の実施形態による方法９００を示すフローチャートである。ブロック９０２において、方法９００は、超音波画像認識訓練ネットワーク（たとえばＡＩ訓練ネットワーク６２０）によって超音波訓練画像８１０を受信するステップを含んでいる。

ブロック９０４において、方法９００は、超音波画像認識訓練ネットワークによって、受信された超音波訓練画像８１０に基づいて超音波画像知識８３０を生成するステップを含んでいる。超音波画像知識８３０は、たとえば超音波画像知識データベース６２２内に記憶されていてよい。

ブロック９０６において、方法９００は、超音波画像知識８３０を超音波撮像装置６１０へ送信するステップを含んでいる。超音波撮像装置６１０は、知識を更新するためにＡＩ訓練ネットワーク６２０を定期的にポーリング（poll）してよく、このポーリングに応答して超音波画像知識８３０が送信されてよい。追加的にまたは代替的に、ＡＩ訓練ネットワーク６２０は、更新された超音波画像知識８３０を超音波撮像装置６１０へ定期的にプッシュ（push）してもよい。１つまたは複数の実施形態では、１つまたは複数の超音波撮像装置６１０および／またはユーザコンピュータ装置６３０は、更新された超音波画像知識８３０を受信し、更新された超音波画像知識８３０を（たとえばピアツーピア（peer-to-peer）または他のローカルネットワークを介して）１つまたは複数の他の超音波撮像装置６１０へと分配（distribute）してよい。たとえば、１つまたは複数のユーザコンピュータ装置６３０は、病院などの臨床現場内に配置されていてよく、更新された超音波画像知識８３０を受信して、それを同じ現場内に位置する複数の超音波撮像デバイス６１０へ供給してよい。

超音波画像知識８３０は、たとえば、超音波画像知識データベース６２２から直接に、またはＡＩ訓練ネットワーク６２０から、超音波撮像装置６１０へ送信されてよい。あるいは、超音波画像知識８３０は、超音波画像知識８３０をさらに１つまたは複数の超音波撮像装置６１０へ送信するユーザコンピュータ装置６３０へ供給されてもよい。送信された超音波画像知識は、超音波撮像装置６１０内に含まれていてよい局所的な超音波画像知識データベース６１２内に記憶されてよい。

ブロック９０８において、方法９００はさらに、超音波撮像装置６１０によって患者の超音波画像を取得するステップを含んでいる。ブロック９１０において、方法９００は、取得された超音波画像が器官についての臨床的に望ましい見え方を表しているか否かを超音波撮像装置６１０によって（たとえば超音波画像認識モジュール６２１を利用して）判定するステップを含んでいる。判定は、たとえば超音波画像知識８３０に基づいて実行されてよい。

ブロック９１２において、方法９００は、さらなる訓練のために、取得された患者についての超音波画像を超音波画像認識訓練ネットワークへ送信するステップを含んでいる。送信された患者についての取得された超音波画像は、取得された超音波画像に関連する１つまたは複数の既知の特性を示す訓練データを含んでいてよい。

上述の様々な実施形態は、さらなる実施形態を提供するために組み合わせることができる。上記の詳細な説明に照らし、これらの変更および他の変更を実施形態に対して適用することができる。一般に、後述の特許請求の範囲において使用されている用語は、特許請求の範囲を明細書および特許請求の範囲に開示される特定の実施形態に限定するものと解釈されるべきではなく、そのような特許請求の範囲が与えられる等価物の全範囲とともに実現可能なすべての実施形態を含むものと解釈されるべきである。したがって、特許請求の範囲は、本開示によって制限されない。

Claims (34)

1. ハンドヘルドのプローブの移動中に患者の超音波画像を取得するように構成された前記ハンドヘルドのプローブを有する超音波撮像装置と、
   超音波画像認識モジュールとを含んでおり、
   前記超音波画像認識モジュールは、
   取得された前記超音波画像を前記超音波撮像装置から受信し、
   患者の診察中に前記ハンドヘルドのプローブが移動する間に、継続的に訓練されたニューラルネットワークを実装することによって、受信された前記超音波画像が器官についての臨床的に望ましい見え方を表しているか否かを自動的に判定し、ここで、前記臨床的に望ましい器官の見え方は、胸骨上、肋骨下、短軸傍胸骨、長軸傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔、および心尖部５腔での心臓の見え方の少なくとも一つを含んでおり、
   前記器官についての臨床的に望ましい見え方を取得するために、前記ハンドヘルドのプローブについての、特定の使用者の動きを自動的に判定し、
   前記特定の使用者の動きについての表示を前記使用者に提供するように構成され、ここで前記表示は、前記ハンドヘルドのプローブについての使用者の回転の表示、および、特定の方向における前記ハンドヘルドのプローブについての使用者の並進の表示のうちの少なくとも一つを含んでおり、
   ここで前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方に連続的に近づいているか、または前記器官についての前記臨床的に望ましい見え方から連続的に遠ざかっているかを自動的に判定するようになっている
   超音波システム。
2. 前記訓練されたニューラルネットワークは、深層学習ネットワークおよび畳み込みニューラルネットワークのうちの少なくとも１つを含む
   請求項１に記載の超音波システム。
3. 前記超音波撮像装置は、前記器官についての複数の前記臨床的に望ましい見え方のうちの１つの選択を受信するように動作可能なユーザインタフェースを含んでおり、前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての選択された前記臨床的に望ましい見え方を表しているか否かを判定するように構成されている
   請求項１に記載の超音波システム。
4. 前記超音波画像認識モジュールは、前記受信された超音波画像が、前記器官についての複数の前記臨床的に望ましい見え方の少なくとも１つを表しているか否かを自動的に判定するように動作可能である
   請求項１に記載の超音波システム。
5. 前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方を表しているか否かの判定に応答して、前記超音波撮像装置へフィードバック信号を供給するようにさらに構成されている
   請求項１に記載の超音波システム。
6. 前記フィードバック信号は、直近に受信された超音波画像が前記器官についての前記臨床的に望ましい見え方を表しているか否かを示す
   請求項５に記載の超音波システム。
7. 前記フィードバック信号は、前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方に連続的に近づいているか、または前記器官についての前記臨床的に望ましい見え方から連続的に遠ざかっているかを示す
   請求項５に記載の超音波システム。
8. 前記超音波撮像装置は、フィードバック要素を含んでおり、前記超音波撮像装置が、前記フィードバック信号に基づいて前記超音波撮像装置の使用者へフィードバック効果を提供するために前記フィードバック要素を作動させるように構成されている
   請求項５に記載の超音波システム。
9. 前記フィードバック要素は、視覚的な、可聴的な、または触覚のフィードバック要素のうちの少なくとも１つを含む
   請求項８に記載の超音波システム。
10. 非一時的なコンピュータ可読記憶媒体をさらに備えており、前記超音波撮像装置は、前記超音波画像認識モジュールが、前記取得された超音波画像が前記器官についての前記臨床的に望ましい見え方を表していると判定することに応答して、取得された超音波画像を、記憶用の前記記憶媒体へ供給するように構成されている
    請求項１に記載の超音波システム。
11. 前記超音波画像認識モジュールは、前記超音波撮像装置内で動作する
    請求項１に記載の超音波システム。
12. 超音波撮像装置におけるハンドヘルドのプローブによって患者の超音波画像を前記ハンドヘルドのプローブの移動中に取得するステップと、
    前記患者について取得された前記超音波画像を超音波画像認識モジュールへ送信するステップと、
    前記患者の診察の間、前記ハンドヘルドのプローブの移動中に、前記取得された超音波画像が器官についての臨床的に望ましい見え方を表しているか否かを、訓練されたニューラルネットワークを実装する前記超音波画像認識モジュールによって自動的に判定するステップと、ここで、前記器官についての前記臨床的に望ましい見え方は、胸骨上、肋骨下、短軸傍胸骨、長軸傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔、および心尖部５腔での心臓の見え方の少なくとも一つを含んでおり、
    前記器官についての前記臨床的に望ましい見え方を取得するために、ハンドヘルドのプローブについての特定の使用者の動きを自動的に判定するステップと、
    前記使用者に前記特定の使用者の動きについての表示を提供するステップ、ここで前記表示は、前記ハンドヘルドのプローブについての使用者の回転、及び、特定の方向における前記ハンドヘルドのプローブについての使用者の並進のうちの少なくとも一つの表示を含んでいる、
    を含んでおり、
    ここで前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方に連続的に近づいているか、または前記器官についての前記臨床的に望ましい見え方から連続的に遠ざかっているかを自動的に判定するようになっている
    方法。
13. 前記訓練されたニューラルネットワークを実装することは、深層学習ネットワーク、および、畳み込みニューラルネットワークのうちの少なくとも１つの実装を含む
    請求項１２に記載の方法。
14. 複数の前記器官についての前記臨床的に望ましい見え方の中からの１つの選択を受信するステップをさらに含んでおり、前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての選択された前記臨床的に望ましい見え方を表しているか否かを判定するように構成されている
    請求項１２に記載の方法。
15. 前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方を表しているか否かを判定することに応答して、フィードバック信号を前記超音波撮像装置へ送信するステップをさらに含む
    請求項１２に記載の方法。
16. 前記フィードバック信号は、前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方に連続的に近づいているか、または前記器官についての前記臨床的に望ましい見え方から連続的に遠ざかっているかを示す
    請求項１５に記載の方法。
17. 前記超音波撮像装置の使用者にフィードバック効果を提供するために、前記フィードバック信号に基づいて、前記超音波撮像装置内のフィードバック要素を作動させるステップをさらに含む
    請求項１５に記載の方法。
18. 前記取得された超音波画像が前記器官についての前記臨床的に望ましい見え方を表していると判定する前記超音波画像認識モジュールに応答して、取得された超音波画像を非一時的なコンピュータ可読記憶媒体に記憶するステップをさらに含む
    請求項１２に記載の方法。
19. １つまたは複数のプロセッサを有するコンピュータ装置上に少なくとも部分的に記憶された超音波画像認識訓練ネットワークと、ここで前記超音波画像認識訓練ネットワークは、超音波訓練画像を受信するように構成され、かつ、受信された前記超音波訓練画像に基づいて超音波画像知識を成長させるように構成されたニューラルネットワークを含んでおり、
    ハンドヘルドのプローブの移動中に患者の超音波画像を取得するように構成された前記ハンドヘルドのプローブを有する超音波撮像装置と、
    前記超音波撮像装置内の超音波画像認識モジュールとを備えており、ここで前記超音波画像認識モジュールは、
    前記超音波画像知識を受信し、
    取得された前記超音波画像を前記超音波撮像装置から受信し、
    前記患者の診察の間であって前記ハンドヘルドのプローブの移動中に、前記超音波画像知識に基づいて、受信された前記超音波画像が器官についての臨床的に望ましい見え方を表しているか否かを判定し、ここで前記器官についての前記臨床的に望ましい見え方は、胸骨上、肋骨下、短軸傍胸骨、長軸傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔、および心尖部５腔での心臓の見え方の少なくとも一つを含んでおり、
    前記器官についての前記臨床的に望ましい見え方を取得するために、ハンドヘルドのプローブについての特定の使用者の動きを自動的に判定し、
    前記使用者に前記特定の使用者の動きについての表示を提供する、ここで前記表示は、前記ハンドヘルドのプローブの使用者の回転、又は、特定の方向における前記ハンドヘルドのプローブの使用者の並進のうちの少なくとも一つについての表示を含む
    ように構成されており、
    ここで前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方に連続的に近づいているか、または前記器官についての前記臨床的に望ましい見え方から連続的に遠ざかっているかを自動的に判定するようになっている
    超音波データ情報システム。
20. 前記超音波画像認識訓練ネットワークの前記ニューラルネットワークは、深層学習ネットワーク、および、畳み込みニューラルネットワークの少なくとも１つを含む
    請求項１９に記載の超音波データ情報システム。
21. 前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての複数の前記臨床的に望ましい見え方のうちの少なくとも１つを表しているか否かを判定するように動作可能である
    請求項１９に記載の超音波データ情報システム。
22. 前記超音波撮像装置は、さらに、前記超音波画像認識訓練ネットワークをさらに訓練して、更新された超音波画像知識を成長させるために、前記取得された超音波画像を前記超音波画像認識訓練ネットワークへ供給するように構成されている
    請求項１９に記載の超音波データ情報システム。
23. 前記超音波画像認識訓練ネットワークは、超音波訓練画像を受信するように構成されており、前記超音波訓練画像は、初期訓練画像と前記超音波撮像装置によって取得された前記超音波画像とを含む
    請求項１９に記載の超音波データ情報システム。
24. 前記超音波画像認識訓練ネットワークと通信可能に接続されていて、前記超音波画像知識を記憶するように構成された超音波画像知識データベースと、
    前記超音波撮像装置と通信可能に接続されていて、前記超音波画像知識の少なくとも一部を記憶するように構成された局所的な超音波画像知識データベースとをさらに含む
    請求項１９に記載の超音波データ情報システム。
25. 前記超音波画像認識モジュールは、前記超音波画像知識に基づいて、前記受信された超音波画像が正常な機能または特定の病変のどちらを示しているかを判定するようにさらに構成されている
    請求項１９に記載の超音波データ情報システム。
26. ニューラルネットワークを含む超音波画像認識訓練ネットワークによって、超音波訓練画像を受信するステップと、
    前記超音波画像認識訓練ネットワークによって、受信された前記超音波訓練画像に基づいて超音波画像知識を生成するステップと、
    前記超音波画像知識を、ハンドヘルドのプローブを有する超音波撮像装置へ送信するステップとを含み、ここで前記超音波撮像装置は、前記超音波画像認識訓練ネットワークとは別個であって、それから離れて位置しており、
    さらに、前記超音波撮像装置により、患者の超音波画像を、前記ハンドヘルドのプローブの移動中に取得するステップと、
    前記患者の診察の間、前記ハンドヘルドのプローブの移動中に、前記超音波画像知識に基づいて、前記取得された超音波画像が、構造についての臨床的に望ましい見え方を表しているかどうかを、超音波画像認識モジュールが自動的に判定するステップと、ここで、前記構造についての前記臨床的に望ましい見え方は、胸骨上、肋骨下、短軸傍胸骨、長軸傍胸骨、心尖部２腔、心尖部３腔、心尖部４腔、および心尖部５腔での心臓の見え方の少なくとも一つを含んでおり、
    前記構造についての前記臨床的に望ましい見え方を取得するために、ハンドヘルドのプローブについての特定の使用者の動きを自動的に判定するステップと、
    前記使用者に前記特定の使用者の動きについての表示を提供するステップと、ここで前記表示は、前記ハンドヘルドのプローブの使用者の回転、および、特定の方向における前記ハンドヘルドのプローブの使用者の並進のうちの少なくとも一つについての表示を含む、
    を含んでおり、
    前記超音波画像認識モジュールは、前記受信された超音波画像が前記器官についての前記臨床的に望ましい見え方に連続的に近づいているか、または前記器官についての前記臨床的に望ましい見え方から連続的に遠ざかっているかを自動的に判定するようになっている
    方法。
27. 前記超音波画像認識訓練ネットワークをさらに訓練し、更新された超音波画像知識を生成するために、前記患者について前記取得された超音波画像を前記超音波画像認識訓練ネットワークへ送信するステップをさらに含む
    請求項２６に記載の方法。
28. 前記ニューラルネットワークは、深層学習ネットワーク、および、畳み込みニューラルネットワークの少なくとも１つを含む
    請求項２６に記載の方法。
29. 前記患者についての送信された前記取得された超音波画像は、前記取得された超音波画像に関連する１つまたは複数の既知の特性を示す訓練データを含む
    請求項２７に記載の方法。
30. 前記取得された超音波画像が正常な機能または特定の病変のどちらを示しているかを、前記超音波画像知識に基づいて判定するステップをさらに含む
    請求項２６に記載の方法。
31. 前記超音波撮像装置は、前記ハンドヘルドのプローブ内に動きセンサを有しており、かつ、前記超音波撮像装置は、前記ハンドヘルドのプローブの位置及び向きを、前記動きセンサの出力に基づいて判定するように構成されている
    請求項１に記載の超音波システム。
32. 前記超音波画像認識モジュールは、前記器官についての臨床的に望ましい見え方を使用者が取得することを、前記ハンドヘルドのプローブの位置及び向きに基づいて、前記ハンドヘルドのプローブの前記特定の使用者の動きの前記表示を提供することによって支援するように構成されている
    請求項３１に記載の超音波システム。
33. 前記超音波撮像装置は、
    前記ハンドヘルドのプローブについての前記判定された位置及び向きにおいて取得された超音波画像が前記器官についての臨床的に望ましくない見え方を表すことを判定するように、そして
    前記器官についての臨床的の望ましい見え方を取得するために、前記ハンドヘルドのプローブの前記特定の使用者の動きの表示を提供するように
    構成されている請求項３１に記載の超音波システム。
34. 前記超音波画像認識モジュールは、受信した前記超音波画像が前記器官についての臨床的に望ましい見え方ではないという判定に対応して前記ハンドヘルドのプローブについての前記特定の使用者の動きの前記表示を提供することによって、前記器官についての臨床的に望ましい見え方を使用者が取得することを支援するように構成されている
    請求項１に記載の超音波システム。

Images