JP2023515864A - 視覚化及び測定のための自動超音波セグメンテーションのための装置及び方法 - Google Patents

Abstract

超音波走査を実行するためのシステム及び方法が提供される。超音波診断システムの一実施例は、人間被験者の一連の超音波走査からソノグラム情報を取得する。一連の超音波走査は、検査中の下層骨構造又は他の超音波識別可能な器官を有する人間被験者の対象部分にわたって行われる。一連の走査からのデータは、検査される人間被験者の下層骨構造又は器官の３次元（３Ｄ）画像及び／又は３Ｄモデルに対応する単一データファイルに合成される。

Description

本出願は、あらゆる目的のために参照により本明細書に組み込まれている、２０２０年３月９日に出願した同時係属中の米国特許出願第１６８１３４６９号の優先権を主張するものである。

人体の視覚化、特に人間の脊柱の視覚化の技術分野では、Ｘ線画像及びコンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）スキャンは、人体部分、特に脊柱のような人間の骨構造の画像データを取得するのにかなり効果的であった。磁気共鳴撮像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）は、人体部分の画像データを得るための別のツールである。

しかしながら、Ｘ線装置、ＭＲＩ装置及びＣＴスキャン装置は、取得及び操作するのに非常に費用がかかる。Ｘ線画像は、限定された２次元平面上にグラフィカル情報を提示する。ＭＲＩは、不満足なほど遅く、骨構造の低解像度の画像を提供する。

さらに、Ｘ線撮影及びＣＴスキャンは、特に人間被験者が長期間にわたって繰り返し検査を受けなければならない場合に、人間被験者に有害な可能性のある電離放射線（Ｘ線）を使用する。例えば、進行性脊柱側弯症（脊柱の湾曲）を患っている人間被験者は、脊柱の側弯の程度及び／又は変化を確認するために検査しなければならないことがある。定期検査の間の繰り返される放射線の被ばくは、このような人間被験者に有害であり得る。

人間被験者の情報を取得するために、より有害性の低い他の装置が利用可能である。例えば、超音波装置は、人間被験者の体内に音波を投射し、戻ってくる音波エコーを検出して、ソノグラムと呼ばれる画像を生成する。超音波診断システムに使用される超音波装置は、人間の聴覚の可聴範囲である約２０ｋＨｚより高い周波数で音波を生成する。２～１８Ｍｈｚの音波は、しばしば超音波医用診断の用途のために使用される。現在のところ、人体を超音波で調べることによる長期間の副作用は知られていない。

しかしながら、超音波走査は、１回の走査につき、人間被験者の身体の比較的小さな部分しかカバーできない。さらに、ソノグラムは、約５ｃｍ～７．５ｃｍ（２～３インチ）だけの比較的小さな断面をカバーする比較的狭い画像である。また、ソノグラムで識別される対象物は、ぼやけていることがよくある。例えば、人間の脊柱全体の分析のために十分な量の画像データを取得するために、５００～１０００枚のソノグラム画像を取り込まなければならない。したがって、旧式の超音波スキャナは、人間被験者の脊柱のような、人間被験者の大きな領域を検査しなければならない場合、ソノグラム画像が小さすぎて、検査される人間被験者の状態に関する有意な情報に到達するために多数のソノグラム画像を容易に解析することができないため、人間被験者の身体の画像情報を取得するには不十分である。

したがって、超音波装置を用いて、人間被験者から画像データをより効果的に取得することが当技術分野で必要とされる。

超音波診断システムの実施例は、超音波走査を実行するためのシステム及び方法を提供する。超音波診断システムの一実施例は、人間被験者の一連の超音波走査からソノグラム情報を取得する。一連の超音波走査は、検査中の下層骨構造又は他の超音波識別可能な器官を有する人間被験者の対象部分にわたって行われる。一連の走査からのデータは、検査される人間被験者の下層骨構造又は器官の３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）画像及び／又は３Ｄモデルに対応する単一データファイルに合成される。

図面中の構成要素は、必ずしも互いに相対的な縮尺で描かれていない。同様の参照番号は、いくつかの図にわたって対応する部分を示す。

脊柱の状態を検査及び処置するための超音波診断システムの概略図である。 超音波診断システムの一実施例を用いて検査されたテスト人間被験者の脊柱のグラフィカル画像である。 画像処理アルゴリズム・モジュールのＡＩアルゴリズムが特定の脊柱骨を分析して、脊柱骨の画像上に重ねられるグラフィカル・アーチファクトを追加した後のテスト人間被験者の脊柱のグラフィカル画像である。 脊柱及び骨盤骨を示す人間被験者の概念図である。 人間被験者の脊柱及び骨盤骨の画像を提示する複合ソノグラム・グラフィカル情報から生成される３Ｄ又は２Ｄ画像の概念図である。 超音波診断システムで具現化された画像処理システムの一部として使用するのに適したプログラム可能なコンピューティング装置のブロック図である。 超音波診断システムの例示的な一実施例によって使用されるプロセスを示すフロー・チャートである。

超音波診断システム１００の実施例は、人間被験者の一連の超音波走査からソノグラム情報を取得するためのシステム及び方法を提供する。一連の超音波走査は、検査中の下層骨構造又は他の超音波識別可能な器官を有する人間被験者の対象部分にわたって行われる。一連の走査からのデータは、検査される人間被験者の下層骨構造又は器官の３Ｄ画像及び／又は３Ｄモデルに対応する単一データファイルに合成される。

開示された超音波診断システム１００は、図面とともに以下の詳細な説明を検討することによって、よりよく理解されるであろう。詳細な説明及び図面は、本明細書に記載の様々な発明の単なる実例を提供する。当業者は、開示された実例が、本明細書に記載の発明の範囲から逸脱することなく、変形、修正、及び変更され得ることを理解するであろう。多くの変形例が、異なる用途及び設計考察のために考えられるが、簡潔化のために、ありとあらゆる考えられる変形例は、以下の詳細な説明において個別に記載されない。

以下の詳細な説明全体を通して、様々な超音波診断システム１００の実例が提供される。実例における関連する特徴は、異なる実例において同一であっても、類似していても、又は異なっていてもよい。簡潔化のために、関連する特徴は、各実例において重複して説明されない。その代わり、関連する特徴の名称を使用することで、関連する特徴の名称を有する特徴が、先に説明された実例における関連する特徴に類似し得ることを読者に知らせるきっかけになる。所与の実例に特有の特徴は、その特定の実例で説明されるであろう。読者は、所与の特徴が、任意の所与の図又は実例において関連する特徴の特定の記述と同一又は類似である必要はないことを理解すべきである。

以下の定義は、特に指示がない限り、本明細書に適用される。

「実質的に」は、その用語によって修正される特定の寸法、範囲、形状、概念、又は他の態様に大体適合していることを意味し、特徴又は構成要素が厳密に適合する必要はない。例えば、「実質的に円筒状の」物体は、円筒に似ているが、本当の円筒からのずれが１つ又は複数ある可能性があることを意味している。

「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」及び「有する（ｈａｖｉｎｇ）」（及びそれらの活用形）は、含んでいるが必ずしも限定されないことを意味するように言い換え可能に使用され、明示的に列挙されていない付加的な要素又は方法ステップを排除することを意図していないオープンエンド型の用語である。

「第１の」、「第２の」及び「第３の」などの用語は、グループなどの様々なメンバーを区別又は識別するために使用され、連続的な、時系列の、又は数値的な制限を意味することを意図していない。

「連結された」は、永久的に又は着脱自在に、直接的又は間接的に介在する構成要素を介して接続されることを意味する。

図１は、人間被験者１０２の骨構造又は他の内臓のための３Ｄ画像情報及び３Ｄモデル・データを取得するための超音波診断システム１００の概略図である。様々な実例は、人間被験者１０２の脊柱のための３Ｄ画像情報及び３Ｄモデル・データを取得することによって脊柱の状態を検査及び処置するという観点で、本明細書に記載される。代替的に、又は追加的に２次元（２Ｄ：ｔｗо－ｄｉｍｅｎｓｉｏｎａｌ）画像情報及び／又は２Ｄモデル・データは、超音波診断システム１００の実施例によって生成することができる。

非限定的な実例の用途では、図１の超音波診断システム１００は、施術者が超音波トランスデューサ・プローブ１０４によってリアルタイムで患者の脊柱の超音波画像（ソノグラム）を取得することを可能にするように構成される。超音波診断プロセッサ・システム１０６は、一連の超音波走査からソノグラム画像情報を受信した後、患者を有害な可能性のある電離放射線に当てることなく、人間被験者１０２の脊柱の３Ｄ画像情報及び／又は３Ｄモデル・データを生成する。さらに、図１の超音波診断システム１００により、施術者は、リアルタイムで、又は実質的にリアルタイム・ベースで、高い解像度を有する患者の脊柱の外皮質の画像を取得することが可能になる。当業者は、超音波診断プロセッサ・システム１０６が、人間被験者１０２の別の部分のために３Ｄ画像及び／又は３Ｄモデル・データを生成するために使用することができるということを理解する。いくつかの実例では、そのシステムは、図１に示す３Ｄ視覚化モジュール及び３Ｄ／２Ｄ立体ディスプレイ１０８を用いるなど、３次元で画像を立体的に表示するように任意選択で構成される。

超音波診断プロセッサ・システム１０６の例示的な一実施例は、超音波インタフェース１１０と、超音波画像データ・プロセッサ１１２と、少なくとも１つの画像取込装置１１４と、光学追跡ユニット１１６と、画像レジストレーション・モジュール１１８と、画像処理アルゴリズム・モジュール１２０と、３Ｄ／２Ｄ視覚化モジュール１２２と、データベース１２４とを備える。いくつかの実施例は、オプションの時計１２６を含む。超音波インタフェース１１０は、超音波トランスデューサ・プローブ１０４を、有線接続又は無線接続１２８を介して超音波診断プロセッサ・システム１０６に通信可能に連結する。

代替実施例では、画像レジストレーション・モジュール１１８、画像処理アルゴリズム・モジュール１２０、及び／又は３Ｄ視覚化モジュールは、一体化されてもよく、及び／又は、他のロジックと統合されてもよい。他の実施例では、これらのメモリ及び他のデータ操作機能のいくつか又はすべては、インターネットか、さもなければクライアント装置（図示せず）を介して適切に接続された遠隔サーバ又は他の電子装置を用いることによって提供されてもよい。データベース１２４は、任意の適切なローカル及び／若しくは遠隔メモリ装置又はシステムを用いて実装されてもよい。実施例に応じて、データベース１２４は、専用メモリ・システムであってもよく、他の構成要素或いはシステムの一部であってもよく、及び／又は、分散型のローカル及び／又は遠隔メモリ・システムであってもよい。データベース１２４はまた、本明細書に図示又は記載されていない他のロジック、モジュール及び／又はデータベースを含んでいてもよい。他の超音波診断システム１００は、上述の構成要素のうちのいくつかを含み、又はいくつかを省略してもよい。さらに、本明細書に記載されていない追加の構成要素は、代替実施例に含まれてもよい。

図１に概念的に示すように、超音波診断システム１００は、３Ｄ空間内の超音波トランスデューサ・プローブ１０４の位置に対する患者の走査部分の位置を正確に検出するために、光学追跡技術を使用する。画像取込装置１１４は、人間被験者１０２及び超音波トランスデューサ・プローブ１０４の周りの空間内の画像情報を取得する。画像情報（本明細書では、言い換え可能に、カメラ画像と呼ぶ）は、好ましくは、毎秒数十又は数百の画像フレームの割合で、周期的に連続して取得される。画像取込装置１１４は、周期的に静止画像を取り込むか、（当該技術分野では、時系列の一連の静止画像として知られる）ビデオ画像を取り込む任意の適切な装置であってもよい。次いで、取り込まれた画像データは、画像取込装置１１４から光学追跡ユニット１１６に通信される。

取得された各カメラ画像は、カメラ画像取込時刻、又はカメラ画像取得時刻を特定する関連するタイム・スタンプを有する。カメラ画像取込時刻は、リアルタイムで、又は基準時刻を用いて表現することができる。タイム・スタンプ情報は、１つ又は複数の画像取込装置１１４内にある内部時計によって提供される。或いは、時計１２６は、取得されたカメラ画像が画像取込装置１１４から光学追跡ユニット１１６に通信しているときに、取得されたカメラ画像にタイム・スタンプ情報を付加することができる。

いくつかの実施例では、複数の画像取込装置１１４は、カメラ画像を同期して取り込むために使用されてもよい。すなわち、複数の画像取込装置１１４は、同時に取り込まれたカメラ画像を同じタイム・スタンプで提供する。

光学追跡ユニット１１６は、取得された各画像について、人間被験者１０２の身体の表面に配置された１つ又は複数の光学ターゲット１３０を識別する。また、光学追跡ユニット１１６は、取得された各画像において、超音波トランスデューサ・プローブ１０４の表面に配置された１つ又は複数の光学ターゲット１３２を識別する。

光学ターゲット１３０、１３２は、光学追跡ユニット１１６によって識別可能な従来の光学ターゲットであってもよく、特別に開発される光学ターゲットであってもよく、又は後に開発される光学ターゲットであってもよい。いくつかの実施例では、光学ターゲット１３０、１３２は、３つの座標軸の周りで３次元に延在し、各軸線を表す別個の光学ターゲット部分を含む。他の実施例では、光学ターゲット１３０、１３２は、６つの軸線の周りで３次元に延在し、６つの軸線の各々を表す別個の光学ターゲットを含む。光学ターゲット１３０、１３２は、光学ターゲットに赤外線信号を発することによるような能動的なものであってもよく、又は、いくつかのインタラクション装置に固定されている逆反射マーカを含むような受動的なものであってもよい。

次に、光学追跡ユニット１１６は、インデックス化された時刻について３Ｄ空間における光学ターゲット１３０に対する超音波トランスデューサ・プローブ１０４の位置を計算又は決定する。位置の決定は、取得されたカメラ画像内の光学ターゲット１３０、１３２の識別された相対位置に基づいている。当業者は、光学ターゲット１３０、１３２の間の相対位置が、画像内のそれらの識別された位置に基づいていてもよいことを理解する。さらに、光学ターゲット１３０、１３２の向きは、光学ターゲット１３０、１３２の画像の解析から決定され得る。したがって、光学ターゲット１３０に対する超音波トランスデューサ・プローブ１０４の位置及び向きが決定され得る。

次に、光学追跡ユニット１１６は、人間被験者１０２の身体上の対応する位置を決定する。この人間被験者１０２上の決定された位置は、本明細書では、言い換え可能に、時刻インデックス付き位置情報と呼ぶ。時刻インデックス付き位置情報は、超音波トランスデューサ・プローブ１０４が人間被験者１０２上にあった位置及び時刻を識別する。現在知られている、又は後に開発される任意の適切な位置追跡システムは、時刻インデックス付き位置情報を決定するために、超音波診断システム１００の様々な実施例によって使用されてもよい。

図１のその超音波診断システム１００が、胸部板又は他の固定された基準物体などの、人間被験者１０２の近くの固定物の位置を検出するだけではなく、人間被験者１０２上に配置された１つ又は複数の光学ターゲット１３０によって人間被験者１０２の位置を直接検出するように構成されていることに留意されたい。したがって、検査中に人間被験者１０２が自分の位置を移動又は調整する場合、後に取得されたカメラ画像から決定された時刻インデックス付き位置情報は、先に取得されたカメラ画像から決定された時刻インデックス付き位置情報と相関させることができる。

追加的に、又は代替的に、図１の実例に含まれる光学追跡技術には、超音波診断システム１００は、人間被験者１０２の位置、超音波トランスデューサ・プローブ１０４の位置、又はその両方の位置を検出するために、磁気位置決めシステム又は姿勢方位基準システムを含んでいてもよい。例えば、超音波トランスデューサ・プローブ１０４の位置及び／又は向きは、加速度計などのような様々な微小電子機械装置（ＭＥＭＳ：ｍｉｃｒｏ ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｄｅｖｉｃｅｓ）によって決定することができる。

追加的に、又は代替的に、超音波診断システム１００は、人間被験者１０２などの被照明体を３次元で走査するように構成された赤外線走査システムを含んでいてもよい。赤外線走査システムは、赤外線投光器、被照明体と相互作用する赤外線を検出するためのカメラ又はＣＭＯＳ画像センサ、及び、被走査体を空間的に処理するためのコンピュータ実行可能な命令を含むマイクロチップを含んでいてもよい。適切な赤外線走査システムは、Ｋｉｎｅｃｔ（商標）ゲーミング・システムに含まれるＬｉｇｈｔ Ｃｏｄｉｎｇ（商標）システムを含む。赤外線走査システムは、上述の光学追跡装置及び上述の光学ターゲットを補完することができるか、又は、いくつかの用途においてそれらを置き換えることができる。

実際には、超音波技術者、医師、又は別の個人などの操作者（図示せず）は、人間被験者１０２の体内に音波を放射する方法で超音波トランスデューサ・プローブ１０４を操作する。本明細書では、言い換え可能にソノグラム情報又はソノグラム・データと呼ばれるエコー・リターン・データ（ｅｃｈｏ ｒｅｔｕｒｎ ｄａｔａ）を取得する状況の中で、操作者は、人間被験者１０２の選択された位置上で第１のソノグラム走査１３６を実行することによって、走査プロセスを開始する。超音波診断システム１００の一実施例の使用を概念的に例示するために、人間被験者１０２の脊柱の検査が記載されている。ソノグラム走査は、人間被験者１０２の頭の近くなどの第１の位置で開始され、それは、人間被験者１０２の脊柱の中心線の側方の位置である。次に、操作者は、超音波トランスデューサ・プローブ１０４を、人間被験者１０２の脊柱を横切る実質的に直線状に移動させる。

第１のソノグラム走査１３６の間、例示的な一実施例では、複数の連続的に取得されたソノグラム画像に対応するソノグラム情報は、超音波トランスデューサ・プローブ１０４から超音波インタフェース１１０に通信される。ソノグラム画像を取得する時刻に対応するタイム・スタンプは、超音波トランスデューサ・プローブ１０４によって個々のソノグラム画像に付加されて、時刻インデックス付きソノグラム画像情報部分を生成することができる。或いは、時計１２６は、取得されたソノグラム画像に時刻情報を付加して、時刻インデックス付きソノグラム情報部分を生成することができる。

或いは、超音波トランスデューサ・プローブ１０４は、各走査の間に超音波トランスデューサ・プローブ１０４によって検出されるリターン・エコーに対応するソノグラム情報（エコー・リターン・データ）の連続的な流れを提供することができる。検出されたエコーに対応するデータの流れが提供されるとき、タイム・スタンプは、ストリーミング・エコー・リターン・データの特定の部分内に周期的に付加され、及び／又は、関連付けられる。したがって、走査開始時に取得されたエコー・リターン・データは、データ取得時刻に対応する関連する第１のタイム・スタンプを有し、取得されたエコー・リターン・データの後の部分は、そのエコー・リターン・データが超音波トランスデューサ・プローブ１０４によって取得された時刻を反映するために、後のタイム・スタンプに関連付けられる。

関連付けられたタイム・スタンプは、ソノグラム画像の取得時刻、及び／又はソノグラム・エコー・データの流れの一部の取得時刻を特定する。時刻インデックス付きソノグラム画像及び／又は時刻インデックス付きソノグラム・エコー・データ部分は、本明細書では、言い換え可能に、時刻インデックス付きソノグラム画像情報部分と呼ばれる。

時刻インデックス付きソノグラム情報に関連付けられたタイム・スタンプは、リアルタイムで、又は基準時刻を用いることによって表現することができる。タイム・スタンプ情報は、超音波トランスデューサ・プローブ１０４内にある内部時計によって提供される。或いは、時計１２６は、時刻インデックス付きソノグラム情報が超音波インタフェース１１０から超音波画像データ・プロセッサ１１２に通信しているときに、取得されたソノグラム情報にタイム・スタンプ情報を付加することができる。ソノグラム画像タイム・スタンプは、画像取込装置１１４によって同時に取り込まれる時刻インデックス付きカメラ画像に関連付けられた対応するタイム・スタンプと同じ時間基準を有する。

当該技術分野で知られているように、超音波画像データ・プロセッサ１１２は、第１のソノグラム走査１３６の間に取得された受信ソノグラム情報を、第１のソノグラム画像をレンダリングするために使用することができる時刻インデックス付きソノグラム画像情報部分内に処理する。時刻インデックス付きソノグラム画像情報部分は、超音波画像データ・プロセッサ１１２から画像レジストレーション・モジュール１１８に通信される。

第１のソノグラム画像の複数の部分の各々のタイム・スタンプは、画像レジストレーション・モジュール１１８によって、対応する時刻インデックス付きカメラ画像と相関される。時刻インデックス付きソノグラム画像情報部分のうちの１つのタイム・スタンプの各々について、同一又は実質的に同一のタイム・スタンプを有する対応するカメラ画像は、その特定の時刻インデックス付きソノグラム画像情報部分と相関される。したがって、第１のソノグラム走査１３６の各部分の間、人間被験者１０２上のターゲット１３０に対する超音波トランスデューサ・プローブ１０４の位置及び向きが決定される。すなわち、超音波トランスデューサ・プローブ１０４の位置及び向き、したがって、人間被験者１０２の身体上の各時刻インデックス付きソノグラム画像情報部分の位置は、画像レジストレーション・モジュール１１８によって決定される。人間被験者１０２の身体上の位置は、同一のタイム・スタンプ情報を有する対応する時刻インデックス付きカメラ画像から決定された位置情報に基づいている。したがって、関連付けられた各位置インデックス付きソノグラム画像情報部分についての位置情報は、人間被験者１０２の身体上のその第１のソノグラム画像部分の位置を識別する。

当業者が理解しているように、第１のソノグラム走査１３６から生成された第１のソノグラム画像は、典型的には、２．５４センチ（１インチ）以上の幅しか含まない比較的狭い範囲（幅）を有する。したがって、第１のソノグラム走査１３６が完了した後、操作者は、その後のソノグラム走査のために予め規定された増分距離（本明細書では「ソノグラム走査シフト距離」と呼ぶ）だけ超音波トランスデューサ・プローブ１０４の位置を下方へ移動させる。好ましくは、ソノグラム走査シフト距離は、第１のソノグラム走査１３６の間に取得されたソノグラム画像のソノグラム画像幅よりも大きくない。次に、操作者は、人間被験者１０２を横切る第２のソノグラム走査１３８を行う。

第２のソノグラム走査１３８は、第１のソノグラム走査１３６に平行に、又は実質的に平行に動く。当業者は、第２のソノグラム走査１３８の間に取得されたソノグラム画像情報と、第１のソノグラム走査１３６の間に取得された第１のソノグラム画像情報との間に、ある程度の重複が起こり得ることを理解する。いくつかの状況では、ソノグラム画像情報におけるこのような重複は望ましい。３Ｄ／２Ｄ画像及び／又は３Ｄ／２Ｄモデル・データを後から構築する間、ソノグラム画像の任意の重複部分から決定された情報は、単なる重複に過ぎず、廃棄、消去することができるか、又は使用されず、したがって、３Ｄ／２Ｄ画像及び／又は３Ｄ／２Ｄモデル・データに悪影響を与えない。いくつかの実施例では、重複情報は、強調されたソノグラム画像情報を生成するために組み合わされる。

次に、画像レジストレーション・モジュール１１８は、超音波画像データ・プロセッサ１１２及び光学追跡ユニット１１６から受信された情報に基づいて、複数の位置インデックス付きソノグラム画像情報部分を生成する。処理された各ソノグラム走査について、位置インデックス付きソノグラム画像情報部分は、ソノグラム走査の特定の部分のためのソノグラム画像情報と、各時刻インデックスが関連するソノグラム画像部分の特定の取得時刻を識別する任意選択の時刻インデックス付き情報と、人間被験者１０２の身体上の画像部分の位置を識別する関連する各ソノグラム画像部分のための位置情報とを含む。

同様に、第２のソノグラム走査１３８に隣接した第３のソノグラム走査１４２が取得され得る。継続的な一連のソノグラム走査１４０を行うプロセスは継続され、各連続ソノグラム走査は、予め規定されたソノグラム走査シフト距離だけ、先のソノグラム走査によって分離される。一連の平行なソノグラム走査を行うプロセスは、検査される人間被験者１０２の部分にわたって継続される。人間被験者１０２の脊柱を検査する例示的な実例では、ソノグラム走査プロセスは、人間被験者１０２の脊柱の下端の走査に対応する最終ソノグラム走査１４４で終了する。

上記の走査プロセスは、人間被験者１０２の脊柱の向きに垂直に配向された平行な一連のソノグラム走査１３６～１４４として説明された。この走査のシーケンスは、超音波トランスデューサ・プローブ１０４の操作者が、人間被験者１０２の検査中に実行したソノグラム走査を直感的に追跡することができるため、便利である。当業者は、人間被験者１０２上の走査位置に対する超音波トランスデューサ・プローブ１０４の向き及び位置が容易に決定できるので、任意のソノグラム走査プロセスを人間被験者１０２の検査中に使用することができることを理解する。例えば、ソノグラム走査は、人間被験者１０２の検査部位に対して対角線に沿って位置合わせされ得る。十字交差のソノグラム走査が検査に使用されてもよい。楕円形又は円形の走査運動でさえも検査中に使用することができる。このような様々なソノグラム・パターンはすべて、検査プロセスの終了によって、人間被験者１０２の検査部位の完全な３Ｄ画像及び／又は３Ｄデータを生成することになる。

画像処理アルゴリズム・モジュール１２０は、画像レジストレーション・モジュール１１８から各ソノグラム走査のために生成された複数の位置インデックス付きソノグラム画像情報部分を受信する。各ソノグラム走査のために受信した位置インデックス付きソノグラム画像情報部分は、適切な記憶媒体（図示せず）又はデータベース１２４内に記憶される。例示的な一実施例では、その後に受信した各位置インデックス付きソノグラム画像情報部分は、走査プロセス中に記憶される。

最終ソノグラム走査１４４から生成された最終位置インデックス付きソノグラム画像情報部分が受信される走査プロセスの終了時に、個々の各ソノグラム走査のための位置インデックス付きソノグラム画像情報は、処理のために画像処理アルゴリズム・モジュール１２０によって検索される。処理は、複数の処理ステップを含む。

画像処理アルゴリズム・モジュール１２０によって実行される初期処理ステップは、複数の個別位置インデックス付きソノグラム画像情報部分を複合ソノグラム画像情報に集約又は組み合わせることである。ソノグラム情報及び／又はデータが別個の画像ファイルに提供されるとき、個々の画像フレームが処理のために選択される。ソノグラム情報がデータの連続的な流れとして提供されるとき、ストリーミング・エコー・リターン・データは、ソノグラム画像部分内へ適切なサンプラー・アルゴリズムを用いて解析される。例えば、１つのスライス又はフレームは、ストリーミング・エコー・リターン・データから０．１秒毎に取り出され、その後、さらなる処理のために保存される。任意の適切なサンプリング時間が使用され得る。連続時間信号を離散時間信号に変換する、現在知られている、又は後に開発される任意の適切なサンプリング・アプリケーションは、超音波診断システム１００の実施例によって使用することができる。

個別位置インデックス付きソノグラム画像情報部分の各々は、人間被験者１０２の身体上の基準位置が参照される（基準位置は、マーカ１３０の位置から決定される）ので、位置インデックス付きソノグラム画像情報部分の各部分は、人間被験者１０２の身体上の特定の位置によって順序付けすることができ、次いで、先に取得された位置インデックス付きソノグラム画像情報部分及びその後取得された位置インデックス付きソノグラム画像情報部分の隣接部分と組み合わせる（又はまとめる）ことができる。例えば、第２のソノグラム走査１３８から生成された第２の位置インデックス付きソノグラム画像情報部分は、（第１のソノグラム走査１３６から生成された）隣接する先に生成された第１の位置ソノグラム画像情報部分と組み合わされる。また、第２のソノグラム走査１３８から生成された第２の位置インデックス付きソノグラム画像情報部分は、（第３のソノグラム走査１４０から生成された）隣接する先に生成された第３の位置ソノグラム画像情報部分と組み合わされる。位置インデックス付きソノグラム画像情報部分のこの組み合わせは、生成された位置インデックス付きソノグラム画像情報部分のすべてが組み合わされて、単一の複合ソノグラム画像情報ファイル又はデータになるまで続く。当該技術分野では画像のつなぎ合わせと呼ばれ、現在知られている、又は後に開発される位置インデックス付きソノグラム画像情報部分を一緒に組み合わせる任意の適切な方法論は、超音波診断システム１００の実施例によって使用することができる。

代替的な実施例は、位置インデックス付きソノグラム画像情報部分が画像レジストレーション・モジュール１１８から受信されたときに、受信した各位置インデックス付きソノグラム画像情報部分を複合ソノグラム画像情報に組み合わせることにより、複合ソノグラム画像情報を生成する。本明細書では、複合ソノグラム画像情報は、リアルタイムで、又はほぼリアルタイムで生成されている。本明細書に記載されたように、複合ソノグラム画像情報のグラフィック提示は、連続的な個別のソノグラム走査の各々が実行されるときに、操作者に提示され得る。複合ソノグラム画像情報の表示されるグラフィック提示の「サイズ」は、連続的な各ソノグラム走査が実行されるにつれて増加する。このような即時のリアルタイム又はほぼリアルタイムのフィードバックは、操作者が検査されている人間被験者１０２の身体の一部を完全にカバーできるように支援するために特に望ましいと言えよう。すなわち、身体の一部が走査で見落とされるか、又は画像情報が不鮮明若しくは破損している場合、操作者は、その後に取得された複合ソノグラム画像情報部分が複合ソノグラム画像情報に統合されるように、対象の人間被験者１０２の身体の部分を再走査することができる。

人間被験者１０２上のマーカ１３０の位置が変化していない限り、最終ソノグラム走査１４４が実行された後に、追加のソノグラム走査が操作者によって実行され得る。その後に取得されたソノグラム画像情報は、先に取得されたソノグラム走査情報と相関させることができる。したがって、見落とした部分が後で識別される場合、及び／又は身体上の特定の領域に対する付加的な画像データが、明瞭性及び／又は改善された解像度が望まれる場合、操作者は、人間被験者１０２の身体のその特定の領域を再走査することができる。その後に取得された複合ソノグラム画像情報は、次に、先に生成された複合ソノグラム画像情報に統合される。次のソノグラム走査は時刻及び位置の両方がインデックス付けされているので、その後の走査は、元のソノグラム走査と並行して行う必要はない。その後の１つ又は複数のソノグラム診断走査は、対象の任意の方向に沿って行うことができる。

複合ソノグラム画像情報が生成されると、複合ソノグラム画像情報は、データベース１２４内に記憶することができる。データベース１２４は、ローカルに配置され得るか、遠く離れて配置され得る。いったん記憶されると、複合ソノグラム画像情報は、処理のために後になって検索することができる。

さらに、画像処理アルゴリズム・モジュール１２０は、複合ソノグラム画像情報を、３Ｄ画像及び／又は２Ｄ画像をレンダリングするために使用することができる複合ソノグラム・グラフィカル情報内に処理する。複合ソノグラム・グラフィカル情報は、任意選択でデータベース１２４内に保存することができる。

代替的に、又は追加的に、生成された複合ソノグラム・グラフィカル情報は、３Ｄ／２Ｄ視覚化モジュール１２２に通信され得る。３Ｄ／２Ｄ視覚化モジュール１２２は、受信した複合ソノグラム・グラフィカル情報を、操作者又は別の個人に提示するために、３Ｄ／２Ｄ立体ディスプレイ１０８に、又は他の適切なディスプレイ装置に通信され得る画像情報内に処理する（レンダリングする）。現在知られている、又は後に開発される任意の適切な画像レンダリング・プロセスは、提示可能な複合ソノグラム画像を生成するために、３Ｄ／２Ｄ視覚化モジュール１２２によって使用することができる。代替的に、又は追加的に、複合ソノグラム・グラフィカル情報は、複合ソノグラム画像をレンダリング及び提示するように構成された遠隔ディスプレイ・システム１４６に通信され得る。

当業者は、３Ｄ複合ソノグラム・グラフィカル情報が複合ソノグラム画像情報から生成されると、任意の適切な３Ｄ画像提示アルゴリズムが、検査される人間被験者１０２の対象の身体部分を表示するために使用することができることを理解する。グラフィカル画像、本明細書では人間被験者１０２の脊柱の例は、専門医などの操作者又は別の個人が見るために、いかなる方法でも回転及び／又は配向され得る。現在知られている、又は後に開発される任意の適切な３Ｄ処理アルゴリズムは、複合ソノグラム・グラフィカル情報から生成された画像を提示するために使用することができる。

他の解析アルゴリズムは、画像処理アルゴリズム・モジュール１２０に統合することができ、及び／又は画像処理アルゴリズム・モジュール１２０とともに動作することができる。例えば、人間被験者１０２の脊柱側弯症の程度を評価するという観点では、脊柱モデリング及び測定アルゴリズムは、検査される人間被験者１０２の脊柱の自動測定及び分析を実行するために使用することができる。

好ましくは、必須ではないが、超音波診断システム１００が人間被験者１０２の骨構造を検査するために使用されるとき、画像処理アルゴリズム・モジュール１２０は、複合ソノグラム画像情報（又は複数の位置インデックス付きソノグラム画像情報）から非骨タイプのソノグラム・エコー情報を除外するフィルタリング・アルゴリズムを含む。本明細書では、検出された音波エコー情報における背景情報は、人間被験者１０２の骨構造からのエコーのみが解析用に保持されるように抑制される。

代替的に、又は追加的に、他のフィルタリング・アルゴリズムは、検査された人間被験者１０２内の対象となる他の組織又は構造を識別し、分離するために使用することができる。例えば、人間被験者１０２の特定の軟組織の画像が対象となる場合、近傍の骨によって生成されたエコー情報は、複合ソノグラム画像情報が、対象となる組織の３Ｄ及び／又は２Ｄグラフィカル画像を生成するためにフィルタリングされるようなフィルタリング・アルゴリズムによって抑制することができる。

超音波トランスデューサ・プローブ１０４の使用は、ソノグラム画像が、ノイズが多すぎて、対象となる特定の器官及び／又は解剖学的構造の高度な区別が単純に不可能であったため、満足のいくものを提供していない。３Ｄ画像及び／又は３Ｄデータを構築しようとする前に、ソノグラム情報に特定のフィルタを適用する新規のアプローチによって、超音波診断システム１００の実施例は、対象の特定の器官を識別することが可能になる。本明細書では、適用例は、元の人間被験者１０２の脊柱の検査装置（ｅｘａｍｉｎａｎｔ）を記載した。適用されたフィルタは、対象となる脊柱骨とは無関係なソノグラム情報を除外するように構成されている。

好ましくは、必須ではないが、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）アルゴリズムを画像処理アルゴリズム・モジュール１２０によって使用して、生成された複合ソノグラム画像情報の品質及び／又は信頼性を高めることができる。畳み込みニューラル・ネットワーク（ＣＮＮｓ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）は、超音波診断システム１００の実施例によって画像処理のために使用することができる。ＡＩアルゴリズムは、検査されている対象の器官又は解剖学的構造のハイライトを改善するために、受信されたフィルタリング済みのソノグラム情報をさらに処理することを学習する。例えば、これに限定されないが、ＡＩシステムは、対象となる特定の解剖学的ランドマークを識別することを学習することができる。現在知られている、又は後に開発される任意の適切なＡＩシステム及び／又はニューラル・ネットワークは、超音波診断システム１００の様々な実施例によって使用することができる。

例えば、人間被験者１０２の脊柱上の特定の解剖学的ランドマークが対象である場合、そのようなランドマークを識別する情報は、画像処理アルゴリズム・モジュール１２０に、特にＡＩアルゴリズムに提供され得る。時間とともに、別の人間被験者１０２から取得された別の複合ソノグラム画像情報内の、又は、さらに後から元の人間被験者１０２から取得されたソノグラム情報内のＡＩアルゴリズムによって、より多くの類似のランドマークが識別されるにつれて、ＡＩアルゴリズムは、対象の解剖学的ランドマークを識別することを学習することができる。

好ましい実施例では、ＡＩアルゴリズムは、任意選択で、対象となる特定の解剖学的構造に関する測定情報を計算及び／又は取得するように構成することができる。人間被験者１０２の脊柱の検査装置の場合、例示的な実施例は、特定の脊柱骨の向き及び／又は位置を評価する。すなわち、個々の脊柱骨（椎骨）間の湾曲、回転及び／又は傾斜の程度は、自動的に決定される。脊柱骨の角変位及び／又は位置変位の測定が決定され得る。超音波診断システム１００の実施例は、検査されている対象の任意の器官及び／又は解剖学的構造について、対象となる任意の解剖学的測定値を決定するためにＡＩに学習させることができる。

さらに、複合ソノグラム画像情報のグラフィック提示が３Ｄ又は２Ｄディスプレイ１０８上で行われるとき、ＡＩアルゴリズムは、グラフィカル画像を修正して、提示されたグラフィカル画像を見ている操作者又は別の関係者に情報を示すことを強調及び／又は提示するために、１つ又は複数のグラフィカル・アーチファクトを提示する注釈付き画像を生成することができる。人間被験者１０２の脊柱の検査の観点から、生成されたグラフィカル・アーチファクトは、脊柱骨の角変位及び／又は位置変位の決定された測定値の視覚表示を提供するために使用することができる。

図２は、超音波診断システム１００の実施例を用いて検査されたテスト人間被験者１０２の脊柱のグラフィカル画像２００である。画像２００は、検査された人間被験者１０２の脊柱の一部のグラフィカル画像を提示する。表示された領域２０２は、画像部分２０２の非常に明るい領域が、検査された人間被験者１０２の脊柱内の特定の骨の超音波診断画像を示していることを操作者又は別の関係者に知らせる。表示された領域２０４は、同様に、画像部分２０４の非常に明るい領域が、検査された人間被験者１０２の脊柱内の異なる骨の超音波診断画像を示していることを示す。表示された領域２０６も非常に明るい領域であるが、より明るい領域２０８により、領域２０６は骨の特徴を示していない。領域２０６は、おそらく、領域２０２及び２０６に対応する骨をつなぐ靭帯又は筋肉の表面である。表示された領域２１０は、同様に、画像部分のより暗い陰影の付いた領域が骨表面の下の領域に対応する超音波診断画像を示していることを示す。骨表面は、超音波の大部分を反射し、検査された人間被験者１０２の脊柱の下のより暗い領域を生じさせる。

図３は、画像処理アルゴリズム・モジュール１２０のＡＩアルゴリズムが特定の脊柱骨を分析して、人間被験者１０２の脊柱の画像上に重ねられる１つ又は複数のグラフィカル・アーチファクトを追加した後のテスト人間被験者１０２の脊柱のグラフィカル画像３００である。グラフィカル・アーチファクトは、関連する脊柱の状態又は状況に関する情報を操作者又は別の関係者に与える。例えば、人間被験者１０２の脊柱の単一の提示画像は、すべての方向及び平面における脊柱の湾曲を確認するために測定することができる。追加的に、又は代替的に、３Ｄ画像及び／又は３Ｄデータの選択された平面は、対象となる平面に沿って２Ｄ画像及び／又は２Ｄデータを生成するために使用することができる。

領域３０６、３０８及び３１０（図２の領域２０６、２０８及び２１０にそれぞれ対応する）に対するグラフィカル・アーチファクトがないことは、検査された人間被験者１０２のこれらの領域が、特に対象となる情報を有さず、及び／又は、検査の対象とならなかった他の組織と関連していたことを示す。したがって、これらの領域３０６、２０８又は３１０には、グラフィカル・アーチファクトは生成されなかった。

図４は、脊柱４０２及び骨盤骨４０４を示す人間被験者１０２の概念図４００である。図５は、人間被験者１０２の脊柱４０２及び骨盤骨４０４の画像を提示する複合ソノグラム・グラフィカル情報から生成される３Ｄ又は２Ｄ画像の概念図５００である。画像５００は、第１のグラフィカル・アーチファクト５０２（図３のグラフィカル・アーチファクト３０２に対応する）と、第２のグラフィカル・アーチファクト５０４（図３のグラフィカル・アーチファクト３０４に対応する）を示す。そこでは、画像処理アルゴリズム・モジュール１２０のＡＩアルゴリズムは、見ている操作者又は別の関係者に有用な診断情報を提示している。

いくつかの実施例では、グラフィカル・アーチファクトは、検査された人間被験者１０２の状態の評価を助けるために、対象となる特定の解剖学的特徴を強調するように生成することができる。例えば、各脊柱骨の外側に突出した部分（こぶ）を強調する複数のグラフィカル・アーチファクト５０６が生成されて、生成された脊柱画像上に重ねることができる。様々な色、陰影及び／又は照度は、検査者が人間被験者１０２の脊柱の状況を評価するのを助けるために、提示されたグラフィカル・アーチファクト５０６で使用することができる。この簡略化された概念的な実例では、グラフィカル・アーチファクト５０６は、４つの脊柱骨のためだけに生成及び提示された。しかしながら、グラフィカル・アーチファクト５０６は、脊柱骨のすべて、又は対象となる選択された脊柱骨のために生成及び提示されてもよい。さらに、対話型ディスプレイ１０８及び適切なグラフィカル・ユーザ・インタフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を用いて、検査者は、任意の提示されたグラフィカル・アーチファクト５０２、５０４及び／又は５０６を対話的に選択及び／又は操作することができる。

脊柱の３Ｄ又は２Ｄ画像は、複合ソノグラム画像情報のさらなる処理の間、画像処理アルゴリズム・モジュール１２０によって生成される。本明細書では、広範なフィルタリングの後、人間被験者１０２の脊柱の特定の骨を識別する画像情報又はデータは、高い判別度で識別される。さらに、ＡＩアルゴリズムは、人間被験者１０２の脊柱の特定の骨を識別するために学習されてもよい。ＡＩは、人間被験者１０２の脊柱の各特定の骨のために適切な皮膚（骨のより現実的な画像をグラフィカルに示す画像データ）にアクセスし、アクセスされた皮膚を使用して、脊柱のより現実的なグラフィカル表示を作成する。

いくつかの実施例では、対応する理想的な構造画像は、データベースからアクセスされ、ソノグラム検査に基づいて生成される画像の上面に重ねられてもよく、又は隣り合って提示されてもよい。例えば、理想的な脊柱の画像データはアクセスすることができる。次いで、理想的な脊柱の画像データは、人間被験者１０２の脊柱の画像に対応するようにスケーリングすることができる。次いで、理想的な脊柱の重ねられた又は隣り合った画像は、検査された人間被験者１０２の脊柱の画像と視覚的に比較することができる。比較は、３Ｄ又は２Ｄ画像を用いて実行され得る。

図６は、超音波診断システム１００で具現化された画像処理システム６００の一部として使用するのに適したプログラム可能なコンピューティング装置のブロック図である。以下の段落は画像処理システムの適切な一実例を記載するが、当業者は、多くの異なる実例が考えられることを理解するであろう。例えば、画像処理システム６００は、組み込みソフトウェア・システム、スタンドアロン・パーソナル・コンピュータ、及び／又はネットワーク化されたコンピュータ・システムを含むことができる。

超音波診断システム１００の開示から、当業者は、画像処理システム６００の様々な実例は、１つ又は複数の機能を実行するように構成された電子回路を用いて実施され得ることを認識するであろう。例えば、本発明のいくつかの実施例を用いて、画像処理システムは、１つ又は複数の特定用途向け集積回路（ＡＳＩＣｓ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）を用いて実施され得る。しかしながら、いくつかの実例では、本発明の様々な実例の構成要素は、ファームウェア若しくはソフトウェア命令を実行するプログラム可能なコンピューティング装置を用いて、又は特定目的の電子回路と、プログラム可能なコンピューティング装置上で実行されるファームウェア若しくはソフトウェア命令とのいくつかの組み合わせによって、実施され得るであろう。

したがって、図６は、本発明の様々な実施例を実施するために使用することができるコンピュータである、画像処理システム６００の例示的な一実例を示す。この図に見られるように、例示的な画像処理システム６００は、コンピューティング・ユニット６０２を有する。コンピューティング・ユニット６０２は、典型的に、処理ユニット６０４とシステム・メモリ６０６とを含む。処理ユニット６０４は、ソフトウェア命令を実行するための任意のタイプの処理装置であってもよいが、従来は、マイクロプロセッサ装置であろう。システム・メモリ６０６は、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）６０８及びランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）６１０を含んでいてもよい。当業者に理解されるように、読み出し専用メモリ（ＲＯＭ）６０８及びランダム・アクセス・メモリ（ＲＡＭ）６１０の両方は、処理ユニット６０４によって実行されるソフトウェア命令を記憶することができる。

処理ユニット６０４及びシステム・メモリ６０６は、バス６１２又は代わりの通信構造を介して、１つ又は複数の周辺機器に直接的又は間接的に接続されている。例えば、処理ユニット６０４又はシステム・メモリ６０６は、直接的又は間接的に、ハード・ディスク・ドライブ６１４、取り外し可能な光学ディスク・ドライブ６１６、取り外し可能な磁気ディスク・ドライブ６１８及びフラッシュ・メモリ・カード６２０などの追加のメモリ記憶装置に接続されてもよい。処理ユニット６０４及びシステム・メモリ６０６はまた、直接的又は間接的に、１つ又は複数の入力装置６２２及び１つ又は複数の出力装置６２４に接続されてもよい。入力装置６２２は、例えば、キーボード、タッチ・スクリーン、リモート・コントロール・パッド、ポインティング・デバイス（マウス、タッチパッド、スタイラス、トラックボール、又はジョイスティックなど）、スキャナ、カメラ、又はマイクロフォンを含んでいてもよい。出力装置６２４は、例えば、モニタ・ディスプレイ、統合ディスプレイ、テレビ、プリンタ、ステレオ、又はスピーカを含んでいてもよい。

さらに、コンピューティング・ユニット６０２は、ネットワークと通信するための１つ又は複数のネットワーク・インタフェース６２６に直接的又は間接的に接続されるであろう。このタイプのネットワーク・インタフェース６２６は、ネットワーク・アダプタ又はネットワーク・インタフェース・カード（ＮＩＣ：ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ）とも呼ばれることがあるが、コンピューティング・ユニット６０２からのデータ及び制御信号を、トランスミッション・コントロール・プロトコル（ＴＣＰ：Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、インターネット・プロトコル（ＩＰ：Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）及びユーザ・データグラム・プロトコル（ＵＤＰ：Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）などの１つ又は複数の通信プロトコルに従って、ネットワーク・メッセージに変換する。これらのプロトコルは、当該技術分野で周知であるので、本明細書ではより詳細には説明しない。インタフェース６２６は、例えば、無線トランシーバ、電力線アダプタ、モデム、又はイーサネット（登録商標）接続を含むネットワークに接続するための任意の適切な接続媒体を使用することができる。

上に具体的に挙げた入力装置、出力装置及び記憶装置などの周辺機器に加えて、コンピューティング装置は、入力、出力及び記憶機能を実行することができるいくつかのもの、又はそれらのいくつかの組み合わせを含む、様々なその他の周辺機器に接続し得ることが理解されるべきである。例えば、コンピュータ１０１は、３Ｄ超音波プロセッサ及びトランスデューサ・システムに接続されることが多い。３Ｄ超音波ユニットに加えて、コンピュータ１０１は、電話、ファクシミリ機、ルータなどの１つ又は複数の他の周辺機器に接続されるか、さもなければそれらを含むことができる。

例えば、電話は、Ａｎｄｒｏｉｄ又はｉＯＳオペレーティング・システムを搭載しているものなどの無線の「スマートフォン」であってもよい。当該技術分野で知られているように、このタイプの電話は、無線周波数送信を用いた無線ネットワークを介して通信する。単純な通信機能に加えて、「スマートフォン」は、電子メッセージ（例えば電子メールのメッセージ、ＳＭＳテキスト・メッセージなど）の送信、受信及び閲覧、音声ファイルの記録又は再生、画像ファイル（例えば、静止画像若しくは動画ファイル）の記録又は再生、テキスト（例えば、Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄ若しくはＥｘｃｅｌファイル、又はＡｄｏｂｅ Ａｃｒｏｂａｔファイル）を用いたファイルの閲覧又は編集などの、１つ又は複数のデータ管理機能をユーザに提供することもできる。このタイプの電話のデータ管理能力のおかげで、ユーザは、電話をコンピューティング・ユニット６０２に接続して、維持されているデータを同期させることができる。

当然のことながら、さらに他の周辺機器は、当該技術分野で周知であるように、図２に示すタイプのコンピューティング・ユニット６０２に含まれているか、さもなければ接続されてもよい。いくつかの事例では、周辺機器は、永久的に又は半永久的にコンピューティング・ユニット６０２に接続することができる。例えば、多くのコンピュータでは、コンピューティング・ユニット６０２、ハード・ディスク・ドライブ６１４、取り外し可能な光学ディスク・ドライブ６１６、及びディスプレイは、半永久的に単一のハウジングに入れられている。

しかしながら、さらに他の周辺機器は、コンピューティング・ユニット６０２に取り外し可能に接続されていてもよい。コンピューティング・ユニット６０２は、例えば、１つ又は複数の通信ポートを含むことができ、そこを通って、周辺機器は、（バス６１２を介して直接的又は間接的に）コンピューティング・ユニット６０２に接続することができる。したがって、これらの通信ポートは、ユニバーサル・シリアル・バス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格、又はＩＥＥＥ１３９４高速シリアル・バス規格（例えば、Ｆｉｒｅｗｉｒｅポート）などの平行なバス・ポート若しくはシリアル・バス・ポートを含んでいてもよい。代替的に、又は追加的に、コンピュータ１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、Ｗｉ－Ｆｉインタフェース、赤外線データ・ポートなどのような無線データ「ポート」を含んでいてもよい。

本発明の様々な実例に従って使用されるコンピューティング装置は、図６に示すコンピューティング・ユニット６０２以外の、又はコンピューティング・ユニット６０２に加えて、より多くの構成要素を備え得ることが理解されるべきである。さらに、コンピューティング・ユニット６０２よりも少ない構成要素、又はコンピューティング・ユニット６０２とは異なる構成要素の組み合わせは、代替的な実施例によって使用され得る。例えば、本発明のいくつかの実施態様は、サーバ・コンピュータなどの非常に具体的な機能を有するように意図された１つ又は複数のコンピューティング装置を使用することができる。したがって、これらのコンピューティング装置は、ネットワーク・インタフェース６２６、取り外し可能な光学ディスク・ドライブ６１６、プリンタ、スキャナ、外部ハード・ドライブなどのような不要な周辺機器を省略することができる。本発明のいくつかの実施態様は、代替的に、又は追加的に、デスクトップ型又はラップトップ型パーソナル・コンピュータのような多種多様な機能が可能であるように意図されたコンピューティング装置を使用することができる。これらのコンピューティング装置は、所望の周辺機器又は追加の構成要素の組み合わせを有することができる。

さらに、別の実行例では、超音波診断システム１００は、人間被験者１０２の脊柱の以前生成された画像及び／又はデータを後になって呼び出すために使用することができる。本明細書に記載されているように、以前の画像及び／又はデータは、超音波診断システム１００及び／又はローカル若しくは遠隔データベースのコンピュータ・システムに記憶することができる。次に、超音波診断システム１００は、人間被験者１０２の脊柱の現在の３Ｄ画像を、以前に取得された画像とマッチングさせる。この例示的な応用例では、比較される画像は、操作者が人間被験者１０２の脊柱に対する脊柱の健康状態及び／又は治療の有効性を評価するのを助けるために使用することができる。

超音波診断システム１００の実施例は、人間被験者１０２の走査された組織、骨、若しくは器官のためのデータ又は画像情報及び生成された３Ｄ又は２Ｄモデル情報を得ることに加えて、ペット、家畜、動物園の動物など、それらに限定されないその他の動物からのソノグラム情報を得るのに適していてもよい。超音波診断システム１００の実施例はまた、植物又はその他の無生物からのソノグラム情報を得るために使用することができる。例えば、超音波トランスデューサ・プローブを用いて走査するのに適した古代の人工遺物又は遺物を、超音波診断システム１００の実施例を使用して走査することができよう。さらに、ソノグラフ走査は、母親の子宮内にいる出生前の幼児を走査するのに用いられることがよくある。超音波診断システム１００の実施例は、これらの幼児を走査するために使用することもできる。

当業者は、超音波診断システム１００の実施例が、人間被験者１０２内にある他の非生物学的物体を検出し、区別し、識別し、提示するように構成されてもよいことを理解することができる。例えば、金属又はポリマーのピン、スクリュー、留め金などが、以前の外科的処置中に人間被験者１０２に埋め込まれている可能性もある。このような物体は識別され、生成された３Ｄ又は２Ｄモデル情報若しくはデータ内に追加することができる。さらに、３Ｄ又は２Ｄモデル情報若しくはデータは、リアルタイムで、又はほぼリアルタイムで生成することができるため、人間被験者１０２が受けている処置の間に現在使用されている外科用器具を識別することができる。本明細書では、超音波診断システム１００は、対象となる器官又は組織とともに、このような外科用器具を同時に検出するために使用することができる。

当業者は、超音波診断プロセッサ・システム１０６は、人間被験者１０２の検査中、超音波トランスデューサ・プローブ１０４に対して局所的であるか、又は近接している必要があることを理解する。本明細書では、画像取込装置１１４は、人間被験者１０２の検査中にターゲット１３０、１３２の画像を取り込むように、ソノグラム走査プロセスの間に、人間被験者１０２に局所的である必要がある。このような実施例は、超音波トランスデューサ・プローブ１０４及び１つ又は複数の画像取込装置１１４から遠隔的に配置されるように構成されてもよい。超音波診断プロセッサ・システム１０６は、超音波診断プロセッサ・システム１０６と、超音波トランスデューサ・プローブ１０４及び１つ又は複数の画像取込装置１１４とを通信可能に連結する適切な通信システムを介して、超音波情報及びカメラ画像を受信する。さらに、このような実施例は、複数の超音波トランスデューサ・プローブ１０４及び１つ又は複数の画像取込装置１１４から情報を受信するように構成することができ、その結果、複数の人間被験者１０２は、遠隔的及び／又は同時に検査され得る。さらに、生成された３Ｄ／２Ｄ画像及び／又は３Ｄ／２Ｄモデル・データは、検査部位に配置されたディスプレイ装置上に表示するために検査部位に戻るように通信され得る。

図７は、超音波診断システム１００の例示的な一実施例によって使用されるプロセスを示すフロー・チャートである。カメラ画像及びソノグラム画像情報の流れは、ソノグラム走査中に取得される（６０２）。タイム・スタンプは、時刻インデックス付きカメラ画像を生成するためにカメラ画像に付加される（６０４）。同一の、又は実質的に同一のタイム・スタンプは、時刻インデックス付きソノグラム画像情報部分を生成するために、ソノグラム画像情報の対応する部分に付加される。

各時刻インデックス付きカメラ画像は、タイム・スタンプの時間の間に走査されていた人間被験者１０２の特定の部分を識別する対応の時刻インデックス付き位置情報を決定するために処理される（６０６）。

同時に、ソノグラム画像情報の流れは、複数のソノグラム走査の間に取得される（６０８）。タイム・スタンプは、時刻インデックス付きソノグラム画像情報部分を生成するためにソノグラム画像情報の一部に付加される（６１０）。

次に、選択された時間（６１２）に対して、選択された時間のための時刻インデックス付き位置情報は、時刻インデックス付きソノグラム画像情報部分（タイム・スタンプと同時に取得された）と組み合わされて、ソノグラム情報のその特定の部分に対する位置インデックス付きソノグラム画像情報部分を生成する（６１４）。

次に、複数の位置インデックス付きソノグラム画像情報部分の各々は、複合ソノグラム画像情報を生成するために組み合わされる（６１６）。複合ソノグラム画像情報は、次に、３Ｄ又は２Ｄ複合ソノグラム・グラフィカル情報を生成する（６１８）ために使用され、３Ｄ又は２Ｄ複合ソノグラム・グラフィカル情報は、ディスプレイ上に３Ｄ又は２Ｄ画像をレンダリングする（６２０）ために使用され得る。

この出願に記載された発明は、様々な機械的、電気的、及び空気圧的な組立技術を含む様々な工業プロセスによって製造することができる。さらに、本明細書に記載の発明は、医用診断の用途を含む工業的な背景で使用することができる。

上述された発明は、以下の非限定的な実施例に従って、代替的に説明することができる。

超音波診断システムのための第１の実施例では、システムは、人間被験者の連続的な複数の超音波走査からソノグラム画像情報を取得するように構成された超音波トランスデューサ・プローブであって、複数の超音波走査の各々の間にソノグラム画像情報を生成する超音波トランスデューサ・プローブと、超音波トランスデューサ・プローブに通信可能に連結された超音波画像データ・プロセッサであって、超音波トランスデューサ・プローブは、超音波トランスデューサ・プローブからソノグラム画像情報を受信し、超音波画像データ・プロセッサは、各々がソノグラム画像情報とソノグラム画像情報の取得時刻に対応する第１の時刻とを含む複数の時刻インデックス付きソノグラム画像情報部分を生成する、超音波画像データ・プロセッサと、人間被験者及び超音波トランスデューサ・プローブの両方を含む時系列の一連のカメラ画像を取り込む少なくとも１つの画像取込装置であって、人間被験者上に配置された少なくとも１つの第１の光学ターゲットは、一連の取り込まれたカメラ画像の１つ１つにおいて視認可能であり、超音波トランスデューサ・プローブ上に配置された少なくとも１つの第２の光学ターゲットは、一連の取り込まれたカメラ画像の１つ１つにおいて視認可能である、少なくとも１つの画像取込装置と、少なくとも１つの画像取込装置に通信可能に連結された光学追跡ユニットであって、少なくとも１つの画像取込装置から一連のカメラ画像の１つ１つを受信し、一連のカメラ画像の１つ１つは、少なくとも１つの画像取込装置によるカメラ画像の取得時刻を示す時刻インデックスを含み、光学追跡ユニットは、人間被験者上の少なくとも１つの第１のターゲットの位置、及び超音波トランスデューサ・プローブ上の少なくとも１つの第２のターゲットの位置を決定し、光学追跡ユニットは、第１の光学ターゲット及び第２の光学ターゲットの決定された位置に基づいて、各カメラ画像のための時刻インデックス付き位置情報を決定し、時刻インデックス付き位置情報は、人間上の少なくとも１つの光学ターゲット、及び超音波トランスデューサ・プローブ上の少なくとも１つの第２の光学ターゲットの決定された位置に基づいて、超音波トランスデューサ・プローブによって走査されている人間被験者の一部を識別し、時刻インデックス付き位置情報は第２の時刻を含む、光学追跡ユニットと、超音波画像データ・プロセッサ及び少なくとも１つの画像取込装置に通信可能に連結された画像レジストレーション・モジュールであって、各時刻インデックス付きソノグラム画像情報部分のために、第１の時刻と同じ第２の時刻を有する位置インデックス付き情報を選択し、時刻インデックス付きソノグラム画像情報部分及び対応する時刻インデックス付き位置情報の１つ１つに基づいて、複数の位置インデックス付きソノグラム情報部分を生成する、画像レジストレーション・モジュールと、画像レジストレーション・モジュールに通信可能に連結された画像処理アルゴリズム・モジュールであって、画像レジストレーション・モジュールから位置インデックス付きソノグラム画像情報部分を受信し、受信された複数の位置インデックス付きソノグラム画像情報部分を組み合わせて、複合ソノグラム画像情報を生成する、画像処理アルゴリズム・モジュールとを含む。

第１の超音波診断システムのいくつかの実例では、画像処理アルゴリズム・モジュールは、複数の複合ソノグラム画像情報に基づいて、３次元（３Ｄ）複合ソノグラム・グラフィカル情報を生成する。第１の超音波診断システムのこのような実例では、システムは、３Ｄ複合ソノグラム・グラフィカル情報に基づいて画像を生成する３Ｄ視覚化モジュールを含むことができ、画像は、ディスプレイ上に提示可能である。

第１の超音波診断システムのいくつかの実例は、超音波トランスデューサ・プローブによる超音波情報の取得時刻を提供する時計を含み、時計は、超音波画像データ・プロセッサ内にある。特定の実例は、少なくとも１つの画像取込装置によって取り込まれるカメラ画像の取得時刻を提供する時計を含み、時計は、超音波画像データ・プロセッサ内にある。

いくつかの実例では、超音波トランスデューサ・プローブ及び少なくとも１つの画像取込装置は、人間被験者が検査されている第１の位置に配置され、少なくとも光学追跡ユニット、画像レジストレーション・モジュール、及び画像処理アルゴリズム・モジュールは、第１の位置から遠く離れた第２の位置にあり、光学追跡ユニット、画像レジストレーション・モジュール、及び画像処理アルゴリズム・モジュールは、複数の他の超音波トランスデューサ・プローブ及び関連する少なくとも１つの画像取込装置からの情報を、異なる人間被験者が検査されている異なる第１の位置で受信するために動作可能である。

超音波診断システムを用いて人間被験者を検査する方法の第１の実施例では、その方法は、超音波トランスデューサ・プローブから人間被験者の連続的な複数の超音波走査を受信するステップと、超音波走査の一部からのソノグラム画像情報とソノグラム画像情報部分の取得時刻に対応する第１の時刻とを各々が含む複数の時刻インデックス付きソノグラム画像情報部分を生成するステップと、人間被験者と少なくとも１つの画像取込装置を用いた超音波トランスデューサ・プローブとの両方を含む時系列の一連のカメラ画像を取り込むステップであって、その一連のカメラ画像の１つ１つが少なくとも１つの画像取込装置によるカメラ画像の取得時刻を示す第２の時刻を含む、時系列の一連のカメラ画像を取り込むステップと、各カメラ画像のために時刻インデックス付き位置情報を決定するステップであって、時刻インデックス付き位置情報が超音波トランスデューサ・プローブによって走査されている人間被験者の一部の位置を識別し、時刻インデックス付き位置情報が、関連する第２の時刻を含む、時刻インデックス付き位置情報を決定するステップと、各時刻インデックス付きソノグラム画像情報部分のために、ソノグラム画像情報部分の第１の時刻と同じ第２の時刻を有する時刻インデックス付き位置情報を選択するステップと、時刻インデックス付きソノグラム画像情報部分及び対応する時刻インデックス付き位置情報の１つ１つに基づいて、複数の位置インデックス付きソノグラム情報部分を生成するステップと、受信された複数の位置インデックス付きソノグラム画像情報部分を組み合わせて複合ソノグラム画像情報を生成するステップとを含む。

第１の方法の実施例のいくつかの実例では、少なくとも１つの第１の光学ターゲットは、人間被験者上に配置され、一連の取り込まれたカメラ画像の１つ１つにおいて視認可能であり、超音波トランスデューサ・プローブ上に配置された少なくとも１つの第２の光学ターゲットは、一連の取り込まれたカメラ画像の１つ１つにおいて視認可能であり、各カメラ画像のために時刻インデックス付き位置情報を決定することは、人間被験者上の少なくとも１つの第１のターゲットの位置、及び超音波トランスデューサ・プローブ上の少なくとも１つの第２のターゲットの位置を決定することを含み、超音波トランスデューサ・プローブによって走査されている人間被験者の一部の位置は、少なくとも１つの第１のターゲットの決定された位置と、少なくとも１つの第２のターゲットの決定された位置とに基づいて決定される。

第１の方法の実施例の特定の実例では、複数の時刻インデックス付きソノグラム画像情報部分を生成することは、遠くに離れて配置された超音波トランスデューサ・プローブから連続的な複数の超音波走査を受信する超音波画像データ・プロセッサの時計を使用して、時刻インデックス付きソノグラム画像情報部分の１つ１つに第１の時刻を付加することを含む。追加的に、又は代替的に、時系列の一連のカメラ画像を取り込んだ後、その方法は、遠くに離れて配置された超音波トランスデューサ・プローブから連続的な複数の超音波走査を受信する超音波画像データ・プロセッサの時計を使用して、カメラ画像の１つ１つに第２の時刻を付加することを含む。

第１の方法の実施例のいくつかの実例は、生成された複合ソノグラム画像情報に基づいて３次元（３Ｄ）複合ソノグラム・グラフィカル情報を生成することをさらに含む。これらの実例は、３Ｄ複合ソノグラム・グラフィカル情報に基づいて３Ｄ画像を生成することと、ディスプレイ上に３Ｄ画像を提示することとをさらに含む。さらに、このような実例では、人間被験者の連続的な複数の超音波走査のすべてが超音波トランスデューサ・プローブから受信された後、３Ｄ画像が生成され、ディスプレイ上に提示され得る。追加的に、又は代替的に、３Ｄ画像は、人間被験者の連続的な複数の超音波走査の１つ１つが超音波トランスデューサ・プローブから受信されているときに生成され、ディスプレイ上に提示され得る。

第１の方法の実施例の実例は、３Ｄ複合ソノグラム・グラフィカル情報に基づいて２Ｄ画像を生成することと、ディスプレイ上に２Ｄ画像を提示することとをさらに含む。

超音波診断システム１００の上述の実施例は、本発明の実施態様の単なる可能な実例であることが強調されるべきである。上述の実施例には、多くの変形及び修正を行うことができる。このような修正及び変形のすべては、本開示の範囲内で本明細書に含まれ、以下の特許請求の範囲によって保護されることを意図している。

さらに、以上の開示は、独立した実用性を有する複数の個別の発明を含んでいる。これらの発明の各々は特定の形態で開示されているが、以上に開示され例示されている具体的な実施例は、多数の変形が実施可能であることから、限定を課す意味で考えられてはならない。本発明は、以上に開示されている及びそのような発明に関連する当業者に固有である様々な要素、特徴、機能、及び／又は性質のすべての新規及び非自明の組み合わせ及び部分的組合せを含む。本開示又はそれに続けて提出される特許請求の範囲が、「１つの」要素、「第１の」要素、又はいずれかのそのような同等の用語を記述している場合、本開示又は特許請求の範囲は１つ又は複数のそのような要素を組み入れていると理解されるべきであり、２つ以上のそのような要素を要件としているわけでもなければ除外しているわけでもない。

出願人は、新規性があり、非自明であると確信される開示された発明の組み合わせ及び部分的組み合わせに向けられた特許請求の範囲を提出する権利を留保する。特徴、機能、要素、及び／又は性質の他の組み合わせ及び部分的組み合わせに具現化された発明が、本出願又は関連出願でのそれらの特許請求の範囲の補正又は新たな特許請求の範囲の提示を通じて請求され得る。そのような補正された又は新たな特許請求の範囲は、それらが同じ発明に向けられているにせよ異なった発明に向けられているにせよ、またそれらが原特許請求の範囲に対し範囲が異なる、より広い、より狭い、又は等しいかどうかを問わず、本明細書に記載の発明の範囲内とみなされるものとする。

Claims (15)

1. 人間被験者の連続的な複数の超音波走査からソノグラム画像情報を取得するように構成された超音波トランスデューサ・プローブであって、前記複数の超音波走査の各々の間にソノグラム画像情報を生成する超音波トランスデューサ・プローブと、
   前記超音波トランスデューサ・プローブに通信可能に連結された超音波画像データ・プロセッサであって、
   前記超音波トランスデューサ・プローブは、前記超音波トランスデューサ・プローブから前記ソノグラム画像情報を受信し、
   前記超音波画像データ・プロセッサは、各々が前記ソノグラム画像情報と前記ソノグラム画像情報の取得時刻に対応する第１の時刻とを含む複数の時刻インデックス付きソノグラム画像情報部分を生成する、超音波画像データ・プロセッサと、
   前記人間被験者及び前記超音波トランスデューサ・プローブの両方を含む時系列の一連のカメラ画像を取り込む少なくとも１つの画像取込装置であって、
   前記人間被験者上に配置された少なくとも１つの第１の光学ターゲットは、前記一連の取り込まれたカメラ画像の１つ１つにおいて視認可能であり、
   前記超音波トランスデューサ・プローブ上に配置された少なくとも１つの第２の光学ターゲットは、前記一連の取り込まれたカメラ画像の１つ１つにおいて視認可能である、少なくとも１つの画像取込装置と、
   前記少なくとも１つの画像取込装置に通信可能に連結された光学追跡ユニットであって、
   前記少なくとも１つの画像取込装置から前記一連のカメラ画像の１つ１つを受信し、
   前記一連のカメラ画像の１つ１つは、前記少なくとも１つの画像取込装置による前記カメラ画像の取得時刻を示す時刻インデックスを含み、
   前記光学追跡ユニットは、前記人間被験者上の前記少なくとも１つの第１のターゲットの位置、及び前記超音波トランスデューサ・プローブ上の前記少なくとも１つの第２のターゲットの位置を決定し、
   前記光学追跡ユニットは、前記第１の光学ターゲット及び前記第２の光学ターゲットの前記決定された位置に基づいて、各カメラ画像のための時刻インデックス付き位置情報を決定し、
   前記時刻インデックス付き位置情報は、前記人間上の前記少なくとも１つの光学ターゲット、及び前記超音波トランスデューサ・プローブ上の前記少なくとも１つの第２の光学ターゲットの前記決定された位置に基づいて、前記超音波トランスデューサ・プローブによって走査されている前記人間被験者の一部を識別し、
   前記時刻インデックス付き位置情報は前記第２の時刻を含む、光学追跡ユニットと、
   前記超音波画像データ・プロセッサ及び前記少なくとも１つの画像取込装置に通信可能に連結された画像レジストレーション・モジュールであって、
   各時刻インデックス付きソノグラム画像情報部分のために、前記第１の時刻と同じ第２の時刻を有する前記位置インデックス付き情報を選択し、
   前記時刻インデックス付きソノグラム画像情報部分、及び前記対応する時刻インデックス付き位置情報の１つ１つに基づいて、複数の位置インデックス付きソノグラム情報部分を生成する、画像レジストレーション・モジュールと、
   前記画像レジストレーション・モジュールに通信可能に連結された画像処理アルゴリズム・モジュールであって、
   前記画像レジストレーション・モジュールから前記位置インデックス付きソノグラム画像情報部分を受信し、
   前記受信された複数の位置インデックス付きソノグラム画像情報部分を組み合わせて、複合ソノグラム画像情報を生成する、画像処理アルゴリズム・モジュールと
   を備える、超音波診断システム。
2. 前記画像処理アルゴリズム・モジュールは、前記複数の複合ソノグラム画像情報に基づいて、３次元（３Ｄ）複合ソノグラム・グラフィカル情報を生成する、請求項１に記載の超音波診断システム。
3. 前記３Ｄ複合ソノグラム・グラフィカル情報に基づいて画像を生成する３Ｄ視覚化モジュールをさらに含み、前記画像はディスプレイ上に提示可能である、請求項２に記載の超音波診断システム。
4. 前記超音波トランスデューサ・プローブによる前記超音波情報の前記取得時刻を提供する時計をさらに含み、前記時計は、前記超音波画像データ・プロセッサ内にある、請求項１に記載の超音波診断システム。
5. 前記少なくとも１つの画像取込装置によって取り込まれる前記カメラ画像の前記取得時刻を提供する時計をさらに含み、
   前記時計は、前記超音波画像データ・プロセッサ内にある、請求項１に記載の超音波診断システム。
6. 前記超音波トランスデューサ・プローブ及び前記少なくとも１つの画像取込装置は、前記人間被験者が検査されている第１の位置に配置され、
   少なくとも前記光学追跡ユニット、前記画像レジストレーション・モジュール、及び前記画像処理アルゴリズム・モジュールは、前記第１の位置から遠く離れた第２の位置にあり、
   前記光学追跡ユニット、前記画像レジストレーション・モジュール、及び前記画像処理アルゴリズム・モジュールは、複数の他の超音波トランスデューサ・プローブ及び前記関連する少なくとも１つの画像取込装置からの情報を、異なる人間被験者が検査されている異なる第１の位置で受信するために動作可能である、請求項１に記載の超音波診断システム。
7. 超音波トランスデューサ・プローブから人間被験者の連続的な複数の超音波走査を受信するステップと、
   前記超音波走査の一部からのソノグラム画像情報と前記ソノグラム画像情報部分の取得時刻に対応する第１の時刻とを各々が含む複数の時刻インデックス付きソノグラム画像情報部分を生成するステップと、
   前記人間被験者と少なくとも１つの画像取込装置を用いた前記超音波トランスデューサ・プローブとの両方を含む時系列の一連のカメラ画像を取り込むステップであって、前記一連のカメラ画像の１つ１つが前記少なくとも１つの画像取込装置による前記カメラ画像の取得時刻を示す第２の時刻を含む、時系列の一連のカメラ画像を取り込むステップと、
   各カメラ画像のために時刻インデックス付き位置情報を決定するステップであって、
   前記時刻インデックス付き位置情報が前記超音波トランスデューサ・プローブによって走査されている前記人間被験者の一部の位置を識別し、
   前記時刻インデックス付き位置情報が、前記関連する第２の時刻を含む、時刻インデックス付き位置情報を決定するステップと、
   各時刻インデックス付きソノグラム画像情報部分のために、前記ソノグラム画像情報部分の前記第１の時刻と同じ前記第２の時刻を有する前記時刻インデックス付き位置情報を選択するステップと、
   前記時刻インデックス付きソノグラム画像情報部分、及び前記対応する時刻インデックス付き位置情報の１つ１つに基づいて、複数の位置インデックス付きソノグラム情報部分を生成するステップと、
   前記受信された複数の位置インデックス付きソノグラム画像情報部分を組み合わせて複合ソノグラム画像情報を生成するステップと
   を含む、超音波診断システムを用いて人間被験者を検査する方法。
8. 少なくとも１つの第１の光学ターゲットは、前記人間被験者上に配置され、前記一連の取り込まれたカメラ画像の１つ１つにおいて視認可能であり、
   前記超音波トランスデューサ・プローブ上に配置された少なくとも１つの第２の光学ターゲットは、前記一連の取り込まれたカメラ画像の１つ１つにおいて視認可能であり、
   各カメラ画像のために時刻インデックス付き位置情報を決定することは、前記人間被験者上の前記少なくとも１つの第１のターゲットの位置、及び前記超音波トランスデューサ・プローブ上の前記少なくとも１つの第２のターゲットの位置を決定することを含み、
   前記超音波トランスデューサ・プローブによって走査されている前記人間被験者の一部の前記位置は、前記少なくとも１つの第１のターゲットの前記決定された位置と、前記少なくとも１つの第２のターゲットの前記決定された位置とに基づいて決定される、請求項７に記載の方法。
9. 複数の時刻インデックス付きソノグラム画像情報部分を生成することは、前記遠くに離れて配置された超音波トランスデューサ・プローブから前記連続的な複数の超音波走査を受信する超音波画像データ・プロセッサの時計を使用して、前記時刻インデックス付きソノグラム画像情報部分の１つ１つに前記第１の時刻を付加することを含む、請求項７に記載の方法。
10. 時系列の一連のカメラ画像を取り込んだ後、前記方法は、前記遠くに離れて配置された超音波トランスデューサ・プローブから前記連続的な複数の超音波走査を受信する超音波画像データ・プロセッサの時計を使用して、前記カメラ画像の１つ１つに前記第２の時刻を付加することを含む、請求項７に記載の方法。
11. 前記生成された複合ソノグラム画像情報に基づいて３次元（３Ｄ）複合ソノグラム・グラフィカル情報を生成することをさらに含む、請求項７に記載の方法。
12. 前記３Ｄ複合ソノグラム・グラフィカル情報に基づいて３Ｄ画像を生成することと、ディスプレイ上に前記３Ｄ画像を提示することとをさらに含む、請求項１１に記載の方法。
13. 前記人間被験者の前記連続的な複数の超音波走査のすべてが前記超音波トランスデューサ・プローブから受信された後、３Ｄ画像が生成され、前記ディスプレイ上に提示される、請求項１２に記載の方法。
14. ３Ｄ画像は、前記人間被験者の前記連続的な複数の超音波走査の１つ１つが前記超音波トランスデューサ・プローブから受信されているときに生成され、前記ディスプレイ上に提示される、請求項１２に記載の方法。
15. 前記３Ｄ複合ソノグラム・グラフィカル情報に基づいて２Ｄ画像を生成することと、前記ディスプレイ上に前記２Ｄ画像を提示することとをさらに含む、請求項１１に記載の方法。

Images