JP6629094B2 - 超音波診断装置、医用画像処理装置及び医用画像処理プログラム - Google Patents

Description

本実施形態は、超音波画像の最適化、たとえば、顔、手、足または他の身体部位の表現を備える胎児、或いは心臓等の所定部位の超音波画像の最適化を実現する超音波診断装置、医用画像処理装置及び医用画像処理プログラムに関する。

トランスデューサからの超音波の送信および受信によって、子宮内の胎児を撮像するのに、超音波を使うことが知られている。

異なる位置または角度においてとられた超音波データを合成するため、および単純な表面陰影や直接ボリュームレンダリングなどの方法を使って、合成されたデータから画像をレンダリングするためのソフトウェアを使うことによって、３次元（３Ｄ）超音波画像が取得され得る。４次元（４Ｄ）超音波撮像システムでは、異なる時間に取得された一連の３次元画像が動的にレンダリングされて、動く３Ｄ画像、たとえば、３Ｄ超音波動画を生じさせる。

近年、以前使われていたよりも物理的に正確なモデルを用いて照明をシミュレートする高度採光技法（全体照明、勾配のない採光、表面下散乱または光子マッピングと呼ばれる）の使用により、３Ｄおよび４Ｄ超音波画像がより写実的になっている。

３Ｄおよび４Ｄの胎児の超音波スキャン（胎児の記念スキャンとして知られていることもある）のよくある目的は、胎児の顔を撮像することである。多くの親は、スキャンの写実的な見かけに駆り立てられて、生まれていない子供とより良いつながりをもつために、３Ｄまたは４Ｄ超音波スキャンを行う。３Ｄまたは４Ｄ超音波スキャンは、口唇裂や口蓋裂などの異常がある胎児の外見を親に知らせるためにも有用であり得る。

３Ｄおよび４Ｄ超音波スキャンは、人間または動物の体の他の部位に対して、たとえば内部器官に対しても実施され得る。

３Ｄ超音波胎児撮像プロセスの例が、図６の図解に概略的に表されている。超音波検査者３０が、超音波測定プローブ４を操作して、胎児３４を妊娠している患者３２をスキャンする。

ボリュームデータ生成ユニット１８が、測定プローブ４から取得されたエコー信号に対してエコー処理と、ボリューム再構成と、フィルタリングとを実施する。ボリュームデータ生成ユニット１８は、ボリュームデータを出力する。レンダリングユニット１４が、ボリュームデータから画像５０をレンダリングし、画像５０がメインディスプレイ画面６上に表示される。

測定プローブ４においてさらなるエコー信号が受信されると、処理、レンダリング、および画像表示が繰り返される。胎児は、画像がとられる間、動いていてよい。

胎児の顔の良質画像を取得するために、超音波検査者３０は、最良の信号とボリュームデータとを取得するようにプローブ４の位置を最適化することを求められ得る。プローブ４の位置と配向とを調整する間、超音波検査者３０は、スキャナコンソール１０を使って、パラメータセット４０のうち少なくともいくつかについての値を調整することもできる。

パラメータセット４０は、処理パラメータ（たとえば、ボリュームデータを取得するためのエコー信号の処理において、ボリュームデータ生成ユニット１８によって使われるパラメータ）を含み得る。たとえば、超音波検査者３０は、細部の可視性と、画像中のノイズレベルとの間の最良のトレードオフを取得するように、超音波再構成およびフィルタリング制御を最適化することができる。

パラメータセット４０は、レンダリングパラメータ（たとえば、画像、たとえば、表示用の画像を形成するためのボリュームデータのレンダリングにおいて、レンダリングユニット１４によって使われるパラメータ）を含み得る。超音波検査者３０は、顔の特徴を最も良く見せるように、レンダリング視点を最適化することができる。目、鼻および口の可視性は、特に重大であると見なされ得る。

超音波検査者３０は、画像中の顔を不明瞭にし得る特徴を避けるように画像を作り、かつ／または画像中の顔を不明瞭にし得る特徴を避けるように視点を位置決めすることができる。そのような不明瞭にする可能性のある特徴は、退廃物、胎盤／へその緒、または子宮壁を含み得る。超音波検査者３０は、顔の前にあるものを取り除くように、クリッププレーン位置を変化させればよい。

高度レンダリングモードは、より制御可能であり得るレンダリングパラメータを採り入れることができる。たとえば、組織の光学特性、陰影モデルパラメータおよび光の位置決めが、従来の表面陰影レンダリングの場合よりも重要になり得る。

超音波検査者３０が、表示された画像５０が妥当な品質でない（たとえば、顔の一部のみが表示され、または顔が上下逆である）と決めた場合、超音波検査者３０は、パラメータセット４０のうち少なくともいくつかについての値を調整し、かつ／または測定プローブ４の位置もしくは配向を調整して、改善された画像を取得するよう試みればよい。

超音波検査者が、許容可能な品質の表示画像を取得するためにレンダリングおよび／または処理パラメータを選択または調整しながら、同時に、プローブ４を見つけ、最適または許容可能な位置に維持するのは困難であり得る。これは、超音波スキャンプロセス中に胎児および母親が動いている可能性がある実際の状況において特に当てはまり得る。

容積超音波データ中の３次元顔表面を検出するための学習手法を使うことが提案されている。一例では、３次元顔表面のメッシュ表現が使われる。顔候補の境界ボックスが、境界空間学習法を使って取得され、２次元顔プロファイル検出を使って洗練される。平均形状が次いで、顔形状に変形される。顔表面検出の結果は、顔レンダリングのための特定の収集プレーンを決定するのに使われる。たとえば、胎児の顔に対して特定の閲覧角度で、画像がレンダリングされ得る。顔表面検出の結果は、カービングアルゴリズムによって、顔の前のボクセルを築く（carve out）のに使われる。

特開２０１１−０７２６５６号公報

上述した従来の学習手法では、３次元の顔表面上に多くのメッシュ点を配置することが必要である。メッシュ点すべてを３次元に配置することは、胎児が子宮内のあらゆる位置およびあらゆる角度にいる可能性があるとすると、複雑な問題である。また、メッシュ点がどの解剖学的特徴に対応するか、たとえばどのメッシュ点が輪郭上または目、鼻および口などの他の標識点の所にあるか判断することも必要とされる。このため、メッシュ点を配置し、識別するプロセスは、計算集約的であり使い勝手が十分でない面がある。

目的は、従来に比して、操作者が所望のムレンダリング画像を簡単かつ直感的に取得可能な超音波診断装置、医用画像処理装置及び医用画像処理プログラムを実現することにある。

本実施形態に係る超音波診断装置は、レンダリングユニット、表示制御ユニット、パラメータ調整ユニットを具備する。レンダリングユニットは、身体部位の少なくとも一部分を含む３次元領域に対して超音波を送信し当該３次元領域からの反射波に基づいて生成されたボリュームデータを用いて、複数のパラメータに基づいてボリュームレンダリングプロセスまたはサーフェスレンダリングプロセスを実施し、第１のレンダリング画像を生成する。表示制御ユニットは、表示ユニット上に第１のレンダリング画像を表示する。パラメータ調整ユニットは、第１のレンダリング画像中の身体部位の少なくとも一部分を検出し、検出の結果に基づいて、複数のパラメータのうち少なくとも１つの値を選択または調整する。レンダリングユニットは、パラメータ調整ユニットを介して選択または調整されたパラメータ値に基づいて、新たな第２のレンダリング画像を生成する。ディスプレイ制御ユニットは、表示ユニット上に第２のレンダリング画像を表示させる。

図１は、本実施形態に係る超音波診断装置（超音波撮像装置とも呼ばれ得る）のブロック構成図である。 図２は、本実施形態による超音波画像取得及び生成のプロセスを説明するための概略図である。 図３は、実施形態の動作モードを概略的に示すフローチャートである。 図４は、顔検出アルゴリズムを使って評価された顔画像のマトリクスを示した図である。 図５は、図４の顔画像のマトリクスの各々についての顔検出アルゴリズムのスコアのヒートマップ表示である。 図６は、従来の超音波画像取得及び生成のプロセスを説明するための概略図である。

図１は、本実施形態に係る超音波診断装置（超音波撮像装置とも呼ばれ得る）のブロック構成図である。本超音波診断装置は、超音波診断装置本体２と、関連付けられた測定プローブ（超音波プローブ）４とを備える。どの適切なタイプの超音波診断装置本体２および測定プローブ４、たとえば、３Ｄまたは４Ｄ撮像に適した超音波画像データを取得するように構成されたどの超音波診断装置本体２およびトランスデューサプローブ４が使われてもよい。

超音波診断装置本体２は、メイン超音波画像を表示するためのメインディスプレイ画面６と、制御情報（たとえば、パラメータ設定）を表示するための制御画面８と、スキャナコンソール１０とを備える。本実施形態では、スキャナコンソール１０は、入力ボタンもしくはノブ、コンピュータキーボード、マウスまたはトラックボールなど、１つの入力デバイスまたは複数の入力デバイスを備える。別の実施形態では、制御画面８は、ディスプレイデバイスとユーザ入力デバイスの両方であるタッチ画面である。さらなる実施形態は、超音波診断装置本体２の一部を形成しない制御画面８、ディスプレイ画面またはメインディスプレイ画面６を備え得る。

超音波診断装置本体２は、画像データを含むデータの処理のための処理装置１２を備える。処理装置１２は、画像をレンダリングするためのレンダリングユニット１４と、顔検出を実施するためのパラメータ調整ユニット１６とを含む。

処理装置１２はまた、測定プローブ４から受信されたエコー信号を処理するように構成されたボリュームデータ生成ユニット１８と、メインディスプレイ画面６上に画像を表示するように構成されたディスプレイ制御ユニット１９とを備える。

レンダリングユニット１４、パラメータ調整ユニット１６、ボリュームデータ生成ユニット１８およびディスプレイ制御ユニット１９は各々、本実施形態の方法を実施するように実行可能なコンピュータ可読命令を有するコンピュータプログラムを用いて処理装置１２内で実装される。ただし、他の実施形態では、各ユニットは、ソフトウェア、ハードウェアまたはハードウェアとソフトウェアのどの適切な組合せでも実装され得る。いくつかの実施形態では、様々なユニットは、１つまたは複数のＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラム可能ゲートアレイ）として実装されてよい。

処理装置１２はまた、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、様々なデバイスドライバを含むオペレーティングシステム、およびグラフィックスカードを含むハードウェアデバイスを含む、他の構成要素とを含む。そのような構成要素は、明快のために図１には示されていない。代替実施形態では、処理装置１２は、超音波診断装置本体２の一部ではなく、たとえば、パーソナルコンピュータ、ワークステーション、タブレット、モバイル電話および／またはモバイルコンピューティング装置であり得る。

本実施形態において、図１の超音波診断装置は、胎児３４を妊娠している患者３２のスキャンを実施するのに、スキャンから生成されたボリュームデータから胎児の顔の画像をレンダリングするのに、各レンダリングされた画像に対して顔検出を実施し、検出された顔の画像品質に依存して、各レンダリングされた画像についてのスコアを提供するのに、および画像についてのスコアに基づいて画像配向パラメータを選択するのに使われる。なお、本実施形態においては、グローバルイルミネーションを用いてレンダリング処理を実行するようにしてもよい。

他の実施形態では、図１の超音波診断装置は、胎児のどの所望の身体部位（たとえば、胎児の顔、手または足）の画像もレンダリングし、レンダリングされた画像における所望の身体部位の検出を実施し、検出に基づいて、レンダリングされた画像の各々についてのスコアを提供し、スコアに基づいて、どの適切な画像処理またはレンダリングパラメータも選択するのに使うことができる。

さらなる実施形態において、図１の超音波診断装置は、胎児の一部ではない身体部位の画像をレンダリングするのに使うことができる。図１の超音波診断装置は、内部臓器、たとえば、心臓や腎臓の画像をレンダリングするのに使うことができる。図１の超音波診断装置は、婦人科アプリケーションにおいて、たとえば、子宮または卵巣の画像をレンダリングするのに使うことができる。図１の超音波診断装置は、レンダリングされた画像中の内部臓器の検出を実施し、レンダリングされた画像についてのスコアを提供し、スコアに基づいて、どの適切な画像処理またはレンダリングパラメータを選択するのにも使うことができる。

図２は、本実施形態による超音波画像取得及び生成のプロセスを説明するための概略図である。

技師又は医師等の超音波検査者３０が、胎児の顔の画像を取得するために、超音波測定プローブ４を操作して、胎児３４を妊娠している患者３２をスキャンする。超音波検査者３０は、患者３２の腹部の上にプローブ４を置く。プローブ４の操作は、患者３２の腹部の上での測定プローブ４の位置と配向とを調整することを含み得る。

制御画面８は、パラメータセット４０の少なくともいくつかについての値を表示する。パラメータセット４０中のパラメータは、超音波データの視覚化に影響するパラメータを備える。パラメータセット４０は、処理パラメータ（ボリュームデータを取得するための、エコー信号の処理において使われるパラメータであってよい）とレンダリングパラメータ（画像を形成するための、ボリュームデータのレンダリングにおいて使われるパラメータであってよい）とを含む。

本実施形態において、パラメータセット４０中の各パラメータは、自動的に設定される初期値を有する。本実施形態において、超音波検査者３０は、プローブ４を操作する間、パラメータについての値のうちどれも調整しない。他の実施形態では、超音波検査者３０は、プローブ４を操作する間、パラメータのうち１つまたは複数についての値を調整する。

本実施形態では、制御画面８は、パラメータセット４０の少なくともいくつかについての値を表示する。他の実施形態では、パラメータセット４０についての値は表示されなくてよい。

ボリュームデータ生成ユニット１８は、プローブ４が超音波検査者３０によって操作されている間、測定プローブ４からエコー信号を受信する。パラメータセット４０からの処理パラメータについての値は、ボリュームデータ生成ユニット１８に渡される。本実施形態において、処理パラメータについての値は、システム内で自動的に設定される初期値である。他の実施形態では、処理パラメータのうち１つまたは複数についての値は、プローブ４の操作の前または操作中に超音波検査者３０によって設定されていてよい。

処理パラメータは、エコー処理制御パラメータと、再構成パラメータと、信号パラメータと、ボリュームパラメータと、フィルタリングパラメータとを備える。ボリュームデータ生成ユニット１８は、ボリュームデータを取得するために、エコー信号に対して、エコー処理と、ボリューム再構成と、フィルタリングとを実施する際に処理パラメータ値を使う。ボリュームデータ生成ユニット１８は、ボリュームデータをレンダリングユニット１４に出力する。

レンダリングユニット１４は、パラメータセット４０からレンダリングパラメータについての値を受信する。本実施形態において、レンダリングパラメータについての値は、システム内で自動的に設定される初期値である。他の実施形態では、処理パラメータのうち１つまたは複数についての値は、プローブ４の操作の前または操作中に超音波検査者３０によって設定されていてよい。レンダリングパラメータは、レンダリング配向パラメータと、採光パラメータと、光学特性とを備える。

レンダリングユニット１４およびパラメータ調整ユニット１６は、後で説明するように画像最適化を実施する。

画像最適化の第１の部分では、レンダリングユニット１４は、ボリュームデータを用いらレンダリング処理により、複数のレンダリング画像（すなわち、レンダリング処理によって得られる画像）を生成する。レンダリングユニット１４は、パラメータセット４０から受信されたレンダリングパラメータ値を使って、１つのレンダリング画像をレンダリングする。レンダリング画像の各々が、異なるレンダリングパラメータ値を使ってレンダリングされるように、レンダリングユニット１４は、受信されたレンダリングパラメータ値のうち少なくとも１つを変化させることによって取得されるレンダリングパラメータ値を使って、他のレンダリング画像をレンダリングする。

各レンダリング画像のレンダリングは、レンダリング画像を表すレンダリング画像データセットを生成することを備える。各レンダリング画像は、閲覧されると、構造（ここでは、胎児）の表面の印象を３次元で与える画像なので、３Ｄ画像として記述され得る。ただし、画像は、それ自体は２次元データによって表される。たとえば、各レンダリング画像データセットは、関連付けられた輝度値および／または色値（たとえば、ＲＧＢもしくはＨＳＬ値）をもつピクセル位置のセットを備え得る。レンダリング画像は、プロセスのこの段階ではディスプレイ画面上に表示されなくてよいが、いくつかの実施形態では、そのように所望される場合は表示されてよい。

レンダリング画像を表すレンダリング画像データセットは、パラメータ調整ユニット１６に渡される。パラメータ調整ユニット１６は、オブジェクト検出アルゴリズム４２を使うオブジェクト検出システム４４を備える。本実施形態において、オブジェクト検出アルゴリズム４２は、顔検出アルゴリズムである。

画像最適化の第２の部分では、パラメータ調整ユニット１６は、レンダリング画像データセットに顔検出アルゴリズムを適用することによって、顔検出アルゴリズムを使ってレンダリング画像の各々に対して顔検出を実施する。顔検出アルゴリズムは、レンダリング画像データセットの各々についてのスコア（品質尺度についての値として記述され得る）を戻す。スコアは、レンダリング画像データセット中で、顔の表現（顔検出アルゴリズムによって数量化される）がどれだけ良好に分かるかに依存する。顔が低い品質である（たとえば、顔は部分的に不明瞭にされ、低い解像度であり、および／または閲覧角度から回転されている）ことが分かった場合、スコアは、顔の良質の表現が見つかった（たとえば、顔全体が、閲覧角度を向いて見せられ、画像が良好な解像度である）場合よりも低くなる可能性が高い。

パラメータ調整ユニット１６は、最も高い顔検出スコアを有する（それゆえ、顔検出アルゴリズムによって判断される最良の顔画像に対応すると予想され得る）レンダリング画像データセットを選択する。ディスプレイ制御ユニット１９は、メインディスプレイ画面６に、選択されたレンダリング画像データセットに対応するレンダリング画像５０を表示する。

パラメータ調整ユニット１６は、選択されたレンダリング画像データセットからのパラメータのうち少なくともいくつかについての値を決定する。パラメータ値の決定は、パラメータ値の最適化またはパラメータ最適化戦略４６として記述され得る。

本実施形態において、パラメータ調整ユニット１６は、選択されたレンダリング画像データセットをレンダリングする際に使われたパラメータについての値を選択することによって、レンダリングパラメータセット中の各パラメータについてのそれぞれの値を決定する。

パラメータ調整ユニット１６は、パラメータセット４０についての値を更新し、そうすることによって、パラメータセット４０中のレンダリングパラメータのうち少なくともいくつかについての値は、それらのパラメータについての決定された値で置き換えられる。

いくつかのケースでは、選択されたレンダリング画像データセットは、受信された値とは異なる前記レンダリングパラメータの値を使ってレンダリングが実施されるように、レンダリングパラメータのうち１つ（たとえば、採光角度）の値を変化させることによって取得されたレンダリング画像データセットである。パラメータ調整ユニット１６は、そのレンダリングパラメータ（たとえば、採光角度）についての値を、選択されたレンダリング画像データセットをレンダリングする際に使われた値に更新する。

他のケースでは、選択されたレンダリング画像データセットは、パラメータセット４０から受信されたレンダリングパラメータセットを使ってレンダリングされたレンダリング画像データセットであり、それゆえ、レンダリングパラメータについての決定された値は、初期値と同じである。

結果として得られた、更新されたレンダリングパラメータ値は、後続の超音波データのレンダリングにおいて使われる。それゆえ、最良の顔検出スコアを有するものとして選択されたレンダリング画像データセットのレンダリングパラメータが、後続ボリュームデータのレンダリングにおいて使われる。レンダリングパラメータは、超音波検査者３０がプローブ４を操作して患者３２の腹部をスキャンしている間、リアルタイムで更新される。

図３は、実施形態の動作モードを概略的に示すフローチャートである。決定されたレンダリングパラメータがレンダリング配向パラメータである実施形態について、図３のフローチャートを参照して、以下でより詳細に説明する。

図３のフローチャートは、超音波検査者３０が患者３２をスキャンして、胎児３４の顔の画像を取得している実施形態を記載する。図３を参照して記載するプロセスは、胎児３４の顔の最良可能画像を取得するための、レンダリング配向パラメータの最適化を備える。最適化は、胎児の顔に相対した所望のレンダリング方向を取得するためにレンダリングの方向を変えるように、レンダリング配向パラメータ、たとえば、ロールおよびヨー角を調整することを伴い得る。

段階５８で、超音波スキャンを開始する前に、超音波プロセスに関するいくつかのパラメータについての値が決定される。パラメータは、処理パラメータ（たとえば、エコー処理パラメータ、再構成パラメータおよびフィルタリングパラメータ、利得、音響パワー、周波数、閾、掃引角度、解像度、ならびに／または焦点のうち１つまたは複数）とレンダリングパラメータ（たとえば、レンダリング配向パラメータ、採光角度および陰影パラメータ）とを含む。

本実施形態において、パラメータについての値は、超音波スキャンが開始される前に、超音波検査者３０によって、スキャナコンソール１０を使って設定される。たとえば、超音波検査者３０は、あらかじめプログラムされたパラメータ値セットを選択してもよく、超音波検査者３０は、パラメータ値の一部または全部を手作業で入れてもよい。超音波検査者３０は、パラメータまたはパラメータの組合せについての値を、選択項目から、たとえばドロップダウンメニューから選択すればよい。

他の実施形態では、超音波検査者３０は、超音波スキャンが開始される前にはパラメータ値を入れない。そのような実施形態では、超音波スキャンの開始時に決定されたパラメータ値が、超音波診断装置本体２または処理装置１２によって保持されるデフォルト値になり得る。

段階６０で、超音波検査者３０は、超音波診断装置本体２に接続された測定プローブ４を使って、胎児３４を妊娠している患者３２をスキャンする。測定プローブ４は、反射される超音波エネルギーを一定の範囲の角度で測定することによって、３次元未加工超音波データを取得するように構成される。未加工超音波データは、胎児の顔の少なくとも一部分を含むと予想される３次元領域との間の超音波送信および受信により取得されたエコー信号を表す。ボリューム収集は、一度実施されてもよく、連続する時間間隔で繰り返されてもよい。

第１の時間間隔に対応する未加工超音波データのセットが、段階６０のスキャンから取得される。

段階６２で、ボリュームデータ生成ユニット１８は、未加工超音波データセットを処理して、ボリュームデータセットを取得する。ボリュームデータは、患者のスキャンされた領域の３次元表現を備える。本実施形態において、未加工超音波データの処理は再構成とフィルタリングとを備え、ボリュームデータセットは、デカルト画像ボリューム（未加工超音波データの扇形ビーム構成ではなく、ｘ、ｙ、ｚ座標でのボクセルを有する）である。他の実施形態では、測定プローブからの未加工超音波データを処理してボリュームデータを取得するどの適切な方法が使われてもよい。ボリュームデータセットは、関連付けられた輝度をもつ複数のボクセルを備える。

未加工超音波データを処理する際、ボリュームデータ生成ユニット１８は、段階５８で決定された処理パラメータの値を使う。本実施形態において、段階５８で決定された処理パラメータについての値は、超音波スキャンの開始前に、超音波検査者３０によって設定された値である。他の実施形態では、段階５８で決定された処理パラメータについての値は、超音波診断装置本体向けのデフォルト値であってもよく、どの適切な手動、自動、または半自動方法によって決定されていてもよい。本実施形態において、処理パラメータは、エコー処理パラメータと、再構成パラメータと、フィルタリングパラメータとを含む。

段階６４で、レンダリングユニット１４は、画像最適化の第１の部分（パラメータの最適化とも呼ばれ得る）を実施する。レンダリングユニット１４は、ボリュームデータ生成ユニット１８からボリュームデータセットを受信する。レンダリングユニット１４は、ボリュームデータセットを処理して、それぞれのレンダリング画像を各々が表す複数のレンダリング画像データセットを取得する。

ボリュームデータセットの処理において、レンダリングユニット１４は、段階５８で決定されたレンダリングパラメータ値を使う。本実施形態において、段階５８で決定されたレンダリングパラメータ値は、超音波スキャンの開始前に、超音波検査者３０によって設定された値である。他の実施形態では、段階５８で決定されたレンダリングパラメータ値は、超音波診断装置本体向けのデフォルト値であってもよく、どの適切な手動、自動、または半自動方法によって決定されていてもよい。本実施形態において、レンダリングパラメータは、レンダリング配向パラメータと、採光パラメータと、陰影パラメータとを含む。レンダリング配向パラメータは、視点に相対した、画像の３次元配向を表し得る。レンダリング配向パラメータは、閲覧点および／または閲覧方向を含み得る。レンダリングパラメータは、等値面値も含む。

本実施形態において、レンダリングユニット１４は、複数のパラメータに基づいて、ボリュームデータ向けのサーフェスレンダリングプロセスを実施することによって、レンダリング画像を生成するように構成される。レンダリング画像の各々を生成するために、レンダリングユニット１４は、等値面値に対応する値を有する、ボリュームデータ中のボクセルからの３次元等値面を判断する。本実施形態において、等値面は、胎児の表面を表す。レンダリングユニット１４は、等値面の表現を、たとえばメッシュまたはグリッドとして構築する。レンダリングユニット１４は次いで、等値面の画像をレンダリングし、レンダリング画像を表すレンダリング画像データセットを出力する。どの適切なサーフェスレンダリングプロセスが使われてもよい。

他の実施形態では、レンダリングユニット１４は、ボリュームデータ向けのボリュームレンダリングプロセスを実施することによって、たとえば直接ボリュームレンダリングまたは全体照明を実施することによって、レンダリング画像を生成するように構成される。たとえば、伝達関数を使って色および不透明度が各ボクセルに割り当てられてよく、ボリュームレンダリングプロセスは、色と不透明度とを使って画像をレンダリングするのに、およびレンダリング画像を表すレンダリング画像データセットを出力するのに使われ得る。

レンダリングユニット１４は、段階５８で決定されたレンダリングパラメータ値を使って、１つのレンダリング画像データセットを生成する。レンダリングユニット１４は、レンダリング配向パラメータ、採光パラメータ、陰影パラメータおよび等値面値が段階５８で決定されたものであるサーフェスレンダリングプロセスを使って、レンダリング画像データセットを生成する。レンダリングユニット１４は、等値面値に対応する輝度値を有する、ボリュームデータ中のボクセルの３次元等値面を判断する。等値面は、胎児の表面を表す。レンダリング画像データセットは、指定された採光パラメータ（たとえば、光位置）および陰影パラメータをもつ、指定されたレンダリング配向から閲覧される等値面の画像に対応する。

レンダリング画像データセットは、２次元表面上、たとえばディスプレイ画面上に表示され得るレンダリング画像を表すピクセルの２次元配列についての色および／または輝度値を備える。レンダリング画像は、いくつかの状況では、胎児の３次元表面を表す等値面を示すので、３次元画像と呼ばれ得る。

本実施形態において、ディスプレイ制御ユニット１９は、段階５８からの受信レンダリングパラメータを使ってレンダリングされたレンダリング画像５０を、メインディスプレイ画面６上に表示する。他の実施形態では、このレンダリング画像は表示されない場合がある。

レンダリングユニット１４は、段階５８で決定されたものに基づくレンダリングパラメータ値を使うが、後で説明するように、パラメータ値のうち少なくとも１つを変化させて、追加レンダリング画像をレンダリングする。

レンダリング配向パラメータは、異なるレンダリング画像にわたって変化されるが、他のレンダリングパラメータ（たとえば、採光位置および陰影パラメータ）は一定に保持される。レンダリング画像はすべて、同じ採光位置で、および同じ陰影パラメータでレンダリングされる。どの所与のボリュームデータセット（所与のプローブ位置および配向から取得された）も、３次元での多くの異なる配向でレンダリングされることが可能であることに留意できよう。

本実施形態において、複数のレンダリング画像のうち異なるものにわたって変化されるレンダリング配向パラメータは、ロール角およびヨー角である。他の実施形態では、ロールおよびヨー角に加えて、ピッチ角が使われ得る。

レンダリングユニット１４は、段階５８で（たとえば、超音波検査者３０によって、またはデフォルトのシステム値として）設定された、ロール角についての初期値と、ヨー角についての初期値とを受信する。

レンダリングユニット１４は、初期値を増分することによって、複数のロール角と複数のヨー角とを選択する。一例では、レンダリングユニット１４は、初期値マイナス３０°、初期値マイナス２０°、初期値マイナス１０°、初期値、初期値プラス１０°、初期値プラス２０°、初期値プラス３０°という、ロール角についての値を選択する。

決定された範囲内のロール角値とヨー角値の各組合せに対して、レンダリング画像が取得される。各レンダリング画像は、それぞれのレンダリング画像データセットによって表される。

本実施形態において、レンダリングユニット１４は、ロール角についての初期値を増分し、ヨー角についての初期値を増分することによって、ロール角およびヨー角についての値を決定する。他の実施形態では、レンダリングユニット１４は、ロール角およびヨー角についての値のリストまたはテーブルを参照することによって、ロール角およびヨー角についての値を決定する。たとえば、リストまたはテーブルは、超音波検査者３０によって投入を受けてもよく、システムデフォルトとして記憶されてもよい。他の実施形態では、レンダリングユニット１４は、どの適切な方法を使っても、ロール角についての複数の値と、ヨー角についての複数の値とを決定することができる。

本実施形態は、ロール角およびヨー角についての値を増分するが、他の実施形態では、ピッチ角も使うことができる。レンダリング配向パラメータの代替システムが使われてよい。

別の実施形態では、他のレンダリングパラメータが、異なるレンダリング画像に対して変化され得る。たとえば、レンダリング画像の各々が、異なる採光位置でレンダリングされてもよく、レンダリング画像の各々が、異なる値の陰影でレンダリングされてもよい。

段階６６で、レンダリングユニット１４は、レンダリング画像データセットをパラメータ調整ユニット１６に渡す。パラメータ調整ユニット１６は、顔検出アルゴリズムを使って、ボリュームレンダリング画像データセットの各々に対して顔検出を実施する。本実施形態において、パラメータ調整ユニット１６は、ＯｐｅｎＣＶ画像処理ライブラリからの顔検出アルゴリズムを使って顔検出を実施する。ＯｐｅｎＣＶ画像処理ライブラリからの顔検出アルゴリズムは、Ｈａａｒのような単純な特徴と連携するブースト分類器のカスケードを使うＶｉｏｌａ−Ｊｏｎｅｓオブジェクト検出フレームワークを使う。ＯｐｅｎＣＶ画像処理ライブラリからの顔検出アルゴリズムは、エリア総和テーブルによって最適化することができ、それゆえ、妥当な計算能力をもつハードウェアにおけるリアルタイム動作に好都合であり得る（たとえば、いくつかの超音波スキャナが、妥当な計算能力を有し得る）。顔検出アルゴリズムは、胎児の顔のセットについてトレーニングされ得る。

他の実施形態では、どの適切な顔検出方法が使われてもよい。画像中の顔の存在を識別し、かつ／または画像中の顔を突き止め、かつ／または品質の尺度（たとえば、画像が実際に顔を表す信頼性の尺度など、信頼性の尺度や、顔の整列、対称性もしくは配向の尺度）を提供し得る顔検出アルゴリズムを使うことが知られている。適切な顔検出アルゴリズムは、ニューラルネットワークまたは遺伝的アルゴリズムに基づく顔検出アルゴリズムを備え得る。適切な顔検出アルゴリズムは、配向勾配の共起ヒストグラムを使う顔検出アルゴリズムを備え得る。

顔検出アルゴリズムは、画像中の顔の有無または顔のような特徴を識別することができるアルゴリズムである。顔認識アルゴリズム（特定の個人を検出するのに使うことができる）も知られている。本実施形態の方法は、顔検出（顔が存在するという判断）を使う。

顔検出アルゴリズムは、画像に対して（たとえば、レンダリング画像に対して）作用するものとして記述され得るが、顔検出アルゴリズムは、画像を表す２次元画像データセット、たとえば、ピクセルロケーションおよび関連付けられたピクセル輝度の配列を備える２次元画像データセットに対して働きかける。レンダリング画像データセットは、そのような２次元画像データセットである。レンダリング画像に対して、そのレンダリング画像を表すレンダリング画像データセットに顔検出アルゴリズムを適用することによって顔検出を実施するとき、レンダリング画像が表示されることは必要ない。

パラメータ調整ユニット１６は、レンダリング画像データセットの各々に対して顔検出アルゴリズムを実行する。各レンダリング画像データセットについて、顔検出アルゴリズムは、画像データセット中の各顔候補についての場所とスコアとを戻す。顔検出アルゴリズムは、レンダリング画像データセットの２次元空間中の２次元ボックスの座標を戻すことによって、場所を戻すことができる。

Ｖｉｏｌａ−Ｊｏｎｅｓオブジェクト検出フレームワークは、連続するＨａａｒ特徴セットと顔候補がどの程度一致するか測定する。顔候補が、Ｈａａｒ特徴セットと十分に一致する場合、高いスコアが戻される。Ｖｉｏｌａ−Ｊｏｎｅｓフレームワークは、閲覧される方向を十分に向いている明瞭な顔が高いスコアを戻すとともに、部分的またはより明瞭でない顔がより低いスコアを戻すようにトレーニングされる。

パラメータ調整ユニット１６は、各スコアを閾値と比較する。閾値は、顔であると見なされる結果を、顔でないと見なされる結果とは区別するのに使われる。スコアが閾値を満たさない場合、パラメータ調整ユニット１６は、その顔候補をそれ以上は検討しない。

所与のレンダリング画像データセットについて、顔検出アルゴリズムは、ゼロ、１、または２つ以上の顔候補を戻し得る。顔検出アルゴリズムが２つ以上の顔候補を戻した場合、パラメータ調整ユニット１６は、最も高いスコアをもつ顔候補を選択する。

スコアは、最適化されるべき基準値であると見なされ得る。スコアは、顔検出アルゴリズムが画像内の顔の存在を検出することができる強度または信頼度を表し得る。

本実施形態において、部分的顔は、完全な顔よりも低いスコアを有する可能性が高い。閲覧角度に対して正面で閲覧される顔（正面向きで閲覧される顔として記述され得る）は、閲覧角度からそれて角度をつけられた顔よりも高いスコアを有し得る。直立した顔は、直立でない顔よりも高いスコアを有し得る。

段階６６の最後で、パラメータ調整ユニット１６は、各レンダリング画像についてのスコアを判断している。各レンダリング画像についてのスコアは、そのレンダリング画像を表すレンダリング画像データセットに顔検出アルゴリズムを適用することによって判断された、レンダリング画像内の任意の顔候補について取得された最も高いスコアである。

段階６８で、パラメータ調整ユニット１６は、最も高いスコアを有するレンダリング画像を選択する。いくつかの実施形態では、パラメータ調整ユニット１６は、レンダリング画像をスコア順にランク付けしてよい。

スコアは、品質尺度として記述され得る。スコアは、顔検出の信頼度を反映し得る。高いスコアを有するレンダリング画像は、顔が検出された高い信頼度に対応し得る。

他の実施形態では、異なる顔検出アルゴリズムが使われ得る。顔検出アルゴリズムは、異なるスケールでのスコアを戻すことができる。いくつかの実施形態では、２つ以上の顔検出アルゴリズムが使われ、異なる顔検出アルゴリズムによって達成されるスコアは、たとえば投票によって、平均化によって、または最大または最小をとることによって合成される。

本実施形態の仮定は、顔検出アルゴリズムのスコアが、画像品質の、人間観察者の評価と相関されるというものである。顔検出アルゴリズムにより、最も高いスコアを受けるレンダリング画像は、最も望ましい画像も生じると仮定される。ただし、画像品質の人間評価は、特定の顔検出アルゴリズムとは相関し得ないことが可能である。たとえば、顔検出アルゴリズムは、粗い、正面向きの採光パラメータを使ってレンダリングされたレンダリング画像を好む場合があるが、人間は、影が比較的粗くない、より柔らかい採光を好む場合がある。いくつかの実施形態では、顔検出アルゴリズムが、人間専門家にとって魅力的な画像を好むようにトレーニングされる。たとえば、顔検出アルゴリズムは、超音波検査者または親によって以前選択された胎児の顔画像についてトレーニングされ得る。

さらなる実施形態では、パラメータ調整ユニット１６は、顔検出モジュールと画像品質評価モジュールとを備える。各レンダリング画像について、顔検出モジュールは、顔検出アルゴリズムをレンダリング画像データセットに適用し、スコアを戻す。画像品質評価モジュールは、レンダリング画像データセットに画像品質評価アルゴリズムを適用し、さらなるスコアを戻す。画像品質評価アルゴリズムは、審美的画像品質を評価するように構成され得る（審美的画像品質の評価は、たとえば、Ｓｈｅｈｒｏｚ Ｓ．ＫｈａｎおよびＤａｎｉｅｌ Ｖｏｇｅｌ、Ｅｖａｌｕａｔｉｎｇ ｖｉｓｕａｌ ａｅｓｔｈｅｔｉｃｓ ｉｎ ｐｈｏｔｏｇｒａｐｈｉｃ ｐｏｒｔｒａｉｔｕｒｅ， ＣＡｅ ’１２ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｉｇｈｔｈ Ａｎｎｕａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｅｓｔｈｅｔｉｃｓ ｉｎ Ｇｒａｐｈｉｃｓ，Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｉｍａｇｉｎｇ、５５〜６２ページに論じられている）。さらなるスコアは、審美的画像品質スコアとして記述され得る。パラメータ調整ユニット１６は、顔検出モジュールからの顔検出スコアと、画像品質評価モジュールからの審美的画像品質スコアとを合成し、合成スコアに基づいてレンダリング画像を選択する。合成スコアは、品質尺度として記述され得る。

段階７０で、パラメータ調整ユニット１６は、選択されたレンダリング画像（最も高いスコアを有していたレンダリング画像）をレンダリングするのに使われたロール値とヨー値とを選択することによって、ロール値とヨー値とを決定する。他の実施形態では、パラメータ調整ユニット１６は、選択されたレンダリング画像データセットから、任意の少なくとも１つのレンダリングパラメータ値を決定する。たとえば、一実施形態では、段階６４でレンダリングされる複数のレンダリング画像は、異なる採光角度を有し、段階７０で、パラメータ調整ユニット１６は、最も高いスコアを有するレンダリング画像をレンダリングする際に使われる採光角度を選択することによって、採光角度を決定する。いくつかのパラメータについての値が、段階６４でレンダリングされたレンダリング画像すべてにおいて同じだった場合、パラメータ調整ユニット１６は、それらのパラメータ値を使い続けてよい。

本実施形態において、段階７０のパラメータ値は、段階６８でのレンダリング画像の選択に基づいて、段階５８のパラメータのうち少なくとも１つの値を選択または調整することによって決定される。他の実施形態では、パラメータのうち少なくとも１つの値を選択または調整するどの適切な方法が使われてもよい。

段階７２で、ボリュームレンダリングユニット１４は、決定されたパラメータを使って、新規レンダリング画像を生成し、ディスプレイ制御ユニット１９は、新規レンダリング画像をメインディスプレイ画面１９上に表示する。本実施形態において、新規ボリュームレンダリング画像は、選択されたレンダリング画像である。表示される画像は、選択されたレンダリング画像データセット中で指定されるピクセル色および／または輝度値（たとえば、ＲＧＢもしくはＨＳＬ値）を有する。

他の実施形態では、レンダリングユニット１４は、決定されたパラメータを使うさらなるレンダリングプロセスを実施することによって、新規レンダリング画像を生成する。たとえば、いくつかの実施形態では、レンダリングユニット１４は、決定されたパラメータを使ってボリュームデータセットをレンダリングすることによって、新規レンダリング画像データセットを作成する。

いくつかの実施形態では、新規レンダリング画像はまた、または代替的には印刷されてよく、たとえばそうすることによって、患者に画像が与えられ得る。いくつかの実施形態では、新規レンダリング画像データセットは、（たとえば、ファイルに、もしくは取外し可能記憶装置媒体に）記憶またはエクスポートすることができる。

段階７４で、さらなる未加工超音波データが取得される。本実施形態において、プローブからの超音波データは、繰り返し、たとえば毎秒１０回のレートでとられる。胎児から受信されたエコー信号は、時間とともに、たとえば胎児の移動、患者の移動またはプローブ移動により変化する。段階６０で取得された未加工超音波データが、第１の時間間隔にわたってとられる場合、段階７４のさらなる未加工超音波データは、第２または後続の時間間隔にわたってとられればよい。

さらなる未加工超音波データは、さらなるボリュームデータセットを取得するために処理される。

段階７６で、レンダリングユニット１４は、段階７０で決定されたロールおよびヨー角についての値を使って、さらなるレンダリング画像を取得するために、さらなるボリュームデータセットを処理する。本実施形態において、レンダリングユニット１４は、段階７６で、ただ１つのさらなるレンダリング画像を生成する。ディスプレイ制御ユニット１９は、さらなるレンダリング画像をメインディスプレイ画面６上に表示する。

それゆえ、本実施形態において、第１のボリュームデータセットに対する画像最適化プロセスから決定されたレンダリングパラメータ値は、ボリュームデータの第２のセット（可能性としては後続セット）をレンダリングする際に使われる。ロールおよびヨー角についての異なる値を有する複数のレンダリング画像を生成し、最も高い顔検出スコアを有するレンダリング画像を選択することによって、単一のロール角およびヨー角のみが使われた場合に取得されるよりも優れた顔画像が取得され得る。得られたレンダリング画像は、最適化された画像として記述され得る。最適化された画像は、超音波検査者３０が測定中にロールおよびヨー角に対して手作業の調整を行う必要なく、取得され、表示され得る（ただし、超音波検査者３０は、所望される場合、測定中にロールおよびヨー角に手作業の調整を行ってよい）。

さらなる実施形態において、レンダリングユニット１４は、任意の少なくとも１つのレンダリングパラメータについての異なる値を有する複数のレンダリング画像をレンダリングすることができる。たとえば、一実施形態では、レンダリングユニット１４は、陰影パラメータについての異なる値を使って、複数のレンダリング画像をレンダリングする。パラメータ調整ユニット１６は、各レンダリング画像データセットに対して顔検出アルゴリズムを実行して、各レンダリング画像データセットについてのスコアを戻し、最も高いスコアをもつレンダリング画像を選択する。選択されたレンダリング画像は、メインディスプレイ画面６上に表示される。選択されたレンダリング画像は、様々な異なる陰影付けをされたレンダリング画像のうち、最良の画像品質を有すると見なされ得る。

自動化画像最適化を実施することによって、図１の超音波診断装置は、いくつかのケースでは、操作している超音波検査者３０が、胎児の記念撮像中に超音波コンソール制御を操作する際に費やす必要がある作業の量を削減することができる。超音波コンソール制御を操作する際の作業の削減により、超音波検査者は、プローブ位置決めを最適化することに、およびクライアントとのやりとりに集中することができる。特に、超音波画像の取得の際には、医師や技師は、測定プローブ４の操作を行わなければなない。従って、マニュアル操作によって超音波画像の最適化を図るのは、一般的に困難であると言える。これに対し、本自動化画像最適化機能によれば、特別な操作を行わずとも、患者や技師等が望む超音波画像を自動的に提供することができる。

画像最適化プロセスは、計算効率が良好であり得る。画像最適化プロセスは、レンダリング画像データセットに顔検出アルゴリズムを適用することによってレンダリング画像に対して実施される顔検出を備える。レンダリング画像データセットは、画像中のピクセルを表す２次元データセットである。２次元データセットに対する操作は、３次元データセット（たとえば、ボリュームデータ）に対する操作よりもかなり速くなり得る。３次元データセットに対して全数探索を実施することが計算上実際的でないケースでは、２次元データセット（レンダリング画像データセットなど）に対して全数探索を実施するオブジェクト検出を使うことが可能であり得る。計算効率が良い方法を使うと、リアルタイム動作に適した画像最適化プロセスを行うことができる。

さらに、顔検出アルゴリズムによって戻されるスコアは、レンダリング画像中の顔の品質を直接反映し得る。たとえば、特定の顔の標識点の位置も、３次元での顔の厳密な配向も判断する必要はなくてよい。

画像最適化方法は、視覚化の品質に影響し得るとともに、レンダリング配向の最適化に制限されなくてよい多くの異なるレンダリングパラメータを最適化するのに使うことができる。どのレンダリングパラメータも、そのレンダリングパラメータについての値の変更が、顔検出スコアを変えるように、得られる画像を変えることになる場合、最適化されてよい。たとえば、異なる採光および影をもつレンダリング画像は、それらの画像についての顔検出スコアを変え得る。

いくつかの実施形態では、たとえば、２つのボリュームデータセットおき、５つのボリュームデータセットおき、または１０個のボリュームデータセットおきに画像最適化が実施される。画像最適化から得られたレンダリングパラメータ値は、さらなる画像最適化が実施されるまで、後続ボリュームデータセットをレンダリングする際に使うことができる。

いくつかの実施形態では、一度の画像最適化のみが実施される。いくつかの実施形態では、超音波検査者３０は、スキャナコンソール１０を使って、プローブ４の位置を調整し、パラメータ値を調整して、たとえば、近似的に正しい閲覧角度にナビゲートする。超音波検査者３０は次いで、たとえばスキャナコンソール１０上のボタンを押し、またはマウスと、キーボードと、トラックボールとを使ってコマンドを入れることによって、最適化プロセスをトリガする。いくつかの実施形態では、超音波検査者３０は、ボタンもしくは足ペダルを押すことによって、または何らかの他のトリガを操作することによって、たとえば音声検出システムに音声コマンドを与えることによって、最適化プロセスをトリガする。

たとえば、超音波検査者３０は、良好なプローブ位置と圧力とを見つけることに集中することができる。超音波検査者３０がプローブ位置および圧力に満足すると、超音波検査者３０は、ボタンを押して最適化を開始する。一実施形態では、最適化は、図３の段階６２〜７０を備える。最適化は、超音波検査者３０が最適化をトリガした時点で最も直近に獲得された未加工超音波データに対して実施される。最適化は、未加工超音波データを処理して、ボリュームデータを取得することと、ボリュームデータから複数の画像データセットをレンダリングすることと、各レンダリング画像データセットに対して顔検出を実施して、各レンダリング画像データセットについてのスコアを判断することと、レンダリング画像データセットのうち、最も高いスコアを有するものを選択することと、選択されたレンダリング画像データセットからパラメータ値を決定することとを備える。

図３の段階６２〜７０のプロセスを使ったパラメータの決定は、たとえば、キャプチャされたボリュームの周りをスピンし、胎児の顔の最良可能ビューを達成するように最適に光を当てるプロセスに対応し得る。最適化中に決定されたパラメータ値は、超音波検査者３０がさらなる最適化をトリガしない限り、またはトリガするまで使われ続けてよい。たとえば、最適化を使って決定されたレンダリングパラメータは、さらなる最適化が実施されるまで、すべての後続ボリュームデータセットをレンダリングするために使うことができる。一実施形態では、超音波検査者は、異なるレンダリング配向および採光位置の範囲でレンダリング画像がレンダリングされる最適化をトリガする。最適化の結果、特定のレンダリング配向および採光位置パラメータが決定される。決定されたレンダリング配向および採光位置パラメータは、さらなる最適化が実施されるまで、各後続ボリュームデータセットをレンダリングするのに使われる。

いくつかの実施形態では、画像最適化は、ボリューム生成ユニット１８によって生成されるあらゆるボリュームデータセットに対して実施することができる。いくつかの実施形態では、絶えず実行される最適化プログラム（ウィザードと呼ばれ得る）が、超音波スキャン中に１つまたは複数のレンダリングパラメータを繰り返し最適化するのに使われる。たとえば、パラメータ調整ユニット１６は、超音波診断装置本体によって獲得されるあらゆる未加工超音波データセットに対して、図３の段階６２〜７０を実施することができる。最適化プログラムは、超音波検査者３０がスキャンを行う間、たとえば超音波検査者３０がプローブ４の位置を調整する間、ビューパラメータと採光パラメータとを自動的に最適化することができる。

一実施形態では、段階７０で、第１の時間間隔に獲得された第１のボリュームデータセットからレンダリングされたレンダリング画像を表す複数のレンダリング画像データセットから、ロールおよびヨー角が決定される。第２の時間間隔に獲得されたさらなる未加工超音波データが、段階７４で取得され、さらなるボリュームデータを生成するように処理される。複数のさらなるレンダリング画像が、段階７６で、さらなるボリュームデータからレンダリングされる。複数のさらなるレンダリング画像のうち１つが、段階７０でレンダリング画像データセットから決定されたロールおよびヨー角についての値を有し、他のさらなるレンダリング画像は、ロールおよびヨー角についての決定された値から変化されたロールおよびヨー角についての値を有し、その結果、さらなるボリュームデータからレンダリングされたレンダリング画像は、ロール角およびヨー角の複数の値を有する。ロール角およびヨー角の値は、段階７０で決定されたロール角およびヨー角を中心とし得る。

段階６６〜７２は、顔検出スコアを有するさらなるレンダリング画像のうち１つを選択し、選択されたさらなるレンダリング画像から新規ロールおよびヨー角を決定し、新規ロールおよびヨー角を有するさらなるレンダリングされた画像を表示するために繰り返される。新たに決定されたロールおよびヨー角は次いで、第３の時間間隔にわたって獲得される次のボリュームデータセットをレンダリングする際に使われ得る。

図２または図３の最適化方法は、絶えず供給される超音波ボリュームに対して、または単一のボリュームに対して実施することができる。繰り返される最適化が実施されてよい。単一のボリュームについて、いくつかの実施形態では、一度の最適化が実施されてよい。他の実施形態では、たとえば超音波検査者３０が１つまたは複数のパラメータを手作業で変化させている間、単一のボリュームの繰り返される最適化が実施されてよい。

図４は、マトリクスとして並べられた、複数の顔のレンダリング画像を示す。レンダリング画像の各々は、それぞれのレンダリング画像データセットに対応する。図４のレンダリング画像はすべて、同じボリュームデータセットの単純な表面陰影レンダリングであるが、閲覧角度のロールおよびヨーについての異なる値をもつ。

図４の画像のマトリクス上で、異なる列にある画像は、閲覧角度のロールについての異なる値を有し、異なる列にある画像は、閲覧角度のヨーについての異なる値を有する。各レンダリング画像は、ロールおよびヨー値の一意の組合せを有する。

顔検出アルゴリズム（この場合、ＯｐｅｎＣＶ顔検出アルゴリズム）が、図４のそれぞれのレンダリング画像に対応するレンダリング画像データセットの各々における顔検出を実施するのに使われた。各レンダリング画像データセットについてのスコアが、顔検出アルゴリズムから取得された。以下の考察において、スコアは各レンダリング画像に関連付けられている。レンダリング画像に関連付けられたスコアは、対応するレンダリング画像データセットについて決定されたスコアであると見なされ得る。

レンダリング画像データセット中の顔検出アルゴリズムによって顔が見つかった各レンダリング画像に対して、顔検出アルゴリズムによって判断された顔の位置と大きさとを表すボックス８０が、図４のレンダリング画像上に示される。

図４は、どの画像が高いスコアに関連付けられているかを示すように印付けられている。参照番号８２によって示される各画像は、その行の中のいずれかの画像の最も高いスコアを有する。参照番号８４によって示される各画像は、その列の中のいずれかの画像の最も高いスコアを有する。画像８６は、その行の中のいずれかの画像の最も高いスコアを、およびその列の中のいずれかの画像の最も高いスコアも有する。画像８８は、マトリクス中のいずれかの画像の最も高いスコアを有する画像である。

図５は、図４の画像の各々についてのスコアを表すヒートマップ図である。各画像は、マトリクス中のその画像の位置に対応する位置を有するボックスで表される。各ボックスは、０から４０００（最良の顔に対応すると見なされ得る最も高いスコア）超のスコアを表すグレースケール値のスケールで、その画像についてのスコアに依存して色付けされる。スケールの黒い端にその色が向かうボックスは、低いスコアを有する画像を表す。スケールの白い端にその色が向かうボックスは、高いスコアを有する画像を表す。

ヒートマップは、図４の画像のマトリクスについての顔検出アルゴリズムのスコアを示す。ヒートマップを図４の顔画像と比較することによって、図４および図５の最も高いスコアが、正面向きの直立配向によって達成されたことが分かる。

異なる実施形態において、異なる品質尺度（たとえば、異なる顔検出スコア、画像品質評価スコア、またはスコアの組合せ）が使われ得る。いくつかの実施形態では、顔検出アルゴリズムは、トレーニングされた分類器である。分類器は、良好なもしくは不十分な顔である（または、全く顔ではない）と判断された（たとえば、手作業で判断された）画像についてトレーニングされ得る。他の実施形態では、どの適切な顔検出方法が使われてもよい。

図２の実施形態において、顔検出アルゴリズムは、胎児の顔画像ではない顔画像についてトレーニングされる。他の実施形態では、顔検出アルゴリズムは、胎児の顔画像についてトレーニングされる。いくつかの状況では、胎児の顔画像について特にトレーニングされるアルゴリズムは、胎児の顔ではない画像についてトレーニングされるアルゴリズムよりも優れた胎児の顔検出および／または胎児の顔の画像品質の評価を達成することができる。

上記実施形態は、顔画像（随意には、胎児の顔画像）を検出するように以前トレーニングされた顔検出アルゴリズムを使うことができ、顔検出アルゴリズムに対するいかなる変更も行われずに、上述した画像最適化において実装される。ただし、他の実施形態では、顔検出アルゴリズムは、画像最適化プロセスの繰り返されるインスタンスにおいて使われる間、学習し続けてよい。たとえば、超音波検査者３０は、たとえばフレーミングをフリーズさせ、または画像キャプチャを実施することによって、測定中に顔画像を選択することができる。顔検出アルゴリズムは、超音波検査者３０が、良好な顔のみを選択すると仮定することができ、それゆえ、超音波検査者３０によって選択された画像を、良好な顔のそのトレーニングセットに追加することができる。

いかなる顔検出アルゴリズムもそれについてトレーニングされる品質尺度および／または画像データセットの定義は、顔の画像についての様々な要件を反映し得る。

顔検出器（たとえば、ＯｐｅｎＣＶ顔検出器）は、直立であるとともに正面向きで閲覧される顔を提示することに対して最適化すると予想され得る。顔の前に不明瞭にするものがある場合、システムは、顔が不明瞭にされる視点よりも、顔が十分に可視である視点を好み得る。

多くの実施形態において、品質尺度についての値は、同様の顔（たとえば、同様のサイズおよび解像度の顔）についてよりも、部分的に不明瞭にされている顔全体が可視である画像について高くなり得る。システムは、顔の一部分のみが可視である画像よりも、顔全体が可視である視点を好み得る。いくつかの実施形態では、品質尺度についての値は、直立から傾いている顔よりも、直立の顔に対して高くなり得る。いくつかの実施形態では、品質尺度の値は、向きがずれている顔よりも、十分に閲覧角度を向いている顔に対して高くなり得る。

いくつかの実施形態では、顔検出アルゴリズムは、顔の場所を判断する。いくつかの実施形態では、品質尺度の値は、周縁部に配置された顔よりも、画像の中心近くに配置された顔に対して高くなり得る。たとえば、一実施形態では、顔検出アルゴリズムは、顔候補についての場所とスコアとを出力し、パラメータ調整ユニット１６は、場所に依存して判断された重みでスコアに重みづけすることによって、その顔候補についての品質尺度を取得する。顔検出アルゴリズムは、顔のサイズを判断することができる。いくつかのケースでは、品質尺度の値は、画像の比較的大きいまたは小さい割合を占める画像に対してよりも、画像の一定の割合、たとえば画像の６０％を占める顔に対して高くなり得る。

いくつかの実施形態では、品質尺度は、採光、色バランス、コントラスト、または鮮鋭度など、画像の様相に依存する。いくつかの実施形態では、顔検出アルゴリズムが、真っ直ぐな採光に対して、品質尺度の最も高い値を戻すようにトレーニングされる。他の実施形態では、別の採光角度が好まれる場合がある。

いくつかの実施形態では、２つ以上の品質尺度が、各画像に対して判断され（たとえば、場所の尺度およびサイズの尺度）、品質尺度は、全体的品質尺度を与えるように組み合わされる。

上述した実施形態では、品質尺度の高い値は良好な画像を示すが、代替実施形態では、品質尺度についての低い値が、良好な画像を示す場合がある。

上の実施形態では、胎児の顔が閲覧角度を十分に向いているとき、高品質尺度が取得され得る。ただし、いくつかの実施形態では、異なる角度で、たとえば横から、または横に向けられた胎児の顔を閲覧することが望ましい場合がある。

いくつかの実施形態では、横からの、四分の三正面ビューでの、または適切な角度での顔が、最も高い品質尺度を生じるように、分類器がトレーニングされる。たとえば、ＯｐｅｎＣＶは、顔プロファイル検出器を有する。

他の実施形態では、段階６８で、パラメータ調整ユニット１６は、閲覧位置を十分に向いている顔を好む顔検出アルゴリズムを使って、レンダリング画像データセットを選択する。段階７０で、パラメータ調整ユニット１６は、選択されたレンダリング画像データセットからレンダリング配向パラメータ値を決定する。パラメータ調整ユニット１６は次いで、決定されたパラメータ値にオフセットを適用して、ビューを回転し、たとえば、３０°、４５°または９０°だけビューを回転して、胎児の顔の異なるビューを取得する。段階７２で、レンダリングユニット１４は、オフセットが適用されたパラメータを使って、新規レンダリング画像データセットを生成し、メインディスプレイ画面６上に新規レンダリング画像を表示する。

同様のオフセットが、どの決定されたパラメータ（たとえば、採光パラメータまたは陰影パラメータ）に適用されてもよい。オフセットは、パラメータ調整ユニット１６によって自動的に適用され得る。いくつかの実施形態では、オフセットは、超音波検査者３０によって適用され得る。

上の実施形態では、段階６４で複数のレンダリング画像データセットが生成され、段階６６で各レンダリング画像データセットに対して顔検出が実施され、画像品質に基づいて、たとえば顔検出スコアに基づいて、段階６８でレンダリング画像データセットが選択される画像最適化の方法が記載されている。

上述した画像最適化の方法は、パラメータ空間中の異なる場所にある（たとえば、ロール角およびヨー角についてのパラメータの異なる値を有する）レンダリング画像を生成し、レンダリング画像データセットの各々についての品質尺度の値を取得することによって、パラメータ空間を探索する強引な方法として記述され得る。

他の実施形態では、強引な方法であってもなくてもよい、画像最適化のどの適切なプロセスが使われてもよい。パラメータ調整ユニット１６は、品質尺度を最適化するためのどの適切な最適化プロセスを使うことによっても、レンダリング画像を選択することができる（または１つもしくは複数のパラメータ、たとえば、ロール角もしくはヨー角を選択することができる）。たとえば、パラメータ調整ユニット１６は、初期設定から画像の外見を改善するための山登り法を使って、品質尺度を最適化することができる。

パラメータ調整ユニット１６は、レンダリングユニット１４とともに働いて、可能画像の空間を反復して探査し、選択されたオブジェクト検出器に従って（たとえば、顔検出アルゴリズムによって出力されるスコアに従って）、最良のものを識別することができる。

一実施形態では、段階６４で、レンダリングユニット１４は、段階５８で決定されたパラメータ値を使ってレンダリング画像を生成する。段階６６で、パラメータ調整ユニット１６は、レンダリング画像に対して顔検出を実施し、したがってレンダリング画像についてのスコアを判断する。

パラメータ調整ユニット１６は次いで、パラメータ値のうち少なくとも１つを調整する（たとえば、ロール角を増大する）。

プロセスは段階６４に戻り、調整されたパラメータを使って新規レンダリング画像が生成される。段階６６で、パラメータ調整ユニット１６は、新規レンダリング画像に対して顔検出を実施し、新規レンダリング画像についてのスコアを判断する。

新規レンダリング画像についてのスコアが、元のレンダリング画像についてのスコアよりも大きい場合、パラメータ調整ユニット１６は、パラメータを同じ方向に調整し続けてよい（たとえば、ロール角を増大し続ける）。新規レンダリング画像についてのスコアが、元のレンダリング画像についてのスコアよりも低い場合、パラメータ調整ユニット１６は、前の調整とは反対方向に、パラメータを調整すればよい（たとえば、ロール角を減少する）。プロセスは、段階６４に戻って、新たに調整されたパラメータを使って、ボリュームデータから別のレンダリング画像をレンダリングする。

段階６４および６６は、極大スコアが見つかるまで繰り返され得る。極大が見つかると、そのスコアを有するレンダリング画像が段階６８で選択される。選択されたレンダリング画像に関するパラメータ値が、段階７０で決定され、それらのパラメータ値を有する画像が段階７２で表示される。

いくつかの実施形態では、品質尺度の閾が使われ得る。そのような一実施形態では、段階５８で決定されたパラメータ値を使って、レンダリング画像が段階６４で生成される。段階６６で、パラメータ調整ユニット１６は、顔検出を実施し、品質尺度の値を出力する。パラメータ調整ユニット１６は、品質尺度の値を閾値と比較する。一実施形態では、品質尺度は、図５に示す顔検出アルゴリズムからのスコアであり、品質尺度の閾値は４０００である。品質尺度の値が閾よりも大きい場合、パラメータ最適化ユニット１６は、レンダリング画像を選択し、それ以上のレンダリング画像は生成されない。品質尺度の値が閾を下回る場合、閾を上回る品質尺度の値を有するレンダリング画像が生じられるまで、どの適切な画像最適化方法が実施されてもよい。閾を上回る品質尺度の値を有するレンダリング画像が生じられると、そのレンダリング画像が段階６８で選択される。

いくつかの実施形態では、強引な方法の反復バージョンが使われ得る。一実施形態では、レンダリングユニット１４は、ロール角およびヨー角についての値を、１０°の量だけ増分することによって、複数のレンダリング画像を生成する。パラメータ調整ユニット１６は、レンダリング画像の各々に対して顔検出を実施し、最も高いスコアを有するレンダリング画像を選択する。パラメータ調整ユニット１６は、選択されたレンダリング画像のロール角とヨー角とを判断し、値をレンダリングユニット１４に返す。

レンダリングユニット１４は次いで、選択されたレンダリング画像についてのロール角とヨー角とを１°だけ増分することによって、さらなる複数のレンダリング画像を生成する。パラメータ調整ユニット１６は、さらなる複数のレンダリング画像の各々に対して顔検出を実施し、さらなる複数のレンダリング画像のうち、最も高いスコアを有するものを選択する。ディスプレイ制御ユニット１９は、さらなる複数のレンダリング画像のうち選択されたものを、メインディスプレイ画面６上に表示する。

別の反復実施形態では、異なるパラメータが、異なる反復段階で変化される。たとえば、異なるロールおよびヨー角をもつレンダリング画像が生成され、顔検出が実施され、レンダリング画像が選択され、選択されたレンダリング画像についてのロールおよびヨー角が判断される第１の段階が実施される。

判断されたロールおよびヨー角はレンダリングユニット１４に返され、レンダリングユニット１４は、レンダリング画像すべてが、判断されたロールおよびヨー角を有するが、採光角度が変化されているさらなる複数のレンダリング画像を生成する。パラメータ調整ユニット１６は、顔検出を実施し、さらなる複数のレンダリング画像のうち１つを選択する。ディスプレイ制御ユニット１９は、さらなる複数のレンダリング画像のうち選択された１つを、メインディスプレイ画面６上に表示する。

上の実施形態は、段階６４〜６８のプロセスの２回の反復を記載しているが、さらなる実施形態では、段階６４〜６８のプロセスの任意の回数の反復が使われ得る。

上の実施形態は、変化するロールおよびヨー角に主に焦点を当てているが、これらの実施形態は例であり、他の実施形態では、どのレンダリングパラメータが使われてもよい。レンダリングパラメータは、ピッチ角、または３次元空間における対象の位置決めに影響を与える他のどのパラメータも含み得る。

どのレンダリングパラメータまたはレンダリングパラメータの組合せも、段階６４で、ボリュームデータセットから複数のレンダリング画像を生成するために変化されてよい。どのレンダリングパラメータまたはレンダリングパラメータの組合せも、段階７０で、選択されたレンダリング画像から判断され得る。

レンダリングパラメータは、より高度なレンダリングモデルの不透明度および／または散乱もしくは反射係数もしくはパラメータなど、レンダリングされるボリュームの１つまたは複数の光学特性を含み得る。レンダリングパラメータは、環境、拡散または正反射係数を含み得る。レンダリングパラメータは、照明方向、採光パラメータ、ビューパラメータ、陰影パラメータ、等値面値またはクリッププレーン位置を含み得る。

レンダリング画像に被写界深度を追加するように、レンダリング画像がレンダリングされ得る。被写界深度は、写真肖像画において頻繁に使われ得るとともに、胎児の画像に、審美的に魅力的な効果を加えることができるパラメータである。被写界深度がレンダリング画像に加えられると、レンダリング画像は、いくつかのエリア（特に胎児の顔）にはシャープに焦点を当て、他のエリアにはよりシャープでない焦点を当て得る。被写界深度は、図３の方法を使って変化され、選択されるパラメータである。

いくつかの実施形態では、２つ以上の画像レンダリング方法を使って、レンダリング画像がレンダリングされ得る。たとえば、レンダリング画像は、全体照明を用いて、および用いずにレンダリングされ得る。顔検出アルゴリズムは、全体照明を用いた、および用いないレンダリング画像についてのスコアを戻すことができ、スコアに依存して、全体照明を用いた、または用いないレンダリング画像を選択すればよい。

上の実施形態の多くにおいて、複数のレンダリング画像が生成され、レンダリング画像のうち１つが選択され、段階７０で決定されたパラメータ値は、選択されたレンダリング画像をレンダリングするのに使われたパラメータ値である。ただし、別の実施形態では、段階７０で決定されたパラメータ値は、レンダリング画像のうち１つをレンダリングするのに使われたパラメータ値でない場合がある。たとえば、最良のレンダリング画像についてのパラメータ値の平均（たとえば、上位３つのデータセットの値の平均）である、または（たとえば、最適化プロセスの一部として）最良のレンダリング画像についてのパラメータ値に内挿されるパラメータ値が選択され得る。パラメータ値は、段階７０の後、たとえばオフセットを適用することによって改変され得る。

上の実施形態において、レンダリングユニット１４は、同じボリュームデータセットから各々がレンダリングされる複数のレンダリング画像を生成する。

さらなる実施形態では、異なるボリュームデータセットからレンダリング画像がレンダリングされる。

いくつかの実施形態では、（たとえば、第１の時間間隔からの）第１の未加工超音波データセットが、ボリュームデータ生成ユニット１８によって処理されて、第１のボリュームデータセットが生じる。第２の未加工超音波データセット（たとえば、第２の時間間隔からの）がボリュームデータ生成ユニット１８によって処理されて、第２のボリュームデータセットが生じる。レンダリングユニット１４は、第１のボリュームデータセットを処理して、少なくとも１つのレンダリング画像を生じ、第２のボリュームデータセットを処理して、少なくとも１つのレンダリング画像を生じる。

レンダリング画像（第１または第２のボリュームデータセットから生じられたかどうかにかかわらず）についてのレンダリング画像データセットはすべて、次いで、パラメータ調整ユニット１６に渡され、各レンダリング画像データセットに対して顔検出が実施される。レンダリング画像データセットのうち１つが、最も高い品質尺度を有するものとして選択される。選択されたレンダリング画像データセットは、いずれのボリュームデータセットにも由来し得る。

図３のフロー図において、段階６２は、ボリュームデータを生成するための、未加工超音波データ（患者の中の３次元関心領域との間の超音波送信および受信を通して取得されたエコー信号）の処理を備える。この処理は、複数の処理パラメータに基づく。処理パラメータは、たとえば、エコー処理制御と、再構成パラメータと、信号パラメータと、ボリュームパラメータと、フィルタリングパラメータとを含み得る。

いくつかの実施形態では、異なる処理パラメータが、複数のボリュームデータセットを取得するための１つまたは複数の未加工超音波データセットを処理するのに使われる。ボリュームデータセットは次いで、レンダリング画像を取得するようにレンダリングされ、オブジェクト検出（たとえば、顔検出）が実施されて、レンダリング画像のうち１つを選択する。処理パラメータが次いで、選択されたレンダリング画像から決定され、後続の未加工超音波データの処理において使われ得る。

一実施形態では、第１の処理パラメータセットを使って、未加工超音波データセットが処理されて、第１のボリュームデータセットが生じる。第２の処理パラメータセットを使って、同じ未加工超音波データセットが処理されて、第２のボリュームデータセットが生じる。レンダリングユニット１４は、第１のボリュームデータセットを処理して、第１のレンダリング画像データセットを生じ、第２のボリュームデータセットを処理して、第２のレンダリング画像データセットを生じる。パラメータ調整ユニット１６は、第１および第２のレンダリング画像データセットに対して顔検出を実施して、第１および第２のレンダリング画像データセットの各々についてのスコアを取得する。パラメータ調整ユニットは、第１および第２のレンダリング画像データセットのうち、より高いスコアを有する（それゆえ、より良好な顔画像を表し得る）ものを選択する。選択されたレンダリング画像データセットは、いずれのボリュームデータセットにも由来し得る。さらなる実施形態では、各ボリュームデータセットから２つ以上のレンダリング画像データセットがレンダリングされる。

いくつかの実施形態では、段階７０で、レンダリングパラメータの決定に加え、またはその代わりに、選択されたレンダリング画像データセットの処理パラメータが決定される。決定された処理パラメータは次いで、ボリュームデータ生成ユニット１４に渡され、後続の未加工超音波データセットの処理において使われ得る。

上の実施形態において、パラメータ調整ユニット１６は、画像品質に基づいて（たとえば、顔検出スコアに基づいて）、超音波検査者からの、選択へのいかなる入力もなしで、レンダリング画像データセットを選択する。図３を参照して上述した実施形態において、超音波検査者３０は、測定中にスキャナコンソール１０を使って、どのパラメータも調整することはなく、画像選択は十分に自動化される。

さらなる実施形態において、超音波検査者３０は、選択プロセスに、および／またはパラメータ調整に関与し得る。

いくつかの実施形態では、超音波検査者３０は、測定が進行している間、スキャナコンソール１０を使って、パラメータ値に対する調整を行うことができる。いくつかのそのような実施形態において、パラメータ値が超音波検査者３０によって入力された場合、レンダリングユニット１４は、入力パラメータ値を使ってレンダリング画像を生成し、ディスプレイ制御ユニット１９は、レンダリング画像をメインディスプレイ画面６上に表示する。レンダリングユニット１４およびパラメータ調整ユニット１６は次いで、超音波検査者の入力を最適化のための開始点として使って画像最適化を始めることができる。

いくつかの実施形態では、超音波検査者３０は、たとえばダイヤルを回すことによって、パラメータについての値の範囲を入れることができ、入れられた範囲内のパラメータ値を使って、レンダリング画像が生成され得る。

いくつかの実施形態では、超音波検査者３０は、画像最適化プロセスを使うかどうか決める。超音波検査者３０は、画像最適化が使われない手作業モードと、画像最適化が実施される支援モードとの間を切り替えることができる。超音波検査者３０は、スキャン中に最適化プロセスを開始することができる。

いくつかの実施形態では、超音波検査者３０は、パラメータ調整の大部分を手作業で実施することができるが、画像の最終的な最適化は、図１の超音波診断装置によって実施することができる。

いくつかの実施形態では、パラメータ調整ユニット１６は、段階６８で、２つ以上のレンダリング画像を選択する。たとえば、パラメータ調整ユニット１６は、品質尺度における（たとえば、顔検出スコアにおける）極大に各々が対応するいくつかのレンダリング画像を選択する。ディスプレイ制御ユニット１９は、選択されたレンダリング画像を制御画面８上に表示する（他の実施形態では、メインディスプレイ画面６上に、または別のディスプレイ画面上に画像が表示され得る）。超音波検査者３０は、たとえばマウスやトラックボールを使って、表示画像のうち１つを選択する。ディスプレイ制御ユニット１９は、選択された画像をメインディスプレイ画面６上に表示する。

いくつかの同様の実施形態において、超音波検査者３０によって選択されたレンダリング画像を表すレンダリング画像データセットは、（たとえば、患者ファイルに、もしくは取外し可能記憶装置媒体に）記憶され、またはエクスポートされ得る。超音波検査者３０によって選択されたレンダリング画像は、印刷することができる。

いくつかの実施形態では、時間経過に伴い、各ボリュームデータセットに対して画像最適化が実施され、超音波検査者３０は、表示された画像を、いつでもフリーズまたはキャプチャすることを選ぶことができる。表示された画像は、選択されたレンダリング画像データセットに対応する。選択されたレンダリング画像データセットは、記憶またはエクスポートすることができる。

上の実施形態は顔検出について記載しているが、他の実施形態では、異なる身体部位または身体部位の部分が検出され得る。検出器アルゴリズムは、他のオブジェクトと特定のオブジェクト配向とを検出するようにトレーニングされ得る（たとえば、ＯｐｅｎＣＶは、顔プロファイル検出器ならびに顔検出器を有する）。

いくつかの実施形態では、胎児３４を妊娠している患者３２の腹部に対して、超音波スキャンが実施される。スキャンからの未加工超音波データは、ボリュームデータを取得するように処理され、ボリュームデータは、レンダリング画像を取得するように処理される。オブジェクト検出アルゴリズムがレンダリング画像データセットに適用されて、品質尺度についての値が取得され、これは検出スコアであり得る。オブジェクト検出アルゴリズムは、胎児の体のどの適切な部位も検出するようにトレーニングされているアルゴリズムであってよい。

いくつかの実施形態では、手検出アルゴリズムがパラメータ調整ユニット１６内で実装される。手検出アルゴリズムは、手の画像についてトレーニングされた分類器であり得る。いくつかの実施形態では、手検出アルゴリズムは、胎児の手の画像について特にトレーニングされている。パラメータ調整ユニット１６は、複数のレンダリング画像の各々についての手検出スコアを取得し、最も高い手検出スコアを有するレンダリング画像を選択し、これは、胎児の手の最良の画像に対応するレンダリング画像であり得る。

いくつかの実施形態では、足検出アルゴリズムがパラメータ調整ユニット１６内で実装される。手検出アルゴリズムは、足の画像についてトレーニングされた分類器であり得る。いくつかの実施形態では、手検出アルゴリズムは、胎児の足の画像について特にトレーニングされている。パラメータ調整ユニット１６は、複数のレンダリング画像の各々についての足検出スコアを取得し、最も高い足検出スコアを有するレンダリング画像を選択し、これは、胎児の足の最良の画像に対応するレンダリング画像であり得る。

手検出または足検出アルゴリズムが使われる実施形態において、手検出または足検出アルゴリズムは、画像がより鮮明である場合または手もしくは足が画像中でより中心に置かれている場合、スコアがより高くなるようにトレーニングされ得る。どの適切な品質尺度または品質尺度の組合せ、たとえば手または足検出スコアと審美的画像品質スコアの組合せが使われてもよい。いくつかの実施形態では、品質尺度の値は、手または足が画像中で直立している場合、より高くなる。他の画像では、品質尺度は、手または足が直立であるかどうかは評価しない。いくつかの状況では、顔の非直立画像に対してよりも、手または足の非直立画像に対して許容差が大きくてよい。

いくつかの実施形態では、検出アルゴリズムは、顔の特定の部位、たとえば、目、耳、口または鼻を検出することができる。

いくつかの実施形態では、検出アルゴリズムは、生殖器を検出することができる。いくつかの実施形態では、２つの検出アルゴリズムが使われ、１つは男性の生殖器についてトレーニングされ、１つは女性の生殖器についてトレーニングされている。画像最適化プロセスは、たとえば性別判断のために、性器が鮮明に見えるレンダリング画像を選択するのに使うことができる。品質尺度の値は、生殖器が鮮明に示される画像に対してより高くなり得る。

逆に、いくつかの状況では、胎児の生殖器が存在する超音波画像を示すのを避ける必要があり得る。たとえば、いくつかの病院は、胎児の超音波スキャンにおいて胎児の性別を明らかにすることを避け、一部の親は、超音波スキャンにより胎児の性別を知らないことを好む。それゆえ、生殖器のケースでは、生殖器が鮮明に示されている画像を取得するよりも、生殖器が示されていない画像を取得するよう求められる場合がある。

そのような一実施形態において、超音波検査者３０は、スキャナコンソール１０上でいくつかの初期設定（たとえば、視点、配向および採光）を設定する。超音波検査者３０は、胎児３４を妊娠している患者３２の腹部の上に測定プローブ４を位置決めする。測定プローブ４は、未加工超音波データを取得し、このデータは、ボリュームデータ生成ユニット１８によって処理されて、ボリュームデータセットを生じる。レンダリングユニット１４は、超音波検査者３０によって設定された値を使って、ボリュームデータセットからレンダリング画像データセットを生成する。

パラメータ調整ユニット１６は、レンダリング画像データセットに対して検出アルゴリズムを実行し、ここで検出アルゴリズムは、生殖器を検出するようトレーニングされている。検出アルゴリズムが、ゼロまたは低い閾を下回る品質尺度を戻した場合、そのレンダリング画像データセットが選択され、対応するレンダリング画像がメインディスプレイ画面６上に表示される。

検出アルゴリズムが、品質尺度についてのより高い値（たとえば、所与の閾値を上回る品質尺度の値）を戻した場合、レンダリングユニット１４は、複数のレンダリング画像、たとえば異なる視点を各々が有する複数のレンダリング画像を生成する。パラメータ調整ユニット１６は、レンダリング画像に対応するレンダリング画像データセットの各々に対して検出アルゴリズムを実行する。

いくつかの実施形態では、品質尺度についての最も低い値を有するレンダリング画像が表示される。他の実施形態では、品質尺度の値が所与の閾を下回る場合のみ（またはいくつかの実施形態では、品質尺度の値がゼロの場合）、品質尺度についての最も低い値を有するレンダリング画像が表示される。品質尺度の値が閾を上回る場合、品質尺度についての十分低い値を有するレンダリング画像が取得されるまで、さらなるレンダリング画像が生成され、検出が実施される。

上記実施形態は、品質尺度を最小にするプロセスとして記載されているが、他の実施形態では、検出アルゴリズムは、生殖器を示さない画像に対応するレンダリング画像によって、品質尺度についての高い値が達成されるようにトレーニングされ得る。

たとえば、いくつかの実施形態では、鮮明であり中心に置かれているが生殖器を示さないレンダリング画像によって、品質尺度についての高い値が達成される。

いくつかの実施形態では、生殖器のための検出アルゴリズムが、他の検出アルゴリズムに加えて使われる。たとえば、足の画像を取得するための一実施形態では、足検出アルゴリズムと生殖器のための検出アルゴリズムが両方とも使われる。複数のレンダリング画像が、段階６４で生成される。生殖器のための検出アルゴリズムは、生殖器が示されるレンダリング画像を除外するのに使われ、次いで、足検出アルゴリズムは、残りのレンダリング画像のうち最良のものを選択するのに使われる。

他の実施形態では、検出アルゴリズムのどの組合せが使われてもよい。たとえば、手と顔の両方が示される画像を取得するために、手および顔検出アルゴリズムが一緒に使われてよい。

いくつかの実施形態では、パラメータ調整ユニット１６は、レンダリング画像に対して２つ以上の検出アルゴリズムを使って、レンダリング画像のうち２つ以上を表示用に選択することができる。たとえば、パラメータ調整ユニット１６は、最良の顔検出品質尺度を有する１つの画像と、最良の手検出品質尺度を有する１つの画像（異なる画像でよい）とを選択することができる。別の実施形態では、パラメータ調整ユニット１６は、正面の顔についての最良の品質尺度を有する１つの画像と、横顔についての最良の品質尺度を有する１つの画像とを選択することができる。

いくつかの実施形態では、患者の身体部位に対して超音波スキャンが実施されて、たとえば診断またはモニタリングを実施するために、その患者の身体部位を撮像する。一実施形態では、超音波スキャナ２とプローブ４とを使って、患者の腎臓がスキャンされる。スキャンされた腎臓から取得された未加工超音波データが、ボリュームデータ生成ユニット１８によって処理されて、ボリュームデータを生成する。レンダリングユニット１４は、レンダリングパラメータを変化させることによって、ボリュームデータから複数のレンダリング画像をレンダリングする。パラメータ調整ユニット１６は、レンダリング画像データセットの各々に対して腎臓検出アルゴリズムを実行する。腎臓検出アルゴリズムは、閲覧用に望ましい配向で腎臓がレンダリングされる場合、たとえば、レンダリングパラメータが、腎臓が標準閲覧配向で表示されるようなものである場合、高いスコアを戻すようにトレーニングされる。腎臓についての標準閲覧配向は、患者の体の軸ではなく、腎臓自体の軸に対して定義される配向であり得る。

パラメータ調整ユニット１６は、最も高いスコアを有するレンダリング画像を選択し、それゆえ、腎臓のための最良の閲覧配向に対応し得る。ディスプレイ制御ユニット１９は、選択されたレンダリング画像をメインディスプレイ画面６上に表示する。選択されたレンダリング画像のパラメータ（たとえば、レンダリング配向パラメータ）は、後続のボリュームデータセットをレンダリングする際に使うことができる。

さらなる実施形態では、胎児に限定されず、例えば患者の心臓に対して、超音波スキャンが実施される。一実施形態では、心臓の特定の配向（たとえば、心臓の軸に相対した標準閲覧配向）を検出する検出アルゴリズムが使われる。他の実施形態では、心臓、または心臓血管の特定の部位（例えば、左心房、右心房、左心室、右心室、大動脈弁、僧房弁、三尖弁、肺動脈弁等）を検出する検出アルゴリズムが使われる。

代替実施形態では、体のどの適切な部位（たとえば、どの内部臓器）もスキャンされ、検出され得る。たとえば、子宮または卵巣がスキャンされ、検出され得る。いくつかの実施形態では、体の部位がスキャンされ、病理が検出される。たとえば、一実施形態では、胆嚢がスキャンされ、胆石検出アルゴリズムが、胆石を検出するのに使われる。そのような実施形態において、パラメータ調整ユニット１６は、胆石検出アルゴリズムを使って、複数のレンダリング画像の各々についてのスコアを取得することができ、最も高いスコアをもつレンダリング画像データセット（１つまたは複数の胆石の最良のビューに対応し得る）が選択され得る。体の他の部位に使われ得る検出アルゴリズムは、顔検出に使われるが、問題になっている身体部位を表す画像データセットについてトレーニングされたものと同様または同じであってもよく、体のそれらの他の部位用の専用検出アルゴリズムであってもよい。

上記実施形態は、超音波データがとられている間に超音波データの画像最適化を実施するための検出アルゴリズムの使用について記載している。さらなる実施形態において、検出アルゴリズムは、記憶されたデータの画像最適化を実施するのに、たとえば記憶された超音波データを処理して、最良の可能顔画像を取得するのに使うことができる。いくつかのそのような実施形態において、図３の段階の一部または全部は、たとえば、超音波診断装置本体２ではなくＰＣまたはワークステーションを使って実施することができる。

レンダリング画像は、サーフェスレンダリングまたはボリュームレンダリングプロセスから導出された画像を備え得る。レンダリング画像に対する検出アルゴリズムの使用は、そのレンダリング画像を表すレンダリング画像データセットに対する検出アルゴリズムの使用を備え得る。同様に、レンダリング画像の生成は、レンダリング画像データセットの生成を備え得る。レンダリング画像の参照は、レンダリング画像が表示されることを必ずしも含意するとは限らない。レンダリング画像を表すレンダリング画像データセットは、レンダリング画像を表示することなく処理される場合がある。

いくつかの実施形態は、様々な制御パラメータのうち、表示される画像に影響する選択されたパラメータが、画像最適化ユニットの制御下にある、超音波スキャナと、３Ｄレンダリングユニットと、ディスプレイとを備える装置を提供する。画像最適化ユニットは、表示された画像中の顔の存在を識別すること、およびプログラムされた基準値に従って、その顔の画像品質を判断することを担う。最適化ユニットは、品質基準値を最適化するように、その制御下にあるパラメータを調整する。

パラメータは、ビュー位置と配向とを含み得る。パラメータは、照明方向、シミュレートされた材料光学特性、採光モデルパラメータ、エコー処理制御、等値面値、信号パラメータ、ボリュームパラメータ、ビューパラメータ、フィルタリングパラメータのいずれを含んでもよい。

装置は、代替または追加として、手や足など、他の解剖学的構造の判別可能性と、レンダリングされた画像品質とを検出することができる。

自動的に最適化されたパラメータは、オペレータ制御による、プログラムで組み込まれたオフセットが適用され得るベースラインと見なされ得る。

また、他の実施形態に係る超音波診断装置は、身体部位の少なくとも一部分を含む３次元領域との間の超音波送信および受信を通して取得されたエコー信号を処理することによって、ボリュームデータを生成するためのボリュームデータ生成ユニットを備える超音波診断装置を提供する。この装置は、複数のパラメータに基づいてボリュームデータ向けのボリュームレンダリングプロセスまたはサーフェスレンダリングプロセスを実施することによって、レンダリング画像を生成するように構成されたレンダリングユニットも備える。この装置は、表示ユニット上に画像を表示するためのディスプレイ制御ユニットをさらに備える。この装置は、レンダリング画像中の身体部位の少なくとも一部分の検出を実施し、検出の結果に基づいて、パラメータのうち少なくとも１つの値を選択または調整するためのパラメータ調整ユニットをさらに備える。レンダリングユニットは、前記パラメータ調整ユニットからの、選択または調整されたパラメータ値に基づいて新規レンダリング画像を生成するように構成される。ディスプレイ制御ユニットは、前記新規レンダリング画像を前記表示ユニット上に表示するように構成される。

さらに、他の実施形態に係る超音波診断装置は、身体部位の少なくとも一部分を含む３次元領域との間の超音波送信および受信を通して取得されたエコー信号を処理することによって、ボリュームデータを生成することを備える超音波撮像方法も提供する。この方法はまた、複数のパラメータに基づいてボリュームデータ向けのボリュームレンダリングプロセスまたはサーフェスレンダリングプロセスを実施することによって、レンダリング画像を生成することと、レンダリング画像中の身体部位の少なくとも一部分の検出を実施することとを備える。この方法は、検出の結果に基づいて、パラメータのうち少なくとも１つの値を選択または調整することと、選択または調整されたパラメータ値に基づいて新規レンダリング画像を生成することと、新規レンダリング画像を表示ユニット上に表示することとをさらに備える。

特定のユニットについて、本明細書では記載したが、代替実施形態では、これらのユニットのうち１つまたは複数の機能性は、単一処理リソースまたは他の構成要素によって提供されてもよく、単一ユニットによって提供される機能性は、組み合わされた２つ以上の処理リソースまたは他の構成要素によって提供されてもよい。単一ユニットへの言及は、そのような構成要素が互いから離れているかどうかにかかわらず、そのユニットの機能性を提供する複数の構成要素を包含し、複数のユニットへの言及は、それらのユニットの機能性を提供する単一構成要素を包含する。

いくつかの実施形態について記載したが、これらの実施形態は、例示の目的でのみ提示されているのであって、本発明の範囲を限定することは意図していない。実際、本明細書に記載する新規方法およびシステムは、様々な他の形で実施することができ、さらに、本明細書に記載した方法およびシステムの形における様々な省略、代用および変更が、本発明の精神から逸脱することなく行われ得る。添付の請求項およびそれらの等価物は、本発明の範囲内に収まるような形と修正とをカバーすることを意図している。

２…超音波診断装置本体、４…測定プローブ（超音波プローブ）、６…メインディスプレイ画面、８…制御画面、１０…スキャナコンソール、１２…処理装置、１４…レンダリングユニット、１６…パラメータ調整ユニット、１８…ボリュームデータ生成ユニット、１９…ディスプレイ制御ユニット、２０…データストア

Claims (24)

1. 身体部位の少なくとも一部分を含む３次元領域に対して超音波を送信し当該３次元領域からの反射波に基づいて生成されたボリュームデータを用いて、複数のパラメータに基づいてボリュームレンダリングプロセスまたはサーフェスレンダリングプロセスを実施し、第１のレンダリング画像を生成するレンダリングユニットと、
   表示ユニット上に第１のレンダリング画像を表示するためのディスプレイ制御ユニットと、
   前記第１のレンダリング画像中の前記身体部位の前記少なくとも一部分を検出し、前記検出の結果に基づいて、前記複数のパラメータのうち少なくとも１つの値を選択または調整するためのパラメータ調整ユニットと、
   を備え、
   前記レンダリングユニットは、前記パラメータ調整ユニットを介して前記選択または調整されたパラメータ値に基づいて、新たな第２のレンダリング画像を生成し、
   前記ディスプレイ制御ユニットは、前記表示ユニット上に前記第２のレンダリング画像を表示させること、
   を特徴とする超音波診断装置。
2. 前記身体部位は、胎児の身体部位であることを特徴とする請求項１に記載の超音波診断装置。
3. 前記胎児の前記身体部位は、顔、頭部、目、鼻、口、耳、手、足、生殖器のうち少なくとも１つを備えることを特徴とする請求項２に記載の超音波診断装置。
4. 前記身体部位は、臓器、内部臓器、心臓、腎臓、子宮、卵巣のうち少なくとも１つを備えることを特徴とする請求項１に記載の超音波診断装置。
5. 前記パラメータ調整ユニットは、前記パラメータのうち少なくとも１つの値の前記選択または調整により、前記身体部位に対して、レンダリング方向を変更することを特徴とする請求項１乃至４のうちいずれか一項記載の超音波診断装置。
6. 前記パラメータ調整ユニットは、
   前記第１のレンダリング画像中の前記身体部位の前記少なくとも一部分の表現の画像品質に基づく、前記パラメータのうち少なくとも１つの値の選択または調整、又は、
   前記身体部位の前記検出された少なくとも一部分の前記表現の前記画像品質を最適化するための、前記パラメータのうち少なくとも１つの値の選択または調整を行うこと、
   を特徴とする請求項１に記載の超音波診断装置。
7. 前記パラメータ調整ユニットは、所定の測定方法に従って前記画像品質を定量的に計算することを特徴とする請求項６に記載の超音波診断装置。
8. 前記身体部位は胎児の顔を含み
   前記パラメータ調整ユニットは、前記胎児の顔の検出結果に関連する所定のスコアを計算すること、
   を特徴とする請求項１乃至７のうちいずれか一項記載の超音波診断装置。
9. 前記パラメータ調整ユニットは、オブジェクト検出アルゴリズムを実行して、前記第１のレンダリング画像中の前記身体部位の前記少なくとも一部分を検出することを特徴とする請求項１乃至８のうちいずれか一項記載の超音波診断装置。
10. 前記パラメータ調整ユニットは、オブジェクト検出アルゴリズムを実行して少なくとも１つのオブジェクト候補を検出し、当該少なくとも１つのオブジェクト候補の検出結果に関連する所定のスコアを計算することを特徴とする請求項１乃至８のうちいずれか一項記載の超音波診断装置。
11. 前記オブジェクト検出アルゴリズムは、Ｖｉｏｌａ−Ｊｏｎｅｓオブジェクト検出フレームワーク、分類器、ブースト分類器のカスケード、ニューラルネットワーク、遺伝的アルゴリズム、配向勾配の共起ヒストグラムのうち少なくとも１つを含むことを特徴とする請求項９又は１０に記載の超音波診断装置。
12. 前記検出結果は、
    前記身体部位の前記少なくとも一部分が可視であるかどうか、
    前記身体部位の前記少なくとも一部分が直立であるかどうか、
    前記身体部位の前記少なくとも一部分が正面を向いているかどうか、
    前記身体部位の前記少なくとも一部分の場所、
    前記身体部位の前記少なくとも一部分のサイズ、
    前記身体部位の前記少なくとも一部分の対称性、
    前記身体部位の前記少なくとも一部分の配向、のうち少なくとも１つを基準とすることを特徴とする請求項１乃至１１のうちいずれか一項に記載の超音波診断装置。
13. 前記複数のパラメータは、超音波送受信に関するパラメータ、再構成パラメータ、信号処理に関するパラメータ、ボリュームパラメータ、フィルタリングパラメータのうち少なくとも１つを含むことを特徴とする請求項１乃至１２のうちいずれか一項に記載の超音波診断装置。
14. 前記複数のパラメータは、レンダリング配向パラメータ、照明方向、光学特性、採光パラメータ、等値面値、ビューパラメータ、陰影パラメータ、クリッププレーンの位置、不透明度、散乱係数、反射係数、高度レンダリングモデルのパラメータ、環境係数、拡散係数、正反射係数、被写界深度のうち少なくとも１つを含むことを特徴とする請求項１乃至１３のうちいずれか一項に記載の超音波診断装置。
15. 前記パラメータ調整ユニットを介して前記選択または調整されたパラメータ値に基づいて、前記３次元領域に関する新たなボリュームデータを取得するデータ取得ユニットをさらに具備し、
    前記レンダリングユニットは、新たなボリュームデータを用いて、前記第２のレンダリング画像を生成すること、
    を特徴とする請求項１乃至１４のうちいずれか一項に記載の超音波診断装置。
16. 前記レンダリングユニットは、前記選択または調整されたパラメータ値と前記第１のレンダリング画像の生成に用いた前記ボリュームデータとに基づいて、前記第２のボリュームレンダリング画像を生成することを特徴とする請求項１乃至１４のうちいずれか一項に記載の超音波診断装置。
17. 前記レンダリングユニットは、前記複数のパラメータの異なる値に対応する複数の第１のレンダリング画像を生成し、
    前記ディスプレイ制御ユニットは、前記表示ユニット上に前記複数の第１のレンダリング画像を表示し、
    前記パラメータ調整ユニットは、前記複数の第１のレンダリング画像のそれぞれについて前記身体部位の前記少なくとも一部分を検出すること、
    を特徴とする請求項１乃至１６のうちいずれか一項記載の超音波診断装置。
18. 前記パラメータ調整ユニットは、前記表示ユニットに表示された前記複数の第１のレンダリング画像のいずれかを選択する選択操作に応答して、当該選択された第１のレンダリング画像に対応するパラメータ値を基準として、前記複数のパラメータのうち少なくとも１つの値を選択または調整することを特徴とする請求項１７記載の超音波診断装置。
19. 前記パラメータ調整ユニットは、前記複数の第１のレンダリング画像の各々に関連する所定のスコアを計算し、前記複数のスコアのいずれかを選択する選択操作に応答して、当該選択されたスコアに対応する前記第１のレンダリング画像のパラメータ値を基準として、前記複数のパラメータのうち少なくとも１つの値を選択または調整することを特徴とする請求項１７記載の超音波診断装置。
20. 前記パラメータ調整ユニットは、前記複数の第１のレンダリング画像の各々についての前記スコアとして、対応する前記第１のレンダリング画像中の前記身体部位の前記少なくとも一部分の画像品質を表す定量値を計算することを特徴とする請求項１９に記載の超音波診断装置。
21. 前記パラメータ調整ユニットは、前記第１のレンダリング画像についての前記検出の結果として、画像品質の複数の尺度を計算し、前記尺度の組合せに基づいて前記パラメータのうち前記少なくとも１つの前記選択または調整を行うことを特徴とする請求項１乃至２０のうちいずれか一項に記載の超音波診断装置。
22. 前記画像品質の前記複数の尺度は、少なくとも１つの検出スコアと、少なくとも１つの審美的画像品質スコアとを含むことを特徴とする請求項２１に記載の超音波診断装置。
23. 身体部位の少なくとも一部分を含む３次元領域に対して超音波を送信し当該３次元領域からの反射波に基づいて生成されたボリュームデータを用いて、複数のパラメータに基づいてボリュームレンダリングプロセスまたはサーフェスレンダリングプロセスを実施し、第１のレンダリング画像を生成するレンダリングユニットと、
    表示ユニット上に第１のレンダリング画像を表示するためのディスプレイ制御ユニットと、
    前記第１のレンダリング画像中の前記身体部位の前記少なくとも一部分を検出し、前記検出の結果に基づいて、前記複数のパラメータのうち少なくとも１つの値を選択または調整するためのパラメータ調整ユニットと、
    を備え、
    前記レンダリングユニットは、前記パラメータ調整ユニットを介して前記選択または調整されたパラメータ値に基づいて、新たな第２のレンダリング画像を生成し、
    前記ディスプレイ制御ユニットは、前記表示ユニット上に前記第２のレンダリング画像を表示させること、
    を特徴とする医用画像処理装置。
24. コンピュータに、
    身体部位の少なくとも一部分を含む３次元領域に対して超音波を送信し当該３次元領域からの反射波に基づいて生成されたボリュームデータを用いて、複数のパラメータに基づいてボリュームレンダリングプロセスまたはサーフェスレンダリングプロセスを実施させ、第１のレンダリング画像を生成させるレンダリング機能と、
    表示ユニット上に第１のレンダリング画像を表示させるディスプレイ制御機能と、
    前記第１のレンダリング画像中の前記身体部位の前記少なくとも一部分を検出させ、前記検出の結果に基づいて、前記複数のパラメータのうち少なくとも１つの値を選択または調整させるパラメータ調整機能と、
    を実現させ、
    前記レンダリング機能においては、前記パラメータ調整機能を介して前記選択または調整されたパラメータ値に基づいて、新たな第２のレンダリング画像を生成させ、
    前記ディスプレイ制御機能においては、前記表示ユニット上に前記第２のレンダリング画像を表示させること、
    を特徴とする医用画像処理プログラム。