JP7423338B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

ここに説明される実施形態は概して、例えば、フレームの一時的なアップサンプリングのための画像処理装置及び画像処理方法に関する。

例えば診断や手術などの医療行為において４Ｄ超音波撮像等の所謂４次元（４Ｄ）医用撮像、を実行することが知られている。４Ｄ撮像システムにおいて、異なる時間で取得された一連の３次元（３Ｄ）画像は、動的にレンダリングされることにより、例えば３Ｄムービーなどの動的な３Ｄ画像が生成される。

ソフトウェアを使用して、ボリューメトリックデータを取得するために異なる位置又は角度で得られたデータを組み合わせること、及び、単純な表面シェーディング又は直接的なボリュームレンダリングのような方法を使用してボリューメトリックデータから画像をレンダリングすることにより、各３Ｄ画像が取得される。

ある状況では、４Ｄ撮像からキャプチャされたフレーム数は、観察者にとって動画化されたフレームの再生が滑らかに見えるために十分でない場合がある。人間の目が滑らかな動きと知覚するのを下回る速度で、フレームがキャプチャされる場合がある。例えば、フレームは、毎秒１０フレーム以下、又は、毎秒１０～１５フレームで、キャプチャされる。

観察者にとって、動画がスムーズに見えないと、観察しづらさを感じる場合がある。例えば、不連続な動きにより、観察者の気が逸らされることがある。観察者は、スムーズに見えない一連の画像において、解剖学的特徴又は異常を特定しづらかったり、臓器の動きや手術器具による臓器の変形を認識しづらいと感じることもある。

４Ｄ収集において複数の３Ｄデータボリュームがキャプチャされるいくつかの使用事例では、各３Ｄボリュームは、時点、又は、生体構造の時相を表している。

第一の使用事例は、４Ｄ超音波である。４Ｄ超音波では、ボリューメトリックデータの連続的なフレームが超音波スキャナにより収集され、観察可能にレンダリングされる。この一例において、僧帽弁の超音波撮像は、毎秒１１フレーム（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ：ｆｐｓ）で実行される。１１ｆｐｓは、人間の目が滑らかだと知覚するのに必要とされるフレームレートを僅かに下回ると考えられている。４Ｄ撮像が１１ｆｐｓで表示された場合、観察者は、僧帽弁の動きがぎくしゃくしている、又は、不連続であると知覚することがある。この不連続な動きにより、ユーザが表示された画像を解析する能力を損なう場合がある。また、この不連続な動きにより、画像の解釈が難しくなる場合がある。

第二の使用事例は、心臓のマルチフェーズＣＴ撮像である。マルチフェーズＣＴ撮像において、心臓の動きの一つ又は複数又は一部のサイクル、典型的には心臓の動きの多重サイクルを表す画像データがキャプチャされる。一部のサイクルとは、例えば70%cycleと80%cycleと90%cycleと100%cycleといった、ほぼ等間隔で連続したサイクルを指す．これには70%cycleと80%cycleと90%cycleと99%cycleといった、一部位相がごく僅かにずれたサイクルも含まれる。画像データは、心臓の動きの個別の位相を表すフレームへと分類される。例えば、画像データは、９つの異なる心臓位相を表して、取得される。異なる心臓位相についてのデータは、心臓の動きの１サイクルまたは１サイクルの一部における異なる時間での心臓の動きを表す一連の画像をレンダリングするために、使用される。

９つの心臓位相の画像が次々に再生される例について考える。観察者は、心臓の明白な動きが滑らかでないと知覚することがある。画像を解析するユーザの能力は、動きにおける滑らかさの欠如により、影響を受ける場合がある。

マルチフェーズＣＴ又はマルチフェーズ撮像は、その他の動きのタイプに関しても、実行することができる。

フレーム間又は位相間レジストレーションの使用により、連続的な画像フレーム間の動きを補間（アップサンプリング）することが知られている。レジストレーションを使用して動きを補間するために、第一のフレームに対応する画像データが、例えば近傍のフレームである第二のフレームに対応する画像データに対して、レジストレーションされる。例えば、任意の適切な非剛体レジストレーションの方法等の、任意の適切なレジストレーションの方法を使用することができる。このレジストレーションは、第一のフレーム上の点を第二のフレーム上の対応する点へとマッピング（配置）する。

一旦レジストレーションが取得されると、レジストレーションにより、第一のフレームと第二のフレームとの間の時間の画像データを表す第三のフレームが取得される。第三のフレームは、レジストレーションに基づいた画像値の補間により、取得される。

補間されるデータは、２Ｄであってもよく、３Ｄであってもよい。例えば、レジストレーションにより生成される３Ｄモーションフィールドが、補間される場合がある。

レジストレーションを使用したフレーム間の補間の結果、滑らかな再生が可能であることは知られている。しかし、レジストレーションを使用しての連続的な補間には、精確なレジストレーションを必要とする。レジストレーション取得の際に困難が生じる場合には、補間されたフレームを生成するのが不可能な場合がある。状況次第では、レジストレーション全体が失敗する場合もある。全てのレジストレーションが精確に実行されなければならないという要求は、非常に厳しい要件となる場合がある。

レジストレーションを使用した補間では、大量の処理及びリソースが必要とされる。レジストレーションで使用される処理のレベル及びリソースに応じて、リアルタイムでのレジストレーションベースの補間の実行が難しくなる場合がある。レジストレーションベースの補間は、例えばリアルタイム超音波撮像等のいくつかのリアルタイムアプリケーションに対して、適当でない場合がある。レジストレーションは、局所解剖学（トポロジー）における変化に対して上手く適用できないことがある。

異なる撮像モダリティに応じて、異なるレジストレーション法の使用が必要とされることがある。また、適切なレジストレーション方法が、いくつかのモダリティに対して適用できないこともある。

心臓の動きの観察のため、心筋、冠状血管、弁の中を見る必要が生じることがある。しかし、ある位相において、心臓や弁の動きが原因で、又は心臓や弁の構造的な厚みが原因で、冠状血管及び弁がビューから消えてしまうことがある。また、ある位相において、コントラストの濃度が不十分なことが原因で冠状血管や弁がビューから消えてしまうこともある。更に、開いた際の形状が原因で、弁がビューから消えることもある。

ある状況では、連続する画像間において、特定の画像特徴（例えば、弁）がビューから消えたり再び現れたりする場合に、レジストレーションベースの方法が上手く働かないことがある。

中間のフレームの取得する別の方法として、近傍のフレームをブレンドするボリュームブレンディング技法が考えられる。例えば、第一のフレームと第二のフレームとの間の第三のフレームを取得するために、第一のフレームと第二のフレームとのブレンディングを考えることができる。第三のフレームの各ピクセルには、第一のフレームの中間値と第二のフレームの中間値との間の値が割り当てられる。

しかし、簡単なボリュームブレンディング技法では、一般的に、動いている様子を表示できないことが分かっている。代わりに、フレーム間が色落ちしたような感覚を与えることがある。

特開２００４－０４１７２２号公報

本発明が解決しようとする課題は、フレーム間の動きを良好に認識可能なアップサンプリングを行うことである。

実施形態に係る画像処理装置は、処理回路を具備する。前記処理回路は、第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集し、複数の第一の変換データセットを取得するために、前記第一の画像データを処理し、複数の第二の変換データセットを取得するために、前記第二の画像データを処理し、第一の距離変換を取得するために、前記複数の第一の変換データセットのそれぞれを変換し、第二の距離変換を取得するために、前記複数の第二の変換データセットのそれぞれを変換し、前記第一の距離変換のうちの少なくとも一つと、前記第二の距離変換のうちの少なくとも一つとの組み合わせを選択し、前記組み合わせに基づいて、少なくとも一つのモーフィングされた距離変換を生成し、前記第一時相と前記第二時相との間の第三時相での前記被検体を表すアップサンプリングされた画像データを取得するために、前記少なくとも一つのモーフィングされた距離変換を処理する。

実施形態は、非限定的な例としてこれから説明され、以下の図に描かれている。
図１は、実施形態に掛かる装置の概略図である。 図２は、実施形態の方法の概要を描くフローチャートである。 図３は、図２の実施形態において生成且つ使用された画像のうちのいくつかを示すフローチャートである。 図４は、符号付距離場の一例を示している。 図５は、複数のｉｓｏレベル画像と組み合わされた画像との一例を描いている。 図６は、実施形態に係る動画を提供する方法の概要を示すフローチャートである。 図７は、実施形態に係る動画を提供する他の方法の概要を示すフローチャートである。 図８は、実施形態におけるセグメンテーションの利用の概略図である。 図９は、実施形態におけるセグメンテーションの更なる利用の概略図である。

ある実施形態に係る画像処理装置は、第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集し、複数の第一の変換データセットを取得するために、前記第一の画像データを処理し、複数の第二の変換データセットを取得するために、前記第二の画像データを処理し、第一の距離変換を取得するために、前記複数の第一の変換データセットのそれぞれを変換し、第二の距離変換を取得するために、前記複数の第二の変換データセットのそれぞれを変換し、前記第一の距離変換のうちの少なくとも一つと、前記第二の距離変換のうちの少なくとも一つとの組み合わせを選択し、前記組み合わせに基づいて、少なくとも一つのモーフィングされた距離変換を生成し、前記第一時相と前記第二時相との間の第三時相での前記被検体を表すアップサンプリングされた画像データを取得するために、前記少なくとも一つのモーフィングされた距離変換を処理するように構成された処理回路を具備する。

ある実施形態に係る画像処理方法は、第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集することと、複数の第一の変換データセットを取得するために、前記第一の画像データを処理することと、複数の第二の変換データセットを取得するために、前記第二の画像データを処理することと、第一の距離変換を取得するために、前記複数の第一の変換データセットのそれぞれを変換することと、第二の距離変換を取得するために、前記複数の第二の変換データセットのそれぞれを変換することと、前記第一の距離変換のうちの少なくとも一つと、前記第二の距離変換のうちの少なくとも一つとの組み合わせを選択することと、前記組み合わせに基づいて、少なくとも一つのモーフィングされた距離変換を生成することと、前記第一時相と前記第二時相との間の第三時相での前記被検体を表すアップサンプリングされた画像データを取得するために、前記少なくとも一つのモーフィングされた距離変換を処理することと、を具備する。

ある実施形態に係る画像処理装置は、第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集し、複数の第一の変換データセットを取得するために、前記第一の画像データを処理し、複数の第二の変換データセットを取得するために、前記第二の画像データを処理し、前記第一の画像データ及び／又は前記第二の画像データの欠損を特定し、前記欠損の前記特定は、前記第一の変換データセットと前記第二の変換データセットとに基づいて実行され、前記欠損の前記特定に基づいて、動画データを生成する、よう構成された処理回路を具備する。

ある実施形態に係る画像処理方法は、第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集することと、複数の第一の変換データセットを取得するために、前記第一の画像データを処理することと、複数の第二の変換データセットを取得するために、前記第二の画像データを処理することと、前記第一の画像データ及び／又は前記第二の画像データの欠損を特定することと、を具備する。前記欠損の前記特定は、前記第一の変換データセットと前記第二の変換データセットとに基づいて実行され、前記欠損の前記特定に基づいて動画データを生成する。

実施形態に係る医用画像処理装置１０が、図１に概略的に描かれている。

装置１０は、本実施形態においてパーソナルコンピュータ（ＰＣ）又はワークステーションである計算装置１２を備える。計算装置１２は、コンピュータ断層（ＣＴ）スキャナ１４、一つ又は複数の表示スクリーン１６、及び、コンピュータキーボード、マウス又はトラックボール等の一つ以上の入力装置１８に接続されている。

ＣＴスキャナ１４は、患者又はその他の被検体の解剖学的領域を表すボリューメトリックＣＴ撮像データを取得するよう構成されている。ＣＴスキャナ１４は、解剖学的領域で動きが生じている時間において、経時的にボリューメトリックＣＴ撮像データを取得するよう構成されている。例えば、解剖学的領域とは、心臓であり、心臓が動いている間に撮像データが取得される。

別の実施形態において、ＣＴスキャナ１４は、例えばＣＴスキャナ、コーンビームＣＴスキャナ、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ：磁気共鳴撮像）スキャナ又は超音波スキャナ等、任意の適当な撮像モダリティにおいてボリューメトリック撮像又は二次元撮像データを取得するよう構成されたスキャナに置き換える又は補うことができる。

撮像データは、造影剤を使用して取得することができる。例えば、撮像データは、造影ＣＴデータ、又はバブル造影剤（bubble contrast）を使用して取得された超音波データを有することがある。

ＣＴスキャナ１４によって取得される撮像データセットは、メモリ２０に格納され、その後、計算装置１２に提供される、あるいは、計算装置１２に直接提供される。別の実施形態において、撮像データセットは、医用画像保管通信システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）の一部を形成することができる遠隔データストレージ（図示せず）から供給される。係るメモリ２０又は遠隔データストレージは、メモリ格納のための任意の適切な形式を備える。

計算装置１２は、撮像データセットを自動的に又は半自動的に処理するための処理リソースを提供する。また、計算装置１２は、中央処理ユニット（ＣＰＵ）２２を備える。

計算装置１２の中央処理ユニット（ＣＰＵ）２２は、ボリューメトリック撮像データから画像フレームをレンダリングするよう構成されたレンダリング回路２４と、画像フレームに対する符号付距離場を取得するよう構成された分解回路２６と、符号付距離場を使用して画像フレーム間を補間するよう構成された補間回路２８と、を含む。

レンダリング回路２４は、第一時相での被検体を表す第一の画像データと、第一時相と異なる第二時相での被検体を表す第二の画像データとを収集する。

分解回路２６は、複数の第一の変換データセットを取得するために、第一の画像データを処理し、複数の第二の変換データセットを取得するために、第二の画像データを処理し、第一の距離変換を取得するために、前記複数の第一の変換データセットのそれぞれを変換し、第二の距離変換を取得するために、前記複数の第二の変換データセットのそれぞれを変換する。具体的には、分解回路２６は、画像データのパラメータに基づいて第一の画像データを処理することにより、パラメータのそれぞれの値に対応する複数の第一の変換データセットを取得し、パラメータに基づいて第二の画像データを処理することにより、パラメータのそれぞれの値に対応する複数の第二の変換データセットを取得する。

補間回路２８は、第一の距離変換のうちの少なくとも一つと、第二の距離変換のうちの少なくとも一つとの組み合わせを選択し、組み合わせに基づいて、少なくとも一つのモーフィングされた距離変換を生成し、第一時相と前記第二時相との間の第三時相での前記被検体を表すアップサンプリングされた画像データを取得するために、少なくとも一つのモーフィングされた距離変換を処理する。具体的には、補間回路２８は、パラメータに基づいて、組み合わせを選択する。

レンダリング回路２４、分解回路２６及び補間回路２８を有するＣＰＵ２２は、処理回路の一例である。

本実施形態において、回路２４、２６、２８は、実施形態の方法を実行することが可能な、コンピュータ読み取りが可能な命令を有するコンピュータプログラムの方法で、計算装置１２において、それぞれ実行される。しかし、その他の実施形態において、様々な回路は、一つ又は複数のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ：特定用途向け集積回路）又はＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ：フィールドプログラマブルゲートアレイ）として実行することもできる。

計算装置１２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、様々なデバイスドライバを含むオペレーティングシステム、そしてグラフィックスカード等を含むハードウェアデバイス等その他のＰＣの構成要素も含む。このような構成要素は、図を見やすくする為、図１には示されていない。

図２は、本実施形態に係る方法の概要を描くフローチャートである。図３は、図２の実施形態において生成され使用される画像のうちのいくつかを示す、更なるフローチャートである。

図２のステージ３０で、レンダリング回路２４は、メモリ２０からボリューメトリック撮像データを受け取る。ボリューメトリック撮像データは、経時的な解剖学的領域の動きを表す。別の実施形態において、レンダリング回路２４によって受け取られたデータは、二次元データの場合がある。

レンダリング回路２４は、第一時相Ｔ０での解剖学的領域を表す第一の画像フレーム３２と、第二時相Ｔ１での解剖学的領域を表す第二の画像フレーム３４とをレンダリングする。時相ｔ、時相Ｔ０及びＴ１は、「一時的な位置」と呼ぶことができる。解剖学的領域の動きは、第一時相Ｔ０及び第二時相Ｔ１との間で起きたものである。第一の画像フレーム３２と第二の画像フレーム３４は、一連のフレームにおいて近傍のフレームである。第一の画像フレーム３２は、第一の画像データの一例である。第二の画像フレーム３４は、第二の画像データの一例である。時相Ｔ０及びＴ１は、異なる時相である。時相ｔは、第一時相Ｔ０及び第二時相Ｔ１との間の時相である。時相ｔは、第三時相の一例である。

第一の画像フレーム３２と第二の画像フレーム３４とは、図３に描かれている。図３の例において、レンダリングされた画像３２、３４は、例えば体軸スライス（アキシャル断面）等で生体構造を表す画像である。その他の実施形態において、レンダリングされた画像は、任意の適切な画像の種類を用いることができる。例えば、レンダリングされた画像は、生体構造の三次元ビューを提供する画像の場合がある。また任意の適切なレンダリング法を使用することができる。例えば、レンダリング法は、少なくとも、多断面再フォーマット（Ｍｕｌｔｉｐｌａｎａｒ Ｒｅｆｏｒｍａｔ：ＭＰＲ）、フルボリューム強度投影ボリュームレンダリング、影付きボリュームレンダリング、グローバルイルミネーションボリュームレンダリング、湾曲面再フォーマット（Ｃｕｒｖｅｄ Ｐｌａｎｅ Ｒｅｆｏｒｍａｔｓ：ＣＰＲ）等がある。

ここでは、画像の生成に関して、レンダリング回路２４により実行される処理について説明をするが、多くの実施形態において画像３２、３４は、この段階でユーザに表示されることはない。画像３２、３４は、複数のピクセル位置に対する個別のピクセル値を有する二次元データセットにより表される。下記において画像の処理に対する言及は、実際には画像を表す二次元データセットについて実行される。同様に、下記で説明されるｉｓｏレベル及び符号付距離場は、図３において説明を行う為に描かれている。多くの実施形態において、ｉｓｏレベル及び符号付距離場は、ユーザに表示されない。ｉｓｏレベル及び符号付距離場を表す二次元セットは、様々な回路によって処理される。

図３において、レンダリングされる画像３２、３４は、それぞれが異なるグレースケールレベルの範囲を持つピクセルを有する。異なるグレースケールレベルは、例えばハンスフィールドユニットでのＣＴ値等のように、異なるＣＴ値を表す。

ステージ４０で、分解回路２６は、ｉｓｏレベル値のＮ個のセットを受け取る。Ｎの定め方は、予め定めてもよいし、レンダリングされる画像によって定めてもよい。定め方には、画像内グレースケールレベルの最大値と最小値の差の値に基づき予め用意した辞書により決定してもよいし、モダリティに対応して決定してもよいし、撮像されている臓器に対応して決定してもよいし、注目する臓器に対応して決定してもよい。本実施形態において、Ｎ＝１０である。その他の実施形態において、Ｎについて任意の適切な値を使用することができる。ｉｓｏレベル値は、強度を表し、例えばハンスフィールドユニットにおけるＣＴ値等を有することができる。ｉｓｏレベル値及び強度は、画像のパラメータの一例である。

本実施形態において、使用予定のｉｓｏレベルのセットは、ユーザにより手動で選択される。その他の実施形態において、使用予定のｉｓｏレベルのセットを、自動的に決定することもできる。ｉｓｏレベルは、ボリュームの最も視認可能な部分を選択することにより、選択される。ボリュームのどの部分が最も視認可能であるかの決定は、ユーザに対して提示されるビューに基づいた視認性ヒストグラムを使用して取得することができる。この場合、ＣＰＵ２２は、パラメータに基づいた第一の画像データと第二の画像データとの処理において、パラメータについて複数の値を選択する。

いくつかの実施形態において、ｉｓｏレベルのうちの少なくとも一つは、ヒストグラムにおいて顕著な複数のピークの中間点を決定するヒストグラム解析を使用して取得することができる。

更なる実施形態において、学習済みモデル（例えば、畳み込みニューラルネットワークを有する深層ニューラルネットワーク）を、使用予定のｉｓｏレベルを取得するために、使用することができる。例えば、学習済みモデルは、最も小さい差が生じるｉｓｏレベルを、最終画像のキーフレームとして分類することができる。学習済みモデルは、少なくとも一つのキーフレームを有する入力ボリュームを持つ。学習済みモデルは、少なくとも一つのキーフレームから、しきい値の固定されたベクトルを回帰する。損失関数は、生成されたボリューム（提案される分解と再構成とに基づく）がレンダリングされたビューと、参照ソースキーフレームがレンダリングされたビューとの間の類似度に基づく。この場合、パラメータについての複数の値の選択は、学習済みモデルにより実行される。

分解回路２６は、第一のレンダリングされた画像３２を第一の複数のＮ個のｉｓｏレベル画像へと分解する。ｉｓｏレベル画像は、１からＮまでの数字が振られている。Ｎ個のｉｓｏレベル画像のそれぞれは、第一の画像３２における個別のｉｓｏレベル面を表す。

本実施形態において、ｉｓｏレベル画像それぞれは、ｉｓｏレベル値のＮ個のセットのうちの一つを使用して、第一のレンダリングされた画像をしきい化することにより取得される。その他の実施形態において、ｉｓｏレベル画像を取得するために、任意の適切な方法を使用することができる。いくつかの実施形態において、セグメンテーション及び／又はクリッピングは、各ｉｓｏレベルを制約するのに使用することができる。

第一のレンダリングされた画像３２から取得されたｉｓｏレベル画像の二つの例４２、４４が、図３に示されている。ｉｓｏレベル画像は、「ボリュームマスク」とも呼ばれることがある。ｉｓｏレベル画像４２、４４のそれぞれは、第一の変換データセットの一例である。

分解回路２６は、第二のレンダリングされた画像３４を、第二の複数のｉｓｏレベル画像へと分解する。本実施形態において、ｉｓｏレベル値が同じであるＮ個のセットは、第一の複数のｉｓｏレベル画像に対して使用されたものと同様の、第二の複数のｉｓｏレベル画像に対して使用される。第二のレンダリングされた画像３４から取得されたｉｓｏレベル画像の二つの例４６、４８が、図３に示されている。ｉｓｏレベル画像４６、４８のそれぞれは、第二の変換データセットの一例である。すなわち、複数の第一の変換データセットを取得するための第一の画像データの処理は、異なる値を使用した第一の画像データに対するしきい化を有し、複数の第二の変換データセットを取得するための第二の画像データの処理は、異なる値を使用した第二の画像データに対するしきい化を有する。

ステージ５０で、分解回路２６は、ｉｓｏレベル画像のうちのそれぞれを、個別の符号付距離場へと転換する。各ｉｓｏレベル画像に対して、符号付距離場は、ｉｓｏレベルの形状を表す。その他の実施形態において、符号付距離場は、ｉｓｏレベルの形状を表す任意の距離変換を使用することもできる。すなわち、第一の距離変換のそれぞれは、第一の変換データセットの個別のｉｓｏレベルの形状を表し、第二の距離変換のそれぞれは、第二の変換データセットの個別のｉｓｏレベルの形状を表す。

（三次元における）符号付距離場は、物体の境界に対する距離を表す値を有する、連続関数
である。符号付距離場は、ｆ（ｘ、ｙ、ｚ）と表される。物体における各点でのｆ（ｘ、ｙ、ｚ）の値は、物体の境界に対する点からの最小距離である。ｆ（ｘ、ｙ、ｚ）＜０は、物体の内部を表す。ｆ（ｘ、ｙ、ｚ）＞０は、物体の外部を表す。物体に対する外側の各ポイントでのｆ（ｘ、ｙ、ｚ）の値は、境界に対する点からの最小距離である。

図４は、二次元における符号付距離場の概略図である。図４の左側は、二つの円を示す。図４の右側は、二つの円に対する距離場を視覚化したものである。距離場は、ｆ（ｘ、ｙ、ｚ）＝０を白へとマッピングし、且つｆ（ｘ、ｙ、ｚ）に対するその他の値をグレーの異なる影へとマッピングする変換関数を使用して視覚化される。図４は、連続しない形状（二つの円）が、単一の距離関数として示すことができるということを実証している。

ステージ５０の出力は、第一のレンダリングされた画像３２から取得された、第一の複数のｉｓｏレベルに対応する、第一の複数のＮ個の符号付距離場を有する。第一の複数の符号付距離場のうちの二つは、図３に符号付距離場５２、５４として示される。符号付距離場５２、５４のそれぞれは、第一の距離変換の一例である。

ステージ５０の出力は、第二のレンダリングされた画像３４から取得された、第二の複数のｉｓｏレベルに対応する、第二の複数のＮ個の符号付距離場を更に有する。第二の複数の符号付距離場のうちの二つは、図３に符号付距離場５６、５８として示される。符号付距離場５６、５８のそれぞれは、第二の距離変換の一例である。

第一の複数の符号付距離場と、第二の複数の符号付距離場とは、データストレージ２０又は任意の適当なメモリに、一時的に格納される。

図２のステージ６０から８０までは、Ｔ０及びＴ１の間における時相ｔに対する補間されたボリュームを取得するために、符号付距離場を使用する。時相ｔは、「Ｔ０及びＴ１の間の一時的な位置」とも呼ばれる。

ステージ６０で、モーフィングされた距離場を取得するために、対応する符号付距離場をモーフィングする。Ｔ０及びＴ１でのフレームに対する対応する各ｉｓｏレベルに対して、新たな符号付距離場が、Ｔ１及びＴ２に対する符号付距離場を補間することで、時相ｔに対して取得される。形状ブレンディング操作は、各フレームの重みを計算するために、一時的な位置ｔを使用して実行される。

符号付距離場のモーフィングは、形状間の点の動きを明白にモデリングすることなく、二つの形状間をボリュームメトリック的に滑らかにモーフィングするために、使用される技法である。本実施形態において、ボリューメトリックモーフィングは、二次元画像に対して実行される。ボリューメトリックとして説明されるのは、位置に関する二次元と、符号付距離の一次元に対して適用されるからである。

符号付距離のモーフィングは、単純な解析的マッピングを有さない形状間で動作するために、使用することができる。例えば、モーフィングは、丸みを帯びた立方体及び球体間に対して単純な解析的マッピングが利用可能できない場合でも、そのような丸みを帯びた立方体及び球体間に対して実行できる場合がある。符号付距離のモーフィングは、バラバラの物体を含む、ジオメトリの大半に対して上手く適用することができることが知られている。

符号付距離場のモーフィングは、例えば、線形、又は二次又は三次補間又は任意の類似する平滑補間法等の、任意の適切な補間法を使用して実行することができる。

本実施形態において、補間回路２８は、同じｉｓｏレベルに対応する符号付距離場のペアを組み合わせる。例えば、符号付距離場５２は、ｉｓｏレベル画像４２から取得されている。ｉｓｏレベル画像４２は、時相Ｔ０の第一の画像３２の第一のｉｓｏレベルである。符号付距離場５６は、ｉｓｏレベル画像４６から取得されている。ｉｓｏレベル画像４６は、ｉｓｏレベル画像４２と同じｉｓｏレベル値に対する、時相Ｔ１の第二の画像３４の第一のｉｓｏレベルである。

符号付距離場５２、５６は、時相Ｔ０及びＴ１の間である時相ｔに基づいた、符号付距離場５２、５６に対するモーフィングにより組み合わせられる。符号付距離場５２、５６がモーフィングされることにより、符号付距離場６２が生成される。

同様に、符号付距離場５４及び５８は、ｉｓｏレベル画像４４及び４８のそれぞれから、第二のｉｓｏレベル値に対して、取得されている。符号付距離場５４、５８は、時相ｔに基づいた符号付距離場５４、５８に対するモーフィングにより組み合わせられる。符号付距離場５４、５８の組み合わせがモーフィングされることにより、符号付距離場６４が生成される。

符号付距離場６２、６４は、モーフィングされた距離変換の一例である。

二つのモーフィングされた符号付距離場６２、６４のみが図３で描かれているが、実際には、符号付距離場の各対応するペアが一緒にモーフィングされる。ここで符号付距離場の各対応するペアは、同じｉｓｏレベル値を有するｉｓｏレベル画像から取得された符号付距離場を有する。すなわち、第一の距離変換のうちの少なくとも一つと第二の距離変換のうちの少なくとも一つとの組み合わせは、第一の距離変換と第二の距離変換とのペアを具備し、各ペアはパラメータに対する共通の値を有しており、組み合わせに基づいた少なくとも一つのモーフィングされた距離変換の生成は、それぞれのペアの間の補間を具備する。

更なる実施形態において、一緒にモーフィングされる符号付距離場のペアのうちの少なくともいくつかは、異なるｉｓｏレベル値を有するｉｓｏレベル画像から取得される。異なるｉｓｏレベル値を有する画像を共にモーフィングすることは、キャプチャされた組織の強度における不一致について明確にするために、使用される。例えば、同じ組織タイプであっても、異なる画像において異なる強度値を有するように見える場合がある。強度値の不一致が生じる理由の一つとしては、コントラストがフェードアウトしているという場合がある。ある状況では、同じ組織タイプを表す画像を一緒にモーフィングすることで、異なる強度値を有する画像の組み合わせとなる場合がある。いくつかの実施形態において、組み合わせられる予定のｉｓｏレベルは、モデリングにより推定することができる。またいくつかの実施形態において、組み合わせられる予定のｉｓｏレベルは、ユーザが選択することもできる。すなわち、ペアのうちの少なくともいくつかは、第二の距離変換と第一の距離変換とに関して、パラメータに関して異なる値を有し、少なくとも一つのモーフィングされた距離変換の生成は、それぞれのペアの間の補間を具備する。

ステージ７０で、補間回路２８は、モーフィングされた符号付距離場のそれぞれを、関連したｉｓｏレベル値を持つｉｓｏレベル画像（「ボリュームマスク」とも呼ばれる）へと、変換し戻す。

ステージ８０で、ステージ７０のｉｓｏレベル画像の全てを、単一のボリューム８２へと蓄積する。本実施形態において、ｉｓｏレベル画像は、現在のモーフィングされたｉｓｏレベルと過去のモーフィングされたｉｓｏレベルとの間の最大強度値を選択することで、蓄積される。補間回路２８は、各ボクセルに対して、各モーフィングされたｉｓｏレベルの最大強度を選択する。全てのボクセル値に対して、距離場を値空間（ｖａｌｕｅ ｓｐａｃｅ）へとマッピングし戻した後、各ｉｓｏレベル（補間された形状）を表す、値のセットを得る。補間回路２８は、最大値を得る処理を、各ｉｓｏレベルに対して繰り返す。各ｉｓｏレベルに対して、補間回路２８は、現在のボクセル値と過去のボクセル値とを比較する。ここで、現在の値は、現在検討されているｉｓｏレベルに対するデータセットに基づくものであり、過去の値は、事前に検討されたｉｓｏレベルから決定されたままの最大値である。補間回路２８は、現在の値の最大値と過去の値の最大値とを選択する。すなわち、アップサンプリングされた画像データを取得するためのモーフィングされた距離変換の処理は、ボクセルのそれぞれにおけるモーフィングされた距離変換のうちの最大強度の選択を具備する。

その他の実施形態において、ｉｓｏレベル画像を組み合わせるために、任意の適切な方法を使用することができる。例えば、オーバーオペレータを使用することがある。

図５は、それぞれが一つの画像へと組み合わせられた、複数のｉｓｏレベル画像の例を示している。ｉｓｏレベル画像は、例えば、ステージ７０で取得されたような、モーフィングされたｉｓｏレベル画像である。ｉｓｏレベル画像のそれぞれにおいて、－１８０、－１１、７７、１６６、２５５、３４４、４３３、５２２、６１１、７００の値についてのハンスフィールド値が取得される。ｉｓｏレベル画像のそれぞれは、図５におけるハンスフィールドレベルを参照している。

図５は、図５の個別のｉｓｏレベル画像の全てが単一の画像（図５の例はスライス画像）へと組み合わせられた画像９０も示している。

図２の方法により、フレーム間の動きを良好に認識可能な、効果的な一時的なアップサンプリング技法を容易に使用することができる。図２の方法は、１０ｆｐｓから２０ｆｐｓの間のフレームレートの範囲でキャプチャされたシーケンスに対して、特に有用である。

図２のモーフィング処理を実行するのに必要とされるリソースは、例えば、レジストレーションベースの補間の方法を提供するのに必要とされるリソースと比べて、ずっと少ない場合がある。また、モーフィングのアルゴリズムは、失敗しにくいことが知られている。図２の処理は、補間により中間フレームを取得するロバスト法を提供することができる。一般的に、モーフィングは、レジストレーションに比べて、シンプルなアルゴリズムである。図２の方法は、例えばＧＰＵにおいてより効率的に計算される。

ある状況では、図２の方法により、リソース要件を減らすことができるため、他の場合に比べて、使用される予定のフレームレートを低くすることができる。

ある状況では、図２の方法は、時間的解像度と空間的解像度との中間的方法として使用することができる。例えば、スキャナは、高い空間的解像度かつ低いフレームレート、又は、低い空間解像度且つ高いフレームレートのどちらかで、フレームをキャプチャするよう構成することができる。図２の方法では、高解像度且つ低フレームレートで収集される画像を使用する一方で、補間によりフレームレートが増加した表示が提供される。

図２の方法は、例えば心臓弁等が動く間、心臓弁がビューに現れたりビューから消えたりする場合に対して、適用することができる。図２の方法は、様々な異なるモダリティに対して適用可能である。

図２を参照し上で説明された実施形態において、時相ｔでの単一の中間フレームは、時相Ｔ０での第一のフレームと時相ｔ１での第二のフレームとの間で補間される。その他の実施形態において、複数の中間フレームは、第一のフレームと第二のフレームとの間の異なる時間で補間することができる。異なる時間に対する中間フレームは、第一のフレームの符号付距離場と第二のフレームの符号付距離場との間の組み合わせの異なる重み付けにより、取得することができる。この場合、第一の距離変換のうちの少なくともいくつかと第二の距離変換のうちの少なくともいくつかとの組み合わせは、第三時相と第一時相との差と、第三時相と第二時相との差とに基づいて重み付けされる。

図２を参照し上で説明された実施形態において、フレームは、ｉｓｏレベル画像へと分解される。その他の実施形態において、任意の適切な分解を使用することができる。例えば、セグメンテーション及び／又はクリッピングを使用して、画像のセットを取得することができる。ｉｓｏレベル画像は、セグメンテーション取得のための開始点として使用することができる。セグメンテーションマスクは、ｉｓｏレベルと一緒に使用することができる。係るセグメンテーションマスクは、ボリュームを分解した形状の部分から、除外することができる。

いくつかの実施形態において、分解回路２６は、ボリュームを各ｉｓｏレベルにおける複数の形状へと分類する。一つの対象ｉｓｏレベルにおいて、分解回路２６は、ボリュームを複数の形状へと分解することができる。各複数の形状は、個別にモーフィングされ、且つ、補間回路２８によりアップサンプリングされたボリュームを再構成するように、組み合わせることができる。

例えば、心臓撮像の場合に、血管は、心臓における血液プール（血液貯留部）とｉｓｏ範囲において重複する。いくつかの実施形態において、血管は、メインの血液プールと同じ又は似たようなｉｓｏレベルを共有していても、セグメントされ、メインの心臓から個別の形状へと分けられる。

上で説明された実施形態において、ｉｓｏレベルは、フレーム毎に単一のボリュームから取得される。その他の実施形態において、ｉｓｏレベルは、複数のボリュームから取得することもできる。例えば、複数のボリュームは、異なるモダリティを使用して取得することができる。またボリュームは、例えばコントラスト付きとコントラスト無しのように、同じモダリティにおける異なるスキャンから取得することができる。複数のボリュームからのｉｓｏレベルは、動作が補間された合成ボリュームへと再構成される。この場合、第一の画像データ及び第二の画像データのそれぞれは、複数の異なる取得方法で取得された複数の画像データを具備する。

いくつかの実施形態において、画像化された生体構造の一部ではない形状を組み込むために、符号付距離場を利用することができる。生体構造の一部ではない形状は、「外部形状」と呼ぶこともできる。外部形状は、例えば、生体構造へと取り込まれる予定の物体又はデバイスを表す。例えば、外部形状は、インプラントモデルである。外部形状は、例えばメッシュ構造の物体や数学的な形状等、任意の適当な形状タイプである。この場合、ＣＰＵ２２は、第一の距離変換及び第二の距離変換のそれぞれに対して、被検体の一部ではない部分の表示を組み込む。外部形状は、被検体の一部ではない部分の一例である。

符号付距離場は、静的であってもよく、動的であってもよい。符号付距離場は、モデリング又はユーザ選択により推定される。

外部形状は、ボリュームデータと合成され、アップサンプリングされたボリュームの一部となる場合がある。アップサンプリングに外部形状を含むことにより、ボリュームレンダリングに外部形状を含むことが容易になる。

次に、フレームのシーケンスから動画化されたビューを取得する問題に移る。フレームの初期シーケンスが、ユーザにとってスムーズに見えるようなアニメーションを提供するのには不十分なフレームレートで取得される場合について考える。図２の方法は、フレームの近傍するペア間を補間するために使用される。

図６は、実施形態に係る、動画を提供する方法の概要を描くフローチャートである。

図６のステージ１００で、レンダリング回路２４は、フレームのシーケンスを表すデータを受け取る。フレームのシーケンスは、フレーム間の補間が何も行われない場合に、ユーザに対してスムーズに見えるアニメーションを提供するのには不十分なフレームレートでキャプチャされている。

レンダリング回路２４は、フレームのシーケンスのそれぞれから個別の画像をレンダリングする。各画像に対して、分解回路２６は、複数のｉｓｏレベル値のそれぞれに対する、符号付距離場を抽出する。分解回路２６は、データストレージ２０又は任意の適当なメモリに符号付距離場を格納する。

ステージ１０２で、補間回路２８は、フレームのシーケンスの近傍するフレーム間である、新たなタイムポイント（例えば、第一のタイムポイント）へと移動する。ステージ１０４で、補間回路２８は、モーフィングされた符号付距離場を取得するために、二つの近傍するフレームの各ｉｓｏレベルに対する、各符号付距離場をモーフィングする。ステージ１０６で、補間回路２８は、図２のステージ７０と８０とを参照して上で説明されたように、モーフィングされた符号付距離場から、中間フレーム（「ボリューム」とも呼ばれる）を再構成する。

フローチャートは、その後ステージ１０２へと戻り、新たなタイムポイントが選択される。いくつかの実施形態において、補間回路２８は、シーケンスにおける近傍するフレームの各ペア間の単一の中間フレームを取得するために、近傍のフレームの各ペア間で単一のタイムポイントに対するモーフィング処理を実行する。いくつかの実施形態において、補間回路２８は、シーケンスにおける近傍するフレームの各ペア間の複数の中間フレームを取得するために、近傍するフレームの各ペア間で複数のタイムポイントに対するモーフィング処理を実行することもできる。

補間回路２８は、元の（オリジナルの）フレーム及び補間されたフレームに対して、画像データを有する動画データのセットを出力する。レンダリング回路２４は、結果として生成される動画（アニメーション）を表示する。係るアニメーションは、フレームのオリジナルのシーケンスと、図６の処理の間に生成された中間フレームとを有する。係るアニメーションは、フレームのオリジナルのシーケンスから生み出されたアニメーションに比べて、ユーザにとってよりスムーズに見えることがある。

図６の方法において、前もって、オリジナルのボリュームが符号付距離場へと分解され、分解の結果は、一時的に保存される。前もって分解が実行されることにより、アニメーションに必要とされる処理リソースを減らすことができる。すなわち、第一の変換データセット及び第二の変換データセットを取得するための処理は、前もって実行され、取得された第一の変換データセット及び第二の変換データセットは、一時的にメモリ２０等に保存される。

図７は、更なる実施形態に従って、アニメーション（動画）を提供する方法の概要を描くフローチャートである。図６の実施形態において、アニメーションされる予定のフレームのシーケンス全体は、アニメーション処理の冒頭において既に利用が可能である。図７の方法において、アニメーションは、リアルタイムに受け取られているフレームに対して実行される。図２のアルゴリズムは、リアルタイムの一つ前のフレームに対してアニメーションを実行することにより、ライブモードで適用される。

ステージ１１０で、分解回路２６は、フレームのペアの取得を待機する。ステージ１１２で、分解回路２６は、フレームの各ペアに対する複数のｉｓｏレベル値のそれぞれに対する、符号付距離場を抽出する。分解回路２６は、データストレージ２０又は任意の適当なメモリに、符号付距離場を格納する。

図７の方法において、画像の各ペアの符号付距離場への分解は、時相ｔに対して直前又は同時に実行され、時相ｔでの単一の補間に対して必要とされる結果の集合（サブセット）が一時的に保存される。

ステージ１１４で、補間回路２８は、次に出現しているフレームに対して推定された時間に基づいたリアルタイムパラメータを使用し、ボリュームを再構成する。

例えば、ｔ＝１０秒で収集された前のフレームと、ｔ＝１３秒での新たなフレームとの場合を検討する。対象フレームレートが３０ｆｐｓの場合（例えば、一秒の１／３０で画像を再構成することが可能なハードウェアを有している場合）に、補間回路２８は、次のフレームが予期されるのがいつであっても、９０個のフレームを生成し、３０ｆｐｓでフレームを表示する。時間の推定は、遅延したリアルタイム再生の提供のようなものである。

図７の方法は、図２の方法を使用してボリュームフレームの最後のセット間で、新たなフレームがいつ現れるのかという予測に基づいたスピードで、補間されたフレームを提供する。

図７の方法は、収集時間ステップにおいて、本当のリアルタイム結果よりも後の時間でオフセットされる、スムーズなリアルタイムモーションの表示を提供することができる。図７の方法は、待機時間が僅かに増加するが、スムーズなリアルタイムでの表示を提供することができる。待機時間の増加は、リアルタイムの代わりに、リアルタイムよりも一つ後のフレームでレンダリングが実行されることにより生じる。

図７の方法は、超音波等のモダリティにおいて特に役に立つ場合がある。ある状況では、図７の方法は、非常に重い処理を含む場合がある。その処理は、例えばＧＰＵを使用して実行される。

図８は、実施形態におけるセグメンテーションの利用方法を描く概略図である。セグメンテーションは、生体構造ごとに補間の動作を分割することに使用することができる。ある状況では、生体構造は、動きの異なる位相において現れたり消えたりすることがある。例えば、心臓の動きにおいて、動きの周期にわたり、弁が現れたり消えたりすることが予想される。

その他の状況では、生体構造の消失が、望まれない場合がある。例えば、血管は、ある心臓の位相において、完全に目に見えない場合がある。血管の見え方が不十分な理由の一つは、コントラストの欠如である。別の理由としては、撮像アーチファクトの存在という場合がある。例えば、冠動脈は、心筋と比較されたモーションアーチファクトにより、典型的に影響を受ける場合がある。これにより、いくつかの位相でボリュームデータにおける冠動脈の欠如に繋がる場合がある。

血管の見え方が不十分な位相を補間で使用しない方が好ましいことがある。生体構造が特定の位相で示されていない場合に、係る位相を使用する補間が生体構造を消す場合もある。

生体構造が精確に表されていないセグメンテーションを、「不十分なセグメンテーション」又は「欠損」と呼ぶ場合がある。欠損が存在することを判断するのに、任意の適切な方法を使用することができる。いくつかの実施形態において、欠損があるかを判断するための制約が使用される。例えば、血管セグメンテーションが不十分であるかを判断するのに、血管が予測されるボリュームを有するかを決定するために、血管ボリュームについての制約を使用することができる。

図８は、三つのフェーズの例を示している。即ち、フェーズ１、フェーズ２、フェーズ３である。

実施形態において、分解回路２６は、各位相に対し、高ｉｓｏレベル画像１２０、中ｉｓｏレベル画像１２２、低ｉｓｏレベル画像１２４を取得する。分解回路２６は、高、中、低のｉｓｏレベルを、第一の心臓セグメンテーション１３０（高ｉｓｏレベル）、第二の心臓セグメンテーション１３２（中ｉｓｏレベル）、第三の心臓セグメンテーション１３４（低ｉｓｏレベル）に対する開始ポイントとして使用する。画像及びセグメンテーションは、フェーズ１に対しては、１２０Ａ、１２２Ａ、１２４Ａ、１３０Ａ、１３２Ａ、１３４Ａ；フェーズ２には、１２０Ｂ、１２２Ｂ、１２４Ｂ、１３０Ｂ、１３２Ｂ、１３４Ｂ；そしてフェーズ３には、１２０Ｃ、１２２Ｃ、１２４Ｃ、１３０Ｃ、１３２Ｃ、１３４Ｃ、により示される。ｉｓｏレベル画像１２０、１２２、１２４、及び心臓セグメンテーション１３０、１３２、１３４は、第一の変換データセット又は第二の変換データセットの一例である。

分解回路２６は、セグメンテーションのうちのどれに欠損があるかを評価する。示された例では、フェーズ１とフェーズ３とにおける全てのｉｓｏレベル（１３０Ａ、１３２Ａ、１３４Ａ、１３０Ｃ、１３２Ｃ、１３４Ｃ）での、心臓セグメンテーションは良好ということが判明している。心臓セグメンテーションは、フェーズ２の低ｉｓｏレベルに対しても良好である。しかし、フェーズ２の高及び中ｉｓｏレベルの１３０Ｂ、１３２Ｂでの心臓セグメンテーションは、不十分である。フェーズ２で特定されている欠損について検討する。すなわち、分解回路２６は、第一の変換データセットと前記第二の変換データセットとに基づいて、第一の画像データ及び／又は第二の画像データの欠損を特定する。特定された欠損は、第一の画像データ及び／又は第二の画像データに表された少なくとも一つの物体のセグメンテーションにおける欠損である。

いくつかの実施形態において、補間回路２８は、例えば図２を参照に上で説明されたようなモーフィング処理等の補間処理において、フェーズ２の高ｉｓｏレベル及び中ｉｓｏレベルを除外する。ある状況では、フェーズ１とフェーズ３との間において、フェーズ２を使用せず直接補間を実行する。すなわち、補間回路２８は、欠損の特定に基づいて、動画データを生成する。具体的には、画像データのそれぞれから取得された複数のフレームを具備し、動画データの生成は、動画データから、欠損が特定された画像データに基づいた動画フレームのうち少なくとも一部を除外することを具備する。

見え方が不十分な画像を除外することで、アニメーション全体が改良される。特定の生体構造の見え方が不十分な画像が補間処理において使用されなければ、より良い補間を取得することができる。補間回路２８は、セグメントされた生体構造が上手く表されないフレームを省くことができる。例えば、心臓は９つの位相にわたり補間することができるが、血管は６つの位相にわたって補間することができる。全ての位相は、一つのボリュームへと組み合わせることができる。

図９は、実施形態におけるセグメンテーションの更なる利用の概略図である。図９の実施形態において、何ら補間は実行されない。

分解回路２６は、図８に示されるような各フレームに対して、高、中、そして低ｉｓｏレベルに対して取得される心臓セグメンテーションを取得する。任意の適切なセグメンテーション法を使用することができる。図９の実施形態において、心臓セグメンテーションは、全て良好であることが分かっており、欠損は何ら特定されていない。

分解回路２６は、任意の適当なセグメンテーション法を使用して、高ｉｓｏレベル１４０、中ｉｓｏレベル１４２のそれぞれに対しても、血管セグメンテーション１５０及び１５２を取得する。

図９に示される例において、フェーズ２に対する血管セグメンテーションは不十分である。分解回路２６は、血管セグメンテーションがフェーズ２におけるそれらのセグメンテーションにより上手く表されていないことを検出する。分解回路２６は、フェーズ２における欠損を特定する。

欠損に関して、フェーズ２は、動画データにおける複数のフェーズ（位相）の動画においてスキップされる。従って、血管が上手く表されない位相は、血管に対してスキップされる一方、残りの心臓に対するフレームは、アクティブに維持される。血管のアニメーションは、心臓の残りの部分のアニメーションがフェーズ１、フェーズ２、フェーズ３の全てを含む一方で、フェーズ１からフェーズ３へと一足飛びに進む。分解回路２６は、フェーズ２における血管の描写が除外され、フェーズ１の血管のより良い描写に置き換えられた、フレームのシーケンスを有する動画データのセットを出力する。レンダリング回路２４は、出力された動画データのレンダリング結果であるアニメーションを表示する。

一般的に、出力された動画データは、欠損を含むと判明しているフレーム又はフレームの一部を除外することができる。欠損は、例えば不十分な血管セグメンテーション等、上で説明された不十分なセグメンテーションを有する場合がある。その他の実施形態において、任意の適切な欠損を特定することができ、また欠損を含むフレームを又はフレームの一部を省くことができる。検出された形状が適切な形状を持たない場合には、フレーム全体を省くことができる。

図９の方法を使用することにより、異なるｉｓｏレベルへの分解は、補間が使用されない場合でも、アニメーションを改善するのに使用することができる。動きにより影響を受けやすい身体部分（例えば冠動脈）の視覚化の際に、画像データを複数のｉｓｏレベルへとディバイド及び／又はセグメンテーションすることにより、信頼できるデータのみを使用し、不十分なデータを除外することができる。

適用可能な生体構造（例えば冠動脈）は、全ての時相において視覚化することができる。ユーザは、特定の生体構造が持続して表示されるアニメーションを観察することに、より快適に動画を観察することができる。ユーザは、不十分な生体構造の描写を持つフレームが少なくとも部分的に省かれたアニメーションを、より容易に観察することができる。

上での実施形態において、レンダリング、ｉｓｏレベルの抽出、符号付距離場の抽出、符号付距離場のモーフィング、そしてｉｓｏレベルへのモーフィングされた符号付距離場の変換、及びｉｓｏレベルを組み合わせるステップは、別々のステップとして全て説明されている。その他の実施形態において、これらのステップのうちの二つ又はそれ以上の機能を、単一のステップへと組み合わせることができる。更なる実施形態において、上で説明されたステップのうちの一つ又は複数は、複数のステップへと分けることもできる。

上での実施形態において、様々なデータセット（例えば、画像、ｉｓｏレベル画像及び／又は符号付距離場を表すデータセット）がデータストレージ２０に格納される。その他の実施形態において、データセットのうちのいくつか又は全ては、任意の適切なデータストレージに格納することができる。データセットのうちのいくつか又は全ては、局所的に、一時的に保存することができる。データセットのうちのいくつか又は全ては、格納されることなく、直接使用することもできる。

方法は、上記において、特に心臓の医用撮像における医用撮像に関して説明されている。その他の実施形態において、上で説明された方法は、任意のヒト又は動物検体の任意の解剖学的領域の医用撮像に関して、使用することができる。医用という言葉は、獣医を含む場合がある。更なる実施形態において、上で説明された方法は、医用でない種類の任意の適切な撮像に適用することができる。例えば、上で説明された方法は、自動車部門や航空宇宙部門での流体シミュレーションの結果を視覚化するのに、使用することができる。上で説明された方法は、油やガスに対するボリュームレンダリングにおいて使用することができる。上で説明された方法は、ソナーのボリュームレンダリングに対して使用することもできる。

特定の実施形態は、一時的な位置、予め定めたｉｓｏレベルのセット、そしてボリュームフレーム間における一時的な位置ｔを表すボリュームのセット（最低２つ）を有する、医用撮像方法を提供する。その中で、補間されるボリュームは、次により生成される。（１）ボリュームをｉｓｏレベルのセットへと分解、及び、ｉｓｏレベルの形状を表す符号付距離場の生成；（２）補間近傍におけるフレームに対する各対応するｉｓｏレベルに対して、新たな符号付距離場が距離場を補間することにより作り出され、一時的な位置ｔを使用した形状ブレンディング操作により各フレームの重みが計算される；（３）モーフィングされた距離場の結果として生じるセットは、各ボクセルに対して、各モーフィングされたｉｓｏレベルの最大強度を選択することにより、目的のボリュームへと蓄積し戻される。

ステップ１は前もって行うことができ、且つ結果は一時的に保存される。ステップ１は、同時に行われる場合もある。補間ｔに対して必要とされる結果のサブセットを一時的に保存することができる。符号付距離場ブレンディング操作に対して使用される補間法は、線形、二次、三次又は類似するスムーズな補間法とすることができる。フレーム間のｉｓｏレベルは、キャプチャされた組織の強度における不一致を明らかにするために、異なる場合がある。セグメンテーション及び／又はクリッピングは、各ｉｓｏレベルを制約するのを許可することがある。複数のボリュームからのｉｓｏレベルを含むことがあり、また動作補間された合成ボリュームへと再構成することができる。符号付距離場は、静的であっても、又は動画であっても、外部形状を組み込むために、含むことができる。ｉｓｏレベルは手動で選択することができる。ｉｓｏレベルは、ユーザに示されたビューに基づいて視認性ヒストグラムを使用して計算されたボリュームの、最も視認可能な部分を選択することで、選択することができる。キーフレームにおいて、最も少ない差の量を最終画像に生じさせるように、ｉｓｏレベルを分類する深層学習ニューラルネットワークを使用することができる。

システムは、次によりほぼリアルタイムで適用することができる。収集処理においてボリュームを取得するのを待機し、システムが分解を実行し、各ｉｓｏレベルと関連付けられた符号付距離場のセットを格納するのを待機する；ボリュームフレームの最後のセットの間で補間されたセットを、次のフレームがいつ現れるかの予測に基づいた方法及び速度を使用して、提供する。これにより、真にリアルタイムでの結果よりも一つ前の収集タイムステップにより、スムーズなリアルタイムでの表示を実現することができる。

特定の実施形態は、第一のタイミングに対応する第一の画像データと、前記第一のタイミングとは異なるタイミングである第二のタイミングに対応する第二の画像データと、を収集し、前記第一の画像データを前記第二の画像データとを画像データのパラメータに基づいて、複数の第一の変換されたデータと、複数の第二の変換されたデータとを変換し、前記第一の変換されたデータと前記第二の変換されたデータとを、第一の符号付距離場と第二の符号付距離場とに変換し、前記パラメータに基づいて、前記第一の符号付距離場と前記第二の符号付距離場との組み合わせを選択し、前記第一の符号付距離場と前記第二の符号付距離場との前記組み合わせに基づいてモーフィングされたデータを生成し、前記第一の画像データと前記第二の画像データとの間のアップサンプリングされた画像データを生成する、ように前記パラメータ値に従って生成された、前記モーフィングされた複数のデータを処理することで、構成された処理回路を具備する画像処理装置を提供する。

特定の実施形態は、第一のタイミングに対応する第一の画像データと、前記第一のタイミングとは異なるタイミングである第二のタイミングに対応する第二の画像データと、を収集し、前記第一の画像データと前記第二の画像データとを画像データのパラメータに基づいて、複数の第一の変換されたデータと、複数の第二の変換されたデータとに変換し、前記第一の変換されたデータと前記第二の変換されたデータとに基づいて、画像データの欠損を特定し、前記特定手順に基づいて動画データを生成する、よう構成された処理回路を具備する画像処理装置を提供する。

以上説明した少なくとも１つの実施形態によれば、フレーム間の動きを良好に認識可能なアップサンプリングを行うことができる。

本明細書では、特定の回路について説明してきた。代わりの実施形態では、これらの回路のうち一つ又は複数の機能は単一の処理リソース又はその他の構成要素によって提供可能であり、或いは、単一の回路によって提供される機能は、組み合わされた二つ以上の処理リソース又はその他の構成要素を組み合わせによって提供することができる。単一の回路への言及は、その回路の機能を提供する複数の構成要素が互いに遠隔であるかどうかに関わらず、そのような構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…医用画像処理装置
１２…計算装置
１４…ＣＴスキャナ
１６…表示スクリーン
１８…入力装置
２０…メモリ
２２…ＣＰＵ
２４…レンダリング回路
２６…分解回路
２８…補間回路
３２、３４…画像フレーム
４２、４４、４６、４８…ｉｓｏレベル画像
５２、５４、５６、５８、６２、６４…符号付距離場
８２…ボリューム
９０…画像
１２０、１４０…高ｉｓｏレベル画像
１２２、１４２…中ｉｓｏレベル画像
１２４…低ｉｓｏレベル画像
１３０、１３２、１３４…心臓セグメンテーション
１５０、１５２…血管セグメンテーション
Ｔ０、Ｔ１、ｔ…時相

Claims (22)

1. 第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集し、
   複数の第一の変換データセットを取得するために、前記第一の画像データを処理し、
   複数の第二の変換データセットを取得するために、前記第二の画像データを処理し、
   第一の距離変換を取得するために、前記複数の第一の変換データセットのそれぞれを変換し、
   第二の距離変換を取得するために、前記複数の第二の変換データセットのそれぞれを変換し、
   前記第一の距離変換のうちの一つと、前記第二の距離変換のうちの一つとを含む組み合わせを複数個選択し、
   複数の前記組み合わせのそれぞれについて、モーフィングされた距離変換を生成し、
   前記第一時相と前記第二時相との間の第三時相での前記被検体を表すアップサンプリングされた画像データを取得するために、複数のモーフィングされた距離変換を合成する、
   ように構成された処理回路を具備する、画像処理装置。
2. 前記処理回路は、
   前記画像データのパラメータに基づいて前記第一の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第一の変換データセットを取得し、
   前記パラメータに基づいて前記第二の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第二の変換データセットを取得し、
   前記パラメータに基づいて、前記組み合わせを選択する、
   請求項１記載の装置。
3. 各前記第一の距離変換は、個別の第一の符号付距離場を具備し、各前記第二の距離変換は、個別の第二の符号付距離場を具備し、前記少なくとも一つのモーフィングされた距離変換は、少なくとも一つのモーフィングされた距離場を具備する、
   請求項１記載の装置。
4. 前記画像データの前記パラメータは、強度を具備する、
   請求項２記載の装置。
5. 前記複数の第一の変換データセットを取得するための前記第一の画像データの処理は、異なる値を使用した前記第一の画像データに対するしきい化を有し、
   前記複数の第二の変換データセットを取得するための前記第二の画像データの処理は、異なる値を使用した前記第二の画像データに対するしきい化を有する、
   請求項４記載の装置。
6. 前記第一の距離変換のそれぞれは、前記第一の変換データセットの個別のｉｓｏレベルの形状を表し、
   前記第二の距離変換のそれぞれは、前記第二の変換データセットの個別のｉｓｏレベルの形状を表す、
   請求項１記載の装置。
7. 前記第一の距離変換のうちの少なくとも一つと前記第二の距離変換のうちの少なくとも一つとの前記組み合わせは、前記第一の距離変換と前記第二の距離変換とのペアを具備し、各ペアは前記パラメータに対する共通の値を有しており、
   前記組み合わせに基づいた前記少なくとも一つのモーフィングされた距離変換の前記生成は、それぞれの前記ペアの間の補間を具備する、
   請求項２記載の装置。
8. 前記第一の距離変換のうちの少なくとも一つと、前記第二の距離変換のうちの少なくとも一つとの前記組み合わせは、前記第一の距離変換と前記第二の距離変換とのペアを具備し、
   前記ペアのうちの少なくともいくつかは、前記第二の距離変換と前記第一の距離変換とに関して、前記パラメータに対して異なる値を有し、
   前記少なくとも一つのモーフィングされた距離変換の前記生成は、それぞれの前記ペアの間の補間を具備する、
   請求項２記載の装置。
9. 前記第一の距離変換のうちの少なくともいくつかと前記第二の距離変換のうちの少なくともいくつかとの前記組み合わせは、前記第三時相と前記第一時相との差と、前記第三時相と前記第二時相との差とに基づいて重み付けされる、
   請求項１記載の装置。
10. アップサンプリングされた画像データを取得するための前記モーフィングされた距離変換の前記処理は、ボクセルのそれぞれにおけるモーフィングされた距離変換のうちの最大強度の選択を具備する、
    請求項１記載の装置。
11. 前記第一の変換データセット及び前記第二の変換データセットを取得するための前記処理は、前もって実行され、取得された前記第一の変換データセット及び前記第二の変換データセットは、一時的に保存される、
    請求項１記載の装置。
12. 前記第一の画像データ及び前記第二の画像データのそれぞれは、複数の異なる取得方法で取得された複数の画像データを具備する、
    請求項１記載の装置。
13. 前記第一の距離変換及び前記第二の距離変換のそれぞれに対して、前記被検体の一部ではない部分の表示を組み込むことを更に具備する、
    請求項１記載の装置。
14. 前記パラメータに基づいた前記第一の画像データと前記第二の画像データとの前記処理は、前記パラメータについて複数の値を選択することを具備する、
    請求項２記載の装置。
15. 前記パラメータについての前記複数の値の前記選択は、学習済みモデルにより実行される、
    請求項１４記載の装置。
16. 第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集することと、
    複数の第一の変換データセットを取得するために、前記第一の画像データを処理することと、
    複数の第二の変換データセットを取得するために、前記第二の画像データを処理することと、
    第一の距離変換を取得するために、前記複数の第一の変換データセットのそれぞれを変換することと、
    第二の距離変換を取得するために、前記複数の第二の変換データセットのそれぞれを変換することと、
    前記第一の距離変換のうちの一つと、前記第二の距離変換のうちの一つとを含む組み合わせを複数個選択することと、
    複数の前記組み合わせのそれぞれについて、少なくとも一つのモーフィングされた距離変換を生成することと、
    前記第一時相と前記第二時相との間の第三時相での前記被検体を表すアップサンプリングされた画像データを取得するために、複数のモーフィングされた距離変換を合成することと、
    を具備する画像処理方法。
17. 前記複数の前記第一の変換データセットを取得することは、前記画像データのパラメータに基づいて前記第一の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第一の変換データセットを取得することを含み、
    前記複数の前記第二の変換データセットを取得することは、前記パラメータに基づいて前記第二の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第二の変換データセットを取得することを含み、
    前記組み合わせを選択することは、前記パラメータに基づいて、前記組み合わせを選択することを含む、
    請求項１６記載の方法。
18. 第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集し、
    複数の第一の変換データセットを取得するために、前記第一の画像データを処理し、
    複数の第二の変換データセットを取得するために、前記第二の画像データを処理し、
    前記第一の画像データ及び／又は前記第二の画像データの欠損を特定し、前記欠損の前記特定は、前記第一の変換データセットと前記第二の変換データセットとに基づいて実行され、
    前記欠損の前記特定に基づいて、動画データを生成する、
    よう構成された処理回路を具備し、
    前記処理回路は、
    前記画像データのパラメータに基づいて前記第一の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第一の変換データセットを取得し、
    前記パラメータに基づいて前記第二の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第二の変換データセットを取得する、
    装置。
19. 前記動画データは、画像データのそれぞれから取得された複数のフレームを具備し、
    前記動画データの前記生成は、前記動画データから、前記欠損が特定された前記画像データに基づいた動画フレームのうち少なくとも一部を除外することを具備する、
    請求項１８記載の装置。
20. 前記特定された欠損は、前記第一の画像データ及び／又は前記第二の画像データに表された少なくとも一つの物体のセグメンテーションにおける欠損である、
    請求項１８記載の装置。
21. 前記動画データの前記生成は、アップサンプリング手順を使用して、アップサンプリングされた動画データフレームを取得することを具備し、
    前記欠損が特定された前記画像データのうちの少なくとも一部は、前記アップサンプリング手順から除外される、
    請求項１８記載の装置。
22. 第一時相での被検体を表す第一の画像データと、前記第一時相と異なる第二時相での前記被検体を表す第二の画像データとを収集することと、
    複数の第一の変換データセットを取得するために、前記第一の画像データを処理することと、
    複数の第二の変換データセットを取得するために、前記第二の画像データを処理することと、
    前記第一の画像データ及び／又は前記第二の画像データの欠損を特定することと、前記欠損の前記特定は、前記第一の変換データセットと前記第二の変換データセットとに基づいて実行され、
    前記欠損の前記特定に基づいて動画データを生成することと、
    を具備し、
    前記複数の前記第一の変換データセットを取得することは、前記画像データのパラメータに基づいて前記第一の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第一の変換データセットを取得することを含み、
    前記複数の前記第二の変換データセットを取得することは、前記パラメータに基づいて前記第二の画像データを処理することにより、前記パラメータのそれぞれの値に対応する複数の前記第二の変換データセットを取得することを含む、
    画像処理方法。