JP4825875B2 - 時間変化する低解像度の画像データと共に高解像度の画像データを表示する方法 - Google Patents

Description

本発明は、時間変化する低解像度の画像データと共に高解像度の画像データを表示する方法に関する。より詳細には、本発明は、低解像度の機能データと共に高解像度の構造化データの表示に関する。

たとえばコンピュータ断層撮影（ＣＴ）といった医用画像形成技術を使用して、構造的又は解剖学的な情報を提供することが知られている。この解剖学的情報は、ＣＴスキャンの対象となる骨、組織等に関する情報を含む。この解剖学的な画像データを高解像度で得ることができる。

また、機能的な情報を与えるために医用画像形成技術を使用することも知られている。この情報は、スキャンの対象である組織を構成する細胞の機能を示す。たとえば、ラジオアイソトープ（ＲＩ）画像形成が使用される。放射性崩壊から生じた放射線が使用され、人体における投与された放射性トレーサの局所的な濃度が決定される。通常、機能的な情報は、時間変化し、時間を通したプロセスにおける変化を示す。解剖学的な情報とは異なり、機能的な情報は、しばしば低解像度からなり、機能的な情報を人体の特定の部位と関連付けするのを困難にする。

ＵＳ２００４／００４４２８２Ａ１は、構造的及び機能的スキャンが順次に実行される医用画像形成システム及び方法に関する。第一に、冠動脈のＣＴスキャンが実行され、動脈の構造化データが取得される。第二に、冠動脈のＰＥＴ（陽電子放出型断層撮影装置−Position Emission Tomography）スキャンが実行され、動脈の機能データが取得される。次いで、ＣＴスキャンのデータは、ＰＥＴスキャンのデータと結合され、構造化データ及び機能データが１つの画像で表示されるのが可能となる。この画像は、実際に静的又は動的である。

有効な動的な画像を生成するため、十分に高く補償されるフレームレートで動的なデータを表示することが必要である。現在のコンピュータハードウェアによれば、２０Ｈｚ前後の表示されるフレームレートを達成するため、十分な速度をもつ低解像度の機能データをレンダリングすることができる。しかし、解剖学的なスキャンデータの高解像度のため、融合された解剖学的及び構造化データが必要とされるとき、フレームレートは非常に低減される。ＵＳ２００４／００４４２８２Ａ１の方法を使用して、それぞれのフレームについて、そのフレームが表示される前に、解剖学的及び機能データの両者をレンダリングすることが必要である。これにより、画像の表示が平滑なフレームレートで生じることを意味する。

したがって、本発明の目的は、低解像度のデータとの高解像度のデータの表示を改善することを目的とする。

本発明の第一の態様によれば、第一の解像度よりも低い第二の解像度を有する時間変化する第二の画像データと共に、第一の解像度を有する第一の画像データを表示する方法が提供され、時間変化する第二の画像データは、複数の第二の画像データのセットを有し、それぞれの第二の画像データのセットは、時間的に異なるポイントを表している。

本方法は、以下のステップを含む、マージされた画像データからなる第一のグループを生成するため、ある視点を表すレンダリングパラメータを使用して、第一の画像データを第二の画像データからなる第一のグループとマージしてレンダリングするステップ。マージされた画像データからなる第一グループを画像の系列としてディスプレイに表示するステップ。マージされた画像データからなる第一のグループを表示するステップの間、レンダリング及びマージするステップは、第二の画像データからなる第二のグループで繰り返される。マージされた画像データの第一のバッチを表示するステップが終了する前に、機能画像データの第二のグループのレンダリング及びマージが終了する。
第一の画像データは、好ましくは構造化画像データであり、第二の画像データは、好ましくは機能画像データである。

この方法では、第一の画像データと第二の画像データセットとのマージ及びレンダリングは、グループで実行される。マージされたデータのグループは、シーケンスで表示され、その時間の間、第二の画像データからなる第二のグループは、マージ及びレンダリングされ、これにより、マージされたデータからなる第一のグループの表示がひとたび終了されると、表示の準備がなされる。これにより、ある画像グループは、次の画像セットがレンダリング及びマージされている間に表示されるため、一貫して平滑なフレームレートが達成されることが保証される。

好ましくは、マージされた画像データからなるグループの表示は、次のグループが処理されている間にパイプラインを使用することで達成される。パイプラインは、様々なやり方で実現される。たとえば、パイプラインは、ファーストインファーストアウト（ＦＩＦＯ）バッファであるか、又は表示用に使用される専用のコプロセッサである。

有利なことに、本発明の方法は、同じ第一の画像データとのグループでの幾つかの第二の画像データセットのレンダリング及びマージングを可能にするため、本方法は、その効率を改善するために並列処理を使用することができる。機能画像データグループにおけるそれぞれの画像に関して同じ動作が必要とされ、これにより、本方法を並列処理に良好に適するものにする。

任意に、本方法は、ある視点の変化のユーザ入力を受信することを含む。そのケースでは、グループでの機能画像データの処理により、表示される画像は、視点における変化にもかかわらず、一定のフレームレートを保持することができる。新たな視点からの第二の画像データのグループと第一の画像データをレンダリング及びマージするために必要とされる時間は、既知である。同様に、前もって処理された画像が全て表示される前に残されている時間もまた既知である。視点の変化は、前もって処理された画像が使い尽くされる前に処理される十分な時間が存在する場合に、即座に実現される。これにより、視点が変化されるのを可能にしつつ、一定のフレームレートが達成される。

本発明の第二の態様によれば、データプロセッサにより実行されたときに、データプロセッサが上述された第一の態様の方法を実行するのを指示するコードを含むコンピュータプログラムが提供される。

本発明の第三の態様によれば、コンピュータ読取り可能な媒体で実現される上述された第二の態様に係るコンピュータプログラムを含むコンピュータプログラムプロダクトが提供される。適切なコンピュータ読取り可能な媒体の例は、たとえばコンパクトディスクといった光記録媒体、たとえば磁気ディスクといった磁気記憶媒体、或いはたとえばフラッシュメモリといった固体媒体を含む。

本発明の第四の態様によれば、第一の解像度を有する第一の画像データを、第一の解像度よりも低い第二の解像度を有する時間変化する第二の画像データと共に表示する医用画像形成装置が提供され、時間変化する第二の画像データは、複数の第二の画像データセットを含み、それぞれの第二の画像データのセットは、時間的に異なるポイントを表す。当該装置は、以下を有する。データプロセッサにより実行可能な命令を記憶し、第一の画像データ及び複数の第二の画像データセットを記憶する記憶装置。以下のステップを実行するために記憶装置に記憶される命令により構成されるデータプロセッサ。

マージされた画像データからなる第一のグループを生成するため、視点を表すレンダリングパラメータを使用して、第一の画像データを第二の画像データからなる第一のグループとマージしてレンダリングするステップ。第二の画像データの第一のグループは、時間的に連続である複数の機能的な画像データを含む。マージされた画像データからなる第一グループを画像の系列としてディスプレイに表示するステップ。マージされた画像データからなる第一のグループを表示するステップの間、レンダリング及びマージするステップは、第二の画像データからなる第二のグループで繰り返される。マージされた画像データの第一のグループを表示するステップが終了する前に、第二の画像データの第二のグループのレンダリング及びマージが終了する。
第一の画像データは、好ましくは構造化画像データであり、第二の画像データは、好ましくは機能画像データである。
本発明は、添付図面を参照して例示を通して記載される。同じ参照符号は、図面を通して同じ部材について使用される。

図１は、本発明の第一の実施の形態に係る方法を実現するコンピュータプログラムの構造を表す図である。このコンピュータは、１を超える機能データセット４と共に構造化リファレンスデータ２の入力を有する。構造化リファレンスデータ２は、機能データセット４よりも高い解像度を有する。それぞれの機能データセット４は、時間的に特定のポイントを表す。機能データグループ６は、機能データ４から生成される。それぞれのグループは、時間的に連続な多数の機能データのセット４を含む。

データフュージョン及びレンダリングモジュール８は、構造化リファレンスデータ２及び機能データグループ６を処理して、マージされた画像データ、すなわち構造化データを及び機能データの両者を含む画像データを生成する。レンダリングパラメータ１０のセットは、システムコントローラモジュール１２の制御下で、データフュージョン及びレンダリングモジュール８に供給される。データフュージョン及びレンダリングモジュール８は、レンダリングパラメータ１０を使用して、表示用の画像データの系列を生成する。画像データの系列におけるそれぞれの画像は、１つの機能データセット４のデータを含み、ディスプレイに１フレームとして表示される。

この実施の形態では、ファーストインファーストアウト（ＦＩＦＯ）バッファ１４は、データフュージョン及びレンダリングモジュール８により発生された画像データを記憶するために設けられるが、代替的な実施の形態において他の手段が使用される場合がある。システムコントローラモジュール１２は、ＦＩＦＯバッファ１４の状態（たとえば、どのくらい多くの画像が記憶されたままであるか）を決定し、ＦＩＦＯバッファ１４に記憶される画像データのディスプレイコントローラモジュール１６への供給を制御する。

本発明の方法は、図２に示される、第一のステップ２０では、機能データセット４は、グループに分割され、それぞれのグループは、予め決定された数の機能画像データのセット４を含む。それぞれのグループにおける画像は、時間的に連続であり、すなわち、グループにおける画像は、時間的に連続した周期を表す。一般に、それぞれのグループにおける機能画像データのセット４の数は、全ての機能画像データセット４を処理するための時間が構造化リファレンスデータ２を処理するための時間と近似的に同じであるように選択される。数値的な例を与えるため、構造化リファレンス２が近似的に１秒でレンダリングすることができ、機能画像データが近似的に２０分の１秒でレンダリングすることができる場合、それぞれのグループにおける機能データセットの数は、２０である。また、構造化リファレンスデータ及び機能画像データの処理時間が上述された１対１の関係以外であるように、処理時間が分割されることも可能である。

第二のステップ２２では、データが表示される視点が決定され、記憶される。この視点は、デフォルトの視点であり、前もって選択されているか、代替的にユーザ入力により選択される。この視点は、レンダリングパラメータ１０として記憶される。

第三のステップ２４では、構造化リファレンスデータ２は、それぞれの機能画像データセット４とマージされ、レンダリングされる。このステップは、データフュージョン及びレンダリングモジュール８により実行される。

マージ及びレンダリングの第三のステップ２４では、データフュージョン及びレンダリングモジュール８は、様々な技術を使用する。これらは、深さ（depth）の関係が考慮される技術及び深さの関係が考慮されない技術を含む。幾つかのレンダリング技術では、機能データのそれぞれの画素は、構造化データにより定義されるリファレンスボリュームにおける特定の位置に属性付けされる。かかる技術の例は、最大強度の投影及びアイソサーフェスレンダリング（iso-surface rendering）を含む。これらの技術では、それぞれの画素の深さは、ｚマップとして知られるデータ構造で記憶される。ｚマップは、正しい深さの関係で、機能的及び構造化プロジェクションをマージしてレンダリングするために使用される。

深さの関係が考慮されるが、ｚマップを使用しないレンダリング技術が使用される場合もある。これらの技術では、プロジェクションの画素は、特定の位置を示さない。係る技術の例は、ボリュームレンダリングである。ボリュームレンダリングでは、ある光線に沿った複数のボクセルが使用され、最終的なプロジェクションの画素を構成する。したがって、画素は、他に関して特定の深さを示さない。このケースでは、データフュージョン及びレンダリングモジュール８は、３次元空間において解剖学的及び機能データをマージしてレンダリングすることが必要である。

好ましくは、これは、機能データグループに含まれる機能データセットの並列処理を使用して効率的に達成される。そのケースでは、ベクトル処理ユニットにより処理することができるベクトルにより機能データグループを表すことが好ましい。それぞれのベクトルのエレメントは、連続的な時間で同じボクセルの座標を示す。次いで、完全な機能データグループは、３次元のベクトルアレイにより表される。これは、たとえばレイキャスティング及びフュージョン（ray-casting fusion）といった幾つかの動作が、機能データグループにおける全ての機能データセットに関して同じやり方で実行され、したがって並列処理に良好に適しているため特に有利である。

データフュージョン及びレンダリングモジュール８によりどの技術が使用されるかは、たとえば、解剖学的及び機能データの性質に依存するか、又は、ユーザ入力に基づいて依存する。システムコントローラ１２は、特定のレンダリング技術の処理要件に依存して、画像がＦＩＦＯバッファ１４から表示されるフレームレートを調整する。たとえば、計算が集中するレンダリング技術は、計算が集中しないレンダリング技術よりも低いフレームレートで表示される。

機能画像グループ６における全ての機能画像データのセット４がマージされレンダリングされたとき、ステップ２８で、マージ及びレンダリングされたデータは、ＦＩＦＯバッファ１４にバッファリングされる。データフュージョン及びレンダリングモジュール８が機能データグループ６の最初を処理するまで画像は表示されない。バッファリングされたデータをユーザに表示することができる。データの表示は、システムコントローラ１２の制御下で実行され、このコントローラは、ＦＩＦＯバッファ１４からディスプレイにどのくらい頻繁に次の画像が送出されているか、すなわちディスプレイのフレームレートを決定する。

ひとたび、機能データグループ６がデータフュージョン及びレンダリングモジュール８により完全に処理され、ＦＩＦＯバッファ１４に記憶されると、システムコントローラ１２は、ステップ３０で、処理されるべきグループが残されているかを判定する。処理されるべきグループが残されている場合、ステップ３４が実行される。処理されるべきグループが残されていない場合、ステップ３２で本方法は終了する。

システムコントローラ１２は、レンダリングパラメータからの処理時間を予測し、これを使用して、表示用にＦＩＦＯバッファ１４から画像が検索されるフレームレートを決定する。したがって、システムコントローラ１２は、次の機能的なデータグループの処理時間がＦＩＦＯバッファから全ての画像を表示するために要する時間よりも少ないか又は等しいことを保証する。これにより、割り込み又は停止が実質的にない連続したフレームレートでの画像の表示となる。例を与えるため、高い解像度データよりも速い低解像度データを処理することができる。したがって、システムコントローラ１２は、ＦＩＦＯバッファ１４を制御して、高解像度データからレンダリングされる画像よりも高いフレームレートで、低解像度データからレンダリングされる画像をディスプレイに供給する。

ユーザは、たとえば異なる視点を設定するといった、レンダリングパラメータを変更するため、表示された画像と相互作用することができる。視点の変化に関するユーザからの入力が処理される方法は、図３に示される。レンダリングパラメータにおける変化に関するユーザ入力はステップ４０で受信されたとき、結果的に得られるレンダリングパラメータは、ステップ４２で記憶される。また、システムコントローラは、レンダリングパラメータが変化したことを示すフラグを任意に設定する場合がある。

ステップ４４では、システムコントローラ１２は、ＦＩＦＯバッファ１４に含まれる表示されるべき画像の数をチェックする。画像が表示されたフレームレートは既知であり、したがって、システムコントローラ１２は、ＦＩＦＯバッファ１４が空である前に利用可能な時間を計算することができる。

ステップ４６では、構造化画像データ及び機能画像データについて、新たなレンダリングパラメータで再び処理されるべき十分な時間があるかが判定される。信頼できるフレームレートでの連続的な表示を保証するため、システムコントローラ１２は、新たなレンダリングパラメータで再び処理する十分な時間がある場合、現在のレンダリングパラメータによる現在の画像のグループの処理のみを廃棄する。十分な時間が残されている場合、ステップ４８が実行され、構造化画像データ及び機能画像データのマージ及びレンダリングをリセットし、新たなレンダリングパラメータによる処理のためにステップ２４に戻る。

十分な処理時間がない場合、ステップ５０が実行され、新たなレンダリングパラメータは、次の機能データグループが処理されたときの使用のために記憶されたままとなる。パラメータの別の変化に関する更なるユーザ入力が次の機能データグループの処理が開始される前に受信されることが可能である。そのケースでは、レンダリングパラメータの最近のユーザ入力が記憶され、すなわち中間的なレンダリングパラメータは、処理されることなしに廃棄される。

以下に記載されるように最初のセーブと同じである第二の実施の形態では、データフュージョン及びレンダリングモジュール８は、深さの関係を考慮しない。第二の実施の形態の方法は、図４に示される。この実施の形態では、フュージョン及びレンダリングのステップは、２つのステップ２５及び２６を含む。ステップ２５では、構造的なリファレンスデータ２は、パラメータ１０を使用してレンダリングされる。レンダリングされた構造化画像データは、構造化リファレンスデータの２次元の投影を計算することで生成される。

ひとたびレンダリングされた構造化画像が計算されると、ステップ２６が実行される。ステップ２６では、レンダリングされた構造化画像を構成する２次元の投影は、機能データの投影とマージされる。したがって、この実施の形態では、２次元のデータフュージョンは、深さの関係を考慮しない。

ステップ３０で、処理すべき更なる機能データグループが存在すると判定された場合、ステップ３４が実行される。ステップ３４では、システムコントローラは、最後の機能データグループが処理されてから、レンダリングパラメータ１０が変化したかを判定する。レンダリングパラメータ１０が変化したと判定された場合、ステップ２５が実行され、新たな視点から構造化画像データをレンダリングする。しかし、レンダリングパラメータが変化していないと判定された場合、構造化画像データは再びレンダリングされる必要がなく、ステップ２６が実行され、レンダリングされた構造化画像データは次の機能画像データのグループとマージされる。

以下に記載される第二のセーブと同じである第三の実施の形態では、ステップ３４が省略される。そのケースでは、次のグループの処理はステップ２５から開始され、レンダリングパラメータにおける変化が正しく処理されることが保証される。

以下に記載される第二の実施の形態と同じである第四の実施の形態では、レンダリングパラメータは、本方法の開始で決定され、ユーザにより変えることができない。この実施の形態では、レンダリングパラメータが変化したかを判定する必要がなく、ステップ３４が省略される。次の機能画像データグループがステップ３０の後に処理されるとき、レンダリングされた構造化画像における変化がないので、ステップ２６から処理が実行される。

更なる代替的な実施の形態では、データフュージョン及びレンダリングモジュール８は、１つのレンダリング技術のみを使用し、第一の実施の形態に関して記載されるレンダリング技術のサブセットを提供する場合がある。

上述された実施の形態は、記憶装置及びデータプロセッサを含む医用画像形成装置に適用される。
したがって、本発明は、解剖学的及び機能データの表示を改善するやり方を提供する。マージされたデータをグループで処理及び表示することで、本発明は、特定のレンダリングパラメータで構造化及び機能データからなる幾つかの融合された画像を生成することができる。このグループは、予め決定された及び信頼できるフレームレートで表示される。次のグループは、前のグループが表示される間に処理され、連続的なデータの表示が信頼できるフレームレートで提供されることが保証される。

上述された実施の形態は結合される場合がある。この明細書を通して、「有する“comprising”」は、包括的な定義を示すために使用され、他のアイテムの存在を排除するものではない。

本発明の方法を実現するコンピュータプログラムの構造の概念的な表現である。 本発明の第一の実施の形態の方法のフローチャートである。 視点の変化のユーザ入力を扱う方法のフローチャートである。 本発明の第二の実施の形態の方法のフローチャートである。

Claims (10)

1. 第一の解像度を有する第一の画像データを、前記第一の解像度よりも低い第二の解像度を有する時間変化する第二の画像データと共に表示する方法であって、
   前記時間変化する第二の画像データは、複数の第二の画像データのセットを有し、それぞれの第二の画像データのセットは、時間的に異なるポイントを表しており、
   当該方法は、
   ある視点を表すレンダリングパラメータを使用して、前記第一の画像データを、時間的に連続な複数の第二の画像データのセットを含む第一のグループの第二の画像データとマージしてレンダリングし、第一のグループのマージされた画像データを生成するステップと、
   第一グループのマージされた画像データを画像の系列としてディスプレイに表示するステップとを含み、
   前記第一のグループのマージされた画像データを表示するステップの間、前記レンダリング及びマージするステップは、第二のグループの第二の画像データで繰り返され、第一のグループのマージされた画像データを表示するステップが終了する前に、第二のグループの機能画像データのレンダリング及びマージが終了する、
   ことを特徴とする方法。
2. 前記第一のグループのマージされた画像データが表示される間、前記第二のグループの第二の画像データのレンダリング及びマージを可能するために、前記表示するステップにおいてパイプラインが使用される、
   請求項１記載の方法。
3. 前記レンダリング及びマージするステップは、２以上の前記第二の画像データセットを並列処理するステップを含む、
   請求項１記載の方法。
4. 前記第二の画像データグループは、ベクトルとして記憶される、
   請求項２記載の方法。
5. 前記第一の画像データ及び前記第二の画像データが表示される第二の視点に関するユーザ入力が受信されたとき、
   前記第二の視点を表す第二のレンダリングパラメータを記憶するステップと、
   以前に処理された全てのレンダリング及びマージされた画像データが表示される前に残りの時間を計算するステップと、
   前記残りの時間が前記レンダリング及びマージするステップにとって前記残りの時間において再始動及び終了するのに十分であるかを判定し、十分な時間が残されていると判定された場合に、前記第二の視点から前記レンダリング及びマージするステップを再始動するステップと、
   を更に含む請求項１記載の方法。
6. 前記マージング及びレンダリングするステップは、
   前記視点を表すレンダリングパラメータを使用して前記第一の画像データをレンダリングして、レンダリングされた第一の画像データを生成するステップと、
   前記レンダリングパラメータを使用して、第一のグループの第二の画像を前記レンダリングされた構造化画像データとマージして、第一のグループのマージされた画像データを生成するステップと、
   を含む請求項１記載の方法。
7. データプロセッサにより実行されたときに、前記データプロセッサが請求項１乃至６の何れか記載の方法を実行するのを指示するコードを含むコンピュータプログラム。
8. コンピュータ読取り可能な媒体で実現される請求項１記載のコンピュータプログラムを有するコンピュータプログラムプロダクト。
9. 第一の解像度を有する第一の画像データを、前記第一の解像度よりも低い第二の解像度を有する時間変化する第二の画像データと共に表示する医用画像形成装置であって、
   前記時間変化する第二の画像データは、複数の第二の画像データセットを含み、それぞれの第二の画像データのセットは、時間的に異なるポイントを表しており、
   当該装置は、
   データプロセッサにより実行可能な命令を記憶し、第一の画像データ及び複数の第二の画像データセットを記憶する記憶装置と、
   ある視点を表すレンダリングパラメータを使用して、前記第一の画像データを、時間的に連続である複数の機能画像データを含む第一のグループの第二の画像データとマージしてレンダリングし、第一のグループのマージされた画像データを生成するステップ、及び第一グループのマージされた画像データを画像の系列としてディスプレイに表示するステップを実行するために記憶装置に記憶される命令に従って動作するデータ処理手段とを有し、
   第一のグループのマージされた画像データを表示するステップの間、前記レンダリング及びマージするステップは、第二のグループの第二の画像データと繰り返され、前記第一のグループのマージされた画像データを表示するステップが終了する前に、前記第二のグループの第二の画像データのレンダリング及びマージが終了する、
   ことを特徴とする装置。
10. 前記第一の画像データ及び前記第二の画像データが表示される第二の視点に関するユーザ入力を受ける入力手段を更に有し、
    前記データ処理手段は、前記第二の視点に関するユーザ入力が受信されたとき、
    前記第二の視点を表す第二のレンダリングパラメータを記憶するステップと、
    以前に処理された全てのレンダリング及びマージされた画像データが表示される前に残りの時間を計算するステップと、
    前記残りの時間が前記レンダリング及びマージするステップにとって前記残りの時間において再始動及び終了するのに十分であるかを判定し、十分な時間が残されていると判定された場合に、前記第二の視点から前記レンダリング及びマージするステップを再始動するステップと、
    を実行するために前記記憶手段に記憶される命令に従って動作する、
    請求項９記載の装置。

Images