JP6211510B2 - 画像処理システム及び方法 - Google Patents

Description

本発明は、画像装置のディスプレイ上に画像データのビューを表示することによって、ユーザが、少なくとも３空間次元を有する画像データをナビゲートすることを可能にするための画像処理システム及び方法に関する。

本発明は、更に、画像処理システムを有するハンドヘルド装置、ワークステーション及びイメージング装置、並びにプロセッサシステムに上記方法を行わせるための命令を含むコンピュータプログラム製品に関する。

画像ビューイング及び画像ディスプレイの分野において、ユーザが、少なくとも３空間次元を有する画像データをナビゲートすることを可能にするさまざまな画像処理システム及び方法が存在する。例えば、ワークステーションは、放射線医が３次元の人間の構造をナビゲートすることを可能にしうる。そのために、放射線科医は、例えばマウス、キーボード又はタッチスクリーン入力を使用して、ナビゲーションコマンドをワークステーションに提供することができ、それに応じて、ワークステーションは、ナビゲーションコマンドに従って、人間の構造のビューをディスプレイ上に表示することができる。

米国特許出願公開第２０１０／０１７４４２１号明細書から、モバイルコンピューティング装置が、ディスプレイと、ディスプレイ上の画像情報をナビゲートするためにモバイルコンピューティング装置の方向が使用されることを可能にする方向センサとを備えることができることが知られている。

より具体的には、米国特許第２０１０／０１７４４２１号明細書は、モバイルコンピューティング装置に適しており、表示されるコンテントの一部を選択するために実空間における装置位置／方向を使用する、モバイルユーザインタフェースを記述している。コンテントは、３次元画像ファイルでありうる。コンテントは、あたかもカメラを通じて見ているかのようにコンテントの一部を表示するモバイルユーザインタフェースにより、仮想空間に固定されて推定される。動き、距離又は位置センサからのデータが、表示するコンテントの一部を選択するために、コンテントに対する装置の相対位置／方向を判別するために使用される。

上述したモバイルユーザインタフェースの問題は、それが、十分に便利なやり方でユーザが画像データの所望のビューを得ることを可能にしていないことである。

ユーザが、画像データの所望のビューをより便利に得ることを可能にする画像処理システム又は方法を有することが有利である。

この問題によりよく対処するために、本発明の第１の見地は、画像データのビューを表示することによって、ユーザが、少なくとも３空間次元を有する画像データをナビゲートすることを可能にする画像処理システムであって、画像データのビューを表示するディスプレイ、及び基準方向に対する画像装置の方向を測定して、画像装置の装置回転を表す回転データを提供する方向センサ、を有する画像装置と、画像データの回転中心を決定する手段と、現在ビューを決定するために、（ｉ）方向センサから回転データを受け取り、（ｉｉ）装置回転に関連してビュー回転を決定し、（ｉｉｉ）基準ビューに対し、ビュー回転に依存して回転中心を中心に回った現在ビューを決定することによって、装置回転に関連して画像データのビューを決定する画像プロセッサと、を有する画像処理システムが提供される。

本発明の他の見地において、上述の画像処理システムを有するハンドヘルド装置が提供される。本発明の他の見地において、上述の画像処理システムを有するワークステーション又は画像化装置が提供される。

本発明の他の見地において、方法は、画像装置のディスプレイ上に画像データのビューを表示することによって、ユーザが、少なくとも３空間次元を有する画像データをナビゲートすることを可能にする方法であって、基準方向に対する画像装置の方向を測定して、画像装置の装置回転を表す回転データを提供するステップと、画像データの回転中心を決定するステップと、現在ビューを決定するために、（ｉ）方向センサから回転データを受け取り、（ｉｉ）装置回転に関連してビュー回転を決定し、（ｉｉｉ）基準ビューに対し、ビュー回転に依存して回転中心を中心に回った現在ビューを決定することによって、装置回転に関連した画像データのビューを決定するステップと、を含む方法が提供される。

本発明の他の見地において、プロセッサシステムに上述の方法を実行させるための命令を含むコンピュータプログラムが提供される。

上述した手段は、ユーザが、少なくとも３空間次元を有する画像データをナビゲートすることを可能にする。このため、画像データのビューを表示するディスプレイを有する画像装置が提供される。ビューは、画像データの少なくとも一部の表現である。画像データの異なる部分に対応するビューを表示することによって、ユーザは、画像データをナビゲートすることができる。画像装置はディスプレイを有し、すなわちディスプレイは、画像装置の一部である。画像装置は、加速度計、コンパス等の方向センサを有する。方向センサは、例えば直前の方向のような基準方向に対する、画像装置の方向を測定するために使用される。ディスプレイは、画像装置の一部であるので、画像装置の方向は、本質的にディスプレイの方向と結びつく。画像装置の方向を基準方向と比較することによって、方向センサは、画像装置の回転及びゆえにディスプレイの回転を、すなわち装置回転を判別することができる。方向センサは、回転データの形で装置回転を提供するように構成される。

画像処理システムは更に、画像データの回転中心を決定する手段を有する。回転中心は、画像データの少なくとも３空間次元で規定される。こうして、前記手段は、例えば、回転中心が点である場合は３次元ベクトル又は座標の形で、又は回転中心が回転軸によって形成される場合は２次元ベクトル又は座標の形で、少なくとも３空間次元で回転中心を決定する。

画像処理システムは更に、装置回転に関連して画像データのビューを決定する画像プロセッサを有する。そのために、画像処理プロセッサは、方向センサから回転データを受け取る。これによって、画像プロセッサは、装置回転の関数として、ビュー回転を決定することができる。ビュー回転は、基準ビューに対し、回転中心を中心に回った回転ビューを決定するために使用され、この場合、回転の量は、ビュー回転によって特定される。従って、装置回転は、ビュー回転を決定するために使用され、ビュー回転は、画像データ内の回転中心を中心に回転される新しいビューを決定するために使用される。

本発明は、画像データの所望のビューを得ることが、画像処理システムでは不都合でありうるという認識に部分的に基づく。この理由は、例えば、画像データ内の或るポイント又は領域の所望のビューを得るために、ユーザが、例えば回転、パン及びズームのようなさまざまなナビゲーションコマンドを組み合わせることを必要としうることである。特に、ユーザは、領域の１又は複数の所望のビューを得るために、領域の周りを回転すること、すなわち、さまざまな側方から領域を表示すること、を望むことがある。領域を中心とするこのような回転を得るために、ユーザは、順次ビューを回転する、ビューをパンする、ビューを回転する、ビューをパンする等、さまざまなナビゲーションコマンドを順次実施する必要がありうる。不利なことに、このようなナビゲーションは、ユーザにとって不便であり、複雑である。

上述の手段は、画像データ内の回転中心を決定する手段が提供され、画像プロセッサが、回転中心を中心に回転することによって現在ビューを決定するように構成されるという、効果を有する。更に、ビュー回転が、装置回転に関連して画像プロセッサによって決定されるとき、ユーザは、回転の量に、すなわちビュー回転に、影響を及ぼすことができる。こうして、画像処理システムは、ユーザが、画像装置を回転させることによって、画像データ内の関心領域の周りを回転することを可能にし、従って、例えばパン等のナビゲーションコマンドを画像処理システムに提供する必要がない。有利には、さまざまな側方から領域を表示するために、ビューを回転する、ビューをパンする、ビューを回転する等の操作を順次行う必要がない。

任意には、回転中心を決定する手段が、画像データ内の関心領域を検出し、関心領域に依存して回転中心を決定するように構成される。

回転中心を決定する手段は、画像データ内の関心領域を自動的に検出することによって、関心領域を検出する機能を有する。関心領域に依存して回転中心を決定することによって、関心領域は、回転中心を判別する際に使用される。有利には、ユーザが関心領域を画像データの回転中心として手動で選ぶ必要なしに、関心領域が、回転中心として自動的に検出され、使用されることができる。

任意には、画像処理システムは更に、ユーザから選択データを受け取るユーザ入力部を更に有し、回転中心を決定する手段は、選択データに依存して回転中心を決定するように構成される。

ユーザから選択データを受け取り、選択データに依存して回転中心を決定することによって、ユーザからの入力は、回転中心を判別する際に使用される。有利には、ユーザは、関心領域を画像データ内の回転中心として手動で選ぶことができる。有利には、ユーザは、例えば関心領域検出器から得られるように、回転中心の自動選択に影響を与えることができる。

任意には、ユーザ入力部は、ユーザからナビゲーションデータを受け取るように構成され、画像プロセッサは、ナビゲーションデータに依存して画像データのビューを決定するように構成される。

ユーザからナビゲーションデータを受け取り、ナビゲーションデータに依存して画像データのビューを決定することによって、ユーザからの入力が、画像データのビューを決定する際に使用される。有利には、ユーザは、画像装置を回転させることに加えて、ナビゲーションを提供することによって、画像データをナビゲートすることができる。

任意には、ナビゲーションデータは、パン及び／又はズームナビゲーションコマンドを有する。このように、ユーザは、回転、パン及び／又はズームを使用して、画像データをナビゲートすることができ、この場合、回転は、ユーザが画像装置を回転させることによって決定され、パン及び／又はズームナビゲーションコマンドは、ナビゲーションデータの形でユーザによって提供される。有利には、ユーザは、例えば、画像データをナビゲートする際のユーザの不正確さ又は混同を防ぐために、ユーザがパン及び／又はズームを決定する態様を回転から区別するために、マウス、キーボード又はタッチスクリーンを使用して、パン及び／又はズームナビゲーションコマンドを提供することができる。

任意には、画像データは、ボリュメトリック画像データを含み、画像プロセッサは、現在ビューを生成するために、マルチプラナーリフォーマット、ボリュームレンダリング及び表面レンダリングのグループの中の少なくとも１つを使用することにより、現在ビューを決定するように構成される。

上述した技法の任意のものを使用してボリュメトリック画像データ内のビューを決定することによって、画像処理システムは、ユーザが、ボリュメトリック画像データをナビゲートすることを可能にするように構成される。従って、ユーザは、ボリュメトリック画像データ内の回転中心（例えば、関心領域）を中心に回転させるために、画像装置を使用することができ、ビューは、上述した技法の任意のものを使用することによって生成される。

任意には、画像データは、３次元グラフィックデータを含み、画像プロセッサは、現在ビューを生成するために、グラフィクスレンダリングを使用することによって現在ビューを決定するように構成される。

任意には、前記現在ビューの決定は、（ｉ）ビュー回転及び回転中心に依存して４ｘ４変換行列を決定し、（ｉｉ）４ｘ４変換行列を使用して現在ビューを生成する、ことを含む。

４ｘ４変換行列は、基準ビューに対し、ビュー回転に依存して回転中心を中心に回った現在ビューを決定することを可能にする特に効率的なやり方である。

任意には、画像プロセッサは、装置回転をビュー回転として提供することによって、装置回転に関連してビュー回転を決定するように構成される。

従って、ビュー回転は、装置回転に等しい。有利には、画像装置の回転は、現在ビューの同じ回転に変換され、それによって、回転中心を中心に回転する直観的な経験をユーザに提供する。

任意には、画像プロセッサは、ビュー回転を取得するために、直接マッピング、ゲイン、オフセット、閾値及び非線形関数のグループの中の少なくとも１つを装置回転に適用することによって、装置回転に関連してビュー回転を決定するように構成される。

ビュー回転は、関数を装置回転に適用することによって取得される。有利に、ゲインが、装置回転に適用されることができ、それにより、小さい装置回転が、相対的に大きいビュー回転を生じさせ、それによって、ユーザが、例えばわずか９０度の装置回転によって、３６０度のビュー回転を得ることを可能にする。有利には、画像データ内の回転中心を中心に現在ビューを回転させるために画像装置を回転させるユーザの経験を最適化する非線形関数が、使用されることができる。

任意には、画像処理システムは、基準方向及び／又は基準ビューをリセットするために、ユーザからリセットコマンドを受け取るように構成される。

ユーザは、装置の方向が新しい基準方向に対して測定されるように、基準方向をリセットすることができる。更に、ユーザは、任意の後続のビュー回転が新しい基準ビューに適用されるように、基準ビューをリセットすることができる。有利には、ユーザは、画像装置の便利な方向に、例えば現在の方向に、基準方向をリセットすることができる。有利には、ユーザは、例えばデフォルトビューのような画像データの所望のビューに、基準ビューをリセットすることができる。

任意には、画像処理システムは、装置回転に関連した画像データのビューの決定を休止するために、ユーザから休止コマンドを受け取るように構成される。

休止コマンドを提供することによって、ユーザは、画像プロセッサに、装置回転に関連して画像データのビューを決定することを一時的に中断するように命じることができる。有利には、ユーザが、画像データをナビゲートするのとは別の理由で画像装置を一時的に回転する必要がある場合、ユーザは、休止コマンドを使用して、装置回転に関連した画像データのビューの決定を休止することができる。

任意には、画像装置は、回転の中心を決定する手段及び画像プロセッサを有する。有利には、画像処理システムの機能は、画像装置に完全に組み込まれることができる。

当業者であれば、本発明の上述の実施形態、実現例及び／又は態様の２又はそれより多くが、有用であると考えられるやり方で組み合わせられることができることが分かるだろう。

画像処理システムの上述の変形及び変更に対応する画像処理システム、画像装置、ハンドヘルド装置、ワークステーション、イメージング装置、方法及び／又はコンピュータプログラム製品の変形及び変更が、本記述に基づいて当業者によって実施されることができる。

当業者であれば、方法は、さまざまな取得モダリティによって取得される、３次元（３Ｄ）又は４次元（４Ｄ）画像のような多次元の画像データに適用されることができ、取得モダリティは、非限定的な例として、標準Ｘ線イメージング、コンピュータトモグラフィ（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、ポジトロンエミッショントモグラフィ（ＰＥＴ）、シングルフォトンエミッションコンピュータトモグラフィ（ＳＰＥＣＴ）及び核医学（ＮＭ）でありうる。例えば、３次元画像データは、２次元画像データの時間ドメインの連続を含みうることが分かるだろう。

本発明は、独立請求項に規定される。有利な実施形態は、従属請求項に規定される。

本発明のこれらの及び他の見地は、以下に記述される実施形態から明らかになり、それらを参照して説明される。

本発明による画像処理システムを示す図。 画像装置の方向、基準方向及び画像装置の装置回転を示す図。 ３次元画像データにおける関心領域を示す図。 基準ビューに対し、関心領域を中心に回転される現在ビューを示す図。 関心領域を示す基準ビューを示す図。 関心領域を示す現在ビューを示す図。 基準ビューに対し関心領域を中心に回転される現在ビューの別の例を示す図。 装置回転からビュー回転へのさまざまなマッピングを示す図。 ユーザ入力部を有する画像処理システムを示す図。 本発明による方法を示す図。 コンピュータプログラム製品を有するコンピュータ可読媒体を示す図。

図１は、画像データのビュー１５５を表示することによって、ユーザが少なくとも３空間次元を有する画像データをナビゲートすることを可能にする画像処理システム１００を示す。画像処理システム１００は、画像データのビュー１５５を表示するディスプレイ１３０を含む画像装置１１０と、基準方向に対する画像装置１１０の方向を測定する方向センサ１２０と、を有する。測定の結果として、方向センサ１２０は、画像装置１１０の装置回転を表す回転データ１２５を提供する。画像処理システム１００は、画像データ内の回転中心を決定する手段１４０を更に有する。更に、画像処理システム１００は、装置回転に関連してビュー１５５を決定する画像プロセッサ１５０を有する。画像プロセッサ１５０は、方向センサ１２０から回転データ１２５を受け取り、回転中心を決定する手段１４０から、回転データの中心１４５の形の回転中心を受け取る。画像プロセッサ１５０は、装置回転に関連してビュー回転を決定することによって、及び基準ビューに対し、ビュー回転に依存して回転中心を中心に回った現在ビューを決定することによって、現在ビューを決定する。

現在時点の現在ビューを生成し、次いで、将来時点の将来ビューを生成することによって、画像プロセッサは、ユーザが画像データでナビゲートすることを可能にするビューを決定することが理解されるだろう。

図２−図７は、画像処理システム１００の動作を示す。図２において、画像装置１１０の方向３１０が、基準方向３２０に続いて示されている。基準方向３２０に対する方向３１０が、方向センサ１２０によって測定される。両方の方向の間の差が、装置回転３３０を提供する。

図３は、説明の目的で、関心領域３８０を含む３次元透明ボリュームとして画像データ３００を示している。以下において、画像データ３００は、ボリュメトリック画像データであり、すなわち、ボリュメトリックピクセル又はボクセルから構成されるものとする。しかしながら、画像データ３００が、例えばいわゆる多角形及び頂点を含むグラフィックデータのような任意の他の知られているタイプに等しいものでもよいことが理解される。図３は、画像データ３００を横切る交差平面３３５を示す。交差平面３３５は、図４に示される画像データ３００の交差を示す。しかしながら、交差平面３５５は、説明のために使用されるにすぎず、画像処理システム１００の機能又は使用に関連しないことに留意されたい。

図４は、画像データ３００の上述の交差３５５を示し、交差３５５は、関心領域３８０を含む。更に、基準ビュー３６０が示されている。この例において、基準ビュー３６０は、関心領域３８０の方を向く画像データ３００のボリュームレンダリングとして理解される。ここで、関心領域３８０の方を向く基準ビュー３６０から外方へ傾く最も外側の破線は、基準ビューの視界を示し、すなわち、基準ビューをレンダリングする際に使用される画像データ３００の一部を示す。より具体的には、最も外側の破線は、光線が（図４には示されないが、両方のラインが交差するポイントに位置する）仮想カメラから基準ビュー３６０通って進み、画像データ３００に入るとき、ボリュームレンダリングの間に使用される光路に対応する。ボリュームレンダリングの技法は、ボリュメトリック画像可視化の技術分野から知られており、例えば、インターネットアドレスhttp://techpubs.sgi.com/library/manuals/3000/007-3720-002/pdf/007-3720-002.pdfから入手可能な刊行物"OpenGL(R) Volumizer Programmer's Guide"から知られている。

図５は、ボリュームレンダリングの結果を示し、すなわち、基準ビュー３６０が、第１の側から見た関心領域３８０を示している。画像処理システム１００は、画像装置１１０の方向３１０が基準方向３２０と一致する場合、基準ビュー３６０を表示するように構成されることができる。基準ビュー３６０は、例えば画像処理システム１００の動作の開始時に表示されるデフォルトビューのような、画像データ内のデフォルトビューであってもよい。同様に、基準方向３２０は、前記動作の開始時の画像装置１１０の方向と一致しうる。

ユーザが、画像装置１１０を回転させるとき、すなわち基準方向３２０に対してその方向３１０を変えるとき、方向センサは、方向の変化、すなわち装置回転３３０を測定することができ、画像プロセッサ１５０に、回転データ１２５の形で装置回転３３０を提供する。回転中心を決定する手段１４０は、例えば、ユーザが、さまざまな側方から関心領域３８０を示すビューを便利に取得することを可能にするために、回転中心３４０として関心領域３８０を決定することができる。

概して、関心領域が画像データ３００において２次元又は３次元形状であるとき、関心領域を回転中心として決定することは、関心領域の中心を回転中心として決定することを含みうることが理解されるであろう。関心領域が、点であり、すなわち関心のあるポイントと呼ばれる点である場合、回転中心は、関心のあるポイントと直接的に一致しうる。

画像プロセッサ１５０は、第１に、装置回転３３０に関連してビュー回転３７０を決定し、第２に、基準ビュー３６０に対し、ビュー回転３７０に依存して回転中心３４０を中心に回った現在ビュー３５０を決定することによって、画像データ３００内の現在ビュー３５０を決定することができる。装置回転３３０に関連してビュー回転３７０を決定することは、ビュー回転３７０を取得するために、装置回転３３０にゲインを適用することを含むことができる。例えば、装置回転３３０は、３０度でありえ、画像プロセッサ１５０は、ビュー回転として６０度の回転を得るために、装置回転３３０に２の係数を乗じることによって、ビュー回転３７０を決定することができる。しかしながら、ビュー回転３７０は、装置回転３３０に等しくてもよい。

基準ビュー３６０に対し、ビュー回転３７０に依存して回転中心３４０を中心に回った現在ビュー３５０を決定する結果は、図４に示されており、図４では、現在ビュー３５０が、ビュー回転３７０によって示される量だけ、基準ビュー３６０に対し回転中心３４０を中心に回転されている。図６は、ボリュームレンダリングの結果を示しており、すなわち、現在ビュー３５０は、第２の側から見た関心領域３８０を示している。図５から基準ビュー３６０を図６からの現在ビュー３５０と比較すると、画像装置１１０を回転する結果として、ディスプレイ１３０に表示される現在ビュー３５０は、関心領域３８０の第２の側を示し、第２の側は、図５の基準ビュー３６０に示される第１の側に対して、関心領域３８０を中心とする回転によって得られていることが明らかである。

ビュー回転３７０、回転中心３４０及び基準ビュー３６０が与えられる場合、現在ビュー３５０を決定するための多くのオプションが存在することが分かるであろう。概して、画像装置１１０の方向３１０が表現されることができる座標系が規定されることができ、すなわち、装置座標系が規定されることができる。装置座標系は、起点、例えば画像装置１１０の１つの角を含むことができ、例えば、画像装置１１０の幅に沿って規定されるｘ軸、画像装置１１０の深さに沿って規定されるｙ軸、及び画像装置１１０の高さに沿って規定されるｚ軸のような３つの座標軸を含む。任意の他の適切な座標系が同様に使用されることができ、すなわち、起点及び回転軸の選択は上述したものに制限されないことが分かるであろう。例えば、装置座標系は、ミリメートルの単位で表現されることができる。

例えば、画像装置１１０の初期方向又は直前の方向のような基準方向３２０が、装置座標系の基準装置ベクトルとして表現されることができる。基準方向は、方向センサ１２０によって測定されることができる。例えば、加速度計又はジャイロスコープが、重力の方向又は向きに対して画像装置の基準方向３２０を表現する基準装置ベクトルを提供するために、重力方向を測定することができる。方向センサ１２０は更に、装置座標系の基準装置ベクトルの起点を供給することができる。基準装置ベクトルの起点は、装置座標系に対する画像装置１１０の基準位置に対応することができる。しかしながら、基準装置ベクトルの起点が、基準方向を決定するために必要とされなくてもよいことに留意されたい。

方向センサ１２０は、装置座標系内の現在装置ベクトルとして、画像装置１１０の方向３１０を提供することができる。方向センサ１２０は更に、画像装置１１０の現在位置に対応する装置座標系の現在装置ベクトルの起点を提供することができる。方向センサ１２０は、画像装置１１０の方向の変化（例えば、装置回転３３０）を判別するために、現在装置ベクトルを基準装置ベクトルと比較することができる。この目的で、方向センサ１２０は、現在装置ベクトル及び基準装置ベクトルの間の差を求めることができる。起点の差が位置の変化に対応することができ、方向の変化を決定するために必要とされなくてもよいので、方向センサ１２０は、現在装置ベクトル及び基準装置ベクトルの起点の差を無視することができる、しかしながら、方向センサ１２０は、装置回転３３０に加えて、装置並進を提供するために、位置の変化をも判別することができる。

装置座標系に加えて、画像データ３００のビューの方向が表現されることができる座標系が規定されることができ、すなわち画像座標系が規定されることができる。画像座標系は、図３に示される画像データ３００の１つの角として、すなわち、画像データ３００の輪郭の頂点に対応する角として、起点を規定してもよい。画像座標系は、例えば前記頂点で出会う輪郭のエッジに沿って走る３つの座標軸を更に規定することができる。例えば、画像座標系は、ミリメートルの単位で表現されることができる。画像座標系は、画像データ３００のコンテントに関連してもよい。例えば、画像データ３００が医療画像データである場合、画像座標系は、医療画像データの標準によって規定されることができ、すなわち、標準化された画像座標系であってもよい。

画像座標系における基準ビュー３６０の方向は、基準ビューベクトルとして表現されることができる。基準ビューベクトルは、装置座標系の基準方向３２０に、すなわち基準装置ベクトルにリンクされることができる。両方の方向の間のリンクは、回転変換を含むことができる。しかしながら、装置座標系の起点及び画像座標系の起点は、一致しなくてもよい。更に、装置座標系内の基準装置ベクトルの起点及び画像座標系の基準ビューベクトルの起点は、一致しなくてもよい。このような不一致を補償するために、付加の並進変換が、基準ビューベクトルを基準装置ベクトルにリンクするために必要でありうる。画像処理システム１００又は画像装置１１０を動作し始めるとき、回転変換及び可能性のある付加的な並進変換が、決定されることができる。

現在ビューを決定することは、以下のステップを含むことができる。第１のステップにおいて、上述した回転変換及び可能性のある付加的な並進変換を使用して、基準装置ベクトルが、基準ビューベクトルにマップされる。第２のステップにおいて、画像データ３００は、回転中心３４０が画像座標系の起点に位置するように、画像座標系内にシフトされる。第３のステップにおいて、基準ビューベクトルが、例えば現在装置ベクトルと基準装置ベクトルの間の差である装置回転に関連して、画像座標系の起点を中心に回転され、それによって、現在ビューベクトルが得られる。その結果、現在ビューベクトルは、基準ビューベクトルと起点及び方向が異なる。第４のステップにおいて、第２のステップが、画像座標系内で画像データ３００を戻すようにシフトすることによって逆転される。現在ビューベクトルは、パラメータを導出して現在ビューを決定するために、使用されることができる。例えば、現在ビューが、マルチプラナーリフォーマット（すなわち、ボリュメトリックデータのスライシング）を使用して決定される場合、現在ビューは、現在ビューベクトルの起点を通る画像スライスを生成することによって、生成されることができ、画像スライスに沿って走る平面は、現在ビューベクトルと直交する。

しかしながら、上述のステップに代わって又はそれに加えて、例えば、ユークリッド幾何学及びコンピュータグラフィック及びレンダリングの一般分野から知られているような多くの他の技法が、現在ビューを決定するために使用されることができる。

図７は、それが基準ビュー３６０、回転中心３４０及びビュー回転３７０に依存して決定される現在ビュー３５０の結果を示すという点で、図５と同様である。しかしながら、この例では、基準ビュー３６０は、画像データ３００のマルチプラナーリフォーマットによって生成され、基準ビュー３６０として画像データ３００を横切るスライスが得られる。更に、関心領域３８０は、基準ビュー３６０内に位置し、すなわち基準ビュー３６０内で可視である。関心領域３８０が、回転中心として再び決定される。基準ビュー３６０に対し、ビュー回転３７０に依存して回転中心３４０を中心に回った現在ビュー３５０を決定する結果として、現在ビュー３５０は、ビュー回転３７０によって示される量を、回転中心３４０を中心に回転されるように図示される。こうして、関心領域３８０及び周囲の画像データ３００の別のスライスが得られる。

図８は、装置回転３２０に関連してビュー回転３７０を決定するために、画像プロセッサ１５０によって使用されることができる関数の例を含むグラフを示す。水平軸は、装置回転３２０に対応し、垂直軸は、ビュー回転３７０に対応する。水平軸及び垂直軸は、例えば、０から９０度までの同じ又は同様のレンジを示すことができる。関数３７２、３７４、３７６及び３７８は、装置回転３２０（すなわち関数の入力）からビュー回転３７０（すなわち関数の出力）へのさまざまなマッピングを示している。第１の関数３７２は、或る量の装置回転３２０が同じ量のビュー回転３７０をもたらす直接マッピングに対応し、例えば、４５度の装置回転３２０が４５度のビュー回転３７０をもたらす。より大きな感度を実現するために、第２の関数３７４が使用されることができ、これはゲイン３７４に対応する。従って、或る量の装置回転３２０は、増やされた又は増幅された量のビュー回転３７０をもたらし、例えば、２２．５度の装置回転３２０が、４５度のビュー回転３７０をもたらす。起こりうる意図しない小さい装置回転３２０に対する感度を下げるために、第３の関数３７６が使用されることができ、これは閾値３７６に対応する。従って、装置回転３２０は、ゼロでないビュー回転３７０を達成するために、閾値３７６を上回る必要がある。最後に、第４の関数３７８は、非線形関数３７８に対応し、例えば起こりうる意図しない小さい装置回転３２０に関する感度の低減及びより大きい装置回転３２０に関する感度の増大を得るために、使用されることができる。任意の他の適切な関数が、例えば上述した関数の見地を組み合わせることによって、装置回転３２０に関連してビュー回転３７０を決定するために同様に使用されることができることが分かるであろう。

図９は、図１に示される画像装置１１０を有する画像処理システム２００を示す。画像処理システム２００は更に、ユーザから選択データ２６５を受け取るためのユーザ入力部２６０を有し、回転中心３４０を決定する手段２４０は、選択データに依存して回転中心を決定するように構成される。ユーザは、任意の適切なやり方を使用して、例えばキーボード２７５又はマウス２８０を使用して、画像処理システム２００のユーザ入力部２６０に選択データ２６５を提供することができる。更に、図９に示されないが、画像装置１１０のディスプレイ１３０は、ディスプレイ１３０に触れることによって、ユーザが選択データ２６５をユーザ入力部２６０に提供することを可能にするためのタッチセンシティブ表面を含むことができる。ユーザは、回転中心３４０を手動で選択するために、又は関心領域検出器が回転中心３４０を決定する態様を変更する又はそれに影響を与えるために、選択データ２６５を提供することができる。

ユーザ入力部２６０は、ユーザからナビゲーションデータ２７０を受け取るように構成されることができ、画像プロセッサ２５０は、ナビゲーションデータに依存して画像データ３００のビュー１５５を決定するように構成される。ユーザは、任意の適切なやり方を使用して、例えば上述したキーボード２７０、マウス２８０又はタッチセンシティブ表面を備えているディスプレイ１３０を使用して、ユーザ入力部２６０にナビゲーションデータ２７０を提供することができる。従って、ユーザは、ナビゲーションデータ２７０を提供するために、選択データ２６５を提供するやり方と同じやり方を使用することができる。しかしながら、ユーザは、ナビゲーションデータ２７０を提供するために異なるやり方を使用することもできる。ナビゲーションデータ２７０は、パン及び／又はズームナビゲーションコマンドを含むことができ、例えば、パンナビゲーションコマンドは、ユーザがマウス２８０を移動させることによって提供され、ズームナビゲーションコマンドは、ユーザがマウス２８０のホイールを回転させることによって提供される。

画像処理システム２００は、基準方向３２０及び／又は基準ビュー３６０をリセットするために、ユーザからリセットコマンドを受け取るように構成されることができる。画像処理システム２００は、例えば上述したキーボード２７０、マウス２８０又はタッチセンシティブ表面を備えるディスプレイ１３０を使用して、任意の適切な態様でリセットコマンドを受け取ることができる。画像処理システム２００は更に、装置回転に依存してビューを決定することを一時的に中断するように画像処理システム２００に命じるための休止コマンドを受け取るように構成されることができる。その結果、画像プロセッサ２４０は、休止コマンドを受け取った後に、装置回転を一時的に無視することができ、ユーザから再開命令を受け取った後に装置回転の検討を再開することができ、再開コマンドは、装置回転に依存してビューを決定することを再開するように画像プロセッサ２５０に命じる。

回転中心３４０を決定する手段２４０は、画像データ３００の関心領域３８０を検出するように構成されることができる。従って、手段２４０は、関心領域検出器であり又は関心領域検出器としての関数を含むことができる。手段２４０は更に、関心領域３８０に依存して回転中心３４０を決定するように構成されることができる。関心領域の検出は、関心領域を検出するための任意の適切な技法を用いることができる。例えば、画像処理システム２００が、医用画像処理システムとして使用される場合、関心領域の検出は、例えば病変のような医学的異常を検出するために医療画像解析の分野から知られている任意の適切な技法を用いることができる。

概して、画像データは、ボリュメトリック画像データを含むことができ、画像プロセッサは、現在ビューを生成するために、マルチプラナーリフォーマット、ボリュームレンダリング及び表面レンダリングのグループの少なくとも１つを使用することによって、現在ビューを決定するように構成されることができる。これらの技法は、ボリュームレンダリング及び画像表示の分野から知られている。画像データは更に、３次元グラフィックデータを含むことができ、画像プロセッサは、現在ビューを生成するために、グラフィクスレンダリングを使用することによって現在ビューを決定するように構成されることができる。グラフィクスレンダリングは、３次元コンピュータグラフィックの分野から知られている。画像データは、ボリュメトリック画像データ及びグラフィックデータの組み合わせを含むことができる。従って、現在ビューは、現在ビューを生成するためにグラフィクスレンダリングを使用することに加えて、マルチプラナーリフォーマット、ボリュームレンダリング及び表面レンダリングのグループの中の少なくとも１つを使用することによって決定されることができる。

現在ビューを決定することは、（ｉ）ビュー回転及び回転中心に依存して４ｘ４変換行列を決定すること、及び（ｉｉ）４ｘ４変換行列を使用して現在ビューを生成すること、含むことができる。このような４ｘ４変換行列は、並進、回転、スケーリング、シアリング（剪断）及びパースペクティブ歪みを含む射影変換を表現するために、３次元コンピュータグラフィックの分野で広く使われている。特に、４ｘ４変換行列は、並進及び回転の組み合わせを表現することができ、それによって、画像プロセッサが、画像座標系の起点と一致していない回転中心を考慮することを可能にする。

方向センサは、自由落下の座標系に対する試験質量の加速を比較することによって、方向を測定するいわゆる加速度計でありうる。方向センサは、加速度計の分野から知られている加速度計の任意の適切なタイプでありうることが分かるであろう。方向センサは更に、地球磁場と比較して方向を測定するコンパスでありうる。同様に、方向センサは、ジャイロスコープのスピン軸方向の変化を測定することによって、方向を測定するジャイロスコープでありうる。方向センサは更に、ビデオカメラによって取得されるビデオ情報を使用することによって、画像装置のエゴモーション、すなわち、ビデオカメラの動き及びゆえにその周囲に対する画像装置の動きを評価するためのビデオカメラでありうる。ビデオカメラを使用してエゴモーションを評価する技法は、コンピュータビジョンの分野から知られており、特に、エゴモーション推定の分野から知られている。画像装置のこのようなエゴモーションは、画像装置の方向の変化が判別されることを可能にする。例えば、方向センサは更に、画像装置の方向を測定する正確さを改善するために、加速度計及びビデオカメラの組み合わせを含みうることが分かるであろう。

画像処理システムは、単一回転軸を中心とする装置回転を考えるだけのために構成されることができる。従って、任意の装置回転は、前記回転軸に関してのみ考えられてもよい。この理由は、関心領域を中心に回転する際にユーザを制限することでありえ、又は、方向センサの制限によるものでありうる。装置回転は、２以上の回転軸（例えば、ｘ軸、ｙ軸及びｚ軸）を中心に考えられてもよく、従って、装置回転は、複数のいわゆる基準回転（例えばいわゆるヨー、ピッチ及びロール）に分解されることができる。ユーザは、画像データ内の関心領域の周りを任意に回転することができる。

画像処理システムは、ディスプレイ、方向センサ、回転中心を決定する手段及び画像プロセッサを組み込んだハンドヘルド装置でありうる。ハンドヘルド装置は、タブレット装置でありうる。画像処理システムは更に、ディスプレイを有するワークステーションでありえ、ディスプレイのハウジングが方向センサを含む。ディスプレイのハウジング、すなわち画像装置は、例えば机又は壁に取り付けられるのに適したものであることによって、物理的に回転可能でありうる。

図１０は、画像装置のディスプレイ上に画像データのビューを表示することによって、ユーザが、少なくとも３空間次元を有する画像データをナビゲートすることを可能にする方法４００を示す。

方法は、画像装置の装置回転を表す回転データを提供するために、基準方向に対する画像像装置の方向を測定するステップ４１０と、画像データにおいて回転中心を決定するステップ４２０と、現在ビューを決定するために、（ｉ）方向センサから回転データを受け取り（４４０）、（ｉｉ）装置回転に関連してビュー回転を決定し（４５０）、（ｉｉｉ）基準ビューに対し、ビュー回転に依存して回転中心を中心に回った現在ビューを決定する（４６０）、ことによって、装置回転に関連して画像データのビューを決定するステップ４３０と、を含む。

図１１は、コンピュータプログラム５２０を含むコンピュータ可読媒体５００を示しており、コンピュータプログラム５２０は、図１０に示されるような方法４００をプロセッサシステムに実施させるための命令を含む。コンピュータプログラム５２０は、物理的なマークとして又はコンピュータ可読媒体５００の磁化によって、コンピュータ可読媒体５００上で実現されることができる。しかしながら、任意の他の適切な実施形態が同様に考えられる。更に、コンピュータ可読媒体５００は、光学的ディスクとして図１１に示されているが、コンピュータ可読媒体５００は、ハードディスク、ソリッドステートメモリ、フラッシュメモリ等の任意の適切なコンピュータ可読の媒体であり、記録不可能でありえ又は記録可能でありうることが分かるであろう。

本発明は更に、コンピュータプログラムにも適用でき、特に本発明を実行するように適応される担体上又は担体内のコンピュータプログラムに適用できる。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形でありうるコード中間ソース及びオブジェクトコードの形でありえ、又は、本発明による方法の実現において使用されるに適した任意の他の形でありうることが分かるだろう。更に、このようなプログラムが多くの異なる構造的なデザインを有しうることが分かるであろう。例えば、本発明による方法又はシステムの機能を実現するプログラムコードは、１又は複数のサブルーチンに細分されることができる。これらのサブルーチンの間で機能を分散する多くの異なるやり方が、当業者には明らかである。サブルーチンは、自己内蔵型プログラムを形成するために、１つの実行可能ファイルに一緒に記憶されることができる。このような実行可能ファイルは、例えばプロセッサ命令及び／又はインタプリタ命令（例えばＪａｖａインタプリタ命令）のようなコンピュータ実行可能な命令を含むことができる。代替として、サブルーチンの１又は複数又は全てが、少なくとも１つの外部ライブラリファイルに記憶され、例えば実行時に静的に又は動的にメインプログラムによってリンクされることもできる。メインプログラムは、サブルーチンの中の少なくとも１つに対する少なくとも１つの呼び出しを含む。サブルーチンは更に、互いに関数呼び出しを含むことができる。コンピュータプログラム製品に関する実施形態は、ここに記述される方法のうちの少なくとも１つの各々の処理ステップに対応するコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに細分され、及び／又は静的に又は動的にリンクされることができる１又は複数のファイルに記憶されることができる。コンピュータプログラム製品に関する別の実施形態は、ここに記述されるシステム及び／又は製品のうち少なくとも１つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、及び／又は静的に又は動的にリンクされることができる１又は複数のファイルで記憶されることができる。

コンピュータプログラムの担体は、プログラムを担持する能力をもつ任意のエンティティ又はデバイスでありうる。例えば、担体は、例えばＣＤ−ＲＯＭ又は半導体ＲＯＭのようなＲＯＭでありうる記憶媒体、又はハードディスクのような磁気記録媒体でありうる。更に、担体は、電気的又は光学的ケーブルを通じてあるいは無線又は他の手段によって伝えられることができる電気的又は光学的信号のような送信可能な担体でありうる。プログラムがこのような信号において実現される場合、担体は、このようなケーブル又は他の装置又は手段によって構成されることができる。代替として、担体は、プログラムが埋め込まれる集積回路でありえ、集積回路は、重要な方法を実施するように適応され、又は当該方法の実施の際に使用される。

上述の実施形態は、本発明を制限するものではなく、例証するものであり、当業者は、添付の請求項の範囲を逸脱することなく、多くの代替の実施形態を設計することが可能であることに留意すべきである。請求項において、括弧内に示される如何なる参照符号も、請求項を制限するものとして解釈されるべきでない。「comprising（有する、含む）」という動詞及びその活用形の使用は、請求項に記述される以外の構成要素又はステップの存在を除外しない。「a」又は「an」のような不定冠詞は、このような構成要素の複数の存在を除外しない。本発明は、幾つかの個別の構成要素を含むハードウェアによって、及び適切にプログラムされたコンピュータによって実現されることが可能である。幾つかの手段を列挙する装置の請求項において、これらの手段の幾つかは、同じ１つのハードウェアアイテムによって具体化されることができる。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示さない。

Claims (14)

1. 画像データのビューを表示することによって、ユーザが少なくとも３空間次元を有する画像データをナビゲートすることを可能にする画像処理システムであって、
   画像データのビューを表示するディスプレイ、及び基準方向に対する画像装置の方向を測定して、画像装置の装置回転を表す回転データを提供する方向センサ、を有する該画像装置と、
   画像データの回転中心を決定する手段と、
   現在ビューを決定するために、（ｉ）前記方向センサから前記回転データを受け取り、（ｉｉ）前記装置回転に関連してビュー回転を決定し、（ｉｉｉ）基準ビューに対し、前記ビュー回転に依存して前記回転中心を中心に回った現在ビューを決定することによって、前記装置回転に関連して画像データのビューを決定する画像プロセッサとを有し、
   前記回転中心を決定する手段は、前記画像データ内の関心領域を自動的に検出する関心領域検出器を有し、前記関心領域を前記回転中心として決定する、画像処理システム。
2. 前記画像処理システムは更に、ユーザから選択データを受け取るユーザ入力部を有し、前記回転中心を決定する手段は、前記回転中心が決定される態様に前記ユーザが影響を与えることを可能にするよう、前記選択データに依存して前記回転中心を決定する、請求項１に記載の画像処理システム。
3. 前記ユーザ入力部は、ユーザからナビゲーションデータを受け取り、前記画像プロセッサは、前記ナビゲーションデータに依存して画像データのビューを決定する、請求項２に記載の画像処理システム。
4. 前記ナビゲーションデータは、パン及び／又はズームナビゲーションコマンドを含む、請求項３に記載の画像処理システム。
5. 前記画像データは、ボリュメトリック画像データを含み、前記画像プロセッサは、現在ビューを生成するために、マルチプラナーリフォーマット、ボリュームレンダリング及び表面レンダリングのグループの中の少なくとも１つを使用することによって、現在ビューを決定する、請求項１に記載の画像処理システム。
6. 前記画像データは、３次元グラフィックデータを含み、前記画像プロセッサは、現在ビューを生成するために、グラフィクスレンダリングを使用することによって、現在ビューを決定する、請求項１に記載の画像処理システム。
7. 現在ビューを決定することが、
   （ｉ）ビュー回転及び回転中心に依存して４ｘ４変換行列を決定し、
   （ｉｉ）４ｘ４変換行列を使用して現在ビューを生成する、
   ことを含む、請求項１に記載の画像処理システム。
8. 前記画像プロセッサは、直接マッピング、ゲイン、オフセット、閾値及び非線形関数のグループの中の少なくとも１つを前記装置回転に適用して、前記装置回転を得ることによって、前記装置回転に関連して前記ビュー回転を決定する、請求項１に記載の画像処理システム。
9. 前記画像処理システムは、ユーザから、基準方向及び／又は基準ビューをリセットするためのリセットコマンドを受け取る、請求項１に記載の画像処理システム。
10. 前記画像処理システムは、前記装置回転に関連して画像データのビューを決定することを中断するための休止コマンドをユーザから受け取る、請求項１に記載の画像処理システム。
11. 請求項１に記載の画像処理システムを有するハンドヘルド装置。
12. 請求項１に記載の画像処理システムを有するワークステーション又はイメージング装置。
13. 画像装置のディスプレイに画像データのビューを表示することによって、ユーザが少なくとも３空間次元を有する画像データをナビゲートすることを可能にする方法であって、
    基準方向に対する画像装置の方向を測定して、画像装置の装置回転を表す回転データを提供するステップと、
    画像データ内の回転中心を決定するステップと、
    現在ビューを決定するために、（ｉ）方向センサから前記回転データを受け取り、（ｉｉ）前記装置回転に関連してビュー回転を決定し、（ｉｉｉ）基準ビューに対し、前記ビュー回転に依存して前記回転中心を中心に回った現在ビューを決定することによって、前記装置回転に関連して画像データのビューを決定するステップとを有し、
    前記画像データ内の回転中心を決定するステップが、前記画像データ内の関心領域を自動的に検出するステップと、前記関心領域を前記回転中心として決定するステップとを含む、方法。
14. 請求項１３に記載の方法をプロセッサシステムに実施させるための命令を含むコンピュータプログラム。

Images