JP5838215B2 - 画像及び注釈表示 - Google Patents

Description

本発明は、多次元画像及びそこに配置される注釈を表示するシステム及び方法に関する。

撮像の技術分野において、画像を表示しつつ、その画像に又は画像の近くに１つ又は複数の注釈を追加的に表示することは、よく行われていることである。注釈は、画像に含まれる領域又はランドマークに関連付けられるシンボル又は構造とすることができ、及び領域を空間的に特定する線若しくは点、又は領域上に情報を提供するテキストといった様々な形式を取ることができる。例えば、医学撮像において、磁気共鳴撮像により得られる画像は、画像に含まれる異常に成長する組織領域を特定する、画像上に表示される円の形で、注釈を持つことができる。
画像は、例えば、３次元画像とすることができる。３次元画像における注釈は、１次元注釈、即ち、点とすること、２次元注釈、例えば、線若しくはテキストとすること、又は３次元注釈、例えば、ボリュームとすることができる。注釈は、画像に対する幾何学的な参照を用いて、画像に配置されることができる。

多次元画像において又はこの近くに注釈を表示するための様々なオプションが存在する。ＵＳ２００６／０２１５８８８Ａ１号は、１つ又は複数の追加的なシンボルと共に医学画像を表示する方法を開示する。シンボルは、例えば、ボリュームのエッジをマークするのに用いられることができる。この方法は、参照平面に対して、３次元ボリュームデータをディスプレイにレンダリングするステップと、シンボルに関連付けられる領域と画素との間の参照平面からの距離を決定するステップと、この距離に基づきシンボルのサイズをスケール化するステップと、画素において又はこの近くにスケール化されたシンボルを表示するステップとを有する。

多次元画像及びそこに配置される注釈を表示する改良されたシステム又は方法を持つことは有利である。

この懸念により好適に対処するため、本発明の第１の側面は、多次元画像及び注釈を表示するシステムを提供する。このシステムは、上記多次元画像、上記注釈及び上記注釈に関連付けられる表現データを受信する受信手段であって、上記表現データが、上記多次元画像及び上記注釈の好ましい表現を示す、受信手段と、上記多次元画像及び上記注釈の初期表現を表示するディスプレイ手段と、上記初期表現が上記注釈の少なくとも第１の部分を示すとき、ユーザが視覚化リクエストを提供することを可能にする入力手段とを有し、上記ディスプレイ手段が、上記視覚化リクエストを受信した後、上記表現データに基づき、上記多次元画像及び上記注釈の好ましい表現を表示するよう構成され、上記好ましい表現は、上記注釈の少なくとも第２の部分を示し、上記第２の部分が、上記第１の部分と異なる。

多次元画像は、様々な態様において表されることができる。特に、表現は、画像の次元及びこの画像を表示するのに使用されるディスプレイ手段に依存することができる。例えば、２次元ディスプレイ上に３次元画像を表すことに関して、斯かる表現は通常、３次元画像の断面又はボリューム投影といった２次元表現である。この表現は、ユーザに依存することもできる。なぜなら、ユーザは、自分の好み又は現在の活動に基づき、表現を選択又は調整することができるからである。

すべての表現が、多次元画像に含まれる注釈を表示するのに等しく適しているわけではない。例えば、３次元画像において、上記画像の断面は、注釈と交差しない場合があるか、又は注釈が変に表現される又は断面において縮重されるような立体角で、注釈と交差する場合がある。不利なことに、円形注釈は、例えば、線又はちょうど２つの点といった特定の断面において表現される場合がある。従って、ユーザは、注釈に関連付けられる領域を正しく特定することができない場合がある。

しかしながら、注釈及び／又は注釈に関連付けられる領域を表示するのに比較的適した表現が存在する。これは、表現が、注釈に関連付けられる領域と注釈とを完全に示す場合である。また、注釈が手動で作成される場合、注釈の作成の間、注釈者により使用される表現が通常、注釈を表示するのに適している。また、注釈を表示するのに適した標準化された表現が存在することがある。上記適切な表現は、以下好ましい表現と示される。

本発明による手段は、システムが、多次元画像及び注釈に加えて、多次元画像の好ましい表現を示す表現データを受信するという効果を持つ。処理の間、システムは、注釈の第１の部分が見える多次元画像の初期表現を表示することができる。注釈の第１の部分を見ると、ユーザは、表示される好ましい表現を起動するようシステムに対して視覚化リクエストを提供することができる。この好ましい表現は、注釈の少なくとも第２の部分を示す。

従って、ユーザは、注釈及び／又は領域のより好適な表現を得るため、任意の表現、即ち初期表現から好ましい表現へと容易に切り替えることができる。有利には、表現を手動で調整する必要なしに、ユーザは、注釈の好ましい表現を得る際に支援される。有利には、注釈の解釈における過誤が、防止又は減らされることができる。

上記多次元画像が、３次元画像とすることができ、上記ディスプレイ手段は、上記３次元画像及び上記注釈の上記初期表現として上記画像の初期断面を表示し、上記３次元画像及び上記注釈の上記好ましい表現として上記画像の好ましい断面を表示するよう構成されることができる。上記好ましい断面は、上記初期断面と異なる。

断面は、２次元ディスプレイ上で３次元画像を表すのに適している。従って、ディスプレイ手段は、３次元画像及びそこに配置される注釈の初期断面を表示するよう構成され、ユーザから視覚化リクエストを受信するとすぐに、上記画像及び上記注釈の好ましい断面を表示するよう構成されることができる。

上記注釈が、上記３次元画像に含まれる平面に配置されることができる。上記３次元画像の上記初期断面は、上記平面及び上記注釈と交差することができる。上記３次元画像の上記好ましい断面が、上記平面及び上記注釈と一致することができる。

注釈が３次元画像内の平面に配置され、断面が平面及びそこに配置される注釈と一致する場合、断面は注釈を表示するのに適している。従って、ディスプレイ手段は、上記平面及びそこに配置される注釈に一致する断面を好ましい断面として表示するよう構成されることができる。有利には、ユーザは、注釈及びその関連付けられる領域を部分的にのみ示す３次元画像の断面から注釈及び上記領域を完全に示す画像へと容易に切り替えることができる。

上記多次元画像が、複数の時間依存３次元画像を有する４次元画像とすることができる。上記ディスプレイ手段は、上記４次元画像及び上記注釈の上記初期表現として上記複数の時間依存３次元画像の初期画像の断面を表示し、上記４次元画像及び上記注釈の上記好ましい表現として上記複数の時間依存３次元画像の好ましい画像の断面を表示するよう構成されることができる。上記好ましい画像が、上記初期画像と異なる。

４次元画像は、３次元画像の時系列を有することができる。ここで、ディスプレイ手段は、３次元画像の１つの断面を最初に表示するよう構成される。即ち、第１の時間インスタンスに対応する。視覚化リクエストを受信した後、ディスプレイ手段は、３次元画像の別の１つの断面を表示する。即ち、第２の時間インスタンスに対応する。有利には、ユーザは、第１の時間インスタンスでの注釈及びその関連付けられる領域を示す表現から第２の時間インスタンスでの注釈及びその関連付けられる領域を示す表現へと容易に切り替えることができる。

このシステムは更に、上記多次元画像の上記好ましい表現を用いて、ユーザが上記注釈を生成することを可能にする注釈生成手段を有することができる。上記注釈生成手段が、上記好ましい表現に基づき、上記表現データを生成するよう構成される。

注釈生成手段は、ユーザが好ましい表現を用いて注釈を生成することを可能にする。また、注釈生成手段は、好ましい表現を示す表現データを生成する。従って、受信手段は、注釈生成手段から注釈及び表現データを得ることができる。結果的に、多次元画像の共通の表現を用いて、ユーザが注釈を生成及び表示することを、このシステムは可能にする。有利には、注釈及び／又は表現データは、好ましい表現を用いて、注釈を表示する別のシステムに提供されることができる。

上記好ましい表現において示される上記注釈の上記第２の部分が、上記初期表現において示される上記注釈の上記第１の部分より大きいとすることができる。

注釈のより大きな部分を表示することにより、ユーザは、注釈の、及び通常その関連付けられる領域の改良された表示を提供される。改良された表示は、注釈の解釈を助ける。有利には、注釈の解釈における過誤が、防止又は減らされることができる。

上記第２の部分が、上記注釈を含むことができる。上記第１の部分は、上記注釈のサブセットとすることができる。

注釈のサブセットだけの代わりに、完全に注釈を表示することにより、ユーザは、注釈の、及び通常その関連付けられる領域の改良された表示を提供される。改良された表示は、注釈の解釈を助ける。

上記入力手段が、上記注釈へのポインティングにより、又は上記注釈上でのクリックにより、ユーザが上記視覚化リクエストを提供することを可能にするポインティングデバイスとすることができる。

例えばマウス、タッチパッド、タッチスクリーン又はポインティングスティックといったポインティングデバイスは、視覚化リクエストを提供する便利で直観的な態様を提供する。ポインティングデバイスは、例えば、注釈に対するポインティングにより、又は注釈上でのクリックにより、ユーザが視覚化リクエストを提供することを可能にする。

上記ディスプレイ手段が、上記多次元画像及び上記注釈の上記初期表現を第１のウィンドウに表示し、上記多次元画像及び上記注釈の上記好ましい表現を第２のウィンドウに表示するよう構成されることができる。上記第２のウィンドウが、上記第１のウィンドウの上に又はそばに配置される。

初期表現の上に又はそのそばに好ましい表現を示すことにより、ユーザは、両方の表現の同時の表示を提供される。同時表示は、２つの視点から注釈を示すことにより注釈を解釈するユーザを補助することができる。同時表示は、例えば、両方の表現の間の他の態様での突然の切り替えが原因による、解釈の際の困難を防止することもできる。

上記ディスプレイ手段が、ディスプレイ設定を用いて、上記多次元画像及び上記注釈の上記初期表現を表示し、上記視覚化リクエストを受信した後、上記同じディスプレイ設定を用いて、上記多次元画像及び上記注釈の上記好ましい表現を表示するよう構成されることができる。

特定のディスプレイ設定が、初期表現を表示するのに用いられることができる。ディスプレイ設定は、例えば、ユーザ又はシステムにより適切なディスプレイ設定として選択されることができる。ディスプレイ設定は、好ましい表現に関して適している場合もある。なぜなら、両方の表現は、注釈を示し、及び従って、３次元画像の関連する部分を示すからである。ディスプレイ手段は、従って、好ましい表現を表示するため、同じディスプレイ設定を用いるよう構成される。

上記ディスプレイ設定が、上記多次元画像及び上記注釈の上記初期表現のディスプレイコントラストを示すことができる。

ユーザは、初期表現に関して適切なコントラスト設定を選択することができる。コントラスト設定は特に、多次元画像に含まれる詳細の解釈において関連する。選択されたコントラスト設定は、好ましい表現に関しても適している場合がある。なぜなら、両方の表現は、注釈を示し、及び従って、３次元画像の関連する部分を示すからである。ディスプレイ手段は、従って、好ましい表現を表示するため、同じコントラスト設定を用いるよう構成される。

ワークステーションは、上述されたシステムを有することができる。

撮像装置は、上述されたシステムを有することができる。

多次元画像及び注釈を表示する方法が、上記多次元画像、上記注釈及び上記注釈に関連付けられる表現データを受信するステップであって、上記表現データが、上記多次元画像及び上記注釈の好ましい表現を示す、ステップと、上記多次元画像及び上記注釈の初期表現を表示するステップと、上記初期表現が上記注釈の少なくとも第１の部分を示すとき、ユーザが視覚化リクエストを提供することを可能にするステップと、上記視覚化リクエストを受信した後、上記表現データに基づき、上記多次元画像及び上記注釈の上記好ましい表現を表示するステップであって、上記好ましい表現は、上記注釈の少なくとも第２の部分を示し、上記第２の部分が、上記第１の部分と異なる、ステップとを有することができる。

コンピュータプログラムが、プロセッサシステムに上述の方法を実行させる命令を有することができる。

視覚化リクエストを受信した後、ディスプレイ手段は、３次元画像の初期表現を上記画像の好ましい表現で置換するよう構成されることができる。

３次元画像の初期表現を上記画像の好ましい表現で置換することは、好ましい表現が、初期表現と類似する態様で表示される、例えば、同じサイズ及び／又は同じ位置のウィンドウにおいて表示されることをもたらす。有利には、好ましい表現は、両方の表現の同時表示を用いて可能とされるより大きく提示されることができる。

本発明の上述の実施形態、実現及び／又は側面の２つ又はこれ以上が有益と思われる任意の態様で結合されることができる点を当業者であれば理解されるであろう。

システムについて上述された修正及び変形に対応する、画像取得装置の、ワークステーションの、方法の、及び／又はコンピュータプログラムの修正及び変形が、本書の記載に基づき当業者により実施されることができる。

本発明は、独立請求項により規定される。有利な実施形態が、従属項において規定される。

当業者であれば、本方法が、様々な取得モダリティにより取得される、例えば２次元（２Ｄ）、３次元（３Ｄ）又は４次元（４Ｄ）画像といった多次元画像データに適用されることができる点を理解されるであろう。斯かるモダリティは、以下に限定されるものではないが、例えば、標準的なＸ線イメージング、コンピュータ断層撮影法（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、陽電子放出断層撮影（ＰＥＴ）、単光子放出断層撮影（ＳＰＥＣＴ）及び核医学（ＮＭ）を含む。

多次元画像及びそこに配置される注釈を表示するシステムを示す図である。 多次元画像及びそこに配置される注釈を表示する方法を示す図である。 ３次元画像の初期表現を示す図である。 ３次元画像の初期表現上での３次元画像の好ましい表現を示す図である。 ３次元画像の初期表現上での３次元画像の好ましい表現とポインティングデバイスのクリックアクションとを示す図である。 ３次元画像の好ましい表現を示す図である。 時間における第１のインスタンスでの４次元画像の初期表現を示す図である。 時間における第２のインスタンスでの４次元画像の好ましい表現を示す図である。

本発明のこれら及び他の側面が、以下に説明される実施形態を参照して明らかとなり、これらの実施形態を参照して説明されることになる。

図１は、多次元画像及びそこに配置される注釈を表示するシステム１００を示す。このシステムは、多次元画像の初期表現３００及びそこに配置される注釈を表示するディスプレイ手段１３０を有する。ディスプレイ手段１３０は、例えば、コンピュータモニタ又は携帯型ディスプレイを有することができる。ディスプレイ手段１３０は、２次元ディスプレイに関して構成されることができ、又は、３次元ディスプレイに関して立体表示タイプとすることができる。任意の適切なディスプレイ手段１３０が、初期表現を表示するために用いられることができる点を理解されたい。

初期表現３００の例は、図３に示される。ここで、医学領域からの３次元画像の断面が示される。３次元画像は、例えば、Ｘ線イメージング、コンピュータ断層撮影法（ＣＴ）又は他の任意の適切な取得モダリティを介して得られることができる。従って、初期表現３００は、人間の構造又は人間の組織の断面を示すことができる。

ディスプレイ手段１３０は、初期表現３００の一部として、多次元画像に含まれる注釈を示すよう構成される。図３において、３次元画像は、３次元画像内の平面に配置される２次元注釈を含み、断面は、注釈と交差する断面である。従って、初期表現３００は、注釈３１０の部分だけを示す。注釈３１０のこの部分は、初期表現３００において線として見える。

システム１００は更に、初期表現３００が注釈の少なくとも部分を示すとき、ユーザが視覚化リクエストを提供することを可能にする入力手段１２０を有する。入力手段１２０は、ポインティングデバイスとすることができる。従って、ディスプレイ手段１３０は、初期表現３００の上にカーソル３２０を表示するよう構成されることができる。ユーザは、システム１００に対して視覚化リクエストを提供するため、ポインティングデバイスを用いることができる。これは、図４に示されるように、注釈３１０の近く若しくは上で、カーソル３２０をホバリングすることにより、又は、ボタン若しくはメニューといったディスプレイ手段により示される専用の要素上でクリックすることにより、実行されることができる。

ディスプレイ手段１３０は更に、視覚化リクエストを受信した後、多次元画像の好ましい表現４００を表示するよう構成される。好ましい表現４００の例は、図４において示されるように、初期表現３００の上にオーバレイされるウィンドウに含まれる。表現のこの態様は、ピクチャインピクチャと呼ばれることができる。ウィンドウは、例えば、図４に示されるようなテキストラベルにより提供される説明により伴われることもできる。説明は、注釈４１０と共に作成されることができる。しかしながら、例えば、初期表現３００の次に好ましい表現４００を示すことにより、好ましい表現４００が、他の任意の適切な態様において表示されることもできる点を理解されたい。

好ましい表現４００は、以前図３において示された３次元画像の別の断面として、図４に示される。断面は、注釈４１０の好ましい、及び従って代替的な表示と注釈に関連付けられる領域とを提供する。この例において、断面は、注釈が配置される平面に一致するよう選ばれる。従って、好ましい表現４００は、全体の注釈を示す。ユーザは、従って、注釈が円形であることを決定することができ、特定の領域を特定する。この情報は、図３の初期表現３００において失われる。結果的に、図４の好ましい表現４００は、注釈及びこの注釈に関連付けられる領域の改良された表示又は斜視図を提供する。

入力手段１２０は、ユーザが好ましい表現４００上でクリックすることを可能にするよう構成されることもできる。例は、図５において示される。図５では、カーソル３３０が、ユーザにより実行されるクリックアクションの間に示される。図６に示されるように、ディスプレイ手段１３０は、視覚化リクエストを受信するとすぐに、好ましい表現４００で初期表現３００を置換するよう構成されることができる。結果的に、ユーザは、好ましい表現４００の比較的大きい、例えば、フルスクリーンの表示を提供される。

多次元画像及び注釈を受信するため、システム１００は、受信手段１１０を有する。受信手段は、コンピュータファイルリーダー、メモリリーダー、インターネットパケット受信機又は情報を受信する他の任意の適切な手段とすることができる。受信手段１１０は更に、注釈に関連付けられる表現データを受信する。表現データは、視覚化リクエストを受信するとすぐに表示される好ましい表現４１０を決定するため、システム１００により用いられる。このため、表現データは、システムが好ましい断面を決定すること可能にするよう、平面式に関するパラメータを有することができる。

システム１００は、４次元画像において注釈を表示するよう構成されることもできる。４次元画像は、３次元画像の時系列、即ち、複数の３次元画像を有することができる。この複数の３次元画像の各々は、時間における特定のインスタンスに関連付けられる。４次元画像は、例えば、Ｘ線イメージング、コンピュータ断層撮影法（ＣＴ）又は他の任意の適切な取得モダリティを介して、例えば、特定の時間間隔の間に複数の３次元画像をキャプチャすることにより得られることができる。

４次元画像の初期表現３００の例は、図７に示される。ここで、複数の３次元画像の１つの断面が示される。従って、断面は、時間における特定のインスタンスに対応する。ディスプレイ手段１３０は、初期表現３００の一部として、注釈３１０を示すよう構成される。ディスプレイ手段は、初期表現３００の上にカーソル３２０を表示するよう構成されることができる。ユーザは、例えば、注釈３１０の近くで又はこの上でクリックすることにより、システム１００に対して視覚化リクエストを提供するため、ポインティングデバイスを用いることができる。

視覚化リクエストを受信した後、ディスプレイ手段１３０は、４次元画像の好ましい表現４００を表示する。例は、図８に示される。図８では、好ましい表現４００が、複数の３次元画像の別の１つの断面として示される。従って、図８に示される断面は、図７に示される断面とは時間において別のインスタンスに対応する。

初期表現３００に示される３次元画像は、好ましい表現４００に示される３次元画像と異なることができる。例えば、これは、時間にわたりフォームにおける変化をもたらす細胞成長が原因である場合がある。例えば、図７は、より初期に取得された３次元ＣＴ画像の断面に対応することができ、図８は、より後期に取得された３次元ＣＴ画像の断面に対応することができる。更に、断面平面が、例えば、成長する細胞の特定のクラスタの位置における変化に対して適応するため、両方の表現の間で変化するかもしれない。

システム１００はオプションで、多次元画像の好ましい表現を用いて、ユーザが注釈を生成することを可能にする注釈生成手段１４０を有することができる。注釈生成手段１４０は、ユーザが手動で描画する、タイピングする、又は他の態様で注釈を生成することを可能にする手動注釈生成器とすることができる。例えば、注釈生成手段１４０は、好ましい表現により示される多次元画像における注釈をユーザが描画することを可能にするポインティングデバイスを有することができる。注釈生成手段１４０は、部分的に自動の注釈生成器とすることもできる。これは、ユーザのリクエストに応じて、自動的に注釈を生成する。例えば、注釈生成手段１４０は、好ましい表現において示される多次元画像の特定の部分をセグメント化する既知のセグメント化アルゴリズムを有することができる。特定の部分は、ユーザによっておおまかに指示されることを必要とする場合がある。表現データは、例えば、好ましい断面の平面式といった好ましい表現を示すデータを含むことにより生成されることができる。図１には示されていないが、システム１００は、生成された注釈及び表現データを、例えば、ストレージ媒体又はコンピュータネットワーク上へ出力する出力部を有することもできる。

図２は、多次元画像及びそこに配置される注釈を表示する方法２００を示す。この方法は、図１に示されるシステム１００に類似する。即ち、この方法は、多次元画像、注釈及び注釈に関連付けられる表現データを受信するステップ２１０であって、表現データが、多次元画像及びそこに配置される注釈の好ましい表現を示す、ステップと、多次元画像及びそこに配置される注釈の初期表現を表示するステップ２２０と、初期表現が注釈の少なくとも第１の部分を示すとき、ユーザが視覚化リクエストを提供することを可能にするステップ２３０と、視覚化リクエストを受信した後、表現データに基づき多次元画像及びそこに配置される注釈の好ましい表現を表示するステップ２４０であって、好ましい表現が、注釈の少なくとも第２の部分を示し、この第２の部分が第１の部分と異なる、ステップとを有する。

多次元画像は、任意の適切な次元とすることができ、例えば、２次元、３次元、又は４次元とすることができる点を理解されたい。多次元画像は、最初はより低い次元を持つ複数の画像から生じることができる。この低次元画像は、多次元画像を形成するため一緒に組み合わせられる。例えば、３次元画像は、元々２次元画像のスタックにより形成されることができる。４次元画像は、元々３次元画像のシリーズにより形成されることができる。５次元画像は、元々３次元画像の行列により形成されることができる。

組合せは、多次元画像のデータ構造において明示的に反映されることができない。例えば、システムが、複数の２次元画像を内部的に用い、ユーザによるシステムとの相互作用においてのみ、画像が、ユーザに対して３次元であるように見える場合がある。これは、例えば、まるでユーザが３次元画像のスライスの中をナビゲートしているかのように、複数の２次元画像の中をナビゲートすることを可能にすることにより実現されることができる。

多次元画像に配置される注釈は、任意の適切な次元とすることができ、例えば、１次元、２次元、３次元、又は４次元とすることができる。注釈の次元は、多次元画像の次元に等しい又はこれより少なくすることができる。例えば、注釈は、３次元画像に含まれる２次元注釈、又は４次元画像に含まれる３次元注釈とすることができる。注釈は、２次元幾何学プリミティブ、例えば、点、線、輪郭等を有することができる。

注釈の特有の例は、３次元画像における腫瘍の最も大きな断面平面を通る楕円である。別の特有の例は、骨整列を測定する線の集合である。この線は、測定スキームによりあらかじめ規定される。更に別の特有の例は、多発性硬化症病巣を表す３次元画像においてマークされた点の集合である。注釈は、専門家ユーザにより描画されることができ、及び他のユーザを教育する目的で機能することができる。

初期表現３００及び／又は好ましい表現４００は、断面、ボリューム投影、ボリュメトリック表現又は多次元画像を表す他の任意の適切な態様とすることができる。表現は、画像の次元及びディスプレイ手段の次元に依存することができる。例えば、２次元ディスプレイ上に３次元画像を表すことに関して、表現は、断面又はボリューム投影とすることができるが、立体表示ディスプレイ上では、表現は、３次元画像のボリュメトリック表現とすることができる。

初期表現３００を表示するとき、ディスプレイ手段１３０は、初期表現３００が注釈３１０の部分だけを示すヒントを表示するよう構成されることができる。例えば、初期表現３００が注釈と交差する断面である場合、ディスプレイ手段１３０は、ソリッドで厚いものとして、注釈３１０の交差された部分を表示し、注釈の非交差部分を透過的態様で表示するよう構成されることができる。この透明度は、注釈の非交差部分と断面との間の幾何学的な距離を示す。また、非交差部分は、幾何学的な距離を反映するために、サイズにおいてスケール化されることができる。

入力手段１２０は、ユーザが視覚化リクエストを提供することを可能にする任意の適切な入力手段とすることができる。従って、入力手段１２０は、例えばコンピュータマウス、タッチスクリーン、ポインティングスティック等のポインティングデバイスを有することができる。ユーザは、例えば、注釈に対して又は視覚化リクエストに関連付けられる領域に対してポインティングすることにより、視覚化リクエストを提供することができる。キーを押す、音声コマンド又はジェスチャーによりユーザが視覚化リクエストを提供することを可能にするため、入力手段１２０は、それぞれキーボード、マイク又はカメラを有することもできる。視覚化リクエストを受信する前又は後に、システム１００は、ユーザに対してフィードバックを提供するよう構成されることができる。例えば、ユーザが注釈の上にカーソルを配置するとき、注釈が視覚的に強調されることができる。

多次元画像、注釈及び表現データは、単一のデータ構造又は信号として受信手段１１０により受信されることができる。多次元画像は、注釈及び表現データとは別々に受信されることもできる。ここで、注釈及び表現データは、別々に受信される強調された機能を提供する。多次元画像及び注釈が、表現データを処理することができないシステムにおいても用いられることを可能にするため、表現データは、多次元画像及び注釈とは別々に受信されることもできる。

システムが好ましい断面を決定することを可能にするため、表現データは、平面式に関するパラメータを有することができる。システムが好ましいボリューム投影を決定することを可能にするため、表現データは、投影行列に関するパラメータを有することもできる。更に、多次元画像が複数の低次元画像を有するとき、表現データは、注釈を示す低次元画像の特定の１つを示すパラメータを有することができる。

上述したシステム及び方法は、様々な撮像分野において適用されることができる。例えば、多次元画像は、建物の設計モデルとすることができる。この場合、注釈は、建物又はその内部の特定の要素に関連する。従って、建築家は、設計モデル及びそこに含まれる注釈を表示するため、このシステムを用いることができる。同様に、多次元画像は、例えば車の技術的なモデルとすることができる。この場合、注釈は、車の特定の要素に関連する。

本発明は、本発明を実行するよう構成されるコンピュータプログラムに、特に担体上又は内のコンピュータプログラムに延在することを理解されたい。このプログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた中間ソースコード及び中間オブジェクトコードの形式、又は本発明による方法を実現するための使用に適した任意の他の形式とすることができる。斯かるプログラムが、多くの異なる設計上のデザインを持つことができる点も理解されたい。例えば、本発明による方法又はシステムの機能を実現するプログラムコードは、１つ又は複数のサブルーチンに分割されることができる。これらのサブルーチンにおける機能を分散させる多くの異なる態様が当業者には明らかであろう。このサブルーチンは、自己完結的なプログラムを形成するため、１つの実行可能ファイルに一緒に格納されることができる。斯かる実行可能ファイルは、コンピュータ実行可能な命令、例えばプロセッサ命令及び／又はインタプリタ命令（例えばＪａｖａインタプリタ命令）を有することができる。代替的に、１つ又は複数又は全てのサブルーチンが、少なくとも１つの外部ライブラリファイルに格納されることができ、及び例えば実行時にメインプログラムに静的に又は動的にリンクされることができる。メインプログラムは、少なくとも１つのサブルーチンへの少なくとも１つの呼び出しを含む。サブルーチンは、互いに対する関数呼び出しを有することもできる。コンピュータプログラムに関する実施形態は、本書に記載される方法の少なくとも１つにおける処理ステップの各々に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに再分割されることができ、及び／又は静的に若しくは動的にリンクされることができる１つ又は複数のファイルに格納されることができる。コンピュータプログラムに関する別の実施形態は、本書に記載されるシステム及び／又は製品の少なくとも１つにおける各手段に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに再分割されることができ、及び／又は静的に若しくは動的にリンクされることができる１つ又は複数のファイルに格納されることができる。

コンピュータプログラムの担体は、プログラムを実行することができる任意のエンティティ又はデバイスとすることができる。例えば、担体は、ＣＤ―ＲＯＭ若しくは半導体ＲＯＭといったＲＯＭのようなストレージ媒体、又は例えばハードディスクといった磁気記録媒体を含むことができる。更に、担体は、例えば電気又は光学信号といった通信可能担体とすることができる。これは、電気又は光学ケーブルを介して又は無線又は他の手段により搬送されることができる。プログラムが斯かる信号において実現されるとき、担体は、斯かるケーブル又は他のデバイス又は手段により構成されることができる。代替的に、担体は、プログラムが埋め込まれる集積回路とすることができる。この集積回路は、関連する方法を実行するよう構成されるか、又は関連する方法の実行に使用されるよう構成される。

上述された実施形態は本発明を限定するものではなく、説明するものであり、当業者であれば、添付された請求項の範囲から逸脱することなく、代替的な多くの実施形態をデザインすることができることになることに留意されたい。請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。動詞「有する」及びその共役の使用は、請求項において述べられる要素又はステップ以外の要素又はステップの存在を排除するものではない。ある要素に先行する冠詞「ａ」又は「ａｎ」は、斯かる要素が複数存在することを除外するものではない。本発明は、複数の個別の要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実現されることができる。複数の手段を列挙するデバイスクレームにおいて、複数のこれらの手段がハードウェアの１つの同じアイテムにより実現されることができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。

Claims (15)

1. 多次元画像及び注釈を表示するシステムであって、
   前記多次元画像、前記注釈及び前記注釈に関連付けられる表現データを受信する受信手段であって、前記表現データが、前記多次元画像及び前記注釈の第２の表現を示す、受信手段と、
   前記多次元画像及び前記画像に配置される前記注釈の初期表現として画像の初期断面を表示するディスプレイ手段と、
   前記初期表現が前記注釈の少なくとも第１の部分を示すとき、ユーザが視覚化リクエストを提供することを可能にする入力手段とを有し、
   前記ディスプレイ手段が、前記視覚化リクエストを受信した後、前記表現データに基づき、前記多次元画像及び前記注釈の前記第２の表現として画像の第２の断面を表示するよう構成され、前記第２の表現は、前記注釈の少なくとも第２の部分を示し、前記第２の部分が、前記第１の部分と異なり、前記第２の断面は、前記初期断面とは異なる、システム。
2. 前記多次元画像が、３次元画像であり、
   前記初期断面及び前記第２の断面は、前記３次元画像の断面である、請求項１に記載のシステム。
3. 前記注釈が、前記３次元画像内の平面に配置され、
   前記３次元画像の前記初期断面は、前記平面及び前記注釈と交差し、
   前記３次元画像の前記第２の断面が、前記平面及び前記注釈と一致する、請求項２に記載のシステム。
4. 前記多次元画像が、複数の時間依存３次元画像を有する４次元画像であり、
   前記初期断面は、前記複数の時間依存３次元画像の初期画像の断面であり、
   前記第２の断面が、前記複数の時間依存３次元画像の第２の画像の断面である、請求項１に記載のシステム。
5. 前記多次元画像の前記第２の表現を用いて、ユーザが前記注釈を生成することを可能にする注釈生成手段を更に有し、
   前記注釈生成手段が、前記第２の表現に基づき、前記表現データを生成するよう構成される、請求項１に記載のシステム。
6. 前記第２の表現において示される前記注釈の前記第２の部分が、前記初期表現において示される前記注釈の前記第１の部分より大きい、請求項１に記載のシステム。
7. 前記第２の部分が、前記注釈を含み、前記第１の部分は、前記注釈のサブセットである、請求項６に記載のシステム。
8. 前記入力手段が、前記注釈へのポインティングにより、又は前記注釈上でのクリックにより、ユーザが前記視覚化リクエストを提供することを可能にするポインティングデバイスである、請求項１に記載のシステム。
9. 前記ディスプレイ手段が、前記多次元画像及び前記注釈の前記初期表現を第１のウィンドウに表示し、前記多次元画像及び前記注釈の前記第２の表現を第２のウィンドウに表示するよう構成され、
   前記第２のウィンドウが、前記第１のウィンドウの上に又はこれと並んで配置される、請求項１に記載のシステム。
10. 前記ディスプレイ手段が、ディスプレイ設定を用いて、前記多次元画像及び前記注釈の前記初期表現を表示し、前記視覚化リクエストを受信した後、前記同じディスプレイ設定を用いて、前記多次元画像及び前記注釈の前記第２の表現を表示するよう構成される、請求項１に記載のシステム。
11. 前記ディスプレイ設定が、前記多次元画像及び前記注釈の前記初期表現のディスプレイコントラストを示す、請求項１０に記載のシステム。
12. 請求項１に記載のシステムを有するワークステーション。
13. 請求項１に記載のシステムを有する撮像装置。
14. 多次元画像及び注釈を表示する方法において、
    前記多次元画像、前記注釈及び前記注釈に関連付けられる表現データを受信するステップであって、前記表現データが、前記多次元画像及び前記注釈の第２の表現を示す、ステップと、
    前記多次元画像及び前記注釈の初期表現を表示するステップと、
    前記初期表現が前記注釈の少なくとも第１の部分を示すとき、ユーザが視覚化リクエストを提供することを可能にするステップと、
    前記視覚化リクエストを受信した後、前記表現データに基づき、前記多次元画像及び前記注釈の前記第２の表現を表示するステップであって、前記第２の表現は、前記注釈の少なくとも第２の部分を示し、前記第２の部分が、前記第１の部分と異なる、ステップとを有する、方法。
15. プロセッサシステムに請求項１４に記載の方法を実行させる命令を有するコンピュータプログラム。

Images