JP5706870B2 - シーンのビューの可視化 - Google Patents

シーンのビューの可視化 Download PDF

Info

Publication number
JP5706870B2
JP5706870B2 JP2012500361A JP2012500361A JP5706870B2 JP 5706870 B2 JP5706870 B2 JP 5706870B2 JP 2012500361 A JP2012500361 A JP 2012500361A JP 2012500361 A JP2012500361 A JP 2012500361A JP 5706870 B2 JP5706870 B2 JP 5706870B2
Authority
JP
Japan
Prior art keywords
view
parameter
value
scene
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012500361A
Other languages
English (en)
Other versions
JP2012520723A (ja
Inventor
イェー エー ハベトス,ライモント
イェー エー ハベトス,ライモント
ベスコス,ハヴィエル オリヴァン
ベスコス,ハヴィエル オリヴァン
エフ ペテルス,ヨースト
エフ ペテルス,ヨースト
イェー ソネマンス,イェルーン
イェー ソネマンス,イェルーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012520723A publication Critical patent/JP2012520723A/ja
Application granted granted Critical
Publication of JP5706870B2 publication Critical patent/JP5706870B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、3次元画像及びオブジェクトを含むシーンからなるビューの可視化に関するものであり、ビューは、該ビューに関連するビューパラメータを有しており、オブジェクトは、該オブジェクトに関連するオブジェクトパラメータを有する。
また、本発明は、医用画像分析、より詳細には血管の分析に関する。
3次元(3D)データセットの3次元の可視化のツールが知られている。医療分野では、係るツールは、血管の分析をサポートするために使用される。これらのツールは、高度な血管の観察、セグメント化、検査及び定量化のための機能を提供する。係るツールにより提供される血管の分析は、血管のセグメント化による血管の検査をサポートする。血管の分析ツールの中には、血管構造の一部を自動的に追跡するものがある。
WO2008/149274は、たとえば医用画像といった3次元(3D)画像データセット内のチューブ状に成形された構造(l’)を検査する方法を開示する。最初に、画像データのセットが提供され、画像データのセットの可視化が実行される。次いで、画像データのセットの検査が行われる。検査の間、ユーザは、たとえばマウスによりポインタ(P)を移動し、プロセッサは、ポインタの周りの局所的なセグメント化を行う。たとえば血管であるチューブ状の成形されたセグメント化されたオブジェクト(l’)の可能な形状を決定し、また、プロセッサは、セグメント化されたオブジェクトの局所的な分析を行う。その後、スクリーンは、セグメント化されたオブジェクト(l’)のビュー(P1)を表示し、この場合、第一のビューの向きは、局所的な分析から導出され、第一のビューは、たとえば断面図又は長手方向の図である。
Nain. D. et al.,による刊行物“An Interactive Virtual Endoscopy Tool” Medical Image Computing and Computer-Assigned Intervention, International Conference, Proceedings thereof, 1 September 2001, pages 1-6は、3Dシーンを表示するワールドビューと仮想内視鏡とを備える仮想内視鏡検査システムを記載しており、内視鏡のビューは、仮想内視鏡が撮影しているものをリアルタイムで表示する。ユーザは、ランドマークと呼ばれる、選択されたキーポイントで仮想内視鏡の位置及び向きを指定することで、フライスルーによる軌跡を生成することができる。ユーザがランドマークを作成したとき、プログラムは、モデルを通してフライスルーを開始したときに、仮想内視鏡の動きにおける滑らかな遷移を保証するためにランドマーク間を補間する。
3次元画像及びオブジェクトを有するシーンからなるビューを可視化する改善されたシステムを有することは有利なことである。この課題に良好に対処するため、本発明の第一の態様において、ビューがこれに関連するビューパラメータを有し、オブジェクトがこれに関連するオブジェクトパラメータを有するシステムが提供される。
本システムは、第一のオブジェクトパラメータの値に基づいて第一のビューパラメータの値を決定するビューパラメータ決定手段と、第一のビューパラメータの値に従って画像のビューを可視化するビュー可視化手段と、ユーザがビューにおけるある点を示すのを可能にする相互作用手段と、前記点に基づいてオブジェクトパラメータを更新して第二のオブジェクトパラメータの値を取得するオブジェクトパラメータ更新手段とを有し、ビューパラメータ決定手段は、第二のオブジェクトパラメータに基づいてビューパラメータを更新して、第二のビューパラメータを取得し、ビュー可視化手段は、第一のビューパラメータの値と第二のビューパラメータの値との間の中間のビューパラメータの値に従う画像の少なくとも1つのビューを順次に可視化し、及び第二のビューパラメータの値に従う画像のビューを可視化する。
第一のビューパラメータの値に従う第一のビューは、第一のオブジェクトパラメータの値に対応し、第二のビューパラメータの値に従う第二のビューは、第二のオブジェクトパラメータの値に対応する。第一のビューから第二のビューにダイレクトにジャンプすることは、ユーザにとって混乱を招くことになる場合がある。2つのビュー間の関係を即座に理解することは困難である。これは、2つのビューが異なるビューパラメータの値を使用して作成されているためである。中間的なビューの順次の可視化は、第一のビューから第二のビューへの滑らかな遷移を提供する。ユーザは、オブジェクトパラメータとビューパラメータとの間の相互作用を良好に理解することができる。結果的に、ユーザは、ビューパラメータの値をより効率的に操作することができる。これは、画像の所望のビューを効率的に作成するために使用することができる。
ビュー可視化手段は、複数の順次の中間のビューパラメータの値に従ってビューを順次に可視化する。これにより、遷移が滑らかになる。十分に多くのビューが順次に可視化された後、第一のビューから第二のビューへの動画が実現される場合がある。
オブジェクトパラメータは、オブジェクトの位置及び/又はオブジェクトの向きを含む。オブジェクトの位置は、たとえばビューの所望の中心を示し、オブジェクトの向きは、ビューの所望のビューの方向を示す。オブジェクトの位置及び/又は向きは、点の入力に基づいて、手動的又は自動的に、血管と位置合わせされる。ビューにおける点の指示は、たとえばカーソルキーを使用して、オブジェクトを移動させることで実現される。
ビューパラメータは、ビューの幾何学的なパラメータを含む。係る幾何学的なパラメータは、見ている方向、ズームファクタ、カメラ位置を含む。幾何学的なパラメータは、多平面再編成で使用される平面の位置及び/又は向きを含む。幾何学的なビューパラメータは、ビューにおいて可視化される画像の一部を定義するために使用される。
相互作用手段は、マウスポインタによりユーザが点を示すのを可能にする。マウスポインタは、ある点を示す便利な手段である。たとえば、点は、その点にオブジェクトを再調整するために使用される。たとえば、オブジェクトは、その点で見える血管と位置合わせされる。
相互作用手段は、ユーザが点の系列を示すのを可能にし、可視化手段は、ボタンの押下又は押下の解除に応じて順次に可視化を行う。点の系列が横断したとき、系列の終わりに到達するまで、ビューパラメータの値が固定された状態で保持されることを直感で理解することできる。
相互作用手段は、オブジェクトをドラッグすることで、ユーザが点の系列を示すのを可能にし、可視化手段は、点の系列に対応するオブジェクトパラメータの系列に従ってオブジェクトを可視化し、オブジェクトは、第一のビューパラメータの値を使用して可視化される。ドラッグ動作の間にビューパラメータを固定された状態に保持することで、オブジェクトは、直感で理解できるように更新され、オリジナルのビューにおいて可視化される。ドラッグの動作が終了されたときのみ、ビューの系列を介してビューがセンタリングし直される。ビューパラメータがドラッグ動作の間に更新された場合、ユーザにとって画像及びオブジェクトの経過を追うことは困難である。
可視化手段は、オブジェクトがビューの境界を越えて移動するのを回避するためにビューパラメータを更新する。オブジェクトパラメータにおける変化のため、オブジェクトがビューの境界を越えて、見えないところに移動した場合、オブジェクトがビューにおいて再び見えるように、ビューパラメータを更新することは役に立つ。
画像は、体積画像(volumetric image)を含む場合があり、ビューは、体積画像の多平面再編成(multi-planar reformat)を含む場合がある。係る多平面再編成は、多くの臨床の応用において有効である。しかし、係る再編成により画像をナビゲートすることは比較的困難な場合があるので、多平面再編成を含むビューに、本明細書で記載される技術を適用することは本質的に有効である。
体積画像は、血管構造を表し、オブジェクトパラメータ決定手段は、点により示される血管構造の血管部分の位置及び/又は向きに対応するオブジェクトパラメータの値を決定する。本明細書で記載される技術は、血管構造の相互作用の分析に有利にも適用される場合があり、これは、係る分析は、局所的な血管の向きに対応する多くの異なる観察する方向を含むためである。
ビューパラメータ決定手段は、ビューにおけるオブジェクトの予め決定された位置又は予め決定された向きに対応するビューパラメータの値を決定する。たとえばセンタリングし直しといった、係る位置合わせのやり直しは、画像のどの部分が可視化されているかに関する追跡を失う原因となる可能性がある。結果的に、中間的なビューは。係るビューパラメータに適用されるために特に適している。
可視化手段は、オブジェクトがビューに関して予め決定された位置及び/又は向きでビューに現れるように、第一及び第二のビューパラメータを決定する。
3次元画像及びオブジェクトを含むシーンからなるビューを可視化する方法が提供され、オブジェクトは、これに関連するオブジェクトパラメータを有し、ビューは、これに関連するビューパラメータを有する。
本方法は、第一のオブジェクトパラメータの値に基づいて第一のビューパラメータを確定するステップと、第一のビューパラメータの値に従って画像のビューを可視化するステップと、ユーザがビューにおけるある点を示すのを可能にするステップと、前記点に基づいてオブジェクトパラメータを更新して第二のオブジェクトパラメータの値を取得するステップと、第二のオブジェクトパラメータの値に基づいてビューパラメータを更新して第二のビューパラメータの値を取得するステップと、第一のビューパラメータの値と第二のビューパラメータの値との間の中間のビューパラメータの値に従う画像の少なくとも1つのビューを順次に可視化し、第二のビューパラメータの値に従う画像のビューを可視化するステップとを含む。
コンピュータプログラムは、プロセッサシステムに、上述された方法を実行させる命令を含む。
本発明のこれらの態様及び他の態様は、添付図面を参照して更に明らかにされる。
あるシーンからなるビューを可視化するシステムのブロック図である。 あるシーンからなるビューを可視化する方法のブロック図である。 血管部分とリングの2つの位置を例示する図である。 ドラッグ動作後のビューの系列のスケッチを例示する図である。
以下、幾つかの実施の形態が詳細に記載される。これらの実施の形態は、本発明を例示するものである。当業者であれば、記載される実施の形態の変形例は、請求項の範囲において可能であることを理解されるであろう。
シーン2のビュー1を可視化するシステムが提示される。シーン2は、3次元画像及びオブジェクト3を含む。ビュー1は、たとえば画像により表現される血管部分4といった、画像の一部を含む場合がある。ビューは、ビューに関連するビューパラメータ10を有し、オブジェクト3は、オブジェクトに関連するオブジェクトパラメータ11を有する。
システムは、第一のオブジェクトパラメータの値に基づいて第一のビューパラメータの値を決定するビューパラメータ決定手段5を含む。システムは、第一のビューパラメータの値に従って画像のビュー1を可視化するビュー可視化手段6を更に備える。さらに、システムは、たとえばトラックボール、マウスポインタ、カーソルキー又はタッチスクリーンにより、ユーザがビューにおける点12を示すのを可能にする相互作用手段7を更に有する。好ましくは、この点は、ビューが表示される視点内の点である。
さらに、システムは、点12に基づいてオブジェクトパラメータ11を更新して第二のオブジェクトパラメータの値を取得するオブジェクトパラメータ更新手段8を更に有する。この第二のオブジェクトパラメータの値は、第一のオブジェクトパラメータの値を置き換えるために使用される。この点において、ビューパラメータ決定手段5は、第二のオブジェクトパラメータの値に基づいてビューパラメータ10を更新して第二のビューパラメータの値を取得する手段を有する。さらに、ビュー可視化手段6は、第二のビューパラメータの値に従って画像のビュー13を可視化する手段を有する。ビュー可視化手段6は、第一のビューパラメータの値と第二のビューパラメータの値との間の中間のビューパラメータの値に従って、画像の少なくとも1つのビューを順次に可視化する手段を更に有する。この第二のビューパラメータの値について、画像の少なくとも1つのビューは、第二のビューパラメータの値に従って画像のビューを可視化する前に可視化される。
ビュー可視化手段6は、中間のビューパラメータの値の系列に対応するビューの系列を順次に可視化する。
中間のビューパラメータの値に対応する1以上のビューは、以下、中間の1以上のビューと呼ばれる。この中間のビュー又はこれらの中間のビューは、たとえばキーフレーム補間アルゴリズムを使用して生成される。補間アルゴリズムには、第一のオブジェクトパラメータの値と第二のオブジェクトパラメータの値のそれぞれに対応するオブジェクトの第一及び第二の位置及び/又は向きが供給される。また、中間のビューが表示される時間を指示するため、動画速度又は全体の動画時間が供給される。オブジェクトの中間の位置及び/又は向きを計算するため、式s=H(t)を採用することで、エルミート補間が使用される場合があり、これらから、中間のビューパラメータ値が導出される。エルミート補間は、当該技術分野でそれ自体知られている。2つの量である位置と向きは、独立して補間され、その後に結合される。複数の中間のビューの場合、好適な実施の形態では、第一の中間のビューは、位置のみを変化させ、その後、向きが変化し始める。これは、動画の知覚された滑らかさを改善する。エルミート補間の代わりに又はエルミート補間に加えて、ドラッグ動作の間に取得されたオブジェクトの中間の位置を使用して、中間のビューパラメータを取得することができる。代替的に、血管は、オブジェクトの新たな位置に向かい、血管のセンターラインに沿って追跡される場合がある。
オブジェクトパラメータ11は、オブジェクトの位置及び/又はオブジェクトの向きを定義する。結果的に、オブジェクトパラメータ更新手段8は、点12に基づいてオブジェクトの新たな位置及び/又は向きを決定する。ビューパラメータ10は、ビュー1の幾何学的パラメータを含む場合がある。係る幾何学的パラメータは、たとえば、画像の多平面再編成を定義するか、円錐台(frustrum)を定義するか、観察方向を定義するか、又はカメラの位置を定義する場合がある。
図3は、3次元画像により表現される血管構造の一部31、点の系列30、第一のオブジェクトパラメータの値に従うオブジェクト3、第二のオブジェクトパラメータの値に従うオブジェクト14を例示する。相互作用手段7は、たとえばオブジェクト14をドラッグすることで、係る点の系列30をユーザが示すのを可能にする。係るドラッグは、たとえばマウス装置又はトラックボール或いはタッチスクリーンを使用して制御される。代替的に、たとえばカーソルキー又はジョイスティックを使用したステップにおいてオブジェクト4を移動させることが可能である。可視化手段6は、たとえばマウスのボタンといった、ボタンを押下するか又は押下を解除することに応じて、連続的な可視化を実行する。より詳細には、順次的な可視化は、点の系列が終了された指示が受信されたときに開始する場合がある。たとえば、新たな点が示されない時間遅延の後である。連続的な可視化が前記指示により作動されるまで、ビューパラメータ10は更新されない。しかし、オブジェクトパラメータ11は、系列30におけるそれぞれの点の後に更新される場合がある。
相互作用手段7は、オブジェクト3をドラッグすることで、点の系列30をユーザが示すのを可能にする手段を有する。さらに、可視化手段6は、点の系列に対応するオブジェクトパラメータの系列に従って、オブジェクト3を可視化する手段を有しており、オブジェクトは、第一のビューパラメータの値を使用して可視化される。言い換えれば、オブジェクト3は、点の系列30に従って順次に可視化される一方、ビューパラメータ10は変化しない。しかし、ビューは、ビューパラメータ10のみにより定義されるものではない。他のビューパラメータは、変化したオブジェクトパラメータ11を考慮するために更新される。たとえば、多平面再編成の深度は、変化したオブジェクトパラメータ11を考慮するために更新され、多平面再編成のパニング(panning)は、ビューパラメータ10により定義され、系列の終わりに到達するまで一定に保持される。
可視化手段7は、オブジェクト3がビュー1の境界15を超えて移動するのを回避するため、ビューパラメータ10を更新する。結果的に、オブジェクトは、ビューの内部において依然として目に見ることができる。ビューパラメータ10は、オブジェクト3がビュー1の境界15の近くに保持されるように更新されるか、又は代替的に、ビューパラメータ10は、オブジェクト3がビューにおける予め決定された位置(たとえば中心)に戻るように更新される。
上述されたように、体積画像は、血管の構造を表す。オブジェクトパラメータ決定手段8は、点により示された血管構造の血管部分の位置及び/又は向きに対応するオブジェクトパラメータの値を決定する手段を有する。係る手段は、WO2008/149274から知られている。
ビューパラメータ決定手段5は、ビューにおけるオブジェクトの予め決定された位置又は予め決定された向きに対応するビューパラメータの値を決定する手段を有する。たとえば、オブジェクトは、ビューの中心にある。向きは、正面であるか、又は側面からである。たとえば、3つの直交する方向から見たときに、シーン2の3つのビューを可視化することができる。ある点又は点の系列が複数のビューにおける1つで指示されたとき、1以上の中間のビューが複数のビューにおける前記1つにおいて可視化される。他のビューは、瞬間的に更新されるか、又は1以上の中間のビューを示す場合がある。
図2は、3次元画像及びオブジェクト3を含むシーン2のビュー1を可視化する方法を例示するものであり、オブジェクト3は、これに関連するオブジェクトパラメータを有し、ビュー2は、これに関連するビューパラメータを有する。ステップ21で、第一のビューパラメータの値は、第一のオブジェクトパラメータの値に基づいて決定される。ステップ22で、第一のビューパラメータの値に従って、画像のビューが可視化される。ステップ23において、ユーザは、ビューにおけるある点を示す。ステップ24で、前記点に基づいてオブジェクトパラメータは更新され、第二のビューパラメータの値が取得される。ステップ25で、第二のオブジェクトパラメータの値に基づいてビューパラメータが更新され、第二のビューパラメータの値が取得される。ステップ26で、第一のビューパラメータと第二のビューパラメータとの間の中間のビューパラメータの値に従って、画像の少なくとも1つのビューが可視化される。その後、第二のビューパラメータの値に従って画像のビューが可視化される。本方法は、コンピュータプログラムとして実現される場合がある。
図4は、図1のシステムの例示的な使用及び図2の方法を例示する。図4は、ビュー41,42,47,48,49及び44を示す。ビュー41は、オブジェクト45による血管のセグメント43を有する。この場合にオブジェクト45は、血管のセグメント43の左及び右にそれぞれに2つの矢印の形状を有する。ユーザは、マウスのような彼の入力装置を介して、オブジェクト45を高い位置46にドラッグする。これは、ビュー42に示される。ビュー42において、血管43は、ビュー41におけるのと同様に表示される。(たとえばマウスのボタンの押下を解除することで)ユーザがドラッグ動作を停止したとき、動画が表示される。この動画は、連続的なビュー47,48及び49を有する。ビューは、オブジェクト46がビューにおいて再び中心に位置されるように、表示される血管のセグメントがオブジェクト46の新たな位置の周りにある血管のセグメントとなるように、次第に変化する。最後に、ビュー44が表示される。このビュー46では、オブジェクト46はビューの中心に位置され、オブジェクト46の周りの血管のセグメントが示されている。
ビューパラメータ10及び/又はオブジェクトパラメータ11は、幾何学的なパラメータに制限されない。パラメータは、たとえばカラーマップを定義するために使用することもできる。
血管の応用では、血管は、たとえばMIP,サーフェスレンダリング(surface rendering)、ボリュームレンダリング(volume renderings)、曲線平面再構成(curved planar format)又は直線再編成(straightened reformat)のビューを使用して可視化される場合がある。さらに、領域及び半径のような局所的な血管の特性は、たとえば狭窄の程度又は動脈瘤のサイズを定量化するため、画像データにおける幾つかの位置で測定される。曲線平面又は直線再編成の可視化技術について、血管の中心を通る経路が使用される場合がある。
局所的な血管の検査は、画像において、たとえばリングのようなオブジェクトを使用することで容易にされる。以下では、リングはオブジェクトの例として使用されるが、(たとえば矩形、平面、点といった)他の種類のオブジェクトがリングを置き換えるために使用されることを理解されたい。
リングがビューにおける予め定義された位置及び向きで現れるように、関心のある構造を表す画像の1以上のビューと位置合わせするためにリングが使用される。評価において、画像に関してリングを移動するといった、ユーザが係るリングと相互作用するのを望むことが分かり、これにより、予め定義された位置及び向きにリングを戻すため、ビューの揃え直しを引き起こす。しかし、リングが相互作用されている間にビューが更新された場合、リングは、ビューにおける固定された位置及び向きのままであり、画像の可視化された部分のみが変化する。これは、直感的に考慮されない。
リングとの相互作用の間、局所的な血管分析のアライメントツールはアクティブ状態にあり、予想とおりに(血管のアライメントを維持して)ビューを更新する。また、相互作用が行われるビューは、相互作用の間に選択された血管の深度を追跡する。また、リングは、ある血管から別の血管にドラッグすることができ、必ずしも1つの血管を常に追跡しない。このアプローチの変形例は、リングが同じ血管と常に揃えられた状態を保持し、フレキシビリティをほんの少し制限するが、血管の追跡を容易にする。
リングとの相互作用の後、ビューは、リングとセンタリングし直され、及び/又は方向を合わせ直される。たとえば、多平面再編成のビューは、血管の方向に平行に維持され、リングに関してセンタリングされる。リングがユーザにより移動されたとき、この自動的なリアライメントは、混乱させるようなユーザの相互作用につながる場合がある。リングが中心になるようにビューを保持することで、混乱させるようなユーザ体験につながる。これは、ドラッグされているリングは、ビューにおいて移動するように見えず、代わりにビュー全体が移動しているように見えるためである。解決策は、リングのドラッグの間にリングの周りでビューを完全に揃え直さないことであり、ドラック動作が終了されたときにのみ、完全に揃え直すことである。さらに、これは、幾つかのケースでは、(ユーザに全体を失わせる)、ビューの瞬間的なセンタリングし直しのため、ユーザを混乱させる場合がある。
滑らかなセンタリングし直しが適用される場合がある。係るセンタリングし直しは、マウスのボタンの押下の解除でのビューの位置からリングがセンタリングされるビューの位置までのビューを動画で表示するキーフレームの補間技術を使用する。「ビューをジャンプする」代わりに、ユーザは、何が起こっているかを明らかに見ることができる。
係る動画で表示される遷移は、たとえば、以下のイベントの何れかによりトリガされる場合がある。新たなオブジェクトの位置を定義するためのビューにおけるクリック。係るケースでは、マウスのクリックにより動画の表示がトリガされる。オブジェクトを新たな位置にドラックするためのビューにおけるドラッグ。係るケースでは、マウスのボタンの押下の解除により動画の表示がトリガされる。たとえばオブジェクトのコーナをドラッグすることによる、オブジェクトの回転。係るケースでは、マウスのボタンの押下の解除により動画の表示がトリガされる。ビューの境界を越えるオブジェクトのドラッグ。係るケースでは、ビューの境界を越えてオブジェクトがドラッグされることにより動画の表示がトリガされる。
センタリングし直しとは別に、その位置で血管に平行となるように、ビューの方向が合わせ直される。リングの相互作用による方向の合わせ直し又は回転は、リングの自動位置合わせにおける誤りを訂正するために可能にされる。リングの向きが(マウスの)相互作用により変更されたとき、新たな方向と一致してビューが動画で表示される。
ユーザが(リングを使用して)ある位置を発見し、測定を行うことを望む場合、ユーザは、リングの位置で血管の測定を実行する。たとえば、血管の一部の管腔、膨張又は長さは、リングの位置で測定される。(第一のリングから第二のリングまでの血管の一部の長さの測定のような)2つの部分からなるリング測定の場合、次のクリックは、測定が完了されるように、第二のリングを位置付ける。ある測定に属するリングは、ライブの検査リングの編集と同様に編集することができる。新たなリングに基づいた測定は、報告における使用のための二次的な捕捉画像の容易な生成をサポートするため、明らかに見る事ができ且つ編集可能な3Dラベルを有する。
本発明は、コンピュータプログラム、特に本発明を実施するために適合される記録媒体におけるコンピュータプログラムに拡張されることを理解されたい。プログラムは、ソースコード、オブジェクトコード、コードの中間ソース、部分的なコンパイルされた形式のようなオブジェクトコードの形式であるか、或いは、本発明の係る方法の実現の使用に適した他の形式である場合がある。また、係るプログラムは、多くの異なるアーキテクチャ設計を有する場合があることを理解されたい。たとえば、本発明に係る方法又はシステムの機能を実現するプログラムコードは、1以上のサブルーチンに小分割されることを理解されたい。これらのサブルーチンに機能を分散する多くの異なるやり方は、当業者にとって明らかであろう。サブルーチンは、自己完結型のプログラムを形成するために、1つの実行可能なファイルに共に記憶される。係る実行可能なファイルは、たとえばプロセッサの命令及び/又は(たとえばJava(登録商標)インタープリタ命令といった)インタープリタ命令といった、コンピュータ実行可能な命令を含む。代替的に、1以上又は全てのサブルーチンは、少なくとも1つの外部のライブラリファイルに記憶され、たとえばランタイムで静的又は動的にメインプログラムとリンクされる。メインプログラムは、少なくとも1つのサブルーチンへの少なくとも1つの呼び出しを含む。また、サブルーチンは、互いに対する関数呼出しを含む。コンピュータプログラムプロダクトに関する実施の形態は、上述された方法の少なくとも1つの処理ステップのそれぞれに対応するコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに小分割されるか、及び/又は静的又は動的にリンクされる1以上のファイルに記憶される。コンピュータプログラムプロダクトに関連する別の実施の形態は、上述されたシステム及び/又はプロダクトの少なくとも1つの手段をそれぞれに対応するコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに小分割され、及び/又は静的又は動的にリンクされる1以上のファイルに記憶される。
コンピュータプログラムのキャリアは、プログラムを担持可能なエンティティ又は装置である。たとえば、キャリアは、たとえばCD ROM又は半導体ROMのようなROM、又はたとえばフロプティカルディスク又はハードディスクといった磁気記録媒体、のような記憶媒体を含む。さらに、キャリアは、電気信号又は光信号のような伝送可能な媒体であり、電気信号又は光信号は、電気又は光ケーブルを介して伝達され、無線又は他の手段により伝達される。プログラムが係る信号で実施されるとき、キャリアは、係るケーブル或いは他の装置又は手段により構成される。代替的に、キャリアは、プログラムが埋め込まれた集積回路である場合があり、集積回路は、関連する方法を実行するために適合されるか、関連する方法の実行における使用向けに適合される。
なお、上述された実施の形態は、本発明を限定するのではなく例示するものである、当業者であれば、特許請求の範囲から逸脱することなしに多くの代替となる実施の形態を設計することができる。請求項では、括弧に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。動詞「備える“comprise”」及びその派生は、請求項で列挙した構成要素又はステップ以外の構成要素又はステップを排除するものではない。構成要素に先行する冠詞“a”又は“an”は、複数の係る構成要素の存在を排除するものではない。本発明は、幾つかの異なる構成要素を有するハードウェアにより、適切にプログラムされたコンピュータにより実現される。幾つかの手段を列挙する装置の請求項では、これらの手段の幾つかは、同一のハードウェアにより実施される。所定の手段が相互に異なる従属の請求項で引用される事実は、これらの手段の組み合わせが使用することができないことを示すものではない。

Claims (14)

  1. 3次元画像を含むシーンビューを可視化するシステムであって、当該システムは更に、オブジェクトを前記シーンの部分として可視化して、ユーザが前記3次元画像に対して前記オブジェクトを動かすことによって前記シーンの前記ビューを調整することを可能にするよう配置され、前記ビューは、該ビューに関連するビューパラメータを有し、前記オブジェクトは、前記ビューにおける前記オブジェクトの位置及び/又は向きを表す、前記オブジェクトに関連するオブジェクトパラメータを有し、
    当該システムは、
    前記ビューにおける前記オブジェクトの第一の位置及び/又は第一の向きを表す第一のオブジェクトパラメータの値に基づいて第一のビューパラメータの値を決定するビューパラメータ決定手段と、
    前記第一のビューパラメータの値に従って前記シーンの前記ビューを可視化するビュー可視化手段と、
    前記ユーザが前記3次元画像に対して前記オブジェクトを動かすことを可能にすることによって前記ビューにおけるある点をユーザが示すのを可能にし、それにより前記ビューにおける前記オブジェクトの第二の位置及び/又は第二の向きを決定する相互作用手段と、
    前記点に基づいて前記オブジェクトパラメータを更新して、前記ビューにおける前記オブジェクトの前記第二の位置及び/又は前記第二の向きを表す第二のオブジェクトパラメータの値を取得するオブジェクトパラメータ更新手段とを有し
    前記ビューパラメータ決定手段は、前記第二のオブジェクトパラメータの値に基づいて前記ビューパラメータを更新して、前記シーンの第二のビューを可視化するための第二のビューパラメータの値を取得するよう配置され
    前記ビュー可視化手段は、前記第一のビューパラメータの値と前記第二のビューパラメータの値との間の中間のビューパラメータの値に従う前記シーンの少なくとも1つの中間ビューと、前記第二のビューパラメータの値に従う前記シーンの前記第二のビューとの順次的な可視化を行うよう配置され
    前記ビューパラメータ決定手段は、前記第二のビューが、該第二のビューに対して前記第一の位置及び/又は前記第一の向きへ再配置及び/又は方向転換された前記オブジェクトを伴う前記シーンを示すように、前記第二のビューパラメータの値を決定するよう配置される、システム。
  2. 前記3次元画像は、血管の画像であり、前記オブジェクトは、前記血管の画像において、局所的な血管の検査における使用のために与えられる、
    請求項1に記載のシステム。
  3. 前記第一の位置は、前記ビューの中心に対応する
    請求項1記載のシステム。
  4. 前記ビュー可視化手段は、複数の順次的な中間のビューパラメータの値に従ってビューを順次に可視化するよう配置される
    請求項1記載のシステム。
  5. 前記ビューパラメータは、前記ビューの幾何学的なパラメータを含む、
    請求項1記載のシステム。
  6. 前記相互作用手段は、マウスポインタにより前記点をユーザが示すのを可能にするよう配置される
    請求項1記載のシステム。
  7. 前記相互作用手段は、点の系列をユーザが示すのを可能にするよう配置され
    前記可視化手段は、前記点の系列が終了されたことの指示を受けたときに、前記順次的な可視化を行うよう配置される
    請求項1記載のシステム。
  8. 前記相互作用手段は、前記オブジェクトをドラッグすることで前記点の系列をユーザが示すのを可能にするよう配置され
    前記可視化手段は、前記点の系列に対応するオブジェクトパラメータの系列に従って前記オブジェクトを可視化するよう配置され、前記オブジェクトは、第一のビューパラメータの値を使用して可視化される、
    請求項7記載のシステム。
  9. 前記ビュー可視化手段は、前記オブジェクトのドラッグが終了したとき、ビューの系列を介して前記ビューにおいて前記オブジェクトをセンタリングし直すよう配置される
    請求項8記載のシステム。
  10. 前記可視化手段は、前記オブジェクトが前記ビューの境界を越えて移動するのを回避するため、前記ビューパラメータを更新するよう配置される
    請求項7記載のシステム。
  11. 前記ビューは、体積画像の多平面再編成を含む、
    請求項1記載のシステム。
  12. 前記体積画像は、血管構造を表し、
    前記オブジェクトパラメータ決定手段は、前記点により示される前記血管構造の血管部分の位置及び/又は向きに対応するオブジェクトパラメータの値を決定するよう配置される
    請求項11記載のシステム。
  13. 3次元画像とオブジェクトとを含むシーンビューを可視化する方法であって、前記オブジェクトは、ユーザが前記3次元画像に対して前記オブジェクトを動かすことによって前記シーンの前記ビューを調整することを可能にするよう可視化され、前記ビューは、該ビューに関連するビューパラメータを有し、前記オブジェクトは、前記ビューにおける前記オブジェクトの位置及び/又は向きを表す、前記オブジェクトに関連するオブジェクトパラメータを有し、
    当該方法は、
    前記ビューにおける前記オブジェクトの第一の位置及び/又は第一の向きを表す第一のオブジェクトパラメータの値に基づいて第一のビューパラメータの値を決定するステップと
    前記第一のビューパラメータの値に従って前記シーンの前記ビューを可視化するステップと
    前記ユーザが前記3次元画像に対して前記オブジェクトを動かすことを可能にすることによって前記ビューにおけるある点をユーザが示すのを可能にし、それにより前記ビューにおける前記オブジェクトの第二の位置及び/又は第二の向きを決定するステップと
    前記点に基づいて前記オブジェクトパラメータを更新して、前記ビューにおける前記オブジェクトの前記第二の位置及び/又は前記第二の向きを表す第二のオブジェクトパラメータの値を取得するステップと
    前記第二のオブジェクトパラメータの値に基づいて前記ビューパラメータを更新して、前記シーンの第二のビューを可視化するための第二のビューパラメータの値を取得するステップと
    前記第一のビューパラメータの値と前記第二のビューパラメータの値との間の中間のビューパラメータの値に従う前記シーンの少なくとも1つの中間ビューと、前記第二のビューパラメータの値に従う前記シーンの前記第二のビューとの順次的な可視化を行うステップと
    前記第二のビューが、該第二のビューに対して前記第一の位置及び/又は前記第一の向きへ再配置及び/又は方向転換された前記オブジェクトを伴う前記シーンを示すように、前記第二のビューパラメータの値を決定するステップと
    を有する方法
  14. プロセッサシステムに、請求項13記載の方法を実行させるための命令を含むコンピュータプログラム。
JP2012500361A 2009-03-20 2010-03-19 シーンのビューの可視化 Active JP5706870B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09155731 2009-03-20
EP09155731.4 2009-03-20
PCT/IB2010/051197 WO2010106525A1 (en) 2009-03-20 2010-03-19 Visualizing a view of a scene

Publications (2)

Publication Number Publication Date
JP2012520723A JP2012520723A (ja) 2012-09-10
JP5706870B2 true JP5706870B2 (ja) 2015-04-22

Family

ID=42173375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012500361A Active JP5706870B2 (ja) 2009-03-20 2010-03-19 シーンのビューの可視化

Country Status (5)

Country Link
US (1) US9508188B2 (ja)
EP (1) EP2409280A1 (ja)
JP (1) JP5706870B2 (ja)
CN (2) CN106960431B (ja)
WO (1) WO2010106525A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960431B (zh) * 2009-03-20 2020-11-24 皇家飞利浦电子股份有限公司 场景视图的可视化
US9466117B2 (en) * 2012-06-01 2016-10-11 Koninklijke Philips N.V. Segmentation highlighter
CN103810748B (zh) * 2012-11-08 2019-02-12 北京京东尚科信息技术有限公司 3d模拟系统构建、管理方法及3d模拟装置
SG11201503711YA (en) * 2012-11-23 2015-06-29 Cadens Medical Imaging Inc Method and system for displaying to a user a transition between a first rendered projection and a second rendered projection
US10380797B2 (en) 2013-11-22 2019-08-13 International Business Machines Corporation Configuration of navigational controls in geometric environment
CN111078346B (zh) * 2019-12-19 2022-08-02 北京市商汤科技开发有限公司 一种目标对象显示方法及装置、电子设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57186111A (en) * 1981-05-13 1982-11-16 Nissan Motor Co Ltd Map display device for vehicle
US6694163B1 (en) * 1994-10-27 2004-02-17 Wake Forest University Health Sciences Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
DE69805209T2 (de) * 1998-02-23 2002-11-28 Algotec Systems Ltd System und methode zur automatischen wegplanung
WO2003046811A1 (en) * 2001-11-21 2003-06-05 Viatronix Incorporated Registration of scanning data acquired from different patient positions
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
CN101116110B (zh) * 2005-02-08 2013-03-27 皇家飞利浦电子股份有限公司 医学图像浏览协议
US7461345B2 (en) * 2005-03-11 2008-12-02 Adobe Systems Incorporated System and method for displaying information using a compass
US7519469B2 (en) * 2005-04-28 2009-04-14 Alpine Electronics, Inc. Display method and apparatus for navigation system
DE102005041581A1 (de) * 2005-09-01 2007-03-15 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Navigation und Messung in einem mehrdimensionalen Bilddatensatz
US7623900B2 (en) * 2005-09-02 2009-11-24 Toshiba Medical Visualization Systems Europe, Ltd. Method for navigating a virtual camera along a biological object with a lumen
CN100353383C (zh) * 2005-11-16 2007-12-05 华中科技大学 基于图像的三维远程可视化方法
US20080088621A1 (en) * 2006-10-11 2008-04-17 Jean-Jacques Grimaud Follower method for three dimensional images
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
EP2073707A2 (en) * 2006-10-16 2009-07-01 Koninklijke Philips Electronics N.V. Method of performing tableside automatic vessel analysis in an operation room
US20100177177A1 (en) * 2007-06-07 2010-07-15 Koninklijke Philips Electronics N.V. Inspection of tubular-shaped structures
JP2009022733A (ja) * 2007-06-20 2009-02-05 Toshiba Corp 医用診断支援装置、医用診断支援方法、及び放射線診断装置
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
CN106960431B (zh) * 2009-03-20 2020-11-24 皇家飞利浦电子股份有限公司 场景视图的可视化

Also Published As

Publication number Publication date
US20120011457A1 (en) 2012-01-12
WO2010106525A1 (en) 2010-09-23
CN106960431A (zh) 2017-07-18
CN106960431B (zh) 2020-11-24
US9508188B2 (en) 2016-11-29
EP2409280A1 (en) 2012-01-25
JP2012520723A (ja) 2012-09-10
CN102356408A (zh) 2012-02-15

Similar Documents

Publication Publication Date Title
JP5842000B2 (ja) 表示画像のズームイン
JP6628844B2 (ja) 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法
JP5706870B2 (ja) シーンのビューの可視化
JP5715064B2 (ja) 血管分析
JP5123182B2 (ja) 臨床作業ワークフローによるシンプルクリックスタイルインタラクションを特徴とする方法及び装置
JP5384473B2 (ja) 画像表示装置及び画像表示方法
JP2006513503A (ja) 三次元表示における複数箇所を管理する装置及び方法
US9214139B2 (en) Image display apparatus and image display method
JP6208670B2 (ja) 肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー
JP4541434B2 (ja) 画像処理装置及び画像処理プログラム
JP6886448B2 (ja) アブレーションゾーンのシミュレーションおよび可視化のためのデバイス、システムおよび方法
JP2007135894A (ja) ヒト血流データをもとにした血流解析装置及びシミュレーション方法
JP2006146473A (ja) 画像処理プログラム
Marton et al. Natural exploration of 3D massive models on large-scale light field displays using the FOX proximal navigation technique
JP4444346B2 (ja) 医療画像処理方法および医療画像処理プログラム
US9558561B2 (en) Semiautomatic drawing tool for image segmentation
JP2006075216A (ja) 医用画像処理システム、医用画像処理プログラムおよび医用画像処理方法
JP5811720B2 (ja) 描画装置、描画方法及び描画プログラム
JP6891187B2 (ja) 医療画像ナビゲーションシステム
JP5196714B2 (ja) 画像表示装置及び画像表示プログラム
JP2001250133A (ja) 画像表示装置
Marshburn et al. The software interface to the 3D-force microscope
JP2022551060A (ja) 3d画像データのナビゲーションおよび表示のためのコンピュータ実装方法およびシステム
Wischgoll Visualizing vascular structures in virtual environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140515

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150227

R150 Certificate of patent or registration of utility model

Ref document number: 5706870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250