JP6248044B2 - 3d医療灌流画像の視覚化 - Google Patents

3d医療灌流画像の視覚化 Download PDF

Info

Publication number
JP6248044B2
JP6248044B2 JP2014545394A JP2014545394A JP6248044B2 JP 6248044 B2 JP6248044 B2 JP 6248044B2 JP 2014545394 A JP2014545394 A JP 2014545394A JP 2014545394 A JP2014545394 A JP 2014545394A JP 6248044 B2 JP6248044 B2 JP 6248044B2
Authority
JP
Japan
Prior art keywords
image
time
series
images
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014545394A
Other languages
English (en)
Other versions
JP2015505690A (ja
Inventor
ヴィームカー,ラファエル
ビューロウ,トーマス
ベルクトールト,マルティン
メーツ,キルステン
カルルセン,イングヴァー−クルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015505690A publication Critical patent/JP2015505690A/ja
Application granted granted Critical
Publication of JP6248044B2 publication Critical patent/JP6248044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • G06T2207/10096Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、一連の画像を単一の画像へと組み合わせる画像処理装置及び方法に関する。本発明は更に、上記の画像処理装置を含むワークステーション又は画像化装置、並びに上記の方法をプロセッサ・システムに実行させるためのコンピュータ・プログラム製品に関する。
画像視認及び画像表示の分野では、いくつかの画像を単一の出力画像へと組み合わせて、これらのいくつかの画像内に含まれる関連情報をユーザに都合よく表示できるようにすることが望ましいことがある。この理由は、他の方法によると前記情報を得るのにユーザがこれらのいくつかの画像中をスクロールするか、又は視覚的に比較する必要がある場合があるためである。これらのいくつかの画像を単一の出力画像へと組み合わせることにより、ユーザは、単一の出力画像を見るだけでいくつかの画像についての上記情報を得ることが可能である。
ユーザは、時系列の3次元[3D]画像から視覚情報を得る必要がある可能性がある。特に、ユーザは、その情報を得るのに第1の時系列の3D画像を第2の時系列の3D画像と比較する必要があることがある。
例えば乳癌治療の分野において、患者は、胸部組織中の悪性腫瘍を治療するために化学療法又は放射線治療を受けることがある。治療を始める前に、第1の時系列の3D画像を、例えば核磁気共鳴映像法(MRI)を使用して、いわゆるベースライン検査の一部として取得することがある。治療中又は治療後に、次に、第2の時系列の3D画像を、患者が化学療法又は放射線治療に反応しているかどうかを確かめるために、いわゆる追跡検査の一部として取得することがある。
各時系列の3D画像は、いわゆる動的コントラスト強調(DCE:Dynamic Contrast Enhanced)時系列とすることができ、DCEでは、臨床医が胸部組織の中又は近くの灌流を評価できるようにするために患者への造影剤の投与前及び投与後に、3D画像が取得される。各時系列は、例えば数分にわたることがある。治療の前後の灌流を比較することによって、臨床医は、患者が化学療法又は放射線治療に反応しているかどうかを確かめることができる関連情報を得ることが可能である。
時系列の3D画像を単一の3D画像へと組み合わせることは公知である。例えば下記の非特許文献1は、他の解剖学的構造を含む4次元(4D)灌流コンピュータ断層撮影(pCT:perfusion Computed Tomography)走査から血管及び灌流組織を区分化する方法を説明している。この方法は、灌流組織の3D機能パラメータ・マップを作るために4D pCTデータ・セット内の所与のボクセルについて、経時的な強度変化を観察することを含む。これらのマップにおいて、強度−時間曲線の最良適合、最大強度と最小強度との間の差及び最大強度に達する時間の大きさが示される。
W. Wee他、「Methodology for visualization and perfusion analysis of 4D dynamic contrast-enhanced CT imaging」、Proceedings of the XVIth ICCR
前述の方法の問題は、それが第1及び第2の時系列の3D画像をユーザに直観的に表示するのに十分には適していないことである。
第1及び第2の時系列の3D画像をユーザに直観的に表示する改善された装置又は方法を有することは有利であろう。
この問題によりよく対処するために、本発明の第1の態様は画像処理装置を提供し、該画像処理装置は、符号化機能(encoding function)を使用して時系列の3次元[3D]画像を単一の3D画像へと組み合わせるプロセッサを備える。符号化機能は、単一の3D画像のボクセルにおいて、時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な変化を符号化するように構成される。画像処理装置は、プロセッサを使用してそれぞれ第1及び第2の3D画像を生成するために第1及び第2の時系列の3D画像を取得するための入力部と、第1及び第2の時系列の3D画像の経時的な変化の比較表示を可能にするために共通視点から第1及び第2の3D画像を出力画像にレンダリングするためのレンダラとを備える。
本発明の更なる態様では、上記の画像処理装置を含むワークステーション及び画像化装置が提供される。
本発明の更なる態様では、方法が提供される。この方法は、符号化機能を使用して時系列の3次元[3D]画像を単一の3D画像へと組み合わせるためにプロセッサを使用するステップを含む。符号化機能は、単一の3D画像のボクセルにおいて、時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な変化を符号化するように構成される。本方法は、プロセッサを使用してそれぞれの第1及び第2の3D画像を生成するために第1及び第2の時系列の3D画像を取得するステップと、第1及び第2の時系列の3D画像の経時的な変化の比較表示を可能にするために共通視点から第1及び第2の3D画像を出力画像にレンダリングするステップとを含む。
本発明の更なる態様では、上記の方法をプロセッサ・システムに実行させる命令を含むコンピュータ・プログラム製品が提供される。
プロセッサは、時系列の3D画像を単一の3D画像へと組み合わせるように構成される。ここで、3D画像という用語は、例えば立体(volumetric)画像要素、すなわち、いわゆるボクセルからなる立体画像、又は立体画像として解釈され得る3D画像、例えば一緒に立体画像を構成するか若しくは立体画像として解釈され得るピクセルからなる2Dスライスのスタックを意味する。時系列の3D画像を単一の3D画像へと組み合わせるために、符号化機能が使用される。符号化機能は、3D画像の時系列の各々の所与のボクセルで生じる経時的な変化が単一の3D画像の同じ場所に配置されたボクセルでどのように表現されるべきかを表現する。したがって、時系列の3D画像の所与の空間位置における経時的な値の変化が、単一の3D画像の同じ空間位置の値として表現される。
入力部が、第1の時系列の3D画像及び第2の時系列の3D画像を取得する。次いで、プロセッサを使用して、第1の時系列の3D画像から第1の3D画像を生成する。したがって、プロセッサは第1の時系列の3D画像を組み合わせて第1の3D画像にする。さらに、プロセッサを使用して、第2の時系列の3D画像を組み合わせて第2の3D画像にする。次に、レンダラは、第1の3D画像及び第2の3D画像のボリュームレンダリングを行う。その結果、双方の3D画像のボリュームレンダリングを含む出力画像が得られる。双方の3D画像のボリュームレンダリングは、同じ視点からのものであり、すなわち、仮想カメラが同じ位置に位置付けられていることを要する。したがって、第1及び第2の3D画像の同じ一部分が出力画像に示される。
その結果、出力画像が同じ視点からの双方の3D画像のボリュームレンダリングを含むことにより、第1及び第2の時系列の3D画像の経時的な変化に関して変化の比較表示を行う出力画像が得られる。したがって、ユーザは、出力画像を見ることによって、第1の時系列の3D画像と第2の時系列の3D画像の経時的な変化の間の差を直接決定することができる。
本発明は、時系列の3D画像によって構成される実に多くの視覚情報のために、ユーザがいくつかの時系列の3D画像から関連情報を得るのに困惑するという認識に部分的に基づいている。しかし、発明者等は、ユーザに関連する情報は、典型的に、例えば時系列の3D画像の各々の経時的な変化それ自体ではなく時系列の3D画像の各々の経時的な変化の間の差に関連することを認識している。
第1の時系列の3D画像を第1の3D画像へと組み合わせ、第2の時系列の3D画像を第2の3D画像へと組み合わせることによって、各時系列の経時的な変化が、2つのそれぞれの単一の3D画像において視覚化される。単一の3D画像の双方を出力画像にレンダリングすることによって、及びレンダリングに共通視点を使用することによって、各時系列の経時的な変化を同時に及び共通視点から示す、単一の出力画像が得られる。したがって、ユーザは、単一の出力画像を見ることによって経時的な変化の間の差を容易に得ることができる。
有利には、ユーザは、第1及び第2の時系列の3D画像に含まれる関連情報をより容易に識別することが可能である。有利には、第1及び第2の時系列の3D画像を視覚的に検査又は比較するのに、時間がかからない。
オプションとして、プロセッサは、追加の符号化機能を使用するように構成される。追加の符号化機能は、時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な前記変化を異なるように符号化するために、上記符号化機能とは異なる。プロセッサは、符号化機能を使用して、第1の時系列の3D画像から第1の中間3D画像を、第2の時系列の3D画像から第2の中間3D画像を生成し、追加の符号化機能を使用して、第1の時系列の3D画像から第3の中間3D画像を、第2の時系列の3D画像から第4の中間3D画像を生成し、第1の中間3D画像、第2の中間3D画像、第3の中間3D画像及び第4の中間3D画像に応じて、第1及び第2の3D画像を生成するように構成される。
プロセッサは、追加の符号化機能を使用して、時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な前記変化の異なる態様を符号化する。例えば符号化機能は、経時的な変化のレート(rate)を符号化してよく、追加の符号化機能は、経時的な変化の大きさ(magnitude)を符号化してよい。符号化機能及び追加の符号化機能を使用して、第1の時系列の3D画像からそれぞれ第1及び第3の中間3D画像を生成し、第2の時系列の3D画像からそれぞれ第2及び第4の中間3D画像を生成する。したがって、時系列の3D画像の各々について、時系列の3D画像の各々の経時的な変化の異なる符号化を表す2つの中間3D画像が得られる。次に、4つの中間3D画像が全て、第1及び第2の3D画像の生成に使用され、第1及び第2の3D画像は、引き続いて、共通視点から出力画像にレンダリングされる。
その結果、第1及び第2の時系列の3D画像の経時的な変化の2つの異なる態様の比較表示を可能にする出力画像が得られる。例えばユーザは、単一の出力画像を見ることによって経時的な変化のレートと大きさとの差を得ることができる。有利には、符号化機能に加えて追加の符号化機能を使用することによって、第1及び第2の時系列の3D画像の経時的な変化の間の差のより良い表示が出力画像において得られる。有利には、符号化機能及び追加の符号化機能は一緒に、経時的な変化をより確実に符号化する。
オプションとして、プロセッサは、(i)第1の3D画像を第1の中間3D画像と第2の中間3D画像との間の差として生成し、(ii)第2の3D画像を第3の中間3D画像と第4の中間3D画像との間の差として生成するように構成される。したがって、第1の3D画像は、第1及び第2の時系列の3D画像の経時的な変化の間の第1の態様の差を直接的に示し、第2の3D画像は、その経時的な変化の間の第2の態様の差を直接的に示す。上述の第1及び第2の3D画像を出力画像にレンダリングすることによって、ユーザは、中間の視覚的解釈ステップを必要とすることなく前記差を直接見ることができる。有利には、ユーザは、第1及び第2の時系列の3D画像に含まれる関連情報を、より容易に見分けることができる。有利には、前記時系列の3D画像を視覚的に検査するのに、時間がかからない。
オプションとして、レンダラは、(i)画像融合プロセスを使用して、第1及び第2の3D画像を融合3D画像へと組み合わせ、(ii)融合3D画像を出力画像にレンダリングするように構成される。画像融合プロセスを使用して、第1及び第2の3D画像を融合3D画像へと組み合わせることによって、第1及び第2の3D画像は、その後出力画像にレンダリングされる単一の3D画像へとマージされる。したがって、ユーザは、関連情報を単一のボリュームレンダリングから得ることができる。有利には、2つのボリュームレンダリングの比較に必要とされる中間の視覚的解釈ステップが省略されるので、ユーザは第1及び第2の時系列の3D画像の経時的な変化の間の差をより容易に見分けることができる。
オプションとして、画像融合プロセスは、(i)第1の3D画像のボクセル値を、融合3D画像のボクセル値の色相、彩度、不透明度のグループのうちの少なくとも1つにマッピングするステップと、(ii)第2の3D画像のボクセル値を前記グループのうちの少なくとも別の1つにマッピングするステップとを含む。第1の3D画像のボクセル値を融合3D画像のボクセル値の一部分又は態様にマッピングすることによって、及び第2の3D画像のボクセル値を融合3D画像のボクセル値の異なる一部分又は態様にマッピングすることによって、第1及び第2の3D画像は融合3D画像において明確に区別可能である。有利には、ユーザは、第1の3D画像によって与えられる情報と第2の3D画像によって与えられる情報との間を出力画像において明確に区別することができる。
オプションとして、プロセッサは、第1及び第2の3D画像を互いに位置合わせされた(registered)3D画像として得るために、位置合わせプロセス(registration process)を使用するように構成される。位置合わせプロセスを使用することによって、第1の3D画像によって与えられる情報と第2の3D画像によって与えられる情報との間の空間位置の差が減少又は除去されるので、改善された融合3D画像が得られる。有利には、空間位置の差を補償するために必要な中間の視覚的解釈ステップが省略されるので、ユーザは、出力画像における第1及び第2の時系列の3D画像の経時的な変化の間の差をより容易に知覚することができる。
オプションとして、プロセッサは、融合3D画像を出力画像にレンダリングする代わりに、位置合わせプロセスの結果を評価し、位置合わせプロセスが失敗している場合に第1及び第2の3D画像の並列レンダリングを得るために第1及び第2の3D画像を出力画像の別個の表示域にレンダリングするように構成される。
位置合わせプロセスが、例えば位置合わせプロセス自体の失敗のために、又は第1及び第2の時系列の3D画像の間の著しい差のために不十分な結果をもたらす場合、不十分な位置合わせ結果は不十分な融合3D画像となり、したがって、不十分な出力画像をもたらすことがあり得るので、融合3D画像のレンダリングは省略される。代わりに、第1及び第2の3D画像は各々個別にレンダリングされ、結果として得られる2つのボリュームレンダリングが出力画像に並列に表示される。ここで、表示域(viewport)という用語は、ボリュームレンダリングを表示するために使用される出力画像の一部分を指す。有利には、ユーザは、位置合わせプロセスが不十分な結果をもたらす場合に出力画像から誤った結論を導き出す可能性が低い。有利には、ユーザは、不十分な結果の原因をより容易に見分けることが可能である。
オプションとして、プロセッサは、(i)第1の3D画像を第1の中間3D画像と第3の中間3D画像との組合せとして生成し、(ii)第2の3D画像を第2の中間3D画像と第4の中間3D画像との組合せとして生成するように構成される。したがって、第1の3D画像は、第1の時系列の3D画像の経時的な変化の双方の態様を組み合わせ、第2の3D画像は、第2の時系列の3D画像の経時的な変化の双方の態様を組み合わせる。上述の第1及び第2の3D画像を出力画像にレンダリングすることによって、ユーザは、第2の時系列の3D画像の関連情報とは別個の第1の時系列の3D画像の関連情報を得ることができる。有利には、第1及び第2の時系列の3D画像が本質的に異なる場合、例えば異なる対象である場合に、ユーザが出力画像によって混乱させられることは少ない。
オプションとして、プロセッサは、第1の3D画像の生成、及び/又は第2の3D画像の生成に画像融合プロセスを使用するように構成される。画像処理プロセスは、第1の中間3D画像及び第3の中間3D画像を第1の3D画像へと組み合わせ、第2の中間3D画像及び第4の中間3D画像を第2の3D画像へと組み合わせるのにより良く適する。
オプションとして、レンダラは、第1及び第2の3D画像の並列レンダリングを得るために、(i)第1の3D画像を出力画像の第1の表示域にレンダリングし、(ii)第2の3D画像を出力画像の第2の表示域にレンダリングするように構成される。第1の3D画像は、出力画像の第1の表示域に、すなわち、第1の3D画像を見るために設けられる出力画像の第1の部分に第1のボリュームレンダリングとしてレンダリングされ、第2の3D画像は、出力画像の第2の表示域に、例えば出力画像の第2の(したがって別個の)部分に第2のボリュームレンダリングとしてレンダリングされる。したがって、第1の3D画像及び第2の3D画像は出力画像に別々に視覚化される。有利には、ユーザは、出力画像における第1及び第2の時系列の3D画像によって与えられる情報を容易に区別することができ、その結果、双方の時系列の3D画像が、例えば本質的に異なり、異なる対象であるか、誤った選択を対象とする場合に混乱が少なくなる。
オプションとして、画像処理装置は、ユーザがレンダリングの共通視点を変更できるようにするためのユーザ入力部を更に含む。したがって、ユーザは、レンダリングで使用される視点を変更することによって第1及び第2の3D画像を対話式に見ることができる。有利には、ユーザは、双方の3D画像を同時にナビゲートしてもよく、ナビゲートの間、出力画像において第1及び第2の時系列の3D画像の経時的な変化の比較表示を依然として得ることができる。
オプションとして、第1の時系列の3D画像は、ベースライン期日における患者の器官及び/又は組織の灌流を示す患者のベースライン検査を構成し、第2の時系列の3D画像は、ベースライン期日及び追跡期日における灌流の比較表示を可能にするために追跡期日における患者の器官及び/又は組織の灌流を示す患者の追跡検査を構成する。灌流(perfusion)という用語は、比較的短い期間、例えば秒、分、時間にわたる時系列の画像の各々内、すなわち、患者の単一の検査内の血流又は他の流体の流れの経時的な変化を意味する。画像処理装置は、ベースライン期日と追跡期日とにおける灌流の比較表示を可能にする。実際上、その比較表示は、経時的な灌流の変化、すなわち、ベースライン期日と追跡期日との間の変化の表示を行う。しかし、明確さのために、経時的な変化(change over time)という用語は、普通なら、時系列の3D画像の各々内の変化、例えば灌流の変化に対する変化ではなく灌流に対する変化を指すのに使用される。
本発明の上述の実施形態、実施態様及び/又は態様の2つ又はそれ以上を、有用と思われる任意の方法で組み合わせてもよいことが当業者には理解されよう。
画像処理装置について説明される変更及び変形に対応する変更及び変形が、ワークステーション、画像化装置、方法及び/又はコンピュータ・プログラム製品に対して、本明細書に基づいて当業者によって行われる可能性がある。
本方法は、これらに限られないが、標準X線画像化、コンピュータ断層撮影(CT)、磁気共鳴画像化(MRI)、超音波(US)、陽電子放射断層撮影(PET)、単一光子放出コンピュータ断層撮影(SPECT)及び核医学(NM)のような、様々な取得手段によって取得される多次元の画像データに適用され得ることが当業者には理解されよう。多次元画像データの次元は、時間に関連する可能性がある。例えば3次元画像は、2次元画像の時間領域系列を含むことができる。
本発明は独立請求項において定義される。有利な実施形態は従属請求項において定義される。
本発明のこれら及び他の態様は、以下で説明される実施形態から明らかであり、以下で説明される実施形態を参照して明瞭にあるであろう。
本発明による画像処理装置及び画像処理装置に接続された表示装置を示す図である。 第1の時系列の3D画像からの3D画像を示す図である。 第2の時系列の3D画像からの追加の3D画像を示す図である。 第1の時系列の3D画像、並びに前記時系列の3D画像から得られる第1及び第3の中間3D画像を示す図である。 第1及び第3の中間3D画像と、第2及び第4の中間3D画像とが組み合わされ、出力画像にレンダリングされることを示す図である。 第1の中間3D画像と第2の中間3D画像との間の差、及び第3の中間3D画像と第4の中間3D画像との間の差が融合画像に融合され、融合画像が出力画像にレンダリングされることを示す図である。 第1及び第3の中間3D画像の組み合わせと、第2及び第4の中間3D画像の組み合わせとが出力画像の別個の表示域にレンダリングされることを示す図である。 融合画像のレンダリングを含む出力画像を示す図である。 別個の表示域へのレンダリングを含む出力画像を示す図である。 本発明による方法を示す図である。 本発明によるコンピュータ・プログラム製品を示す図である。
図1は、画像処理装置110を示している。以下では、画像処理装置110を装置110と呼ぶ。装置110は、符号化機能を使用して時系列の3D画像を単一の3D画像へと組み合わせるためのプロセッサ120を含む。装置は、プロセッサ120を使用してそれぞれの第1及び第2の3D画像122を生成するために第1及び第2の時系列の3D画像132を取得する入力部130を更に含む。第1及び第2の時系列の3D画像132をプロセッサ120に供給するために、入力部130はプロセッサ120に接続されるように示されている。装置110は、共通視点から第1及び第2の3D画像122を出力画像162にレンダリングするためのレンダラ140を更に含む。出力画像162をユーザに表示するために、装置110は、出力画像162を含むか又は出力画像162を示す表示データ142をディスプレイ160に提供するためにディスプレイ160に接続され得る。ディスプレイ160は、装置110の一部としてもよく、あるいは外部ディスプレイ、すなわち装置110の一部ではなくてもよい。
装置110は、ユーザがレンダリングの共通視点154を変更できるようにするためのユーザ入力150を更に含む。そのために、ユーザ入力150は、マウス、キーボード、タッチセンサデバイス等のようなユーザ・インタフェース手段(図1に図示せず)に接続され、該ユーザ・インタフェース手段からユーザ入力データ152を受け取ることがある。
装置110の動作中、入力部130は、第1及び第2の時系列の3D画像132を取得し、該時系列の3D画像132をプロセッサ120に供給する。プロセッサ120は、符号化機能を使用して第1及び第2の3D画像122を生成する。符号化機能は、単一の3D画像のボクセルにおいて、時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な変化を符号化するように構成される。プロセッサ120は、第1及び第2の3D画像122をレンダラ140に供給する。レンダラ140は、ディスプレイ160における第1及び第2の時系列の3D画像の経時的な変化の比較表示を可能にするために、共通視点154から第1及び第2の3D画像122を出力画像162にレンダリングする。
「画像」という用語は、2次元(2D)画像又は3次元(3D)画像のような多次元画像を指すことに留意されたい。ここで、「3D画像」という用語は、立体画像(volumetric image)、すなわち3つの空間次元を有するものを指す。画像は画像要素で構成される。画像要素は、画像が2D画像であるとき、いわゆる画素、すなわちピクセルとしてよい。また画像要素は、画像が立体画像であるときは、いわゆる立体画像要素、すなわちボクセルとしてよい。画像要素に関連する「値」という用語は、画像要素に割り当てられる表示可能な性質(property)を指す。例えばボクセルの値は、ボクセルの輝度及び/又はクロミナンスを表すことがあり、あるいは立体画像内のボクセルの不透明度又は半透明度を示すことがある。
3D画像に関連する「レンダリング」という用語は、立体レンダリング技法を使用して立体画像から出力画像を取得することを指す。出力画像は2D画像であることがある。出力画像は、立体視をユーザに与える画像とすることもできる。立体レンダリング技法はボリュームレンダリングの分野からの任意の適切な技法とすることができる。例えば典型的に3D画像のボクセルを通して光線を放つことを伴う、いわゆる直接ボリュームレンダリング技法が使用され得る。使用され得る技法の他の例は、最大値投影法又は表面レンダリングである。
図2aは、第1の時系列の3D画像200からの3D画像203を示す。3D画像203は、例として、磁気共鳴(MR)画像化技術によって得られた医療的な3D画像であるように示されている。しかし、3D画像203、さらに一般に3D画像のすべては、別の画像化技術で得られたものであってもよく、あるいはむしろ異なる分野、すなわち非医療の分野からのものであってもよい。3D画像203は、3D画像203のコンテンツ206を示すために部分的に半透明で示されている。図2bは、第2の時系列の3D画像からの追加の3D画像を示す。追加の3D画像303もやはり、追加の3D画像303のコンテンツ306を示すために部分的に半透明で示されている。図2aと図2bとを比較すると、双方の3D画像203、303のコンテンツ間の差が目に見える。この差は、第1の時系列の3D画像が患者の医学的性質を視覚化するために患者のベースライン検査を構成することと、第2の時系列の3D画像が前記医学的性質の変化を視覚化するために患者の追跡検査を構成することとによる可能性がある。医学的性質は、悪性腫瘍、例えばそのサイズ又は場所に関連する可能性がある。変化は、例えば経時的な腫瘍の増大によるサイズの変化、又は反対に患者が治療に反応したことによるサイズの縮小であり得る。
図3は、例として5つの3D画像201〜205を含む第1の時系列の3D画像200を示す。第1の時系列の3D画像200は、いわゆる動的コントラスト強調(DCE)MRI走査とすることができ、この画像は患者の治療を始める前に取得してよい。図3に示されていないが、患者が治療に反応しているかどうかを確かめるため、ある治療間隔の後に追加のDCE MRI走査を取得していてもよい。追加のDCE MRI走査が第2の時系列の3D画像を構成してよく、第2の時系列の3D画像は、そのコンテンツを除いて第1の時系列の3D画像200と同様であり得る。当然、第1及び第2の時系列の3D画像は異なる範囲からのものであってもよく、例えばある区域の地震モニタリングのための2つの時系列の3D地震画像を構成してもよい。
図3は更に、符号化機能を使用して、第1の時系列の3D画像200から第1の中間3D画像210を生成422するように構成されているプロセッサ120の結果を示す。さらに、図3は、追加の符号化機能を使用するように構成されているプロセッサ120の結果を示している。追加の符号化機能は、時系列の3D画像200のそれぞれの同じ場所に配置されたボクセルの経時的な変化を異なるように符号化するために符号化機能と異なり、プロセッサは、この追加の符号化機能を使用して、第1の時系列の3D画像200から第3の中間3D画像212を生成424するように構成されている。符号化機能を使用して生成された3D画像と、追加の符号化機能を使用して生成された3D画像との間を視覚的に区別するために、追加の符号化機能を使用して生成された3D画像は、符号化機能を使用して生成された3D画像に対して反転グレースケールで示される。しかし、双方のタイプの3D画像は、やはり似ているように見える可能性があることが理解されよう。
符号化機能及び追加の符号化機能は、ボクセルごとの時間曲線をボクセルごとのパラメータ又は値に変換するための任意の適切な機能とすることができる。そのような符号化機能は様々な画像化領域から既知である。一般に、そのような符号化機能は、時間曲線の最大値、最小値又は導関数(derivative)を決定することに関連し得る。医療的な画像化の分野では、そのような符号化機能は、特に灌流、すなわち血管、組織等の中又は外への血流に関連し得る。灌流に関連する符号化機能の例は、MRIで取得される3D画像のためのいわゆる百分率強調(PE:Percentage Enhancement)機能及び信号強調比(SER:Signal Enhancement Ratio)機能、並びにCTで取得される3D画像のためのピーク到達時間(TTP:Time To Peak)機能、平均通過時間(MTT:Mean Transit Time)機能、曲線下面積(AUC:Area Under the Curve)機能である。以下では、符号化機能が、例として、第1の中間3D画像210として中間PE 3D画像を提供するためのPE符号化機能として選択される。さらに、追加の符号化機能が、第3の中間3D画像212として中間SER 3D画像を提供するためのSER符号化機能として選択される。
図4は、符号化機能を使用して第2の時系列の3D画像から第2の中間3D画像310を生成し、追加の符号化機能を使用して、第2の時系列の3D画像から第4の中間3D画像312を生成するように構成されているプロセッサ120の結果を示す。したがって、中間PE 3D画像及び中間SER画像は、2つの時系列の3D画像の各々に対して得られる。双方の中間PE 3D画像の間の差、並びに双方の中間SER 3D画像の間の差は、ユーザと関係があり得る。この理由から、プロセッサ120は、図4に概略的に示すように、第1の中間3D画像210、第2の中間3D画像310、第3の中間3D画像212及び第4の中間3D画像312に応じて、第1及び第2の3D画像を生成426するように構成される。したがって、レンダラ140は次に、ディスプレイ160における第1及び第2の時系列の3D画像の経時的な変化の比較表示を可能にするために、第1及び第2の3D画像を出力画像162にレンダリングすることがある。
上記中間3D画像に応じて第1及び第2の3D画像を生成し、続いて、共通視点から第1及び第2の3D画像を出力画像にレンダリングするための様々な方法が存在し得る。
図5aは、プロセッサ120が、(i)第1の中間3D画像210と第2の中間3D画像310との間の差428として第1の3D画像を生成し、第3の中間3D画像212と第4の中間3D画像312との間の差428として第2の3D画像を生成するように構成される第1の例を示す。差428は、図5aにおいてマイナス符号によって概略的に示される。第1の3D画像の生成は、第1の中間3D画像210から第2の中間3D画像310を減ずることを含み得る。その結果、第1の3D画像のボクセルは、符号付きの値、すなわち正負の値を含む。第2の3D画像の生成もそのような減算を含み得る。代替として、差428の決定は、例えば双方の中間3D画像の間の大きい差を強調するため、及び小さい差を非強調(deemphasize)にするために、非線形関数の使用を含み得る。当然、差428は、様々な他の適切な方法で決定されることもある。
プロセッサ120は、第1及び第2の3D画像122を互いに位置合わせされた3D画像として得るために、位置合わせプロセスを使用するように構成され得る。位置合わせプロセスの使用は、第1の時系列の3D画像と第2の時系列の3D画像との間の空間的位置合わせを使用することを含み得る。次に、位置合わせの結果を使用して、中間PE 3D画像の間の対応するボクセル対ごとにPE値の変化、すなわち差が計算され、中間SER 3D画像の間の対応するボクセル対ごとにSER値の変化が計算される。
図5aの例において、レンダラ140は、画像融合プロセス430を使用して第1及び第2の3D画像を組み合わせて融合3D画像にし、融合3D画像を出力画像162にレンダリングするように構成され得る。したがって、画像融合プロセス430は、第1及び第2の3D画像を使用して融合された3D画像を生成する。画像融合プロセス430は、例えば単一のプロセスとしてもよく又は以下のものの組合せとしてもよい。
第1の画像融合プロセスは、融合3D画像のボクセルのPE値の変化を、例えばPE増加には赤色、PE減少には緑色を用いて色分けすることと、PE増加により融合3D画像のボクセルの不透明度を調整することとを含む。第2の画像融合プロセスは、双方の中間PE 3D画像のボクセルの最大PE値によって融合3D画像のボクセルの不透明度を調整することと、融合3D画像のボクセルのSER値の変化を、例えばSER増加には赤い色相、PE減少には緑の色相を用いて、さらにSER値におけるSERの規模によって与えられる色の彩度、例えばPE値は高いがSER値の変化は軽微な区域には白色を与える色の彩度を用いて、色分けすることとを含む。第3の画像融合プロセスは、2Dのルックアップ・テーブル(LUT)を使用して、PE値及びSER値における正負の変化に応じて色及び不透明度を融合3D画像のボクセルに割り当てることを含む。2DのLUTは、ユーザの医学知識を最も直観的に反映するように手動で設計され得る。
一般に、画像融合プロセスは、第1の3D画像のボクセル値を、融合3D画像のボクセル値の色相、彩度及び不透明度のグループのうちの少なくとも1つにマッピングすることと、第2の3D画像のボクセル値を上記部ループの少なくとも1つの別のものにマッピングすることとを含み得る。前述の画像融合プロセスは、当然、第1及び第3の中間3D画像の間の差を、第3及び第4の中間3D画像の間の差と融合させるのに適用してもよい。すなわち、前記中間3D画像は中間PE又はSER 3D画像である必要がない。
図5aに示される例は、空間位置合わせの後に灌流パラメータのうちの1つの変化がボクセルごとに計算されるので、直接変化視覚化(Direct Change Visualization)と呼ばれる。次に、単一の3Dレンダリングは、すべてのボクセルを通る視認光線を放ち、変化の符号、すなわち選択された灌流パラメータ内の変化が正であるか又は負であるかと、変化の量からの不透明度とに応じて色を導き出すことによって計算される。図5aに示されていないが、プロセッサ120は、出力画像162に融合3D画像をレンダリングする代わりに、位置合わせプロセスの結果を評価し、位置合わせプロセスが失敗している場合に第1及び第2の3D画像の並列レンダリングを得るために出力画像の別個の表示域に第1及び第2の3D画像をレンダリングするように構成することができる。並列レンダリングは、別の方法、すなわち第1及び第2の3D画像を中間3D画像に応じて生成し、続いて共通視点から第1及び第2の3D画像を出力画像にレンダリングするという、更なる例を構成する。上記並列レンダリングは図5bに関連して更に説明される。
図5bは、第1の中間3D画像210と第3の中間3D画像212との組合せ432として第1の3D画像を生成し、第2の中間3D画像310と第4の中間3D画像312との組合せ432として第2の3D画像を生成するように構成されているプロセッサ120の結果を示す。さらに、レンダラ140は、第1及び第2の時系列の3D画像の経時的な変化の比較表示を与える第1及び第2の3D画像の並列レンダリングを得るために、第1の3D画像を出力画像164の第1の表示域165にレンダリングし、第2の3D画像を出力画像の第2の表示域166にレンダリングするように構成される。
プロセッサ120は、図5bに概略的に示されるように、画像融合プロセス434を使用して、第1の中間3D画像210と第3の中間3D画像212との組合せ432から第1の3D画像を生成し、第2の3D画像310と第4の中間3D画像312との組合せ432から第2の3D画像を生成するように更に構成され得る。画像融合プロセス434は、図5aに関連して以前に説明した画像融合プロセスのいずれかとすることができる。特に、組合せの中の中間3D画像の一方が中間PE 3D画像であり、他方が中間SER 3D画像であるとき、PE値を使用して融合3D画像のボクセルの不透明度を調整し、SER値を使用して色を調整することができる。その結果、第1及び第2の3D画像は、第1及び第2の融合3D画像であるとして取得される。
第1及び第2の3D画像は、これらが第1及び第2の時系列の3D画像の経時的な変化を表すという点から、動態3D画像と呼ばれることがある。双方の動態3D画像は、ユーザが出力画像164を見る空間方位を改善するために、それぞれの時系列の3D画像の3D画像のうちの1つに対して更に融合させるか、又は重ね合わせられることがある。例えば第1の融合3D画像を、第1の時系列の3D画像の3D画像の1つの上に重ね合わせてよい。その結果、第1の融合3D画像のボクセルの輝度は、主として、第1の時系列の3D画像の一方によって提供され、色はSER値によって調整され、ボクセルの不透明度はPE値によって調整されうる。あるいは、動態3D画像を、例えば医療図表集から得られるような標準又は基準3D画像の上に重ね合わせてもよい。
空間位置合わせは、第1及び第2の時系列の3D画像の間で計算され得る。図5aに関連して説明したように、レンダラは、位置合わせプロセスが失敗した場合に第1及び第2の3D画像の並列レンダリングを得るために、さもなければ図5aに関して説明したように、すなわち前述の直接変化視覚化によって出力画像を生成するために、第1及び第2の3D画像を出力画像164の別個の表示域165、166にレンダリングするように構成することができる。あるいは、プロセッサ120及びレンダラ140は、位置合わせプロセスが成功した場合にも、出力画像164を並列レンダリングとして生成するように構成されてもよい。
図5bに示した例は並列視覚化(Side-By-Side Visualization)と呼ばれる。直接変化視覚化とは対照的に、第1及び第2の時系列の3D画像は各々、経時的なそれらの変化の出力画像160に別個のボリュームレンダリングをもたらす。しかし、直接変化視覚化におけるように、別個のボリュームレンダリングは、共通視点からの第1及び第2の3D画像を示す。ユーザは、例えばユーザ入力150に接続されるユーザ・インタフェース手段を使用して、レンダリングの共通視点を対話的に変更してもよい。その結果、ボリュームレンダリングのうちの一方についての回転、シフト等が他方のボリュームレンダリングの同じ回転、シフトをもたらす。したがって、第1及び第2の時系列の3D画像の経時的な変化の比較表示が維持される。
図6aは、3D画像の第1及び第2の時系列の直接変化視覚化を含む主表示域322を含む出力画像320の一例を示す。すなわち、主表示域322は、図5aに関連して説明したような融合3D画像のボリュームレンダリングを示す。ユーザ入力150は、ユーザのクリックを示すユーザからの選択コマンドを受け取るか、又は融合3D画像のボリュームレンダリング、すなわち主表示域322の場所を選択するように構成され得る。その結果、レンダラ140は、第1及び第2の時系列の3D画像の各々の対応する場所のスライス状のビューをそれぞれ第1の補助表示域324及び第2の補助表示域326に表示し得る。さらに、レンダラは、選択コマンドに応じて、第1及び第2の時系列の3D画像の各々の対応する場所の動態曲線を出力画像320内に表示してもよい。この表示は、動態表示域328内にしてよい。ここで、動態曲線という用語は、それぞれの時系列の3D画像にまたがる特定のボクセルの経時的な値の変化のプロットを意味する。最後に、レンダラ140は、第1及び第2の時系列の3D画像の経時的な変化が主表示域322でどのように視覚化されるかを示す視覚化凡例330を表示するように構成され得る。視覚化凡例330は、画像融合プロセスが2DのLUTを使用する場合、2DのLUTのコンテンツを、色、強度、不透明度等の変化した2D画像として視覚化することができる。
図6bは、第1の3D画像のボリュームレンダリングを含む第1の主表示域342と、第2の3D画像のボリュームレンダリングを含む第2の主表示域344とを含む出力画像340の一例を示す。第1及び第2の主表示域342、344は一緒に第1及び第2の時系列の3D画像の経時的な変化の並列視覚化を与える。すなわち、第1及び第2の主表示域342、344は、図5bに関連して説明したような第1及び第2の3D画像の別個のボリュームレンダリングを示す。さらに、出力画像340は、以前に図6aに関連して説明したように、第1の補助表示域324、第2の補助表示域326、動態表示域328及び視覚化凡例330を含む。
第1及び第2の主表示域342、344、並びに第1及び第2の補助表示域324、326は、第2の補助表示域326の第2の時系列の3D画像のスライス状のビューを曲線再フォーマット(curvilinear reformat)として歪曲させて(warp)、第1の補助表示域324の第1の時系列の3D画像のスライス状のビューに一致するように結合され得る。さらに、第2の補助表示域326内の3D画像の第2の時系列の曲線再フォーマットは、第1の補助表示域324の第1の時系列の3D画像のスライスの厚さを反映するように計算され、第2の主表示域344の第2の時系列の3D画像の動態ボリュームレンダリングを、第1の主表示域342の第1の時系列の3D画像の動態ボリュームレンダリングと一致するように歪曲させる。さらに、主表示域342、344及び補助表示域324、326をプロセッサ120によって結合してもよく、レンダラ140は、動態ボリュームレンダリングの一方の対話型回転が他方の動態ボリュームレンダリングの同じ回転をもたらし、スライス状のビューの一方の異なるスライスの対話型選択が他方のスライス状のビューの同じスライスを選択し、2つの動態ボリュームレンダリングのいずれか一方へのユーザのクリック又は選択が、補助表示域324、326の双方の対応する場所の適切なスライス状のビューを選択及び表示し、適切な動態曲線を動態表示域328に表示するように構成される。さらに、主表示域324、344の一方の色及び/又は不透明度調整における対話型変化により、他方の主表示域324、344において同じように色及び/又は不透明度調整が変化する。
あるいは、前述の表示域は以前に説明したように結合させるが、第2の主表示域344の第2の時系列の3D画像の動態ボリュームレンダリングが歪曲されないこともある。代わりに、動態ボリュームレンダリングへのクリック又は選択により、第2の補助表示域326及び動態表示域328内の対応するスライス状のビューの対応する場所を選択し得るが、以前に説明したように、スライス状ビュー及び動態ボリュームレンダリングは歪曲されることはない。
一般に、単一の3D画像は単に3D画像と呼ばれることがあり、一方、時系列3D画像、例えば灌流ボリュームのデータ・セットは4D画像と呼ばれることがあることに留意されたい。したがって、図6bの第1及び第2の主表示域342、344のボリュームレンダリングは、4D画像のボリュームレンダリングと呼ばれることがある。さらに、2つ又はそれ以上の時系列の3D画像、例えば灌流ボリュームのベースライン及び追跡検査の組合せを、5D画像と呼ぶことができる。したがって、図6aの主表示域322のボリュームレンダリングは、5D画像のボリュームレンダリングと呼ばれることがある。さらに、図6bの第1及び第2の補助表示域324、326のボリュームレンダリングは、それらがスライス状のビュー、すなわち、2D画像と、対応する時系列の3D画像の各々の経時的な変化の追加的に色符号化された情報、すなわち動態情報とを含むので、3D画像のボリュームレンダリングと呼ばれることがある。
図7は、本発明による方法400を示しており、この方法は、「プロセッサを使用する」という名称の第1のステップにおいて、符号化機能を使用して時系列の3次元[3D]画像を単一の3D画像へと組み合わせるためのプロセッサを使用すること410を含む。上記符号化機能は、単一の3D画像のボクセルにおいて、時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な変化を符号化するように構成される。方法400は、「第1及び第2の3D画像を生成する」という名称の第2のステップにおいて、プロセッサを使用してそれぞれの第1及び第2の3D画像を生成するために第1及び第2の時系列の3D画像を得ること420を更に含む。方法400は、「出力画像をレンダリングする」という名称の第3のステップにおいて、第1及び第2の時系列の3D画像の経時的な変化の比較表示を可能にするために、共通視点からの第1及び第2の3D画像を出力画像にレンダリングすること440を更に含む。方法400は装置110の動作に対応し得る。しかし、方法400は装置110から切り離して行われてもよい。
図8は、本発明による方法をプロセッサ・システムに実行させるための命令を含むコンピュータ・プログラム製品452を示す。コンピュータ・プログラム製品452は、例えば一連の機械読取可能物理的マークとして、及び/又は異なる電気的、例えば磁気的若しくは光学的な性質又は値を有する一連の要素としてコンピュータ読取可能媒体450に含まれ得る。
一般に、装置110は追加の符号化機能を使用する必要がない可能性があることに留意されたい。むしろ、プロセッサ120は、第1の時系列の3D画像を第1の3D画像に、第2の時系列の3D画像を第2の3D画像に直接組み合わせてよい。したがって、プロセッサは中間3D画像を生成する必要がないことがある。次に、レンダラ140は、第1及び第2の3D画像の間の差をレンダリングする、すなわち、主表示域に単一の差分ベース3D画像をレンダリングすることが可能である。差分ベース3D画像をレンダリングする前に、マッピングを差分ベース3D画像に適用してもよい。例えば赤い色相を正の値に割り当てて、緑の色相を負の値に割り当てることがある。マッピングは、前記プロセスにおいて追加の3D画像の使用を省略することを除いて、以前に説明した画像融合プロセスと同様とすることができることが理解されよう。あるいは、レンダラ140は、第1及び第2の3D画像を別々に、すなわち、別個の第1及び第2の主表示域にレンダリングしてもよい。
本発明は、本発明を実行するように構成されたコンピュータ・プログラム、特に担体上又はその中のコンピュータ・プログラムにも当てはまることが理解されよう。プログラムは、部分的にコンパイルされる形態、又は本発明による方法の実施での使用に適切な任意の他の形態のように、ソース・コード、オブジェクト・コード、ソース・コードとオブジェクト・コードとの中間のコードの形態とすることができる。そのようなプログラムが多くの異なるアーキテクチャ設計を有し得ることも理解されよう。例えば本発明による方法又はシステムの機能を実装するプログラム・コードを、1つ又は複数のサブルーチンにサブ分割してもよい。これらのサブルーチンに機能を分配する様々な方法が当業者には明らかであろう。複数のサブルーチンが1つの実行可能ファイルに一緒に記憶されて自己完結型のプログラムを形成してもよい。そのような実行可能ファイルは、コンピュータ実行可能命令、例えばプロセッサ命令及び/又はインタプリタ命令(例えばJava(登録商標)インタプリタ命令)を備えてもよい。あるいは、サブルーチンの1つ又は複数あるいは全てが、少なくとも1つの外部ライブラリ・ファイルに記憶され、例えば実行時に主プログラムに静的に又は動的にリンクされ得る。主プログラムは、サブルーチンのうちの少なくとも1つへの少なくとも1つの呼出しを含む。サブルーチンは、互いに対する機能呼出しも含むことがある。コンピュータ・プログラム製品に関連する実施形態は、本明細書に記載される方法のうちの少なくとも1つの各処理ステップに対応するコンピュータ実行可能命令を含む。これらの命令はサブルーチンにサブ分割され、及び/又は静的又は動的にリンクされ得る1つ又は複数のファイルに記憶され得る。コンピュータ・プログラム製品に関連する別の実施形態は、本明細書に記載されるシステム及び/又は製品のうちの少なくとも1つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンにサブ分割され、及び/又は静的に又は動的にリンクされ得る1つ又は複数のファイルに記憶されうる。
コンピュータ・プログラムの担体は、プログラムを運ぶことができる任意のエンティティ又はデバイスとしてよい。例えば担体は、例えばCD ROM若しくは半導体ROM等のROM、又は例えばハードディスク等の磁気記録媒体のような記憶媒体を含んでよい。さらに、担体は、電気若しくは光ケーブルを介して、又は無線若しくは他の手段によって伝えることができる電気又は光信号などの伝達可能担体とすることができる。プログラムがそのような信号で具現されるとき、担体は、そのようなケーブル又は他のデバイス若しくは手段によって構成され得る。あるいは、担体は、プログラムが埋め込まれる集積回路とすることができ、集積回路は関連する方法を実行するか又は実行の際に使用されるように構成される。
上述の実施形態は本発明を限定するのではなく説明するものであること、及び当業者が、多くの代替実施形態を、添付の特許請求の範囲の範囲から逸脱することなく設計することが可能であることに留意されたい。特許請求の範囲において、括弧間に配置されたいかなる参照符号も請求項を限定するように解釈されないものとする。「含む(comprise)」という動詞及びその語形変化の使用は、請求項に記載された要素又はステップ以外の要素又はステップの存在を排除しない。要素に先行する冠詞「ある(a、an)」は、複数のそのような要素の存在を排除しない。本発明は、いくつかの別個の要素を含むハードウェアによって、及び適切にプログラムされたコンピュータによって実施され得る。いくつかの手段を列挙する装置の請求項において、これらの手段のいくつかは、ハードウェアの同一の要素によって具現されうる。いくつかの方策が互いに異なる従属請求項に説明されているという単なる事実は、これらの方策の組合せが有利に使用されない可能性があることを示すものではない。

Claims (15)

  1. 画像処理装置であって、
    第1の期間にわたる構造を表示する1の時系列の3次元(3D)画像と、前記第1の期間と異なる第2の期間にわたる前記構造を表示する第2の時系列の3D画像を取得する入力部と、
    符号化機能を使用して、前記第1の時系列の3D画像を単一の第1の3D画像へと組み合わせ、前記第2の時系列の3D画像を単一の第2の3D画像へと組み合わせて、第1及び第2の3D画像を生成するプロセッサであって、前記符号化機能が、それぞれの時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な変化を、単一の3D画像のボクセル内に符号化するように構成される、プロセッサと、
    前記第1及び前記第2の時系列の3D画像の経時的な前記変化の比較表示を可能にするために共通視点から前記第1及び前記第2の3D画像を出力画像にレンダリングするためのレンダラと
    を備える、画像処理装置。
  2. 前記プロセッサは、追加の符号化機能を使用するように構成され、前記追加の符号化機能は、前記時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な前記変化を異なるように符号化するために、前記符号化機能とは異なり、
    前記プロセッサは、
    前記符号化機能を使用して、前記第1の時系列の3D画像から第1の中間3D画像を生成し、前記第2の時系列の3D画像から第2の中間3D画像を生成し、
    前記追加の符号化機能を使用して、前記第1の時系列の3D画像から第3の中間3D画像を生成し、前記第2の時系列の3D画像から第4の中間3D画像を生成し、
    前記第1の中間3D画像、前記第2の中間3D画像、前記第3の中間3D画像及び前記第4の中間3D画像に応じて、前記第1の3D画像及び前記第2の3D画像を生成する
    ように構成される、請求項1に記載の画像処理装置。
  3. 前記プロセッサが、(i)前記第1の3D画像を前記第1の中間3D画像と前記第3の中間3D画像との間の差として生成し、(ii)前記第2の3D画像を前記第2の中間3D画像と前記第4の中間3D画像との間の差として生成するように構成される、請求項2に記載の画像処理装置。
  4. 前記レンダラが、(i)画像融合プロセスを使用して前記第1の3D画像及び前記第2の3D画像を融合3D画像へと組み合わせ、(ii)前記融合3D画像を前記出力画像にレンダリングするように構成される、請求項3に記載の画像処理装置。
  5. 前記画像融合プロセスが、(i)前記第1の3D画像のボクセル値を、前記融合3D画像の前記ボクセル値の色相、彩度、不透明度のグループのうちの少なくとも1つにマッピングするステップと、(ii)前記第2の3D画像の前記ボクセル値を前記グループのうちの少なくとも別の1つにマッピングするステップとを含む、請求項4に記載の画像処理装置。
  6. 前記プロセッサが、前記第1の3D画像及び前記第2の3D画像を互いに位置合わせされた3D画像として得るために、位置合わせプロセスを使用するように構成される、請求項3に記載の画像処理装置。
  7. 前記プロセッサは、融合3D画像を前記出力画像にレンダリングする代わりに、前記位置合わせプロセスの結果を評価し、前記位置合わせプロセスが失敗した場合に前記第1の3D画像及び前記第2の3D画像の並列レンダリングを得るために前記第1の3D画像及び前記第2の3D画像を前記出力画像の別個の表示域にレンダリングするように構成される、請求項6に記載の画像処理装置。
  8. 前記プロセッサは、(i)前記第1の3D画像を前記第1の中間3D画像と前記第3の中間3D画像との組合せとして生成し、(ii)前記第2の3D画像を前記第2の中間3D画像と前記第4の中間3D画像との組合せとして生成するように構成される、請求項2に記載の画像処理装置。
  9. 前記プロセッサが、前記第1の3D画像の生成、及び/又は前記第2の3D画像の生成ために画像融合プロセスを使用するように構成される、請求項8に記載の画像処理装置。
  10. 前記レンダラは、前記第1の3D画像及び前記第2の3D画像の並列レンダリングを得るために、(i)前記第1の3D画像を前記出力画像の第1の表示域にレンダリングし、(ii)前記第2の3D画像を前記出力画像の第2の表示域にレンダリングするように構成される、請求項8に記載の画像処理装置。
  11. ユーザが前記レンダリングの前記共通視点を変更できるようにするためのユーザ入力を更に含む、請求項1に記載の画像処理装置。
  12. 前記第1の時系列の3D画像が、ベースライン期日における患者の器官及び/又は組織の灌流を示す前記患者のベースライン検査を構成し、前記第2の時系列の3D画像が、前記ベースライン期日及び追跡期日における前記灌流の比較表示を可能にするために前記追跡期日における前記患者の前記器官及び/又は組織の前記灌流を示す前記患者の追跡検査を構成する、請求項1に記載の画像処理装置。
  13. 請求項1に記載の前記画像処理装置を含むワークステーション又は画像化装置。
  14. 第1の期間にわたる構造を表示する1の時系列の3次元(3D)画像と、前記第1の期間と異なる第2の期間にわたる前記構造を表示する第2の時系列の3D画像を取得するステップと、
    − プロセッサによって、符号化機能を使用して、前記第1の時系列の3D画像を単一の第1の3D画像へと組み合わせ、前記第2の時系列の3D画像を単一の第2の3D画像へと組み合わせて、第1及び第2の3D画像を生成するプロセッサステップであって、前記符号化機能が、それぞれの時系列の3D画像のそれぞれの同じ場所に配置されたボクセルの経時的な変化を、単一の3D画像のボクセル内に符号化するように構成される、ステップと、
    − 前記第1及び前記第2の時系列の3D画像の経時的な前記変化の比較表示を可能にするために共通視点から前記第1及び前記第2の3D画像を出力画像にレンダリングするステップと
    を含む、方法。
  15. 請求項14に記載の方法をプロセッサ・システムに実行させるための命令を含むコンピュータ・プログラム。
JP2014545394A 2011-12-07 2012-11-15 3d医療灌流画像の視覚化 Active JP6248044B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161567696P 2011-12-07 2011-12-07
US61/567,696 2011-12-07
PCT/IB2012/056448 WO2013084095A1 (en) 2011-12-07 2012-11-15 Visualization of 3d medical perfusion images

Publications (2)

Publication Number Publication Date
JP2015505690A JP2015505690A (ja) 2015-02-26
JP6248044B2 true JP6248044B2 (ja) 2017-12-13

Family

ID=47358507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014545394A Active JP6248044B2 (ja) 2011-12-07 2012-11-15 3d医療灌流画像の視覚化

Country Status (6)

Country Link
US (1) US20140354642A1 (ja)
EP (1) EP2788954A1 (ja)
JP (1) JP6248044B2 (ja)
CN (1) CN103988230B (ja)
BR (1) BR112014013445A8 (ja)
WO (1) WO2013084095A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544688B (zh) * 2012-07-11 2018-06-29 东芝医疗系统株式会社 医用图像融合装置和方法
US20150164450A1 (en) * 2013-12-18 2015-06-18 Siemens Medical Solutions Usa, Inc. System and Method for Real Time 4D Quantification
JP6411072B2 (ja) * 2014-06-02 2018-10-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法およびプログラム
KR102294194B1 (ko) * 2014-08-05 2021-08-26 삼성전자주식회사 관심영역의 시각화 장치 및 방법
US10672135B2 (en) 2015-06-30 2020-06-02 Koninklijke Philips N.V. Device and methods for processing computer tomography imaging data
US11353533B2 (en) 2016-02-24 2022-06-07 Ohio State Innovation Foundation Methods and devices for contrast agent magnetic resonance imaging
CN106023123A (zh) * 2016-05-01 2016-10-12 中国人民解放军空军航空大学 一种新型的多窗口同视的图像融合框架
JP2022168405A (ja) * 2021-04-26 2022-11-08 株式会社Kompath 情報処理システム、情報処理方法およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877329A (ja) * 1994-09-02 1996-03-22 Konica Corp 時系列処理画像の表示装置
JP4558645B2 (ja) * 2003-04-04 2010-10-06 株式会社日立メディコ 画像表示方法及び装置
JP2006053102A (ja) * 2004-08-13 2006-02-23 Daiichi Radioisotope Labs Ltd 脳画像データ処理プログラム、記録媒体および脳画像データ処理方法
JP4801892B2 (ja) * 2004-09-10 2011-10-26 株式会社東芝 医用画像表示装置
US20060116583A1 (en) * 2004-11-26 2006-06-01 Yoichi Ogasawara Ultrasonic diagnostic apparatus and control method thereof
JP2006198060A (ja) * 2005-01-19 2006-08-03 Ziosoft Inc 画像処理方法および画像処理プログラム
JP2007151881A (ja) * 2005-12-06 2007-06-21 Hitachi Medical Corp 血流動態解析装置
CN101478917B (zh) * 2006-06-28 2012-03-21 皇家飞利浦电子股份有限公司 基于3d图像数据的空间变化的2d图像处理
WO2008059417A1 (en) * 2006-11-13 2008-05-22 Koninklijke Philips Electronics N. V. Fused perfusion and functional 3d rotational angiography rendering
CN101188019A (zh) * 2006-11-20 2008-05-28 爱克发医疗保健公司 融合数字图像的方法
JP5591440B2 (ja) * 2007-01-17 2014-09-17 株式会社東芝 医用画像表示装置
DE102007014133B4 (de) * 2007-03-23 2015-10-29 Siemens Aktiengesellschaft Verfahren zur Visualisierung einer Sequenz tomographischer Volumendatensätze der medizinischen Bildgebung
US7983460B2 (en) * 2007-06-08 2011-07-19 General Electric Company Method and system for performing high temporal resolution bolus detection using CT image projection data
WO2010082944A2 (en) * 2008-02-29 2010-07-22 The Regents Of The University Of Michigan Systems and methods for imaging changes in tissue
CN102802534B (zh) * 2010-03-17 2015-05-06 富士胶片株式会社 医用图像转换设备、方法和程序

Also Published As

Publication number Publication date
BR112014013445A2 (pt) 2017-06-13
BR112014013445A8 (pt) 2021-03-09
EP2788954A1 (en) 2014-10-15
US20140354642A1 (en) 2014-12-04
JP2015505690A (ja) 2015-02-26
CN103988230B (zh) 2019-04-05
WO2013084095A1 (en) 2013-06-13
CN103988230A (zh) 2014-08-13

Similar Documents

Publication Publication Date Title
JP6248044B2 (ja) 3d医療灌流画像の視覚化
JP6211764B2 (ja) 画像処理システム及び方法
US9578303B2 (en) Image processing system, image processing apparatus, and image processing method for displaying a scale on a stereoscopic display device
US9424641B2 (en) Visual suppression of selective tissue in image data
JP6058306B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
US10354438B2 (en) Illumination in rendering of anatomy with functional information
EP2803044B1 (en) Image processing apparatus
JP6058286B2 (ja) 医用画像診断装置、医用画像処理装置及び方法
WO2012137732A1 (ja) 画像処理システム、画像処理装置及び画像処理方法
US9445082B2 (en) System, apparatus, and method for image processing
US20140015836A1 (en) System and method for generating and displaying a 2d projection from a 3d or 4d dataset
JP6060173B2 (ja) 画像処理装置
US20140233822A1 (en) Method for combining multiple image data sets into one multi-fused image
US8873817B2 (en) Processing an image dataset based on clinically categorized populations
US10548570B2 (en) Medical image navigation system
Lawonn et al. Illustrative Multi-volume Rendering for PET/CT Scans.
US20150320507A1 (en) Path creation using medical imaging for planning device insertion
JP6104982B2 (ja) 画像処理装置、画像処理方法及び医用画像診断装置
JP2013017056A (ja) 画像処理装置、画像処理方法及び医用画像診断装置
Kamal Investigation of in Vivo Cardiac Chambers Composite Rendering
Muhammad Abdullah Adli Investigation of in vivo cardiac chambers composite rendering/Muhammad Abdullah Adli Ahmad Kamal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170912

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171120

R150 Certificate of patent or registration of utility model

Ref document number: 6248044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250