JP5872579B2 - 画像処理装置 - Google Patents

Description

本発明は、出力画像における第一の入力画像と第二の入力画像のオーバレイプレゼンテーションを形成する装置及び方法に関する。

イメージビューイング及びイメージディスプレイの分野において、単一の出力画像において幾つかの画像を結合することが望まれる場合がある。これは、それぞれの画像の視覚情報を含む、幾つかの画像のオーバレイプレゼンテーション（重ね合わされた表示）を形成することで行われる。例えば、それぞれの画像が異なる取得タイプからなる幾つかの磁気共鳴（MR）画像は、臨床医がより容易且つ合同で画像を観察するのを可能にするため、単一の出力画像で結合される場合がある。同様に、それぞれの画像が異なるリモートセンシングデバイスにより取得された、調査された領域の幾つかの画像は、単一の出力画像から調査された領域の全ての関連する情報を観察者が取得するのを可能にするため、単一の出力画像において結合される。

カラーオーバレイを使用することで単一の出力画像において幾つかの画像を結合することが知られている。例えばUS2009/0257638号は、Ｘ線画像のオーバレイプレゼンテーションを可視化する方法を記載している。この方法は、選択された色を第一の画像に加え、補色を第二の画像に加え、両方の画像を重ね合わせることを含む。結果として、重ね合わせにおけるずれは、加えられた色のうちの１つで識別され、同じように重ね合わされた画像の部分は、グレイレベルでオーバレイプレゼンテーションにおいて識別される。

US2009/0257638号の方法の問題は、第一の画像と第二の画像のオーバレイプレゼンテーションが観察者にとって十分に直感的ではないことである。

第一の画像と第二の画像のオーバレイプレゼンテーションを形成する改善された装置又は方法を有することが有利である。

この課題に良好に対処するため、本発明の第一の態様は、出力画像における第一の入力画像と第二の入力画像のオーバレイプレゼンテーションを形成する画像処理装置を提供する。第一の入力画像は、入力値を有しており、出力画像は、出力値のベクトルを有しており、出力値のベクトルは、出力画像の色を表す。本装置は、第一の入力画像と第二の入力画像とを取得する入力、出力値のベクトルで入力値を表すために第一のマッピング関数を使用することで、出力画像において第一の入力画像をレンダリングするために構成されるレンダリングユニット、予測された第二の入力画像を取得するため、第一の入力画像から第二の入力画像を予測する予測器、第二の入力画像と予測された第二の入力画像とから残差画像を計算する残差計算器を備える。残差画像は、予測された第二の入力画像の予測誤差を表す残差値を有し、レンダリングユニットは、出力値のベクトルで残差値を表すために第二のマッピング関数を使用することで出力画像における残差画像をレンダリングするために更に構成される。第二のマッピング関数は、第一の入力画像から残差画像を区別するため、第一のマッピング関数とは異なる。

画像処理装置は、第一及び第二の入力画像を受け、両方の入力画像の混合を含む出力画像を生成する。第一及び第二の入力画像は、例えば同じ又は関連するオブジェクトを含むことで関連付けされる場合がある。第一の入力画像は、入力値を含む。出力画像は、出力値のベクトルを含み、出力値のそれぞれのベクトルは、出力画像のある一部のある色を表しており、すなわち所定の輝度及び色度を有する光覚に関連する。本装置は、入力を使用して第一の入力画像と第二の入力画像を受信する。レンダリングユニットは、入力値及び第一のマッピング関数に依存して、出力値のベクトルを変更又は生成することで出力画像における第一の入力画像を表示する。従って、第一のマッピング関数は、第一の入力画像が出力画像においてどのように表されるかを決定する。

さらに、本装置は、例えば第一の入力画像の値を第二の入力画像の対応する値に変換するため、統計予測モデル又はラーニングアルゴリムに基づいて、第一の入力画像から第二の入力画像を予測する予測器を使用する。これにより、第二の入力画像の予測可能性に依存して、第二の入力画像を所定の程度に整合する予測された第二の入力画像が得られる。残差計算器は、残差画像を計算することで、第二の入力画像が予測された第二の入力画像にどの程度整合するかを決定する。残差画像は、第一の入力画像を考えると、予測誤差を示す残差値であって、従って第二の入力画像の予測可能性を示す残差値を有する。次いで、レンダリングユニットは、残差値及び第二のマッピング関数に依存して、出力値のベクトルを変更又は生成することで、出力画像において残差画像を表示する。従って、第二のマッピング関数は、残差画像が出力画像の色によりどのように表されるかを決定する。第一及び第二のマッピング関数の両者は異なるので、残差画像は、第一の入力画像とは異なって出力画像で表される。従って、残差画像は、出力画像において第一の入力画像とは視覚的に異なる。

本発明は、出力画像における複数の入力画像のオーバレイプレゼンテーションは、一般に、出力画像の観察者にとって分かりにくい場合があるという認識に部分的に基づいている。この理由は、それぞれの入力画像は視覚情報を含むためである。単一の出力画像における複数の入力画像の視覚情報を組み合わせることで、組み合わされた出力画像における視覚情報は比較的大きくなる場合がある。不都合なことに、観察者は、視覚情報で比較的オーバロードとなることで混乱する場合がある。

さらに、複数の入力画像間の類似性に関して複数の入力画像間の差が強調される複数の入力画像のオーバレイプレゼンテーションは観察者にとって分かりにくい場合がある。この理由は、複数の入力画像間の全ての違いが観察者に関連しないためである。特に、予測可能な違いは、予測可能であって従って観察者により予期される視覚情報を加えるだけであるので、複数の入力画像間の予測可能な違いは関連しない場合がある。従って、複数の入力画像間の全ての違いを強調する代わりに、比較的予測できない違いのみを強調することが望ましい。

本発明の第一の態様の先の措置は、第一の入力画像と残差画像とが出力画像においてレンダリングされるという効果を有する。残差画像は、予測された第二の入力画像の予測誤差を表し、第二の入力画像が第一の入力画像からどのように良好に予測することができるかを示す。従って、残差画像は、第二の入力画像における比較的予測可能でない情報を示す。このように、第二の入力画像の全て又は両方の入力画像間の全ての違いをレンダリングする代わりに、第二の入力画像は、第二の入力画像における比較的予測できない情報を示す残差画像の形式でレンダリングされる。さらに、第一の入力画像と残差画像は、異なるマッピング関数を使用してレンダリングされる。従って、残差画像は、出力画像における第一の入力画像から視覚的に区別される。先の措置により、出力画像における第一の入力画像と第二の入力画像のより直感的なオーバレイプレゼンテーションが得られる。有利なことに、観察者は、出力画像における視覚情報でオーバロードにされない場合がある。有利なことに、観察者は、出力画像に含まれる関連情報をより容易に認識する場合がある。

任意に、第一の入力画像及び第二の入力画像は、単色像であり、第一のマッピング関数は、入力値を出力値のそれぞれのベクトルの第一の部分にマッピングすることを含み、第一の部分は、出力値のベクトルの輝度を少なくとも含み、第二のマッピング関数は、残差値を出力値のそれぞれのベクトルの第二の部分にマッピングすることを含み、第二の部分は、色相、彩度、色度及び出力値のベクトルの透明度のうちの少なくとも１つを含み、第二の部分は、第一の部分とは異なる。

第一の入力画像は、出力画像の色の輝度により少なくとも表され、残差画像は、色相、彩度、色度及び出力画像の色の透明度のうちの少なくとも１つにより表される。有利なことに、残差画像は、出力画像における第一の入力画像とは良好に区別される。

任意に、残差値は、予測誤差のそれぞれの符号を表すために、正の符号の残差値と負の符号の残差値とを有し、レンダリングユニットは、出力値のベクトルにおける正の符号の残差値を表す第二のマッピング関数を使用し、出力値のベクトルにおける負の符号の残差値を表す代替的な第二のマッピング関数を使用するために構成され、代替的な第二のマッピング関数は、正の符号の残差値を負の符号の残差値を区別するために、第二のマッピング関数とは異なる。

残差画像の負の部分は、残差画像の正の部分とは異なって出力画像の色において表される。負の部分は、いわゆるアンダーシュート部分に対応し、正の部分は、いわゆるオーバシュート部分に対応する。有利なことに、残差画像のオーバシュート部分は、出力画像におけるアンダーシュート部分とは良好に区別される。

任意に、第二の入力画像は、更なる入力値を有し、予測器は、統計予測モデルを使用することで第一の入力画像から第二の入力画像を予測するために構成され、統計予測モデルは、入力値を独立変数として有し、更なる入力値を従属変数として有する。統計予測モデルは、第一の入力画像から第二の入力画像を予測するために良好に適する。

任意に、統計予測モデルを使用することは、回帰分析を実行することを含む。回帰分析は、第一の入力画像から第二の入力画像を予測するために良好に適している。

任意に、入力値は、入力画像の全ての入力値のサブセットであり、第二の入力値は、第二の入力画像の全ての更なる入力値の更なるサブセットである。全ての入力値のサブセットと全ての更なる入力値のサブセットを使用することで、少ない入力値及び更なる入力値が統計予測モデルにおいて使用される。結果として、第一の入力画像から第二の入力画像を予測する計算上の複雑さが低減される。有利なことに、画像処理装置は、高速に動作する。

任意に、第一の入力画像は、第一の画像のタイプからなり、第二の入力画像は、第二の画像のタイプからなり、予測器は、第一の入力画像から第二の入力画像を予測するため、第一の画像のタイプと第二の画像のタイプとの間の統計的な関係を示す学習データを含む。

第一の入力画像が所定の画像のタイプからなるとき、第二の入力画像は、別の画像のタイプからなり、第二の入力画像は、第一の画像のタイプと第二の画像のタイプとの間の統計的な関係を示す以前に取得された学習データを使用することで、第一の入力画像から予測される。従って、第二の入力画像の予測は、学習プロセスからの学習されたデータに基づく。有意なことに、学習プロセスは、改善された予測を取得するために学習データの比較的大きなセットを使用する。有利なことに、学習プロセスは、観察者のうちの１つを反映する第二の入力画像の予測を取得するために、人間予測プロセスを反映するために設計される。

任意に、入力は第三の入力画像を得るために構成され、予測器は、予測された第二の入力画像を取得するために、第一の入力画像から及び第三の入力画像から第二の入力画像を予測するために構成される。

有利なことに、第一の入力画像に加えて第三の入力画像に関して予測が基づくことで、改善された予測が得られる場合がある。

任意に、予測器は、予測された第三の入力画像を得るために、第一の入力画像と第二の入力画像とから第三の入力画像を予測するために更に構成され、残差計算器は、第三の入力画像と予測された第三の入力画像とから更なる残差画像を計算するために更に構成され、更なる残差画像は、予測された第三の入力画像の更なる予測誤差を表す更なる残差値を有し、レンダリングユニットは、出力値のベクトルにおいて更なる残差値を表すために、第三のマッピング関数を使用することで、出力画像において更なる残差画像をレンダリングするために更に構成される。第三のマッピング関数は、第一の入力画像と残差画像から更なる残差画像を区別するため、第一のマッピング関数及び第二のマッピング関数とは異なる。

更なる残差画像は、予測された第三の入力画像の予測誤差を表し、従って、第三の入力画像が第一の入力画像と第二の入力画像とからどのように良好に予測することができるかを示す。従って、全ての第三の入力画像又は第一の入力画像と第二の入力画像に関する第三の入力画像の全ての違いをレンダリングする代わりに、第三の入力画像は、第三の入力画像における比較的予測できない情報を示す更なる残差画像の形式でレンダリングされる。さらに、更なる残差画像は、第一の入力画像と残差画像のそれとは異なるマッピング関数を使用してレンダリングされる。従って、更なる残差画像は、出力画像において第一の入力画像と残差画像とから視覚的に区別される。先の措置は、出力画像における第一の入力画像、第二の入力画像及び第三の入力画像の、より直感的なオーバレイプレゼンテーションが得られる。有利なことに、観察者は、出力画像における視覚情報によるオーバロードが少ない場合がある。有利なことに、観察者は、出力画像における関連する情報をより容易に識別する場合がある。

任意に、ワークステーションは、上述した画像処理装置を備える。
任意に、ワークステーションは、複数のマッピング関数のうちから第一のマッピング関数及び／又は第二のマッピング関数をユーザが対話的に選択するのを可能にするユーザ入力を更に備える。

有利なことに、ユーザは、出力画像における第一の入力画像から残差画像を最適に区別するマッピング関数を対話的に選択する。

任意に、ワークステーションは、複数の入力画像のうちから第一の入力画像及び／又は第二の入力画像をユーザが対話的に選択するのを可能にするユーザ入力を更に備える。

有利なことに、ユーザは、ユーザに特に関連のある入力画像を第一の入力画像及び／又は第二の入力画像として対話的に選択する。有利なことに、ユーザは、どの入力画像が出力画像において残差画像の形式で表示されるかを対話的に選択する。

任意に、画像形成装置は、上述された画像処理装置を備える。
任意に、出力画像における第一の入力画像と第二の入力画像のオーバレイプレゼンテーションを形成する方法が提供され、第一の入力画像は、入力値を有し、出力画像は、出力値のベクトルを有し、出力値のベクトルは、出力画像の色を表す。本方法は、第一の入力画像と第二の入力画像とを取得する段階、出力値のベクトルで入力値をレンダリングするために、第一のマッピング関数を使用することで、出力画像における第一の入力画像をレンダリングする段階、予測された第二の入力画像を取得するために、第一の入力画像から第二の入力画像を予測する段階、第二の入力画像と予測された第二の入力画像とから、残差画像の予測誤差を表す残差値を含む残差画像を計算する段階、出力値のベクトルで残差値を表すために、第二のマッピング関数を使用することで、出力画像における残差画像をレンダリングする段階を含み、第二のマッピング関数は、第一の入力画像から残差画像を区別するため、第一のマッピング関数とは異なる。

任意に、コンピュータプログラムは、上述された方法をプロセッサシステムに実行させる命令を含む。

本発明の上述された実施の形態、実現及び／又は態様の２以上は、有効であると考えられるやり方で組み合わされる場合があることを理解されたい。

画像処理装置、ワークステーション、画像形成装置、方法及び／又はコンピュータプログラムの変更及び変形は、画像処理装置の記載された変更及び変形に対応して、本明細書の記載に基づいて当業者により実行することができる。

当業者であれば、本方法は、限定されるものではないが、標準Ｘ線画像形成、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像形成（ＭＲＩ）、超音波（ＵＳ）、陽電子放出型断層撮影法（ＰＥＴ）、単電子放出型コンピュータ断層撮影法（ＳＰＥＣＴ）、及び核医学（ＮＭ）のような様々な取得のモダリティにより取得された、例えば２次元（２Ｄ）、３次元（３Ｄ）又は４次元（４Ｄ）画像といった多次元画像データに適用される場合があることを理解されるであろう。多次元画像データの次元は、時間に関連する場合がある。例えば、３次元画像は、２次元画像の時間領域の系列を含む。

本発明は、独立請求項で定義される。有利な実施の形態は、従属請求項で定義される。

本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかになるであろう。
出力画像における第一の入力画像及び第二の入力画像のオーバレイプレゼンテーションを形成する画像処理装置を示す。 出力画像における第一、第二及び第三の入力画像のオーバレイプレゼンテーションを形成する画像処理装置を示す図である。 画像処理装置及びユーザ入力を備えるワークステーションを示す図である。 出力画像における第一の入力画像及び第二の入力画像のオーバレイプレゼンテーションを形成する方法を示す図である。

図１は、出力画像１０８において第一の入力画像１０１と第二の入力画像１０２のオーバレイプレゼンテーションを形成するため、装置１００と以下で呼ばれる、画像処理装置１００を示す。装置１００は、第一の入力画像１０１及び第二の入力画像１０２を取得する入力１１０を備える。本装置１００は、第一の入力画像１０１及び第二の入力画像１０２とを取得する入力１１０に接続されるように示される予測器１２０を更に備える。予測器１２０は、予測された第二の入力画像１０４を生成する。本装置１００は、予測器１２０に接続され及び第二の入力画像１０２を取得する入力１１０に接続されるように示される残差計算器１３０を更に備える。残差計算器１３０は、残差画像１０６を生成する。本装置１００は、第一の入力画像１０１を取得する入力１１０に接続され、残差画像１０６を取得する残差計算器１３０に接続されるように示されるレンダリングユニット１４０を更に備える。レンダリングユニット１４０は、出力画像１０８を生成する。

装置１００の動作の間、第一の入力画像１０１及び第二の入力画像１０２は、入力１１０により取得される。レンダリングユニット１４０は、第一のマッピング関数を使用することで、出力画像１０８における第一の入力画像１０１をレンダリングする。予測器１２０は、予測された第二の入力画像１０４を取得するため、第一の入力画像１０１から第二の入力画像１０２を予測する。残差計算器１３０は、第二の入力画像１０２及び予測された第二の入力画像１０４から残差画像１０６を計算する。レンダリングユニット１４０は、第二のマッピング関数を使用することで、出力画像１０８における残差画像１０６をレンダリングし、第二のマッピング関数は、第一の入力画像１０１から残差画像１０６を区別するために、第一のマッピング関数とは異なる。

なお、用語「画像“image”」は、二次元画像又は三次元画像のような多次元画像を示す。三次元画像は、体積画像であり、すなわち３つの空間的な次元を有する場合がある。画像は、イメージエレメントから構成される。イメージエレメントは、画像が二次元画像であるとき、いわゆるピクチャエレメント、すなわちピクセルである。イメージエレメントは、画像が三次元の体積画像であるとき、いわゆるボルメトリックピクチャエレメント、すなわちボクセルである。

用語「値“value”」は、イメージエレメントに割り当てられた表示可能な特性を示す。例えば、第一の入力画像１０１の入力値は、所定の輝度及び／又は色度を有する光により表示される密度値に関連する。同様に、入力値は、例えばカメラにより以前に取得されたことによる、輝度値を直接に表す場合がある。入力値は、単色像に関連する。これは、グレイ又はホワイトに対応する色度と共に輝度値として入力値が一般に表される場合である。さらに、出力画像１０８のイメージエレメントがイメージエレメントのそれぞれに割り当てられた複数の出力値を有する。複数の出力値は、一緒に、すなわち複数の出力値をベクトルとして考えたときに、特定の色空間におけるイメージエレメントの色を表す。

用語「色“color”」は、所定の輝度及び色度を有する光覚を示す。色の色度は、イメージエレメントの色がグレイの色合いに見えるようであることに留意されたい。出力値のベクトルにより表された正確な色は、出力値のベクトルに関連する色空間内の出力値のベクトルを考慮することで決定される。出力値のベクトルは、色化学又はディスプレイ技術の技術分野から知られている色空間と関連する。例えば色空間は、ＨＳＬ色空間である場合がある。この場合、それぞれのベクトルは、３つの出力値により形成され、その第一の出力値は、色の色相であり、第二の出力値は、色の彩度であり、第三の出力値は、色の輝度である。さらに、出力値のうちの１つは、色の透明度に関連する。例えば、色空間は、ＲＧＢＡ色空間である場合がある。この場合、それぞれのベクトルは、４つの出力値により形成される場合があり、第一の出力値は、赤色の輝度に関連し、第二の出力値は、緑色の輝度に関連し、第三の出力値は、青色の輝度に関連し、第四の出力値は、透明度、すなわちいわゆる色のアルファチャネルの値に関連する。従って、観察者により知覚される色は、特定のイメージエレメントの色に依存し、特定のイメージエレメントの背後に位置するイメージエレメントの色に依存する場合がある。

装置１００の入力１１０により取得された第一の入力画像１０１は、磁気共鳴（ＭＲ）画像形成技法により取得された三次元体積画像である。第一の入力画像１０１は、例えば特定のプロトコル又はコントラストに関連する、特定の取得タイプからなる場合がある。例えば第一の入力画像１０１は、いわゆるネイティブなＴ１重み付け画像、ダイナミックコントラストエンハンス画像（T1-DCE）、Ｔ２重み付け画像、又は特定のｂバルブを有する拡散重み付け画像（DWI）である場合がある。しかし、第一の入力画像１０１は、非医学的な分野からの画像である場合がある。

レンダリングユニット１４０は、出力値のベクトルで入力値を表すために、第一のマッピング関数を使用することで、出力画像１０８における第一の入力画像１０１をレンダリングするために構成される。従って、第一のマッピング関数は、第一の入力画像１０１の特定のイメージエレメントの入力値が出力画像１０８の関連するイメージエレメントの出力値のベクトルでどのように表されるかを示す。前記関連は、空間的な関連、すなわちそれぞれの画像における同じ空間的な位置で位置されるか、或いは同じオブジェクトに関連するか又はそれぞれの画像内のオブジェクトの一部を示す。

出力値のベクトルで入力値を表すことは、入力値をそれぞれの出力値の特定の１つにマッピングすることを含む。例えば、出力値のベクトルがＨＳＬ色空間と関連するとき、第一のマッピング関数は、例えば第三の出力値の既存の値を入力値により置き換えるか又は第三の出力値の既存の値を入力値と組み合わせることで、入力値をベクトルの第三の出力値にマッピングする。結果として、第一の入力画像１０１は、輝度値を使用して、出力画像１０８において可視化される場合がある。前記組み合わせは、ブレンディング（blending）である場合がある。組み合わせは、第一のマッピング関数と関連する透明度パラメータを考慮する場合がある。

入力値を出力値のベクトルで表すことは、入力値を１を超える特定の出力値にマッピングすることを含む場合がある。例えば、出力値のベクトルは、ＲＧＢ色空間に関連する場合がある。第一のマッピング関数は、出力値のベクトルで、すなわちＲＧＢベクトルで入力値をグレイ値として表す。これは、入力値のグレイ値の表現を取得するため、Ｒ，Ｇ及びＢ出力値のそれぞれに入力値をマッピングすることで行われる。特に、入力値は、出力値のベクトルの第一の部分にマッピングされる。第一の部分は、出力値のそれぞれのベクトルの色の輝度に対応する。例えば、出力値のベクトルは、いわゆるＬａｂ色空間に関連するとき、第一の部分は、第一の出力値を示す。同様に、出力値のベクトルがＨＳＬと関連するとき、第一の部分は、第三の出力値を示す。

用語「部分“portion”」は、例えば色の色相、彩度、色度又は透明度に関連する類似度を有する出力値の組み合わせのセットを示す場合がある。例えば、出力値のベクトルがＲＧＢ色空間と関連するとき、第一の部分は、例えばオレンジの色相となるＲ，Ｇ及びＢの全ての組み合わせといった、所定の色相の範囲に関連する出力値の全ての組み合わせを示す。

第一のマッピング関数は、いわゆる色変換行列、すなわちある値をある色にマッピングするために使用される行列を有する。また、第一のマッピング関数は、色変換行列として機能するソフトウェア又はハードウェアである場合がある。

予測器１２０は、予測された第二の入力画像１０４を取得するため、第一の入力画像１０１から第二の入力画像１０２を予測するために構成される。第二の入力画像１０２は、磁気共鳴画像形成技術により取得された３次元体積画像である場合がある。特に、第二の入力画像１０２は、第一の入力画像１０１とは異なる取得タイプの画像である場合がある。

第一の入力画像１０１から第二の入力画像１０２を予測するため、予測器１２０は、回帰分析を実行する場合がある。回帰分析は統計の技術分野から知られた技術であり、従って多くの技術の変形が知られており、第一の入力画像１０１から第二の入力画像１０２を予測するために使用される場合がある。例えば、予測器１２０は、線形回帰分析を実行し、第一の入力画像１０１の入力値は、いわゆる独立変数として使用され、第二の入力装置１０２の関連する更なる入力値は、いわゆる従属変数として使用される。前記関連は、空間的な関連、すなわちそれぞれの画像内の同じ空間的な位置に位置されているか、又はそれぞれの画像内の同じオブジェクト又はオブジェクトの一部を示す場合がある。回帰分析の結果として、予測された第二の入力画像１０４は、例えば予測された第二の入力画像１０４を明示的に生成することで取得される。例えば多項式回帰、サポートベクトル回帰（ＳＶＲ）又はｋ近傍回帰（ＫＮＮ）のような、何れかの他の適切な統計予測モデル又は統計予測技術も同様に使用される場合があることを理解されたい。

残差計算器１３０は、第二の入力画像１０２及び予測された第二の入力画像１０４から残差画像１０６を計算するために構成される。結果として、残差画像１０６は、予測された第二の入力画像１０４の予測誤差を表す残差値を含む。残差画像１０６を計算することは、例えば第二の入力画像１０２の関連する更なる入力値から予測された第二の入力１０４の予測された値を引くことで、第二の入力画像１０２と予測された第二の入力画像１０４との間の差を計算することを含む。結果として、残差値は、例えば予測された値が更なる入力値よりも小さいときに正の値、又は予測された値が更なる入力値よりも大きいときに負の値といった、符号付きの値を有する。また、残差画像１０６を計算することは、例えば予測された第二の入力画像１０４の予測された値を第二の入力画像１０２の関連する更なる入力値で割ることにより、第二の入力画像１０２と予測された第二の入力画像１０４との間の比を計算することを含む。従って、残差値は、予測された第二の画像１０４の関連する予測誤差を表す。さらに、例えば特に大きな予測誤差を強調し、特に小さな予測誤差を強調しないために、比又は差に対して更なる関数が適用される場合がある。

残差計算器１３０は、予測器１２０の一部である場合がある。例えば、予測器１２０は、予測された第二の入力画像１０４を明示的に生成する必要なしに、残差画像１０６を直接に計算することができる。例えば、残差画像１０６は、統計的な予測モデルにより予測された従属変数の値と従属変数の真の値、すなわち第二の入力画像１０２の更なる入力の値との間の内部的に計算された差により取得される。

レンダリングユニット１４０は、出力値のベクトルで残差値を表すために、第二のマッピング関数を使用することで、出力画像１０８における残差信号をレンダリングするために更に構成される。第一のマッピング関数に類似して、第二のマッピング関数は、残差画像１０６の特定のイメージエレメントの残差値が出力画像１０８の関連するイメージエレメントの出力値のベクトルにどのようにマッピングされるかを示す。第二のマッピング関数がマッピングの方式において第一のマッピング関数とは異なる点、従って残差値が入力値とは出力値のベクトルで異なって表される点を除いて、第一のマッピング関数の全ての上述された態様は第二のマッピング関数にも適用可能であることを理解されたい。特に、第二のマッピング関数は、出力画像１０８における第一の入力画像１０１から残差画像１０６を視覚的に区別するため、第一のマッピング関数とは異なる。

一般に、残差画像１０６は、入力値を出力値のそれぞれのベクトルの第一の部分であって、出力値のベクトルの輝度を少なくとも含む第一の部分にマッピングし、残差値を出力値のそれぞれのベクトルの第二の部分であって、出力値のベクトルの色相、彩度、色度及び透明度のうちの少なくとも１つを含む、第一の部分とは異なる第二の部分にマッピングすることで、第一の入力画像１０１から区別される。例えば入力値は、出力値のベクトルの輝度により表され、残差値は、出力値のベクトルにおいて特定の色相の彩度として表される場合がある。従って、出力画像１０８内の第一の入力画像１０１の彩度は、予測された第二の画像１０４の予測誤差に従って変化する。同様に、入力値は、グレイカラーと関連する色度を有する輝度により表され、残差値は、非グレイカラーに関連する色度を有する輝度により表される。

レンダリングユニット１４０は、残差値が符号付きの値であるおきに、負の符号の残差値から正の符号の残差値を区別するために構成される。結果として、予測された第二の画像１０４に関するオーバシュート及びアンダーシュートは、それぞれ異なって視覚化され、従って出力画像１０８内で区別される。そのために、レンダリングユニット１４０は、負の符号をもつ残差値を表すために、代替的なマッピング関数を使用し、第二のマッピング関数は、正の符号をもつ残差値を表すために使用され、逆に、レンダリングユニット１４０は、正の符号をもつ残差値を表すために、代替的なマッピング関数を使用し、第二のマッピング関数は、負の符号をもつ残差値を表すために使用される。

予測器１２０は、統計予測モデルを使用するために構成され、統計予測モデルは、入力画像１０１の全ての入力値のサブセットを独立変数として有し、第二の入力画像１０２の全ての更なる入力値の更なるサブセットを従属変数として有する。サブセット及び更なるサブセットは、例えば空間的な関連、すなわちそれぞれの画像内の同じ空間的な位置に位置されるか、又はそれぞれの画像直の同じオブジェクト又は同じオブジェクトの一部を示すことで、関連付けされる。結果として、入力値及び更なる入力値は、サブサンプリングされる。サブセット及び更なるサブセットを選択する、すなわちサブサンプリングするとき、画像の関連する部分からより多くの入力値及び更なる入力値を選択することで、画像の特に関連する部分が考慮される。しかし、サブサンプリングは、規則的なサブサンプリンググリッドを使用する場合もある。

また、予測器１２０は、第一の入力画像１０１から第二の入力画像１０２を予測するために、第一の画像のタイプと第二の画像のタイプとの間の統計的な関係を示す学習されたデータを含む。例えば第一の入力画像１０１は、第二の入力画像１０２とは異なる画像のタイプからなる場合がある。ここで、用語「画像のタイプ“image type”」は、例えば画像形成の様式といった所定の画像形成のタイプにより取得された画像、又は取得の間に使用された所定の設定を示す。例えば、第一の入力画像１０１は、磁気共鳴（ＭＲ）画像形成により取得されており、従ってＭＲ画像のタイプに属する場合がある。第二の入力画像１０２は、コンピュータ断層撮影（ＣＴ）により取得されており、従ってＣＴ画像のタイプに属する場合がある。学習されたデータは、ＭＲからの所定の入力値がＣＴからの更なる入力値にどのように関連するかに関する情報を含む。従って、学習されたデータはＭＲ画像のタイプに属する第一の入力画像１０１からＣＴ画像のタイプに属する予測された第二の画像１０４を生成するために使用される場合がある。同様に、画像のタイプは、画像がネイティブＴ１重み付け画像であるか、ダイナミックコントラストエンハンス画像（T1-DCE）であるか、Ｔ２重み付け画像であるか又は特定のｂバルブを有する拡散重み付け画像（DWI）であるかを識別する場合がある。結果的に、予測器１２０は、先の画像のタイプのうちのあるタイプを先の画像のタイプの別のタイプから予測するために学習されたデータを含む。学習されたデータは装置１００により生成される必要はないが、むしろマシンラーニングの技術分野からの学習技術を使用して生成され、装置１００により既に取得されているか又は装置１００に含まれている場合があることを理解されたい。

予測器１２０は、第一の入力画像１０１からの特定の入力値を使用して、予測された第二の画像から予測された第二の画像１０４を予測し、これにより予測された第二の画像１０４が生成されることが理解される。これは、第一の入力画像１０１の入力値と第二の入力画像１０２の更なる入力値との間の統計的な関係のためである。しかし、予測器１２０は、予測された値を予測するため、特定の入力値を囲んでいる１以上の入力値を考慮する場合もある。これにより、予測器１２０は、その予測を特定の入力値にのみ基づくだけでなく、第一の入力画像１０１内のその周辺の入力値にも基づくことができ、結果として特定の入力値周辺での局所的な構造、テクスチャ又は向きのような情報に基づくことができる。例えば、これにより、予測器１２０はＭＲ入力値及びＭＲ入力値周辺の局所的なテクスチャから予測されたＣＴ入力値を予測することができる。

図２は、以下を除いて、図１の構成と実質的に同じである装置２００を示す。装置２００の入力２１０は、第三の入力画像１０３を取得するために構成され、予測器２２０は、予測された第二の入力画像１０４を取得するため、第一の入力画像１０１及び第三の入力画像１０３から第二の入力画像１０２を予測するために構成される。従って、予測器２２０は、第一の入力画像１０１の入力値に基づくだけでなく、第三の入力画像１０３の入力値にも基づく。一般に、ｎ個の異なる入力値を有するとき、予測器２２０は、入力画像のうちの１つのその予測を残りのｎ−ｌ個の入力画像に基づいて行う場合がある。また、より多くの入力画像を使用することで、一般に改善された予測となる。

装置２００は、出力画像１０９における第一の入力画像１０１及び第二の入力画像１０２のオーバレイプレゼンテーションにおいて第三の入力画像１０３を含むように図２の装置２００が、構成される点で図１の装置１００とは更に異なる。その目的のため、予測器２２０は、予測された第三の入力画像１０５を取得するため、第一の入力画像１０１及び第二の入力画像１０２から第三の入力画像１０３を予測するために更に構成される。また、残差計算器２３０は、第三の入力画像１０３及び予測された第三の入力画像１０５から更なる残差画像１０７を計算するために更に構成され、更なる残差画像１０７は、予測された第三の入力画像１０５の更なる予測誤差を表す更なる残差値を含む。なお、先の第三の入力画像１０３の予測は、第二の入力画像１０２の予測に類似するか又は同じである場合があり、先の更なる残差画像１０７の計算は、残差画像１０６の計算に類似するか又は同じである場合があることを理解されたい。

レンダリングユニット２４０は、出力値のベクトルで更なる残差値を表すため、第三のマッピング関数を使用することで、出力画像１０９において更なる残差画像１０７をレンダリングするために更に構成され、第三のマッピング関数は、第一の入力画像１０１及び残差画像１０６から更なる残差画像１０７を区別するため、第一のマッピング関数及び第二のマッピング関数とは異なる。第一及び第二のマッピング関数の全ての上述した態様は第三のマッピング関数がマッピングのやり方において第一のマッピング関数及び第二のマッピング関数とは異なり、従って更なる残差値が入力値及び残差値とは異なって出力値のベクトルにおいて表される点を除いて、第三のマッピング関数にも適用可能であることを理解されたい。

図２の装置２００は、出力画像における３を超える入力画像のオーバレイプレゼンテーションを形成するために使用されること、当業者であれば出力画像に更なる入力画像を含むための上述された変更に従って装置の必要な変更を実行する場合があることを理解されたい。

図３は、図１の装置１００を備えるワークステーション３００を示す。ワークステーションは、複数のマッピング関数のうちで第一のマッピング関数及び／又は第二のマッピング関数をユーザが対話的に選択するのを可能にするユーザ入力３１０を更に備える。このため、ワークステーション３００は、プロセッサ、記憶手段、又は通信ポート（図示せず）を更に備える場合がある。プロセッサは、画像処理プログラムの一部である命令を実行するために構成される。画像処理プログラムは、入力１１０、予測器１２０、残差計算器１３０及び／又はレンダリングユニット１４０の少なくとも１部の機能を実行する命令を含む。記憶手段は、ＲＡＭ，ＲＯＭ，ハードディスク、ＣＤ及びＤＶＤのような取り外し可能なメディアを含む。記憶手段は、コンピュータ命令を記憶し、及び／又は、入力及び／又は出力画像を記憶するために使用される。通信ポートは、例えばサーバである別のコンピュータシステムとの通信のために使用される。通信ポートは、ローカルエリアネットワーク又はワイドエリアネットワークのようなネットワーク及び／又はインターネットに接続されるように構成される。他のコンピュータシステムは、例えば入力画像を検索するため、ネットワークを介してアクセスされる場合がある。

ユーザは、ユーザ入力３１０を介して、例えばワークステーション３００のディスプレイで表示されるメニューにおいて、複数のマッピング関数のうちから第一のマッピング関数及び／又は第二のマッピング関数を対話的に選択する。付加的に又は代替的に、ユーザ入力３１０は、複数の入力画像のうちから第一の入力画像１０１及び／又は第二の入力画像１０２とをユーザが対話的に選択するのを可能にする。前記選択は、それぞれの入力画像に関連するチェックボックスをチェック又はアンチェックすることで行われ、チェックされたチェックボックスは、入力画像の選択を表す。さらに、ユーザ入力３１０は、どの入力画像が第一の入力画像であるか及び第二の入力画像であるかをユーザが判定するのを可能にする。

本発明は幾つかのグレイ値のイメージボリュームを単一の色値のイメージボリュームに結合するために使用されることを理解されたい。さらに、本発明は、カラーオーバレイ、すなわち複数のＭＲ取得タイプの融合を生成するときに使用される場合がある。既知のオーバレイ技術を使用するとき、これは、オーバロードされた外観となる場合がある。本発明は、融合、すなわちオーバレイプレゼンテーションの形成を使用し、この場合、それぞれの更なるイメージボリュームは、前のイメージボリュームからはじめに予測され、予測されたイメージボリュームが得られ、ずれ、すなわち残差のイメージボリュームのみがカラーオーバレイとして全体の結合された色分けされたイメージボリュームに加えられる。前記融合は、カラーオーバレイの色をユーザが選択するのを可能にすることで対話的である場合がある。従って、カラーオーバレイは、予測された値に関してオーバシュート及びアンダーシュートのみを示し、カラーキュー（color cues）を保持する間に視覚的なオーバロードを低減する。

予測器が例えば予測された第二の入力画像における第一の入力画像と第二の入力画像との間の相関を反映するとき、予測器及び残差計算器は共に冗長度の低減又は相関除去（de-correlation）として機能する場合がある。予測された第二の入力画像の予測誤差のみが出力画像において重ね合わされるので、第二の入力画像の相関除去又は非冗長度情報のみが出力画像に重ねあわされる。結果として、第一の入力画像は、その完全な形で重ねあわされ、第二の入力画像は、視覚的なオーバロードを低減するため、第二の入力画像の非冗長な情報の形式で重ねあわされる。

図４は、出力画像における第一の入力画像と第二の入力画像のオーバレイプレゼンテーションを形成する方法を示す。第一の入力画像は、入力値を含み、出力値のベクトルは、出力画像の色を表す。本方法は、第一の入力画像及び第二の入力画像を取得する段階４１０、出力値のベクトルで入力値を表すため、第一のマッピング関数を使用することで、出力画像における第一の入力画像をレンダリングする段階４２０、予測された第二の入力画像を取得するため、第一の入力画像から第二の入力画像を予測する段階４３０、第二の入力画像及び予測された第二の入力画像から、残差画像の予測誤差を表す残差値を含む残差画像を計算する段階４４０、出力値のベクトルで残差値を表すため、第二のマッピング関数を使用することで、出力画像において残差画像をレンダリングする段階４５０を含む。第二のマッピング関数は、残差画像を第一の入力画像から区別するため、第一のマッピング関数とは異なる。

本発明は、コンピュータプログラム、特に本発明を実施するために適合されるキャリア上のコンピュータプログラム又はキャリアにおけるコンピュータプログラムにも適用される。プログラムは、部分的にコンパイルされた形式におけるようなソースコード、オブジェクトコード、コード中間ソース及びオブジェクトコードの形式、又は本発明に係る方法の実現における使用に適した他の形式である場合がある。また、係るプログラムは、多くの異なるアーキテクチャ設計を有する場合があることを理解されたい。例えば、本発明に係る方法又はシステムの機能を実現するプログラムコードは、１以上のサブルーチンに分割される。これらのサブルーチンの間で機能を分散する多くの異なるやり方は、当業者にとって明らかであろう。サブルーチンは、自己完結的なプログラムを形成するために１つの実行ファイルで一緒に記憶される場合がある。係る実行ファイルは、例えばプロセッサ命令及び／又はインタープリタ命令（例えばJava（登録商標）インタープリタ命令）といったコンピュータ実行可能な命令を含む。代替的に、サブルーチンの１以上又は全部は、少なくとも１つの外部ライブラリファイルに記憶され、例えばラインタイムで静的又は動的の何れかで、メインプログラムとリンクされる。メインプログラムは、サブルーチンの少なくとも１つへの少なくとも１つの呼び出しを含む。サブルーチンは、互いに対するファンクションコールを含む。コンピュータプログラムに関する実施の形態は、本明細書で述べた方法の少なくとも１つのそれぞれの処理段階に対応するコンピュータ実行可能な命令を含む。これらの命令は、静的又は動的にリンクされるサブルーチンに分割されるか、又は１以上のファイルに記憶される。コンピュータプログラムに関連する別の実施の形態は、本明細書で述べたシステム及び／又はプログラムの少なくとも１つのそれぞれの手段に対応するコンピュータ実行可能な命令を含む。これらの命令は、静的又は動的にリンクされるサブルーチンに分割されるか、又は１以上のファイルに記憶される。

コンピュータプログラムのキャリアは、プログラムを担持可能なエンティティ又はデバイスである場合がある。例えば、キャリアは、例えばＣＤ ＲＯＭ又は半導体ＲＯＭといったＲＯＭのような記憶媒体、又はハードディスクといった磁気記録媒体を含む。さらに、キャリアは、電気又は光ケーブル或いは無線又は他の手段を介して伝達される場合がある、電気信号又は光信号のような伝送キャリアである場合がある。プログラムが係る信号で実施されるとき、キャリアは、係るケーブル又は他のデバイス或いは手段により構成される。代替的に、キャリアは、プログラムが埋め込まれる集積回路であって、関連する方法を実行するために適合されるか又は関連する方法のパフォーマンスにおいて使用されるように適合される集積回路である場合がある。

上述された実施の形態は、本発明を制限するのではなく、むしろ例示するものであり、当業者であれば特許請求の範囲から逸脱することなしに多くの代替的な実施の形態を設計することができるであろう。請求項において、括弧間に配置された参照符号は請求項を限定するものとして解釈されるべきではない。動詞“comprise”及びその共役の使用は、請求項で示されたエレメント又は段階以外のエレメント又は段階の存在を排除するものではなく、エレメントに先行する冠詞“a”又は“an”は、複数の係るエレメントの存在を排除するものではない。本発明は、幾つかの個別のエレメントを含むハードウェア手段により、及び適切にプログラムされたコンピュータにより実現される場合がある。幾つかの手段を列挙している装置の請求項において、これらの手段の幾つかは同じアイテムのハードウェアにより実施される場合がある。所定の手段が相互に異なる従属請求項で引用される事実はこれらの手段の組み合わせを利用することができないことを示すものではない。

Claims (15)

1. 出力画像において第一の入力画像と第二の入力画像のオーバレイプレゼンテーションを形成する画像処理装置であって、
   前記第一の入力画像は入力値を含み、前記出力画像は出力値のベクトルを有し、前記出力値のベクトルは前記出力画像の色を表し、
   当該画像処理装置は、
   前記第一の入力画像と前記第二の入力画像とを取得する入力手段と、
   前記出力値のベクトルで前記入力値を表す第一のマッピング関数を使用することで、前記出力画像において前記第一の入力画像をレンダリングするように構成されたレンダリング手段と、
   予測された第二の入力画像を取得するため、前記第一の入力画像から前記第二の入力画像を予測するように構成された予測手段と、
   前記第二の入力画像と前記予測された第二の入力画像とから、前記予測された第二の入力画像の予測誤差を表す残差値を有する残差画像を計算するように構成された残差計算手段と、を備え、
   前記レンダリング手段は、前記出力値のベクトルで前記残差値を表す第二のマッピング関数を使用することで、前記出力画像において前記残差画像をレンダリングするようにさらに構成され、
   前記第二のマッピング関数は、前記第一の入力画像から前記残差画像を区別するため、前記第一のマッピング関数とは異なる、
   ことを特徴とする画像処理装置。
2. 前記第一の入力画像と前記第二の入力画像は、単色像であり、
   前記第一のマッピング関数は、前記入力値を出力値のそれぞれのベクトルの第一の部分であって、前記出力値のベクトルの輝度を少なくとも含む第一の部分にマッピングし、
   前記第二のマッピング関数は、前記残差値を前記出力値のそれぞれのベクトルの第二の部分であって、前記出力値のベクトルの色相、彩度、色度及び透明度のうちの少なくとも１つを含む前記第一の部分とは異なる第二の部分にマッピングする、
   請求項１記載の画像処理装置。
3. 前記残差値は、前記予測誤差のそれぞれの符号を表すために正の符号の残差値と負の符号の残差値とを含み、
   前記レンダリング手段は、
   前記第二のマッピング関数を使用して、前記出力値のベクトルで前記正の符号の残差値を表し、
   前記負の符号の残差値から前記正の符号の残差値を区別するために前記第二のマッピング関数とは異なる代替的な第二のマッピング関数を使用して、前記出力値のベクトルで前記負の符号の残差値を表す、
   請求項１記載の画像処理装置。
4. 前記第二の入力画像は、更なる入力値を有し、
   前記予測手段は、前記入力値を独立変数として有し、前記更なる入力値を従属変数として有する統計的な予測モデルを使用することで、前記第一の入力画像から前記第二の入力画像を予測する、
   請求項１記載の画像処理装置。
5. 前記統計的な予測モデルを使用することは、回帰分析を行うことを含む、
   請求項４記載の画像処理装置。
6. 前記入力値は、前記第一の入力画像の全ての入力値のサブセットであり、前記更なる入力値は、前記第二の入力画像の全ての更なる入力値の更なるサブセットである、
   請求項４記載の画像処理装置。
7. 前記第一の入力画像は、第一の画像のタイプからなり、前記第二の入力画像は、第二の画像のタイプからなり、
   前記予測手段は、前記第一の入力画像から前記第二の入力画像を予測するため、前記第一の画像のタイプと前記第二の画像のタイプとの間の統計的な関係を示す学習データを含む、
   請求項１記載の画像処理装置。
8. 前記入力手段は、第三の入力画像を取得するために構成され、
   前記予測手段は、前記予測された第二の入力画像を取得するため、前記第一の入力画像と前記第三の入力画像とから前記第二の入力画像を予測するために構成される、
   請求項１記載の画像処理装置。
9. 前記予測手段は、予測された第三の入力画像を取得するため、前記第一の入力画像と前記第二の入力画像とから前記第三の入力画像を予測し、
   前記残差計算手段は、前記第三の入力画像と前記予測された第三の入力画像とから、前記予測された第三の入力画像の更なる予測誤差を表す更なる残差値を有する更なる残差画像を計算し、
   前記レンダリング手段は、前記出力値のベクトルで前記更なる残差値を表すために第三のマッピング関数を使用することで、前記出力画像において前記更なる残差画像をレンダリングし、
   前記第三のマッピング関数は、前記第一の入力画像と前記残差画像とから前記更なる残差画像を区別するために、前記第一のマッピング関数及び前記第二のマッピング関数とは異なる、
   請求項８記載の画像処理装置。
10. 請求項１記載の画像処理装置を備えるワークステーション。
11. 複数のマッピング関数のうちで前記第一のマッピング関数及び／又は前記第二のマッピング関数をユーザが対話的に選択するのを可能にするユーザ入力手段を更に備える、
    請求項１０記載のワークステーション。
12. 複数の入力画像のうちで前記第一の入力画像及び／又は前記第二の入力画像をユーザが対話的に選択するのを可能にするのを可能にするユーザ入力手段を更に備える、
    請求項１０記載のワークステーション。
13. 請求項１記載の画像処理装置を備える画像形成装置。
14. 出力画像において第一の入力画像と第二の入力画像のオーバレイプレゼンテーションを形成する方法であって、
    前記第一の入力画像は入力値を含み、前記出力画像は出力値のベクトルを有し、前記出力値のベクトルは前記出力画像の色を表し、
    当該方法は、
    前記第一の入力画像と前記第二の入力画像とを取得する段階と、
    前記出力値のベクトルで前記入力値を表す第一のマッピング関数を使用することで、前記出力画像において前記第一の入力画像をレンダリングする段階と、
    予測された第二の入力画像を取得するため、前記第一の入力画像から前記第二の入力画像を予測する段階と、
    前記第二の入力画像と前記予測された第二の入力画像とから、前記予測された第二の入力画像の予測誤差を表す残差値を有する残差画像を計算する段階と、
    前記出力値のベクトルで前記残差値を表す第二のマッピング関数を使用することで、前記出力画像において前記残差画像をレンダリングする段階と、を含み、
    前記第二のマッピング関数は、前記第一の入力画像から前記残差画像を区別するため、前記第一のマッピング関数とは異なる、
    ことを特徴とする方法。
15. プロセッサシステムに請求項１４に記載の方法の各段階を実行させるコンピュータプログラム。

Images