JP6772123B2 - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Description

本明細書の開示は、画像処理装置、画像処理方法、画像処理システムおよびプログラムに関する。

医療の分野において、医師は、種々のモダリティで撮像した医用画像を用いて診断を行う。特に、被検体の状態の経過観察を目的とした場合、異なる時刻に同一のモダリティで撮像された複数の画像を医師が対比し、被検体の経時的な変化を観察すること（経過観察）が行われている。医療以外の分野においても、物体の経時的な変化を観察する場合、同様の作業が実施される場合がある。また、経時比較以外にも、同じ被検体を異なる造影条件や異なる撮像パラメータで撮像した２つの画像を対比して診断する場合がある。

２つの画像の位置合わせを行い、その画像間の差異を可視化した差分画像を表示することにより、画像間の対比を支援する画像差分技術が知られている。この画像差分技術では、２つの画像が異なる解像度の場合、解像度を揃えて処理を行うことがある。非特許文献１では、２つの画像を所定の等方解像度に変換した画像間で位置合わせを行い、等方解像度の画像間で差分画像を生成した後、原画像の解像度へと解像度変換する方法が開示されている。

ＳＡＫＡＭＯＴＯ， Ｒｙｏ， ｅｔ ａｌ． Ｔｅｍｐｏｒａｌ Ｓｕｂｔｒａｃｔｉｏｎ ｏｆ Ｓｅｒｉａｌ ＣＴ Ｉｍａｇｅｓ ｗｉｔｈ Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ ｉｎ ｔｈｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｂｏｎｅ Ｍｅｔａｓｔａｓｅｓ． Ｒａｄｉｏｌｏｇｙ， ２０１７， １６１９４２．

非特許文献１に記載の技術では、所定の等方解像度における処理を開示するのみであり、それぞれの画像に適切な差分画像を生成する処理ができないおそれがある。

本発明の実施形態に係る画像処理装置は、被検体の第１の画像を第１の解像度に変換して第１の変換画像を取得し、前記第１の画像とは異なる第２の画像を前記第１の解像度に変換して第２の変換画像を取得する第１の解像度変換手段と、前記第１の変換画像と前記第２の変換画像とを位置合わせするための第１の変形情報を取得する変形情報取得手段と、前記第１の変形情報に基づいて、前記第１の変換画像と前記第２の変換画像との差分を示す差分画像を生成する第１の生成手段と、前記第１の変形情報に基づいて、前記第１の画像と前記第２の画像との差分を示す第２の差分画像を生成する第２の生成手段と、
前記第１の生成手段と、前記第２の生成手段とのうち、いずれの生成手段により差分画像を生成するかを選択する選択手段と、を有し、前記選択手段は、前記第１の画像または前記第２の画像の少なくともいずれか一方の画像に付帯する付帯情報に基づいて、いずれの生成手段により差分画像を生成するかを選択することを特徴とする。

本発明の実施形態にかかる画像処理装置によれば、画像に応じた適切な差分画像を生成する処理を行うことができる。

第１の実施形態に係る画像処理装置の機能構成の一例を示す図。 第１の実施形態における処理の一例を示すフロー図。 第２の実施形態に係る画像処理装置の機能構成の一例を示す図。 第２の実施形態における処理の一例を示すフロー図。 第３の実施形態に係る画像処理装置の機能構成の一例を示す図。 第３の実施形態における処理の一例を示すフロー図。 第４の実施形態に係る画像処理装置の機能構成の一例を示す図。 第４の実施形態における処理の一例を示すフロー図。 第５の実施形態に係る画像処理装置の機能構成の一例を示す図。 第５の実施形態における処理の一例を示すフロー図。

以下、図面を参照して本発明の実施形態を説明する。

＜第１の実施形態＞
本実施形態に係る画像処理装置１００は、処理の対象となる画像である第１の画像と第２の画像との間の差分画像を生成する装置である。以下では、第１の画像と第２の画像とを処理対象画像と称する場合がある。画像処理装置１００は、まず、第１の画像と第２の画像との間の変形情報を取得する。次に画像処理装置１００は、取得した変形情報に基づいて、第１の画像と第２の画像との間の差分画像を生成する。画像処理装置１００は、該差分画像の生成処理において、差分処理を実行する際の画像解像度が異なる第１の生成手段と第２の生成手段の２通りの手段を有する。また、画像処理装置１００は、第１の生成手段及び第２の生成手段を所定の情報に基づいて切り替えることで、適切な差分画像を生成する。

生成される差分画像は第１の画像及び第２の画像の鮮鋭度と同程度の鮮鋭度であることが望ましい。そのため、ノイズレベルが低い対象（例えば、人体のＣＴ画像における骨領域）の差分画像を生成する場合、第１の画像及び第２の画像と同程度の鮮鋭度を有する差分画像を生成する差分処理を行う。一方、ノイズレベルが高い対象（例えば、人体のＣＴ画像における実質臓器）の差分画像を生成する場合、生成された差分画像もノイズレベルが高い画像となる。そのため、差分画像のノイズレベルを低減する差分処理を行う。

画像処理装置１００は、処理対象画像や医師が観察の対象として注目する部位の特性に基づいて差分画像の生成手段を切り替えることで、鮮鋭度を必要以上に低下させることなく、差分画像のノイズレベルを低減することが可能である。以下、図１および図２を用いて本実施形態の構成及び処理を説明する。

図１は、画像処理装置１００の機能構成の一例である。画像処理装置１００は、データサーバ１１０および表示部１２０と接続されている。

データサーバ１１０は、差分画像を生成する対象としてユーザが指定した第１の画像と第２の画像、および、夫々の画像の付帯情報を保持している。データサーバ１１０はたとえばＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）である。第１の画像及び第２の画像は例えば、同一のモダリティで異なる条件（日時、造影条件、撮像パラメータ等）下において、被検体を予め撮像して得られた３次元断層画像（ボリュームデータ）である。３次元断層画像を撮像するモダリティは、ＭＲＩ装置、Ｘ線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置などであってもよい。

また、第１の画像及び第２の画像は、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよいし、同一患者を異なる造影条件や異なる撮像パラメータで撮像した画像であってもよい。また、第１の画像及び第２の画像はそれぞれ異なる患者を撮像した画像でもよいし、患者の画像と標準画像でもよい。標準画像とは、例えば、多数の患者の画像から取得される平均的な情報（画素値、部位情報など）から生成される画像である。

また、第１の画像及び第２の画像の付帯情報とは、第１の画像及び第２の画像の検査部位の情報、再構成条件（面内解像度、スライス厚、再構成関数）、撮影条件（管電圧、管電流、造影条件）などを含む。第１の画像及び第２の画像と夫々の付帯情報は、データ取得部１０１０を介して画像処理装置１００に入力される。第１の画像及び第２の画像はＤＩＣＯＭに則った画像であってよく、第１の画像及び第２の画像の付帯情報は、それぞれのＤＩＣＯＭタグにより定義される情報であってよい。

表示部１２０は、画像処理装置１００が生成する画像を表示するモニタである。

画像処理装置１００は、データ取得部１０１０、第１の解像度変換部１０２０、変形情報取得部１０３０、選択部１０４０、第１の生成部１０５０、第２の解像度変換部１０６０、第３の解像度変換部１０７０、第２の生成部１０８０、表示制御部１０９０を含む。

データ取得部１０１０は、画像処理装置１００に入力される第１の画像と第２の画像及び夫々の付帯情報を取得する。また、必要に応じて、注目部位に関するユーザの指示を取得する。

第１の解像度変換部１０２０は、第１の画像と第２の画像に解像度変換を施し、夫々の画像を第１の解像度に変換した第１の変換画像及び第２の変換画像を生成する。

変形情報取得部１０３０は、第１の変換画像及び第２の変換画像間の第１の変形情報を第１の解像度で取得する。

選択部１０４０は、第１の生成手段及び第２の生成手段の何れの生成手段で差分画像を生成するかを選択する。

第１の生成部１０５０は、第１の変形情報に基づいて第１の変換画像及び第２の変換画像の対応位置間の差分値を計算し、第１の解像度の差分画像を生成する。

第２の解像度変換部１０６０は、第１の生成部１０５０が生成した第１の解像度の差分画像を第２の解像度に変換した第１の差分画像を生成する。第１の生成手段は、第１の生成部１０５０と第２の解像度変換部１０６０によって構成される。

第３の解像度変換部１０７０は、第１の変形情報を第２の解像度に変換した第２の変形情報を生成する。第２の生成部１０８０は、第２の変形情報に基づいて第１の画像及び第２の画像の対応位置間の差分値を計算し、第２の差分画像を第２の解像度で生成する。第２の生成手段は、第３の解像度変換部１０７０と第２の生成部１０８０によって構成される。

表示制御部１０９０は、第１の画像及び第２の画像と、第１の生成手段または第２の生成手段で生成された差分画像とを並べて表示部１２０に表示させる表示制御を行う。

画像処理装置１００はたとえばコンピュータであり、少なくともプロセッサ（不図示）とメモリ（不図示）とを有する。プロセッサ（不図示）はたとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ），ＳＰＬＤ（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ），ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ），ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの少なくともいずれか一つである。メモリ（不図示）は、たとえばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの少なくともいずれか一つである。プロセッサはメモリに保存されたプログラムを読出し実行することで、画像処理装置１００としての機能を実現する。メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読出し実行することで画像処理装置１００としての機能を実現する。各プロセッサは、プロセッサごとに単一の回路として構成されてもよいし、複数の独立した回路を組み合わせて一つのプロセッサとして構成してもよい。情報処理装置は、目的に応じて一つ又は複数の通信回路を有していてもよい。

図２は、画像処理装置１００が行う全体の処理手順の一例を示すフローチャートである。

（ステップＳ２００）（データの取得）
ステップＳ２００において、データ取得部１０１０は、画像処理装置１００に入力される第１の画像及び第２の画像と、夫々の画像の付帯情報を取得する。また、必要に応じて、注目部位に関するユーザの指示を取得するためのＵＩ（不図示）を、表示制御部１０９０を介して表示部１２０に表示させ、ユーザの入力した情報を取得する。ここで、注目部位に関するユーザの指示とは、ユーザが観察の対象として注目する部位を指定する指示である。当該指示は例えば、「骨に注目した差分画像の生成」「実質臓器に注目した差分画像の生成」などの指示である。そしてデータ取得部１０１０は、取得した第１の画像及び第２の画像を、第１の解像度変換部１０２０、および、第２の生成部１０８０へと出力する。またデータ取得部１０１０は、取得した第１の画像及び第２の画像の付帯情報や、ユーザの指示の情報を、選択部１０４０へと出力する。

（ステップＳ２１０）（処理対象画像の解像度変換）
ステップＳ２１０において、第１の解像度変換部１０２０は、第１の画像及び第２の画像の解像度を第１の解像度に変換した第１の変換画像及び第２の変換画像を生成する。なお、第１の解像度とは、後の処理で行う画像間の位置合わせの基準となる解像度（基準解像度）である。例えば、元の画像の解像度が非等方な場合に、画像間の位置合わせを高精度に実施できるように、等方化した解像度を第１の解像度とすることができる。本実施形態では、第１の解像度は、予め決められた所定の解像度（例えば１ｍｍ×１ｍｍ×１ｍｍ）とする。

また、第１の解像度はこれに限られるものではない。例えば第１の解像度は、第１の画像及び第２の画像が一般的なＣＴ画像の場合には、スライス間の距離に対してスライス面内の解像度が高いため、スライス面内の解像度に合わせてスライス間方向の画素をアップサンプリングした解像度であってもよい。また、第１の画像及び第２の画像の解像度が一致するように、いずれか一方の画像の解像度を第１の解像度としてもよい。そして、第１の解像度変換部１０２０は、生成した第１の変換画像及び第２の変換画像を、変形情報取得部１０３０および第１の生成部１０５０へと出力する。

ここで、第１の解像度が第１または第２の画像の解像度よりも低い場合、該変換画像の取得処理は、第１の画像または第２の画像に対する平滑化処理と同等の効果を有し、ノイズを低減させる効果がある。

なお、解像度変換処理が必要ない場合（例えば、第１の画像と第２の画像の解像度がいずれも等方、かつ、画像間の解像度の差が所定の閾値よりも小さい場合）には、本ステップの処理は実施せずに、元の画像を変換画像とみなして以降の処理を実行する。

なお、本実施形態において、解像度変換時の画素値の補間には、公知の画像処理手法を利用できる。例えば、最近傍補間や線形補間、キュービック補間などを利用できる。

（ステップＳ２２０）（変形情報の取得）
ステップＳ２２０において、変形情報取得部１０３０は、第１の変換画像と第２の変換画像との間で同一部位を表す画素（画像間の対応する画素）の対応関係を記述する第１の変形情報を、第１の解像度で取得する。すなわち変形情報取得部１０３０は、第１の変換画像及び第２の変換画像との間の位置合わせ処理（変形推定処理）を行う。そして変形情報取得部１０３０は、取得した第１の変形情報を第１の生成部１０５０と第３の解像度変換部１０７０へと出力する。

ここで、変形情報とは、第１の変換画像の夫々の画素に対して、第２の変換画像の対応する座標を与える情報である。変形情報は、例えば、第１の変換画像と同じ画像サイズ・同じ解像度のボリュームデータであって、第１の変換画像の夫々の画素と同じ座標に、第２の変換画像上の対応する座標を示す３次元変位ベクトルの値を保持させたボリュームデータとして定義できる。

本実施形態において変形情報取得部１０３０は、第１の変形情報を例えば、変形後の画像間の画像類似度が高くなるように、一方の画像を変形させることにより求める。画像類似度としては、一般的に用いられているＳｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）や相互情報量、相互相関係数などの公知の方法を用いることができる。また、画像の変形のモデルとしては、Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ（ＴＰＳ）などの放射基底関数に基づく変形モデルや、Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）、Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ（ＬＤＤＭＭ）等の公知の変形モデルを利用できる。

なお、第１の画像と第２の画像の間に位置と姿勢の差異しか存在しない（そのように近似できる）場合には、変形情報取得部１０３０は画像間の剛体位置合わせを行い、位置と姿勢の変換パラメータを第１の変形情報として取得するようにしてもよい。また、画像間のアフィン変換パラメータを第１の変形情報として取得するようにしてもよい。なお、変形情報の取得には、何れの方法を用いてもよい。例えば、処理対象画像の付帯情報やユーザの指示によって注目部位が既知の場合には、当該部位の位置合わせに特化した手法を用いてもよい。

（ステップＳ２３０）（生成手段の決定）
ステップＳ２３０において、選択部１０４０は、差分画像の生成手段を選択する。具体的には、選択部１０４０はステップＳ２００で取得した処理対象画像の付帯情報やユーザの指示に基づいて、第１の生成手段で差分画像を生成するか、第２の生成手段で差分画像を生成するかの判定を行う。第１の生成手段で差分画像を生成すると判定された場合は、ステップＳ２４０へ進む。一方、第２の生成手段で差分画像を生成すると判定された場合は、ステップＳ２６０へと処理を進める。

選択部１０４０は例えば、処理対象画像の検査部位に関する付帯情報に基づいて生成手段を選択することができる。Ｘ線ＣＴ装置によって撮像された画像では、実質臓器領域のノイズレベルが高くなる傾向がある。そのため選択部１０４０は、付帯情報から取得した検査部位が実質臓器であった場合、ノイズレベルを低減させるような差分画像生成手段（第１の生成手段）を選択する。

一方、骨領域は実質臓器領域と比較してノイズレベルが低い傾向がある。そのため選択部１０４０は、付帯情報から取得した検査部位が骨の場合は、ノイズレベルを低減させるような差分画像生成手段ではなく、第１の画像及び第２の画像の鮮鋭度を維持するような差分画像生成手段（第２の生成手段）を選択する。

選択部１０４０は、ステップＳ２００で取得した注目部位に関するユーザの指示に基づいて生成手段を決定してもよい。ユーザは、画像処理装置１００に対する操作入力により指示を入力することができる。例えば、ノイズレベルが低い部位にユーザが注目する場合（例えば、「骨に注目した差分画像の生成」の指示を取得した場合）に選択部１０４０は第２の生成手段を選択してもよい。また、ノイズレベルが高い部位にユーザが注目する場合（例えば、「実質臓器に注目した差分画像の生成」の指示を取得した場合）に選択部１０４０は第１の生成手段を選択するようにしてもよい。

また、選択部１０４０が付帯情報を用いて生成手段を選択する別の例として、第１の画像及び第２の画像の面内解像度に基づいて生成手段を決定してもよいし、スライス厚に基づいてもよい。例えば選択部１０４０は、何れかの処理対象画像の面内解像度、スライス厚、あるいは、それらから求まる１画素の体積の何れかが所定の閾値より小さい場合にはノイズレベルが高いと判断して第１の生成手段を選択し、それ以外の場合には第２の生成手段を選択するようにできる。このとき、所定の閾値として第１の解像度を用いてもよい。

また、選択部１０４０が付帯情報を用いて生成手段を選択する別の例として、管電圧に基づいてもよいし、管電流に基づいてもよい。例えば選択部１０４０は、何れかの処理対象画像の管電圧や管電流が所定の閾値より小さい場合にはノイズレベルが高いと判断して第１の生成手段を選択し、それ以外の場合には第２の生成手段を選択するようにできる。

また、選択部１０４０が付帯情報を用いて生成手段を選択する別の例として、再構成関数に基づいてもよいし、造影条件に基づいてもよい。例えば選択部１０４０は、何れかの処理対象画像の再構成関数が縦隔条件の場合にはノイズレベルが低いと判断して第２の生成手段を選択し、それ以外の場合には第１の生成手段を選択するようにできる。このとき、何れの再構成関数に何れの生成手段を割り当てるかは、事前にルックアップテーブルの形で定義しておくことができる。

あるいは選択部１０４０は、ユーザによって第１の生成手段及び第２の生成手段に関連付けられたその他の付帯情報に基づいて生成手段を選択してもよい。また選択部１０４０は、これらの付帯情報の一つに基づいて生成手段を選択してもよいし、複数の付帯情報の組み合わせに基づいて生成手段を選択してもよい。

（ステップＳ２４０）（変換画像間の差分画像生成）
ステップＳ２４０において、第１の生成部１０５０は、ステップＳ２２０で取得した第１の変形情報を利用して、第１の変換画像上の注目位置に対応する第２の変換画像上の対応位置を取得する。そして第１の生成部１０５０は、第１の変換画像上の夫々の注目位置と第２の変換画像上の対応位置との差分値を画素値とした第１の解像度の差分画像を生成する。第１の生成部１０５０は、得られた第１の解像度の差分画像を第２の解像度変換部１０６０へと出力する。

なお第１の生成部１０５０は、対応画素間の差分値を計算するだけの単純な方法に基づいてもよいし、他の公知の何れの方法を用いて差分画像を生成してもよい。例えば第１の生成部１０５０は、処理対象画像の付帯情報やユーザの指示によって注目部位が既知の場合には、当該部位の領域のみを強調した差分画像を生成してもよい。また第１の生成部１０５０は、差分画像のノイズ低減手法として知られているボクセルマッチング法等の処理を適用してもよい。

（ステップＳ２５０）（差分画像の解像度変換）
ステップＳ２５０において、第２の解像度変換部１０６０は、ステップＳ２４０で取得した第１の解像度の差分画像を第２の解像度に変換した第１の差分画像を生成する。そして第２の解像度変換部１０６０は、得られた第１の差分画像をデータサーバ１１０に保存するとともに、表示制御部１０９０へと出力する。

ここで、第２の解像度としては、第１の画像の解像度を用いることができる。これにより、差分画像の解像度を第１の画像と合わせることができる。なお、第２の画像の解像度を第２の解像度として用いてもよいし、第１の画像及び第２の画像の解像度とは異なる解像度を第２の解像度としてもよい。

ここで、第１の解像度が第２の解像度よりも高い場合、本ステップにおける差分画像の解像度変換処理は、差分画像に対する平滑化処理と同等の効果を有し、ノイズを低減させる効果がある。

なお、差分画像の解像度変換処理を必要としない場合には、本ステップは実施せずに、ステップＳ２４０で取得した差分画像を第１の差分画像として以降の処理を実行する。例えば、第１の解像度と第２の解像度が等しい場合には、本ステップの処理を省略することができる。また、差分画像の解像度を第１の画像や第２の画像と揃える必要が特にない場合にも、本ステップの処理は省略できる。

（ステップＳ２６０）（変形情報の解像度変換）
ステップＳ２６０において、第３の解像度変換部１０７０は、ステップＳ２２０で取得した第１の変形情報を第２の解像度に変換した第２の変形情報を生成する。そして第３の解像度変換部１０７０は、得られた第２の変形情報を第２の生成部１０８０に出力する。

（ステップＳ２７０）（原画像間の差分画像生成）
ステップＳ２７０において、第２の生成部１０８０は、ステップＳ２６０で生成した第２の変形情報を利用して、第１の画像上の注目位置に対応する第２の画像上の対応位置を取得する。そして第２の生成部１０８０は、第１の画像上の夫々の注目位置と第２の画像上の対応位置との差分値を画素値とした第２の差分画像を第２の解像度で生成する。第２の生成部１０８０は、得られた第２の差分画像をデータサーバ１１０に保存するとともに、表示制御部１０９０へと出力する。なお、差分画像の生成には、ステップＳ２４０と同様、何れの方法を用いてもよい。

（ステップＳ２８０）（差分画像の表示）
ステップＳ２８０において、表示制御部１０９０は、ステップＳ２５０で生成した第１の差分画像、または、ステップＳ２７０で生成した第２の差分画像を表示部１２０に表示する制御を行う。ここで、差分画像の表示には何れの方法を用いてもよいし、本ステップの処理は必ずしも行わなくてもよい。

以上によって、画像処理装置１００の処理が実施される。

本実施形態では、ノイズレベルが高い対象の差分画像を生成する場合には、第１の生成手段が選択される。第１の解像度が第２の解像度よりも低い場合には、ステップＳ２１０の解像度変換処理によって、第１の画像及び第２の画像に対する平滑化処理と同様の効果が得られる。一方、第１の解像度が第２の解像度よりも高い場合には、ステップＳ２５０の解像度変換処理によって、第１の差分画像に対して平滑化処理と同等の効果が得られる。いずれの場合でも、生成される差分画像においてノイズレベルの低減が可能となる。

一方、ノイズレベルが低い対象の差分画像を生成する場合には、第２の生成手段が選択される。このとき、ステップＳ２７０の原画像間での差分画像の生成処理において、第１の画像と第２の画像との間で差分処理を行うため、第１の画像及び第２の画像の鮮鋭度と同等の差分画像を生成することが可能となる。つまり、第１の画像及び第２の画像の特性に応じて、差分画像生成手段を適切に切り替えることが可能となる。その結果、差分画像におけるノイズレベルの低減を、画像の特性に応じて適切に行うことができる。

なお、第１の変換画像及び第２の変換画像や第２の変形情報は、必ずしもボリュームデータの形式で生成して保持する必要はなく、ある座標での値が後段の処理ステップで必要になった際に、オンデマンドで計算するようにしてもよい。例えば、ステップＳ２７０の処理において、第１の画像上の注目位置に対応する第２の画像上の対応位置を取得する際に、第１の変形情報から当該注目位置の変位ベクトルを補間して求めるようにしてもよい。この場合は、第２の変換情報をボリュームデータとして生成する処理は省略できる。

（第１の実施形態の変形例１）（位置合わせ処理を行わない）
上記の実施形態では、まず、ステップＳ２２０の変形情報の取得処理において第１の変形情報を取得していた。しかし、第１の画像と第２の画像との間で位置合わせが不要な場合、例えば、第１の画像及び第２の画像間の解剖学的位置が略一致している場合の処理手順は必ずしもこれに限らない。すなわち、ステップＳ２２０の変形情報の取得処理と、ステップＳ２６０の変形情報の解像度変換処理を行わなくてもよい。このとき、ステップＳ２４０の変換画像間の差分画像生成処理において、第１の生成部１０５０は、第１の変換画像と第２の変換画像との間の同一位置の差分値を画素値とした差分画像を生成する。また、ステップＳ２７０の元画像間での差分画像生成処理において、第２の生成部１０８０は、第１の画像及び第２の画像間の同一位置の差分値を画素値とした差分画像を生成する。

（第１の実施形態の変形例２）
上記の実施形態では、第１の生成手段は位置合わせの基準解像度で差分画像生成処理を行った後に差分画像を第１の画像の解像度に変換し、第２の生成手段は変形情報を第１の画像の解像度に変換したのちに第１の画像の解像度で差分画像生成処理を行っていた。それ以外にも、処理対象画像の特性に応じて差分画像生成処理を行う解像度を変更する構成をとることができる。

例えば、処理対象画像の特性に応じて位置合わせ処理の基準解像度が変更されてもよい。例えば、処理対象画像のノイズレベルが基準より低いと判断される場合には基準解像度が通常（例えば、１ｍｍ立方）に設定され、ノイズレベルが基準より高いと判断される場合には基準解像度が通常より大きく（例えば、２ｍｍ立方）設定されてもよい。そして、通常の基準解像度を用いた変換画像の生成、基準解像度での変形情報の取得、基準解像度での差分画像の生成、差分画像の第２の解像度への解像度変換を行う処理を第１の生成部１０５０が行い、通常より大きな基準解像度を用いて行う同処理を第２の生成部１０８０が行ってもよい。これにより、差分画像におけるノイズレベルの低減を、画像の特性に応じて適切に行うことができる。

＜第２の実施形態＞
本実施形態に係る画像処理装置３００は、第１及び第２の何れの生成手段によって差分画像を生成するかを、ユーザからの指示を受け付けて決定する。以下、図３および図４を用いて本実施形態の構成及び処理を説明する。

図３は画像処理装置３００の機能構成の一例を示す図である。データサーバ１１０、表示部１２０は、第１実施形態と同様である。指示部３１０は、第１及び第２の生成手段の何れによって差分画像を生成するかを、ユーザから受け付ける。受け付けたユーザからの指示は、指示取得部３０１０を介して画像処理装置３００へ入力される。

画像処理装置３００の構成について、第１実施形態における画像処理装置１００との相違箇所のみを説明する。データ取得部１０１０は、データサーバ１１０より画像処理装置３００に入力される第１の画像と第２の画像を取得する。指示取得部３０１０は、指示部３１０より画像処理装置３００に入力されるユーザの指示を取得する。選択部１０４０は、ユーザからの指示に基づいて第１及び第２の何れの生成手段で差分画像を生成するかを決定する。

図４は、画像処理装置３００が行う全体の処理手順の一例を示すフローチャートである。なお、ステップＳ４１０、ステップＳ４２０、ステップＳ４４０〜ステップＳ４８０は、夫々、第１実施形態のステップＳ２１０、ステップＳ２２０、ステップＳ２４０〜ステップＳ２８０と同様の処理を行うため、上述した説明を援用することによりここでの詳しい説明を省略する。以下、図２のフローチャートとの相違部分のみ説明する。

（ステップＳ４００）（データの取得）
ステップＳ４００において、データ取得部１０１０は、画像処理装置３００に入力される第１の画像及び第２の画像を取得する。そしてデータ取得部１０１０は、取得した第１の画像及び第２の画像を、第１の解像度変換部１０２０、および、第２の生成部１０８０へと出力する。

（ステップＳ４２５）（ユーザ指示の取得）
ステップＳ４２５において、指示取得部３０１０は、指示部３１０から画像処理装置３００に入力されるユーザの指示を取得する。具体的には、指示取得部３０１０は「第１の生成手段で差分画像を生成」または、「第２の生成手段で差分画像を生成」のいずれかの指示を取得する。そして、取得したユーザの指示の情報を、選択部１０４０へと出力する。

（ステップＳ４３０）（生成手段の決定）
ステップＳ４３０において、選択部１０４０は、ステップＳ４２５で取得したユーザの指示の情報に従って、第１の生成手段で差分画像を生成するか否かの判定を行う。すなわち、「第１の生成手段で差分画像を生成」の指示を受けた場合は、ステップＳ４４０へと処理を進める。一方、「第２の生成手段で差分画像を生成」の指示を受けた場合は、ステップＳ４６０へと処理を進める。

以上によって、画像処理装置３００の処理が実施される。

第２の実施形態にかかる画像処理装置３００によれば、第１の画像及び第２の画像の特性に応じて、ユーザが差分画像生成手段を切り替えることが可能となる。その結果、差分画像におけるノイズレベルの低減を、画像の特性に応じて適切に行うことができる。

＜第３の実施形態＞
本実施形態に係る画像処理装置５００は、処理対象画像の統計値に基づいて第１及び第２の生成手段を切り替える。以下、図５および図６を用いて本実施形態の構成及び処理を説明する。

図５は画像処理装置５００の機能構成の一例を示す図である。データサーバ１１０、表示部１２０は、第１実施形態と同様である。

画像処理装置５００の構成について、第１実施形態における画像処理装置１００との相違箇所のみを説明する。データ取得部１０１０は、データサーバ１１０より画像処理装置５００に入力される第１の画像と第２の画像を取得する。画像統計値取得部５０１０は、第１の画像及び第２の画像の少なくとも一方の画像の統計値（画像統計値）を取得する。選択部１０４０は、画像統計値取得部５０１０で得られた画像の統計値に基づいて、第１及び第２の何れの生成手段で差分画像を生成するかを決定する。

図６は、画像処理装置５００が行う全体の処理手順の一例を示すフローチャートである。なお、ステップＳ６１０、ステップＳ６２０、ステップＳ６４０〜ステップＳ６８０は、第１実施形態のステップＳ２１０、ステップＳ２２０、ステップＳ２４０〜ステップＳ２８０と同様の処理を行うため、上述した説明を援用することによりここでの詳しい説明を省略する。以下、図２のフローチャートとの相違部分のみ説明する。

（ステップＳ６００）（データの取得）
ステップＳ６００において、データ取得部１０１０は、画像処理装置５００に入力される第１の画像及び第２の画像を取得する。そしてデータ取得部１０１０は、取得した第１の画像及び第２の画像を、第１の解像度変換部１０２０、第２の生成部１０８０、および、画像統計値取得部５０１０へと出力する。

（ステップＳ６２５）（画像統計値の取得）
ステップＳ６２５において、画像統計値取得部５０１０は、ステップＳ６００で取得された第１の画像及び第２の画像の少なくとも一方に統計処理を施し、当該画像の統計値（画像統計値）を取得する。そして、取得した統計値を、選択部１０４０へと出力する。

本実施形態における統計値とは、例えば画像の分散値である。統計値は画像全体の画素値の分散値でもよいし、画像内でランダムにサンプリングした画素の画素値の分散値でもよい。あるいは、統計値は注目領域（例えば、実質臓器）を設定し、その注目領域内の画素値の分散値でもよい。また統計値は、分散値ではなく、平均値や中央値などの統計値であってもよい。また画像統計値取得部５０１０は、一つの統計値を取得してもよいし、複数の統計値を取得してもよい。また画像統計値取得部５０１０は、夫々の画像の統計値をそのまま出力してもよいし、（いずれか大きい方の値のように）代表値を選択して出力してもよい。また、画像統計値取得部５０１０は第１の画像及び第２の画像の双方に渡る統計値（全体の平均や分散）を求めてもよいし、夫々の画像の統計値の平均を用いてもよい。

（ステップＳ６３０）（生成手段の決定）
ステップＳ６３０において、選択部１０４０は、ステップＳ６２５で取得した画像の統計値に基づいて、第１の生成手段で差分画像を生成するか否かの判定を行う。そして、第１の生成手段で差分画像を生成すると判断した場合は、ステップＳ６４０へと処理を進める。一方、第２の生成手段で差分画像を生成すると判断した場合は、ステップＳ６６０へと処理を進める。

例えば、統計値として分散値を用いる場合を例に考える。分散値が高い画像はノイズレベルが高い傾向がある。そのため選択部１０４０は、第１の画像及び第２の画像の少なくとも一方の分散値が所定の閾値を超えた場合、ノイズレベルを低減させるような差分画像生成手段（第１の生成手段）を選択する。選択部１０４０は分散値が低い画像に対しては、鮮鋭度を維持するような差分画像生成手段（第２の生成手段）を選択する。この観点で、画像統計値は処理対象画像のノイズレベルの指標ととらえてもよい。

なお、ここでは、統計値として分散値に基づいた生成手段の決定処理を例として記述したが、分散値以外の統計値が用いられてもよい。たとえば、平均値や中央値などが用いられてもよい。あるいは、複数の統計値の組み合わせが用いられてもよい。

以上によって、画像処理装置５００の処理が実施される。

第３の実施形態にかかる画像処理装置５００によれば、第１の画像及び第２の画像の特性に応じて、差分画像生成手段を適切に切り替えることが可能となる。その結果、差分画像におけるノイズレベルの低減を、画像の特性に応じて適切に行うことができる。

＜第４の実施形態＞
本実施形態に係る画像処理装置７００は、第１及び第２の生成手段を切り替えることなく、夫々の生成手段による２種類の差分画像を生成し、表示する。これにより、ユーザが２種類の差分画像を比較し、切り替えることが可能となる。つまり、ノイズレベルが低い差分画像や鮮鋭度が高い差分画像を、直接ユーザが選択できる。以下、図７および図８を用いて本実施形態の構成及び処理を説明する。

図７は、画像処理装置７００の機能構成の一例を示す図である。データサーバ１１０、表示部１２０は、第１の実施形態と同様である。

画像処理装置７００の構成について、第１実施形態における画像処理装置１００との相違箇所のみを説明する。データ取得部１０１０は、画像処理装置７００に入力される第１の画像と第２の画像を取得する。表示制御部１０９０は、第１の画像及び第２の画像と、第１及び第２の生成手段で生成された差分画像を並べて表示部１２０に表示させる表示制御を行う。また、選択部１０４０を有していないことも、第１実施形態における画像処理装置１００との相違点である。

図８は、画像処理装置７００が行う全体の処理手順のフローチャートを示している。なお、ステップＳ８１０、ステップＳ８２０、ステップＳ８４０〜ステップＳ８７０は、第１実施形態のステップＳ２１０、ステップＳ２２０、ステップＳ２４０〜ステップＳ２７０と同様の処理を行うため、説明を省略する。以下、図２のフローチャートとの相違部分のみ説明する。

（ステップＳ８００）（データの取得）
ステップＳ８００において、データ取得部１０１０は、画像処理装置７００に入力される第１の画像及び第２の画像を取得する。そしてデータ取得部１０１０は、取得した第１の画像及び第２の画像を、第１の解像度変換部１０２０、および、第２の生成部１０８０へと出力する。

本実施形態では、第１の実施形態のステップＳ２３０に相当する生成画像の選択処理が存在しない。そのため、第１の生成手段であるステップＳ８４０〜ステップＳ８５０の処理と、第２の生成手段であるステップＳ８６０〜ステップＳ８７０の処理が、シーケンシャルに実行される。

（ステップＳ８８０）（差分画像の表示）
ステップＳ８８０において、表示制御部１０９０は、ステップＳ８５０で生成した第１の差分画像と、ステップＳ８７０で生成した第２の差分画像を表示部１２０に表示する制御を行う。

なお、差分画像の表示には何れの方法が用いられてもよい。例えば表示制御部１０９０は一つの画面を縦または横に分割して第１の画像、第２の画像、第１の差分画像、第２の差分画像を夫々並べて表示してもよい。また表示制御部１０９０は、差分画像については第１及び第２の差分画像のどちらか一方を、ユーザの選択に基づいて表示してもよい。また表示制御部１０９０は、第１の画像または第２の画像と異なる色で描画した第１もしくは第２の差分画像を重ね合わせて表示してもよい。あるいは表示制御部１０９０は、第１の画像及び第２の画像、第１の差分画像、第２の差分画像のいずれか一つのみを選択して（同一位置に自由に切り替えて）表示できるようにしてもよい。なお、本ステップの処理は必ずしも行わなくてもよい。

以上によって、画像処理装置７００の処理が実施される。

第４の実施形態にかかる画像処理装置７００によれば、第１及び第２の生成手段によって生成された差分画像を表示することが可能となる。つまり、ユーザが２種類の差分画像を確認し、より適切な差分画像を選択することができる。

＜第５の実施形態＞
本実施形態に係る画像処理装置９００は、生成手段の切り替え機能を持たず、第２の生成手段で差分画像を生成し、表示する。これにより、画像特性に係らず第１及び第２の画像の鮮鋭度と同程度の差分画像を常に生成することが可能となる。以下、図９および図１０を用いて本実施形態の構成及び処理を説明する。

図９は、画像処理装置９００の機能構成の一例を示す図である。データサーバ１１０、表示部１２０は、第１実施形態と同様である。

画像処理装置９００の構成について、第４実施形態における画像処理装置７００との相違箇所のみを説明する。画像処理装置９００は、第４実施形態における画像処理装置７００から第１の生成手段（すなわち、第１の生成部１０５０と第２の解像度変換部１０６０）を除いた構成要素によって構成される。表示制御部１０９０は、第２の生成手段で生成された差分画像を表示部１２０に表示させる表示制御を行う。

図１０は、画像処理装置９００が行う全体の処理手順の一例を示すフローチャートである。なお、ステップＳ１０００、ステップＳ１０６０、ステップＳ１０７０は、第４実施形態のステップＳ８００、ステップＳ８６０、ステップＳ８７０と同様の処理を行うため、説明を省略する。以下、図２のフローチャートとの相違部分のみ説明する。

（ステップＳ１０１０）（処理対象画像の解像度変換）
ステップＳ１０１０における第１の解像度変換部１０２０の処理は、他の実施形態と同様である。ただし、本実施形態の画像処理装置９００には第１の生成部１０５０が存在しないため、取得した第１の変換画像及び第２の変換画像は第３の変形情報取得部１０３０のみに出力する。

（ステップＳ１０２０）（変形情報の取得）
ステップＳ１０２０における変形情報取得部１０３０の処理は、他の実施形態と同様である。ただし、本実施形態の画像処理装置９００には第１の生成部１０５０が存在しないため、取得した第１の変形情報は第３の解像度変換部１０７０のみに出力する。

（ステップＳ１０８０）（差分画像の表示）
ステップＳ１０８０において、表示制御部１０９０は、ステップＳ１０７０で生成した第２の差分画像を表示部１２０に表示する制御を行う。ここで、差分画像の表示には公知の何れの方法を用いてもよいし、本ステップの処理は必ずしも行わなくてもよい。

以上によって、画像処理装置９００の処理が実施される。

第５の実施形態にかかる画像処理装置９００によれば、第２の生成手段によって生成された差分画像を表示することが可能となる。つまり、画像特性に係らず第１および第２の画像の鮮鋭度と同程度の差分画像を常に生成することができる。

＜変形例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における画像処理装置は単体の装置としてもよいし、複数の装置を互いに通信可能に組み合わせて上述の処理を実行する画像処理システムとしてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。画像処理装置および画像処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (10)

1. 被検体の第１の画像を第１の解像度に変換して第１の変換画像を取得し、前記第１の画像とは異なる第２の画像を前記第１の解像度に変換して第２の変換画像を取得する第１の解像度変換手段と、
   前記第１の変換画像と前記第２の変換画像とを位置合わせするための第１の変形情報を取得する変形情報取得手段と、
   前記第１の変形情報に基づいて、前記第１の変換画像と前記第２の変換画像との差分を示す差分画像を生成する第１の生成手段と、
   前記第１の変形情報に基づいて、前記第１の画像と前記第２の画像との差分を示す第２の差分画像を生成する第２の生成手段と、
   前記第１の生成手段と、前記第２の生成手段とのうち、いずれの生成手段により差分画像を生成するかを選択する選択手段と、を有し、
   前記選択手段は、前記第１の画像または前記第２の画像の少なくともいずれか一方の画像に付帯する付帯情報に基づいて、いずれの生成手段により差分画像を生成するかを選択することを特徴とする画像処理装置。
2. 前記付帯情報は前記被検体の検査の対象となる部位に関する情報であり、
   前記選択手段は、前記部位が実質臓器である場合には前記第１の生成手段を選択し、前記部位が骨である場合には前記第２の生成手段を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、ユーザの操作入力に基づいて、いずれの生成手段により差分画像を生成するかを選択することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記選択手段は、前記第１の画像または前記第２の画像の少なくともいずれか一方の画像の特性に基づいて、いずれの生成手段により差分画像を生成するかを選択することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記画像の特性は、画像のノイズレベルであることを特徴とする請求項４に記載の画像処理装置。
6. 前記選択手段は、画像のノイズレベルが所定のレベルよりも高い場合には前記第１の生成手段を選択し、画像のノイズレベルが所定のレベルよりも低い場合には前記第２の生成手段を選択することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像の特性は、画像の統計値であることを特徴とする請求項４に記載の画像処理装置。
8. 前記統計値は、分散値、平均値、中央値の少なくともいずれかであることを特徴とする請求項７に記載の画像処理装置。
9. 前記統計値は、画像のノイズレベルの指標であることを特徴とする請求項７又は請求項８に記載の画像処理装置。
10. 前記統計値は分散値であり、前記選択手段は、前記分散値が所定の閾値よりも大きい場合には前記第１の生成手段を選択し、前記分散値が所定の閾値よりも小さい場合には前記第２の生成手段を選択することを特徴とする請求項７乃至請求項９のいずれか１項に記載の画像処理装置。

Images