JP5665903B2 - 画像処理装置及び方法、画像処理システム、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及び方法に関し、特に、複数の医用画像を処理するための画像処理装置及び方法、並びにプログラムに関する。

近年、医用画像診断の分野におけるディジタル画像の利用が進んでいる。例えば、半導体センサを使用してＸ線画像を撮影する装置は、従来の銀塩写真を用いる放射線写真システムと比較して極めて広い放射線露出域にわたって画像を記録し、更に、画像の保存や伝送において効率的なシステムを構築し易いという利点を有している。

また、医用画像をディジタル化することで従来の銀塩写真では困難であった診断形態の可能性が生まれている。即ち、従来は患者の経過観察などで異なる時点で撮影されたＸ線画像を比較する際には、フィルムをシャウカステンに架けて比較読影することが一般的に行われていた。

一方、ディジタル画像データを用いれば、異なる時点で撮影された２枚のディジタル画像を正常な解剖学的構造が一致するよう位置合わせして差分処理を行うことにより差分画像を生成して出力し、この差分画像を元となった１対の画像と比較読影することにより、画像間の変化をより正確に把握することが可能となる。

図１５は、従来の差分画像の生成表示装置の構成を示すブロック図である。基準画像及び比較画像は異なる時点で撮影された特定部位の医用画像データである。２枚の画像データは濃度補正部４０１において両者の画像信号の濃度値分布がほぼ等しくなるように補正され、位置合わせ部４０２において解剖学的な構造の位置関係が求められ、変形部４０３において一方の画像、ここでは比較画像の各画素が基準画像における対応する画素に重なるように変形され、差分演算部４０４において対応する画素間で差分処理が行われて差分画像が生成される。そして差分画像は表示部７において基準画像及び比較画像と共に表示される（例えば、特許文献１）。

ここで、上述した差分処理において２枚の画像の演算順序は、片方を過去画像もう一方を現在画像とした時は過去−現在、又は、現在−過去の順序となるように予め設定されている。

特開平１０−１５５７４６号公報

差分画像は、例えば定期検診のように予め決められた期間をおいて撮影された画像において被写体に生じた変化を描出するために用いられ、そのような用途においては前述したように１組の画像を対象とし、予め決められた順序で差分処理をすれば良い。

しかしながら、特定患者の経過観察では比較的短期間の間に複数回の撮影を行い、何らかの治療行為の結果を逐次観察すると共に、過去の履歴に遡り経過を把握する必要がある。従来このような用途において経時差分画像を効率的に生成するための方法はなかった。

本発明はこのような状況に鑑み、経過観察における効率的な差分処理を実行可能な画像処理装置及び方法、並びにプログラムを提供することを目的とする。

本発明の画像処理装置は、複数の医用画像を処理する画像処理装置であって、操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定する指定手段と、前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段とを有する。

本発明の画像処理装置は、複数の医用画像を処理する画像処理装置であって、操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定する指定手段と、前記基準画像に合わせて変形された前記複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段とを有する。

本発明の画像処理装置は、複数の医用画像を処理する画像処理装置であって、前記複数の医用画像から指定された複数の比較画像に対応する基準画像を、操作部に対する入力に応じて前記複数の医用画像から指定する指定手段と、前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段とを有する。

本発明の画像処理装置は、複数の医用画像を処理する画像処理装置であって、前記複数の医用画像から指定された基準画像に対応する複数の比較画像を、操作部に対する入力に応じて前記複数の医用画像から指定する指定手段と、前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、前記処理手段により得られる前記複数の差分画像を表示部に表示させる表示制御手段とを有する。

本発明の画像処理システムは、複数の医用画像を処理する画像処理装置であって、操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定する指定手段と、前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段とを有する。
本発明の画像処理方法は、複数の医用画像を処理する画像処理方法であって、操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定するステップと、前記基準画像に合わせて前記複数の比較画像を変形させるステップと、前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップとを有する。
本発明の画像処理方法は、複数の医用画像を処理する画像処理方法であって、前記複数の医用画像から指定された複数の比較画像に対応する基準画像を、操作部に対する入力に応じて前記複数の医用画像から指定するステップと、前記基準画像に合わせて前記複数の比較画像を変形させるステップと、前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップとを有する。
本発明の画像処理方法は、複数の医用画像を処理する画像処理方法であって、前記複数の医用画像から指定された基準画像に対応する複数の比較画像を、操作部に対する入力に応じて前記複数の医用画像から指定するステップと、前記基準画像に合わせて前記複数の比較画像を変形させるステップと、前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップとを有する。
本発明の画像処理方法は、複数の医用画像を処理する画像処理方法であって、操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定するステップと、前記基準画像に合わせて変形された前記複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップとを有する。

本発明のプログラムは、上記の画像処理方法をコンピュータに実行させるためのものである。

本発明によれば、経時的差分画像を生成する際に、比較読影対象となる画像の組み合わせ方法を変更しても、経過観察における効率的な差分処理を実行可能な画像処理を実現することができる。

本発明による画像処理装置の全体構成図である。 本発明による画像処理装置を実施するためのシステムの構成図である。 本発明による画像処理方法の基本的なフローチャートである。 第１の実施形態における画像選択画面例を示す模式図である。 第１の実施形態における画像選択画面例を示す模式図である。 差分画像を生成する画像の組み合わせの説明図である。 陰影変化と差分信号との関係を表す説明図である。 差分画像における陰影描出の例を示す模式図である。 第１の実施形態における画像選択画面例を示す模式図である。 差分画像を生成する画像の組み合わせの説明図である。 陰影変化と差分信号との関係を表す説明図である。 本発明による画像の位置合わせの説明図である。 第２の実施形態における画像選択画面例を示す模式図である。 第３の実施形態における画像選択画面例を示す模式図である。 従来の差分処理の基本構成を示す模式図である。

以下、本発明を適用した好適な諸実施形態について、図面を参照しながら詳細に説明する。

［第１の実施形態］
−画像処理装置の構成−
図１は、第一の実施形態による画像処理装置の機能構成を示すブロック図である。まず、同図を参照して全体の動作概要を説明する。

本実施形態の画像処理装置は、画像を生成する画像生成部１と、画像を蓄積保存する画像記憶部２と、画像記憶部２に蓄積保存されている画像から、少なくともそれぞれ１枚の基準画像および比較画像を指定する画像指定部５と、指定された基準画像および比較画像の撮影時刻を取得し、その前後関係を特定する画像比較部３と、画像比較部３による特定結果に基づいて、基準画像および比較画像から経時的な差分画像を生成する差分処理部４と、差分画像の表示制御を行う表示制御部６と、表示制御部６の制御により、基準画像、比較画像および差分画像を表示する画像表示部７とを含み構成されている。

図１において、画像生成部１により生成された医用画像は画像記憶部２において蓄積、保存される。保存された画像は必要に応じて１対または複数の対で読み出され、差分処理部４において差分処理が施され、その結果として得られた差分画像は表示制御部６を介して画像表示部７において表示され、診断に用いられる。

一方、差分画像生成に用いられた元画像も同様に表示制御部６を介して差分画像と共にあるいは単独で画像表示部７に表示され、診断に用いられる。

以上の動作において、画像比較部３は、後述する方法により差分処理の対象となる画像を比較し、差分処理部４における処理の制御を行う。一方、画像指定部５は差分処理の対象となる画像を後述する方法により指定し、その指示に基づいて画像記憶部２から差分処理部４に出力される画像を決定する。

以上の機能を実施するためには、例えば図２に示すようにコンピュータ（ＰＣ）１００とネットワーク４００を介して接続された画像生成装置２００、ファイルサーバ３００の構成を用いることができる。同図において、コンピュータ１００は、中央演算装置（ＣＰＵ）１０１と様々な周辺装置がバス１０７を介して接続されている。ハードディスク１０４、マウス１２０、キーボード１３０、プリンタ１４０、表示装置１５０が外部周辺装置としてＰＣ１００に接続され、ＰＣ内部においては、ＲＡＭ１０２、ＲＯＭ１０３、アクセラレータ１０５、ハードディスク１０４が備えられている。更に、不図示のインタフェースにより接続されたネットワーク４００を介して外部の画像生成装置２００、ファイルサーバ３００と画像データを送受信することができる。

以上の構成において、図１における画像生成部１は、画像生成装置２００に対応付けることができる。画像生成装置２００は、被写体（不図示）を表すディジタル画像信号を生成して出力するものである。このような装置としては、医用画像を生成出力するものであれば良く、例えばＦＯＤ(Flat Panel Detector)装置やＣＲ(Computed Radiography)装置、ＣＴ(Computed Tomography)装置などのＸ線撮像装置、あるいはＭＲＩ(Magnetic Resonance Imaging)装置、ＵＳ(Ultra Sonic)エコー装置などであっても良い。また、画像生成部１は、必ずしも上述の撮影装置に限定する必要はなく、図２において不図示の撮像装置で生成された画像を保存しているファイルサーバ３００としても良い。

次に、画像記憶部２には、図２においてコンピュータ１００のハードディスク１０４またはネットワーク４００を介して接続されたファイルサーバ３００を用いることができる。更にこれに限定することなく、画像生成装置２００が内蔵するハードディスクＨＤなどの記憶装置であっても良い。

−画像処理方法−
次に、本発明による画像処理方法の全体の動作フローを、図３に示すフローチャートを用い、各部の動作の詳細と共に説明する。なお以降では、図２におけるＣＰＵ１０１が全体の処理動作を制御し、各部は必要な動作を行うためのプログラムモジュールをＣＰＵ１０１が実行して実現することを前提として説明するが、本発明はこれに限定されることなく前述したように様々な形態を取ることができる。

ステップＳ１００：
ユーザ入力により、表示制御部６は、画像生成部１により生成されて画像記憶部２に保存された、読影対象となる患者の画像に付帯した患者情報を読み出し、画像表示部７に表示する。本実施形態において患者情報は図４に示すように、ある特定の患者が撮影された日時及び撮影種別（部位、視線方向）がリスト表示される。ここで、患者情報は画像記憶部２に保存された画像データに付随していても良いし、画像データとは別に管理されるデータベース等から読み出すようにしても良い。図４において、Ｃはマウスカーソル、Ｂ１及びＢ２は経時差分画像生成に必要な、少なくとも１組の画像を指定するために画面上に表示され、マウスカーソルＣを重ねて押下（クリック）することにより動作可能なボタンである。

ステップＳ１１０：
ユーザは、まず基準画像ボタンＢ１を押下し、基準画像を選ぶモードを選択して、ボタンＢ１の上部に表示されたリストから基準画像となる画像に対応する行を選択する。選択するには、選択したい行の上にマウスカーソルＣを移動してクリックするようにすれば良い。このとき、画像指定部５は当該選択された画像を基準画像として指定する。図４（ａ）はこの時の状態を図示したものであり、表示されたリスト内で最も下の行、即ち最新の画像が基準画像として選択された状態を示しており、選択された行の左端には基準画像として選択されたことを示すマーク"Ｓ"が表示されている。ここで、基準画像は表示されたリストの中から同時に２つ以上を選択することはできないようになっており、２つ目の行を選択しようとした場合は、前に選択された行は自動的に非選択となる。

ステップＳ１２０：
次に、ユーザは、比較画像ボタンＢ２を押下し、比較画像を選ぶモードを選択して１つ以上の比較画像を基準画像と同じような操作により選択する。このとき、画像指定部５は当該選択された画像を比較画像として指定する。比較画像として選択された画像に対応する行の左端には、比較画像として選択されたことを表すマーク"Ｒ"が表示される。基準画像は１つのみ選択可能であったが、比較画像は複数選択することが可能であり、図４（ｂ）においては、２行目〜４行目に相当する３つの画像が比較画像として選択されている。

ステップＳ１３０：
画像比較部３は、選択された基準画像及び比較画像のそれぞれの組み合わせについて、その撮影日時を比較し、後述する差分処理における差分の順序を決定し、差分処理部４に出力する。撮影日時の取得は、選択された画像データに付帯した情報に基づいても良いし、前述したように画像データとは別に保管されるデータベースの情報に基づいても良い。

ここで決定される差分の順序は、対象となる一対の画像の撮影日時に基づいて、撮影日時がより過去の画像から撮影日時がより最近の画像を減算するか、逆に撮影日時がより最近の画像から撮影日時がより過去の画像を減算するかを設定し、画像比較部３において記憶されている。
本実施形態では、撮影日時がより過去の画像から撮影日時がより最近の画像を減算するように設定されているものとするが、本発明はこれに限定されずその逆であっても良い。

本実施形態のように、基準画像の撮影日時と比較画像の撮影日時とを比較して、基準画像の撮影日時の方がより最近である場合、画像比較部３により決定される差分の順序は図 ６（ａ）のようになる。即ち、基準画像をＳ、比較画像をＲ１〜Ｒ３とした場合、生成される差分画像ＴＳ１〜ＴＳ３は、
ＴＳ１＝Ｒ１−Ｓ （式１）
ＴＳ２＝Ｒ２−Ｓ （式２）
ＴＳ３＝Ｒ３−Ｓ （式３）
となるように差分処理部４が動作する。

ステップＳ１４０：
差分処理部４は、１対の基準画像及び比較画像を画像記憶部２から読み込み、図１５に示した処理過程により差分画像を生成出力する。ここで、基準画像と比較画像との位置を合わせるように比較画像を変形させる位置合わせ処理を実行する。このとき、基準画像は変形させずに比較画像を変形させる。そして、基準画像と変形した比較画像との間で差分演算処理を行う。差分演算の順序は、上述の式１〜式３及び図６（ａ）に示すように、変形した各比較画像から基準画像を減算する。即ち、撮影日時の古い画像から撮影日時の新しい画像を減算して差分画像を生成する。

ステップＳ１５０：
差分処理は一対の画像毎に行われるため、図４で示したように、３つの比較画像がある場合は、１つの処理が終わるごとに最終ペアか否かのチェックが行われ、最終ペアと判定された場合には次のステップに、そうでない場合は前のステップ、ここではステップＳ１３０に戻って処理が繰り返し行われる。

ステップＳ１６０：
上述したように生成された３つの差分画像は、表示制御部６により画像表示部７に出力され、診断が行われる。

（変形例１）
以上、第１の実施形態では、基準画像の撮影日時が比較画像の撮影日時よりもより最近の場合について説明したが、これとは逆に基準画像の撮影日時が比較画像の撮影日時よりもより過去に撮影された場合について以下の変形例１で説明する。この変形例１では、第１の実施形態と同様に図３に示すフローチャートを用いて説明する。

ステップＳ１１０：
図５（ａ）は、基準画像を選択した状態を図示したものであり、表示されたリスト内で最も上の行、即ち最も過去の画像が基準画像として選択された状態を示しており、選択された行の左端には基準画像として選択されたことを示すマーク"Ｓ"が表示されている。

ステップＳ１２０：
先の例と同様に、ユーザは比較画像を、マウスを操作することにより選択する。比較画像として選択された画像に対応する行の左端には、比較画像として選択されたことを表すマーク"Ｒ"が表示される。図５（ｂ）においては、３行目〜５行目に相当する３つの画像が比較画像として選択されているが、いずれも基準画像に対して時間的に後に撮影されたものである。

ステップＳ１３０：
画像比較部３は、選択された基準画像及び比較画像のそれぞれの組み合わせについて、その撮影日時を比較し、後述する差分処理における差分の順序を決定し、差分処理部４に出力する。

本例においては、比較画像が基準画像に対して新しく撮影されたものであり、画像比較部３により決定される差分の順序は図６（ｂ）のようになる。即ち、基準画像をＳ、比較画像をＲ１〜Ｒ３とした場合、生成される差分画像ＴＳ１〜ＴＳ３は、
ＴＳ１＝Ｓ−Ｒ１ （式４）
ＴＳ２＝Ｓ−Ｒ２ （式５）
ＴＳ３＝Ｓ−Ｒ３ （式６）
となるように差分処理部４が動作する。

ステップＳ１４０：
差分処理部４は、先に説明したのと同様に差分画像を生成して出力する。位置合わせ処理は基準画像は変形させずに、基準画像と一致するように比較画像を変形させる。差分演算の順序は式４〜式６及び図６（ｂ）に示したように、基準画像から変形した各比較画像を減算して差分画像を生成する。
なお、後続のステップについては先の例と同様であるので説明は省略する。

以上の処理を行うことにより、比較対象となる画像の組み合わせが複数存在する場合であっても効率的に差分画像を生成し、かつ常に差分画像における信号と実際に画像間において生じた変化との対応関係を一意に保つことが可能となる。

図７は、上述した第１の実施形態及び変形例における、画像及び経時差分の変化例を１次元の画素値データとして示す模式図である。
まず、同図（ａ）の上に図示した４つのプロットは、各画像において病巣陰影の近傍の画素値を表している。これらは図４、図６（ａ）に対応した図であり、比較画像Ｒ１からＲ３にわたり、病巣陰影が次第に小さくなり、最も新しく撮影された基準画像Ｓにおいては陰影が完全に消滅した様子を表している。ここで図６（ａ）および式１〜３に示したように差分画像ＴＳ１、ＴＳ２及びＴＳ３を生成すると、陰影変化の様子は差分画像上では変化が生じていない背景部分に対し、低い画素値を持つ差分信号として描出される。この差分信号の大きさは、病巣陰影が小さくなるに従って小さくなり、ほぼ陰影が消滅した比較画像Ｒ３と基準画像Ｓとの差分においては殆ど背景部分と同じ値となる。

一方、図５、図６（ｂ）で示した例に対しては、図７（ｂ）のように差分信号が得られる。どちらの場合も、病巣陰影は次第に小さくなり、それに対応した差分信号は変化が生じていない背景に対して低い値を持つこととなる。このような差分信号を表示する際には、例えば背景部分に対応する信号値をＣＲＴモニタ等の表示装置で表示可能な輝度レベルの中央値に対応させることが行われ、例えばグレーの領域として表示される。

例えば表示をグレースケールで行う場合、図７（ａ），（ｂ）の差分信号は、どちらも図８（ａ）に示すように陰影が減少した場合には黒い領域として、陰影が増大した場合には白い領域として描出されるため、標準画像と比較画像の時間的関係が異なる場合であっても、全く同じ対応関係を保つことが可能となる。なお、陰影の増大・減少と差分画像上の表現との対応付けは、これに限定されることなく、例えば図８（ｂ）のように表示の階調特性を反転して表示しても良い。

（変形例２）
以上、第１の実施形態では基準画像の撮影日時が比較画像の撮影日時よりもより最近の場合について、変形例１では基準画像の撮影日時が比較画像の撮影日時よりもより過去に撮影された場合について説明したが、基準画像の撮影日時の前後両方に比較画像が撮影された場合について以下の変形例２で説明する。この変形例２でも、第１の実施形態と同様に図３に示すフローチャートを用いて説明する。

ステップＳ１１０：
図９（ａ）は、基準画像を選択した状態を図示したものであり、表示されたリスト内の中間が基準画像として選択された状態を示しており、選択された行の左端には基準画像として選択されたことを示すマーク"Ｓ"が表示されている。

ステップＳ１２０：
先の例と同様に、ユーザは比較画像を、マウスを操作することにより選択する。比較画像として選択された画像に対応する行の左端には、比較画像として選択されたことを表すマーク"Ｒ"が表示される。図９（ｂ）においては、１行目〜２行目および４行目〜５行目に相当する４つの画像が比較画像として選択されており、基準画像に対して時間的に前に撮影されたものも後に撮影されたものも存在する。

ステップＳ１３０：
画像比較部３は、選択された基準画像及び比較画像のそれぞれの組み合わせについて、その撮影日時を比較し、後述する差分処理における差分の順序を決定し、差分処理部４に出力する。

第１の実施形態および上記変形例を組み合わせた差分順序は図１０（ａ）のようになる。即ち、基準画像をＳ，比較画像をＲ１〜Ｒ４とした場合、生成される差分画像ＴＳ１〜ＴＳ４は、
ＴＳ１＝Ｒ１−Ｓ （式７）
ＴＳ２＝Ｒ２−Ｓ （式８）
ＴＳ３＝Ｓ−Ｒ３ （式９）
ＴＳ４＝Ｓ−Ｒ４ （式１０）
となるように差分処理部４が動作する。

上記の処理方法では、病巣陰影が一律に減少する場合や一律に増加する場合には、問題がないように思えるが、実際には化学療法が用いられ、陰影は減少したり増加したりする場合も多い。そのような場合には、基準画像と比較画像の時間の前後関係に関わらず、基準画像から過去画像を引くほうがわかり易い。即ち、基準画像の撮影日時が比較画像の撮影時日時よりもより過去に撮影された場合には、上記変形例と同じ方向から引くが、基準画像の撮影日時が比較画像の撮影日時よりも後で撮影された場合には第１の実施形態と逆の方向の差分処理を行う。本例において、画像比較部３により決定される差分の順序は図１０（ｂ）のようになる。即ち、基準画像をＳ、比較画像をＲ１〜Ｒ４とした場合、生成される差分画像ＴＳ１〜ＴＳ４は、
ＴＳ１＝Ｓ−Ｒ１ （式１１）
ＴＳ２＝Ｓ−Ｒ２ （式１２）
ＴＳ３＝Ｓ−Ｒ３ （式１３）
ＴＳ４＝Ｓ−Ｒ３ （式１４）
となるように差分処理部４が動作する。

ステップＳ１４０：
差分処理部４は、先に説明したのと同様に差分画像を生成して出力する。位置合わせ処理は基準画像は変形させずに、基準画像と一致するように比較画像を変形させる。差分演算の順序は式１１〜式１４及び図１０（ｂ）に示したように、基準画像から変形した各比較画像を減算して差分画像を生成する。
なお、後続のステップについては先の例と同様であるので説明は省略する。

以上の処理を行うことにより、比較対象となる画像の組み合わせが複数存在する場合であっても効率的に差分画像を生成し、かつ常に差分画像における信号と実際に画像間において生じた変化との対応関係を一意に保つことが可能となる。

図１１は、上述した変形例２における、画像及び経時差分の変化例を１次元の画素値データとして示す模式図である。
まず、同図（ａ）の上に図示した５つのプロットは、各画像において病巣陰影の近傍の画素値を表している。これらは図９、図１０（ａ）に対応した図であり、比較画像Ｒ１からＲ４にわたり、病巣陰影が次第に小さくなり、最も新しく撮影された基準画像Ｓにおいては陰影が完全に消滅した様子を表している。ここで図１０（ａ）および式７〜１０に示したように差分画像ＴＳ１〜ＴＳ４を生成すると、この差分信号の大きさは、基準画像の病巣陰影の大きさに近づくに従って小さくなるが、陰影変化の様子は差分画像上では変化が生じていない背景部分に対し、すべて低い画素値を持つ差分信号として描出される。

一方、図９、図１０（ｂ）で示した例に対しては、図１１（ｂ）のように差分信号が得られる。すなわち、病巣陰影が基準画像より小さい比較画像に対しては、それに対応した差分信号は変化が生じていない背景に対して低い値を持つが、病巣陰影が基準画像より大きい比較画像に対しては、それに対応した差分信号は変化が生じていない背景に対して高い値を持つこととなる。このような差分信号を表示する際には、例えば背景部分に対応する信号値をＣＲＴモニタ等の表示装置で表示可能な輝度レベルの中央値に対応させることが行われ、例えばグレーの領域として表示される。

従って、上述の変形例１および２における式４〜１４で生成される差分画像は式１〜３で生成した差分画像を白黒反転処理するだけで表示可能である。従って、すべて同一方向の差分画像を生成しておき、基準画像と比較画像の日時の前後関係によって、白黒反転処理を行っても構わない。

更に、本発明においては、差分処理過程において、時間的関係に関わりなく常に比較画像を変形して位置合わせを行うようにしているため、一連の比較画像から差分画像を生成して読影を行う際に、常に１つの基準画像における被写体の姿勢に基づいた差分画像を生成することができ、読影を行い易くすることができる。

図１２はこの様子を示した例であり、同図（ａ）は図４、（ｂ）は図５に対応している。
図１２は前述した差分画像処理をさらに詳しく図示したものであり、各比較画像Ｒ１〜Ｒ３に対して基準画像Ｓに対して位置合わせがされた変形画像Ｒ１ｗ〜Ｒ３ｗが生成される。これらの変形画像は、差分処理部４内部で一時的に生成され、直接差分処理に用いられる。

図１２において、各変形画像は基準画像Ｓに対して位置合わせがされたものであるため、各撮影画像において被写体の姿勢が異なっていた場合でも、変形画像における被写体の姿勢は基準画像Ｓに合致したものとなる。
すなわち、(ａ)においては、基準画像Ｓに対して各比較画像Ｒ１〜Ｒ３が位置合わせされているため、差分画像において被写体の取る姿勢は基準画像Ｓにおけるものと同一となる。一方、（ｂ）に示すように、基準画像Ｓが最も前に撮影されている場合でも、各差分画像における被写体の姿勢は、基準画像Ｓにおけるものと同一となる。これにより、複数の差分画像を比較する際に、着目部分間の対応が取り易く、より診断し易くなるという効果を得ることができる。

［第２の実施形態］
第１の実施形態では、基準画像及び比較画像を画面上にリスト表示して選択するようにしたが、画像そのものを表示して選択可能なようにしても良い。

図１３は、画像を縮小表示し、縮小画像をマウスで選択することで基準画像あるいは比較画像を選択するようにした例を示す模式図である。
同図では縮小表示された画像の隣に検査日時等の情報を表示しており、画像をクリックすることによって当該画像を基準画像として設定するようにしている。

また、縮小画像の配置方法はこれに限定されることなく、様々な方法を取ることができる。例えば特許文献１に開示されているように、一連の時系列画像を縦横に配置し、それを選択可能にしても良い。

更に、上述したように基準画像と比較画像の選択において、選択ボタンＢ１、Ｂ２を設けずに、マウスに付属する複数のボタンによって、選択対象となる画像を選択することも可能である。また、複数の比較画像を選択する際は、マウスとキーボード操作を組み合わせ、例えば特定のキーを押しながらマウスをクリックすることで複数の画像を選択できるようにしても良い。

［第３の実施形態］
上述した実施形態では、画像を選択するための画面を個別に設け、それを用いて基準画像及び比較画像を選択したが、本発明はこれに限定されることなく、画像診断を行う画面上においても行うことができる。

図１４は、画像表示部７における診断時の画像表示例を示したものである。
同図（ａ）において、ウィンドウＷの中に４つの画像表示領域があり、撮影時刻の新しい順に左上から右下に向かって同一患者の画像が表示される。ここで表示領域をクリックしその枠が強調表示された領域を基準画像領域とし、それ以外を比較画像とすることで画面上の表示位置に応じて画像を選択するようにしても良い。

即ち、図６（ａ）に示したように、最も新しい画像を基準画像とし、それ以前の３つの画像を比較画像とする場合は、図１４（ａ）に示すように左上の領域を基準画像領域として選択すれば良い。一方、図６（ｂ）に示したように、最も過去の画像を基準画像とした場合は、図１４（ｂ）に示すように、表示される画像中で最も過去の画像の表示領域を選択することで、この領域に表示された画像を基準画像として選択することができるようになる。

以上説明したように、本発明の実施形態によれば、経時的差分画像を複数の組み合わせにおいて生成する際に、比較読影対象となる画像の組み合わせ方法を変更しても、常に陰影変化の抽出に一貫性があり、かつ被写体の姿勢を同一に保った差分画像を効率的に生成し、経過観察における効率的な差分処理を実行可能な画像処理を実現することができる。

［本発明を適用した他の実施形態］
上述した諸実施形態による画像処理装置の主要構成である画像比較部３、差分処理部４、画像指定部５及び表示制御部６や、画像処理方法の各ステップ（例えば図３のステップＳ１１０〜Ｓ１６０）は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。

また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全て或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明に含まれる。

画像処理装置の主要構成において、各部は１つのプログラムにおける論理的な構成要素又は個別のライブラリとして実装することができる。このプログラムは、例えば図２に示したように、ハードディスクＨＤ内に保存されており、不図示のユーザ入力或いはその他の指示入力により読み出されてＲＡＭに展開され、ＣＰＵが順次実行することで前述した機能が実現される。或いは、プログラムの保存先としてＲＯＭ又はネットワークＮを介して接続されたファイルサーバＦＳを用いるようにしても良い。

更に、これらの要素の一部又は全てをハードウェアとして実現することも可能である。図２におけるアクセラレータＡＣＣはその一例であり、例えば差分処理部４又は他の機能も含めたハードウェアとしてバスＢＵＳに接続され、全体の動作の制御はＣＰＵが行うようにすることができる。

１ 画像生成部
２ 画像記憶部
３ 画像比較部
４ 差分処理部
５ 画像指定部
６ 表示制御部
７ 画像表示部

Claims (21)

1. 複数の医用画像を処理する画像処理装置であって、
   操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定する指定手段と、
   前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、
   前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、
   前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記表示制御手段は、前記複数の差分画像のうち一の差分画像に対応する比較画像の撮影日時が前記基準画像よりも前の場合には当該比較画像を変形した画像から前記基準画像を差し引きして得られる差分画像となるように前記一の差分画像を表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記複数の差分画像のうち一の差分画像に対応する比較画像の撮影日時が前記基準画像よりも後の場合には前記基準画像から当該比較画像を変形した画像を差し引きして得られる差分画像となるように当該一の差分画像を表示させることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示制御手段は、前記複数の差分画像のうち一の差分画像に対応する比較画像の撮影日時が前記基準画像よりも前の場合には前記基準画像から当該比較画像を変形した画像を差し引きして得られる差分画像となるように前記一の差分画像を表示させることを特徴とする請求項１に記載の画像処理装置。
5. 前記表示制御手段は、前記複数の差分画像のうち一の差分画像に対応する比較画像の撮影日時が前記基準画像よりも後の場合には当該比較画像を変形した画像から前記基準画像を差し引きして得られる差分画像となるように当該一の差分画像を表示させることを特徴とする請求項１又は４に記載の画像処理装置。
6. 前記処理手段は、前記撮影日時の前後関係に応じて前記基準画像から前記変形された比較画像のそれぞれを差し引くか、前記変形された比較画像のそれぞれから前記基準画像を差し引くか、のいずれかの差分処理を実行することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記表示制御手段は、前記撮影日時の前後関係に応じて白黒反転させた前記複数の差分画像を表示部に表示させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示制御手段は、前記複数の差分画像のそれぞれについて背景部分に対応する信号値を前記表示部で表示可能な輝度レベルの中央値に対応させて表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記変形手段は、前記複数の比較画像を前記基準画像に一致するように変形することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記表示制御手段は更に、前記複数の医用画像のリストを前記表示部に表示させ、
    前記指定手段は、前記操作部からの入力により前記表示部に表示された前記リストから１つの医用画像が選択されることに応じて前記基準画像または前記比較画像を指定し、
    前記指定手段は、前記操作部からの第一の入力とともに１つの医用画像が選択されたことに応じて当該選択された１つの医用画像を基準画像として指定し、第二の入力とともに１つの医用画像が選択されたかに応じて当該選択された１つの医用画像を比較画像として指定し、
    前記表示制御手段は、前記基準画像として指定された医用画像に対応する前記リストの位置に第一のマークを付し、前記比較画像として指定された医用画像に対応する前記リストの位置に第二のマークを付すことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記複数の医用画像は、撮影装置により撮影された画像であり、
    前記基準画像は前記比較画像に合わせて変形されることはないことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記処理手段は、前記複数の比較画像の夫々と前記基準画像とを差分処理して得られる画像に対して画素値の反転処理を施すことにより、前記複数の差分画像を得ることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 複数の医用画像を処理する画像処理装置であって、
    操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定する指定手段と、
    前記基準画像に合わせて変形された前記複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、
    前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段と、
    を有することを特徴とする画像処理装置。
14. 複数の医用画像を処理する画像処理装置であって、
    前記複数の医用画像から指定された複数の比較画像に対応する基準画像を、操作部に対する入力に応じて前記複数の医用画像から指定する指定手段と、
    前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、
    前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、
    前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段と、
    を有することを特徴とする画像処理装置。
15. 複数の医用画像を処理する画像処理装置であって、
    前記複数の医用画像から指定された基準画像に対応する複数の比較画像を、操作部に対する入力に応じて前記複数の医用画像から指定する指定手段と、
    前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、
    前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、
    前記処理手段により得られる前記複数の差分画像を表示部に表示させる表示制御手段と、
    を有することを特徴とする画像処理装置。
16. 複数の医用画像を処理する画像処理装置であって、
    操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定する指定手段と、
    前記基準画像に合わせて前記複数の比較画像を変形させる変形手段と、
    前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得る処理手段と、
    前記処理手段により得られる複数の差分画像を表示部に表示させる表示制御手段と、
    を有することを特徴とする画像処理システム。
17. 複数の医用画像を処理する画像処理方法であって、
    操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定するステップと、
    前記基準画像に合わせて前記複数の比較画像を変形させるステップと、
    前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、
    前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップと、
    を有することを特徴とする画像処理方法。
18. 複数の医用画像を処理する画像処理方法であって、
    前記複数の医用画像から指定された複数の比較画像に対応する基準画像を、操作部に対する入力に応じて前記複数の医用画像から指定するステップと、
    前記基準画像に合わせて前記複数の比較画像を変形させるステップと、
    前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、
    前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップと、
    を有することを特徴とする画像処理方法。
19. 複数の医用画像を処理する画像処理方法であって、
    前記複数の医用画像から指定された基準画像に対応する複数の比較画像を、操作部に対する入力に応じて前記複数の医用画像から指定するステップと、
    前記基準画像に合わせて前記複数の比較画像を変形させるステップと、
    前記変形された複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、
    前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップと、
    を有することを特徴とする画像処理方法。
20. 複数の医用画像を処理する画像処理方法であって、
    操作部に対する入力に応じて前記複数の医用画像から基準画像と複数の比較画像を指定するステップと、
    前記基準画像に合わせて変形された前記複数の比較画像のそれぞれと前記基準画像とから、前記複数の比較画像のそれぞれと前記基準画像との撮影日時の前後関係に応じた差分処理を適用することにより得られる複数の差分画像を得るステップと、
    前記複数の差分画像を得るステップにより得られる複数の差分画像を表示部に表示させるステップと、
    を有することを特徴とする画像処理方法。
21. 請求項１７乃至２０のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images