JP4684667B2 - 画像処理装置及びその方法、プログラム - Google Patents

画像処理装置及びその方法、プログラム Download PDF

Info

Publication number
JP4684667B2
JP4684667B2 JP2005021827A JP2005021827A JP4684667B2 JP 4684667 B2 JP4684667 B2 JP 4684667B2 JP 2005021827 A JP2005021827 A JP 2005021827A JP 2005021827 A JP2005021827 A JP 2005021827A JP 4684667 B2 JP4684667 B2 JP 4684667B2
Authority
JP
Japan
Prior art keywords
image
shift vector
difference
unit
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005021827A
Other languages
English (en)
Other versions
JP2006204618A (ja
JP2006204618A5 (ja
Inventor
眞 佐藤
睦凌 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005021827A priority Critical patent/JP4684667B2/ja
Priority to PCT/JP2005/010631 priority patent/WO2005120352A1/en
Priority to US11/569,526 priority patent/US8111947B2/en
Priority to EP05748448A priority patent/EP1768563A4/en
Publication of JP2006204618A publication Critical patent/JP2006204618A/ja
Publication of JP2006204618A5 publication Critical patent/JP2006204618A5/ja
Application granted granted Critical
Publication of JP4684667B2 publication Critical patent/JP4684667B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、第1画像と第2画像の差分画像を出力する画像処理装置及びその方法、プログラムに関するものである。
近年、医用画像診断の分野におけるディジタル画像の利用が進み、医用画像をディジタル化することで、従来の銀塩写真では困難であった診断形態の可能性が生まれている。
即ち、従来は、患者の経過観察などで異なる時点で撮影されたX線画像を比較する際には、そのX線画像が現像されたフィルムをシャウカステンに架けて比較読影することが一般的に行われていた。
一方、ディジタル画像を用いることで、異なる時点で撮影された2枚のディジタル画像を正常な解剖学的構造が一致するよう位置合わせして、差分処理を行うことにより、差分画像を生成して出力する。そして、この差分画像を元となった1対の画像と比較読影することにより、画像間の変化をより正確に把握することが可能となる。
このような差分画像の生成方法については、例えば、特許文献1に開示されている。この特許文献1に開示された生成方法によると、異なる時点で撮影された2枚の胸部X線画像を位置合わせし、差分画像を生成することができる。このような差分処理は、経時サブトラクション処理と呼ばれることもある。
ここで、特許文献1で実行される経時サブトラクション処理を実現する装置の概略構成について、図16を用いて説明する。
図16において、画像入力部1で入力された1対の医用ディジタル画像は、前処理部10において濃度補正処理が行われる。次に、ROIマッチング部11において、設定された複数の関心領域(ROI(Region Of Interest))毎に、相互相関係数の算出によるマッチング処理が行われて、ROI毎に1対の医用ディジタル画像(2枚の画像)のずれ量を表すシフトベクトルが計算される。
次に、多項式補間部12において、シフトベクトルが2次元のn次多項式により近似補間される。位置合わせ部5において、いずれか一方の画像に対して非線形歪みが与えられる。さらに、差分演算部6において、対応する位置の画素同士が減算されて差分信号が生成される。次に、後処理部7において、階調処理等の後処理が実行されて、出力部8に出力される。
特開平7−37074号公報
しかしながら、上述した従来技術によれば、多数のROI毎にマッチング(ROIマッチング)を行って得られたシフトベクトルを多項式近似により補間する際、その多項式の係数を最小二乗法等により決定するため、処理に時間がかかるという問題があった。
また、ROIマッチングにおいては、類似したパターンが被写体内に複数存在する場合、そのマッチングの精度には限界がある。そのため、場合によってはシフトベクトルに大きな誤差が含まれることは避けられない。そして、このような場合に、最小二乗法を用いてシフトベクトルを補間すると、誤差が他のシフトベクトルに影響を与えて全体的に位置ずれが生じ、結果として差分画像におけるノイズ成分が増加するという課題があった。
本発明は上記の課題を解決するためになされたものであり、位置ずれを比較的少なくして、かつ高速に差分画像を生成可能な画像処理装置及び方法、プログラムを提供することを目的とする。
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
第1画像と第2画像の差分画像を出力する画像処理装置であって、
前記第1画像及び前記第2画像を入力する入力手段と、
前記第1画像及び前記第2画像それぞれに対して所定サイズの複数のテンプレートを設定することにより、複数の関心領域を設定し、その関心領域毎に該第1画像及び該第2画像間のずれ量を表すシフトベクトルを計算するシフトベクトル計算手段と、
前記シフトベクトルに対して誤差成分を除去するためのフィルタ処理を実行するフィルタ手段と、
前記フィルタ手段でフィルタ処理されたシフトベクトル間の領域にシフトベクトルを補間する補間手段と、
前記補間手段で補間されたシフトベクトルに基づいて、前記第1画像及び前記第2画像を位置合わせする位置合わせ手段と、
前記位置合わせされた画像の対応する画素間で差分演算を行う差分演算手段と、
前記差分演算手段によって得られる差分画像を出力する出力手段と
を備える。
また、好ましくは、前記シフトベクトル計算手段は、相互相関法により前記関心領域の間のシフトベクトルを計算する。
また、好ましくは、前記フィルタ手段は、前記シフトベクトルに対して、加重平均処理を行った前後の差の中央絶対偏差に基づいて、該加重平均処理を所定回数行うことにより、前記フィルタ処理を実行する。
また、好ましくは、前記フィルタ手段は、前記シフトベクトルに対して、前記シフトベクトル計算手段により計算された相互相関係数に基づいて、前記加重平均処理を実行する。
また、好ましくは、前記フィルタ手段は、前記シフトベクトルに対し、所定区間単位で前記フィルタ処理を実行する。
また、好ましくは、前記補間手段は、前記フィルタ手段でフィルタ処理されたシフトベクトルに対して、スプライン補間を実行する。
また、好ましくは、前記補間手段は、所定区間単位で、前記フィルタ手段でフィルタ処理されたシフトベクトルに対して、スプライン補間を実行する。
また、好ましくは、前記シフトベクトル計算手段、前記フィルタ手段、前記補間手段及び前記位置合わせ手段による処理を所定回数繰り返すよう制御する制御手段を更に備える。
また、好ましくは、前記フィルタ手段は、前記加重平均処理に係る重み係数を算出する際、前記制御手段による繰り返し処理回数に基づいて、前記フィルタ処理の処理内容を変更する。
上記の目的を達成するための本発明による画像処理方法は以下の構成を備える。即ち、 第1画像と第2画像の差分画像を出力する画像処理方法であって、
入力手段が、前記第1画像及び前記第2画像を入力する入力工程と、
シフトベクトル計算手段が、前記第1画像及び前記第2画像それぞれに対して所定サイズの複数のテンプレートを設定することにより、複数の関心領域を設定し、その関心領域毎に該第1画像及び該第2画像間のずれ量を表すシフトベクトルを計算するシフトベクトル計算工程と、
フィルタ手段が、前記シフトベクトルに対して誤差成分を除去するためのフィルタ処理を実行するフィルタ工程と、
補間手段が、前記フィルタ工程でフィルタ処理されたシフトベクトル間の領域にシフトベクトルを補間する補間工程と、
位置合わせ手段が、前記補間工程で補間されたシフトベクトルに基づいて、前記第1画像及び前記第2画像を位置合わせする位置合わせ工程と、
差分演算手段が、前記位置合わせされた画像の対応する画素間で差分演算を行う差分演算工程と、
出力手段が、前記差分演算工程によって得られる差分画像を出力する出力工程と
を備える。
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
コンピュータを、
前記第1画像及び前記第2画像を入力する入力手段と、
前記第1画像及び前記第2画像それぞれに対して所定サイズの複数のテンプレートを設定することにより、複数の関心領域を設定し、その関心領域毎に該第1画像及び該第2画像間のずれ量を表すシフトベクトルを計算するシフトベクトル計算手段と、
前記シフトベクトルに対して誤差成分を除去するためのフィルタ処理を実行するフィルタ手段と、
前記フィルタ手段でフィルタ処理されたシフトベクトル間の領域にシフトベクトルを補間する補間手段と、
前記補間手段で補間されたシフトベクトルに基づいて、前記第1画像及び前記第2画像を位置合わせする位置合わせ手段と、
前記位置合わせされた画像の対応する画素間で差分演算を行う差分演算手段と、
前記差分演算手段によって得られる差分画像を出力する出力手段として機能させる。
本発明によれば、位置ずれを比較的少なくして、かつ高速に差分画像を生成可能な画像処理装置及び方法、プログラムを提供できる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。
<実施形態1>
図1は本発明の実施形態1の画像処理装置の構成を示すブロック図である。
この画像処理装置は、各構成要素を専用のハードウェア装置として実現しても良いし、汎用コンピュータ上で動作するプログラムとして実現しても良い。後者の場合、図1における各構成要素は、プログラムのモジュールにより実現することができる。
次に、実施形態1の画像処理装置を実現可能なコンピュータシステムの一構成例について説明する。
図2は本発明の実施形態1の画像処理装置を実現可能なコンピュータシステムの一構成例を示す図である。
本発明では、実施形態1の画像処理装置として機能するコンピュータ2000は、ネットワーク1001を介して、医用X線画像を生成する画像生成装置1000やファイルサーバ1002と接続する構成を用いることができる。もちろん、コンピュータ2000単体で構成することも可能である。
コンピュータ2000は、CPU2003を含む各種周辺装置(アクセラレータ2001、ハードディスク2002、RAM2004、ROM2005、光磁気ディスク2007、マウス2008、キーボード2009、プリンタ2010、表示装置2011等)がバス2006を介して、相互に接続されている。
CPU2003は、バス2006に接続される各構成要素を制御して、実施形態1の画像処理装置を実現する。アクセラレータ2001は、各種画像処理機能を実現したり、CPU2003と協働して各種処理を実現する。ハードディスク2002は、実施形態1を実現するための各種処理に対する制御プログラム、処理対象となる画像データ等のデータを記憶する。
RAM2004は、データの作業領域や一時待避領域として機能する。ROM2005は、制御プログラムや各種パラメータ等のデータを記憶する。光磁気ディスク2007は、例えば、MOで構成され、制御プログラム、処理対象となる画像データ等のデータを記憶する。マウス2008やキーボード2009は、処理の実行指示や各種データの入力を行うための入力装置として機能し、マウス2008以外の他のポインティングデバイス(例えば、ペン等)を利用することも可能である。
プリンタ2010は、処理対象の画像等の各種データを印刷する。プリンタ2010の印刷方式としては、インクジェット方式、レーザビーム方式、熱転写方式等の各種方式を利用することが可能である。表示装置2011は、各種処理を実行するための操作画面や処理結果を表示する。表示装置2011としては、CRTやLCDを利用することが可能である。
さらに、コンピュータ2000は、インタフェース(不図示)により接続されたネットワーク1001を介して、外部の画像生成装置1000、ファイルサーバ1002との間で画像データを送受信することができる。
この構成において、本発明の画像処理装置を実現するプログラムは、例えば、ハードディスク2002、またはネットワーク1001を介した先のファイルサーバ1002に格納される。そして、マウス2008、キーボード2009等の入力装置を用いて、ユーザの指示により、コンピュータ2000内部のRAM2004にプログラムが読み込まれ、CPU2003がそのプログラムを順次実行することにより、本発明による画像処理装置を実現することができる。
以下、図1の各構成要素の動作について、図3のフローチャートを参照して詳細に説明する。
図3は本発明の実施形態1の画像処理装置が実行する処理全体を示すフローチャートである。
[ステップS100]
画像入力部1は、所定の指示入力に基づいて、差分処理の対象となる複数の画像(時系列画像)を入力し、さらに縮小処理を行って、シフトベクトル計算部2に出力する。画像入力部1が入力する入力元となる画像入力装置としては、例えば、コンピュータ2000に間接又は直接に接続されたハードディスク2002、光磁気ディスク2007等の記憶媒体または画像生成装置1000が該当する。
画像入力部1に対する時系列画像の入力指示は、画像処理装置を操作するユーザの指示、あるいは当該画像処理装置を制御する制御装置(不図示)等により行われる。
入力された画像に施す縮小処理の縮小比率としては、例えば、水平垂直方向の画素数が1/4×1/4のサイズとなるようにすると、差分画像に必要な解像度を保持しつつ処理効率を向上させる観点から好ましい。しかしながら、縮小比率は、必ずしもこの値である必要はなく、他の縮小比率によっても良い。
さらに、後述する画像処理部9に対しては、縮小処理を行わず、そのままのサイズで出力するようにしても良い。このようにすることにより、読影対象となる画像に対しては高い解像度を維持しつつ、変化を強調した差分画像と比較読影が可能となる。
また、時系列画像は、異なる時点で撮影された同一患者の画像群であるが、実施形態1においては、説明を簡略化するため、第1及び第2の1対の画像(IM1及びIM2)とする。但し、画像の数がそれ以上である場合も、その中から1対の画像を選択し、後述する処理を各組に対して適用すればよい。
図1において、第1画像IM1、第2画像IM2は画像入力部1から入力される時系列画像であり、実施形態1においては、第1画像IM1を最近に撮影された画像、第2画像IM2は第1画像IM1よりも過去に撮影された画像とする。尚、以降の説明では、これらの画像は、例えば、胸部X線正面画像とするが、必ずしもこれに限定されるものではなく、本発明は、その趣旨を変更することなく、他の種類の画像に対しても適用することが可能である。
また、第1画像IM1及び第2画像IM2は、例えば、フラットパネル検出器あるいは輝尽性蛍光体を用いるCR(Computed Radiography)等を利用したディジタルラジオグラフィシステムにより生成された画像であり、その画像データの特性は、被写体撮影時の相対X線量の対数に比例するものである。
即ち、通常、ディジタルラジオグラフィシステムにより撮影された医用画像は、読影に際して従来用いられてきた銀塩フィルムの特性に合わせ、非線形な階調変換処理が施されるが、本発明においては、この階調変換処理を行う前の画像データを用いる。
一方、第1画像IM1及び第2画像IM2は、画像処理部9に対しても出力され、画像処理部9は、上述した階調変換処理を行い、読影に最適な処理画像を生成して出力部7に出力する。画像処理部9が実行する階調変換処理としては、例えば、図4に示すような従来の銀塩フィルムと類似した変換特性を持つものでも良いし、これに加えて、ボケマスク処理等の周波数強調処理を行うものであっても良い。
尚、画像処理部9による階調変換処理を予め行い、処理後の画像を処理前の画像と関連付けて所定の記憶装置(例えば、ハードディスク2002)に記憶しておいて、第1画像IM1及び第2画像IM2が指定された時に、これらと共に読み出すような形態においても、本発明は適用が可能である。
[ステップS200]
シフトベクトル計算部2は、入力した第1画像IM1及び第2画像IM2の間の、対応する画素の位置関係を表すシフトベクトルを計算出力する。このシフトベクトル計算部2の詳細構成を図5、その詳細動作を図6のフローチャートを用いて説明する。
図5は本発明の実施形態1のシフトベクトル計算部の詳細構成を示す図であり、図6は本発明の実施形態1のシフトベクトル計算部の詳細動作を示すフローチャートである。
[ステップS201]
画像入力部1から入力された第1画像IM1及び第2画像IM2は、画像縮小部201において、各々所定のサイズに縮小される。実施形態1においては、各画像は水平、垂直方向とも1/4×1/4に縮小され、第1縮小画像IM1sと第2縮小画像IM2sが胸郭検出部202に入力される。一方、縮小されていない第1画像IM1及び第2画像IM2が第2のROI設定部205に入力される。
従って、胸郭検出部202に対しては、元の画像サイズから比較して1/16×1/16のサイズの画像が、第2のROI設定部205に対しては1/4×1/4の画像が入力されることになる。
[ステップS202]
胸郭検出部202は、第1縮小画像IM1s及び第2縮小画像IM2sを解析し、各画像に映出された被写体の共通部分を検出して、それを基準点とし、画像間の被写体のおおまかな位置ずれ量を出力する。
図7(A)は、後述する方法により、第1縮小画像IM1sにおいて検出された基準点Lm11〜Lm18、及び第2縮小画像IM2sにおいて検出された基準点Lm21〜Lm28を図示したものである。
これらの基準点は、被写体の画像が有する固有の特徴に基づいて決定され、例えば、図示した胸部正面画像では、肺尖部(Lm11、Lm15、Lm21、Lm25)、CP角(Lm14、Lm18、Lm24、Lm28)、胸郭外縁(Lm12、Lm13、Lm16、Lm17、Lm22、Lm23、Lm26、Lm27)を検出し、これらの基準点を包含する矩形領域R1及びR2が検出される。
尚、CP角とは、Costophrenic Angleの略で、日本語では、肋骨横隔膜角と呼ばれてる。具体的には、胸部正面画像で、胸郭の外側の縁と横隔膜の陰影が交わったところ(図7(A)の第1画像では、Lm14、Lm18に相当する部分)が、CP角に相当する。
実施形態1において、胸郭検出部202は、処理対象となる画像から、基準点検出用の複数の矩形領域(解析領域)を設定し、これに含まれる画像データに基づいて、上記複数の基準点を検出する。図8(A)は胸部正面画像に対して、基準点検出用の矩形領域が設定された状態を図示したものであり、以下に、各基準点の検出方法を説明する。
胸郭検出部202は、処理対象となる画像データを、垂直方向に積算したプロファイルデータPMを生成し、内部メモリ(例えば、RAM2004)に記憶する。図8(B)は、このプロファイルデータ例を図示したものであり、画素値が最も大きくなる水平方向座標Mxを、図8(A)における中心線Mの水平方向座標とする。
次に、胸郭検出部202は、中心線Mを基準として略左右対称の位置に、図8(A)に示す複数の解析領域Rt1〜Rt8、Rr1〜Rr4、Rc1〜Rc8を設定する。尚、各領域の大きさは、対象となる被写体の平均的な大きさに基づいて、予め決定されているものとする。
次に、胸郭検出部202は、Rt1〜Rt8の各解析領域について、水平方向に積算を行ったプロファイルデータPtを生成し、内部メモリ(例えば、RAM2004)に記憶する。図8(C)は、このプロファイルデータの一例を図示したものである。図8(C)において示すytは、胸部正面画像において肺野の上縁部に対応し、胸郭検出部202はプロファイルデータPtが最初に大きな負の変化を示す位置を上縁部の垂直方向の候補位置ytとして検出する。
同様の処理を各領域に対して行い、中心線を挟んだ4つの領域Rt1〜Rt4およびRt5〜Rt8毎に2次元補間して、図7(A)に示すLm11及びLm15を決定する。また、同様の処理を第2縮小画像IM2sに対して行うことにより、図7(A)に示すLm21及びLm25を決定する。
次に、胸郭検出部202は、Rc1〜Rc8に対して解析を行い、図7(A)に示すLm14、Lm18を決定する。各領域の画像データは、水平方向に積算され、先と同様にプロファイルデータPcを生成し、内部メモリ(例えば、RAM2004)に記憶する。図8(D)は、このプロファイルデータの一例を図示したものである。図8(D)において示すycが肺野と横隔膜の境界に対応する。胸郭検出部202は、プロファイルデータPcを解析し、平均的な輝度レベルが最も大きく変化する境界としてycを決定する。この決定には、プロファイルデータPcの一次微分値を解析し、最も大きく変化する位置を検出すればよい。
同様の処理を各領域毎に行い、ycが最も大きい値を示す領域において、さらに細かく領域を設定して、ycが最も大きい点を、図7(A)に示す肺野の最下端部Lm14、Lm18とする。
尚、領域が肺野を外れた場合は、図8(D)のプロファイルデータPcが大きな変化を示さなくなる。そのため、胸郭検出部202は、予め決定された閾値と前述した一次微分値を比較し、閾値を超える微分値がない場合は当該領域に肺野と横隔膜の境界はないものとして処理から除外する。
以上の処理を、第1縮小画像IM1s及び第2縮小画像IM2sに対して行うことにより、図7(A)に示すLm14、Lm18、Lm24、Lm28が検出される。
次に、胸郭検出部202は、領域Rr1内の画像データを垂直方向に積算したプロファイルデータPrを生成し、内部メモリ(例えば、RAM2004)に記憶する。図8(E)は、このプロファイルデータの一例を図示したものである。胸郭検出部202は、領域Rr1、Rr2においては、図8(E)に示したように、プロファイルデータPrが最も左側で極値を取る座標xcをLm12及びLm13の仮の水平方向座標値に設定する。一方、領域Rr3、Rr4では最も右側で極値を取る位置をLm26、Lm27の仮の水平方向座標値に設定する。
尚、極値を取る位置を検出する際、その位置を挟むプロファイルデータの値が、予め決定された範囲でない場合、当該極値を被写体と背景との境界であるとして除外するようにすると、誤って被写体の境界を検出することを避ける上で好ましい。
さらに、胸郭検出部202は、各領域における中心点の垂直座標値をLm14、Lm18、Lm24、Lm28の仮の垂直方向座標値とする。このようにして得られた仮の基準点Lm14’、Lm18’、Lm24’、Lm28’を中心としてさらに小さい領域を設定し、同様の処理を行うことで最終的な基準点Lm14、Lm18、Lm24、Lm28を決定する。
尚、本発明は、以上説明した検出方法に限定されるものではなく、異なる方法、例えば、特開平8−335271号に開示された方法によってもよい。
ここで、特開平8−335271号に開示された方法は、画像データから1次元のプロファイルデータを複数取り出し、これを解析することにより胸郭を検出するものである。その特徴としては、部分的なプロファイルデータから得られた特徴点を肺野の全体的な形状を考慮して肺野全体を検出するものである。
[ステップS203]
胸郭検出部202は、上述した方法により検出した基準点に外接する差分処理対象領域R1及びR2を決定する。図7(A)において、第1縮小画像IM1s及び第2縮小画像IM2sに対して設定された差分処理対象領域R1及びR2が図示されている。図7(A)に示すように、各領域は、それぞれの画像で検出された基準点を含む最大の矩形領域として決定されている。胸郭検出部202は、R1の左上及び右下の座標値を第1のROI設定部203及び第2のROI設定部205に出力する。
次に、胸郭検出部202は、R1及びR2の中心座標値(xc1,yc1)及び(xc2,yc2)を計算し、第1縮小画像IM1sと第2縮小画像IM2sの間の全体的な位置ずれ量Gを、次式により計算し、第1のROI設定部203に出力する。
Figure 0004684667
また、胸郭検出部202は、図7(A)に示すR1及びR2の左上及び右下の座標から第1縮小画像IM1sと第2縮小画像IM2sに映出された被写体の倍率変化Mを、次式により計算し、第1のROI設定部203に出力する。
Figure 0004684667
[ステップS204]
第1のROI設定部203は、第1縮小画像IM1sと第2縮小画像IM2sに対して、胸郭検出部202から入力した差分対象領域R1の座標、全体的な位置ずれ量G及び倍率変化Mから複数のROIを設定する。
図7(B)は、第1縮小画像IM1s及び第2縮小画像IM2sに対して設定されるROIの内、簡略化のため左上の3つのみを図示したものである。図7(B)において、第1縮小画像IM1sに対してはサイズがWt×Ht、第2縮小画像IM2sに対してはWs×Hsの矩形ROIが設定されている。ここで、第1縮小画像IM1sに設定されたROIをテンプレートROI、第2縮小画像IM2sに設定されたROIをサーチROIと呼ぶこととする。
第1のROI設定部203は、第1縮小画像IM1sに対し、差分対象領域R1の左上に相当する位置に、最初のテンプレートROIの中心が重ね合わされるよう配置し、以降は、水平方向にΔx、垂直方向にΔyの間隔で、差分対象領域R1の全領域をカバーする範囲にテンプレートROIを設定する。
次に、第1のROI設定部203は、第1縮小画像IM1sに設定されたテンプレートROIの位置と、胸郭検出部202から入力した全体的な位置ずれ量G及び倍率変化Mに基づいて、サーチROIを設定する。即ち、対応するn番目のテンプレートROIの中心座標値を(xn t1,yn t1)、サーチROIの中心座標値を(xn s1,yn s1)とすると、n番目のサーチROIの中心座標位置は、次式で計算される。
Figure 0004684667
Figure 0004684667
ここで、NはテンプレートROI及び対応するサーチROIの個数である。この個数は、第1縮小画像IM1sの差分対象領域R1に対してテンプレートROIが設定可能な個数から決定される。
テンプレートROI及びサーチROIの大きさと、設定間隔Δx、Δyは予め決定されており、例えば、シフトベクトル計算部2の内部メモリ(例えば、RAM2004)に記憶されているものとする。これらの値は、差分対象となる被写体の種類に合わせて予め適切な値が選択されている。
例えば、対象が胸部正面画像である場合は、テンプレートROIのサイズとして20×20[mm]、サーチROIのサイズとして25×25[mm]、設定間隔として3[mm]程度に相当することが好ましい。しかしながら、本発明は、これに限定されることはなく、他の値であっても適用可能である。また、ROIの形状は、上記のような正方形である必要はなく、矩形や他の形状であっても良い。
第1のROI設定部203は、このようにして設定された各テンプレートROI及びサーチROIの位置及びサイズを、第1のマッチング部204に出力する。
[ステップS205]
第1のマッチング部204は、入力したテンプレートROIと、その各々に対応するサーチROIに含まれる第1縮小画像IM1s及び第2縮小画像IM2sのデータのマッチング処理を行い、最もマッチングの度合いが高い位置を各ROIの組毎にシフトベクトルとして計算し、出力する。
マッチング処理としては、公知の様々な方法を用いることが可能であり、公知のマッチング方法として、例えば、「画像解析ハンドブック」(東京大学出版会)に記載されている残差逐次検定法、相互相関法等を用いることができる。実施形態1においては、第1のマッチング部204及び第2のマッチング部206は、相互相関法によりシフトベクトルを計算するが、処理の詳細については、上記文献に記載されているため、説明は省略する。
図9は、各テンプレートROIとサーチROIの組毎にマッチング処理を行い、得られたシフトベクトルを第1縮小画像IM1sに重ね合わせて図示したものである。図9では、25個のシフトベクトルが示されているが、これは一例であり、実際の個数は、テンプレートROIの大きさ、設定間隔と差分対象領域の大きさに依存する。各シフトベクトルは、第1縮小画像IM1sに映出されている被写体の構造物が、対応する第2縮小画像IM2sのどの部分に対応しているかを表しており、2つの画像間における被写体の位置ずれ量を表している。
第1のマッチング部204は、シフトベクトルを第1のシフトベクトルvn 1(n=0,...,24)として、第2のROI設定部205に出力する。
[ステップS206]
第2のROI設定部205は、第1のマッチング部204から入力した第1のシフトベクトルvn 1、及び先に胸郭検出部202から入力した差分対象領域R1に基づいて、第1画像IM1及び第2画像IM2にそれぞれテンプレートROI及びサーチROIを設定する。
先の第1のROI設定において、テンプレートROI及びサーチROIは、差分対象領域の位置と大きさに基づいて設定されたが、このステップにおいては、第1のシフトベクトルvn 1に基づいて設定が行われる。
まず、第2のROI設定部205は、第1のマッチング部204から入力した差分多少領域R1の座標値及び第1のシフトベクトルvn 1の値を、先に画像縮小部201において第1画像IM1及び第2画像IM2を縮小した縮小倍率に基づき、これらの値が第1画像IM1若しくは第2画像IM2における値となるように変換する。
実施形態1において、第1縮小画像IM1s及び第2縮小画像IM2sは、第1画像IM1及び第2画像IM2を水平垂直方向に1/4にしているため、第1のシフトベクトルvn 1及び差分対象領域R1の座標値はそれぞれ4倍される。これらの変換後の値をそれぞれvn 1'、R1’とする。
次に、第2のROI設定部205は、第1のROI設定部203と同じ方法で、第1画像IM1に対してテンプレートROIを設定する。この時、差分対象領域はR1’とし、ROIのサイズ及び設定間隔は、第1のROI設定部203で設定した値に対して単純に4倍しても良いが、処理効率及び不要なマッチングによる誤差を抑制する観点からは、ROIのサイズは、第1のテンプレートROIで設定した値よりも小さくすることが好ましい。
次に、第2のROI設定部205は、第2画像IM2に対し、次式に基づいてサーチROIを設定する。即ち、対応するn番目のテンプレートROIの中心座標値を(xn t2,yn t2)、サーチROIの中心座標値を(xn s2,yn s2)、変換されたn番目の第1のシフトベクトルをvn 1'=(xn 1',yn 1')とすると、n番目のサーチROIの中心座標位置は次式で計算される。
Figure 0004684667
Figure 0004684667
第2のROI設定部205は、このようにして設定された各テンプレートROI及びサーチROIの位置及びサイズを、第2のマッチング部206に出力する。
[ステップS207]
第2のマッチング部206は、入力したテンプレートROIと、その各々に対応するサーチROIに含まれる第1画像IM1及び第2画像IM2のデータのマッチング処理を行い、最もマッチングの度合いが高い位置を各ROIの組毎に第2のシフトベクトルvn 2として計算し、フィルタ部3(図1)に出力する。尚、マッチング処理については、第1のマッチング部204と同様であるため、説明は省略する。
尚、実施形態1においては、第1のマッチング部204と第2のマッチング部206において相互相関法によりシフトベクトルを計算したが、いずれか一方を他の方法に置き換えても良い。例えば、第1のマッチング部204においては逐次残差検定法を用い、第2のマッチング部206においては相互相関法を用いるようにすれば、マッチングの精度をある程度維持しつつ、全体の処理時間を短縮することが可能となる。
次に、図3及び図10のフローチャートに従い、フィルタ部3の詳細動作について説明する。
[ステップS300]
フィルタ部3は、入力した第2のシフトベクトルvn 2に対してフィルタ処理を行い、マッチングにおいて混入した誤差成分を除去し、第3のシフトベクトルvn 3を出力する。以下に、フィルタ部3の詳細動作について、図10のフローチャートを参照しながら説明する。
図10は本発明の実施形態1のフィルタ部の詳細動作を示すフローチャートである。
[ステップS301]
フィルタ部3は、入力したシフトベクトルに対し、フィルタ処理を行うフィルタ処理区間を決定する。実施形態1においては、処理区間は画像全体とする。即ち、図9に示す例では、25個の全てのシフトベクトルを含む区間である。
[ステップS302]
フィルタ部3は、後述する処理において用いられる、個々のシフトベクトルの各成分に対する重み係数を初期化する。実施形態1においては、初期化の値として、第2のマッチング部206において、各ROIで計算された相互相関係数CCnの値を用いる。
[ステップS303]
フィルタ部3は、入力した第2のシフトベクトルvn 2=(xn 2,yn 2)の水平方向成分xn 2に対してフィルタ処理を行う。フィルタ処理の詳細は、次のステップS306からステップS310で説明する。
[ステップS306]
フィルタ部3は、水平方向成分xn 2のみを内部メモリ(例えば、RAM2004)に一時記憶する。図11は、この時のシフトベクトルの水平方向成分xn 2を図示したものである。次に、フィルタ部3は、シフトベクトル成分に対し、先に入力した相互相関係数CCnを重みとして用いて加重平均処理を行い、処理結果xn 2'を内部メモリ(例えば、RAM2004)に一時記憶する。
[ステップS307]
フィルタ部3は、加重平均処理されたシフトベクトル成分に対し、次式により、加重平均処理の結果と処理前の残差rnを計算する。
Figure 0004684667
さらに、残差の中央絶対偏差値MADを、次式により計算する。但し、median(x)はxの中央値である。
Figure 0004684667
[ステップS308]
フィルタ部3は、次式に基づいて、加重平均処理の重み係数wnを計算する。
Figure 0004684667
(式9)
ここで、κは残差の分布から予め決定された値であり、実施形態1においては、例えば、6が用いられるが、これに限定されるものではなく、他の値でも良い。
[ステップS309]
フィルタ部3は、前ステップで更新された重み係数wnを用いて、再度、加重平均処理をシフトベクトルの水平方向成分xn 2に対して行う。
[ステップS310]
フィルタ部3は、ステップS307以降の処理回数が所定回数Tを実行しているか否かを判定する。所定回数Tを実行している場合(ステップS310でYES)、次のステップへ進む。一方、所定回数Tを実行していない場合(ステップS310でNO)、ステップS307に戻る。尚、この所定回数Tの値としては、処理効率とフィルタ処理効果のバランスから決定すればよいが、2程度が好ましい。
[ステップS304]
フィルタ部3は、シフトベクトルの垂直方向成分yn 2についても、同様の処理を行う。詳細は水平方向成分と同じであるので、説明は省略する。
[ステップS305]
フィルタ部3は、上述した方法により、水平垂直の各方向成分についてフィルタ処理された第3のシフトベクトルvn 3=(xn 3,yn 3)を、スプライン補間部4に出力する。
図3の説明に戻る。
[ステップS400]
スプライン補間部4は、第3のシフトベクトルvn 3=(xn 3,yn 3)に対して、公知のキュービックスプライン補間を用いて補間処理し、補間された第4のシフトベクトルvn 4=(xn 4,yn 4)を位置合わせ部5に出力する。スプライン補間部4は、第3のシフトベクトルvn 3の水平、垂直方向の各ラインに渡り、それぞれの成分ごとにキュービックスプライン補間を適用する。
尚、キュービックスプライン補間については、例えば、「DigitalImageWarping」、G.Wolberg、IEEEComputerSocietyPress,1990等の文献に記載された方法によればよく、公知の技術であるので、詳細説明は省略する。
図12は、第3のシフトベクトルvn 3のある行の水平方向成分を補間した様子を図示したものである。図12において、Kは補間前の水平方向のシフトベクトル数、Lは補間後のシフトベクトル数である。Lの数は、後述する差分画像生成において十分な画質を実現可能な値を予め決定しておけばよく、例えば、Kに対して100倍の大きさであれば十分である。
[ステップS500]
位置合わせ部5は、スプライン補間部4から入力した第4のシフトベクトルvn 4を用いて、第2画像IM2を変形し、第1画像IM1と位置合わせがされたワープ画像IM3を生成して差分演算部6に出力する。
即ち、第4のシフトベクトルvn 4は、第1画像IM1及び第2画像IM2に映出された共通の構造物間の精密な位置ずれ量を表している。そのため、ワープ処理後の第2画像IM3の各画素の位置に対して第4のシフトベクトルvn 4を逆に適用することにより、第1画像の対応する位置を算出し、内挿補間処理により、リサンプリングを行って画素値を決定すればよい。
この方法の詳細については、上記文献に記載されているため詳細説明は省略するが、リサンプリング時の内挿補間方法としては、例えば、3次内挿補間等によることが差分画像の画質上好ましい。
[ステップS600]
差分演算部6は、入力した第1画像IM1と変形された第2画像IM3の各画素同士を減算し、差分画像IMSを生成して、後処理部7に出力する。
[ステップS700]
後処理部7は、入力した差分画像IMSに対して階調変換処理を行い、画素値を表示に適した画素範囲に変換した差分画像IMS’を生成して出力部8に出力する。この階調変換は、差分処理前後の画像の精度によって決定すればよい。
例えば、差分演算前の画像の画素値精度が符号なしの12ビットであった場合、差分処理により符号付の13ビットの範囲を持つ差分画像が生成される。ここで、出力部8の表示可能な画素値の範囲が符号なしの8ビットである場合は、13ビットの範囲を8ビットに線形に変換すればよい。これにより、X線画像に対応する被写体に対するX線照射量に対して線形階調特性を有する画像が、出力部8より出力されることになる。
または、差分画像のヒストグラムを算出し、その最頻値に相当する画素値を中心として所定の範囲を出力の8ビットに線形に変換しても良い。尚、入力範囲と出力範囲の変換関数は、必ずしも線形である必要はなく、例えば、図4に示すようなものであってもよい。
[ステップS800]
出力部8は、入力した階調変換後の差分画像IMS’を、その元となる第1画像IM1、第2画像IM2に対して読影に適した階調補正を施された画像と共に、読影に適した形態(例えば、第1画像IM1、第2画像IM2及び差分画像IMS’の対比表示)で表示する。
この出力部8は、例えば、表示デバイスであり、このような表示デバイスとしては、例えば、CRTモニタ、液晶ディスプレイ等が適している。または、電子的な表示装置に限らず、画像をハードコピー出力するレーザイメージャ等の画像出力装置であってもよい。
さらに、本発明において、出力部8は表示デバイスである必要はなく、コンピュータに付属したハードディスクやネットワーク入出力装置であっても構わない。
以上説明したように、実施形態1によれば、フィルタ部3において、入力した第1画像IM1及び第2画像IM2の間の対応する画素の位置関係を表すシフトベクトルを、外れ値の影響を受けにくい中央値(シフトベクトルに対して加重平均処理を行った前後の差の中央絶対偏差)に基づいて決定した重み係数によりフィルタ処理を実行し、スプライン補間によりシフトベクトルを補間して位置合わせを行う。
これにより、後段のスプライン補間において、マッチングによる誤差の影響を抑制し、一部の外れ値に影響を受けにくい高精度の位置合わせを実現することができる。
以上により、処理の効率化を達成しつつ、位置合わせ精度を確保して高画質の差分画像を生成することができる。
<実施形態2>
実施形態1においては、第2画像IM2を1度だけ変形したが、本発明は、これに限定されず、実施形態2で説明するように複数回変形するようにして、その回数に応じてシフトベクトルのフィルタ処理の処理内容を変更しても良い。
図13は本発明の実施形態2の画像処理装置が実行する処理全体を示すフローチャートである。
尚、実施形態2では、画像処理装置全体の構成は図1と同様であるが、制御部(不図示)が処理全体を制御することになる。
実施形態2では、実施形態1の図3のフローチャートに対して、ステップS900を追加している。そして、制御部(不図示)は、ステップS900で、ステップS500のワープ処理を所定回数実行したか否かを判定する。所定回数実行していない場合(ステップS900でNO)、ステップS200に戻る。一方、所定回数実行している場合(ステップS900でYES)、ステップS600に進む。
また、実施形態2では、2回目以降の実行で、ステップS200の詳細動作である図5において、ステップS201からステップS205の処理は省略し、ステップS206の第2のROI設定において、前回実行した第3のシフトベクトルvn 3=(xn 3,yn 3)を用い、次式によりROIを設定する。
Figure 0004684667
Figure 0004684667
尚、この場合は、先に説明したように、シフトベクトルの大きさを画像の縮小サイズに応じて変更しないのは言うまでも無い。
更に、実施形態2においては、ステップS300のフィルタ処理において、フィルタ部3は、次式に基づいてフィルタ処理の重み係数を計算する。
Figure 0004684667
但し、iは当該処理におけるワープの回数である。即ち、中央絶対偏差MADに対する係数κを繰り返し処理回数に応じて変化させる。変化の方法としては、繰り返し処理回数が増えるに従い、係数κの値が小さくなるようにすると良い。
例えば、1回目の繰り返しにおいては、実施形態1と同様に6を、2回目以降は4、2のように小さく設定することにより、より重み係数を計算する際の外れ値に対する許容差を小さく取ることとなる。
通常、ワープを繰り返すに従って、位置合わせ対象となる2枚の画像間の位置ずれ量は小さくなるため、それに伴いフィルタ処理における外れ値の許容度を小さく設定することで、より効果的なフィルタ処理を実行することができる。
以上説明したように、実施形態2によれば、実施形態1で説明した効果に加えて、実施形態1に比べて、より効果的なフィルタ処理を実行することができる。
<実施形態3>
実施形態1や2では、フィルタ部3は、画像全体に渡るシフトベクトルに対して、式9により重み係数を計算したが、画像の部分ごとに重み係数を計算してフィルタ処理をかけるようにしてもよい。
実施形態3において、画像入力部1は、第1画像IM1及び第2画像IM2を解析して複数の部分領域を決定し、その位置情報をフィルタ部3に出力する。図14はその一例であり、A1〜A6は被写体の構造に応じて、次の領域に略対応する矩形領域である。
A1、A2:非被写体部分
A3、A4:肺野部分
A5:縦隔部分
A6:腹腔部分
フィルタ部3は、領域A1、A2を除く各領域に応じて式9のκの値を変更して重み付け係数を計算する。例えば、A3、A4の肺野領域に対しては6を、A5、A6の縦隔及び腹腔領域に対しては4を設定する。
A5、A6の縦隔及び腹腔領域においては、元々画像のコントラストが低いために、相関係数自体が高い値であったとしても、シフトベクトルがばらつくことがある。従って、フィルタ部3において、これらの領域に対しては、外れ値の許容度を小さく取ることでよりシフトベクトルのノイズ成分をより強く抑制することが可能となる。
尚、フィルタ処理は、上述した被写体固有の領域で分けずに、シフトベクトルの縦方向又は横方向の1つの列に対して独立に行っても良い。
以上説明したように、実施形態3によれば、実施形態1で説明した効果に加えて、フィルタ部3によるフィルタ処理を処理対象の画像中の特徴のある部分領域毎に実行することで、より適正でかつ効果的なフィルタ処理を実行することができる。
<実施形態4>
実施形態1や2においては、画像全体に渡るシフトベクトルに対して1つのキュービックスプライン補間を行ったが、複数の領域に分割して行うようにしても良い。
領域の分割方法としては、図14に示すように、解剖学的構造に基づいた分割であっても良いし、あるいは図15に示すように、4点毎のシフトベクトル成分を用いてキュービックスプライン補間を行い、その一部を出力結果とするようにしても良い。
図15において、キュービックスプライン補間は、シフトベクトルの水平方向成分x1 2からx4 2を用いて行われ、補間の結果so2からx2 2とx3 2の間の結果が,この区間の最終結果とされる。同様の処理を、ウィンドウを1サンプル分ずらしながら行うことで、全ての区間の補間結果を生成し、出力する。尚、データの両端については、従来通りの補間結果を用いるようにすればよい。
以上説明したように、実施形態4によれば、実施形態1で説明した効果に加えて、ノイズ成分の多い画像等でシフトベクトルのばらつきが大きいような場合であっても補間結果の振動を抑制し、位置合わせの精度を確保することが可能となる。
<実施形態5>
実施形態1乃至4では、式(9)で示す加重平均処理の重み係数として相互相関係数をCCnを用いたが、異なる方法によることもできる。
実施形態5においては、シフトベクトル計算部2は、シフトベクトル計算に係るROIに含まれる画像データのテクスチャを計算し、フィルタ部3に出力する。テクスチャとしては種々のものを利用することが可能であるが、実施形態5ではROI内の画素値の変化を指標(テクスチャの複雑度)とする。即ち、実施形態5では、シフトベクトル計算部2がテンプレートROIのヒストグラムを作成し、頻度が非ゼロとなる画素値数φnをテクスチャとする。
通常、胸部正面画像において、縦隔、心臓及び横隔膜等の部位ではコントラストが低いためにテクスチャ性は低くなる。逆に、肺野及びその周辺部分に設定されたテンプレートROIのテクスチャ性は高くなる。従って、テクスチャ性の低いROIで計算されたシフトベクトルはより誤差を含む可能性が高く、シフトベクトルのフィルタ処理においては、より重み付けを低くすることが望ましい。
そこで、実施形態5においては、フィルタ処理部3は、次式に基づいて加重平均処理の重み係数wnを計算する。
Figure 0004684667
Figure 0004684667
ここで、式(14)で計算されるΦnは、正規化されたテクスチャである。
式(9)に示したように、実施形態1においては、シフトベクトル計算に用いられた相互相関係数を重み付けの尺度として用いたが、前述のようにテクスチャ性の乏しい部分であっても相互相関係数は高い値を示すため、大きな誤差を含むシフトベクトルに対して大きな重みが与えられることがある。
しかし、実施形態5によれば、重み付けの尺度として、ROI内のテクスチャ性(テクスチャの複雑度)を用いているため、縦隔や腹腔部などの情報の少ない部分に位置するシフトベクトルに対しては低い重み付けが与えられ、よりフィルタ処理の精度を向上されることができる。
尚、テクスチャとしては、前述したヒストグラムにおける頻度が非ゼロとなる画素値数に限られることはなく、他の尺度によっても良い。例えば、対象となるROI内の画像データを周波数変換し、その高周波成分の比率を用いるようにしても良いし、画素値の分散、ヒストグラムの尖度等を用いても良い。
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
本発明の実施形態1の画像処理装置の構成を示すブロック図である。 本発明の実施形態1の画像処理装置を実現可能なコンピュータシステムの一構成例を示す図である。 本発明の実施形態1の画像処理装置が実行する処理全体を示すフローチャートである。 本発明の実施形態1の階調変換特性の一例を示す図である。 本発明の実施形態1のシフトベクトル計算部の詳細構成を示す図である。 本発明の実施形態1のシフトベクトル計算部の詳細動作を示すフローチャートである。 本発明の実施形態1のROI設定を説明するための図である。 本発明の実施形態1の胸郭検出方法を説明するための図である。 本発明の実施形態1のシフトベクトルの一例を示す図である。 本発明の実施形態1のフィルタ部の詳細動作を示すフローチャートである。 本発明の実施形態1のシフトベクトル成分の一例を示す図である。 本発明の実施形態1の補間されたシフトベクトルの一例を示す図である。 本発明の実施形態2の画像処理装置が実行する処理全体を示すフローチャートである。 本発明の実施形態2の領域分割の一例を説明するための図である。 本発明の実施形態4のスプライン補間を説明するための図である。 従来の画像処理装置の構成の一例を示す図である。
符号の説明
1 画像入力部
2 シフトベクトル計算部
3 フィルタ部
4 スプライン補間部
5 位置合わせ部
6 差分演算部
7 後処理部
8 出力部
9 画像処理部
10 前処理部
11 ROIマッチング部
12 多項式補間部
201 画像縮小部
202 胸郭検出部
203 第1のROI設定部
204 第1のマッチング部
205 第2のROI設定部
206 第2のマッチング部

Claims (11)

  1. 第1画像と第2画像の差分画像を出力する画像処理装置であって、
    前記第1画像及び前記第2画像を入力する入力手段と、
    前記第1画像及び前記第2画像それぞれに対して所定サイズの複数のテンプレートを設定することにより、複数の関心領域を設定し、その関心領域毎に該第1画像及び該第2画像間のずれ量を表すシフトベクトルを計算するシフトベクトル計算手段と、
    前記シフトベクトルに対して誤差成分を除去するためのフィルタ処理を実行するフィルタ手段と、
    前記フィルタ手段でフィルタ処理されたシフトベクトル間の領域にシフトベクトルを補間する補間手段と、
    前記補間手段で補間されたシフトベクトルに基づいて、前記第1画像及び前記第2画像を位置合わせする位置合わせ手段と、
    前記位置合わせされた画像の対応する画素間で差分演算を行う差分演算手段と、
    前記差分演算手段によって得られる差分画像を出力する出力手段と
    を備えることを特徴とする画像処理装置。
  2. 前記シフトベクトル計算手段は、相互相関法により前記関心領域の間のシフトベクトルを計算する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記フィルタ手段は、前記シフトベクトルに対して、加重平均処理を行った前後の差の中央絶対偏差に基づいて、該加重平均処理を所定回数行うことにより、前記フィルタ処理を実行する
    ことを特徴とする請求項に記載の画像処理装置。
  4. 前記フィルタ手段は、前記シフトベクトルに対して、前記シフトベクトル計算手段により計算された相互相関係数に基づいて、前記加重平均処理を実行する
    ことを特徴とする請求項に記載の画像処理装置。
  5. 前記フィルタ手段は、前記シフトベクトルに対し、所定区間単位で前記フィルタ処理を実行する
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 前記補間手段は、前記フィルタ手段でフィルタ処理されたシフトベクトルに対して、スプライン補間を実行する
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 前記補間手段は、所定区間単位で、前記フィルタ手段でフィルタ処理されたシフトベクトルに対して、スプライン補間を実行する
    ことを特徴とする請求項1に記載の画像処理装置。
  8. 前記シフトベクトル計算手段、前記フィルタ手段、前記補間手段及び前記位置合わせ手段による処理を所定回数繰り返すよう制御する制御手段を更に備える
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  9. 前記フィルタ手段は、前記加重平均処理に係る重み係数を算出する際、前記制御手段による繰り返し処理回数に基づいて、前記フィルタ処理の処理内容を変更する
    ことを特徴とする請求項に記載の画像処理装置。
  10. 第1画像と第2画像の差分画像を出力する画像処理方法であって、
    入力手段が、前記第1画像及び前記第2画像を入力する入力工程と、
    シフトベクトル計算手段が、前記第1画像及び前記第2画像それぞれに対して所定サイズの複数のテンプレートを設定することにより、複数の関心領域を設定し、その関心領域毎に該第1画像及び該第2画像間のずれ量を表すシフトベクトルを計算するシフトベクトル計算工程と、
    フィルタ手段が、前記シフトベクトルに対して誤差成分を除去するためのフィルタ処理を実行するフィルタ工程と、
    補間手段が、前記フィルタ工程でフィルタ処理されたシフトベクトル間の領域にシフトベクトルを補間する補間工程と、
    位置合わせ手段が、前記補間工程で補間されたシフトベクトルに基づいて、前記第1画像及び前記第2画像を位置合わせする位置合わせ工程と、
    差分演算手段が、前記位置合わせされた画像の対応する画素間で差分演算を行う差分演算工程と、
    出力手段が、前記差分演算工程によって得られる差分画像を出力する出力工程と
    を備えることを特徴とする画像処理方法。
  11. コンピュータを、
    前記第1画像及び前記第2画像を入力する入力手段と、
    前記第1画像及び前記第2画像それぞれに対して所定サイズの複数のテンプレートを設定することにより、複数の関心領域を設定し、その関心領域毎に該第1画像及び該第2画像間のずれ量を表すシフトベクトルを計算するシフトベクトル計算手段と、
    前記シフトベクトルに対して誤差成分を除去するためのフィルタ処理を実行するフィルタ手段と、
    前記フィルタ手段でフィルタ処理されたシフトベクトル間の領域にシフトベクトルを補間する補間手段と、
    前記補間手段で補間されたシフトベクトルに基づいて、前記第1画像及び前記第2画像を位置合わせする位置合わせ手段と、
    前記位置合わせされた画像の対応する画素間で差分演算を行う差分演算手段と、
    前記差分演算手段によって得られる差分画像を出力する出力手段として機能させる
    ことを特徴とするプログラム。
JP2005021827A 2004-06-08 2005-01-28 画像処理装置及びその方法、プログラム Expired - Fee Related JP4684667B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005021827A JP4684667B2 (ja) 2005-01-28 2005-01-28 画像処理装置及びその方法、プログラム
PCT/JP2005/010631 WO2005120352A1 (en) 2004-06-08 2005-06-03 Image processing device and method which use two images
US11/569,526 US8111947B2 (en) 2004-06-08 2005-06-03 Image processing apparatus and method which match two images based on a shift vector
EP05748448A EP1768563A4 (en) 2004-06-08 2005-06-03 IMAGE PROCESSING DEVICE AND METHOD USING TWO IMAGES

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005021827A JP4684667B2 (ja) 2005-01-28 2005-01-28 画像処理装置及びその方法、プログラム

Publications (3)

Publication Number Publication Date
JP2006204618A JP2006204618A (ja) 2006-08-10
JP2006204618A5 JP2006204618A5 (ja) 2008-03-13
JP4684667B2 true JP4684667B2 (ja) 2011-05-18

Family

ID=36962056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005021827A Expired - Fee Related JP4684667B2 (ja) 2004-06-08 2005-01-28 画像処理装置及びその方法、プログラム

Country Status (1)

Country Link
JP (1) JP4684667B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5224768B2 (ja) * 2007-10-12 2013-07-03 インフォコム株式会社 胸部正面x線画像の検像方法及び検像装置
US8144958B2 (en) 2008-09-11 2012-03-27 Carl Zeiss Meditec Ag Medical systems and methods
CN102812493B (zh) * 2010-03-24 2016-05-11 皇家飞利浦电子股份有限公司 用于产生物理对象的图像的系统和方法
JP2013206431A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
CN106663321B (zh) * 2014-07-15 2021-04-06 皇家飞利浦有限公司 包括利用个性化模板图像的立体定位标准化的成像数据统计测试
JP6822091B2 (ja) * 2016-11-17 2021-01-27 富士通株式会社 画像情報出力装置、画像情報出力方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2003153877A (ja) * 2001-11-22 2003-05-27 Ge Medical Systems Global Technology Co Llc 画像診断支援システムおよび画像処理方法
US6647132B1 (en) * 1999-08-06 2003-11-11 Cognex Technology And Investment Corporation Methods and apparatuses for identifying regions of similar texture in an image
JP2004164298A (ja) * 2002-11-13 2004-06-10 Canon Inc 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359513A (en) * 1992-11-25 1994-10-25 Arch Development Corporation Method and system for detection of interval change in temporally sequential chest images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
US6647132B1 (en) * 1999-08-06 2003-11-11 Cognex Technology And Investment Corporation Methods and apparatuses for identifying regions of similar texture in an image
JP2003153877A (ja) * 2001-11-22 2003-05-27 Ge Medical Systems Global Technology Co Llc 画像診断支援システムおよび画像処理方法
JP2004164298A (ja) * 2002-11-13 2004-06-10 Canon Inc 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2006204618A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
US8111947B2 (en) Image processing apparatus and method which match two images based on a shift vector
JP4718003B2 (ja) 放射線写真におけるインターバル変化を検出する方法
JP4585456B2 (ja) ボケ変換装置
JP4517872B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4684667B2 (ja) 画像処理装置及びその方法、プログラム
US7616789B2 (en) Method and apparatus for forming images and image furnishing service system
CN100577103C (zh) 使用两个图像的图像处理设备和方法
US9824431B2 (en) Image synthesis apparatus, image synthesis method, and recording medium
JP2005317011A (ja) 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体
JP2001057677A (ja) 画像処理方法および装置並びに記録媒体
WO2021038815A1 (ja) 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体
WO2021106853A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム
JP4035216B2 (ja) 画像処理方法及び画像処理装置
JP2006221221A (ja) 複数の低解像度画像を用いた高解像度画像の生成
JP6371515B2 (ja) X線画像処理装置、x線画像処理方法、及びプログラム
JP2007075150A (ja) 画像データ処理装置および画像データ処理方法
JP2001344601A (ja) 画像処理装置及び画像処理プログラム
JP2005270635A (ja) 画像処理方法及び処理装置
JP4613317B2 (ja) 時間的に連続する2枚の胸部x線像からの経時変化検出のためのサブトラクション方法
JP2000253238A (ja) 画像処理装置及び画像処理方法
JP4687667B2 (ja) 画像処理プログラムおよび画像処理装置
JP5946197B2 (ja) 超音波診断装置
US8180124B2 (en) Registration method for projections in dual energy
JP2004139464A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4637509B2 (ja) 処理される画像の画素のコントラスト及び濃度の少なくとも1つを修正する方法とユーザーインターフエース

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4684667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees