JP4294881B2 - 画像の位置合わせ方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像の位置合わせ方法および位置合わせ装置に関し、詳細には、同一被写体についての２つの画像の位置合わせの改良に関するものである。
【０００２】
【従来の技術】
従来より、同一被写体についての２以上の画像を比較読影して、両画像間の差異を調べ、その差異に基づいて被写体の検査などを行うことが、種々の分野において行われている。
【０００３】
例えば工業製品の製造分野においては、ある製品について新品の状態の時に撮影された画像と、当該製品の耐久試験後に撮影された画像とを比較読影して、両者の差異の大きな部位に注目することにより、製品の耐久性を向上させるべき部位を検討することが行われており、また医療分野においては、ある患者の疾患部位について時系列的に撮影された複数枚の放射線画像を医師が比較読影することにより、当該疾患の進行状況や治癒状況を把握して治療方針を検討することが行われている。
【０００４】
このように２以上の画像を比較読影することが日常的に各種の分野で行われているが、その比較読影のために、これら２以上の画像を画像表示装置等に表示させる場合がある。すなわち画像を濃度信号や輝度信号に変換したうえで、画像表示装置等に表示し、またはプリンターによりフイルム等の媒体に出力するのである。
【０００５】
ここで比較読影の対象となる２以上の画像を出力する場合、それらの画像を単に並べて出力するのが一般的であるが、比較読影を行なう場合に読影者にとって最も関心があるのはこれらの画像間の差異である。しかし、上述したように例えば２つの画像を単に並べてこの差異を発見するのは、その差異が小さい程困難であり、比較読影の性能向上が求められている。
【０００６】
そこで一般的には、比較読影の対象とされる２以上の画像間で画素を対応させた減算処理をはじめとした画像間演算を行なって、上記差異を抽出・強調することが行われる（特願平11−342900号等）。このように画像間の差異のみが抽出・強調されることにより、読影者に対して画像間の差異を確実に視認させることができるため、進行または治癒する病変部の見落としを防止することができると考えられる。
【０００７】
ところでこの画像間演算の前提となるのは、比較対象すなわち画像間演算の対象となる２つの画像間で精度良く位置合わせがなされている必要がある。精度よく位置合わせがなされていないと、画素を対応させた画像間演算により画像中の構造物のアーティファクトが生じるからである。
【０００８】
一方、比較対象となる２つの画像は、時系列的に同時に撮影された画像だけでなく、時間的に離れた２つの時点でそれぞれ取得されたものである場合が多く、それぞれの取得時において、被写体の撮影体位のずれ、誤差等により、得られた２つの画像間には通常、位置ずれが存在する。したがって、画像間演算に先立って、これらの位置ずれを予め補正する必要がある。
【０００９】
そこで比較対象となる同一被写体についての２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小等の大局的位置合わせ（アフィン変換等の線形変換）や、局所領域ごとのテンプレートマッチングにより得られた対応位置関係に基づく非線形歪変換（例えば２次元多項式によるカーブフィッティングを用いた非線形歪み変換等）処理（ワーピング）による局所位置合わせ、またはこれら大局的位置合わせと局所位置合わせとを組み合わせて行うなどの概略位置合わせが行なわれている（特開平7-37074 号、同8-335721号等）。そしてこのような概略位置合わせ処理によれば、画像全体について、ある程度の位置合わせを実現することができる。
【００１０】
【発明が解決しようとする課題】
しかし、例えば胸部放射線画像における肋骨のように、近接する局所間に類似のテクスチャーが存在する場合等には、上述した概略位置合わせ処理では、一部の局所領域において、なお位置ずれが残る場合がある。
【００１１】
本発明は上記事情に鑑みなされたものであって、比較対象となる２つの画像の位置ずれを従来よりもさらに抑制して、精度の高い位置合わせを実現することができる画像の位置合わせ方法および装置を提供することを目的とするものである。
【００１２】
【課題を解決するための手段】
本発明の画像の位置合わせ方法および装置は、画像全体に処理を施して２つの画像の概略位置合わせを行ない、この概略位置合わせによってもなお位置ずれ程度が高い一部の局所領域を選択し、この選択された局所領域および必要に応じてその近傍領域についてのみさらに再位置合わせ処理を施すことにより、その位置ずれ程度が高かった局所領域の位置ずれ程度を低くすることができ、画像全体の位置ずれ程度を従来よりも抑制したものである。
【００１３】
すなわち本発明の画像の位置合わせ方法は、同一被写体についての２つの画像を位置合わせする画像の位置合わせ方法であって、
前記２つの画像全体に対して処理を施して該両画像の概略位置合わせを行ない、
前記概略位置合わせによって概略位置合わせがなされた後の前記２つの画像中の、位置ずれ程度が高い局所領域を選択し、
少なくとも前記選択された局所領域についてさらに、再度の位置合わせを行なうことを特徴とするものである。
【００１４】
ここで被写体には、人体等の他、動植物、工業製品、地形、天体、風景等あらゆるものが含まれる。
【００１５】
同一被写体についての２つの画像は、高度な位置合わせ精度が求められる画像間演算に供されるものを適用するのが好ましく、この画像間演算としては、特に、２つの画像をそれぞれ表す画像情報間の画素を対応させた減算処理が適用されるものが好ましい。この場合、単純な減算であってもよいし、重み付けを行なったうえでの減算であってもよい。減算処理によって得られた画像間演算画像は一般にサブトラクション画像と称され、このサブトラクション画像としては、時系列的に略同時に撮影して得られたエネルギー分布の互いに異なる２つの原画像（＝オリジナルの画像；高圧画像（通常の放射線画像）および低圧画像（高圧抑制画像））に基づいて（単純減算または荷重減算によって）得られるエネルギサブトラクション画像、時系列的に異なる時期に撮影して得られた２つの原画像に基づいて得られる経時サブトラクション画像、造影剤の注入前後にそれぞれ撮影して得られる血管の２つの原画像に基づいて得られるＤＳＡ（デジタルサブトラクション・アンギオグラフィ）画像等が含まれる。
【００１６】
なお、上記「同一被写体についての２つの画像」とは、例えば、同一被写体の同一部位を時系列的に異なる時期に撮影して得られた２つの放射線画像が挙げられるが、これに限られるものではなく、同一日時に撮影された画像中のほぼ同一の形状を有する部位（例えば、左右肺、左右乳房など）を表わす各画像部分をも含む。すなわち、２つの画像とは、互いに異なる画像に限るものではなく、同一画像中の異なる画像部分をも含むものを意味する。
【００１７】
また、上記画像としては、特に医療用放射線画像を適用するのが好ましい。
【００１８】
本発明の画像位置合わせ方法において、概略位置合わせとしては、２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小のうち少なくとも１つからなる変換処理（アフィン変換等）を施すことによる大局的位置合わせや、２つの画像のうち一方の画像に対して、多数の小領域であるテンプレート領域を設定し、他方の画像に対して、一方の画像における各テンプレート領域にそれぞれ対応する、各テンプレート領域よりも大きい領域の探索領域を設定し、各探索領域において、対応するテンプレート領域内の画像が略一致する部分領域を求め、各テンプレート領域と各部分領域との対応位置関係に基づいて、両画像のうち少なくとも一方の画像全体に対して、両画像が略一致するように非線形歪変換処理（例えば２次元多項式によるカーブフィッティングを用いた非線形歪み変換等）を施すことによる局所的位置合わせなどを適用するのが好ましい。画像全体の概略位置合わせとして、ある程度の位置ずれを解消させることができるからである。また、概略位置合わせとして、上記大局的位置合わせを行なったうえでさらに上記局所位置合わせを行なうもの（特開平7-37074 号、同8-335721号等）を適用してもよい。なお、探索領域内における部分領域は、テンプレート領域との間で例えば相互相関値が最も大きい値を示す領域や画素値差の絶対値の総和が最も小さい値を示す領域として求めればよい。
【００１９】
位置ずれ程度が高い領域の選択は、両画像間で位置ずれ程度が高い局所領域を任意に手動で設定することによって行なってもよいし、両画像の全体に亘って、位置ずれ程度の高低に拘わらずそれぞれ多数の局所領域を自動的に設定して対応する局所領域間で位置ずれ程度をそれぞれ各別に求め、その求められた位置ずれ程度に基づいて位置ずれ程度の高い局所領域を自動的に選定することによって行なってもよいが、手動で設定することによる労力を省くうえで、自動的に選定する方法を適用するのが好ましい。この場合、画像の位置ずれ程度として、対応する局所領域間でそれぞれ各画素値差の絶対値の総和値により求め、位置ずれ程度が高い局所領域の選択としては、画素値差の絶対値の総和値について閾値処理することにより行なうのが実用上好ましい。ただし、位置ずれ程度として、その他の指標値（例えば、正規化相互相関値等）を適用することを排除するものではなく、このような指標値を用いて、位置ずれ程度が高い局所領域を選択するようにしてもよい。また両画像の対応する局所領域は、両画像において同一中心、同一形状の領域（例えば矩形形状の領域）を適用すればよい。手動で位置ずれ程度が高い領域を選択する場合は、一方の画像中でその局所領域を設定すると、他方の画像中において、一方の画像中で設定した局所領域と同一位置、同一の大きさの局所領域が自動的に設定されるようにするのが好ましい。２つの画像に同一位置、同一サイズの領域を手動で正確に設定するのは一般に困難だからである。
【００２０】
「少なくとも前記選択された局所領域についてさらに再度の位置合わせを行なう」とは、その選択された局所領域を主として再位置合わせの対象とするものであるが、その局所領域だけを処理した場合、隣接する局所領域が選択されていない場合には、同一画像上の選択されて処理された局所領域と選択されずに処理されない局所領域との境界において位置ずれが生じる虞があるため、選択された局所領域だけでなく、必要に応じてその選択された局所領域の近傍領域についてもさらに再度の位置合わせを行なうようにしてもよいことを意味するものであり、選択された局所領域とともに、選択されなかった全ての局所領域も含めて、画像を一体的に再度の位置合わせに供することを意味するものではない。
【００２１】
再度の位置合わせとしては、位置ずれ程度が高い、２つの画像中の各局所領域のうち、一方の画像中の各局所領域にテンプレート領域を設定し、他方の画像中の各局所領域に探索領域を設定し、探索領域内において対応するテンプレート領域と画像の一致程度の高い部分領域を求め、各テンプレート領域および対応する前記分領域の各対応位置関係を求め、テンプレート領域および探索領域を、段階的に小さくしつつ、前記各対応位置に基づいて設定して、順次各対応位置関係を求める操作を繰り返し、最終的に求められた各対応位置関係に基づいて、概略位置合わせがなされた後の２つの画像のうち少なくとも一方の画像に対して、両画像の位置ずれ程度が高い局所領域が略一致するように、変換処理を施すことによる処理を適用するのが好ましい。テンプレート領域および探索領域を順次段階的に小さくしながら、一致程度が高くなるような対応位置関係を順次求め、この対応位置関係に基づいて位置合わせを行なうことにより、画像自体が不自然に歪むのを防止しつつ、従来よりも位置ずれを抑制し、高精度に位置ずれを解消させることができる。
【００２２】
すなわち、小さい領域（テンプレート領域および探索領域）を用いてより位置合わせ状態（一致程度）の良い対応位置を求めることにより、当該局所領域についての位置合わせ精度を高めることができる。この場合、用いる領域は小さければ小さいほど、位置合わせ精度を高めることができるので好ましいが、位置合わせ状態の良い対応位置（最適対応位置）を求めるのに、単純に小さい領域を用いた場合には、探索領域内で、本来の最適位置対応位置ではない部分領域と偶然に最高の一致程度が得られるというローカルミニマムに陥る場合があり、各局所領域ごとに求められる最適対応位置が、近接する局所領域間で全く異なる方向に移動させなければ得られない位置になる事態が生じ、局所領域中の画像部分が不自然に歪む可能性がある。そこで、最適対応位置を求めるのに、大きい領域から順次段階的に小さい領域を用いて段階的に対応位置関係を求めることにより、ローカルミニマムに陥るのを防止して、局所領域中の画像部分が不自然に歪むのを防止することができる。
【００２３】
本発明の画像の位置合わせ装置は、本発明の画像の位置合わせ方法を実施するための装置であって、同一被写体についての２つの画像を位置合わせする画像の位置合わせ装置において、
前記２つの画像全体に対して処理を施して該両画像の概略位置合わせを行なう概略位置合わせ手段と、
前記概略位置合わせによって概略位置合わせがなされた後の前記２つの画像中の、位置ずれ程度が高い局所領域を選択する領域選択手段と、
少なくとも前記領域選択手段により選択された局所領域についてさらに、再度の位置合わせを行なう再位置合わせ手段とを備えたことを特徴とするものである。
【００２４】
ここで概略位置合わせ手段としては、２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小のうち少なくとも１つからなる変換処理を施すことによる大局的位置合わせ処理を行なう大局的位置合わせ手段や、２つの画像のうち一方の画像に対して、多数の小領域であるテンプレート領域を設定し、他方の画像に対して、一方の画像における各テンプレート領域にそれぞれ対応する、該各テンプレート領域よりも大きい領域の探索領域を設定し、各探索領域において、対応するテンプレート領域内の画像が略一致する部分領域を求めるテンプレートマッチング処理手段と、テンプレートマッチング処理手段により得られた前記各テンプレート領域と前記各部分領域との対応位置関係に基づいて、両画像のうち少なくとも一方の画像全体に対して、該両画像が略一致するように非線形歪変換処理を施すことによる局所的位置合わせ処理を行う局所的位置合わせ手段など、もしくはこれら大局的位置合わせ手段と局所位置合わせ手段との両方を備えたものなどを適用するのが好ましい。
【００２５】
領域選択手段としては、両画像間で位置ずれ程度が高い局所領域を任意に手動で設定することによって位置ずれ程度が高い局所領域を選択するものであってもよいし、両画像の全体に亘って、位置ずれ程度の高低に拘わらずそれぞれ多数の局所領域を自動的に設定して対応する局所領域間で位置ずれ程度をそれぞれ各別に求め、その求められた位置ずれ程度に基づいて位置ずれ程度の高い局所領域を自動的に選定することによって位置ずれ程度が高い局所領域を選択するものであってもよいが、手動で設定することによる労力を省くうえで、自動的に選定するものを適用するのが好ましい。この場合、領域選択手段は、局所領域間の画像の位置ずれ程度を、対応する局所領域間でそれぞれ各画素値差の絶対値の総和値により求め、画素値差の絶対値の総和値について閾値処理することにより、位置ずれ程度が高い局所領域を選択するものを適用するのがさらに好ましい。
【００２６】
再位置合わせ手段としては、位置ずれ程度が高い、前記２つの画像中の各局所領域のうち、一方の画像中の各局所領域にテンプレート領域を設定し、他方の画像中の各局所領域に探索領域を設定し、前記探索領域内において対応する前記テンプレート領域と画像の一致程度の高い部分領域を求め、前記各テンプレート領域および対応する前記各部分領域の各対応位置関係を求め、前記テンプレート領域および前記探索領域を、段階的に小さくしつつ、前記各対応位置に基づいて設定して、順次各対応位置関係を求める操作を繰り返して最終的な各対応位置関係を求める段階的テンプレートマッチング処理手段と、求められた最終的な各対応位置関係に基づいて、前記概略位置合わせがなされた後の前記２つの画像のうち少なくとも一方の画像に対して、該両画像の前記位置ずれ程度が高い局所領域が略一致するように変換処理を施す部分位置合わせ手段とを備えたものを適用するのが好ましい。
【００２７】
また、上記再位置合わせ手段における段階的テンプレートマッチング処理手段を、
前記テンプレート領域および前記探索領域を段階的に小さくする際の各段階のうち少なくとも１つの段階において、さらに、前記各局所領域の周囲に複数の小領域を設定し、前記２つの画像の対応する前記小領域間の対応位置関係を求め、前記テンプレート領域および対応する前記部分領域について求められた前記対応位置関係と前記各小領域について求められた前記対応位置関係とに応じた拘束力で、前記各テンプレート領域および／または対応する前記各部分領域と前記各小領域とをそれぞれ拘束させ、
前記拘束力に応じて、前記各テンプレート領域および対応する前記各部分領域についての新たな相対的な各対応位置関係を求め、
該求められた新たな相対的な各対応位置関係を、前記各段階における、前記各テンプレート領域および対応する前記各部分領域の前記各対応位置関係とするものとしてもよい。
【００２８】
ここで、上記複数の小領域とは、各局所領域の周囲に設けることができる種々の領域を意味するものであり、例えば、局所領域を矩形とした場合には、各局所領域と略同等の大きさを有する、各局所領域の周囲を一重に取り囲む８つの矩形小領域や二重に取り囲む１６個の矩形小領域などとすることができる。
【００２９】
「各テンプレート領域および／または対応する各部分領域と各小領域とをそれぞれ拘束させる」とは、テンプレート領域および／または対応する部分領域と、その周囲に存在する複数の小領域の各々とを拘束することを意味するものである。
【００３０】
「テンプレート領域および対応する部分領域（中心領域とする）について求められた対応位置関係と、各小領域について求められた対応位置関係とに応じた拘束力で拘束させる」とは、中心領域の対応位置関係と周囲の各小領域についての対応位置関係との差やその他の演算結果により規定される拘束力で中心領域を拘束することを意味する。拘束力としては、例えば中心領域の対応位置関係と周囲の各小領域についての対応位置関係との差分を「変位量」としたときのバネ力等の弾性力や、中心領域の対応位置関係と周囲の各小領域についての対応位置関係とをそれぞれ「電荷」または「磁荷」としたときのクーロン力等の引力などを適用することができ、特に１次比例する弾性力を適用するのが、計算を高速化するうえで好ましい。
【００３１】
なお、弾性力の弾性係数は、周囲の小領域ごとに可変とするのが好ましく、例えば中心領域から各周囲の小領域までの距離に応じて変更すればよい。
【００３２】
「拘束力に応じて、各テンプレート領域および対応する各部分領域についての新たな相対的な各対応位置関係を求める」とは、例えば、中心領域と周囲の小領域とをバネによる拘束力で拘束したときに、バネによる拘束力（弾性力）により中心領域が引き戻される分の対応位置関係を、元の対応位置関係から差し引いて、新たな相対的な対応位置関係を求めること等を意味する。弾性力に代えて、クーロン力等の引力を適用した場合も同様である。
【００３３】
【発明の効果】
本発明の画像の位置合わせ方法および装置によれば、画像全体に処理を施して２つの画像の概略位置合わせを行ない、この概略位置合わせによってもなお位置ずれ程度が高い一部の局所領域だけを選択し、この選択された局所領域および必要に応じてその局所領域近傍の領域について、さらに再位置合わせ処理を施すことにより、胸部放射線画像における肋骨のように、近接する局所間に類似のテクスチャーが存在するために概略位置合わせ処理では一部の局所領域においてなお位置ずれが残る場合であっても、その位置ずれ程度が高かった局所領域の位置ずれ程度を低くすることができ、画像全体の位置ずれ程度を従来よりも抑制することができ、位置合わせ精度を向上させることができる。
【００３４】
【発明の実施の形態】
以下、本発明の画像の位置合わせ方法および装置の具体的な実施の形態について図面を用いて説明する。図１は本発明の位置合わせ方法の一実施態様の処理フローを示すフローチャート、図２は図１に示した処理フローを実施する画像位置合わせ装置の一実施態様を示す図である。また図３は、図２に示した実施形態の画像位置合わせ装置１０により位置合わせがなされる２つの画像Ｐ１，Ｐ２を示すものであり、同一患者についての、撮影時期を異にして撮影された胸部画像（放射線画像）である。なお第１画像Ｐ１は時系列的に第２画像Ｐ２よりも古い時期に撮影された画像であって、いわゆる過去画像であり、第２画像Ｐ２は第１画像Ｐ１よりも新しい現在画像である。またこれらの画像は、画像間で画素を対応させたサブトラクション処理を行なって経時サブトラクション画像を取得するための画像である。
【００３５】
これら２つの画像Ｐ１，Ｐ２を比較読影する場合、医師等の読影者は、現在画像である第２画像Ｐ２を基準にして比較する場合が多いため、本実施形態の画像位置合わせ装置においては、第２画像Ｐ２が基準となるように作用するものとして以下に説明するが、第１画像Ｐ１が基準となるように、第１画像Ｐ１と第２画像Ｐ２とを入れ替えて作用するものとしてもよい。
【００３６】
図２に示した画像位置合わせ装置１０は、同一被写体についての２つの画像Ｐ１，Ｐ２全体の概略位置合わせを行なう概略位置合わせ手段１４と、概略位置合わせによって概略位置合わせがなされた後の２つの画像Ｐ１″（概略位置合わせのために第１画像Ｐ１に処理を施して得られた画像），Ｐ２中の、位置ずれ程度が高い局所領域を選択する領域選択手段１５と、領域選択手段１５により選択された局所領域およびその近傍領域についてさらに、再度の位置合わせを行なう再位置合わせ手段１６とを備えた構成である。
【００３７】
概略位置合わせ手段１４は、両画像Ｐ１，Ｐ２のうち取得時期が古い方の第１画像Ｐ１全体に対して、回転、平行移動および拡大・縮小等のアフィン変換を施すことにより、両画像Ｐ１，Ｐ２を大局的に位置合わせ（グローバルマッチング）する大局的位置合わせ手段１１と、この大局的位置合わせがなされた後の両画像Ｐ１′（大局的位置合わせのために第１画像Ｐ１に処理（アフィン変換）を施して得られた画像），Ｐ２のうち基準となる新しい方の画像である第２画像Ｐ２に多数の矩形小領域であるテンプレート領域Ｔを設定するとともに、アフィン変換して得られた第１画像Ｐ１′に、各テンプレート領域Ｔにそれぞれ対応する、これらの各テンプレート領域Ｔよりも大きいサイズの探索領域Ｒを設定し、各探索領域Ｒにおいて対応する各テンプレート領域Ｔの画像がそれぞれ略一致する部分領域Ｔ′を求め、各テンプレート領域Ｔと各部分領域Ｔ′との対応位置関係を求めるテンプレートマッチング処理手段１２と、このテンプレートマッチング処理手段１２により得られた両領域Ｔ，Ｔ′の対応位置関係に基づいて、第１画像Ｐ１′の各部分領域Ｔ′が第２画像Ｐ２の各テンプレート領域Ｔに略合致するように、第１画像Ｐ１′全体を一体的に非線形変換（例えば２次元１０次多項式を用いたカーブフィッティングである非線形歪変換（ワーピング））して両画像Ｐ１′，Ｐ２の全体を局所的な単位で位置合わせ処理（ローカルマッチング）する局所位置合わせ手段１３とを備えた構成である。
【００３８】
領域選択手段１２は、概略位置合わせがなされた後の両画像Ｐ１″，Ｐ２のそれぞれに、図８に示すように、互いに対応する同一位置を中心とする同一形状（例えば、縦１６画素×横１６画素の矩形形状）の多数のＲＯＩ（ＲＯＩ１，ＲＯＩ１′、ＲＯＩ２，ＲＯＩ２′、ＲＯＩ３，ＲＯＩ３′、…）を設定し、対応するＲＯＩ（例えばＲＯＩ１とＲＯＩ１′、ＲＯＩ２とＲＯＩ２′など）間でそれぞれ、そのＲＯＩ内に含まれる画素（位置が対応する画素）同士の値（第２画像Ｐ２におけるＲＯＩ内の画素の画素値Ａ（ｉ，ｊ）、変換後の第１画像Ｐ１″におけるＲＯＩ′内の画素の画素値Ｂ（ｉ，ｊ））の差（＝｜Ａ（ｉ，ｊ）−Ｂ（ｉ，ｊ）｜）の総和値Ｄｓ（＝ΣΣ｜Ａ（ｉ，ｊ）−Ｂ（ｉ，ｊ）｜）を、各ＲＯＩ間の位置ずれ程度を表す指標として求め、得られた総和値Ｄｓを予め設定した閾値Ｋと比較処理し、閾値Ｋよりも総和値Ｄｓが大きい（Ｄｓ＞Ｋ）ＲＯＩを位置ずれ程度が高い局所領域として、再位置合わせ処理の対象として選択し、閾値Ｋよりも総和値Ｄｓが大きくない（Ｄｓ≦Ｋ）ＲＯＩを位置ずれ程度が低い局所領域として、再位置合わせ処理の対象としては選択しない作用をなす。
【００３９】
再位置合わせ手段１６は、図９に示すように、領域選択手段１５により選択された位置ずれ程度が高いＲＯＩについてさらに、テンプレート領域（テンプレートＲＯＩ）および探索領域（探索ＲＯＩ）を用いて、テンプレートＲＯＩと画像の一致程度の高い部分領域を求め、このテンプレート領域と部分領域とに基づいてこれらの対応位置関係（シフト量）を求め、テンプレート領域および探索領域を、段階的に小さくしつつ、前段階の各対応位置関係に基づいて設定して、順次各段階ごとの対応位置関係を求める操作を繰り返し、最終的に得られた対応位置関係（本実施形態においては、各段階での対応位置関係（シフト量）を集積した集積対応位置関係）を求める段階的テンプレートマッチング処理手段１６ａと、段階的テンプレートマッチング処理手段１６ａにより得られた最終的な対応位置関係に基づいて、概略位置合わせがなされた後の両画像Ｐ″，Ｐ２中の位置ずれ程度が高い一部の局所領域が略一致するように、第１画像Ｐ１″中の選択された局所領域およびその近傍領域に対して位置合わせのための変換処理を施す部分位置合わせ手段１６ｂとを備えた構成である。
【００４０】
段階的テンプレートマッチング処理手段１６ａは具体的には図１０の処理フローに示すように、
（１）基準となる第２画像Ｐ２には、そのＲＯＩの中心（ｘ０，ｙ０）を中心とする第１テンプレート領域（例えば、縦８０画素×横８０画素の矩形形状）ＴＲ（ＴＲ１，ＴＲ２，…）を設定し、第１画像Ｐ１″には第１テンプレート領域ＴＲと同一の中心（ｘ０，ｙ０）を有し、第１テンプレート領域ＴＲより大きい領域（例えば、縦９２画素×横９２画素の矩形形状）の第１探索領域ＲＲ（ＲＲ１，ＲＲ２，…）を設定し、互いに対応する第１テンプレート領域ＴＲおよび第１探索領域ＲＲの各組（ＴＲ１とＲＲ１の組，ＴＲ２とＲＲ２の組等）において、第１テンプレート領域ＴＲと画像の一致程度（例えば正規化相互相関値を指標とする）が高い、第１探索領域ＲＲ内の第１部分領域ｔＲを求め、各第１テンプレート領域ＴＲと各第１部分領域ｔＲとの対応位置関係である第１位置関係を求め、この第１位置関係に基づいて第１テンプレート領域ＴＲを第１部分領域ｔＲに一致させるための移動量である第１シフト量（＋Δｘ，＋Δｙ）を算出し、
（２）次にこの第１シフト量（＋Δｘ，＋Δｙ）に基づいて、第２画像Ｐ２には、元の中心（ｘ０，ｙ０）を中心とする第２テンプレート領域（例えば、縦４８画素×横４８画素の矩形形状）ＴＲ′（ＴＲ′１，ＴＲ′２，…）を設定し、第１画像Ｐ１″には、第１部分領域ｔＲの中心（ｘ０，ｙ０）から第１シフト量（＋Δｘ，＋Δｙ）だけ移動した位置（ｘ′，ｙ′）（＝（ｘ０＋Δｘ，ｙ０＋Δｙ））に中心を有し、第２テンプレート領域ＴＲ′より大きく、かつ第１探索領域ＲＲより小さい領域（例えば、縦５６画素×横５６画素の矩形形状）の第２探索領域ＲＲ′（ＲＲ′１，ＲＲ′２，…）を設定し、互いに対応する第２テンプレート領域ＴＲ′および第２探索領域ＲＲ′の各組（ＴＲ′１とＲＲ′１の組，ＴＲ′２とＲＲ′２の組等）において、第２テンプレート領域ＴＲ′と画像の一致程度（例えば画素値の差の絶対値の総和を指標とする）が高い、第２探索領域ＲＲ′内の第２部分領域ｔＲ′を求め、各第２テンプレート領域ＴＲ′と各第２部分領域ｔＲ′との対応位置関係である第２位置関係を求め、この第２位置関係に基づいて第２テンプレート領域ＴＲ′を第２部分領域ｔＲ′に一致させるための移動量である第２シフト量（＋Δｘ′，＋Δｙ′）を算出し、
（３）次に第２シフト量（＋Δｘ′，＋Δｙ′）に基づいて、第２画像Ｐ２には、元の中心（ｘ０，ｙ０）を中心とする第３テンプレート領域（例えば、縦１６画素×横１６画素の矩形形状）ＴＲ″（ＴＲ″１，ＴＲ″２，…）を設定し、第１画像Ｐ１″には、第２部分領域ｔＲ′の中心（ｘ′，ｙ′）から第２シフト量（＋Δｘ′，＋Δｙ′）だけ移動した位置（ｘ″，ｙ″）（＝（ｘ′＋Δｘ′，ｙ′＋Δｙ′）＝（ｘ０＋Δｘ＋Δｘ′，ｙ０＋Δｙ＋Δｙ′））に中心を有し、第３テンプレート領域ＴＲ″より大きく、かつ第２探索領域ＲＲ′より小さい領域（例えば、縦２０画素×横２０画素の矩形形状）の第３探索領域ＲＲ″（ＲＲ″１，ＲＲ″２，…）を設定し、互いに対応する第３テンプレート領域ＴＲ″および第３探索領域ＲＲ″の各組（ＴＲ″１とＲＲ″１の組，ＴＲ″２とＲＲ″２の組等）において、第３テンプレート領域ＴＲ″と画像の一致程度（例えば画素値の差の絶対値の総和を指標とする）が高い、第３探索領域ＲＲ″内の第３部分領域ｔＲ″を求め、各第３テンプレート領域ＴＲ″と各第３部分領域ｔＲ″との対応位置関係である第３位置関係を求め、この第３位置関係に基づいて第３テンプレート領域ＴＲ″を第３部分領域ｔＲ″に一致させるための移動量である第３シフト量（＋Δｘ″，＋Δｙ″）を算出し、
（４）各ＲＯＩ（ＲＯＩ１，ＲＯＩ２，…）の中心ごとの最終的な移動（シフト）量（＋Δｘｉ（ｉ＝１，２，…），＋Δｙｉ）（＝第１シフト量＋第２シフト量＋第３シフト量）を算出する作用をなす。
【００４１】
段階的テンプレートマッチング処理手段１６ａはさらに、上述した各ＲＯＩごとに算出された中心の移動量（＋Δｘｉ，＋Δｙｉ）に基づいて、第２画像Ｐ２中の各ＲＯＩ内の全画素の移動量を、例えば近傍４点（各ＲＯＩの中心点）の移動量を用いた補間演算（線形補間、スプライン補間、ベジェ補間等）により求める作用をなす。
【００４２】
部分位置合わせ手段１６ｂは詳しくは、段階的テンプレートマッチング処理手段１６ａにより求められた第２画像Ｐ２の各画素の移動量に基づいて、第１画像Ｐ１″のＲＯＩおよびその近傍領域に対してのみワーピング（Warping ）を施して、両画像Ｐ１″，Ｐ２の位置合わせを行なう作用をなす。なお部分位置合わせ手段１６ｂが、位置ずれ程度の高いＲＯＩ，ＲＯＩ′についてのみ、テンプレート領域および探索領域を設定する作用をなすため、位置ずれ程度の低いＲＯＩ（再位置合わせの必要がないＲＯＩ）についての、その中心の最終的な対応位置のシフト量（＋Δｘｉ，＋Δｙｉ）は一律に（０，０）と設定し、第２画像Ｐ２の全ＲＯＩの中心点のシフト量を設定し、これらに基づいて、後述する近傍４点（各ＲＯＩの中心点）のシフト量を用いた補間演算により、第２画像Ｐ２のＲＯＩおよびその近傍領域の各画素のシフト量を求めるようにすればよい。
【００４３】
次に本実施形態の位置合わせ装置１０の作用を説明する。
【００４４】
まず時系列的に取得された２つの画像Ｐ１およびＰ２（図３）が、概略位置合わせ手段１４の大局的位置合わせ手段１１に入力される。大局的位置合わせ手段１１は入力された２つの画像Ｐ１およびＰ２について、時系列的に新しい方の第２画像Ｐ２を基準として、第１画像Ｐ１にアフィン変換を施して第２画像Ｐ２に大局的に位置合わせする（図４参照）。
【００４５】
続いてテンプレートマッチング処理手段１２が、大局的に位置合わせされた両画像Ｐ１′，Ｐ２のうち第２画像Ｐ２に、多数の矩形小領域であるテンプレート領域Ｔ２を施すとともに、第１画像Ｐ１′に対して、第２画像Ｐ２の各テンプレート領域Ｔ２にそれぞれ対応する、これらの各テンプレート領域Ｔ２よりも大きい領域の探索領域Ｒ１を設定し、各探索領域Ｒ１において、第２画像Ｐ２の各テンプレート領域Ｔ２がそれぞれ略一致する部分領域Ｔ１を求め（図５参照）、第２画像Ｐ２における各テンプレート領域Ｔ２と、第１画像Ｐ１′における各部分領域Ｔ１とに基づいて、両領域Ｔ１，Ｔ２間の対応位置関係（シフト量）を算出する。
【００４６】
次いで、局所位置合わせ手段１３が、テンプレートマッチング処理手段１２により算出された対応位置関係に基づいて、第１画像Ｐ１′の各部分領域Ｔ１が第２画像Ｐ２の各テンプレート領域Ｔ２にそれぞれ略合致するように、アフィン変換された後の第１画像Ｐ１′全体に非線形歪変換処理を施して（図６参照）、両画像Ｐ１″（アフィン変換された後の第１画像Ｐ１′に非線形歪変換処理を施して得られた画像），Ｐ２の局所的な位置合わせを行なう。
【００４７】
以上の概略位置合わせ処理により、両画像Ｐ１″，Ｐ２は全体的にある程度の精度で位置合わせ（概略位置合わせ）がなされる。しかし、この概略位置合わせ処理によってもなお一部の局所領域において位置ずれが残る場合がある。
【００４８】
そこで本実施形態の画像位置合わせ装置１０は、これら概略位置合わせがなされた画像Ｐ１″，Ｐ２に対して、領域選択手段１５が、未だ位置ずれ程度が高い局所領域を選択し、その選択された一部の局所領域についてさらに再位置合わせ手段１６が再位置合わせを行なう。
【００４９】
すなわち、概略位置合わせがなされた後の両画像Ｐ１″，Ｐ２は領域選択手段１５に入力され、領域選択手段１５は、入力された両画像Ｐ１″，Ｐ２にそれぞれ図７および８に示すように、互いに対応する同一位置を中心とする同位置形状の多数のＲＯＩを設定する。つまり、第１画像Ｐ１″に対しては、ＲＯＩ１′、ＲＯＩ２′、ＲＯＩ３′、…というＲＯＩを設定し、第２画像Ｐ２に対しては、ＲＯＩ１、ＲＯＩ２、ＲＯＩ３、…というＲＯＩを設定する。そして、対応するＲＯＩ（例えばＲＯＩ１とＲＯＩ１′、ＲＯＩ２とＲＯＩ２′など）間でそれぞれ、そのＲＯＩ内に含まれる画素（位置が対応する画素）同士の値（第２画像Ｐ２におけるＲＯＩ内の画素の画素値Ａ（ｉ，ｊ）、変換後の第１画像Ｐ１″におけるＲＯＩ′内の画素の画素値Ｂ（ｉ，ｊ））の差（＝｜Ａ（ｉ，ｊ）−Ｂ（ｉ，ｊ）｜）の総和値Ｄｓ（＝ΣΣ｜Ａ（ｉ，ｊ）−Ｂ（ｉ，ｊ）｜）を、各ＲＯＩ間の位置ずれ程度を表す指標として求める。
【００５０】
さらに領域選択手段１５は、得られた総和値Ｄｓを予め設定した閾値Ｋと比較処理し、閾値Ｋよりも総和値Ｄｓが大きい（Ｄｓ＞Ｋ）ＲＯＩを位置ずれ程度が高い局所領域として、再位置合わせ処理の対象として選択し、閾値Ｋよりも総和値Ｄｓが大きくない（Ｄｓ≦Ｋ）ＲＯＩを位置ずれ程度が低い局所領域として、再位置合わせ処理の対象としては選択しない。なお、「再位置合わせ処理の対象としては選択しない」とは、以下の再位置合わせ処理のための、その局所領域の中心位置の最終的な対応位置関係（シフト量）を０（ゼロ）にすることを意味するものであり、厳密には当該中心位置以外の画素については対応位置関係（シフト量）の算出や再位置合わせ処理の変換処理の対象になり得るものである。
【００５１】
次に、段階的テンプレートマッチング処理手段１６ａが、入力された両画像Ｐ１″，Ｐ２に対して、図１０の処理フローに示すように、基準となる第２画像Ｐ２には、そのＲＯＩの中心（ｘ０，ｙ０）を中心とする第１テンプレート領域（例えば、縦８０画素×横８０画素の矩形形状）ＴＲ（ＴＲ１，ＴＲ２，…）を設定し、第１画像Ｐ１″には、第１テンプレート領域ＴＲと同一の中心（ｘ０，ｙ０）を有し、第１テンプレート領域ＴＲより大きい領域（例えば、縦９２画素×横９２画素の矩形形状）の第１探索領域ＲＲ（ＲＲ１，ＲＲ２，…）を設定し、互いに対応する第１テンプレート領域ＴＲおよび第１探索領域ＲＲの各組において、第１テンプレート領域ＴＲと画像の一致程度（例えば正規化相互相関値を指標とする）が高い、第１探索領域ＲＲ内の第１部分領域ｔＲを求める。この一致程度が高いか否かの判定は、予め設定された閾値との比較により行えばよい。そして、段階的テンプレートマッチング処理手段１６ａは、各第１テンプレート領域ＴＲと各第１部分領域ｔＲとの対応位置関係である第１位置関係を求め、この第１位置関係に基づいて第１テンプレート領域ＴＲを第１部分領域ｔＲに一致させるための移動量である第１シフト量（＋Δｘ，＋Δｙ）を算出する。
【００５２】
例えば図１１に示すように、１つの第１テンプレート領域ＴＲ２（中心（ｘ０，ｙ０）；同図（１））を対応する第１探索領域ＲＲ２（中心（ｘ０，ｙ０）；同図（２））内で探索し、最も一致程度が高い第１部分領域ｔＲ２の中心が（ｘ′，ｙ′）であるとすると、第１シフト量（＋Δｘ，＋Δｙ）は、
（＋Δｘ，＋Δｙ）＝（ｘ′−ｘ０，ｙ′−ｙ０）
となる。
【００５３】
段階的テンプレートマッチング処理手段１６ａは次に、第２画像Ｐ２には、その中心（ｘ０，ｙ０）を中心とし、第１テンプレート領域ＴＲより小さい領域である第２テンプレート領域（例えば、縦４８画素×横４８画素の矩形形状）ＴＲ′（ＴＲ′１，ＴＲ′２，…）を設定し、第１画像Ｐ１″には、第１部分領域ｔＲの中心（ｘ０，ｙ０）から第１シフト量（＋Δｘ，＋Δｙ）だけ移動した位置（ｘ′，ｙ′）（＝（ｘ０＋Δｘ，ｙ０＋Δｙ））に中心を有し、第２テンプレート領域ＴＲ′より大きく、かつ第１探索領域ＲＲより小さい領域（例えば、縦５６画素×横５６画素の矩形形状）の第２探索領域ＲＲ′（ＲＲ′１，ＲＲ′２，…）を設定し、互いに対応する第２テンプレート領域ＴＲ′および第２探索領域ＲＲ′の各組（ＴＲ′１とＲＲ′１の組，ＴＲ′２とＲＲ′２の組等）において、第２テンプレート領域ＴＲ′と画像の一致程度（例えば画素値の差の絶対値の総和を指標とする）が高い、第２探索領域ＲＲ′内の第２部分領域ｔＲ′を求める。この一致程度が高いか否かの判定も、予め設定された閾値との比較により行えばよい。そして、段階的テンプレートマッチング処理手段１６ａは、各第２テンプレート領域ＴＲ′と各第２部分領域ｔＲ′との対応位置関係である第２位置関係を求め、この第２位置関係に基づいて第２テンプレート領域ＴＲ′を第２部分領域ｔＲ′に一致させるための移動量である第２シフト量（＋Δｘ′，＋Δｙ′）を算出する。
【００５４】
例えば図１２に示すように、１つの第２テンプレート領域ＴＲ′２（中心（ｘ０，ｙ０）；同図（１））を対応する第２探索領域ＲＲ′２（中心（ｘ′，ｙ′）；同図（２））内で探索し、最も一致程度が高い第２部分領域ｔＲ′２の中心が（ｘ″，ｙ″）であるとすると、第２シフト量（＋Δｘ′，＋Δｙ′）は、

となる。
【００５５】
段階的テンプレートマッチング処理手段１６ａはさらに同様に、第２画像Ｐ２には、その中心（ｘ０，ｙ０）を中心とし、第２テンプレート領域ＴＲ′より小さい領域である第３テンプレート領域（例えば、縦１６画素×横１６画素の矩形形状）ＴＲ″（ＴＲ″１，ＴＲ″２，…）を設定し、第１画像Ｐ１″には、第２部分領域ｔＲの中心（ｘ′，ｙ′）から第２シフト量（＋Δｘ′，＋Δｙ′）だけ移動した位置（ｘ″，ｙ″）（＝（ｘ′＋Δｘ′，ｙ′＋Δｙ′））に中心を有し、第３テンプレート領域ＴＲ″より大きく、かつ第２探索領域ＲＲ′より小さい領域（例えば、縦２０画素×横２０画素の矩形形状）の第３探索領域ＲＲ″（ＲＲ″１，ＲＲ″２，…）を設定し、互いに対応する第３テンプレート領域ＴＲ″および第３探索領域ＲＲ″の各組（ＴＲ″１とＲＲ″１の組，ＴＲ″２とＲＲ″２の組等）において、第３テンプレート領域ＴＲ″と画像の一致程度（例えば画素値の差の絶対値の総和を指標とする）が高い、第３探索領域ＲＲ″内の第３部分領域ｔＲ″を求める。この一致程度が高いか否かの判定も、予め設定された閾値との比較により行えばよい。そして、段階的テンプレートマッチング処理手段１６ａは、各第３テンプレート領域ＴＲ″と各第３部分領域ｔＲ″との対応位置関係である第３位置関係を求め、この第３位置関係に基づいて第３テンプレート領域ＴＲ″を第３部分領域ｔＲ″に一致させるための移動量である第３シフト量（＋Δｘ″，＋Δｙ″）を算出する。
【００５６】
例えば、１つの第３テンプレート領域ＴＲ″２（中心（ｘ０，ｙ０））を対応する第３探索領域ＲＲ″２（中心（ｘ″，ｙ″））内で探索し、最も一致程度が高い第３部分領域ｔＲ″２の中心が（ｘ°，ｙ°）であるとすると、第３シフト量（＋Δｘ″，＋Δｙ″）は、

となる。
【００５７】
以上のように、各局所領域について段階的に小さく設定されたテンプレート領域および探索領域に基づいて、両画像Ｐ１″，Ｐ２の各局所領域ごと（ｉ＝１，２，…）の、それらの中心のシフト量（＋Δｘｉ（ｉ＝１，２，…），＋Δｙｉ）は、

となり、段階的テンプレートマッチング処理手段１６ａは、この第２画像Ｐ２についての各局所領域中心ごとの最終的なシフト量（＋Δｘｉ，＋Δｙｉ）を算出する。なお、前述したように、再位置合わせ処理の対象としては選択されなかった局所領域にの中心についてはシフト量（＋Δｘｉ，＋Δｙｉ）を（０，０）と一律に設定する。
【００５８】
さらに段階的テンプレートマッチング処理手段１６ａは、上述した各ＲＯＩごとに算出された中心のシフト量（＋Δｘｉ，＋Δｙｉ）に基づいて、第２画像Ｐ２中の各ＲＯＩ内の全画素のシフト量を、例えば近傍４点（各ＲＯＩの中心点）のシフト量を用いた線形補間により求める。なお、線形補間以外の補間演算（スプライン補間、ベジェ補間、ＮＵＲＢＳ補間（重み付けＢスプライン補間）等）を適用してもよく、また、補間演算に用いる金傍点数も４点に限られるものではなく、補間演算の種類等に合わせて適宜設定することができる（例えば、近傍１６点等）。
【００５９】
すなわち、図１３に示すように第２画像中のテンプレート領域ＴＲ１，ＴＲ２，…，ＴＲ１１，ＴＲ１２，…が並んでいる場合、テンプレート領域ＴＲ１の中心のシフト量は、上述したように（＋Δｘ１，＋Δｙ１）（＋Δｘｉにおいてｉ＝１、＋Δｙｉにおいてｉ＝１としたもの；以下、同様。）、テンプレート領域ＴＲ２の中心のシフト量は（＋Δｘ２，＋Δｙ２）、テンプレート領域ＴＲ１１の中心のシフト量は（＋Δｘ１１，＋Δｙ１１）、テンプレート領域ＴＲ１２の中心のシフト量は（＋Δｘ１２，＋Δｙ１２）であり、この４つのテンプレート領域ＴＲ１，ＴＲ２，ＴＲ１１，ＴＲ１２の４つの中心点で囲まれる範囲内に存在する各画素（ｘ，ｙ）についてのシフト量（＋Δｘ（ｘ），＋Δｙ（ｙ））は、図１４に示すように、２次元面内における線形補間演算を適用することにより、

と求められる。
【００６０】
以上のようにして段階的テンプレートマッチング処理手段１６ａにより求められた、第２画像Ｐ２中の選択されたＲＯＩ内およびその近傍領域の各画素（ｘ，ｙ）のシフト量（＋Δｘ（ｘ），＋Δｙ（ｙ））に基づいて、再位置合わせ手段１６の部分位置合わせ手段１６ｂが、第１画像Ｐ１″中の選択されたＲＯＩ内およびその近傍領域の画素に対してワーピング（Warping ）を施して、両画像Ｐ１″，Ｐ２の再位置合わせを行なう。
【００６１】
なお第１画像Ｐ１″の一部に対してワーピング施して得られた画像Ｐ°（以下、単に第１画像Ｐ°という）は、第２画像Ｐ２とは画素配列が異なるため、後に画素を対応させたサブトラクション処理がなされる場合や、表示等されることを考慮して、基準となる第２画像Ｐ２と画素配列を一致させる必要がある。そこで、部分位置合わせ手段１６ｂはさらに、図１５に示すように、第１画像Ｐ°の画素に対して２次元面内での線形補間処理を施して、下記の通りの画素値を算出する。
【００６２】

次に、本発明の画像位置合わせ装置の第２の実施形態について以下に説明する。なお、その構成および作用は上記第１の実施形態とほぼ同様であるため、上記第１の実施形態と異なる部分についてのみ説明する。また、全体構成図としては図２を採用し、図１７に本実施形態による段階的テンプレートマッチング処理手段１６ａにおける処理フローを示す。
【００６３】
本実施形態において、再位置合わせ手段１６における段階的テンプレートマッチング処理手段１６ａは、上記第１の実施形態の段階的テンプレートマッチング処理手段１６ａにおけるテンプレート領域および探索領域を小さくする各段階において各段階ごとの対応位置関係を求めた後に、バネ拘束処理を行って段階ごとにバネ拘束後対応位置関係を求め、この求められたバネ拘束後対応位置関係を各段階ごとの対応位置関係として、順次各段階ごとのバネ拘束後対応位置関係を求める操作を繰り返し、最終的な対応位置関係を求める。すなわち、本実施形態における段階的テンプレートマッチング処理手段１６ａは図１７の処理フローに示すように、
（１）基準となる第２画像Ｐ２には、そのＲＯＩの中心（ｘ０，ｙ０）を中心とする第１テンプレート領域（例えば、縦８０画素×横８０画素の矩形形状）ＴＲ（ＴＲ１，ＴＲ２，…）を設定し、第１画像Ｐ１″には第１テンプレート領域ＴＲと同一の中心（ｘ０，ｙ０）を有し、第１テンプレート領域ＴＲより大きい領域（例えば、縦９２画素×横９２画素の矩形形状）の第１探索領域ＲＲ（ＲＲ１，ＲＲ２，…）を設定し、互いに対応する第１テンプレート領域ＴＲおよび第１探索領域ＲＲの各組（ＴＲ１とＲＲ１の組，ＴＲ２とＲＲ２の組等）において、第１テンプレート領域ＴＲと画像の一致程度（例えば正規化相互相関値を指標とする）が高い、第１探索領域ＲＲ内の第１部分領域ｔＲを求め、各第１テンプレート領域ＴＲと各第１部分領域ｔＲとの対応位置関係である第１位置関係を求め、この第１位置関係に基づいて第１テンプレート領域ＴＲを第１部分領域ｔＲに一致させるための移動量である第１シフト量（＋Δｘ，＋Δｙ）を算出するとともに、第１テンプレート領域ＴＲと第１部分領域ｔＲの周囲の各小領域についても同様にシフト量を求め、これらのシフト量に基づいてバネ拘束処理を行ない第１バネ拘束後シフト量（＋ΔＸ，＋ΔＹ）を求め、
（２）次に第１バネ拘束後シフト量（＋ΔＸ，＋ΔＹ）に基づいて、第２画像Ｐ２には、元の中心（ｘ０，ｙ０）を中心とする第２テンプレート領域（例えば、縦４８画素×横４８画素の矩形形状）ＴＲ′（ＴＲ′１，ＴＲ′２，…）を設定し、第１画像Ｐ１″には、第１部分領域ｔＲの中心（ｘ０，ｙ０）から第１バネ拘束後シフト量（＋ΔＸ，＋ΔＹ）だけ移動した位置（ｘ′，ｙ′）（＝（ｘ０＋ΔＸ，ｙ０＋ΔＹ））に中心を有し、第２テンプレート領域ＴＲ′より大きく、かつ第１探索領域ＲＲより小さい領域（例えば、縦５６画素×横５６画素の矩形形状）の第２探索領域ＲＲ′（ＲＲ′１，ＲＲ′２，…）を設定し、互いに対応する第２テンプレート領域ＴＲ′および第２探索領域ＲＲ′の各組（ＴＲ′１とＲＲ′１の組，ＴＲ′２とＲＲ′２の組等）において、第２テンプレート領域ＴＲ′と画像の一致程度（例えば画素値の差の絶対値の総和を指標とする）が高い、第２探索領域ＲＲ′内の第２部分領域ｔＲ′を求め、各第２テンプレート領域ＴＲ′と各第２部分領域ｔＲ′との対応位置関係である第２位置関係を求め、この第２位置関係に基づいて第２テンプレート領域ＴＲ′を第２部分領域ｔＲ′に一致させるための移動量である第２シフト量（＋Δｘ′，＋Δｙ′）を算出するとともに、第２テンプレート領域ＴＲ′と第２部分領域ｔＲ′の周囲の各小領域についても同様にシフト量を求め、これらのシフト量に基づいてバネ拘束処理を行ない第２バネ拘束後シフト量（＋ΔＸ′，＋ΔＹ′）を求め、
（３）次に第２バネ拘束後シフト量（＋ΔＸ′，＋ΔＹ′）に基づいて、第２画像Ｐ２には、元の中心（ｘ０，ｙ０）を中心とする第３テンプレート領域（例えば、縦１６画素×横１６画素の矩形形状）ＴＲ″（ＴＲ″１，ＴＲ″２，…）を設定し、第１画像Ｐ１″には、第２部分領域ｔＲ′の中心（ｘ′，ｙ′）から第２バネ拘束後シフト量（＋ΔＸ′，＋ΔＹ′）だけ移動した位置（ｘ″，ｙ″）（＝（ｘ′＋ΔＸ′，ｙ′＋ΔＹ′）＝（ｘ０＋ΔＸ＋ΔＸ′，ｙ０＋ΔＹ＋ΔＹ′））に中心を有し、第３テンプレート領域ＴＲ″より大きく、かつ第２探索領域ＲＲ′より小さい領域（例えば、縦２０画素×横２０画素の矩形形状）の第３探索領域ＲＲ″（ＲＲ″１，ＲＲ″２，…）を設定し、互いに対応する第３テンプレート領域ＴＲ″および第３探索領域ＲＲ″の各組（ＴＲ″１とＲＲ″１の組，ＴＲ″２とＲＲ″２の組等）において、第３テンプレート領域ＴＲ″と画像の一致程度（例えば画素値の差の絶対値の総和を指標とする）が高い、第３探索領域ＲＲ″内の第３部分領域ｔＲ″を求め、各第３テンプレート領域ＴＲ″と各第３部分領域ｔＲ″との対応位置関係である第３位置関係を求め、この第３位置関係に基づいて第３テンプレート領域ＴＲ″を第３部分領域ｔＲ″に一致させるための移動量である第３シフト量（＋Δｘ″，＋Δｙ″）を算出するとともに、第３テンプレート領域ＴＲ″と第３部分領域ｔＲ″の周囲の各小領域についても同様にシフト量を求め、これらのシフト量に基づいてバネ拘束処理を行ない第３バネ拘束後シフト量（＋ΔＸ″，＋ΔＹ″）を求め、
（４）各ＲＯＩ（ＲＯＩ１，ＲＯＩ２，…）の中心ごとの最終的な移動（シフト）量（＋ΔＸｉ（ｉ＝１，２，…），＋ΔＹｉ）（＝第１シフト量＋第２シフト量＋第３シフト量）を算出する作用をなす。
【００６４】
ここで、バネ拘束処理の具体的な処理について以下に説明する。
【００６５】
図１８に示すように、位置ずれ程度が高い局所領域の中心（ｘ０，ｙ０）を中心とするテンプレートＲＯＩ（ここでは、ＴＲ１２とする）と、このテンプレートＲＯＩ（ＴＲ１２）を中心として取り囲む一重の周囲テンプレートＲＯＩ群（ここでは、ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ１１，ＴＲ１３，ＴＲ２３，ＴＲ２２，ＴＲ２１の８領域）について、各周囲テンプレートＲＯＩの各シフトベクトル（シフト量）と中心領域であるテンプレートＲＯＩ（ＴＲ１２）のシフトベクトル（シフト量）とを、仮想的なバネで拘束し、それぞれのバネの拘束力で各周囲テンプレートＲＯＩのシフトベクトル間で平衡させる。
【００６６】
具体的には、中心領域であるテンプレートＲＯＩ（ＴＲ１２）のシフトベクトルを（ｘ（２，２），ｙ（２，２））とし、周囲のテンプレートＲＯＩの各シフトベクトルを（ｘ（２＋ｋ，２＋１），ｙ（２＋ｋ，２＋１））とし、中心領域のテンプレートＲＯＩ（ＴＲ１２）のシフトベクトルと各周囲テンプレートＲＯＩのシフトベクトルとの間の各バネ定数をａ（ｋ，ｌ）とすれば、この中心領域のテンプレートＲＯＩ（ＴＲ１２）は、各バネ拘束力の平衡により、ｘ方向についてΔｘ（２，２）、ｙ方向についてΔｙ（２，２）だけシフト量が修正される。すなわち、中心領域のテンプレートＲＯＩ（ＴＲ１２）の本来のシフトベクトルは（ｘ（２，２），ｙ（２，２））であるが、周囲８個のテンプレートＲＯＩのシフトベクトル（ｘ（２＋ｋ，２＋１），ｙ（２＋ｋ，２＋１））とのバネ拘束力により、シフトベクトルの差に応じた引っ張り合いが生じ、ベクトル(Δｘ（２，２），Δｙ（２，２）)だけ修正される。そして、この修正量Δｘ（２，２），Δｙ（２，２）は以下の式により得られる。
【００６７】
【数１】

この結果、修正量による修正後のシフトベクトル（ｎｘ（２，２），ｎｙ（２，２））は下記式により算出される。
【００６８】
【数２】

以上は、テンプレートＲＯＩ（ＴＲ１２）を中心領域とした場合のテンプレートＲＯＩ（ＴＲ１２）のシフトベクトルの修正量（Δｘ（２，２），Δｙ（２，２））を表したものであるが、テンプレートＲＯＩ（ＴＲｉｊ）のシフトベクトル（ｘ（ｉ，ｊ），ｙ（ｉ，ｊ））の修正量（Δｘ（ｉ，ｊ），Δｙ（ｉ，ｊ））は下記式により与えられる。
【００６９】
【数３】

この結果、各テンプレートＲＯＩの修正量（Δｘ（ｉ，ｊ），Δｙ（ｉ，ｊ））による修正後のシフトベクトル（ｎｘ（ｉ，ｊ），ｎｙ（ｉ，ｊ））は、下記式により算出される。
【００７０】
【数４】

なお、１つの中心領域についての８つのバネのバネ定数ａ（ｋ，ｌ）の総和Σａ（ｋ，ｌ）を、１に規格化するのが好ましい。
【００７１】
また、上記では、１つの中心領域のテンプレートＲＯＩを拘束する周囲のテンプレートＲＯＩを、中心領域を一重に取り囲む８つのテンプレートＲＯＩとしたが、さらに外側の１６個のテンプレートＲＯＩまで含めて、合計２４個のテンプレートＲＯＩと拘束するようにしてもよく、一般に拘束するテンプレートＲＯＩの数をＮｃとすれば、式（５）、（６）はそれぞれ、下記式（９）、（10）と表すことができる。
【００７２】
【数５】

以上のように、各テンプレートＲＯＩのシフトベクトルを周囲のテンプレートＲＯＩのシフトベクトルとの間で、バネ拘束力による引っ張り合いをさせて平衡させることにより、シフトベクトルを平滑化させることができ、テンプレートＲＯＩのシフトベクトルが周囲のテンプレートＲＯＩのシフトベクトルに対して全く異なる方向に向いていたり、シフト量が大きくなったりするなど、突発的なものとなっても、それを抑えることができる。
【００７３】
本実施形態における段階的テンプレートマッチング処理手段１６ａは、第２画像Ｐ２についての各局所領域中心ごとの最終的なシフト量（＋ΔＸｉ，＋ΔＹｉ）をバネ拘束を用いて上述のように算出する。なお、段階的テンプレートマッチング処理手段１６ａにおける処理以外については、上記第１の実施形態と同様である。
【００７４】
なお、本実施形態では、再位置合わせ手段１６の段階的テンプレートマッチング処理手段１６ａの全段階においてバネ拘束処理を採用した例を示したが、本発明の画像位置合わせ装置はこの形態に限るものではなく、各段階のうちのいずれか１つ若しくは２つの段階においてバネ拘束処理を採用する形態でもよい。
【００７５】
以上のように、上記２つの実施形態の画像位置合わせ装置によれば、画像全体に処理を施して２つの画像Ｐ１，Ｐ２の概略位置合わせを行ない、この概略位置合わせによってもなお位置ずれ程度が高い一部の局所領域だけを選択し、この選択された局所領域およびその局所領域近傍の領域について、さらに再位置合わせ処理を施すことにより、概略位置合わせ処理では一部の局所領域においてなお位置ずれが残る場合であっても、その位置ずれ程度が高かった局所領域の位置ずれ程度を低くすることができ、画像全体の位置ずれ程度を従来よりも抑制することができ、位置合わせ精度を向上させることができる。したがってこの位置合わせ装置により高精度に位置合わせされた両画像Ｐ１°，Ｐ２を用い、これら両画像Ｐ１°，Ｐ２に対して画素を対応させた画像間演算を施して得られる画像間演算画像（例えば図１６に示すようなサブトラクション画像Ｐsu（＝Ｐ２−Ｐ１°）；符号Ｌは第２画像Ｐ２に現れた腫瘤陰影を表す）は、両画像の位置ずれによって生じるアーティファクトが極めて抑制されたものとなり、比較読影の対象として極めて有効な画像となる。
【図面の簡単な説明】
【図１】本発明の画像の位置合わせ方法の一実施態様の処理フローを示すフローチャート
【図２】図１に示した処理フローを実施する画像位置合わせ装置の一実施態様を示す図
【図３】図２に示した実施形態の画像位置合わせ装置により位置合わせされる２つの画像Ｐ１，Ｐ２を示す図
【図４】グローバルマッチングを説明する図
【図５】ローカルマッチングを説明する図
【図６】非線形歪変換処理を説明する図
【図７】再度の位置合わせの対象となる領域選択の処理の詳細を示すフローチャート
【図８】再度の位置合わせの対象となる領域選択のために設定する局所領域を示す図
【図９】再位置合わせ手段の構成を示す図
【図１０】再位置合わせ処理の詳細を示すフローチャート
【図１１】第１テンプレート領域ＴＲ２、第１探索領域ＲＲ２および第１部分領域ｔＲ２の対応関係を示す図
【図１２】第２テンプレート領域ＴＲ′２、第２探索領域ＲＲ′２および第２部分領域ｔＲ′２の対応関係を示す図
【図１３】第２画像Ｐ２中の各テンプレート領域ＴＲを示す図
【図１４】近傍４点を用いた線形補間を説明する図
【図１５】再位置合わせ後の第１画像Ｐ１°の画素に対する近傍４点を用いた２次元面内での線形補間処理を説明する図
【図１６】第１画像Ｐ１°、第２画像Ｐ２およびこれらから得られたサブトラクション画像Ｐsuを示す図
【図１７】本発明の画像の位置合わせ装置の別の実施態様における再位置合わせ処理の詳細を示すフローチャート
【図１８】各周囲テンプレートＲＯＩの各シフトベクトルと中心領域のテンプレートＲＯＩのシフトベクトルとを、仮想的なバネで拘束した概念を示す図
【符号の説明】
11 画像位置合わせ装置
11 大局的位置合わせ手段
12 テンプレートマッチング処理手段
13 局所位置合わせ手段
14 概略位置合わせ手段
15 領域選択手段
16 再位置合わせ手段
P1,P2 画像

Claims (16)

1. 同一被写体についての２つの画像を位置合わせする画像の位置合わせ方法であって、
   前記２つの画像全体の概略位置合わせを行ない、
   前記概略位置合わせによって概略位置合わせがなされた後の前記２つの画像中の、位置ずれ程度が高い局所領域を選択し、
   該位置ずれ程度が高い、前記２つの画像中の各局所領域のうち、一方の画像中の各局所領域にテンプレート領域を設定し、他方の画像中の各局所領域に探索領域を設定し、
   前記探索領域内において対応する前記テンプレート領域と画像の一致程度の高い部分領域を求め、
   前記各テンプレート領域および対応する前記各部分領域の各対応位置関係を求め、
   前記テンプレート領域および前記探索領域を、段階的に小さくしつつ、前記各対応位置に基づいて設定して、順次各対応位置関係を求める操作を繰り返し、
   該繰り返す各段階のうち少なくとも１つの段階において、さらに、前記２つの画像それぞれの前記各局所領域の周囲に複数の小領域を設定し、前記２つの画像の対応する前記小領域間の対応位置関係を求め、
   前記テンプレート領域および対応する前記部分領域について求められた前記対応位置関係と前記各小領域について求められた前記対応位置関係とに応じた拘束力で、前記各テンプレート領域および／または対応する前記各部分領域と前記各小領域とをそれぞれ拘束させ、
   前記拘束力に応じて、前記各テンプレート領域および対応する前記各部分領域についての新たな相対的な各対応位置関係を求め、
   該求められた新たな相対的な各対応位置関係を、前記各段階における、前記各テンプレート領域および対応する前記各部分領域の前記各対応位置関係とし、
   最終的に求められた各対応位置関係に基づいて、前記概略位置合わせがなされた後の前記２つの画像のうち少なくとも一方の画像に対して、該両画像の前記位置ずれ程度が高い局所領域が略一致するように変換処理を施すことにより、少なくとも前記選択された局所領域についてのみさらに、再度の位置合わせを行なうことを特徴とする画像の位置合わせ方法。
2. 前記概略位置合わせは、前記２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小のうち少なくとも１つからなる変換処理を施すことによる大局的位置合わせであることを特徴とする請求項１記載の画像の位置合わせ方法。
3. 前記概略位置合わせは、前記２つの画像のうち一方の画像に対して、多数の小領域であるテンプレート領域を設定し、他方の画像に対して、前記一方の画像における各テンプレート領域にそれぞれ対応する、該各テンプレート領域よりも大きい領域の探索領域を設定し、前記各探索領域において、対応する前記テンプレート領域内の画像が略一致する部分領域を求め、前記各テンプレート領域と前記各部分領域との対応位置関係に基づいて、両画像のうち少なくとも一方の画像全体に対して、該両画像が略一致するように非線形歪変換処理を施すことによる局所的位置合わせであることを特徴とする請求項１記載の画像の位置合わせ方法。
4. 前記概略位置合わせは、前記２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小のうち少なくとも１つからなる変換処理を施すことによる大局的位置合わせと、
   前記大局的位置合わせがなされた後の２つの画像のうち一方の画像に対して、多数の小領域であるテンプレート領域を設定し、他方の画像に対して、前記一方の画像における各テンプレート領域にそれぞれ対応する、該各テンプレート領域よりも大きい領域の探索領域を設定し、前記各探索領域において、対応する前記テンプレート領域内の画像が略一致する部分領域を求め、前記各テンプレート領域と前記各部分領域との対応位置関係に基づいて、両画像のうち少なくとも一方の画像全体に対して、該両画像が略一致するように非線形歪変換処理を施すことによる局所的位置合わせとからなる処理であることを特徴とする請求項１記載の画像の位置合わせ方法。
5. 前記位置ずれ程度が高い領域の選択は、前記２つの画像にそれぞれ対応する多数の局所領域を設定し、該両画像の対応する局所領域間で画像の位置ずれ程度をそれぞれ各別に求め、前記求められた位置ずれ程度に基づいて行なうことを特徴とする請求項１から４のうちいずれか１項に記載の画像の位置合わせ方法。
6. 前記局所領域間の画像の位置ずれ程度は、前記対応する局所領域間でそれぞれ各画素値差の絶対値の総和値により求め、
   前記位置ずれ程度が高い局所領域の選択は、前記画素値差の絶対値の総和値について閾値処理することにより行なうことを特徴とする請求項５記載の画像の位置合わせ方法。
7. 前記２つの画像が、撮影時点が互いに異なる時系列の画像であることを特徴とする請求項１から６のうちいずれか１項に記載の画像の位置合わせ方法。
8. 前記画像が医療用放射線画像であることを特徴とする請求項１から７のうちいずれか１項に記載の画像の位置合わせ方法。
9. 同一被写体についての２つの画像を位置合わせする画像の位置合わせ装置であって、
   前記２つの画像全体の概略位置合わせを行なう概略位置合わせ手段と、
   前記概略位置合わせによって概略位置合わせがなされた後の前記２つの画像中の、位置ずれ程度が高い局所領域を選択する領域選択手段と、
   前記位置ずれ程度が高い、前記２つの画像中の各局所領域のうち、一方の画像中の各局所領域にテンプレート領域を設定し、他方の画像中の各局所領域に探索領域を設定し、前記探索領域内において対応する前記テンプレート領域と画像の一致程度の高い部分領域を求め、前記各テンプレート領域および対応する前記各部分領域の各対応位置関係を求め、前記テンプレート領域および前記探索領域を、段階的に小さくしつつ、前記各対応位置に基づいて設定して、順次各対応位置関係を求める操作を繰り返し、該繰り返す各段階のうち少なくとも１つの段階において、さらに、前記２つの画像それぞれの前記各局所領域の周囲に複数の小領域を設定し、前記２つの画像の対応する前記小領域間の対応位置関係を求め、前記テンプレート領域および対応する前記部分領域について求められた前記対応位置関係と前記各小領域について求められた前記対応位置関係とに応じた拘束力で、前記各テンプレート領域および／または対応する前記各部分領域と前記各小領域とをそれぞれ拘束させ、前記拘束力に応じて、前記各テンプレート領域および対応する前記各部分領域についての新たな相対的な各対応位置関係を求め、該求められた新たな相対的な各対応位置関係を、前記各段階における、前記各テンプレート領域および対応する前記各部分領域の前記各対応位置関係として最終的な各対応位置関係を求める段階的テンプレートマッチング処理手段と、
   前記求められた最終的な各対応位置関係に基づいて、前記概略位置合わせがなされた後の前記２つの画像のうち少なくとも一方の画像に対して、該両画像の前記位置ずれ程度が高い局所領域が略一致するように変換処理を施す部分位置合わせ手段とを備えたことを特徴とする画像の位置合わせ装置。
10. 前記概略位置合わせ手段が、前記２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小のうち少なくとも１つからなる変換処理を施すことによる大局的位置合わせ処理を行なう大局的位置合わせ手段であることを特徴とする請求項９記載の画像の位置合わせ装置。
11. 前記概略位置合わせ手段が、前記２つの画像のうち一方の画像に対して、多数の小領域であるテンプレート領域を設定し、他方の画像に対して、前記一方の画像における各テンプレート領域にそれぞれ対応する、該各テンプレート領域よりも大きい領域の探索領域を設定し、前記各探索領域において、対応する前記テンプレート領域内の画像が略一致する部分領域を求めるテンプレートマッチング処理手段と、
    前記テンプレートマッチング処理手段により得られた前記各テンプレート領域と前記各部分領域との対応位置関係に基づいて、両画像のうち少なくとも一方の画像全体に対して、該両画像が略一致するように非線形歪変換処理を施すことによる局所的位置合わせ処理を行う局所的位置合わせ手段とを備えたものであることを特徴とする請求項９記載の画像の位置合わせ装置。
12. 前記概略位置合わせ手段が、前記２つの画像のうち少なくとも一方の画像全体に対して、回転、平行移動および拡大・縮小のうち少なくとも１つからなる変換処理を施すことによる大局的位置合わせ処理を行なう大局的位置合わせ手段と、
    前記大局的位置合わせがなされた後の２つの画像のうち一方の画像に対して、多数の小領域であるテンプレート領域を設定し、他方の画像に対して、前記一方の画像における各テンプレート領域にそれぞれ対応する、該各テンプレート領域よりも大きい領域の探索領域を設定し、前記各探索領域において、対応する前記テンプレート領域内の画像が略一致する部分領域を求めるテンプレートマッチング処理手段と、
    前記テンプレートマッチング処理手段により得られた前記各テンプレート領域と前記各部分領域との対応位置関係に基づいて、両画像のうち少なくとも一方の画像全体に対して、該両画像が略一致するように非線形歪変換処理を施すことによる局所的位置合わせ処理を行う局所的位置合わせ手段とを備えたものであることを特徴とする請求項９記載の画像の位置合わせ装置。
13. 前記領域選択手段が、前記２つの画像にそれぞれ対応する多数の局所領域を設定し、該両画像の対応する局所領域間で画像の位置ずれ程度をそれぞれ各別に求め、前記求められた位置ずれ程度に基づいて、前記位置ずれ程度が高い領域を選択するものであることを特徴とする請求項９から１２のうちいずれか１項に記載の画像の位置合わせ装置。
14. 前記領域選択手段が、前記局所領域間の画像の位置ずれ程度を、前記対応する局所領域間でそれぞれ各画素値差の絶対値の総和値により求め、前記画素値差の絶対値の総和値について閾値処理することにより、前記位置ずれ程度が高い局所領域を選択するものであることを特徴とする請求項１３記載の画像の位置合わせ装置。
15. 前記２つの画像が、撮影時点が互いに異なる時系列の画像であることを特徴とする請求項９から１４のうちいずれか１項に記載の画像の位置合わせ装置。
16. 前記画像が医療用放射線画像であることを特徴とする請求項９から１５のうちいずれか１項に記載の画像の位置合わせ装置。

Images