JP6129310B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に複数の画像間で位置を合わせる画像処理装置および画像処理方法に関する。

２次元または３次元の複数（以下、複数枚と称することもある）の画像間で、位置を合わせる技術は、様々な分野において、用いられており、重要な技術である。例えば、医療用画像の分野では、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像、ＭＲ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）画像、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）画像、超音波画像など、様々な種類の３次元画像が取得される。取得された種々の３次元画像は、位置を合わせて、重ね合わせて表示することができる様にするために、画像の位置合わせ技術が利用される。このような表示方法は、フュージョン画像表示と呼ばれており、画像の特徴を生かした表示が可能となる。例えば、ＣＴ画像は、詳細な形状を表示するのに適しており、ＰＥＴ画像は、代謝や血流などの体の機能を表示するのに適している。

さらに、医療の分野においては、同一患者の経過を観察するために、時系列に取得した複数枚の医療用画像の間で位置を合わせることにより、病変部の状態を、時系列的に観察し、疾病の有無や進行状況の診断を容易に実施することができる様にする。複数の画像の間で、位置を合わせる場合、固定される画像は参照画像と呼ばれ、位置合わせのために座標変換される画像は浮動画像と呼ばれる。

複数の画像間で位置を合わせる技術は、剛体位置合わせ法と非剛体位置合わせ法に分類することができる。剛体位置合わせ方法においては、画像に対して平行移動と回転とを行って、画像の位置合わせが実施される。この方法は、骨などの変形しにくい部位の画像に対して好適である。一方、非剛体位置合わせ法においては、画像に対して局所変形を含む複雑な変形を行い、画像間の対応関係が求められる。そのため、治療計画および／あるいは経過観察において取得される複数枚の医療用画像に対する位置合わせ、あるいは標準的な人体・臓器モデルと個別のモデルとの間で、医療用画像間の位置合わせなどに適用され、その応用範囲が幅広い。

一般的に知られている非剛体位置合わせ法においては、浮動画像上に制御格子が配置され、この制御格子における制御点を移動させることで、浮動画像を変形させる。変形された浮動画像と参照画像との間で、画像類似度が求められ、求めた画像類似度に基づいた最適化計算が行われ、制御格子における制御点の移動量（変形量）が求められる。この場合、制御格子における制御点間の画素の移動量は、その画素の周囲に配置されている制御点の移動量の補間によって計算される。得られた各画素の移動量を用いて、浮動画像の座標変換が行われ、画像を局所的に変形させる様な位置合わせが実施される。また、制御点の間隔、すなわち、格子点数を変化させることによって、多重解像度的な変形を実施することができる。

特許文献１には、格子状の制御点ではなく、浮動画像において、参照画像と類似する部位に対応するランドマークが制御点として用いられ、この制御点を用いて、画像をタイル分割し、変形を行うことが示されている。局所的な変形を求める場合には、分割したタイルの中でランドマークを追加して、さらにタイルを分割して、位置合わせが実施される。

特表２００７−５１６７４４号公報

上述した制御格子を用いた位置合わせにおいては、制御格子における制御点の数が数千、あるいは数万程度にも達する。そのため、それぞれの制御点の移動量を求める最適化計算が複雑になる。このため、位置合わせの精度は、制御格子における制御点の初期位置に依存する。上述した剛体位置合わせ法を用いて、それぞれの制御点の大まかな初期位置を設定することは可能である。しかしながら、軟部組織や臓器の経時変化などによって、複雑な変形が生じた場合に、剛体位置合わせ法自体が適用できない可能性がある。そのため、正確な初期位置を求めることは困難である。

また、位置合わせの結果を修正する場合には、前記制御格子における複数の制御点を1点ずつ対応する位置へ動かすことが要求される。この作業は非常に繁雑である。

一方、特許文献１に記載されている技術では、複雑な局所変形を求める場合、ランドマークを逐次的に追加し、タイルを分割する処理が要求される。しかし、分割の処理により、タイル領域の面積が減少すると、既存のタイルの中で、解剖的な部位における高精度な対応点探索が困難となる。また、ランドマークの逐次的な追加処理においては、ランドマーク全体の一致度を用いたロバストな誤対応除外処理も困難である。

本発明の目的は、位置合わせ処理の精度が高い画像処理装置および画像処理方法を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、浮動画像を変形するために、浮動画像に制御格子が設置される。また、浮動画像と参照画像のそれぞれから、特徴点（以下、ランドマークとも称する）が抽出される。抽出した特徴点に対応した位置の点が、参照画像と浮動画像のそれぞれから探索される。探索された点の位置を用いて、浮動画像に設置されている制御格子における制御点の初期位置が設定される。抽出した特徴点は、参照画像と浮動画像のそれぞれにおいて、互いに対応（ペアを構成）しており、それぞれの画像において特徴的な部分である。これにより、互いに対応した特徴点のそれぞれに対応した位置（参照画像と浮動画像における位置）が、制御点の初期位置に反映される。位置合わせのために、浮動画像を変形する前に、制御点をより正確な位置に配置することが可能となり、位置合わせの精度を向上することが可能となる。

また、一実施の形態においては、手動で特徴点の入力（編集）が行われる。この結果により、制御格子が変形される様にし、位置合わせの結果を修正することが可能となり、修正の容易化を図ることが可能となる。

一実施の形態によれば、位置合わせ処理の精度が高い画像処理装置および画像処理方法を提供することができる。

実施の形態１に係わる画像処理装置の論理的な構成を示すブロック図である。 実施の形態１に係わる画像処理装置のハードウェア的な構成を示すブロック図である。 実施の形態１に係わる位置合わせ処理を示すフローチャート図である。 実施の形態１に係わる特徴点のデータ構造を、３次元画像を例として示すデータ構造図である。 実施の形態１に係わる位置合わせ部の処理を示すフローチャート図である。 実施の形態２に係わる画像処理装置の論理的な構成を示すブロック図である。 実施の形態２に係わる関心領域抽出部の処理を示すフローチャート図である。 （Ａ）〜（Ｃ）は、実施の形態２に係わる画像処理装置が処理する画像の例を示す説明図である。 実施の形態３に係わる画像処理装置の論理的な構成を示すブロック図である。 （Ａ）および（Ｂ）は、人体の腹部横断面層の模式図である。 （Ａ）および（Ｂ）は、ランドマークが付された人体の腹部横断面層の模式図である。 （Ａ）および（Ｂ）は、制御格子と人体の腹部横断面層との関係を示す模式図である。 制御格子によって変形された人体の腹部横断面層を示す模式図である。 （Ａ）および（Ｂ）は、サンプリング点の例を明示した人体の腹部横断面層の模式図である。 （Ａ）および（Ｂ）は、ランドマーク、制御格子が付された人体の腹部横断面層の模式図である。 各実施の形態に係わる対応点ペアのデータ構造を示すデータ構造図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
＜概要＞
参照画像と浮動画像のそれぞれにおいて、互いに対応する特徴点がペアとして抽出される。参照画像と浮動画像のそれぞれから、これらの特徴点ペアの位置情報が抽出され、抽出された位置情報を用いて、位置合わせ処理に用いる制御格子における各制御点の初期位置が決定される。これにより、制御点の移動量を求めるための最適化計算を、より正確に実施できる。その結果として、安定的で、高精度な位置合わせ処理を実現することが可能となる。

＜構成及び動作＞
図１は、実施の形態１に係わる画像処理装置の論理的な構成を示すブロック図である。同図において、１１は参照画像であり、１２は浮動画像である。浮動画像１２は、上述した様に、位置合わせを実施する際に、変形される画像である。画像処理装置は、参照画像１１と浮動画像１２との間の位置合わせを行う。参照画像１１と浮動画像１２のそれぞれの内容は、位置合わせを行う対象の画像によって変わる。説明を容易にするために、同図には、参照画像１１と浮動画像１２も示されているが、画像処理装置としては、参照画像と浮動画像を含まないものと理解されたい。

画像処理装置は、画像サンプリング部１３、特徴点検出・対応付け部１４、制御格子変形部１６、位置合わせ部１０、および浮動画像変形部１７を備える。なお、同図において、１８は、画像処理装置によって位置合わせが完了した浮動画像を表している。

特徴点検出・対応付け部１４は、参照画像１１と浮動画像１２のそれぞれを受け、それぞれの画像における特徴点を抽出し、抽出した特徴点のそれぞれに対応する位置を、参照画像１１と浮動画像１２から抽出する。抽出した位置の情報は、抽出した特徴点にそれぞれ対応した点の位置情報（以下、対応点位置情報とも称する）１５として出力する。制御格子変形部１６は、特徴点検出・対応付け部１４から出力された対応点位置情報１５を用いて、制御格子を変形させて、制御格子における制御点の初期位置を決定する。決定された制御点の初期位置は、位置合わせ部１０に供給される。

画像サンプリング部１３は、参照画像１１を受け、画像類似度計算に用いる参照画像１１の画像サンプリング点と、サンプリングデータを抽出し、位置合わせ部１０に供給する。位置合わせ部１０は、各部から受け取った画像データと制御格子に従って、位置合わせを実施し、その結果を浮動画像変形部１７へ供給する。供給された位置合わせの結果に従って、浮動画像変形部１７は、浮動画像１２を変形し、その結果を位置合わせ済浮動画像１８として出力する。これらの動作については、画像処理装置のハードウェア構成を説明した後で、詳細に述べる。

図２は、実施の形態１に係わる画像処理装置のハードウェア構成を示すブロック図である。図２に示すハードウェア構成は、以下で述べる複数の実施の形態において、共通に用いられる。

また、実施の形態に係わる画像処理装置は、一般的な計算機上に実装可能であり、医療施設などに設置されていてもよい。あるいは、データセンタに、画像処理装置を設置し、ネットワークを介して画像位置合わせの結果を、クライアント端末に送信してもよい。この場合、ネットワークを介して、クライアント端末から、位置合わせがされるべき対象の画像が、データセンタ内の画像処理装置に供給される様にしてもよい。以下では、医療施設に設置された計算機に、画像処理装置が実装された場合を例として、説明する。

図２において、４０はＣＰＵ（プロセッサ）、４１はＲＯＭ（不揮発性メモリ：読出専用の記憶媒体）、４２はＲＡＭ（揮発性メモリ：データの読み書きが可能な記憶媒体）、４３は記憶装置、４４は画像入力部、４５は媒体入力部、４６は入力制御部、４７は画像生成部である。ＣＰＵ４０、ＲＯＭ４１、ＲＡＭ４２、記憶装置４３、画像入力部４４、媒体入力部４５、入力制御部４６及び画像生成部４７は、データバス４８によって相互に接続されている。特に制限されないが、医療施設に設置された計算機は、これらの装置を具備している。

ＲＯＭ４１とＲＡＭ４２には、計算機で画像処理装置を実現するために必要とされるプログラムとデータが記憶されている。ＣＰＵ４０が、このＲＯＭ４１あるいはＲＡＭ４２に記憶されたプログラムを実行することによって、画像処理装置における各種処理が実現される。上記した記憶装置４３は、入力画像などを格納する磁気記憶装置である。記憶装置４３は、不揮発性半導体記憶媒体（例えば、フラッシュメモリ）を備えてもよい。また、ネットワークなどを介して接続された外部記憶装置を利用してもよい。

ＣＰＵ４０が実行するプログラムは、記憶媒体５０（例えば、光ディスク）に格納しておき、媒体入力部４５（例えば、光ディスクドライブ）がそのプログラムを読み込んでＲＡＭ４２に格納する様にしてもよい。また、記憶装置４３に当該プログラムを格納しておき、記憶装置４３からそのプログラムをＲＡＭ４２にロードしてもよい。また、ＲＯＭ４１にあらかじめ当該プログラムを記憶させておいてもよい。

画像入力部４４は、画像撮像装置４９が撮影した画像が入力されるインターフェースである。ＣＰＵ４０は、画像撮像装置４９から入力された画像を用いて各処理を実行する。媒体入力部４５は、記憶媒体５０に記憶されたデータおよびプログラムを読み出す。記憶媒体５０から読み出されたデータおよびプログラムは、ＣＰＵ４０によって、ＲＡＭ４２または記憶装置４３に格納される。

入力制御部４６は、入力装置５１（例えば、キーボード）から、ユーザによって入力された操作入力を受け付けるインターフェースである。入力制御部４６が受けた操作入力は、ＣＰＵ４０によって処理される。画像生成部４７は、例えば、図１に示す浮動画像変形部１７によって変形された浮動画像１２から画像データを生成し、生成された画像データをディスプレイ５２に送る。ディスプレイ５２は、その画像を画面表示する。

次に、図１に示した画像処理装置と、図３に示すフローチャートとを用いて、実施の形態１に係わる画像処理装置の動作を説明する。ここで、図３は、図1に示した画像処理装置の動作を示すフローチャート図である。

処理が開始（図３では、ＳＴＡＲＴ）され、ステップＳ１０１において、参照画像１１と浮動画像１２のそれぞれが入力される。特徴点検出・対応付け部１４は、ステップＳ１０２において、それぞれの画像から画像の特徴点を抽出し、互いに対応する特徴点のペアを検出する。ステップＳ１０２においては、さらに、検出した特徴点のペアに基づいて、対応点ペアが抽出される。

特徴点は、画像において、特徴的な画像部分に付与される。特徴点については、後で図４を用いて詳細に説明するが、それぞれの特徴点は特徴量を有する。参照画像における特徴点と浮動画像における特徴点との間で、特徴量の距離が求められる。求めた特徴量の距離が最も小さい２個の特徴点が、互いに対応している特徴点（特徴点のペア）とされる。すなわち、それが有する特徴量間の距離が最も小さいところの1対の特徴点が、特徴点のペアとされる。特徴点ペアを構成するところの参照画像での特徴点に基づいて、参照画像から、その特徴点に該当する位置が抽出される。同様に、同じ特徴点ペアを構成するところの浮動画像での特徴点に基づいて、浮動画像から、その特徴点に該当する位置が抽出される。この抽出された位置は、特徴点のペアに対応するところのペアとなる。

ステップＳ１０２においては、この様に、複数の特徴点のペアの抽出が行われる。すなわち、複数の対応点ペアの抽出が行われる。抽出した複数の特徴点のペアには、例えば、特徴量間の距離が比較的大きな特徴点のペアも存在する。この様な特徴点のペアは、信頼性が低いため、誤対応点ペアとして、ステップＳ１０３において、除外する。誤対応点ペアを除いた対応点位置情報１５が、ステップＳ１０３により形成される。

制御格子変形部１６は、対応点位置情報１５を用いて、制御格子を変形させて、制御格子上にある制御点の初期位置を決定する（ステップＳ１０４）。決定した初期位置は、制御点移動量情報１００１（図１）として、位置合わせ部１０に供給される。画像サンプリング部１３は、画像類似度計算に用いる画像サンプリング点とサンプリングデータを参照画像１１から抽出して（ステップＳ１０５）、位置合わせ部１０に供給する。

上記した位置合わせ部１０は、図１に示されている様に、座標幾何変換部１００２、画像類似度算出部１００３、画像類似度最大化部１００４とを具備している。位置合わせ部１０内の座標幾何変換部１００２には、参照画像１１のサンプリング点と、サンプリングデータと、浮動画像１２と、制御点移動量情報１００１とが供給される。位置合わせ部１０は、制御点移動量情報１００１を用いて、浮動画像に対して座標変換を行う。ここでは、参照画像１１におけるサンプリング点に対応する、浮動画像１２上のサンプリング点が求められ、求められたサンプリング点におけるサンプリングデータが取得される様に、浮動画像の座標変換が行われる（ステップＳ１０６）。

位置合わせ部１０における画像類似度算出部１００３（図１）には、参照画像１１におけるサンプリングデータと、参照画像１１におけるサンプリング点に対応した浮動画像１２におけるサンプリングデータとが供給される。すなわち、互いに対応したサンプリング点のサンプリングデータが、供給される。画像類似度算出部１００３は、参照画像１１と浮動画像１２のそれぞれの対応する画像サンプル（サンプリングデータ）間の画像類似度を計算する（ステップＳ１０７）。

上記したところの画像類似度を最大化する様に、画像類似度最大化部１００４（図１）は動作する。ステップＳ１０８において、画像類似度が最大化したか否かの判定を行い、最大化していないと判定した場合には、画像類似度が最大となる様に、制御点移動量情報１００１を更新（ステップＳ１０９）し、ステップＳ１０６、Ｓ１０７およびＳ１０８を、再度実行する。最大となるまで、これらの処理が繰り返される。

一方、画像類似度が最大と判定された場合、位置合わせ部１０は、画像類似度を最大化したときの制御点移動量情報１００１を浮動画像変形部１７に出力する。浮動画像変形部１７は、制御点移動量情報１００１を用いて、浮動画像１２に対して幾何変換を実施して位置合わせ済浮動画像１８を生成し、出力する（ステップＳ１１０）。

これら各部のそれぞれについて、以下更に詳細に説明する。

＜特徴点検出・対応付け部＞
特徴点検出・対応付け（対応点設定）部１４は、参照画像１１と浮動画像１２のそれぞれにおける画像特徴点を検出し、各特徴点の特徴量を記録する。記録形式の例を図４を用いて説明する。

図４には、特徴点検出・対応付け部１４により抽出された画像特徴点のデータ構造が示されており、同図では、３次元画像を対象例として抽出したときのデータ構造が示されている。図４において、列Ｃ１は、特徴点の番号を示しており、列Ｃ２は、特徴点の座標を示しており、列Ｃ３は、特徴量ベクトルＶ_ｉを示している。同図では、特徴点が１からＬまであり、それぞれの特徴点の３次元座標が、ｘ座標、ｙ座標およびｚ座標で表されている。また、それぞれの特徴点の特徴量ベクトルＶ_ｉが、Ｖ_１からＶ_Ｌとして示されている。例えば、特徴点１については、その３次元座標が（ｘ座標：７２．１６、ｙ座標：１２５．６１、ｚ座標：５１．２３）であり、その特徴量ベクトルがＶ_１である。

画像特徴点の検出手法と特徴量の記述手法については、公知の手法を用いることができる。公知の手法として、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点検出およびＳＩＦＴ特徴量記述を用いることができる。この実施の形態においては、位置合わせ対象となる画像が３次元画像であるため、画像特徴点の検出と特徴量記述手法は、２次元から３次元へ拡張される。

次に、特徴点検出・対応付け部１４は、参照画像１１における特徴点に対応する、浮動画像１２上の特徴点を探索する。具体的に説明すると、参照画像１１中のある特徴点Ｐ^ｒと浮動画像１２中のある特徴点Ｐ^ｆの特徴量（特徴量ベクトル）をそれぞれ、Ｖ^ｒとＶ^ｆすると、特徴量間ユークリッド距離ｄは式（１）により算出される。ここで、Ｍは特徴量の次元である。

特徴点検出・対応付け部１４は、参照画像１１における、ある１点の特徴点の特徴量について、浮動画像１２に含まれる全ての特徴点の特徴量との間の距離ｄを算出し、その中で最も距離ｄが最小となる特徴点同士を、互いに対応する点として（ペアとして）検出する。

その特徴量間の距離ｄが大きい特徴点のペアは信頼性が低いと判断できるため、特徴点検出・対応付け部１４は、この様な信頼性の低い特徴点のペアを誤対応点ペアとして除去する処理をステップＳ１０３（図３）において行う。特に制限されないが、誤対応点ペアの除外処理は、２段階で実施する。まずは、実験的に設定した閾値を上回る距離を有する特徴点のペアを、誤対応ペアとして以後の処理対象から除外する。さらに、残りの特徴点のペアに対して、例えば、公知の方法であるＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法を用いて、ロバストに誤対応ペアを除外する。特徴点検出・対応付け部１４は、この様にして得られた特徴点のペア（対応点ペア）の位置情報を対応点位置情報１５として、制御格子変形部１６に出力する。

図１６には、対応点ペアのデータ構造の例が示されている。同図において、列Ｃ６は、特徴点のペアの番号であり、列Ｃ４は、参照画像における特徴点の座標（位置）であり、列Ｃ５は浮動画像における特徴点の座標である。図４に示したのと同様に、対象として３次元の参照画像および浮動画像に対して特徴点を求めた場合が、図１６には示されている。

図４と異なり、図１６においては特徴量が、データ構造に含まれていない。これは、互いに対応する特徴点であることが判明しているため、特に特徴量をデータ構造に含めなくてもよいためである。また、図１６では、互いに対応する点が示されているため、列Ｃ６に記載されている番号は、対応点ペアの番号と理解してもよい。図４と同様に、図１６には、特徴点（対応点ペア）が、１からＬまでが示されており、参照画像と浮動画像のそれぞれにおける位置が３次元座標で示されている。すなわち、対応点ペアの番号と、その番号で表される対応点ペアを構成する特徴点について、参照画像での位置と浮動画像での位置が、図１６には示されている。例えば、番号が１の対応点ペアは、参照画像における、その位置が３次元座標（ｘ座標：７２．１６、ｙ座標：１２５．６１、ｚ座標：５１．２３）である特徴点と、浮動画像における、その位置が３次元座標（ｘ座標：７５．３４、ｙ座標：１２０．８５、ｚ座標：５０．５６）である特徴点とによって構成されている。

制御格子変形部１６へ出力される対応点位置情報１５は、図１６に示した対応点（特徴点）ペアの情報を含んでいる。

特徴点検出・対応付け部１４においては、対応点ペアを編集（追加、削除も含めて）することも可能である。例えば、図１に示した入力装置５１を用いて、図１６に示した対応点ペアの情報を編集することが可能である。例えば、経験的な知識を用いて、対応点ペアを編集することにより、位置合わせの精度を向上させることも可能である。

＜制御格子変形部＞
制御格子変形部１６は、対応点位置情報１５を用いて、位置合わせ処理に用いる制御格子を変形させる（初期位置設定）。特に制限されないが、制御格子変形部１６において、浮動画像１２上に、その画像を変形するために用いられる制御格子が配置される（制御点設定）。浮動画像１２上に配置されたところの制御格子における格子状の制御点を３次元メッシュの頂点と見なして、上記した対応点間の幾何距離を用いて、制御点メッシュを変形させる。ここでは、公知の方法、例えばＭＬＳ（Ｍｏｖｉｎｇ Ｌｅａｓｔ Ｓｑｕａｒｅｓ）法を用いることができる。ＭＬＳ法においては、制御メッシュにおけるある頂点に対して、その近くにある浮動画像１２上の特徴点の動き（参照画像１１上の対応点へ向かう移動）をなるべく真似るように、その頂点（上記したある頂点）である制御点を移動させる。このため、制御格子変形部１６は、制御メッシュに対し、周囲の対応点の移動に柔軟に合わせるような非剛体的な変形が得られる（ステップＳ１０４）。制御格子変形部１６（図１）は、変形後の制御格子から制御点移動量情報１００１を取得し、位置合わせ部１０に出力する。

＜画像サンプリング部＞
画像サンプリング部１３（図１）は、参照画像１１から画像サンプリング点とサンプリングデータを抽出して、位置合わせ部１０に出力する。これらの画像サンプルは位置合わせ処理における画像類似度の計算に用いられる。

サンプリングは、位置合わせ処理の対象となる画像領域のすべての画素をサンプリング点として、行ってもよい。しかしながら、位置合わせ処理の速度を向上させるために、画像上にグリッドを置いて、グリッドのノッドにおける画素だけをサンプリング点として用いてもよい。また、サンプリング対象領域において、ランダムに所定数の座標を生成して、得られた座標における輝度値を、サンプリング点の輝度値として用いてもよい。医療用の画像処理装置としては、輝度値をサンプリングデータとして用いることが、処理速度の向上のために望ましいが、画像処理装置を使用する用途に応じて、サンプリングデータは色情報としてもよい。

＜位置合わせ部＞
位置合わせ部１０（図１）は、上記した様に、座標幾何変換部１００２、画像類似度算出部１００３、画像類似度最大化部１００４を備える。これら各機能部の動作を、次に図５を用いて説明する。図５は、位置合わせ部１０の処理を説明するフローチャート図である。

座標幾何変換部１００２（図１）は、参照画像１１のサンプリングデータと、浮動画像１２を取得する（ステップＳ２０１およびＳ２０２）。さらに、座標幾何変換部１００２は、取得した浮動画像１２上に制御格子を配置し、制御格子変形部１６（図１）から制御点移動量情報１００１（図１）を取得し、この制御点移動量情報１００１に基づいて、上記した制御格子における制御点の初期位置を設定する（ステップＳ２０３）。

また、座標幾何変換部１００２は、参照画像１１のサンプリング点の座標に対して、制御点移動量情報１００１を用いて、座標変換を実施する（ステップＳ２０４）。このステップは、参照画像１１のサンプリング点の座標に対応するところの、浮動画像１２における画像データの座標を計算するためのものである。ここでは、あるサンプリング点の座標に対して、その周囲の制御点の位置に基づいて、例えば、公知のＢ−ｓｐｌｉｎｅ関数を用いて、座標の補間を行って、浮動画像１２における対応サンプリング点の座標を計算する。

次に、座標幾何変換部１００２は、浮動画像１２の各対応サンプリング点（参照画像１１の各サンプリング点に対応したサンプリング点）に対し、例えば、線形補間演算により、その対応サンプリング点の輝度値を算出する（ステップＳ２０５：抽出）。これにより、制御点の移動に伴って変化した浮動画像の座標（サンプリング点）と、その座標（サンプリング点）における輝度値が求まる。すなわち、制御点の移動に伴う浮動画像の変形が、この変換部１００２において行われる。

画像類似度算出部１００３（図１）は、参照画像１１のサンプリング点におけるデータ（サンプリングデータ）と、幾何変換後の浮動画像１２の対応サンプリング点におけるデータ（ステップＳ２０５において生成されたデータ）を取得する。画像類似度算出部１００３は、これらのサンプリング点におけるデータに対して、所定の評価関数を適用して、参照画像１１と浮動画像１２との間の画像類似度を演算する（ステップＳ２０６）。画像類似度としては、公知の相互情報量を使用することができる。

画像類似度最大化部１００４（図１）は、画像類似度算出部１００３が算出したところの、参照画像１１と浮動画像１２との間の画像類似度を取得する。ここでは、参照画像１１と浮動画像１２の間の画像類似度が最大（あるいは極大）となる様な各制御点の移動量を求めるため、収束計算を実施する（ステップＳ２０７）。ステップＳ２０７において画像類似度が収束していない場合は、より高い画像類似度を得るために、画像類似度最大化部１００４は、制御点移動量情報１００１を更新する（ステップＳ２０８）。そして、更新された制御点移動量情報１００１を用い、ステップＳ２０４〜Ｓ２０７を改めて実施する。

一方、ステップＳ２０７において画像類似度が収束している場合は、位置合わせ部１０は、求められた制御点移動量情報１００１を浮動画像変形部１７に出力する（ステップＳ２０９）。以上の処理によって、位置合わせ部１０の処理が完了する。

＜浮動画像変形部＞
浮動画像変形部１７（図１）は、浮動画像１２と制御点移動量情報１００１を取得する。浮動画像変形部１７は、浮動画像１２のすべての画素に対して、制御点移動量情報１００１に基づいて、前記ステップＳ２０４と同様の補間演算により各画素の座標を算出する。次に、浮動画像変形部１７は、前記ステップＳ２０５と同様の補間演算により、前記求められた座標における輝度を算出し、位置合わせ済浮動画像１８を生成する。

この実施の形態によれば、互いに対応する特徴点のペア（対応点ペア）から、参照画像および浮動画像のそれぞれにおける位置が求められる。求めた位置を用いて、参照画像と浮動画像との間の位置合わせを行う際に用いられる制御点の初期値（位置）が設定される。これにより、制御格子の初期値をより適切な値に設定することが可能となり、位置合わせにおける精度の向上を図ることが可能となる。また、位置合わせに要する時間の短縮化を図ることも可能である。

＜適用例＞
次に、医療用画像に適用した場合の適用例を、図１０から図１５を用いて、説明する。以下においては、人体の腹部横断面層を例にして説明するが、説明するための図面が複雑になるのを避けるために、腹部横断面層の模式図を用いて説明する。

図１０の（Ａ）および（Ｂ）は、腹部横断面層の模式図である。図１０の（Ａ）および（Ｂ）のそれぞれにおいて、上側が、人体のおなか側であり、下側が、人体の背中側である。図１０の（Ａ）および（Ｂ）のそれぞれにおいて、中央の下側に、背骨部分が存在し、左側に肝臓部分が存在し、右側に脾臓部分が存在する。また、中央および中央上側には、膵臓・大血管が存在している。

図１０の（Ａ）に示された腹部横断面層は、特に制限されないが、治療前の腹部横断面層であり、図１０の（Ｂ）に示された腹部横断面層は、治療後の腹部横断面層である。そのため、図１０の（Ａ）と（Ｂ）との間で、腹部横断面層における臓器等の位置および／あるいはその形状は異なっている。上記した実施の形態に沿って述べると、この２個の腹部横断面層に関する画像の互いの位置を合わせることにより、治療の効果を確認することが可能となる。図１０の（Ａ）および（Ｂ）に示されている腹部断面層の画像の内の一方が、参照画像とされ、他方が浮動画像とされる。この実施の形態においては、特に制限されないが、図１０の（Ａ）に示されている画像（すなわち、治療前の腹部横断面層に関する画像）を、参照画像とし、図１０の（Ｂ）に示されている画像（すなわち、治療後の腹部横断面層に関する画像）を、浮動画像とした場合を、例として説明する。

図１０の（Ａ）および（ｂ）に示されている画像（腹部横断面層に関する画像）が、参照画像と浮動画像として、ステップＳ１０１（図３）において入力される。入力された画像から、その画像において特徴的な部分（部位）が特徴点として抽出され、対応付けが行われる（図３のステップＳ１０２）。ここでは、入力されている画像が医療用の画像であるため、特徴的な部位として、例えば、臓器における特徴的な形状部分あるいは血管部分が特徴的な部位として扱われる。図１０の（Ａ）および（Ｂ）のそれぞれから、特徴的な部位が見出され、特徴点の抽出が行われ、対応付けがされる。

図１１の（Ａ）および（Ｂ）には、図１０の（Ａ）および（Ｂ）に示した画像（腹部横断面層に関する画像）から、特徴的な部位が見出され、特徴点の抽出が行われ、対応付けが行われた腹部横断面層が示されている。ここで、図１１の（Ａ）は、図１０の（Ａ）と同じ腹部横断面層を示しており、図１１の（Ｂ）は、図１０の（Ｂ）と同じ腹部横断面層を示している。臓器における特徴的な部位として、図１１の（Ａ）および（Ｂ）においては、特に制限されないが、臓器の特徴的な部分として見出されている。この特徴的な部位が、特徴点として抽出される。図１１の（Ａ）および（Ｂ）のそれぞれにおいては、この特徴的な部位を記号ＴＡ（図１１の（Ａ））および記号ＴＢ（図１１の（Ｂ））で表している。

図１１の（Ａ）および（Ｂ）のそれぞれにおける、特徴的な部位ＴＡおよびＴＢが、特徴点ＰおよびＰ’として抽出される。抽出された特徴点は、図４に示した様な座標（ｘ、ｙ、ｚ）と特徴量ベクトル（Ｖｉ）を有する。ここで、座標は、画像における特徴的な部位Ｔの座標である。なお、図１１の（Ａ）および（Ｂ）において、特徴的な部位ＴＡ（ＴＢ）とそれに対応する特徴点Ｐ（Ｐ’）との間で、示している位置における○印のサイズが異なるが、図面を見易くするために、サイズを変えているだけで、サイズに意味はない。

図１１の（Ａ）および（Ｂ）に示した腹部横断面層には、上記した特徴的な部位ＴＡ、ＴＢだけでなく、臓器の特徴を表す多数の特徴的な部位が存在するが、図１１の（Ａ）および（Ｂ）では、図面の複雑化を避けるために、省略してある。図示されていない特徴的な部位についても特徴点として、抽出される。図３のステップＳ１０２およびＳ１０３において説明した様に、各特徴点の有する特徴量ベクトルＶｉを用いて、互いに対応する特徴点が特徴点のペア（対応点ペア）として抽出される。図１１の（Ａ）および（Ｂ）において、複数の特徴点およびそれにより構成される複数の対応点ペアのうち、特徴的な部位ＴＡおよびＴＢに対応する特徴点ＰおよびＰ’が示されている。この特徴点ＰとＰ’は、特徴量ベクトルを用いた演算により、ペアとなると判定されているものとする。すなわち、特徴点ＰとＰ’とによって、特徴点のペア（対応点ペア）が構成される。

特徴点のペアＰとＰ’は、図１６に示した様に、データとして登録される。すなわち、特徴点ペアＰ、Ｐ’のうち、参照画像上の特徴点である特徴点Ｐに対応する部位ＴＡの座標と、浮動画像上の特徴点である特徴点Ｐ’に対応する部位ＴＢの座標とが、図１６に示したデータ構造に登録される。このとき、特徴点のペア（対応点ペア）の番号も、例えばＰとして付与される。もちろん、特徴点ＰとＰ’とにより構成された特徴点のペア以外の特徴点のペアも、同様にして図１６に示したデータ構造に登録される。図１６に示した対応点ペアの情報は、対応点位置情報１５に含まれ、対応点を用いた制御格子を変形するステップＳ１０４（図３）に供給される。

図１２の（Ａ）は、浮動画像上に配置される制御格子１２０１の図である。制御格子１２０１は、それぞれ縦および横に配置された複数の制御線（破線）と、制御線間の交点となる複数の制御格子点（制御点）１２０２とを有する。制御格子は、浮動画像の上に配置される。配置される前、制御格子点の間隔は、特に制限されないが、縦および横方向において等間隔とされている。

制御格子１２０１は、制御格子変形部１６に関する説明において、述べたが、制御格子を変形することにより、浮動画像を変形することができる。すなわち、この実施の例においては、図１１の（Ｂ）に示した様に腹部横断面層の画像の上に配置され、制御格子１２０１を変形することにより、浮動画像である腹部横断面層の画像が変形される。この実施の形態においては、浮動画像（腹部横断面層の画像）に配置された制御格子１２０１の制御点１２０２の位置が、制御格子変形部１６（図１）において、対応点位置情報１５（図１）に基づいて移動され、制御格子１２０１が変形される。すなわち、制御点１２０２の位置が、対応点位置情報１５に基づいて初期設定される。言い換えるならば、対応点位置情報１５に基づいて、制御格子１２０１が、予め変形される（初期設定される）。

図１２の（Ｂ）は、初期設定後の制御格子１２０１が配置され、その画像が変形された腹部横断面層の画像を示す模式図である。すなわち、図１１の（Ｂ）に示した腹部横断面層の画像の上に、図１２の（Ａ）に示した制御格子１２０１を配置し、対応点位置情報１５に基づいて、制御格子１２０１を初期設定した後の画像が、図１２の（Ｂ）に示されている。図１２の（Ｂ）に示した例では、制御格子１２０１が、全体に右上がりで、右上部に変形した制御格子の部分が存在する様に変形されている。初期設定により、制御点１２０２の位置が移動され、制御格子１２０１が変形されることにより、浮動画像も変形している。

制御格子１２０１の初期設定の後、座標幾何変換部１００２（図１）、画像類似度算出部１００３（図１）および画像類似度最大化部１００４（図１）によって、参照画像（例えば、図１１の（Ａ））と浮動画像との間の画像類似度が最大化する様に、制御格子１２０１は更に変形される。図１３には、この更なる変形過程での、浮動画像と制御格子１２０１の例が示されている。図１２の（Ｂ）と図１３とを比較すると、この変形過程で、制御格子１２０１は、画像類似度を最大化するために、例えば、図１３においては、図１２の（Ｂ）に対して、それぞれの格子が正方形から更に変形されている。この様にして、画像類似度の最大化が行われる。

類似度を最大化する過程において、座標幾何変換部１００２（図１）は、画像のサンプリング点とその点におけるサンプリングデータを取得する。図１４の（Ａ）および（Ｂ）には、このサンプリング点を画像上の複数の点１４０１、１４０２として表した腹部横断面層の画像が示されている。図１４の（Ａ）は、参照画像である。また、図１４の（Ｂ）には、上記した変形過程での浮動画像におけるサンプリング点１４０２が、模式的に示されている。変形過程での浮動画像におけるサンプリング点およびその点におけるサンプリングデータは、この実施の形態においては、座標変換と補間等を用いた演算により求められる。画像類似度算出部１００３においては、求めたサンプリング点とそのサンプリング点におけるサンプリングデータが、類似度を算出するために用いられる。

図１５の（Ａ）および（Ｂ）は、制御格子１２０１が配置された腹部横断面層の画像を示す図である。図１５の（Ａ）には、図１１の（Ｂ）に示した腹部横断面層と類似した腹部横断面層が示されている。この腹部横断面層において特徴的な点である特徴点としては、例示として、特徴点Ｐ２からＰ５が示されている。この例では、特徴点Ｐ２は、２本の血管が交差する様に見える部位が特徴的な部位とし、特徴点として抽出され、特徴点Ｐ３からＰ５のそれぞれは、臓器の特徴的な部位から、特徴点として抽出されている。制御格子１２０１を変形することにより、浮動画像を変形することを説明するために、図１５の（Ａ）においては、画像上に配置された制御格子は、正方形の状態となっている場合が示されている。

Ｐ２からＰ５と、Ｐ２’からＰ５’は対応する特徴点である。対応点位置情報１５は前記の対応点ペアから得られる。制御格子変形部１６は前記対応点位置情報１５に基づいて、制御格子１２０１を変形させる。図１５の（Ｂ）の制御格子１２０１は変形後の制御格子である。図１５の（Ｂ）の浮動画像は変形される前の画像である。図１５の（Ｂ）の変形された制御格子１２０１、すなわち、より適切に設定された制御点の初期値を用いて、浮動画像を変形させると、位置合わせにおける精度の向上を図ることが可能となる。

制御格子１２０１に対して、初期設定が実施された後にも、制御格子１２０１は、位置合わせ部１０（図１）において、変形される。このときの変形は、参照画像におけるサンプリングデータと浮動画像から抽出された対応するサンプリング点におけるサンプリングデータとの比較に基づいて、行われる。すなわち、参照画像と浮動画像との間の類似度が最大化する様に、制御格子１２０１が変形され、浮動画像が変形される。

（実施の形態２）
＜概要＞
参照画像１１と浮動画像１２のそれぞれから、位置合わせの対象とする領域が抽出される。抽出された領域において、特徴点および対応点ペアの抽出が行われる。対応点ペアの位置情報を用いて、位置合わせ処理において使われるところの制御格子が変形される。これにより、画像処理装置を使う者が関心のある領域（関心領域）に対して、位置合わせを高速に行うことが可能となる。また、前記領域から抽出した対応点の位置情報は、位置合わせ処理の最適化計算にも用いられる。これによって、その最適化計算がより正確で、高速に収束することが可能となる。

＜構成および動作＞
実施の形態２においては、位置合わせ対象となる所定の領域から抽出した対応点ペアを用いて、制御格子を変形させ、変形された制御格子が位置合わせ処理に用いられる。上記所定の領域は、画像処理装置を用いる者が、例えば関心を持つ領域（関心領域）として指定される。また、位置合わせ処理に用いられる画像サンプリング点も、関心領域から抽出される。さらに、抽出した対応点ペアの位置情報は、画像類似度の計算に用いられる。これにより、関心領域における位置合わせの精度およびロバスト性をさらに向上させることが可能となる。以下では、実施の形態１との相違点を中心に説明する。そのため、実施の形態１と同じ構成要素については、原則、実施の形態１と本実施の形態との間では、同一の符号を付して、その詳細な説明は省略する。

図６は、実施の形態２に係わる画像処理装置の機能ブロック図である。実施の形態１で説明した構成要素に加えて、画像サンプリング部１３と特徴点検出・対応付け部１４よりも前段に、参照画像１１と浮動画像１２のそれぞれから関心領域を抽出する処理を実行するところの関心領域抽出部１９と関心領域抽出部２０とが追加されている。その他の構成は実施の形態１と同様である。関心領域抽出部１９と関心領域抽出部２０とが備える各機能部は、これらの機能を実現する回路デバイスなどのハードウェアを用いて構成することができる。また、これらの機能を実装したプログラムをＣＰＵなどの演算装置が実行することによって、関心領域抽出部１９と関心領域抽出部２０とが備える各機能を構成する様にしてもよい。

関心領域抽出部１９と２０は、それぞれ参照画像１１と浮動画像１２から、位置合わせ対象となる領域、例えば、臓器或いは臓器の中に含まれている管状領域、に相当する画像領域を抽出する。対象とする領域は、例えば、画像処理装置を使う使用者により特定される。

参照画像１１と浮動画像１２のそれぞれから、臓器領域を抽出する手法は、例えば公知のグラフカット法を用いることができる。グラフカット法は、領域分割問題をエネルギー最小化と捉え、画像から作成されるグラフにおいて定義したエネルギーが最小となるように、グラフを切断するアルゴリズムを用いて、領域境界を求める手法である。グラフカット法の他に、領域拡張法（ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ）あるいは閾値処理などの手法を用いることもできる。

関心領域抽出部１９と２０は、臓器全体ではなく、抽出した臓器領域の中から、管状領域を抽出することもできる。管状領域とは、例えば当該臓器が肝臓であれば血管部分に相当する領域であり、当該臓器が肺であれば気管支部分に相当する領域である。以下では、肝臓が存在している画像領域を位置合わせの対象として処理する例を説明する。すなわち、関心領域抽出部１９と２０は、参照画像１１と浮動画像１２から、それぞれの肝臓領域を分割して、さらに肝臓血管が含まれている画像領域を抽出する。

位置合わせの対象となる領域は、解剖学的に特徴的な画像データを用いることが望ましい。肝臓領域においては、特徴的な画像データを有する画像領域として、肝臓血管とその周辺領域（血管に隣接する肝実質領域）を含む画像領域が考えられる。すなわち、関心領域抽出部１９と２０の処理内容は、肝臓血管領域だけを抽出することではなく、肝臓血管と血管に隣接する肝実質領域を同時に抽出することである。そのため、高精度な領域分割などの処理は必要とされない。

図７は、関心領域抽出部１９と２０のそれぞれの処理を示すフローチャート図である。図７を用いて、肝臓血管とその隣接領域を抽出する処理を、以下説明する。

関心領域抽出部１９と２０のそれぞれは、参照画像１１と浮動画像１２から、肝臓領域を含む画像領域を抽出する（ステップＳ３０１）。抽出した肝臓領域画像の画素値を、下記式（２）にしたがって所定範囲内に収まる様に変換する（ステップＳ３０２）。例えば、０〜２００ＨＵ（Ｈｏｕｎｓｆｉｅｌｄ Ｕｎｉｔ：ＣＴ値の単位）の範囲内に収まる様に変換する。ここで、式（２）のＩ（ｘ）とＩ’（ｘ）のそれぞれは、変換前と変換後の画素値であり、ＩｍｉｎとＩｍａｘはそれぞれ変換範囲の最小値、例えば０（ＨＵ）、と最大値、例えば、２００（ＨＵ）である。

次に、肝臓領域画像に対して、例えばガウシアンフィルタを用いて、平滑化処理を行う（ステップＳ３０３）。続いて、平滑化された肝臓領域画像の画素値の平均値μと標準偏差σを算出する（ステップＳ３０４）。次に、ステップＳ３０５において、セグメンテーション処理用のしきい値を算出する。この算出は、例えば式（３）を用いて、しきい値Ｔを計算する。

取得したしきい値Ｔを用いて、肝臓領域画像を表すデータの画素値に対するしきい値処理を行う（ステップＳ３０６）。すなわち、各画素の画素値としきい値Ｔとを比較し、しきい値Ｔを上回る画素値を持つ画素を、血管領域の候補となる画像領域内の画素として抽出する。最後に、得られた画像領域に対して、ダイレーション（ｄｉｌａｔｉｏｎ）処理とエロージョン（ｅｒｏｓｉｏｎ）処理といったモルフォロジ（Ｍｏｒｐｈｏｌｏｇｙ）演算処理を、ステップＳ３０７において行う。この演算処理により、それぞれ孤立の画素の除去あるいは不連続な画素間の接続などの処理が行われる。以上の様な処理により、位置合わせのサンプリング処理、および特徴点の抽出処理の候補領域（対象領域）となる肝臓血管領域が抽出される。参照画像１１と浮動画像１２のそれぞれから抽出された肝臓血管領域は、画像サンプリング部１３（図６）と特徴点抽出・対応付け部１４（図６）へ出力される（ステップＳ３０８）。

図８の（Ａ）から（Ｃ）は、実施の形態２に係わる画像処理装置が処理する各画像の例を示す図である。図８の（Ａ）には、人体の腹部断面が示されている。すなわち、肝臓およびそれ以外の臓器を含む画像が示されている。

図８の（Ａ）において、１１０１は、肝臓領域とそれ以外の臓器領域を含む入力画像（参照画像１１および／あるいは浮動画像１２）である。図８の（Ｂ）において、１１０２は、画像１１０１から肝臓領域を抽出した結果の画像である。また、図８の（Ｃ）において、１１０３は、肝臓領域を抽出した画像１１０２から、血管領域を抽出した結果の画像である。この様にして、入力画像から、関心領域（肝臓領域および／あるいは血管領域）が抽出される。

画像サンプリング部１３は、関心領域抽出部１９から臓器領域あるいは管状領域に相当する画像領域を取得して、サンプリング処理を実施する。

一方、特徴点抽出・対応付け部１４は、関心領域抽出部１９と２０のそれぞれから取得した臓器領域（この例においては肝臓領域）あるいは／および管状領域に相当する画像領域に対して、特徴点の抽出および対応付け処理を実施する。その結果、対応点位置情報１５が生成され、制御格子変形部１６と位置合わせ部１０に出力される。対応点位置情報１５の生成は、実施の形態１において詳細に説明しているので、省略する。

実施の形態２において、制御格子変形部１６と位置合わせ部１０のそれぞれの処理も、実施の形態１と、原則的には同じである。しかしながら、実施の形態１に対して、本実施の形態においては、対応点位置情報１５が、位置合わせ部１０内の画像類似度算出部１００３においても用いられる様にされている。すなわち、実施の形態２においては、位置合わせ処理の精度を向上させるために、参照画像１１と浮動画像１２との間の画像類似度が最大となる最適化計算において、特徴点抽出・対応付け部１４から取得した対応点位置情報１５も用いられる。

例えば、画像類似度である相互情報量を最大化させると同時に、浮動画像１２上の特徴点に対し、対応点位置情報１５に基づいて座標変換を行い、変換後の座標と、参照画像１１上の対応点座標との幾何距離を最小化させる。上記した最適化計算において、例えば、式（４）に示すコスト関数Ｃ（Ｒ，Ｆ，Ｕ（ｘ））を最小化させる。

ここで、Ｒ、Ｆは参照画像１１と浮動画像１２であり、Ｕ（ｘ）は最適化計算により得られた各画素の移動量である。Ｓ（Ｒ，Ｆ，Ｕ（ｘ））は、参照画像１１と変換後の浮動画像１２との間の画像類似度を示す。また、Ｐは特徴点抽出・対応付け部１４により得られた特徴点の集合である。Ｖ（ｘ）は特徴点抽出・対応付け部１４により得られた各対応点の移動量である。Σ_ｘ∈Ｐ｜｜Ｕ（ｘ）−Ｖ（ｘ）｜｜^２は、上記特徴点の集合において、最適化計算により得られた各画素の移動量と、特徴点抽出・対応付け部１４により得られた各画素の移動量との幾何距離を表す。また、μは実験的に決める重みである。

このコスト関数Ｃを最小化させることによって、位置合わせ処理の最適化計算がより正確で、高速に収束することが可能となる。この様に、最小化するコスト関数Ｃの計算に、特徴点の位置に関する情報を取り込むことにより、初期設定で設定した制御格子も最適化計算に反映されることになり、最適化計算の過程で、初期設定により与えた特徴点の位置から大きく変化するのを制限することが可能となる。すなわち、初期設定により定めたところの特徴的な部位（画像における特徴的な部位）が、最適化計算の過程においても、考慮されることになる。

以上の様に、実施の形態２に係わる画像処理装置は、参照画像１１と浮動画像１２から、位置合わせ対象となる関心領域をそれぞれ抽出して、それらの関心領域から、特徴点の抽出と対応付けを行い、その対応点の位置情報を用いて、位置合わせ処理における制御格子を変形させる。これにより、特徴点の抽出と対応付けを行う領域が限定されるため、処理の高速化あるいは高精度化を図ることが可能となる。また、前記関心領域から抽出した対応点の位置情報を、位置合わせ処理の最適化計算にも用いる。これによって、その最適化計算がより正確で、高速に収束することが可能となる。

（実施の形態３）
＜概要＞
参照画像１１、参照画像１１における関心領域、位置合わせ済浮動画像１８、位置合わせ済浮動画像における関心領域が、画面において重ねて表示される。画像処理装置を使用する者（ユーザ）は、その表示を確認しながら、編集することが可能とされる。なお、本明細書において、編集は、特に限定しない限り、追加、修正および削除も含む。

＜構成および動作＞
実施の形態３においては、位置合わせの結果と関心領域の抽出結果とが、画面において重ねて表示される。ユーザは、画面から、各結果を目視確認し、参照画像１１と浮動画像１２における対応するランドマーク（特徴点）を手動で編集する。これにより、位置合わせの結果を編集することが可能とされる。

位置合わせ結果を編集する事項を除いて、他の構成は、上記した実施の形態１および２と同様であるため、以下では相違点を中心に説明する。なお、記載の便宜上、以下では、実施の形態２として説明した構成に対して、位置合わせ結果を編集する機能を追加した構成を例として説明する。もちろん、実施の形態１として説明した構成に対しても同様に追加することができる。

図９は、実施の形態３に係わる画像処理装置の論理的な構成を示すブロック図である。図９に示した画像処理装置は、上記した実施の形態２で説明した構成に加えて、画像表示部２１、ランドマーク手動修正・入力部２２を備える。なお、図９においては、位置合わせ部１０は、それを構成する各構成要素（図６においては、１００１から１００４）が省略されているが、これらの各構成要素は含まれているものと理解されたい。

画像表示部２１には、参照画像１１、浮動画像１２、対応点位置情報１５および位置合わせ済み浮動画像１８が供給される。更に、画像表示部２１には、関心領域抽出部１９および２０から、関心領域に関する情報が供給される。画像表示部２１は、供給された参照画像１１と位置合わせ済浮動画像１８に従って、参照画像１１と位置合わせ済浮動画像１８とを重ねて表示する。このとき、画像表示部２１は、抽出された参照画像１１における関心領域を参照画像１１の上に、その色を変えて透過的に重ねて、表示する。また、画像表示部２１は、供給された浮動画像１２、対応点位置情報１５および位置合わせ済み浮動画像１８に従って、浮動画像１２の関心領域に対し、位置合わせの結果を用いて座標変換を行い、位置合わせ済の浮動画像１８の上に、浮動画像１２に関心領域を、色を変えて透過的に重ねる。これらの表示は、相互に組み合わせて行うことができる。

さらに、画像表示部２１は、参照画像１１と、その関心領域と、関心領域における特徴点を透過的に重ねて、表示する。また、画像表示部２１は、浮動画像１２と、その関心領域と、関心領域における特徴点を透過的に重ねて、表示する。透過的に重ねて表示するとき、色を変えて、表示する。この様に、特徴点も、重ねて表示する様にすることによって、特徴点抽出と対応付けの結果を、目視で確認することができる。

医師などのユーザは、画像表示部２１に表示された結果を見ながら、位置合わせ処理が正確に行われたかどうかをチェックする。位置合わせ処理が正確に実行されていないと判断される場合、ユーザは、ランドマーク手動修正・入力部２２を用いて、例えば、正確でないと判断するランドマークに対して、手動で編集を行う。手動での編集の結果として得られた編集後の対応点位置情報１５は、位置合わせ部１０に出力される。位置合わせ部１０は、取得した編集後の対応点位置情報１５を用いて、変形済みの制御格子をさらに変形させて、制御点移動量情報１００１（図６）を更新して、浮動画像変形部１７に出力して、位置合わせ結果を修正する。

手動での編集により、図１６に示した対応点ペアにおいて、例えば参照画像上に特徴点座標および／あるいは浮動画像上の特徴点座標が編集される。例えば、番号２の対応点ペアの特徴点座標が編集される。編集後の対応点位置情報１５は、この様にして編集された対応点ペアの情報を有することになる。

ユーザは、上述した手動修正を実施しても、位置合わせ処理が正確に実行されていないと判断する場合には、手動での編集によって得られた編集後の対応点位置情報１５を用いて、位置合わせ処理における制御点の初期位置を修正して、ステップS１０４〜S１１０（図３）と同様の位置合わせ処理を実施し直す。

画像表示部２１は、例えば、図２に示した画像生成部４７とディスプレイ５２などの表示デバイスとを用いて構成される。また、ランドマーク手動修正・入力部２２は、その機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、その機能を実装したプログラムをＣＰＵなどの演算装置が実行することによって各機能を構成することもできる。この場合、編集のための手動入力として、図２に示した入力装置５１、入力制御部４６が用いられる。

この様に、実施の形態３においては、参照画像１１とその関心領域、位置合わせ済浮動画像１８と位置合わせ済浮動画像における関心領域が重ねて、画面に表示される。これにより、ユーザはその表示結果を見ながら、ランドマークを手動で編集を行い、制御点移動量情報１００１を調整して、位置合わせの結果を手動で修正することができる。さらに、手動で編集を実施しても、位置合わせ処理が正確に実行されていないと判断する場合には、手動での編集によって得られた対応点位置情報１５を用いて、位置合わせ処理における制御点の初期位置を修正して、位置合わせ処理を再び実施することができる。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記した実施の形態１〜３は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることもできる。また、ある実施の形態の構成に他の実施の形態の構成を加えることもできる。また、各実施の形態の構成の一部について、他の構成を追加・削除・置換することもできる。

上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

１０ 位置合わせ部
１１ 参照画像
１２ 浮動画像
１３ 画像サンプリング部
１４ 特徴点検出・対応付け部
１５ 対応点位置情報
１６ 制御格子変形部
１７ 浮動画像変形部
１８ 位置合わせ済浮動画像

Claims (9)

1. 複数の画像間で位置合わせを行う画像処理装置であって、
   前記複数の画像のうち、浮動画像とされる画像に対して制御格子を配置し、制御格子における制御点を移動させることにより、前記浮動画像を変形させ、前記複数の画像のうち、参照画像とされる画像との間で位置合わせを行う位置合わせ部と、
   前記浮動画像と前記参照画像のそれぞれから、互いに対応する特徴点を抽出し、前記浮動画像と前記参照画像のそれぞれから、前記特徴点に対応する位置を求める対応点設定部と、
   前記特徴点に対応する位置に従って、前記制御格子を変形させて、前記制御点の初期位置を定める制御格子変形部と、
   を具備し、
   前記位置合わせ部は、前記制御格子変形部により前記制御格子が変形された後、前記制御点を移動させて、前記浮動画像を変形させる、画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像処理装置は、プロセッサを具備し、
   前記位置合わせ部、前記対応点設定部および前記制御格子変形部のそれぞれは、前記プロセッサにおいて実行されるプログラムにより達成される、画像処理装置。
3. 参照画像と浮動画像との間の位置合わせを行う画像処理装置であって、
   前記参照画像と前記浮動画像のそれぞれから特徴点を抽出し、前記参照画像と前記浮動画像のそれぞれから、それぞれの前記特徴点に対応する点の位置を探索するところの対応点設定部と、
   前記浮動画像を変形するために、前記浮動画像に対して制御点を設置する制御点設置部と、
   前記対応する点の位置を用いて、前記制御点の初期位置を設定する初期位置設定部と、
   前記浮動画像における制御点の位置を移動することによって、前記浮動画像を変形させる変換部と、
   前記参照画像からサンプリング点を抽出するサンプリング部と、
   前記参照画像におけるサンプリング点に対応する、前記変形された浮動画像におけるサンプリング点を抽出する抽出部と、
   前記サンプリング部により抽出したサンプリング点と、前記抽出部により抽出されたサンプリング点とを用いて、前記参照画像と前記変形された浮動画像との間の類似度を算出する類似度計算部と、
   前記類似度に基づいて、前記変換部で用いる制御点を移動する量を計算する最適化部と、
   を具備し、前記変換部は、前記初期位置設定部で設定された前記初期位置から前記制御点を移動させることにより、前記浮動画像を変形させる、画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像処理装置は、前記参照画像と前記浮動画像のそれぞれにおいて、位置合わせの対象とする領域を抽出する領域抽出部を、具備し、
   前記対応点設定部は、前記参照画像と前記浮動画像のそれぞれにおいて抽出されたそれぞれの前記領域から、特徴点を抽出し、それぞれの前記領域から、該特徴点に対応する点の位置を探索し、
   前記サンプリング部は、前記参照画像における前記領域からサンプリング点を抽出し、
   前記類似度計算部は、抽出されたサンプリング点を用いて、前記参照画像における領域と前記浮動画像における領域との間の類似度を算出する、画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記領域抽出部により抽出される領域は、前記参照画像と前記浮動画像において、関心を有する関心領域である、画像処理装置。
6. 請求項３に記載の画像処理装置において、
   前記対応点設定部は、
   新な対応する点を入力する入力部と、
   前記設定された対応点を編集する編集部と、
   を具備する、画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記変換部は、前記入力部によって入力された対応する点を用いて、前記制御点の位置を移動し、前記浮動画像を変形させる、画像処理装置。
8. 参照画像と浮動画像との間の位置を合わせる画像処理方法であって、
   前記参照画像と前記浮動画像のそれぞれから特徴点を抽出し、前記参照画像と前記浮動画像のそれぞれから、それぞれの前記特徴点に対応する点の位置を探索する、対応点設定ステップと、
   前記浮動画像を変形するために、前記浮動画像に、制御点を設置する制御点設置ステップと、
   それぞれの前記対応する点の位置を用いて、前記制御点の初期位置を設定する初期位置設定ステップと、
   前記浮動画像における制御点の位置を移動することによって、前記浮動画像を変形させる変換ステップと、
   前記参照画像からサンプリング点を抽出するサンプリングステップと、
   前記参照画像におけるサンプリング点に対応するところの、前記変形された浮動画像におけるサンプリング点を抽出する抽出ステップと、
   前記参照画像におけるサンプリング点と、前記変形された浮動画像におけるサンプリング点とを用いて、前記参照画像と前記浮動画像との間の類似度を算出する類似度計算ステップと、
   前記類似度に基づいて、前記変換ステップで用いる制御点を移動させる量を計算する最適化ステップと、
   を具備し、前記変換ステップは、前記浮動画像における制御点の位置を、前記初期位置から移動させることにより、前記浮動画像を変形させる、画像処理方法。
9. 請求項８に記載の画像処理方法において、
   前記対応点設定ステップ、前記制御点設置ステップ、前記初期位置設定ステップ、前記変換ステップ、前記サンプリングステップ、前記抽出ステップ、前記類似度計算ステップおよび前記最適化ステップは、データセンタに設置されたサーバがプログラムを実行することにより、達成され、画像処理の結果は、前記サーバに接続されたクライアント端末へ送信される、画像処理方法。