JP5925576B2

JP5925576B2 - 画像処理装置、画像処理方法

Info

Publication number: JP5925576B2
Application number: JP2012098109A
Authority: JP
Inventors: 子盛黎; 栗原　恒弥; 恒弥栗原; 和喜松崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2012-04-23
Filing date: 2012-04-23
Publication date: 2016-05-25
Anticipated expiration: 2032-04-23
Also published as: JP2013223674A; WO2013161112A1

Description

本発明は、複数枚の画像間の位置を合わせる技術に関する。

２次元または３次元の複数枚の画像間で位置を合わせる技術は、様々な分野において重要な技術である。例えば、医用画像の分野では、ＣＴ画像、ＭＲ画像、ＰＥＴ画像、超音波画像など、様々な種類の３次元画像の位置を合わせて、重ね合わせて表示するために、画像位置合わせ技術が利用される。このような表示方法はフュージョン画像表示と呼ばれており、画像の特徴を生かした表示が可能となる。たとえば、ＣＴ画像は詳細な形状の表示に適しており、ＰＥＴ画像は代謝や血流などの体の機能の表示に適している（例えば、特許文献１参照）。

さらに、同一患者の経過を観察するためには、時系列に取得した医用画像の位置を合わせることによって、病変部の状態を観察して、疾病の有無や状況の診断を容易に実施できるようにすることができる。ただし、異なる時期に医用画像を撮影する場合、患者の体勢や呼吸状態などの変化によって、対象臓器の位置も変化する。臓器の位置関係の変化に対応するため、画像全体ではなく、臓器領域だけを用いて位置合わせを実施する方法が提案されている（例えば、特許文献２参照）。

２次元または３次元画像の位置合わせにおいては、固定される画像を参照画像と呼び、位置合わせのために座標変換される画像を浮動画像と呼ぶ。画像間の位置合わせの手法としては、画像類似度を用いた反復的位置合わせ法と、ランドマークを用いた位置合わせ法が一般的に知られている。

画像類似度に基づいた位置合わせ法においては、浮動画像に対して座標変換を実施し、変換された浮動画像と参照画像との間の類似度を求め、類似度が最大となる座標変換を繰り返し計算によって求める。画像間の類似度として、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）や相互情報量（非特許文献１参照）などが一般に用いられている。

ランドマークに基づいた位置合わせ法においては、医用画像中の特徴的な部位に対して設定されるランドマークペアの位置情報を用いて、位置合わせの幾何変換パラメータを求める。ランドマークを用いた位置合わせに関する技術として、臓器血管の分岐点を用いた位置合わせ方法が提案されている（例えば、特許文献３参照）。画像特徴点を抽出する技術としては、例えば非特許文献２に記載されているものがある。

特開２００９−１１２４６８号公報特開２００７−２９５０２号公報特開２０１１−１２０７０９号公報

F. Maes, A. Collignon, D. Vandermeulen, G. Marchal, and P. Suetens, "Multi-modality image registration maximization of mu-tual information", In Proceedings of MMBIA, pp. 14-22, 1996. K. Mikolajczyk and C. Schmid, "A performance evalua-tion of local descriptors", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 10, pp. 1615-1630, 2005.

上述の画像類似度に基づいた位置合わせ法においても、ランドマークに基づいた位置合わせ法においても、それぞれに克服されていない課題が存在する。

画像類似度を用いた位置合わせ法においては、臓器領域、例えば肝実質の輝度値が全体的に低く、均一であるため、画像間の対応領域、すなわち、肝臓同士の画像類似度を正確に求めるのが困難である。そのため、位置合わせの精度が低下し、または位置合わせが失敗する可能性がある。

ランドマークを用いた位置合わせ方法においては、分岐点の位置を高精度に推定し、血管を正確にグラフ表現することが必要とされる。しかし、臓器血管、例えば肝臓血管を正確に抽出することは現実的に非常に困難である。

本発明は、上記のような課題に鑑みてなされたものであり、位置合わせ処理のロバスト性と精度が高い画像処理技術を提供することを目的とする。

本発明に係る画像処理装置は、位置合わせする画像それぞれから臓器領域を抽出し、参照画像（第１画像）から抽出した臓器領域のなかで輝度が閾値以上の領域からサンプリング点を抽出し、そのサンプリング点における参照画像と浮動画像（第２画像）の間の類似度にしたがって、位置合わせを実施する。

本発明に係る画像処理装置は、輝度値が全体的に低く、かつ均一である臓器全体の画素ではなく、統計的に輝度値の高い部分（例えば臓器の管状部分）を含む領域のサンプル点を用いて位置合わせを実施する。これにより、対象臓器における画像類似度を精度よく計算し、安定的かつ高精度な位置合わせ処理を実施できる。また、臓器血管を高精度に抽出しなくても、画像位置合わせの精度を高めることができる。
上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかになるであろう。

実施形態１に係る画像処理装置１００の論理的な構成を示すブロック図である。画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００の全体動作を説明するフローチャートである。画像処理装置１００が処理する各画像の例を示す図である。図３のステップＳ２０３において管状領域抽出部１４が肝臓血管とその隣接領域を抽出する処理を説明するフローチャートである。図３のステップＳ２０４において管状領域サンプリング部１５がサンプリング点を抽出する処理を説明するフローチャートである。管状領域サンプリング部１５が抽出するサンプリング点のデータ構造を３次元画像の例として示すデータ構造図である。位置合わせ部１０の処理を説明するフローチャートである。実施形態２に係る画像処理装置１００の機能ブロック図である。初期幾何変換情報設定部２０の動作を説明するフローチャートである。画像特徴点検出部２００１と２０１１が抽出する画像特徴点のデータ構造を、３次元画像の例として示すデータ構造図である。実施形態３に係る画像処理装置１００の論理的な構成を示すブロック図である。実施形態３に係る画像処理装置１００の全体動作を説明するフローチャートである。

＜実施の形態１：構成および動作＞
図１は、本発明の実施形態１に係る画像処理装置１００の論理的な構成を示すブロック図である。画像処理装置１００は、参照画像１１と浮動画像１２を互いに位置合わせする装置であり、臓器領域抽出部１３および１７、管状領域抽出部１４、管状領域サンプリング部１５、位置合わせ部１０を備える。

臓器領域抽出部１３は参照画像１１を取得し、そのなかから臓器が存在する領域（臓器領域）を抽出する。管状領域抽出部１４は、臓器領域抽出部１３が抽出した臓器領域のなかから、閾値以上の輝度を有する領域を、管状領域として抽出する。管状領域サンプリング部１５は、管状領域抽出部１４が抽出した管状領域のなかからサンプリング点を抽出して位置合わせ部１０に出力する。臓器領域抽出部１７は浮動画像１２を取得し、そのなかから臓器領域抽出部１３と同じ臓器領域を抽出して位置合わせ部１０に出力する。位置合わせ部１０は、各部から受け取った画像部分にしたがって位置合わせを実施し、その結果を位置合わせ済浮動画像１６として出力する。これら動作の詳細は後述する。

臓器領域抽出部１３、管状領域抽出部１４、管状領域サンプリング部１５、位置合わせ部１０は、これらの機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したプログラムをＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などの演算装置が実行することによって各機能を構成することもできる。本実施形態１では、図２において後述するように、プログラムとして各機能部を実装することとする。

図２は、画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００は、一般的な計算機上に実装することができる。画像処理装置１００は、ＣＰＵ４０、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）４１、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）４２、記憶装置４３、画像入力部４４、媒体入力部４５、入力制御部４６、画像生成部４７を備える。これら機能部は、データバス４８によって相互に接続される。

ＣＰＵ４０は、ＲＯＭ４１またはＲＡＭ４２に記憶されたプログラムを実行することによって、各種処理を実行する。ＲＯＭ４１とＲＡＭ４２は、各種処理を実行するために必要なプログラムおよびデータを記憶する。ＲＯＭ４１は、読出専用の記憶媒体である。ＲＡＭ４２は、データの読み書きが可能な記憶媒体である。

記憶装置４３は、入力画像などを格納する磁気記憶装置である。記憶装置４３は、不揮発性半導体記憶媒体（例えば、フラッシュメモリ）を備えてもよい。また、ネットワークなどを介して接続された外部記憶装置を利用してもよい。

ＣＰＵ４０が実行するプログラムを、記憶媒体５０（例えば、光ディスク）に格納しておき、媒体入力部４５（例えば、光ディスクドライブ）がそのプログラムを読み込んでＲＡＭ４２に格納することができる。記憶装置４３に当該プログラムを格納しておき、記憶装置４３からそのプログラムをＲＡＭ４２にロードしてもよい。また、ＲＯＭ４１にあらかじめプログラムを記憶させておいてもよい。

ＣＰＵ４０が各プログラムを実行することにより、臓器領域抽出部１３、管状領域抽出部１４、管状領域サンプリング部１５、位置合わせ部１０が機能する。

画像入力部４４は、画像撮像装置４９が撮影した画像が入力されるインターフェースである。ＣＰＵ４０は、画像撮像装置４９から入力された画像を用いて各処理を実行する。

媒体入力部４５は、記憶媒体５０に記憶されたデータおよびプログラムを読み出す。記憶媒体５０から読み出されたデータおよびプログラムは、ＣＰＵ４０によって、ＲＡＭ４２または記憶装置４３に格納される。

入力制御部４６は、入力装置５１（例えば、キーボード）から、ユーザによって入力された操作入力を受け付けるインターフェースである。入力制御部４６が受けた操作入力は、ＣＰＵ４０によって処理される。

画像生成部４７は、図１に示す位置合わせ部１０によって位置合わせ処理がされた浮動画像１２から画像データを生成し、生成された画像データをディスプレイ５２に送る。ディスプレイ５２は、その画像を画面表示する。

図３は、画像処理装置１００の全体動作を説明するフローチャートである。以下、図３の各ステップについて説明する。
臓器領域抽出部１３と１７は、それぞれ参照画像１１と浮動画像１２を取得する（Ｓ２０１）。臓器領域抽出部１３は参照画像１１の臓器領域画像を抽出し、臓器領域抽出部１７は浮動画像１２の臓器領域画像を抽出する（Ｓ２０２）。臓器領域抽出部１７が抽出した浮動画像の臓器領域画像は、位置合わせ部１０に入力される。ステップＳ２０２の詳細は後述する。

管状領域抽出部１４は、臓器領域抽出部１３が抽出した参照画像１１の臓器領域画像を受け取り、そのなかからサンプリング候補領域として、管状の部位が存在している領域（管状領域）に相当する画像領域を抽出する（Ｓ２０３）。管状領域とは、例えば当該臓器の血管部分や、当該臓器が肺であれば気管支部分に相当する領域である。ステップＳ２０３の詳細は後述する。

管状領域サンプリング部１５は、参照画像１１の管状領域において、参照画像１１と浮動画像１２の画像類似度を計算するためのサンプリング点を抽出し、位置合わせ部１０に出力する（Ｓ２０４）。ステップＳ２０４の詳細は後述する。

位置合わせ部１０は、参照画像１１の管状領域から抽出されたサンプリング点の座標を、浮動画像１２の臓器領域画像上において対応する点の座標へ、幾何変換する（Ｓ２０５）。位置合わせ部１０は、参照画像１１と浮動画像１２それぞれの対応する領域間の画像類似度を計算し（Ｓ２０６）、その画像類似度を最大化する（Ｓ２０７）する。位置合わせ部１０は、画像類似度を最大化する幾何変換情報１００５を取得する（Ｓ２０８）。位置合わせ部１０は、幾何変換情報１００５を用いて、浮動画像１２に対して幾何変換を実施して位置合わせ済浮動画像１６を生成し、出力する（Ｓ２０９）。ステップＳ２０５〜Ｓ２０９の詳細については後述する。

図４は、画像処理装置１００が処理する各画像の例を示す図である。ステップＳ２０１において、臓器領域抽出部１３は参照画像１１０１を取得し、臓器領域抽出部１７は浮動画像１１０２を取得する。ステップＳ２０２において、臓器領域抽出部１３は参照画像１１０１から臓器領域を抽出し、臓器領域抽出部１７は浮動画像１１０２から臓器領域を抽出する。画像１１０３と１１０６は、それぞれ臓器領域を抽出した結果を示す。ステップＳ２０３において、管状領域抽出部１４は画像１１０３から管状領域を抽出する。画像１１０４はその結果を示す。ステップＳ２０４において、管状領域サンプリング部１５は画像１１０４からサンプリング点を抽出する。画像１１０５はその結果を示す。

＜実施の形態１：臓器領域抽出部＞
臓器領域抽出部１３と１７は、それぞれ参照画像１１と浮動画像１２から、位置合わせ対象となる臓器に相当する画像領域を抽出する。臓器領域を抽出する手法については、例えば公知のグラフカット法を用いることができる。グラフカット法は、領域分割問題をエネルギー最小化ととらえ、画像から作成されるグラフにおいて定義したエネルギーが最小となるように、グラフを切断するアルゴリズムを用いて、領域境界を求める手法である。グラフカット法の他に、領域拡張法（ｒｅｇｉｏｎｇｒｏｗｉｎｇ）や閾値処理などの手法を用いることもできる。

以下の説明では、肝臓が存在している画像領域を位置合わせの対象として処理する例を説明する。すなわち臓器領域抽出部１３と１７は、参照画像１１と浮動画像１２から、それぞれの肝臓領域に相当する画像領域を抽出する。

＜実施の形態１：管状領域抽出部＞
臓器領域抽出部１３が抽出した肝臓領域には、肝臓血管に相当する画像領域や、肝臓血管を含まない肝実質に相当する画像領域などが含まれている。管状領域抽出部１４は、画像類似度の計算に用いるサンプリング候補領域を肝臓領域から抽出する。

位置合わせの対象となる領域は、解剖学的に特徴的な画像データを用いることが望ましい。特徴的な画像データの画素値は、一般的に広範囲にわたって分布する。肝実質領域の画素値（ＣＴ値など）は全体的に低輝度かつ単調であるため、画素値のヒストグラムが偏り、位置合わせ処理における画像類似度計算に用いることは望ましくない。肝臓領域においては、特徴的な画像データを有する画像領域として、肝臓血管とその周辺領域（血管に隣接する肝実質領域）を含む画像領域が考えられる。すなわち、管状領域抽出部１３の処理内容は、肝臓血管領域だけを抽出することではなく、肝臓血管と血管に隣接する肝実質領域を同時に抽出することである。そのため、高精度な領域分割や正確な血管グラフ化などの処理は必要としない。

図５は、図３のステップＳ２０３において管状領域抽出部１４が肝臓血管とその隣接領域を抽出する処理を説明するフローチャートである。以下、図５の各ステップについて説明する。

管状領域抽出部１４は、臓器領域抽出部１３が抽出した肝臓領域画像データを取得する（Ｓ３０１）。管状領域抽出部１４は、肝臓領域画像の画素値を、下記式１にしたがって所定範囲内に収まるように変換する（Ｓ３０２）。例えば、（０）〜（２００）ＨＵ（ＨｏｕｎｓｆｉｅｌｄＵｎｉｔ: ＣＴ値の単位）に変換する。式１のＩ(ｘ) とＩ’(ｘ)はそれぞれ変換前後の画素値であり、ＩｍｉｎとＩｍａｘはそれぞれ変換範囲の最小値、例えば０（ＨＵ）、と最大値、例えば、２００（ＨＵ）である。

管状領域抽出部１４は、肝臓領域画像に対し、例えばガウシアンフィルタを用いて、平滑化処理を実施する（Ｓ３０３）。管状領域抽出部１４は、平滑化された肝臓領域画像の画素値の平均値μと標準偏差σを算出し（Ｓ３０４）、これらを用いて下記式２にしたがって閾値Ｔを計算する（Ｓ３０５）。管状領域抽出部１４は、計算した閾値Ｔを用いて、肝臓領域画像データの画素値に対する閾値処理を実施する（Ｓ３０６）。すなわち、各画素の輝度値と閾値Ｔとを比較し、閾値Ｔを上回る輝度値を持つ画素を、血管領域の候補となる画像領域として抽出する。

管状領域抽出部１４は、ステップＳ３０６で得られた画像領域に対して、ダイレーション（ｄｉｌａｔｉｏｎ）処理やエロージョン（ｅｒｏｓｉｏｎ）処理といったモーフォロジー（Ｍｏｒｐｈｏｌｏｇｙ）演算処理によって、それぞれ孤立の画素の除去や不連続な画素の接続などを実施する（Ｓ３０７）。以上の処理により、位置合わせのサンプリング候補領域となる肝臓血管領域が抽出される。管状領域抽出部１４は、抽出結果を管状領域サンプリング部１５に出力する（Ｓ３０８）。

＜実施の形態１：管状領域サンプリング部＞
管状領域サンプリング部１５は、管状領域抽出部１４が参照画像１１から抽出した、サンプリング候補領域となる管状領域から、画像類似度の計算に用いる画素をサンプリングする。

図６は、図３のステップＳ２０４において管状領域サンプリング部１５がサンプリング点を抽出する処理を説明するフローチャートである。以下、図６の各ステップについて説明する。

管状領域サンプリング部１５は、管状領域抽出部１４が抽出した肝臓血管領域画像（サンプリングの候補となる領域の画像）を取得する（Ｓ４０１）。管状領域サンプリング部１５は、肝臓血管領域画像の全画素の座標を取得して、座標リストを作成する（Ｓ４０２）。

管状領域サンプリング部１５は、得られた肝臓血管領域画像の画素数を、画像類似度計算用の所定サンプル数と比較する（Ｓ４０３）。所定サンプル数とは、画像の類似度を求めるために使用するサンプル数である。この所定サンプル数は実験的に設定してもよく、ユーザが指定入力する値を用いてもよい。

肝臓血管領域画像の画素数が所定サンプル数より多い場合には、計算負荷を削減するため、管状領域サンプリング部１５はランダムサンプリング処理を実施する。具体的には、ステップＳ４０２で作成した座標リストからランダムにサンプリング点の候補となる画素の座標を選定し（Ｓ４０５）、選択された画素の数を所定サンプル数と同じにする。

管状領域サンプリング部１５は、得られたサンプリング点候補の各々の座標を、画素領域内において、［−０．５，０．５］の範囲内の乱数で移動させて、新しい座標を生成する（Ｓ４０６）。

肝臓血管領域画像の画素数が所定サンプル数より少ない場合には、ランダムサンプリング処理によって、サンプリング点の候補を所定サンプル数まで増加し（Ｓ４０４）、ステップＳ４０６を実施する。

管状領域サンプリング部１５は、各サンプリング点の新しい座標位置の輝度値に対し、対応する原座標の位置の近傍画素からの距離に応じた重み付きの補間演算により算出する（Ｓ４０７）。サンプリング点候補の座標位置の輝度値をそのまま位置合わせにおいて用いると、位置合わせのために用いる評価関数が非連続となる場合があるため、本ステップによりランダムサンプリングした画素の輝度値を補正することとしたものである。管状領域サンプリング部１５は、サンプリングした点の画素データを位置合わせ部１０に出力する（Ｓ４０８）。

図７は、管状領域サンプリング部１５が抽出するサンプリング点のデータ構造を３次元画像の例として示すデータ構造図である。Ｎはサンプル数である。各サンプル点は、参照画像１１の３次元座標（Ｘ，Ｙ，Ｚ）、同座標における参照画像１１の輝度値Ｉ（Ｘ，Ｙ，Ｚ）を有する。サンプリング点の座標は、ステップＳ４０４〜Ｓ４０５において抽出された点の座標である。サンプリング点の輝度値は、ステップＳ４０６において算出された輝度値である。

＜実施の形態１：位置合わせ部＞
位置合わせ部１０は、座標幾何変換部１００１、画像類似度算出部１００２、画像類似度最大化部１００３、浮動画像幾何変換部１００４を備える。これら各機能部の動作については次の図８で説明する。

図８は、位置合わせ部１０の処理を説明するフローチャートである。以下、図８の各ステップについて説明する。
座標幾何変換部１００１は、管状領域サンプリング部１５が参照画像１１の肝臓血管領域からサンプリングした点の画素データを取得し（Ｓ６０１）、さらに臓器領域抽出部１７が浮動画像１２から抽出した肝臓領域の画像データを取得する（Ｓ６０２）。

座標幾何変換部１００１は、幾何変換情報１００５の初期値を設定する（Ｓ６０３）。幾何変換情報１００５の初期値は、ユーザが指定入力してもよく、まったく幾何変換しない、すなわち恒等変換を初期値としてもよい。

座標幾何変換部１００１は、参照画像１１のサンプリング点の座標に対して、幾何変換情報１００５を用いて座標変換を実施する（Ｓ６０４）。本ステップは、参照画像１１のサンプリング点に対応する、浮動画像１２上の肝臓領域における画像データの座標を計算するためのものである。

参照画像１１のサンプリング点に対応する座標変換後の浮動画像１２のサンプリング点が、位置合わせ対象である浮動画像１２の肝臓領域以外の位置に割り当てられる、すなわち、肝臓領域のマスク以外に出る可能性がある。この場合には、座標幾何変換部１００１は、マスク外の対応サンプリング点を除外して、ステップＳ４０４〜Ｓ４０５と同様のランダムサンプリング処理によって参照画像１１から新たにサンプリング点を追加し、改めて浮動画像１２上の対応するサンプリング点を求める（Ｓ６０５）。

幾何変換部１００１は、浮動画像１２の各対応サンプリング点に対し、ステップＳ４０７と同様の補間演算により、そのサンプリング点の輝度値を算出する。幾何変換部１００１は、得られた輝度値とサンプリング点の座標を、図７で説明したサンプリング点データ構造に格納する（Ｓ６０６）。

画像類似度算出部１００２は、参照画像１１のサンプリング点データと、幾何変換後の浮動画像１２の対応サンプリング点データを取得する。画像類似度算出部１００２は、これらのサンプリング点データを所定の評価関数に適用して、参照画像１１と浮動画像１２の間の画像類似度を演算する（Ｓ６０７）。画像類似度としては、非特許文献２に記載されている相互情報量を使用することができる。

画像類似度最大化部１００３は、画像類似度算出部１００２が算出した、参照画像１１と浮動画像１２の間の画像類似度を取得する。画像類似度最大化部１００３は、参照画像１１と浮動画像１２の間の画像類似度が最大（または極大）となる幾何変換パラメータを求めるため、収束計算を実施する（Ｓ６０８）。

ステップＳ６０８において画像類似度が収束していない場合は、より高い画像類似度を得るため、画像類似度最大化部１００３は幾何変換情報１００５を更新する（Ｓ６０９）。そして、更新された幾何変換情報１００５を用い、ステップＳ６０４〜Ｓ６０８を改めて実施する。

ステップＳ６０８において画像類似度が収束している場合は、浮動画像幾何変換部１００４は、求められた幾何変換情報１００５を用いて浮動画像１２を幾何変換し、位置合わせ済浮動画像１６を生成する（Ｓ６１０）。以上の処理によって、位置合わせ部１０の処理が完了する。

＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る画像処理装置１００は、参照画像１１と浮動画像１２からそれぞれ臓器領域を抽出し、参照画像１１の臓器領域か管状部分を含む領域を抽出し、管状領域から抽出されたサンプル点と浮動画像１２の対応するサンプル点を用いて画像類似度を算出する。これにより、対象臓器について精度よく画像類似度を計算することができるので、安定的かつ高精度な位置合わせ処理を実現できる。

また、本実施形態１に係る画像処理装置１００は、管状部位とその周辺部位を含む画像領域を管状領域として抽出するので、臓器血管を高精度に抽出しなくても、精度よく画像位置合わせを実行することができる。

本実施形態１において、管状領域抽出部１４は、式２にしたがって管状領域を抽出するための閾値を設定するが、これに代えてユーザが手動で同閾値を指定入力することもできる。この場合は管状領域抽出部１４がその指定入力にしたがって抽出を実施する。すなわち管状領域抽出部１４は、本実施形態１における「閾値設定部」として動作することができる。

本実施形態１は、肝臓領域を位置合わせの対象の例として説明したが、他の臓器（例えば、肺、心臓など）や他のモダリティ画像についても本実施形態１で説明した手法を適用することができる。以下の実施形態についても同様である。

＜実施の形態２＞
本発明の実施形態２では、画像特徴点を用いて幾何変換の初期値を設定する構成例を説明する。これにより、位置合わせの精度やロバスト性をさらに向上させることを図る。幾何変換の初期値を設定する構成の他は実施形態１と概ね同様であるため、以下では差異点を中心に説明する。

図９は、本実施形態２に係る画像処理装置１００の機能ブロック図である。実施形態１で説明した構成に加えて、位置合わせ部１０よりも前段に、浮動画像１２の管状領域抽出処理（管状領域抽出部１８）と初期幾何変換情報の設定処理（初期幾何変換情報設定部２０）を追加している。その他の構成は実施形態１と同様である。

管状領域抽出部１８、初期幾何変換情報設定部２０、および初期幾何変換情報設定部２０が備える各機能部は、これらの機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したプログラムをＣＰＵなどの演算装置が実行することによって各機能を構成することもできる。

管状領域抽出部１８は、管状領域抽出部１４と同様の手順を用いて、浮動画像１２の臓器領域から管状領域を抽出する。

初期幾何変換情報設定部２０は、幾何変換情報１００５の初期値を設定する機能部であり、画像特徴点検出部２００１および２０１１、特徴点対応付け部２００２、幾何変換情報推定部２００３を備える。

図１０は、初期幾何変換情報設定部２０の動作を説明するフローチャートである。以下、図１０の各ステップについて説明する。
臓器領域抽出部１３と１７は、それぞれ参照画像１１と浮動画像１２を取得する（Ｓ７０１）。臓器領域抽出部１３と１７は、参照画像１１と浮動画像１２からそれぞれ、臓器領域画像、例えば、肝臓領域画像を抽出する（Ｓ７０２）。抽出された参照画像１１と浮動画像１２それぞれの肝臓領域画像は、管状領域抽出部１４と１８に入力される。

管状領域抽出部１４と１８は、肝臓領域画像から参照画像１１と浮動画像１２それぞれの肝臓血管領域画像を抽出する（Ｓ７０３）。抽出された各肝臓血管領域画像は、それぞれ画像特徴点検出部２００１と２０１１に入力される。

画像特徴点検出部２００１と２０１１は、各肝臓血管領域画像における画像特徴点を検出し、各特徴点の特徴量を記録する（Ｓ７０４）。記録形式については後述の図１１で説明する。参照画像１１と浮動画像１２それぞれの肝臓血管領域画像から得られた画像特徴点および特徴量は、特徴点対応付け部２００２に入力される。

特徴点対応付け部２００２は、参照画像１１の肝臓血管領域上の特徴点に対応する、浮動画像１２の肝臓血管領域上の点を探索する（Ｓ７０５）。具体的に説明すると、参照画像１１中のある特徴点Ｐ^ｒと浮動画像１２中のある特徴点Ｐ^ｆの特徴量をそれぞれ、Ｖ^ｒとＶ^ｆすると、特徴量間ユークリッド距離ｄは下記式３により算出される。Ｍは特徴量の次元である。

特徴点対応付け部２００２は、参照画像１１の肝臓血管領域におけるある１点の特徴点の特徴量について、浮動画像１２の肝臓血管領域に含まれる全ての特徴点の特徴量との間の距離ｄを算出し、その中で最もｄが最小となる特徴点同士を、互いに対応する点として検出する。

距離ｄが大きい対応点ペアは信頼性が低いと判断できるため、特徴点対応付け部２００２は、実験的に設定した閾値を上回る距離を有する対応点ペアは、誤対応ペアとして以後の処理対象から除外する（Ｓ７０６）。各肝臓血管領域から検出された対応点ペアは幾何変換情報推定部２００３に入力される。

幾何変換情報推定部２００３は、対応点ペアの位置情報を用いて、対応点間の座標変換のパラメータを決定する（Ｓ７０７）。幾何変換のパラメータを設定する手法としては、例えば、対応点ペアの座標に対して、対応点間の幾何距離の２乗和を最小とする公知のＳＶＤ（ｓｉｎｇｕｌａｒｖａｌｕｅｄｅｃｏｍｐｏｓｉｔｉｏｎ）法を適用することができる。

幾何変換情報推定部２００３は、得られた幾何変換のパラメータを、幾何変換情報１００５の初期値として、位置合わせ部１０に出力する（Ｓ７０８）。

図１１は、画像特徴点検出部２００１と２０１１が抽出する画像特徴点のデータ構造を、３次元画像の例として示すデータ構造図である。Ｖ_ｉは特徴量ベクトルであり、Ｌは特徴点の数である。

画像特徴点の検出手法と記述手法については、非特許文献２に記載されている手法を用いることができる。例えば、画像局所領域における輝度の勾配方向を記述するＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）特徴点を検出および記述する手法を用いることができる。位置合わせ対象となる画像が３次元画像である場合には、画像特徴点の検出と特徴量記述手法を、２次元から３次元へ拡張すればよい。

位置合わせ処理におけるサンプリング候補領域画像が肝臓血管領域画像であるため、画像特徴点の検出と記述する処理は画像全体に対して実施する必要はなく、管状領域抽出部１４と１８が抽出した肝臓血管領域画像データに対して実施すればよい。

＜実施の形態２：まとめ＞
以上のように、本実施形態２に係る画像処理装置１００は、参照画像１１と浮動画像１２それぞれの管状領域から画像特徴点を抽出して特徴点同士を対応付け、その対応点の位置情報を用いて、幾何変換情報１００５の初期値を設定する。これにより、位置合わせ処理の精度とロバスト性を向上させることができる。

＜実施の形態３＞
本発明の実施形態３では、位置合わせの結果と肝臓血管領域の抽出結果を重ねて画面表示することによってユーザが各結果を目視確認し、ユーザが幾何変換情報１００５を手動入力して位置合わせ結果を修正する構成例を説明する。位置合わせ結果を修正する点以外の構成については実施形態１〜２と同様であるため、以下では差異点を中心に説明する。なお記載の便宜上、以下では実施形態１の構成において位置合わせ結果を修正する機能を追加した構成例を説明する。

図１２は、本実施形態３に係る画像処理装置１００の論理的な構成を示すブロック図である。図１２に示す画像処理装置１００は、実施形態１で説明した構成に加えて、管状領域抽出部１８、画像表示部３１、幾何変換情報手動入力部３２を備える。

管状領域抽出部１８については実施形態２で説明したものと同様である。位置合わせ部１０は、位置合わせ済浮動画像１０に加えて、幾何変換を実施した後の浮動画像１２の管状領域画像（位置合わせ済浮動画像管状領域３３）を出力する。画像表示部３１は、これら画像を重ね合わせて画面表示する。幾何変換情報手動入力部３２は、幾何変換情報１００５を手動調整するための操作入力を受け取り、幾何変換情報１００５に反映する。

幾何変換情報手動入力部３２は、その機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、その機能を実装したプログラムをＣＰＵなどの演算装置が実行することによって各機能を構成することもできる。画像表示部３１は、ディスプレイなどの表示デバイスを用いて構成することができる。

図１３は、本実施形態３に係る画像処理装置１００の全体動作を説明するフローチャートである。以下、図１３の各ステップについて説明する。

臓器領域抽出部１３と臓器領域抽出部１７は、それぞれ参照画像１１と浮動画像１２を取得し、臓器領域を抽出する（Ｓ１３０１）。管状領域抽出部１４と１８は、参照画像１１と浮動画像１２の臓器領域からそれぞれ管状領域を抽出する（Ｓ１３０２）。管状領域サンプリング部１５、位置合わせ部１０は、実施形態１で説明した手法により位置合わせ処理を実行する（Ｓ１３０３）。位置合わせ部１０は、浮動画像１２とその管状領域に対して、位置合わせの結果得られた幾何変換パラメータを用いて幾何変換を実施する（Ｓ１３０４）。

位置合わせ部１０は、位置合わせ済浮動画像１６とその管状領域画像（位置合わせ済浮動画像管状領域３３）を生成し（Ｓ１３０５）、画像表示部３１に入力する。一方、参照画像１１と、管状領域抽出部１４から抽出された参照画像１１の管状領域画像も、画像表示部３１に入力される。

画像表示部３１は、参照画像データ１１と位置合わせ済浮動画像データ１６を重ねて表示することができる。さらに画像表示部３１は、抽出された参照画像１１の管状領域画像を参照画像１１の上に色を変えて透過的に重ねる。また、位置合わせ済の浮動画像管状領域３３を位置合わせ済浮動画像１６の上に色を変えて透過的に重ねる（Ｓ１３０６）。

医師などのユーザは、画像表示部３１上に表示された結果を見ながら、位置合わせ処理が正確に行われたかどうかをチェックする（Ｓ１３０７）。位置合わせ処理が正確に実行されていないと判断される場合には、ユーザは幾何変換情報手動入力部３２に幾何変換パラメータを手動で入力し（Ｓ１３０８）、幾何変換情報１００５を手動更新することにより、位置合わせ結果を手動修正する。浮動画像幾何変換部１００４は、手動更新された幾何変換情報１００５を受け取り、これを用いてステップＳ１３０４〜Ｓ１３０７が繰り返し実施される。

＜実施の形態３：まとめ＞
以上のように、本実施形態３に係る画像処理装置１００は、参照画像１１とその管状領域、位置合わせ済浮動画像１６と位置合わせ済浮動画像管状領域３３を重ねて画面表示する。ユーザはその表示結果を見ながら幾何変換情報１００５を手動調整することにより、位置合わせの結果を手動修正することができる。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。

上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

１０：位置合わせ部、１１：参照画像、１２：浮動画像、１３：臓器領域抽出部、１４：管状領域抽出部、１５：管状領域サンプリング部、１６：位置合わせ済浮動画像、１７：臓器領域抽出部、１８：管状領域抽出部、２０：初期幾何変換情報設定部、３１：画像表示部、３２：幾何変換情報手動入力部、１００：画像処理装置。

Claims

第１画像と第２画像を取得する画像取得部と、
前記第１画像と前記第２画像それぞれのなかで、位置合わせ対象である臓器が存在している領域を抽出する臓器領域抽出部と、
前記臓器領域抽出部が前記第１画像から抽出した臓器領域のなかからサンプリングする領域を決定するための閾値を定める閾値設定部と、
前記臓器領域抽出部が前記第１画像から抽出した臓器領域において、輝度が前記閾値以上である領域をサンプリング候補領域として抽出する領域抽出部と、
前記領域抽出部が抽出した前記サンプリング候補領域からサンプリング点を抽出するサンプリング部と、
前記サンプリング点に対応する位置における前記第１画像と前記第２画像の間の類似度を算出し、その類似度にしたがって、前記第１画像と前記第２画像の間で位置合わせを実施する位置合わせ部と、
前記位置合わせの結果を出力する出力部と、
を備えることを特徴とする画像処理装置。
前記閾値設定部は、前記臓器領域の輝度値の領域平均と領域分散を用いて前記閾値を設定する
ことを特徴とする請求項１記載の画像処理装置。
前記サンプリング部は、前記サンプリング候補領域からランダムに画素を選択することにより、前記サンプリング候補領域から前記サンプリング点を抽出する
ことを特徴とする請求項１記載の画像処理装置。
前記サンプリング部は、
前記サンプリング候補領域からランダムに選択した画素の座標をさらにその画素領域内においてランダムに移動させて複数のランダム座標を設定し、
前記ランダムに選択した画素と各前記ランダム座標の画素との間で画像補間処理を実施して求めた輝度値を、前記ランダムに選択した画素の輝度値の補正後の値として改めて採用する
ことを特徴とする請求項１記載の画像処理装置。
前記閾値設定部は、前記閾値を手動指定する指定入力にしたがって前記閾値を設定することを特徴とする請求項１記載の画像処理装置。
前記臓器領域抽出部は、
前記第１画像と前記第２画像それぞれのなかで、管状の部位を有する特定の臓器が存在している特定臓器領域を抽出し、
前記領域抽出部は、
前記第１画像と前記第２画像の双方から、前記特定臓器領域において輝度が前記閾値以上である領域を、前記管状の部位が存在する管状領域として抽出し、
前記画像処理装置は、
前記第１画像と前記第２画像から抽出された前記管状領域から特徴点を抽出する特徴点検出部をさらに備え、
前記位置合わせ部は、
前記第１画像と前記第２画像それぞれにおける各前記特徴点に対応する点を探索し、探索の結果得られた各対応点の位置を合わせることにより、前記第１画像と前記第２画像の間で位置合わせを実施する
ことを特徴とする請求項１記載の画像処理装置。
前記臓器領域抽出部は、
前記第１画像と第２画像それぞれのなかで、管状の部位を有する特定の臓器が存在している特定臓器領域を抽出し、
前記領域抽出部は、
前記第１画像と前記第２画像の双方から、前記特定臓器領域において輝度が前記閾値以上である領域を、前記管状の部位が存在する管状領域として抽出し、
前記画像処理装置は、
前記第１画像、前記第２画像、および前記領域抽出部が前記第１画像と前記第２画像それぞれから抽出した前記管状領域を重ね合わせて表示する表示部を備えている
ことを特徴とする請求項１記載の画像処理装置。
前記表示部は、
前記第１画像、前記領域抽出部が前記第１画像から抽出した前記管状領域、前記位置合わせ済の前記第２画像、および前記位置合わせ済の前記第２画像から前記領域抽出部が抽出した前記管状領域を、重ね合わせて表示する
ことを特徴とする請求項７記載の画像処理装置。
前記位置合わせ部は、
前記第２画像、および前記領域抽出部が前記第２画像から抽出した前記管状領域に対する幾何変換を実施するための変換パラメータを指定する入力を受け取り、
その変換パラメータにしたがって、前記第２画像、および前記領域抽出部が前記第２画像から抽出した前記管状領域に対する幾何変換を実施し、
前記表示部は、
前記幾何変換後の前記第２画像、前記幾何変換後の前記第２画像上の前記管状領域、前記第１画像、および前記領域抽出部が前記第１画像から抽出した前記管状領域を、重ね合わせて表示する
ことを特徴とする請求項７記載の画像処理装置。
第１画像と第２画像を取得する画像取得ステップ、
前記第１画像と第２画像それぞれのなかで、位置合わせ対象である臓器が存在している領域を抽出する臓器領域抽出ステップ、
前記臓器領域抽出ステップで前記第１画像から抽出した臓器領域のなかからサンプリングする領域を決定するための閾値を定める閾値設定ステップ、
前記臓器領域抽出ステップで前記第１画像から抽出した臓器領域において、輝度が前記閾値以上である領域をサンプリング候補領域として抽出する領域抽出ステップ、
前記領域抽出ステップで抽出した前記サンプリング候補領域からサンプリング点を抽出するサンプリングステップ、
前記サンプリング点に対応する位置における前記第１画像と前記第２画像の間の類似度を算出し、その類似度にしたがって、前記第１画像と前記第２画像の間で位置合わせを実施する位置合わせステップ、
前記位置合わせの結果を出力する出力ステップ、
を有することを特徴とする画像処理方法。