JP6706128B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP6706128B2
JP6706128B2 JP2016080497A JP2016080497A JP6706128B2 JP 6706128 B2 JP6706128 B2 JP 6706128B2 JP 2016080497 A JP2016080497 A JP 2016080497A JP 2016080497 A JP2016080497 A JP 2016080497A JP 6706128 B2 JP6706128 B2 JP 6706128B2
Authority
JP
Japan
Prior art keywords
image
deformation
model
alignment
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016080497A
Other languages
English (en)
Other versions
JP2017191459A (ja
Inventor
格 音丸
格 音丸
和大 宮狭
和大 宮狭
佐藤　清秀
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016080497A priority Critical patent/JP6706128B2/ja
Priority to US15/481,358 priority patent/US10297035B2/en
Publication of JP2017191459A publication Critical patent/JP2017191459A/ja
Application granted granted Critical
Publication of JP6706128B2 publication Critical patent/JP6706128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、画像間の位置合わせを行う画像処理装置、画像処理方法、及びプログラムに関する。
医療において、異なる撮像装置（モダリティ）、異なる日時、又は異なる姿勢（伏臥位と仰臥位など）で撮像された画像を変形させて、画像間の位置合わせを行うことは、医師が複数の画像を対比させて診断を行う上で重要である。処理時間の増大を抑えつつ位置合わせ精度を向上させるため、複数の画像変形モデルを多段に組み合わせる方法が知られている。
特許文献１には、剛体変形と２つの非剛体変形を多段に繋ぎ、前段の位置合わせ結果を初期状態として後段の位置合わせを行う手法が開示されている。また、非特許文献１には、複数解像度のＦＦＤ（ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ）を用いた変形推定において、前段の粗いＦＦＤで得られた変形を後段の細かいＦＦＤで引き継いで表現して位置合わせを行う手法が開示されている。また、非特許文献２には、ＴＰＳ（Ｔｈｉｎ ｐｌａｔｅ ｓｐｌｉｎｅ）で求めた変形を疎な変位場で再表現した後に、該変位場自体を変形モデルとして非線形最適化処理を施す手法が開示されている。
特開２０１４−１０８３４９号公報
Ｄ．Ｒｕｅｃｋｅｒｔ, Ｌ．Ｓｏｎｏｄａ, Ｃ．Ｈａｙｅｓ, Ｄ．Ｈｉｌｌ, Ｍ．Ｌｅａｃｈ，ａｎｄ Ｄ．Ｈａｗｋｅｓ，"Ｎｏｎｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｕｓｉｎｇ ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎｓ： ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｒｅａｓｔ ＭＲ ｉｍａｇｅｓ"，ＩＥＥＥ ｍｅｄ． ｉｍａｇ．，ｖｏｌ．１８（８），ｐｐ．７１２−７２１，１９９９． Ｈａｎｓ Ｊ． Ｊｏｈｎｓｏｎ ａｎｄ Ｇａｒｙ Ｅ． Ｃｈｒｉｓｔｅｎｓｅｎ，"Ｌａｎｄｍａｒｋ ａｎｄ ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ， ｃｏｎｓｉｓｔｅｎｔ ｔｈｉｎ−ｐｌａｔｅ ｓｐｌｉｎｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ"，Ｐｒｏｃ． １７ｔｈ Ｉｎｔ． Ｃｏｎｆ．ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ（ＩＰＭＩ ２００１），ｐｐ．３２９−３４３，２００１．
しかしながら、特許文献１の手法では、前段の位置合わせによって不適切な変形状態が生じても、後段の位置合わせでは前段の変形を補正できないという課題があった。また、非特許文献１や非特許文献２の手法では、前段の変形を後段で補正できるが、変形モデルの組み合わせが限定されるという課題があった。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、複数の変形モデルを組み合わせて画像間の位置合わせを行う場合に、各変形モデルの利点を生かしながら位置合わせを行うことが可能な画像処理装置などを提供することである。
本発明に係る画像処理装置は、本発明に係る画像処理装置は、第１の画像と第２の画像の位置合わせを行うことで、前記第１の画像と前記第２の画像との間の変形を第１の変形モデルを用いて表す第１の変形パラメータを取得する第１の変形取得手段と、前記第１の変形モデルと前記第１の変形パラメータとにより表される変形を示す中間データを生成する生成手段と、前記生成手段により生成された中間データに基づいて、前記中間データにより示される変形を前記第１の変形モデルとは異なる第２の変形モデルを用いて表す第２の変形パラメータを取得する第２の変形取得手段と、を有する。
本発明によれば、変形モデルに依存しない変形表現（中間データ）を介して変形表現を変換することで、第１の変形モデルによる変形を第２の変形モデルで表現して位置合わせを行うので、複数の変形モデルを組み合わせて画像間の位置合わせを行う場合に、各変形モデルの利点を生かしながら位置合わせを行うことができる。
第１の実施形態に係る画像処理装置を含む画像処理システムの一例を示す図である。 第１の実施形態に係る画像処理装置が行う処理手順を示すフローチャートである。 表現形式の変換処理を説明する模式図である。 第２の実施形態に係る画像処理装置を含む画像処理システムの一例を示す図である。 第２の実施形態に係る画像処理装置が行う処理手順を示すフローチャートである。
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
＜第１の実施形態＞
図１は、本実施形態に係る画像処理装置を含む画像処理システムの一例を示す図である。画像処理システムは、画像処理装置１００、データサーバ１５０、操作部１６０、及び表示部１７０を備える。また、画像処理装置１００は、第１の位置合わせ部（第１の変形取得部）１０２、変形変換部（生成部）１０３、第２の位置合わせ部（第２の変形取得部）１０４、変形画像生成部１１０、表示制御部１１１、及びデータ取得部１１５を備える。
本実施形態に係る画像処理装置１００は、第１の変形モデルと第２の変形モデルの２種類（複数種類）の変形モデルを用いて、第１の画像及び第２の画像の２つの画像間の位置合わせを行う。そして、一方の画像を他方に合わせて変形させた位置合わせ画像（変形画像）を生成する。
第１の位置合わせ部（第１の変形取得部）１０２は、第１の画像と第２の画像の位置合わせを行うことで、第１の画像と第２の画像との間の変形を第１の変形モデルを用いて表す第１の変形パラメータを取得する（第１の位置合わせ処理）。
変形変換部（生成部）１０３は、第１の変形モデルと第１の変形パラメータからなる第１の変形表現を、第２の変形モデルと第２の変形パラメータからなる第２の変形表現に変換する（表現形式の変換処理）。そのために、変形変換部１０３は、まず、第１の変形表現に基づいて、変形を表す中間データを生成する。本実施例では、変形を表す中間データとして、第１の画像上における複数のサンプリング点の変位を算出する（表現形式の変換の前段処理）。
そして、変形変換部１０３は、算出した中間データ（サンプリング点の変位）に基づいて、第１の画像と第２の画像との間の変形を表す第２の変形モデルのパラメータ（第２の変形パラメータ）を取得する（表現形式の変換の後段処理）。この処理は、第１の変形モデルによる第１の変形表現を、中間データを介して、第２の変形モデルによる第２の変形表現に変換する処理であり、第１の変形モデルによって表現された変形を第２の変形モデルで再表現する処理に相当する。
第２の位置合わせ部１０４は、変形変換部１０３が生成した第２の変形パラメータを初期値として、第２の変形モデルを用いて第１の画像と第２の画像の位置合わせを行い、第２の変形パラメータを更新する（第２の位置合わせ処理）。変形画像生成部１１０は、更新後の第２の変形パラメータに基づいて、第１の画像と第２の画像のすくなくともいずれか一方を他方に合わせて変形させた位置合わせ画像を生成する。
第２の位置合わせ処理では、画像の不適切な変形（例えば、局所的に大きな体積変化を生じさせる変形）を抑制するための正則化が導入される。第２の位置合わせ部（第２の変形取得部）１０４は、第１の画像の変形を抑制する正則化項を導入した評価関数を用いて、第１の画像と第２の画像との間の変形を第２の変形モデルによって表す第２の変形パラメータを取得する。この結果、第１の位置合わせ処理によって不適切な変形状態が第１の変形画像に生じている場合であっても、第２の位置合わせ処理によって不適切な変形状態を補正することができる。
本実施形態では、第１の変形モデルと第２の変形モデルが異なる変形モデルである。非特許文献１及び非特許文献２では、第１の変形モデルと第２の変形モデルの少なくとも何れかが特定の変形モデルである場合に、複数の変形モデルが適用可能である。これに対して本実施形態では、変形モデルに依存しない変形表現（中間データ）を介して第１の変形モデルの変形表現（第１の変形表現）を第２の変形モデルの変形表現（第２の変形表現）に変換する。このため、第１の変形モデルと第２の変形モデルがどのような変形モデルの組み合わせであっても、複数の変形モデルが適用可能である。
本実施形態は、第１の変形モデルを用いて第１の画像と第２の画像の位置合わせを行うことで、第１の画像と第２の画像との間の第１の変形パラメータを取得する。そして、第１の変形モデルと第１の変形パラメータからなる第１の変形表現に基づいて、変形を表す中間データとして、第１の画像上に設定した複数のサンプル位置の変位を算出する。そして、算出した中間データに基づいて、第２の変形モデルを用いて第１の画像と第２の画像との間の変形を表す第２の変形パラメータを取得することで、第１の変形表現を、第２の変形モデルと第２の変形パラメータからなる第２の変形表現に変換する。
そして、変換した第２の変形パラメータを初期値として、第２の変形モデルを用いて第１の画像と第２の画像の位置合わせを行うことで、第２の変形パラメータを更新する。これにより、複数の変形モデルを用いた第１の画像と第２の画像の位置合わせが実行される。
第１の画像と第２の画像の一例として、同一の被検者の乳房（例えば、右乳房）を異なる撮像条件（異なるモダリティ、撮像モード、日時、又は姿勢など）で撮像した２つの３次元断層画像の位置合わせを行う場合を考える。このとき、撮像条件が異なることにより乳房には変形が生じるものの、乳房領域の体積は第１の画像と第２の画像との間で概ね不変である。３次元断層画像を撮像する画像撮像装置（モダリティ）は、ＭＲＩ装置、放射線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、陽電子放射断層撮像装置（ＰＥＴ）／単一光子放射断層撮影装置（ＳＰＥＣＴ）、及びＯＣＴ装置などである。
また、本実施形態では、第１の変形モデルがＴＰＳ（Ｔｈｉｎ ｐｌａｔｅ ｓｐｌｉｎｅ）であり、第２の変形モデルがＦＦＤ（Ｆｒｅｅ ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ）である場合を考える。
本実施形態の第１の位置合わせ処理では、第１の画像と第２の画像との間の対応点群（例えば、基準点群）の位置ずれを最小化するような、第１の変形モデルの第１の変形パラメータの値が算出される。
また、本実施形態の第２の位置合わせ処理では、第１の画像と第２の画像との間の対応点群（例えば、基準点群）の一致に関するデータ項と変位場のヤコビアンに関する正則化項を導入したコスト関数を用いる。そして、このコスト関数を最小化する第２の変形モデルの第２のパラメータが取得される。
本実施形態のヤコビアンは、局所領域における体積変化を表す指標である。ヤコビアンを正則化コストとして加えることで、第１の位置合わせ処理で生じる不適切な体積変化を、第２の位置合わせ処理によって抑制することができる。
図１に示すように、画像処理装置１００は、データサーバ１５０、操作部１６０、及び表示部１７０に電気的に接続されている。データサーバ１５０は、位置合わせ処理の対象である第１の画像及び第２の画像を保持している。第１の画像及び第２の画像は、画像処理装置１００からの要求に応じて、データ取得部１１５を介して画像処理装置１００に入力される。
操作部１６０は、マウス、キーボード、及び表示部１７０上のＧＵＩに対する操作を行い、位置合わせ処理に関する開始、確認、及び終了の指示や表示画像の断面の決定に関する表示制御の指示を画像処理装置１００に入力する。表示部１７０は、画像処理装置１００が生成する表示画像を表示する。また、表示部１７０は、ユーザからの指示を入力するためのＧＵＩを表示してもよい。
データ取得部１１５は、画像処理装置１００へと入力される第１の画像及び第２の画像の情報をデータサーバ１５０から取得する。第１の位置合わせ部（第１の変形取得部）１０２は、第１の変形モデルを用いて第１の位置合わせ処理を行い、第１の変形パラメータの値を取得する。
変形変換部（生成部）１０３は、変形モデルに依存しない汎用的な変形表現（中間データ）を介して、第１の変形モデルによる第１の変形表現を、第２の変形モデルによる第２の変形表現に変換する。第２の位置合わせ部１０４は、変形変換部１０３によって変換された第２の変形パラメータを初期値として、第２の変形モデルを用いて第２の位置合わせ処理を行い、第２の変形パラメータを更新する。
変形画像生成部１１０は、第２の位置合わせ処理の結果に基づき、第１の画像と第２の画像のすくなくともいずれか一方を他方と形状が一致するように変形させた位置合わせ画像（変形画像）を生成する。表示制御部１１１は、変形画像生成部１１０から出力された位置合わせ画像（変形画像）を、表示部１７０に表示させるための表示制御を行う。
次に、本実施形態に係る画像処理装置を含む画像処理システムの動作について説明する。図２は、画像処理装置１００が行う処理手順を示すフローチャートである。
（データ取得処理：ステップＳ２０００）
ステップＳ２０００において、データ取得部１１５は、ユーザからの指示を受け付けて、第１の画像及び第２の画像をデータサーバ１５０から取得する。そして、データ取得部１１５は、第１の画像及び第２の画像を、第１の位置合わせ部（第１の変形取得部）１０２及び第２の位置合わせ部（第２の変形取得部）１０４へ出力する。
（第１の位置合わせ処理：ステップＳ２０１０）
ステップＳ２０１０において、第１の位置合わせ部（第１の変形取得部）１０２は、第１の変形モデルを用いて、第１の画像と第２の画像の間で第１の位置合わせ（変形推定）を行うことで、第１の変形モデルによる変形表現（第１の変形表現）を得る。すなわち、第１の位置合わせ部（第１の変形取得部）１０２は、第１の変形モデルを用いて第１の画像を変形させたときに、第１の画像が第２の画像に最も近似するような第１の変形パラメータの値を算出する。第１の位置合わせ部（第１の変形取得部）１０２は、算出された第１の変形パラメータを変形変換部１０３へ出力する。
第１の位置合わせ部（第１の変形取得部）１０２は、第１の変形モデルを用いて、第１の画像の対応点群（第１の基準点群）と第２の画像の対応点群（第２の基準点群）との位置合わせを行うことで、第１の変形パラメータを取得してもよい。また、上記のように、本実施形態における第１の変形モデルはＴＰＳであるので、画像間（第１の画像及び第２の画像）の変形を表すＴＰＳのパラメータを求める公知の位置合わせ手法が適用可能である。
例えば、第１の画像と第２の画像とで対応する対応点群（基準点群）を取得して、対応点群間の座標を一致させるような変形を求めることで、第１の位置合わせ処理が行われる。本実施形態の第１の位置合わせ処理では、第１の画像上における各対応点群の位置にＴＰＳ関数を基底として設置し、該基底の加重和によって座標変換を表す変形モデルを構成することができる。
このとき、第１の画像の対応点群（第１の基準点群）の座標が第２の画像の対応点群（第２の基準点群）の座標に一致するように変換されるという条件を表す座標変換の方程式をそれぞれの対応点群（基準点群）に関して連立させた連立方程式を解く。これにより、第１の変形パラメータを求めることができる。
なお、対応点群（基準点群）の取得には、公知の画像解析手法が適用可能である。例えば、第１の位置合わせ部（第１の変形取得部）１０２が、第１の画像と第２の画像に画像解析処理を施して、血管分岐部などの解剖学的特徴点を抽出する。そして、第１の位置合わせ部（第１の変形取得部）１０２が、類似度に基づいて解剖学的特徴点を第１の画像と第２の画像との間で対応付けることで、第１の画像の対応点群（第１の基準点群）と第２の画像の対応点群（第２の基準点群）を対応付けることができる。
なお、ユーザが目視で画像を観察して対応点群を入力することで、第１の画像の対応点群（第１の基準点群）と第２の画像の対応点群（第２の基準点群）が対応付けられてもよい。また、対応点群（基準点群）の情報が画像の付帯情報としてデータサーバ１５０に予め保存されている場合、情報がデータサーバ１５０から読み込まれることで、第１の画像の対応点群（第１の基準点群）と第２の画像の対応点群（第２の基準点群）が対応付けられてもよい。
（表現形式の変換処理：ステップＳ２０２０）
ステップＳ２０２０において、変形変換部（生成部）１０３は、ステップＳ２０１０において算出された第１の変形表現を、第２の変形モデルによる変形表現（第２の変形表現）に変換する。すなわち、第１の変形表現と同等な変形を第２の変形モデルで表現するような、第２の変形パラメータを算出する。これにより、第１の変形モデルで表現されている第１の位置合わせ結果が、第２の変形モデルで再表現される。そして、算出された第２の変形パラメータを、表現形式の変換処理の結果として第２の位置合わせ部（第２の変形取得部）１０４へ出力する。
変形モデルを変換する変換処理は、変形モデルに依存しない変形表現（中間データ）を介して行われる。具体的には、本実施形態における表現形式の変換処理は、第１の変形表現を変形モデルに依存しない変形表現（中間データ）に変換する前段の処理と、変形モデルに依存しない変形表現（中間データ）を第２の変形表現に変換する後段の処理を含む。
前段の処理において、変形変換部（生成部）１０３は、第１の画像上に複数のサンプル位置（例えば、サンプリング点）を設定する。例えば、第１の画像上の格子点上に等間隔にサンプル位置を設定できる。次に、変形変換部１０３は、第１の変形表現（第１の変形モデルと第１の変形パラメータ）を用いて、夫々のサンプル位置（サンプリング点）の変位ベクトルを算出する。これにより第１の変形表現が、複数のサンプル位置の変位という変形モデルに依存しない汎用的な変形表現（中間データ）に変換される。この処理は、第１の変形表現に基づいて、第１の画像と、第１の変形表現によって第１の画像を変形させた場合に得られるであろう変形画像（第１の変形画像）との間における仮想的な対応点群（例えば、サンプリング点などのサンプル位置）を得る処理と同等である。
図３は、表現形式の変換処理を説明する図である。上記のように、本実施形態における処理対象は３次元画像であるが、ここでは図示を簡単にするため２次元画像を用いて説明する。図３（ａ）及び（ｂ）は、同一の被検者の乳房を異なる撮像条件で撮像した第１の画像３０１及び第２の画像３０２を示す図である。図３（ｃ）は、サンプル位置（サンプリング点群）３１０が設定された第１の画像を示す図である。図３（ｄ）は、第１の画像を第１の変形表現を用いて変形させた場合に得られるであろう変形画像（第１の変形画像）３０３を示す図である。
本実施形態では、変形変換部（生成部）１０３は、第１の位置合わせ処理の結果である第１の変形表現を用いて、第１の画像３０１のそれぞれのサンプル位置３１０の変位ベクトルを算出する。すなわち、それぞれのサンプル位置３１０に対応する第１の変形画像３０３上におけるサンプル位置３１１の座標を求める。
具体的な処理は以下の通りである。まず、図３（ｃ）に示すように、変形変換部（生成部）１０３が、第１の画像３０１の所定の範囲（例えば、全域又は部分）に一定間隔でサンプル位置（サンプリング点群）３１０を設定する。そして、変形変換部１０３は、第１の画像３０１上のそれぞれのサンプル位置３１０において、第１の変形表現が表す変位ベクトルを算出する。この処理は、図３（ｄ）に示すように、変形変換部（生成部）１０３が、第１の変形表現に基づいて、第１の画像３０１上のそれぞれのサンプル位置３１０を座標変換することで、第１の変形画像３０３におけるサンプル位置３１１の座標を算出する処理と同等である。ここで、第１の変形画像３０３におけるサンプル位置３１１を、第１の座標変換サンプル位置と呼ぶ。
以上で述べた前段の処理の結果、第１の変形表現が、複数のサンプル位置（サンプリング点群）３１０の変位という形の、変形モデルに依存しない変形表現（中間データ）に変換される。
後段の処理において、変形変換部１０３は、前段の処理で得た変形モデルに依存しない変形表現（中間データ）を、第２の変形モデルを用いた第２の変形表現で再表現する。すなわち、後段の処理では、変形変換部１０３が、前段の処理で求めたそれぞれのサンプル位置３１０の変位をなるべく正しく表現するような、第２の変形モデルの第２の変形パラメータを算出する。
例えば、変形変換部１０３は、前段の処理で得たそれぞれのサンプル位置３１０の変位（変位ベクトル）と、第２の変形表現による同サンプル位置３１０の変位（変位ベクトル）との誤差（ベクトルの差のノルム）を求め、誤差の総和（再表現誤差と呼ぶ）が最小となるような第２の変形パラメータを算出する。
上記のように、本実施形態の第２の変形モデルはＦＦＤであるので、画像間（第１の画像３０１と第１の変形画像３０３）の対応点群（サンプル位置３１０と第１の座標変換サンプル位置３１１）に基づいてＦＦＤのパラメータを求める公知の手法が適用可能である。
具体的な処理は以下の通りである。第１の画像３０１のサンプル位置（サンプリング点群）３１０をＸｓ＝｛ｘｓ１，ｘｓ２，…，ｘｓＮ｝で表す。また、第１の変形画像３０３の第１の座標変換サンプル位置３１１をＸｔ＝｛ｘｔ１，ｘｔ２，…，ｘｔＮ｝で表す。“Ｎ”はサンプル位置３１０の数を表し、第１の座標変換サンプル位置３１１の数と同じである。また、“ｘｓｎ”と“ｘｔｎ”は、対応付けられているｎ番目のサンプル位置３１０及び第１の座標変換サンプル位置３１１を表す。つまり、サンプル位置“ｘｓｎ”が第１の変形モデルにより座標変換されたものが、第１の座標変換サンプル位置“ｘｔｎ”となる。
このとき、表現形式の変換を行う後段の処理に用いられるコスト関数（再表現誤差）は、式（１）で表される。
“Ｔ２（ｘｓｎ，θ）”は、パラメータ（第２の変形パラメータ）が“θ”である第２の変形モデルを用いて、サンプル位置“ｘｓｎ” を変位させた（座標変換後の）座標を表す。すなわち、第２の変形表現を用いて第１の画像を変形させた場合に得られるであろう第２の変形画像におけるサンプル位置を表す。ここで、第２の変形画像におけるサンプル位置を、第２の座標変換サンプル位置と呼ぶ。
式（１）の“θ”の値（第２の変形パラメータの値）は、対応付けられる第１の座標変換サンプル位置と第２の座標変換サンプル位置が一致する（距離の総和を最小化する）という条件に従って、第２の変形モデルのパラメータ“θ”を最適化することで算出される。この最適化には、例えば、繰り返し最適化を用いた再急降下法などの公知の手法が適用可能である。なお、“θ”の値は、繰り返し最適化に基づく手法の他、それぞれの対応点群（座標変換サンプル位置）に関して連立させたコスト連立方程式で拘束条件を表現し、線形計算によって算出されてもよい。なお、“θ”の算出は、前段の処理で求めたｎ番目のサンプル位置の変位ベクトルを“ｘｔｎ”とおいて、第２の変形表現によるｎ番目のサンプル位置“ｘｓｎ”の変位ベクトルを“Ｔ２（ｘｓｎ，θ）”と定義して、式（１）の再表現誤差を最小化することでも同様に行うことができる。
（第２の位置合わせ処理：ステップＳ２０３０）
ステップＳ２０３０において、第２の位置合わせ部（第２の変形取得部）１０４はステップＳ２０２０で変換された第２の変形パラメータを初期値として、第２の変形モデルを用いて第１の画像と第２の画像との第２の位置合わせ（変形推定）を行うことで、第２の変形パラメータを更新する。
第２の位置合わせ部（第２の変形取得部）１０４は、第２の位置合わせ処理の結果として算出（更新）された第２の変形パラメータの値を、記憶部（図示せず）に格納するとともに、変形画像生成部１１０へ出力する。
ステップＳ２０３０における第２の位置合わせ処理では、コスト関数に、第１の位置合わせ処理で用いられたような対応点群（基準点群）の一致に関するデータ項に加えて、正則化項が導入される。なお、対応点群としては、ステップＳ２０１０で第１の位置合わせ部（第１の変形取得部）１０２が取得した対応点群を用いることができる。
本実施形態で用いられる正則化項は、変形に関するヤコビアンである。ヤコビアンは、変位ベクトルの各軸に関する方向微分を並べて算出される行列（ヤコビ行列）の行列式であり、所定の座標位置におけるヤコビアンは、その座標位置の周辺の局所領域における体積変化を表す。体積変化を抑制する正則化項としてヤコビアンを位置合わせのコスト関数に加える手法は周知であるので、詳細の説明は省略する。例えば、ＦＦＤにおける制御点や他の所定の間隔のグリッド上におけるヤコビアンの和を正則化項としてコスト関数に加えることができる。第２の位置合わせで求める第２の変形表現は、第１の位置合わせの結果（第１の変形画像）からの変形ではなく、第１の画像からの変形を表すものである。そのため、第１の位置合わせ処理によって不適切な体積変化が生じた場合であっても、第２の位置合わせ処理によってこれを抑制することが期待される。
（位置合わせ画像の生成処理：ステップＳ２０４０）
ステップＳ２０４０において、変形画像生成部１１０は、ステップＳ２０３０で更新した第２の変形パラメータに基づいて、第１の画像と第２の画像のすくなくともいずれか一方を他方と形状が一致するように変形させた位置合わせ画像（変形画像）を生成する。変形表現に基づく変形画像の生成は公知であるので、詳細な説明は省略する。変形画像生成部１１０は、生成した位置合わせ画像（変形画像）に関するデータを記憶部（図示せず）に格納するとともに、表示制御部１１１へ出力する。
（位置合わせ画像の表示処理：ステップＳ２０５０）
ステップＳ２０５０において、表示制御部１１１は、第１の画像、第２の画像、及び位置合わせ画像（変形画像）の任意の画像を、ユーザの操作に応じて表示部１７０に表示する制御を行う。なお、位置合わせ画像（変形画像）の表示後、表示制御部１１１がユーザからの「画像確認の終了」を受け付けた場合、画像処理装置１００の処理は終了する。
本実施形態によれば、変形モデルに依存しない汎用的な変形表現（中間データ）を介して変形表現を変換することで、第１の変形モデルによる変形を第２の変形モデルで表現して位置合わせを行うので、任意の複数の変形モデルを組み合わせて画像の位置合わせを行うことができる。これにより、解析解を導出可能な第１の位置合わせ処理の結果を非線形最適化による第２の位置合わせ処理の初期値として用いることができるので、第２の位置合わせ処理のみで位置合わせを行うよりも高速に（少ない反復回数で）計算を行うことができ、また、誤った局所解への収束を回避できる。また、第１の変形モデルを適切に選択することで、第２の変形モデルを用いて対応点群を一致させるような変形を解析的に求めてこれを第２の位置合わせ処理の初期値として用いる場合と比べて、より実際の変形に近い初期値を与えることができる。例えば、第１の変形モデルとしてＴＰＳを用いることで、対応点群を一致させるあらゆる変形の中で曲げエネルギーを最小化する変形を与えることができる。そのため、対応点群に基づくＦＦＤの解析解を初期値として用いるよりも、高速に（少ない反復回数で）計算を行うことができ、また、誤った局所解への収束を回避できる。また、正則化項を導入して位置合わせを行うので、第１の位置合わせ処理において不適切な変形状態が生じている場合でも、第２の位置合わせ処理において不適切な変形状態を補正することができる。
以上、第１の実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において変更・変形することが可能である。
第１の実施形態では、ステップＳ２０２０の表現形式の変換処理は、第１の変形モデルによる第１の変形表現を複数のサンプル位置の変位に変換する前段処理、及び、変位に基づいて第２の変形モデルの第２の変形パラメータを取得する後段処理に分割されていた。しかし、変形モデルに依存しない変形表現（中間データ）を介する方法であれば、第１の変形表現をサンプル位置の変位という表現形式に一旦すべて変換することは必ずしも必要ではなく、段階的に変換されてもよい。例えば、式（１）のコスト関数の代わりに式（２）のコスト関数が用いられてもよい。
式（２）のコスト関数により、第１の変形モデルによるｎ番目のサンプル位置（サンプリング点）の座標変換（座標変換サンプル位置の算出）が、ｎ番目のサンプル位置に関するコスト計算ごとに行われてもよい。ここで、“α”は第１の変形モデルのパラメータ（第１の変形パラメータ）を表す。また、“Ｔ１（ｘｓｎ，α）”は、パラメータが“α”である第１の変形モデルを用いてサンプル位置 “ｘｓｎ”を座標変換して得られる座標変換サンプル位置を表す。つまり、サンプル位置“ｘｓｎ”が第１の変形モデルにより座標変換されたものが、座標変換サンプル位置“Ｔ１（ｘｓｎ，α）”となる。なお、式（２）において、第１の変形モデルによるｎ番目のサンプル位置の変位ベクトルを“Ｔ１（ｘｓｎ，α）”、第２の変形モデルによるｎ番目のサンプル位置の変位ベクトルを“Ｔ２（ｘｓｎ，θ）”としてもよい。
式（２）は、第１の変形表現と第２の変形表現による変形の相違（サンプル位置と座標変換サンプル位置との位置ずれ）を表している。“θ”は、式（２）のコスト関数を最小化することで算出される。なお、サンプル位置（サンプリング点）の座標変換は、式（２）に限定されず、“Ｔ２（ｘｓｎ，θ）”や“Ｔ１（ｘｓｎ，α）”のような各サンプル位置や各座標変換サンプル位置を明示的に算出する必要はない。
また、第１の実施形態では、第１の変形モデルにＴＰＳが用いられ、第２の変形モデルにＦＦＤが用いられた。しかし、第１の変形モデル及び第２の変形モデルは、これらの変形モデルに限定されず、他の変形モデルであってもよい。例えば、第１の変形モデルとして、ＴＰＳ以外の放射基底関数（例えば、ガウス関数やＷｅｎｄｌａｎｄ関数など）が用いられてもよい。
また、第１の変形モデルとして、アフィン変換が用いられてもよい。この場合、ステップＳ２０１０の第１の位置合わせ部１０２の処理として、例えば、第１の画像（又は、第１の画像の変形後の画像）と第２の画像の間の類似度（例えば、画像間の正規化相互情報量）が最大となるアフィン変換のパラメータが算出される。なお、第１の変形モデルはこれに制限されるものではなく、例えば、物理シミュレーションモデルや統計に基づく変形モデル（例えば、Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｔｉｏｎ Ｍｏｄｅｌ）などであってもよい。
また、第２の変形モデルは、変形モデルに依存しない変形表現（中間データ）を介してパラメータを導出できる変形モデル（例えば、対応点群間の距離誤差をコスト関数で表現できる変形モデル）であれば、３次元空間などの変形を表現する公知の手法が適用可能である。例えば、第２の変形モデルとして、多重解像度のＦＦＤが用いられてもよい。
この場合、ステップＳ２０２０において、所定の閾値より粗い解像度のＦＦＤにより、変形変換部１０３の表現形式の変換処理が実行される。そして、ステップＳ２０３０において、ＦＦＤの解像度を徐々に細かくして位置合わせを行うことで、第２の位置合わせ部（第２の変形取得部）１０４の第２の位置合わせ処理が実行される。
また、第２の変形モデルとして、剛体変換などの線形変換部やＦＦＤなどの非線形変換部を導入する変形モデルが用いられてもよい。正則化項としてヤコビアンを用いる場合、剛体変換に対するヤコビアンの値は常に“０”である。そのため、第２の位置合わせ処理において正則化項を導入する場合、正則化項は非線形変換部に導入されればよく、計算量を削減することができる。また、これらの他、ＬＤＤＭＭ（Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ）などの変形モデルが用いられてもよい。
また、ステップＳ２０２０において、変形モデルに依存しない変形表現（中間データ）は、複数のサンプル位置（サンプリング点群）における変位ベクトル、あるいは、複数のサンプル位置（サンプリング点群）と座標変換サンプル位置との組みであった。
しかし、変形モデルに依存しない変形表現（中間データ）の形態はこれらに限定されず、他の形態であってもよい。たとえば、第１の画像のそれぞれのボクセルに関して、第１の変形モデルの座標変換による変位ベクトルを算出することで、対応するボクセルに変位ベクトルの値を関連付ける変位ベクトル画像を生成し、これを変形モデルに依存しない変形表現（中間データ）として用いてもよい。何れの表現であっても、式（１）または式（２）を用いて第２の変形表現への変換を行うことができる。
また、ステップＳ２０２０において、変形モデルに依存しない変形表現（中間データ）の形態は、第１の変形モデルによる画像間の変形や変位を明示的に表すものであった。しかし、変形モデルに依存しない変形表現（中間データ）の形態は、第１の変形モデルによる画像間の変位を明示的に表すものでなくてもよい。
例えば変形変換部１０３が、第１の画像と同一空間の所定の画像（変形前画像）を第１の変形表現に基づいて変形させた第１の変形画像（変形後画像）を生成し、変形前画像と変形後画像の組を、変形モデルに依存しない変形表現（中間データ）とすることもできる。この場合、ステップＳ２０２０における表現形式の変換の前段処理（第１の変形表現から変形モデルに依存しない変形表現（中間データ）への変換）は、変形後画像が生成される処理である。
また、ステップＳ２０２０における表現形式の変換の後段処理（変形モデルに依存しない変形表現（中間データ）から第２の変形表現への変換）は、第２の変形モデルを用いて変形前画像と変形後画像の位置合わせを行うことで実現される。位置合わせ処理については、画像間の類似度に基づく公知の位置合わせ方法が適用可能である。これによると、第２の変形モデルを用いる第２の位置合わせが、ＬＤＤＭＭ法のように、画像類似度に基づく位置合わせ処理に適していて、かつ、対応点群（例えば、サンプル位置）に基づく位置合わせ処理に適していない場合であっても、第１の変形表現を第２の変形表現に変換する処理を好適に行うことができる。
なお、変形前画像には、第１の画像そのものを用いることができる。また、位置合わせ処理に有用な基づく画像特徴を画像中に有する画像を変形前画像として用いてもよい。この場合、第１の変形表現にその変形画像（変形後画像）を生成して、これらの組を変形モデルに依存しない変形表現として用いるようにしてもよい。例えば、第１の画像に適当なパターンを合成した画像、（グラデーションを有する）格子模様の画像やランダムドット画像、各軸の座標値を輝度値として有するベクトル画像などを用いることができる。これによると、後段の位置合わせ処理を安定して行うことができる。
＜第２の実施形態＞
図面を参照して、本発明の実施形態の一例を詳しく説明する。図４は、本実施形態に係る画像処理装置を含む画像処理システムの一例を示す図である。画像処理システムは、画像処理装置５００を備える。画像処理装置５００は、第２の位置合わせ部（第２の変形取得部）５０４、第３の位置合わせ部（第３の変形取得部）５０５、及びデータ取得部５１５を備える。なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。
第１の実施形態では、ステップＳ２０３０における第２の位置合わせ処理で導入される正則化項は、第２の変形画像の領域全体に対して適用される。本実施形態に係る画像処理装置５００は、第２の位置合わせ処理の後で、正則化項を適用する画像領域を設定する位置合わせ処理を行う。本実施形態は、例えば、局所的な歪みが生じないようにする制約を画像全域（例えば、第２の変形画像の全域）に課した上で、病変領域などの所定の領域の変形を抑制する位置合わせを行う場合に、好適な機能を有する。
本実施形態では、第１の変形モデルをＴＰＳとし、第２の変形モデルを多重解像度ＦＦＤとする。この場合、画像全域の局所的な歪みが所定の閾値より小さく、所定の領域（病変領域など）は所定の閾値より硬化させて変形を抑制するという正則化条件が適用される場合を例に挙げて説明する。
変形による局所的な歪みは、例えば、非特許文献１で開示されている曲げエネルギー（Ｂｅｎｄｉｎｇ ｅｎｅｒｇｙ）を用いて算出される。また、変形に対する硬さは、例えば、非特許文献（Ｍ． Ｓｔａｒｉｎｇ， Ｓ． Ｋｌｅｉｎ ａｎｄ Ｊ．Ｐ．Ｗ． Ｐｌｕｉｍ， Ａ ｒｉｇｉｄｉｔｙ ｐｅｎａｌｔｙ ｔｅｒｍ ｆｏｒ ｎｏｎｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ， Ｍｅｄ． Ｐｈｙｓ．，ｖｏｌ．３４（１１）， ｐｐ．４０９８−４１０８，２００７）で開示されている剛性ペナルティ（Ｒｉｇｉｄｉｔｙ ｐｅｎａｌｔｙ）を用いて算出される。
また、位置合わせ処理におけるコスト関数のデータ項としては、画像間でそれぞれ対応する解剖学的特徴点である対応点群（基準点群）の間の距離値を用いる。第１の位置合わせ部（第１の変形取得部）１０２は、第１の実施形態と同様に、第１の変形モデルであるＴＰＳを用いて第１の画像と第２の画像の位置合わせを行い、第１の変形パラメータを取得する（第１の位置合わせ処理）。一方、第１の変形位置合わせでは、変形による局所的な歪みや病変の硬さは適切に考慮されない。
そこで、第２の変形モデルによる位置合わせ処理では、対応点群（例えば、基準点群）の一致に関するデータ項に加えて、変形の局所的な歪み、および、変位に対する硬さ、のそれぞれに関する正則化項を導入したコスト関数を用いた位置合わせを行う。
このとき、変形の歪みの抑制に関する正則化項は、第１の実施形態の第２の位置合わせ処理（ステップＳ２０３０）における体積変化を抑制する正則化項と同様に、画像領域全体に対して適用される。一方、病変の硬さを考慮するための変形に対する硬さに関する正則化項は、病変領域などの所定の領域を指定するマスク画像データに従って、マスク画像データが指定する領域内に対して適用される。
本実施形態では、正則化項の算出に伴う処理時間の増大を抑制し、かつ、解が適切な解とは大きく異なる不適切な局所解に陥ることを回避するために、第２の変形モデルによる位置合わせ処理を、複数の段階に分けて実施する。第２の位置合わせ部（第２の変形取得部）５０４が、第２の変形画像の画像領域全体に対する正則化項を導入した第２の位置合わせ処理を行った後、第３の位置合わせ部（第３の変形取得部）５０５が、病変領域などの所定の領域に対する正則化項を追加導入した第３の位置合わせ処理を行う。
第２の位置合わせ部（第２の変形取得部）５０４が、変形変換部１０３が生成した第２の変形パラメータを初期値として、第２の変形モデルを用いて第１の画像と第２の画像の位置合わせを行うことで、第２の変形パラメータを更新する。この場合、第２の位置合わせ部（第２の変形取得部）５０４が、第１の画像の全域におけるＢｅｎｄｉｎｇ ｅｎｅｒｇｙを正則化項として考慮したコスト関数を使用する。
その後、第３の位置合わせ部（第３の変形取得部）５０５が、第２の位置合わせ部（第２の変形取得部）５０４が更新した第２の変形パラメータを初期値として、第２の変形モデルを用いて第１の画像と第２の画像の位置合わせを行うことで、第２の変形パラメータをさらに更新する。この場合、第３の位置合わせ部（第３の変形取得部）５０５が、位置合わせ画像の所定の範囲の変形を抑制する正則化項をさらに加えたコスト関数を使用する。
この結果、繰り返し処理に基づく局所最適化を採用する場合であっても、最初から全ての正則化を適用する場合に比べ、高速かつ安定的により適切な位置合わせ結果を得ることが可能となる。
次に、本実施形態に係る画像処理装置を含む画像処理システムの動作について説明する。図５は、画像処理装置５００が行う処理手順を示すフローチャートである。なお、処理手順のうち、ステップＳ６０１０、Ｓ６０２０、及びＳ６０６０は、図２のステップＳ２０１０、Ｓ２０２０及びＳ２０５０にそれぞれ対応している。
（データ取得処理：ステップＳ６０００）
ステップＳ６０００において、データ取得部５１５は、第１の画像及び第２の画像をデータサーバ１５０から取得する。そして、データ取得部５１５は、第１の画像及び第２の画像を、第１の位置合わせ部（第１の変形取得部）１０２、第２の位置合わせ部（第２の変形取得部）５０４、及び第３の位置合わせ部（第３の変形取得部）５０５へ出力する。また、データ取得部５１５は、所定の領域（例えば、病変の領域などの特有の変形が考慮される領域）を第１の画像の空間上で規定するマスク画像データの情報を、データサーバ１５０から取得する。そして、データ取得部５１５は、マスク画像データを第３の位置合わせ部（第３の変形取得部）５０５へ出力する。
（第２の位置合わせ処理：ステップＳ６０３０）
ステップＳ６０３０において、第２の位置合わせ部（第２の変形取得部）５０４は、ステップＳ６０２０で変換された第２の変形パラメータを初期値として、第２の変形モデルを用いて第１の画像と第２の画像との第２の位置合わせ（変形推定）を行うことで、第２の変形パラメータを更新する。本実施形態における第２の変形モデルは、多重解像度ＦＦＤである。ステップＳ６０３０の処理が第１の実施形態における第２の位置合わせ処理（ステップＳ２０３０）と異なる点は、正則化項として、ヤコビアンではなくＢｅｎｄｉｎｇ ｅｎｅｒｇｙを用いている点である。
第２の位置合わせ処理で算出（更新）された第２の変形パラメータは、第３の位置合わせ部（第３の変形取得部）５０５へ出力される。
（第３の位置合わせ処理：ステップＳ６０４０）
ステップＳ６０４０において、第３の位置合わせ部（第３の変形取得部）５０５は、特有の変形を考慮する領域を表すマスク画像データをデータ取得部５１５から取得する。第３の位置合わせ部（第３の変形取得部）５０５は、ステップＳ６０３０で第２の位置合わせ部（第２の変形取得部）５０４が更新した第２の変形パラメータを初期値として、第２の変形モデルを用いて、所定の領域のＲｉｇｉｄｉｔｙ ｐｅｎａｌｔｙを考慮した第３の位置合わせ処理を行うことで、第２の変形パラメータをさらに更新する。なお、第３の位置合わせ処理におけるＦＦＤの計算は、第２の位置合わせ処理に用いられる多重解像度ＦＦＤの最高解像度で行われる。
本実施形態では、第３の位置合わせ部（第３の変形取得部）５０５は、第２の位置合わせ部（第２の変形取得部）５０４から出力される位置合わせ結果を初期値として、第２の変形モデルを用いて、第１の画像と第２の画像の間で第３の位置合わせ処理を行うことで、第２の変形パラメータを更新する。このとき、第３の位置合わせ処理のコスト関数として、所定の領域の変形を抑制するＲｉｇｉｄｉｔｙ ｐｅｎａｌｔｙ正則化項を第２の位置合わせ処理に用いられるコスト関数に追加導入したコスト関数が用いられる。
第３の位置合わせ部（第３の変形取得部）５０５は、マスク画像データが指定する所定の領域内でＲｉｇｉｄｉｔｙ ｐｅｎａｌｔｙ正則化を行う。第３の位置合わせ処理において算出（更新）された第２の変形パラメータの値は、記憶部（図示せず）に格納されるとともに、変形画像生成部１１０へ出力される。
ステップＳ６０４０の処理が本実施形態における第２の位置合わせ処理（ステップＳ６０３０）と異なる点は、マスク画像データが指定する所定の領域に限定して正則化を追加導入する点である。
また、正則化として硬さ（剛性）（Ｒｉｇｉｄｉｔｙ ｐｅｎａｌｔｙ）が採用される。Ｒｉｇｉｄｉｔｙ ｐｅｎａｌｔｙは、ヤコビアン（Ｊａｃｏｂｉａｎ）、正規直交性（Ｏｒｔｈｏｎｏｒｍａｌｉｔｙ）、及び曲げエネルギー（Ｂｅｎｄｉｎｇ ｅｎｅｒｇｙ）という３つの指標の重みづけ和で表されるコストである。なお、所定の領域における変形に対する硬さを考慮した変形位置合わせは、Ｒｉｇｉｄｉｔｙ ｐｅｎａｌｔｙの算出方法を開示する上記の非特許文献が参考となる。
（位置合わせ画像の生成処理：ステップＳ６０５０）
ステップＳ６０５０において、変形画像生成部１１０は、ステップＳ６０４０で更新した第２の変形パラメータに基づいて、第１の画像と第２の画像のすくなくともいずれか一方を他方に形状が一致するように変形させた位置合わせ画像（変形画像）を生成する。変形画像生成部１１０は、生成した位置合わせ画像（変形画像）に関するデータを記憶部（図示せず）に格納するとともに、表示制御部１１１へ出力する。
本実施形態によれば、第１の変形モデルにより算出された第１の変形表現を第２の変形モデルで再表現した後、第１の画像の全域に対する正則化を適用して第２の変形パラメータを収束させる。そして、第１の画像の所定の領域に対する正則化を適用して第２の変形パラメータをさらに更新させる。
そのため、繰り返し処理に基づく局所最適化を採用する場合であっても、解が不適切な局所解に陥る危険性が小さくなるという利点が生じる。特に、第２の位置合わせ処理において所定の領域（例えば、病変領域）を設定して、所定の領域に対する正則化を適用する場合に比べ、高速かつ安定的により適切な位置合わせ結果を得ることが可能となる。
以上、本発明にかかる実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において変更・変形することが可能である。
本実施形態では、ステップＳ６０４０において、第３の位置合わせ部（第３の変形取得部）５０５が、Ｒｉｇｉｄｉｔｙ ｐｅｎａｌｔｙを正則化項として適用して第３の位置合わせ処理を行う。しかし、所定の範囲に適用される正則化項は、Ｒｉｇｉｄｉｔｙ ｐｅｎａｌｔｙ以外の正則化項であってもよい。例えば、第３の位置合わせ処理で導入される正則化項は、第１の実施形態で正則化項として用いられるヤコビアンであってもよい。この場合、マスク画像データが指定する領域内で体積不変の正則化が適用される。
また、ステップＳ６０３０において、第２の位置合わせ部（第２の変形取得部）５０４により第２の変形画像全体に適用される正則化項は、Ｂｅｎｄｉｎｇ ｅｎｅｒｇｙ以外の正則化項であってもよい。例えば、第２の位置合わせ処理で導入される正則化項は、体積保存に関するヤコビアン正則化であってもよい。このとき、第２の位置合わせ部（第２の変形取得部）５０４が行う第２の位置合わせ処理は、第１の実施形態の第２の位置合わせ部１０４が行う第２の位置合わせ処理（ステップＳ２０３０）と同じになる。
＜その他の実施形態＞
なお、本発明は、上記の実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、システム又は装置のコンピュータ（ＣＰＵやＭＰＵなど）がプログラムを読み出すことにより実行されてもよい。また、本発明は、システム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能であり、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 画像処理装置
１０２ 第１の位置合わせ部（第１の変形取得部）
１０３ 変形変換部（生成部）
１０４，５０４ 第２の位置合わせ部（第２の変形取得部）
１１０ 変形画像生成部
１１１ 表示制御部
１１５，５１５ データ取得部
１５０ データサーバ
１６０ 操作部
１７０ 表示部
５０５ 第３の位置合わせ部（第３の変形取得部）

Claims (12)

  1. 第１の画像と第２の画像の位置合わせを行うことで、前記第１の画像と前記第２の画像との間の変形を第１の変形モデルを用いて表す第１の変形パラメータを取得する第１の変形取得手段と、
    前記第１の変形モデルと前記第１の変形パラメータとにより表される変形を示す中間データを生成する生成手段と、
    前記生成手段により生成された中間データに基づいて、前記中間データにより示される変形を前記第１の変形モデルとは異なる第２の変形モデルを用いて表す第２の変形パラメータを取得する第２の変形取得手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第１の変形取得手段は、第１の変形表現として、前記第１の変形パラメータを取得し、
    前記第２の変形取得手段は、第２の変形表現として、前記第２の変形パラメータを取得することを特徴とする請求項１に記載の画像処理装置。
  3. 第１の変形モデルを用いて第１の画像と第２の画像の位置合わせを行うことで、前記第１の画像を変形した第１の変形画像の変形データを第１の変形パラメータとして取得する第１の変形取得手段と、
    前記第１の画像上にサンプル位置を設定し、前記変形データに基づいて、前記第１の変形画像上の前記サンプル位置の座標を算出し、前記第１の画像上の前記サンプル位置と前記第１の変形画像上の前記サンプル位置との変位を生成し、
    前記変位に基づいて、前記第１の画像と前記第２の画像との間の変形を表す第２の変形モデルのパラメータ（第２の変形パラメータ）を取得する生成手段と、
    を備えることを特徴とする画像処理装置。
  4. 前記第２の変形パラメータを初期値として第２の変形モデルを用いて前記第１の画像と前記第２の画像との位置合わせを行い、前記第２の変形パラメータを更新する第２の変形取得手段をさらに備えることを特徴とする請求項３に記載の画像処理装置。
  5. 前記第１の変形取得手段は、前記第１の変形モデルを用いて、前記第１の画像の第１の基準点群と前記第２の画像の第２の基準点群との位置合わせを行うことで、前記第１の変形パラメータを取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
  6. 前記第１の変形取得手段は、前記第１の変形モデルを用いて、前記第１の画像と前記第２の画像との類似度に基づく位置合わせを行なうことで、前記第１の変形パラメータを取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
  7. 前記第２の変形取得手段は、前記変位を小さくするために、前記第２の変形モデルを用いて前記第１の画像を変形することを特徴とする請求項４に記載の画像処理装置。
  8. 前記生成手段は、前記第１の画像と前記第１の変形画像とを対比することにより、前記変位を生成することを特徴とする請求項３又は４に記載の画像処理装置。
  9. 前記第２の変形取得手段は、前記第１の変形画像の変形を抑制する正則化項を導入した前記第２の変形モデルを用いて前記位置合わせ画像の前記変形データを取得することを特徴とする請求項４に記載の画像処理装置。
  10. 前記位置合わせ画像の所定の範囲を設定し、前記所定の範囲の変形を抑制する正則化項を導入した前記第２の変形モデルを用いて前記位置合わせ画像と前記第２の画像の位置合わせを行うことで、前記位置合わせ画像を変形した第３の変形画像の変形データを取得する第３の変形取得手段を備えることを特徴とする請求項４に記載の画像処理装置。
  11. 第１の画像と第２の画像の位置合わせを行うことで、前記第１の画像と前記第２の画像との間の変形を第１の変形モデルを用いて表す第１の変形パラメータを取得する工程と、
    前記第１の変形モデルと前記第１の変形パラメータとにより表される変形を示す中間データを生成する工程と、
    前記生成手段により生成された中間データに基づいて、前記中間データにより示される変形を前記第１の変形モデルとは異なる第２の変形モデルを用いて表す第２の変形パラメータを取得する工程と、
    を備えることを特徴とする画像処理方法。
  12. コンピュータを請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2016080497A 2016-04-13 2016-04-13 画像処理装置、画像処理方法、及びプログラム Active JP6706128B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016080497A JP6706128B2 (ja) 2016-04-13 2016-04-13 画像処理装置、画像処理方法、及びプログラム
US15/481,358 US10297035B2 (en) 2016-04-13 2017-04-06 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016080497A JP6706128B2 (ja) 2016-04-13 2016-04-13 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017191459A JP2017191459A (ja) 2017-10-19
JP6706128B2 true JP6706128B2 (ja) 2020-06-03

Family

ID=60038330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016080497A Active JP6706128B2 (ja) 2016-04-13 2016-04-13 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US10297035B2 (ja)
JP (1) JP6706128B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106361366B (zh) * 2016-11-02 2019-05-03 上海联影医疗科技有限公司 多模态图像配准方法及系统
CN110163794B (zh) * 2018-05-02 2023-08-29 腾讯科技（深圳）有限公司 图像的转换方法、装置、存储介质和电子装置
US11217022B1 (en) * 2019-06-28 2022-01-04 Snap Inc. Light invariant pattern mapping

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5355074B2 (ja) * 2008-12-26 2013-11-27 キヤノン株式会社 ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム
JP5586917B2 (ja) * 2009-10-27 2014-09-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN103854276B (zh) 2012-12-04 2018-02-09 东芝医疗系统株式会社 图像配准及分割装置和方法，以及医学图像设备
JP6383189B2 (ja) * 2014-06-16 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6661300B2 (ja) * 2015-08-17 2020-03-11 キヤノン株式会社 画像形成装置

Also Published As

Publication number Publication date
JP2017191459A (ja) 2017-10-19
US10297035B2 (en) 2019-05-21
US20170301099A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
US20080050043A1 (en) Methods and Systems for Registration of Images
JP6316671B2 (ja) 医療画像処理装置および医用画像処理プログラム
US8437521B2 (en) Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
JP6821403B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム。
JP6376873B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP1695287A1 (en) Elastic image registration
JP5837604B2 (ja) 幾何学的特徴の自動算出方法、非一時的なコンピュータ可読媒体および画像解釈システム
JP6706128B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Walimbe et al. Automatic elastic image registration by interpolation of 3D rotations and translations from discrete rigid-body transformations
US20230351597A1 (en) Methods and devices for medical image processing
Oliveira et al. Novel framework for registration of pedobarographic image data
CN104933672B (zh) 基于快速凸优化算法配准三维ct与超声肝脏图像的方法
Grosland et al. Automated hexahedral meshing of anatomic structures using deformable registration
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
CN114387317A (zh) Ct图像和mri三维图像的配准方法、装置
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110473241B (zh) 图像配准方法、存储介质及计算机设备
JP6821303B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20200342606A1 (en) Image processing apparatus, image processing method, and program
JP6739658B2 (ja) 医用画像処理装置、方法およびプログラム
JP6732593B2 (ja) 画像処理装置および画像処理方法
US10885643B2 (en) Image processing apparatus, image processing method, and storage medium
Mao et al. Dsr: Direct simultaneous registration for multiple 3d images
Zhang et al. Model-based nonrigid image registration using scale-invariant features

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200515

R151 Written notification of patent or utility model registration

Ref document number: 6706128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03