JP7270453B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

医療の分野において、医師は、種々のモダリティで撮影した医用画像を用いて診断を行う。特に、肺や心臓のように疾患の有無が臓器の動きに表れる部位を対象とする場合、時相が異なる複数の医用画像からなる動画像を用いて診断が行われることがある。３次元断層画像を動画像として（時系列で）撮像可能なモダリティに、エリアディテクター型のＸ線ＣＴ装置がある。このモダリティは、３次元のＣＴ画像が動画像として撮像されるため、時間軸を追加した４Ｄ－ＣＴ装置とも呼ばれる。また、４Ｄ－ＣＴ装置で撮像した画像は４Ｄ－ＣＴ画像とも呼ばれる。

４Ｄ－ＣＴ装置には、一回の撮像で撮像可能な範囲に制限があるため、その撮像範囲よりも大きい臓器を観察するためには、撮像範囲を変えて複数回の撮像を行い結果を統合する必要がある。例えば、肺の上部と下部の４Ｄ－ＣＴ画像を別々に撮影し、呼吸の位相が対応づく３次元画像同士を位置合わせして結合することで、肺全体の４Ｄ－ＣＴ画像を生成することが試みられている。

特開２０１２－２１３６０４号公報

しかしながら、位相が対応付けられた夫々の画像同士に十分な重複領域が存在しない場合があり、そのために十分な精度で統合できない場合があるという課題があった。

本発明は、同じ位相として対応づけられた時相画像の間に重複領域が存在しない場合であっても、２つの時相画像を精度良く位置合わせ可能な画像処理装置を提供することを目的とする。

本発明の第一の態様に係る画像処理装置は、
第１の状態と第２の状態の間で周期的な運動を行う対象物を異なる撮影範囲で撮影した第１の動画像と第２の動画像を取得する第１取得手段と、
前記第１の動画像を構成する複数の第１の時相画像と、第２の動画像を構成する複数の第２の時相画像とから、互いに対応する位相を有する時相画像を夫々選択して時相画像対を取得する対応付け手段と、
前記対象物の少なくとも一部の領域を重複領域として夫々が含み、かつ、互いが異なる位相を有する第１の時相画像および第２の時相画像を、それぞれ第１の基準画像および第２の基準画像として取得する第２取得手段と、
前記時相画像対の位置合わせを行うための位置合わせ情報を取得する第３取得手段と、
を備え、
前記第３取得手段は、
前記時相画像対における第１の時相画像である第１の注目画像について、前記第１の基準画像との間の位置合わせ情報である第１の位置合わせ情報を取得し、
前記時相画像対における第２の時相画像である第２の注目画像について、前記第２の基
準画像との間の位置合わせ情報である第２の位置合わせ情報を取得し、
前記第１の基準画像と前記第２の基準画像との間の位置合わせ情報である基準位置合わせ情報を取得し、
前記第１の位置合わせ情報と、前記第２の位置合わせ情報と、前記基準位置合わせ情報に基づいて、前記第１の注目画像と前記第２の注目画像との間の位置合わせ情報である第３の位置合わせ情報を取得する、
ことを特徴とする。

本発明の第二の態様に係る画像処理方法は、
第１の状態と第２の状態の間で周期的な運動を行う対象物を異なる撮影範囲で撮影した第１の動画像と第２の動画像を取得する第１取得ステップと、
前記第１の動画像を構成する複数の第１の時相画像と、第２の動画像を構成する複数の第２の時相画像とから、互いに対応する位相を有する時相画像を夫々選択して時相画像対を取得する対応付けステップと、
前記対象物の少なくとも一部の領域を重複領域として夫々が含み、かつ、互いが異なる位相を有する第１の時相画像および第２の時相画像を、それぞれ第１の基準画像および第２の基準画像として取得する第２取得ステップと、
前記時相画像対の位置合わせを行うための位置合わせ情報を取得する第３取得ステップと、
を含み、
前記第３取得ステップは、
前記時相画像対における第１の時相画像である第１の注目画像について、前記第１の基準画像との間の位置合わせ情報である第１の位置合わせ情報を取得するステップと、
前記時相画像対における第２の時相画像である第２の注目画像について、前記第２の基準画像との間の位置合わせ情報である第２の位置合わせ情報を取得するステップと、
前記第１の基準画像と前記第２の基準画像との間の位置合わせ情報である基準位置合わせ情報を取得するステップと、
前記第１の位置合わせ情報と、前記第２の位置合わせ情報と、前記基準位置合わせ情報に基づいて、前記第１の注目画像と前記第２の注目画像との間の位置合わせ情報である第３の位置合わせ情報を取得するステップと、
を含む、ことを特徴とする。

本発明によれば、同じ位相として対応づけられた時相画像の間に重複領域が存在しない場合であっても、２つの時相画像間の位置合わせ精度を向上できる。

実施形態に係る画像処理装置の機器構成を示す図。 実施形態における全体の処理手順を示すフロー図。 実施形態における位置情報の例を示す図。 実施形態における結合位置の例を示す図。 実施形態における結合位置の例を示す図。

以下、添付図面に従って本発明に係る画像処理装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。

＜第１実施形態＞
本実施形態に係る画像処理装置は、周期的な動きを行う臓器の観察対象の領域全体が含まれるように、領域を分割して複数回撮影した３次元動画像（第１の動画像と第２の動画
像）を統合する装置である。

本実施形態の画像処理装置は、観察対象の領域の少なくとも一部が重複するように領域を分割して撮影した、第１の動画像と第２の動画像を取得する。なお、以下では、夫々の動画像を構成する各時相（各時刻）ごとに撮像された３次元断層画像（静止画像）を、時相画像と呼ぶ。本実施形態の画像処理装置は、第１の動画像と第２の動画像の間で臓器の動きの位相情報が類似する時相画像同士を、同じ位相の時相画像として対応付ける。そして、同じ位相として対応付けられた時相画像を結合することで、当該位相における結合画像を生成する。複数の時相において結合画像を生成することで、複数の時相について観察対象の領域全体を含む画像を取得できる。

ここで、第１の動画像と第２の動画像との間で観察対象の動き方が全く同じであり、かつ、時相画像が正しく（同じ位相が）対応付けられているならば、その結合は、夫々の動画像の撮影範囲の情報に基づいて位置ずれなく行うことができる。しかし現実には、第１の動画像と第２の動画像との間での観察対象の動き方の差異や、同じ位相として対応付けられた時相画像の間の位相の差異に起因した位置ずれが発生する。この位置ずれを解消するためには、同じ位相として対応付けられた時相画像の間の位置合わせを、重複する観察領域の類似度等に基づいて行う必要がある。

しかし、観察対象の領域の動き方によっては、同じ位相として対応付けられた時相画像の間で、観察領域の重複が乏しい場合や観察領域が重複しない場合もある。そこで、本実施形態では、第１の動画像と第２の動画像から、観察対象の領域が重複していて、かつ、位相が互いに異なる時相画像を選択する。以下では、第１の動画像から選択された画像を第１の基準画像、第２の動画像から選択された画像を第２の基準画像と呼ぶ。また、２つの基準画像の対（ペア）を基準画像対と呼ぶ。そして、各動画像内における基準画像を含む時相画像の間の位置合わせ情報（相対的な位置関係）および、第１の基準画像と第２の基準画像との間の位置合わせ情報を求める。さらに、求められた位置合わせ情報のセットを利用して、第１の動画像と第２の動画像の間で同じ位相として対応付けられた時相画像間の位置合わせ情報を算出する。これによって、同じ位相として対応付けられた第１の動画像の時相画像（第１の注目画像）と第２の動画像の時相画像（第２の注目画像）との間で観察領域の重複が乏しい場合や観察領域が重複しない場合でも、その位置合わせ情報が算出できる。

以下、図１から図５を用いて、本実施形態の構成および処理を説明する。なお、本実施形態では、肺の呼吸運動を撮像した３次元動画像を例として説明を行う。ただし、本発明の実施形態はこれに限らず、心臓のように周期的な動きを自発的に行う任意の部位を撮像した動画像でもよい。また、被検体が周期的な運動（例えば、屈伸運動）を行った任意の部位を撮影した動画像でもよい。

図１は、本実施形態に係る画像処理装置１０の構成を示す。同図に示すように、本実施形態における画像処理装置１０は、データサーバ１１と通信可能に接続されている。

データサーバ１１は、第１の動画像と第２の動画像を保持している。第１の動画像および第２の動画像は、同一のモダリティで同一被検体の異なる撮像範囲を予め撮像して得られた、複数の時相の３次元断層画像からなる動画像（３次元動画像や４次元画像とも呼ばれる）である。第１の動画像と第２の動画像は、異なる時間に撮像されたものである。３次元断層画像を撮像するモダリティは、ＭＲＩ装置、Ｘ線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置などであってもよい。第１の動画像および第２の動画像は、データ取得部１１０を介して画像処理装置１０に入力される。

表示部１２は、画像処理装置１０が生成する画像を表示するモニタである。

画像処理装置１０は、以下の構成要素により構成される。データ取得部１１０は、画像処理装置１０に入力される第１の動画像と第２の動画像を取得する。領域抽出部１１５は、第１の動画像と第２の動画像の各時相における対象臓器の領域を抽出する。位相パラメータ算出部１２０は、第１の動画像の各時相における臓器の動きの位相情報を表す第１の位相パラメータと、第２の動画像の各時相における臓器の動きの位相情報を表す第２の位相パラメータを取得する。基準画像取得部１２５は、第１の位相パラメータと第２の位相パラメータに基づいて、第１の動画像から第１の基準画像と第２の動画像から第２の基準画像を取得する。時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータに基づいて、第１の動画像と第２の動画像の各時相画像の対応情報を取得する。すなわち、第１の動画像の夫々の時相画像（第１の時相画像）に対して、第２の動画像の時相画像（第２の時相画像）を対応付ける。位置合わせ情報取得部１４０は、第１の基準画像と第１の動画像の各時相画像との位置合わせ情報を示す第１の位置合わせ情報と、第２の基準画像と第２の動画像の各時相画像との位置合わせ情報を示す第２の位置合わせ情報を取得する。位置合わせ情報取得部１４０は、さらに、第１の基準画像と第２の基準画像との間の位置合わせ情報（基準位置合わせ情報）を取得する。そして、基準位置合わせ情報、第１の位置合わせ情報、第２の位置合わせ情報に基づいて、同じ位相として対応付けられた任意の時相画像間の位置合わせ情報（第３の位置合わせ情報）を取得する。結合画像生成部１５０は、同じ位相として対応付けられた第１の時相画像と第２の時相画像の夫々を、第３の位置合わせ情報に基づいて結合した結合画像を生成する。表示制御部１７０は、結合画像を表示部１２に表示させる表示制御を行う。

画像処理装置１０はハードウェア要素としてＣＰＵ（Central Processing Unit）およ
びメモリを有しており、ＣＰＵがメモリ内に格納されたプログラムを実行することにより上記の各機能が実現される。上記機能は１つのＣＰＵによって実現される必要はなく、複数のＣＰＵによって実現されてもよい。また、上記機能は、ＣＰＵに替えて、あるいはＣＰＵに加えて、その他のプロセッサ、例えばＧＰＵ（Graphical Processing Unit）、Ａ
ＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、プログ
ラマブル論理デバイス、ＦＰＧＡ（Field Programmable Gate Array）によって実現され
てもよい。

図２は、画像処理装置１０が行う全体の処理手順のフローチャートを示している。以下、各ステップについて詳細に説明する。

（Ｓ２００）（データの取得）
ステップＳ２００において、データ取得部１１０は、画像処理装置１００に入力される第１の動画像と第２の動画像を取得する。そして、データ取得部１１０は、取得した第１の動画像と第２の動画像を、領域抽出部１１５、位相パラメータ算出部１２０、位置合わせ情報取得部１４０、および、結合画像生成部１５０へと出力する。

本実施形態の対象臓器を肺とする。第１の動画像および第２の動画像は、最大呼気位（第１の状態）と最大吸気位（第２の状態）の間で周期的な運動を行っている肺を撮像した動画像であるとする。また、第１の動画像と第２の動画像は、対象物を異なる範囲で撮像した動画像であり、少なくとも肺の一部の領域が重複するように肺を頭尾方向に分割して撮影された動画像であるとする。ここでは、第１の動画像は肺尖部が含まれる肺の上部の画像、第２の動画像は肺底部が含まれる肺の下部の画像であるとする。

なお、第１の動画像と第２の動画像は、複数周期分の運動を撮像した動画像であること
を想定するが、少なくとも半周期分の運動（例えば、最大吸気位から最大呼気位までの運動またはその逆）を撮像した動画像であればよい。

（Ｓ２０５）（臓器の領域の抽出）
ステップＳ２０５において、領域抽出部１１５は、第１の動画像と第２の動画像の各時相における対象臓器の領域を抽出する。そして、領域抽出部１１５は、抽出した領域の情報を位相パラメータ算出部１２０および位置合わせ情報取得部１４０へと出力する。

画像からの臓器の領域の抽出処理は公知の画像処理手法を利用できる。利用可能な画像処理手法の一例は、画素値の閾値を利用した任意の閾値処理、およびグラフカット処理をはじめとする既知のセグメンテーション処理である。また、臓器領域の抽出は、ユーザが手動で行ってもよい。例えば、不図示の図形描画ソフトを用いてユーザが手動で肺の領域を抽出（指定）してもよいし、公知の画像処理手法で抽出した肺の領域をユーザが手動で修正してもよい。

（Ｓ２１０）（位相パラメータの算出）
ステップＳ２１０において、位相パラメータ算出部１２０は、第１の動画像を解析することにより、対象臓器の周期運動（肺の例では、肺の呼吸運動）の位相情報を表す第１の位相パラメータを算出する。また同様に、位相パラメータ算出部１２０は、第２の動画像を解析することにより、対象臓器の周期運動の位相情報を表す第２の位相パラメータを算出する。そして、位相パラメータ算出部１２０は、算出した第１の位相パラメータと第２の位相パラメータを、時相対応情報取得部１３０へと出力する。

本実施形態において、位相パラメータ算出部１２０は、第１の位相パラメータとして、第１の動画像に含まれる各時相画像（各時相における静止画像）から対象臓器の周期運動と相関がある数値を算出する。例えば、対象臓器が肺の場合、肺の体積は呼吸運動と連動して変化するため、ステップＳ２０５で抽出した肺領域を利用して、各時相画像に含まれる肺の体積を計測し、各時相画像における肺の体積の大きさを第１の位相パラメータとする。あるいは、所定のスライス面内の肺の面積の大きさを第１の位相パラメータとしてもよい。また、ＣＴ画像においては、肺の体積に応じて肺領域内の空気領域の画素値が変化することが知られている。そのため、各時相画像に含まれる肺領域内の画素値の分布情報に基づいて、第１の位相パラメータを算出してもよい。また、肺から取得できる情報に限らず、呼吸運動と連動する位相部位の情報を用いて第１の位相パラメータを算出してもよい。例えば、胸腹部の体表や他の臓器の動きに基づいて、第１の位相パラメータを算出してもよい。また、呼吸運動と連動する複数の情報を統合して第１の位相パラメータを算出してもよい。なお、第２の位相パラメータも第１の位相パラメータと同様に第２の動画像を解析することにより取得する。ただし、必ずしも第１の位相パラメータと第２の位相パラメータを同一の方法で算出しなくてもよい。

また、画像処理装置１０は、不図示の外部装置から位相パラメータを取得できる構成でもよい。例えば、動画像の撮像と同時に被検体の換気量をスパイロメータで計測し、画像処理装置１０は、計測値を位相パラメータとして取得してもよい。あるいは、動画像の撮像時における被検体の体表の動きをレーザセンサや圧力センサを用いて計測し、画像処理装置１０は、計測値を位相パラメータとして取得してもよい。また、ユーザが各時相画像の位相パラメータを画像処理装置１０に手動で入力してもよい。

（Ｓ２２０）（時相の対応情報の取得）
ステップＳ２２０において、時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータに基づいて、位相が類似する第１の動画像と第２の動画像の時相画像を対応付け、それを時相の対応情報として取得する。ここで時相の対応情報とは、第１の
動画像の何時相目の時相画像と第２の動画像の何時相目の時相画像が最も位相が類似しているかを表す情報である。時相の対応情報は、対応付けられた時相画像対を示す情報とも捉えられる。また、時相対応情報取得部１３０は、いずれの画像対が位相のピーク（肺の場合、最大吸気位と最大呼気位）に該当するかを示す情報も、時相の対応情報として取得する。そして、時相対応情報取得部１３０は、取得した位相の対応情報を、基準画像取得部１２５、位置合わせ情報取得部１３０、および結合画像生成部１５０へと出力する。

対象臓器が肺であり、第１の位相パラメータと第２の位相パラメータを肺の体積に基づいて算出した場合を例に具体的に説明する。第１の動画像と第２の動画像では、画像に含まれている肺の領域が異なるため、肺の体積が類似していても必ずしも換気量も類似しているとは限らない。したがって、類似する位相パラメータの値を有する時相画像を対応づけると正しい対応付けはできない。そこで、例えば、第１の動画像における体積が最大となる時相画像の第１の位相パラメータの値を１、体積が最小となる時相画像の第１の位相パラメータを０となるようにパラメータを正規化する。同様に、第２の位相パラメータも０から１の範囲となるように正規化する。そして、第１の動画像の所定の時相画像に対して、正規化後の第１の位相パラメータと最も類似する第２の位相パラメータを有する時相画像を対応づけることができる。なお、第１の動画像と第２の動画像の夫々において、正規化後の位相パラメータの値が１の時相画像は最大吸気位、０の時相画像は最大呼気位を表している。

また、正規化なしの第１の位相パラメータと第２の位相パラメータに基づいて、時相画像の対応付けを行ってもよい。例えば、第１の動画像と第２の動画像の間で被検体のおおよそ同一部位を利用して第１の位相パラメータと第２の位相パラメータを算出している場合、正規化せずに位相パラメータが類似する時相を換気量が類似する時相として対応付けることができる。具体的には、動画像のヘッダー情報から取得できる装置座標系を利用し、第１の動画像と第２の動画像上で装置座標系が同一の位置における胸腹部の体表位置を第１の位相パラメータと第２の位相パラメータとして取得する。この場合、位相パラメータを正規化せずに第１の動画像と第２の動画像の間で位相パラメータが類似する（すなわち体表の位置が近い）時相画像を対応付けてもよい。

具体的に、位相パラメータを用いて対応付けした結果の例を示す。第１の動画像と第２の動画像の時相数が５時相であり、第１の位相パラメータが１時相目から順に｛０．０，０．３，０．６，０．８，１．０｝、第２の位相パラメータが｛０．０，０．５，０．６，０．８，１．０｝だった場合を例とする。第１の位相パラメータを基準として、第２の位相パラメータの最も類似する時相と対応付ける場合、第１の動画像と第２の動画像は１時相目から順に１対１で対応付く結果となり、対応付いた時相数は５時相となる。また、第２の位相パラメータを基準とした場合、第２の位相パラメータの２時相目（０．５）と３時相目（０．６）は、いずれも第１の位相パラメータの３時相目（０．６）と対応付き、対応付いた時相数は５時相となる。なお、一方の動画像の複数時相の位相パラメータがいずれも他方の動画像の同一時相と最も類似している場合、位相パラメータが最も類似するペアを一つのみ対応付けてもよい。この場合、対応付かなかった他の時相は、他方の動画像における２番目以降の位相パラメータが類似する時相と対応付けてもよいし、対応付けずに後段のステップで使用しなくてもよい。使用しない場合、前述の例において第２の位相パラメータを基準とした場合、第１の位相パラメータと第２の位相パラメータの２時相目は対応付けないこととなり、対応付いた時相数は４時相となる。

（Ｓ２２５）（基準画像の取得）
ステップＳ２２５において、基準画像取得部１２５は、時相の対応情報に基づいて、第１の動画像から第１の基準画像を、第２の動画像から第２の基準画像を取得（選択）し、これらを時相画像の組（基準画像対）とする。第１の基準画像と第２の基準画像は、対象
臓器の少なくとも一部の領域を重複領域として夫々が含む時相画像の組として決定される。基準画像取得部１２５は、取得した第１の基準画像と第２の基準画像の情報を、位置合わせ情報取得部１４０へと出力する。

本実施形態において、基準画像取得部１２５は、第１の動画像と第２の動画像における互いに異なる位相を有する時相画像を基準画像対として取得する。これは、臓器の周期運動により第１の動画像と第２の動画像の各時相画像で撮像される領域が異なり、異なる位相の時相画像対の両方に重複して撮像される領域は、同じ位相の時相画像対の両方に重複して撮像される領域よりも大きいためである。

図３を用いて具体的に説明する。画像３００から画像３０３は、第１の動画像の最大吸気位（第２の状態）から最大呼気位（第１の状態）までの時相画像を示しており、画像３１０から画像３１３は、第２の動画像の最大吸気位から最大呼気位までの時相画像を示している。肺の呼吸運動では、肺尖部側の頭尾方向の動きが小さく、肺底部側の動きは肺尖部と比較して相対的に大きい。図３に示すように、肺の上部を撮像した第１の動画像では、肺底部が肺尖部に近づくほど肺の組織の密度が高くなり、時相画像に含まれる肺の領域の割合が大きくなる傾向にある。したがって、最大吸気位の時相画像に含まれる肺の領域の割合が最も小さく、最大呼気位に近づくにつれて時相画像に含まれる肺の領域の割合が大きくなり、最大呼気位で肺の領域の割合が最大となる。一方、第１の動画像とは反対に、肺の下部を撮像した第２の動画像では、最大吸気位の時相画像に含まれる肺の領域の割合が最も大きく、最大呼気位に近づくにつれて時相画像に含まれる肺の領域の割合が小さくなり、最大呼気位で肺の領域の割合が最小となる。したがって、重複領域が最大となる可能性が最も高い組み合わせは、時相画像中に含まれる肺の領域の割合がそれぞれ最大である第１の動画像の最大呼気位と第２の動画像の最大吸気位の時相画像の組み合わせである。したがって、基準画像取得部１２５は、これらの時相画像をそれぞれ第１の基準画像と第２の基準画像として取得する。なお、このように推測に基づいて基準画像を選択する代わりに、重複領域が最大となる第１の動画像中の時相画像と第２の動画像中の時相画像の組み合わせを、画像間の類似度に基づいて選択して、それぞれ第１の基準画像および第２の基準画像としてもよい。

また、基準画像は、最大吸気位と最大呼気位の時相画像に限らず、他の時相画像であってもよい。例えば、ステップＳ２２０で対応付けられた最大呼気位と最大吸気位の間の所定の位相を注目位相として、該注目位相の前の位相と後の位相の時相画像を、第１の基準画像および第２の基準画像として選択してもよい。具体的には、第１の動画像のうちから注目位相の時相画像より所定の時相数だけ最大呼気位に近い（肺の領域が大きい）時相画像を第１の基準画像として選択する。また、第２の動画像のうちから当該注目位相より所定の時相数だけ最大吸気位に近い（肺の領域が大きい）時相画像を第２の基準画像として選択してもよい。このとき、所定の時相数は第１の動画像と第２の動画像とで同じでなくてもよく、一方は０でもよい。呼気から吸気への（息を吸う）動画像の場合には、第１の基準画像が第２の基準画像に対して少し前の位相になるように選択すればよい。逆に、吸気から呼気への（息を吐く）動画像の場合には、第１の基準画像が第２の基準画像に対して少し後の位相になるように選択すればよい。すなわち、対象臓器の運動の方向に基づいて、重複領域が得られるように位相をずらして基準画像を選択すればよい。これによると、第１の動画像の最大呼気位の時相画像と第２の動画像の最大吸気位の時相画像を基準画像として選択する場合よりも、換気量が類似した時相画像を第１の基準画像と第２の基準画像として選択できる。換気量が類似していることにより、時相画像中の肺の領域の形状や画素値が類似しているため、後段のステップにおいて第１の基準画像と第２の基準画像の間の基準位置合わせ情報を算出する際に、精度が高くなるという効果がある。なお、注目位相としては、例えば、最大呼気位と最大吸気位の中間の位相を用いることができる。注目位相は、最大呼気位に近い位相と最大吸気位に近い位相の時相画像を夫々に十分に含
む位相であれば、中間の位相以外の位相であってもよい。

最大吸気位と最大呼気位以外の時相画像を基準画像として取得する他の具体例について説明する。

例えば、注目位相の時相画像と他の時相画像との画像類似度に基づいて基準画像を取得してもよい。これによると、最大呼気位や最大吸気位よりも注目位相と肺の形状が類似した時相画像を基準画像として取得できるため、後段のステップにおいて第１の基準画像と第２の基準画像の間の基準位置合わせ情報を算出する際に、精度が高くなるという効果がある。

例えば、第１の動画像においては、注目位相より最大呼気位に近い時相画像の中で、第１の動画像における注目位相の時相画像との画像類似度が最も高い時相画像を第１の基準画像として取得してもよい。同様に、第２の動画像においては、注目位相より最大吸気位に近い時相画像の中で、第２の動画像における注目位相の時相画像との画像類似度が最も高い時相画像を第２の基準画像として取得してもよい。

あるいは、第１の動画像と第２の動画像の間の画像類似度を利用してもよい。例えば、第２の動画像の注目位相の時相画像と類似度の高い時相画像を、第１の動画像の注目位相から最大呼気位の間の時相画像の中から探索して、第１の基準画像として選択してもよい。ここで、第１の動画像と第２の動画像の類似度は次のようにして算出できる。すなわち、第２の動画像における注目位相の時相画像の肺尖部側のスライスを選択し、対応するスライスを第１の動画像の時相画像から求め、これら対応するスライス画像の間の画像類似度を、第１の時相画像と第２の時相画像の類似度として算出する。このとき、第２の動画像における注目位相の時相画像を第２の基準画像として取得してもよいし、第１の基準画像と同様に第１の動画像と第２の動画像の間の画像類似度を利用して第２の基準画像を取得してもよい。すなわち、第１の動画像の注目位相の時相画像と類似度の高い時相画像を、第２の動画像の注目位相から最大吸気位の間の時相画像の中から探索して、第２の基準画像として選択してもよい。

なお、画像類似度が最も高い時相画像を基準画像とする代わりに、閾値以上の画像類似度を有する時相画像のいずれかを基準画像として取得してもよい。選択基準として、重複領域の大きさおよび画像品質の少なくともいずれかを用いてもよい。

また、画像類似度の代わりに、画質に基づいて基準画像を取得してもよい。モーションアーチファクトが含まれる画質が低い時相画像ではなく、画質が高い時相画像を基準画像として取得できることで、後段のステップにおいて第１の基準画像と第２の基準画像の間の基準位置合わせ情報を算出する際の精度が向上する。例えば、第１の基準画像として、注目位相より最大呼気位に近い第１の動画像中の時相画像の中で最も画質が良い時相画像を取得する。また同様に、第２の基準画像として、注目位相より最大吸気位に近い第２の動画像中の時相画像の中で最も画質が良い時相画像として取得してもよい。画質は、例えば、鮮鋭度、コントラスト、ノイズ量の少なくともいずれかによって評価できる。

なお、最も画質のよい時相画像を基準画像とする代わりに、閾値以上の画質を有する時相画像のいずれかを基準画像として取得してもよい。選択基準として、重複領域の大きさおよび画像類似度の少なくともいずれかを用いてもよい。

最大吸気位と最大呼気位を基準画像とした場合と比較して、他の時相画像を基準画像とした場合、換気量が類似した時相画像を第１の基準画像と第２の基準画像として選択できる一方で、第１の基準画像と第２の基準画像との間で重複する領域が少なくなる。重複す
る領域が少ない場合、後段のステップで算出する第１の基準画像と第２の基準画像の間の基準位置合わせ情報の精度が低くなる可能性がある。そこで、例えば換気量の類似性と、重複する領域の大きさの両方に基づいて第１の基準画像と第２の基準画像を選択するようにしてもよい。例えば、換気量の類似性の評価尺度として注目位相との画像類似度を利用し、重複する領域の大きさの評価尺度として肺の体積を算出して求められる肺の領域の割合の大きさを利用できる。そして、両方の評価尺度を重み付け加算した評価値に基づいて基準画像を選択してもよい。また、換気量の類似性と重複する領域の大きさの組み合わせに限らず、複数の任意の評価尺度を組み合わせてもよい。例えば、重複する領域の大きさと画質の評価尺度に基づいて基準画像を取得してもよい。換言すると、第１の基準画像と第２の基準画像は、両画像間の重複領域の大きさ、画像類似度、および画質のうちの複数を評価尺度として用いて決定されてもよい。

また、本実施形態において、第１の基準画像および第２の基準画像として夫々単一の時相画像を選択する場合を例として説明したが、第１の基準画像および第２の基準画像を夫々複数選択して、次のステップへと処理を進めてもよい。例えば、第１の動画像の最大呼気位と、注目位相と最大呼気位の間の他の時相画像の両方を第１の基準画像として取得し、第２の動画像の最大吸気位と、注目位相と最大呼気位の間の他の時相画像の両方を第２の基準画像として取得してもよい。あるいは、いずれか一方の基準画像のみ複数の時相画像を選択してもよい。

（Ｓ２３０）（結合位置情報の算出）
ステップＳ２３０において、位置合わせ情報取得部１４０は、第１の基準画像と第２の基準画像との間の相対的な位置関係（基準位置合わせ情報）を算出する。また、第１の基準画像と、それ以外の第１の動画像の各時相画像との間の位置関係（第１の位置合わせ情報）、および、第２の基準画像と、それ以外の第２の動画像の各時相画像との間の位置関係（第２の位置合わせ情報）を算出する。そして、上記の基準位置合わせ情報、第１の位置合わせ情報、及び第２の位置合わせ情報に基づいて、第１の動画像と第２の動画像で位相が対応付けられた各時相画像を結合するための位置合わせ情報を第３の位置合わせ情報として算出する。そして、算出した第３の位置合わせ情報を結合画像生成部１５０へと出力する。

基準位置合わせ情報は、第１の基準画像上のある１つまたは複数の位置が、第２の基準画像上のどの位置に対応するかを表す情報である。第１の位置合わせ情報は、第１の基準画像上のある１つまたは複数の位置が、第１の動画像の他の時相画像上のどの位置に対応するかを表す情報である。同様に、第２の位置合わせ情報は、第２の基準画像上のある１つまたは複数の位置が、第２の動画像の他の時相画像上のどの位置に対応するかを表す情報である。第３の位置合わせ情報は、対応づけられた時相画像同士の位置関係を表す情報である。以下、それぞれの位置合わせ情報の算出方法の詳細を説明する。

まず、位置合わせ情報取得部１４０は、基準位置合わせ情報として、第１の基準画像上の所定の位置と対応する第２の基準画像上の位置を算出する。例えば、第１の基準画像のi番目のスライス位置をＰ１＿ｉとしたとき、第１の基準画像のスライス位置Ｐ１＿ｉと
対応する第２の基準画像のｊ番目のスライス位置Ｐ２＿ｊを探索する。そして、第１の基準画像のスライス位置Ｐ１＿ｉに対応する位置である第２の基準画像のスライス位置Ｐ２＿ｊを基準位置合わせ情報として保持する。ここで、スライス位置Ｐ１＿ｉは、第１の基準画像と第２の基準画像の重複領域の中から選択することが望ましい。基準位置合わせ情報は、スライス位置ではなく、第１の基準画像のスライス位置Ｐ１＿ｉ上の各画素と対応する第２の基準画像上の画素の位置として算出してもよい。

次に、位置合わせ情報取得部１４０は、同様の方法で、第１の基準画像と、それ以外の
第１の動画像の各時相画像との間の第１の位置合わせ情報を算出する。このとき、第１の位置合わせ情報は、第１の基準画像をそれ以外のすべての第１の動画像の各時相画像と比較することで算出してもよい。あるいは、隣り合う時相画像間の位置合わせを行い、当該画像間の位置合わせ情報を算出し、それらを時系列に積算することで、第１の基準画像と他の時相画像との位置合わせ情報を取得してもよい。また、位置合わせ情報取得部１４０は、第１の位置合わせ情報と同様に、第２の位置合わせ情報も算出する。

位置合わせ情報の算出は、公知の画像処理手法により、２つの時相画像の間の同一位置を表す画素が略一致するように探索することで算出できる。例えば、所定のスライス位置における断層像間の画像類似度が高くなるスライス位置の探索を行う。画像類似度としては、一般的に用いられているＳｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）や相互情報量、相互相関係数などの公知の方法を用いることができる。

第３の位置合わせ情報の算出方法を図３を参照しながら説明する。図３において、画像３０２と画像３１２は、肺のいずれの領域も重複していないとする。このとき、画像３０２と画像３１２の間の第３の位置合わせ情報を算出する例を説明する。なお、画像３００と画像３１０、画像３０１と画像３１１、画像３０２と画像３１２、画像３０３と画像３１３の時相画像がそれぞれ位相が対応付いているものとし、画像３０３が第１の基準画像、画像３１０が第２の基準画像として選択されているとする。また、点線３２０,３２１
，３２２，３２３，３２４がそれぞれ対応するスライス位置、点線３３０,３３１，３３
２，３３３，３３４がそれぞれ対応するスライス位置を表している。ここで「対応するスライス位置」とは、被検体の略同一部位を描出するスライスの位置を意味する。

このとき、基準位置合わせ情報は、例えば、第１の基準画像３０３のスライス位置３３０が、第２の基準画像３１０のスライス位置３３１と対応することを表す。また、第１の位置合わせ情報は、例えば、第１の基準画像３０３のスライス位置３３０が、第１の動画像中のその他の時相画像３００～３０２のスライス位置３２０～３２３とそれぞれ対応することを表す。ここで、スライス位置３３０は、第１の動画像の中で肺の領域の比率が最小になる最大吸気位の時相画像（画像３００）に含まれるスライスとするとよい。肺の領域の比率が最小になる時相画像３００に含まれるスライスは、その他の時相画像３０１～３０３にも含まれるためである。同様に、第２の位置合わせ情報は、例えば、第２の基準画像３１０のスライス位置３３１が、第２の動画像中のその他の時相画像３１１～３１３のスライス位置３３２～３３４とそれぞれ対応することを表す。スライス位置３３１は、第２の動画像の中で肺の領域の比率が最小になる最大呼気位の時相画像（画像３１３）に含まれるスライスとするとよい。肺の領域の比率が最小になる時相画像３１３に含まれるスライスは、その他の時相画像３１１～３１３にも含まれるためである。

第３の位置合わせ情報は、位相が対応づけられた時相画像間の位置関係を表す情報である。位置合わせ情報取得部１４０は、算出した基準位置合わせ情報、第１の位置合わせ情報、および第２の位置合わせ情報を用いることで、位相が対応付けられた任意の時相画像間における第３の位置合わせ情報を算出する。例えば、画像３０２と画像３１２の間の位置合わせ情報は、画像３０２と第１の基準画像３０３の位置関係と、第１の基準画像３０３と第２の基準画像３１０の相対的な位置関係と、第２の基準画像３１０と画像３１２の位置関係とを用いて算出される。すなわち、画像３０２から画像３０３への変換、画像３０３から画像３１０への変換、画像３１０から画像３１２への変換を結合することで、画像３０２から画像３１２への変換を得る。

なお、第３の位置合わせ情報を取得することによって、第１の動画像と第２の動画像の間で位相が対応付けられた時相画像対において、肺のいずれかの領域が重複するか否かを判定することもできる。例えば、画像３０３のスライス位置３２３とスライス位置３３０
の間のスライス枚数をＳｎとしたとき、画像３０２と画像３１２において、スライス位置３２２とスライス位置３３３の間にＳｎ枚以上のスライスが存在するか否かで、重複の有無を判定できる。画像３０２に含まれるスライス位置３２２から肺底部側のスライスの枚数と、画像３１２に含まれるスライス位置３３３から肺尖部側のスライス枚数の和がＳｎに満たない場合、画像３０２と３１２の間では肺のいずれの領域も重複していないと判定できる。なお、画像３０３中の２つのスライス位置３２３，３３０は、他の時相の時相画像対において異なる画像に含まれるように選択される。すなわち、スライス位置３２３は時相画像３０２に存在し、スライス位置３３０は時相画像３１２に存在するように選択される。

また、算出した位置関係の信頼度も第３の位置合わせ情報として算出できる。最大吸気位から最大呼気位までの肺の頭尾方向の動きは略一方向である。よって、例えば第１の基準画像におけるｉ番目のスライス位置と、第２の動画像中の各時相画像のｊ番目のスライス位置が対応する場合、基準画像との位相パラメータの類似度に応じてｊの値が一方向に単調に変化するか、ほとんど変化しないことが期待される。具体的には、第１の基準画像３０３のスライス位置３３０に対応する時相画像３１０～３１３中のスライス位置は、位相の変化に応じて単調に変化する。このような性質があるので、例えば、ある１時相のみ他の時相と大きく異なる位置を示した場合、基準画像とその時相画像の位置関係の算出結果は誤っている可能性が高く、信頼度が低いと判断できる。信頼度は、連続する時相で算出した結合位置の２次微分の値に基づいて算出できる。例えば、２次微分の値に反比例した値（信頼度の高さに比例した値）を信頼度として利用することができる。

ステップＳ２２５において、複数の時相画像を基準画像として選択している場合、第１の基準画像と第２の基準画像の夫々の組み合わせについて基準位置合わせ情報を求める。そして、第１の基準画像と第２の基準画像の組み合わせに応じて、時相画像対を結合するための暫定的な位置合わせ情報を複数取得し、これらを統合して最終的な第３の位置合わせ情報を取得する。例えば、第１の基準画像がＮ個あり、第２の基準画像がＭ個ある場合には、Ｎ×Ｍ通りについて基準位置合わせ情報が求められる。そして、位相が対応付けられた各時相画像を結合するための暫定的な位置合わせ情報を、これらの基準位置合わせ情報をそれぞれ用いてＭ×Ｎ通り算出する。そして、これら複数の暫定位置合わせ情報の中で最も信頼度が高い暫定位置合わせ情報を第３の位置合わせ情報として決定して次のステップへと処理を進める。あるいは、これら複数の暫定位置合わせ情報の平均を第３の位置合わせ情報としてもよい。ここで、平均は、単純平均であってもよいし、暫定位置合わせ情報の信頼度に応じた重みを用いた加重平均であってもよい。また、Ｎ×Ｍ通りの全ての組み合わせではなく、その一部の組み合わせについての基準位置合わせ情報を求めるようにしてもよい。

（Ｓ２４０）（結合画像の生成）
ステップＳ２４０において、結合画像生成部１５０は、ステップＳ２３０で算出した第３の位置合わせ情報に基づいて、第１の時相画像と第２の時相画像を結合した結合画像を生成する。そして、生成した結合画像を表示制御部１７０へと出力する。結合画像は、位相が対応付けられた時相画像対の全てについて生成するとよいが、一部の時相画像対についてのみ結合画像が生成されてもよい。

まず、第１の時相画像と第２の時相画像の間で重複領域がある場合の結合画像の生成方法について説明する。結合画像生成部１５０は、ステップＳ２３０で算出した第３の位置合わせ情報に基づいて、第１の時相画像上の位置と対応する第２の時相画像上の位置が重なるように結合することで結合画像を生成する。図４を用いて具体的に説明する。図４において、画像４００は第１の時相画像の冠状断面を表しており、破線４１０はスライス位置Ｐ１＿ｉを表している。また、画像４２０は第２の時相画像の冠状断面を表しており、
破線４３０はステップＳ２３０で算出したスライス位置Ｐ１＿ｉと対応するスライス位置Ｐ２＿ｊを表している。そして、画像４４０は、第１の時相画像のスライス位置Ｐ１＿ｉと第２の時相画像のスライス位置Ｐ２＿ｊが重なるように、第２の時相画像をスライス方向に並進移動させて結合した結合画像を表している。そして、領域４５０は第１の時相画像にのみ撮像されている領域、領域４６０は第１の時相画像と第２の時相画像の両方に撮像されている領域、領域４７０は第２の時相画像にのみ撮像されている領域を示している。領域４５０および領域４７０における結合画像の画素値は、第１の時相画像および第２の時相画像の一方の時相画像の画素値とする。領域４６０における結合画像の画素値は、第１の時相画像と第２の時相画像の画素値のいずれか一方の画素値でもよいし、平均値でもよい。また、領域４６０内の位置に応じて、肺尖部側の画素では第１の時相画像の画素値の重みを大きくし、肺底部側の画素では第２の時相画像の画素値の重みを大きくした重み付き平均値を利用してもよい。

なお、本実施形態において、ステップＳ２３０で算出した位置関係の信頼度に基づいて、結合画像を生成するか否かを決定してもよい。位置関係の信頼度を算出している場合、第１の時相画像と第２の時相画像の少なくとも一方の位置関係の信頼度が、あらかじめ設定した所定の閾値以上か否かを判定し、閾値以上の場合のみ、結合位置の信頼度が高いと判断して結合画像を生成してもよい。

また、本実施形態において、第１の時相画像のスライス位置Ｐ１＿ｉと対応する第２の時相画像のスライス位置Ｐ２＿ｊが重なるように並進移動させて結合画像を生成したが、結合画像の生成方法はこれに限らない。例えば、結合位置情報としてスライス位置ではなく、各画素の位置を算出している場合、各画素が結合位置で重なるように第２の変形画像を変形させて結合してもよい。また、並進移動により結合画像を生成する場合でも、体表位置や気管支の分岐の位置のように所定の部位が合うように、画像の類似度に基づいて第２の時相画像を変形させてから結合してもよい。

次に、第１の時相画像と第２の時相画像の間で重複領域が存在しない場合の結合画像の生成方法について説明する。図３において、画像３０２のスライス位置３２２と画像３１２のスライス位置３３３の位置関係を保持するように結合画像を生成した場合、画像３０２と画像３１２のスライスの間に重複領域が存在しないため、結合画像上に撮像範囲外の領域が生じる。この場合、撮像範囲外の領域の画素値を所定のパディング値で埋めることにより結合画像を生成することができる。図５は、画像３０２と画像３１２を結合した画像５００を示す。領域５１０は第１の時相画像のみに撮像されている領域を示し、領域５３０は第２の時相画像のみに撮像されている領域を示す。その間の領域５２０は、どちらの時相画像にも撮像されていない撮像範囲外の領域であり、パディング値で埋められている領域である。

このように、対応する時相画像の間で重複する撮像領域が存在しない場合でも、複数の時相における結合画像を生成することができる。すなわち、観察対象の領域全体を含む時系列の結合画像を取得できる。

（Ｓ２６０）（画像の表示）
ステップＳ２６０において、表示制御部１７０は、ステップＳ２４０で生成した結合画像を表示部１２に表示する。

なお、本ステップにおける結合画像の表示の処理は必ずしも実施する必要はなく、生成した結合画像を不図示のメモリに保存したり、データサーバ１１に出力するだけの構成であってもよい。

以上により、本実施形態では、同じ位相として対応付けられた時相画像の間で重複領域が存在しない場合においても、二つの動画像を適切に結合して観察対象の領域全体を観察可能な動画像を生成できる。

（変形例）
本実施形態では、所定の時相における第１の時相画像と第２の時相画像の間の結合位置である第３の位置合わせ情報を、基準位置合わせ情報と第１の位置合わせ情報、第２の位置合わせ情報を用いて間接的に算出する場合を例として説明した。しかし、結合位置の算出方法はこれに限らない。例えば２つの時相画像の間で重複領域が存在する場合に、２つの時相画像の直接の比較により求められる結合位置（第１の結合位置）と、上記の方法で間接的に算出した結合位置（第２の結合位置）の両方に基づいて、最終的な結合位置を算出してもよい。第２の結合位置（第３の位置合わせ情報）は、基準位置合わせ情報と第１の位置合わせ情報、第２の位置合わせ情報をそれぞれ統合して算出される。そのため、それぞれに含まれる誤差の累積により、第２の結合位置の誤差が大きくなる場合がある。したがって、第２の結合位置を初期値として、初期値の周囲で第１の結合位置を探索するようにしてもよい。これにより、大まかな結合位置を初期値とすることができるため、探索範囲を限定することが可能となり探索処理が安定するという効果がある。

また、第１の結合位置と第２の結合位置のうち、位置合わせの信頼度が高い方の結合位置を最終的な結合位置情報として出力してもよい。位置合わせの信頼度は上述したように、位置合わせ情報の２次微分値に基づいて評価できる。また、信頼度が高い結合位置を選択する代わりに、信頼度に応じて重みを用いた第１の結合位置と第２の結合位置の加重平均を最終的な結合位置として出力してもよい。あるいは、第１の結合位置を算出し、結合位置の信頼度が低い時相画像においてのみ、第２の結合位置を算出して用いるようにしてもよい。また、先に第２の結合位置を算出し、結合位置の信頼度が低い時相において、第１の結合位置を算出して用いるようにしてもよい。

また、本実施形態では撮像の対象物は人の肺であるが、周期的な運動を行う物体であれば、心臓、胃、腸などその他の器官や関節などを対象物として構わない。また、人間以外に、動物、植物、機械などを対象としてもよい。また、上記の例では対象物の全体を２つの動画像に分けて撮影しているが、３つ以上に分けて撮像してもよい。３つ以上の動画像の位置合わせをする場合には、例えば、重複領域を有する２つの動画像についてそれぞれ上記のようにして位置合わせをすればよい。また、本実施形態では３次元動画像を対象としたが、２次元動画像を対象としても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０：データ取得部
１３０：時相対応情報取得部
１４０：位置合わせ情報取得部

Claims (20)

1. 第１の状態と第２の状態の間で周期的な運動を行う対象物を異なる撮影範囲で撮影した第１の動画像と第２の動画像を取得する第１取得手段と、
   前記第１の動画像を構成する複数の第１の時相画像と、第２の動画像を構成する複数の第２の時相画像とから、互いに対応する位相を有する時相画像を夫々選択して時相画像対を取得する対応付け手段と、
   前記対象物の少なくとも一部の領域を重複領域として夫々が含み、かつ、互いに異なる位相を有する第１の時相画像および第２の時相画像を、それぞれ第１の基準画像および第２の基準画像として取得する第２取得手段と、
   前記時相画像対の位置合わせを行うための位置合わせ情報を取得する第３取得手段と、
   を備え、
   前記第３取得手段は、
   前記時相画像対における第１の時相画像である第１の注目画像について、前記第１の基準画像との間の位置合わせ情報である第１の位置合わせ情報を取得し、
   前記時相画像対における第２の時相画像である第２の注目画像について、前記第２の基準画像との間の位置合わせ情報である第２の位置合わせ情報を取得し、
   前記第１の基準画像と前記第２の基準画像との間の位置合わせ情報である基準位置合わせ情報を取得し、
   前記第１の位置合わせ情報と、前記第２の位置合わせ情報と、前記基準位置合わせ情報に基づいて、前記第１の注目画像と前記第２の注目画像との間の位置合わせ情報である第３の位置合わせ情報を取得する、
   画像処理装置。
2. 前記第２取得手段は、前記重複領域の大きさが最大である第１の時相画像および第２の時相画像を、それぞれ前記第１の基準画像および前記第２の基準画像として選択する、
   請求項１に記載の画像処理装置。
3. 前記第２取得手段は、前記第１の状態に対応する第１の時相画像を前記第１の基準画像
   として選択し、前記第２の状態に対応する第２の時相画像を前記第２の基準画像として選択する、
   請求項１に記載の画像処理装置。
4. 前記第２取得手段は、
   前記第１の状態と前記第２の状態の間の状態に対応する注目位相の第１の時相画像または前記注目位相よりも前記第１の状態に近い位相の第１の時相画像を、前記第１の基準画像として選択し、
   前記第１の基準画像の位相とは異なる位相、かつ、前記注目位相の第２の時相画像または前記注目位相よりも前記第２の状態に近い位相の第２の時相画像を前記第２の基準画像として選択する、
   請求項１に記載の画像処理装置。
5. 前記第２取得手段は、
   前記注目位相より前記第１の状態に近い位相の第１の時相画像の中で前記注目位相の第１の時相画像との類似度が最も高い時相画像を、前記第１の基準画像として選択し、
   前記注目位相より前記第２の状態に近い位相の第２の時相画像の中で前記注目位相の第２の時相画像との類似度が最も高い時相画像を、前記第２の基準画像として選択する、
   請求項４に記載の画像処理装置。
6. 前記第２取得手段は、
   前記注目位相より前記第１の状態に近い位相の第１の時相画像の中で前記注目位相の第２の時相画像との類似度が最も高い時相画像、または、前記注目位相の前記第１の時相画像を、前記第１の基準画像として選択し、
   前記注目位相より前記第２の状態に近い位相の第２の時相画像の中で前記注目位相の第１の時相画像との類似度が最も高い時相画像、または、前記注目位相の前記第２の時相画像を、前記第２の基準画像として選択する、
   請求項４に記載の画像処理装置。
7. 第１の時相画像と第２の時相画像の間の前記類似度は、前記第１の時相画像と前記第２の時相画像とに含まれる互いに対応するスライス画像の画像類似度により評価される、
   請求項６に記載の画像処理装置。
8. 前記第２取得手段は、
   前記注目位相より前記第１の状態に近い位相の第１の時相画像の中で画質が最も高い時相画像を、前記第１の基準画像として選択し、
   前記注目位相より前記第２の状態に近い位相の第２の時相画像の中で画質が最も高い時相画像を、前記第２の基準画像として選択する、
   請求項４に記載の画像処理装置。
9. 前記注目位相は、前記第１の状態と前記第２の状態の中間の状態に対応する位相である、
   請求項４から８のいずれか１項に記載の画像処理装置。
10. 前記第２取得手段は、第１の時相画像と第２の時相画像の重複領域の大きさ、注目位相の時相画像との類似度、および画質のうちの複数の評価尺度を用いて、前記第１の基準画像および前記第２の基準画像を選択する、
    請求項４から９のいずれか１項に記載の画像処理装置。
11. 前記第２取得手段は、前記第１の基準画像と前記第２の基準画像の少なくとも一方を、
    複数選択し、
    前記第３取得手段は、前記第１の基準画像と前記第２の基準画像の組み合わせに応じて、前記第１の注目画像と前記第２の注目画像との間の暫定的な位置合わせ情報を複数取得し、これら複数の暫定位置合わせ情報に基づいて前記第３の位置合わせ情報を決定する、
    請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記第３取得手段は、前記複数の暫定位置合わせ情報のうち信頼度が最も高いものを、前記第３の位置合わせ情報として決定する、
    請求項１１に記載の画像処理装置。
13. 複数の時相画像対の夫々の暫定位置合わせ情報を取得し、
    前記複数の暫定位置合わせ情報に基づいて、複数の時相画像対の夫々の結合位置を取得し、
    前記位置合わせ情報の信頼度は、前記複数の時相画像対の結合位置の連続する時相での２次微分の値に基づいて決定される、
    請求項１２に記載の画像処理装置。
14. 前記第３取得手段は、前記複数の暫定位置合わせ情報の平均を、前記第３の位置合わせ情報として決定する、
    請求項１１に記載の画像処理装置。
15. 前記第３の位置合わせ情報に基づいて、前記時相画像対に含まれる第１の時相画像と第２の時相画像の位置合わせをして結合画像を生成する生成手段、をさらに備える、請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記生成手段は、前記時相画像対に含まれる第１の時相画像と第２の時相画像の間に重複領域がある場合には、前記第３の位置合わせ情報に基づく結合位置の周囲を探索範囲として、前記第１の時相画像と前記第２の時相画像の比較により結合位置を求めて前記結合画像を生成する、
    請求項１５に記載の画像処理装置。
17. 前記生成手段は、前記時相画像対に含まれる第１の時相画像と第２の時相画像の間に重複領域がある場合には、前記第３の位置合わせ情報に基づく結合位置と、前記第１の時相画像と前記第２の時相画像の比較により求められる結合位置のうち、信頼度が高い方の結合位置で前記第１の時相画像と前記第２の時相画像を結合して前記結合画像を生成する、
    請求項１５に記載の画像処理装置。
18. 前記対象物は肺であり、
    前記第１の動画像は前記肺の肺尖部側を撮像した動画像であり、
    前記第２の動画像は前記肺の肺底部側を撮像した動画像であり、
    前記第１の状態は最大呼気位であり、
    前記第２の状態は最大吸気位である、
    請求項１から１７のいずれか１項に記載の画像処理装置。
19. 第１の状態と第２の状態の間で周期的な運動を行う対象物を異なる撮影範囲で撮影した第１の動画像と第２の動画像を取得する第１取得ステップと、
    前記第１の動画像を構成する複数の第１の時相画像と、第２の動画像を構成する複数の第２の時相画像とから、互いに対応する位相を有する時相画像を夫々選択して時相画像対を取得する対応付けステップと、
    前記対象物の少なくとも一部の領域を重複領域として夫々が含み、かつ、互いが異なる
    位相を有する第１の時相画像および第２の時相画像を、それぞれ第１の基準画像および第２の基準画像として取得する第２取得ステップと、
    前記時相画像対の位置合わせを行うための位置合わせ情報を取得する第３取得ステップと、
    を含み、
    前記第３取得ステップは、
    前記時相画像対における第１の時相画像である第１の注目画像について、前記第１の基準画像との間の位置合わせ情報である第１の位置合わせ情報を取得するステップと、
    前記時相画像対における第２の時相画像である第２の注目画像について、前記第２の基準画像との間の位置合わせ情報である第２の位置合わせ情報を取得するステップと、
    前記第１の基準画像と前記第２の基準画像との間の位置合わせ情報である基準位置合わせ情報を取得するステップと、
    前記第１の位置合わせ情報と、前記第２の位置合わせ情報と、前記基準位置合わせ情報に基づいて、前記第１の注目画像と前記第２の注目画像との間の位置合わせ情報である第３の位置合わせ情報を取得するステップと、
    を含む、
    画像処理方法。
20. 請求項１９に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images