JP6424623B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、人体または動物の身体における対象領域が撮影された動画像を表示するための画像処理技術に関する。

医療現場では、Ｘ線等を用いて内臓や骨格等に含まれる人体等の患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、Ｘ線等を用いて患部の動きを捉えた動画像を比較的容易に取得することが可能となっている。

そこでは、ＦＰＤ（flat panel detector）等の半導体イメージセンサを利用し、診断対象領域を含む被写体の動態画像を撮影できるため、従来のＸ線撮影による静止画撮影及び診断では実施できなかった診断対象領域の動き解析による診断を実施することが可能になってきた。

動画像による診断を実施するあたり、例えば、同一の被写体の撮影時期が異なる動画像同士を比較する場合や被写体が異なる動画像同士を比較する場合がある。このような場合において、撮影タイミングによる位相のズレ、動き速度の違いにより、複数の動画像を単純に比較することが困難であるという問題がある。

そこで、近年、複数の動画像を比較しながら診断を行うための技術が提案されている。例えば、特許文献１が開示する技術では、動画像表示技術において、対象物の一連の動態における位相を認識し、認識された位相に応じて、動画像を構成するフレーム画像を並び替えることで動画像表示を行う技術が開示されている。具体的には、胸部の正面画像と側面画像とを並べて動画表示する際に、それらを構成するフレーム画像を並び替えることにより、両者の位相を一致させて表示している。

また、特許文献２が開示する技術では、放射線画像処理技術において、放射線動画像撮影時に光動画像を同時に撮影し、光動画像にて被検体の動きを解析し、複数の放射線動画像の被検体の動きを揃えて表示する方法が開示されている。具体的には、被検体の動きに基づいて、複数の放射線動画像の再生を開始するフレーム画像を決定し、被検体の動きが揃うようにフレーム画像の表示間隔を決定している。そして、複数の放射線動画像の表示間隔のばらつきが一定以上である場合に、放射線動画像に対して補間画像を挿入している。

特開２００４−４１１号公報 特開２００８−２０６７４１号公報

しかしながら、上記特許文献１に開示の従来技術では、フレーム画像を並び替えて加工しているため、本来の一連の動画像とならないことから、診断性能が低下する課題がある。

また、上記特許文献２に開示の従来技術では、本来の動画像に対して、人工的な補間画像を挿入しているため、この補間画像の存在によって誤った診断が行われる可能性が生じるという課題がある。

本発明は、このような事情に鑑みてなされたものであり、人体または動物の身体における対象領域が撮影された動画像を表示にするに際し、複数の動画像間の比較診断を適切かつ効率的に行うことが可能な画像処理技術を提供することを目的とする。

本発明による画像生成装置は、人体または動物の対象領域の物理的状態が周期的に変化する状態を捉えた基準動画像を取得する基準動画像取得部と、人体または動物の前記対象領域の物理的状態が周期的に変化する状態を捉えた、前記基準動画像と比較すべき参照動画像を取得する参照動画像取得部と、前記基準動画像における前記対象領域の周期的な変化である第１の周期的変化に基づいて第１の対象領域周期を抽出する基準周期抽出部と、前記参照動画像における前記対象領域の周期的な変化である第２の周期的変化に基づいて第２の対象領域周期を抽出する参照周期抽出部と、前記第１または第２の対象領域周期毎に、前記第１及び第２の周期的変化を特定の位相において同期させる周期調整処理を実施する周期調整部と、前記周期調整処理を施した後の前記基準動画像及び前記参照動画像を比較できるように表示する表示用画像を生成する表示画像生成部とを備え、前記表示画像生成部は、前記第１の対象領域周期と前記第２の対象領域周期とが異なる場合に、前記第１の対象領域周期と前記第２の対象領域周期との差の期間、前記第１及び第２の対象領域周期のうち周期の短い方と対応する前記基準動画像または前記参照動画像の表示を固定状態とすることを特徴とする。

本発明によれば、人体または動物の身体における対象領域が撮影された動画像を表示にするに際し、複数の動画像間の比較診断を適切かつ効率的に行うことが可能な画像処理技術を提供することができる。

この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

第１実施形態に係る放射線動態画像撮影システム１００の全体構成を示す図である。 動画像間を比較診断する際の問題点について説明する図である。 動画像間を比較診断する際の問題点について説明する図である。 動画像間を比較診断する際の問題点について説明する図である。 動画像間を比較診断する際の問題点について説明する図である。 第１実施形態に係る画像処理装置３の機能構成を示すブロック図である。 放射線動態画像撮影によって撮影した動態画像を例示する図である。 肺野領域の輪郭抽出を例示する模式図である。 肺野領域の特徴点の位置を例示した模式図である。 呼吸情報の波形データを時系列で示した模式図である。 心臓壁の変動を例示する模式図である。 心臓の横幅の変動サイクルを例示する模式図である。 心電計４で計測された波形の一部を例示する模式図である。 呼吸周期の検出方法を説明する図である。 呼吸周期の検出方法を説明する図である。 呼吸周期の検出方法を説明する図である。 呼吸周期の検出方法を説明する図である。 呼吸周期の検出方法を説明する図である。 第１及び第２の肺野領域時間変化Ｔ１，Ｔ２を例示する図である。 周期調整処理を説明する図である。 周期調整処理を説明する図である。 周期調整処理を説明する図である。 周期調整処理を説明する図である。 表示用画像ＩＧにおける第１及び第２の肺野領域時間変化を例示する図である。 第１実施形態において実現される画像処理装置３の基本動作を説明するフローチャートである。 第２実施形態に係る画像処理装置３Ａの機能構成を示すブロック図である。 第２実施形態において実現される画像処理装置３Ａの基本動作を説明するフローチャートである。 第３実施形態に係る画像処理装置３Ｂの機能構成を示すブロック図である。 第１の周期一致処理を説明する図である。 第２の周期一致処理を説明する図である。 第２の周期一致処理を説明する図である。 第３実施形態において実現される画像処理装置３Ｂの基本動作を説明するフローチャートである。

＜１．第１実施形態＞
本発明の第１実施形態に係る放射線動態画像撮影システムについて以下説明する。

＜１−１．放射線動態画像撮影システムの全体構成＞
第１実施形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の対象領域の放射線動態画像の撮影を行う。対象領域としては、例えば肺や心臓を含み、その状態が周期的に変化する領域が挙げられる。

図１は、第１実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図１に示すように、放射線動態画像撮影システム１００は、撮像装置１と、撮影制御装置２（撮影用コンソール）と、画像処理装置３（診断用コンソール）と、心電計４とを備える。撮像装置１及び心電計４と、撮影制御装置２とが通信ケーブル等により接続され、撮影制御装置２と、画像処理装置３とがＬＡＮ（Local Area Network）等の通信ネットワークＮＴを介して接続されて構成されている。放射線動態画像撮影システム１００を構成する各装置は、ＤＩＣＯＭ（Digital Image and Communications in Medicine）規格に準じており、各装置間の通信は、ＤＩＣＯＭ規格に則って行われる。

＜１−１−１．撮像装置１の構成＞
撮像装置１は、例えば、Ｘ線撮像装置等によって構成され、呼吸に伴う被写体Ｍの胸部の動態を撮影する装置である。動態撮影は、被写体Ｍの胸部に対し、Ｘ線等の放射線を繰り返して照射しつつ、時間順次に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像（動画像）と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。

図１に示すように、撮像装置１は、照射部（放射線源）１１と、放射線照射制御装置１２と、撮像部（放射線検出部）１３と、読取制御装置１４と、サイクル検出センサ１５と、サイクル検出装置１６とを備えて構成されている。

照射部１１は、放射線照射制御装置１２の制御に従って、被写体Ｍに対し放射線（Ｘ線）を照射する。図示例は人体用のシステムであり、被写体Ｍは検査対象者に相当する。以下では被写体Ｍを「被検者」とも呼ぶ。

放射線照射制御装置１２は、撮影制御装置２に接続されており、撮影制御装置２から入力された放射線照射条件に基づいて照射部１１を制御して放射線撮影を行う。

撮像部１３は、ＦＰＤ等の半導体イメージセンサにより構成され、照射部１１から照射されて被検者Ｍを透過した放射線を電気信号（画像情報）に変換する。

読取制御装置１４は、撮影制御装置２に接続されている。読取制御装置１４は、撮影制御装置２から入力された画像読取条件に基づいて撮像部１３の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部１３に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置１４は、取得した画像データ（フレーム画像）を撮影制御装置２に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ（マトリックスサイズ）等である。フレームレートは、１秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、１回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。

ここで、放射線照射制御装置１２と読取制御装置１４とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。

サイクル検出装置１６は、被検者Ｍの呼吸サイクルを検出して撮影制御装置２の制御部２１に出力する。また、サイクル検出装置１６は、例えばレーザー照射によって被写体Ｍの胸部の動き（被検者Ｍの呼吸サイクル）を検出するサイクル検出センサ１５と、サイクル検出センサ１５により検出された呼吸サイクルの時間を測定し制御部２１に出力する計時部（不図示）とを備える。なお、後述するように画像データから呼吸サイクルの情報を得る場合には、サイクル検出装置１６は省略することが可能である。

＜１−１−２．撮影制御装置２の構成＞
撮影制御装置２は、放射線照射条件や画像読取条件を撮像装置１に出力して撮像装置１による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮像装置１により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。

図１に示すように、撮影制御装置２は、制御部２１と、記憶部２２と、操作部２３と、表示部２４と、通信部２５とを備えて構成され、各部はバス２６により接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）等により構成される。制御部２１のＣＰＵは、操作部２３の操作に応じて、記憶部２２に記憶されているシステムプログラムや各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置２各部の動作や、撮像装置１の動作を集中制御する。

記憶部２２は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部２２は、制御部２１で実行される各種プログラムやプログラムにより処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。

操作部２３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部２１に出力する。

表示部２４は、カラーＬＣＤ（Liquid Crystal Display）等のモニタにより構成され、制御部２１から入力される表示信号の指示に従って、操作部２３からの入力指示やデータ等を表示する。

通信部２５は、ＬＡＮアダプタやモデムやＴＡ（Terminal Adapter）等を備え、通信ネットワークＮＴに接続された各装置との間のデータ送受信を制御する。

＜１−１−３．画像処理装置３の構成＞
画像処理装置３は、撮像装置１から送信された動態画像を、撮影制御装置２を介して取得し、医師等が読影診断するための画像を表示する。

図１に示すように、画像処理装置３は、制御部３１と、記憶部３２と、操作部３３と、表示部３４と、通信部３５とを備えて構成され、各部はバス３７により接続されている。

制御部３１は、ＣＰＵ、ＲＡＭ等により構成される。制御部３１のＣＰＵは、操作部３３の操作に応じて、記憶部３２に記憶されているシステムプログラムや、各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って各種処理を実行し、画像処理装置３各部の動作を集中制御する（詳細は後述する）。

記憶部３２は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部３２は、制御部３１で実行される各種プログラムやプログラムにより処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部３２は、後述する画像処理を実行するための画像処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部３１は、当該プログラムコードに従った動作を逐次実行する。

操作部３３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部３１に出力する。

表示部３４は、カラーＬＣＤ等のモニタにより構成され、制御部３１から入力される表示信号の指示に従って、操作部３３からの入力指示、データ、及び、後述する表示用画像を表示する。

通信部３５は、ＬＡＮアダプタやモデムやＴＡ等を備え、通信ネットワークＮＴに接続された各装置との間のデータ送受信を制御する。

＜１−１−４．心電計４の構成＞
図１では心電計４は被検者Ｍとは離れて示されているが、実際には心電計４の各電極端子は被検者Ｍに装着されており、被検者Ｍの心電波形をデジタル信号として出力する。

図１に示すように、心電計４は、位相検出部４１を備えて構成され、位相検出部４１は、制御部２１のＣＰＵからの制御信号に応答して、撮像装置１による撮影動作を同期させるための基礎情報として、被写体Ｍの心拍の位相を検出する。なお、第１実施形態に係る放射線動態画像撮影システム１００では、心電計４を備えて構成されることが必須ではない。

＜１−１−５．情報蓄積装置５の構成＞
図１に示すように、情報蓄積装置５は、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、参照画像記憶部５１を備えて構成され、制御部３１とはバス３６を介してデータの送受信を行う。参照画像記憶部５１には、後述の基準動画像と比較すべき参照動画像が予め記憶されている。

＜１−２．複数の動画像を比較する際の問題点＞
この実施形態における画像処理装置３の詳細を説明する前提として、診断のために、複数の動画像同士を比較する際における問題点について説明しておく。一例として、肺領域に関し、過去に撮影された動画像と新たに撮影された動画像とを比較する場合について説明する。

図２〜図５は、複数の動画像を比較する際の問題点について説明するための図である。これらの図において、ＯＴは、過去に撮影された動画像における肺領域の動き（呼吸サイクル）を示し、ＮＴは、新たに撮影された動画像における呼吸サイクルを示す。

図２は、撮影開始タイミングの違いにより生じる呼吸の位相のズレを説明する図である。すなわち、撮影開始タイミングＴＭが、過去の動画像の呼吸サイクルＯＴでは最大呼気Ｂ２の時点であるのに対し、新たな動画像の呼吸サイクルＮＴでは最大吸気Ｂ１の時点である。これにより、２つの動画像における呼吸の位相が時間方向にずれているため、一周期分に要する時間が両者で一致していても、周期が半周期ずれているため、そのまま表示した場合は比較が困難である。

図３は、呼吸速度の違いにより生じる呼吸の周期のズレを説明する図である。すなわち、撮影開始タイミングＴＭは、過去の動画像の呼吸サイクルＯＴ及び新たな動画像の呼吸サイクルＮＴともに最大呼気Ｂ２の時点に位置するが、過去の動画像の呼吸サイクルＯＴが１．５周期動く間に、新たな動画像の呼吸サイクルＮＴは１周期しか動いておらず、呼吸速度の違いにより周期がずれている。このように、呼吸の周期がずれていると、そのまま表示した場合は比較が困難である。

図３における課題に対して、図４では、動画像間の呼吸の周期が同じになるように、フレームレートを調整した場合を示す。すなわち、図３における呼吸の周期のズレを、図４で示されるように、過去の動画像の呼吸サイクルＯＴの周期を長くして一致させることができる。この過去の動画像の呼吸サイクルＯＴの周期を長くするには、過去の動画像に対して補間画像を挿入することで実現することができる。しかしながら、前述した通り、補間画像の存在は、誤った診断の原因となり得るという課題がある。

また、図５（ａ）で示されるように、過去の動画像の呼吸サイクルＯＴと新たな動画像の呼吸サイクルＮＴとにおける振幅が異なる場合は、図５（ｂ）で示されるように、過去の動画像の呼吸サイクルＯＴの周期を長くして両者の一周期分に要する時間を一致させるように呼吸サイクルＯＴｃと対応した過去の動画像を補間画像の挿入により新たに生成しても、本来の動きとは異なる動きをする可能性がある。すなわち、図５（ｂ）の領域Ｒ１では、過去の動画像が実際の動きとは異なる表示になる可能性がある。このように、動きそのものの比較が必要な診断の場合、実際の動きと異なるような表示では悪影響（誤診）を与える可能性がある。

このような背景の下、複数の動画像を比較する際、対象領域において実際の動きと異なる動きが発生するのを抑制された表示を行うことが望まれている。

そこで、本実施形態では、複数の動画像における対象領域の動きの周期、位相などの画像表示要因が互いに異なる場合においても、周期毎に、対象領域の動きが同期するように表示する。これにより、複数の動画像を適切かつ容易に比較することができ、動態診断を適切かつ効率的に行うことができる。

以下では、第１実施形態における画像処理装置３の詳細について説明する。

＜１−３．画像処理装置３の具体的構成＞
本発明の第１実施形態における放射線動態画像撮影システム１００の画像処理装置３は、動画像間の対象領域の周期的な動き（変化）が互いに異なる場合においても、周期毎に、各対象領域の変化が同期するように動画像を表示する。これにより、動態診断を適切かつ効率的に行うことが可能となる。

＜１−３−１．画像処理装置３の機能構成＞
図６は、放射線動態画像撮影システム１００における画像処理装置３において、ＣＰＵ等が各種プログラムに従って動作することにより制御部３１で実現される機能構成を他の構成とともに示す図である。図６で示されるように、撮像装置１と画像処理装置３との間に、撮影制御装置２が介在し、撮影制御装置２の記憶部２２に記憶された検出データ（フレーム画像）が通信部２５を介して、画像処理装置３の通信部３５に出力される。なお、この実施形態の画像処理装置３は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。

制御部３１は、主に、動画像取得部２００と、周期抽出部３００と、周期調整部４００と、表示画像生成部５００と、から構成される。

以下では、図６で示されたような制御部３１の機能的な構成が、あらかじめインストールされたプログラムの実行によって、実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。

以降、動画像取得部２００、周期抽出部３００、周期調整部４００、表示画像生成部５００が行う各処理についての具体的内容を、図６を参照しながら順次説明する。

＜１−３−１−１．動画像取得部２００＞
動画像取得部２００は、撮像装置１の読取制御装置１４によって撮影された人体または動物の対象領域の物理的状態が周期的に変化する状態を捉えた基準動画像を取得する基準動画像取得部２１０と、人体または動物の対象領域の物理的状態が周期的に変化する状態を捉えた、基準動画像と比較すべき参照動画像を情報蓄積装置５の参照画像記憶部５１から取得する参照動画像取得部２２０と、を備えて構成される。

本実施形態における対象領域とは、肺及び心臓を含む胸部領域であり、特に肺野領域について重点的に解析を行う。また、ここでいう「物理的状態」という用語は、肺や心臓の幾何学的形状を指すほか、血流の濃度（血流の有無）などをも包含した意味で用いている。また、基準動画像が新たに撮影された動画像（現時点で診断を行いたい動画像）である場合に、参照動画像は、過去に撮影された同一人物についての動画像や、予め準備されている見本となるような動画像（平均的な動画像であったり、特定の症例を示す動画像）である。さらに、基準動画像と参照動画像とが同一人物について異なる方向（例えば、正面と側面）から撮影した動画像であっても構わない。

また、本実施形態における参照動画像は、参照画像記憶部５１に記憶された１または２以上の動画像であるが、ユーザーによりそれらの中から１つが選択されて用いられる。

図７は、呼吸に伴う被検者Ｍの胸部の動態に対し、放射線動態画像撮影によって撮影した動画像を例示する図である。図７で示されるように、基準動画像取得部２１０（または参照動画像取得部２２０）により取得されたフレーム画像ＳＧ１〜ＳＧ１０（ＲＧ１〜ＲＧ１０）は、呼吸サイクルの少なくとも１周期を一定の撮影タイミングで連続撮影されたものである。具体的には、時刻 ｔ＝ｔ1, ｔ2, ｔ3, …, ｔ10 の撮影タイミングにおいて撮影された画像が、フレーム画像ＳＧ１，ＳＧ２，ＳＧ３，…，ＳＧ１０（ＲＧ１，ＲＧ２，ＲＧ３，…，ＲＧ１０）にそれぞれ対応している。

＜１−３−１−２．周期抽出部３００＞
周期抽出部３００は、基準動画像（複数の基準フレーム画像ＳＧから構成）に捉えられた、対象領域（肺野）の周期的な変化（呼吸サイクル）Ｔ１に基づいて第１の対象領域周期ＰＣ１を検出し、複数の基準フレーム画像ＳＧを第１の対象領域周期ＰＣ１単位に分類する基準周期抽出部３１０と、参照動画像（複数の参照フレーム画像ＲＧから構成）に捉えられた、対象領域（肺野）の周期的な変化（呼吸サイクル）Ｔ２に基づいて第２の対象領域周期ＰＣ２を検出し、複数の参照フレーム画像ＲＧを第２の対象領域周期ＰＣ２単位に分類する参照周期抽出部３２０と、を備えて構成される（図６参照）。なお、基準周期抽出部３１０が複数の基準フレーム画像ＳＧを第１の対象領域周期ＰＣ１単位に分類する機能を備えることは必須ではなく、また、参照周期抽出部３２０においても、複数の参照フレーム画像ＲＧを第２の対象領域周期ＰＣ２単位に分類する機能を備えることは必須ではない。

＜１−３−１−２−１．肺野領域の変化（呼吸サイクル）の第１の検出方法＞
本実施形態では、肺野領域の変化（呼吸サイクル）の検出方法（第１の検出方法）として、動画像を構成するフレーム画像の解析によって呼吸サイクルを検出する方法を採用している。図６で示されるように基準周期抽出部３１０は、基準動画像取得部２１０によって取得された複数の基準フレーム画像ＳＧを用いて、肺野領域の面積を算出することで、第１の呼吸サイクルＴ１を検出する。同様に、参照周期抽出部３２０は、参照動画像取得部２２０によって取得された複数の参照フレーム画像ＲＧを用いて、肺野領域の面積を算出することで、第２の呼吸サイクルＴ２を検出する。肺野領域の面積の求め方は、肺野領域の輪郭抽出を行い、輪郭に囲まれた領域の画素数を肺野領域として定義することが可能である。

図８は、肺野領域の輪郭抽出を例示する模式図である。肺野領域の抽出は、図８で示すように、左右ごとに抽出しても、心臓や脊椎の領域を含んだ輪郭として抽出してもよい。抽出方法としては、従来技術（例えば、"Image feature analysis and computer-aided diagnosis: Accurate determination of ribcage boundary in chest radiographs”, Xin-Wei Xu and Kunio Doi, Medical Physics, Volume 22(5), May 1995, pp.617-626.等参照）等を採用することができる。

このように、基準周期抽出部３１０（参照周期抽出部３２０）では、取得された複数の基準フレーム画像ＳＧ（複数の参照フレーム画像ＲＧ）を用いて、肺野領域の輪郭ＯＬの抽出を実施し、抽出された領域内のピクセル数を特徴量、すなわち肺野領域の面積として検出する。そして、この面積の周期的な変化が第１の呼吸サイクルＴ１（第２の呼吸サイクルＴ２）である。

なお、変形例として、上記のように肺野領域の面積を求める代わりに、肺野領域の特徴点間の距離を求めるようにしてもよい。この場合、複数の基準フレーム画像ＳＧ（複数の参照フレーム画像ＲＧ）を用いて、肺野領域の特徴点間の距離を算出し、呼吸情報とすることが可能である。すなわち、肺野領域の抽出を上記方法と同様に実施し、抽出された領域から、特徴点２点を求め、その２点間の距離を求めることで特徴量を算出する。

図９は、この変形例における肺野領域の特徴点の位置を例示した図である。肺領域の上端ＬＴから下端ＬＢまでの長さ（肺野長）の変化を算出する場合、図９（ａ）では、肺尖部を肺領域の上端ＬＴとし、肺尖部から体軸方向におろした直線と横隔膜との交点を肺領域の下端ＬＢとして抽出した例であり、図９（ｂ）では、肺尖部を肺領域の上端ＬＴとし、肋横角を肺領域の下端ＬＢとして抽出した例である。このように肺野領域の特徴点間の距離を特徴量として、この特徴量の周期的な変化を呼吸サイクルとすればよい。

図１０は、本実施形態において基準周期抽出部３１０（参照周期抽出部３２０）において検出された呼吸情報の波形データを時系列で示した模式図であり、肺野領域の面積といった特徴量を算出し、時間方向にモニタリングした結果となる。図１０で示されるように、呼吸の周期的な変化（呼吸サイクル）Ｂの１周期ＰＣは、吸気と呼気とから構成され、１回の呼気と１回の吸気からなる。吸気では、横隔膜が下がって息が吸い込まれるに連れて胸郭中の肺野の領域が大きくなる。息を最大限に吸い込んだとき（吸気と呼気の変換点）が最大吸気時Ｂ１である。呼気では、横隔膜が上がって息が吐き出されるに連れて肺野の領域が小さくなるが、息を最大限に排出したとき（呼気と吸気の変換点）が最大呼気時Ｂ２となる。

ここで、本明細書では、画像特徴量が振幅値が最大となる値を最大振幅値ＡＰ１、振幅値が最小となる値を最小振幅値ＡＰ２と称するとともに、最大振幅値ＡＰ１と最小振幅値ＡＰ２とを総称して振幅値ＡＰと称する。なお、最大振幅値ＡＰ１を示す点は、吸気から呼気への変換点に位置する最大吸気となる点Ｂ１に相当し、最小振幅値ＡＰ２を示す点は、呼気から吸気への変換点に位置する最大呼気となる点Ｂ２に相当する。

このように、基準周期抽出部３１０（参照周期抽出部３２０）は、取得された複数の基準フレーム画像ＳＧ（複数の参照フレーム画像ＲＧ）を用いて、肺野領域の輪郭ＯＬの抽出を実施し、抽出された領域から肺野領域の面積を検出することで、第１の呼吸サイクルＴ１（第２の呼吸サイクルＴ２）を検出する。

＜１−３−１−２−２．肺野領域の変化（呼吸サイクル）の第２の検出方法＞
ここで、呼吸サイクルの検出方法の更なる変形例として、上記第１の呼吸サイクルの検出方法に代えて採用可能な第２の呼吸サイクルの検出方法を説明する。

この第２の検出方法では、別機器による計測結果を用いる。すなわち、複数の基準フレーム画像ＳＧ（または複数の参照フレーム画像ＲＧ）が撮影されるのと同期して外部より呼吸情報を取得し、この呼吸情報を基準動画像（または参照動画像）と対応付けて記憶して利用する。

本実施形態のシステム構成（図１参照）では、サイクル検出装置１６が設けられているため、これが利用可能である。この場合、基準周期抽出部３１０は、基準動画像取得部２１０を介して、複数の基準フレーム画像ＳＧを取得するとともに、これと同期した呼吸情報をサイクル検出装置１６を介して取得することができる。一方、参照周期抽出部３２０では、参照画像記憶部５１から参照動画像取得部２２０を介して、複数の参照フレーム画像ＲＧを取得するとともに、これと同期した呼吸情報を取得する。参照動画像に関しては、その撮影時にサイクル検出装置１６によって呼吸情報を取得し、この呼吸情報が参照動画像と対応づけて参照画像記憶部５１に格納されているものとする。

なお、この第２の呼吸サイクルの検出方法では、例えば、特許第3793102号に記載されているような装置を用いることができる。また、レーザー光とＣＣＤカメラで構成されたセンサによるモニタリングにより実施する手法（例えば、"FG視覚センサを用いた就寝者の呼吸モニタリングに関する検討",青木 広宙,中島 真人,電子情報通信学会ソサイエティ大会講演論文集 2001年.情報・システムソサイエティ大会講演論文集, 320-321, 2001-08-29.等参照）等を採用することもできる。

また、呼吸サイクル以外に、図１１〜図１３で示すように、心拍サイクル（心臓領域の変化）を検出する方法も存在するが、心拍サイクルについては＜変形例＞の欄で後に詳述する。

＜１−３−１−２−３．呼吸周期検出方法＞
続いて、第１（第２）の呼吸サイクルＴ１（Ｔ２）に基づいて、呼吸周期を検出する方法について説明する。第１または第２の呼吸周期ＰＣ１（ＰＣ２）は、それぞれ、（ａ１）第１または第２の呼吸サイクルＴ１（Ｔ２）が基準期間内において最小値を示すタイミング又は基準期間内において最大値を示すタイミング、（ａ２）第１または第２の呼吸サイクルＴ１（Ｔ２）の傾きの正負が変わるタイミング、（ａ３）第１または第２の呼吸サイクルＴ１（Ｔ２）の変曲点のタイミング、（ａ４）第１または第２の呼吸サイクルＴ１（Ｔ２）が所定の閾値となるタイミング、及び、（ａ５）第１または第２の呼吸サイクルＴ１（Ｔ２）の傾きの絶対値が基準値より大きくなるタイミングに基づいて検出することが可能である。以下に、これらのタイミング（ａ１）〜（ａ５）を用いた第１〜５の呼吸周期の検出方法を説明するが、これらの検出方法のいずれかをユーザーによる選択によって選択可能に設けてもよいし、複数の検出方法で検出した結果に基づいて、例えば平均値を用いる等により、最終的な結果を得るようにしてもよい。なお、本実施形態においては、タイミング（ａ１）を用いた第１の呼吸周期の検出方法を採用している。したがって、以下に説明する第２〜５の呼吸周期の検出方法は、第１の呼吸周期の検出方法に代えて、または、第１の呼吸周期の検出方法に加えて採用されるものである。

図１４〜図１８は、呼吸周期の検出方法を説明する図であり、図１０と同様に画像特徴量（肺野領域の面積）を時系列で示す図である。なお、黒丸はフレーム画像の撮影タイミングを示す。

＜１−３−１−２−３−１．第１の周期検出方法：最大値、最小値＞
第１の周期検出方法は、本実施形態において採用されたタイミング（ａ１）に基づく検出方法であり、呼吸サイクルの基準期間内における最大値（最大吸気時）Ｂ１、又は、基準期間内における最小値（最大呼気時）Ｂ２に基づいて呼吸周期を検出する。なお、ここでの最大値や最小値は近似値であっても構わない。すなわち、図１４で示されるように、第１または第２の呼吸サイクルＴ１（Ｔ２）の基準期間Ｓ１内における最大値Ｂ１を示すタイミング又は基準期間Ｓ２内における最小値Ｂ２を示すタイミングに基づいて呼吸周期ＰＣ１（ＰＣ２）を検出する。ここで、最大値Ｂ１を探索するときの基準期間Ｓ１としては、最大振幅値ＡＰ１（図１０参照）が１つ存在する期間（画像特徴量が平均的な値以上である期間であり、その中にピーク値を持つ）が設定される。最小値Ｂ２を探索するときの基準期間Ｓ２としては、最小振幅値ＡＰ２（図１０参照）が１つ存在する期間（画像特徴量が平均的な値以下である期間であり、その中にピーク値を持つ）が設定される。

複数の基準フレーム画像ＳＧまたは参照フレーム画像ＲＧに関して、上記のように画像特徴量を解析することにより、最大値Ｂ１及び最小値Ｂ２を取得することができる。また、期間Ｓ１や期間Ｓ２といった一定期間の範囲の中で、最大値Ｂ１及び最小値Ｂ２を取るようにすれば、呼吸の１周期内での最大吸気時及び最大呼気時を知ることができる。そして、“点Ｂ１、点Ｂ２、点Ｂ１の順で探索された期間”、“点Ｂ２、点Ｂ１、点Ｂ２の順で探索された期間”、“点Ｂ２が２つ両端（開始点、終点）に存在する期間”、“点Ｂ１が２つ両端に存在する期間”、のうち何れかの期間を呼吸周期ＰＣ１（ＰＣ２）として検出すればよい。そして、１つの呼吸周期ＰＣ１（ＰＣ２）と対応する基準フレーム画像ＳＧ（参照フレーム画像ＲＧ）を１周期分のフレーム画像として分類することができる。

このようにして、複数の基準フレーム画像ＳＧまたは参照フレーム画像ＲＧに基づいて第１または第２の呼吸周期ＰＣ１（ＰＣ２）を検出する。

＜１−３−１−２−３−２．第２の周期検出方法：傾きの正負＞
第２の周期検出方法は、タイミング（ａ２）に基づく検出方法であり、呼吸サイクル（変化曲線）の傾きの正負の変換点に基づいて呼吸周期を検出する。すなわち、図１５（ａ）で示されるように、第１または第２の呼吸サイクルＴ１（Ｔ２）の曲線の傾きの正負が変わる変化点Ｂ１０，Ｂ２０に基づいて呼吸周期ＰＣ１（ＰＣ２）を検出する。なお、変化点Ｂ１０，Ｂ２０としては近似値を用いてもよい。

図１５（ｂ）は、複数の基準フレーム画像ＳＧまたは参照フレーム画像ＲＧについて、フレーム画像間の画像特徴量の差分を時間順次でとり、その差分が正か負の何れの符号であるかを図１５（ａ）の時間軸に対応させて示したグラフである。図１５（ｂ）で示されるように、画像特徴量の差分を時系列で求めれば、その差分が正から負に変わる変化点Ｂ１０や負から正に変わる変化点Ｂ２０を検出することができる。そして、“変化点Ｂ１０、変化点Ｂ２０、変化点Ｂ１０の順で探索された期間”、“変化点Ｂ２０、変化点Ｂ１０、変化点Ｂ２０の順で探索された期間”、“変化点Ｂ２０が２つ両端に存在する期間”、“変化点Ｂ１０が２つ両端に存在する期間”、のうち何れかの期間を呼吸周期として検出すればよい。そして、１つの呼吸周期と対応する基準フレーム画像ＳＧまたは参照フレーム画像ＲＧを１周期分のフレーム画像として分類する。

なお、上記のようにフレーム画像間の画像特徴量の差分を時系列で求める代わりに、第１または第２の呼吸サイクルＴ１（Ｔ２）の曲線の微分値を求めるようにしても構わない。

＜１−３−１−２−３−３．第３の周期検出方法：変曲点＞
第３の周期検出方法としては、タイミング（ａ３）に基づく検出方法であり、呼吸サイクル（変化曲線）の変曲点に基づいて呼吸周期を検出する。すなわち、図１６で示されるように、第１または第２の呼吸サイクルＴ１（Ｔ２）の変曲点Ｂ３，Ｂ４を示すタイミングに基づいて呼吸周期ＰＣ１（ＰＣ２）を検出する。なお、変曲点Ｂ３，Ｂ４としては近似値を用いてもよい。

例えば、第１または第２の呼吸サイクルＴ１（Ｔ２）は周期を持つとの前提から、第１または第２の呼吸サイクルＴ１（Ｔ２）を関数で表現し、その関数の２回微分をとることによりわかる、凹凸が変化する点を、変曲点として抽出する。そして、複数の基準フレーム画像ＳＧまたは参照フレーム画像ＲＧの撮影タイミングのうち、この変曲点に最も近い撮影タイミングを変曲点Ｂ３，Ｂ４として検出する（図１６参照）。そして、“変曲点Ｂ３、変曲点Ｂ４、変曲点Ｂ３の順で探索された期間”、“変曲点Ｂ４、変曲点Ｂ３、変曲点Ｂ４の順で探索された期間”、“変曲点Ｂ４が２つ両端に存在する期間”、“変曲点Ｂ３が２つ両端に存在する期間”、のうち何れかの期間を呼吸周期として検出すればよい。そして、１つの呼吸周期と対応する基準フレーム画像ＳＧまたは参照フレーム画像ＲＧを１周期分のフレーム画像として分類する。

＜１−３−１−２−３−４．第４の周期検出方法：所定の閾値＞
第４の周期検出方法としては、タイミング（ａ４）に基づく検出方法であり、呼吸サイクルが所定の閾値となるタイミングに基づいて呼吸周期を検出する。すなわち、図１７で示されるように、第１または第２の呼吸サイクルＴ１（Ｔ２）の一定の閾値ｖ１となる点Ｂ３０，Ｂ４０に基づいて呼吸周期ＰＣ１（ＰＣ２）を検出する。ここでいう閾値ｖ１は、第１または第２の呼吸サイクルＴ１（Ｔ２）における画素特徴量の中間の値とすることが好ましい。なお、点Ｂ３０，Ｂ４０としては近似値を用いてもよい。

例えば、第１または第２の呼吸サイクルＴ１（Ｔ２）は周期を持つとの前提から、第１または第２の呼吸サイクルＴ１（Ｔ２）を関数で表現し、一定の閾値となる点を検出する。そして、複数の基準フレーム画像ＳＧまたは参照フレーム画像ＲＧの撮影タイミングのうち、この点に最も近い撮影タイミングを点Ｂ３０、点Ｂ４０として検出する（図１７参照）。そして、“点Ｂ３０、点Ｂ４０、点Ｂ３０の順で探索された期間”、“点Ｂ４０、点Ｂ３０、点Ｂ４０の順で探索された期間”、“点Ｂ４０が２つ両端に存在する期間”、“点Ｂ３０が２つ両端に存在する期間”、のうち何れかの期間を呼吸周期として検出すればよい。そして、１つの呼吸周期と対応する基準フレーム画像ＳＧまたは参照フレーム画像ＲＧを１周期分のフレーム画像と分類する。

＜１−３−１−２−３−５．第５の周期検出方法：傾きの絶対値＞
第５の周期検出方法としては、タイミング（ａ５）に基づく検出方法であり、呼吸サイクル（変化曲線）の傾きの絶対値に基づいて呼吸周期を検出する。すなわち、図１８で示されるように、第１または第２の呼吸サイクルＴ１（Ｔ２）の傾きの絶対値が基準値より大きくなるタイミングに基づいて呼吸周期ＰＣ１（ＰＣ２）を検出する。ここでいう基準値は、想定される第１または第２の呼吸サイクルＴ１（Ｔ２）の最大の傾きとなる値であり、経験的に知られた値などを用いることができる。

例えば、第２の周期検出方法と同様に、図１８（ａ）で示されるように、複数の基準フレーム画像ＳＧまたは参照フレーム画像ＲＧにおいて、フレーム画像間の画像特徴量の差分を時間順次でとり、その差分Ｄ１を傾きを示す値（フレーム画像の時間間隔が一定であれば、差分は傾きを示す値となる）とする。そして、図１８（ｂ）で示されるように、その差分Ｄ１が基準値より大きくなる点Ｂ３１（または点Ｂ３１’でもよい）を求める（図１８（ｂ）参照）。

また、この方法では、基準値より大きくなる点として、傾きの"絶対値"を対象としているため、傾きが最も小さくなる点（傾きが負の方向に大きい点）も含まれる。したがって、図１８（ｃ）で示されるように、差分Ｄ１の絶対値が基準値より大きくなる点として、点Ｂ３１に加え、点Ｂ４１も検出される。そして、“点Ｂ３１、点Ｂ４１、点Ｂ３１の順で探索された期間”、“点Ｂ４１、点Ｂ３１、点Ｂ４１の順で探索された期間”、“点Ｂ４１が２つ両端に存在する期間”、“点Ｂ３１が２つ両端に存在する期間”、のうち何れかの期間を呼吸周期として検出すればよい。そして、１つの呼吸周期と対応する基準フレーム画像ＳＧまたは参照フレーム画像ＲＧを１周期分のフレーム画像として分類する。

＜１−３−１−３．周期調整部４００＞
周期調整部４００では、第１または第２の呼吸周期（対象領域周期）ＰＣ１，ＰＣ２毎に、基準動画像及び参照動画像の肺野領域（対象領域）の周期的な変化を特定の位相において同期させる周期調整処理を実施する。周期調整処理は、第１及び第２の呼吸サイクルＴ１，Ｔ２が、（ｂ１）第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において最小となる第１の特徴点、（ｂ２）第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において最大となる第２の特徴点、（ｂ３）第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において変曲点となる第３の特徴点、（ｂ４）第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において所定の閾値となる第４の特徴点、及び、（ｂ５）第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において傾きの絶対値が最大となる第５の特徴点のうち、何れか１つの特徴点である調整用特徴点に基づいて実行することが可能である。この調整用特徴点が同期をとる特定の位相を示す。

また、周期調整処理は、第１の呼吸サイクルＴ１及び第２の呼吸サイクルＴ２のうち、何れか一方を固定用呼吸サイクル、他方を調整の対象となる調整用呼吸サイクルとし、調整用呼吸サイクルが調整用特徴点となるタイミングを、固定用呼吸サイクルが調整用特徴点となるタイミングに一致するように時間方向にシフトさせる処理を含む。第１の呼吸サイクルＴ１及び第２の呼吸サイクルＴ２は、それぞれ、基準動画像（複数の基準フレーム画像ＳＧから構成）及び参照動画像（複数の参照フレーム画像ＲＧから構成）と対応するものであるので、第１の呼吸サイクルＴ１又は第２の呼吸サイクルＴ２を時間方向にシフトさせるというのは、基準動画像又は参照動画像を時間方向にシフトさせることを意味する。すなわち、複数の基準フレーム画像ＳＧ又は複数の参照フレーム画像ＲＧの表示タイミングを変更することになる。

なお、本実施形態において、基準動画像が現時点で診断を行いたい動画像である場合には、基準動画像に対応した第１の呼吸サイクルＴ１を固定用呼吸サイクルとし、参照動画像に対応した第２の呼吸サイクルＴ２を調整用呼吸サイクルとすることが好ましい。

図１９は、第１及び第２の呼吸サイクルＴ１，Ｔ２を合わせて例示する図である。なお、図１９において、第１の呼吸サイクルＴ１における点１Ｂ１，点１Ｂ２、及び、第２の呼吸サイクルＴ２における点２Ｂ１，点２Ｂ２は、上記の第１の周期検出方法により検出された呼吸の１周期内での最大吸気時及び最大呼気時を示す点である（後述の図２０及び図２１も同様）。図１９で示されるように、第１の呼吸サイクルの周期ＰＣ１と第２の呼吸サイクルＴ２の周期ＰＣ２とが異なるため、基準動画像と参照動画像とをそのまま同時に表示すると動きがバラバラになり、比較診断することは困難である。

そこで、周期調整部４００が、第１または第２の呼吸周期ＰＣ１，ＰＣ２毎に、周期調整処理を実施する。

図２０〜図２３は、周期調整処理を説明する図である。

ここで、図２０〜図２３における周期調整処理は、固定用呼吸サイクルを第１の呼吸サイクルＴ１とし、調整用呼吸サイクルを第２の呼吸サイクルＴ２としている。

＜１−３−１−３−１．第１の特徴点に基づく調整方法＞
図２０は、本実施形態における上記の第１の特徴点に基づく周期調整処理の方法を示す。この調整方法では、図２０で示されるように、第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において最小となる点１Ｂ２，点２Ｂ２を調整用の特徴点として周期調整処理を行う。

この周期調整方法では、第２の呼吸サイクルＴ２が点２Ｂ２となるタイミングを、第１の呼吸サイクルＴ１が点１Ｂ２となるタイミングに一致するように時間方向にシフトさせる。つまり、画像特徴量が最小となる点１Ｂ２と点２Ｂ２とを時間方向に一致させる。具体的には、点２Ｂ２を矢印ＡＲ２２の方向にシフトさせ調整点Ｃ２２に移動させることで、点１Ｂ２と点２Ｂ２とを時間方向に一致させることが可能となる。これは、第２の呼吸サイクルＴ２と対応する参照動画像の表示タイミングを各呼吸周期ＰＣ２において早くすることを意味する。この結果、図２１（ａ）で示されるように、第２の呼吸サイクルＴＣ２が時間方向にシフトされ、第２の呼吸サイクルＴ２ｃとなる。この周期調整方法によれば、基準動画像と参照動画像とを表示する際に、呼吸周期ＰＣ１毎に、最大呼気時のタイミングを一致させることができる。

＜１−３−１−３−２．第２の特徴点に基づく調整方法＞
第２の特徴点に基づく調整方法としては、図２０で示されるように、第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において最大となる点１Ｂ１，点２Ｂ１を調整用の特徴点として周期調整処理を行う。

この周期調整方法では、第２の呼吸サイクルＴ２が点２Ｂ１となるタイミングを、第１の呼吸サイクルＴ１が点１Ｂ１となるタイミングに一致するように時間方向にシフトさせる。つまり、画像特徴量が最大となる点１Ｂ１と点２Ｂ１とを時間方向に一致させる方法である。具体的には、点２Ｂ１を矢印ＡＲ１２の方向にシフトさせ調整点Ｃ１２に移動させることで、点１Ｂ１と点２Ｂ１とを時間方向に一致させることが可能となる。これは、第２の呼吸サイクルＴ２と対応する参照動画像の表示タイミングを各呼吸周期Ｐ２において早くすることを意味する。この結果、図２１（ｂ）で示されるように、第２の呼吸サイクルＴＣ２が時間方向にシフトされ、第２の呼吸サイクルＴ２ｃとなる。この周期調整方法によれば、基準動画像と参照動画像とを表示する際に、呼吸周期ＰＣ１毎に、最大吸気時のタイミングを一致させることができる。

なお、本実施形態においては、上記の第１の特徴点に基づく調整方法と、第２の特徴点に基づく調整方法とを採用しており、これら２つの調整方法のいずれか一方がユーザーにより選択可能になっている。

以下に第３〜第５の特徴点に基づく調整方法を説明するが、これらの調整方法は、上記の第３〜第５の周期検出方法を採用した場合に好適な調整方法である。

＜１−３−１−３−３．第３〜第５の特徴点に基づく調整方法（１）＞
図２２及び図２３は、上記の第３〜第５の特徴点に基づく調整方法と結果とを示す。また、図２２及び図２３において、第１の呼吸サイクルＴ１に対する中間点１Ｂ３，１Ｂ４、及び、第２の呼吸サイクルＴ２に対する中間点２Ｂ３，２Ｂ４は、上記の第３〜第５の周期検出方法により検出された点である。第３〜第５の特徴点に基づく調整方法（１）では、図２２で示されるように、第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において中間点１Ｂ３，中間点２Ｂ３を各々調整用の特徴点として周期調整処理を行う。ここでいう中間点１Ｂ３及び中間点２Ｂ３は、第３の特徴点に基づく処理の場合は第３の周期検出方法により検出された変曲点Ｂ３に相当し、第４の特徴点に基づく処理の場合は第４の周期検出方法により検出された一定の閾値ｖ１を基準に求められた点Ｂ３０に相当し、第５の特徴点に基づく処理の場合は第５の周期検出方法により検出された傾きが最大となる点Ｂ３１に相当する。

この周期調整方法では、第２の呼吸サイクルＴ２が中間点２Ｂ３となるタイミングを、第１の呼吸サイクルＴ１が中間点１Ｂ３となるタイミングに一致するように時間方向にシフトさせる。つまり、画像特徴量の中間点１Ｂ３と中間点２Ｂ３とを時間方向に一致させる。具体的には、中間点２Ｂ３を矢印ＡＲ３２の方向にシフトさせ調整点Ｃ３２に移動させることで、図２３（ａ）に示すように、中間点１Ｂ３と中間点２Ｂ３とを時間方向に一致させることが可能となる。

＜１−３−１−３−４．第３〜第５の特徴点に基づく調整方法（２）＞
第３〜第５の特徴点に基づく調整方法（２）では、図２２で示されるように、第１及び第２の呼吸周期ＰＣ１，ＰＣ２毎において中間点１Ｂ４，中間点２Ｂ４を調整用の特徴点として周期調整処理を行う。ここでいう中間点１Ｂ４及び中間点２Ｂ４は、第３の特徴点に基づく処理の場合は第３の周期検出方法により検出された変曲点Ｂ４に相当し、第４の特徴点に基づく処理の場合は第４の周期検出方法により検出された一定の閾値ｖ１を基準に求められた点Ｂ４０に相当し、第５の特徴点に基づく処理の場合は第５の周期検出方法により検出された傾きが最大となる点Ｂ４１に相当する。

この周期調整方法は、第２の呼吸サイクルＴ２が中間点２Ｂ４となるタイミングを、第１の呼吸サイクルＴ１が中間点１Ｂ４となるタイミングに一致するように時間方向にシフトさせる。つまり、画像特徴量の中間点１Ｂ４と中間点２Ｂ４とを時間方向に一致させる。具体的には、中間点２Ｂ４を矢印ＡＲ４２の方向にシフトさせ調整点Ｃ４２に移動させることで、図２３（ｂ）に示すように、中間点１Ｂ４と中間点２Ｂ４とを時間方向に一致させることが可能となる。

＜１−３−１−４．表示画像生成部５００＞
上述のように、図２０〜図２３の場合では、第２の呼吸サイクルＴ２を時間方向にシフトして第２の呼吸サイクルＴ２ｃとしたため、周期調整部４００は、第１の呼吸サイクルＴ１と第２の呼吸サイクルＴ２ｃとを表示画像生成部５００に出力する。そして、表示画像生成部５００では、周期調整処理を施した後の第１及び第２の呼吸サイクルＴ１，Ｔ２ｃに基づいて表示用画像ＩＧを生成し、表示用画像ＩＧを表示部３４に出力する（図６参照）。この表示用画像ＩＧは、基準動画像及び参照動画像を比較表示するためのものであり、この表示において第１及び第２の呼吸サイクルＴ１，Ｔ２ｃは、周期調整処理が施された後のものとなっている。言い換えれば、第１の呼吸サイクルＴ１となるように、基準動画像を構成する複数の基準フレーム画像ＳＧのそれぞれを表示用画像ＩＧに用いるとともに、第２の呼吸サイクルＴ２ｃとなるように、参照動画像を構成する複数の参照フレーム画像ＲＧのそれぞれを表示用画像ＩＧに用いることになる。

図２４は表示用画像ＩＧにおける第１及び第２の呼吸サイクルＴ１，Ｔ２ｃを例示する図である。図２４（ａ）では、第１の特徴点に基づく調整方法で周期調整処理が実施された場合に生成された表示用画像ＩＧの第１の呼吸サイクルＴ１と第２の呼吸サイクルＴ２ｃとを示す。また、図２４（ｂ）では、第２の特徴点に基づく調整方法で周期調整処理が実施された場合に生成された表示用画像ＩＧの第１の呼吸サイクルＴ１と第２の呼吸サイクルＴ２ｃとを示す。

図２４（ａ）及び（ｂ）で示されるように、表示用画像ＩＧの生成方法としては２通り存在する。１つ目の生成方法は、図２４（ａ）に示されるように、周期調整処理において用いた特定の位相を示す調整用の特徴点（この場合は第１の特徴点）を時間方向に連続させることで、第１の呼吸周期ＰＣ１と第２の呼吸周期ＰＣ２との差を埋めるものである。すなわち、図２４（ａ）の場合、調整用の特徴点は第１の特徴点であるので、第１の呼吸周期ＰＣ１毎に、第２の呼吸サイクルＴ２ｃにおける最小点２Ｂ２（第１の特徴点）を一定の時間区間ＳＴ内で連続して存在させる。このようにして生成された第２の呼吸サイクルＴ２ｃの第２の呼吸周期ＰＣ２ｒは、第１の呼吸周期ＰＣ１と一致し、基準動画像と参照動画像の表示に要する表示時間が第１の呼吸周期ＰＣ１毎に一致することになる。なお、図２４（ａ）では調整用の特徴点が第１の特徴点である場合を示すが、調整用の特徴点が第２の特徴点である場合にも同様に、最大点２Ｂ１を時間方向に連続させることで、表示用画像ＩＧを生成することができる。また、図２４（ａ）では第２の呼吸周期ＰＣ２が第１の呼吸周期ＰＣ１よりも小さい場合を示したが、第２の呼吸周期ＰＣ２が第１の呼吸周期ＰＣ１よりも大きい場合には、第１の呼吸周期ＰＣ１の期間だけ参照動画像の表示を行うようにすればよい。この生成方法によれば、周期調整処理において用いた調整用の特徴点から始まる肺野領域（対象領域）の変化を観察することができる。

次に、２つ目の表示用画像ＩＧの生成方法は、図２４（ｂ）で示されるように、周期調整処理において用いた調整用の特徴点（この場合は第２の特徴点、すなわち特定の位相）とは逆の位相の点（この場合は第１の特徴点）を時間方向に連続させることで、第１の呼吸周期ＰＣ１と第２の呼吸周期ＰＣ２との差を埋めるものである。すなわち、図２４（ｂ）の場合、調整用の特徴点は第２の特徴点であるので、第１呼吸周期ＰＣ１毎に、第２の呼吸サイクルＴ２ｃにおける最小点２Ｂ２（第１の特徴点）を一定の時間区間ＳＴ内で連続して存在させる。このようにして生成された第２の呼吸サイクルＴ２ｃの第２の呼吸周期ＰＣ２ｒは、第１の呼吸周期ＰＣ１と一致し、基準動画像と参照動画像の表示に要する表示時間が第１の呼吸周期ＰＣ１毎に一致することになる。なお、図２４（ｂ）では特定の位相となる調整用の特徴点が第２の特徴点である場合を示すが、調整用の特徴点が第１の特徴点である場合にも同様に、第２の特徴点とは逆の位相の点となる最大点２Ｂ１を時間方向に連続させることで、表示用画像ＩＧを生成することができる。また、図２４（ｂ）では第２の呼吸周期ＰＣ２が第１の呼吸周期ＰＣ１よりも小さい場合を示したが、第２の呼吸周期ＰＣ２が第１の呼吸周期ＰＣ１よりも大きい場合には、第１の呼吸周期ＰＣ１の期間だけ参照動画像の表示を行うようにすればよい。この生成方法によれば、周期調整処理において用いた調整用の特徴点を中心としてその前後の変化を観察することができる。

上記の時間区間ＳＴにおける参照動画像の表示は、表示部３４のディスプレイ上では、一時停止状態（表示固定状態）となる。すなわち、図２４（ａ）及び（ｂ）の例では、第２の呼吸サイクルＴ２ｃの最小点２Ｂ２に対応する参照フレーム画像ＲＧが時間区間ＳＴの間連続的に表示される。

なお、図２４では、第１及び第２の特徴点に基づく調整方法で周期調整処理が実施された場合のみを説明したが、第３〜第５の特徴点に基づく調整方法においても各特徴点に対して同様の処理を施すことにより表示用画像ＩＧが生成可能である。

また、表示用画像ＩＧの作成方法として、基準動画像と参照動画像とを隣接配置して表示用画像ＩＧを作成する。その代わりに、基準動画像と参照動画像とを重畳して１の動画として表示しても良い。重畳表示する際は、それぞれの動画に異なる色を付けて表示することが好ましい。例えば、重畳表示する場合、基準動画像を赤、参照動画像を緑などのように割り振ると比較診断が行いやすくなる。

さらに、インジゲータなどの情報で、変更部分（例えば、上述の時間区間ＳＴ）が分かるように視覚情報を生成しても良い。例えば、動画表示（再生）中に現在の表示位置が分かるプログレスバーがある場合は、変更部分の表示中にはプログレスバー上に色を付けて表示する方法や、周期図による表示を行う場合は、変更前と変更後との情報表示などを行う方法を採用することができる。

＜１−３−２．画像処理装置３の基本動作＞
図２５は、本実施形態に係る画像処理装置３において実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため（図６参照）、ここでは全体の流れのみ説明する。

図２５に示すように、まず、ステップＳ１Ａにおいて、制御部３１の基準動画像取得部２１０が、撮像装置１の読取制御装置１４によって撮影された基準動画像（複数の基準フレーム画像ＳＧ）を、撮影制御装置２を介して取得する。また、ステップＳ１Ａと並行してステップＳ１Ｂにおいて、制御部３１の参照動画像取得部２２０が、参照画像記憶部５１から参照動画像（複数の参照フレーム画像ＲＧ）を取得する（図７参照）。

ステップＳ２Ａでは、基準周期抽出部３１０が、第１の呼吸サイクルＴ１に基づいて第１の呼吸周期ＰＣ１を検出し、複数の基準フレーム画像ＳＧを該第１の呼吸周期ＰＣ１単位に分類する。また、ステップＳ２Ａと並行してステップＳ２Ｂにおいて、参照周期抽出部３２０が、第２の呼吸サイクルＴ２に基づいて第２の呼吸周期ＰＣ２を検出し、複数の参照フレーム画像ＲＧを該第２の呼吸周期ＰＣ２単位に分類する（図８〜図１８参照）。

ステップＳ３では、周期調整部４００が、第１の呼吸周期ＰＣ１毎に、第２の呼吸サイクルＴ２を時間方向にシフトして第１の呼吸サイクルＴ１と第２の呼吸サイクルＴ２とを同期させる周期調整処理を実施する（図２０〜図２３参照）。

ステップＳ４では、表示画像生成部５００が、ステップＳ３において周期調整処理を施した後の第１及び第２の呼吸サイクルＴ１，Ｔ２ｃに基づいて表示用画像ＩＧを生成し、表示用画像ＩＧを表示部３４に出力する（図２４参照）。

最後に、ステップＳ５において、表示部３４が、表示用画像ＩＧをディスプレイに表示して、本動作フローが終了される。

以上、第１実施形態における画像処理装置３では、第１または第２の呼吸周期ＰＣ１，ＰＣ２毎に、基準動画像及び参照動画像の肺野領域の周期的な変化（第１及び第２の呼吸サイクル）を特定の位相（特徴点）において同期させる周期調整処理を実施する周期調整部４００と、周期調整処理を施した後の基準動画像及び参照動画像を比較できるように表示する表示用画像ＩＧを生成する表示画像生成部５００とを備える。すなわち、第１及び第２の呼吸周期ＰＣ１，ＰＣ２が互いに異なる場合においても、第１または第２の呼吸周期ＰＣ１，ＰＣ２毎に、第１の呼吸サイクルＴ１と第２の呼吸サイクルＴ２との特定の位相を一致させて表示することが可能となる。その結果、医者等の専門家が、表示部３４にて表示される表示用画像ＩＧを参照して同期した状態の該基準動画像と該参照動画像とを比較しながら動態診断をすることができるため、動態診断を適切かつ効率的に行うことが可能となる。また、動画読影による診断時間の短縮化が図れ、ユーザーにとっての利便性が向上する。

また、第１または第２の呼吸周期ＰＣ１，ＰＣ２は、タイミング（ａ１）〜（ａ５）のうち、少なくとも１つのタイミングに基づいて抽出されることにより、複数の基準フレーム画像ＳＧまたは複数の参照フレーム画像ＲＧを、第１または第２の呼吸周期ＰＣ１，ＰＣ２単位に正確に分類することが可能となる（図１４〜図１８参照）。

また、周期調整処理は、第１〜第５の特徴点（ｂ１）〜（ｂ５）のうち、何れか１つの特徴点である調整用特徴点（特定の位相）に基づいて実行されることにより、第１の呼吸サイクルＴ１及び第２の呼吸サイクルＴ２を特定の位相において正確に同期させることが可能となる（図２０〜図２３参照）。

また、周期調整処理は、調整用呼吸サイクルが調整用特徴点となるタイミングを、固定用呼吸サイクルが調整用特徴点となるタイミングに一致するように時間方向にシフトさせるだけであり、画像補間などにより動画像を加工することなく、第１及び第２の呼吸サイクルＴ１，Ｔ２そのものの変化を用いて表示用画像ＩＧを生成することができる。

なお、上記の説明では、参照動画像は１の動画像であったが、参照動画像は２以上の動画像とすることもできる。この場合、基準動画像と複数の参照動画像とを比較しながら動態診断をすることが可能となる。

＜２．第２実施形態＞
図２６は、本発明の第２実施形態として構成された画像処理装置３Ａで用いられる制御部３１Ａの機能構成を示す図である。この制御部３１Ａは、第１実施形態の画像処理装置３における制御部３１（図６参照）の代替として使用される。第１実施形態と異なる点は、第１実施形態の周期調整部４００に対応する周期調整部４００Ａが調整対象切替部４５０を更に備える点である。なお、残余の構成は画像処理装置３と同様である。

＜２−１．調整対象切替部４５０＞
周期調整部４００Ａにおける調整対象切替部４５０は、調整用呼吸サイクルを第１の呼吸サイクルＴ１と第２の呼吸サイクルＴ２との間で切り替える。すなわち、切り替え前の調整用呼吸サイクルを第２の呼吸サイクルＴ２としていた場合には、調整対象切替部４５０によって調整用呼吸サイクルを第２の呼吸サイクルＴ２から第１の呼吸サイクルＴ１に切り替えることができ、逆に、切り替え前の調整用呼吸サイクルを第１の呼吸サイクルＴ１としていた場合には、調整対象切替部４５０によって調整用呼吸サイクルを第１の呼吸サイクルＴ１から第２の呼吸サイクルＴ２に切り替えることができる。

上述したように、基準動画像が新たに撮影された動画像である場合、医者等の専門家が読影を行う際、現時点で診断を行いたい基準動画像を観察し、参照動画像は参考のために用いられることが多い。このため、基本的には、基準動画像を変更することなくそのまま用い、参照動画像の表示を変更することで表示用画像ＩＧが生成される。

しかしながら、参照動画像を変更することなくそのまま用い、基準動画像の表示を変更することで両者を比較して診断することが有用である可能性もある。

そこで、そのような場合に備えて、調整対象切替部４５０により、ユーザーの指定の下、調整用呼吸サイクルを参照動画像における第２の呼吸サイクルＴ２から基準動画像における第１の呼吸サイクルＴ１に切り替える。また、逆に、調整用呼吸サイクルを第１の呼吸サイクルＴ１から第２の呼吸サイクルＴ２に戻したい場合においても、ユーザーの指定の下、調整対象切替部４５０により切り替えることが可能となる。

＜２−２．画像処理装置３Ａの基本動作＞
続いて、図２７は、第２実施形態に係る画像処理装置３Ａの動作フローを例示した図である。ここでは、調整用呼吸サイクルのデフォルト設定は、第２の呼吸サイクルＴ２である。なお、図２７のうち、ステップＳＴ１Ａ，ＳＴ２Ａ，ＳＴ１Ｂ，ＳＴ２Ｂ，ＳＴ６は図２５のステップＳ１Ａ，Ｓ２Ａ，Ｓ１Ｂ，Ｓ２Ｂ，Ｓ５と同様であるため、その説明は省略する。

この第２実施形態では、第１実施形態では存在しなかった調整対象切替部４５０が付加されたことで、下記の工程が追加される。

すなわち、第１実施形態と同様の工程として、ステップＳＴ１Ａ，ＳＴ２Ａ，ＳＴ１Ｂ，ＳＴ２Ｂを経て、図２７で示されるように、ステップＳＴ３にて、調整対象切替部４５０が、調整用呼吸サイクルを第２の呼吸サイクルＴ２から第１の呼吸サイクルＴ１に切り替える。

ステップＳＴ４では、周期調整部４００Ａが、第２の呼吸周期ＰＣ２毎に、第１の呼吸サイクルＴ１を時間方向にシフトして基準動画像と参照動画像とを同期させる周期調整処理を実施する。

ステップＳＴ５では、表示画像生成部５００が、ステップＳＴ４において周期調整処理を施した後の第１及び第２の呼吸サイクルＴ１ｃ，Ｔ２に基づいて表示用画像ＩＧを生成し、表示用画像ＩＧを表示部３４に出力する（図２６参照）。そして、残余の工程は第１実施形態と同様となる。

以上のように第２実施形態に係る画像処理装置３Ａでは、調整用呼吸サイクルを第１の呼吸サイクルＴ１と第２の呼吸サイクルＴ２の間で切り替えることにより、ユーザー指定の下、調整対象とする動画像を変更することが可能となる。

＜３．第３実施形態＞
図２８は、本発明の第３実施形態として構成された画像処理装置３Ｂで用いられる制御部３１Ｂの機能構成を示す図である。この制御部３１Ｂは、第１実施形態の画像処理装置３における制御部３１（図６参照）の代替として使用される。第１実施形態と異なる点は、第１実施形態の周期調整部４００に対応する周期調整部４００Ｂが周期一致処理部４６０を更に備える点である。なお、残余の構成は画像処理装置３と同様である。

＜３−１．周期一致処理部４６０＞
周期調整部４００Ｂにおける周期一致処理部４６０は、第１の呼吸サイクルＴ１及び第２の呼吸サイクルＴ２のうち、何れか一方を固定用呼吸サイクル、他方を調整の対象となる調整用呼吸サイクルとし、第１及び第２の周期ＰＣ１，ＰＣ２のうち固定用呼吸サイクルの周期を固定用周期、調整用呼吸サイクルの周期を調整用周期とし、調整用呼吸サイクルを変更して調整用周期を固定用周期に一致させる周期一致処理を行う。ここでいう周期一致処理は大別して２つの処理があるため、以下、処理毎に分説する。

＜３−１−１．第１の周期一致処理＞
第１の周期一致処理としては、次の２つのケースが挙げられる。１つ目のケースとしては、調整用周期が固定用周期より短い場合、周期一致処理は、調整用呼吸サイクルの変化速度を遅く変更する処理となる。調整用呼吸サイクルの変化速度を遅くするには、動画像を表示する際の単位時間当たりのフレーム画像の数（ｆｐｓ：frame per second）を減らせばよい。すなわち、動画像を構成するフレーム画像毎の表示時間を長くすることになる。

２つ目のケースとしては、調整用周期が固定用周期より長い場合、周期一致処理は、調整用呼吸サイクルの変化速度を早く変更する処理となる。調整用呼吸サイクルの変化速度を速くするには、動画像を表示する際の単位時間当たりのフレーム画像の数を増やせばよい。すなわち、動画像を構成するフレーム画像毎の表示時間を短くすることになる。また、動画像を構成するフレーム画像の一部を間引いて変化速度を速くすることも可能である。

図２９は、対象領域を肺野領域として、第１の周期一致処理の一例を説明する図である。図２９（ａ）及び図２９（ｂ）ともに、固定用呼吸サイクルが第１の呼吸サイクルＴ１であり、調整用呼吸サイクルが第２の呼吸サイクルＴ２であり、第２の呼吸周期ＰＣ２が第１の呼吸周期ＰＣ１より短い場合を示している。すなわち、調整用周期が固定用周期よりも短い場合であるため、上記の１つ目のケースを例示している。

図２９（ａ）及び図２９（ｂ）の左図では、周期調整部４００Ｂの周期調整方法による処理によって、第１の呼吸サイクルＴ１の点１Ｂ２と第２の呼吸サイクルＴ２ｃの点２Ｂ２との時間軸方向の位置が一致した状態を示す。そして、図２９（ａ）及び図２９（ｂ）の右図では、第２の呼吸サイクルＴ２ｃの変化速度を遅く変更する処理を行い、第２の肺野領域時間変化Ｔ２ｒとすることで、第２の呼吸周期ＰＣ２ｒを第１の呼吸周期ＰＣ１に一致させた状態を示す。

次に、図２９（ａ）の右図と図２９（ｂ）の右図との差異について説明する。すなわち、図２９（ａ）の右図では、第２の呼吸サイクルＴ２ｃの変化速度を遅く変更する処理を、第２の呼吸周期ＰＣ２内で均等に行うことで第２の肺野領域時間変化Ｔ２ｒを生成しているのに対して、図２９（ｂ）の右図では、変化速度を遅く変更する処理を、第２の呼吸周期ＰＣ２内の特定の時間区間ＤＴ２のみに行うことで第２の呼吸サイクルＴ２ｒを生成している点で異なる。

第２の呼吸サイクルＴ２ｃの変化速度を遅く変更する処理については、例えば、図２９（ａ）の左図において、第２の呼吸サイクルＴ２ｃの変化速度が１５ｆｐｓであるとき、図２９（ａ）の右図における第２の呼吸サイクルＴ２ｒの変化速度は７．５ｆｐｓなどの最適な速度に変更することで、第２の呼吸周期ＰＣ２ｒを第１の呼吸周期ＰＣ１に一致させることが可能となる。

以上のように、第１の周期一致処理では、フレーム画像の変化速度の変更により第１及び第２の呼吸周期ＰＣ１，ＰＣ２ｒを一致させる。

＜３−１−２．第２の周期一致処理＞
第２の周期一致処理は、調整用周期が固定用周期より短い場合に、調整用呼吸サイクルに対応する動画表示を一定期間、表示固定状態とする処理である。そして、この周期一致処理は固定用周期毎に繰り返し行われる。なお、上記第１実施形態の図２４（ａ）では、固定用周期（周期調整処理の調整用特徴点の間の期間）の後に、表示固定状態となる期間ＳＴを設けたが、ここでは表示固定状態となる期間を固定用周期の途中に設ける。したがって、上記第１実施形態の図２４（ｂ）の例においても、この周期一致処理が実行されている。

図３０は、この第２の周期一致処理を示す図である。図３０では、第１の呼吸サイクルＴ１が固定用呼吸サイクルであり、第２の呼吸サイクルＴ２が調整用呼吸サイクルであり、第１の呼吸周期ＰＣ１が固定用周期であり、第２の呼吸周期ＰＣ２が調整用周期である。また、第１の呼吸周期ＰＣ１より第２の呼吸周期ＰＣ２の方が短い。上記第１実施形態で説明した周期調整処理により、第１の呼吸サイクルＴ１における点１Ｂ２と第２の呼吸サイクルＴ２ｃにおける点２Ｂ２とは時間軸方向の位置が一致されている（図２１（ａ）参照）。ここにおいて、周期調整処理において用いた調整用の特徴点である点２Ｂ２とは振幅方向について反対側の特徴点、すなわち点２Ｂ１を期間ＳＴ１の間時間軸方向に連続して存在させる。これにより、第１の呼吸周期ＰＣ１と第２の呼吸周期ＰＣ２との差を埋めている。この場合、ＳＴ１＝ＰＣ１−ＰＣ２である。そして、期間ＳＴ１の間、参照動画像の表示が固定されることになる。さらに、図３０で示されるように、この周期一致処理は第１の呼吸周期ＰＣ１毎に繰り返し行われる。

以上のように、第２の周期一致処理では、表示速度（第１または第２の呼吸サイクルＴ１，Ｔ２ｃの変化速度）そのものを変えずに、表示固定状態の期間ＳＴ１を固定用周期の途中に設ける。

続いて、この第２の周期一致処理の別の態様として、図３１に示されるように、第２の呼吸サイクルの各呼吸周期における最大値と最小値の両方を時間軸方向に連続して存在させるようにすることもできる。図３１においても、図３０と同様に、第１の呼吸サイクルＴ１が固定用呼吸サイクルであり、第２の呼吸サイクルＴ２が調整用呼吸サイクルであり、第１の呼吸周期ＰＣ１が固定用周期であり、第２の呼吸周期ＰＣ２が調整用周期である。また、第１の呼吸周期ＰＣ１より第２の呼吸周期ＰＣ２の方が短い。この処理は、周期調整処理が、呼吸サイクルの変曲点（図１６参照）、所定の閾値（図１７参照）、傾きの絶対値（図１８参照）で求められた点で行われている場合に好適である。これらの点で周期調整処理を行った場合には、各呼吸周期における最大値（最大吸気時）と最小値（最大呼気時）の中間の画像特徴量で位相を合わせることができるため、最大値（最大吸気時）と最小値（最大呼気時）を表示固定状態とすることが容易である。図３１では、各固定用周期において、期間ＳＴ１及び期間ＳＴ２の間、それぞれ第２の呼吸サイクルの最大値２Ｂ１及び最小値２Ｂ２を連続して存在させ、これらの期間だけ参照動画像を表示固定状態としている。

＜３−２．画像処理装置３Ｂの基本動作＞
続いて、図３２は、第３実施形態に係る画像処理装置３Ｂの動作フローを例示した図である。ここでは、固定用呼吸サイクルを第１の呼吸サイクルＴ１とし、調整用呼吸サイクルを第２の呼吸サイクルＴ２とし、固定用周期を第１の呼吸周期ＰＣ１とするとともに、調整用周期を第２の呼吸周期ＰＣ２とする。なお、図３２のうち、ステップＳＰ１Ａ，ＳＰ２Ａ，ＳＰ１Ｂ，ＳＰ２Ｂ，ＳＰ３，ＳＰ５，ＳＰ６は図２５のステップＳ１Ａ，Ｓ２Ａ，Ｓ１Ｂ，Ｓ２Ｂ，Ｓ３，Ｓ５，Ｓ６と同様であるため、その説明は省略する。

すなわち、第１実施形態と同様の工程として、ステップＳＰ１Ａ，ＳＰ２Ａ，ＳＰ１Ｂ，ＳＰ２Ｂ，ＳＰ３を経て、図３２で示されるように、ステップＳＰ４にて、周期一致処理部４６０が、上述の第１または第２の周期一致処理により、第２の呼吸周期ＰＣ２を第１の呼吸周期ＰＣ１に一致させるように第２の呼吸サイクルＴ２ｃを変更して第２の呼吸サイクルＴ２ｒを生成する（図２９〜図３１参照）。そして、残余の工程は第１実施形態と同様となる。

以上のように第３実施形態に係る画像処理装置３Ｂでは、周期調整処理は、第２の呼吸サイクルＴ２ｃ（調整用呼吸サイクル）を変更して第２の呼吸周期ＰＣ２（調整用周期）を第１の呼吸周期ＰＣ１（固定用周期）に一致させる周期一致処理を含む。これにより、第１の呼吸周期ＰＣ１内においては表示時間を調整することなく、第２の呼吸周期ＰＣ２の表示時間のみを調整することで表示用画像ＩＧを生成することが可能となる。

この第３実施形態によれば、第２の呼吸サイクルＴ２ｒの連続した表示と第１の呼吸サイクルＴ１の連続した表示とを第１の呼吸周期ＰＣ１毎により比較認識し易い態様で行わせることが可能となる。

＜４．変形例＞
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

例えば、上記第１〜第３実施形態では、基準動画像及び参照動画像における対象領域の周期的な動きが肺野領域の呼吸サイクルである場合を説明したが、心臓領域の心拍情報（心拍サイクル）であっても構わない。すなわち、呼吸サイクルに代えて、心拍サイクルを用いることができる。その場合の心拍サイクルの検出方法及び心拍周期の検出方法について説明する。

＜４−１．心臓領域の変化（心拍サイクル）の第１の検出方法＞
心拍サイクルの第１の検出方法として、図６で示されるように基準周期抽出部３１０では、基準動画像取得部２１０によって取得された複数の基準フレーム画像ＳＧを用いて、心臓壁の動き量を算出することで、第１の心拍サイクルＴ１（心拍情報）とするとともに、参照周期抽出部３２０では、参照動画像取得部２２０によって取得された複数の参照フレーム画像ＲＧを用いて、心臓壁の動き量を算出することで、第２の心拍サイクルＴ２（心拍情報）とする。

詳細には、動画像から心臓壁の変動が検出されることで、各フレーム画像ＳＧ（ＲＧ）が撮影されたタイミングにおける心臓の拍動の位相が検出される。したがって、心臓壁が心臓の拍動の位相として検出される。

図１１は、動画像で捉えられた心臓壁の変動を例示する模式図である。図１１で示されるように、心臓壁ＨＬの変動の一例として、心臓の横幅の変動を採用する。図１１(ａ)〜図１１(ｃ)では、心臓が拡張していく過程で、心臓の横幅がｗ１からｗ３へと大きくなっていく状態が例示されている。

そこで、基準周期抽出部３１０（参照周期抽出部３２０）では、各フレーム画像ＳＧ（ＲＧ）から、心臓の横幅を検出することで、第１（第２）の心拍サイクルＴ１（Ｔ２）とする。具体的に、心臓の横幅を検出する手法としては、例えば、心臓の輪郭を検出して行う手法等が挙げられる。そして、この心臓の輪郭を検出する手法としては、種々の公知の手法を採用することができ、例えば、心臓の形状を示すモデル（心臓モデル）を用いて、Ｘ線画像中の特徴点と、心臓モデルの特徴点とを合わせて行くことで、心臓の輪郭を検出する手法（例えば、"Image feature analysis and computer-aided diagnosis in digital radiography: Automated analysis of sizes of heart and lung in chest images", Nobuyuki Nakamori et al., Medical Physics, Volume 17, Issue 3, May,1990, pp.342-350.等参照）等を採用することができる。

図１２は、基準動画像を構成する複数の基準フレーム画像ＳＧ（参照動画像を構成する複数の参照フレーム画像ＲＧ）について、撮影された時刻と心臓の横幅との関係を例示する模式図である。図１２では、横軸が時刻、縦軸が心臓の横幅を示し、丸印が検出された心臓の横幅の値を示している。

ここで、時刻ｔで捉えられた心臓の横幅をＨｗ(t)、時刻(ｔ＋１)で捉えられた心臓の横幅をＨｗ(t+1)とし、（Ｈｗ(t+1)−Ｈｗ(t)）≧０が成立する場合には、時刻ｔで捉えられたフレーム画像ＳＧ（ＲＧ）が心臓の拡張時に分類され、（Ｈｗ(t+1)−Ｈｗ(t)）＜０が成立する場合には、時刻ｔで捉えられたフレーム画像ＳＧ（ＲＧ）が心臓の収縮時に分類される。

このように、心臓の横幅、すなわち、心臓壁ＨＬの変動を検出することで、心臓の拡張時および収縮時が分類できるため、心臓の拍動の位相を検出することが可能となり、心拍サイクル（曲線）を得ることができる。

＜４−２．心臓領域の変化（心拍サイクル）の第２の検出方法＞
心臓領域時間変化の第２の検出方法として、心電計の計測結果を用いる。すなわち、この検出方法は、複数の基準フレーム画像ＳＧ（または複数の基準フレーム画像ＳＧ）が撮影されるのと同期して外部より心拍情報が取得されている場合に採用可能である。図１３は、被検者Ｍの心電図波形の一部を例示する図である。なお、図１３では、横軸が時刻、縦軸が電気信号の大きさ（電圧）を示しており、いわゆるＰ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波及びＵ波の形状をそれぞれ示す曲線Ｐｐ，Ｑｐ，Ｒｐ，Ｓｐ，Ｔｐ及びＵｐを含む電気信号の変化を示す曲線が示されている。

図１のシステム形態では心電計４が設けられているため、心電計４の出力を用いることができる。この場合、基準周期抽出部３１０は、基準動画像取得部２１０を介して、複数の基準フレーム画像ＳＧを取得するとともに、これと同期した心拍情報をも取得し、該心拍情報を第１の心拍サイクルＴ１とする。一方、参照周期抽出部３２０では、参照画像記憶部５１から参照動画像取得部２２０を介して、複数の参照フレーム画像ＲＧを取得するとともに、これと同期した心拍情報をも取得し、該心拍情報を第２の心拍サイクルＴ２とする。参照動画像に関しては、その撮影時に心電計４によって心拍情報を取得し、この心拍情報が参照動画像と対応づけて参照画像記憶部５１に格納されているものとする。

なお、心拍サイクルを用いた場合であっても、周期調整処理や表示画像生成処理は、呼吸サイクルの場合と同様の処理が採用可能である。

＜４−３．心拍周期検出方法＞
続いて、第１（第２）の心拍サイクルＴ１（Ｔ２）における心拍周期を検出する方法について説明する。

心拍サイクルの第１の検出方法で検出された心拍サイクルＴ１（Ｔ２）（図１２で示される心臓壁の動きに相当）に対しても、上記呼吸サイクルで説明したタイミング（ａ１）〜（ａ６）の何れかもしくは組合せに基づき心拍周期を検出することができる。

また、心拍サイクルの第２の検出方法で検出された心拍サイクルＴ１（Ｔ２）に対しても同様であるが、この検出方法では、図１３で示される位相検出部４１から取得された点（Ｐｐ，Ｑｐ，Ｒｐ，Ｓｐ，Ｔｐ及びＵｐ）に基づいて、心拍周期を容易に検出することができる。そして、複数の基準フレーム画像ＳＧまたは参照フレーム画像ＲＧを第１または第２の心拍周期ＰＣ１（ＰＣ２）単位に分類することが可能である。

＜４−４ その他＞
※ 上記の実施形態では、画像処理装置３，３Ａ，３Ｂを個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。

※ 被写体は、人体だけでなく、動物の身体であってもよい。

この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ 撮像装置
２ 撮影制御装置
３，３Ａ，３Ｂ 画像処理装置
４ 心電計
３１，３１Ａ，３１Ｂ 制御部
３４ 表示部
４１ 位相検出部
１００，１００Ａ，１００Ｂ 放射線動態画像撮影システム
２００ 動画像取得部
２１０ 基準動画像取得部
２２０ 参照動画像取得部
３００ 周期抽出部
３１０ 基準周期抽出部
３２０ 参照周期抽出部
４００，４００Ａ，４００Ｂ 周期調整部
４５０ 調整対象切替部
４６０ 周期一致処理部
５００ 表示画像生成部
Ｔ１ 第１の対象領域時間変化
Ｔ２ 第２の対象領域時間変化
ＰＣ１ 第１の対象領域周期
ＰＣ２ 第２の対象領域周期
ＳＧ 基準フレーム画像
ＲＧ 参照フレーム画像
ＩＧ 表示用画像

Claims (13)

1. 人体または動物の対象領域の物理的状態が周期的に変化する状態を捉えた基準動画像を
   取得する基準動画像取得部と、
   人体または動物の前記対象領域の物理的状態が周期的に変化する状態を捉えた、前記基
   準動画像と比較すべき参照動画像を取得する参照動画像取得部と、
   前記基準動画像における前記対象領域の周期的な変化である第１の周期的変化に基づい
   て第１の対象領域周期を抽出する基準周期抽出部と、
   前記参照動画像における前記対象領域の周期的な変化である第２の周期的変化に基づい
   て第２の対象領域周期を抽出する参照周期抽出部と、
   前記第１または第２の対象領域周期毎に、前記第１及び第２の周期的変化を特定の位相
   において同期させる周期調整処理を実施する周期調整部と、
   前記周期調整処理を施した後の前記基準動画像及び前記参照動画像を比較できるように
   表示する表示用画像を生成する表示画像生成部と、を備え、
   前記表示画像生成部は、
   前記第１の対象領域周期と前記第２の対象領域周期とが異なる場合に、前記第１の対象
   領域周期と前記第２の対象領域周期との差の期間、前記第１及び第２の対象領域周期のう
   ち周期の短い方と対応する前記基準動画像または前記参照動画像の表示を固定状態とする
   ことを特徴とする、画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記周期調整部は、
   前記第１の対象領域周期毎に、前記第１の周期的変化が前記特定の位相を示す時に、前
   記第２の周期的変化が前記特定の位相となるように、前記第２の周期的変化を時間軸方向
   にシフトすることを特徴とする、画像処理装置。
3. 請求項１記載の画像処理装置であって、
   前記周期調整部は、
   前記第１及び第２の周期的変化のいずれか一方を固定用周期的変化とし、他方を調整用
   周期的変化とし、前記固定用周期的変化が前記特定の位相を示す時に、前記調整用周期的
   変化が前記特定の位相となるように、前記調整用周期的変化を時間軸方向にシフトすると
   ともに、
   前記調整用周期的変化を前記第１の周期的変化と前記第２の周期的変化との間で切り替
   える調整対象切替部を含むことを特徴とする、画像処理装置。
4. 人体または動物の対象領域の物理的状態が周期的に変化する状態を捉えた基準動画像を
   取得する基準動画像取得部と、
   人体または動物の前記対象領域の物理的状態が周期的に変化する状態を捉えた、前記基
   準動画像と比較すべき参照動画像を取得する参照動画像取得部と、
   前記基準動画像における前記対象領域の周期的な変化である第１の周期的変化に基づい
   て第１の対象領域周期を抽出する基準周期抽出部と、
   前記参照動画像における前記対象領域の周期的な変化である第２の周期的変化に基づい
   て第２の対象領域周期を抽出する参照周期抽出部と、
   前記第１または第２の対象領域周期毎に、前記第１及び第２の周期的変化を特定の位相
   において同期させる周期調整処理を実施する周期調整部と、
   前記周期調整処理を施した後の前記基準動画像及び前記参照動画像を比較できるように
   表示する表示用画像を生成する表示画像生成部と、を備え、
   前記周期調整部は、
   前記第１の対象領域周期毎に、前記第１の周期的変化が前記特定の位相を示す時に、前
   記第２の周期的変化が前記特定の位相となるように、前記第２の周期的変化を時間軸方向
   にシフトすることを特徴とする、画像処理装置。
5. 人体または動物の対象領域の物理的状態が周期的に変化する状態を捉えた基準動画像を
   取得する基準動画像取得部と、
   人体または動物の前記対象領域の物理的状態が周期的に変化する状態を捉えた、前記基
   準動画像と比較すべき参照動画像を取得する参照動画像取得部と、
   前記基準動画像における前記対象領域の周期的な変化である第１の周期的変化に基づい
   て第１の対象領域周期を抽出する基準周期抽出部と、
   前記参照動画像における前記対象領域の周期的な変化である第２の周期的変化に基づい
   て第２の対象領域周期を抽出する参照周期抽出部と、
   前記第１または第２の対象領域周期毎に、前記第１及び第２の周期的変化を特定の位相
   において同期させる周期調整処理を実施する周期調整部と、
   前記周期調整処理を施した後の前記基準動画像及び前記参照動画像を比較できるように
   表示する表示用画像を生成する表示画像生成部と、を備え、
   前記周期調整部は、
   前記第１及び第２の周期的変化のいずれか一方を固定用周期的変化とし、他方を調整用
   周期的変化とし、前記固定用周期的変化が前記特定の位相を示す時に、前記調整用周期的
   変化が前記特定の位相となるように、前記調整用周期的変化を時間軸方向にシフトすると
   ともに、
   前記調整用周期的変化を前記第１の周期的変化と前記第２の周期的変化との間で切り替
   える調整対象切替部を含むことを特徴とする、画像処理装置。
6. 請求項１ないし請求項５のうち、いずれか１項記載の画像処理装置であって、
   前記表示画像生成部は、
   前記特定の位相において、前記基準動画像または前記参照動画像の表示を固定状態とす
   ることを特徴とする、画像処理装置。
7. 請求項１ないし請求項５のうち、いずれか１項記載の画像処理装置であって、
   前記表示画像生成部は、
   前記特定の位相とは逆の位相において、前記基準動画像または前記参照動画像の表示を
   固定状態とすることを特徴とする、画像処理装置。
8. 請求項１ないし請求項７のうち、いずれか１項記載の画像処理装置であって、
   前記第１または第２の対象領域周期は、
   （ａ１）前記対象領域の周期的な変化における基準期間内での最小値を示すタイミング
   及び前記基準期間内での最大値を示すタイミングのうち、少なくとも一方のタイミング、
   （ａ２）前記対象領域の周期的な変化を示す曲線の傾きの正負が変わる変化点を示すタ
   イミング、
   （ａ３）前記対象領域の周期的な変化を示す曲線の変曲点を示すタイミング、
   （ａ４）前記対象領域の周期的な変化を示す値が所定の閾値となる点を示すタイミング
   、及び、
   （ａ５）前記対象領域の周期的な変化を示す曲線の傾きの絶対値が基準値より大きくな
   る点を示すタイミングのうち、少なくとも１つのタイミングに基づいて抽出される、画像
   処理装置。
9. 請求項１ないし請求項８のうち、いずれか１項記載の画像処理装置であって、
   前記周期調整処理は、前記第１及び第２の対象領域周期毎において、
   （ｂ１）前記基準動画像及び参照動画像における前記対象領域の周期的な変化が最小と
   なる第１の特徴点、
   （ｂ２）前記基準動画像及び参照動画像における前記対象領域の周期的な変化が最大と
   なる第２の特徴点、
   （ｂ３）前記基準動画像及び参照動画像における前記対象領域の周期的な変化を示す曲
   線が変曲点となる第３の特徴点、
   （ｂ４）前記基準動画像及び参照動画像における前記対象領域の周期的な変化を示す値
   が所定の閾値となる第４の特徴点、及び、
   （ｂ５）前記基準動画像及び参照動画像における前記対象領域の周期的な変化を示す曲
   線の傾きの絶対値が最大となる第５の特徴点のうち、何れか１つの特徴点である調整用特
   徴点に基づいて実行される、画像処理装置。
10. 請求項１ないし請求項９のうち、いずれか１項記載の画像処理装置であって、
    前記参照動画像は、２以上の動画像を含む、画像処理装置。
11. 請求項１ないし請求項１０のうち、いずれか１項記載の画像処理装置であって、
    前記対象領域は、
    肺であることを特徴とする、画像処理装置。
12. 請求項１ないし請求項１１のうち、いずれか１項記載の画像処理装置であって、
    前記表示用画像を表示する表示部、を更に備えることを特徴とする、画像処理装置。
13. 画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュー
    タを、請求項１ないし請求項１２のうち、いずれか１項記載の画像処理装置として機能さ
    せるプログラム。

Images