JP4935693B2

JP4935693B2 - 画像生成装置、プログラム、画像生成方法

Info

Publication number: JP4935693B2
Application number: JP2008014757A
Authority: JP
Inventors: 卓也川野; 修遠山
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2008-01-25
Filing date: 2008-01-25
Publication date: 2012-05-23
Anticipated expiration: 2028-01-25
Also published as: JP2009172190A

Description

本発明は、画像生成技術に関する。

医療現場では、Ｘ線等を用いて内蔵や骨格等に含まれる患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、Ｘ線等を用いて患部の動きを捉えた動画像を比較的容易に取得することが可能となっている。

そして、患部の動きを捉えて診断する事が有効な臓器としては、例えば、呼吸によって臓器の形状が大きく変化する肺等が挙げられる。例えば、肺は、疾病を伴う部分では拡大及び収縮の動きが著しく低下する傾向を示す。このため、医師は、肺の挙動を動画像を通じて認識することで、診断を行うことが可能となる。

また、患部の動きを解析する技術としては、時系列的に連続してＸ線を用いて撮影された複数の画像（Ｘ線画像）を利用して、時間的に隣り合うＸ線画像の差分（差分画像）を取得する技術が提案されている（例えば、特許文献１）。また、Ｘ線画像からノイズ成分を削除する技術も提案されている（例えば、非特許文献１）。

特開２００４−３１２４３４号公報 "Evaluation of Pulmonary Function Using Breathing Chest Radiography With a Dynamic Flat Panel Detector", Rie Tanaka et al., Investigative Radiology, vol.41(10)p735-745, October 2006.

しかしながら、上記特許文献１の技術では、肺を捉えた動画像に対して心臓の拍動に起因する血流の時間的な変化が重畳し、肺を捉えた動画像の局所的な明度が血流の変動に応じて変化するため、肺の特徴を他の特徴と区別して視認する事が困難となる。

また、上記非特許文献１の技術では、Ｘ線を用いて胸部を撮影した動画像（胸部Ｘ線動画像）中の各注目画素に関して、時間経過に対する画素値の変化に着目し、該注目画素における高周波成分を取り除くことで、血流による変動成分を削除しようとしている。

しかしながら、呼吸により、被写体の領域（肺野領域）は変動しているため、胸部Ｘ線動画像の複数フレームの同一画素に同じ肺野領域が現れる可能性は低い。このため、同一画素から単に高周波成分を取り除いた場合には、血流による変動成分だけでなく、他の変動成分すなわち呼吸による肺の変動成分も取り除かれてしまう傾向にある。すなわち、精度良く肺の特徴を他の特徴と区別して視認する事が困難となる。

このような問題は、Ｘ線を用いて肺を捉えた画像を取得する場合だけでなく、種々の技術を用いて、所定部位以外の要素による変動成分が所定部位の特徴に重畳する条件下で所定部位に係る画像を取得する場合一般に共通する。

本発明は、上記課題に鑑みてなされたものであり、形状が変化する部位について、その部位以外に起因する変動成分を取り除いた画像を取得する技術を提供する事を目的とする。

上記の課題を解決するために、請求項１の発明は、画像生成装置であって、動物の内部を構成する所定部位の形状が変化する状態を捉えた第１動画像を取得する第１取得手段と、前記所定部位の形状の変化が停止した状態を捉えた第２動画像を取得する第２取得手段と、前記第１動画像に含まれる複数の第１フレーム画像がそれぞれ撮影されたタイミングにおける前記動物の心臓の周期的な動きの位相と、前記第２動画像に含まれる複数の第２フレーム画像がそれぞれ撮影されたタイミングにおける前記心臓の周期的な動きの位相と、を検出する検出手段と、前記検出手段による検出結果に応じて、前記心臓の周期的な動きの位相が略一致するタイミングにおいて撮影された前記第１フレーム画像と前記第２フレーム画像との組合せを認識する認識手段と、前記組合せについて、前記第１フレーム画像の前記所定部位を捉えた第１領域に対し、前記第２フレーム画像の前記所定部位を捉えた第２領域が合致するように、前記第２領域を補正して変動成分画像を生成する第１生成手段と、前記組合せについて、前記第１フレーム画像と前記変動成分画像との差分画像を生成する第２生成手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１に記載の画像生成装置であって、前記認識手段が、前記検出手段による検出結果に応じて、前記心臓の周期的な動きの位相が略一致するタイミングにおいて撮影された前記第１フレーム画像と前記第２フレーム画像との複数の組合せをそれぞれ認識し、前記第１生成手段が、各前記組合せについて、前記第１フレーム画像の前記所定部位を捉えた第１領域に対し、前記第２フレーム画像の前記所定部位を捉えた第２領域が合致するように、前記第２領域を補正して変動成分画像をそれぞれ生成し、前記第２生成手段が、各前記組合せについて、前記第１フレーム画像と前記変動成分画像との差分画像をそれぞれ生成することを特徴とする。

また、請求項３の発明は、請求項１又は請求項２に記載の画像生成装置であって、前記所定部位が、肺を含むことを特徴とする。

また、請求項４の発明は、請求項１から請求項３の何れかに記載の画像生成装置であって、前記第１生成手段が、前記第１領域に対して、前記第２領域が合致するように、前記第２領域のみを補正して前記変動成分画像を生成することを特徴とする。

また、請求項５の発明は、請求項１から請求項４の何れかに記載の画像生成装置であって、前記検出手段が、前記心臓の動きをコントロールしている電気の変化を用いて前記心臓の周期的な動きの位相を検出することを特徴とする。

また、請求項６の発明は、請求項１から請求項４の何れかに記載の画像生成装置であって、前記第１及び第２動画像が、それぞれ前記心臓を含む領域を捉えた動画像であり、前記検出手段が、前記第１及び第２動画像で捉えられた心臓の形状の変化に基づき、前記心臓の周期的な動きの位相を検出することを特徴とする。

また、請求項７の発明は、画像生成装置に含まれるコンピュータによって実行されることにより、前記画像生成装置を、請求項１から請求項６の何れかに記載の画像生成装置として機能させるプログラムである。

また、請求項８の発明は、画像生成方法であって、動物の内部を構成する所定部位の形状が変化する状態を捉えた第１動画像を取得する第１取得工程と、前記所定部位の形状の変化が停止した状態を捉えた第２動画像を取得する第２取得工程と、前記第１動画像に含まれる複数の第１フレーム画像がそれぞれ撮影されたタイミングにおける前記動物の心臓の周期的な動きの位相と、前記第２動画像に含まれる複数の第２フレーム画像がそれぞれ撮影されたタイミングにおける前記心臓の周期的な動きの位相と、を検出する検出工程と、前記検出工程における検出結果に応じて、前記心臓の周期的な動きの位相が略一致するタイミングにおいて撮影された前記第１フレーム画像と前記第２フレーム画像との組合せを認識する認識工程と、前記組合せについて、前記第１フレーム画像の前記所定部位を捉えた第１領域に対し、前記第２フレーム画像の前記所定部位を捉えた第２領域が合致するように、前記第２領域を補正して変動成分画像を生成する第１生成工程と、前記組合せについて、前記第１フレーム画像と前記変動成分画像との差分画像を生成する第２生成工程とを備えることを特徴とする。

請求項１から請求項８の何れに記載の発明によっても、形状が変化する部位について、その部位以外に起因する変動成分を取り除いた画像が取得される。

また、請求項４に記載の発明によれば、演算量の低減により、演算の高速化が図られる。

また、請求項５に記載の発明によれば、フレーム画像を撮影したタイミングにおける心臓の周期的な動きの位相が精度良く検出される。

また、請求項６に記載の発明によれば、簡単な構成でフレーム画像を撮影したタイミングにおける心臓の周期的な動きが検出される。

以下、本発明の実施形態を図面に基づいて説明する。

＜画像取得システムの全体構成＞
図１(ａ)は、本発明の実施形態に係る画像取得システム１の全体構成を例示する図であり、図１(ｂ)は、画像取得システム１の構成を示すブロック図である。

図１(ａ)で示すように、画像取得システム１は、主に、画像生成装置２、医療用画像撮影装置５、及び心電計６を備えて構成されている。

また、図１(ｂ)で示すように、画像生成装置２は、ＣＰＵ２１、ＲＡＭ２２、及びＲＯＭ２３をバスライン１００に接続した一般的なコンピュータの構成となっている。またバスライン１００には、画像などを表示する表示部３、ユーザからの入力を受け付けるキーボードとマウスとを含む操作部４、各種データを保存する固定ディスク２４が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続されている。

バスライン１００には更に、伝送ケーブルのインターフェース（Ｉ／Ｆ）を介して医療用画像撮影装置５、及び心電計６がそれぞれ接続されている。なお、医療用画像撮影装置５から受信した画像データ（以下「画像」とも称する）、及び心電計６から受信した情報は、ＣＰＵ２１の制御の下、固定ディスク２４に記憶することが可能である。

図１(ｂ)で示すプログラムＰＧは、固定ディスク２４に記憶される。画像生成装置２としての各種機能は、ＣＰＵ２１がプログラムＰＧに従って動作することにより実現される。

医療用画像撮影装置５は、例えば、Ｘ線撮影装置等によって構成され、撮影の対象である人物（撮影対象者）の内蔵等に含まれる所定部位を撮影する。また、心電計６は、心臓の動きをコントロールしている電気の変化を検出する。この心電計６は、例えば、ＣＰＵ２１からの制御信号に応答して、医療用画像撮影装置５による撮影動作と並行して、心臓の動きをコントロールしている電気の変化を検出する。

＜画像生成装置の機能構成＞
図２は、ＣＰＵ２１がプログラムＰＧに従って動作することにより画像生成装置２で実現される機能構成を他の構成とともに示す図である。図２で示す構成のうち、撮影制御部２１１、計測制御部２１２、画像取得部２１３、心電図取得部２１４、位相検出部２１５、対応画像認識部２１６、変動成分画像生成部２１７、差分画像生成部２１８、及び記憶制御部２１９が、ＣＰＵ２１等により実現される機能を示している。

撮影制御部２１１は、例えば、操作部４からの入力信号に応答して、医療用画像撮影装置５による所定部位の動画撮影の開始ならびに終了タイミングを制御する。

計測制御部２１２は、医療用画像撮影装置５における撮影対象者の動画撮影時に、心電計６により、撮影対象者の心臓の動きをコントロールしている電気の変化を検出するように制御する。なお、計測制御部２１２は、動画撮影の開始ならびに終了のタイミングを示す信号を撮影制御部２１１から取得する。

画像取得部２１３は、医療用画像撮影装置５によって撮影された動画像を取得する。この画像取得部２１３は、第１画像取得部２１３ａ及び第２画像取得部２１３ｂを有している。なお、画像取得部２１３で取得される各画像は、固定ディスク２４に記憶され、その後、各画像処理によって得られる画像は、適宜一時的にＲＡＭ２２に記憶されたり、固定ディスク２４に記憶される。

第１画像取得部２１３ａは、撮影対象者の内部を構成する所定部位（ここでは、肺）の形状が変化する状態（ここでは、呼吸により肺の形状が変化する様子）を捉えた動画像（ここでは、呼吸中肺動画像）を取得する。一方、第２画像取得部２１３ｂは、所定部位（ここでは、肺）の形状の変化が停止した状態（ここでは、呼吸の停止により肺の形状の変化が停止した状態）を捉えた動画像（ここでは、呼吸停止中肺動画像）を取得する。

なお、呼吸中肺動画像及び呼吸停止中肺動画像は、それぞれ、ユーザによる操作部４の操作に応答して得られる動画像であり、所定のフレームレート（例えば、３０フレーム／秒）で所定期間（例えば、１０秒間）における肺の状態を捉えた動画像である。

心電図取得部２１４は、心電計６によって検出された心臓の動きをコントロールしている電気の変化に基づき、いわゆる心電図を取得する。なお、心電図取得部２１４で取得される心電図に係る情報は、固定ディスク２４に記憶される。図３は、心電図取得部２１４で取得される心電図の一部を例示する模式図である。

なお、ここでは、呼吸中肺動画像と、その呼吸中肺動画像を撮影した際における撮影対象者に係る心電図（呼吸中心電図）とが関連付けられて固定ディスク２４等に記憶され、呼吸停止中肺動画像と、その呼吸停止中肺動画像を撮影した際における撮影対象者に係る心電図（呼吸停止中心電図）とが関連付けられて固定ディスク２４等に記憶される。

位相検出部２１５は、心電図取得部２１４によって取得された心電図と、呼吸中肺動画像及び呼吸停止中肺動画像をそれぞれ構成する各フレーム画像が撮影されたタイミングとに基づき、各フレーム画像が撮影されたタイミングにおける撮影対象者の心臓の周期的な動き（拍動）の位相を検出する。ここでは、各フレーム画像と、心臓の拍動の位相とが対応付けられる。ここで対応付けられた情報は、ＲＡＭ２２又は固定ディスク２４に適宜記憶される。なお、撮影時の位相検出方法については更に後述する。

対応画像認識部２１６は、位相検出部２１５による検出結果に基づき、呼吸中肺動画像を構成するフレーム画像（呼吸中フレーム画像）について、呼吸停止中肺動画像を構成する複数のフレーム画像（呼吸停止中フレーム画像）から、撮影されたタイミングにおける心臓の拍動の位相が略一致する１つの呼吸停止中フレーム画像を認識する。つまり、撮影時における心臓の拍動の位相が略一致する呼吸中フレーム画像と呼吸停止中フレーム画像との組合せが認識される。

ここでは、呼吸中肺動画像を構成する複数の呼吸中フレーム画像について、撮影されたタイミングにおける心臓の拍動の位相が略一致する呼吸停止中フレーム画像がそれぞれ認識される。つまり、撮影時における心臓の拍動の位相が略一致する呼吸中フレーム画像と呼吸停止中フレーム画像との複数通りの組合せが認識される。ここで認識された情報は、ＲＡＭ２２又は固定ディスク２４に適宜記憶される。なお、フレーム画像の対応付け方法については更に後述する。

変動成分画像生成部２１７は、呼吸中フレーム画像の所定部位（ここでは肺）を捉えた領域（呼吸中肺野領域）に対して、呼吸停止中フレーム画像の所定部位を捉えた領域（呼吸停止中肺野領域）が合致するように、呼吸停止中肺野領域を補正した画像を生成する。ここで生成される画像は、所定部位の動き以外の変動成分（ここでは血流による変動成分）を捉えた画像（変動成分画像）となっている。

そして、ここでは、対応画像認識部２１６で認識された呼吸中フレーム画像と呼吸停止中フレーム画像との各組合せについて、呼吸中フレーム画像の呼吸中肺野領域に対し、呼吸停止中フレーム画像の呼吸停止中肺野領域が合致するように、呼吸停止中フレーム画像の呼吸停止中肺野領域が補正されて、変動成分画像がそれぞれ生成される。

なお、各変動成分画像を生成するためには、後述する煩雑な演算が必要となるため、演算量の低減及び演算の高速化等を考慮すると、所定部位を捉えた呼吸停止中肺野領域のみを補正した変動成分画像を生成することが好ましい。ここで生成された変動成分画像は、ＲＡＭ２２又は固定ディスク２４に適宜記憶される。なお、変動成分画像の生成方法については更に後述する。

差分画像生成部２１８は、撮影時の心臓の拍動の位相が略一致する呼吸中フレーム画像と変動成分画像との組合せについて、呼吸中フレーム画像と変動成分画像との差分を示す画像（差分画像）を生成する。そして、ここでは、対応画像認識部２１６で認識された呼吸中フレーム画像と呼吸停止中フレーム画像との各組合せについて、差分画像が生成される。つまり、動画的な態様で差分画像を再生可能な動画像（差分動画像）が生成される。

記憶制御部２１９は、差分画像生成部２１８で生成された画像（差分画像及び差分動画像）を固定ディスク２４に記憶する処理を制御する。なお、固定ディスク２４に格納された差分画像や差分動画像は、操作部４からの入力に基づいて、表示部３において適宜可視的に出力される。

＜撮影時の位相検出方法＞
図３は、呼吸停止中肺動画像の撮影時に取得された心臓の動きをコントロールしている電気の変化を示す心電図を例示する図である。なお、図３では、横軸が時刻、縦軸が電気信号の大きさ（電圧）を示しており、いわゆるＰ波、Ｒ波、Ｔ波の形状をそれぞれ示す曲線Ｐｐ，Ｒｐ，Ｔｐを含む電気信号の変化を示す曲線が示されている。

また、図４は、呼吸停止中肺動画像を構成する一部の呼吸停止中フレーム画像を例示する模式図であり、図４(ａ)〜(ｃ)では、図３で示す時刻Ｉｓ１〜Ｉｓ３でそれぞれ撮影された呼吸停止中フレーム画像が示されている。なお、図４(ａ)〜(ｃ)では、呼吸停止中肺野領域に斜線のハッチングが付されている。

図５は、呼吸中肺動画像の撮影時に取得された心臓の動きをコントロールしている電気の変化を示す心電図を例示する図である。なお、図５では、図３と同様に、横軸が時刻、縦軸が電気信号の大きさ（電圧）を示しており、いわゆるＰ波、Ｒ波、Ｔ波の形状をそれぞれ示す曲線Ｐｐ，Ｒｐ，Ｔｐを含む電気信号の変化を示す曲線が示されている。

また、図６は、呼吸中肺動画像を構成する一部の呼吸中フレーム画像を例示する模式図であり、図６(ａ)〜(ｃ)では、図５で示す時刻Ｉｍ１〜Ｉｍ３でそれぞれ撮影された呼吸中フレーム画像が示されている。なお、図６(ａ)〜(ｃ)では、呼吸中肺野領域に砂地のハッチングが付されている。

本実施形態では、心電図の特徴的な形状（例えば、Ｐ，Ｒ，Ｔ波の形状等）に基づき、心臓の拍動の周期ならびに位相が認識され、各呼吸停止中フレーム画像及び各呼吸中フレーム画像が撮影された際の心臓の拍動の位相がそれぞれ検出される。

＜フレーム画像の対応付け方法＞
図７及び図８は、フレーム画像の対応付け方法を説明するための図である。

図７及び図８で示すように、各呼吸中フレーム画像に対して、撮影時の心臓の拍動の位相が略一致する呼吸停止中フレーム画像が対応付けられる。例えば、心臓の拍動の位相が等しい時刻Ｉｓ１，Ｉｍ１にそれぞれ撮影された呼吸停止中フレーム画像（図８(ａ)）と呼吸中フレーム画像（図８(ｄ)）とが対応付けられ、心臓の拍動の位相が等しい時刻Ｉｓ２，Ｉｍ２にそれぞれ撮影された呼吸停止中フレーム画像（図８(ｂ)）と呼吸中フレーム画像（図８(ｅ)）とが対応付けられ、心臓の拍動の位相が等しい時刻Ｉｓ３，Ｉｍ３にそれぞれ撮影された呼吸停止中フレーム画像（図８(ｃ)）と呼吸中フレーム画像（図８(ｆ)）とが対応付けられる。

＜変動成分画像の生成方法＞
図９から図１２は、変動成分画像の生成方法を説明するための図である。

ここでは、例えば、図９で示すように、呼吸停止中フレーム画像（図９(ａ)）の呼吸停止中肺野領域（斜線ハッチング部）が、呼吸中フレーム画像（図９(ｃ)）の呼吸中肺野領域（砂地ハッチング部）に合致する形状となるように補正されることで、変動成分画像（図９(ｂ)）が生成される。つまり、２つの画像の間の呼吸中肺野領域と呼吸停止中肺野領域とのずれが補正される。

この２つの画像の間のずれを補正する手法としては、種々の公知の手法を採用することができ、例えば、一組の線分の変換（例えば、Feature-based image metamorphosis, ACM SIGGRAPH Computer Graphics archive, Volume 26, Issue 2, July 1992, p35-42.等参照）を利用する手法や、その他の手法（例えば、特開昭６３−２７８１８３号公報等参照）等を採用することができる。

以下、一組の線分の変換を利用する手法について具体的に説明する。なお、ここでは、各フレーム画像の所定点（例えば左上の点）を基準点（例えば原点）とし、右方向をＸ軸方向とし、下方向をＹ軸方向とし、１画素毎に座標の値が１つずつ変化するものとする。

まず、図１０(ａ)，(ｂ)で模式的に示すように、補正の対象である呼吸停止中肺野領域及び該呼吸停止中肺野領域に対応する呼吸中肺野領域について、多数（例えば２００個程度）の特徴点（例えば、図１０では黒丸が付された点）がそれぞれ検出される。この特徴点としては、例えば、呼吸停止中肺野領域及び呼吸中肺野領域の輪郭の変曲点や尖鋭な点や所定の階調を有する点等が挙げられる。なお、呼吸停止中肺野領域及び呼吸中肺野領域の輪郭を抽出する手法としては、種々の公知の手法を採用することができ、例えば、Ｘ線を用いて得られた画像（Ｘ線画像）における濃度の変化の特徴から肺野部の輪郭を求める手法（例えば、特開昭６３−２４０８３２号公報等参照）や、その他の手法（例えば、特開平２−２５０１８０号公報等参照）等を採用することができる。

次に、呼吸停止中肺野領域内の任意の点Ｘと、呼吸中肺野領域内の任意の点Ｘ'との対応関係が求められる。ここでは、呼吸停止中肺野領域内の全ての画素について点Ｘと点Ｘ'との対応関係が認識される。

ここで、図１１で示すように、上記の如く検出された呼吸停止中肺野領域の特徴点に含まれる２点Ｐ，Ｑと、上記の如く検出された呼吸中肺野領域の特徴点のうちの該２点Ｐ，Ｑに対応する２点Ｐ'，Ｑ'とに着目する。

図１２は、点Ｘと点Ｘ'の対応関係の求め方を説明するための図である。

図１２(ａ)では、点Ｐ'から点Ｑ'へのベクトル（Ｐ'Ｑ'ベクトル）、線分Ｐ'Ｑ'から点Ｘ'への垂線と合致する点Ｃ'から点Ｘ'へのベクトル（Ｃ'Ｘ'ベクトル）、及び点Ｐ'から点Ｃ'へのベクトル（Ｐ'Ｃ'ベクトル）が示されている。一方、図１２(ｂ)では、点Ｐから点Ｑへのベクトル（ＰＱベクトル）、線分ＰＱから点Ｘへの垂線と合致する点Ｃから点Ｘへのベクトル（ＣＸベクトル）、及び点Ｐから点Ｃへのベクトル（ＰＣベクトル）が示されている。

ここで、２次元平面上で、Ｐ'Ｑ'ベクトルがＰＱベクトルに変換される場合に、Ｐ'Ｑ'ベクトルとＣ'Ｘ'ベクトルとＰ'Ｃ'ベクトルとの比と、ＰＱベクトルとＣＸベクトルとＰＣベクトルとの比が一定になるように、点Ｘ'が点Ｘに変換されるものとする。

このとき、点Ｘと点Ｘ'との間に下式(１)〜(３)の関係が成立する。

なお、ｕは線分ＰＣの長さを線分ＰＱの長さで割った（正規化した）スカラーを示し、ｖは直線ＰＱから点Ｘまでの距離を示し、Ｘ'は点Ｘ'の座標を示している。また、（Ｘ−Ｐ）は点Ｘの座標の値から点Ｐの座標の値を引いた座標の変化値すなわち点Ｐから点Ｘへのベクトル（ＰＸベクトル）を示し、（Ｑ−Ｐ）は点Ｑの座標の値から点Ｐの座標の値を引いた座標の変化値すなわちＰＱベクトルを示し、Ｐｅｒ（Ｑ−Ｐ）はＰＱベクトルに対して垂直で且つ大きさが等しくＣＸベクトルと同じ方向を向いたベクトルを示し、Ｐｅｒ（Ｑ'−Ｐ'）はＰ'Ｑ'ベクトルに対して垂直で且つ大きさが等しくＣ'Ｘ'ベクトルと同じ方向を向いたベクトルを示し、Ｐ'は点Ｐ'の座標を示している。

このため、上式(１)の右辺については、分子はＰＸベクトルとＰＱベクトルとの内積を示し、分母はＰＱベクトルの大きさの２乗（線分ＰＱの長さの２乗）を示している。上式(２)の右辺については、分子はＰＸベクトルとＰｅｒ（Ｑ−Ｐ）との内積を示し、分母はＰＱベクトルの大きさ（線分ＰＱの長さ）を示している。また、上式(３)の右辺第３項の分母はＰ'Ｑ'ベクトルの大きさ（線分ＰＱの長さ）を示している。

ここで、呼吸停止中肺野領域について、多数の特徴点のうちの任意の２点が点Ｐ，Ｑとされ、呼吸中肺野領域について、この２点Ｐ，Ｑに対応する２点が点Ｐ'，Ｑ'と設定される。そして、呼吸停止中肺野領域内の任意の１点Ｘに対して、点Ｘと点Ｘ’との関係が多数求められる。但し、各点Ｐ，Ｑ（及び点Ｐ'，Ｑ'）の設定に対して求められる点Ｘと点Ｘ'との関係は完全には一致しない。そこで、加重平均が用いられて、各点Ｘについて、下式(４)〜(６)で示すような点Ｘ'と点Ｘとの関係が求められる。なお、加重平均としては、例えば、ＰＱベクトルの大きさや、点Ｐ，Ｑの検出精度や、ＰＱベクトルと点Ｘとの位置関係等を考慮した重み付けを用いるようにすれば良い。

ここでは、点Ｐ，Ｑをｎ通り設定されるものとし、上式(４)〜(６)では、ｎ通りの点Ｐ，Ｑの組合せのうち、ｉ番目の点Ｐ，Ｑがそれぞれ点Ｐ_i，Ｑ_iと示されている。また、Ｘ_i'は、点Ｐ_iからＱ_iへのベクトル（Ｐ_iＱ_iベクトル）に対して、上式(３)により求められる座標である。更に、ａ，ｂ，ｐは定数であり、ａ，ｂ，ｐの値が適宜変更されることで、呼吸停止中肺野領域の変形の仕方が調整される。また、上式(４)については、Ｘ'は点Ｘ'の座標を示し、Ｘは点Ｘの座標を示し、ω_iは上式(５)，(６)で規定される重みを示し、（Ｘ_i'−Ｘ）は点Ｘから点Ｘ_i'へのベクトル（ＸＸ_i'ベクトル）を示している。

上式(５)で示すように、重みω_iは、点Ｐ_iから点Ｑ_iへのベクトル（Ｐ_iＱ_iベクトル）のｂ乗を（ａ＋ＤＩＳＴ_i）で割ってｐ乗することで求められる。なお、上式(６)で示す条件、ｕ＜０は、点Ｘが線分ＰＱのＰ側の延長線に対する垂線の上に位置する条件であり、０≦ｕ≦１は、点Ｘが線分ＰＱの垂線の上に位置する条件であり、ｕ＜１は、点Ｘが線分ＰＱのＱ側の延長線に対する垂線の上に位置する条件である。

上式(４)で示すように、点Ｘの座標に対して、右辺第２項のＸＸ_i'ベクトルの加重平均が加算されることで、点Ｘに対応する点Ｘ'の座標が求まる。

そして、上式(１)〜(６)で求まる点Ｘと点Ｘ'との関係が、呼吸停止中肺野領域の全画素について求められると、呼吸停止中肺野領域が、呼吸中肺野領域に合致するように補正される。このような、２つの画像間のずれの補正は、画像領域の非線形の拡大及び縮小を行う画像処理であり、例えば、非線形のスケーリングを行う処理と称することができる。

＜差分画像の生成＞
図１３は、差分画像の生成を説明するための模式図である。

図１３で示すように、撮影時の心臓の拍動の位相が略一致する呼吸中フレーム画像(図１３(ａ))と変動成分画像（図１３(ｂ)）との組合せについて、呼吸中フレーム画像と変動成分画像との差分画像（図１３(ｃ)）が生成される。このような差分画像が、呼吸中肺動画像を構成する各呼吸中フレーム画像に対して生成されることで、血流の影響が除去された所定部位の動きを捉えた動画像が得られる。なお、差分画像において肺の輪郭が不明瞭とならないように、変動成分画像における肺の輪郭を適宜調整する等しても良い。

以上のように、本発明の実施形態に係る画像取得システム１では、形状が変化する所定部位（ここでは、肺）について、その所定部位以外に起因する変動成分（ここでは血流による変動成分）を取り除いた画像が取得される。このため、形状が変化する所定部位の特徴と他の特徴とを区別して視認することができ、診断が容易に可能となる。特に、所定部位以外に起因する変動成分を取り除いた動画像を得ることで、診断が更に容易となる。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上記実施形態では、心臓の動きをコントロールしている電気の変化が検出されることで、各フレーム画像の撮影時における心臓の拍動の位相が検出されたが、これに限られない。例えば、呼吸中肺動画像及び呼吸停止中肺動画像のように心臓を含む領域を捉えた画像を用いた画像処理により、各フレーム画像の撮影時における心臓の拍動の位相が検出される構成が採用されても良い。以下、具体例を挙げて説明する。

図１４(ａ)は、本発明の変形例に係る画像取得システム１Ａの全体構成を例示する図であり、図１４(ｂ)は、画像取得システム１Ａの構成を示すブロック図である。

画像取得システム１Ａは、図１(ａ)，(ｂ)で示された画像取得システム１から心電計６が取り除かれ、プログラムＰＧがプログラムＰＧＡに変更され、画像生成装置２が画像生成装置２Ａに変更された構成を有する。なお、図１４(ａ)，(ｂ)では、図１(ａ)，(ｂ)で示した構成と同様な部分については、同じ符号を付して説明を省略する。

図１５は、ＣＰＵ２１がプログラムＰＧＡに従って動作することにより変形例に係る画像生成装置２Ａで実現される機能構成を他の構成とともに示す図である。図１５で示す機能構成は、図２で示された機能構成から計測制御部２１２及び心電図取得部２１４が削除され、位相検出部２１５が位相検出部２１５Ａに変更されたものとなっている。なお、図１５では、図２で示した構成と同様な部分については、同じ符号を付して説明を省略する。

以下、変形例に係る画像生成装置２Ａの機能構成について、上記実施形態に係る画像生成装置２と異なる部分である位相検出部２１５Ａについて説明する。

位相検出部２１５Ａは、呼吸中肺動画像及び呼吸停止中肺動画像を用いた画像処理により、各呼吸中フレーム画像及び各呼吸停止中フレーム画像が撮影されたタイミングにおける心臓の拍動の位相を検出する。ここでは、各フレーム画像と、心臓の拍動の位相とが対応付けられる。ここで対応付けられた情報は、ＲＡＭ２２又は固定ディスク２４に適宜記憶される。

ここで、変形例に係る撮影時の位相検出方法について説明する。

ここでは、図１６で示すように、各呼吸中フレーム画像及び各呼吸停止中フレーム画像について、所定点（例えば左上の点）を基準点（例えば原点）とし、右方向をＸ軸方向とし、下方向をＹ軸方向とし、１画素毎に座標の値が１つずつ変化するものとする。

図１７は、呼吸停止中肺動画像で捉えられた心臓の横幅の変動を例示する模式図である。図１７(ａ)〜(ｃ)では、心臓が拡張していく過程で、心臓の横幅がｗ１からｗ３へと大きくなっていく状態が例示されている。

ここでは、呼吸中肺動画像及び呼吸停止中肺動画像で、撮影対象の所定部位である肺とともに心臓も捉えられていることが利用される。詳細には、呼吸中肺動画像及び呼吸停止中肺動画像について、心臓の横幅の変動が検出されることで、各呼吸中フレーム画像及び各呼吸停止中フレーム画像が撮影されたタイミングにおける心臓の拍動の位相が検出される。例えば、心臓の横幅が心臓の拍動の位相として検出されても良い。

各呼吸中フレーム画像及び各呼吸停止中フレーム画像から、心臓の横幅を検出する手法としては、例えば、心臓の輪郭を検出して行う手法等が挙げられる。そして、この心臓の輪郭を検出する手法としては、種々の公知の手法を採用することができ、例えば、心臓の形状を示すモデル（心臓モデル）を用いて、Ｘ線画像中の特徴点と、心臓モデルの特徴点とを合わせて行くことで、心臓の輪郭を検出する手法（例えば、"Image feature analysis and computer-aided diagnosis in digital radiography: Automated analysis of sizes of heart and lung in chest images", Nobuyuki Nakamori et al., Medical Physics, Volume 17, Issue 3, May,1990, pp.342-350.等参照）等を採用することができる。

図１８は、呼吸停止中肺動画像を構成する複数の呼吸停止中フレーム画像について、撮影された時刻と心臓の横幅との関係を例示する模式図である。図１８では、横軸が時刻、縦軸が心臓の横幅を示し、丸印が検出された心臓の横幅の値を示している。

ここで、時刻ｔで捉えられた心臓の横幅をＨｗ_t、時刻ｔ＋１で捉えられた心臓の横幅をＨｗ_t+1とし、（Ｈｗ_t+1−Ｈｗ_t）≧０が成立する場合には、時刻ｔで捉えられた呼吸停止中フレーム画像が心臓の拡張時に分類され、（Ｈｗ_t+1−Ｈｗ_t）＜０が成立する場合には、時刻ｔで捉えられた呼吸停止中フレーム画像が心臓の収縮時に分類される。

図１９は、呼吸停止中肺動画像を構成する複数の呼吸停止中フレーム画像が心臓の拡張時と収縮時とに分類された状態を例示する模式図である。図１９では、拡張時に分類された各呼吸停止中フレーム画像に係る心臓の横幅を示す丸印に斜線のハッチングが付され、収縮時に分類された各呼吸停止中フレーム画像に係る心臓の横幅を示す丸印に砂地のハッチングが付され、拡張時の期間Ｐｅと収縮時の期間Ｐｃとが示されている。より具体的には、丸印ｐ１，ｐ２，ｐ５，ｐ６，ｐ１０，ｐ１１には斜線ハッチングが付され、丸印ｐ３，ｐ４，ｐ７〜ｐ９，ｐ１２，ｐ１３には砂地ハッチングが付されている。

次に、拡張時に分類された複数の呼吸停止中フレーム画像が、心臓の横幅の拡張順に並べ替えられ、収縮時に分類された各呼吸停止中フレーム画像が、心臓の横幅の収縮順に並べ替えられる。

図２０は、複数の呼吸停止中フレーム画像が拡張順と収縮順とに並び替えられた状態を例示する図である。

図２０では、図１９で示された丸印ｐ１〜ｐ１３のうち、斜線ハッチングが付された丸印ｐ１，ｐ２，ｐ５，ｐ６，ｐ１０，ｐ１１が心臓の横幅の小さな順（丸印ｐ１，ｐ５，ｐ１０，ｐ６，ｐ１１，ｐ２の順）に並べ替えられ、砂地ハッチングが付された丸印ｐ３，ｐ４，ｐ７〜ｐ９，ｐ１２，ｐ１３が心臓の横幅の大きな順（丸印ｐ７，ｐ３，ｐ１２，ｐ１３，ｐ８，ｐ４，ｐ９の順）に並べ替えられた状態が示されている。

図２１は、呼吸中肺動画像を構成する複数の呼吸中フレーム画像について、撮影された時刻と心臓の横幅との関係を例示する模式図である。なお、各呼吸中フレーム画像に係る心臓の横幅は、各呼吸停止中フレーム画像から心臓の横幅を求めた手法と同様な手法により、各呼吸中フレーム画像から求められる。

図２１では、丸印が心臓の横幅の値を示しており、図１９と同様に、拡張時に分類された各呼吸中フレーム画像に係る心臓の横幅を示す丸印に斜線のハッチングが付され、収縮時に分類された各呼吸中フレーム画像に係る心臓の横幅を示す丸印に砂地のハッチングが付され、拡張時の期間Ｐｅと収縮時の期間Ｐｃとが示されている。より具体的には、丸印ｑ１，ｑ２，ｑ５，ｑ６，ｑ１０，ｑ１１には斜線ハッチングが付され、丸印ｑ３，ｑ４，ｑ７〜ｑ９，ｑ１２，ｑ１３には砂地ハッチングが付されている。なお、各呼吸中フレーム画像を分類する手法は、各呼吸停止中フレーム画像を分類する手法と同様なものが用いられる。

そして、図２１で示すような拡張時と収縮時とに分類された各呼吸中フレーム画像について、各呼吸中フレーム画像と撮影時の心臓の拍動の位相が略一致する呼吸停止中フレーム画像が、図２０で示すような複数の呼吸停止中フレーム画像から認識される。ここでは、拡張時への分類状況、収縮時への分類状況、及び心臓の横幅の３つの情報に基づいて、呼吸中フレーム画像に対応する呼吸停止中フレーム画像が認識される。

詳細には、拡張時に分類された各呼吸中フレーム画像に対しては、図２０で示すように、拡張時に分類され且つ心臓の横幅が小さな順に並べられた複数の呼吸停止中フレーム画像から心臓の横幅が最も近い呼吸停止中フレーム画像が認識される。一方、収縮時に分類された各呼吸中フレーム画像に対しては、図２０で示すように、収縮時に分類され且つ心臓の横幅が大きな順に並べられた複数の呼吸停止中フレーム画像から心臓の横幅が最も近い呼吸停止中フレーム画像が認識される。例えば、丸印ｑ２に係る呼吸中フレーム画像に対して、丸印ｐ６に係る呼吸停止中フレーム画像が認識され、丸印ｑ７に係る呼吸中フレーム画像に対して、丸印ｐ７に係る呼吸停止中フレーム画像が認識され、丸印ｑ１３に係る呼吸中フレーム画像に対して、丸印ｐ１３に係る呼吸停止中フレーム画像が認識される。

なお、図１８から図２１では、図示の複雑化を防ぐ目的で、心臓の拍動の１周期中に撮影されるフレーム画像の数を少ないものとしていたが、実際には、心臓の拍動の１周期中に撮影されるフレーム画像の数は多数（例えば、２５枚程度）となる。このため、心臓の拍動の数周期について、呼吸中肺動画像及び呼吸停止中肺動画像が撮影されれば、呼吸中肺動画像を構成する全呼吸中フレーム画像について、心臓の拍動の位相が略一致する呼吸停止中フレーム画像が認識される。

このように、呼吸中肺動画像及び呼吸停止中肺動画像を用いた画像処理により、各フレーム画像の撮影時における心臓の拍動の位相が検出される構成によれば、心電計６等といった特別な構成を設けることなく、簡単な構成で各フレーム画像の撮影時における心臓の周期的な動きが検出される。

但し、呼吸中肺動画像及び呼吸停止中肺動画像を用いた画像処理により、各フレーム画像の撮影時における心臓の拍動の位相が検出される構成では、動画像を撮影するいわゆるフレームレートが比較的小さな場合等では、心臓の最大拡張時と最大収縮時とを精度良く認識することが難しい傾向にある。このため、各フレーム画像の撮影時における心臓の周期的な動きの位相を精度良く検出する観点から言えば、上記実施形態で示したように、心臓の動きをコントロールしている電気の変化を検出して、各フレーム画像の撮影時における心臓の拍動の位相が検出される方が好ましい。

なお、呼吸停止中肺動画像を構成する複数の呼吸停止中フレーム画像が拡張時と収縮時とに分類されて並び替えられるのは、心臓の横幅だけで心臓の拍動の位相が判断されると、拡張時と収縮時との区別が付かなくなる不具合を回避するためである。

◎また、上記実施形態では、差分動画像が生成されたが、これに限られない。例えば、１つの呼吸中フレーム画像について、心臓の拍動の位相が略一致する１つの呼吸停止中フレーム画像が認識されて、その１つの呼吸中フレーム画像と１つの呼吸停止中フレーム画像とに基づき、１つの差分フレーム画像が生成されても良い。このような構成であっても、形状が変化する所定部位について、その所定部位以外に起因する変動成分を取り除いた画像が取得される。但し、所定部位の動きを視認して、より良い診断を行う観点から言えば、上記実施形態のように、差分動画像を生成する方が好ましい。

◎また、上記実施形態では、撮影対象である所定部位が肺であったが、これに限られない。例えば、撮影対象である所定部位が、鍵や筋などといった形状が変化する部位であっても良い。つまり、所定部位は、その所定部位を単に撮影しただけでは、所定部位の周辺に位置する血管を流れる血流等といった所定部位以外に起因する変動成分の影響を受けた画像が取得されてしまうような部位であれば良い。

◎また、上記実施形態では、人物の内蔵に含まれる所定部位が撮影対象であったが、これに限られず、撮影対象が、動物一般の内部を構成する部位であっても良い。

◎また、上記実施形態では、Ｘ線を用いた撮影によって所定部位の画像が取得されたが、これに限られない。例えば、核磁気共鳴画像法（ＭＲＩ）等を用いて所定部位の透過像が取得されても良い。

本発明の実施形態に係る画像取得システムの全体構成を例示する図である。本発明の実施形態に係る画像生成装置の機能構成を示すブロック図である。心電図の一部を例示する模式図である。呼吸停止中フレーム画像を例示する模式図である。心電図の一部を例示する模式図である。呼吸中フレーム画像を例示する模式図である。フレーム画像の対応付け方法を説明するための図である。フレーム画像の対応付け方法を説明するための図である。変動成分画像の生成方法を説明するための図である。変動成分画像の生成方法を説明するための図である。変動成分画像の生成方法を説明するための図である。変動成分画像の生成方法を説明するための図である。差分画像の生成を説明するための模式図である。本発明の変形例に係る画像取得システムの全体構成を例示する図である。本発明の変形例に係る画像生成装置の機能構成を示すブロック図である。画像に対する座標軸の設定状態を例示する図である。心臓の横幅の変動を例示する模式図である。呼吸停止中肺動画像に係る心臓の横幅の変動サイクルを例示する模式図である。呼吸停止中肺動画像に係る心臓の横幅の変動サイクルを例示する模式図である。呼吸停止中フレーム画像を拡張順と収縮順とに並び替えた図である。呼吸中肺動画像に係る心臓の横幅の変動サイクルを例示する模式図である。

符号の説明

１，１Ａ画像取得システム
２，２Ａ画像生成装置
５医療用画像撮影装置
６心電計
２１ＣＰＵ
２２ＲＡＭ
２３ＲＯＭ
２１１撮影制御部
２１２計測制御部
２１３画像取得部
２１３ａ第１画像取得部
２１３ｂ第２画像取得部
２１４心電図取得部
２１５，２１５Ａ位相検出部
２１６対応画像認識部
２１７変動成分画像生成部
２１８差分画像生成部
２１９記憶制御部
ＰＧ，ＰＧＡプログラム

Claims

動物の内部を構成する所定部位の形状が変化する状態を捉えた第１動画像を取得する第１取得手段と、
前記所定部位の形状の変化が停止した状態を捉えた第２動画像を取得する第２取得手段と、
前記第１動画像に含まれる複数の第１フレーム画像がそれぞれ撮影されたタイミングにおける前記動物の心臓の周期的な動きの位相と、前記第２動画像に含まれる複数の第２フレーム画像がそれぞれ撮影されたタイミングにおける前記心臓の周期的な動きの位相と、を検出する検出手段と、
前記検出手段による検出結果に応じて、前記心臓の周期的な動きの位相が略一致するタイミングにおいて撮影された前記第１フレーム画像と前記第２フレーム画像との組合せを認識する認識手段と、
前記組合せについて、前記第１フレーム画像の前記所定部位を捉えた第１領域に対し、前記第２フレーム画像の前記所定部位を捉えた第２領域が合致するように、前記第２領域を補正して変動成分画像を生成する第１生成手段と、
前記組合せについて、前記第１フレーム画像と前記変動成分画像との差分画像を生成する第２生成手段と、
を備えることを特徴とする画像生成装置。
請求項１に記載の画像生成装置であって、
前記認識手段が、
前記検出手段による検出結果に応じて、前記心臓の周期的な動きの位相が略一致するタイミングにおいて撮影された前記第１フレーム画像と前記第２フレーム画像との複数の組合せをそれぞれ認識し、
前記第１生成手段が、
各前記組合せについて、前記第１フレーム画像の前記所定部位を捉えた第１領域に対し、前記第２フレーム画像の前記所定部位を捉えた第２領域が合致するように、前記第２領域を補正して変動成分画像をそれぞれ生成し、
前記第２生成手段が、
各前記組合せについて、前記第１フレーム画像と前記変動成分画像との差分画像をそれぞれ生成することを特徴とする画像生成装置。
請求項１又は請求項２に記載の画像生成装置であって、
前記所定部位が、肺を含むことを特徴とする画像生成装置。
請求項１から請求項３の何れかに記載の画像生成装置であって、
前記第１生成手段が、
前記第１領域に対して、前記第２領域が合致するように、前記第２領域のみを補正して前記変動成分画像を生成することを特徴とする画像生成装置。
請求項１から請求項４の何れかに記載の画像生成装置であって、
前記検出手段が、
前記心臓の動きをコントロールしている電気の変化を用いて前記心臓の周期的な動きの位相を検出することを特徴とする画像生成装置。
請求項１から請求項４の何れかに記載の画像生成装置であって、
前記第１及び第２動画像が、
それぞれ前記心臓を含む領域を捉えた動画像であり、
前記検出手段が、
前記第１及び第２動画像で捉えられた心臓の形状の変化に基づき、前記心臓の周期的な動きの位相を検出することを特徴とする画像生成装置。
画像生成装置に含まれるコンピュータによって実行されることにより、前記画像生成装置を、請求項１から請求項６の何れかに記載の画像生成装置として機能させるプログラム。
動物の内部を構成する所定部位の形状が変化する状態を捉えた第１動画像を取得する第１取得工程と、
前記所定部位の形状の変化が停止した状態を捉えた第２動画像を取得する第２取得工程と、
前記第１動画像に含まれる複数の第１フレーム画像がそれぞれ撮影されたタイミングにおける前記動物の心臓の周期的な動きの位相と、前記第２動画像に含まれる複数の第２フレーム画像がそれぞれ撮影されたタイミングにおける前記心臓の周期的な動きの位相と、を検出する検出工程と、
前記検出工程における検出結果に応じて、前記心臓の周期的な動きの位相が略一致するタイミングにおいて撮影された前記第１フレーム画像と前記第２フレーム画像との組合せを認識する認識工程と、
前記組合せについて、前記第１フレーム画像の前記所定部位を捉えた第１領域に対し、前記第２フレーム画像の前記所定部位を捉えた第２領域が合致するように、前記第２領域を補正して変動成分画像を生成する第１生成工程と、
前記組合せについて、前記第１フレーム画像と前記変動成分画像との差分画像を生成する第２生成工程と、
を備えることを特徴とする画像生成方法。