<1.放射線動態画像撮影システムの全体構成>
本発明の実施の形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の放射線画像の撮影を行い、撮影された放射線画像から対象領域(所定領域)の抽出を行う。以下の各実施形態では、対象領域を肺野領域として説明する。
図1は、本発明の一実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図1に示すように、放射線動態画像撮影システム100(100A,100B,100B’,100C〜100I)は、撮影装置1と、撮影制御装置2(撮影用コンソール)と、画像処理装置3(3A,3B,3B’,3C〜3I)(診断用コンソール)と、心電計4とを備える。撮影装置1及び心電計4と、撮影制御装置2とが通信ケーブル等により接続され、撮影制御装置2と、画像処理装置3(3A,3B,3B’,3C〜3I)とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線動態画像撮影システム100(100A,100B,100B’,100C〜100I)を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
<1−1.撮影装置1の構成>
撮影装置1は、例えば、X線撮影装置等によって構成され、呼吸に伴う被写体OBの胸部の動態を撮影する装置である。動態撮影は、被写体OBの胸部に対し、X線等の放射線を繰り返して照射しつつ、時間順時に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像(動画像)と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
図1に示すように、撮影装置1は、照射部(放射線源)11と、放射線照射制御装置12と、撮像部(放射線検出部)13と、読取制御装置14と、サイクル検出部15と、サイクル検出装置16とを備えて構成されている。
照射部11は、放射線照射制御装置12の制御に従って、被写体OBに対し放射線(X線)を照射する。図示例は人体用のシステムであり、被写体OBは検査対象者に相当する。以下では被写体OBを「被検者」とも呼ぶ。
放射線照射制御装置12は、撮影制御装置2に接続されており、撮影制御装置2から入力された放射線照射条件に基づいて照射部11を制御して放射線撮影を行う。
撮像部13は、FPD等の半導体イメージセンサにより構成され、照射部11から照射されて被検者OBを透過した放射線を電気信号(画像情報)に変換する。
読取制御装置14は、撮影制御装置2に接続されている。読取制御装置14は、撮影制御装置2から入力された画像読取条件に基づいて撮像部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部13に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置14は、取得した画像データ(フレーム画像)を撮影制御装置2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルスレートと一致している。
ここで、放射線照射制御装置12と読取制御装置14とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
サイクル検出部15は、被検者OBの呼吸サイクルを検出して撮影制御装置2の制御部21に出力する。また、サイクル検出部15は、被検者OBの呼吸サイクルを検出するサイクル検出センサ(不図示)と、サイクル検出センサにより検出された呼吸サイクルの時間を測定し制御部21に出力する計時部(不図示)とを備える。
<1−2.撮影制御装置2の構成>
撮影制御装置2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
図1に示すように、撮影制御装置2は、制御部21と、記憶部22と、操作部23と、表示部24と、通信部25とを備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)やRAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置2各部の動作や、撮影装置1の動作を集中制御する。
記憶部22は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、カラーLCD(Liquid Crystal Display)等のモニタにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプタやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−3.画像処理装置3(3A,3B,3B’,3C〜3I)の構成>
画像処理装置3(3A,3B,3B’,3C〜3I)は、撮像装置1から送信された動態画像を、撮影制御装置2を介して取得し、医師等が読影診断するための画像を表示する。
図1に示すように、画像処理装置3(3A,3B,3B’,3C〜3I)は、制御部31(3A,3B,3B’,3C〜3I)と、記憶部32と、操作部33と、表示部34と、通信部35とを備えて構成され、各部はバス36により接続されている。
制御部31(31A,31B,31B’,31C〜31I)は、CPU、RAM等により構成される。制御部31(31A,31B,31B’,31C〜31I)のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像処理装置3(3A,3B,3B’,3C〜3I)各部の動作を集中制御する(詳細は後述する)。
記憶部32は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部32は、制御部31で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部32は、後述する画像生成処理を実行するための画像生成処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31(31A,31B,31B’,31C〜31I)は、当該プログラムコードに従った動作を逐次実行する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部31(31A,31B,31B’,31C〜31I)に出力する。
表示部34は、カラーLCD等のモニタにより構成され、制御部31(31A,31B,31B’,31C〜31I)から入力される表示信号の指示に従って、操作部33からの入力指示、データ、及び、後述する表示用画像を表示する。
通信部35は、LANアダプタやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−4.心電計4の構成>
図1では心電計4は被検者OBとは離れて示されているが、実際には心電計4の各電極端子は被検者OBに装着されており、被検者OBの心電波形をデジタル信号として出力する。
図1に示すように、心電計4は、位相検出部41を備えて構成され、位相検出部41は、制御部21のCPUからの制御信号に応答して、撮影装置1による撮影動作を同期させるための基礎情報として、被写体OBの心拍の位相を検出する。
<2.第1実施形態>
本発明の第1実施形態における放射線動態画像撮影システム100の画像処理装置3は、撮影した動画像に対して被検者OBの肺野領域の抽出処理を時間方向に順次行う。
以下では、画像処理装置3で実現される機能的な構成について説明する。
<2−1.画像処理装置3の機能構成>
図2は、放射線動態画像撮影システム100における画像処理装置3において、CPU等が各種プログラムに従って動作することにより制御部31で実現される機能構成を他の構成とともに示す図である。この実施形態の画像処理装置3は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
制御部31は、主に、動画像取得部110と、形状モデルフィッティング部120と、形状モデル制御部130と、対象領域抽出部140と、から構成される。
以下では、図2で示されたような制御部31の機能的な構成が、あらかじめインストールされたプログラムの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
以降、動画像取得部110、形状モデルフィッティング部120、形状モデル制御部130、及び、対象領域抽出部140が行う各処理についての具体的内容を、図2を参照しながら順次説明する。
<2−1−1.動画像取得部110>
動画像取得部110では、撮像装置1の読取制御装置14によって撮影された人体または動物の内部における肺野領域(所定領域)の物理的状態が時間変化する状態を時間方向に順次に捉えた動画像を取得する。ここでいう「物理的状態」という用語は、肺野領域の幾何学的形状を指すほか、血流の濃度(血流の有無)などをも包含した意味で用いている。
なお、図2は、撮像装置1と画像処理装置3との間に、撮影制御装置2が介在し、撮影制御装置2の記憶部22に記憶された検出データが通信部25を介して、画像処理装置3の通信部35に出力される。
図3は、呼吸に伴う被検者OBの胸部の動態に対し、放射線動態画像撮影によって撮影した動画像を例示する図である。図3で示されるように、動画像取得部110により取得されたフレーム画像G1〜G10は、呼吸サイクルの1周期を一定の撮影タイミングで連続撮影されたものである。具体的には、時刻 t=t1, t2, t3, …, t10 の撮影タイミングにおいて撮影された画像が、フレーム画像G1,G2,G3,…,G10にそれぞれ対応している。
しかしながら、このように取得された動画像は、静止画像と比較して低線量であるため、ノイズが多く画像が不鮮明画像であり、肺野領域の抽出精度と安定性に対する課題がある。また、肺野領域が時空間的に形状変化する動画像は撮影枚数も多いことから、肺野領域の抽出速度の向上が望まれている。
そこで、本発明では、動画像に含まれるフレーム画像Gに対して、肺野領域の境界を表現した形状モデルを時間方向に変更する以下の処理を行うことで、安定的且つ高速に抽出精度の向上を実現するようにする。
<2−1−2.形状モデルフィッティング部120>
形状モデルフィッティング部120では、動画像取得部110において取得される動画像に含まれる複数枚のフレーム画像Gを順次取得し、フレーム画像Gに対して、肺野領域の大局的な形状を表現した形状モデルをフィッティングさせるフィッティング処理を行うことにより、当該フレーム画像G上における肺野領域の境界を近似するフィッティング関数を決定し、当該フィッティング関数を少なくとも反映させた肺野領域境界情報(所定領域境界情報)を順次得る。
ここでいう「フィッティング関数」は、所定数の関数から構成され、「形状モデル」は、フィッティング関数を決定するためのモデルであり、(A)当該所定数、(B)当該関数毎の次数の許容範囲、(C)フレーム画像G上における当該関数毎のフィッティング適用範囲のうち、少なくとも1つの情報を含む。
本実施形態におけるフィッティング処理では、後述の境界線付フレーム画像を順次出力し、肺野領域境界情報を「境界線付フレーム画像」として説明する。
また、肺野領域境界情報は、肺野領域に近接する横隔膜領域、心臓領域等の肺野領域近接領域(所定領域近接領域)が存在する場合において、肺野領域と該肺野領域近接領域との境界部分が考慮されることが好ましい。本実施形態において、肺野領域近接領域として、横隔膜領域、心臓領域、及び、大動脈領域を想定している。
図4は、肺野領域近接領域を例示する図であり、図4(a)は肺野領域近接領域に相当する心臓領域の境界P1を示す図であり、図4(b)は肺野領域近接領域に相当する大動脈領域の境界P2及び横隔膜領域の境界P3,P4を示す図である。図4で示されるように、肺野領域の形状モデルを決定するにあたって、心臓領域の境界P1、大動脈領域の境界P2及び横隔膜領域の境界P3,P4等といった肺野領域近接領域の当該境界部分を考慮してフィッティング関数を求める。
図5は、肺野領域のフィッティング関数Fの特徴を説明する図である。すなわち、図5におけるフィッティング関数Fでは、上記の所定数の関数fとして、13の関数fから構成された例を示す。図5で示されるように、肺野領域のような幾何学的形状においても関数f1〜f13を用いると、より近似的に表現することが可能となる。
このように、フィッティング関数Fは、曲線及び直線のみならず、スプライン曲線のように複数曲線で構成されてもよく、それぞれの関数fの次数で表現される。
また、図5の例におけるフィッティング関数Fを決定した形状モデルM(図2参照)は、上記(A)では13、上記(B)では13の関数f毎の次数の許容範囲、上記(C)ではフレーム画像G上における13の関数f毎のフィッティング適用範囲のうち、少なくとも1つの情報となる。
上記(A)の13の関数fのうちの1つの関数fを例にして、形状モデルMの概略を説明する。例えば、図4の境界P3の領域における形状モデルMは、上記(A)が1つの関数fであり、上記(B)が当該1の関数fが2次関数であり、上記(C)のフィッティング適用範囲が領域R3という情報をもつ。そして、この形状モデルMを用いて境界P3の領域のフィッティング処理を行うことでフィッティング関数Fは、関数f1(図5参照)と決定される。
また、図4の境界P4の領域における形状モデルMも同様に、上記(A)が1つの関数fであり、上記(B)が当該1の関数fが2次〜3次関数であり、上記(C)のフィッティング適用範囲が領域R4という情報をもつ。そして、この形状モデルMを用いて境界P4の領域のフィッティング処理を行うことでフィッティング関数Fは、関数f7(図5参照)と決定される。
このように、境界P3やP4と同様の情報が、抽出対象となる全ての境界領域に存在し、形状モデルMが構成されている。
具体的に、各関数fは、例えばX,Y座標系における多項式の関数で表現できる。多項式の関数とは、Xを変数とするY=aX^n+bX^(n-1)+…の式、またはYを変数とするX=aY^n+bY^(n-1)+…の式であり、係数a,b,….の最適な値を見つけることで、フレーム画像Gにフィッティングさせることができる。また、XとYとは同時変数とすることで楕円形の関数などにしてもよい。
そして、各関数fは、例えば、X、Yのどちらを変数とする関数であるか、この多項式の最大次数の値(上述の式ではnに相当する)、該当する関数は座標上のどの範囲に出現するか、といった情報で表現される。
また、実際に各関数fを算出するには、後述の2値の領域情報やエッジに対し肺野領域の境界となる点をX=x1〜xnまで探索してゆくことで、(x1,y1),(x2,y2)…(xn,yn)の座標配列を取得し、この座標配列に最も近似する係数値a,b,….を見つけることで、関数を算出することができる。最も近似するとは、例えば最小二乗法などを使うことで、判断することができる。
このように、形状モデルフィッティング部120では、形状モデルMのフィッティング処理を行い、フレーム画像Gに決定したフィッティング関数(すなわち、境界線)Fを付した境界線付フレーム画像GF(図5参照)を順次得る。すなわち、決定したフィッティング関数(境界線)Fとは、上述のように例えば、最小二乗法などを用いてフィッティングされた関数をいう。
続いて、形状モデルフィッティング部120が行う処理について説明する。すなわち、形状モデルフィッティング部120は、フレーム画像Gの画像情報から所定の方法を用いて肺野領域の境界と予想される境界候補情報を抽出する処理、を更に行う。そして、フィッティング処理では、該境界候補情報に基づいて、フィッティング関数Fを決定する処理が行われる。
図6は、形状モデルフィッティング部120によるフィッティング処理方法について説明する図であり、図6(a)は、肺野領域か否かの画像情報(0/1の領域情報)に対するフィッティング処理を示し、図6(b)は、画像濃度情報に対する直接的なフィッティング処理を示す。
図6(a)で示されるように、2値情報で分類されるドットで示した領域IR(“1”の領域)とそれ以外の領域(“0”の領域)情報(境界候補情報)に対して形状モデルMのフィッティング処理を行う(フィッティング関数Fを求める)と、形状モデルMは抽出領域を補正する効果や滑らかになって求められる。これは、本来の形状モデルMと異なる領域IRの凹凸部分IRbをノイズと考え、ノイズ部を滑らかにしてフィッティング関数Fを求めるため、精度向上や安定化を図ることが可能となり、肺野領域の抽出のミスを補う処理が可能となる。画像から0/1の領域情報を抽出する領域抽出方法としては、領域拡張法(Region growing)やグラフカット(Graph Cut)(例えば、"Fast Apporoximate Energy Minimization via Graph Cuts.",Y.Boykov,O. Veksler,R. Zabih. IEEE Transactions on Pattern Analysis and Machine Intelligence 23:1222-1239:2001.等参照)などを用いることが可能である。
一方、多値の画像濃度情報(境界候補情報)から直接形状モデルMのフィッティング処理を行う手法もある。図6(b)で例示されるように、関数f7は、画像濃度から肺野領域の輪郭を抽出するためにエッジ判定を行いながらフィッティング処理が行われる。画像から肺野領域の輪郭を抽出するためにエッジを情報とする抽出手法としては、スネーク(Snakes)(例えば、" Snakes: Active contour models.", M.Kass, A.Witkin, and D.Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988.等参照)等の動的輪郭モデル(Active Contour Model)を用いた手法を用いることが可能である。
以上のように、肺野領域近接領域として、横隔膜領域、心臓領域、及び、大動脈領域といった相対的に時間変動量の大きい領域を考慮して、形状モデルMのフィッティング処理を実施することができ、肺野領域においてより適切な形状モデルMをフィッティングさせることが可能となる。
<2−1−3.形状モデル制御部130>
続いて、形状モデル制御部130は、フレーム画像Gに対するフィッティング処理に用いる形状モデルMを時間方向に沿って順次変更する形状モデル変更処理を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
ここで言う「形状モデル変更処理」とは、(a)所定数の関数を増減させる処理と、(b)当該所定数の関数のうち、少なくとも1つの関数の次数の許容範囲を変更する処理と、(c)所定数の関数のうち、少なくとも1つの関数のフィッティング適用範囲を変更する処理と、の少なくとも1つの処理を含む。また、これら(a)〜(c)の処理は、上記の境界候補情報に基づいて行われることが好ましい。
例えば、図5の決定されたフィッティング関数Fに基づいて次フレーム画像Gの形状モデルMを変更する場合について形状モデル変更処理を説明すると、上記(a)では13個の関数f1〜f13を増減させることが可能となる。また、当該13の関数f1〜f13のうち、(b)では少なくとも1つの関数fの次数を変更でき、(c)では少なくとも1つの関数fのフィッティング適用範囲を変更することが可能となる。
形状モデル制御部130は、時間的に大幅に形状モデルMを変えないだけでなく、フィッティング関数F自体の時間的な移動も少なく且つ滑らかに描かれることが望ましい。ただし、心拍による心臓の動きなどにおいて、fps(frame per second)不足の撮影であった場合には、2つのフレーム画像G間で急激に関数変化があるため、領域に応じて滑らかにする処理が必要となる。胸部X線動画像の中では、とりわけ、体動、呼吸、心拍の3つの動きが想定される。領域ごとに3つの原因による急激な動きの上限値を予め保持し、想定内の動きのみを許容することが望ましい。例えば、想定外の動きは外れ値として除外し、対象のフレーム画像Gの前後のフレーム画像Gから補間値を求めることで実現できる。また、呼吸や心拍などは周期的にあるパターンで動くため、周期的な動きのみを許容することが望ましい。
<2−1−4.対象領域抽出部140>
対象領域抽出部140では、フィッティング処理が行われた境界線付フレーム画像GFを形状モデルフィッティング部120から順次取得し、記憶部32へ記憶する。
<2−2.画像処理装置3の基本動作>
図7は、第1実施形態に係る画像処理装置3において実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため(図2参照)、ここでは全体の流れのみ説明する。
図7に示すように、まず、ステップS11において、制御部31の動画像取得部110が、撮像装置1の読取制御装置14によって撮影された動画像を、撮影制御装置2を介して取得する。
ステップS12では、形状モデルフィッティング部120が、ステップS11において取得された動画像におけるフレーム画像Gに対して、境界候補情報(0/1の領域情報(図6(a)参照)または画像濃度情報(図6(b)参照))に基づいて、形状モデルMのフィッティング処理を行うことで、境界線付フレーム画像GF(図5参照)を得て、当該境界線付フレーム画像GFを対象領域抽出部140に出力する。
ステップS13では、制御部31が、全てのフレーム画像Gにおいてフィッティング処理を実施したか否かを判定し、未処理がある場合にはステップS14に移り、未処理がない場合には本動作フローが終了される。
ステップS14では、形状モデル制御部130が、境界線付フレーム画像GFの取得に用いた形状モデルMを変更して、変更した形状モデルMを次フレーム画像Gにフィッティングさせるよう形状モデルフィッティング部120に指令を与え、ステップS12に移る。
そして、ステップS12においては、形状モデルフィッティング部120が、ステップS14において変更された形状モデルMを用いて新たに入力され、フレーム画像Gに対してフィッティング処理を行う。
このように、全てのフレーム画像Gにおけるフィッティング処理が終了されるまで、ステップS12〜ステップS14の工程が繰り返され、全てのフレーム画像Gにおいてフィッティング処理が終了された後、本動作フローが終了される。
以上のように第1実施形態に係る画像処理装置3では、形状モデル制御部130が、フレーム画像Gに対するフィッティング処理に用いる形状モデルMを時間方向に沿って順次変更する形状モデル変更処理を実施する。このため、時間方向で肺野領域の形状が変化することに対応して、形状モデルMを変更することが可能となる。これにより、安定的且つ高速に境界線付フレーム画像GF(肺野領域境界情報)を得ることができるため、肺野領域の抽出精度の向上を実現することが可能となる。
また、フィッティング関数Fは、所定数の関数fから構成されることにより、フィッティング関数Fは肺野領域の局所的な形状を表現することができ、肺野領域の抽出精度の向上を可能とする(図5)。
また、形状モデルMは、フィッティング関数Fを決定するためのモデルであり、当該所定数及び当該関数f毎の次数の許容範囲のうち、少なくとも1つの情報を含む。これにより、フィッティング関数Fを求めるにあたっての制約条件を与えることが可能となる。このため、肺野領域の境界を近似的に表現することが可能なフィッティング関数Fを早期かつ適切に決定することができる。
また、形状モデルMは、フレーム画像G上における関数f毎のフィッティング適用範囲の情報を更に含む。これにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現することが可能なフィッティング関数Fを早期かつ適切に決定することができる。このため、肺野領域の抽出精度がより向上する。
また、形状モデル変更処理は、(a)所定数の関数fを増減させる処理と、(b)所定数の関数fのうち、少なくとも1つの関数fの次数の許容範囲を変更する処理と、(c)所定数の関数fのうち、少なくとも1つの関数fのフィッティング適用範囲を変更する処理と、のうち、少なくとも1つの処理を含む。これにより、時間方向で肺野領域の形状あるいは位置が著しく変化した場合においても十分対応することが可能となる。このため、所定領域の抽出精度がより向上する。
また、フィッティング処理は、境界候補情報に基づいて、フィッティング関数Fを決定する処理を含む。これにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現することが可能なフィッティング関数Fをより早期かつ適切に決定することができる。このため、肺野領域の抽出精度が更に向上する。
さらに、形状モデル変更処理は、境界候補情報に基づいて、上記(a)〜(c)のうち、少なくとも1つの処理、を含む。これにより、時間方向で肺野領域の形状あるいは位置が著しく変化した場合においても、境界候補情報を考慮することができるため、フィッティング処理の誤りを防止できる。このため、より安定的且つ高速にフィッティング結果を得ることが可能となる。
<3.第2実施形態>
図8は、本発明の第2実施形態として構成された画像処理装置3A(図1参照)で用いられる制御部31Aの機能構成を示す図である。この制御部31Aは、第1実施形態の画像処理装置3における制御部31(図2参照)の代替として使用される。第1実施形態と異なる点は、第1実施形態の形状モデル制御部130に対応する形状モデル制御部130Aが制約条件記憶部135Aを備える点である。なお、残余の構成は画像処理装置3と同様である。
<3−1.制約条件記憶部135A>
制約条件記憶部135Aでは、形状モデル変更処理に用いる予め定めた規則や順序といった制約条件を記憶する。そして、形状モデル制御部130Aが、当該制約条件に基づいて形状モデル変更処理を行う。
すなわち、時間方向で大幅に形状モデルMが変更される確率は低いため、次フレーム画像Gの形状モデルMの判断においては、前フレーム画像Gにおける形状モデルMを維持する制約条件を設けるほか、関数fに関する個数の増減を「±1」に予め限定する制約条件や、各関数fの次数の増減を「±1」に予め限定する制約条件を記憶しておくことで、安定した形状モデルMの変更を行うことができる。
<3−2.画像処理装置3Aの基本動作>
続いて、図9は、第2実施形態に係る画像処理装置3Aの動作フローを例示した図である。なお、図9のうち、ステップS21〜S23は図7のステップS11〜S13と同様であるため、その説明は省略する。
この第2実施形態では、第1実施形態では存在しなかった制約条件記憶部135Aが付加されたことで、下記の工程のみが変更される。
すなわち、第1実施形態と同様の工程として、ステップS21〜ステップS23を経て、図9で示されるように、ステップS24にて、形状モデル制御部130Aが、境界線付フレーム画像GFに付された境界線(フィッティング関数F)を制約条件記憶部135Aに記憶された予め定めた規則や順序に基づいて変更して、変更した形状モデルMを次フレーム画像Gにフィッティングさせるよう形状モデルフィッティング部120に指令を与え、ステップS22に移る。そして、残余の工程は第1実施形態と同様となる。
以上のように第2実施形態に係る画像処理装置3Aでは、予め定めた規則や順序を記憶した制約条件に基づいて形状モデルMを変更することにより、形状モデルMの変更において所定の制約をかけることができ、より安定的に所望の形状モデルMの変更を誘導することが可能となる。
<4.第3実施形態>
図10及び図11は、本発明の第3実施形態として構成された画像処理装置3B,3B’(図1参照)で用いられる制御部31B,31B’の機能構成を示す図である。この制御部31B,31B’は、第1実施形態の画像処理装置3における制御部31(図2参照)の代替として使用される。第1実施形態と異なる点は、時間変化検出部115B,115B’をさらに備え、時間変化検出部115B,115B’の出力結果を形状モデル制御部130B,130B’が受ける点である。なお、残余の構成は画像処理装置3と同様である。
<4−1.時間変化検出部115B,115B’>
間変化検出部115B,115B’では、フレーム画像Gに同期した肺野領域の周期的な時間変化を検出して時間変化情報Tを取得する(図10及び図11参照)。時間変化情報Tとは、肺野領域において相対的に時間変動量が大きい領域の周期的な時間変化である。ここでは、とりわけ呼吸周期変化および心拍周期変化を例に挙げて説明する。
以下では、心拍周期変化及び呼吸周期変化についての算出方法を説明する。
<4−1−1.第1の心拍情報検出方法:心電計の検出結果>
第1の心拍情報検出方法として、図10で示されるように時間変化検出部115Bでは、心電計4の位相検出部41から取得された結果を用いる。すなわち、時間変化検出部115Bは、外部より心拍周期変化が取得されるように構成される。図12は、被検者OBの心電図波形の1周期を例示する図である。なお、図12では、横軸が時刻、縦軸が電気信号の大きさ(電圧)を示しており、いわゆるP波、Q波、R波、S波、T波及びU波の形状をそれぞれ示す曲線Pp,Qp,Rp,Sp,Tp及びUpを含む電気信号の変化を示す曲線が示されている。
そこで、時間変化検出部115Bでは、位相検出部41から取得された検出結果に基づいて、上記の点(Pp,Qp,Rp,Sp,Tp及びUp)を検出することで、心拍周期変化を取得する。
なお、位相検出部41による検出動作は撮像装置1による撮像動作と同期して行われる(図1参照)。
このように、時間変化検出部115Bでは、外部より心拍周期変化が取得されることにより、心臓の周期的な時間変化を自動的に取得することが可能となる。
<4−1−2.第2の心拍情報検出方法:心臓壁の動き量>
一方、第2の心拍情報検出方法として、図11で示されるように時間変化検出部115B’では、動画像取得部110によって取得された撮影画像を用いて、心臓壁の動き量を算出することで、心拍情報とする。すなわち、時間変化検出部115B’は、動画像で捉えられた心臓壁の変動に基づき心拍周期を検出後、形状モデル制御部130B’に出力する(図11参照)。詳細には、動画像から心臓壁の変動が検出されることで、各フレーム画像が撮影されたタイミングにおける心臓の拍動の位相が検出される。したがって、心臓壁が心臓の拍動の位相として検出される。
図13は、動画像で捉えられた心臓壁の変動を例示する模式図である。図13で示されるように、心臓壁HLの変動の一例として、心臓の横幅の変動を採用する。図13(a)〜図13(c)では、心臓が拡張していく過程で、心臓の横幅がw1からw3へと大きくなっていく状態が例示されている。
そこで、時間変化検出部115B’では、各フレーム画像から、心臓の横幅を検出することで、心拍周期を検出する。具体的に、心臓の横幅を検出する手法としては、例えば、心臓の輪郭を検出して行う手法等が挙げられる。そして、この心臓の輪郭を検出する手法としては、種々の公知の手法を採用することができ、例えば、心臓の形状を示すモデル(心臓モデル)を用いて、X線画像中の特徴点と、心臓モデルの特徴点とを合わせて行くことで、心臓の輪郭を検出する手法(例えば、"Image feature analysis and computer-aided diagnosis in digital radiography: Automated analysis of sizes of heart and lung in chest images", Nobuyuki Nakamori et al., Medical Physics, Volume 17, Issue 3, May,1990, pp.342-350.等参照)等を採用することができる。
図14は、動画像を構成する複数のフレーム画像について、撮影された時刻と心臓の横幅との関係を例示する模式図である。図14では、横軸が時刻、縦軸が心臓の横幅を示し、丸印が検出された心臓の横幅の値を示している。
ここで、時刻tで捉えられた心臓の横幅をHwt、時刻t+1で捉えられた心臓の横幅をHwt+1とし、(Hwt+1−Hwt)≧0が成立する場合には、時刻tで捉えられたフレーム画像が心臓の拡張時に分類され、(Hwt+1−Hwt)<0が成立する場合には、時刻tで捉えられたフレーム画像が心臓の収縮時に分類される。
このように、心臓の横幅、すなわち、心臓壁HLの変動を検出することで、心臓の拡張時および収縮時が分類できるため、心臓の拍動の位相を検出することが可能となる。
以上のように、時間変化検出部115B’では、動画像で捉えられた心臓壁の動きに基づき、心拍周期を検出することで、心拍周期を自動的に取得可能である。
なお、第2の心拍情報検出方法は、第1の心拍情報検出方法と比較して間接的に心拍周期を検出するため、ノイズ成分も含まれやすいと予想される。そこで、時間変化検出部115B’では、動画像で捉えられた心臓壁HLの動きに基づき、周波数解析等を用いて心拍周期を検出することが好ましい。
<4−1−3.第1の呼吸情報検出方法:別機器による計測結果>
第1の呼吸情報検出方法として、別機器による計測結果を用いる(図10参照)。すなわち、時間変化検出部115Bは、外部より呼吸周期が設定可能に構成される。別機器により計測する方法としては、例えば、特許第3793102号に記載されているような装置を用いることができる。また、レーザー光とCCDカメラで構成されたセンサによるモニタリングにより実施する手法(例えば、"FG視覚センサを用いた就寝者の呼吸モニタリングに関する検討",青木 広宙,中島 真人,電子情報通信学会ソサイエティ大会講演論文集 2001年.情報・システムソサイエティ大会講演論文集, 320-321, 2001-08-29.等参照)等を採用することもできる。
なお、本実施形態では、図10で示される時間変化検出部115Bのように、サイクル検出装置16のサイクル検出部15が利用可能である。
このように、時間変化検出部115Bでは、外部より呼吸周期が取得されることにより、横隔膜の周期的な時間変化を自動的に取得可能である。
<4−1−4.第2の呼吸情報検出方法:面積値または特徴点間距離>
一方、第2の呼吸情報検出方法として、図11で示されるように時間変化検出部115B’では、動画像取得部110によって取得された撮影画像を用いて、肺野部の面積値あるいは特徴点間距離を算出することで、呼吸情報とする。すなわち、時間変化検出部115B’は、動画像で捉えられた肺野領域の面積値あるいは特徴点間距離の変化に基づき、呼吸周期を検出後、形状モデル制御部130B’に出力する(図11参照)。肺野部の面積の求め方は、肺野部の輪郭抽出を行い、輪郭に囲まれた領域の画素数を肺野領域として定義することが可能である。
図15は、肺野部の輪郭抽出を例示する模式図である。肺野部の抽出は、図15で示すように、左右ごとに抽出しても、心臓や脊椎の領域を含んだ輪郭として抽出してもよい。抽出方法としては、従来技術(例えば、"Image feature analysis and computer-aided diagnosis: Accurate determination of ribcage boundary in chest radiographs”, Xin-Wei Xu and Kunio Doi, Medical Physics, Volume 22(5), May 1995, pp.617-626.等参照)等を採用することができる。
このように、時間変化検出部115B’では、取得された撮影画像を用いて、肺野部の輪郭OLの抽出を実施し、抽出された領域内のピクセル数を特徴量として、該特徴量を肺野領域の面積として検出する。
また、第2の呼吸情報検出方法としては、撮影画像を用いて、肺野領域の特徴点間の距離を算出し、呼吸情報とすることも可能である。すなわち、肺野部の抽出を上記方法と同様に実施し、抽出された領域から、特徴点2点を求め、その2点間の距離を求めることで特徴量を算出する。
図16は、肺野領域の特徴点の位置を例示した図である。肺領域の上端LTから下端LBまでの長さ(肺野長)の変化を算出する場合、図16(a)では、肺尖部を肺領域の上端LTとし、肺尖部から体軸方向におろした直線と横隔膜との交点を肺領域の下端LBとして抽出した例であり、図16(b)では、肺尖部を肺領域の上端LTとし、肋横角を肺領域の下端LBとして抽出した例である。
図17は、時間変化検出部115B’において検出された呼吸情報の波形データを時系列で示した模式図であり、肺野領域の面積値あるいは特徴点間距離といった特徴量を算出し、時間方向にモニタリングした結果となる。図17で示されるように、呼吸の周期(呼吸サイクル)Bの1周期は、吸気と呼気とから構成され、1回の呼気と1回の吸気からなる。吸気では、横隔膜が下がって息が吸い込まれるに連れて胸郭中の肺野の領域が大きくなる。息を最大限に吸い込んだとき(吸気と呼気の変換点)が最大吸気時B1である。呼気では、横隔膜が上がって息が吐き出されるに連れて肺野の領域が小さくなるが、息を最大限に排出したとき(呼気と吸気の変換点)が最大呼気時B2となる。
以上のように、時間変化検出部115B’では、動画像で捉えられた肺野領域の面積値あるいは特徴点間距離の時間的変化に基づき、呼吸周期を検出するため、呼吸周期を自動的に取得可能である。
また、第2の呼吸情報検出方法は、第1の呼吸情報検出方法と比較して間接的に呼吸周期を検出するため、ノイズ成分も含まれやすいと予想される。そこで、時間変化検出部115B’では、動画像で捉えられた肺野領域の面積値あるいは特徴点間距離の時間的変化に基づき、周波数解析等を用いて呼吸周期を検出することが好ましい。
<4−2.形状モデル制御部130B,130B’>
制御部31B,31B’が時間変化検出部115B,115B’を備えるため、形状モデル制御部130B,130B’では、時間変化検出部115B,115B’から出力される呼吸周期変化および心拍周期変化に基づいて形状モデル変更処理を行う。
以下では、呼吸周期変化に基づいて形状モデル変更処理を行う例を説明する。図18は、呼吸周期変化に基づく関数f(形状モデルM)の変更ルールについて説明する模式図である。図18(a)〜図18(c)では、呼吸周期変化に対応してフレーム画像Gの画像の見え方が異なることを示した図であり、図18(d)では、フレーム画像Gの画像の見え方が異なることを考慮した関数fの次数の設定ルールを説明する図である。なお、各フレーム画像Gにおける関数fの次数は、画像上でエッジ検出を実施した後決定される。
図18(a)で示されるフレーム画像Gaは、呼吸周期変化において呼気に対応しており、肺野領域近接領域に相当する横隔膜領域の境界P4は、画像上隠れてしまう傾向にある。したがって、関数f71の設定は、関数なしとして定義される(図18(d)参照)。
図18(b)で示されるフレーム画像Gbは、呼吸周期変化において呼気と吸気の中間の位置に対応しており、肺野領域近接領域に相当する横隔膜領域の境界P4は、画像上、直線または曲線として見える傾向にある。したがって、関数f72の設定では1次関数または2次関数として定義される(図18(d)参照)。
図18(c)で示されるフレーム画像Gcは、呼吸周期変化において吸気に対応しており、肺野領域近接領域に相当する横隔膜領域の境界P4は、画像上、S字曲線として見える傾向になる。したがって、関数f73の設定では3次関数として定義される(図18(d)参照)。
以上のように、呼吸位相に対して横隔膜は、吸気で次数増、呼気で次数減の変化をしてゆくため、位相に対応して形状モデルMの変更先を予め限定したルールとすることが好ましい。つまり、吸気位相では肺が膨張して肋横角の形がよく見える状態に近づくため、横隔膜の関数の次数が増える方向に遷移するようにルール化する。逆に、呼気位相では肺が収縮して他の臓器に隠れていくため、次数が減る方向に遷移するよう、ルール化する(図18(d)参照)。このようにルール化することで、フレーム画像Gが呼気か吸気かの何れに位置するかがわかれば、形状モデルMの変更処理を変えることができるため、呼吸周期変化に基づいて形状モデル変更処理を行うことが可能となる。
また、横隔膜の隠れなど呼吸周期変化だけでなく、心拍位相による心臓形状の変化(図13及び図14参照)や大動脈の隠れによる変化などにおいても、予め限定したルール化を行い、当該ルールに従って形状モデル変更処理を行うことが可能となる。
また、上記処理(c)におけるフィッティング適用範囲を狭く変更する場合において、形状モデル制御手段130B,130B’では、形状モデル変更処理において、上記処理(a)として所定数の関数fを減らす処理と、上記処理(b)として所定数の関数fのうち、フィッティング適用範囲を狭くする関数fにおいては当該関数fの次数の許容範囲の上限を下げる処理と、が行われる。
すなわち、境界候補情報に応じて上記(a)〜(c)の処理内容が決定されるため、境界候補情報が減少するときは、上記処理(a)では関数の数を減らす処理、上記処理(b)では関数の次数の許容範囲の上限を下げる処理、上記処理(c)ではフィッティング適用範囲を狭くする処理、のうち、少なくとも1つの処理が行われる。したがって、上記処理(c)にてフィッティング適用範囲が狭く変更される場合は、上記処理(a)において、関数の数を減らす処理、及び/または、上記処理(b)において、関数の次数の許容範囲の上限を下げる処理を行うことよりが好ましい。
ここで、図18の例で説明すると、フレーム画像Gc(図18(c)参照)からフレーム画像Gb(図18(b)参照)に移る際の形状モデル変更処理では、上記処理(b)としてフィッティング適用範囲を狭くする関数f73においては当該関数f73の次数の許容範囲の上限を下げる処理(すなわち、3次関数から2次または1次関数に変更)を行うことになる。また、フレーム画像Gb(図18(b)参照)からフレーム画像Ga(図18(a)参照)に移る際の形状モデル変更処理では、上記処理(a)として関数f72から関数なしに変更(すなわち、関数の数を−1に変更)することになる。
このように、上記処理(c)にてフィッティング適用範囲が狭く変更される場合は、上記処理(a)において、関数の数を減らす処理、及び/または、上記処理(b)において、関数の次数の許容範囲の上限を下げる処理を行うことにより、関数の自由度を下げ、フィッティング処理の誤りを防止できるとともに、安定したフィッティング結果を得ることが可能となる。
<4−3.画像処理装置3B,3B’の基本動作>
続いて、図19は、第3実施形態に係る画像処理装置3B,3B’のうち、代表して画像処理装置3Bの動作フローを例示した図である。なお、図19のうち、ステップS32〜S33は図7のステップS12〜S13と同様であるため、その説明は省略する。
この第3実施形態では、第1実施形態では存在しなかった時間変化検出部115Bが付加されたことで、下記の工程が変更される。
図19に示すように、まず、ステップS31において、制御部31Bの動画像取得部110が、撮像装置1の読取制御装置14によって撮影された動画像を、撮影制御装置2を介して取得するとともに、時間変化検出部115Bが、撮像装置1のサイクル検出部15から呼吸周期変化を取得し、心電計4の位相検出部41から心拍周期変化を取得する。
そして、第1実施形態と同様の工程として、ステップS32〜ステップS33を経て、ステップS34にて、形状モデル制御部130Bが、境界線付フレーム画像GFに付された境界線(フィッティング関数F)を時間変化検出部115Bにて検出された時間変化情報Tに基づいて変更して、変更した形状モデルMを次フレーム画像Gにフィッティングさせるよう形状モデルフィッティング部120に指令を与え、ステップS32に移る。そして、残余の工程は第1実施形態と同様となる。
以上のように画像処理装置3B(3B’)では、時間変化情報に基づいて形状モデルMを変更することにより、肺野領域近接領域の周期変化に適合させて形状モデルMを決定することができる。このため、肺野領域の抽出精度がより向上する。
<5.第4実施形態>
図20及び図21は、本発明の第4実施形態として構成された画像処理装置3C(図1参照)で用いられる制御部31Cの機能構成を示す図である。この制御部31Cは、第1実施形態の画像処理装置3における制御部31(図2参照)の代替として使用される。第1実施形態と異なる点は、フィッティング結果記憶部125を備える点、及び、形状モデル制御部130Cが形状モデル適正評価部135Cを備える点である。なお、残余の構成は画像処理装置3と同様である。
<5−1.フィッティング結果記憶部125>
フィッティング結果記憶部125では、形状モデルフィッティング部120から出力される境界線付フレーム画像GFを順次記憶する(図20及び図21参照)。
フィッティング結果記憶部125が付加されたことにより、形状モデル変更処理は以下の2つのモデル変更処理を実施することが可能となる。すなわち、フレーム画像Gに対してフィッティング処理が行われた形状モデルMから、当該フレーム画像Gの次のフレーム画像Gのフィッティング処理に用いる形状モデルMを変更する「第1のモデル変更処理」(第1〜第3実施形態と同様、図20参照)に加え、フレーム画像Gに対してフィッティング処理が行われた形状モデルMから、当該フレーム画像Gの再度のフィッティング処理に用いる形状モデルMに変更する「第2のモデル変更処理」(図21参照)を行うことが可能となる。
なお、第2のモデル変更処理によって、フィッティング結果記憶部125にて格納された境界線付フレーム画像GFに付された境界線(フィッティング関数)Fを修正してその内容を変更することが可能となる。
<5−2.形状モデル適正評価部135C>
形状モデル制御部130Cにおける形状モデル適正評価部135Cは、形状モデル制御部130Cにて順次変更した形状モデルMあるいはフィッティング結果記憶部125にて格納された境界線付フレーム画像GFに付された境界線(フィッティング関数)Fに基づいて、評価情報を得る(図20及び図21参照)。
また、形状モデル適正評価部135Cでは、単純にfpsが固定である場合には、形状モデルMの変更パターンが規則的であるためにシンプルな評価情報を得ることができる。ただし、fps不足においては変更パターンが一足飛びになるケースや、時間的に逆方向に形状モデルMをフィッティングさせるケースも想定すると、処理するフレーム画像G間の時間差情報を予め保持しておき、その時間差に基づいて評価情報を変えることが好ましい。
さらに、形状モデル適正評価部135Cでは、第3実施形態における時間変化検出部115B,115B’などが付加されることにより、心拍や呼吸の位相情報に基づいた評価情報を得ることや、可視光のカメラ画像から被写体OBの姿勢情報を取得し、体動に基づいた評価情報を得ることも可能である。
そして、形状モデル制御部130Cは、当該評価情報に基づいて、第1のモデル変更処理(図20参照)または第2のモデル変更処理(図21参照)の何れかを実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
以下では、形状モデル適正評価部135Cにより得られる評価情報の一例について説明する。なお、ここではフィッティング結果記憶部125にて格納された境界線付フレーム画像GFに付されたフィッティング関数(境界線)Fに基づいて評価情報が得られる場合を説明する。
図22は、境界線付フレーム画像GFに付されたフィッティング関数Fが適正か否かを説明する模式図である。図22(a)及び図22(b)では肺尖部の形状に関する関数f5,f5eを示し、図22(c)及び図22(d)では横隔膜の形状に関する関数f7,f7eを示す。
図22(a)で示される関数f5は、肺尖部の形状を適切に表現しているため、形状モデル適正評価部135Cによりフィッティング精度が高いと評価される。一方、図22(b)で示される関数f5eは、肺尖部の形状に4次関数を関数として用いたため、一部が下に凸となり形状モデル適正評価部135Cによりフィッティング精度が低いと評価される。
同様に、図22(c)で示される関数f7は、2次関数を用いた場合であり、横隔膜の上に凸の形状を適切に表現している。このため、形状モデル適正評価部135Cによりフィッティング精度が高いと評価される。一方、図22(d)で示される関数f7eは、1次関数(直線)を用いた場合であり、横隔膜の上に凸の形状を適切に表現しきれていない。このため、形状モデル適正評価部135Cによりフィッティング精度が低いと評価される。
このように、形状モデル適正評価部135Cでは、試しにフィッティング処理を行った評価として、極値が許容範囲内にあるか否か、極値の正負によって凸形状が表れるかなど、関数fの形状によって評価することが可能である。
<5−3.画像処理装置3Cの基本動作:第1のモデル変更処理>
続いて、図23は、第4実施形態に係る画像処理装置3Cのうち、第1のモデル変更処理(図20参照)の動作フローを例示した図である。なお、図23のうち、ステップS141は図7のステップS11と同様であるため、その説明は省略する。
この第4実施形態では、第1実施形態では存在しなかったフィッティング結果記憶部125、及び、形状モデル適正評価部135Cが付加されたことで、下記の工程が変更される。
すなわち、第1実施形態と同様の工程として、ステップS141を経て、図23で示されるように、ステップS142では、ステップS12(図7参照)と同様に形状モデルフィッティング部120が境界線付フレーム画像GFを得た後、当該境界線付フレーム画像GFをフィッティング結果記憶部125に出力する。そして、フィッティング結果記憶部125が当該境界線付フレーム画像GFを格納する。
そして、ステップS143にて、未処理がない場合にはステップS145に移り、ステップS145にて、フィッティング結果記憶部125が、格納している境界線付フレーム画像GFを対象領域抽出部140に出力して本動作フローが終了される。一方、未処理があると判定されればステップS144に移る。
ステップS144では、形状モデル適正評価部135Cが形状モデル制御部130Cにて順次変更した形状モデルMあるいはフィッティング結果記憶部125にて格納された境界線付フレーム画像GFに付されたフィッティング関数(境界線)Fに基づいて、評価情報を得る。そして、形状モデル制御部130Cが、当該評価情報に基づいて第1のモデル変更処理を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与え、ステップS142に移る。
そして、ステップS142においては、形状モデルフィッティング部120が、ステップS144において変更された形状モデルMを用いてフィッティング処理を行い、フィッティング結果記憶部125に境界線付フレーム画像GFを格納する。
このように、全てのフレーム画像Gにおけるフィッティング処理が終了されるまで、ステップS142〜ステップS144の工程が繰り返され、全てのフレーム画像Gにおいてフィッティング処理が終了された後、上記のステップS145を経由して本動作フローが終了される。
以上のように画像処理装置3Cにおける形状モデル制御部130Cでは、形状モデル制御部130Cにて順次変更した形状モデルMあるいはフィッティング結果記憶部125にて格納された境界線付フレーム画像(領域境界情報)GFにおけるフィッティング関数Fに基づいて得られた評価情報に基づいて、第1のモデル変更処理を実施することにより、より的確な形状モデルMを自動的に変更することが可能となる。すなわち、形状モデル制御部130Cは、第1のモデル変更処理を実施することにより、フィッティング処理をこれから行う時間的に未来の形状モデルMの変更を制御可能にする。このため、より安定的に肺野領域の抽出処理を行うことができるとともに、抽出精度がより向上する。
<5−4.画像処理装置3Cの基本動作:第2のモデル変更処理>
続いて、図24は、第4実施形態に係る画像処理装置3Cのうち、第2のモデル変更処理(図21参照)の動作フローを例示した図である。なお、図24のうち、ステップS241は図7のステップS11と同様であるため、その説明は省略する。
第1のモデル変更処理と同様に、第1実施形態では存在しなかったフィッティング結果記憶部125、及び、形状モデル適正評価部135Cが付加されたことで、下記の工程が変更される。
すなわち、第1実施形態と同様の工程として、ステップS241を経て、図24で示されるように、ステップS242では、ステップS12(図7参照)と同様に形状モデルフィッティング部120が境界線付フレーム画像GFを順次得ながら、当該境界線付フレーム画像GFをフィッティング結果記憶部125に順次出力する。そして、フィッティング結果記憶部125が当該境界線付フレーム画像GFを順次格納する。なお、順次得られる境界線付フレーム画像GFは、上述の第1のモデル変更処理により取得されることが好ましい。
ステップS243では、形状モデル適正評価部135Cが形状モデル制御部130Cにて順次変更した形状モデルMあるいはフィッティング結果記憶部125にて格納された境界線付フレーム画像GFにおけるフィッティング関数(境界線)Fに基づいて、評価情報を得る。
そして、ステップS244にて、ステップS243で取得した評価情報に基づき第2のモデル変更処理を実施するか否かを形状モデル制御部130Cが判定し、実施しない場合(評価情報が「良」を指示している場合等)にはステップS248に移り、ステップS248にて、フィッティング結果記憶部125が、格納している境界線付フレーム画像GFを対象領域抽出部140に出力して本動作フローが終了される。一方、第2のモデル変更処理を実施する場合にはステップS245に移る。
ステップS245では、形状モデル制御部130Cが、ステップS243にて得られた評価情報に基づいて第2のモデル変更処理を実施し、変更された形状モデルMを用いた再度のフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。このとき、形状モデル制御部130Cは、再度のフィッティング処理に用いるフレーム画像(境界線付フレーム画像GF)を形状モデルフィッティング部120に出力するようにフィッティング結果記憶部125に指令を与える(図21の矢印AR1)。
そして、ステップS246では、形状モデルフィッティング部120が、境界線付フレーム画像GFをフィッティング結果記憶部125から取得し、ステップS245において変更された形状モデルMを用いて再度のフィッティング処理を行う。そして、フィッティング結果記憶部125に元々格納されている境界線付フレーム画像GFを、再度のフィッティング処理で出力された境界線付フレーム画像GF’に置き換えてフィッティング結果記憶部125に格納する。
そして、ステップS247にて、更に第2のモデル変更処理を続けるか否かを形状モデル制御部130Cが判定し、続けない場合にはフィッティング結果記憶部125に終了する指令を与え(図21の矢印AR2)、上記のステップS248を経由して本動作フローが終了される。一方、更に第2のモデル変更処理を続ける場合にはステップS243に移る。
このように、第2のモデル変更処理が終了されるまで、ステップS243〜ステップS247の工程が繰り返され、第2のモデル変更処理が終了された後、上記のステップS248を経由して本動作フローが終了される。
以上のように画像処理装置3Cにおける形状モデル制御部130Cでは、形状モデル制御部130Cにて順次変更した形状モデルMあるいはフィッティング結果記憶部125にて格納された境界線付フレーム画像(領域境界情報)GFにおける境界線(フィッティング関数)Fに基づいて得られた評価情報に基づいて、第2のモデル変更処理を実施することにより、より的確な形状モデルMを自動的に変更することが可能となる。すなわち、形状モデル制御部130Cは、第2のモデル変更処理を実施することにより、既にフィッティング処理を終えた過去の形状モデルMに対してフィードバック制御が可能になる。このため、より安定的に肺野領域の抽出処理を行うことができるとともに、抽出精度がより向上する。
なお、上述した第1及び第2のモデル変更処理を共に行っても良い。すなわち、第4実施形態は、第1及び第2のモデル変更処理のうち少なくとも一方を実施する形状モデル制御部130Cを有している。
<6.第5実施形態>
図25は、本発明の第5実施形態として構成された画像処理装置3D(図1参照)で用いられる制御部31Dの機能構成を示す図である。この制御部31Dは、第4実施形態の画像処理装置3Cのうち第2のモデル変更処理を制御する制御部31C(図21参照)の代替として使用される。第4実施形態と異なる点は、形状モデル制御部130Dがフィッティング関数群記憶部131Dを更に備える点である。なお、残余の構成は画像処理装置3C(図21参照)と同様である。
<6−1.フィッティング関数群記憶部131D>
フィッティング関数群記憶部131Dでは、フィッティング結果記憶部125が3枚以上の境界線付フレーム画像GFを記憶する場合において、フィッティング結果記憶部125にて記憶された境界線付フレーム画像GFにおける3以上のフィッティング関数Fを示すフィッティング関数群を記憶する。
そして、形状モデル制御部130Dにおける形状モデル適正評価部135Dは、当該フィッティング関数群を評価情報として得ることで、形状モデル制御部130Dは、当該評価情報に基づいて、第2のモデル変更処理(図25参照)を実施し、変更された形状モデルMを用いた再度のフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
以下では、フィッティング関数群を評価情報とする一例について説明する。図26は、フィッティング関数群を用いて形状モデルMの適正評価を行うことを説明する模式図である。図26の上段(フィッティング関数F及びそれを決定したモデル)は、フィッティング関数群記憶部131Dにて記憶されたフィッティング関数F及びそれを決定したモデル(すなわち、フィッティング関数Fを導出するモデル)をフレーム順に示す図であり、図26の下段(評価後の形状モデルM)は、形状モデル制御部130Dにより第2のモデル変更処理が実施され、再度のフィッティング処理に用いられる形状モデルMをフレーム順に示す図である。
評価単位を3枚のフレーム画像Gとした場合、図26で示されるように、第1〜第3番目のフレーム画像G内、第2〜第4番目のフレーム画像G内、第3〜第5番目のフレーム画像G内、第4〜第6番目のフレーム画像G内で形状モデル適正評価部135Dにより評価判断される。ここで、例えば、フィッティング関数F1,F2,F3を示すナンバーが、減少して増加することは起こりえないという判断基準がある場合には、第3〜第5番目のフレーム画像G内において、フィッティング関数Fが、F2,F1,F2の順番で変更されていることがフィッティング関数群から認識されるため、第4番目のフレーム画像Gは、フィッティング関数F1ではなく、フィッティング関数F2に変更されることが好ましいという評価結果が形状モデル適正評価部135Dにより得られる。そして、形状モデル制御部130Dによる上記評価結果を受けて、第4番目のフィッティング関数Fを決定したモデルを、フィッティング関数F1を導出するモデル1からフィッティング関数F2を導出するモデル2に変更する、所謂、第2のモデル変更処理を実施される。なお、説明の都合上、モデル1〜3からフィッティング関数F1〜F3が導き出されると仮定した。
このように、時間的に過去の複数のフィッティング関数Fを総合して判断することで、精度向上と安定化とが図れる。時間的に大幅にモデルの内容が変わることがないので、フィッティング関数F間でのフィッティング精度の相対的な評価で判断すれば、精度向上安定化につながる。
<6−2.画像処理装置3Dの基本動作:第2のモデル変更処理>
続いて、図27は、第5実施形態に係る画像処理装置3D(第2のモデル変更処理)の動作フローを例示した図である。なお、図27のうち、ステップS253を除いて、図24の工程と全て同様であるため、その説明は省略する。
この第5実施形態では、第4実施形態では存在しなかったフィッティング関数群記憶部131Dが付加されたことで、下記の工程が変更される。
すなわち、第4実施形態と同様の工程として、ステップS251〜ステップS252を経て、図27で示されるように、ステップS253では、フィッティング関数群記憶部131DがステップS252にて順次格納された境界線付フレーム画像GFに付された3以上のフィッティング関数Fを示すフィッティング関数群を記憶するとともに、形状モデル適正評価部135Dがフィッティング関数群を評価情報として得る。そして、残余の工程は第4実施形態と同様となる(図24参照)。
以上のように画像処理装置3Dでは、評価情報はフィッティング結果記憶部125にて記憶された境界線付フレーム画像GFにおける3以上のフィッティング関数Fを示すフィッティング関数群を含むことにより、フィッティング関数群のフィッティング関数F間の適否を判定して第2のモデル変更処理を実施することが可能となる。これにより、フィッティング精度向上を可能にする。
<7.第6実施形態>
図28は、本発明の第6実施形態として構成された画像処理装置3E(図1参照)で用いられる制御部31Eの機能構成を示す図である。この制御部31Eは、第1及び第2のモデル変更処理の何れも制御可能であり、第4実施形態の画像処理装置3Cの第1及び第2のモデル変更処理を制御する制御部31C(図20及び図21参照)の代替として使用される。第4実施形態と異なる点は、形状モデル制御部130Eがフィッティング精度算出部131Eを更に備える点である。ここで、図28は、第1及び第2のモデル変更処理を合わせて示した図である。なお、残余の構成は画像処理装置3C(図20及び図21参照)と同様である。
<7−1.フィッティング精度算出部131E>
フィッティング精度算出部131Eでは、境界線付フレーム画像GFにおけるフィッティング関数Fが近似する肺野領域の境界と、当該フィッティング関数Fを導くために用いられたフレーム画像G(当該境界線付フレーム画像GF)の画像情報から所定の方法を用いて抽出した肺野領域の境界と予想される境界候補情報と、の差異を比較した画像比較情報を算出する。
すなわち、形状モデルフィッティング部120において、領域拡張法(Region growing)、グラフカット(Graph Cut)、スネーク(Snakes)等を用いてフレーム画像Gから画像情報(エッジや0/1の領域情報)の抽出を行っているため(図6参照)、境界線付フレーム画像GFに当該画像情報を付した境界線付フレーム画像GF2(図6参照)がフィッティング結果記憶部125に格納される。そして、フィッティング結果記憶部125から境界線付フレーム画像GF2がフィッティング精度算出部131Eに出力され、フィッティング精度算出部131Eにて画像比較情報が算出される。
境界線付フレーム画像GF2がフレーム画像Gのエッジに対してフィッティング処理が行われた場合は、フィッティング関数Fとエッジ(別途行われる画像抽出処理(所定の方法)により抽出される)との間に生じたズレを計算し、当該ズレの距離を画像比較情報として用いることができる。また、境界線付フレーム画像GF2がフレーム画像Gから抽出した0/1の領域情報に対してフィッティング処理が行われた場合は、エッジが0/1で明確なため比較的簡単な画像抽出処理(所定の方法)を用いてエッジを抽出することができ、フィッティング関数、エッジ間の距離計算により、画像比較情報とすることができる。さらに、境界線付フレーム画像GF2が濃度を持つフレーム画像Gに対して各画素のエッジらしさをもとにフィッティング処理が行われた場合には、各画素のエッジらしさによって重み付けをし、上記重み付けを考慮して画像抽出処理(所定の方法)を用いて抽出されたエッジとフィッティング関数Fとの距離を計算することで、画像比較情報とすることができる。画像比較情報はX及びY座標の距離でもよいし、簡略のためXまたはY座標のどちらか一方のみでもよい。また、形状モデルMをあてはめる方向が一方向の場合は、その方向と同じくすると簡易に計算することができる。
そして、形状モデル制御部130Eにおける形状モデル適正評価部135Eは、当該画像比較情報を評価情報として得ることで、形状モデル制御部130Eは、当該評価情報に基づいて、第1及び第2のモデル変更処理のうち少なくとも一方の処理(図28参照)を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
以下では、画像比較情報を評価情報とする一例について説明する。図29は、画像比較情報を用いて形状モデルMの適正評価を行うことを説明する模式図である。図29(a)では、図18(b)と同様に、呼吸周期変化において呼気と吸気の中間の位置に対応するフレーム画像Gbであり、肺野領域近接領域に相当する横隔膜領域の境界P4を表現する関数f72は2次関数としてフィッティング処理されたことを示す図である。そして、図29(b)では、図29(a)のフレーム画像Gbから所定数枚分経過後の吸気に対応するフレーム画像Gc(図18(c)と同様)であり、境界P4においてフレーム画像Gbと同様のフィッティング関数f72(すなわち、2次関数)を試しにフィッティングさせた結果を示す図であり、図29(c)では、フレーム画像Gcの境界P4において関数f73(すなわち、3次関数)をフィッティングさせた結果を示す図である。なお、ドットで示した領域IRは、図6と同様に、画像情報から肺野領域と判断された領域を示す。
図29で示されるように、フレーム画像Gb(図29(a)参照)においてフィッティング精度の良い関数f72(2次関数)を用いて、フレーム画像Gcに対してフィッティング処理を行うと、フィッティング精度が悪くなる(図29(b)参照)。すなわち、フィッティング精度算出部131Eが、画像比較情報を自動で算出する。ここでは、図29(a)のフレーム画像Gbの横隔膜領域に対しては画像比較情報として差異の値が小さく算出され、逆に、図29(b)のフレーム画像Gcに対しては差異の値が大きく算出される。そして、形状モデル適正評価部135Eが、図29(b)のフレーム画像Gcの横隔膜領域の境界P4に対しては、2次関数より3次関数の関数fが適切であると判定し、形状モデル制御部130Eが、関数f72から関数f73に変更する第1または第2のモデル変更処理を行う。
<7−2.画像処理装置3Eの基本動作:第1のモデル変更処理>
続いて、図30は、第6実施形態に係る画像処理装置3Eのうち、第1のモデル変更処理(図28参照)の動作フローを例示した図である。なお、図30のうち、ステップS161,S163は図23のステップS141,S143と同様であるため、その説明は省略する。
この第6実施形態では、第4実施形態では存在しなかったフィッティング精度算出部131Eが付加されたことで、下記の工程が変更される。
すなわち、第4実施形態と同様の工程として、ステップS161を経て、図30で示されるように、ステップS162では、形状モデルフィッティング部120が境界線付フレーム画像GFに画像情報を付した境界線付フレーム画像GF2をフィッティング結果記憶部125に出力し、フィッティング結果記憶部125が当該境界線付フレーム画像GF2を格納する。
そして、ステップS163にて、未処理がない場合にはステップS166に移り、ステップS166にて、フィッティング結果記憶部125が、格納している境界線付フレーム画像GF2のうち画像情報を取り除いた境界線付フレーム画像GFを対象領域抽出部140に出力して本動作フローが終了される。一方、未処理があると判定されればステップS164に移る。
ステップS164では、フィッティング結果記憶部125がフィッティング精度算出部131Eに境界線付フレーム画像GF2を出力し、フィッティング精度算出部131Eが、境界線付フレーム画像GF2に基づき画像比較情報を算出する。
ステップS165では、形状モデル適正評価部135Eが画像比較情報に基づいて評価情報を得る。そして、形状モデル制御部130Eが、当該評価情報に基づいて第1のモデル変更処理を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与え、ステップS162に移る。
そして、ステップS162においては、形状モデルフィッティング部120が、ステップS165において変更された形状モデルMを用いてフィッティング処理を行い、フィッティング結果記憶部125に境界線付フレーム画像GF2を格納する。
このように、全てのフレーム画像Gにおけるフィッティング処理が終了されるまで、ステップS162〜ステップS165の工程が繰り返され、全てのフレーム画像Gにおいてフィッティング処理が終了された後、上記のステップS166を経由して本動作フローが終了される。
以上のように画像処理装置3Eでは、評価情報は、境界線付フレーム画像GFにおけるフィッティング関数Fが近似する肺野領域の境界と、当該フィッティング関数Fを導くために用いられたフレーム画像G(当該境界線付フレーム画像GF)の画像情報から所定の方法を用いて抽出した肺野領域の境界と予想される境界候補情報と、の差異を比較した画像比較情報を含むことにより、別途所定の方法を用いて求めた実際の画像情報との違いを参考にして第1のモデル変更処理を実施することが可能となるため、フィッティング精度向上を可能にする。
<7−3.画像処理装置3Eの基本動作:第2のモデル変更処理>
続いて、図31は、第6実施形態に係る画像処理装置3Eのうち、第2のモデル変更処理(図28参照)の動作フローを例示した図である。なお、図31のうち、ステップS261,S264,S267は図24のステップS241,S244,S247と同様であるため、その説明は省略する。
第1のモデル変更処理と同様に、第4実施形態では存在しなかったフィッティング精度算出部131Eが付加されたことで、下記の工程が変更される。
すなわち、第4実施形態と同様の工程として、ステップS261を経て、図31で示されるように、ステップS262では、形状モデルフィッティング部120が境界線付フレーム画像GF2を順次得ながら、当該境界線付フレーム画像GF2をフィッティング結果記憶部125に順次出力する。そして、フィッティング結果記憶部125が当該境界線付フレーム画像GF2を順次格納する。なお、順次得られる境界線付フレーム画像GF2は、上述の第1のモデル変更処理(図30参照)により取得されることが好ましい。
ステップS263では、フィッティング結果記憶部125がフィッティング精度算出部131Eに境界線付フレーム画像GF2を順次出力し、フィッティング精度算出部131Eが、境界線付フレーム画像GF2に基づき画像比較情報を順次算出する。
そして、ステップS264にて、ステップS263で取得した画像比較情報に基づき、第2のモデル変更処理を実施するか否かを判定し、実施しない場合にはステップS268に移り、ステップS268にて、フィッティング結果記憶部125が、格納している境界線付フレーム画像GF2のうち画像情報を取り除いた境界線付フレーム画像GFを対象領域抽出部140に出力して本動作フローが終了される。一方、第2のモデル変更処理を実施する場合にはステップS265に移る。
ステップS265では、形状モデル制御部130Eが、ステップS263にて得られた画像比較情報に基づいて第2のモデル変更処理を実施し、変更された形状モデルMを用いた再度のフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。このとき、形状モデル制御部130Eは、再度のフィッティング処理に用いるフレーム画像(境界線付フレーム画像GF2)を形状モデルフィッティング部120に出力するようにフィッティング結果記憶部125に指令を与える。
そして、ステップS266では、形状モデルフィッティング部120が、境界線付フレーム画像GF2をフィッティング結果記憶部125から取得し、ステップS245において変更された形状モデルMを用いて再度のフィッティング処理を行う。そして、フィッティング結果記憶部125に元々格納されている境界線付フレーム画像GF2を、再度のフィッティング処理で出力された境界線付フレーム画像GF2に置き換えてフィッティング結果記憶部125に格納する。
そして、ステップS267にて、更に第2のモデル変更処理を続けるか否かを形状モデル制御部130Eが判定し、続けない場合にはステップS268に移り、上記のステップS268を経由して本動作フローが終了される。一方、更に第2のモデル変更処理を続ける場合にはステップS263に移る。
このように、第2のモデル変更処理が終了されるまで、ステップS263〜ステップS267の工程が繰り返され、第2のモデル変更処理が終了された後、上記のステップS268を経由して本動作フローが終了される。
以上のように画像処理装置3Eでは、評価情報は、境界線付フレーム画像GFにおけるフィッティング関数Fが近似する肺野領域の境界と、当該フィッティング関数Fを導くために用いられたフレーム画像G(当該境界線付フレーム画像GF)の画像情報から所定の方法を用いて抽出した肺野領域の境界と予想される境界候補情報と、の差異を比較した画像比較情報を含むことにより、別途所定の方法を用いて求めた実際の画像情報との違いを参考にして第2のモデル変更処理を実施することが可能となるため、フィッティング精度向上を可能にする。
<8.第7実施形態>
図32は、本発明の第7実施形態として構成された画像処理装置3F(図1参照)で用いられる制御部31Fの機能構成を示す図である。この制御部31Fは、第1のモデル変更処理の制御が可能であり、第4実施形態の画像処理装置3Cのうち第1のモデル変更処理を制御する制御部31C(図20参照)の代替として使用される。第4実施形態と異なる点は、形状モデル制御部130Fがフィッティング履歴記憶部131Fを更に備える点である。なお、残余の構成は画像処理装置3C(図20参照)と同様である。
<8−1.フィッティング履歴記憶部131F>
フィッティング履歴記憶部131Fでは、形状モデル制御部130Fにて逐次決定された形状モデルMを逐次記憶することでフィッティング履歴情報として総括的に記憶する。
そして、形状モデル制御部130Fにおける形状モデル適正評価部135Fは、当該フィッティング履歴情報を評価情報として得ることで、形状モデル制御部130Fは、当該評価情報に基づいて、第1のモデル変更処理(図32参照)を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
以下では、フィッティング履歴情報を評価情報とする一例について説明する。図33は、フィッティング履歴情報を用いて形状モデルMの適正評価を行うことを説明する模式図である。図33の上段(フィッティング関数F及びそれを決定したモデル)は、フィッティング履歴記憶部131Fにて記憶されたフィッティング関数F及びそれを決定したモデル(すなわち、フィッティング関数Fを導出するモデル)をフレーム順に示す図であり、図33の下段(フィッティング履歴)は、フィッティング履歴記憶部131Fにて既に格納されている形状モデルMの履歴情報を示す図である。このフィッティング履歴に示される形状モデルMは、形状モデル適正評価部135Fにより適正であると判断されたモデルのみが対象となり、フィッティング履歴記憶部131Fにて格納されている。
図33で示されるように、過去から現在までのフレーム画像G(フレーム(1)〜フレーム(i))が、フィッティング関数Fを決定したモデルとフィッティング履歴に示されるモデルとが同じモデルで処理されている場合には、次のフレーム画像G(フレーム(i+1))においてもフィッティング履歴と同様であると予測できる。このため、形状モデル適正評価部135Fは、フレーム(i+1)に対してはフィッティング関数F2を導き出すモデル2を採用することに高評価を与え、フィッティング関数F1やF3を導き出すモデル1やモデル3を採用することに低評価を与える。そして、形状モデル制御部130Fが当該評価情報を受けて、フレーム(i+1)の形状モデルFをモデル3からモデル2に変更する、所謂、第1のモデル変更処理を実施する。なお、説明の都合上、モデル1〜3からフィッティング関数F1〜F3が導き出されると仮定した。
このように、過去の境界線付フレーム画像GFを得るために用いられた形状モデルMの変更履歴を使って、形状モデルMの変更を評価することができる。既に決定したモデル履歴を使うことで、過去の境界線付フレーム画像GFとの一貫性を保った安定化を図ることが可能となる。
<8−2.画像処理装置3Fの基本動作:第1のモデル変更処理>
続いて、図34は、第7実施形態に係る画像処理装置3F(図32参照)の動作フローを例示した図である。なお、図34のうち、ステップS171〜S173,S175は図23のステップS141〜S143,S145と同様であるため、その説明は省略する。
この第7実施形態では、第4実施形態では存在しなかったフィッティング履歴記憶部131Fが付加されたことで、下記の工程が変更される。
すなわち、第4実施形態と同様の工程として、ステップS171〜S173を経て、図34で示されるように、ステップS174では、形状モデル適正評価部135Fがフィッティング履歴情報に基づいて評価情報を得た後、形状モデル制御部130Fが、当該評価情報に基づいて第1のモデル変更処理を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与え、ステップS172に移る。そして、残余の工程は第4実施形態と同様となる。
以上のように画像処理装置3Fでは、評価情報はフィッティング履歴情報を含むことにより、フィッティング履歴情報を参照しながら第1のモデル変更処理を実施することが可能となるため、フィッティング精度向上を可能にする。
<9.第8実施形態>
図35は、本発明の第8実施形態として構成された画像処理装置3G(図1参照)で用いられる制御部31Gの機能構成を示す図である。この制御部31Gは、第4実施形態の画像処理装置3Cのうち第2のモデル変更処理を制御する制御部31C(図21参照)の代替として使用される。第4実施形態と異なる点は、形状モデル制御部130Gが位置形状変化算出部131Gを更に備える点である。なお、残余の構成は画像処理装置3C(図21参照)と同様である。
<9−1.位置形状変化算出部131G>
位置形状変化算出部131Gでは、フィッティング結果記憶部125にて格納された境界線付フレーム画像GFにおけるフィッティング関数F間において、肺野領域近接領域の時間的な位置変位量や形状変化を示す位置形状変化情報を算出する。
そして、形状モデル制御部130Gにおける形状モデル適正評価部135Gは、当該位置形状変化情報を評価情報として得ることで、形状モデル制御部130Gは、当該評価情報に基づいて、第2のモデル変更処理(図35参照)を実施し、変更された形状モデルMを用いた再度のフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
以下では、位置形状変化情報を評価情報とする一例について説明する。図36は、位置形状変化情報を用いて形状モデルの適正評価を行うことを説明する模式図であり、フィッティング結果記憶部125にて格納されたフィッティング関数Fの横隔膜領域の境界P3(図4参照)における関数をフレーム順に示す図である。同図(a)及び(b)に示すように、f12,f11間、f13(f13e),f12間、f14(f14e),f13間、f15,f14間それぞれの位置形状変化が位置形状変化情報となる。
まず、位置変位量を示す位置形状変化情報について説明する。図36(a)で示されるように、第1〜第5番目のフレーム画像G(フレーム(1)〜(5))のうち、フレーム(1)〜(3)(5)の関数f11,f12,f13,f15は、この順で右上がりに位置が変化するトレンドを示す。しかしながら、フレーム(4)のる関数f14eは関数f13,f15の中間の位置には存在せず、関数f13の位置よりも下に位置している。このため、第4番目のフレーム画像Gは、関数f14eから関数f14の位置に変更されることが好ましいという、位置変位量を主体とした位置形状変化情報に基づく評価結果が形状モデル適正評価部135Gにより得られる。そして、形状モデル制御部130Gが当該評価結果を受けて、第4番目のフレーム画像Gの形状モデルMの横隔膜領域の境界P3を、関数f14eから関数f14に変更する、所謂、第2のモデル変更処理を実施する。
次に、形状変化を示す位置形状変化情報について説明する。図36(b)で示されるように、第1〜第5番目のフレーム画像Gのうち、フレーム(1)(2)(4)(5)の関数f11,f12,f14,f15は上に凸の形状を表現しているが、フレーム(3)の関数f13eだけが下に凸の形状を表現している。このため、第3番目のフレーム画像Gは、関数f13eから関数f13の形状に変更されることが好ましいという、形状変化を主体とした位置形状変化情報に基づく評価結果が形状モデル適正評価部135Gにより得られる。そして、形状モデル制御部130Gが当該評価結果を受けて、第3番目のフレーム画像Gの形状モデルMの横隔膜領域の境界P3を、関数f13eから関数f13に変更する、所謂、第2のモデル変更処理を実施する。
<9−2.画像処理装置3Gの基本動作:第2のモデル変更処理>
続いて、図37は、第8実施形態に係る画像処理装置3G(第2のモデル変更処理)の動作フローを例示した図である。なお、図37のうち、ステップS283を除いて、図24の工程と全て同様であるため、その説明は省略する。
この第8実施形態では、第4実施形態では存在しなかった位置形状変化算出部131Gが付加されたことで、下記の工程が変更される。
すなわち、第4実施形態と同様の工程として、ステップS281〜ステップS282を経て、図37で示されるように、ステップS283では、位置形状変化算出部131GがステップS282にて順次格納された境界線付フレーム画像GFに付されたフィッティング関数F間において、肺野領域近接領域の時間的な位置変位量や形状変化を示す位置形状変化情報を算出するとともに、形状モデル適正評価部135Gが位置形状変化情報を評価情報として得る(図36参照)。そして、残余の工程は第4実施形態と同様となる(図24参照)。
以上のように画像処理装置3Gでは、評価情報は位置形状変化情報であることにより、位置形状変化が大きければ、フィッティング精度が悪いと予測して第2のモデル変更処理を実施することが可能となるため、フィッティング精度向上を可能にする。また逆に、位置形状変化が小さければ、フィッティング精度が悪くないと予測できるため、第2のモデル変更処理を実施しない判断(ステップS283で“N”)を行える。これにより、フィッティング精度悪化を防ぐことが可能となる。
<10.第9実施形態>
図38は、本発明の第9実施形態として構成された画像処理装置3H(図1参照)で用いられる制御部31Hの機能構成を示す図である。この制御部31Hは、第1及び第2のモデル変更処理の何れも制御可能であり、第4実施形態の画像処理装置3Cの第1及び第2のモデル変更処理を制御する制御部31C(図20及び図21参照)の代替として使用される。第4実施形態と異なる点は、形状モデル制御部130Hが位置関係算出部131Hを更に備える点である。ここで、図38は、第1及び第2のモデル変更処理を合わせて示した図である。なお、残余の構成は画像処理装置3C(図20及び図21参照)と同様である。
<10−1.位置関係算出部131H>
肺野領域近接領域が複数存在する場合において、位置関係算出部131Hでは、境界線付フレーム画像GFに付されたフィッティング関数Fの肺野領域の推定近接領域間における相対的な位置関係を示す位置関係情報を算出する。
そして、形状モデル制御部130Hにおける形状モデル適正評価部135Hは、当該位置関係情報を評価情報として得ることで、形状モデル制御部130Hは、当該評価情報に基づいて、第1または第2のモデル変更処理(図38参照)を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
位置関係情報を評価情報とする場合として次のような例がある。例えば、横隔膜や心臓は呼吸や心拍に応じて形状を変えるが、右肺野と左肺野とで通常位相が同一であり連動している。左右ともに横隔膜の位置関係が大きく異なる場合は、フィッティングさせた形状モデルMが悪かった可能性があるため評価値を低くすることができる。一方、心臓は心拍の際に膨らみ位置が移動してゆくが、左肺野と右肺野とでその高さ方向の位置関係はあまり変わらない。そこで、その位置関係が同一であるほど評価値を高くすることができる。
図39は、位置関係情報を用いて形状モデルMの適正評価を行うことを説明する模式図であり、ここでは、肺野領域近接領域として横隔膜領域(左肺野と右肺野との高さ方向の位置関係)を例にして説明する。図39(a)では、適正にフィッティング処理が行われなかった横隔膜領域の境界P3,P4(図4参照)における関数f1e,f7eを示す図であり、図39(b)では、評価結果を受けて適正にフィッティング処理が行われた関数f1,f7を示す図である。
図39(a)で示されるように、関数f1e,f7eは、横隔膜領域の境界P3,P4(図4参照)の高さ方向の位置関係が左右で大きく異なった状態でフィッティング処理が行われており、図39(b)で示されるような適正な位置関係(関数f1,f7)に変更されることが好ましいという評価結果が形状モデル適正評価部135Hにより得られる。そして、形状モデル制御部130Hが当該評価結果を受けて、フレーム画像Gの形状モデルMの関数f1e,f7eを、関数f1,f7(図39(b)参照)に変更する、所謂、第1または第2のモデル変更処理を実施する。
<10−2.画像処理装置3Hの基本動作:第1のモデル変更処理>
続いて、図40は、第9実施形態に係る画像処理装置3Hのうち、第1のモデル変更処理(図38参照)の動作フローを例示した図である。なお、図40のうち、ステップS191〜S193,S196は図23のステップS141〜S143,S145と同様であるため、その説明は省略する。
この第6実施形態では、第4実施形態では存在しなかった位置関係算出部131Hが付加されたことで、下記の工程が変更及び追加される。
すなわち、第1実施形態と同様の工程として、ステップS191〜ステップS193を経て、図40で示されるように、ステップS194では、位置関係算出部131Hが、ステップS192において格納された境界線付フレーム画像GFに付されたフィッティング関数Fの肺野領域の推定近接領域間における相対的な位置関係を示す位置関係情報を算出する(図39参照)。
ステップS195では、形状モデル適正評価部135Hが位置関係情報に基づいて評価結果を得る。そして、形状モデル制御部130Hが、当該評価結果に基づいて第1のモデル変更処理を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与え、ステップS192に移る。そして、残余の工程は第4実施形態と同様となる(図23参照)。
以上のように画像処理装置3Hでは、評価情報は位置関係情報であることにより、肺野領域の推定近接領域間における相対的な位置関係が想定と異なる場合は、フィッティング精度が悪いと予測して第1のモデル変更処理を実施することが可能となるため、フィッティング精度向上を可能にする。
また逆に、肺野領域の推定近接領域間における相対的な位置関係が想定内である場合は、フィッティング精度が悪くないと予測できる。このため、第1のモデル変更処理では、大きく形状モデルMを変更しない処理、もしくは、現在の形状モデルMをそのまま未来の形状モデルMとする処理を実施できる。これにより、フィッティング精度悪化を防ぐことが可能となる。
<10−3.画像処理装置3Hの基本動作:第2のモデル変更処理>
続いて、図41は、第9実施形態に係る画像処理装置3Hのうち、第2のモデル変更処理(図38参照)の動作フローを例示した図である。なお、図41のうち、ステップS293を除いて、図24の工程と全て同様であるため、その説明は省略する。
第1のモデル変更処理と同様に、第4実施形態では存在しなかった位置関係算出部131Hが付加されたことで、下記の工程が変更される。
すなわち、第4実施形態と同様の工程として、ステップS291〜ステップS292を経て、図41で示されるように、ステップS293では、位置関係算出部131HがステップS292にて順次格納された境界線付フレーム画像GFに付されたフィッティング関数Fにおいて、肺野領域の推定近接領域間における相対的な位置関係を示す位置関係情報をフレーム毎に順次算出するとともに、形状モデル適正評価部135Hが位置形状変化情報を評価情報として得る(図39参照)。そして、残余の工程は第4実施形態と同様となる(図24参照)。
以上のように画像処理装置3Gでは、評価情報は位置関係情報であることにより、肺野領域の推定近接領域間における相対的な位置関係が想定と異なる場合は、フィッティング精度が悪いと予測して第2のモデル変更処理を実施することが可能となるため、フィッティング精度向上を可能にする。また逆に、肺野領域の推定近接領域間における相対的な位置関係が想定内である場合は、フィッティング精度が悪くないと予測できる。このため、第2のモデル変更処理では実施しない判断(ステップS294で“N”)を行える。これにより、フィッティング精度悪化を防ぐことが可能となる。
<11.第10実施形態>
図42は、本発明の第10実施形態として構成された画像処理装置3I(図1参照)で用いられる制御部31Iの機能構成を示す図である。この制御部31Iは、第1のモデル変更処理の制御が可能であり、第4実施形態の画像処理装置3Cのうち第1のモデル変更処理を制御する制御部31C(図20参照)の代替として使用される。第4実施形態と異なる点は、時間変化検出部115Iを更に備える点、及び、形状モデル制御部130Iが優先度付変更パターン記憶部131Iを更に備える点である。なお、残余の構成は画像処理装置3C(図20参照)と同様である。
<11−1.時間変化検出部115I>
時間変化検出部115Iでは、フレーム画像Gに同期した肺野領域近接領域の周期的な時間変化を検出し、時間変化情報Tを得る。時間変化検出部115Iは、第3実施形態における時間変化検出部115B(図10参照)と同様の機能を有しており、時間変化検出部115B’(図11参照)の機能と代替させることも可能である。
<11−2.優先度付変更パターン記憶部131I>
優先度付変更パターン記憶部131Iでは、形状モデルMの変更パターンに肺野領域近接領域の周期的な時間変化に対応する優先度を付して作成された優先度付変更パターン情報Cを予め記憶する。
形状モデルMの変更パターンに肺野領域近接領域の周期的な時間変化としては、心拍位相による心臓形状の変化(図13及び図14参照)、呼吸位相による横隔膜の隠れ(図18参照)や大動脈の隠れなどが挙げられる。例えば、図18で示されるように、呼吸位相に対して横隔膜は、吸気で次数増、呼気で次数減の変化をしてゆくため、位相に対応して形状モデルMの変更先を予め限定した評価条件を優先度付変更パターン情報Cとして設定することが可能である。つまり、吸気位相では肺が膨張して肋横角の形がよく見える状態に近づくため、横隔膜の関数の次数が増える方向に遷移するような評価条件を優先度付変更パターン情報Cとして設定することができ、逆に、呼気位相では肺が収縮して他の臓器に隠れていくため、次数が減る方向に遷移するような評価条件を優先度付変更パターン情報Cとして設定することができる。
そして、形状モデル制御部130Iにおける形状モデル適正評価部135Iは、当該優先度付変更パターン情報Cを評価情報として得ることで、形状モデル制御部130Iは、当該評価情報に基づいて、第1のモデル変更処理(図42参照)を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与える。
以下では、優先度付変更パターン情報Cを評価情報とする一例について説明する。図43は、優先度付変更パターン情報を用いて形状モデルの適正評価を行うことを説明する模式図であり、ここでは、肺野領域近接領域は横隔膜領域とし、周期的な時間変化は呼気吸気として説明する。
図43で示されるように、現在のフレーム画像Gの形状モデルMがID1の時、次のフレーム画像Gの形状モデルMがID1であれば、呼気及び吸気ともに、優先度評価の最も高い5となる。また、次のフレーム画像Gの形状モデルMがID2であれば、呼気は優先度評価が中の3、吸気は優先度評価が最も低い0となる。そして、次のフレーム画像Gの形状モデルMがID3であれば、呼気は優先度評価が低い1、吸気は優先度評価が最も低い0となる。例えば、時間変化検出部115Iにて得られた時間変化情報Tから次のフレーム画像Gが呼気に位置するとわかる場合、形状モデル適正評価部135Iは、現在のフレーム画像Gの形状モデルMがID1の時、次のフレーム画像Gの形状モデルMとしてID1を採用することに高評価を与え、ID2やID3を採用することに低評価を与える。そして、形状モデル制御部130が当該評価情報を受けて、形状モデルMをID1からID1に変更(維持)する、所謂、第1のモデル変更処理を実施する。
同様に、現在のフレーム画像Gの形状モデルMがID2の時、次のフレーム画像Gの形状モデルMがID1であれば、呼気は優先度評価が最も低い0となり、吸気は優先度評価が中の3となる。また、次のフレーム画像Gの形状モデルMがID2であれば、呼気及び吸気ともに、優先度評価の最も高い5となる。例えば、時間変化検出部115Iにて得られた時間変化情報から次のフレーム画像Gが吸気に位置するとわかる場合、形状モデル適正評価部135Iは、現在のフレーム画像Gの形状モデルMがID2の時、次のフレーム画像Gの形状モデルMとしてID2を採用することに高評価を与え、ID1を採用することに低評価を与える。そして、形状モデル制御部130Iが当該評価情報を受けて、形状モデルMをID2からID2に変更(維持)する、所謂、第1のモデル変更処理を実施する。
<11−3.画像処理装置3Iの基本動作:第1のモデル変更処理>
続いて、図44は、第10実施形態に係る画像処理装置3I(図42参照)の動作フローを例示した図である。なお、図44のうち、ステップS102,S103,S105は図23のステップS142,S143,S145と同様であるため、その説明は省略する。
第4実施形態では存在しなかった優先度付変更パターン記憶部131Iが付加されたことで、下記の工程が変更される。
図44に示すように、まず、ステップS101において、制御部31Iの動画像取得部110が、撮像装置1の読取制御装置14によって撮影された動画像を、撮影制御装置2を介して取得するとともに、時間変化検出部115Iが、撮像装置1のサイクル検出部15から呼吸周期変化を取得し、心電計4の位相検出部41から心拍周期変化(時間変化情報C)を取得する。
そして、第4実施形態と同様の工程として、ステップS102〜S103を経て、図44で示されるように、ステップS104では、形状モデル適正評価部135Iが、ステップS101にて取得した時間変化に対応付けられた優先度付変更パターン情報C(図43参照)に基づいて評価情報を得た後、形状モデル制御部130Iが、当該評価情報に基づいて第1のモデル変更処理を実施し、変更された形状モデルMを用いたフィッティング処理を実施するように形状モデルフィッティング部120に指令を与え、ステップS102に移る。そして、残余の工程は第4実施形態と同様となる。
以上のように画像処理装置3Iでは、評価情報は時間変化に対応付けられた優先度付変更パターン情報Cであることにより、優先度付変更パターン情報Cを参照しながら第1のモデル変更処理を実施することが可能となる。これにより、肺野領域近接領域(横隔膜領域等)の周期変化に適合させて形状モデルを変更することができるため、フィッティング精度向上を可能にする。
<12.フレーム画像Gの処理方法>
動画像に含まれるフレーム画像Gを形状モデルフィッティング部120に入力し境界線付フレーム画像GFを対象領域抽出部140に出力する処理方法において、本発明の画像処理装置では、大別すると次の3つのケースを主に想定している。
(I)1フレーム画像G毎の処理
1つ目は、1枚のフレーム画像G毎に形状モデルフィッティング部120に入力し、1枚の境界線付フレーム画像GF毎に対象領域抽出部140に出力する処理である。すなわち、1フレーム画像G毎の処理であり、実施形態6,7,9,10において先述した画像比較情報(図29参照)、フィッティング履歴情報(図33参照)、位置関係情報(図39参照)、優先度付変更パターン情報(図43参照)などの評価情報に基づいて第1のモデル変更処理が実施される。この場合、これまでの処理情報だけ保持していればよいので、単純に逐次のフレーム画像G毎に処理することができる。
(II)動画データ一括処理
2つ目は、動画像に含まれる全てのフレーム画像Gを一括して形状モデルフィッティング部120に入力し(但し、フィッティング処理は順次行う)、境界線付フレーム画像GFを一括して対象領域抽出部140に出力する。すなわち、動画データ一括処理であり、フィッティング処理後、全ての境界線付フレーム画像GFをフィッティング結果記憶部125に格納した後、実施形態5,6,8,9において先述したフィッティング関数群(図26参照)、画像比較情報(図29参照)、位置形状変化情報(図36参照)、位置関係情報(図39参照)などの評価情報に基づいて第2のモデル変更処理が実施される。この場合、全ての境界線付フレーム画像GFのデータをフィッティング結果記憶部125にバッファしておくことで、時間方向の情報を十分使うことができる。
(III)押し出し処理
3つ目は、動画像に含まれるX1枚数のフレーム画像Gを形状モデルフィッティング部120に入力し、X1枚数のフレーム画像GのうちのX2枚数ずつフィッティング処理を行って、逐次的に境界線付フレーム画像GFを対象領域抽出部140に出力する。
例えば、動画像に含まれるフレーム画像Gの30枚分が形状モデルフィッティング部120に入力された場合は、最初の第1〜第5フレーム画像Gまでは時間方向の情報を使わずにフィッティング処理を行い、第6〜第25フレーム画像Gまでを、その第1〜第5フレーム画像Gのフィッティング処理結果(時間情報)を使って第1のモデル変更処理後、フィッティング処理を行う。そして、第26フレーム画像G以降はフィッティング処理を行わず保留しておく。
次に、第31〜第60フレーム画像Gまでの30枚分が形状モデルフィッティング部120に入力された場合は、第26〜第55フレーム画像Gまでを、第1〜第25フレーム画像Gのフィッティング処理結果(時間情報)を使って第1のモデル変更処理後、フィッティング処理を行う。そして、第56フレーム画像G以降はフィッティング処理を行わず保留しておく。
その後、後続するフレーム画像Gがないと判明していれば、第56〜第60フレーム画像Gまでは時間方向の情報を使わずにフィッティング処理を行う。
上述の処理例では30枚分ごとに行われたが、1フレーム画像G毎でもよい。また、この処理方法では、実施形態6,7,9,10において先述した画像比較情報(図29参照)、フィッティング履歴情報(図33参照)、位置関係情報(図39参照)、優先度付変更パターン情報(図43参照)などの評価情報に基づく第1のモデル変更処理だけでなく、実施形態5,6,8,9において先述したフィッティング関数群(図26参照)、画像比較情報(図29参照)、位置形状変化情報(図36参照)、位置関係情報(図39参照)などの評価情報に基づく第2のモデル変更処理も実施可能である。また、逐次的に処理ができ時間ロスが少ない本処理は、リアルタイム処理に適している。
<13.変形例>
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
※ 本実施形態では、画像処理装置3,3A,3B,3B’,3C〜3Iを個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。
※ 本実施形態におけるフィッティング処理(形状モデルフィッティング部120)では、境界線付フレーム画像GFを順次出力する構成であったが、これに限られず、“肺野領域(抽出領域)を切り出した画像”や“フィッティング関数Fのみ”を出力する構成であってもよい。したがって、本実施形態におけるフィッティング関数Fを少なくとも反映させた所定領域境界情報として、“境界線付フレーム画像GF”を指したが、これに限られず、“抽出領域を切り出した画像”や“フィッティング関数F”であってもよい。
なお、本実施形態では、フィッティング関数Fは“境界線付フレーム画像GFに付された境界線”によって表現(反映)されていたが、所定領域境界情報が“抽出領域を切り出した画像”である場合には“抽出領域を切り出した画像の縁”によってフィッティング関数Fを表現(反映)している。
※ この発明では、身体の撮影対象となる部分のうち、物理的状態が周期的に時間変化する肺野領域を抽出対象としたが、それは、肺野領域だけでなく、蠕動などの不随意運動を行う他の臓器であってもよく、また、筋肉や関節などの随意運動を行う領域であってもよい。また、肺野や心臓等の内臓領域に限られず、例えば、身体に入った異物などを抽出対象としてもよい。
※ 被写体は、人体だけでなく、動物の身体であってもよい。