JP5880332B2 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP5880332B2
JP5880332B2 JP2012165053A JP2012165053A JP5880332B2 JP 5880332 B2 JP5880332 B2 JP 5880332B2 JP 2012165053 A JP2012165053 A JP 2012165053A JP 2012165053 A JP2012165053 A JP 2012165053A JP 5880332 B2 JP5880332 B2 JP 5880332B2
Authority
JP
Japan
Prior art keywords
information
template
image
subject
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012165053A
Other languages
English (en)
Other versions
JP2014023640A (ja
Inventor
宏 大和
宏 大和
遠山 修
修 遠山
謙太 嶋村
謙太 嶋村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012165053A priority Critical patent/JP5880332B2/ja
Publication of JP2014023640A publication Critical patent/JP2014023640A/ja
Application granted granted Critical
Publication of JP5880332B2 publication Critical patent/JP5880332B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、人体または動物の身体が撮影された医用画像に対して、対象領域を抽出する画像処理技術に関する。
医療現場では、X線等を用いて内臓や骨格等に含まれる患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、X線等を用いて患部の動きを捉えた動画像を比較的容易に取得することが可能となっている。
そこでは、FPD(flat panel detector)等の半導体イメージセンサを利用し、対象部位を含む被写体領域に対し動態画像を撮影できるため、従来のX線撮影による静止画撮影及び診断では実施できなかった対象部位などの動き解析による診断を実施することが可能になってきた。例えば、胸部X線動態画像から肺野内の換気状態や血流状態から動態機能を定量解析することで疾病の診断や治療を支援(X線動画用CAD)する検討も実施されている。
そのため、動態画像を用いた医療診断において、対象領域の動き解析や診断を実施するにためには、対象領域である肺野領域を精度良く抽出する必要がある。
ところで、静止画像に対して対象領域を抽出する手法としては、下記のような手法が挙げられる。例えば、特許文献1及び特許文献2が開示する技術では、2値化処理やラベリング処理のような手法が提案されている。
また、特許文献3が開示する放射線画像撮影装置では、入力画像をアフィン変換してモデル画像とテンプレートマッチを行い、テンプレートとの対応点をアフィン変換した画像にマークした後に、画像を逆アフィン変換することで、単純にテンプレートを使用した場合より安定して胸郭部の検出が可能となる。
また、特許文献4が開示する肺領域のための2次元の統計的形状モデルを自動構成するための方法では、撮影画像から肺領域の形状標本を抽出し、形状アライメントアルゴリズムを用いることによって、全ての形状標本を所定のテンプレート形状に可能な限り近づけて位置合わせし、位置合わせされた形状標本を用いて主成分分析によって肺領域の統計的モデル形状を生成する。
さらに、特許文献5が開示する解剖学的構造物の構造検出技術では、部分構造情報抽出手段によって所定の構造物の一部分の構造を表す部分構造情報を抽出した後、構造変更モデルデータを作成し、該構造モデルデータを所定の構造物の全体的な構造を表す全体構造情報として取得する。
特開平09−035043号公報 特開平11−151232号公報 特開2004−81424号公報 特開2004−188201号公報 特開2005−198887号公報
しかしながら、動態画像に上記特許文献1−4の従来技術を適用し、対象領域(肺野領域)を抽出する場合においては、下記のような問題がある。すなわち、動態画像は低線量であるがためにノイズが多く画像が不鮮明画像であるため、上記特許文献1及び2の技術では、境界ギリギリまで正確に抽出することは困難であり、また、上記特許文献3及び4の技術においても、形状を合わせ込む(フィッティングさせる)ためのポイントを抽出することが困難である。このように、上記特許文献1−4のような静止画像を対象とした対象領域の抽出方法を実施しても、精度良く対象領域の抽出を行うことはできない。
また、一般的に抽出に用いられるテンプレート(例えば、上記特許文献3及び4等)は、単純に複数枚の画像から生成した平均画像や、単純なモデル画像を表現した画像(例えば白黒の画像)である。このため、動態画像に適用するにあたっては、少ないテンプレートで対応しようとすると、肺の大きさや心臓の大きさといった対象部位の形状に個人差があることにより、境界ギリギリまで抽出することは困難である。
さらに、画像より構造物の構造情報を推定する場合や撮影環境や線量が変わった場合は、多くのチューニングが必要となる。ここで、上記特許文献5では、健常者を被写体とする場合には、単純な形状差を修正するだけでよいことから有効な手段ではある。しかしながら、撮影情報が特殊条件における場合や本来存在するはずの構造がないなどの手術歴や病歴をもつ非健常者を被写体とする場合に対しては、上記特許文献5では対応することができない。このため、診断を実施するにあたって重要な非健常者の診断をサポートできないという課題がある。
本発明は、このような事情に鑑みてなされたものであり、人体または動物の内部を捉えた医用画像(動態画像を含む)から対象部位を抽出する際、通常と異なる撮影状況であっても、安定的且つ高速に抽出精度の向上を実現する画像処理技術を提供することを目的とする。
上記課題を解決するために、請求項1の発明は、人体または動物の身体を被写体とし該被写体における所定部位を一部に含ませて放射線撮影された医用画像を取得する画像取得手段と、前記放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報を取得する撮影情報取得手段と、前記撮影情報に基づいて、前記所定部位の境界を示すモデル情報を決定するモデル情報決定処理を実施するモデル情報制御手段と、前記モデル情報決定処理において決定されたモデル情報に基づいて、前記医用画像から前記所定部位を抽出する所定部位抽出処理を実施する抽出手段とを備え、前記所定部位抽出処理は、前記医用画像に対してテンプレートを用いてテンプレートマッチングを行い、前記所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、前記粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理とを含み、前記モデル情報は、前記テンプレート及び前記形状モデルのうち少なくとも一方を指示する情報を含み、前記粗抽出処理における前記テンプレートマッチングは、第1のテンプレートを用いた1段目テンプレートマッチングと、1段目テンプレートマッチングによるマッチング結果を利用して行う、前記第1のテンプレートで規定される領域を複数の領域に細分化した複数の第2のテンプレートを用いた2段目テンプレートマッチングとを含む画像処理装置である。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記撮影情報は、前記被写体の固有の情報を示す被写体固有情報、前記被写体の過去及び現在の状態を示す被写体状態情報、前記医用画像が撮影された環境を示す撮影環境情報、のうち少なくとも何れか1つの情報を含む。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記被写体固有情報は、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含む。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記被写体状態情報は、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含む。
また、請求項の発明は、請求項に記載の画像処理装置であって、前記撮影環境情報は、撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含む。
また、請求項の発明は、請求項ないし請求項のうち、いずれか1項記載の画像処理装置であって、前記モデル情報決定処理は、(a)予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、(b)直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理、及び/あるいは、前記所定数の増減を決定する処理、のうち少なくとも何れか1つの処理を含み、前記モデル情報は前記処理(a)あるいは処理(b)で決定された内容を含む。
また、請求項の発明は、請求項1ないし請求項のうち、いずれか1項記載の画像処理装置であって、前記所定部位は肺野領域を含み、前記モデル情報は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることを特徴とする。
また、請求項の発明は、画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータを、請求項1ないし請求項のうち、いずれか1項記載の画像処理装置として機能させるプログラムである。
請求項1ないし請求項に記載の画像処理装置では、放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報に基づいて、所定部位の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像から所定部位を抽出する所定部位抽出処理を実施する。これにより、撮影情報に応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
また、医用画像が動画像に含まれるフレーム画像である場合においては、最初の段階で精度の良いモデル情報を決定することができる。このため、該モデル情報を用いることで、時間方向においても安定して肺野領域抽出処理を実施することが可能となる。
請求項の発明によれば、所定部位抽出処理は、医用画像に対してテンプレートを用いてテンプレートマッチングを行い、所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、該粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理と、を含み、モデル情報は、テンプレート及び形状モデルのうち少なくとも一方を指示する情報を含む。これにより、テンプレートマッチング精度及びフィッティング精度のうち少なくとも一方が向上するため、撮影情報に対応して、より安定的に所定部位の抽出精度の向上を実現することが可能となる。
請求項の発明によれば、撮影情報は、被写体の固有の情報を示す被写体固有情報、被写体の過去及び現在の状態を示す被写体状態情報、医用画像が撮影された環境を示す撮影環境情報、のうち少なくとも何れか1つの情報を含む。これにより、被写体固有情報、被写体状態情報、撮影環境情報のうち少なくとも何れか1つの情報を考慮してモデル情報を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度のうち少なくとも一方が向上するため、所定部位の抽出精度がより向上する。
請求項の発明によれば、被写体固有情報は、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報および形状モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
請求項の発明によれば、被写体状態情報は、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報および形状モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、非健常者または非健常動物の身体を被写体とする場合であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
請求項の発明によれば、撮影環境情報は、撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報および形状モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、特殊条件下における撮影であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
請求項の発明によれば、モデル情報決定処理は、(a)予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、(b)直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理、及び/あるいは、前記所定数の増減を決定する処理、のうち少なくとも何れか1つの処理を含み、前記モデル情報は前記処理(a)あるいは処理(b)で決定された内容を含む。これにより、所定部位の形状が複雑な場合においても、所定部位の境界をより近似的に表現したモデル情報を決定することが可能となる。また、手術歴や病歴を有した被写体において、所定部位の形状あるいは位置が正常な被写体と比較して著しく異なる場合においても十分対応することが可能となる。このため、より安定的に所定部位の抽出精度の向上を実現することが可能となる。
請求項の発明によれば、所定部位は肺野領域であることにより、肺野領域の抽出精度の向上を実現することが可能となる。また、モデル情報は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることにより、肺野領域においてより適切なモデル情報を決定することができる。これにより、より安定的に肺野領域の抽出精度の向上を実現する。
請求項の発明によれば、請求項1から請求項に記載の発明と同じ効果を得ることができる。
各実施形態に係る放射線動態画像撮影システムの全体構成を示すブロック図である。 第1実施形態に係る画像処理装置3の機能構成を示すブロック図である。 放射線動態画像撮影によって撮影した動態画像を例示する図である。 被写体固有情報IOの一例を示す図である。 被写体固有情報IOの一例を示す図である。 フレーム画像G0の特徴を説明する図である。 画像補正部120の処理内容を説明する図である。 画像補正部120の処理内容を説明する図である。 画像補正部120の処理内容を説明する図である。 画像補正部120の処理内容を説明する図である。 入力画像IG0と粗抽出画像IG1とを示す模式図である。 肺野の形状や大きさを考慮したテンプレートの一覧を示す模式図である。 横隔膜及び心臓の形状や大きさの個人差を例示する模式図である。 後処理部でとりわけ補正が必要となる領域を例示する模式図である。 横隔膜テンプレートを例示する模式図である。 横隔膜テンプレートを生成する模式図である。 左右の肺野における高さの違いを説明する模式図である。 左横隔膜及び右横隔膜テンプレートを生成する模式図である。 2段階テンプレートマッチングを説明する模式図である。 心臓テンプレートを生成する模式図である。 心臓テンプレートマッチングを説明する模式図である。 肺尖部テンプレートを生成する模式図である。 肺尖部テンプレートマッチングを説明する模式図である。 大動脈弓を抽出する目的を説明する模式図である。 大動脈弓の個人差を例示する模式図である。 大動脈弓テンプレートを生成する模式図である。 大動脈弓が不鮮明な場合を例示する模式図である。 大動脈弓テンプレートマッチングを説明する模式図である。 粗抽出処理における初期値設定を行うための前処理を説明する模式図である。 テンプレートマッチングによる粗抽出処理を説明する模式図である。 入力画像IG0と粗抽出画像IG1と精密抽出画像IG2とを示す模式図である。 肺野領域のフィッティング関数の特徴及びフィッティング処理結果を説明する図である。 第1実施形態に係る全体処理を説明する模式図である。 第1実施形態において実現される画像処理装置3の基本動作を説明するフローチャートである。 第2実施形態に係る画像処理装置3Aの機能構成を示すブロック図である。 被写体状態情報ISを例示する模式図である。 第2実施形態に係る画像処理装置3A’の機能構成を示すブロック図である。 テンプレート加工部126A’によるテンプレートの加工処理を例示する図である。 第2実施形態において実現される画像処理装置3Aの基本動作を説明するフローチャートである。 第3実施形態に係る画像処理装置3Bの機能構成を示すブロック図である。 撮影環境情報IEの撮影方向について説明する図である。 撮影環境情報IEの強制呼吸及び自然呼吸について説明する図である。 第3実施形態において実現される画像処理装置3Bの基本動作を説明するフローチャートである。 第4実施形態に係る画像処理装置3Cの機能構成を示すブロック図である。 データベース51Cにおける階層化されたテンプレート情報の一例を示す概念図である。 第4実施形態において実現される画像処理装置3Cの基本動作を説明するフローチャートである。
<1.放射線動態画像撮影システムの全体構成>
本発明の実施の形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の放射線画像の撮影を行い、撮影された医用画像(放射線画像)から対象部位の抽出を行う。
以下の各実施形態では、「対象部位(所定部位)」を肺野領域として説明し、「医用画像」を後述の撮像装置1の読取制御装置14によって撮影された肺野領域の物理的状態(幾何学的形状や血流の濃度など)が時間変化する状態を時間順次に捉えた動画像に含まれるフレーム画像として説明する。
図1は、本発明の一実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図1に示すように、放射線動態画像撮影システム100(100A,100A’,100B,100C)は、撮影装置1と、撮影制御装置2(撮影用コンソール)と、画像処理装置3(3A,3A’,3B,3C)(診断用コンソール)と、心電計4とを備える。撮影装置1及び心電計4と、撮影制御装置2とが通信ケーブル等により接続され、撮影制御装置2と、画像処理装置3(3A,3A’,3B,3C)とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線動態画像撮影システム100(100A,100A’,100B,100C)を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
<1−1.撮影装置1の構成>
撮影装置1は、例えば、X線撮影装置等によって構成され、呼吸に伴う被写体Mの胸部の動態を撮影する装置である。動態撮影は、被写体Mの胸部に対し、X線等の放射線を繰り返して照射しつつ、時間順時に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像(動画像)と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
図1に示すように、撮影装置1は、照射部(放射線源)11と、放射線照射制御装置12と、撮像部(放射線検出部)13と、読取制御装置14と、サイクル検出部15と、サイクル検出装置16とを備えて構成されている。
照射部11は、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。図示例は人体用のシステムであり、被写体Mは検査対象者に相当する。以下では被写体Mを「被検者」とも呼ぶ。
放射線照射制御装置12は、撮影制御装置2に接続されており、撮影制御装置2から入力された放射線照射条件に基づいて照射部11を制御して放射線撮影を行う。
撮像部13は、FPD等の半導体イメージセンサにより構成され、照射部11から照射されて被検者Mを透過した放射線を電気信号(画像情報)に変換する。
読取制御装置14は、撮影制御装置2に接続されている。読取制御装置14は、撮影制御装置2から入力された画像読取条件に基づいて撮像部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部13に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置14は、取得した画像データ(フレーム画像)を撮影制御装置2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルスレートと一致している。
ここで、放射線照射制御装置12と読取制御装置14とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
サイクル検出部15は、被検者Mの呼吸サイクルを検出して撮影制御装置2の制御部21に出力する。また、サイクル検出部15は、被検者Mの呼吸サイクルを検出するサイクル検出センサ(不図示)と、サイクル検出センサにより検出された呼吸サイクルの時間を測定し制御部21に出力する計時部(不図示)とを備える。
<1−2.撮影制御装置2の構成>
撮影制御装置2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
図1に示すように、撮影制御装置2は、制御部21と、記憶部22と、操作部23と、表示部24と、通信部25とを備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)やRAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置2各部の動作や、撮影装置1の動作を集中制御する。
記憶部22は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、カラーLCD(Liquid Crystal Display)等のモニタにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプタやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−3.画像処理装置3(3A,3A’,3B,3C)の構成>
画像処理装置3(3A,3A’,3B,3C)は、撮像装置1から送信された動態画像を、撮影制御装置2を介して取得し、医師等が読影診断するための画像を表示する。
図1に示すように、画像処理装置3(3A,3A’,3B,3C)は、制御部31(31A,31A’,31B,31C)と、記憶部32と、操作部33と、表示部34と、通信部35とを備えて構成され、各部はバス36により接続されている。
制御部31(31A,31A’,31B,31C)は、CPU、RAM等により構成される。制御部31(31A,31A’,31B,31C)のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像処理装置3(3A,3A’,3B,3C)各部の動作を集中制御する(詳細は後述する)。
記憶部32は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部32は、制御部31で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部32は、後述する画像生成処理を実行するための画像生成処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31(31A,31A’,31B,31C)は、当該プログラムコードに従った動作を逐次実行する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部31(31A,31A’,31B,31C)に出力する。
表示部34は、カラーLCD等のモニタにより構成され、制御部31(31A,31A’,31B,31C)から入力される表示信号の指示に従って、操作部33からの入力指示、データ、及び、後述する表示用画像を表示する。
通信部35は、LANアダプタやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−4.情報蓄積装置4の構成>
図1に示すように、情報蓄積装置4(4A,4C)は、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、カルテ情報記憶部41(41A,41C)を備えて構成され、制御部31(31A,31A’,31C)とはバス36を介してデータの送受信を行う。カルテ情報記憶部41(41A,41C)には、被写体Mに関する撮影情報が予め記憶されている(詳細は後述する)。
<1−5.情報蓄積装置5の構成>
図1に示すように、情報蓄積装置5(5A,5B,5C)は、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、データベース(テンプレート記憶部)51(51A,51B,51C)を備えて構成され、制御部31(31A,31A’,31B,31C)とはバス36を介してデータの送受信を行う。データベース51(51A,51B,51C)には、想定される撮影情報を考慮したテンプレートが予め記憶されている(詳細は後述する)。
<2.第1実施形態>
本発明の第1実施形態における放射線動態画像撮影システム100の画像処理装置3は、撮影情報(被写体固有情報)を考慮して、肺野領域の抽出処理を行う。
以下では、画像処理装置3で実現される機能的な構成について説明する。
<2−1.画像処理装置3の機能構成>
図2は、放射線動態画像撮影システム100における画像処理装置3において、CPU等が各種プログラムに従って動作することにより制御部31で実現される機能構成を他の構成とともに示す図である。この実施形態の画像処理装置3は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
制御部31は、主に、画像取得部110と、撮影情報(被写体固有情報)取得部115と、画像補正部120と、粗抽出決定部130と、モデル情報制御部135と、精密抽出決定部140と、後処理部150と、粗抽出処理内容制御部160と、対象部位抽出部170と、から構成される。
以下では、図2で示されたような制御部31の機能的な構成が、あらかじめインストールされたプログラムの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
以降、画像取得部110、撮影情報(被写体固有情報)取得部115、画像補正部120、粗抽出決定部130、精密抽出決定部140、後処理部150、モデル情報制御部135、粗抽出処理内容制御部160、対象部位抽出部170が行う各処理についての具体的内容を、図2を参照しながら順次説明する。
<2−1−1.画像取得部110>
画像取得部110では、人体または動物の身体を被写体とし該被写体における肺野領域(所定部位)を一部に含ませて放射線撮影された動画像(医用画像)を取得する。
なお、図2は、撮像装置1と画像処理装置3との間に、撮影制御装置2が介在し、撮影制御装置2の記憶部22に記憶された検出データが通信部25を介して、画像処理装置3の通信部35に出力される。
図3は、呼吸に伴う被検者Mの胸部の動態に対し、放射線動態画像撮影によって撮影した動画像を例示する図である。図3で示されるように、画像取得部110により取得されたフレーム画像G0(1)〜G0(10)は、呼吸サイクルの1周期を一定の撮影タイミングで連続撮影されたものである。具体的には、時刻 t=t1, t2, t3, …, t10 の撮影タイミングにおいて撮影された画像が、フレーム画像G0(1),G0(2),G0(3),…,G0(10)にそれぞれ対応している。
従来は、肺野内の換気状態や血流状態を診断する目的で肺野内の動態機能データを定量的に解析するには、大掛かりな装置による造影撮影が必要であったが、近年は本発明に係る放射線動態画像撮影システム100のように、造影剤無しの放射線動画像(図3参照)の取得が可能である。
しかしながら、これらのフレーム画像G0の精細な解析を行うためには、まず、肺野領域を正確に抽出し、肺野内を詳細に解析することが重要であるが、取得したフレーム画像G0の特徴としては、以下の問題がある。まず、(i)胸部単純撮影と比較して数枚分の被曝量であるというように低線量であるため、ノイズが多く不鮮明である。また、(ii)被写体は非健常者が中心であるため、異状が多く局所的な形状が様々である。さらに、(iii)動画が対象であるため、時間方向のバラつきが発生し、静止画像抽出処理のみでは安定しない。
そこで、本発明の以下の工程(画像補正部120、粗抽出決定部130、精密抽出決定部140、後処理部150)では、動画像から肺野領域(対象部位)を抽出する際、強調処理による画像補正を行った後、テンプレートマッチングで大まかに抽出(粗抽出)する処理を実施し、抽出された候補領域に対し、詳細に解析(精密抽出)後、後処理(フィッティング処理)をすることで、抽出精度の向上を実現するようにする。
<2−1−2.被写体固有情報取得部115>
撮影情報(被写体固有情報)取得部115では、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報を、情報蓄積装置4におけるカルテ情報記憶部41から取得する(図2参照)。本実施形態におけるカルテ情報記憶部41に記憶された撮影情報とは、被写体Mの固有の情報を示す被写体固有情報IOを指し、具体的に被写体固有情報IOとは、性別、年齢、胸囲、体重、身長、肺活量等のうち少なくとも何れか1つの情報を指す。
そして、撮影情報取得部115は、該被写体固有情報IOを後述のモデル情報制御部135におけるモデル選択部125に入力する。
以下では、カルテ情報記憶部41に格納された被写体固有情報IOについて具体的に説明する。
<2−1−2−1.性別情報>
図4及び図5は、被写体固有情報IOの一例を示す図であり、横隔膜形状の特徴が男性か女性かにより異なることを説明する模式図である。なお、図4(a)及び図5(a)は女性の場合のサンプル画像SGを示し、図4(b)及び図5(b)は男性の場合のサンプル画像SGを示す。
ここで、一般的に、肺の重さは、男性が平均約1060g、女性が平均約930gであることが知られており(例えば、“リウマチと友にリウマチとつきあう生活”[平成24年6月25日(月)検索]、インターネット<URL:http://www.amm55.com/zouki.html>等参照)、心臓に関しては、女性の心臓の大きさは男性の心臓のおよそ2/3であり、冠動脈も細いことが知られている (例えば、天野恵子、外1名、“循環器領域における性差医学”[平成24年6月25日(月)検索]、インターネット<URL:http://www.syg.co.jp/public/jcs_press05/pdf/round_05.pdf>等参照)。
図4で示されるように、図4(a)の女性の場合では、図4(b)の男性の場合と比較して、肺野や心臓の大きさが小さいことが見て取れる。このため、男性の場合と比較して女性の場合は、肺野形状は小さく且つ左右の肺野間の距離が狭い特徴を有する(図4(a)及び図4(b)参照)。
一方、女性の場合は男性と比較して、胸の大きさによる脂肪分により放射線が透過しにくく、図5(a)で示されるように、肋横角付近W1,W2に、虚偽の線L1,L2が入るためエッジ検出を誤る可能性がある。これに対して、一般的な男性の場合(ただし、胸の大きな力士や肥満体型等の男性を除く)は、上記のような点は問題とならず、図5(b)で示されるように、肋横角付近M1,M2の適切な位置にエッジが立つため、正確にエッジが検出される。
このように、被写体固有情報取得部115では、肺野の形状や状態等に大きく依存する性別情報を取得することが好ましい。
<2−1−2−2.年齢情報、胸囲情報、体重情報、身長情報、肺活量情報>
性別以外にも肺野の形状や状態に大きく依存するファクタとして、年齢情報、胸囲情報、体重情報、身長情報、肺活量情報等が挙げられる。
例えば、年齢に関しては、幼児と子供と大人とでは、肺野や心臓の大きさが異なり、また、年齢を積む毎に肺も固くなって膨らみにくくなる特徴がある。
また、胸囲に関しては、胸廊の大きさの最も簡にして要を得た表現法であり(例えば、太田俊雄、“胸腔容積に関する研究”、[平成24年6月25日(月)検索]、インターネット<URL:http://dspace.lib.kanazawa-u.ac.jp/dspace/bitstream/2297/13348/1/AN00044397-061-046.pdf>参照)、胸囲の情報をもとに、肺野全体の大きさを推定することが可能である。
さらに、肺活量情報からも肺の大きさを推定することも可能であり、以下2つの方法が挙げられる。
(方法1)予測肺活量(体重・身長・性別・年齢)
年齢、性別、身長、体重により予測肺活量を算出し、肺の大きさを推定することが可能である。例えば、下記記載の予測肺活量の計算式を用いて推定することが可能である(例えば、“肺移植希望者(レシピエント)選択基準”[平成24年6月25日(月)検索]、インターネット<URL:http://www.jotnw.or.jp/jotnw/law_manual/pdf/rec-lungs.pdf>等参照)。
男性: 予測肺活量(L)=0.045× 身長(cm)−0.023×年齢−2.258
女性: 予測肺活量(L)=0.032× 身長(cm)−0.018×年齢−1.178
(方法2)肺活量
実際に肺活量の検査により、肺から出入りする空気の量を測って、肺の大きさを推定することができる(例えば、羽島市民病院、“肺の検査”[平成24年6月25日(月)検索]、インターネット<URL:http://www.hashima-hp.jp/bumon/kensa/link_kokyuu.htm>等参照)。
このように、被写体固有情報取得部115では、性別情報の他、年齢情報、胸囲情報、体重情報、身長情報、肺活量情報等も取得することが好ましい。
<2−1−3.画像補正部120>
画像補正部120では、画像取得部110において取得される動画像におけるフレーム画像G0に対して補正処理を実施することで、次処理(粗抽出決定部130)で用いられる補正後のフレーム画像IG0を粗抽出決定部130に出力する(図2参照)。
図6は、フレーム画像G0の特徴を説明する図である。図6(a)はフレーム画像G0であり、図6(b)は横軸のフレーム画像G0の背景領域R1(図6(a)参照)における濃淡値に対して、縦軸がその頻度(%)を示すヒストグラムであり、図6(c)は横軸のフレーム画像G0のプロファイル領域R2(図6(a)参照)の縦方向の座標に対して、縦軸が濃淡値を示すグラフである。
取得したフレーム画像G0の特徴としては、以下のような特徴がある。すなわち、(1) 図6(b)で示されるように、対象物が何も存在しない背景領域R1においても、ノイズが多く存在しており、一般的な静止画像に比べ画像全体でノイズ多いという特徴がある。このため、画像全体(肺野内全体)においてS/N比が悪くなる傾向にある。(2) 一方、図6(c)で示されるように、肺野内には、余分な情報(肋骨・血管といった構造物)が存在し、その肺野内の構造物にバラツキあるという特徴がある。このため、エッジが不鮮明となり、肺野領域の抽出処理に影響を与える可能性が高くなる。(3) また、肋横角領域(横隔膜の両端の領域)においては、肋横角付近の濃淡が、肺野内よりも肺野外の周辺濃淡値に近く、心臓領域においては、心臓領域と肺野の境界不鮮明であり、胸郭領域においては、胸郭付近の肺野内外の濃淡値が小さくなるという特徴を有する。
そこで、これらの問題点を軽減する為に、上記ノイズを削減し、且つ、肺野内の構造物の影響を軽減するような処理として、肺野領域を明瞭にするいわゆる「強調処理」を実施する。
図7は、画像補正部120において実施する強調処理方法を説明する図である。図7(a)はフレーム画像G0を示し、図7(b)はこのフレーム画像G0に対してノイズ削減処理を施した後のフレーム画像G1を示す。そして、図7(c)はフレーム画像G1の所定の領域に対するエリア内強調処理を施した後のフレーム画像G2を示し、図7(d)はフレーム画像G2の全体領域に対する全体強調処理を施した後のフレーム画像IG0を示す。また、図7(b)〜図7(d)の下段にはそれぞれ、横軸を肺野領域における濃淡値とし、縦軸をその頻度(%)とするヒストグラムを示している。
図7(b)〜図7(d)で示されるヒストグラムからわかるように、図7(b)ではノイズが多く、濃淡値が大きい白の領域が少ないものの、強調処理による画像処理を施すことで、図7(c)、図7(d)ではノイズが軽減され白(濃淡値が大)の領域が増加している様子がわかる。
以下では、画像補正部120が行う工程について順次説明する。
<2−1−3−1.ノイズ削減処理>
画像補正部120が最初に行う工程は、画像全体に存在するノイズを削減する目的としてノイズ削減処理を実施する。ノイズ削減処理として、例えば、フレーム画像G0からフレーム画像G1に縮小する縮小処理(図7(a)から図7(b)の処理)や平均値フィルタをかける処理等が挙げられる。例えば、縮小処理を実施する場合、その縮小方法は、選択エリア内の平均の画素値(濃淡値)でも良いが、選択エリア内の最大の画素値を選択して縮小するようにしても良い。なお、ここでいう最大の画素値とは、肺野内領域における画素値が用いられる。
図8は、選択エリア内の最大の画素値を選択して縮小する処理内容を説明する図である。図8(a)はフレーム画像G0及び選択エリアR3を示す図であり、図8(b)はフレーム画像G0の選択エリアR3の拡大図であり、選択エリアR3内の最大の画素値Pmを示す図である。図8(c)はフレーム画像G0及びエリアR4を示す図であり、図8(d)はフレーム画像G0のエリアR4の拡大図であり、図8(e)はフレーム画像G0のエリアR4に対する縮小処理後のフレーム画像G1のエリアR4を示す拡大図である。
図8で示されるように、最大の画素値Pmを選択することにより(図8(b)参照)、肺野内の最小値側の画素値(すなわち、ノイズ)を削減することができるため、肺野内の濃度を強調可能にし、肺野内のノイズの影響を低減できる効果を奏する(図8(d)及び図8(e)参照)。なお、最大の画素値Pm側のノイズが拡大される場合は、スムージングを実施するようにしても良い。
<2−1−3−2.エリア内強調処理>
続いて、画像補正部120は、肺野内の構造物の影響低減を実施する為ために、エリア内強調処理(図7(b)から図7(c)の処理)を実施する。具体的に、エリア内強調処理の方法としては、所望の固定領域に対してヒストグラムの強調処理を実施しても良いが、よりロバスト性を求める場合は、入力画像(フレーム画像G1)のプロファイルの特性に応じて矩形を変更しても良い。
図9は、エリア内強調処理における矩形範囲の選択方法の一例を説明する図である。図9で示されるように、縦方向のプロファイルは、フレーム画像G1のY座標に対する累積濃淡値を示し、横方向のプロファイルは、フレーム画像G1のX座標に対する累積濃淡値を示す。それぞれのプロファイルにおける変化点Px1,Px2,Py1,Py2を抽出し、これらの変化点Px1,Px2,Py1,py2により矩形範囲R5を決定することができる。
<2−1−3−3.全体強調処理>
画像補正部120の最後の工程として、肺野内の構造物の影響を低減するために、画像全体の強調処理(図7(c)から図7(d)の処理)を実施する。
例えば、固定の閾値を設け、その閾値により強調処理を実施する。図10は、全体強調処理の一例を説明する図であり、図10(a)はフレーム画像G2とヒストグラム(図7(c)と同様)を示し、図10(b)は補正後のフレーム画像IG0とヒストグラム(図7(d)と同様)を示す。図10では、白の画素値を固定の閾値として強調処理を実施した場合の結果であり、図10(a)のフレーム画像G2では、肺野領域を含め全体的に黒の領域が多かったのに対し、全体強調処理を施した図10(b)の補正後のフレーム画像IG0では、肺野領域を含め全体的に白の領域が強調されていることがわかる。また、図10(b)のヒストグラムにおいても、横軸の濃淡値が小さい黒側の頻度が図10(a)のヒストグラムに比べて減少している様子が見て取れる。
このような固定の閾値により全体強調処理を実施する方法だけでなく、別の方法により閾値を設定しても良い。例えば、フレーム画像G2全体の累積ヒストグラムを算出し、その累積率から閾値を決定してもよいし、また、算出した累積ヒストグラムに加え、上記で設定したエリアR5(図7参照)の面積に基づいて累積率の閾値を変動させる方法により実施してもよい。
<2−1−4.粗抽出決定部130>
粗抽出決定部130では、動画像に基づく時間的に連続した第1〜第nのフレーム画像(nは2以上の整数)に対して、第1〜第nのテンプレートを用いてそれぞれテンプレートマッチングを行い、肺野領域(所定部位を含む領域)を粗く抽出し、第1〜第nの粗抽出領域を順次決定する粗抽出処理を行う。ここでいう動画像に基づく時間的に連続した第1〜第nのフレーム画像とは、画像補正部120において補正されたフレーム画像IG0を指す。すなわち、粗抽出決定部130における粗抽出処理は、先見的知識を用いて巨視的に捉えることで、大外れをなくす処理であり、部位候補位置をモデルベースの手法の1つであるテンプレートマッチングにより実施する。
図11は、粗抽出決定部130における粗抽出処理について説明する図であり、図11(a)は入力画像であるフレーム画像IG0を示し、図11(b)は出力画像である粗抽出画像IG1を示す。すなわち、粗抽出決定部130は、第1のフレーム画像IG0(1)〜第nのフレーム画像IG0(n)に対して、第1の粗抽出画像IG1(1)〜第nの粗抽出画像IG1(n)の出力画像を順次出力する。ここで、第1〜第nの粗抽出画像IG1(1)〜IG1(n)における第1〜第nの粗抽出領域は、それぞれ、図11(b)で示されるように、肺野領域の内部であることが確定される領域の情報を含む肺野内確定領域(所定部位内確定領域)RIと、肺野領域の外部であることが確定される領域の情報を含む肺野外確定領域(所定部位外確定領域)ROと、肺野領域の内部または外部であることが未確定な領域の情報を含む肺野未確定領域(所定部位未確定領域)RUと、を有する領域である。
このように、粗抽出処理は、次工程の精密抽出決定部140にて実施する精密抽出処理を行うにあたり、肺野内確定領域RIと肺野外確定領域ROとをできるだけ増やすことで、肺野未確定領域RUの切り分けを容易にすることを目的として実施する。
これにより、第1〜第nの粗抽出領域において肺野未確定領域RUを可変設定することが可能となり、適切に肺野未確定領域RUを設定することにより次工程の精密抽出処理を比較的短時間で行い、かつ、より正確な精密抽出領域を決定することを可能にする。
図12は、粗抽出処理で用いられる肺野の形状や大きさを考慮したテンプレートの一覧を示す模式図である。また、図13は、横隔膜及び心臓の形状や大きさの個人差を例示する模式図であり、図14は、後処理部でとりわけ補正が必要となる領域(精密抽出処理が苦手とする領域)を例示する模式図である。本実施形態で抽出する肺野領域は、入力画像IG0において、次のような特徴を有する。
すなわち、(I)肺野全体としては、肺野の縦サイズが大きく異なり(図13(a)〜図13(c)参照)、肺野内部に境界候補が多く存在する。(II)横隔膜としては、左右位置のバリエーションが多く、心臓幅によって、横隔膜の見え幅が異なる(図13(d)〜図13(f)参照)。(III)心臓においては、境界が不鮮明であり(図14(a)参照)、鎖骨や肋骨等の領域においては、エッジの強い部分を肺野境界(肺尖部)と誤認する恐れがある(図14(b)参照)。(IV)肋横角においては、境界が不鮮明で体表との距離が近く、(V)大動脈においては、人それぞれによる形状が異なる。
このような特徴があることから、本発明では、単純に肺野全体のテンプレート処理により抽出するのではなく、図12で示されるように、各主要な部分毎にテンプレートマッチング処理を実施し、テンプレートと対象部位との形状違いや上述の肺野領域の特徴(図13及び図14参照)を考慮して、テンプレートで巨視的な形状を捉える。
以上のように、本実施形態における第1〜第nのフレーム画像IG0で用いる第1〜第nのテンプレートは、それぞれ、領域S1,S2R,S2Lにおける横隔膜の形状を各々表現した横隔膜テンプレートT1,T2R,T2L(図12(a)及び図12(b)参照)と、領域S3における心臓の形状を表現した心臓テンプレートT3(図12(c)参照)と、領域S4R,S4Lにおける肺尖部の形状を各々表現した肺尖部テンプレートT4R,T4L(図12(d)参照)と、領域S5における大動脈弓の形状を表現した大動脈弓テンプレートT5(図12(e)参照)と、の組合せで肺野領域の巨視的な形状を捉える。
なお、テンプレートマッチング処理を行う順番は、横隔膜テンプレートT1、横隔膜テンプレートT2R,T2Lまたは肺尖部テンプレート4R,T4L、心臓テンプレートT3または大動脈弓テンプレートT5の順番にてマッチングさせることが好ましい。これより、肺野領域の抽出をより正確に行うことが可能となる。
<2−1−4−1.データベース(テンプレート記憶部)51>
続いて、粗抽出決定部130にて用いるテンプレートを格納するデータベース(テンプレート記憶部)51について説明する。データベース51では、本実施形態に係るテンプレートが上述した各部位ごとの形状の個人差に対して被写体固有情報IOに基づいてグループ分けされて格納されている。すなわち、被写体固有情報取得部115にて取得される被写体固有情報IOを考慮したテンプレートが予め準備され、各テンプレートには、性別、年齢、胸囲、体重、身長、肺活量等に関係する情報を示す属性情報が予め付されてグループ別にデータベース51に格納されている。
例えば、被写体固有情報IOが「性別」の場合については、性別を基に作成したテンプレートを準備する。前述の図4及び図5の例で説明すると、横隔膜テンプレートT1のうち、図4(a)及び図5(a)には「女性」という属性が予め付されており、図4(b)及び図5(b)には「男性」という属性が予め付されてデータベース51にそれぞれグループ別に格納されている。また、図5(a)で示されるように、女性の場合は、肋横角付近W1,W2に虚偽の線L1,L2が出現する可能性があるため、通常と異なる位置にエッジが立つことを想定したテンプレートを複数用意し、例えば「女性・エッジ」といった属性情報を予め付与してデータベース51に格納することも可能である。
また、被写体固有情報IOが「年齢」の場合については、上述の通り、年齢により心臓の大きさや肺そのものの大きさが異なることから、年齢情報を基に作成したテンプレートを準備する。グループ分けとしては、少なくとも幼児・子供・大人の3パターンは用意することが好ましく、3パターン以上詳細にグループ分けして用意することがより好ましい。この際、「幼児」「子供」「大人」のほか、「10代」「20代」などの属性が予め付されてデータベース51にそれぞれグループ別に格納されている。
また、被写体固有情報IOが「胸囲」の場合についても、胸囲情報を基に作成したテンプレートを準備する。グループ分けとしては、例えば、70cm代、80cm代、90cm代等にグループ分けして作成したテンプレートを用意することがより好ましい。この際、「70cm代」「80cm代」「90cm代」などの属性が予め付されてデータベース51にそれぞれグループ別に格納されている。
さらに、被写体固有情報IOが「体重」「身長」「肺活量」等であり、これらの情報から肺の大きさを推定した場合についても、肺の大きさの推定結果をもとに、グループ分けして作成したテンプレートを用意することがより好ましい。この際、「推定結果1」「推定結果2」「推定結果3」などの属性が予め付されてデータベース51にそれぞれグループ別に格納されている。
以上のように、データベース51には、性別、年齢、胸囲、体重、身長、肺活量等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。例えば、後述する図45に示すように、属性に基づき階層構造にグループ分類された領域に格納するようにしてもよい。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
以下では、具体的な各部位のテンプレート及び粗抽出処理を部位毎に説明する。
<2−1−4−2.横隔膜における粗抽出処理>
横隔膜の位置及び形状の特徴としては、肺野や心臓の大きさが異なるため、横隔膜の形状が異なるとともに、横隔膜の位置が左右で異なるという課題がある。そこで、本実施形態では、横隔膜の形状の差異に対して、縦横変倍の複数テンプレートを用いることで対応し、横隔膜の左右の位置関係については、左右独立のテンプレートを用いることで対応を行う。そして、横隔膜のテンプレートマッチングにおいて、粗抽出決定部130が、縦横変倍の複数テンプレート及び左右独立のテンプレートを用いて、順次にそれぞれマッチングさせることで、テンプレートマッチング処理を行う(以下「2段階テンプレートマッチング」と称する)。
<2−1−4−2−1.縦横変倍の複数テンプレートの生成方法>
図15は、本発明で予め準備する縦横変倍の複数テンプレートを例示する図である。図15(a)〜図15(d)はサンプル画像SGであり、図15(e)〜図15(h)は図15(a)〜図15(d)のサンプル画像SGの横隔膜の形状を各々表現した横隔膜テンプレートT11〜T14を模式的に示す図である。
図15で示されるように、横隔膜の形状にはかなりの個人差があり、とりわけ心臓の大きさにより横隔膜の形状が異なる。したがって、サンプル画像SGに対してパターンの分類を行うことにより作成する。作成ポイントとしては、心臓の大きさにより分類し、作成する。
図16は、4種類の縦横変倍の複数テンプレートを生成する方法の一例を説明する概念図である。図16で示されるように、まず、サンプル画像SGの横隔膜を含む領域S1を指定し(図16(a)参照)、指定した領域S1を手動で切り出す(図16(a)参照)。そして、テンプレート生成用のサンプル画像SG(図16(c)参照)に対しても同様に、指定した領域S1を手動で各々切り出す(図16(d)参照)。図16(d)において指定した領域S1のグループ分けした4種類毎の平均画像(各種類毎に図16(d)で示す切り出し画像の平均により得られる画像)により4種類の横隔膜テンプレートT11〜T14を生成する(図16(e)参照)。
<2−1−4−2−2.左右独立のテンプレートの生成方法>
図17は左右の肺野における高さの違いを説明する模式図である。図17で示されるように、左右肺の高さに違いがある場合もあることから、上記の横隔膜テンプレートT11〜T14だけでは、正確に横隔膜の位置を特定することができない。
そこで、本発明では、左右別々の横隔膜テンプレートを作成する。この時の作成ポイントとしては、肺野大きさが異なることを考慮し、切り出した横隔膜に対し、正規化処理により大きさを統一したものを作成する。
図18は左側横隔膜及び右側横隔膜テンプレートを生成する方法の一例を説明する概念図である。図18で示されるように、まず、サンプル画像SGの横隔膜を含む左側領域S2L及び右側領域S2Rを指定し(図18(a)参照)、指定した左側領域S2L及び右側領域S2Rを手動で切り出す(図18(b)参照)。そして、図18(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した左側領域S2L及び右側領域S2Rを手動で各々切り出す(図18(d)参照)。図18(d)において指定した、左側領域S2Lのグループ分けした4種類毎の平均画像により横隔膜テンプレートT2L1〜T2L4を生成し、右側領域S2Rのグループ分けした4種類毎の平均画像により横隔膜テンプレートT2R1〜T2R4を生成する(図18(e)参照)。
<2−1−4−2−3.2段階テンプレートマッチング>
粗抽出決定部130では、横隔膜のテンプレートマッチングにおいて、予め準備した、縦横変倍の複数の横隔膜テンプレートT11〜T14及び左右独立の横隔膜テンプレートT2L1〜T2L4,T2R1〜T2R4を用いて、フレーム画像IG0の横隔膜領域に対して順次にマッチングさせることで2段階テンプレートマッチングを行う。
図19は、2段階テンプレートマッチングを説明する模式図である。図19で示されるように、まず、図19(a)の縦横変倍の複数の横隔膜テンプレートT11〜T14と、図19(b)の左右独立の横隔膜テンプレートT2L1〜T2L4及びT2R1〜T2R4とを予め準備する。次に、フレーム画像IG0に対して横隔膜テンプレートT1(T11〜T14)を用いて第1のテンプレートマッチングを行い、テンプレート一致結果に対し中心ラインCLを決定し、当該中心ラインCLで左右の肺野の切り分けを行う(図19(c)参照)。そして、切り分けられた左右の探索領域をベースにして、横隔膜テンプレートT2L(T2L1〜T2L4)及びT2R(T2R1〜T2R4)を用いて、第2のテンプレートマッチングを行う(図19(d)参照)。図19で示されるような左右の肺野の高さが異なる場合は、第1のテンプレートだけでは精度が低いが、このような第2のテンプレートを活用することで一致度が高くなる。
このように実施した2段階テンプレートマッチングの結果に基づいて、横隔膜領域に対して、肺野内確定領域RIと肺野外確定領域ROと肺野未確定領域RUとの切り分けを行う。
<2−1−4−3.心臓における粗抽出処理>
心臓の位置及び形状の特徴としては、呼吸と異なる時間的変化となるため、作成した横隔膜テンプレートと完全に一致するとは限らない。したがって、呼吸の周期と心拍の周期とを切り分け対応するために心臓テンプレートを予め準備しておく必要がある。
<2−1−4−3−1.心臓テンプレートの生成方法>
本発明の粗抽出処理で予め準備する心臓テンプレートは、横隔膜(図15参照)と同様に、サンプル画像SGに対してパターンの分類を行うことにより生成する。作成ポイントとしては、スケールは、変倍にしても良いが、上記横隔膜テンプレートT11〜T14で算出された倍率サイズを活用しても良い。
図20は、心臓テンプレートを生成する方法の一例を説明する概念図である。図20で示されるように、まず、サンプル画像SGの心臓を含む領域S3を指定し(図20(a)参照)、指定した領域S3を手動で切り出す(図20(a)参照)。そして、図20(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した領域S3を手動で各々切り出す(図20(d)参照)。図20(d)において指定した領域S3のグループ分けした4種類毎の平均画像により心臓テンプレートT31〜T34を生成する(図20(e)参照)。
<2−1−4−3−2.心臓テンプレートマッチング>
図21は、心臓テンプレートT3(T31〜T34)によるテンプレートマッチング方法を説明する模式図である。図21で示されるように、心臓テンプレートマッチングの方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行い(図19(c)及び図19(d)参照)、抽出された左肺の横隔膜位置の情報をベースに、心臓テンプレートT3(T31〜T34)(図20(e)参照)を用いて心臓の位置及び形状を探索する。具体的には、横隔膜の位置に対し、オフセットを加えた範囲SRに対してテンプレートマッチングを行う。つまり、横隔膜の探索結果とリンクした形で行うことで、より位置関係を精度よく抽出することができる。
<2−1−4−4.肺尖部における粗抽出処理>
肺尖部の位置及び形状の特徴としては、鎖骨や肋骨等のエッジの強い部分の影響を受けやすいため、鎖骨を含むように、肺尖部のテンプレートを準備しておく必要がある。
<2−1−4−4−1.肺尖部テンプレートの生成方法>
本発明の粗抽出処理で予め準備する肺尖部テンプレートは、上記横隔膜や心臓のように複数個のテンプレートを生成しても良いが、大きさの違いに関しては、縦横変倍のテンプレートで対応することができる。また、この領域で最も個人差のある鎖骨の傾きを考慮して複数のパターンのテンプレートを生成するようにしてもよい。
図22は、肺尖部テンプレートを生成する方法の一例を説明する概念図である。図22で示されるように、まず、サンプル画像SGの肺尖部を含む左側領域S4L及び右側領域S4Rを指定し(図22(a)参照)、指定した左側領域S4L及び右側領域S4Rを手動で切り出す(図22(b)参照)。そして、図22(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した左側領域S4L及び右側領域S4Rを手動で各々切り出す(図22(d)参照)。図22(d)において指定した、左側領域S4Lの所定枚数(例えば50枚)の平均画像により肺尖部テンプレートT4Lを生成し、右側領域S4Rの所定枚数(例えば50枚)の平均画像により肺尖部テンプレートT4Rを生成する(図22(e)参照)。
<2−1−4−4−2.肺尖部テンプレートマッチング>
図23は、肺尖部テンプレートT4L及びT4Rによるテンプレートマッチング方法を説明する模式図である。図23で示されるように、肺尖部テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行った後(図19(c)及び図19(d)参照)、抽出された左右横隔膜位置情報をベースに、肺尖部テンプレートT4L及びT4Rを用いて肺尖部の位置及び形状を探索する。具体的には、左右横隔膜位置より上部に、肺尖部テンプレートT4Lによる探索領域SL及び肺尖部テンプレートT4Rによる探索領域SRを設け、テンプレートマッチングを行う。また左右の位置関係も横隔膜の位置関係により限定することで、より精度の高いマッチングを行うことができる。
<2−1−4−5.大動脈弓における粗抽出処理>
肺野領域の抽出時に、大動脈弓が肺野内に含まれると、血流が多く流れていることから肺野内の血流の信号値に影響を与えるため、血流解析に悪影響を与える可能性が高い。
図24は大動脈弓を抽出する目的を説明する模式図であり、フレーム画像IG0と大動脈弓が含まれる領域S5を示す。図24で示されるように、大動脈弓の上部P5にエッジが立っていることが多くあり、肺野抽出の精度に大きく影響を与える可能性があるが、大動脈弓の形状この特徴を抽出しきれないという問題がある。そこで、大動脈弓が肺野内に含まれないようにするため、大動脈弓テンプレートを用いてテンプレートマッチングにより肺野外の領域として設定する必要がある。
<2−1−4−5−1.大動脈弓テンプレートの生成方法>
図25は大動脈弓の個人差を例示する模式図である。図25で示されるように、大動脈弓の位置及び形状の特徴においても、人それぞれにより異なる傾向がある。そこで、本発明の粗抽出処理で予め準備する肺尖部テンプレートにおいても、スケールを変えたり、複数パターンを用意したりすることで対応することが望ましい。
図26は、大動脈弓テンプレートを生成する方法の一例を説明する概念図である。図26で示されるように、まず、サンプル画像SGの大動脈弓を含む領域S5を指定し(図26(a)参照)、指定した領域S5を手動で切り出す(図26(b)参照)。そして、図26(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した領域S5を手動で各々切り出す(図26(d)参照)。図26(d)において指定した領域S5の所定枚数の平均画像により大動脈弓テンプレートT5を生成する(図26(e)参照)。
<2−1−4−5−2.大動脈弓テンプレートマッチング>
図27は、大動脈弓テンプレートT5によるテンプレートマッチング方法を説明する模式図である。図27で示されるように、大動脈弓テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2R及び肺尖部テンプレートマッチング4L,4Rを用いてマッチングを行い(図19および図23参照)、抽出された左肺尖部位置情報をベースに、大動脈弓テンプレートT5を用いて大動脈弓の位置及び形状を探索する。具体的には、左肺尖部の位置に対し、オフセットを加えた範囲SRLに対してテンプレートマッチングを行う。
一方、大動脈弓を抽出しない場合もあり得る。図28は大動脈弓が不鮮明な場合を例示する模式図であり、領域S5aは大動脈弓が含まれると予想される領域を示している。図28で示されるように、人により大動脈弓が不鮮明な場合や、または背骨付近に隠れてしまい存在が見られない場合がある。このような大動脈弓が見当たらない場合には、大動脈弓テンプレートマッチングは実施しなくともよい。なお、大動脈弓の抽出可否の判定は、相関値などの結果により判定を行う。
<2−1−4−6.粗抽出処理の全体の流れ>
図11で示したように、粗抽出決定部130による粗抽出処理は、精密抽出決定部140にて実施する精密抽出処理を行うために必要な情報である、肺野内確定領域RI、肺野外確定領域RO、及び、肺野未確定領域RU(以下、これらの情報の総称を「初期値」と呼ぶ。)を与えるために実施している処理である。したがって、粗抽出決定部130における最終のアウトプットは、初期値を与えた状態の結果を出力することになる。
図29は、粗抽出処理における初期値設定を行うため事前に行われている前処理を説明する模式図であり、図30は、粗抽出処理の全体の流れを説明する模式図である。
図29で示されるように、まず、各テンプレートにおいて予め正解データASが生成されており(図29(a)参照)、テンプレートT4R,T4L,T2R,T2Lの各部位ごとにそれぞれ正解データAS−1,AS−2,AS−3,AS−4との相関を計算する(図29(b)及び図29(c)参照)。例えば、テンプレートT2Rの場合は、図16で示されるように4種類のテンプレートT2R1〜T2R4に対して正解データが4種類それぞれ存在するため、各々の相関を計算することになる。このようにして、テンプレート毎の相関値を積算して平均した累積率画像AS’が生成される(図29(d)参照)。図29(e)では、図29(d)の累積率画像AS’−1において、正解データAS−1とテンプレートT4Rとの相関を示した相関分布画像CRを示す。具体的には、図29(e)の左の相関分布画像CR1は正解データとの相関が最も低く、図29(e)の右の相関分布画像CR3は正解データとの相関が最も高く、図29(e)の中央の相関分布画像CR2は両者の中間の相関を示す。すなわち、図29(e)で示されるような相関分布画像CRは、テンプレートと正解データとの一致度合いを判定した分布であり、図29(e)の場合、相関分布画像CR3が最も正解データに近いことを示している。
以上の図29で得られた判定結果は、図30の粗抽出処理の初期値(すなわち、粗抽出決定部130で出力される粗抽出領域の肺野内確定領域RI、肺野外確定領域RO、及び、肺野未確定領域RU)の設定に用いられる。
図30で示されるように、フレーム画像IG0(図30(a)参照)に対して、例えば、横隔膜の粗抽出処理を行う際、横隔膜テンプレートT11〜T14,T2R1〜T2R4,T2L1〜T2L4(図30(b)及び図30(c)参照)の中から選択したテンプレートを用いて、横隔膜のテンプレートマッチングを行う(図30(d)参照)。そして、そのテンプレートマッチングの結果と図29で得られた判定結果(相関分布)とを考慮して、横隔膜領域の粗抽出画像IG1’が得られる(図30(e)参照)。他の部位についても、同様の処理を行うことで全体の粗抽出画像IG1が生成され(図30(f)参照)、精密抽出処理の入力画像とされる。すなわち、粗抽出決定部130が粗抽出画像IG1を精密抽出決定部140へ出力する。
<2−1−5.精密抽出決定部140>
精密抽出決定部140では、第1〜第nの粗抽出領域から肺野領域を精密に抽出する精密抽出処理を行うことで、第1〜第nの精密抽出領域を順次決定する。すなわち、精密抽出決定部140による精密抽出処理は、肺野未確定領域RUが肺野領域の内部であるか、外部であるかを決定する処理である。
図31は精密抽出決定部140における精密抽出処理について説明する図である。図31(a)は粗抽出決定部130における入力画像IG0であり、図31(b)は粗抽出決定部130において出力された粗抽出画像IG1であり、精密抽出決定部140における入力画像に相当する。また、図31(c)は精密抽出決定部140において出力された精密抽出画像IG2である。
すなわち、精密抽出決定部140は、粗抽出決定部130において順次出力された第1の粗抽出画像IG1(1)〜第nの粗抽出画像IG1(n)(図31(b)参照)を入力画像として第1の精密抽出画像IG2(1)〜第nの精密抽出画像IG2(n)を順次出力する(図31(c)参照)。ここで、第1〜第nの精密抽出画像IG2(1)〜IG2(n)における第1〜第nの精密抽出領域は、それぞれ、図31(c)で示されるような肺野領域RA0である。
精密抽出決定部140では、形状に依存しない抽出技術により肺野領域RA0を抽出する。抽出技術においては、次のような手法であればいずれのような手法を用いても良い。
<2−1−5−1.エッジを情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するためにエッジを情報とする抽出手法として、レベルセット(Level set)、スネーク(Snakes)(例えば、"Snakes: Active contour models.", M.Kass, A.Witkin, and D.Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988.等参照)といった動的輪郭モデル(Active Contour Model)を用いた手法が知られている。動的輪郭モデルとは、所定の変形傾向に沿って変形を繰り返す曲線(動的曲線)によって、肺野領域の輪郭を動的に抽出する手法である。動的曲線の変形傾向は、曲線の状態を定量的に評価した値である「動的曲線のエネルギー」によって規定される。この「動的曲線のエネルギー」は、動的曲線が肺野領域の輪郭を抽出した時点で最小となるように予め定義される。したがって、動的曲線のエネルギーが最小となるように動的曲線を変形させてゆき、エネルギーが最小となる安定状態を見つけることによって、肺野領域RA0の輪郭部SM0を抽出することができる。
<2−1−5−2.領域を情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するために領域を情報とする抽出手法として、領域拡張法(Region growing)などが挙げられる。領域拡張法では、2値化画像を用いて始点となるボクセルを決定し、2値化処理前の処理対象画像においてその始点と決定されたボクセルの近傍ボクセルを調べ、ある判定条件を満たす近傍ボクセルを肺野領域と判断する。そして、この肺野領域と判断された近傍ボクセルについても上記と同様の処理を繰り返す。このように、領域を拡張しながら判定条件を満たすボクセルを順次抽出することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
<2−1−5−3.エッジと領域とを情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するためにエッジと領域とを情報とする抽出手法として、グラフカット(Graph Cut)(例えば、"Fast Apporoximate Energy Minimization via Graph Cuts.",Y.Boykov,O. Veksler,R. Zabih. IEEE Transactions on Pattern Analysis and Machine Intelligence 23:1222-1239:2001.等参照)などが挙げられる。グラフカット法では、マルコフ確率場(Markov Random Field: MRF)などの確率モデルの最大事後確率推定問題として定式化してエネルギー最小化問題として効率的に解く方法であり、エネルギーを比較的効率良く最小化することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
<2−1−6.後処理部150>
後処理部150では、第1の精密抽出画像IG2(1)〜第nの精密抽出画像IG2(n)における不安定な精密抽出結果や抽出失敗に対し、モデル知識を使うことで、解析に必要な肺野に整形する。すなわち、後処理部150では、粗抽出領域に基づき上述の画像抽出処理が施された精密抽出領域(粗抽出領域に基づく領域)に対して、肺野領域の境界を近似する所定数のフィッティング関数で表現された形状モデルF(後述の図32(a)を参照)をフィッティングさせるフィッティング処理を行う。なお、当該所定数のフィッティング関数は、肺野領域の境界に接する領域(とりわけ、肺尖部領域、横隔膜領域、心臓領域、及び、大動脈弓領域等)の境界部分が考慮されることが好ましい。これにより、不安定な精密抽出結果や抽出失敗した位置を精密抽出の結果から算出し補正を行うことが可能となる。
図32はフィッティング処理について説明する図であり、図32(a)は肺野領域のフィッティング関数の特徴を示す図であり、図32(b)は図31(c)で示される肺野領域RA0の輪郭部SM0に対してフィッティング処理が実施された結果を示す図である。
図32(a)で示されるように、上記の所定数のフィッティング関数がここでは13(=所定数)のフィッティング関数から形状モデルFを構成した例であり、肺野領域のような幾何学的形状においてもフィッティング関数f1〜f13を用いると、より近似的に表現することが可能となる。このように、形状モデルFは、曲線及び直線のみならず、スプライン曲線のように複数曲線で構成されてもよく、それぞれのフィッティング関数fの次数で表現される。
具体的に、フィッティング関数fは、例えばX,Y座標系における多項式の関数で表現できる。多項式の関数とは、Xを変数とするY=aX^n+bX^(n-1)+…の式、またはYを変数とするX=aY^n+bY^(n-1)+…の式であり、係数a,b,….の最適な値を見つけることで、精密抽出画像IG2にフィッティングさせることができる。また、XとYとは同時変数とすることで楕円形の関数などにしてもよい。
そして、形状モデルFは、例えば、X、Yのどちらを変数とする関数であるか、この多項式の最大次数の値(上述の式ではnに相当する)、該当する関数は座標上のどの範囲に出現するか、といった情報で表現される。
また、実際にフィッティング関数fを算出するには、2値の領域情報やエッジに対し肺野領域の境界となる点をX=x1〜xnまで探索してゆくことで、(x1,y1),(x2,y2)…(xn,yn)の座標配列を取得し、この座標配列に最も近似する係数値a,b,….を見つけることで、関数を算出することができる。最も近似するとは、例えば最小二乗法などを使うことで、判断することができる。
このように、後処理部150では、形状モデルFのフィッティング処理を行い、精密抽出画像IG2に形状モデルFを付した形状モデル付精密抽出画像IG3(図32(b)参照)を順次得る。図32(b)で示されるように、後処理部150の処理による形状モデル付精密抽出画像IG3は、精密抽出画像IG2の肺野領域RA0の輪郭部SM0(図31(c)参照)と比較して、肺野領域RAの輪郭部SM(図32(b)参照)が平滑化されている様子がわかる。この処理により、精度の安定化や抽出失敗の補正を行う。
<2−1−7.モデル情報制御部135>
モデル情報制御部135では、撮影情報取得部115にて取得した被写体固有情報(撮影情報)IOに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図2参照)。本実施形態にいうモデル情報とは、上述のテンプレートの種類等を指示する情報(以下、単に「テンプレート情報」と称する)TOおよび形状モデルF(図32参照)におけるフィッティング関数の総数(所定数)や次数等を指示する情報(以下、単に「形状モデル情報」または「形状モデル」と称する)FOであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
ここで、モデル情報制御部135におけるモデル情報決定処理とは、テンプレート情報TOを決定する処理としては、(1)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FOを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3)所定数の増減を決定する処理との2つがある。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2)あるいは(3)の処理を行うことになる。
<2−1−7−1.モデル情報決定処理(1)>
モデル情報決定処理(1)では、モデル情報制御部135におけるモデル選択部125(図2参照)が、データベース51に該被写体固有情報IOを入力し、データベース51が、該被写体固有情報IOの属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TOをモデル選択部125に出力した後、モデル選択部125が、該テンプレート情報TOを粗抽出決定部130に入力する。
そして、該テンプレート情報TOが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TOを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理(所定部位抽出処理)を実施する。
なお、被写体固有情報IOの属性情報にマッチするテンプレート情報TOが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TOで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
また、テンプレート情報TOが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。
具体的に、例えば、撮影情報取得部115が被写体固有情報IOとして「性別・年齢・胸囲」に相当する「男性・30代・90cm代」の情報を取得した場合について説明すると、データベース51が「男性・30代・90cm代」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TOをモデル選択部125に出力する。このテンプレート情報TOがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TOが入力された粗抽出決定部130では、該テンプレート情報TOで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
このように、モデル情報制御部135と情報蓄積装置5(データベース51)とが連動することにより、被写体固有情報IOに基づいてテンプレート情報TOを決定するモデル情報決定処理を実行している。
<2−1−7−2.モデル情報決定処理(2)及び(3)>
一方、モデル情報決定処理の(2)及び(3)の処理では、モデル情報制御部135が、該被写体固有情報IOに基づいて形状モデルFの形状を変更し形状モデル情報FOを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2)及び(3)により順次変更されていく。すなわち、モデル情報決定処理(2)及び(3)は直近に決定された形状モデルFに対して行われる。そして、モデル情報制御部135が、該形状モデル情報FOを後処理部150に入力した後、後処理部150が、該形状モデル情報FOに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFOを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。
ただし、モデル情報決定処理の(2)及び(3)の処理では形状モデルFの変更する手法が異なる。以下、前述の被写体固有情報IOが「性別」である場合を例に説明する。図5(a)で示される女性の場合は、肋横角付近W1,W2に虚偽の線L1,L2が入る傾向にあるため、粗抽出処理や精密抽出処理では正確にエッジが検出されない可能性がある。そのため、後処理部150のフィッティング処理においても、虚偽の線L1,L2に依存して形状モデルFが決定されることになり、フィッティング関数の数が、例えば、通常より“2”少ない“11”で決定されることもあり得る。そこで、モデル情報決定処理の(3)の処理を用いて、フィッティング関数の数を“11”から“13”に増やす処理を行う。そして、フィッティング関数を“2”追加してもなお、肋横角付近W1,W2の形状を表現しきれていない場合には、モデル情報決定処理の(2)の処理を用いて、肋横角付近W1,W2のフィッティング関数の次数の調整を行うことで、形状モデルFO決定することになる。
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界(通常と異なった形状に見える抽出境界)であっても、適切にフィッティング関数(形状モデルFO)を決定することにより抽出精度の向上が図れる。
<2−1−8.粗抽出処理内容制御部160>
粗抽出処理内容制御部160では、肺野領域の少なくとも一部の動き量を考慮して、第i(2≦i≦nの何れかの整数)の粗抽出領域の決定に関し、前述の粗抽出処理内容を変更することにより、粗抽出決定部130を制御可能である。
粗抽出処理内容制御部160が制御可能な粗抽出処理内容は、例えば、第iのテンプレートを第(i−1)の精密抽出領域(すなわち、第(i−1)の精密抽出画像IG3における肺野領域RA)の一部領域(例えば、肺尖部、大動脈弓、横隔膜、心臓等)を用いて設定する処理内容である。
すなわち、粗抽出処理内容制御部160は、第iのテンプレートのうち該一部領域のテンプレートに関しては、第(i−1)の精密抽出画像IG3の一部である該一部領域を用い(後述の図33(c)参照)、該一部領域以外のテンプレートに関しては、第1のテンプレートと同じテンプレートを用いるように粗抽出決定部130に指令を与える。
<2−1−9.対象部位抽出部170>
対象部位抽出部170では、後処理部150において後処理を実施した第1の精密抽出画像IG3(1)〜第nの精密抽出画像IG3(n)から肺野領域RAを抽出し、記憶部32へ記憶する。
<2−2.画像処理装置3の基本動作>
図34は、第1実施形態に係る画像処理装置3において実現される基本動作を説明するフローチャートであり、図33は、横隔膜領域に対する抽出処理の流れを示す概念図である。既に各部の個別機能の説明は行ったため(図2参照)、ここでは全体の流れのみ説明する。
図31に示すように、まず、ステップS11において、制御部31の画像取得部110が、撮像装置1の読取制御装置14によって撮影された動画像を、撮影制御装置2を介して取得する。そして、ステップS12では、画像補正部120が、ステップS11において取得された動画像における第1のフレーム画像G0に対して、強調処理による画像補正を実施することで、第1のフレーム画像IG0を生成し、粗抽出決定部130に出力する(図7及び図33(a)参照)。
ステップS11,S12と並行して、ステップS21,S22が実施される。すなわち、ステップS21では、制御部31の撮影情報(被写体固有情報)取得部115が、情報蓄積装置4のカルテ情報記憶部41から被写体固有情報IOを取得し、モデル情報制御部135におけるモデル選択部125に入力する。
ステップS22では、ステップS21において入力された被写体固有情報IOに基づいて、モデル情報制御部135が上記(1)のモデル情報決定処理を実施する。
ステップS3では、粗抽出決定部130が、ステップS12において補正されたフレーム画像IG0に対して、ステップS22において入力されたテンプレート情報TOを用いてテンプレートマッチングを行い(例えば、横隔膜領域の場合は図33(b)参照)、粗抽出領域(初期値)を決定し、粗抽出画像IG1を精密抽出決定部140に出力する(図11参照)。なお、該テンプレート情報TOが複数存在する場合は、該テンプレート情報TOで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
このように、ステップS3においては、第1の粗抽出領域を決定する際には、第1のフレーム画像IG0(1)に対して、データベース51に既存の第1のテンプレート(予め生成されたテンプレート)を用いてテンプレートマッチングを行う。
そして、粗抽出決定部130が行う第1の粗抽出領域(初期値)の決定は、各回ごとのテンプレートマッチングの結果に加え、初期値設定を行うための前処理の結果(図29(e)の相関分布図参照)をも考慮して行う(図30(f)参照)。
ステップS4では、精密抽出決定部140が、ステップS3において決定された初期値を用いて、精密抽出領域(肺野領域RA)を決定し、精密抽出画像IG2を後処理部150に出力する(図31(c)参照)。
ステップS5では、モデル情報制御部135が、被写体固有情報IOに基づいて形状モデルFの形状を変更し形状モデル情報FOを決定し、上記の(2)及び(3)のモデル情報決定処理により決定された形状モデル情報FOを後処理部150に入力する。そして、後処理部150が、ステップS4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FOに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する(図32(b)参照)。
ステップS6では、対象部位抽出部170が、ステップS5において後処理された精密抽出画像IG3の肺野領域RAを対象領域として抽出し、記憶部32へ記憶する。
ステップS7では、制御部31が、全てのフレーム画像において肺野領域RAを抽出したか否かを判定し、未処理がある場合にはステップS8に移り、未処理がない場合には本動作フローが終了される。
ステップS8では、粗抽出処理内容制御部160が、第2のテンプレートの設定において、第2のテンプレートのうち横隔膜テンプレートに関しては、第1の精密抽出画像IG3の一部領域を用い(図33(c)参照)、該一部領域以外のテンプレートに関しては、第1のテンプレートと同じテンプレートを用いるように粗抽出決定部130に指令を与え、ステップS3に移る。
そして、ステップS3においては、第2の粗抽出領域を決定する際には、第2のフレーム画像IG0(1)に対して、第1の精密抽出画像IG3の一部を用いて、粗抽出処理内容制御部160にて作成された第2のテンプレートを用いてテンプレートマッチングを行う。
このように、第1のフレーム画像IG0に対して、ステップS3〜ステップS8を終えた後、第2のフレーム画像IG0に対して、ステップS3〜ステップS8を行うという具合に、ステップS3〜ステップS8のループが1,2,・・・,nの順で繰り返され、最終的に第nのフレーム画像IG0の処理に対してまで行われる。
但し、第2の粗抽出領域以降の第i(i≧2の何れか)の粗抽出領域を決定する際には、第iのフレーム画像IG0(i)に対して、第iのテンプレートを用いてテンプレートマッチングを行う。第1のテンプレートとしては、予め準備されたテンプレートを用い、第i(i≧2)のテンプレートにおいては、第(i−1)の精密抽出画像IG3の一部を用いる。
このように、全てのフレーム画像IG0において肺野領域RAを抽出するまで、ステップS3〜ステップS8の工程が繰り返され、全てのフレーム画像IG0において肺野領域を抽出した後、本動作フローが終了される。
以上のように第1実施形態に係る画像処理装置3では、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報(被写体固有情報)IOに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報IOに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況(例えば、図5(a)で示されるように通常と異なった形状に見える抽出境界など)であっても、安定的且つ高速に肺野領域の抽出精度の向上を実現する。
また、医用画像が動画像に含まれるフレーム画像IG0であるため、最初の段階(第1のフレーム画像IG0)で精度の良いモデル情報を決定することができる。このため、該モデル情報(例えば、第1の精密抽出画像IG3の一部)を用いることで、時間方向においても安定して肺野領域抽出処理を実施することが可能となる。
また、肺野領域抽出処理は、フレーム画像IG0に対してテンプレート情報TOを用いてテンプレートマッチングを行い、肺野領域を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、該粗抽出領域に基づく領域に対して、肺野領域の境界を近似する所定数のフィッティング関数で表現された形状モデルFOをフィッティングさせるフィッティング処理と、を含み、モデル情報は、テンプレート情報TOおよび形状モデル情報FOであることにより、テンプレートマッチング精度及びフィッティング精度が向上する。このため、撮影情報IOに対応して、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。
また、撮影情報は、被写体Mの固有の情報を示す被写体固有情報IOであることにより、該被写体固有情報IOを考慮してテンプレート情報TOおよび形状モデル情報FO(モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、肺野領域の抽出精度がより向上する。
また、被写体固有情報IOは、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報TOおよび形状モデル情報FO)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
また、モデル情報決定処理は、予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理と、所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、所定数の増減を決定する処理と、を含むことにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現したモデル情報(テンプレート情報TOおよび形状モデル情報FO)を決定することが可能となる。このため、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。
さらに、抽出する所定部位が肺野領域であることにより、肺野領域の抽出精度の向上を実現することが可能となる。また、モデル情報(テンプレート情報TOおよび形状モデル情報FO)は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることにより、肺野領域においてより適切なテンプレート情報TOおよび形状モデル情報FOを決定することができる。これにより、より安定的に肺野領域の抽出精度の向上を実現する。
<3.第2実施形態>
図35は、本発明の第2実施形態として構成された画像処理装置3A(図1参照)で用いられる制御部31Aの機能構成を示す図である。この制御部31Aは、第1実施形態の画像処理装置3における制御部31(図2参照)の代替として使用される。第1実施形態と異なる点は、撮影情報(被写体固有情報)取得部115が撮影情報(被写体状態情報)取得部115Aに置換されることにより、情報蓄積装置4Aのカルテ情報記憶部41A、情報蓄積装置5Aのデータベース(テンプレート記憶部)51A、モデル選択部125A、モデル情報制御部135Aが変更される点である。なお、残余の構成は画像処理装置3と同様である。
<3−1.撮影情報取得部115A、カルテ情報記憶部41A>
撮影情報(被写体状態情報)取得部115Aでは、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報を、情報蓄積装置4Aにおけるカルテ情報記憶部41Aから取得する(図35参照)。本実施形態におけるカルテ情報記憶部41Aに記憶された撮影情報とは、被写体Mの過去及び現在の状態を示す被写体状態情報IS(図35参照)を指し、具体的に被写体状態情報ISとは、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等のうち少なくとも何れか1つの情報を指す。
そして、撮影情報取得部115Aは、該被写体状態情報ISをモデル情報制御部135Aにおけるモデル選択部125Aに入力する。
以下では、カルテ情報記憶部41Aに格納された被写体固有情報ISについて具体的に説明する。図36は被写体状態情報ISを説明するためのフレーム画像IG0を例示する図であり、手術歴(図36(a)〜(c)参照)や病歴(図36(d)〜(f)参照)によって肺野の状態や形状が異なることを例示する模式図である。
<3−1−1.手術歴情報(肺切除有無、ペースメーカ有無)>
図36(a)〜(c)では、手術歴のある被写体の肺野形状を例示している。図36(a)及び図36(b)では、肺切除術により通常の右肺野領域の下半分の領域P1(図36(a)参照)及び上半分の領域P2(図36(b)参照)がそれぞれ切除されている。肺切除術には、切除範囲の広いものから順に肺全摘術・肺葉切除術・肺区域切除術・肺部分切除術に分けられるため、肺切除場所の情報は、手術方法から決定することも可能である(例えば、岐阜大学がんセンター、“がん治療について”[平成24年6月25日(月)検索]、インターネット<URL:http://hosp.gifu-u.ac.jp/center/gan/about/lungs.html>等参照)。
図36(c)では、左肺野領域の上側領域P3にペースメーカが埋め込まれている。
このように、被写体状態情報取得部115Aでは、肺野領域のどの位置を切除しているのか、何処にペースメーカがあるのか、などの情報を取得することが好ましい。
<3−1−2.病歴情報(疾患の有無)>
図36(d)〜(f)では、現在の病気も含む病歴をもつ被写体Mの肺野形状を例示している。図36(d)では、領域P4,P5に“もや”が入っており、図36(e)では、領域P6に影が入っている様子が見て取れる。何れも病気に起因して生じる現象であり、これによりエッジが不鮮明になるため、肺野領域を正確に抽出できない。
図36(f)では、被写体Mが心肥大を患っているため領域P7の左肺野形状が健常者と比較して異なる。すなわち、健常者の場合は領域P7において、上述のフィッティング関数f7,f8(図32参照)のように2つの関数に明瞭に分けられるが、心肥大を患っている被験者Mの場合は、1つの関数で形状を表現できる点で異なる。
ここで、病歴情報は、現状かかっている疾患(肺がん、肺炎、心肥大、COPD、肺塞栓など)情報のほか、過去の撮影時の情報から決定可能である。
このように、被写体状態情報取得部115Aでは、肺野領域の疾患の有無情報などを取得することが好ましい。
<3−1−3.その他の情報>
被写体状態情報取得部115Aでは、上記以外の情報として、過去の撮影時の情報、空腹の有無といった体の状態を示す情報、診断対象に関する情報、問診による判定結果、喫煙歴等の情報をも取得可能である。
例えば、過去の撮影時の情報に関しては、以前に撮影したフレーム画像IG0(G0)の情報を基に、肺野の形状や状態を推定することができる。具体的には、対象病気の程度(重度・軽度など)に応じて肺野の形状や状態を推定可能である。このため、過去の撮影時の情報も肺野の形状や状態の推定に考慮することが好ましい。
体の状態(空腹の有無)に関しては、食後の場合は、胃が大きくなり、その他の臓器を圧迫することから、空腹時と比較して肺野の形状も小さくなる傾向にある。このため、空腹の有無も肺野形状の推定に考慮することが好ましい。
診断対象、問診による判定結果に関しては、例えば、上記の肺がん、肺炎、心肥大、COPD、肺塞栓などの疑いがある場合は肺野の形状や状態が異なる。このため、診断対象、問診による判定結果も肺野の形状や状態の推定に考慮することが好ましい。
喫煙歴に関しては、喫煙の影響で被験者Mが肺気腫や気管支拡張症という病気を患うと、フレーム画像IG0(G0)に異常所見として出現する。肺気腫の場合は肺が正常より黒っぽく写り、気管支拡張症の場合は、相対的に気管支や血管の影が目立つようになることから、喫煙歴等も考慮することが好ましい。
<3−2.データベース51A>
また、データベース(テンプレート記憶部)51Aでは、本実施形態に係るテンプレートが被写体状態情報ISに基づいてグループ分けされて格納されている。すなわち、上述の被写体状態情報取得部115Aにて取得される被写体状態情報ISを考慮したテンプレートが予め準備され、各テンプレートには、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等に関係する情報を示す属性情報が予め付されてグループ別にデータベース51Aに格納されている。
例えば、被写体状態情報ISが「手術歴情報」の場合については、手術歴を基に作成したテンプレートを準備する。前述の図36の例で説明すると、図36(a)を表現するテンプレートには「右肺下切除有」という属性が予め付され、図36(b)を表現するテンプレートには「右肺上切除有」という属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。また、図36(c)で示されるようにペースメーカが肺野領域の一部に埋め込まれた場合には、ペースメーカにより肺野の一部の領域が欠如したテンプレートを複数準備し、該テンプレートに「左肺上ペースメーカ有」等という属性を付してデータベース51Aに格納することが好ましい。また、ペースメーカのみの形状を表現するテンプレートを準備し、「ペースメーカ形状」等という属性を付してデータベース51Aに格納することも可能である。
また、被写体状態情報ISが「病歴情報」の場合については、過去の撮影時の情報や同じ病歴を持つ患者等により肺野形状が共通するため、病歴を基に作成したテンプレートを準備する。グループ分けとしては、病歴情報(肺がん、肺炎、心肥大、COPD、肺塞栓等)により用意することが好ましい。この際、「肺がん」「肺炎」「心肥大」「COPD」「肺塞栓」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
また、被写体状態情報ISが「過去の撮影時の情報」の場合についても、以前に撮影された情報を基に作成したテンプレートを準備する。グループ分けとしては、例えば、対象の病気の重度から軽度までを用意し、前回の状態の疾患ありのテンプレート、病気が改善しているテンプレートなどを複数用意することが好ましい。この際、「疾患有・重度」「疾患有・軽度」「病気改善」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
また、被写体状態情報ISが「体の状態情報」の場合については、例えば、空腹の有無などを基に作成したテンプレートを準備する。グループ分けとしては、例えば、食後の経過時間毎に複数のテンプレートを用意することが好ましい。この際、「食後1時間」「空腹」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
また、被写体状態情報ISが「診断対象情報」「問診による判定結果」の場合については、ターゲット(対象の病気、問診)を基に作成したテンプレートを準備する。グループ分けと属性付与とについては、被写体状態情報ISが「病歴」の場合と同様に行う。
さらに、被写体状態情報ISが「喫煙歴」の場合については、喫煙歴を基に作成したテンプレートを準備する。グループ分けとしては、例えば、喫煙中、喫煙歴無し、禁煙中等のテンプレートを用意することが好ましい。この際、「喫煙中」「喫煙歴無」「禁煙中」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
以上のように、データベース51Aには、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
<3−3.モデル情報制御部135A、モデル選択部125A>
モデル情報制御部135Aでは、被写体状態取得部115Aにて取得した被写体状態情報(撮影情報)ISに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図35参照)。本実施形態にいうモデル情報とは、上述のテンプレート情報TSおよび形状モデル情報FSであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
ここで、モデル情報制御部135Aにおけるモデル情報決定処理とは、テンプレート情報TSを決定する処理としては、(1a)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FSを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2a)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3a)所定数の増減を決定する処理との2つがある。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2a)あるいは(3a)の処理を行うことになる。
<3−3−1.モデル情報決定処理(1a)>
モデル情報決定処理の(1a)の処理では、モデル情報制御部135Aにおけるモデル選択部125A(図35参照)が、データベース51Aに該被写体状態情報ISを入力し、データベース51Aが、該被写体状態情報ISの属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TSをモデル選択部125Aに出力した後、モデル選択部125Aが、該テンプレート情報TSを粗抽出決定部130に入力する。
そして、該テンプレート情報TSが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TSを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理を実施する。
なお、被写体状態情報ISの属性情報にマッチするテンプレート情報TSが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TSで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
また、テンプレート情報TSが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。
具体的に、例えば、撮影情報取得部115Aが被写体状態情報ISとして「手術歴・病歴・体の状態」に相当する「右肺下切除有・肺がん・空腹」の情報を取得した場合について説明すると、データベース51Aが「右肺下切除有・肺がん・空腹」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TSをモデル選択部125Aに出力する。このテンプレート情報TSがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TSが入力された粗抽出決定部130では、該テンプレート情報TSで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
このように、モデル情報制御部135Aと情報蓄積装置5A(データベース51A)とが連動することにより、被写体状態情報ISに基づいてテンプレート情報TSを決定するモデル情報決定処理を実行している。
<3−3−2.モデル情報決定処理(2a)及び(3a)>
一方、モデル情報決定処理の(2a)及び(3a)の処理では、モデル情報制御部135Aが、被写体状態情報ISに基づいて形状モデルFの形状を変更し形状モデル情報FSを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2a)及び(3a)により順次変更されていく。すなわち、モデル情報決定処理(2a)及び(3a)は直近に決定された形状モデルFに対して行われる。
そして、モデル情報制御部135Aが、該形状モデル情報FSを後処理部150に入力した後、後処理部150が、該形状モデル情報FSに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFSを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。
ただし、モデル情報決定処理の(2a)及び(3a)の処理では形状モデルFの変更する手法が異なる。例えば、前述の図36(f)の被写体状態情報ISが「病歴有・心肥大」である場合を例に説明すると、領域P7の肺野形状は通常は、図32で示されるようにフィッティング関数f7,f8の2つの関数を必要とするが、図36(f)の場合は1つの関数で表現可能であるため、モデル情報決定処理の(3a)の処理を用いて、形状モデルFを構成するフィッティング関数の数を13から12に減らす処理を行う。ここで、フィッティング関数f7を仮に削除した場合、フィッティング関数f8を用いて図36(f)の領域P7の形状を表現することになるため、モデル情報決定処理の(2a)の処理を用いて、フィッティング関数f8の次数の調整を行うことで、形状モデルFSを決定することになる。
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界(異常な形状をもつ抽出境界)であっても、適切にフィッティング関数(形状モデルFS)を決定することにより抽出精度の向上が図れる。
<3−4.画像処理装置3Aの変形例>
続いて、第2実施形態に係る画像処理装置3Aの変形例である画像処理装置3A’について説明する。図37は、画像処理装置3A’の基本的な機能構成を示すブロック図である。図37で示されるように、画像処理装置3Aと異なる点は、画像処理装置3A’では、モデル情報制御部135A’にテンプレート加工部126A’が付加されることにより、モデル選択部125A’が変更される点である。なお、残余の構成は画像処理装置3Aと同様である。
画像処理装置3A’の機能構成は、被写体状態情報取得部115Aにて取得される被写体状態情報ISの属性にマッチするテンプレートがデータベース51Aに存在しない場合や、所望の形状を表現したテンプレートが存在しない場合において効果的である。
すなわち、テンプレート加工部126A’では、モデル選択部125A’から出力されたテンプレート情報TS’をベースに、被写体状態取得部115Aにて取得した被写体状態情報ISに基づく所望の形状にテンプレートを加工するテンプレート加工処理を実施する。
ここで、上記(1a)のモデル情報決定処理におけるテンプレートの「種類」とは、テンプレート加工処理によってテンプレートの形状が変更されたテンプレートの「形状」をも包含する概念で用いている。
以下、画像処理装置3A’の特徴的な工程について具体的に説明する。まず、画像処理装置3A’では、モデル選択部125A’が被写体状態情報ISの属性により近いもしくは肺野形状により近いテンプレート情報TS’を選択し、テンプレート加工部126A’に入力する。
テンプレート加工部126A’では、入力されたテンプレート情報TS’をベースにテンプレートを所望の肺野形状に加工することで、新たにテンプレート(すなわち、テンプレート情報)TSを生成し、該テンプレートTSを粗抽出決定部130に入力する。
図38は、テンプレート加工部126A’によるテンプレート加工処理を例示する図である。図38で示されるように、図38(a)では、ペースメーカが埋め込まれた領域を考慮して、テンプレートT4L(図22参照)の領域D1を削除する加工を行うことでテンプレートT4L’を生成している。また、図38(b)では、肺切除術により右肺野領域の下部領域が切除されていることを考慮してテンプレートT2R(図18参照)の領域D2を削除する加工を行うことでテンプレートT2R’を生成している。さらに、図38(c)では、肺切除術により右肺野領域の上部領域が切除されていることを考慮してテンプレートT4R(図22参照)の領域D3を削除する加工を行うことでテンプレートT4R’を生成している。
このように、画像処理装置3A’では、テンプレート加工部126A’において新たにテンプレート情報TS’を生成する機能を備えるため、データベース51Aに膨大なテンプレートを記憶せずとも、必要最小限のテンプレートを記憶されるだけで済む。
<3−3.画像処理装置3Aの基本動作>
続いて、図39は、第2実施形態に係る画像処理装置3Aの動作フローを例示した図である。なお、図39のうち、ステップSA11,SA12,SA4,SA6〜SA8は図34のステップS11,S12,S4,S6〜S8と同様であるため、その説明は省略する。
この第2実施形態では、第1実施形態の被写体固有情報取得部115が被写体状態情報取得部115Aに置換されたことで、下記の工程が変更される。
すなわち、第1実施形態と同様の工程として、ステップSA11,SA12と並行して、図39で示されるように、ステップSA21,SA22が実施される。すなわち、ステップSA21では、制御部31Aの被写体状態情報取得部115Aが、情報蓄積装置4Aのカルテ情報記憶部41Aから被写体状態情報ISを取得し、モデル情報制御部135Aにおけるモデル選択部125Aに入力する。
ステップSA22では、ステップSA21において入力された被写体状態情報ISに基づいて、モデル情報制御部135Aが上記(1a)のモデル情報決定処理を実施する。
ステップSA3では、粗抽出決定部130が、ステップSA12において補正されたフレーム画像IG0に対して、ステップSA22において入力されたテンプレート情報TSを用いてテンプレートマッチングを行う。なお、該テンプレート情報TSが複数存在する場合は、該テンプレート情報TSで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
そして、第1実施形態と同様の工程として、ステップSA4を経て、ステップSA5では、モデル情報制御部135Aが、被写体状態情報ISに基づいて形状モデルFの形状を変更し形状モデル情報FSを決定し、上記の(2a)及び(3a)のモデル情報決定処理により決定された形状モデル情報FSを後処理部150に入力する。そして、後処理部150が、ステップSA4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FSに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する。
以上のように第2実施形態に係る画像処理装置3Aでは、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報(被写体状態情報)ISに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報ISに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況(例えば、被験者Mが手術歴や病歴を有する場合など)であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
また、被写体状態情報ISは、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報TSおよび形状モデル情報FS)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、非健常者または非健常動物の身体を被写体Mとする場合であっても、より安定的且つ高速に肺野領域の抽出精度の向上を実現する。
また、モデル情報決定処理は、予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理と、所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、所定数の増減を決定する処理と、を含むことにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現したモデル情報(テンプレート情報TSおよび形状モデル情報FS)を決定することが可能となる。また、手術歴や病歴を有した被写体Mにおいて、肺野領域の形状あるいは位置が正常な被写体Mと比較して著しく異なる場合においても十分対応することが可能となる。このため、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。
なお、第2の実施形態に係る画像処理装置3Aは、他に、第1の実施形態に係る画像処理装置3と同様の効果を奏するが、説明は省略する。
<4.第3実施形態>
図40は、本発明の第3実施形態として構成された画像処理装置3B(図1参照)で用いられる制御部31Bの機能構成を示す図である。この制御部31Bは、第1実施形態の画像処理装置3における制御部31(図2参照)の代替として使用される。第1実施形態と異なる点は、撮影情報(被写体固有情報)取得部115が撮影情報(撮影環境情報)取得部115Bに置換されることにより、情報蓄積装置4のカルテ情報記憶部41を必要としない点、及び、情報蓄積装置5Bのデータベース(テンプレート記憶部)51B、モデル選択部125B、モデル情報制御部135Bが変更される点である。なお、残余の構成は画像処理装置3と同様である。
<4−1.撮影情報取得部115B>
撮影情報(撮影環境情報)取得部115Bでは、放射線撮影環境に関する情報である撮影情報を、撮影制御装置2から取得する(図40参照)。本実施形態における撮影制御装置2から取得する撮影情報とは、動画像(医用画像)が撮影された環境を示す撮影環境情報IE(図40参照)を指し、具体的に撮影環境情報IEとは、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等のうち少なくとも何れか1つの情報を指す。
そして、撮影情報取得部115Bは、該撮影環境情報IEをモデル情報制御部135Bにおけるモデル選択部125Bに入力する。
以下では、撮影制御装置2から取得される撮影環境情報IEを具体的に説明する。
<4−1−1.撮影方向情報>
図41は撮影環境情報IEを説明するためのサンプル画像SGを例示する図であり、図41(a)では、図1で示されるように撮影部13の前に被験者Mが立った状態(立位)で撮影されるのに対し、図41(b)では、診療台の上に被験者Mが寝ている状態(臥位)で撮影されている。
図41で示されるように、被験者Mの姿勢が立位(図41(a)参照)と臥位(図41(b)参照)とによって肺野の形状が異なることが見て取れる。具体的には、被験者Mの姿勢が立位である場合は、臥位である場合と比較して肺野の形状が縦に細長い特徴を有する。これに対して、被験者Mの姿勢が臥位である場合は、立位である場合と比較して肺野の形状が重力の影響で横に広がる(臓器の位置が変わる)ため、全体としてのサイズが大きくなる特徴を有する。このように、被験者Mが同一であっても、被験者Mの姿勢、すなわち、撮影方向により肺野形状の見え方が大きく異なる。
また、図41では図示されていないが、被験者Mに対して斜め方向から撮影された場合においても、被験者Mに対するX線の入射方向が変わるため、肺野形状が立位及び臥位とは異なる形状となる。これは、光源の位置が変わると投影像(肺野形状)が変わる可能性が高いためである。
したがって、撮影環境情報取得部115Bは、被験者Mの姿勢(立位、臥位、斜め)に起因した撮影方向の情報を取得することが好ましい。
<4−1−2.撮影時の呼吸状態情報>
また、肺野形状を決める他の要因として呼吸状態情報が挙げられる。図42は、自然呼吸と強制呼吸とについて説明する図である。図42で示されるように、被写体Mが通常行う自然呼吸の呼吸サイクルは、吸気と呼気とから構成される。吸気では、横隔膜が下がって息が吸い込まれるに連れて胸郭中の肺野の領域が大きくなり、息を最大限に吸い込んだとき(吸気と呼気の変換点)が最大吸気時となる。一方、呼気では、横隔膜が上がって息が吐き出されるに連れて肺野の領域が小さくなるが、息を最大限に排出したとき(呼気と吸気の変換点)が最大呼気時となる。このように、最大吸気時に肺野形状が最も大きくなり、最大呼気時に肺野形状が最も小さくなる特徴を有する。
一方、自然呼吸に対する用語として、本実施形態における強制呼吸(呼吸の強制)とは、被験者Mに強制的に息止めさせた時をいう。強制的な息止め時は、一般的に、図42で示されるように、最大吸気時もしくは最大吸気時に最も近い状態(最大吸気時付近)となるが、強制呼吸では意識的に息を多く吸い込むため、自然呼吸時の最大吸気時付近と比較して、肺野形状が若干大きくなる傾向にある。このように、自然呼吸か強制呼吸かによっても肺野形状を考慮することが好ましい。
この他、急患などで息切れがひどい場合、呼吸が浅く速くなる場合等は、呼吸による肺野の形状の変化は小さく、息止め時の肺形状と同視できる傾向にある。
したがって、撮影環境情報取得部115Bは、被験者Mの様々な呼吸状態情報を取得することが好ましい。
<4−1−3.その他の情報>
撮影環境情報取得部115Bは上記以外に例えば、FPDのサイズ等も取得可能である。例えば、小さいFPDで、大きい被写体Mが撮影されたときにフレーム画像から対象部位がはみ出る可能性があるためであり、FPDのサイズ等も考慮することが好ましい。
<4−2.データベース51B>
また、データベース(テンプレート記憶部)51Bでは、本実施形態に係るテンプレートが撮影環境情報IEに基づいてグループ分けされて格納されている。すなわち、上述の撮影環境情報取得部115Bにて取得される撮影環境情報IEを考慮したテンプレートが予め準備され、各テンプレートには、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等に関係する情報を示す属性情報が予め付されてグループ別にデータベース51Bに格納されている。
例えば、撮影環境情報IEが「撮影方向情報」の場合については、撮影方向を基に作成したテンプレートを準備する。前述の図41の例においては、図41(a)を表現するテンプレートには「立位」という属性が予め付され、図41(b)を表現するテンプレートには「臥位」という属性が予め付されてデータベース51Bにそれぞれグループ別に格納されている。また、図41では図示されていないが、被写体Mに対して斜め方向から撮影された場合を表現するテンプレートを用意する場合には、「斜め(あるいは角度)」という属性を付し、データベース51Bの立位、臥位とは別のグループに格納することが好ましい。
また、撮影環境情報IEが「撮影時の呼吸状態情報」の場合については、呼吸状態を基に作成したテンプレートを準備する。グループ分けとしては、呼吸の有無により、肺野の形状の変化は大きく変わるため、強制的な息止め時、自然呼吸時等により使用するテンプレートを用意することが好ましい。この際、例えば、「最大呼気」「最大吸気」「息止め」などの属性が予め付されてデータベース51Bにそれぞれグループ別に格納されている。
以上のように、データベース51Bには、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
<4−3.モデル情報制御部135B、モデル選択部125B>
モデル情報制御部135Bでは、撮影環境情報取得部115Bにて取得した撮影環境情報(撮影情報)IEに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図40参照)。本実施形態にいうモデル情報とは、テンプレート情報TEおよび形状モデル情報FEであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
ここで、モデル情報制御部135Bにおけるモデル情報決定処理とは、テンプレート情報TEを決定する処理としては、(1b)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FEを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2b)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3b)所定数の増減を決定する処理との2つである。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2b)あるいは(3b)の処理を行うことになる。
<4−3−1.モデル情報決定処理(1b)>
モデル情報決定処理の(1b)の処理では、モデル情報制御部135Bにおけるモデル選択部125B(図40参照)が、データベース51Bに該撮影環境情報IEを入力し、データベース51Bが、該撮影環境情報IEの属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TEをモデル選択部125Bに出力した後、モデル選択部125Bが、該テンプレート情報TEを粗抽出決定部130に入力する。
そして、該テンプレート情報TEが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TEを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理を実施する。
なお、撮影環境情報IEの属性情報にマッチするテンプレート情報TEが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TEで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
また、テンプレート情報TEが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。
具体的に、例えば、撮影情報取得部115Bが撮影環境情報IEとして「撮影方向・撮影時の呼吸状態」に相当する「臥位・最大呼気」の情報を取得した場合について説明すると、データベース51Bが「臥位・最大呼気」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TEをモデル選択部125Bに出力する。このテンプレート情報TEがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TEが入力された粗抽出決定部130では、該テンプレート情報TEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
このように、モデル情報制御部135Bと情報蓄積装置5B(データベース51B)とが連動することにより、撮影環境情報IEに基づいてテンプレート情報TEを決定するモデル情報決定処理を実行している。
また、撮影環境情報IEにおける「撮影時の呼吸状態」が急患などで息切れがひどい場合には、上述の通り、息止め時の肺形状と同視可能であるため、「息止め」の属性情報が付与されたテンプレートを選択することが好ましい。
<4−3−2.モデル情報決定処理(2b)及び(3b)>
一方、モデル情報決定処理の(2b)及び(3b)の処理では、モデル情報制御部135Bが、撮影環境情報IEに基づいて形状モデルFの形状を変更し形状モデル情報FEを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2b)及び(3b)により順次変更されていく。すなわち、モデル情報決定処理(2b)及び(3b)は直近に決定された形状モデルFに対して行われる。
そして、モデル情報制御部135Bが、該形状モデル情報FEを後処理部150に入力した後、後処理部150が、該形状モデル情報FEに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFEを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。なお、モデル情報決定処理の(2b)及び(3b)の処理手法の違いは、上記モデル情報決定処理の(2)及び(3)の違いと同様である。
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界であっても、適切にフィッティング関数(形状モデルFE)を決定することにより抽出精度の向上が図れる。
<4−4.画像処理装置3Bの基本動作>
続いて、図43は、第3実施形態に係る画像処理装置3Bの動作フローを例示した図である。なお、図43のうち、ステップSB11,SB12,SB4,SB6〜SB8は図34のステップS11,S12,S4,S6〜S8と同様であるため、その説明は省略する。
この第3実施形態では、第1実施形態の被写体固有情報取得部115が撮影環境情報取得部115Bに置換されたことで、下記の工程が変更される。
すなわち、第1実施形態と同様の工程として、ステップSB11,SB12と並行して、図43で示されるように、ステップSB21,SB22が実施される。すなわち、ステップSB21では、制御部31Bの撮影環境情報取得部115Bが、撮影制御装置2から撮影環境情報IEを取得し、モデル情報制御部135Bにおけるモデル選択部125Bに入力する。
ステップSB22では、ステップSB21において入力された撮影環境情報IEに基づいて、モデル情報制御部135Bが上記(1b)のモデル情報決定処理を実施する。
ステップSB3では、粗抽出決定部130が、ステップSB12において補正されたフレーム画像IG0に対して、ステップSB22において入力されたテンプレート情報TEを用いてテンプレートマッチングを行う。なお、該テンプレート情報TEが複数存在する場合は、該テンプレート情報TEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
そして、第1実施形態と同様の工程として、ステップSB4を経て、ステップSB5では、モデル情報制御部135Bが、撮影環境情報IEに基づいて形状モデルFの形状を変更し形状モデル情報FEを決定し、上記の(2b)及び(3b)のモデル情報決定処理により決定された形状モデル情報FEを後処理部150に入力する。そして、後処理部150が、ステップSB4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FEに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する。
以上のように第3実施形態に係る画像処理装置3Bでは、放射線撮影前に予め入力された放射線撮影環境に関する情報である撮影情報(撮影環境情報)IEに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報IEに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況(例えは、撮影時の呼吸状態が急患などで息切れがひどい場合など)であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
また、撮影環境情報IEは、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報TEおよび形状モデル情報FE)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、特殊条件下における撮影であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
なお、第3の実施形態に係る画像処理装置3Bは、他に、第1の実施形態に係る画像処理装置3と同様の効果を奏するが、説明は省略する。
<5.第4実施形態>
図44は、本発明の第4実施形態として構成された画像処理装置3C(図1参照)で用いられる制御部31Cの機能構成を示す図である。この制御部31Cは、第1〜第3実施形態の画像処理装置3,3A,3Bにおける制御部31,31A,31Bが組み合わされた構成を有する。第1実施形態と異なる点は、撮影情報(被写体固有情報)取得部115が撮影情報(被写体固有情報・被写体状態情報・撮影環境情報)取得部115Cに置換されることにより、情報蓄積装置4Cのカルテ情報記憶部41C、情報蓄積装置5Cのデータベース(テンプレート記憶部)51C、モデル選択部125C、モデル情報制御部135Cが変更される点である。なお、残余の構成は画像処理装置3と同様である。
<5−1.撮影情報取得部115C、カルテ情報記憶部41C>
撮影情報(被写体固有情報・被写体状態情報・撮影環境情報)取得部115Cでは、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報(被写体固有情報IO、被写体状態情報IS)を、情報蓄積装置4Cにおけるカルテ情報記憶部41Cから取得するとともに、放射線撮影環境に関する情報である撮影情報(撮影環境情報IE)を、撮影制御装置2から取得する(図44参照)。したがって、本実施形態における撮影情報とは、上述と同様の被写体固有情報IO、被写体状態情報IS、及び、撮影環境情報IEを指す。そして、撮影情報取得部115Cは、モデル情報制御部135Cにおけるモデル選択部125Cにこれら3種類の撮影情報IO,IS,IEを入力する。
<5−2.データベース51C>
また、データベース(テンプレート記憶部)51Cでは、本実施形態に係るテンプレートが被写体固有情報IO、被写体状態情報IS、撮影環境情報IEに基づいてグループ分けされて格納されている。すなわち、上述の撮影情報取得部115Cにて取得されるこれら3種類の撮影情報を考慮したテンプレートが予め準備され、各テンプレートには、上述と同様の属性情報(第1〜第3実施形態にて説明済み)が予め付されてグループ別にデータベース51Cにて格納されている。
以下、データベース51Cの概念構造を説明するにあたって、被写体固有情報IOを「性別」、被写体状態情報ISを「肺切除有無」、撮影環境情報IEを「撮影方向」とした場合の最も簡略化された例を用いて説明する。
図45は、データベース51Cにおける階層化されたテンプレート情報の一例を示す概念図である。図45で示されるように、被写体固有情報IOの「性別」、被写体状態情報ISの「肺切除有無」、撮影環境情報IEの「撮影方向」のうち、最も上位概念に位置するのは、撮影環境情報IEの「撮影方向」であるため、まず、「立位」「臥位」「斜め」の3つのテンプレート情報TE1〜TE3に大別され、各々テンプレートがグループ化され格納(蓄積)されている。次に、被写体固有情報IOの「性別」は被写体状態情報ISの「肺切除有無」より上位概念であるため、「男性」「女性」の2つのテンプレート情報TO1,TO2がテンプレート情報TE1〜TE3に各々格納される。さらに、「肺切除無」「肺切除有」の2つのテンプレート情報TS1,TS2がテンプレート情報TO1,TO2に各々格納される。したがって、例えば、被写体固有情報IOが「男性」、被写体状態情報ISが「肺切除有」、撮影環境情報IE「臥位」の場合のテンプレート情報は、テンプレート情報TO1S2E2(図45参照)が該当する。
なお、ここでは撮影情報における最も簡略化された概念構造の一例について説明したが、実際は被写体固有情報IO、被写体状態情報IS、撮影環境情報IEがそれぞれ複数の属性情報から構成されるため、実際のデータベース51はかなり複雑な構造となる。また、ここでは、最も上位概念を撮影環境情報IE、最も下位概念を被写体状態情報ISとしたが、これに限られず、属性情報の組合せにより様々に変動することになる。
<5−3.モデル情報制御部135C、モデル選択部125C>
モデル情報制御部135Cでは、撮影情報取得部115Cにて取得した被写体固有情報IO、被写体状態情報IS、撮影環境情報IEに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図44参照)。本実施形態にいうモデル情報とは、テンプレート情報TOSEおよび形状モデル情報FOSEであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
ここで、モデル情報制御部135Cにおけるモデル情報決定処理とは、テンプレート情報TOSEを決定する処理としては、(1c)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FOSEを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2c)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3c)所定数の増減を決定する処理との2つである。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2c)あるいは(3c)の処理を行うことになる。
<5−3−1.モデル情報決定処理(1c)>
具体的に、モデル情報決定処理の(1c)の処理では、モデル情報制御部135Cにおけるモデル選択部125C(図44参照)が、データベース51Cに該被写体固有情報IO、該被写体状態情報IS、該撮影環境情報IEを入力し、データベース51Cが、これら3種類の属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TOSEをモデル選択部125Cに出力した後、モデル選択部125Cが、該テンプレート情報TOSEを粗抽出決定部130に入力する。
そして、該テンプレート情報TOSEが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TOSEを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理を実施する。
なお、撮影情報IO,IS,IEの属性情報にマッチするテンプレート情報TOSEが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TOSEで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
また、テンプレート情報TOSEが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。
例えば、上記と同様に、撮影情報取得部115Cが撮影環境情報IO,IS,IEとして「性別・肺切除有無・撮影方向」に相当する「男性・肺切除有・臥位」の情報を取得した場合(図45参照)について説明すると、データベース51Cが「男性・肺切除有・臥位」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TOSEをモデル選択部125Cに出力する。このテンプレート情報TOSEがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TOSEが入力された粗抽出決定部130では、該テンプレート情報TOSEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
このように、モデル情報制御部135Cと情報蓄積装置5C(データベース51C)とが連動することにより、撮影情報IO,IS,IEに基づいてテンプレート情報TOSEを決定するモデル情報決定処理を実行している。
<5−3−2.モデル情報決定処理(2c)及び(3c)>
一方、モデル情報決定処理の(2c)及び(3c)の処理では、モデル情報制御部135Cが、該被写体固有情報IO、該被写体状態情報IS、該撮影環境情報IEに基づいて形状モデルFの形状を変更し形状モデル情報FOSEを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2c)及び(3c)により順次変更されていく。すなわち、モデル情報決定処理(2c)及び(3c)は直近に決定された形状モデルFに対して行われる。
そして、モデル情報制御部135Cが、該形状モデル情報FOSEを後処理部150に入力した後、後処理部150が、該形状モデル情報FOSEに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFOSEを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。なお、モデル情報決定処理の(2c)及び(3c)の処理手法の違いは、上記モデル情報決定処理の(2a)及び(3a)の違いと同様である。
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界であっても、適切にフィッティング関数(形状モデルFOSE)を決定することにより抽出精度の向上が図れる。
<5−4.画像処理装置3Cの基本動作>
続いて、図46は、第4実施形態に係る画像処理装置3Cの動作フローを例示した図である。なお、図46のうち、ステップSC11,SC12,SC4,SC6〜SC8は図34のステップS11,S12,S4,S6〜S8と同様であるため、その説明は省略する。
この第4実施形態では、第1実施形態の被写体固有情報取得部115が撮影情報取得部115Cに置換されたことで、下記の工程が変更される。
すなわち、第1実施形態と同様の工程として、ステップSC11,SC12と並行して、図43で示されるように、ステップSC21,SC22が実施される。すなわち、ステップSC21では、制御部31Cの撮影情報取得部115Cが、カルテ情報記憶部41Cから被写体固有情報IO、被写体状態情報ISを取得するとともに、撮影制御装置2から撮影環境情報IEを取得し、モデル情報制御部135Cにおけるモデル選択部125Cにこれら3種類の撮影情報IO,IS,IEを入力する。
ステップSC22では、ステップSC21において入力された3種類の撮影情報IO,IS,IEに基づいて、モデル情報制御部135Cが上記(1c)のモデル情報決定処理を実施する。
ステップSC3では、粗抽出決定部130が、ステップSC12において補正されたフレーム画像IG0に対して、ステップSC22において入力されたテンプレート情報TOSEを用いてテンプレートマッチングを行う。なお、該テンプレート情報TOSEが複数存在する場合は、該テンプレート情報TOSEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
そして、第1実施形態と同様の工程として、ステップSC4を経て、ステップSC5では、モデル情報制御部135Cが、3種類の撮影情報(被写体固有情報IO、被写体状態情報IS、撮影環境情報IE)に基づいて形状モデルFの形状を変更し形状モデル情報FOSEを決定し、上記の(2c)及び(3c)のモデル情報決定処理により決定された形状モデル情報FOSEを後処理部150に入力する。そして、後処理部150が、ステップSC4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FOSEに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する。
以上のように第4実施形態に係る画像処理装置3Cでは、放射線撮影前に予め入力された被写体M及び放射線撮影環境に関する情報である撮影情報(被写体固有情報IO、被写体状態情報IS、撮影環境情報IE)に基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報IO,IS,IEに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
また、撮影情報は、被写体Mの固有の情報を示す被写体固有情報IO、被写体Mの過去及び現在の状態を示す被写体状態情報IS、フレーム画像IG0が撮影された環境を示す撮影環境情報IEであることにより、3種類の撮影情報IO,IS,IEを考慮してテンプレート情報TOSEおよび形状モデル情報FOSE(モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、肺野領域の抽出精度がより向上する。このため、非健常者または非健常動物の身体を被写体とする場合や特殊条件下における撮影であっても、さらに安定的且つ高速に所定部位の抽出精度の向上を実現する。
なお、第4の実施形態に係る画像処理装置3Cは、他に、第1の実施形態に係る画像処理装置3と同様の効果を奏するが、説明は省略する。
<6.変形例>
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
※ 本実施形態では、画像処理装置3,3A,3A’,3Bを個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。なお、組み合わせの一例として、第4実施形態の画像処理装置3Cが挙げられるが、組合せ方は画像処理装置3Cに限られない。
※ 本実施形態における画像処理装置3A’では、テンプレート加工部126’を被写体状態情報ISの場合に特化して採用しているが、これに限られない。すなわち、被写体固有情報IO,撮影環境情報IEの場合においても、必要に応じて採用することが可能である。
※ 本実施形態では、医用画像を動画像に含まれるフレーム画像IG0(G0)として説明したが、静止画像を対象としても良い。
具体的に、医用画像を静止画像とした場合における一連の処理としては、粗抽出決定部130では、静止画像に対してテンプレートを用いてテンプレートマッチングを行い、肺野領域(所定部位を含む領域)を粗く抽出し粗抽出領域を決定する粗抽出処理を行うことになり、また、後処理部150では、該粗抽出領域に基づく領域(粗抽出領域に基づき所定の画像抽出処理が施された精密抽出領域)に対して、肺野領域(所定部位)の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理を行う。
このため、静止画像の場合は、上述のステップS7(SA7,SB7,SC7)及びステップS8(SA8,SB8,SC8)の工程は行われない。
※ 本実施形態における画像処理装置3A(3A’),3B,3Cでは、モデル情報決定処理として、(1)の処理((1a)〜(1c)の処理)と、(2)の処理((2a)〜(2c)の処理)と、(3)の処理((3a)〜(3c)の処理)との3つの処理全てを実施するよう構成されていたが、これに限られない。すなわち、3つの処理のうち少なくとも何れか1つの処理を行う構成であればよい。
※ 被写体Mは、人体だけでなく、動物の身体であってもよい。
1 撮影装置
2 撮影制御装置
3,3A,3A’,3B,3C 画像処理装置
4,4A,4C,5,5A〜5C 情報蓄積装置
31,31A,31A’,31B,31C 制御部
41,41A,41C カルテ情報記憶部
51,51A〜51C データベース(テンプレート記憶部)
100,100A,100A’,100B,100C 放射線動態画像撮影システム
110 画像取得部
115,115A〜115C 撮影情報取得部
120 画像補正部
125,125A,125A’,125B,125C モデル選択部
126A’ テンプレート加工部
130 粗抽出決定部
135,135A,135A’,135B,135C モデル情報制御部
140 精密抽出決定部
150 後処理部
160 粗抽出処理内容制御部
170 対象部位抽出部
IO 被写体固有情報
IS 被写体状態情報
IE 撮影環境情報
TO,TS,TE,TOSE モデル情報(テンプレート情報)
FS,FE,FOSE モデル情報(形状モデル情報、形状モデル)
IG0 フレーム画像
IG1 粗抽出画像
IG2,IG3 精密抽出画像
M 被写体(被検者)

Claims (8)

  1. 人体または動物の身体を被写体とし該被写体における所定部位を一部に含ませて放射線撮影された医用画像を取得する画像取得手段と、
    前記放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報を取得する撮影情報取得手段と、
    前記撮影情報に基づいて、前記所定部位の境界を示すモデル情報を決定するモデル情報決定処理を実施するモデル情報制御手段と、
    前記モデル情報決定処理において決定されたモデル情報に基づいて、前記医用画像から前記所定部位を抽出する所定部位抽出処理を実施する抽出手段とを備え、
    前記所定部位抽出処理は、
    前記医用画像に対してテンプレートを用いてテンプレートマッチングを行い、前記所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、
    前記粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理とを含み、
    前記モデル情報は、前記テンプレート及び前記形状モデルのうち少なくとも一方を指示する情報を含み、
    前記粗抽出処理における前記テンプレートマッチングは、
    第1のテンプレートを用いた1段目テンプレートマッチングと、
    1段目テンプレートマッチングによるマッチング結果を利用して行う、前記第1のテンプレートで規定される領域を複数の領域に細分化した複数の第2のテンプレートを用いた2段目テンプレートマッチングとを含む、
    画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記撮影情報は、
    前記被写体の固有の情報を示す被写体固有情報、
    前記被写体の過去及び現在の状態を示す被写体状態情報、
    前記医用画像が撮影された環境を示す撮影環境情報、
    のうち少なくとも何れか1つの情報を含む、
    画像処理装置。
  3. 請求項2に記載の画像処理装置であって、
    前記被写体固有情報は、
    性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含む、
    画像処理装置。
  4. 請求項2に記載の画像処理装置であって、
    前記被写体状態情報は、
    手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含む、
    画像処理装置。
  5. 請求項2に記載の画像処理装置であって、
    前記撮影環境情報は、
    撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含む、
    画像処理装置。
  6. 請求項1ないし請求項5のうち、いずれか1項に記載の画像処理装置であって、
    前記モデル情報決定処理は、
    (a)予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、
    (b)直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理、及び/あるいは、前記所定数の増減を決定する処理、
    のうち少なくとも何れか1つの処理を含み、
    前記モデル情報は前記処理(a)あるいは処理(b)で決定された内容を含む、
    画像処理装置。
  7. 請求項1ないし請求項6のうち、いずれか1項に記載の画像処理装置であって、
    前記所定部位は肺野領域を含み、
    前記モデル情報は、
    全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることを特徴とする、
    画像処理装置。
  8. 画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータを、請求項1ないし請求項7のうち、いずれか1項記載の画像処理装置として機能させるプログラム
JP2012165053A 2012-07-25 2012-07-25 画像処理装置及びプログラム Expired - Fee Related JP5880332B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012165053A JP5880332B2 (ja) 2012-07-25 2012-07-25 画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012165053A JP5880332B2 (ja) 2012-07-25 2012-07-25 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014023640A JP2014023640A (ja) 2014-02-06
JP5880332B2 true JP5880332B2 (ja) 2016-03-09

Family

ID=50197893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012165053A Expired - Fee Related JP5880332B2 (ja) 2012-07-25 2012-07-25 画像処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5880332B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3170145B1 (en) * 2014-07-15 2020-03-25 Koninklijke Philips N.V. Imaging data statistical testing including a stereotactical normalization with a personalized template image
DE112019005378T5 (de) * 2018-10-29 2021-07-15 Fujifilm Corporation Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und -Programm
JP2020171475A (ja) * 2019-04-10 2020-10-22 コニカミノルタ株式会社 動態画像解析装置、動態画像解析方法及びプログラム
CN111144361A (zh) * 2019-12-31 2020-05-12 合肥湛达智能科技有限公司 一种基于二值化cgan网络的公路车道检测方法
JP2022013077A (ja) * 2020-07-03 2022-01-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2957878B2 (ja) * 1994-01-28 1999-10-06 三洋電機株式会社 画像処理装置
JPH07262370A (ja) * 1994-03-17 1995-10-13 Fuji Photo Film Co Ltd 画像のテンプレートマッチング方法
JP4545971B2 (ja) * 2001-03-05 2010-09-15 日本電信電話株式会社 医用画像識別システム,医用画像識別処理方法,医用画像識別用プログラムおよびその記録媒体
JP2006034585A (ja) * 2004-07-27 2006-02-09 Fuji Photo Film Co Ltd 画像表示装置、画像表示方法およびそのプログラム
JP5109534B2 (ja) * 2007-08-28 2012-12-26 コニカミノルタエムジー株式会社 放射線画像撮影システム及び動態用放射線画像撮影支援装置
JP2010075334A (ja) * 2008-09-25 2010-04-08 Konica Minolta Medical & Graphic Inc 医用画像処理装置及びプログラム
JP5610129B2 (ja) * 2010-03-26 2014-10-22 富士通株式会社 3次元テンプレート変形方法、装置及びプログラム

Also Published As

Publication number Publication date
JP2014023640A (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
JP6676655B2 (ja) 二重エネルギーx線冠動脈カルシウムのグレード付け
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
US10588589B2 (en) Systems and methods for prediction of osteoporotic fracture risk
JP6636331B2 (ja) 血流予備量比の算出
JP4728627B2 (ja) Ct血管造影法における構造を領域分割する方法及び装置
JP6350522B2 (ja) 画像処理装置及びプログラム
JP6570145B2 (ja) 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置
CN111968070B (zh) 一种基于三维建模的血管检测方法及装置
US20100266188A1 (en) Chest x-ray registration, subtraction and display
JP5510619B1 (ja) 画像処理装置
JP5880332B2 (ja) 画像処理装置及びプログラム
JP2017510427A (ja) 放射線画像の肺野セグメンテーション技術及び骨減弱技術
US20130223711A1 (en) Maching Learning Techniques for Pectoral Muscle Equalization and Segmentation in Digital Mammograms
JP6361435B2 (ja) 画像処理装置及びプログラム
JP2016116867A (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
CN111275755B (zh) 基于人工智能的二尖瓣瓣口面积检测方法、系统和设备
JP2014079312A (ja) 画像処理装置及びプログラム
US11278257B2 (en) Diagnostic auxiliary image generation apparatus, diagnostic auxiliary image generation method, and diagnostic auxiliary image generation program
El-Baz et al. A novel approach for automatic follow-up of detected lung nodules
Huang et al. Joint spine segmentation and noise removal from ultrasound volume projection images with selective feature sharing
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
JP5364009B2 (ja) 画像生成装置、画像生成方法、及びそのプログラム
US11080866B2 (en) Dynamic image processing method and dynamic image processing device
JP4738970B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R150 Certificate of patent or registration of utility model

Ref document number: 5880332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees