上記特許文献1及び2では、僧帽弁部の括れによって隔てられる左室と左房との分離を必ずしも的確に行えない場合がある。
本発明の目的は、分離する領域の構造、特に、分離部分付近の構造を忠実に評価して注目領域の分離を行うことにある。
上記課題を解決するため、本発明の画像処理装置は、括れ部を介して互いに連通する注目腔と隣接腔とを含む組織腔部及びその周囲の組織部についての対象画像を生成する対象画像生成手段と、前記対象画像上において、前記注目腔を基準として前記組織腔部の輪郭形態についての評価を行い、この評価結果に基づいて前記組織腔部の輪郭に沿って括れ代表点を探索する代表点探索手段と、前記対象画像上において、前記括れ代表点に基づいて前記注目腔と前記隣接腔を分離し、これによって前記注目腔に相当する注目領域を抽出する分離処理手段と、を備える。
上記画像処理装置は、医療上の診断のために作成された2次元の画像データに対して処理を行う。画像データには、解析対象である生体等の内部構造が含まれており、内部構造は組織腔部とその周囲の組織部とからなる。組織部と組織腔部とは心腔と心壁であることが望ましいが、特に限定されるものではない。このような組織腔部のうち抽出対象となる注目腔を、注目腔と括れ部によって連結された隣接腔から分離する画像処理を行う。括れ部は、注目腔と隣接腔に比べて細い構造をもつ。例えば、注目腔が心室で隣接腔が心房である場合には、括れ部は両者を繋ぐ弁部に相当する。
画像処理装置の対象画像生成手段は、当該装置の処理前の画像データ(これを原画像と呼ぶ)から対象画像を生成する処理を行う。この処理の例としては、拡大縮小、平行移動、回転などの座標変換処理を挙げることができる。一連の画像処理において本質的ではない小さな構造を除去するための平滑化処理を行ってもよい。また、組織腔部を周囲の実質部と明瞭に区別するために二値化処理を行ってもよい。
代表点探索手段は、対象画像に対して処理を行って、括れ部を代表する代表点を探索する。探索にあたっては、まず、注目腔を基準として、組織腔部の輪郭の形態を評価する。すなわち、例えば注目腔の中央付近や重心等の注目腔を代表する部位がユーザによりあるいは自動的に設定され、この基準に対して組織腔部の輪郭形態が評価される。輪郭形態の評価は様々に行うことが可能であり、例えば、括れ部によって注目腔が開領域を形成していることを利用して、境界が基準位置から見て急激に深い方向に折れ曲がっている状況を勾配や勾配変化率に基づいて評価することができる。また、括れ部が組織後部の内側に凸形状を示すことを利用して、基準位置から見て内側に凸な領域を、やはり勾配や勾配変化率に基づいて評価してもよい。そして、このような評価結果を組織後部の輪郭に沿って調べることにより、括れ代表点を見出す。なお、ここでいう輪郭とは、組織腔部と組織部との境界線であってもよいし、境界のいずれの側かに隣接した画素であってもよい。
分離処理手段は、こうして得た括れ代表点に基づいて注目腔と隣接腔を分離する。分離処理手段は、さらに注目領域以外の領域を取り除く処理などを行ってもよい。
この構成によれば、画像処理装置は、組織後部の輪郭形態を忠実に調べて括れ代表点を求める。従って、括れ部に基づいた注目腔と隣接腔の分離を行うことが可能となる。このため、例えば心臓の収縮によって括れ部の位置が変動する場合にも、的確に追従することが可能となる。ただし、時系列データに対して処理を行う場合には、必ずしも毎回、上記手順に従った分離を行う必要はなく、計算効率を考慮して、それ以前の結果を適宜利用することも有効である。なお、画像データは2次元に限定されるものではなく、3次元である場合にも容易に適用することができる。
望ましくは、本発明の画像処理装置においては、前記代表点探索手段は、前記対象画像上において、前記注目腔内の評価開始点からその外側周囲へ向かって順次各画素を評価対象画像とする評価値演算を展開し、前記評価対象画素に対する評価値を求める評価値演算手段と、前記組織腔部の輪郭に沿って各画素値の評価値を順次参照し、その評価値の変化に基づいて前記括れ代表点を検出する検出手段と、を含む。
評価開始点は、所定のルールに従って注目構内に自動設定されてもよいし、ユーザ設定されてもよい。評価値演算手段は、この評価開始点から外側周囲の組織部に向かって、各画素を順次評価対象として評価値演算を進行していく。評価値演算は様々に行うことが可能であり、例えば、評価対象画素の周囲に適当なサイズのウインドウを設定し、そのウインドウの中に含まれる組織部の分布パターンを、評価開始点との方向関係に基づいて評価するといったことが可能である。検出手段は、このようにして与えられた評価値を、組織腔部の輪郭に沿って評価する。そして、評価値の変化に基づいて括れ代表点を検出する。前に述べた分布パターンに従った場合には、分布パターンが通常の状態から特定の状態に変化する点に基づけばよい。このように括れ代表点を検出するための評価値変化の用い方は、評価値特性に応じて定めればよい。
望ましくは、本発明の画像処理装置においては、前記評価値は、少なくとも、前記評価対象画素の展開方向前方の近傍における参照画素に含まれる前記組織部の存在の度合いと、その展開方向後方の近傍における参照画素に既に与えられた評価値とに基づいて定められ、これにより前記評価値は前記展開方向後方における既評価画素と前記組織部との近接情報を累積的に反映する。
評価値は、このように、展開の進行とともに過去の評価結果を累積的に反映するものであってもよい。すなわち、評価値を与える場合には、評価対象画素の展開方向前方における組織部の存在の度合いが考慮されるとともに、展開方向後方における既評価画素の評価値が考慮される。これによって、ある評価対象画素の評価値は、それよりも展開方向後方において評価した組織部との近接度合いについての情報を含むことになる。
望ましくは、本発明の画像処理装置においては、前記展開方向前方の近傍における参照画素には、前記評価対象画素の前記展開方向の前方に隣接する画素、及び、前記展開方向斜め前方に隣接する画素とが含まれる。また、望ましくは、本発明の画像処理装置においては、前記展開方向後方の近傍における参照画素には、前記評価対象画素の前記展開方向後方に隣接する画素と前記展開方向斜め後方に隣接する画素とが含まれる。
評価対象画素に対する評価値演算において評価値や近接情報を直接参照する参照画素は、様々に選択可能である。そして、参照にあたっての重み付けや、評価値演算の演算規則への取り込み方も適宜定めることができる。その中でも、展開方向前方の近傍における参照画素として、展開方向前方に隣接する画素と、展開方向斜め前方に隣接する画素を採用することが特に望ましい。また、展開方向後方の近傍における参照画素として、展開方向後方に隣接する画素と、展開方向斜め後方に隣接する画素を採用することも特に望ましい。このように、展開方向の前方あるいは後方に隣接する画素だけでなく、斜め前方あるいは斜め後方の画素に隣接する画素をも参照する理由は、これにより、既評価画素における評価結果を展開方向斜め前方に広く伝播させることが可能になることによる。すなわち、ある既評価画素における組織部との近接情報の影響は、この既評価画素よりも展開方向の前側の複数の画素に広く伝えられる。したがって、評価値によって、組織部の分布をスムージングした構造が形成されることになる。
望ましくは、本発明の画像処理装置においては、前記評価値演算手段は、評価値の付与により、前記評価値開始点から連続的に分布し前記組織腔部の輪郭に内接する閉領域を画定し、前記評価値の変化の位置は、前記閉領域の外縁が前記組織腔部の輪郭から乖離しはじめる位置に対応する。
このように、評価値は、評価開始点をその領域内に含む滑らかな形状の外縁をもつ閉領域が、組織腔部の輪郭に内接する状態を再現するように定めることが可能である。この場合、閉領域の外縁と組織腔部の輪郭とが不一致しない部分は、組織腔部の輪郭が滑らかな形状を有しない箇所を意味する。この箇所は括れ部を表す可能性が高いため、両者の乖離箇所をもとに括れ代表点を定めることができる。
望ましくは、本発明の画像処理装置においては、前記代表点探索手段は、組織腔部を介して向き合う輪郭上で、対となる2点の前記括れ代表点を探索し、前記分離処理手段は、前記2点の括れ代表点を結ぶ分離線によって前記注目腔と前記隣接腔を分離する。
対となる2点の括れ代表点を検出し、これらを結ぶ分離線を設定する手法は、特に、対象画像が組織腔部を2次元的に表現している場合に有効である。括れ部は、心臓の弁部のように、二つの括れた輪郭線によって表現されることが多い。したがって、組織腔部を介して相互に対向する二つの輪郭線上において、それぞれ括れ代表点を見つけることにより、括れ部の検出精度が向上する。そして、この二つの括れ代表点を結ぶことにより、括れ部に基づいた注目腔と隣接腔との分離が適切に行われる。この分離線は、前にも述べたように、直線でも曲線でも良い。
例えば、前記分離線は前記注目腔側に凸形状をなす曲線であってもよい。括れ代表点は、括れ部の形状を忠実に調査して求めているため、分離線も単純な直線ではなく、実際の注目腔の形状に相応しい形に定めることができる。注目腔として心臓の左室を検出ような場合には、注目腔側に出っ張りのある曲線とすることが好ましい場合があり、これにより精度よく注目腔を分離することができる。出っ張りの程度は、ユーザ設定により行ってもよいし、あらかじめ与えられたルールに従って設定されてもよい。
また、前記曲線の曲率半径は、前記2点の括れ代表点と前記評価開始点とがなす距離に基づいて定められてもよい。曲線は、一定の曲率半径をもつ円弧であっても、曲率半径に変化のある曲線であってもよい。曲率半径は、例えば、各括れ代表点において、それぞれの評価開始点との距離に等しくなるように変化させてもよい。また、各括れ代表点と評価開始点との距離の平均値としてもよい。
望ましくは、本発明の画像処理装置においては、前記分離処理手段によって抽出された注目領域に基づいて、前記注目腔のサイズを計測するサイズ計測手段、を備える。注目腔のサイズとは、特定部位の長さ、断面積、体積など注目腔の大きさを特徴づける量である。サイズ計測手段によるサイズ計測は、対象画像上の注目領域に対して直接的に行ってもよいし、対象画像の注目領域でマスクをされた元画像等に対して間接的に行ってもよい。
望ましくは、本発明の画像処理装置においては、前記評価開始点に基づいて関心領域を定める設定手段、が含まれ、前記検出手段は、前記関心領域を対象として前記括れ代表点を検出する。対象画像には、検出したい括れ部以外にも、括れ部と似た構造が表されている場合がありえる。この場合に、評価値を算出するための関心領域を設定することは、検出の精度向上に有効である。しかしながら、ユーザの操作負担を軽減するためには、ユーザ設定をなるべく減らすことが望ましい。そこで、操作開始点を基準とする一定領域を関心領域とし、検出手段の実行をこの関心領域について行うこととした。関心領域は、例えば矩形状、円形状、楕円形状などとし、その大きさ、及び、評価開始点との位置関係を設定しておくことで、自動的に定めることが可能となる。なお、評価開始点はユーザ設定されても、所定の基準に基づいて自動的に設定されてもよい。
望ましくは、本発明の画像処理装置においては、対象画像生成手段は、画像を二値化処理する二値化手段を備え、前記二値化処理によって、前記対象画像の組織腔部が組織部から区別されている。二値化された二値画像を処理対象とすることにより、組織腔部と組織部との判別が容易になるだけでなく、データ量や演算量を減らすことも可能となる。なお、時系列データに対して処理を行う場合には、毎回改めて関心領域を設定する必要はなく、それ以前の関心領域を流用することも可能である。
望ましくは、本発明の画像処理装置においては、対象画像生成手段は、画像に対して平滑化処理を行う平滑化手段を備え、前記平滑化手段によって、前記対象画像の少なくとも前記組織腔部の輪郭が平滑化されている。平滑化によりノイズの除去を行ったり、括れ部よりも小さくな構造を除去することが可能となる。これにより、小さな構造に伴う括れ部検出の精度低下を回避することが可能となる。なお、平滑化手段と二値化手段とを併用する場合には、どちらの処理を前に行ってもよい。
望ましくは、本発明の画像処理装置においては、括れ形状をもつ僧帽弁部を介して互いに連通する左室と左房とを含む心腔及びその周囲の心壁についての対象画像を生成する対象画像生成手段と、前記対象画像上において、前記左室を基準として前記心腔の輪郭形態についての評価を行い、この評価結果に基づいて前記心腔の輪郭に沿って括れ代表点を探索する代表点探索手段と、前記対象画像上において、前記括れ代表点に基づいて前記左室と前記左房を分離し、これによって前記左室に相当する注目領域を抽出する分離処理手段と、前記分離処理手段によって抽出された注目領域に基づいて、前記左室のサイズを計測するサイズ計測手段、を備える。
本発明により、例えば超音波断層画像においては、左室と左房との分離を、両者を繋ぐ僧帽弁部の括れ形状に基づいて行うことができる。括れ形状を忠実に評価するこの手法は、分離を的確に行う上で効果的である。
以下に本発明の実施形態を、図面を用いて説明する。説明においては、超音波診断装置によって生成された断層画像についての画像処理を行う場合を主に取り上げる。そして、断層画像は、心筋等の組織部と心室心房等の組織腔部を含む心臓部、特に、左房と左室とが僧帽弁部を挟んで連結した状態を表現しているものとする。超音波診断装置は、括れ部である僧帽弁部を検出して、注目腔である左室を隣接腔である左房から分離する処理を行う。
[装置構成と全体の流れ]
図1は、本実施の形態に係る画像処理装置110の構成概略図である。画像処理装置110は、超音波診断装置に組み込まれていてもよいし、それ自体が単体の装置となっていてもよい。そして、画像処理専用回路を備えたコンピュータはもとより、一般のパソコン等を用いても実現することができる。画像処理装置110は、ユーザ入力を受け付けるキーボード等の操作部112、ネットワークや記憶メディア等を通じた入出力を行う入出力部114、演算結果やユーザへの指示等を表示する液晶ディスプレイ等の表示部116、一時的あるいは半永久的に情報を記憶するハードディスクやメモリで構成された記憶部118を備えている。これらの各構成部の動作は、プログラムによって動作を規定された制御部120によって制御されている。
制御部120は、さらに、CPU等によって実現される演算処理部を制御している。演算処理部としては、画像処理の対象画像を生成する対象画像生成部130、対象画像に対する設定を行う設定部140、括れ代表点を探索する代表点探索部150、代表点探索部150の結果に基づいて注目腔と隣接腔を分離する分離部160、分離結果に基づいて注目腔のサイズを計測する計測部164が含まれている。
対象画像生成部130は、二値化部132、平滑化部134、エッジ抽出部136を含んでいる。二値化部132は、入出力部114から入力された超音波断層画像を元画像として、元画像の二値化を行い二値画像を得る。二値化においては、組織部と組織腔部とが区別できるように閾値が設定される。平滑化部134は、二値画像に対し、ノイズの除去や微小構造の除去を行って対象画像を得る。この平滑化の処理により、対象画像においては、組織腔部の輪郭(したがって組織部の輪郭も)は微小な凹凸がない滑らかなものとなる。エッジ抽出部136は、対象画像に対し、組織腔部の輪郭を形成する画素だけを取り出してエッジ画像を形成する。
設定部140は、評価開始点部142と関心領域部144とを含んでいる。評価開始点部142は、ユーザの指示に基づいて、対象画像上に注目腔内に評価開始点を設定する。関心領域部144は、評価開始点を基準とする所定の規則に従って、対象画像上に関心領域を設定する。
代表点探索部150は、評価値演算部152、検出部154、及び、絞り込み部156を含んでいる。評価値演算部152は、関心領域に含まれる画素を次々と評価対象画素とし、この評価対象画素にたいする評価値を与えていく。評価対象画素は、評価開始点側から周辺部側へと順次外側に向かって選ばれる。評価値演算は、後述するように、評価対象画素の周囲の参照点における組織部の影響を評価するように定められている。検出部154は、評価値演算部152が算出した評価値のうち、エッジ画像に含まれる画素の評価値を調査し、評価値の変化に基づいて、括れ代表点を検出する。括れ代表点は、最終的に、組織腔部を挟んで向き合う輪郭上に一点づつ、合計2点が検出され、対となって括れ部の存在を表す。しかしながら、評価値の分布を探索する条件次第では、検出部154によって複数の点が選ばれてしまうことがありえる。絞り込み部156は、この場合に対となる2点へと絞り込みを行う。絞り込みの条件は特に限定されないが、ここでは、距離最短となる2点を抽出するものとする。
分離部160は、検出された2点の括れ代表点を曲線で結んで注目腔と隣接腔とを分離する。分離曲線の曲率は、分離部160に含まれる曲率決定部162によって与えられる。曲率決定部162は、2点の括れ代表点と評価開始点との距離に基づいて曲率半径を決定することができる。
計測部164は、分離部160によって抽出された注目領域に基づいて、注目腔のサイズを計測する。計測部164には、注目領域によって原画像をマスク処理するマスク処理部166と、マスク処理された領域又は注目領域自体のサイズを計測するサイズ計測部168が含まれている。サイズ計測部168は、幾何的な原理に基づいて画像の特定部位の長さ、断面積、体積などを計測する機能や、画像上のサイズを実物のサイズに換算する機能などを備えている。
図2は、本実施の形態の実施手順を示したフローチャートである。入出力部114から断層画像が入力される(S110)と、二値化部132において二値化処理がなされ、二値画像が形成される(S112)。二値画像に対しては、平滑化部134によってノイズ除去(S114)とエッジスムージング処理(S116)がなされ、対象画像が生成される。エッジ抽出部136は、対象画像に対し、組織腔部の輪郭を抽出するエッジ抽出(S118)を行い、エッジ画像を形成する(S118)。その一方で、対象画像に対しては、ユーザの指示に基づいて、評価開始点部142が対象画像上に評価開始点を設定する(S120)。
次に、評価値演算部152が、この評価開始点から所定の条件に従って評価値演算を行う(S122)。関心領域部144は、評価開始点に基づいて関心領域である僧帽弁領域を設定し(S124)、さらに、僧帽弁領域に含まれ、かつ、エッジ画像で抽出された輪郭を括れ代表点の候補点群として抽出し(S126)、組織腔部を挟む二つの候補点群上で、各一点の検出開始点を決定する(S128)。そして、検出部154がこの検出開始点を起点として候補点群の探索を行う(S130)。続いて、絞り込み部156によって、ひとつの候補点群上に括れ代表点となる条件に該当する点が2点以上存在するか否かが調べられ(S132)、存在する場合には他方の候補点群上の該当点との距離が最短となる2点が選ばれる(S134)。こうして、対となる2点の括れ代表点が検出される(S136)。
分離部160は、この2点を結ぶ分離曲線を設定し(S138)、左室に相当する注目領域を抽出する。そして、マスク処理部166が、当初入力された断層画像をこの注目領域によってマスク処理する(S142)。サイズ計測部168は、マスク処理された領域に基づいて、左室のサイズ計測を行う(S144)。
以下では、評価値演算の具体例と、その評価結果に基づいて括れ代表点を探索する具体例について説明する。
[評価値演算]
ここで説明する評価値演算は、注目腔の分離のために行う目的の他に、注目腔の輪郭における「ぬけ」等の穴あき部分を穴埋め処理する目的を兼ねたものである。この穴埋め処理を併用することで、注目腔の領域画定がより適切となる効果がある。以下に、その具体的なルールの例を図3、図4を参照して説明する。
評価値演算は、代表点探索部150が各画素を評価する順番を決定する。ここでは、評価開始点を基準点Rとし、この点から放射状に外側に向かって引かれた探索ラインと、この基準点Rを中心とする複数の同心円とに基づいて順番を決定する。すなわち、各同心円の円弧上で探索ライン上に位置する画素を次々と評価対象画素として評価するという過程を、順々に外側の同心円に対して行っていく。
代表点探索部150は、各評価対象画素に対して、その評価対象画素を中心とする3×3あるいは5×5の画素からなるウインドウを設定する。ウインドウの設定は探索ライン方向と同心円の弧方向を2軸として行われる。そして、図3に示す評価値付与の条件に従って、その評価対象画素に評価値を与える。
評価値は、4つのランクのいずれかが与えられるものとし、それぞれを評価値0、評価値1、評価値2、評価値10と呼ぶことにする。評価値0は組織部の影響度が最も強く、明らかに注目腔に含まれないとみなすことができる。評価値1は次に影響度が強く、評価値2がこれに続く。そして、評価値10は、組織部の影響を全く受けない状態を表している。
参照画素については、次のように定める。まず、組織部との存在の度合いを参照するために定められ、少なくとも前記評価対象画素の展開方向前方(探索ラインの前方)の近傍の画素を含む参照画素を第1参照画素と呼ぶ。また、既に与えられた評価値を参照するために定められ、少なくとも展開方向後方の近傍の画素を含む参照画素を第2参照画素と呼ぶ。この第1参照画素と第2参照画素を定める際の近傍の定義は様々に定めることができ、両者は同じ定義を用いても、違う定義を持ち手もよい。そこで、ここでは、以下に説明するように、3×3と5×5のウインドウに基づいて近傍を定義する。なお、同心円や探索ラインの間隔によっては、同一の画素が2回以上評価される場合がある。この場合には重複して評価を行わない方法もあるが、ここでは毎回評価を行うこととし、その際には、過去において与えられた評価値よりも値の低い評価値(すなわち影響度が強い評価値である)への変更のみを行うものとする。
図4は、基準点Rから延びる探索ラインL上において、評価対象画素x3が選ばれた際に、3×3のウインドウ及び5×5のウインドウが設定された様子を示している。そして、評価対象画素x3よりも基準点R寄りにある画素v1−v5,w1−w5の評価がなされたものとする。なお、画素の評価は内側から外側へと順次行われていくことから、このウインドウにおいては探索ラインLの矢印方向を進行方向前方とし、反対方向を後方と呼ぶことにする。また、画素値1は組織腔部のもつ画素値(輝度値)、画素値0は組織部のもつ画素値であるとする。
ここでは、第1参照画素は、画素w2,w3,w4,x2,x4,y2,y3,y4,z3とし、また、第2参照画素は、画素w2,w3,w4とする。この第1参照画素と第2参照画素を、図3に示したルールに適合した場合、評価値付与の条件は次のようになる。
評価値0の条件は、第1参照画素のうち、「3×3ウインドウ中評価対象画素の真後ろ(展開方向後方に隣接する)の画素」である画素w3の画素値が0の場合、または、第2参照画素のうち、「3×3ウインドウ中評価対象画素の真後ろの画素」である画素w3の評価値が0または1の場合である。
評価値1の条件は、上記評価値0の条件に該当せず、かつ次の二つの条件のうち少なくとも一つを満たすことである。この2条件とは、第1参照画素のうち、「3×3ウインドウ中評価対象画素以外の画素」である画素w2,w3,w4,x2,x4,y2,y3,y4の少なくとも1つの画素が画素値0である条件(w3については、評価値0の条件が優先される)と、第2参照画素のうち、「3×3ウインドウ中評価対象画素の真後ろの画素」である画素w3の評価値が2である条件である。
評価値2の条件は、評価値0の条件にも評価値1の条件にも該当せず、かつ、次の2条件のうち少なくとも一つを満たすことである。この2条件とは、第1参照画素のうち、「5×5ウインドウ中評価対象画素の2つ前方の真正面の画素」である画素z3の画素値が0である条件と、第2参照画素のうち、「3×3ウインドウ中評価対象画素の斜め後ろの画素」である画素w2,w4の少なくとも一つの評価値が1である条件である。
評価値10の条件は、評価値0の条件、評価値1の条件、評価値2の条件のいずれにも該当しないことである。
図5のフローチャートは、このルールに従って、図2のステップS122を行う手順を示している。まず、代表点探索部150によって定められた順序に従って、評価対象画素が選択される(S40)。そして、この評価対象画素が画素値0であるか否かを調べる(S42)。画素値0である場合には、この画素が属す同心円上の画素全てが画素値0をもつか否かを調べ(S44)、該当する場合には終了する。終了にあたっては、穴埋め成形の便宜を考えて、この同心円よりも外側にある画素値1の画素に評価値0を与える。なお、ある同心円の評価を終えた時点で、その同心円が通る画素が全て画素値0または評価値0の場合にも同様に処理を終了する。一方、該当しない場合には、順序に従って新しい評価対象画素を選ぶ(S40)。ステップS42において、画素値が0でない場合には、評価値0の条件が判定される(S46)。そして、この条件を満たす場合には評価値0が与えられ(S48)、満たさない場合には評価値1の条件が判定される(S50)。評価値1の条件の判定においては、既に、評価値0でないことがわかっているので、他の2条件に該当するかどうかを判定すればよい。そして評価値1の条件を満たした場合には、評価値1を付与し(S52)、条件を満たさない場合には、続いて評価値2の条件が判定される(S54)。この評価値2の条件を満たす場合には評価値2が与えられ(S56)、満たさない場合には評価値10が与えられる(S58)。ステップS48,S52,S56,S58において評価値が与えられた場合には、次の評価対象画素が選択される(S40)。このときに、全ての画素を評価し終わっていれば当然に終了する。
次に画像処理の具体例を、図6から図19の一連の説明図を用いて示す。図6は、心臓部の診断データを基に生成された原画像から、2値画像を作成し、さらにノイズ除去を行って得た対象画像である。原画像と2値画像は、ともに20(横)×27(縦)の格子上に正方形のピクセルが配置されたデータである。原画像は、各画素において多段階(例えば256段階)で表現される輝度値(画素値)のデータからなる。そして、2値化は、原画像に表示される心臓の心腔部と心壁部が2値で分離されるよう輝度を閾値として実施され、さらに反転処理を行っている。ただし、反転処理は以下の処理においては本質的問題ではない。ノイズ除去としては、一定のスケール以下のパターンを取り除くために、周囲と画素値が異なる孤立した1画素または2画素を取り除くといった空間フィルタを作用させているが、もちろん他のフィルタを用いてもよい。
このようにして作成された図6は、画素値が1(白色)の組織腔部40と、画素値が0の組織部44とからなる。このうち、組織腔部40部分は、左室50と左房52を主として表している。両者は別々の組織腔部を構成しているが、両者を隔てる僧帽弁がエコーで捉えられておらず、僧帽弁部54は左室50と左房52を連結する括れ部を構成するように表示されている。また、左室50の左側の壁部(ぬけ56と呼ぶ)は、筋腺維の方向が超音波の伝播方向にほぼ平行でエコーが弱いことに起因している。また、図の左上と左下に、心臓内部とは無関係な画素値1の領域58,59がある。以下では、組織腔部のうちの左室50を注目腔とし、左房52を隣接腔とする場合について説明する。
図7では、まず、左室50内に評価開始点である基準点Rが設定されている。そして、評価値演算のための探索順序を定めるために、同心円A,B,C,...I(実際にはもっと外側の同心円も考える)が設定され、また、探索ラインL1,L2,L3,...,L20,...,L30,...を1度毎に設定している(ただし図7においては、その一部のみしか記していない)。探索は、まず、一番内側の同心円Aが通過する画素に対して行われる。この同心円の中の探索は、まず探索ラインL1が通過する画素に対して行われ、次に探索ラインL2が通過するラインに対して行われ、というように各探索ラインが通過する画素に対して順次時計回りに実施される。複数の探索ラインが通過する画素については、設定されるウインドウが同じとなる場合には計算する必要はない。しかし、設定されるウインドウが異なる場合には、再度処理する方が等方性の観点からは望ましい。もちろん、演算速度を考えて、重複処理を行わないという選択肢もある。
ここで、第1参照画素および第2参照画素を選ぶためのウインドウの設定方法を、探索ラインL20上の画素d3を評価対象画素とした場合と、探索ラインL30上の画素b3’を評価対象画素とした場合を例に挙げて説明する。評価対象画素d3については、この画素と同じ同心円Dが通過し、かつ、この画素の両隣に位置する画素をそれぞれ画素d2と画素d4とする。また、探索ラインL20上にあり、一つ内側の同心円Cが通過する画素を画素c3とし、同じく同心円Cが通過する両隣(同心円の通過順をもって両隣を定める)の画素を画素c2,c4とする。同様にして、評価対象画素d3よりも一つ外側の同心円E上で画素e2,e3,e4が選ばれ、二つ外側の同心円において画素f3が選ばれる。こうして選ばれた画素c2,c3,c4,d2,d4,e2,e3,e4,f3は第1参照画素を構成し、画素c2,c3,c4は第2参照画素を構成する。これらの画素を用いた評価値決定に関するルールは、図4を用いた説明と同様にして行えばよい。
評価対象画素b3’については、探索ラインL30に対する画素配置の対称性がないため、ウインドウの形状も対称性がなくなる。しかし、ウインドウを設定する基準は評価対象画素d3に対する場合と同じである。すなわち、評価対象画素b3’と同じ同心円Bに含まれ、かつ、その両隣に位置する画素b2’,b4’を選ぶことができる。また、ひとつ内側の同心円Aが通過する画素のうち、探索ラインL30上でみて評価対象画素b3’に隣接する画素a3’を選び、さらにその両隣の画素a2’とa4’を選ぶ。同様にして、ひとつ外側の同心円Cが通過する画素のうち、探索ラインL30上でみて評価対象画素b3’に隣接する画素を画素c3’とし、その両隣の画素c2’,c4’を選ぶ。また、同心円Dが通過する画素の中から画素d3’を選ぶ手順も同様である。
図8は、基準点Rを含む画素に評価値10を与え、さらに同心円Aが通過する8個の画素に対し、評価値演算を実行して与えた評価値を示している。基準点Rを評価対象画素として評価値を与える場合には、それ以前に評価値を与えられている画素がないので、第2参照画素を参照する必要はない。したがって、第1参照画素だけを評価すればよいが、基準点Rについては方向性が定まらず、評価値0の条件に用いられる「3×3ウインドウ中、評価対象画素の真後ろの画素」が定まらない。そこで、この場合には、等方性を考慮して、あらゆる方向に対してこの条件を適用すべきである。この結果、同心円Aが通過する少なくとも1つの画素に画素値0の画素があれば、評価値0が与えられることになる。ただし、基準点Rの評価値が0であると、基準点Rを含む全ての画素が抽出されなくなるので、このような画素を基準点Rとして選ぶべきではない。また、同様にして評価値2の条件は、同心円Bが通過する少なくとも1つの画素に画素値0があれば、基準点Rに評価値2を与えるという条件であると捉えることができる。ただし、この場合、画定される閉領域は同心円Aが通過する画素でしかなく、やはり画像処理を行う意味がない。結局のところ、基準点は、同心円A,Bが画素値0の画素を含まないように選ぶべきであると言える。
同心円A上の画素を評価対象画素として評価値演算を実行する場合には、3×3のウインドウのうち、後方側(基準点側)のウインドウが基準点Rに縮退してしまうことに注意する必要があるが、それをのぞけば、条件の評価自体において問題となることはない。図8に示した例においては、いずれの画素も第1参照画素に画素値0の画素を含まず、また、第2参照画素としての基準点Rは評価値10を有するので、同心円A上の画素は全て評価値10が与えられる。
図9は、同心円Bが通過する全ての画素について評価値を与えた状態を示している。この場合にも、同心円B上の各評価対象画素に対し、組織部は第1参照画素に含まれない。また、第2参照画素の評価値は全て10であるため、同心円Bが通過する全ての画素には評価値10が与えられる。
図10は、同心円Cが通過する全ての画素について評価値を与えた状態を示している。ここでは、基準点の左上にある画素c2’’だけが、評価値2を与えられている。これは、探索ラインL6で見れば、評価対象画素c2’’における「5×5ウインドウ中評価対象画素の2つ前方の真正面の画素」である画素e3’’が画素値0であるためである。一方、画素c2’’よりも基準点からやや遠い位置にある画素c1’’には評価値10が与えられている。これは、例えば探索ラインL5で見ると、評価対象画素c1’’にとっての「5×5ウインドウ中評価対象画素の2つ前方の真正面の画素」は、画素e1’’であり、画素値が1であるために、評価値2の条件を満たさないことによる。
図11は、同心円Dが通過する全ての画素について評価値を与えた状態を示している。ここでは、図10の説明で述べた画素c1’’の評価値が、評価値10から評価値2に変わっている。これは、画素c1’’が同心円Cだけでなく、同心円Dも通過する画素であるため、再度評価値を評価されたことによる。すなわち、画素d1’’にとっては、探索ラインL5上でみた「5×5ウインドウ中評価対象画素の2つ前方の真正面の画素」は画素値0をもつ画素f1’’であるために、評価値2の条件を満たしたことによる。また、画素d2’’には評価値1が与えられている。これは、探索ラインL6上でみて、評価対象画素d2’’の「3×3ウインドウ中評価対象画素以外の画素」である画素e2’’の画素値が0であるために、評価値1の条件を満たしたことによる。なお、このライン上においては、評価対象画素d2’’の「3×3ウインドウ中評価対象画素の真後ろの画素」である画素c2’’の評価値が2であることによる評価値1の条件も満たしている。
図12は、同心円Eが通過する全ての画素について評価値を与えた状態を示す図である。ここからは、ぬけ56部分が穴埋めされていく様子をたどる。まず、この図において画素e2は評価値1を与えられている。これは、第1参照画素に含まれる画素f1の画素値が0であることによる。一方、画素e3は評価値10が与えられている。これは、第1参照画素に組織部が含まれず、また第2参照画素は全て評価値10であることによる。続いて、同心円Fが通過する全ての画素について評価値を与えた状態を示す図13においては、画素f2は評価値0を与えられている。これは、探索ラインL19上でみて、評価対象画素f2の「3×3ウインドウ中評価対象画素の真後ろの画素」である画素e2が評価値1であるため、評価値0の条件を満たしたことによる。また、画素f3には評価値2が与えられている。これは、評価対象画素f3の「3×3ウインドウ中評価対象画素の斜め後ろの画素」である画素e2あるいはe4が評価値1であるために、評価値2の条件を満たしていることによる(本実施の形態では、画素e2とe4の評価値は共に1である)。さらに、次の同心円Gが通過する全ての画素について評価値を与えた状態を示す図14においては、画素g2には評価値0が与えられている。これは、評価対象画素g2の「3×3ウインドウ中評価対象画素の真後ろの画素」である画素f2の評価値が0であることによる。このように、一旦評価値0が与えられると、この探索ラインL19の前方の真正面の画素には評価値0が与えられ続けることになる(図15,16参照)。また、画素g3には、評価値1が与えられている。これは、評価対象画素g3の「3×3ウインドウ中評価対象画素の真後ろの画素」である画素f3の評価値が2であることによる。さらに、この探索ラインL20上で、同心円Hが通過する画素h2には評価値0が与えられている(図15)。このように、探索ラインL20上においては、画素e2またはe4の評価値1の影響を受けた画素f3が評価値2を有したことにより、画素f3よりも前方の真正面の画素である画素g3が評価値1となり、画素h2が評価値0となった。
図16は、同心円Iが通過する全ての画素について評価値を与えた状態を示す図である。ここでは、左房52において、穴埋め整形の準備が進行している。すなわち、評価値1をもつ画素e3’の影響を受けて、画素f4’が探索ラインL25において評価された際に評価値2を与えられる。そして、画素g4’の評価値1、画素h5’の評価値2、画素i5’の評価値1が順々に与えられている。評価結果のこの累積的な影響はさらに続き、全ての画素の評価値が与えられた状態を示す図17において、画素j6’の評価値2、画素k6’の評価値1が与えられている。そして、これよりも進行方向前側(外側)の画素には、評価値0が与えられることになる。また、領域58、59においては、その基準点寄りの画素が画素値0の画素と接しているために評価値0を与えられるため、その影響が伝播して全画素に評価値0が与えられている。
図18は、領域整形部32によって、領域の整形が実行された様子を示している。すなわち、評価値0を与えられた画素の画素値が0に置き換えられる穴埋め整形がなされている。これにより、当初の2値画像(図6)に見られた、ぬけ56の小さな穴と、僧帽弁部54から左房52へと広がる大きな穴が穴埋めされている。穴埋めされたあとの外形は、周囲の境界を単純に補間したものとは異なり、基準点Rから外側に凸状に膨れており、ちょうど左室50の中において風船を膨張させたときに得られるような領域が抽出されている。なお、どれだけ風船が外側に膨らむかは、評価値決定部30において、評価値のランクの段階数、第1参照画素および第2参照画素の範囲、および、第1参照画素と第2参照画素の内容と与えるランクとの対応づけ、をどのように定めるかによって様々に制御可能である。
以上に示した一連の処理は、様々に変形することが可能である。例えば、探索順序決定部28において、探索順序を定める方法を変えることができる。すなわち、同心円に含まれる画素を調べる代わりに、基準点と画素中心の距離を計算し、一定範囲の距離に入る(即ち一定幅をもつ円環に画素中心が含まれる)画素群毎に処理を行っていくようにすることも可能である。この場合には、隣り合う円環同士が一部重複していてもよい。また、同心円上が通る画素、あるいは、円環に含まれる画素に対する処理は、探索ラインによらず、ただ一度だけ処理を行うことも可能である。なお、探索ラインを用いない場合には、ウインドウの設定のために、周囲のウインドウの位置関係(半時計回りにサーチした時に、どのような順番に並ぶか)を別途把握する必要がある。この計算を効率よく行う一つの方法としては、各画素中心の位置ベクトルと、一定の単位ベクトル(例えば図7における探索ラインL1の矢印方向の長さ1のベクトル)との内積演算を基にしてなす角θに対するcosθを求める方法が考えられる。また、一定のベクトルの代わりに各評価対象画素の位置ベクトルを用いれば、等方性を向上させることができる。
また、計算を効率化するために、明らかに自明な画素について、予め前処理をして評価値を与える方法があり得る。例えば、画素値0の画素が出現する同心円をまず求め、それよりも3つ以上内側の同心円に対しては、第1参照画素や第2参照画素を考慮することなく、評価値10を与えることができる。あるいは、組織部に近づく前の段階においては、同心円に基づいて各評価対象画素を探索するのではなく、格子の縦横の並び方向に沿って探索を行うといったことも可能である。このようにして角度(と1対1に対応する量)が得られる場合には、第1参照画素や、第2参照画素を定める評価対象画素の近傍となるウインドウの範囲を常に固定するのではなく、基準点からみて一定角度をなす範囲内で定めるといったように、基準点からの距離依存性を持たせて決めることも容易である。
[括れ代表点の探索]
次に、この評価値に基づいて、括れ代表点を探索する過程を図19乃至図24を用いて説明する。
図19は、二値化及び平滑化を行って得た対象画像である。図6に示した対象画像と同様に、組織腔部170とその周囲の組織部172とを含んでいる。そして、組織腔部170は、注目腔としての左室180、括れ部としての僧帽弁部182及び隣接腔としての左房184を含んでいる。この組織腔部170の形態は、図6の組織腔部40の形態とは若干異なっている。すなわち、組織腔部の輪郭が異なって、前の説明に用いた図6の対象画像における組織腔部の形態とは、若干異なっている。例えば、図19においては、図6に示されたぬけ56がなく、組織腔部の輪郭もやや異なっている。しかし、この違いは本質的なものではなく、また、実際に図6を用いて同様の探索を行ってもほぼ同様の結果を得ることができる。その際には、もちろん、前に説明した穴埋め処理までを予め実施することができる。
図20は、ユーザ設定した基準点R’を評価開始点として、評価値を前と同じ付与条件に従って与え、さらにステップS124の僧帽弁領域の設定が行われた結果を示している。この図においては、基準点R’の位置が図6の基準点Rの位置とは異なっているが、この違いは本質的なものではない。また、僧帽弁領域は、評価開始点を上辺の中心におく一定の矩形領域(幅13画素、高さ7画素)を自動設定することにより与えられている。僧帽弁領域は、括れ代表点の探索対象となる関心領域であり、図20においては、この僧帽弁領域の中についてのみ評価値を表示している。なお、この関心領域を評価値の付与前に予め設定し、関心領域内でのみ評価値を与えることも可能である。ただし、この場合には、関心領域の境界が評価値付与に及ぼす影響に注意を払う必要がある。
図21は、括れ代表点の検出過程を説明する図である。検出過程においては、ステップS126に従って括れ代表点の候補点群が抽出される。具体的には、ステップS118において形成されたエッジ画像に基づいて、組織腔部170の輪郭を形成する画素群が括れ代表点の候補点群192,194として抽出される。なお、ここでは、輪郭を形成する画素を、その画素を中心とする3×3の正方形ウインドウの中に、組織部172が含まれている画素として定義している。
続いて、ステップS128に従って、括れ代表点の候補点群192,194を探索する順序が決定される。具体的には、僧帽弁領域190のうち、基準点R’が含まれる辺上にあり、かつ一番外側にある画素を検出開始点196,198として抽出する。検出は、この検出開始点を起点として、括れ代表点の候補点群192,194の画素を順次探索していく。矢印200、202は、それぞれ、括れ代表点の候補点群192,194の探索順序を示している。
探索においては、各画素の評価値が1から0へと変化する画素が検出される。具体的にみていくと、矢印200に沿った11の画素においては、評価値は0,1,1,1,1,1,0,0,0,0,0のように与えられている。したがって、1から0へと変化するのは、7番目の画素である。同様に矢印202に沿っては、評価値は0,1,1,1,1,1,0,0,0,0,0のように与えられており、7番目の画素が検出される。
図22は、この検出によって、画素204,206が括れ代表点の最終候補点として検出された状態を示している。これに対し、絞り込み部156は、括れ代表点の候補点群192,194上で最終候補点がそれぞれ何画素選ばれたかを検出する。図22に示した例においては、各一個であるため特に絞り込みを行う必要はなく、検出部154はこの画素204,206を一対の括れ代表点であると決定する。なお、最終候補点が一方の括れ代表点の候補点上に複数見出された場合には、他方の括れ代表候補点上の最終候補点との間の距離が最小となる組が一対の括れ代表点であるとみなされる。
図23は、分離部60によってこの2点の括れ代表点が直線208で結ばれ、直線208上の画素値が0に変更された様子を示している。すなわち、左室180と左房184とは、括れ代表点に基づく直線208によって分離されたことになる。
図24は、組織腔部170のうち直線208よりも左房側の画素210の画素値が全て0に変更された状態を示している。これにより、左房184に相当する領域だけが抽出されている。画像処理装置110は、この抽出された領域でもって原画像をマスク処理し、原画像における左室領域の抽出を行って、サイズ計測を実施する。
以上の例においては、左室180と左房184とは、直線208を分離線として分離された。しかしながら、分離線としては曲線を用いることも可能である。以下では、曲線を用いて分離線を引く様子を、図25、26を用いて説明する。図25は、一対の括れ代表点が求まった図22の状態を簡略化して描いた図である。また、図26は、曲線を決定する手順を示すフローチャートである。
図25において、二つの括れ代表点は点Aと点Bで表現している。また、点Rは評価開始点である。まず、点Aと点Bを結ぶ直線220が計算され(S200)、線分ABの垂直二等分線222が求められる(S202)。続いて、点Aと点Rとの距離rAと、点Bと点Rとの距離rBが計算され(S204)、その平均値r=(rA+rB)/2が算出される(S206)。そして、点Rとは直線220を挟んで反対側の垂直二等分線222上に、点Aとの距離(当然点Bとの距離も)がrとなる点Cを求める(S208)。そして、点Cを中心とする半径rの円224を設定し、この円弧ABを分離曲線とする(S210)。これにより、二つの括れ代表点A、Bと評価開始点Rとの距離の平均値を曲率半径(円の場合は半径と一致する)にもち、左室側に凸形状となる円弧ABでもって分離線が設定された。
このような方法で分離曲線を設定することにより、左室領域を滑らかな形状に区画することが可能となる。曲率半径の決め方はこの例に限定されるものではなく、様々に設定可能である。もちろん、ユーザ設定により行ってもよい。また、曲率半径は、常に一定(すなわち円弧)である必要はなく、位置によって変えることも可能である。その際には、例えば、実際の僧帽弁位置についての厳密な測定結果を反映するように、曲率半径の分布を定めるなどすればよい。また、時系列データに対する処理を行う際には、その都度曲率半径に関する計算を行ってもよいし、当初求めた曲率半径を利用するようにしてもよい。
110 画像処理装置、112 操作部、114 入出力部、116 表示部、118 記憶部、120 制御部、130 対象画像生成部、132 二値化部、134 平滑化部、136 エッジ抽出部、140 設定部、142 評価開始点部、144 関心領域部、150 代表点探索部、152 評価値演算部、154 検出部、156 絞り込み部、160 分離部、162 曲率決定部、170 組織腔部、172 組織部、180 左室、182 僧帽弁部、184 左房、190 僧帽弁領域、192,194 候補点群。