JP4709290B2 - 画像処理装置および方法並びにプログラム - Google Patents

Description

本発明は三次元画像の検出処理に関し、特に三次元画像における線状構造または面状構造からなる対象組織の自動検出に適した、画像処理装置および方法並びにそのためのプログラムに関するものである。

従来、医療分野においては、複数の二次元画像に対して、所定の検出処理（例えば、マシンラーニングによる検出手法等）を施すことにより対象組織を検出し、三次元的な画像の構築を可能とする画像投影法（Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ法）やボリュームレンダリング法を計算機に実行させることにより、対象組織を表す疑似三次元画像を生成することが行われている。これにより、読影者は、対象組織の状況を容易に確認することができる。

しかしながら、三次元画像は、情報量が多いため、三次元画像自体から抽出される特徴量が増加し、例えば、マシンラーニングによる検出手法の計算処理が増大し問題である。

そこで、三次元画像から互いに直交する三つの断面画像を生成し、三つの断面画像から抽出した特徴量に基づいて対象組織の検出処理を行う手法が、特許文献１に提案されている。

また、二次元画像から対象組織をマシンラーニングによる検出する手法が、特許文献２に提案されている。

米国特許第７３４６２０９号明細書 特開２００７−３０７３５８号公報

特許文献１に記載される発明は、対象組織から互いに直交する三つの断面画像を検出対象の画像として設定するものであり、例えば線状構造に対して本手法を適用した場合、図３（ａ）（ｂ）のような三つの断面画像が得られる。特許文献１に記載される発明によると、三つの直交する軸をランダムに変更することで断面画像を設定し、複数回の検出処理を施すことにより、計算に用いる全体の情報量を低下させながら、対象組織を検出する。

しかしながら、図３（ｂ）に示すような湾曲形状の線状組織であれば、断面画像に対象組織の情報が大きく欠如してしまうという問題があった。

また、線状構造・面状構造を抽出する方法にヘッセ行列を利用する方法があり、血管等の抽出に利用されているが、ヘッセ行列の固有値を解析するだけでは、理想的な直線構造からなる血管は判別できても、血管が湾曲、分岐形状であったりまたは病変を伴っていた場合に正しく判別することが難しかった。同様に、人体中の面状構造も理想的な平面をなしているとは限らないため正しく判別することが難しかった。

そこで、本発明は、上記事情に鑑み、線状組織または面状組織が湾曲、分岐形状であったり、または病変を伴っていたりしていても検出性能を向上させることが可能な画像処理装置および方法並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理装置は、被写体を撮像して得られた三次元画像中の検出領域を設定する検出領域設定部と、検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出する主軸・法線方向算出部と、主軸方向または法線方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施す正規化処理部と、正規化処理を施された対象候補領域の特徴量を算出し、算出された特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別する判別部とを備えたことを特徴とする。「画像処理装置」は、三次元画像を生成する撮像装置を含むものであってもよい。

「主軸・法線方向算出部」は、線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出するものである。例えば、検出領域に対してヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、対象候補組織の主軸方向または法線方向を算出するものであってもよい。

更に、「主軸・法線方向算出部」は、算出された固有値が所定の閾値条件を満たすものであるか否かにより、前記対象候補組織が、線状構造または面状構造であるか否かを判定するものであってもよい。

「三次元画像」は、ボクセルデータから構成される画像である。例えば、複数の二次元画像により構成される三次元的な画像である。二次元画像として、例えば、放射線画像、ＣＴ画像、ＭＲＩ画像、ＲＩ画像、ＰＥＴ画像等が挙げられる。

「対象組織」は、三次元画像に表される被写体の所定の部位からなる線状構造や面状構造からなる組織をいい、例えば、冠動脈、脳血管、肝臓血管、気管支、肺血管等、その他の線状構造からなる組織であってもよい。また皮膚、腰間胸膜、皮質骨等の面状構造であってもよい。

「検出領域」は、被写体を撮像して得られた三次元画像中にある対象領域を含む所定の領域をいい、例えば冠動脈を対象組織として抽出する場合は、心臓領域を含む領域若しくはその領域の一部の領域等であってもよい。

本発明の画像処理装置において、判別部は、対象組織と同種の対象組織を含む予め用意された三次元画像に対して、同種の対象組織の主軸方向または法線方向に基づいて正規化処理を施されたデータを教師データとして備えるものであって、教師データを用いて、マシンラーニング手法を利用して算出された特徴量の解析を行うことにより、対象候補領域に対象組織が含まれるか否かを判別するものであってもよい。

冠動脈を判別する判別器の学習においては、正の教師データとして冠動脈の直線部の他、湾曲部、分岐部、狭窄、石灰化またステント留置部などの病変部を表すデータを含めることができる。これらを教師データに含めて学習することで、冠動脈のバリエーションに対応し、病変部等も血管として高精度に判別することが可能となる。負の教師データには冠動脈以外の部位をランダムに用意することができる。

本発明の画像処理方法は、被写体を撮像して得られた三次元画像中の検出領域を設定し、検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出し、主軸方向または法線方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施し、正規化処理を施された対象候補領域の特徴量を算出し、算出された特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別することを特徴とする。

本発明のプログラムは、被写体を撮像して得られた三次元画像中の検出領域を設定する機能と、検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出する機能と、主軸方向または法線方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施す機能と、正規化処理を施された対象候補領域の特徴量を算出し、算出された特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別する機能をコンピュータに実行させることを特徴とする。

本発明の画像処理装置および方法並びにプログラムによれば、検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出し、主軸方向または法線方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施し、正規化処理を施された対象候補領域の特徴量を算出し、算出された特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別することで、湾曲、分岐または病変による外観の変化を伴った線状構造からなる対象組織であっても安定的に検出することができる。

画像処理装置における機能ブロック図 本発明の実施形態における一連のフローチャート 従来技術の説明を行うための概念図 ガウシアンピラミッド構造を説明するための概念図 線状構造からなる対象候補組織の主軸方向を算出することを説明するための概念図 正規化処理前と処理後の一例を示す概念図

以下、図面を参照して本発明の画像処理装置１の一実施形態について説明する。

図１は本発明の画像処理装置１の好ましい実施の形態を示すブロック図である。

なお、図１のような画像処理装置１の構成は、補助記憶装置（不図示）に読み込まれたプログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このプログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

画像処理装置１は、たとえばＸ線ＣＴ装置１０により撮像された複数の二次元画像を用いて、三次元画像に表される対象組織を自動的に算出するものであって、検出領域設定部３０、主軸・法線方向算出部４０、正規化処理部５０、判別部６０等を有している。

画像処理装置１には、画像取得部２０と、入力部７０と、表示部８０等が接続されている。

画像取得部２０は、たとえば図１に示すような撮像装置、例えばＸ線ＣＴ装置１０により撮像されたＣＴ画像（二次元画像）を取得するものである。なお、画像取得手段１は、たとえばＣＴ画像のみならず、いわゆるＭＲＩ画像、ＲＩ画像、ＰＥＴ画像、Ｘ線画像等の二次元画像を取得するものであってもよい。また、画像取得部２０は、このような複数の二次元画像により構成される三次元画像を取得するものである。

検出領域設定部３０は、画像取得部２０により取得された三次元画像中の検出領域を設定するものである。検出領域設定部３０は、検出アルゴリズムを実行させることにより、検出領域を設定するものであって、例えば、閾値処理、セグメント分割処理を用いた検出アルゴリズムを実行するものである。

また、検出領域設定部３０は、入力部８０により入力された領域を検出領域として設定してもよい。

なお、入力部８０は、キーボード、マウス等である。

主軸・法線方向算出部４０は、検出領域における線状構造からなる対象候補組織の主軸方向を算出するものである。例えば、検出領域設定部３０により設定された検出領域内において、線状構造からなる対象候補組織の主軸方向また面状構造からなる対象候補組織の法線方向を算出するものであって、検出領域に対してヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、対象候補組織の主軸方向または法線方向を算出するものであって、更に算出された固有値が所定の閾値条件を満たすものであるか否かにより、対象候補組織が、線状構造または面状構造であるか否かを判定する。これにより、線状構造・面状構造であるかを粗く判定することを可能とする。判別部６０において線状構造・面状構造であるか否かをより精度よく判定する構成としてもよい。

正規化処理部５０は、主軸・法線方向算出部４０により算出された主軸方向・法線方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施すものである。

判別部６０は、正規化処理部５０により正規化処理を施された対象候補領域の特徴量を算出し、算出された特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別するものである。

また、判別部６０は、対象組織と同種の対象組織を含む予め用意された三次元画像に対して、同種の対象組織の主軸方向または法線方向に基づいて正規化処理を施されたデータを教師データとして備えるものであって、教師データを用いて、マシンラーニング手法を利用して算出された特徴量の解析を行うことにより、対象候補領域に対象組織が含まれるか否かを判別するものであってもよい。冠動脈を判別する判別器の学習においては、正の教師データとして冠動脈の直線部の他、湾曲部、分岐部、狭窄、石灰化またステント留置部などの病変部を表すデータを含めることができる。これらを教師データに含めて学習することで、冠動脈のバリエーションに対応し、病変部等も血管として高精度に判別することが可能となる。負の教師データには冠動脈以外の部位をランダムに用意することができる。

具体的には、対象組織の検出方法として、統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。判別部６０は、上記の対象組織の検出手法に用いることができる。対象組織は、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新し、できた機械を最後に学習機械に対する重みをつけることで、統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を用いる。学習サンプル画像において、対象組織の中心座標とその主軸方向また線状構造の場合はその半径を指定し、中心座標を基準としてその主軸方向に回転させた立方体を関心領域とする。立方体のスケールは半径で規格化する。冠動脈を判別する際の正の学習サンプルには、直線的な血管の湾曲部、血管の分岐部、また狭窄や石灰化、ステント留置部などの病変部を表すデータを含める。負の教師データには冠動脈以外の部位をランダムに用意する。

次に、正と負の学習サンプル画像に対して、ランダムに選択されたｎ組の画素ペアの値の組み合わせを特徴量とし、Ａｄａｂｏｏｓｔに基づいたマシンラーニング手法により、正と負のパターンを見分ける判別器を作成する。対象組織を検出する際、３次元画像を走査し、注目画素を中心とした様々なサイズの立方体領域を切り出し、特徴量を算出する。それを学習段階で得られた判別器に入力し、判別値を求め、判別値が所定の閾値を超えた場合、対象組織であると判別する。

判別のための特徴量はＣＴ画像におけるＣＴ値のＸ，Ｙ，Ｚ方向それぞれの１次微分値とする。その他、ＣＴ値の絶対値、ＣＴ値のヒストグラム、２次微分値などを用いてもよい。

また、対象組織を検出する手法として、他の様々な統計解析法や機械学習法、例えば線形判別法やニューラルネットワーク、サポートベクターマシン等を用いることができる。

判別部６０は、上述した手法により、三次元画像から対象組織の位置を複数検出する。表示部７０は、二次元画像または三次元画像等を表示するモニタ、ＣＲＴ画面等である。対象組織として判別された領域をボリュームレンダリング表示することで、線状構造や面状構造の全体を概観し、その連続性を可視化することができる。

次に、以上の構成の画像処理装置１において行われる実施態様における処理について説明する。

図２は、画像処理装置１が三次元画像における線状構造または面状構造からなる対象組織を判別するまでの一連の処理フローチャートである。

まず、図２に示す如く、Ｘ線ＣＴ装置１０により撮像された三次元画像を画像取得部２０に入力する（ステップＳ１）。

次に、検出領域設定部３０は、上述した検出アルゴリズムを実行することにより、心臓領域を検出する。検出領域設定部３０は、検出された心臓領域内から、検出領域を設定する（ステップＳ２）。この検出領域は、被写体を撮像して得られた三次元画像中にある対象領域を含む所定の領域をいい、例えば、心臓領域を含む領域若しくはその領域の一部の領域等であってもよい。

検出領域設定部３０は、検出領域における線状構造からなる対象候補組織を検出すべく、予め三次元画像を多重解像度変換することにより、ガウシアンピラミッドを生成する。

その後、検出領域設定部３０は、図４に示すように、生成したガウシアンピラミッドごとに検出アルゴリズムを走査することで異なるサイズの線状構造からなる対象候補組織（例えば、冠動脈等）を検出する。

検出領域設定部３０は、ガウシアンピラミッド構造である図４（ａ）の検出領域に対してスキャンニングを行い、順次、図４（ｂ）の検出領域、図（ｃ）の検出領域をスキャンして検出処理を実行する座標を設定する。

多重解像度画像を順次走査することで、異なるサイズの対象候補組織（例えば、冠動脈）を検出することができる。

次に、主軸・法線方向算出部４０は、検出座標を中心とする局所領域において線状構造からなる対象候補組織（例えば、冠動脈）の主軸方向を算出する（ステップＳ３）。

主軸・法線方向算出部４０は、対象候補組織を含む領域内にて、ヘッセ行列の固有値解析を行い、主軸方向を算出する。ヘッセ行列は、２階の偏微分係数を要素とする行列であり、三次元画像に対しては、式（１）のように３×３行列となる。

ガウシアンカーネル（ｆ）関数を用いた場合、ヘッセ行列を得るためのフィルタ係数は式（２）によって、求められる。σは検出したいサイズの線状構造に対応させる。

このヘッセ行列を固有値分解して固有値と固有ベクトルを得たとき、０に最も近い固有値に対応する固有ベクトルが主軸方向である。

線状構造は、図５に示すように、３つのうち２つの固有値の値が大きく、１つが０に近い特徴を持つことが知られている。そこで固有値から線状構造らしさを判定し、残った候補についてより詳細な判定を行うようにすると効果的である。また、面状構造の場合は、３つの固有値のうち１つの絶対値が大きな値となり、２つが０に近い特徴を持つものを面状構造らしいものとして判定する。

式（１）の固有値は、例えば線状構造からなる対象候補組織に対して、式（３）のような関係を持つ。

正規化処理部５０は、主軸・法線方向算出部４０により算出された主軸方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施す（ステップＳ４）。正規化処理部５０は、図６（ａ）に示すように、算出された主軸方向に沿って正規化した画像を切り出す。図６（ｂ）に示すように、正規化処理後の対象候補組織の三次元画像は、回転不変な特徴を持ったものとなる。但し、画像処理装置１は、正規化処理を必ずしも行う必要はなく、判別部６０が、正規化した場合と同じ条件で判別のための特徴量を取得してマシンラーニング手法を利用してもよい。

次に、判別部６０は、正規化処理部５０により正規化処理を施された対象候補領域の特徴量を算出し、算出された特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別する（ステップＳ５）。判別部６０は、正規化処理部５０により正規化処理を施した対象候補領域から上述のマシンラーニング手法等により、特徴量を取り出し、判別を行う。

なお、本発明の実施形態は、対象組織として、冠動脈の判別を例に挙げたが、脳血管、肝臓血管、肺血管、気管支など、他の線状構造の抽出に利用することができる。また皮膚、葉間胸膜、皮質骨等の面状構造の抽出にも利用することができる。

このように、画像処理装置１は、検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出し、主軸方向または法線方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施し、正規化処理を施された対象候補領域の特徴量を算出し、算出された特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別することで、湾曲、分岐または病変による外観の変化を伴った線状構造からなる対象組織であっても安定的に検出することができる。

１ 画像処理装置
１０ Ｘ線ＣＴ装置
２０ 画像取得部
３０ 検出領域設定部
４０ 主軸・法線方向算出部
５０ 正規化処理部
６０ 判別部
７０ 表示部

Claims (8)

1. 被写体を撮像して得られた三次元画像中の検出領域を設定する検出領域設定部と、
   前記検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出する主軸・法線方向算出部と、
   前記主軸方向または前記法線方向に基づいて、前記対象候補組織を含む対象候補領域に対して正規化処理を施す正規化処理部と、
   前記正規化処理を施された対象候補領域の特徴量を算出し、該算出された特徴量を用いて前記対象候補領域に対象組織が含まれるか否かを判別する判別部とを備えたことを特徴とする画像処理装置。
2. 前記主軸・法線方向算出部は、前記検出領域に対してヘッセ行列を算出し、該算出されたヘッセ行列の固有値を解析することにより、前記対象候補組織の主軸方向または法線方向を算出するものであることを特徴とする請求項１記載の画像処理装置。
3. 前記主軸・法線方向算出部は、前記算出された固有値が所定の閾値条件を満たすものであるか否かにより、前記対象候補組織が、線状構造または面状構造であるか否かを判別するものであることを特徴とする請求項２記載の画像処理装置。
4. 前記判別部は、前記対象組織と同種の対象組織を含む予め用意された三次元画像に対して、前記同種の対象組織の主軸方向または法線方向に基づいて正規化処理を施されたデータを教師データとして備えるものであって、
   前記教師データを用いて、マシンラーニング手法を利用して前記算出された特徴量の解析を行うことにより、前記対象候補領域に対象組織が含まれるか否かを判別するものであることを特徴とする請求項１から３いずれか１項記載の画像処理装置。
5. 前記対象組織は、冠動脈であることを特徴とする請求項１から４いずれか１項記載の画像処理装置。
6. 前記検出領域は、前記被写体の心臓領域を含む領域であることを特徴とする請求項１から５いずれか１項記載の画像処理装置。
7. 被写体を撮像して得られた三次元画像中の検出領域を設定し、
   前記検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出し、
   前記主軸方向または前記法線方向に基づいて、前記対象候補組織を含む対象候補領域に対して正規化処理を施し、
   前記正規化処理を施された対象候補領域の特徴量を算出し、該算出された特徴量を用いて前記対象候補領域に対象組織が含まれるか否かを判別することを特徴とする画像処理方法。
8. 被写体を撮像して得られた三次元画像中の検出領域を設定する機能と、
   前記検出領域における線状構造からなる対象候補組織の主軸方向または面状構造からなる対象候補組織の法線方向を算出する機能と、
   前記主軸方向または前記法線方向に基づいて、前記対象候補組織を含む対象候補領域に対して正規化処理を施す機能と、
   前記正規化処理を施された対象候補領域の特徴量を算出し、該算出された特徴量を用いて前記対象候補領域に対象組織が含まれるか否かを判別する機能とをコンピュータに実現させることを特徴とするプログラム。

Images