JP4914517B2 - 構造物検出装置および方法ならびにプログラム - Google Patents

構造物検出装置および方法ならびにプログラム Download PDF

Info

Publication number
JP4914517B2
JP4914517B2 JP2010224061A JP2010224061A JP4914517B2 JP 4914517 B2 JP4914517 B2 JP 4914517B2 JP 2010224061 A JP2010224061 A JP 2010224061A JP 2010224061 A JP2010224061 A JP 2010224061A JP 4914517 B2 JP4914517 B2 JP 4914517B2
Authority
JP
Japan
Prior art keywords
candidate
points
predetermined
shape
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010224061A
Other languages
English (en)
Other versions
JP2011098195A (ja
Inventor
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010224061A priority Critical patent/JP4914517B2/ja
Priority to EP10186817.2A priority patent/EP2309424B1/en
Priority to US12/901,071 priority patent/US8311307B2/en
Publication of JP2011098195A publication Critical patent/JP2011098195A/ja
Application granted granted Critical
Publication of JP4914517B2 publication Critical patent/JP4914517B2/ja
Priority to US13/670,678 priority patent/US8515133B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988Graph matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、医用画像等から特定の構造物を検出する構造物検出装置および方法ならびにプログラムに関するものである。
近年、医療機器(たとえば多検出器型CT等)の進歩により質の高い3D画像が画像診断に用いられる。3D画像は多数の2D画像から構成され情報量が多いため、医師が所望の観察部位を見つけ診断することに時間を要する場合がある。そこで、注目する臓器を抽出しMIP、VR、CPR等の表示を行うことにより、臓器全体や病変の視認性を高め診断の効率化を図ることが行われている。たとえば心臓CT画像に対する解析、特に冠動脈解析を行う際に、血管経路に沿って展開したCPR画像や狭窄部や狭窄率といった診断に有効な情報を得るために、冠動脈の中心経路をグラフ構造として抽出することが要求される。
所定の構造物をボリュームデータ等の3次元画像データから自動的に抽出することが行われている(たとえば特許文献1参照)。特許文献1において、たとえば気道−気道マッチングもしくは異なる時間に取得された構造物からそれぞれツリー構造を収集し、収集したツリー構造から複数のパス(ノード)を抽出し、抽出した各パスを用いたツリーマッチング(グラフマッチング)によりグラフ構造の類似測定を行うことが開示されている。
上記マッチングを行う構造物の抽出についても様々な手法が提案されている(たとえば特許文献2、3参照)。特許文献2には、たとえば3次元画像データから互いに直交する3つの断面画像を生成し、3つの断面画像から抽出した特徴量に基づいて特定の対象物を検出することが提案されている。また、特許文献3には、2次元画像から対象組織をマシンラーニングにより特定の構造物を検出することが開示されている。
特開2007−44488号公報 米国特許第7346209号明細書 特開2007−307358号公報
しかし、特許文献2、3に示すように、画像データの特徴量等に基づいて特定の対象物を検出した場合、構造物を誤抽出してしまう場合があり、特許文献1に示すマッチングを正確に行うことができないという問題がある。具体的には、たとえば血管にプラークが詰まっていた場合、プラークの領域は血管の領域であるとは認識できず血管の候補点として抽出されないことがある。また、冠動脈の抽出の際に冠動脈に併走する静脈が存在する場合、この静脈を冠動脈であると誤抽出してしまうことがある。
そこで、本発明は、画像データから所定の構造物を精度良く検出することができる構造物検出装置および方法ならびにプログラムを提供することを目的とするものである。
本発明の構造物検出装置は、画像データから所定の構造物を検出する装置であり、画像データから所定の構造物に属する複数の候補点を抽出する候補点抽出手段と、所定の構造物の既知の形状を表す、複数の教師ラベルから構成される設定形状が予め記憶された設定形状記憶手段と、候補点抽出手段により抽出された複数の候補点のうち、設定形状記憶手段に記憶された設定形状に一致もしくは最も類似する形状モデルを構成する、複数の教師ラベルの各々に対応する代表点を選択する代表点選択手段と、代表点選択手段により選択された複数の代表点が形成する形状モデルと候補点とを用いて画像データから所定の構造物を検出する構造物検出手段とを備えたことを特徴とするものである。
本発明の構造物検出方法は、画像データから所定の構造物を検出する方法であり、画像データから所定の構造物に属する複数の候補点を抽出し、抽出した複数の候補点のうち、設定形状記憶手段に予め記憶された所定の構造物の既知の形状を表す、複数の教師ラベルから構成される設定形状に一致もしくは最も類似する形状モデルを構成する、複数の教師ラベルの各々に対応する代表点を選択し、選択した複数の代表点が形成する形状モデルと候補点とを用いて画像データから所定の構造物を検出することを特徴とするものである。
本発明の構造物検出プログラムは、コンピュータに画像データから所定の構造物を検出処理を実行させるためのプログラムであり、画像データから所定の構造物に属する複数の候補点を抽出する手順と、抽出した複数の候補点のうち、設定形状記憶手段に予め記憶された所定の構造物の既知の形状を表す、複数の教師ラベルから構成される設定形状に一致もしくは最も類似する形状モデルを構成する、複数の教師ラベルの各々に対応する代表点を選択する手順と、選択した複数の代表点が形成する形状モデルと候補点とを用いて画像データから所定の構造物を検出する手順とをコンピュータに実行させることを特徴とするものである。
ここで、所定の構造物とは、点とそれを結ぶ線とにより形状モデル化可能なオブジェクトであればなんでもよく、特に、気管、腸、冠動脈、脳血管、肺血管、肝臓血管、気管支等の人体の管状構造物や人物の顔等を含む。
また、画像データとは、たとえばCT、MR、超音波装置、PET―CT、SPECT、4D-CT、OCT、X線撮影装置(CR、DR)により撮像された医用画像データであってもよいし、たとえばボリュームデータ等の3次元画像データであってもよいし、デジタルカメラ等により撮影された画像データであってもよい。
候補点の抽出処理は、設定形状を用いずに行われる処理であり、例えば、画像データから所定の構造物の画像的特徴を有する領域を検出し、検出された領域中から複数の候補点を抽出する処理としてもよい。
設定形状は、所定の構造物の既知の形状、言い換えると、所定の構造物の検出されるべき(検出したい)形状を表すものである。例えば、設定形状は、所定の構造物の一般的な解剖学的形状や、正常な状態にある所定の構造物の解剖学的形状を表すものである。
また、設定形状は、教師ラベルの各々の位置、および、教師ラベル間の位置関係の情報を表したものとしてもよい。この場合、代表点の選択処理は、教師ラベルの各々と候補点の対応づけの組合せの各々について、教師ラベルの各々の位置と教師ラベルに対応づけられた候補点の各々の位置の一致度と、複数の教師ラベル間の位置関係と教師ラベルの各々に対応づけられた候補点間の位置関係の一致度とを算出し、各組合せの中から、上記位置の一致度および上記位置関係の一致度が最も高くなる組合せを決定することによって、代表点を選択するようにしてもよい。
さらに、設定形状を、教師ラベル間の接続関係の情報をさらに表したものとしてもよい。この場合、代表点の選択処理において、上記の教師ラベルと候補点の組合せの各々において、接続すべき2つの教師ラベルの各々に対応づけられた2つの候補点間の経路を、その組合せにおいて教師ラベルとの対応づけがなされていない候補点を含む複数の候補点を、所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定し、上記位置関係の一致度を、この経路に対するコストをさらに加味して算出するようにしてもよい。このとき、所定の構造物の検出処理では、代表点選択処理によって決定された組合せにおける代表点間の候補点を辿る接続関係に基づいて、所定の構造物を検出するようにしてもよい。なお、上記コスト算出の際の所定の指標値としては、例えば、各候補点の位置や画素値、その候補点における所定の構造物の解剖学的特徴を表す指標値が挙げられる。また、この解剖学的特徴を表す指標値の具体例としては、所定の構造物が管状構造の場合、管の太さ(半径等の径情報や断面積)等が挙げられる。
一方、所定の構造物の検出処理において、複数の候補点を接続することによって形成される形状を、代表点を設定形状に略一致するように接続した形状モデルを用いて修正することによって、所定の構造物を検出するようにしてもよい。ここで、複数の候補点の接続には、例えば、最小全域木アルゴリズムを用いてもよい。
なお、所定の構造物の検出処理は、形状モデルと候補領域とを用いて所定の構造物を検出するものであればよく、たとえば代表点を接続した形状モデル上では所定の構造物として検出されているが候補点の接続が途切れている欠損領域が存在する場合、例えば、候補点の抽出処理では、所定の構造物の画像的特徴を有していない欠損領域内に候補点を抽出できない場合であっても、その欠損領域を含めて、所定の構造物として検出する。あるいは、構造物の検出処理は、候補点が検出されているが形状モデル上では所定の構造物として検出されない余剰領域が存在する場合、例えば、候補点の抽出処理において、所定の構造物の画像的特徴と同一または類似する特徴を有する余剰領域内に候補点が抽出されている場合、その余剰領域を所定の構造物から除外する。
また、代表点の選択処理は、複数の候補点のうち設定形状に一致もしくは最も類似する代表点を選択するものであればその手法を問わず、たとえばグラフマッチングにより設定形状に一致もしくは最も類似する形状モデルとなる代表点の集合を選択するものであってもよい。また、設定形状は、所定の構造物の形状のみを表すものであってもよいし、所定の構造物とは異なる他の構造物の形状が含まれていてもよい。設定形状に他の構造物も含まれている場合、候補点の抽出の際に所定の構造物および他の構造物から候補点を抽出し、代表点の選択の際に、設定形状に一致もしくは最も類似する形状モデルを構成する代表点を選択し、所定の構造物の検出の際に、複数の代表点のうち他の構造物に対応する代表点を削除し所定の構造物を検出するようにしてもよい。
さらに、設定形状記憶手段は、所定の構造物であることが既知の教師画像データを用いて学習された、複数の候補点が設定形状であることの尤度を示す評価関数を記憶したものであってもよい。このとき、代表点の選択処理では評価関数を用いて代表点を選択する。
また、代表点の選択処理は、所定の構造物が血管である場合に候補点の座標とともに候補点における血管の太さ(半径等の径情報や断面積等)または輝度値を用いて代表点を選択するものであってもよい。
さらに、候補点の抽出処理により抽出された複数の候補点の座標を所定の基準位置に基づいて正規化するようにしてもよい。このとき、代表点の選択処理は正規化後の候補点に基づいて所定の代表点を選択する。
また、構造物の検出の際、選択された複数の代表点を設定形状に略一致するように接続し形状モデルを形成することが好ましい。
さらに、本発明において、画像データから所定の構造物の領域を候補領域として検出するようにし、検出された候補領域から複数の候補点を抽出するようにしてもよい。
また、候補点の抽出処理は、候補領域から複数の(第1次)候補点を抽出し、抽出した複数の(第1次)候補点を結んだ後に所定の長さのセグメント毎に分割し、分割したセグメントから(第2次)候補点を抽出するものであってもよい。この場合、代表点の選択は(第2次)候補点から行い、構造物の検出の際には(第1次)候補点を用いるようにしてもよい。
また、設定形状が所定の構造物とは異なる構造物を含む場合、構造物検出手段により検出された各構造物を識別可能な表示態様で(例えば、それぞれ異なる色で)表示する表示制御手段をさらに備えていてもよい。
本発明の構造物検出装置および方法ならびにプログラムによれば、画像データから所定の構造物に属する複数の候補点を抽出し、抽出した複数の候補点のうち、設定形状記憶手段に予め記憶された所定の構造物の既知の形状を表す、複数の教師ラベルから構成される設定形状に一致もしくは最も類似する形状モデルを構成する、複数の教師ラベルの各々に対応する代表点を選択し、選択した複数の代表点が形成する形状モデルと候補点とを用いて画像データから所定の構造物を検出することにより、候補点の抽出だけでは所定の構造物が検出されない場合もしくは所定の構造物以外が検出された場合であっても形状モデルを用いて候補点の誤検出を修正し、画像データから精度良く構造物を検出することができる。
なお、構造物の検出の際、代表点を接続した形状モデル上では構造物として検出されているが候補点の接続が途切れている欠損領域が存在する場合、欠損領域を所定の構造物として検出するものであるとき、たとえば血管中のプラークが候補領域として検出されない場合であっても形状モデルに基づいて欠損領域を修正し、画像データから精度良く構造物を検出することができる。すなわち、検出対象の所定の構造物(例えば血管)の画像的特徴を有していない欠損領域(例えばプラーク)が存在し、その欠損領域内に候補点が抽出されない場合であっても、形状モデルに基づいて欠損領域を補間することにより、欠損領域を含めて、所定の構造物全体が検出される。
また、構造物の検出の際、候補領域として検出されているが形状モデル上では構造物として検出されない余剰領域が存在する場合、余剰領域を所定の構造物から除外するものであれば、たとえば所定の構造物が動脈のときに静脈が余剰領域として検出された場合であっても形状モデルに基づいて余剰領域を修正し、画像データから精度良く構造物を検出することができる。すなわち、所定の構造物(例えば動脈)の画像的特徴と同一または類似する特徴を有する余剰領域(例えば静脈)内に候補点が抽出されている場合であっても、形状モデルに基づいて余剰領域を除外することにより、所定の構造物のみが検出される。
さらに、代表点の選択の際、グラフマッチングにより設定形状に一致もしくは最も類似する形状モデルとなる代表点の集合を選択するものであるとき、高速に精度良く代表点を選択することができる。
また、設定形状記憶手段が所定の構造物であることが既知の教師画像データを用いて学習された、複数の候補点が設定形状であることの尤度を示す評価関数を記憶したものであり、代表点の選択の際に評価関数を用いて代表点を選択するものであれば、高速に精度良く代表点を選択することができる。
さらに、代表点の選択の際、所定の構造物が血管である場合に代表点の座標とともに代表点における血管の太さまたは輝度値を用いて代表点を選択するものであるとき、代表点の検出精度を高めることができる。
また、抽出された複数の候補点の座標を所定の基準位置に基づいて正規化するようにしたとき、所定の構造物の個体差による候補点のばらつきをなくし、精度良く候補点の選択を行うことができる。
さらに、構造物の検出の際、選択された複数の代表点を設定形状に略一致するように接続するものであれば、精度良く構造物を検出することができる。
また、候補点の抽出の際、候補領域から複数の(第1次)候補点を抽出し、抽出した複数の(第1次)候補点を結んだ後に所定の長さのセグメント毎に分割し、分割したセグメントから候補点を抽出するものであるとき、情報量を減らして高速に効率よく構造物の検出を行うことができる。
本発明の構造物検出装置の好ましい実施形態を示すブロック図 図1の候補領域検出手段において特定の構造物として検出される冠動脈の一例を示す模式図 図1の候補点抽出手段において候補領域から候補点が抽出される様子を示す模式図 図1の代表点選択手段において所定の代表点が選択される様子を示す模式図 図1の設定形状記憶手段における設定モデルを学習する際の教師データの一例を示す模式図 図1の設定形状記憶手段における設定モデルを学習する際の教師データの一例を示す模式図 代表点(教師ラベル)を結ぶことにより形成されるグラフ(エッジ)の一例を示す模式図 図1の代表点選択手段において輝度値および血管半径の情報を用いて代表点を選択する様子を示すグラフ 図1の代表点選択手段において代表点を選択する様子を示す模式図 図1の構造物検出手段において形状モデルに基づいて候補領域を修正する様子を示す模式図 図1の構造物検出手段において形状モデルに基づいて候補領域を修正する様子を示す模式図 本発明の構造物検出方法の好ましい実施形態を示すフローチャート 教師ラベルと対応づけられた候補点間の最適経路の決定例を模式的に表した図 教師ラベルと対応づけられた候補点間の最適経路の決定により、欠損領域が補間される例を模式的に表した図
以下、図面を参照して本発明の医用画像表示装置の実施の形態を詳細に説明する。図1は本発明の第1の実施形態となる構造物検出装置1の概略構成図である。なお、図1のような構造物検出装置1の構成は、補助記憶装置に読み込まれた構造物検出プログラムをコンピュータ上で実行することにより実現される。このとき、この構造物検出プログラムは、CD−ROM等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図1の構造物検出装置1は、画像データからたとえば冠動脈等の構造物Mを検出するものであって、候補領域検出手段10、候補点抽出手段20、正規化手段30、代表点選択手段40、構造物検出手段50を備えている。
候補領域検出手段10は、画像データにおいて所定の構造物Mの一部を構成するか否かを判断することにより候補領域Rを検出するものである。なお、画像データDVは、データ記憶手段VDBに記憶されたたとえば撮影装置もしくは放射線検出装置により撮像された2次元の画像もしくは複数の2次元画像から生成された3次元のボリュームデータからなっている。
ここで、候補領域検出手段10はたとえば特願2009−48679号もしくは特願2009−69895号に開示された手法やその他公知の技術により候補領域を検出する。一例として、所定の構造物Mが図2に示すような心臓の冠動脈であり、ボリュームデータから候補領域Rを検出する場合について説明する。
まず、候補領域検出手段10は、ボリュームデータDVを構成するボクセルデータの値に基づいて、冠動脈の芯線を構成する複数の候補点の位置と主軸方向とを算出する。あるいは、候補領域検出手段10が、ボリュームデータDVについてヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、冠動脈の芯線を構成する複数の候補点の位置情報と主軸方向とを算出するようにしてもよい。そして、候補領域検出手段10は、候補点周辺のボクセルデータについて冠動脈らしさを表す特徴量を算出し、算出した特徴量に基づいてそのボクセルデータが冠動脈領域を表すものであるか否かを判別する。なお、特徴量に基づく判別は、たとえばマシンラーニングにより予め取得された評価関数に基づいて行なう。これにより、画像データのうち冠動脈領域であると判断された画像データDVが候補領域Rとして抽出される。
図1の候補点抽出手段20は、候補領域検出手段10において検出された候補領域Rから複数の候補点S(p=1〜n:nは候補点の抽出数)を抽出するものである。図3は候補領域Rから候補点Sを抽出する様子を示す模式図である。図3において、候補点抽出手段20は、候補領域R内から複数の(第1次)候補点Sp0を抽出し、抽出した複数の(第1次)候補点Sp0を連結する。ここで、連結方法として最小全域木アルゴリズムを用いれば、すべての(第1次)候補点Sp0を最小のコストで連結することができる。なお、このコストには、各(第1次)候補点Sp0間の距離等を用いることができる。(第1次)候補点Sp0間の距離を用いる場合、その距離が大きいほどコストが大きいと定義すればよい。そして、候補点抽出手段20は複数の(第1次)候補点Sp0を所定の長さ単位毎に分割し(セグメント化)、分割した際の分割点を(第2次)候補点Sとして選択する。そして、候補点抽出手段20は各(第2次)候補点に対しラベルSを付与する。なお、候補点抽出手段20が、(第1次)候補点Sp0から(第2次)候補点Sを再設定する場合について例示しているが、(第1次)候補点Sp0を用いて後述の形状モデルMの検出を行うようにしてもよい。このとき、候補領域検出手段10が候補点抽出手段20として機能していることになる。
図1の正規化手段30は、候補点抽出手段20により抽出された複数の(第2次)候補点Sの座標を所定の基準位置Srefに基づいて正規化するものである。たとえば所定の構造物が冠動脈である場合、正規化手段30は図2に示す大動脈弁、僧帽弁、心尖部を検出して基準位置Srefとして設定し、心尖部を原点、心尖部から大動脈弁に向かう軸をZ軸、心尖部から僧帽弁に向かうベクトルとZ軸との外積をX軸、X軸とZ軸との外積をY軸とし、心尖部から大動脈弁までの長さを1とする新たな座標系で、各(第2次)候補点Sの位置を表現する。大動脈弁、僧帽弁、心尖部は個体差によるばらつきが少なく、基準位置Srefを用いて正規化することにより(第2次)候補点Sの個体差によるばらつきを抑えることができる。
図1の代表点選択手段40は、正規化手段30により正規化された複数の(第2次)候補点Sのうち、設定形状記憶手段DBに記憶された設定形状Mrefに一致もしくは最も類似する形状モデルMを構成する代表点を選択し、選択した複数の代表点を設定形状Mrefに略一致するように接続し形状モデルMを形成する。たとえば図4に示すように、候補点抽出手段20により複数の(第2次)候補点S(p=1〜8)が抽出され、設定形状記憶手段DBに4つの教師ラベルT(k=1〜4)により形成される設定形状Mrefが記憶されているものとする。このとき、代表点選択手段40は、設定形状Mrefに一致もしくは最も類似する形状モデルを形成する代表点(TはS、TはS、TはS、TはS)を選択し形状モデルMを形成する。
ここで、代表点選択手段40はグラフマッチングにより複数の代表点を選択するものであり、設定形状記憶手段DBにはグラフマッチングにおけるエネルギ関数Lが設定形状Mrefとして記憶されている。このエネルギ関数Lは下記式(1)に示すSの1変数項(unary term)と、S、Sの2変数項(pairwise term)とで構成されており、この式(1)が最大になる(第2次)候補点S(ノード)が形状モデルMを形成する代表点となる。
Figure 0004914517

式(1)において、νは候補点の集合を表し、XSpは(第2次)候補点Sが取る設定形状Mrefの教師ラベルTを表す。θSp(XSp)は(第2次)候補点Spが教師ラベルTを取る場合のエネルギを与える。εは候補点の組み合わせの集合を表す。ただし設定形状Mrefによって定義される組み合わせを考慮する。θSpSq(xSp,xSq)は(第2次)候補点S、Sが設定形状Mrefの教師ラベルT、Tを取る場合のエネルギを与える。以上のように、これらのエネルギは(第2次)候補点Sと設定形状Mrefとの一致度を表し、複数の(第2次)候補点Sのうち設定形状Mrefに最も類似する形状モデルMになる(第2次)候補点Sの組み合わせを検索することにより代表点が選択される。
なお、式(1)を最大化するにはループ有り確率伝播法(Loopy Belief Propagation)等に代表的される公知の技術を用いることができる。なお、ループ有り確率伝播法については、例えば、K. P. Murphy, Y.Weiss and M.I.Jordan, “Uncertainty in Artificial Intelligence”, pages 467-475(1999).に記載されている。他に、ループ有り確率伝播法の収束性を保障させたV. Kolmogorov, "Convergent Tree-Reweighted Message Passing for Energy Minimazation", in PAMI, October 2006.に開示された手法や、L. Torresani, V. Kolmogorov and C. Rother, "Feature Correspondence via Graph Matching: Models and Global Optimization", in ECCV, October 2008.に開示された手法を採用することができる。
以下に、式(1)における1変数項(unary term)および2変数項(pairwise term)について分説する。まず、式(1)の1変数項(unary term)中のθSp(XSp)は下記式(2)で表すことができる。
Figure 0004914517

ここで、PSpは(第2次)候補点Spの座標、μXSpおよびσXSp 2はそれぞれ所定の構造物Mであることが既知の複数の教師データから取得した教師ラベルT(=XSp)の平均座標および分散値である。
つまり、図5A、図5Bに示すような予め所定の構造物Mであることが既知の教師データから複数の教師ラベルT(たとえばk=1〜26)が抽出される。なお、図5A、図5Bにおいて教師ラベルT〜T20は所定の構造物Mである冠動脈から抽出したものであり、教師ラベルT21〜T26は冠静脈から抽出したものである。そして、図6に示すように、教師ラベルT〜T26のうち所定のラベル同士をエッジ(線)により結ぶことにより設定形状(グラフ)Mrefが形成される。ここで、本モデルは心臓の主要な冠動脈と冠静脈のみを表すものであるが、より細かな冠動脈の分岐等をモデルに含めても良い。
この教師ラベルTの抽出が複数の教師データについて行われる。そして、各教師データの教師ラベルTについて平均座標μTkおよび分散値σTk 2が算出され、教師ラベルT毎に式(2)に示す確率密度関数θSp(XSp)が導出される。なお、Cは確率が非常に小さい場合に算出されるエネルギを負にすることにより、不必要なラベルが振られないようにするための定数項である。
式(2)において、(第2次)候補点Sの座標がある教師ラベルTの座標から離れるほどθSp(XSp)の値は小さくなり、近づくほどθSp(XSp)の値は大きくなる。したがって、式(1)に示す各教師ラベルTの確率密度関数θSp(XSp)の合計が最も大きくなる(第2次)候補点Sの組み合わせが設定形状Mrefに最も類似した形状モデルMを構成する代表点の組み合わせになる。
なお、(第2次)候補点Sの確率密度として式(2)により表現した場合について例示しているが、その他公知のパラメトリック関数やノンパラメトリックなものであってもよい。
さらに、式(2)において、座標に基づいて(第2次)候補点Sと設定形状Mrefとの一致度を算出するようにしているが、輝度値や血管半径に関する確率についても教師データから学習し、式(2)の確率密度関数θSp(XSp)と組み合わせて1変数項を構成するようにしてもよい。たとえば、冠動脈解析用の造影CT画像では血管半径が同一であっても静脈の輝度値が動脈に比べて低く、輝度値と血管半径との関係は図7に示すようになる。この関係に基づき(第2次)候補点Sが動脈もしくは静脈である確率を式(2)に加えるようにしてもよい。
式(1)の2変数項(pairwise term)は、図8に示すように、ある(第2次)候補点Sに対する他の(第2次)候補点Sの位置関係である相対座標についての確率密度関数θSpSq(XSp,XSq)からなっている。ここで、上記式(2)と同様、所定の構造物であることが既知の複数の教師データを用いて、教師ラベルTと他のラベルTとの相対座標の距離の平均値、分散値等が予め取得されている。
なお、図6に示すように、教師ラベルTに対するTはたとえば隣り合う教師ラベルや連続する血管の教師ラベル等のように設定形状Mrefに予め設定されている。そして、2変数項(pairwise term)は最も設定形状に類似した代表点の集合が最も大きい値となるように設定されている。そして、代表点選択手段40はエッジで接続された(第2次)候補点S、Sの組み合わせについて2変数項を計算する。なお、式(1)においてエネルギ関数Lを最大化したが、1変数項および2変数項にマイナスを乗算し、エネルギ関数Lの評価値を小さくするようにしても良い。
また、2変数項についても上記1変数項と同様、座標に基づいて確率密度を算出するだけでなく、輝度値や血管半径に関する確率についても教師データから学習し、確率密度関数と組み合わせて2変数項を構成するようにしてもよい。その結果、同一の血管の隣り合うラベル同士は輝度値や血管半径が急激に変化しないことがエネルギ関数Lに反映される。
したがって、代表点選択手段40は、式(1)の問題を上記ループ有り確率伝播法等により解くことにより、複数の(第2次)候補点Sのうち設定形状に最も類似した形状モデルMを形成する代表点の集合を選択することができる(図4参照)。なお、式(1)のエネルギ関数Lとして、構造物Mの種類に応じて様々な特徴を付与することができる。またエネルギ関数Lは教師データに基づいて統計的に代表点を検索する場合について例示しているが、人が実験的に設計したパラメータを組み合わせて使用してもよい。
図1の構造物検出手段50は、代表点選択手段40により選択された代表点により形成される形状モデルMと(第1次)候補点Sp0とを用いて画像データDVから構造物Mを検出するものである。つまり、上述した候補点抽出手段20において画像データDVから抽出された(第1次)候補点Sp0(ノード)同士を線(エッジ)で接続することにより、画像データDV内の冠動脈がグラフ(木構造)として抽出される。この接続には最小全域木や最短経路木などを生成するためのスパニング木アルゴリズムを用いてもよい。一方、代表点選択手段40により選択された代表点に基づいて、冠動脈として検出されるべきグラフの形状および各代表点の接続関係が形状モデルMとして抽出される。構造物検出手段50はこの形状モデルMおよび(第1次)候補点Sp0に基づいて構造物Mを検出する。
具体的には、構造物検出手段50は、(第1次)候補点Sp0として検出されず形状モデルM上では構造物Mである欠損領域Rが存在する場合、(第1次)候補点Sp0に新たな候補点を付加したり候補点の接続を付加するなどして修正し欠損領域を構造物Mとして検出する。たとえば図9に示すように冠動脈の途中にプラークが存在する場合、候補領域Rの抽出ではプラークの領域Rは冠動脈の候補領域Rとして抽出されず、(第1次)候補点Sp0(候補領域R)の接続が途切れた状態になっている。従ってプラークを境に前後の血管が同一の連続する血管として抽出されない。ところが、形状モデルMでは途切れた部分について代表点同士が線により接続する関係を有している場合、プラークによらず連続する冠動脈であることが認識される。すると、構造物検出手段50は(第1次)候補点Sp0(候補領域R)の検出結果を修正しプラークの領域Rについても冠動脈の領域として検出する。
また、構造物検出手段50は、(第1次)候補点Sp0(候補領域R)として検出され設定形状上では構造物ではない余剰領域が存在する場合、余剰領域を構造物から除外する。たとえば冠動脈と接している心筋からなる余剰領域が存在する場合、候補領域Rの抽出では心筋は冠動脈の候補領域Rとして抽出されているが、形状モデルMでは心筋の余剰領域について冠動脈の領域として検出されていない。すると構造物検出手段50は、候補領域Rの検出結果を修正し心筋の余剰領域を削除する修正を行う。
さらに、設定形状Mref上で所定の構造物Mとしての動脈(たとえば図5AのT〜T20)と同様に定義される他の構造物としての静脈領域(たとえば図5BのT21〜T26)Rが存在する場合、余剰領域Rを構造物から除外する。たとえば図10に示すように冠動脈と接している冠静脈からなる余剰領域Rが存在する場合、候補領域Rとして抽出されているが、形状モデルMでは静脈として認識される。すると構造物検出手段50は、候補領域Rの検出結果を修正し静脈領域Rを削除する修正を行う。
なお、上述した異なる構造物(動脈と静脈)を設定形状Mrefとした場合、所定の構造物のみならず他の構造物も検出されることになる。これを利用して異なる構造物毎にそれぞれ異なる色で表示する表示制御手段をさらに備えていてもよい。また、構造物検出手段50は上述した欠損領域Rの追加または余剰領域Rの削除のみならず、形状モデルMに基づいて候補領域Rの位置・範囲を変更する修正を行うことにより、構造物Mを検出するようにしてもよい。
このように、候補領域Rと形状モデルMとの双方を用いて構造物Mの検出を行うことにより、精度良く構造物Mの検出を行うことができる。すなわち、候補領域Rの抽出のみにより構造物Mの検出を行った場合、図9のプラークが存在する領域を抽出できなかったり、図10の冠静脈も冠動脈として検出されてしまう等の誤抽出が発生する場合がある。一方、候補領域Rの検出とともに、(第2次)候補点Sに基づくマッチング(グラフマッチング)から検索された形状モデルとを比較して構造物の検出を行うことにより、(第1次)候補点Sp0に基づく誤検出の発生をマッチングによる形状モデルの検出が補完し、精度良く構造物の検出を行うことができる。言い換えれば、画像データDVの特徴量のみに基づく構造物Mの検出するのではなく、構造物Mの解剖学的構造を認識した形状モデルMを加えて構造物Mの検出を行うことにより精度の高い検出を行うことができる。
図11は本発明の構造物検出方法の好ましい実施形態を示すフローチャートであり、図1から図11を参照して構造物検出方法について説明する。まず、候補領域検出手段10において画像データDVから候補領域Rが検出され(ステップST1、図2参照)、候補点抽出手段20により候補領域Rから複数の(第1次)候補点Sp0が抽出され、セグメント化により(第2次)候補点Sが抽出される(ステップST2、図3参照)。その後、正規化手段30により正規化が行われた後、代表点選択手段40において式(1)により複数の候補点Sから設定形状Mrefに最も類似する形状モデルMを形成する代表点の集合が選択される(ステップST3、図4参照)。そして、構造物検出手段50において、候補領域Rと形状モデルMとを比較して構造物Mを形成する領域の追加もしくは削除の修正が施され、画像データから構造物Mが検出される(ステップST4、図9、図10参照)。
上記第1の実施の形態によれば、画像データDVの所定の構造物Mから複数の候補点を抽出し、抽出した複数の候補点のうち、設定形状記憶手段DBに予め記憶された所定の構造物の形状を表す設定形状Mrefに一致もしくは最も類似する形状モデルMを構成する代表点を選択し、選択した複数の代表点が形成する形状モデルMと候補領域Rとを用いて画像データDVから構造物Mを検出することにより、候補領域Rの検出において所定の構造物Mが検出されない場合もしくは所定の構造物M以外が検出された場合であっても形状モデルMを用いて候補点の誤検出を修正し、画像データDVから精度良く構造物Mを検出することができる。
また、図9に示すように、構造物検出手段50が、候補領域Rとして検出されず代表点を接続した形状モデルM上では構造物として検出されたが候補点の接続が途切れている欠損領域Rが存在する場合、欠損領域Rを構造物Mとして検出するものであるとき、たとえば血管中のプラークにより候補点の接続が途切れてしまった場合であっても形状モデルMに基づいて欠損領域Rを修正し、画像データDVから精度良く構造物Mを検出することができる。
また、構造物検出手段50が、候補点として検出され形状モデルM上では構造物Mとして検出されない余剰領域Rが存在する場合、余剰領域Rを構造物Mから除外するものであれば、たとえば所定の構造物Mが動脈のときに静脈が余剰領域Rとして検出された場合であっても形状モデルMに基づいて余剰領域Rを修正し、画像データDVから精度良く構造物Mを検出することができる。
さらに、代表点選択手段40が、グラフマッチングにより設定形状に一致もしくは最も類似する形状モデルMとなる代表点の集合を選択するものであるとき、高速に精度良く代表点を選択することができる。
また、式(1)に示すように、設定形状記憶手段DBが所定の構造物Mであることが既知の教師画像データを用いて学習された、複数の候補点が設定形状Mrefであることの尤度を示す評価関数Lを記憶したものであり、代表点選択手段40が評価関数Lを用いて代表点を選択するものであれば、高速に精度良く代表点を選択することができる。
さらに、図7に示すように、代表点選択手段40が、所定の構造物が血管である場合に候補点の座標とともに候補点における血管半径または輝度値を用いて代表点を選択するものであるとき、代表点の検出精度を高めることができる。
また、候補点抽出手段20により抽出された複数の候補点の座標を所定の基準位置Rrefに基づいて正規化する正規化手段30をさらに備えたとき、所定の構造物Mの個体差による代表点のばらつきをなくし、精度良く代表点の選択を行うことができる。
さらに、構造物検出手段50が、選択された複数の代表点を設定形状Mrefに略一致するように接続するものであれば、精度良く構造物Mを検出することができる。設定形状Mrefと一致させるように接続するには、選択された代表点について、その隣り合う代表点同士の最近点を単純に接続してもよい。
また、図3に示すように、画像データから所定の構造物の領域を候補領域Rとして検出する候補領域検出手段10をさらに備え、候補点抽出手段20が、候補領域Rから複数の(第1次)候補点Sp0を抽出し、抽出した複数の(第1次)候補点Sp0を結んだ後に所定の長さのセグメント毎に分割し、分割したセグメントから(第2次)候補点Sを抽出するものであるとき、情報量を減らして高速に効率よく構造物の検出を行うことができる。
上記実施形態に対する変形例として、構造物検出手段50が、隣り合う代表点同士が、他の候補点を経由して滑らかに結ばれるように接続することによって構造物Mを検出するようにしても良い。このような接続は、隣り合う代表点(直接接続されている2つの代表点)を始点と終点とし最短経路問題を解くことで実現できる。具体的にはダイクストラ法等を用いることができる。
例えば従来の最小全域木アルゴリズム等に基づいて候補点間を接続した場合には、すべての候補点を通るように構造物Mが検出されることになる。この場合、上記の欠損領域Rには候補点が存在しないので、最小全域木アルゴリズムで算出されるコスト値が大きすぎるために接続できないと判定され、候補点間の接続が分断されてしまう。あるいは、欠損領域Rの近傍にある本来接続されるべきでない候補点まで迂回して接続されてしまう。また、上記余剰領域R内の候補点については、本来接続されるべきでないにもかかわらず過剰に接続されてしまう。そこで、上記のように、構造物検出手段50が、代表点選択手段40によって確定された接続関係が既知の代表点を用いて、代表点間を他の候補点を経由して接続するようにすれば、代表点間の接続には、すべての候補点を結ぶように動作する最小全域木アルゴリズムを用いることなく、最短経路探索のアルゴリズムに基づいて代表点間を適切に接続することが可能になる。
次に、本発明の第2の実施形態について説明する。本発明の第2の実施形態となる構造物検出装置の概略構成、および、構造物検出方法のフローチャートは、第1の実施形態と同様である(図1、図11参照)。
本実施形態では、候補点抽出手段20は、候補点の連結は行わず、接続関係を持たない候補点群として候補点Sを抽出する。例えば、候補点抽出手段20は、候補領域検出手段10において検出された候補領域R内に所定の間隔で複数の点を設定し、ラベルS(p=1〜n:nは候補点の抽出数)を付与することにより、候補点Sを抽出する。抽出された候補点Sは、第1の実施形態と同様に、正規化手段30によって正規化される。
次に、代表点選択手段40は、第1の実施形態と同様に、候補点抽出手段20によって抽出された候補点Sのうち、上式(1)で表されるエネルギが最大になるものを、代表点として選択する。
ここで、上式(1)の1変数項は、第1の実施形態と同様に、各教師ラベルとその教師ラベルに対応づけられた候補点Sとの間の、ラベル(点)毎の属性(座標や輝度値、血管半径等)の一致度を表すものである。
一方、上式(1)の2変数項は、下記式(3)で表すことができる。
Figure 0004914517
ここで、右辺の第1項であるe_globalの項は、第1の実施形態と同様に、教師ラベルT,Tの属性の相対的関係(相対座標や、輝度値・血管半径の変化量(差))と、これらの教師ラベルに対応づけられた候補点S、Sの属性の相対的関係との一致度を表すものである。
一方、右辺の第2項にあるmax(Σe_local)の項は、本実施形態で新たに付加された項であり、候補点SとSの間の経路の好ましさに関するものである。具体的には、上式(3)のe_localは、教師ラベルに対応づけられた候補点SとSとの間を他の候補点を辿ることによって接続する場合における、直接接続される2つの他の候補点S、Sの接続の好ましさを表すものである。この接続の好ましさは、例えば、2点S、Sの距離が近いほど、あるいは、輝度値の差が小さいほど、あるいは、血管の太さの差が小さいほど、大きい値を持つように定義しておくことができる。上式(3)のΣe_localは、候補点SとSの間の経路上の、直接接続される2つの候補点のすべてについてのe_localの総和であり、候補点SとSの間の経路全体の好ましさを表す。さらに、上式(3)のmax(Σe_local)は、候補点SとSの間の様々な候補点の接続経路におけるΣe_localの最大値であり、様々な候補点の接続経路の中で最も好ましい経路となるときの経路全体の好ましさの値を表す。
代表点選択手段40は、例えば、各候補点を、各候補点(ノード)間を結ぶ辺(エッジ)に対して上記e_localで定義された重みを持たせたグラフ構造として取り扱い、ダイクストラ法等を用いて、候補点SとSの間の最適経路を算出することにより、上記max(Σe_local)を求めることができる。また、代表点選択手段40は、その最大値となるときの候補点SとSの間の候補点の接続経路を記憶しておく。これにより、図12Aに例示したように、候補点SとSの間の様々な候補点の接続経路の中から、候補点SとSを他の候補点を経由して滑らかに結ばれるように接続する最適経路が決定される。
以上より、代表点選択手段40は、上式(3)に基づいて上式(1)の2変数項を算出することができる。
なお、式(1)を最大化する際、式(3)のe_globalとe_localが互いに独立であれば、max(Σe_local)の項は候補点S、Sに対して一意に決まる。したがって、すべての候補点の組合せについて最短経路を求めておけば、その後は通常のグラフマッチング問題を解くだけでよくなる。ただし、本発明はこのような態様に限定されず、e_globalはmax(Σe_local)で選択される経路に依存してエネルギが設定されるようにしてもよい。
また、第1の実施形態と同様、代表点選択手段40は、上式(1)を最小化する候補点の組合せを代表点として選択するように各変数項を定義してもよい。具体的には、1変数項、2変数項を、コストの評価値として捉え、各々、教師ラベル毎の一致度、教師ラベル間の相対的関係の一致度が高いほど評価値が小さくなるように定義しておけばよい。さらに、上式(3)のmax(Σe_local)はmin(Σe_local)に置換すればよい。ここで、e_localは、教師ラベルに対応づけられた候補点SとSとの間を他の候補点を辿ることによって接続する場合における、直接接続される2つの他の候補点S、Sの接続のコストを表ようにし、Σe_localは、候補点SとSの間の経路上の、直接接続される2つの候補点のすべてについてのe_localの総和であり、候補点SとSの間の経路全体のコストを表すようにすればよい。そして、min(Σe_local)は、候補点SとSの間の様々な候補点の接続経路におけるΣe_localの最小値、すなわち、候補点SとSの間を最小コストで他の候補点を結ぶ場合のコスト値を表すようにすればよい。
構造物検出手段50は、代表点選択手段40によって選択された代表点、および、直接接続されている代表点間を他の候補点で結んだ最適経路に基づいて構造物Mを検出する。なお、この最適経路は、代表点選択手段40においてmax(Σe_local)算出時に既に算出済みで、構造物検出装置1の所定のメモリ領域に記憶されている。また、この最適経路は、図12Bに示したように、病変部等の欠損領域Rに起因して候補点の間隔が大きい部分については、候補点が一定の間隔で満たされるように補間されたように、代表点が結ばれたものとなる。
ここで、設定形状Mrefが検出対象の構造物M全体を表すものではない場合には、構造物検出手段50は、上記の代表点間の最適経路に用いられなかった候補点について、最小全域木アルゴリズムを用いて接続することによって、構造物M全体を検出する。このとき、候補点間の距離が所定の値以上に離れているところは、候補点間の接続を行わないようにし、最終的に設定形状Mrefに基づいて検出された構造物Mの部分と接続されなかった候補点群は、構造物Mには属さないものとして取り扱う。逆に、設定形状Mrefが検出対象の構造物M全体を表すものである場合には、上記の代表点間の最適経路に用いられなかった候補点は、検出対象の構造物Mに属さない余剰領域(例えば肺血管や心筋等)のものであるから、接続処理を行う必要はない。また、いずれの場合であっても、上記第1の実施形態で図5Bおよび図10を用いて説明したように、設定形状Mrefに、検出対象構造物Mとは異なる他の構造物(冠静脈)も構造物Mと識別可能な状態で含めておき、構造物検出手段50が、他の構造物を表す教師ラベルに対応する候補点群を、構造物Mには属さないものとして取り扱うようにしてもよい。
以上のように、本発明の第2の実施形態では、設定形状Mrefを、個々の教師ラベルの属性や複数の教師ラベル間の属性の相対的関係だけでなく、教師ラベル間の接続関係の情報をさらに表したものとし、代表点選択手段40が、直接接続されている2つの教師ラベルの各々に対応づけられた2つの候補点間を、接続の好ましさを表す評価値が最大となるように(接続コストが最小となるように)他の候補点を選択的に辿ることによって接続した場合の評価値(コスト)を加味して代表点の選択を行うようにし、構造物検出手段50が、代表点選択手段40によって決定された、代表点間の候補点を辿る接続態様に基づいて、構造物Mを検出するようにしたので、上記第1の実施形態と同様の効果が得られるとともに、代表点間の好ましさも加味して代表点の選択が行われることにより、構造物Mの検出精度がさらに向上する。
具体的には、最小全域木アルゴリズム等を用いて候補点間を接続することなく、代表点の選択と同時に代表点間の最適な経路も同時に決定することが可能になる。また、代表点間の最短経路探索によって候補点が接続されるので、上記第1の実施形態の変形例と同様に、欠損領域における接続の分断や迂回接続、余剰領域における過剰接続が回避される。
本発明の実施形態は上記実施形態に限定されない。たとえば、上記実施の形態では構造物Mが冠動脈である場合について例示しており、設定形状記憶手段DBには構造物Mである冠動脈に対する設定形状(エネルギ関数)が記憶されているが、気管、腸、脳血管、肺血管、肝臓血管、気管支等の抽出に利用することもできる。この場合、脳血管等の他の構造物Mに対する設定形状が設定形状記憶手段DBに記憶されており、構造物Mの種類に合った設計形状を用いて代表点を選択する。
また、ここでは3次元の医療画像を対象として説明したが、対象は2次元の写真画像であっても良い。例えば抽出すべき構造物を人物の顔とし、目、鼻、口の輪郭を構成する代表点を設定形状に定義する。その結果、構造物が照明条件や遮蔽物により見えにくい場合にも、候補点として検出できなかった欠損部を形状モデルが補完し、精度良く形状を検出することができる。
さらに、構造物検出手段50により検出された構造物Mの位置を基準に例えば特許第2707369号のような技術を利用してコメントの挿入を可能とするようにしてもよい。
1 構造物検出装置
10 候補領域検出手段(候補点抽出手段)
20 候補点抽出手段
30 正規化手段
40 代表点選択手段
50 構造物検出手段
DB 設定形状記憶手段
DV 画像データ
M 構造物
ref 設定形状
形状モデル
候補領域
欠損領域
余剰領域
p0 (第1次)候補点
、S (第2次)候補点
ref 基準位置

Claims (18)

  1. 画像データから所定の構造物を検出する構造物検出装置であって、
    前記画像データから前記所定の構造物に属する複数の候補点を抽出する候補点抽出手段と、
    前記所定の構造物の既知の形状を表す、複数の教師ラベルから構成される設定形状が予め記憶された設定形状記憶手段と、
    前記候補点抽出手段により抽出された複数の候補点のうち、前記設定形状記憶手段に記憶された前記設定形状に一致もしくは最も類似する形状モデルを構成する、前記複数の教師ラベルの各々に対応する代表点を選択する代表点選択手段と、
    該代表点選択手段により選択された複数の前記代表点が形成する前記形状モデルと前記候補点とを用いて前記画像データから前記所定の構造物を検出する構造物検出手段と
    を備えたことを特徴とする構造物検出装置。
  2. 前記候補点抽出手段は、前記設定形状を用いずに、前記画像データから前記所定の構造物の画像的特徴を有する領域を検出し、該検出された領域中から前記複数の候補点を抽出するものであることを特徴とする請求項1記載の構造物検出装置。
  3. 前記設定形状が、前記複数の教師ラベルについて、該教師ラベルの各々の位置、および、該教師ラベル間の位置関係の情報を表したものであり、
    前記代表点選択手段が、前記教師ラベルの各々と前記候補点の対応づけの組合せの各々について、前記教師ラベルの各々の位置と該教師ラベルに対応づけられた候補点の各々の位置の一致度と、前記複数の教師ラベル間の位置関係と該教師ラベルの各々に対応づけられた候補点間の位置関係の一致度とを算出し、前記各組合せの中から前記位置の一致度および前記位置関係の一致度が最も高くなる組合せを決定することによって、前記代表点を選択するものであることを特徴とする請求項1または2記載の構造物検出装置。
  4. 前記設定形状が、前記教師ラベル間の接続関係の情報をさらに表したものであり、
    前記代表点選択手段が、前記組合せの各々において、接続すべき2つの前記教師ラベルの各々に対応づけられた2つの前記候補点間の経路を、該組合せにおいて前記教師ラベルとの対応づけがなされていない候補点を含む前記複数の候補点を、所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定し、前記位置関係の一致度を、前記経路に対するコストをさらに加味して算出するものであり、
    前記構造物検出手段が、前記代表点選択手段によって決定された前記組合せにおける前記代表点間の前記候補点を辿る接続態様に基づいて、前記所定の構造物を検出するものであることを特徴とする請求項3記載の構造物検出装置。
  5. 前記構造物検出手段が、前記複数の候補点を接続することによって形成される形状を、前記代表点を前記設定形状に略一致するように接続した前記形状モデルを用いて修正することによって、前記所定の構造物を検出するものであることを特徴とする請求項1から3のいずれか1項記載の構造物検出装置。
  6. 前記構造物検出手段が、スパニング木アルゴリズムを用いて前記複数の候補点を接続するものであることを特徴とする請求項5に記載の構造物検出装置。
  7. 前記構造物検出手段が、前記代表点を接続した前記形状モデル上では前記所定の構造物として検出されたが前記候補点の接続が途切れている欠損領域が存在する場合、該欠損領域を前記所定の構造物として検出するものであることを特徴とする請求項1から6のいずれか1項記載の構造物検出装置。
  8. 前記構造物検出手段が、前記候補点が検出されているが前記形状モデル上では前記所定の構造物として検出されていない余剰領域が存在する場合、該余剰領域を前記所定の構造物から除外するものであることを特徴とする請求項1から7のいずれか1項記載の構造物検出装置。
  9. 前記代表点選択手段が、グラフマッチングにより前記設定形状に一致もしくは最も類似する前記形状モデルとなる前記代表点の集合を選択するものであることを特徴とする請求項1から8のいずれか1項記載の構造物検出装置。
  10. 前記設定形状記憶手段が前記所定の構造物であることが既知の教師画像データを用いて学習された、前記候補点が前記設定形状であることの尤度を示す評価関数を記憶したものであり、前記代表点選択手段が前記評価関数を用いて前記代表点を選択するものであることを特徴とする請求項1から9のいずれか1項記載の構造物検出装置。
  11. 前記代表点選択手段が、前記所定の構造物が血管である場合に前記候補点の座標とともに前記候補点における血管の太さまたは輝度値を用いて前記代表点を選択するものであることを特徴とする請求項1から10のいずれか1項記載の構造物検出装置。
  12. 前記候補点抽出手段により抽出された前記複数の候補点の座標を所定の基準位置に基づいて正規化する正規化手段をさらに備えたことを特徴とする請求項1から11のいずれか1項記載の構造物検出装置。
  13. 前記候補点抽出手段が、前記所定の構造物の領域から複数の点を抽出し、抽出した複数の点を結んだ後に所定の長さのセグメント毎に分割し、分割した前記各セグメントから前記候補点を抽出するものであることを特徴とする請求項1から12のいずれか1項記載の構造物検出装置。
  14. 前記設定形状が前記所定の構造物を含む複数の構造物で構成されており、前記構造物検出手段により検出された異なる前記構造物を識別可能な表示態様で表示する表示制御手段をさらに備えたことを特徴とする請求項1から13のいずれか1項記載の構造物検出装置。
  15. 前記設定形状が前記所定の構造物のみならず該所定の構造物とは異なる他の構造物の形状を含むものであり、
    前記候補点抽出手段が前記所定の構造物および前記他の構造物から前記候補点を抽出するものであり、
    前記代表点選択手段が、前記設定形状に一致もしくは最も類似する前記形状モデルを構成する前記代表点を選択するものであり、
    前記構造物検出手段が、前記複数の代表点のうち前記他の構造物に対応する前記代表点を削除し前記所定の構造物を検出することを特徴とする請求項1から14のいずれか1項記載の構造物検出装置。
  16. 前記所定の構造物が人体の管状構造物であることを特徴とする請求項1から15のいずれか1項記載の構造物検出装置。
  17. 画像データから所定の構造物を検出する構造物検出方法であって、
    前記画像データから前記所定の構造物に属する複数の候補点を抽出し、
    抽出した複数の候補点のうち、設定形状記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、複数の教師ラベルから構成される設定形状に一致もしくは最も類似する形状モデルを構成する、該複数の教師ラベルの各々に対応する代表点を選択し、
    選択した複数の前記代表点が形成する前記形状モデルと前記候補点とを用いて前記画像データから前記所定の構造物を検出する
    ことを特徴とする構造物検出方法。
  18. コンピュータに画像データから所定の構造物を検出する処理を実行させるための構造物検出プログラムであって、該プログラムは、該コンピュータに、
    前記画像データの前記所定の構造物に属する複数の候補点を抽出する手順と、
    抽出した複数の候補点のうち、設定形状記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、複数の教師ラベルから構成される設定形状に一致もしくは最も類似する形状モデルを構成する、該複数の教師ラベルの各々に対応する代表点を選択する手順と、
    選択した複数の前記代表点が形成する前記形状モデルと前記候補点とを用いて前記画像データから前記所定の構造物を検出する手順と
    を実行させるためのものであることを特徴とする構造物検出プログラム。
JP2010224061A 2009-10-08 2010-10-01 構造物検出装置および方法ならびにプログラム Active JP4914517B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010224061A JP4914517B2 (ja) 2009-10-08 2010-10-01 構造物検出装置および方法ならびにプログラム
EP10186817.2A EP2309424B1 (en) 2009-10-08 2010-10-07 Structure detection apparatus and method, and computer-readable medium storing program thereof
US12/901,071 US8311307B2 (en) 2009-10-08 2010-10-08 Structure detection apparatus and method, and computer-readable medium storing program thereof
US13/670,678 US8515133B2 (en) 2009-10-08 2012-11-07 Structure detection apparatus and method, and computer-readable medium storing program thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009234098 2009-10-08
JP2009234098 2009-10-08
JP2010224061A JP4914517B2 (ja) 2009-10-08 2010-10-01 構造物検出装置および方法ならびにプログラム

Publications (2)

Publication Number Publication Date
JP2011098195A JP2011098195A (ja) 2011-05-19
JP4914517B2 true JP4914517B2 (ja) 2012-04-11

Family

ID=43495341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010224061A Active JP4914517B2 (ja) 2009-10-08 2010-10-01 構造物検出装置および方法ならびにプログラム

Country Status (3)

Country Link
US (2) US8311307B2 (ja)
EP (1) EP2309424B1 (ja)
JP (1) JP4914517B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5571654B2 (ja) * 2008-04-18 2014-08-13 コーニンクレッカ フィリップス エヌ ヴェ 肺動脈のセグメント化
JP5309109B2 (ja) * 2010-10-18 2013-10-09 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP5391229B2 (ja) * 2011-04-27 2014-01-15 富士フイルム株式会社 木構造抽出装置および方法ならびにプログラム
JP5395868B2 (ja) 2011-09-26 2014-01-22 富士フイルム株式会社 画像処理装置および方法ならびにプログラム
JP5748636B2 (ja) * 2011-10-26 2015-07-15 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US10249036B2 (en) 2012-02-22 2019-04-02 Veran Medical Technologies, Inc. Surgical catheter having side exiting medical instrument and related systems and methods for four dimensional soft tissue navigation
JP5946127B2 (ja) 2012-05-11 2016-07-05 富士通株式会社 シミュレーション方法、シミュレーション装置、およびシミュレーションプログラム
JP6080249B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 3次元画像表示装置および方法並びにプログラム
JP5833994B2 (ja) 2012-09-20 2015-12-16 富士フイルム株式会社 画像処理装置および方法ならびにプログラム
US9305352B2 (en) * 2012-12-04 2016-04-05 Siemens Corporation Deformable tree matching with tangent-enhanced coherent point drift
JP6358590B2 (ja) 2013-08-09 2018-07-18 富士通株式会社 血管データ生成装置、血管データ生成方法、および血管データ生成プログラム
US8958623B1 (en) 2014-04-29 2015-02-17 Heartflow, Inc. Systems and methods for correction of artificial deformation in anatomic modeling
US9613426B2 (en) * 2014-10-21 2017-04-04 Toshiba Medical Systems Corporation Segmentation and matching of structures in medical imaging data
KR102364490B1 (ko) * 2014-12-15 2022-02-18 삼성메디슨 주식회사 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
JP2016158916A (ja) * 2015-03-03 2016-09-05 キヤノンマーケティングジャパン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
JP6468907B2 (ja) * 2015-03-25 2019-02-13 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
JP6591203B2 (ja) * 2015-06-01 2019-10-16 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP6851295B2 (ja) * 2017-01-27 2021-03-31 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法
KR102250164B1 (ko) * 2018-09-05 2021-05-10 에이아이메딕(주) 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템
JP7213412B2 (ja) * 2018-09-12 2023-01-27 学校法人立命館 医用画像抽出装置、医用画像抽出方法、及び、コンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2707369B2 (ja) 1991-02-01 1998-01-28 富士写真フイルム株式会社 画像表示方法
WO2003070102A2 (en) * 2002-02-15 2003-08-28 The Regents Of The University Of Michigan Lung nodule detection and classification
JP4060615B2 (ja) * 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
US7346209B2 (en) 2002-09-30 2008-03-18 The Board Of Trustees Of The Leland Stanford Junior University Three-dimensional pattern recognition method to detect shapes in medical images
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
JP5017909B2 (ja) 2005-06-22 2012-09-05 コニカミノルタエムジー株式会社 領域抽出装置、領域抽出方法及びプログラム
US7646903B2 (en) 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching
JP4999163B2 (ja) 2006-04-17 2012-08-15 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP4910478B2 (ja) * 2006-05-24 2012-04-04 コニカミノルタエムジー株式会社 モデリング装置、モデリング方法およびプログラム
JP5012312B2 (ja) 2007-08-15 2012-08-29 ソニー株式会社 記憶装置の駆動方法
JP4900143B2 (ja) 2007-09-10 2012-03-21 富士ゼロックス株式会社 文書管理システム

Also Published As

Publication number Publication date
US8311307B2 (en) 2012-11-13
JP2011098195A (ja) 2011-05-19
EP2309424A3 (en) 2014-11-05
US20110085701A1 (en) 2011-04-14
EP2309424B1 (en) 2019-11-20
EP2309424A2 (en) 2011-04-13
US8515133B2 (en) 2013-08-20
US20130064428A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
JP4914517B2 (ja) 構造物検出装置および方法ならびにプログラム
US10079071B1 (en) Method and system for whole body bone removal and vascular visualization in medical image data
US11631174B2 (en) Adaptive navigation technique for navigating a catheter through a body channel or cavity
US9679389B2 (en) Method and system for blood vessel segmentation and classification
CN111145206B (zh) 肝脏图像分割质量评估方法、装置及计算机设备
US8150113B2 (en) Method for lung lesion location identification
US9471989B2 (en) Vascular anatomy modeling derived from 3-dimensional medical image processing
JP6657132B2 (ja) 画像分類装置、方法およびプログラム
Zheng et al. Robust and accurate coronary artery centerline extraction in CTA by combining model-driven and data-driven approaches
US20160303804A1 (en) Method and System for Advanced Transcatheter Aortic Valve Implantation Planning
KR101294858B1 (ko) 간 문맥의 혈관 구조 정보를 이용한 간 세그먼트 구분 방법 및 장치
Kaftan et al. A novel multipurpose tree and path matching algorithm with application to airway trees
US9336458B2 (en) Image processing device, method and program
Qi et al. Examinee-examiner network: Weakly supervised accurate coronary lumen segmentation using centerline constraint
Perchet et al. Advanced navigation tools for virtual bronchoscopy
Zheng et al. Model-driven centerline extraction for severely occluded major coronary arteries
Novikov et al. Automated anatomy-based tracking of systemic arteries in arbitrary field-of-view CTA scans
Beck et al. Validation and detection of vessel landmarks by using anatomical knowledge
Kim et al. Automatic CAC voxel classification with multi-scale CNN architecture
Schaap Quantitative Image Analysis in Cardiac CT Angiography
WO2022203814A1 (en) Systems and methods for automatic blood vessel extraction
CN117083631A (zh) 用于自动血管提取的系统和方法
Yao et al. 4 A Combination of
CN117671387A (zh) 肺段分类方法、装置、设备及非易失性存储介质
CN115881277A (zh) 用于评估三维血管造影术数据集的计算机实现的方法、评估系统、计算机程序

Legal Events

Date Code Title Description
RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111121

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20111121

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4914517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250