JP6005297B2 - 磁気共鳴(mr)イメージにおける骨と軟骨の分類方法、および、データ処理システム - Google Patents

磁気共鳴(mr)イメージにおける骨と軟骨の分類方法、および、データ処理システム Download PDF

Info

Publication number
JP6005297B2
JP6005297B2 JP2015545879A JP2015545879A JP6005297B2 JP 6005297 B2 JP6005297 B2 JP 6005297B2 JP 2015545879 A JP2015545879 A JP 2015545879A JP 2015545879 A JP2015545879 A JP 2015545879A JP 6005297 B2 JP6005297 B2 JP 6005297B2
Authority
JP
Japan
Prior art keywords
model
cartilage
data processing
processing system
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015545879A
Other languages
English (en)
Other versions
JP2016505298A (ja
Inventor
ワン チュアン
ワン チュアン
ウー ディジア
ウー ディジア
リウ メイジュー
リウ メイジュー
ルー ルゥァ
ルー ルゥァ
ケヴィン ジョウ シャオフア
ケヴィン ジョウ シャオフア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Industry Software Inc
Original Assignee
Siemens Product Lifecycle Management Software Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Product Lifecycle Management Software Inc filed Critical Siemens Product Lifecycle Management Software Inc
Publication of JP2016505298A publication Critical patent/JP2016505298A/ja
Application granted granted Critical
Publication of JP6005297B2 publication Critical patent/JP6005297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/231Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、独立請求項に記載の、空間コンテキストに基づく三次元イメージにおける多物体の自動的なセグメンテーションのための方法およびコンピュータで読み取り可能な媒体に関する。
概略的にいえば本発明は、コンピュータ支援型のイメージングシステムおよびイメージ分析システムならびに同様のシステムに関するものであり、以下に限定されるものではないが、磁気共鳴イメージング(MRI)システム、核磁気共鳴イメージング(NMRI)システム、磁気共鳴トモグラフィ(MRT)システム(これらをまとめて、かつ非排他的に「イメージングシステム」と称する)に関する。
イメージングシステムによって、人体および動物体の内部構造を含むイメージを生成、記憶、操作および分析することができるが、改善されたシステムが望まれている。
本発明の様々な実施形態には、人体および動物体の内部構造のイメージの自動分類方法および自動分類システムが含まれる。1つの方法には、磁気共鳴(MR)イメージ検査モデルを受け取るステップと、検査モデルにおいて骨または軟骨として分類されるべきエリアを含む検査モデルのボリュームを決定するステップが含まれる。この方法には、検査ボリュームが動的形状モデルの平均形状および形状変動スペースと一致するように、検査モデルを変更するステップと、検査ボリュームを平均形状および形状変動スペースにフィットさせることによって、検査ボリュームの初期分類を形成するステップが含まれる。さらにこの方法には、動的形状モデルに関して検査ボリュームの境界を精密化することにより、検査ボリュームの、骨エリアと軟骨エリアへの精密化分類を生じさせるステップが含まれる。この方法に、精密化分類をMRイメージ検査モデルに関連させて分類データとして記憶させるステップを含めることができる。さらにこの方法には、MRイメージ検査モデルを、精密化分類に従い骨エリアと軟骨エリアに対応する種々のエリアにセグメンテーションするステップが含まれる。
磁気共鳴イメージにおける骨と軟骨を分類する別の方法には、複数のボクセルによって表された未分類の骨と軟骨の部位を含むMRイメージ検査モデルを受け取るステップが含まれる。この方法には、第1経路のランダムフォレスト分類器を利用して、データ処理システムが第1の分類プロセスを実施し、検査モデルの各ボクセルを大腿骨軟骨、脛骨軟骨、膝蓋骨軟骨、または背景のうちの1つとして分類する第1経路確率マップを生成するステップが含まれる。この方法には、第2経路のランダムフォレスト分類器を利用して、データ処理システムが第2の分類プロセスを実施し、第1経路確率マップの各ボクセルを、大腿骨軟骨、脛骨軟骨、膝蓋骨軟骨、または背景のうちの1つとして分類する第2経路確率マップを生成するステップが含まれる。この方法には、第2経路確率マップに対応する分類データを、MRイメージ検査モデルと関連させてデータ処理システムに記憶するステップが含まれる。さらにこの方法には、MRイメージ検査モデルを表示させるステップを含めることができ、その際、各ボクセルの分類に対応するMRイメージ検査モデルの部分が示される。
これまでの記載は、以下の詳細な説明を当業者がよりよく理解できるよう、本発明の特徴および技術的な利点をどちらかと言えば大雑把に略述したものである。各請求項の特徴を成す本発明のその他の特徴および利点については、以下で述べることにする。当業者であれば理解できるように、当業者は本明細書で開示する着想や特定の実施形態を、本発明と同じ目的を成し遂げるための変更または異なる構造設計のベースとして、ただちに利用することができる。さらに当業者であれば、最も広い形態で開示した本発明の着想および範囲を逸脱することなく、上述のような同等の構造を実現することもできる。
以下の発明の詳細な説明に入る前に、本明細書全体を通して用いられるいくつかの用語や表現について、ここで定義しておく。「を含む」および「を有する」なる表現ならびにそれらの派生語は、制限のない包含を表す。「または」なる表現は、「および/または」の意味も含む。「と関連する」および「それと関連する」ならびにそれらの派生語は、「含む」、「の中に含まれる」、「と相関した」、「を含有する」、「の中に含有される」、「に接続する」または「と接続する」、「に結合する」または「と結合する」、「と伝達可能である」、「と共働する」、「をはさむ」、「に並置する」、「のすぐ近くにある」、「に結び付けられる」または「と結び付けられる」、「の所有物」等を意味する場合もある。さらに「コントローラ」なる用語は、ハードウェアで実装されていようと、ファームウェア、ソフトウェア、またはそれらのうち少なくとも2つの組み合わせで実装されていようと、少なくとも1つのオペレーションを制御する何らかのデバイス、システムまたはそれらの一部分を表す。さらにここで留意しておきたいのは、いずれかの特定のコントローラと結び付けられた機能を、ローカルであろうとリモートであろうと、集中させてもよいし分散させてもよい、ということである。いくつかの用語および表現に対する定義は、本明細書全体にわたって規定されるものであり、当業者であれば理解できるように、この種の定義は、大部分ではないにしても数多くの事例において、ここで定義した用語および表現の従来の使用にも将来の使用にも適用される。いくつかの用語は、幅広い種類の形態を含むことができるけれども、添付の特許請求の範囲では、それらの用語が特定の形態に明確に制限されてもよい。
本発明およびその利点について、いっそう完璧に理解できるようにする目的で、添付の図面を参照しながら本発明について以下で説明する。なお、図中、対象が同じであれば同じ参照符号が付されている。
1つの実施形態を実現可能なデータ処理システムを示すブロック図 具体例として膝関節を示す図 具体例として膝関節のMRイメージの線画表現で示す図 本発明の実施形態による骨のセグメンテーション処理の具体例を示すフローチャート 本発明の実施形態による骨のセグメンテーション処理を示す図 本発明の実施形態による2経路反復型分類フレームワークを示す図
本発明の開示内容の基本原理を説明するために、図1〜図6および種々の実施形態が用いられているが、これらは例示の目的で用いたにすぎず、いかなる点においても本発明の範囲の限定を意図したものではない。当業者であれば理解できるように、本発明の開示内容の基本原理を、適切に構成された任意の装置において実現することができる。本発明の数多くの革新的な着想について、具体例として挙げた非限定的な実施形態を参照しながら説明する。
本発明による実施形態は、イメージおよびイメージにより表現される要素を認識、分析および分類する、改善されたイメージングシステムおよびイメージング方法を含むものであり、以下に限定されるものではないが、人間の骨のイメージおよびその他の人体のイメージならびに動物体のイメージにおける軟骨構造の分類および「セグメンテーション」のためのイメージングシステムおよびイメージング方法を含む。以下では、人体の膝の構造に関して特定の実施形態を用いて説明するけれども、当業者であれば理解できるように、本明細書で例示する技術および実施形態を、股関節、肘関節、肩関節、手関節ならびに他の部位など、他の解剖学的イメージにも適用できるし、さらに骨/軟骨イメージを含むがそれに限定されるものではないCTスキャンや他の二次元、三次元のイメージなど他のイメージにも適用可能である。
三次元イメージからの人体の膝の軟骨の自動的なセグメンテーションは、有用なものであるけれども、境界が散在し強度が不均一である軟骨の薄いシート状の構造ゆえに、困難な課題でもある。
本発明による実施形態には、大腿と脛骨と膝蓋骨軟骨を同時にセグメンテーションするための反復型マルチクラス学習法が含まれ、この実施形態は、骨と軟骨との間の、および異なる軟骨間の、空間的コンテキスト拘束条件を、効果的に活用することができる。
軟骨は対応する骨面の所定のエリアにおいてのみ成長する、ということに基づき、システムは、骨面までの距離に関する距離フィーチャを抽出できるだけなく、さらに有用であるのは、骨面上に高密度に記録された解剖学的指標までの距離に関する距離フィーチャも抽出可能なことである。
システムは、これに加えて、または択一的に、一連の反復型判別分類器を使用することができ、その際、反復のたびに、以前に学習された分類器により導出されたクラスコンフィデンスマップから、確率比較フィーチャが構築される。これらのフィーチャによって、着目対象の種々の軟骨間のセマンティックコンテキスト情報が自動的に埋め込まれる。
本発明による実施形態には、三次元MRイメージにおける膝軟骨のための、完全に自動的な高精度のロバストなセグメンテーション方法が含まれる。この方法は、学習ベースのものであり、骨と軟骨との間の空間的拘束条件ならびに種々の軟骨間の拘束条件を、効果的に活用する。特に、対応する骨の表面において高密度で記録された多数の解剖学的指標からの距離フィーチャと、確率比較フィーチャを伴う反復型判別分類は、この分野の従来技術と対比すると、新規で独特なものである。
本発明による方法は、MRIイメージにおける軟骨セグメンテーションの問題により動機づけられたものではあるけれども、この方法を、医療イメージおよび様々な種類の他のイメージ(以下に限定されるものではないが、地中レーダ、構造物、小包、コンテナのX線イメージング、ミリ波イメージングなどの分野)における一般的なセグメンテーションの問題に適用して、セグメンテーションの性能を高めるために空間的なセマンティック情報およびコンテキスト拘束条件を効果的に活用することができる。
軟骨は、一般にMRIイメージとして鮮明には認識できない。しかしながら、本発明による方法によれば、骨と軟骨との間の空間的コンテキスト拘束条件が学習され、これを利用して、骨と軟骨の統計モデルを統合的に構築することができる。したがって、CTイメージからいっそう簡単にセグメンテーション可能であるような骨をベースとする従前のモデルを利用して軟骨を推測するよりも、精度を高くすることができる。以下で説明するセグメンテーションまたは分類を実施した後、分類データおよびセグメンテーションされたイメージを、CT、X線または他のイメージとマージして、対象エリアのいっそう包括的なビューを形成することができる。
図1には、1つの実施形態を実現することのできるデータ処理システムのブロック図が示されている。これはたとえば、特に以下で述べるプロセスを実行するためのソフトウェアまたは他の手段によって構築されたイメージングシステムとして実現可能であり、特に、以下で説明するように、相互接続され通信を行う複数のシステムのうちの1つとして実現可能である。図示されているデータ処理システムには、レベル2キャッシュ/ブリッジ104と接続されたプロセッサ102が含まれており、このキャッシュ/ブリッジ104自体はローカルシステムバス106と接続されている。たとえばローカルシステムバス106を、PCI(peripheral component interconnect)アーキテクチャのバスとすることができる。図示の実施例ではローカルシステムバス106にさらに、メインメモリ108とグラフィックアダプタ110も接続されている。グラフィックアダプタ110を、ディスプレイ111と接続することができる。
ローカルエリアネットワーク(LAN)/ワイドエリアネットワーク/ワイヤレス(たとえばWiFi)アダプタ112などといった他の周辺機器を、ローカルシステムバス106と接続することもできる。拡張バスインタフェース114によって、ローカルシステムバス106が入出力(I/O)バス116と接続されている。I/Oバス116は、キーボード/マウスアダプタ118、ディスクコントローラ120、および/またはI/Oアダプタ122と接続されている。ディスクコントローラ120を記憶装置126と接続することができ、この記憶装置126は、機械で利用可能または機械で読み取り可能な任意の記憶媒体とすることができ、このような記憶媒体には、以下に限定されるわけではないが、リードオンリーメモリ(ROM)など不揮発性の変更不可能な媒体、または消去可能であり電気的にプログラミング可能なリードオンリーメモリ(EEPROM)、磁気テープ媒体、ユーザが記録可能なタイプの媒体たとえばフロッピーディスク、ハードディスクドライブ、およびコンパクトディスク型リードオンリーメモリ(CD−ROM)、またはディジタル多用途ディスク(DVD)、さらに他の公知の光学的、電気的または磁気的な記憶媒体が含まれる。
図示されているこの実施例では、I/Oバス116にオーディオアダプタ124も接続されており、サウンド再生のためにこのアダプタにスピーカ(図示せず)を接続することができる。キーボード/マウスアダプタ118によって、マウス、トラックボール、トラックポインタなどポインティングデバイス(図示せず)のための接続を行うことができる。
I/Oアダプタ122には、たとえばイメージング装置128を接続することができ、この装置は、本明細書で説明するプロセスを実施するように構築された、公知のどのようなイメージングシステムハードウェアであってもよく、特に、当業者に周知のMRI装置、NMRI装置、MRT装置およびその他のイメージング装置とすることができる。
当業者であれば理解できるように、図1に描かれているハードウェアを個々の実現形態に合わせて変更できる。たとえば、図示されているハードウェアに加えて、またはその代替として、光ディスクドライブなどのような他の周辺機器を使用してもよい。図示されている実施例は、例示目的で示されているにすぎず、本発明に関して構造上の制限を意図したものではない。
本発明の1つの実施形態によるデータ処理システムまたはイメージングシステムには、グラフィックユーザインタフェースを用いるオペレーティングシステムが含まれている。このオペレーティングシステムによれば、同時に複数のディスプレイウィンドウをグラフィックユーザインタフェースとして表示させることができ、各ディスプレイウィンドウによって、それぞれ異なるアプリケーションに対するインタフェースが提供され、または同じアプリケーションの異なるインスタンスに対するインタフェースが提供される。ユーザはポインティングデバイスを利用して、グラフィックユーザインタフェースのカーソルを操作することができる。その際、カーソルのポジションを変更することができ、および/または、望ましいレスポンスを生じさせるために、マウスボタンのクリックなどのイベントを発生させることができる。
適切に変更を加えれば、様々な市販のオペレーティングシステムのうちの1つを採用することができ、たとえば, Wasshington州RedmondのMicrosoft社の製品であるMicrosoft Windows(登録商標)の1つのバージョンを採用することができる。オペレーティングシステムは、本発明に従って変更または作成される。
LAN/WAN/ワイヤレスアダプタ112を(データ処理システム100の一部ではない)ネットワーク130に接続することができ、このネットワークを、当業者に周知のように、公用または専用のデータ処理システムネットワークあるいはそれらの組み合わせとすることができ、これにはインターネットが含まれる。データ処理システム100は、ネットワーク130を介してサーバシステム140と通信することができ、このサーバシステムもデータ処理システム100の一部ではないが、たとえば別個の異なるデータ処理システム100として実装してもよい。
MRIによって、軟骨の軟部組織を含む膝関節全体をじかに非観血的に視覚化することができる。多くのケースにおいて研究者に関心があるのは、人体の膝関節において3つの異なる軟骨すなわち大腿骨軟骨と脛骨軟骨と膝蓋骨軟骨とに区分けすることである。これらの軟骨は、大腿骨と脛骨と膝蓋骨とにそれぞれ付着している。厳密にいうと、一体構造の大腿骨軟骨および膝蓋骨軟骨とは異なり、脛骨は2つの別個の部分から成り、外側軟骨と内側軟骨とから成る。
膝の軟骨は著しく薄い組織であり、これら3つの膝の骨の特定の表面部位に付着していることから、研究者が好むのは、最初に膝の骨をセグメントに分け、骨に関する事前の知識を軟骨のセグメンテーション手順に組み入れることである。
図2には、具体例として膝関節が示されており、これには大腿骨202および大腿骨軟骨204と、脛骨206および脛骨軟骨208と,膝蓋骨210および膝蓋骨軟骨212が含まれている。なお、見やすくするために、半月板と筋肉は図面から省いてある。
MRイメージからの軟骨組織の自動セグメンテーションは、高精度で再現性のある定量的な軟骨測定のために必要とされるが、このことは、軟骨が不均質であること、軟骨組織のコントラストが低いこと、および軟骨の形状不規則であることから、現在のシステムでは難しく、あるいは不可能である。
さらに図3には、具体例として膝関節のMRイメージの線画表現が示されており、これには大腿骨302、脛骨306、膝蓋骨310、および軟骨314のエリアが含まれている。
本発明による実施形態には、軟骨のセグメンテーションのための、完全に自動的な学習ベースのボクセル分類が含まれる。本発明による技術には、膝関節における対応する骨のプレセグメンテーションが含まれるが、これは骨と軟骨の境界面(BCI)の明示的な分類に依存するものではない。
そうではなく本発明による実施形態によれば、各ボクセルから骨面上の多数の解剖学的指標までの距離に関するフィーチャが構築され、これによって軟骨と骨との空間的関係が捕捉される。骨と軟骨の境界面の抽出は不要であることから、フレームワーク全体がシンプルになり、分類エラーの伝播を回避することができる。本発明によれば、多経路のフィーチャブースティング・フォレストを構築することができ、以下で詳しく説明するように、高密度の指標までの距離に関するフィーチャを使用することができる。
本発明において用いられるフォレストを、当業者に周知のランダムフォレストとして実装することができる。ここで用いられるランダムフォレストは、多数の決定木から成る1つのアンサンブル分類器であって、これにより出力されるクラスは、個々の木により出力された複数のクラスのモードである。一般に各々の木はそれぞれ、トレーニングケースの個数をNとし、分類器における変数の個数をMとして構築される。さらに数値mは、木のノードにおいて決定を下すために用いられる入力変数の個数を表す。ただし、mはMよりも著しく小さいものとする。システムは、利用可能なN個のすべてのトレーニングケースの中からn回、復元抽出することにより、この木のために1つのトレーニング集合を選択する(すなわちブートストラップ標本をとる)。システムはケースの残りを使用し、それらのクラスの予測によって、木の誤差を推定する。木のノードごとに、システムはランダムにm個の変数を選択し、それらの変数に基づきそのノードにおける決定がなされる。システムは、トレーニング集合内のこれらm個の変数に基づき、最良の分岐を算出する。各木は完全に「成長し」、刈り込まれない(通常の決定木分類器の構築では刈り込み可能)。この種のランダムフォレストの論考全般については、出願時点でのen.wikipedia.org/wiki/Random__forest、およびLeo Breiman, Random ForestsによるMachine Learning 45, No, 1 (2001): 5-32に示されている。これら2つの文献は、ここで参照したことにより本願に取り込まれるものとする。たとえばBreimanの記述によれば、ランダムフォレストとは、別個に標本化されたランダムベクトルの値に個々の決定木を依存させ、フォレスト内のすべての決定木について等しい分布となるように、決定木予測器を組み合わせたものである。
軟骨と骨との関係のほか、異なる軟骨間でも強い空間的関係が存在し、これは他のアプローチでは見過ごされることがいっそう多い。たとえば、大腿骨軟骨は必ず脛骨軟骨の上にあり、これら2つの軟骨は、関節の運動中、2つの骨が滑り合う領域で、互いに触れ合っている。
自動コンテキストの技術を用いてこの拘束条件を利用するために、本発明による実施形態によれば、反復型判別分類が実装され、この場合、反復のたびに、先行の分類器により得られたマルチクラス確率マップが使用されて、セマンティックコンテキストフィーチャが抽出される。具体的にはこのシステムは、それぞれランダムなシフトを有する複数のポジションにおける確率を比較して、それらの差を算出することができる。本明細書ではランダムシフト確率差分(random shift probability difference, RSPD)と称するこのようなフィーチャは、計算がいっそう効率的であり、他の技術による固定された相対的ポジションにおける確率統計の計算に比べて、異なるコンテキスト範囲に対しいっそうフレキシブルである。
関節の分類および回帰ランダムフォレストを利用して、複数の器官のセグメンテーションの問題を解決することができる。回帰を利用することで、器官境界マップを予測して推定することができる。他の方法では、出力された器官境界マップの情報は有用であるけれども、回帰による値をベースにしても高精度なものではない。
ただし本発明の実施形態によれば、軟骨のように著しく薄い層構造の物体のセグメンテーションが試みられるので、回帰値のばらつきがそれほど大きくならない。その代わりに、高い精度と反復性を伴って学習するのにいっそう効果的である教師あり分類のために、空間的事前分布として距離情報が符号化される。本明細書において空間的事前分布とは、複数の物体間の空間的事前関係のことであり、もっと具体的には、軟骨と骨との空間的事前関係のことである。
図4には、本発明による1つまたは複数のデータ処理システム(これらを個々におよび全体的に「システム」と称する)によって実行される骨のセグメンテーションに関する具体例としてのプロセスのフローチャートが示されている。この図面に簡単に記述されている種々のステップについて、以下で詳しく説明する。
いくつかの実施形態によれば、三次元のMRイメージにおける3つの膝骨のセグメンテーションのために、本発明によるシステムは最初に、骨の構造に手動で注釈が付けられたMRイメージトレーニングボリュームの集合を受け取ることができる。これを「グラウンドトゥルース ground truth」の骨またはイメージと称する。その理由は、骨、軟骨および他の構造の分類は既知だからである(ステップ405)。システムはグラウンドトゥルースイメージをメッシュに変換し、コヒーレントポイントドリフト(coherent point drift, CPD)法を実行して、複数の対応メッシュを生成する(ステップ410)。いくつかのケースでは、A. MyronenkoおよびX. SongによるPoint Set Registration: Coherent Point Drift, IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(12):2262-2275, 2010年12月、において説明されているように、CPD法を利用することができる。この文献は、ここで参照したことにより本願に取り込まれるものとする。
たとえばMyronenkoが述べているように、ポイント集合レジストレーションは、多くのコンピュータビジョンタスクにおけるキーコンポーネントである。ポイント集合レジストレーションの目的は、2つのポイント集合間の対応を割り当てること、および一方のポイント集合を他方のポイント集合にマッピングする変換を取り戻すことである。未知の非リジッドな空間変換、ポイント集合の大きい次元数、ノイズ、および異常値を含む複数のファクタを、リジッドなポイント集合レジストレーションと非リジッドなポイント集合レジストレーションの双方のために、CPDによって扱うことができる。この種の方法は、2つのポイント集合のアライメントを確率分布推定問題とみなし、ガウス混合モデル(GMM)のセントロイド(これは第1のポイント集合を表す)を、尤度を最大にすることによりデータ(第2のポイント集合)にフィットさせる。システムは強制的に、GMMのセントロイドを1つのグループとしてコヒーレントに動かし、ポイント集合のトポロジカル構造を保持する。リジッドなケースではシステムは、GMMのセントロイドの位置をリジッドなパラメータを用いて再パラメタリゼーションすることによって、コヒーレンス拘束条件を強制して、任意の次元における期待値最大化アルゴリズムによる最大化ステップの閉形式解を導出することができる。非リジッドなケースではシステムは、変位フィールドを正規化し、変分法を利用して最適な変換を導出することにより、コヒーレンス拘束条件を強制することができる。
次にシステムは、複数の対応メッシュすべてについて主成分分析(PCA)モデルをトレーニングし、生成することができる(ステップ415)。これらのPCAモデルは統計的な形状モデルであって、これは対応メッシュにより表された物体形状の平均と分散を捕捉する。PCAモデルは、トレーニングデータ/ボリュームの集合から生成され、ついでセグメンテーションの目的で、それらを検査データ/ボリュームに適用することができる。
次にシステムは、複数のPCAモデルを結合して、動的形状モデル(active shape model, ASM)を生成することができる。このモデルには、トレーニングボリュームにおける骨と軟骨の平均形状に対応する平均形状と、トレーニングボリュームの骨と軟骨の配置の変動に対応する形状変動スペースとが含まれている。ついでシステムは、これらのASMをイメージにフィットさせて、膝の3つの骨の初期セグメンテーションを決定することができる(ステップ420)。ただし、ASMのこのような初期フィッティングによるセグメンテーションは、一般に精密ではない。
ASM技術については、T. Coots, C. Taylor, D. CooperおよびJ. GrahamによるActive Shape Models - Their Training and Application, Computer Vision and Image Understanding, 61(l):38-59, 1995で述べられている。この文献はここで参照したことにより、本願に取り込まれるものとする。たとえばCootsは、適正に注釈の付された複数のイメージから成るトレーニング集合を成すばらつきのパターンを学習することにより、モデルを生成する方法について説明している。これらのASMを、トレーニング集合と一致するように変形させるだけで、反復型の精密化アルゴリズムにおいてイメージを探索するために利用することができる。
次にシステムは、形態的にマスクを侵食して、骨のポジティブなシードを生成することができ、マスクを膨張させて骨のネガティブなシードを生成することができ、さらにランダムウォークプロセスを実行して、精密化された骨のセグメンテーションマスクを取得することができる(ステップ425)。1つの適切なランダムウォークアルゴリズムは、L. GradyによるRandom Walks for Image Segmentation, IEEE Transactions on Pattern Analysis and Machine intelligence, 28(11): 1768-1783, 2006年11月、で述べられており、この文献は、ここで参照したことにより本願に取り込まれるものとする。たとえばGradyが述べているプロセスによれば、ユーザ定義による(または事前に定義済みの)ラベルを有する少数のピクセルがある場合、ラベリングされていない各ピクセルからスタートしたランダムウォーカーがまえもってラベリングされたピクセルの1つに最初に到達する確率を、分析により迅速に求めることができる。最も高い確率が計算されたラベルに各ピクセルを割り当てることにより、高品質のイメージセグメンテーションを得ることができる。この種のプロセスを、標準演算子と連続的なポテンシャル論による原理の組み合わせ論的類似とを利用して、離散的な空間において(たとえばグラフ上で)実行することができ、これによって任意の次元で任意のグラフに適用することができる。
次にシステムは、精密化された骨のセグメンテーションマスクにおいて、三次元の符号付き距離変換を実行することができ、これによって骨までの距離に関する符号付きのフィーチャを構築することができる(ステップ430)。その後、システムは再びCPDプロセスを適用して、セグメンテーション結果の対応メッシュを生成することができる(ステップ435)。さらにシステムは、これらの対応メッシュを利用して、高密度の指標までの距離に関するフィーチャを構築することができる(ステップ440)。
既に述べたとおり、膝の骨はまずは2つの主要な理由のためにセグメンテーションされる。1つめの理由としては、軟骨のセグメンテーションのための重要な空間的拘束条件が、骨面によって提供されることである。2つめの理由としては、骨は比較的標準どおりの明確な形状を有していることから、骨のセグメンテーションは比較的容易なことである。
本発明による実施形態によれば、骨の形状は、閉じた三角形のメッシュM= {P, T}によって表される。ただし、
Figure 0006005297
は、N個のメッシュポイントの集合であり、
Figure 0006005297
は、M個の三角形の指標の集合である。手動で骨に注釈が付けられた複数のトレーニングボリュームがある場合、システムはCPDプロセスを利用して、メッシュポイントの解剖学的対応を探索し、それに基づき、
Figure 0006005297
として表された平均形状を有する統計的形状モデルを構築することができる。
図5には、本発明の実施形態による骨のセグメンテーションプロセスが描かれており、これにはトレーニングフェーズ500と検出フェーズ520が含まれている。トレーニングフェーズ500によれば、ステップ502において、骨または軟骨に手動で注釈が付けられたトレーニングボリューム(グラウンドトゥルースイメージ)を受け取り、ステップ503においてCPDプロセスを実行して、ステップ504で複数の対応メッシュを生成し、さらにステップ505においてPCAプロセスを実行して、ステップ506で動的形状モデルを生成し、これには平均形状と対応する形状変動スペースが含まれる。
検出フェーズ520は、ステップ506で生成された動的形状モデルを利用する。これらのモデルは、システムが受け取った処理すべきMRイメージ(「モデル」または「検査モデル」)各々に適用され、これによりステップ522において検査ボリュームが決定される。検査ボリュームは、骨、軟骨または他のものに分類すべき検査モデルの各エリアである。ここで説明するMR検査モデルの「エリア」または「部分」は、二次元のエリアまたは三次元のボリュームのことを意図している。
ステップ523において、システムはマージナル空間学習により姿勢推定を利用し、ステップ524において、検査ボリュームが動的形状モデルの平均形状および形状変動スペースと一致するように、モデルの推定された並進、回転およびスケーリングを生成する。
さらにステップ525においてシステムは、反復的な境界フィッティングによりモデルの変形を適用し、その際、モデルの推定された並進、回転およびスケーリングを利用し、平均形状および形状変動スペースに従い、検査ボリュームを動的形状モデルにフィットさせる。これにより、ステップ526において初期セグメンテーションが生成される。
初期セグメンテーションは、検査モデル各部の、骨と軟骨または他の部分への初期分類である。
次にシステムはステップ527において、初期セグメンテーションを利用して、境界精密化のためモデルに対しランダムウォークプロセスを実施し、これにより精密化されたセグメンテーションがステップ528において形成される。このプロセスにおいてシステムは、動的形状モデルに関して検査ボリュームの境界を精密化する。精密化されたセグメンテーションは、骨と軟骨および他の部分への検査モデル各部の分類である。次にシステムは、精密化されたセグメンテーションを、検査モデル各部の分類またはセグメンテーションを識別する分類データとして、個々の検査モデルと対応づけて記憶することができる。このプロセスに、MRイメージの検査モデルを表示させるステップを含めることができ、その際、各ボクセルの分類に対応するMRイメージ検査モデルの部分が表される。本明細書で用いられている、システムによる「受け取り」なる表現には、記憶装置からのロードを含めることができるし、あるいは他のデバイスまたはプロセスからの受け取りも含めることができる。
この実施形態によれば、骨のセグメンテーションフレームワーク全体に、3つの主要なステップを含めることができる。すなわち、姿勢推定ステップ(モデルの推定された並進、回転およびスケーリングを求める)、モデル変形ステップ(モデルの並進、回転およびスケーリングを適切に加える)、ならびに境界精密化ステップ(境界を調整して、検査ボリュームを動的形状モデルにフィットさせる)を含めることができる。
姿勢推定:
所定のボリュームVについて、最適な姿勢パラメータ
Figure 0006005297
の探索により、最初に骨の位置が特定される。ただし、
Figure 0006005297
は並進を表し、
Figure 0006005297
は回転を表し、
Figure 0006005297
は異方性スケーリングを表す:
Figure 0006005297
検出をスピードアップする目的で、マージナル空間学習(marginal space learning MSL)と呼ばれる効率的な推論プロセスが採用され、これは本来のパラメータ空間における網羅的な探索を、それぞれいっそう低い次元のマージナル空間で3つのシーケンシャルな推定問題に分解するものであり、次式により表される:
Figure 0006005297
この場合、推定された姿勢パラメータを有する平均形状
Figure 0006005297
を線形変換することにより、形状が初期化される。
適用可能なMSLプロセスについては、Y. Zheng, A. Barbu, M. Georgescu, M Scheming, D. ComaniciuによるFour-Chamber Heart Modeling and Automatic Segmentation for 3D Cardiac CT Volumes Using Marginal Space Learning and Steerable Features, IEEE Trans. Med. Imag., 27(11 ): 1668 -1681 , 2008において説明されており、この文献はここで参照したことにより本願発明に取り込まれるものとする。たとえばZhengは、心室を位置特定するための9次元相似変換の探索問題を解決するためのMSLプロセスについて説明している。心室の姿勢を求めた後、このプロセスは、学習ベースの境界描写により三次元形状を推定する。このMSLプロセスによれば、推定を3つの問題すなわちポジション推定とポジション配向推定と完全相似変換推定とに分けることで、投影されたサンプル分布に基づき分類器のインクリメンタルな学習が可能である。この種の方法によれば学習ベースの三次元境界検出器を利用して、ASMフレームワークにおける形状変形を誘導することができる。
モデル変形:
この段階において初期形状が変形され、各メッシュポイント
Figure 0006005297
を探索し、一連の境界分類器により生成された最大確率を有する新たなポイントまで、正方向に移動させることにより境界をフィットさせる。すべてのメッシュポイントの変形全体が、構築された統計的形状モデルの変動サブスペースに投影される。このような境界フィッティングプロセスは、収束に至るまで複数回繰り返される。
境界精密化:セグメンテーション精度をさらに向上させるため、システムはランダムウォークプロセスを利用して、骨の境界を精密化する。メッシュポイントの解剖学的対応は、この段階では失われてかまわない。このためシステムはCPDプロセスを利用して、ランダムウォークプロセス前とランダムウォークプロセス後のメッシュポイントの2つの集合を記録し、精密化された骨の表面における解剖学的に等価の指標を取得する。これらの指標は、以下で詳しく説明するように距離フィーチャの抽出に利用される。
システムは軟骨分類を実施することができ、これにはフィーチャ抽出、反復型セマンティックコンテキストフィーチャのブースティング、およびグラフカット最適化による後処理が含まれる。膝の3つの骨すべてがセグメンテーションされているならば、システムは最初に、骨表面各々からの最大距離閾値内の着目対象の靱帯を抽出する。これは、線形時間における境界骨マスクの距離変換により達成できる。着目対象の靱帯におけるボクセルだけを分類することにより、検査のための計算コストを大幅に低減できるだけでなく、関連性のない負のボクセルを除去することによりトレーニングも単純化される。
フィーチャ抽出:
空間座標xを有する各ボクセルごとに、システムは複数のベースフィーチャを構築することができ、それらは3つの部分集合に分類可能である。強度フィーチャは、ボクセル強度およびその傾斜度をそれぞれ含む:
Figure 0006005297
距離フィーチャは、膝の種々の骨境界までの各ボクセルの符号付きユークリッド距離を表す:
Figure 0006005297
ただし、dFは大腿骨までの符号付き距離、dTは脛骨まで、dPは膝蓋骨までの符号付き距離である。システムは線形結合も利用する:
Figure 0006005297
これらのフィーチャが有用である理由は、和のフィーチャf6およびf8によって、ボクセルxが2つの骨の間の狭い空間内に位置しているのかが表され、差のフィーチャf7およびf9によって、ボクセルがどの骨に近いのかが表されるからである。強度フィーチャf1に加えて和のフィーチャf6およびf7により、脛骨軟骨が大腿骨軟骨および膝蓋骨軟骨から分離される。
軟骨は骨面の所定の領域においてのみ成長し得る、という事前知識を考慮すれば、軟骨のセグメンテーションにとって有用であるのは、ボクセルが骨面にどれだけ近いかという情報を得るだけでなく、それが解剖学的にどこにあるのかの情報も得ることである。したがってシステムは、既述のように骨面上に高密度に記録された指標に対する以下の距離フィーチャを利用する:
Figure 0006005297
ただしzζは、すべての骨のメッシュポイントにおけるζ番目の指標の空間座標である。多数のメッシュポイントを利用できることから、ζは分類器のトレーニング中にランダムに生成される。
コンテキストフィーチャは、現在のボクセルxの強度と、ランダムオフセットuを有する他のボクセルx+uの強度とを比較する:
Figure 0006005297
ただし、uはランダムなオフセットベクトルである。本明細書では「ランダムシフト強度差(random shift intensity difference RSID)」フィーチャと称するこの部分集合のフィーチャによって、トレーニング中、多数の差値uをランダムに発生させることにより、差の範囲内のコンテキスト情報を捕捉する。姿勢分類とキーポイント認識の問題を解決するために、これらのフィーチャを利用することができる。
反復型セマンティックコンテキストフィーチャのブースティング:
本願の実施形態によれば、多経路反復型の分類プロセスを利用して、多物体のセグメンテーションの問題に対するセマンティックコンテキストを自動的に引き出すことができる。この場合、各経路ごとに、生成された確率マップが利用されて、次の経路の分類性能をブースティングするために、コンテキストが埋め込まれたフィーチャを抽出する。
図6には、2経路反復型の分類プロセスが描かれており、この場合、各経路ごとに、ベース分類器としてランダムフォレストが選択されている。ただし本発明による方法を、さらに別の判別分類器を利用したもっと多くの経路の反復に拡張することができる。
この軟骨セグメンテーションプロセスには、2段階の分類器が含まれており、これを2経路分類とも称する。この実施形態には、トレーニングフェーズ600と検査フェーズ630が含まれており、これらを同時に実行してもよいし、あるいは別々に実行してもよい。つまり別々に実行する場合には、トレーニングフェーズ600を完了させ、同時にその結果を記憶させておくことができ、ついでそのあとの時点で、トレーニングフェーズ600の結果を利用して、検査フェーズ630を実行することができる。
トレーニングフェーズ600がベースとするのは、トレーニングイメージ602の集合と、各トレーニングイメージにおいて手動で注釈が付けられたグラウンドトゥルース情報604との比較である。トレーニングの出力は、選択されたフィーチャ、閾値、クラス確率および他のパラメータを有する第1経路のランダムフォレスト分類器610である。第1経路のランダムフォレスト分類器610を利用して、第1経路確率マップ606を生成することができる。
さらにこの場合、トレーニングフェーズ600に第2経路を含めることができ、第2経路において、軟骨のグラウンドトゥルース情報604が第1経路確率マップ606と比較され、選択されたフィーチャ、閾値、クラス確率および他のパラメータを有する第2経路のランダムフォレスト分類器620が生成される。第2経路のランダムフォレスト分類器620を利用して、第2経路確率マップ608を生成することができる。
検査フェーズ630中、何らかの検査イメージ632(グラウンドトゥルースのないMRイメージ検査モデルにおける何らかの所定のイメージ)に対し、ステップ633においてこれらのランダムフォレスト分類器を利用することができ、これによってイメージ中の各ボクセルが、4つのクラスすなわち大腿骨軟骨、脛骨軟骨、膝蓋骨軟骨、および背景(他のすべてのもの)のうち1つのクラスに自動的に分類される。
さらに詳しく説明すると、ステップ633において各検査イメージが、第1経路のランダムフォレスト分類器610と比較されて、一般には入力イメージと同じサイズの第1経路確率マップ634が生成される。第1経路確率マップ634における各ボクセルの値は、そのボクセルの尤度が4つのクラスのいずれかであることを表す。一般にボクセルは、4つのクラスのうち最大尤度を有するいずれか1つのクラスとして分類されることになる。
分類性能を改善する目的で、第1経路のランダムフォレスト分類器610によって得られた第1経路確率マップ634を、ステップ635において第2のランダムフォレスト分類器620によって利用することができる。ステップ635において第2経路のランダムフォレスト分類器620を用いて得られた第2経路確率マップ636を、最終的な分類決定として利用することができ、その後、システムは、第2経路確率マップに対応する分類データ640を、MRイメージ検査モデルと関連させて記憶することができる。
最後に、検査フェーズ630の一部分として、またはそれとは別個に、システムはステップ650において、検査イメージ各々のセグメンテーションを行うことができる。このプロセスに、分類データ640を使用して各検査イメージを種々のエリアにセグメンテーションすることを含めることができ、たとえば骨全般エリア、軟骨エリア、およびその他のエリアまたは背景エリアへのセグメンテーション、あるいは特有のエリアたとえば膝蓋骨エリア、膝蓋骨軟骨エリア、大腿骨エリア、大腿骨軟骨エリア、脛骨エリア、および脛骨軟骨エリアへのセグメンテーションを含めることができる。さらにこのプロセスに、このようなセグメンテーションデータを分類データとともに、または分類データの一部分として、記憶させることを含めることもできる。あるいはこのプロセスに、メタデータまたは他の形態によるデータとしてセグメンテーションデータにより各検査イメージに注釈を付すことを含めることができ、そのようにすることで、イメージがユーザに表示されたときに、対応するセグメンテーションデータも表示させて、種々のセグメンテーションエリアにラベルを付すことができ、または種々のセグメンテーションエリアを(カラーコーディングといった)他の手法で表すことができる。種々のエリアへの検査イメージのセグメンテーションを、各ボクセルをそのボクセルの分類に従い個々のエリアに割り当てることに基づくものとすることができる。
当然ながらこのシステムを、2段階よりも多くの分類器として拡張することができ、その際、各段階において、先行の段階により得られた確率マップと、最終的なクラス判定として用いられる最後の段階から出力された確率マップとが用いられる。
セマンティックコンテキストフィーチャ:
各経路における分類後、確率マップが生成され、これを利用して、以下で定義するセマンティックコンテキストフィーチャが抽出される:
Figure 0006005297
ただしPF,PT,PPは、大腿骨軟骨と脛骨軟骨と膝蓋骨軟骨の確率マップをそれぞれ表す。上述のRSIDフィーチャと同様の手法により、システムはランダムなシフトを有する2つのボクセルの確率応答を比較することができる:
Figure 0006005297
これはランダムシフト確率差分フィーチャ(RSPD)と呼ばれ、これによってセマンティクコンテキスト情報が得られる。なぜならば、確率マップの値は、もともとの強度ボリュームと対比すると、解剖学的ラベルと直接対応づけられているからである。
この種の多経路分類システムの場合、そのつど後続の経路の確率マップは、いっそう僅かなノイズの応答による定量的に改善されたものとなっている。
グラフカット最適化による後処理:
多経路反復型分類が実施された後、システムは4つのクラスすなわち背景と大腿骨軟骨と脛骨軟骨と膝蓋骨軟骨の確率を利用して、エネルギー関数を構築することができ、マルチラベルのグラフカットを実行して、平滑性拘束条件によりセグメンテーション結果を精密化することができる。適用可能なグラフカット処理については、Y. Boykov, O. VekslerおよびR. Zabih,によるFast Approximate Energy Minimization via Graph Cuts, IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(11): 1222 - 1239, Nov. 2001において説明されており、この文献はここで参照したことにより本願に取り込まれるものとする。たとえばBoykovが説明しているグラフカットに基づく処理によれば、伸長運動およびスワップ運動に関する局所的極小値が効率的にみつけられる。これらの運動によって、任意の大きさの集合のピクセルのラベルを同時に変更することができる。このようなプロセスによれば、大域的極小値の既知の係数内でラベリングがみつけられ、汎用的なエネルギー関するが扱われる。これらのプロセスによって、不連続性保存エネルギーの重要なケースが許容される。
グラフカットアルゴリズムにより、次式のエネルギーEが最小化されるように、ラベルl(x)が各ボクセルxに割り当てられ、ラベルl(y)が各ボクセルyに割り当てられる:
Figure 0006005297
ただし、Lは大域的ラベルコンフィギュレーション、Nは近傍系、Vx,y( )は平滑性エネルギー、Dx( )はデータエネルギーである。この場合、システムにより、
Figure 0006005297
が定義される。
ただし、ζl(x)≠l(y)は、l(x)とl(y)が異なるラベルのときに値1をとり、l(x)=l(y)のときに値0をとる。Pl(x)(x)は、ラベルl(x)に応じて、値PF(x)、PT(x)、PP(x)、または1−PF(x)−PT(x)−PP(x)をとる。λとσは2つのパラメータであって、λによりデータエネルギー対平滑エネルギーのウェイトが指定される一方、σによりイメージのノイズが表される。
当業者に自明のとおり、操作手順によって特に指示または要求がなされないかぎり、上述のプロセスにおけるいくつかのステップを省略してもよいし、同時に実施しても逐次実施してもよく、あるいは異なる順序で実施してもよい。また、これまで説明してきた実施形態における種々の特徴およびプロセスを、本願の範囲内で互いに組み合わせてもよい。
さらに当業者に理解できるとおり、簡単かつ明瞭にするため、本願の開示内容による使用に適したデータ処理システムの構造および操作をすべて示したわけではなく、データ処理システムのうち本願の開示内容に特有のところだけを、または本願の開示内容の理解に必要なところだけを描いて説明したにすぎない。データ処理システム100の構造および操作のその他の部分は、この分野で周知の現在行われている様々な実装形態および実施手法のいずれかに適合させることができる。
ここで特に述べておきたいのは、本願の開示内容には、完全に機能的なシステムに関連した説明が含まれているけれども、当業者に自明であるとおり、本願の開示内容におけるメカニズムの少なくとも一部分は、機械で利用可能な媒体、コンピュータで利用可能な媒体、またはコンピュータで読み取り可能な媒体に格納された命令として、あらゆる種類の形態で配布可能なものであること、さらに本願の開示内容は、特定のタイプの命令、信号担体または記憶媒体が利用されようとも、そのような配布物を実際に実行するために等しく適用されることである。機械で利用可能/読み取り可能な媒体、またはコンピュータで利用可能/読み取り可能な媒体の例として、以下ものが含まれる:リードオンリーメモリ(ROM)など不揮発性の変更不可能な媒体、または消去可能であり電気的にプログラミング可能なリードオンリーメモリ(EEPROM)、ならびにユーザが記録可能なタイプの媒体たとえばフロッピーディスク、ハードディスクドライブ、およびコンパクトディスク型リードオンリーメモリ(CD−ROM)、またはディジタル多用途ディスク(DVD)。
これまで本発明の実施例について詳しく説明してきたが、当業者であれば理解できるように、最も広い形態で開示した本願の開示内容の着想および範囲を超えることなく、様々な変更、置き換え、変形ならびに本明細書で開示した改善を行うことができる。
本願の記載内容のいずれも、何らかの特定の部材、ステップまたは機能が特許請求の範囲に含まれなければならない必須の要素である、という趣旨で読まれるべきではない。本発明の範囲は、特許付与された請求項によってのみ定められるものである。

Claims (20)

  1. 磁気共鳴(MR)イメージにおける骨と軟骨の分類方法であって、
    未分類の骨と軟骨の部位を含むMRイメージ検査モデルを、データ処理システムにおいて受け取るステップと、
    骨または軟骨として分類されるべき前記検査モデルのエリアを含む、前記検査モデルの検査ボリュームを、前記データ処理システムが決定するステップと、
    前記検査ボリュームが、動的形状モデルの平均形状および形状変動スペースと一致するように、前記データ処理システムが前記検査モデルを変更するステップと、
    前記検査ボリュームを前記動的形状モデルの前記平均形状および前記形状変動スペースにフィットさせることにより、前記データ処理システムが前記検査ボリュームの、骨エリアと軟骨エリアへの初期分類を形成するステップと、
    前記動的形状モデルに関して前記検査ボリュームの境界を精密化することにより、前記データ処理システムが前記検査ボリュームの、骨エリアと軟骨エリアへの精密化分類を形成するステップと、
    前記MRイメージ検査モデルを、前記精密化分類に従い骨エリアと軟骨エリアに対応する種々のエリアにセグメンテーションするステップと
    を含むことを特徴とする、
    磁気共鳴(MR)イメージにおける骨と軟骨の分類方法。
  2. 骨と軟骨の既知のエリアを含む複数のトレーニングボリュームを受け取るステップと、
    コヒーレントポイントドリフト(CPD)プロセスを実施して、個々のトレーニングボリュームにそれぞれ対応する複数の対応メッシュを生成するステップと、
    主成分分析(PCA)プロセスを実施して、前記複数の対応メッシュから主成分分析モデルを生成するステップと、
    前記主成分分析モデルから前記動的形状モデルを生成するステップと
    さらに含む、請求項1に記載の方法。
  3. 前記コヒーレントポイントドリフトプロセスは、前記トレーニングボリュームにおいてポイントセットの記録を実施するステップを含む、
    請求項2に記載の方法。
  4. 前記検査モデルを変更するステップは、前記検査モデルの並進、回転およびスケーリングを含むモデル変形を前記検査モデルに適用するステップを含む、
    請求項1に記載の方法。
  5. 前記データ処理システムは、マージナル空間学習による姿勢推定を利用して、前記検査モデルの変更に必要とされる推定された並進、回転およびスケーリングを生じさせる、
    請求項1に記載の方法。
  6. 前記動的形状モデルに関して前記検査ボリュームの境界を精密化するステップは、ランダムウォークプロセスを実施するステップを含む、
    請求項1に記載の方法。
  7. 前記MRイメージ検査モデルは、人体の膝のMRイメージである、請求項1に記載の方法。
  8. 前記MRイメージ検査モデルを骨エリアと軟骨エリアに対応する種々のエリアにセグメンテーションする前記ステップは、前記MRイメージ検査モデルを、膝蓋骨エリア、膝蓋骨軟骨エリア、大腿骨エリア、大腿骨軟骨エリア、脛骨エリア、および脛骨軟骨エリアにセグメンテーションするステップを含む、
    請求項1に記載の方法。
  9. 前記データ処理システムは、前記種々のエリアに対応するセグメンテーションデータを、前記MRイメージ検査モデルに注釈として付ける、
    請求項1に記載の方法。
  10. 前記データ処理システムは、前記MRイメージ検査モデルを表示し、前記MRイメージ検査モデルにおける種々のエリアを表す、
    請求項1に記載の方法。
  11. データ処理システムにおいて、
    プロセッサと、
    アクセス可能な記憶装置とが設けられており、
    前記データ処理システムは、
    未分類の骨と軟骨の部位を含むMRイメージ検査モデルを受け取り、
    骨または軟骨として分類すべき前記検査モデルのエリアを含む、前記検査モデルの検査ボリュームを決定し、
    前記検査ボリュームが動的形状モデルの平均形状および形状変動スペースと一致するように、前記検査モデルを変更し、
    前記検査ボリュームの、骨エリアと軟骨エリアへの初期分類を形成し、
    前記動的形状モデルに関して前記検査ボリュームの境界を精密化することにより、前記検査ボリュームの、骨エリアと軟骨エリアへの精密化分類を形成し、
    前記MRイメージ検査モデルを、前記精密化分類に従い骨エリアと軟骨エリアに対応する種々のエリアにセグメンテーションする
    ように構成されていることを特徴とする、
    データ処理システム。
  12. 前記データ処理システムはさらに、
    骨と軟骨の既知のエリアを含む複数のトレーニングボリュームを受け取り、
    コヒーレントポイントドリフト(CPD)プロセスを実施して、個々のトレーニングボリュームにそれぞれ対応する複数の対応メッシュを生成し、
    主成分分析(PCA)プロセスを実施して、前記複数の対応メッシュから主成分分析モデルを生成し、
    前記主成分分析モデルから前記動的形状モデルを生成する
    ように構成されている、
    請求項11に記載のデータ処理システム。
  13. 前記コヒーレントポイントドリフトプロセスは、前記トレーニングボリュームにおけるポイントセット記録の実施を含む、
    請求項12に記載のデータ処理システム。
  14. 前記検査モデルの変更において、前記検査モデルの並進、回転およびスケーリングを含むモデル変形を前記検査モデルに適用する、
    請求項11に記載のデータ処理システム。
  15. 前記データ処理システムは、マージナル空間学習による姿勢推定を利用して、前記検査モデルの変更に必要とされる推定された並進、回転およびスケーリングを生じさせる、
    請求項11に記載のデータ処理システム。
  16. 前記動的形状モデルに関する前記検査ボリュームの境界の精密化において、ランダムウォークプロセスを実施する、
    請求項11に記載のデータ処理システム。
  17. 前記MRイメージ検査モデルは、人体の膝のMRイメージである、請求項11に記載のデータ処理システム。
  18. 骨エリアと軟骨エリアに対応する種々のエリアへの前記MRイメージ検査モデルのセグメンテーションにおいて、前記MRイメージ検査モデルを、膝蓋骨エリア、膝蓋骨軟骨エリア、大腿骨エリア、大腿骨軟骨エリア、脛骨エリア、および脛骨軟骨エリアにセグメンテーションする、
    請求項11に記載のデータ処理システム。
  19. 前記データ処理システムは、前記種々のエリアに対応するセグメンテーションデータを、前記MRイメージ査モデルに注釈として付ける、
    請求項11に記載のデータ処理システム。
  20. 前記データ処理システムは、前記MRイメージ検査モデルを表示し、前記MRイメージ検査モデルにおける種々のエリアを表す、
    請求項11に記載のデータ処理システム。
JP2015545879A 2012-12-06 2013-12-06 磁気共鳴(mr)イメージにおける骨と軟骨の分類方法、および、データ処理システム Active JP6005297B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261734280P 2012-12-06 2012-12-06
US61/734,280 2012-12-06
US13/776,184 US9218524B2 (en) 2012-12-06 2013-02-25 Automatic spatial context based multi-object segmentation in 3D images
US13/776,184 2013-02-25
PCT/US2013/073614 WO2014089455A2 (en) 2012-12-06 2013-12-06 Automatic spatial context based multi-object segmentation in 3d images

Publications (2)

Publication Number Publication Date
JP2016505298A JP2016505298A (ja) 2016-02-25
JP6005297B2 true JP6005297B2 (ja) 2016-10-12

Family

ID=50881019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015545879A Active JP6005297B2 (ja) 2012-12-06 2013-12-06 磁気共鳴(mr)イメージにおける骨と軟骨の分類方法、および、データ処理システム

Country Status (5)

Country Link
US (1) US9218524B2 (ja)
EP (1) EP2929509B1 (ja)
JP (1) JP6005297B2 (ja)
CN (1) CN104956397B (ja)
WO (1) WO2014089455A2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495752B2 (en) * 2012-09-27 2016-11-15 Siemens Product Lifecycle Management Software Inc. Multi-bone segmentation for 3D computed tomography
US10912571B2 (en) 2013-03-15 2021-02-09 Howmedica Osteonics Corporation Generation of a mating surface model for patient specific cutting guide based on anatomical model segmentation
CN106132341B (zh) 2014-01-27 2019-04-12 物化股份有限公司 形状的预测
US9367924B2 (en) * 2014-05-06 2016-06-14 Siemens Aktiengesellschaft Method and system for segmentation of the liver in magnetic resonance images using multi-channel features
US9710880B2 (en) * 2014-07-03 2017-07-18 Siemens Product Lifecycle Management Software Inc. User-guided shape morphing in bone segmentation for medical imaging
WO2016007518A1 (en) * 2014-07-07 2016-01-14 The Regents Of The University Of California Automatic segmentation and quantitative parameterization of brain tumors in mri
JP6482250B2 (ja) * 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102361733B1 (ko) * 2014-11-28 2022-02-11 삼성전자주식회사 3d cta영상으로부터 관상동맥의 구조를 모델링하는 방법 및 장치
US10037603B2 (en) * 2015-05-04 2018-07-31 Siemens Healthcare Gmbh Method and system for whole body bone removal and vascular visualization in medical image data
CN107709930B (zh) * 2015-06-18 2021-08-31 宝马股份公司 用于表示地图要素的方法和装置以及用于定位车辆/机器人的方法和装置
WO2017076618A1 (en) * 2015-11-02 2017-05-11 Koninklijke Philips N.V. Method for tissue classification, computer program product and magnetic resonance imaging system
US9801601B2 (en) 2015-12-29 2017-10-31 Laboratoires Bodycad Inc. Method and system for performing multi-bone segmentation in imaging data
US9898858B2 (en) * 2016-05-18 2018-02-20 Siemens Healthcare Gmbh Human body representation with non-rigid parts in an imaging system
JP6687894B2 (ja) * 2016-05-20 2020-04-28 富士ゼロックス株式会社 クラス推定装置及びプログラム
JP6933521B2 (ja) * 2016-08-05 2021-09-08 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びx線ct装置
US10726608B2 (en) * 2016-11-23 2020-07-28 3D Systems, Inc. System and method for real-time rendering of complex data
CN108205805B (zh) * 2016-12-20 2020-06-02 北京大学 锥束ct图像间体素稠密对应的自动建立方法
JP6685250B2 (ja) * 2017-02-24 2020-04-22 富士フイルム株式会社 マッピング画像生成装置、方法およびプログラム
US10706554B2 (en) 2017-04-14 2020-07-07 Adobe Inc. Three-dimensional segmentation of digital models utilizing soft classification geometric tuning
US10667867B2 (en) 2017-05-03 2020-06-02 Stryker European Holdings I, Llc Methods of pose estimation of three-dimensional bone models in surgical planning a total ankle replacement
US10813614B2 (en) * 2017-05-24 2020-10-27 Perkinelmer Health Sciences, Inc. Systems and methods for automated analysis of heterotopic ossification in 3D images
US11903691B2 (en) * 2017-07-18 2024-02-20 Siemens Healthineers Ag Combined steering engine and landmarking engine for elbow auto align
EP3493154A1 (en) * 2017-12-01 2019-06-05 Koninklijke Philips N.V. Segmentation system for segmenting an object in an image
CA3095408C (en) * 2018-03-30 2023-04-11 Perkinelmer Health Sciences, Inc. Systems and methods for automated detection and segmentation of vertebral centrum(s) in 3d images
CN108805203A (zh) * 2018-06-11 2018-11-13 腾讯科技(深圳)有限公司 图像处理及对象再识别方法、装置、设备和存储介质
US11257214B2 (en) 2018-12-03 2022-02-22 Regents Of The University Of Minnesota Two-stage variational image segmentation of medical images using fracture mechanics
CN110827294A (zh) * 2019-10-31 2020-02-21 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置
EP3828768A1 (en) 2019-11-28 2021-06-02 Digital Orthopaedics Method for modeling a bone
EP3866107A1 (en) * 2020-02-14 2021-08-18 Koninklijke Philips N.V. Model-based image segmentation
WO2023026115A1 (en) * 2021-08-25 2023-03-02 Medx Spa Automated quantitative joint and tissue analysis and diagnosis
CN115861571B (zh) * 2023-01-18 2023-04-28 武汉大学 语义感知的三角网模型建筑物实体重建方法
CN116452755B (zh) * 2023-06-15 2023-09-22 成就医学科技(天津)有限公司 一种骨骼模型构建方法、系统、介质及设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8556983B2 (en) * 2001-05-25 2013-10-15 Conformis, Inc. Patient-adapted and improved orthopedic implants, designs and related tools
US7239908B1 (en) * 1998-09-14 2007-07-03 The Board Of Trustees Of The Leland Stanford Junior University Assessing the condition of a joint and devising treatment
US7764838B2 (en) * 2004-09-14 2010-07-27 Siemens Medical Solutions Usa, Inc. System and method for extracting an object of interest from an image using a robust active shape model
CN101150983B (zh) * 2005-01-28 2015-01-07 加州大学董事会 利用核磁共振(nmr)谱评估组织疼痛和退化特征的系统及方法
US7831078B2 (en) * 2006-07-24 2010-11-09 Siemens Medical Solutions Usa, Inc. System and method for statistical shape model based segmentation of intravascular ultrasound and optical coherence tomography images
JP5079008B2 (ja) * 2006-09-19 2012-11-21 シナーク・インコーポレイテッド 軟骨構造に関連した病変表示測度及びその自動数量化
US8116548B2 (en) * 2008-06-04 2012-02-14 Siemens Aktiengesellschaft Method and system for detecting 3D anatomical structures using constrained marginal space learning
EP2385791B1 (en) * 2008-08-12 2014-03-12 Wyeth Pharmaceuticals Inc. Morphometry of the human hip joint and prediction of osteoarthritis
US8411986B2 (en) * 2009-04-13 2013-04-02 Flashfoto, Inc. Systems and methods for segmenation by removal of monochromatic background with limitied intensity variations
US8306257B2 (en) * 2011-01-31 2012-11-06 Seiko Epson Corporation Hierarchical tree AAM
US8422754B2 (en) * 2011-02-15 2013-04-16 Siemens Aktiengesellschaft Medical imaging system
KR101842043B1 (ko) * 2011-07-22 2018-03-26 삼성전자주식회사 초음파 영상 분석 장치 및 방법
CA2845044C (en) * 2011-08-12 2023-03-28 Jointvue, Llc 3-d ultrasound imaging device and methods
WO2013155300A1 (en) * 2012-04-11 2013-10-17 The Trustees Of Columbia University In The City Of New York Techniques for segmentation of organs and tumors and objects
US9971959B2 (en) * 2013-03-15 2018-05-15 Nvidia Corporation Performing object detection operations via a graphics processing unit

Also Published As

Publication number Publication date
CN104956397A (zh) 2015-09-30
US20140161334A1 (en) 2014-06-12
EP2929509A2 (en) 2015-10-14
US9218524B2 (en) 2015-12-22
JP2016505298A (ja) 2016-02-25
WO2014089455A2 (en) 2014-06-12
WO2014089455A3 (en) 2014-08-21
CN104956397B (zh) 2017-03-22
EP2929509B1 (en) 2017-06-14

Similar Documents

Publication Publication Date Title
JP6005297B2 (ja) 磁気共鳴(mr)イメージにおける骨と軟骨の分類方法、および、データ処理システム
CN110475505B (zh) 利用全卷积网络的自动分割
Seifert et al. Hierarchical parsing and semantic navigation of full body CT data
Donner et al. Global localization of 3D anatomical structures by pre-filtered Hough Forests and discrete optimization
Poudel et al. Evaluation of commonly used algorithms for thyroid ultrasound images segmentation and improvement using machine learning approaches
US8588495B2 (en) Systems and methods for computer aided diagnosis and decision support in whole-body imaging
Mittal et al. Lung field segmentation in chest radiographs: a historical review, current status, and expectations from deep learning
Zhou Medical image recognition, segmentation and parsing: machine learning and multiple object approaches
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
Mahapatra Cardiac MRI segmentation using mutual context information from left and right ventricle
CN106062782B (zh) 针对基于图集的配准的无监督的训练
Wang et al. Semantic context forests for learning-based knee cartilage segmentation in 3D MR images
Wels et al. Multi-stage osteolytic spinal bone lesion detection from CT data with internal sensitivity control
Ammari et al. A review of approaches investigated for right ventricular segmentation using short‐axis cardiac MRI
Zografos et al. Hierarchical multi-organ segmentation without registration in 3D abdominal CT images
Bi et al. Multiple instance learning of pulmonary embolism detection with geodesic distance along vascular structure
Gomathi et al. A computer aided diagnosis system for lung cancer detection using support vector machine
Ridhma et al. Review of automated segmentation approaches for knee images
Saito et al. Automated liver segmentation from a postmortem CT scan based on a statistical shape model
Ebrahimkhani et al. Automated segmentation of knee articular cartilage: Joint deep and hand-crafted learning-based framework using diffeomorphic mapping
Birkbeck et al. Robust segmentation of challenging lungs in CT using multi-stage learning and level set optimization
Zhou Introduction to medical image recognition, segmentation, and parsing
Zhou et al. Landmark detection and multiorgan segmentation: representations and supervised approaches
Kurzendorfer et al. Random forest based left ventricle segmentation in LGE-MRI
García Ocaña et al. Medical image detection using deep learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151221

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20151221

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160906

R150 Certificate of patent or registration of utility model

Ref document number: 6005297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250