JP7118606B2 - 医用画像処理装置及び医用画像処理プログラム - Google Patents

医用画像処理装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP7118606B2
JP7118606B2 JP2017141927A JP2017141927A JP7118606B2 JP 7118606 B2 JP7118606 B2 JP 7118606B2 JP 2017141927 A JP2017141927 A JP 2017141927A JP 2017141927 A JP2017141927 A JP 2017141927A JP 7118606 B2 JP7118606 B2 JP 7118606B2
Authority
JP
Japan
Prior art keywords
data
training
detector
medical image
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017141927A
Other languages
English (en)
Other versions
JP2018011958A (ja
Inventor
プール イアン
リソフスカ アネタ
ベヴァリッジ エリン
ワン ルイシュアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2018011958A publication Critical patent/JP2018011958A/ja
Application granted granted Critical
Publication of JP7118606B2 publication Critical patent/JP7118606B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41Interactive pattern learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本実施形態は、医用画像処理装置及び医用画像処理プログラムに関する。
ボリューメトリック医用撮像における僅かに区別された領域を検出することは、読影医の手腕や経験に依存する場合がある。
僅かに区別された領域を検出する一例として、急性脳卒中についての非造影コンピュータ断層撮影(NCCT)における、早期虚血性兆候の検出がある。この検出において、関心のある主な病変または複数の病変は、高吸収の血管(血栓)や、虚血や梗塞の領域を具備する可能性がある。ある状況下で、密集した血管は骨に近接することから、検出するのが困難になりうる。またある状況下では、虚血および/または梗塞は、輝度や質感の変化が微妙なので、検出するのが困難になりうる。脳における虚血および/または梗塞の領域は、CT画像において若干輝度が低い領域として見える可能性がある。皮質と白質との区別がつきにくくなる場合もある。
僅かな卒中の兆候のいくつかの例として、以下の通りa)からe)までが挙げられる。
a)急性梗塞による島皮質における低吸収
b)大脳基底核の区分の消失。レンズ核右側の消失。
c)急性右中大脳動脈(MCA)梗塞における皮質/白質の消失。
d)MCA領域内の高吸収な血管(dense vessel)
e)古い虚血性変化。
特開2006-043007号公報
しかしながら、ある状況下では、僅かな脳卒中の兆候を検出するために単純検出器(naive classifier)が使用された場合に、通常の動脈の石灰化は、異常に密集した血管兆候と混同される場合がある可能性があり、さらなる改善の余地が求められる。
本実施形態は、上記事情に鑑み、医用画像データを用いて脳卒中の兆候を検出する場合において、従来に比してさらに精度の高い検出を実現可能な医用画像処理装置及び医用画像処理プログラムを提供するものである。
本実施形態に係る医用画像処理装置は、入力部と、選択部と、訓練部とを具備する。入力部は、多数の医用画像データを受け取る。選択部は、入力部で入力された医用画像データ上において、同一被検体の異なる領域を表す第一の部分と第二の部分とを選択する。訓練部は、第一の部分に対応する第一のデータと前記第二の部分に対応する第二のデータとを用いて機械学習に用いる検出器を訓練する。
図1は、実施形態に係る装置の概要図である。 図2は、実施形態に係る訓練及び検出方法の概要をフローチャートで描いている。 図3は、異常領域を具備するデータセットの概要図である。 図4は、データセットの対称領域の概要図である。 図5は、実施形態に係るアトラスアライメント方法の全体をフローチャートで描いている。 図6は、実施形態に係る検出器訓練方法の全体をフローチャートで描いている。 図7aは、正中線に沿って折り畳んである、撮像データを描出した概要図。 図7bは、正中線に沿って折り畳んである、撮像データを描出した概要図。 図7cは、正中線に沿って折り畳んである、撮像データを描出した概要図。 図8は、折り畳まれたデータを描出した概要図。 図9は、実施形態に係る検出方法の全体をフローチャートで描いている。
本実施形態に係る医用画像処理装置10は、病変を検出するための検出器を訓練し、病変を検出するための検出器(分類器)28を使用するよう構成されており、図1に示されている。なお、本実施形態において、検出器28は、機械学習を行うプロセッサであり、血栓を検出するために訓練されている。また、検出器(分類器)28は、医用画像処理装置10内に必ずしも内蔵する必要はなく、例えば当該医用画像処理装置10にネットワークを介して接続されていてもよい。その他の実施形態で、検出器は例えば虚血性や任意のその他関連する病変など、任意の適切な異常性を検出するために訓練することが出来る。さらなる実施形態では、検出器は例えば組織運動や液体の流れなど、機能の指標となるような画像の解析のために訓練することが出来る。
医用画像処理装置10は、この場合パーソナルコンピュータ(PC)またはワークステーションである計算装置12を具備しており、CTスキャナ14、一つ以上の表示スクリーン16、そしてコンピュータキーボード、マウスまたはトラックボールなど、入力装置または複数の入力装置18に接続されている。
CTスキャナ14は、患者またはその他被検体の少なくとも一つの解剖学的構造を描出したボリューメトリック撮像データを収集するよう構成された、任意のCTスキャナでよい。
本実施形態における解剖学的構造は、脳である。その他の実施形態においては、実質的に対称のあらゆる解剖学的構造であってよい。実質的に対称な解剖学的構造とは、通常の患者や病変がない場合、その鏡像が元の構造とほぼ等価になると思われる解剖学的構造を意味する。ここで、対称とは、左右対称、上下対称、点対称のいずれかを意味する。本実施形態においては、説明を具体的にするため、左右対称を例とする。
実質的に対称な解剖学的構造とは、対称線について実質的に対称であることを意味する。対称線は、対称の矢状線でもよい。実質的に対称的な解剖学的構造の例としては、脳、頭がい骨、顎、椎骨、背骨、骨盤、膀胱、胸郭を含むこともある。実施形態には、実質的に対称な解剖学的構造とは、目や耳、肺、腎臓、関節、肢、手、足、肩など、一対の関連する解剖学的構造を具備している可能性がある。関連する解剖学的構造を互いに対して動かすことが可能な場合(例えば両手)、解剖学的構造が特定の配置に位置された、制御された収集を使用することが出来る。例えば、スキャンの前に、両手を並べて配置してもよい。
代替的な実施形態において、CTスキャナ14は、例えばCTスキャナ、コーンビームCTスキャナ、MRI(磁気共鳴撮像)スキャナ、X線スキャナ、超音波スキャナ、PET(陽電子放射断層撮影法)スキャナ、またはSPECT(単光子放出コンピュータ断層撮影)スキャナなど、任意のその他撮像撮像モダリティにおける、二次元または三次元撮像データを収集するよう構成されたスキャナによって、置き換えられる、または補われることもある。一例だと、CTスキャナ14は、二次元平面レントゲン写真を収集するよう構成されたスキャナによって置き換えられる。
本実施形態では、CTスキャナ14によって収集されたボリューメトリック医用画像データセットは、メモリ20に格納され、その後計算装置12に提供される。代替的な実施形態において、ボリューメトリック医用画像データセットは、画像保管通信システム(PACS)の一部を形成するかもしれない遠隔データストア(図示せず)から供給される。メモリ20または遠隔データストアは、メモリストレージの任意の適切な形態を具備出来る。
計算装置12は、医用画像データセットを自動または半自動的に処理するための処理リソースを提供し、中央処理装置(CPU)22を具備する。
計算装置12は、データセットをアトラスとアライメントするよう構成されたアライメント部24と、検出器を訓練するよう構成された訓練部26と、訓練された分類器を使用しながら病変を検出するよう構成された検出器28と、を含む。
本実施形態において、回路24、26、28は、実施形態の方法を実行することが可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法により、計算装置12内でそれぞれ実行される。しかし、その他の実施形態において、様々な回路が一つ以上のASICs(特定用途向け集積回路)またはFPGAs(フィールド・プログラマブル・ゲート・アレイ)として、実行することが出来る。
計算装置12は、ハードドライブや、RAM、ROM、データバスを含むPCのその他構成要素や、様々なデバイスドライバを含むオペレーティング・システムや、グラフィックス・カードを含むハードウェアデバイス、も包括する。このような構成要素は、明確にするため図1には図示されていない。
図1の装置は、図2に概略的に示されるような処理を実行するよう構成されている。図2の処理は、図5に概略的に示されたようなアトラスアライメント処理、図6に概略的に示されたような訓練処理、図9に概略的に示されたような検出処理を具備する。
本実施形態において、計算装置12は、図6に概略的に描かれたような一連のステージを有する検出器訓練プロセスと、図9に概略的に描かれたような一連のステージを有する検出プロセスと、の両方を実行するよう構成されている。代替的な実施形態において、第一の装置は少なくとも一つの検出器を訓練するための図6のプロセスを実行するよう構成されており、一つ以上の第二の装置は画像データのセットにおける異常性を検出するために訓練された検出器をその後に使用するために、図9のプロセスを実行するよう構成されている。このようにして、例えば、検出器は訓練データセットに基づいた一つのコンピュータによって初め訓練され、訓練された検出器は更なる画像データセットを識別するために、様々な更なるコンピュータ(例えば、放射線科医またはその他操作者によって用いられるワークステーション、またはセントラルサーバー)に振り分けられ、そしてその後は様々な更なるコンピュータによって使用することが出来る。
図2のプロセスが実行される前に、関心のある異常性を表し、関心のあるモダリティで撮られた、訓練データセット30が収集される。本実施形態において、訓練データセット30は、複数の訓練被検体の脳のCTスキャンから収集された非造影CT医用画像データセットを具備する。訓練データセット30のそれぞれは、関心のある病変の存在兆候(exhibiting signs)として、専門家によって特定されてきたものであり、本実施形態における関心のある病変とは血栓である。その他の実施形態において、訓練データセットは、異なる解剖学的構造や異なる異常性および/または異なるモダリティを表すことがある。例えば、一実施形態における訓練データセットは骨盤を表した平面レントゲン写真を具備し、異常性は骨盤の骨折を有する。
血栓は、血の塊の可能性がある。ある状況下では、血栓が血管を塞いでいる可能性があり、血管を通る血の流れを妨げたり減らしたりする。血栓は、その他の血管領域よりも高吸収を示す血管の領域として、CTスキャンで見える可能性がある。またある状況下で高吸収の血管(dense vessel)を血栓の兆候とみなすかもしれない。血栓の領域は、異常に高吸収の血管構造としてCTスキャンに示され得る。
本実施形態において、百個の訓練データセット30が収集される。各訓練データセット30は、個別の被検体の脳のCTスキャンを実行することで取得された、医用画像データセットである。各訓練データセット30は、各ボクセルがCTスキャンにおける対応する空間的位置を表している、ボクセルのアレイと関連した輝度を具備する。
訓練データセット30のそれぞれに対して、専門家は(例えば放射線科医)、訓練データセット30における血栓の領域を手動で特定する。例えば、専門家は、血栓の領域の周辺にまたは領域それぞれに境界線を引く可能性がある。訓練データセット30に関連付けられたグラウンドトゥルース(ground truth)データセット31が、専門家の入力に基づいて得られる。グラウンドトゥルースセット31は、訓練データセット30のどのボクセルが専門家によって正常と決定されるのか、また異常と決定されるのか、の目安を提供する。例えば、専門家によって引かれた境界線の外側にあるボクセルは通常であり、境界線の内側にあるボクセルは異常であるとみなすことができる。
本実施形態において、専門家は血栓の領域を特定してきたが、その他の実施形態で専門家は例えば任意の適切な病変など、任意の適切な異常性のある領域を特定することが出来る。専門家は、検出器によって訓練される、異常性のある領域を特定する。実施形態には、専門家が一つ以上の異常性のある領域を特定し、各検出器がそれぞれの異常性に対して訓練されるものがある。実施形態の中には、専門家が任意の適切な特徴を有する領域を特定する。例えば、専門家は、組織運動や液体の流れを特定出来る。
所定の訓練データセット30に対応するグラウンドトゥルースセット31は、訓練データセット30のボクセルのアレイの大きさに対応するアレイを具備することが出来る(corresponding in size to)。グラウンドトゥルースセット31において、専門家によって正常と決定されたボクセルは、一つの数字(例えば、-1)で表されてよく、一方異常と決定されたボクセルは、違う数字(例えば、1)で表されてよい。その他の実施形態において、グラウンドトゥルースにとって適切なフォーマットが使用することが出来る。
本実施形態において、異常有り(例えば、専門家によって引かれた境界の内側のボクセル)と示されている訓練データセット30のボクセルは、対応するグラウンドトゥルースセット31において数字1で表されている。それぞれ訓練データセット30は一つ以上の異常性のある領域を具備し、異常性のあるそれぞれ領域は異常のあるボクセルのみを具備している。
更なる実施形態において、専門家によって特定された領域は、異常性を示す可能性があっても、またはなくても、任意の適切な領域でよい。領域において異なる特徴を有すると決定されたボクセルは、異なる数字で表すことが出来る。
図3は、訓練データセット30を表した概要図である。訓練データセット30の領域32は、専門家によって異常領域として特定されている。異常領域32におけるそれぞれボクセルは、異常ボクセルとして示され、数字の1が割り当てられている。
本実施形態において、グラウンドトゥルースセット31は、いくつかのボクセルを検出器の訓練において使用される予定のないボクセルとして示すように修正されている。このようなボクセルは、無関心ボクセルと呼ぶことが出来る。本実施形態では、無関心ボクセルには数字の0を割り当てている。無関心ボクセルは、例えば、正常なボクセルと異常なボクセルとの間の境界上または境界近くにあるボクセルを具備する可能性がある。無関心ボクセルは、ボクセルが正常か異常かがはっきりしないかもしれないボクセルを、ある状況下において有する。
本実施形態において、訓練部26は、膨張した領域を得るために、異常性のあるそれぞれの領域を膨張させる。例えば、処理回路は、異常性のある領域を二つ乃至三つのボクセル分それぞれの方向に膨張させる。処理回路は、その後膨張した領域内に存在するが異常性を示す領域に存在しない各ボクセルを、無関心ボクセルとして示す。無関心ボクセルとして示された訓練データセット30のボクセルは、対応するグラウンドトゥルースセットにおいて数字の0で表される。残りのボクセルは、グラウンドトゥルースセットにおいて数字の―1で表され、通常ボクセルとして表されてよい。
図3において、異常領域32は、膨張した領域33を得るために、膨張されている。膨張された領域33にあって、異常領域32にはないボクセルは、無関心ボクセルとして示され、数字の0が割り当てられる。異常領域でも膨張された領域でもない領域にあるボクセルは、正常ボクセルとして示され、数字の-1が割り当てられる。
グラウンドトゥルースセット31は、一旦無関心ボクセルを含むように修正されたら、グラウンドトゥルースセットの対応する訓練データセット30のボクセルのそれぞれを、異常ボクセルか正常ボクセルのどちらか、または無関心ボクセルとして特定する。
図2のプロセスは、正常ボクセルと異常ボクセルとを区別するための検出器の訓練を具備する(本実施形態において、検出器は血栓のボクセルを異常として特定するように訓練されている)。正常と異常の間の境界または境界近くにあるボクセルを無関心ボクセルとして示すことと、これらの無関心ボクセルを検出器の訓練から排除することで、正常ボクセルと異常ボクセルとを区別する検出器の訓練が改善される場合がありうる。ある状況下で、異常領域の厳密な境界を正しく検出するように訓練されるよりも、大半のまたは全ての異常ボクセルを探すように訓練される方が、検出器にとっては大事かもしれない。検出器の訓練から異常領域の境界近くのボクセルを排除することは、ある状況の下だとより速くおよび/またはより効果的な検出器の訓練を提供する可能性がある。
本願における無関心ボクセルは、検出器の訓練から排除されているものの、その他の実施形態において、検出器の訓練における無関心ボクセルの重要性(重要度)は、無関心ボクセルの排除を含んでも含まなくてもよいなど、任意の適切な方法によって調整することが出来る。例えば、無関心ボクセルの重要性は、無関心ボクセルを排除することなく、下げられても良い。
その他の実施形態では、無関心ボクセルとしてボクセルを示すことを実行しない。グラウンドトゥルースセット31は、訓練データセット30のそれぞれボクセルを、正常ボクセルまたは異常ボクセルのどちらかとして特定する。
図2のフローチャートのステージ36で、アライメント部24は、訓練データセット30(訓練データセットのそれぞれは、医用画像データセットまたは医用画像ボリュームとして呼ぶことが出来る)と、対応するグラウンドトゥルース31の複数のセットと、を受け取る。それぞれグラウンドトゥルースセット31は、対応する訓練データセット30において-1、0、そして1によって、正常ボクセル、無関心ボクセル、異常ボクセルを示す。
アライメント部24は、アトラスアライメントにおける使用のために、参考ランドマーク34のセットも受信する。参考ランドマーク34のセットは、アトラスデータセットにおける複数の解剖学的ランドマークの位置を具備する。その位置は、アトラスデータセットの座標空間におけるx、y、z座標で表される。
アトラスデータセットは、例えば人体の全てまたは一部を表したボリューメトリック撮像データのセットなど、参考データのセットを具備出来る。アトラスデータセットは、解剖学的構造を特定するためにセグメントされた医用画像データセットであってよく、および/または解剖学的構造がラベル付された医用画像データセットであってもよい。アトラスデータセットは、ある程度実質的に対称であってよく、そのアトラスデータセットにおける人体は、実質的に対称である、つまりアトラスデータセットは、人体の周辺に対称の矢状線を有し、この矢状線の周辺では、多く(しかし全てでない)の解剖学的構造は、実質的に対称である。アトラスデータセットの座標系は、アトラスデータセットの対称の矢状線がアトラスデータセットの左右軸の中心を決めるようにして、決められてもよい。
解剖学的ランドマークは、たいてい生体構造(例えば、人体構造)において明確に定義された点である。解剖学的ランドマークは、骨、血管または臓器など解剖学的構造に関して、解剖学的に決めることが出来る。解剖学的ランドマークは、データセットに位置していてよく、そのデータセットの座標枠における座標のセットに割り当てることが出来る。解剖学的ランドマークの位置は、座標空間における点と見做すことが出来る。
本実施形態において、参考ランドマーク34のセットは、脳の中または近くにランドマークを有する。このようなランドマークの例は、松果体や下垂体の基部を含んでよい。
ステージ36で、アライメント部24は、訓練データセット30のそれぞれとグラウンドトゥルースセット31のそれぞれとを、参考ランドマークのセットが提供されるアトラスデータセットに対してアライメントする。ステージ36で任意の適切なアライメント方法が、訓練データセット30をランドマークに基づくアトラスデータセットへアライメントするために、使用することが出来る。更なる実施形態において、ランドマークが使用されないアライメント方法が実行することが出来る。そのような実施形態の中には、アライメント部24に参照ランドマーク34が何も提供されないものがあってもよい。
実施形態に、画像レジストレーションを使用して、訓練データセット30は、アトラスデータセットへとアライメントされるものがある。例えば、訓練データセット30の剛体レジストレーションをボクセル輝度に基づいてアトラスへ実行することで、それぞれ訓練データセット30は、アトラスデータセットへアライメントすることが出来る。剛体レジストレーションの後に、任意で非剛体レジストレーションを実行するようにしてよい。
ステージ36でそれぞれ訓練データセット30をアトラスデータセットへとアライメントすることで、それぞれ訓練データセット30が訓練データセットの対称の矢状線に中心が来るように、アライメント出来る。それぞれの訓練データセットは、一度アライメントされたら、アトラスデータセットと同じく実質的に対称であるだろうし、つまり、訓練データセットの対称の矢状線に中心が来る。
それぞれアライメントされたデータセット(及びアトラスデータセット自体)は、アライメントされたデータセットの対称の矢状線のそれぞれの側について、同一の輝度を有しそうにない場合がある、ということに留意されたい。身体の右側と左側との間で予期される相違点が存在する場合がある。病変またはその他の異常性によって、右側と左側との間で相違点が生じ得る場合がある)。
本実施形態において、アトラスデータセットのある対称領域を、アトラスデータセットから定義する。アトラスデータセットの対称な部分は、ここではブロックと呼ぶ。訓練データセット30それぞれに対し、ステージ36の部分としてアライメント部24は、一度訓練データセット30がアトラスデータセットへアライメントされたら、訓練データセット30のそれぞれ対称な部分を選択する。ここで訓練データセット30の対称な部分は、アトラスデータセットの対称な部分に一致する。アライメントされた訓練データセットの対称な部分は、正中線が中心にあるデータセット38と呼ぶことが出来る。
アトラスデータセットの対称な部分は、アトラスデータセットによって表された領域のサブ領域である可能性がある。対称的な部分は、対称な部分が対称線の両側で等しい数のボクセルを有するという点において、対称であるだろう。対称線の片側のある各ボクセルは、対称線の反対側のボクセルを、対応する鏡像として持つ。
本実施形態において、アトラスデータセットの対称的な一部分のみが定義されているが、その他の実施形態においてアトラスデータセットの対称的な複数の部分が定義される。例えば、複数のブロックは、アトラスセットの大半または全てがブロックによって覆われているように、定義することが出来る。
アトラスデータセットの対称な部分が、アライメントされたデータセットにおける異常性(本実施形態においては、血栓)が発生しやすいとみなすことができる部分であることがある。ある状況下で、対称な部分は、グラウンドトゥルースに基づいて選択することが出来る。例えば、グラウンドトゥルースデータから、異常が頻発することが既知であるような領域解剖学的構造を、対称領域として表してもよい。対称な部分は、少なくとも一つの解剖学的構造の位置に基づいて、選択出来る。例えば、対称な部分は、松果体を含んで選択出来る。対称な部分は、アトラスデータセットにおいて利用可能な、解剖学的構造のセグメンテーションおよび/またはラべリングを用いてアトラスデータ上で定義することが出来る。
図4は、ブロックの選択例を示している。画像60と62は、アトラスデータセットのビューである。アトラスデータセットの対称なボリューメトリック部分(図4に領域70、72として示されている)が、ハイライトされている。
本実施形態においてボリューメトリックデータのブロックは、ステージ36で選択されるが、その他の実施形態では、アライメントされた訓練データセット全体が、図2の処理の後に続くステージに対する正中線が中心にあるデータセット38として使用される。その他の実施形態において、多数のブロックがステージ36で選択出来、多数のブロックのそれぞれが異なる検出器を訓練するために使用出来る。
アライメントされたボリューメトリックボリューメトリックデータセット全体について検出器を訓練する代わりに、検出器を訓練するためのボリューメトリックデータのブロックを選択することは、ある状況の下だと、検出器の訓練がより速くおよび/またはより効果的になることがある。またある状況において、検出器が、アライメントされた訓練データセット全体(例えば、脳の全体を覆う訓練データセット)について訓練される代わりに、ブロック(例えば、脳の小さな部分を覆うブロック)について訓練された場合、検出器はより良いパフォーマンスを持つことがある。より特化した環境において訓練することで、検出器の訓練がより効果的になることもある。訓練部26によって実行される学習タスクは、より特化して作られることより、更に容易になるかもしれない。検出器は、仮により大きなボリュームについて訓練される場合であっても、同程度に一般化する必要はないだろう。
ブロックは、プロセシングマージンと呼ばれる、ブロック端の領域を具備出来る。検出器が訓練される際、プロセシングマージンにおけるボクセル上では訓練できないかもしれない。しかし、プロセシングマージンにおけるボクセルに対するデータは、プロセシングマージン上にない別のボクセルを訓練するために使用することが出来る。例えば、検出器が訓練されるためのそれぞれボクセルに対し、検出器は周りのボクセルからデータを使用する畳み込みカーネルを使用することがあり、その際プロセシングマージンにおけるボクセルをある状況によっては含むことがある。プロセシングマージンのサイズは、使用される畳み込みカーネルのサイズにしうる。
多数のブロックが多数の検出器の訓練において使用される実施形態において、多数のブロックは、少なくともプロセシングマージンの幅の分だけ(by the width of)ブロックがオーバーラップするように、定義することが出来る。これは、分類器が訓練していない解剖学的領域がないことを保証することができる。
本願実施形態におけるステージ36を実行するためのアライメント部24によって使用される方法は、図5のフローチャートに概要が示されている。図5の方法は、訓練データセット30と関連づけられたグラウンドトゥルース31とのそれぞれ、に対して実行される。
図5のステージ80で、アライメント部24は、訓練データセット30のうちの一つと、その訓練データセットに関連付けられたグラウンドトゥルース31とを受信する。アライメント部24は、訓練データセット30における複数の解剖学的ランドマークを検出する。訓練データセットで検出された解剖学的ランドマークは、アライメント部24に供給された参考ランドマーク34のうちのいくつかまたは全てに対応することが出来る。例えば、アライメント部24は、訓練データセット30において、松果体と下垂体のベースを検出することが出来る。アライメント部24は、訓練データセット30の座標空間において、検出された各解剖学的ランドマークについての位置を決定する。
訓練データセット30の座標空間におけるそれぞれランドマークの位置は、アトラスデータセットの座標空間において、対応する参考ランドマークの位置とは違うと予測することが出来る。例えば、ランドマークの関連する位置は、アトラスデータセット中に表された生体構造と患者の生体構造における違いにより、異なる可能性がある。例えば、患者の頭部のスケールの違いである。ランドマークの位置は、アトラスデータセットの被検体の位置決めと患者の位置決めが異なることが原因で、違いを生む可能性がある。
解剖学的ランドマークの検出のための任意の適切な方法が使用出来る。例えば、ランドマーク検出の方法については、次の文献に記載されている手法でもよい。Mohammad A Dabbah、Sean Murphy、Hipplyte Pello、 Romain Courbon、Erin Beveridge、Stewart Wiseman、Daniel Wyeth、Ian Ploole、Detection and location of 127 anatomical landmarks in diverse CT datasets‘, Proc. SPIE 9034, MEDICAL Imaging 2014: Image Processing, 903415 (March 21, 2014)。
図5のステージ82で、アライメント部24は、ステージ80で検出された解剖学的ランドマークと参考ランドマーク34のセットとを使用して、訓練データセット30をアトラスデータセットにアライメントする。アライメント部24は、訓練データセット30におけるそれぞれ解剖学的ランドマークの決定された位置と、その位置に対応する参考ランドマークの位置と、の間の一致を判定する。アライメント部24は、訓練データセット30と、対応するランドマーク位置の間の関係性を使用するアトラスデータセットと、の剛体レジストレーションを実行する。例えば、アライメント部24は、訓練データセット30におけるランドマークの位置とアトラスデータセットにおける対応するランドマークの位置との間の距離を最小化する最小自乗法を使用して、訓練データセット30とアトラスデータセットとをアライメントすることが出来る。
アライメント部24は、剛体レジストレーションの結果を表したレジストレーションデータを収集する。その他の実施形態において、アライメント部24は、剛体レジストレーションに追加してまたは代わりに、任意の適切なレジストレーション(例えば、アフィンレジストレーションまたは非剛体レジストレーション)を実行することが出来、任意の適切なレジストレーションデータを取得出来る。例えば、レジストレーションデータは、歪んだ空間を含むことがある。
ステージ82の出力は、アトラスデータセットの座標空間へと変換された、変換済訓練データセットである。
ステージ84で、アライメント部24は、変換された訓練データセットの正中線を修正(refine)する。この正中線は、変換された訓練データセットの対称線であり、この場合対称の矢状線である。本実施形態において、初期の正中線は、訓練データセット30のアトラスデータセットへのアライメントから取得される(アトラスデータセットの既知の正中線を使用する)。
正中線を修正するために、アライメント部24は、変換済訓練データセット30の左右反転を実行して、反転させた変換済訓練データセットを変換済訓練データセット30へとレジストレーションすることで、変換された訓練データセット30の対称線を決定する。決定された対称線は、変換済訓練データセット30の正中線とみなされる。その他の実施形態において、正中線を決定する任意の適切な方法が使用出来る。実施形態の中には、ステージ84が省略されて、アトラスデータセットの正中線が変換された訓練データセット30の正中線を決定するために使用されるものもある。
ステージ84の出力は、訓練データセット30をアトラスデータセットへと関連させるアトラスデータセット変換である。アトラスデータセット変換は、代わりに参考データセット変換と呼ぶことが出来る。
アライメント部24は、変換された訓練データセット30におけるそれぞれ解剖学的ランドマークの位置が、なるべく近くで、アトラスデータセットにおける対応する参考ランドマークの位置と一致するように、訓練データセット30をアトラスデータセットの座標空間へと変換する。変換は、変換された訓練データセット30の等方性リサンプリングを具備出来る。
本開示において、訓練データセット30とアトラスデータセットとは、訓練データセット30とアトラスデータセットとのそれぞれにおけるランドマークの位置を使用して、アライメントされる。その他の実施形態で、任意の適切な方法が、訓練データセット30をアトラスデータセットにアライメントするのに使用することが出来る。例えば、訓練データセット30とアトラスデータセットとは、輝度に基づくレジストレーション方法を使用して、レジストレーション出来る。
ステージ88で、アライメント部24は、変換された訓練データセットから正中線が中心にあるデータセット38を抽出する(変換された訓練データセットは、今やアトラスデータセットの座標空間にあり、左右反転を伴うレジストレーションにより修正された正中線を有している。)正中線が中心にあるデータセット38は、検出器が訓練される予定の、アトラスデータセットの対称部分に対応する変換された訓練データセット30の対称な部分を具備する(例えば、図4にある70、72として示されたブロック)。その対称な部分とは、決定された矢状正中線について対称に抽出された生体構造の狭い領域を表すことが出来る。
本実施形態において、正中線が中心にあるデータセット38は変換された訓練データセットの一部分のみ具備するが、その他の実施形態では、正中線が中心にあるデータセット38は変換された訓練データセットの全てを具備する。中には、ステージ88が省略される実施形態があって良い。
本開示において、一本の正中線が中心にあるデータセット38(一ブロックと呼ぶことが出来る)は、それぞれ変換された訓練データセットから抽出することが出来る。その他の実施形態において、複数の異なる正中線が中心にあるデータセット(複数のブロック)は、それぞれ変換された訓練データセットから抽出することが出来る。例えば、それぞれブロックは、脳の異なる部分を表すことが出来る。
図5のプロセスのステージ90において、アライメント部24は、訓練データセット30をアトラスデータセット(グラウンドトゥルース32と訓練データセット30は、同じ座標空間に定義されている)とアライメントすることで収集された、アトラスデータセット変換86を使用しながら訓練データセット30に対応する、グラウンドトゥルース31から正中線が中心にあるグラウンドトゥルースセット40を抽出する。正中線が中心にあるグラウンドトゥルースセット40は、正中線が中心にあるデータセット38のどのボクセルが正常、無関心、または異常かを示す。
図5の処理の出力は、正中線が中心にあるデータセット38と、正中線が中心にあるグラウンドトゥルースセット40とであり、これらは同じ次元にある。
図5のアライメント処理は、複数の訓練データセット30と関連付けられたグラウンドトゥルース31とのそれぞれに対して、繰り返される。少なくとも一本の正中線が中心にあるデータセット38と、少なくとも一本の正中線が中心にあるグラウンドトゥルースセット40とは、訓練データセット30と関連付けられたグラウンドトゥルースセット31とのそれぞれに対して、取得することが出来る。
図2に戻って、正中線が中心にあるデータセット38と正中線が中心にあるグラウンドトゥルースセット40とは、アライメントステージ36の出力として、図2に示されている。本実施形態において、アライメントステージ36は図5を参照して上で述べられたアライメント処理を具備するが、その他の実施形態では任意の適切なアライメント処理が使用してもよい。
正中線が中心にある各データセット38は、変換された訓練データセットの対称的な部分である。正中線が中心にある各データセット38は、脳の同じ解剖学的領域を表したものである。例えば、それぞれ正中線が中心にあるデータセット38は、図4に70、72として示されるような、データの対称なブロックを具備出来る。その他の実施形態において、それぞれ正中線が中心にあるデータセット38は、訓練データセット30全体をアトラスデータセットの座標空間へと変換を具備する。
実施形態の中に、ステージ36のアライメント処理は、それぞれ訓練データセット30について正中線が中心にあるデータセット38を一つ以上出力する。所定の訓練データセットに対し、それぞれ正中線が中心にあるデータセット38は、変換された訓練データセットの異なる対称部分を表したものであってもよい。変換された訓練データセットのそれぞれ抽出された部分は、異なる解剖学的領域に対応する可能性がある。異なる部分は、異なる検出器を訓練するために使用出来る。異なる部分がオーバーラップする可能性がある。
図2の処理のステージ42で、アライメント部24は、正中線が中心にあるデータセット38と正中線が中心にあるグラウンドトゥルースセット40とを、訓練部26に渡す。訓練部26は、アライメント部24から受け取った、正中線が中心にあるデータセット38と正中線が中心にあるグラウンドトゥルース40のうちのいくつかまたは全てを使用して、検出器を訓練する。本実施形態における正中線が中心にあるデータセット38は、特定の解剖学的領域(例えば、図4に70、72として示された領域に対応)を表しているため、検出器はこの解剖学的領域内のボクセルを分類するために訓練される。
本実施形態において、検出器は正常なボクセルと異常なボクセルとを区別するように訓練されており、この異常なボクセルは血栓を表している。その他の実施形態において、異常なボクセルは、異なる病変を表すボクセルの可能性がある。異常なボクセルは、任意の適切な特徴を表したボクセルの可能性もある。さらなる実施形態において、検出器は、ボクセルの二つ以上の種類を区別するように訓練出来る。一つの検出器のみが本開示で訓練されるが、その他の実施形態では複数の検出器が訓練される。異なる検出器は、異なる異常性および/または異なる解剖学的領域に対して、訓練されるかもしれない。
本実施形態の検出器を訓練するための、図2のステージ42で訓練部26により使用されるプロセスは、図6のフローチャートによって概要が表されている。その他の実施形態において、異なる検出器訓練方法が図2のステージ42で使用することが出来る。
図2のステージ42の入力は、図2のステージ36のアライメント処理から取得された、正中線が中心にあるデータセット38と正中線が中心にあるグラウンドトゥルース40とである。
図6のフローチャートは、正中線が中心にあるデータセット38のうち一つの単一のデータセットと、対応する正中線が中心にあるグラウンドトゥルースセット40のうち一つの単一のデータセットとを示している。実際に、図6のプロセスは、複数(任意で、全て)の正中線が中心にあるデータセット38と正中線が中心にあるグラウンドトゥルース40とのそれぞれに対して、実行される。
図6の処理のステージ100で、訓練部26は、正中線が中心にあるデータセット38(データX)と、正中線が中心にあるグラウンドトゥルース40(データセットY)と、を受け取る。訓練部26は、正中線が中心にあるデータセット38を、その正中線で折り畳む。正中線は、正中線が中心にあるデータセット38を、正中線の第一の側上を第一の部分(この場合、左側X)と、正中線の第一の側とは反対側における第二の部分(この場合、右側X)に分割するとみなすことができる。ステージ100の折り畳みにおいて、左部分Xの一部と右部分Xのうちの一つは、正中線に対して反転される。反転の後、反転された部分のボクセルは、反転されていない部分のボクセルを覆うと見なすことが出来る。
折り畳まれたデータセットのそれぞれ半分は、正中線が中心にあるデータセット38によって占められた、座標空間の半分を占めるとみなることが出来る。なぜなら、折り畳まれたデータセットは、正中線の片側上の座標空間を占めるからである。(実際に、正中線の近くに位置したデータで検出器を訓練可能にするために、折り畳まれたデータセットのそれぞれ半分は、プロセシングマージンの幅の分だけ正中線にわたって伸ばすことが出来る)。
図7aは、訓練データセットをアトラスデータセットの空間座標へと変換することで、訓練データセットから導出された画像120の一例を示している。画像120の対称な部分(ブロック121)は、図7aでハイライトされている。対称な部分121は、変換された訓練データセットから抽出された、正中線が中心にあるデータセットに対応する。
図7bは、図7aの画像部分121と同じ部分を示している。対称線122は、画像部分121の正中線に引かれており、正中線122の左側にあたる左部分123と、正中線122の右側にあたる右部分124とに画像部分121を分割している。
図7bにおいて、正中線が中心にあるデータセット38は、ボクセルを表すとみなすことができる、立方体のセットとして表されている。画像部分の左右範囲の全体にわたって伸ばされた立方体のセットは、正中線が中心にあるデータセットが折り畳まれる前は、正中線の左に関するまたは右に関する空間が占められていることを表している。
図7cは、一旦正中線122に沿って折り畳まれた、画像部分121を表す。この例では、右部分124は、折り畳みによる変化はない。左部分123は反転され、反転済左部分125となる。右部分124と反転された左部分125とは、重なり合っている。実際に、右部分124と反転された左部分125は、正確に重なり合ったとみなすことが出来るが、図7cには分かりやすくするために、右部分124と反転された左部分125のそれぞれが互いに対して僅かに角度をつけて示されている。
画像部分121の左から右にかけて伸びている立方体126のセットの単一の代わりに、二つの立方体のセット127、128は、右部分124のボクセルと反転された左部分125のボクセルとがオーバーレイしていることを表して、折り畳まれた部分の正中線から右側までそれぞれ伸びているものとして示されている。一旦折り畳みが実行されたら、右部分のボクセルと反転された左部分のボクセルとは、空間において正確に同じ位置を占める。鏡像(右部分と左部分)ボクセルのそれぞれペアは、それぞれ個別の輝度を有しており、単一の右部分のボクセルによって二つの輝度値と置き換えられる、と考えてもよいだろう。
正中線が中心にあるデータセット38の折り畳みは、正中線が中心にあるデータセット38の空間の半分(この場合、空間の右半分)を占める、折り畳まれたデータセットを作る。折り畳まれたデータセットは、輝度データの左と右とのチャンネルとを具備する。折り畳まれたデータセットのそれぞれボクセルは、右部分のうちの一つと反転された左部分のうちの一つとを表した第一の輝度値と、もう一つの右部分と反転された左部分とを表した第二の輝度値とを有する。
本実施形態において、折り畳まれたデータセット102、104の二つが取得される。折り畳まれたデータセット102と104のそれぞれは、左部分と右部分とを表したチャンネルの異なる順番を有する。第一の折り畳まれたデータセット102において、左部分Xからの輝度データは、右部分から輝度データXの前にくる。第二の折り畳まれたデータセット104において、右部分Xからの輝度データは、左部分Xから輝度データの前にくる。
訓練部26は、折り畳まれたグラウンドトゥルースセットを収集するために、正中線が中心にあるグラウンドトゥルースセット40も、正中線で折り畳む。正中線が中心にあるグラウンドトゥルースセット40の正中線の左についての左部分Yは、正中線が中心にあるデータセット38の左部分Xと対応する。正中線が中心にあるグラウンドトゥルースセット40の正中線の右についての右部分Yは、正中線が中心にあるデータセット38の右部分Xと対応する。
グラウントトルースデータセット40の左部分Yは、第一の折り畳まれたデータセット102と関連付けられる。グラウンドトゥルースセット40の右部分Yは、第二の折り畳まれたデータセット104と関連付けられる。
ステージ106で、セミアトラスチャンネルデータは、第一の折り畳まれたデータセット102と第二の折り畳まれたデータセット104とに加えられる。第一の折り畳まれたデータセット102と第二の折り畳まれたデータセット104とのそれぞれは、左部分と右部分X、Xの輝度を表す、二つの輝度チャンネル(及び最初に左側の輝度を並べた第一の折り畳まれたデータセット102、最初に右側の輝度を並べた第二の折り畳まれたデータセット104)を具備する。本開示において、セミアトラスチャンネルデータは、折り畳まれたデータセットの座標空間におけるそれぞれボクセルに対するx、y、z座標を表した三つの追加チャンネルを具備する。
上述のアライメント処理により、折り畳まれたデータセットの座標空間は、アトラスデータセットの座標空間と同じである。しかし、折り畳み処理のため、折り畳まれたデータセットは、当該データセットの座標空間の半分のみを占める(この場合、右半分)。
結果として第一の折り畳まれたデータセットは、それぞれボクセルに対して、左部分における当該データセットのボクセルの輝度、反転された右部分における当該アトラスデータセットのボクセルの輝度、x座標、y座標、z座標とを具備する。第二の折り畳まれたデータセットにおいて、輝度の順番は逆転する。
その他の実施形態の中には、折り畳まれたデータセットに何らx、y、zチャンネルが加えられないものがある。図6のステージ106が省略されるかもしれない。
さらなる実施形態において、セミアトラスの異なる表現を使用出来る。アトラスデータセットはセグメントされ、アトラスデータセットのボクセルは、そのボクセルが属する解剖学的構造を示すために、ラベル付される実施形態がある。
この様な一実施形態において、ステージ106で追加されたセミアトラスチャンネルデータは、セグメントされたアトラスデータセットと一致させることで取得された、それぞれボクセルに対するラベルを具備する。別の実施形態では、アトラスデータセットのそれぞれセグメントされた領域は、個別二値マスク(individual binary mask)として使用され、セミアトラスチャンネルデータは、これらの二値マスクからのデータを具備する。
更なる実施形態において、二値マスクは距離変換を決定するために使用される。それぞれ距離変換は、二値領域の端からの距離を表したものであり、所定のボクセルが特定の二値領域の内側か外側か、そして所定のボクセルが境界に近いかどうか、を示すことが出来る。セミアトラスチャンネルデータは、それぞれボクセルに対する距離変換のための値を具備出来る。
x、y、zチャンネルが折り畳まれたデータセットに追加された後、折り畳まれたデータセットは、組み合わされ折り畳まれたデータセットを提供するために組み合わされる。本実施形態において、折り畳まれたデータセットは、組み合わされた折り畳まれたデータセットを形成するために、連結される。その他の実施形態で、任意の適切な折り畳まれたデータセットを組み合わせる方法が使用出来る。さらなる実施形態で、折り畳まれたデータセットは組み合わされない可能性がある。
正中線が中心にあるデータセット38の折り畳みにより、異常なボクセルを特定するために、正中線が中心にあるデータセット38の両側からデータを使用する、検出器の訓練を許可する可能性がある。x、y、zチャンネルを追加することにより、異常なボクセルを特定するために、検出器は位置データを使用するように訓練されるかもしれない。位置データは、関心のある病変が特に発生しやすい位置が存在する場合もあるので、ある状況下では優先して役目を果たす(act as a prior)可能性がある。その他の実施形態において、任意の適切なセミアトラスチャンネルデータは、異常なボクセルを特定するために、解剖学的情報(例えば、ボクセルが特定の解剖学的構造の一部かどうか)を使用する、検出器の訓練において使用される可能性がある。
図8は、正中線が中心にあるデータセットと、対応する正中線が中心にあるグラウンドトゥルースセットと、の折り畳みを概要的に表したものを提供する。
正中線が中心にあるデータセット130は、左部分、L、そして右部分、Rを具備する。対応する正中線が中心にあるグラウンドトゥルースセット132は、左部分Lと右部分Rとを具備する。正中線が中心にあるデータセット130は、反転された右部分R’を収集するために、右部分Rを反転することで折り畳まれる。正中線が中心にあるグラウンドトゥルースセット132は、反転された右部分R’を収集するために、右部分Rを反転することで、折り畳まれる。
第一の折り畳まれたデータセット134は、正中線が中心にあるデータセット130の左部分Lの輝度を具備する第一の輝度チャンネルと、正中線が中心にあるデータセット130の反転された右部分R’の輝度を具備する第二の輝度チャンネル、とを有する。第一の折り畳まれたデータセット134は、正中線が中心にあるグラウンドトゥルースセット132の左部分Lとグループ化されている。
第二の折り畳まれたデータセット136は、正中線が中心にあるデータセット130の反転した右部分R’の輝度を具備する第一の輝度チャンネルと、正中線が中心にあるデータセット130の左部分Lの輝度を具備する第二の輝度チャンネルと、を有する。第一の折り畳まれたデータセット134は、正中線が中心にあるグラウンドトゥルースセット132の反転した右部分R’とグループ化されている。
追加のx、y、zチャンネルは、第一の折り畳まれたデータセット134と第二の折り畳まれたデータセット136とに追加され、その折り畳まれたデータセットは、単一のデータセット138を提供するために連結される。
図6に戻って、ステージ106の出力は、5つのチャンネルを有する、組み合わされ折り畳まれたデータセットである。二つの輝度チャンネル(輝度チャンネルの一つの順序付けを使用するデータ半分と、輝度チャンネルのその他の順序付けを使用するデータ半分と、を伴う)とx、y、zチャンネルの5つである。
ステージ108で、訓練部26は、組み合わされ折り畳まれたデータセットからデータのサブセットを抽出する。そのデータのサブセットは、パッチと呼ぶことが出来る。それぞれパッチは、組み合わされ折り畳まれたデータセットによって表された、領域のより小さなサブ領域を表している。
ある場合に、検出器は、正中線が中心にあるデータセット38それぞれにおける全てのデータについて訓練された場合に、訓練処理の計算時間が膨大なものになることがある。訓練データセット30のそれぞれにおける異常性の領域32は、訓練データセットのサイズと比べて非常に小さいかもしれない。初期の訓練データセット30によって扱われた生体構造の特定の解剖学的領域のみを表す、正中線が中心にあるデータセット38が収集された場合であっても、専門家によって異常と特定されてきたボクセルは、正中線が中心にあるデータセット38の非常に小さな部分のみをなお占めるかもしれない。
ある状況下で、訓練において使用される異常なボクセルの数と、訓練において使用される正常なボクセルの数とが同程度であるようなデータについて検出器を訓練することが好ましいことがある。正常なボクセルと異常なボクセルとで同じ数のボクセルを使用することが不可能だとしたら、少なくとも正常なボクセルの数を異常なボクセルの数と比べて、適切な程度にまで減らすことが望ましいかもしれない。
訓練部26は、検出器を訓練するための、組み合わされ折り畳まれたデータセットの一つ以上のパッチを選択する。パッチは、組み合わされ折り畳まれたデータセットによって表された領域の小さなサブ領域でよい。例えば、本実施形態において、それぞれパッチはサイズが10x10x10ボクセルである。その他の実施形態において、任意の適切なサイズのパッチを使用することが出来る。
本実施形態では、それぞれパッチのサイズは10x10x10ボクセルであるが、検出器はそれぞれボクセルの近接の性質を使用出来るので、データのより大きな部分が検出器の訓練において使用することが出来る。プロセシングマージンは、それぞれパッチに追加することが出来る。プロセシングマージンは、境界領域を具備し、ここで境界領域は、それぞれのパッチの境界の外側である。
本実施形態において、訓練部26は、組み合わされ折り畳まれたデータセットのそれぞれに対し、対応するグラウンドトゥルースにおいて専門家が異常有りと特定したボクセルを含む一つ以上のパッチを選択する。組み合わされ折り畳まれたデータセットのそれぞれに対し、訓練部26は、正常と専門家が特定してきたボクセルを含む、一つ以上のパッチを選択することも出来る。
それぞれパッチ位置に対して、二つの訓練パッチが収集される。それぞれ空間的位置に対して、組み合わされ折り畳まれたデータセットは二つのエントリを具備し、そのうちの一方は右部分の輝度から並べられており、もう一方は左部分の輝度から並べられている。第一の訓練パッチは、右部分の輝度から並べられており、そして左部分の輝度から並べられておりものが収集される。
所定のパッチ位置に対する二つの訓練パッチは、AおよびBとして挙げることが出来る。
A.ch0=左輝度、ch1=右輝度、GT class=左から
B.ch0=右輝度、ch1=左輝度、GT class=右から
ここでch0、ch1は、第一と第二の輝度チャンネルであり、GT classは、グラウンドトゥルースのどの部分が使用されるかを示している。
ステージ110で、訓練部26は、組み合わされ折り畳まれたデータセットから抽出されたパッチについて検出器を訓練する。検出器は、異常なボクセルを検出するように訓練された検出器を具備し、本開示における異常なボクセルとは血栓のボクセルである。
検出器は、左右にとらわれることなく、訓練される。検出器は、第一の輝度データが左側と右側のどちらから送られてきたものであるかを考慮に入れることなく、第一と第二の輝度データを使用するように訓練されている。
実施形態の中には、検出器を訓練するためにブースティング方法が使用されるものがある。検出器は、ランダムに選択された異常データをいくつか使用して部分的に訓練し、検出器が特に関連する領域に集中させるよう強制するため(例えば、高吸収の血管と石灰化した松果体との間を区別するよう検出器を訓練するために)、いくつかのデータを除外してもよい。
本開示において、検出器は、畳み込みニューラルネットワークを具備しており、例えば畳み込みニューラルネットワークは、次の文献に述べられている通りである。Matthew Brown and Saeed Shiry Ghidary, ‘Convolutional neural networks for image processing: an application in robot vision’. The 16th Australian Joint Conference on Artificial Intelligence, AI‘03, Dec.2003.その他の実施形態において、検出器は例えば、ニューラルネットワークやランダムフォレスト(random decision forest)など、任意の適切な検出器を具備出来る。
検出器の訓練処理は、空間的に(例えば、テクスチャ特徴を決定することによって)、また複数のチャンネルにわたり、畳み込みを決定する。畳み込みは、それぞれボクセルの近接の性質を、ボクセル自体の特性と同様に利用することが出来る。畳み込みは、輝度データを空間データと組み合わせて、使用することも出来る。それぞれ畳み込みは、画像輝度の重み付けを具備出来る。
図6には特定の一つのデータセットのみ示されているが、検出器は、複数の(任意で、全ての)訓練データセットから導出されたパッチについて訓練される。
血栓や虚血など僅かな脳卒中の兆候を含む、多くの病変において、病変を検出する専門家は、実質的に対称な解剖学的構造の画像の左側と右側とを比べて、病変が表れているかどうかを決定する。二つの輝度チャンネルを有する折り畳まれたデータセットを収集することで、関心のある病変が表れているかどうかを決定するために、検出器は左側と右側とのデータを比較するように訓練されていてもよい。専門家は、解剖学的情報を利用することが出来る。訓練データにおけるセミアトラスチャンネルを含むことで、検出器は、解剖学的コンテキストを利用するように訓練されてもよい。それぞれ訓練データセットは、アトラスデータセットにアライメントされるので、異なる訓練データセットにおける対応する位置は、同じ生体構造を表すことが出来る。
さらに、全体のデータセットよりもブロックを選択することで、検出器が特定の解剖学的領域に対して訓練されることを可能にすることが出来る。ある状況では、異なる検出器は、例えば脳の異なる部分に対してなど、異なる解剖学的領域に対して訓練することが出来る。
図6の処理の出力は、異常なボクセル(本開示におけるそのボクセルとは、血栓のボクセルのこと)を検出するために訓練されてきた、訓練された検出器44である。
訓練された検出器44は、ボクセルがデータセットの右か左かどうかに依らない、基準のセットを使いながら、そのボクセルが異常かどうかを検出するために、訓練される。しかし、その基準のセットは、ボクセルおよびそのボクセルの鏡像ボクセルの輝度、ボクセルの近接、そしてアトラスデータセットの座標空間におけるボクセルの位置を考慮に入れることが出来る。
それぞれ正中線に中心があるデータセット38から二つの折り畳まれたデータセットを作ることで、訓練データは効果的に使用出来る。状況次第で、使用出来る適切な訓練データが不足するかもしれない。二つの折り畳まれたデータセットを使用することで、使用可能な訓練データは、二倍になったとみなすことができる。訓練データのそれぞれセットは、訓練プロセスにおいて二度使用することが出来るが、一度は訓練データの左部分に、もう一度は訓練データの右部分に対してである。
図2に再び戻って、訓練された検出器44がステージ42の出力である。本実施形態における検出器は、図6の処理を使用して訓練されたが、その他の実施形態では、対称線の両側からのデータを使用する任意の適切な訓練処理が、異常なボクセルを検出するために、検出器44の訓練に使用されてもよい。
図2のステージ48で、新しいデータセット46が検出器28によって受信される。新しいデータセットは、既知のグラウンドトゥルースが存在しないデータセットに対するものである。新しいデータセットが異常なボクセルを具備するかどうかは知られていない。新しいデータセットは、CTスキャナ14から、またはストレージ(例えば、PACS)から受信される。
検出器28は、新たなデータセット46をアトラスデータセットとアライメントする。本実施形態において、検出器28は、図5を参考に上述のアライメント方法を使って、新たなデータセット46をアトラスデータセットとアライメントする。その他の実施形態において、任意のアライメントが使用出来る。
アライメント方法の一部として、検出器28は、新たなデータセット46における解剖学的ランドマークを検出し、そのランドマークを使いながら新たなデータセット46をアトラスデータセットとアライメントし、新たなデータセットの正中線を修正し、新たなデータセット46に対するアトラスデータセット変換を決定し、変換された新たなデータセットから新たな正中線が中心にあるデータセット140を抽出する。新たな正中線データセット140は、検出器を訓練するために使用された正中線が中心にあるデータセット38のように、アトラスデータセットの同じ対称な部分に対応する(例えば、図4で70、72として表された部分)。
図2の処理のステージ50で、検出器28は、新たな正中線が中心にあるデータセット140における異常なボクセルの有無(本実施形態においては、血栓のボクセル)を決定するために、訓練された検出器44を使用する。任意の適切なプロセスが、このように異常なボクセルの有無を決定するために使用出来る。本開示において、使用される検出プロセスは、図9のフローチャートに詳細に示されている。
図9に行って、ステージ142で検出器28は、第一の部分Xと第二の部分Xとを収集するために、正中線が中心にあるデータセット140(データセットX)をその正中線で(正中線が中心にあるデータセットの正中線は、ステージ48で、正中線が中心にあるデータセットのアライメントの間に決定されてきた)で折り畳む。矢状正中線で折り畳むことは、二つのチャンネルボリュームを生み出し、そのうちの一つのチャンネルはミラー画像化されている。
検出器28は、二つの折り畳まれたデータセット144、150を収集する。第一の折り畳まれたデータセット144は、正中線が中心にあるデータセットの左部分の輝度を表した第一のチャンネルと、正中線データセットの右部分の輝度を表した第二のチャンネルと、を具備する。第二の折り畳まれたデータセット150は、正中線が中心にあるデータセットの右部分の輝度を表した第一のチャンネルと、正中線データセットの左部分の輝度を表した第二のチャンネルと、を具備する。
第一の折り畳まれたデータセット144と第二の折り畳まれたデータセット150とは、別々に取り扱われる。訓練された検出器44は、左右にとらわれることなく識別するので、検出器は検出の間に二度適用される。検出器は、左部分と右部分別々に適用される。
ステージ146で、セミアトラスチャンネルは、本実施形態においては正中線が中心にあるデータセットの左部分に対するx、y、z座標を具備し、第一の折り畳まれたデータセットに追加される。ステージ148で、訓練された検出器44は、セミアトラスチャンネルが追加された、第一の折り畳まれたデータセットに適用される。訓練された検出器44は、左部分の輝度、右部分の輝度、そしてx、y、z座標を使用しながら、正中線が中心にあるデータセット140の左部分における異常なボクセルを検出する。
ステージ152で、正中線が中心にあるデータセットの左部分に対するx、y、z座標を具備するセミアトラスチャンネルは、第二の折り畳まれたデータセットに追加される。ステージ154で訓練された検出器44は、セミアトラスチャンネルが追加されてきた、第二の折り畳まれたデータセットに追加される。訓練された検出器44は、右部分の輝度、左部分の輝度、x、y、z座標を使用しながら、正中線が中心にあるデータセット140の右部分における異常なボクセルを検出する。
代替的な実施形態に、セミアトラスチャンネルが追加されず、ステージ146と152とが省略されるものがある。更なる実施形態において、例えばラベルまたは二値マスクデータなど、異なるセミアトラスチャンネルが使用される。
訓練された検出器44が、第二の折り畳まれたデータセット(右データから並んでいる)に適用されるのと同様に、訓練された検出器44は、第一の折り畳まれたデータセット(左データから並んでいる)に適用される。異常なボクセルの検出において、訓練された検出器44は、異常なボクセルが、新たな正中線が中心にあるデータセット140の左側または右側から送られてきたかについては、考慮しない。
本開示のステージ148と154において、訓練部26は、ボクセルが異常である確率(probability)をそれぞれボクセルに割り当てる。例えば、訓練部26は、それぞれボクセルに0と1との確率を割り当ててもよい。訓練部26は、zスコアをそれぞれボクセルに割り当ててもよい。
図9のプロセスのステージ156で、検出器28は、ステージ148で収集された左部分に対する結果を、ステージ154で収集された右部分に対する結果に追加する。検出器28は、その結果、新たな正中線が中心にあるデータセット140におけるそれぞれボクセルに対する確率を収集する。
検出器28は、確率ボリューム52を出力する。確率ボリューム52は、新たな正中線が中心にあるデータセット140のそれぞれボリュームに対し、ボクセルが異常である確率を具備する。
図2に戻って、ステージ50の検出の出力は、確率ボリューム52である。本開示において、ステージ50の検出は図9の処理を使用して実行されるが、その他の実施形態では任意の適切な検出プロセスが使用出来る。
ステージ54で、検出器28は、確率ボリューム52における確率のそれぞれを、しきい値と比較する。本実施形態において、しきい値は、検出器28によって格納された所定値である。実施形態の中には、しきい値がユーザによって選択することが出来る。しきい値は、検出において所望の感度や特異度がもたらされるように、選択することが出来る。例えば、しきい値は、結果が偽陰性の低い値になるように選択出来る。
所定のボクセルに対し、異常である確率がしきい値を上回った場合、検出器28はボクセルを異常有りとして識別する。異常である確率がしきい値を下回った場合、検出器28はボクセルを正常と識別する。検出器28は、例えば正常なボクセルには-1、異常なボクセルには1を割り当てるなど、正中線が中心にあるデータセット140のボクセルのそれぞれを、正常または異常としてラベル付けする。
図2の処理のステージ56で、検出器28は、異常有りとして識別されてきたボクセルを、異常領域へと分類する。異常有りと識別されたボクセルを異常領域に分類するために、任意の適切な方法が使用することが出来る。例えば、連結成分抽出が使用される可能性がある。仮に、異常領域が一つ以上あれば、検出器28は異常領域にランク付けする。例えば、検出器28は、異常領域をサイズによってランク付け出来る。検出器28は、可能性によって異常領域をランク付け出来る。
ステージ58で、検出器28は、ランク付けられた異常領域を臨床医(例えば、放射線科医)またはその他ユーザに示す。本実施形態において、検出器28は、新たなデータセット46から画像をレンダリングする。検出器28は、アトラスデータセットの座標空間において収集された異常領域または複数の領域を、例えば図2のステージ48で生成されたアライメントデータを使用しながら、新たなデータセットの座標空間へと変換する。検出器28は、レンダリングされた画像上の異常領域または複数の領域を表示する。その他の実施形態で、任意の適切な画像をレンダリングすることが出来る。
それぞれ異常領域は、異なる色で表示される。確率でランク付けられた、検出の表が表示される。異常領域の表をクリックして、異常領域のMPR(多断面再構成)へとナビゲイトされる。それぞれ検出された異常領域は、MPRビューにおいて色でハイライトされる。ユーザインターフェースは、ハイライトされた箇所を簡単に除去できるようにする。
本実施形態において、単一の検出器が単一の異常性(血栓)を検出するために訓練されて使用されるが、その他の実施形態では多数の検出器が訓練され使用することが出来る。ステージ58での表示は、異なる検出器によって検出された異常性の領域を具備する可能性がある。例えば、異なる検出器は異なる病変を検出するために使用出来、または異なる検出器は異なる解剖学的領域にある病変を検出するために使用出来る。その様な実施形態の中には、訓練部26が、第一の異常性の領域(第一の検出器で検出)と第二の異常性の領域(第二の検出器で検出)とが、例えば異なる色で表示された画像をレンダリングする。一実施形態で、異常領域がレンダリングされた、異常領域のそれぞれに対して色付けられたリストが表示される。リストの項目は、異常性のタイプ(例えば、虚血や高吸収血管)、異常領域に対する解剖学的位置(例えば、左滑液膜皮質または左MCA、初めのカッコが抜けている)、異常領域のサイズ、検出のための信頼度合いである。
実施形態に、異常領域は、異常領域をレンダリングすることにより、正常領域として識別された領域とは異なる色で表示される。実施形態の中には、レンダリングされた領域の色は、そのランク付けに依存するものがある。また実施形態には、ランク付けが数字によって示されるものもある。その他の実施形態では、任意の適切な表示方法を使用することが出来る。
実施形態には、臨床医またはその他ユーザに異常領域のリストが提供されるものがある。この異常領域のリストには、例えばランキング、サイズまたは位置情報など、異常領域に関する追加情報を含んでもよい。
本実施形態において、それぞれボクセルは正常または異常のどちらかとしてラベル付けされ表示されるが、その他の実施形態において、臨床医またはその他ユーザへの表示は確率性ボリュームからの確率を使用する。例えば、色のグラデーションのそれぞれの色が異なる確率値を表す、色のグラデーションが使用されるかもしれない。
検出器により検出された異常ボクセルが何もなかったら、ステージ58で検出器28は、その様な異常ボクセルの不在を、臨床医またはその他ユーザに表示して提供出来る。
その他の実施形態において、検出器28は訓練された検出器44の出力を表した、任意の適切な出力を提供出来る。出力は、複数のボクセル位置のそれぞれで、異常性の存在の確率を表すことが出来る。出力は、異常性の存在を位置の関数として表すことが出来る。
臨床医またはその他ユーザは、更なる検査のための画像の領域を特定するために、表示された情報を使用出来る。例えば、本実施形態において、この表示は血栓の可能性のある領域をいくつか示すことが出来る。臨床医は、領域のそれぞれが実際に血栓の領域であるかどうか、判定を決めるために、血栓の可能性のある領域のそれぞれを検査することが出来る。
図2の方法は、非造影CTにおける脳卒中兆候の検出のために適用された。結果は、訓練中に含まれなかったボリュームから収集された。定量評価は120のボリュームにわたって実行され、テストの訓練の間、均等に分けられる。ROC AUC(受信者操作特性曲線下の面積)の98.4%が達成された。
図2を参照に上述のような訓練および検出方法を提供することにより、検出器は実質的に対称な解剖学的構造における異常性を検出するために訓練することが出来る。検出器は、例えば所定のボクセルと所定のボクセルのミラー画像の輝度を比較することで、実質的に対称な解剖学的構造の両側からの輝度データを使用しながら、異常性を検出することが出来る。データ折り畳みおよび両側の情報抽出が使用出来る。実質的に対称な解剖学的構造の両側を表したチャンネルからの輝度データを使用することで、一チャンネルからのデータは、その他のチャンネルからのデータを正規化するために考慮されることもある。検出器は、その他のチャンネルからの輝度について、一チャンネルにおける輝度を正規化することを学習することが出来る。
画像データを解釈するにあたり、専門医(例えば、神経放射線科医)は、何千枚もの例を観察することから、学習された経験を使用することが出来る。専門医は、おおよそ左右対称と期待される性質を適切に利用することもある。専門医は、解剖学的コンテキストを利用出来る。図2の方法において、検出器の訓練は、数多くの訓練データセットからの学習された経験を使用する。検出器は、例えば、それぞれボクセルとそれぞれボクセルのミラー画像との間における差分を使用することによる、適当な、おおよそ左右対称と期待される性質を利用する。検出器は、両側比較も実行することが可能である。検出器は、輝度データに加えて、解剖学的コンテキストがx、y、z座標データについて訓練されるので、解剖学的コンテキストを利用する可能性がある。
図2の方法は、教師あり学習モデルを通して、自動検出を達成出来る。自動化された検出の使用は、特に病変の僅かな兆候が存在する場合、臨床医の画像の分析に対するスピードや確度を増大させる可能性がある。
ある状況下では、図2の方法で訓練され使用された検出器または複数の検出器は、全体の画像を識別しない可能性があるが、代わりに病変のある領域をハイライトする可能性がある。CNNは、パッチから自動的に特徴を抽出するために使用されるかもしれない。
左右にとらわれない検出器の使用により、訓練データのそれぞれセットが訓練において二度使用されることを許可することが出来、一度は訓練データの左側に対して、もう一度は訓練データの右側に対する。左右にとらわれない検出器は、異常性が解剖学的構造のどちらかの側上に発生するかもしれない、実質的に対称な解剖学的構造における異常性を検出することに対して、適当な可能性がある。
例えば、血栓は、脳の右側の領域が脳の左側に対応する領域上に比べて、より濃くなるように脳の右側に起こり得る。或いは、血栓は、脳の左側の領域が脳の右側に対応する領域上に比べて、濃くなるように、脳の左側に起こり得る。同じ検出器は、血栓が左側か右側上かどうかを検出するのに使用することが出来る。
上述の実施形態において、図2の方法は、急性脳卒中のために取得された非造影CTにおける血栓の兆候を検出するために使用される。その他の実施形態において、図2の方法は、その他モダリティおよび/または異常性にも適用可能かもしれない。
図2の方法は、例えば虚血および/または梗塞など、一つ以上の僅かな脳卒中の兆候を検出するための検出器を訓練するために、使用され得る。検出器は、虚血および/または梗塞を表す可能性がある、僅かに輝度が低下した領域を特定するために、使用することが出来る。検出器は、灰白質または白質の消失を検出するために使用することが出来る。検出器は、石灰化を検出するために使用出来る。
一実施形態において、検出器は、虚血を検出するために訓練されている。ある状況下で、虚血は、脳の片側の非常に大きな領域として、脳の反対側と比べて僅かに輝度が落ちた領域を有し、医用画像データセットに見えるかもしれない。脳の両側の比較を使用することで、輝度が落ちた大きい領域が特定することが出来る。ある状況下において、輝度が落ちたこのような大きな領域は、ボクセルを識別するために、脳の両側からのデータを使わなかった検出器によって特定されない可能性がある。検出器は、医用画像データのセットの第一の部分のデータ値を、医用画像データのセットの第二の部分に関連して、少なくとも部分的に正規化するように訓練することが出来る。例えば、訓練において、検出器は、医用画像データのセットの第一の部分のデータ値を、医用画像データのセットの第二の部分のデータ値について少なくとも部分的に正規化する効果を有する、規則を発見することもある。
図2の方法は、例えば、任意の適切なヒトや動物の生体構造における、任意の適切な病変など、任意の適当な異常性の検出に適用出来る。図2の方法は、例えば組織運動や液体の流れなど、機能を示す画像の分析に適用することが出来る。
実施形態の中に、骨折の検出に図2の方法が適用されるものがある。例えば、検出器は、骨盤の両側からのデータを使用して、骨盤の僅かな骨折を検出するように訓練出来る。
例えば、CTデータ、コーンビームCTデータ、X線データ、超音波データ、MRデータ、PETデータ、またはSPECTデータなど、任意の適切なデータのモダリティを使用することが出来る。
特定の実施形態は、正常な生体構造の大部分が対称な、ボリューメトリックデータにおける病変を特定するための方法を提供する。病変が手動でマーカー付けられてきた、それぞれボリュームに対しては、ボリュームを参考アトラスへとアライメントすること、正中線でデータを分けること、二つのアライメントされた左/右チャンネルを生み出すためにデータの片方を反転すること、そして左と右の病変状態を表す訓練サンプルを抽出すること、訓練サンプルの全体的なセットについて検出器を訓練すること、そして新たなボリュームに対しては、新たなボリュームを参考アトラスにアライメントすること、正中線で新たなボリュームデータを分けること、二つのアライメントされた左/右チャンネルを生み出すために新たなボリュームデータの片方を反転すること、そして左と右の結果に対して訓練された検出器を別々に適用すること、を具備し、チャンネルはそれぞれの場合に適当に順序付けられている。
更なるチャンネルは、アトラス位置をエンコード化するために、追加することが出来る。検出器は、畳み込みニューラルネットワークを具備するかもしれない。検出器は、ランダムフォレストを具備するかもしれない。正中線でデータを分けることは、アトラス空間において定義された多数のブロックの抽出を具備出来る。それぞれのブロック位置は、別々に訓練することが出来る。
本明細書では特定の回路及び処理が説明されたが、代替的な実施形態においては、これらの回路の一つ以上の機能性が単一の処理リソースまたはその他構成要素によって提供されることも可能で、或いは単一の回路によって提供される機能性が二つ以上の処理リソースまたはその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。
特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変形が本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。
10…医用画像処理装置、12…計算装置、14…CTスキャナ、16…表示スクリーン
18…入力装置、20…メモリ、22…中央処理ユニット(CPU)、24…アライメント部、26…訓練部、28…検出器

Claims (10)

  1. 多数の医用画像データを受け取る入力部と、
    前記入力部で入力された医用画像データ上において、同一被検体の異なる領域を表す第一の部分と第二の部分とを選択する選択部と、
    前記第一の部分に対応する第一のデータと前記第二の部分に対応する第二のデータとが入力され、被検体の異常性を有する領域が検出されるように機械学習に用いる検出器を訓練する訓練部と、
    を具備し、
    前記第一の部分及び前記第二の部分は、実質的に対称な領域の少なくとも一つか、実質的に同一の形状を有する領域の少なくとも一つか、を表している、医用画像処理装置。
  2. 前記第一の部分は、前記医用画像データによって表された解剖学的構造の対称線の一方の領域に対応し、
    前記第二の部分は、前記医用画像データによって表された解剖学的構造の対称線の他方の領域に対応し、
    前記訓練部は、前記第二の部分と、前記第一の部分に関連付けられたグラウンドトゥルースとに基づいて、被検体における少なくとも一つの異常性の有無を決定するために、前記検出器を訓練する、
    請求項1記載の医用画像処理装置。
  3. 前記訓練部は、
    前記第二のデータを用いて、前記第一のデータを少なくとも部分的に正規化し、
    前記正規化された第一のデータを用いて、前記検出器を訓練する、
    請求項1または請求項2記載の医用画像処理装置。
  4. 前記選択部は、
    前記医用画像データに対して、前記第一の部分が前記第二の部分を少なくとも部分的に覆うように、前記第一のデータと前記第二のデータとの少なくとも一方の部分について、前記医用画像データによって表された解剖学的構造の対称線に関する折り畳み処理を実行し、
    前記折り畳み処理の結果を用いて、前記検出器を訓練する、
    請求項1乃至3のうちいずれか一項記載の医用画像処理装置。
  5. 前記訓練部は少なくとも一つのグラウンドトゥルース、一つ以上の異常性の予測位置、少なくとも一つの選択された解剖学的特徴の位置、に基づいて前記第一の部分と前記第二の部分との境界を選択する請求項1乃至4のうちいずれか一項記載の医用画像処理装置。
  6. 前記訓練部は、
    異常性の有る領域に近傍する少なくともいくつかの位置に対応する前記グラウンドトゥルースを修正し、
    前記検出器の訓練において前記修正されたグラウンドトゥルースを用いて、前記検出器を訓練する、
    請求項2記載の医用画像処理装置。
  7. 前記訓練部は、前記修正されたグラウンドトゥルースの重要度を調整する請求項6記載の医用画像処理装置。
  8. 前記選択部は、前記第一の部分及び第二の部分の選択において、
    アトラスデータを使用すること、
    少なくとも一つの解剖学的特徴の予測または実際の位置を使用すること、
    前記多数の医用画像データの少なくとも一つを少なくとも一つのアトラスデータセットにアライメントし、前記第一の部分と前記第二の部分とをレジストレーションすること、のうちの少なくとも一つを行う請求項1乃至7のうちいずれか一項記載の医用画像処理装置。
  9. 前記検出器は、機械学習で用いられるネットワークモデルであり、
    前記訓練部は、前記第一のデータと前記第二のデータとが入力され、被検体の異常性を有する領域が検出されるように前記ネットワークモデルを学習する、請求項1に記載の医用画像処理装置。
  10. コンピュータに、
    多数の医用画像データを受け取る入力機能と、
    前記入力機能で入力された医用画像データ上において、同一被検体の異なる領域を表す第一の部分と第二の部分とを選択する選択機能と、
    前記第一の部分に対応する第一のデータと前記第二の部分に対応する第二のデータとが入力され、被検体の異常性を有する領域が検出されるように機械学習に用いる検出器を訓練する訓練機能と、
    を実現させる医用画像処理プログラムであって、
    前記第一の部分及び前記第二の部分は、実質的に対称な領域の少なくとも一つか、実質的に同一の形状を有する領域の少なくとも一つか、を表している、医用画像処理プログラム。
JP2017141927A 2016-07-21 2017-07-21 医用画像処理装置及び医用画像処理プログラム Active JP7118606B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/216,006 US10163040B2 (en) 2016-07-21 2016-07-21 Classification method and apparatus
US15/216,006 2016-07-21

Publications (2)

Publication Number Publication Date
JP2018011958A JP2018011958A (ja) 2018-01-25
JP7118606B2 true JP7118606B2 (ja) 2022-08-16

Family

ID=60989995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017141927A Active JP7118606B2 (ja) 2016-07-21 2017-07-21 医用画像処理装置及び医用画像処理プログラム

Country Status (2)

Country Link
US (1) US10163040B2 (ja)
JP (1) JP7118606B2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12026868B2 (en) 2015-08-14 2024-07-02 Elucid Bioimaging Inc. Quantitative imaging for detecting histopathologically defined plaque erosion non-invasively
US11071501B2 (en) 2015-08-14 2021-07-27 Elucid Bioiwaging Inc. Quantitative imaging for determining time to adverse event (TTE)
US11094058B2 (en) 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
US12008751B2 (en) 2015-08-14 2024-06-11 Elucid Bioimaging Inc. Quantitative imaging for detecting histopathologically defined plaque fissure non-invasively
US11676359B2 (en) 2015-08-14 2023-06-13 Elucid Bioimaging Inc. Non-invasive quantitative imaging biomarkers of atherosclerotic plaque biology
US11087459B2 (en) 2015-08-14 2021-08-10 Elucid Bioimaging Inc. Quantitative imaging for fractional flow reserve (FFR)
WO2018172990A1 (en) 2017-03-24 2018-09-27 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
US12089977B2 (en) 2017-03-24 2024-09-17 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
US11664114B2 (en) * 2017-05-25 2023-05-30 Enlitic, Inc. Medical scan assisted review system
US10733730B2 (en) 2017-06-19 2020-08-04 Viz.ai Inc. Method and system for computer-aided triage
EP3642743B1 (en) 2017-06-19 2021-11-17 Viz.ai, Inc. A method and system for computer-aided triage
US10489905B2 (en) 2017-07-21 2019-11-26 Canon Medical Systems Corporation Method and apparatus for presentation of medical images
US10606982B2 (en) * 2017-09-06 2020-03-31 International Business Machines Corporation Iterative semi-automatic annotation for workload reduction in medical image labeling
WO2019167882A1 (ja) * 2018-02-27 2019-09-06 富士フイルム株式会社 機械学習装置および方法
US10699407B2 (en) 2018-04-11 2020-06-30 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
WO2019216125A1 (ja) * 2018-05-09 2019-11-14 富士フイルム株式会社 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
JP7113916B2 (ja) * 2018-05-27 2022-08-05 エルシド バイオイメージング インコーポレイテッド 定量的イメージングを利用するための方法およびシステム
JP2020032045A (ja) * 2018-08-31 2020-03-05 富士フイルム株式会社 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
WO2020054738A1 (ja) * 2018-09-10 2020-03-19 京セラ株式会社 推定装置、推定システム及び推定プログラム
JP7018856B2 (ja) * 2018-09-14 2022-02-14 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
JP7129870B2 (ja) * 2018-10-01 2022-09-02 富士フイルム株式会社 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
JP7129869B2 (ja) * 2018-10-01 2022-09-02 富士フイルム株式会社 疾患領域抽出装置、方法及びプログラム
US11457871B2 (en) 2018-11-21 2022-10-04 Enlitic, Inc. Medical scan artifact detection system and methods for use therewith
US11282198B2 (en) 2018-11-21 2022-03-22 Enlitic, Inc. Heat map generating system and methods for use therewith
US11145059B2 (en) 2018-11-21 2021-10-12 Enlitic, Inc. Medical scan viewing system with enhanced training and methods for use therewith
US10818386B2 (en) 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
KR102056989B1 (ko) * 2018-12-24 2020-02-11 (주)제이엘케이인스펙션 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템
KR102227439B1 (ko) * 2019-03-21 2021-03-15 울산대학교 산학협력단 얼굴 영역 이미지 분석 장치 및 방법
US20200359981A1 (en) 2019-05-03 2020-11-19 Ischemaview, Inc. Analysis of intracranial blood vessels
EP3991134A4 (en) 2019-06-27 2023-07-05 Viz.ai, Inc. METHOD AND SYSTEM FOR COMPUTER-ASSISTED TRIAGE IN STROKE
JP7234364B2 (ja) * 2019-06-28 2023-03-07 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
EP4004946A4 (en) * 2019-07-30 2023-08-02 Viz.ai, Inc. METHOD AND SYSTEM FOR COMPUTER ASSISTED STROKE TRIAGE
GB201912149D0 (en) * 2019-08-23 2019-10-09 Univ Oxford Innovation Ltd Computerised tomography image processing
EP3797692B1 (de) * 2019-09-30 2023-01-18 Siemens Healthcare GmbH Verfahren und vorrichtung zur ansteuerung eines medizinischen bildgebungsgeräts
EP3798971A1 (en) * 2019-09-30 2021-03-31 Siemens Healthcare GmbH Method and data processing system for providing a stroke information
US11462315B2 (en) 2019-11-26 2022-10-04 Enlitic, Inc. Medical scan co-registration and methods for use therewith
TWI725813B (zh) 2020-04-09 2021-04-21 國立中央大學 磁振造影之自動腦部梗塞偵測系統及其運作方法
KR102165840B1 (ko) * 2020-05-21 2020-10-16 주식회사 휴런 인공지능 기반 뇌졸중 진단 장치 및 방법
US11328400B2 (en) 2020-07-24 2022-05-10 Viz.ai Inc. Method and system for computer-aided aneurysm triage
US12061994B2 (en) 2020-08-11 2024-08-13 Enlitic, Inc. Inference process visualization system for medical scans
JP7390666B2 (ja) * 2021-01-09 2023-12-04 国立大学法人岩手大学 顎口腔疾患部位の検出画像処理方法およびそのシステム
US11669678B2 (en) 2021-02-11 2023-06-06 Enlitic, Inc. System with report analysis and methods for use therewith
JP2022135392A (ja) * 2021-03-05 2022-09-15 コニカミノルタ株式会社 医用情報管理装置、医用情報管理方法および医用情報管理プログラム
US11694807B2 (en) 2021-06-17 2023-07-04 Viz.ai Inc. Method and system for computer-aided decision guidance
US20240315655A1 (en) * 2021-06-25 2024-09-26 Inteneural Networks Inc. A method for cerebral vessel calcification detection and quantification, using machine learning
US12094136B2 (en) 2021-10-28 2024-09-17 Canon Medical Systems Corporation Image processing method and apparatus
US11941825B2 (en) * 2021-10-28 2024-03-26 Canon Medical Systems Corporation Method and apparatus for registering image volumes

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002529996A (ja) 1998-11-05 2002-09-10 アーチ・デベロップメント・コーポレーション 胸部x線画像のコンピュータ処理用システム
US20030194124A1 (en) 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US20100260396A1 (en) 2005-12-30 2010-10-14 Achiezer Brandt integrated segmentation and classification approach applied to medical applications analysis
JP2011250811A (ja) 2008-09-25 2011-12-15 Konica Minolta Medical & Graphic Inc 医用画像処理装置及びプログラム
US20130182008A1 (en) 2012-01-12 2013-07-18 Siemens Medical Solutions Usa, Inc. Symmetry-Based Visualization for Enhancing Anomaly Detection
JP2014150957A (ja) 2013-02-07 2014-08-25 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理プログラム
US20150201895A1 (en) 2012-08-31 2015-07-23 The University Of Chicago Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
JP2015173923A (ja) 2014-03-17 2015-10-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123154A (ja) 1998-10-19 2000-04-28 Hitachi Medical Corp 画像処理装置
US7043066B1 (en) * 1998-11-05 2006-05-09 Arch Development Corporation System for computerized processing of chest radiographic images
JP4480508B2 (ja) 2004-08-02 2010-06-16 富士通株式会社 診断支援プログラムおよび診断支援装置
EP1996959A4 (en) * 2006-03-03 2012-02-29 Medic Vision Brain Technologies Ltd SYSTEM AND METHOD FOR PRIORITIZE PRIORITIZATION AND AUTOMATIC ANALYSIS OF MEDICAL IMAGES
US9159127B2 (en) * 2007-06-20 2015-10-13 Koninklijke Philips N.V. Detecting haemorrhagic stroke in CT image data
US8116548B2 (en) 2008-06-04 2012-02-14 Siemens Aktiengesellschaft Method and system for detecting 3D anatomical structures using constrained marginal space learning
US9165360B1 (en) * 2012-09-27 2015-10-20 Zepmed, Llc Methods, systems, and devices for automated analysis of medical scans
WO2014152919A1 (en) * 2013-03-14 2014-09-25 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona For And On Behalf Of Arizona State University Kernel sparse models for automated tumor segmentation
US20160220166A1 (en) * 2015-01-29 2016-08-04 Kirtley Elliott Thornton Methodology for Discriminating Concussion Subjects from Normal Subjects by Identifying and Using QEEG correlates of concussion across 4 cognitive tasks and eyes closed condition.

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002529996A (ja) 1998-11-05 2002-09-10 アーチ・デベロップメント・コーポレーション 胸部x線画像のコンピュータ処理用システム
US20030194124A1 (en) 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US20100260396A1 (en) 2005-12-30 2010-10-14 Achiezer Brandt integrated segmentation and classification approach applied to medical applications analysis
JP2011250811A (ja) 2008-09-25 2011-12-15 Konica Minolta Medical & Graphic Inc 医用画像処理装置及びプログラム
US20130182008A1 (en) 2012-01-12 2013-07-18 Siemens Medical Solutions Usa, Inc. Symmetry-Based Visualization for Enhancing Anomaly Detection
US20150201895A1 (en) 2012-08-31 2015-07-23 The University Of Chicago Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
JP2014150957A (ja) 2013-02-07 2014-08-25 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理プログラム
JP2015173923A (ja) 2014-03-17 2015-10-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Milan Matesin et al.,A Rule-Based Approach to Stroke Lesion Analysis from CT Brain Images,ISPA 2001. Proceedings of the 2nd International Symposium on Image and Signal Processing and Analysis,2002年08月07日

Also Published As

Publication number Publication date
US10163040B2 (en) 2018-12-25
US20180025255A1 (en) 2018-01-25
JP2018011958A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
JP7118606B2 (ja) 医用画像処理装置及び医用画像処理プログラム
Lessmann et al. Automatic calcium scoring in low-dose chest CT using deep neural networks with dilated convolutions
Zhang et al. Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization
US11154196B2 (en) Deep-learnt tissue deformation for medical imaging
US9495752B2 (en) Multi-bone segmentation for 3D computed tomography
US8369593B2 (en) Systems and methods for robust learning based annotation of medical radiographs
US8958614B2 (en) Image-based detection using hierarchical learning
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
US9082231B2 (en) Symmetry-based visualization for enhancing anomaly detection
JP6704723B2 (ja) 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム
US20150131882A1 (en) Medical image data processing apparatus and method
US11544844B2 (en) Medical image processing method and apparatus
EP3107031A1 (en) Method, apparatus and system for spine labeling
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
Jimenez-Pastor et al. Automated vertebrae localization and identification by decision forests and image-based refinement on real-world CT data
Peña-Solórzano et al. Findings from machine learning in clinical medical imaging applications–Lessons for translation to the forensic setting
US9286688B2 (en) Automatic segmentation of articulated structures
US20230103692A1 (en) Data processing apparatus and method
Chedid et al. Synthesis of fracture radiographs with deep neural networks
Tan et al. A segmentation method of lung parenchyma from chest CT images based on dual U-Net
Tobon-Gomez et al. Unfolded cylindrical projection for rib fracture diagnosis
Kim et al. A fully automated landmark detection for spine surgery planning with a cascaded convolutional neural net
WO2017198518A1 (en) Image data processing device
Militzer et al. Learning a prior model for automatic liver lesion segmentation in follow-up CT images
Rajaraman et al. Improved TB classification using bone-suppressed chest radiographs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220803

R150 Certificate of patent or registration of utility model

Ref document number: 7118606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150