JP6758817B2 - 医用画像診断装置及び医用画像処理装置 - Google Patents

医用画像診断装置及び医用画像処理装置 Download PDF

Info

Publication number
JP6758817B2
JP6758817B2 JP2015216921A JP2015216921A JP6758817B2 JP 6758817 B2 JP6758817 B2 JP 6758817B2 JP 2015216921 A JP2015216921 A JP 2015216921A JP 2015216921 A JP2015216921 A JP 2015216921A JP 6758817 B2 JP6758817 B2 JP 6758817B2
Authority
JP
Japan
Prior art keywords
voxels
threshold
energy
image data
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015216921A
Other languages
English (en)
Other versions
JP2016087469A (ja
Inventor
マスード サド
マスード サド
プラケス コスタス
プラケス コスタス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2016087469A publication Critical patent/JP2016087469A/ja
Application granted granted Critical
Publication of JP6758817B2 publication Critical patent/JP6758817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/408Dual energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Computer Graphics (AREA)

Description

マルチエネルギー画像データ等において材料を分類する医用画像診断装置及び医用画像処理装置に関する。
コンピュータ断層撮影(CT)法は、X線を使用して三次元画像データを取得する、広く使用されている形態の医用撮影法である。CTスキャンから取得されたCT画像データセットは、それぞれの対応する測定体積によってX線照射の減衰を表す関連付けられた強度を各々が有する、ボクセルの三次元配列を備えることができる。測定体積によるX線照射の減衰は、ハンスフィールドユニット(HU)で強度値またはCT値と表されてよく、ここで0HUは水のCT値である。
X線CT装置では、X線管を有するX線源が、患者のまわりで回転する。患者を通過するX線照射は、患者の反対側にあるX線検出素子によって捕捉される。X線管は、所与のピーク管電圧を有する。X線フォトンがX線管によって生成され、このフォトンは、ピーク管電圧に対応するエネルギーまでのエネルギーの範囲を有する。たとえば、100kVのピーク管電圧におけるX線管は、100keVまでのエネルギーの範囲を有するフォトンを生成することができる。100kVのピーク管電圧を有するCTスキャンは100kVpスキャンと説明されてよく、ここでkVpはキロボルトピークの略語である。
シングルエネルギーCTと呼ばれることがある従来のCT収集は、たとえば120kVのピーク管電圧と、X線管によって提供されるX線エネルギーの拡散に感受性がある検出器とを用いて実行され得る。
シングルエネルギーCT撮影法の制限は、材料がCTスキャンのエネルギーにおいて類似の減弱係数を有する場合、これらの材料はCT画像データにおいて区別ができないことがある、または区別することが困難なことがあるということであり得る。そのような様々な材料を区別することの困難は、特に良好な画質を提供することに適していることがあるピーク管電圧、たとえば120kVで発生することがあることがわかっている。より低いピーク管電圧が使用される(たとえば80kV)場合、材料がより区別しやすいことがあるが、そのような低い方のエネルギーにおける画質は、画像のノイズがより多い場合があるので、より不十分になることがある。
デュアルエネルギーCTシステム、マルチエネルギーCTシステム、またはスペクトルCTシステムは、異なるエネルギーレベルにおいてレジストレーションされた複数の画像を収集することができる。たとえば、デュアルエネルギーCTシステムは、120kVのピーク管電圧において第1の画像と、80kVのピーク管電圧において第2の画像とを収集することができる。第1の画像は、高エネルギー画像と(または、高エネルギースキャンから取得された画像と)呼ばれることがあり、第2の画像は、低エネルギー画像と(または、低エネルギースキャンから取得された画像と)呼ばれることがある。
デュアルエネルギーCTシステムは、第1の画像および第2の画像のレジストレーションを必要とすることなく第1の画像内のボクセルが第2の画像内のボクセルに対応するように、高エネルギー画像と低エネルギー画像とを同時にまたは実質的に同時に収集することができる。次いで、これらの画像は、高エネルギー画像に対する強度値(高エネルギー強度値と呼ばれることがある)と低エネルギー画像に対する強度値(強度値低エネルギーと呼ばれることがある)とをボクセルごとに備える、画像データの単一の組み合わされたセットと見なされることがある。各ボクセルは、画像の座標空間内の関連付けられた位置も有する(ここで、たとえば高エネルギー画像と低エネルギー画像の同時または同時に近い収集の結果として、高エネルギー画像に対する座標空間は、低エネルギー画像の座標空間と同じであってよい)。
デュアルエネルギー(またはマルチエネルギーまたはスペクトル)CTは、低エネルギー画像強度値と高エネルギー画像強度値の両方を使用することによって材料を分離するために使用されてもよい。スキャンエネルギーの一方において類似の減衰を示す材料が、スキャンエネルギーの他方においてと異なる減衰を示すことがある。場合によっては、高エネルギー画像において区別することが困難な減衰を有する材料が、低エネルギー画像において区別することがより簡単な減衰を有することがある。同時に、低エネルギースキャンからの情報だけを使用するのではなく、高エネルギースキャンと低エネルギースキャンの両方からの情報を使用することによって、低エネルギースキャンデータにおけるノイズ問題を克服することがある。
いくつかの材料と関連付けられる減衰は、材料の濃度または密度に依存することがある。材料の濃度の高いサンプルは、濃度の低いサンプルよりも高い減衰(ハンスフィールドユニット単位でのより高いCT値)を有することがある。高エネルギースキャンにおける減衰は濃度とともに変化することがあり、低エネルギースキャンにおける(異なる)減衰も濃度とともに変化することがある。
関係は、高エネルギースキャンにおける濃度を有する減衰の変化と低エネルギースキャンにおける濃度を有する減衰の変化との関係から導出され得る。低エネルギー強度が高エネルギー強度に対してプロットされる場合、異なる材料濃度を表す点は、この低エネルギー強度対高エネルギー強度のプロット上のある直線に沿ってまたはこの近くに位置することがあることが知られている。直線の傾きは材料によって異なることがある、すなわち、異なる材料は、高エネルギースキャンにおける濃度を有する減衰の変化と低エネルギースキャンにおける濃度を有する減衰の変化との異なる関係を有することがあることも知られている。そのような差は、材料の性質、たとえば各材料の原子番号によることがある。たとえば、Thorsten R.C.Johnson、Christian Fink、Stefan O.Schonberg、Maximilian F.Reiser、Dual Energy CT in Clinical Practice、Secaucus、NJ:Springer、2011を参照されたい。
血管のCT画像で見た強度を増加させるために造影剤を使用することがよく知られている。(通常、シングルエネルギーCTシステムからの)造影CTデータは、多数の医学的状態に関連する診断または手術計画に使用されてよい。たとえば、造影CTは、狭窄の評価、たとえば冠動脈、腎動脈、または頸動脈の狭窄の評価に使用されてよい。造影CTは、回路灌流、たとえば肺回路灌流または肝臓もしくは脳における回路灌流を評価するために使用されてよい。
いくつかの状況では、(造影剤が使用される)造影CTデータおよび(造影剤が使用されない)非造影CTデータが同じ被検体に対して収集される。造影CTデータおよび非造影CTデータは、原理上はコントラストされた区域のみが存在することができるサブトラクション画像(たとえば血管のサブトラクション画像)を作製するために使用されてよい。造影CTデータとおよび非造影CTデータの両方を使用するには、少なくとも2つのCTスキャンを、1つは造影剤を使用して、1つは造影剤を使用せずに、撮影することが必要であることがある。
造影CTの多くの使用法において、造影血液経路の正確な識別が重要である場合がある。しかし、カルシウム(たとえば、プラークまたは骨)が存在するとき、造影血液経路の正確な識別が難しい場合がある。カルシウムは、血液中の造影剤、たとえば血液中のヨウ素系造影剤に類似した減衰を有して出現することができる。造影剤材料とカルシウムを確実に区別することが困難な場合がある。
図1は、keV単位の光子エネルギーに対する質量減衰係数(cm2/g単位)のプロットである。材料のCT減衰は、質量減衰係数に直接的に関連することがある。図1では、質量減衰係数は対数目盛上にプロットされる。光子エネルギーに対する質量減衰係数が、3つの材料すなわちヨウ素、カルシウム、および水に対してプロットされる。
異なるエネルギーを有する材料のCT減衰の変化は、材料のZ番号(原子番号)に関連することがある。ヨウ素(Z=53)は、その最大減衰を低エネルギーにおいて有し、エネルギーが高くなるにつれて減衰が小さくなる。
図1のプロットでは、ヨウ素の減衰とカルシウムの減衰の最大の差は、約40〜50keVのエネルギーで見られ得ることが理解されるであろう。これより小さな差が80keVで見られ、さらに小さな差が、80keVよりも上のフォトンエネルギーで見られる。したがって、低い方のエネルギーにおいてよりも、高い方のエネルギーにおいて、ヨウ素系造影剤とカルシウムを区別することが困難な場合がある。
ヨウ素とカルシウムを区別するための最良のスキャンエネルギーは、約40keVであり得る。しかし、そのような低いエネルギーにおいてスキャンを使用するには、スキャナハードウェアに好ましい電流よりも高い電流が必要なことがあり、画像データにおけるノイズの増加につながる場合がある。したがって、たとえば80kVpおよび120kVpにおけるデュアルエネルギーCTスキャンは、許容可能な電流レベルとノイズ性能とを維持しながら、ヨウ素とカルシウムの弁別を助けるために使用されてよい。
いくつかのさらなる問題が、造影剤からカルシウムを分離する困難さに寄与することがある。ノイズ、モーション、造影剤濃度、カルシウム密度、被検体の寸法、CT線量レベル、ビームハードニング、および部分容積効果などの問題によって、各材料が、画像によって、または同じ画像でも部分によって、異なる範囲の強度値を示すことがある。この場合、材料はヨウ素およびカルシウムであるが、類似の影響が、異なる材料の画像にも当てはまることがある。
低い方の濃度の造影剤は、高い方の濃度よりも、カルシウムと区別することが困難な場合がある。しかし、特定の患者、たとえば腎臓の問題を有する患者では、より低い濃度のヨウ素が必要とされることがある。
異なるカルシウム密度を有するカルシウムの領域が、異なる強度を生じさせることがあり、カルシウムに対するある範囲の強度をもたらす場合がある。
低い方のCT線量を用いて撮影された画像は、高い方の線量を用いて撮影された画像よりも、所与の材料に対する強度値のより大きな拡散を示し、したがって材料を区別することをより困難にすることがある。分離性能は、低濃度において強い影響を受けることがある。しかし、CT線量が低いほど、患者の曝露される放射線が少ないことを意味するので、いくつかの状況では、より低い線量を用いて撮影された画像が好ましいことがある。
ビームハードニングとは、CTビームの含む高い(硬い)エネルギーの割合が高くなるような、CTビームが身体を通過するときのそのエネルギー分布の変化である。ビームハードニングは、より低いエネルギーが最初に組織によって吸収されることに起因する場合がある。ビームハードニングによって、被検体全体を通じて材料が同じであっても、その被検体の部分によって強度が異なることがある。
画像は、第1の材料と第2の材料の境界上のボクセルが第1の材料の強度値と第2の材料の強度値との組み合わせである強度値を有する部分容積効果を示すことがある。
ある材料を別の材料と区別することの困難さに加えて、上記の効果の結果、所与の材料が画像によって、または同じ画像でも部分によって、異なる範囲の強度を示すことがある。いくつかの状況では、所与の画像における第1の材料(たとえばカルシウム)の強度の範囲が、その画像における第2の材料(たとえばヨウ素)の強度の範囲と重複することがある。
上記の例示的な従来技術の試みに鑑み、目的は、マルチエネルギー画像データにおいて少なくとも二種類の物質(材料)を簡単且つ高精度に分類することができる医用画像診断装置及び医用画像処理装置を提供することにある。
本実施形態に係る医用画像診断装置は、マルチエネルギー画像データのピクセルまたはボクセルに関連付けられたマルチエネルギー強度情報に基づいて適応的にしきい値を変更する変更ユニットと、前記変更されたしきい値に基づいて、前記マルチエネルギー画像データが有する複数のピクセルまたは複数のボクセルを、少なくとも二種類の物質のそれぞれに対応するピクセルまたはボクセルに分類する分類ユニットと、を具備する。
ヨウ素、カルシウム、および水に対する質量減衰係数対光子エネルギーのプロット。 一実施形態による画像データ処理システムの概略図。 一実施形態の動作のモードを示す概略フロー図。 低エネルギー強度と高エネルギー強度の結合ヒストグラムの一例。 しきい値候補を示す結合ヒストグラム。 複数のしきい値候補を示す結合ヒストグラム。 Jensen−Shannonダイバージェンス対しきい値の傾きのプロット。 決定されたしきい値を示す結合ヒストグラム。 初期ラベリングの領域をカルシウムおよびヨウ素として示す結合ヒストグラム。 期待値最大化法によって決定される楕円形領を示す結合ヒストグラム。 改良されたカルシウムラベルとヨウ素ラベルとを示す結合ヒストグラム。 カルシウムおよびヨウ素へのセグメンテーションを示す、関心領域の三次元プロット。 一実施形態の動作のモードを示すさらなる概略フロー図。 混合プラークファントムの図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 高いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する大きい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 低いヨウ素濃度を有する小さい関心領域からの実験結果を示す図。 ラベリング処理における一実施形態の一実装形態を示す概略フロー図。
一実施形態による医用画像診断システムが、図2に概略的に示されている。医用画像診断システムは、医用画像診断装置14、ディスプレイ16、ならびにコンピュータキーボードおよびマウスなどの1つまたは複数の入力デバイス18に接続された医用画像処理装置(コンピューティング装置)12、この場合はパーソナルコンピュータ(PC)またはワークステーションを備える。本実施形態では、画像データのセットがX線CT装置14によって取得され、メモリ20に記憶される。他の実施形態では、画像データのセットは、リモートメモリからロードされてよい。本実施形態では、各画像データのセットはボクセルの配列を備える。代替実施形態では、各画像データのセットはピクセルの配列を備える。
なお、医用画像診断装置14は、例えば、X線診断装置、X線コンピュータ断層撮像装置(X線CT装置)、磁気共鳴イメージング装置、超音波診断装置、核医学診断装置、PET−CT装置等である。本実施形態では、説明を具体的にするため、医用画像診断装置14は、X線CT装置であるとする。また、本実施形態においては、医用画像処理装置12は、医用画像診断装置14と別体として構成する場合を例示した。しかしながら、当該例に拘泥されず、医用画像診断装置14が医用画像処理装置12を内蔵する構成としてもよい。
医用画像処理装置12は、画像データ内のボクセルを分類するための処理リソースを提供する。医用画像処理装置12は、以下で図2に関して説明される方法を実行するように構成された様々なソフトウェアモジュールまたは他のソフトウェア構成要素をロードおよび実行するように動作可能な中央処理ユニット(CPU)22を備える。
医用画像処理装置12は、画像データのセット内で関心領域を選択するための領域選択ユニット24と、選択された関心領域における強度しきい値を決定するためのしきい値決定ユニット26と、このしきい値に基づいて分類を決定するための分類ユニット28とを含む。
本実施形態では、領域選択ユニット24、しきい値決定ユニット26、および分類ユニット28は各々、医用画像処理装置12において、本実施形態の方法を実行するように実行可能なコンピュータ可読命令を有するプログラムコンピュータによって実施される。しかし、他の実施形態では、1つまたは複数のASIC(特定用途向け集積回路)またはFPGA(フィールドプログラマブルゲートアレイ)として様々なユニットが実施されてもよい。
医用画像処理装置12は、ハードドライブとPCの他の構成要素も含み、PCの他の構成要素は、RAMと、ROMと、データバスと、様々なデバイスドライバを含むオペレーティングシステムと、グラフィックスカードを含むハードウェアデバイスとを含む。わかりやすくするために、そのような構成要素は図2に示されていない。
図1のシステムは、図3のフロー図に概略的に示される一連の段階を実行するように構成される。
図3の段階40では、領域選択ユニット24は、患者のデュアルエネルギーCTスキャンから取得されたボリュメトリック医用画像データセット100をメモリ20から受け取る。画像データセット100は、一連のDICOM(Digital Imaging and Communications in Medicine)ファイルの一部であってよい。他の実施形態では、領域選択ユニット24は、リモートデータストアから、たとえばPicture Archiving and Communication System(PACS)の一部を形成し得るサーバから、画像データセット100を受け取る。さらなる実施形態では、領域選択ユニット24は、画像データセット100をスキャナ14から直接的に受け取る。
本実施形態では、画像データセット100は、120kVのピーク管電圧を有する画像ボリュームの第1のCTスキャンからの強度と80kVのピーク管電圧を有する同じ画像ボリュームの第2のCTスキャンからの強度とを備えるデュアルエネルギーCTデータを備える。第1のCTスキャンのエネルギーは第2のCTスキャンのエネルギーよりも高いので、第1のCTスキャンは、高い方のエネルギースキャンまたは高エネルギースキャンと呼ばれることがある。第2のCTスキャンは、低い方のエネルギースキャンまたは低エネルギースキャンと呼ばれることがある。
画像ボリューム内の各ボクセルは、強度の関連付けられたペア(IHigh,ILow)を有し、IHighは低エネルギースキャン(120kVpでのスキャン)におけるボクセルの強度であり、ILowは低エネルギースキャン(80kVpでのスキャン)におけるボクセルの強度である。IHigh(高エネルギースキャンにおけるボクセルの強度)は、ボクセルの高エネルギー強度と呼ばれることがある。ILow(低エネルギースキャンにおけるボクセルの強度)は、ボクセルの低エネルギー強度と呼ばれることがある。
本実施形態では、第1のCTスキャンと第2のCTスキャンは同時に収集され、したがって、第1のCTスキャンからのデータおよび第2のCTスキャンからのデータはレジストレーションを必要としない。他の実施形態では、第1のCTスキャンと第2のCTスキャンは同時に収集されてもよいし、時間オフセットを持って収集されてもよいし、順次収集されてもよい。必要とされる場合、第1のCTスキャンおよび第2のCTスキャンからのデータは、任意の適切なレジストレーション方法を使用してレジストレーションされてよく、その場合、画像データセット100は、レジストレーションされた第1のCTスキャンデータと、レジストレーションされた第2のCTスキャンデータとを備えることができる。
本実施形態では、画像データセット100はデュアルエネルギーCTデータを備えるが、他の実施形態では、画像データセット100は、少なくとも2つのエネルギーにおける画像強度を備える任意の画像データ、たとえばマルチエネルギーCTスキャンからのCT画像データ、または2つ以上のフォトンエネルギーにおけるデータが取得され得るスペクトルX線CT装置を用いて撮影されたCT画像データを備えてよい。
他の実施形態では、画像データセット100は、任意のモダリティ、たとえばCT、MRI、超音波、PET、またはSPECTの放射線スキャナから取得されたデータを備える。
段階42では、領域選択ユニット24は、画像データセット100からレンダリングされた画像を使用者(たとえばレントゲン技師)に表示する。使用者は、画像内の画像領域、たとえば血管の描出を備える画像領域を選択する。使用者によって選択される画像領域は、カルシウムとヨウ素の両方が存在し得ると使用者が考える画像領域であってよい。
本実施形態では、画像データセット100からレンダリングされ、使用者に表示される画像は、画像データセット100内のボリュメトリック画像データの体軸断面(axial slice)を表す二次元画像である。本実施形態では、使用者は、マウスをクリックおよびドラッグすることによって、表示される体軸断面画像上の方形画像領域を選択する。他の実施形態では、使用者は、任意の適切な選択方法を使用して、表示される体軸断面画像の任意の二次元領域を選択することができる。
さらなる実施形態では、任意の適切な二次元または擬似三次元の画像が、画像データセット100からレンダリングされて使用者に表示されてよく、使用者は、任意の二次元または三次元の画像領域を選択することができる。
いくつかの実施形態では、使用者は、標準的なMPR(多断面再構成)ビュー(冠状、矢状、または体軸)から二次元画像領域を選択する。他の実施形態では、使用者は、使用者が選択した角度でオブリークMPRビューから二次元画像領域を選択する。
いくつかの実施形態では、表示される画像は擬似三次元であり、使用者は、たとえば画像上でマウスを使用して三次元の箱を定義することによって、表示される画像上でボリュメトリック画像領域を定義する。
いくつかの実施形態では、表示される画像は、ボリュームレンダリングされるビューである。いくつかのそのような実施形態では、二次元または三次元の画像領域は、自由に移動する領域作成ツールを使用して選択される。
いくつかの実施形態では、使用者は、画像領域内のボクセルの強度に依存して、二次元または三次元の画像領域を選択することができる。いくつかの実施形態では、自動または半自動のセグメンテーションが画像データ上で実行され、使用者は、このセグメンテーションに依存して、二次元または三次元の画像領域を選択する。たとえば、一実施形態では、セグメンテーションのしきい値処理方法が画像データに適用され、単純なスライダバーコントロールが、セグメンテーションの強度しきい値を調整するために使用されてよい。そのような実施形態では、使用者は、スライダバーコントロールを使用して、高強度領域をセグメンテーションし、次にその領域を二次元または三次元の画像領域の少なくとも一部として選択することができる。
任意の適切な選択方法が、二次元または三次元の画像領域を選択するために、たとえばマウス、トラックボール、キーボードコマンド、音声コマンド、または他の任意の適切な選択方法を使用した選択に使用されてよい。
領域選択ユニット24は、本実施形態では二次元画像領域である、使用者が選択した画像領域を受け取る。領域選択ユニット24は、使用者が選択した画像領域に依存して、画像ボリュームの一部を選択する。
本実施形態では、領域選択ユニット24によって選択される画像ボリュームの一部は、画像ボリューム内の三次元サブボリュームである。この選択される三次元サブボリュームは、関心領域と呼ばれることがある。本実施形態では、三次元サブボリュームは、体軸断面画像上で使用者によって選択される二次元画像領域のx座標およびy座標に対応するx座標とy座標(体軸断面の平面内の座標)と、領域選択ユニット24によって決定されるz(断面に垂直な軸)における長さとを有する直方体を備える。本実施形態では、直方体のz次元は、使用者が画像領域を選択した体軸断面が中心に置かれる。
本実施形態では、サブボリュームのzにおける長さは、スキャナの座標系における距離と規定される。たとえば、zにおける長さは、30mmであるように決定されてよい。さらなる実施形態では、サブボリュームのzにおける長さは、いくつかの断面、たとえば10断面と規定される。本実施形態では、サブボリュームのzにおける長さは、領域選択ユニット24に記憶される固定長である。代替実施形態では、サブボリュームのzにおける長さは、使用者によって選択されてもよいし、領域選択ユニット24に記憶されてもよいし、領域選択ユニット24によって計算されてもよい。一実施形態では、サブボリュームのzにおける長さは、使用者によって選択される画像領域のxにおける長さまたはyにおける長さと同じであるように、領域選択ユニット24によって決定される。別の実施形態では、サブボリュームのzにおける長さは、使用者によって選択される画像領域のxにおける長さとyにおける長さの関数、たとえば使用者によって選択される画像領域のxにおける長さとyにおける長さの平均であるように決定される。
本実施形態では、三次元サブボリュームのx座標およびy座標は、使用者が選択した画像領域のx座標およびy座標と同じであるが、他の実施形態では、サブボリュームは、xまたはyにおいて、使用者が選択した画像領域よりも大きくてもよいし、小さくてもよい。たとえば、サブボリュームは、xおよび/またはyにおいて、使用者が選択した画像領域プラス追加領域を備えてよい。いくつかの実施形態では、サブボリュームは、全画像ボリュームのサイズ以下の任意のサイズを有してよい。
本実施形態では、使用者は、表示された二次元画像上で二次元画像領域を選択するが、他の実施形態では、使用者は、レンダリングされた擬似三次元画像上で三次元画像領域を選択する。そのような実施形態では、領域選択ユニット24は、選択された三次元画像領域に依存して、三次元サブボリュームを選択する。この三次元サブボリュームは、三次元画像領域に対応してよい。この三次元サブボリュームは、三次元画像領域に基づいてもよい。たとえば、この三次元サブボリュームは、x、y、およびzのうち1つまたは複数において、三次元画像領域よりも大きくてもよい。
本実施形態では、サブボリューム(関心領域)は三次元であるが、他の実施形態では、サブボリューム(関心領域)は二次元であってよい。たとえば、サブボリュームは、単一の体軸断面上のボクセルを備えることができる。そのうえ、いくつかの実施形態では、画像データセット100は二次元画像データを備えることができ、その場合、サブボリュームは、二次元画像領域内のピクセルを備えることができる。
領域選択ユニット24は、選択されたサブボリューム内のボクセル(さらなる実施形態では、選択されたサブボリューム内のピクセル)に関連付けられた強度データを備える画像データセット100のサブセット110を選択する。画像データサブセット110は、選択されたサブボリューム内の各ボクセルに対する(IHigh,ILow)強度値を備える。
領域選択ユニット24は、画像データサブセット110をしきい値決定ユニット26に渡す。
段階44では、しきい値決定ユニット26は、画像データサブセット110にフィルタを適用して、低い強度(低いIHighおよび/または低いILow)を有するボクセルに関連付けられたデータを除去する。段階44のフィルタ処理は、カルシウムもヨウ素も表さないボクセル、たとえば軟部組織を表すボクセルに関連付けられ得るデータを除去することができる。
いくつかの実施形態では、データを除去することは、画像データサブセット110からデータを削除することを備える。他の実施形態では、データを除去することは、画像データサブセット110からデータを削除することを備えない。いくつかの実施形態では、データを除去することは、データが図3の処理の残りの部分で使用されないようにデータにフラグを立てることを備える。
本実施形態では、フィルタは、しきい値を備える。本実施形態では、しきい値は100HUである。しきい値を下回るIHighおよび/またはしきい値を下回るILowを有する各ボクセルのデータは、画像データサブセット110から除去される。さらなる実施形態では、異なるしきい値が使用される。代替実施形態では、異なるしきい値がIHighに、およびILowに設定される。
他の実施形態では、フィルタはILowのしきい値のみを備え、しきい値を下回るILowを有する各ボクセルのデータが画像データサブセット110から除去される。さらなる実施形態では、フィルタはIHighのしきい値のみを備え、IHigh値がしきい値を下回る各ボクセルのデータが画像データサブセット110から除去される。他の実施形態では、フィルタは、IHighとILowの組み合わせのしきい値を備える。たとえば、IHighとILowの合計が特定の値を下回る場合、その(IHigh,ILow)値を有するボクセルのデータが画像データサブセット110から除去される。
本実施形態では、フィルタは、100HUを下回るIHighを持つ(IHigh,ILow)値を有するボクセルをフィルタ除去する。他の実施形態では、異なるしきい値が使用される。本実施形態では、フィルタしきい値(100HU)は、しきい値決定ユニット26によって記憶される固定値である。他の実施形態では、フィルタしきい値は、使用者によって入力または選択されてもよいし、任意の自動処理、半自動処理、または手動処理によって決定されてもよい。いくつかの実施形態では、しきい値は経験的に決定される。
代替実施形態では、使用者は、任意の方法を使用して、図3の処理の後続の段階に含めることを使用者が望まない領域を除去することができる。たとえば、使用者は、関心領域を修正するための逐次的方法を使用することができる。いくつかの実施形態では、望ましくない領域を選択するために、自動的な方法が使用されてよく、この方法は、しきい値に基づいてもよいし、基づかなくてもよい。
画像データサブセット110をフィルタすることによって、カルシウムまたはヨウ素のどちらかを表す可能性の低いボクセルに関連付けられた強度値が除去されてよく、図3の処理の後続の段階において使用されなくてもよい。
軟部組織のボクセルとカルシウムおよび/またはヨウ素のボクセルの間に、強度(ILow、IHigh、または両方)の大きな差が存在することがあるので、いくつかの状況では、固定しきい値を使用して、カルシウムおよび/またはヨウ素を表すボクセルから軟部組織ボクセルを分離することが可能な場合がある。カルシウムの強度の範囲は、ヨウ素の強度の範囲に近いかまたはこれと重複することがあるが、カルシウムの強度の範囲とヨウ素の強度の範囲の両方が、軟部組織の強度の範囲よりも著しく高いこともあり、したがって、軟部組織とカルシウムとヨウ素とを含む画像から軟部組織ボクセルを除去するために、固定しきい値が使用されてもよい。
さらなる実施形態では、低強度ボクセルを除去するためにフィルタが使用されず、段階44は省略される。他の実施形態では、フィルタは、図3の処理の任意の段階で、たとえば段階42でサブボリュームが選択される前、または段階46で結合ヒストグラムが算出された後、適用されてよい。
段階46では、しきい値決定ユニット26が、段階44のフィルタの後で画像データサブセット110に残っている(IHigh,ILow)強度値の結合ヒストグラム200を算出する。各(IHigh,ILow)値は、段階42で領域選択ユニット24によって選択されたサブボリューム内のボクセルに関連付けられる。
そのような結合ヒストグラム200の一例が図4に示されている。結合ヒストグラム200のx軸202はIHigh、すなわち高エネルギースキャンからの強度であり、結合ヒストグラム200のy軸204はILow、すなわち低エネルギースキャンからの強度である。IHighおよびILowは各々、ハンスフィールドユニット単位で測定される。代替実施形態では、x軸はILowとすることができ、y軸はIHighとすることができる。
結合ヒストグラム200は、等しいサイズの複数の二次元ビンを備える。各(IHigh,ILow)値は、結合ヒストグラム200内の二次元ビンに入る。(フィルタ処理された)画像データサブセット110内の各ボクセルは、その(IHigh,ILow)値に対応するビンに割り当てられると言うことができる。
いくつかの実施形態では、各ビン内のボクセルの数は、色として表され得る。グレースケール値を含むことができる任意の適切な色が使用されてよい。たとえば、一実施形態では、少数のボクセルを含むビンは、青色として表される。多数のボクセルを含むビンは、赤色として表される。中間の数のボクセルを含むビンは、青色と赤色の間のスペクトル上の色によって表される。他の実施形態では、色分けされたビンによるディスプレイ以外の方法でビンが表示される。さらなる実施形態では、結合ヒストグラム200は表示されない。
図4では、各ビン内のボクセルの数はシェーディングによって表され、結合ヒストグラムの白色領域は、少数のボクセルを含むビンを表し、暗色のシェーディングは、多数のボクセルを含むビンを表し、明色のシェーディングは中間値を表す。
本実施形態では、ビンのサイズは、5ハンスフィールドユニット×5ハンスフィールドユニットである。他の実施形態では、任意のビンのサイズが使用されてよい。本実施形態では、ビンのサイズは固定されており、ビンのサイズはしきい値決定ユニット26に記憶される。代替実施形態では、ビンのサイズは、しきい値決定ユニット26によって決定される。たとえば、ビンのサイズは、サブセット110内のボクセルに関連付けられた強度の範囲に基づいて決定されてよい。他の実施形態では、ビンのサイズは、使用者によって選択される。さらなる実施形態では、ビンのサイズを決定する任意の適切な方法が使用されてよい。
類似の(IHigh,ILow)値を有する多数のボクセルは、結果として、結合ヒストグラム200上のビンのクラスタ206をもたらすことができ、クラスタ206内の各ビンは、クラスタ外部のビンと比較すると、より多数のボクセルを含む。たとえば、選択されたサブボリュームが、ヨウ素を表す多数のボクセルを含む場合、ここでヨウ素が一定の濃度を有し、それらのボクセルは、結合ヒストグラム200上のビンのクラスタ206を形成することができることが期待され得る。
異なる材料を表すボクセルは、結合ヒストグラム200上の異なるクラスタ206を形成することができる。たとえば、高エネルギースキャン(類似のIHigh)内の類似の強度を有するボクセル2つの材料が、低エネルギースキャン(異なるILow)内の異なる強度を有し、したがって、別個のクラスタ206を形成することができる(いくつかの状況では、重複することができる)。
材料の濃度によって異なる減衰を有することができること、したがって、材料の異なる濃度を表すボクセルは、(IHigh,ILow)結合ヒストグラム200の異なる領域内のクラスタ206を形成することができる、または(IHigh,ILow)結合ヒストグラム200の拡張領域の上に分布する単一クラスタ206を形成することができることが知られている。
第1の材料の異なる濃度または密度を表すボクセルの(IHigh,ILow)強度値は結合ヒストグラム200内の第1の直線上またはその近くに位置することができること、および第2の材料の異なる濃度または密度を表すボクセルの(IHigh,ILow)強度値は結合ヒストグラム200内の第2の直線上またはその近くに位置することができ、第2の直線は第1の直線と異なることが知られている。一般に、異なる材料を表すボクセルの(IHigh,ILow)値は、異なる線に沿って位置することができる。異なる線は各々、水の点(water point)を通過することができ、水の点は(IHigh=0,ILow=0)として定義される。たとえば、Thorsten R.C.Johnson、Christian Fink、Stefan O.Schonberg、Maximilian F.Reiser、Dual Energy CT in Clinical Practice、Secaucus、NJ:Springer、2011を参照されたい。
しかし、実際には、上記で説明された様々な影響(たとえば、ノイズ、ビームハードニング、または部分容積効果)によって、特定の材料のボクセルの強度が結合ヒストグラム200の上に拡散し、第1の材料のボクセルと第2の材料のボクセルを区別することが困難になることがあることがわかっている。各クラスタ206は、そうではない場合よりも広く拡散されることがある。実際には、異なる材料のクラスタ206が重複することがある。そのうえ、上記で説明された影響の結果として、各直線の傾きおよび/または切片は、画像によって、または同じ画像でも領域によって、異なることがある。
図4の結合ヒストグラム200は、強度値の3つのクラスタ206を表示する。1つのクラスタ206は、(70,100)のまわりの(IHigh,ILow)値を有する。多数のボクセルが(70,100)のまわりのビンのクラスタ内に存在し、そのため、(70,100)のまわりのクラスタの中心には、赤色が付けられる(図4では、暗色のシェーディングによって表される)。別のクラスタ206は(110,200)のまわりの(IHigh,ILow)値を有し、他のクラスタ206は(120,180)のまわりの(IHigh,ILow)値を有する。
カルシウムを表すボクセルは、結合ヒストグラム200内の第1の線上またはその近くに位置する(IHigh,ILow)値を有することができること、ヨウ素を表すボクセルは、結合ヒストグラム200内の第2の線上またはその近くに位置する(IHigh,ILow)値を有することができること、したがって、カルシウムのボクセルを含むビンをヨウ素のボクセルを含むビンとほぼ分ける結合ヒストグラム200内の線(二次元しきい値)を決定することが可能であり得ることが予想される。その線の位置は、画像によって異なってよい。図3の処理の段階48〜52は、そのような線を決定することを目的とし、この線は二次元しきい値と呼ばれることがある。
段階48では、しきい値決定ユニット26はしきい値候補208のセットを決定する。本実施形態では、各しきい値候補208は、結合ヒストグラム200上の直線である。
本実施形態では、各しきい値候補208は直線であるが、他の実施形態では、各しきい値候補208は、IHighとILowの任意の適切な関数であってよい。たとえば、各しきい値候補208は曲線であってよい(本実施形態の線モデルは、より高次の曲線モデルと置き換えられる)。
図5は、しきい値候補208が示されている、図4の結合ヒストグラム200を示す。
図6は、しきい値候補線208のファンビームとして示される、しきい値候補208のセットを示す。本実施形態では、各しきい値候補208は、(0,0)においてある切片を有する直線であるが、しきい値候補線208の各々は異なる傾きを有する。
本実施形態では、各しきい値候補208の傾きは、IHigh/ILowの比として表され得る。本実施形態における傾きの範囲は0.4から1であり、0.01の増分を有する。代替実施形態では、傾きおよび/または傾き間の増分は、ILow/IHighの比として表されてもよいし、ある角度として表されてもよいし、他の任意の適切な方法を使用して表されてもよい。
本実施形態では、各しきい値候補208は、(0,0)においてある切片を有する直線である。他の実施形態では、しきい値候補208のうちいくつかまたはすべては、異なる切片を有することができる。
他の実施形態では、しきい値候補208のセットは、図6に示されるしきい値候補208のセットと異なる範囲の傾きまたは隣接するしきい値候補208間の傾きの異なる増分を有することができる。いくつかの実施形態では、しきい値候補208は、角度において均等に離隔されるか、または傾きにおいて均等に離隔される。他の実施形態では、しきい値候補208は均等に離隔されない。いくつかの実施形態では、傾きの範囲は、図6に示されるしきい値候補208の傾きの範囲よりも大きくてもよいし、小さくてもよい。いくつかの実施形態では、傾きの範囲は、ヒストグラム全体にわたって広がることができる。
いくつかの実施形態では、しきい値候補208のうちの1つもしくは複数の傾きおよび/もしくは切片ならびに/またはしきい値候補208の傾き間の増分は、使用者によって決定されてよく、たとえば使用者によって手動で決定されてよい。たとえば、使用者は、中心のしきい値候補208、しきい値候補208の範囲、またはしきい値候補208間の増分を定義することができる。
いくつかの実施形態では、傾きの範囲、線のうちのいくつかもしくはすべての切片、および/または傾き間の増分は、しきい値決定ユニット26によって半自動的または自動的に決定されてよい。たとえば、傾きの範囲、またはしきい値候補208間の角度もしくは傾きの増分は、結合ヒストグラム200内の(IHigh,ILow)強度値の広がりに依存して決定されてよい。いくつかの実施形態では、傾きの範囲、線のうちのいくつかもしくはすべての切片、および/または傾き間の増分は所定であり、しきい値決定ユニット26に記憶されてよい。
いくつかの実施形態では、しきい値候補208の傾きの範囲、切片、または傾き間の増分は、事前知識を使用して決定されてよい。そのような事前知識は、たとえば、他の画像データまたは同じ画像データ内の他のサブボリュームに対して実行されるときの図3の処理の結果を備えることができる。
段階50では、しきい値決定ユニット26は、段階48でしきい値決定ユニットによって決定されるしきい値候補208に対して逐次処理を実行する。
しきい値決定ユニット26は、第1のしきい値候補208、たとえば図5に示されるしきい値候補208を選択する。しきい値決定ユニット26は、図5に示されるように、結合ヒストグラム200をしきい値候補208より上の第1の領域Aとしきい値候補208より下の第2の領域Bに分割する。
本実施形態では、しきい値208より上の結合ヒストグラム200の領域Aは、しきい値候補線208よりも大きいIHighおよび小さいILowの領域である。領域A内の点は、しきい値候補線208上の最も近い点よりも大きいIHighおよび/または小さいILowを有する。しきい値候補線208より下の結合ヒストグラム200の領域Bは、しきい値候補線208よりも大きいILowおよび小さいIHighの領域である。領域B内の点は、しきい値候補線208上の最も近い点よりも大きいILowおよび/または小さいIHighを有した。
代替実施形態では、結合ヒストグラム200の軸は異なるように示されてよく、たとえば結合ヒストグラム200の左下隅に(0,0)を有する。そのような実施形態では、領域Aは、線より下の領域(しかし、依然として、より大きいIHighおよびより小さいILowの領域)であってよく、領域Bは、線より上の領域(しかし、依然として、より大きいILowおよびより小さいIHighの領域)であってよい。
領域Aおよび領域Bの各々は、ボクセルのグループ(その領域内のビン内のボクセル)を備える。領域A内のボクセルのグループの(IHigh,ILow)強度は、強度の第1の二次元分布を形成する。領域A内のボクセルのグループの(IHigh,ILow)強度は、強度の第2の二次元分布を形成する。
第1のしきい値候補208に対して、しきい値決定ユニット26は、領域A内のビン内のボクセルの(IHigh,ILow)値の分布と領域B内のビン内のボクセルの(IHigh,ILow)値の分布との統計的相違度を表すメトリックを計算する。代替実施形態では、分布間の統計的相違度を決定する任意の適切な方法が使用されてよい。二次元(IHigh,ILow)分布間の統計的相違度を決定することは、以下で説明されるように、二次元分布から導出されたまたはこれに関連付けられた一次元分布間の統計的相違度を決定することを備えることができる。
いくつかの実施形態では、しきい値決定ユニット26は、比較されるべき2つの分布間の相互の統計的従属性を計算する任意の確率分布距離メトリックを決定することができる。メトリックを形成するために個別にまたは組み合わせて使用され得る異なる量は、Jensen−Shannonダイバージェンス、相互情報量、またはエントロピー(周辺もしくは結合)を備えることができる。
本実施形態では、しきい値決定ユニット26は、領域A内のビン内のボクセルに対する低エネルギー強度の周辺分布と、領域B内のビン内のボクセルに対する低エネルギー強度の周辺分布とを決定する。
領域Aに対する周辺分布を決定することは、領域A内のビン内のボクセルのILow値の一次元分布(一次元ヒストグラム)を取得することを備える。領域Aに対する周辺分布を決定することは、結合ヒストグラム200の領域A内の(IHigh,ILow)値を結合ヒストグラム200の低エネルギー(ILow)軸に投影することを備えることができる。その結果得られる周辺分布は、x軸上のハンスフィールドユニット単位のILowとy軸上のボクセルの数とを有するプロット上に表示され得る一次元ヒストグラムである。本実施形態では、この一次元ヒストグラムは、結合ヒストグラムと同じILowビンのサイズを有する。図4の結合ヒストグラム200がILow軸に投影されるとき、結果として得られる一次元ヒストグラムに3つのピークが見られることがあり、そのうちの2つはILowにおいて互いに近い。
領域Bに対する周辺分布を決定することは、領域B内のビン内のボクセルのILow値の一次元分布(一次元ヒストグラム)を取得することを備える。領域Bに対する周辺分布を決定することは、結合ヒストグラム200の領域B内の(IHigh,ILow)値を結合ヒストグラム200の低エネルギー(ILow)軸に投影することを備えることができる。
しきい値決定ユニット26は、領域Aに対する周辺分布と領域Bに対する周辺分布のJensen−Shannonダイバージェンスを決定する(ここで、領域Aおよび領域Bはそれぞれ、第1のしきい値候補208の上および下にある)。
領域Aに対する周辺分布と領域Bに対する周辺分布が類似している場合、2つの周辺分布のJensen−Shannonダイバージェンスは小さくなり得る。類似の周辺分布は、同じ材料が両方の領域内に存在することを示すことができる。
領域Aに対する周辺分布と領域Bに対する周辺分布が異なる場合、2つの周辺分布のJensen−Shannonダイバージェンスは大きくなり得る。異なる周辺分布は、異なる材料が各領域内に存在することを示すことができる。
しきい値決定ユニット26が、第1のしきい値候補208に対する周辺分布のJensen−Shannonダイバージェンスを決定すると、しきい値決定ユニット26は、第2のしきい値候補208を選択する。
しきい値決定ユニット26は、第2のしきい値候補208に従って、結合ヒストグラム200を2つの領域すなわち領域Aおよび領域Bに分割する。第1のしきい値候補208と第2のしきい値候補208が、異なる傾きおよび/または切片を有する場合、第2のしきい値候補208に対する領域Aおよび領域Bは、第1のしきい値候補208に対する領域Aおよび領域Bと異なる。
しきい値決定ユニット26は、領域A内のビン内のボクセルのILow値を備える領域Aに対する周辺分布を決定する。しきい値決定ユニット26は、領域B内のビン内のボクセルのILow値を備える領域Bに対する周辺分布を決定する。しきい値決定ユニット26は、領域Aに対する周辺分布と領域Bに対する周辺分布のJensen−Shannonダイバージェンスを決定する(ここで、領域Aおよび領域Bはそれぞれ、第2のしきい値候補208の上および下にある)。
しきい値決定ユニット26は、さらなるしきい値候補208を選択し、結合ヒストグラム200をしきい値候補208に従って領域AおよびBに分割し、領域Aに対する周辺分布と領域Bに対する周辺分布とを決定し、領域Aおよび領域Bの周辺分布に対するJensen−Shannonダイバージェンスを決定する処理を、Jensen−Shannonダイバージェンスがしきい値候補208の各々に対して決定されるまで繰り返す。
Jensen−Shannonダイバージェンスとは、2つの確率分布間の類似性を推定するためのメトリックである(Jianhua Lin、「Divergence measures based on the Shannon Entropy」、IEEE Transactions on Information Theory第37巻第1号、1991年1月を参照されたい)。Jensen−Shannonダイバージェンスは、Kullback−Leibler分散の一次結合である。Kullback−Leibler分散は距離間のための統計量であるが、Kullback−Leibler分散は、無限値を有することができ、対称的ではない。したがって、Kullback−Leibler分散は、メトリックとして直接的に使用できないことがある。対照的に、Jensen−Shannonダイバージェンスは対称的で有限であり、メトリックとして使用されるのに適している。
2つの分布PおよびQのJensen−Shannonダイバージェンスは、以下の式
によって定義され得、ここで、
PおよびQは比較されるべき2つの確率分布、
JSD(P||Q)はPおよびQのJensen−Shannonダイバージェンス、
ここで、MはPおよびQの平均確率分布である。Mは、分布Pおよび分布QのKullback−Leibler分散が計算される参照分布として使用され、
D(P||M)は分布Pと分布MのKullback−Leibler分散距離、
D(Q||M)は分布Qと分布MのKullback−Leibler分散距離である。
Jensen−Shannonダイバージェンスメトリックの限界は0≦JSD(P||Q)≦1である。
各しきい値候補208に対して、領域A(しきい値候補208より上の領域)に対して導出される周辺ヒストグラムはMargHist_Aと表されることがあり、領域B(しきい値候補208より下の領域)に対して導出される周辺ヒストグラムはMargHist_Bと表されることがある。領域Aに対する周辺分布および領域Bに対する周辺分布のJensen−Shannonダイバージェンスは、
である。
本実施形態では、各しきい値候補208は関連付けられた傾きSを有し、すべてのしきい値候補208は(0,0)において共通切片を有する。
しきい値決定ユニット26は、各しきい値候補208に対するJensen−Shannonダイバージェンスを決定し、これは、しきい値候補208によって表される傾きの範囲内の各傾きSに対するJensen−Shannonダイバージェンスを決定することと説明され得る。
段階52では、しきい値決定ユニット26は、しきい値候補208の各々に対する傾きSに対してJensen−Shannonダイバージェンスをプロットし、それによって、しきい値候補208の傾きの範囲に対する傾きに対するJensen−Shannonダイバージェンスのプロットを取得する。
Jensen−Shannonダイバージェンス対傾きのプロットの一例が図7に示されている。図7では、プロットは、画面上に表示されているかのように示されているが、多数の実施形態では、傾きに対するJensen−Shannonダイバージェンスのプロットはしきい値決定ユニット26によって計算されるが、表示されない。
しきい値決定ユニット26は、傾きに対するJensen−Shannonダイバージェンスのプロットが2つの極小値の間に極大値を含むかどうか判断する。
傾きに対するJensen−Shannonダイバージェンスのプロットが、2つの極小値の間に極大値を含まない場合、しきい値決定ユニット26は、図3の処理が実行される関心領域は関心材料のうち1つのみ(この実施形態では、カルシウムまたはヨウ素)を含むと判断する。結合ヒストグラム200上でプロットされる関心領域内のボクセルのすべては、1つのクラスに割り当てられる。
たとえば、標準的なデュアルエネルギーCTA(頸動脈造影検査法または冠動脈造影検査法)検査において画像化されるボリュームは、大量の造影剤を常に有することができるが、カルシウムを常に存在させるとは限らないことがある。完全に健康な人間は、血管にカルシウムがないことがある。そのような場合、血管の描出を備える関心領域は、ヨウ素のみを含み、カルシウムを含まないことがわかることがある。したがって、結合ヒストグラム200のすべてのボクセルが単一クラスに含まれるように決定される場合、そのクラスはヨウ素であるように決定されることがある。分類ユニット28は、結合ヒストグラム200内のすべてのボクセルにヨウ素とラベリングする。
傾きに対するJensen−Shannonダイバージェンスのプロットが、2つの極小値の間に極大値を含む場合、しきい値決定ユニット26は、この2つの極小値の間の極大値に対応するしきい値候補208を識別する。
たとえば、図7のプロットは、2つの極小値212の間に極大値210を含む。Jensen−Shannonダイバージェンスは、プロットの傾きの小さい領域および傾きの大きい領域において高い。
図7では、Jensen−Shannon分散は、まさに最も小さい傾き値で減少する。これは、2つの周辺分布のうち1つが空である状況に割り当てられているJensen−Shannonダイバージェンスに対するゼロ値の結果である。代替実装形態では、2つの周辺分布のうち1つが空であるとき、非常に大きいJensen−Shannonダイバージェンスが割り当てられることがある。図7に対してJensen−Shannon分布に対するゼロ値は極小値212であると考えられず、その代わりに、Jensen−Shannonプロットの特定の実装形態の特徴である。
大きい傾きおよび小さい傾きにおけるJensen−Shannonダイバージェンスの高い値は、プロットの端の近くにおいて傾き(たとえば、0.4に近い傾きまたは1に近い傾き)を有するしきい値候補208が、結合ヒストグラム20を、カルシウムを表すボクセルの強度のすべてまたはほとんどすべてを含み、ヨウ素を表すボクセルの強度のすべてまたはほとんどすべても含む第1の領域と、カルシウムまたはヨウ素のどちらかを表すボクセルの強度を含まないまたはそのようなボクセルの多くの強度を含まない第2の領域に分割することができるからである可能性がある。第1の領域と第2の領域の間の分布は異なっており、したがって、Jensen−Shannonダイバージェンスは高い。
傾きに対するJensen−Shannonダイバージェンスのプロット上の最小値に対応する傾き(図7では、約0.5または0.65の傾き)を有するしきい値候補208は、結合ヒストグラム200を、カルシウムを表す多数のボクセルを各々が含む2つの領域またはヨウ素を表す多数のボクセルを各々が含む2つの領域に分割することができる。したがって、2つの領域内の分布は類似することがあり、Jensen−Shannonダイバージェンスが低いことがある。
Jensen−Shannonダイバージェンスが極大値を有するしきい値候補208は、カルシウムをヨウ素から最も効果的に分離するしきい値候補208であるように判断される。これは、複数の分布がそれらの間の最も低い依存性を有するように分布を分離する線である。しきい値決定ユニット26は、極大値に対応する傾きを有するしきい値候補、図7では0.58の傾きを有するしきい値候補を選択する。選択されたしきい値220が、図8の結合ヒストグラム200上にプロットされている。境界線224を有するカルシウム領域および境界線226を有するヨウ素領域への結合ヒストグラム200の分割が図9に示されている。この実施形態では、選択されたしきい値220を使用して行われる分割は近似分割であり、カルシウムをヨウ素からほぼ分離する。選択されたしきい値220を使用して行われる分割は、図3の処理の後続の段階で改良される。
本実施形態では、選択されたしきい値220は、しきい値候補208の1つである。他の実施形態では、選択されたしきい値220は、しきい値候補208の1つでなくてもよい。たとえば、選択されたしきい値220は、計算された2つのしきい値候補208の傾き間に存在する傾きを有する線であってもよい。たとえば、曲線はJensen−Shannonダイバージェンス対傾きのプロットに適合されてよく、曲線の最大値は、しきい値候補208の1つに使用される傾き値でない傾き値において発生してよい。選択されたしきい値は、曲線の最大値の傾き値を有してよい。
段階54では、しきい値決定ユニット26は、選択されたしきい値220を分類ユニット28に渡す。分類ユニット28は、選択されたしきい値220より上の領域224内で(IHigh,ILow)値を有するボクセルをカルシウムとラベリングする。分類ユニット28は、選択されたしきい値220より下の領域226内で(IHigh,ILow)値を有するボクセルをヨウ素とラベリングする。
図3の処理の段階54において分類ユニット28によって加えられるラベルは、初期ラベルと説明されることがある。初期ラベルは、各ボクセルの材料の正確な決定を提供しないことがある。むしろ、初期ラベルは、適切な材料ラベルを近似することができるカルシウムとヨウ素の大まかな分離を提供することがある。初期ラベルは、結合ヒストグラム200内に表される各ボクセルがカルシウムまたはヨウ素のどちらかとラベリングされる二値の非確率的ラベリングを構成する。
図3の処理の段階46〜54は、関心領域におけるカルシウムおよびヨウ素の近似ラベリングを提供することができる。段階46〜54は、カルシウムおよびヨウ素の初期分離を提供することができ、この初期分離は、次いで、図3のさらなる段階において改良され得る。段階46〜54は、カルシウムとヨウ素を分離する処理における第1の段階と総称して説明されることがあり、この第1の段階は、教師なしパラメトリック分離を備える。
段階56では、分類ユニット28は、期待値最大化(EM)アルゴリズムを使用して、段階54のラベリングを改良し、カルシウムおよびヨウ素の各々に対するモデルを推定する。期待値最大化(EM)アルゴリズムは、TK Moonによって、「The expectation maximization algorithm」、Signal Processing Magazine、IEEE、第13巻、47〜60ページ、1996年11月に記載されている。
図3の実施形態で使用されるEMアルゴリズムは、逐次クラスタモデル推定アルゴリズムである。このアルゴリズムは、統計モデルにおいてパラメータの最尤推定値を見つけることによって、モデルパラメータを推定する。
本実施形態では、EMアルゴリズムは、結合ヒストグラム上のカルシウムおよびヨウ素の各々の分布がガウス分布であると仮定する。EMアルゴリズムは、したがって、カルシウム強度に対するガウスモデルと、ヨウ素強度に対するガウスモデルとを決定する。ガウスモデルは、結合ヒストグラム上で楕円によって表されることがある。
分布がガウス分布であると仮定される本実施形態では、期待値最大化アルゴリズムによって推定されるモデルパラメータは、各材料のガウス分布に対する平均および共分散マトリクスを備える。他の実施形態では、分布はガウス分布であると仮定されないことがある。
さらなる実施形態では、異なるモデル推定アルゴリズムが段階56において使用され、段階54の二値ラベリングを改良してもよい。いくつかの実施形態では、任意のクラスタ適合アルゴリズムが使用されてよい。任意のデータクラスタリングアルゴリズム、たとえば、ハードパーティションベースのクラスタリングアルゴリズム、ファジーパーティションベースのクラスタリングアルゴリズム、分布ベースのクラスタリングアルゴリズム、または密度ベースのクラスタリングアルゴリズムが使用されてよい。ハードパーティションベースのクラスタリングアルゴリズムは、たとえば、K平均アルゴリズムまたはK平均アルゴリズムの変法を備えてよい。ファジーパーティションベースのクラスタリングアルゴリズムは、たとえば、ファジーC平均法またはソフトK平均法を備えてよい。分布ベースのクラスタリングアルゴリズムは、たとえば、期待値最大化アルゴリズムによるガウス混合モデルクラスタリングまたは期待値最大化アルゴリズムを有する非ガウス混合モデルクラスタリングを備えてよい。密度ベースのクラスタリングアルゴリズムは、たとえば、DBSCAN(density based spatial clustering of applications with noise)またはOPTICS(ordering points to identify the clustering structure)を備えてよい。
本実施形態では、期待値最大化アルゴリズムは、各ボクセルに対する高エネルギー強度および低エネルギー強度値(IHigh,ILow)に加えて、各ボクセルに対する位置情報(画像データの座標空間内のx座標、y座標、z座標)を使用する。ヨウ素およびカルシウムは、空間領域に十分に含まれると仮定され得る。そのような状況では、位置近接性が、ヨウ素とカルシウムとを分離するのに有用な手段であることがある。
EMアルゴリズムは、段階54で取得された二値ラベルを使用して初期化される。いくつかの実施形態では、段階54からの二値ラベルを使用した初期化は、他の方法を使用した初期化、たとえばランダムなグループ分けを使用した初期化よりも一貫性のある結果を提供することができることがわかっている。
本実施形態では、EMアルゴリズムはガウスモデルを生成する。各ガウスモデルは、結合ヒストグラム200上にプロットされたとき、楕円として現れる。したがって、EMモデルは、カルシウムに対する楕円と、ヨウ素に対する楕円とを推定する。カルシウムに対する楕円は、結合ヒストグラム200上でヨウ素に対する楕円と重複することがある。
本実施形態では、EMアルゴリズムは、データ中のクラスの数を推定しない。本実施形態では、カルシウムボクセルの強度は結合ヒストグラム200内で第1の線に沿って存在すると予想され、ヨウ素ボクセルの強度は結合ヒストグラム200内で第2の異なる線に沿って存在すると予想されるので、EMアルゴリズムは、分類を、固定された2つのクラスの問題として(ヨウ素を第1のクラスとして、カルシウムのすべての可能な密度を第2のクラスとして)扱う。本実施形態では、分離は、ヨウ素とカルシウムとを分離することのみに関し、軟部組織のボクセルは段階44でフィルタ除去されていると予想される。EMアルゴリズムは、要求されるクラスの数のみを推定する。
EMアルゴリズムの出力は確率的である。本実施形態では、各ボクセルに対して、分類ユニット28は、EMアルゴリズムを使用して、ボクセルがカルシウムである確率と、ボクセルがヨウ素である確率とを決定する。他の実施形態では、各確率は、可能性または信頼水準と表され得る。
さらなる実施形態では、EMアルゴリズムの代わりに、任意の適切なアルゴリズムが使用されてよい。いくつかの実施形態では、各クラスタは、ガウス分布ではなく代替分布に適合される。
図10は、図4の結合ヒストグラム200を示し、カルシウムのボクセルが存在するとEMアルゴリズムが決定した結合ヒストグラム200の領域の境界線を定義する第1の楕円230と、ヨウ素のボクセルが存在するとEMアルゴリズムが決定した結合ヒストグラム200の領域の境界線を定義する第2の楕円232が示されている。
図10では、第1の楕円230と第2の楕円232が重複することが理解されるであろう。したがって、カルシウムボクセルとヨウ素ボクセルという構成員(membership)が混合する領域(第1の楕円230と第2の楕円232の重複)が存在する。
段階58では、分類ユニット28は、期待値最大化アルゴリズムの結果に従って、カルシウムの確率およびヨウ素の確率により各ボクセルをラベリングする。
本実施形態では、段階58で取得されたラベルは、分類ユニット28によって出力された最終ラベルである。他の実施形態では、さらなる段階が図3の処理に追加されてもよい。
いくつかの実施形態では、段階58において出力される確率的ラベルは、確率しきい値に依存して、ボクセルの2つのクラスに分けられる。ボクセルの2つのクラスのうち1つはヨウ素とラベリングされ、2つのクラスのうち1つはカルシウムとラベリングされる。たとえば、いくつかの実施形態では、ヨウ素である確率がカルシウムである確率よりも高いボクセルはヨウ素とラベリングされ、カルシウムである確率がヨウ素である確率よりも高いボクセルはカルシウムとラベリングされる。
いくつかの実施形態では、各ボクセルがヨウ素またはカルシウムとラベリングされた後で、連結成分分析がボクセルに対して実行される。連結成分分析は、ボクセルのラベリングを一掃するために使用されてよい。たとえば、カルシウムの単一ボクセルがヨウ素のボクセルによって囲まれる場合、連結成分分析は、単一カルシウムボクセルがヨウ素と再ラベリングされるべきであると決定することができる。連結成分分析により、周囲のボクセルに依存したカルシウムまたはヨウ素の単一および/または隔離されたボクセルの再ラベリングが発生することがある。
図11は、図4〜図6および図8〜図10で使用される各ボクセルに対する(IHigh,ILow)強度の異なる描出を有する結合ヒストグラムプロットを示す。図11では、カルシウムとラベリングされた各ボクセルに対して、そのボクセルに関連付けられた(IHigh,ILow)ビンに、濃い灰色のマーカが置かれる。ヨウ素とラベリングされた各ボクセルに対して、そのボクセルに関連付けられた(IHigh,ILow)ビンに、薄い灰色のマーカが置かれる。したがって、図11の色は、各ビン内のボクセルの数ではなく、各ビン内のボクセルのラベリングを表す。段階54で分類ユニットによってカルシウムとラベリングされたボクセルは、濃い灰色でマークされる。段階54で分類ユニットによってヨウ素とラベリングされたボクセルは、薄い灰色でマークされる。プロットの白色領域は、ラベリングされたボクセルを含まない。
図12は、図11に示されるラベリング情報を空間的に描出したものである。カルシウムとラベリングされた図11のプロットの三次元空間内の各ボクセルには、濃い灰色が付けられる。ヨウ素とラベリングされた各ボクセルには、薄い灰色が付けられる。
図12に示されるボクセルのラベリングは、図12に表される関心領域におけるカルシウムおよびヨウ素のセグメンテーションと考えられ得る。
いくつかの実施形態では、図3の処理で取得される確率的ラベリングは、たとえば造影剤がカルシウムから分離可能な頸動脈造影検査、冠動脈造影検査、または他の任意の血管造影検査において、ヨウ素ボクセルを複数のカルシウム密度のカルシウムボクセルから分離するために直接的に使用されてよい。
いくつかの実施形態では、図3の処理は、血管追跡または管腔セグメンテーションなどのアプリケーション用の画像解析(IA)アルゴリズムのためのツールとして間接的に使用され得る。
いくつかの実施形態では、図3の処理から取得されるヨウ素ラベルは、仮想非造影画像の生成において使用されてよい。仮想非造影画像は、ヨウ素として識別されたボクセルが血液(造影剤の存在しない血液)を表す強度を有するボクセルに置き換えられるコントラスト画像であってよい。コントラスト画像データから仮想非コントラスト画像を生成することによって、2つのスキャン、すなわち造影剤を使用した1つのスキャンと造影剤を使用しない1つのスキャンを撮影しなければならないことを回避し、患者によって経験される被爆線量がそれに応じて減少され得ることが可能であることができる。
図3の処理は、任意の所定のパラメータまたは固定しきい値を使用しなくてもよいし、段階44のフィルタ値および/またはビンのサイズなどの処理パラメータの決定以外の任意の所定のパラメータまたは固定しきい値を使用しなくてもよい。いくつかの実施形態では、図3の処理は、比較的高速で簡単な実装形態を有することができる。
図3のフロー図の処理はまた、図13のフロー図を参照して要約され得る(図3のいくつかの段階は、図13には明示的に示されていない)。
2つの段階からなるアルゴリズムが、高エネルギースキャンと低エネルギースキャンとを備えるデュアルエネルギーCTスキャンからのデュアルエネルギーCT画像データの関心領域に対して実行される。関心領域の各ボクセルは、高エネルギースキャンからの強度IHighと、低エネルギースキャンからの強度ILowと、スキャンの座標空間内の座標のセットとを有する。
領域選択ユニット24は、画像データのセット100をメモリ20から受け取る。段階142では、領域選択ユニット24は、使用者の入力に応答して三次元サブボリューム(関心領域)を選択し、このサブボリュームに対応する画像データ100のサブセット110を選択する。段階144では、しきい値決定ユニット26は、フィルタを適用して、サブセット100からボクセル低強度を除去する。サブセット内の各ボクセルに対する強度値(IHigh,ILow)を備える画像データのサブセット110が、アルゴリズムの第1の段階に渡される。
アルゴリズムの第1の段階は、各ボクセルに対する強度データ(IHighおよびILow)のみに基づき、各ボクセルの座標に基づかない、関心領域内のボクセルの教師なしパラメトリック分離を備える。
しきい値決定ユニット26は、サブセットの(ILow,IHigh)値の二次元結合分布130を決定する。段階150では、しきい値決定ユニット26は、いくつかのしきい値候補208の各々に対するJensen−Shannonダイバージェンスを計算することによって、Jensen−Shannonダイバージェンス曲線を決定し、しきい値候補208の各々は異なる傾きを有する。
段階170では、しきい値決定ユニット26は、いくつの最小値がJensen−Shannonダイバージェンス曲線に存在するか判断する。1つの最小値のみが存在する場合、分類ユニット28は段階180に移動し、関心領域内のすべてのボクセルを1つのクラス(たとえばヨウ素)としてラベリングする。
2つの最小値が存在する場合、段階152では、しきい値決定ユニット26は2つの最小値の間に最大値を見つける。しきい値決定ユニット26は、段階150のJensen−Shannonダイバージェンス曲線の最大値に対応する傾きを有する分離線220を決定する。段階154では、分類ユニット28は、分離線220に依存して、サブセット内のボクセルに対する初期ラベルを作成する。
アルゴリズムの第2の段階は、パラメトリッククラスタリングを備える。分類ユニット28は、画像データのサブセット120を受け取る。サブセット120は、サブセット110内にあるボクセルと同じボクセルに対する強度データを備え、サブセット110内にあるボクセルの各々に対する位置情報(x座標、y座標、z座標)も含む。
分類ユニット28は、多次元期待値最大化アルゴリズムをサブセット120に適用し、段階154で決定された初期ラベルを使用してアルゴリズムを初期化する。EMアルゴリズムは、強度情報に加えて、空間情報を使用する。EMアルゴリズムの結果、平均と共分散とを有するガウスモデルである、各クラス(カルシウムまたはヨウ素)に対する推定モデル158が得られる。段階160では、分類ユニット160は、最終的な確率的ラベルをサブセット120内のボクセルに割り当てる。出力は確率的構成員であり、ここで、各データ点(ボクセル強度ペア)には、カルシウムまたはヨウ素のどちらかに属する確率が与えられる。
図3および図13に関して上記で説明された実施形態が試作され、混合プラークファントム250からのデュアルエネルギー画像データに対して試験された。ファントムは、撮影中の既知の性質、たとえばCT撮影中の既知の性質を有する構造であってよい。混合プラークファントム250は図14に示されている。混合プラークファントム250は、ヨウ素に接する様々なタイプのカルシウム(HA200、HA400、およびHA800としてマークされている)を有する構造を含む。図14の混合プラークファントム250は、80kVのピークエネルギーにおける低エネルギーCTスキャンおよび135kVのピークエネルギーにおける高エネルギーCTスキャンによって画像化された。
図3および図13の実施形態は、混合プラークファントムにおける2つの関心領域300、301の画像に対して試験された。関心領域300、301の各々は、ヨウ素の領域302と、第1のカルシウム領域304と、第2のカルシウム領域306とを備える。
図14では、第1のカルシウム領域304は200mg/ccの密度を有し、高エネルギースキャンにおける300HUのCT値を有すると予想される。第2のカルシウム領域306は400mg/ccの密度を有し、高エネルギースキャンにおける550HUのCT値を有すると予想される。ヨウ素領域302は単一の濃度であり、550HUのCT値を有すると予想される。
以下で詳しく述べられる試験で使用されるカルシウム密度およびヨウ素濃度は、いくつかの観点において図15に示される濃度と異なっていた。試験は、以下のヨウ素濃度を用いて実行された。
第1の試験では、混合プラークファントム250の大きい方の関心領域300のヨウ素領域302は、高濃度(濃度1)のヨウ素で満たされた。第1のカルシウム領域304は、第1の密度を有するカルシウムで満たされ、第2のカルシウム領域306は、第2の密度を有するカルシウムで満たされた。カルシウム領域304および306の密度は、図15〜図18に関して説明された試験全体を通じて同じに保たれる。
三次元サブボリュームが、広い関心領域300を備えるデュアルエネルギー画像データに対して定義された。この三次元サブボリュームは、x、y、およびzにおける広い関心領域を含む。三次元サブボリュームは、z方向(図14に示される面に垂直な方向)において、ファントム250の全範囲にわたって延びる。
図15aは、大きい方の関心領域300のCT画像を示す。この画像は既知のファントムのものなので、どのボクセルがヨウ素を表すか、およびどのボクセルがカルシウムを表すかあらかじめわかっており、これは、予想領域ラベリングと呼ばれることがある(どのボクセルがヨウ素を表すか、およびどのボクセルがカルシウムを表すかについての情報は、図3および図13のアルゴリズムに提供されない)。図15bは、大きい方の関心領域の画像の、カルシウムを表すことが知られているボクセルに濃い灰色が付けられ、ヨウ素を表すことが知られているボクセルに薄い灰色が付けられているバージョンを示す。
図15cは、図15aの画像からのボクセルの結合ヒストグラム200である。カルシウムでもヨウ素でもない可能性のあるボクセルをフィルタ除去するために、フィルタが適用されている。図15cには、ボクセルの3つのクラスタが存在する。
図15dは、図15cの結合ヒストグラム200上で定義されたしきい値候補208のセットに対するJensen−Shannonダイバージェンス対傾きのプロットである。このプロットは2つの最小値212の間に最大値210を有し、2つの材料(2つの異なる分布)が結合ヒストグラム200に表されている可能性があることを示す。図15eは、傾きが図15dのプロットの極大値に対応する選択されたしきい値220によって分割された結合ヒストグラム200を示す。
図15fは、図3の処理の段階58で分類ユニット28によって決定された楕円230と232とを示す。図15gは、結果として得られる、カルシウム(濃い灰色)およびヨウ素(薄い灰色)としてのボクセルのラベリングを示す。図15hは、ラベリングされたボクセルの三次元プロットを示す。
第2の試験では、混合プラークファントム250の小さい方の関心領域301のヨウ素領域302は、高濃度(濃度1)のヨウ素で満たされた。三次元サブボリュームが、デュアルエネルギー画像データに対して定義された。このサブボリュームは、ファントムの全z範囲にわたって、小さい関心領域301のすべてを備える。
図16aは、小さい方の関心領域301のCT画像を示す。図16bは、小さい方の関心領域の画像の、カルシウムを表すことが知られているボクセルに濃い灰色が付けられ、ヨウ素を表すことが知られているボクセルに薄い灰色が付けられているバージョンを示す。
図16cは、図16aの画像からのボクセルの結合ヒストグラム200である。カルシウムでもヨウ素でもない可能性のあるボクセルをフィルタ除去するために、フィルタが適用されている。図16cには、ボクセルの1つの小さい別個のクラスタと、ボクセルのより拡張されたクラスタが存在する。
図16dは、図16cの結合ヒストグラム200上で定義されたしきい値候補208のセットに対するJensen−Shannonダイバージェンス対傾きのプロットである。このプロットは、2つの最小値212の間に最大値210を有する。図16eは、傾きが図16dのプロットの極大値に対応する選択されたしきい値220によって分割された結合ヒストグラム200を示す。
図16fは、図3の処理の段階58で分類ユニット28によって決定された楕円230と232とを示す。図16gは、結果として得られる、カルシウム(濃い灰色)およびヨウ素(薄い灰色)としてのボクセルのラベリングを示す。図16hは、ラベリングされたボクセルの三次元プロットを示す(図16hの方向は図16aおよび図16bの方向と異なることに留意されたい)。
第3の試験では、混合プラークファントム250の大きい関心領域300のヨウ素領域302は、低濃度(濃度4)のヨウ素で満たされた。三次元サブボリュームが、デュアルエネルギー画像データに対して定義された。このサブボリュームは、ファントムの全z範囲にわたって、大きい関心領域300のすべてを備える。
図17aは、大きい関心領域300のCT画像を示す。図17bは、大きい関心領域300の画像の、カルシウムを表すことが知られているボクセルに濃い灰色が付けられ、ヨウ素を表すことが知られているボクセルに薄い灰色が付けられているバージョンを示す。
図17cは、図17aの画像からのボクセルの結合ヒストグラム200である。カルシウムでもヨウ素でもない可能性のあるボクセルをフィルタ除去するために、フィルタが適用されている。図17cには、2つの重複するクラスタが存在する。
図17dは、図17cの結合ヒストグラム200上で定義されたしきい値候補208のセットに対するJensen−Shannonダイバージェンス対傾きのプロットである。このプロットは、2つの最小値212の間に最大値210を有する。図17eは、傾きが図17dのプロットの極大値に対応する選択されたしきい値220によって分割された結合ヒストグラム200を示す。
図17fは、図3の処理の段階58で分類ユニット28によって決定された楕円230と232とを示す。図17gは、結果として得られる、カルシウム(濃い灰色)およびヨウ素(薄い灰色)としてのボクセルのラベリングを示す。図17hは、ラベリングされたボクセルの三次元プロットを示す(図17hの方向は図17aおよび図17bの方向と異なる)。
第4の試験では、混合プラークファントム250の小さい方の関心領域301のヨウ素領域302は、低濃度(濃度4)のヨウ素で満たされた。三次元サブボリュームが、デュアルエネルギー画像データに対して定義された。このサブボリュームは、ファントムの全z範囲にわたって、小さい関心領域301のすべてを備える。
図18aは、小さい方の関心領域301のCT画像を示す。図18bは、小さい方の関心領域の画像の、カルシウムを表すことが知られているボクセルに濃い灰色が付けられ、ヨウ素を表すことが知られているボクセルに薄い灰色が付けられているバージョンを示す。
図18cは、図18aの画像からのボクセルの結合ヒストグラム200である。カルシウムでもヨウ素でもない可能性のあるボクセルをフィルタ除去するために、フィルタが適用されている。図18cには、ボクセルの1つの別個のクラスタと、ボクセルのより拡張されたクラスタが存在し、重複している。
図18dは、図18cの結合ヒストグラム200上で定義されたしきい値候補208のセットに対するJensen−Shannonダイバージェンス対傾きのプロットである。このプロットは、2つの最小値212の間に最大値210を有する。図18eは、傾きが図18dのプロットの極大値に対応する選択されたしきい値220によって分割された結合ヒストグラム200を示す。
図18fは、図3の処理の段階58で分類ユニット28によって決定された楕円230と232とを示す。図18gは、結果として得られる、カルシウム(濃い灰色)およびヨウ素(薄い灰色)としてのボクセルのラベリングを示す。図18hは、ラベリングされたボクセルの三次元プロットを示す(図18hの方向は図18aおよび図18bの方向と異なる)。
図15a〜図18hの結果は、高いヨウ素濃度および低いヨウ素濃度における材料の分離を示す。低濃度ですらヨウ素を分離することができるシステムは、そうでない場合に使用され得るヨウ素濃度よりも低いヨウ素濃度を使用する選択肢を医師に提供し得る。図3の処理は、様々なヨウ素濃度を用いるシナリオで堅牢に実行し得る。
図3の実施形態では、使用者が画像領域を選択し、領域選択ユニット24は、使用者の選択に依存して、画像ボリュームの三次元サブボリュームを決定する。
代替実施形態では、領域選択ユニット24は、任意の適切な方法を使用して、画像ボリュームの二次元または三次元のサブボリュームを自動的または半自動的に決定することができる。
一実施形態では、領域選択ユニット24は、平均ボクセル強度と比較して高い強度を有するボクセルを含む、画像ボリュームの少なくとも1つのサブボリュームを選択する。強度に基づく任意の適切な領域選択方法が使用されてよい。
いくつかの実施形態では、領域選択ユニット24は、画像データのセグメンテーションに依存して、少なくとも1つのサブボリュームを決定する。
いくつかの実施形態では、領域選択ユニット24は、複数の可能な画像領域を決定し、その可能な画像領域の各々を、使用者に対して表示される画像上に表示する。たとえば、一実施形態では、領域選択ユニット24は、レンダリングされた二次元画像(たとえば体軸断面)上に方形のセットを表示し、各方形は可能な画像領域の境界線を表す。使用者は、たとえば1つの方形をクリックすることによって、可能な画像領域のうち1つを選択する。領域選択ユニット24は、どの方形が使用者によってクリックされたかに依存して、画像ボリュームの三次元サブボリュームを決定する。
一実施形態では、領域選択ユニット24は、たとえば画像データセット100の座標空間内でグリッドを決定し、このグリッドに従って画像ボリュームをサブボリュームに分割することによって、画像データボリュームを複数の三次元サブボリュームに分割する。領域選択ユニット24は、次いで、図3の処理の残りのステップを実行するべき第1のサブボリュームを選択する。そのような一実施形態では、決定された領域の各々に対して、図3の処理が繰り返される。
図3の処理の説明は単一サブボリュームに基づいているが、いくつかの実施形態では、図3の処理は、画像ボリューム全体を包含するいくつかのサブボリューム以下の任意の数のサブボリュームに対して繰り返されてよい。
いくつかの実施形態では、図3の分離処理は、より大きいサブボリュームに対して実行されたとき、または画像ボリューム全体に対して実行されたときよりも、比較的に小さいサブボリュームに対して実行されたときの方が良く機能することができることがわかっている。したがって、図3の処理が画像ボリューム全体などの大きいボリュームに対して使用可能であるとき、領域選択ユニット24は、その大きいボリュームをより小さいサブボリュームに分割することができる。
たとえば、いくつかの実施形態では、最大サブボリュームサイズが領域選択ユニット24で定義される。使用者が、定義されたサブボリュームサイズよりもサイズの大きいサブボリュームを選択した場合、領域選択ユニット24は、選択されたサブボリュームをより小さいサブボリュームに分割し、このサブボリュームは最大サブボリュームサイズよりも小さい。
原理上は、サブボリュームのサイズに関する上限または下限はないが、いくつかの実施形態では、サブボリュームのサイズは、図3の方法の分離能力に対する影響を有する。非常に小さいサブボリュームの場合、標本数が少ないので、方法があまり良く機能しないことがある。しかし、非常に大きいサブボリューム(たとえばボリューム全体)の場合、方法の判別能力または分離能力が低下させられることがある。選ばれたサブボリューム内で十分に表されていない材料は、十分に分離されないことがある。
図3の実施形態では、(たとえば、結合ヒストグラム200の領域AをILow軸に投影することによって)領域A内の強度を有するボクセルのILow値を備える領域Aに対して周辺分布が取得され、やはりILow値を備える領域Bに対して周辺分布が同様に取得される。
代替実施形態では、周辺分布は、たとえば領域をIHigh軸に投影することによって、その領域内の強度を有するボクセルのIHigh値を備える各領域に対して取得され得る。しかし、いくつかの状況では、ILow値の周辺分布のJensen−Shannonダイバージェンスを計算することによって、IHigh値の周辺分布のJensen−Shannonダイバージェンスを計算することよりも良い分離または堅牢な結果がもたらされ得ることがわかっている。
図3の実施形態では、しきい値候補208のセットに対して逐次処理が実行され、ボクセルがカルシウムと最初にラベリングされる領域をボクセルが最初にヨウ素とラベリングされる領域から分離するために最も良いしきい値候補220が選択される。
代替実施形態では、しきい値は、最適化処理を使用して、たとえば第1のしきい値候補208を決定し、次いで、そのしきい値候補208をコスト関数に基づいて最適化することによって、選択される。しきい値を逐次処理すること(iterating)またはしきい値を最適化することのどちらかが、しきい値を適応的に変更すると説明され得る。しきい値を適応的に変更する任意の適切な手段が使用されてよい。
一実施形態では、Jensen−Shannonダイバージェンスは、第1のしきい値候補208に対して計算される。しきい値候補208は、Jensen−Shannonダイバージェンス曲線中の極大値が到達されるまでしきい値を変更することによって最適化される。しきい値決定ユニット26は、Jensen−Shannonダイバージェンスの極大値に対応する傾きおよび切片の値を有するしきい値を選択する。
いくつかの実施形態では、しきい値より上の分布としきい値より下の分布との統計的相違度を決定するために、異なる量、たとえばJensen−Shannonダイバージェンスでない別のメトリックが使用されてもよい。
図3の処理では、Jensen−ShannonダイバージェンスおよびEMアルゴリズムからのさらなる改良されたラベリングに基づいて初期ラベルを説明しているが、さらなる実施形態では、段階54における初期ラベルまでの図3の段階のみが実行される。段階54で決定された初期ラベルは、たとえば期待値最大化法を備えないさらなるラベリング処理への入力として、別の処理に提供されてもよい。
図3の処理は期待値最大化法を備えているが、他の実施形態では、任意の適切なモデル推定アルゴリズムが使用されてよい。
図3の処理は、上記では、ボクセルの3つのクラスタを有する結合ヒストグラムに関して説明されている。実際には、任意の数のクラスタが結合ヒストグラムに存在してよい。図3の処理のクラスタリングアルゴリズム(期待値最大化法を備えることができる)の目的は、結合ヒストグラム内の初期数のクラスタ(たとえば、3つ、4つ、5つ、またはそれ以上)を、たとえば図10の楕円によって表されるような2つの最終クラスタ、すなわちヨウ素のクラスタおよびカルシウムのクラスタにグループ分けすることである。
図3の処理は、カルシウムボクセルとヨウ素ボクセルの分離に関して説明されている。しかし、図3の処理は、図3の方法によって強度に関して区別可能であることができる材料の任意のペアに適用されてもよい。そのような実施形態では、段階44で、異なるフィルタを使用してもよいし、フィルタを使用しなくてもよい。カルシウムでもヨウ素でもない材料のペアの分離のための実施形態では、カルシウムおよびヨウ素に使用され得るものと異なる傾き値または切片を使用することができる。図3の処理は、特に分離されるべき材料の強度が、固定のしきい値を使用して材料を分離することが不可能なような強度であるときに使用され得る。
2つの材料の分離が必要とされる場合、質量減衰定数に関する材料の適切な分離を提供し得るCTスキャンエネルギーのペア(低スキャンエネルギーおよび高スキャンエネルギー)を見つけることが可能な場合がある。図3の方法は、次いで、材料を自動的に分離するために使用されてよい。図3の方法は、カルシウムおよびヨウ素とともに使用することに限定されず、一般に他の材料に適用されてよい。
そのうえ、図3の方法は、2つの材料の分離に関して説明されているが、さらなる実施形態では、図3の方法は、2つ以上のスキャンエネルギーとともに使用することに拡張され得る。たとえば、N個のエネルギーにおけるマルチスペクトル収集の場合、方法が拡張され、二次元ではなくN次元の結合ヒストグラムを有してよい。
N次元ヒストグラムを有する実施形態では、各周辺ヒストグラムはN−1次元を有する。材料が線(しきい値220)により分離される代わりに、分離しきい値は超曲面であってよい。
いくつかの実施形態では、図3の処理は、ボクセルラベルを取得する他の方法も含むラベリング処理の一部として使用されてよい。
そのような一実施形態では、ラベリングシステムは、図2の領域選択ユニット24と、しきい値決定ユニット26と、分類ユニット28とを備えるが、代替クラスタリング方法および/または代替ラベリング方法を実行するように構成されたさらなるユニットも備える。一実施形態では、このシステムは、図2に表される医用画像処理装置12に類似した医用画像処理装置12を備え、領域選択ユニット24、しきい値決定ユニット26、および分類ユニット28は、実施形態の方法を実行するように実行可能なコンピュータ可読命令を有するコンピュータプログラムによって、医用画像処理装置12内で実施される。
他の実施形態では、図2のハードウェアと異なる任意の適切なハードウェアが使用されてよい。
ラベリングシステムにおいて実施されるユニットの概略図が図19に示されている。
データクラスタリング層400は、クラスタリングユニット402を備える。各クラスタリングユニットは、画像データサブセット110のデータに対してクラスタリングの方法を実行する。いくつかのクラスタリング方法は単に強度に基づいてもよいし、他のクラスタリング方法は強度と空間情報の両方に基づいてもよい。クラスタリングの方法としては、たとえば、k平均法、ミーンシフト法、および他の教師なしクラスタリングアルゴリズムがあり得る。各クラスタリングユニット402は、未処理クラスタ領域を出力することができる。
データクラスタリング層400内の各クラスタリングユニット402は、クラスタラベリング層410内の少なくとも1つのクラスタリングラベリングユニット412に入力を提供する。クラスタリングラベリングユニット412は、訓練された判別、たとえばSVMを備えることができる。各未処理クラスタ領域は、たとえば訓練された判別を使用することによって、ある信頼水準により、カルシウムまたはヨウ素のどちらかとラベリングされ得る。
図19の実施形態では、ラベリングユニット414は、図2の領域選択ユニット24と、しきい値決定ユニット26と、分類ユニット28とを備える。ラベリングユニット414は、図3のフロー図において説明されるように、Jensen−Shannonダイバージェンスから導出されたラベルを使用して初期化された期待値最大化法を実行する。それによって、ラベリングユニット4141は、クラスタリングとラベリングの両方を実行し、そのため、いくつかのシステムでは、データクラスタリング層400とクラスタラベリング層410の両方の一部と考えられることがある。
各クラスタリングラベリングユニット412およびラベリングユニット414は、サブセット110内のボクセルに対するラベルのセットをラベル融合ユニット420(ラベル融合層と説明されることもある)に渡す。ラベル融合ユニット420は、各クラスタリングラベリングユニット412から受け取ったラベルを融合させる。各ボクセルに対して、ラベル融合ユニット420は、クラスタリングラベリングユニット412およびラベリングユニット414から複数のラベルを受け取る。たとえば、ラベル融合ユニット420は、各ボクセルに対して、各クラスタリングラベリングユニット412から1つのラベルと、ラベリングユニット414から1つのラベルとを受け取ることができる。いくつかの実施形態では、ラベルのうち少なくとも1つは二値ラベルである。いくつかの実施形態では、ラベルのうち少なくとも1つは確率的ラベルである。ラベル融合ユニット420は、次いで、ラベル間の不一致を解決し、ボクセルに対して1つのラベルを出力する。いくつかの実施形態では、結果として得られるラベルは二値である。いくつかの実施形態では、結果として得られるラベルは確率的である。ラベル融合ユニット420は、任意の適切なラベル融合方法、たとえば投票またはSTAPLE(真値と性能レベルの同時推定(Simultaneous Truth and Performance Level Estimation))を使用することができる。
ラベル融合ユニット420は、ラベルの統合されたセット、すなわち各ボクセルに対して1つのラベルを出力する。
本実施形態では、ラベル融合ユニット420は、融合されたラベルに対してMRF(マルコフ確率場)ベースの後処理を実行してサブセット内のボクセルに対する最終ラベルのセットを取得する後処理ユニット430に、ラベルの統合されたセットを渡す。後処理は、局所的性質を使用したラベルの一掃として説明され得る。
他の実施形態では、MRF後処理段階は省略されてもよいし、代替の後処理段階が実行されてもよい。
いくつかの実施形態では、いくつかの異なるクラスタリング方法および/または異なるラベリング方法を使用することによって、クラスタリング方法および/またはラベリング方法のいずれか1つを使用して達成されるよりも高い精度のラベリングが達成され得る。
図9のシステムは、半教師ありのやり方で、カルシウムおよびヨウ素を画像データセット100から抽出およびラベリングすることができる。
特定の実施形態は、分類ユニットを備える、少なくとも2つのタイプの材料を分離するためにマルチエネルギー画像データを処理するための装置であって、この分類ユニットは、ボクセルに関連付けられたマルチエネルギー強度情報に依存して決定されるしきい値に基づいて、タイプの材料に属するボクセルの分類を取得するように構成される、装置を提供する。
特定の実施形態は、ヨウ素領域およびカルシウム領域を分離および識別するためにボリュメトリック画像データを処理するための装置であって、ユーザインターフェースによる局所的関心領域の識別のための領域識別ユニットと、カルシウムに対する大まかなラベルを生成するためのラベル生成ユニットと、ラベル生成処理は、ヨウ素ボクセルをカルシウムボクセルから最も良く分離するモデルを見つけるためのコスト関数として確率分布距離メトリックを使用してカルシウムに属するボクセルをヨウ素に属するボクセルから分離することを備える、大まかなラベルによって初期化されたモデル生成処理を実行するように構成されたモデル推定ユニットとを備える装置を提供する。
いくつかの実施形態では、局所的関心領域は自動的に定義される。いくつかの実施形態では、確率分布距離メトリックは、比較されるべき2つの分布間の相互の統計的従属性を計算する。メトリックを形成するために個別にまたは組み合わせて使用され得る異なる量は、Jensen−Shannonダイバージェンス、相互情報量、またはエントロピー(周辺もしくは結合)を備えることができる。
いくつかの実施形態では、分離のためのモデルは線形であってもよいし、非線形であってもよい。いくつかの実施形態では、最適な分離モデルを見つける処理は逐次的方法であるか、または最適化問題として公式化される。
いくつかの実施形態では、モデル推定ユニットは、期待値最大化アルゴリズムを使用してガウス混合モデルを生成する。いくつかの実施形態では、モデル推定ユニットは、ガウス混合以外のモデルを生成する。
いくつかの実施形態は、ヨウ素領域およびカルシウム領域を分離および識別するためにボリュメトリック画像データを処理するための装置であって、ユーザインターフェースによる局所的関心領域の識別のための領域識別ユニットと、カルシウムに対する大まかなラベルを生成するためのラベル生成ユニットと、ラベル生成処理は、ヨウ素ボクセルをカルシウムボクセルから最も良く分離するモデルを見つけるためのコスト関数として確率分布距離メトリックを使用してカルシウムに属するボクセルをヨウ素に属するボクセルから分離することを備える、大まかなラベルによって初期化されたモデル生成処理を実行するように構成されたモデル推定ユニットとを備える装置をサブシステムとして組み込む。
いくつかのそのような実施形態は、複数のデータクラスタリングアルゴリズムを備えるデータクラスタリング層と、複数のカルシウムおよびヨウ素ラベル生成アルゴリズムを備えるクラスタラベリング層と、ラベル融合システムと、後処理システムとを備える。
いくつかの実施形態では、データクラスタリングアルゴリズムは、データを、各々が教師なしクラスタリングアルゴリズムを使用する領域にクラスタ化する。いくつかの実施形態では、カルシウムおよびヨウ素ラベル生成層は、訓練された判別を使用してラベルを生成する。いくつかの実施形態では、ラベル融合は、多数決またはStapleなどの確率的手法に基づく。いくつかの実施形態では、ラベルの後処理は、局所的な空間的性質に従って分類を改良するために実行される。いくつかの実施形態では、ラベルの後処理は、ラベル融合層からの融合されたラベルにより初期化されたMRFラベリング器を用いて実行される。
特定の実施形態が上記で説明されてきたが、任意の実施形態の特徴は、他の任意の実施形態の特徴と組み合わせされ得る。
実施形態が、その実施形態の方法を実行するために実行可能なコンピュータ可読命令を有する1つまたは複数のコンピュータプログラムによって特定の機能を実施することができることは、当業者には十分に理解されよう。コンピュータプログラムの機能は、ハードウェアの形で(たとえばCPUによって)実施されてよい。実施形態はまた、1つまたは複数のASIC(特定用途向け集積回路)によって実施されてもよいし、ハードウェアまたはソフトウェアの混合物によって実施されてもよい。
本明細書において、特定のユニットが説明されてきたが、代替実施形態では、これらのユニットのうち1つまたは複数の機能が、単一のユニット、処理リソース、または他の構成要素によって提供されてもよいし、単一のユニットによって提供される機能が、2つ以上のユニットまたは他の構成要素によって組み合わせて提供されてもよい。単一のユニットへの言及は、そのユニットの機能を提供する複数の構成要素が互いから遠隔にあろうとなかろうと、そのような構成要素を含み、複数のユニットへの言及は、それらのユニットの機能を提供する単一の構成要素を含む。
特定の実施形態が説明されてきたが、これらの実施形態は、例として提示されているにすぎず、本発明の範囲を限定することを意図したものではない。実際には、本明細書で説明される新規な方法およびシステムは、様々な他の形態で実施されてよい。そのうえ、本明細書で説明される方法およびシステムの形態における様々な省略、置き換え、および変更は、本発明の趣旨から逸脱することなく加えられ得る。添付の特許請求の範囲およびその等価物は、本発明の範囲に含まれるそのような形態および変更形態を包含することを意図するものである。

Claims (22)

  1. マルチエネルギー画像データのピクセルまたはボクセルに関連付けられたマルチエネルギー強度情報に基づいて適応的にしきい値を変更する変更ユニットと、
    前記変更されたしきい値に基づいて、前記マルチエネルギー画像データが有する複数のピクセルまたは複数のボクセルを、少なくとも二種類の物質のそれぞれに対応するピクセルまたはボクセルに分類する分類ユニットと、
    を具備し、
    前記変更ユニットは、前記しきい値の適応的な変更において、
    少なくとも一つのしきい値候補を決定し、
    前記少なくとも一つのしきい値候補に基づいて、第1の範囲に属するピクセルまたはボクセルと第2の範囲に属するピクセルまたはボクセルとを特定し、
    前記第1の範囲に属するピクセルまたはボクセルと前記第2の範囲に属するピクセルまたはボクセルとの統計的相違度を決定し、
    前記少なくとも一つのしきい値候補の中から、前記統計的相違度の最大値に対応するしきい値候補を選択することで、前記適応的に変更されるしきい値を決定する、
    医用画像診断装置。
  2. 前記分類ユニットは、
    前記変更されたしきい値に基づいて、前記少なくとも二種類の物質のそれぞれに対応するピクセルまたはボクセルを初期分類し、
    前記マルチエネルギー強度情報および前記マルチエネルギー画像データのピクセルまたはボクセルに関連付けられた空間情報と、前記初期分類とに基づいて、前記少なくとも二種類の物質のそれぞれに対応するピクセルまたはボクセルに分類すること、
    を特徴とする請求項1記載の医用画像診断装置。
  3. 前記分類ユニットは、前記変更されたしきい値を基準として、前記第1の範囲に属するピクセルまたはボクセルと前記第2の範囲に属するピクセルまたはボクセルとを特定することで、前記初期分類を実行することを特徴とする請求項2記載の医用画像診断装置。
  4. 前記分類ユニットは、前記マルチエネルギー画像データのピクセルまたはボクセルに関連付けられた空間情報と、前記マルチエネルギー画像データのピクセルまたはボクセルの位置と、前記マルチエネルギー画像データのピクセルまたはボクセルの近傍に存在するピクセルまたはボクセルに関連付けられた強度情報と、に基づいて、前記初期分類を改良することを特徴とする請求項2又は3記載の医用画像診断装置。
  5. 前記分類ユニットは、クラスタモデル推定アルゴリズム、逐次クラスタモデル推定アルゴリズム、期待値最大化アルゴリズム、ガウス混合モデルを使用するアルゴリズム、ハードパーティションベースのクラスタリングアルゴリズム、ファジーパーティションベースのクラスタリングアルゴリズム、分布ベースのクラスタリングアルゴリズム、密度ベースのクラスタリングアルゴリズムのうち、少なくともいずれかを用いて前記分類を実行することを特徴とする請求項1乃至4のうちいずれか一項記載の医用画像診断装置。
  6. 前記分類ユニットは、前記分類として、非確率的分類又は確率的分類を実行することを特徴とする請求項1乃至5のうちいずれか一項記載の医用画像診断装置。
  7. 前記変更ユニットは、前記マルチエネルギー画像データに設定された関心領域内のピクセルまたはボクセルに関連付けられたマルチエネルギー強度情報に基づいて、前記しきい値の変更を実行することを特徴とする請求項1乃至6のうちいずれか一項記載の医用画像診断装置。
  8. 前記変更ユニットは、最適化処理または逐次処理のうち少なくとも一方に従って、前記しきい値を適応的に変更することを特徴とする請求項1乃至7のうちいずれか一項記載の医用画像診断装置。
  9. 前記変更ユニットは、前記最適化処理または逐次処理において、確率分布距離メトリック、Jensen−Shannonダイバージェンス、相互情報量、周辺エントロピー、結合エントロピー、2つ以上の確率分布間の統計的従属性または距離を定量化するメトリックのうち、少なくとも一つを用いることを特徴とする請求項8記載の医用画像診断装置。
  10. 前記変更ユニットは、前記統計的相違度の最大値に対応するしきい値候補の選択において、前記統計的相違度の2つの最小値の間に存在する極大値に対応するしきい値候補を選択することを特徴とする請求項記載の医用画像診断装置。
  11. 前記変更ユニットは、前記しきい値の適応的な変更において
    記第1の範囲に属するピクセルまたはボクセルに関連付けられた強度値の分布と、前記第2の範囲に属するピクセルまたはボクセルに関連付けられた強度値の分布との前記統計的相違度を決定すること、
    を有する請求項記載の医用画像診断装置。
  12. 前記マルチエネルギー画像データは、高いエネルギーと低いエネルギーとを用いて撮影されたデュアルエネルギー画像データであり、
    前記第1の範囲に属するピクセルまたはボクセルに関連付けられた前記強度値の分布は、前記低いエネルギーによるスキャンからの強度値の一次元分布を有し、
    前記第2の範囲に属するピクセルまたはボクセルに関連付けられた前記強度値の分布は、前記高いエネルギーによるスキャンからの強度値の一次元分布を有すること、
    を特徴とする請求項11記載の医用画像診断装置。
  13. 前記変更ユニットは、前記統計的相違度の決定において、確率分布距離メトリック、Jensen−Shannonダイバージェンス、相互情報量、周辺エントロピーまたは結合エントロピー、2つ以上の確率分布間の統計的従属性または距離を定量化するメトリックのうち少なくとも一つを用いることを特徴とする請求項11又は12記載の医用画像診断装置。
  14. 前記マルチエネルギー画像データは、高いエネルギーと低いエネルギーとを用いて撮影されたデュアルエネルギー画像データであり、
    前記変更ユニットは、前記低いエネルギーによるスキャンからの第1の強度値と、前記高いエネルギーによるスキャンからの第2の強度値との関数を用いて、前記しきい値の適応的な変更を行うことを特徴とする請求項7記載の医用画像診断装置。
  15. 前記変更ユニットは、前記しきい値の適応的な変更において、前記第1の強度値および前記第2の強度値の関数を実質的な直線として、傾きおよび切片のうち少なくとも1つを決定することを特徴とする請求項14記載の医用画像診断装置。
  16. 画像ボリュームを表すマルチエネルギー画像データセットを受け取り、前記マルチエネルギー画像データセットから前記マルチエネルギー画像データを選択する領域選択ユニットをさらに具備することを特徴とする請求項1乃至15のうちいずれか一項記載の医用画像診断装置。
  17. 前記領域選択ユニットは、
    画像領域の使用者選択を受け取り、前記使用者が選択した画像領域に依存して前記画像ボリュームの一部を選択し、
    前記マルチエネルギー画像データを自動的に選択し、
    前記画像ボリュームの前記一部を自動的に選択し、
    前記マルチエネルギー画像データセット内の強度値に依存して前記マルチエネルギー画像データを選択すること、
    を特徴とする請求項16記載の医用画像診断装置。
  18. 前記マルチエネルギー画像データは、デュアルエネルギー画像データ、CTデータ、ボリュメトリック画像データのうち少なくとも一つであることを特徴とする請求項1乃至17のうちいずれか一項記載の医用画像診断装置。
  19. 前記少なくとも二種類の物質は、カルシウム、造影剤材料、ヨウ素のうち少なくともいずれかであることを特徴とする請求項1乃至18のうちいずれか一項記載の医用画像診断装置。
  20. 各々が前記マルチエネルギー画像データ内のピクセルまたはボクセルのクラスタ領域を決定する複数のデータクラスタリングユニットと、
    前記データクラスタリングユニットのうち1つまたは複数によって決定されるピクセルまたはボクセルのクラスタ領域をラベリングする少なくとも1つのクラスタラベリングユニットと、
    前記ラベリングされたクラスタ領域から前記ピクセルまたはボクセルのためのラベルの単一セットを決定するラベル融合ユニットと、
    前記ラベルの単一セットを改良する後処理ユニットと、
    をさらに具備する請求項1乃至19のうちいずれか一項記載の医用画像診断装置。
  21. 前記複数のデータクラスタリングユニットは、教師なしクラスタリングアルゴリズムを用いて、前記マルチエネルギー画像データ内のピクセルまたはボクセルのクラスタ領域を決定し、
    前記少なくとも1つのクラスタラベリングユニットは、訓練された判別を使用して前記ピクセルまたはボクセルのクラスタ領域をラベリングし、
    前記ラベル融合ユニットは、多数決、確率的ラベル融合、または真値と性能レベルの同時推定のうち少なくとも一つに基づいて、前記ピクセルまたはボクセルのための前記ラベルの単一セットを決定し、
    前記後処理ユニットは、前記ピクセルまたはボクセルに関連付けられた空間情報に依存して前記ラベルの単一セットを改良し、マルコフ確率場ラベリング器を使用して前記ラベルの単一セットを改良すること、
    を特徴とする請求項20記載の医用画像診断装置。
  22. マルチエネルギー画像データのピクセルまたはボクセルに関連付けられたマルチエネルギー強度情報に基づいて適応的にしきい値を変更する変更ユニットと、
    前記変更されたしきい値に基づいて、前記マルチエネルギー画像データが有する複数のピクセルまたは複数のボクセルを、少なくとも二種類の物質のそれぞれに対応するピクセルまたはボクセルに分類する分類ユニットと、
    を具備し、
    前記変更ユニットは、前記しきい値の適応的な変更において、
    少なくとも一つのしきい値候補を決定し、
    前記少なくとも一つのしきい値候補に基づいて、第1の範囲に属するピクセルまたはボクセルと第2の範囲に属するピクセルまたはボクセルとを特定し、
    前記第1の範囲に属するピクセルまたはボクセルと前記第2の範囲に属するピクセルまたはボクセルとの統計的相違度を決定し、
    前記少なくとも一つのしきい値候補の中から、前記統計的相違度の最大値に対応するしきい値候補を選択することで、前記適応的に変更されるしきい値を決定する、
    医用画像処理装置。
JP2015216921A 2014-11-04 2015-11-04 医用画像診断装置及び医用画像処理装置 Active JP6758817B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/532,143 2014-11-04
US14/532,143 US9964499B2 (en) 2014-11-04 2014-11-04 Method of, and apparatus for, material classification in multi-energy image data

Publications (2)

Publication Number Publication Date
JP2016087469A JP2016087469A (ja) 2016-05-23
JP6758817B2 true JP6758817B2 (ja) 2020-09-23

Family

ID=55852385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015216921A Active JP6758817B2 (ja) 2014-11-04 2015-11-04 医用画像診断装置及び医用画像処理装置

Country Status (3)

Country Link
US (1) US9964499B2 (ja)
JP (1) JP6758817B2 (ja)
CN (1) CN105559813B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025067A (ko) * 2015-08-27 2017-03-08 (주)바텍이우홀딩스 의료용 볼륨 데이터 처리 장치 및 방법
JP7258744B2 (ja) * 2016-07-13 2023-04-17 コーニンクレッカ フィリップス エヌ ヴェ スペクトルコンピュータ断層撮影フィンガープリンティング
DE102016219607A1 (de) * 2016-10-10 2018-04-12 Siemens Healthcare Gmbh Erzeugung einer mit anatomischen Bilddaten korrelierten Ergebniskarte
EP3544511B1 (en) 2016-11-23 2024-05-29 Mayo Foundation for Medical Education and Research System and method for quantifying luminal stenosis using multi-energy computed tomography imaging
US10726608B2 (en) * 2016-11-23 2020-07-28 3D Systems, Inc. System and method for real-time rendering of complex data
EP3475916B1 (en) * 2016-11-30 2019-10-23 Koninklijke Philips N.V. Bone and hard plaque segmentation in spectral ct
US10580132B2 (en) * 2017-04-13 2020-03-03 Canon Kabushiki Kaisha Medical image processing apparatus, control method therefor, and non-transitory storage medium storing program
CN107085765A (zh) * 2017-04-14 2017-08-22 重庆邮电大学 一种基于无监督聚类分析与灰理论的地区经济评估方法
EP3404919A1 (en) 2017-05-17 2018-11-21 Koninklijke Philips N.V. Vector-valued diagnostic image encoding
CN107392893A (zh) * 2017-06-30 2017-11-24 上海联影医疗科技有限公司 组织密度分析方法及系统
CN107595311A (zh) * 2017-08-30 2018-01-19 沈阳东软医疗系统有限公司 双能量ct图像处理方法、装置以及设备
EP3684257A4 (en) * 2017-09-22 2021-06-09 The University of Chicago LOW-DOSE MULTISPECTRAL X-RAY TOMOGRAPHY SYSTEM AND METHOD
DE102017217543B4 (de) * 2017-10-02 2020-01-09 Siemens Healthcare Gmbh Verfahren und System zur Klassifikation von Materialien mittels maschinellen Lernens
US10908098B1 (en) * 2019-06-28 2021-02-02 National Technology & Engineering Solutions Of Sandia, Llc Automatic method of material identification for computed tomography
US11195054B2 (en) * 2019-11-11 2021-12-07 Sap Se Automated determination of material identifiers for materials using machine learning models
CN112304987B (zh) * 2020-10-19 2024-04-12 西北工业大学 基于光子计数能谱ct的含能材料等效原子序数测量方法
EP4002262A1 (en) * 2020-11-20 2022-05-25 Siemens Healthcare GmbH Computer-implemented method for handling artifacts in multi-energy computed tomography, x-ray imaging device, computer program and electronically readable storage medium
CN112337093B (zh) * 2021-01-08 2021-05-25 成都完美时空网络技术有限公司 一种虚拟对象的分簇方法、装置、存储介质和电子装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058205A (en) * 1997-01-09 2000-05-02 International Business Machines Corporation System and method for partitioning the feature space of a classifier in a pattern classification system
US6449334B1 (en) * 2000-09-29 2002-09-10 Lunar Corporation Industrial inspection method and apparatus using dual energy x-ray attenuation
US20070047794A1 (en) * 2000-10-11 2007-03-01 Philipp Lang Methods and devices for analysis of x-ray images
US7295691B2 (en) * 2002-05-15 2007-11-13 Ge Medical Systems Global Technology Company, Llc Computer aided diagnosis of an image set
US7187800B2 (en) * 2002-08-02 2007-03-06 Computerized Medical Systems, Inc. Method and apparatus for image segmentation using Jensen-Shannon divergence and Jensen-Renyi divergence
US7272429B2 (en) * 2002-11-27 2007-09-18 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for facilitating a reduction in artifacts
US6999549B2 (en) * 2002-11-27 2006-02-14 Ge Medical Systems Global Technology, Llc Method and apparatus for quantifying tissue fat content
US6898263B2 (en) * 2002-11-27 2005-05-24 Ge Medical Systems Global Technology Company, Llc Method and apparatus for soft-tissue volume visualization
JP2007524438A (ja) * 2003-03-25 2007-08-30 イメージング セラピューティクス,インコーポレーテッド 放射線画像処理技術における補償の方法
DE10347971B3 (de) * 2003-10-15 2005-06-09 Siemens Ag Verfahren und Vorrichtung zur Bestimmung des Flüssigkeitstyps einer Flüssigkeitsansammlung in einem Objekt
US7822291B2 (en) * 2004-10-28 2010-10-26 Siemens Medical Solutions Usa, Inc. Non-rigid multi-modal registration using statistical learning methods
DE102005049602B3 (de) * 2005-10-17 2007-04-19 Siemens Ag Verfahren und Vorrichtung zur Segmentierung zumindest einer Substanz in einem Röntgenbild
DE102005049586A1 (de) * 2005-10-17 2007-04-26 Siemens Ag Verfahren zur Erzeugung von CT-Darstellungen in der Röntgen-Computertomographie
DE102006015454A1 (de) * 2006-03-31 2007-10-18 Siemens Ag Verfahren und Vorrichtung zur automatischen Differenzierung von Nierensteintypen mittels Computertomographie
DE102006015451A1 (de) * 2006-03-31 2007-10-11 Siemens Ag Verfahren und Vorrichtung zur automatischen Differenzierung von Knochen oder anderen kalziumhaltigen Materialien und Kontrastmittel in Weichteilgewebe
WO2008005408A2 (en) * 2006-06-29 2008-01-10 Vassol Inc. Sub-voxel motion correction for phase-contrast magnetic resonance imaging
US8098906B2 (en) * 2006-10-10 2012-01-17 West Virginia University Research Corp., Wvu Office Of Technology Transfer & Wvu Business Incubator Regional fingerprint liveness detection systems and methods
US8615133B2 (en) * 2007-03-26 2013-12-24 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The Desert Research Institute Process for enhancing images based on user input
DE102007024158B4 (de) * 2007-05-24 2017-09-14 Bayer Intellectual Property Gmbh Auswahlverfahren für zwei Kontrastmittel zur Verwendung in einer Dual-Energy-CT-Untersuchung, Kontrastmittelkombination und Erzeugung von CT-Aufnahmen mit einer Kontrastmittelkombination mit unterschiedlichen Energiespektren
JP5105589B2 (ja) * 2007-07-11 2012-12-26 株式会社日立メディコ X線ct装置
US7920669B2 (en) * 2007-07-25 2011-04-05 Siemens Aktiengesellschaft Methods, apparatuses and computer readable mediums for generating images based on multi-energy computed tomography data
EP2183724B1 (en) * 2007-07-27 2019-06-26 Esri R&D Center Zurich AG Computer system and method for generating a 3d geometric model
JP5519122B2 (ja) * 2007-08-15 2014-06-11 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム
US8731334B2 (en) * 2008-08-04 2014-05-20 Siemens Aktiengesellschaft Multilevel thresholding for mutual information based registration and image registration using a GPU
US7983382B2 (en) * 2008-11-26 2011-07-19 General Electric Company System and method for material segmentation utilizing computed tomography scans
JP5275017B2 (ja) * 2008-12-25 2013-08-28 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP5367443B2 (ja) 2009-04-28 2013-12-11 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X線ct装置
US8294717B2 (en) * 2009-06-26 2012-10-23 Kabushiki Kaisha Toshiba Advanced clustering method for material separation in dual energy CT
GB0917154D0 (en) * 2009-09-30 2009-11-11 Imp Innovations Ltd Method and apparatus for processing medical images
JP5443237B2 (ja) 2010-03-30 2014-03-19 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
US8345934B2 (en) * 2010-07-19 2013-01-01 Telefonica, S.A. Method for automatic storytelling for photo albums using social network context
DE102011004120B4 (de) * 2011-02-15 2017-04-06 Siemens Healthcare Gmbh Verfahren, Bilddatensatzbearbeitungseinrichtung, Röntgensystem und Computerprogramm zur Korrektur von Bilddaten eines Untersuchungsobjekts
DE102011006398A1 (de) * 2011-03-30 2012-10-04 Siemens Aktiengesellschaft Verfahren, Bildverarbeitungseinrichtung und Computertomographiesystem zur Ermittlung eines Anteils von nekrotischem Gewebe sowie Computerprogrammprodukt mit Programmcodeabschnitten zur Ermittlung eines Anteils von nekrotischem Gewebe
JP5755031B2 (ja) 2011-05-30 2015-07-29 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像生成装置およびx線ct装置並びにプログラム
US8768050B2 (en) * 2011-06-13 2014-07-01 Microsoft Corporation Accurate text classification through selective use of image data
US8611692B2 (en) * 2011-09-26 2013-12-17 Northrop Grumman Systems Corporation Automated image registration with varied amounts of a priori information using a minimum entropy method
JP6073616B2 (ja) * 2011-09-28 2017-02-01 東芝メディカルシステムズ株式会社 X線ct装置、画像処理装置及びプログラム
US20140050378A1 (en) * 2012-08-14 2014-02-20 Instituto Do Coracao System and method for detecting materials or disease states using multi-energy computed tomography
CN104105445B (zh) * 2012-08-30 2017-06-16 东芝医疗系统株式会社 X射线ct装置、图像处理装置以及图像处理方法
DE102012215515A1 (de) * 2012-08-31 2014-03-06 Klinikum Der Universität München Verfahren zur Detektion von Schäden an Silikonimplantaten und Computertomographiegerät
FR2996939B1 (fr) * 2012-10-12 2014-12-19 Commissariat Energie Atomique Procede de classification d'un objet multimodal
US9662081B2 (en) * 2013-05-15 2017-05-30 Kyoto University X-ray CT image processing method, X-ray CT image processing program, and X-ray CT image device
JP6313168B2 (ja) * 2014-09-02 2018-04-18 キヤノンメディカルシステムズ株式会社 X線ct装置、画像処理装置及び画像処理プログラム
US9514548B2 (en) * 2015-04-03 2016-12-06 Siemens Medical Solutions Usa, Inc. Method and system for presenting and using four dimensional data from a medical imaging system

Also Published As

Publication number Publication date
CN105559813A (zh) 2016-05-11
US20160123904A1 (en) 2016-05-05
CN105559813B (zh) 2019-01-15
US9964499B2 (en) 2018-05-08
JP2016087469A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
JP6758817B2 (ja) 医用画像診断装置及び医用画像処理装置
US11227683B2 (en) Methods and systems for characterizing anatomical features in medical images
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP3109827B1 (en) Organ-specific enhancement filter for robust segmentation of medical images
US8229200B2 (en) Methods and systems for monitoring tumor burden
US10453198B2 (en) Device and method for delineating a metal object for artifact reduction in tomography images
Bağci et al. A graph-theoretic approach for segmentation of PET images
CN104700389B (zh) 双能ct扫描图像中的对象识别方法
CN110881992A (zh) 使用双能量计算机断层扫描的针对外伤性出血的检测和量化
JP7550832B2 (ja) 診断撮像における画像特徴のアノテーション
US20070030944A1 (en) Method for an X-ray machine
Hussain et al. Femur segmentation in DXA imaging using a machine learning decision tree
Wei et al. Automated lung segmentation and image quality assessment for clinical 3-D/4-D-computed tomography
Martínez-Martínez et al. Fully automated classification of bone marrow infiltration in low-dose CT of patients with multiple myeloma based on probabilistic density model and supervised learning
Lau et al. Towards visual-search model observers for mass detection in breast tomosynthesis
Wei et al. Multichannel response analysis on 2D projection views for detection of clustered microcalcifications in digital breast tomosynthesis
US20240104797A1 (en) Systems, Methods, and Media for Material Decomposition and Virtual Monoenergetic Imaging from Multi-Energy Computed Tomography Data
Kennedy Robust Algorithm for Measuring Noise in Computed Tomography Examinations
Way Computer-aided diagnosis of pulmonary nodules on thoracic computed tomography
Yin Automated Tumor Segmentation in PET/CT Scans of Lymphoma Patients
Passand Quality assessment of clinical thorax CT images
Jin A Quality Assurance Pipeline for Deep Learning Segmentation Models for Radiotherapy Applications
Karimi Metal Artifact Reduction in Computed Tomography
Kuhlengel Affinity Propagation for Computer-aided Detection of Lung Cancer in 3D PET/CT Studies
Nasser Accelerated Digitally Reconstructed Radiograph (DRR) Using Automatic Body Segmentation

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200902

R150 Certificate of patent or registration of utility model

Ref document number: 6758817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150