JP7152455B2 - セグメンテーション装置および学習モデルの生成方法 - Google Patents

セグメンテーション装置および学習モデルの生成方法 Download PDF

Info

Publication number
JP7152455B2
JP7152455B2 JP2020169150A JP2020169150A JP7152455B2 JP 7152455 B2 JP7152455 B2 JP 7152455B2 JP 2020169150 A JP2020169150 A JP 2020169150A JP 2020169150 A JP2020169150 A JP 2020169150A JP 7152455 B2 JP7152455 B2 JP 7152455B2
Authority
JP
Japan
Prior art keywords
data
region
segmentation
learning model
maxillofacial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020169150A
Other languages
English (en)
Other versions
JP2021058594A (ja
Inventor
悠 西村
英基 吉川
知行 定兼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Morita Manufaturing Corp
Original Assignee
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by J Morita Manufaturing Corp filed Critical J Morita Manufaturing Corp
Publication of JP2021058594A publication Critical patent/JP2021058594A/ja
Application granted granted Critical
Publication of JP7152455B2 publication Critical patent/JP7152455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Description

本開示は、セグメンテーション装置および学習モデルの生成方法に関する。
X線CT撮影(たとえば特許文献1を参照)によって得られる画像等に対してセグメンテーションを行うことが知られている。
特開平8―215192号公報
従来、医用画像における生体組織のセグメンテーションは、CT値や濃度値などに基づいて数学的に行われていた。この場合、CT値や濃度値等が近接する組織間のセグメンテーションが困難であるという問題がある。また、撮影時の状態や個体差等のばらつきの影響を考慮したセグメンテーションのために、人の介入(判断)を必要としていた。したがって、人の介入を必要とせずにセグメンテーション精度を向上させる要望がある。
本開示は、セグメンテーション精度を向上させることが可能なセグメンテーション装置および学習モデルの生成方法を提供することを目的とする。
本開示の一側面に係るセグメンテーション装置は、顎顔面領域の少なくとも一部である顎顔面構成領域のデータが入力される入力部と、入力部に入力された顎顔面構成領域のデータと、予め生成された学習モデルとを用いて、顎顔面構成領域に含まれる生体的特徴領域および人工的特徴領域の少なくとも一方である特徴領域のセグメンテーションを行う実行部と、実行部の実行結果を出力する出力部と、を備え、学習モデルは、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成されたモデルである。
上記のセグメンテーション装置によれば、顎顔面領域構成領域と、予め生成された学習モデルとを用いて、特徴領域のセグメンテーションが行われる。学習モデルは、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成されたモデルである。したがって、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータ、再構成データ等から、特徴領域をセグメンテーションすることができる。このように学習モデルを用いてセグメンテーションを行うことにより、たとえばCT値や濃度値等に基づいて数学的にセグメンテーションを行う場合よりも、セグメンテーション精度を向上できる可能性が高まる。特に互いの位置およびCT値がともに近い組織間のセグメンテーションに有用である。精度が向上することで、人の介入を不要にできる可能性も高まる。
入力部に入力される顎顔面構成領域のデータが、歯領域のデータ、または、歯領域およびその周囲領域を含む領域のデータであってよい。これにより、顎顔面構成領域から、歯領域、または、歯領域およびその周辺領域を含む領域をセグメンテーションすることができる。
学習モデルが出力するセグメンテーションデータが、歯、エナメル質、象牙質、歯髄、歯髄腔、セメント質、皮質骨、海面骨、神経管、血管、顎骨およびX線高吸収体の少なくとも一つのセグメンテーションデータであってよい。これにより、歯、エナメル質、象牙質、歯髄、歯髄腔、セメント質、皮質骨、海面骨、神経管、血管、顎骨等の組織(組成)およびX線高吸収体をセグメンテーションすることができる。たとえば皮質骨、象牙質および海綿骨のようにCT値が近い(重複しうる)組織のセグメンテーションに有用である。
教師データは、顎顔面構成領域のデータと、X線高吸収体のセグメンテーションデータと、を対応づけた教師データを含んでよい。この場合、学習モデルは、顎顔面構成領域から、X線高吸収体をセグメンテーションすることができる。
教師データは、顎顔面構成領域のデータと、歯領域のセグメンテーションデータと、を対応づけた教師データを含んでよい。この場合、学習モデルは、顎顔面構成領域から、歯領域をセグメンテーションすることができる。
教師データは、顎顔面構成領域中の少なくとも歯領域からなる領域のデータと、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた教師データを含んでよい。この場合、学習モデルは、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴領域の各領域をセグメンテーションすることができる。
上述の教師データは、少なくとも歯領域からなる領域のデータと、歯領域中のエナメル質、象牙質および歯髄の各領域のセグメンテーションデータと、を対応づけた教師データであってよい。この場合、学習モデルは、少なくとも歯領域からなる領域から、歯領域中のエナメル質、象牙質および歯髄の各領域をセグメンテーションすることができる。
教師データは、顎顔面構成領域のデータと、皮質骨および歯槽骨のセグメンテーションデータと、を対応づけた教師データを含んでよい。この場合、学習モデルは、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる。互いにCT値の近い皮質骨および歯槽骨のセグメンテーションができれば、残りの組織のセグメンテーションが行いやすくなる。
学習モデルは、顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するように教師データを用いて生成されたモデルであってよい。これにより、顎顔面構成領域から、X線吸高収体をセグメンテーションすることができる。
学習モデルは、顎顔面構成領域のデータが入力されると、顎顔面構成領域中の歯領域のセグメンテーションデータを出力するように教師データを用いて生成されたモデルであってよい。これにより、顎顔面構成領域から、顎顔面構成領域中の歯領域をセグメンテーションすることができる。
学習モデルは、顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータを出力するように教師データを用いて生成されたモデルであってよい。これにより、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴領域の各領域をセグメンテーションすることができる。
学習モデルは、顎顔面構成領域のデータが入力されると、皮質骨および歯槽骨のセグメンテーションデータを出力するように教師データを用いて生成されたモデルであってよい。これにより、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる。
教師データが、顎顔面構成領域のデータと、X線高吸収体のセグメンテーションデータと、を対応づけた第1の教師データ、顎顔面構成領域のデータと、歯領域のセグメンテーションデータと、を対応づけた第2の教師データ、顎顔面構成領域中の少なくとも歯領域からなる領域のデータと、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた第3の教師データ、および、顎顔面構成領域のデータと、皮質骨および歯槽骨のセグメンテーションデータと、を対応づけた第4の教師データ、の少なくとも一つを含んでよい。教師データが第1の教師データを含む場合、学習モデルは、顎顔面構成領域から、X線高吸収体をセグメンテーションすることができる。教師データが第2の教師データを含む場合、学習モデルは、顎顔面構成領域から、歯領域をセグメンテーションすることができる。教師データが第3の教師データを含む場合、学習モデルは、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴領域の各領域をセグメンテーションすることができる。教師データが第4の教師データを含む場合、学習モデルは、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる。
学習モデルが、顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するように第1の教師データを用いて生成された第1の学習モデル、顎顔面構成領域のデータが入力されると、歯領域のセグメンテーションデータを出力するように第2の教師データを用いて生成された第2の学習モデル、顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータを出力するように第3の教師データを用いて生成された第3の学習モデル、および、顎顔面構成領域のデータが入力されると、皮質骨および歯槽骨のセグメンテーションデータを出力するように第4の教師データを用いて生成された第4の学習モデル、の少なくとも一つを含んでよい。学習モデルが第1の学習モデルを含む場合、学習モデルは、顎顔面構成領域から、X線高吸収体をセグメンテーションすることができる。学習モデルが第2の学習モデルを含む場合、学習モデルは、顎顔面構成領域から、歯領域をセグメンテーションすることができる。学習モデルが第3の学習モデルを含む場合、学習モデルは、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴の各領域をセグメンテーションすることができる。学習モデルが第4の学習モデルを含む場合、学習モデルは、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる。
学習モデルが、第1の学習モデルおよび第2の学習モデルを含み、実行部が、顎顔面構成領域のデータを第1の学習モデルに入力することにより、X線高吸収体のセグメンテーションデータを取得し、取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減されたアーチファクトリダクションデータを生成し、生成されたアーチファクトリダクションデータを第2の学習モデルに入力することにより歯領域のセグメンテーションを行ってもよい。このような順に第1の学習モデルおよび第2の学習モデルを組み合わせて用いることで、それらの学習モデルを単独で用いる場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。特にアーチファクトの影響が抑制される分、セグメンテーション精度が向上する。
学習モデルが、第2の学習モデルおよび第3の学習モデルを含み、実行部が、顎顔面構成領域のデータを第2の学習モデルに入力することにより、歯領域のセグメンテーションデータを取得し、取得されたセグメンテーションデータを用いて歯領域のデータを生成し、生成された歯領域のデータを第3の学習モデルに入力することにより、エナメル質、象牙質および歯髄のセグメンテーションデータを取得して特徴領域のセグメンテーションを行ってもよい。このように第2の学習モデルおよび第3の学習モデルをこの順に組み合わせて用いることで、それらの学習モデルを単独で用いる場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。特に歯領域にフォーカスしてセグメンテーションを行う分、他の領域(たとえば皮質骨、歯槽骨等)と併せてセグメンテーションを行う場合よりも、セグメンテーション精度が向上する。
学習モデルが、第2の学習モデルおよび第4の学習モデルを含み、実行部が、顎顔面構成領域のデータを第2の学習モデルに入力することにより、歯領域のセグメンテーションデータを取得し、取得されたセグメンテーションデータを用いて顎顔面構成領域中の歯領域と歯領域ではない領域とを区分する区分処理を行い、区分処理が実行された顎顔面構成領域のデータを第4の学習モデルに入力することにより、歯領域ではない領域中の皮質骨および歯槽骨のセグメンテーションデータを取得して特徴領域のセグメンテーションを行ってもよい。このように第2の学習モデルおよび第4の学習モデルを組み合わせてこの順に用いることで、それらの学習モデルを単独で用いる場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。特に歯領域ではない領域にフォーカスしてセグメンテーションを行う分、歯領域と併せてセグメンテーションを行う場合よりも、セグメンテーション精度が向上する。
本開示の一側面に係る方法は、上述のセグメンテーション装置の学習モデルの生成方法であって、教師データが第1の教師データを含む場合の、第1の教師データを用いた学習モデルの生成、教師データが第2の教師データを含む場合の、第2の教師データを用いた学習モデルの生成、教師データが第3の教師データを含む場合の、第3の教師データを用いた学習モデルの生成、および、教師データが第4の教師データを含む場合の、第4の教師データを用いた学習モデルの生成、の少なくとも一つを行う。
上記の学習モデルの生成方法によれば、先に説明した第1の教師データ、第2の教師データ、第3の教師データおよび第4の教師データの少なくとも一つを用いて生成された学習モデルを得ることができる。
学習モデルの生成方法は、教師データが、第2の教師データ、第3の教師データおよび第4の教師データを含む場合に、顎顔面構成領域のデータを学習モデルに入力することによって取得されたセグメンテーションデータを用いて、第2の教師データを準備するステップと、準備された第2の教師データを用いて、学習モデルの学習を行うステップと、学習済みの学習モデルに顎顔面構成領域のデータを入力することによって歯領域のセグメンテーションデータを取得するステップとを含み、さらに、次の(a)、(b)および(c)のいずれかを含んでもよい。
(a)歯領域のセグメンテーションデータを用いて、第3の教師データを準備するステップ、および、準備された第3の教師データを用いて、学習モデルの学習を行うステップ
(b)歯領域のセグメンテーションデータを用いて、第4の教師データを準備するステップ、および、準備された第4の教師データを用いて、学習モデルの学習を行うステップ
(c)歯領域のセグメンテーションデータを用いて、第3の教師データを準備するステップ、準備された第3の教師データを用いて、学習モデルの学習を行うステップ、学習済みの学習モデルに顎顔面構成領域のデータを入力することによって取得されたセグメンテーションデータを用いて、第4の教師データを準備するステップ、および、準備された第4の教師データを用いて、学習モデルの学習を行うステップ
このように、第2の教師データを用いた学習、第3の教師データを用いた学習、および、第4の教師データを用いた学習をさまざまに組み合わせて行うことで、それらの学習を単独で行う場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。
学習モデルの生成方法は、第2の教師データを準備するステップよりも前に、第1の教師データを準備するステップと、第2の教師データを準備するステップよりも前に、準備された第1の教師データを用いて第1の学習モデルの学習を行うステップと、を含み、第2の教師データを準備するステップ、第3の教師データを準備するステップおよび第4の教師データを準備するステップは、少なくとも歯領域からなる領域のデータを学習モデルに入力することによって取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減された教師データを準備してよい。この場合、学習モデルは、アーチファクトが除去または低減されたデータから、特徴領域をセグメンテーションすることができる。このような学習モデルをアーチファクトが除去または低減されたデータに対して用いることにより、アーチファクトの影響が抑制される分、セグメンテーション精度を向上できる可能性がさらに高まる。
学習モデルの生成方法は、第1の教師データ、第2の教師データ、第3の教師データおよび第4の教師データを準備するステップと、準備された第1の教師データ、第2の教師データ、第3の教師データおよび第4の教師データをそれぞれ重みづけして用いて、学習モデルの学習を行うステップと、を含んでよい。これにより、セグメンテーション精度をさらに向上できる可能性が高まる。
先に説明したセグメンテーション装置において、実行部は、入力部に入力された顎顔面構成領域のデータと、学習モデルと、を用いて、エナメル質、セメント質、象牙質および歯槽骨のセグメンテーションデータを取得し、取得されたセグメンテーションデータに基づいて歯槽骨の吸収度を算出してよい。これにより、歯槽骨の吸収度の測定が可能になる。
実行部は、取得されたエナメル質、セメント質、象牙質および歯槽骨のセグメンテーションデータに示されるエナメル質と象牙質との境界から歯槽骨の根尖までの第1の距離に対する、境界から歯槽骨頂までの第2の距離の割合に基づいて、歯槽骨の吸収度を算出してよい。このようにして歯槽骨の吸収度を算出することができる。
本開示によれば、セグメンテーション精度を向上させることが可能なセグメンテーション装置および学習モデルの生成方法が提供される。
セグメンテーション装置の概要を示す図である。 セグメンテーションの例を示す図である。 セグメンテーションの例を示す図である。 セグメンテーションの例を示す図である。 セグメンテーションの例を示す図である。 セグメンテーション装置の機能ブロックの例を示す図である。 セグメンテーション装置の機能ブロックの例を示す図である。 教師データの例を示す図である。 教師データの例を示す図である。 教師データの例を示す図である。 教師データの例を示す図である。 教師データの例を示す図である。 教師データの例を示す図である。 セグメンテーション装置において実行される処理の例を示すフローチャートである。 セグメンテーション装置において実行される処理の例を示すフローチャートである。 セグメンテーション装置において実行される処理の例を示すフローチャートである。 セグメンテーション装置において実行される処理の例を示すフローチャートである。 学習モデルの生成方法の例を示すフローチャートである。 学習モデルの生成方法の例を示すフローチャートである。 学習装置の機能ブロックの例を示す図である。 全体像の例を示す推論フローである。 全体像の例を示す推論フローである。 歯槽骨の吸収度の測定の例を示す図である。 歯槽骨の吸収度の測定の例を示す図である。
以下、図面を参照しながら、本開示の実施形態について説明する。図において同一の要素には同一の符号を付し、重複する説明は繰り返さない。
図1は、実施形態に係るセグメンテーション装置の概要を示す図である。この例では、セグメンテーション装置は、セグメンテーションシステムの構成要素である。セグメンテーションシステム1は、撮影装置2と、セグメンテーション装置3と、を含む。撮影装置2のユーザを、ユーザU2と称し図示する。セグメンテーション装置3のユーザを、ユーザU3と称し図示する。撮影装置2によって取得されたデータがセグメンテーション装置3で利用できるように、撮影装置2およびセグメンテーション装置3が構成される。そのようなデータの利用は、撮影装置2からセグメンテーション装置3への単方向通信、撮影装置2およびセグメンテーション装置3の間の双方向通信等によって実現されてよい。
撮影装置2の例は、X線CT装置、MRI装置等である。撮影装置2がX線CT撮影装置である場合、撮影装置2は、ユーザU2に対してX線CT撮影を行う。撮影装置2がMRI装置である場合、撮影装置2は、ユーザU2に対してMRI撮影を行う。撮影対象は、ユーザU2の顎顔面構成領域である。顎顔面構成領域は、顎顔面領域または顎顔面の一部領域である。顎顔面領域は、上下の歯領域および口を含む顎領域である。顎顔面の一部領域は、顎顔面領域の一部の領域である。顎顔面の一部領域は、たとえば前記の上下の歯領域、歯を支持する役割を果たす顎領域等である。撮影を通して、撮影装置2は、顎顔面構成領域のデータを取得する。撮影装置2によって取得されたデータは、セグメンテーション装置3に送られる(入力される)。
撮影装置2によって取得されてセグメンテーション装置3に入力されるデータは、プロジェクションデータであってよい。他にも、再構成データ、スライス画像データ、ボリュームレンダリング画像データ等がセグメンテーション装置3に入力されてよい。再構成データ、スライス画像データ、およびボリュームレンダリング画像データは、プロジェクションデータを加工したものであってよい。これらのデータは、X線CT撮影またはMRI撮影から得られたデータ(画像データ)である。本実施形態においては、X線CT撮影またはMRI撮影から得られた画像データを、撮影画像データと称することもある。
本実施形態においては、撮影装置2等によってX線CT撮影またはMRI撮影で得られた一次的画像データを撮影生画像データと称する。また、撮影生画像データを加工して得られたデータを撮影加工画像データと称する。たとえば、撮影生画像データがプロジェクションデータである場合、プロジェクションデータを加工して得られた3次元画像データ、再構成データ、スライス画像データ、ボリュームレンダリング画像データ等は、撮影加工画像データの例である。プロジェクションデータを前処理して、前処理された画像データをさらに3次元画像データ、再構成データ、スライス画像データ、ボリュームレンダリング画像データ等に加工する場合もある。この場合の前処理画像データも撮影加工画像データの例である。撮影画像データは、このような撮影生画像データおよび撮影加工画像データを含み得る。
撮影画像データは、必ずしも撮影装置2で撮影されたデータでなくてもよい。、撮影画像データは、セグメンテーション装置3において処理可能なデータであればよく、他の撮影装置で撮影されたデータであってもよい。すなわち、記録媒体に格納された他の撮影装置で撮影されたデータが、撮影画像データとしてセグメンテーション装置3にインプットされるように構成されてもよい。
撮影画像データは、撮影生画像データであってもよいし、撮影生画像データに由来する画像データであってもよい。また、撮影画像データは、撮影加工画像データであってもよいし、撮影加工画像データに由来する画像データであってもよい。
撮影生画像データの加工の全部または一部は、撮影装置2によって実行されてもよいし、セグメンテーション装置3によって実行されてもよい。また、撮影生画像データの加工の全部または一部は、撮影装置2とセグメンテーション装置3とによって分担されてもよい。
撮影加工画像データのさらなる加工の全部または一部は、撮影装置2によって実行されてもよいし、セグメンテーション装置3によって実行されてもよい。また、撮影加工画像データのさらなる加工の全部または一部は、撮影装置2とセグメンテーション装置3とによって分担されてもよい。
再構成データには、プロジェクションデータを加工して被写体の被撮影領域の現状の再現を行うデータが含まれる。このデータは2次元画像データであってもよいし、3次元画像データであってもよい。2次元画像データの例はスライス画像データである。3次元画像データの例はボリュームデータやボリュームレンダリング画像データである。再構成データは、たとえば、ボクセルごとの測定値を示す。測定値の例は、CT値である。スライス画像データは、複数のスライス画像(スライス画像群)であってよい。再構成データは、たとえば公知の手法により、プロジェクションデータを利用して作られる。セグメンテーション装置3に入力されるデータフォーマットの例は、DICOM(Digital Imaging and COmmunications in Medicine)である。なお、プロジェクションデータ、再構成データ、スライス画像等の任意の組み合わせが、セグメンテーション装置3に入力されてもよい。
セグメンテーション装置3は、撮影装置2によって取得された顎顔面構成領域のデータに対してセグメンテーションを行う。セグメンテーションは、顎顔面構成領域に含まれる特徴領域を分別、特定等することを含む。セグメンテーションは、「クラスタリング」、「ラベリング」等とも称される。たとえば再構成データにおけるセグメンテーションでは、各ボクセルが顎顔面構成領域中のどの組織に対応するのか、が特定される。この場合のセグメンテーション結果は、各ボクセル(ボクセルの番号またはXYZ座標値等)と、組織を特定する情報(たとえばエナメル質、象牙質、歯髄等)と、を対応づけたデータであってよい。セグメンテーション結果は、たとえば画像の態様で、ユーザU3に提示される。ユーザU3に提示されるセグメンテーション結果の例を、図2(a)~図5(b)を参照して説明する。
セグメンテーション装置3は、図2(a)および図2(b)に示される画像を提示してよい。図2(a)は、略鉛直方向からみたときの、ユーザU2の歯領域およびその周辺領域を含む画像である。図2(b)は、図2(a)の画像に対するセグメンテーション結果である。この例では、セグメンテーション結果は、図2(a)の画像中の歯領域をマスキングした画像である。マスキング部分以外の画像は取り除かれている。この例では、取り除かれた部分は、黒色に対応するデータ(所定のCT値等)で表現されている。
セグメンテーション結果としてマスキングした画像を表示することは、視覚的、直感的な領域の確認を可能とするため、有効である。セグメンテーション結果の表示は、該当領域を境界線および色彩の少なくともいずれかで区分表示することで行ってよい。色彩による区分表示には、モノクロームの明度別の区分表示、原画の該当領域を色彩領域に置き換える処理、および透明性を有する色彩との重畳または合成を含み得る。
セグメンテーション装置3は、図3(a)および図3(b)に示される画像を提示してよい。図3(a)は、略鉛直方向からみたときの、ユーザU2の歯領域およびその周辺領域を含む画像である。図3(b)は、図3(a)の画像に対するセグメンテーション結果である。この例では、セグメンテーション結果は、図3(a)の画像中の歯領域中の、エナメル質、象牙質および歯髄の各領域をマスキングした画像である。エナメル質、象牙質および歯髄の各領域が異なる色でマスキングされている。
セグメンテーション装置3は、図4(a)および図4(b)に示される画像を提示してよい。図4(a)は、略鉛直方向からみたときの、ユーザU2の歯領域およびその周辺領域を含む画像である。図4(b)は、図4(a)の画像に対するセグメンテーション結果である。この例では、セグメンテーション結果は、図4(a)の画像中の歯領域をマスキングした画像である。当該セグメンテーション結果において、歯領域ではない領域(特に、歯槽骨および皮質骨)が見やすくなっている。
セグメンテーション装置3は、図5(a)および図5(b)に示される画像を提示してよい。図5(a)は、略鉛直方向からみたときの、ユーザU2の歯領域およびその周辺領域を含む画像である。図5(b)は、図5(a)の画像に対するセグメンテーション結果である。この例では、セグメンテーション結果は、図4(a)の画像中のX線高吸収体のみを残した画像である。
以上説明した図2(a)~図5(b)は、セグメンテーションの対象が、略鉛直方向からみたときの歯領域およびその周辺領域の画像である場合の例示である。ただし、セグメンテーションの対象はこの例に限定されない。たとえば、セグメンテーションの対象は、略鉛直方向以外の方向からみたときの画像であってよいし、歯領域のみの画像であってもよい。セグメンテーションの対象は、映像であってもよい。例えば、セグメンテーション結果は、医者又は観察者のようなユーザU3を支援することができ、また、診断のためにユーザU3を支援することもできる。歯または複数の歯のセグメンテーション結果を表示するだけでも、ユーザU3に、歯または複数の歯の構造、あるいは組織または組織の配置などを理解させるために役立てることできる。セグメンテーションの対象は、たとえばCT撮影中に取得されたプロジェクションデータであってもよい。詳しくは図8(a)~図8(e)を参照して後述する。
図1に戻り、セグメンテーション装置3は、プロセッサ(CPU等)、メモリ(ROM、RAM等)等を備えるコンピュータ装置であってよい。コンピュータ装置は、撮影装置2からのデータを直接または間接的に受け取ったり、ユーザU3の操作を受け付けたりするための入力インタフェースと、ユーザU3にセグメンテーション結果等の情報を提示するための出力インタフェースと、を備え得る。図1に示される例では、セグメンテーション装置3を構成するコンピュータ装置180の本体182が、プロセッサ、メモリ等を備える。コンピュータ装置180のキーボード189や、本体182における撮影装置2からの通信ケーブルの接続部分が、入力インタフェースに相当する。コンピュータ装置180のディスプレイ188が、出力インタフェースに相当する。
図6は、セグメンテーション装置の機能ブロックの例を示す図である。セグメンテーション装置3は、入力部32と、実行部34と、学習モデル36と、出力部38と、を含む。
入力部32は、顎顔面構成領域のデータが入力される部分(入力手段)である。入力部32は、たとえば上述の入力インタフェースとしての機能を備えるように構成されてよい。キーボードやマウスなどのユーザの物理的な操作を受け付ける入力インターフェースを「物理インタフェース」と呼んでもよい。
実行部34は、入力部32に入力されたデータと、学習モデル36と、を用いて、特徴領域のセグメンテーションを行う部分(実行手段)である。特徴領域は、顎顔面構成領域に含まれる生体的特徴領域および人工的特徴領域の少なくとも一方である。生体的特徴領域は、人工的特徴領域以外の領域である。生体的特徴領域の例は、歯、エナメル質、象牙質、歯髄、歯髄腔、セメント質、皮質骨、海面骨、神経管、血管、顎骨等の組織の領域である。人工的特徴領域の例は、X線高吸収体の領域である。X線高吸収体の例は、金属補綴物である。
実行部34は、学習モデル36にデータを入力する。学習モデル36に入力されるデータは、入力部32に入力された顎顔面構成領域のデータそのものであってもよいし、入力部32に入力された顎顔面構成領域のデータに由来するデータであってもよい。由来するデータは、前処理が施されたデータであってよい。前処理の例は、畳み込み、プーリング、トリミング等である。由来するデータは、一回以上、学習モデル36に入力されて学習モデル36から出力されたデータであってもよい。
セグメンテーション装置3には、顎顔面構成領域の撮影画像データの入力を受けて学習モデル36に顎顔面構成領域の撮影画像データを送る学習モデル入力部361が設けられてもよい。また、学習モデル36は、学習モデル入力部361に接続されてもよい。入力部32が学習モデル入力部361を兼ねていてもよい。或いは、学習モデル入力部361と入力部32とは、それぞれ別個に設けられてもよい。学習モデル入力部361と入力部32とをそれぞれ別個に設ける場合、たとえば、入力部32に入力されたデータは、加工されずに学習モデル入力部361に自動的に入力されるように構成されてもよい。或いは、実行部34が、入力部32に入力された撮影画像データを加工した上で学習モデル入力部361に自動的に入力するように構成されてもよい。
たとえば、撮影装置2によって取得されたプロジェクションデータがセグメンテーション装置3の入力部32に入力されてもよい。そして、実行部34が当該プロジェクションデータを加工して再構成データ、スライス画像データ、ボリュームレンダリング画像データ等の加工画像データを生成してもよい。そして、この加工画像データが、学習モデル入力部361を介して学習モデル36に自動的に入力されてもよい。入力部32に入力される撮影画像データは、撮影生画像データであってもよいし、撮影加工画像データであってもよい。学習モデル入力部361に入力される撮影画像データは、撮影生画像データであってもよいし、撮影加工画像データであってもよい。
入力部32又は学習モデル入力部361に入力されるデータは、たとえば、撮影時の管電流や管電圧等の撮影画像データの付随情報データを含んでもよい。
学習モデル36は、予め生成された学習モデルである。セグメンテーション装置3の製造時以降にアップデートされた学習モデル36も、予め生成された学習モデルの一態様である。学習モデル36は、撮影装置2のX線CT撮影またはMRI撮影によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、上述の特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成(学習)される。
学習モデル36の学習は、教師データを用いた機械学習(訓練)であってよい。機械学習は、SVM、ニューラルネットワーク、ディープラーニング等の様々な手法を含み得る。学習モデル36がニューラルネットワークによって構成される場合、学習モデル36は、教師データによってチューニングされたニューラルネットワークの中間層のパラメータを含む学習済みモデルであってよい。このように学習モデル36がニューラルネットワークによって構成される場合、ニューラルネットワークは、入力層、隠れ層、および出力層を含む多層パーセプトロンで構成されてもよい。
教師データは、第1の教師データを含んでよい。第1の教師データは、顎顔面構成領域のデータと、X線高吸収体のセグメンテーションデータと、を対応づけた教師データである。第1の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するようになる。
教師データは、第2の教師データを含んでよい。第2の教師データは、顎顔面構成領域のデータと、歯領域のセグメンテーションデータと、を対応付けた教師データである。第2の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、顎顔面構成領域のデータが入力されると、歯領域のセグメンテーションデータを出力するようになる。
第2の教師データにおける顎顔面構成領域のデータは、顎顔面構成領域全域のデータであってもよいし、顎顔面構成領域の一部領域のデータでもよい。顎顔面構成領域中の一部の領域、とりわけ歯列弓中の一部の歯とその周囲の近辺領域のみを局所撮影する局所X線CT撮影が行われる場合もある。その場合、顎顔面構成領域の一部領域のデータと、歯領域のセグメンテーションデータと、が対応付けられる。現実の局所X線CT撮影においては、殆どの場合に被写体の位置付けは成功するので、上記顎顔面構成領域のデータは、顎顔面構成領域に含まれる少なくとも歯領域からなる領域に限定されてもよい。ただし、位置付けが失敗して、顎顔面構成領域の一部領域のデータに歯領域が含まれない可能性もある。よって、その場合を考慮して、歯領域が含まれない場合に“歯領域ゼロ”を示すセグメンテーション結果を出力するように構成されてもよい。
また、顎顔面構成領域全域のデータと、歯領域全域(歯列弓全域)の歯領域のセグメンテーションデータと、が対応付けられてもよい。
第2の教師データを用いた学習モデル36の訓練において、局所領域内をセグメンテーションする場合、対象局所領域が顎顔面領域中のどの領域であるかを学習モデル36に予め教えて訓練し、結果的に局所領域の場所の情報が無くとも正しい認識ができるようにされてもよい。
教師データは、第3の教師データを含んでよい。第3の教師データは、顎顔面構成領域中の少なくとも歯領域からなる領域のデータと、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた教師データであってよい。第3の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータを出力するようになる。
第3の教師データは、より具体的には、少なくとも歯領域からなる領域のデータと、歯領域中のエナメル質、象牙質および歯髄の各領域のセグメンテーションデータと、を対応づけた教師データであってよい。この場合、第3の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、少なくとも歯領域からなる領域のデータが入力されると、歯領域中のエナメル質、象牙質および歯髄の各領域のセグメンテーションデータを出力するようになる。歯領域中の複数の生体的特徴領域のセグメンテーションは、エナメル質、象牙質、歯髄の領域のセグメンテーションだけでなく、セメント質の領域のセグメンテーションを含んでもよい。
第3の教師データを構成する「少なくとも歯領域からなる領域」は、たとえば歯領域以外の領域も含んだ顎顔面構成領域であってもよい。歯のみの領域のデータが与えられて、その内部を各生体的特徴領域に分類する構成の方が、負担が小さいという利点があるが、必ずしも一旦歯のみの領域のデータを生成する必要はなく、顎顔面構成領域中の歯領域中の各生体的特徴領域を抽出する構成にしてもよい。
顎顔面構成領域に存するエナメル質、象牙質、歯髄のセグメンテーションの結果、エナメル質、象牙質、歯髄領域のセグメンテーションデータを寄せ集めた総体を、歯領域のセグメンテーションデータとすることもできる。この場合は、第3の教師データが、上述の第2の教師データの役割を兼ねることとなる。対象領域は、エナメル質、象牙質、歯髄のほかにセメント質を含んでもよい。
教師データは、第4の教師データを含んでよい。基本的には、歯根を支持する顎骨は、歯根膜を介して歯を支持する生体領域といえる。歯を支持する生体領域には、皮質骨、歯槽骨のように、歯を支持する生体的特徴領域が含まれる。第4の教師データは、顎顔面構成領域のデータと、歯を支持する生体領域に含まれる生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた教師データであってよい。第4の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、顎顔面構成領域のデータが入力されると、顎顔面構成領域中の歯を支持する生体的特徴領域の各領域のセグメンテーションデータを出力するようになる。
第4の教師データは、より具体的には、顎顔面構成領域のデータと、顎顔面構成領域中の歯を支持する生体的特徴領域のセグメンテーションデータと、を対応づけた教師データであってよい。この場合、第4の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも顎顔面構成領域のデータが入力されると、顎顔面構成領域中の歯を支持する生体的特徴領域のセグメンテーションデータを出力するようになる。歯を支持する生体的特徴領域は、歯を支持する生体的特徴領域の各領域であってもよい。第4の教師データは、顎顔面構成領域のデータと、顎顔面構成領域中の皮質骨、歯槽骨の各領域のセグメンテーションデータと、を対応づけた教師データであってもよい。この場合、第4の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも顎顔面構成領域のデータが入力されると、顎顔面構成領域中の皮質骨、歯槽骨の各領域のセグメンテーションデータを出力するようになる。
第4の教師データは、顎顔面構成領域中の歯を支持する生体領域のデータと、顎顔面構成領域中の歯を支持する生体領域に含まれる皮質骨、歯槽骨の各領域のセグメンテーションデータと、を対応づけた教師データであってもよい。この場合、第4の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも顎顔面構成領域中の歯を支持する生体領域のデータが入力されると、歯を支持する生体領域に含まれる皮質骨、歯槽骨の各領域のセグメンテーションデータを出力するようになる。
複数の教師データを用いて学習モデル36の学習を行う場合、一つの学習モデルだけを準備し、同じ学習モデルに対して異なる複数の教師データを用いた学習を行ってよい。あるいは、各教師データに対応する複数の学習モデルを準備し、各学習モデルに対して対応する教師データを用いた学習を行ってもよい。後者について、図7(a)及び図7(b)を参照して説明する。
図7(a)に示される学習モデル36Aは、学習モデルLM1、学習モデルLM2、学習モデルLM3および学習モデルLM4を含む。
学習モデルLM1は、顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するように、第1の教師データを用いて生成された第1の学習モデルである。顎顔面構成領域のデータは、入力部32または学習モデル入力部361に入力されたものであってよい。
学習モデルLM2は、顎顔面構成領域のデータが入力されると、顎顔面構成領域中の歯領域のセグメンテーションデータを出力するように、第2の教師データを用いて生成された第2の学習モデルである。顎顔面構成領域のデータは、入力部32または学習モデル入力部361に入力されたものであってよい。
学習モデルLM3は、顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータを出力するように、第3の教師データを用いて生成された第3の学習モデルである。学習モデルLM3は、少なくとも歯領域からなる領域のデータが入力されると、歯領域中のエナメル質、象牙質および歯髄の各領域のセグメンテーションデータを出力するように、第3の教師データを用いて生成されてもよい。学習モデルLM3により出力されるセグメンテーションデータは、セメント質の領域のセグメンテーションデータも含んでよい。
学習モデルLM4は、顎顔面構成領域のデータが入力されると、顎顔面構成領域中の歯を支持する生体的特徴領域のセグメンテーションデータを出力するように、第4の教師データを用いて生成された第4の学習モデルである。顎顔面構成領域のデータは、入力部32または学習モデル入力部361に入力されたものであってよい。さらに具体的には、学習モデルLM4は、顎顔面構成領域のデータが入力されると、顎顔面構成領域中の皮質骨、歯槽骨の各領域のセグメンテーションデータを出力するように、第4の教師データを用いて生成されてもよい。また、学習モデルLM4は、顎顔面構成領域中の歯を支持する生体領域のデータが入力されると、顎顔面構成領域中の歯を支持する生体領域に含まれる皮質骨、歯槽骨の各領域のセグメンテーションデータを出力するように、第4の教師データを用いて生成されてもよい。
学習モデルは、セグメンテーションのための学習モデルのほか、セグメンテーションではない処理のための学習モデルを備えてもよい。
図7(b)に示される例では、学習モデル36は、セグメンテーションを主処理とする、すなわちセグメンテーション系処理を行うセグメンテーション系学習モデルSMのほか、セグメンテーションではない処理を主処理とする、すなわち非セグメンテーション系処理を行う非セグメンテーション系学習モデルASMを含んでよい。
上述の第1から第4の学習モデルLM1~LM4は、セグメンテーション系学習モデルSMの例である。非セグメンテーション系学習モデルASMの例は後述する。
第1から第4の教師データの例について、図8(a)~図11(c)を参照して説明する。
図8(a)~図8(e)に例示される第1の教師データでは、図8(a)および図8(b)に示される画像が互いに対応付けられている。図8(a)は、X線CT撮影時に被写体をある方向からX線照射したときのフレーム画像、すなわちプロジェクションデータである。図8(a)のフレーム画像は、顎顔面領域を側方からX線照射したタイミングで得られたものである。図8(b)は、図8(a)の画像中のX線高吸収体のみを残した画像である。X線高吸収体は、たとえば補綴物等として用いられる金属等である。このX線高吸収体領域の抽出によって、その位置が特定されるので、アーチファクト低減処理が可能となる。アーチファクト低減処理は、たとえば、図8(c)に示したように、X線高吸収体領域以外の領域を参照し、プロジェクションデータ中のX線高吸収体領域の濃度をアーチファクトが発生しない(またはアーチファクトを低減できる)適宜の濃度に置き換える処理を含み得る。
X線高吸収体領域の抽出のために、CT画像のような再構成画像が利用されてもよい。図8(d)は、略鉛直方向からみたときの、歯領域およびその周辺領域のCT画像である。X線CT撮影で得られたプロジェクションデータから、一旦CT画像を再構成し、図8(d)のようなCT画像を生成する。図8(d)の画像中のX線高吸収体のみを抽出することにより、図8(e)のような画像が得られる。抽出されたX線高吸収体領域の位置情報は、図8(a)中のX線高吸収体領域の特定のために利用され得る。
図9(a)および図9(b)に例示される第1の教師データでは、図9(a)および図9(b)に示される画像が互いに対応付けられている。図9(a)は、略水平方向からみたときの、歯領域およびその周辺領域の画像である。図9(b)は、図9(a)の画像中の金属領域のみをマスキングして残した(アノテーションした)画像である。ここでは一例として、X線高吸収体の代表例として金属を説明しているが、金属以外のX線高吸収体であっても同様である。
図8(a)~図8(e)並びに図9(a)および図9(b)に例示される第1の教師データは、X線高吸収体を含む実測データに基づいて準備されたものである。ただし、第1の教師データは、X線高吸収体を含まない実測データに基づいて準備されてもよい。たとえば、実測データにX線高吸収体のデータを付加して得られたシミュレーションデータに基づいて、第1の教師データが準備されてよい。
図10(a)~図10(c)に例示される第2の教師データでは、図10(a)および図10(b)に示される画像が互いに対応付けられている。図10(a)は、略鉛直方向からみたときの、歯領域およびその周辺領域の画像である。図10(a)はCT画像の例である。図10(b)は、図10(a)の画像中の歯領域(歯全体)をマスキングした画像である。歯領域以外の部分の画像は取り除かれている。上述したように歯領域以外の部分の画像を取り除く処理に代えて、歯領域以外の部分を単一色に置き換える処理が実行されてもよい。このことは、以下の説明においても同様である。第2の教師データにおいて、図10(c)に示されるようなプロジェクションデータが、図10(a)および図10(b)に示される画像にさらに対応付けられていてもよい。
顎顔面構成領域のデータが再構成画像のデータであり、再構成画像のデータがCTやMRIのボリュームデータ等の3次元データであり、3次元データ中の歯領域の3次元的、立体的なロケーション認識をする場合、咬合面がボリュームデータ中のどの座標に設定されるか認識し、それから、咬合面と平行または略平行な断面の画像を生成するようにしてもよい。または、上顎歯と下顎歯の分離を行うようにしてもよい。
セグメンテーションについては、咬合面と平行または略平行な断面のスライス画像中でセグメンテーションを行うようにしてもよいし、3次元的、立体的な歯領域のセグメンテーションを行ってからスライス画像の切り出しを行うようにしてもよい。
図11(a)~図11(c)に例示される第3の教師データでは、図11(a)および図11(b)に示される画像が互いに対応付けられている。図11(a)は、CT画像の例である。図11(a)は、略鉛直方向からみたときの、歯領域およびその周辺領域の画像である。図11(b)は、図11(a)の画像中のエナメル質、象牙質および歯髄をそれぞれ異なる色でマスキングした画像である。エナメル質、象牙質および歯髄以外の画像は取り除かれている。画像中のエナメル質、象牙質、歯髄およびセメント質をそれぞれ異なる色でマスキングし、エナメル質、象牙質、歯髄およびセメント質以外の画像を取り除くようにしてもよい。第3の教師データにおいて、図11(c)に示されるようなプロジェクションデータが図11(a)および図11(b)に示される画像にさらに対応付けられていてよい。
図12(a)~図12(c)に例示される第3の教師データでは、図12(a)および図12(b)に示される画像が互いに対応付けられている。図12(a)は、略鉛直方向からみたときの、歯領域の画像である。この画像は、歯領域の周辺領域の画像を含まない点において、先に説明した図11(a)の画像と相違する。すなわち、図12(a)の画像では、歯領域の周辺領域の画像が取り除かれている。図12(b)は、図12(a)の画像において、エナメル質、象牙質および歯髄をマスキングした画像である。このような第3の教師データにおいても、図12(c)に示されるようなプロジェクションデータが図12(a)および図12(b)に示される画像にさらに対応付けられていてよい。
第2の学習モデルによって歯領域のセグメンテーションデータを生成する工程では、歯領域のみの画像のデータ(歯のみの画像のデータ)を抽出し、第3の学習モデルにおいて、この歯領域のみの画像のデータをセグメンテーションして、エナメル質、象牙質、歯髄の各領域のセグメンテーションまたはエナメル質、象牙質、歯髄、セメント質の各領域のセグメンテーションを行うようにしてもよい。歯領域のみの画像のデータの位置情報を参照するようにしてもよい。
図13(a)および図13(b)に例示される第4の教師データでは、図13(a)および図13(b)に示される画像が互いに対応付けられている。図13(a)は、略鉛直方向からみたときの、歯領域および周辺領域の画像である。なお、この画像では、歯領域の画像が取り除かれている。歯領域の周辺領域は、顎顔面構成領域中の歯を支持する生体領域でもある。図13(b)は、図13(a)の画像において、皮質骨および歯槽骨をセグメンテーションした画像である。皮質骨および歯槽骨以外の画像は取り除かれている。図10(a)に示される画像および図13(b)に示される画像の基データが共通のものである場合、図10(a)に示される画像および図13(b)に示される画像は、互いに対応付けられてもよい。
第2の学習モデルによって歯領域のセグメンテーションデータを生成する工程では、歯領域のみの画像のデータ(歯のみの画像のデータ)を抽出し、第4の学習モデルおいて、歯領域のみの画像のデータの位置情報を参照するようにしてもよい。
図6に戻り、出力部38は、実行部34の実行結果を出力する部分(実行手段)である。出力部38は、たとえば上述の出力インタフェースとしての機能を備えるように構成されてよい。出力インタフェースは、先に図2(a)~図5(b)を参照して説明した態様で、セグメンテーション結果をユーザU3に提示するディスプレイ(たとえば図1のディスプレイ188)等を含みうる。
図14は、セグメンテーション装置において実行される処理の例を示すフローチャートである。
ステップS1において、セグメンテーション装置3の入力部32に、撮影装置2によって取得された顎顔面構成領域のデータが入力される。たとえば、先に説明した図2(a)、図3(a)、図4(a)および図5(a)に示されるような画像が、入力部32に入力される。
ステップS2において、実行部34が、先のステップS1で入力された顎顔面構成領域のデータと、学習モデル36または学習モデル36Aと、を用いて、特徴領域のセグメンテーションを行う。具体的には、実行部34は、入力された顎顔面構成領域のデータを、学習モデル36または学習モデル36Aに入力することによって、特徴領域のセグメンテーションデータを取得する。セグメンテーション結果の例は、先に説明した図2(b)、図3(b)、図4(b)および図5(b)に示されるような画像である。セグメンテーション結果は、図2(a)、図3(a)、図4(a)または図5(a)に示される画像と、対応する図2(b)、図3(b)、図4(b)または図5(b)に示される画像とが組み合わされた(たとえば各画像が並べられた)画像であってもよい。学習モデル36Aを用いる場合のいくつかの具体例を、図15~18を参照して説明する。
図15に示されるステップS2aは、学習モデル36Aが学習モデルLM1および学習モデルLM2を含む場合に、図14のステップS2として実行されてよい。
ステップS2a1において、実行部34は、先のステップS1(図14参照)で入力された顎顔面構成領域のデータを学習モデルLM1に入力することによって、X線高吸収体のセグメンテーションデータを取得する。
ステップS2a2において、実行部34は、アーチファクトリダクションデータを生成する。アーチファクトリダクションデータは、アーチファクトが除去または低減された再構成データである。アーチファクトリダクションデータは、先のステップS2a1で取得されたX線高吸収体のセグメンテーションデータに基づいて、先に図8(c)を参照して説明したような手法やその他の公知の手法により得られる。なお、アーチファクトは、例えば、プロジェクションデータから再構成データを作る際に、X線高吸収体の存在によってX線高吸収体およびその近傍の測定値(CT値等)の整合性が得られないことによって生じる。アーチファクトリダクションの処理として、NMAR(Normalized Metal Artifact Reduction)などの手法を利用可能である。また、次のような例も利用可能である。図8(e)のような画像より抽出したX線高吸収体の位置情報を基に、X線CT撮影で取得したプロジェクションデータにおけるX線高吸収体の位置を特定する。プロジェクションデータにおけるX線高吸収体領域の値を、X線高吸収体領域の周辺領域の値から算出される値に置き換える。プロジェクションデータをサイノグラム化し、X線高吸収体領域のサインカーブを抽出して、サインカーブの値を非X線高吸収体領域の値より算出した調整値と置き換えるようにしてもよい。置き換えの後にプロジェクションデータの再構成演算を行うことでアーチファクトリダクションデータが得られる。このアーチファクトリダクションデータに抽出したX線高吸収体領域の画像(例えば図8(e)のような画像)を埋め込む処理を行うことで、アーチファクトが除去または低減された顎顔面構成領域のCT画像を生成してもよい。
アーチファクトの除去・低減の処理についても学習モデルに学習させてもよい。このようなアーチファクト除去・低減の処理の学習モデルは、図7(b)の非セグメンテーション系学習モデルASMの例である。
ステップS2a3において、実行部34は、先のステップS2a2で生成されたアーチファクトリダクションデータを学習モデルLM2に入力することにより、歯領域のセグメンテーションデータを取得する。
図16に示されるステップS2bは、学習モデル36Aが学習モデルLM2および学習モデルLM3を含む場合に、図14のステップS2として実行されてよい。
ステップS2b1において、実行部34は、先のステップS1(図14参照)で入力された顎顔面構成領域のデータを学習モデルLM2に入力することによって、歯領域のセグメンテーションデータを取得する。
ステップS2b2において、実行部34は、歯領域のデータを生成する。たとえば、先のステップS1で入力された顎顔面構成領域のデータから、先のステップS2b1で取得された歯領域のセグメンテーションデータに対応する部分のデータを抽出することによって、歯領域のデータが生成される。
歯領域のデータは、図10(b)のようなセグメンテーションデータの情報から抽出できる。たとえば図10(a)の画像中の図10(b)でマスキングした領域に該当する領域を抽出することで、歯領域のデータを抽出することができる。このような歯のみの画像の生成についても学習モデルに学習させてもよい。
このような歯のみの画像生成の処理の学習モデルは、図7(b)の非セグメンテーション系学習モデルASMの例である。
非セグメンテーション系処理の一部または全部をセグメンテーション系学習モデルに分担させてもよい。たとえば、第1の学習モデルLM1、第2の学習モデルLM2、第3の学習モデルLM3の少なくともいずれかにアーチファクトの除去・低減の処理の学習を分担させ、アーチファクトを除去・低減させた再構成画像を出力させてもよい。また、第2の学習モデルLM2、第3の学習モデルLM3の少なくともいずれかに歯のみの画像の生成を分担させ、歯のみの画像を出力させてもよい。
ステップS2b3において、実行部34は、先のステップS2b2で生成された歯領域のデータを学習モデルLM3に入力することによって、エナメル質、象牙質および歯髄のセグメンテーションデータまたはエナメル質、象牙質、歯髄およびセメント質のセグメンテーションデータを取得する。
ステップS2a2のアーチファクトリダクションデータの生成からステップS2b3につながるようにして、アーチファクトリダクションデータ中のエナメル質、象牙質および歯髄のセグメンテーションデータまたはエナメル質、象牙質、歯髄およびセメント質のセグメンテーションデータを取得するようにしてもよい。
図17に示されるステップS2cは、学習モデル36Aが学習モデルLM2および学習モデルLM4を含む場合に、図14のステップS2として実行されてよい。
ステップS2c1において、実行部34は、先のステップS1で入力された顎顔面構成領域のデータを学習モデルLM2に入力することによって、歯領域のセグメンテーションデータを取得する。
ステップS2c2において、実行部34は、歯領域と歯領域ではない領域を区分する区分処理を行う。たとえば、先のステップS1で入力された顎顔面構成領域のデータから、先のステップS2c1で取得した歯領域のセグメンテーションデータに対応する部分と、それ以外の部分とを分けて抽出することで、歯領域と歯領域ではない領域とを区分する。
ステップS2c3において、実行部34は、先のステップS2c2で区分された、歯領域ではない領域のデータを学習モデルLM4に入力することによって、皮質骨および歯槽骨のセグメンテーションデータを取得する。
ステップS2a2のアーチファクトリダクションデータの生成からステップS2c3につながるようにして、当該アーチファクトリダクションデータ中の皮質骨および歯槽骨のセグメンテーションデータを取得するようにしてもよい。
図14に戻り、ステップS3において、出力部38がセグメンテーション結果を出力する。たとえば、先に説明した図2(b)、図3(b)、図4(b)および図5(b)に示されるような画像が、出力部38によって提示される。
以上説明したセグメンテーション装置3は、たとえば次のように特定される。すなわち、セグメンテーション装置3は、入力部32と、実行部34と、学習モデル36と、出力部38とを含む。入力部32には、顎顔面領域または顎顔面の一部領域である顎顔面構成領域のデータが入力される(ステップS1)。実行部34は、入力部32に入力された顎顔面構成領域のデータと、予め生成された学習モデル36または学習モデル36Aと、を用いて、顎顔面構成領域に含まれる生体的特徴領域および人工的特徴領域の少なくとも一方の領域である特徴領域のセグメンテーションを行う(ステップS2)。出力部38は、実行部34の実行結果を出力する(ステップS3)。学習モデル36または学習モデル36Aは、撮影装置2によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成された学習モデルである。
上記のセグメンテーション装置3によれば、顎顔面領域構成領域と、予め生成された学習モデル36または学習モデル36Aと、を用いて、特徴領域のセグメンテーションが行われる。学習モデル36または学習モデル36Aは、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成された学習モデルである。したがって、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータ、再構成データ等から、特徴領域をセグメンテーションすることができる。このように学習モデル36または学習モデル36Aを用いてセグメンテーションを行うことにより、たとえばCT値や濃度値等に基づいて数学的にセグメンテーションを行う場合よりも、セグメンテーション精度を向上できる可能性が高まる。特に互いの位置およびCT値がともに近い組織間のセグメンテーションに有用である。精度が向上することで、人の介入を不要にできる可能性も高まる。
入力部32に入力される顎顔面構成領域のデータが、歯領域のデータ、または、歯領域およびその周囲領域を含む領域のデータであってよい。これにより、顎顔面構成領域から、歯領域、または、歯領域およびその周辺領域を含む領域をセグメンテーションすることができる。
学習モデル36または学習モデル36Aが出力するセグメンテーションデータが、歯、エナメル質、象牙質、歯髄、歯髄腔、セメント質、皮質骨、海面骨、神経管、血管、顎骨およびX線高吸収体の少なくとも一つのセグメンテーションデータであってよい。これにより、歯、エナメル質、象牙質、歯髄、歯髄腔、セメント質、皮質骨、海面骨、神経管、血管、顎骨等の組織およびX線高吸収体をセグメンテーションすることができる。たとえば皮質骨、象牙質および海綿骨のようにCT値が近い(重複しうる)組織のセグメンテーションに有用である。
教師データは、顎顔面構成領域のデータと、X線高吸収体のセグメンテーションデータと、を対応づけた教師データ(図8(a)~図8(e)および図9(a)、図9(b)等参照)を含んでよい。この場合、学習モデル36または学習モデル36Aは、顎顔面構成領域から、X線高吸収体をセグメンテーションすることができる(図5(a)および図5(b)等参照)。
教師データは、顎顔面構成領域のデータと、歯領域のセグメンテーションデータと、を対応づけた教師データ(図10(a)、図10(b)および図10(c)等参照)を含んでよい。この場合、学習モデル36または学習モデル36Aは、顎顔面構成領域から、歯領域をセグメンテーションすることができる(図2(a)および図2(b)等参照)。
教師データは、顎顔面構成領域中の少なくとも歯領域からなる領域のデータと、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を含んでよい。この場合、学習モデル36または学習モデル36Aは、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴領域の各領域をセグメンテーションすることができる(図3(a)および図3(b)等参照)。
上述の教師データは、少なくとも歯領域からなる領域のデータと、歯領域中のエナメル質、象牙質および歯髄の各領域のセグメンテーションデータと、を対応づけた教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)であってよい。この場合、学習モデルは、少なくとも歯領域からなる領域から、歯領域中のエナメル質、象牙質および歯髄の各領域をセグメンテーションすることができる(図3(a)および図3(b)等参照)。
教師データは、顎顔面構成領域のデータと、皮質骨および歯槽骨のセグメンテーションデータと、を対応づけた教師データ(図13(a)および図13(b)等参照)を含んでよい。この場合、学習モデルは、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる(図4(a)および図4(b)等参照)。互いにCT値の近い皮質骨および歯槽骨のセグメンテーションができれば、残りの組織のセグメンテーションが行いやすくなる。
学習モデル36または学習モデル36Aは、顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するように(図5(a)および図5(b)等参照)の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)を用いて生成されてよい。これにより、顎顔面構成領域から、X線高吸収体をセグメンテーションすることができる(図5(a)および図5(b)等参照)。
学習モデル36または学習モデル36Aは、顎顔面構成領域のデータが入力されると、顎顔面構成領域中の歯領域のセグメンテーションデータを出力するように(図2(a)および図2(b)等参照)の教師データ(図10(a)~図10(c)等参照)を用いて生成されてよい。これにより、顎顔面構成領域から、顎顔面構成領域中の歯領域をセグメンテーションすることができる(図2(a)および図2(b)等参照)。
学習モデル36または学習モデル36Aは、顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータを出力するように(図3(a)および図3(b)等参照)の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を用いて生成されてよい。これにより、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴領域の各領域をセグメンテーションすることができる(図3(a)および図3(b)等参照)。
学習モデル36または学習モデル36Aは、顎顔面構成領域のデータが入力されると、皮質骨および歯槽骨のセグメンテーションデータを出力するように(図4(a)および図4(b)等参照)の教師データ(図13(a)および図13(b)等参照)を用いて生成されてよい。これにより、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる(図4(a)および図4(b)等参照)。
教師データが第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)を含む場合、学習モデル36または学習モデル36Aは、顎顔面構成領域から、X線高吸収体をセグメンテーションすることができる(図5(a)および図5(b)等参照)。教師データが第2の教師データ(図10(a)~図10(c)等参照)を含む場合、学習モデル36または学習モデル36Aは、顎顔面構成領域から、歯領域をセグメンテーションすることができる(図2(a)および図2(b)等参照)。教師データが第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を含む場合、学習モデルは、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴領域の各領域をセグメンテーションすることができる(図3(a)および図3(b)等参照)。教師データが第4の教師データ(図13(a)および図13(b)等参照)を含む場合、学習モデル36または学習モデル36Aは、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる(図4(a)および図4(b)等参照)。
学習モデル36Aは、学習モデルLM1、学習モデルLM2、学習モデルLM3および学習モデルLM4の少なくとも一つの学習モデルを含んでよい。学習モデル36Aが学習モデルLM1を含む場合、学習モデル36Aは、顎顔面構成領域から、X線高吸収体をセグメンテーションすることができる(図5(a)および図5(b)等参照)。学習モデル36Aが学習モデルLM2を含む場合、学習モデル36Aは、顎顔面構成領域から、歯領域をセグメンテーションすることができる(図2(a)および図2(b)等参照)。学習モデル36Aが学習モデルLM3を含む場合、学習モデル36Aは、顎顔面構成領域中の少なくとも歯領域からなる領域から、歯領域中の複数の生体的特徴の各領域をセグメンテーションすることができる(図3(a)および図3(b)等参照)。学習モデル36Aが学習モデルLM4を含む場合、学習モデル36Aは、顎顔面構成領域から、皮質骨および歯槽骨をセグメンテーションすることができる(図4(a)および図4(b)等参照)。
学習モデル36Aが、学習モデルLM1および学習モデルLM2を含み、実行部34が、顎顔面構成領域のデータを学習モデルLM1に入力することにより、X線高吸収体のセグメンテーションデータを取得し(ステップS2a1)、取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減されたアーチファクトリダクションデータを生成し(ステップS2a2)、生成されたアーチファクトリダクションデータを学習モデルLM2に入力することにより歯領域のセグメンテーションを行ってもよい(ステップS2a3)。このような順に学習モデルLM1および学習モデルLM2を組み合わせて用いることで、それらの学習モデルを単独で用いる場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。特にアーチファクトの影響が抑制される分、セグメンテーション精度が向上する。
学習モデル36Aが、学習モデルLM2および学習モデルLM3を含み、実行部34が、顎顔面構成領域のデータを学習モデルLM2に入力することにより、歯領域のセグメンテーションデータを取得し(ステップS2b1)、取得されたセグメンテーションデータを用いて歯領域のデータを生成し(ステップS2b2)、生成された歯領域のデータを学習モデルLM3に入力することにより、エナメル質、象牙質および歯髄のセグメンテーションデータを取得して特徴領域のセグメンテーションを行ってもよい(ステップS2b3)。このような順に学習モデルLM2および学習モデルLM3を組み合わせて用いることで、それらの学習モデルを単独で用いる場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。特に歯領域にフォーカスしてセグメンテーションを行う分、他の領域(たとえば皮質骨、歯槽骨等)と併せてセグメンテーションを行う場合よりも、セグメンテーション精度が向上する。
学習モデル36Aが、学習モデルLM2および学習モデルLM4を含み、実行部34が、顎顔面構成領域のデータを学習モデルLM2に入力することにより、歯領域のセグメンテーションデータを取得し(ステップS2c1)、取得されたセグメンテーションデータを用いて顎顔面構成領域中の歯領域と歯領域ではない領域とを区分する区分処理を行い(ステップS2c2)、区分処理が実行された顎顔面構成領域のデータを学習モデルLM4に入力することにより、歯領域ではない領域中の皮質骨および歯槽骨のセグメンテーションデータを取得して特徴領域のセグメンテーションを行ってもよい(ステップS2c3)。このような順に学習モデルLM2および学習モデルLM4を組み合わせて用いることで、それらの学習モデルを単独で用いる場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。特に歯領域ではない領域にフォーカスしてセグメンテーションを行う分、歯領域と併せてセグメンテーションを行う場合よりも、セグメンテーション精度が向上する。
なお、学習モデル36(図6および図7(b)参照)または学習モデル36A(図7(a)参照)は、セグメンテーション装置3の外部に設けられていてもよい。たとえば、外部サーバ(不図示)に学習モデル36または学習モデル36Aが設けられている場合には、セグメンテーション装置3は、当該外部サーバと通信可能に構成されてよい。セグメンテーション装置3の実行部34は、通信によって、外部サーバ内の学習モデル36または学習モデル36Aを用いてよい。
図18は、実施形態に係る学習モデルの生成方法の例を示すフローチャートである。
ステップS41において、第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)を準備する。第1の教師データは、実測データであってもよいし、実測データを加工して得られるデータであってもよい。また、教師データの準備には、人の作業が介在してもよい。たとえば、専門家による教師データの作成等の作業が含まれてよい。準備に関するこれらの点は、後述の第2から第4の教師データについても同様であってよい。実測データを加工して得られる第1の教師データの例は、先に説明したような、実測データ上にX線高吸収体のデータを付加して得られたシミュレーションデータである。
ステップS42において、先のステップS41で準備された第1の教師データを用いた学習モデルの生成を行う。これにより、学習モデルは、顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するようになる。このように生成された学習モデルは、先に説明した学習モデル36または学習モデル36A(より具体的には学習モデルLM1)として用いられてよい。
ステップS43において、第2の教師データ(図10(a)~図10(c)等参照)を準備する。第2の教師データは、顎顔面構成領域のデータを一度学習モデルに入力することによって取得されたセグメンテーションデータを用いることにより準備されてよい。たとえば、先のステップS42で生成された学習済みの学習モデルに顎顔面構成領域のデータを入力することによって取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減された教師データを、第2の教師データとして準備してよい。
ステップS44において、先のステップS43で準備された第2の教師データを用いた学習モデルの生成を行う。これにより、学習モデルは、顎顔面構成領域のデータが入力されると、歯領域のセグメンテーションデータを出力するようになる。このように生成された学習モデルは、先に説明した学習モデル36または学習モデル36A(より具体的には学習モデルLM2)として用いられてよい。
ステップS45において、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を準備する。第3の教師データは、歯領域のセグメンテーションデータを用いることにより準備されてよい。歯領域のセグメンテーションデータは、先のステップS44で生成された学習済みの学習モデルに顎顔面構成領域のデータを入力することによって取得されてよい。また、少なくとも歯領域からなる領域のデータを先のステップS42で生成された学習済みの学習モデルに入力することによって取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減された教師データを、第3の教師データとして準備してもよい。
ステップS46において、先のステップS45で準備された第3の教師データを用いた学習モデルの生成を行う。これにより、学習モデルは、少なくとも、顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、歯領域中の複数の生体的特徴領域の各領域のセグメンテーションデータを出力するようになる。このように生成された学習モデルは、先に説明した学習モデル36または学習モデル36A(より具体的には学習モデルLM3)として用いられてよい。
ステップS47において、第4の教師データ(図13(a)および図13(b)等参照)を準備する。第4の教師データは、歯領域のセグメンテーションデータを用いることにより準備されてよい。歯領域のセグメンテーションデータは、先のステップS44で生成された学習済みの学習モデルに顎顔面構成領域のデータを入力することによって取得されてよい。また、顎顔面構成領域のデータを先のステップS42で生成された学習済みの学習モデルに入力することによって取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減された教師データを、第4の教師データとして準備してよい。
ステップS48において、先のステップS47で準備された第4の教師データを用いた学習モデルの生成を行う。これにより、学習モデルは、少なくとも、顎顔面構成領域のデータが入力されると、皮質骨および歯槽骨のセグメンテーションデータを出力するようになる。このように生成された学習モデルは、先に説明した学習モデル36または学習モデル36A(より具体的には学習モデルLM4)として用いられてよい。
なお、上述のステップS41~48のすべての処理が実行される必要はない。たとえば、教師データに第1の教師データを含めない場合は、ステップS41およびステップS42の処理はスキップされてよい。教師データに第2の教師データを含めない場合は、ステップS43およびステップS44の処理はスキップされてよい。教師データに第3の教師データを含めない場合は、ステップS45およびステップS46の処理はスキップされてよい。教師データに第4の教師データを含めない場合は、ステップS47およびステップS48の処理はスキップされてよい。
以上説明した学習モデルの生成方法は、たとえば次のように特定される。すなわち、学習モデルの生成方法は、第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)を用いた学習モデルの生成(ステップS42)、第2の教師データ(図10(a)~図10(c)等参照)を用いた学習モデルの生成(ステップS44)、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を用いた学習モデルの生成(ステップS46)、および、第4の教師データ(図13(a)および図13(b)等参照)を用いた学習モデルの生成(ステップS48)、の少なくとも一つを行う。
上記の学習モデルの生成方法によれば、第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)、第2の教師データ(図10(a)~図10(c)等参照)、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)および第4の教師データ(図13(a)および図13(b)等参照)の少なくとも一つを用いて生成された学習モデル36または学習モデル36Aを得ることができる。
学習モデルの生成方法は、教師データが、第2の教師データ(図10(a)~図10(c)等参照)、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)および第4の教師データ(図13(a)および図13(b)等参照)を含む場合に、顎顔面構成領域のデータを学習モデルに入力することによって取得されたセグメンテーションデータを用いて、第2の教師データ(図10(a)~図10(c)等参照)を準備するステップ(ステップS43)と、準備された第2の教師データ(図10(a)~図10(c)等参照)を用いて、学習モデルの学習を行うステップ(ステップS44)と、第2の教師データ(図10(a)~図10(c)等参照)による学習済みの学習モデルに顎顔面構成領域のデータを入力することによって歯領域のセグメンテーションデータを取得するステップ(ステップS45、S47)と、を含み、さらに、次の(a)、(b)および(c)のいずれかを含んでもよい。
(a)歯領域のセグメンテーションデータを用いて、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を準備するステップ(ステップS45)、および、準備された第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を用いて、学習モデルの学習を行うステップ(ステップS46)
(b)歯領域のセグメンテーションデータを用いて、第4の教師データ(図13(a)および図13(b)等参照)を準備するステップ(ステップS47)、および、準備された第4の教師データ(図13(a)および図13(b)等参照)を用いて、学習モデルの学習を行うステップ(ステップS48)
(c)歯領域のセグメンテーションデータを用いて、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を準備するステップ(ステップS45)、準備された第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を用いて、学習モデルの学習を行うステップ(ステップS46)、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)による学習済みの学習モデルに顎顔面構成領域のデータを入力することによって取得されたセグメンテーションデータを用いて、第4の教師データ(図13(a)および図13(b)等参照)を準備するステップ(ステップS47)、および、準備された第4の教師データ(図13(a)および図13(b)等参照)を用いて、学習モデルの学習を行うステップ(ステップS48)
このように、第2の教師データ(図10(a)~図10(c)等参照)を用いた学習、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を用いた学習、および、第4の教師データ(図13(a)および図13(b)等参照)を用いた学習をさまざまに組み合わせて行うことで、それらの学習を単独で行う場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。
学習モデルの生成方法は、第2の教師データ(図10(a)~図10(c)等参照)を準備するステップ(ステップS43)よりも前に、第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)を準備するステップ(ステップS41)と、第2の教師データ(図10(a)~図10(c)等参照)を準備するステップ(ステップS43)よりも前に、準備された第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)を用いて学習モデルの学習を行うステップ(ステップS42)と、を含んでもよい。第2の教師データ(図10(a)~図10(c)等参照)を準備するステップ(ステップS43)、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を準備するステップ(ステップS45)および第4の教師データ(図13(a)および図13(b)等参照)を準備するステップ(ステップS47)は、少なくとも歯領域からなる領域のデータを学習モデルに入力することによって取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減された教師データを準備してよい。この場合、学習モデルは、アーチファクトが除去または低減されたデータから、特徴領域をセグメンテーションすることができる。このような学習モデルをアーチファクトが除去または低減されたデータに対して用いることにより、アーチファクトの影響が抑制される分、セグメンテーション精度を向上できる可能性がさらに高まる。
複数の教師データを用いて学習モデルを生成する場合、各教師データによる学習に対して重みづけがなされてもよい。図19は、そのような学習モデルの生成方法の例を示すフローチャートである。
ステップS51において、複数の教師データを準備する。複数の教師データの例は、これまで説明した第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)、第2の教師データ(図10(a)~図10(c)等参照)、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)、および、第4の教師データ(図13(a)および図13(b)等参照)のうち、少なくとも2つの教師データである。
ステップS52において、先のステップS52で複数の教師データをそれぞれ重みづけして用いて、学習モデルの学習を行う。学習においては、たとえば、X線高吸収体のセグメンテーションが重視される場合には、第1の学習モデルの出力と第1の教師データとの間の相違に基づく損失が他の学習モデルの出力と教師データとの間の相違に基づく損失よりも大きくなるように重みづけがなされ、前者の相違が小さくなるように学習がなされる。
他の場合も同様で、一つのセグメンテーションが重視される場合、対応する一つの学習モデルの出力と前記一つの学習モデルに対応する一つの教師データとの間の相違に基づく損失が他の学習モデルの出力と対応する教師データとの間の相違に基づく損失よりも大きくなるように重みづけがなされ、前者の相違が小さくなるように学習がなされる。
上述の学習モデルの生成方法は、第1の教師データ、第2の教師データ、第3の教師データおよび第4の教師データを準備するステップ(ステップS51)と、準備された第1の教師データ、第2の教師データ、第3の教師データおよび第4の教師データをそれぞれ重みづけして用いて、学習モデルの学習を行うステップ(ステップS52)と、を含む。重みづけにより、重視するセグメンテーション領域に特に適した学習モデルを生成することができる。たとえば、第1の学習モデルの出力と第1の教師データとの間の相違に基づく損失が他の学習モデルの出力と教師データとの間の相違に基づく損失よりも大きくなるよう重みづけがなされ、前者の相違が小さくなるように学習がなされるようにすることで、特にX線高吸収体のセグメンテーション精度が向上された学習モデルを生成することができる。第2の学習モデルの出力と第2の教師データとの間の相違に基づく損失が他の学習モデルの出力と教師データとの間の相違に基づく損失よりも大きくなるよう重みづけがなされ、前者の相違が小さくなるように学習がなされるようにすることで、特に歯領域のセグメンテーション精度が向上された学習モデルを生成することができる。第3の学習モデルの出力と第3の教師データとの間の相違に基づく損失が他の学習モデルの出力と教師データとの間の相違に基づく損失よりも大きくなるように重みづけがなされ、前者の相違が小さくなるように学習がなされるようにすることで、特に歯領域中の、複数の生体的特徴領域の各領域、より具体的には、歯領域中のエナメル質、象牙質および歯髄の各領域のセグメンテーション精度が向上された学習モデルを生成することができる。第4の学習モデルの出力と第4の教師データとの間の相違に基づく損失が他の学習モデルの出力と教師データとの間の相違に基づく損失よりも大きくなるように重みづけがなされ、前者の相違が小さくなるように学習がなされるようにすることで、特に皮質骨および歯槽骨のセグメンテーション精度が向上された学習モデルを生成することができる。
以上説明した重みづけの処理は、先に図18を参照して説明した学習モデルの生成方法における学習に組み入れられてもよい。
学習モデルの生成は、たとえば学習装置を用いて行うことができる。学習装置は、プロセッサ(CPU等)、メモリ(ROM、RAM等)等を備えるコンピュータ装置であってよい。図20に示される例では、学習装置4は、その機能ブロックとして、入力部42と、学習部44と、学習モデル46と、出力部48と、を含む。学習部44は、入力部42に入力された教師データを用いて、学習モデル46の学習を行う。学習モデル46は、出力部48から出力される。
たとえば、先に説明した図18のステップS42では、第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)が、入力部42に入力される。学習部44は、入力部42に入力された第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)を用いて学習モデル46の学習を行う。学習モデル46は、出力部48から出力される(取り出される)。出力された学習モデル46は、学習モデル36または36A(より具体的には学習モデルLM1)としてセグメンテーション装置3に実装されてよい。ステップS43では、出力部48から出力された(取り出された)上述の学習後の学習モデル46を用いて、第2の教師データ(図10(a)~図10(c)等参照)が準備されてよい。
先に説明した図18のステップS44では、第2の教師データ(図10(a)~図10(c)等参照)が、入力部42に入力される。学習部44は、入力部42に入力された第2の教師データ(図10(a)~図10(c)等参照)を用いて学習モデル46の学習を行う。学習モデル46は、出力部48から出力される。出力された学習モデル46は、学習モデル36または学習モデル36A(より具体的には学習モデルLM2)としてセグメンテーション装置3に実装されてよい。ステップS45では、出力部48から出力された上述の学習後の学習モデル46を用いて、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)が準備されてよい。
先に説明した図18のステップS46では、第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)が、入力部42に入力される。学習部44は、入力部42に入力された第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)を用いて学習モデル46の学習を行う。学習モデル46は、出力部48から出力される。出力された学習モデル46は、学習モデル36または36A(より具体的には学習モデルLM3)としてセグメンテーション装置3に実装されてよい。ステップS47では、出力部48から出力された上述の学習後の学習モデル46を用いて、第4の教師データ(図13(a)および図13(b)等参照)が準備されてよい。
先に説明した図18のステップS48では、第4の教師データ(図13(a)および図13(b)等参照)が、入力部42に入力される。学習部44は、入力部42に入力された第4の教師データ(図13(a)および図13(b)等参照)を用いて学習モデル46の学習を行う。学習モデル46は、出力部48から出力される。出力された学習モデル46は、学習モデル36または学習モデル36A(より具体的にはLM4)としてセグメンテーション装置3に実装されてよい。
以上、本開示のいくつかの実施形態を説明したが、本開示は上記実施形態に限定されない。たとえば、学習モデルを用いた処理のいくつかは、アルゴリズムを用いた処理に置き換えられてよい。ここでのアルゴリズムは、学習モデルを用いないアルゴリズムを意味する。アルゴリズムには、用途に応じた種々の公知のアルゴリズムが用いられてよい。一方で、アルゴリズムを用いた処理のいくつかは、学習モデルを用いた処理に置き換えられてよい。さまざまなバリエーションを含む全体像の例を、図21および図22を参照して説明する。なお、図21および図22では、これまで説明したような機械学習を用いて生成された学習モデル、さらには、その学習モデルの生成に行われる学習を、「機械学習」と称し図示している。すなわち、図21および図22中の「機械学習」は、学習モデル自体および学習行為のいずれをも含み得る概念で用いられる。
図21に示される推論フローの例において、フローF1は、プロジェクションデータの取得を示す。たとえば、先に説明した撮影装置2によって取得されたプロジェクションデータが、セグメンテーション装置3の入力部32に入力される。
フローF2は、フローF1で取得されたプロジェクションデータに基づく再構成画像を示す。再構成画像は、再構成データの任意の箇所(断層面等)を指定することによって得られる。再構成データは、先に説明したように、プロジェクションデータを利用して作られる。再構成画像の例は、図2(a)、図3(a)、図4(a)および図5(a)に示されるような画像である。
フローF3は、フローF1で取得されたプロジェクションデータを用いる機械学習またはアルゴリズムを示す。フローF3において、さらにフローF2で得られた再構成画像を利用して機械学習を行ってもよい。たとえば、フローF1で得られたプロジェクションデータでは金属部分の判定が困難であり、フローF2で得た再構成画像では金属部分を判明しやすい場合がある。この場合、再構成画像から得られる金属部分の位置情報をプロジェクションデータの中の金属部分特定に利用することができる。また、フローF3において、フローF2で行った再構成画像のアーチファクト発生の程度に基づいて、金属部分セグメンテーションの要否の判断をして後述のフローF5に送るようにしてもよい。この機械学習またはアルゴリズムは、金属部分の抽出やアノテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)が用いられる。上記アルゴリズムとしては、種々の公知のアルゴリズムが用いられてよい。
フローF4は、フローF3の機械学習またはアルゴリズムを用いた金属部分のセグメンテーションを示す。フローF1で取得されたプロジェクションデータを対象にして、フローF2の機械学習またはアルゴリズムを利用して金属部分のセグメンテーションを実行する。金属部分のセグメンテーションにより、たとえば、図8(b)および図9(b)に示されるような画像が得られる。
フローF5は、フローF4の金属部分セグメンテーションを用いた機械学習またはアルゴリズムを示す。この機械学習またはアルゴリズムは、アーチファクトを除去・低減するように構成されている。この場合の機械学習には、フローF1で得られたプロジェクションデータに対して、フローF4の金属部分セグメンテーションを利用した画像処理を行うことで、アーチファクトを除去または低減した再構成画像を生成するように、金属部分と、金属以外の部分と、施すべき画像処理と、を対応づけた教師データが用いられてよい。画像処理の具体的としては、金属部分がアーチファクト発生の原因とならないように、金属以外の部分を参照して適宜の濃度に置き換える処理が挙げられる。上記アルゴリズムとしては、種々の公知のアルゴリズムが用いられてよい。
フローF6は、アーチファクトが除去・低減された再構成画像の取得を示す。フローF2の再構成画像において、アーチファクトが無いあるいは十分に小さい場合には、フローF2の再構成画像そのものが、フローF6で取得される再構成画像であってよい。そうでない場合、フローF2の再構成画像と、フローF5の機械学習またはアルゴリズムと、を用いることにより、アーチファクトが除去・低減された再構成画像が取得される。
フローF7は、フローF6で取得されたアーチファクト除去・低減された再構成画像を用いる機械学習を示す。この機械学習は、歯のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第2の教師データ(図10(a)~図10(c)等参照)が用いられてよい。
フローF8は、フローF7の機械学習を用いた歯のセグメンテーションを示す。歯のセグメンテーションにより、たとえば、図10(b)に示されるような画像が得られる。
フローF9は、フローF8の歯のセグメンテーションを用いた機械学習またはアルゴリズムを示す。この機械学習またはアルゴリズムは、フローF6のアーチファクトが除去・低減された再構成画像と、フローF8の歯のセグメンテーション結果とに基づいて歯のみの画像を生成するように構成されている。たとえば、フローF6の再構成画像から、フローF8の歯のセグメンテーション結果に示される歯の部分を抽出することによって、歯のみの画像を得る。
フローF10は、フローF9の機械学習またはアルゴリズムを用いた歯のみの画像の取得を示す。
フローF11は、フローF6のアーチファクト除去・低減再構成データ、または、フローF10の歯のみの画像を用いる機械学習またはアルゴリズムを示す。この機械学習またはアルゴリズムは、エナメル質・象牙質・歯髄のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第3の教師データ(図11(a)~図11(c)および図12(a)~図12(c)等参照)が用いられてよい。アルゴリズムには、種々の公知のアルゴリズムが用いられてよい。セグメンテーション対象にセメント質が含まれてもよいことは、上述した通りであるため、詳述は略する。
フローF12は、フローF11の機械学習またはアルゴリズムを用いたエナメル質・象牙質・歯髄のセグメンテーションを示す。エナメル質・象牙質・歯髄のセグメンテーションにより、たとえば、図11(b)および図12(b)に示されるような画像が得られる。セグメンテーション対象にセメント質が含まれてもよいことは、上述した通りであるため、詳述は略する。
フローF13は、フローF6のアーチファクト除去・低減再構成画像、または、フローF10の歯のみの画像を用いる機械学習またはアルゴリズムである。この機械学習またはアルゴリズムは、皮質骨・歯槽骨のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第4の教師データ(図13(a)および図13(b)等参照)が用いられてよい。アルゴリズムには、種々の公知のアルゴリズムが用いられてよい。
フローF14は、フローF13の機械学習またはアルゴリズムを用いた皮質骨・歯槽骨のセグメンテーションを示す。皮質骨・歯槽骨のセグメンテーションにより、たとえば、図13(b)に示されるような画像が得られる。
図22に示される推論フローの別の例について説明する。フローF21は、先に説明したフローF1(図21参照)と同じである。すなわち、フローF21はプロジェクションデータの取得を示す。
フローF22は、先に説明したフローF3(図21参照)と同じである。すなわち、フローF22は、フローF21で取得されたプロジェクションデータに基づく再構成画像を示す。
フローF23は、フローF21で取得されたプロジェクションデータ、または、フローF22の再構成画像を用いる機械学習を示す。この機械学習は、歯のセグメンテーションおよび金属のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第1の教師データ(図8(a)~図8(e)および図9(a)~図9(b)等参照)および第2の教師データ(図10(a)~図10(c)等参照)が用いられてよい。フローF1のプロジェクションデータのうちのどのプロジェクションデータを用いるか(インプット候補とするか)は、適宜定められてよい。
フローF24は、フローF23の機械学習またはアルゴリズムを用いた金属部分のセグメンテーションを示す。金属部分のセグメンテーションにより、たとえば、図8(b)および図9(b)に示されるような画像が得られる。
フローF25は、フローF23の機械学習を用いた歯のセグメンテーションを示す。歯のセグメンテーションにより、たとえば図10(b)に示されるような画像が得られる。
フローF26は、フローF24、F25の結果を用いた機械学習またはアルゴリズムを示す。この機械学習またはアルゴリズムは、フローF21のプロジェクションデータの画像再構成処理において、フローF24における金属部分のセグメンテーションデータを用いたアーチファクトの除去・低減と、フローF25の歯のセグメンテーションデータを用いた歯のみの画像の生成と、を行うように構成されている。
フローF27は、フローF26の機械学習またはアルゴリズムを用いた歯のみの画像の取得を示す。
フローF28は、先に説明したフローF11(図21参照)と同じである。すなわち、フローF28は、フローF10の歯のみの画像を用いる機械学習またはアルゴリズムと同等の機械学習またはアルゴリズムを示す。
フローF29は、先に説明したフローF12(図21参照)と同じである。すなわち、フローF29は、フローF28の機械学習またはアルゴリズムを用いたエナメル質・象牙質・歯髄のセグメンテーションを示す。
フローF30は、フローF21のプロジェクションデータの画像再構成処理において、フローF24の金属部分のセグメンテーションデータを用いたアーチファクトの除去・低減とフローF25の歯のセグメンテーションデータまたは、フローF27の歯のみの画像を利用する機械学習またはアルゴリズムである。この機械学習またはアルゴリズムは、皮質骨・歯槽骨のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第4の教師データ(図13(a)および図13(b)等参照)が用いられてよい。上記アルゴリズムとしては、種々の公知のアルゴリズムが用いられてよい。
フローF31は、フローF30の機械学習またはアルゴリズムを用いた皮質骨・歯槽骨のセグメンテーションを示す。皮質骨・歯槽骨のセグメンテーションにより、たとえば、図13(b)に示されるような画像が得られる。
セグメンテーション装置3に関するさらなる実施形態を説明する。先に図6等を参照して説明した実行部34が、学習モデル36または学習モデル36A(図7(a)および図7(b)参照)を用いて歯の構成(エナメル質、象牙質、歯髄)のセグメンテーションおよび顎骨の歯槽骨(皮質骨、海綿骨)のセグメンテーションを行う場合、実行部34は、歯槽骨の吸収度を測定してもよい。歯槽骨の吸収度の測定結果は、たとえば歯周病診断支援に供される。
歯槽骨の吸収度の測定手法について、図23を参照して説明する。図23は歯およびその周囲の断面(歯列弓の湾曲に交差する方向からみた断面)を模式的に示す図である。エナメル質を、エナメル質51と称し図示する。象牙質を、象牙質52と称し図示する。歯髄を、歯髄53と称し図示する。セメント質を、セメント質54と称し図示する。皮質骨を、皮質骨55と称し図示する。海綿骨を、海綿骨56と称し図示する。海綿骨56は歯槽骨を構成する。エナメル質51と象牙質52との境界を、境界61と称し図示する。歯槽骨の根尖(歯根先端)を、根尖62と称し図示する。歯槽骨頂を、歯槽骨頂63と称し図示する。これらの要素の位置情報は、上述のセグメンテーションによって取得される。なお、図23には、歯根膜領域57および歯肉領域58も示される。
各要素の位置情報に基づいて、実行部34は、各要素間の距離を求める。具体的には、実行部34は、境界61と根尖62との間の距離D1(第1の距離)、および、境界61と歯槽骨頂63との間の距離D2(第2の距離)を求める。そして、実行部34は、距離D1に対する距離D2の割合に基づいて、歯槽骨の吸収度を算出する。この例では、距離D1および距離D2は鉛直方向における長さである。実行部34は、距離D2を距離D1で除算した値を割合Rとして算出する。すなわち、R=D2/D1として求められる。算出された割合Rが大きいほど、歯槽骨の吸収(骨組織が無くなる状態)が進んでいることを意味している。このようにして、歯槽骨の吸収度が測定される。測定された歯槽骨の吸収度あるいはこれに関する種々の情報を、出力部38が提示してよい。
たとえば、図23に示されるような画像にヒートマップを組み合わせた画像が、出力部38によって提示されてよい。図24(a)に示される例では、R=D2a/D1aであり、歯槽骨の吸収の進んでいる箇所Haがヒートマップ的に示される。図24(b)に示される例では、R=D2b/D1bであり、歯槽骨の吸収の進んでいる箇所Hbがヒートマップ的に示される。図24(b)の箇所Hbの方が、図24(a)の箇所Haよりも歯槽骨の吸収度が進んでいる(Rが大きい)。この場合、箇所Hbを示すヒートマップは、箇所Haのヒートマップよりも強調表示(たとえばより濃い赤色で表示)されてよい。このようにして、歯槽骨の吸収の進み具合(危険度)を警告することもできる。
なお、上述のような歯槽骨の吸収度の測定を行う場合は、境界61と根尖62との距離D1、および境界61と歯槽骨頂63との距離D2が解る断面を見つける必要がある。このような断面は、たとえば、歯列弓の湾曲に交差する方向からの断面を見るとともに、近遠心方向に断面をずらして観察することで見つけることができる。断面を見つけるための学習を、学習モデル36または学習モデル36Aに対して行ってもよい。この場合の機械学習には、CT撮影やMRI撮影で取得した3次元のボリュームデータと、断面(スライス)位置とを対応づけた教師データが用いられてよい。
上記の歯槽骨の吸収度の測定をすべての歯について行えば、すべての歯の歯槽骨の吸収度の測定が正確かつ自動的に行われる。これにより、軽度歯周炎から重度歯周炎までを、吸収度やヒートマップなどで容易に診断支援することが可能になる。また、教師データとしてこれら歯周病のデータを用いてトレーニングしたニューラルネットワーク(たとえば学習モデル36または学習モデル36Aの学習を行って得られた学習モデル)を用いて、診断支援してもよい。
すなわち、上述したセグメンテーション装置3では、実行部34は、入力部32に入力された顎顔面構成領域のデータと、学習モデル36または学習モデル36Aとを用いて、エナメル質51、象牙質52および歯槽骨(海綿骨56)のセグメンテーションデータを取得し、取得したセグメンテーションデータに基づいて歯槽骨の吸収度を算出する。これにより、歯槽骨の吸収度の測定が可能になる。
実行部34は、取得したエナメル質51、象牙質52および歯槽骨(海綿骨56)のセグメンテーションデータに示されるエナメル質51と象牙質52との境界61から歯槽骨の根尖62までの距離D1に対する、境界61から歯槽骨頂63までの距離D2の割合Rに基づいて、歯槽骨の吸収度を算出してよい。このようにして歯槽骨の吸収度を算出することができる。
1…セグメンテーションシステム、2…撮影装置、3…セグメンテーション装置、4…学習装置、32…入力部、34…実行部、36、36A、LM1、LM2、LM3、LM4、46…学習モデル、38…出力部、42…入力部、44…学習部、51…エナメル質、52…象牙質、53…歯髄、54…セメント質、55…皮質骨、56…海綿骨、57…歯根膜領域、58…歯肉領域、61…境界、62…根尖、63…歯槽骨頂、361…学習モデル入力部、U2、U3…ユーザ。

Claims (20)

  1. 顎顔面領域の少なくとも一部である顎顔面構成領域のデータが入力される入力部と、
    前記入力部に入力された顎顔面構成領域のデータと、予め生成された学習モデルと、を用いて、前記顎顔面構成領域に含まれる生体的特徴領域および人工的特徴領域の少なくとも一方である特徴領域のセグメンテーションを行う実行部と、
    前記実行部の実行結果を出力する出力部と、
    を備え、
    前記学習モデルは、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、前記特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成されたモデルであ
    前記教師データが、
    前記顎顔面構成領域のデータと、X線高吸収体のセグメンテーションデータと、を対応づけた第1の教師データ、
    前記顎顔面構成領域のデータと、歯領域のセグメンテーションデータと、を対応づけた第2の教師データ、
    前記顎顔面構成領域中の少なくとも歯領域からなる領域のデータと、前記歯領域中の複数の前記生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた第3の教師データ、および、
    前記顎顔面構成領域のデータと、歯を支持する生体的特徴領域のセグメンテーションデータと、を対応づけた第4の教師データ、
    の少なくとも2つの教師データを含み、
    前記学習モデルは、前記少なくとも2つの教師データをそれぞれ重みづけして用いた学習によって生成されたモデルである、
    セグメンテーション装置。
  2. 前記学習モデルが、
    前記顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するように前記第1の教師データを用いて生成された第1の学習モデル、
    前記顎顔面構成領域のデータが入力されると、歯領域のセグメンテーションデータを出力するように前記第2の教師データを用いて生成された第2の学習モデル、
    前記顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、前記歯領域中の複数の前記生体的特徴領域の各領域のセグメンテーションデータを出力するように前記第3の教師データを用いて生成された第3の学習モデル、および、
    前記顎顔面構成領域のデータが入力されると、前記歯を支持する生体的特徴領域のセグメンテーションデータを出力するように前記第4の教師データを用いて生成された第4の学習モデル、
    の少なくとも2つを含む
    請求項に記載のセグメンテーション装置。
  3. 前記学習モデルが、前記第1の学習モデルおよび第2の学習モデルを含み、
    前記実行部が、
    前記顎顔面構成領域のデータを前記第1の学習モデルに入力することにより、前記X線高吸収体のセグメンテーションデータを取得し、
    前記取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減されたアーチファクトリダクションデータを生成し、
    前記生成されたアーチファクトリダクションデータを前記第2の学習モデルに入力することにより歯領域のセグメンテーションを行う、
    請求項に記載のセグメンテーション装置。
  4. 前記学習モデルが、前記第2の学習モデルおよび第3の学習モデルを含み、
    前記実行部が、
    前記顎顔面構成領域のデータを前記第2の学習モデルに入力することにより、歯領域のセグメンテーションデータを取得し、
    前記取得されたセグメンテーションデータを用いて歯領域のデータを生成し、
    前記生成された前記歯領域のデータを前記第3の学習モデルに入力することにより、エナメル質、象牙質および歯髄のセグメンテーションデータを取得して前記特徴領域のセグメンテーションを行う、
    請求項に記載のセグメンテーション装置。
  5. 前記学習モデルが、前記第2の学習モデルおよび第4の学習モデルを含み、
    前記実行部が、
    前記顎顔面構成領域のデータを前記第2の学習モデルに入力することにより、歯領域のセグメンテーションデータを取得し、
    前記取得されたセグメンテーションデータを用いて前記顎顔面構成領域中の前記歯領域と前記歯領域ではない領域とを区分する区分処理を行い、
    前記区分処理が実行された前記顎顔面構成領域のデータを前記第4の学習モデルに入力することにより、前記歯領域ではない領域中の前記歯を支持する生体的特徴領域のセグメンテーションデータを取得して前記特徴領域のセグメンテーションを行う、
    請求項に記載のセグメンテーション装置。
  6. 前記入力部に入力される前記顎顔面構成領域のデータが、歯領域のデータ、または、歯領域およびその周囲領域を含む領域のデータである、
    請求項1~5のいずれか1項に記載のセグメンテーション装置。
  7. 前記学習モデルが出力するセグメンテーションデータが、歯、エナメル質、象牙質、歯髄、歯髄腔、セメント質、皮質骨、海面骨、神経管、血管、顎骨およびX線高吸収体の少なくとも一つのセグメンテーションデータである、
    請求項1~6のいずれか1項に記載のセグメンテーション装置。
  8. 前記教師データは、前記第1の教師データを含む、
    請求項1~のいずれか1項に記載のセグメンテーション装置。
  9. 前記教師データは、前記第2の教師データを含む、
    請求項1~のいずれか1項に記載のセグメンテーション装置。
  10. 前記教師データは、前記第3の教師データを含む、
    請求項1~のいずれか1項に記載のセグメンテーション装置。
  11. 前記第3の教師データは、前記少なくとも歯領域からなる領域のデータと、前記歯領域中のエナメル質、象牙質および歯髄の各領域のセグメンテーションデータと、を対応づけた教師データである、
    請求項10に記載のセグメンテーション装置。
  12. 前記教師データは、前記第4の教師データを含む、
    請求項1~11のいずれか1項に記載のセグメンテーション装置。
  13. 前記学習モデルは、前記顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するように前記教師データを用いて生成されたモデルを含む
    請求項に記載のセグメンテーション装置。
  14. 前記学習モデルは、前記顎顔面構成領域のデータが入力されると、前記顎顔面構成領域中の歯領域のセグメンテーションデータを出力するように前記教師データを用いて生成されたモデルである、
    請求項に記載のセグメンテーション装置。
  15. 前記学習モデルは、顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、前記歯領域中の複数の前記生体的特徴領域の各領域のセグメンテーションデータを出力するように前記教師データを用いて生成されたモデルである、
    請求項10に記載のセグメンテーション装置。
  16. 前記学習モデルは、前記顎顔面構成領域のデータが入力されると、前記歯を支持する生体的特徴領域のセグメンテーションデータを出力するように前記教師データを用いて生成されたモデルである、
    請求項12に記載のセグメンテーション装置。
  17. 前記実行部は、前記入力部に入力された前記顎顔面構成領域のデータと、前記学習モデルと、を用いて、エナメル質、セメント質、象牙質および歯槽骨のセグメンテーションデータを取得し、前記取得されたセグメンテーションデータに基づいて歯槽骨の吸収度を算出する、
    請求項1~16のいずれか1項に記載のセグメンテーション装置。
  18. 前記実行部は、前記取得されたエナメル質、セメント質、象牙質および歯槽骨のセグメンテーションデータに示されるエナメル質と象牙質との境界から歯槽骨の根尖までの第1の距離に対する、前記境界から歯槽骨頂までの第2の距離の割合に基づいて、歯槽骨の吸収度を算出する、
    請求項17に記載のセグメンテーション装置。
  19. グメンテーション装置の学習モデルの生成方法であって、
    前記セグメンテーション装置は、
    顎顔面領域の少なくとも一部である顎顔面構成領域のデータが入力される入力部と、
    前記入力部に入力された顎顔面構成領域のデータと、予め生成された学習モデルと、を用いて、前記顎顔面構成領域に含まれる生体的特徴領域および人工的特徴領域の少なくとも一方である特徴領域のセグメンテーションを行う実行部と、
    前記実行部の実行結果を出力する出力部と、
    を備え、
    前記学習モデルは、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、前記特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成されたモデルであり、
    前記教師データが、
    前記顎顔面構成領域のデータと、X線高吸収体のセグメンテーションデータと、を対応づけた第1の教師データ、
    前記顎顔面構成領域のデータと、歯領域のセグメンテーションデータと、を対応づけた第2の教師データ、
    前記顎顔面構成領域中の少なくとも歯領域からなる領域のデータと、前記歯領域中の複数の前記生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた第3の教師データ、および、
    前記顎顔面構成領域のデータと、歯を支持する生体的特徴領域のセグメンテーションデータと、を対応づけた第4の教師データ、
    の少なくとも一つを含み、
    前記学習モデルが、
    前記顎顔面構成領域のデータが入力されると、X線高吸収体のセグメンテーションデータを出力するように前記第1の教師データを用いて生成された第1の学習モデル、
    前記顎顔面構成領域のデータが入力されると、歯領域のセグメンテーションデータを出力するように前記第2の教師データを用いて生成された第2の学習モデル、
    前記顎顔面構成領域中の少なくとも歯領域からなる領域のデータが入力されると、前記歯領域中の複数の前記生体的特徴領域の各領域のセグメンテーションデータを出力するように前記第3の教師データを用いて生成された第3の学習モデル、および、
    前記顎顔面構成領域のデータが入力されると、前記歯を支持する生体的特徴領域のセグメンテーションデータを出力するように前記第4の教師データを用いて生成された第4の学習モデル、
    の少なくとも一つを含み、
    前記生成方法は、
    前記第2の教師データを準備するステップよりも前に、前記第1の教師データを準備するステップと、
    前記第2の教師データを準備するステップよりも前に、前記準備された前記第1の教師データを用いて前記学習モデルの学習を行うステップと、
    を含み、
    前記第2の教師データを準備するステップ、前記第3の教師データを準備するステップおよび前記第4の教師データを準備するステップは、少なくとも歯領域からなる領域のデータを前記学習モデルに入力することによって取得されたセグメンテーションデータを用いて、X線高吸収体に起因するアーチファクトが除去または低減された教師データを準備する、
    学習モデルの生成方法。
  20. グメンテーション装置の学習モデルの生成方法であって、
    前記セグメンテーション装置は、
    顎顔面領域の少なくとも一部である顎顔面構成領域のデータが入力される入力部と、
    前記入力部に入力された顎顔面構成領域のデータと、予め生成された学習モデルと、を用いて、前記顎顔面構成領域に含まれる生体的特徴領域および人工的特徴領域の少なくとも一方である特徴領域のセグメンテーションを行う実行部と、
    前記実行部の実行結果を出力する出力部と、
    を備え、
    前記学習モデルは、X線CT撮影またはMRI撮影によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータが入力されると、前記特徴領域のセグメンテーションデータを出力するように、教師データを用いて生成されたモデルであり、
    前記教師データが、
    前記顎顔面構成領域のデータと、X線高吸収体のセグメンテーションデータと、を対応づけた第1の教師データ、
    前記顎顔面構成領域のデータと、歯領域のセグメンテーションデータと、を対応づけた第2の教師データ、
    前記顎顔面構成領域中の少なくとも歯領域からなる領域のデータと、前記歯領域中の複数の前記生体的特徴領域の各領域のセグメンテーションデータと、を対応づけた第3の教師データ、および、
    前記顎顔面構成領域のデータと、歯を支持する生体的特徴領域のセグメンテーションデータと、を対応づけた第4の教師データ、
    の少なくとも一つを含み、
    前記生成方法は、
    前記第1の教師データ、前記第2の教師データ、前記第3の教師データおよび前記第4の教師データを準備するステップと、
    前記準備された前記第1の教師データ、前記第2の教師データ、前記第3の教師データおよび前記第4の教師データをそれぞれ重みづけして用いて、前記学習モデルの学習を行うステップと、
    を含む、
    学習モデルの生成方法。
JP2020169150A 2019-10-07 2020-10-06 セグメンテーション装置および学習モデルの生成方法 Active JP7152455B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019184672 2019-10-07
JP2019184672 2019-10-07

Publications (2)

Publication Number Publication Date
JP2021058594A JP2021058594A (ja) 2021-04-15
JP7152455B2 true JP7152455B2 (ja) 2022-10-12

Family

ID=72752798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020169150A Active JP7152455B2 (ja) 2019-10-07 2020-10-06 セグメンテーション装置および学習モデルの生成方法

Country Status (3)

Country Link
US (1) US11734825B2 (ja)
EP (1) EP3859671A1 (ja)
JP (1) JP7152455B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11357604B2 (en) 2020-05-15 2022-06-14 Retrace Labs Artificial intelligence platform for determining dental readiness
US11366985B2 (en) * 2020-05-15 2022-06-21 Retrace Labs Dental image quality prediction platform using domain specific artificial intelligence
US11398013B2 (en) * 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11367188B2 (en) * 2019-10-18 2022-06-21 Retrace Labs Dental image synthesis using generative adversarial networks with semantic activation blocks
US11348237B2 (en) * 2019-05-16 2022-05-31 Retrace Labs Artificial intelligence architecture for identification of periodontal features
US11311247B2 (en) * 2019-06-27 2022-04-26 Retrace Labs System and methods for restorative dentistry treatment planning using adversarial learning
US11276151B2 (en) 2019-06-27 2022-03-15 Retrace Labs Inpainting dental images with missing anatomy
EP3859671A1 (en) * 2019-10-07 2021-08-04 J. Morita Manufacturing Corporation Segmentation device and method of generating learning model
KR20220158893A (ko) * 2021-05-24 2022-12-02 주식회사 메디트 전자 장치 및 그의 이미지 처리 방법
JP2023128940A (ja) * 2022-03-04 2023-09-14 株式会社日立製作所 外観分析システム、外観分析方法、及びプログラム
KR102612679B1 (ko) * 2022-04-14 2023-12-13 주식회사 메디트 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013233168A (ja) 2012-05-02 2013-11-21 Morita Mfg Co Ltd 画像処理装置、x線ct撮影装置および画像処理方法
WO2015076406A1 (ja) 2013-11-25 2015-05-28 メディア株式会社 骨粗鬆症診断支援装置
CN108470375A (zh) 2018-04-26 2018-08-31 重庆市劢齐医疗科技有限责任公司 基于深度学习的神经导管自动检测算法
WO2019002631A1 (en) 2017-06-30 2019-01-03 Promaton Holding B.V. 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES
JP2019072531A (ja) 2019-01-09 2019-05-16 メディア株式会社 歯周病診断支援装置及びその方法並びにプログラム
US20190180443A1 (en) 2017-11-07 2019-06-13 Align Technology, Inc. Deep learning for tooth detection and evaluation
JP2019115545A (ja) 2017-12-27 2019-07-18 株式会社吉田製作所 画像処理装置および画像処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3621146B2 (ja) 1995-02-16 2005-02-16 東芝医用システムエンジニアリング株式会社 画像診断装置
FR3069355B1 (fr) * 2017-07-21 2023-02-10 Dental Monitoring Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US11443423B2 (en) * 2018-10-30 2022-09-13 Dgnct Llc System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
EP3660791A1 (de) * 2018-11-27 2020-06-03 a.tron3d GmbH Computerimplementiertes verfahren zum erfassen von dreidimensionalen oberflächengeometrien
US11645746B2 (en) * 2018-11-28 2023-05-09 Orca Dental AI Ltd. Dental image segmentation and registration with machine learning
CN109766877B (zh) * 2019-03-12 2022-05-27 北京羽医甘蓝信息技术有限公司 基于深度学习的全景片人工牙体识别的方法和装置
US11238586B2 (en) * 2019-05-02 2022-02-01 Align Technology, Inc. Excess material removal using machine learning
US11250580B2 (en) * 2019-09-24 2022-02-15 Dentsply Sirona Inc. Method, system and computer readable storage media for registering intraoral measurements
EP3806034A1 (en) * 2019-10-07 2021-04-14 Nihon University Segmentation device
EP3859671A1 (en) * 2019-10-07 2021-08-04 J. Morita Manufacturing Corporation Segmentation device and method of generating learning model

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013233168A (ja) 2012-05-02 2013-11-21 Morita Mfg Co Ltd 画像処理装置、x線ct撮影装置および画像処理方法
WO2015076406A1 (ja) 2013-11-25 2015-05-28 メディア株式会社 骨粗鬆症診断支援装置
WO2019002631A1 (en) 2017-06-30 2019-01-03 Promaton Holding B.V. 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES
US20190180443A1 (en) 2017-11-07 2019-06-13 Align Technology, Inc. Deep learning for tooth detection and evaluation
JP2019115545A (ja) 2017-12-27 2019-07-18 株式会社吉田製作所 画像処理装置および画像処理プログラム
CN108470375A (zh) 2018-04-26 2018-08-31 重庆市劢齐医疗科技有限责任公司 基于深度学习的神经导管自动检测算法
JP2019072531A (ja) 2019-01-09 2019-05-16 メディア株式会社 歯周病診断支援装置及びその方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
U-net based metal segmentation on projection domain for metal artifact reduction in dental CT,Biomedical Engineering Letters,2019年08月01日,vol. 9,375-385

Also Published As

Publication number Publication date
US20210104048A1 (en) 2021-04-08
JP2021058594A (ja) 2021-04-15
US11734825B2 (en) 2023-08-22
EP3859671A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
JP7152455B2 (ja) セグメンテーション装置および学習モデルの生成方法
US20200350059A1 (en) Method and system of teeth alignment based on simulating of crown and root movement
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
JP6483273B2 (ja) 口腔内画像の自動選択及びロック
US11367188B2 (en) Dental image synthesis using generative adversarial networks with semantic activation blocks
US11443423B2 (en) System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
JP2022000211A (ja) 歯列メッシュ矯正具除去のための方法および装置
de Waard et al. A novel method for fusion of intra-oral scans and cone-beam computed tomography scans for orthognathic surgery planning
US20220084267A1 (en) Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
US20210217170A1 (en) System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements.
JP7152738B2 (ja) 画像処理装置および画像処理プログラム
JP2013236750A (ja) 画像処理装置、撮像システム、およびプログラム
JP7269587B2 (ja) セグメンテーション装置
US20220358740A1 (en) System and Method for Alignment of Volumetric and Surface Scan Images
US20220361992A1 (en) System and Method for Predicting a Crown and Implant Feature for Dental Implant Planning
KR102448169B1 (ko) 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치
US20220122261A1 (en) Probabilistic Segmentation of Volumetric Images
CN114387259A (zh) 用于预测缺失牙坐标的方法与装置及识别模型的训练方法
CN111553941A (zh) 用户口腔全景视图的合成方法及装置、电子设备
Marin et al. Integrated platform for extracting dental knowledge imaging and 3d modeling
US20230013902A1 (en) System and Method for Correcting for Distortions of a Diagnostic Image
US20230051400A1 (en) System and Method for Fusion of Volumetric and Surface Scan Images
KR20200129504A (ko) 치아 배열 분석 방법, 이를 이용한 파노라마 이미지 생성 방법 및 그 장치
US20230252748A1 (en) System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR)
US20230419631A1 (en) Guided Implant Surgery Planning System and Method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150