JP2023512083A - ニューラルネットワークを用いた歯群のセグメンテーション - Google Patents

ニューラルネットワークを用いた歯群のセグメンテーション Download PDF

Info

Publication number
JP2023512083A
JP2023512083A JP2022546425A JP2022546425A JP2023512083A JP 2023512083 A JP2023512083 A JP 2023512083A JP 2022546425 A JP2022546425 A JP 2022546425A JP 2022546425 A JP2022546425 A JP 2022546425A JP 2023512083 A JP2023512083 A JP 2023512083A
Authority
JP
Japan
Prior art keywords
digital
computer
implemented method
labeled
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022546425A
Other languages
English (en)
Inventor
アザミコフ，セルゲイ
チェルノコフ，ヒョードル
トルストフ，アンドレイ
ニコルスキー，セルゲイ
Original Assignee
ジェームズ アール． グライドウェル デンタル セラミックス，インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/778,406 external-priority patent/US11931213B2/en
Priority claimed from US17/140,739 external-priority patent/US11842484B2/en
Application filed by ジェームズ アール． グライドウェル デンタル セラミックス，インコーポレーテッド filed Critical ジェームズ アール． グライドウェル デンタル セラミックス，インコーポレーテッド
Publication of JP2023512083A publication Critical patent/JP2023512083A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/34—Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2023512083000001
デジタルモデル内の歯群をデジタル的にセグメント化するコンピュータ実施方法およびシステムは、患者の歯列の３Ｄデジタルモデルからパノラマ画像を生成することと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像を３Ｄデジタルモデル内の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含む。パノラマ画像を生成するコンピュータ実施方法およびシステムは、訓練済みニューラルネットワークを用いて、患者の歯列の２Ｄ深度マップからデジタル歯群に対応するデジタル歯牙バウンディング領域を決定することと、スプラインによってデジタル歯牙バウンディング領域を接続することと、サンプリングされたスプライン点からサンプリングデジタル表面点を決定することと、各サンプリングデジタル表面点に対応する関連デジタル表面点を決定することと、を含む。
【選択図】図１

Description

本出願は、２０２０年１月３１日に出願された、米国実用特許出願第１６／７７８，４０６号明細書、および２０２１年１月４日に出願された、米国実用特許出願第１７／１４０，７３９号明細書に対する優先権およびそれらの利益を主張する。それらの開示は全体が全ての目的のために本明細書において参照により組み込まれる。
専門歯科技工所は、通例、歯科医によって提供された患者別指示に基づいて歯科補綴物を設計するために、コンピュータ支援設計（ＣＡＤ：computer-aided design）を用いる。
典型的な作業フローでは、歯科技工所は患者の口腔状況に関する情報を歯科医から受け取る。ＣＡＤ／ＣＡＭシステムを用いるために、患者の歯列のデジタルモデルがプロセスへの入力として用いられる。デジタルモデル内の個別歯群および歯肉区域をセグメント化し、ラベル付けすることが望ましくなり得る。しかし、歯群をラベル付けし、精密な歯牙境界および歯肉境界を見出すことは困難になり得る。手動セグメンテーションの伝統的なアプローチは遅くて煩わしく、誤りを起こしやすくなり得る。最近のアプローチはさほど煩わしくはなくなり得るが、デジタルモデル内の、歯群、および関心のある他の領域の、不正確な、および／または欠落した境界を生み出し得る。
デジタルモデル内の歯群をデジタル的にセグメント化するコンピュータ実施方法（computer-implemented method）は、患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、３Ｄデジタルモデルからパノラマ画像を生成することと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含む。
デジタルモデル内の歯群をデジタル的にセグメント化するためのシステムは、プロセッサと、ステップを遂行するためにプロセッサによって実行可能な命令を含むコンピュータ可読記憶媒体と、を備え、ステップは、患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、３Ｄデジタルモデルからパノラマ画像を生成することと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含むことができる。
デジタルモデルをセグメント化するための実行可能コンピュータプログラム命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータプログラム命令は、患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、３Ｄデジタルモデルからパノラマ画像を生成することと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含むことができる。
パノラマ画像を生成するコンピュータ実施方法は、患者の歯列の少なくとも部分の患者走査データの２Ｄ深度マップを受け取ることと、訓練済みニューラルネットワークを用いて、１本または複数本のデジタル歯群に対応する１つまたは複数のデジタル歯牙バウンディング領域を決定することと、スプラインによって１つまたは複数のデジタル歯牙バウンディング領域を接続することと、スプライン上の１つまたは複数のスプライン点をサンプリングすることと、１つまたは複数のサンプリングされたスプライン点から１つまたは複数のサンプリングデジタル表面点を決定することと、各サンプリングデジタル表面点に対応する１つまたは複数の関連デジタル表面点を決定することと、を含むことができる。
歯群および歯肉のデジタルモデルの斜視図を示す。 いくつかの実施形態における畳み込みニューラルネットワークの一例の図を示す。 いくつかの実施形態におけるＹＯＬＯネットワークの少なくとも部分の一例の図を示す。 いくつかの実施形態におけるＵ－Ｎｅｔネットワークの少なくとも部分の例の図を示す。 いくつかの実施形態におけるＵ－Ｎｅｔネットワークの少なくとも部分の例の図を示す。 ピラミッドアテンションネットワークの一例の図である。 ピラミッドアテンション特徴の一例の図である。 グローバルアテンションアップサンプル特徴の一例の図である。 ＲｅｓＮｅｔニューラルネットワークの一例の図である。 ＲｅｓＮｅｔニューラルネットワークの部分の一例の図である。 いくつかの実施形態における列および行を示す重ね合わせられた図を伴うパノラマ画像の一例を示す図である。 ２Ｄ深度マップの一例の画像を示す。 標識付き２Ｄ深度マップの一例の画像を示す。 例示されたバウンディング領域を伴う１本または複数本のデジタル歯群を有するデジタル歯列弓の画像を示す図である。 例示されたバウンディング領域およびデジタルバウンディングボックス中心を伴う１本または複数本のデジタル歯群を有するデジタル歯列弓の画像を示す図である。 デジタルバウンディングボックス中心を示す図である。 スプラインによって互いに接続された１つまたは複数のデジタル歯牙バウンディング領域中心を示す。 スプライン上のサンプリング点を有するデジタルモデルの一例を示す図である。 連続平滑スプライン上のサンプリング点に対応するサンプルデジタル表面点を有するデジタルモデルの一例を示す図である。 追加のサンプル点を有するデジタルモデルの一例を示す図である。 サンプル深度点から延びる複数本の光線を有するデジタルモデルの一例を示す図である。 例示された行および列を伴うパノラマ画像の一例を示す図である。 深度情報を有するパノラマ画像の一例を示す図である。 標識付きデジタル歯牙バウンディング領域を有するパノラマ画像の一例を示す図である。 １つまたは複数のデジタルバウンディング領域を含むことができるパノラマ画像の例を示す図である。 １つまたは複数のデジタルバウンディング領域を含むことができるパノラマ画像の例を示す図である。 ３Ｄデジタルモデルへのマッピングのいくつかの実施形態における一例を示す図である。 不確実領域を識別する例を示す図である。 不確実領域を識別する例を示す図である。 ２つの三角形を接続する辺における曲率を決定する一例を示す図である。 辺の曲率の平均を決定するいくつかの実施形態における一例を示す図である。 三角形を合併した後のセグメントのいくつかの実施形態における一例を示す図である。 セグメント化デジタル表面の一例を示す図である。 いくつかの実施形態における多数のセグメントを包含するデジタル表面メッシュのいくつかの実施形態における一例を示す。 いくつかの実施形態における２点セグメンテーションの例を示す図である。 いくつかの実施形態における２点セグメンテーションの例を示す図である。 いくつかの実施形態における２点セグメンテーションの例を示す図である。 いくつかの実施形態における２点セグメンテーションの例を示す図である。 いくつかの実施形態における２点セグメンテーションの例を示す図である。 いくつかの実施形態における２点セグメンテーションの例を示す図である。 いくつかの実施形態における２点セグメンテーションの例を示す図である。 いくつかの実施形態における境界ループの一部分の一例を示す図である。 双対グラフの頂点の図の一例を示す図である。 デジタル歯群および歯肉領域の完全にセグメント化され、ラベル付けされたセットの一例を示す図である。 いくつかの実施形態におけるデジタルモデル内の歯群をデジタル的にセグメント化するコンピュータ実施方法の一例のフローチャートを示す図である。 いくつかの実施形態におけるパノラマ画像を生成するコンピュータ実施方法の一例のフローチャートを示す図である。 いくつかの実施形態における例示的な処理システムの図を示す。
本説明の目的のために、本開示の実施形態の特定の態様、利点、および新規の特徴が本明細書において説明される。本開示の方法、装置、およびシステムはけっして限定であると解釈されてはならない。それよりむしろ、本開示は、様々な開示された実施形態の、全ての新規の、および自明でない特徴および態様を、単独で、ならびに相互の様々な組み合わせおよび部分的組み合わせで対象にする。方法、装置、およびシステムはいかなる特定の態様もしくは特徴またはそれらの組み合わせにも限定されず、また、本開示の実施形態は、いかなる１つまたは複数の特定の利点が存在することも、または問題が解決されることも必要としない。
本開示の実施形態のうちのいくつかの動作は、提示の便宜のために特定の連続した順序で説明されるが、以下において記載される特定の言語セットによって特定の順序付けが必要とされない限り、この説明の仕方は再配列を包含することを理解されたい。例えば、順次に説明される動作は、場合によっては、再配列されるか、または同時に遂行されてもよい。さらに、簡単にするために、添付の図面は、本開示の方法が他の方法と併せて用いられ得る様々な仕方を示していない場合がある。加えて、説明は、時として、本開示の方法を説明するために、「提供する（provide）」または「達成する（achieve）」のような用語を用いる。これらの用語に対応する実際の動作は特定の実装形態に応じて変化し得、当業者によって容易に認識可能である。
実施形態によっては、コンピュータ実施方法は、患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、３Ｄデジタルモデルからパノラマ画像を生成することと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含むことができる。代替的に、実施形態によっては、コンピュータ実施方法は、パノラマ画像を受け取ることと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含むことができる。
実施形態によっては、コンピュータ実施方法は、患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデル（「デジタルモデル」）を受け取ることを含むことができる。図１は、限定するものではないが、例えば、光学走査、ＣＴ走査等を含む、当該技術分野において既知の任意の走査技法を用いて物理的印象を走査することによって生成することができるデジタルモデル１００の一例を示す。デジタルモデル１００はまた、例えば、患者の歯列の口腔内走査によって生成することもできる。一例が、全体が本明細書において参照により組み込まれる、Nikolskiyらへの米国特許出願公開第２０１８０１３２９８２（Ａ１）号明細書に記載されている。従来のスキャナは、通例、走査中に物理的印象／患者の歯列の形状を３次元で取り込み、形状を３次元デジタルモデルにデジタル化する。デジタルモデル１００は、例えば、物理的印象／患者の歯列の形状に対応するトポロジによる複数の相互接続されたポリゴンを含むことができる。実施形態によっては、ポリゴンは２つ以上のデジタル三角形を含むことができる。実施形態によっては、走査プロセスは、例えば、Newport Beach, CalifのGlidewell Laboratoriesによって提供されているＦａｓｔＤｅｓｉｇｎ（商標）歯科設計ソフトウェアなどの、歯科修復設計ソフトウェアと共に使用するのに適し得るＳＴＬ、ＰＬＹ、またはＣＴＭファイルを生成することができる。
ニューラルネットワーク
実施形態によっては、コンピュータ実施方法は１つまたは複数の訓練済みニューラルネットワークを用いることができる。ニューラルネットワークは、機械学習の部分である計算モデルである。ニューラルネットワークは、通例、層の形で編成されたノードを含む。ノードの層は、例えば、入力層、１つまたは複数の隠れ層、および出力層を含むことができる。１つを超える隠れ層 － 通例、さらに多くの隠れ層 － を有するニューラルネットワークはディープニューラルネットワーク（deep neural network）（「ＤＮＮ」）である。１つの層からの情報を処理し、次の層に提供することができる。
実施形態によっては、ＤＮＮは、ディープニューラルネットワークの隠れ層のうちの少なくとも１つにおいて一般的な行列乗算の代わりに畳み込みを用いるネットワークである、畳み込みニューラルネットワーク（convolutional neural network）（「ＣＮＮ」）であることができる。畳み込み層は、カーネル関数を以前の層の値の部分セットに適用することによってその出力値を算出することができる。コンピュータ実施方法は、訓練データに基づいてカーネル関数の重みを調整することによってＣＮＮを訓練することができる。同じカーネル関数を、特定の畳み込み層において各値を算出するために用いることができる。ＣＮＮを用いる１つの利点は、訓練の間により少数の重みを学習することを含むことができる。ＣＮＮを用いることの別の利点は、例えば、辺の特徴を検出することであることができる。
図２はいくつかの実施形態におけるＣＮＮの一例を示す。ＣＮＮは、第１の畳み込み層２０２などの、１つまたは複数の畳み込み層を含むことができる。第１の畳み込み層２０２は、カーネル２０４などのカーネル（フィルタとも称される）を入力画像２０３などの入力画像にわたって適用し、任意選択的に、活性化関数を適用し、第１のカーネル出力２０８などの１つまたは複数の畳み込み出力を生成することができる。第１の畳み込み層２０２は１つまたは複数の特徴チャネルを含むことができる。カーネル２０４などのカーネル、および任意選択的に、活性化関数の適用は畳み込み出力２０６などの第１の畳み込み出力をもたらすことができる。次に、カーネルはストライド長に基づいて入力画像２０３内のピクセルの次のセットへ進み、カーネル２０４、および任意選択的に、活性化関数を適用し、第２のカーネル出力をもたらすことができる。カーネルは、それが入力画像２０３内の全てのピクセルに適用されるまでこのように進められ得る。このように、ＣＮＮは、１つまたは複数の特徴チャネルを含むことができる、第１の畳み込み画像２０６を生成することができる。第１の畳み込み画像２０６は、実施形態によっては、２０７などの１つまたは複数の特徴チャネルを含むことができる。場合によっては、活性化関数は、例えば、ＲＥＬＵ活性化関数であることができる。他の種類の活性化関数を用いることもできる。
ＣＮＮはまた、第１のプーリング層２１２などの１つまたは複数のプーリング層を含むことができる。第１のプーリング層はプーリングフィルタ２１４などのフィルタを第１の畳み込み画像２０６に適用することができる。任意の種類のフィルタを用いることができる。例えば、フィルタは、最大値フィルタ（フィルタが適用されたピクセルの最大値を出力する）、または平均値フィルタ（フィルタが適用されたピクセルの平均値を出力する）であることができる。１つまたは複数のプーリング層は入力行列のサイズをダウンサンプリングし、低減することができる。例えば、第１のプーリング層２１２は、第１のプーリングフィルタ２１４を適用し、第１のプーリング画像２１６を提供することによって、第１の畳み込み画像２０６を低減する／ダウンサンプリングすることができる。第１のプーリング画像２１６は１つまたは複数の特徴チャネル２１７を含むことができる。ＣＮＮは、任意選択的に、１つまたは複数の追加の畳み込み層（および活性化関数）ならびにプーリング層を適用することができる。例えば、ＣＮＮは、第２の畳み込み層２１８、および任意選択的に、活性化関数を適用し、１つまたは複数の特徴チャネル２１９を含むことができる第２の畳み込み画像２２０を出力することができる。第２のプーリング層２２２がプーリングフィルタを第２の畳み込み画像２２０に適用し、１つまたは複数の特徴チャネルを含むことができる第２のプーリング画像２２４を生成することができる。ＣＮＮは、１つまたは複数の畳み込み層（および活性化関数）ならびに１つまたは複数の対応するプーリング層を含むことができる。ＣＮＮの出力は、任意選択的に、１つまたは複数の全結合層２３０の部分であることができる、全結合層へ送信され得る。１つまたは複数の全結合層は出力予測２２４などの出力予測を提供することができる。実施形態によっては、出力予測２２４は、例えば、歯群および周囲組織のラベルを含むことができる。
ＣＮＮは異なる仕方で構造化され、用いられ得る。例えば、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（「ＹＯＬＯ」）ネットワークの一例の詳細が、You Only Look Once: Unified, Real-Time Object Detection, by Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, submitted 8 Jun 2015, last revised 9 May 2016, v5において説明されている。同文献の全体は参照により本明細書に組み込まれる。ＹＯＬＯネットワークのさらなる詳細が、YOLO9000: Better, Faster, Stronger, by Joseph Redmon, Ali Farhadi, University of Washington, Allen Institute for AI, published 25 Dec 2016, arXivにおいて見出され得る。同文献の全体は参照により本明細書に組み込まれる。ＹＯＬＯネットワークの一例の詳細は、YOLOv3: An Incremental Improvement, by Joseph Redmon and Ali Farhadi, University of Washington, published 2018, ArXivにおいても説明されている。同文献の全体は参照により本明細書に組み込まれる。訓練済みＹＯＬＯネットワークは、例えば、患者の歯列の２Ｄデジタルモデルを受け取り、各デジタル歯牙の周りのデジタル歯牙バウンディング領域としてのデジタルバウンディングボックスを有するデジタルモデルを出力することができる。
上述されたとおりのＹＯＬＯｖ３ネットワーク（以下、「ＹＯＬＯネットワーク」）は、複数のバウンディングボックス、およびバウンディングボックスごとのクラス確率を予測する１つまたは複数の畳み込みネットワークを含むことができる。実施形態によっては、ＹＯＬＯネットワークは入力画像をＳ ｘ Ｓグリッドに分割することができる。グリッドセルの各々はＢ個のバウンディングボックスを予測することができ、バウンディングボックスのための信頼スコアを決定することができる。信頼スコアは、バウンディングボックスが物体を包含するというモデルの信頼、および予測されたボックスの精度を指示することができる。信頼は次式のように表すことができる。
Figure 2023512083000002
 ここで、ＩＯＵはｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎである。
実施形態によっては、ＹＯＬＯはディメンション（dimension）クラスタを、バウンディングボックスを予測するためのアンカーボックスとして用いることができる。例えば、ＹＯＬＯはバウンディングボックスのための４つの座標：ｔｘ、ｔｙ、ｔｗ、ｔｈを予測することができる。セルが画像の左上隅部から（Ｃｘ，Ｃｙ）だけオフセットしており、プライア（ｐｒｉｏｒ）バウンディングボックスが幅ｐｗおよび高さｐｈを有する場合には、予測は以下のものに対応することができる：
ｂｘ＝σ（ｔｘ）＋ｃｘ
ｂｙ＝σ（ｔｙ）＋ｃｙ
Figure 2023512083000003
Figure 2023512083000004
 ここで、フィルタ適用場所に対するボックス中心座標は、シグモイド関数（σを与える）を用いて予測される。実施形態によっては、ＹＯＬＯは、ロジスティック回帰を遂行することによって各バウンディングボックスの物体らしさ（objectness）スコアを予測することができる。プライアバウンディングボックスが、どの他のプライアバウンディングボックスよりも大きくグラウンドトゥルース物体と重なる場合には、結果は１になることができる。最良ではないが、０．５などの閾値を超えてグラウンドトゥルース物体と重なるプライアバウンディングボックスは無視することができる。他の閾値を用いることもでき、例えば、ユーザ設定可能ファイルにおいて設定することができる。グラウンドトゥルース物体に割り当てられないプライアバウンディングボックスは物体らしさについての損失を被るが、座標またはクラス予測については損失を被らない。実施形態によっては、各ボックスは、マルチラベル分類を利用することによってバウンディングボックス内のクラスを予測することができる。例えば、独立したロジスティック分類器を用いることができる。クラス予測のためのバイナリクロスエントロピー損失を訓練において用いることができる。ＹＯＬＯはスケールにわたって予測を行うことができる。例えば、ＹＯＬＯは３つの異なるスケールにおいてボックスを予測することができる。スケールから特徴を抽出することができる。いくつかの畳み込み層をベース特徴抽出器に追加することができる。最終畳み込み層は、３Ｄテンソル符号化バウンディングボックス、物体らしさ、およびクラス予測を予測することができる。テンソルは、Ｎ ｘ Ｎ ｘ ［（各スケールにおけるボックスの数）＊（４＋１＋（クラス予測の数））］であることができる。例えば、各スケールにおけるボックスの数は３であることができ、クラス予測数は８０個のクラス予測であることができる。ＹＯＬＯは以前の２つの層から特徴マップを得、特徴マップをアップサンプリングすることができる。例えば、ＹＯＬＯは特徴マップを２倍アップサンプリングすることができる。別の以前の特徴マップが、アップサンプリングされた特徴マップと連結され、複合特徴マップを提供することができる。１つまたは複数の畳み込み層を追加し、複合特徴マップを処理し、２倍のサイズの第２のテンソルを提供することができる。同じ目的を最後に遂行し、最終スケールのためのボックスを予測することができる。プライアバウンディングボックス値を決定するためにｋ平均クラスタリングを用いることができる。例えば、９つのクラスタおよび３つのスケールを用いることができ、クラスタはスケールにわたって均等に分割される。
実施形態によっては、ＹＯＬＯは１つまたは複数の畳み込み層を用いて特徴抽出を遂行することができる。畳み込み層のうちの１つまたは複数は、任意選択的に、残差演算を含むことができる。図３はＹＯＬＯ特徴抽出の一例を示す。以下のものは、各層において遂行される演算を一例として指示する：
Figure 2023512083000005
層３１０は２回遂行され得、層３１４は８回遂行され得、層３１８は８回遂行され得、層３２２は４回遂行され得、ネットワーク全体のための畳み込みの総数は５３回の畳み込みになる。ａｖｇｐｏｏｌはグローバル（global）であることができる。他の構成および変形もＹＯＬＯネットワークにおいて企図される。実施形態によっては、訓練済みのＹＯＬＯネットワークは画像を受け取り、画像内の各特徴の周りのバウンディング領域を提供することができる。特徴は訓練中に規定することができる。ＹＯＬＯの訓練は、損失関数を最小化することを含むことができる。損失関数は、物体が特定のグリッドセル内にあるとき、分類誤りにペナルティを与えるのみである。損失関数は、特定の予測因子がグラウンドトゥルースボックスの原因となる場合には、バウンディングボックス座標誤りにペナルティを与える。例えば、特定の予測因子が特定のグリッドセル内の全ての予測因子の最も高いＩＯＵを有する場合である。
実施形態によっては、コンピュータ実施方法はセマンティックセグメンテーションネットワークを用いることができる。セマンティックセグメンテーションネットワークは、ピクセルごとのセグメンテーションを提供する任意のニューラルネットワークであることができる。セマンティックセグメンテーションネットワークのいくつかの例としては、ＤｅｃｏｎｖＮｅｔ、ＦＰＮ、ＤｅｅｐＬａｂＶ３、Ｕ－Ｎｅｔ、およびピラミッドアテンションネットワークを挙げることができる。
実施形態によっては、コンピュータ実施方法は、例えば、Ｕ－Ｎｅｔをセマンティックセグメンテーションネットワークとして用いることができる。Ｕ－Ｎｅｔは、生医学画像セグメンテーションのために用いることができる畳み込みニューラルネットワークであり、U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf Ronneberger, Philipp Fischer, and Thomas Brox, Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany, arXiv, 18 May 2015において説明されている。同文献の全体は参照により本明細書に組み込まれる。標準的なＣＮＮは、通例、収縮層として知られる、１つまたは複数の畳み込み／プーリング層を含む。Ｕ－Ｎｅｔアーキテクチャは１つまたは複数の畳み込み／プーリング収縮層を１つまたは複数の畳み込み／アップサンプリング層と組み合わせることができる。それゆえ、Ｕ－Ｎｅｔアーキテクチャは解像度出力を増大させることができる。位置特定は、収縮経路からの高解像度の特徴を、アップサンプリングされた出力と組み合わせることによって達成することができる。Ｕ－Ｎｅｔアーキテクチャはまた、コンテキスト情報をより高い解像度の層に提供するための多数の特徴チャネルを含むことができる。実施形態によっては、膨張経路は収縮経路と対称であることができ、これにより、Ｕ字状アーキテクチャをもたらす。
図４（ａ）は、いくつかの実施形態における収縮経路４０２および膨張経路４０４を含むＵ－Ｎｅｔ ＣＮＮの一例を示す。収縮経路４０２は、第１の畳み込み層４０６などの、１つまたは複数の畳み込み層を含むことができる。各畳み込み層は、第１の畳み込み４１０などの、１回または複数回の畳み込みを遂行することができる。畳み込みは任意のサイズのカーネルを利用することができる。実施形態によっては、例えば、３×３のカーネルを、１回または複数回の畳み込みを遂行するために用いることができる。実施形態によっては、各畳み込み層は２回の畳み込みを遂行することができる。
実施形態によっては、各畳み込みは特徴マップを生成することができ、各特徴マップは１つまたは複数の特徴チャネルを含むことができる。実施形態によっては、収縮経路内の畳み込み層内の各畳み込みは同数の特徴チャネルを維持することができる。例えば、ネットワークは、画像解像度、およびｎ個の数の特徴チャネルを有することができる入力画像４０１を受け取ることができる。畳み込み層４０６において、第１の畳み込み４１０は第１の特徴マップ４１１などのｎチャネル特徴マップを提供することができ、第２の畳み込み４１３は最後の特徴マップ４１２などのｎチャネル特徴マップを提供することができる。第１の特徴マップ４１１および最後の特徴マップ４１２はどちらもｎチャネルを含むことができる。実施形態によっては、各畳み込みはパディングされなくてもよい。実施形態によっては、１回または複数回の畳み込みをパディングすることができる。１回または複数回の畳み込みの各々の後には、ＲｅＬｕなどの活性化関数、または当該技術分野において既知の他の活性化関数が続くこともできる。
Ｕ－Ｎｅｔ ＣＮＮはまた、第１のプーリング演算４０８などのプーリング演算を遂行することを含むこともできる。いくつかの実施形態におけるプーリング演算は各特徴マップをダウンサンプリングすることができる。プーリング演算は、実施形態によっては、特定の畳み込み層における最後の畳み込みの後に生成された最後の特徴マップに対して遂行することができる。例えば、図４（ａ）では、第１のプーリング演算４０８を最後の特徴マップ４１２に対して遂行することができ、結果は次の畳み込み層４１６への畳み込み層入力４１４になることができる。第１のプーリング演算４０８は当該技術分野において既知の任意のプーリング演算であることができる。例えば、実施形態によっては、第１のプーリング演算４０８は最大値プーリング演算であることができる。実施形態によっては、第１のプーリング演算４０８は平均値プーリング演算であることができる。プーリング演算は任意の値であることができる。例えば、実施形態によっては、プーリング演算は、２のストライドを有する２×２プーリング演算であることができる。
実施形態によっては、各プーリング演算の後に、任意選択的に、追加の畳み込み層およびプーリング演算が続くことができる。例えば、第１のプーリング演算４０８の後に第２の畳み込み層４１６が続くことができ、その後に第３の畳み込み層４１８、および第４の畳み込み層４２７が続くことができ、各畳み込み層の間にプーリング演算を有する。実施形態によっては、収縮経路４０２内の畳み込み層ごとに特徴チャネルの数を倍増することができる。例えば、第２の畳み込み層４１６は特徴チャネルの数を第１の畳み込み層４０６のものの２倍に倍増することができ、第３の畳み込み層４１８は特徴チャネルの数を第２の畳み込み層４１６のものの２倍に倍増することができ、第４の畳み込み層４２７は特徴チャネルの数を第３の畳み込み層４１８のものの２倍に倍増することができる。これは、収縮経路４０２内の各畳み込み層によってもたらされた特徴マップごとに２＊ｎ個の特徴チャネルを提供することができる。例えば、例として、第１の畳み込み層４０６は、１つのチャネルを有する入力画像を受け取ることができ、１回または複数回の畳み込みを遂行した後に、６４個のチャネルを有する特徴マップを作成することができ、第２の畳み込み層４１６は、１回または複数回の畳み込みを遂行した後に、１２８個のチャネルを有する特徴マップを提供することができ、第３の畳み込み層４１８は、１回または複数回の畳み込みを遂行した後に、２５６個のチャネルを有する特徴マップを提供することができ、第４の畳み込み層４１８は、５１２個のチャネルを有する特徴マップを提供することができる。画像の寸法は各畳み込みにおいて低減され得る。例えば、入力画像は５７２×５７２の解像度を有することができる。第１の畳み込み４１０は、５７０×５７０の解像度を有する特徴マップ４１１を提供することができる。第２の畳み込みは、５６８×５６８の解像度を有する最後の特徴マップ４１２を提供することができる。実施形態によっては、畳み込み層の間の各プーリング演算は解像度を１／２に減少させることができる。例えば、第１のプーリング演算４０８は、５６８×５６８の解像度を有する最後の特徴マップ４１２を、２８４×２８４の解像度を有する畳み込み層入力４１４に低減することができる。
Ｕ－Ｎｅｔ ＣＮＮは収縮経路４０２内の最終プーリング演算４２２を最終収縮経路畳み込み層４２７に対して遂行することができる。Ｕ－Ｎｅｔ ＣＮＮは畳み込み層４２６において１回または複数回の畳み込みを遂行することができる。実施形態によっては、畳み込み層４２６への入力は１０２４個の特徴チャネルと共に３２×３２の解像度を有することができる。畳み込み層４２６からの出力は、１０２４個の特徴チャネルと共に２８×２８の解像度を有する特徴マップになることができる。
Ｕ－Ｎｅｔ ＣＮＮは膨張経路４０４内で特徴マップのアップサンプリングを遂行することができる。膨張経路４０４は、アップサンプリング層４２５などの、１つまたは複数のアップサンプリング層を含むことができる。各アップサンプリング層は特徴チャネルの数を半減させることができる。例えば、アップサンプリング４２４は畳み込み層４２６からの最後の特徴マップのための特徴チャネルの数を半減させ、特徴マップ４２８を提供することができる。アップサンプリングは、例えば、２×２逆畳み込みであることができる。各アップサンプリング層は収縮経路からのトリミングされた特徴マップを連結することができる。例えば、アップサンプリング層４２５は、収縮経路４２４からのトリミングされた特徴マップ４３０を、アップサンプリングされた特徴マップ４２８に連結するための連結演算４２９を遂行することができる。各アップサンプリングは以前のアップサンプリング層からの特徴マップの解像度を倍増することができる。例えば、アップサンプリング４２４は畳み込み層４２６からの特徴マップ解像度を倍増し、特徴マップ４２８を提供することができる。一例として、畳み込み層４２６からの最後の特徴マップが２８×２８である場合には、特徴マップ４２８はアップサンプリング４２４の後に５６×５６になることができる。各アップサンプリング層はまた、１回または複数回の畳み込みを遂行することもでき、畳み込みの各々の後には、ＲｅＬＵなどの活性化関数、または当該技術分野において既知の任意の他の活性化関数が続くことができる。各アップサンプリング層内の畳み込みは、例えば、３×３畳み込みであることができる。Ｕ－Ｎｅｔ ＣＮＮは１×１畳み込みを最終アップサンプリング層内の最後の畳み込みとして遂行することができる。例えば、最終アップサンプリング層４３２は、実施形態によっては、例えば、出力セグメントマップ４３５を提供することができる最後の畳み込み４３４を含むことができる。実施形態によっては、出力セグメンテーションマップ４３５は、例えば、３８８×３８８の解像度を有し、２つのチャネルを含むことができる。
図４（ｂ）はＵ－ｎｅｔニューラルネットワーク４０００の別の実施形態を示す。Ｕ－Ｎｅｔニューラルネットワーク４０００は入力画像４００２などの入力画像を受け取り、１つまたは複数の畳み込み層において１回または複数回の畳み込みを遂行することができる。実施形態によっては、Ｕ－ｎｅｔニューラルネットワークは収縮経路４００６などの収縮経路および膨張経路４０２１などの膨張経路を含むことができる。入力画像は任意の解像度のものであることができ、任意の数のチャネルを含むことができる。例えば、図において、入力画像４００２はｎチャネルと共に５１２×５１２の入力画像解像度を有することができる（「Ｎ×５１２×５１２」）。実施形態によっては、収縮経路４００６内の畳み込み層４００４などの図中の各下向きの矢印は、当該技術分野において既知のＬｅａｋｙＲｅＬＵ活性化関数およびＩｎｓｔａｎｃｅＮｏｒｍなどの正規化と共に４×４畳み込み（ストライド２×２）を含むことができる。実施形態によっては、畳み込み層はプーリングも含むことができる。実施形態によっては、膨張経路４０２１内の逆畳み込み層４０３２などの各上向きの矢印は、当該技術分野において既知のＲｅＬＵ活性化関数およびＩｎｓｔａｎｃｅＮｏｒｍなどの正規化と共に４×４逆畳み込み（ストライド２×２、パディング３×３）を含むことができる。実施形態によっては、畳み込み層はアップサンプリングも含むことができる。
実施形態によっては、収縮経路４００６内の各畳み込み層はその入力画像の解像度を半減させることができる。例えば、第１の畳み込み層４００４は、入力画像４００２を受け取り、１２８×２５６×２５６の解像度（２５６×２５６の画像解像度を有する１２８個のチャネル）を有することができる第１の特徴マップ４００８を出力することができる。実施形態によっては、各畳み込み層の後の出力特徴マップを別の畳み込み層に入力することができる。例えば、第１の畳み込み層４００２から出力された第１の特徴マップ４００８は第２の畳み込み層４００５に入力することができ、該畳み込み層は、２４５×１２８×１２８の解像度を有する第２の特徴マップ４０１０を提供することができる。第２の特徴マップ４０１０は第３の畳み込み層４００７に入力することができ、該畳み込み層は、５１２×６４×６４の解像度を有する第３の特徴マップ４０１２を出力することができる。第３の特徴マップ４０１２は第４の畳み込み層４００９に入力することができ、該畳み込み層は、１０２４×３２×３２の解像度を有する第４の特徴マップ４０１４を出力することができる。第４の特徴マップ４０１４は第５の畳み込み層４０１１に入力することができ、該畳み込み層は、１０２４×１６×１６の解像度を有する第５の特徴マップ４０１６を出力することができる。第５の特徴マップ４０１６は第６の畳み込み層４０１３に入力することができ、該畳み込み層は、１０２４×８×８の解像度を有する第６の特徴マップ４０１８を出力することができる。第６の特徴マップ４０１８は第７の畳み込み層４０１５に入力することができ、該畳み込み層は、１０２４×４×４の解像度を有する第７の特徴マップ４０２０を出力することができる。
実施形態によっては、膨張経路４０２１内の各逆畳み込み層はその入力画像の解像度を倍増することができる。実施形態によっては、１つまたは複数の逆畳み込み層は、逆畳み込み後に収縮経路からのトリミングされた特徴マップを連結することができる。実施形態によっては、各逆畳み込み層の後の出力特徴マップを別の逆畳み込み層に入力することができる。
例えば、第１の逆畳み込み層４０３２は、特徴マップ４０２０を受け取り、逆畳み込みを遂行し、第６の特徴マップ４０１８を連結し（４０３０）、２０４８×８×８の解像度（８×８の画像解像度を有する２０４８個のチャネル）を有することができる第１の逆畳み込み特徴マップ４０３８を出力することができる。第２の逆畳み込み層４０３３は、第１の逆畳み込み特徴マップ４０３８を受け取り、逆畳み込みを遂行し、第５の特徴マップ４０１６を連結し、２０４８×１６×１６の解像度を有する第２の逆畳み込み特徴マップ４０３６を出力することができる。第３の逆畳み込み層４０３１は、第２の逆畳み込み特徴マップ４０３６を受け取り、逆畳み込みを遂行し、第４の特徴マップ４０１４を連結し、２０４８×３２×３２の解像度を有する第３の逆畳み込み特徴マップ４０３４を出力することができる。第４の逆畳み込み層４０３９は、第３の逆畳み込み特徴マップ４０３４を受け取り、逆畳み込みを遂行し、第５の特徴マップ４０１２を連結することができ、１０２４×６４×６４の解像度を有する第４の逆畳み込み特徴マップ４０４２を出力することができる。第５の逆畳み込み層４０３７は、第４の逆畳み込み特徴マップ４０４２を受け取り、逆畳み込みを遂行し、第５の特徴マップ４０１０を連結することができ、５１２×１２８×１２８の解像度を有する第５の逆畳み込み特徴マップ４０４０を出力することができる。第６の逆畳み込み層４０３５は、第５の逆畳み込み特徴マップ４０４０を受け取り、逆畳み込みを遂行し、第５の特徴マップ４００８を連結することができ、２５６×２５６×２５６の解像度を有する第６の逆畳み込み特徴マップ４０４８を出力することができる。第７の逆畳み込み層４０４４は第６の逆畳み込み特徴マップ４０４８を受け取ることができ、畳み込みを遂行することができ、１×５１２×５１２の解像度を有する第７の逆畳み込み特徴マップ４０５０を出力することができる。
実施形態によっては、各逆畳み込み層に先行してアップサンプリングが行われ得る。
実施形態によっては、Ｕ－Ｎｅｔ ＣＮＮの訓練は、特徴マップにわたるピクセルごとのソフトマックスによるエネルギー関数を決定することができ、それを交差エントロピー損失関数と組み合わせる。ここで、ソフトマックスは次式である：
Figure 2023512083000006
 ここで、ａｋ（ｘ）はピクセル位置ｘにおける特徴チャネルｋにおける活性化であり、Ｋはクラスの数でありｐｋ（ｘ）は近似最大関数である。交差エントロピーは、次式によって１からのｐｌ（ｘ）（ｘ）の各位置における偏差にペナルティを与えることができる：
Ｅ＝Σｘ∈Ω ｗ（ｘ） ｌｏｇ ｐｌ（ｘ）（ｘ）
ここで、ｌ：Ω→｛１，…，Ｋ｝であり、ｗ：Ω→Ｒは重みマップである。接触したセル同士の間の分離境界は、モルフォロジー的なものである演算によって決定することができる。重みマップは次式のように決定することができる：
ｗ（ｘ）＝ｗｃ（ｘ）＋ｗ０＊ｅｘｐ（－（ｄ１（ｘ）＋ｄ２（ｘ））２／２σ２）
ここで、ｗｃ：Ω→Ｒは、クラス頻度をバランスさせる重みマップであり、ｄ１：Ω→Ｒは、最も近いセル境界までの距離であり、ｄ２：Ω→Ｒは、２番目に近いセルまでの距離である。初期重みは、理想的には、特徴マップが、単位に近い分散を有するように選定される。初期重みは、
Figure 2023512083000007
 の標準偏差を有するガウス分布から得ることができる。ここで、Ｎは１つのニューロンの入来ノードの数である。
実施形態によっては、セマンティックセグメンテーションネットワークはピラミッドアテンションネットワーク（Pyramid Attention Network）（「ＰＡＮ」）であることができる。ＰＡＮの一例が、Pyramid Attention Network for Semantic Segmentation by Hanchao Li, Rengfei Xiong, Jie An and Lingxue Wang, arXiv:1805.10180v3, submitted Nov 25, 2018において説明されている。同文献の全体は参照により本明細書に組み込まれる。他のＰＡＮアーキテクチャを用いることもできる。ＰＡＮは、受容野を増大させ、ピクセル位置特定の詳細を効果的に回復するために、符号器および復号器を特徴ピラミッドアテンション（Feature Pyramid Attention）（「ＦＰＡ」）特徴およびグローバルアテンションアップサンプル（Global Attention Upsample）（「ＧＡＵ」）特徴と共に含むことができる。実施形態によっては、ＧＡＵは、例えば、識別多重解像度特徴表現を選択するためのＰＡＮの復号器ブランチの部分であることができる。
図５（ａ）はいくつかの実施形態におけるＰＡＮの一例を示す。ＰＡＮは符号器５００２などの符号器を含むことができる。実施形態によっては、符号器は入力画像５００１などの入力画像を受け取ることができる。符号器は１つまたは複数の段を含むことができ、各段は、例えば、入力データに対してダウンサンプリング演算を遂行することができる層の組み合わせであることができる。符号化の間に、各段は、異なるレベルの特徴マップを構成する特徴のアレイ（テンソル）をもたらすことができる。各段は、特徴層に対応する１つまたは複数の出力特徴マップを提供することができる。実施形態によっては、ＦＰＡ特徴は符号器と復号器との間にあることができる。実施形態によっては、復号器は、例えば、３２個のチャネルを含むことができる。
実施形態によっては、符号器は任意の種類のＲｅｓＮｅｔアーキテクチャであることができる。ＲｅｓＮｅｔアーキテクチャの一例が、ResNets, by Pablo Ruiz-Harvard University, August 2018において説明されている。同文献の全体は参照により本明細書に組み込まれる。実施形態によっては、符号器はＲｅｓＮｅｔ－１０１符号器であることができる。実施形態によっては、ＲｅｓＮｅｔ－１０１符号器の異なる段は特定の数のチャネルの特徴マップを出力することができる。例えば、ＲｅｓＮｅｔ－１０１では、例えば、Ｃｏｎｖ－１ ５００４は６４チャネル特徴マップを出力することができ、Ｒｅｓ－２ ５００８は２５６チャネル特徴マップを出力することができ、Ｒｅｓ－３ ５０１０は５１２チャネル特徴マップを出力することができ、Ｒｅｓ－４ ５０１２は１０２４チャネル特徴マップを出力することができ、Ｒｅｓ－５ ５０１４は２０４８チャネル特徴マップを出力することができる。
好ましい実施形態では、符号器はＲｅｓＮｅｔ－３４符号器であることができる。実施形態によっては、ＲｅｓＮｅｔ－３４符号器は、畳み込み段Ｃｏｎｖ－１ ５００４、およびそれに続く、Ｒｅｓ－２ ５００８、Ｒｅｓ－３ ５０１０、Ｒｅｓ－４ ５０１２、およびＲｅｓ－５ ５０１４などの１つまたは複数の段などの、１つまたは複数の段を含むことができる。ＲｅｓＮｅｔ－３４符号器において、例えば、Ｃｏｎｖ－１ ５００４は６４チャネル特徴マップを出力することができ、Ｒｅｓ－２ ５００８は６４チャネル特徴マップを出力することができ、Ｒｅｓ－３ ５０１０は１２８チャネル特徴マップを出力することができ、Ｒｅｓ－４ ５０１２は２５６チャネル特徴マップを出力することができ、Ｒｅｓ－５ ５０１４は５１２チャネル特徴マップを出力することができる。
図６（ａ）はＲｅｓＮｅｔ－３４ニューラルネットワークの一例を示す。入力画像６００２を第１のＲｅｓＮｅｔ畳み込み層Ｃｏｎｖ－１ ６００４に提供することができる。実施形態によっては、第１のＲｅｓＮｅｔ畳み込み層は、６４個のチャネルおよび２のストライドを有する７×７畳み込みであることができる。実施形態によっては、この後に、２のストライドを有するプーリングステップ６００６が続くことができる。ＲｅｓＮｅｔニューラルネットワークのいくつかの実施形態は、例えば、１回または複数回の３×３畳み込みを各々遂行することができ、２回の畳み込みごとに入力をバイパスする、４つの追加のＲｅｓＮｅｔ段、または層を含むことができる。高さおよび幅の寸法（すなわち、画像解像度）、ならびにチャネルの数（特徴マップの寸法）は各段内で同じままであることができる。
図６（ａ）は、５つの段：Ｃｏｎｖ－１ ６００４、Ｒｅｓ－２ ６０１０、Ｒｅｓ－３ ６０１２、Ｒｅｓ－４ ６０１４、およびＲｅｓ－５ ６０１６を含むことができるＲｅｓＮｅｔ－３４ニューラルネットワークの一例を示す。Ｒｅｓ－２ ６０１０、Ｒｅｓ－３ ６０１２、Ｒｅｓ－４ ６０１４、およびＲｅｓ－５ ６０１６段内の各ブロックは、直列に遂行される３×３畳み込みの対を表す（すなわち、第１の畳み込みの出力は各ボックス内の第２の畳み込みの入力になっている）。例えば、第１のブロック６０１８は、直列に遂行される第１のＲｅｓ－２畳み込み６０２０および第２のＲｅｓ－２畳み込み６０２２を含むことができる。実施形態によっては、１つまたは複数のＲｅｓＮｅｔ段の第１のブロック内の第１の畳み込みはストライドを１から２に増大させることができる。例えば、段Ｒｅｓ－３ ６０１２内の第１のＲｅｓ－３畳み込み６０２４、段Ｒｅｓ－４ ６０１４内の第１のＲｅｓ－４畳み込み６０２６、および段Ｒｅｓ－５ ６０１６内の第１のＲｅｓ－５畳み込み６０２７は２のストライドを各々用いることができ、残りの畳み込みは１のストライドを用いる。実施形態によっては、ＲｅｓＮｅｔ段はバイパスを遂行することができる。バイパスにおいて、第１のブロックの入力は第１のブロックの出力に加算され、合計は次のブロックへの入力として提供される。例えば、図６（ａ）に例示されるように、第１のブロック６０１８への入力はバイパス６０２８を経由して第１のブロックをバイパスし、第１のブロック６０１８の出力に加算される。次に、この合計は次のブロック６０４０への入力として提供される。
図６（ｂ）はバイパスの一例をより詳細に示す。第１のブロック６０５０は第１のブロック入力特徴マップ６０５２を受け取ることができる。入力画像６０５２は、例えば、３×３畳み込みなどの第１の畳み込み６０５４を受け、第１の畳み込み出力６０５６を提供することができ、第１の畳み込み出力６０５６は第２の畳み込み６０５８を受け、第１のブロック出力６０６０を提供することができる。ＲｅｓＮｅｔニューラルネットワークは、バイパス６０６２を経由して、第１のブロック入力特徴マップ６０５２を第１のブロック出力６０６０と合計し、合計を第２のブロック６０６６への第２のブロック入力特徴マップ６０６４として提供することができる。このパターンを、図６（ａ）に例示されるように、ＲｅｓＮｅｔ段全体を通して繰り返すことができる。
図６（ａ）を参照すると、Ｃｏｎｖ－１ ６００４の段は、７×７、６４チャネル、ストライド２の畳み込みを遂行した後に、１１２×１１２の画像サイズを出力することができる。Ｒｅｓ－２ ６０１０の段は、各ブロックが２回の３×３、６４チャネル畳み込みを遂行する、３つのブロックを含み、５６×５６の画像サイズを出力することができる。Ｒｅｓ－３ ６０１２の段は、各ブロックが２回の３×３、１２８チャネル畳み込みを遂行する、４つのブロックを含み、２８×２８の画像サイズを出力することができる。Ｒｅｓ－４ ６０１４の段は、各ブロックが２回の３×３、２５６チャネル畳み込みを遂行する、６つのブロックを含み、１４×１４の画像サイズを出力することができる。Ｒｅｓ－５ ６０１６の段は、各ブロックが２回の３×３、５１２チャネル畳み込みを遂行する、３つのブロックを含み、７×７の画像サイズを出力することができる。最後に、プーリング段６０２９は、実施形態によっては、平均値プーリング、１０００－ｄ ｆｃ、ソフトマックスを遂行し、１×１の画像サイズを出力することができる。
図５（ａ）に例示されるように、ＲｅｓＮｅｔ段の出力は、実施形態によっては、符号器の次の段に入力することができる。加えて、特定の段の出力はＧＡＵにも入力することができる。例えば、Ｒｅｓ－２ ５００８の出力はＲｅｓ－３ ５０１０に入力するとともに、ＧＡＵ－３ ５０１６にも入力することができ、Ｒｅｓ－３ ５０１０の出力はＲｅｓ－４ ５０１２に入力するとともに、ＧＡＵ－２ ５０１８にも入力することができ、Ｒｅｓ－４ ５０１２の出力はＲｅｓ－５ ５０１４に入力するとともに、ＧＡＵ－１ ５０２０にも入力することができる。実施形態によっては、符号器の最後の段の出力特徴マップはＦＰＡに入力することができる。例えば、Ｒｅｓ－５ ５０１４の出力特徴マップはＦＰＡ５０２２に入力することができる。
実施形態によっては、ＦＰＡは、Ｕ字状構造を用いることによって３つのピラミッドスケールからの特徴を組み合わせることができる。実施形態によっては、ＦＰＡは異なるスケールのコンテキスト特徴を完全畳み込みネットワーク（fully convolutional network）（「ＦＣＮ」）ベースのピクセル予測フレームワーク内に埋め込むことができる。図５（ｂ）はいくつかの実施形態におけるＦＰＡの一例を示す。ＦＰＡ５０３０は、例えば、Ｒｅｓｎｅｔ ５０３２などの符号器ネットワークからの特徴マップ５０３４を受け取ることができる。特徴マップの解像度は、実施形態によっては、例えば、３２×３２であることができる。実施形態によっては、ＦＰＡは、ダウンサンプリング、およびその後に続くアップサンプリングを含むことができる。例えば、ＦＰＡ５０３０はダウンサンプリングブランチ５０３８およびアップサンプリングブランチ５０４０を含むことができる。実施形態によっては、ダウンサンプリングブランチ５０３８は、７×７畳み込みを遂行することができる、第１のダウンサンプル畳み込み５０４８、５×５畳み込みを遂行することができる、第２のダウンサンプル畳み込み５０５０、および、３×３畳み込みを遂行することができる、第３のダウンサンプル畳み込み５０５２などの１つまたは複数の畳み込み層を含むことができる。高レベルの特徴マップはより低い解像度を有するため、大きいカーネルサイズは計算の複雑性を増大させない。実施形態によっては、ピラミッド構造は、ステップごとに、異なってスケーリングされた情報を統合することができ、例えば、それが、コンテキスト特徴の隣接するスケールをより精密に組み込むことを可能にする。各ダウンサンプル畳み込みの出力は、同じフィルタサイズを有する別の畳み込み層に供給することができる。例えば、第３のダウンサンプル畳み込み５０５２の出力は３×３畳み込み５０５４に入力することができ、第２のダウンサンプル畳み込み５０５０の出力は５×５畳み込み５０５６に入力することができ、第１のダウンサンプル畳み込み５０４８の出力は７×７畳み込み５０５８に入力することができる。実施形態によっては、アップサンプリングブランチは、増大していく特徴マップ解像度を含むことができる。例えば、実施形態によっては、解像度は、第１のアップサンプルブランチ段５０４２において４×４であることができ、第２のアップサンプルブランチ段５０４４において８×８であることができ、第３のアップサンプルブランチ段５０４６において３２×３２であることができる。各アップサンプリングブランチは、例えば、図に例示されるように、実施形態によっては、連結を含むことができる。畳み込みネットワークからの元の特徴は、例えば、１×１畳み込みを遂行することができる、畳み込み層５０７２などの畳み込み層を通過した後に、例えば、ピクセル毎乗算器５０７０において、ピクセルごとに乗算され得る。ピラミッド構造の１つまたは複数の利点は、例えば、少なくとも、異なるスケールのコンテキスト情報を融合させ、高レベル特徴マップのためのピクセルレベルのアテンションを作り出すことを含むことができる。
実施形態によっては、ＦＰＡは、グローバルプーリング５０６０、１×１畳み込み５０６２、およびアップサンプリング５０６４を含むことができる、グローバルプーリングブランチ５０３６などのグローバルプーリングブランチを含むことができる。
提供されているフィルタおよび解像度サイズは単なる例にすぎない。フィルタおよび解像度サイズは任意の好適な値であることができる。ダウンサンプリングおよびアップサンプリングブランチは、実施形態によっては、より多数またはより少数の段を含むことができる。実施形態によっては、全ての畳み込み層の後にバッチ正規化が行われる。
実施形態によっては、ＦＰＡは、図５（ａ）に示される復号器５０７４などの、復号器への入力を提供することができる。図に示されるように、実施形態によっては、復号器はまた、例えば、ＧＡＵ－１ ５０２０、ＧＡＵ－２ ５０１８、およびＧＡＵ－３ ５０１６などの、１つまたは複数のＧＡＵからの入力を受け取ることができる。実施形態によっては、ＦＰＡ ５０２２はその出力を、復号器５０７４への、およびＧＡＵ－１ ５０２０への入力として提供することができる。ＧＡＵ－１ ５０２０はまた、Ｒｅｓ－４ ５０１２などのＲｅｓＮｅｔ層からの入力を受け取ることができる。実施形態によっては、ＧＡＵ－２ ５０１８は、例えば、Ｒｅｓ－３ ５０１０などの対応するＲｅｓＮｅｔ層からの、および第１の復号器段５０７６などの第１の復号器段からの入力を受け取ることができる。実施形態によっては、ＧＡＵ－３は、上述されたとおりのＲｅｓ－２ ５００８からの、および第２の復号器段５０７８からの入力を受け取ることができる。実施形態によっては、第３の復号器段５０８０がＧＡＵ－３ ５０１６の出力を第２の復号器段５０７８からの出力と合計することができる。実施形態によっては、各復号器段はその入力の合計を遂行することができる。
実施形態によっては、各ＧＡＵは、例えば、カテゴリ位置特定の詳細を選択するのを助けることができる低レベル特徴のグローバルコンテキストを提供することができるグローバル平均値プーリングを遂行することを含むことができる。図５（ｃ）は、ＧＡＵ５０１００などの、ＧＡＵの一例を示す。実施形態によっては、ＧＡＵは、低レベル特徴５０１０１などの１つまたは複数の低レベル特徴に対して、例えば、畳み込み５０１０２などの畳み込みを遂行することができる。実施形態によっては、畳み込み層５０１０２は、例えば、例として、ＣＮＮからの特徴マップのチャネルを低減することができる３×３畳み込みであることができる。実施形態によっては、高レベル特徴５０１０４などの高レベル特徴からのグローバルコンテキストをグローバルプーリング５０１０６においてプーリングすることができ、グローバルプーリング５０１０６は、例えば、特徴マップ５０１０８などの１つまたは複数の特徴マップを提供することができる。実施形態によっては、特徴マップ５０１０８は、例えば、Ｃ×１×１の解像度を有することができる。ここで、Ｃはチャネルの数を表すことができる。実施形態によっては、ＧＡＵは、低レベル特徴を乗算され得るバッチ正規化およびＲｅＬＵ非線形性を用いた畳み込みを通じて高レベル特徴からグローバルコンテキストを生成することができる。例えば、実施形態によっては、畳み込み層５０１１０は、バッチ正規化およびＲｅＬＵ非線形性を用いた１×１畳み込みを提供することができる。該畳み込みは、乗算器５０１１２において、畳み込み層５０１０２からの低レベル特徴を乗算され得、例えば、重み付き低レベル特徴５０１１４などの１つまたは複数の重み付き低レベル特徴を提供する。実施形態によっては、高レベル特徴を重み付き低レベル特徴に加算することができる。例えば、実施形態によっては、高レベル特徴５０１０４を合計５０１１６において重み付き低レベル特徴５０１１４に加算することができる。このようなＧＡＵの１つまたは複数の利点は、例えば、異なるスケールの特徴マップを展開し、高レベル特徴を用いて案内情報を低レベル特徴マップに提供することを含むことができる。実施形態によっては、ＰＡＮはセグメント化画像５０７５を提供することができる。
実施形態によっては、ＲｅｓＮｅｔは、例えば、特徴マップを抽出する膨張畳み込み方略を用いてＩｍａｇｅＮｅｔ上で事前訓練することができる。例えば、実施形態によっては、２の膨張畳み込み率がｒｅｓ５ｂブロックに適用される。これは、例えば、ＲｅｓＮｅｔからの出力サイズが入力画像の１／１６である特徴マップをもたらすことができる。ＲｅｓＮｅｔ－１０１およびＲｅｓＮｅｔ－３４の実装形態の場合には、７×７畳み込み層を、例えば、３つの３×３畳み込み層に置換することができる。実施形態によっては、訓練は、当該技術分野において既知のポリ学習率（poly learning rate）を含むことができる。例えば、初期率に（１－ｉｔｅｒ／ｍａｘ＿ｉｔｅｒ）ｐｏｗｅｒを乗算することができる。ここで、ｐｏｗｅｒは０．９であり、初期率は４ｅ－３である。実施形態によっては、ネットワークは、バッチサイズ１６、モーメンタム０．９、および重み減衰０．０００１を有するミニバッチ確率的勾配降下（stochastic gradient descent）（「ＳＧＤ」）を用いて訓練することができる。実施形態によっては、例えば、カテゴリにわたる各ピクセルにおける交差エントロピー誤差を損失関数として適用することができる。訓練の間には、例えば、全てのデータセットについてのランダム左右反転および０．５～２のランダムスケーリングを用いることができる。実施形態によっては、特に、３×３カーネルのサイズの畳み込みに対して、平均値プーリングの方が最大値プーリングより好ましくなり得る。実施形態によっては、ストライドは、例えば、１６であることができる。ＰＡＮを用いることの１つまたは複数の利点は、例えば、性能の改善を含むことができる。
実施形態によっては、コンピュータ実施方法は、１つまたは複数のニューラルネットワークの１つまたは複数の特徴を実施すること、含むこと、および／または遂行することができる。実施形態によっては、コンピュータ実施方法は１つまたは複数のニューラルネットワークを訓練することができる。特定の値が１つまたは複数のニューラルネットワークにおける１つまたは複数の特徴のために議論されているが、値は単なる例として提供されているにすぎない。他の好適な値および変形を用いることもできる。
パノラマ画像
実施形態によっては、コンピュータ実施方法は訓練済みニューラルネットワークを用いて３Ｄデジタルモデルからパノラマ画像を生成することができる。パノラマ画像は、例えば、１つまたは複数の列および１つまたは複数の行を含む２Ｄラスタ画像であることができる。実施形態によっては、コンピュータ実施方法は２Ｄパノラマ画像内の各列および行を生成することができる。パノラマ画像は、有利に、例えば、デジタルモデル内のより多くのデジタル歯群をより多くの側から示すことができる。パノラマ画像は、有利に、例えば、全ての歯群の舌側および頬側の両方の歯肉－クラウンマージンを示す単一の画像であることができる。図７は、行５１０２および列５１０４などの、列および行の重ね合わせられた図を伴うパノラマ画像の一例を示す。図７に示される列および行の数は例示のみを目的としている。実施形態によっては、所望の列および行の数は、構成ファイル内で、または両方の値のための入力フィールドなどのグラフィカルユーザインターフェース要素を通じて設定することができる。実施形態によっては、コンピュータ実施方法は、例えば、列および行の所望の数を構成ファイルからロードすることができる。列および行の数が多いほどパノラマ画像の解像度を増大させることができる。一例として、列の数が、例えば、２０４８に設定され、行の数が、例えば、３２０に設定される場合には、このとき、パノラマ画像は２０４８×３２０（幅掛ける高さ）になることができる。これは、コンピュータ実施方法がスプライン上の２０４８個のサンプルを取得することを意味することができる。寸法が小さいほど処理が速くなることができ、その一方で、寸法が大きいほど良好な空間解像度をもたらすことができる。１つの利点は、速度と空間解像度との間の選択を行うことができることを含むことができる。
実施形態によっては、ニューラルネットワークは、各デジタル歯牙が、例えば、長方形状境界などの、標識付きデジタル歯牙バウンディング領域で標識されている、１本または複数本のデジタル歯群を有するデジタル歯列弓の少なくとも部分の１つまたは複数の２Ｄ深度マップを含むことができる２Ｄ深度マップ訓練データセットを提供することによって訓練することができる。標識付きデジタル歯牙バウンディング領域のための他の形状を用いることもできる。コンピュータ実施方法のいくつかの実施形態は、任意選択的に、３Ｄデジタルモデルから２Ｄ画像を生成することを含むことができる。実施形態によっては、２Ｄ画像は２Ｄ深度マップであることができる。２Ｄ深度マップは、各ピクセル内に、ピクセルを通過する線に沿った正投影カメラから物体までの距離を包含する２Ｄ画像を含むことができる。例えば、物体は、実施形態によっては、例えば、デジタル顎モデル表面であることができる。実施形態によっては、入力は、例えば、顎などの、患者の歯列の３Ｄデジタルモデル（「デジタルモデル」）などの物体、およびカメラ配向を含むことができる。実施形態によっては、カメラ配向は咬合方向に基づいて決定することができる。咬合方向は咬合平面と垂直であり、咬合平面は、当該技術分野において既知の任意の技法を用いてデジタルモデルのために決定することができる。例えば、１つの技法が、AN AUTOMATIC AND ROBUST ALGORITHM OF REESTABLISHMENT OF DIGITAL DENTAL OCCLUSION, by Yu-Bing Chang, James J. Xia, Jaime Gateno, Zixiang Xiong, Fellow, IEEE, Xiaobo Zhou, and Stephen T.C. Wong in IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 29, NO. 9, SEPTEMBER 2010において説明されている。同文献の全体は本明細書において参照により組み込まれる。代替的に、実施形態によっては、咬合方向は、例えば、本明細書において説明されるように、ユーザがマウスまたはタッチスクリーンなどの入力デバイスを用いてディスプレイ上のデジタルモデルを操作することによって指定され得る。実施形態によっては、咬合方向は、例えば、NikolskiyらのPROCESSING DIGITAL DENTAL IMPRESSION、米国特許出願公開第１６／４５１，９６８号明細書において説明されている咬合軸法を用いて決定することができる。同出願の全体は本明細書において参照により組み込まれる。
２Ｄ深度マップは、例えば、ｚバッファまたは光線追跡法を含む、当該技術分野において既知の任意の技法を用いて生成することができる。例えば、実施形態によっては、コンピュータ実施方法は、例えば、各ピクセル（ｊ，ｋ）の深度を最大長に、およびピクセル色を背景色に初期化することができる。コンピュータ実施方法は、３Ｄデジタルモデルなどのデジタル表面上へのポリゴンの投影内のピクセルごとに、ピクセル（ｊ，ｋ）に対応する（ｘ，ｙ）におけるポリゴンの深度ｚを決定することができる。ｚ＜ピクセル（ｊ，ｋ）の深度である場合には、このとき、ピクセルの深度を深度ｚに設定する。「ｚ」は、カメラの中心視軸はカメラのｚ軸の方向にあるという約束を指すことができるが、必ずしもシーンの絶対的なｚ軸を指すとは限らない。実施形態によっては、コンピュータ実施方法はまた、例えば、ピクセル色を背景色以外の何らかのものに設定することもできる。実施形態によっては、ポリゴンは、例えば、デジタル三角形であることができる。実施形態によっては、マップ内の深度はピクセルごとのものであることができる。図８は、いくつかの実施形態におけるデジタルモデルの２Ｄ深度マップの一例を示す。
訓練データセットを生成するために、訓練データセット内の各２Ｄ深度マップ内の各デジタル歯牙をデジタル歯牙バウンディング領域によって標識することができる。図９は、標識付きデジタル歯牙バウンディング領域７０２を有する２Ｄ深度マップ７００の一例を示す。２Ｄ深度マップ内のデジタル歯牙ごとの標識付きデジタル歯牙バウンディング領域は、実施形態によっては、例えば、ユーザまたは技術者によって手動で、あるいは自動プロセスによって標識され得る。実施形態によっては、コンピュータ実施方法は２Ｄ深度マップ訓練セットをニューラルネットワークに提供し、２Ｄ深度マップ訓練済みニューラルネットワークを提供することができる。２Ｄ深度マップ訓練済みニューラルネットワークは、実施形態によっては、１つまたは複数の２Ｄ深度マップを受け取り、２Ｄ深度マップ内のデジタル歯牙ごとのデジタル歯牙バウンディング領域を自動的に生成することができる。実施形態によっては、コンピュータ実施方法は、長方形またはボックスとして形状設定された、標識付きデジタル歯牙バウンディング領域を各々有する、１つまたは複数の２Ｄ深度マップを用いてＹＯＬＯネットワークを訓練することができる。実施形態によっては、コンピュータ実施方法は、それが２Ｄ深度マップ内で見えるとおりの各デジタル歯牙の全体形状に従うよう形状設定された、標識付きデジタル歯牙バウンディング領域を各々有する、１つまたは複数の２Ｄ深度マップを用いてセマンティックセグメンテーションネットワークを訓練することができる。例えば、実施形態によっては、コンピュータ実施方法は、ＣＮＮ、Ｕ－Ｎｅｔ ＣＮＮ、またはＰＡＮニューラルネットワークを訓練することができる。実施形態によっては、訓練データセットは、例えば、１０，０００個の２Ｄ深度マップ画像を含むことができる。例えば、実施形態によっては、他の好適な数の２Ｄ深度マップ画像を訓練データセットとして用いることもできる。
訓練後に、実施形態によっては、２Ｄ深度マップ訓練済みニューラルネットワークは、デジタル歯列弓を各々有する１つまたは複数の標識のない２Ｄ深度マップを受け取り、各デジタル歯列弓の少なくとも部分内のデジタル歯牙ごとのデジタル歯牙バウンディング領域を提供することができる。実施形態によっては、コンピュータ実施方法は、例えば、訓練済みニューラルネットワークを用いて各デジタル歯牙の周りのデジタル歯牙バウンディング領域を大まかに規定することができる。各デジタル歯牙バウンディング領域は、咬合方向から見たときの、各歯の位置の大まかな近似を提供することができる。図１０（ａ）は、各デジタル歯牙の周りのデジタル歯牙バウンディング領域を含む１本または複数本のデジタル歯牙を有するデジタル歯列弓を有するデジタルモデル８００の一例を示す。本例では、デジタル歯牙バウンディング領域は、咬合方向８０６から見たときのデジタル歯牙８０４の境界となるデジタルバウンディングボックス８０２である。バウンディングボックス８０２が示されているが、各デジタル歯牙バウンディング領域は、実施形態によっては、特定のデジタル歯牙の境界となるための任意の好適な形状および／またはサイズのものであることができる。
実施形態によっては、２Ｄ深度マップ訓練済みニューラルネットワークは、上述されたとおりの２Ｄ深度マップ訓練済み畳み込みニューラルネットワークである。実施形態によっては、２Ｄ深度マップ訓練済みＣＮＮは、上述されたとおりの２Ｄ深度マップ訓練済みＹＯＬＯネットワークであることができる。訓練済み２Ｄ深度マップＹＯＬＯネットワークは２Ｄ深度マップを受け取ることができ、２Ｄ深度マップの少なくとも部分内におけるデジタル歯牙ごとのデジタル歯牙バウンディング領域を提供することができる。コンピュータ実施方法は、例えば、実施形態によっては、デジタル歯牙バウンディング領域によって境界された全てのピクセルを固有ラベルでラベル付けすることができる。訓練済み２Ｄ深度マップＹＯＬＯネットワークによって提供されるデジタル歯牙バウンディング領域は、例えば、デジタル歯牙バウンディングボックスであることができる。
実施形態によっては、２Ｄ深度マップ訓練済みニューラルネットワークは２Ｄ深度マップ訓練済みセマンティックセグメンテーションネットワークである。実施形態によっては、２Ｄ深度マップ訓練済みセマンティックセグメンテーションネットワークは、上述されたとおりの２Ｄ深度マップ訓練済みＵ－Ｎｅｔであることができる。実施形態によっては、２Ｄ深度マップ訓練済みセマンティックセグメンテーションネットワークは、上述されたとおりのＰＡＮネットワークである。訓練済み２Ｄ深度マップセマンティックセグメンテーションネットワークは２Ｄ深度マップを受け取ることができ、２Ｄ深度マップの少なくとも部分内におけるデジタル歯牙ごとのデジタル歯牙バウンディング領域を提供することができる。コンピュータ実施方法は、例えば、実施形態によっては、デジタル歯牙バウンディング領域によって境界された全てのピクセルを単一のラベルでラベル付けすることができる。訓練済み２Ｄ深度マップセマンティックセグメンテーションネットワークによって提供されるデジタル歯牙バウンディング領域は、概して、例えば、２Ｄ深度マップ内の対応するデジタル歯牙の形状に従うよう形状設定することができる。それゆえ、訓練済み２Ｄ深度マップセマンティックセグメンテーションネットワークはピクセルごとのセグメント化／ラベル付けを提供することができる。
ラベルは、例えば、各歯を別のものと、ならびに／あるいは各歯を周囲の歯齦および歯肉と区別することができる。例えば、ＹＯＬＯネットワークは訓練および適用がより高速になり得るが、セマンティックセグメンテーションネットワークが提供することができるピクセルごとのラベル付けを提供し得ない。それゆえ、２Ｄ深度マップ訓練済みＹＯＬＯネットワークは、実施形態によっては、パノラマ画像を生成するためにふさわしくなり得る。しかし、例えば、実施形態によっては、２Ｄ深度マップ訓練済みセマンティックセグメンテーションネットワークを、パノラマ画像を生成するために用いることもできる。実施形態によっては、各デジタル歯牙は、そのサイズおよびデジタル歯列弓内の場所に基づいて識別され得る。
実施形態によっては、コンピュータ実施方法はデジタル歯牙バウンディング領域のうちの１つまたは複数を互いに接続することができる。実施形態によっては、コンピュータ実施方法はバウンディング領域中心のうちの１つまたは複数を互いに接続することができる。実施形態によっては、コンピュータ実施方法は各デジタル歯牙バウンディング領域の中心を決定することができる。デジタル歯牙バウンディング領域中心は、例えば、実施形態によっては、デジタル歯牙バウンディング領域の幾何学中心であることができる。図１０（ｂ）は、デジタル歯牙バウンディング領域がデジタル歯牙８０４のためのデジタルバウンディングボックス８０２である一例を示す。コンピュータ実施方法はデジタルバウンディングボックス中心８０８を決定することができる。デジタルバウンディングボックス中心８０８は、例えば、実施形態によっては、デジタルバウンディングボックス８０２の幾何学中心であることができる。図１０（ｃ）は、デジタルバウンディングボックス８０２のデジタルバウンディングボックス中心８０８などの図１０（ａ）からのデジタルモデル８００のデジタルバウンディングボックス中心の一例を示す。
実施形態によっては、コンピュータ実施方法は、スプラインを、１つまたは複数のデジタル歯牙バウンディング領域中心を通過させることによって、近傍のデジタル歯牙バウンディング領域中心を接続することができる。実施形態によっては、コンピュータ実施方法は、スプラインが滑らかな凸包を形成するよう、スプラインを通過させるための１つまたは複数のデジタル歯牙バウンディング領域中心を選択することができる。実施形態によっては、コンピュータ実施方法はスプラインを、デジタル歯牙バウンディング領域中心の全てを通過させることができる。実施形態によっては、スプラインは平滑スプラインであることができる。実施形態によっては、近傍のデジタル歯牙バウンディング領域は互いに隣接している。これは、デジタル歯牙バウンディング領域が、近傍の、または隣接した歯群のものであるためであり得る。２つのデジタル歯牙バウンディング領域中心の間のスプラインは当該技術分野において既知の任意の技法を用いて決定することができる。例えば、２つのデジタル歯牙バウンディング領域中心の間の好適なスプラインは３次エルミートスプラインを含むことができる。３次エルミートスプラインは、例えば、実施形態によっては、隣接したデジタル歯牙バウンディング領域中心の位置、および２つのデジタル歯牙バウンディング領域中心の各々における１次導関数を含むことができる。それゆえ、コンピュータ実施方法は、デジタル歯牙バウンディング領域中心のうちの２つ以上を通る連続スプラインを形成するよう互いに接続された１つまたは複数のスプラインを提供することができる。コンピュータ実施方法は当該技術分野において既知の任意の技法を用いてスプラインを決定することができる。例えば、実施形態によっては、スプラインは、あらゆる中心点における接線を決定し、次に、あらゆる２つのデジタル歯牙バウンディング領域中心の間におけるスプラインをベジエ曲線として構築することによって決定することができる。実施形態によっては、デジタル歯牙バウンディング領域中心が１つの隣接した近傍のデジタル歯牙バウンディング領域中心のみを有する場合には、コンピュータ実施方法は直線を滑らかに延長し、隣接した近傍のデジタル歯牙バウンディング領域中心を有しない側でスプラインを連続させることができる。
図１０（ｄ）は、第１のスプライン８１２によって互いに接続された第１のバウンディングボックス中心８０８および第２のバウンディングボックス中心８１０などの１つまたは複数のデジタル歯牙バウンディング領域中心の一例を示す。図はまた、第２のスプライン８１４が第２のデジタルバウンディングボックス中心８１０を第３のデジタルバウンディングボックス中心８１６と接続する様子も示している。一方の隣接者を欠く、第１のバウンディングボックス中心８０８の場合には、コンピュータ実施方法は第１のスプライン８１２を直線８２４において延長することができる。同様に、一方の隣接者を欠く、最後のバウンディングボックス中心８２２の場合には、コンピュータ実施方法は最後のスプライン８２６を直線８２８において延長することができる。コンピュータ実施方法は、このように、近傍のデジタルバウンディングボックス中心を接続して連続スプライン８２０にすることができる。上述されたように、スプラインは連続平滑スプラインであることができる。
実施形態によっては、コンピュータ実施方法はスプライン上の１つまたは複数の点をサンプリングすることができる。実施形態によっては、コンピュータ実施方法は、パノラマ画像内の所望の列の数に基づいてサンプリングするべき点の数を決定することができる。例えば、実施形態によっては、サンプル点の数は、実施形態によっては、列の数と同じであることができる。コンピュータ実施方法は、実施形態によっては、ユーザ設定可能な数のサンプル点をサンプリングすることができる。サンプルの数は、実施形態によっては、構成ファイルから設定され、ロードされるか、またはユーザが入力デバイスを用いて値をＧＵＩの入力フィールドに入力することによって設定され得る。サンプルの数は任意の好適な値であることができ、より高いサンプリング数は、より高い解像度のパノラマ画像に対応し、より低いサンプリング数は、より低い解像度であるが、より高速に生成されるパノラマ画像に対応する。一例として、サンプリング点の数は２０４８であることができる。図１１は、デジタルモデル９０６上に投影された連続平滑スプライン９０４上のサンプリング点９０２の一例を示す。
実施形態によっては、コンピュータ実施方法は、スプライン上のサンプリング点に対応するサンプリングデジタル表面点を決定することができる。実施形態によっては、コンピュータ実施方法は、サンプリング点を３Ｄデジタルモデル上に投影することによってサンプリングデジタル表面点を決定することができる。図１２（ａ）は、３Ｄデジタルモデル１００６のための連続平滑スプライン１００４上のサンプリング点に対応するサンプルデジタル表面点１００２の一例を示す。実施形態によっては、コンピュータ実施方法は、スプライン上のサンプリング点においてスプラインと直交し、デジタルモデル内の咬合方向と平行なサンプル平面を決定し、スプライン上のサンプリング点における平面とデジタル表面との交差を決定することによって、スプライン上のサンプリング点に対応するサンプリングデジタル表面点を決定することができる。例えば、図１２（ａ）に例示されるように、コンピュータ実施方法は、サンプリングデジタル表面点１００２において連続平滑スプライン１００４と直交し、咬合方向１０１０と平行であるサンプル平面１００８を決定することができる。
実施形態によっては、コンピュータ実施方法は、サンプリングデジタル表面点に関連付けられた１つまたは複数のデジタル表面点を決定することができる。実施形態によっては、コンピュータ実施方法は、サンプリングデジタル表面点ごとに、サンプリングデジタル表面点において連続平滑スプラインと直交し、デジタルモデル内の咬合方向と平行なサンプル平面を決定するか、または決定されたサンプル平面を用いることができる。
実施形態によっては、コンピュータ実施方法は、サンプリングデジタル表面点を、サンプリングデジタル表面点深度光線に沿ってサンプル深度点までサンプリングデジタル表面点深度分、咬合方向に沿って下方へ移動させることができる。例えば、コンピュータ実施方法は、サンプリングデジタル表面点１００２を、サンプル点深度光線１０１２に沿ってサンプル深度点１０１４へ、実施形態によっては、咬合方向１０１０に沿ってサンプル点深度光線１０１２に沿って下方へ移動させることができる。サンプル点深度光線は、実施形態によっては、咬合方向と平行であることができる。実施形態によっては、コンピュータ実施方法はサンプリングデジタル表面点をサンプル平面内で移動させることができる。例えば、サンプリングデジタル表面点１００２はサンプル平面１００８内で移動させられ得る。実施形態によっては、サンプル点深度は、例えば、サンプリングデジタル表面点から咬合方向に沿って１５ｍｍであることができる。他の好適なサンプル点深度を用いることもできる。
実施形態によっては、コンピュータ実施方法はサンプル深度点からデジタル表面への１本または複数本の光線を決定し、サンプリングデジタル表面点に関連付けられた１つまたは複数のデジタル表面点を決定することができる。実施形態によっては、コンピュータ実施方法は、光線を、サンプル平面内でサンプル深度点から３Ｄデジタルモデルのデジタル表面へサンプル点深度光線に対して異なる角度で延ばすことによって、１本または複数本の光線を決定することができる。実施形態によっては、コンピュータ実施方法は傾斜角範囲内で傾斜角を形成することができる。実施形態によっては、傾斜角範囲はサンプル点深度光線に対して－４５度～＋４５度であることができる。傾斜角範囲は、例えば、コンピュータ実施方法が読み込むことができる構成ファイル内で設定され得るユーザ設定可能な値であり、および／または例えば、ユーザがＧＵＩの使用を通じて入力デバイスを用いることによって入力され得る。実施形態によっては、コンピュータ実施方法は、パノラマ画像内の所望の行の数に基づいて生成するべきサンプル深度点からの光線の数を決定することができる。実施形態によっては、コンピュータ実施方法はサンプル深度点からの光線の数をパノラマ画像内の所望の行の数に設定することができる。実施形態によっては、コンピュータ実施方法はサンプル深度点からの１本または複数本の光線のための傾斜角増分を決定することができる。実施形態によっては、傾斜角増分は（総傾斜角範囲）／（所望の列の数）として決定することができる。例えば、所望の列の数が３２０に設定され、総傾斜角範囲が－４５度～＋４５度に設定される場合には、このとき、傾斜角増分は（９０度）／（３２０）になり、これは０．２８度になるであろう。
実施形態によっては、コンピュータ実施方法は、サンプル点深度光線を形成し、およびサンプル点深度光線の両側の１つまたは複数の傾斜角を傾斜角増分の倍数として決定し、サンプル深度点から３Ｄデジタルモデルの少なくともデジタル表面へ延びる１本または複数本の光線を決定することができる。本例では、コンピュータ実施方法は１本または複数本の光線をサンプル点深度光線の両側において０．２８度の倍数として決定するであろう。１本または複数本の光線は、例えば、実施形態によっては、サンプル平面内にあることができる。コンピュータ実施方法は、サンプリングデジタル表面点に関連付けられたデジタル表面点を、光線と交差するデジタル表面点として決定することができる。コンピュータ実施方法は、サンプル点深度光線の両側で範囲の終了に達するまで、１本または複数本の光線およびそれらの対応する交差デジタル表面点を決定することができる。
例えば、図１２（ａ）に例示されるように、コンピュータ実施方法は、サンプル点深度光線１０１２から第１の正の傾斜角１０１８をなす第１の正の傾斜角の光線１０１６、およびサンプル点深度光線１０１２から第１の負の傾斜角をなす第１の負の傾斜角の光線１０２０を決定することができる。第１の正の傾斜角１０１８および第１の負の傾斜角は、それらはどちらも、光線が延ばされる第１の傾斜角であるため、傾斜角増分値であることができる。第２の正および負の傾斜角の光線は、サンプル点深度光線１０１２からプラス／マイナス２＊（傾斜角増分）の角度をなし、第３の正および負の傾斜角の光線は、サンプル点深度光線１０１２からプラス／マイナス３＊（傾斜角増分）の角度をなす、などとなるであろう。コンピュータ実施方法は第１の正の傾斜角の光線１０１６とデジタルモデル１００６のデジタル表面との交点における第１のデジタル表面点１０２２を決定することができ、第１の負の傾斜角の光線１０２０とデジタルモデル１００６のデジタル表面との交点における第２のデジタル表面点１０２４を決定することができる。第１のデジタル表面点１０２２および第２のデジタル表面点１０２４はサンプリングデジタル表面点１００２に関連付けられ得る。単一のサンプル点および２つの光線のみが例示のために示されているが、異なる角度をなすさらに多くの光線が可能である。実施形態によっては、スプライン上のサンプル点の数は、例えば、２１００であることができ、光線の数は、例えば、３２０であることができる。例えば、図１２（ｂ）は、スプライン１０５４上でサンプリングされたサンプル点１０５２などの追加のサンプル点を有するデジタルモデル１０５０を示す。サンプル点１０５２は、サンプル点１０５２に対応する深度点から延びる光線１０５６などの１本または複数本の光線を有することができる。図１２（ｃ）は、サンプル点１０５２のためのサンプル深度点から延びる光線１０５６などの複数本の光線を示す。
実施形態によっては、パノラマ画像の中心行がサンプリングデジタル表面点を含むことができる。実施形態によっては、各サンプリングデジタル表面点およびその関連デジタル表面点はパノラマ画像内の列であることができる。実施形態によっては、中心行の一方の側の行は、正の傾斜角の光線に対応するデジタル表面点を含むことができ、中心行の他方の側の行は、負の傾斜角の光線に対応するデジタル表面点を含むことができる。実施形態によっては、全てのサンプリングデジタル表面点のための光線を構築するために同じ傾斜角増分値を用いることができる。実施形態によっては、各サンプリングデジタル表面点のサンプル深度点の深度は同じである。実施形態によっては、中心行は、サンプル点深度光線に対して０の傾斜角をなす光線に対応する。
図１３は、例示のみを目的として示されるパノラマ画像の一例を示す。中心行１１０２は、例えば、サンプリングデジタル表面点１１０３などの、サンプリングデジタル表面点を含むことができる。列１１０５内のデジタル表面点は、サンプリングデジタル表面点１１０３に関連付けられたデジタル表面点である。コンピュータ実施方法は、サンプリングデジタル表面点１１０３のサンプル深度点から傾斜角増分の異なる倍数をなして延びる光線から列１１０５内のデジタル表面点を決定することができる。実施形態によっては、例えば、行１１０４内のデジタル表面点は、正の傾斜角の光線から決定されたものであることができ、行１１０６内のデジタル表面点は、負の傾斜角の光線から決定されたデジタル表面点であることができる。例えば、第１の正の行１１１０は、サンプル点深度光線に対して
傾斜角＝１＊（傾斜角増分）
を有する第１の正の光線と交差するデジタル表面点を含むことができる。例えば、第１の負の行１１１２は、サンプル点深度光線に対して
傾斜角＝－１＊（傾斜角増分）
を有する第１の負の光線と交差するデジタル表面点を含むことができる。実施形態によっては、傾斜角増分は、構成ファイル内で、またはユーザが、例えば、ＧＵＩを用いることによって編集可能な入力フィールドを通じて指定され得る。コンピュータ実施方法は、例えば、実施形態によっては、設定された傾斜角増分から行の数を決定することができる。
パノラマ画像はサンプリングデジタル表面点ごとの深度情報およびその関連デジタル表面点を包含することができる。実施形態によっては、コンピュータ実施方法はデジタル表面点の深度をデジタル表面点からサンプル深度点までのその対応する光線の長さとして決定することができる。実施形態によっては、コンピュータ実施方法はサンプリング／関連デジタル表面点の深度を、サンプリング／関連デジタル表面点からサンプル深度点まで延びるサンプル点深度光線の長さとして決定することができる。実施形態によっては、コンピュータ実施方法はパノラマ画像の各ピクセルの深度を記憶することができる。実施形態によっては、コンピュータ実施方法は深度情報を輝度として記憶することができる。例えば、実施形態によっては、より明るい色のピクセルは、カメラ視野により近いデジタル表面領域を表し、より暗い色のピクセルは、カメラ視野からより遠いデジタル表面領域を表す。図１４は、深度情報を有するパノラマ画像の一例を示す。例えば、より暗い領域１２０２は、より明るい領域１２０４などのより明るい領域よりもカメラから遠い。代替的に、実施形態によっては、より明るい色のピクセルは、カメラ視野からより遠いデジタル表面領域を表すことができ、より暗い色のピクセルは、カメラにより近いデジタル表面領域を表すことができる。
正および負の傾斜角の呼称は、サンプル点深度光線の一方の側の光線を他方の側の光線と区別するために用いられており、呼称は入れ替えることができることが留意される。例えば、実施形態によっては、行１１０４内のデジタル表面点は、負の傾斜角の光線から決定されたものであることができ、行１１０６内のデジタル表面点は、正の傾斜角の光線から決定されたデジタル表面点であることができる。
パノラマ画像を用いる少なくとも１つの利点は、例えば、光線が、例えば、正射影図の場合のように平行になり、斜視図の場合のように発散する代わりに、各歯の歯根に向かって集束するため、歯牙－歯肉境界の視認性の改善を含むことができる。これは、歯群、および歯肉などの、他の領域の境界の精度を改善することができる。
ラベル付け
コンピュータ実施方法のいくつかの実施形態は、訓練済みニューラルネットワークを用いて、入力画像の１つまたは複数の領域をラベル付けし、ラベル付き画像を提供することを含むことができる。
実施形態によっては、訓練済みニューラルネットワークは任意の種類のニューラルネットワークであることができる。実施形態によっては、ニューラルネットワークは、例えば、上述されたとおりのＣＮＮであることができる。実施形態によっては、ニューラルネットワークは、例えば、上述されたとおりのＹＯＬＯニューラルネットワークであることができる。実施形態によっては、ニューラルネットワークは、例えば、セマンティックセグメンテーションネットワークであることができる。実施形態によっては、セマンティックセグメンテーションネットワークは、例えば、上述されたとおりのＵ－Ｎｅｔニューラルネットワークであることができる。実施形態によっては、セマンティックセグメンテーションは、例えば、上述されたとおりのＰＡＮニューラルネットワークであることができる。
実施形態によっては、ニューラルネットワークは、各デジタル歯牙が、例えば、標識付きデジタル歯牙バウンディング領域で標識されている、１本または複数本のデジタル歯群を含むことができるデジタル歯列の少なくとも部分の１つまたは複数の画像を含むことができる訓練データセットを提供することによって訓練することができる。実施形態によっては、訓練データセットは、各デジタル歯牙が、標識付きデジタル歯牙バウンディング領域で標識されている、１つまたは複数のパノラマ画像を含むことができる。パノラマ訓練データセットを用いて訓練されたニューラルネットワークはパノラマ画像訓練済みニューラルネットワークになることができる。
実施形態によっては、標識付きデジタル歯牙バウンディング領域は、例えば、長方形状境界であることができる。しかし、他の形状を標識付きデジタル歯牙バウンディング領域として用いることもできる。訓練データセット内の各画像内の各デジタル歯牙はデジタル歯牙バウンディング領域で標識されている。図１５は、標識付きデジタル歯牙バウンディング領域１３０２を有するパノラマ画像１３００の一例を示す。パノラマ画像内のデジタル歯牙ごとの標識付きデジタル歯牙バウンディング領域は、実施形態によっては、手動で、あるいは自動プロセスによって標識され得る。実施形態によっては、訓練データセットは、例えば、パノラマ画像などの、１０，０００個の画像を含むことができる。例えば、実施形態によっては、他の好適な数のパノラマ画像を訓練データセットとして用いることもできる。任意のニューラルネットワークの訓練は教師ありまたは教師なしであることができる。
実施形態によっては、ＹＯＬＯネットワークは、それに、長方形またはボックスとして形状設定された標識付きデジタル歯牙バウンディング領域を提供することによって訓練することができる。実施形態によっては、Ｕ－ＮｅｔまたはＰＡＮニューラルネットワークなどのセマンティックセグメンテーションネットワークは、それらに、パノラマ画像内の各デジタル歯牙の形状に従うよう標識された標識付きデジタル歯牙バウンディング領域を提供することによって訓練することができる。
実施形態によっては、訓練済みニューラルネットワークは、例えば、上述されたとおりのパノラマ画像訓練済みＣＮＮであることができる。実施形態によっては、訓練済みニューラルネットワークは、例えば、上述されたとおりのパノラマ画像訓練済みＹＯＬＯニューラルネットワークであることができる。実施形態によっては、訓練済みニューラルネットワークは、例えば、パノラマ画像訓練済みセマンティックセグメンテーションネットワークであることができる。実施形態によっては、訓練済みセマンティックセグメンテーションネットワークは、例えば、上述されたとおりのパノラマ画像訓練済みＵ－Ｎｅｔニューラルネットワークであることができる。実施形態によっては、訓練済みセマンティックセグメンテーションは、例えば、上述されたとおりのパノラマ画像訓練済みＰＡＮニューラルネットワークであることができる。代替的に、実施形態によっては、訓練済みニューラルネットワークは２Ｄ深度マップ訓練済みニューラルネットワークであることができる。
パノラマ画像が例として説明されているが、実施形態によっては、訓練データセットは、代替的に、各デジタル歯牙が標識付きデジタル歯牙バウンディング領域で標識された１つまたは複数の２Ｄ深度マップを含むことができる。２Ｄ深度マップ訓練データセットを用いて訓練されたニューラルネットワークは２Ｄ深度マップ訓練済みニューラルネットワークになることができ、例えば、訓練データセットが１つまたは複数の２Ｄ深度マップを含むことを除いて、例えば、パノラマ画像に関して説明されたのと同じ仕方で訓練することができる。
実施形態によっては、コンピュータ実施方法は訓練済みニューラルネットワークを用いて入力画像の１つまたは複数の領域をラベル付けし、ラベル付き画像を提供することができる。例えば、実施形態によっては、コンピュータ実施方法は入力画像を受け取り、１つまたは複数の訓練済みニューラルネットワークを用いて、入力画像の１つまたは複数の領域をラベル付けし、ラベル付き画像を提供することができる。実施形態によっては、訓練済みニューラルネットワークはパノラマ画像訓練済みニューラルネットワークであることができる。実施形態によっては、コンピュータ実施方法はパノラマ画像を受け取り、１つまたは複数のパノラマ訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することができる。
代替的に、実施形態によっては、コンピュータ実施方法は２Ｄ深度マップを受け取り、１つまたは複数の２Ｄ深度マップ訓練済みニューラルネットワークを用いて、２Ｄ深度マップの１つまたは複数の領域をラベル付けし、ラベル付き２Ｄ深度マップを提供することができる。
実施形態によっては、訓練済みニューラルネットワークは１つまたは複数の画像を受け取り、画像内のデジタル歯牙ごとのデジタル歯牙バウンディング領域を生成することができる。コンピュータ実施方法は、例えば、実施形態によっては、デジタル歯牙バウンディング領域によって境界された全てのピクセルを固有ラベルでラベル付けすることができる。例えば、実施形態によっては、パノラマ画像訓練済みニューラルネットワークは１つまたは複数のパノラマ画像を受け取り、パノラマ画像内のデジタル歯牙ごとのデジタル歯牙バウンディング領域を自動的に生成することができる。
例えば、実施形態によっては、パノラマ画像訓練済みＹＯＬＯネットワークはパノラマ画像を受け取ることができ、パノラマ画像の少なくとも部分内のデジタル歯牙ごとのデジタル歯牙バウンディング領域を提供することができる。コンピュータ実施方法は、例えば、実施形態によっては、デジタル歯牙バウンディング領域によって境界された全てのピクセルを固有ラベルでラベル付けすることができる。パノラマ画像訓練済みＹＯＬＯネットワークによって提供されるデジタル歯牙バウンディング領域は、例えば、デジタル歯牙バウンディングボックスであることができる。例えば、パノラマ画像訓練済みＹＯＬＯネットワークは、図１４に例示されるパノラマ画像を受け取り、デジタルバウンディング領域１４０２などの、１つまたは複数のデジタルバウンディング領域を含むことができる図１６（ａ）に例示されるとおりのラベル付きパノラマ画像を出力することができる。コンピュータ実施方法は、例えば、実施形態によっては、デジタル歯牙バウンディング領域によって境界された全てのピクセルを固有ラベルでラベル付けし、ピクセルごとのラベル付けを提供することができる。これは、ニューラルネットワークセグメント化、または大まかなセグメント化とも称され得る。
実施形態によっては、Ｕ－ＮｅｔニューラルネットワークまたはＰＡＮニューラルネットワークなどのパノラマ画像訓練済みセマンティックセグメンテーションネットワークはパノラマ画像を受け取ることができ、パノラマ画像の少なくとも部分内のデジタル歯牙ごとのデジタル歯牙バウンディング領域を提供することができる。例えば、Ｕ－ＮｅｔまたはＰＡＮなどのパノラマ画像訓練済みセマンティックセグメンテーションネットワークは、図１４に例示されるパノラマ画像を受け取り、デジタル歯牙バウンディング領域１４０４などの図１６（ｂ）に例示されるとおりのラベル付きパノラマ画像を出力することができる。コンピュータ実施方法は、例えば、実施形態によっては、デジタル歯牙バウンディング領域によって境界された全てのピクセルを固有ラベルでラベル付けし、ピクセルごとのラベル付けを提供することができる。これは、ニューラルネットワークセグメント化、または大まかなセグメント化とも称され得る。
実施形態によっては、２Ｄ深度マップ訓練済みニューラルネットワーク（例えば、ＣＮＮ、ＹＯＬＯ、セマンティックセグメンテーション、または任意の他の種類のニューラルネットワーク）は２Ｄ深度マップ画像を受け取ることができ、パノラマ画像訓練済みニューラルネットワークに関して説明されたようにパノラマ画像の少なくとも部分内のデジタル歯牙ごとのデジタル歯牙バウンディング領域を提供することができる。コンピュータ実施方法は、例えば、実施形態によっては、デジタル歯牙バウンディング領域によって境界された全てのピクセルを固有ラベルでラベル付けすることができる。
実施形態によっては、ラベルを有する２Ｄラベルマップは２Ｄ深度マップと同じ寸法のものであることができる。
実施形態によっては、コンピュータ実施方法は、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面ポリゴンラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することを含むことができる。実施形態によっては、コンピュータ実施方法は仮想光線を２Ｄラベルマップの各ピクセルに通し、光線が通り抜けたデジタル表面ポリゴンにピクセルラベルと同じラベルをラベル付けすることができる。実施形態によっては、コンピュータ実施方法は仮想光線をあらゆるデジタル表面ポリゴンに通し、それが通過するピクセルのラベルに基づいて各デジタル表面ポリゴンをラベル付けすることができる。実施形態によっては、コンピュータ実施方法は２Ｄ画像からの全てのラベル付き領域を、任意の不確実領域を含む、３Ｄデジタルモデルメッシュに投影することができる。実施形態によっては、コンピュータ実施方法は１つまたは複数のラベルなしデジタル表面ポリゴンを、最も近いデジタル表面ポリゴンと同じラベルでラベル付けすることができる。実施形態によっては、デジタル表面ポリゴンは、例えば、デジタル表面三角形であることができる。
実施形態によっては、このマッピングは、例えば、ラベル付きパノラマ画像デジタル歯牙境界領域を３Ｄデジタルモデル上に投影することを含むことができる。実施形態によっては、コンピュータ実施方法はデジタル歯牙バウンディングボックスを角柱として投影することができる。パノラマ画像は、光線を用いて３Ｄデジタルモデルから生成されたため、コンピュータ実施方法は同じ光線を用いてデジタル歯牙バウンディングボックスを３Ｄデジタルモデルに逆にマッピングすることができる。実施形態によっては、コンピュータ実施方法は各デジタル歯牙バウンディングボックスの４つの隅部を決定することができる。隅部ごとに、コンピュータ実施方法は、実施形態によっては、隅部を通過する光線を決定することができる。実施形態によっては、コンピュータ実施方法は、実施形態によっては、平面内の光線の各セットをそれらの対応する深度点に接続することができる。実施形態によっては、コンピュータ実施方法は、構築された角柱内にあるあらゆるデジタル表面を、例えば、単一の歯に属するものとして粗くラベル付けされるようラベル付けすることができる。実施形態によっては、コンピュータ実施方法は、構築された角柱内にあるあらゆるデジタル表面ポリゴン（実施形態によっては、デジタル表面三角形であることができる）を同じラベルでラベル付けすることができる。実施形態によっては、コンピュータ実施方法は、各構築された角柱を異なるラベルでラベル付けすることができる。実施形態によっては、コンピュータ実施方法は、ボックス内のあらゆる光線と交差するデジタル表面を個々にラベル付けすることができる。
図１７はマッピングのいくつかの実施形態における一例を示す。図に例示されるように、マッピングは、例えば、例として、デジタル歯牙バウンディングボックス１５０２などのラベル付きパノラマ画像デジタル歯牙境界領域を、例えば、３Ｄデジタルモデル１５００などの、３Ｄデジタルモデル上に投影することを含むことができる。コンピュータ実施方法はデジタル歯牙バウンディングボックス１５０２の第１のデジタル歯牙バウンディングボックス隅部１５０４を決定することができる。コンピュータ実施方法は、第１の光線１５０６を、第１のデジタル歯牙バウンディングボックス隅部１５０４へ延び、および／またはそれを通って延びる光線として決定することができる。同様に、コンピュータ実施方法は第２のデジタル歯牙バウンディングボックス隅部１５０８を決定することができる。コンピュータ実施方法は、第２の光線１５１０を、第２のデジタル歯牙バウンディングボックス隅部１５０８へ延び、および／またはそれを通って延びる光線として決定することができる。構成により、第１の光線１５０６および第２の光線１５１０は、パノラマ画像の生成に関する本開示のセクションにおいて説明されるように、同じ平面内にある。パノラマ画像内において、例えば、第１の光線１５０６および第２の光線１５１０は同じ列内にある。したがって、第１の光線１５０６および第２の光線１５１０は深度点１５１２において会する。コンピュータ実施方法は、対応する第３の光線１５１６を伴う第３のデジタル歯牙バウンディングボックス隅部１５１３、および対応する第４の光線１５２０を伴う第４のデジタル歯牙バウンディングボックス隅部１５１８を同様に決定することができる。第３の光線１５１６および第４の光線１５２０は構成により同じ平面内にあり、したがって、それらの独自の対応する深度点において会する。実施形態によっては、コンピュータ実施方法は、角柱内にあるあらゆるデジタル表面点を、例えば、同じラベルでラベル付けすることができる。実施形態によっては、コンピュータ実施方法はデジタル歯牙バウンディングボックス内のあらゆる光線を個々にラベル付けすることができる。実施形態によっては、コンピュータ実施方法は、ボックスの内側部分を経由する光線をラベル付けすることができる。
実施形態によっては、コンピュータ実施方法は１つまたは複数の不確実領域を決定することができる。不確実領域は、ニューラルネットワークが、１つまたは複数の領域をラベル付けするために十分な情報を提供しない場合、またはニューラルネットワークが、信頼できない情報を生成する場合に生じ得る。これは、例えば、デジタル歯牙バウンディング領域の辺において発生し得る。実施形態によっては、コンピュータ実施方法は、パノラマ画像または２Ｄ深度マップのために、例えば、デジタル歯牙バウンディング領域内の表面点の任意の境界からユーザ設定可能な不確実領域バッファ距離内にある全てのデジタル表面点を１つまたは複数の不確実領域の部分として決定することができる。ＹＯＬＯネットワークの場合には、例えば、デジタル歯牙バウンディング領域はデジタル歯牙バウンディングボックスであることができる。距離は、実施形態によっては、デジタル表面に沿ったものである。実施形態によっては、不確実領域バッファ距離は、例えば、６ｍｍであることができる。他の好適な距離を用いることもでき、不確実領域バッファ距離は、例えば、記憶され、構成ファイルからロードされるか、または例えば、実施形態によっては、ユーザが入力デバイスを用いることによって、グラフィカルユーザインターフェース（Graphical User Interface）（「ＧＵＩ」）に入力され得る、ユーザ設定可能な値であることができる。
不確実領域は、例えば、ニューラルネットワークに与えられた画像上で視認可能でない全てのデジタル表面ポリゴン（例えば、デジタル表面三角形）のために生じ得る。上述されたように、コンピュータ実施方法は、実施形態によっては、不確実領域を説明することができる。例えば、実施形態によっては、コンピュータ実施方法は不確実領域をラベルなしのまま残すか、またはそれらを不確実領域であるとラベル付けすることができる。図１８（ａ）は、コンピュータ実施方法が不確実領域を識別する様子の一例を示す。図において、訓練済みニューラルネットワークはデジタル歯牙境界領域１６０２などのデジタル歯牙境界領域を決定することができる。コンピュータ実施方法は、例えば、ポリゴンが全て視認可能である、確実領域１６０４などの、デジタル歯牙境界領域１６０２内の確実領域をラベル付けすることができる。コンピュータ実施方法は、距離１６０５に基づく不確実領域１６０６および距離１６０３に基づく不確実領域１６０７などの、不確実領域を決定し、例えば、不確実領域をラベルなしとして残すか、またはそれを不確実としてラベル付けすることによって、領域を不確実として指示することができる。１６（ｂ）は、２Ｄ画像をラベル付き３Ｄデジタルモデルにマッピングする様子を示す。ラベル付き３Ｄデジタルモデルにおいて、コンピュータ実施方法は、第１のラベル付きデジタル表面領域１６１４、ラベルなし（もしくは不確実としてラベル付けされた）領域１６１６、および第２のラベル付きデジタル表面領域１６１８を決定することができる。例えば、第３のラベル付きデジタル表面領域１６２０等などの、追加のラベル付き領域が存在することもできる。不確実領域は、実施形態によっては、セグメンテーションの間にラベル付き領域に変換することができる。例えば、コンピュータ実施方法は、実施形態によっては、幾何学的セグメンテーションの間に不確実領域をラベル付けすることができる。
実施形態によっては、コンピュータ実施方法はラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することができる。実施形態によっては、コンピュータ実施方法は、ニューラルネットワークがパノラマ画像／２Ｄ深度マップからラベル付きパノラマ画像／２Ｄラベルマップを生成した後に、３Ｄデジタルモデルをセグメント化することができる。実施形態によっては、コンピュータ実施方法は、当該技術分野において既知の任意の種類のセグメンテーション技法を用いてラベル付き３Ｄデジタルモデルからセグメント化３Ｄデジタルモデルを生成することができる。実施形態によっては、コンピュータ実施方法は、例えば、曲率ベースのセグメンテーションを遂行することができる。
実施形態によっては、コンピュータ実施方法はモルフォロジー収縮操作を１つまたは複数のラベル付き領域に適用することができる。１つまたは複数のラベル付き領域は、実施形態によっては、ラベル付き歯肉領域を含むことができる。実施形態によっては、コンピュータ実施方法はモルフォロジー収縮操作を２Ｄラベルマップまたはラベル付き３Ｄデジタルモデルのどちらかに対して遂行することができる。実施形態によっては、コンピュータ実施方法は以下のようにモルフォロジー収縮操作を２Ｄラベルマップに対して遂行することができる：２Ｄラベルマップのピクセルのために、ユーザ設定可能な半径（例えば、５ピクセル）内の１つまたは複数の近くのピクセルを評価し、１つまたは複数の近くのピクセルが同じラベルを有しない場合には、このとき、コンピュータ実施方法は特定のピクセルおよびその周囲のピクセルをラベルなしとして指定することができる。実施形態によっては、コンピュータ実施方法はこのプロセスを２Ｄラベルマップの１つまたは複数のピクセルのために繰り返すことができる。実施形態によっては、コンピュータ実施方法は以下のようにモルフォロジー収縮操作をラベル付き３Ｄデジタルモデルに対して遂行することができる：ラベル付き３Ｄデジタルモデルの特定のポリゴン（例えば、デジタル三角形など）のために、特定のポリゴン（例えば、デジタル三角形）のユーザ設定可能な半径（例えば、５ｍｍ）内の１つまたは複数の近くのポリゴン（例えば、デジタル三角形など）を評価し、１つまたは複数の近くのポリゴンが同じラベルを有しない場合には、このとき、コンピュータ実施方法は特定のポリゴンおよびその周囲のポリゴンをラベルなしとして指定することができる。実施形態によっては、コンピュータ実施方法はこのプロセスをラベル付き３Ｄデジタルモデルの１つまたは複数のポリゴンのために繰り返すことができる。実施形態によっては、コンピュータ実施方法はモルフォロジー収縮操作を、歯肉領域を含む、あらゆるラベル付き領域に適用することができる。
実施形態によっては、１つまたは複数のラベルなしデジタル表面ポリゴンが残り得る。１つまたは複数のラベルなしデジタル表面ポリゴンは、デジタル表面ポリゴンの総数がピクセルの数よりも多い場合に生じ得る。１つまたは複数のラベルなしデジタル表面ポリゴンは、ラベルを決定することができなかった１つまたは複数の塞がれたデジタル表面ポリゴンによって生じ得る。１つまたは複数のラベルなしデジタル表面ポリゴンはモルフォロジー収縮によって生じ得る。
曲率ベースのセグメンテーション
実施形態によっては、曲率ベースのセグメンテーションはデジタルモデル内のデジタル表面領域の曲率決定を含むことができる。実施形態によっては、コンピュータ実施方法はデジタルモデルを受け取り、デジタル表面領域の曲率を決定することができる。コンピュータ実施方法は任意の技法を用いてデジタル表面領域の曲率を決定することができる。実施形態によっては、曲率決定はコンピュータ実施方法によって自動的に遂行され得る。
実施形態によっては、デジタル表面領域は三角形を含む。三角形の曲率は、三角形の辺の曲率の平均、または三角形の頂点の曲率の平均を取ることによって決定することができる。
実施形態によっては、コンピュータ実施方法は、その辺の曲率の平均を取ることによって三角形の曲率を決定することができる。図１９は、２つの三角形１７８８および１７９０を接続する辺１７８６における曲率を決定する一例を示す。実施形態によっては、コンピュータ実施方法は、図示のように、デジタル表面メッシュ内の特定の三角形１７９０とその隣接した近傍の三角形１７８８との間の辺１７８６において形成された二面角１７９２に基づいて辺１７８６における曲率を決定することができる。二面角１７９２は、２つの隣接した三角形１７９０および１７８８によって形成された辺１７８６と垂直である第３の平面１７９４内で２つの隣接した三角形１７８８および１７９０の間に形成された角度としてコンピュータ実施方法によって決定され得る。例えば、実施形態によっては、コンピュータ実施方法はｓｉｎ（φ）を取ることができる。ここで、φは２つの隣接した三角形１７９０および１７８８の間の二面角１７９２である。コンピュータ実施方法はこの曲率関数を全ての三角形の辺において繰り返すことができる。
代替的に、実施形態によっては、コンピュータ実施方法は、三角形の頂点の曲率の平均を取ることによって三角形の曲率を決定することができる。例えば、実施形態によっては、コンピュータ実施方法は、任意選択的に、探索空間を減少させるために接続情報を用いて、Ｐの周りの頂点の近傍（サイズＮ）を選択することによって各頂点Ｐにおける曲率を決定することができる。コンピュータ実施方法は二次曲面パッチＦ（ｘ，ｙ，ｚ）＝０を点の近傍上に適合させることができる。コンピュータ実施方法はパッチ上へのＰの投影Ｐ０を決定することができ、これにより、Ｆ（Ｐ０）＝０である。コンピュータ実施方法はＰ０におけるＦの曲率特性を決定し、曲率特性をＰにあてがうことができる。
実施形態によっては、各データ（ｘ，ｙ，ｚ）がＦの表面上に完璧に位置することにならないため、コンピュータ実施方法は、例えば、二次形式ａｘ２＋ｂｙ２＋ｃｚ２＋２ｅｘｙ＋２ｆｙｚ＋２ｇｚｘ＋２ｌｘ＋２ｍｙ＋２ｎｚ＋ｄ＝０を用いることができる。コンピュータ実施方法は、形式Ａ＝ＤＴＤの１０ｘ１０実対称固有値問題から、パッチ表面（ａ，ｂ，ｃ，ｅ，ｆ，ｇ，ｌ，ｍ，ｎ，ｄ）の係数を決定することができる。ここで、ＤｉはＮ ｘ１０計画行列であり、その各行は
Figure 2023512083000008
 によって構築される。ここで、ｉ＝１，…，Ｎである。行列は１０個の実固有値および１０個の対応する固有ベクトルを有することができる。最も小さい固有値λ１に対応する固有ベクトルの係数が、Ｐの周りで点群を局所的に最も良好に近似する二次曲面の係数ａ、ｂ、ｃ、ｅ、ｆ、ｇ、ｌ、ｍ、ｎ、ｄである。コンピュータ実施方法は、Ｆ（ｘ，ｙ，ｚ）＝ａｘ２＋ｂｙ２＋ｃｚ２＋ｅｘｙ＋ｆｙｚ＋ｇｘｚ＋ｌｘ＋ｍｙ＋ｎｚ＋ｄ＝０、Ｒ３における陰関数二次曲面とし、これにより、１階偏導関数がＦｘ＝２ａｘ＋ｅｙ＋ｇｚ＋ｌ、Ｆｙ＝２ｂｙ＋ｅｘ＋ｆｚ＋ｍ、およびＦｚ＝２ｃｚ＋ｆｙ＋ｇｘ＋ｎになるようにすることによって、ａ、ｂ、ｃ、ｅ、ｆ、ｇ、ｌ、ｍ、ｎを用いて値Ｅ、Ｆ、Ｇ、Ｌ、Ｍ、Ｎを決定する。係数Ｅ、Ｆ、Ｇは、
Figure 2023512083000009
 、
Figure 2023512083000010
 、および
Figure 2023512083000011
 として決定される。２階偏導関数が、Ｆｘｘ＝２ａ、Ｆｙｙ＝２ｂ、Ｆｚｚ＝２ｃ、Ｆｘｙ＝Ｆｙｘ＝ｅ、Ｆｙｚ＝Ｆｚｙ＝ｆ、およびＦｘｚ＝Ｆｚｘ＝ｇであり、勾配の大きさが
Figure 2023512083000012
 であるため、このとき、第二基本形式の係数Ｌ、Ｍ、Ｎは次式となる：
Figure 2023512083000013
次に、コンピュータ実施方法はＥ、Ｆ、Ｇ、Ｌ、Ｍ、Ｎから行列ＡおよびＢを：
Figure 2023512083000014
 および
Figure 2023512083000015
 として決定し、主曲率ｋ１およびｋ２を行列Ｂ－１＊Ａの固有値として決定する。
コンピュータ実施方法は、選択されたスカラ関数を主曲率ｋ１およびｋ２に適用し、選択された曲率関数（selected curvature function）（「ＳＣＦ」）を決定することができる。例えば、主曲率ｋ１およびｋ２のために、コンピュータ実施方法は、ガウス曲率（Ｋ）をＫ＝ｋ１ｋ２として、または平均曲率（Ｈ）をＨ＝１／２（ｋ１＋ｋ２）として決定することができる。
曲率を決定するどちらの方法の半径も、評価対象の頂点の近傍における、平均して、６０個を含むそれ以下のデジタル頂点であることができ、ユーザ選択可能な値であることができる。より少数の点およびより小さい半径の選択はより高速な計算をもたらすことができ、その一方で、より多数の点およびより大きい半径を選択することはより精密な曲率の推定を与えることができる。コンピュータ実施方法は、例えば、デジタル表面メッシュの全ての頂点のために繰り返され得る。
実施形態によっては、コンピュータ実施方法はデジタル歯科印象表面全体を１つまたは複数のデジタルセグメントにセグメント化することができる。実施形態によっては、コンピュータ実施方法は曲率ベースのセグメンテーションを用いてデジタル歯科印象表面を３次元（３Ｄ）でセグメント化することができる。これは、例えば、ウォーターシェッドセグメンテーションを含むことができる。セグメンテーションは、実施形態によっては、コンピュータ実施方法によって自動的に遂行され得る。
実施形態によっては、デジタル歯科印象表面は、辺および頂点において接続し、デジタル表面メッシュを形成する１つまたは複数の三角形を含むことができる。実施形態によっては、コンピュータ実施方法はデジタル表面メッシュ内のあらゆる三角形の曲率を決定する。コンピュータ実施方法は、上述されたように、特定の三角形の頂点の平均曲率、または特定の三角形の辺の平均曲率のいずれかを決定することによって、各特定の三角形の曲率を決定することができる。
一実施形態では、コンピュータ実施方法は、本開示において上述されたように、特定の三角形の辺の各々における曲率を決定し、辺の曲率の平均を算出することによって、特定の三角形の曲率を決定することができる。図２０（ａ）は、特定の三角形２４０２が第１の辺２４０５、第２の辺２４０７、および２４０９における第３の辺を含む、辺の曲率の平均を決定するいくつかの実施形態における一例を示す。コンピュータ実施方法は、特定の三角形２４０２と、隣接した三角形２４０８との間の二面角に基づいて第１の辺２４０５における曲率を決定することができる。コンピュータ実施方法は、特定の三角形２４０２と、隣接した三角形２４０６との間の本開示において説明されたとおりの二面角に基づいて第２の辺２４０７における曲率を決定することができる。コンピュータ実施方法は、特定の三角形２４０２と、隣接した三角形２４０４との間の二面角に基づいて第３の辺２４０９における曲率を決定することができる。次に、コンピュータ実施方法は第１の辺２４０５、第２の辺２４０７、および２４０９における第３の辺の曲率の平均を決定し、特定の三角形２４０２の曲率を決定することができる。コンピュータ実施方法は、実施形態によっては、例えば、特定の三角形２４０２の曲率をルックアップ表内に記憶することができる。コンピュータ実施方法はデジタル表面メッシュ内のあらゆる三角形を用いてこのプロセスを繰り返し、デジタル表面メッシュ内の各三角形における曲率を決定することができる。
実施形態によっては、コンピュータ実施方法はユーザ選択可能な正または負の符号を各三角形の曲率にあてがうことができる。例えば、曲率が最も凸状の辺に設定される場合には、このとき、任意の凹状領域は負の符号をあてがわれ、任意の凸状領域は正の符号をあてがわれる。曲率が最も凹状の辺に設定される場合には、このとき、任意の凸状領域は負の符号をあてがわれ、任意の凹状領域は正の符号をあてがわれる。凹状／凸状はデジタル表面の法線に対して定義することができる。デジタル表面の外側に向いた表面法線については、コンピュータ実施方法は、例えば、正の値を凸状の辺に、および負の値を凹状の辺にあてがうことができる。デジタル表面の内側に向いた法線については、コンピュータ実施方法は、例えば、正の値を凸状の辺に、および負の値を凹状の辺にあてがうことができる。実施形態によっては、セグメント境界は、デジタル表面に沿った最大曲率に対応する。
各特定の三角形の曲率を決定した後に、コンピュータ実施方法は３Ｄ曲率ベースのセグメンテーションに基づいて三角形をセグメント化することができる。実施形態によっては、ウォーターシェッドセグメンテーションが用いられる。例えば、実施形態によっては、コンピュータ実施方法は三角形ごとの曲率を決定する。各三角形の曲率は、実施形態によっては、ルックアップ表内に記憶され得る。コンピュータ実施方法は、評価対象の特定の三角形として、最小曲率を有する三角形から開始することができる。コンピュータ実施方法は、例えば、ルックアップ表から、評価対象の特定の三角形の近傍における三角形の曲率を探索することができる。実施形態によっては、コンピュータ実施方法はルックアップ表から近傍の三角形の曲率を決定することができる。評価対象の特定の三角形よりも大きい曲率を有する任意の近傍の三角形は、評価対象の特定の三角形が属するセグメントに追加することができる。特定の三角形の曲率よりも小さい曲率を有する任意の近傍の三角形は特定の三角形のセグメントに追加されない。次に、コンピュータ実施方法は近傍の三角形を評価対象の次の特定の三角形として選択し、プロセスをあらゆる三角形のために繰り返す。実施形態によっては、セグメントが、あるラベルに帰属させられる十分に大きい数（例えば、過半数または任意の他のユーザ設定可能な値）の三角形を包含する場合には、このとき、コンピュータ実施方法はセグメントをそのラベルに指定することができる。
図２０（ａ）は三角形のウォーターシェッドセグメンテーションのいくつかの実施形態における一例を示す。本明細書において説明されたように、コンピュータ実施方法はデジタル表面メッシュ内の三角形のうちの全ての曲率を決定する。一実施形態では、コンピュータ実施方法は三角形の曲率をルックアップ表内に記憶する。コンピュータ実施方法は、最小曲率を有する三角形、例えば、特定の三角形２４０２を識別する。実施形態によっては、コンピュータ実施方法は、ルックアップ表を用いて最小曲率を有する三角形を決定することができる。コンピュータ実施方法は近傍の三角形２４０４、２４０８、および２４０６の曲率を決定する。実施形態によっては、コンピュータ実施方法はルックアップ表から近傍の三角形の曲率を決定することができる。本例では、近傍の三角形２４０６が三角形２４０２の曲率と比べてより大きい曲率を有する場合には、このとき、近傍の三角形２４０６は、特定の三角形２４０２と同じウォーターシェッドの部分と考えることができる。コンピュータ実施方法は、図２０（ａ）に例示されるように、デジタル表面三角形２４０２を三角形２４０６と組み合わせ、セグメント２４１１などの単一のセグメントにする。
次に、コンピュータ実施方法は、例えば、近傍の三角形２４０４の曲率を特定の三角形２４０２の曲率と比較することができる。例えば、近傍の三角形２４０８の曲率が最小曲率（すなわち、２４０２の曲率）よりも大きい場合には、このとき、三角形２４０８は、三角形２４０２を包含するセグメント２４１１と合併される。図２０（ｂ）に例示されるように、三角形２４０８を合併した後にセグメント２４１２が形成される。
近傍の三角形が、問題の特定の三角形２４０２よりも低い曲率を有する場合には、このとき、近傍の三角形はコンピュータ実施方法によって、特定の三角形２４０２を包含するセグメントと合併されない。例えば、近傍の三角形２４０４が、三角形２４０２よりも低い曲率を有する場合には、このとき、２４０４は、特定の三角形２４０２が属するセグメント２４１２と合併されない。
第１の特定の三角形を処理した後に、コンピュータ実施方法は、第１の特定の三角形の近傍の三角形であることができる新たな特定の三角形に移る。コンピュータ実施方法は、評価対象の新たな特定の三角形を用いてセグメンテーションを決定することを繰り返し、デジタル表面全体をセグメント化することができる。図２０（ｃ）は、例えば、セグメント２４１６を含むセグメント化デジタル表面メッシュ２４１４の一例を示す。
三角形のセグメンテーションを遂行した後に、デジタル表面メッシュは、図２１に例示されるように、多数のセグメントを包含することができる。実施形態によっては、セグメントの数は、任意選択的に、２つ以上のセグメントを互いに合併することによってコンピュータ実施方法によって低減され得る。実施形態によっては、コンピュータ実施方法は小さいセグメントを、それらの平均曲率、平均サイズ、面積、周長、周長対面積比、および／または他の幾何学的因子などの幾何学的属性に基づいて、より大きいものに合併することができる。実施形態によっては、コンピュータ実施方法は、不確実領域を除いて、別個のラベルに帰属させられた２つのセグメントを合併しない。実施形態によっては、コンピュータ実施方法は、各合併の後に、合併されたセグメントをその部分のうちの１つと同じラベルに帰属させることができる。実施形態によっては、コンピュータ実施方法は、合併前のセグメントが両方とも不確実領域であった場合にのみ、合併されたセグメントを不確実領域としてラベル付けすることができる。合併は、実施形態によっては、コンピュータ実施方法によって自動的に遂行され得る。
実施形態によっては、コンピュータ実施方法はあらゆる２つの近傍のセグメントのために合併優先順位を決定する。コンピュータ実施方法は２つの近傍のセグメントの合併優先順位をそれらの属性に基づいて決定することができる。２つのセグメントがそれらの属性に基づいて合併することができる場合には、このとき、実施形態によっては、コンピュータ実施方法は幾何学的因子に基づいて優先順位を決定する。例えば、コンピュータ実施方法は、１）各セグメントの内部、およびそれらの共通境界上の平均曲率（境界上とセグメントの内部との曲率の差が小さいセグメントの方が早く合併する）、ならびに２）２つのセグメントの、共通境界の長さと最小周長との比（より大きい比を有するセグメントの方が早く合併する）に基づいて優先順位を決定することができる。
実施形態によっては、コンピュータ実施方法は優先順位を優先順位キュー内に記憶することができる。コンピュータ実施方法は、キューから最も高い優先順位を抽出し、対応する２つのセグメントを合併し、キュー内における新たに形成されたセグメントとそれらの隣接者との間の優先順位を更新することができる。コンピュータ実施方法は、２つのセグメントをそれ以上合併することができなくなるまで、このプロセスを繰り返すことができる。
実施形態によっては、例えば、不確実領域に帰属させられたセグメントが存在しなくなるまで、より小さいセグメントを合併することができる。
実施形態によっては、コンピュータ実施方法は、ラベル付き３Ｄデジタルモデルに対して曲率ベースのセグメンテーションを遂行した後に、ラベル付き３Ｄデジタルモデルからセグメント化３Ｄデジタルモデルを提供することができる。
２点セグメンテーション
実施形態によっては、コンピュータ実施方法は２点セグメンテーションを遂行することができる。例えば、実施形態によっては、コンピュータ実施方法はラベル付き３Ｄデジタルモデルを受け取り、２点セグメンテーションを遂行し、セグメント化３Ｄデジタルモデルを提供することができる。実施形態によっては、ラベル付き３Ｄデジタルモデルは、上述されたとおりの１つまたは複数のニューラルネットワークによって遂行されたラベル付けの結果である。ラベル付き３Ｄデジタルモデル上のラベルは局部的な歯の領域を規定することができる。これらは、ラベル付き３Ｄデジタルモデル内の各デジタル歯牙の大まかな境界を提供するのを助けることができる。いくつかの実施形態における２点セグメンテーションの１つまたは複数の例を、NikolskiyらのSEMI-AUTOMATIC TOOTH SEGMENTATION、米国特許出願公開第１６／７７８，４０６号明細書において見出すことができる。同出願の全体は参照により本明細書に組み込まれる。
実施形態によっては、コンピュータ実施方法は、患者の歯列のラベル付き３Ｄデジタルモデルを受け取り、１つまたは複数のラベル付き領域の中心点を決定し、１つまたは複数のラベル付き領域の中心点を接続するための最良適合放物線を構築し、平面が中心点を包含し、中心点において最良適合放物線と直交するよう、各中心点における平面を構築し、平面ごとに、平面がセグメント境界と交差する舌側の点および頬側の点を決定し、舌側の点および頬側の点を接続するための平面の両側の第１および第２の経路を構築することができる。実施形態によっては、コンピュータ実施方法は、各中心点における平面を構築する代わりに、（例えば、図１２（ａ）からのサンプル平面１００８などの）各中心点に対応するサンプル平面を利用または再利用することができる。
図２０（ａ）～図２０（ｇ）は２点セグメンテーションの一例を示す。図２２（ａ）に例示されるように、コンピュータ実施方法は、例えば、１つまたは複数のラベル付き領域２００２を包含するラベル付き３Ｄデジタルモデル２０００を受け取ることができる。コンピュータ実施方法は、咬合方向２０１２から見たときの、ラベル付き領域２００２などの、ラベル付き領域ごとの中心点２００４などの中心点を決定することができる。これは、図２２（ｂ）に例示されるとおりの中心点を提供することができる。コンピュータ実施方法は、例えば、放物線などの、最良適合解析曲線などの最良適合の滑らかな曲線によって１つまたは複数の中心点を連結することができる。図２２（ｃ）に例示されるように、コンピュータ実施方法は、咬合方向２０１２から見たときの１つまたは複数のラベル付き領域の中心点を接続する放物線２０１０などの最良適合放物線を構築することができる。最良適合放物線を決定するために、コンピュータ実施方法は最小二乗平面を決定する。例えば、中心点の場合には、コンピュータ実施方法は中心点を平面上に投影する。例えば、図２２（ｄ）に例示されるように、中心点８５０２（図において黒点として示されている）が最小二乗平面内に配列されている。コンピュータ実施方法は平面内の第１の方向における第１のｘ軸８５０４を生成し、平面内のｘ軸に対して９０度の第１のｙ軸８５０６を決定する。コンピュータ実施方法は、当該技術分野において既知の二次最小二乗回帰を用いて式ｙ＝ａｘ２＋ｂｘ＋ｃにおける係数ａ、ｂ、およびｃを決定する。例えば、放物線８５０８は、係数ａ、ｂ、およびｃを決定した後にコンピュータ実施方法によって決定され得る。次に、コンピュータ実施方法は、例えば、放物線８５０８と中心点８５０２とのずれを決定する。コンピュータ実施方法はユーザ選択可能な数のｘ軸方向のためにステップを繰り返す。例えば、コンピュータ実施方法は、対応するｙ軸８５１２を伴う新たなｘ軸８５１０へのｘ軸の回転によってｘ軸８５０４を回転させ、放物線８５１４を決定することができる。実施形態によっては、ｘ軸方向の数は、ユーザ選択可能な、および／または既定の値であることができる。実施形態によっては、ｘ軸方向の数は、例えば、１００であることができる。コンピュータ実施方法は、非常に鋭い放物線を回避するために、例えば、ａが１５０メートル－１以下である最小のずれを有する放物線を選択することができる。実施形態によっては、コンピュータ実施方法は、任意選択的に、任意の値であることができる、ユーザ選択可能な、および／または既定の最大中心点距離よりも遠くに位置する中心点を除外する。実施形態によっては、最大中心点距離は、例えば、５ｍｍであることができる。図２２（ｃ）に例示されるように、コンピュータ実施方法は最良適合放物線２０１０によって中心点を連結することができる。
図２２（ｅ）に例示されるように、コンピュータ実施方法は、中心点２００４などの各中心点における分離領域２０２０などの平面を、分離領域２０２０が中心点２００４を包含し、中心点２００４において最良適合放物線２０１０と直交するよう構築することができる。実施形態によっては、コンピュータ実施方法は、平面を構築する代わりに、例えば、図１２（ａ）からのサンプル平面１００８などの各中心点に対応するサンプル平面を利用または再利用することができる。
図２２（ｆ）に例示されるように、例えば、コンピュータ実施方法は、平面２０３０などの平面ごとに、平面２０３０が第１のセグメント経路２０３６および第２のセグメント経路２０７２と交差する舌側の点２０３２および頬側の点２０３４を決定することができる。図２２（ｇ）は、放物線２０５９が通り抜ける中心点２０５１を有するデジタル歯牙２０５０を示す。コンピュータ実施方法は、舌側の点２０５２および頬側の点２０６２を接続するための、分離領域２０５７の第１の側の第１の経路２０５３および分離領域２０５７の第２の側の第２の経路２０５６を構築している。
実施形態によっては、第１のセグメント経路２０５３および第２のセグメント経路２０５６は、例えば、顔側の点２０６２または舌側の点２０５２のどちらかを初期デジタル表面点として用い、当該技術分野において既知のダイクストラの最短経路アルゴリズムを用いて決定することができる。実施形態によっては、コンピュータ実施方法は、例えば、分離領域２０５７の第１の側２０５４のデジタル表面点の間の辺のみを評価することによって最短経路アルゴリズムを用いて第１のセグメント経路２０５３を決定することができる。実施形態によっては、コンピュータ実施方法は、例えば、デジタル表面点として第２の側２０５８のデジタル表面点の間の辺のみを評価することによって最短経路アルゴリズムを用いて第２のセグメント経路２０５６を決定することができる。実施形態によっては、コンピュータ実施方法は、例えば、以下のことを遂行することができる：
１．初期デジタル表面点を設定する。実施形態によっては、初期デジタル表面点は顔側の点２０６２であることができる。代替的に、実施形態によっては、初期デジタル表面点は舌側の点２０５２であることができる。
２．分離領域２０５７の一方の側の全てのデジタル表面点を未訪問として標識する。全ての未訪問のデジタル表面点の未訪問のセットを生成する。実施形態によっては、一方の側は第１の側２０５４であることができる。代替的に、実施形態によっては、一方の側は第２の側２０５８であることができる。
３．一方の側のあらゆるデジタル表面点に仮の距離値を指定する。初期デジタル表面点のための仮の距離値は０に指定され、一方の側の全ての他のデジタル表面点のための仮の距離値は、例えば、無限大、あるいは可能な限り高い、または全ての辺の長さの合計よりも大きい値に指定される。初期デジタル表面点を現在のデジタル表面点として設定する。
４．現在のデジタル表面点のために、一方の側の全ての未訪問の近傍のデジタル表面点を考慮し、現在のデジタル表面点を通るそれらの算出された仮の距離（例えば、現在のデジタル表面点と特定の未訪問の近傍のデジタル表面点との間の辺長）を決定する。実施形態によっては、算出された仮の距離は、デジタル表面の曲率に基づいて現在のデジタル表面点と特定の未訪問の近傍のデジタル表面点との間の辺長を決定することができる。実施形態によっては、コンピュータ実施方法は、例えば、辺長の決定において角度依存性因子を含むことができる。例えば、実施形態によっては、コンピュータ実施方法は仮の距離を次式として決定することができる：
ｆ（ｅｉ）＝｜ｅｉ｜ｅｘｐ（ｋ・ｓｉｎ αｉ）、またはｆ（ｅｉ）＝｜ｅｉ｜ｅｘｐ（ｋ・αｉ）
ここで、ｆ（ｅｉ）は現在のデジタル表面点と特定の未訪問の近傍のデジタル表面点との間のアルゴリズムのための辺ｅｉの長さであり、｜ｅｉ｜は辺の２つの端部の間の３Ｄのユークリッド距離であり、ｋは、例えば、実施形態によっては、１．８などの、定数である。定数ｋの大きさが大きいほど、より高い曲率の領域を通過する経路を選ぶことをもたらし得る。定数の符号は、凹状または凸状のどちらの辺がアルゴリズムによって選ばれることになるのかを規定することができ、αｉは辺ｅｉにおける三角形表面の二面角であり、ｓｉｎ αｉは、例えば、実施形態によっては、例えば、αｉ自体よりも発見が計算的に速くなり得る、その角度の正弦である。実施形態によっては、αｉおよび／またはｓｉｎ αｉは、例えば、角度依存性因子であることができる。歯牙と歯肉との間の境界は、表面の残部よりも大幅に高い曲率を有することができる。辺長ｆ（ｅｉ）＝｜ｅｉ｜ｅｘｐ（ｋ・ｓｉｎ αｉ）を用いる場合、デジタル歯牙－歯肉線境界領域内の辺の長さは他の領域内よりも大幅に小さい。したがって、コンピュータ実施方法はデジタル歯牙－歯肉線接合部に沿った最短経路を決定することができる。
５．新たに算出された仮の距離を現在の指定された値と比較し、より小さいものを指定する。例えば、現在のデジタル表面点Ａが６の距離で標識されており、それを近傍のデジタル表面点Ｂと接続する辺が長さ２を有する場合には、このとき、Ａを通るＢまでの距離は６＋２＝８になる。Ｂが、８よりも大きい距離で以前に標識されていた場合には、このとき、それを８に変更する。さもなければ、現在の値を維持する。
６．現在のデジタル表面点の未訪問の近傍のもののうちの全てを考慮した後に、現在のデジタル表面点を訪問済みとして標識し、それを未訪問のセットから削除する。訪問済みのデジタル表面点は二度とチェックされない。
７．目的地のデジタル表面点が訪問済みと標識されている場合（２つの特定のデジタル表面点の間のルートを計画するとき）、あるいは未訪問のセット内のデジタル表面点の間の最も小さい仮の距離が、例えば、無限大、または可能な限り高い、もしくは全ての辺長の合計よりも大きい値である場合には（完全なトラバースを計画するとき；初期デジタル表面点と残りの未訪問のデジタル表面点との間の接続が存在しないときに生じる）、このとき、停止する。アルゴリズムは終了した。
さもなければ、最も小さい仮の距離で標識された未訪問のデジタル表面点を選択し、それを新たな「現在のデジタル表面点」として設定し、ステップ４へ戻る。
目的地のデジタル表面点が、全ての「未訪問の」デジタル表面点のうちの最も小さい仮の距離を有すると（およびそれゆえ、次の「現在」として選択され得るであろうとなると）、アルゴリズムは停止することができる。
コンピュータ実施方法は分離領域２０５７の他方の側でステップを繰り返すことができる（これは、同時に、または順次に遂行され得る）。このように、コンピュータ実施方法は、第１の側２０５４に沿った第１のセグメント経路２０５３および第２の側２０５８に沿った第２のセグメント経路２０５６を決定することができる。第１のセグメント経路２０５３および第２のセグメント経路２０５６は、例えば、実施形態によっては、デジタル表面三角形の辺であり得る。
実施形態によっては、第１のセグメント経路２０５３は顔側の三角形の辺２０６６の一方の側および舌側の三角形の辺２０６４の一方の側に接続する。実施形態によっては、第２のセグメント経路４０６は顔側の三角形の辺２０６６の他方の側および舌側の三角形の辺２０６４の他方の側に接続する。接続された第１のセグメント経路２０５３、第２のセグメント経路２０５６、顔側の三角形の辺２０６６、および舌側の三角形の辺２０６４は、実施形態によっては、合わせて境界ループを形成することができる。境界ループは、実施形態によっては、閉じられ、例えば、包囲された内部ループ領域２０６８を有することができる。
実施形態によっては、コンピュータ実施方法は、第１のセグメント経路および第２のセグメント経路からセグメント化デジタル歯牙を提供することをさらに含むことができる。図２２（ｆ）に例示されるように、コンピュータ実施方法は、第１のセグメント経路２０３６および第２のセグメント経路２０７２からセグメント化デジタル歯牙２０７０を提供することを含むことができる。これは、例えば、例として、第１のセグメント経路２０３６および第２のセグメント経路２０７２によって形成された境界ループ２０７４内のデジタル表面三角形を決定することによって、デジタル歯牙２０７０のデジタル表面を提供することを含むことができる。
図２３（Ａ）は、境界ループ５０２の部分内のデジタル歯牙領域５０４および境界ループ５０２の部分の外部のデジタル非歯牙領域５０６を有する境界ループ５０２の部分を示す一例を示す。デジタル歯牙領域５０４およびデジタル非歯牙領域５０６は、例えば、それぞれ、デジタル表面三角形５０８およびデジタル表面三角形５１４などの、デジタル表面三角形を含むことができる。
実施形態によっては、デジタル歯牙のデジタル表面を決定するコンピュータ実施方法は、元のデジタル表面三角形の双対グラフを生成することを含むことができる。コンピュータ実施方法は、双対グラフの頂点が元のデジタル表面のデジタル表面三角形に対応し、双対グラフの辺が、共有されたデジタル表面三角形の辺が境界ループの部分である所を除いて、共有されたデジタル表面三角形の辺に対応するよう、双対グラフを生成することができる。例えば、図２３（Ｂ）に例示されるように、コンピュータ実施方法はデジタルモデル５００の部分内のデジタル表面三角形５１４のための双対グラフの頂点５１２を生成することができる。コンピュータ実施方法は、例えば、共有されたデジタル表面三角形の辺５１８のための双対グラフの辺５１６を生成することができる。コンピュータ実施方法は、共有されたデジタル表面三角形の辺５２０のための双対グラフの辺を生成しない。なぜなら、辺５２０は境界ループ５０２の部分であるからである。コンピュータ実施方法はこのプロセスをデジタルモデル内のあらゆるデジタル表面三角形のために繰り返すことができる。このように、コンピュータ実施方法は、実施形態によっては、デジタルモデルのデジタル表面のための双対グラフを生成することができる。実施形態によっては、各双対グラフの辺はあらゆる元の表面の辺を横断することができるが、どの双対グラフの辺も境界ループを横断しない。実施形態によっては、双対グラフは、例えば、境界ループによって分離された内部双対グラフ領域および外部双対グラフ領域を含むことができる。内部双対グラフ領域は、境界ループによって包囲された、相互接続された双対グラフ領域であることができ、外部双対グラフ領域は、境界ループの外部における相互接続された双対グラフ領域であることができる。境界ループは、実施形態によっては、内部双対グラフ領域を外部双対グラフ領域から分離することができる。例えば、図２３（Ｂ）に例示されるように、双対グラフは、境界ループ５０２によって分離された内部双対グラフ領域５２２および外部双対グラフ領域５２４を含むことができる。
実施形態によっては、デジタル歯牙表面を決定することは、双対グラフ上の探索を遂行することを含むことができる。コンピュータ実施方法は、例えば、双対グラフの頂点の間の相互接続に基づいてデジタル歯牙表面を決定することができる。実施形態によっては、探索は、例えば、従来知られている幅優先探索であることができる。幅優先探索では、コンピュータ実施方法は、例えば、双対グラフおよび出発点となる頂点の根をロードすることができる。実施形態によっては、出発点となる双対グラフの根の頂点は任意の双対グラフの頂点であることができる。コンピュータ実施方法は、次の深度レベルへ移る前に現在の深度における全ての近傍の双対グラフの頂点を調査し、それらを発見済みとしてラベル付けすることができる。次に、コンピュータ実施方法は次の深度レベルへ進み、例えば、未発見の双対グラフの頂点がそれ以上存在しなくなるまでプロセスを繰り返すことができる。コンピュータ実施方法は、このように、双対グラフの相互接続された頂点を決定し、発見済み双対グラフを決定することができる。幅優先探索技法は、例えば、１つまたは複数のトンネルを有することなくデジタル歯牙に適用することができる。実施形態によっては、コンピュータ実施方法は、従来知られている幅優先探索を以下のように決定することができる：
手順Ｂｒｅａｄｔｈ＿Ｆｉｒｓｔ＿Ｓｅａｒｃｈ（Ｄｕａｌ＿Ｇｒａｐｈ，ｓｔａｒｔ＿ｖｅｒｔ）は以下のとおりである。
Ｑをキューとする
ｓｔａｒｔ＿ｖｅｒｔを発見済みとしてラベル付けする
Ｑ．ｅｎｑｕｅｕｅ（ｓｔａｒｔ＿ｖｅｒｔ）
Ｑが空でない間、以下を行う
ｖ：＝Ｑ．ｄｅｑｕｅｕｅ（）

Ｄｕａｌ＿Ｇｒａｐｈ．ａｄｊａｃｅｎｔＥｄｇｅｓ（ｖ）内のｖからｙまでの全ての辺について、以下を行う
ｙが発見済みとしてラベル付けされていない場合には、このとき、
ｙを発見済みとしてラベル付けする
ｙ．ｐａｒｅｎｔ：＝ｖ
Ｑ．ｅｎｑｕｅｕｅ（ｙ）
実施形態によっては、探索は、例えば、従来知られている深さ優先探索であることができる。深さ優先探索では、コンピュータ実施方法は、例えば、双対グラフおよび出発点となる頂点の根をロードすることができる。実施形態によっては、出発点となる頂点の根は任意の双対グラフの頂点であることができる。実施形態によっては、コンピュータ実施方法は、双対グラフ上の従来知られている深さ優先探索を以下のように遂行することができる：入力は、例えば、グラフＤｕａｌ＿Ｇｒａｐｈ、Ｇ、およびＧの頂点ｖｅｒｔであることができ、出力は、例えば、発見済みとしてラベル付けされたｖｅｒｔから到達可能なあらゆる頂点であることができる。深さ優先探索技法は、例えば、１つまたは複数のトンネルを有することなくデジタル歯牙に適用することができる。実施形態によっては、コンピュータ実施方法は、従来知られている深さ優先探索を以下のように決定することができる：
手順Ｄｅｐｔｈ＿Ｆｉｒｓｔ＿Ｓｅａｒｃｈ（Ｄｕａｌ＿Ｇｒａｐｈ，ｖｅｒｔ）は以下のとおりである。
ｖｅｒｔを発見済みとしてラベル付けする
Ｄｕａｌ＿Ｇｒａｐｈ．ａｄｊａｃｅｎｔＥｄｇｅｓ（ｖｅｒｔ）内の頂点からｙまでの全ての有向辺について、以下を行う
ｖｅｒｔ ｙが発見済みとしてラベル付けされていない場合には、このとき、
Ｄｅｐｔｈ＿Ｆｉｒｓｔ＿Ｓｅａｒｃｈ（Ｄｕａｌ＿Ｇｒａｐｈ，ｙ）を再帰的に呼び出す
実施形態によっては、コンピュータ実施方法は、例えば、双対グラフ上の深さ優先探索を以下のように遂行することができる：
手順Ｄｅｐｔｈ＿Ｆｉｒｓｔ＿Ｓｅａｒｃｈ＿Ｉｔｅｒａｔｉｖｅ（Ｄｕａｌ＿Ｇｒａｐｈ，ｖｅｒｔ）は以下のとおりである。
Ｓをスタックとする
Ｓ．ｐｕｓｈ（ｖｅｒｔ）
Ｓが空でない間、以下を行う
ｖｅｒｔ ＝ Ｓ．ｐｏｐ（）
ｖｅｒｔが発見済みとしてラベル付けされていない場合には、このとき、
ｖｅｒｔを発見済みとしてラベル付けする
Ｄｕａｌ＿ｇｒａｐｈ．ａｄｊａｃｅｎｔＥｄｇｅｓ（ｖｅｒｔ）内のｖｅｒｔからｙまでの全ての辺について、以下を行う
Ｓ．ｐｕｓｈ（ｙ）
実施形態によっては、例えば、発見済み双対グラフが境界ループ内にある場合、および／または出発点となる双対グラフの根の頂点が境界ループ内にあった場合には、このとき、コンピュータ実施方法は、発見済み双対グラフが内部の双対グラフの領域であり、それゆえ、デジタル歯牙に属すると決定するであろう。コンピュータ実施方法は、全ての他の双対グラフの頂点を、外部の双対グラフに属し、したがって、デジタル歯肉および他の周囲のデジタル歯群のものと決定することができる。実施形態によっては、例えば、発見済み双対グラフが境界ループの外部にある場合、および／または出発点となる双対グラフの根の頂点が境界ループの外部にあった場合には、このとき、コンピュータ実施方法は、発見済み双対グラフが外部の双対グラフの領域であり、それゆえ、デジタル歯肉および他の周囲のデジタル歯群に属すると決定することができる。コンピュータ実施方法は、全ての他の双対グラフ頂点は内部の双対グラフの領域に属し、したがって、デジタル歯牙のものであると決定することができる。コンピュータ実施方法は、発見済み双対グラフの頂点に基づいて、例えば、実施形態によっては、デジタル歯牙のデジタル表面、および周囲の歯群および歯肉領域に属するデジタル表面を決定することができる。最終ラベルは、実施形態によっては、例えば、歯１、歯２、歯３等などの歯の番号、および歯肉を含むことができる。実施形態によっては、各歯を他の歯群および歯肉領域と区別することができる。図２４は、デジタルモデル２２００内のデジタル歯牙２２０２および歯肉領域２２０４などのデジタル歯群および歯肉領域の、完全にセグメント化され、ラベル付けされたセットの一例を示す。
実施形態によっては、受け取られたラベル付き３Ｄデジタルモデルは、任意選択的に、セグメント化３Ｄデジタルモデルであることもできる。実施形態によっては、セグメント化３Ｄデジタルモデルは、曲率ベースのセグメンテーションを用いてセグメント化されたものであることができる。実施形態によっては、セグメント化デジタルモデルは、当該技術分野において既知の任意の技法を用いてセグメント化され得る。
実施形態によっては、曲率ベースのセグメント化モデルは、例えば、実施形態によっては、２点セグメンテーションを遂行することによって、より精密にすることができる。２点セグメンテーションの１つの利点は、例えば、精度の改善を含むことができる。
１つまたは複数の特徴の１つまたは複数の利点は、例えば、セグメント化され、ラベル付けもされたデジタル歯群を、歯肉などの、ラベル付けされ、セグメント化された非歯群領域と共に有するデジタルモデルを提供することを含むことができる。パノラマ画像を用いる１つまたは複数の利点は、例えば、より正確な境界を含むことができる。パノラマ画像を用いる１つまたは複数の利点は、例えば、頬側および舌側の両方からの歯群の特徴、ならびに歯肉との境界を保持することを含むことができ、その一方で、２Ｄ深度マップなどの標準的な視像上では、例えば、頬側または舌側あるいはそれらの両方は完全に、または部分的に塞がれ、したがって、ニューラルネットワークはそれらを見てセグメント化することができない。２Ｄ深度マップなどの標準的な視像では、例えば、歯群と歯肉との間の境界は、全ての歯群のために、および全ての側から視認可能でない。これは、歯群が境界を塞ぐ（隠す）ために生じ得る。さらに、問題はより一般的である：取得される単純な視像が何であろうと（透視投影を用いたものであろうと、または正投影カメラを用いたものであろうと）、一部の境界は視認可能でなくなる。パノラマ画像を用いる１つまたは複数の利点は、例えば、頬側および舌側の両方からの歯群の特徴、ならびに歯肉との境界を保持することを含むことができる。
図２５（ａ）は、デジタルモデル内の歯群をデジタル的にセグメント化するコンピュータ実施方法の一例を示す。本方法は、２３０２において、患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、２３０４において、３Ｄデジタルモデルからパノラマ画像を生成すること（または代替的に、受け取ること）と、２３０６において、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、２３０８において、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、２３１０において、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含むことができる。実施形態によっては、コンピュータ実施方法は、代替的に、２３０４において、３Ｄデジタルモデルから通常の２Ｄ深度マップ画像を生成するか、または受け取ることができる。図８に、通常の２Ｄ深度マップ画像の一例が示されている。
図２５（ａ）のコンピュータ実施方法は以下の特徴のうちの１つまたは複数を、様々な実施形態において、単独で、または組み合わせて含むことができる。パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供するために、第１のニューラルネットワークを訓練することをさらに含む、請求項１に記載の方法。ラベル付き３Ｄデジタルモデルは１つまたは複数の不確実領域を含むことができる。セグメント化３Ｄデジタルモデルは、１つまたは複数の個別歯牙領域、および非歯牙領域を含むことができる。第１の訓練済みニューラルネットワークは第１の畳み込みニューラルネットワークを含むことができる。第１の畳み込みニューラルネットワークはＵ－Ｎｅｔニューラルネットワークを含むことができる。第１の畳み込みニューラルネットワークはＹＯＬＯニューラルネットワークを含むことができる。３Ｄデジタルモデルをセグメント化することは、ラベル付き３Ｄデジタルモデルを幾何学的にセグメント化することを含むことができる。幾何学的セグメント化は曲率ベースのセグメンテーションを含むことができる。幾何学的セグメント化は２点セグメンテーションを含むことができる。パノラマ画像を生成することは、第２の訓練済みニューラルネットワークを用いて、１本または複数本のデジタル歯群に対応する１つまたは複数のデジタル歯牙バウンディング領域を決定することと、スプラインによって１つまたは複数のデジタル歯牙バウンディング領域を接続することと、スプライン上の１つまたは複数のスプライン点をサンプリングすることと、１つまたは複数のサンプリングされたスプライン点から１つまたは複数のサンプリングデジタル表面点を決定することと、各サンプリングデジタル表面点に対応する１つまたは複数の関連デジタル表面点を決定することと、を含むことができる。本方法は、各デジタル歯牙バウンディング領域のデジタル歯牙バウンディング領域中心を決定することをさらに含むことができ、１つまたは複数のデジタル歯牙バウンディング領域を接続することは、デジタル歯牙バウンディング領域中心を接続することを含むことができる。第２の訓練済みニューラルネットワークはＹＯＬＯニューラルネットワークを含むことができる。第２の訓練済みニューラルネットワークはＵ－ｎｅｔ畳み込みニューラルネットワークを含むことができる。各サンプリングデジタル表面点およびその対応する関連デジタル表面点はパノラマ画像内の列であることができる。１つまたは複数の関連デジタル表面点を決定することは、各サンプリングデジタル表面点のサンプル深度点を決定することと、サンプル深度点から、咬合方向から傾斜角をなしてサンプル平面内で延びる１本または複数本のそれぞれの光線と交差する１つまたは複数のデジタル表面点を決定することであって、サンプル平面がスプラインおよび咬合方向と直交する、決定することと、を含むことができる。１つまたは複数の傾斜角は傾斜角範囲内であることができ、傾斜角範囲は－４５度～＋４５度であることができる。
図２５（ｂ）は、パノラマ画像を生成するコンピュータ実施方法の一例を示す。本方法は、２３５０において、患者の歯列の少なくとも部分の患者走査データの２Ｄ深度マップを受け取ることと、２３５２において、訓練済みニューラルネットワークを用いて、１本または複数本のデジタル歯群に対応する１つまたは複数のデジタル歯牙バウンディング領域を決定することと、２３５４において、スプラインによって１つまたは複数のデジタル歯牙バウンディング領域を接続することと、２３５６において、スプライン上の１つまたは複数のスプライン点をサンプリングすることと、２３５８において、１つまたは複数のサンプリングされたスプライン点から１つまたは複数のサンプリングデジタル表面点を決定することと、２３６０において、各サンプリングデジタル表面点に対応する１つまたは複数の関連デジタル表面点を決定することと、を含むことができる。
図２５（ｂ）における方法は、以下の任意選択的な特徴のうちの１つまたは複数を、単独で、または組み合わせて含むことができる。本方法は、各デジタル歯牙バウンディング領域のデジタル歯牙バウンディング領域中心を決定することをさらに含むことができ、１つまたは複数のデジタル歯牙バウンディング領域を接続することは、デジタル歯牙バウンディング領域中心を接続することを含むことができる。第２の訓練済みニューラルネットワークはＹＯＬＯニューラルネットワークを含むことができる。第２の訓練済みニューラルネットワークはＵ－ｎｅｔ畳み込みニューラルネットワークを含むことができる。各サンプリングデジタル表面点およびその対応する関連デジタル表面点はパノラマ画像内の列であることができる。１つまたは複数の関連デジタル表面点を決定することは、各サンプリングデジタル表面点のサンプル深度点を決定することと、サンプル深度点から、咬合方向から傾斜角をなしてサンプル平面内で延びる１本または複数本のそれぞれの光線と交差する１つまたは複数のデジタル表面点を決定することであって、サンプル平面がスプラインおよび咬合方向と直交する、決定することと、を含むことができる。１つまたは複数の傾斜角は傾斜角範囲内であることができ、傾斜角範囲は－４５度～＋４５度であることができる。
いくつかの実施形態は処理システムを含むことができる。処理システムは、プロセッサと、ステップを遂行することができるプロセッサによって実行可能な命令を含むコンピュータ可読記憶媒体と、を含むことができ、ステップは、患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、３Ｄデジタルモデルからパノラマ画像を生成することと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含む。代替的に、実施形態によっては、プロセッサステップによって実行可能な命令は、パノラマ画像を受け取ることと、第１の訓練済みニューラルネットワークを用いて、パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、ラベル付きパノラマ画像の１つまたは複数の領域を３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、を含むことができる。
本開示において説明される１つまたは複数の特徴は処理システムの部分であり、および／または処理システム上で遂行され得る。
図２６はいくつかの実施形態における処理システム１４０００を示す。システム１４０００は、プロセッサ１４０３０と、本開示において説明される１つまたは複数のステップを遂行するためにプロセッサによって実行可能な命令を有するコンピュータ可読記憶媒体１４０３４と、を含むことができる。
実施形態によっては、１つまたは複数のステップは、例えば、ユーザによって遂行され得る。実施形態によっては、１つまたは複数の特徴は、ユーザによって、例えば、ディスプレイ上のデジタルモデルを見ている間に入力デバイスを用いて遂行され得る。実施形態によっては、コンピュータ実施方法は、入力デバイスが、ディスプレイ上に表示されたデジタルモデルを操作することを可能にすることができる。例えば、実施形態によっては、コンピュータ実施方法は、デジタルモデルを回転させ、変倍し、移動させ、および／または当該技術分野において知られているとおりの任意の仕方で別様に操作することができる。実施形態によっては、１つまたは複数の特徴は、ユーザによって、入力デバイスを用いて遂行され得る。実施形態によっては、１つまたは複数のステップは、例えば、ユーザが別のボタンを選択することなどの、当該技術分野において既知の技法を用いて開始され得る。実施形態によっては、１つまたは複数の特徴は、ユーザの介入を有することなく、自動的に遂行され得る。
実施形態によっては、コンピュータ実施方法はディスプレイ上にデジタルモデルを表示し、例えば、マウス、またはディスプレイ上のタッチスクリーンなどの入力デバイスから入力を受け付けることができる。例えば、コンピュータ実施方法は開始コマンドを受け付けることができる。コンピュータ実施方法は、開始コマンドを受け付けると、本開示において説明される１つまたは複数の特徴を用いて１つまたは複数のステップを遂行することができる。コンピュータ実施方法は、操作コマンドを受け付けると、デジタルモデルを回転させ、変倍し、移動させ、および／または当該技術分野において知られているとおりの任意の仕方で別様に操作することができる。
本明細書において開示される特徴のうちの１つまたは複数は、手動またはユーザ介入を有することなく、自動的に遂行および／または達成され得る。本明細書において開示される特徴のうちの１つまたは複数はコンピュータ実施方法によって遂行され得る。開示される特徴 － 限定するものではないが、任意の方法およびシステムを含む － はコンピューティングシステムにおいて実施され得る。例えば、これらの機能を遂行するために用いられるコンピューティング環境１４０４２は、１つまたは複数のコンピューティングデバイスを含むコンピューティングシステムに組み込まれ得る種々のコンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、タブレットコンピュータ、ゲーミングシステム、モバイルデバイス、プログラム可能自動化コントローラ、ビデオカード等）のうちの任意のものであることができる。実施形態によっては、コンピューティングシステムはクラウドベースのコンピューティングシステムであり得る。
例えば、コンピューティング環境１４０４２は１つまたは複数の処理装置１４０３０およびメモリ１４０３２を含み得る。処理装置はコンピュータ実行可能命令を実行する。処理装置１４０３０は、中央処理装置（ＣＰＵ：central processing unit）、特定用途向け集積回路（ＡＳＩＣ：application-specific integrated circuit）内のプロセッサ、または任意の他の種類のプロセッサであることができる。実施形態によっては、１つまたは複数の処理装置１４０３０は、例えば、複数のコンピュータ実行可能命令を並列に実行することができる。多重処理システムでは、処理能力を増大させるために、複数の処理装置がコンピュータ実行可能命令を実行する。例えば、代表的なコンピューティング環境は、中央処理装置、ならびにグラフィック処理装置または共処理装置を含み得る。有形メモリ１４０３２は、処理装置によってアクセス可能な、揮発性メモリ（例えば、レジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等）、または両者の何らかの組み合わせであり得る。メモリは、処理装置による実行に適したコンピュータ実行可能命令の形態の、本明細書において説明される１つまたは複数の革新を実施するソフトウェアを記憶する。
コンピューティングシステムは追加の特徴を有し得る。例えば、実施形態によっては、コンピューティング環境は、ストレージ１４０３４、１つまたは複数の入力デバイス１４０３６、１つまたは複数の出力デバイス１４０３８、および１つまたは複数の通信接続１４０３７を含む。バス、コントローラ、またはネットワークなどの相互接続機構がコンピューティング環境の構成要素を相互接続する。通例、オペレーティングシステムソフトウェアが、コンピューティング環境内で実行する他のソフトウェアのための動作環境を提供し、コンピューティング環境の構成要素の活動を協調させる。
有形ストレージ１４０３４は着脱式または非着脱式であり得、磁気ディスク、磁気テープもしくはカセット、ＣＤ－ＲＯＭ、ＤＶＤなどの磁気または光媒体、または情報を非一時的な仕方で記憶するために用いることができ、コンピューティング環境内でアクセスすることができる任意の他の媒体を含む。ストレージ１４０３４は、本明細書において説明される１つまたは複数の革新を実施するソフトウェアのための命令を記憶する。
入力デバイスは、例えば、キーボード、マウス、ペン、またはトラックボールなどの、タッチ入力デバイス、音声入力デバイス、走査デバイス、様々なセンサのうちの任意のもの、入力をコンピューティング環境に提供する別のデバイス、あるいはこれらの組み合わせであり得る。映像符号化のためには、入力デバイスは、カメラ、ビデオカード、ＴＶチューナカード、またはアナログもしくはデジタル形式の映像入力を受け入れる同様のデバイス、あるいは映像サンプルをコンピューティング環境内に読み込むＣＤ－ＲＯＭまたはＣＤ－ＲＷであり得る。出力デバイスは、ディスプレイ、プリンタ、スピーカ、ＣＤライタ、またはコンピューティング環境からの出力を提供する別のデバイスであり得る。
通信接続は、別のコンピューティングエンティティへの通信媒体を通じた通信を可能にする。通信媒体は、コンピュータ実行可能命令、音声もしくは映像入力もしくは出力、または変調データ信号内の他のデータなどの、情報を伝達する。変調データ信号は、信号内に情報を符号化するような仕方でその特性のうちの１つまたは複数を設定または変更させた信号である。限定ではなく、例として、通信媒体は、電気、光、ＲＦ、または他の搬送波を用いることができる。
本開示の方法はいずれも、１つまたは複数のコンピュータ可読記憶媒体１４０３４（例えば、１つまたは複数の光媒体ディスク、揮発性メモリ構成要素（ＤＲＡＭもしくはＳＲＡＭなど）、または不揮発性メモリ構成要素（フラッシュメモリもしくはハードドライブなど））上に記憶され、コンピュータ（例えば、スマートフォン、コンピューティングハードウェアを含む他のモバイルデバイス、またはプログラム可能自動化コントローラを含む、任意の市販のコンピュータ）上で実行されるコンピュータ実行可能命令として実施され得る（例えば、コンピュータ実行可能命令はコンピュータシステムの１つまたは複数のプロセッサに本方法を遂行させる）。用語、コンピュータ可読記憶媒体は、信号および搬送波などの、通信接続を含まない。本開示の技法を実施するためのコンピュータ実行可能命令、および本開示の実施形態の実施中に作成され、用いられる任意のデータはいずれも、１つまたは複数のコンピュータ可読記憶媒体１４０３４上に記憶され得る。コンピュータ実行可能命令は、例えば、専用ソフトウェアアプリケーション、またはウェブブラウザもしくは他のソフトウェアアプリケーション（リモートコンピューティングアプリケーションなど）を介してアクセスもしくはダウンロードされるソフトウェアアプリケーションの部分であることができる。このようなソフトウェアは、例えば、単一のローカルコンピュータ（例えば、任意の好適な市販のコンピュータ）上、あるいは１つまたは複数のネットワークコンピュータを用いてネットワーク環境内で（例えば、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、クライアント－サーバネットワーク（クラウドコンピューティングネットワークなど）、または他のこのようなネットワークを介して）実行され得る。
明確にするために、ソフトウェアベースの実装形態の特定の選択された態様のみが説明される。当該技術分野においてよく知られた他の詳細は省略される。例えば、本開示の技術はいかなる特定のコンピュータ言語またはプログラムにも限定されないことを理解されたい。例えば、本開示の技術は、Ｃ＋＋、Ｊａｖａ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、ＪａｖａＳｃｒｉｐｔ、Ａｄｏｂｅ Ｆｌａｓｈ、または任意の他の好適なプログラミング言語で書かれたソフトウェアによって実施され得る。同様に、本開示の技術はいかなる特定のコンピュータまたは種類のハードウェアにも限定されない。好適なコンピュータおよびハードウェアの特定の詳細はよく知られており、本開示において詳細に記載される必要はない。
本明細書において説明される任意の機能性は、ソフトウェアの代わりに、少なくとも部分的に、１つまたは複数のハードウェア論理構成要素によって遂行され得ることも十分に理解されたい。例えば、限定するものではないが、用いることができるハードウェア論理構成要素の例示的な種類としては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field-programmable Gate Array）、特定プログラム向け集積回路（ＡＳＩＣ：Program-specific Integrated Circuit）、特定プログラム向け標準製品（ＡＳＳＰ：Program-specific Standard Product）、システムオンチップシステム（ＳＯＣ：System-on-a-chip）、複合プログラム可能論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）などが挙げられる。
さらに、（例えば、コンピュータに本開示の方法のうちの任意のものを遂行させるためのコンピュータ実行可能命令を含む）ソフトウェアベースの実施形態はいずれも、好適な通信手段を通じてアップロードされるか、ダウンロードされるか、または遠隔からアクセスされ得る。このような好適な通信手段は、例えば、インターネット、ワールドワイドウェブ、イントラネット、ソフトウェアアプリケーション、ケーブル（光ファイバケーブルを含む）、磁気通信、電磁通信（ＲＦ、マイクロ波、および赤外線通信を含む）、電子通信、あるいは他のこのような通信手段を含む。
本開示の原理が適用され得る多くの可能な実施形態に鑑みると、例示された実施形態は単なる例にすぎず、本開示の範囲を限定するものと解釈されるべきでないことを認識されたい。
１００ デジタルモデル
２０２ 第１の畳み込み層
２０３ 入力画像
２０４ カーネル
２０６ 畳み込み出力、第１の畳み込み画像
２０７ 特徴チャネル
２０８ 第１のカーネル出力
２１２ 第１のプーリング層
２１４ 第１のプーリングフィルタ
２１６ 第１のプーリング画像
２１７ 特徴チャネル
２１８ 第２の畳み込み層
２１９ 特徴チャネル
２２０ 第２の畳み込み画像
２２２ 第２のプーリング層
２２４ 第２のプーリング画像
２２４ 出力予測
２３０ 全結合層
３０２ 層
３０４ 層
３０６ 層
３０７ 残差
３０８ 層
３１０ 層
３１１ 残差
３１２ 層
３１４ 層
３１５ 残差
３１６ 層
３１８ 層
３１９ 残差
３２０ 層
３２２ 層
３２３ 残差
４０１ 入力画像
４０２ 収縮経路
４０４ 膨張経路
４０６ 第１の畳み込み層
４０８ 第１のプーリング演算
４１０ 第１の畳み込み
４１１ 第１の特徴マップ
４１２ 最後の特徴マップ
４１３ 第２の畳み込み
４１４ 畳み込み層入力
４１６ 第２の畳み込み層
４１８ 第３の畳み込み層
４２２ 最終プーリング演算
４２４ アップサンプリング
４２５ アップサンプリング層
４２６ 畳み込み層
４２７ 第４の畳み込み層、最終収縮経路畳み込み層
４２８ 特徴マップ
４２９ 連結演算
４３０ 特徴マップ
４３２ 最終アップサンプリング層
４３４ 最後の畳み込み
４３５ 出力セグメントマップ
５００ デジタルモデル
５０２ 境界ループ
５０４ デジタル歯牙領域
５０６ デジタル非歯牙領域
５０８ デジタル表面三角形
５１２ 頂点
５１４ デジタル表面三角形
５１６ 辺
５１８ 辺
５２０ 辺
５２２ 内部双対グラフ領域
５２４ 外部双対グラフ領域
７００ ２Ｄ深度マップ
７０２ 標識付きデジタル歯牙バウンディング領域
８００ デジタルモデル
８０２ デジタルバウンディングボックス
８０４ デジタル歯牙
８０６ 咬合方向
８０８ デジタルバウンディングボックス中心、第１のバウンディングボックス中心
８１０ 第２のバウンディングボックス中心、第２のデジタルバウンディングボックス中心
８１２ 第１のスプライン
８１４ 第２のスプライン
８１６ 第３のデジタルバウンディングボックス中心
８２０ 連続スプライン
８２２ 最後のバウンディングボックス中心
８２４ 直線
８２６ 最後のスプライン
８２８ 直線
９０２ サンプリング点
９０４ 連続平滑スプライン
９０６ デジタルモデル
１００２ サンプリングデジタル表面点
１００４ 連続平滑スプライン
１００６ ３Ｄデジタルモデル
１００８ サンプル平面
１０１０ 咬合方向
１０１２ 深度光線、サンプル点深度光線
１０１４ サンプル深度点
１０１６ 第１の正の傾斜角の光線
１０１８ 第１の正の傾斜角
１０２０ 第１の負の傾斜角の光線
１０２２ 第１のデジタル表面点
１０２４ 第２のデジタル表面点
１０５０ デジタルモデル
１０５２ サンプル点
１０５４ スプライン
１０５６ 光線
１１０２ 中心行
１１０３ サンプリングデジタル表面点
１１０４ 行
１１０５ 列
１１０６ 行
１１１０ 第１の正の行
１１１２ 第１の負の行
１２０２ より暗い領域
１２０４ より明るい領域
１３００ パノラマ画像
１３０２ 標識付きデジタル歯牙バウンディング領域
１４０２ デジタルバウンディング領域
１４０４ デジタル歯牙バウンディング領域
１５００ ３Ｄデジタルモデル
１５０２ デジタル歯牙バウンディングボックス
１５０４ 第１のデジタル歯牙バウンディングボックス隅部
１５０６ 第１の光線
１５０８ 第２のデジタル歯牙バウンディングボックス隅部
１５１０ 第２の光線
１５１２ 深度点
１５１３ 第３のデジタル歯牙バウンディングボックス隅部
１５１６ 第３の光線
１５１８ 第４のデジタル歯牙バウンディングボックス隅部
１５２０ 第４の光線
１６０２ デジタル歯牙境界領域
１６０３ 距離
１６０４ 確実領域
１６０５ 距離
１６０６ 不確実領域
１６０７ 不確実領域
１６１４ 第１のラベル付きデジタル表面領域
１６１６ ラベルなし領域
１６１８ 第２のラベル付きデジタル表面領域
１６２０ 第３のラベル付きデジタル表面領域
１７８６ 辺
１７８８ 三角形
１７９０ 三角形
１７９２ 二面角
１７９４ 第３の平面
２０００ ラベル付き３Ｄデジタルモデル
２００２ ラベル付き領域
２００４ 中心点
２０１０ 放物線
２０１２ 咬合方向
２０２０ 分離領域
２０３０ 平面
２０３２ 舌側の点
２０３４ 頬側の点
２０３６ 第１のセグメント経路
２０５０ デジタル歯牙
２０５１ 中心点
２０５２ 舌側の点
２０５３ 第１の経路、第１のセグメント経路
２０５４ 第１の側
２０５６ 第２の経路、第２のセグメント経路
２０５７ 分離領域
２０５８ 第２の側
２０５９ 放物線
２０６２ 頬側の点、顔側の点
２０６４ 辺
２０６６ 辺
２０６８ 内部ループ領域
２０７０ セグメント化デジタル歯牙
２０７２ 第２のセグメント経路
２０７４ 境界ループ
２２００ デジタルモデル
２２０２ デジタル歯牙
２２０４ 歯肉領域
２４０２ 特定の三角形
２４０４ 隣接した三角形、近傍の三角形
２４０５ 第１の辺
２４０６ 隣接した三角形、近傍の三角形
２４０７ 第２の辺
２４０８ 隣接した三角形、近傍の三角形
２４０９ 第３の辺
２０１０ 最良適合放物線
２４１１ セグメント
２４１２ セグメント
２４１４ セグメント化デジタル表面メッシュ
２４１６ セグメント
４０００ Ｕ－ｎｅｔニューラルネットワーク
４００２ 入力画像
４００４ 畳み込み層、第１の畳み込み層
４００５ 第２の畳み込み層
４００６ 収縮経路
４００７ 第３の畳み込み層
４００８ 第１の特徴マップ
４００９ 第４の畳み込み層
４０１０ 第２の特徴マップ
４０１１ 第５の畳み込み層
４０１２ 第３の特徴マップ
４０１３ 第６の畳み込み層
４０１４ 第４の特徴マップ
４０１５ 第７の畳み込み層
４０１６ 第５の特徴マップ
４０１８ 第６の特徴マップ
４０２０ 第７の特徴マップ
４０２１ 膨張経路
４０３１ 第３の逆畳み込み層
４０３２ 第１の逆畳み込み層
４０３３ 第２の逆畳み込み層
４０３４ 第３の逆畳み込み特徴マップ
４０３５ 第６の逆畳み込み層
４０３６ 第２の逆畳み込み特徴マップ
４０３７ 第５の逆畳み込み層
４０３８ 第１の逆畳み込み特徴マップ
４０３９ 第４の逆畳み込み層
４０４０ 第５の逆畳み込み特徴マップ
４０４２ 第４の逆畳み込み特徴マップ
４０４４ 第７の逆畳み込み層
４０４８ 第６の逆畳み込み特徴マップ
４０５０ 第７の逆畳み込み特徴マップ
５００１ 入力画像
５００２ 符号器
５００４ Ｃｏｎｖ－１
５００８ Ｒｅｓ－２
５０１０ Ｒｅｓ－３
５０１２ Ｒｅｓ－４
５０１４ Ｒｅｓ－５
５０１６ ＧＡＵ－３
５０１８ ＧＡＵ－２
５０２０ ＧＡＵ－１
５０２２ ＦＰＡ
５０３０ ＦＰＡ
５０３２ Ｒｅｓｎｅｔ
５０３４ 特徴マップ
５０３６ グローバルプーリングブランチ
５０３８ ダウンサンプリングブランチ
５０４０ アップサンプリングブランチ
５０４２ 第１のアップサンプルブランチ段
５０４４ 第２のアップサンプルブランチ段
５０４６ 第３のアップサンプルブランチ段
５０４８ 第１のダウンサンプル畳み込み
５０５０ 第２のダウンサンプル畳み込み
５０５２ 第３のダウンサンプル畳み込み
５０５４ ３×３畳み込み
５０５６ ５×５畳み込み
５０５８ ７×７畳み込み
５０６０ グローバルプーリング
５０６２ １×１畳み込み
５０６４ アップサンプリング
５０７０ ピクセル毎乗算器
５０７２ 畳み込み層
５０７４ 復号器
５０７５ セグメント化画像
５０７６ 第１の復号器段
５０７８ 第２の復号器段
５０８０ 第３の復号器段
５１０２ 行
５１０４ 列
６００２ 入力画像
６００４ 第１のＲｅｓＮｅｔ畳み込み層Ｃｏｎｖ－１
６００６ プーリングステップ
６０１０ Ｒｅｓ－２
６０１２ Ｒｅｓ－３
６０１４ Ｒｅｓ－４
６０１６ Ｒｅｓ－５
６０１８ 第１のブロック
６０２０ 第１のＲｅｓ－２畳み込み
６０２２ 第２のＲｅｓ－２畳み込み
６０２４ 第１のＲｅｓ－３畳み込み
６０２６ 第１のＲｅｓ－４畳み込み
６０２７ 第１のＲｅｓ－５畳み込み
６０２８ バイパス
６０２９ プーリング段
６０４０ 次のブロック
６０５０ 第１のブロック
６０５２ 第１のブロック入力特徴マップ、入力画像
６０５４ 第１の畳み込み
６０５６ 第１の畳み込み出力
６０５８ 第２の畳み込み
６０６０ 第１のブロック出力
６０６２ バイパス
６０６４ 第２のブロック入力特徴マップ
６０６６ 第２のブロック
８５０２ 中心点
８５０４ 第１のｘ軸
８５０６ 第１のｙ軸
８５０８ 放物線
８５１０ ｘ軸
８５１２ ｙ軸
８５１４ 放物線
１４０００ 処理システム
１４０３０ プロセッサ、処理装置
１４０３２ メモリ、有形メモリ
１４０３４ コンピュータ可読記憶媒体、ストレージ、有形ストレージ
１４０３６ 入力デバイス
１４０３７ 通信接続
１４０３８ 出力デバイス
１４０４２ コンピューティング環境
５０１００ ＧＡＵ
５０１０１ 低レベル特徴
５０１０２ 畳み込み、畳み込み層
５０１０４ 高レベル特徴
５０１０６ グローバルプーリング
５０１０８ 特徴マップ
５０１１０ 畳み込み層
５０１１２ 乗算器
５０１１４ 重み付き低レベル特徴
５０１１６ 合計

Claims (21)

  1. デジタルモデル内の歯群をデジタル的にセグメント化するコンピュータ実施方法であって、
    患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、
    前記３Ｄデジタルモデルからパノラマ画像を生成することと、
    第１の訓練済みニューラルネットワークを用いて、前記パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、
    前記ラベル付きパノラマ画像の１つまたは複数の領域を前記３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、
    前記ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、
    を含む方法。
  2. 前記パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供するために、前記第１の訓練済みニューラルネットワークを訓練することをさらに含む、請求項１に記載の方法。
  3. 前記ラベル付き３Ｄデジタルモデルが１つまたは複数の不確実領域を含む、請求項１に記載の方法。
  4. 前記セグメント化３Ｄデジタルモデルが、１つまたは複数の個別歯牙領域、および非歯牙領域を含む、請求項１に記載の方法。
  5. 前記第１の訓練済みニューラルネットワークが第１の畳み込みニューラルネットワークを含む、請求項１に記載の方法。
  6. 前記第１の訓練済みニューラルネットワークがセマンティックセグメンテーションニューラルネットワークを含む、請求項１に記載の方法。
  7. 前記第１の訓練済みニューラルネットワークがＹＯＬＯニューラルネットワークを含む、請求項１に記載の方法。
  8. 前記３Ｄデジタルモデルをセグメント化することが、前記ラベル付き３Ｄデジタルモデルを幾何学的にセグメント化することを含む、請求項１に記載の方法。
  9. 前記幾何学的にセグメント化することが曲率ベースのセグメンテーションを含む、請求項８に記載の方法。
  10. 前記幾何学的にセグメント化することが２点セグメンテーションを含む、請求項８に記載の方法。
  11. 前記パノラマ画像を生成することが、
    第２の訓練済みニューラルネットワークを用いて、１本または複数本のデジタル歯群に対応する１つまたは複数のデジタル歯牙バウンディング領域を決定することと、
    スプラインによって前記１つまたは複数のデジタル歯牙バウンディング領域を接続することと、
    前記スプライン上の１つまたは複数のスプライン点をサンプリングすることと、
    前記１つまたは複数のサンプリングされたスプライン点から１つまたは複数のサンプリングデジタル表面点を決定することと、
    各サンプリングデジタル表面点に対応する１つまたは複数の関連デジタル表面点を決定することと、
    を含む、請求項１に記載の方法。
  12. 各デジタル歯牙バウンディング領域のデジタル歯牙バウンディング領域中心を決定することをさらに含み、前記１つまたは複数のデジタル歯牙バウンディング領域を接続することが、前記デジタル歯牙バウンディング領域中心を接続することを含む、請求項１１に記載の方法。
  13. 前記第２の訓練済みニューラルネットワークがＹＯＬＯニューラルネットワークを含む、請求項１１に記載の方法。
  14. 前記第２の訓練済みニューラルネットワークがセマンティックセグメンテーションニューラルネットワークを含む、請求項１１に記載の方法。
  15. 前記各サンプリングデジタル表面点およびその対応する関連デジタル表面点が前記パノラマ画像内の列を含む、請求項１１に記載の方法。
  16. １つまたは複数の関連デジタル表面点を決定することが、
    各サンプリングデジタル表面点のサンプル深度点を決定することと、
    前記サンプル深度点から、咬合方向から１つまたは複数の傾斜角をなしてサンプル平面内で延びる１本または複数本のそれぞれの光線と交差する１つまたは複数のデジタル表面点を決定することであって、前記サンプル平面が前記スプラインおよび前記咬合方向と直交する、決定することと、
    を含む、請求項１１に記載の方法。
  17. 前記１つまたは複数の傾斜角が傾斜角範囲内であり、前記傾斜角範囲が－４５度～＋４５度である、請求項１１に記載の方法。
  18. デジタルモデル内の歯群をデジタル的にセグメント化するためのシステムであって、
    プロセッサと、
    ステップを遂行するために前記プロセッサによって実行可能な命令を含むコンピュータ可読記憶媒体と、
    を備え、前記ステップが、
    患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、
    前記３Ｄデジタルモデルからパノラマ画像を生成することと、
    第１の訓練済みニューラルネットワークを用いて、前記パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、
    前記ラベル付きパノラマ画像の１つまたは複数の領域を前記３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、
    前記ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、
    を含む、システム。
  19. 前記パノラマ画像を生成することが、
    第２の訓練済みニューラルネットワークを用いて、１本または複数本のデジタル歯群に対応する１つまたは複数のデジタル歯牙バウンディング領域を決定することと、
    スプラインによって前記１つまたは複数のデジタル歯牙バウンディング領域を接続することと、
    前記スプライン上の１つまたは複数のスプライン点をサンプリングすることと、
    前記１つまたは複数のサンプリングされたスプライン点から１つまたは複数のサンプリングデジタル表面点を決定することと、
    各サンプリングデジタル表面点に対応する１つまたは複数の関連デジタル表面点を決定することと、
    を含む、請求項１８に記載のシステム。
  20. パノラマ画像を生成するコンピュータ実施方法であって、
    患者の歯列の少なくとも部分の患者走査データの２Ｄ深度マップを受け取ることと、
    訓練済みニューラルネットワークを用いて、１本または複数本のデジタル歯群に対応する１つまたは複数のデジタル歯牙バウンディング領域を決定することと、
    スプラインによって前記１つまたは複数のデジタル歯牙バウンディング領域を接続することと、
    前記スプライン上の１つまたは複数のスプライン点をサンプリングすることと、
    前記１つまたは複数のサンプリングされたスプライン点から１つまたは複数のサンプリングデジタル表面点を決定することと、
    各サンプリングデジタル表面点に対応する１つまたは複数の関連デジタル表面点を決定することと、
    を含む方法。
  21. デジタルモデルをセグメント化するための実行可能コンピュータプログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータプログラム命令が、
    患者の歯列の少なくとも部分の患者走査データの３Ｄデジタルモデルを受け取ることと、
    前記３Ｄデジタルモデルからパノラマ画像を生成することと、
    第１の訓練済みニューラルネットワークを用いて、前記パノラマ画像の１つまたは複数の領域をラベル付けし、ラベル付きパノラマ画像を提供することと、
    前記ラベル付きパノラマ画像の１つまたは複数の領域を前記３Ｄデジタルモデル内の１つまたは複数の対応する粗いデジタル表面三角形ラベルにマッピングし、ラベル付き３Ｄデジタルモデルを提供することと、
    前記ラベル付き３Ｄデジタルモデルをセグメント化し、セグメント化３Ｄデジタルモデルを提供することと、
    を含む、非一時的コンピュータ可読媒体。
JP2022546425A 2020-01-31 2021-01-29 ニューラルネットワークを用いた歯群のセグメンテーション Pending JP2023512083A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/778,406 2020-01-31
US16/778,406 US11931213B2 (en) 2020-01-31 2020-01-31 Semi-automatic system and method using boundary loop segments for segmenting teeth
US17/140,739 2021-01-04
US17/140,739 US11842484B2 (en) 2021-01-04 2021-01-04 Teeth segmentation using neural networks
PCT/US2021/015820 WO2021155230A1 (en) 2020-01-31 2021-01-29 Teeth segmentation using neural networks

Publications (1)

Publication Number Publication Date
JP2023512083A true JP2023512083A (ja) 2023-03-23

Family

ID=77079206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022546425A Pending JP2023512083A (ja) 2020-01-31 2021-01-29 ニューラルネットワークを用いた歯群のセグメンテーション

Country Status (3)

Country Link
EP (1) EP4096569A4 (ja)
JP (1) JP2023512083A (ja)
WO (1) WO2021155230A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797192A (zh) * 2021-09-10 2023-03-14 Oppo广东移动通信有限公司 一种图像处理方法、电子设备及计算机存储介质
CN114119635B (zh) * 2021-11-23 2024-05-24 电子科技大学成都学院 一种基于空洞卷积的脂肪肝ct图像分割方法
CN114504397B (zh) * 2022-02-15 2023-08-22 南京铖联激光科技有限公司 一种可摘局部义齿智能设计方法
CN114714626B (zh) * 2022-04-02 2023-08-15 北京大学口腔医学院 一种义齿3d打印支架的设计方法、装置及可存储介质
CN114663769B (zh) * 2022-04-07 2023-04-18 杭州电子科技大学 一种基于YOLO v5的水果识别方法
CN114677516B (zh) * 2022-05-27 2022-12-09 杭州键嘉医疗科技股份有限公司 一种基于深度神经网络的口腔下颌管自动分割方法
CN117765002A (zh) * 2022-06-24 2024-03-26 杭州朝厚信息科技有限公司 口腔全景片的分割方法
CN116485809B (zh) * 2022-07-01 2023-12-15 山东财经大学 基于自注意力与感受野调整的牙齿实例分割方法及系统
CN116168808A (zh) * 2022-12-02 2023-05-26 广州黑格智造信息科技有限公司 牙龈线提取方法、牙科器械的制作方法、设备及介质
CN117314868B (zh) * 2023-10-10 2024-03-19 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于YOLOv5的钢卷端面缺陷检测方法、装置和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929635B2 (en) * 2011-07-21 2015-01-06 Carestream Health, Inc. Method and system for tooth segmentation in dental images
US10238277B2 (en) * 2016-05-26 2019-03-26 Dental Smartmirror, Inc. Curing dental material using lights affixed to an intraoral mirror, and applications thereof
CN110769777B (zh) * 2017-06-16 2023-08-11 阿莱恩技术有限公司 牙齿类型和萌出状态的自动检测
US11443423B2 (en) * 2018-10-30 2022-09-13 Dgnct Llc System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
US11931213B2 (en) * 2020-01-31 2024-03-19 James R. Glidewell Dental Ceramics, Inc. Semi-automatic system and method using boundary loop segments for segmenting teeth

Also Published As

Publication number Publication date
EP4096569A4 (en) 2024-06-19
WO2021155230A1 (en) 2021-08-05
EP4096569A1 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
US11842484B2 (en) Teeth segmentation using neural networks
JP2023512083A (ja) ニューラルネットワークを用いた歯群のセグメンテーション
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN107997778B (zh) 在计算机断层扫描血管造影术中基于深度学习的骨移除
CN110443842B (zh) 基于视角融合的深度图预测方法
Tagliasacchi et al. 3d skeletons: A state‐of‐the‐art report
US20210174543A1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
CA3123509A1 (en) Automated semantic segmentation of non-euclidean 3d data sets using deep learning
CN108122239A (zh) 使用深度分割的图像数据中的对象检测
US20110216975A1 (en) Up-Sampling Binary Images for Segmentation
US11853892B2 (en) Learning to segment via cut-and-paste
EP3872761A2 (en) Analysing objects in a set of frames
US20240189079A1 (en) Semi-automatic tooth segmentation
Saovana et al. Automated point cloud classification using an image-based instance segmentation for structure from motion
JP2024518045A (ja) ニューラルネットワークマージン提案
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
Cao et al. Orienting raw point sets by global contraction and visibility voting
Matrone et al. Explaining AI: understanding deep learning models for heritage point clouds
US20220318989A1 (en) Automatic Clean Up of Jaw Scans
US20220277457A1 (en) Segmentating a tubular feature
US20230218370A1 (en) Automatic determination of trim-line for aligners
TWI307057B (en) A method for rendering three-dimension volume data
Karara et al. 3D Point Cloud Semantic Augmentation: Instance Segmentation of 360° Panoramas by Deep Learning Techniques. Remote Sens. 2021, 13, 3647
US20240233146A1 (en) Image processing using neural networks, with image registration
US20230177722A1 (en) Apparatus and method with object posture estimating

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231114