JP7458711B2 - ディープラーニングを用いた歯科用ｃａｄの自動化 - Google Patents

Description

本開示は、概略として歯科用のコンピュータ補助設計（ＣＡＤ）の分野に関し、具体的にはディープラーニングを用いた歯科用ＣＡＤの自動化に関する。

近年、ＣＡＤ／ＣＡＭ歯科医術（歯科医術におけるコンピュータ補助設計及びコンピュータ補助製造）が、歯冠、べニア、インレー及びアンレー、固定架工義歯、歯科インプラント修復物並びに歯科矯正アプリケーションを含む広範な歯科修復物を提供してきた。通常のＣＡＤ／ＣＡＭベースの歯科手順では、治療歯科医は、修復される歯を歯冠、インレー、アンレー又はべニアのいずれかとして準備することができる。そして、準備される歯及びその周辺は、三次元（３Ｄ）撮像カメラによってスキャンされ、設計用コンピュータにアップロードされる。あるいは、歯科医は、修復される歯の印象を取得すればよく、その印象は直接スキャンされ、又はスキャンされるモデルに形成され、設計用コンピュータにアップロードされ得る。

現在の歯科用ＣＡＤは、未だに手動作業に大きく依存する。これらの修復物のＣＡＤに伴う手動作業量を最小化することは、大きな関心事である。究極の目的は、人間の介在なしに許容可能な設計を与えることができる完全自動化ソリューションを提供することである。そのような非常に自律的な歯科用ＣＡＤシステムを構築するために、高いレベルの経験がソフトウェアに集積される必要がある。それを行う一つのやり方は、熟練の歯科専門家に知られている全てのニュアンスを含むことになる包括的な規則のセットを構築し、それを機械が理解可能なように定式化することである。しかし、各歯科修復物は固有のものであり、歯科技師によってなされる特定の判断は厳密に定義することが非常に難しい。したがって、これは、非常に面倒な仕事であり、この規則のセットが提供可能な場合にのみ実行可能となることは明らかである。

マシンラーニング（ＭＬ）業界において近年普及してきた異なるアプローチは、規則の明示的な定式化なしに多数の例から学習することができるシステムを構築する考えに基づく。この方法は、一般に、ディープラーニング（ＤＬ）といわれ、これは、数例を挙げると、会話認識（例えば、Ｓｉｒｉ）、コンピュータビジョン（例えば、Ｇｏｏｇｌｅ＋）、自動オファリング（例えば、Ａｍａｚｏｎ）においてある程度の成功で使用されている。大量のデータ及び計算能力が利用可能であることによって、ほんの数年前では処理しにくいとみられていた問題に対処する能力が与えられる。ＤＬは、大量のデータを用いて非常に大きなディープニューラルネットワーク（ＤＮＮ）をトレーニングする能力を与える。

ディープニューラルネットワークを用いて歯科補綴物の３Ｄモデルを生成するための方法及びコンピュータにより実行されるシステムの例示の実施形態をここに説明する。ある方法の実施形態は、１以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第１の３Ｄ歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップと、１以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、トレーニングされたディープニューラルネットワークを用いて、受信された患者スキャンデータに基づいて第１の３Ｄ歯科補綴物モデルを生成するステップとを含み得る。

トレーニングデータセットは、準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え得る。歯肉線上の準備部位は、歯茎上の準備限界又は限界線によって規定され得る。歯科補綴物データセットは、歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを含み得る。

スキャン補綴物は、３２個以上の歯テンプレートを有するライブラリ歯テンプレートに基づいて作成された現実の患者の歯冠のスキャンであり得る。準備部位データを有する歯列スキャンデータセットは、患者のスキャン歯列から現実の準備部位のスキャンデータを含み得る。

ある実施形態では、トレーニングデータセットは、デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット、及び歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを含み得る自然歯科補綴物データセットを含み得る。自然歯列スキャンデータは、２つの主なコンポーネントを有し得る。第１のコンポーネントは、患者の自然歯のスキャン歯列データを含むデータセットである。第１のコンポーネントにおけるデータは、その自然及び未修正のデジタル状態における患者の歯の全てを含む。自然歯列スキャンデータの第２のコンポーネントは、スキャンデータから除去された１以上の歯を有する欠落歯データセットである。欠落歯の代わりに、ＤＮＮ作製による準備部位が除去歯の部位において置換され得る。この処理は、２つのセットの歯列データ：患者の自然歯の完全かつ未修正の歯列スキャンデータ、及び１本以上の歯が歯列スキャンデータからデジタル的に除去された欠落歯データセット（自然歯科補綴物データセット）を生成する。

ある実施形態では、方法は、完全アーチデジタルモデルを生成するステップと、トレーニングデータとしての使用のために自然歯冠データを生成するように完全なアーチにおける各歯をセグメント化するステップとをさらに含む。方法はまた、デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第２の３Ｄ歯科補綴物モデルを生成するように第２のディープニューラルネットワークをトレーニングするステップと、第２のディープニューラルネットワークを用いて、受信された患者スキャンデータに基づいて第２の３Ｄ歯科補綴物モデルを生成するステップと、第１及び第２の３Ｄ歯科補綴物モデルの特徴を共に混合して混合３Ｄ歯科補綴物モデルを生成するステップも含み得る。

ある実施形態では、自然歯列スキャンデータは、性別、年齢、民族的属性、食事、生活様式などのような患者のプロファイルを同様に一致させるように選択され得る。患者のプロファイルが特定されると、類似又は同一のプロファイルを有する自然歯列スキャンデータは、カスタマイズされた３Ｄ歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするように選択可能となる。

明細書に記載される構成及び効果は全てが包含的なものではなく、特に、多数の追加の構成及び効果が図面、明細書及び特許請求の範囲から当業者に明らかとなる。さらに、明細書において使用される文言は、原則として、読み易さ及び教示目的のために選択されており、開示の主題を境界付け又は制限するのに使用されているわけではないことを注記しておく。

図１は、開示の幾つかの実施形態による、患者の歯列のスキャンデータからの歯科情報を認識するための及び歯科修復物を設計するためのシステムの上位ブロック図である。 図２は、本開示の幾つかの実施形態によるコンピューティングデバイスの上位ブロック図である。 図３は、本開示の幾つかの実施形態による、ディープニューラルネットワークを用いる３Ｄ歯科補綴物モデルを生成するための処理のフローチャートである。 図４は、本開示の幾つかの実施形態によるディープニューラルネットワークの構造を示す上位ブロック図である。 図５は、本開示の幾つかの実施形態によるディープニューラルネットワークに対する入力及び出力のグラフィック表示である。 図６Ａは、本開示の幾つかの実施形態による、３Ｄ歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフロー図である。 図６Ｂは、本開示の幾つかの実施形態による、３Ｄ歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフロー図である。 図７は、本開示の幾つかの実施形態による、３Ｄ歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフローチャートである。 図８は、本開示の幾つかの実施形態による、３Ｄ歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフローチャートである。 図９Ａおよび図９Ｂは、本開示の幾つかの実施形態による、ディープニューラルネットワークを用いて生成された歯冠例を示す。 図１０Ａおよび図１０Ｂは、本開示の幾つかの実施形態による、ある歯科補綴物設計から他のものに構成を転用／合成するのに使用されるグラフィックユーザインターフェースを示す。

以下に、患者の歯列のスキャンデータからの歯科情報又は特徴を認識するための及びディープニューラルネットワークを用いて歯科修復物を設計するためのシステムを説明する。以降の説明において、説明の便宜上、発明の完全な理解を与えるように多数の具体的詳細を説明する。ただし、発明はこれらの具体的詳細なしに実施可能であることは当業者には明らかとなる。他の例では、構造及びデバイスは、発明を不明瞭とすることを回避するためにブロック図形式で示される。

明細書における「一実施形態」又は「実施形態」への言及は、実施形態との関連で記載される特定の構成、構造又は特徴が発明の少なくとも１つの実施形態に含まれることを意味する。本明細書の種々の箇所における「一実施形態では」との文言の出現は、必ずしも全て同じ実施形態に言及しているとは限らない。

以降の詳細な説明のある部分は、コンピュータメモリ内のデータビットにおける動作のアルゴリズム及び記号表現の観点で提示される。これらのアルゴリズムの記載及び表現は、データ処理技術における当業者によって彼らの作業の実体を最も効果的に他の当業者に伝えるのに使用される方法である。アルゴリズムは、ここでは及び一般に、所望の結果を導くステップの自己整合的シーケンスと考えられる。ステップは、物理量の物理的操作を要するものである。通常、必ずしもではないが、これらの量は、記憶、転送、合成、比較又は操作されることができる電気又は磁気信号の形態を採る。場合によっては、原則として汎用性のために、これらの信号をビット、値、要素、記号、文字、用語、数字などとして言及することが好都合であることが分かっている。

ただし、これら及び類似の用語の全ては適切な物理量に関連付けられるものであり、これらの量に適用される単に便利な符号であることが注記される。特に断りがない限り、以降の開示から明らかなように、開示を通じて「処理する」、「演算する」、「計算する」、「判定／特定／決定する」、「表示する」などのような用語は、コンピュータシステムのレジスタ及びメモリ内の物理（電気）量として表されるデータをコンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、送信若しくは表示デバイス内の物理量として同様に表される他のデータに操作及び変換するコンピュータシステム又は同様の電子コンピューティングデバイスの動作及び処理ということが分かる。

本発明は、ここで動作を実行するための装置にも関する。この装置は、必要とされる目的のために特別に構築されてもよいし、コンピュータに記憶されたコンピュータプログラムによって選択的に活性化又は再構成された汎用コンピュータであってもよい。発明は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態又はハードウェア及びソフトウェア要素の双方を含む実施形態の形態をとり得る。ある実施形態では、発明は、コンピュータ可読記憶媒体に記憶された命令又はデータを備えるソフトウェアにおいて実施され、それは、これに限定されることなく、ファームウェア、常駐ソフトウェア、マイクロコード、又はプロセッサによる実行のために命令を記憶するための他の方法を含む。

またさらに、発明は、コンピュータ又は任意の命令実行システムによる又はそれと接続されての使用のためのプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態を採り得る。この説明の目的のため、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによる又はそれと接続されての使用のためのプログラムを内包、記憶又は搬送することができる任意の装置である。コンピュータ可読記憶媒体は、電子、磁気、光学、電磁、赤外又は半導体システム（又は装置若しくはデバイス）又は伝搬媒体であればよい。有体コンピュータ可読記憶媒体の例は、これに限定されないが、半導体すなわち固体メモリ、磁気テープ、着脱可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、硬い磁気ディスク、光学ディスク、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード若しくは光学カード、又は任意のタイプの電子的命令を記憶するためのコンピュータ可読記憶媒体を含み、各々はコンピュータシステムバスに接続される。光学ディスクの例は、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク－リード／ライト（ＣＤ－Ｒ/Ｗ）及びデジタルビデオディスク（ＤＶＤ）を含む。

プログラムコードを記憶及び／又は実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接又は間接的に接続された少なくとも１つのプロセッサを含む。メモリ要素は、実行中にコードがバルクストレージから取得されなければならない回数を減少させるために、プログラムコードの実際の実行中に採用されるローカルメモリ、少なくとも幾つかのプログラムコードの一時的記憶を提供するバルクストレージ及びキャッシュメモリを含み得る。ある実施形態では、（キーボード、ディスプレイ、ポインティングディバイス、又はデータを受信し若しくはデータを提示するように構成された他のデバイスなどの）入力／出力（Ｉ／Ｏ）デバイスが、直接又は介在するＩ／Ｏコントローラを介してシステムに接続される。

ネットワークアダプタはまた、介在するプライベート又は公衆ネットワークを介して他のデータ処理システム又は遠隔のプリンタ若しくは記憶デバイスへの接続を可能とするようにデータ処理システムに接続され得る。モデム、ケーブルモデム及びイーサネットカードは、現在利用可能なタイプのネットワークアダプタの例に過ぎない。

最後に、ここに提示されるアルゴリズム及びディスプレイは、いずれの特定のコンピュータ又は他の装置に本来的に関連していない。種々の汎用システムは、ここでの教示によるプログラムと使用されてもよいし、必要な方法ステップを実行するようにより特化した装置を構築することが好都合となることもある。様々なこれらのシステムに必要な構造は、以下の説明から明らかとなる。様々なプログラミング言語が、ここに記載されるような発明の教示を実施するのに使用され得ることが分かるはずである。

図面及び以降の説明は、説明のためのみによって特定の実施形態を説明するものである。当業者であれば、以降の説明から、ここに説明する構造及び方法の代替の実施形態はここに記載される原理から離れることなく採用され得ることを認識するはずである。ここで幾つかの実施形態に対して参照がなされ、その例は添付図面に示される。なお、実質的に類似又は同様の符号は、図面において類似又は同様の機能を示すのに使用され得る。

システムの概要
患者の歯列のスキャンデータからの歯科情報又は特徴を認識するための及びディープニューラルネットワークを用いて歯科修復物を設計するための方法及びシステムの例示の実施形態をここに説明する。ここに説明する歯科修復物を設計するコンピュータにより実行される方法は、設計処理に関する開始点として患者の口腔の状況の少なくとも一部の電子画像を用いる。ある実施形態では、電子画像は、患者の歯の直接口腔スキャンによって取得される。これは、例えば、歯科医院又はクリニックにおいて通常行われるものであり、歯科医師又は歯科技師によって実行される。他の実施形態では、電子画像は、患者の歯の印象をスキャンすることによって、患者の歯の物理的モデルをスキャンすることによって、又は当業者に周知の他の方法によって間接的に取得される。これは、例えば、歯科実験室において行われ、実験室の技術者によって実行される。したがって、ここに記載される方法は、チェアサイド、歯科実験室又は他の環境での使用に適し、適用可能である。電子画像を用いて、コンピュータにより実行される歯科情報又は特徴認識システムは、自動的に有用な歯科構造及び修復情報を識別するとともに歯列の特徴及び限界線を検出するのに使用されるので、以下のステップにおける自動歯科修復設計及び作製を促進する。

ある実施形態では、患者の解剖図の適切な画像を取得するために、複数回のスキャン（例えば、象限あたり３～５回のスキャン）が実行される。例えば、咬合、舌側及び頬側スキャンが、準備側の顎及び対向側の顎の双方に行われ得る。そして、準備側の顎と対向側の顎の間の適正な咬合関係を確立するように、咬合状態の顎での単一回のスキャンが頬側透視からとられてもよい。さらに、ある実施形態では、隣り合う歯の接触領域を撮影するように隣接間スキャンが付加される。スキャン処理が完了すると、スキャンシステム（不図示）は、複数回のスキャンを準備歯及びその周辺並びに対向歯のデジタルモデル（ここでは「歯科モデル」又は「デジタル歯科モデル」ともいう）に組み立てる。歯科モデルは、準備歯について使用される修復物を設計するのに使用され得る。例えば、歯科修復物設計プログラムが、ユーザデバイスにおけるユーザインターフェースにおいて歯科モデルを処理及び表示し得る。ユーザデバイス上で操作するユーザ（例えば、設計技術者）は、歯科モデルを視認し、歯科モデルに基づいて修復物モデルを設計又は改良することができる。

ある実施形態では、本システムは、患者の歯列の少なくとも一部を表現する歯科モデルから歯科情報及び／又は特徴を自動的に認識し、ユーザが手動設計を開始する前に、認識された歯科情報及び／又は特徴を表示し得る。例えば、本システムは、下顎及び上顎、準備される顎及び対向する顎、準備物が使用される歯の数、又は設計される修復物の種類を識別及びラベル付けし得る。他の例では、本システムはまた、ユーザに対して特徴、例えば、歯列の咬頭又は限界線を検出してもよい。したがって、ユーザは、スクラッチから設計を開始する必要はなく、認識された歯科情報及び特徴があれば、ユーザはより容易かつ迅速に設計を完了することができる。また、状況によっては、自動的に認識された歯科情報及び特徴は、ユーザが適切に設計を行うことを保証することの確認として機能し得る。

ある実施形態では、本システムは、認識された歯科情報及び特徴を、ユーザに対して修復物の自動的提案を生成するための他の自動設計プログラムに供給し得る。例えば、自動設計プログラムは、歯科モデルにおける歯列に最も合致するライブラリ歯アーチ形状を歯ライブラリから検索し、それを自動的に位置決めすることができる。本システムは、認識された歯科情報及び特徴を提案されたライブラリ歯群アーチ形状に合成することによって、ユーザの設計をさらに容易化する。

図１は、本開示の幾つかの実施形態による、患者の歯列のスキャンデータからの歯科情報を認識するための及び歯科修復物を設計するためのシステム１００のブロック図である。システム１００は、歯科修復サーバ１０１、ユーザ１４７によって操作される設計デバイス１０３、クライアント１７５によって操作されるクライアントデバイス１０７及びスキャナ１０９、並びにネットワーク１０５によって接続される第三者サーバ１５１を含む。説明の簡明化のため、図１には、１つの歯科修復サーバ１０１、１つの設計デバイス１０３、１つのクライアントデバイス１０７及び１つの第三者サーバ１５１が示される。システム１００の実施形態は、ネットワーク１０５に接続された複数の歯科修復サーバ１０１、設計デバイス１０３、クライアントデバイス１０７及び第三者サーバ１５１を有し得る。同様に、図１の種々のエンティティによって実行される機能は、異なる実施形態では異なり得る。

ネットワーク１０５は、歯科修復サーバ１０１、設計デバイス１０３、クライアントデバイス１０７及び第三者サーバ１５１間の通信を可能とする。ある実施形態では、ネットワーク１０５は、標準通信技術及び／又はプロトコルを用いる。例えば、ネットワーク１０５は、有線であれ無線であれ、従来のタイプのネットワークであってもよいし、スター構成、トークンリング構成又は関連分野の当業者に周知の他の構成などの任意数の構成を有していてもよい。他の実施形態では、エンティティは、上記のものに代えて又はそれに加えて、カスタム及び／又は専用データ通信技術を用いることができる。

ある実施形態では、ネットワーク１０５は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）及び／又は複数のデバイスが通信する任意の他の相互接続データ経路を備える。他の実施形態では、ネットワーク１０５は、ピアトゥピアネットワークである。ネットワーク１０５は、様々な異なる通信プロトコルにおいてデータを送信するための電気通信ネットワークの部分に接続され、又はそれを含む。例えば、ネットワーク１０５は、３Ｇネットワーク又は４Ｇネットワークである。さらに他の実施形態では、ネットワーク１０５は、ショートメッセージングサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ハイパーテキストトランスファプロトコル（ＨＴＴＰ）、直接データ接続、ワイヤレスアプリケーションプロトコル（ＷＡＰ）、ｅメールなどを介するような、データを送受信するためのＢｌｕｅｔｏｏｔｈ通信ネットワーク又はセルラ通信ネットワークを含む。さらに他の実施形態では、ネットワーク１０５におけるリンクの全部又は一部は、セキュアソケットレイヤ（ＳＳＬ）、セキュアＨＴＴＰ及び／又は仮想プライベートネットワーク（ＶＰＮ）などの従来の暗号化技術を用いて暗号化される。

ある実施形態では、ネットワーク１０５は、旧来的なネットワークではなく、クラウドコンピューティング技術を利用するクラウドである。ネットワーク／クラウド１０５は、任意のクラウドサーバを含み得る。例えば、歯科修復サーバ１０１は、クラウド１０５に含まれるクラウドサーバであり得る。第三者サーバ１５１も、クラウド１０５に含まれるクラウドサーバであり得る。これらのサーバを含むことによって、クラウド１０５は、クラウドコンピューティング技術を利用してクラウドサービスを設計デバイス１０３及び／又はクライアントデバイス１０７に提供することができる。

歯科修復サーバ１０１は、人間のクライアントなどのクライアント１７５によって操作されるクライアントデバイス１０７からの歯科修復リクエストを受信する。ある実施形態では、歯科修復リクエストは、スキャナ１０９によって生成されるスキャン歯科モデルを含む。他の実施形態では、クライアント１０７は、そのリクエストとともに患者の歯の物理的モデル又は印象を歯科修復サーバ１０１に送信してもよく、それに従ってデジタル歯科モデルがサーバ側１０１において、例えば、サーバ１０１上で操作する管理者又は技術者によって作成可能となる。歯科修復サーバ１０１は、クライアント１０７からの受信リクエストに基づいて歯科修復ケースを作成及び管理する。例えば、歯科修復サーバ１０１は、作成されたケースを適切な設計デバイス１０３又は第三者サーバ１５１に割り当ててクライアントのリクエストによる歯科修復を設計することができる。ケースが完了すると、歯科修復サーバ１０１は、完了した設計をクライアント１０７に戻すことができる。ある実施形態では、歯科修復サーバ１０１は、ここに記載される歯科修復サービスを提供するようにクラウド１０５に含まれてもよい。

ある実施形態では、歯科修復サーバ１０１は、歯科モデルからの歯科情報の自動認識のためのディープニューラルネットワークをトレーニングすることができ、以前にトレーニングされたディープニューラルネットワークを用いて歯科修復ケース又はリクエストに関連付けられる歯科モデルの歯科情報を識別する。例えば、歯科情報は、下顎及び上顎、準備される顎及び対向する顎、歯数、歯冠、インレー、ブリッジ及びインプラントなどの修復タイプを含み得る。歯科情報の更なる例は、歯科特徴（例えば、頬側咬頭及び舌側咬頭、咬合面、頬側アーク及び舌側アークなど）、限界線などを含み得る。図示する実施形態では、歯科修復サーバ１０１は、ディープニューラルネットワークのトレーニング及び自動歯科情報認識をそれぞれ行うトレーニングモジュール１２０及びスキャン認識モジュール１２５ａを含む。（対応するデバイス又はサーバを参照して以下に説明する）スキャン認識モジュール１２５ａ、１２５ｂ、１２５ｃ及び１２５ｄを個々に又は総称してスキャン認識モジュール１２５ともいう。

歯科修復サーバ１０１は、１以上のディープニューラルネットワークを有していればよく、それはトレーニングモジュール１２０及び／又は定性評価モジュール１３５の一部となり得る。あるいは、１以上のディープニューラルネットワークは、遠隔に又は分散して、歯科修復サーバ１０１内に存在する独立したモジュールであってもよい。

歯科修復サーバ１０１はまた、歯科モデルに関連するディープニューラルネットワーク及び識別された歯科情報に関係するデータを記憶するデータベース１５０を含む。そして、歯科修復サーバ１０１は、修復設計を容易化するために、歯科モデルの自動的に識別された歯科情報を設計デバイス１０３又は第三者サーバ１５１に供給し得る。データベース１５０はまた、歯科修復サーバ１０１から遠隔に配置されてもよいし、分散して配置されてもよい。ある実施形態では、歯科修復サーバ１０１は、クライアント１７５の検討用に、歯科モデルの識別された歯科情報をクライアントデバイス１０７に送信してもよい。歯科修復サーバ１０１の他の実施形態は、異なる及び／又は追加の構成要素を含んでいてもよい。さらに、機能は、ここに記載するのとは異なる態様で構成要素間に分散されてもよい。またさらに、システム１００は、複数の歯科修復サーバ１０１及び／又は複数の要求クライアント１７５に対して作業を実行する他のデバイスを含み得る。

クライアントデバイス１０７は、スキャナ１０９からのスキャン歯科モデルを受信及び／若しくは検討すること、歯科モデルを含む新たな歯科修復リクエストを設計並びに／若しくは作製のために歯科修復サーバ１０１に提出すること、ネットワーク１０５を介して歯科修復サーバ１０１からの最終歯科修復モデル設計を受信及び／若しくは検討すること、又は歯科モデルの識別された歯科情報を受信及び／若しくは確認することなどの機能を実行するように人間のクライアント１７５によって使用される電子デバイスであればよい。例えば、クライアントデバイス１０７は、スマートフォン又はタブレット、ノートブック若しくはデスクトップコンピュータであり得る。クライアントデバイス１０７は、人間のクライアント１７５が歯科モデルを視認し、歯科モデルの識別された歯科情報を検討し、又は完了した歯科修復設計を検討することができる表示デバイスを含み及び／若しくはそれとインターフェース接続する。さらに、クライアントデバイス１０７は、新たな歯科修復リクエストを提出すること、歯科モデルに関連する識別された歯科情報を受信及び検討すること、完了した歯科修復設計を受信及び検討することなどの機能を実行するように人間のクライアント１７５がクライアントデバイス１０７と相互作用し得る物理的なボタン並びに／又は画面上のボタンなどのユーザインターフェース（ＵＩ）を与える。ある実施形態では、クライアントデバイス１０７は、歯科モデルに関連する歯科情報の自動認識のためのスキャン認識モジュール１２５ｃを含み得る。したがって、デバイス１０７は、クライアント１７５が検討及び確認するための歯科モデルの歯科情報を直接識別することができる。

スキャナ１０９は、準備される歯及びその周辺部又は歯科印象をスキャンするための任意のタイプのデバイスであればよい。スキャナ１０９は、スキャンされた歯及びその周辺部又は歯の印象のデジタルファイルを生成し、そのファイルをクライアントデバイス１０７に送信することができる。例えば、デジタルファイルは、スキャンデータを含み、デジタル歯科モデルを表現し得る。上述したように、歯科モデルは、歯科修復リクエストを作成して設計及び／又は作製のために歯科修復サーバ１０１に送信するのにクライアント１０７によって使用可能である。代替の実施形態では、クライアント１７５は、クライアントデバイス１０７自体において歯科修復物を設計するのに歯科モデルを使用することができる。

設計デバイス１０３は、クライアント１０７によって要求された歯科修復物を設計するようにユーザ１４７によって相互作用され得る。ある実施形態では、設計デバイス１０３は、スマートフォン又はタブレット、ノートブック若しくはデスクトップコンピュータであり得る。ユーザ１４７は、人間のオペレータ、歯科技師又は設計者などであり得る。設計デバイス１０３は、歯科修復サーバ１０１から歯科修復設計アサイメントを受信し、それに従って設計を行うことができる。歯科修復物のデジタル設計に使用される設計ソフトウェア（図１には不図示）は、設計デバイス１０３にインストール可能である。設計ソフトウェアは、ユーザ１４７についてのライブラリベースの自動的な歯科修復提案を提供して設計処理を加速及び簡略化することができる。ある実施形態では、設計デバイス１０３は、歯科モデルに関連付けられた歯科情報の自動認識のためのスキャン認識モジュール１２５ｂを含み得る。歯科情報（例えば、下顎及び上顎、準備される顎及び対向する顎、歯数、歯冠、インレー、ブリッジ及びインプラントなどの修復タイプ、頬側咬頭及び舌側咬頭、咬合面、頬側アーク及び舌側アーク、限界線など）が認識されていれば、設計ソフトウェアは、その歯科情報を自動提案処理に取り入れ、より速くより良いライブラリベースの修復の提案を提供することができる。

第三者サーバ１５１は、ネットワーク１０５を介して歯科修復設計を歯科修復サーバ１０１に提供する任意の１以上のサーバ又はデバイスであればよい。ある実施形態では、第三者サーバ１５１は、歯科修復サーバ１０１との合致を行うのに必要となり得る。ある実施形態では、第三者サーバ１５１は、設計デバイス１０３にインストールされたソフトウェアからの同一の又は異なる設計ソフトウェア（図１には不図示）で装備されたコンピューティングデバイスを含む。図示する実施形態では、第三者サーバ１５１は、設計を容易化する歯科情報識別機能を実行するためのスキャン認識モジュール１２５ｄをインストールすることができる。ある実施形態では、第三者サーバ１５１は、歯科修復設計及び／又は作製サービスを提供するようにクラウド１０５に含まれてもよい。

ある実施形態では、歯科修復サーバ１０１は、修復設計の定性的評価を行うようにディープニューラルネットワークをトレーニングする。例えば、システムは、限界線合せ、隣接歯の接触面、対向顎の歯との咬合、及び修復設計の輪郭のような修復設計の１以上の側面の定性的評価を行い得る。図示する実施形態では、歯科修復サーバ１０１は、ディープニューラルネットワークのトレーニング及び自動定性評価をそれぞれ実行するトレーニングモジュール１２０及び定性評価モジュール１３５を含む。

コンピューティングシステムアーキテクチャ
図１に示すエンティティは、１以上のコンピューティングデバイスを用いて実施される。図２は、歯科修復サーバ１０１、設計デバイス１０３、第三者サーバ１５１及び／若しくはクライアントデバイス１０７又は上記の構成要素として作用するためのコンピューティングデバイス２００の上位ブロック図である。チップセット２０４に接続された少なくとも１つのプロセッサ２０２が図示される。メモリ２０６、記憶デバイス２０８、グラフィクスアダプタ２１２及びネットワークアダプタ２１６も、チップセット２０４に接続される。ディスプレイ２１８が、グラフィクスアダプタ２１２に接続される。ある実施形態では、チップセット２０４の機能は、メモリコントローラハブ２２０及びＩ／Ｏコントローラハブ２２２によって提供される。他の実施形態では、メモリ２０６は、チップセット２０４ではなくプロセッサ２０２に直接接続される。記憶デバイス２０８は、ハードドライブ、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、ＤＶＤ又は固体メモリデバイスなどの任意の非一時的コンピュータ可読記憶媒体である。メモリ２０６は、プロセッサ２０２によって使用される命令及びデータを保持する。グラフィクスアダプタ２１２は、画像及び他の情報をディスプレイ２１８に表示する。ネットワークアダプタ２１６は、コンピュータシステム２００をネットワーク１０５に接続する。

当技術で周知のように、コンピューティングデバイス２００は、図２に示すものとは異なる及び／又は他の構成要素を有し得る。さらに、コンピューティングデバイス２００には、図示した特定の構成要素がなくてもよい。さらに、記憶デバイス２０８はローカルであってもよいし、及び／又は（ストレージエリアネットワーク（ＳＡＮ）内に具現されるように）コンピューティングデバイス２００から遠隔にあってもよい。

当技術で周知のように、コンピューティングデバイス２００は、ここに記載される機能を提供するためのコンピュータプログラムモジュールを実行するように適合される。ここで使用するように、用語「モジュール」とは、特定の機能を提供するのに利用されるコンピュータプログラムロジックをいう。したがって、モジュールは、ハードウェア、ファームウェア及び／又はソフトウェアにおいて実施可能である。ある実施形態では、トレーニングモジュール１２０及びスキャン認識モジュール１２５のようなプログラムモジュールは、記憶デバイス２０８に記憶され、メモリ２０６に読み込まれ、プロセッサ２０２によって実行される。

ディープニューラルネットワークを用いる補綴物生成
図３は、ディープニューラルネットワーク（ＤＮＮ）を用いる歯科補綴物生成処理３００を示す。処理３００は３０５で開始し、ここでは歯列スキャンデータセットが受信され、又はデータベース１５０などのデータベースに取り込まれる。歯列スキャンデータセットは、歯科準備部位を有する現実の患者の歯列及びそれらの準備部位に対して作成された技師生成による（非ＤＮＮ生成による）歯科補綴物の１以上のスキャンデータセットを含み得る。歯科準備部位（歯準備物又は準備歯ともいう）は、歯科補綴物（例えば、歯冠、ブリッジ、インレーなど）を受けるように準備される歯、複数の歯又は一本の歯における領域である。技師又は非ＤＮＮ生成による歯科補綴物は、技師によって主に設計された歯科補綴物である。さらに、技師生成による歯科補綴物は、複数の歯科修復テンプレートを有する歯科テンプレートライブラリに基づいて設計され得る。大人の口における各歯は、歯科テンプレートライブラリにおける１以上の歯科修復テンプレートを有し得る。歯科修復ライブラリについての更なる詳細は、以下に与えられる。

ある実施形態では、歯科準備部位を有する受信された歯列スキャンデータセットは、１以上の歯科準備部位を有する現実の患者の歯列のスキャンデータを含み得る。準備部位は、準備限界によって定義され得る。受信された歯列スキャンデータセットはまた、それらの対応の歯科準備部位に装着されたときの歯科補綴物のスキャンデータを含み得る。このデータセットを歯科補綴物データセットというものとする。ある実施形態では、歯科補綴物データセットは、装着される前の技師生成による補綴物のスキャンデータを含み得る。

ある実施形態では、受信される各歯列スキャンデータセットは、ディープニューラルネットワークの入力としてデータセットを用いる前に選択的に前処理されてもよい。歯列スキャンデータは、通常は患者の歯列の１以上の部分を表す３Ｄデジタル画像又はファイルである。患者の歯列の３Ｄデジタル画像（３Ｄスキャンデータ）は、患者の口を口腔内スキャンすることによって取得可能である。あるいは、患者の歯の印象又は物理的モデルのスキャンは、患者の歯列の３Ｄスキャンデータを生成するようになされ得る。ある実施形態では、３Ｄスキャンデータは、例えば、２Ｄ深度マップ及び／又はスナップショットを用いて２Ｄデータフォーマットに変換され得る。

３１０において、ディープニューラルネットワークは、現実の歯科準備部位並びに装着後及び／又は装着前のそれらの対応の技師生成による歯科補綴物のスキャンデータを有する歯列スキャンデータセットを用いて（例えば、トレーニングモジュール１２０によって）トレーニングされ得る。現実の歯科準備部位及びそれらの対応の技師生成による歯科補綴物のデータセットの上記組合せをここでは技師生成による歯列スキャンデータセットというものとする。ある実施形態では、ディープニューラルネットワークは、技師生成による歯列スキャンデータセットのみを用いてトレーニングされ得る。言い換えると、トレーニングデータは、１以上の歯科修復ライブラリテンプレートに基づいて作成された技師生成による歯科補綴物のみを含む。

歯科修復ライブラリの歯科テンプレートは、それが特定の歯（例えば、歯＃３）に対する特定の特徴で設計されたので、最適修復モデルであるとみなされ得る。一般に、標準的な大人の口には３２本の歯がある。したがって、歯科修復ライブラリは、少なくとも３２個のテンプレートを有し得る。ある実施形態では、各歯テンプレートは、３２本の歯の１本に特有なものとなり得る１以上の特定の特徴（例えば、側壁サイズ及び形状、頬側咬頭及び舌側咬頭、咬合面、並びに頬側アーク及び舌側アークなど）を有し得る。例えば、修復ライブラリにおける各歯は、特徴、ランドマーク、隣接する歯に最も合致することになる方向、周辺の歯肉、並びに歯科アーチ形状内の歯の位置及び姿勢を含むように設計される。このように、ディープニューラルネットワークは、特定の歯について顕著な特定の特徴（例えば、側壁サイズ及び形状、咬頭、溝、窪みなど）及びそれらの関係（例えば、咬頭間の距離）を認識するようにトレーニング可能となる。

トレーニングモジュール１２０は、１以上の歯列分類が出力確率ベクトルに基づいてトレーニングデータセットにおいて存在し又は識別されることを認識するようにディープニューラルネットワークをトレーニングすることができる。例えば、トレーニングデータセットが、大量の患者の上顎を表す深度マップ及び／又は患者の下顎を表す深度マップを含むものとする。トレーニングモジュール１２０は、トレーニングデータセットを用いて、歯科アーチ形状における各個々の歯を認識するようにディープニューラルネットワークをトレーニングすることができる。同様に、ディープニューラルネットワークは、上顎及び下顎に属する深度マップの確率を含む確率ベクトルに下顎の深度マップをマッピングするようにトレーニング可能であり、ここで、下顎に属する深度マップの確率はベクトルにおいて最大となり、又は上顎が属する深度マップの確率よりも実質的に高くなる。

ある実施形態では、トレーニングモジュール１２０は、現実の歯科準備部位及び対応の技師生成による歯科補綴物の１以上のスキャンデータセットを有する歯列スキャンデータセットを用いて、完全３Ｄ歯科修復モデルを生成するようにディープニューラルネットワークをトレーニングしてもよい。このように、ＤＮＮ生成による３Ｄ歯科修復モデルは歯科修復ライブラリの１以上の歯テンプレートの１以上の特徴を本質的に取り込み、それはデータベース１５０の一部となり得る。

本開示の幾つかの実施形態によるディープニューラルネットワーク（ＤＮＮ）４００の構造を示す上位ブロック図である図４をここで参照すると、ＤＮＮ４００は、複数のレイヤＮ_ｉ、Ｎ_ｈ，１、Ｎ_{ｈ、ｌ－１}、Ｎ_ｈ，ｌ、Ｎ_ｏなどを含む。第１のレイヤＮ_ｉは、１以上の歯列スキャンデータセットが取り込まれ得る入力レイヤである。最後のレイヤＮ_ｏは、出力レイヤである。本開示において使用されるディープニューラルネットワークは、確率及び／又は完全３Ｄ修復モデルを出力し得る。例えば、出力は、特定の分類に属する歯科モデルの各特徴又は側面の１以上の確率値を含む確率ベクトルであり得る。さらに、出力は、歯科修復の完全３Ｄモデルであり得る。

各レイヤＮは、次のレイヤＮ＋１における各ノードに接続する複数のノードを含み得る。例えば、レイヤＮ_{ｈ，ｌ－１}における各計算ノードは、レイヤＮ_ｈ，ｌにおける各計算ノードに接続する。入力レイヤＮｉと出力レイヤＮｏの間のレイヤＮ_ｈ，ｌ、Ｎ_{ｈ，ｌ－１}及びＮ_ｈ，１は、隠れたレイヤである。図４において「ｈ」で示す隠れたレイヤにおけるノードは、隠れた変数であり得る。ある実施形態では、ＤＮＮ４００は、複数の、例えば、２４個、３０個、５０個などの隠れたレイヤを含み得る。

ある実施形態では、ＤＮＮ４００は、ディープフィードフォワードネットワークであり得る。ＤＮＮ４００は、ディープニューラルネットワークの隠れたレイヤの少なくとも１つにおいて一般行列乗算の代わりに畳み込みを用いるネットワークである畳み込みニューラルネットワークであってもよい。ＤＮＮ４００は、生成系ニューラルネットワーク又は敵対的生成ネットワークであってもよい。ある実施形態では、トレーニングモジュール１２０は、ディープニューラルネットワークの学習処理を管理するのにラベル付きのトレーニングデータセットを用いることができる。ラベルは、特徴を確率ベクトルの確率値にマッピングするのに使用される。あるいは、トレーニングモジュール１２０は、ラベル付けされたトレーニングデータセットを必ずしも必要としない生成系ディープニューラルネットワークを非管理的な態様でトレーニングするのに、構造化もラベル付けもされないトレーニングデータセットを用いることができる。

トレーニングモジュール１２０は、技師設計による歯列スキャンデータセットのみを用いて歯科修復の３Ｄモデルを生成するようにディープニューラルネットワークをトレーニングすることができる。このように、ＤＮＮ生成による３Ｄ歯科補綴物は、人間の技師がライブラリテンプレートを用いることによって設計された歯科補綴物の１以上の特徴を本質的に含むことになる。ある実施形態では、トレーニングモジュール１２０は、技師生成による歯科補綴物の咬合面が準備部位又は限界における欠落歯の咬合面を表す確率を含む確率ベクトルを出力するようにディープニューラルネットワークをトレーニングすることができる。さらに、トレーニングモジュール１２０は、最高確率を有する咬合面及び限界線データをスキャンされた歯列データから準備部位にマッピングすることによって完全な３Ｄ歯科修復モデルを生成するようにディープニューラルネットワークをトレーニングすることができる。さらに、トレーニングモジュール１２０は、側壁の１つが準備部位からの咬合面及び限界線データに一致することの確率を含む確率ベクトルに技師生成による歯科補綴物の側壁データをマッピングすることによって３Ｄ歯科修復モデルの側壁を生成するようにディープニューラルネットワークをトレーニングすることができる。

図３を再度参照すると、新たな患者に対する歯科補綴物の新たな３Ｄモデルを生成するために、３１５において、新たな患者の歯列スキャンデータ（例えば、スキャンされた歯科印象、物理的モデル又は口腔内スキャン）が受信され、取り込まれる。ある実施形態では、新たな患者の歯列スキャンデータは、３Ｄ画像データを２Ｄ画像データに変換するように前処理されてもよく、それは歯列スキャンデータが特定のニューラルネットワークアルゴリズムによって取り入れられることをより容易とすることができる。３２０において、以前にトレーニングされたディープニューラルネットワークを用いて、新たな患者の歯列における１以上の歯科特徴が識別される。識別された特徴は、例えば、準備部位、対応の限界線、隣接歯及び対応の特徴並びに周辺の歯肉であり得る。

３２５において、トレーニングされたディープニューラルネットワークを用いて、完全３Ｄ歯科修復モデルが、３２０において識別された特徴に基づいて生成可能となる。ある実施形態では、トレーニングされたディープニューラルネットワークに、準備部位に対する歯科補綴物の咬合部分を生成すること、患者の歯列スキャンデータから限界線データを取得すること、選択的に限界線を最適化すること、及び生成された咬合部分と限界線との間の側壁を生成することによって完全３Ｄ歯科修復モデルを生成するようにタスクが課されてもよい。咬合部分を生成することは、近心面頬面咬頭、頬側溝、遠心面頬面咬頭、遠端、遠心面頬面溝、遠端の窪み、舌側溝、近心面舌面咬頭などの１以上を有する咬合面を生成することを含み得る。

トレーニングされたディープニューラルネットワークは、患者の歯列スキャンデータから限界線データを取得することができる。ある実施形態では、トレーニングされたディープニューラルネットワークは、取得された限界線の輪郭を、それを類似の隣接歯、周辺の歯肉などを有する数千の他の類似の限界線（例えば、同じ歯準備部位の限界線）と比較及びマッピングすることによって選択的に修正することができる。

完全３Ｄモデルを生成するために、トレーニングされたディープニューラルネットワークは、生成された咬合面と限界線との間に合致する側壁を生成することができる。これは、数千の技師生成による歯科補綴物の側壁を生成された咬合部分及び限界線にマッピングすることによって行われ得る。ある実施形態では、（確率ベクトルにおいて）最高確率値を有する側壁が、咬合面と限界線の間の最終的な側壁が生成されることになる基礎モデルとして選択され得る。

図５は、本発明の幾つかの実施形態によるトレーニングされたディープニューラルネットワーク４００（例えば、ＧＡＮ）の例示の入力及び出力を示す。図示するように、入力データセット５０５は、準備部位５１０を有する新たな患者の歯列スキャンができる。トレーニングされた１以上のディープニューラルネットワーク４００を用いて、歯科修復サーバ１０１は、歯科修復物５１５の（ＤＮＮ生成による）３Ｄモデルを生成することができる。ＤＮＮ生成による歯科補綴物５１５は、咬合部分５２０、限界線部分５２５及び側壁部分５３０を含む。ある実施形態では、ディープニューラルネットワークは、１以上のライブラリテンプレートに基づいて生成された数千の技師生成による歯科補綴物を解析し、それらを準備部位５１０にマッピングすることによって補綴物５１５に対する側壁を生成することができる。最後に、最高確率値を有する側壁が、側壁５３０を生成するモデルとして選択可能となる。

図６Ａは、本開示の幾つかの実施形態による、歯科解剖特徴及び修復物を識別及びモデル化するのに採用可能な敵対的生成ネットワーク（ＧＡＮネットワーク）６００の構造を示す上位ブロック図である。上位において、ＧＡＮネットワーク６００は、現実のモデルと比較された場合に実質的に区別できない出力モデルを生成するように２つの独立したニューラルネットワークを相互に対して用いる。言い換えると、ＧＡＮネットワーク６００は、２つの競合するニューラルネットワークの間の収束を得るミニマックス最適化問題を採用する。ＧＡＮネットワーク６００は、生成器ニューラルネットワーク６１０及び弁別器ニューラルネットワーク６２０を含む。ある実施形態では、両ニューラルネットワーク６１０及び弁別器ネットワーク６２０は、構造化されず管理されない学習を実行するように構成されたディープニューラルネットワークである。ＧＡＮネットワーク６００では、生成器ネットワーク６１０及び弁別器ネットワーク（ディープニューラルネットワークを弁別する）６２０の双方は、同時にトレーニングされる。生成器ネットワーク６１０は、データ入力６０５からサンプル６１５を生成するようにトレーニングされる。弁別器ネットワーク６２０は、サンプル６１５が入力６０５のデータサンプルの１つではなく（現実のサンプル、現実のデータ６２５からの）トレーニングデータサンプル６３０に属する確率を提供するようにトレーニングされる。生成器ネットワーク６１０は、弁別器ネットワーク６２０がトレーニングデータセット及び生成器６１０によって生成された出力サンプルを（６３５において）区別できなくなる確率を最大化するように再帰的にトレーニングされる。

各インタラクションにおいて、弁別器ネットワーク６２０は、生成されたサンプル６１５が現実のニューラル画像であるのか生成器６１０によって生成されたものなのかを定量化するのに使用される損失関数６４０を出力することができる。損失関数６４０は、後続のサイクルにおいて生成される各後続サンプルを向上するのに生成器６１０に必要なフィードバックを提供するのに使用され得る。ある実施形態では、損失関数に応じて、生成器６１０は、重み付け及び／又はバイアス変数の１以上を変化させて他の出力を生成することができる。

ある実施形態では、トレーニングモジュール１２０は、２つの敵対的ネットワーク、生成器６１０及び弁別器６２０を同時にトレーニングすることができる。トレーニングモジュール１２０は、１以上の歯科特徴及び／又は修復物のサンプルモデルを生成するように患者の歯列スキャンデータセットの１以上を用いて生成器６１０をトレーニングすることができる。例えば、患者の歯列スキャンデータは、準備される歯／部位及びその隣接歯を含む下顎の３Ｄスキャンデータであり得る。同時に、トレーニングモジュール１２０は、現実のデータセット（歯冠の画像を有する複数のスキャンデータセットの集合）からの歯冠のサンプルに対して（生成器６１０によって生成される）準備される歯についての歯冠の生成３Ｄモデルを区別するように弁別器６２０をトレーニングすることができる。ある実施形態では、ＧＡＮネットワークは管理されない学習について設計されるので、入力６０５及び現実のデータ６２５（例えば、歯列トレーニングデータセット）はラベル付けされなくてもよい。

図６Ｂは、本開示の幾つかの実施形態による歯科修復物の３Ｄモデルを生成するための方法６５０のフローチャートである。方法６５０は、トレーニングモジュール１２０などの歯科修復サーバ１０１の１以上のモジュールによって実行可能である。方法６５０の命令、処理及びアルゴリズムは、コンピューティングデバイス２００のメモリ２０６に記憶され得るものであり、プロセッサ２０２によって実行されると、それらは３Ｄ歯科補綴物を生成するための１以上のディープニューラルネットワークのトレーニングをコンピューティングデバイス２００に実行させることができる。方法６５０において記載される処理及び手順の一部又は全部は、修復サーバ１０１内又は他の遠隔コンピューティングデバイス内の１以上の他のエンティティ又はモジュールによって実行され得る。さらに、方法６５０の１以上のブロック（処理）は、並列に、異なる順序で実行されてもよいし、省略されてもよい。

６５５において、トレーニングモジュール１２０は、歯冠などの歯科補綴物の３Ｄモデルを生成するように、ラベル付けされない歯列データセットを用いて生成系ディープニューラルネットワーク（例えば、ＧＡＮ生成器６１０）をトレーニングすることができる。一実施形態では、ラベル付け及び分類された歯列データセットが使用されてもよいが、必要ではない。生成系ディープニューラルネットワークは、歯科修復サーバ１０１の内部又は外部において、トレーニングモジュール１２０又は別個の独立したニューラルネットワークモジュールに存在していてもよい。

６６０において、実質的に同時に、トレーニングモジュール１２０はまた、生成系ディープニューラルネットワークによって生成された歯科修復物が現実の歯科修復物のデジタルモデルに対するモデルであることを認識するように弁別ディープニューラルネットワーク（例えば、弁別器６２０）をトレーニングすることもできる。認識処理では、弁別ディープニューラルネットワークは、現実の歯科修復物と歯科修復物の生成モデルとの比較に基づいて損失関数を生成することができる。損失関数は、生成系ディープニューラルネットワークにフィードバックメカニズムを提供する。出力された損失関数からの情報を用いて、生成系ディープニューラルネットワークは、弁別ニューラルネットワークをより良く欺くことができる一層良好なモデルを生成して、生成モデルが現実のモデルであると思わせることができる。

生成系ディープニューラルネットワーク及び弁別ニューラルネットワークは、相反するものとみなすことができる。言い換えると、生成系ディープニューラルネットワークの目的は、現実のサンプル分布又は模造サンプル分布（生成モデル）に属するモデルであることを弁別ディープニューラルネットワークによっては区別できないモデルを生成することである。６６５において、生成モデルが最も模造らしいことを示す確率値を有する場合、両ディープニューラルネットワークのトレーニングは、６５５及び６６０を再度反復及び継続する。この処理は、弁別ディープニューラルネットワークが生成モデルと現実のモデルの間を区別できなくなるまで継続及び反復する。言い換えると、生成モデルが模造である確率は非常に低く、又は生成モデルが現実のサンプルの分布に属する確率は非常に高い。

ディープニューラルネットワークがトレーニングされると、方法６００は、６７０で受信される患者の歯列データセットに基づいて歯科修復物のモデルを生成する準備ができる。６７５において、患者の歯列データセットのモデルは、受信された患者の歯列データセットを用いて生成される。

図７は、本開示の幾つかの実施形態によるアーチセグメント化（arch segmentation）を用いてディープニューラルネットワークをトレーニングするのに使用可能な新たなニューラル歯列データセットを生成する処理７００を示す。処理７００は、１以上の歯列スキャンデータセットが受信されてデータベース１５０に取り込まれる７０５で開始する。ある実施形態では、３Ｄフォーマット画像のデータ取込みは、３Ｄデータから、個々の歯の識別を含む種々の歯科特徴を認識するようにディープニューラルネットワークをトレーニングするのに使用可能な２Ｄフォーマットに変換することを含み得る。７１０において、部分的又は完全アーチセグメント化が、受信歯列スキャンデータに対して実行される。アーチセグメント化処理は、歯列識別及び分類に有用なものとなり得る。言い換えると、アーチセグメント化能力があれば、歯科修復サーバ１０１は、準備部位の位置及び特徴並びに生成される歯科補綴物が模倣すべき歯識別子（例えば、歯＃３）を識別するのにトレーニング済みディープニューラルネットワークを用いることができる。他の例では、アーチセグメント化能力があれば、歯科修復サーバ１０１は、隣接する歯及び／又は周囲の歯肉のデータのない任意の個々の歯のスキャンを識別することができる。

ある実施形態では、アーチセグメント化処理は、歯列スキャンデータを識別して複数の個々の歯データコンポーネントにセグメント化することを含む。例えば、部分的歯列スキャンが４本の歯（番号１～４）を有するものとすると、セグメント化処理はスキャンデータを４個の個別のデータコンポーネントにフラグ付け及び／又は分離することができる。各コンポーネントは、各歯についてのスキャンデータを表す。したがって、セグメント化処理は、４本の個々の歯のいずれかについてのデータが選択、除去及び／又は置換可能となるように、部分的歯列スキャンデータを修正することができる。７１５において、歯（例えば、歯＃２）についてのデータコンポーネントの１つが、４本の歯のアーチ形状の当初のスキャン歯列データから削除され得る。ある実施形態では、削除された歯についてのデータコンポーネントが、デジタル的に作成／作製された準備部位又は限界と置換され得る。したがって、新たなアーチ形状についての新たな歯列スキャンデータ（１本の歯は抽出／削除）は、３本の歯及び１つの準備部位を含む。

ある実施形態では、アーチセグメント化に対する有用なアプリケーションの１つは、（７２０において）全体的に新たな自然歯列データセットを生成する能力を有して、歯科補綴物の自然に見える３Ｄモデルを生成するようにディープニューラルネットワークをトレーニングすることである。ここで用いられる自然歯列スキャンデータは、２つの主コンポーネントを有する。第１のコンポーネントは、患者の自然歯のスキャン歯列データ（理想的には上顎及び下顎の完全アーチスキャン）を含むデータセットである。第１のコンポーネントにおけるデータは、その自然かつ未修正のデジタル状態における患者の歯の全てを含む。自然歯列スキャンデータの第２のコンポーネントは、スキャンデータから除去された１以上の歯を有する欠落歯データセットである。欠落歯の代わりに、ＤＮＮ生成による準備部位が欠落歯の部位に置換され得る。この処理は、歯列データの２つのセット：患者の自然歯の完全かつ未修正の歯列スキャンデータ、及び１以上の歯が歯列スキャンデータからデジタル的に除去された欠落歯データセットを生成する。

７２５において、１以上のディープニューラルネットワークが、新たに作成された自然トレーニングスキャンデータセットを用いてトレーニングされる。新たに作成された自然トレーニングスキャンデータセットを用いてディープニューラルネットワークがトレーニングされると、それは自然３Ｄ歯科補綴物を生成するのに使用可能となる。なお、歯科補綴物生成処理３００と歯科補綴物生成処理７００の主な相違の１つは、処理３００から生成されたＤＮＮ生成による３Ｄモデルは技師生成による歯科補綴物に基づいており（逆に歯科修復テンプレートに基づかず）、処理７００から生成されたＤＮＮ生成による３Ｄモデルは患者の自然歯列特徴に基づくことである。前者のＤＮＮ生成による３Ｄモデルは、それが注意深く工学設計されたライブラリテンプレートに基づくので、その自然ベースの対応物よりも技術的に完全なものとみなされ得る。

カスタマイズされたトレーニング及びモデル生成
図８は、本開示の幾つかの実施形態による、カスタマイズされたＤＮＮ生成による歯科補綴物を生成するためにトレーニングデータセットをカスタマイズするための処理８００を示す。８０５において、患者の歯列スキャンデータ及び個人データが受信される。個人データは、患者の年齢、性別、民族的帰属、食事、生活様式、及び患者の歯列についての洞察を与えることができ又は患者のグループ若しくはクラスを作成することができる他の情報を含み得る。８１０において、自然トレーニングデータセットが、患者の個人データに基づいて生成される。同様の年齢、食事及び生活様式の人からのカスタマイズされたトレーニングデータセットは、より望ましいＤＮＮ生成による３Ｄ歯科補綴物を導くことができる。例えば、７０歳代の患者は、ＤＮＮ生成による歯冠が装着後に人工的に見えないように、他の７０歳代の自然歯と同じように見えるＤＮＮ生成による歯冠を望み得る。他の例では、米国南東部出身のタバコ製品を吸う患者は、やはりタバコ製品を吸う米国南東部出身の他の人と同じように見えるＤＮＮ生成による歯冠を望み得る。したがって、各歯列データセットは、１以上の個人データによって分類及び類別され得る。ある実施形態では、歯列データセットの類別は、歯科修復サーバ１０１によって又は手動で行われ得る。

自然歯列トレーニングデータセットは、年齢、性別、食事、生活様式などのような患者の個人データと一致する歯列スキャンデータを選択することによって作成される。前述したように、自然トレーニングデータセットは、２つの主なコンポーネントを有する。第１のコンポーネントは、患者の自然歯のスキャン歯列データの集合（理想的には、上顎及び下顎の完全アーチスキャン）である。上記例を用いると、米国南東部における人の歯列スキャンデータのみが使用される。そして入手可能であれば、タバコ使用者の歯列スキャンデータのみが使用される。自然歯列スキャンデータの第２のコンポーネントは、スキャンデータから除去された１以上の歯を有する欠落歯データセットである。欠落歯の代わりに、ＤＮＮ生成による準備部位が欠落歯の部位において置換され得る。ここでも、この処理は、自然トレーニングデータセットに対する歯列データの２つのセット：患者の自然歯の完全かつ未修正の歯列スキャンデータ、及び１以上の歯が歯列スキャンデータからデジタル的に除去された欠落歯データセットを生成する。

８１５において、自然トレーニングデータセットが、歯科補綴物の完全３Ｄモデルを生成するようにディープニューラルネットワークをトレーニングするのに使用される。８２０において、トレーニングされたディープニューラルネットワークは、受信された患者の歯列スキャンデータに基づいて歯科補綴物の完全３Ｄモデルを生成することができる。処理３００によって生成された３Ｄ歯科補綴物は歯列概観からは非常に良いが、カスタマイズされたトレーニングデータセットを用いて処理８００によって生成された３Ｄ歯科補綴物は、本来的な不完全さ（例えば、明瞭でない咬頭及び溝、並びにより混合的な特徴）のために、患者にとってはより望ましいものとなるはずであり、より自然に見えることになる。

図９Ａは、技師生成による歯冠を用いてトレーニングされたＤＮＮを用いる処理３００を用いる例示のＤＮＮ生成による歯冠９００を示す。前述したように、技師生成による歯冠は、それらが歯科修復ライブラリの注意深く工学設計された歯科テンプレートに基づくため、より「完全な」外観となる。図示するように、歯冠９００は、明瞭な溝及び咬頭を有する。図９Ｂは、自然歯列トレーニングデータセットを用いてトレーニングされたＤＮＮを用いる処理７００又は８００を用いて生成された例示のＤＮＮ生成による歯冠９５０を示す。図示するように、歯冠９５０は、混合された特徴を有する（すなわち、咬頭及び溝は明瞭ではなく混合されている）。歯冠９５０は、歯冠９００よりも不完全に見えることになるが、それが周囲の歯により良く合致し得るので、それでも歯冠９００よりも望ましいものとなり得る。例えば、７０歳代の歯の実質的に全てが摩耗している場合、装着歯冠９００は直ちに目立ってしまう。そこで、この場合、歯冠９５０は、７０歳代の患者により望ましいものとなり得る。

図１０Ａ～Ｂは、本開示の幾つかの実施形態による、歯冠９５０の１以上の特徴を歯冠９００に転用／合成することによって混合歯冠を生成する例示のユーザインターフェース１０００を示す。ユーザインターフェース１０００は、自然歯冠ウィンドウ１００５、工学設計された歯冠ウィンドウ１０１０、混合歯冠ウィンドウ１０１５、境界／輪郭スライドバー１０２０及び解剖スライドバー１０２５を含む。図示するように、自然歯冠ウィンドウは、処理７００又は８００を用いるＤＮＮ生成による歯冠を表示する。工学設計歯冠（例えば、技師生成による歯冠データを用いて生成された歯冠）ウィンドウ１０１０は処理３００を用いたＤＮＮ生成による歯冠を表示し、混合歯冠ウィンドウは自然歯冠及び工学設計された歯冠の双方からの混合構成を有する歯冠を表示する。

より多くの輪郭及び／又はより多くの特徴をウィンドウ１００５における自然歯冠に付加するために、ユーザはスライドバー１０２０及び／又はスライドバー１０２５におけるバーをスライドさせることができ、トレーニングされたＤＮＮはウィンドウ１０１０における工学設計された歯冠の輪郭及び解剖構造の１以上の特徴をウィンドウ１００５における自然歯冠に自動的に転用することができる。特徴転用機能の結果は、混合歯冠１０２５又は１０３０である。図１０Ｂに示すように、解剖構造の最大量は、スライドバーを用いて選択される。したがって、混合歯冠１０３０は、工学設計された歯冠として非常に類似する又は同一の特徴を有する。

上記説明は、好ましい実施形態の動作を示すために含まれ、発明の範囲を限定することを意味するものではない。発明の範囲は、以降の特許請求の範囲によってのみ限定されるものである。上記記載から、発明の趣旨及び範囲によって包含されることになる多数のバリエーションが当業者に明らかとなる。

本発明の実施形態の上記説明は、例示及び説明の目的で提示されている。それは、網羅的なものでも、本発明を開示される正確な形態に限定するものでもない。多数の変形例及びバリエーションが、上記教示に照らして可能となる。本発明の範囲はこの詳細な説明によってではなく、本願の特許請求の範囲によって限定されるものである。当業者には理解されるように、本発明は、その趣旨又は本質的特徴から離れることなく他の具体的な形態において具現され得る。同様に、モジュール、ルーチン、構成、属性、方法及び他の側面の特定の名称付け及び区分は、強制的なものでも重大なものでもなく、本発明又はその構成を実施するメカニズムは、異なる名称、区分及び／又は形式を有していてもよい。

またさらに、当業者には明らかなように、本発明のモジュール、ルーチン、構成、属性、方法及び他の側面は、ソフトウェア、ハードウェア、ファームウェア又はこれらの３つの任意の組合せとして実施され得る。また、モジュールを一例とする本発明の構成要素がソフトウェアとして実施される場合には、構成要素は、スタンドアロンプログラムとして、より大きなプログラムの部分として、複数の個別のプログラムとして、静的若しくは動的にリンクされたライブラリとして、カーネル読込み可能なモジュールとして、デバイスドライバとして、並びに／又はコンピュータプログラミングの当業者に現在若しくは将来において周知の各々及びいずれかの他の態様において実施可能である。

さらに、本発明は、任意の特定のプログラミング言語における又は任意の特定のオペレーティングシステム若しくは環境に対する実施に限定されるものではない。したがって、本発明の開示は、以降の特許請求の範囲に記載される本発明の範囲の例示であって限定ではない。

Claims (19)

1. 歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
   １以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第１の３Ｄ歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップと、
   前記１以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
   前記トレーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第１の３Ｄ歯科補綴物モデルを生成するステップと
   を備え、
   前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）であり、
   前記トレーニングデータセットはデジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを備え、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、
   前記方法。
2. 歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
   １以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第１の３Ｄ歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップであって、前記トレーニングデータセットは準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え、前記歯科補綴物データセットは前記歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを備える、ステップと、
   デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第２の３Ｄ歯科補綴物モデルを生成するように第２のディープニューラルネットワークをトレーニングするステップであって、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、ステップと、
   前記１以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
   前記トレーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第１の３Ｄ歯科補綴物モデルを生成するステップと、
   前記第２のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて、前記第２の３Ｄ歯科補綴物モデルを生成するステップと
   を備え、
   前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）であり、 前記歯科補綴物データセットが、ライブラリ歯テンプレートに基づいて作成された現実の歯冠のスキャンデータを備える、
   前記方法。
3. 前記ライブラリ歯テンプレートが３２個の歯テンプレートを備える、請求項２に記載の方法。
4. 現実の歯冠が、前記３２個の歯テンプレートを用いて技師によって作成される、請求項３に記載の方法。
5. 準備部位データを有する前記歯列スキャンデータセットが、患者のスキャンされた歯列からの現実の準備部位のスキャンデータを備える、請求項１に記載の方法。
6. 前記第１の３Ｄ歯科補綴物モデルが、歯冠、インレー、ブリッジ又はインプラントからなる、請求項１に記載の方法。
7. 前記セグメント化歯データが、前記自然歯列スキャンデータセットからの歯データをセグメント化することによって生成される、請求項１に記載の方法。
8. 歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
   １以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第１の３Ｄ歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップであって、前記トレーニングデータセットは準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え、前記歯科補綴物データセットは前記歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを備える、ステップと、
   デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第２の３Ｄ歯科補綴物モデルを生成するように第２のディープニューラルネットワークをトレーニングするステップであって、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、ステップと、
   前記１以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
   前記トレーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第１の３Ｄ歯科補綴物モデルを生成するステップと、
   前記第２のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて、前記第２の３Ｄ歯科補綴物モデルを生成するステップと
   前記第２のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第２の３Ｄ歯科補綴物モデルを生成するステップと
   を備え、
   前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）である、
   前記方法。
9. 前記第１及び第２の３Ｄ歯科補綴物モデルの特徴を共に混合して混合３Ｄ歯科補綴物モデルを生成するステップをさらに備える請求項８に記載の方法。
10. 患者のプロファイル情報を受信するステップと、
    前記患者のプロファイル情報と一致する１以上の歯列スキャンデータセットを選択するステップであって、前記自然歯列スキャンデータセットは一致した歯列スキャンデータセットのみを含む、ステップと
    をさらに備える請求項８に記載の方法。
11. プロセッサベースのシステムが３Ｄ歯科補綴物モデルを生成することを可能とするコンピュータプログラム製品であって、
    トレーニングデータセットを用いて第１の３Ｄ歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングすることを前記プロセッサベースのシステムに可能とさせるための第１のプログラムロジックモジュールであって、前記トレーニングデータセットは準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え、前記歯科補綴物データセットは前記歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを備える、前記第１のプログラムロジックモジュールと、 患者の歯列の少なくとも一部分を表す患者スキャンデータを受信することを前記プロセッサベースのシステムに可能とさせるための第２のプログラムロジックモジュールと、
    前記受信された患者スキャンデータに基づいて前記第１の３Ｄ歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第３のプログラムロジックモジュールと、
    デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第２の３Ｄ歯科補綴物モデルを生成するように第２のディープニューラルネットワークをトレーニングすることを前記プロセッサベースのシステムに可能とさせるための第４のプログラムロジックモジュールであって、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、第４のプログラムロジックモジュールと、
    前記第２のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第２の３Ｄ歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第５のプログラムロジックモジュールと
    を備え、
    前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）である、
    前記コンピュータプログラム製品。
12. 前記歯科補綴物データセットが、ライブラリ歯テンプレートに基づいて作成された現実の歯冠のスキャンデータを備える、請求項１１に記載のコンピュータプログラム製品。
13. 前記ライブラリ歯テンプレートが３２個の歯テンプレートを備える、請求項１２に記載のコンピュータプログラム製品。
14. 現実の歯冠が、前記３２個の歯テンプレートを用いて技師によって作成される、請求項１３に記載のコンピュータプログラム製品。
15. 準備部位データを有する前記歯列スキャンデータセットが、患者のスキャンされた歯列からの現実の準備部位のスキャンデータを備える、請求項１１に記載のコンピュータプログラム製品。
16. プロセッサベースのシステムが３Ｄ歯科補綴物モデルを生成することを可能とするコンピュータプログラム製品であって、
    トレーニングデータセットを用いて第１の３Ｄ歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングすることを前記プロセッサベースのシステムに可能とさせるための第１のプログラムロジックモジュールと、
    患者の歯列の少なくとも一部分を表す患者スキャンデータを受信することを前記プロセッサベースのシステムに可能とさせるための第２のプログラムロジックモジュールと、
    前記受信された患者スキャンデータに基づいて前記第１の３Ｄ歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第３のプログラムロジックモジュールと
    を備え、
    前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）であり、
    前記トレーニングデータセットはデジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを備え、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、
    コンピュータプログラム製品。
17. 前記セグメント化歯データが、前記自然歯列スキャンデータセットからの歯データをセグメント化することによって生成される、請求項１６に記載のコンピュータプログラム製品。
18. 前記第１及び第２の３Ｄ歯科補綴物モデルの特徴を共に混合して混合３Ｄ歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第６のプログラムロジックモジュールをさらに備える請求項１１に記載のコンピュータプログラム製品。
19. 歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
    １以上のコンピューティングデバイスが、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
    トレーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて第１の３Ｄ歯科補綴物モデルを生成するステップと
    を備え、
    前記トレーニングされたディープニューラルネットワークは、デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを備えるトレーニングデータセットを用いてトレーニングされたディープニューラルネットワークを備え、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備え、
    前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）である、
    前記方法。