JP7581337B2 - 口腔内測定値をレジストレーションするための方法、システムおよびコンピュータ可読記憶媒体 - Google Patents

Description

関連出願の相互参照
本特許出願は、２０１９年９月２４日に出願された米国特許出願第１６／５８０，０８４号の利益および優先権を主張するものであり、この米国特許出願は全ての目的のために参照により本明細書に組み込まれる。

本出願は一般に口腔内測定値をレジストレーションするための方法、システムおよびコンピュータ可読記憶媒体に関し、より詳細にはディープラーニング方法を利用して口腔内測定値をセマンティックにレジストレーションするための方法、システムおよびコンピュータ可読記憶媒体に関する。

歯科開業医は、軟組織を歯科用カメラの視野外に維持するなどの適当なスキャン技術を使用することによりスキャン中に満足な取得結果を生成するように訓練されている場合がある。軟組織はスキャン中に変形して同じ領域が複数の形状をとり、それによりレジストレーション中に誤差および／または妨害が生じることがある。

現在では高速点特徴ヒストグラム（ＦＰＦＨ）などの特徴ベースの技術を使用して変換値を計算することができ、それによりスキャンの相対的向きの事前知識がなくてもスキャン／３次元（３Ｄ）測定値をレジストレーションすることができる。但しこれらの技術が上手く行くためには、変形可能な領域のスキャン／３Ｄ測定を回避することが必要となる場合がある。

米国特許第９４５６７５４Ｂ２号は、歯科用物体の複数の３次元画像を記録する方法であって、３次元画像のそれぞれが当該物体の３Ｄ測定データおよび測定された表面の色データを含んでいてもよく、コンピュータ支援記録アルゴリズムを用いて個々の画像を組み合わせて全体的画像にする方法を開示している。それはあたかも本明細書に完全に記載されているかのように、全ての目的のために参照により本明細書に組み込まれる。

米国特許第７６９８０６８Ｂ２号は、口腔内の少なくとも一部の３次元表面ジオメトリおよび色を表す少なくとも１つの数値実体を提供し、かつその実体を操作してそこから所望のデータを提供することにより口腔に関連する手順に有用なデータを提供する方法を開示している。典型的には数値実体は口腔内の前記一部に関連づけられた表面ジオメトリおよび色データを含み、色データは色相、彩度、値、半透明性および反射率を含む実際の視覚的特性または知覚された視覚的特性を含む。

国際公開第２０１８２１９８００Ａ１号は、点群座標空間において口腔内シーンの一部を表している３Ｄ点群データを決定することを含む、口腔内シーンの一部の３Ｄ表現を生成および表示するための方法および装置を開示している。口腔内シーンの同じ部分のカラー画像をカメラ座標空間において取得する。前記口腔内シーンの表面を表している画像の領域内にあるカラー画像要素をラベル付けする。

米国特許第９４３６８６８Ｂ２号は、測定された３次元（３Ｄ）物体シーンの高速自動化物体分類を可能にする方法を開示している。物体シーンを光パターンで照明し、異なる空間位相においてパターンによって照明された物体シーンの一連の画像を取得する。

米国特許第９７８８９１７Ｂ２号は、自動化歯科矯正診断および治療計画に人工知能を用いるために方法を開示している。この方法は、患者によって動作されるように構成された口腔内イメージャを提供する工程と、歯科矯正状態に関する患者データを受信する工程と、歯科矯正治療から得られた情報を含むかそれへのアクセスを有するデータベースにアクセスする工程と、歯科矯正状態の電子モデルを生成する工程と、少なくとも１つのコンピュータプログラムに、患者データを分析して歯科矯正治療から得られた情報に基づいて歯科矯正状態の少なくとも１つの診断および治療計画を特定するように命令する工程とを含んでもよい。

米国特許出願公開第２０１９００２６８９３Ａ１号は、歯科矯正アライナーの形状を評価するための方法であって、分析画像上に表されている歯に関する歯の属性の値および／または分析画像に関する画像属性の少なくとも１つの値を決定するために、分析画像をディープラーニング装置にサブミットする方法を開示している。

ＰＣＴ出願のＰＣＴ／ＥＰ２０１８／０５５１４５号は、修復物を構築するための方法であって、歯の状態を歯科用カメラによって測定し、かつ歯の状態の３次元（３Ｄ）モデルを生成する方法を開示している。次いでコンピュータ支援検出アルゴリズムを歯の状態の３Ｄモデルに適用してもよく、修復物の種類、歯の本数または修復物の位置が自動的に決定される。

米国特許出願公開第２０１８００２８２９４Ａ１号は、ディープラーニングを用いた歯科用ＣＡＤ自動化のための方法を開示している。この方法は、患者の歯列データセットの少なくとも１つの部分を表している患者のスキャンデータを受信する工程と、訓練されたディープニューラルネットワークを用いて患者のスキャンにおいて１つ以上の歯の特徴を特定する工程とを含んでもよい。ここでは設計自動化は、完全なスキャンが生成された後に行ってもよい。しかし、この方法により実際のスキャンプロセスは向上しない。

国際公開第２０１８１５８４１１Ａ１号は、修復物を構築するための方法であって、歯の状態を歯科用カメラによって測定し、かつ歯の状態の３Ｄモデルを生成する方法を開示している。この場合、コンピュータ支援検出アルゴリズムを歯の状態の３Ｄモデルに適用し、ここでは修復物の種類および／または少なくとも歯の本数および／または挿入される修復物の位置が自動的に決定される。

上記に関連する既存の限界ならびに他の限界は、ディープラーニング方法を利用して口腔内測定値をセマンティックにレジストレーションするための方法、システムおよびコンピュータ可読記憶媒体によって克服することができる。

本明細書中の一態様では、本発明は、１つ以上の計算装置によって患者の歯列の個々の画像を受信する工程と、訓練されたディープニューラルネットワークの出力確率値などの１つ以上の出力ラベルを用いて個々の画像におけるレジストレーション誤差の原因を自動的に特定する工程とを含み、出力ラベル／確率値は個々の画像を１つ以上の物体カテゴリに対応する領域にセグメンテーションすることによって得られ、個々の画像は深度画像および／または対応するカラー画像であり、確率値などの１つ以上の出力ラベルに基づいて個々の画像を一緒にレジストレーションして、レジストレーション誤差を全く有しないかレジストレーション誤差を実質的に有しないレジストレーションされた３Ｄ画像を形成する工程さらに含む、３次元（３Ｄ）レジストレーションのためのコンピュータ実装方法を提供することができる。

本明細書中の別の態様では、本コンピュータ実装方法は以下のうちの１つ以上の組み合わせをさらに含んでもよい。（ｉ）レジストレーションは、深度画像の画素を空間に射影することにより深度画像から点群を生成すること、対応するカラー画像および訓練されたディープニューラルネットワークの出力ラベル／確率値を用いて色値およびラベル／確率値をそれぞれ点群中の各点に割り当てること、および割り当てられたラベル／確率値に基づいて、捨てられたか部分的に含められた点のレジストレーションへの寄与を無くすか減らすように所定の重みを用いて点を捨てるか点群に部分的に含めることにより達成される、（ｉｉ）個々の画像は個々の３次元光学画像である、（ｉｉｉ）個々の画像は時間的な一連の画像として受信される、（ｉｖ）個々の画像は一対のカラー画像および深度画像として受信される、（ｖ）１つ以上の物体カテゴリは硬い歯肉、軟組織歯肉、歯および歯様物体を含む、（ｖｉ）レジストレーション誤差の特定された原因の関連性の指標はその周囲のジオメトリに基づいている、（ｖｉｉ）ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、完全畳み込みニューラルネットワーク（ＦＣＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）からなる群から選択されるネットワークである、（ｖｉｉ）１つ以上の計算装置および複数の個々の訓練用画像を用いて各訓練用画像の少なくとも１つの部分における１つ以上の組織を１つ以上のラベル／確率値に対応付けするように、ディープニューラルネットワークを訓練する工程であって、個々の訓練用画像、個々の訓練用画像の画素または個々の訓練用画像のスーパーピクセルをセマンティックデータの種類および／または誤差データの種類に対応する１つ以上のクラスに分類することにより画素レベルで行う訓練する工程をさらに含む、（ｖｉｉｉ）訓練用画像は３Ｄメッシュと深度画像およびカラー画像のレジストレーションされた対とを含む、（ｉｘ）３Ｄメッシュはラベル付けされており、当該ラベルは変換関数を用いて３Ｄ画像およびカラー画像のレジストレーションされた対に移される。

本発明のさらに別の態様では、コンピュータシステムによって実行された場合にコンピュータシステムに、１つ以上の計算装置によって患者の歯列の個々の画像を受信する工程と、訓練されたディープニューラルネットワークの１つ以上の出力確率値を用いて個々の画像におけるレジストレーション誤差の原因を自動的に特定する工程であって、出力確率値は個々の画像を１つ以上の物体カテゴリに対応する領域にセグメンテーションすることによって得られる工程と含む手順を実行させるプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、個々の画像は深度画像および／または対応するカラー画像であり、１つ以上の出力確率値に基づいて個々の画像を一緒にレジストレーションして、レジストレーション誤差を全く有しないかレジストレーション誤差を実質的に有しないレジストレーションされた３Ｄ画像を形成する工程をさらに含む、非一時的コンピュータ可読記憶媒体を提供することができる。

さらに、１つ以上の計算装置によって患者の歯列の個々の画像を受信し、訓練されたディープニューラルネットワークの１つ以上の出力確率値を用いて個々の画像におけるレジストレーション誤差の原因を自動的に特定し、出力確率値は個々の画像を１つ以上の物体カテゴリに対応する領域にセグメンテーションすることによって得られるように構成されたプロセッサを備え、個々の画像は深度画像および／または対応するカラー画像であり、プロセッサは１つ以上の出力確率値に基づいて個々の画像を一緒にレジストレーションしてレジストレーション誤差を全く有しないかレジストレーション誤差を実質的に有しないレジストレーションされた３Ｄ画像を形成するように構成されている、３次元（３Ｄ）レジストレーションのためのシステムを提供することができる。

本発明のさらなる態様では、本システムは、畳み込みニューラルネットワーク（ＣＮＮ）、完全畳み込みニューラルネットワーク（ＦＣＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）からなる群から選択されるディープニューラルネットワークを備える。

例示的な実施形態は、本明細書において以下に与えられている詳細な説明および添付の図面からより十分に理解されるであろう。図面において同様の要素は同様の符号によって表されており、これらは単に例示として与えられており、従って本明細書中の例示的な実施形態を限定するものではない。

軟組織の変形により異なる周囲のジオメトリを示す口腔の断面のスケッチである。 患者の歯列の個々の画像のスキャン／記録を示す口腔の上面図のスケッチである。 本発明の一実施形態に係る例示的レジストレーションを示すスケッチである。 本発明の一実施形態に係るシステムのハイレベルブロック図である。 本発明の一実施形態に係る例示的訓練用画像を示す。 軟組織を有する個々の画像から形成された歯列の大域的３Ｄ画像の斜視図である。 本発明の一実施形態に係る除去されたか小さく重み付けされた軟組織寄与を有する個々の画像から形成された歯列の補正された大域的３Ｄ画像の斜視図である。 一実施形態に係るディープニューラルネットワークの構造を示すハイレベルブロック図である。 本発明の一実施形態に係る方法を示すフローチャートである。 本発明の一実施形態に係る方法を示すフローチャートである。 本発明の一実施形態に係る訓練方法を示すブロック図である。 本発明の例示的な実施形態に係るコンピュータシステムを示すブロック図である。

図面の中の異なる図は少なくともいくつかの符号を有する場合があるが、それらは同じ構成要素を特定するために同じである場合があり、そのような構成要素のそれぞれの詳細な説明は各図に関して以下に提供されていない場合がある。

本明細書に記載されている例示的な態様に従って、ディープラーニング方法を利用して個々の口腔内測定値をセマンティックにセグメンテーションし、かつ前記個々の口腔内測定値をレジストレーションするための方法、システムおよびコンピュータ可読記憶媒体を提供することができる。

口腔内測定値をレジストレーションするためのシステム

患者の口腔の正確な３Ｄ測定は誤ったレジストレーションによって妨げられる場合がある。顎の口腔内測定ではカメラが用いられ、これは顎全体のサブセットのみをキャプチャする単一スキャンを生成し、これらを一緒にレジストレーションして完全なモデルを形成することができる。カメラは手持ち式であってもよく、単一スキャンが得られる正確な位置は一般に分かっていない。これらの単一スキャン（３Ｄデータ、色データなど）からの情報に基づいて、単一スキャンを共通の基準系（共通の３Ｄ座標系）にするための変換を決定する。しかし大部分のレジストレーションプロセスは剛体であるという前提で動作するので、カメラが多くの単一スキャンを高頻度で取得している間に変形する／形状を変える口腔の部分はレジストレーションを歪める場合がある。従って剛体部分のみがレジストレーション向けであるとみなされる。

スキャンは異なる時点で行われるので、特定の組織（特に口腔の軟組織）のジオメトリは、軟組織の変形または移動する異物の存在により、異なるスキャンとスキャンとの間に変化する場合がある。これは３Ｄデータのマッチングに依存するレジストレーションを妨げる場合がある（例えば、平方和誤差を最小限に抑えることに基づく技術によって生じる典型的な誤差を示す図１を参照）。

これらの技術の向上は、レジストレーション向けの剛体部分のみを考慮し、かつ無関係の（すなわち非剛体）部分を捨てることにより、あるいはそれらのレジストレーションへの寄与を小さく重み付けすることにより達成してもよく、すなわち歯などの剛体部分／硬組織１２がレジストレーション向けであるとみなされる場合、図１に示すようにレジストレーションはロバストであり（ｉｉｉ）、剛体部分／硬組織１２の周囲のジオメトリ１３ａ、１３ｂは位置合わせされた状態にあり、逆もまた同様である（ｉｖ）。従って「剛体」という用語は本明細書の後で、スキャン手順が行われている期間中に変形する可能性が低い解剖学的構造または解剖学的構造の一部を記述するために使用される場合がある。歯の近くの歯肉はそこに十分に高い力が加えられた場合に変形する場合があるが、これは口腔内スキャナーによるスキャン中に、通常はそのようことにはなり得ない。それを剛体であるとみなすことは妥当な前提であろう。他方、頬の内側はスキャンとスキャンとの間に変形する可能性があり、従って軟組織／軟部１５（図２Ａ）とみなしてもよい。

本明細書に記載されているシステムは好ましくは個々の３次元光学画像２などの画像（図２Ａ）を得ることができ、ここでは各３次元光学画像２は好ましくは歯の測定された表面の３Ｄ測定データおよび色データを含み、かつ好ましくは直接的な口腔内スキャンにより口腔内において連続的に記録される。これは例えば歯科医院もしくは診療所において行われてもよく、歯科医師または歯科技工士によって行われてもよい。またこれらの画像は一連の記憶された画像から間接的に得てもよい。

好ましくは時間的な一連の画像として得られるこれらの画像を用いて、コンピュータ実装システムはレジストレーション向けであるとみなすことができる画像中の領域を自動的に特定してもよい。これはリアルタイムで行ってもよい。また当然ながら画像は個々の２次元（２Ｄ）画像、ＲＧＢ画像、距離画像（２．５次元、２．５Ｄ）、４チャネル画像（ＲＧＢ－Ｄ）であってもよく、ここでは深度および色は完全に位置合わせされていなくてもよく、すなわち深度画像およびカラー画像は異なる期間で取得されてもよい。

スキャンプロセスでは複数の個々の画像を生成してもよく、次いで少なくとも２枚の個々の画像の一連の画像８または複数の一連の画像８を組み合わせて全体的／大域的３Ｄ画像１０を形成してもよい（図４）。より具体的には、図２Ａに示すように矩形の形態で示されている個々の３次元光学画像２は、測定中に測定経路４に沿って物体１に対して移動させることができるスキャナー／歯科用カメラ３によって得てもよい。いくつかの実施形態では、測定経路はどんな任意の経路であってもよく、すなわち異なる方向から測定を行ってもよい。歯科用カメラ３は、例えば縞投影法を用いて物体１を測定する手持ち式カメラであってもよい。３Ｄ測定の他の方法は当業者によって理解され得る。破線で示されている第１の画像６と第２の画像７との間の第１の重なり合っている領域５は、コンピュータを用いて記録条件が満たされているか否かを決定するために確認され、満たされている場合に３次元光学画像２を組み合わせて／一緒にレジストレーションして、大域的３Ｄ画像１０を形成してもよい。

記録条件としては、特徴的ジオメトリの適切なサイズ、適切なうねり、適切な粗さおよび／または適切な数および配置が挙げられる。しかし従来のコンピュータを、レジストレーション誤差の原因およびそれらを防ぐ方法を決定するようにプログラムするのは難しい場合がある。全ての生じ得るシナリオを網羅するようなレジストレーションまたはセグメンテーション方法のために使用される手動プログラミング特徴は、特に高頻度の測定を考えると行うのに飽き飽きする場合がある。これは特に画像全体のコンテキストを考慮しなければならない場合に特に当てはまる。機械学習法、特にニューラルネットワークおよび正しい訓練用データを使用することで、この問題をより有効に解決することができる。他方ニューラルネットワークは、レジストレーション誤差の原因を認識し、かつ単一スキャン／単一３Ｄ測定値からのデータをセマンティックにセグメンテーションし、かつこれらの口腔領域がレジストレーション向けであるとみなすことができるか否かを決定するように学習してもよい。この目的のために、セグメンテーションの異なる物体／物体カテゴリのためのラベルを、限定されるものではないが（ｉ）硬組織（歯、クラウン、ブリッジ、歯の近くの硬い歯肉および他の歯様物体など）、（ｉｉ）軟組織（舌、頬、軟らかい歯肉など）および（ｉｉｉ）器具／口腔内に施用される使い捨て器具（鏡、スキャンボディ、コットンロール、ブラケットなど）を含むように定めてもよい。当然ながらグレア部分２１（図２Ｂ、明るい光によって引き起こされる）などの他の定義を適宜追加してもよい。セグメンテーションは色に基づいていてもよく、この色はコンテキストアウェアで解釈されてもよく、すなわちレジストレーション誤差の潜在的な原因の関連性の指標は、その周囲のジオメトリ１３ａ、１３ｂに基づいていてもよい。さらにセグメンテーションは、色データの単一の画素または個々の３次元光学画像２のより大きい領域に基づいていてもよい。

クラウン、歯または歯の近くの硬い歯肉は剛体であるため、正しいセグメンテーションを考慮するレジストレーションアルゴリズムによってレジストレーション誤差を無くすか実質的に減らしてもよい。さらにコットンロールのような付属品によって導入されるクラッターを除去することにより、クリーンアップされた３Ｄモデルを生成してもよく、前記クリーンアップされた３Ｄモデルは歯の治療のために関連するデータのみを含む。

従って本システムは、３次元光学画像２におけるレジストレーション誤差の原因を自動的に認識し、かつ好ましくはリアルタイムでそれらの原因がレジストレーションに寄与するのを防止するように、複数の訓練用データセットを用いてディープニューラルネットワークなどのニューラルネットワークを訓練してもよい。従って、大域的３Ｄ画像１０（図４）に伝播された誤ったレジストレーション（図１、ｉｖ）を、図５の補正された大域的３Ｄ画像９に示されているように減らすか無くしてもよく、かつ／またはスキャンフローを、誤ったレジストレーションによって引き起こされる妨害を少なくするか無くすことにより向上させてもよい。

また本システムはデータをセマンティックに（コンテキストアウェアで、すなわちコンテキストは適当な補正方法を選択するために重要であり得る。例えば歯に近い歯肉を硬組織１２とみなしてもよく、歯から遠い歯肉は軟組織１５とみなしてもよい）、特定およびラベル付けしてもよい。

さらに本システムは補正措置を決定し、かつ／またはレジストレーション誤差の原因を検出した際に前記決定した補正措置を適用してもよい。患者の頬または唇の変形または移動により軟組織の変形を生じさせ、従って図１（ｉｖ）に示されているような欠陥のある記録を生じさせる場合があるため、例えば個々の３次元光学画像２において軟組織１５に対して高い割合の硬組織１２が存在する場合、軟組織１５よりもさらに大きく硬組織１２に重み付けすることが有利であり得る。しかし画像中の硬組織１５の割合が低い場合、記録の品質を高めるために軟組織１５にさらに大きく重み付けしてもよい。一例として、図２Ｂは、２本の真ん中の歯を失っているため、硬組織１２を有する第１の領域が個々の３次元光学画像２の全領域の約１０％であり、かつ軟組織１５を有する第２の領域が画像の全領域の約５０％である画像を示す。組織のいずれにも割り当てることができない残りの第３の領域が約４０％となり、硬組織１２を有する第１の領域の割合は３０％の所定の閾値未満に低下する。従って第１の領域の減少と共に第２の重み係数が大きくなるように、硬組織１２を有する第１の領域を第１の重み係数により重み付けし、かつ軟組織を有する第２の領域を第２の重み係数により重み付けする。例えば硬組織１２を有する第１の領域のための第１の重み係数は１．０であってもよく、軟組織１５を有する第２の領域のための第２の可変重み係数は所定の閾値を超えた場合に０．５であってもよく、第１の領域の減少に伴って１．０まで大きくしてもよい。第２の重み係数の第１の領域への依存は指数関数または線形関数などの任意の関数に従って定めてもよく、硬組織および軟組織は本明細書に記載されているニューラルネットワークを用いてセグメンテーションしてもよい。

図３Ａは、一実施形態に係る患者の歯列の個々の３次元光学画像２から歯科用情報を認識するためのシステム２００のブロック図を示す。システム２００は歯科用カメラ３、訓練モジュール２０４、画像レジストレーションモジュール２０６、コンピュータシステム１００およびデータベース２０２を備えていてもよい。別の実施形態では、データベース２０２、画像レジストレーションモジュール２０６および／または訓練モジュール２０４はコンピュータシステム１００の一部であってもよく、かつ／または補正措置に基づいて歯科用カメラ３のパラメータを直接および／または間接的に調整できるものであってもよい。コンピュータシステム１００は、少なくとも１つのコンピュータプロセッサ１２２、ユーザインタフェース１２６および入力装置１３０も備えていてもよい。コンピュータプロセッサは様々な要求を受信してもよく、かつ記憶装置に記憶されている適当な命令をメモリにロードし、次いでロードした命令を実行してもよい。コンピュータシステム１００は、ソフトウェアおよびデータをコンピュータシステム１００と外部装置との間で転送するのを可能にする通信インタフェース１４６も備えていてもよい。

コンピュータシステム１００は、歯科用カメラ３などの外部装置またはユーザ（図示せず）からレジストレーション要求を受信してもよく、かつセマンティックレジストレーションのために適当な命令をロードしてもよい。好ましくはコンピュータシステムは独立して、要求を待つことなく個々の３次元光学画像２を受信した際に画像をレジストレーションしてもよい。

一実施形態では、コンピュータシステム１００はデータベース２０２（これは例えば複数の個々の３次元光学画像２を含んでいてもよい）からの複数の訓練用データセットを使用して、訓練モジュール２０４の一部であってもよい１つ以上のディープニューラルネットワークを訓練してもよい。図３Ｂ（ｉ～ｉｖ）は、カラー画像、深度画像、深度画像に対応付けされたカラー画像およびカラー画像に対応付けされた深度画像をそれぞれ含む訓練のために使用される例示的画像を示す。畳み込みニューラルネットワーク（ＣＮＮ）は局所近傍で動作するので、これらの画像を対応付けすることはＣＮＮにとって良好なことであり得る。故にＲＧＢ画像および深度画像の領域は同じ２Ｄ画素座標で表されていてもよい。例えば、深度画像のＲＧＢ画像への対応付けまたはその逆は、ＲＧＢ画像および生成された画像において同じ２Ｄ画素座標を有する画素が空間中の同じ点に対応するような画像を生成することを意味する。通常これは、ピンホールカメラモデルの適用および移動（レジストレーションアルゴリズムによって決定される）に順応する変換を含む。動きを補償するための工程は省略してもよく、そのネットは、小さいことが期待される生じるオフセットに対処できるものと期待することができる。いくつかの実施形態ではシステム２００は、畳み込みニューラルネットワーク（ＣＮＮ）、完全畳み込みニューラルネットワーク（ＦＣＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）などの各種ディープラーニングニューラルネットワークを含むニューラルネットワークモジュール（図示せず）を備えていてもよい。例示的な完全畳み込みニューラルネットワークについては、Ｊｏｎａｔｈａｎ Ｌｏｎｇら，「セマンティックセグメンテーションのための完全畳み込みネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）」（２０１５年３月８日）という表題の刊行物に記載されており、これはあたかも本明細書に完全に記載されているかのように、その全体が参照により本明細書に組み込まれる。従って完全畳み込みニューラルネットワーク（画素ごとのセグメンテーションのために使用される効率的な畳み込みネットワークアーキテクチャ）は、回帰型モデルを用いることによりＲＧＢ（Ｄ）画像または一連のＲＧＢ（Ｄ）画像をセグメンテーションするように訓練してもよい。単純な順伝播型ネットワークとは対照的に、回帰型モデルを使用してもよい。従って当該ネットワークは、その現在の活性化を全ての前の入力に応じた状態とみなすことができるように、次の前向き計算のための入力として層の出力を受信してもよく、このようにしてシーケンスの処理を可能にする。さらに例示的な回帰型ＣＮＮモデルは、Ｃｏｕｒｔｎｅｙ Ｊ．Ｓｐｏｅｒｅｒら，「回帰型畳み込みニューラルネットワーク：生物学的物体認識のより良好なモデル（Ｒｅｃｕｒｒｅｎｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ａ Ｂｅｔｔｅｒ Ｍｏｄｅｌ ｏｆ Ｂｉｏｌｏｇｉｃａｌ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」（Ｆｒｏｎｔ．Ｐｓｙｃｈｏｌ，２０１７年９月１２日）という表題の刊行物に記載されており、これはあたかも本明細書に完全に記載されているかのように、その全体が参照により本明細書に組み込まれる。

ニューラルネットワークへの訓練用データセットおよび／または入力は前処理されていてもよい。例えば、３Ｄ測定値と共に色データを処理するために、較正（カメラモデルのパラメータの決定など）を適用してカラー画像を３Ｄ表面と位置合わせしてもよい。さらに合成回転、拡大縮小などの標準的なデータ拡張手順を訓練用データセットおよび／または入力に適用してもよい。

訓練モジュール２０４は、ラベルを有する訓練用データセットを使用してディープニューラルネットワークの学習プロセスを監視してもよい。ラベルを使用してデータ点に重み付けしてもよい。訓練モジュール２０４は逆に、ラベル付けされていない訓練用データセットを使用して生成ディープニューラルネットワークを訓練してもよい。

例示的な一実施形態では、ディープニューラルネットワークを訓練してレジストレーション誤差の原因を検出するために、上に記載されている組織の種類および物体のカテゴリを有する複数の現実の個々の３次元光学画像データセットを使用してもよい。別の例では、ディープニューラルネットワークを訓練してセマンティックデータ（例えば歯の近くの硬い歯肉）を認識するために、１本以上の歯の近くの１つ以上の硬い歯肉領域および１本以上の歯から離れている１つ以上の軟らかい歯肉領域を有する現実の歯科用患者からの別の複数の訓練用データセットを選択して訓練用データセット群を形成する。従ってデータベース２０２は、例えば各物体カテゴリのための１つの群および／または各セマンティックデータ型のための１つの群である異なる訓練用データセット群を含んでいてもよい。

いくつかの実施形態では、コンピュータシステム１００が１つ以上の予め訓練されたディープニューラルネットワークを容易に使用してレジストレーション誤差の原因を検出することができるように、訓練モジュール２０４は、データベース２０４からの訓練用データセットを用いて１つ以上のディープニューラルネットワークを予め訓練してもよい。次いでそれは、検出された原因に関する情報および／または個々の３次元光学画像２を好ましくは自動的に、かつリアルタイムで画像レジストレーションモジュール２０６に送信してもよく、そこではレジストレーションの前にレジストレーション誤差の原因が考慮される。

データベース２０４は、対応する個々の３次元光学画像２と共にディープニューラルネットワークおよび特定された原因に関連するデータも記憶していてもよい。さらにコンピュータシステム１００は表示装置１２６および入力装置１３０を有していてもよく、これらを用いてユーザは要求をサブミットすること、および訓練中に特定されたレジストレーション誤差の原因を受信して再考することなどの機能を行ってもよい。

図８に示すように訓練プロセス（Ｓ６００）の例示的な一実施形態では、現場における現実の事例を表している画像を収集すること（工程Ｓ６０２）によってラベルを生成してもよい。これらの事例には、メッシュ（３Ｄ三角メッシュなど）および単一画像（深度画像およびカラー画像のレジストレーションされた対）が含まれていてもよい。これらのメッシュにおいて歯を切り取ることができる専門家によって、当該メッシュをセグメンテーションしてもよい。次いで切り取られたメッシュにラベル付けしてもよい（工程Ｓ６０４）。それらを歯、クラウン、インプラントまたは他の歯様物体（工程Ｓ６０６）あるいは硬い歯肉および軟らかい歯肉（工程Ｓ６０８）としてラベル付けしてもよい。さらに口腔の一部ではないカメラ３の光路における３Ｄ点などの異常値をラベル付けしてもよい（工程Ｓ６１０）。当該メッシュのラベル付けを単一画像の画素に移し、このようにして訓練プロセスで行われる作業の量を減らす。工程Ｓ６１２において、工程Ｓ６０６、工程Ｓ６０８および工程Ｓ６１０からの情報を組み合わせることにより全ての最終的なラベルを決定してもよい（工程Ｓ６１２）。さらに単一画像を一緒に位置合わせした変換が分かっているので（それらはレジストレーションされているため）、これらの最終的なラベルを切り取られたメッシュから単一画像に移してもよい。このようにして、メッシュのカット／スライスにより多くの画像にすぐにラベル付けしてもよい。

システム２００の他の実施形態は、異なる構成要素および／またはさらなる構成要素を備えていてもよい。さらにこれらの機能は、本明細書に記載されているものとは異なるように当該構成要素に分散されていてもよい。

図６は本発明の一実施形態に係るディープニューラルネットワーク３００の構造を示すブロック図を示す。それは入力層３０２、１つ以上の隠れ層３０４および出力層３０６を含むいくつかの層を有していてもよい。各層は小さい円によって示されている１つ以上のノード３０８からなっていてもよい。情報は入力層３０２から出力層３０６へ、すなわち左から右方向に流れてもよいが、他の実施形態ではそれは右から左であったりそれらの両方であったりしてもよい。例えば回帰型ネットワークは、一連の画像８において新しいデータを処理する場合に前に観察されたデータを考慮してもよく（例えば前の画像を考慮して現在の画像をセグメンテーションしてもよく）、非回帰型ネットワークは個々に新しいデータを処理してもよい。

ノード３０８は入力および出力を有してもよく、入力層３０８のノードはパッシブであってもよく、これはそれらがデータを修正しなくてもよいことを意味する。例えば入力層３０２のノード３０８はそれぞれ、それらの入力に対して単一の値（例えば画素値）を受信し、かつそれらの複数の出力への値を複製してもよい。逆に隠れ層３０４および出力層３０６のノードはアクティブであってもよく、従ってデータを修正することができる。例示的な構造では、入力層３０２からの各値を複製して隠れノードの全てに送信してもよい。隠れノードに到着した値に重みを掛けてもよく、これは隠れノードのそれぞれに関連づけられた所定の数のセットであってもよい。次いで重み付けされた入力を合計して、単一の数を生成してもよい。

本発明に係る一実施形態では、ディープニューラルネットワーク３００は物体カテゴリを検出する際に入力として個々の３次元光学画像２の画素を使用してもよい。個々の３次元光学画像２はカラー画像および／または深度画像であってもよい。本明細書では、入力層３０２中のノードの数は個々の３次元光学画像２中の画素の数に等しくてもよい。

例示的な一実施形態では、１つのニューラルネットワークを全ての物体カテゴリのために使用してもよく、別の実施形態では異なるネットワークを異なる物体カテゴリのために使用してもよい。別の例ではディープニューラルネットワーク３００は、環境光によって引き起こされるものなどの物体カテゴリを検出した際に、個々の画素の代わりに個々の３次元光学画像２を分類／ラベル付けしてもよい。さらなる実施形態では、当該画像は４番目ごとの画素などのサブサンプリングされた入力であってもよい。

さらに別の実施形態では、ディープニューラルネットワーク３００は入力として、カラー画像、深度測定値、加速度などの歯科用カメラ３によって取得された複数のデータならびに露光時間、アパーチャなどの装置パラメータを有していてもよい。ディープニューラルネットワークはラベルを出力してもよく、このラベルは例えば特定の物体カテゴリに属している各画素入力の１つ以上の確率値を含む確率ベクトルであってもよい。例えば出力は確率値を含む確率ベクトルを含んでもよく、ここでは最も高い確率値は硬組織１２の位置を定めてもよい。またディープニューラルネットワークは、どんな確率も含まないラベル値のマップを出力してもよい。各分類のためにディープニューラルネットワークを作成することができるが、これは必要でない場合がある。

口腔内測定においてレジストレーションするための方法

ここまで図３Ａのシステム２００について説明してきたが、次に本明細書中の例示的な実施形態の少なくともいくつかに係るプロセスＳ４００を示す図７Ａを参照する。

プロセスＳ４００は、訓練用データセット中の目的の領域を得て所定のラベルでラベル付けすることにより開始してもよい（工程Ｓ４０２）。例えば図３Ｂ（ｉ）に示されているサンプル画像４１３上のサンプル軟組織４１５は軟組織としてラベル付けしてもよい。図３Ｂ（ｉ）に示されているサンプル画像４１３上のサンプル硬組織４１２は硬組織としてラベル付けしてもよい。訓練用画像のラベル付けは、例えば目的の点に対応する画像上にドットを設定することによりデジタルで行ってもよい。

セマンティクスを個々の３次元光学画像２に割り当てるために、訓練用データにラベル付けしてもよい。これは、色もしくは深度情報のために画素ごとのレベルで行ってもよい。あるいは単一画像のために、完全な３Ｄモデルのメッシュをカットして対応する画素ごとのラベルを計算してもよい。さらにラベル付けプロセスを自動化することができるように、前記メッシュをセグメンテーションしてもよい。それ以外のものにはどれにもラベルを割り当てずに、これらのラベルにより歯、頬、唇、舌、歯肉、充填物、セラミックを区別してもよい。レジストレーションに無関係なものは、頬、唇、舌、グレアおよびラベル付けされていないデータであってもよい。

レジストレーション誤差原因ラベルを個々の３次元光学画像２に割り当てるために、訓練用データにもラベル付けしてもよい。これも例えば画像もしくは深度情報のために画素ごとのレベルで行ってもよい。例えば硬組織１２および軟組織１５および／または器具／口腔内に施用される使い捨て器具などのために、訓練用データに画素レベルでラベル付けしてもよい。

セマンティックラベルはレジストレーション誤差の原因のためのマーカー、例えば「硬組織＋グレア」、「硬組織に近い軟組織」、「舌＋硬組織」などのラベルと重なり合っていてもよく、これらのラベルを「頬＋グレア」などの他のラベルと区別してもよい。

このラベル付けまたは分類された画像のセットを用いて、ネットワークが新しい画像を自らセグメンテーションすることができるネットワーク配線を行うことができるように、ディープニューラルネットワーク３００を構築してラベル付けされた画像を供給し、それによりネットワークがそれから「学習する」のを可能にしてもよい。

画素ごとのベースでの分類を含むセグメンテーションの別のオプションとして、セグメンテーションは画素ごとのレベルよりも僅かに高いレベルで（すなわち「スーパーピクセルごとの」レベルで、すなわち「スーパーピクセルごと」は画像の通常の画素よりも大きい画像の部分である）、分類および訓練することを含んでもよい。

プロセスＳ４００の命令およびアルゴリズムは、１つ以上の出力ラベル／確率値に基づいて１つ以上の欠陥１５を検出するために訓練用データセットを用いて１つ以上のディープニューラルネットワークを訓練する（工程Ｓ４０４）ためにコンピュータシステム１００のメモリに記憶されていてもよく、かつプロセッサ１２２によってロードされて実行されてもよい。例えばグレアに対応する確率ベクトルの確率値の１つが９０％である場合、ニューラルネットワークは、個々の３次元光学画像２におけるレジストレーション誤差の原因の１つとしてグレア部分２１を検出してもよい。

訓練する工程は１回、複数回または断続的に行ってもよい。また訓練する工程は「半教師あり」または「自己教師あり」であってもよい。例えば第１の訓練する工程後に、ディープニューラルネットワークは前に見たことのない画像および出力を受信または取得してもよく、かつネットワークが好ましくは自ら動作して最終的に人間の助けなしに画像を分類することができるように、対応するフィードバックを与えてもよい。従って個々の３次元光学画像２の一連の画像８がディープニューラルネットワーク３００に入力された場合に、ディープニューラルネットワークがそれらの画像の部分が属するカテゴリを示す各画像のために得られるラベル／確率ベクトルを返すことができるように、ディープニューラルネットワーク３００を訓練してもよい。

訓練する工程後に、ディープニューラルネットワークは歯科用カメラ３から個々の３次元光学画像の一連の画像８を取得または受信してリアルタイムでセグメンテーションしてもよく（工程Ｓ４０６）、それらの画像におけるレジストレーション誤差の原因を検出してもよい（工程４０８）。前記原因の検出時に画像レジストレーションモジュール２０６は、レジストレーション誤差の検出された原因がレジストレーションプロセスに寄与しないことを保証する（工程Ｓ４１０）ことにより、セグメントのための所定の重みに基づいてそれらの画像を一緒にレジストレーションしてもよい。図７Ａの工程Ｓ４０６～Ｓ４１０は本明細書の後で考察されている図７Ｂのフローチャートにも含められている。

図７ＢはプロセスＳ４００のサブセットであってもよいプロセスＳ５００を示す。プロセスＳ５００は工程Ｓ５０２で開始してもよく、ここではカラー画像および／または深度画像を歯科用カメラ３から得る。工程Ｓ５０４では、カラー画像および深度画像を訓練されたディープニューラルネットワーク３００への入力として使用し、物体カテゴリに属しているセグメントの確率を示すラベル付けされた画像の対応する出力を得る。両方の画像を使用することにより、異なるラベル間で識別するのをさらに容易にしてもよい。例えば深度および色を用いる場合よりも色に基づいて軟質の歯肉と硬い歯肉とを区別するようにネットを訓練することは難しいものと予想するであろう。これらの画像は「対応付け」されて、その画像がラベル付けされている場合があるため、大きな違いが生じない場合がある。一実施形態では、１つはラベル付け／セグメンテーションされており、他はセグメンテーションを決定するために単にさらなる特徴を提供してもよい。当該実施形態に応じて、得られるラベル付けされた画像と深度画像との間または得られるラベル付けされた画像とカラー画像との間のいずれかにおいて１対１の対応が存在してもよい。ラベル付けされた画像は、深度／カラー画像および当該ラベルのためのチャネルと同じ横方向解像度を有していてもよい。工程Ｓ５０６では、深度画像の各画素を空間に射影することにより深度画像から点群を生成してもよい。これらの点群中の各点に、カラー画像からの色値およびラベル付けされた画像からの確率ベクトルを割り当ててもよい。一実施形態では、ラベル付けされた画像、点群および得られるメッシュは全てそれらに割り当てられたラベル、ラベルの確率または確率ベクトルを有していてもよい。工程Ｓ５０８では、各入力された点群が既にレジストレーションされた点群にレジストレーションされるように、より多くの画像および対応する出力ラベルを得る。本明細書では、軟組織であるという高い確率を有する点（例えば所定の閾値を超えるか所定の方法で確率の関数として重み付けされている）を捨てるか、硬組織であるという高い確率を有する他の点よりも小さく重み付けする。工程Ｓ５１０では、平均的な位置、色および確率になるまで、入力された点群中の各点を対応するグリッドセルに追加する。次いで軟組織１５、硬組織１２および／またはあらゆる他の物体カテゴリのために所定の重みを使用することにより、単一画像を互いに位置合わせする変換を最適化してもよい。変換が変わった場合にグリッドサンプラーにおける入力をそれに応じて更新してもよい。当然ながら本明細書を考慮に入れて、図７Ｂとは異なる他の実施形態を達成してもよい。

口腔内測定値をレジストレーションするためのコンピュータシステム

ここまで図７Ａおよび図７Ｂのプロセスについて説明してきたが、次に本明細書中の例示的な実施形態の少なくともいくつかに従って用いることができるコンピュータシステム１００のブロック図を示す図９を参照する。この例示的なコンピュータシステム１００に関して様々な実施形態が本明細書に記載されている場合があるが、本明細書を読んだ後に、他のコンピュータシステムおよび／またはアーキテクチャを用いて本発明を実行する方法が当業者には明らかになるであろう。

コンピュータシステム１００は訓練モジュール２０４、データベース２０２および／または画像レジストレーションモジュール２０６を備えていてもそれらとは分離されていてもよい。これらのモジュールはハードウェア、ファームウェアおよび／またはソフトウェアに実装されていてもよい。当該コンピュータシステムは少なくとも１つのコンピュータプロセッサ１２２、ユーザインタフェース１２６および入力装置１３０も備えていてもよい。入力装置１３０は例示的な一実施形態において、訓練プロセス中に命令または要求を送信するためにモニターなどの表示装置１２８と共に歯科医師によって使用されてもよい。本明細書中の別の例示的な実施形態では、入力装置１３０はタッチスクリーンインタフェース（図示せず）上で使用される指またはスタイラスである。入力装置１３０は代わりとしてジェスチャ／音声認識装置、トラックボール、マウスあるいはキーボードまたはスタイラスなどの他の入力装置であってもよい。一例では、表示装置１２８、入力装置１３０およびコンピュータプロセッサ１２２はまとめてユーザインタフェース１２６を形成してもよい。

コンピュータプロセッサ１２２としては、例えば中央処理装置、多重処理装置、特定用途向けＩＣ（「ＡＳＩＣ」）またはフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などが挙げられる。プロセッサ１２２は通信インフラ１２４（例えば、通信バスまたはネットワーク）に接続されていてもよい。本明細書中の一実施形態では、プロセッサ１２２は３Ｄ測定の要求を受信してもよく、画像中のレジストレーション誤差の原因を自動的に検出し、かつこれらの画像レジストレーションモジュール２０６を用いて、検出されたレジストレーション誤差の原因に基づいて画像を自動的にレジストレーションしてもよい。プロセッサ１２２は、コンピュータ可読プログラム命令の形態で非一時的記憶装置に記憶されている対応する命令をロードし、かつロードした命令を実行することによりこれを達成してもよい。

コンピュータシステム１００は、ランダムアクセスメモリ（「ＲＡＭ」）であってもよい主記憶装置１３２をさらに備えていてもよく、かつ補助記憶装置１３４も備えていてもよい。補助記憶装置１３４は、例えばハードディスクドライブ１３６および／または取外し可能なストレージドライブ１３８を含んでいてもよい。取外し可能なストレージドライブ１３８は周知の方法で、取外し可能な記憶装置１４０から読み出し、かつ／またはそこに書き込んでもよい。取外し可能な記憶装置１４０は例えば、取外し可能なストレージドライブ１３８によって書き込みおよび読み出し可能なフロッピーディスク、磁気テープ、光ディスクおよびフラッシュメモリ装置などであってもよい。取外し可能な記憶装置１４０は、コンピュータ実行可能ソフトウェア命令および／またはデータを記憶している非一時的コンピュータ可読記憶媒体を含んでもよい。

さらなる他の実施形態では、補助記憶装置１３４は、コンピュータ実行可能プログラムまたはコンピュータシステム１００の中にロードされる他の命令を記憶している他のコンピュータ可読媒体を含んでいてもよい。そのような装置は、取外し可能な記憶装置１４４およびインタフェース１４２（例えば、プログラムカートリッジおよびカートリッジインタフェース）、取外し可能なメモリチップ（例えば、消去可能プログラム可能リードオンリーメモリ（「ＥＰＲＯＭ」）またはプログラム可能リードオンリーメモリ（「ＰＲＯＭ」））および関連するメモリソケット、他の取外し可能な記憶装置１４４ならびにソフトウェアおよびデータを取外し可能な記憶装置１４４からコンピュータシステム１００の他の部分に転送するのを可能にするインタフェース１４２を備えていてもよい。

コンピュータシステム１００は、ソフトウェアおよびデータをコンピュータシステム１００と外部装置との間で転送するのを可能にする通信インタフェース１４６も備えていてもよい。そのようなインタフェースとしては、モデム、ネットワークインタフェース（例えば、イーサネットカード、無線インタフェース、インターネットを通じたクラウドホスティングサービスなど）、通信ポート（例えば、ユニバーサル・シリアル・バス（「ＵＳＢ」）ポートまたはファイアワイヤ（登録商標）ポート）、パーソナルコンピュータメモリカード国際協会（「ＰＣＭＣＩＡ」：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）インタフェースおよびブルートゥース（登録商標）などが挙げられる。通信インタフェース１４６を介して転送されるソフトウェアおよびデータは信号の形態であってもよく、この信号は、通信インタフェース１４６によって送信および／または受信することができるようにしてもよい電子信号、電磁信号、光信号または別の種類の信号であってもよい。信号は、通信路１４８（例えばチャネル）を介して通信インタフェース１４６に提供されてもよい。通信路１４８は信号を運んでもよく、かつワイヤまたはケーブル、ファイバーオプティクス、電話線、セルラーリンクまたは無線周波数（「ＲＦ」）リンクなどを用いて実装されていてもよい。コンピュータシステム１００とリモートサーバまたはクラウドベースのストレージとの間でソフトウェアまたはデータあるいは他の情報を転送するために、通信インタフェース１４６を使用してもよい。

１つ以上のコンピュータプログラムまたはコンピュータ制御ロジックは、主記憶装置１３２および／または補助記憶装置１３４に記憶されていてもよい。またコンピュータプログラムは通信インタフェース１４６を介して受信されてもよい。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行された場合にコンピュータシステム１００に本明細書に記載されている方法を実行させるコンピュータ実行可能命令を含んでいてもよい。

別の実施形態では、ソフトウェアは非一時的コンピュータ可読記憶媒体に記憶され、かつ取外し可能なストレージドライブ１３８、ハードディスクドライブ１３６および／または通信インタフェース１４６を用いてコンピュータシステム１００の主記憶装置１３２および／または補助記憶装置１３４の中にロードされてもよい。制御ロジック（ソフトウェア）はプロセッサ１２２によって実行された場合に、コンピュータシステム１００およびより一般にスキャン干渉を検出するための本システムに、本明細書に記載されている方法の全てまたはいくつかを実行させる。

本明細書に記載されている機能を実行させるための他のハードウェアおよびソフトウェア構成の実装は、本明細書を考慮すれば当業者には明らかであろう。

Claims (11)

1. １つ以上の計算装置によって患者の歯列の深度画像および対応するカラー画像として構成された個々の画像を受信する工程であって、前記深度画像と対応するカラー画像がともに対応付けされる工程と、
   訓練されたディープニューラルネットワークに入力として前記個々の画像の画素を提供する工程と、
   前記訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて前記個々の画像におけるレジストレーション誤差の原因をレジストレーション前に自動的に特定する工程であって、前記出力ラベル値は前記個々の画像を１つ以上の物体カテゴリに対応する領域にセグメンテーションすることによって得られる工程と、
   前記１つ以上の出力ラベル値に基づいて前記個々の画像を一緒にレジストレーションして、レジストレーション誤差を全く有しないかレジストレーション誤差を実質的に有しないレジストレーションされた３Ｄ画像を形成する工程と
   を含み、
   前記個々の画像は前記対応するカラー画像に前記深度画像を対応付けすることまたは前記深度画像に前記対応するカラー画像を対応付けすることによって、ともに対応付けされた深度画像および対応するカラー画像であり、
   前記深度画像の画素を空間に射影することにより前記深度画像から点群を生成する工程と、
   前記対応するカラー画像および前記訓練されたディープニューラルネットワークの前記出力ラベル値をそれぞれ用いて、色値およびラベル値を前記点群中の各点に割り当てる工程と、
   前記割り当てられたラベル値に基づいて、捨てられたか部分的に含められた１つ以上の点のレジストレーションへの寄与を無くすか減らすように所定の重みを用いて前記点群中の１つ以上の点を捨てることまたは部分的に含める工程と
   をさらに含む、
   ３次元（３Ｄ）レジストレーションのためのコンピュータ実装方法。
2. 前記個々の画像は個々の３次元光学画像である、請求項１に記載の方法。
3. 前記個々の画像は時間的な一連の画像として受信される、請求項１に記載の方法。
4. 前記１つ以上の物体カテゴリは硬い歯肉、軟組織歯肉、舌、頬、歯および歯様物体を含む、請求項１に記載の方法。
5. 前記ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、完全畳み込みニューラルネットワーク（ＦＣＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）からなる群から選択されるネットワークである、請求項１に記載の方法。
6. 各訓練用画像の少なくとも１つの部分における１つ以上の組織を１つ以上のラベル値に対応付けするように、前記１つ以上の計算装置および複数の個々の訓練用画像を用いて前記ディープニューラルネットワークを訓練する工程
   をさらに含み、
   前記訓練する工程は前記個々の訓練用画像、前記個々の訓練用画像の画素または前記個々の訓練用画像のスーパーピクセルをセマンティックデータの種類および／またはレジストレーション誤差の種類に対応する１つ以上のクラスに分類することにより画素レベルで行われる、
   請求項１に記載の方法。
7. 前記訓練用画像は３Ｄメッシュと深度画像およびカラー画像のレジストレーションされた対とを含む、請求項６に記載の方法。
8. 前記３Ｄメッシュはラベル付けされており、前記ラベルは変換関数を用いて３Ｄ画像およびカラー画像の前記レジストレーションされた対に移される、請求項７に記載の方法。
9. コンピュータシステムによって実行された場合に、前記コンピュータシステムに
   １つ以上の計算装置によって患者の歯列の深度画像および対応するカラー画像として構成された個々の画像を受信する工程であって、前記深度画像と対応するカラー画像がともに対応付けされる工程と、
   訓練されたディープニューラルネットワークに入力として前記個々の画像の画素を提供する工程と、
   前記訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて前記個々の画像におけるレジストレーション誤差の原因をレジストレーション前に自動的に特定する工程であって、前記出力ラベル値は前記個々の画像を１つ以上の物体カテゴリに対応する領域にセグメンテーションすることによって得られる工程と
   を含む手順を実行させ、
   前記個々の画像は前記対応するカラー画像に前記深度画像を対応付けすることまたは前記深度画像に前記対応するカラー画像を対応付けすることによって、ともに対応付けされた深度画像および対応するカラー画像であり、
   前記手順は前記１つ以上の出力ラベル値に基づいて前記個々の画像を一緒にレジストレーションして、レジストレーション誤差を全く有しないかレジストレーション誤差を実質的に有しないレジストレーションされた３Ｄ画像を形成する工程を含み、
   前記手順は、さらに
   前記深度画像の画素を空間に射影することにより前記深度画像から点群を生成する工程と、
   前記対応するカラー画像および前記訓練されたディープニューラルネットワークの前記出力ラベル値をそれぞれ用いて、色値およびラベル値を前記点群中の各点に割り当てる工程と、
   前記割り当てられたラベル値に基づいて、捨てられたか部分的に含められた１つ以上の点のレジストレーションへの寄与を無くすか減らすように所定の重みを用いて前記点群中の１つ以上の点を捨てることまたは部分的に含める工程と
   を含む、
   プログラムを記憶している非一時的コンピュータ可読記憶媒体。
10. １つ以上の計算装置によって患者の歯列の深度画像および対応するカラー画像として構成された個々の画像を受信し、前記深度画像と対応するカラー画像がともに対応付けされ、
    訓練されたディープニューラルネットワークに入力として前記個々の画像の画素を提供し、
    前記訓練されたディープニューラルネットワークの１つ以上の出力ラベル値を用いて前記個々の画像におけるレジストレーション誤差の原因をレジストレーション前に自動的に特定し、前記出力ラベル値は前記個々の画像を１つ以上の物体カテゴリに対応する領域にセグメンテーションすることによって得られる
    ように構成されているプロセッサを備え、
    前記個々の画像は前記対応するカラー画像に前記深度画像を対応付けすることまたは前記深度画像に前記対応するカラー画像を対応付けすることによって、ともに対応付けされた深度画像および対応するカラー画像であり、
    前記プロセッサは、前記１つ以上の出力ラベル値に基づいて前記個々の画像を一緒にレジストレーションしてレジストレーション誤差を全く有しないかレジストレーション誤差を実質的に有しないレジストレーションされた３Ｄ画像を形成するように構成され、
    前記プロセッサは、さらに
    前記深度画像の画素を空間に射影することにより前記深度画像から点群を生成し、
    前記対応するカラー画像および前記訓練されたディープニューラルネットワークの前記出力ラベル値をそれぞれ用いて、色値およびラベル値を前記点群中の各点に割り当て、
    前記割り当てられたラベル値に基づいて、捨てられたか部分的に含められた１つ以上の点のレジストレーションへの寄与を無くすか減らすように所定の重みを用いて前記点群中の１つ以上の点を捨てることまたは部分的に含めるように構成されている、
    ３次元（３Ｄ）レジストレーションのためのシステム。
11. 前記ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、完全畳み込みニューラルネットワーク（ＦＣＮ）、回帰型ニューラルネットワーク（ＲＮＮ）および回帰型畳み込みニューラルネットワーク（回帰型ＣＮＮ）からなる群から選択されるネットワークである、請求項１０に記載のシステム。

Images