JP2023505396A - 上顎歯と顔面骨格との間の空間関係を決定する技術 - Google Patents

Abstract

コンピュータで実施される方法は、患者（Ｐ）の上顎歯（Ｕ１）を代表する３Ｄモデルを受け取る工程と、患者（Ｐ）の顔の複数の画像を受け取る工程とを備えている。この方法はまた、受け取った複数の画像に基づき患者の顔モデル（２００）を生成する工程と、決定された顔モデル（２００）と、受け取った上顎歯（Ｕ１）の３Ｄモデルと、複数の画像とに基づき、患者（Ｐ）の上顎歯（Ｕ１）と患者（Ｐ）の顔面骨格との間の空間関係を決定する工程と、を備えている。

Description

本発明は、上顎歯（アッパーティース）と顔面骨格（フェイシャルスケルトン）との間の空間関係（スペーシアルリレーションシップ）を決定するコンピュータ実装方法、および上顎歯と顔面骨格との間の空間関係を決定するシステムに関する。

歯科治療において、上顎歯（上歯）と頭蓋骨との間の関係を記録することはしばしば重要である。歯の外観や機能などの因子は、上顎歯と頭蓋骨との間の関係によって、特に上顎歯と顔面骨格との間の関係によって、影響されることがある。例えば、歯と頭蓋骨との間のアライメント（位置合わせ。位置関係）が考慮されていないと、歯自体はまっすぐでも、アイラインに対して魅力的ではないアライメントを示してしまうことがある。このような問題は、歯の摩耗が激しい患者の場合、さらに深刻になる虞れがある。上顎歯を頭蓋骨に関連付けることで、歯科補綴物を製作する際に、咬合平面、正中線、および咬合面垂直寸法が顔貌に調和することを保証することができる。

Ｈａｒｔｌｅｙ， Ｒ． ａｎｄ Ｚｉｓｓｅｒｍａｎ， Ａ．， ２００３．Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． Ｃａｍｂｒｉｄｇｅ ｕｎｉｖｅｒｓｉｔｙ ｐｒｅｓｓ Ｗｕ，Ｙｕｅ，およびＱｉａｎｇ Ｊｉ．「Ｆａｃｉａｌ Ｌａｎｄｍａｒｋ Ｄｅｔｅｃｔｉｏｎ： Ａ Ｌｉｔｅｒａｔｕｒｅ Ｓｕｒｖｅｙ」．インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン、 １２７．２（２０１８）：１１５－１４２ Ｆｉｓｃｈｌｅｒ， Ｍ．Ａ． ａｎｄ Ｂｏｌｌｅｓ， Ｒ．Ｃ．，１９８１、Ｒａｎｄｏｍ ｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ： ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ（ランダムサンプルコンセンサス：モデルフィッティングのためのパラダイム、画像解析と自動地図作成への応用）、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｏｆ ｔｈｅ ＡＣＭ， ２４（６）， ｐｐ．３８１－３９５

従来では、フェイスボウ（ｆａｃｅｂｏｗ）やイヤボウ（ｅａｒｂｏｗ）を使用することで上顎歯と頭蓋骨との間の関係をキャプチャ（把握）することで、当該関係は、上顎歯および下顎歯（下歯）のストーンモデル（石造模型）を取り付けた歯科咬合器に転送されていた。しかし、ほとんどの歯科医師養成プログラムの要素であるにも関わらず、フェイスボウは複雑で高価であるとともに、誤差が生じやすいので、一般歯科ではほとんど使用されていない。

本開示の目的は、上記の困難、および本明細書の説明に対して当業者に明らかである他の困難を克服することにある。本開示の更なる目的は、上顎歯と顔面骨格との間の関係を決定（判定）するための費用対効果の高い正確な手段を提供することにある。

本発明によれば、添付の特許請求の範囲に規定されるような装置および方法が提供される。本発明の他の特徴は、従属請求項、および以下に続く説明から明らかになるであろう。

本開示の第１態様によれば、以下を備えているコンピュータ実装の方法が提供される。
患者の上顎歯を代表する３Ｄモデル（三次元模型）を受け取る工程と、
患者の顔の複数の画像（イメージ）を受け取る工程と、
受け取られた複数の画像に基づき、患者の顔モデル（フェイシャルモデル。顔面模型）を生成する工程と、
決定された顔モデル、上顎歯を代表する受け取られた３Ｄモデル、および複数の画像に基づき、患者の上顎歯と患者の顔面骨格との間の空間関係（スペーシアルリレーションシップ）を決定する工程と。

上顎歯と顔面骨格との間の空間関係を決定する工程は、顔モデルに対するカメラ姿勢（カメラポーズ）を決定する工程と、上顎歯を代表する３Ｄモデルに対する画像の最適アライメント（最適位置合わせ）をカメラ姿勢に基づき決定する工程と、を備えていることができる。

最適アライメントを決定する工程は、画像の各々について、画像がキャプチャ（撮影）されたカメラ姿勢（カメラポーズ）と、患者の上顎歯を代表する３Ｄモデルと顔モデルとの間の推定空間関係とに基づき、３Ｄシーンをレンダリング（レンダー）する工程と、カメラ姿勢に基づき、レンダリングされた３Ｄシーンから２Ｄ（二次元）レンダリングを抽出する（取り出す）工程と、２Ｄレンダリングを画像と比較することで、２Ｄレンダリングと画像との間の差異のレベルを示すコストスコアを決定する工程と、を備えてもよい。最適アライメントを決定する工程は、最適化器（オプティマイザ）を、好ましくは非線形最適化器を用いることで、複数の画像に亘って最適アライメントを反復して得る工程を備えてもよい。

コストスコアは、レンダリングと画像との間で計算される相互情報スコアを備えて構成されてもよい。コストスコアは、レンダリングと画像とから抽出された対応する画像特徴同士の類似度スコア（類似性スコア。シミラリティスコア）を備えて構成されてもよい。画像特徴は、コーナー特徴であってもよい。画像特徴は、エッジであってもよい。画像特徴は、画像勾配特徴であってもよい。類似度スコアは、ユークリッド距離、ランダムサンプリング、または１対１（ワンツーワンネス）のうちの１つであってもよい。相互情報スコアを計算する前に、レンダリングと２Ｄ画像は前処理されてもよい。レンダリングと２Ｄ画像に、畳み込み（コンボリューション）やフィルタを適用してもよい。

コストスコアは、２Ｄレンダリングと２Ｄ画像との間の最接近一致スコア（クローゼストマッチ得点）を備えて構成されてもよい。最接近一致スコアは、２Ｄレンダリングからの２Ｄ特徴と、２Ｄ画像からの２Ｄ特徴と、の比較に基づいてもよい。

コストスコアは、レンダリングされた３Ｄシーンから、２Ｄ画像特徴を抽出する工程と、抽出された特徴を、レンダリングされた３Ｄシーンに再投影する工程と、２Ｄ画像から画像特徴を抽出する工程と、２Ｄ画像から抽出された特徴を、レンダリングされた３Ｄシーンに再投影する工程と、３Ｄ空間において再投影された特徴同士間の差を示す類似度尺度（シミラリティメジャー。類似性測定値）を計算する工程と、によって計算される２Ｄ－３Ｄ－２Ｄ－２Ｄコスト（２ｄ－３ｄ－２ｄ－２ｄコスト）を備えてもよい。

コストスコアは、複数の２Ｄ画像の連続する画像同士間の画素（ピクセル）を追跡することで計算されるオプティカルフローコストを備えてもよい。オプティカルフローコストは、密なオプティカルフローに基づくものであってもよい。追跡された画素は、オクルードされ（隠され）ていると判定された画素を除外してもよい。

コストスコアを決定する工程は、異なる抽出された特徴および／または類似度尺度（シミラリティメジャー）に基づき、複数の異なるコストスコアを決定する工程を備えてもよい。最適化器による各反復で用いられるコストスコアは、異なってもよい。コストスコアは、コストスコアの第１選択と、コストスコアの第２選択とを交互に繰り返してもよい。第１選択および第２選択のうちの一方は２Ｄ－３Ｄ－２Ｄ－２Ｄコストを備えており、他方は備えていない。

顔モデルは、３Ｄモーファブルメッシュであってもよい。顔モデルを生成する工程は、画像から複数の顔ランドマークを検出する工程と、３Ｄモーファブルメッシュを顔ランドマークにフィッティング（適合）させる工程と、を備えてもよい。患者の口に対応する位置には、３Ｄモーファブルメッシュの穴があってもよい。この穴は、画像のセグメンテーションと、上顎歯との識別とを支援することができる。

複数の画像は、患者の上顎歯のうちの少なくとも一部を備えていてもよい。上顎歯を代表する３Ｄモデルは、上顎歯の３Ｄモデルであってもよい。
複数の画像は、マーカーのうちの少なくとも一部を備えていてもよい。マーカーは、印象トレイに結合されてもよい。印象トレイは、患者の口の中（口腔内）に配置されてもよい。マーカーは、患者の口の外側（口腔外）に配置されてもよい。印象トレイは、上顎歯の印象（インプレッション）をキャプチャするべく使用されてもよい。上顎歯を代表する３Ｄモデルは、印象トレイの３Ｄモデルであってもよい。印象トレイの３Ｄモデルは、マーカーを備えてもよい。印象トレイの３Ｄモデルは、マーカーを備えなくてもよく、歯と顔面骨格との間の空間関係は、マーカーと印象トレイとの間の所定の（プレデターミンド。予め定められた）空間関係に基づき決定されてもよい。印象トレイの更なる任意の特徴は、第５態様を参照して以下に定義されるとともに、任意の組み合わせで第１態様と組み合わされてもよい。

複数の画像は、第１画像セットと第２画像セットとを備えて構成されてもよい。第１画像セットは、顔の３Ｄモデルを生成するべく使用されてもよい。第２画像セットの画像はそれぞれ、患者Ｐの上顎歯のうちの少なくとも一部を備えているとともに、上顎歯と顔面骨格との間の空間関係を決定するべく用いられてもよい。第２画像セットの画像はそれぞれ、マーカーのうちの少なくとも一部を備えているとともに、上顎歯と顔面骨格との間の空間関係を決定するべく用いられてもよい。

複数の画像のうちの画像のカメラ姿勢（カメラポーズ）を決定する工程は、画像に示される表情（エクスプレッション）に一致（マッチ）するように３Ｄモーファブルメッシュをモーフィングする工程と、モーフィングされた３Ｄモーファブルメッシュに基づきカメラ姿勢を決定する工程と、を備えていてもよい。画像および／または２Ｄレンダリングは、表情フィッティング顔モデルを用いてマスキングされてもよい。

本開示の第２態様によれば、プロセッサとメモリとを備えているシステムが提供される。メモリは、プロセッサによって実行されると本明細書に規定される方法のうちのいずれかをシステムに実行させる命令を格納（記憶）する。

本開示の第３態様によれば、コンピュータデバイスによって実行されるとコンピュータデバイスを本明細書に規定されるように構成させるか、および／またはコンピュータデバイスに本明細書に規定される方法のうちのいずれかを実行させる、命令をその上に記録した有形で非一時的な（非一過性の）コンピュータ可読記憶媒体が提供される。

本開示の第４態様によれば、プログラムがコンピュータによって実行されるときにコンピュータに本明細書に記載の方法のうちのいずれかを実行させる命令を備えている、コンピュータプログラム製品が提供される。

本開示の第５態様によれば、以下を備えている歯科印象トレイが提供される。
印象材（インプレッションマテリアル）を保持するように構成された本体と、および
前記本体に結合されているマーカー部（マーカーポーション）であって、前記本体が前記患者の口の中に受け入れられたときにマーカー部は前記患者の口の外に配置されるように構成されており、前記マーカー部はマーカーを備えている、マーカー部と、を歯科印象トレイは備えている。

歯科印象トレイは、修復歯科学および／または歯列矯正歯科学での使用に適していてもよい。本体は、修復歯科で使用するための印象をキャプチャするべく十分な量の印象材を保持する大きさの凹部を備えていてもよい。歯科印象トレイは、フルアーチ印象をキャプチャするように構成されてもよい。歯科印象トレイは、片側（シングルサイデッド）であってもよい。歯科印象トレイは、患者の歯の、好ましくは上顎歯の、単一アーチの印象をキャプチャするように構成されてもよい。

歯科印象トレイは、本体から延びるハンドルを備えてもよい。マーカー部は、ハンドル上に配置されている。マーカー部は、ハンドルの遠位端に配置されてもよい。
マーカー部（マーカーポーション）は、複数のマーカーセクションを備えていてもよい。各マーカーセクションは、マーカーを備えている。マーカー部は、ハンドルの反対側面同士から横方向に延びる一対のマーカーセクションを備えて構成されてもよい。

マーカー部は、マーカーが形成された平面部を備えて構成されてもよい。平面部は、本体が患者の口内に配置されたときに、実質的な垂直平面（実質的に垂直な平面）内に配置されてもよい。

マーカー部は、好適にはマーカー部を備えているハンドルは、本体に対して着脱可能であってもよい。マーカー部は、好適にはマーカー部を備えているハンドルは、本体との一体的に形成されていてもよい。

マーカーは、視覚的に特徴的な模様（ディスティンクティブパターン）を備えて構成されていてもよい。
本開示の第６態様によれば、歯科印象トレイのためのマーカーハンドルが提供される。前記ハンドルは以下を備えている。

歯科印象トレイの本体に取り付けられるように構成された取付部と、および
本体が患者の口の中に受け入れられたときに患者の口の外に配置されるように構成されたマーカー部であって、マーカー部はマーカーを備えている、マーカー部と。

マーカーハンドルの更なる好ましい特徴は、第５態様に関連して上記で定義されるとともに、任意の組み合わせで組み合わせることができる。
本発明をより良く理解するべく、そして同じものの例がどのように実施され得るかを示すために、次に、例としてのみ、添付の概略図面を参照することにする。

患者の上顎歯と顔面骨格との間の空間関係を決定する、第１例示的な方法の概略フローチャート。 患者の２Ｄ画像をキャプチャする例示的な方法を示す概略的な斜視図。 図１および図２の例示的な方法をさらに詳細に示す概略フローチャート。 ３Ｄ顔モデルをフィッティングさせた患者の例示的な顔の画像。 図１～図４の例示的な方法をさらに詳細に説明する概略フローチャート。 図１～図５の例示的な方法をさらに詳細に示す概略フローチャート。 図１～図６の例示的な方法をさらに詳細に説明する概略図。 患者の上顎歯と下顎歯との間の空間関係を決定するための例示的なシステムの概略ブロック図。 上顎歯の３Ｄモデルが向けられた、例示的な３Ｄ顔モデルの画像。 例示的な歯科印象トレイおよび例示的なマーカーハンドルの画像。 例示的な歯科印象トレイおよび例示的なマーカーハンドルの画像。 例示的な歯科印象トレイおよび例示的なマーカーハンドルの画像。 患者の上顎歯と顔面骨格との間の空間関係を決定する、例示的な方法の概略方法。

図面において、対応する参照文字は、対応する構成要素を示す。当業者は、図中の要素が単純化および明確化のために図示されているので、必ずしも縮尺通りに描かれていないことを理解するであろう。例えば、図中のいくつかの要素の寸法は、様々な例示的な実施例の理解を深めるべく、他の要素に対して誇張されている場合がある。また、商業的に実現可能な例において有用であるかまたは必要であって一般的であるがよく理解されている要素は、これらの様々な例示的な例の視界をあまり妨げないようにするべく、描かれていないことが多い。

概要において、本開示の実施例は、顔の複数の２Ｄ画像と、３Ｄスキャンから得られた上顎歯の３Ｄモデルとに基づき、上顎歯と顔面骨格との間の空間関係を決定する手段を提供する。複数の２Ｄ画像は、上顎歯の３Ｄモデルを、２Ｄ画像から生成された顔の３Ｄモデルとアライメントするべく使用されてもよい。いくつかの例では、複数の２Ｄ画像は、患者の顔の周りを移動するカメラによってキャプチャされた動画（ビデオ。映像）で構成されている。

図１は、上顎歯と顔面骨格との間の空間関係を決定する方法の一例を示す。
ブロックＳ１１において、患者の上顎歯の３Ｄモデルが受け取られる。上顎歯の３Ｄモデルは、適切な３Ｄ歯科スキャナを使用することで得られてもよい。例えば、本出願人の係属中の英国特許出願ＧＢ１９１３４６９．１に記載された歯科スキャナを使用してもよい。歯科スキャナは、上顎歯から採取された印象を、印象から鋳造されたストーンモデルを、または印象とストーンモデルとの組み合わせを、スキャンするべく使用されてもよい。

更なる実施例では、３Ｄモデルは、他の市販のスキャナによって得られてもよく、それは、ストーンモデルをスキャンするか、または患者の口の中に配置するのに適した口腔内スキャナの形態をとるかのいずれかである。

３Ｄモデルは、ＳＴＬまたはＰＬＹ形式のデータファイル、または３Ｄモデルを保存するのに適した他のデータ形式の形態をとってもよい。
ブロックＳ１２において、患者の顔の複数の２Ｄ画像が受け取られる。

図２は、複数の画像をキャプチャする方法の一例を示す。図２に示すように、複数の画像は、例えばスマートフォン１００のカメラであってもよいような単一のカメラ１０１によってキャプチャされてもよい。カメラ１０１は、所定の（予め定められた）フレームレートで画像をキャプチャするような動画キャプチャモードに置かれてもよい。次に、カメラ１０１は、患者Ｐの顔の周りの円弧Ａ１に移動される。患者Ｐの上顎歯Ｕ１は、患者Ｐが唇同士を離しているか、または他の標準的な歯科唇後退法が採用されているので、少なくとも部分的にカメラによって見えている。図２の例では、下顎歯Ｌ２も見えるが、これは本明細書に記載される方法には必要ではない。従って、複数の画像がキャプチャされるとともに、各画像は、患者Ｐの上顎歯Ｕ１のうちの少なくとも一部を備えている。

図２の例は、スマートフォン１００のカメラ１０１を例示しているが、任意の適切なカメラを採用することができる。
一実施例では、カメラ１０１は、２Ｄ画像をキャプチャする前に較正される。特に、カメラ１０１は、カメラ１０１のレンズおよび画像センサのパラメータを決定または推定するべく較正処理を受けることがあるので、これらのパラメータは、レンズ歪みおよびバレリング（ｂａｒｒｅｌｌｉｎｇ。半径歪み（ラジアルディストーション）とも呼ばれる）などの現象を補正するとともに、正確な３Ｄシーン再構成を可能にするべく使用することができる。較正処理はまた、カメラ１０１の焦点距離および光学中心を決定してもよい。較正処理は、既知の寸法および形状を有する対象物の画像をキャプチャするとともに、それに基づきレンズおよび画像センサのパラメータを推定する工程を備えてもよい。カメラを較正する例示的な方法は、非特許文献１に記載されているとおりであってよく、その内容は参照によって本明細書に組み込まれる。

ブロックＳ１３において、患者Ｐの顔の３Ｄモデルが生成される。一実施例では、キャプチャされた画像の全てが最適化器（オプティマイザ）に渡されるとともに、最適化器は単一の顔モデルを画像の全てにフィッティングさせる。顔モデルは、３Ｄモーファブルメッシュであってもよい。

これについては、図３を参照してさらに詳細に説明する。
ブロックＳ３１において、３Ｄモーファブルメッシュが提供される。３Ｄモーファブルメッシュは、例えば、複数の顔の３Ｄスキャンから得られた顔メッシュの学習セットに対して、主成分分析などの次元削減を行うことで得られる顔の一般的なモデルである。一例では、２０個～５０個の主成分を有するメッシュが使用されるが、その数は変化してもよい。

ブロックＳ３２において、複数の顔ランドマークが画像から検出される。顔ランドマークは、学習されたニューラルネットワークまたは他の機械学習されたランドマーク検出器を用いて検出されてもよい。例示的なランドマーク検出方法には非特許文献２があり、その内容は参照によって組み込まれる。

ブロックＳ３３において、顔の患者固有の３Ｄモデルが生成されるように、３Ｄモーファブルメッシュはランドマークにフィッティングされる。これは、例えば、顔フィッティングアルゴリズムを使用することで、主成分のそれぞれについて平均からの偏差の値を導出する工程を備えていることができる。

図４は、患者Ｐの顔にフィッティングさせた、例示的な３Ｄモーファブルメッシュ２００を示す。３Ｄモーファブルメッシュは、口腔内領域をカバーしない場合がある。すなわち、患者Ｐの口Ｍに対応する位置で、３Ｄモーファブルメッシュ２００に穴が開いていてもよい。

他の顔フィッティング技術が採用されてもよく、それは例えばランドマークに加えて、顔のテクスチャ情報に依存してもよいことは理解されよう。さらに、他の実施例では、３Ｄモデルは、３Ｄモーファブルメッシュにテクスチャをフィッティングさせてもよい。

一例では、モーファブルメッシュとフィッティング技術は、４ｄｆａｃｅツールキット（ｈｔｔｐ：／／ｗｗｗ．４ｄｆａｃｅ．ｉｏ／）の一部として利用可能なものに基づいてもよい。

一実施例では、複数の画像は、第１画像セットと第２画像セットとを備えている。第１キャプチャ動画であってもよい第１画像セットは、それぞれ患者Ｐの顔を示しているが、上顎歯Ｕ１を備えてもよいし、備えなくてもよい。その後、第１画像セットは、顔の３Ｄモデルを生成するべく使用されてもよい。第２キャプチャ動画であってもよい第２画像セットは、各々、患者Ｐの上顎歯Ｕ１のうちの少なくとも一部を備えている。次に、第２画像セットは、上顎歯Ｕ１の３Ｄモデルを顔モデルにアライメントするべく使用されてよい。しかしながら、他の例では、顔の３Ｄモデルの生成と、顔モデルに対する上顎歯Ｕ１のその後のアライメントとに、単一の画像セット（例えば、単一の動画）が使用されてもよい。

図１に戻ると、ブロックＳ１４において、顔の３Ｄモデルに対する上顎歯の空間アライメント（スペ－シアルアライメント）が決定される。顔の３Ｄモデルに関して上顎歯をアライメントする方法は、図５～図７を参照して以下に詳細に説明される。

図５は、図１のブロックＳ１４の処理をさらに詳細に示している。
ブロックＳ５１において、顔に対するカメラ姿勢、および顔の表情が、キャプチャ画像の各々について計算される。特に、画像のそれぞれについて、画像に示される表情に一致するように、３Ｄモーファブルメッシュがモーフィングされる。そして、３Ｄモーファブルメッシュに基づきカメラ姿勢を導出する。特に、カメラ１０１のパラメータ（例えば焦点距離、光学中心）が既知であり、画像に示される表情におけるメッシュの３Ｄ形状が既知であるので、例えば、上記で参照した非特許文献１で説明したように、画像キャプチャ時のカメラの位置が導出されることができる。

ブロックＳ５２では、上顎歯Ｕ１のうちの少なくとも一部を示すキャプチャ画像（キャプチャされた画像）を、顔の３Ｄモデルに対する上顎歯の３Ｄモデルにアライメントする。上顎歯Ｕ１を顔モデルにアライメントするための変換Ｔは、キャプチャされた２Ｄ画像のすべてまたはサブセットに亘って、同時に最適化される。各画像は、顔モデルに対して同じ空間関係で上顎歯を必然的に示すので、キャプチャ画像は、複数の異なる視点から示された同じ関係を実質的に示していることになる。したがって、キャプチャされたすべての画像に対して、最もフィッティング度（適合度）の高いアライメントが導出される。

次に、上顎歯の３Ｄモデルをキャプチャ画像にアライメントする方法について、図６および図７を参照しながら説明する。
ブロックＳ６１において、カメラ姿勢Ｃおよびモデル（Ｕ１）姿勢の現在の推定（エスティメイト。推定値）に基づき、シーンＳの３Ｄレンダリングが実行される。この結果、カメラ位置（Ｃ）の推定から見た、シーンの現在の推定の２Ｄレンダリング画像（Ｒ）が得られる。

ブロックＳ６２において、レンダリング画像Ｒは、モデル姿勢およびカメラ姿勢の現在の推定を得点化するように、２Ｄキャプチャ画像（Ｉ）と比較される。キャプチャ画像Ｉとレンダリング画像Ｒとの間の類似度が高いほど、推定が正しいという可能性が高くなる。

レンダリング画像Ｒとキャプチャ画像Ｉとの類似度を評価するべく、類似度メトリクスが計算されてもよい。類似度メトリクスは、コストスコアを出力してもよく、より高いコストスコアは、レンダリング画像Ｒとキャプチャ画像Ｉとの間のより高い相違度を示す。いくつかの例では、キャプチャ画像Ｉおよびレンダリング画像Ｒは、表情フィッティング顔モデルを使用することで自動的にマスクされることによって、コストスコアにおいて口腔内領域のみが考慮されるようにすることができる。

一例として、レンダリング画像Ｒとキャプチャ画像Ｉとの間で、相互情報スコア（ＭＩスコア。ミューチュアルインフォメーション得点）が計算される。相互情報ＭＩは、レンダリング画像Ｒおよびキャプチャ画像Ｉに直接基づき、計算されてもよい。しかし、更なる例では、レンダリング画像Ｒおよびキャプチャ画像Ｉは、相互情報ＭＩスコアの有効性を高めるべく、相互情報ＭＩの計算の前に異なる方法で処理されてもよい。例えば、ソーベル勾配処理のようなフィルタが、レンダリング画像Ｒおよびキャプチャ画像Ｉに適用されてもよい。もしくは、機械学習されたまたは設計された、別の画像畳み込みが、レンダリング画像Ｒおよびキャプチャ画像Ｉに適用されてもよい。

一実施例では、レンダリング画像Ｒおよびキャプチャ画像Ｉのそれぞれについて特徴抽出が行われることで、そのレンダリング画像Ｒおよびキャプチャ画像Ｉから顕著な特徴（例えば、領域またはパッチ）が抽出される。例えば、レンダリング画像Ｒおよびキャプチャ画像Ｉの各々からエッジ点または領域を抽出するべく、エッジ抽出法が適用される。別の例では、レンダリング画像Ｒおよびキャプチャ画像Ｉの各々からコーナー点または領域を抽出するべく、コーナー抽出法が適用される。更なる例では、別の特徴が抽出されてもよい。例えば、画像勾配特徴が抽出されてもよい。または、例えば畳み込みニューラルネットワークで学習されたような、他の機械学習された顕著な特徴が抽出されてもよい。

レンダリング画像Ｒとキャプチャ画像Ｉからそれぞれ抽出された対応する顕著な特徴は、次に、それらの間の類似度を決定するべく、マッチングされる。例えば、マッチングは、抽出された点同士間のユークリッド距離のような類似度尺度を採用してもよい。類似度尺度には、非特許文献３で議論されているような抽出点のランダムサンプリングや、または１対１のような尺度などを採用してもよい。

更なる例では、本明細書で２Ｄ－３Ｄ－２Ｄ－２Ｄコストと呼ばれるコストは、以下のように計算される。
まず、２Ｄ特徴（エッジ／コーナー／機械学習されたまたは人間が設計した畳み込み）が現在の３Ｄレンダリング推測の２Ｄ画像（Ｒ）から抽出され、その結果、点セットＡ２が得られる。次に、これらの２Ｄ特徴が３Ｄレンダリングに再投影されることで、３Ｄ点セット（点セットＡ３）が得られる。

２Ｄカメラ画像（キャプチャ画像Ｉ）において、対応する２Ｄ特徴（点セットＢ２）が抽出される。次に、点セットＢ２と点セットＡ２との間の対応が、一般的には最近点探索を使用することで割り当てられるが、これは最も近い類似度因子で補強されることもある。その後、同等の３Ｄ対応（Ａ３）が計算されることで、２Ｄ－３Ｄ対応Ｂ２－Ａ３セットとなる。ここで課題は点Ａ３（Ａ２′と呼ばれる）の２Ｄ再投影誤差を最小にすることであり、Ｂ２－Ａ２′が最小になるようにカメラ姿勢またはモデル姿勢を最適化することによって行われる。

概念的には、このスコアは、３Ｄモデル上にエッジ点（または他の顕著な点）をマークする工程と、２Ｄカメラ画像上の最も近いエッジ点を見つける工程とを備える。次に、これらの３Ｄエッジ点の再投影が２Ｄ画像点に一致するように、モデルを移動させる工程を備えている。

３Ｄモデル上にマークされたエッジ点と、それに対応するカメラ画像の２Ｄ点とは、各反復において真に対応する可能性が高くなるので、全処理は反復的に繰り返される。
更なるコストは、レンダリング画像Ｒ（これもシルエットレンダリングなどの前処理がされている場合がある）から２Ｄ特徴を抽出する工程と、カメラ画像から２Ｄ特徴を抽出する工程とである。２つの画像同士間の最接近一致（クローゼストマッチ）が見つかると、現在のコストスコアとして使用されるとともに、それが最適化器（オプティマイザ）に直接フィードバックされることで、モデル姿勢（またはカメラ姿勢）を少し調整するとともにレンダリングを再計算することができる。この方法は、対応が反復ごとに更新されることで対応距離が最適化器を導くためのスコアとして使用される事項において、２Ｄ－３Ｄ－２Ｄ－２Ｄコストとは異なる。これに対し、２Ｄ－３Ｄ－２Ｄ－２Ｄコストは、現在の対応セットを最小化するべく反復する（すなわち内側ループ）とともに、次にレンダリングを再計算することで新しい対応を得て再び反復する（外側ループ）ことで計算される。

別のコストスコアは、オプティカルフローを使用することで計算されるかもしれない。オプティカルフローは、シーケンス内の連続したフレーム同士間の画素を追跡する技術である。フレームは連続的に記録されるので、レンダリング画像Ｒの画素の追跡位置が、キャプチャ画像Ｉの画素の追跡位置とは大きく異なる場合、モデルとカメラ姿勢との推定が不正確であることを示している。

一実施例では、オプティカルフロー予測は、前方（フォワード。前向き）に、すなわち、キャプチャされた動画の先行するフレームに基づき実施される。一実施例では、オプティカルフロー予測は、後方（バックワード。後ろ向き）に実施される。すなわち、後続のフレームに基づくオプティカルフロー予測が計算され得るように、動画のフレームの順序は逆転される。

一例では、密なオプティカルフロー技法が採用される。密なオプティカルフローは、画像内の画素のサブセットに対して計算されてもよい。例えば、画素は、その画素の位置に基づき、カメラの光学中心から延びるベクトルに対して実質的に直交する平面内に存在すると仮定される画素に限定されてもよい。一例では、画素は、顔にフィッティングされた顔モデルに基づき、患者Ｐの顔によって（例えば、鼻によって）隠されていると判定（決定）されてもよい。そのような画素は、その後、オプティカルフローによって追跡されなくなる可能性がある。

一例では、異なる抽出された特徴および／または類似度尺度に基づき複数の異なるコストスコアを決定するように、上述の方法の複数が適用される。
ブロックＳ６１およびＳ６２の処理は、複数のキャプチャ画像に対して実施される。例えば、処理は、キャプチャ画像のすべてについて実施されてもよい。しかし、他の例では、キャプチャ画像のサブセットが選択されてもよい。例えば、キャプチャされた画像のサブサンプルが選択されてもよい。サブサンプルは、１個おきのキャプチャ画像、３個おきのキャプチャ画像、または１０個おきのキャプチャ画像などの、規則的なサブサンプルであってよい。

従って、モデルの推定位置およびカメラの推定位置に基づき、各キャプチャ画像とその対応するレンダリング画像との間の類似度を反映する複数のコストスコアが導出される。
一例では、連続するフレーム同士間の推定カメラ姿勢の差は、追加のコストスコアとして計算されてもよい。言い換えれば、現在の画像の推定カメラ姿勢と、前にキャプチャされたフレームと、の間の距離が計算されてもよい。および／または、現在の画像の推定カメラ姿勢と、その後にキャプチャされたフレームと、の間の距離が計算されてもよい。画像は連続してキャプチャされるので、連続するフレーム同士間のカメラ姿勢の大きな差は、不正確な推定を示す。

ブロックＳ６３において、画像の各々のコストスコアが非線形最適化器に供給されるので、この非線形最適化器はブロックＳ６１およびＳ６２の処理を反復するとともに、各反復においてカメラ姿勢およびモデル姿勢を調節する。各画像を同時に最適化する解が得られる。反復は、収束閾値に到達したときに停止する。一実施例では、採用される非線形最適化器は、レーベンベルグ－マルカールト（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ）アルゴリズムである。他の例では、Ｅｉｇｅｎ（ｈｔｔｐ：／／ｅｉｇｅｎ．ｔｕｘｆａｍｉｌｙ．ｏｒｇ／）、Ｃｅｒｅｓ（ｈｔｔｐ：／／ｃｅｒｅｓ－ｓｏｌｖｅｒ．ｏｒｇ／）、またはｎｌｏｐｔ（ｈｔｔｐｓ：／／ｎｌｏｐｔ．ｒｅａｄｔｈｅｄｏｃｓ．ｉｏ）などのソフトウェアライブラリから、他のアルゴリズムが採用され得る。

一実施例では、最初の反復で使用するべく、顔面骨格に対する歯の３Ｄモデルの位置の初期推定が提供される。例えば位置の初期推定は、歯の通常または正常な位置に基づき、例えば顔モデルの唇の下の所定の距離と、唇から後ろの所定の距離と、に基づき、取られてもよい。他の例では、初期推定は、例えば、キャプチャされた画像において３Ｄモデルのキーポイントを特定することで、ユーザ入力によって提供されてもよい。キーポイントの例としては、犬歯の先端や歯肉乳頭が挙げられる。

更なる例では、各反復で使用されるコストスコアは異なってもよい。言い換えれば、上述のスコアの選択が各反復において計算されるとともに、その選択は反復ごとに異なってもよい。例えば、本方法は、上記スコアの第１選択と、上記スコアの第２選択と、を交互に行うことができる。一例では、第１選択および第２選択のうちの一方は２Ｄ－３Ｄ－２Ｄ－２Ｄコストを備えているが、他方はそうではない。上記のような方法で様々なコストメトリクスを使用することで、よりロバストな解（ソリューション）が見出される可能性がある。

従って、出力は、上顎歯の３Ｄモデルを、患者固有の顔モデルに対する正しい空間関係にする単一の３Ｄ変換、Ｔである。一例が図９に示されている。
変換Ｔに基づき、アラ・トラル・ライン（ａｌａ－ｔｒａｇａｌ－ｌｉｎｅ）、正中線（ミッドライン）、および瞳孔間ラインなどの、古典的なランドマークを自動的に識別することができる。これらは、ユーザが選択したデジタル咬合器において上顎歯Ｕ１のモデルを正しく方向付けるべく、ＣＡＤ設計ソフトウェアに渡すことができる。または歯科設計を支援するべく、患者固有の顔モデル（これはＯＢＪファイルまたは同様のものとして、ＣＡＤソフトウェアにインポートできる）と共に、使用することができる。

図８は、上顎歯と下顎歯との間の空間関係を決定するための例示的なシステム４００を示す。システム４００は、コントローラ４１０を備えて構成されている。コントローラは、プロセッサまたはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）等の他の計算要素で構成されてもよい。いくつかの例では、コントローラ４１０は、複数の計算要素で構成されている。システムはまた、メモリ４２０を備えている。メモリ４２０は、システム４００の動作に必要な任意の情報を、一時的または恒久的に記憶するための任意の適切な記憶装置を備えて構成されてもよい。メモリ４２０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュストレージ、ディスクドライブ、および任意の他のタイプの適切な記憶媒体で構成されてもよい。メモリ４２０は、コントローラ４１０によって実行されると、システム４００に本明細書に規定される方法のいずれかを実行させる命令を格納する。更なる例では、システム４００は、ディスプレイと、マウスおよびキーボードまたはタッチスクリーンなどの入力手段とを備えていてもよい、ユーザインタフェース４３０を備えている。ユーザインタフェース４３０は、ＧＵＩ３００を表示するように構成されてもよい。更なる例では、システム４００は、それぞれがコントローラとメモリとを備えるとともにネットワークを介して接続された複数のコンピューティングデバイスを備えて構成されてもよい。

次に、更なる例示的な方法を、図１０および図１１を参照して説明する。
図１０Ａ～図１０Ｃは、例示的な印象トレイ５００を示す。印象トレイ５００は、印象材５０１を保持するように形作られた凹部５２１を画定する印象トレイ本体５２０を備えている。印象トレイ５００は、印象材５０１に患者の上顎歯Ｕの印象をキャプチャするように、患者Ｐの口内に挿入するように構成されている。

印象トレイ５００は、修復歯科学および／または歯列矯正歯科学で使用するのに適した印象をキャプチャするように構成されている。言い換えれば、印象トレイ５００によってキャプチャされた印象は、クラウン、ブリッジ、インプラント、歯列矯正などの設計を備えている治療計画に使用することができる適切な品質である。したがって、凹部５２１は、修復歯科学および／または歯列矯正歯科で使用するための印象をキャプチャするべく十分な量の印象材５０１を保持する大きさであってよい。

凹部５２１は、フルアーチ印象、すなわち患者の上顎歯Ｕのすべてをキャプチャする印象、をキャプチャする大きさであってよい。言い換えれば、凹部５２１は、患者の歯のアーチに一般的な形状で実質的に対応するとともに、したがって、平面視でほぼ半円形に見えることがある。凹部５２１は、印象トレイ５００の周辺前壁５２１ａによって画定されてもよい。凹部５２１はまた、使用時に患者の舌を収容する隆起した中央部分５２１ｂを備えていてもよい。

さらに、印象トレイ５００は、患者の上顎歯Ｕのみの印象を印象材５０１にキャプチャするように構成されてもよい。言い換えれば、いくつかの例では、印象トレイ５００は両側トレイ（ダブルサイデッドトレイ。両面トレイ）ではなく、代わりに片側トレイ（シングルサイデッドトレイ。片面トレイ）である。この片側トレイは、浅い「咬合印象」トレイとは対照的である。ここで、浅い「咬合印象」トレイは、上下の前歯の迅速で部分的な印象を同時にキャプチャするべく使用される一方、修復歯科での使用に適した印象をもたらさない。

印象トレイ本体５２０の前部領域５０２は、ハンドルを受け入れるように構成されたソケット（図示せず）のような受け入れ部を備えている。図１０Ｂ～図１０Ｃは、従来ハンドル５０３を示す。使用時、ハンドル５０３は、患者Ｐの口から前方に突出する。

図１０Ａ～図１０Ｂは、従来ハンドル５０３の代わりにソケットに挿入可能な例示的なマーカーハンドル５１０を示す。マーカーハンドル５１０は、印象トレイ本体５２０から突出するように配置されたハンドル本体５１１と、マーカー部（マーカーポーション）５１２とを備えて構成されている。一実施例では、マーカー部５１２は、印象トレイ本体５２０から最も遠位に存在するハンドル本体５１１の端部に配置されている。従来ハンドル５０３またはマーカーハンドル５１０はそれぞれ、ハンドルを本体に取り付けるための取付部（アタッチメントポーション）５０４を備えている。例えば、取付部５０４は、従来ハンドル５０３またはマーカーハンドル５１０をソケットに固定するための弾力的な柔軟部５０５を備えて構成されている。

マーカー部（マーカーポーション）５１２は、複数のマーカーセクション５１３を備えて構成されている。例えば、マーカー部５１２は、ハンドル本体５１１の反対側面同士から横方向に延びる一対のマーカーセクション５１３Ａ，５１３Ｂを備えて構成されてもよい。マーカーセクション５１３Ａ，５１３Ｂはそれぞれ、ハンドル本体５１１が延びる方向に対して概ね直交する方向に向けられた平面部を備えていてもよい。したがって、マーカーセクション５１３Ａ，５１３Ｂは、印象トレイ５００が患者Ｐの口の中に配置されたときに、実質的な垂直平面である平面を提供する。各マーカーセクション５１３Ａ，５１３Ｂは、マーカー５１４を備えている。例えば、マーカー５１４は、複数の特徴的な模様（ディスティンクティブパターン）および／または色を備えて構成されている。

次に、マーカーハンドル５１０を有する印象トレイ５００を採用する例示的な方法について、図１１を参照して説明する。
ブロックＳ１１０１において、マーカーハンドル５１０が取り付けられた印象トレイ５００を用いて、患者の上顎歯Ｕの印象（インプレッション）がキャプチャされる。さらに詳細には、印象材（インプレッションマテリアル）５０１が印象トレイ本体５２０の凹部５２１に挿入されるとともに、マーカーハンドル５１０はソケットに取り付けられる。次いで、マーカー５１４Ａ，５１４Ｂが概ね垂直な平面内に存在するとともに口の前で見えるように、印象トレイ５００は口の中に挿入される。

ブロックＳ１１０２において、患者の顔の複数の画像が受け取られる。ここで、画像は、上述した位置に存在するマーカーハンドルを示している。例えば、印象トレイ５００を使用することで印象が患者の上顎歯Ｕに対して採取されている間、複数の画像は、図２に関して本明細書で説明した方法でキャプチャされてもよい。一例では、歯科医は、歯科助手が画像をキャプチャする間、印象材が口腔内でセットされるように印象トレイを所定の位置に支持してもよい。歯科医師は、患者に噛ませるのではなく、印象のキャプチャを制御することができるので、高品質の印象がキャプチャされることを保証する。

ブロックＳ１１０３では、マーカーハンドル５１０を備えている、ブロックＳ１００１で使用される印象トレイ５００のアセンブリの３Ｄモデルが取得される。一例では、３Ｄモデルは、カラー３Ｄモデルである。このモデルは、本明細書で議論された３Ｄスキャナを使用することで得られてもよい。

ブロックＳ１１０４において、顔モデルが生成される。例えば、モデルは、図１～図８に関して本明細書で議論されるように生成されてもよい。
ブロックＳ１１０５において、印象トレイ５００の３Ｄモデルは、顔モデルに対してアライメントされる。アライメントは、実質的に本明細書で論じられるように実施されてもよい。しかしながら、上顎歯のうちの少なくとも一部を示す画像に基づき上顎歯の３Ｄモデルを顔モデルにアライメントするのではなく、マーカー５１４Ａ、５１４Ｂに基づき印象トレイの３Ｄモデルを画像にアライメントする。言い換えれば、画像の各々に示されるマーカーの位置によって、顔モデルと、マーカーとの間に、ひいてはユーザの上顎歯Ｕの印象を備えている印象トレイ５００の残りの部分との間に、最適アライメントが導出される。したがって、患者の上顎歯と顔面骨格との間のアライメントが導出される。

いくつかの例では、顔モデルの生成と、顔モデルに対する印象トレイの３Ｄモデルのアライメントとのために、別々のキャプチャ画像のセットを使用することができる。しかしながら、他の例では、顔の３Ｄモデルの生成と、顔モデルに対する印象トレイ５００のその後のアライメントとに、単一の画像セット（例えば、単一の動画）が使用されてもよい。

マーカー５１４は、ＱＲコード（登録商標）に類似したブロックのパターンとして示されているが、画像内で容易に識別できる視覚的に特徴的な特徴を提供するべく、異なるパターンまたは配置が採用され得ることが理解されよう。さらに、図９に２つのマーカー５１４Ａ，５１４Ｂが示されているが、より多くのまたはより少ないマーカーが表示されてもよいことが理解されよう。マーカー５１４は平面上に表示されているが、更なる実施例では、湾曲したマーカーが採用されてもよいことが理解されよう。湾曲したマーカーは、ユーザの顔の周りで湾曲していてもよい。湾曲したマーカーは、ひげのような外観を与えるように、長尺状（細長いもの）であってもよい。

さらに、図９の例では、印象トレイ５００は、マーカーハンドル５１０が印象トレイ本体５２０のソケットに取り付け可能であるが、更なる例では、印象トレイおよびハンドルは一体的に形成されてもよい。

更なる実施例では、マーカーハンドル５１０無しの印象トレイ本体５２０の３Ｄモデルを得ることができる。特に、マーカーハンドル５１０が所定のサイズおよび形状であるとともに、したがって印象トレイ本体５２０に対して所定の空間関係を有するという事実によって、マーカーハンドル５１０のマーカー５１４Ａ，５１４Ｂと、印象トレイ本体５２０との間の空間関係が予め知られていてもよい。従って、マーカー５１４Ａ，５１４Ｂを顔面骨格にアライメントすることで（例えば、マーカーの画像に基づき、またはマーカーハンドル５１０の別の３Ｄスキャンに基づき）、印象トレイ本体５２０の位置を所定の空間関係に基づき推論することができる。これは、印象トレイ本体５２０を収容できるがマーカーハンドル５１０を収容できない３Ｄ歯科スキャナの使用を、容易にし得る。

有利には、上述のシステムおよび方法は、フェイスボウの使用の必要性を回避するとともに、代わりに例えば携帯電話カメラを介してキャプチャされた動画フッテージに依存する、上顎歯と顔面骨格とのアライメントを決定する方法を提供する。したがって、より簡単な操作で安価なソリューションが提供されるとともに、このソリューションは上顎歯の高品質３Ｄモデルの利用可能性を利用する。

有利には、印象トレイを備えているシステムおよび方法は、特徴的なマーカーに基づく２Ｄ－３Ｄアライメントを容易にするロバストなソリューション（堅牢な解決策）を提供し得る。さらに、修復歯科学および／または歯列矯正歯科学での使用に適した高品質なフルアーチ印象（全顎印象）と、マーカーを示す２Ｄ画像と、のキャプチャは、典型的な歯科ワークフローに有利にフィッティングするように同時に行われ得る。

本明細書に記載される実施例の少なくともいくつかは、部分的または全体的に、専用の特殊目的ハードウェアを使用することで構築されてもよい。本明細書で使用される「構成要素」、「モジュール」、または「ユニット」などの用語は、特定のタスクを実行するかまたは関連する機能を提供する、ディスクリートまたは集積構成要素の形態の回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはアプリケーション特定集積回路（ＡＳＩＣ）などのハードウェア装置を備えている場合があるが、これらに限定されるわけではない。いくつかの例では、説明された要素は、有形で永続的なアドレス指定可能な記憶媒体に常駐するように構成されてもよく、１つまたは複数のプロセッサ上で実行されるように構成されてもよい。これらの機能的要素は、いくつかの例では、一例として、ソフトウェア構成要素などの構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、およびタスク構成要素、処理、関数、属性、手続き、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を備えてもよい。例示的な実施例は、本明細書で論じた構成要素、モジュール、およびユニットを参照して説明したが、このような機能要素は、より少ない要素に結合されてもよいし、追加の要素に分離されてもよい。オプションの特徴の様々な組み合わせが本明細書で説明されたが、説明された特徴は、任意の適切な組み合わせで組み合わされてもよいことが理解されるであろう。特に、任意の１つの実施例の特徴は、そのような組み合わせが相互に排他的である場合を除き、適宜、任意の他の実施例の特徴と組み合わされてもよい。本明細書を通じて、用語「を備えている」または「からなる」は、指定された成分（複数可）を備えているが、他の成分の存在を排除するものでないことを意味する。

本願に関連して本明細書と同時またはそれ以前に提出され、本明細書とともに公開されているすべての論文および文書に注意が向けられ、すべてのかかる論文および文書の内容は、参照することで本明細書に組み込まれる。

本明細書（添付の請求項、要約書、および図面を備えている）に開示された特徴の全て、および／またはそのように開示された方法または処理の全ての工程は、かかる特徴および／または工程のうちの少なくとも一部が相互に排他的である組み合わせを除いて、任意の組み合わせで組み合わせることが可能である。

本明細書（添付の請求項、要約、および図面を備えている）に開示された各特徴は、明示的に別段の記載がない限り、同一、同等、または類似の目的を果たす代替の特徴に置き換えることができる。したがって、明示的に別段の記載がない限り、開示された各特徴は、同等または類似の特徴の一般的な一連の一例のみである。

本発明は、前述の実施形態（複数可）の詳細に限定されない。本発明は、本明細書（添付の特許請求の範囲、要約書、および図面を備えている）に開示された特徴の任意の新規なもの、または任意の新規な組み合わせ、あるいはそのように開示された任意の方法または処理の工程の任意の新規なもの、または任意の新規な組み合わせに及ぶ。

Claims (29)

1. コンピュータに実装される方法であって、前記方法は、
   患者の上顎歯を代表する３Ｄモデルを受け取る工程と、
   前記患者の顔の複数の画像を受け取る工程と、
   受け取られた複数の前記画像に基づき、前記患者の顔モデルを生成する工程と、
   決定された前記顔モデル、受け取られた前記上顎歯の前記３Ｄモデル、および複数の前記画像に基づき、前記患者の前記上顎歯と、前記患者の顔面骨格との間の空間関係を決定する工程と、
   を備えている、方法。
2. 前記上顎歯と前記顔面骨格との間の前記空間関係を決定する工程は、
   前記顔モデルに対するカメラ姿勢を決定する工程と、および
   前記カメラ姿勢に基づき、前記上顎歯を代表する前記３Ｄモデルに対する前記画像の最適アライメントを決定する工程と、
   を備えている、請求項１に記載の方法。
3. 前記最適アライメントを決定する工程は、２Ｄ画像の各々について、
   前記画像がキャプチャされたカメラ姿勢の現在の推定と、前記上顎歯を代表する前記３Ｄモデルと前記顔モデルとの間の推定空間関係とに基づき、３Ｄシーンをレンダリングする工程と、
   前記カメラ姿勢の現在の前記推定に基づき、レンダリングされた前記３Ｄシーンから２Ｄレンダリングを抽出する工程と、および
   前記２Ｄレンダリングを前記画像と比較することで、前記２Ｄレンダリングと前記画像との間の差のレベルを示すコストスコアを決定する工程と、
   を備えている、請求項２に記載の方法。
4. 前記方法はさらに、非線形最適化器を使用することで、複数の前記画像に亘って前記最適アライメントを反復して得る工程を備えている、
   請求項３に記載の方法。
5. 前記コストスコアは、前記レンダリングと前記画像との間で計算された相互情報スコアを備えている、
   請求項３または４に記載の方法。
6. 前記コストスコアは、前記レンダリングと前記画像とから抽出された対応する画像特徴同士の類似度スコアを備えている、
   請求項３～５のいずれか１項に記載の方法。
7. 前記画像特徴はコーナー特徴、エッジ特徴、または画像勾配特徴である、
   請求項６に記載の方法。
8. 前記類似度スコアはユークリッド距離、ランダムサンプリング、または１対１のうちの１つである、
   請求項６または７に記載の方法。
9. 前記コストスコアは、
   レンダリングされた前記３Ｄシーンから２Ｄ画像特徴を抽出する工程と、
   抽出された前記２Ｄ画像特徴を、レンダリングされた前記３Ｄシーンに再投影する工程と、
   前記２Ｄ画像から画像特徴を抽出する工程と、
   前記２Ｄ画像から抽出された前記画像特徴を、レンダリングされた前記３Ｄシーンに再投影する工程と、
   ３Ｄ空間に再投影された特徴同士の差を示す類似度指標を計算する工程と、
   によって計算された２Ｄ－３Ｄ－２Ｄ－２Ｄコストを備えている、
   請求項３～８のいずれか１項に記載の方法。
10. 前記コストスコアは、複数の前記２Ｄ画像の連続する画像同士間の画素を追跡することで計算されるオプティカルフローコストを備えている、
    請求項３～９のいずれか１項に記載の方法。
11. 前記方法はさらに、異なる抽出された特徴と類似度尺度とのうちの少なくとも一方に基づき、複数の異なるコストスコアを決定する工程を備えている、
    請求項３～１０のいずれか１項に記載の方法。
12. 請求項４に従属する場合、前記非線形最適化器によって各反復で使用されるコストスコア同士は異なる、
    請求項３～１１のいずれか１項に記載の方法。
13. 前記顔モデルは３Ｄモーファブルメッシュであり、
    前記顔モデルを生成する工程は、
    前記画像から複数の顔ランドマークを検出する工程と、
    前記３Ｄモーファブルメッシュを前記顔ランドマークにフィッティングさせる工程と、
    を備えている、請求項１～１２のいずれか１項に記載の方法。
14. 前記３Ｄモーファブルメッシュは、前記患者の口に対応する位置に穴を備えている、
    請求項１３に記載の方法。
15. 複数の前記画像は、前記患者の前記上顎歯のうちの少なくとも一部を備えており、
    前記患者の前記上顎歯を代表する前記３Ｄモデルは、前記患者の前記上顎歯の３Ｄモデルである、
    請求項１～１３のいずれか１項に記載の方法。
16. 複数の前記画像は、マーカーのうちの少なくとも一部を備えており、
    前記マーカーは、前記患者の口内に配置された印象トレイに結合されており、
    前記マーカーは前記患者の口外に配置されており、
    前記上顎歯を代表する前記３Ｄモデルは、前記印象トレイの３Ｄモデルである、
    請求項１～１４のいずれか１項に記載の方法。
17. 前記印象トレイの前記３Ｄモデルは、前記マーカーを備えている、
    請求項１６に記載の方法。
18. 前記印象トレイの前記３Ｄモデルは、前記マーカーを備えておらず、
    前記歯と顔面骨格との間の前記空間関係は、前記マーカーと前記印象トレイとの間の予め定められた空間関係に基づき決定される、
    請求項１６に記載の方法。
19. 複数の前記画像は、第１画像セットおよび第２画像セットを備えており、
    前記第１画像セットは、前記顔の前記３Ｄモデルを生成するべく使用されており、
    前記第２画像セットのそれぞれの画像は、前記患者の前記上顎歯のうちの少なくとも一部またはマーカーを備えているとともに、前記上顎歯と前記顔面骨格との間の前記空間関係を決定するべく使用される、
    請求項１～１８のいずれか１項に記載の方法。
20. 複数の前記画像のうちの画像のカメラ姿勢を決定する工程は、
    前記画像に示される表情に一致するように３Ｄモーファブルメッシュをモーフィングする工程と、
    モーフィングされた前記３Ｄモーファブルメッシュに基づき、前記カメラ姿勢を決定する工程と、
    を備えている、請求項２に従属するときの請求項１３または１４に記載の方法。
21. プロセッサとメモリとを備えているシステムであって、
    前記メモリは、前記プロセッサによって実行されると前記システムに請求項１～２０のいずれか１項に記載の方法を実行させるコンピュータ可読命令を記憶する、
    システム。
22. コンピュータデバイスによって実行されたときに前記コンピュータデバイスに請求項１～２０のいずれか１項に記載の方法を実行させる命令を記録した、
    有形で非一時的なコンピュータ読取可能な記憶媒体。
23. 修復歯科学または歯列矯正歯科学において使用するための歯科印象をキャプチャするための歯科印象トレイであって、前記歯科印象トレイは、
    前記歯科印象をキャプチャするための印象材を保持するように構成された本体と、および
    前記本体に結合されるマーカー部であって、前記本体が患者の口の中に受け入れられるときに前記マーカー部は前記患者の前記口の外に配置されるように構成されており、前記マーカー部はマーカーを備えている、前記マーカー部と、
    を備えている、歯科印象トレイ。
24. 前記歯科印象トレイは、フルアーチ印象をキャプチャするように構成されている、
    請求項２３に記載の歯科印象トレイ。
25. 前記歯科印象トレイは、前記患者の歯の単一アーチの印象をキャプチャするように構成されている、
    請求項２３または２４に記載の歯科印象トレイ。
26. 前記歯科印象トレイはさらに、前記本体から延びるハンドルを備えており、
    前記マーカー部は前記ハンドル上に配置されている、
    請求項２３～２５のいずれか１項に記載の歯科印象トレイ。
27. 前記マーカー部は、前記マーカーが形成される平面部を備えており、および
    前記平面部は、前記本体が前記患者の口の中に配置されたときに実質的な垂直平面内に配置されている、
    請求項２３～２６のいずれか１項に記載の歯科印象トレイ。
28. 前記マーカー部は、前記本体に対して着脱可能にされている、
    請求項２３～２７のいずれか１項に記載の歯科印象トレイ。
29. 修復歯科学または歯列矯正歯科学で使用するための歯科印象をキャプチャするための歯科印象トレイのためのマーカーハンドルであって、前記マーカーハンドルは、
    前記歯科印象トレイの本体に取り付けられるように構成された取付部と、および
    前記本体が患者の口の中に受け入れられたときに前記患者の前記口の外に配置されるように構成されたマーカー部であって、前記マーカー部はマーカーを備えている、前記マーカー部と、
    を備えている、マーカーハンドル。

Images