JP2023505397A - 上顎歯と下顎歯との間の空間関係の決定 - Google Patents

Abstract

コンピュータで実施される方法は、患者（Ｐ）の上顎歯（Ｕ１）の３Ｄモデルと、患者（Ｐ１）の下顎歯（Ｌ１）の３Ｄモデルとを受け取る工程と、複数の２Ｄ画像を受け取る工程とを備えている。各２Ｄ画像は、患者（Ｐ）の上顎歯（Ｕ１）および下顎歯（Ｌ１）のうちの少なくとも一部を代表する。本方法はさらに、２Ｄ画像に基づき、患者（Ｐ）の上顎歯（Ｕ１）と下顎歯（Ｌ１）との間の空間関係を決定する工程を備えている。

Description

本発明は、上顎歯（アッパーティース）と下顎歯（ロウワーティース）との間の空間関係（スペ－シアルリレーションシップ）を決定するコンピュータ実装方法、および上顎歯と下顎歯との間の空間関係を決定するシステムに関する。

歯科治療において、上顎歯（上歯）と下顎歯（下歯）との関係を記録することはしばしば重要である。これは、最大歯間位置や他の歯間位置のような静的関係である場合がある。また、典型的な咀嚼運動や他の顎運動など、動きにおいて歯がどのように機能するかを記録することも重要である。例えば、上顎歯と下顎歯との間の関係やそれらの相対的な動きに関する知識は、クラウンやブリッジなどの歯科補綴物の製作に役立つ。よってそれら知識によれば歯科技工士は、補綴物が口の中で自然に感じられるとともに、過度のストレスを受けないことを保証することができる。

Ｈａｒｔｌｅｙ， Ｒ． ａｎｄ Ｚｉｓｓｅｒｍａｎ， Ａ．， ２００３．Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． Ｃａｍｂｒｉｄｇｅ ｕｎｉｖｅｒｓｉｔｙ ｐｒｅｓｓ Ｆｉｓｃｈｌｅｒ， Ｍ．Ａ． ａｎｄ Ｂｏｌｌｅｓ， Ｒ．Ｃ．， １９８１、Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ： ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ（ランダムサンプルコンセンサス：モデルフィッティングのためのパラダイム、画像解析と自動地図作成への応用）、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ， ２４（６）， ｐｐ．３８１－３９５ Ｗａｌｌｓ， Ａ．Ｗ．Ｇ．， Ｗａｓｓｅｌｌ， Ｒ．Ｗ． ａｎｄ Ｓｔｅｅｌｅ， Ｊ．Ｇ．， １９９１．Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｗｏ ｍｅｔｈｏｄｓ ｆｏｒ ｌｏｃａｔｉｎｇ ｔｈｅ ｉｎｔｅｒｃｕｓｐａｌ ｐｏｓｉｔｉｏｎ （ＩＣＰ） ｗｈｉｌｓｔ ｍｏｕｎｔｉｎｇ ｃａｓｔｓ ｏｎ ａｎ ａｒｔｉｃｕｌａｔｏｒ（咬合器にモデルを装着しながら、犬歯間位（ＩＣＰ）を位置決めするための２つの方法の比較）。Ｊｏｕｒｎａｌ ｏｆ ｏｒａｌ ｒｅｈａｂｉｌｉｔａｔｉｏｎ（口腔リハビリテーション学会誌），１８（１），ｐｐ．４３－４８ Ｕｌｌｍａｎ，Ｓ．，１９７６．Ｔｈｅ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ （Ｎｏ． ＡＩ－Ｍ－４７６）． Ｍａｓｓａｃｈｕｓｅｔｔｓ Ｉｎｓｔ ｏｆ Ｔｅｃｈ Ｃａｍｂｒｉｄｇｅ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｌａｂ

これらの関係を決定（判定）する従来の方法は、エラーが発生しやすく、コストがかかる場合がある。例えば、上顎歯と下顎歯との間の静的関係を決定するには、上顎歯の印象（インプレッション）と下顎歯の印象とからそれぞれ鋳造された２つの流し込みストーンモデル（石造模型）を、一緒にクランピングする（挟み込む）ことで実施することができる。しかし、これは歯科技工士がそれらモデルを適切に位置決めすることに依存しているとともに、クランプ工程でオープンバイト（開咬）などのアライメントエラー（位置合わせ誤差）が発生する虞れがある。また、歯科咬合器を使用する場合にも、同様の問題が発生する虞れがある。

最新のデジタル方式では、高価な３Ｄスキャン装置（三次元走査エクイップメント）が必要になるとともに、従来の方式と比較して精度が向上しない場合がある。これは、動的な動きを記録する方法では、患者の口の中（口腔内）に器具を配置する必要があるので、固有感覚フィードバックが乱れることによって、不自然な顎の動きになってしまうことが一因と考えられる。

本開示の目的は、上記の困難、および本明細書の説明に対して当業者に明らかである他の困難を克服することにある。上顎歯と下顎歯との間の静的または動的な関係を決定するための費用対効果の高い正確な手段を提供することが、本開示の更なる目的である。

本発明によれば、添付の特許請求の範囲に規定されるような装置および方法が提供される。本発明の他の特徴は、従属請求項、および以下に続く説明から明らかになるであろう。

本開示の第１態様によれば、以下を備えているコンピュータ実装方法が提供される。
患者の上顎歯の３Ｄモデル（三次元模型）と、患者の下顎歯の３Ｄモデルとを受け取る工程と、
複数の２Ｄ画像（二次元イメージ）を受け取る工程であって、各２Ｄ画像は患者の上顎歯および下顎歯のうちの少なくとも一部を代表する、複数の２Ｄ画像を受け取る工程と、
２Ｄ画像に基づき、患者の上顎歯と下顎歯との間の空間関係（スペ－シアルリレーションシップ。空間的関係）を決定する工程と。

２Ｄ画像に基づき、患者の上顎歯と下顎歯との間の空間関係を決定する工程は、上顎歯の３Ｄモデルおよび下顎歯の３Ｄモデルのうちの一方（１つ）に対する２Ｄ画像の最適アライメント（最適位置合わせ）を決定する工程と、上顎歯の３Ｄモデルおよび下顎歯の３Ｄモデルのうちの一方と、患者の上顎歯の３Ｄモデルおよび下顎歯の３Ｄモデルのうちの他方と、の間の最適アライメントを決定する工程と、を備えていることができる。

最適アライメントを決定する工程は、２Ｄ画像の各々について、２Ｄ画像がキャプチャ（撮影）されたカメラ姿勢（カメラポーズ）の現在の推定（カレントエスティメイト。現在の推定値）と、患者の上顎歯の３Ｄモデルと下顎歯の３Ｄモデルとの間の空間関係とに基づき、３Ｄシーン（ｓｃｅｎｅ）をレンダリング（レンダー）する工程と、カメラ姿勢の現在の推定に基づき、レンダリングされた３Ｄシーンから２Ｄレンダリングを抽出する（取り出す）工程と、２Ｄレンダリングを２Ｄ画像と比較することで、２Ｄレンダリングと２Ｄ画像との間の差のレベルを示すコストスコアを決定する工程と、を備えているものであってもよい。最適アライメントを決定する工程は、最適化器（オプティマイザ）を、好ましくは非線形最適化器を使用することで、２Ｄ画像のすべてに亘って最適アライメントを反復して得る工程を備えてもよい。

コストスコアは、２Ｄレンダリングと２Ｄ画像との間で計算される相互情報スコアを備えてもよい。コストスコアは、２Ｄレンダリングと２Ｄ画像とから抽出された対応する画像特徴同士の類似度スコア（類似性得点。シミラリティスコア）を備えて構成されてもよい。画像特徴は、コーナー特徴であってもよい。画像特徴は、エッジであってもよい。画像特徴は、画像勾配特徴であってもよい。類似度スコアは、ユークリッド距離、ランダムサンプリング、１対１（ワンツーワンネス）のうちの１つであってよい。相互情報スコアを計算する前に、レンダリングおよび２Ｄ画像は前処理されてもよい。レンダリングおよび２Ｄ画像に、畳み込み（コンボリューション）やフィルタを適用してもよい。

コストスコアは、２Ｄレンダリングと２Ｄ画像との間の最接近一致スコア（クローゼストマッチ得点）を備えて構成されてもよい。最接近一致スコアは、２Ｄレンダリングからの２Ｄ特徴と、２Ｄ画像からの２Ｄ特徴と、の比較に基づいてもよい。

コストスコアは、２Ｄ－３Ｄ－２Ｄ－２Ｄコスト（２ｄ－３ｄ－２ｄ－２ｄコスト）を備えてもよい。２Ｄ－３Ｄ－２Ｄ－２Ｄコストは、レンダリングされた３Ｄシーンから、２Ｄ画像特徴を抽出する工程と、抽出された特徴を、レンダリングされた３Ｄシーンに再投影（リ・プロジェクティング）する工程と、２Ｄ画像から画像特徴を抽出する工程と、２Ｄ画像から抽出された特徴を、レンダリングされた３Ｄシーンに再投影する工程と、３Ｄ空間に再投影された特徴同士間の差を示す類似度尺度（シミラリティメジャー。類似性測定値）を計算する工程と、によって計算される。

コストスコアは、複数の２Ｄ画像の連続する画像同士間の画素（ピクセル）を追跡することで計算されるオプティカルフローコストを備えてもよい。オプティカルフローコストは、密なオプティカルフローに基づくものであってもよい。追跡された画素は、オクルードされ（隠され）ていると判定された画素を除外してもよい。

コストスコアを決定する工程は、異なる抽出された特徴および／または類似度尺度に基づき、複数の異なるコストスコアを決定する工程を備えてもよい。最適化器による各反復で使用されるコストスコア同士は、異なってもよい。コストスコアは、コストスコアの第１選択と、コストスコアの第２選択とを交互に繰り返してもよい。第１選択および第２選択のうちの一方は２Ｄ－３Ｄ－２Ｄ－２Ｄコストを備えており、他方は備えていない。

複数の２Ｄ画像はそれぞれ、実質的に同じ静的アライメントにある上顎歯および下顎歯を示すことができる。
複数の２Ｄ画像はそれぞれ、患者の上顎歯および下顎歯のうちの少なくとも一部を備えていてもよい。複数の２Ｄ画像は、患者の頭部の周囲でカメラを移動させながらキャプチャしてもよい。

複数の２Ｄ画像はそれぞれ、咬合状態（オクルージョン）にある患者の上顎歯の歯科モデルおよび患者の下顎歯の歯科モデルのうちの少なくとも一部を備えていることができる。複数の２Ｄ画像は、咬合状態に保持された患者の上顎歯のモデルおよび患者の下顎歯のモデルの周囲でカメラを移動させながらキャプチャされてもよい。上顎歯のモデルは、マーカーを備えていてもよい。下顎歯のモデルは、マーカーを備えていてもよい。上顎歯の３Ｄモデルおよび下顎歯の３Ｄモデルのうちの一方（１つ）に対する２Ｄ画像の最適アライメントの決定は、歯科モデルに配置されたマーカーに基づき行われてもよい。

本方法は、第１位置における患者の上顎歯と下顎歯との間の第１空間関係を決定する工程と、第２位置における患者の上顎歯と下顎歯との間の第２空間関係を決定する工程と、第１空間関係と第２空間関係との間の空間変換（スペ－シアルトランスフォーメーション。空間的変換）を決定する工程と、を備えてもよい。空間変換を決定する工程は、横方向ヒンジ軸を決定する工程を備えてもよい。第１位置は、閉じ位置（クローズドポジション）であってもよい。第２位置は、開き位置（オープンポジション）であってもよい。

複数の２Ｄ画像は、複数の２Ｄ画像セットを備えてよく、各２Ｄ画像セットは、異なる複数の視点からの患者の顔の複数の同時キャプチャされた画像（同時キャプチャ画像）を備えてよい。複数の２Ｄ画像は、異なる視点から同時にキャプチャされた、動いている上顎歯および下顎歯の動画（ビデオ。映像）を備えて構成されてもよい。本方法は、各２Ｄ画像セットに基づき空間関係を決定する工程を備えてもよい。本方法は、各２Ｄ画像セットにおいて、下顎歯の３Ｄモデルに接触している上顎歯の３Ｄモデルの領域を決定する工程と、上顎歯または下顎歯の３Ｄモデル上にその決定された領域を表示する工程とを備えてもよい。

本開示の第２態様によれば、プロセッサとメモリとを備えているシステムが提供される。メモリは、プロセッサによって実行されると本明細書に規定される方法のうちのいずれかをシステムに実行させる命令を格納（記憶）する。

本発明のさらなる態様によれば、コンピュータデバイスによって実行されるとコンピュータデバイスを本明細書に規定するように構成させるか、および／またはコンピュータデバイスに本明細書に規定する方法のうちのいずれかを実行させる、命令をその上に記録した有形で非一時的な（非一過性の）コンピュータ可読記憶媒体が提供される。

本発明のさらなる態様によれば、プログラムがコンピュータによって実行されるときにコンピュータに本明細書に記載の方法のうちのいずれかを実行させる命令を備えている、コンピュータプログラム製品が提供される。

本発明をより良く理解するべく、そして同じものの例がどのように実施され得るかを示すために、次に、例としてのみ、添付の概略図面を参照する。

患者の上顎歯と下顎歯との間の空間関係を決定する、第１例示的方法の概略フローチャート。 患者の上顎歯および下顎歯のうちの少なくとも一部を備える２Ｄ画像をキャプチャする、例示的な方法を示す概略的な斜視図。 図１および図２の例示的な方法を、さらに詳細に示す概略フローチャート。 図１～図３の例示的な方法をさらに詳細に示す概略フローチャート。 図１～図４の例示的な方法をさらに詳細に説明する概略図。 患者の上顎歯および下顎歯のうちの少なくとも一部を備えている２Ｄ画像をキャプチャする、例示的な方法を示す概略斜視図。 横方向水平軸を計算する例示的な方法の概略的なフローチャート。 患者の横方向水平軸を示す概略図。 患者の横方向水平軸を示す概略図。 患者の上顎歯および下顎歯のうちの少なくとも一部を備える２Ｄ画像をキャプチャする、方法を示す概略図。 患者の上顎歯と下顎歯との間の空間関係を決定する、第２例示的方法の概略フローチャート。 患者の上顎歯と下顎歯との間の接触を示す例示的なＧＵＩ。 患者の上顎歯と下顎歯との間の接触を示す例示的なＧＵＩ。 患者の上顎歯と下顎歯との間の空間関係を決定するための、例示的システムの概略ブロック図。

図面において、対応する参照文字は、対応する構成要素を示す。当業者は、図中の要素が単純化および明確化のために図示されているので、必ずしも縮尺通りに描かれていないことを理解するであろう。例えば、図中のいくつかの要素の寸法は、様々な例示的な実施例の理解を深めるべく、他の要素に対して誇張されている場合がある。また、商業的に実現可能な例において有用であるかまたは必要である一般的であるがよく理解されている要素は、これらの様々な例示的な例の視界をあまり妨げないようにするべく、描かれていないことが多い。

概要において、本開示の実施例は、複数の２Ｄ画像に基づき、上顎歯と下顎歯との間の空間関係を決定する手段を提供する。各画像は、上顎歯および下顎歯のうちの少なくとも一部を備えている。複数の２Ｄ画像は、上顎歯の３Ｄモデルを下顎歯の３Ｄモデルにアライメントするべく使用されてもよい。いくつかの例では、複数の２Ｄ画像は、患者の顔の周りを移動するカメラによってキャプチャされた動画を備えているか、または咬合に保持されている上顎歯および下顎歯のキャストストーンモデルを備えている。他の例では、複数の２Ｄ画像は、患者の顔の複数の同時にキャプチャされた動画を備えており、同時にキャプチャされた動画の各々は、異なる視点からキャプチャされている。

図１は、上顎歯と下顎歯との間の空間関係を決定する方法の一例を示す図である。図１の例では、空間関係は、最大歯間位置のような静的空間関係である。
ブロックＳ１１において、患者の上顎歯の３Ｄモデルは受け取られる。ブロックＳ１２では、患者の下顎歯の３Ｄモデルは受け取られる。

上顎歯と下顎歯の３Ｄモデルは、適切な３Ｄ歯科スキャナを使用することで得ることができる。例えば、本出願人の係属中の英国特許出願ＧＢ１９１３４６９．１に記載された歯科スキャナを使用してもよい。歯科スキャナは、上顎歯および下顎歯から採取された印象（インプレッション）を、印象から鋳造されたストーンモデルを、または印象とストーンモデルとの組み合わせを、スキャンするべく使用されてもよい。

さらなる例では、３Ｄモデルは、ストーンモデルをスキャンするか、または患者の口内に配置するのに適した口腔内スキャナの形態をとる、他の市販のスキャナによって得られてもよい。

３Ｄモデルはそれぞれ、ＳＴＬ形式またはＰＬＹ形式、または３Ｄモデルを格納するのに適した他のデータ形式のデータファイルの形態をとってもよい。
ブロックＳ１３において、複数の２Ｄ画像がキャプチャされる。２Ｄ画像の各々は、所望の静的空間関係で保持された、上顎歯の少なくとも一部と下顎歯の一部とを備えている。

図２は、複数の２Ｄ画像をキャプチャする方法の一例を示す図である。図２に示すように、複数の２Ｄ画像は、例えばスマートフォン１００のカメラであってもよいような単一のカメラ１０１によってキャプチャ（撮像）されてもよい。カメラ１０１は、所定の（予め定められた）フレームレートで画像をキャプチャするような動画キャプチャモードに置かれてもよい。次に、カメラ１０１は、所望の静的空間関係で上顎歯Ｕ１および下顎歯Ｌ１を保持している患者Ｐの顔の周りで、弧Ａ１を描くように移動される。上顎歯Ｕ１および下顎歯Ｌ１は、患者Ｐが唇同士を離して保持しているか、またはそれらが他の標準的な歯科手段によって引っ込んでいるので、少なくとも部分的にカメラによって見えている。従って、複数の２Ｄ画像がキャプチャされるとともに、各２Ｄ画像は患者の上顎歯および下顎歯のうちの少なくとも一部を備える。

一実施例では、カメラ１０１は、２Ｄ画像をキャプチャする前に較正される。特に、カメラ１０１は、カメラ１０１のレンズおよび画像センサのパラメータを決定または推定するべく較正処理を受けることがあるので、これらのパラメータは、レンズ歪みおよびバレリング（ｂａｒｒｅｌｌｉｎｇ。半径歪み（ラジアルディストーション）とも呼ばれる）などの現象を補正するとともに、正確な３Ｄシーン再構成を可能にするべく使用することができる。較正処理はまた、カメラ１０１の焦点距離および光学中心を決定してもよい。較正処理は、既知の寸法および形状を有する対象物の画像をキャプチャするとともに、それに基づきレンズおよび画像センサのパラメータを推定する工程を備えてもよい。カメラを較正する例示的な方法は、非特許文献１に記載されているとおりであってよく、その内容は参照によって本明細書に組み込まれる。

図１に戻ると、ブロックＳ１４において、上顎歯と下顎歯との空間アライメント（スペ－シアル位置関係。空間的位置関係）が決定される。２Ｄ画像は、上顎歯および下顎歯の３Ｄモデル同士をアライメントするべく使用される。それによって、そのようなモデル同士の空間アライメントは、キャプチャ画像（キャプチャされた画像）に示されるように、モデル同士の相対的アライメントに対応する。２Ｄ画像を使用することで上顎歯と下顎歯とをアライメントする方法について、図３～図５を参照して以下に詳細に説明する。

図３は、図１のブロックＳ１４の処理をさらに詳細に示す図である。この処理は、カメラ１０１によってキャプチャされた各２Ｄ画像における上顎歯と下顎歯との姿勢（ポーズ）と、カメラ姿勢（すなわち、カメラ１０１の位置）と、を推定する。

第１工程Ｓ３１では、上顎歯に対するカメラ姿勢を決定するように、キャプチャ画像が上顎歯にアライメントされる。一例では、カメラ１０１によるキャプチャ画像のうち、第１キャプチャ画像のカメラ姿勢の初期推測が受け取られる。これは、ユーザ入力を介して－例えば、ユーザインタフェースを介してモデルを第１キャプチャ画像にアライメントするようにモデルをドラッグするユーザによって－実施されてもよい。別の例では、標準化された動画化プロトコルが使用されてもよい。例えば、画像をキャプチャするユーザは、カメラ１０１を患者Ｐの顔の或る部分に向けた状態で動画を開始するように指示されてもよく、これによって、第１画像のおおよその姿勢が知られるようになる。

第２工程Ｓ３２では、下顎歯Ｌ１を上顎歯Ｕ１にアライメントするための変換Ｔ_{ｌｏｗｅｒ}は、キャプチャされた全ての２Ｄ画像に亘って同時に最適化される。したがって、下顎歯Ｌ１および上顎歯Ｕ１のアライメントの決定が行われる。いくつかの例では、カメラ姿勢および変換Ｔ_{ｌｏｗｅｒ}は、その後、同時に反復的に最適化される。

次に、３Ｄモデルを２Ｄ画像にアライメントする方法について、図４および図５を参照して説明する。
ブロックＳ４１において、カメラ姿勢Ｃおよびモデル（上顎歯Ｕ１）姿勢の現在の推定に基づき、シーンＳの３Ｄレンダリングが実行される。この結果、カメラ位置（Ｃ）の推定から見た、シーンの現在の推定の２Ｄレンダリング画像（Ｒ）が得られる。

ブロックＳ４２において、レンダリング画像Ｒは、モデル姿勢およびカメラ姿勢の現在の推定をスコア化するように、２Ｄキャプチャ画像（Ｉ）と比較される。キャプチャ画像Ｉとレンダリング画像Ｒとの間の類似度が高いほど、推定が正しいという可能性が高くなる。

レンダリング画像Ｒとキャプチャ画像Ｉとの類似度を評価するべく、類似度メトリクスが計算されてもよい。類似度メトリクスはコストスコアを出力してもよく、より高いコストスコアは、レンダリング画像Ｒとキャプチャ画像Ｉとの間のより高い相違度を示す。

一例では、相互情報スコア（ＭＩスコア。ミューチュアルインフォメーション得点）が、レンダリング画像Ｒとキャプチャ画像Ｉとの間で計算される。相互情報ＭＩは、レンダリング画像Ｒおよびキャプチャ画像Ｉに直接基づき、計算されてもよい。しかし、さらなる例では、相互情報ＭＩスコアの効果を高めるべく、レンダリング画像Ｒおよびキャプチャ画像Ｉは、相互情報ＭＩの計算前に異なる方法で処理されることができる。例えば、ソーベル勾配処理のようなフィルタが、レンダリング画像Ｒおよびキャプチャ画像Ｉに適用されてもよい。もしくは、機械学習されたまたは設計された、別の画像畳み込みが、レンダリング画像Ｒおよびキャプチャ画像Ｉに適用されてもよい。

一例では、レンダリング画像Ｒおよびキャプチャ画像Ｉのそれぞれについて、そのレンダリング画像Ｒおよびキャプチャ画像Ｉから顕著な特徴（例えば、領域またはパッチ）を抽出するように、特徴抽出が実施される。例えば、レンダリング画像Ｒおよびキャプチャ画像Ｉの各々からエッジ点または領域を抽出するべく、エッジ抽出法が適用される。別の例では、レンダリング画像Ｒおよびキャプチャ画像Ｉの各々からコーナー点または領域を抽出するべく、コーナー抽出法が適用される。例えば、画像勾配特徴が抽出されてもよい。または、例えば畳み込みニューラルネットワークで学習されたような、他の機械学習された顕著な特徴が抽出されてもよい。

レンダリング画像Ｒとキャプチャ画像Ｉとからそれぞれ抽出された対応する顕著な特徴は、次に、それら同士間の類似度を決定するべくマッチングされる。例えば、マッチングは、抽出された点同士間のユークリッド距離のような類似度尺度（シミラリティメジャー）を採用してもよい。類似度尺度には、非特許文献２で議論されているような抽出点のランダムサンプリングや、または１対１のような尺度などを採用してもよい。

更なる例では、本明細書で２Ｄ－３Ｄ－２Ｄ－２Ｄコストと呼ばれるコストは、以下のように計算される。
まず、２Ｄ特徴（エッジ／コーナー／機械学習されたまたは人間が設計した畳み込み）は現在の３Ｄレンダリング推測の２Ｄ画像（Ｒ）から抽出され、その結果、点セットＡ２が生成される。次に、これらの２Ｄ特徴が３Ｄレンダリングに再投影されることで、３Ｄ点セット（点セットＡ３）が得られる。

２Ｄカメラ画像（キャプチャ画像Ｉ）において、対応する２Ｄ特徴（点セットＢ２）が抽出される。次に、Ｂ２とＡ２との間の対応が、一般的には最近点探索を用いて割り当てられるが、これは、最も近い類似度因子で補強されることもある。その後、同等の３Ｄ対応（Ａ３）が計算されることで、２Ｄ－３Ｄ対応Ｂ２－Ａ３セットとなる。ここで課題は点Ａ３（Ａ２′と呼ばれる）の２Ｄ再投影誤差を最小にすることであり、Ｂ２－Ａ２′が最小になるようにカメラ姿勢またはモデル姿勢を最適化することによって行われる。

概念的には、このスコアは、３Ｄモデル上にエッジ点（または他の顕著な点）をマークする工程と、２Ｄカメラ画像上の最も近いエッジ点を見つける工程とを備える。次に、これらの３Ｄエッジ点の再投影が２Ｄ画像点に一致するように、モデルを移動させる工程を備えている。

３Ｄモデル上にマークされたエッジ点と、それに対応するカメラ画像の２Ｄ点とは、各反復においてますます真に対応する可能性が高くなるので、全処理は反復的に繰り返し行われる。

さらなるコストは、レンダリング画像Ｒ（これもシルエットレンダリングなどの前処理がされている場合がある）から２Ｄ特徴を抽出する工程と、カメラ画像から２Ｄ特徴を抽出する工程とである。２つの画像同士間の最接近一致（クローゼストマッチ）が見つかると、現在のコストスコアとして使用されるとともに、それが最適化器（オプティマイザ）に直接フィードバックされることで、モデル姿勢（またはカメラ姿勢）を少し調整するとともにレンダリングを再計算することができる。この方法は、対応が反復ごとに更新されることで対応距離が最適化器を導くためのスコアとして使用される事項において、２Ｄ－３Ｄ－２Ｄ－２Ｄコストとは異なる。これに対し、２Ｄ－３Ｄ－２Ｄ－２Ｄコストは、現在の対応セットを最小化するべく反復する（すなわち内側ループ）とともに、次にレンダリングを再計算することで新しい対応を得て再び反復する（外側ループ）ことで計算される。

別のコストスコアは、オプティカルフローを使用することで計算されるかもしれない。オプティカルフローは、シーケンス中の連続したフレーム同士間の画素を追跡する技術である。フレームが連続的に記録されるので、レンダリング画像Ｒにおける画素の追跡位置が、キャプチャ画像Ｉにおける画素の追跡位置とは著しく異なる場合、モデルとカメラ姿勢との推定は不正確であることを示す。

一実施例では、オプティカルフロー予測は、前方（フォワード。前向き）に、すなわち、キャプチャされた動画の先行フレームに基づき実施される。一実施例では、オプティカルフロー予測は、後方（バックワード。後ろ向き）に実施される、すなわち、後続のフレームに基づくオプティカルフロー予測が計算され得るように、動画のフレームの順序は逆転される。

一例では、密なオプティカルフロー技法が採用される。密なオプティカルフローは、画像内の画素のサブセットに対して計算されてもよい。例えば、画素は、その画素の位置に基づき、カメラの光学中心から延びるベクトルに対して実質的に直交する平面内に存在すると仮定される画素に限定されてもよい。一例では、画素は、顔にフィッティング（適合）された顔モデルに基づき、患者Ｐの顔によって（例えば、鼻によって）隠されていると判定（決定）されてもよい。そのような画素は、その後、オプティカルフローによって追跡されなくなることがある。

一例では、異なる抽出された特徴および／または類似度尺度に基づき、複数の異なるコストスコアを決定するように、上述の方法のうちの複数が適用される。
ブロックＳ４１およびＳ４２の処理は、複数のキャプチャ画像（撮像画像）に対して実施される。例えば、処理は、キャプチャ画像のすべてについて実施されてもよい。しかし、他の例では、キャプチャ画像のサブセットが選択されてもよい。例えば、キャプチャ画像のサブサンプルが選択されてもよい。サブサンプルは、１個おきのキャプチャ画像、３個おきのキャプチャ画像、または１０個おきのキャプチャ画像などの、規則的なサブサンプルであってよい。

従って、モデル推定位置およびカメラ推定位置に基づき、各キャプチャ画像とその対応するレンダリング画像との間の類似度を反映する、複数のコストスコアが導出される。
一例では、連続するフレーム同士間の推定カメラ姿勢の差は、追加のコストスコアとして計算されてもよい。言い換えれば、現在の画像の推定カメラ姿勢と、前にキャプチャされたフレームと、の間の距離が計算されてもよい。および／または、現在の画像の推定カメラ姿勢と、その後にキャプチャされたフレームと、の間の距離が計算されてもよい。画像は連続してキャプチャされるので、連続するフレーム同士間のカメラ姿勢の大きな差は、不正確な推定を示す。

ブロックＳ４３において、各画像のコストスコアが非線形最適化器に供給されるので、ブロックＳ４１およびＳ４２の処理を反復するとともに、各反復でカメラ姿勢およびモデル姿勢を調整する。キャプチャ画像のそれぞれについて、同時に最適化する解が得られる。反復は、収束閾値に到達したときに停止する。一例として、採用される非線形最適化器は、レーベンベルグ－マルカールト（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ）アルゴリズムである。他の例では、Ｅｉｇｅｎ（ｈｔｔｐ：／／ｅｉｇｅｎ．ｔｕｘｆａｍｉｌｙ．ｏｒｇ／）、Ｃｅｒｅｓ（ｈｔｔｐ：／／ｃｅｒｅｓ－ｓｏｌｖｅｒ．ｏｒｇ／）、またはｎｌｏｐｔ（ｈｔｔｐｓ：／／ｎｌｏｐｔ．ｒｅａｄｔｈｅｄｏｃｓ．ｉｏ）などのソフトウェアライブラリから、他のアルゴリズムが採用され得る。

さらなる例では、各反復で使用されるコストスコアは異なってもよい。言い換えれば、上述のスコアの選択が各反復で計算されるとともに、その選択は反復ごとに異なってもよい。例えば、本方法は、上記スコアの第１選択と、上記スコアの第２選択と、を交互に行うことができる。一例では、第１選択および第２選択のうちの一方は２Ｄ－３Ｄ－２Ｄ－２Ｄコストを備えているが、他方はそうではない。上述の方法で様々なコストメトリクスを使用することで、よりロバストなソリューションが見出され得る。

図６は、上顎歯と下顎歯との間の空間関係を決定する方法の更なる実施例を示す図である。図６は、図１～図５を参照して上述した方法に実質的に対応する。しかしながら、カメラ１０１を患者Ｐの顔の周りに通過させるのではなく、代わりに、カメラ１０１を上顎歯のモデルＵ２および下顎歯のモデルＬ２の周りに移動させる。モデルＵ２，Ｌ２は、患者Ｐの上顎歯Ｕ１と下顎歯Ｌ１とを採取した歯科印象（歯型）から鋳造される。さらに、モデルＵ２，Ｌ２は、歯科技工士の手Ｈによって咬合状態で保持される。この方法は、経験豊富な施術者による歯間位置の手による咬合は比較的正確であることを利用した（非特許文献３）。さらに、モデルＵ２，Ｌ２の歯は唇によって隠されていないので、正確なアライメントが容易になると思われる。

一実施例では、歯科モデル（Ｕ２，Ｌ２）のうちの一方または両方に、マーカーを付けてもよい。マーカーは、例えば、ＱＲコード（登録商標）または色付きマークの形態をとることができる。マーカーは、スキャンされた３Ｄモデルの一部を形成する必要はない。従って、歯科モデル（Ｕ２、Ｌ２）がスキャンされた後に、マーカーは歯科モデル（Ｕ２、Ｌ２）に適用されることができる。マーカーは、次に、標準的な「運動から構造」（ストラクチャ－フロム－モーション）の技法を使用することで、モデルに対するカメラ姿勢を決定するべく使用される。例えば、その技術は、非特許文献４に示された技術であってもよい。従って、この技術は、上記で示した第１工程Ｓ３１に置き換えることができる。

図７は、患者の横方向水平軸（ＴＨＡ。トランスバースホリゾンタルアクシス）を決定する方法の一例を示している。これは、図８Ａおよび図８Ｂに示されており、それぞれ、顎１２が閉じた位置と、顎１２が開いた位置と、に存在する患者の頭蓋骨１０を示している。横方向水平軸ＴＨＡ１１は、口の純粋な回転開閉中に下顎が当該ヒンジ軸上で回転する可能性のあるヒンジ軸（ヒンジ軸線）である。図８Ｂでは、上顎歯Ｕ１と下顎歯Ｌ１とを静的に離して保持するべく、装置１３が上顎歯Ｕ１と下顎歯Ｌ１との間に挿入されている。装置１３は、前方治具またはデプロイメント装置であってもよい。

図７のブロックＳ７１では、図８Ａに示すように、顎１２がほぼ閉じた位置にある状態で、上顎歯Ｕ１と下顎歯Ｌ１との空間関係が決定される。ブロックＳ７２では、例えば図８Ｂに示すように、顎１２が開き位置（最大２０ｍｍ開）にある状態で、上顎歯Ｕ１と下顎歯Ｌ１との空間関係が決定される。それぞれの場合において、下顎骨は、セントリック（中心）に姿勢設定されてもよい。

ブロックＳ７３において、２つの空間アライメントにおける上顎歯Ｕ１に対する下顎歯Ｌ１の異なる位置に基づき、横方向水平軸ＴＨＡは決定される。
一例では、横方向水平軸ＴＨＡは、共通の座標系を作成するべく、上顎歯Ｕ１の両方のスキャンにおける複数の点（例えば、３点）をアライメントさせることで決定される。次に、下顎歯Ｌ１のスキャンにおける複数の点の、閉じ位置から開き位置への移動を表す３×４変換行列が計算される。そして、変換行列の左上３×３の部分行列を用いて、回転軸の向きと、軸周りの回転の度合いとを計算することができる。

この軸の空間位置（スペ－シアルロケーション。空間的位置）は無限に存在するとともに、それぞれ回転の後に異なる並進ベクトルが適用される。横方向水平軸ＴＨＡの位置を見つけるべく、開始位置から終了位置まで点が追跡される。そして、算出された軸に一致する方向に並進ベクトルを拘束する解（ソリューション）を求める。この解は、閉形式数学（例えば、特異値分解）によって、または勾配降下法などの他の開放型最適化手法によって、求めることができる。これによって、軸上の点に相当するベクトルと、軸に沿った並進ベクトルの大きさと、が得られる。後者のベクトルは、理論的にはゼロであるべきである。

さらなる例では、顎を様々な開き度合で保持するべく、例えば様々な厚さの治具またはデプロイメント（ディプログラマ）を使用することで、複数の位置について上顎歯および下顎歯の空間アライメントを決定することができる。これによって、ヒンジ軸を計算するべく、複数の空間アライメントを使用することができる。

別の実施例では、上顎歯Ｕ１と下顎歯Ｌ１との間の空間関係は、突出性または側方静的登録において決定される。そのような登録から、前方または側方ガイダンスが推定され得る。したがって、様々な静的姿勢における歯の空間アライメントの決定に基づき、動的な顎の動きの推定がなされ得る。

ここで図９に目を向けると、本開示の別の実施例が図示されている。この実施例では、２つのカメラ２００Ａ、２００Ｂが採用される。上述した実施例とは対照的に、カメラ２００Ａ，２００Ｂは、固定された位置に設けられている。すなわち、カメラ２００Ａ，２００Ｂは、互いに対して固定されており、画像キャプチャ時に移動することはない。例えば、カメラ２００Ａ，２００Ｂは、適切なスタンド、治具等の支持機構（図示せず）によって、固定位置に支持されていてもよい。

カメラ２００Ａ，２００Ｂは、各カメラが異なる視点を有するように配置され、したがって、口の異なる部分の画像をキャプチャする。各カメラ２００の視線は、点線２０１Ａ，２０１Ｂで表されている。例えば、図９において、カメラ２００Ａは、患者Ｐの顔の右側をキャプチャ（撮像）するように配置されている。カメラ２００Ｂは、患者Ｐの顔の左側をキャプチャするように配置されている。

カメラ２００Ａ，２００Ｂは、同期して動作するように構成されている。すなわち、カメラ２００Ａ，２００Ｂは、特定の時間指標（タイムインデックス）で同時に画像をキャプチャすることができる。従って、カメラ２００Ａ，２００Ｂは、患者Ｐの口の２つの同時にキャプチャされた視点を提供する。

図１０は、カメラ２００Ａ，２００Ｂを用いて、例えば上顎歯Ｕ１と下顎歯Ｌ１との間の空間関係を決定する方法を示している。
ブロックＳ１００１において、カメラ２００Ａ，２００Ｂは、同期画像をキャプチャする。ブロックＳ１００２において、上顎歯Ｕ１および下顎歯Ｌ１の空間アライメントは、時間指標について、当該時間指標においてキャプチャ画像に基づき計算される。

上述したように、図１～図６の方法では、カメラ１０１によってキャプチャされた全ての画像において、上顎歯Ｕ１および下顎歯Ｌ１が同じ空間アライメントに留まると仮定される。よって、カメラ１０１が患者の顔の周りを通過するときのカメラ１０１によってまたは咬合に保持されたモデルによって、キャプチャされた複数の画像に基づき最適アライメント解（ソリューション）が見いだされる。

これに対し、図９～図１０の方法では、カメラ２００Ａ，２００Ｂによって同期してキャプチャされた各セット（各組）の画像が同時にキャプチャされたことで、必然的に上顎歯Ｕ１および下顎歯Ｌ２は同じ空間アライメントで表示される。したがって、図１～図６に関連して上述した方法を、同期キャプチャ画像の各セットに適用することで、時間指標ごとにアライメントが決定されるようにしてもよい。

これによって、上顎歯Ｕ１と下顎歯Ｌ２との間の空間アライメント（スペーシアル位置関係）を動的に決定することができる。フレームごとにコストの２個（またはそれ以上個）のセットを得て組み合わせることで、最適化のロバスト性および収束特性が改善され得る。したがって、歯の１つのみのスナップショット（すなわち、２つ以上の同時画像から）は、３Ｄスキャンをロバストにアライメントすることができる。したがって、（例えば、咀嚼しながら）動いている上顎歯Ｕ１および下顎歯Ｌ２の動画をキャプチャすることで、上顎歯Ｕ１と下顎歯Ｌ２との間の相互作用の記録を導出することができる。この記録を使用することで、歯科技工士は、クラウンなどの補綴物を患者の咀嚼運動に調和するように設計することを保証できる。

一例では、各時間指標（タイムインデックス）における上顎歯Ｕ１と下顎歯Ｌ２との間の接触は、ＧＵＩを介してユーザに表示され得る。例えば、図１１Ａは、下顎歯Ｌ１の３Ｄモデル３０１を表示しているＧＵＩ３００を示す。特定の時間指標Ｔ１において上顎歯Ｕ１に接触している下顎歯Ｌ１の領域３０２は、強調表示（ハイライト）されている。例えば、領域３０２は、ＧＵＩ３００上で異なる色で表示されてもよい。図１１Ｂは、異なる時間指標Ｔ２における同じ３Ｄモデル３０１を示しているとともに、この時点では下顎歯Ｌ１と上顎歯Ｕ１との接触がより多くなっている。ＧＵＩ３００は、各時間指標における上顎歯Ｕ１／下顎歯Ｌ１間の接触を順次表示することで、キャプチャ画像全体を通じて上顎歯Ｕ１／下顎歯Ｌ１間の接触を示すアニメーション動画を表示するようにしてもよい。したがって、歯科技工士は、例えば咀嚼動作中の上顎歯Ｕ１／下顎歯Ｌ１間の接触を容易に理解することができるので、ユーザが適切な補綴物を設計することを支援することができる。さらに、データは歯科ＣＡＤパッケージにインポートされることで、患者の顎の動きに調和した診断と補綴物の設計とを可能にすることができる。

上記の例では、２台のカメラ２００Ａ，２００Ｂが使用されているが、他の例では、より多くのカメラが患者Ｐの口の周りに配置されるとともに、画像を同期してキャプチャするように構成されてもよい。そのような例では、図１～図６に関連して上に概説した方法は、複数のカメラによって特定の時間指標でキャプチャされた全ての画像に適用されてもよい。

図１２は、上顎歯と下顎歯との間の空間関係を決定するための例示的なシステム４００を示す。システム４００は、コントローラ４１０を備えて構成されている。コントローラは、プロセッサまたはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）等の他の計算要素で構成されてもよい。いくつかの例では、コントローラ４１０は、複数の計算要素で構成されている。システムはまた、メモリ４２０を備えている。メモリ４２０は、システム４００の動作に必要な任意の情報を、一時的または恒久的に記憶するための任意の適切な記憶装置を備えて構成されてもよい。メモリ４２０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュストレージ、ディスクドライブ、および任意の他のタイプの適切な記憶媒体で構成されてもよい。メモリ４２０は、コントローラ４１０によって実行されると、システム４００に本明細書に規定される方法のいずれかを実行させる命令を格納する。さらなる例では、システム４００は、ディスプレイと、マウスおよびキーボードまたはタッチスクリーンなどの入力手段とを備えていてもよい、ユーザインタフェース４３０を備えている。ユーザインタフェース４３０は、ＧＵＩ３００を表示するように構成されてもよい。さらなる例では、システム４００は、それぞれがコントローラとメモリとを備えてネットワークを介して接続された複数のコンピューティングデバイスを備えて構成されてもよい。

本発明の範囲内で、本明細書で論じた実施例に様々な変更を加えることができる。例えば、３Ｄモデルおよび２Ｄ画像が受け取られる順序が変更されてもよいことが理解されるであろう。例えば、２Ｄ画像は、３Ｄモデルのスキャンの前にキャプチャされ得る。上記の例は、カメラに対する上顎歯の位置を決定するとともに、その決定された上顎歯の位置に下顎歯をアライメントすることを議論している。しかし代わりに、上顎歯を下顎歯にアライメントする前に、下顎歯の位置はカメラに対して決定されてもよいことが理解されよう。

本明細書では、スマートフォン１００のカメラ１０１を参照するが、任意の適切な携帯カメラが採用され得ることが理解されよう。
有利には、上述のシステムおよび方法は、３Ｄスキャンを介して得られる歯の形状の事前知識を利用する、上顎歯と下顎歯とのアライメント（位置関係）を決定する方法を提供する。これによって、スマートフォンに存在するようなカメラによってキャプチャされた動画に基づき、空間関係を決定することができる。したがって、一般の歯科医師が使用するものを超えるような高価な専門機器を必要としない。さらに、上述の方法およびシステムは、有利には、機器を口腔内に設置する必要がないので、それによって、患者は顎を自然に動かすことができる。

本明細書に記載された実施例の少なくともいくつかは、部分的または全体的に、専用の特殊用途のハードウェアを使用することで構築することができる。本明細書で使用される「構成要素」、「モジュール」、または「ユニット」などの用語は、特定のタスクを実行するかまたは関連する機能を提供する、ディスクリートまたは集積構成要素の形態の回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはアプリケーション特定集積回路（ＡＳＩＣ）などのハードウェア装置を備えていることができるが、これらに限定されるわけではない。いくつかの例では、説明された要素は、有形で永続的なアドレス指定可能な記憶媒体に常駐するように構成されてもよく、１つまたは複数のプロセッサ上で実行されるように構成されてもよい。これらの機能的要素は、いくつかの例では、一例として、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、およびタスク構成要素などの構成要素、処理、関数、属性、手続き、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を備えてもよい。例示的な実施例は、本明細書で論じた構成要素、モジュール、およびユニットを参照して説明したが、このような機能要素は、より少ない要素に結合されてもよいし、追加の要素に分離されてもよい。オプションの特徴の様々な組み合わせが本明細書で説明されたが、説明された特徴は、任意の適切な組み合わせで組み合わされてもよいことが理解されるであろう。特に、任意の１つの実施例の特徴は、そのような組み合わせが相互に排他的である場合を除き、適宜、任意の他の実施例の特徴と組み合わされてもよい。本明細書を通じて、用語「備えている」または「からなる」は、指定された成分（複数可）を備えているが、他の成分の存在を排除するものでないことを意味する。

本願に関連して本明細書と同時またはそれ以前に提出され、本明細書とともに公開されているすべての論文および文書に注意が向けられ、すべてのかかる論文および文書の内容は、参照することで本明細書に組み込まれる。

本明細書（添付の請求項、要約、および図面を備えている）に開示された特徴のすべて、および／またはそのように開示された任意の方法または処理の工程のすべては、そのような特徴および／または工程のうちの少なくとも一部が相互に排他的である組み合わせを除いて、任意の組み合わせで組み合わせることが可能である。

本明細書（添付の請求項、要約、および図面を備えている）に開示された各特徴は、明示的に別段の記載がない限り、同一、同等、または類似の目的を果たす代替の特徴に置き換えることができる。したがって、明示的に別段の記載がない限り、開示された各特徴は、同等または類似の特徴の一般的な一連の一例のみである。

本発明は、前述の実施形態の詳細に限定されるものではない。本発明は、本明細書（添付の特許請求の範囲、要約書、および図面を備えている）に開示された特徴の新規なもの、または新規な組み合わせ、あるいはそのように開示された任意の方法または処理の工程の新規なもの、または新規な組み合わせに及ぶ。

Claims (22)

1. コンピュータに実装される方法であって、前記方法は、
   患者の上顎歯の３Ｄモデルと、前記患者の下顎歯の３Ｄモデルとを受け取る工程と、
   複数の２Ｄ画像を受け取る工程であって、各２Ｄ画像は前記患者の前記上顎歯および前記下顎歯のうちの少なくとも一部を代表する、複数の前記２Ｄ画像を受け取る工程と、
   前記２Ｄ画像に基づき、前記患者の前記上顎歯と前記下顎歯との間の空間関係を決定する工程と、
   を備えている、方法。
2. 前記２Ｄ画像に基づき、前記患者の前記上顎歯と前記下顎歯との間の前記空間関係を決定する工程は、
   前記上顎歯の前記３Ｄモデルおよび前記下顎歯の前記３Ｄモデルのうちの一方に対する前記２Ｄ画像の最適アライメントを決定する工程と、
   前記上顎歯の前記３Ｄモデルおよび前記下顎歯の前記３Ｄモデルのうちの前記一方と、前記患者の前記上顎歯の前記３Ｄモデルおよび前記下顎歯の前記３Ｄモデルのうちの他方と、の間の最適アライメントを決定する工程と、
   を備えている、請求項１に記載の方法。
3. 前記最適アライメントを決定する工程は、前記２Ｄ画像の各々について、
   前記２Ｄ画像がキャプチャされたカメラ姿勢の現在の推定に基づくとともに、前記患者の前記上顎歯の前記３Ｄモデルと前記下顎歯の前記３Ｄモデルとの間の前記空間関係に基づき、３Ｄシーンをレンダリングする工程と、
   前記カメラ姿勢の現在の前記推定に基づき、レンダリングされた前記３Ｄシーンから２Ｄレンダリングを抽出する工程と、および
   前記２Ｄレンダリングを前記２Ｄ画像と比較することで、前記２Ｄレンダリングと前記２Ｄ画像との間の差のレベルを示すコストスコアを決定する工程と、
   を備えている、請求項２に記載の方法。
4. 前記方法はさらに、非線形最適化器を使用することで、前記２Ｄ画像のすべてに亘って前記最適アライメントを反復して得る工程を備えている、
   請求項３に記載の方法。
5. 前記コストスコアは、前記２Ｄレンダリングと前記２Ｄ画像との間で計算された相互情報スコアを備えている、
   請求項３または４に記載の方法。
6. 前記コストスコアは、前記２Ｄレンダリングと前記２Ｄ画像とから抽出された対応する画像特徴同士の類似度スコアを備えている、
   請求項３～５のいずれか１項に記載の方法。
7. 前記画像特徴はコーナー特徴、エッジ特徴、または画像勾配特徴である、
   請求項６に記載の方法。
8. 前記類似度スコアはユークリッド距離、ランダムサンプリング、または１対１のうちの１つである、
   請求項６または７に記載の方法。
9. 前記コストスコアは２Ｄ－３Ｄ－２Ｄ－２Ｄコストを備えており、前記２Ｄ－３Ｄ－２Ｄ－２Ｄコストは、
   レンダリングされた前記３Ｄシーンから、２Ｄ画像特徴を抽出する工程と、
   抽出された前記２Ｄ画像特徴を、レンダリングされた前記３Ｄシーンに再投影する工程と、
   前記２Ｄ画像から画像特徴を抽出する工程と、
   前記２Ｄ画像から抽出された前記画像特徴を、レンダリングされた前記３Ｄシーンに再投影する工程と、
   ３Ｄ空間に再投影された特徴同士の差を示す類似度尺度を計算する工程と、
   によって計算される、
   請求項３～８のいずれか１項に記載の方法。
10. 前記コストスコアは、複数の前記２Ｄ画像の連続する画像同士間の画素を追跡することで計算されるオプティカルフローコストを備えている、
    請求項３～９のいずれか１項に記載の方法。
11. 前記方法はさらに、異なる抽出された特徴と類似度尺度とのうちの少なくとも一方に基づき、複数の異なるコストスコアを決定する工程を備えている、
    請求項３～１０のいずれか１項に記載の方法。
12. 請求項４に従属する場合、前記非線形最適化器によって各反復で使用されるコストスコア同士は、異なる、
    請求項３～１１のいずれか１項に記載の方法。
13. 複数の前記２Ｄ画像は、それぞれ、実質的に同じ静的アライメントにある前記上顎歯および前記下顎歯を示す、
    請求項３～１１のいずれか１項に記載の方法。
14. 複数の前記２Ｄ画像はそれぞれ、前記患者の前記上顎歯および前記下顎歯のうちの少なくとも一部を備えている、
    請求項１～１３のいずれか１項に記載の方法。
15. 複数の前記２Ｄ画像はそれぞれ、咬合している前記患者の前記上顎歯の歯科モデルと前記下顎歯の歯科モデルとのうちの少なくとも一部を備えている、
    請求項１～１３のいずれか１項に記載の方法。
16. 前記方法はさらに、対応する歯科モデル上に配置されたマーカーに基づき、前記上顎歯の前記３Ｄモデルと前記下顎歯の前記３Ｄモデルとのうちの一方に対する前記２Ｄ画像の最適アライメントを決定する工程を備えている、
    請求項１５に記載の方法。
17. 前記方法はさらに、
    第１位置にある前記患者の前記上顎歯と前記下顎歯との間の第１空間関係を決定する工程と、
    第２位置にある前記患者の前記上顎歯と前記下顎歯との間の第２空間関係を決定する工程と、
    前記第１空間関係と前記第２空間関係との間の空間変換を決定する工程と、
    を備えている、請求項１～１６のいずれか１項に記載の方法。
18. 前記空間変換を決定する工程は、横方向ヒンジ軸を決定する工程を備えている、
    請求項１７に記載の方法。
19. 複数の前記２Ｄ画像は複数の２Ｄ画像セットを備えており、
    前記各２Ｄ画像セットは、異なる複数の視点からの前記患者の顔の複数の同時キャプチャ画像を備えており、および
    前記方法はさらに、前記各２Ｄ画像セットに基づき前記空間関係を決定する工程を備えている、
    請求項１～１３のいずれか１項に記載の方法。
20. 前記方法はさらに、
    前記各２Ｄ画像セットにおいて、前記下顎歯の前記３Ｄモデルに接触している前記上顎歯の前記３Ｄモデルの領域を決定する工程と、
    前記上顎歯または前記下顎歯の前記３Ｄモデル上に、前記領域を表示する工程と、
    を備えている、請求項１９に記載の方法。
21. プロセッサとメモリとを備えているシステムであって、
    前記メモリは、前記プロセッサによって実行されると前記システムに請求項１～２０のいずれか１項に記載の方法を実行させるコンピュータ可読命令を記憶している、
    システム。
22. コンピュータデバイスによって実行されると前記コンピュータデバイスに請求項１～２０のいずれか１項に記載の方法を実行させる命令を記録した、
    有形で非一時的なコンピュータ読取可能な記憶媒体。

Images