JP7224361B2 - 患者の歯列の３次元モデルをカメラによって記録された患者の顔の画像に整合させるための方法 - Google Patents

Description

本発明は、患者の歯列の３次元モデルを、カメラによって記録された患者の顔の画像に整合させるためのコンピュータ実装方法に関し、画像は、口の開口部を含み、コンピュータ実装方法は、画像の記録の間に、患者の顔に対するカメラの位置付けを推定するステップと、歯列の３次元モデルデータを処理する仮想カメラを使用して、歯列の２次元画像をレンダリングするステップとを含み、仮想カメラは、カメラの推定された位置付けを使用して動作している。

患者の歯列の３次元モデルは、歯科治療または任意の他の歯科修正が計画される前の歯列の現在の状態を表す基礎として生成される歯列のデジタル３次元モデルである。したがって、歯列の３次元モデルは、カメラによって記録される口の開口部の画像内の歯列に対応する。歯列の３次元モデルは、通常、患者の口腔の走査および／または写真技術による獲得によって、もしくは印象トレーの中に化合物材料を鋳造することにおいて印象として得られる歯列の形状を走査することによって取得されている。

本発明は、歯科的拡張現実アプリケーション内で使用され、例えば、計画された歯科治療後の、定位置に歯の位置矯正デバイスを伴うまたは歯列の現在の状態の任意の他の修正を含む、歯列の現在の状態の任意の修正の結果である歯の状況をプレビューし得る。患者の歯列の修正された状態（例えば、歯科治療後）は、本願では、「歯の状況」と称される。歯科治療は、歯列の３次元モデルから開始しかつ治療後の歯の状況の修正された３次元モデルを作成するコンピュータ実装歯科治療設計ツールを使用して、計画されることができる。別の選択肢は、歯列の物理的モデルを作成することと、これを任意の歯科改変状態に修正し、次いで走査される計画された歯の状況の物理的モデルを取得することである。計画された歯の状況は、１つまたは複数の新しい歯科補綴物もしくは他の歯科修復物、または、例えば歯科ブレースの使用による歯の位置の矯正の結果としての矯正された歯の配列を含み得る。本願の意味における「歯の状況」はまた、歯の位置の矯正治療の間（位置矯正デバイス（例えば、歯科ブレースおよびリテーナ）が歯の上の定位置にあるとき）の患者の歯列の状態も含む。

歯科医および患者にとって、修正された歯の状況を伴う顔の外観の視覚的印象を得ること、すなわち、患者の顔の画像内に修正された歯の状況を可視化させることは、着目に値する。また、歯の位置矯正デバイス（例えば、歯科ブレースおよびリテーナ）を含む、歯科治療の間の外観も、そのような治療を受けることを決意する前の患者にとって、重要であり得る。この目的のために、歯科治療によって修正される歯列の仮想プレビュー（仮想モックアップ）および／またはブレース／リテーナを装着する患者のプレビューが、歯科医のために役立ち、また、最も好ましい審美的結果を得るための治療計画を相互作用的に修正する過程においても使用され得る。

この意味において、歯の状況の３次元モデルを、カメラによってとられた画像の中にオーバーレイすることが、ＷＯ第２０１７／０８５１６０号Ａ２においてすでに提案されており、説明される方法では、生体認証顔基準点が、カメラによって記録された画像内で自動的に識別され、認識された顔点は、分析され、画像内の患者の頭部の配向を判定し、画像内の口の開口部の面積を識別する。３次元モデルは、次いで、これが画像内の患者の顔の判定された配向に適合するように、配向および整合され、画像の口の開口部の中にオーバーレイされる。歯の状況の２次元画像が３次元モデルから生成される方法に関する詳細は、開示されていない。実践では、この方法は、おおまかな整合を可能にするが、仮想的歯列の位置は、あまり精密かつロバストではない。

請求項１のプリアンブルの基礎を形成するＵＳ第９，７７５，４９１号Ｂ２が、歯の状況の３次元モデルをカメラによって記録される患者の顔の画像に整合させるためのコンピュータ実装方法を開示している。この方法では、患者の口腔の３次元モデルが、取得される。この３次元モデルは、歯科修復物を適用し、かつ、歯科修復物の適用後の患者の歯列の歯の状況の３次元モデルを取得することによって、歯科医術治療計画において修正される。口の開口部を含む患者の顔の２次元画像が、取得される。次いで、患者の歯列に対する画像を記録したカメラの位置付けが、推定される。本願の文脈では、「カメラの位置付け」は、空間内の３次元位置ｘ、ｙ、ｚと、患者の顔に対するカメラの角度配向とを含んでいる。推定された位置付けを使用する仮想カメラは、２次元画像を取得するように歯の状況の３次元モデルを処理しており、仮想カメラに可視である歯の状況の３次元モデルの一部が、選択される。仮想カメラによってレンダリングされた画像は、カメラによってとられた画像の中にオーバーレイされ、表示される。カメラの位置付けを推定することは、多くの場合、実際のカメラの位置付けからの仮想カメラの位置付けのすでにあるわずかな逸脱が、カメラによって記録された画像の口の開口部内における歯列の可視化の非現実的な効果をもたらすため、可視化の満足する結果をもたらさないことが見出されている。カメラによってとられた画像内の口腔の配向からの歯の状況のレンダリングされた画像の配向のすでにあるわずかな逸脱が、合成される画像内にぎこちない審美的印象をもたらし得る。この理由のために、患者の歯列の３次元モデルを、口の開口部内の歯列の一部を示す患者の顔の画像に精密に整合させることが可能であることが、望ましくあり得、そのような整合はまた、次いで、患者の顔の画像内に正確に位置付けられた様式で歯列の３次元モデルから導出される修正された歯の状況を可視化するためにも使用され得る。

国際公開第２０１７／０８５１６０号 米国特許第９，７７５，４９１号明細書

患者の歯列の３次元モデルを、精密かつ信頼性のある整合を確実にするカメラによってとられた口の開口部を含む患者の顔の２次元画像に対して整合させるための方法を改良することが、本発明の目的である。

この目的は、請求項１に記載の特徴を備えるコンピュータ実装方法によって達成される。本発明の好ましい実施形態が、従属請求項に提示される。

患者の歯列の３次元モデルを患者の顔の画像に整合させるためのコンピュータ実装方法では、患者の歯列の３次元モデルが、読み出される。このモデルは、患者の口腔を走査することによって、または、印象材料で充填される印象トレーによって得られた歯列の印象を走査することによって、事前に作成されている。患者の歯列のそのような３次元モデルは、これが、例えば、義歯または他の歯科修復物を追加することによる、もしくは、例えば歯の位置の矯正による別の様式で歯の状況を修正することによるデジタル歯科治療計画を開発するための基礎を形成するときに、いずれにせよ、任意の方法によってすでに存在し得る。

歯列の３次元モデルは、次いで、仮想カメラによって、歯列の２次元画像としてレンダリングされ、仮想カメラは、患者の顔の画像を記録するときの実際のカメラの位置付けと一致すると推定される推定された位置付けを想定して動作される。

患者の顔の画像（画像は、顔全体を含む必要はなく、口の開口部の領域で十分である）およびレンダリングされた画像は、次いで、個別の画像内で縁検出ならびに／もしくは色ベースの歯の尤度判定を実施することによって、個別の画像内の口の開口部の内側の歯列面積における特徴検出を実行することによって別個に処理される。検出される特徴（縁または歯の尤度）に関して、または、検出された特徴（縁および歯の尤度）の各々に関して、これは、２つの検出された特徴画像（一方は、カメラ画像から結果として生じ、他方は、レンダリングされた画像から結果として生じる）をもたらし、これは、次いで、検出された特徴画像間の逸脱の測定値を計算するために使用される。理想的には、推定された位置付けが、顔画像を記録するときにすでにカメラの実際の位置付けと一致していた場合、検出される特徴（縁または歯の尤度パターン）が、２つの画像内で同じ位置にあり、したがって、２つの画像内に検出される特徴の逸脱が存在しないため、逸脱の測定値は、ゼロまたは非常に小さくなり得る。しかしながら、実践では、仮想カメラの推定された位置付けが使用されるときには、最初に、ある逸脱が、存在する。この理由のために、本方法は、仮想カメラの位置付けを新しい推定される位置付けに変動させ続け、新しい推定された位置を用いる仮想カメラを使用して、新しいレンダリングされる画像を生成する前述のステップを繰り返し、この新しい位置付けの逸脱の測定値を計算する。新しい推定された位置付けにおける新しい２次元画像をレンダリングし、新しくレンダリングされた画像における特徴を検出し、逸脱の測定値を計算するこれらのステップは、次いで、最適化プロセスにおいて反復的に繰り返され、逸脱測定値を最小化し、仮想カメラの最良に適合する位置付けを判定する。

患者の顔の画像を記録するときに、実際のカメラの位置付けに最良適合を与えるために仮想カメラの位置付けを最適化するためのコンピュータ実装方法において使用されるのに適した多くの反復的数値最適化アルゴリズムが、存在する。１つの選択肢は、勾配降下最適化アルゴリズムを使用することである。この分野の当業者は、そのようなプログラムされた最適化アルゴリズムに精通しているため、この点に関するさらなる詳細は、本明細書では規定されない。

また、逸脱測定値を最小化する代わりに、合致スコアと称され得る逸脱測定値の逆数が、最大化され得ることも、明らかである。「逸脱（または誤差）測定値が最小化される」かまたは「合致スコアが最大化されるか」どうかは、異なる用語を用いた同一のプロセスの呼称にすぎない。

色ベースの歯の尤度判定を用いた特徴検出は、画素の実際の色値が、歯に関して予期される予期された色範囲に適合する程度を判定することによる画像の各画素への歯の尤度値（０～１、または、０～１００％）の割当である。例えば、画素の色が、歯に関して予期される確率分布のコア面積内にある場合、１の色ベースの歯の尤度値が、割り当てられ、他の色値全てに関して、割り当てられる歯の尤度が、小さくなるほど、色値は、期待値からより遠くに離れる。事実上、これは、画像内の、実際には歯に属する画素の大部分に１を割り当て、色ベースの歯の尤度の検出された特徴画像が、事実上、黒および白の歯の形状画像であり、歯に属する画素が、１または１に近接する値を有し、歯の外側の画素が、０もしくはゼロに近接する値になるように、他の全てのものに小さい値または０を割り当てる。歯の尤度はまた、分析された色空間内の歯の色確率分布内におけるその位置を判定することによって、画素の色値に直接割り当てられ得る。

好ましい実施形態では、歯列面積内での特徴検出は、画像内の唇の線の内側（視認可能な口の内側の面積の境界線）を検出することによって、かつ、検出された唇の線内の面積のみをさらに分析することによって、患者の顔の画像の口の開口部に制限される。唇の線はまた、歯列の３次元モデルからレンダリングされた２次元画像の中にオーバーレイされ、唇の線の内側の領域のみが、該特徴検出によって分析される。これは、個別の画像内の歯列の特徴のみが、仮想カメラに関する最良に適合する位置付けを見出すための最適化プロセスにおいて利用され、患者の顔のいかなる他の特徴も、利用されないことを確実にする。

好ましい実施形態では、特徴検出は、２つの画像内で、縁検出のみを実施することによって実行される。縁検出は、通常はいくつかの明確に画定された一直線の縁を有する人工物体のための画像分析方法として公知である。本発明に関連して、縁が、隣接する歯の間に、歯の切縁に、および歯肉と歯との間の境界線に存在するヒトの歯列の画像においても、縁を識別することが可能であることが見出されている。縁検出は、画像処理の分野において公知であるソーベルフィルタまたはラプラスフィルタによって実行されることができる。

好ましい実施形態では、検出された縁は、水平縁と、垂直縁とに、それらの平均方向に基づいて細分され、水平方向および垂直方向は、相互に対して垂直であり、座標系を画定する。検出された縁は、それらの平均方向が水平方向または垂直方向により近接しているかどうかに基づいて、水平縁と、垂直縁とに細分されてもよい。好ましい実施形態では、垂直縁および水平縁は、異なる加重でレンダリングされた画像内の縁からの、カメラによってとられた画像内の縁の逸脱の測定値の計算において扱われ得る。さらに、逸脱の測定値の計算において、一方の像においては水平縁に属するが他方においては垂直縁に属する画素（またはその逆もまた然り）の縁特徴は、相殺するものではなく、むしろ逸脱の測定値へのこの画素の高寄与をもたらすはずである。

純粋な縁検出方法に対する代替として、特徴検出は、縁検出および色ベースの歯の尤度判定を実施することによって、本発明の方法において実行され得、検出された縁画像の差異から、および、検出された歯の尤度画像の差異から、逸脱の組み合わせられた測定値が、計算され、これは、次いで、反復的な最小化プロセスにおいて最小化され、最良に適合する位置付けを見出す。例えば、検出された縁画像および色ベースの歯の尤度画像に関して、逸脱の２つの測定値が、最初に、別個に判定され、逸脱の単一の測定値に組み合わせられてもよい。

好ましい実施形態では、逸脱の測定値は、カメラによって記録された患者の顔の画像の検出された特徴画像と、レンダリングされた画像の検出された特徴画像との間の差異画像を形成することによって、かつ、差異画像の全ての画素にわたる差異画像の絶対値を積分することによって、計算される。検出された特徴が、個別の画像内の同一の位置にある場合、個別の検出された特徴は、理想的合致の場合では差異画像内の全ての画素の強度の絶対値の和がゼロになるように、差異画像内で相互に相殺する。

本発明は、カメラによって記録される患者の顔の画像内の、歯科治療または任意の他の歯科修正の修正による、患者の歯列の３次元モデルから典型的には取得される歯の状況の３次元モデルから２次元画像を可視化させるためのコンピュータ実装方法をさらに提供し、画像は、患者の口の開口部を含み、患者の歯列の歯の状況の３次元モデルは、本発明に従って上記に説明される方法を実施することによって、カメラによって記録される患者の顔の画像に整合される。次いで、歯の状況の２次元画像は、仮想カメラの最良に適合する位置付けを使用して、歯の状況の３次元モデルデータに仮想カメラを適用することによってレンダリングされ、レンダリングされた画像は、カメラによってとられた患者の顔の画像の中にオーバーレイされる。次いで、歯の状況のオーバーレイされたレンダリングされた２次元画像を伴う、カメラによってとられた患者の顔の結果として生じる画像が、ディスプレイ上に表示される。

好ましい実施形態では、歯の状況のレンダリングされた２次元画像をオーバーレイする前に、カメラによってとられた患者の顔の画像の唇の線内の面積が、上側歯アーチと下側歯アーチとの間の領域内の画素から生成される口腔背景によって置換される。歯の状況のレンダリングされた２次元画像のオーバーレイの前のそのような中間色背景の生成は、例えば、歯の状況のレンダリングされた２次元画像のオーバーレイ前にカメラ画像の唇の線内の領域が口腔背景によって置換されていない場合に、歯の状況が、カメラによってとられた画像内の「古い」歯が依然としてオーバーレイの後も視認可能である短くされた歯を含む場合に、重要となる。

本発明によると、上記に定義されるように、カメラによって記録される患者の顔の画像内の歯の状況の３次元モデルデータからレンダリングされた患者の歯の状況の２次元画像を可視化させるためのシステムもまた提供され、画像は、口の開口部を含み、システムは、カメラと、コンピューティングデバイスとを備え、コンピューティングデバイスは、ディスプレイと、カメラおよびディスプレイに動作可能に接続され、カメラによって記録された患者の顔の画像内の歯の状況の３次元モデルから取得される２次元画像を可視化するための方法を実行するように配列される。

本発明による方法は、個々の画像に関して実行されることができる。代替として、本方法はまた、カメラによって記録されるビデオの後続のビデオフレームに関しても実行されることができる。後者の場合では、患者は、その頭部をカメラに対して移動させ得、ビデオフレーム毎に、歯の状況のレンダリングされた２次元画像が、患者の顔の画像内に示され得る一方で、顔は、移動（回転）し、歯の状況のレンダリングされた画像が、患者の顔の画像の口の開口部内の正しい位置に画像のシーケンス内の画像毎に示される。この方法は、患者が、顔をカメラに対して顔を向け得、同時に、歯の状況のレンダリングされた画像が、口の開口部の中にオーバーレイされ、視点毎に正しい様式で位置付けられている状態で、その顔をディスプレイ上で見え得るように、リアルタイムで実行されることができる。

本方法は、タブレット型コンピュータ上で実装されることができ、タブレット型コンピュータは、例えば、通常また、患者が、タブレット型コンピュータを保持し、患者がタブレットのディスプレイ上のその顔の像に目を向け得る間、カメラが、顔を記録することを可能にし得、その顔をタブレットに対して向け、所望されるように全ての視認方向からの口の開口部内の歯の状況のレンダリングされた２次元画像を可視化し得るように、カメラを装備する。
例えば、本願は以下の項目を提供する。
（項目１）
患者の歯列の３次元モデル（６）を、カメラ（３）によって記録された前記患者の顔の画像に整合させるためのコンピュータ実装方法であって、前記画像は、口の開口部を含み、前記方法は、
前記画像の記録の間に、前記患者の顔に対する前記カメラ（３）の位置付けを推定するステップと、
前記歯列の３次元モデル（６）を処理する仮想カメラ（８）を使用して、前記歯列の２次元画像（７）をレンダリングするステップであって、前記仮想カメラ（８）は、前記カメラ（３）の前記推定された位置付けを使用して動作している、ステップと
を含み、
前記患者の前記歯列の３次元モデル（６）を読み出すステップと、
前記推定された位置付けにおける前記歯列の前記３次元モデルを処理する前記仮想カメラ（８）を使用して、前記患者の前記歯列の２次元画像（７）をレンダリングするステップと、
前記カメラ（３）によって記録された前記患者の画像（１）の前記口の開口部内の歯列面積において、および、前記レンダリングされた画像（７）において、個別の画像内で縁検出および／または色ベースの歯の尤度判定を実施することによって特徴検出を実行し、それらの各検出された特徴に関する検出された特徴画像を形成するステップと、
前記カメラ（３）によってとられた画像の検出された特徴画像と、前記レンダリングされた画像の検出された特徴画像との間の逸脱の測定値を計算するステップと、
前記仮想カメラ（８）の位置付けを新しい推定された位置付けに変動させ、最適化プロセスにおける前述の３つのステップを繰り返し、前記逸脱の測定値を最小化し、前記仮想カメラ（８）の最良に適合する位置付けを判定するステップと
をさらに含むことによって特徴付けられる、コンピュータ実装方法。
（項目２）
前記逸脱の測定値を判定する前に、前記顔の画像は、分析され、前記口の開口部を囲む唇の線を検出し、前記唇の線の内側の画素のみが、前記カメラによって記録された画像内の前記逸脱の測定値を判定するために選択され、前記唇の線はまた、前記歯列の前記３次元モデルからレンダリングされた前記２次元画像の中にオーバーレイされ、前記唇の線の内側の領域のみが、前記逸脱の測定値を判定するために使用されることを特徴とする、項目１に記載のコンピュータ実装方法。
（項目３）
特徴検出が、縁検出のみを実施することによって実行されることを特徴とする、項目１または２に記載のコンピュータ実装方法。
（項目４）
前記検出された縁は、それらの平均方向に基づいて、水平縁と、垂直縁とに細分されることを特徴とする、項目３に記載のコンピュータ実装方法。
（項目５）
特徴検出が、縁検出および色ベースの歯の尤度判定を実施することによって実行され、逸脱の組み合わせられた測定値が、前記検出された縁画像および前記検出された色ベースの歯の尤度画像から計算されることを特徴とする、項目１または２に記載のコンピュータ実装方法。
（項目６）
特徴検出が、色ベースの歯の尤度判定のみを実施することによって実行されることを特徴とする、項目１または２に記載のコンピュータ実装方法。
（項目７）
前記逸脱の測定値は、前記カメラ（３）によってとられた前記患者の顔の画像の検出された特徴画像と、前記レンダリングされた画像の検出された特徴画像との差異画像を形成することによって、かつ、前記差異画像の全ての画素にわたる前記差異画像の強度の絶対値を積分することによって、計算されることを特徴とする、前記項目のいずれかに記載のコンピュータ実装方法。
（項目８）
カメラによって記録された患者の顔の画像内の歯の状況の３次元モデルから取得される２次元画像を可視化させるためのコンピュータ実装方法であって、前記画像は、前記患者の口の開口部を含み、前記歯の状況の３次元モデルは、前記患者の歯列の３次元モデルに基づき、前記歯列の３次元モデルと比較して、歯科治療または任意の他の歯科修正に起因する修正を含み、前記方法は、
前記患者の歯列の３次元モデルを、前記項目のいずれかに記載の方法を実施することによって、前記カメラ（３）によって記録された前記患者の顔の画像に整合させるステップと、
前記仮想カメラのための前記判定された最良に適合する位置付けを使用する前記仮想カメラ（８）を使用して、前記歯の状況の３次元モデルから前記歯の状況の２次元画像（７）をレンダリングするステップと、
前記仮想カメラを使用してレンダリングされた前記歯の状況の２次元画像を、前記カメラによって記録された前記患者の顔の画像の中にオーバーレイするステップと、
前記カメラによってとられた前記患者の顔の画像を、前記歯の状況の前記オーバーレイされたレンダリングされた２次元画像とともに、ディスプレイ（２）上に表示するステップと
を含む、コンピュータ実装方法。
（項目８）
項目２に従属するとき、前記歯の状況のレンダリングされた２次元画像のオーバーレイの前に、前記唇の線内の口腔背景画像領域が、下側アーチと上側歯アーチとの間の領域内に前記口の開口部を含む画像から生成され、前記カメラによって記録された前記患者の顔の画像内の前記唇の線内の前記画像領域は、前記生成された口腔背景画像領域によって置換される、項目７に記載のコンピュータ実装方法。
（項目９）
項目２に従属するとき、前記オーバーレイするステップの前に、前記カメラによって記録された前記患者の顔の画像内で検出される前記唇の線は、前記レンダリングされた画像に伝送され、前記レンダリングされた画像の中にオーバーレイされ、前記レンダリングされた画像内の前記唇の線の外側の全ての画素が、除外され、それによって、前記口の開口部に対応する前記レンダリングされた画像の面積を切り取ることを特徴とする、項目７または８に記載のコンピュータ実装方法。
（項目１０）
カメラによって記録された患者の顔の画像内の歯の状況の３次元モデルデータからレンダリングされた前記患者の前記歯の状況の２次元画像を可視化させるためのシステムであって、前記画像は、前記口の開口部を含み、前記システムは、
カメラ（３）と、
ディスプレイと、
前記カメラ（３）および前記ディスプレイに動作可能に接続され、項目７～９のいずれかに記載の方法を実行するように配列されるコンピューティングデバイス（２）と
を備える、システム。

本発明は、ここで、図面に関連して実施例を参照して説明される。

図１は、患者の口領域の画像、記録された画像の口の開口部領域の検出された縁画像ならびに仮想カメラによってレンダリングされた口領域の画像の３つの反復、レンダリングされた画像内で検出された縁、カメラによって記録された画像内で検出された縁と、レンダリングされた画像内で検出された個別の縁との差異、ならびに３つの反復に関する逸脱の対応する測定値を含む図を示す。

図２は、図１に類似する図を示し、検出された縁画像に加えて、色ベースの歯の尤度画像、カメラによって記録された画像の歯の尤度画像と、仮想カメラによってレンダリングされた画像との差異とを含む。

図３は、ディスプレイと患者の口の開口部領域を記録するためのカメラとを含むコンピューティングデバイスの図と、それから口の開口部面積内の歯の状況の２次元画像がレンダリングされた患者の歯列の３次元モデルの略図とを示す。

本発明は、ここで、最初に、概して、本発明の方法を実行するときに使用される構成要素および要素の略図を示す図３を参照して説明される。本発明は、カメラによって記録された患者の顔の画像に患者の歯列の３次元モデルを整合させるためのコンピュータ実装方法である。第１の重要な要素は、患者の歯列６の３次元モデルである。歯列のそのような３次元モデルは、患者の口腔の走査および／または写真技術による獲得によって、または、印象トレーにおける塑性材料の印象として得られる歯列の形状を走査することによって、取得されている。図３の略図では、患者の歯の状況の３次元モデルは、上顎歯列６に象徴される。

図３の略図に見られることができるように、コンピューティングデバイス２（例えば、タブレット型コンピュータ）に接続されるカメラ３が、口の開口部を含む患者の顔の画像を記録する。仮想カメラ８が、コンピューティングデバイス内で使用され、３次元モデル６に作用し、患者の歯列の２次元画像７をレンダリングし、患者の顔に対する実際のカメラ３の推定された位置が、仮想カメラ８の位置のための開始点として使用される。カメラ３の推定された位置が、顔に対する実際のカメラ３の真の位置から逸脱するため、カメラ３によって記録された画像１と、仮想カメラ８によってレンダリングされた画像７との間に、ある逸脱が、存在する。

下記により詳細に説明されるように、仮想カメラ８の位置付けは、反復的最適化プロセスにおいて変動され、反復的最適化プロセスは、一方では、カメラによって記録された画像の口の開口部内の歯列の検出された特徴と、他方では、仮想カメラによってレンダリングされた歯列の３次元モデルの画像内の検出された特徴とを利用する。個別の検出された特徴画像間の逸脱または誤差の測定値が、計算され、反復的最適化プロセスにおいて連続的に最小化され、仮想カメラの最良に適合する位置付けを判定する。仮想カメラのこの最良に適合する位置付けは、次いで、例えば計画された歯科治療によって修正されかつ本願では歯の状況の３次元モデルと称される歯列の修正された３次元モデル上で使用されることができる。このように、患者の歯列の３次元モデルから導出され、置換された義歯、歯科修復物、または矯正された歯の位置を含み得る歯の状況の３次元モデルが、ディスプレイ上に表示される患者の顔の画像の口の開口部の中に正確に位置付けられた状態で可視化されることができる。

歯列の画像内での特徴検出の実施例が、図１に図示され、縁が、歯列の個別の画像内で検出される。図１では、患者の口の開口部を含む画像が、左手側の１行目に示される。この画像では、唇の線が、検出され、唇の線の内側の領域が、手順においてさらに分析される唯一の領域である口の開口部領域として選択される。唇の線の内側の口の開口部のこの画像領域では、縁検出が、実施され、これは、図１の左手側の上部の、カメラによって記録された画像の下方のグラフィックに示される検出された縁画像をもたらす。検出された縁は、大部分が、隣接する歯の間の境界線、切縁、および、歯の基部ならびに歯肉が衝合する境界線である。図１の２列目は、上部の１列目の患者の口の開口部の画像を記録するときにカメラ３が有していた推定された位置付けにおける、患者の歯列の３次元モデルに仮想カメラを適用することによって作成されている上部のレンダリングされた画像を示す。カメラによって記録された画像内で検出された唇の線は、抽出され、レンダリングされた画像に伝送され、その中にオーバーレイされ、レンダリングされた画像内で歯列の口の開口部領域を選択する。この選択された口の開口部領域において、縁検出が、カメラによって記録された画像におけるものと同一の様式で実施され、これは、２列目の２行目に示される検出された縁画像をもたらす。

１列目と２列目との間の、２行目において検出された縁間の逸脱の測定値を判定するために、カメラによって記録された画像の検出された縁画像と、レンダリングされた画像の検出された縁画像との間の差異画像が、形成され、これは、３行目の２列目に示される。見られることができるように、検出された縁が、カメラの推定された位置付けの不正確度に起因して、２つの検出された縁画像の中に厳密に同一の様式で位置付けられないため、いくつかの逸脱が、存在する。逸脱の測定値が、差異画像から計算される。この実施例では、逸脱の測定値は、差異画像内の全ての画素の強度の絶対値を積分することによって計算される。この逸脱の測定値は、図１において誤差と呼ばれ、図１の最下行内の棒グラフの通りである。

数値最適化プロセスが、ここで、第１の反復において、仮想カメラの位置付けを新しい推定される位置付けに変動させる。次いで、新しい推定された位置付けを使用して歯列の３次元モデルから対応する画像をレンダリングし、レンダリングされた画像内の縁検出をし、カメラによって記録された画像内で検出された縁と、第１の反復のレンダリングされた画像内で検出された縁との間の差異画像を形成するプロセスが、図１の３列目に図示されるように繰り返される。３行目に見られることができるように、カメラによってとられた画像の検出された縁画像と、レンダリングされた画像との間の差異画像は、個別の画像内の検出された縁が、すでにより良好な一致状態にあるため、低減された強度を示す。この概略図は、非常に単純化されており、実際には、はるかにより多数の反復を要することに留意されたく、例えば、勾配降下最適化アルゴリズムが使用される場合、位置付け変数は、当分野において周知であるように、すでに多くの反復を要求する勾配を数値的に判定するように変動される。

図１では、第２の反復例が、最後の列に示されている。３行目における差異画像では、積分された強度がさらに低減され、これは、推定された初期位置における誤差と比較して、逸脱の測定値も、同様に、低減され、最下行に示されているように、すでに大幅により小さくなっていることを意味する。この数値最適化プロセスは、さらなる反復がさらに、逸脱の測定値を所与または所定の計算の正確度の範囲内に低減しないように繰り返される。最小化された逸脱の測定値に対応する仮想カメラの位置付けは、仮想カメラの最良に適合する位置付けとして記憶される。

図２は、患者の口の開口部を含む実際の画像を記録したカメラの位置付けに適合するように仮想カメラの位置付けを最適化する反復的な最適化プロセスに関するさらなる図である。上の３行は、図１に示されるような、カメラによって記録された画像内、および反復的にレンダリングされた画像内の検出された縁間の同一の縁検出画像および差異画像を示す。加えて、４行目は、唇の線内の口の開口部における、個別の画像内での色ベースの歯の尤度判定の結果を示す。この色ベースの歯の尤度判定では、各画素の色値に関して、それが歯の表面要素に属する確率が、判定される。例えば、予期される歯の色値に関する正規化された確率密度関数が、利用可能である場合、この確率は、確率分布内の色値の場所から直接得られることができる。このように、歯の色は、歯肉および口腔の背景の色と区別される。結果として、画像内で視認可能な歯は、画像内に灰色の要素を殆ど伴わない黒色または主に黒色の物体のままである。５行目には、カメラによって記録された画像の検出された色ベースの歯の尤度画像と、レンダリングされた画像の検出された色ベースの歯の尤度画像との間の差異画像が、示されている。また、色ベースの歯の尤度画像間の差異は、最適化プロセスの連続する反復例において、顕著ではなくなってきている。逸脱の測定値は、次いで、例えば、上記に説明されるように、差異画像の全ての画素にわたる強度の絶対値を積分することによって、検出された縁の差異からの第１の逸脱の測定値として形成されることができる。同一の手順が、第２の逸脱の測定値に関する色ベースの歯の尤度画像の差異画像に適用されることができ、第１の逸脱の測定値および第２の逸脱の測定値は、次いで、図２の最終行において誤差と呼ばれる単一の逸脱の測定値に組み合わせられ得る。

このように、患者の顔の画像を記録するときのカメラ３の位置付けは、患者の歯列の３次元モデルをレンダリングする仮想カメラの対応する位置付けによって概算され、最適な整合に到達することができる。仮想カメラの最良に適合する位置付けは、次いで、さらなるステップにおいて使用されることができる。患者の歯列の現在のステータスを表す歯列の３次元モデルから開始し、歯の状況の３次元モデルと異なる歯の状況の修正された３次元モデルが、例えば、潜在的な歯科治療の結果を反映させるために、使用されることができる。潜在的な歯科治療を含めた後の歯の状況の３次元モデルは、例えば、個別の原歯に取って代わる１つまたは複数の義歯、または、任意の他の歯科修復物を有し得る。歯の状況のさらなる実施例は、歯科ブレースを使用する歯の位置付けの矯正治療後の、結果として生じる矯正された歯列であってもよい。歯の状況のさらなる実施例は、原歯列に基づき得るが、歯列の歯の定位置にある歯位置矯正デバイス（例えば、歯科ブレースおよびリテーナ）を含んでもよい。歯科治療による任意の修正前の原状態を示す歯の状況の３次元モデルは、本発明に関連するさらなる使用のために保たれる一方で、治療後の歯の状況の修正された３次元モデルは、さらなる使用のために別個に保たれる。修正された３次元モデルは、患者に関する歯の状況の３次元モデルと称される。仮想カメラは、次いで、カメラの以前に判定された最良に適合する位置付けを使用して、歯の状況のこの３次元モデルに適用され、歯の状況の画像をレンダリングしてもよい。このレンダリングされた画像は、カメラによってとられた画像の口の開口部領域の中に挿入またはオーバーレイされ、歯の状況の可視化を提供し得る。

以下において、逸脱の測定値Ｅが、検出された縁画像の差異画像から、差異画像内に留まる強度の積分された絶対値として計算され得る方法の実施例が、与えられる。

Ｅ：誤差（逸脱の測定値）
ｉ：ピクセル
ｎ：ピクセル数
ｅ（Ｘ）：画像Ｘの縁画像
Ｐ：カメラによって記録された画像
Ｒ：レンダリングされた画像

水平縁および垂直縁以外に、改良された逸脱の測定値を考慮して、色ベースの歯の尤度値が、以下のように計算されることができる。

式中、
ｗ：加重
ｅ_ｈ（Ｘ）：画像Ｘ（ＰまたはＲ）の水平縁画像
ｅ_ｖ（Ｘ）：画像Ｘ（ＰまたはＲ）の垂直縁画像
ｔ（Ｘ）：画像Ｘの歯の尤度画像。これは色区画化に基づき得る。
Ｘ＝Ｐ（カメラによって記録される画像）；Ｘ＝Ｒ（レンダリングされた画像）

歯の尤度画像が、単純化された様式で、図２の４行目に図示されている。

Claims (7)

1. 後続の画像のビデオシーケンス内のカメラによって記録された患者の顔の各画像の中にオーバーレイされた２次元画像を可視化するためのコンピュータ実装方法であって、各画像は、前記患者の口の開口部を含み、前記２次元画像は、歯の状況の３次元モデルからレンダリングされ、前記歯の状況の３次元モデルは、前記患者の歯列の３次元モデルに基づき、前記歯列の３次元モデルと比較して、歯科治療または任意の他の歯科修正に起因する修正を含み、前記方法は、前記ビデオシーケンスの各画像に対して、
   前記カメラ（３）によって記録された前記患者の顔の画像に前記患者の歯列の３次元モデルを整合させるステップであって、前記カメラ（３）によって記録された前記患者の顔の画像に前記患者の歯列の３次元モデルを整合させるステップは、
   （ａ）前記画像を記録する間に、前記患者の顔に対する前記カメラ（３）の位置付けを推定するステップと、
   （ｂ）前記患者の前記歯列の３次元モデル（６）を読み出すステップと、
   （ｃ）前記推定された位置付けにおける前記歯列の前記３次元モデルを処理する仮想カメラ（８）を使用して、前記患者の前記歯列の２次元画像（７）をレンダリングするステップと、
   （ｄ）個別の画像内で縁検出および／または色ベースの歯の尤度判定を実行することによって、前記カメラ（３）によって記録された前記患者の画像（１）の前記口の開口部内の歯列面積において、および、前記レンダリングされた画像（７）において、特徴検出を実行し、前記検出された特徴に対して検出された特徴画像を形成するステップと、
   （ｅ）前記顔の画像を分析することにより、前記口の開口部を囲む唇の線を検出するステップであって、前記唇の線の内側の画素のみが前記カメラによって記録された画像内の前記逸脱の測定値を決定するために選択され、前記唇の線は、前記歯列の３次元モデルからレンダリングされた前記２次元画像の中にオーバーレイされ、前記唇の線の内側の領域のみが前記逸脱の測定値を決定するために使用される、ステップと、
   （ｆ）前記カメラ（３）によってとられた画像の検出された特徴画像と前記レンダリングされた画像の検出された特徴画像との間の逸脱の測定値を計算するステップと、
   （ｇ）前記仮想カメラ（８）の位置付けを新しい推定された位置付けに変動させ、最適化プロセスにいて前記ステップ（ｃ）～（ｆ）を繰り返すことにより、前記逸脱の測定値を最小化することにより、前記仮想カメラ（８）の最も良く適合する位置付けを決定するステップと
   を実行することによって行われる、ステップと、
   前記仮想カメラのための前記決定された最も良く適合する位置付けを使用する前記仮想カメラ（８）を使用して、前記歯の状況の３次元モデルから前記歯の状況の２次元画像（７）をレンダリングするステップと、
   前記仮想カメラを使用してレンダリングされた前記歯の状況の２次元画像を前記カメラによって記録された前記患者の顔の画像の中にオーバーレイするステップと、
   前記カメラによってとられた前記患者の顔の画像を、前記歯の状況の前記オーバーレイされたレンダリングされた２次元画像とともに、ディスプレイ（２）上に表示するステップと
   を含み、
   前記歯の状況のレンダリングされた２次元画像をオーバーレイする前に、
   前記唇の線内の口腔背景画像領域が、下側アーチと上側歯アーチとの間の領域内に前記口の開口部を含む画像から生成され、前記カメラによって記録された前記患者の顔の画像内の前記唇の線内の画像領域は、前記生成された口腔背景画像領域によって置換され、
   前記カメラによって記録された前記患者の顔の画像内で検出される前記唇の線は、前記レンダリングされた画像に伝送され、前記レンダリングされた画像の中にオーバーレイされ、前記レンダリングされた画像内の前記唇の線の外側の全ての画素が除外され、これにより、前記口の開口部に対応する前記レンダリングされた画像の面積を切り取る、コンピュータ実装方法。
2. 縁検出のみを実行することによって特徴検出が実行されることを特徴とする、請求項１に記載のコンピュータ実装方法。
3. 前記検出された縁は、各細分において検出された縁の平均方向が水平方向または垂直方向のいずれに近いかに基づいて、逸脱の測定値を計算するために、水平縁と垂直縁とに細分されることを特徴とする、請求項２に記載のコンピュータ実装方法。
4. 縁検出および色ベースの歯の尤度判定を実行することによって特徴検出が実行され、逸脱の組み合わせられた測定値が、前記検出された縁画像および前記検出された色ベースの歯の尤度画像から計算されることを特徴とする、請求項１に記載のコンピュータ実装方法。
5. 色ベースの歯の尤度判定のみを実行することによって特徴検出が実行されることを特徴とする、請求項１に記載のコンピュータ実装方法。
6. 前記逸脱の測定値は、前記カメラ（３）によってとられた前記患者の顔の画像の検出された特徴画像と前記レンダリングされた画像の検出された特徴画像との差異画像を形成することによって、かつ、前記差異画像の全ての画素にわたる前記差異画像の強度の絶対値を積分することによって、計算されることを特徴とする、請求項１～５のいずれか一項に記載のコンピュータ実装方法。
7. 後続の画像のビデオシーケンス内のカメラによって記録された患者の顔の各画像の中にオーバーレイされた前記患者の前記歯の状況の２次元画像を可視化するためのシステムであって、各画像は、前記口の開口部を含み、前記２次元画像は、歯の状況の３次元モデルデータからレンダリングされ、前記システムは、
   カメラ（３）と、
   ディスプレイと、
   前記カメラ（３）および前記ディスプレイに動作可能に接続されているコンピューティングデバイス（２）であって、請求項１に記載の方法を実行するように構成されているコンピューティングデバイス（２）と
   を備える、システム。
   

Images