JP6941060B2 - 解剖構造の走査と走査結果表示のためのシステムおよび方法 - Google Patents

Description

本発明は、光学的、口腔内印象を作成するために、患者の歯や顎などの解剖構造の走査を行うためのシステムおよび関連する方法に関する。

本発明は、特にインタラクティブで漸進的な走査に関する。その走査手続の間、個別の走査は組み合わされて解剖構造のモデルを形成する。このタイプの走査は、S. RusinkiewiczおよびMarc LevoyによるEfficient variants of the ICP algorithm, 3-D Digital Imaging and Modeling（2001）に記載される通り、見る人または監視者、または走査を行う人から、およびスクリーンから独立してスキャナにより実行される。スキャナは、ギャップのない高精度の光学的印象をできるだけ早く作成する目的で、手動により導かれる。この目的を達成するためには、単純かつ直感的な、進行中の走査結果の可視化が、非常に重要である。本発明は、自然に走査結果を表示し、したがってスキャナの取り扱いを単純化する。

今日、セレック（ＣＥＲＥＣ）手法により走査を行う際、患者の歯列が走査されたモデルとして患者の近くでスクリーンに表示される。走査を行う際、歯科医などの走査を操作する人は、どこを見るべきかという絶え間ないジレンマの状態にある。すでに走査されたモデルの品質はスクリーンで見られる。例えば、モデルにおける著しいギャップもまた認識可能である。これらのギャップを詰めるため、およびスキャナを正しい場所に導くため、視線は患者の歯列とスキャナとの間を行ったり来たりせねばならない。モデルと患者の歯列の間の相互関係を築くためには多大な経験と実践が必要とされる。既存のシステムにおける補助手段として、かなり耳障りな音響信号が走査成功についての非視覚的フィードバックとして発信される。

本発明は拡張現実の分野において成立されることが可能であるが、従来の拡張現実アプリケーションとは著しく異なる。

外から見えないビューがオーバーレイされる、多くの拡張現実アプリケーションが存在する。ミニ（ＢＭＷ）を例にとってみると、車体のマスキング効果をフィードアウトし、より広い視野を可能とする「X線メガネ」の一種を計画中である。解剖においても同様のシステムがある。例えば、Kilgus, T. らによる Mobile markerless augmented reality and its application in forensic medicine, International Journal of Computer Assisted Radiology and Surgery（2015）は、X線データなどのマルチモーダルデータを可動スクリーン上に表示する。このため、スクリーンの空間位置を検出するために外部の深さカメラが使用される。しかしながら、このシステムは漸進的モデルを作成しない。拡張スクリーンは空間的に有意義な方法で、既存のデータをのみを表示する。

内視鏡検査における拡張現実のための同様のアプリケーションが存在する。内視鏡装置は、正確に特定のポイントに誘導されねばならず、拡張現実の助けによって分かりやすく表示されることができる。重要な誘導ポイントおよび予定された挿入経路がインタラクティブに内視鏡画像中にオーバーレイされる。一方、解剖構造のモデルの、インタラクティブおよび漸進的な作成は存在しない。したがって、内視鏡の拡張ディスプレイはもっぱら、前もって予定された挿入経路上への装置のおおよその誘導の補助を行う。

本発明は、拡張現実の現実に対する位置が決定される方法においてもまた、他の拡張現実アプリケーションとは異なる。この位置決めは、スキャナの位置と走査結果により、非常に正確かつ簡単に行われる。

歯科用途では、US 2007/0172101 Alが同様のシステムを記載する。この発明によると、３Ｄモデルが２Ｄ画像の上にスーパーインポーズされる。２Ｄ画像は口腔内カメラから生成される。３Ｄモデルは口腔内スキャナの３Ｄ画像の組み合わせである。両方のビューはもともと同じビュー角度から生成される。見る人またはスクリーンの位置は可視化において効果を持たない。

アプリケーションによっては、モデルは走査手続の重要な結果である。特定の状況において、単一の走査は不十分であり得る。例えば、測定が難しい領域などの走査は、不完全に（凹んで）、不良に、またはノイズが多くなり得る。そのような不十分さは、例えば異なるビュー角度から撮られた複数の走査を組み合わせることにより克服され得る可能性がある。走査手続の結果としてのモデルの評価はよって非常に重要である。

併合の方法は、通常走査の３Ｄ形状とモデルをアラインする方法であって、通常はICP (Iterative Closest Point)手法の異なる手法である。併合の間、例えば新しいデータが最小限のエラーで既存の走査データに一致するように適用されるなど、新しい走査がすでに走査された走査データに加えられる。この追加がまた成功したかどうかをチェックすることが継続して必要である。このため、例えば発見された最小限のエラーまたはオーバーラップの程度が調べられる。発見された最小限のエラーは通常十分に小さくなくてはならず、オーバーラップの程度も十分に大きくなくてはならない。このような条件が合致する場合、新しい走査はまたモデルの一部となり、そうでない場合少なくとも当面は廃棄される。

走査のモデルへの追加が、時に成功しないのには様々な理由がある。その理由のいくつかとして、

- ユーザがスキャナを早く動かし過ぎ、新しい走査がモデルにオーバーラップしない、または十分にオーバーラップしない、

- ユーザが走査されるオブジェクトがスキャナの走査領域の外に位置されるようにスキャナを動かす、

- 走査データが多くの干渉を含みすぎるため、ICPのエラーが大き過ぎる、

- 走査された構造は厳密に凝集的でなく変形している、などがある。新しい走査はしたがってモデルに合致し得ない。記載したアプリケーションにおいて、パーツは例えば、硬い歯から独立して動くことができる、舌、頬などである。

走査が任意の理由のために追加される場合、スキャナは解剖構造に対して正確な位置において仮想モデルを表示するための補助として、限られた程度においてのみ使用され得る。これはモデルに対する、進行中のスキャンの位置に関する情報がないためである。

手動で操作される漸進的なスキャナについては、ユーザは新しい走査が成功裏にモデルに加えられ得ることを確実にせねばならない。進行中の走査をモデルに加えることができない場合、ユーザは是正措置をとり、スキャナを新しい走査がモデルに追加され得るようにスキャナを動かさねばならない。継続した走査手続が中断されるため、この状況はユーザにとっての操作における問題となる。特にこの種の状況において、仮想モデルが解剖構造上に正しく表示されると、非常に有益である。ユーザはしたがってスキャナをより簡単に既存のモデルに動かすことができる。この種の状況において、進行中の走査はまた正確な位置にオーバーレイされることになる。

仮想モデルが正しい位置に表示され、スキャナが補助として限られた程度においてのみ含まれる、その他の状況も存在する。

例えば、走査手続および走査されたモデルの評価は同時に行われ得ない。使用される走査技術によっては、スキャナは可視光を歯の上に投射し、走査モデルの可視化に干渉する。このような場合、モデルをより正確に評価するために、走査手続を中断することが必要になる可能性がある。

WO 2004/100067 A2はオブジェクトが走査され、走査結果が走査を行っている人に一目で見えるように直接の走査結果を表示するシステムを記載する。このため、スキャナは、US 6503195 B1に記載される腹腔鏡手術において使用されるシステムに非常に似た方法での適切な表示の補助として、使用される。WO 2004/100067 A2 とUS 6503195 B1のいずれも、個別の走査がより大きなモデルにコンパイルされる際のユーザの補助については記載していない。このコンパイルは、進行中の走査が既存のモデルに追加され得ない場合、ユーザにとって特に困難である。本発明はそのような重大な局面のためのシステムを記載する。WO 2004/100067 A2はこれらの重大な局面について触れていない。

WO 2015/181454 Alは、走査結果または追加情報を患者の口腔内の解剖構造上にオーバーレイするシステムを記載する。口腔内スキャナの画像およびオーバービューカメラは３Ｄポイントクラウドをアラインメントすることで、互いの上にスーパーインポーズされる。この記載は、記載において言及された拡張現実メガネのオーバービューカメラが、正確な重ね合わせを実施するために十分に正確な解剖構造のポイントクラウドの計算を許容することについては示唆しない。

US 2012/0056993 Al、WO 2010/067267 Al およびWO 2014/120909 Alは、走査結果の可視化のためのシステムを記載するさらなる文書である。

本発明の目的は、解剖構造の走査と走査結果の可視化のためのシステムおよび関連する方法を提供することである。走査結果の可視化は、スキャナのより簡単な取り扱いを可能とすることを意図している。できる限り正確なデジタルモデルと走査された解剖構造の重ね合わせは、走査手続における中断の間、また追加で可能であるべきである。

オブジェクトは請求項１に明示される通りシステムにより、および請求項１５に明示された方法によって達成される。各従属請求項２〜１４および１６〜１８は、請求項１のシステムおよび／または請求項１５の方法の有益なさらなる展開を示す。

解剖構造の走査および走査結果の可視化のためのシステムが提供され、そのシステムは、解剖構造の画像を口腔内でキャプチャする口腔内スキャナ、監視者に対する口腔内スキャナの空間位置を検出する口腔外検出ユニット、および走査手続の間スキャナをスクリーンおよび検出ユニットと接続し、解剖構造のキャプチャされた画像と検出された監視者に対する口腔内スキャナの空間位置に基づいて走査結果を生成し、および走査手続の休止の間、解剖構造の位置、配向、スケーリングを推定し、走査結果として、その推定に基づいて解剖構造の画像を生成し、そこでスクリーンが演算ユニットによって生成された走査結果を表示する、演算ユニットを含む。

本発明によれば、特に、現実の記録された３Ｄデータとのリアルタイムで重ね合わせのためのビデオ対応３Ｄ表面イメージングの使用において、記録装置を使用して３Ｄデータとユーザの視野の間の変換チェーンを決定することが可能である。

解剖構造は、特に、走査を行う人である歯科医によって走査され検査される走査テンプレートとして歯を含む。有利には、本発明によるシステムを使用することで、歯科医は互いの上にスーパーインポーズされた現実の歯と走査された歯を見て、診断を行うことができる。走査手続の中断の間においてさえもできるだけ正確に走査された解剖構造をデジタルモデルに重ね合わせるために、現実の解剖構造の位置、配向、スケーリングなどのパラメータおよびオーバーレイされた解剖構造の仮想モデルが相関関係にされる。

WO 2015/181454 A1から公知のシステムと対照的に、本発明は有利には、従来なされてきたよりもより正確な、精度の高い重ね合わせのための相関関係を推定するために、走査中の補助としてスキャナの使用を提案する。さらに、本発明によれば、相関関係のために必要とされる特性が、モデルに対する走査の成功した追加の間、様々な特性のうちから選択される。したがって、３Ｄ形状が相関関係にされるだけではなく、例えば２Ｄ特性も併合され得る。スキャナにより直接検出されなかったが、その近くにあった特性も正確な合致を達成するために使用され得る。それらの特性と走査中の仮想モデルの位置の相関関係が既知であるため、これは可能である

スクリーンは好ましくは、走査を行う人の視野内に直接配置されるように、拡張現実メガネに組み込まれ、一方、検出ユニットはスクリーンのすぐ近くに提供され、理想的にはそこにしっかりと接続される。歯科医はしたがって、自身の目を患者の口とスクリーンの間で行ったり来たりさせる必要もなく、非常に簡単に患者の歯を検査することができる。特に、検出ユニットおよびスクリーンは、走査を行っている人の頭の近くにしっかりと設置することができる。

システムは好ましくは、検出ユニットとスクリーンに対して走査を行う人の目および／または頭の動きを検出するアイカメラをさらに含み、演算ユニットは検出された動きに適応されるスクリーンに表示される走査結果を生成する。アイカメラによって、スクリーンの再較正が回避され得、使用可能な角度範囲が増加され得る。

システムは好ましくは、さらに位置センサを含み、走査を行っている人の動きを検出する。それはまたスキャナの近くに位置センサを含み、スキャナの動きを検出する。演算ユニットは、スクリーンに表示される走査結果を生成する際、検出した動きを考慮に入れる。位置センサはまたスクリーン上に表示される走査結果を可視化し、位置センサがないときよりも更に一層正確にすることを可能にする。システムの堅牢性は位置センサのおかげで向上する。

演算ユニットは有利には座標システムの間の変換を行う。座標システムは、口腔内でキャプチャされた画像の座標システム、スキャナの座標システム、検出ユニットの座標システム、およびスクリーンの座標システムを含む。座標システムは、さらにそれぞれ走査を行っている人の左目と右目のためのスクリーンの座標システム、およびそれぞれ走査を行っている人の左目と右目のための座標システムを含む。座標システム間の変換の結果、正確で、空間的に有意義な、走査結果の可視化がスーパーインポーズされた画像としてスクリーン上で実施される。

スクリーンは好ましくはまた、成功した走査に関する情報を表示する。その結果、失敗した走査が直ちに認識され得ることが常に確実となる。

特に好ましくは、演算ユニットは、スキャナのヘッドの近くのスクリーン上に表示されるように、スキャナによって口腔内でキャプチャされた解剖構造の画像を処理する。スキャナは、したがって、仮想ミラーとして使用され得る。この文脈において仮想とは、従来の光学ミラーがなく、記録された画像がスキャナのヘッドの近くに表示され、スクリーンのみで見ることができることを意味する。このミラーは物理的に存在せず、ミラーの機能はスクリーン上の表示のみで見ることができる。

検出ユニットは、例えば、スキャナの３Ｄ位置を検出する３Ｄカメラで有り得、または単なる２Ｄカメラでも有り得、それによりある状況下においては、スキャナの３Ｄ位置が同様に決定され得る。

光学位置マーカーが有利にはスキャナ上に提供される。この位置マーカーによって、２Ｄカメラで位置マーカー間の距離を決定すること、およびこの決定されたまたは測定された距離にもとづいてスキャナの２Ｄカメラに対する距離を推定することにより、検出ユニットとして一般的な２Ｄカメラを使用して特に簡単に、スキャナの近くの検出ユニットによってスキャナの位置を決定することが可能である。

本発明は、さらに先行する請求項のいずれかに記載される通りに構成されるシステムを使った、解剖構造の走査および走査結果の可視化のための方法をさらに提供し、この方法は、口腔内スキャナにより解剖構造の画像をキャプチャすること、口腔内スキャナの空間位置を検出すること、座標システム間の変換でスキャナによってキャプチャされた２Ｄおよび／または３Ｄ画像をスーパーインポーズすること、およびスクリーン上に生成されたスキャニング結果を表示すること、のステップにより特徴づけられる。

本発明による方法によって、スクリーン上の走査結果の可視化を向上させること、および可視化のさらなる使用を促進することが可能である。

特に、スキャナによって口腔内でキャプチャされた解剖構造の個別の画像を併合することにより、走査結果が形成される。したがって、解剖構造が歯であった場合、顎全体がさらなる手間もなく表示され得る。

それぞれのスキャナの位置は好ましくは、口腔外検出ユニットで追跡および記録される。走査結果の可視化、スキャナの位置の可視化、ならびに口腔外でキャプチャされた画像が、したがって可能である。

それぞれのスキャナの位置は好ましくは、スキャナ上の位置マーカーを使用して追跡される。スクリーン上で位置マーカーを使用することにより、スキャナの位置の正確な決定、ひいてはスキャナの正確な追跡が可能となる。

演算ユニットは好ましくは、侵襲的または非侵襲的方法により解剖構造の位置、配向、スケーリングを推定し、侵襲的方法は、走査される解剖構造上のマーカーまたはその他の追跡センサの取付を含み、非侵襲的方法は、解剖構造の光学的２Ｄまたは３Ｄ特性のペアリングを含む。解剖構造の位置、配向、およびスケーリングの推定の向上のため、自動学習フェーズが自動学習のために演算ユニットに通される。これは、解剖構造の位置、配向、およびスケーリングの推定の向上のために、モデルへの走査の成功した追加の間に演算ユニットが学習フェーズを経て、それにより走査手続における休止の間に仮想モデルを表示することを助け、仮想モデルと解剖構造上またはその近くの特性の間の変換が成功した走査の間に知られ、または学習され得、また、２Ｄまたは３Ｄ特性が、走査手続の休止の間に安定的かつ堅牢に仮想モデルを追跡するために選択されること、を意味する。この推定と学習により、以前可能であったよりもより正確な解剖構造の画像が得られる。

スキャナおよび／または走査結果により口腔内でキャプチャされた解剖構造の画像は、有利な形でスキャナの位置に対してスクリーン上に表示される。包括的かつ正確な走査結果の可視化がしたがって可能である。

本発明によると、したがって、迅速で、複雑でなく、正確な解剖構造の走査という利点、およびユーザにとって快適な走査結果の可視化をもたらす。

本発明の記載されたおよびさらなる特性と詳細が、例示として本発明の特性を描写した下記の詳細な説明および添付の図面から、当業者には明らかになろう。

図１は、本発明によるシステムを示す。 図２は、本発明によるシステムのスクリーンを示す。 図３は、本発明によるシステムのイメージングチェーンの概観を示す。 図４は、本発明によるキャプチャされた走査の座標システムを示す。 図５は、本発明のよるスキャナの座標システムを示す。 図６は、本発明による検出ユニットの座標システムを示す。 図７は、本発明による、走査を行っている人の左目と右目のためのスクリーンの座標システムを示す。 図８は、本発明による、走査を行っている人の左目と右目のための、走査を行っている人である監視者の座標システムを示す。 図９は、本発明による較正を示す。 図１０は、本発明による、スキャナ上の位置マーカーによる、現実の歯と歯の仮想モデルの間の相関関係の生成を示す。 図１１は、本発明による、再現可能な走査結果を得るための、スーパーインポーズされた、標準走査ガイドを示す。 図１２は、本発明による、検出の成功の後、見えなくなるスーパーインポーズされたマーカーを示す。 図１３は、本発明による、モデルにおけるギャップまたは低点密度のスーパーインポーズされた表示を示す。 図１４は、本発明による、スキャナのヘッドの近くの口腔内スキャナの画像の表示を示す。

本発明は、図面の参照により、好ましい実施形態にもとづいて、下記においてさらに詳細に説明される。

図１は、システムを示し、スクリーン４０が拡張現実メガネの形で、走査を行う人の視野中に直接配置される。解剖構造としての現実の歯および走査結果は、走査を行う人に一目で視認可能である。表示ユニットにおいて、スクリーン４０は現実の視野（拡張現実）中に仮想コンテンツをスーパーインポーズする。

拡張現実メガネはまもなく市販される。本発明は、例えば、Microsoft HoloLensにより実行され得る。この場合、スキャナの空間位置のための検出ユニット２０は、付随する２Ｄカラー画像付き３Ｄカメラである。スクリーン４０および演算ユニット３０とも、メガネに一体化される。

周囲環境に組み込まれる、走査結果および有益なヒントがスクリーン４０上で視認可能である。図２に示す通り、解剖構造としての走査される歯、既に得られた歯およびスキャナ１０が一目で視認可能であり、それらはスーパーインポーズされる。

システムはスクリーン４０を含み、中央要素として、走査結果と情報がそこで見られる。スクリーン４０により、走査を行っている人であるユーザは、同時に走査テンプレートとしての歯と走査結果を見て、それらをスーパーインポーズできる。

スクリーン４０は多様に設計可能である。第一の例としての半透明スクリーンの場合、例えば、仮想コンテンツは現実上にスーパーインポーズされ、現実はごくわずかに淡く見える。第二の例としての完全な仮想スクリーンの場合、例えば、仮想コンテンツは周囲環境のビデオ上にスーパーインポーズされる。このビデオは自然な視点で記録される。仮想コンテンツは、しかしながら、走査を行っている人の網膜上に直接投射され得る。

もちろん、第一の例と第二の例の任意の組合せもまた考えられ、見られた周囲環境はまた半透明な形でスーパーインポーズされ得、および／また重ね合わせは目の前の２つのスクリーン上に同じコンテンツを表示することなく実施され得る。重ね合わせの程度が各ユーザによって個別に設定されることもまた考えられる。

システムはさらに、口腔内スキャナ１０の空間位置を検出し、スクリーン４０の間近に提供され、好ましくはそのスクリーン４０にしっかりと接続される、検出ユニット２０を含む。２Ｄまたは任意で３Ｄカメラが、多くの場合、拡張現実メガネに一体化される。このカメラは検出ユニット２０として機能し得、走査を行う人である、スキャナ１０のユーザの視点と同様の視点からの眺めをキャプチャし得る。検出ユニット２０はスキャナ１０の空間位置を検出し、口腔内スキャナ１０に対して、特定の位置での口腔内走査結果を表示するために使用される。これは、例えば、現実の解剖構造上に仮想走査結果をスーパーインポーズするのに有益である。

システムはさらに、検出ユニット２０とスクリーン４０に対して、走査を行っている人の目および／または頭の動きを検出する、アイカメラ２１を含む。例えば、頭とスクリーン４０の距離が変わると、表示もまたしたがって適応されねばならない。見る方向が変われば、表示も同様に変わらねばならない。

システムはまた、ユーザの動きを検出して、安定してスクリーン４０のコンテンツを表示する手助けをする、任意の位置センサ２２を含む。

特に、システムは、２Ｄおよび／または３Ｄデジタル記録装置として構成される、スキャナ１０を含む。これは多様な方法で実行され得る。２Ｄ画像は、例えば、口腔内カメラによって得られる。３Ｄモデルは、飛行時間法または他の原理により、構造化照明下の三角測量、ステレオカメラで、共焦点的に、記録され得る。

図１に示す通り、本発明によるシステムは特にまた、アイカメラ２１と位置センサ２２の他、スキャナ１０、スクリーン４０、および検出ユニット２０が互いに接続される、演算ユニット３０を含む。演算ユニット３０は、ユーザの見る角度を考慮に入れながら、走査結果と現実の重ね合わせを決定する。

本発明によると、特に、３Ｄデータとユーザの視野の間の変換チェーンを決定する記録装置を使用して、現実の記録された３Ｄデータとのリアルタイムスーパーインポーズのためのビデオ対応３Ｄ表面イメージングの使用が可能である。

図４〜８に明らかなように、本発明によるシステムには異なる座標システムがある。図４に示す座標システムは、口腔内スキャナ１０の結果である、記録された走査によって決定される。さらなる座標システムは、図５に示すスキャナ１０の座標システムである。さらなる座標システムは、スキャナ１０の位置を検出する検出ユニット（下記ではまたオーバービューカメラ２０とも称される）の座標であり、図６に示される。他の座標システムは、例えば歯科医などのユーザまたは走査を行っている人により見られる通り、図７に示す空間の座標システムであり、それぞれの目のためのシステム、すなわち、二つのシステムがある。最後に、また、図８に示す、監視者の座標システムもある。

図２に示すように、現実としてオーバービューカメラ２０によりキャプチャされた解剖構造上に仮想コンテンツとしてスキャナ１０によりキャプチャされた画像をスーパーインポーズするために、例えば、図３に示すように、前もって指定された座標システム間の数多くの既知の変換が必要である。

変換は現実のスクリーン４０への変換に関連する。

他の変換は、走査の間に知られる、現実のスキャナ１０への変換に関連する。スキャナ１０は、通常非常に高い精度で、現実とデジタルモデルの間の関係を生成する。

他の変換はスキャナ１０のオーバービューカメラ２０への変換に関連する。スキャナ１０の位置はスキャナ１０上の容易に認識可能な位置マーカー１１によって決定され得る。これらの位置マーカー１１は、会社または製品のロゴなど、公知のテクスチャによる任意の図案であり得る。これらの位置マーカーは、図１０から明らかなように、これらが既知の幾何学的配置（ジオメトリ）とサイズでスキャナ１０上に据付られるため、スキャナ１０の位置およびサイズについての情報を提供する。スキャナ１０の位置はしたがって２Ｄオーバービューカメラ２０によって十分に検出可能である。光学位置マーカーは、例えば、M. Ozuysal 他によるFeature Harvesting for Tracking-by-Detection, European Conference on Computer Vision（2006）に従って、既知のテクスチャで有り得、追跡され得る。空間位置マーカーは、例えば、D. Wagner他による、Robust and Unobtrusive Marker Tracking on Mobile Phones, Technical Report, Graz University of Technologyに従って追跡され得る。

他の変換はオーバービューカメラ２０のスクリーン４０への変換に関する。例えばオーバービューカメラ２０のスクリーン４０への固定された幾何学的配置によってなど、相関関係は安定して決定され得る。

他の変換は走査を行っている人の目のスクリーン４０への変換に関連する。この相関関係は人ごとに異なり、初回使用の前の個人的な較正により決定をする必要がある。目が動き見る方向が変化し得るため、システムによっては、目も同様に追跡される必要がある。これは既に触れたアイカメラ２１により行われ得る。

このイメージングチェーンは、例えば、同時座標における変換で、計算され得る。座標ベクターの線形変換

は、マトリクス状で線形代数で表され、Ａは下記のイメージングマトリクスを示す。

線形画像の連続した実行は、関連するイメージングマトリクスのマトリクスの積に対応する。

更なる詳細が、例えば、Hartley および Zissermannによる「Multiple View Geometry in Computer Vision, Cambridge University Press」などの文献に見られる。

目の位置の決定を避けるため、較正の有効範囲は、例えば、ユーザまたは走査を行っている人の視野の平均空間角度に制限され得る。ユーザが、表示される幾何学的配置がこの空間角度を離れるように振り向くと、重ね合わせは隠れ得る。

様々な座標システムが、相応しい座標変換（変換命令）を用いて変換される。最後に、目それぞれについて、一度に上記の変換を実施する変換命令があり、これは２つの変換が実施されることを意味する。変換仕様は、患者の解剖構造としての歯の動きが、ユーザのそれぞれの目の座標システムに変換されることを可能とし、スキャナ１０により記録された３Ｄ幾何学的配置がスクリーン４０上に目で自然に見られるイメージに対して正しい位置で表示されることを可能とする。

システム全体（特に目からスクリーン）を較正するために、例えばスクリーン１０は、図９に見られるように、スキャナ１０の仮想表示に合致するようにアラインされ得る。例えば、走査失敗、登録エラー、またはスキャナ１０のマスキングなどにより、イメージングチェーンが中断されると、仮想コンテンツは、可能な最適位置で表示される。

この位置は好ましくは、下記により決定される。
‐ スキャナ１０上に据付られるアクセレーションセンサ。これらは、スキャナ１０の位置の短期的な推定を可能とする。長期的には、しかしながら、小さなエラーが積み重なり、推定される位置はしたがって正確でなくなる。
‐ 走査される解剖構造を追跡すること。患者の上顎の歯は固定的にその頭に直結している。例えば目などの顔特徴の観察は、歯の位置に関する情報を提供し得る。
‐ オーバービューカメラ２０の解像度と、例えば患者の歯などの解剖構造までの距離によって、歯の特徴もまた認識され得る。２Ｄ特徴の３Ｄモデル位置に対する相関関係は成功した走査の間に学習され得る。そのような特徴は、例えば、歯の特定のエッジパターンまたは色分布であり得る。

例えばカルマンフィルターなど、演算ユニットで位置の安定的推定を計算するために、解剖構造である歯の動的モデルにおいては、不完全な観察も含まれ得る。これは、ＧＰＳ信号損失の場合の車両の位置推定と同様な方法で、行われ得る。

スクリーン４０のコンテンツは下記で述べられる。

走査結果の再現性を向上させるため、走査プロトコルはルーティン走査の間、スーパーインポーズされ得る。例えば、EｎderおよびMehlによるInfluence of scanning strategies on the accuracy of digital intraoral scanning systems, International Journal of Computerized Dentistry（2013）から、モデルの精度を向上させ得ることが公知である。このようなプロトコルは通常、トレーニングフェーズでユーザに教育される。提案されるシステムは、走査の間に直接そのような走査プロトコルを提案およびスーパーインポーズすることを可能とする。スキャナとモデルの間の相関関係が明白であるから、これらの指示は簡単に適用され得る。走査プロトコルは前もって固定的に確立される必要はなく、登録エラーを最小化するためにインタラクティブに提案され得る。小さな登録エラーを修正するために、通常ループ閉じ込み（loop closing）は特に重要であり、例えば、T. Weise他、「In-hand Scanning with Online Loop Closure, ICCV Workshops」（2009）などが参照できる。システムは、モデルの精度を向上させるために、具体的に、特に価値のあるループ閉じ込みを提案する。走査ガイドは、例えば、図１１に見られるように、走査方向を示す、矢印によって認識され得る。補助として、番号付きの方向指示ポイントをスーパーインポーズすることもまた考えられる。これらの方向指示ポイントはこの領域の走査が成功するとすぐに消える。このオプションは、図１２に見られる。

さらなる補助として、図１３に見られるように、走査の品質が、例えば特定の色で仮想的にスーパーインポーズされ得る。例えば、モデルにギャップがある場合、走査の品質が不十分になる。これらの領域は、そして次に走査される領域として、提案され得る。

直接に視認可能でないモデルのビューを可視化するため、スキャナ１０が仮想ミラーとして機能する。ユーザの視点からは視認可能でないビューは、図１４に示すように、スキャナ１０のヘッドの近くで仮想的に反映される。ミラーは仮想であり、したがって、図１４のようにスキャナ１０の上に直接、またはスキャナ１０の隣など、所望の通り配置され得る。必要に応じて、ミラーはまた、拡大鏡または拡大凹面鏡として機能し得る。

他の仮想拡大鏡を含み、重要な領域を拡大して表示することも可能である。

スキャナ１０が２Ｄ走査を記録する能力を有する場合、仮想ミラーはまたモデルまたは現実の歯の電気歯科用ミラーとして機能し得る。既存の３Ｄ走査結果が存在する場合、これらを使用してスキャナ１０の位置に対するモデルデータを表示する。３Ｄ走査結果が存在しない場合、仮想歯科用ミラーは、スキャナ１０の位置に対する２Ｄ走査を直接表示する。

表示された走査の画像は、人口照明を導入することにより表示される。対応する仮想光源は好ましくは、例えば額の上など、走査を行っている人である歯科医が通常その照明を配置するところに配置される。この仮想光源を正しく配置することが出来るように、システムは歯科医の患者に対する位置を知る必要がある。最も簡単な場合、オーバービューカメラ２０がしっかりと歯科医の頭部に接続される。オーバービューカメラと患者の歯の間の画像相関関係は、走査の結果として知られる。

具体的に理想的には最大０．１秒の遅延（レイテンシ）で、可視化はリアルタイムで行われねばならない。高遅延は一般に本方法の適応性を制限するものではないが、ユーザはスキャナ１０の相応の遅い取扱いを強いられる。スキャナ１０の位置を決定するのに、３Ｄ画像が先に生成され、表示される他の幾何学的配置に登録されねばならない（一般的な座標システムへの変換）ため、遅延は完全に避けらない。

低遅延の可視化は相応の高性能な演算ハードウェアを必要とする。演算ハードウェアは分散型であり得る。したがって、スクリーン４０と検出ユニット２０の間のＣＰＵとＧＰＵがあり得る。スクリーン４０、検出ユニット２０、およびスキャナ１０を接続する、演算ユニット３０における追加のＣＰＵとＧＰＵがあり得る。

仮想モデルと現実の空間配置が次に論じられる。

解剖構造である歯の仮想モデルを出来るだけ自然に表示し、口腔内で正しく配置するために、歯のすぐ近くは分割されねばならない。この分割は、例えば、仮想的に被覆された現実の歯と仮想モデルのオプティカル・フローの相関関係によって、実行され得る。被覆された２Ｄビューのオプティカル・フローは推定仮想モデルのフローと一致しなければならない。もしそうでなければ、これらの動的干渉が仮想モデルの前に空間的に表示される。口腔内スキャナ１０がＲＧＢ画像をも供給し、仮想モデルがそのように着色され得る場合、現実の歯とモデルの間の色の差もまた分割に使用され得る。例えば、色値が合致しなければ、仮想モデルはこれらの領域に表示されない。

例えばスキャナ１０のヘッドの後ろのモデルのギャップを表示するために、このオプションは選択的にスイッチオフすることが出来る。

特に、走査手続の休止の間、解剖構造の位置、配向、スケーリングがツールによって演算ユニット３０により推定される。侵襲的方法と非侵襲的方法の間の差別がなされ、非侵襲的方法が好まれる。

侵襲的方法は、走査される解剖構造上へのマーカーまたはその他追跡センサの取付である。非侵襲的方法は、解剖構造の光学２Ｄまたは３Ｄ特性のペアリングである。２Ｄまたは３Ｄ特性は、例えば、わずかな数の目立った局所またはオブジェクト上に密に分布する数多くの広い領域であり得る。

局所２Ｄ特性の例としては、下記が挙げられる。
‐ 解剖構造上の局所の色の違い 本明細書においては、通常これらは歯から歯茎への移行である。
‐ 局所の輝度の違い 本明細書においては、通常これらは歯の上の微妙な輝度の差である。
‐ 最大輝度ポイント
‐ 最小輝度ポイント
局所３Ｄ特性の例としては、下記が挙げられる。
‐ 例えば、湾曲の度数で表され得る、解剖構造上の局所形状差

より堅牢な描写を達成するため、局所２Ｄまたは３Ｄ特性は追加でそれらの空間分布について調べられ得る。局所ポイント間の近接関係は、例えば、距離単位によって表され得る。

仮想モデル上の特性とオーバービューカメラによりキャプチャされた特性をアラインすることは一つのオプションである。オーバービューカメラは通常、周囲環境の２Ｄカラーデータまたは３Ｄデータをも提供する。特性のアラインメントはより簡単であり、連続した走査手続の間の口腔内カメラおよび走査手続の休止の間のオーバービューカメラの記録条件はより相似している。走査を記録するために必要な任意の照明が、したがって、オーバービューカメラにより画像を記録する間、スイッチオフされ得る。追加の照明が有利には、オーバービューカメラのそれと同様の位置に据え付けられ得る。

他のオプションは、解剖構造の近くの周囲環境を記録すること、およびその情報から解剖構造を推測することである。例えば、ヘッドまたはヘッドのパーツは歯のパラメータを決定するのに使用され得る。ここにもまた、侵襲的および非侵襲的方法がある。例えば、マーカーは顔に侵襲的に取付られる。フェイスマスクの特定の視点が非侵襲的に追跡され得る。

走査手続の休止の間においても出来るだけ正確に仮想モデルを現実の解剖構造上に配置するため、スキャナ１０での走査の間、スーパーバイザーとして、画像生成の間、記載された方法による自動学習フェーズがある。したがって、走査および走査のモデルへの成功した追加の間、オーバービューカメラからのデータは、走査手続の休止の間、後で出来るだけ正確に現実の解剖構造上に仮想モデルをスーパーインポーズするため、継続的に分析され評価される。この学習フェーズにおいて、オーバービューカメラにより追跡されている特性のいずれが、仮想モデルの位置、配向、スケーリングを推定するのに使用され得るのかが自動的に検出される。これらの特性は、例えば、出来るだけ安定的な追跡を可能とせねばならない。それらは、局所２Ｄまたは３Ｄ特性など、多くの記載された特性から選択され、前述の状況において、特に安定的かつ堅牢に追跡され得る。自動学習フェーズにより、例えば、解剖構造およびその近くに存在する任意の所望の異なる特性の組合せを選択することが可能である。

これらの特性はまた、推定パラメータに関して意義深くあるべきである。選択された特性と走査の間に知られた推定パラメータの関係が学習される。ある特性が所望のパラメータを推定するのに有用でなければ、走査の間にそれが特定され、これらの特性は後に走査手続において無視され得る。

走査が中断される場合、これらの巧みに選択された特性は、未知のパラメータを推定するために使用される。

所望のパラメータを推定するために相応しい特性が自動的に学習される。したがって、これらの特性は前もって選択される必要がない。代わりに、それらは走査手続から走査手続へと適応的に適合される。自動化された学習フェーズによって、推定パラメータにより走査された解剖構造の近くのみに存在する特性をアラインすることが可能である。例えば、フェイスマスクの位置、配向、およびスケーリング（オーバービューカメラで追跡される）に対する仮想モデルの位置、配向、スケーリングの間の関係がしたがって学習され得る。フェイスマスクは走査手続の中断の間も継続して追跡され得、解剖構造は学習されたフェイスマスクに対する位置、配向、およびスケーリングで、表示され得る。

スキャナが補助として使えなければ、仮想モデルはまた、現実の解剖構造を介してユーザによって手動で位置決めされ得る。この手動較正ステップにおいて、追跡された特性と仮想モデルの位置、配向、およびスケーリングの間の関係がまた学習され得る。手動較正ステップは、高い堅牢度を達成するために、一度のみ、または繰り返して実施され得る。

本発明は、特に、解剖構造を走査するための、および走査結果の可視化のためのシステムと方法を論証し、それは簡単な操作により向上された走査結果の可視化を提供する。

Claims (18)

1. 解剖構造の走査と走査結果の可視化のためのシステムであって、前記システムが、
   解剖構造の画像を口腔内でキャプチャする、口腔内スキャナ（１０）と、
   監視者または前記走査を行っている人に対する前記口腔内スキャナ（１０）の空間位置を検出する、口腔外検出ユニット（２０）と、
   演算ユニット（３０）であって、
   前記走査の手続の間、前記スキャナ（１０）をスクリーン（４０）および前記検出ユニット（２０）と接続し、前記解剖構造の口腔内でキャプチャされた画像と前記監視者に対する前記口腔内スキャナ（１０）の前記検出された空間位置に基づく走査結果を生成し、前記走査結果を解剖学的構造の仮想モデルと合致させ、また、
   前記走査の手続の休止の間、前記解剖構造の位置、配向、およびスケーリングを、前記監視者に対する前記口腔内スキャナ（１０）の前記検出された空間位置であるツールによって推定し、走査結果として、推定に対応する前記解剖構造の仮想モデルに対応する画像を生成し、および、
   前記スクリーン（４０）が前記演算ユニット（３０）によって生成された前記走査結果を表示する、前記演算ユニットを含む、解剖構造の走査と走査結果の可視化のためのシステム。
2. 前記スクリーン（４０）が、走査を行っている人の視野に直接配置されるように、拡張現実メガネに一体化されることと、
   前記検出ユニット（２０）が２Ｄおよび／または３Ｄオーバービュー画像を生成するカメラであって、前記カメラは前記スクリーン（４０）の間近にあり、しっかりとそこに接続されること、により特徴づけられる、請求項１に記載のシステム。
3. 前記検出ユニット（２０）および前記スクリーン（４０）が、走査を行っている人の頭の近くにしっかりと据付られることにより特徴づけられる、請求項２に記載のシステム。
4. 前記検出ユニット（２０）および前記スクリーン（４０）に対する、走査を行っている人の目および／または頭の動きを検出するアイカメラ（２１）をさらに含み、前記演算ユニット（３０）が、前記検出された動きに適応されたスーパーインポーズされた画像として前記スクリーン（４０）上に表示される走査結果を生成することにより特徴づけられる、請求項２または３に記載のシステム。
5. 走査を行っている人の動きを検出する位置センサ（２２）をさらに含み、前記演算ユニット（３０）が、前記スクリーン（４０）上に表示されるスーパーインポーズされた画像を生成する際に、前記検出された動きを考慮に入れることにより特徴づけられる、請求項４に記載のシステム。
6. 前記スキャナ（１０）の動きを検出する、前記スキャナの近くの位置センサをさらに含み、前記演算ユニット（３０）が、前記スクリーン（４０）上に表示されたスーパーインポーズされた画像を生成する際に、前記検出された動きを考慮に入れることにより特徴づけられる、請求項４または５に記載のシステム。
7. 前記演算ユニット（３０）が座標システム間の変換を行うことにより特徴づけられる、請求項１〜６のいずれか１項に記載のシステム。
8. 前記座標システムが、口腔内でキャプチャされた画像の座標システム、前記スキャナ（１０）の座標システム、前記検出ユニット（２０）の座標システム、および前記スクリーン（４０）の座標システムを含むことにより特徴づけられる、請求項７に記載のシステム。
9. 前記座標システムが、走査を行っている人の左目と右目のための前記スクリーン（４０）の座標システムをそれぞれ、および走査を行っている人の左目と右目のための座標システムをそれぞれさらに含むことにより特徴づけられる、請求項８に記載のシステム。
10. 前記スクリーン（４０）が成功した走査に関する情報を表示することにより特徴付けられる、請求項１〜９のいずれか１項に記載のシステム。
11. 前記演算ユニット（３０）が、前記スキャナ（１０）のヘッドの近くの前記スクリーン（４０）上に表示されるように、前記スキャナ（１０）により口腔内でキャプチャされた前記解剖構造の画像を処理することにより特徴付けられる、請求項１〜１０のいずれか１項に記載のシステム。
12. 位置マーカー（１１）が、前記スキャナ（１０）上に提供されることにより特徴付けられる、請求項１〜１１のいずれか１項に記載のシステム。
13. 前記演算ユニット（３０）が侵襲的または非侵襲的方法により前記解剖構造の位置、配向、スケーリングを推定し、前記侵襲的方法が走査される解剖構造上へのマーカーまたはその他の追跡センサの取付を含み、また非侵襲的方法が、前記解剖構造の光学２Ｄまたは３Ｄ特性のペアリングを含むことにより特徴付けられる、請求項１〜１２のいずれか１項に記載のシステム。
14. 前記解剖構造の位置、配向、スケーリングの推定の向上のため、モデルに対する成功した走査の間、前記演算ユニット（３０）は、前記走査の手続の休止の間仮想モデルを表示する手助けをする学習フェーズを経て、前記仮想モデルと前記解剖構造上またはその近くの特性の間の変換が既知または成功した走査の間に学習され、また前記走査の手続の休止の間に安定的にかつ堅牢に仮想モデルを追跡するために、２Ｄまたは３Ｄ特性が選択され得ることにより特徴づけられる、請求項１３に記載のシステム。
15. 請求項１〜１４のいずれか１項により構成されるシステムを使用した、解剖構造の走査および前記走査結果を可視化するための方法であって、前記方法が、
    前記口腔内スキャナ（１０）で前記解剖構造の画像をキャプチャすること、
    前記口腔外検出ユニット（２０）で前記口腔内スキャナ（１０）の空間位置または位置を検出すること、
    前記口腔内スキャナ（１０）でキャプチャされた画像の座標システムを、走査中の座標システム間の変換により、前記スクリーン（４０）の座標システムに変換すること、または、
    前記口腔外検出ユニット（２０）および前記演算ユニット（３０）によって前記解剖構造の位置、配向、スケーリングを推定することおよび前記演算ユニット（３０）で前記推定に対応する前記解剖構造の仮想モデルに対応する画像を生成すること、並びに
    前記スクリーン（４０）上に生成された画像を表示すること、とを含む方法。
16. 走査結果が、前記スキャナ（１０）によって口腔内でキャプチャされた前記解剖構造の個別の画像を併合することで形成されることにより特徴づけられる、請求項１５に記載の方法。
17. 前記スキャナ（１０）の位置が前記スキャナ（１０）上の位置マーカー（１１）を使うことにより、追跡されることで特徴づけられる、請求項１５または１６に記載の方法。
18. 前記スキャナ（１０）により口腔内でキャプチャされた前記解剖構造の画像および／または前記走査結果が、前記スキャナ（１０）の位置に対して、前記スキャナ（４０）上に表示されることにより特徴づけられる、請求項１７に記載の方法。

Images