JP6904901B2 - 患者の口内の視覚化装置 - Google Patents

Description

本発明は、患者の口内の視覚化装置に関する。本発明はまた、口腔内測定装置に関するものである。

患者の口の光学的印象撮影に適した口腔内カメラ、および口腔内カメラで撮った画像を装置のユーザが視覚化することを可能にするリモート視覚化スクリーンを備える、患者の口内の視覚化装置が公知である。そのような装置は、特に歯科補綴（ｐｒｏｔｈｅｓｅ）の実施に使用される。

そのような装置の欠点は、ユーザは常に、口腔内カメラで撮った画像（カメラで撮った画像、またはカメラで撮った画像からのモデリング情報処理から出力された画像）に対応する画像が表示されるリモートスクリーンを見ていなければならず、したがって患者の口から視線を外さなければならず、作業を実施する患者の口とスクリーンに表示されているもの（例えば作業の実際の結果、またはその作業が最終的になるべきものの表示）とを対応させることが妨げられる。

こうして、光学的印象を撮影するとき、ユーザは印象撮影に関係する口のゾーン全体を手動で口腔内カメラでスキャンしなければならない。よって、リモートスクリーン上に表示され得る印象撮影の進行を追わなければならず、その結果として患者の口から視線を外さなければならない。

視線の移動は、ユーザの手による制御されていない不正確で有害な動きを引き起こすことがあり、それは患者に（口の内側または外側に）傷をつけることがある。この欠点は、ユーザが３次元動的光学的印象を撮影するときに、より重大になることがある。

さらに、視線の移動はまた、この移動速度が極めて速まると、例えば目の往復運動が１分につき２０回以上の場合、極めて疲れるものである。

視覚化装置が構造化活性光プロジェクタを使用する場合、モデリングされた実像を拡張現実に由来する情報に相関させることは、歯または歯茎上のマスクの投影（点、線、格子）のため、極めて困難である。

そのうえ、口腔内カメラで撮った画像に対する補足の表示が同様にスクリーンに表示される場合、このときユーザはこれらの表示を頭の中で手術野に置換するという労力を払わなければならず、それはその作業を不正確にし悪化させる、より大きなリスクを伴う。

拡張現実装置が存在するにもかかわらず、患者の口の実際のビューと拡張現実から出力される情報とを相関させることができないので、それらを使用することができない。拡張現実から出力された情報がリモートスクリーンに表示されるとしても、ユーザによるリモートスクリーンの視覚化は決してリアルタイムでは実施されず、ユーザの動作は、その手術野で正確に位置決定されることはない。

リモートスクリーンはまた、光学的印象の品質に影響を及ぼす。ユーザは、印象撮影が完全かどうか知ることを可能にする現実および直接の相関を全く有していない。また、目の動きのたびに口腔内カメラを制御せずに動かす恐れがあり、それは得られた結果を不確かなものにする。

口の器官のモデリングされた表示（例えば、歯科補綴を配置して、作業の終了時に歯および歯茎になるべきものの表示）をリモートスクリーンに視覚化することは、同一器官のリアルタイムでの視覚化と同時に実施することはできない。それは、リモートスクリーン上に表示される拡張現実に関するソフトウェアから出力されるすべての情報について同様である。

ユーザの視線は、必ずしも口腔内カメラにアクセス可能なすべてのゾーンを見ているわけではなく、それは、測定したものの評価を困難にし、さらには不可能にする。この欠点は、口腔内カメラが光学的印象ホルダー型装置であって、嵩が大きく患者の口の主要な部分を隠すとき、より深刻である。

ユーザは患者の口を見ることができず、その作業結果はリアルタイムに同一基準内で混同されることから、ユーザの動作は安全を確保されていない。

本発明は、前記の欠点を解消することを目的とする。

本発明は、患者の口の内部の視覚化装置に関するものであり、その装置は口内に位置する器官の光学的印象の撮影に適したカメラを備えるものであって、拡張現実メガネを備え、それは一方ではそれを通してメガネのユーザが口の内部を見ることができる光学ガラスを有し、また他方ではユーザが光学ガラスを通して見るものを撮影する視覚化カメラを有し、視覚化カメラで撮影した画像に対応する第一の画像は、光学的印象撮影カメラで撮影した画像に対応する第二の画像と相関され、第二の画像は光学ガラス上に投影されることができる拡張現実メガネを備えることを特徴とするものである。

したがって本発明は、同一の視野（光学ガラス、したがって患者の口）内に、患者の口内部のリアルタイムの映像と光学的印象撮影カメラで撮影した画像に対応する第二の画像とを相関させて結合させることができる視覚化装置を提案する。これらの第二の画像は、光学的印象撮影カメラで撮影した画像と同様に、このカメラで撮影した画像の情報モデリングから出力された画像であってよい。

したがって、ユーザが所望すれば、患者の口から目を離さずに、その作業の進行（例えば診断の設定、または印象の作成）を追うことができる。

単一の視野の存在によって、ユーザはもはやユーザの手による不正確で制御されていない有害な動きをする恐れがなくなり、それは、３次元動的測定で作業するとき、より大きな利点になる。

患者の口の外に視線を外すことを抑制することによって、ユーザはもはや患者に傷をつける恐れがない。その作業を実施するためのユーザの動作、およびそれを助ける情報は、常に同一視野内にある。

本発明にかかる装置の使用によって、（特に高速度の）目の動きが存在しないことから、ユーザの疲れは明らかに軽減される。

実際のビューとモデリングされたビューとの相関によって、ユーザは、構造化活性光（ｌｕｍｉｅｒｅ ａｃｔｉｖｅ ｓｔｒｕｃｔｕｒｅｅ）を使用する方法でもそうでなくとも、あらゆる種類の光学的印象撮影方法を使用することができる。

本発明にかかる装置によって、常に高価で多くの場合効果的はでない３次元スクリーンの使用を強要されることなく、自然な３次元立体映像復元を有することが可能になる。

光学的印象撮影カメラとは、定義としては接触せずに印象を撮影することができるカメラである。

光学的印象撮影カメラは、拡張現実メガネ搭載カメラ、口腔内カメラ（手動で移動可能）、または光学的印象ホルダーであり得る。光学的印象撮影カメラは、口腔内光学的印象ホルダーシステム（投影および読み取り装置を備え、ホログラフィック干渉計またはモアレ画像を伝導する光ファイバを使用する比較的大きな光学的印象トレーシステム、および非コヒーレント光ステレオスコープの原理を使用し、印象を撮るべき範囲全体を一度にスキャンする複数のカメラを備えるオプトエレクトロニクス支持部材を備える光学的印象ホルダーシステム）であり得る。

光学的印象撮影カメラは、（深い青からＸ線へと移行する）フォトニック放射線、または超音波を使用することができる。それは、コヒーレント放射線を使用することができる（またはできない）。

このカメラはまた、ステレオスコープ干渉計装置、または構造化された光（点、線、格子）を口の器官（通常、歯または歯茎）に投影するプロジェクタに組み合わせることができる。

カメラは、器官の形状の測定および分析システムに結合されてよく、システムは器官の形状および色の正確な読み取りを行う。測定および分析システムが、活性および／または構造化光プロジェクタである場合、光学的印象撮影カメラは、少なくとも二つの（交わった、または分離した）チャネルを有し、一つは投影、もう一つは画像撮影用のものである。投影チャネル（投影はＬＥＤ、ＯＬＥＤ、ハロゲン、プラズマ、またはレーザによって実施され得る）は、器官の表面の形状に応じて変形される構造化された放射線を器官上に投影し、この変形は画像撮影チャネルによってセンサに転送される。これによって、光学的印象撮影カメラは、投影された（または記憶された）光とセンサに到達する変形された光の特性間の比較によって、分析対象である各器官の形状および寸法を知ることができる。光学的印象撮影カメラはまた、モノまたはマルチカメラのステレオスコープあるいは遠隔測定方法を使用する、口の器官の形状の測定および分析システムに組み合わされてよい（この測定システムは、より単純であるという利点があるが、しかし使用されるソフトウェアはより複雑である）。光学的印象撮影カメラはまた、放射線機器、光コヒーレンストモグラフィ（ＯＣＴ）機器、または超音波放出機器のような周辺機器によって形成された口の器官の形状を測定および分析するシステムに組み合わされてよい（これらの機器が、調査するゾーンに測定情報を提供する範囲において）。

本発明にかかる装置によって、ユーザはまた、光学的印象撮影カメラの存在にもかかわらず、患者の口内で起きていることを知ることができる（特にこのカメラが光学的印象ホルダーである場合）。

本発明にかかる装置は、複数の光学的印象撮影カメラを備えることがある。光学的印象撮影カメラは各々、測定および分析システムに結合させることができる。

分析および印象撮影を最適化するために、本発明にかかる装置は、構造化光線を伴ってまたはそれなしで作動することができる照明システムに結合させることができる。

この照明システムは、口の外側から投影するか、または光学的印象撮影カメラ上に固定させることができる。

使用する照明のタイプ応じて、照明システムは、測定した器官に関する補足情報を拡張現実で出現させることができる。したがって、照明の波長によって、いくつかの歯の解剖学的要素を測定、および／または発見し、それらを光学ガラス上に表示することができる。

照明システムはまた、拡張現実に頼ることなく、いくつかの情報を投影するのにも適していることがある。これは例えば、光学的印象撮影カメラの正確な読み取りが位置する場所を示す投影された識別信号（赤色の円など）である。照明システムは、獲得されたデータの品質に応じて情報の色または形状を変化させることができる。

拡張現実メガネは、少なくとも一つの光学レンズ（一般的には二つ）、および少なくとも一つの視覚化カメラを備える。拡張現実メガネに複数の視覚化カメラが存在することによって、特に光学的印象撮影カメラの読み取りから出力されたモデリングをリアルタイムで再調整することができる。

視覚化カメラは必ずしも３次元カメラであることはなく、２次元または２．５次元カメラであってもよい。本発明にかかる装置は、視覚化カメラによって撮影した２次元画像を、印象撮影カメラによって撮影した３次元画像と相関させることができる。視覚化カメラが２．５次元カメラまたは３次元カメラ（空間的視覚を有するメガネ）である場合、相関は極めて正確であり、３次元で読み取られた器官部分に表示がなされる（一部の拡張現実メガネは、結果を可能にするために専用の特殊な光学ガラスを有する）。

ユーザが直接口のビジョンを見るのに介在する光学ガラスはまた、視覚化カメラで撮った画像に対応する第一の画像、光学的印象撮影カメラで撮った画像に対応する第二の画像、および場合によっては、拡張現実および外部周辺機器に組み合わせることができる補足情報（例えば強度、色、またはコントラストの変動のような視覚化可能なサイン）を投影できる場所でもある。

したがって、ユーザはその作業進行を見ることができる。例えば、光学的印象撮影が完了し、かつ正確であるか、または印象撮影を完全なものにするために再度介入すべきかを知ることができ、この指示は、光学ガラスを介在した直接のビジョンを、撮影した印象を表示する第二の画像によって徐々に置換することによって実施することができる。

光学ガラス上に（ユーザの希望に応じてリアルタイムにまたは時間差で）投影することができる補足情報は、光学ガラス上で直接相関され、拡張現実がそれを可能にする。これらの補足情報は、放射線機器、光コヒーレンストモグラフィ（ＯＣＴ）機器、または超音波放出機器のような周辺機器から出力されることがある。補足情報用に拡張現実を使用することによって、ユーザを案内し（特に器官が印象撮影されなかった時に）、あらかじめ記憶した放射線情報を用いて歯茎の下の情報をユーザに示し、外科的行為が完全に実行されていなければ（例えば、最終的な印象撮影前に、アンダーカット（ｃｏｎｔｒｅ−ｄｅｐｏｕｉｌｌｅ）ゾーン、またはブリッジの柱間の対応関係が不正確であるゾーンを示すことによって）、外科的行為の間にそれを警告することができる。また、削合（ｃｏｒｏｎｏｐｌａｓｔｉｅ）あるいは咬合分析の実施の際に、動態的変動を組み合わせ、歯上のブラケットの予想配置の効果を視覚化し、（例えば歯髄の近傍に）詰め物またはクラウンを収容するための空洞部を形成する間に歯の組織分布を知ることができる。

使用される拡張現実メガネは、例えば「Ｇｏｏｇｌｅ Ｇｌａｓｓ」、「Ｖｕｚｉｘ ｓｍａｒｔ Ｇｌａｓｓ」、「Ｋ−Ｇｌａｓｓ」または「ｖｉｄｅｏ−ｐｒｏｊｅｃｔｉｏｎ Ｅｐｓｏｎ」であってよい。

３次元タグ付けシステムを拡張現実メガネに組み合わせて、ユーザが自身の作業の進行、特に、直接口の器官に対応して自身の光学測定活動の進行を追うことができる。

本発明にかかる装置はまた、特に視覚化カメラで撮った画像に対応する第一の画像を光学的印象撮影カメラで撮った画像に対応する第二の画像に相関させることができる情報処理中央装置を備えてよい。

従来より中央装置は、アナログおよび／またはデジタルデータを変換し、データを管理すること（光学的印象撮影カメラおよび視覚化カメラによって撮影された様々な画像をデジタル化し、これらの画像に内蔵される様々な情報を測定し、これらの画像を情報処理し、それらを相関させ、それらを光学ガラス上に集める、など）に適している。中央装置はまた、患者に関する補足情報を付加して、ユーザに知らせ補助すること（例えば測定が成された器官を表示すること）が可能である。

中央装置は、第一の画像を第二の画像とともに同一のオブジェクトに集めることが可能である。これら第一および第二の画像は同一の作業ゾーンで撮影されるが、異なる情報を提供する。状況に応じて、中央装置は第一の画像に第二の画像を置き換える、または重ねる。

同一の作業ゾーンの二種類の画像の置換に続く相関は、デジタル化され処理された第二の画像によるユーザの直接のビューの漸進的な質の向上（ｅｎｒｉｃｈｉｓｓｅｍｅｎｔ）となって現れる。例えば、口に位置する各器官は視覚的特徴を示し、それには点群が組み合わされている。中央装置は、一方では、第一および第二の画像について（一般的には、第二の画像が撮影されるほど、第二の画像に関する）同一の点群を見つけ、もう一方では、第一の画像よりはるかに正確である第二の画像を表示して、二種類の画像を相関させる。相関のこの表示は、特定のカラーで実施することができる。したがってユーザは、（例えば赤色で着色されている）測定されたゾーンが光学ガラスに直接および漸進的に現れるのを見る。第二の画像は、ちょうど光学的印象撮影カメラによって撮影されているので、これはこのゾーンが光学的印象撮影カメラによって隠されているとき（特にこのカメラが光学的印象ホルダーである場合）でも同様である。

中央装置はまた、別の機能を備えることがあり、例えば、一つの器官について３次元空間の点群を計算して、そこに器官の運動時間（第四の次元）およびその色（第五の次元）を加えることが可能である。

中央装置は、複数のアルゴリズムを備える画像処理ソフトを備えてよい。そのようにして、一つまたは二つの２次元カメラから来る画像フロー（ｆｌｕｘ）をリアルタイムに処理して、ユーザが器官の付近で光学的印象撮影カメラを移動させるのにしたがって、ユーザによって視覚化可能なリアルタイムの第一の３次元再構成を生成することができる。リアルタイムの３次元再構成の全体的なスキーマ、およびデータの組織化（ｏｒｇａｎｉｓａｔｉｏｎ）は、使用するカメラ数に応じて変化する。画像フローの各々が一つの２次元カメラに由来する二つの２次元画像フローであることも、一つの２次元画像フローが、加速度計に由来する加速データフローに組み合わされた単一の２次元カメラに由来することもある。新規に獲得された各画像は、注視点（ｐｏｉｎｔ ｄ’ｉｎｔｅｒｅｔ）の計算および画像を介した対応付けによる視覚痕跡探索アルゴリズムによって処理される。リアルタイムのシークエンシングアルゴリズムはその際、対応付けから、より良好な時間的性能のためにビデオフローのシークエンシングを更新する。次に、視覚痕跡によって、空間内のカメラの位置および３次元での点座標の対応推定アルゴリズムは、獲得時のカメラ位置を発見し、視覚痕跡に投影される３次元点群を生成することができる。続いて、生成した点群を補間アルゴリズムによって補間して、より高密度の点群を得る。また、推定上の補間関数（ｆｏｎｃｔｉｏｎ ｉｍｐｌｉｃｉｔｅ ｄ’ｉｎｔｅｒｐｏｌａｔｉｏｎ）が算出され、それによって、テクスチャの計算および多角形化アルゴリズムにより、再構成される表面のテクスチャ化された多角形化が得られる。この段階で、最終的な点群の品質指数を計算し、場合によってはいくつかの点を無効としてタグ付けすることができる。場合によってはさらに無効のゾーンを示すのに適した注釈と共に、テクスチャ化した表面を表示する。リアルタイムに生成されたこの表面は、スケールファクタで再構成されたゾーンの表示である。獲得が完了したとき、スケールファクタは３次元再構成スケール化アルゴリズムによって計算される。最後に、空間精度強化アルゴリズムを３次元モデルに使用して、可能な限り忠実な再構成を得ることができる。この強化アルゴリズムは、獲得したビュー全体を考慮して、３次元点群を再計算する。次に、再計算した点群を補間アルゴリズムによって補間し、最後に３次元の全体モデルを「スペースカービング（ｓｐａｃｅ ｃａｒｖｉｎｇ）」アルゴリズムによって再構成する。

本発明にかかる装置はまた、Ｘ線写真、比色、または下顎の動きの情報などの補足情報を提供する周辺機器に結合することもできる。

これらの周辺機器は好ましくは、光学的印象撮影カメラおよび視覚化カメラと同様に、中央装置に結合されており、したがって中央装置はこれらの周辺機器によって提供される情報を処理し、拡張現実メガネの光学ガラス上に、対応する補足画像を投影することができる。

可能な周辺機器は、広視野で患者の顔の部分を撮影するのに適した口腔外カメラである。このカメラは特に、歯列矯正またはインプラント治療のようないくつかの治療で使用される。この口腔外カメラに、光学的印象撮影カメラまたは視覚化カメラについて記載したような機能を結合させることができる（特に、構造化光の使用または不使用など）。

別の可能な周辺機器は、例えば歯の色、出血の存在、硬組織の損傷（虫歯の存在）、腫瘍またはいくつかの口腔病理の存在のような、抽出すべき情報が必ずしも精度が高いことを必要としない画像を撮影するのに適した２次元カメラである。

また別の可能な周辺機器は、加速度計、ジャイロスコープ、磁力計などの位置測定機器である。またこの位置測定機器を、印象撮影カメラにも（視覚化カメラ用の）拡張現実メガネにも備えることができる。これらの位置測定機器によって、それらを備えるツールの位置を測定し、撮影した画像の相関を容易にすることができる。それらはまた、どちらかのカメラのセンサのうちの一つの万一の故障に備えることも可能である。

周辺機器としてはまた、咬合器、圧力ゲージおよびデジタル咬合器を有することも可能である。これらの機器によって、下顎の動きのような患者の身体の動き、または歯茎についてのいくつかの病理学的画像の印象に対する反応を視覚化し、分析し、光学ガラスを通して見られる画像に組み入れることができる。

また別の可能な周辺機器は、記憶された歯色についての公知の色を参照して相対的に、または絶対的に歯の色を知ることができる比色計またはスペクトル比色計である。

また、手術行為の間、患者の健康状態（例えば、血圧、血液の酸素供給、体温、観察中の病変部の温度）を知ることを可能にする周辺機器を有することも可能である。

また、口の器官の画像を撮影し、記録することができる歯科周辺機器（例えば、放射線機器、超音波機器、磁気（ＭＲＩ）機器、テラヘルツ機器）を有することも可能である。

また、その作業時にユーザを助けることを可能にする補足情報をユーザにもたらすことができる周辺機器を有することも可能である（これらの情報は、例えば遠隔診療によって、記憶された機能、あるいはイントラまたはエクストラソフトウェアから出力されることができる）。

また、ユーザが光学ガラス上に見る情報を表示することを可能にし、実施されている作業を助手または学生が追うことを可能にするリモートスクリーンを有することも可能である。

また、ユーザが見る画像に対応する現実の部品を作製することを可能にするデジタル制御工作器具を有することも可能である。

また、（例えば光学ガラス上への情報の出現または消滅について）ユーザが中央装置に命令を与えることができるマイクを有することも可能である（例えばメガネのツルに内蔵される）。

ユーザ、助手、学生および／または中央装置とコミュニケートすることを可能にする、または情報、命令、データを転送および格納することを可能にする他のいずれかの周辺機器を有することも可能である。

本発明にかかる装置の構成要素全体は、ケーブル、ブルートゥース（登録商標）、またはＷｉｆｉ（登録商標）によって互いに接続される（これらの二つの後者の場合は、ユーザの動作を完全に解放する）。

本発明にかかる装置は、その製造において単純であり、そのことにより装置は著しく耐久性のあるものになり、コストは低くなる。それは、歯科医院および歯科補綴研究所で使用することができる。それによって、ユーザは迅速に、安全に、かつ快適に作業することができる。特に、最適な条件で歯科用光学的印象撮影を実施することを可能にする。また、ミクロン単位に匹敵する精度を提供して、治療行為を最適化することができる。

装置は、進化した形態では、ユーザに自身の作業、分析および／または測定視野から目を離さないことを課す、迅速かつ正確な操作が必要とされるあらゆる３次元獲得システムに適用される（医療、スポーツまたは産業環境など）。それによって、ユーザがシーンから目を離さないことを可能にし、およびユーザに情報を表示して、ユーザをリアルタイム（またはほとんどリアルタイム）で追い、情報を与えることを可能にする。

本発明のその他の特徴および利点は、患者の口内の視覚化装置の一実施態様の記載から明らかになるであろう。ただし、この実施態様は非限定的な例として挙げられており、下記の添付図面を参照して記載される。

本発明にかかる装置の概略図である。 本発明にかかる装置の別の図面である。 本発明にかかる装置の本質的要素の組織図である。 本発明にかかる装置の実行段階の図面である。 本発明にかかる装置の光学レンズを通して見た歯槽弓の図である。 本発明にかかる装置の口腔内光学的印象撮影カメラによる画像撮影後の、図５の歯槽弓のモデリング図である。 図５の歯槽弓を光学ガラスを通して見た図であり、印象撮影をした歯槽弓の部分はこの歯槽弓の部分の正確なモデリングによって置換されている。 光学ガラスを通して見た歯列の図である。 点群と図８の写真のホモログ点とのソフトウェアによる自動対応の実施を表示する図である。 ワイヤモデリングと図８の写真のホモログ点とのソフトウェアによる自動対応の実施を表示する図である。 図３に類似の図面であるが、本発明にかかる装置のアクセサリ構成要素もまた図示している。 本発明にかかる装置によって患者の静的および動的咬合を視覚化し、かつ分析することを可能にする段階を図示したものである。 本発明にかかる装置によって決定される静的接触ゾーンの図である。 本発明にかかる装置によって決定される動的接触ゾーンの図である。 患者の咬合の動的運動をリアルタイムにたどることを可能にするために光学ガラス上に投影されるものの表示例である。 口腔内印象撮影カメラを使用して行われる印象撮影を図示したものであり、理想的なプレパレーションの形状と、作製されたプレパレーションの挿入軸と比較される理想的なプレパレーションの挿入軸とが重ね合わされている。 歯科モデリングソフトウェアを使用して作製される将来の補綴を、口腔内印象撮影カメラを使用して実施した印象撮影に重ねて図示したものである。 口腔内印象撮影カメラを使用して作製された完成した歯槽弓をカラーで図示したものである。 拡張現実メガネの光学ガラスを通して見ることができるスクリーンを図示したものであり、そのスクリーンには関係するゾーンに応じて、比色分析または分光比色情報が表示されている。 口腔内カメラを使用して作製された印象撮影の表示であり、拡張現実メガネの光学ガラスを通して表示され見ることができる唇および頬の図が組み合わされている。

これらの図面は、本発明にかかる患者２の口内の視覚化装置１の様々な実施態様を図示したものであり、例えば歯科外科医であるユーザ３の日常的な診療において提供されるあらゆる可能性を示している。この装置１は、特に歯科医業の分野において利点がある。

図１は、視覚化装置１の要素を図示しており、視覚化は拡張現実方法によって質が向上している。視覚化装置１によって、ユーザ３は測定または診断を行うとき、自身の手術野から決して目を離さないことが可能になる。

装置１は、光学的印象撮影カメラ４を備える。この場合この光学的印象撮影カメラ４は手動の口腔内カメラであり、ユーザ３（歯科医師または医師）は患者２の口内または皮膚上で３次元測定を実施することができる。この測定は極めて精密（数ミクロン）であり、かつ歯に極めて近接しているので、被写界深度は極めて小さく、そのことが、連続写真（ワンシュートインプレッション）による場合であれ、３次元視覚化撮影（フルモーション）による場合であれ、ユーザ３が歯全体のスキャンを実施しなければならないことの説明となる。光学的印象撮影カメラ４は、米国特許第８５２０９２５号明細書に記載のような、複数のカメラを内蔵する、ユーザ３が口全体を一回で撮影することができスキャンする必要のない光学的印象ホルダーであってもよい。

装置１はまた、ユーザ３が装着する拡張現実メガネ５を備える。この拡張現実メガネ５は、二つの光学ガラス６および二つのステレオスコープ視覚化カメラ７を備える。結果として、ユーザ３は患者２の口８の自然な立体的ビジョン、従ってユーザが測定し診断しているゾーンの自然な立体的ビジョンを有することができる。ユーザ３がこの作業ゾーンを見ているとき、視覚化カメラ７は同一シーンを観察し、情報の読み取りを行い、そこから視覚化点群がつくられる。

ユーザ３の頭部が観察ゾーンに対して動くことができるように、拡張現実メガネ５には、光学ガラス６の近傍に、ユーザ３の観察軸（加速度計／ジャイロスコープ／３次元磁力計）を空間内で容易に追うことができる装置９が付加された。この付加は強制ではないが、ユーザ３が作業を続けるために自身の視線を作業ゾーンの外に移し次にそこに戻る必要があるとき、作業を大いに容易にする。

装置１はまた、光学的印象撮影カメラ４で撮った画像、および視覚化カメラ７で撮った画像を処理することができる中央装置１０を備える。

光学的印象撮影カメラ４によって得られた測定、および視覚化カメラ７によって得られた測定は、同一ゾーンに対応するが同一の精度を有していない二つのファイルを提供する。これらのファイルは、単純な電子光学的情報、あるいは、点群または面積もしくは体積モデリングですらある形態のデジタル表示のような、より洗練された情報であることがある。いずれにせよ、例えば点は歯の咬頭の頂点、またはそれらの溝の底部のような容易に同定できる基準ゾーンに位置しているので、これら二つのファイル間には共通値が存在する。これらの共通値（例えば基準ゾーン）によって、中央装置１０は二つのファイルの特異性を保存したまま、二つのファイルを一つに結合および／または重ね合わせることができる。

装置１はまた、照明システム１１を備え、それによって鏡状の強い反射を有する歯の３次元読み取りを容易にすることができる。照明システム１１は、例えば格子または他の模様の投影のような、活性および構造化された投影になり得る特定の光を放出する。構造化された光を使用せず、パッシブステレオスコープの原理（ＡＷＳまたはその他）、飛行時間のような技術、またはホログラフィ技術、もしくは光コヒーレンストモグラフィ（ＯＣＴ）のようなそれらの派生に基づく、光学的印象撮影カメラ４を使用することが可能であろう。

新規な視覚化装置１は、完全に普遍的で、口腔内の局所化されたあらゆる形態の測定に適用可能である。特定の点を探求する拡張現実メガネによって従来から使用されているアーキテクチャ技術とは異なり、本発明にかかる装置１は、二重の光学的印象（光学的印象撮影カメラ４から出力されたもの、および拡張現実メガネ５によって把持されている視覚化カメラ７によって（同時にまたは異なる時に）出力されたもの）を使用して、それらの精度に応じてそれらの質を向上させる、および／または置換する。

装置１はまた周辺機器を備え、それらの周辺機器は、例えば点群から構成される測定ファイルに、放射線または超音波情報、さらには２次元カメラ１２もしくは広角カメラ１３によって得られた口腔外容量分析情報のような（他の点群の）他の補足ファイルを結合させることができるように、中央装置１０に接続される。

ユーザ３はまた、これらのデータをエクスポートして、リモートスクリーン１４（彼の助手からも見える）または中央装置１０上に視覚化することができ、ユーザ３はメガネ５から独立した、またはこのメガネに固定されているマイク１５を通してコミュニケートすることができる。さらにこれらのデータを利用して、補綴を収容する歯のプレパレーションの際にユーザに媒介なしの環境をより良く理解させることができ、工作器具１６を介して作業中に迅速な加工を実施することができる。この加工は、除去（フライスによる従来の加工）によって、または付加（レーザ溶融または立体リソグラフィのような従来のものではない加工）によって実施される。

光学的印象ホルダーを使用する場合、歯槽弓全体が被覆され、臨床は使用される照明（連続的またはパルス性）で乱されることはないことは言うまでもない。

図２は、歯および歯茎を測定するために特有の照明（青を基調とした白光）を投影する照明システム１１と組み合されたパッシブステレオスコープ口腔内印象撮影カメラ４を備える本発明を図示している。ポータブルコンピュータの一部をなす中央装置１０は、強力かつ従来のものである。同じポータブルコンピュータが、助手によって使用可能なスクリーン１４を備えている。

図３には、本発明にかかる装置１の主要要素の配置が図示されている。すなわち、歯、歯茎、皮膚などを正確に読み取るための光学的印象撮影カメラ４（口腔内カメラまたは光学的印象ホルダー）と、ユーザ３が手術野を同一野で見ること（直接的ビジョン）および光学的印象撮影カメラ４によって実施される極めて正確なモデリング（その実施につれて徐々にディスプレイされる）を見ることを可能にする拡張現実メガネ５と、プログラムおよび記憶されたデータを収容する中央装置１０である。

図４は、拡張現実メガネ５によって撮影されたビューと光学的印象撮影カメラ４を用いて撮影されたビューとを対応させる様々な段階を図示したものである。

ユーザ３は、自身の拡張現実メガネ５の光学ガラス６を通して直接患者２の口８内の作業野を観察するが、このメガネ５に固定された二つの視覚化カメラ７は、第一の点群の読み取りを実行し、第一の点群は、中央装置１０が公知のおよび一般的だが歯科補綴を作製するには正確さが不十分な測定基準で表面全体をモデリングすることを可能にする（場合によっては、中央装置１０は立体映像の原理を使用する）。さらに視覚化カメラ７があると読み取りはより正確になり、読み取られる点の数は増大し、光学的印象撮影カメラ４から出力された画像との相関がより正確になる。

視覚化カメラ７が読み取りを終了すると、その時点でユーザ３は光学的印象撮影カメラ４を手に取り、歯、歯茎、または場合によっては皮膚の正確なスキャンを実行し、それによって近接しているが視覚化カメラ７を用いて得られたものよりも極めて正確な第二の点群が形成されるが、それは光学的印象撮影カメラ４が視覚化カメラ７より高い密度、したがってより高い精度を有するからである。光学的印象撮影カメラ４が米国特許第８５２０９２５号明細書に記載のような光学的印象ホルダーであるとき、読み取りはスキャンなしで実行される。

光学的印象撮影カメラ４による読み取りの間、中央装置１０は得られた二つの点群（二つの視覚化カメラ７から出力されたもの、およびスキャンされるにつれて光学的印象撮影カメラ４から出力されたもの）を認識し、相関させる。この二重モデリングは、拡張現実メガネ５の光学ガラス６上に出現する。ユーザ６は、もはやリモートスクリーン１４上でその作業を追う必要がない。ユーザは視覚化装置１によって、患者２の歯の上に直接、測定ゾーンおよびまだそうではないゾーンが作成されるのを見るであろう。

図５〜７は、これらの段階をより正確に図示している。図５は、ユーザ３および視覚化カメラ７が見る歯槽弓１７を図示しており、これらの視覚化カメラは歯槽弓１７の第一の点群の読み取りを実行する。対応するモデリングはここでは３次元であり、２次元または２．５次元でのビューは十分であろう。第一の点群の読み取りが終了すると、ユーザ３は光学的印象撮影カメラ４を手に取り、器官（歯、歯茎、皮膚）の正確な読み取りを実行し始め、歯槽弓１７の一部の口腔前庭ビューでの３次元の正確なモデリング１８が得られる（図６）。中央装置１０は、ユーザ３が装着している光学ガラス６内の二つの点群を対応させる。このユーザ３は、正確に測定されなければならない歯槽弓１７の全体についての正確なモデリング１８が、光学的印象撮影カメラ４を用いた作業の進行につれて置き換えられる、または重ね合わされるのを見る。したがって、図７に図示したように、歯槽弓１７の直接のビジョンは、測定されていないゾーン２０に対して、（正確なモデリング１８に対応する）測定されたゾーン１９の表示によって拡張され、それによってユーザは作業の進行を制御することができる。

拡張現実により、また光学的印象撮影カメラ４によって採集される情報の質に応じて、様々な補足情報を重ね合わせることができる。こうして光学的印象撮影カメラ４によって行われたビューの撮影の正確さの質は補足情報に組み合わされ（例えば質が不十分なときは赤色、完璧なときは緑色）、ユーザ３はカメラ４でのスキャンを続行するか、または質が不十分なゾーンに戻るかの選択を保持する。同様に補足情報は、特定のゾーンを示すかまたは実行すべき特定の行為を思い出させる特定の符号（例えば矢印）であることがある。

図８、９および１０によって、相関の実施を見ることができる。図８は、実際のモデル２１を図示している。図９は、光学的印象撮影カメラ４から出力された点群２２の、最後の二つの臼歯についての相関を図示している。図１０は、ワイヤーフレームモデリング２３からの相関を図示している。

本発明によると、ユーザ３は、（光学的印象撮影カメラ４によってもたらされる）極めて正確な光学的印象を有し、それは相関され、視覚化カメラ７によって提供される不明確なビューの質を向上させる。ユーザ３はしたがって、比較的不明確な現実の対象を見ながら、新規な仮想環境で完全に明瞭に作業することができ、光学的印象撮影カメラ４によってもたらされる高度な正確さを有することができる。

図１１は、歯科学の分野で、本発明の装置１に組み合わされる周辺機器によって提供される可能性の一部を図示している。

周辺機器（外部カメラ１２、１３、運動動的データセンサ２４、口８内に存在する色を検出することができる比色計２５、患者２の生理学的状態を分析する医学センサ２６、リアルタイムまたは時間差で到達する放射線データを分析する機器２７、遠隔診療ルートによって到達するかまたは中央装置１０内に記憶された外部データの接続を可能にする機器２８）から出力される全ての補足情報は、正確さに劣るがユーザ３が自身の作業野内で直接観察した直接のビジョンに相関される光学的印象撮影カメラ４によって高精度で得られる正確なモデリングに振り向けられる。

装置１の様々な構成要素間の接続２９が、長いケーブルによってまたは無線で（Ｗｉｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）実現されれば、ユーザ３の動作はいっそう自由になり、そのビジョンも直接的になる。接続２９がケーブルでなされる場合、好ましくは自動充電のＵＳＢ接続によって行われる。有利には、接続２９は無線でなされる。

ユーザ３は、光学的印象撮影カメラ４によって質が向上し、光学ガラス６を通して拡張現実で視覚化されたビューの変動時間内の動きを追って、静的および動的な補足情報を受け取ることができる。

図１２は、特に咬合運動についての動的補足情報の処理を図示している（咬合接触は上の歯と下の歯が接触するゾーンである）。

第一に、ユーザ３は光学的印象撮影カメラ４によって患者２の上顎、次に下顎の光学的印象撮影を行い、拡張現実メガネ５によって二つのビューを各々視覚化することができる。次にユーザ３は、患者２に臨床的に、静的に、治療に関して、または適宜、歯を咬合で締めるように要求し、それによって、再度光学的印象撮影カメラ４を手にして、咬合の前庭の正確な光学的印象撮影および咬合の視覚化を有する。それは、拡張現実メガネ５を通して観察される一般的なビューに置き換えられるか、または重ね合わされる。したがってユーザ３は、臨床咬合の臨床原則に応じて、患者の二つの歯槽弓をまとめたビューを有する。

ユーザ３は、時間内に上顎のモデルに対する下顎のモデルの移動を追うことができ、そのようにして、咬合接触を決定することができる。

ユーザ３が患者２の歯の間に圧力および圧力表面の測定手段（例えば圧力ゲージ）を置くと、患者が歯を噛み締めるときに、かかる圧力および咬合接触の各レベルに関係する面積の値が得られる。図１３は、モデリングされた歯槽弓３１に投影されたこれらの咬合接触３０のビューを図示している。これらの値はまた、患者２が歯を噛み締めるとき、光学的印象撮影カメラ４によって、極めて正確に（ほぼ数ミクロンで）測定される。

図１４は、ユーザ３が患者２に下顎を咬合運動に沿って移動させるように頼んだ後に得られた、いわゆる未熟な咬合接触３２の光学ガラス６上の表示を図示したものである。そこではまだ、視覚化装置１のユーザ３は、自身の視線を作業野の外に向ける必要もなく、これらの運動、および患者２の口内でのこれらの直接の接触３２（天然の歯上のメッキした接触）の出現を追うことができる。

ユーザ３が図１５に図示したような下顎分析装置３３を使用するとき、患者２の口内で直接下顎の運動を追い、咬合軌跡を有することができ、以前および以後の決定因子および接触の表示は、場合によっては補正を必要とする。点群またはモデリングについて時間／運動ファクタをリアルタイムに指標付け（ｉｎｄｅｘｅｒ）すれば十分である。また、ユーザ３が病理の進行または咬合の治療の分析をする目的で、後にこれらの運動を（歯上の溝または歯茎の構造のような共通点を基準とする相関を通して）観察することを望むとき、この時間／運動ファクタは中央装置１０によって異なる時間に使用される。

図１６に図示したように、ユーザ３は、歯の再現組織３４の受け座をプレパレーションする作業中に、患者２の生来の歯と一致する正確なモデリングに直接関係する部分的な表示を見ることができる。これらの表示は様々な形態であり得る（矢印、抜けた歯に対して着色された重ね書きなど）。特に、再現組織の形状および空間の基準が十分に尊重されているならば、ユーザ３は患者２の口８で直接制御することができる。本発明にかかる装置１によって、プレパレーション中の歯に（光学ガラス６を通して）、（光学的印象撮影カメラ４によって）極めて正確に、良好なプレパレーション３５になるはずのもの、あるいはブリッジまたはインプラント用の良好な対応軸３６を、この軸がリアルタイムで作業中であるもの３７に対して投影することができる。これによって、ユーザ３が作業を実行するにつれて、その作業を制御することが可能になる（例えばカラーで下線を引くなどの特有の見かけによって示されるまだ正確にカットされていない歯の部分に理想的なアーチを視覚化することができる）。

図１７に図示したように、歯のプレパレーションを実現した後に、患者２の歯槽弓に補綴の最終的なモデリング３８を（それを作製する前に）直接投影し視覚化することができる。そのようにして患者２の口８内に直接、補綴の外側面のモデリングを（表面形状または体積形状で）築き上げる。（拡張現実から出力されるモデリングおよび光学的印象撮影カメラ４で実施された測定に基づいて）補綴のモデリングされた形状に作用して、実際の補綴を患者２に審美学的、生理学的、解剖学的に完全に適合させることさえできる。

図１８に図示したように、ユーザ３は、モデリングされた補綴の選択された色と患者２の口８の器官の色との一致を作業ゾーンで直接見ることができる。

より正確には、モデリングされた補綴の色の決定工程は下記のようになり得る。第一段階で、無色の補綴の外側モデリングを作製し、光学ガラス６に投影する（必要であればユーザ３は、特に機能的、審美的および治療的基準に応じてモデリングされた補綴の形状を補正する）。第二段階では、ユーザ３は、（シェードガイドによって手動で、または比色計もしくは分光比色計タイプの機器によって、または口腔内カメラが適切なキャリブレーションによって色を演繹することができるカラー用またはモノクロ用電荷トランスファー装置（ＣＣＤ）を使用する時には口腔内カメラによって）天然の歯の色を分析し、その分析は、図１９に図示したように（例えば歯を歯の襟部、中央部および縁部に分割するなどした、歯３９のセグメント化によって）局所的に、または歯の表面全体で得られた平均色から全体的に実施される。第三段階では、ユーザ３は、選択した色に組み合わせたモデリングされた補綴の投影を要求する。最後の段階では、図１９に図示したようなバーチャルシェードガイド４０を使用して、ユーザ３は、モデリングされた補綴の色を表面全体で、または明確なゾーンで修正し、補綴の作製を開始する前に患者２の口８内に直接モデリングされた補綴を一体化して、これらの修正の結果を見ることができる（そのように、修正すべき暗いゾーン４１が図１８に現れている）。

色の位置についての精度は、補綴の形状の作製に必要とされる精度ほど重要ではないので、拡張現実メガネ５の視覚化カメラ７の精度は十分となり得る。

図２０に図示したように、本発明にかかる装置１は、患者２の顔４２の少なくとも一部分の画像を撮影することができる広視野カメラ（例えば口外カメラ）を備えることができる。中央装置１０は、微笑線、カンペル（Ｃａｍｐｅｒ）面または口角の位置４４のような、患者２の一般的な審美的構成要素を特に用いて、これらの顔画像を前記に記載したアプリケーション全体（例えば器官および補綴のモデリング４３）と相関させることができる（中央装置１０によって見出されるこれらの構成要素は、拡張現実メガネ５の光学ガラス６に表示されることができる）。患者２の一般的な審美的構成要素の位置分析は高い精度を必要とせず、分析は、普通の口腔外カメラのような光学的印象撮影カメラ４より単純で安価な周辺機器によって撮影される、２次元または２．５次元画像から実施され得る。

したがってユーザ３は、拡張現実メガネ５を通して患者２の顔で直接、将来できる補綴を審美的に洗練させることができる。

最後に中央装置１０は、遠隔診療ネットワークによって外部情報に接続され、したがって特定の専門知識（プレパレーション）を必要とする画像についてのリアルタイムの情報の表示、または教育センター内の助手もしくは生徒用のリモート内部ネットワークを制御することができる。

１ 視覚化装置
２ 患者
３ ユーザ
４ 光学的印象撮影カメラ
５ 拡張現実メガネ
６ 光学ガラス
７ 視覚化カメラ
１０ 中央装置
１１ 照明システム
１２ ２次元カメラ
１３ 広角カメラ
１４ リモートスクリーン
１５ マイク
１６ 工作器具
１７ 歯槽弓
２４ 運動動的データセンサ
２５ 比色計
２６ 医学センサ
３０ 咬合接触
３１ 歯槽弓
３３ 下顎分析装置

Claims (13)

1. 患者（２）の口（８）の内部の視覚化装置（１）であって、
   該装置（１）は、メガネ（５）のユーザ（３）が口（８）の内部を見ることができる光学ガラスを介したメガネ（５）と、口（８）の内部に位置する器官を撮影する口腔内カメラである光学的印象撮影カメラ（４）と、光学的印象撮影カメラで撮影した画像を光学ガラス（６）上に投影するのに適している中央装置（１０）とを備え、
   前記メガネ（５）は、ユーザ（３）が光学ガラス（６）を通して見るものを画像で撮影するのに適した視覚化カメラ（７）を含む、拡張現実メガネであることを特徴とし、
   前記中央装置（１０）は、
   −前記視覚化カメラ（７）からの第一の画像および前記光学的印象撮影カメラ（４）からの第二の画像に含まれる情報を測定すること、
   −第一の画像と第二の画像を相関させることにより、情報処理すること、
   −相関画像を前記光学ガラス（６）上に投影すること
   に適しており、
   第二の画像は、第一の画像に置き換えられるか、または重ねられて、測定されたゾーンの表示によって増大される直接のビューを可能にし、これにより、ユーザ（３）は作業の進行を監視することができることを特徴とする装置。
2. 光学的印象撮影カメラ（４）によって口（８）の器官の光学的印象撮影を可能にするのに適した照明システム（１１）を備えることを特徴とする、請求項１に記載の視覚化装置（１）。
3. 視覚化カメラ（７）で撮影した画像に対応する第一の画像の、光学的印象撮影カメラ（４）で撮影した画像に対応する第二の画像との相関は、第一の画像を対応する第二の画像に重ね合わせることによって実施されることを特徴とする、請求項１または２に記載の視覚化装置（１）。
4. 視覚化カメラ（７）で撮影した画像に対応する第一の画像の、光学的印象撮影カメラ（４）で撮影した画像に対応する第二の画像との相関は、第一の画像を対応する第二の画像によって置換することによって実施されることを特徴とする、請求項１または２に記載の視覚化装置（１）。
5. 視覚化カメラ（７）で撮影した画像および光学的印象撮影カメラ（４）で撮った画像を受け取り、記憶し、処理するのに適切な中央装置（１０）を備えることを特徴とする、請求項１〜４のいずれか一つに記載の視覚化装置（１）。
6. 中央装置（１０）は、光学的印象撮影の進行に応じて第一の画像を第二の画像に徐々に相関させるのに適していることを特徴とする、請求項５に記載の視覚化装置（１）。
7. 中央装置（１０）は、患者（２）に関する補足情報を光学ガラス（６）上に投影するのに適していることを特徴とする、請求項５または６に記載の視覚化装置（１）。
8. 患者（２）に関する補足情報は、歯科補綴の作製のために尊重すべきデータを含むことを特徴とする、請求項７に記載の視覚化装置（１）。
9. 中央装置（１０）に接続され、患者（２）に関する補足情報を獲得するのに適している少なくとも一つの周辺機器を備えることを特徴とする、請求項７または８に記載の視覚化装置（１）。
10. 周辺機器の一つによって、静的咬合および下顎の運動を獲得するか、または歯の色を獲得するか、または顔の形を獲得するか、または患者の生理学的データを獲得することが可能になることを特徴とする、請求項９に記載の視覚化装置（１）。
11. 周辺機器の一つによって、別の周辺機器によってあらかじめ撮影された患者（２）の口腔内画像を分析することが可能になることを特徴とする、請求項７〜１０のいずれか一つに記載の視覚化装置（１）。
12. ユーザ（３）からの制御命令を獲得しそれを中央装置（１０）に転送するのに適したマイクロホン（１５）を備えることを特徴とする、請求項５〜１１のいずれか一つに記載の視覚化装置（１）。
13. 光学的印象撮影カメラ（４）および拡張現実メガネ（５）から取り上げられる二つの要素の少なくとも一つが、加速度計、ジャイロスコープおよび磁力計の中から取り上げられる三つの測定機器のうち少なくとも一つを備えることを特徴とする、請求項１〜１２のいずれか一つに記載の視覚化装置（１）。
    

Images