JP6431535B2 - 歯牙表面撮像装置のためのビデオベースの自動取得 - Google Patents

Description

本開示は、全体として、構造化光を用いた診断撮像の分野に関し、より詳細には、歯牙及び他の構造物の表面を３次元的に撮像するためのフリンジパターン画像の自動取得方法に関する。

フリンジ投影撮像は、パターン化された光または構造化光を用いて、各種構造物の表面輪郭情報を取得する。フリンジ投影撮像では、複数の直線からなる干渉縞や格子のパターンを対象物の表面に向けて所定方向から投影する。次いで、その投影パターンを別の方向から輪郭画像として観察し、三角測量を利用してその輪郭線の様相に基づいた表面情報の分析を行う。位相シフトは、投影パターンを空間的に徐々にずらしてシフトさせることにより、新たな位置で追加測定を行うための画像を取得する。これは、フリンジ投影撮像の一部として利用されることが多く、表面の輪郭マッピングを完成させて、輪郭画像の全体的な解像度を向上させるために用いられる。

フリンジ投影撮像及び他のパターン化された光による撮像技術は、固体の、ほとんど光を通さない対象物の表面輪郭撮像に対して有効に用いられ、さらには、人体のある部分の表面輪郭を特徴付け、皮膚組織についての詳細なデータを取得するために用いられてきた。しかしながら、いくつかの技術的な障害により、パターン化された光による歯牙の撮像を効率的に用いることが面倒なものとなる。歯牙表面の撮像に関する１つの特定の課題は、歯牙の透光性に関するものである。一般に、透光性または半透光性の材料は、フリンジ投影撮像にとって特に厄介なものであることが知られている。透過構造物内の表面下散乱（ｓｕｂｓｕｒｆａｃｅ ｓｃａｔｔｅｒｉｎｇ）により、信号対雑音（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ：Ｓ／Ｎ）比が全体的に低下し、光の強度が変わることにより、高さデータが不正確となる可能性がある。別の課題は、様々な歯牙表面についての反射が高レベルであることに関するものである。高反射材料、特に中空の反射構造物では、上記種類の撮像においてダイナミックレンジが実質的に低下する可能性がある。

光学的な観点からすると、歯牙自体の構造により、フリンジ投影撮像においていくつかの課題がさらに提示される。先に述べたように、歯牙の表面下に透過する光は、透光性の歯牙材質内で大きく散乱される傾向がある。さらに、歯牙表面下の不透明な形体からの反射が生じる可能性もあるため、被検出信号を劣化させるノイズが加わり、それによって歯牙表面の分析作業が一層複雑になる。

歯牙輪郭撮像に使用可能なフリンジ投影を行うために試みられてきた１つの是正処置は、歯牙表面自体の反射特性を変化させる塗膜を塗布することである。ここで、歯牙が光を比較的通すことに起因する課題を補うために、従来の歯牙輪郭撮像システムのいくつかでは、表面輪郭撮像に先立ち、塗料または反射性粉末が歯牙表面に塗布される。フリンジ投影撮像のために、この追加ステップにより、歯牙の不透明度が上がり、先に述べた散乱光の影響が除去または抑制される。しかしながら、この種の手法には欠点がある。塗膜用の粉末または液体を塗布するステップにより、歯牙輪郭撮像プロセスの費用と時間が増す。塗膜層の厚みが歯牙表面全体にわたって均一ではないことが多いため、測定誤差が生じやすくなる。より重要なことに、塗布された塗膜は、輪郭撮像を容易する一方で、歯牙に関する他の問題を隠しやすくする傾向があり、従って、取得可能な情報の総量が少なくなる可能性がある。歯牙に対して塗膜または他の種類の表面調整を使用した場合でも、一方で、歯牙表面の輪郭が際立っていることによって結果が満足に得られない可能性がある。

歯牙構造を撮像する際の課題に対して構造化光による表面プロファイリング技術を適応させる試みがいくつかなされてきた。例えば、Ｍａｓｓｅｎ等に付与された「Ｏｐｔｉｃａｌ Ｐｒｏｂｅ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｕｒｖｅｙｉｎｇ ｏｆ Ｔｅｅｔｈ」と題する米国特許第５，３７２，５０２号には、ＬＣＤマトリックスを使用して歯牙表面に投影する縞のパターンを形成することが記載されている。同様の手法は、Ｏ’Ｋｅｅｆｅ等による「Ｆｒｏｎｔ Ｅｎｄ ｆｏｒ ３−Ｄ Ｉｍａｇｉｎｇ Ｃａｍｅｒａ」と題する米国特許出願公開第２００７／００８６７６２号に記載されている。Ｔｒｉｓｓｅｌに付与された「Ｐｏｌａｒｉｚｉｎｇ Ｍｕｌｔｉｐｌｅｘｅｒ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｉｎｔｒａ−Ｏｒａｌ Ｓｃａｎｎｉｎｇ」と題する米国特許第７，３１２，９２４号には、三角測量及び偏光を用いて歯牙表面をプロファイリングする方法が記載されているが、この方法では、蛍光塗料を塗布して施術することが求められる。同様に、Ｐｆｅｉｆｆｅｒ等に付与された「３−Ｄ Ｃａｍｅｒａ ｆｏｒ Ｒｅｃｏｒｄｉｎｇ Ｓｕｒｆａｃｅ Ｓｔｒｕｃｔｕｒｅｓ， ｉｎ Ｐａｒｔｉｃｕｌａｒ ｆｏｒ Ｄｅｎｔａｌ Ｐｕｒｐｏｓｅｓ」と題する米国特許第６，８８５，４６４号には、三角測量を用いた歯牙撮像装置が開示されているが、この装置でも、同様に不透明粉末を歯牙表面に塗布して撮像することが求められる。Ｐｆｅｉｆｆｅｒ等に付与された米国特許第６，８８５，４６４号には、光線群を投射して撮像を行う口腔内カメラが記載されている。Ｌｉｍによる特許出願ＷＯ２０１１／１４５７９９には、走査レーザー光を用いた３次元スキャナが記載されている。

歯牙の輪郭撮像を行うのに適した撮像装置の設計及び開発を妨げてきた難題の１つは、パターン化された光を用いるときに空間的な位置合わせを正確かつ精密に行う必要があることである。これにより、患者の口内の所望の位置にカメラを位置付けることや、パターン化された光の１つまたは複数の画像を取得するのに必要とされる期間中、所望の位置でカメラを静止したままにすることに関するロジスティックな問題に対処することが求められる。場合によっては、歯牙とカメラとが互いに対して同じ定位置にある状態で２つ以上の静止画像を取得する必要がある。

従って、表面輪郭を特徴付けるために口腔内カメラを用いて静止画像を取得する方法を改良する必要があることが分かる。

表面輪郭を特徴付ける歯牙撮像の技術を促進することが本発明の目的である。本発明は、カメラの相対移動及び撮像された歯牙を検出するためにビデオ画像フレームからの情報を使用し、この検出に基づいて輪郭画像の取得を開始できることを特徴とする。

本発明の装置及び方法によって提供される利点の中には、カメラの構成要素を追加せずとも画像取得を自動化して輪郭撮像を行えること、及び歯牙表面の撮像が改善されることがある。

これらの対象は、例示的な実施例によってのみ与えられ、かかる対象は、本発明の１つ以上の実施形態の例示であり得る。開示された方法によって本質的に実現される他の望ましい目的及び利点は、当業者にとって想起され、または明らかとなり得る。本発明は、添付された特許請求の範囲によって定められる。

本開示の一態様によれば、歯牙の輪郭画像の取得方法が提供される。この方法は、少なくとも部分的にはコンピュータによって実行され、口腔内カメラの移動を、
（ｉ）歯牙を含む第１のビデオ画像フレームを取り込み、第１のビデオ画像フレームを処理して、第１のビデオ画像フレーム内で歯牙の１つ以上のエッジを検出すること、
（ｉｉ）歯牙を含む第２のビデオ画像フレームを取り込み、第２のビデオ画像フレームを処理して、第２のビデオ画像フレーム内で歯牙の１つ以上のエッジを検出すること、
（ｉｉｉ）処理された第１のビデオ画像フレームと処理された第２のビデオ画像フレームとの間で対応するエッジ位置を比較すること、によって検出し、検出されたカメラ移動に応じて、フリンジパターン照明を口腔内カメラから歯牙に投影し、フリンジパターンの１つ以上の静止画像を取得及び記憶すること、を含む。

本発明の前述及び他の目的、特徴及び利点は、添付図面に示されるように、本発明の実施形態の以下のより詳細な説明から明らかとなるであろう。

各図面の要素は、互いに対して必ずしも縮尺通りとは限らない。基本的な構造関係または動作原理を強調するために、多少の誇張が必要となることがある。例えば、電力の供給、パッケージ化、並びにシステム光学系の実装及び保護に用いられる補助構成要素などの、記載された実施形態の実装に必要となる従来の構成要素のいくつかは、説明を簡単にするために図面には示されていない。

歯牙の輪郭撮像を行う口腔内撮像装置を示す図である。 ビデオ撮像と輪郭撮像の機能を備えた口腔内カメラを示す斜視図である。 口腔内カメラ、及び口腔内撮像装置の関連構成要素との相互接続を示す斜視図である。 輪郭撮像の手動モードまたは自動モードを操作者が選択する様子を示す図である。 輪郭撮像の手動モードまたは自動モードを操作者が選択する様子を示す図である。 口腔内カメラを用いて歯牙の輪郭撮像用のフリンジパターンを取得する様子を示す図である。 投影パターンを示す平面図である。 歯牙のモデル上の投影パターンを示す図である。 フリンジパターンの結果を用いて計算された例示的な歯牙表面を示す図である。 ビデオ撮像と輪郭撮像を行う撮像装置の構成要素を示す概略ブロック図である。 口腔内カメラ動作の手動モード及び自動モードの各ステップを示すロジックフロー図である。 本開示の実施形態に係る自動動き検出及びフリンジパターン画像取得を示すロジックフロー図である。 ビデオ画像の内容を処理して構造化光画像の取得を支援する際に用いられる機能要素を示すフロー図である。 カメラ移動を判定するための各機能要素の関係を示す図である。 フィルタリング後の例示的な歯牙画像を示す図である。 フィルタリング後の歯牙画像から生成された例示的なエッジマップを示す図である。 エッジマップを比較して移動の判定を行う際のタイミング関係を示す図である。

本出願は、Ｙｉｎｇｑｉａｎ Ｗｕ等の名において、２０１３年７月１２日に仮出願された、「ＡＮ ＡＰＰＡＲＡＴＵＳ ＯＦ ＶＩＤＥＯ−ＢＡＳＥＤ ＡＵＴＯ−ＣＡＰＴＵＲＥ ＦＯＲ ＩＮＴＲＡ−ＯＲＡＬ ＣＡＭＥＲＡ」と題する米国仮出願第６１／８４５，４４０号の利点を主張するものであり、ここに本明細書の一部を構成するものとしてその全体を援用する。

以下は、好ましい実施形態の詳細な説明であり、図面を参照するが、ここで同じ参照番号は、いくつかの図面のそれぞれの構造における同一要素を特定する。

本開示の文脈でこれらの要素が使用される場合、用語「第１の」、「第２の」などは、特に指定のない限り、任意の順序関係、前後関係または優先関係を必ずしも表すものではなく、単に、あるステップ、要素または一式の要素を別のステップ、要素または一式の要素からより明確に区別するために使用される。

本明細書で使用する場合、用語「通電可能な」は、電力を受け取ると、さらには必要に応じて、イネーブル信号を受け取ると、指定された機能を実行する装置または一連の構成要素に関する。

本開示の文脈では、用語「フリンジパターン照明」は、歯牙形状を特徴付けるフリンジ投影撮像または「輪郭」撮像に使用される構造化照明の種類を説明するために用いられる。フリンジパターン自体は、パターン化された光の特徴として、１つ以上の直線、円、曲線または他の幾何学的形状を含むことができる。これらの形状は、照明先の領域にわたって分散されており、所定の時空間周波数を有する。輪郭撮像に広く使用されているフリンジパターンの１つの例示的な種類は、対象表面に投影された光を均等に離間して複数の直線としたパターンである。

本開示の文脈では、用語「構造化光画像」と「輪郭画像」とは同等であるとみなされ、歯牙輪郭の特徴付けに使用される光パターンを投影している間に取得された画像を指す。

構造化照明のパターンにおける２本の光、１本の光の各部分、または他の形状は、これらの線幅がその線の長さにわたって変わらず、せいぜい±１５％以内に留まっている場合、実質的には「寸法的に均等」であるとみなすことができる。後により詳細に説明するように、構造化照明のパターンの寸法均一性を利用して、空間周波数を均一に保つ。

本開示の文脈では、用語「光学系」は概して、光ビームの整形に使用されるレンズ並びに他の屈折性、回折性及び反射性要素を指すために用いられる。

本開示の文脈では、用語「観察者」、「操作者」及び「利用者」は同等であるとみなされ、観察中の施術者、技術者、または歯牙画像などの表示モニタ上の画像を観察及び操作する他の人物を指す。「操作者の指示」または「観察者の指示」は、カメラに設けられたボタンをクリックし、またはコンピュータのマウスを使用し、またはタッチスクリーンもしくはキーボードから入力するなどして、観察者によって入力された明示的なコマンドから得られる。

本開示の文脈では、「信号通信で」という表現は、２つ以上の装置及び／または構成要素が、何らかの種類の信号経路上を伝わる信号によって相互に通信可能であることを指す。信号通信は有線でもよく、または無線でもよい。この信号は、通信信号、電力信号、データ信号またはエネルギー信号であってよい。信号経路には、第１の装置及び／または構成要素と第２の装置及び／または構成要素との間の物理的接続、電気的接続、磁気的接続、電磁的接続、光学的接続、有線接続及び／または無線接続が含まれ得る。信号経路には、第１の装置及び／または構成要素と第２の装置及び／または構成要素との間に、別の装置及び／または構成要素も含まれ得る。

背景技術の欄において先に述べたように、フリンジ投影撮像に対する従来の手法では、画像取得を行っている施術者による移動に起因して、または患者による移動に起因して、歯牙組織を特徴付ける結果が満足に得られないことが多い。本開示の文脈では、撮像中の１本または複数の歯牙に対するカメラの相対移動を、簡単のために「カメラ移動」と称するが、「カメラ移動」という表現は、カメラと撮像対象物との間の相対移動を指すことが理解される。このようなカメラの相対移動は、場合によっては、カメラの移動が原因ではなく、患者の、従って対象歯牙の移動によって生じる可能性がある。カメラが静止または固定のときには、カメラが移動していないと考えられる。後に説明するように、閾値を算出して、認識されたカメラ移動が所定の許容範囲または閾値を超えたか否かの判定を行うようにする。実際には、カメラが静止または固定のときには、歯牙の構造化光画像を取得することができ、歯牙形状の輪郭撮像をコンピュータによって求めることができる。

本発明の装置及び方法は、カメラ移動の検出という課題に対処し、撮像された歯牙とカメラとの相対位置が実質的に不変であると判定され得るときに、自動化された画像取得を可能とする例示的な方法を提供する。本開示の実施形態は、後により詳細に説明するように、ビデオ画像と静止画像の両方を取得するように構成された口腔内カメラのカメラ移動を検出するという課題に対処する。

図１Ａを参照すると、１本以上の歯牙２０のビデオ撮像と輪郭撮像を行う口腔内撮像装置１０が示されている。この口腔内撮像装置は、プローブ形態口腔内カメラ１８を備える。口腔内カメラ１８は、有線または無線のデータ通信チャネルを介して、投影されたフリンジパターンから画像を取得するコンピュータ４０と通信する。コンピュータ４０は、その画像を処理して出力画像データを提供する。この出力画像データは、データファイルとして記憶し、ディスプレイ４２に表示することができる。

図１Ｃの斜視図は、携帯用途向けに設計され、ビデオ撮像と輪郭撮像の機能を有する口腔内カメラ１８を示す。図示された実施形態では、カメラ１８は、電源ケーブルＣ２との接続を伴うデータケーブルＣ１を備える。データケーブルＣ１は、画像処理機能、記憶機能及び表示機能を実施するためのコンピュータ４０に接続する。

図１Ｄ及び１Ｅは、省略可能なスイッチ１６を操作者が選択する様子を示している。このスイッチは、輪郭撮像の手動モードまたは自動モードを選択できるように操作可能である。自動モードでは、操作者から特別な指示がなくても、口腔内カメラは構造化光画像を連続的に取得する。手動モードでは、操作者は、輪郭画像を取得する度に指示を出す。さもなければ、構造化光の照射と取得が開始されない。

図２Ａに示すように、カメラ１８は投影装置を備える。この投影装置は、挿入図Ｂに示すように、歯牙２０の表面に沿って複数の直線５８または他の形状からなる放射パターン５４を走査する。次いで、カメラ１８は、その走査中に画像を定期的に取得する。これは、１つ以上の画像を取得してそれらを組み合わせることにより、歯牙表面に関する輪郭情報を提示できるようにするためである。本開示の輪郭撮像の構成要素をカメラに組み込むことができるが、このカメラは、反射率画像を用いた標準的なビデオ撮像、または蛍光撮像などの他の種類の撮像も提供する。

図２Ｂに示した、均等に離間された光の平行線８４からなるパターンなどの走査パターンは、いくつかの方法のいずれによっても生成することができる。本開示の実施形態によれば、パターン５４は、１つのレーザーダイオードからの光ビームを２次元表面の一部にわたって走査することによって形成される。ある走査によって光の点が長さＬの方向に移動し、別の走査により、次の走査線のために光源の位置が幅間隔ｗだけ増加する。この幅間隔ｗは、長さＬと直交している。この走査は連続的に行うことができ、カメラ１８が通電されている限り提供されるが、操作者によって指示されたとき、または撮像システムによって自動的に開始されたときにのみ、走査パターンが取得される。本開示の代替的実施形態によれば、操作者のコマンド入力によって開始された場合でも、カメラ移動が停止したときのみ、上記走査を発生させ、その取得が行われる。可視光を用いて走査する場合には、走査光の分光特性をビデオ画像内で認識できるようにしてもよい。本開示の代替的実施形態によれば、可視域外の光を用いて輪郭走査を行う。走査された各直線からなる図２Ｂのパターンなどの、走査されたパターンの完全なパターンを特定の歯牙について取得するために、１つ以上の画像を取得して組み合わせることが必要な場合がある。

必要とされる走査パターンの各画像が一旦取り込まれると、表面撮像技術の当業者にとって周知の計算技法を用いて輪郭画像を形成することができる。図２Ｃは、各直線８４からなる、歯牙２０のモデル上の投影パターン５４を示す。一例として、図２Ｄは、光の平行線からなるパターンを用いて形成された輪郭画像９２を示す。

図３の概略ブロック図を参照すると、構造化光照明を用いて表面輪郭情報を歯牙２０から取得する口腔内撮像装置１０の実施形態がより詳細に示されている。カメラ１８では、フリンジパターン発生装置１２を通電して、フリンジパターン照明となる構造化光を形成し、照射経路８６に沿ったビーム方向を有する、歯牙２０に向かう入射光としてこのように形成された構造化光を投影する。フリンジパターン照明は、レーザー由来のものであってよく、コヒーレント光からなる狭ビームを提供するのに有利となる。レーザーは、レーザーダイオードであってよい。あるいは、フリンジパターン照明は、マイクロミラーアレイ、液晶デバイス（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｅｖｉｃｅ：ＬＣＤ）または他の光変調器などの空間光変調器を用いて、発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ：ＬＥＤ）または他の固体状態光源から到来する。パターン化された光は、歯牙２０の表面に沿って走査される。歯牙２０から反射及び散乱された光は、撮像レンズ２２を通って検出器３０に入射される。検出器３０は、検出経路８８に沿って撮像レンズ２２の像平面に配置されている。検出器３０を使用して、ビデオ画像と構造化光画像の両方を取得することができる。制御ロジックプロセッサ３４は、検出器３０からフィードバック情報を受け取り、このデータ及び他のデータに応答して、後により詳しく説明するように、投影される画像の位置を変えたり定期的に画像を取得したりするといったパターン発生器１２の動作を行わせるように操作可能である。

図３に示した本開示の実施形態では、パターン発生器１２と照明源９４とは、照明経路８６に沿って実質的に平行な出力軸を有する。後により詳しく説明するように、省略可能な操作者用スイッチ１６によってモード設定を行うことにより、手動または自動に調節できるようになっている。

フリンジ投影撮像を行うための制御ロジックプロセッサ３４の機能には、フリンジ発生器１２からのフリンジパターンの生成を制御すること、及び検出器３０を作動させて輪郭撮像用に適切なタイミングで画像を取得することが含まれる。制御ロジックプロセッサ３４は、プログラムされた命令を実行するコンピュータ、マイクロプロセッサまたは他の専用ロジック処理装置とすることができる。制御ロジックプロセッサ３４は、ディスプレイ４２を備えたコンピュータ４０と信号通信を行う。コンピュータ４０は、歯牙２０についてのビデオ及び輪郭画像の内容を表示するディスプレイ４２と信号通信を行う。

コンピュータ４０は、検出器３０及び制御ロジックプロセッサ３４で得られたデータを利用して歯牙２０の表面輪郭及び形状を表示する画像を提供する画像処理機能の少なくともある一部を実行してもよい。様々な制御ロジック機能及び撮像機能を制御ロジックプロセッサ３４またはコンピュータ４０のいずれかによって実行することができ、またはこれらの制御ロジック装置間で共有できることに留意すべきである。例えば、コンピュータ４０は、画像解析機能を実行して移動検出を行い、フリンジ投影撮像を続けることができるか否かを示す１つまたは複数の移動信号を提供するようにしてもよい。別のコンピュータ装置を代替的に使用して、輪郭の分析及び表示を行うための様々な計算機能に対応させることができる。

図４のロジックフロー図は、口腔内カメラの輪郭撮像動作における手動モード及び自動モードの各動作ステップを示す。選択ステップＳ１００では、操作者は、輪郭画像を取得する際のモードを決定するモード選択を行う。図３のブロック図に戻って参照すると、スイッチ１６の使用時にモード選択を行ってもよい。操作者は、手動モードまたは自動モードのいずれかを選択する。手動モード、位置決めステップＳ１１０では、操作者は、画像の取り込み対象となる１本の歯牙（または複数の歯牙）の近くに口腔内カメラを位置付ける。取得開始ステップＳ１２０では、操作者は、口腔内カメラに設けられたボタンまたはつまみをクリックするなどして、輪郭画像を取得する指示を入力する。これに応答して、口腔内カメラは、投影ステップＳ１３０を実行して構造化光パターンを歯牙表面上に投影し、次いで、取得ステップＳ１４０を実行して投影パターンの画像を取り込む。操作者は、再配置ステップＳ１５０において、口腔内カメラを再配置することにより、現在の対象歯牙について、または別の歯牙について別の画像を取り込むシーケンスを繰り返す。ステップＳ１２０、Ｓ１３０、Ｓ１４０及びＳ１５０は、必要に応じて繰り返される。

図４の右側は、自動モード用の代替的な動作シーケンスを示す。位置決めステップＳ２１０は、操作者が口腔内カメラを位置付ける際に実行される。位置決めステップＳ２１０を行っている間、ビデオ画像が連続的に取り込まれて表示される。例えば、後により詳しく説明するように、（例えば、直近の、かつ／または順次の）２つの連続するビデオ画像フレームをフレーム比較ステップＳ２２０で比較して、カメラ移動の相対量を求める。制御ロジックプロセッサ３４、あるいはコンピュータ４０（図３）からの移動信号に応じて、１本または複数の対象歯牙に対して固定の位置に口腔内カメラが静止していることが確認されると、動作が進行する。投影ステップＳ２３０で構造化光パターンを投影し、取得ステップＳ２４０でその画像を直ちに取得する。画像の取り込みを続けて輪郭撮像を行うために、再配置ステップＳ２５０を実行する。ここで操作者は、口腔内カメラを移動させて、現在の対象歯牙の代わりの位置に、または別の１本もしくは複数の歯牙に位置付ける。ステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０及びＳ２５０は、必要に応じて繰り返される。

構造化光パターンは、一連の輪郭画像を含むことができる。これらの画像では、対象歯牙の一部について口腔内カメラの１つの位置から得られたフリンジパターン照明が異なっている。例えば、一連の輪郭画像を使用して、この一連の輪郭画像に対応する対象歯牙の一部の１つの３次元表示を生成することができる。一実施形態では、口腔内カメラが静止している間に一連の輪郭画像を全て取り込むことができ（例えば、ステップＳ２２０の動作）、または歯牙の一部の１つの３次元表示が好ましくは生成されない。一実施形態では、歯牙の一部の１つの３次元表示を複数使用して、図２Ｄに示した例示的な歯牙表面を生成する。

図４を参照すると、ステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０及びＳ２５０の自動モードは、輪郭撮像を正確に行うための位置において、ビデオ画像データを使用して口腔内カメラが十分静止しているか否かを判定する。図５のロジックフロー図は、本開示の実施形態に従って、自動動き検出及びフリンジパターン画像取得を自動モードで行うための例示的なデータ処理ステップを示す。ビデオ画像取得ステップＳ３００では、口腔内カメラは、第１のビデオフレームを取り込む。歯牙のエッジは、エッジ検出ステップＳ３１０で検出される。第２のビデオ画像取得ステップＳ３２０では、後続のビデオフレーム（例えば、次のビデオフレーム）を取り込む。この第２のビデオフレームにおける歯牙のエッジは、エッジ検出ステップＳ３３０で検出される。次いで、比較ステップＳ３４０は、第１のビデオ画像フレームと第２のビデオ画像フレームとの間で対応するエッジ位置を比較する。判定ステップＳ３５０では、この比較により、口腔内カメラが移動しているか否かが判定される。過度のカメラ移動があると、その後のステップにおいて輪郭画像の投影及び取得が妨げられる可能性がある。過度の移動があるときには、動作をステップＳ３００に戻して画像の取り込みと評価を繰り返す。これに対して、比較ステップＳ３４０によって口腔内カメラが実質的に静止位置にあると示された場合、判定ステップＳ３５０は、構造化光パターンを対象歯牙上に投影する投影ステップＳ３６０の実行用にこの結果を出力する。取得ステップＳ３７０は、投影された構造化光パターンの１つ以上の画像を取得する。その画像は、必要に応じて表示ステップＳ３９０で表示される。次いで、輪郭画像生成ステップＳ３８０は、取得されたフリンジパターン画像を用いて歯牙の輪郭画像を形成する。この輪郭画像は、表示ステップＳ３９０で表示される。

本開示の代替的実施形態によれば、自動モードの画像取得は、カメラ１８の操作者との何らかの対話をさらに伴う。ステップＳ２２０において有意なカメラ移動がないことが第１のビデオ画像フレーム及び第２のビデオ画像フレームによって示された場合、パターン投影及び画像取得を行うように操作者が指示することができ、それによってパターン投影ステップＳ２３０及び取得ステップＳ２４０が実行される。操作者がボタンを押下すると、画像取得が行われる。しかしながら、カメラ１８の移動が大きすぎる場合には、認識されたカメラ移動が少なくなって所定の閾値を下回るまで、ステップＳ２３０とステップＳ２４０の一方または両方を動作不可能にしてもよい。

一実施形態では、投影ステップＳ３６０での構造化光パターンは、取得ステップＳ３７０で取得される一連の輪郭画像（例えば４つ、８つまたはそれ以上）を含むことができる。これらの画像では、歯牙または対象（例えば、または対象歯牙の一部）の１つの方向から得られたフリンジパターン照明が一定であり、または異なっている。例えば、一連の輪郭画像を使用することにより、輪郭画像生成ステップＳ３８０では、この一連の輪郭画像に対応する対象歯牙の一部の１つの３次元表示を生成することができる。なお、これらの輪郭画像は、表示ステップＳ３９０で表示することができる。一実施形態では、取得された一連の輪郭画像の全てまたは１つ以上を表示ステップＳ３９０で表示することができる。一実施形態では、１本の歯牙（または複数の歯牙）の一部の１つの３次元表示を複数使用して、図２Ｄに示した、かかる例示的な歯牙表面を生成する。

図５に関して説明した技術を用いた動き検出は、比較対象の第１のビデオ画像フレームと第２のビデオ画像フレームとが時間的に隣接しているとき、すなわち、第２のビデオ画像フレームが第１のビデオ画像フレームの直後に取得されたときに最適に動作することに留意すべきである。あるいは、第２のビデオフレームは、第１のビデオ画像フレームの少なくともせいぜい３つのビデオフレーム以内とすることができる。

口腔内カメラ１８の位置が変化すると、輪郭の特徴付けを行うのに必要とされる（１つまたは複数の）フリンジ投影画像の（１つまたは複数の）相対位置も変化し得る。カメラ１８のソフトウェアは、移動の方向及び大きさに応じて位置変化を検出し、投影されるフリンジパターン照明の位置をシフトしてその後の画像取得を行うことにより、検出された位置変化の量をある程度補償するようにしてもよい。検出された位置変化に応じて空間的な位置変化を測定する技術及び投影される光パターンの位置を調節する方法は、輪郭撮像技術の当業者にとって知られている。例えば、この課題に対し、画像変形に常套的に使用される技術を適用することができる。

図６のロジックフロー図は、口腔内カメラ１８に対応するソフトウェアの機能要素を示す。ここでは、ビデオ画像の内容を処理する際にこれらの機能要素を使用して、構造化光画像の取得を支援する。イベント検出部６０では、シーン変化検出部６２が、ビデオフレームをサンプリングし、サンプリングされたビデオフレームを処理してエッジを検出し、当該ビデオフレームとその直前のビデオフレームとを比較して、口腔内カメラが静止しているか、それとも移動しているかを判定する。結果は、処理済みの各フレームを記憶するイベントバッファ管理部６４と、静止状態または移動状態を指示するイベント発生部６６とに送られる。動作発生部６８は、ソフトウェアロジックの現在の状態に基づき、１つ以上の最終動作指示を生成する。動作バッファ管理部７０は、輪郭撮像の取り込みに関する情報を記録する。

図７は、イベント検出部６０の構成要素をさらに詳しく示す。前処理部７２では、より低い解像度にスケーリングするなどして、より効率良く処理できるように各入力ビデオフレームのフィルタリング及びサイズ変更を行う。次いで、エッジ抽出部７４は、スケーリングされ、加工されたビデオフレームを処理してエッジを検出する。エッジ検出は、画像処理技術においてよく知られているが、例えば、エッジの細部を強調するいくつかのデジタルフィルタのいずれを用いてもよい。エッジ検出に対するアルゴリズム手法の中には、例えば、いわゆるキャニー・エッジ検出（Ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ）、ガボールフィルタ（Ｇａｂｏｒ ｆｉｌｔｅｒ）及び微分幾何学を用いて画像の勾配を分析及び処理する様々な方法がある。本開示の実施形態によれば、ガウシアン空間フィルタリング（Ｇａｕｓｓｉａｎ ｓｐａｔｉａｌ ｆｉｌｔｅｒｉｎｇ）の２次元偏差を用いることにより、各画像フレームについて２値エッジマップを得ることができる。

図７に示した処理を継続すると、次いで、チャンファーマッチング（ｃｈａｍｆｅｒ ｍａｔｃｈｉｎｇ）プロセス７８は、カメラ移動を推定するために、各画像と、エッジマップバッファ管理部７６から得られたその直前の画像とについてエッジ検出を比較する。次いで、時間フィルタリング／判定プロセス８０は、口腔内カメラの位置が静止しているかどうか、またはカメラ移動を認識できるかどうかを判定する。時間フィルタリングには、例えば、無限インパルス応答（ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ：ＩＩＲ）フィルタが用いられてもよい。

図８Ａは、前処理及びエッジ検出を行う前の、フィルタリング後の例示的な歯牙画像５６を示す。図８Ｂは、フィルタリング後の歯牙画像から生成された例示的なエッジマップ５２を示す。

チャンファーマッチングは、画像間のエッジ相関を計測するための技術としてよく知られている。同一対象物について２つのエッジ画像を与えると、チャンファーマッチングは、様々な技術を用いて、それぞれのエッジマップ間で最良の位置関係を探し出す。エッジの位置合わせを効率的かつロバストに行うチャンファーマッチングは、基準画像とテスト画像とにおける２組のエッジ点間の一般化距離を縮小または最小化する。チャンファーマッチングに関する言及は、「Ｆａｓｔ Ｄｉｒｅｃｔｉｏｎａｌ Ｃｈａｍｆｅｒ Ｍａｔｃｈｉｎｇ」と題する論文、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ’１０）、Ｓａｎ Ｆｒａｎｃｉｓｃｏ、Ｃａｌｉｆｏｒｎｉａ ２０１０年６月、１６９６〜１７０３ページにおいて、Ｍｉｎｇ−Ｙｕ Ｌｉｕ、Ｏｎｃｅｌ Ｔｕｚｅｌ、Ａｓｈｏｋ Ｖｅｅｒａｒａｇｈａｖａｎ及びＲａｍａ Ｃｈｅｌｌａｐｐａによって与えられている。

図９に与えられた差分マップ９６並びに関連グラフ９８及び１００の整列されたグラフ部分は、エッジマップを比較して移動を判定する際のタイミング関係を示す。このグラフは、３００を超える連続ビデオフレームのサンプリングを用いた実施例についてのエッジ検出及び関連処理を示す。この処理では、現在のビデオフレームとその直前のビデオフレームとが比較される。本開示の実施形態によれば、差分マップ９６は、識別可能な各エッジ形状における対応画素間の、または隣接する各画像における形状間の平均ユークリッド距離の差分を表す。この距離が所定の閾値Ｔ１を超えると、過度のカメラ移動があることが示されるが、それにより、平均距離が低下して閾値Ｔ１を下回るまで輪郭画像の投影及び取得が停止される。曲線中の高いスパイクは、連続フレーム間の差分が大きいことを表す。これは、健康な歯牙の場所でカメラの高速移動が生じていることを意味する。現在のフレームのチャンファーマッチングに対してＩＩＲフィルタにより時間フィルタリングを行った後で、グラフ９８に示すように、フィルタリング後のチャンファーマッチング値を所定の閾値と比較して２値判定を生成する。そのマッチング値が当該閾値を超えていた場合には「移動中」と判定し、さもなければ「静止」と判定する。現在のフレームに対する判定は、それまでのＮ個のフレームに対する判定に加算される。十分なフレームが「移動中」を生成した場合、現在のフレームに割り当てられる最終イベントは、「イベント−移動中」となり、さもなければ、割り当てられる最終イベントは、「イベント−静止」となる。

グラフ９８は、例えば、イベントＥ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５及びＥ６として、差分マップ９６の差分アクティビティ（ｄｉｆｆｅｒｅｎｃｅ ａｃｔｉｖｉｔｙ）を２値表現に変換する。従って、閾値Ｔ２におけるこれらのイベントの値は、有効なカメラ移動の期間を示す。グラフ９８の値がゼロのときには、口腔内カメラの位置が静止していると考えられるため、輪郭撮像が可能になる。このイベント遷移をグラフ１００に示す。このグラフは、例えば、最終動作Ａ１、Ａ２、Ａ３、Ａ４、Ａ５及びＡ６を示す。各最終動作は、差分マップ９６及びグラフ９８に反映された関連計算結果に基づき、画像取得を行うことができる時刻を示す。

現在のフレームの最終イベントは、動作生成部６８、すなわち、現在のイベントとそれまでの各イベントとを組み合わせて画像を取得するか否かを決定するプロセスに入力される。「イベント−静止」イベントの場合、カメラが静止した状態を示しているため、「取得動作」が生成される。十分な数の連続フレームが「取得動作」を出力すると、現在のフレームに対して「取得動作」が最終的に出力される。次いで、口腔内カメラを作動させて輪郭画像を投影及び取得する。加えて、それまでの「取得動作」が正常な取得を生成していない場合、他の追加「取得動作」コマンドが出力される。記憶される取得動作イベントの数及び関連する画像処理パラメータは、口腔内カメラに対して予め定められているが、あるいは、撮像状況または操作者の好みに応じて異なってもよい。

本開示の代替的実施形態によれば、画像取得シーケンスは、走査撮像シーケンス中に患者の移動を検出するロジックを含む。移動検出は、例えば、撮像サイクル中に同一の画像内容の投影及び取得を繰り返すことなどの、いくつかの方法によって行うことができる。

投影パターン５４の取り込み後の画像に基づき、次いで、コンピュータ４０は、図２Ｄの実施例に示すように、歯牙の輪郭情報を生成する。

本明細書で説明された実施形態の検出器３０は、いくつかの種類の画像センシングアレイのいずれかとすることができる。検出器３０は、例えば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像センサまたはＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサとすることができる。口腔内カメラの光学系は、投影経路または検出経路中にフィルタ、偏光子及び他の構成要素も含むことができる。

本発明の一実施形態では、撮像装置は、携帯プローブの形態にパッケージ化される。このプローブは、ほとんどまたは全く不快感を与えることなく患者の口内に容易に位置付けることができる。

本発明の装置及び方法を用いて取得された表面輪郭画像は、いくつかの方法によって処理及び使用することができる。輪郭データは、表示することができ、修復構造を加工及び生成するシステムに入力することができる。または、輪郭データは、歯科用器具のラボ技術者または他の製作者の作業を検証するために使用することができる。この方法は、ある条件下で印象を採る必要性が少なくなる、またはなくなるシステムまたは処置の一部として使用することができ、歯科治療にかかる全体的な費用を抑制する。従って、この方法及び装置を用いて行われる撮像により、歯科医による調整またはフィッティングをほとんどまたは全く行う必要のない優れたフィット感の補綴具を実現するのに役立てることができる。別の態様からすると、本発明の装置及び方法は、歯牙、支持構造及び咬合状態を長期的に追跡するために用いることができ、より深刻な健康上の問題を診断及び回避するのに役立つ。全体として、このシステムを用いて生成されたデータを利用することにより、患者と歯科医とのコミュニケーション、並びに歯科医、スタッフ及びラボ施設の間のコミュニケーションを改善するのに役立てることができる。

有利には、本発明の装置及び方法は、特別な粉末を使用することも他の一時的な塗料を歯牙表面に塗布することも必要とせずに、歯牙及び他の歯牙形状の３次元撮像を行う口腔内撮像システムを提供する。このシステムは、一実施形態では、２５〜５０μｍの範囲で高解像度を提供する。

本発明の一実施形態に適合して、コンピュータプログラムは、電子メモリからアクセスされる画像データに対して作用する記憶命令を利用する。画像処理技術の当業者によって理解され得るように、本発明の実施形態における撮像システムを運用するためのコンピュータプログラムは、パーソナルコンピュータまたはワークステーションなどの適切な汎用コンピュータシステムによって利用されることができる。しかしながら、例えば、ある配置構成のネットワークプロセッサを含む、多くの他の種類のコンピュータシステムを使用して、本発明のコンピュータプログラムを実行することができる。本発明の方法を実行するコンピュータプログラムは、コンピュータ可読記憶媒体に記憶されてもよい。この媒体は、例えば、ハードドライブもしくはリムーバブル装置などの磁気ディスクもしくは磁気テープなどの磁気記憶媒体；光学ディスク、光学テープもしくは機械判読可能な光符号化などの光学的記憶媒体；ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）もしくはリードオンリーメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）などの固体状態電子記憶装置；またはコンピュータプログラムを記憶するのに用いられるその他の物理的装置もしくは媒体を含んでもよい。本発明の方法を実行するコンピュータプログラムは、インターネットまたは他のネットワークもしくは通信媒体を介して画像処理装置に接続されているコンピュータ可読記憶媒体に記憶されてもよい。当業者はさらに、かかるコンピュータプログラム製品の均等物をハードウェアによって構築してもよいことを容易に認めるであろう。

本開示の文脈において「コンピュータアクセス可能なメモリ」と同意義である用語「メモリ」は、例えば、データベースを含む、記憶及び画像データの操作に用いられ、コンピュータシステムにとってアクセス可能な任意の種類の一時的またはより永続的なデータ記憶装置の作業空間を指すことができることに留意すべきである。メモリは、例えば、磁気記憶装置または光学記憶装置などの長期記憶媒体を用いて、不揮発性とすることが可能であろう。あるいは、メモリは、マイクロプロセッサまたは他の制御ロジックプロセッサ装置によって一時的なバッファまたは作業空間として用いられるランダムアクセスメモリ（ＲＡＭ）などの電子回路を用いて、より揮発的な性質を有することも可能であろう。ディスプレイデータは、例えば、ディスプレイ装置に直結され、表示データを提供するために必要に応じて定期的にリフレッシュされる一時的な記憶バッファに記憶されることが多い。この一時的な記憶バッファは、この用語が本開示で用いられているように、メモリの型式であるとも考えられる。メモリは、計算及び他の処理の中間結果及び最終結果を実行及び記憶するためのデータ用作業空間としても用いられる。コンピュータアクセス可能なメモリは、揮発性、不揮発性、または揮発型と不揮発型とを混合した組み合わせとすることができる。

本発明のコンピュータプログラム製品は、周知の様々な画像操作のアルゴリズム及びプロセスを利用してもよいことが理解されよう。本発明のコンピュータプログラム製品の実施形態は、本明細書で具体的に図示も説明もされていない、実装に有用なアルゴリズム及びプロセスを組み入れてもよいことがさらに理解されよう。かかるアルゴリズム及びプロセスは、画像処理技術の通常の技量の範囲内である従来のユーティリティを含んでもよい。かかるアルゴリズム及びシステム、並びに、画像を生成し、さもなければ処理する、または本発明のコンピュータプログラム製品と協調するハードウェア及び／またはソフトウェアの別の態様は、本明細書で具体的に図示も説明もされていないが、当技術分野において既知であるこのようなアルゴリズム、システム、ハードウェア、構成要素及び素子から選択されてもよい。

本発明は、詳細に説明されてきたが、好適な実施形態または現時点で好ましい実施形態を特に参照して説明されてきたかもしれない。しかしながら、本発明の思想及び範囲の中で変形及び修正をなすことができることが理解されよう。従って、現時点で開示された実施形態は、例示的であり、限定的ではないとあらゆる点で考えられる。本発明の範囲は、添付された特許請求の範囲によって示されており、その均等物の意味及び範囲内に含まれる全ての変更は、その特許請求の範囲内に包含されることが意図されている。

１つ以上の実装に関して本発明を説明してきたが、添付された特許請求の範囲の思想及び適用範囲から逸脱することなく、例示した実施例に改変及び／または修正を施すことができる。加えて、本発明の特定の特徴は、いくつかの実装の１つに対して開示された可能性があるが、そのような特徴は、所与の、または特定の機能にとって望ましく、かつ有利であり得るように、他の実装の１つ以上の他の特徴と組み合わせることができる。用語「の少なくとも１つ」は、列挙された項目のうちの１つ以上を選択できることを意味するのに使用される。用語「約」は、列挙された値をある程度変更可能であることを示す。ただし、その変更により、プロセスまたは構造が、例示した実施形態に不適合とならない場合に限られる。最後に、「例示的」は、説明が理想的なものであることを意味するのではなく、説明が一実施例として使用されていることを示す。本発明の他の実施形態は、本明細書に開示された本発明の明細書及び実践の考察から当業者にとって明らかとなるであろう。本明細書及び実施例は例示としてのみ考慮されることが意図されており、本発明の真の範囲及び思想は、以下の特許請求の範囲によって示される。

Claims (3)

1. 少なくとも部分的にはコンピュータによって実行される歯牙の輪郭画像の取得方法であって、
   口腔内カメラ内のビデオ撮像システムからのビデオ画像を用いて、前記口腔内カメラの移動を、
   （ｉ）前記歯牙を含む第１のビデオ画像フレームを取り込み、前記第１のビデオ画像フレームを処理して、前記第１のビデオ画像フレーム内で前記歯牙の１つ以上のエッジを検出すること、
   （ｉｉ）前記歯牙を含む第２のビデオ画像フレームを取り込み、前記第２のビデオ画像フレームを処理して、前記第２のビデオ画像フレーム内で前記歯牙の前記１つ以上のエッジを検出すること、
   （ｉｉｉ）前記処理された第１のビデオ画像フレームと前記処理された第２のビデオ画像フレームとの間で対応するエッジ位置を比較すること、
   によって検出し、
   過度の前記口腔内カメラの移動が検出された場合、歯牙の輪郭画像を生成させることなく前記口腔内カメラの移動を検出する処理に戻り、
   前記口腔内カメラの移動が検出されなかった場合、フリンジパターンの照明を前記口腔内カメラから前記歯牙に投影し、前記フリンジパターンの１つ以上の静止画像を取得及び記憶し、前記フリンジパターンの前記１つ以上の静止画像を用いて前記歯牙の表面の３次元画像を形成及び表示する、
   ことを含む方法。
2. 前記口腔内カメラの位置が変化すると、どのフリンジパターン画像が必要とされるかを計算し、口腔内カメラの位置を自動的に決定し、投影パターン画像を取得するステップをさらに含み、前記第１のビデオ画像フレームが前記第２のビデオ画像フレームに時間的に隣接している、請求項１に記載の方法。
3. 歯牙の撮像装置であって、
   （ｉ）前記歯牙のビデオ画像またはフリンジパターン画像の画像データを取り込む検出器、
   （ｉｉ）前記歯牙の輪郭撮像を可能にするために操作可能なスイッチ、
   （ｉｉｉ）前記ビデオ画像用に前記歯牙に向けて光を投影する第１の照明源、及び
   （ｉｖ）カメラ移動を示す移動信号に応じて、輪郭撮像用にレーザ光ビームを前記歯牙上に走査するように通電可能なフリンジパターン発生器、
   を有する口腔内カメラと、
   前記検出器によって取り込まれた前記画像データを受け取り、前記歯牙の輪郭画像を生成するために前記口腔内カメラと信号通信を行うコンピュータと、
   前記口腔内カメラの内部にある、または前記コンピュータに搭載された制御ロジックプロセッサであって、前記ビデオ画像を解析して前記歯牙に対するカメラ移動を示す前記移動信号を提供する制御ロジックプロセッサと、
   前記ビデオ画像及び前記輪郭画像を表示するために前記コンピュータと信号通信を行うディスプレイと、
   を備え、
   前記制御ロジックプロセッサは、
   前記口腔内カメラが過度に移動していると判定した場合、前記フリンジパターン発生器にレーザ光ビームを走査させず、
   前記口腔内カメラが静止していると判定した場合、前記フリンジパターン発生器にレーザ光ビームを走査させ、前記コンピュータに前記歯牙の輪郭画像を生成させる装置。

Images