JP6948407B2 - 表面トポロジおよび関連する色を決定するための装置および方法 - Google Patents

Description

（関連出願の相互参照）
本特許出願は、２０１８年１０月１０日に出願された米国非仮出願第１６／１５４，８０５号の利益および優先権を主張するものであり、その内容は全ての目的のために参照により本明細書に組み込まれる。

本出願は一般に、３次元（３Ｄ）カラー画像を測定するための装置に関し、より詳細には、３Ｄ測定を妨害することなく色測定のために３Ｄカメラの光路の一部を使用するように構成されたカラーカメラに関する。

３次元測定では、口腔内の測定を含む複数の用途のために物体の表面点の位置を得る場合がある。歯の直接光学測定ならびにクラウンおよび義歯などの製品の製造のための方法が知られている。この方法では、歯のどんな物理的印象も作製することを必要とすることなく歯置換物のコンピュータ支援設計（ＣＡＤ）またはコンピュータ支援製造（ＣＡＭ）のためにデジタルデータを得て使用することができる。そのような方法としては、例えば米国特許第６６９７１６４Ｂ１号に記載されているような共焦点測定技術が挙げられる。この方法では、どんな色情報も含まない本質的にモノクロのデジタル３次元サーフェスモデルを得ることができる。

いくつかあるシステムの中で、３Ｄおよび色測定のための３Ｄカメラシステムは、３Ｄ測定のための光学系と同じ光学系を色測定のために使用することができる。そのようなシステムでは、３Ｄ測定および色測定のための光路は光を異なるセンサに分散させるように構成することができる。しかし、異なる目的（照明や検出など）のための少なくともいくつかの光学系を同時に使用することにより光の散乱および反射が生じることがあり、事実上カラー画像の画質を低下させる。

米国特許出願第１６００３５９２号および米国特許出願第１６００３６２８号は、３Ｄ測定用カメラにおける動的投影パターンを生成するための装置、方法およびシステムを開示している。それらの内容は背景技術の開示目的のために、それら全体が参照により本明細書に組み込まれる。

米国特許第３６８１５１９Ａ号は、光源、アクロマート対物レンズおよびカラーセンサを備えた光学式３Ｄ測定を行うためのハンドヘルド歯科用カメラであって、その光源はクロマート対物レンズを用いて物体の表面に焦点を合わせることができるビームを放射するように構成することができるカメラを開示している。次いで、そのビームはその表面によって反射させることができ、その反射ビームを測定のためにカラーセンサによって検出可能にすることができる。

米国特許第７，７８７，１３２Ｂ２号は、多色点光源アレイ、平面検出器マトリックス、横方向スペクトル分離のためのビームスプリッタ、および物体を照明および記録するための対物レンズを用いる物体の高速３次元測定のためのクロマティック共焦点方法および装置について記載している。スペクトルにより定められる基準光束を生成し、基準ビーム路を通して検出ビーム路の中に入射させ、スペクトルの分割後に基準画像点として検出器マトリックス上に焦点を合わせ、横方向にずれているサブマトリックスを物体光のスペクトル分析のための検出器マトリックス上で数値的に定めることができ、そのサブマトリックスを物体の形状の３次元測定のためのスペクトルセルとして実装することができる。

米国特許出願第１４，２６８，２０１号は、光学コントラスト粉末を物体に塗布し、かつその物体を光で照明する工程を含む、物体の３次元スキャンを行う方法を例示している。当該物体に対応する第１および第２の２次元（２Ｄ）カラー画像データを生成し、かつ第１および第２の２Ｄカラー画像データを用いて当該物体に対応する第１および第２の２Ｄモノクロ画像データを生成することができる。次いで、第１および第２のモノクロ２Ｄ画像データを用いて当該物体に対応する３Ｄデータを生成することができ、この３Ｄデータにカラー情報を追加することによって当該物体に対応するカラー３Ｄ画像データを生成することができる。

米国特許出願第１０，００７，７１５号は、表面トポグラフィを取得するための方法および装置を示しており、ここでは、取得される表面を光学的観点から光のパターンを有する照明源によって照明し、その表面から反射された光を、照明の観点とは異なってもよい光学的観点から画像センサによって取り込むことができる。得られる画像は、その表面に重ね合わせられる１つ以上のパターンを有する表面の画像であってもよい。表面トポグラフィは、パターンを有する画像データ、照明源と画像センサとの公知の分離、および光のパターンが照明源から投影される方法に関する知識に基づきプロセッサを用いて計算することができる。

上記に関連する既存の限界ならびに他の限界は、共焦点測定および光学配置を利用して物体の少なくとも一部のカラー画像を生成するための装置および方法によって克服することができ、ここでは、前記光学配置は色測定のために「少」量の光を抽出するための色測定光路内に配置された抽出／偏向ミラーを含み、３Ｄ測定がその色測定によって影響を受けることがないか実質的に影響を受けることがなく、かつ内部反射によるカラー画像への寄与を最小限に抑えることができるように、前記少量の光を３Ｄ測定光路内の光から抽出する。「色測定」は以後、物体のカラー画像および／またはカラーライブビューを撮影することを指すように使用する場合がある。色測定光路および３Ｄ測定光路は、本装置の少なくとも物体側で一致してもよく、３Ｄ測定に実質的に影響を与えることなく少量の光を抽出するために、本装置は色測定のために大きな被写界深度を有するように構築されていてもよく、かつ抽出ミラーは、以下で説明するように３Ｄ測定のために使用されるビームの直径よりも小さいサイズ（例えば２０％未満）を有するように構成されていてもよい。例えばビームスプリッタによる全領域抽出を用いる代わりに色測定光路上の抽出ミラーの位置決めによって、３Ｄ測定中に物体１０の深さ／３Ｄ情報に最も少なく寄与する反射ビームのみを妨害してもよい（３Ｄ光路から除去して色測定のために使用してもよい）。

本発明の一態様によれば、物体の表面トポロジおよび関連する色を決定するための装置であって、３Ｄ測定光路と、カメラの３Ｄ測定範囲とほぼ同じ位の大きさ（すなわち等しいかそれよりも小さく、例えば３Ｄ測定範囲の約７５％）の被写界深度を有するように構成された色測定光路と、色測定光路内に配置され、かつ監視ビームの第１の部分を抽出するように構成された抽出ミラーと、物体を照明するための照明ビームを提供するための光源と、照明ビームの特徴が焦点面において最大のコントラストで物体上に投影され、かつ照明ビームが監視ビームとして物体から反射されるように、照明ビームの焦点を物体に合わせるように本装置内に配置され、かつ本装置の焦点面の位置を変えるように構成可能な可変結像光学系とを備え、色測定光路はその中に配置されたカラー画像センサを有し、カラー画像センサは監視ビームの第１の部分を検出してカラー画像を形成するように構成されており、３Ｄ測定光路はその中に配置された３Ｄ画像センサを有し、３Ｄ画像センサは監視ビームの第２の部分を検出して３Ｄ画像を形成するように構成されていることを特徴とする装置が提供され得る。

本発明の別の態様によれば、（ｉ）光源を第１の偏光方向に偏光させる、（ｉｉ）色測定光路内の光を第１の偏光方向に垂直な第２の偏光方向に偏向させて、内部反射が前記カラー画像センサに到達するのを阻止する、前記色測定光路内に配置された偏光フィルタをさらに備える、（ｉｉｉ）色測定光路および３Ｄ測定光路は本装置の少なくとも物体側で一致する、（ｉｖ）抽出ミラーの共役面に位置するリレー光学系内に色開口絞りをさらに備える、（ｖ）色開口絞りは色測定光路の大きな被写界深度（カメラの３Ｄ測定範囲とほぼ同じ位の大きさ）が得られるように構成された開口数を有する、（ｖｉ）カラー画像を３Ｄモデルにマッピングするための信号処理装置をさらに備える、（ｖｉｉ）物体の３Ｄカラー表示を表示するためのディスプレイをさらに備える、（ｖｉｉｉ）光源は色測定のために白色光を投影するように構成されている、（ｉｘ）光源は３Ｄ測定のために青色光を投影するように構成されている、という特徴の１つ以上の組み合わせを含む上記装置が提供され得る。

本明細書における別の態様では、物体の表面トポロジおよび関連する色を決定するための装置であって、３Ｄ測定のために物体の深さデータを提供するように構成された走査手段と、色測定のために前記深さデータに関連づけられた前記物体のカラー画像データを提供するように構成された撮像手段とを備え、撮像手段は物体から反射された監視ビームの一部を抽出するための抽出ミラーと共に構成されており、撮像手段は、３Ｄ測定が妨害されないか実質的に妨害されないように監視ビームの前記部分が物体の３Ｄ情報に最も少なく寄与する光線を含むように、カメラの３Ｄ測定範囲とほぼ同じ大きさであるように構成された被写界深度を有することを特徴とする装置が提供され得る。

本発明のさらに別の態様では、物体の表面トポロジおよび関連する色を決定するための方法であって、色測定光路の被写界深度がカメラの３Ｄ測定範囲とほぼ同じ大きさであるように構成されるように３Ｄ測定光路および色測定光路を提供する工程と、色測定および３Ｄ測定のために物体を照明するための照明ビームを生成するように装置の光源を制御する工程と、照明ビームの特徴が焦点面において最大のコントラストで物体上に投影されるように、照明ビームの焦点を物体に合わせ、かつ本装置の焦点面の位置を変えるように本装置の可変結像光学系を制御する工程と、物体からの照明ビームの反射から監視ビームを得る工程と、３Ｄ測定が妨害されないか実質的に妨害されないように前記第１の部分が物体の３Ｄ情報に最も少なく寄与する光線を含むように、前記物体の色測定のために監視ビームの第１の部分を抽出する工程とを含む方法が提供され得る。

本発明の別の態様では、（ｉ）カラー画像を３Ｄ画像から形成される３Ｄモデルにマッピングする工程をさらに含む、（ｉｉ）光源を第１の偏光方向に偏向させる工程をさらに含む、（ｉｉｉ）第１の偏光方向に偏光されている照明ビームおよび前記色測定光路内に配置された偏光フィルタを提供することによって本装置内の内部反射がカラー画像センサに到達するのを阻止するか実質的に阻止する工程であって、抽出された監視ビームの約５０％が通過するのを可能にするように色測定光路内の光を第１の偏光方向に垂直な第２の偏光方向に偏光させる工程をさらに含む、（ｉｖ）本装置の平面に中間カラー画像を形成する工程をさらに含む、（ｖ）中間カラー画像をリレー光学系によって色開口絞りを通してカラー画像センサの上に結像する工程をさらに含む、（ｖｉ）焦点面が３Ｄ体積のＺ範囲であるカメラの３Ｄ測定範囲外にある場合に色測定光のスイッチを入れ、かつ１枚以上の画像を第１の所定の持続期間で色測定のために撮影するように光源を制御する、（ｖｉｉ）色測定光は白色光である、（ｖｉｉｉ）焦点面がカメラのための３Ｄ測定範囲内にある場合に３Ｄ測定光のスイッチを入れ、かつ１枚以上の画像を第２の所定の持続期間で３Ｄ測定のために撮影するように光源を制御する、（ｉｘ）３Ｄ測定光は青色光である、という特徴の１つ以上の組み合わせを含む上記方法が提供され得る。

本発明のさらに別の態様では、物体の表面トポロジおよび関連する色を決定するためのシステムであって、色測定および３Ｄ測定のために物体を照明するための照明ビームを生成するように装置の光源を制御し、照明ビームの焦点を物体に合わせ、かつ本装置の焦点面の位置を変えるように本装置の可変結像光学系を制御し、物体からの照明ビームの反射から監視ビームを得、３Ｄ測定が妨害されないか実質的に妨害されないように前記第１の部分が物体の３Ｄ情報に最も少なく寄与する光線を含むように前記物体の色測定のために監視ビームの第１の部分を抽出するように動作可能な少なくとも１つのプロセッサを備えるシステムが提供され得る。

本装置、方法およびシステムは、他の装置／技術と比較してカラー画像において生成されるノイズを減少させるのに有用であり得、かつ他の装置／技術と比較して３Ｄ画像においてより良好なデータ品質および／またはより高いＺ解像度を得ることができる。

さらなる特徴および利点ならびに本明細書における様々な実施形態の構造および動作は、添付の図面を参照しながら以下に詳細に記載されている。

例示的な実施形態は、本明細書において以下に示されている発明を実施するための形態および、同様の要素が同様の符号によって表されている添付の図面からより完全に理解されることになるであろうが、これらは例示のためにのみ与えられており、従って本明細書における例示的な実施形態に限定されない。

本発明の例示的な一実施形態を示す装置のブロック図である。 色測定のための光路を示す図１のブロック図の一部を示す。 本発明の例示的な一実施形態に係る３Ｄ測定のための光路を示す図１のブロック図の一部を示す。 本発明の例示的な一実施形態に係る可動結像光学系の焦点面の位置と時間との関係を示すグラフである。 本発明の例示的な一実施形態に係る方法を示すフローチャートである。 本発明の例示的な一実施形態に係るコンピュータシステムを示す。

図面中の異なる図が少なくともいくつかの符号（同じ構成要素を特定するために同じであってもよい）を有する場合があるが、そのような構成要素のそれぞれの詳細な説明は各図に関して以下に提供されていない場合がある。

３Ｄ色測定のための装置
本明細書に記載されている例示的態様によれば、３Ｄ色測定のために共焦点測定および光学配置を利用するための装置１０１を実現することができる。装置１０１は、３Ｄカメラシステムおよびカラーカメラシステムを備えていてもよい。装置１０１は前記共焦点測定および光学配置を使用して、物体１０またはその物体の少なくとも一部の３Ｄカラー画像（表面トポロジおよび前記表面の対応する色）も生成することができる。光学配置は、カラーカメラによる色測定のために最少量の光を抽出するための色測定光路４（図２に示されている）内に配置された抽出ミラー７を備えていてもよく、前記最少量の光は、３Ｄカメラを用いる３Ｄ測定が色測定によって影響を受けることがないか実質的に影響を受けることがなく、かつ内部反射を最小限に抑えることができるように、３Ｄ測定光路６（図３に示されている）からの光から抽出される。ここでは、（ｉ）カラーカメラおよび３Ｄカメラは本装置の少なくとも物体側２０で光学系を共有してもよく、（ｉｉ）色測定光路４および３Ｄ測定光路６は本装置の少なくとも前記物体側２０で一致してもよく、かつ（ｉｉｉ）３Ｄ測定に影響を与えることなく監視ビーム３１から最少量の光を抽出するために、装置１０１は以下で説明するように、色測定のための被写界深度２５および／または３Ｄ測定のための比較的小さい焦点深度２４を有するように構築されていてもよい。焦点深度２４は被写界深度２５の例えば約１／１００であってもよい。前記「最少」量の光を得るために、抽出ミラー７は３Ｄ測定光路６の直径よりも小さい（例えば５０％未満、４０％未満、好ましくは３０％未満、より好ましくは２０％未満、さらにより好ましくは１０％未満であって０％超の）サイズを有するように構成されていてもよい。最少量の光は、３Ｄ測定のために使用される監視ビームまたは監視ビームの一部の２５％未満（例えば、１６％未満、好ましくは９％未満、より好ましくは４％未満、さらにより好ましくは１％未満）であって０％超を含んでもよい。抽出ミラー７は同様に開口絞り８の直径よりも小さい（例えば２０％未満である）が、ある数値よりも大きい（例えば０％超である）。

本発明の一実施形態では、色測定のための被写界深度２５は約１５ｍｍ（＋／−２０％）であってもよい。カメラのための３Ｄ測定範囲は約２０ｍｍ（＋／−２０％）であってもよく、３Ｄ測定のための焦点深度２４は約０．５ｍｍ（＋／−２０％）であってもよく、かつ抽出ミラー７の直径は約２ｍｍ（＋／−２０％）であってもよい。

共焦点測定では、投影される光パターンなどの光を使用して測定される物体１０の表面に光学的特徴を生成することができ、共焦点／焦点深度原理に従って動作する光学的３Ｄ測定方法を使用して物体１０を測定することができる。ここでは、マイクロレンズアレイを有するＬＥＤ源などの光源１１からの光（例えば、一時的可変光または静的パターン）は、ビームスプリッタキューブ９を通って結像光学系２３を経てシステム開口絞り８およびレンズ３２に通って物体１０の上に投影させることができる。その後にその光は物体１０によって反射されて３Ｄセンサ２上に結像させることができる。ビームスプリッタキューブ９は、光源１１の出射光を物体１０の入射監視ビーム３１から分離してもよい。３Ｄ測定のために、可変結像光学系２３は、投影および検出のために共焦点３Ｄ測定でそれを使用することができるように、物体１０の厚さよりも非常に小さくてもよい焦点深度２４を有していてもよい。可変結像光学系２３は可動結像光学系、液体レンズまたはフレキシブルレンズなどであってもよい。従って一時的可変光パターンは、可変結像光学系２３の焦点深度２４と交差する物体１０の領域のためにのみ、３Ｄセンサ２上に鮮明に（すなわち最大のコントラストで）結像させることができる。可変結像光学系２３を使用することにより、可変結像光学系２３の焦点面を物体１０の体積を通して移動させてもよい。可変結像光学系２３は色測定光路４内に存在しないため、カラーカメラの焦点面が影響を受けることはない。焦点外領域ではその光はぼやけて、焦点外領域を焦点領域から区別する一定の平均強度を生じる。従って物体の焦点領域／鮮明結像領域のみが、３Ｄセンサ２のために変調された信号を生成することができる。ノイズ低減およびデータ密度を増加させるセットアップ／技術と共に、各種構造化照明パターンおよび共焦点測定／焦点深度原理を用いることによって、物体の３Ｄ表面プロファイルを測定することができる。さらに所定の周波数で変調することにより、さらなる処理のためにその周波数に対応する信号のみを検出することができる。

但し、３Ｄセンサ２によって取り込まれた画像はカラー情報を含んでいなくてもよい。従って、別個のカラー画像センサ１を使用して物体１０のカラー情報を検出してもよい。３Ｄカラーカメラは、照明および検出のために同時に同じ光学系を使用する場合がある。従って、壁からの光散乱および内部反射（照明ビーム３０の例えば約０．０５〜４％であってもよいレンズ３２の空気／ガラス界面による反射および抽出ミラー７のエッジからの反射など）が結果としてカメラ内部で生じ、かつ撮影されたあらゆるカラー画像において望ましくない効果を生じさせる場合がある。本発明に係る一実施形態では、光の散乱／内部反射の効果（例えば、ダイナミックレンジおよび／またはカラー画像センサ１上の一定の背景画像の低下など）は、システム開口絞り８の後ろの抽出ミラー７および偏光子／偏光フィルタ２６を用いて減少および／または除去してもよい。抽出ミラーを使用して物体１０から反射された光の一部を抽出して物体１０の色を検出してもよい。次いで、抽出された光を偏光子／偏光フィルタ２６に通して照明ビーム３０の偏光と同じ偏光を有する光を遮断してもよい。一般に光の偏光方向は散乱／反射によって変化され得るため、散乱された（反射された）光の一部のみがその元の偏光を維持している。

本発明の一実施形態では、照明ビーム３０を最初に第１の偏光方向に偏光させてもよく、偏光子／偏光フィルタ２６は、（ｉ）レンズ３２の表面によって引き起こされる反射の一部などの内部で反射された光を（第１の偏光方向に）維持する偏光が偏光子／偏光フィルタ２６を通るのを（例えば少なくとも所定の程度まで）防止することができ、かつ（ｉｉ）物体１０によって反射されたかλ／４板を通ることにより偏光が変化したことにより無偏光または実質的に無偏光になり得る監視ビーム３１の一部が抽出ミラー７によって抽出された後に偏光フィルタ２６を通るのを可能にすることができる（すなわち、抽出された監視ビーム３１の約５０％が偏光フィルタ２６を通るのを可能にするように、無偏光の監視ビーム３１を偏光子／偏光フィルタ２６によって第１の偏光方向に垂直な第２の偏光方向に偏光させることができる）ように構成されていてもよい。但し、カメラの内壁からの内部反射／散乱された光も実質的に無偏光であってもよい。従って、無偏光の内部反射は偏光フィルタ２６によって完全に遮断されない場合がある。但し、前記無偏光の内部反射は主に抽出ミラー７の中心の外側にある点から生じ得るので、色開口絞り３の開口は抽出ミラー７の画像よりも小さくなるように構成されているという理由から前記無偏光の内部反射を色開口絞り３において実質的に阻止することができる。その結果、抽出ミラー７の中心からの光のみが色開口絞り３を通るのを可能にすることができる。

中間カラー画像を平面５に形成させることができる。この中間カラー画像は色測定のためにリレー光学系２７によって色開口絞り３を通してカラー画像センサ１の上に結像させることができる。

装置１０１は、物体１０の３Ｄカラー表示を生成して表示するためのコンピュータシステム１００をさらに備えていてもよい。コンピュータシステム１００は信号前処理もしくは処理装置２８および取得装置２９を備えていてもよく、かつカラー画像センサ１、３Ｄセンサ２、光源１１および可変結像光学系２３に電気的に接続され、かつ／またはそれらと通信していてもよい。

本明細書における一実施形態では、物体１０の露光／走査中に、信号前処理装置２８はカラー画像センサ１および３Ｄセンサ２の単一の画像フレームを収集してもよい。次いでそれはカラー画像センサ１の色データを３Ｄセンサ２の３Ｄデータから生成された３Ｄモデルとマッピングしてもよい。

３Ｄ色測定のための方法

図１の装置１０１の構成要素について説明してきたが、次に装置１００の作動方法について３Ｄ色測定のための方法を示す図４および図５と共にさらに説明する。

次に図５を参照すると、工程Ｓ１００に示されているように物体１０を照明するための光源１１を制御することによって光３０の照明ビームを生成してもよい。照明ビーム３０は好ましくは光の偏光ビームであってもよい。後で本明細書に記載されているように、色測定および３Ｄ測定のために可変結像光学系２３の焦点面を制御してもよい。

本発明に係る例示的な一実施形態では、３Ｄ測定のために小さい焦点深度２４を使用してもよく、色測定のためにより大きい被写界深度２５を使用してもよい。可変結像光学系２３の焦点面を物体１０の体積を通して移動させることによって３Ｄ測定を行ってもよい。物体１０の焦点外領域では、照明ビーム３０はぼやけて、焦点外領域を焦点領域から区別する一定の平均強度を生成することができる。焦点領域では、物体１０は３Ｄセンサ２のために変調された信号を生成してこれを測定してもよい。大きな被写界深度２５は色測定のために使用することができるため、色測定のために信号を生成することができる前記焦点外領域でカラー画像を撮影してもよい。

本発明に係る例示的な一実施形態では、色測定のために白色光を使用してもよく、３Ｄ測定のために青色光を使用してもよい。別の例示的な実施形態では、３Ｄ測定のためにどんな色を使用してもよく、白色光または合わせると白色になる異なる色（例えば赤色、緑色、青色）を有する順次照明を使用してもよい。ここでは、光源１１を色測定光と３Ｄ測定光との間で切り換えてもよい。図４は図１と共に、可動結像光学系の焦点面の位置と時間との関係を示す。焦点場所が３Ｄ測定範囲（−ｋ〜ｋ）外にある場合に可変結像光学系２３を制御してもよく、光源１１において白色光に切り換えてもよく、かつ色測定のために１枚以上の画像を撮影してもよい。本発明の例示的な一実施形態では、３Ｄ光学系の焦点面が可変結像光学系２３によって移動されるにつれて焦点深度２４が移動してもよい。但し、被写界深度２５はそのような移動の間に一定のままであってもよい。ここでは、焦点面が３Ｄ測定範囲外（範囲−ｋ〜ｋの外側）にある場合、光源１１からの構造化された光の焦点を３Ｄ測定範囲外に合わせてもよく、３Ｄ測定範囲内に合わせなくてもよい。被写界深度２５は前記３Ｄ測定範囲内にあってもよいため、構造化照明が前記カラー画像内に存在し得るように歯のカラー画像を撮影することができる。一実施形態では、カラー画像を所定の期間内で撮影することができる（例えば１０ｍｓ間隔以内に１枚以上の画像）。同様に、焦点面が３Ｄ測定のために使用される３Ｄ測定範囲（−ｋ〜ｋ）内にある場合に、光源１１において青色光に切り換えることができ、かつ３Ｄ測定のために１枚以上の画像を撮影することができるように、可変結像光学系を制御してもよい。ここでは、３Ｄ測定のために使用される構造化照明が３Ｄ画像内に存在する。本明細書における一実施形態では、３Ｄ画像を所定の期間内で撮影することができる（例えば、所定の時間間隔内に１枚以上の画像、例えば３０ｍｓ間隔内に８０枚の画像）。

本明細書における別の実施形態では、カラー画像取得中に３Ｄセンサの電子シャッタ（図示せず）は閉じられていてもよい。同様に、３Ｄ画像取得中にカラー画像センサの電子シャッタは閉じられていてもよい。

物体１０の照明の間に、照明ビーム３０をシステム開口絞り８を通して投影させ、かつミラー１２によって物体１０の方に偏向させてもよい。照明ビーム３０を受けると、物体１０は照明ビーム３０を監視ビーム３１の中に反射させてもよく、前記監視ビーム３１はシステム開口絞り８を通って装置１０１のセンサ側２１の中に投影される（工程Ｓ２００）。センサ側２１では、抽出ミラー７が色測定のために監視ビームの一部（前記一部は色測定光路４に対応する）を偏光フィルタ２６の方に向かって偏向させてもよい。３Ｄ測定のために使用される小さい焦点深度２４とは対照的に、色測定ではより大きい被写界深度２５を使用してもよい。色開口絞り３の小さい開口数（直径）を使用して大きな被写界深度２５を達成してもよい。抽出ミラーは色開口絞り３の共役面に位置していてもよく、従ってそのサイズは色光学系内の色開口絞りの直径に比例していてもよい。従って、小さい色開口絞り直径を使用することにより小さい抽出ミラー７を可能にしてもよい。小さい抽出ミラー７を用いて、少量の光のみを３Ｄ測定光路６から抽出してもよい。例えばビームスプリッタを用いる全領域抽出を提供する代わりに抽出ミラー７を使用することにより、物体点の深さ情報に最も少なく寄与する３Ｄ測定光学系のビームのみを妨害してもよい。図１に示すように、抽出ミラー７の位置決めにより３Ｄ測定中に監視ビーム３１の中心光線を遮断してもよいが、これにより、開口数は影響を受けることがなく、従ってＺ解像度は同じままであり得るため、若干の許容される撮像アーチファクトが生じることがある。従って、抽出ミラーを光軸３４から離すよりも図１および図３に示すように光軸３４の中心近くに配置することが好ましい場合がある。

偏光フィルタ２６は、工程Ｓ３００に示されているように監視ビーム３１が通過するのを可能にしながらも内部反射を遮断することができる。ここでは、偏光フィルタ２６は内部反射を維持する偏光を遮断し、かつ無偏光もしくは実質的に無偏光の抽出された監視ビーム３１の垂直部分が偏光フィルタ２６を通過するのを可能にする。工程Ｓ４００に示されているように、色開口絞り３は、内部で散乱され、かつそうでなければカラー画像センサ１に伝搬される内部反射を抑制することができる。画像平面５に形成される中間カラー画像は、工程Ｓ５００に示されているようにリレー光学系２７によって色開口絞り３を通してカラー画像センサ１の上に結像させることができる。

好ましくは所定の数の３Ｄ画像およびカラー画像を得た後に、それらを一緒にマップしてもよく、例えばカラー画像を３Ｄ画像から形成される３Ｄモデルにマップしてもよい。ここでは、カメラ較正から全ての３Ｄ点が２Ｄカラー画像中のどこに対応するかに関する知識を得てもよい（すなわち３Ｄから２Ｄへのマッピング）。このマップを使用して３Ｄモデルにおける全ての３Ｄデータ点、すなわち２Ｄカラー画像における対応する画素を見つけてもよい。次いでこの画素の色をデータ点に割り当ててもよく、このようにして測定されたモデルの３Ｄビューで表示することができる。

３Ｄ色測定のためのコンピュータシステム
３Ｄ色測定のための装置１０１について記載してきたが、次に本明細書における例示的な実施形態の少なくともいくつかに従って用いることができるコンピュータシステム１００のブロック図を示す図６を参照する。本明細書における一実施形態では、コンピュータシステム１００は装置１０１の一部を形成していてもよい。本明細書における別の実施形態では、当該コンピュータシステムは装置１０１とは別個であってもよい。この例示的なコンピュータシステム１００に関して様々な実施形態が本明細書に記載されている場合があるが、本記載を読んだ後に、他のコンピュータシステムおよび／またはアーキテクチャを用いて本開示を実装する方法が当業者には明らかになるであろう。

コンピュータシステム１００は少なくとも１つのコンピュータプロセッサ１２２を備えていてもよい。コンピュータプロセッサ１２２としては、例えば中央処理装置、多重処理装置、特定用途向けＩＣ（「ＡＳＩＣ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などが挙げられる。プロセッサ１２２は通信インフラ１２４（例えば、通信バス、クロスオーバーバー（ｃｒｏｓｓ−ｏｖｅｒ ｂａｒ）装置またはネットワーク）に接続されていてもよい。本明細書における一実施形態では、プロセッサ１２２は装置１０１の信号前処理装置２８から画像スタックを得るＣＰＵを含む。このスタックを一時的に記憶装置に格納し、次いで解析してもよい。カラー画像データをプロセッサ１２２によって３Ｄモデルにマップしてもよい。記録しながら装置１０１を移動させると一連の点群を形成することができる。ＣＰＵ１２３は点群を回転および平行移動させて、コンピュータシステム１００のディスプレイインタフェース１２６上でレンダリングするための一貫した３Ｄモデルを提供してもよい。別の実施形態では、ＣＰＵはセンサ４によって検出された画像特徴を投影された特徴と一致させ、かつそれらを別個の点群として生じる各画像と共に三角形分割によって３Ｄ点群に変換してもよい。ここでは、当該センサは任意に画素内復調機能を有していなくもよい。カメラを移動させた場合に一連の点群が生じる。これらの点群をＣＰＵ１２３によって個々に回転および平行移動させて一貫した３Ｄモデルを得てもよい。この３Ｄモデルを最後にディスプレイ１２８上でレンダリングしてもよい。本明細書における実施形態では、信号前処理装置２８が装置１０１に組み込まれていてもよく、本明細書における別の実施形態では、信号前処理装置２８は装置１０１の外部にあってもよい。

ディスプレイインタフェース（または他の出力インタフェース）１２６は、ディスプレイユニット１２８（これは例示的な一実施形態では、図１のディスプレイユニット１２８を形成しているかそこに含まれていてもよい）上で表示するために、ビデオグラフィックス、テキストおよび他のデータを通信インフラ１２４（またはフレームバッファ（図示せず））から転送してもよい。例えばディスプレイインタフェース１２６は、グラフィックス処理装置と共にビデオカードを備えていてもよい。

コンピュータシステム１００は、情報をコンピュータプロセッサ１２２に送信するためにコンピュータシステム１００のユーザが使用することができる入力装置１３０も備えていてもよい。入力装置１３０としては、トラックボールまたはキーボードおよび／またはタッチスクリーンモニターなどの他の入力装置が挙げられる。一例では、ディスプレイユニット１２８、入力装置１３０およびコンピュータプロセッサ１２２は集合的にユーザインタフェースを形成していてもよい。

３Ｄカラー画像を生成するように装置１０１を制御する１つ以上の工程は、コンピュータ可読プログラム命令の形態で非一時的ストレージデバイスに格納されていてもよい。処理手順を実行するために、プロセッサ１２２はストレージデバイス上に格納されている適当な命令を記憶装置内にロードし、次いでロードされた命令を実行する。

図６のコンピュータシステム１００は、ランダムアクセスメモリ（「ＲＡＭ」）であってもよい主記憶装置１３２を備えていてもよく、かつ補助記憶装置１３４も備えていてもよい。補助記憶装置１３４は、例えばハードディスクドライブ１３６および／または取外し可能なストレージドライブ１３８（例えば、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブおよびフラッシュメモリドライブなど）を含んでいてもよい。取外し可能なストレージドライブ１３８は周知の方法において取外し可能なストレージユニット１４０から読み出し、かつ／またはそこに書き込んでもよい。取外し可能なストレージユニット１４０は例えば、取外し可能なストレージドライブ１３８によって書き込みおよび読み出し可能なフロッピーディスク、磁気テープ、光ディスクおよびフラッシュメモリ装置などであってもよい。取外し可能なストレージユニット１４０は、コンピュータが実行可能なソフトウェア命令および／またはデータを格納する非一時的コンピュータ可読ストレージ媒体を含んでいてもよい。

さらなる他の実施形態では、補助記憶装置１３４は、コンピュータが実行可能なプログラムまたはコンピュータシステム１００の中にロードされる他の命令を格納する他のコンピュータ可読媒体を含んでいてもよい。そのような装置は、取外し可能なストレージユニット１４４およびインタフェース１４２（例えば、プログラムカートリッジおよびカートリッジインタフェース）、取外し可能なメモリチップ（例えば、消去可能プログラム可能リードオンリーメモリ（「ＥＰＲＯＭ」）またはプログラム可能リードオンリーメモリ（「ＰＲＯＭ」））および関連するメモリソケット、他の取外し可能なストレージユニット１４４、ならびにソフトウェアおよびデータを取外し可能なストレージユニット１４４からコンピュータシステム１００の他の部分に転送するのを可能にするインタフェース１４２を備えていてもよい。

コンピュータシステム１００は、ソフトウェアおよびデータをコンピュータシステム１００と外部装置との間で転送するのを可能にする通信インタフェース１４６も備えていてもよい。そのようなインタフェースとしては、モデム、ネットワークインタフェース（例えば、イーサネットカードまたはＩＥＥＥ８０２．１１無線ＬＡＮインタフェース）、通信ポート（例えば、ユニバーサル・シリアル・バス（「ＵＳＢ」）ポートまたはファイアワイヤ（登録商標）ポート）、パーソナルコンピュータメモリカード国際協会（「ＰＣＭＣＩＡ」：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）インタフェースおよびブルートゥース（登録商標）などが挙げられる。通信インタフェース１４６を介して転送されるソフトウェアおよびデータは信号の形態であってもよく、この信号は、通信インタフェース１４６によって送信および／または受信することができるようにしてもよい電子信号、電磁信号、光信号または別の種類の信号であってもよい。信号は、通信路１４８（例えばチャネル）を介して通信インタフェース１４６に提供されてもよい。通信路１４８は信号を運んでもよく、かつワイヤまたはケーブル、ファイバーオプティクス、電話線、セルラーリンクまたは無線周波数（「ＲＦ」）リンクなどを用いて実装されていてもよい。コンピュータシステム１００とリモートサーバまたはクラウドベースのストレージ（図示せず）との間でソフトウェアまたはデータあるいは他の情報を転送するために、通信インタフェース１４６を使用してもよい。

１つ以上のコンピュータプログラムまたはコンピュータ制御論理は、主記憶装置１３２および／または補助記憶装置１３４に格納されていてもよい。またコンピュータプログラムは通信インタフェース１４６を介して受信されてもよい。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行された場合にコンピュータシステム１００に本記載の方法を実行させるコンピュータ実行可能命令を含んでいてもよい。従って、コンピュータプログラムはコンピュータシステム１００および装置１０１の他の構成要素を制御してもよい。

別の実施形態では、ソフトウェアは非一時的コンピュータ可読記憶媒体に格納され、かつ取外し可能なストレージドライブ１３８、ハードディスクドライブ１３６および／または通信インタフェース１４６を用いてコンピュータシステム１００の主記憶装置１３２および／または補助記憶装置１３４の中にロードされてもよい。制御論理（ソフトウェア）は、プロセッサ１２２によって実行される場合に、コンピュータシステム１００および、より一般にはいくつかの実施形態では装置１０１に本明細書に記載されている方法の全てまたはいくつかを実行させてもよい。

最後に、別の例示的な実施形態では、ＡＳＩＣおよびＦＰＧＡなどのハードウェア構成要素を使用して本明細書に記載されている機能を実行してもよい。本明細書に記載されている機能を実行するためのそのようなハードウェア構成の実装は、本記載を考慮すれば当業者には明らかであろう。

上の記載を考慮すれば、本明細書に記載されている例示的な実施形態がカメラ（例えば歯科用カメラ）において３Ｄカラー画像を生成するための装置および方法を提供することを理解することができる。

特に定義されていない限り、本明細書で使用される全ての技術および科学用語は、本発明が属する当業者によって一般に理解される同じ意味を有する。本明細書に記載されている同様もしくは同等の方法および材料を本開示の実施または試験において使用することができるが、好適な方法および材料は上に記載されている。本明細書において言及されている全ての刊行物、特許出願、特許および他の参考文献は適用法および規則によって許容される程度までそれら全体が参照により組み込まれる。本開示はその趣旨または必須の特性から逸脱することなく他の特定の形態で具体化されてもよく、従って、当該実施形態はあらゆる点で限定するものとしてではなく例示としてみなされることが望ましい。本記載の中で利用されている任意の見出しは単に便宜上のものであり、法的もしくは限定的効果を有しない。

Claims (27)

1. 物体の表面トポロジおよび関連する色を決定するための装置であって、
   焦点深度を定義するように配置された光源、可変結像光学系、レンズを含む３Ｄ測定光路を含み、
   被写界深度を定義するように配置されたカラー画像センサと色開口絞りとリレー光学系とを含む色測定光路を含み、
   前記被写界深度は、前記焦点深度よりも大きく、
   前記光源は、物体を照明するための構造化照明ビームを提供するように適合され、
   前記可変結像光学系は、構造化照明ビームを物体に合わせるように配置され、物体の体積を通して焦点面の位置を変えるように適合され、
   前記色測定光路内に配置され、物体からくる監視ビームの第１の部分を抽出するように構成された抽出ミラーを含み、
   前記カラー画像センサは、監視ビームの第１の部分を検出してカラー画像を形成するように適合されており、
   前記３Ｄ測定光路は、その中に配置された３Ｄ画像センサを有し、前記３Ｄ画像センサは監視ビームの第２の部分を検出して３Ｄ画像を形成するように構成されており、
   前記光源は、焦点面が３Ｄ測定範囲外にある場合に、色測定光のスイッチを入れ、第１の所定の持続期間で色測定のために１枚以上の画像が撮影されるように制御され、
   前記光源は、焦点面が３Ｄ測定範囲内にある場合に、３Ｄ測定光のスイッチを入れ、第２の所定の持続期間で３Ｄ測定のために１枚以上の画像が撮影されるように制御される、
   装置。
2. 前記監視ビームの抽出される前記第１の部分は、前記監視ビームの光線の２５％未満であって前記監視ビームの光線の０％超を含む、請求項１に記載の装置。
3. 前記監視ビームの抽出される前記第１の部分は、前記監視ビームの光線の２％未満であって前記監視ビームの光線の０％超を含む、請求項２に記載の装置。
4. 前記抽出ミラーは前記色測定光路内であって前記３Ｄ測定光路の光軸上に配置されている、請求項１に記載の装置。
5. 前記構造化照明ビームを第１の偏光方向に偏光させる、請求項１に記載の装置。
6. 前記色測定光路内の光を前記第１の偏光方向に垂直な第２の偏光方向に偏向させ、前記装置内の内部反射が前記カラー画像センサに到達するのを阻止し、かつ前記監視ビームの前記第１の部分が通過するのを可能にするように構成された、前記色測定光路内に配置された偏光フィルタをさらに備える、請求項５に記載の装置。
7. 前記色測定光路および前記３Ｄ測定光路は前記装置の少なくとも物体側で一致する、請求項１に記載の装置。
8. 前記抽出ミラーの共役面に位置するリレー光学系内に色開口絞りをさらに備え、前記色開口絞りは前記色測定光路の前記被写界深度を提供するように構成されている、請求項１に記載の装置。
9. 前記カラー画像を前記３Ｄ画像から形成された３Ｄモデルにマッピングするための信号処理装置をさらに備える、請求項１に記載の装置。
10. 前記物体の３Ｄカラー表示を表示するためのディスプレイをさらに備える、請求項１に記載の装置。
11. 前記光源は色測定のために白色光を投影するように構成されている、請求項１に記載の装置。
12. 前記光源は３Ｄ測定のために青色光を投影するように構成されている、請求項１に記載の装置。
13. 物体の表面トポロジおよび関連する色を決定するための方法であって、
    請求項１〜１２のいずれか一項に記載の装置を用い、
    ３Ｄ測定光路および前記３Ｄ測定光路の焦点深度よりも大きい被写界深度を有する色測定光路を提供する工程と、
    監視ビームの第一の部分を抽出するように前記色測定光路内に配置された抽出ミラーを提供する工程と、
    色測定および３Ｄ測定のために前記物体を照明するための構造化照明ビームを生成するように装置の光源を制御する工程と、
    前記構造化照明ビームの焦点を前記物体に合わせ、かつ前記装置の焦点面の位置を変えるように前記装置の可変結像光学系を制御する工程と、
    前記物体からの前記構造化照明ビームの反射から前記監視ビームを得る工程と、
    前記物体の色測定のために前記監視ビームの第１の部分を検出してカラー画像を形成する工程と、
    前記物体の３Ｄ測定のために前記監視ビームの第２の部分を検出して３Ｄ画像を形成する工程と
    を含む方法。
14. 前記監視ビームの抽出される前記第１の部分は、前記監視ビームの光線の２５％未満であって前記監視ビームの光線の０％超を含む、請求項１３に記載の方法。
15. 前記監視ビームの抽出される前記第１の部分は、前記監視ビームの光線の２％未満であって前記監視ビームの光線の０％超を含む、請求項１４に記載の方法。
16. 前記カラー画像を前記３Ｄ画像から形成される３Ｄモデルにマッピングする工程をさらに含む、請求項１３に記載の方法。
17. 前記構造化照明ビームを第１の偏光方向に偏向させる工程をさらに含む、請求項１３に記載の方法。
18. 前記装置内の内部反射がカラー画像センサに到達するのを阻止し、かつ前記色測定光路内の光を前記第１の偏光方向に垂直な第２の偏光方向に偏向させる前記色測定光路内に配置された偏光フィルタを提供することによって前記監視ビームの前記第１の部分が通過するのを可能にする工程をさらに含む、請求項１７に記載の方法。
19. 中間カラー画像を前記装置内に設けられた平面上に形成する工程をさらに含む、請求項１３に記載の方法。
20. 前記中間カラー画像をリレー光学系によって色開口絞りを通してカラー画像センサの上に結像する工程をさらに含む、請求項１９に記載の方法。
21. 前記焦点面が３Ｄ測定範囲外にある場合に、色測定光のスイッチを入れ、かつ第１の所定の持続期間で色測定のために１枚以上の画像を撮影するように前記光源を制御する、請求項１３に記載の方法。
22. 前記色測定光は白色光である、請求項２１に記載の方法。
23. 前記焦点面が３Ｄ測定範囲内にある場合に、３Ｄ測定光のスイッチを入れ、かつ第２の所定の持続期間で３Ｄ測定のために１枚以上の画像を撮影するように前記光源を制御する、請求項１３に記載の方法。
24. 前記３Ｄ測定光は青色光である、請求項２３に記載の方法。
25. 物体の表面トポロジおよび関連する色を決定するためのシステムであって、
    少なくとも請求項１〜１２のいずれか一項に記載の装置と、
    少なくとも一つのプロセッサとを備え、
    前記プロセッサは、
    色測定および３Ｄ測定のために前記物体を照明するための構造化照明ビームを生成するように装置の光源を制御し、
    前記構造化照明ビームの焦点を前記物体に合わせ、かつ前記装置の焦点面の位置を変えるように前記装置の可変結像光学系を制御し、
    前記物体からの前記構造化照明ビームの反射から前記監視ビームを得、
    前記物体の色測定のために前記監視ビームの第１の部分をカラー画像センサで検出し、
    前記物体の３Ｄ測定のために前記監視ビームの第２の部分を３Ｄ画像センサで検出し、
    前記焦点面が３Ｄ測定範囲外にある場合に、色測定光のスイッチを入れ、かつ第１の所定の持続期間で色測定のために１枚以上の画像を撮影するように前記光源を制御し、かつ
    前記焦点面が３Ｄ測定範囲内にある場合に、３Ｄ測定光のスイッチを入れ、かつ第２の所定の持続期間で３Ｄ測定のために１枚以上の画像を撮影するように前記光源を制御する、ように制御するプロセッサである、
    システム。
26. 前記監視ビームの抽出される前記第１の部分は、前記監視ビームの光線の２５％未満であって前記監視ビームの光線の０％超を含む、請求項２５に記載のシステム。
27. 前記監視ビームの抽出される前記第１の部分は、前記監視ビームの光線の２％未満であって前記監視ビームの光線の０％超を含む、請求項２６に記載のシステム。

Images