JP6970836B2 - ３ｄスキャンのためのシステムおよび方法 - Google Patents

Description

本発明は、対象（subject）の３Ｄスキャン（3D scanning）を実行するためのシステムに関する。また、本発明は、対象の３Ｄスキャンを実行するための方法に関する。

構造化光スキャンは、面および物体の３次元画像を得るために３Ｄスキャン産業で使用される一般的な方法である。図１に概略的に示すように、このような方法は、光を（典型的には、平行ストライプのパターンで）顔、身体または物体に投影する光プロジェクタ（異なるタイプの光を使用することができる）を利用し、１つまたは複数のカメラが反射パターンの幾何学的歪みを検出する。図２は、概して、どのように投影されたパターンが３Ｄモデルに再構成されるかを示す。

構造化光スキャンは、サイズの点で有利である。すなわち、この技術は、構造化光スキャンシステムが、スマートフォンまたはスモールフォームファクタ（small form factors）など小さいエンクロージャ内に収容されることを可能にする。しかし、従来の構造化光スキャン方法およびシステムは、それゆえに、例えばＣＰＡＰのような用途に使用するための「カスタム」マスクを装着するユーザの顔をスキャンする際に使用されるような、顔のスキャンに使用される場合に不正確な結果を生じる傾向がある。

従って、本発明の目的は、従来の３Ｄ画像取り込みシステムおよび方法の欠点を克服するシステムおよび方法を提供することである。本発明の一態様として、検出装置および構造化光の光源（source）を提供する投影装置を使用して対象の３Ｄ画像を取り込む方法が提供される。本方法は：検出装置を用いて対象の画像を取り込むステップと；画像を分析するとともに対象の色を検出するステップと；画像の分析に基づいて投影装置の出力または対象を照らす環境照明の光源の強度のうちの１つまたは複数を変更するステップと；投影装置の出力または対象を照らす環境照明の光源の強度のうちの変更された１つまたは複数を使用して、検出装置および投影装置を用いて対象の３Ｄ画像を取り込むステップと；を含む。

投影装置の出力を変更するステップは、投影装置の出力の波長または強度のうちの１つまたは複数を変化させるステップを含み得る。

対象を照らす環境照明の光源の強度を変更するステップは、環境照明の光源の強度を増加させるステップを含み得る。

対象を照らす環境照明の光源の強度を変更するステップは、環境照明の光源の強度を減少させるステップを含み得る。

画像の分析に基づいて投影装置の出力または対象の環境照明の光源の強度のうちの１つまたは複数を変更するステップは、投影装置の出力の波長および強度の１つまたは複数を変化させることによって、投影装置の出力を変更するステップを含み得る。

この方法は、画像を分析した後且つ３Ｄ画像を取り込む前に、スキャン品質を改善するために対象によって取られるべき措置についての対象への指令を提供するステップをさらに含み得る。

本発明の別の態様として、対象の３Ｄ画像を取り込むためのシステムが提供される。このシステムは：対象および周囲の環境の画像を取り込むように構成される検出装置と；構造化光の光源を提供するように構成される投影装置と；処理ユニットによって制御可能である環境照明のいくつかの光源と；検出装置および投影装置と通信する処理ユニットと；を有する。処理ユニットは：検出装置によって取り込まれる対象の画像を分析するとともに対象の色を検出し；画像の分析に基づいて投影装置の出力または対象を照らす環境照明のいくつかの光源の光源の強度のうちの１つまたは複数を変更し；投影装置の出力または対象を照らす環境照明の光源の強度のうちの変更された１つまたは複数を使用して、検出装置および投影装置を用いて対象の３Ｄ画像を取り込む；ようにプログラムされている。

処理ユニットは、投影装置の出力の波長または強度の１つまたは複数を変化させることによって、投影装置の出力を変更するようにプログラムされ得る。

処理ユニットは、環境照明の光源の強度を増加させることによって、対象を照らす環境照明の光源の強度を変更するようにプログラムされ得る。

処理ユニットは、環境照明の光源の強度を減少させることによって、対象を照らす環境照明の光源の強度を変更するようにプログラムされ得る。

システムはさらに、出力装置をさらに有し得、処理ユニットはさらに、画像を分析した後且つ３Ｄ画像を取り込む前に、スキャン品質を改善するために対象によって取られるべき措置について出力装置を介して対象に指令を提供するようにプログラムされ得る。

検出装置は、ＲＧＢカメラを有し得る。

本発明のこれらおよび他の目的、特徴、および特性、ならびに構造の関連する要素の作動方法および機能、ならびに部品の組み合わせおよび製造経済性は、添付の図面を参照して以下の説明および添付の特許請求の範囲を考慮することにより、より明らかになり、添付の図面は、これらすべてが本明細書の一部を構成し、ここで、同様の参照番号は、種々の図面において対応する部品を示す。しかし、図面は、例示および説明のみを目的としており、本発明の限定の定義として意図されたものではないことは、明確に理解されるべきである。

構造化光３Ｄスキャンの基本原理を示す概略図である。 どのように投影パターンが３Ｄモデルに再構成されるかを示す概略図である。 人間の皮膚の層および各層における発色団の内容物（chromophore content）を示す概略図である。 異なる皮膚の色に対する皮膚反射スペクトルの比較を示すグラフである。 低照度およびより高照度条件下における皮膚のメラニン含有量が高い個人の写真を、そのような照明条件下で得られた対応する３Ｄスキャンとともに示す。 高照度およびより低照度条件下における皮膚のメラニン含有量が低い個人の写真を、そのような照明条件下で得られた対応する３Ｄスキャンと共に示す。 本発明の例示的実施形態による、対象の３Ｄスキャンを得るためのシステムの概略図である。 本発明の例示的な実施形態によって実行される画像の例示的な分析を示す図である。 本発明の例示的な実施形態による方法の概略図である。

必要に応じて、本発明の詳細な実施形態が本明細書に開示されているが、開示された実施形態は、単に本発明の例示に過ぎず、本発明は様々な形態で実施され得ることが理解されるべきである。したがって、本明細書に開示された特定の構造的および機能的詳細は、限定的なものとして解釈されるべきではなく、単に特許請求の範囲の基礎としておよび当業者に実質的に任意の適切に詳細な構造において本発明を様々に使用することを教示するための代表的な基礎として解釈されるべきである。

本明細書で使用されるとき、「１つの（“a”、“an”）」および「その（“the”）」の単数形は、文脈が明白らかにそれ以外を示さない限り、複数の参照を含む。本明細書で使用されるとき、２つ以上の部品または構成要素が「結合されている」という表現は、リンクが発生する限り、部品が直接的または間接的に、すなわち１つまたは複数の中間の部品または構成要素を介して、接合または一緒に動作することを意味する。本明細書で使用されるとき、「直接結合されている」とは、２つの要素が互いに直接的に接触していることを意味する。本明細書で使用されるとき、「固定して結合される」または「固定される」とは、２つの構成要素が、互いに対して一定の向きを保ちながら１つとして動くように結合されることを意味する。

本明細書で使用されるとき、「ユニタリ（unitary）」という用語は、構成要素が単一の部品またはユニットとして作成されることを意味する。すなわち、別個に作られその後１つのユニットとして互いに結合された部品を含む構成要素は「ユニタリ」構成要素またはボディではない。本明細書で使用されるとき、２つ以上の部品または構成要素が互いに「係合」するという記述は、部品が直接的にまたは１つ若しくは複数の中間部品若しくは構成要素を介して互いに力を及ぼし合うことを意味する。本明細書で使用されるとき、「数」という用語は、１または１より大きい整数（すなわち、複数）を意味する。

例えば、それらの上部、下部、左部、右部、上部、下部、前部、後部、および派生物のような、本明細書において使用される方向の語句は、図面に示される要素の向きに関連し、そこに明示的に記載されない限り、請求項を限定しない。

本発明の実施形態は、概して、大部分のスキャナにすでに存在するＲＧＢカメラを使用して、顔の皮膚トーン（skin tone）または物体の色を自動的に検出し、対象上の支持光（または周囲光）を変化させ、および／またはＲＧＢカメラからの入力に基づいて投影された構造化光の波長／強度を変化させることによって、構造化光スキャンの精度を高めるシステムおよび方法に関する。

背景で論じたように、構造化光スキャンは、サイズの点で有利であり、この技術は、構造化光スキャンシステムを、スマートフォンまたは他のスモールフォームファクタのような小さなエンクロージャ内に収容することを可能にする。しかし、顔のスキャン中に、構造化光スキャン方法の精度は、人間の皮膚の反射率と吸収によって損なわれる。我々の実験では、照明条件は、スキャンされる対象の皮膚の色（skin complexion）に応じて変えられる必要があることが明らかである。これは、人間の皮膚が、一般的に図３に示されるように、異なる層（すなわち、表皮、真皮、皮下組織）から構成され、各層は、独特の光散乱および吸収特性を有する異なる量の成分（発色団）を含有するからである。人間の皮膚の主な発色団はメラニンとヘモグロビンである。存在するメラニンの量は、黒い皮膚の（dark-skinned）対象でより多く、白い皮膚の（light-skinned）対象でより少ない。皮膚におけるこれらの異なる量の発色団、特にメラニンは、異なる皮膚タイプから様々な強度で光を反射させる。図４は、４５０〜１８００ｎｍの波長の光における異なる皮膚タイプの皮膚反射率を示す。このプロットから、より白い皮膚（タイプＩ／ＩＩ）は、約４５０ｎｍ〜１１５０ｎｍからの光をより多く反射するが、１２００ｎｍ付近および１３５０ｎｍを超えるとわずかに光の反射が少ないことが分かる。

しかし、構造化光の強度が増加する場合、または支持光（supporting light）が追加される場合、改良されたスキャンを得ることができる。図５のスキャンＡは、図５の対応する写真Ｂに示されているように、皮膚中のメラニン含有量が高い個人について、いかに少なすぎる周囲光がスキャン品質に影響し得るかを示している。個人のより黒い皮膚は、皮膚中の大きいメラニン含有量のため、比較的低い反射率を有する。このような低下した反射率は、スキャナが、特に低周囲光において、顔全体を「見る」ことを困難にし、その結果、概して、断片化された不完全なスキャンを生じる。図５の写真Ｄに示すように、個人を照らすためにより多くの周囲光を加えられた場合、図５のスキャンＣに示すように、顔スキャン品質が大幅に改善された。

図５の例とは対照的に、メラニン含有量が低い個人は、より少ない周囲光を必要とするようである。図６は、周囲光の変化が、皮膚のメラニン含有量が低い人のスキャン品質にどのように影響するかを示している。図６の写真Ｂに示されているように、多すぎる周囲光は、スキャンに孔をもたらし、図６のスキャンＡに示されているように、貧弱な表面解像度をもたらした。図６の写真Ｄに示されているようなより少ない周囲光は、図６のスキャンＣに示されているようにはるかに優れたスキャン品質をもたらした。従って、異なる皮膚トーンが異なるスキャン品質を生じ得ることを実証することができる。前述の実施例では、周囲光を変化させることはスキャン品質に劇的な影響を与えた。これらの場合、皮膚トーンを検出し、それに応じて支持光を変化させるシステムは、自動化された方法でスキャン品質を改善することができた。

図７は、本発明の例示的な実施形態による対象の３Ｄ画像を得るためのシステム１０の概略図である。システム１０は、以下に記載されるように、本発明による３Ｄスキャン方法を実行する際に使用され得る。システム１０は、検出装置２０を含み、これは、本発明の例示的な実施形態では、スキャンされる対象（例えば、限定するものではないが、顔、身体の一部、物体など）の皮膚トーンまたは色を検出するＲＧＢカメラの形態である。構造化光スキャンを実行するための従来の装置と同様に、システム１０は、スキャンプロセスで使用される構造化光の光源を提供する投影装置３０をさらに含む。以下にさらに説明するように、投影装置３０によって投影される光の波長および／または強度は、特定の環境における特定の対象に対するスキャンを最適化するために選択的に変更することができる。

引き続き図７を参照すると、システム１０は、さらに、検出装置２０および投影装置３０と通信する処理ユニット４０を含み、それらの動作を制御し、それらから信号を受信する。処理ユニット４０は、例えば、マイクロプロセッサ、マイクロコントローラまたは他の適切な処理デバイスであり得るプロセッサ部分（番号が付されていない）と、処理部分の内部であり得るまたは処理部分に動作可能に結合され得、データおよびシステム１０の動作を制御するために処理部分によって実行可能なソフトウェアのための記憶媒体を提供するメモリ部分（番号が付されていない）とを含む。メモリ部分は、限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（複数可）、ＥＥＰＲＯＭ（複数可）、ＦＬＡＳＨ等の種々の内部記憶媒体および／または外部記憶媒体であって、コンピュータの内部記憶領域の様式のようなデータ記憶のための記憶レジスタ、即ち、機械可読媒体を提供し、揮発性メモリまたは不揮発性メモリであることができる。

処理ユニット４０は、所与のトレーニング画像のセットを使用して検出装置２０によって取り込まれるフレーム内の顔を自動的に検出するために、既知の技術を使用してトレーニングされ得る分類器によってプログラムされる。一旦、分類器が顔を検出するのに十分にロバストにトレーニングされると、スライディングウインドウプロトコルが、画面内の左上から右下までのピクセルを分析するために使用される。ストライディングレイヤ（striding layer）がスクリーン内のピクセルを読み取ると、ピクセル強度が平均化されて、環境照明および顔検出器内の個人の皮膚の色も見出す。この構成は、対象の皮膚強度およびレーザ投影機の強度を読み取ることによって環境の照明を調整するためのフィードバックループとして使用することができる。この構成の例示的な表現を図８に示す。

システム１０はまた：処理ユニット４０に情報を入力するための処理ユニット４０と通信する入力装置５０；処理ユニット４０からユーザに出力を提供するための出力装置６０；または、処理ユニット４０に入力をまたは処理ユニット４０から出力を提供するための入力／出力装置の組み合わせ；を含み得る。システム１０はまた、処理ユニット４０によって制御可能ないくつかの環境照明７０の光源を含み得る。例えば、環境照明７０は、対象がスキャンされている部屋のスマート照明を含み得、これは、処理ユニット４０によって自動的に制御される、すなわち、増加／減少させることができる。別の例として、環境照明７０は、部屋の照明とは別であるが処理ユニット４０によって制御可能である、装置１０内に収容されるかまたは装置１０とは異なる、いくつかの光源を含み得る。

このように、本発明の例示的な実施形態による例示的な３Ｄスキャン装置１０の基本構成要素を説明したので、本発明の例示的な実施形態による対象の３Ｄスキャンを得るための例示的な方法１００について、図９と併せて説明する。方法１００は、対象の画像が検出装置２０を介して取り込まれる１１０で始まる。次に、１２０において、画像が処理ユニット４０によって分析される。そのような分析の間に、スキャンされる対象の皮膚トーン（例えば、明または暗）が決定される。対象を照らす環境照明も決定される。次に、１３０に示されるように、投影装置３０（例えば、波長、強度）および／または環境照明７０（例えば、強度）の出力の一方または両方が、皮膚トーンおよび対象を照らす元の（original）照明に基づいてスキャンを最適化するために、所定のパラメータに従って調整される。オプションで、スキャン品質を改善するために、出力装置６０を介して対象に指令（instructions）が提供され得る。例えば、そのような指令は、対象に、検出装置２０に対するその位置決め（例えば、より近づく、より遠くに動く、回転するなど）を調整するように指示し得る。別の例として、このような指令は、対象に環境照明の変化（例えば、明るく、暗く）を引き起こすように指示し得る。最後に、対象の３Ｄスキャンが、１４０で示すように、検出装置および投影装置を使用して取り込まれる。

本発明を、現在最も実用的で好ましいと考えられる実施形態に基づいて説明する目的で詳細に説明したが、そのような詳細は、専らその目的のためのものであり、本発明は、開示された実施形態に限定されるものではなく、むしろ、添付の特許請求の範囲の精神および範囲内にある修正および均等な構成をカバーすることを意図していることが理解されるべきである。例えば、本発明は、可能な範囲で、任意の実施形態の１つまたは複数の特徴を任意の他の実施形態の１つまたは複数の特徴と組み合わせることができることを意図していることが理解されるべきである。

請求項において、括弧の間に配置された引用符号は、請求項を限定するものと解釈してはならない。「有する」または「含む」という語は、請求項に記載されているもの以外の要素またはステップの存在を除外するものではない。いくつかの手段を列挙する装置の請求項においては、これらの手段のいくつかは、１つの同一のハードウェアのアイテムによって具体化され得る。要素の前にある「１つの（「a」または「an」）」という語は、これらの要素の複数の存在を除外しない。幾つかの手段を列挙する何れの装置の請求項においても、これらの手段の幾つかは、一つの同一のハードウェアのアイテムによって具体化され得る。特定の要素が相互に異なる従属請求項に記載されているという単なる事実は、これらの要素が組み合わせて使用できないことを示すものではない。

Claims (6)

1. 対象の３Ｄ画像を取り込むためのシステムであって、前記システムは：
   前記対象および周囲の環境の画像を取り込むように構成される検出装置と；
   構造化光の光源を提供するように構成される投影装置と；
   前記検出装置および前記投影装置と通信する処理ユニットであって、前記処理ユニットは：
   前記検出装置によって取り込まれる前記対象の画像を分析するとともに前記対象の色を検出し；
   前記画像の前記分析及び検出された前記対象の色に基づいて前記対象を照らす環境照明の光源の強度を変更し；
   前記対象が前記処理ユニットにより変更された強度で前記環境照明の前記光源によって照らされている間に前記検出装置に前記対象の３Ｄ画像を取り込ませる；
   ようにプログラムされている、処理ユニットと；
   を有し、
   前記処理ユニットは、前記環境照明の前記光源の前記強度を増加及び／又は減少させることによって、前記対象を照らす前記環境照明の前記光源の前記強度を変更するようにプログラムされる、
   システム。
2. 前記処理ユニットは、前記投影装置の出力を変更するようにプログラムされる、
   請求項１に記載のシステム。
3. 前記処理ユニットは、前記投影装置の前記出力の波長または強度の１つまたは複数を変化させることによって、前記投影装置の前記出力を変更するようにプログラムされる、
   請求項２に記載のシステム。
4. 出力装置をさらに有し、前記処理ユニットはさらに、前記画像を分析した後且つ前記３Ｄ画像を取り込む前に、スキャン品質を改善するために前記対象によって取られるべき措置について前記出力装置を介して前記対象に指令を提供するようにプログラムされる、
   請求項１に記載のシステム。
5. 前記検出装置は、ＲＧＢカメラを有する、
   請求項１に記載のシステム。
6. 前記環境照明の前記光源はスマート照明を含む、
   請求項１に記載のシステム。

Images