JP6554638B2 - 物体によって反射された光の特徴に基づく体積内の物体の識別 - Google Patents

物体によって反射された光の特徴に基づく体積内の物体の識別 Download PDF

Info

Publication number
JP6554638B2
JP6554638B2 JP2017545336A JP2017545336A JP6554638B2 JP 6554638 B2 JP6554638 B2 JP 6554638B2 JP 2017545336 A JP2017545336 A JP 2017545336A JP 2017545336 A JP2017545336 A JP 2017545336A JP 6554638 B2 JP6554638 B2 JP 6554638B2
Authority
JP
Japan
Prior art keywords
light
volume
reflected
objects
light pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017545336A
Other languages
English (en)
Other versions
JP2018508074A5 (ja
JP2018508074A (ja
Inventor
ロマーノ、ニタイ
グロッシンガー、ナダブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of JP2018508074A publication Critical patent/JP2018508074A/ja
Publication of JP2018508074A5 publication Critical patent/JP2018508074A5/ja
Application granted granted Critical
Publication of JP6554638B2 publication Critical patent/JP6554638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Description

本発明は、そのいくつかの実施形態では物体認識に関し、より詳しくは、排他的ではないが、シーン上への光学投影を使用して、例えばユーザの手などの物体を3次元(3D)で検出して追跡するシステムおよび方法に関する。
ユーザが特定の装置を遠隔制御することが可能となる種々の方法が存在する。例えば、ユーザの身体部分(例えば、腕、脚)の所定のジェスチャまたは姿勢により装置を制御することができる。装置を制御するためにジェスチャまたは姿勢を用いる方法では、ユーザの身体部分が特定の位置に一致するときジェスチャが識別され、コンピュータまたは他の装置が機能を実行するか、または識別されたジェスチャに対応する動作を実行する。
いくつかの実施形態では、ユーザによるジェスチャは、画像撮像装置によってユーザの画像または動画を撮像し、その画像または動画のデータの複数の画素を解析することによって識別される。従来のジェスチャ検出方法は、画素の色の値をその画素に近接する他の画素の色の値と比較することによって、画像内の画素を解析する。したがって、これらの従来の方法は、ユーザの身体部分と画像の背景内の物体との間において色の値に大きな差があることに依存している。
ジェスチャ検出のための他の方法は、ユーザの1つ以上の身体部分の骨格モデル(例えば、ユーザの手の3次元モデル)を形成し、その骨格モデルを解析することでユーザによるジェスチャを識別する。あるいは、ジェスチャ検出のための代替方法は、各画素が深さカメラから画素に対応する物体の部分までの距離を含む3次元深さマップを使用する。深さマップは、種々の方法を使用して計算することができる。例えば、風景の深さマッピングは、既知の光パターン(すなわち、構造化光パターン)を風景に投影することによって行われ、画像撮像装置は、既知の光パターンが風景に投影されたときの風景の画像を撮像する。光パターンは一定であり予め分かっているので、光パターンの下位部分または固有の特徴を識別することができる。景観の部分と画像撮像装置との間の距離(すなわち、風景の部分の「深さ」)は、画像撮像装置によって撮像された画像内の光パターンの識別された特徴のずれに基づいて計算される。しかしながら、風景に投影された光パターンの画像を撮像する場合には、既知の光パターンの特徴と相関付けすることができる撮像画像内の光パターンの特徴を識別するために、より多くの量の撮像画像を解析する必要がある。加えて、既知の光パターンを投影するプロジェクタと画像撮像装置との間の分離が比較的大きい場合には、風景内における物体の深さずれに関して既知の光パターンの画像のより大きなずれを生成することによって、より高い分解能での深さ検出を提供する必要がある。
しかしながら、深さマップを決定するこれらの従来の方法は計算コストが高く、また、特定の物体の正確な決定を可能にする結果を生成しない。例えば、従来の深さマッピング方法は、密接に関連するジェスチャまたは姿勢を区別するための指または身体部分の正確な検出を可能としない。加えて、現在の姿勢、骨格モデル、ジェスチャ、認識方法およびシステムは、そのシステムのカメラによって識別される事前姿勢またはジェスチャを必要とする。例えば、ユーザは、システムに予め定義され認識される「停止」のサインの姿勢を提供するためには、カメラに手を提示しなければならない。この事前姿勢検出ステップは、ジェスチャ認識システムとの各相互作用の前にユーザが所定の姿勢を実行することを要求するので、ユーザの自然な挙動を制限し、ジェスチャ認識の手順を複雑にする。
光ビームに対して所定の光学構造を符号化するための1つ以上の所定の特性に従って符号化された光ビームを提供することにより体積内の物体が追跡される。一実施形態では、光ビームは、複数のストライプなどの構造化光である。符号化された光ビームは体積内に投影され、体積で反射された光が検出器によって検出される。光ビームに対して符号化された所定の光学構造の例は、光プロファイルのコリメーション角、光ビームのプロファイルの強度、光プロファイルの均一性、および光源のコヒーレンスを含む。検出された反射光が解析され、物体の少なくとも1つの光反射特性に従って物体がセグメント化される。このセグメント化に基づいて、物体が関心物体として識別され得る。いくつかの実施形態では、セグメント化された物体の深さマップが、検出された反射光から生成される。
物体は、検出された反射光のパターン内の反射された光の幅に従ってセグメント化され得る。あるいは、物体は、検出された反射光の強度プロファイルの変化に基づいてセグメント化される。強度プロファイルの変化は、検出された反射光のパターンの局所的な均一反射プロファイルの変化であってもよいし、検出された反射光のパターンのスペックルであってもよい。別の例として、強度プロファイルの変化は、検出された反射光のパターンの散光または迷光プロファイルの変化である。
一実施形態では、光ビームは、偏光構造と追加の偏光構造とに偏光されて、複数の画像を生成する。体積の偏光構造の画像が体積の追加の偏光構造の追加の画像から除去され、追加の偏光構造の追加の画像から偏光構造の画像を除去した結果から物体が抽出される。物体は、ユーザの身体の一部(例えば、手、腕)、ゲームツール、または任意の他の適切な物体とすることができる。
体積内の物体で反射された検出光の特徴と、体積内の追加の物体で反射された検出光の特徴とを比較することによって、体積内の追加の物体を識別することができる。この比較の結果に基づいて追加の物体がセグメント化される。例えば、物体はユーザの顔であり、追加の物体はユーザの手である。
種々の実施形態において、装置は、光パターンとすることができる光ビームを生成するように構成された光源を含む。光学素子は、物体の物理的構造に応じて変化する所定の光学構造を光ビームに適用するように構成されている。光ビームは、所定の光学構造が適用された後に体積内に投影される。検出器は、体積内に投影された光ビームの反射の複数の画像を取得するように構成されており、プロセッサは、検出器に接続され、体積内に投影された光ビームが物体によって反射された光のプロファイルの少なくとも1つの変化に基づいて、複数の画像から物体を抽出するように構成されている。例えば、光ビームの反射光のプロファイルの変化は、光ビームの反射に沿った光パターンの幅の変化であるか、または、光ビームの反射のガウシアン断面強度プロファイルの変化である。他の例では、この変化は光ビームの反射の局所的な均一プロファイルの変化であるか、または、光ビームの反射のスペックルプロファイルの変化である。
装置は、いくつかの実施形態では、検出器に近接して位置する偏光子を含み得る。偏光子は、少なくとも2つの所定の偏光構造に従って、体積で反射された光ビームを偏光するように構成されている。いくつかの実施形態では、プロセッサは、物体の偏光構造の画像を、物体の追加の偏光構造の追加の画像から除去することによって、検出器によって取得された画像から物体を抽出するように構成されている。
一実施形態による物体の光反射を示す概念図。 一実施形態による物体の光反射を示す概念図。 一実施形態によるジェスチャを用いた装置とのユーザ相互作用の概念図。 一実施形態による物体をセグメント化するシステムのブロック図。 一実施形態によるユーザの手の上に投影された光パターンの概念図。 一実施形態による体積内の物体をセグメント化する方法のフローチャート。 一実施形態による光ビームを作動させる方法のフローチャート。 一実施形態による体積内に投影された光ビームから物体を識別する方法のフローチャート。 一実施形態による体積内の物体上への光ビームの投影例を示す図。 一実施形態による体積内の物体上への光ビームの投影例を示す図。 一実施形態による体積内の物体上への光ビームの投影例を示す図。 一実施形態による体積内に光ビームを投影することにより体積内の物体をセグメント化するシステムの例示的な構成図。 一実施形態による体積内に光ビームを投影することにより体積内の物体をセグメント化するシステムの例示的な構成図。 一実施形態による体積内に光ビームを投影することにより体積内の物体をセグメント化するシステムの例示的な構成図。 一実施形態による体積内の物体をセグメント化する方法のフローチャート。 一実施形態による手の上に投影された光ビームを撮像した偏光画像の例を示す図。 一実施形態による光ビームを用いて体積内の物体をセグメント化するシステムのブロック図。 一実施形態による仮想現実システムにおけるヘッドマウント装置の例を示す図。 一実施形態によるハンドジェスチャを用いて仮想現実環境との相互作用をもたらす概念図。
図面は例示のみを目的として種々の実施形態を示しており、本明細書に記載される原理から逸脱することなく本明細書に例示される構造および方法の代替の実施形態が使用され得ることを、以下の説明から当業者は容易に認識し得る。
[概略]
シーンまたは風景などの体積内の物体を抽出するために体積の3次元深さマッピングが種々のシステム(例えば、骨格モデリング、ジェスチャ認識システム、VR(仮想現実)、拡張現実または遠隔制御検知アプリケーション)で使用される。例えば、深さマッピングは、体積からユーザの手やユーザの顔を抽出するために使用される。3次元深さマッピングからのデータによって、体積内の背景の風景から、ユーザの手、ユーザの顔、または他の物体をセグメント化することが可能となる。従来の方法は、体積からの物体のセグメント化を可能にするために体積全体の3次元深さマップを計算する。しかしながら、体積全体の3次元深さマップを生成するには多くの計算資源を必要とし、しばしば指定の処理ユニットが使用される。また、背景の風景から特定の物体(例えば、指)を抽出することを可能にする高分解能の3次元深さマップの抽出が周囲光条件によって制限を受ける場合があり、シーンからの特定の物体の効果的な抽出が所定の精度の制約に制限される。
体積内の物体によるジェスチャを認識するまたは骨格モデリングを行うための他の従来技術は、身体部分または他の物体を抽出するための2次元の赤、緑、青(RGB)データを提供することである。例えば、RGBデータに基づく色の解析または画像差異が使用される。2次元RGBデータを使用する方法も大きな計算能力を消費し、体積内の光の条件に敏感である。また、2次元RGBデータを用いた場合には、複雑な姿勢や3次元データを抽出することができない。
また、他の従来のジェスチャ認識システムおよび方法では、検出される物体(例えば、ユーザの手)の所定の姿勢または形状に依存して、物体が確認され、撮像画像から物体が抽出される。しかしながら、物体を抽出するために所定の姿勢または形状を使用することはユーザの自然な振る舞いを制限し、ユーザがジェスチャ認識システムと相互作用する前にユーザの姿勢またはジェスチャを特定することでジェスチャ認識を複雑にする。なお、本明細書で使用する「ジェスチャ」とは、物体(例えば、ユーザの手、ユーザの身体)の所定の姿勢または位置、あるいは2次元または3次元での物体の所定の動きを指す。
ジェスチャを検出またはモデル化するために、送信機は、光源(例えば、レーザダイオード)と、所定の光パターンを生成するように構成された1つ以上の光学素子とを含む。光学素子は、回折光学素子、屈折光学素子、または所定の光パターンを提供することができる他の光構造素子とすることができる。送信機は、光パターンを体積内に投影することによってカメラセンサの視野内の体積を照明するように構成されている。投影された光パターンは、体積の種々の光特性で符号化されるか、またはその光特性によって定義される。例示的な光特性は、コリメーション角、強度変動、偏光、および光の1つ以上のコヒーレンス特性を含む。本明細書で使用する「符号化」とは、光の強度変動、偏光、1つ以上のコヒーレンス特性などの1つ以上の特性を含むように投影パターンを操作することとして定義される。投影された光パターンの特性は体積内の物体(例えば、身体)の表面によって影響を受け、物体で反射された光が解析されることにより背景(例えば、体積内の他の物体)から物体が検出および/またはセグメント化される。投影された光パターンの特性に影響を与える物体表面の特性の例は、物体の表面粗さ(例えば、散乱)、物体の透過性、物体の拡散特性、物体の吸光度、および物体の鏡面性を含む。
いくつかの実施形態では、投影された光パターンは、種々の深さまたは視野に応じて特定の所定のまたは既知の特性を有する。例えば、ユーザの手などは、特定の表面特性群を含む。ユーザの手の特性の例は、粗さ(例えば、散乱)、透過性、拡散特性、吸光度、および鏡面性を含む。ユーザの手の特性のために、ユーザの手によって反射された光パターンは、体積内の他の物体によって反射された光パターンのシグネチャとは異なる特定の固有のシグネチャを有する。ユーザの手によって反射された光パターンのシグネチャに基づいて、ユーザの手と同じまたは類似の表面特性を有する追加の物体(例えば、ユーザの手の皮膚と一致する他の皮膚の領域)も体積内で他の物体からセグメント化される。物体によって反射された光パターンに基づいて体積から物体をセグメント化することにより、物体を局所的にセグメント化することが可能となるとともに、光パターン全体または風景全体を解析することができない複雑な風景を有する体積内において物体をセグメント化することが可能となる。
また、反射光パターンを使用することにより、物体に関する事前情報(例えば、構造、形状)がなくてもシーン(例えば、種々の物体)を含む体積から1つ以上の物体をセグメント化することが可能となる。したがって、反射光パターンに基づいて物体をセグメント化することにより、物体の形状または姿勢を識別する情報が記憶されていなくても体積から物体をセグメント化することが可能となり、体積から物体を直接的に且つ直ちに識別することが可能となる。例えば、所定の形状または姿勢を使用する物体セグメント化の方法では、形状または姿勢を識別する記憶情報内に「停止」サインまたは「スワイプ」ジェスチャが含まれていない場合には、体積内のユーザの手による「停止」サインまたは「スワイプ」ジェスチャを識別することができない。しかしながら、ユーザの手で反射された光パターンを使用することにより、情報が記憶されていなくても、そのユーザの手を体積内で識別することが可能となる。物体で反射された光パターンに基づいて物体を識別することにより、システムとの相互作用のための姿勢およびジェスチャを拡張するための計算リソースを削減することができる。
[物体の反射率]
体積内に投影された光は、体積内の種々の物体で様々に反射される。物体の表面およびその物体を構成する1つ以上の材料は、その物体が光をどのように反射するかに影響を及ぼす。物体の種々の特性が、その物体による光の反射に影響を及ぼす。物体が光をどのように反射するかに影響を与える物体の特性の例は、テクスチャ、材料の種類、不透明度、粗さ、拡散性、および鏡面性を含む。
拡散反射は、入射光線が表面によって多くの角度で反射されるような表面での光の反射である。照明時において、理想的な拡散反射面は、表面に隣接する半分の空間においてすべての方向から等しい輝度(ランバート反射率)を有する。対照的に、表面での光の鏡面反射は、入射光線が単一の角度で反射されるような表面での光の反射である。
例えば、図1Aは、光沢のある表面を含む物体20(例えば、壁)に投影された光10を示す。光10は、物体20によって、拡散光線15および鏡面光線25として反射される。拡散光線15と鏡面光線25は、理想的な拡散反射体におけるランバートの余弦則に従って変化する。
完全に不透明ではない材料または物体(例えば、人間の皮膚など)によって反射される光は、物体の表面下における散乱中心によって散乱される。例えば、図1Bは、皮膚表面102と皮膚の部分110,120,130とを含む人間の皮膚を示す。皮膚に入射する光線115は、皮膚表面102によって部分的に反射される一方、その光線115の一部は、皮膚表面102を通過して、部分110によって部分的に反射される。光線115の別の部分は部分110を通過して部分120に入り、この部分120は光線115の一部を反射する。同様に、光線115の一部は部分120を通過して部分130に入り、この部分130も光線115の一部を反射する。したがって、一連の「一次」散乱線は、皮膚に入射する光線115によって生じ、その一次散乱線は、上述のメカニズムを通じて(図1Bに点線で示される)多数の「二次」散乱線を生じさせる。また、この二次散乱線は、三次散乱線等を同様に生じさせる。種々の光線は、それらの光線の光を部分的に吸収する皮膚を通過して、それらの光線の一部は皮膚表面102に達するとランダムな方向に出射される。したがって、皮膚によって反射された光は、皮膚表面102に基づく固有の構造で複数の方向(例えば、すべての方向)に反射される。
反射率のクベルカ・ムンク(Kubelka-Munk)理論は、物体の反射率を解釈するための物理的モデルを提供する。クベルカ・ムンク理論を用いることにより、弱吸収サンプルにおける吸光種の反射率と濃度との相関が与えられる。クベルカ・ムンク関数は次式で与えられる。
F(R)=(1−R)/2R=k/s=Ac/s
ここで、
R=反射率、
k=吸光係数、
s=散乱係数、
c=吸光種の濃度、
A=吸光度、
である。
したがって、人間の皮膚などの物体を含む体積内に投影された光パターンは、物体および体積の背景で様々に反射される。
[ジェスチャおよび姿勢の検出]
図2は、空中におけるユーザの手210の動きなどのジェスチャを使用して装置と相互作用するユーザ200の概念図である。図2の例では、ユーザの手210の動きにより、ユーザ200はスクリーン260上に表示された仮想キーボード240をタイプすることが可能となる。ジェスチャを検出するために、検出装置250は、光パターンを手210に照射して、手210からの光パターンの反射を検出する。反射光パターンに基づく三角測量により、検出装置250は手210を含む体積の深さマップを生成することが可能となる。
図3は、物体をセグメント化するためのシステムの一実施形態のブロック図である。図3の例では、システムは送信機311および受信機312を含む。種々の実施形態では、送信機311は光源313(例えば、レーザ光源)とともに1つ以上の光学素子314.1,314.2を含み、これらの光学素子314.1,314.2は、光源313からの光に対してパターンを符号化する。送信機311は、光パターンが符号化された光を体積315(例えば、シーン)に照射する。体積315内の物体(例えば、物体316)が光パターンを反射すると、反射光パターンが種々の特性を得るようになる。反射光パターンの例示的な特性は、コリメーション角、強度変動、偏光、および1つ以上のコヒーレンス特性を含む。受信機312(例えば、電荷結合ディスプレイ検出器、相補型金属酸化物半導体検出器を有するカメラ)は、体積315内の物体での反射光を撮像して反射光パターンを解析する。受信機312は、体積315内の物体で反射された光パターンのシグネチャを使用して、体積315内の物体が関心物体であるかどうかを判定する。例えば、受信機312は、反射光パターンに対してセグメント化処理を実行することで、体積315内の物体が関心物体であるかどうかを判定する。種々の実施形態では、体積315内の任意の適切な物体を関心物体とすることができる。例えば、テニスラケットが関心物体であったり、あるいは、ユーザの身体の一部(例えば、手、腕)が関心物体であったりする。また、いくつかの実施形態では、受信機312は、光パターンを反射する体積315内の種々の点の深さ情報を取得する。
図4は、ユーザの手410に投影された光パターンの概念図である。以下で詳しく説明するように、ユーザの手410によって反射された光パターンの特徴に基づいて手410を検出することが可能であり、手410に関する事前情報がなくても、手410の動きが追跡される。手の検出または追跡を可能にするために、手410に投影された光パターンが、追跡を可能にするように符号化される。種々の実施形態では、手410に投影された光パターンは、二次元動画データにおける動きの追跡を可能にするが、手410をユーザの身体の他の部分と区別する複雑さは距離に応じて増す。一実施形態によれば、光パターンは、二次元動画データ(例えば、従来のビデオカメラによる動画)での手410の指の動きを追跡するように特に設計されている。具体的に、光パターンは、以下で詳しく説明するように、物体によって反射された光パターンの歪みやサイズなど、物体によって反射された光パターンの所定のシグネチャの検出に従って、二次元動画データから、手410の指(例えば、親指や他の指)とともに、手410の手のひらの検出および追跡を可能とするように設計されている。図4に示す例では、光パターンは、互いに平行または実質的に平行な複数のストライプを含む。
カメラ(図3では、例えば受信機312)は、手410の上や、手410を含む体積の背景420(手410が存在する面など)の上に光パターン(図4では、例えばストライプ)を投影するプロジェクタ(例えば、送信機311)とともに配置される。カメラおよび送信機は、共通軸において互いに平行に配置されてもよいし、互いに直交して配置されてもよいし、あるいは、種々の実施形態では互いに任意の位置に配置されてもよい。カメラの位置は、カメラと、光プロジェクタと、手410および背景420からカメラに向けて反射される光プロジェクタからの光との間で三角測量効果を生成するように選択することができる。
体積内の手420などの物体は、種々の物体の表面(例えば、手420の皮膚)で反射された固有の光の特徴に従って識別またはセグメント化される。したがって、手420の皮膚によって散乱された光パターンの光は、手420に投影されたパターンのストリップに沿った点で光パターンの1つ以上の特徴を変化させる。手420での散乱による光パターンの1つ以上の特徴の変化に基づいて、プロセッサまたは他の装置は手420を識別する。
反射光パターンのセグメントの特徴の変化が識別されることにより、体積が2つ以上の部分または区域にセグメント化(例えば、分割)される。図4の例では、手420によって反射された光パターンのセグメントの変化により、手420を含む「皮膚」の区域と、手420以外の物体または材料を含む「背景」の区域とに体積が分割される。例えば、図4の区域431は、手420を含むとともに、皮膚で反射された光パターンの部分を識別する1つ以上の特定の特徴を有する反射光パターンの部分を含む。一方、図4の区域432は、皮膚以外の表面を有する物体(例えば、体積の背景内の物体)で反射された光パターンの部分を含む。
例えば、図3の送信機311は、DOE(回折光学素子)またはROE(屈折光学素子)などの複数の光学素子を含み、これにより、送信機311によって照射された光が異なる特性(例えば、強度コヒーレンスレベル、コリメーション角)で符号化される。照射光の特性は、手に照射された照射光(すなわち、区域431に照射された光)のストライプまたはその周囲にノイズを形成する。したがって、ユーザの手の皮膚で反射された光パターンの光の拡散により、区域431内の照射光パターンのストライプはきれいにはっきりと滑らかに見える一方、皮膚以外の表面を有する物体で反射されたストライプは裂けて細断されるように見える。
手420で反射された光パターン(例えば、ストライプ)の光の1つ以上の特徴に基づいて手420を識別可能であるとともに体積内の他の物体から手420をセグメント化することができる。反射光パターンの特徴の例は、反射パターン光の幅、反射光の強度プロファイルの変化(例えば、増加)(例えば、光パターンのガウシアン断面強度プロファイルの変化)、局所的な均一性(投影光パターンに対する反射光パターンのプロファイルにおいて反射光パターンの一部のパターン強度が平坦であるなどの変化)、反射光パターンの偏光の変化、表面の不透明さ、粗さ、コヒーレンスレベル、散光に起因した反射光パターンのスペックル、光パターンの各部分間のコントラストの変化(例えば、光パターンが半透明媒体(人間の皮膚などの光が内部を伝搬する媒体)上に照射される場合など)を含む。なお、図4は、複数のストライプ(例えば、線形パターン)を含む例示的な光パターンを示しているが、他の種類の光パターンを他の実施形態で使用することができる。代替の光パターンの例は、点、三角形、長方形、円を含む。種々の実施形態では、光パターンは単一の画素よりも大きい(例えば、光パターンは複数の画素を包含する)。
図5は、体積内の物体をセグメント化するための方法の一実施形態のフローチャートである。他の実施形態では、この方法は、図5に関して説明するものとは異なるまたは追加のステップを含む。また、種々の実施形態では、本方法のステップは、図5に関して説明する順序とは異なる順序で実行されてもよい。
以下で詳しく説明するように、光は体積内に投影される(510)。種々の実施形態において、投影光はスーパースペックルストライプなどの光パターンを含む。光が体積内に投影されると(510)、光パターンのストライプが関心物体上に形成される。図4に関して上述したように、関心物体のパターンは、関心物体によって反射された光パターン(例えば、ストライプ)の部分のノイズまたは1つ以上の他の特徴(例えば、パターン幅や形状や不一致性)によって示される。関心物体によって反射された(および他の物体によって反射された)光パターン(すなわち、「反射光パターン」)は、コンピュータプロセッサによって解析される(520)。例えば、関心物体を含む体積によって反射された光パターンの画像の画素が、各画素における1つ以上の反射光パターンの特徴に基づき検出アルゴリズムによって解析される。この反射光パターンの解析に基づいて、関心物体が体積からセグメント化される(530)。これにより、体積内の物体を迅速かつ直接的に発見可能となるとともに、体積内の関心物体(例えば、手、指)の迅速な識別が可能となる。例えば、体積によって反射された光の画像が走査されることで、画像内の各画素が「背景」または「物体」(例えば、手)として識別される。いくつかの実施形態では、関心物体を体積からセグメント化(530)した後に、関心物体が識別される(540)。物体の形状およびその物体を特徴付ける記憶情報(例えば、ユーザにユーザの手を上げさせ、特定のパターンでユーザの手を開かせることで、ユーザの手を識別するなど)に基づいて物体を体積から識別する従来の方法とは異なり、上述した方法では、物体の初期形状にかかわらず、関心物体を正確かつ直接的に識別することが可能となる。いくつかの実施形態では、関心物体をセグメント化(430)または識別(540)した後に、関心物体の種々の点についての深さ情報が決定される。
図6は、光ビームを操作する方法の一実施形態のフローチャートである。他の実施形態では、この方法は、図6に関して説明するものとは異なるまたは追加のステップを含む。また、種々の実施形態では、本方法のステップは、図6に関して説明する順序とは異なる順序で実行されてもよい。
光ビームを供給するために光源が作動される(610)。種々の実施形態では、光源は、半導体レーザアレイである。例えば、光源は垂直共振器面発光レーザ(VCSEL)アレイである。アレイ内のレーザは個々に又は行単位で作動させることができ、行間で強度の周期的変動を与えるべく、異なる行でレーザの強度を変化させることによって光ビームを変化させることができる。
次いで、光ビームの光学特性が規定される(620)。これにより、光源が体積内の物体(例えば、体積内の手、体積内の壁)で反射されたときに、反射光の異なる特性の検出が可能となる。いくつかの実施形態では、さらに光ビームの追加の光学特性が定義される(630)。光学的な特徴を(いくつかの実施形態では追加の光学的な特徴とともに)定義(620)した後、その光学特性を有する光ビームが体積内に投影される(640)。
[反射率の比較方法]
種々の条件に基づく様々な物体での光の反射率の違いは、物体によって反射された光のシグネチャに基づいて物体を識別する複雑さを増加させる。例えば、皮膚によって反射される光は皮膚の老化に伴って変化するため、古い皮膚と若い皮膚との間で光の反射率が異なる。したがって、いくつかの実施形態では、体積内の物体によって反射された光の1つ以上の特徴をその体積内の追加の物体の1つ以上の特徴と比較することによって体積内での物体を識別する。このような比較により、物体による光の反射を特徴付ける事前情報がなくても、物体で反射された光に関する情報を提供することができる。
図7は、体積内に投影された光ビームから物体を識別する方法の一実施形態のフローチャートを示す。他の実施形態では、この方法は、図7に関して説明するものとは異なるまたは追加のステップを含むことができる。また、種々の実施形態では、本方法のステップは、図7に関して説明する順序とは異なる順序で実行されてもよい。
送信機は、物体および追加の物体などの複数の物体を含む体積内に光を投影する(710)。検出器は、物体で反射された光と追加の光を取得し、その物体により反射された光の1つ以上の特徴を識別するために反射光を解析する(720)。そして、物体により反射された光のシグネチャに基づいて、その物体により反射された光と同じシグネチャを有する光を反射している体積内の他の物体を識別するために送信機が調整される(730)。図7の例では、物体により反射された光と一致するシグネチャを追加の物体により反射された光が有している。このため、追加の物体により反射された光のシグネチャに基づいて、その追加の物体も識別される(740)。例えば、物体は、形状認識方法または画像処理方法に従って識別されたユーザの顔である。あるいは、以下で詳しく説明するように、ユーザの顔によって反射された光の特徴に基づいてユーザの顔が識別される。ユーザの顔を識別した後、ユーザの顔によって反射された光の特徴と共通の特徴を有する光を反射する体積内の物体を識別するために送信機が調整される(730)。このような調整により、ユーザの手や腕など、体積内において皮膚の表面を有する他の物体の識別が可能となる。
図8Aは、手820および背景810によって反射された光パターンの複数のストライプの例示的な画像800である。図8Aの例では、手810および背景820によって反射された光パターンの1つ以上の特徴の変化に基づいて、背景820から手820を抽出することができる。手810または背景820により反射された光パターンの特徴の例としては、光パターンにおけるストライプの強度変動、光パターンにおけるストライプの幅変動、スペックル均一性、局所的均一性、および軸に沿ったストライププロファイルにおける拡散迷光が挙げられる。例えば、図8Bは、背景810および手820によって反射されたストライプの軸に沿ったストライププロファイルのグレーレベルの変化(例えば、強度と画素との関係)を示す。図8Bの例では、手820を表す曲線は、背景810を表す曲線に対して、強度821の変化と、ストライプ幅822の変化と、迷光823の変化とを示している。図8Cは、図8Cの左側における手820による光の反射率と、図8Cの右側における背景810による光の反射率との間の変化を示している。
[偏光]
偏光イメージングは、物体(例えば、皮膚)からの光の散乱によって引き起こされる非偏光の現れである。偏光システムおよび方法は、医療分野(例えば、皮膚癌検出)において広く使用されている。物体による非偏光の反射は物体の表面で反射された後方散乱光を含み、物体の表面層は物体を照明する光の直線偏光を保持し、物体のより深い層での後方散乱光は非偏光とされる。出力偏光子を入力偏光子に対して平行にまたは垂直に向けることで、後方散乱信号の深さを選択することが可能となる。
偏光スペックルパターンは、次式で表される。
ここで、
は、対応する平行偏光および垂直偏光の画素強度である。
したがって、いくつかの実施形態では、体積内の物体は、物体からの非偏光後方散乱光の反射率に基づいて、その物体を体積内の他の物体に対して抽出すなわちセグメント化することによって識別される。図9Aは、ユーザの手910などの物体を体積から抽出し、その物体を識別するためのシステム900の一実施形態のブロック図である。図9Aに示す例では、システム900は、体積に光を投影するレーザ送信機などの送信機920を含む。偏光子935(例えば、直線偏光子)は、電荷結合素子カメラなどのカメラ930に近接して配置される。カメラ930は、体積内に投影された送信機910からの光の画像を撮像し、偏光子935は、カメラ930の視野内に(例えば、カメラ930と体積との間に)位置する。いくつかの実施形態では、偏光子935は、カメラ930によって撮像された連続フレーム間で偏光子を90度回転させるように構成された回転子に接続されている。
このように、カメラ930は、シーンの画像の直交偏光である2つの画像(例えば、連続フレーム)を撮像する。各画像の偏光スペックルパターンは、上記の偏光方程式に従って計算および解析される。そして、フィルタリングアルゴリズムを使用することで、物体が背景から抽出される。
図9Bは、体積に対してユーザの手910などの物体を識別するためのシステム950の代替の実施形態のブロック図を示す。図9Bに示すシステム950は、図9Aに関して説明したような、体積内に光を投影するように構成された送信機920を含む。また、システム950はカメラ960と追加のカメラ970とを含む。この追加のカメラ970は電荷結合素子カメラとすることができる。偏光子965は、カメラ960と体積との間においてカメラ960に近接して配置される一方、追加の偏光子975は、追加のカメラ970と体積との間において追加のカメラ970に近接して配置される。偏光子965は、偏光配向を用いてカメラ960に体積を画像化させ、追加の偏光子975は、追加の偏光配向を用いてカメラ970に体積を画像化させる。例えば、偏光配向は、偏光子965の水平軸に対して+45度であり、追加の偏光配向は、追加の偏光子975の水平軸に対して−45度である。
図9Cは、体積に対してユーザの手910などの物体を識別するためのシステム970の別の実施形態のブロック図である。図9Cに示す実施形態では、偏光ビームスプリッタ980が、カメラ960と体積との間に(例えば、カメラ960の視野内において)配置されるとともに、追加のカメラ970と体積との間に(例えば、追加のカメラ970の視野内において)配置される。偏光ビームスプリッタ980は、体積で反射された光を偏光し、シーンで反射された光の一部をカメラ960に導くとともに、シーンで反射された光の別の部分を追加のカメラ970に導く。カメラ960と追加のカメラ970とは互いに直交し、偏光ビームスプリッタ980の異なる側面981,982にそれぞれ取り付けられるかまたは近接している。
図10は、体積内の物体を抽出する方法の一実施形態のフローチャートである。他の実施形態では、この方法は、図10に関して説明するものとは異なるまたは追加のステップを含むことができる。また、種々の実施形態において、この方法のステップは、図10に関して説明する順序とは異なる順序で実行されてもよい。
体積の少なくとも2つの画像が取得される(1010)。ここで、異なる画像は、異なる偏光配向を有している。例えば、画像は偏光配向を有し、追加の画像はその偏光配向とは異なる別の偏光配向を有している。図11によって示す例では、ユーザの手を含む体積の偏光画像1110は、+45度の配向に偏光され、ユーザの手を含む体積の別の画像1120は、−45度の配向に偏光される。
取得された画像から、取得された2つの偏光画像のスペックル偏光コントラストなどの複数化コントラストが、次式に従って計算される(1020)。
C=(A−B)/(A+B)
ここで、
Aは、+45偏光配向の画像、
Bは、−45偏光配向の画像、
である。
体積内の他の物体から物体を抽出するためにフィルタリング処理が実行される(1030)。例えば、図11を参照すると、画像1130は、互いの閾値距離(例えば、9×9グリッドの標準偏差)内の画素の標準偏差を計算して、特定の閾値を超える画素を除去するフィルタリング処理の実行結果を示している。図11の例では、画像1130は、背景1133に対して手1132が輝いた状態を示しており、関心物体である手1132の抽出および識別を可能としている。
図12は、光ビームを用いて体積内の物体をセグメント化するためのシステム1200の一実施形態のブロック図である。図12によって示される実施形態では、システム1200は、上述したように、光パターンで体積を照明するように構成された赤外線(IR)照明器1202を含む。IRカメラ1206などのカメラは体積からのパターン光の反射を受信するように構成され、プリプロセッサ1204はIRカメラ1206からのデータの初期処理を実行するように構成されている。
また、システム1200は、スマートフォンなどの演算装置1210を含み、この演算装置1210は、演算装置1210によって記憶または受信される命令1216を実行するプロセッサ1214を含む。演算装置1210は、合成シーンやユーザの身体部分(例えば、手)の画像などのコンテンツをユーザに提示するように構成されたニアアイディスプレイ1220に接続されている。他の実施形態では、演算装置1210は、ラップトップ、コンピュータ、タブレットコンピュータ、または任意の他の適切な演算装置であってもよい。
IRカメラ1206は、IR照明器1202によって体積内に投影されたIRパターンの反射を撮像する。プリプロセッサ1204は、撮像された反射を最初に処理し、処理したIRパターンの反射を演算装置1210のプロセッサ1214に伝える。命令1216を実行することによって、プロセッサ1214は、受信したIRパターンの反射から物体(例えば、ユーザの身体部分)をセグメント化するか、または、受信したIRパターンの反射から体積内の様々な物体の深さを識別する深さマップを生成する。
いくつかの実施形態では、演算装置1210は、光パターンによって照明された体積内の物体(例えば、ユーザの身体部分)の2次元カラー画像を撮像するように構成された可視光カメラ1212を含む。これにより、プロセッサ1214は、IRパターンの反射から生成された深さマップおよび体積内の物体の2次元カラー画像を使用して、体積内で識別された物体(例えば、ユーザの身体部分)の3次元カラー画像を生成することができる。プロセッサ1214は、物体(例えば、ユーザの身体部分)の反射光パターンの特徴および決定された反射率シグネチャを使用して、受信した体積の画像を処理し、体積から物体をセグメント化するように構成されている。また、プロセッサ1210は、特定した物体について生成した3次元カラー画像を、ニアアイディスプレイ1220によって提示された合成シーンに重ね合わせるように構成されている。これにより、ユーザは、合成シーンとともに、その合成シーン内に配置および配向されて体積から識別された物体(例えば、ユーザの身体部分)を、それらが現実世界に存在するかのように見ることが可能となる。
図13は、仮想現実システムにおける例示的なヘッドマウント装置1310である。図13の例では、ヘッドマウント装置1310は、モバイル装置1320(例えば、スマートフォン)とともに使用するように構成されたヘッドセット1340を備える。ヘッドマウント装置1310は、照明器1312(例えば、レーザ送信機、赤外線パターン照明器など)とカメラ1314(例えば、図12のIRカメラ1206)を含み得る。ヘッドマウント装置1310に含まれるプリプロセッサは、図12で上述したような初期画像処理を実行するように構成されている。ヘッドマウント装置1310はさらに、モバイル装置1320およびヘッドセット1340と物理的且つ電子的にインターフェースするように構成されている。種々の実施形態では、ヘッドマウント装置1310は、モバイル装置1320のディスプレイに送信するように構成された光学系と、カメラ1322を含むモバイル装置1320を保持するように構成されたスリーブ1350とを含む。また、ストラップ1330は、ヘッドマウント装置1310をユーザの頭部に固定可能とする。種々の実施形態では、ヘッドマウント装置1310は、ニアアイディスプレイとインターフェース可能である。
ヘッドマウント装置1310は、ヘッドマウント装置1310の周囲環境の物体(例えば、ユーザの身体部分)の3次元画像を仮想現実シーン内で見ることができるようにすることで仮想現実ヘッドセットを強化することができる。したがって、ヘッドマウント装置1310は、ニアアイディスプレイと接続するためのハードウェアを提供し、ヘッドマウント装置1310を制御して撮像データを解析するための命令を実行する。ヘッドマウント装置1310のいくつかの実施形態では、仮想現実シーンを仮想現実特有の装置なしで提示することが可能である。
図14は、仮想現実環境と相互作用するためにハンドジェスチャを使用する概念図である。ユーザ1410は、図13に関して上述したような装置1400を搭載可能なニアアイディスプレイ1430を着用している。装置1400は、照明器1420(例えば、レーザ送信機)と、ユーザの周囲における体積の画像を撮像するのに十分な視野幅を有する撮像ユニット1415(例えば、カメラ)とを含み得る。動作時、ニアアイディスプレイ1430は、ユーザ1410の両眼に合成シーンを投影するように構成されている。照明器1420は、ユーザ1410の周囲における体積内に光パターン1424を投影する。撮像ユニット1415によって撮像された光パターン1424の反射は、コンピュータプロセッサによって解析される。このコンピュータプロセッサは、装置1400か、ニアアイディスプレイ1430か、または他の任意の適切な構成要素内に配置され得る。装置1400の可視光カメラは、ユーザの手1412か、またはユーザ1410によって制御される別の物体の2次元画像を撮像するように構成されている。装置1400のプロセッサは、ユーザの手1412などの体積内の物体を計算し識別するように構成されている。いくつかの実施形態では、プロセッサはさらに、ユーザの手1412またはジェスチャ物体の深さマップを決定するように構成されている。プロセッサは、深さマップと二次元画像とを、ユーザ1410に提示される仮想画像1460内における対応する位置1462に提示することが可能なユーザの手1412の三次元画像に結合することができる。したがって、ユーザの手1412の3次元属性を保持しながらユーザの手1412の3次元画像が合成シーンに重ね合わせられる。
[概要]
上述した実施形態の説明は、例示を目的として提示されるものであり、包括的であることまたは開示された正確な形態に特許権を限定することを意図するものではない。当業者であれば、上記の開示内容をもとに、多くの変更および変形が可能である。
この説明のいくつかの部分は、情報に関する操作のアルゴリズムおよび記号表現に関する実施形態を説明する。これらのアルゴリズム記述や表現は、データ処理技術の当業者によって一般的に使用され、その作業の実体を当業者に効果的に伝えるためのものである。これらの動作は、機能的に、計算的に、または論理的に記載されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現される。さらに、これらの操作の構成は、一般性を失うことなく、モジュールと呼ばれる場合もある。記載された動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化されてもよい。
本明細書に記載のステップ、動作、または処理のいずれかは、単独で、または他の装置との組み合わせによって、1つ以上のハードウェアまたはソフトウェアモジュールで実行または実装することができる。一実施形態では、ソフトウェアモジュールは、記述されたステップ、動作、または処理のいずれかまたはすべてを実行するコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で具現化される。
また、実施形態は、本明細書の動作を実行するための装置に関連し得る。この装置は、必要な目的のために特別に構成することができ、および/またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成された汎用演算装置を含み得る。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するのに適しておりコンピュータシステムバスに接続され得る任意の種類の媒体に記憶され得る。さらには、本明細書で説明される任意の演算システムは、単一のプロセッサを含むことができ、または演算能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
また、実施形態は、本明細書で説明される演算プロセスによって生成される製品に関連し得る。そのような製品は、非一時的な有形のコンピュータ可読記憶媒体に情報が記憶される演算処理から得られる情報を含むことができ、本明細書で説明されるコンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含むことができる。
本明細書で使用される用語は、主として、読みやすさおよび教授目的のために選択されており、特許権を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、詳細な説明によって限定されるものではなく、本明細書に基づいた出願の任意の請求項によって限定されることが意図される。したがって、実施形態の開示内容は、特許請求の範囲に記載された特許権の範囲を例示するものであって、これに限定されるものではない。

Claims (21)

  1. 方法であって、
    体積内に投影するために光源から光ビームを供給すること、
    前記光ビームに光パターンを適用するための1つ以上の所定の特性で前記光ビームを符号化すること、
    前記光パターンで符号化された光ビームを前記体積内に投影すること、
    前記体積内の1つまたは複数の物体で反射された前記光パターンの光を検出器で検出すること、
    前記体積内の前記1つまたは複数の物体で反射された前記光パターンの検出光を解析すること、
    前記体積内の1つの物体によって反射された前記光パターンの検出光のコヒーレンス特性と、前記体積内の前記1つまたは複数の物体のうちの他の物体によって反射された前記光パターンの検出光のコヒーレンス特性との差を決定することによって前記1つの物体によって反射された前記光パターンの検出光のコヒーレンス特性に従って前記体積内の前記1つの物体を前記体積内の前記1つまたは複数の物体からセグメント化すること、
    前記光源を調整して、前記1つの物体によって反射された前記光パターンの検出光のコヒーレンス特性と同じコヒーレンス特性により前記体積内の前記1つまたは複数の物体のうちの前記他の物体を識別すること、
    を備える方法。
  2. 前記光パターンが複数のストライプを含む、請求項1に記載の方法。
  3. 前記1つの物体により反射された前記光パターンの検出光に基づいて前記1つの物体の深さ情報を生成することをさらに備える請求項1に記載の方法。
  4. 前記1つの物体を関心物体として識別することをさらに備える請求項1に記載の方法。
  5. 前記光パターンは、前記光ビームのプロファイルのコリメーション角、前記光ビームのプロファイルの強度、前記光ビームのプロファイルの均一性、前記光源のコヒーレンス、およびそれらの組み合わせからなる群から選択された光学特性を含む、請求項1に記載の方法。
  6. 前記体積内の1つの物体は、前記1つの物体によって反射された前記光パターンの検出光の幅に基づいてセグメント化される、請求項1に記載の方法。
  7. 前記体積内の1つの物体は、前記1つの物体によって反射された前記光パターンの検出光の強度プロファイルの変化に基づいてセグメント化される、請求項1に記載の方法。
  8. 前記検出光の強度プロファイルの変化は、前記1つの物体によって反射された前記光パターンの光の局所的な均一プロファイルの変化を含む、請求項7に記載の方法。
  9. 前記検出光の強度プロファイルの変化は、前記1つの物体によって反射された前記光パターンの光のスペックルの局所的な均一プロファイルの変化を含む、請求項7に記載の方法。
  10. 前記検出光の強度プロファイルの変化は、前記1つの物体によって反射された前記光パターンの光の散光または迷光プロファイルの変化を含む、請求項7に記載の方法。
  11. 前記体積内の前記1つまたは複数の物体で反射された前記光パターンの光を検出器で検出することは、前記体積内の前記1つまたは複数の物体で反射された前記光パターンを偏光構造と追加の偏光構造に従って偏光して、前記体積内の前記1つまたは複数の物体で反射された光の複数の画像を生成することを含み、
    前記体積内の1つの物体を前記体積内の前記1つまたは複数の物体からセグメント化することは、
    前記体積内の前記1つまたは複数の物体で反射され前記偏光構造を有する光の画像を、前記体積内の前記1つまたは複数の物体で反射され前記追加の偏光構造を有する光の画像から除去すること、
    前記除去した画像から前記1つの物体を抽出すること、
    を含む、請求項1に記載の方法。
  12. 前記1つの物体によって反射された前記光パターンの光の特徴を、前記体積内の追加の物体によって反射された前記光パターンの光の特徴と比較すること、
    前記比較の結果に基づいて前記体積内の前記1つまたは複数の物体から前記追加の物体をセグメント化すること、
    をさらに備える請求項1に記載の方法。
  13. 前記1つの物体はユーザの顔であり、前記追加の物体は前記ユーザの手である、請求項12に記載の方法。
  14. 装置であって、
    光ビームを生成するように構成された光源と、
    1つの物体の物理的構造に応じて変化する所定の光学構造を前記光ビームに適用するように構成された少なくとも1つの光学素子と、
    前記1つの物体を含む体積内の1つまたは複数の物体で反射された前記光ビームの複数の画像を取得するように構成された検出器と、
    前記1つの物体を含む前記体積内の前記1つまたは複数の物体のうちの他の物体で反射された前記光ビームの前記所定の光学構造のコヒーレンス特性に対する、前記1つの物体で反射された前記光ビームの前記所定の光学構造のコヒーレンス特性の少なくとも1つの差に基づいて、前記複数の画像における前記1つまたは複数の物体から前記1つの物体を抽出するとともに、前記光源を調整して、前記1つの物体で反射された前記光ビームの前記所定の光学構造のコヒーレンス特性と同じコヒーレンス特性により前記体積内の前記1つまたは複数の物体のうちの前記他の物体を識別するように構成されたプロセッサと、
    を備える装置。
  15. 前記光ビームに適用される前記所定の光学構造が光パターンを含む、請求項14に記載の装置。
  16. 前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記1つの物体を含む体積内の前記1つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造の幅に対する、前記1つの物体で反射された前記所定の光学構造の幅の変化を含む、請求項14に記載の装置。
  17. 前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記1つの物体を含む体積内の前記1つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造のガウシアン断面強度プロファイルに対する、前記1つの物体で反射された前記所定の光学構造のガウシアン断面強度プロファイルの変化を含む、請求項14に記載の装置。
  18. 前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記1つの物体を含む体積内の前記1つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造の局所的な均一プロファイルに対する、前記1つの物体で反射された前記所定の光学構造の局所的な均一プロファイルの変化を含む、請求項14に記載の装置。
  19. 前記光ビームの前記所定の光学構造のコヒーレンス特性における差が、前記1つの物体を含む体積内の前記1つまたは複数の物体のうちの前記他の物体で反射された前記所定の光学構造のスペックルプロファイルに対する、前記1つの物体で反射された前記所定の光学構造のスペックルプロファイルの変化を含む、請求項14に記載の装置。
  20. 前記検出器の視野内に位置する偏光子をさらに備え、前記偏光子は、少なくとも2つの所定の偏光構造に従って、前記体積内の前記1つまたは複数の物体で反射された前記光ビームの光を偏光するように構成されている、請求項15に記載の装置。
  21. 前記プロセッサは、偏光構造を有する前記1つの物体の画像を、異なる偏光構造を有する前記1つの物体の追加の画像から除去することによって、前記複数の画像から前記1つの物体を抽出するようにさらに構成されている、請求項20に記載の装置。
JP2017545336A 2015-02-25 2016-02-24 物体によって反射された光の特徴に基づく体積内の物体の識別 Active JP6554638B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120440P 2015-02-25 2015-02-25
US62/120,440 2015-02-25
PCT/US2016/019377 WO2016138145A1 (en) 2015-02-25 2016-02-24 Identifying an object in a volume based on characteristics of light reflected by the object

Publications (3)

Publication Number Publication Date
JP2018508074A JP2018508074A (ja) 2018-03-22
JP2018508074A5 JP2018508074A5 (ja) 2018-11-22
JP6554638B2 true JP6554638B2 (ja) 2019-08-07

Family

ID=56789817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545336A Active JP6554638B2 (ja) 2015-02-25 2016-02-24 物体によって反射された光の特徴に基づく体積内の物体の識別

Country Status (11)

Country Link
US (1) US10049460B2 (ja)
EP (1) EP3123288A4 (ja)
JP (1) JP6554638B2 (ja)
KR (2) KR20170124559A (ja)
CN (1) CN107548502B (ja)
AU (1) AU2016222716B2 (ja)
BR (1) BR112017018121A2 (ja)
CA (1) CA2977374C (ja)
IL (1) IL254022B (ja)
MX (1) MX364878B (ja)
WO (1) WO2016138145A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2480955B1 (en) * 2009-09-22 2018-05-16 Facebook Inc. Remote control of computer devices
JP6782239B2 (ja) * 2015-01-06 2020-11-11 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc パターン光を用いた深さマップを提供するための方法およびシステム
JP6801666B2 (ja) * 2015-09-30 2020-12-16 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム
KR20180012057A (ko) * 2016-07-26 2018-02-05 삼성전자주식회사 투시형 디스플레이 장치
KR20180056174A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
US10430647B2 (en) * 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
KR102287586B1 (ko) * 2017-05-31 2021-08-10 (주)아모레퍼시픽 화장료의 두께 측정 장치 및 방법
WO2019012535A1 (en) * 2017-07-12 2019-01-17 Guardian Optical Technologies Ltd. SYSTEMS AND METHODS FOR ACQUIRING INFORMATION FROM AN ENVIRONMENT
CN107515844B (zh) * 2017-07-31 2021-03-16 Oppo广东移动通信有限公司 字体设置方法、装置及移动设备
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US10527885B2 (en) * 2018-04-03 2020-01-07 Facebook Technologies, Llc Display device with optical reflecting layer for reduction of screen door effect
CN108846853A (zh) * 2018-04-26 2018-11-20 武汉幻视智能科技有限公司 一种基于目标跟踪和姿态检测的教学行为分析方法及装置
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
KR20200018207A (ko) * 2018-08-10 2020-02-19 일렉트로닉 아트 아이엔씨. 반사들을 렌더링하는 시스템들 및 방법들
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
CN111198445B (zh) * 2018-11-16 2021-10-01 华为技术有限公司 一种分光偏振成像的设备和方法
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
CN109828315A (zh) 2019-03-14 2019-05-31 华域视觉科技(上海)有限公司 基于红外线的路面监控系统及方法、汽车
WO2021021085A1 (en) * 2019-07-26 2021-02-04 Hewlett-Packard Development Company, L.P. Modification of projected structured light based on identified points within captured image
CN111275809B (zh) * 2020-01-14 2023-09-12 新疆初点信息科技有限公司 一种瓷砖的空间展示方法及系统
WO2021170791A1 (en) 2020-02-28 2021-09-02 Trinamix Gmbh Gesture recognition
WO2021224972A1 (ja) * 2020-05-07 2021-11-11 株式会社ソニー・インタラクティブエンタテインメント 中継サーバおよび配信画像生成方法
EP3944107A1 (en) * 2020-07-22 2022-01-26 Nokia Technologies Oy Apparatus, method and computer program for authenticating images
CN114527483B (zh) * 2022-01-06 2022-09-13 北京福通互联科技集团有限公司 一种主动式探测光电图像采集系统
WO2023139254A1 (en) * 2022-01-24 2023-07-27 Trinamix Gmbh Enhanced material detection by stereo beam profile analysis
CN117197143B (zh) * 2023-11-08 2024-02-02 深圳市聪讯智能科技有限公司 基于图像特征的环境亮度智能检测方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US6765608B1 (en) * 1999-03-09 2004-07-20 Minolta Co., Ltd. Image processing apparatus and system executing predetermined image processing on image data shot by camera, and image recording medium recorded with image processing program
JP3714063B2 (ja) * 1999-10-19 2005-11-09 富士ゼロックス株式会社 3次元形状計測装置
US7242388B2 (en) 2001-01-08 2007-07-10 Vkb Inc. Data input device
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
WO2003105289A2 (en) * 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US8224064B1 (en) * 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
US20080312866A1 (en) * 2003-09-11 2008-12-18 Katsunori Shimomura Three-dimensional measuring equipment
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
EP1980935A1 (en) 2006-02-03 2008-10-15 Matsushita Electric Industrial Co., Ltd. Information processing device
JP5201999B2 (ja) 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
JP2007286737A (ja) * 2006-04-13 2007-11-01 Canon Inc 真偽判定装置、画像形成装置、真偽判定方法、及び画像形成方法
EP2041640B1 (en) 2006-07-16 2012-01-25 I. Cherradi Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
EP2120007A4 (en) * 2007-02-13 2010-12-01 Panasonic Corp IMAGE PROCESSING SYSTEM, METHOD AND APPARATUS AND IMAGE FORMAT
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
JP4384240B2 (ja) * 2008-05-28 2009-12-16 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
KR20100084718A (ko) * 2009-01-19 2010-07-28 삼성전자주식회사 3차원 이미지를 생성하는 휴대 단말기
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
US20100268069A1 (en) * 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8264536B2 (en) * 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
EP2480955B1 (en) 2009-09-22 2018-05-16 Facebook Inc. Remote control of computer devices
US20110080471A1 (en) 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
EP2517175A4 (en) * 2009-12-25 2018-01-10 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
US8964189B2 (en) * 2010-08-19 2015-02-24 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5867807B2 (ja) * 2010-12-08 2016-02-24 株式会社リコー 車両識別装置
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
WO2013088442A1 (en) 2011-12-15 2013-06-20 Pebbles Ltd. Controllable optical sensing
CN102564589B (zh) * 2011-12-20 2013-07-24 华中科技大学 一种多波段动目标光谱特征探测识别方法和装置
JP5854815B2 (ja) * 2011-12-20 2016-02-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
KR20130099317A (ko) 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
EP3017423A1 (en) * 2013-07-02 2016-05-11 Roche Diagnostics GmbH Estimation of food volume and carbs
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
EP3072032B1 (en) * 2013-11-21 2020-01-01 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting infrared light
JP6510213B2 (ja) * 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 投影システム、半導体集積回路、および画像補正方法
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9552074B2 (en) 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device

Also Published As

Publication number Publication date
KR20170124559A (ko) 2017-11-10
IL254022B (en) 2020-01-30
BR112017018121A2 (pt) 2018-04-10
AU2016222716A1 (en) 2017-09-07
MX364878B (es) 2019-05-09
CA2977374C (en) 2019-04-16
EP3123288A4 (en) 2017-11-22
JP2018508074A (ja) 2018-03-22
IL254022A0 (en) 2017-10-31
WO2016138145A1 (en) 2016-09-01
US10049460B2 (en) 2018-08-14
CN107548502B (zh) 2021-02-09
AU2016222716B2 (en) 2018-11-29
MX2017011017A (es) 2017-10-20
CA2977374A1 (en) 2016-09-01
US20160253821A1 (en) 2016-09-01
EP3123288A1 (en) 2017-02-01
CN107548502A (zh) 2018-01-05
KR102129376B1 (ko) 2020-07-02
KR20190083002A (ko) 2019-07-10

Similar Documents

Publication Publication Date Title
JP6554638B2 (ja) 物体によって反射された光の特徴に基づく体積内の物体の識別
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN107532885B (zh) 光图案中的强度变化用于体积中的物体的深度绘制
US10599933B2 (en) Biometric image capturing apparatus and biometric image capturing method
US7310431B2 (en) Optical methods for remotely measuring objects
WO2011070927A1 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
EP3241151A1 (en) An image face processing method and apparatus
KR20170092533A (ko) 얼굴 포즈 교정 방법 및 장치
JP2014067193A (ja) 画像処理装置および画像処理方法
Mecca et al. Realistic photometric stereo using partial differential irradiance equation ratios
Peng et al. Improved 3D lighting environment estimation for image forgery detection
CN106803284B (zh) 构建脸部的三维图像的方法及装置
US20140119619A1 (en) System, method and computer software product for searching for a latent fingerprint while simultaneously constructing a three-dimensional topographic map of the searched space
Hu et al. Face orientation estimation for driver monitoring with a single depth camera
US10692232B2 (en) Shape reconstruction of specular and/or diffuse objects using multiple layers of movable sheets
Xie et al. A novel photometric method for real-time 3D reconstruction of fingerprint
US20230013892A1 (en) Detection device and detection method
Mbatha Model-based 3D hand tracking using the lighting information as a visual cue.
Mei et al. Compact low-power 3d imaging of simple planar scenes using parametric signal processing
Ahn et al. A Three-Dimensional Fingertip Interface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181005

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181005

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190604

R150 Certificate of patent or registration of utility model

Ref document number: 6554638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250