JP6930700B2 - 適応可能な深度検知システム - Google Patents

適応可能な深度検知システム Download PDF

Info

Publication number
JP6930700B2
JP6930700B2 JP2017552940A JP2017552940A JP6930700B2 JP 6930700 B2 JP6930700 B2 JP 6930700B2 JP 2017552940 A JP2017552940 A JP 2017552940A JP 2017552940 A JP2017552940 A JP 2017552940A JP 6930700 B2 JP6930700 B2 JP 6930700B2
Authority
JP
Japan
Prior art keywords
depth
sensor
depth detection
module
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017552940A
Other languages
English (en)
Other versions
JP2018523089A (ja
Inventor
シン、チー−ファン
クリシュナスワミー、プラサンナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2018523089A publication Critical patent/JP2018523089A/ja
Application granted granted Critical
Publication of JP6930700B2 publication Critical patent/JP6930700B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation

Description

本開示は、デバイス検知システムに関し、より具体的には、異なる検知距離に適応可能な深度センサおよび適応可能な深度センサを制御するためのシステムに関する。
ユーザが電子デバイスとインタラクトし得る方法が、検知技術の新たな進展に基づき進化している。例えば、深度センサは、具体的な検知アプリケーションに対してより普及してきている。深度センサは、三次元にて行われるジェスチャおよび/または動きなどを検知すべく、デバイスから対象までの距離をそのラインに沿って検知することが可能であり得る。深度検知についてのありふれた使用は、ビデオゲームのために特化されたユーザインタフェースにある。深度ベースのユーザインタフェースは、ゲームプレーヤにより引き起こされる位置、動きおよび/またはジェスチャを検知し得る。次に、ビデオゲームシステムは、検知された深度情報をビデオゲームのキャラクタなどを制御するための入力へと変換し得る。深度検知を採用し得るアプリケーションの他の例は、これに限定されないが、様々なロボット工学アプリケーションなどに対して、(例えば、マウスと同様にポインティングデバイスを操作するための)コンピュータへのユーザインタフェース入力、顔の識別、アバターに対する動きをマッピングするための顔の特徴による追跡、物体指定、操作などを含む。
深度センサは、上記の例示的なアプリケーションのいずれか1つに対して設計され得るが、様々なアプリケーションに広く適用できるセンサを設計することは、はるかに困難である。「汎用」深度センサを考えた場合の少なくとも1つの課題は、近距離検知(例えば、1メートル以内)、中距離検知(例えば、1〜3メートルの間)および長距離検知(例えば、3メートル以上)の全てが、異なる機器構成を含むことである。特に、例示的な深度センサは、少なくとも1つの赤、緑および青(RGB)センサを含み得る(例えば、少なくとも2つのRGBセンサが、深度を視覚的に判定するために使用され得る)。赤外線(IR)深度検知に対して、例示的な深度センサはまた、少なくとも1つのIRエミッタおよび少なくとも1つのIRレシーバを含み得る。深度センサ内部のこれらのコンポーネントの配置、コンポーネントのフォーカシング、異なる深度検知方法論に基づく動作のためのコンポーネントの構成などは、例えば、対象とされる検知深度、深度検知が起こっている環境、検知されるべき対象物体か、または深度センサそれ自体かのどちらかに対して予想される動き量、深度検知アプリケーションなどのような様々な要因に応じて変化し得る。
特許請求された主題に係る様々な実施形態の特徴および利点は、以下の詳細な説明が進むにつれ、および添付図面を参照することによって、明らかになるであろう。図面中、同様の符号は、同様の部材を指定する。
本開示の少なくとも1つの実施形態による例示的な適応可能な深度検知システムを示す。 本開示の少なくとも1つの実施形態による統合された深度センサの例示的な実装を示す。 本開示の少なくとも1つの実施形態による取り外し可能な深度センサの例示的な実装を示す。 本開示の少なくとも1つの実施形態による深度センサおよびホストデバイスに対する例示的なモジュール構成を示す。 本開示の少なくとも1つの実施形態による単一センサの近距離検知および二重センサの中距離検知に対する例示的な構成を示す。 本開示の少なくとも1つの実施形態による追加センサおよび可動センサを利用した二重長距離検知に対する例示的な構成を示す。 本開示の少なくとも1つの実施形態による組み合わせ深度センサおよびホストデバイスに対する例示的な制御構成を示す。 本開示の少なくとも1つの実施形態による適応可能な深度センサシステムを構成するための例示的な動作を示す。 本開示の少なくとも1つの実施形態による適応可能な深度センサシステムに対するシーン変化を検出するための例示的な動作を示す。以下の詳細な説明は、例示的な実施形態に対してなされる言及と共に進むであろうが、当業者にとっては、それらの多くの代替例、変更例および変形例は、明らかであろう。
本開示は、適応可能な深度検知(DS)システムを対象とする。少なくとも1つの実施形態において、DSデバイスは、DS機器モジュールおよび制御モジュールを含み得る。制御モジュールは、近距離検知、中距離検知または長距離検知のためのDS機器モジュールの動作モードを構成し得る。例えば、制御モジュールは、動作モードを判定するためにDS機器モジュールから少なくとも深度データを受信し得る。少なくとも1つの実施形態において、制御モジュールはさらに、DSデバイスが結合されるDSデバイスおよび/またはホストデバイスに関する条件データを受信し得、条件データに基づく構成を判定し得、DS機器モジュールを構成すべく、深度データと共に条件データを利用し得る。DS機器モジュールを構成することは、例えば、DS機器モジュールにおけるコンポーネントを有効にすること、DS機器モジュールにおけるコンポーネントのためにフォーカスを構成すること、DSモジュールにおけるコンポーネントのために画像方向付けを構成すること、および/またはDS機器モジュールにおけるコンポーネントのためにDS方法論を選択することを含む。例えば、1つのIRセンサが、近距離検知のために有効にされ得るが、一方で2つのIRセンサが、中距離検知のために有効にされ得る。DS機器モジュールは、具体的には、長距離検知のために、または、中距離検知モードまたは長距離検知モードがDS機器モジュールにおいて構成されるかどうかに基づいて移動可能なIRセンサの少なくとも1つのために起動される第3のIRセンサも含み得る。
少なくとも1つの実施形態において、例示的なDSデバイスは、少なくともDS機器モジュールおよび制御モジュールを含み得る。DS機器モジュールは、DSを実行し得る。制御モジュールは、DS機器モジュールから少なくとも深度データを受信し得、少なくとも深度データに基づき深度センサ機器モジュールのための動作モードを構成し得る。
例えば、深度データは、深度検知デバイスから、深度検知機器モジュールにより検知された連結画素グループ中の少なくとも1つの画素までの距離、または、連結画素グループのサイズのうちの少なくとも1つを含み得る。制御モジュールはさらに、少なくとも深度検知デバイスに関する条件データを受信し、条件データに基づき深度検知デバイスのための構成を判定し、その構成にもまた基づき深度センサ機器モジュールのための動作モードを構成し得る。少なくとも1つの実施形態において、制御モジュールはさらに、深度検知デバイスがホストデバイスに結合されるかどうかを判定し、深度検知デバイスがホストデバイスに結合されるとの判定に基づきホストデバイスに関する条件データを受信し、深度センサデバイスおよびホストデバイスから受信された条件データに基づき深度検知デバイスまたはホストデバイスの少なくとも1つのための構成を判定し得る。制御モジュールはさらに、条件データまたは深度データの少なくとも1つに基づきシーン変化があったかどうかを判定し得、シーンが変化したとの判定に基づき深度センサのための動作モードを再構成し得る。
少なくとも1つの実施形態において、動作モードを構成するときに、制御モジュールは、深度検知機器モジュールのコンポーネントを有効にすること、深度検知機器モジュールのコンポーネントに対するフォーカスを調整すること、深度検知機器モジュールのコンポーネントに対する画像方向付けを構成すること、または深度検知機器モジュールのコンポーネントに対する深度検知方法論を選択することのうちの少なくとも1つであり得る。深度検知機器モジュールデバイスは、少なくとも赤、緑および青(RGB)センサ、赤外線(IR)エミッタ、IRエミッタから離れて配置される第1のIRセンサ、およびIRエミッタに近接して配置される第2のIRセンサを含み得る。
動作モードを構成するときに、制御モジュールは、IRエミッタおよび近距離深度検知のために第1のIRセンサを有効にし得る。さらに、動作モードを構成するときに、制御モジュールは、中距離深度検知のために第2のIRセンサ、も有効にし得る。少なくとも1つの実施形態において、第2のIRセンサは、深度センサ機器モジュール内部で移動可能であり得、動作モードを構成するときに、制御モジュールは、深度センサ機器モジュールに、中距離深度検知のために構成される場合の第1の位置に、または長距離深度検知のために第1のIRセンサから距離が遠くなる第2の位置に第2のIRセンサを配置させ得る。代替的には、深度検知機器モジュールは、第2のIRセンサよりも第1のIRセンサから距離が遠くに配置される第3のIRセンサを含み得、動作モードを構成するときに、制御モジュールは、長距離深度検知のためにRGBセンサ、IRエミッタ、第1のIRセンサおよび第3のIRセンサを有効にする。本開示と一貫して、深度検知デバイスを構成するための例示的な方法は、深度センサデバイスにおける制御モジュールにて条件データを受信する工程と、条件データに基づき少なくとも深度センサデバイスのための構成を判定する工程と、深度センサデバイスから制御モジュールにて深度データを受信する工程と、判定された構成および深度データに少なくとも基づき深度センサデバイスにおける深度センサ機器モジュールのための動作モードを構成する工程とを含み得る。
図1は、本開示の少なくとも1つの実施形態による例示的な適応可能な深度センサシステムを示す。システム100は、例えば、少なくともDSデバイス102およびホストデバイス104を含み得る。DSデバイス102は、有線または無線接続を介してホストデバイス104に結合される別個のデバイスであり得、またはホストデバイス104に統合され得る。ホストデバイス104の例は、これに限定されないが、
グーグルコーポレーションからのAndroid(登録商標)OSおよび/またはChrome OS(登録商標)、アップルコーポレーションからのiOS(登録商標)および/またはMac(登録商標)OS、マイクロソフトコーポレーションからのWindows(登録商標)OS、リナックス(登録商標)ファウンデーションからのTizen(登録商標)OS、MozillaプロジェクトからのFirefox(登録商標)OS、ブラックベリーコーポレーションからのBlackberry(登録商標)OS、ヒューレット・パッカードコーポレーションからのPalm(登録商標)OS、シンビアン・ファウンデーションからのSymbian(登録商標)OSなどに基づく、例えば、セルラハンドセットまたはスマートフォンなどのモバイル通信デバイスと、
例えば、アップルコーポレーションからのiPad(登録商標)、グーグルコーポレーションからのNexus(登録商標)、マイクロソフトコーポレーションからのSurface(登録商標)、サムスンコーポレーションからのGalaxy Tab(登録商標)、アマゾンコーポレーションからのKindle Fire(登録商標)のようなタブレットコンピュータ、インテルコーポレーションにより製造された低電力チップセットを含むUltrabook(登録商標)、ネットブック、ノートブック、ラップトップ、パームトップなどのモバイルコンピューティングデバイスと、
例えば、サムスンコーポレーションからのGalaxy Gear(登録商標)のような腕時計型ファクタコンピューティングデバイス、グーグルコーポレーションからのGoogle Glass(登録商標)のようなアイウェア型ファクタコンピューティングデバイス/ユーザインタフェース、サムスンコーポレーションからのGear VR(登録商標)のような仮想現実(VR)ヘッドセットデバイス、Oculus VRコーポレーションからのOculus Rift(登録商標)などのウェアラブルデバイスと、
例えば、デスクトップコンピュータ、スマートテレビ、インテルコーポレーションからのNext Unit of Computing(NUC)プラットフォームのような(例えば、スペース限定アプリケーション、TVセットトップボックスなどのための)小型ファクタコンピューティングソリューションなどの通常固定のコンピューティングデバイスと
を含み得る。ホストデバイス104は、上に列挙された例示的なデバイスのいずれかであってよいが、典型的な利用のシナリオは、異なる様々な動作モードを有する携帯通信または携帯コンピューティングデバイスであるホストデバイス104を含む場合である。ホストデバイス104は、本開示と一貫する様々な実施形態を理解するために容易に理解できる文脈を提供すべく、これらの例示的な構成を用いて本明細書に(例えば、図2および図3において)示され、および/または説明され得る。
DSデバイス102は、例えば、制御モジュール106、DS機器モジュール108、および任意に条件モジュール110を含み得る。概して、制御モジュール106は、深度データ(DD)112または条件付きデータ(CD)114(例えば、DSデバイス102に関するCD114A、および/またはホストデバイス104に関するCD114B)の少なくとも1つを受信し得、DS構成(DSC)116を判定するときにCD114を採用し得る。DD112は通常、DSデバイス102により生成される任意のデータを含み得る。例えば、DS機器モジュール108は、「ブロブ」(例えば、連結画素グループ)を検知することによりDD112を起動および生成し得る。例えば、RGB検知のみ、IR検知のみ、RGB検知およびIR検知の組み合わせなどを用いて検知される、DSデバイス102からブロブの少なくとも1つの画素までの概略距離は、選択する動作モード(例えば、近距離検知、中距離検知または長距離検知)を示し得る。ブロブのサイズはまた、単独で、または検知距離と組み合わせて、必要とされる検知モードを示し得る。例えば、大きいブロブは、潜在的な対象がDSデバイス102に接近して、従って、近距離検知が必要とされる場合を示し得る。より小さいブロブを検知することにより、潜在的な対象がDSデバイス102からさらに離れ、中距離検知または長距離検知が採用されるべきであることを示し得る。他の対象測距方法がまた、採用され得る。1つの方法は、複数の深度マップを生成すべく、近距離、中距離および長距離を連続的に検知することを含み得る。次に、最良の動作モードは、異なる深度マップからのデータを様々な判定アルゴリズムへと入力することにより選択され得る。
CD114AおよびCD114B(まとめて、「CD114A/B」)はそれぞれ、DSデバイス102および/またはホストデバイス104の条件に関するデータを含み得る。本明細書に言及される「条件」は、これに限定されないが、DSデバイス102および/またはホストデバイス104の現在の機械的な構成(例えば、開いた、閉じた、キーボードについてドッキングされたなど)、DSデバイス102および/またはホストデバイス104の現在のソフトウェア構成(例えば、DSが必要とされるアプリケーションタイプのアクティブソフトウェアなど)、DSデバイス102および/またはホストデバイス104が動作している環境(例えば、検知される背景、明/暗、干渉、動きなど)などを含み得る。少なくとも1つの実施形態において、CD114Aは、条件モジュール110によって提供され得る。DSデバイス102における条件モジュール110の存在は、例えば、DSデバイス102がDSデバイス102の位置、方向、動きなどを検出するための少なくとも1つのセンサを含むかどうかに依存し得る。条件モジュール110は、DSデバイス102が固定方向でホストデバイス104に統合された例示的な実装には存在しない場合がある。CD114Bは、条件モジュール110を介してホストデバイス104からDSデバイス102に提供され得、条件モジュール110がない場合、制御モジュール106に直接提供され得る。CD114Bは、DSデバイス102とホストデバイス104との間の関係に応じて、有線または無線リンクを介してDSデバイス102に送信され得る。DSデバイス102およびホストデバイス104がどのように関連するかの例が、図2および図3に関して述べられるであろう。
制御モジュール106は、DD112および/またはCD114A/Bに基づき実行されるべきDSモードを判定し得、116に示されるようにDS機器モジュール108を構成し得る。DS機器モジュール108は、構成される動作モードに基づきDSを実行するための機器(例えば、電子、電気機械および/または光ハードウェア)、ファームウェア、ソフトウェアなどを含み得る。動作モードは、例えば、近距離検知、中距離検知および長距離検知を含み得る。DS機器モジュール108内部に含まれ得る機器タイプの例は、図4〜図6に関して説明されるであろう。
図2は、本開示の少なくとも1つの実施形態による統合された深度センサの例示的な実装を示す。本開示と一貫して、ホストデバイス104'は、例示的なDSデバイス102'の動作を説明すべく、プラットフォームとして描かれている。ホストデバイス104'は、キーボードユニット200、ノートブック、ネットブックなどと組み合わせる、またはドッキングすることが可能である、例えば、スマートフォン、タブレットコンピュータそれ自体であり得る。DSデバイス102'は、DSデバイス102'が、(例えば、格納位置に)しまい込まれる、または202に示されるように、様々な角度で配置されるのを可能にするように、ホストデバイス104'に統合され得る。DSデバイス102'は、機械的(例えば、ばね荷重)または電気機械的(モータ駆動)機構を採用して自動的に移動し得、ユーザ操作などを介して手動で配置し得る。例えば、DSデバイス102'は、DSを必要とするアプリケーションを実行し、ハードインタフェース(例えば、ボタン)、ソフトインタフェースなどとインタラクトすることにより自動的に配置するようにトリガされ得る。少なくとも1つの実施形態において、DSデバイス102'は、(例えば、ホストデバイス104'を制御するため、ゲームをするためなどで)ユーザにより引き起こされる画像を取り込み、ジェスチャを検知するように「ユーザに対面する」方向において図2に示されるように利用され得る。制御モジュール106は、配置機構(例えば、サーボからのフィードバック)または少なくとも1つのセンサ(例えば、角度センサ、ジャイロスコープなど)に基づくCD114Aを受信し得、次にDS機器108のための動作モードを判定し得る。DD112または他のCD114A/Bを考慮することなく、動作モードは、近距離検知であると判定され得る。他のCD114A/Bはまた、近距離検知を示し得る。例えば、ホストデバイス104'が、ラップトップ、ノートブック、ネットブックなどである場合、デバイスのスクリーン部分とキーボード部分との間に生じる角度208が検知され得、さらに近距離検知を示し得る。中距離検知または長距離検知は、DD112(例えば、DSデバイス102'からブロブにおける少なくとも1つの画素までの距離を検知すること、大きな近接ブロブの代わりに離れた物体に対応する小さいブロブを検知すること)および/または他のCD114A/B(例えば、アプリケーションが中距離検知または長距離検知を必要とすること、ホストデバイス104'が検知された動きに基づきユーザにより保持されており、ホストデバイス104'がキーボードユニット200にドッキングされていないことなどを判定すること)に基づき考慮され得る。
同一または異なる実施形態において、DSデバイス102'は、206にて示されるように、ホストの方向を変えるのを可能にするスイベルまたはジョイント204を含み得る。さらに、DSデバイス102'の方向206は、(例えば、電気機械機構を介して)自動的に変わり得、またはユーザ操作を介して手動にて変わり得る。反対方向(例えば、ユーザに対面する位置から180度)に面するようにデバイス102'を再方向付けすることは、「世界に面する」方向へのものと見なされ得る。制御モジュール106は、ジョイント204から検知されたデータに基づきDSデバイス102'の方向を判定することが可能であり得、この方向に基づき中距離検知または長距離検知を構成することを考慮し得る。例えば、世界に面する方向は、画像を取り込むこと、ユーザの全身の動きに基づくビデオゲームをすること、より大きな規模のビデオ会議などのために利用され得る。
図3は、本開示の少なくとも1つの実施形態による取り外し可能な深度センサの例示的な実装を示す。図3のホストデバイス104'は、図2に説明される構成と同じまたは実質的に同様な構成を有し得る。しかしながら、図3において、DSデバイス102''は、ホストデバイス104'から取り外し可能であり得る。DSデバイス102''は、2つのデバイスが接合された場合、有線通信を提供すべくホストデバイス104'へ差し込まれるコネクタ300を含み得る。拡張部分302および304は、DSデバイス102''をホストデバイス104'に機械的に結合するために使用され得る。接合された場合、DSデバイス102''は、ホストデバイス104'の一部として動作し得る。少なくとも1つの実施形態において、DSデバイス102''は、ユーザに対面するか、世界に面するかのどちらかの方向に接合され得るという点で「リバーシブル」であり得る。例えば、コネクタ300は、汎用シリアルバス(USB)タイプCコネクタであり得、DSデバイス102''のための方向は、DSデバイス102''に結合された場合、デバイス104'において判定され得るタイプCコネクタのためのピン接続性情報に基づき判定され得る。ホストデバイス104'に接合されない場合、DSデバイス102''は、スタンドアロンの深度センサとして動作し得る。例えば、コネクタ306は、306に示されるようにDSデバイス102''へと格納され得、拡張部分302および304は、卓上にDSデバイス102''を配置するためのレッグシステムの一部として動作し得る。少なくとも1つの実施形態において、制御モジュール106は、DSデバイス102''がホストデバイス104'と接合されたかどうかを示すCD114A/Bを受信し得、この情報は、DS機器モジュール108のための動作モードを判定するときに利用され得る。例えば、制御モジュール106は、DSデバイス102''がユーザに対面する方向において接合された場合に近距離検知を構成し得、およびDSデバイス102''が長距離構成において接合された場合に中距離検知または長距離検知を構成し得る。接合されない場合(例えば、DSデバイス102''がホストデバイス104'とは別に動作する場合)、制御モジュール106は、典型的な利用に基づきデフォルトで中距離検知または長距離検知を選択し得、構成すべき適切な動作モードなどを判定すべく、条件モジュール110における少なくとも1つのセンサにより提供されるDD112および/またはCD114Aを利用し得る。
図4は、本開示の少なくとも1つの実施形態による深度センサおよびホストデバイスに対する例示的なモジュール構成を示す。DSデバイス102および/またはホストデバイス104は、例えば、図1〜図3に関して、述べられるように例示的な機能を実行することが可能であり得る。しかしながら、DSデバイス102および/またはホストデバイス104の構成は、本開示と一貫性のある実施形態において利用可能であり得る例として意図されるに過ぎず、これらの様々な実施形態をいずれかの特定の方法による実装に限定するように意図されない。
例示的なホストデバイス104は、例えば、デバイス動作を管理するように構成されるシステムモジュール400を含み得る。システムモジュール400は、例えば、処理モジュール402、メモリモジュール404、電力モジュール406、ユーザインタフェースモジュール408および通信インタフェースモジュール410を含み得る。ホストデバイス104はまた、通信モジュール412を含み得る。通信モジュール412は、システムモジュール400から分離して示されているが、図4に示される例示的な実装は、説明のために提供されるに過ぎない。通信モジュール412と関連する機能の一部または全てがまた、システムモジュール400へと組み込まれ得る。
ホストデバイス104において、処理モジュール402は、別個のコンポーネントに置かれた1または複数のプロセッサ、あるいは、単一コンポーネント(例えば、システムオンチップ(SoC)構成)内に具現化された1または複数の処理コア、および任意のプロセッサ関連のサポート回路(例えば、ブリッジインタフェースなど)を含み得る。プロセッサの例は、これらに限定されないが、Pentium(登録商標)、Xeon、Itanium、Celeron、Atom、Quark、Core iシリーズ、Core Mシリーズ製品ファミリ、Advanced RISC(例えば、縮小命令セットコンピューティング)Machine、すなわち「ARM」プロセッサなどに含む、インテルコーポレーションから入手可能な様々なx86ベースのマイクロプロセッサを含んでよい。サポート回路の例は、インタフェースを提供するよう構成されたチップセット(例えば、インテルコーポレーションから入手可能なノースブリッジ、サウスブリッジなど)を含んでよく、当該インタフェースを介して、処理モジュール402は、ホストデバイス104内で異なる速度、異なるバス上などで動作している場合がある他のシステムコンポーネントとインタラクトし得る。一般的にサポート回路に関連付けられる機能のいくつかまたは全てはまた、プロセッサ(例えば、インテルコーポレーションから入手可能なSandy Bridgeファミリのプロセッサなど)と同一の物理的パッケージ内に含まれ得る。
処理モジュール402は、ホストデバイス104における様々な命令を実行するように構成され得る。命令は、データ読み取り、データ書き込み、データ処理、データ策定、データ転換、データ変換などに関連するアクティビティを処理モジュール402に実行させるよう構成されたプログラムコードを含み得る。情報(例えば、命令、データなど)は、メモリモジュール404内に格納され得る。メモリモジュール404は、固定またはリムーバブル式のランダムアクセスメモリ(RAM)またはリードオンリメモリ(ROM)を含み得る。RAMは、ホストデバイス104の動作中の情報を保持するよう構成された揮発性メモリを含み得、例えば、スタティックRAM(SRAM)またはダイナミックRAM(DRAM)等が挙げられる。ROMは、ホストデバイス104が起動された場合に、命令を提供するようBIOS、UEFIなどに基づいて構成された、不揮発性(NV)メモリモジュール、電子プログラマブル(electronic programmable)ROM(EPROM)のようなプログラムメモリ、フラッシュなどを含み得る。他の固定/リムーバブルメモリは、これらに限定されないが、例えば、フロッピー(登録商標)ディスク、ハードドライブなどのような磁気メモリ、ソリッドステートフラッシュメモリ(例えば、組み込みマルチメディアカード(eMMC)、ソリッドステートドライブ(SSD)など)、リムーバブルメモリカードもしくはスティック(例えば、マイクロストレージデバイス(μSD)、USBなど)のような電子メモリ、コンパクトディスクベースのROM(CD−ROM)、デジタルビデオディスク(DVD)、ブルーレイディスクなどのような光メモリを含み得る。
電力モジュール406は、内部電源(例えば、バッテリ、燃料電池など)および/または外部電源(例えば、電気機械的発電機もしくは太陽発電機、送電網、外部燃料電池など)、およびホストデバイス104に対し、動作に必要な電力を供給するよう構成された関連の回路を含み得る。ユーザインタフェースモジュール408は、ユーザがホストデバイス104とインタラクトすることを可能にするハードウェアおよび/またはソフトウェアを含み得、例えば、様々な入力機構(例えば、マイク、スイッチ、ボタン、ノブ、キーボード、スピーカ、タッチセンサ式の表面、画像を取り込む、および/または近接度、距離、動き、ジェスチャ、方向、生体データなどを検知するよう構成された1または複数のセンサ)および様々な出力機構(例えば、スピーカ、ディスプレイ、点灯/点滅インジケータ、バイブレーション、動きのための電気機械コンポーネントなど)が挙げられる。ハードウェアがサポートするユーザインタフェースモジュール408は、ホストデバイス104内に組み込まれ得、および/または有線または無線通信媒体を介して、ホストデバイス104に結合され得る。
通信インタフェースモジュール410は、通信モジュール412のためのパケットルーティングおよび他の制御機能を管理するよう構成され得、通信モジュール412は、有線および/または無線通信をサポートするよう構成されたリソースを含み得る。いくつかの例において、ホストデバイス104は、中央通信インタフェースモジュール410によって管理される1つより多い通信モジュール412(例えば、有線プロトコルおよび/または無線機のための別個の物理インタフェースモジュールを含む)を含み得る。有線通信は、例えば、イーサネット(登録商標)、USB、ファイヤーワイヤ、Thunderbolt、デジタルビデオインタフェース(DVI)、High−Definition Multimedia Interface(HDMI(登録商標))などのようなシリアルおよびパラレルの有線媒体を含み得る。無線通信は、例えば、近接無線媒体(例えば、RF Identification(RFID)またはNear Field Communications(NFC)規格、赤外線(IR)などに基づく無線周波数(RF))、短距離無線媒体(例えば、Bluetooth(登録商標)、WLAN、Wi−Fiなど)、長距離無線媒体(例えば、セルラ広域無線通信技術、衛星ベース通信など)、音波を介する電子通信などを含み得る。1つの実施形態において、通信インタフェースモジュール410は、通信モジュール412内でアクティブな無線通信が、互いに干渉することを防止するよう構成され得る。この機能を実行する際、通信インタフェースモジュール410は、例えば、送信を待機しているメッセージの相対的な優先度に基づいて、通信モジュール412に対するアクティビティをスケジュールし得る。図4に開示される実施形態は、通信モジュール412から別個のものとして通信インタフェースモジュール410を示すが、通信インタフェースモジュール410および通信モジュール412の機能が、同一モジュール内に組み込まれることも可能であり得る。
一般の動作例において、DSデバイス102は、組み合わせられた不可視および可視方法論を利用するDSを実行し得る。可視のDS部分は、領域の少なくとも1つの画像または映像を取り込むべく、少なくとも1つのカメラ(例えば、RGBセンサ)を採用し得る。少なくとも1つの画像または映像は、不可視のDS態様に視覚値を分け与え得る。対象領域における異なる点の位置を三角測量するように構成される2つのRGBセンサを使用するDSを実行することも可能であり得る。不可視のDS部分は、これらに限定されないが、例えば、対象領域にわたりパターンを投影するIR、紫外線、超音波などの技術を採用し得る。パターンは、単純であり得(例えば、ドット列)、またはコード化され得る(例えば、異なる領域は、異なる番号に割り当てられ得る)。次に、センサはパターンを検出し得、それらの検知に基づき相対深度を判定し得る。例えば、投影パターンにおける歪み(例えば、ドット間の距離の分散)は、異なる深度、深度変化などに相当し得る。DSから生成される質(例えば、解像度)、DSに対する最大距離などは、DS機器モジュール108'に利用される機器、採用される検知方法論などにより影響され得、そのことは図5および図6に関してさらに述べられるであろう。
DSデバイス102において、例示的なDS機器モジュール108'は、例えば、少なくともIRセンサ414、RGBセンサ416、IRエミッタ418およびIRセンサ420を含み得る。センサおよびエミッタ414−420は、オールインワン集積回路(IC)ソリューション、マルチチップモジュールまたはより複雑な電子/電気機械アセンブリとして編成され得る。例えば、IRセンサ414およびRGBセンサ416は、単一のセンサがIRおよびRGB画像の両方を出力するのを可能にする二重開口技術を用いて組み合わせられ得、それによりコスト、サイズなどを低減し得る。少なくとも1つの実施形態において、センサおよびエミッタ414−420は、制御モジュール106'により個々に制御され得る。例えば、制御モジュール106'は、少なくともIRセンサ414、420およびRGBセンサ416が有効にされるかどうか(例えば、検知しているか、または検知していないか)、ならびに(例えば、これらのセンサの各々と関連している電気機械レンズフォーカスアセンブリを制御することにより)レンズフォーカスを制御し得る。制御モジュール106'はまた、IRセンサ420の放射パワーおよび放射タイプ(例えば、IRセンサ420により放射されるパターンタイプ)を制御し得る。少なくとも1つの実施形態において、DSデバイス102は、条件モジュール110'を含み得る。条件モジュール110'は、少なくともDSデバイス102に関して位置、方向、動きなどを検知するためのセンサ422を少なくとも含み得る。センサ422の出力は、CD114Aを生成すべく採用され得る。制御モジュール106'は、(例えば、センサおよびエミッタ414−420用の)DS機器モジュール108'のための構成を判定するときに使用する条件モジュール110'から少なくともCD114Aを受信し得る。本開示と一貫して、制御モジュール106'は、CD114Bを単独で、またはCD114Aと組み合わせて受信し得る。例えば、DSデバイス102は、ホストデバイス104へ恒久的に統合された場合、例えば、ユーザインタフェースモジュール408により生成されるCD114Bは、DSデバイス102およびホストデバイス104の両方に条件情報を提供し得る。制御モジュール106'は、(例えば、DSデバイスがホストデバイス104内部に統合された場合)直接および/または専用インタフェースを介してユーザインタフェースモジュール408とインタラクトし得る。代替的には、制御モジュール106'およびホストデバイス104内のモジュール(例えば、ユーザインタフェースモジュール408)は、有線および/または通信モジュール412によりサポートされる通信を介してインタラクトし得る。通信モジュール412は、例えば、DSデバイス102が共通のインタフェース(例えば、USB、イーサネット(登録商標)など)を介してホストデバイス104に通信可能に結合され得る、短距離無線通信(例えば、Bluetooth(登録商標)、WLAN、など)を介してホストデバイス104と離れてインタラクトし得るなどの状況において採用され得る。
少なくとも1つの実施形態において、制御モジュール106'は、少なくともIRセンサ414、RGBセンサ416、IRエミッタ418およびIRセンサ420における様々な属性を構成し得る。例えば、制御モジュール106'は、IRセンサ414、RGBセンサ416、IRエミッタ418および/またはIRセンサ420を有効にし得、IRセンサ414、RGBセンサ416、IRエミッタ418および/またはIRセンサ420のためにフォーカスを構成し得、IRセンサ414、RGBセンサ416および/またはIRセンサ420のために画像方向を構成し得、および/またはDS方法論に基づき特定の強度などで(例えば、構造化および/またはコード化された)特定のIR信号を放射すべく、少なくともIRエミッタ418を構成し得る。画像方向は、例えば、DSデバイス102が、画像を正しい方向に維持すべく、(例えば、ユーザに対面する方向から世界に面する方向へと)移動され、転がされ、反転されるなどされた場合、取り込まれたIRおよびRGB画像を必要ならば上から下に反転することを含み得る。DS機器モジュール108'の様々なコンポーネントが動作モードに基づきどのように構成され得るかの例が、図5および図6に関して開示される。
図5は、本開示の少なくとも1つの実施形態による単一センサの近距離検知および二重センサの中距離検知に対する例示的な構成を示す。2つの例500および502は、制御モジュール106'が判定された動作モードに基づきどのようにDS機器モジュール108'を制御し得るかを説明すべく、図5に示される。最初に、RGBセンサ416は、深度検知データに対応する視覚データを収集すべく、図5の例のいずれかまたは全てにおいて有効にされ得る。第1の例において、単一のセンサの近距離検知は、500に描かれている。制御モジュール106'は、DS機器モジュール108'が近距離検知のために構成されるべきと判定したとの例示的なシナリオを考えると、IRセンサ414およびIRエミッタ418は、動作に対して有効にされ得、IRセンサ414のフォーカスは、近距離(例えば、1メートル未満に)に設定され得る。IRエミッタ418はまた、特定のパターン、強度などでIR光を放射するように構成され得る。1つの実施形態において、制御モジュール106'は、IRエミッタ418が例えば、インテルRealsense F200(例えば、「F」は、ユーザに対して前面に面することを示す)技術に基づき近距離DSを実行するための構造化/コード化パターンを放射するように構成し得る。
例示的な二重センサ中距離検知構成が、502に示される。例502において、制御モジュール106'は、中距離から長距離検知までの異なるDS方法論を利用し得る。方法論のいくつかは、より長い距離での解像度を維持すべく追加センサを採用し得、従って、第2のIRセンサ420を有効にし得る。少なくとも1つの実施形態において、制御モジュール106'は、IRエミッタ418が、例えば、インテルRealsense R200(例えば、「R」は、世界に対して後面に面することを示す)技術に基づき中長距離DSを実行するために少なくとも構造化パターンを放射するように構成し得る。制御モジュール106'はまた、中距離の距離(例えば、1〜3m)DSのためにIRセンサ414およびRGBセンサ416のレンズを再フォーカスし得、より長い距離DSに対してより適切なパワーレベルにてパターンを放射するようにIRエミッタ418を再構成し得る。例えば、いくつかの中距離検知技術は、コード化されたIR放射(例えば、単なるドット列を含むパターン)を採用しない場合がある。
図6は、本開示の少なくとも1つの実施形態による追加センサおよび可動センサを利用した二重長距離検知に対する例示的な構成を示す。最初に、RGBセンサ416は、深度検知データに対応する視覚データを収集すべく、図6の例のいずれかまたは全てにおいて有効にされ得る。本開示と一貫して、二重センサ中距離検知は、IRセンサ間の距離、IRセンサのフォーカスおよび場合によりIR放射強度および/またはパターンに主として基づく二重センサ長距離検知とは異なり得る。例600および例602は、より長い距離にわたるDSを容易にすべく、IRセンサ414から第2のIRセンサまでの距離を増大するための可能性がある2つの構成を説明する。例600において、DS機器モジュール108'は、例えば、IRセンサ604が、長距離検知をサポートすべく、IRセンサ420よりもIRセンサ414からさらに離れ、長距離においてIRエミッタ418からのIR放射を検知すべく特定の方向/フォーカスを含むなどの点で、長距離検知に対して具体的に配置される追加のIRセンサ604を含み得る。動作例において、制御モジュール106'は、長距離検知が必要とされることを判定し得、IRセンサ420を無効にし得、IRセンサ604を有効にし得る。次に、制御モジュール106'は、IRセンサ414および420に関して上記に説明されたものと同様にIRセンサ604のフォーカスおよび/または動作を構成し得る。IRセンサ420を無効にすることにより、消費電力がDSデバイス102において調整されるのを可能にし得る。少なくとも1つの実施形態において、制御モジュール106'は、例えば、インテルRealsense R200テクノロジに基づく長距離DSを実行するための構造化パターンを少なくとも放射するようにIRエミッタ418を構成し得る。
602で開示された代替的な構成において、IRセンサ420は、DSデバイス102に再配置可能であり得る。例えば、電気機械装置は、中距離検知のための第1の位置606と、より長い距離検知のための第2の位置608との間にIRセンサ420を移動し得る。少なくとも1つの実施形態において、IRセンサ420は、対象までの検知距離(例えば、画素ブロブまでの検知距離)に基づき第1の位置606と第2の位置608との間の様々な位置に移動され得る。上記のように、IRセンサ420は、DS制御モジュール106'において判定された動作モードに基づき、第1の位置606に、第2の位置608に、またはその間の場所に再フォーカスおよび/または再構成され得る。例示的な構成602は、追加のIRセンサ604を組み込むことなく、制御モジュール106'が、DS機器モジュール108'の任意の動作モード(例えば、近距離、中距離および長距離検知)のためにステレオIR検知を構成するのを可能にする。
図7は、本開示の少なくとも1つの実施形態による組み合わせ深度センサおよびホストデバイスに対する例示的な制御構成を示す。アプリケーション層700、OS層702およびDS制御層704は、DSデバイス102および/またはホストデバイス104に存在し得る制御、許可などの異なる階層レベルに対応し得る。DS制御層704は、DSデバイス102において具体的に実行する低レベル、高パーミッション制御リソースに対応し得る。少なくとも1つの実施形態において、例えば、ロジック、メモリおよび制御リソースを含む特定用途向け集積回路(ASIC)706は、DD112および/またはCD114A/Bに少なくとも基づきDS機器モジュール108の動作を制御するように構成され得る。
OS層702は、少なくとも条件データインタフェース710およびDSデバイスドライバ708を含み得る。CD114Aは、DSデバイス102および/またはホストデバイス104のオペレーティングシステム層702において生成され得る。条件データインタフェースは、CD114B(例えば、センサデータ、実行中のアプリケーションデータ、ハードウェア状態データなど)を収集するためのハードウェアおよび/またはソフトウェアを含み得る。ミドルウェア(例えば、アプリケーション層700において実行中のアプリケーション)は、条件データインタフェース710によって収集されたCD114Bを受信し得、OS層702におけるDSドライバ708を介して、CD114BをASIC706に提供し得る。
DD112、(例えば、DSデバイス102に存在する場合の)条件モジュール110からのCD114Aおよび/またはCD114Bを受信すると、ASIC706は、DS機器モジュール108に対するDSC116を判定し得る。例えば、ASIC706は、DS機器モジュール108が、近距離検知、中距離検知または長距離検知に対して構成されるべきであるかどうかを判定し得る。少なくとも1つの実施形態において、ASIC706はまた、選択された動作モードに関するDS機器モジュール108のための他の構成を判定し得る。例えば、背景特性、干渉、動きなどが、DD112および/またはCD114A/Bに基づき判定され得、これらの入力が、ASIC706に、ノイズフィルタリング、画像安定化などのためにDS機器モジュール108をさらに構成させ得る。本開示と一貫して、DSC116はまた、DSデバイスドライバ708に提供され得、それにより任意の深度データ消費者714(例えば、DSを必要とし、DSモジュール102の起動をトリガしたことがあるアプリケーション)は、現在構成される動作モードを通知され得る。
図8は、本開示の少なくとも1つの実施形態による適応可能な深度センサシステムを構成するための例示的な動作を示す。最初に、DSデバイスは、動作800において、トリガされ得る。DSデバイスをトリガさせる例示的なアクティビティは、ホストデバイスとの接続、またはそれとの切断、DSを必要とするホストデバイス上でのアプリケーションの実行、DSを必要とするアプリケーション機能の起動、DSデバイスまたはホストデバイスとのユーザインタラクションなどを含む。次に、DSデバイスがホストデバイスに結合されるかどうかについての判定は、動作802において行われ得る。DSデバイスがホストデバイスに結合されないことが、動作802において判定された場合、動作804において、DSデバイスにおいて生成される条件データのみが、DSデバイスのための構成を判定するときに採用され得る。そうでない場合であって、DSデバイスはホストデバイスに結合されることが動作802において判定された場合、動作806において、DSデバイスおよびホストデバイスの両方からの条件データがDSデバイス構成を判定するために使用され得る。
いくつかのデバイス(例えば、スマートフォン、キーボードなしのタブレットコンピュータなど)は、卓上構成を有しない場合があるので、動作808は、任意であり得る。しかしながら、動作808において、DSデバイスおよび/またはホストデバイスが卓上構成にあるかどうかを判定することは、外部のキーボードユニットなどとドッキングされ得るラップトップ、ノートブック、ネットブック、タブレットコンピュータのような再構成可能なデバイスに適用可能であり得る。卓上構成は、DSデバイスか、ホストデバイスのどちらかにおける動き検知、DSデバイスおよび/またはホストデバイスの異なる部分の相対的な方向(例えば、ユーザに対面する、または世界に面するなどのようなDSデバイスの方向、ラップトップディスプレイ部分のキーボード部分に対する角度など)、ホストデバイス上で実行中のアプリケーション(例えば、ジェスチャベースの制御インタフェース、ビデオ会議ソフトウェア、ハンドジェスチャまたはボディジェスチャベースのゲーム、写真撮影ソフトウェアなど)などに基づき判定され得る。動作808において、DSデバイスおよび/またはホストデバイスが卓上構成にない(例えば、ホストデバイスが、携帯用またはハンドヘルド構成にある)ことが判定された場合、動作812において、DSデバイスは、携帯モードで構成され得る。最初に、携帯モードは、DSデバイスが中距離検知または長距離検知を実行するであろう可能性が高いことを示し得る。さらに、携帯モードはまた、例えば、フィルタリング、画像安定化、より高い画像取り込み速度、より低い解像度などの他の機能を呼び出させ得る。DSデバイスおよび/またはホストデバイスが卓上構成にあるとの動作808における判定には、DSデバイスおよび/またはホストデバイスが移動中であると検知されたかどうかについての判定が続き得る。例えば、ラップトップまたは同様なデバイスは、卓上構成にあり得るが、それでもやはりユーザにより携行され得る。動作810において、DSデバイスおよび/またはホストデバイスが移動中であることが判定された場合、再度、動作812において、携帯モードがDSデバイスにおいて構成され得る。動作819において、実質的な動きが検出されない場合、動作814において、DSデバイスは固定モードに構成され得る。固定モードは、近距離(例えば、ユーザに対面する)検知のより高い可能性を示唆し得、例えば、より低いフィルタリング、より高い解像度検知、より低い取り込み速度などの他の機能を呼び出し得る。
動作812または814に続いて、次に、近距離ブロブがDSデバイスにより検知されるかどうかについて判定が行われ得る。ブロブは、検知されるべき対象物体(例えば、ユーザ、別の人、物体、景色など)に対応するDSデバイスにより検知される連結画素グループであり得る。ブロブまでの距離、ブロブのサイズなどが、構成すべき最も適切な動作モードを判定すべく検知され得る。動作816において、近距離のブロブが検知されたこと(例えば、ブロブの少なくとも1つの画素が近接して検知される場合、ブロブが、物体がDSデバイスに接近し得ることを示す検知領域の大きな部分を占めるように見える、など)が判定された場合、動作818において、近距離検知がDSデバイスにおいて構成され得る。動作816において、近距離にブロブがないことが判定された場合、中距離検知に対応するブロブが検知されるかどうか(例えば、ブロブの少なくとも1つの画素が中距離にあると見なされる距離にて検知される場合、ブロブが、DSデバイスから1〜3m離れた人などの物体に対応する検知領域の比率を占有する、など)について、動作820において、さらなる判定が行われ得る。動作820において、ブロブが中距離にて検知されることが判定された場合、動作822において、中距離検知動作モードがDSデバイスにおいて構成され得る。代替的には、動作820においてブロブが中距離にて検知されていないことが判定された場合、動作824において、長距離検知が構成され得る。図8に示される様々な動作は、例えば、DSデバイスが上記に述べたようにトリガされた時にはいつでも、動作800にて再開し得る。
図9は、本開示の少なくとも1つの実施形態による適応可能な深度センサシステムのためのシーン変化を検出するための例示的な動作を示す。概して、「シーン変化」は、DSデバイス、ホストデバイス、対象などに関する何かが、DSデバイスおよび/またはホストデバイスの再構成が考慮されるべき程度に変化した状態である。動作900において、深度検知は、DSデバイス単独で、またはホストデバイスとの組み合わせにて実行され得る。次に、動作902において、DSデバイスおよび/またはホストデバイスに関して「有意な動き」が検出されたかどうかについて判定が行われ得る。有意な動きは、相対的な尺度であり得、例えば、DSデバイスおよび/またはホストデバイスが、固定モード(例えば、卓上構成)とは対照的に携帯モード(例えば、ハンドヘルド)において構成された場合、予想される動きに結びつけられ得る。動作902において、有意な動きが検出されたことが判定された場合、動作904において、DSデバイスおよび/またはホストデバイスが、固定モードに構成されたかどうかについてさらなる判定が行われ得る。動作906において、DSデバイスおよび/またはホストデバイスが、固定モードに構成されたことが判定された場合、動作906において、シーン変化が判定される。動作906に、DSデバイスおよび/またはホストデバイスを再構成すべく、例えば、図8の動作800への復帰が続き得る。
動作902において、有意な動きが検出されない(例えば、ある期間にわたり、DSデバイスおよび/またはホストデバイスが動いていない、もはや動いていないなどを示す)ことが判定された場合、動作908において、DSデバイスおよび/またはホストデバイスが携帯モードに構成されたかどうかについてさらなる判定が行われ得る。動作908において、DSデバイスおよび/またはホストデバイスが携帯モードに構成されたことが判定された場合、動作910において、シーン変化が判定され得、そのことは、DSデバイスおよび/またはホストデバイスを再構成すべく図8の動作800への復帰が続き得る。DSデバイスおよび/またはホストデバイスが固定モードにないとの動作904における判定、あるいはDSデバイスおよび/またはホストデバイスが携帯モードにないとの動作908における判定に、DSデバイスに対する方向の変化があったかどうかについての動作912におけるさらなる判定が続き得る。方向の変化は、ホストデバイスに対するDSデバイスを移動すること(例えば、ユーザに対面する位置から世界に面する位置へとホストデバイスに組み込まれ得るDSデバイスを移動すること、反転すること、回転することなど)、DSデバイスをホストデバイスから切断すること、あるいはそれに再接続することなどを含み得る。動作912において、DSデバイスに対する方向の変化があったと判定された場合、動作906において、シーン変化が判定され得、図8の動作800において、DSデバイスおよび/またはホストデバイスが再構成され得る。
動作912において、DS方向の変化が起きなかったことが判定された場合、動作914において、ブロブ深度の変化が発生したかどうかについてさらなる判定が行われ得る。例えば、ブロブ深度の変化は、DSデバイスからブロブの少なくとも1つの画素までの距離の変化、ブロブのサイズの変化などによって判定され得る。動作914において、ブロブ深度が変化したと判定された場合、動作916において、深度の変化が経時的に安定しているかどうかについてさらなる判定が行われ得る。例えば、散発的な深度の変化は、特に、DSデバイスおよび/またはホストデバイスが携帯モードにある場合予想され得る。しかしながら、ブロブ深度変化が特定の期間にわたり安定したままである(例えば、そのことは特定用途であり得る)場合、DSデバイスおよび/またはホストデバイスに対する動作モードは、更新する必要があり得る。動作916において、ブロブ深度の変化が、経時的に安定していると判定された場合、動作906において、シーン変化が判定され得、図8の動作800において、DSデバイスおよび/またはホストデバイスが再構成され得る。ブロブ深度が変化していないとの動作914における判定に続き、あるいは、ブロブ深度変化が、経時的に安定ではなかったとの動作916における判定に続き、動作918において、DSデバイスおよび/またはホストデバイスの既存の構成が維持され得る。動作918は任意に、深度検知を継続すべく動作900への復帰が続き得る。
図8および図9は異なる実施形態による動作を示しているが、図8および図9に示される全ての動作が、他の実施形態に対して必要というわけではない点を理解されたい。実際、本開示の他の実施形態において、図8および図9に示された動作、および/または本明細書に説明された他の動作は、いずれの図面にも具体的に示されない態様で組み合わされ得るが、本開示に依然完全に整合し得ることが、本明細書において十分考えられる。従って、1つの図面内で正確に示されていない特徴および/または動作を対象とする特許請求の範囲は、本開示の範囲および内容の内にあるものと見なされる。
本願および特許請求の範囲において使用される、「および/または」という用語によって結合される項目の列挙は、列挙された項目の任意の組み合わせを意味し得る。例えば、「A、Bおよび/またはC」という文言は、A、B、C、および「AおよびB」、「AおよびC」、「BおよびC」または「A、B、およびC」を意味し得る。本願および特許請求の範囲において使用されるように、「のうちの少なくとも1つ」という用語によって結合される項目の列挙は、列挙された用語の任意の組み合わせを意味し得る。例えば、「A、BまたはCのうちの少なくとも1つ」という文言は、「A、B、C」、「AおよびB」、「AおよびC」、「BおよびC」または「A、B、およびC」を意味し得る。
本明細書の任意の実施形態で使用されるように、「モジュール」という用語は、前述の動作のうちのいずれかを実行するよう構成されたソフトウェア、ファームウェア、および/または回路を指してよい。ソフトウェアは、非一時的コンピュータ可読ストレージ媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セットおよび/またはデータとして具現化されてよい。ファームウェアは、メモリデバイス内にハードコードされた(例えば、不揮発性の)コード、命令または命令セットおよび/またはデータとして具現化されてよい。本明細書の任意の実施形態で使用される、「回路」は、例えば、ハードワイヤード回路、1または複数の個々の命令処理コアを含むコンピュータプロセッサなどのプログラマブル回路、ステートマシン回路、および/またはプログラマブル回路によって実行される命令を格納するファームウェアを、単一または任意の組み合わせにおいて備えてよい。モジュールは、より大型のシステムの一部を形成する回路、例えば、集積回路(IC)、システムオンチップ(SoC)、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどとして、集合的または個々に具現化されてよい。
本明細書において説明される動作のうちのいずれかは、1または複数のプロセッサにより実行された場合に当該方法を実行する命令を個々にまたは組み合わせにおいて、そこに格納された状態で有する1または複数のストレージ媒体(例えば、非一時的ストレージ媒体)を含むシステム内に実装されてよい。ここで、プロセッサは例えば、サーバのCPU、モバイルデバイスのCPUおよび/または他のプログラマブル回路を含んでよい。また、本明細書において説明された動作は、例えば、1より多い異なる物理的位置にある処理構造のような複数の物理的デバイスにわたり、分配されてよいことが意図されている。ストレージ媒体は、例えば、ハードディスク、フロッピー(登録商標)ディスク、光ディスク、コンパクトディスクリードオンリメモリ(CD−ROM)、書き換え可能コンパクトディスク(CD−RW)、および光磁気ディスクを含む任意のタイプのディスク、リードオンリメモリ(ROM)、ダイナミックおよびスタティックRAMのようなランダムアクセスメモリ(RAM)、消去可能プログラマブルリードオンリメモリ(EPROM)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリ、ソリッドステートディスク(SSD)、組み込みマルチメディアカード(eMMC)、secure digital input/output(SDIO)カードのような半導体デバイス、磁気または光カード、あるいは電子命令を格納するのに好適な任意のタイプの媒体といった、任意のタイプの有形の媒体を含んでよい。他の実施形態は、プログラマブル制御デバイスによって実行されるソフトウェアモジュールとして実装されてよい。
従って、本開示は、適応可能な深度検知(DS)システムを対象とする。DSデバイスは、DS機器モジュールおよび制御モジュールを含み得る。制御モジュールは、近距離検知、中距離検知または長距離検知のためのDS機器モジュールの動作モードを構成し得る。制御モジュールは、動作モードを判定するためにDS機器モジュールから少なくとも深度データを受信し得る。制御モジュールはまた、DSデバイスが結合されるDSデバイスおよび/またはホストデバイスに関する条件データを受信し得、条件データに基づく構成を判定し得、DS機器モジュールを構成すべく、深度データと共に条件データを利用し得る。DS機器モジュールを構成することは、例えば、DS機器モジュール内部のコンポーネントを有効にすること、コンポーネントのためのフォーカスを構成すること、コンポーネントのために画像方向付けを構成すること、および/またはコンポーネントのためにDS方法論を選択することを含む。
以下の例は、さらなる実施形態に関する。本開示の以下の例は、以下に提供されるように、デバイス、方法、実行時に機械に対し、当該方法に基づき動作を実行させる命令を格納するための少なくとも1つの機械可読媒体、当該方法に基づき動作を実行するための手段、および/または適応可能なDSシステムといった主題を含み得る。
例1によれば、深度検知デバイスが提供される。デバイスは、深度検知を実行するための深度検知機器モジュールと、深度検知機器モジュールから少なくとも深度データを受信する制御モジュールとを含み得、少なくとも深度データ基づき、深度センサ機器モジュールのための動作モードを構成し得る。
例2は、例1の要素を含み得、深度データは、深度検知デバイスから、深度検知機器モジュールにより検知された連結画素グループの少なくとも1つの画素までの距離、および、連結画素グループのサイズの少なくとも1つを含み得る。
例3は、例1から例2のいずれかの要素を含み得、制御モジュールはさらに、少なくとも深度検知デバイスに関する条件データを受信し、条件データに基づき深度検知デバイスのための構成を判定し、その構成にもまた基づき深度センサ機器モジュールのための動作モードを構成する。
例4は、例3の要素を含み得、制御モジュールはさらに、深度検知デバイスがホストデバイスに結合されるかどうかを判定し、深度検知デバイスがホストデバイスに結合されるとの判定に基づきホストデバイスに関する条件データを受信し、深度センサデバイスおよびホストデバイスから受信された条件データに基づき深度検知デバイスおよびホストデバイスの少なくとも1つのための構成を判定する。
例5は、例4の要素を含み得、深度検知デバイスおよびホストデバイスの少なくとも1つに関する条件データは、デバイスにおける条件データモジュールから受信される。
例6は、例4から例5のいずれかの要素を含み得、ホストデバイスに関する条件データは、ホストデバイスにおける条件データインタフェースから条件データを受信するホストデバイスにおいて実行するミドルウェアから条件データを受信するホストデバイスにおいて実行するデバイスドライバから受信される。
例7は、例4から例6のいずれかの要素を含み得、深度検知デバイスは、ホストデバイスに組み込まれる。
例8は、例7の要素を含み得、深度検知デバイスは、ホストデバイスに対して少なくともユーザに対面する方向および世界に面する方向へと再配置可能である。
例9は、例8の要素を含み得、条件データは、深度検知デバイスは、深度検知デバイスの方向の指標を含む。
例10は、例7から例9のいずれかの要素を含み得、深度検知デバイスは、ホストデバイスから取り外し可能である。
例11は、例10の要素を含み得、深度検知デバイスは、ホストデバイスから分離された場合に動作可能であり、少なくとも無線通信を利用してホストデバイスと通信する。
例12は、例3から例11のいずれかの要素を含み得、制御モジュールはさらに、条件データおよび深度データの少なくとも1つに基づきシーン変化があったかどうかを判定し、シーンが変化したとの判定に基づき深度センサのための動作モードを再構成する。
例13は、例3から例12のいずれかの要素を含み得、制御モジュールはさらに、深度センサデバイスおよびホストデバイスの少なくとも1つが卓上構成にあるかどうか、ならびに、深度センサデバイスおよびホストデバイスの少なくとも1つが移動しているかどうかの少なくとも1つを判定する。
例14は、例1から例13のいずれかの要素を含み得、動作モードを構成するときに、制御モジュールは、深度検知機器モジュールのコンポーネントを有効にすること、深度検知機器モジュールのコンポーネントに対するフォーカスを調整すること、深度検知機器モジュールのコンポーネントに対する画像方向付けを構成すること、および深度検知機器モジュールのコンポーネントに対する深度検知方法論を選択することのうちの少なくとも1つである。
例15は、例1から例14のいずれかの要素を含み得、深度検知機器モジュールデバイスは、少なくとも赤、緑および青(RGB)センサ、赤外線(IR)エミッタ、IRエミッタから離れて配置される第1のIRセンサ、およびIRエミッタに近接して配置される第2のIRセンサを含む。
例16は、例15の要素を含み得、動作モードを構成するときに、制御モジュールは、近距離深度検知のためにIRエミッタおよび第1のIRセンサを有効にする。
例17は、例16の要素を含み得、動作モードを構成するときに、制御モジュールはまた、中距離深度検知のために第2のIRセンサを有効にする。
例18は、例17の要素を含み得、第2のIRセンサは、深度センサ機器モジュール内部で移動可能であり、動作モードを構成するときに、制御モジュールは、深度センサ機器モジュールに、中距離深度検知のために構成される場合の第1の位置に、または長距離深度検知のために第1のIRセンサから距離が遠くなる第2の位置に第2のIRセンサを配置させる。
例19は、例15から例18のいずれかの要素を含み得、深度検知機器モジュールは、第2のIRセンサよりも第1のIRセンサから距離が遠くに配置される第3のIRセンサを含み、動作モードを構成するときに、制御モジュールは、長距離深度検知のためにRGBセンサ、IRエミッタ、第1のIRセンサおよび第3のIRセンサを有効にする。
例20は、例1から例19のいずれかの要素を含み得、制御モジュールはさらに、少なくとも深度検知デバイスに関して条件データを受信し、深度検知デバイスがホストデバイスに結合されるかどうかを判定し、深度検知デバイスがホストデバイスに結合されるとの判定に基づきホストデバイスに関する条件データを受信し、深度センサデバイスおよびホストデバイスから受信された条件データに基づき深度検知デバイスおよびホストデバイスの少なくとも1つのための構成を判定する。
例21は、例1から例20のいずれかの要素を含み得、動作モードを構成するときに、制御モジュールは、近距離深度検知のために深度検知機器モジュールにおいてIRエミッタおよび第1のIRセンサを有効にし、中距離深度検知のために深度検知機器モジュールにおいて第2のIRセンサもまた有効にする。
例22は、例1から例21のいずれかの要素を含み得、制御モジュールは、少なくとも特定用途向け集積回路(ASIC)を有する。
例23によれば、深度検知デバイスを構成するための方法が提供される。方法は、深度センサデバイスにおける制御モジュールにて条件データを受信する工程と、条件データに基づき少なくとも深度センサデバイスのための構成を判定する工程と、深度センサデバイスから制御モジュールにて深度データを受信する工程と、判定された構成および深度データに少なくとも基づき深度センサデバイスにおける深度センサ機器モジュールのための動作モードを構成する工程と、を含み得る。
例24は、例23の要素を含み得、深度センサデバイスがホストデバイスに結合されるかどうかを判定する工程、深度センサデバイスがホストデバイスに結合されるとの判定に基づきホストデバイスから条件データを受信する工程、およびホストデバイスから受信された条件データにもまた基づき構成を判定する工程をさらに含み得る。
例25は、例23から例24のいずれかの要素を含み得、構成を判定する段階は、深度センサデバイスおよびホストデバイスの少なくとも1つが卓上構成にあるかどうか、ならびに、深度センサデバイスおよびホストデバイスの少なくとも1つが移動しているかどうかの少なくとも1つを判定する工程を含む。
例26は、例23から例25のいずれかの要素を含み得、条件データおよび深度データの少なくとも1つに基づきシーン変化があったかどうかを判定する工程と、シーンが変化したとの判定に基づき深度センサのための動作モードを再構成する工程とをさらに含み得る。
例27は、例23から例26のいずれかの要素を含み得、動作モードを構成する工程は、深度検知機器モジュールのコンポーネントを有効にする工程、深度検知機器モジュールのコンポーネントに対するフォーカスを調整する工程、深度検知機器モジュールのコンポーネントに対する画像方向付けを構成する工程、および深度検知機器モジュールのコンポーネントに対する深度検知方法論を選択する工程のうちの少なくとも1つを含む。
例28は、例23から例27のいずれかの要素を含み得、動作モードを判定する工程は、
深度検知デバイスにおける赤外線(IR)エミッタおよび第1のIRセンサを有効することにより近距離深度検知を構成する工程と、
深度検知デバイスにおける第2のIRセンサをまた有効することにより中距離深度検知を構成する工程と、
を有する。
例29は、例28の要素を含み得、動作モードを判定する工程は、
深度検知デバイスにおいて、第2のIRセンサを無効にし、かつ第3のIRセンサを有効にすることにより、または第2のIRセンサを移動することにより長距離深度検知を構成する工程を含む。
例30によれば、上記の例23から29のいずれかに係る方法を実行するように配設される、少なくとも深度検知デバイスおよびホストデバイスを含むシステムが提供される。
例31によれば、上記の例23から29のいずれかに係る方法を実行するよう配設された、チップセットが提供される。
例32によれば、コンピューティングデバイス上で実行されることに応答して、上記コンピューティングデバイスに、上記の例23から29のいずれかによる方法を実行させる、複数の命令を備える、少なくとも1つの機械可読媒体が提供される。
例33によれば、上記の例23から29のいずれかによる方法を実行すべく配設され、深度検知デバイスを構成する少なくとも1つのデバイスが提供される。
例34によれば、深度検知デバイスを構成するためのシステムが提供される。システムは、深度センサデバイスにおける制御モジュールにて条件データを受信するための手段と、条件データに基づき少なくとも深度センサデバイスのための構成を判定するための手段と、深度センサデバイスから制御モジュールにて深度データを受信するための手段と、判定された構成および深度データに少なくとも基づき深度センサデバイスにおける深度センサ機器モジュールのための動作モードを構成するための手段とを含み得る。
例35は、例34の要素を含み得、深度センサデバイスがホストデバイスに結合されるかどうかを判定するための手段と、深度センサデバイスがホストデバイスに結合されるとの判定に基づきホストデバイスから条件データを受信するための手段と、ホストデバイスから受信された条件データにもまた基づき構成を判定するための手段とをさらに含み得る。
例36は、例34から例35のいずれかの要素を含み得、構成を判定するための手段は、深度センサデバイスおよびホストデバイスの少なくとも1つが卓上構成にあるかどうか、ならびに、深度センサデバイスおよびホストデバイスの少なくとも1つが移動しているかどうかの少なくとも1つを判定するための手段を含む。
例37は、例34から例36のいずれかの要素を含み得、条件データおよび深度データの少なくとも1つに基づきシーン変化があったかどうかを判定するための手段と、シーンが変化したとの判定に基づき深度センサのための動作モードを再構成するための手段とをさらに含み得る。
例38は、例34から例37いずれかの要素を含み得、動作モードを構成するための手段は、深度検知機器モジュールのコンポーネントを有効にすること、深度検知機器モジュールのコンポーネントに対するフォーカスを調整すること、深度検知機器モジュールのコンポーネントに対する画像方向付けを構成すること、および深度検知機器モジュールのコンポーネントに対する深度検知方法論を選択することのうちの少なくとも1つのための手段を含む。
例39は、例34から例38のいずれかの要素を含み得、動作モードを判定するための手段は、深度検知デバイスにおける赤外線(IR)エミッタおよび第1のIRセンサを有効することにより近距離深度検知を構成するための手段と、深度検知デバイスにおける第2のIRセンサをまた有効することにより中距離深度検知を構成するための手段と、を含む。
例40は、例39の要素を含み得、動作モードを判定するための手段は、深度検知デバイスにおいて、第2のIRセンサを無効にし、かつ第3のIRセンサを有効にすることにより、または第2のIRセンサを移動することにより長距離深度検知を構成するための手段を含む。
本明細書において採用されている用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現を用いる場合に、示され、説明される特徴(またはそれらの一部)の任意の均等物を除外する意図はなく、様々な変更が特許請求の範囲内で可能であることが理解される。従って、特許請求の範囲は、そのような全ての均等物を包含するように意図される。

Claims (25)

  1. 対象までの距離を検知する深度検知を実行する深度検知機器モジュールと、
    深度検知機器モジュールから少なくとも深度データを受信し、少なくとも深度データに基づき、前記深度検知機器モジュールのための、検知距離に適応した動作モードを構成する制御モジュールと
    を備え
    前記深度検知機器モジュールは、少なくとも赤、緑および青(RGB)センサ、赤外線(IR)エミッタ、IRエミッタから離れて配置される第1のIRセンサ、およびIRエミッタに近接して配置される第2のIRセンサを有する
    深度検知デバイス。
  2. 前記深度データは、前記深度検知デバイスから、前記深度検知機器モジュールにより検知された連結画素グループの少なくとも1つの画素までの距離、および、前記連結画素グループのサイズのうちの少なくとも1つを含む、請求項1に記載の深度検知デバイス。
  3. 前記制御モジュールはさらに、少なくとも前記深度検知デバイスに関する条件データを受信し、
    前記条件データに基づき前記深度検知デバイスのための構成を判定し、
    前記構成にもまた基づき前記深度検知機器モジュールのための動作モードを構成する、
    請求項1または2に記載の深度検知デバイス。
  4. 前記制御モジュールはさらに、
    前記深度検知デバイスがホストデバイスに結合されるかどうかを判定し、
    前記深度検知デバイスが前記ホストデバイスに結合されるとの前記判定に基づき前記ホストデバイスに関する条件データを受信し、
    前記深度検知デバイスおよび前記ホストデバイスから受信された前記条件データに基づき前記深度検知デバイスならびに前記ホストデバイスの少なくとも1つのための構成を判定する、
    請求項3に記載の深度検知デバイス。
  5. 前記制御モジュールはさらに、
    前記条件データおよび深度データの少なくとも1つに基づきシーン変化があったかどうかを判定し、
    シーンが変化したとの判定に基づき前記深度検知機器モジュールのための前記動作モードを再構成する、
    請求項3に記載の深度検知デバイス。
  6. 前記動作モードを構成するときに、前記制御モジュールは、前記深度検知機器モジュールのコンポーネントを有効にすること、深度検知機器モジュールのコンポーネントに対してフォーカスを調整すること、前記深度検知機器モジュールのコンポーネントに対する画像方向付けを構成すること、および前記深度検知機器モジュールのコンポーネントに対する深度検知方法論を選択すること
    のうちの少なくとも1つを行う、
    請求項1から5のいずれか一項に記載の深度検知デバイス。
  7. 深度検知を実行する深度検知機器モジュールと、
    深度検知機器モジュールから少なくとも深度データを受信し、少なくとも深度データに基づき前記深度検知機器モジュールのための動作モードを構成する制御モジュールと
    を備え、
    前記深度検知機器モジュールは、少なくとも赤、緑および青(RGB)センサ、赤外線(IR)エミッタ、IRエミッタから離れて配置される第1のIRセンサ、およびIRエミッタに近接して配置される第2のIRセンサを有する
    深度検知デバイス。
  8. 前記動作モードを構成するときに、前記制御モジュールは、近距離深度検知のために前記IRエミッタおよび前記第1のIRセンサを有効にする、
    請求項1から7のいずれか一項に記載の深度検知デバイス。
  9. 前記動作モードを構成するときに、前記制御モジュールはまた、中距離深度検知のために前記第2のIRセンサを有効にする、
    請求項に記載の深度検知デバイス。
  10. 前記第2のIRセンサは、前記深度検知機器モジュール内部で移動可能であり、前記動作モードを構成するときに、前記制御モジュールは、前記深度検知機器モジュールに、中距離深度検知のために構成される場合の第1の位置に、または長距離深度検知のために前記第1のIRセンサから距離が遠くなる第2の位置に前記第2のIRセンサを配置させる、
    請求項に記載の深度検知デバイス。
  11. 前記深度検知機器モジュールは、前記第2のIRセンサよりも前記第1のIRセンサから距離が遠くに配置される第3のIRセンサを有し、
    前記動作モードを構成するときに、前記制御モジュールは、長距離深度検知のために前記RGBセンサ、前記IRエミッタ、前記第1のIRセンサおよび前記第3のIRセンサを有効にする、
    請求項1から7のいずれか一項に記載の深度検知デバイス。
  12. 対象までの距離を検知する深度検知デバイスを構成するための方法であって、
    深度センサデバイスにおける制御モジュールにて条件データを受信する段階と、
    前記条件データに基づき少なくとも前記深度センサデバイスのための構成を判定する段階と、
    前記深度センサデバイスから前記制御モジュールにて深度データを受信する段階と、
    前記判定された構成および前記深度データに少なくとも基づき、前記深度センサデバイスにおける深度検知機器モジュールのための、検知距離に適応した動作モードを構成する段階と
    を備え
    前記深度検知デバイスは、少なくとも赤、緑および青(RGB)センサ、赤外線(IR)エミッタ、IRエミッタから離れて配置される第1のIRセンサ、およびIRエミッタに近接して配置される第2のIRセンサを有する
    方法。
  13. 前記深度センサデバイスがホストデバイスに結合されるかどうかを判定する段階と、
    前記深度センサデバイスが前記ホストデバイスに結合されるとの判定に基づき前記ホストデバイスから条件データを受信する段階と、
    前記ホストデバイスから受信された前記条件データにもまた基づき前記構成を判定する段階と
    をさらに備える請求項1に記載の方法。
  14. 前記構成を判定する段階は、前記深度センサデバイスおよびホストデバイスの少なくとも1つが卓上構成にあるかどうか、ならびに、前記深度センサデバイスおよび前記ホストデバイスの少なくとも1つが移動しているかどうかの少なくとも1つを判定する段階を含む、
    請求項1または1に記載の方法。
  15. 前記条件データおよび深度データの少なくとも1つに基づきシーン変化があったかどうかを判定する段階と、
    判定し得、シーンが変化したとの判定に基づき前記深度検知機器モジュールのための前記動作モードを再構成する段階と
    をさらに備える請求項1から1のいずれか一項に記載の方法。
  16. 前記動作モードを構成する段階は、
    前記深度検知機器モジュールのコンポーネントを有効にする段階、
    前記深度検知機器モジュールのコンポーネントに対するフォーカスを調整する段階、
    前記深度検知機器モジュールのコンポーネントに対する画像方向付けを構成する段階、および
    前記深度検知機器モジュールのコンポーネントに対する深度検知方法論を選択する段階
    のうちの少なくとも1つを備える、
    請求項1から1のいずれか一項に記載の方法。
  17. 前記動作モードを判定する段階は、
    前記深度検知デバイスにおける前記IRエミッタおよび前記第1のIRセンサを有効することにより近距離深度検知を構成する段階と、
    前記深度検知デバイスにおける前記第2のIRセンサをまた有効することにより中距離深度検知を構成する段階と、
    を有する請求項1から1のいずれか一項に記載の方法。
  18. 深度検知デバイスを構成するための方法であって、
    深度センサデバイスにおける制御モジュールにて条件データを受信する段階と、
    前記条件データに基づき少なくとも前記深度センサデバイスのための構成を判定する段階と、
    前記深度センサデバイスから前記制御モジュールにて深度データを受信する段階と、
    前記判定された構成および前記深度データに少なくとも基づき前記深度センサデバイスにおける深度検知機器モジュールのための動作モードを構成する段階と
    を備え、
    前記動作モードを判定する段階は、
    前記深度検知デバイスにおける赤外線(IR)エミッタおよび第1のIRセンサを有効することにより近距離深度検知を構成する段階と、
    前記深度検知デバイスにおける第2のIRセンサをまた有効することにより中距離深度検知を構成する段階と、
    を有する方法。
  19. 前記動作モードを判定する段階は、
    前記深度検知デバイスにおいて、前記第2のIRセンサを無効にし、かつ第3のIRセンサを有効にすることにより、または前記第2のIRセンサを移動することにより長距離深度検知を構成する段階、
    を含む請求項1または1に記載の方法。
  20. 請求項1から19のいずれか一項に記載の方法を実行するように配設される、深度検知デバイスおよびホストデバイスを少なくとも含むシステム。
  21. 請求項1から19のいずれか一項に記載の方法を実行するように配設されるチップセット。
  22. 請求項1から19のいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。
  23. 請求項1から19のいずれか一項に記載の方法を実行すべく配設される深度検知デバイスを構成する少なくとも1つのデバイス。
  24. 請求項12から19のいずれか一項に記載の方法を実行する手段を有するデバイス。
  25. 請求項2に記載のプログラムを格納する、コンピュータ可読ストレージ媒体。
JP2017552940A 2015-05-27 2016-04-27 適応可能な深度検知システム Active JP6930700B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/722,955 2015-05-27
US14/722,955 US9683834B2 (en) 2015-05-27 2015-05-27 Adaptable depth sensing system
PCT/US2016/029511 WO2016191018A1 (en) 2015-05-27 2016-04-27 Adaptable depth sensing system

Publications (2)

Publication Number Publication Date
JP2018523089A JP2018523089A (ja) 2018-08-16
JP6930700B2 true JP6930700B2 (ja) 2021-09-01

Family

ID=57394172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017552940A Active JP6930700B2 (ja) 2015-05-27 2016-04-27 適応可能な深度検知システム

Country Status (7)

Country Link
US (1) US9683834B2 (ja)
EP (1) EP3304898B1 (ja)
JP (1) JP6930700B2 (ja)
KR (1) KR102559289B1 (ja)
CN (1) CN108541300A (ja)
TW (1) TWI697655B (ja)
WO (1) WO2016191018A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
US10169663B2 (en) * 2016-09-01 2019-01-01 The Boeing Company Scene change detection via multiple sensors
KR102527329B1 (ko) 2017-03-21 2023-05-02 매직 립, 인코포레이티드 가상, 증강 및 혼합 현실 시스템들을 위한 깊이 감지 기술
CN108765480B (zh) * 2017-04-10 2022-03-15 钰立微电子股份有限公司 深度处理设备
CA2980396C (en) * 2017-09-27 2019-01-29 Synaptive Medical (Barbados) Inc. Cognitive optical control system and methods
KR102486425B1 (ko) * 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
JP7220343B2 (ja) * 2018-02-26 2023-02-10 パナソニックIpマネジメント株式会社 画像処理装置
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
KR20210049561A (ko) * 2019-10-25 2021-05-06 현대모비스 주식회사 센서 클러스터장치 및 그를 포함하는 자동차
TWI718765B (zh) * 2019-11-18 2021-02-11 大陸商廣州立景創新科技有限公司 影像感測裝置
KR20210106809A (ko) * 2020-02-21 2021-08-31 엘지전자 주식회사 이동 단말기
CN116615760A (zh) * 2020-12-07 2023-08-18 华为技术有限公司 成像结构

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000213931A (ja) * 1999-01-21 2000-08-04 Hamamatsu Photonics Kk 測距モジュ―ル
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
WO2010104490A1 (en) * 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
KR101599434B1 (ko) 2009-07-06 2016-03-03 엘지이노텍 주식회사 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
CA2776223A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
US9044172B2 (en) * 2009-10-01 2015-06-02 Intel Corporation Ergonomic detection, processing and alerting for computing devices
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120113232A1 (en) * 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
WO2012068724A1 (zh) 2010-11-23 2012-05-31 深圳超多维光电子有限公司 立体图像获取系统及方法
US8553934B2 (en) * 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US10158873B2 (en) * 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
CN203136025U (zh) * 2012-11-12 2013-08-14 深圳市维尚视界立体显示技术有限公司 一种3d立体拍摄智能控制的装置及其系统
KR102118610B1 (ko) * 2013-02-22 2020-06-04 삼성전자주식회사 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US8938558B2 (en) * 2013-03-04 2015-01-20 Microsoft Corporation Modifying functionality based on distances between devices
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
US20140267617A1 (en) 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
KR20140123302A (ko) 2013-04-12 2014-10-22 삼성전자주식회사 영상 처리 장치 및 그 제어방법
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
EP2992403B1 (en) 2013-04-30 2021-12-22 Hewlett-Packard Development Company, L.P. Depth sensors
US9390511B2 (en) * 2013-08-23 2016-07-12 Futurewei Technologies, Inc. Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
US9438775B2 (en) * 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture

Also Published As

Publication number Publication date
JP2018523089A (ja) 2018-08-16
EP3304898A4 (en) 2019-01-02
KR102559289B1 (ko) 2023-07-24
EP3304898B1 (en) 2020-05-06
EP3304898A1 (en) 2018-04-11
WO2016191018A1 (en) 2016-12-01
KR20180012746A (ko) 2018-02-06
TWI697655B (zh) 2020-07-01
US20160349042A1 (en) 2016-12-01
US9683834B2 (en) 2017-06-20
CN108541300A (zh) 2018-09-14
TW201710641A (zh) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6930700B2 (ja) 適応可能な深度検知システム
EP3700184B1 (en) Electronic device and method for changing magnification of image using multiple cameras
KR102406327B1 (ko) 출력 장치를 제어하는 방법 및 장치
US11222477B2 (en) Electronic device for providing augmented reality service and operating method thereof
US10205874B2 (en) Wearable device and control method thereof
US9658713B2 (en) Systems, methods, and applications for dynamic input mode selection based on whether an identified operating system includes an application program interface associated with the input mode
US20180101715A1 (en) Electronic device having plurality of fingerprint sensing modes and method for controlling the same
CN108234750B (zh) 用于检测盖设备的打开和闭合的电子设备及其操作方法
EP3141982B1 (en) Electronic device for sensing pressure of input and method for operating the electronic device
US20170118402A1 (en) Electronic device and camera control method therefor
EP3608765A1 (en) Electronic device and method for executing application using both display of electronic device and external display
US20160364564A1 (en) Lock screen output controlling method and electronic device for supporting the same
CN105138247A (zh) 检测到第二设备接近第一设备而在第一设备呈现用户界面
KR102504308B1 (ko) 디스플레이의 밝기를 제어하는 방법, 전자 장치 및 컴퓨터 판독가능 기록매체
US20150381896A1 (en) Method of managing data and electronic device for processing the same
US9792183B2 (en) Method, apparatus, and recording medium for interworking with external terminal
US11132537B2 (en) Electronic device for determining position of user based on image pixels, and method of controlling said device
CN104679552A (zh) 选择性地禁用传感器和相关联的功能
US11457151B2 (en) Method of obtaining a user-selected angle of view from among a plurality of angles of view of respective cameras and electronic device supporting the same
US11636675B2 (en) Electronic device and method for providing multiple services respectively corresponding to multiple external objects included in image
KR20200106483A (ko) 화면 구성 방법, 전자 장치 및 저장 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210730

R150 Certificate of patent or registration of utility model

Ref document number: 6930700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150