JP5894600B2 - 低電力深度カメラおよび投射デバイスの統合 - Google Patents

低電力深度カメラおよび投射デバイスの統合 Download PDF

Info

Publication number
JP5894600B2
JP5894600B2 JP2013531589A JP2013531589A JP5894600B2 JP 5894600 B2 JP5894600 B2 JP 5894600B2 JP 2013531589 A JP2013531589 A JP 2013531589A JP 2013531589 A JP2013531589 A JP 2013531589A JP 5894600 B2 JP5894600 B2 JP 5894600B2
Authority
JP
Japan
Prior art keywords
light
light source
video projector
projector device
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013531589A
Other languages
English (en)
Other versions
JP2013546222A5 (ja
JP2013546222A (ja
Inventor
カッツ，サジ
フェルゼンシュテイン，シュロモ
アドラー，アヴィシャイ
ヤハヴ，ジオラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013546222A publication Critical patent/JP2013546222A/ja
Publication of JP2013546222A5 publication Critical patent/JP2013546222A5/ja
Application granted granted Critical
Publication of JP5894600B2 publication Critical patent/JP5894600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

従来技術
[0001] リアル・タイム深度カメラは、このカメラの視野の中にいる人間または他の物体までの距離を判定することができ、更にこのカメラのフレーム・レートに基づいて、実質的にリアル・タイムで距離を更新することができる。このような深度カメラは、例えば、モーション・キャプチャー・システムにおいて、物理的空間内の人間の身体または他の被写体の位置および動きに関するデーターを得るために使用することができ、更にこのデーターを計算システムにおけるアプリケーションへの入力として使用することができる。軍事、娯楽、スポーツ、および医療目的のためというような、多くの用途が可能である。通例、深度カメラは視野を照明する赤外線照明器と、画像を形成するために視野からの光を検知する画像センサーとを含む。更に、ユーザーの家庭にあるテレビジョンのようなディスプレイ・デバイスと通信するゲーミング・コンソールの一部として、深度カメラを設けることもできる。
しかしながら、ビデオ・プロジェクター・デバイスのような携帯用デバイスまたは形状係数が小さな他のデバイスに深度カメラ技術を適用するには、種々の課題が存在する。これらの課題には、電力および空間の制限が含まれる。
[0002] 小型サイズ、消費電力低減、およびコスト削減という目標を達成するビデオ・プロジェクター・デバイスを提供する。このビデオ・プロジェクター・デバイスのバックライトを変調して光パルスを作り、これらの光パルスを可視光カメラによって検出し、視野に関する距離／深度データーに変換することができる。この種の変調は、必ずしも投射光の画像品質に著しい影響を及ぼすことはなく、種々の移動体デバイスまたは非移動体デバイスにおいて具体化することができる。これらのデバイスは、当該デバイスまたはこのデバイスに接続されているホストにおいて実行する種々のアプリケーションのために使用される。
[0003] 一実施形態では、ビデオ・プロジェクター・デバイスは、プロジェクターのバックライトのような光源を含み、この光源が可視光を出す。このビデオ・プロジェクター・デバイスのプロジェクター部分には、光源から出された可視光を変調するドライバーが設けられている。また、個々に制御可能な画素を有する１つ以上の光透過性ＬＣＤパネルも、光源からの可視光にカラー・ビデオ情報を伝える設けることができる。カラー・コード化可視光を視野に投射する少なくとも１つの光学素子が設けられている。例えば、１つ以上のレンズを使用することができる。ビデオ・プロジェクター・デバイスのセンサー部分では、電荷結合デバイス（ＣＣＤ）のような１つ以上のセンサーが設けられ、視野内の少なくとも１つの物体から反射した可視光を含む、可視光を検知する。このセンサーは、画素のアレイを含む。有利なことを上げると、このセンサーは、ディジタル・カメラにおいて使用されている従来のタイプのＣＣＤとすることができる。ビデオ・フレームを投射する少なくとも１つの制御回路が設けられている。フレームは、ゲート・サブフレーム（gated sub-frame)を含むことができ、このゲート・サブフレームでは、光源がパルス・モードで駆動され、その間センサーはゲート・モードで動作させられる。続いて、光源が連続モードで駆動させられ、その間にセンサーが読み取られて、光強度値が得られる。少なくとも１つの生後回路は、この光強度値に基づいて、飛行時間の原理を使用して、視野内の少なくとも１つの物体に関する深度データーを得る。この深度データーは、例えば、視野の深度マップの形態で提供することができる。
[0004] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。
[0011] 図面において、同様の番号が付けられたエレメントは互いに対応するものとする。
図１は、ビデオ・プロジェクター・デバイスを含む環境例の側面図を示す。 図２は、図１の環境例の上面図を示す。 図３は、図１のビデオ・プロジェクター・デバイスのブロック図例を示す。 図４Ａは、ビデオ・プロジェクター・デバイスを使用するプロセスを示す。図４Ｂは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの例を示す。図４Ｃは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの他の例を示す。 図５Ａは、図４Ｂのステップ４１０において記したゲート・サブフレームを与えるプロセスの例を示す。 図５Ｂは、図４Ｂのステップ４１２において記した非ゲート・サブフレームを与えるプロセスの例を示す。 図５Ｃは、図４Ｂのステップ４１４において記した背景サブフレームを与えるプロセスの例を示す。 図５Ｄは、図４Ｂのステップ４１６において記したカラー・サブフレームを与えるプロセスの例を示す。 図６Ａは、図４Ｃのステップ４２０において記するゲート・サブフレームを与えるプロセスの例を示す。図６Ｂは、図４Ｃのステップ４２２において記する非ゲート・サブフレームを与えるプロセスの例を示す。 図７Ａは、図４Ｂのプロセスに対応するプロジェクターの出力を示す。 図７Ｂは、図７Ａのプロジェクター出力に基づく、センサーへの入力を示す。 図７Ｃは、連続投射が行われる、非深度検知フレームを示す。 図７Ｄは、低い光強度および高い光強度のフレームを交互に与えるフレーム・シーケンス例を示す。 図７Ｅは、長いフレーム期間および短いフレーム期間のフレームを交互に与えるフレーム・シーケンス例を示す。 図８Ａは、図４Ｃのプロセスに対応するプロジェクターの出力を示す。図８Ｂは、図８Ａのプロジェクター出力に基づく、センサーの出力を示す。 図９Ａは、方形波形を使用するプロジェクターからの出力であるパルス光を示す。図９Ｂは、図９Ａのプロジェクター出力に基づく、センサーの出力を示す。 図１０Ａは、三角波形を使用するプロジェクターからの出力であるパルス光を示す。図１０Ｂは、図１０Ａのプロジェクター出力に基づく、センサーへの入力であるパルス光を示す。
[0029] 複数の用途において有用なビデオ・プロジェクター・デバイスを提供する。用途の一例では、表面上に画像を投射し、この画像が、ユーザー・インターフェースにおけるメニュー項目のような、複数の選択可能な画像部分を有する。ユーザーは、例えば、彼の手を使ってジェスチャーを行い、これらの画像部分から１つを選択することができる。新たなビデオまたは静止画像コンテンツを選択する、現在投射されているビデオまたは静止画像コンテンツを変更する、ゲームをプレーする、電話コールのような通信を開始する等というような、対応する制御入力をアプリケーションに供給することができる。１つの手法では、表面上に投射された画像がタッチ・ディスプレイになる。他の用途例では、視野内の物体の３−Ｄ形状を検知し、記録する。ビデオ・プロジェクター・デバイスは、可視光プロジェクターを使用して、視野における表面または物体上というように、視野において所望のパターンで連続光を投影しつつ、飛行時間の原理を使用して、深度データーを得るときに使用するためのパルス光を供給するという双方を行う利点がある。画質が顕著に低下しないように、光源を周期的に駆動して、連続光出力が供給される期間に対して、限定した期間にわたって可視光パルスを供給することによって、深度データーを得ることができる。この限定した期間において、ビデオ・プロジェクター・デバイスのセンサーが、視野からの反射した可視光パルスを検出するようにゲートされる(gated)。また、このセンサーは、典型的なディジタル・カメラのように、静止画像、例えば、写真、またはビデオ画像、例えば、ビデオを得るというようなことのために、視野からカラー・データーを得る能力も有する。
[0030] ビデオ・プロジェクター・デバイスにおいて共通して使用されるエレメントを新たな方法で使用して、そのデバイスを３−Ｄデーター検出デバイスに変換することによって、追加の機能を得ることができる。例えば、ビデオ画像が投射される表面の近くにある物体について３−Ｄ深度データーを得ることができる。
[0031] ビデオ・プロジェクターは、検知専用モードで動作することもでき、このモードでは、可視光パルスは供給されるが、連続光出力は供給されない。他の選択肢では、ビデオ・プロジェクターが投射および検知モードで動作するとき、ビデオ・プロジェクターが投射専用モードで動作するときと比較して、カラー・コントラストを高めるために、フレーム期間を延長することができ、および／または光強度を高めることができる。
[0032] 図１は、ビデオ・プロジェクター・デバイスを伴う環境例の側面図を示す。最初に述べたように、深度カメラは増々普及しつつある。深度検知技術は、移動体または形状係数が小さいビデオ・プロジェクター・デバイスのような他の製品においても使用することができる。ビデオ・プロジェクター・デバイスは、ピコ・プロジェクターと呼ばれることもある小型のハンドヘルド・デバイス、移動体プロジェクター、およびポケット・プロジェクターを含む。このようなデバイスは、微小ハードウェアおよびソフトウェアを含むことができ、平らな壁またはテーブル、あるいは一般に任意の形状をした表面／物体というような、任意の近隣視聴表面上にデジタル画像を投射することができる。ビデオ・プロジェクター・デバイスは、必ずしもハンドヘルドでも携帯用でもない他のデバイスを含むことができ、テーブルの上面上に載せるデバイス、壁または他の表面に取り付けるデバイスが含まれる。
[0033] １つの用途では、静止画像またはビデオ・画像を表示して、手のジェスチャーによって動かすことによって、ユーザーが画像を変更することを可能にする。例えば、手、または１つの手の指を別々に動かすジェスチャーを行うと、投射されている画像を拡大／ズームイン(zoom in)することができ、逆の動きを行うと、投射されている画像が小さくなる／ズームアウト(zoom out)する。ユーザーは、投射画像から物体を持ち上げるまたはそれ以外で選択する様子を見せることができ、その物体が選択されたときに、その物体の投射が変化する。手を横に振るまたは弾くジェスチャーを行うと、メニューをスクロールする、あるいはビデオまたは静止画像の表示を停止または開始することができる。自然ユーザー・インターフェース（ＮＵＩ）体験を作ることができ、ユーザーは、投射された物体が本当に実在の物体であるかのように、これらと相互作用することができる。多くの他の用途も可能である。人の一部、人全体、または他の物体を追跡することに関する更なる情報は、例えば、２０１０年８月５日に公開された"Visual Target Tracking"（視覚目標追跡）と題する米国特許出願公開２０１０年第０１９７３９９号、および２０１０年８月５日に公開された"Body Scan"（身体走査）と題する米国特許出願公開２０１０年第０１９４８７２号において見いだすことができる。これらをここで引用したことにより、各々、その内容が本願にも含まれるものとする。
[0034] 図１において、ビデオ・プロジェクター・デバイス１００は、テーブルの上面１０２に載せられたところが示されている。プロジェクター・レンズ１００は、この例では、光線１１２および１１４によって区切られる視野に可視光を透過または投射させるために使用されている。投射光の一部は、光線１２２および１２４によって区切られる領域によって示されるように、反射し、カメラ・レンズ１２０を介して、ビデオ・プロジェクター・デバイス１００内のセンサーによって検知される。ユーザー１３０は、彼の腕または手１３２を、投射された視野の中に入れ、この手の存在または手の任意の動きをセンサーによって検知できるようにする。
[0035] 図２は、図１の環境例の上面図を示す。ビデオ・プロジェクター・デバイスによって、テーブルの上面１０２上に画像領域１５０が投射される。画像領域１５０は、例えば、画像部分１５２、１５４、１５６、および１５８を含む。ユーザーは、手１３２を画像部分１５２の上に置くことによって、画像部分１５２を選択することができる。画像部分１５２の選択は、異なる方法でトリガすることもできる。１つの手法では、１〜２秒というような最短時間期間画像部分１５２の上に手があることによって、画像部分５１２の選択をトリガすることができる。他の手法では、ユーザーが、画像部分１５２の上に手を置くというようなジェスチャーを行い、続いて手を画像部分１５２に向かって下ろしていくか、または画像部分１５２から離れるように手を持ち上げなければならない。多くの他の可能性も存在する。同様の例は、画像が垂直な表面または他の表面上に投射される場合にも示すことができる。この表面は必ずしも平面ではない。
[0036] 図３は、図１のビデオ・プロジェクター・デバイスのブロック図例を示す。これらのコンポーネントは１つの筐体の中に設けることができる。ビデオ・プロジェクター・デバイス３００は、バックライトのような光源３１８を含む。光源３１８は、連続可視光またはパルス状可視光を出すように作動させる（給電するまたはオンに切り替える）ことができる。また、光源３１８は、電力消費を低減するために可視光を出さないように、作動させない（電源を切るまたはオフに切り替える）こともできる。光源は、深度検知の間変調され、ビデオ投射の間作動させられ続ける。オフにする場合、これは、システムがカラー・ビデオ／画像を取り込むことしかできないことを意味する。１つの可能な手法では、光源３１８は１つ以上の発光ダイオード（ＬＥＤ）を含むことができる。図示されていない種々の他の光学素子も、通例使用される。１つの手法では、ハロゲン化金属ランプのような白色光源が使用される場合、この光源は白色光を構成し、この白色光が３つの色成分（例えば、赤、緑、青）にプリズムによって分離され、各色成分が別々の変調器を通過する。変調された各カラーの光は、その後、しかるべき光学素子を使用して、組み合わされそして投射される。他の手法では、白色光が１つの変調器に、カラー・ホイールのようなコンポーネントを介して供給され、例えば、赤、緑、および青成分が時間多重法で変調器に供給される。ＬＥＤが使用されるときというような１つの手法では、ＬＥＤの各グループが赤、緑、および青というような、異なるカラーを出し、各カラー成分が別々の変調器を通過し、変調された各カラーの光が、その後、しかるべき光学素子を使用して組み合わされそして投射される。
[0037] 光源に対する他の選択肢に、ディジタル光処理（ＤＬＰ）（登録商標）チップ（Texas Instruments, Inc.)がある。このチップは、２百万個までのヒンジ取り付け型極微小ミラー(microscopic mirror)の矩形アレイを含み、これらのミラーがディジタル画像を画面または他の表面上に反射することができる。ＤＬＰチップの変調は、ＬＣＤチップの変調と同様である。１ＤＬＰチップ構成では、白色光はカラー・フィルターを通過して、赤、緑、青、およびイエロー・シアン、マジェンタ等のような追加の原色をも、ＤＬＰチップの表面上で順次光らせる。これらのミラーの切り替え、ならびにこれらが「オン」および「オフ」になっている時間の割合は、これらのミラー上で光るカラーにしたがって調整される。次いで、これらのカラーが順次混ざり合ってフル・カラー画像が作られて投射される。
[0038] ＬＣＤパネル３２０は、光源から出された光を、カラー・ビデオ情報によってエンコードして、カラー・エンコード可視光を生成し、投射レンズ３２２のような少なくとも１つの光学素子を介して投射する。例えば、光透過性ＬＣＤチップを使用することによってというようにして、１つ以上の光透過性ＬＣＤパネルを設けることができる。ＬＣＤパネルは、光透過性画素のアレイを１つ以上含むことができ、プロジェクター制御回路３１０に応答して、各画素を各々個別に制御することができる。ＬＣＤパネルの画素は、投射しようとする所望のカラー画像のような、画像データーを知らせるように制御することができる。
[0039] 投射レンズ３２２および／またはセンサー・レンズ３６０は、センサー制御回路３４０からプロジェクター制御回路３１０に供給される深度情報に基づいて、自動合焦機能を設けるため等で、プロジェクター制御回路３１０によって制御することができる。視野内の１つ以上の物体の深度または深度の範囲が分かると、最適な焦点を設定することができる。
[0040] プロジェクター制御回路３１０は、プロセッサー３１２によって代表される１つ以上のプロセッサーと、メモリー・コンポーネント３１４によって代表される１つ以上のメモリー・コンポーネントと、ドライバー３１６によって代表される１つ以上のドライバーとを含むことができる。プロセッサーは、例えば、マイクロプロセッサーとすることができ、メモリー３１４に格納されている命令を実行して、本明細書において記載するような機能を設ける。メモリー３１４は、プロセッサー３１２によって実行される命令を格納することができ、更に所望の投射画像を供給するようにＬＣＤパネル３２０を制御するための画像データーも格納することができる。例えば、メモリー３１４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または任意の他の適した有形コンピュータ読み取り可能記憶媒体を含むのでもよい。メモリー・コンポーネント３１４は、プロセッサーおよび／またはプロジェクター制御回路３１０と、例えば、バスを介して通信可能な別々のコンポーネントであってもよい。または、メモリー・コンポーネント３１４をプロセッサー３１２および／またはプロジェクター制御回路３１０の中に統合してもよい。メモリー３１４は、本明細書において記載するようなビデオ・プロジェクター・デバイスにおいて画像データーを処理する方法を実行するように少なくとも１つのプロセッサー３１２をプログラミングするためのコンピュータ読み取り可能ソフトウェアが具体化されている、有形コンピュータ読み取り可能記憶媒体である。
[0041] ドライバー３１６は、光源と通信して、本明細書に記載するように、光源を駆動または変調する。例えば、出された光を変調するように、光源への電流および／または電圧をドライバーによって変調することができる。ドライバーは、高速パルス・モードおよび連続照明モードの双方をサポートするカスタム・ドライバーとすることができる。プロジェクター制御回路は、ＬＣＤパネルの画素の行および列を制御することができる。
[0042] ユーザー・インターフェース３３０は、ボタンまたはタッチ・スクリーンのような制御装置を含み、ユーザーがビデオ・プロジェクター・デバイスを制御するためのコマンドを入力することを可能にする。コマンドの例には、フレームのビデオ・プロジェクター・シーケンスのを開始または停止すること、静止画像、例えば、１つのフレームの投射を開始および停止すること、深度検知モードを開始または停止することが含まれる。１つの手法では、ユーザーは、検知専用モードにおいて、スナップ・ショットと同様に、１フレームの深度データーを取り込む選択肢を有する。ユーザーは、例えば、投射および深度検知モード、投射および非深度検知モード、または深度検知非投射モードを設定することができる。また、ユーザーは、視野内の物体を追跡するときに応答または感度に影響を及ぼす設定値を調節することもできる。異なるユーザーが、投射画像と相互作用するとき、異なる状況において異なるレベルの追跡感度を好む場合がある。また、ユーザーは、プロジェクターの明るさというような設定値を調節することもできる。
[0043] ビデオ・プロジェクター・デバイス３００のセンサー部分は、センサー・レンズ３６０を含む。視野からの可視光が このセンサー・レンズ３６０を通過して、センサー３５０によって代表される１つ以上のセンサーに到達する。可視光は、ビデオ・プロジェクター・デバイス以外の人工光源、例えば、電球から、そして自然光源、例えば、部屋における日光というような、周囲の背景光だけでなく、投射光の反射も含む可能性がある。このセンサーは、例えば、感光画素を有する１つ以上のＣＣＤを含むことができる。各画素は、電荷を生成し、蓄積または集積された電荷の量を、画素に到達した光強度の指示として読み取ることができる。センサーは、ゲート・モードまたは非ゲート・モードで、センサー制御回路３４０の制御の下で動作することができる。
[0044] ゲート動作の一実施態様では、制御されたシーケンスで画素が交互に作動および非作動とされる。画素が作動されている時間をゲート期間と呼ぶ。画素が作動させられているとき、光を検知し電荷を蓄積することができる。画素が非作動にされているとき、光が画素に入射していても、光を検知することや電荷を蓄積することはできない。ゲート動作の他の実施態様では、別の変調器（図示せず）を、センサー３５０とレンズ３６０との間に設けることができ、シャッターのように、光を遮断させたりまたは通過させることができる。この変調器またはセンサーは、所望通りに開くまたは閉じることができ、シャッターとして作用することができる。
[0045] 非ゲート動作の一実施態様では、センサー画素が連続時間期間にわたって電荷を蓄積するように、これらが作動させられる。この連続時間期間の後、蓄積された電荷の量が、センサー制御回路３４０によって読み出される。
[0046] センサー制御回路３４０は、プロセッサー３４２によって代表される１つ以上のプロセッサーと、メモリー・コンポーネント３４８によって代表される１つ以上メモリー・コンポーネントとを含むことができる。プロセッサーは、例えば、マイクロプロセッサーとすることができ、メモリー３４８に格納されている命令を実行して、本明細書において記載するような機能を設ける。メモリー３４８は、プロセッサー３１２によって実行される命令を格納することができ、センサーからの読み取り値や画像データーを格納することができる。例えば、メモリー３４８は、先に論じたように、メモリー３１４と同様に構成することができる。メモリー３４８は、本明細書において記載するようなビデオ・プロジェクター・デバイスにおいて画像データーを処理する方法を実行するように少なくとも１つのプロセッサー３４２をプログラミングするためのコンピュータ読み取り可能ソフトウェアが具体化されている、有形コンピュータ読み取り可能記憶媒体である。
[0047] プロセッサー３４２は、深度データー処理部分３４４を含むことができる。深度データー処理部分３４４は、センサーからの読み取り値を受け取り、これらをセンサーの画素毎の深度データーに変換する。例えば、画素からの読み取り値は、蓄積された電荷の量を示すことができ、センサーの特性に基づいて、これを光強度と相関付けることができる。更に、プロジェクターがパルス・モードで動作しセンサーがゲート・モードで動作するとき、画素が光を検知するタイミングをプロジェクターからの光のパルスと相関付けることができる。これによって、飛行時間の原理に基づいて、深度値を画素と関連付けることができる。深度値を得るためには、２回の測定、ゲートおよび非ゲートが必要になる。センサーの一部または全部の画素からの１組の深度値から、検知された画像データーのフレームについての深度マップが求められる。この深度マップを、例えば、メモリー３４８に格納することができる。センサー制御回路３４０は、プロジェクター制御回路と通信して、タイミング・データーを得ることができる。深度データー処理部分３４４は、このタイミング・データーを使用して深度値を計算する。任意なこととして、中央制御回路が、プロジェクター制御回路３１０およびセンサー制御回路３４０を管理する。これには、プロジェクター制御回路３１０においてパルス・モードまたは連続モードを設定するためにタイミング・データーを供給すること、およびセンサー制御回路３４０においてゲート・モードまたは非ゲート・モードを設定するためにタイミング・データーを供給することが含まれる。
[0048] プロセッサー３４２は、カラー・データー処理部分３４６を含むことができる。カラー・データー処理部分３４６は、静止画またはビデオ・カメラ・センサーが動作する方法と同様に、センサーからのカラー画素データーを受け取る。このように、センサーの視野のカラー画像を得て、例えば、メモリー３４８に格納することができる。
[0049] また、プロセッサー３４２は、ジェスチャー・フィルタの集合体のような、ジェスチャー・ライブラリー３４７も含むことができる。各ジェスチャー・フィルターは、手のジェスチャーも含んで、ユーザーによって行われるかもしれないジェスチャーに関する情報を有する。検出された動きを各フィルターと比較することによって、指定されたジェスチャーまたは動きがユーザーによって行われたことを特定することができる。
[0050] 図４Ａは、ビデオ・プロジェクター・デバイスを使用するプロセスを示す。ステップ４００は、可視光を視野に投射し、その間にセンサーを読み取って深度データーを得ることによって、１フレームの画像データーを供給することを含む。ステップ４０２は、深度データーに基づいて、制御入力をアプリケーションに供給することを含む。判断ステップ４０４では、次のフレームを投射すべきか否か判断する。次のフレームを投射する場合、本プロセスはステップ４００から開始して繰り返す。次のフレームを投射しない場合、本プロセスはステップ４０６において終了する。ステップ４００の実施態様例について、以下で論ずる。
[0051] 図４Ｂは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの例を示す。一般に、光源によって出された光は、センサーのゲート・シーケンス(gating sequence)にしたがって変調することができる。例えば、このセンサーに可能な１つの実施態様は、SONY（登録商標）社のモデルICX424AQ CCDセンサーである。ICX424ALは、正方形の画素アレイを有し、対角線が６ｍｍ（タイプ１／３）インターラインＣＣＤソリッド・ステート画像センサーである。累進走査(progressive scan)によって、全ての画素の信号を独立して約１／６０秒以内に出力することが可能になる。このチップは、電荷格納時間が可変である電子シャッタを有し、機械的シャッターを使用することなく、フル・フレーム静止画像を実現することを可能にする。これは、様々な画素解像度／モードをサポートし、ビデオ・グラフィクス・アレイ（ＶＧＡ）（６０Ｈｚにおいて６４０×４８０）、１／４ＶＧＡ（ＱＶＧＡ）（１２０Ｈｚにおいて３２０×２４０）、および１／４ＱＶＧＡ（ＱＱＶＧＡ）（２４０Ｈｚにおいて１６０×１２０）を含む。図７Ａおよび図７Ｂも参照して、ＱＱＶＧＡモードを使用すると仮定する。ＱＱＶＧＡモードは、３３ｍ秒の投射期間、即ち、全フレーム期間を含み、これが４つのセクションまたはサブフレームに分割される。各サブフレームにおいて、センサーが光に露出され、選択されたサブフレームにおいて光強度値が読み取られる。
[0052] フル・フレームは、投射しようとする画素データーのフレームによって定めることができる。画素データーが投射される異なるサブフレームでは、パルス・モードまたは連続モードにおいて、フレームの同じ画素データーを使用することができる。しかし、投射画像がその中に黒いセクションを有する場合、パルス光が同じ画像を示すとすると、深度を測定することができない。これは、様々な方法で解決することができ、黒レベルを変更する（何かを投射するように）ことが含まれる。サブフレームとは、組み合わせると１つのフレームの全体出力が得られる画像のことである。例えば、ゲート画像および非ゲート画像はサブフレームである。本願の観念では、フレームは、１回の検知サイクルにおける全てのサブフレームを含む。投射画素データーは、光源変調とは独立している（これとは同期が取られているが）。光源のドライバーは、一般に、投射画素データーにアクセスすることができない。
[0053] ステップ４１０では、パルス光を使用し、続いて連続光を使用して、ゲート・サブフレームを与える(provide)。このサブフレームでは、パルスはプロジェクターによって送られ、ゲート画像はセンサーによって検知される。例えば、センサーは、送られる各パルスに対応する限られた間隔の間でのみ光を検知することが許されている。プロジェクターは、パルス照明が使用された後、連続照明モードを与える。ゲート・サブフレームは、光強度値を生成することができ、この光強度値は、視野内の１つ以上の物体の深度データーと相関がある。
[0054] ステップ４１２では、パルス光を使用し、次いで連続光を使用して、非ゲート・サブフレームを与える。このサブフレームでは、ここでもプロジェクターによってパルスが送られるが、非ゲート画像がセンサーによって検知される。通常、非ゲート・モードでは、センサーはゲート・モードと同様に振る舞い、主な相違は、シャッターが開くおよび閉じる時間である。いずれの場合でも、周囲光に対するロバスト性を高めるために、センサーは、送られる各パルスに対応する時間間隔で開く。非ゲート・サブフレームは、視野内の１つ以上の物体の反射率データーを生成することができる。
[0055] ステップ４１４では、光を使用せず、続いて連続光を使用して、背景サブフレームを与える。このサブフレームでは、最初に、背景光がセンサーによって検知されるように、プロジェクターによって光が送られない。その後、連続光がプロジェクターによって供給される。背景サブフレームは、視野における背景光に関するデーターを生成することができる。背景光は、ビデオ・プロジェクター・デバイスから発したのではなく、人工光源または自然光源からのものとすることができる。
[0056] ステップ４１６では、連続光を使用して、任意のカラー・サブフレームを与える。このサブフレームでは、センサーは、視野からのカラー・データーを検知し格納することによって、カメラとして動作する。このカラー・データーは、例えば、標準的なＲＧＢ画像とすることができる。カラー・サブフレームでは、光を連続モードで駆動することができ、その間センサーはアクティブである。
[0057] 尚、サブフレームの順序は変化する可能性があることを注記しておく。１つの手法では、ゲート・サブフレームを与え、その次に非ゲート・サブフレームが続き、その次に背景サブフレームが続き、その次にカラー・サブフレームが続く。しかしながら、この順序は必須ではない。更に、異なるサブフレームを異なる発生頻度で与えることもできる。例えば、仮に使用するにしても、ゲート・サブフレームをｎ１≧１フレーム毎に与えることができ、非ゲート・サブフレームをｎ２≧１フレーム毎に与えることができ、背景サブフレームをｎ３≧１フレーム毎に与えることができ、カラー・サブフレームをｎ４≧１フレーム毎に与えることができる。ｎ１、ｎ２、ｎ３、およびｎ４は、正の整数である。例えば、２フレーム毎に深度データーを供給すれば十分であると仮定すると、ｎ１＝ｎ２＝ｎ３＝２、そしてｎ４＝１となる。１つ以上のサブフレームが１つのフレームにおいて与えられない場合、このフレームの残りの部分を延長してフレーム期間を満たすことができる。例えば、カラー・サブフレームのみを含むフレームでは、カラー・サブフレームを最大の３３ｍ秒まで延長する。または、フレーム期間を短縮することもできる。１つの手法では、フレームの時間の残りは、投射されたビデオのコントラストを高めるために、連続投射のために使用することができる。深度検知にとっては、露出時間を延長することは望ましくない。一方、カラーにとっては、光が少ない場面では望ましい場合もある。
[0058] 他の例では、カラー・データーが必要でない場合、２回目の背景検知を行うことができ、この場合、１つのフレームが、背景サブフレーム、ゲート・サブフレーム、非ゲート・サブフレーム、および背景サブフレームをこの順序で含む。
[0059] 図４Ｃは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの他の例を示す。この場合、深度検知のみが行われ、視野における連続投射は行われない。ステップ４２０は、パルス光を使用してゲート・サブフレームを与えることを含む。この後に連続光は供給されない。ステップ４２２は、パルス光を使用して、非ゲート・サブフレームを与えることを含む。この場合も、この後に連続光は供給されない。パルス可視光は、一般に、人間の目には気付かれない。これは、照明期間が非常に短いからである。また、背景画像を撮影することもできる（パルスを使用しない画像）（ステップ４２４）。この場合、発光条件に相違がないので、背景画像およびカラー画像が同じ画像であることができる。また、カラー・サブフレームも与えることができる（ステップ４２６）。これは、背景サブフレームと同じである。連続投射を使用しない深度検知の利点は、電力消費が低減することである。更なる詳細については、図８Ａおよび図８Ｂを参照のこと。
[0060] 図５Ａは、図４Ｂのステップ４１０において記したゲート・サブフレームを与えるプロセスの例を示す。ステップ５００は、ゲート・サブフレームを開始する。ゲート・サブフレームは、パルス光、その後にプロジェクターからの連続光を使用する。ステップ５０２および５０３は、少なくとも部分的に、同時に行うことができる。１つの手法では、光源は連続的に可視光を出す。ステップ５０２において、パルス可視光が視野に出されるようにプロジェクターの光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光の波形例を示す。図７Ａにおける時間０〜２ｍ秒も参照のこと。ステップ５０３において、センサーをゲート・モードで動作させ、その間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知した光に対する波形例を示す。図７Ｂにおける時間０〜２ｍ秒も参照のこと。
[0061] ステップ５０４および５０５は、少なくとも部分的に、同時に行うことができる。ステップ５０４において、連続可視光が視野に出されるように、光源を連続モードで駆動する。図７Ａにおける時間２〜８ｍ秒を参照のこと。ステップ５０５において、センサーを読み取り、光強度値を得る。図７Ｂにおける時間２〜８ｍ秒を参照のこと。この読み出し期間において、追加の光はセンサーによって検知されない。光強度値は、深度値を判定するときに後に使用するために格納することができる。例えば、光強度値に基づいて、光強度値を正規化することもできる。これらは、非ゲート・サブフレームにおいて得られる。この正規化は、背景サブフレームをゲート・サブフレームおよび非ゲート・サブフレーム双方から減算した後に行われる。次いで、正規化した光強度値を使用して、深度値を決定することができる。
[0062] 図５Ｂは、図４Ｂのステップ４１２において記した非ゲート・サブフレームを与えるプロセスの例を示す。ステップ５１０は、パルス光を使用する非ゲート・サブフレームを開始し、続いてプロジェクターから連続光を供給する。ステップ５１２および５１３は、少なくとも部分的に、同時に行うことができる。ステップ５１２において、パルス可視光が視野に出されるように、光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光に対する波形例を示す。図７Ａにおける時間８〜１０ｍ秒も参照のこと。ステップ５１３において、センサーを非ゲート・モードで動作させ、その間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知された光に対する歯敬礼を示す。図７Ｂにおける時間８〜１０ｍ秒も参照のこと。
[0063] ステップ５１４および５１５は、少なくとも部分的に、同時に行うことができる。ステップ５１４において、連続可視光が視野に出されるように、光源を連続モードで駆動する。図７Ａにおける時間１０〜１６ｍ秒を参照のこと。ステップ５１５において、センサーを読み取って、反射率を示す光強度値を得る。図７Ｂにおける時間１０〜１６ｍ秒を参照のこと。ステップ５１６において、ステップ５１５の光強度値に基づいて、図５Ａのステップ５０５において決定された光強度値を調節する、例えば、正規化する。一般に、様々な特性が、センサーの各画素に到達する光の量に影響を及ぼす。これらの特性には、光が進む距離、物体の反射率、光が反射する物体の法線方向が含まれる。この調節は、反射率および法線方向を考慮する。非ゲート・サブフレームの間、パルス毎に、視野に投射されセンサーから反射して戻された全ての光を回収した（get back)後、特定の時点でセンサーへのシャッタを閉じる。対照的に、ゲート画像では、光パルスの全てがセンサーから反射して戻ってくるまで待たない。反射率および／または法線方向のために、比較的大量の光が反射して戻ってくる場合、非ゲート光強度値は比較的高くなる。ステップ５１５の対応する光強度値で除算することによって、ステップ５０５の光強度値を正規化して、深度値を求めることができる。
[0064] 図５Ｃは、図４Ｂのステップ４１４において記した背景サブフレームを与えるプロセスの例を示す。ステップ５２０は、光を使用しない背景サブフレームを開始する。この後に、プロジェクターから連続光を供給する。ステップ５２２および５２３は、少なくとも部分的に、同時に行うことができる。ステップ５２２において、可視光が視野に出されないように、光源を駆動しない。図７Ａにおける時間１６〜１８ｍ秒を参照のこと。ステップ５２３において、センサーをゲート・モードで動作させ、その間に背景光を検知する。また、背景を非ゲート・モードで検知してもよい。ゲート・モードは、アクティブな照明フェーズの間に背景光が受光される方法を「シミュレート」する。図７Ｂにおける時間１６〜１８ｍ秒を参照のこと。
[0065] ステップ５２５および５２６は、少なくとも部分的に、同時に行うことができる。ステップ５２５において、連続可視光が視野に出されるように、光源を連続モードで駆動する。図７Ａにおける時間１８〜２４ｍ秒を参照のこと。ステップ５２６において、センサーを読み取って、背景光の量を示す光強度値を得る。図７Ｂにおける時間１８〜２４ｍ秒を参照のこと。ステップ５２７において、図５Ａのステップ５０５または図５Ｂのステップ５１６において決定された光強度値を、ステップ５２６の光強度値に基づいて調節する。この調節は、背景光強度値を減算することを伴うことができる。尚、反射率の調節は、背景光の調節の後に行うとよいことを注記しておく。非ゲート画像によるゲート画像の正規化は、深度データーを供給するために使用される。背景画像を使用する正規化は、例えば、プロジェクターを暗闇の中で動作させるときには、省略することができる。ステップ５２８において、調節した光強度値に基づいて深度値を決定する。
[0066] 図５Ｄは、図４Ｂのステップ４１６において記したカラー・サブフレームを与えるプロセスの例を示す。ステップ５３０において、プロジェクターから連続光を使用するカラー・サブフレームを開始する。ステップ５３２および５３３は、少なくとも部分的に、同時に行うことができる。ステップ５３２において、連続可視光が視野に出されるように、プロジェクターの光源を連続モードで駆動する。図７Ａにおける時間２４〜２６ｍ秒を参照のこと。ステップ５３３において、センサーをカラー検知モードで動作させる。これは、標準的なディジタル・カメラ検知モードである。その間に、反射光を（および背景光も）検知する。図７Ｂにおける時間２４〜２６ｍ秒を参照のこと。ステップ５３４において、センサーを読み取って、カラー・データーを示す光強度値を得る。
[0067] 図６Ａは、図４Ｃのステップ４２０において記したゲート・サブフレームを与えるプロセスの例を示す。ステップ６００において、パルス光を使用するゲート・サブフレームを開始する。ステップ６０２および６０３は、少なくとも部分的に、同時に行うことができる。ステップ６０２において、パルス可視光が視野に出されるように、プロジェクターの光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光に対する波形例を示す。また、図８Ａにおける時間０〜２ｍ秒も参照のこと。ステップ６０３において、センサーをゲート・モードで駆動し、その間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知した光に対する波形例を示す。また、図８Ｂにおける時間０〜２ｍ秒も参照のこと。
[0068] ステップ６０５および６０６は、少なくとも部分的に、同時に行うことができる。ステップ６０５において、可視光が出されないように、光源を駆動しない。図８Ａにおける時間２〜８ｍ秒を参照のこと。ステップ６０６において、センサーを読み取って、光強度値を得る。図８Ｂにおける時間２〜８ｍ秒を参照のこと。光強度値は、後に深度値を決定するときに使用するために、格納することができる。例えば、非ゲート・サブフレームにおいて、そして任意なこととして、背景サブフレームにおいて得られた光強度値に基づいて、光強度値を調節することができる。次いで、この調節した光強度値を使用して、深度値を決定することができる。
[0069] 図６Ｂは、図４Ｃのステップ４２２において記した非ゲート・サブフレームを与えるプロセスの例を示す。ステップ６１０において、パルス光を使用する非ゲート・サブフレームを開始する。ステップ６１２および６１３は、少なくとも部分的に、同時に行うことができる。ステップ６１２において、パルス可視光が視野に出されるように、光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光に対する波形例を示す。また、図８Ａにおける時間８〜１０ｍ秒も参照のこと。ステップ６１３において、センサーを非ゲート・モードで動作させてその間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知した光に対する波形例を示す。また、図８Ｂにおける時間８〜１０ｍ秒も参照のこと。
[0070] ステップ６１５および６１６は、少なくとも部分的に、同時に行うことができる。ステップ６１５において、光源を駆動しない。その結果、可視光は出されない。図８Ａにおける時間１０〜１６ｍ秒を参照のこと。ステップ６１６において、センサーを読み取って、反射率を示す光強度値を得る。ステップ６１６において、図８Ｂにおける時間１０〜１６ｍ秒を参照のこと。ステップ６１７において、図６Ａのステップ６０６において決定した光強度値を、ステップ６１６の光強度値に基づいて調節する。ステップ６１８において、この調節した光強度値に基づいて、深度値を決定する。
[0071] 以下で論ずる図７Ａおよび図７Ｂの実施態様例は、３３ｍ秒のフレーム期間を含むＱＱＶＧＡモードについてであり、このフレーム期間を４つのセクションまたはサブフレームに分割する。これは、深度検知、カラー検知、および投射を含むフレームの例である。多くの他の実施態様も可能である。更に、前述のように、異なるサブフレームを異なるフレームにおいて使用することもできる。例えば、一部のサブフレームは、フレーム毎よりも少ない頻度で使用することができ、一方他のサブフレームはフレーム毎に用いることもできる。
[0072] 図７Ａは、図４Ｂのプロセスに対応するプロジェクターの出力を示す。３３ｍ秒としたフレーム期間の例では、４つのサブフレームが設けられる。ゲート・サブフレームは、０〜８ｍ秒にわたる。０〜２ｍ秒では、プロジェクターがパルス可視光を出力する。２〜８ｍ秒では、プロジェクターは、振幅１２を有する連続可視光を出力する。非ゲート・サブフレームは、８〜１６ｍ秒にわたる。８〜１０ｍ秒では、プロジェクターはパルス可視光を出力する。１０〜１６ｍ秒では、プロジェクターは連続可視光を出力する。１０〜１６ｍ秒では、プロジェクターは連続可視光を出力する。背景サブフレームは、１６〜２４ｍ秒にわたる。１６〜１８ｍ秒では、プロジェクターは可視光を出力しない。１８〜２４ｍ秒では、プロジェクターは連続可視光を出力する。カラー・サブフレームは、２４〜３３ｍ秒にわたる。２４〜２６ｍ秒では、プロジェクターは連続可視光を出力する。２６〜３３ｍ秒では、プロジェクターは連続可視光を出力し続ける。
[0073] 線７００は、非深度検知フレームにおいて、プロジェクターが連続出力を供給し、検知が行われないフレームの光強度Ｉ１を表す。１つの手法では、Ｉ１＜Ｉ２となるように、低い強度または電力出力が使用される。深度検知フレームの間、非深度検知フレームと比較して高い光出力を供給することは、パルス駆動(pulsing)を使用する期間または光出力を使用しない期間を補償することによって、投射される画像のカラー・コントラストを改善するのに有用とすることができる。加えてまたは代わりに使用することができる他の選択肢には、深度検知フレームと比較して、非深度検知フレームには長いフレーム期間（図７Ｃにおいてフレーム期間ＦＰによって示されている）を与えることがあげられる。例えば、ＦＰ＞３３ｍ秒であり、３３ｍ秒は深度検知フレームのフレーム期間である。いずれの手法でも、時間単位当たりプロジェクターによって出力される光の量を増大させる。光強度および／またはフレーム期間を選択的に調節することによって、電力消費および投射画質を最適化する。更なる詳細については、図７Ｄおよび図７Ｅを参照のこと。
[0074] 図７Ｂは、図７Ａのプロジェクター出力に基づくセンサーへの入力を示す。各サブフレームは、集積またはアクティブ検知期間を含み、この期間において、検知された光の量に比例する電荷が、センサーにおける各画素によって生成される。この期間に後に読み出し期間またはオーバーヘッド期間が続き、この期間において、蓄積された電荷の量が全ての画素から読み出される。読み出しの間、アキュミュレーターと呼ばれる画素の部分を読み出すことができ、続く検知のために、アキュミュレーターをリセットする(zeroed out)ことができる。ゲート・サブフレームにおいて、０〜２ｍ秒では、プロジェクターをパルス動作させている間にセンサーが電荷を集積または蓄積し、２〜８ｍ秒では、蓄積された電荷が読み出される。非ゲート・サブフレームでは、８〜１０ｍ秒において、プロジェクターをパルス動作させ、その間にセンサーが電荷を集積し、１０〜１６ｍ秒において、蓄積された電荷が読み出される。背景サブフレームでは、１６〜１８ｍ秒において、プロジェクターが光を出力せず、その間にセンサーが電荷を集積し、１８〜２４ｍ秒において、蓄積された電荷が読み出される。カラー・サブフレームでは、２４〜２６ｍ秒において、プロジェクター出力が連続であり、その間にセンサーが電荷を集積し、２６〜３３ｍ秒において、蓄積された電荷が読み出される。
[0075] 図７Ｄは、フレーム・シーケンスの一例を示す。このフレーム・シーケンスは、交互に、ステップ７２０および７２４におけるような低い光強度Ｉ１を使用する非深度検知フレームと、ステップ７２２および７２６におけるような高い光強度Ｉ２を使用する深度検知フレームとを与える。ここでは、少なくとも１つの制御回路が、異なる時点において、（ａ）少なくとも１つの制御回路が、飛行時間の原理を使用して、センサーから読み出した光強度値に基づいて、視野内の少なくとも1つの物体に関する深度値を得る、深度検知フレーム（ステップ７２２および７２６）と、（ｂ）少なくとも１つの制御回路が視野内の少なくとも１つの物体に関する深度データーを得ない、非深度検知フレーム（ステップ７２０および７２４）とを与える。更に、少なくとも１つの制御回路が、深度検知フレームにおいて、非深度検知フレームの間のよりも高い照明電力で、光源に可視光を出させる。
[0076] 他の選択肢では、異なる深度検知モードを伴う。一般に、少なくとも１つの制御回路が限られた数の１つ以上のフレームを使用して、視野内の少なくとも１つの物体に関する深度データーを得る第１モードと、少なくとも１つの制御回路が視野内の少なくとも１つの物体に関する深度データーを連続的に得る第２モードとにおいて選択的に動作するように、この少なくとも１つの制御回路は制御可能である。例えば、第１モードにおいて深度データーを得るための限られた数の１つ以上のフレームは、１つのフレーム、または、例えば、１秒までの期間における少数のフレームとすることができる。これは、ユーザー・コマンドに基づいて、静止物体のような、視野内の物体について深度データーを得るスナップ・ショット深度検知モードを設けるために使用することができる。例えば、深度データーは、対象物体について得ることができる。第２モードでは、動く物体のような、対象物体について、深度データーが連続的に得られる。前述のように、プロジェクター・モードは、深度データーを得るときには、使用する必要はない。
[0077] 図７Ｅは、ステップ７３０および７３４におけるように、短いフレーム期間／持続期間(duration)を使用する非深度検知フレームと、ステップ７３２および７３６におけるような、長いフレーム期間を使用する深度検知フレームとを交互に与えるフレーム・シーケンス例を示す。
[0078] 以下で論ずる図８Ａおよび図８Ｂの実施態様例は、３３ｍ秒のフレーム期間を含むＱＱＶＧＡモードについてであり、このフレーム期間が２つのサブフレームに分割され、検知のみが行われる。これは、深度検知フレームおよび非投射フレームの例である。
[0079] 図８Ａは、図４Ｃのプロセスに対応するプロジェクターの出力を示す。ゲート・サブフレームは、０〜８ｍ秒にわたる。０〜２ｍ秒において、プロジェクターはパルス可視光を出力する。２〜８ｍ秒において、プロジェクターは可視光を出力しない。非ゲート・サブフレームは、８〜１６ｍ秒にわたる。８〜１０ｍ秒において、プロジェクターはパルス可視光を出力する。１０〜１６ｍ秒において、プロジェクターは可視光を出力しない。同様に、このフレームの残りにおいて、１６〜３３ｍ秒でも、プロジェクターは可視光を出力しない。このモードでは、背景画像が、１６〜３３ｍ秒において、カラー画像から得られる。何故なら、これらは本質的に同一であるからである。
[0080] 図８Ｂは、図８Ａのプロジェクター出力に基づくセンサーへの入力を示す。ゲート・サブフレームでは、０〜２ｍ秒において、プロジェクターがパルス動作し、その間にセンサーが電荷を集積し、２〜８ｍ秒において、蓄積された電荷が読み出される。非ゲート・サブフレームでは、８〜１０ｍ秒において、プロジェクターがパルス動作し、その間にセンサーが電荷を集積し、１０〜１６ｍ秒において、蓄積された電荷が読み出される。フレームの残りの部分では、１６〜３３ｍ秒において、本質的に同じである背景サブフレームおよびカラー・フレームを検知することができる。前述のように、このモードは、ビデオ・プロジェクター・デバイスが検知専用モードで動作することを可能とし、投射が行われないので、電力消費が低減する。ゲート・サブフレームおよび非ゲート・サブフレームの間以外のときには、可視光は出されない。例えば、電力消費を低減するために、電源をオフにすることができる。
[0081] 図９Ａは、方形波形を使用するプロジェクターからの出力であるパルス光を示す。飛行時間の原理によって、視野内の物体上のポイントの深度を、光がプロジェクターからポイントまで移動し反射してセンサーに戻ってくるまでの経過時間に基づいて、判定することが可能になる。更に、ゲート期間におけるセンサーの光表面(photosurface)上にある画素によって登録された光の量が、この画素上で撮像された場面の表面エレメントまでの距離を判定するために使用される。パルス・レートの一例は４４Mhzである。時間を表すｘ軸に沿って、Δｔ１は、パルス例９００および９２０のパルス持続期間を表し、Δｔ２は、各パルスの開始間の期間を表す。投射光強度を表すｙ軸に沿って、この実施態様では、各パルスが立ち上がり、本質的に方形波形状を有する。１つの手法では、各パルスは、本質的に０の強度レベルから最大レベルまで立ち上がる。他の手法では、各パルスは、ゼロ以外の強度レベルから最大レベルまで立ち上がる。他の手法では、投射強度は、別個の光パルスを供給する代わりに、正弦波のような連続波変調に従う。この場合、特定の光パルスの総移動時間(trip time)を直接測定する代わりに、送られた信号と受け取られた信号との間における位相差を測定する。変調周波数が分かっているので、この測定された位相は直接飛行時間に対応する。パルス光源は、この光源をしかるべく駆動することによって得ることができる。
[0082] 図９Ｂは、図９Ａのプロジェクター出力に基づいたセンサーへの入力であるパルス光を示す。図９Ｂのｘ軸は、図９Ａのｘ軸と時間が整列されている。センサーがゲート・モードにあるとき、ゲート期間Δｔ３が定められ、この期間において検知を行うことができる。検知された光は、パルス９１０および９３０によって表される。通例、Δｔ３＞Δｔ１であるので、各ゲート期間の前および後に、それぞれ、時間マージンΔ４ｔｆおよびΔ４４ｂが設けられている。パルス９００および９１０によって表される飛行時間（ＴＯＦ）が示されている。検知されたパルス９１０および９３０は、それぞれ、投射パルス９００および９２０に対応する。検知された光の周囲レベルまたはフロア・レベルが、検知の間にわたって存在するものとして示されている。
[0083] 図１０Ａは、三角波形を使用するプロジェクターから出力されたパルス光を示す。三角波形は、（ａ）変調器のステップ・アップ・レート(step up rate)よりも低いレートで高い方に遷移する先端エッジ、および（ｂ）変調器のステップ・ダウン・レートよりも低いレートで低い方に遷移する後端エッジの内少なくとも１つを有するパルスであると考えることができる。即ち、先端エッジは、即座の立ち上がり(immediate step up) である、可能な限り最も高いレートよりも低いレートで高い方に遷移するように制御され、および／または後端エッジは、即座の立ち下がりである、可能な限り最も高いレートよりも低いレートで低い方に遷移するように制御される。このような波形は、対称的または非対称的な先端および後端エッジを有することができる。１つの選択肢では、波形は最大振幅に達し、そのレベルである時間残留するので、波形例１０００および１０１０のように、台形形状を有する。波形１０００は、先端エッジ１００２、最大振幅１００４、および後端エッジ１００６を含む。他の選択肢では、波形は、鋭角の頂角を有する三角形である。
[0084] 図１０Ｂは、図１０Ａの投射出力に基づいた、センサーへの入力であるパルス光を示す。検知波形１０２０および１０３０は、それぞれ、投射波形パルス１０００および１０１０に対応する。
[0085] 本明細書における技術についての以上の詳細な説明は、例示および説明の目的に限って提示されたのである。これは、網羅的であることも、開示した形態そのものに本技術を限定することも意図していない。以上の教示を考慮すれば、多くの変更および変形が可能である。以上で説明した実施形態は、本技術の原理およびその実用的用途を最良に説明することによって、当業者が本技術を種々の実施形態において最良に利用すること、および考えられる個々の使用に適した種々の変更と共に最良に利用することを可能にするように選択されたのである。本技術の範囲は、添付した特許請求の範囲によって定められることを意図している。

Claims (15)

  1. ビデオ・プロジェクター・デバイスであって、
    光源と、
    前記光源を駆動するドライバーと、
    前記光源からの可視光を視野に投射する光学素子と、
    前記視野内の物体から反射された可視光を含む可視光を検知するセンサーであって、複数の画素を含む、センサーと、
    前記ドライバーと前記センサーとに関連した少なくとも１つの制御回路であって、該少なくとも１つの制御回路が、
    １フレーム期間において１フレームの画素データーを提供し、前記フレーム期間をゲート・サブフレームを含む複数のサブフレームに分割し、前記ビデオ・プロジェクター・デバイスを、前記ゲート・サブフレームにおいて、投射および検知モードと、これに続く検知なしの投射のみモードとで動作させ、
    前記投射および検知モードを提供して、前記ドライバーに前記光源を該光源が可視光のパルスを出すパルス・モードで駆動させその間前記センサーをゲート・モードで動作させ、これにより前記複数の画素が前記物体からの可視光の前記パルスの反射からの電荷を蓄積し、
    検知なしの前記投射のみモードを提供して、前記ドライバーに前記光源を該光源が連続の可視光を出す連続モードで駆動させその間前記センサーが光強度値を得るために前記複数の画素からの蓄積された電荷を読み取らせ、
    飛行時間の原理を使用し、前記光強度値に基づいて、前記視野内の前記物体に関する深度データーを得る、
    少なくとも１つの制御回路と、
    を含む、ビデオ・プロジェクター・デバイス。
  2. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記複数のサブフレームが、前記ゲート・サブフレームに続く非ゲート・サブフレームを含み、
    前記少なくとも１つの制御回路が、前記ドライバーに前記光源を前記パルス・モードで駆動させその間前記センサーが非ゲート・モードで動作し、その後前記ドライバーに前記光源を連続モードで駆動させその間前記センサーが光強度値を得るために読み取られる非ゲート・サブフレームを与え、前記少なくとも１つの制御回路が、前記視野内の前記物体の反射率を補償するために、前記センサーから読み取られかつ前記非ゲート・サブフレームの間に得られた光強度値に基づいて、前記ゲート・サブフレームの間に得られた光強度値を調節する、ビデオ・プロジェクター・デバイス。
  3. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記複数のサブフレームが、前記ゲート・サブフレームに続く背景サブフレームを含み、
    前記少なくとも１つの制御回路が、前記背景サブフレームを与え、これにおいて、前記ビデオ・プロジェクター・デバイスによって前記物体に対し可視光が出されずその間前記センサーが背景光を検知するためにゲート・モードで動作し、その後前記ドライバーに前記光源を連続モードで駆動させている間に前記センサーが光強度値を得るために読み取られ、前記少なくとも１つの制御回路が、前記視野の中における前記背景光を補償するために、前記センサーから読み取られかつ前記背景サブフレームの間に得られた前記光強度値に基づいて、前記ゲート・サブフレームの間に得られた光強度値を調節する、ビデオ・プロジェクター・デバイス。
  4. 請求項３記載のビデオ・プロジェクター・デバイスにおいて、
    前記少なくとも１つの制御回路が、前記複数のサブフレームにおいて２つの前記背景サブフレームを与える、ビデオ・プロジェクター・デバイス。
  5. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記複数のサブフレームが、前記ゲート・サブフレームに続くカラー・サブフレームを含み、
    前記少なくとも１つの制御回路が、前記ドライバーに前記光源を前記連続モードで駆動させその間前記センサーが標準的なカラー検知モードで動作し、その後前記ドライバーに前記光源を前記連続モードで駆動させその間前記センサーが前記視野からのカラー・データーを含む光強度値を得るために読み取られる、前記カラー・サブフレームを与える、ビデオ・プロジェクター・デバイス。
  6. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記複数のサブフレームが、カラー・サブフレームを含み、これにおいて、前記少なくとも１つの制御回路が、前記ドライバーに前記光源を前記連続モードで駆動させその間前記センサーがアクティブである、ビデオ・プロジェクター・デバイス。
  7. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記少なくとも１つの制御回路が、前記ドライバーに、前記ゲート・サブフレームの間、三角形状パルスを使用して前記光源を駆動させる、ビデオ・プロジェクター・デバイス。
  8. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記少なくとも１つの制御回路が、前記ドライバーに、パルスを使用して前記光源を駆動させ、各前記パルスが少なくとも、（ａ）前記光源の立ち上がりレートよりも低いレートで上に遷移する先端エッジ、および（ｂ）前記光源の立ち下がりレートよりも低いレートで下に遷移する後端エッジの内少なくとも１つを有する、ビデオ・プロジェクター・デバイス。
  9. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、前記光源が前記ビデオ・プロジェクター・デバイスのバックライトである、ビデオ・プロジェクター・デバイス。
  10. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記光源、前記光学素子、前記少なくとも１つの制御回路、および前記センサーが、共通の筐体内に設けられている、ビデオ・プロジェクター・デバイス。
  11. 請求項１記載のビデオ・プロジェクター・デバイスであって、更に、
    ビデオ情報を前記可視光にエンコードする少なくとも１つの光透過性ＬＣＤパネルを含み、この少なくとも１つの光透過性ＬＣＤパネルが複数の画素を含む、ビデオ・プロジェクター・デバイス。
  12. 請求項１記載のビデオ・プロジェクター・デバイスにおいて、
    前記少なくとも１つの制御回路が、前記深度データーに基づいて、前記光学素子を合焦させる、ビデオ・プロジェクター・デバイス。
  13. ビデオ・プロジェクター・デバイスであって、
    光源と、
    前記光源を駆動するドライバーと、
    前記光源からの可視光を視野に投射する光学素子と、
    前記視野内の物体から反射された可視光を含む可視光を検知するセンサーであって、複数の画素を含む、センサーと、
    深度検知フレームと非深度検知フレームとを前記物体に交互に投射させる少なくとも１つの制御回路であって、該少なくとも１つの制御回路が、
    （ａ）前記深度検知フレームを与え、
    前記ドライバーに前記光源をパルス・モードで駆動させ、これにおいて、前記光源が前記深度検知フレームの１部分の間において可視光のパルスを出し、
    可視光の前記パルスを検出するために、前記深度検知フレームの前記１部分の間においてゲート・モードで前記センサーを動作させ、
    飛行時間の原理を使用して、前記センサーから読み取られた光強度値に基づいて、前記視野内の前記物体に関する深度データーを得、
    前記ドライバーに前記光源を連続モードで駆動させ、これにおいて、前記光源が、前記深度検知フレームの別の１部分の間において連続の可視光を出し、
    （ｂ）前記深度検知フレームとは異なった時点において、前記非深度検知フレームを与え、
    前記ドライバーに、前記光源が連続の可視光を出す連続モードで前記光源を駆動させ、
    前記視野内の前記物体に関して深度データーを得ない、
    少なくとも１つの制御回路と、
    を含む、ビデオ・プロジェクター・デバイス。
  14. 請求項１３記載のビデオ・プロジェクター・デバイスにおいて、
    前記少なくとも１つの制御回路が、前記光源に、前記深度検知フレームにおいては、前記非深度検知フレームにおけるよりも高い照明電力で可視光を出させる、ビデオ・プロジェクター・デバイス。
  15. 請求項１３記載のビデオ・プロジェクター・デバイスにおいて、
    前記深度検知フレームが前記非深度検知フレームよりも長い、ビデオ・プロジェクター・デバイス。
JP2013531589A 2010-09-28 2011-08-29 低電力深度カメラおよび投射デバイスの統合 Active JP5894600B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/892,589 2010-09-28
US12/892,589 US8681255B2 (en) 2010-09-28 2010-09-28 Integrated low power depth camera and projection device
PCT/US2011/049606 WO2012047410A1 (en) 2010-09-28 2011-08-29 Integrated low power depth camera and projection device

Publications (3)

Publication Number Publication Date
JP2013546222A JP2013546222A (ja) 2013-12-26
JP2013546222A5 JP2013546222A5 (ja) 2014-10-16
JP5894600B2 true JP5894600B2 (ja) 2016-03-30

Family

ID=45870307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013531589A Active JP5894600B2 (ja) 2010-09-28 2011-08-29 低電力深度カメラおよび投射デバイスの統合

Country Status (9)

Country Link
US (1) US8681255B2 (ja)
EP (1) EP2622847B1 (ja)
JP (1) JP5894600B2 (ja)
KR (1) KR101861393B1 (ja)
CN (1) CN102510461B (ja)
CA (1) CA2812433C (ja)
ES (1) ES2587436T3 (ja)
IL (1) IL225090A (ja)
WO (1) WO2012047410A1 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330822B2 (en) * 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
US9001190B2 (en) * 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
US20130021512A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Framing of Images in an Image Capture Device
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8840250B1 (en) 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection
US9462255B1 (en) * 2012-04-18 2016-10-04 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
US9810785B2 (en) 2012-05-29 2017-11-07 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
US9438805B2 (en) * 2012-06-08 2016-09-06 Sony Corporation Terminal device and image capturing method
FR2999730B1 (fr) * 2012-12-18 2018-07-06 Valeo Comfort And Driving Assistance Afficheur pour afficher dans le champ de vision d'un conducteur une image virtuelle et dispositif de generation d'images pour ledit afficheur
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US10371943B2 (en) 2013-03-14 2019-08-06 Valve Corporation Method and system to control the focus depth of projected images
US20140320605A1 (en) * 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9774833B2 (en) * 2013-07-16 2017-09-26 Texas Instruments Incorporated Projector auto-focus correction with the aid of a camera
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015092905A1 (ja) * 2013-12-19 2015-06-25 日立マクセル株式会社 投写型映像表示装置及び投写型映像表示方法
EP2887029B1 (de) 2013-12-20 2016-03-09 Multipond Wägetechnik GmbH Befüllungsvorrichtung und Verfahren zum Erfassen einer Befüllung
CN103813115A (zh) * 2014-01-27 2014-05-21 吴砺 一种模拟窗户
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
CA3141963A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP3149528B1 (en) 2014-05-30 2023-06-07 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US20170219915A1 (en) * 2014-07-31 2017-08-03 Hewlett-Packard Development Company, L.P. White flash generation from a light emitting diode (led) projector
WO2016018418A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Misalignment detection
CN107430324B (zh) * 2014-09-15 2020-11-20 惠普发展公司，有限责任合伙企业 具有不可见光通道的数字光投影仪
TWI552597B (zh) * 2014-11-12 2016-10-01 觸動創意股份有限公司 行動無線環物攝影之系統及其方法
US10462390B2 (en) * 2014-12-10 2019-10-29 Sony Corporation Image pickup apparatus, image pickup method, program, and image processing apparatus
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10145942B2 (en) * 2015-03-27 2018-12-04 Intel Corporation Techniques for spatio-temporal compressed time of flight imaging
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
JP6554310B2 (ja) * 2015-04-28 2019-07-31 浜松ホトニクス株式会社 距離測定装置
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US10512508B2 (en) 2015-06-15 2019-12-24 The University Of British Columbia Imagery system
AU2016296723B2 (en) 2015-07-20 2021-03-04 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
JP6603320B2 (ja) 2015-08-28 2019-11-06 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法
US9762873B2 (en) * 2015-09-04 2017-09-12 Microvision, Inc. Dynamic constancy of brightness or size of projected content in a scanning display system
US9648223B2 (en) * 2015-09-04 2017-05-09 Microvision, Inc. Laser beam scanning assisted autofocus
CN108140358A (zh) * 2015-09-29 2018-06-08 富士胶片株式会社 附带距离图像获取装置的投影装置以及投影方法
US11016298B2 (en) 2015-10-05 2021-05-25 Magic Leap, Inc. Microlens collimator for scanning optical fiber in virtual/augmented reality system
JP7216547B2 (ja) 2015-10-06 2023-02-01 マジック リープ， インコーポレイテッド 逆角度回折格子を有する仮想／拡張現実システム
CN108139482B (zh) * 2015-10-09 2023-01-06 新唐科技日本株式会社 摄像装置、以及在其中使用的固体摄像元件
FR3043210A1 (fr) * 2015-10-28 2017-05-05 Valeo Comfort & Driving Assistance Dispositif et procede de detection d'objets
EP3396947A4 (en) * 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGE ACQUISITION DEVICE TO BE USED BY A VEHICLE, AND VEHICLE EQUIPPED WITH IMAGE ACQUISITION DEVICE TO BE USED BY A VEHICLE
WO2017110414A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
EP3396414A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING APPARATUS FOR USE BY A VEHICLE, CONTROL DEVICE, VEHICLE WITH THE CONTROL DEVICE OR IMAGING DEVICE FOR USE BY A VEHICLE AND IMAGE RECORDING FOR USE BY A VEHICLE
JP6868570B2 (ja) 2015-12-21 2021-05-12 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
EP3396413A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. VEHICLE APPARATUS FOR VEHICLES, CONTROL APPARATUS, VEHICLE EQUIPPED WITH THE IMAGE RECORDING DEVICE FOR VEHICLES AND THE CONTROL DEVICE IMAGE FORMULATION OF VEHICLES
CN113406801B (zh) 2016-01-20 2023-05-30 奇跃公司 虚拟/增强现实系统中的偏振保持光纤
CN106997586B (zh) * 2016-01-25 2019-12-20 杭州海康威视数字技术股份有限公司 一种物体材料确定方法、装置及系统
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
KR20170105701A (ko) * 2016-03-09 2017-09-20 한국전자통신연구원 스캐닝 장치 및 이의 동작 방법
US10302768B2 (en) 2016-05-09 2019-05-28 Microsoft Technology Licensing, Llc Multipath signal removal in time-of-flight camera apparatus
US10386486B2 (en) 2016-06-21 2019-08-20 Microsoft Technology Licensing, Llc Systems and methods for time of flight laser pulse engineering
US11703573B2 (en) * 2016-11-30 2023-07-18 Sony Semiconductor Solutions Corporation Distance measurement device and distance measurement method
TWI620420B (zh) * 2016-12-02 2018-04-01 財團法人資訊工業策進會 可見光通訊系統及方法
CN106534803A (zh) * 2016-12-13 2017-03-22 Tcl集团股份有限公司 一种仿真窗显示的方法及系统
US10425628B2 (en) 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
US10455153B2 (en) * 2017-03-21 2019-10-22 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
JP2019083501A (ja) * 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US10339718B1 (en) 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content
CN109059795B (zh) * 2018-06-29 2020-11-03 歌尔光学科技有限公司 深度测量方法、深度测量装置及拍摄设备
JP6822445B2 (ja) * 2018-07-02 2021-01-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
WO2020085525A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR20200069096A (ko) * 2018-12-06 2020-06-16 삼성전자주식회사 전자 장치 및 이를 이용하여 오브젝트의 깊이 정보를 획득하는 방법
KR20210130148A (ko) * 2019-03-19 2021-10-29 인텔 코포레이션 몰입형 비디오 코딩을 위한 고 수준 구문
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
EP3910375B1 (en) * 2020-05-15 2023-07-05 Analog Devices International Unlimited Company A continuous wave time of flight system
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构

Family Cites Families (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4653104A (en) * 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
EP0886790B1 (en) 1995-06-22 2006-03-01 3DV Systems Ltd. Telecentric 3d camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
JP2002031516A (ja) * 2000-07-18 2002-01-31 Asahi Optical Co Ltd ３次元画像入力装置
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
KR100429799B1 (ko) * 2001-11-10 2004-05-03 삼성전자주식회사 디스플레이 장치에서의 투사 광의 세기 제어 장치 및 방법
JP2003279887A (ja) * 2002-03-22 2003-10-02 Nec Viewtechnology Ltd Ｄｍｄプロジェクターとその映像信号補正方法
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7151521B2 (en) 2003-03-31 2006-12-19 Intel Corporation Methods and apparatus for driving pixels in a microdisplay
US6919549B2 (en) * 2003-04-11 2005-07-19 Canesta, Inc. Method and system to differentially enhance sensor dynamic range
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR100604323B1 (ko) 2004-08-28 2006-07-24 삼성테크윈 주식회사 내장형 카메라 장치 및 이를 구비한 휴대폰
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
US7853041B2 (en) 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7911207B2 (en) 2005-11-16 2011-03-22 Board Of Regents, The University Of Texas System Method for determining location and movement of a moving object
JP4569506B2 (ja) 2006-03-31 2010-10-27 株式会社ニコン カメラシステム
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US7643745B2 (en) 2006-08-15 2010-01-05 Sony Ericsson Mobile Communications Ab Electronic device with auxiliary camera function
JP5317206B2 (ja) * 2006-09-21 2013-10-16 トムソン ライセンシング ３次元モデル取得のための方法及びシステム
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JP2008241695A (ja) * 2007-02-27 2008-10-09 Fujifilm Corp 測距装置及び測距方法
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8994757B2 (en) * 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
JP5212365B2 (ja) 2007-05-07 2013-06-19 株式会社ニコン 投射機能付き携帯電子機器および投射機能付き携帯電話
JP5217268B2 (ja) * 2007-06-22 2013-06-19 株式会社リコー 携帯型電子機器
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
CN102027388B (zh) 2008-04-11 2013-08-28 瑞士联邦理工大学，洛桑(Epfl) 采用显示器作为照明源的基于飞行时间的成像系统
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
WO2010006081A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
GB2461894B (en) 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
WO2010013205A1 (en) 2008-07-29 2010-02-04 Microsoft International Holdings B.V. Imaging system
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US8717416B2 (en) 2008-09-30 2014-05-06 Texas Instruments Incorporated 3D camera using flash with structured light
US8337020B2 (en) 2008-11-02 2012-12-25 Citizen Finetech Miyota Co., Ltd. Polarization conversion and color-combination techniques for pico projector illuminators

Also Published As

Publication number Publication date
KR101861393B1 (ko) 2018-05-28
WO2012047410A1 (en) 2012-04-12
CN102510461A (zh) 2012-06-20
US8681255B2 (en) 2014-03-25
EP2622847B1 (en) 2016-06-29
IL225090A (en) 2017-08-31
CA2812433A1 (en) 2012-04-12
ES2587436T3 (es) 2016-10-24
EP2622847A1 (en) 2013-08-07
KR20130138225A (ko) 2013-12-18
CN102510461B (zh) 2015-04-29
EP2622847A4 (en) 2014-08-06
JP2013546222A (ja) 2013-12-26
US20120075534A1 (en) 2012-03-29
CA2812433C (en) 2018-05-15

Similar Documents

Publication Publication Date Title
JP5894600B2 (ja) 低電力深度カメラおよび投射デバイスの統合
JP6186599B1 (ja) 投影装置
US8947401B2 (en) Display device
JP4707034B2 (ja) 画像処理方法、入力インタフェース装置
TWI457688B (zh) 投影裝置、投影方法及記憶程式的記憶媒體
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
EP3051345B1 (en) Video projection device
JP2007517473A (ja) パルスｒｇｂレーザーを交互に放射することによる、レーザープロジェクションディスプレイにおける電力の節約
JP2010152285A (ja) 撮像装置
JP2004312733A (ja) 網膜トラッキングを組み込んだ装置及び方法
US7167201B2 (en) Device incorporating eye-start capability
JP2010060817A (ja) 表示装置およびこれを備える電子機器
KR20220002637A (ko) 전자 장치의 제어 방법 및 전자 장치
KR20220164481A (ko) 다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터
JPH0823501A (ja) 投写型画像表示装置
WO2020248896A1 (zh) 调节方法、终端及计算机可读存储介质
WO2012047536A2 (en) Image projection apparatus tiling system and method
US10313586B2 (en) Electronic apparatus, method for controlling the same, and storage medium
CN102722076A (zh) 投影装置及投影方法
JP7014009B2 (ja) 操作デバイス、位置検出システム及び操作デバイスの制御方法
JP7314501B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
KR20220004171A (ko) 전자 장치의 제어 방법 및 전자 장치
JP2015002410A (ja) 表示補助装置、表示システム、表示方法及びプログラム
JP2012108232A (ja) 電子機器
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140829

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160226

R150 Certificate of patent or registration of utility model

Ref document number: 5894600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250