JP3194297U - 自動車用及び産業用のモーション感知制御装置 - Google Patents

自動車用及び産業用のモーション感知制御装置 Download PDF

Info

Publication number
JP3194297U
JP3194297U JP2014004691U JP2014004691U JP3194297U JP 3194297 U JP3194297 U JP 3194297U JP 2014004691 U JP2014004691 U JP 2014004691U JP 2014004691 U JP2014004691 U JP 2014004691U JP 3194297 U JP3194297 U JP 3194297U
Authority
JP
Japan
Prior art keywords
image
information
image sensor
illumination source
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014004691U
Other languages
English (en)
Inventor
エス． ホルツ デイビッド
エス． ホルツ デイビッド
ジャスティンシューニック
シューニック ジャスティン
ロイ ニーロイ
ロイ ニーロイ
ジュン チェン
ジュン チェン
トラヴィス ワード
トラヴィス ワード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leap Motion Inc
Original Assignee
Leap Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leap Motion Inc filed Critical Leap Motion Inc
Application granted granted Critical
Publication of JP3194297U publication Critical patent/JP3194297U/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】自動車用及び産業用の制御システムにおいて使用される高機能且つ高精度のモーション感知制御装置を提供する。【解決手段】組み込み可能なモーション感知制御装置１００であって、眺められている景色の立体的なイメージ情報を提供するメインボード１８２（第１部分）に配置された複数のカメラ１０２，１０４と、照明ボード１７２（第２部分）に配置された１または複数の照明源１０８，１１０と、カメラ１０２，１０４及び照明源１０８，１１０に接続して、カメラ１０２，１０４及び照明源１０８，１１０の動作、景色のイメージ情報の取得、少なくとも実時間に近いイメージ情報のストリームを制御下のシステムまたは装置に提供することを制御するコントローラと、を備える。【選択図】図１

Description

本願の技術は、自動車用及び産業用の制御システムにおいて使用される３次元（３Ｄ）感知空間内でのジェスチャを検出するモーションキャプチャシステムに、イメージを捕えて提供可能な高機能且つ高精度のモーション感知制御装置に関する。
初期のダッシュボードは、馬の蹄が蹴り上げる破片やがれき等から保護するために、馬車の御者の前方に板を設けて構成されていた。乗り物がより複雑化し、機械的な動力が馬に取って代わるに従い、様々なシステム（環境、安全、エンターテイメント等）に対する制御が増えてきた。ダッシュボードは、種々の制御を行うのに便利な場所として残されている。運転者が、できれば彼らの言語でラベルが付されたノブやスイッチを探すために、運転者の注意を、道路（或いは、滑走路、線路、航路）から移動させる必要がある。１９７０年代に、英語のラベルを国際的なシンボルに置き換えることで、当該ダッシュボードが、何処の誰に対しても等しく分かりづらくなった。もっと簡単化されたインターフェースの必要性が明らかになって、ジョイスティック、キーボード或いはキーパッド、グラスコックピット等が使用されるようになった。しかし、複雑さ、混乱状態は増している。
幾つかの制御装置は、運転者の手の動作（ジェスチャ）を捕えて、命令を与えるために当該動作を解釈しようとした。ソフトキネティック（ＳｏｆｔＫｉｎｅｔｉｃ）社他による幾つかの初歩的な試みは、簡単な光検知センサ上を横切る影から動作を推測することを含んでいる。残念ながら、当該システムは誤検出し易い傾向がある。つまり、センサが運転者の手と飼い犬の振っている尻尾を区別できない。変化する制御できない照明状況、背景物、グレア、反射等が、光学部品の使用を更に困難にしている。今日までは、当該考慮すべき事項によって、乗り物の室内でのモーションキャプチャ技術の開発及び使用は、非機能的な空想程度のものに限られていた。
本願の技術の実施は、景色（ｓｃｅｎｅ）のイメージ情報を取得し、少なくとも実時間に近い（つまり、景色の変化とシステムの応答の間に残存する遅れが認識不能、或いは、実質的に無視できる程度に速い）イメージ情報のストリームを、３次元（３Ｄ）感知空間内でのジェスチャを検出し、制御下のシステムまたは機械に対するコマンドとして当該ジェスチャを解釈し、適時当該コマンドを発するモーションキャプチャまたはイメージアナライザに、提供する能力のある組み込み可能なモーション感知制御装置を提供することにより、上記問題及びその他の問題に対処する。
代表的な実施態様では、組み込み可能なモーション感知制御装置は、眺められている景色に対する立体的なイメージ情報を提供する、第１部分に配置された複数のイメージセンサを備えて提供される。更に、第２部分に配置された１または複数の照明源が含まれる。コントローラが、イメージセンサ及び照明源に接続して、それらの動作、景色のイメージ情報の取得、少なくとも実時間に近いイメージ情報のストリームを制御下のシステムまたは装置に提供することを制御する。
幾つかの実施態様は、有利に、改良されたユーザ体験、より大きな安全性、及び、改良された機能性を提供できる。幾つかの実施態様は、モーションキャプチャまたはイメージ解析システムがジェスチャを認識し、その結果、運転者が乗り物または乗り物のサブシステム等の装置またはシステムを、直感的なジェスチャの集合によって制御することを可能にする。幾つかの実施態様は、例えば、様々な機械（例えば、飛行機、自動車、列車、フォークリフト、船舶等）に対する改良されたインターフェース及び／または制御を提供することができる。装置は当該機械内に組み込まれ正常に制御可能であり、代用（ｐｒｏｘｙ）または支持システム（スマート電話、ラップトップコンピュータを含むポータブル演算システム、タブレット型演算装置、パーソナルデータアシスタンツ、ヘッドアップディスプレイ（ＨＵＤ）を含む特定用途向け視覚化演算機構、グーグルグラス等の装着型の仮想及び／または拡張現実システム、グラフィックプロセッサ、内蔵型マイクロコントローラ、ゲーム機、等、及び、これらの１以上の有線または無線で結合したネットワーク、及び／または、これらの組み合わせ）と協働して動作可能である。装置の実施態様では、マウス、ジョイスティック、タッチパッド、または、タッチスクリーン等の接触型の入力装置の必要性を除去または削減できる。幾つかの実施態様は、演算及び／またはその他の機構とのインターフェースとして、従来技術により可能であったものより、更に改良されたインターフェースを提供することができる。幾つかの実施態様では、より豊富なヒューマン・マシーン・インターフェースが提供され得る。
本技術の他の態様及び利点は、以下に示す図面、詳細な説明、及び、実用新案登録請求の範囲の説明により明らかになる。
モーション感知及びイメージング装置の一実施例を示す分解斜視図。 モーション感知及びイメージング装置に基づく感知システムの一実施例を示す図。 コンピュータシステムの簡略化したブロック図。 モーションキャプチャ及びイメージ解析に伴う操作及び機能ユニットを示す図。 モーション感知及びイメージング可能な装置により提示される拡張現実の一例を示す図。
図１に、モーション感知装置１００の一実施例を示す。モーション感知装置１００は、照明ボード１７２（第２部分）とネジ部品またはその他の方法で結合可能なメインボード１８２（第１部分）を備える。照明ボード１７２とメインボード１８２の間の電気的接続によって、信号及び電力の交換が可能となり、当該電気的接続は、ボードに搭載されたコネクタ、ケーブル、または、これらの組み合わせによって行われる。装置１００は、ホスト装置の取り付け面Ａに、１以上のネジ部品で固定される。尚、ホスト装置として、例えば、乗り物（ヘッドアップディスプレイ（ＨＵＤ）付または無）、乗り物他とインターフェースする電気製品またはスマートフォンやタブレットコンピュータ等のポータブル型の電気機器またはヘッドマウントディスプレイ（ＨＭＤ）やヘッドセット等の装着型の装置、等が想定される。取り付け面Ａは、ホスト装置の内部或いは外部の如何なる面であっても良い。更に、装置１００は、ホスト装置の空洞や容器内に、嵌合、ネジ止め、または、これらの組み合わせによって、設置されても良い。装置１００は、広範な用途の設計要求に適合するように、任意の種々の機器に組み込むことが可能である。
照明ボード１７２は、当該ボード上に組み込まれたＬＥＤまたは他の光源である個別に制御可能な多くの照明源１０８，１１０を有する。図示された実施例では、２つのカメラ１０２，１０４が、装置１００のメインボード１８２上に設けられ、立体的イメージ型の検知を提供する。メインボード１８２は、更に、基本的な画像処理、及び、カメラ１０２，１０４及び照明源１０８，１１０の制御を行うプロセッサを有する。
カメラ１０２，１０４によって与えられた立体的イメージ情報は、ＨＵＤ、ダッシュボード／コンソールに搭載された表示装置、ポータブル機器や装着型機器（ＨＭＤ等）に付属の表示装置への無線伝送等の手段により、選択的或いは連続的にユーザに提供される。装置１００は、生の実時間または実時間に近いカメラからのイメージ情報、コンピュータによって生成されたグラフィック、情報、アイコン、または他の仮想化提示等によって拡張された実時間または実時間に近いイメージ情報、眺めている景色の仮想化された表示、及び／または、これらから選択された時間的に変化する組み合わせを提供できる。ユーザによるジェスチャは、装置１００のカメラ１０２，１０４によって検知され、その結果生成されるイメージ情報は、システムに対する命令を確認及び決定するために、モーションキャプチャまたはイメージ解析システムに提供され得る。単一のモーション感知装置１００にイメージング能力を備えたスキャニングを一体化することで、有利に、高機能で適応性が有り、しかも、乗り物、電気製品、ポータブルまたは装着型の電気機器等の限られたスペースの機械に設置するのに適した小型の装置を提供できる。
照明源１０８，１１０の幾つかは付属の集束光学系を有することができる。この実施例では、６つのＬＥＤ１０８（その内の４つが中央に、２つが照明ボード１７２の側端に夫々配置されている）が集束レンズを有し、他の１０個のＬＥＤ１１０（夫々、２個、３個、３個、２個のＬＥＤの列に配列している）は集束レンズを有していない。照明ボード１７２は、光検知器（またはその他のセンサ）と結合するためのソケット１７８を更に備えていても良い。光検知器が検知した情報は、反射率が変化することで、照明源１０８，１１０が、空間領域をスキャニングする間に光を出射する当該空間領域に、物体が存在するか存在しないかを示す。
図１に示す設計は、様々な変更が可能である。例えば、ＬＥＤ、光検知器、及び、カメラの数及び配置は変更されても良い。また、照明及びイメージング用のハードウェアは１つのボードに一体化しても良い。更に、他の変更、或いは、これらの変更の組み合わせも、特定の用途の必要に応じて適宜行える。
次に、図２を参照して、自動車室内に配置されたジェスチャを認識する感知システム２００について説明する。システム２００は、好ましくは、自動車室内２０１の前部座席領域、後部座席領域、他の配置箇所、または、それらの組み合わせ内に導入される。図２に示されるように、感知システム２００の全部または一部が、ダッシュボード２１６、前部座席の乗員間のコンソール、車室天井部、前部座席の背もたれ、他の位置、または、これらの組み合わせに、取り付け或いは組み込まれている。一例として、センサ２００−１，２００−２，２００−３が、夫々、前部座席の乗員間のコンソール、車室天井部、前部座席の背もたれに配置されている。システム２００は、感知・解析システム２０６と結合した任意数のカメラ１０２，１０４を含む。カメラ１０２，１０４は、可視光スペクトル（例えば、赤−緑−青、ＲＧＢ）に感応するカメラ、または、より典型的には、限定的な波長域（例えば、赤外域または紫外域）に強化された感度を有するカメラ、または、これらの組み合わせを含む如何なるタイプのカメラであっても良い。また、より一般的に、ここでは、「カメラ」という用語は、物体のイメージを捕えて、そのイメージをディジタルデータ形式で表示できる任意の装置（または、当該装置の組み合わせ）を引用する。２台のカメラを備えた実施例を用いて説明しているが、異なる数のカメラまたは非カメラの光検知イメージセンサまたはこれらの組み合わせを用いた他の実施例も、容易に実現できる。例えば、従来の２次元（２Ｄ）イメージを取り込む従来型カメラに代えて、ラインセンサ或いはラインカメラを採用することもできる。用語「光」は、一般的に、任意の電磁放射を意味し、可視光であっても或いはなくても良く、広帯域光（例えば、白色光）或いは狭帯域光（例えば、単一波長光、狭帯域波長光）であっても良い。
幾つかの実施態様では、感知システム２００は、赤外光に感応するカメラ１０２，１０４の画素から受け取った情報を、可視光、例えば、ＲＧＢ（赤、緑、青）に感応する画素からの情報と分離して、当該２タイプのイメージ情報を分離して処理することもできる。例えば、赤外（ＩＲ）イメージはジェスチャの認識に使用し、ＲＧＢ（可視光）イメージは提示インターフェースを介したライブビデオ供給に使用できる。この一例では、実世界の景色の一連のイメージを含むビデオストリームを、ＲＧＢ画素の集合とＩＲ画素の集合を有するカメラを用いて取り込むことができる。赤外光に感応する画素からの情報は、ジェスチャを認識する処理のために分離される。ＲＧＢに感応する画素からの情報は、提示出力へのライブビデオ供給として、ホスト装置の提示インターフェース（ＨＵＤ、ＨＭＤ、等）に提供される。当該提示出力はユーザに対して表示される。１以上の仮想物は、該提示出力を生成するために、ビデオストリームイメージとの統合が可能である。それに応じて、感知システム２００は、ジェスチャの認識、ビデオ供給を通した実世界物体の実世界提示、及び／または、実世界の視界に統合された仮想物を含む拡張現実の何れかを提供できる。
カメラ１０２，１０４は、好ましくは、ビデオイメージ（つまり、少なくとも毎秒１５フレームの一定レートで連続するイメージフレーム）を取り込む能力を備える。但し、特定のフレームレートに限定されるものではない。カメラ１０２，１０４の能力は、本開示技術に対して重要ではない。該カメラは、フレームレート、イメージ解像度（例えば、イメージ当たりの画素数）、色、または、強度分解能（例えば、画素当たりの強度データのビット数）、レンズの焦点距離、被写界深度、等に関して変更可能である。一般に、特定の用途に対して、対象となる空間的な大きさ内で被写体に焦点を合わせることのできる如何なるカメラも使用可能である。例えば、手以外は静止している人の手の動作（モーション）を取り込むには、対象となる当該大きさは、一辺約１メートルの立方体で規定することができる。幾つかの実施態様では、センサ２００−１によって示されているように、検知すべき動作に向かい合って、例えば、手２１４が動くと予期される場所に配置される。この位置では、手に関して記録される情報量は、手がカメライメージ内で占有する画素数に比例し、手の「指示方向」に対するカメラの角度が直角に近い程、手の占有する画素数は多くなる。センサ２００−３で示される別の実施態様では、当該センサは、検知される動作に沿って、例えば、手２１４が動くと予期される場所に配置される。
幾つかの実施態様では、１以上の照明源１０８，１１０は、運転者（または、乗員）の身体の１以上の部分（この実施例では、手２１４）が随意的に道具或いは他の目標物を持つことのできる対象となる領域２１２を照明するように設置することができ、カメラ１０２，１０４は、当該手２１４のビデオイメージを取り込むために当該領域２１２に向けられる。照明源１０８，１１０及びカメラ１０２，１０４の操作は、感知・解析システム２０６によって制御される。感知・解析システム２０６は、コンピュータシステム、ハードウェア及び／またはソフトウェアで実現される制御ロジック、または、これらの組み合わせで構成され得る。取り込まれたビデオイメージに基づいて、感知・解析システム２０６が対象物（この実施例では、手）２１４の位置及び／または動きを判定する。
１つの実施態様では、照明源１０８，１１０は赤外光源である。例えば、当該光源は、赤外発光ダイオード（ＬＥＤ）を使用でき、カメラ１０２，１０４は、赤外光に感応するカメラを使用できる。赤外光を使用することで、システム２００は、広範囲な照明条件下で動作可能となり、様々な不都合や人が動いている領域内に可視光が照射されているというような妨害を回避できる。しかしながら、特定の波長や電磁スペクトル領域が要求される必要はない。１つの実施態様では、無関係な光を除外するために、フィルタ２２１，２２２がカメラ１０２，１０４の前に設けられており、照明源１０８，１１０から照射された光だけが、カメラ１０２，１０４によって取り込まれるイメージに記録される。１つの実施態様では、変化する周囲の条件に対してシステム２００の動作を修正するために、システム２００は、カメラ１０２，１０４から取り込まれる可視光（ＲＧＢ）情報または赤外（ＩＲ）情報を、個別に、或いは、一方と他方を併せて処理することを、選択する。
他の実施態様では、１以上の音響トランスデューサ２１５，２１７が、音響エネルギを照射する音響源であり、反射された音響エネルギを検知する。当該音響トランスデューサ２１５，２１７は、カメラ１０２，１０４及び照明源１０８，１１０と共に、或いは、代替して使用される。当該音響源は、ユーザに向けて音波を発射すると、当該ユーザは、その音波を、ブロックする（音響的なシャドーイング）か、当該ユーザに当たった音波を変化させる（音響的な偏向）。当該音響的なシャドーイングまたは偏向は、ユーザのジェスチャの検知、存在情報の提供、公知の測距技術を用いた距離情報の提供の内の少なくとも何れか１つに使用できる。幾つかの実施態様では、音波は、人に聞こえない超音波を使用できる。或いは、レーザや他の放射波の発射装置が、手２１４の位置または存在またはその両方の検知に使用できる。
上述のシステム２００は、乗り物２０１の運転者に提供される体験を強化するために、明確にするために、図２には示されていない種々の他のセンサの任意のものを、単独で、或いは、種々に組み合わせて備えることもできる。例えば、自由形式のジェスチャを十分な精度で光学的に認識できないような低照明の状況下では、システム２０６は、タッチ（接触）ジェスチャを、音響または振動センサによって認識するタッチモードに切り替えることができる。或いは、システム２０６は、上記タッチモードに切り替えるか、または、音響または振動センサからの信号を検知したときに、タッチ検知処理を行うとともに、補完的にイメージキャプチャ処理を行うようにしても良い。更に、別の操作モードでは、タップまたはタッチジェスチャは、「ウェークアップ（目覚まし）」信号として振る舞い、イメージ及び音響の解析システム２０６を、スタンバイモードから動作モードに推移させる。例えば、システム２０６は、閾値間隔より長い間、カメラ１０２，１０４からの光学的な信号が無い場合には、スタンバイモードに推移できる。
ここで、図２に示した構成例は代表例であって、限定的なものでない。例えば、ＬＥＤに代えてレーザや他の光源が使用できる。赤外光（ＩＲ）に代えて、可視光（ＲＧＢ）が使用できる。更に、１つの光源からの情報は、第２の光源を用いて収集され情報の解析から得られる結果を、明確化し、補完し、確認し、或いは、除外するのに用いることができる。レーザを備える実施態様では、追加的な光学部品（例えば、レンズまたはディフューザ）を、レーザビームを広げる（そして、その視野範囲をカメラの場合と同様にする）ために備えることができる。異なる照射距離に対して、挟角及び広角の照光器を備えるのも有用な実施態様である。光源は、典型的には、点光源を反射ではなく拡散させる光源であって、例えば、光拡散型の容器に封止されたＬＥＤが好適である。
図３は、本技術の実施態様に基づいて感知・解析システム２０６（イメージアナライザとも称する）の全部または一部を実現するためのコンピュータシステム３００の簡略化したブロック図である。感知・解析システム２０６は、イメージデータを取り込み、処理できる任意の装置またはその構成部品を含んで構成されるか、或いは、当該装置または構成部品だけで構成される。幾つかの実施態様では、コンピュータシステム３００は、プロセッサ３４２、メモリ３３４、センサ・インターフェース３３６、ディスプレイまたは他の提示機構（ホログラフィック投影システム、ヘッドアップディスプレイ（ＨＵＤ）、乗員／後部座席用の装着型のグーグルまたはその他のヘッドマウントディスプレイ（ＨＭＤ）、他の視覚的提示機構、または、これらの組み合わせ）を含むことのできる提示インターフェース（ｐｒｅｓｅｎｔａｔｉｏｎ ｉｎｔｅｒｆａｃｅ）２３８、スピーカ３３９、マイクロフォン３４０、及び、任意の無線インターフェース３４１を備える。メモリ３３４は、プロセッサ３４２によって実行される命令、及び、当該命令の実行に関連する入力データ及び／または出力データを格納するために使用される。特に、メモリ３３４は、概念的に一群のモジュールとして説明され（詳細は後述する）、プロセッサ３４２の動作及び他のハードウェア部品との相互作用を制御する命令を格納している。オペレーティングシステム（ＯＳ）は、メモリ割り当て、ファイル管理、大容量記憶装置の操作等の低レベルで基本的なシステム機能を監督する。オペレーティングシステムは、下記に列挙する種々のオペレーティングシステムで構成されるか、または、当該オペレーティングシステムを含んで構成される。当該種々のオペレーティングシステムとして、例えば、マイクロソフト社のＷＩＮＤＯＷＳ（登録商標）オペレーティングシステム、ＵＮＩＸ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｘｅｎｉｘオペレーティングシステム、ＩＢＭ社のＡＩＸオペレーティングシステム、ヒューレット・パッカード社のＵＸオペレーティングシステム、Ｎｏｖｅｌｌ社のＮＥＴＷＡＲＥオペレーティングシステム、サンマイクロシステムズ社のＳＯＬＡＲＩＳオペレーティングシステム、ＯＳ／２オペレーティングシステム、ＢｅＯＳオペレーティングシステム、ＭＡＣ ＯＳオペレーティングシステム、ＡＰＡＣＨＥオペレーティングシステム、ＯＰＥＮＡＣＴＩＯＮオペレーティングシステム、ｉＯＳやＡｎｄｒｏｉｄ等のモバイルオペレーティングシステム、或いは、その他のオペレーティングシステムまたはプラットフォームが想定される。
コンピューティング環境は、更に、その他の取り外し可能／不可能な、揮発性／不揮発性のコンピュータ記憶媒体を備えることができる。例えば、ハードディスクドライブは、取り外し不可能な不揮発性の磁気記憶媒体の読み出し及び書き込みができる。磁気ディスクドライブは、取り外し可能な不揮発性の磁気記憶媒体からの読み出し、または、同磁気記憶媒体への書き込みができ、光ディスクドライブは、取り外し可能な不揮発性のＣＤ−ＲＯＭ等の光ディスクからの読み出し、または、同光ディスクへの書き込みができる。模範的な操作環境で使用可能な他の取り外し可能／不可能な、揮発性／不揮発性のコンピュータ記憶媒体は、これらに限定されないが、磁気テープカセット、フラッシュメモリカード、ディジタル多用途ディスク（ＤＶＤ）、ディジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭ、等を含む。記憶媒体は、典型的には、取り外し可能／不可能なメモリインターフェースを介してシステムバスに接続している。
プロセッサ３４２は、汎用のマイクロプロセッサを使用できるが、実施態様によっては、代替的に、マイクロコントローラ、周辺集積回路素子、ＣＳＩＣ（特定カスタマ向けＩＣ）、ＡＳＩＣ（特定用途向けＩＣ）、論理回路、ディジタル信号プロセッサ、ＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、ＰＬＡ（プログラマブル論理アレイ）等のプログラマブル論理デバイス、ＲＦＩＤプロセッサ、スマートチップ、或いは、任意の他のデバイス、或いは、本技術の処理動作を実行できるデバイスの配置等が使用できる。
センサ・インターフェース３３６は、コンピュータシステム３００と、照明源１０８，１１０に対応する図１に示すカメラ１０２，１０４間の通信を可能にするハードウェア、ファームウェア、及び／または、ソフトウェアを含む。従って、例えば、センサ・インターフェース３３６は、カメラ１０２，１０４、並びに、プロセッサ３４２で実行されるモーションキャプチャ（“ｍｏｃａｐ”）プログラム３４４への入力として提供される前の前記カメラから受信したデータ信号を変更（例えば、ノイズ低減、データの再フォーマット等）するハードウェア、ファームウェア、及び／または、ソフトウェアの信号プロセッサが接続可能な１以上のデータポート３４６，３４８を含むことができる。幾つかの実施態様では、センサ・インターフェース３３６は、例えば、前記カメラを活性化或いは非活性化するために、カメラの設定（フレームレート、画質、感度等）を制御するために当該カメラに信号を送信すること、及び／または、他の任意のセンサのセンサ設定（キャリブレーション、感度レベル等）を制御するために当該センサに信号を送信すること等ができる。当該信号は、例えば、プロセッサ３４２からの制御信号に応答して送信される。尚、プロセッサ３４２からの制御信号は、ユーザ入力、または、他の検知されたイベントに応答して順番に生成され得る。
センサ・インターフェース３３６は、更に、光源（例えば、照明源１０８，１１０）が接続可能なコントローラ３４７，３４９を含むことができる。幾つかの実施態様では、コントローラ３４７，３４９は、ｍｏｃａｐプログラム３４４を実行するプロセッサ３４２からの命令に応答して、上記光源に対して動作電流を供給する。他の実施態様では、上記光源は、外部の電源から供給される動作電流を流すことができ、コントローラ３４７，３４９は、当該光源に対して、例えば、光源のオンオフ、輝度の変化を指示する制御信号を発生することができる。幾つかの実施態様では、単一のコントローラを使用して、複数の光源を制御することができる。
ｍｏｃａｐプログラム３４４を規定する命令はメモリ３３４に格納され、当該命令は、実行されると、センサ・インターフェース３３６に接続するカメラから供給されるイメージに対して、モーションキャプチャ解析を実行する。１つの実施態様では、ｍｏｃａｐプログラム３４４は、物体検知モジュール３５２、物体解析モジュール３５４、及び、ジェスチャ認識モジュール３５６等の種々のモジュールを有する。物体検知モジュール３５２は、イメージ（例えば、センサ・インターフェース３３６を介して取り込まれたイメージ）内の物体の輪郭、及び／または、物体の位置に関する他の情報を検知するために、当該イメージを解析することができる。物体解析モジュール３５４は、当該物体（例えば、ユーザの手）の３次元位置、及び／または、動きを判定するために、物体検知モジュール３５２から提供される当該物体の情報を解析することができる。幾つかの実施態様では、物体解析モジュール３５４は、例えば、当該物体の到着の時間距離（所要時間）、マルチラテレーション等による当該物体の局所化のために、音声信号（例えば、センサ・インターフェース３３６を介して取り込まれた音声信号）も解析することができる。尚、マルチラテレーションとは、既知の位置から既知の時間に信号を発信する２以上の基地との距離差の測定を基礎とするナビゲーション技術である（例えば、ウィキペディア（Ｗｉｋｉｐｅｄｉａ：http://en.wikipedia.org/w/index.php?title=Multilateration&oldid=523281858, on Nov. 16, 2012, 06:07 UTC）参照）。ｍｏｃａｐプログラム３４４のコードモジュール内で実行され得る操作例を以下に説明する。メモリ３３４は、他の情報、及び／または、ｍｏｃａｐプログラム３４４によって使用されるコードモジュールも含むことができる。当該コードモジュールとしては、例えば、アプリケーション１（Ａｐｐ１）、アプリケーション２（Ａｐｐ２）、及び、アプリケーションＮ（ＡｐｐＮ）のような異なるアプリケーションを用いてユーザに対してｍｏｃａｐプログラム３４４との相互作用を許容するアプリケーション・プラットフォーム３６６が想定される。
提示インターフェース２３８、スピーカ３３９、マイクロフォン３４０、及び、任意の無線インターフェース３４１は、ユーザまたはシステムとコンピュータシステム３００間の相互作用を容易にするために用いることができる。幾つかの実施態様では、センサ・インターフェース３３６とｍｏｃａｐプログラム３４４を用いたジェスチャ・キャプチャの結果は、ユーザ入力として解釈することができる。例えば、ユーザは、ｍｏｃａｐプログラム３４４を用いて解析されるハンド・ジェスチャを実行でき、その解析結果は、プロセッサ３４２で実行される他のプログラム（例えば、ウェブブラウザ、ＧＰＳアプリケーション、ディクテーション・プログラム、または、その他のアプリケーション）に対する命令として解釈することができる。つまり、実例として、ユーザは、提示インターフェース２３８を介して現在表示されているウェブページをスクロールするために、上向きまたは下向きに手を大きく動かすジェスチャ、スピーカ３３９からのオーディオ出力のボリュームを大きくまたは小さくするために、手を回すジェスチャ、等を用いても良い。
コンピュータシステム３００は、一例であり、種々の変形及び変更が可能であると理解される。特定の実施態様は、例えば、有線及び／または無線ネットワークインターフェース、メディア再生及び／または記録システムインターフェース、等のここに記載していない他の機能を含むこともできる。幾つかの実施態様では、センサ２００が別部品として供給されるのではなく寧ろ組み込まれる乗り物或いは機器内に、１以上のカメラ１０２，１０４を組み込むこともできる。更に、イメージアナライザは、コンピュータシステムの部品の一部（例えば、プログラムコードを実行するプロセッサ、ＡＳＩＣ、または、機能が固定されたディジタル信号プロセッサと、イメージデータの受信と解析結果の出力に適したＩ／Ｏインターフェース）だけでも実現できる。
コンピュータシステム３００は、特定のブロックを参照して説明されているが、当該ブロックは説明の便宜上規定されたもので、構成部品の特定の物理的な配置を意図するものではない。更に、当該ブロックは、必ずしも、物理的に別個の構成部品と対応している必要はない。物理的に別個の構成部品が使用されている場合、当該部品間の接続（例えば、データ通信のための接続）は、その要請に応じて有線及び／または無線での接続が可能である。
図２及び図３を参照すると、ユーザ（例えば、乗り物の運転者または乗員）は、カメラ１０２，１０４によって、時間的に連続する一連のイメージとして取り込まれるジェスチャを実行する。他の実施態様では、カメラ１０２，１０４は、ユーザの観測可能な任意の姿勢または一部を取り込むこともできる。例えば、ユーザが、その身体の大部分をカメラ１０２，１０４近傍の視野内に置いている場合、カメラ１０２，１０４は、ユーザの意図する手のジェスチャだけを取り込むのではなく、ユーザの身体全体も当該カメラの視野内に入ってしまう。手２１４の動きは、ｍｏｃａｐプログラム３４４の物体解析モジュール３５４によって区別され、ｍｏｃａｐプログラム３４４のジェスチャ認識モジュール３５６によって解析される。ジェスチャ認識モジュール３５６は、乗り物または他の制御される機器の１以上のシステムまたはサブシステムに入力を提供し、ユーザが当該システムまたはサブシステムを遠隔制御すること、及び／または、ユーザが、提示インターフェース２３８を介して表示される仮想環境内の、例えば、仮想化された計器、指示器、ボタン、レバー、或いは、他の制御等の物体を仮想的に操作することを、可能にする。ユーザは、その身体の任意の一部、例えば、指、手、腕、または、それらの組み合わせを用いて当該ジェスチャを実行できる。ジェスチャ認識の一部として、または、独立して、感知・解析システム２０６は、以下に説明するアルゴリズムを用いて実時間で、３次元空間内のユーザの手の形及び位置を判定することができる。尚、当該アルゴリズムは、更に詳しくは、例えば、２０１２年１月１７日、２０１２年３月７日、２０１２年１１月８日、２０１２年１２月２１日、及び、２０１３年１月１６日に夫々出願された米国出願６１／５８７，５５４、１３／４１４，４８５、６１／７２４，０９１、１３／７２４，３５７、及び、１３／７４２，９５３に開示されており、当該全ての開示は本願に引用して援用する。
結果として、感知・解析システム２０６は、前記システムまたはサブシステム（電気装置）に入力を提供するためにジェスチャを認識するだけではなく、３次元空間内における当該手のジェスチャを特徴付けて、当該ジェスチャを、例えば、提示インターフェース２３８を介した表示スクリーン上に、操作された手（ｒｉｇｇｅｄ ｈａｎｄ）９９として再生するために、連続するビデオイメージ内のユーザの手の位置及び形を取り込むこともできる。操作された手９９は、物体検知モジュール３５２によってイメージから作られた１以上のカプセル要素（ｃａｐｓｕｌｅ ｅｌｅｍｅｎｔ）９７を覆う操作された手のオーバーレイ９４を含む模範手（ｍｏｄｅｌ ｈａｎｄ）９８から決められる。
１つの実施態様では、図５を参照すれば、操作された手の表示５９９は、拡張された乗り物環境の一部として、本技術の一実施態様に基づいて、例えば、１以上の実際の物体が通して見えるフロントガラス５１６等の透明（または半透明）または他の表面上に、投影することができる。例えば、引き続き図５を参照すれば、提示インターフェース２３８に接続するビデオプロジェクタ５０４は、ＧＰＳアプリケーションから得た矢印のイメージ（例えば、仮想デバイス５２３）をフロントガラス５１６等の透明（または半透明）の表面に重ね合わせて投影することができ、ユーザは直接に当該矢印を見ることができ（或いは、運転者が乗り物から離れている場合（例えば、無人飛行機や無人自動車を操作している場合）や、乗り物にフロントガラスが無い場合において、ライブビデオ供給を介して当該矢印はユーザに表示される）、その結果、乗り物の運転時に拡張環境を体験できる。随意的な触覚プロジェクタ５０６が、物理的な制御機器に対するクリックやプレス操作の圧力感覚を伝えることができる。随意的なオーディオプロジェクタ５０２が、車のドライバが経路上の変化、到来する障害（物）、或いは、乗り物の速度等に注意を払うべきことを示す仮想の「減速バンプ（ｓｐｅｅｄ ｂｕｍｐｓ）」の音を伝えることができる。
１つの実施態様では、ジェスチャ認識モジュール３５６は、検出されたジェスチャの１以上の要素（ｐｒｉｍｉｔｉｖｅ）を、感知・解析システム２０６、前記電気装置、または、外部記憶システム内に実現されたデータベースにレコードとして電気的に格納されているジェスチャ要素のライブラリと比較する。尚、ここで使用される「電気的に格納」という用語は、揮発性または不揮発性の格納を含み、後者の格納はディスク、フラッシュメモリを含み、当該用語は、任意のコンピュータがアドレス可能な記憶媒体（例えば、光記憶媒体を含む）にも及ぶ。例えば、ジェスチャはベクトル、つまり、数学的に特定される空間的な軌跡、他の要素、または、これらの組み合わせとして記録され、ジェスチャのレコードは、ジェスチャの実行に関与するユーザの身体部位を特定するフィールドを備える。つまり、ユーザの手と頭によって実行される同様の軌跡は、アプリケーションがこれらを区別して解釈できるように、データベースには異なるジェスチャとして記録される。
図４は、本技術の実施態様に基づくモーションキャプチャ及びイメージ解析において関係する基本操作及び機能的ユニット４００を示す。図４に示されるように、カメラ４０２，４０４は景色のイメージ４１０を記録する。各イメージは、関連するカメラのイメージセンサによって、画素値のアレイとして取り込まれ、当該ディジタルイメージは、生（ｒａｗ）データのまま、或いは、在来式の前処理に続いて、１以上のフレームバッファ４１５に転送される。１つのフレームバッファ４１５は、イメージを記録したカメラによる出力としてイメージの画素値に対応する「ビットマップ」のイメージフレーム４２０を格納する揮発性メモリの区画または専用のセグメントである。当該ビットマップは、一般には、概念的に格子として、各画素が表示装置の出力要素に１対１または別の方法でマッピングされて、構成される。しかしながら、フレームバッファ４１５内でメモリセルが物理的にどのように編成されるかというトポロジーは、概念的な編成に対して重要ではなく、直接一致する必要もない点は重視すべきである。
システム内に含まれるフレームバッファの数は、一般的に、解析システムまたは解析モジュール４３０（詳細は後述する）によって同時に解析されるイメージの数を反映する。簡単に言えば、解析モジュール４３０は、そこに物体を置いて、それらの動きを、時間をかけて追跡するために（符号４４０で示す）、一連のイメージフレーム４２０の夫々の画素データを解析する。この解析は種々の形式を取ることができ、当該解析を実行するアルゴリズムは、イメージフレーム４２０の画素をどのように扱うかを指示する。例えば、解析モジュール４３０により実行されるアルゴリズムは、各フレームバッファの画素を１ライン毎に処理できる。つまり、画素グリッドの各行は逐次的に解析される。他のアルゴリズムは、列、タイル状の領域、或いは、他の組織的な形式で画素を解析する。
様々な実施態様では、一連のカメライメージ内に取り込まれたモーションは、提示インターフェース２３８を介して表示される連続する対応する出力イメージを計算するのに使用される。例えば、動いている手のカメライメージは、プロセッサ３４２によって、手のワイヤーフレーム表示または他のグラフィック表示に変換することができる。或いは、手のジェスチャは、別個の視覚出力を制御するために使用される入力として解釈され得る。実例として、ユーザは、現在表示されているウェブページまたは他のドキュメントをスクロールするために、上向きまたは下向きに手を大きく動かすジェスチャ、或いは、当該ウェブページをズームインまたはズームアウトするために手を開いたり閉じたりジェスチャを使用することができる。如何なる場合でも、出力イメージは、一般的にフレームバッファ、例えば、フレームバッファ４１５の１つの中に画素データ形式で格納される。ビデオ表示コントローラはフレームバッファを読み出して、提示インターフェース２３８を介してイメージを出力するために、データストリーム及び関連する制御信号を生成する。ビデオ表示コントローラは、プロセッサ３４２とメモリ３３４とともに、コンピュータ３００のマザーボード上に搭載して提供でき、更に、プロセッサ３４２と共に集積化され得るか、或いは、分離したビデオメモリを操作するコプロセッサとして実施され得る。上述したように、コンピュータ３００は、提示インターフェース２３８へ出力イメージの供給の生成を助ける個別のグラフィックまたはビデオカードを備えることができる。ビデオカードは、一般的に、グラフィック処理ユニット（ＧＰＵ）とビデオメモリを備え、特に、複雑且つコンピュータ処理上高価なイメージ処理及びレンダリングに有用である。グラフィックカードは、フレームバッファとビデオ表示コントローラの機能（オンボードビデオ表示コントローラは無効にできる）を含むことができる。一般に、システムのイメージ処理及びモーションキャプチャ機能は、ＧＰＵとメインプロセッサ３４２間に、種々の方法で分配できる。
モーションキャプチャプログラム３４４に適したアルゴリズムは以下で説明するが、更に詳しくは、例えば、２０１２年１月１７日、２０１２年３月７日、２０１２年１１月８日、２０１２年１２月２１日、及び、２０１３年１月１６日に夫々出願された米国出願６１／５８７，５５４、１３／４１４，４８５、６１／７２４，０９１、１３／７２４，３５７、及び、１３／７４２，９５３に開示されており、当該全ての開示は本願に引用して援用する。種々のモジュールは、例えば、Ｃ、Ｃ＋＋、Ｃ＃、ＯｐｅｎＧＬ、Ａｄａ、Ｂａｓｉｃ、Ｃｏｂｒａ、ＦＯＲＴＲＡＮ、Ｊａｖａ（登録商標）、Ｌｉｓｐ、Ｐｅｒｌ、Ｐｙｔｈｏｎ，Ｒｕｂｙ、または、Ｏｂｊｅｃｔ Ｐａｓｃａｌ、または、低レベルアッセンブリ言語等を含む、高レベル言語の限定されない任意の適したプログラミング言語でプログラムされ得る。
再度図４を参照すると、モーション感知制御装置に備えられた装置の動作モードは、イメージ解析モジュール４３０に提供されるデータの粗さ、解析の粗さ、または、その両方を、性能データベースの登録に基づいて、判定する。例えば、広域モードの動作の間、イメージ解析モジュール４３０は、全てのイメージフレーム上で動作することができ、更に、フレーム容量制限内の全てのデータ上で、フレームバッファ４１５の各データが一連のデータラインとして構成されている場合、フレーム当たりのイメージデータの削減量（つまり、解像度）、または、幾つかのフレームを全て捨てることを指示できる。データが解析から欠落する手法は、イメージ解析アルゴリズム、または、モーションキャプチャ出力を加えて行う使用に依存する可能性がある。幾つかの実施態様では、データは、例えば、１ラインおき、２ラインおき等のように、対称或いは一様に欠落し、イメージ解析アルゴリズムまたはその出力を利用するアプリケーションの許容限度まで捨てられる。他の実施態様では、ライン欠落の頻度は、フレームの端部に向けて増加する。更に別の変化し得るイメージ取得パラメータは、フレームサイズ、フレーム解像度、及び、１秒当たりに取得されるフレーム数を含む。特に、フレームサイズは、例えば、端部の画素を捨てる、より低い解像度で再サンプリングする（及び、フレームバッファ容量の一部のみを使用する）等により、削減できる。イメージデータの取得に関連するパラメータ（例えば、サイズ、フレームレート、及び、特性）は、集合的に「取得パラメータ」と称し、一方、イメージ解析モジュール４３０の動作（例えば、物体の輪郭の規定）に関連するパラメータは、集合的に「イメージ解析パラメータ」と称する。上述の取得パラメータ及びイメージ解析パラメータは、代表的なものだけであり、これだけに限定されるものではない。
取得パラメータは、カメラ４０２，４０４及び／またはフレームバッファ４１５に供給され得る。例えば、カメラ４０２，４０４は、カメラ４０２，４０４の操作における取得パラメータに応答して、指示されたレートでイメージを取得し、或いは、それに代えて、フレームバッファ４１５に（単位時間当たりに）転送される取得フレーム数を制限することができる。イメージ解析パラメータは、輪郭規定アルゴリズムの動作に影響を与える数量として、イメージ解析モジュール４３０に、供給され得る。
利用可能な資源の所定のレベルに好適な取得パラメータ及びイメージ解析パラメータの望ましい値は、例えば、イメージ解析モジュール４３０の特性、モーションキャプチャ出力を利用するアプリケーションの種類、及び、設計上の優先事項に依存し得る。幾つかのイメージ処理アルゴリズムが、広帯域に亘って、入力フレーム解像度に対して輪郭概算の解像度をトレードオフできるのに反して、別のイメージ処理アルゴリズムは、例えば、それ以下ではアプリケーションが一緒に機能しなくなる最小のイメージ解像度を要求する、大きな許容を全く提示しない。
１つの実施態様では、本技術の一実施態様に基づいて、例えば、１以上の実際の物体が通して見えるフロントガラス５１６等の透明（または半透明）または他の表面上に、拡張された乗り物環境５０１を投影するシステム５００が、図５に開示されている。システム５００は、例えば、１以上のカメラ１０２，１０４（または、他のイメージセンサ）及び随意的にイメージングシステムを備える幾つかの照明源１０８，１１０等の種々のセンサ及びプロジェクタを制御する感知・処理システム２０６を含む。システム５００は、随意的に、表面（例えば、明瞭性のため図５には示していないタッチスクリーンディスプレイ等）との接触を検知するために配置された複数の振動センサ（または、音響センサ）５０８，５１０を含むことができる。随意的に、システム２０６の制御下のプロジェクタ、例えば、オーディオ・フィードバック（例えば、仮想的なボタンが押下された時、或いは、仮想的な制御が操作された時のクリック音、チャイム、スピーチのフィードバック）を提供する随意的なオーディオプロジェクタ５０２、随意的なビデオプロジェクタ５０４、触覚フィードバック（例えば、ボタン圧、物理的な物体が握られたことを示す圧力、等）を拡張された乗り物環境５０１のユーザに提供する随意的な触覚プロジェクタ５０６等が、拡張された乗り物環境５０１を提供するために、仮想物体をレンダリングすることができる。プロジェクタに関する更なる情報に関して、“Ｖｉｓｉｏ−Ｔａｃｔｉｌｅ Ｐｒｏｊｅｃｔｏｒ” Ｙｏｕｔｕｂｅ (https://www.youtube.com/watch?v=Bb0hNMxxewg：２０１４年１月１５日検索)が参考になる。動作上は、システム５００のセンサ及びプロジェクタは、全部または一部を、センサ装置５００−１内に組み込むことができ、或いは、従来のように、ジェスチャによってシステム５００にコマンドを与えるために図示された軌道１１８に沿って移動する手１１４の動き及び位置を検知するために、対象となる領域１１２に向けて設置しても良い。１以上のアプリケーション５２２，５２３は、拡張現実１１３の表示内に統合された仮想物体として提供できる。これにより、ユーザ（例えば、手１１４の持ち主）は、例えば、フロントガラス５１６を通して現実の物体を見ることができるとともに、同じ環境５０１内で、拡張現実１１３内に仮想化されたアプリケーション５２１，５２２の出力を見ることができる。
投影には、ユーザの手５９９のイメージまたは他の視覚的表示、及び／または、１以上の随意的な物体を含めることができる。投影の対象となる物体には、例えば、アプリケーションに関連する物体５２２，５２３，５２４、乗り物の操作パラメータを示す物体５２１、広告物体５１７、より抽象的な事柄を示す物体５１５、その他のタイプの物体、及び、物体の組み合わせ、等が含まれ得る。例えば、図５の視覚プロジェクション機構５０４は、運転者のコンタクトリストからのアイコン５２２を投影できる。ＧＰＳアプリケーションは、コンタクトリスト内の人のために選択された場所への経路を計画して、ガイダンス情報５２３を提供し、更に、運転者に対して、拡張された乗り物環境５０１内に仮想化された物体を投影することができる。状態モニタに関連する種々の物体５２１は、乗り物のシステムに関する情報を提供する。広告アプリケーションは、コンタクト５２２を訪問する以前の旅行に極めて近い旅行の以前の目的地を検索して、適切な広告物体５１７を表示する。例えば、運転者が友人（コンタクト５２２）を訪問し、彼らが直近の３回バーガキング（Ｂｕｒｇｅｒ Ｋｉｎｇ）に行っていた場合、マクドナルド（ＭｃＤｏｎａｌｄｓ）のために広告アイコンを表示させても良い。乗り物の“ハッピネス”アイコン５２４は、様々なパラメータ（例えば、環境制御の変化の頻度、エンターテイメントの選択の変化の頻度、環境照明の量、温度、湿度、等）から決定される乗員の総合的な幸福度（ハッピネス）を表示する。
更に、面５１６は、グーグルグラス（Ｇｏｏｇｌｅ Ｇｌａｓｓ：登録商標）、或いは、無線または有線で感知システム５００と接続可能な同等品、等の装着型のコンピュータ装置であっても良い。
拡張された乗り物環境のための投影は、例えば、前部座席の乗員用と後部座席の乗員用に分けて行うことができる。前部座席の乗員は、乗員のジェスチャに応答するクリック音、チャイム、及び／または、スピーチのフィードバックを体験できる。後部座席の乗員は、運転者の妨げにならないように、後部座席の乗員用のヘッドフォーンやＨＭＤへの別のオーディオチャンネルで、クリック音、チャイム、及び／または、スピーチのフィードバックを体験できる。
更に、運転者のいない（自動操縦）自動車の実施態様では、運転者はもはや自動車を操縦しない。運転者の操縦を妨害することに対する対価は需要ではなくなる。１つの斯かる実施態様では、乗り物のシステム（或いは、サブシステム）を制御するために、ジェスチャを、前部座席の全ての乗員に拡大できる。運転者のいない自動車は、更に大型の対話型のＨＵＤ（フロントガラス全面までの大きさ）を備えることができる。ジェスチャは、非安全性に関連するナビゲーションの決定（例えば、決定されたルートの取り消し、移動している地図表示上の中間地点、ルート変更のための休憩所の選択（例えば、トイレ休憩））を制御する。
９４： 手のオーバーレイ
９７： カプセル要素
９８： 模範手
９９： 操作された手
１００： モーション感知装置
１０２，１０４： カメラ
１０８，１１０： 照明源（ＬＥＤ）
１１２： 対象となる領域
１１３： 拡張現実
１１４： 手
１１８： 軌道（手の移動）
１７２： 照明ボード
１７８： ソケット
１８２： メインボード
２００： 感知システム（センサ）
２００−１，２，３： センサ
２０１： 自動車室内、乗り物
２０６： 感知・解析システム（解析システム、感知・処理システム）
２１２： 対象となる領域
２１４： 手
２１５，２１７： 音響トランスデューサ
２１６： ダッシュボード
２２１，２２２： フィルタ
２３８： 提示インターフェース
３００： コンピュータシステム（コンピュータ）
３３４： メモリ
３３６： センサ・インターフェース
３３９： スピーカ
３４０： マイクロフォン
３４１： 無線インターフェース
３４２： プロセッサ（メインプロセッサ）
３４４： モーションキャプチャプログラム（ｍｏｃａｐプログラム）
３４６，３４８： データポート
３４７，３４９： コントローラ
３５２： 物体検知モジュール
３５４： 物体解析モジュール
３５６： ジェスチャ認識モジュール
３６６： アプリケーション・プラットフォーム
４００： 機能的ユニット
４０２，４０４： カメラ
４１０： 景色のイメージ
４１５： フレームバッファ
４２０： イメージフレーム
４３０： 解析モジュール（イメージ解析モジュール）
４４０： 解析モジュールによる物体の動きの追跡
５００： 拡張された乗り物環境を投影するシステム（感知システム）
５００−１： センサ装置
５０１： 拡張された乗り物環境
５０２： オーディオプロジェクタ
５０４： ビデオプロジェクタ（視覚プロジェクション機構）
５０６： 触覚プロジェクタ
５１６： フロントガラス（面）
５１７： 広告物体
５２１： 状態モニタに関連する種々の物体
（仮想化されたアプリケーション、乗り物の操作パラメータを示す物体）
５２２： アプリケーション
（仮想化されたアプリケーション、アイコン、コンタクト）
５２３： 仮想デバイス（アプリケーション、ガイダンス情報）
５２４： アプリケーションに関連する物体（“ハッピネス”アイコン）
５９９： 操作された手の表示（ユーザの手）
Ａ： 取り付け面

Claims (20)

  1. 組み込み可能なモーション感知制御装置であって、
    眺められている景色の立体的なイメージ情報を提供する、第１部分に配置された複数のイメージセンサと、
    第２部分に配置された１または複数の照明源と、
    前記イメージセンサ及び前記照明源に接続して、前記イメージセンサ及び前記照明源の動作、景色の前記イメージ情報の取得、少なくとも実時間に近い前記イメージ情報のストリームを制御下のシステムまたは装置に提供することを制御するコントローラと、
    を備えることを特徴とするモーション感知制御装置。
  2. 前記コントローラが、更に、前記イメージセンサの見える範囲内の制御物体のためのイメージ情報を取り込むことを提供し、
    対象となる制御物体のための前記イメージ情報が、制御下の機械に対するコマンドを指示するジェスチャ情報を決定するために使用されることを特徴とする請求項１に記載の装置。
  3. 前記イメージ情報を取り込むことが、更に、
    赤外光に感応する画素から受信した情報を、可視光に感応する画素から受信した情報と分離すること、
    ジェスチャの認識に使用するために、前記赤外光に感応する画素から受信した情報を処理すること、及び、
    提示インターフェースを介してビデオ供給として提供するために、前記可視光に感応する画素から受信した情報を処理すること、
    を含むことを特徴とする請求項２に記載の装置。
  4. 前記可視光に感応する画素から受信した情報を処理することが、更に、前記景色内の照明の赤、緑、及び、青要素を各別に取り込むＲＧＢ画素を用いて、対象となる領域の特徴を抽出することを含むことを特徴とする請求項３に記載の装置。
  5. 前記赤外光に感応する画素から受信した情報を処理することが、更に、前記景色内の照明の赤外要素を取り込む赤外画素を用いて、対象となる領域の特徴を抽出することを含むことを特徴とする請求項３または４に記載の装置。
  6. 前記第２部分が、アプリケーションに対して前記装置をカスタマイズできるように、複数の配置箇所から選択可能であることを特徴とする請求項１〜５の何れか１項に記載の装置。
  7. 前記照明源が光を出射する空間領域内に、物体が存在するか存在しないかを示す反射率の変化を検知する光検知器からの情報を受信するポートを、更に備えることを特徴とする請求項１〜６の何れか１項に記載の装置。
  8. 前記第１部分と前記第２部分を相互に結合する１以上の固定部材を、更に備えることを特徴とする請求項１〜７の何れか１項に記載の装置。
  9. ホスト装置の取り付け面に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１〜８の何れか１項に記載の装置。
  10. ホスト装置の空洞部分に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１〜９の何れか１項に記載の装置。
  11. 乗り物の取り付け面に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１〜１０の何れか１項に記載の装置。
  12. 乗り物の空洞部分に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１〜１１の何れか１項に記載の装置。
  13. 乗り物とインターフェースする可搬装置の取り付け面に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１〜１２の何れか１項に記載の装置。
  14. 乗り物とインターフェースする可搬装置の空洞部分に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１〜１３の何れか１項に記載の装置。
  15. 前記イメージセンサによって取り込まれた前記イメージから、一部が生成された拡張現実の表示を提供する提示インターフェースを、更に備えることを特徴とする請求項１〜１４の何れか１項に記載の装置。
  16. 前記拡張現実の表示を提供することが、コンピュータが生成した情報と共に、景色の一連のイメージを拡張することを、更に含むことを特徴とする請求項１５に記載の装置。
  17. 前記景色の一連のイメージを拡張することが、前記一連のイメージについての情報から選択されたアイコンを付加することを、更に含むことを特徴とする請求項１６に記載の装置。
  18. 前記付加することが、前記一連のイメージと、運転者が入力した、または、使用した情報の少なくとも１つから決定される目的地情報に関連する広告を表示するアイコンを選択することを、更に含むことを特徴とする請求項１７に記載の装置。
  19. 前記提示インターフェースが、ヘッドアップディスプレイを更に有することを特徴とする請求項１５〜１８の何れか１項に記載の装置。
  20. 乗り物の乗員に感覚を提供する触覚プロジェクタを、更に備えることを特徴とする請求項１〜１９の何れか１項に記載の装置。
JP2014004691U 2014-08-15 2014-09-03 自動車用及び産業用のモーション感知制御装置 Expired - Fee Related JP3194297U (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462038112P 2014-08-15 2014-08-15
US62/038,112 2014-08-15

Publications (1)

Publication Number Publication Date
JP3194297U true JP3194297U (ja) 2014-11-13

Family

ID=51946162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014004691U Expired - Fee Related JP3194297U (ja) 2014-08-15 2014-09-03 自動車用及び産業用のモーション感知制御装置

Country Status (4)

Country Link
US (3) US11386711B2 (ja)
JP (1) JP3194297U (ja)
CN (1) CN204537054U (ja)
DE (1) DE202014104297U1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020125211A (ja) * 2019-02-01 2020-08-20 帷享科技股▲ふん▼有限公司 多機能撮影システム

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9533551B2 (en) 2015-03-16 2017-01-03 Thunder Power Hong Kong Ltd. Electric vehicle thermal management system with series and parallel structure
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US9550406B2 (en) * 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
EP3958557B1 (en) 2015-04-23 2024-09-25 Apple Inc. Digital viewfinder user interface for multiple cameras
ES2891150T3 (es) * 2015-05-06 2022-01-26 Reactive Reality Ag Método y sistema para producir imágenes de salida
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9994317B2 (en) * 2015-06-02 2018-06-12 Airbus Group India Private Limited Aviation mask
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
WO2017023287A1 (en) * 2015-07-31 2017-02-09 Hewlett-Packard Development Company, L.P. Capturing images provided by users
TWI578021B (zh) * 2015-08-19 2017-04-11 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
US10204453B2 (en) * 2015-09-04 2019-02-12 Airbus Group India Private Limited Aviation mask
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) * 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
DE102016204027A1 (de) 2016-03-11 2017-09-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung einer Vortriebseinheit eines elektrischen Zweirads
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
CN106249882B (zh) 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
US9996980B1 (en) * 2016-11-18 2018-06-12 Toyota Jidosha Kabushiki Kaisha Augmented reality for providing vehicle functionality through virtual features
KR102497449B1 (ko) * 2016-11-25 2023-02-07 센소릭스 아게 웨어러블 모션 트래킹 시스템
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
CN107102731A (zh) * 2017-03-31 2017-08-29 斑马信息科技有限公司 用于车辆的手势控制方法及其系统
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11587419B2 (en) * 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
DE102019106683B4 (de) * 2019-03-15 2020-12-24 Technische Universität Dresden Verfahren und System zum Herstellen eines Kontaktes zwischen einer Nutzerhand und einem Bedienelement einer Vorrichtung
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN112887586B (zh) * 2019-05-06 2022-05-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11354867B2 (en) 2020-03-04 2022-06-07 Apple Inc. Environment application model
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US20020140633A1 (en) * 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
KR100575906B1 (ko) 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP3752246B2 (ja) 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
JP4115467B2 (ja) 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
US7454136B2 (en) 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
JP5201999B2 (ja) * 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
JP5243070B2 (ja) * 2008-03-14 2013-07-24 ソニー株式会社 情報提供装置、受信端末、情報提供システム、情報提供方法、およびプログラム
WO2009155465A1 (en) 2008-06-18 2009-12-23 Oblong Industries, Inc. Gesture-based control system for vehicle interfaces
US20100013613A1 (en) * 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US20120041344A1 (en) * 2009-03-20 2012-02-16 Carl-Erik Flodmark Apparatus and method for estimating body fat mass
US8666672B2 (en) * 2009-11-21 2014-03-04 Radial Comm Research L.L.C. System and method for interpreting a user's psychological state from sensed biometric information and communicating that state to a social networking site
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8766162B2 (en) 2012-01-12 2014-07-01 Maxim Integrated Products, Inc. Ambient light based gesture detection
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US20130204457A1 (en) 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US20140309813A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Guest vehicle user reporting
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9239624B2 (en) 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
US9571818B2 (en) 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014018836A1 (en) * 2012-07-26 2014-01-30 Leap Motion, Inc. Object detection and tracking
WO2014020604A1 (en) * 2012-07-31 2014-02-06 Inuitive Ltd. Multiple sensors processing system for natural user interface applications
US8819812B1 (en) 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US8982261B2 (en) * 2012-10-13 2015-03-17 Hewlett-Packard Development Company, L.P. Imaging with interleaved detection accumulations
US8781171B2 (en) 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions
US20140118257A1 (en) 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US8744645B1 (en) 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
US10037474B2 (en) * 2013-03-15 2018-07-31 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
MX361092B (es) * 2013-05-23 2018-11-26 Iphenotype Llc Base de datos de búsqueda social integrada fenotípica y método.
US9477314B2 (en) 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9348419B2 (en) 2014-01-24 2016-05-24 Leap Motion, Inc. Method for synchronizing operation of systems
US10423226B2 (en) 2014-02-07 2019-09-24 Ultrahaptics IP Two Limited Systems and methods of providing haptic-like feedback in three-dimensional (3D) sensory space
US9495762B2 (en) 2014-05-14 2016-11-15 Qualcomm Incorporated Detecting and compensating for motion between a flash and a no-flash image
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN110716759B (zh) * 2018-06-26 2023-06-30 深圳富泰宏精密工业有限公司 电子设备、计算机可读存储介质及运行参数配置方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020125211A (ja) * 2019-02-01 2020-08-20 帷享科技股▲ふん▼有限公司 多機能撮影システム
JP7431047B2 (ja) 2019-02-01 2024-02-14 帷享科技股▲ふん▼有限公司 多機能撮影システム

Also Published As

Publication number Publication date
US20220319235A1 (en) 2022-10-06
US11749026B2 (en) 2023-09-05
US20230368577A1 (en) 2023-11-16
US11386711B2 (en) 2022-07-12
DE202014104297U1 (de) 2015-01-23
CN204537054U (zh) 2015-08-05
US20160048725A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
JP3194297U (ja) 自動車用及び産業用のモーション感知制御装置
US12095969B2 (en) Augmented reality with motion sensing
US20230334796A1 (en) Wearable augmented reality devices with object detection and tracking
US9868449B1 (en) Recognizing in-air gestures of a control object to control a vehicular control system
CN108027649B (zh) 定位增强现实环境中的设备
US9727132B2 (en) Multi-visor: managing applications in augmented reality environments
JP5965410B2 (ja) 拡張現実ディスプレイ用最適焦点エリア
US9417692B2 (en) Deep augmented reality tags for mixed reality
US20130342572A1 (en) Control of displayed content in virtual environments
US20130326364A1 (en) Position relative hologram interactions
US20130328925A1 (en) Object focus in a mixed reality environment
US20140372944A1 (en) User focus controlled directional user input
US10855925B2 (en) Information processing device, information processing method, and program
US20180089895A1 (en) Augmented reality creations with interactive behavior and modality assignments
CN110740896A (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
US12067157B2 (en) Drift cancelation for portable object detection and tracking
US20190371280A1 (en) Information processing apparatus and information processing method
US20200401031A1 (en) Information processing apparatus, information processing method, and recording medium
US20170285765A1 (en) Input apparatus, input method, and computer program
CN113661433A (zh) 头戴式显示设备及其操作方法
KR20200076089A (ko) 웨어러블 기기용 3d 카메라
JP7505112B2 (ja) ウェアラブル端末装置、プログラムおよび報知方法

Legal Events

Date Code Title Description
R150 Certificate of patent or registration of utility model

Ref document number: 3194297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees