JPH08315154A - ジェスチャ認識システム - Google Patents

ジェスチャ認識システム

Info

Publication number
JPH08315154A
JPH08315154A JP8011795A JP1179596A JPH08315154A JP H08315154 A JPH08315154 A JP H08315154A JP 8011795 A JP8011795 A JP 8011795A JP 1179596 A JP1179596 A JP 1179596A JP H08315154 A JPH08315154 A JP H08315154A
Authority
JP
Japan
Prior art keywords
gesture
hand
icon
screen
machine control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8011795A
Other languages
English (en)
Other versions
JP2941207B2 (ja
Inventor
William T Freeman
ウィリアム・ティー・フリーマン
Craig D Weissman
クレイグ・ディー・ワイスマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JPH08315154A publication Critical patent/JPH08315154A/ja
Application granted granted Critical
Publication of JP2941207B2 publication Critical patent/JP2941207B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/10—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using selector switches
    • G05B19/106—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using selector switches for selecting a programme, variable or parameter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23021—Gesture programming, camera sees hand, displays it on screen, grasp buttons
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H2217/00—Facilitation of operation; Human engineering
    • H01H2217/032—Feedback about selected symbol, e.g. display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 マスターし易く、信頼性があり、更に、制御
モードへの誤った入力に対するペナルティが比較的小さ
なジェスチャ認識システムを得る。 【解決手段】 所定のハンドジェスチャの存在及び空間
内の位置を検出して存在及び空間内の位置に応じたジェ
スチャ信号を発生するジェスチャ信号発生手段と、ジェ
スチャ信号発生手段の出力に基づいて所定のハンドジェ
スチャが検出された空間内の位置と対応するオンスクリ
ーンでの位置にオンスクリーンハンドアイコンを出力表
示するオンスクリーンハンドアイコン出力表示手段と、
所定のハンドジェスチャの動きにしたがってハンドアイ
コンが機械制御アイコン上に移動される時にオンスクリ
ーンハンドアイコンのオンスクリーン機械制御アイコン
との同時発生を検出し、そして検出された同時発生に応
じて対応する機械制御信号を発生する機械制御信号発生
手段とを備えた。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明はジェスチャによる
機械制御、特に遠隔から制御するためのジェスチャ認識
システムの技術に関する。
【０００２】
【従来の技術】従来、機械機能の制御のための赤外線又
はＲＦ（無線周波数）信号が用いられる遠隔信号発生装
置を使用を通じて、機械を制御することが可能であっ
た。ＶＣＲ（ビデオカセットレコーダ）システム、ＴＶ
システムからステレオ装置、コンピュータに至るまで、
バッテリー駆動のハンドヘルド型装置は、有線式制御モ
ジュールと同様に、機械付属ボタン又はスイッチを入状
態にするためにその機械へ移動するという必要性を排除
する。
【０００３】
【発明が解決しようとする課題】しかしながら、テレビ
の場合のように、チャンネル、音量、そしてある場合に
は、色相、濃度、コントラストに関するテレビの動作を
制御するハンドヘルド型リモートコントロールモジュー
ルは、容易に紛失したり、または操作のために向ける向
きを誤る。たとえ紛失しなくても、視聴者が取り戻す必
要のある他の場所にあるかも知れない。その結果、視聴
者がテレビをオンにする又は制御したい時には、テレビ
視聴者にはかなりの欲求不満がたまるだろう。更に、コ
ンピュータ・ワークステーションに関して、ハンドヘル
ド型リモートコントロール装置によるワークステーショ
ンの制御の場合でも、リモートコントロール装置の紛失
という同様の問題がある。
【０００４】さらに、より重要なことに、リモートコン
トロールモジュールについて多種類のボタンを設けるこ
とは、ボタンが複合機能的になるため、しばしばユーザ
を混乱させる。多数のボタンは制御される機能が多くな
るので必要とされ、機能が多くなれば、種々の機能を有
効にするボタンが多くなって更に複雑となる。
【０００５】結果として、ＴＶをいかに操作するかを個
人に教示することに関して、即座に習得できるＴＶ制御
に対する要請がある。そのＴＶ制御は覚え易く、マスタ
ーし易く、そして信頼できるものでなければならない。
更に、制御モードへの誤った入力に対するペナルティは
比較的小さくなければならない。
【０００６】背景として、例えば以下に列挙した記事は
機械制御と光学的に走査されたシーン内のオブジェクト
の検出におけるパターンと適応性の解析の使用を記述し
ている。 （１） D.H.Ballard、C.M.Brown 共著、Computer Visi
on、Prentice Hall、１９８２年 （２） A.Blake、M.Isard、手や唇の動きを追尾するビ
デオを用いた３Ｄ位置、姿勢、そして形状入力、SIGGRA
PH 94の会報、１８５−１９２ページ、１９９４年 （３） Computer Graphicsの年次会議シリーズ、T.J.D
arrellとA.P. Pentland.空間／時間ジェスチャ、会報、
IEEE CVPR、３３５−３４０ページ、１９９３年 （４） J.DavisとM.Shah.ジェスチャ認識、技術レポー
トＣＳ−ＴＲ−９３−１１、セントラルフロリダ大学、
オーランド、ＦＬ３２８１６、１９９３年 （５） W. T. FreemanとE. H. Adelson、操縦可能フィ
ルターの設計と使用、IEEE Pat. Anal. Mach. Intel
l.、１３（９）、８９１−９０６ページ、９月１９９１
年 （６） M.Kass とA.P.Witkin、方向づけられたパター
ンの解析、第９回IJCAI、会報、９４４ー９５２ペー
ジ、ロサンジェルス、CA８月、１９８５年 （７） H.KnutssonとG.H.Granlund、二次元直角フィル
ターを用いた生地解析、IEEE Computer Society Worksh
op on Computer Architecture for Pattern Analysis a
nd Image Database Management、２０６−２１３ペー
ジ、１９８３年 （８） J.M.RehgとT.Kanade、Digiteyes、視覚ベース
での人間の手の動きの追尾、技術レポートＣＭＵ−ＣＳ
−９３−２２０、Carnegie Mellon School of Computer
Science、ピッツバーグ、ＰＡ１５２１３、１９８３年 （９） J. Segen、Gest、ジェスチャを識別する学習コ
ンピューター視覚システム、Michalskiその外により編
集されたMorgan Kauffman、１９９２年の機械学習ＩＶ
【０００７】この発明は上述した従来例にかかる問題点
を解消するためになされたもので、マスターし易く、信
頼性があり、更に、制御モードへの誤った入力に対する
ペナルティが比較的小さなジェスチャ認識システムを得
ることを目的としている。
【０００８】
【課題を解決するための手段】この発明にかかるジェス
チャ認識システムは、表示画面とオンスクリーン機械制
御アイコンの起動を経て機械を制御する手段とを有する
制御システムにおいて、所定のハンドジェスチャの存在
及び空間内の位置を検出して存在及び空間内の位置に応
じたジェスチャ信号を発生するジェスチャ信号発生手段
と、ジェスチャ信号発生手段の出力に基づいて所定のハ
ンドジェスチャが検出された空間内の位置と対応するオ
ンスクリーンでの位置にオンスクリーンハンドアイコン
を出力表示するオンスクリーンハンドアイコン出力表示
手段と、所定のハンドジェスチャの動きにしたがってハ
ンドアイコンが機械制御アイコン上に移動される時にオ
ンスクリーンハンドアイコンのオンスクリーン機械制御
アイコンとの同時発生を検出し、そして検出された同時
発生に応じて対応する機械制御信号を発生する機械制御
信号発生手段とを備えたものである。
【０００９】また、オンスクリーン機械制御アイコン
は、スイッチであり、対応する機械制御信号は、スイッ
チ閉信号であるものである。
【００１０】また、オンスクリーン機械制御アイコン
は、可動要素を含み、また機械制御信号発生手段は、オ
ンスクリーンハンドアイコンと可動要素との同時発生を
検出してオンスクリーン機械制御アイコンの捕捉を示す
信号と可動要素にオンスクリーンハンドアイコンの動き
と対応する動きを与える機械制御信号とを発生するもの
である。
【００１１】また、オンスクリーン機械制御アイコン
は、スライダーバーであり、可動要素は、スライダーで
あるものである。
【００１２】また、可動要素は、設定方向に移動可能で
あり、可動要素の対応する動きと対応する動きを与える
機械制御信号は、設定方向へのハンドアイコンの移動に
よってのみ出力されるものである。
【００１３】また、オンスクリーンハンドアイコンとオ
ンスクリーン機械制御アイコンとの非同時発生の検出時
に機械制御を終了する機械制御終了手段を備えたもので
ある。
【００１４】また、可動要素が移動する設定方向と異な
る方向へのオンスクリーンハンドアイコンの移動により
機械制御を終了する機械制御終了手段を備えたものであ
る。
【００１５】また、ジェスチャ信号発生手段は、ビデオ
カメラと、ビデオカメラの出力に基づいて所定のハンド
ジェスチャを検出すると検出されたハンドジェスチャの
位置周辺の領域をジェスチャ解析領域として限定するジ
ェスチャ解析領域限定手段とを備え、所定のハンドジェ
スチャを検出した場合、ジェスチャ解析領域の画像デー
タから所定のハンドジェスチャの背景ノイズを除去する
ものである。
【００１６】また、所定のハンドジェスチャは、ビデオ
カメラと対面する手のひらで提示された平手であるもの
である。
【００１７】また、所定のハンドジェスチャは、「ｈｏ
ｗ」を示すサインであるものである。
【００１８】また、所定のハンドジェスチャは、「ｈｏ
ｗ」を示すサインであって、かつトリガージェスチャで
あり、また所定のジェスチャの検出により機械制御を実
行するものである。
【００１９】また、所定のハンドジェスチャとは異なる
第２の所定のジェスチャを検出するジェスチャ検出手段
と、ジェスチャ検出手段の出力に基づいて機械制御を終
了する機械制御終了手段手段とを含むものである。
【００２０】また、第２の所定のハンドジェスチャは、
握り拳であるものである。
【００２１】また、ジェスチャ信号発生手段は、所定の
ハンドジェスチャの外郭の方向性に対応する単位方向性
ベクトルを有するハンドジェスチャテンプレートを発生
するハンドジェスチャテンプレート発生手段と、光学的
に走査した領域内のイメージの外郭の方向性と対応する
単位方向性ベクトルを発生する手段と、ハンドジェスチ
ャテンプレートの単位方向性ベクトルと光学的に走査し
た領域内のイメージの単位方向性ベクトルとを比較して
両者の相関関係を示す値を算出する相関関係算出手段
と、相関関係を示す値と所定の閾値とを比較して相関関
係を示す値が所定の閾値より大きい場合にトリガー信号
を発生するトリガー信号発生手段とを備えたものであ
る。
【００２２】また、相関関係を示す値の最大値を求め、
光学的に走査された領域内でその最大値となる位置を決
定する相関関係最大値算出手段を備えたものである。
【００２３】また、相関関係を示す値が最大値となる位
置と隣接する領域に走査された領域をジェスチャ解析領
域として限定する手段を備えたものである。
【００２４】また、相関関係最大値算出手段は、所定の
ハンドジェスチャを検出する位置を相関関係を示す値が
最大値となる位置とし、ハンドジェスチャの追尾を行う
ものである。
【００２５】また、表示画面とオンスクリーン機械制御
アイコンの起動を経て機械を制御する手段とを有する制
御システムにおいて、所定のオブジェクトの存在及び空
間内の位置を検出して存在及び空間内の位置に応じたジ
ェスチャ信号を発生するジェスチャ信号発生手段と、ジ
ェスチャ信号発生手段の出力に基づいて所定のオブジェ
クトが検出された空間内の位置と対応するオンスクリー
ンでの位置にオンスクリーンハンドアイコンを出力表示
するオンスクリーンハンドアイコン出力表示手段と、所
定のオブジェクトの動きにしたがってハンドアイコンが
機械制御アイコン上に移動される時にオンスクリーンハ
ンドアイコンのオンスクリーン機械制御アイコンとの同
時発生を検出し、そして検出された同時発生に応じて対
応する機械制御信号を発生する機械制御信号発生手段と
を備えたものである。
【００２６】
【発明の実施の形態】本発明において、サインを利用し
た機械制御の問題を排除するため、ディスプレーを有す
る機械制御のためのシステムは、検出されたハンドジェ
スチャがオンスクリーンハンドアイコンをオンスクリー
ン機械制御アイコン上に動かすハンドジェスチャ検出機
能を備え、そのオンスクリーンハンドアイコンは検出さ
れた手の動きに従ってオンスクリーン機械制御アイコン
を動かす。ある形態において、多くのハンドジェスチャ
に関するユーザの習得が不要な片手ハンドジェスチャの
みが認識される。片手ハンドジェスチャは所望の特定の
機械制御アイコン上にハンドアイコンを単に移動するだ
けで各々のオンスクリーン機械制御アイコンと関連した
複数の機能を制御するために使用されることに留意され
る。その結果、簡単に習得でき、かつオンスクリーンア
イコンと同じ数の機能を制御するために使用できる単純
な相関関係が強い制御システムとなる。
【００２７】一般に、ハンドジェスチャ認識を利用する
ＴＶ制御システムは、ユーザにとって覚えるのが難し
く、かつコンピューターにとって認識するのが難しい少
数のハンドジェスチャ集を利用してまとめられる。ある
形態において、少数のハンドジェスチャ集は、ユーザに
より比較的容易にできる片手ジェスチャ、即ちテレビに
向けて開いた手、また「ｈｅｌｌｏｗ」又は「ｈｏｗ」
サインとして知られるものを中心に展開する。ジェスチ
ャの手の位置は検出されるので、チャンネルまたは音量
スライダーコントロール、または上下矢印などのコント
ロールアイコン上にハンドアイコンを配置させる手の動
きにより画面上のハンドアイコンを動かすことが出来
る。
【００２８】ある形態において、通常の動きによるＴＶ
コマンドの誤った認識はそのシステムをオンに切り換え
るために特別のジェスチャを利用して解消され、この特
別のジェスチャはＴＶ制御モードに入るためのトリガー
ジェスチャとして機能する。そのジェスチャは、ある形
態において、ユーザの記憶の負担が最も少ないジェスチ
ャ、例えば平手を空中に突き出すなどを含む上述の「ｈ
ｅｌｌｏｗ」又は「ｈｏｗ」サインである。その平手は
機械にとって乱雑な視覚のシーンにおいても識別し追尾
するのが比較的容易であり、そして視覚フィードバック
を与えるＴＶ画面上のハンドアイコンにより、ユーザが
単に手の位置、及び／または方向性を変えることでＴＶ
を制御することが可能になる。
【００２９】そのシステムは、制御モード内への誤った
入力に対するペナルティが小さくなるように設計され
る。例えば、ある形態において、ペナルティはアイコン
がＴＶ画面の最下部分にしか現れないので、画面はほと
んど分断されない。その結果、誤った起動時に、画面の
最下部分のみが占有され、誤った入力を比較的目立たな
いようにする。
【００３０】制御モードに入るために、カメラから見え
るエリアの大部分は「ｈｏｗ」姿勢での手の存在に対し
て走査される。ある形態において、走査は１つ以上の原
型ハンドマスク１セットとイメージとの正規化された相
関関係により実行される。その相関関係の強い結果を与
えるので、イメージ強度の代りに局所的な方向性の値に
基づき、その相関関係ベクトルは手の上のポイントにお
いて原点から指定された方向性の角度を有する単位ベク
トルとなる。
【００３１】ある形態において、正規化された相関関係
が使用される。その結果、一連の方向性は手についての
種々の方向性を有する針に似ている。もし相関関係を示
す値の最大値が閾値を超えるならば、トリガージェスチ
ャが検出されてテレビが制御モードに入る。ある形態に
おいて、手の位置は相関関係を示す値が最大値となる位
置になるようにとられる。
【００３２】一度、制御モードに入ると、カメラは、マ
スクと一致、または関連する手のシーンを走査し、その
相関関係はマスクとイメージとの間の局所的な方向性を
対比することに基づく。このタイプのシステムは、照明
変化や、変化する騒々しい背景に対して強い相関関係が
ある。ある形態において、一度、手とマスクとの間の適
当な相関関係が認識されると、本システムにより解析さ
れるシーンの部分は手のエリアにまで縮小するので、ハ
ンドアイコンを動かすための手の動きに対するより迅速
な手の追尾ができるようになる。
【００３３】以下で説明される背景除去のステップによ
り、乱雑な背景の影響が減少させられることもわかって
いる。
【００３４】ある状況の下では、異なる機械制御機能を
与え、そしてユーザが手を異なる方向性に保持できるよ
うにするために異なる角度の方向性でこの片手ジェスチ
ャを検出することが望ましい。正規化された相関関係の
値を有する場合、手の異なる角度の方向性は、異なる方
向性の手を有する多くのマスクを利用して検出される。
従って、開いた手の異なる方向性は、異なる機能を制御
するように、または異なるアイコン運動になるように出
来る。
【００３５】片手ジェスチャによるハンドジェスチャの
認識と対応するハンドアイコンとを利用して、異なる制
御機能のための多種類のハンドジェスチャの必要性を排
除するためユーザに視覚的にフィードバックする。必要
なことは、画面でハンドアイコンと制御アイコンとの同
時発生があることであり、画面から視覚的にフィードバ
ックして所望の制御を行うために人の手をどこに移動さ
せるかをユーザに教示する。異なる機能のための複数の
ハンドジェスチャを用いることは、多数のボタンを有す
るリモート制御装置を提供することと同様に、不必要に
ユーザを混乱させる。従って、本システムは一つのジェ
スチャのみを感知して、所望の制御が行われる複数の異
なる機能のための複数のオンスクリーン機械制御アイコ
ンを提供することで機械制御を単純化する。
【００３６】要約すると、手または他の身体部分の動き
により、アイコン形式の対応する可視的位置インジケー
タ指示装置またはカーソルがオンスクリーンで動かされ
る。この可視オンスクリーンカーソルは、思い通りにカ
ーソルを動かすためユーザが動作または行動を調整でき
るようになる。それでカーソル運動は、機械コマンドが
発行されるようになる。スライダーのような機械制御ア
イコン上のカーソル動きは、必要な機械コマンドを結果
的に発行するアイコンの動きを与えることができること
は留意される。
【００３７】ある形態において、ハンドジェスチャによ
り制御されるＴＶは、ハンドジェスチャを検出し、ま
た、画面上のハンドアイコンへ音量、チャンネル、カラ
ー、濃度等のようなＴＶ制御を表すアイコンの準備を割
り当てる。そしてテレビカメラはイメージ強度の代りに
局所的な方向性の値に基づく相関関係の技術を通じて乱
雑な背景内で手を検出する。システムを起動して動作状
態にするために、「ｈｏｗ」サインのようなトリガージ
ェスチャはハンドテンプレートと局所的なイメージの方
向性の角度との正規化された相関関係を用いて背景から
区別される。各ピクセルに対する正規化された相関関係
の値が得られ、それは特定の手を定義するマスクと後に
得られた手のイメージとの間の局所的な方向性とを対比
させ相関関係を得ることに基づく。一度ハンドジェスチ
ャを検出すると、カメラの視野はハンドジェスチャに対
し画面上のアイコン制御の手の動きを迅速に、かつ強い
相関関係で追尾がされるように認識されたエリアよりも
かなり縮小される。ある形態において、ハンドアイコン
が所望の制御を示すアイコン上にあるとき、所望の制御
アイコンは点灯して所望の制御が行われ、手を閉じる
か、手の表示を止めることによりＴＶは視聴モードに戻
される。ある形態において、ハンドアイコンはユーザの
手が閉じていることの確認の後、アイコンを含むグラフ
ィカル制御オーバーレイはＴＶ画面から消えて、テレビ
は視聴モードに戻る。
【００３８】実施の形態１．図１は、画面上のＴＶ機能
アイコンの制御に利用されるハンドアイコンを備え、手
信号を利用したテレビ制御の概略図である。ハンドジェ
スチャによる機械制御に関し、図１中、ある形態におい
て、画面１２を有するテレビは、点線１８で例示された
角度的視野を通じてシーン１６を走査するカメラ１４を
備えている。シーン１６では、個人２０は矢印２４の方
向への手２２の動きを通じてテレビ機能を制御しようと
している。
【００３９】その手は、図１に示すようにシーンの生ビ
デオ信号から検出される。特定のハンドジェスチャ、こ
の場合は「ｈｏｗ」の平手ジェスチャの検出時に、ハン
ドアイコン２６は、種々の制御アイコン２８〜４２に対
して適切な初期位置の画面上に描かれている。また多数
の機械制御アイコンも描かれており、それはこの場合、
チャンネルスライダーバー表示２８、音量スライダーバ
ー表示３０、オフボタン３２、消音ボタン３４、ボタン
３６と３８上の追加チャンネル制御矢印、そしてボタン
４０と４２上の音量制御矢印である。
【００４０】ここで述べるＴＶ制御システムにおいて、
矢印２４の方向への手２２の動きは矢印２４の方向にオ
ンスクリーンハンドアイコン２６を移動させるので、手
２２の動きが検出されると、ハンドアイコン２６は手の
動きをまねる。ハンドアイコン２６により個人２０へ視
覚的にフィードバックすることで、個人２０は機械制御
を行うために必要と思う方向に平手を動かして、ハンド
アイコンを制御することが出来るようになっている。
【００４１】図２及び図３は、チャンネル変更を行うた
めにチャンネルスライダーバーアイコン上の手の位置決
めと手の動きに伴うスライダーの動きとを示すテレビ画
面の概略図である。図２に示すように、画面５０は前述
した機械制御アイコンを備えている。図２では、チャン
ネル制御アイコン６２はチャンネルスライダーバー表示
２８上の位置５２に配置されているハンドアイコン２６
と共に描かれ、そして、後述するシステムはチャンネル
スライダーバー表示２８とハンドアイコン２６との同時
発生を検出する。
【００４２】また、図３に示すように、スライダーとの
同時発生を最初に検出しているハンドアイコン２６は、
チャンネルの変更を行うために位置５２’にスライダー
を移動させる。
【００４３】図４及び図５は、本制御システムを用いて
実際のハンドジェスチャに従ってオンスクリーンハンド
アイコンを動かすために、「ｈｏｗ」サインの手を利用
する個人の図である。図４において、本システムを動作
させて、ハンドアイコンを制御するために、「ｈｏｗ」
サインを与えている個人の図が、カメラ視野角度内で示
される。手が捕捉された後に、手を図４に示す位置から
図５に示す位置に動かす。顔に向う手の動きは図２、図
３に示すハンドアイコン２６に動作を与えるので、オン
スクリーンハンドアイコン２６が手の動きの方向に動
く。
【００４４】図６は、「ｈｏｗ」手信号の検出により制
御モードへのエントリーを示す画面のテレビの概略図で
ある。図６において、後述するように、テレビの制御を
するため、トリガージェスチャ、ここでは「ｈｏｗ」サ
インを与えることが必要である。機械が制御モードに入
っていることは、ハンドアイコン２６とオンスクリーン
グラフィカル制御アイコン２８〜４２とが現れることで
示される。
【００４５】図７は、閉じた拳のアイコンが画面上に描
かれて閉じた拳のハンドジェスチャで制御システムをオ
フにすることを示すテレビ画面の概略図である。図７
中、画面６４において、テレビの制御を放棄したい時、
拳のようなジェスチャ、または「ｈｏｗ」サインでない
他のジェスチャが認識され、そしてそのジェスチャはｈ
ｏｗでないサインジェスチャが捕捉される時に画面上に
表示される拳手アイコン６６となる。従って、拳を作る
ことにより簡単に制御モードから抜け出るこができる。
【００４６】図８は、ハンド認識と位置認識とハンドテ
ンプレートの使用と、オンスクリーンハンドアイコンと
機械制御アイコンとを提供すると共に、アイコンの局所
的な同時発生の検出により機械制御を提供するためのプ
ロセッサを示する本発明のブロック図である。図８にお
いて、一般に、前述した制御を達成するためのシステム
は、カメラ７０とハンドテンプレート又はユーザの手に
対応するテンプレート７４とが結合されるハンド認識装
置７２とを含む。生のカメラデータ得ること、そしてハ
ンドテンプレートにより例証される特定のハンドジェス
チャを認識することはハンド認識装置の目的である。特
定のハンドジェスチャの認識時に、その位置が２つの目
的を達成する位置認識装置７６により検出される。第１
の目的では、特定のハンドジェスチャの検出時に空間内
のその位置が着目され、その位置は、ハンド検索領域限
定装置７８が、相関関係が強くかつ迅速にハンドジェス
チャを検出するため、手の探索領域を検出された手の位
置周辺のエリアに限定することに利用される。第２の目
的では、特定のハンドジェスチャの位置は、空間内の手
の位置に依存しているオンスクリーン位置に、特定のオ
ンスクリーンハンドアイコン２６を動かすために使用さ
れる。これらの目的のため、プロセッサ８０が、手の認
識／位置の情報の処理と、オンスクリーンハンドアイコ
ン８４と機械制御アイコン８６とを示す信号に従う画面
駆動装置８２の動作させることとに使用され、そして、
これらアイコンは、アイコン８８へ先に記憶され、生成
されている。このように、プロセッサ８０の制御下、画
面駆動装置８２はオンスクリーンアイコンとオンスクリ
ーンアイコンの動きとを与える。
【００４７】機械、この場合はテレビを制御するため
に、アイコンの同時発生が検出されなければならない。
アイコンの同時発生は、ハンドアイコンなどのオンスク
リーンアイコンと機械アイコンとが位置的に同時発生す
ることである。ここでアイコンの同時発生はアイコン同
時発生検出器９０により検出される。ハンドアイコンと
機械アイコンとが同時発生することを検出した時に、ハ
ンドアイコンの運動がアイコン運動検出器９２により検
出される。前述した同時発生により特定の機械制御を識
別すると、ハンドアイコンの動作は機械制御信号ジェネ
レータ９４が適当な出力を発生するために利用される。
アイコンの同時発生の検出はまた、プロセッサ８０によ
りオンスクリーン機械アイコンの可動部分の動作をハン
ドアイコンの動作に同期させるために使用される。本シ
ステムの根幹は、ジェスチャ認識のための相関関係の強
い方法が採られる結果、特定のハンドジェスチャが騒々
しい環境から抽出されて、信頼性のある機械機能制御に
利用されることである。上述のように、信頼性のあるジ
ェスチャ認識を採る特に有効な方法は、局所的な方向性
の値に基づく相関関係技術を利用することである。これ
は図８のハンド認識装置７２内で実行され、そして、中
間の過程では検出された手の各々部分に対して特定の方
向性を有する単位ベクトルを割り当てた形になる。ここ
で手の上の様々なポイントは、そのポイントでのハンド
のイメージ強度の主要角度の方向性に対応する単位ベク
トルの角度の方向性を伴った単位ベクトルの原点として
提供される。図１０に示すような結果は、局所的な方向
性を針表示の形式で表現したものである。
【００４８】特に、動作時において、ハンドジェスチャ
による制御を行うため、システムにより実行される３つ
の基本的機能がある。これら機能のうち最初の機能は、
認識されるべき特定のハンドジェスチャのテンプレート
を発生することである。この初期化タスクを実行するた
めに、個人はカメラの視野内に手を位置決めし、そして
その手の位置はマウス、または他の装置によりマークさ
れるので、探索中の視野はその手に限定される。それか
ら、システムはハンド認識装置７２へ進み、テンプレー
ト７４として使用するための所望のハンドジェスチャを
捕捉するため、そのシーンのその領域の処理に進む。所
望のハンドジェスチャに対応する針マップを発生するこ
とがその処理の目的である。これを実行するために、走
査されたシーン上のイメージ強度ＩのＸとＹの導関数
が、１つのポイントにおけるイメージ強度を得て、かつ
この強度がそのポイントのすぐ上、またはすぐ横の何れ
かの隣接ポイントの強度から差し引くという意味から選
択される。その結果、Ｘ微分マップｄＩ／ｄＸとＹ微分
マップｄＩ／ｄＹとが形成される。次のステップは、
（ｄＩ／ｄＸ）2と（ｄＩ／ｄＹ）2とを加えて、その結
果の平方根をとることによりコントラストイメージを発
生することである。コントラストイメージはイメージ強
度勾配の大きさであることがわかるだろう。そしてコン
トラストイメージは、そのシーンの低コントラスト部分
を無視して雑音を除去するために閾値で間引き処理され
る。コントラストの閾値より上にある部分は次のように
針マップを発生するために記憶される。
【００４９】その針マップは、シーン中のエッジの不連
続部のｃｏｓ（θ）とｓｉｎ（θ）とを与え、それによ
り前述した針の方向性を定めるために、コントラストで
分割されたイメージ強度のＸ導関数とコントラストで分
割されたイメージ強度のＹ導関数とを生成することで提
供される。
【００５０】位置の関数として角度がセットされた結
果、図１０に示されるような針マップが表示される。そ
れで、ｃｏｓ（θ）とｓｉｎ（θ）の値をセットしたも
のは、ジェスチャに即座に対応するデータが比較される
テンプレートとして利用される。
【００５１】本システムにより実行される第２番目の機
能は、トリガージェスチャの存在を検出することであ
る。このジェスチャは、ある形態における上述した「ｈ
ｏｗ」サイン、または容易に認識されるハンドジェスチ
ャである。
【００５２】先のステップで、システムに対してトリガ
ージェスチャを定義して、ハンドテンプレートが発生さ
れているので、そのシステムは、ハンドテンプレートマ
ップと相関関係が密な針マップ発生のためのカメライメ
ージを探索する。相関関係に関して、ある形態におい
て、相関関係の度合いは、コントラストで分割されたイ
メージ強度のＸ導関数とコントラストで分割されたイメ
ージ強度のＹ導関数とが１つの、かつ大きなベクトルに
結合された正規化された相関関係技術を通じて得られ
る。それは、単一のベクトルの形式を採り、ハンドテン
プレートマップから生成された単一のベクトルと比較さ
れてベクトル間の相関関係の度合いを提供する。２つの
ベクトルＡとＢとの間の正規化された相関関係は次の式
（１）に示す公式に従って生成される。 Ａ・Ｂ／（｜Ａ｜×｜Ｂ｜） ・・・ （１）
【００５３】方向性の角度の値θに基づくよりも、むし
ろｃｏｓ（θ）とｓｉｎ（θ）の値に基づく相関関係の
形成の方が重要であることが留意される。０°は、たと
え角度それ自体がほとんど同一直線上にあっても、３５
９°と低い相関関係がある。ｃｏｓ（θ）、ｓｉｎ
（θ）表現を用いて問題を解く。そのベクトル（ｃｏｓ
（０°）、ｓｉｎ（０°））はベクトル（ｃｏｓ（３５
９°）、ｓｉｎ（３５９°））と高い相関関係がある。
【００５４】正規化された相関関係はイメージのあらゆ
る位置で焦点を合わせたイメージの領域に対して計算さ
れる。しかしながら、ＸとＹに関するイメージ強度の導
関数はハンドテンプレート内の位置に対してのみ有効で
あり、そこではコントラストが所定の閾値よりも上にあ
る。これはまた入力イメージに対してもあてはまる。こ
のように、ある形態において、相関関係はコントラスト
が入力イメージとテンプレートの両方に対して閾値より
上となる位置でのｃｏｓ（θ）とｓｉｎ（θ）の計測値
にのみ基づく。次のステップは、コントラストイメージ
位置と対応するコントラストテンプレート位置に関し、
その各イメージ位置について上記コントラストテンプレ
ート位置に対する類似度を計算をすることである。各位
置における類似度を得た後に、もしある位置における類
似度が所定の閾値より上であるならば、その相関関係は
その位置に対しては有効であるが、もしこの閾値以下で
あるならば、その相関関係は破棄される。これは明らか
に閾値曲線に階段関数構造を与えている。しかしなが
ら、実際、階段関数は有用ではない。そこで、Ｓ字型関
数が平滑化目的の階段関数の代りに用いられる。類似度
ｐの関数として、Ｓ字型関数の公式ｓｉｇは次の式
（２）の通りである。 ｓｉｇ（ｐ）＝Ｂ＋（Ｔ−Ｂ）／｛１＋ｅｘｐ〔ｓ（Ｍ−ｐ／１００）〕｝ ・・・（２） ここでＢ、Ｔ、Ｓ、ＭはＳ字型形状パラメーターであ
る。代表的な値はＴ＝１、Ｂ＝０、Ｍ＝０．４、Ｓ＝２
５である。そして、使用される相関関係の値は、ｃ* ｓ
ｉｇ（ｆｒａｃ）となり、ここでｃはコントラストの閾
値の上となる位置に基づく相関関係の値である。
【００５５】その結果は、テンプレートに対するリアル
タイムなイメージの相関関係マップになる。この相関関
係マップは多数の機能にとって有用である。第１の機能
は、イメージ上のポイントにおける相関関係を示す値の
最大値が所定の閾値より上にあるかどうかが分かること
である。一般に、ジェスチャのイメージを介して、相関
関係は正確に１００％の相関関係ではないと仮定して変
化することは分かる。そして、他のポイントに対してよ
り高い相関関係の度合いを表すイメージ上のポイントが
ある。そこではトリガージェスチャが起こったかどうか
を決定する相関関係を示す値の最大値を示す。このよう
に、このプロセスで、トリガージェスチャが起こったか
どうか、そしてさらに重要なことにトリガージェスチャ
のシーン中での位置、即ち相関関係を示す値が最大値と
なる位置が決定される。
【００５６】トリガージェスチャを見つけた後に、シス
テムはトラッキングモードに入る。トラッキングモード
に入る前に、テレビはオフにされていることがわかるだ
ろう。ある形態において、トリガージェスチャの検出は
テレビをオンにする。もしそのテレビが既にオンである
ならば、アイコンオーバーレイはトリガージェスチャの
検出時に起動され、それは画面上へのハンドアイコンの
配置を視覚的にフィードバックすることで示される。
【００５７】一度トラッキングモードに入ると、解析さ
れたシーンの位置は、トリガージェスチャが最初に検出
されたその領域を囲むエリアに限定される。それ故、処
理されるシーンは、システムのパラメータに依存して、
総シーンの５０％のみか、またはそのシーンの１０％程
度に低くなる。それで、システムは絶えず相関関係を示
す値が最大となる位置を探すので、手の動きはＸ、Ｙ方
向で追尾される。そのシステムはまた、相関関係を示す
値が最大となる位置に絶えず中心を合わせるようにシス
テムの手の探索部分を絶えず更新する。トラッキングモ
ードは相関関係を示す値の最大値が所定の閾値よりも上
である限り維持されることがわかる。もし相関関係を示
す値の最大値がこの閾値より下に下がるならば、そのシ
ステムは、この閾値より下に下がって一度消えたグラフ
ィカルオーバーレイと共に、トリガージェスチャの探索
に戻る。
【００５８】相関関係を示す値が最大値となる検出位置
はオンスクリーンハンドアイコンの位置を動かすので、
検出されたハンドジェスチャ位置とハンドアイコン位置
との間には予測可能な関係があることがわかる。このよ
うに、ユーザへ視覚的にフィードバックすることで、ユ
ーザが手を与えられた方向に動かすと、オンスクリーン
ハンドアイコンも同様に移動する。もちろん、手の動き
とスクリーン上のハンドアイコンの動きとの間には移動
量を縮小する因子があることがわかる。
【００５９】相関関係を示す値が最大値が上述の閾値よ
り下に下がって、トラッキングモードが終了すると、あ
る形態において、異なるハンドアイコン、即ちハンドジ
ェスチャ制御は終了したことを示す閉じた拳が視聴者に
提示される。
【００６０】機械制御に関して、上述のように、ハンド
制御アイコンが機械制御アイコンの上にあると、機械制
御機能が有効となる。これは、ハンドアイコンの座標と
機械アイコンの座標とが同一の場合に同時発生を検出す
るアイコン同時発生検出器９０を介して実行される。実
際は、機械制御アイコンが与えられたエリア、または領
域を占有し、そして、ハンドアイコン位置が限定された
機械アイコンエリアの範囲内にある時に、ハンドアイコ
ンとの同時発生が検出される。機械アイコンがボタン、
またはスイッチであれば、機械アイコンスイッチボタン
上のハンドアイコンの同時発生は、所定時間の継続した
同時発生後に特定ボタンを起動する。機械制御アイコン
がスライダーバーなどの可動要素を有すると、所定時間
のスライダーとのハンドアイコンの同時発生の発生時
に、この要素が捕捉されたとみなされる。この要素の捕
捉後にハンドアイコンの動きが、同様なスライダーの動
きをさせるので、スライダーはハンドアイコンが動く方
向、即ちハンドジェスチャの方向に動かされる。
【００６１】ある形態において、もし設計されたスライ
ダーの可動方向にハンドアイコンが動くならば、スライ
ダーはハンドジェスチャに従って動かされる。しかしな
がら、もしハンドアイコンが設計されたスライダーの可
動方向に対して直角に移動するならば、スライダーは解
放され、そしてそのスライダーの制御は放棄される。こ
のように、スライダーの制御は非可動方向へのハンドア
イコンの移動より放棄される。
【００６２】図９は、正規化された相関関係とピーク選
択技術とによりハンドジェスチャ認識を示す本システム
の部分のブロック図である。図９において、さらに、ハ
ンドジェスチャ認識のための相関関係の強いシステムを
示す。カメラ７０はビデオデジタイザー１００によりデ
ジタル化される出力を有し、ビデオデジタイザー１００
はイメージのピクセル表現を方向性の表現に変換するイ
メージ処理装置１０２にさらに接続される。その方向性
の表現は各々がイメージ内のエッジに対応する角度の方
向性を有する単位ベクトルの形式であり、そのエッジは
明／暗の不連続となっている。所定のハンドジェスチャ
を検出することに関して、ピクセルとイメージは針マッ
プの単位ベクトル表現に変換され、その単位ベクトル針
はハンドイメージエッジの全方向に及ぶ。例えば、もし
指定された方向を指している人指し指の先端から約１イ
ンチ下のポイントを考えると、単位ベクトル針はその指
のこの部分の角度位置を示す。その結果、手の上のエッ
ジにおける多数のポイントが適当な単位ベクトル針を備
えた図１０に示された針形状になる。
【００６３】このように、方向性の表現は、各々が手の
イメージ上の一ポイントから生じて、そして一般にその
ポイントに対応するエッジの方向に延びる針状の単位ベ
クトルになる。イメージ強度やカラーの生データ、また
は他のパラメーターを利用することより、むしろピクセ
ルから方向性の表現への変換によって相関関係の強いハ
ンドジェスチャ認識システムが実行されることがわかっ
ている。それは、最初にハンドテンプレート７４にマッ
プされるハンドジェスチャの方向性を表現することであ
り、ハンドテンプレートジェネレーター１０４の利用に
よりテンプレート７４がプロセッサ１０２の出力から最
初に形成される。プロセッサ１０２の出力がスイッチ１
０６を介してハンドテンプレートジェネレーター１０４
に切り換えられると、特定のハンドジェスチャ位置内の
特定の個人の手に特定のテンプレートを提供することが
ハンドテンプレートジェネレーター１０４の目的であ
る。その結果、入力信号に基づく針マップが比較され、
かつ対比されるテンプレートとして１０８に記憶される
針マップになる。
【００６４】このような単位ベクトル針マップを生成し
た後、入力ビデオ信号は方向性の表現に変換されて、正
規化相関装置１１０により記憶されている針マップと比
較される。イメージ上の相関関係の値は、特定の入力ハ
ンドジェスチャと記憶されたハンドテンプレートとの相
関関係の度合いだけでなく、ピーク相関関係を含むシー
ンの領域を識別する指標をも提供するピーク選択装置１
１２により算出される。ピーク選択装置１１２の目的
は、特定のハンドジェスチャを認識することだけでな
く、ハンドジェスチャがシーン内のどこに存在するかを
識別することである。そしてピーク選択装置１１２は図
８の位置認識装置７６と関連した位置認識に有効であ
る。
【００６５】グラフィックスオーバーレイ表示は、図８
のプロセッサ８０の機能と画面駆動装置８２の機能とが
結合してグラフィックスオーバーレイ表示生成１１４で
示されるステップで実行される。更に、図８のアイコン
同時発生検出器９０、アイコン運動検出器９２、機械制
御信号ジェネレーター９４とが結合してテレビコマンド
へのピークロケーションの変換１１６として示されるス
テップでピークロケーションをテレビコマンドに変換す
る。
【００６６】図１１は、イメージ表現と、背景除去と、
相関関係位置検出と、トリガージェスチャと、そしてオ
ンスクリーン制御とテレビのリモート制御とを伴ったト
ラッキング信号発生とにより生ビデオ信号を処理するた
めの、テンプレート発生を示す処理フローチャートであ
る。図１１に示すように、ビデオデジタイザー１２０か
らのレッド、グリーン、ブルーの２４ビット表現に関す
る生のビデオ信号は、図９のイメージプ処理装置１０２
内で利用される。イメージの方向性の表現への変換後、
背景は特殊化プロセッサ１２２により除去され、図１２
に示すように、シーンの進行中の平均値は次の平均値を
提供するために（１−α）（αは０＜α＜１の重み係
数）をかけて、（１−α）をかけた現在イメージと合算
され、そして、その進行中の平均値は背景の除去のため
に現在イメージと比較される。もし、進行中の平均値が
閾値より大きくて現在イメージと異なる場合は、イメー
ジの領域は非背景領域となるように決定されて順に処理
される。進行中の平均値がその閾値よりも小さくて現在
イメージと異なる場合は、これらの領域は背景となるよ
うに決定されて、相関関係を得るために無視される。
【００６７】図９の正規化相関装置１１０からの出力で
ある正規化された相関関係は、認識されたハンドジェス
チャの位置を所定時間以上にわたって定めるために、任
意にカルマンフィルター１２６を用いる相関位置１２４
の処理ステップで利用される。その相関関係の値は、他
のＳ字型関数によるカルマンフィルターで必要とされる
評価済み変化量Ｖに変換される。 Ｖ＝Ｂ＋（Ｔ−Ｂ）／｛１＋ｅｘｐ〔Ｓ（相関関係を示す値−Ｍ）〕｝ ・・・（３） そして代表的パラメーターは、Ｔ＝１．０、Ｂ＝０．
５、Ｓ＝７０、そしてＭ＝０．３７５である。
【００６８】正確な相関関係を示す位置を与えるため、
背景除去１２２のステップとカルマンフィルター１２６
のステップの結果は、システムを制御モードにするトリ
ガーに利用される所定のハンドジェスチャを最初に検出
するトリガージェスチャの認識１２８のステップで利用
される。そのトリガージェスチャは、ジェスチャのため
の全体シーン走査を通じて発生される前述の「ｈｏｗ」
サインである。一度トリガージェスチャを検出すると、
システムは１３０で示されるトラッキング（追尾）モー
ドのステップに入るので、所定ハンドジェスチャの動き
は前述のハンドアイコンの動きを追従させることができ
る。
【００６９】図１３は、図８のシステムの動作の解析で
利用される診断画面、またはウインドウの概略図であ
る。図１３において、コンピューター画面ウインドウ２
０１が示され、ウインドウ２０１は、ある診断機能が初
期トリガーを検出するため所定ハンドジェスチャを捕捉
して、オンスクリーンハンドアイコンを動かすために手
の位置に追従することを示している。ここでウインドウ
２０２はカメラ（図示されない）により見られるイメー
ジの挙動を含み、そしてボックス２０４はハンドテンプ
レート７４に対応するイメージの部分、または領域を示
す。ウインドウ２０２は、システムが所定ハンドジェス
チャを検出し、既にその制御状況に入っているトラッキ
ングモード中に生成されることがわかる。そしてボック
ス２０４は所定ハンドジェスチャのシーンの範囲内のロ
ケーションを示す。ハンドジェスチャが動くとボックス
２０４も同様に動くことがわかる。もしハンド認識の確
かさしさを示している値が所定の閾値より下に下がるな
らば、手を探索するエリアはボックス２０４により示さ
れるものよりも拡大する。
【００７０】ウインドウ２０６において、ウインドウ２
０６内で示されるイメージ、即ちイメージ２０８は、方
向性のベクトルに関するハンドジェスチャ表現のもので
あるこがわかる。方向性の表現に加えて、この画面はコ
ントラストを解析するために利用されることがわかる。
もし、コントラストが一定の閾値より下になると、どの
ような方向性の針もその領域には描かれない。それで、
ウインドウ２０６により、方向性のベクトルが使用され
るものと、使用されないものとを視覚的に確認すること
ができる。
【００７１】ウインドウ２１０は背景が除去される度合
いを示ための診断ツールを提供する。例えば、黒に対し
て白で描かれるものは、前景要素を含むとみなされたロ
ケーションである。これは２１２で示される。一般に、
ウインドウ２１０は、システムが着目しているものを白
として描き、そして椅子、絵、テーブル、壁などの背景
オブジェクトの全ては、この視野から排除される。
【００７２】ウインドウ２１４は、イメージ２１６が一
致するテンプレートにおいて、イメージ２１６内の各ポ
イントに対する相関関係の程度を表現する診断ツールと
なる。ポイントでのイメージがより白くなればなるほ
ど、相関関係の度合いもより高くなり、ウインドウ２１
４におけるイメージはテンプレートに相関関係の度合い
を与える。さらに、ハンド捕捉モードにおいて、イメー
ジ２１６はかなり広く、それはコンピューターがトリガ
ー信号の存在の確認のためにイメージ２１６の広い領域
を見渡していることを示す。その後、ハンドジェスチャ
と、ハンドジェスチャが起こりそうなシーン中のロケー
ションとを習得した後に、相関関係を示す値が最大とな
る位置の探索が先に計算された相関関係を示す値が最大
となる位置の近くのロケーションに制限されるので、イ
メージ２１６はかなり狭い。システムにより解析された
イメージが初期ハンドジェスチャ検出後により狭くされ
るのは、そのシステムが手の動きをより速く追尾するこ
とが出来るようにするためである。
【００７３】ウインドウ２２０により、テンプレートと
関連した針マップがイメージと関連した針マップと近似
することを視覚的に解析することが可能になる。ここ
で、検出された手の針マップはテンプレートの針マップ
と重ねられる。このように、２つの針マップ表現があ
り、第１の針マップはテンプレートに関連したものであ
り、第２の針マップはテンプレートと最も高い相関関係
を有するイメージの領域と関連したものである。ウイン
ドウ２２０は、システムが相似した単位ベクトルの方向
性を有する手、または他のオブジェクトを追尾している
かどうかを解析するために利用される。ある形態におい
て、システムはテンプレートと密接な相関関係がある針
を一色とする診断イメージを与えるが、それほど密接な
相関関係がない針は他の色にする。
【００７４】ウインドウ２３０において、診断棒グラ
フ、または温度計表現２３２が、ウインドウ２１４内の
イメージの相関関係全てに対する相関関係を示す値の最
大値をを示すために利用されるので、相関関係を示す値
の最大値が算出されるだけでなく、その値も全ての相関
関係の度合いを視覚的に表現されるように、温度計イン
ジケーター２３４で描かれる。描かれた棒グラフにおい
て、第１の値２３６はトリガーハンドジェスチャの初期
検出のために必要とされるが、第２の値２３８はハンド
ジェスチャが確認されたままであるならば、相関関係を
示す値の最大値はそれより下に下がらない。
【００７５】上記のように発明がハンドジェスチャに関
して説明されたが、いかなる身体部分のジェスチャでも
機械制御のために利用可能であることがわかる。一般
に、自由空間内で操作され得るいかなるオブジェクトも
所定ハンドジェスチャの機能を実行でき、そしてシーン
内の所定オブジェクトを、その動きに従って認識するそ
のようなシステムは本発明の範囲内のものである。
【００７６】本発明の幾つかの形態を説明してきたが、
修正や変形が本発明の範囲内で実施可能であることは当
業者には想起できる。故に、それは特許請求の範囲で示
された以外は本発明の範囲を限定するものではない。
【００７７】
【発明の効果】この発明によれば、表示画面とオンスク
リーン機械制御アイコンの起動を経て機械を制御する手
段とを有する制御システムにおいて、所定のハンドジェ
スチャの存在及び空間内の位置を検出して存在及び空間
内の位置に応じたジェスチャ信号を発生するジェスチャ
信号発生手段と、ジェスチャ信号発生手段の出力に基づ
いて所定のハンドジェスチャが検出された空間内の位置
と対応するオンスクリーンでの位置にオンスクリーンハ
ンドアイコンを出力表示するオンスクリーンハンドアイ
コン出力表示手段と、所定のハンドジェスチャの動きに
したがってハンドアイコンが機械制御アイコン上に移動
される時にオンスクリーンハンドアイコンのオンスクリ
ーン機械制御アイコンとの同時発生を検出し、そして検
出された同時発生に応じて対応する機械制御信号を発生
する機械制御信号発生手段とを備えたので、マスターし
易く、信頼性があり、更に、制御モードへの誤った入力
に対するペナルティが比較的小さなジェスチャ認識シス
テムを得ることができる。
【００７８】また、表示画面とオンスクリーン機械制御
アイコンの起動を経て機械を制御する手段とを有する制
御システムにおいて、所定のオブジェクトの存在及び空
間内の位置を検出して存在及び空間内の位置に応じたジ
ェスチャ信号を発生するジェスチャ信号発生手段と、ジ
ェスチャ信号発生手段の出力に基づいて所定のオブジェ
クトが検出された空間内の位置と対応するオンスクリー
ンでの位置にオンスクリーンハンドアイコンを出力表示
するオンスクリーンハンドアイコン出力表示手段と、所
定のオブジェクトの動きにしたがってハンドアイコンが
機械制御アイコン上に移動される時にオンスクリーンハ
ンドアイコンのオンスクリーン機械制御アイコンとの同
時発生を検出し、そして検出された同時発生に応じて対
応する機械制御信号を発生する機械制御信号発生手段と
を備えたので、マスターし易く、信頼性があり、更に、
制御モードへの誤った入力に対するペナルティが比較的
小さなジェスチャ認識システムを得ることができる。
【図面の簡単な説明】
【図１】 画面上のＴＶ機能アイコンの制御に利用され
るハンドアイコンを備え、手信号を利用したテレビ制御
の概略図である。
【図２】 チャンネル変更を行うためにチャンネルスラ
イダーバーアイコン上の手の位置決めと手の動きに伴う
スライダーの動きとを示すテレビ画面の概略図である。
【図３】 チャンネル変更を行うためにチャンネルスラ
イダーバーアイコン上の手の位置決めと手の動きに伴う
スライダーの動きとを示すテレビ画面の概略図である。
【図４】 本制御システムを用いて実際のハンドジェス
チャに従ってオンスクリーンハンドアイコンを動かすた
めに、「ｈｏｗ」サインの手を利用する個人の図であ
る。
【図５】 本制御システムを用いて実際のハンドジェス
チャに従ってオンスクリーンハンドアイコンを動かすた
めに、「ｈｏｗ」サインの手を利用する個人の図であ
る。
【図６】 「ｈｏｗ」手信号の検出により制御モードへ
のエントリーを示す画面のテレビの概略図である。
【図７】 閉じた拳のアイコンが画面上に描かれて閉じ
た拳のハンドジェスチャで制御システムをオフにするこ
とを示すテレビ画面の概略図である。
【図８】 ハンド認識と位置認識とハンドテンプレート
の使用と、オンスクリーンハンドアイコンと機械制御ア
イコンとを提供すると共に、アイコンの局所的な同時発
生の検出により機械制御を提供するためのプロセッサを
示する本発明のブロック図である。
【図９】 正規化された相関関係とピーク選択技術とに
よりハンドジェスチャ認識を示す本システムの部分のブ
ロック図である。
【図１０】 方向性の表現を示すハンドテンプレートと
イメージとの両方に関連した針マップの概略図である。
【図１１】 イメージ表現と、背景除去と、相関関係位
置検出と、トリガージェスチャと、そしてオンスクリー
ン制御とテレビのリモート制御とを伴ったトラッキング
信号発生とにより生ビデオ信号を処理するための、テン
プレート発生を示す処理フローチャートである。
【図１２】 背景除去が達成されるイメージの実際の写
真を示す背景除去のシステムの概略ブロック図である。
【図１３】 図８のシステムの動作の解析で利用される
診断画面、またはウインドウの概略図である。
【符号の説明】
１２ 画面、１６ シーン、１８ 点線、２０ 個人、
２２ 手、２４ 矢印、２６ ハンドアイコン、２８
チャンネルスライダーバー表示、３０ スライダーバー
表示、３２ オフボタン、３４ 消音ボタン、３６ チ
ャンネル制御矢印ボタン、３８ チャンネル制御矢印ボ
タン、４０ 音量制御矢印ボタン、４２ 音量制御矢印
ボタン、５０ 画面、５２ スライダー、６０ 画面、
６２ チャンネル制御アイコン、６４ 画面、６６ 拳
ハンドアイコン、２０１ ウインドウ、２０２ ウイン
ドウ、２０４ ボックス、２０６ ウインドウ、２０８
イメージ、２１０ ウインドウ、２１６ イメージ、
２２０ ウインドウ、２３０ ウインドウ、２３４ 温
度計インジケーター、２３６ 第１の値、２３８ 第２
の値。
フロントページの続き (71)出願人 595151497 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 クレイグ・ディー・ワイスマン アメリカ合衆国、フロリダ州、コラル・ス プリングズ、エヌ・ダブリュ・48・コート 10233

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 表示画面とオンスクリーン機械制御アイ
    コンの起動を経て機械を制御する手段とを有する制御シ
    ステムにおいて、所定のハンドジェスチャの存在及び空
    間内の位置を検出して前記存在及び空間内の位置に応じ
    たジェスチャ信号を発生するジェスチャ信号発生手段
    と、前記ジェスチャ信号発生手段の出力に基づいて前記
    所定のハンドジェスチャが検出された空間内の位置と対
    応するオンスクリーンでの位置にオンスクリーンハンド
    アイコンを出力表示するオンスクリーンハンドアイコン
    出力表示手段と、前記所定のハンドジェスチャの動きに
    したがって前記ハンドアイコンが前記機械制御アイコン
    上に移動される時に前記オンスクリーンハンドアイコン
    のオンスクリーン機械制御アイコンとの同時発生を検出
    し、そして前記検出された同時発生に応じて対応する機
    械制御信号を発生する機械制御信号発生手段とを備えた
    ことを特徴とするジェスチャ認識システム。
  2. 【請求項２】 前記オンスクリーン機械制御アイコン
    は、スイッチであり、前記対応する機械制御信号は、ス
    イッチ閉信号であることを特徴とする請求項１に記載の
    ジェスチャ認識システム。
  3. 【請求項３】 前記オンスクリーン機械制御アイコン
    は、可動要素を含み、また前記機械制御信号発生手段
    は、前記オンスクリーンハンドアイコンと前記可動要素
    との同時発生を検出して前記オンスクリーン機械制御ア
    イコンの捕捉を示す信号と前記可動要素に前記オンスク
    リーンハンドアイコンの動きと対応する動きを与える機
    械制御信号とを発生することを特徴とする請求項１に記
    載のジェスチャ認識システム。
  4. 【請求項４】 前記オンスクリーン機械制御アイコン
    は、スライダーバーであり、前記可動要素は、スライダ
    ーであることを特徴とする請求項３に記載のジェスチャ
    認識システム。
  5. 【請求項５】 前記可動要素は、設定方向に移動可能で
    あり、前記可動要素の対応する動きと対応する動きを与
    える機械制御信号は、前記設定方向への前記ハンドアイ
    コンの移動によってのみ出力されることを特徴とする請
    求項３に記載のジェスチャ認識システム。
  6. 【請求項６】 前記オンスクリーンハンドアイコンと前
    記オンスクリーン機械制御アイコンとの非同時発生の検
    出時に前記機械制御を終了する機械制御終了手段を備え
    たことを特徴とする請求項１に記載のジェスチャ認識シ
    ステム。
  7. 【請求項７】 前記可動要素が移動する設定方向と異な
    る方向への前記オンスクリーンハンドアイコンの移動に
    より前記機械制御を終了する機械制御終了手段を備えた
    ことを特徴とする請求項５に記載のジェスチャ認識シス
    テム。
  8. 【請求項８】 前記ジェスチャ信号発生手段は、ビデオ
    カメラと、前記ビデオカメラの出力に基づいて前記所定
    のハンドジェスチャを検出すると検出されたハンドジェ
    スチャの位置周辺の領域をジェスチャ解析領域として限
    定するジェスチャ解析領域限定手段とを備え、前記所定
    のハンドジェスチャを検出した場合、前記ジェスチャ解
    析領域の画像データから前記所定のハンドジェスチャの
    背景ノイズを除去することを特徴とする請求項１に記載
    のジェスチャ認識システム。
  9. 【請求項９】 前記所定のハンドジェスチャは、前記ビ
    デオカメラと対面する手のひらで提示された平手である
    ことを特徴とする請求項８に記載のジェスチャ認識シス
    テム。
  10. 【請求項１０】 前記所定のハンドジェスチャは、「ｈ
    ｏｗ」を示すサインであることを特徴とする請求項１に
    記載のジェスチャ認識システム。
  11. 【請求項１１】 前記所定のハンドジェスチャは、「ｈ
    ｏｗ」を示すサインであって、かつトリガージェスチャ
    であり、また前記所定のジェスチャの検出により前記機
    械制御を実行することを特徴とする請求項１に記載のジ
    ェスチャ認識システム。
  12. 【請求項１２】 前記所定のハンドジェスチャとは異な
    る第２の所定のジェスチャを検出するジェスチャ検出手
    段と、前記ジェスチャ検出手段の出力に基づいて前記機
    械制御を終了する機械制御終了手段手段とを含むことを
    特徴とする請求項１１に記載のジェスチャ認識システ
    ム。
  13. 【請求項１３】 前記第２の所定のハンドジェスチャ
    は、握り拳であることを特徴とする請求項１２に記載の
    ジェスチャ認識システム。
  14. 【請求項１４】 前記ジェスチャ信号発生手段は、前記
    所定のハンドジェスチャの外郭の方向性に対応する単位
    方向性ベクトルを有するハンドジェスチャテンプレート
    を発生するハンドジェスチャテンプレート発生手段と、
    光学的に走査した領域内のイメージの外郭の方向性と対
    応する単位方向性ベクトルを発生する手段と、前記ハン
    ドジェスチャテンプレートの単位方向性ベクトルと前記
    光学的に走査した領域内のイメージの単位方向性ベクト
    ルとを比較して両者の相関関係を示す値を算出する相関
    関係算出手段と、前記相関関係を示す値と所定の閾値と
    を比較して前記相関関係を示す値が前記所定の閾値より
    大きい場合にトリガー信号を発生するトリガー信号発生
    手段とを備えたことを特徴とする請求項１に記載のジェ
    スチャ認識システム。
  15. 【請求項１５】 前記相関関係を示す値の最大値を求
    め、前記光学的に走査された領域内で該最大値となる位
    置を決定する相関関係最大値算出手段を備えたことを特
    徴とする請求項１４に記載のジェスチャ認識システム。
  16. 【請求項１６】 前記相関関係を示す値が最大値となる
    位置と隣接する領域に走査された領域をジェスチャ解析
    領域として限定する領域限定手段を備えたことを特徴と
    する請求項１５に記載のジェスチャ認識システム。
  17. 【請求項１７】 前記相関関係最大値算出手段は、前記
    所定のハンドジェスチャを検出する位置を前記相関関係
    を示す値が最大値となる位置とし、ハンドジェスチャの
    追尾を行うことを特徴とする請求項１５に記載のジェス
    チャ認識システム。
  18. 【請求項１８】 表示画面とオンスクリーン機械制御ア
    イコンの起動を経て機械を制御する手段とを有する制御
    システムにおいて、所定のオブジェクトの存在及び空間
    内の位置を検出して前記存在及び空間内の位置に応じた
    ジェスチャ信号を発生するジェスチャ信号発生手段と、
    前記ジェスチャ信号発生手段の出力に基づいて前記所定
    のオブジェクトが検出された空間内の位置と対応するオ
    ンスクリーンでの位置にオンスクリーンハンドアイコン
    を出力表示するオンスクリーンハンドアイコン出力表示
    手段と、前記所定のオブジェクトの動きにしたがって前
    記ハンドアイコンが前記機械制御アイコン上に移動され
    る時に前記オンスクリーンハンドアイコンのオンスクリ
    ーン機械制御アイコンとの同時発生を検出し、そして前
    記検出された同時発生に応じて対応する機械制御信号を
    発生する機械制御信号発生手段とを備えたことを特徴と
    するジェスチャ認識システム。
JP8011795A 1995-02-21 1996-01-26 ジェスチャ認識システム Expired - Fee Related JP2941207B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/391955 1995-02-21
US08/391,955 US5594469A (en) 1995-02-21 1995-02-21 Hand gesture machine control system

Publications (2)

Publication Number Publication Date
JPH08315154A true JPH08315154A (ja) 1996-11-29
JP2941207B2 JP2941207B2 (ja) 1999-08-25

Family

ID=23548670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8011795A Expired - Fee Related JP2941207B2 (ja) 1995-02-21 1996-01-26 ジェスチャ認識システム

Country Status (2)

Country Link
US (1) US5594469A (ja)
JP (1) JP2941207B2 (ja)

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
US6353764B1 (en) 1997-11-27 2002-03-05 Matsushita Electric Industrial Co., Ltd. Control method
JP2002157079A (ja) * 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
JP2002518717A (ja) * 1998-06-11 2002-06-25 インテル・コーポレーション コンピュータ・システムに対する入力データの提供におけるビデオ映像の使用方法
JP2002196855A (ja) * 2000-10-06 2002-07-12 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2003076717A (ja) * 2001-09-04 2003-03-14 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法及び装置と、情報検索プログラム及びそのプログラムの記録媒体
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2003159928A (ja) * 2001-09-11 2003-06-03 Trw Automot Electronics & Components Gmbh & Co Kg 車輛空調用設定システム
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2005268929A (ja) * 2004-03-16 2005-09-29 Sharp Corp リモート操作装置
JP2006127519A (ja) * 2004-10-26 2006-05-18 Fuji Xerox Co Ltd ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよび方法
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2006294066A (ja) * 2006-07-19 2006-10-26 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
JP2007189664A (ja) * 2005-12-14 2007-07-26 Victor Co Of Japan Ltd 電子機器
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US7340100B2 (en) 2002-08-09 2008-03-04 Honda Giken Kogyo Kabushiki Kaisha Posture recognition apparatus and autonomous robot
JP2008516322A (ja) * 2004-10-05 2008-05-15 ソニー フランス エスアー コンテンツ管理インタフェース
JP2009123242A (ja) * 2009-03-10 2009-06-04 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7629959B2 (en) 2004-09-21 2009-12-08 Victor Company Of Japan, Limited Controller for electronic appliance
JP2010003303A (ja) * 2009-07-21 2010-01-07 Victor Co Of Japan Ltd 電子機器の制御装置
JPWO2008029467A1 (ja) * 2006-09-07 2010-01-21 学校法人 大阪電気通信大学 ジェスチャ入力システム、方法及びプログラム
JP2010045658A (ja) * 2008-08-14 2010-02-25 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
US7679689B2 (en) 2005-05-16 2010-03-16 Victor Company Of Japan, Limited Electronic appliance
CN101853568A (zh) * 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
JP2010257093A (ja) * 2009-04-23 2010-11-11 Hitachi Ltd 入力装置
JP2010541398A (ja) * 2007-09-24 2010-12-24 ジェスチャー テック，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
JP2011002292A (ja) * 2009-06-17 2011-01-06 Nippon Telegr & Teleph Corp <Ntt> 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
EP2463751A2 (en) 2010-12-08 2012-06-13 Omron Corporation Gesture recognition apparatus, gesture recognition method, control program, and recording medium
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
JP2012146304A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
JP2012164115A (ja) * 2011-02-07 2012-08-30 Fujitsu Ltd 操作制御装置，操作制御プログラムおよび操作制御方法
WO2012147959A1 (ja) * 2011-04-27 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 入力装置、入力方法及び記録媒体
JP2012529088A (ja) * 2009-05-29 2012-11-15 マイクロソフト コーポレーション ジェスチャー・ショートカット
JP2013500771A (ja) * 2009-07-29 2013-01-10 マイクロソフト コーポレーション 視覚表示の自動生成方法及びシステム
JP2013030140A (ja) * 2011-07-29 2013-02-07 Toshiba Corp 映像処理装置及び映像処理方法
JP2013047978A (ja) * 2005-02-08 2013-03-07 Oblong Industries Inc ジェスチャベースの制御システムのためのシステムおよび方法
WO2013099580A1 (ja) * 2011-12-26 2013-07-04 オリンパスメディカルシステムズ株式会社 医療用内視鏡システム
JP2013529802A (ja) * 2010-06-10 2013-07-22 マイクロソフト コーポレーション コンテンツジェスチャー
JP2013178783A (ja) * 2013-03-07 2013-09-09 Fujitsu Ten Ltd ディスプレイ装置
WO2014010670A1 (ja) * 2012-07-13 2014-01-16 Isayama Taro 要素選択装置、要素選択方法、および、プログラム
JP2014099184A (ja) * 2008-03-04 2014-05-29 Qualcomm Inc 改良されたジェスチャに基づく画像操作
US8766912B2 (en) 2010-12-29 2014-07-01 Empire Technology Development Llc Environment-dependent dynamic range control for gesture recognition
WO2014108976A1 (ja) * 2013-01-10 2014-07-17 三洋電機株式会社 物体検出装置
JP2014520339A (ja) * 2011-06-21 2014-08-21 クアルコム，インコーポレイテッド コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術
JP2014177819A (ja) * 2013-03-15 2014-09-25 Aisin Seiki Co Ltd 報知音量制御装置及び開閉体装置
JP2014206990A (ja) * 2014-06-09 2014-10-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
US8885020B2 (en) 2009-10-02 2014-11-11 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method
JP2014211754A (ja) * 2013-04-18 2014-11-13 ブラザー工業株式会社 入力装置
US8923559B2 (en) 2011-06-07 2014-12-30 Sony Corporation Image processing apparatus, image processing method, and program
JP2015018458A (ja) * 2013-07-11 2015-01-29 株式会社リコー システム、情報処理方法、画像投影装置およびプログラム
JP5709227B2 (ja) * 2011-04-28 2015-04-30 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、情報処理方法及びプログラム
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
JP2016058061A (ja) * 2014-09-08 2016-04-21 井上　文彦 電子機器
JP2016148897A (ja) * 2015-02-10 2016-08-18 航 田中 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
US9513711B2 (en) 2011-01-06 2016-12-06 Samsung Electronics Co., Ltd. Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
JP2017027098A (ja) * 2015-07-15 2017-02-02 株式会社東芝 操作認識装置、操作認識方法及びプログラム
US9639164B2 (en) 2013-09-26 2017-05-02 Fujitsu Limited Gesture input method
JP2018032383A (ja) * 2017-07-07 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
US11089351B2 (en) 2017-02-02 2021-08-10 Maxell, Ltd. Display apparatus and remote operation control apparatus

Families Citing this family (775)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US8228305B2 (en) * 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US20090322499A1 (en) 1995-06-29 2009-12-31 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US5844560A (en) * 1995-09-29 1998-12-01 Intel Corporation Graphical user interface control element
US5828370A (en) * 1996-07-01 1998-10-27 Thompson Consumer Electronics Inc. Video delivery system and method for displaying indexing slider bar on the subscriber video screen
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US5944530A (en) 1996-08-13 1999-08-31 Ho; Chi Fai Learning method and system that consider a student's concentration level
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6266061B1 (en) * 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US6081266A (en) * 1997-04-21 2000-06-27 Sony Corporation Interactive control of audio outputs on a display screen
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6252598B1 (en) * 1997-07-03 2001-06-26 Lucent Technologies Inc. Video hand image computer interface
DE19734511A1 (de) * 1997-08-08 1999-02-11 Siemens Ag Kommunikationseinrichtung
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6384819B1 (en) * 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
GB2330669B (en) * 1997-10-24 2002-09-11 Sony Uk Ltd Data processing
US6215417B1 (en) 1997-11-04 2001-04-10 Allen M. Krass Electronic equipment interface with command preselection indication
US6574083B1 (en) 1997-11-04 2003-06-03 Allen M. Krass Electronic equipment interface with command preselection indication
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
EP2256605B1 (en) 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US7614008B2 (en) * 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US7116763B2 (en) * 1998-06-10 2006-10-03 Henry Sifuentes Voice and motion activated telephone
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6351222B1 (en) * 1998-10-30 2002-02-26 Ati International Srl Method and apparatus for receiving an input by an entertainment device
US6108271A (en) * 1998-12-10 2000-08-22 Erskine College Remote control device for controlling electronic devices
US6198470B1 (en) 1998-12-28 2001-03-06 Uri Agam Computer input device
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
DE19918072A1 (de) * 1999-04-21 2000-06-29 Siemens Ag Bedienverfahren und Bedienvorrichtung für einen bildschirmgesteuerten Prozeß
US10051298B2 (en) 1999-04-23 2018-08-14 Monkeymedia, Inc. Wireless seamless expansion and video advertising player
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
EP1923830A3 (en) * 1999-05-19 2008-08-27 Digimarc Corporation Methods and systems for controlling computers or linking to internet resources from physical and electronic objects
US7760905B2 (en) * 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US20020032734A1 (en) 2000-07-26 2002-03-14 Rhoads Geoffrey B. Collateral data combined with user characteristics to select web site
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US6901561B1 (en) * 1999-10-19 2005-05-31 International Business Machines Corporation Apparatus and method for using a target based computer vision system for user interaction
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6738041B2 (en) 1999-10-29 2004-05-18 Intel Corporation Using video information to control cursor position
US8391851B2 (en) * 1999-11-03 2013-03-05 Digimarc Corporation Gestural techniques with wireless mobile phone devices
US8482535B2 (en) * 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP2001145779A (ja) 1999-11-22 2001-05-29 Namco Ltd サイン認識システム、ゲームシステム、ゲーム用のプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2001147106A (ja) 1999-11-24 2001-05-29 Namco Ltd 受光パターン検出装置
WO2001041308A1 (en) * 1999-12-01 2001-06-07 Krass Allen M Electronic equipment interface with command preselection indication
US8956228B2 (en) * 1999-12-03 2015-02-17 Nike, Inc. Game pod
US6585622B1 (en) 1999-12-03 2003-07-01 Nike, Inc. Interactive use an athletic performance monitoring and reward method, system, and computer program product
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US8576199B1 (en) 2000-02-22 2013-11-05 Apple Inc. Computer control systems
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AU2001286450A1 (en) * 2000-08-12 2002-02-25 Georgia Tech Research Corporation A system and method for capturing an image
JP4615252B2 (ja) * 2000-10-06 2011-01-19 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US8751957B1 (en) 2000-11-22 2014-06-10 Pace Micro Technology Plc Method and apparatus for obtaining auditory and gestural feedback in a recommendation system
DE10100617A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Steuerbare Anordnung mit Benutzerauthentisierung
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US20080088587A1 (en) * 2001-02-22 2008-04-17 Timothy Pryor Compact rtd instrument panels and computer interfaces
US20080024463A1 (en) * 2001-02-22 2008-01-31 Timothy Pryor Reconfigurable tactile control display applications
US6895520B1 (en) 2001-03-02 2005-05-17 Advanced Micro Devices, Inc. Performance and power optimization via block oriented performance measurement and control
US8306635B2 (en) 2001-03-07 2012-11-06 Motion Games, Llc Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20020144259A1 (en) * 2001-03-29 2002-10-03 Philips Electronics North America Corp. Method and apparatus for controlling a media player based on user activity
US20020174426A1 (en) * 2001-05-15 2002-11-21 Koninklijke Philips Electronics N.V Method and apparatus for activating a media player based on user behavior
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US20040125076A1 (en) * 2001-06-08 2004-07-01 David Green Method and apparatus for human interface with a computer
US20030001908A1 (en) * 2001-06-29 2003-01-02 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on speech and gesture control
US7526122B2 (en) * 2001-07-12 2009-04-28 Sony Corporation Information inputting/specifying method and information inputting/specifying device
US20030081834A1 (en) * 2001-10-31 2003-05-01 Vasanth Philomin Intelligent TV room
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7358963B2 (en) 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
DE10242890A1 (de) * 2002-09-16 2004-03-25 Technische Universität München Kostenbewusste visuelle Interaktion über ein Distanzsensorenfeld
JP4098054B2 (ja) * 2002-10-04 2008-06-11 カルソニックカンセイ株式会社 情報表示装置
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US8206219B2 (en) * 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
AU2003288938A1 (en) 2002-10-30 2004-06-07 Nike International Ltd. Clothes with tracking marks for computer games
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7629967B2 (en) * 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) * 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040196400A1 (en) * 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
US20050018172A1 (en) * 2003-07-23 2005-01-27 Neil Gelfond Accepting user control
US20050115816A1 (en) * 2003-07-23 2005-06-02 Neil Gelfond Accepting user control
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
JP4794453B2 (ja) * 2003-10-24 2011-10-19 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
US20050104850A1 (en) * 2003-11-17 2005-05-19 Chia-Chang Hu Cursor simulator and simulating method thereof for using a limb image to control a cursor
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7969409B2 (en) * 2004-02-18 2011-06-28 Rafal Jan Krepec Camera assisted pen tablet
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9008447B2 (en) * 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
WO2008028674A2 (en) * 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060081714A1 (en) * 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9236043B2 (en) * 2004-04-02 2016-01-12 Knfb Reader, Llc Document mode processing for portable reading machine enabling document navigation
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) * 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US7460110B2 (en) * 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US8120596B2 (en) * 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US9058388B2 (en) 2004-06-22 2015-06-16 Digimarc Corporation Internet and database searching with handheld devices
JP4005061B2 (ja) * 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US20080129707A1 (en) * 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8265354B2 (en) * 2004-08-24 2012-09-11 Siemens Medical Solutions Usa, Inc. Feature-based composing for 3D MR angiography images
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8473869B2 (en) * 2004-11-16 2013-06-25 Koninklijke Philips Electronics N.V. Touchless manipulation of images for regional enhancement
JP5631535B2 (ja) * 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US7415352B2 (en) * 2005-05-20 2008-08-19 Bose Corporation Displaying vehicle information
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
EP1958040A1 (en) * 2005-11-25 2008-08-20 Koninklijke Philips Electronics N.V. Touchless manipulation of an image
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
AU2005338929B2 (en) * 2005-12-05 2011-03-03 Gvbb Holdings S.A.R.L. Automatic tracking camera
US8077147B2 (en) * 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
US8196055B2 (en) 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
US8490252B2 (en) * 2006-02-03 2013-07-23 Stover Equipment Co., Inc. Technique for removing a cover from cylindrical modules
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20140035805A1 (en) * 2009-04-02 2014-02-06 David MINNEN Spatial operating environment (soe) with markerless gestural control
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
US7712039B2 (en) * 2006-03-31 2010-05-04 Microsoft Corporation Setting control using edges of a user interface
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
EP2067102A2 (en) * 2006-09-15 2009-06-10 Exbiblio B.V. Capture and display of annotations in paper and electronic documents
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
JP4720738B2 (ja) * 2006-12-20 2011-07-13 日本ビクター株式会社 電子機器
JP4821642B2 (ja) 2007-02-15 2011-11-24 株式会社ニコン 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
WO2008128096A2 (en) * 2007-04-11 2008-10-23 Next Holdings, Inc. Touch screen system with hover and click input methods
JP2008269174A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム
JP5905662B2 (ja) 2007-04-24 2016-04-20 オブロング・インダストリーズ・インコーポレーテッド プロテイン、プール、およびスロークス処理環境
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8302033B2 (en) 2007-06-22 2012-10-30 Apple Inc. Touch screen device, method, and graphical user interface for providing maps, directions, and location-based information
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7949157B2 (en) * 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
JP2009059076A (ja) * 2007-08-30 2009-03-19 Toshiba Corp 情報処理装置、プログラム及び情報処理方法
EP2195726A1 (en) * 2007-08-30 2010-06-16 Next Holdings, Inc. Low profile touch panel systems
US8432377B2 (en) * 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US20090073313A1 (en) * 2007-09-14 2009-03-19 Himax Technologies Limited Method for Controlling a Television
US8230367B2 (en) * 2007-09-14 2012-07-24 Intellectual Ventures Holding 67 Llc Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US8487881B2 (en) * 2007-10-17 2013-07-16 Smart Technologies Ulc Interactive input system, controller therefor and method of controlling an appliance
TWI372645B (en) * 2007-10-17 2012-09-21 Cywee Group Ltd An electronic game controller with motion-sensing capability
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
US10146320B2 (en) 2007-10-29 2018-12-04 The Boeing Company Aircraft having gesture-based control for an onboard passenger service unit
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
JP4670860B2 (ja) 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US8780278B2 (en) * 2007-11-30 2014-07-15 Microsoft Corporation Motion-sensing remote control
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20090166684A1 (en) * 2007-12-26 2009-07-02 3Dv Systems Ltd. Photogate cmos pixel for 3d cameras having reduced intra-pixel cross talk
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US8405636B2 (en) * 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US20090213093A1 (en) * 2008-01-07 2009-08-27 Next Holdings Limited Optical position sensor using retroreflection
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US20090185080A1 (en) * 2008-01-18 2009-07-23 Imu Solutions, Inc. Controlling an electronic device by changing an angular orientation of a remote wireless-controller
US20100039500A1 (en) * 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US7975243B2 (en) * 2008-02-25 2011-07-05 Samsung Electronics Co., Ltd. System and method for television control using hand gestures
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
CN102016975A (zh) 2008-03-28 2011-04-13 寇平公司 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9684380B2 (en) * 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
WO2009137355A2 (en) * 2008-05-06 2009-11-12 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios using software filters
US20090277697A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Pen Tool Therefor
US8902193B2 (en) * 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090278794A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System With Controlled Lighting
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
US20140321756A9 (en) * 2008-05-27 2014-10-30 Samsung Electronics Co., Ltd. System and method for circling detection based on object trajectory
US8483431B2 (en) 2008-05-27 2013-07-09 Samsung Electronics Co., Ltd. System and method for estimating the centers of moving objects in a video sequence
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8107726B2 (en) * 2008-06-18 2012-01-31 Samsung Electronics Co., Ltd. System and method for class-specific object segmentation of image data
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8194921B2 (en) * 2008-06-27 2012-06-05 Nokia Corporation Method, appartaus and computer program product for providing gesture analysis
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US8625899B2 (en) * 2008-07-10 2014-01-07 Samsung Electronics Co., Ltd. Method for recognizing and translating characters in camera-based image
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
WO2010011923A1 (en) * 2008-07-24 2010-01-28 Gesturetek, Inc. Enhanced detection of circular engagement gesture
US8433101B2 (en) * 2008-07-31 2013-04-30 Samsung Electronics Co., Ltd. System and method for waving detection based on object trajectory
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8305345B2 (en) * 2008-08-07 2012-11-06 Life Technologies Co., Ltd. Multimedia playing device
US8907901B2 (en) * 2008-08-07 2014-12-09 Amx Llc Motion sensor data processing and interface and method thereof
US8150102B2 (en) * 2008-08-27 2012-04-03 Samsung Electronics Co., Ltd. System and method for interacting with a media device using faces and palms of video display viewers
US8473979B2 (en) * 2008-09-30 2013-06-25 Echostar Technologies L.L.C. Systems and methods for graphical adjustment of an electronic program guide
US8572651B2 (en) * 2008-09-22 2013-10-29 EchoStar Technologies, L.L.C. Methods and apparatus for presenting supplemental information in an electronic programming guide
US9357262B2 (en) * 2008-09-30 2016-05-31 Echostar Technologies L.L.C. Systems and methods for graphical control of picture-in-picture windows
US8937687B2 (en) * 2008-09-30 2015-01-20 Echostar Technologies L.L.C. Systems and methods for graphical control of symbol-based features in a television receiver
US8582957B2 (en) 2008-09-22 2013-11-12 EchoStar Technologies, L.L.C. Methods and apparatus for visually displaying recording timer information
US20100083315A1 (en) * 2008-09-30 2010-04-01 Echostar Technologies Llc Systems and methods for graphical control of user interface features provided by a television receiver
US8763045B2 (en) * 2008-09-30 2014-06-24 Echostar Technologies L.L.C. Systems and methods for providing customer service features via a graphical user interface in a television receiver
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8793735B2 (en) * 2008-09-30 2014-07-29 EchoStar Technologies, L.L.C. Methods and apparatus for providing multiple channel recall on a television receiver
US8397262B2 (en) * 2008-09-30 2013-03-12 Echostar Technologies L.L.C. Systems and methods for graphical control of user interface features in a television receiver
EP2353069B1 (en) * 2008-10-02 2013-07-03 Next Holdings Limited Stereo optical sensors for resolving multi-touch in a touch detection system
EP2180395A1 (en) * 2008-10-24 2010-04-28 Himax Media Solutions, Inc. Display control device and display control method
US9100614B2 (en) * 2008-10-31 2015-08-04 Echostar Technologies L.L.C. Graphical interface navigation based on image element proximity
US8339378B2 (en) * 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US20100171696A1 (en) * 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
US20100225588A1 (en) * 2009-01-21 2010-09-09 Next Holdings Limited Methods And Systems For Optical Detection Of Gestures
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
TWI395145B (zh) * 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法
CN102369724B (zh) * 2009-02-18 2016-05-04 谷歌公司 自动捕获信息，例如使用文档感知设备捕获信息
US8593399B2 (en) 2009-02-18 2013-11-26 Kabushiki Kaisha Toshiba Interface apparatus and method for controlling a device
JP5364925B2 (ja) * 2009-02-27 2013-12-11 現代自動車株式会社 車載機器の入力装置
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
CN102349087B (zh) * 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US20150309581A1 (en) * 2009-04-02 2015-10-29 David MINNEN Cross-user hand tracking and shape recognition user interface
US9317128B2 (en) * 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
WO2010120304A2 (en) * 2009-04-16 2010-10-21 Hewlett-Packard Development Company, L.P. Communicating visual representations in virtual collaboration systems
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8660303B2 (en) * 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
WO2010129679A1 (en) 2009-05-08 2010-11-11 Kopin Corporation Remote control of host application using motion and voice commands
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8509479B2 (en) * 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
US8264536B2 (en) * 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8330134B2 (en) * 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
US8508919B2 (en) * 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8428340B2 (en) * 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8760571B2 (en) * 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) * 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US20110083108A1 (en) * 2009-10-05 2011-04-07 Microsoft Corporation Providing user interface feedback regarding cursor position on a display screen
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8328613B2 (en) * 2009-11-17 2012-12-11 Hasbro, Inc. Game tower
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
WO2011066343A2 (en) * 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US9081799B2 (en) * 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
CN102754048A (zh) * 2009-12-04 2012-10-24 奈克斯特控股公司 用于位置探测的成像方法和系统
TWI476632B (zh) * 2009-12-08 2015-03-11 Micro Star Int Co Ltd 運動物體辨識方法及基於運動物體辨識之指令輸入方法
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110151974A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
KR20110076458A (ko) * 2009-12-29 2011-07-06 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US8862576B2 (en) 2010-01-06 2014-10-14 Apple Inc. Device, method, and graphical user interface for mapping directions between search results
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8499257B2 (en) 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8928579B2 (en) * 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8422769B2 (en) * 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US8655069B2 (en) * 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US20110234542A1 (en) * 2010-03-26 2011-09-29 Paul Marson Methods and Systems Utilizing Multiple Wavelengths for Position Detection
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8593402B2 (en) 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US20110304556A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Activate, fill, and level gestures
JP5148660B2 (ja) 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
EP2394710B1 (en) * 2010-06-11 2020-06-10 BANDAI NAMCO Entertainment Inc. Image generation system, image generation method, and information storage medium
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8542320B2 (en) 2010-06-17 2013-09-24 Sony Corporation Method and system to control a non-gesture controlled device using gesture interactions with a gesture controlled device
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US20120005632A1 (en) * 2010-06-30 2012-01-05 Broyles Iii Paul J Execute a command
US9789392B1 (en) * 2010-07-09 2017-10-17 Open Invention Network Llc Action or position triggers in a game play mode
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8792722B2 (en) 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
US8750573B2 (en) 2010-08-02 2014-06-10 Sony Corporation Hand gesture detection
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
KR20130050369A (ko) * 2010-08-27 2013-05-15 인텔 코포레이션 터치 감지 장치 및 방법
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US9167289B2 (en) 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US8963836B2 (en) * 2010-09-17 2015-02-24 Tencent Technology (Shenzhen) Company Limited Method and system for gesture-based human-machine interaction and computer-readable medium thereof
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
US9952671B2 (en) 2010-10-12 2018-04-24 Nokia Technologies Oy Method and apparatus for determining motion
US8610831B2 (en) 2010-10-12 2013-12-17 Nokia Corporation Method and apparatus for determining motion
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8957856B2 (en) 2010-10-21 2015-02-17 Verizon Patent And Licensing Inc. Systems, methods, and apparatuses for spatial input associated with a display
US8284082B2 (en) 2010-10-27 2012-10-09 Sling Media Pvt. Ltd. Dynamic encode setting adjustment
JP2012094060A (ja) * 2010-10-28 2012-05-17 Sharp Corp 電子装置
US9195345B2 (en) * 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US9721481B2 (en) 2010-11-11 2017-08-01 Echostar Ukraine L.L.C. Hearing and speech impaired electronic device control
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US20120127012A1 (en) * 2010-11-24 2012-05-24 Samsung Electronics Co., Ltd. Determining user intent from position and orientation information
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
EP2469841A1 (en) * 2010-12-22 2012-06-27 Thomson Licensing Setting a feature from the main menu of an application
TW201227399A (en) * 2010-12-24 2012-07-01 Hon Hai Prec Ind Co Ltd Motion recognition module, electronic device appling the motion recognition module and method thereof
JP5653206B2 (ja) * 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
JP5327211B2 (ja) 2010-12-28 2013-10-30 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US20130234826A1 (en) * 2011-01-13 2013-09-12 Nikon Corporation Electronic device and electronic device control program
JP2012156797A (ja) * 2011-01-26 2012-08-16 Sony Corp 画像処理装置及び画像処理方法
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
KR101896947B1 (ko) 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
GB2488784A (en) * 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
TWI469910B (zh) * 2011-03-15 2015-01-21 Via Tech Inc 簡單節點式運輸系統之控制方法與裝置
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9857868B2 (en) * 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
WO2012135153A2 (en) * 2011-03-25 2012-10-04 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
FI122844B (fi) * 2011-04-21 2012-07-31 Kone Corp Kutsunantolaite sekä menetelmä hissikutsun antamiseksi
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
WO2012157792A1 (en) * 2011-05-16 2012-11-22 Lg Electronics Inc. Electronic device
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
KR20120130466A (ko) * 2011-05-23 2012-12-03 삼성전자주식회사 휴대단말기에서 외부장치의 데이터를 제어할 수 있는 장치 및 방법
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
KR101789683B1 (ko) * 2011-06-13 2017-11-20 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법, 그리고 리모컨 장치
US8810641B2 (en) * 2011-06-15 2014-08-19 Hisense Hiview Tech Co., Ltd. Television, control method and control device for the television
WO2012171116A1 (en) 2011-06-16 2012-12-20 Rafal Jan Krepec Visual feedback by identifying anatomical features of a hand
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
JP5649535B2 (ja) * 2011-08-05 2015-01-07 株式会社東芝 コマンド発行装置、コマンド発行方法およびプログラム
EP4235365A3 (en) 2011-08-05 2023-11-01 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
WO2013036632A1 (en) 2011-09-09 2013-03-14 Thales Avionics, Inc. Eye tracking control of vehicle entertainment systems
JP6110857B2 (ja) * 2011-09-15 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザフィードバックを伴うジェスチャベースのユーザインターフェイス
US20130082928A1 (en) * 2011-09-30 2013-04-04 Seung Wook Kim Keyboard-based multi-touch input system using a displayed representation of a users hand
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
CN103135756B (zh) * 2011-12-02 2016-05-11 深圳泰山体育科技股份有限公司 生成控制指令的方法和系统
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
WO2013095679A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095677A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
WO2013095678A1 (en) 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
BR112014015131B1 (pt) * 2011-12-28 2022-05-24 Sony Corporation Dispositivo de exibição, método para controle de exibição de um dispositivo de exibição, e, mídia de armazenamento legível por computador
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
US20130179811A1 (en) * 2012-01-05 2013-07-11 Visteon Global Technologies, Inc. Projection dynamic icon knobs
KR20130081580A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 표시 장치 및 그 제어 방법
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US8830165B1 (en) 2012-01-24 2014-09-09 Google Inc. User interface
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
US9423877B2 (en) 2012-02-24 2016-08-23 Amazon Technologies, Inc. Navigation approaches for multi-dimensional input
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US11169611B2 (en) 2012-03-26 2021-11-09 Apple Inc. Enhanced virtual touchpad
KR20130109817A (ko) 2012-03-28 2013-10-08 삼성전자주식회사 손가락 패턴을 이용한 손 모양 인식 장치 및 방법
JP5858850B2 (ja) * 2012-04-02 2016-02-10 三菱電機株式会社 空気調和機の室内機
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
WO2013156885A2 (en) * 2012-04-15 2013-10-24 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
EP2842055B1 (en) 2012-04-25 2018-06-27 Kopin Corporation Instant translation system
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
CN104395929B (zh) 2012-06-21 2017-10-03 微软技术许可有限责任公司 使用深度相机的化身构造
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
TWI498771B (zh) 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
TWI590099B (zh) * 2012-09-27 2017-07-01 緯創資通股份有限公司 互動系統及移動偵測方法
US9978178B1 (en) * 2012-10-25 2018-05-22 Amazon Technologies, Inc. Hand-based interaction in virtually shared workspaces
US20140118265A1 (en) * 2012-10-29 2014-05-01 Compal Electronics, Inc. Electronic apparatus with proximity sensing capability and proximity sensing control method therefor
TWI455044B (zh) * 2012-10-31 2014-10-01 Hwa Hsia Inst Of Technology 應用影像辨識之反應訓練系統及方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
SG2013082250A (en) * 2012-11-12 2014-06-27 Kone Corp Method, call-giving device, elevator system and computer program product
EP2927902A4 (en) * 2012-11-27 2016-07-06 Sony Corp DISPLAY DEVICE, DISPLAY PROCESS AND COMPUTER PROGRAM
JP6202810B2 (ja) 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
TWI454971B (zh) * 2012-12-11 2014-10-01 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
FR2999316A1 (fr) * 2012-12-12 2014-06-13 Sagemcom Broadband Sas Dispositif et procede de reconnaissance de gestes pour un controle d'interface utilisateur
CN103873760B (zh) * 2012-12-17 2017-12-26 联想(北京)有限公司 一种对焦点调整方法及电子设备
US10474342B2 (en) * 2012-12-17 2019-11-12 Microsoft Technology Licensing, Llc Scrollable user interface control
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
CN103092616A (zh) * 2013-01-14 2013-05-08 深圳市金立通信设备有限公司 一种应用程序背景的显示方法及移动终端
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9696867B2 (en) 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
US9852511B2 (en) * 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
DE102013201675A1 (de) 2013-02-01 2014-08-07 Bayerische Motoren Werke Aktiengesellschaft Bedienschnittstelle und Verfahren zum Bedienen eines Multimediageräts
EP2953878B1 (en) * 2013-02-07 2017-11-22 KONE Corporation Personalization of an elevator service
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9110541B1 (en) * 2013-03-14 2015-08-18 Amazon Technologies, Inc. Interface selection approaches for multi-dimensional input
US9704350B1 (en) 2013-03-14 2017-07-11 Harmonix Music Systems, Inc. Musical combat game
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
TWI524213B (zh) * 2013-04-02 2016-03-01 宏達國際電子股份有限公司 控制方法及電子裝置
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9749541B2 (en) * 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9829984B2 (en) 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
TWI496028B (zh) * 2013-05-24 2015-08-11 Univ Central Taiwan Sci & Tech 三維手勢影像控制行動電話
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
CN105283823B (zh) * 2013-07-10 2019-06-11 惠普发展公司，有限责任合伙企业 确定相对位置的传感器和标签
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
EP2932933B1 (en) * 2013-07-22 2017-11-01 Olympus Corporation Medical portable terminal device
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
CN103745228B (zh) * 2013-12-31 2017-01-11 清华大学 基于Fréchet距离的动态手势识别方法
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US10057483B2 (en) * 2014-02-12 2018-08-21 Lg Electronics Inc. Mobile terminal and method thereof
US11221680B1 (en) * 2014-03-01 2022-01-11 sigmund lindsay clements Hand gestures used to operate a control panel for a device
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
USD738882S1 (en) * 2014-03-31 2015-09-15 Essex Electronics, Inc. Touchless microwave switch
US8896765B1 (en) * 2014-05-16 2014-11-25 Shadowbox Media, Inc. Systems and methods for remote control of a television
US9661254B2 (en) 2014-05-16 2017-05-23 Shadowbox Media, Inc. Video viewing system with video fragment location
WO2015183256A1 (en) * 2014-05-28 2015-12-03 Otis Elevator Company Touchless gesture recognition for elevator service
US20150378440A1 (en) * 2014-06-27 2015-12-31 Microsoft Technology Licensing, Llc Dynamically Directing Interpretation of Input Data Based on Contextual Information
US9606584B1 (en) 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
CN104219587A (zh) * 2014-08-20 2014-12-17 深圳智意能电子科技有限公司 一种用于对应用进行操控的方法和装置
GB201416311D0 (en) * 2014-09-16 2014-10-29 Univ Hull Method and Apparatus for Producing Output Indicative of the Content of Speech or Mouthed Speech from Movement of Speech Articulators
GB201416303D0 (en) * 2014-09-16 2014-10-29 Univ Hull Speech synthesis
DE102014224599A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US20160188290A1 (en) * 2014-12-30 2016-06-30 Anhui Huami Information Technology Co., Ltd. Method, device and system for pushing audio
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6603024B2 (ja) * 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
DE102015209899B4 (de) * 2015-05-29 2019-06-19 Kuka Roboter Gmbh Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
DE102015211521A1 (de) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
CN105045503A (zh) * 2015-07-09 2015-11-11 陈海峰 无接触触摸屏的控制系统及方法
WO2017020214A1 (zh) * 2015-08-02 2017-02-09 李强生 根据手势匹配家用电器遥控器的方法以及遥控器
CN105573545A (zh) * 2015-11-27 2016-05-11 努比亚技术有限公司 一种手势校准方法、装置及手势输入处理方法
CN106843709B (zh) * 2015-12-04 2020-04-14 阿里巴巴集团控股有限公司 根据实时信息显示展现对象的方法和装置
DE102016100190B3 (de) 2016-01-05 2017-03-30 Elmos Semiconductor Aktiengesellschaft Verfahren zur intuitiven Lautstärkeregelung mittels Gesten
DE102016100189B3 (de) 2016-01-05 2017-03-30 Elmos Semiconductor Aktiengesellschaft Verfahren zur intuitiven Lautstärkeregelung mittels Gesten
JP6702746B2 (ja) * 2016-02-10 2020-06-03 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
DE102016003625A1 (de) * 2016-03-22 2017-09-28 Pyramid Computer Gmbh Verfahren und Vorrichtung zur berührungslosen gestengesteuerten Bedienung einer Bedienoberfläche
USD795348S1 (en) * 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD811486S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD811485S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD795349S1 (en) * 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD812143S1 (en) * 2016-05-24 2018-03-06 Tangible Play, Inc. Programming tile
CN105872690B (zh) * 2016-05-31 2019-04-26 微鲸科技有限公司 智能电视控制系统和控制方法
DE102016212240A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
US20180088671A1 (en) * 2016-09-27 2018-03-29 National Kaohsiung University Of Applied Sciences 3D Hand Gesture Image Recognition Method and System Thereof
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
CN107436685B (zh) * 2017-07-31 2020-07-07 京东方科技集团股份有限公司 显示装置、自发光的显示面板及手势识别方法
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
DE102018211414A1 (de) * 2018-07-10 2020-01-16 BSH Hausgeräte GmbH Verfahren zum Erkennen von Bewegungsformen
CN110070478B (zh) * 2018-08-24 2020-12-04 北京微播视界科技有限公司 变形图像生成方法和装置
EP3847530B1 (en) * 2018-09-04 2023-12-27 Apple Inc. Display device sharing and interactivity in simulated reality (sr)
US11714543B2 (en) * 2018-10-01 2023-08-01 T1V, Inc. Simultaneous gesture and touch control on a display
US11520409B2 (en) * 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
USD999776S1 (en) * 2020-04-29 2023-09-26 Toontrack Music Ab Display screen or portion thereof with graphical user interface
US12022359B2 (en) 2020-05-18 2024-06-25 Apple Inc. User interfaces for viewing and refining the current location of an electronic device
EP4002613A1 (en) * 2020-11-20 2022-05-25 ABB Schweiz AG An electrical switchboard for electric power dristrubution grids
USD1000474S1 (en) * 2021-03-17 2023-10-03 Beijing Xiaomi Mobile Software Co., Ltd. Display screen with animated graphical user interface
US12019847B2 (en) 2021-10-11 2024-06-25 James Christopher Malin Contactless interactive interface
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
CN114706502A (zh) * 2022-03-17 2022-07-05 Tcl华星光电技术有限公司 显示模组及显示装置
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
CN115097995A (zh) * 2022-06-23 2022-09-23 京东方科技集团股份有限公司 界面交互方法、界面交互装置以及计算机存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5202961A (en) * 1990-06-08 1993-04-13 Apple Computer, Inc. Sequential information controller
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video

Cited By (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
US6353764B1 (en) 1997-11-27 2002-03-05 Matsushita Electric Industrial Co., Ltd. Control method
JP2002518717A (ja) * 1998-06-11 2002-06-25 インテル・コーポレーション コンピュータ・システムに対する入力データの提供におけるビデオ映像の使用方法
KR100845390B1 (ko) * 2000-10-06 2008-07-09 가부시키가이샤 소니 컴퓨터 엔터테인먼트 영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치
JP2002196855A (ja) * 2000-10-06 2002-07-12 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2002157079A (ja) * 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
JP2003076717A (ja) * 2001-09-04 2003-03-14 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法及び装置と、情報検索プログラム及びそのプログラムの記録媒体
JP2003159928A (ja) * 2001-09-11 2003-06-03 Trw Automot Electronics & Components Gmbh & Co Kg 車輛空調用設定システム
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
US7340100B2 (en) 2002-08-09 2008-03-04 Honda Giken Kogyo Kabushiki Kaisha Posture recognition apparatus and autonomous robot
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2005268929A (ja) * 2004-03-16 2005-09-29 Sharp Corp リモート操作装置
US7629959B2 (en) 2004-09-21 2009-12-08 Victor Company Of Japan, Limited Controller for electronic appliance
JP4896882B2 (ja) * 2004-10-05 2012-03-14 ソニー フランス エスアー コンテンツ管理インタフェース
JP2008516322A (ja) * 2004-10-05 2008-05-15 ソニー フランス エスアー コンテンツ管理インタフェース
JP2006127519A (ja) * 2004-10-26 2006-05-18 Fuji Xerox Co Ltd ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよび方法
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2013047978A (ja) * 2005-02-08 2013-03-07 Oblong Industries Inc ジェスチャベースの制御システムのためのシステムおよび方法
US7679689B2 (en) 2005-05-16 2010-03-16 Victor Company Of Japan, Limited Electronic appliance
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
JP2007189664A (ja) * 2005-12-14 2007-07-26 Victor Co Of Japan Ltd 電子機器
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US8014567B2 (en) 2006-07-19 2011-09-06 Electronics And Telecommunications Research Institute Method and apparatus for recognizing gesture in image processing system
JP2006294066A (ja) * 2006-07-19 2006-10-26 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JPWO2008029467A1 (ja) * 2006-09-07 2010-01-21 学校法人 大阪電気通信大学 ジェスチャ入力システム、方法及びプログラム
JP4489825B2 (ja) * 2006-09-07 2010-06-23 学校法人 大阪電気通信大学 ジェスチャ入力システム、方法及びプログラム
US9032336B2 (en) 2006-09-07 2015-05-12 Osaka Electro-Communication University Gesture input system, method and program
JP2010541398A (ja) * 2007-09-24 2010-12-24 ジェスチャー テック，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
US8830292B2 (en) 2007-09-24 2014-09-09 Qualcomm Incorporated Enhanced interface for voice and video communications
JP2014099184A (ja) * 2008-03-04 2014-05-29 Qualcomm Inc 改良されたジェスチャに基づく画像操作
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8237655B2 (en) 2008-08-14 2012-08-07 Sony Corporation Information processing apparatus, method and program
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2010045658A (ja) * 2008-08-14 2010-02-25 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
US8698743B2 (en) 2008-08-14 2014-04-15 Sony Corporation Information processing apparatus, method and program
JP2009123242A (ja) * 2009-03-10 2009-06-04 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US9411424B2 (en) 2009-04-23 2016-08-09 Hitachi Maxell, Ltd. Input device for operating graphical user interface
US9164578B2 (en) 2009-04-23 2015-10-20 Hitachi Maxell, Ltd. Input device for operating graphical user interface
US11036301B2 (en) 2009-04-23 2021-06-15 Maxell, Ltd. Input device for motion operating graphical user interface
KR101148484B1 (ko) * 2009-04-23 2012-05-25 히다찌 컨슈머 일렉트로닉스 가부시끼가이샤 입력 장치
JP2010257093A (ja) * 2009-04-23 2010-11-11 Hitachi Ltd 入力装置
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
JP2012529088A (ja) * 2009-05-29 2012-11-15 マイクロソフト コーポレーション ジェスチャー・ショートカット
JP2011002292A (ja) * 2009-06-17 2011-01-06 Nippon Telegr & Teleph Corp <Ntt> 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
JP2010003303A (ja) * 2009-07-21 2010-01-07 Victor Co Of Japan Ltd 電子機器の制御装置
JP2013500771A (ja) * 2009-07-29 2013-01-10 マイクロソフト コーポレーション 視覚表示の自動生成方法及びシステム
US9081420B2 (en) 2009-10-02 2015-07-14 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method
US8885020B2 (en) 2009-10-02 2014-11-11 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method
CN101853568A (zh) * 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
US8773523B2 (en) 2010-04-13 2014-07-08 Hon Hai Precision Industry Co., Ltd. Gesture-based remote control
JP2013529802A (ja) * 2010-06-10 2013-07-22 マイクロソフト コーポレーション コンテンツジェスチャー
JP5802667B2 (ja) * 2010-07-20 2015-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ジェスチャ入力装置およびジェスチャ入力方法
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
EP2463751A2 (en) 2010-12-08 2012-06-13 Omron Corporation Gesture recognition apparatus, gesture recognition method, control program, and recording medium
US9851804B2 (en) 2010-12-29 2017-12-26 Empire Technology Development Llc Environment-dependent dynamic range control for gesture recognition
KR101430887B1 (ko) * 2010-12-29 2014-08-18 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 인식을 위한 환경-의존 동적 범위 컨트롤
US8766912B2 (en) 2010-12-29 2014-07-01 Empire Technology Development Llc Environment-dependent dynamic range control for gesture recognition
US9398243B2 (en) 2011-01-06 2016-07-19 Samsung Electronics Co., Ltd. Display apparatus controlled by motion and motion control method thereof
US9513711B2 (en) 2011-01-06 2016-12-06 Samsung Electronics Co., Ltd. Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
JP2012146304A (ja) * 2011-01-06 2012-08-02 Samsung Electronics Co Ltd モーションによって制御されるディスプレイ装置及びそのモーション制御方法
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
JP2012164115A (ja) * 2011-02-07 2012-08-30 Fujitsu Ltd 操作制御装置，操作制御プログラムおよび操作制御方法
JP5769277B2 (ja) * 2011-04-27 2015-08-26 Ｎｅｃソリューションイノベータ株式会社 入力装置、入力方法及びプログラム
WO2012147959A1 (ja) * 2011-04-27 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 入力装置、入力方法及び記録媒体
US9323339B2 (en) 2011-04-27 2016-04-26 Nec Solution Innovators, Ltd. Input device, input method and recording medium
JP5709227B2 (ja) * 2011-04-28 2015-04-30 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、情報処理方法及びプログラム
US9329673B2 (en) 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
US8923559B2 (en) 2011-06-07 2014-12-30 Sony Corporation Image processing apparatus, image processing method, and program
US9785245B2 (en) 2011-06-07 2017-10-10 Sony Corporation Image processing apparatus, image processing method, and program for recognizing a gesture
US9916012B2 (en) 2011-06-07 2018-03-13 Sony Corporation Image processing apparatus, image processing method, and program
JP2014520339A (ja) * 2011-06-21 2014-08-21 クアルコム，インコーポレイテッド コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術
JP2013030140A (ja) * 2011-07-29 2013-02-07 Toshiba Corp 映像処理装置及び映像処理方法
WO2013099580A1 (ja) * 2011-12-26 2013-07-04 オリンパスメディカルシステムズ株式会社 医療用内視鏡システム
US9575565B2 (en) 2012-07-13 2017-02-21 Juice Design Co., Ltd. Element selection device, element selection method, and program
WO2014010670A1 (ja) * 2012-07-13 2014-01-16 Isayama Taro 要素選択装置、要素選択方法、および、プログラム
CN104508599A (zh) * 2012-07-13 2015-04-08 株式会社果汁 要素选择装置、要素选择方法、及程序
JP5507773B1 (ja) * 2012-07-13 2014-05-28 太郎 諌山 要素選択装置、要素選択方法、および、プログラム
WO2014108976A1 (ja) * 2013-01-10 2014-07-17 三洋電機株式会社 物体検出装置
JP2013178783A (ja) * 2013-03-07 2013-09-09 Fujitsu Ten Ltd ディスプレイ装置
JP2014177819A (ja) * 2013-03-15 2014-09-25 Aisin Seiki Co Ltd 報知音量制御装置及び開閉体装置
JP2014211754A (ja) * 2013-04-18 2014-11-13 ブラザー工業株式会社 入力装置
JP2015018458A (ja) * 2013-07-11 2015-01-29 株式会社リコー システム、情報処理方法、画像投影装置およびプログラム
US9639164B2 (en) 2013-09-26 2017-05-02 Fujitsu Limited Gesture input method
JP2014206990A (ja) * 2014-06-09 2014-10-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
JP2016058061A (ja) * 2014-09-08 2016-04-21 井上　文彦 電子機器
JP2016148897A (ja) * 2015-02-10 2016-08-18 航 田中 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP2017027098A (ja) * 2015-07-15 2017-02-02 株式会社東芝 操作認識装置、操作認識方法及びプログラム
US10296096B2 (en) 2015-07-15 2019-05-21 Kabushiki Kaisha Toshiba Operation recognition device and operation recognition method
US11089351B2 (en) 2017-02-02 2021-08-10 Maxell, Ltd. Display apparatus and remote operation control apparatus
US11470377B2 (en) 2017-02-02 2022-10-11 Maxell, Ltd. Display apparatus and remote operation control apparatus
JP2018032383A (ja) * 2017-07-07 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム

Also Published As

Publication number Publication date
JP2941207B2 (ja) 1999-08-25
US5594469A (en) 1997-01-14

Similar Documents

Publication Publication Date Title
JP2941207B2 (ja) ジェスチャ認識システム
US20190258320A1 (en) Systems and methods of free-space gestural interaction
US8693732B2 (en) Computer vision gesture based control of a device
JP4768196B2 (ja) ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP5896578B2 (ja) データ入力装置
CN108845668B (zh) 人机交互系统和方法
TWI499966B (zh) 互動式操作方法
JPH0844490A (ja) インターフェイス装置
KR19990008158A (ko) 인터페이스 장치
TW201712524A (zh) 調焦成視訊部份檢視面積之資料處理裝置和方法，以及電腦程式和製品
US20140053115A1 (en) Computer vision gesture based control of a device
Abe et al. Virtual 3-D interface system via hand motion recognition from two cameras
EP2553656A2 (en) A computing device interface
JPH09185456A (ja) インターフェイス装置
CN108536273A (zh) 基于手势的人机菜单交互方法与系统
JP2004078977A (ja) インターフェイス装置
Alam et al. Implementation of a character recognition system based on finger-joint tracking using a depth camera
JP2012238293A (ja) 入力装置
KR100457929B1 (ko) 손 지시 인식을 이용한 원격제어 시스템
Shetty et al. Virtual mouse using object tracking
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP2006244272A (ja) 手位置追跡方法、装置、およびプログラム
KR101105872B1 (ko) 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
KR100491432B1 (ko) 멀티모달 사용자 인터페이스를 이용한 대화형 전시시스템

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees