JPH1031551A - ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 - Google Patents
ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置Info
- Publication number
- JPH1031551A JPH1031551A JP8184951A JP18495196A JPH1031551A JP H1031551 A JPH1031551 A JP H1031551A JP 8184951 A JP8184951 A JP 8184951A JP 18495196 A JP18495196 A JP 18495196A JP H1031551 A JPH1031551 A JP H1031551A
- Authority
- JP
- Japan
- Prior art keywords
- interface system
- recognition
- human interface
- gesture
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 画像センサによってハンドジェスチャーやボ
ディアクションを検出・認識する、適用範囲が広く、高
速で動作し、さらにコンパクトなヒューマンインターフ
ェースシステムを提供する。 【解決手段】 人工網膜チップやＣＣＤからなる画像セ
ンサ１２により人間のジェスチャーを画像情報として入
力し、さらにマイク等からなる音声入力装置１３により
人間の音声を音声情報として入力し、内蔵されたジェス
チャー・音声認識アルゴリズム１６に基づいてジェスチ
ャーおよび音声をマイコン１４で認識処理し、これに基
づいて制御信号を後段のマルチメディア機器、家電製
品、ゲーム機あるいは介護装置等からなる被制御装置１
７に供給する。
ディアクションを検出・認識する、適用範囲が広く、高
速で動作し、さらにコンパクトなヒューマンインターフ
ェースシステムを提供する。 【解決手段】 人工網膜チップやＣＣＤからなる画像セ
ンサ１２により人間のジェスチャーを画像情報として入
力し、さらにマイク等からなる音声入力装置１３により
人間の音声を音声情報として入力し、内蔵されたジェス
チャー・音声認識アルゴリズム１６に基づいてジェスチ
ャーおよび音声をマイコン１４で認識処理し、これに基
づいて制御信号を後段のマルチメディア機器、家電製
品、ゲーム機あるいは介護装置等からなる被制御装置１
７に供給する。
Description
【０００１】
【発明の属する技術分野】この発明はコンピュータと人
間とがインタラクティブに作用するための知的で柔軟な
ヒューマンインターフェースシステムに関するものであ
る。
間とがインタラクティブに作用するための知的で柔軟な
ヒューマンインターフェースシステムに関するものであ
る。
【０００２】
【従来の技術】従来のヒューマンインターフェースシス
テムの一例として、ハンドジェスチャー認識システムに
ついて説明する。図８は例えば、電子情報通信学会論文
誌、Ｄ−II、Ｖol.Ｊ７３−Ｄ−II、Ｎo.１２、ＰＰ−
１９８５〜１９９２(１９９０年)に掲載された、ハンド
ジェスチャー認識システムの構成図である。図８におい
て、１は手形状入力装置(市販のデータグラブＴＭ“Dat
a Glove TM”を使用)である。データグラブＴＭは米国
ＶＰＬ社の製品で、指の曲げ情報を光ファイバ内の光量
で測定し、親指の第２、３関節、他の指の第１、２関節
の１０関節について個人差を補正した曲げ角度を測定す
る。磁気発生器と磁気センサを用いた米国マクダネルダ
グラス(MacDonnell Douglas)社の３次元デジタイザ(3 S
PACE TRACKER TM)を組合せることで、手の向きと手の３
次元位置も測定できる。
テムの一例として、ハンドジェスチャー認識システムに
ついて説明する。図８は例えば、電子情報通信学会論文
誌、Ｄ−II、Ｖol.Ｊ７３−Ｄ−II、Ｎo.１２、ＰＰ−
１９８５〜１９９２(１９９０年)に掲載された、ハンド
ジェスチャー認識システムの構成図である。図８におい
て、１は手形状入力装置(市販のデータグラブＴＭ“Dat
a Glove TM”を使用)である。データグラブＴＭは米国
ＶＰＬ社の製品で、指の曲げ情報を光ファイバ内の光量
で測定し、親指の第２、３関節、他の指の第１、２関節
の１０関節について個人差を補正した曲げ角度を測定す
る。磁気発生器と磁気センサを用いた米国マクダネルダ
グラス(MacDonnell Douglas)社の３次元デジタイザ(3 S
PACE TRACKER TM)を組合せることで、手の向きと手の３
次元位置も測定できる。
【０００３】２は補正器、３はマイク等からなる音声認
識装置、４はスピーカ等からなる音声合成装置、５は画
像表示装置、６はワークステーション、７は手の形・動
きを認識するための認識プログラム、８は音声認識結果
を解析するための解析プログラム、９は手の形・動きの
認識結果と音声解析結果を統合し、指示された内容を音
声または画像の形で出力するための変換プログラム、１
０は画像データベースである。
識装置、４はスピーカ等からなる音声合成装置、５は画
像表示装置、６はワークステーション、７は手の形・動
きを認識するための認識プログラム、８は音声認識結果
を解析するための解析プログラム、９は手の形・動きの
認識結果と音声解析結果を統合し、指示された内容を音
声または画像の形で出力するための変換プログラム、１
０は画像データベースである。
【０００４】次に動作について説明する。ハンドジェス
チャーは手形状入力装置１と個人差の補正器２によって
ワークステーション６に入力され、手の形・動きを認識
するための認識プログラム７によって認識される。ま
た、音声情報は音声認識装置３によって認識された後、
ワークステーション６の音声認識結果を解析するための
解析プログラム８に送られる。
チャーは手形状入力装置１と個人差の補正器２によって
ワークステーション６に入力され、手の形・動きを認識
するための認識プログラム７によって認識される。ま
た、音声情報は音声認識装置３によって認識された後、
ワークステーション６の音声認識結果を解析するための
解析プログラム８に送られる。
【０００５】ハンドジェスチャーと音声の認識結果は、
手の形・動きの認識結果と音声認識結果を統合し、指示
された内容を音声または画像の形で出力するための変換
プログラム９によって、外部の音声合成装置４あるいは
画像表示装置５に送られる。
手の形・動きの認識結果と音声認識結果を統合し、指示
された内容を音声または画像の形で出力するための変換
プログラム９によって、外部の音声合成装置４あるいは
画像表示装置５に送られる。
【０００６】
【発明が解決しようとする課題】従来のヒューマンイン
ターフェースシステムは以上のように構成されているの
で、ハンドジェスチャー認識のために、手袋のような手
形状入力装置(図８の１参照)が必要であり、情報処理に
ワークステーションが必要であるなど、非常に繁雑で大
がかりなシステムであった。従って、汎用的なヒューマ
ンインターフェースシステムとしての使用は困難である
等の問題があった。
ターフェースシステムは以上のように構成されているの
で、ハンドジェスチャー認識のために、手袋のような手
形状入力装置(図８の１参照)が必要であり、情報処理に
ワークステーションが必要であるなど、非常に繁雑で大
がかりなシステムであった。従って、汎用的なヒューマ
ンインターフェースシステムとしての使用は困難である
等の問題があった。
【０００７】この発明は、上記のような課題を解決する
ためになされたもので、画像センサによってハンドジェ
スチャーやボディアクションを検出・認識する、適用範
囲が広く、高速で動作し、さらにコンパクトなヒューマ
ンインターフェースおよびこれを使用した高速移動物体
位置検出装置を提供することを目的とする。
ためになされたもので、画像センサによってハンドジェ
スチャーやボディアクションを検出・認識する、適用範
囲が広く、高速で動作し、さらにコンパクトなヒューマ
ンインターフェースおよびこれを使用した高速移動物体
位置検出装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記の目的に鑑み、この
発明の第１の発明は、人間の体による表現を入力として
取り込むためのヒューマンインターフェースシステムで
あって、人間のジェスチャーを画像情報として入力する
ジェスチャー入力手段と、ジェスチャー認識のためのア
ルゴリズムが格納されているアルゴリズム格納手段と、
このアルゴリズム格納手段のアルゴリズムに基づいて上
記ジェスチャー入力手段で入力された画像情報を認識処
理し、これに基づく制御信号を後段に供給する情報認識
処理手段と、を備えたヒューマンインターフェースシス
テムにある。
発明の第１の発明は、人間の体による表現を入力として
取り込むためのヒューマンインターフェースシステムで
あって、人間のジェスチャーを画像情報として入力する
ジェスチャー入力手段と、ジェスチャー認識のためのア
ルゴリズムが格納されているアルゴリズム格納手段と、
このアルゴリズム格納手段のアルゴリズムに基づいて上
記ジェスチャー入力手段で入力された画像情報を認識処
理し、これに基づく制御信号を後段に供給する情報認識
処理手段と、を備えたヒューマンインターフェースシス
テムにある。
【０００９】この発明の第２の発明は、人間の音声を音
声情報として入力する音声入力手段をさらに備え、上記
アルゴリズム格納手段が、音声認識のためのアルゴリズ
ムをさらに格納し、上記情報認識処理手段が、上記アル
ゴリズム格納手段のアルゴリズムに基づいて、入力され
た画像情報および音声情報を認識処理し、これらを統合
した結果に基づく制御信号を後段に供給することを特徴
とする請求項１に記載のヒューマンインターフェースシ
ステムにある。
声情報として入力する音声入力手段をさらに備え、上記
アルゴリズム格納手段が、音声認識のためのアルゴリズ
ムをさらに格納し、上記情報認識処理手段が、上記アル
ゴリズム格納手段のアルゴリズムに基づいて、入力され
た画像情報および音声情報を認識処理し、これらを統合
した結果に基づく制御信号を後段に供給することを特徴
とする請求項１に記載のヒューマンインターフェースシ
ステムにある。
【００１０】この発明の第３の発明は、上記情報認識処
理手段がハンドジェスチャー認識を行い、上記ハンドジ
ェスチャー認識は手の形状、位置、傾きによって行わ
れ、認識結果は手を長方形で近似して、その重心のＸ−
Ｙ座標、サイズ、傾き角などで定量的に検出し、種々の
ハンドジェスチャーを認識することを特徴とする請求項
１または２に記載のヒューマンインターフェースシステ
ムにある。
理手段がハンドジェスチャー認識を行い、上記ハンドジ
ェスチャー認識は手の形状、位置、傾きによって行わ
れ、認識結果は手を長方形で近似して、その重心のＸ−
Ｙ座標、サイズ、傾き角などで定量的に検出し、種々の
ハンドジェスチャーを認識することを特徴とする請求項
１または２に記載のヒューマンインターフェースシステ
ムにある。
【００１１】この発明の第４の発明は、上記情報認識処
理手段がボディアクション認識を行い、上記ボディアク
ション認識は人間の腕の位置および身体の形状の認識、
あるいはこれらの予め格納されている基本ボディアクシ
ョンとの比較により、与えられたボディアクションを認
識することを特徴とする請求項１ないし３のいずれかに
記載のヒューマンインターフェースシステムにある。
理手段がボディアクション認識を行い、上記ボディアク
ション認識は人間の腕の位置および身体の形状の認識、
あるいはこれらの予め格納されている基本ボディアクシ
ョンとの比較により、与えられたボディアクションを認
識することを特徴とする請求項１ないし３のいずれかに
記載のヒューマンインターフェースシステムにある。
【００１２】この発明の第５の発明は、遠隔制御のため
の入力機構として設けられたことを特徴とする請求項１
ないし４のいずれかに記載のヒューマンインターフェー
スシステムにある。
の入力機構として設けられたことを特徴とする請求項１
ないし４のいずれかに記載のヒューマンインターフェー
スシステムにある。
【００１３】この発明の第６の発明は、上記ジェスチャ
ー入力手段が前処理機能を有する人工網膜チップからな
る請求項１ないし５のいずれかに記載のヒューマンイン
ターフェースシステムにある。
ー入力手段が前処理機能を有する人工網膜チップからな
る請求項１ないし５のいずれかに記載のヒューマンイン
ターフェースシステムにある。
【００１４】この発明の第７の発明は、上記ジェスチャ
ー入力手段がＣＣＤからなる請求項１ないし５のいずれ
かに記載のヒューマンインターフェースシステムにあ
る。
ー入力手段がＣＣＤからなる請求項１ないし５のいずれ
かに記載のヒューマンインターフェースシステムにあ
る。
【００１５】この発明の第８の発明は、移動物体のＸ−
Ｙ座標検出を行うパターンマッチング機能を有する人工
網膜チップを搭載した第１の入力手段と、同時刻の上記
移動物体のＺ座標検出を行うパターンマッチング機能を
有する人工網膜チップを搭載した第２の入力手段と、上
記第１および第２の入力手段で得られたデータから上記
移動物体の軌跡を計算する制御処理手段と、からなる高
速移動物体位置検出装置にある。
Ｙ座標検出を行うパターンマッチング機能を有する人工
網膜チップを搭載した第１の入力手段と、同時刻の上記
移動物体のＺ座標検出を行うパターンマッチング機能を
有する人工網膜チップを搭載した第２の入力手段と、上
記第１および第２の入力手段で得られたデータから上記
移動物体の軌跡を計算する制御処理手段と、からなる高
速移動物体位置検出装置にある。
【００１６】
【発明の実施の形態】以下、この発明を各実施の形態に
従って説明する。 実施の形態１．図１はこの発明の一実施の形態によるヒ
ューマンインターフェースシステムの構成を示すもので
ある。図において１１は人物、１２は人工網膜チップお
よびＣＣＤ等からなる画像センサ、１３はマイク等から
なる音声入力装置、１４はマイクロコンピュータ(以下
マイコン)、１５はヒューマンインターフェースモジュ
ール、１６はジェスチャー認識および音声認識アルゴリ
ズム(ソフトウェア)、１７はパソコンを含むマルチメデ
ィア機器、家電製品(テレビ、エアコン、オーディオな
ど)、ゲーム機、介護装置などからなる被制御装置であ
る。
従って説明する。 実施の形態１．図１はこの発明の一実施の形態によるヒ
ューマンインターフェースシステムの構成を示すもので
ある。図において１１は人物、１２は人工網膜チップお
よびＣＣＤ等からなる画像センサ、１３はマイク等から
なる音声入力装置、１４はマイクロコンピュータ(以下
マイコン)、１５はヒューマンインターフェースモジュ
ール、１６はジェスチャー認識および音声認識アルゴリ
ズム(ソフトウェア)、１７はパソコンを含むマルチメデ
ィア機器、家電製品(テレビ、エアコン、オーディオな
ど)、ゲーム機、介護装置などからなる被制御装置であ
る。
【００１７】なお、画像センサ１２が人間のジェスチャ
ーを画像情報として入力するジェスチャー入力手段を構
成し、音声入力装置１３が人間の音声を音声情報として
入力する音声入力手段を構成し、ジェスチャー・音声認
識アルゴリズム１６がアルゴリズム格納手段を構成し、
マイコン１４が情報認識処理手段を構成する。
ーを画像情報として入力するジェスチャー入力手段を構
成し、音声入力装置１３が人間の音声を音声情報として
入力する音声入力手段を構成し、ジェスチャー・音声認
識アルゴリズム１６がアルゴリズム格納手段を構成し、
マイコン１４が情報認識処理手段を構成する。
【００１８】次に動作について説明する。人物１１はハ
ンドジェスチャーやボディアクションによって自分の意
思を表現する。画像センサ１２には人工網膜チップある
いはＣＣＤを使用する。人工網膜チップは図２に示す構
造を有している。ここで１８は人工網膜チップ基板、１
９はランダムアクセススキャナ、２０はマルチプレク
サ、２１は画素コア回路、２２は感度制御信号、２３は
入力画像、２４は出力画像である。
ンドジェスチャーやボディアクションによって自分の意
思を表現する。画像センサ１２には人工網膜チップある
いはＣＣＤを使用する。人工網膜チップは図２に示す構
造を有している。ここで１８は人工網膜チップ基板、１
９はランダムアクセススキャナ、２０はマルチプレク
サ、２１は画素コア回路、２２は感度制御信号、２３は
入力画像、２４は出力画像である。
【００１９】画素コア回路２１は光検出感度を正から負
まで変えることができるものであり、ランダムアクセス
スキャナ１９は画素コア回路２１の光検出感度を変える
ための制御信号２２を発生するものである。例えば、画
素コア回路２１の１行目と２行目の感度をそれぞれ１、
−１とし、３行目〜最終行の感度を０(光が当たっても
電流が流れない)とすれば、１行目と２行目では照射さ
れた入力画像２３の差信号が得られる。従って、この感
度制御信号２２のペア(１，−１)を１行目から最終行ま
でスキャンすることによって、入力画像２３のエッジ検
出画像が出力画像２４として得られる。
まで変えることができるものであり、ランダムアクセス
スキャナ１９は画素コア回路２１の光検出感度を変える
ための制御信号２２を発生するものである。例えば、画
素コア回路２１の１行目と２行目の感度をそれぞれ１、
−１とし、３行目〜最終行の感度を０(光が当たっても
電流が流れない)とすれば、１行目と２行目では照射さ
れた入力画像２３の差信号が得られる。従って、この感
度制御信号２２のペア(１，−１)を１行目から最終行ま
でスキャンすることによって、入力画像２３のエッジ検
出画像が出力画像２４として得られる。
【００２０】感度制御信号２２を１、０、０、・・・と
すれば、入力画像２３をそのままの形で検出することが
できる(ＣＣＤの機能)。また、感度制御信号２２を全て
１とすれば、入力画像２３の射影信号が出力画像２４に
得られる。人工網膜チップは画像検出・処理が高速(フ
レームレート：１ｋＨｚ以上)に行えるという特長も有
している。人工網膜チップで前処理された信号は、マイ
コン１４によって処理され、人物のハンドジェスチャー
やボディアクションの認識処理が行われる。なお、マイ
コン１４は上述の人工網膜チップでの画像処理内容の制
御も行う。
すれば、入力画像２３をそのままの形で検出することが
できる(ＣＣＤの機能)。また、感度制御信号２２を全て
１とすれば、入力画像２３の射影信号が出力画像２４に
得られる。人工網膜チップは画像検出・処理が高速(フ
レームレート：１ｋＨｚ以上)に行えるという特長も有
している。人工網膜チップで前処理された信号は、マイ
コン１４によって処理され、人物のハンドジェスチャー
やボディアクションの認識処理が行われる。なお、マイ
コン１４は上述の人工網膜チップでの画像処理内容の制
御も行う。
【００２１】音声はマイクロホンなどの音声入力装置１
３によって入力され、マイコン１４などの信号処理装置
によってスペクトル分解、音韻分解などが行われ、認識
される。
３によって入力され、マイコン１４などの信号処理装置
によってスペクトル分解、音韻分解などが行われ、認識
される。
【００２２】これらのハンドジェスチャーやボディアク
ション認識と音声認識の結果は統合されて、パソコン、
家電製品(テレビ、エアコン、オーディオなど)、ゲーム
機、介護装置などの被制御装置１７に制御信号として入
力され、人物１１の意思のとおりに被制御装置１７を動
作させることができる。これらの認識アルゴリズム１６
は、例えば、情報処理装置であるマイコン１４などに付
随して搭載されている。
ション認識と音声認識の結果は統合されて、パソコン、
家電製品(テレビ、エアコン、オーディオなど)、ゲーム
機、介護装置などの被制御装置１７に制御信号として入
力され、人物１１の意思のとおりに被制御装置１７を動
作させることができる。これらの認識アルゴリズム１６
は、例えば、情報処理装置であるマイコン１４などに付
随して搭載されている。
【００２３】なお、上記実施の形態では画像センサとし
て、画像の前処理機能(エッジ検出、射影検出など)を有
する人工網膜チップを使用したが、画像処理機能を有し
ないＣＣＤを使用することも可能である。ＣＣＤを使用
した場合には、画像の前処理と信号処理を共にマイコン
１４等の情報処理装置で行う必要がある。
て、画像の前処理機能(エッジ検出、射影検出など)を有
する人工網膜チップを使用したが、画像処理機能を有し
ないＣＣＤを使用することも可能である。ＣＣＤを使用
した場合には、画像の前処理と信号処理を共にマイコン
１４等の情報処理装置で行う必要がある。
【００２４】さらにこの発明では、人間の音声を入力す
るための音声入力装置１３は必要不可欠なものではな
く、なくてもよいことは言うまでもない。
るための音声入力装置１３は必要不可欠なものではな
く、なくてもよいことは言うまでもない。
【００２５】実施の形態２．図３は１つの実施の形態の
特徴である、ハンドジェスチャーによる情報入力の模様
を示したものである。図３において、１５ａは人工網膜
チップとマイコンを搭載したヒューマンインターフェー
スモジュール、１７はパソコン等からなる被制御装置、
１１ａは使用者である。図３に示すように、使用者１１
ａのハンドジェスチャーをコンパクトなヒューマンイン
ターフェースモジュール１５ａによって認識し、このハ
ンドジェスチャーに基づいてパソコンや家電製品、ゲー
ム機、介護装置などの被制御装置１７を制御できる。
特徴である、ハンドジェスチャーによる情報入力の模様
を示したものである。図３において、１５ａは人工網膜
チップとマイコンを搭載したヒューマンインターフェー
スモジュール、１７はパソコン等からなる被制御装置、
１１ａは使用者である。図３に示すように、使用者１１
ａのハンドジェスチャーをコンパクトなヒューマンイン
ターフェースモジュール１５ａによって認識し、このハ
ンドジェスチャーに基づいてパソコンや家電製品、ゲー
ム機、介護装置などの被制御装置１７を制御できる。
【００２６】図４の(ａ)〜(ｄ)は、ハンドジェスチャー
認識の例である。図において、２８は人工網膜チップの
撮像領域(モニタ画面)、２９は手、３０は手の形を長方
形で近似したもの、３１は重心である。ハンドジェスチ
ャーは図４のように、手の形を長方形で近似して、その
重心座標(Ｘ１，Ｙ１)、サイズ(ｄ１×ｄ２)、傾き角
(θ)によって認識される。このように、単純かつ少量の
情報によって，さまざまなハンドジェスチャー認識が行
える。
認識の例である。図において、２８は人工網膜チップの
撮像領域(モニタ画面)、２９は手、３０は手の形を長方
形で近似したもの、３１は重心である。ハンドジェスチ
ャーは図４のように、手の形を長方形で近似して、その
重心座標(Ｘ１，Ｙ１)、サイズ(ｄ１×ｄ２)、傾き角
(θ)によって認識される。このように、単純かつ少量の
情報によって，さまざまなハンドジェスチャー認識が行
える。
【００２７】実施の形態３．図５は別の１つの実施の形
態の特徴である、人間のボディアクショシを認識するこ
とによって、使用者の意思(スイッチオン、オフ等)を認
識するものである。ボディアクションの例を図５の(ａ)
〜(ｆ)に示す。図において、３２ａ〜３２ｆはボディア
クションの特に腕の位置(上下、左右、斜め、水平等)を
示している。これら以外にも、身体の左右の傾き、屈み
込み、ジャンプ等の身体の形状のボディアクションの認
識も可能である。また、予め登録された基本ボディアク
ションと入力されたボディアクションとを比較すること
によって、ボディアクションの認識を行うこともでき
る。
態の特徴である、人間のボディアクショシを認識するこ
とによって、使用者の意思(スイッチオン、オフ等)を認
識するものである。ボディアクションの例を図５の(ａ)
〜(ｆ)に示す。図において、３２ａ〜３２ｆはボディア
クションの特に腕の位置(上下、左右、斜め、水平等)を
示している。これら以外にも、身体の左右の傾き、屈み
込み、ジャンプ等の身体の形状のボディアクションの認
識も可能である。また、予め登録された基本ボディアク
ションと入力されたボディアクションとを比較すること
によって、ボディアクションの認識を行うこともでき
る。
【００２８】実施の形態４．図６は別の１つの実施の形
態の特徴である、ハンドジェスチャーやボディアクショ
ンを入力としたゲーム機への応用の一例である。図にお
いて、１５ｂはヒューマンインターフェースモジュー
ル、３３はゲーム画面、１１ｂはプレーヤー、３５はゲ
ームの登場人物である。図に示すように、プレーヤー１
１ｂのボディアクションのとおりに、ゲームの登場人物
３５が動作する。図６では、フライングゲームに適用し
た例を示している。プレーヤー１１ｂの動作どおりに、
登場人物３５が空を飛ぶため、プレーヤー１１ｂはあた
かも自分が空を飛んでいるような気分が味わえる。
態の特徴である、ハンドジェスチャーやボディアクショ
ンを入力としたゲーム機への応用の一例である。図にお
いて、１５ｂはヒューマンインターフェースモジュー
ル、３３はゲーム画面、１１ｂはプレーヤー、３５はゲ
ームの登場人物である。図に示すように、プレーヤー１
１ｂのボディアクションのとおりに、ゲームの登場人物
３５が動作する。図６では、フライングゲームに適用し
た例を示している。プレーヤー１１ｂの動作どおりに、
登場人物３５が空を飛ぶため、プレーヤー１１ｂはあた
かも自分が空を飛んでいるような気分が味わえる。
【００２９】このようにハンドジェスチャーやボディア
クションを入力として、ジョイステックの不要なゲーム
機や、登場人物がプレーヤーと同じ動作を行うゲーム
機、あるいはキーボード、マウス、スイッチ、ダイヤ
ル、リモコンなどを用いることなく、コンピュータ、家
電製品、介護装置を制御できるヒューマンインターフェ
ースシステムが実現できる。
クションを入力として、ジョイステックの不要なゲーム
機や、登場人物がプレーヤーと同じ動作を行うゲーム
機、あるいはキーボード、マウス、スイッチ、ダイヤ
ル、リモコンなどを用いることなく、コンピュータ、家
電製品、介護装置を制御できるヒューマンインターフェ
ースシステムが実現できる。
【００３０】実施の形態５．次に、図７には別の１つの
実施の形態のヒューマンインターフェースシステムを使
用した高速移動物体位置検出装置の構成を示す。図７で
は高速で移動する物体の位置検出を行うものである。図
において、３６ａ、３６ｂは人工網膜チップ搭載カメ
ラ、３７ａ〜３７ｅは一定時間間隔を空けて表示した移
動物体の存在する平面、３８ａ〜３８ｅは移動物体、３
９は人工網膜チップ搭載カメラ３６ａ、３６ｂからの入
力に基づいて移動物体の軌跡を計算処理するマイコンで
ある。
実施の形態のヒューマンインターフェースシステムを使
用した高速移動物体位置検出装置の構成を示す。図７で
は高速で移動する物体の位置検出を行うものである。図
において、３６ａ、３６ｂは人工網膜チップ搭載カメ
ラ、３７ａ〜３７ｅは一定時間間隔を空けて表示した移
動物体の存在する平面、３８ａ〜３８ｅは移動物体、３
９は人工網膜チップ搭載カメラ３６ａ、３６ｂからの入
力に基づいて移動物体の軌跡を計算処理するマイコンで
ある。
【００３１】なお、人工網膜チップ搭載カメラ３６ａ、
３６ｂが第１および第２の入力手段、マイコン３９が制
御処理手段を構成する。
３６ｂが第１および第２の入力手段、マイコン３９が制
御処理手段を構成する。
【００３２】次に動作について説明する。人工網膜チッ
プはパターンマッチング機能を有している。すなわち、
入力画像中から特定パターンの画像を抽出することがで
きるため、移動物体の形状(ボールならば円形)をパター
ンマッチングすることにより、移動物体のみを検出でき
る。従って、即座にその位置(座標)の検出が行える。人
工網膜チップ搭載カメラ３６ａは移動物体のＸ−Ｙ座標
を検出するためのもの、人工網膜チップ搭載カメラ３６
ｂは移動物体のＺ座標を検出するためのものである。
プはパターンマッチング機能を有している。すなわち、
入力画像中から特定パターンの画像を抽出することがで
きるため、移動物体の形状(ボールならば円形)をパター
ンマッチングすることにより、移動物体のみを検出でき
る。従って、即座にその位置(座標)の検出が行える。人
工網膜チップ搭載カメラ３６ａは移動物体のＸ−Ｙ座標
を検出するためのもの、人工網膜チップ搭載カメラ３６
ｂは移動物体のＺ座標を検出するためのものである。
【００３３】すなわち、時間ｔ１において平面３７ａ上
の移動物体３８ａのＸ−Ｙ座標を人工網膜チップ搭載カ
メラ３６ａで、Ｚ座標を人工網膜チップ搭載カメラ３６
ｂで検出することにより、時間ｔ１における移動物体３
８ａの座標が分かる。同様に、時間ｔ２、ｔ３、・・・
においても移動物体３８ｂ、３８ｃ、・・・の座標をそ
れぞれ検出することができる。人工網膜チップは高速画
像検出・処理が行える(フレームレート：１ｋＨｚ)た
め、１ｍｓｅｃ毎に移動物体の座標検出が可能である。
の移動物体３８ａのＸ−Ｙ座標を人工網膜チップ搭載カ
メラ３６ａで、Ｚ座標を人工網膜チップ搭載カメラ３６
ｂで検出することにより、時間ｔ１における移動物体３
８ａの座標が分かる。同様に、時間ｔ２、ｔ３、・・・
においても移動物体３８ｂ、３８ｃ、・・・の座標をそ
れぞれ検出することができる。人工網膜チップは高速画
像検出・処理が行える(フレームレート：１ｋＨｚ)た
め、１ｍｓｅｃ毎に移動物体の座標検出が可能である。
【００３４】移動物体を、例えば投げられたボールとす
れば、その軌跡は方物線(二次曲線ｙ＝ａＸ2＋ｂＸ＋
ｃ)を描くため、最低異なる３つの時間のＸ−Ｙ座標と
Ｚ座標(距離を示す)がわかれば、マイコン３９により軌
跡は計算によって求めることができる。軌跡が分かれば
ボールの落下地点も分かる。
れば、その軌跡は方物線(二次曲線ｙ＝ａＸ2＋ｂＸ＋
ｃ)を描くため、最低異なる３つの時間のＸ−Ｙ座標と
Ｚ座標(距離を示す)がわかれば、マイコン３９により軌
跡は計算によって求めることができる。軌跡が分かれば
ボールの落下地点も分かる。
【００３５】
【発明の効果】以上のようにこの発明の第１の発明で
は、人間のジェスチャーを画像情報として入力し、内蔵
されたアルゴリズムによりジェスチャーを認識処理し、
これに基づいて制御信号を後段に供給するようにしたの
で、マルチメディア機器、家電製品(テレビ、エアコ
ン、オーディオ等)、ゲーム機および介護装置等へ人間
のジェスチャーにより情報を入力できるヒューマンイン
ターフェースシステムを提供できる等の効果が得られ
る。
は、人間のジェスチャーを画像情報として入力し、内蔵
されたアルゴリズムによりジェスチャーを認識処理し、
これに基づいて制御信号を後段に供給するようにしたの
で、マルチメディア機器、家電製品(テレビ、エアコ
ン、オーディオ等)、ゲーム機および介護装置等へ人間
のジェスチャーにより情報を入力できるヒューマンイン
ターフェースシステムを提供できる等の効果が得られ
る。
【００３６】この発明の第２の発明では、さらに人間の
音声を音声情報として入力し、内蔵された音声認識のた
めのアルゴリズムにより音声を認識処理し、画像情報認
識処理と統合した結果に基づく制御信号を後段に供給す
るようにしたので、さらに複雑で高度な情報を入力でき
るヒューマンインターフェースシステムを提供できる等
の効果が得られる。
音声を音声情報として入力し、内蔵された音声認識のた
めのアルゴリズムにより音声を認識処理し、画像情報認
識処理と統合した結果に基づく制御信号を後段に供給す
るようにしたので、さらに複雑で高度な情報を入力でき
るヒューマンインターフェースシステムを提供できる等
の効果が得られる。
【００３７】この発明の第３の発明では、ハンドジェス
チャー認識を行い、ハンドジェスチャー認識は手の形
状、位置、傾きによって行われ、認識結果は手を長方形
で近似して、その重心のＸ−Ｙ座標、サイズ、傾き角な
どで定量的に検出し、種々のハンドジェスチャーを認識
するようにしたので、ハンドジェスチャーという極めて
容易な動作で情報入力が行えるヒューマンインターフェ
ースシステムを提供できる等の効果が得られる。
チャー認識を行い、ハンドジェスチャー認識は手の形
状、位置、傾きによって行われ、認識結果は手を長方形
で近似して、その重心のＸ−Ｙ座標、サイズ、傾き角な
どで定量的に検出し、種々のハンドジェスチャーを認識
するようにしたので、ハンドジェスチャーという極めて
容易な動作で情報入力が行えるヒューマンインターフェ
ースシステムを提供できる等の効果が得られる。
【００３８】この発明の第４の発明では、ボディアクシ
ョン認識を行い、ボディアクション認識は人間の腕の位
置および身体の形状の認識、あるいはこれらの予め格納
されている基本ボディアクションとの比較により、与え
られたボディアクションを認識するようにしたので、よ
り認識の容易な人間の体による表現に基づく情報入力が
行え、さらにハンドジェスチャーと組合わせれば、より
複雑で高度な情報入力が行えるヒューマンインターフェ
ースシステムを提供できる等の効果が得られる。
ョン認識を行い、ボディアクション認識は人間の腕の位
置および身体の形状の認識、あるいはこれらの予め格納
されている基本ボディアクションとの比較により、与え
られたボディアクションを認識するようにしたので、よ
り認識の容易な人間の体による表現に基づく情報入力が
行え、さらにハンドジェスチャーと組合わせれば、より
複雑で高度な情報入力が行えるヒューマンインターフェ
ースシステムを提供できる等の効果が得られる。
【００３９】この発明の第５の発明では、人間のハンド
ジェスチャーやボディアクションおよび音声によって、
マルチメディア機器、家電製品(テレビ、エアコン、オ
ーディオ等)、ゲーム機、介護装置等への情報を遠隔入
力できるため、キーボード、マウス、ジョイスティッ
ク、ボタン、ダイヤル、リモコンなどが不要のインター
フェースを実現でき、老人、子供、病人、身体障害者等
のための人に優しいヒューマンインターフェースシステ
ムを提供できる等の効果が得られる。
ジェスチャーやボディアクションおよび音声によって、
マルチメディア機器、家電製品(テレビ、エアコン、オ
ーディオ等)、ゲーム機、介護装置等への情報を遠隔入
力できるため、キーボード、マウス、ジョイスティッ
ク、ボタン、ダイヤル、リモコンなどが不要のインター
フェースを実現でき、老人、子供、病人、身体障害者等
のための人に優しいヒューマンインターフェースシステ
ムを提供できる等の効果が得られる。
【００４０】この発明の第６の発明では、ジェスチャー
を画像情報として入力する入力手段を前処理機能を有す
る人工網膜チップとしたので、高速で動作し、さらに従
来の手形状入力装置を使用したものに比べてコンパクト
なヒューマンインターフェースシステムを提供できる等
の効果が得られる。
を画像情報として入力する入力手段を前処理機能を有す
る人工網膜チップとしたので、高速で動作し、さらに従
来の手形状入力装置を使用したものに比べてコンパクト
なヒューマンインターフェースシステムを提供できる等
の効果が得られる。
【００４１】この発明の第７の発明では、ジェスチャー
を画像情報として入力する入力手段をＣＣＤとしたの
で、入手が容易で、かつ従来の手形状入力装置を使用し
たものに比べてコンパクトなヒューマンインターフェー
スシステムを提供できる等の効果が得られる。
を画像情報として入力する入力手段をＣＣＤとしたの
で、入手が容易で、かつ従来の手形状入力装置を使用し
たものに比べてコンパクトなヒューマンインターフェー
スシステムを提供できる等の効果が得られる。
【００４２】この発明の第８の発明では、移動物体のＸ
−Ｙ座標検出を行うパターンマッチング機能を有する人
工網膜チップを搭載した第１の入力手段と、同時刻の移
動物体のＺ座標検出を行うパターンマッチング機能を有
する人工網膜チップを搭載した第２の入力手段とで得ら
れたデータから移動物体の軌跡を計算するようにしたの
で、移動物体の位置を高速で検出できる高速移動物体位
置検出装置を提供できる等の効果が得られる。。
−Ｙ座標検出を行うパターンマッチング機能を有する人
工網膜チップを搭載した第１の入力手段と、同時刻の移
動物体のＺ座標検出を行うパターンマッチング機能を有
する人工網膜チップを搭載した第２の入力手段とで得ら
れたデータから移動物体の軌跡を計算するようにしたの
で、移動物体の位置を高速で検出できる高速移動物体位
置検出装置を提供できる等の効果が得られる。。
【図１】 この発明の一実施の形態によるヒューマンイ
ンターフェースシステムの構成図である。
ンターフェースシステムの構成図である。
【図２】 人工網膜チップの構成図である。
【図３】 この発明の１つの実施の形態の特徴であるハ
ンドジェスチャーによる情報入力の模様を示した図であ
る。
ンドジェスチャーによる情報入力の模様を示した図であ
る。
【図４】 (ａ)〜(ｄ)はハンドジェスチャー認識の例を
示す図である。
示す図である。
【図５】 この発明の１つの実施の形態の特徴である人
間のボディアクショシを認識する場合のボディアクショ
ンの例を示す図である。
間のボディアクショシを認識する場合のボディアクショ
ンの例を示す図である。
【図６】 この発明の１つの実施の形態の特徴であるハ
ンドジェスチャーやボディアクションを入力としたゲー
ム機への応用の一例を示す図である。
ンドジェスチャーやボディアクションを入力としたゲー
ム機への応用の一例を示す図である。
【図７】 この発明の別の実施の形態によるヒューマン
インターフェースシステムを使用した高速移動物体位置
検出装置の構成を示す図である。
インターフェースシステムを使用した高速移動物体位置
検出装置の構成を示す図である。
【図８】 従来のハンドジェスチャー認識システムの構
成図である。
成図である。
【符号の説明】 １１ 人物、１１ａ 使用者、１１ｂ プレーヤー、１
２ 画像センサ、１３音声入力装置、１４，３９ マイ
コン、１５，１５ａ，１５ｂ ヒューマンインターフェ
ースモジュール、１６ ジェスチャー・音声認識アルゴ
リズム、１７被制御装置、１８ 人工網膜チップ基板、
３３ ゲーム画面、３５ 登場人物、３６ａ，３６ｂ
人工網膜チップ搭載カメラ。
２ 画像センサ、１３音声入力装置、１４，３９ マイ
コン、１５，１５ａ，１５ｂ ヒューマンインターフェ
ースモジュール、１６ ジェスチャー・音声認識アルゴ
リズム、１７被制御装置、１８ 人工網膜チップ基板、
３３ ゲーム画面、３５ 登場人物、３６ａ，３６ｂ
人工網膜チップ搭載カメラ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 淳 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 小守 伸史 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 ウィリアム・ティ・フリーマン アメリカ合衆国、マサチューセッツ州、ニ ュートン、アラートンロード 174
Claims (8)
- 【請求項１】 人間の体による表現を入力として取り込
むためのヒューマンインターフェースシステムであっ
て、 人間のジェスチャーを画像情報として入力するジェスチ
ャー入力手段と、 ジェスチャー認識のためのアルゴリズムが格納されてい
るアルゴリズム格納手段と、 このアルゴリズム格納手段のアルゴリズムに基づいて上
記ジェスチャー入力手段で入力された画像情報を認識処
理し、これに基づく制御信号を後段に供給する情報認識
処理手段と、 を備えたヒューマンインターフェースシステム。 - 【請求項２】 人間の音声を音声情報として入力する音
声入力手段をさらに備え、 上記アルゴリズム格納手段が、音声認識のためのアルゴ
リズムをさらに格納し、上記情報認識処理手段が、上記
アルゴリズム格納手段のアルゴリズムに基づいて、入力
された画像情報および音声情報を認識処理し、これらを
統合した結果に基づく制御信号を後段に供給することを
特徴とする請求項１に記載のヒューマンインターフェー
スシステム。 - 【請求項３】 上記情報認識処理手段がハンドジェスチ
ャー認識を行い、上記ハンドジェスチャー認識は手の形
状、位置、傾きによって行われ、認識結果は手を長方形
で近似して、その重心のＸ−Ｙ座標、サイズ、傾き角な
どで定量的に検出し、種々のハンドジェスチャーを認識
することを特徴とする請求項１または２に記載のヒュー
マンインターフェースシステム。 - 【請求項４】 上記情報認識処理手段がボディアクショ
ン認識を行い、上記ボディアクション認識は人間の腕の
位置および身体の形状の認識、あるいはこれらの予め格
納されている基本ボディアクションとの比較により、与
えられたボディアクションを認識することを特徴とする
請求項１ないし３のいずれかに記載のヒューマンインタ
ーフェースシステム。 - 【請求項５】 遠隔制御のための入力機構として設けら
れたことを特徴とする請求項１ないし４のいずれかに記
載のヒューマンインターフェースシステム。 - 【請求項６】 上記ジェスチャー入力手段が前処理機能
を有する人工網膜チップからなる請求項１ないし５のい
ずれかに記載のヒューマンインターフェースシステム。 - 【請求項７】 上記ジェスチャー入力手段がＣＣＤから
なる請求項１ないし５のいずれかに記載のヒューマンイ
ンターフェースシステム。 - 【請求項８】 移動物体のＸ−Ｙ座標検出を行うパター
ンマッチング機能を有する人工網膜チップを搭載した第
１の入力手段と、 同時刻の上記移動物体のＺ座標検出を行うパターンマッ
チング機能を有する人工網膜チップを搭載した第２の入
力手段と、 上記第１および第２の入力手段で得られたデータから上
記移動物体の軌跡を計算する制御処理手段と、 からなる高速移動物体位置検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8184951A JPH1031551A (ja) | 1996-07-15 | 1996-07-15 | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8184951A JPH1031551A (ja) | 1996-07-15 | 1996-07-15 | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11002505A Division JP2000028322A (ja) | 1999-01-08 | 1999-01-08 | 高速移動物体位置検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1031551A true JPH1031551A (ja) | 1998-02-03 |
Family
ID=16162214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8184951A Pending JPH1031551A (ja) | 1996-07-15 | 1996-07-15 | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1031551A (ja) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11272293A (ja) * | 1998-03-24 | 1999-10-08 | Sanyo Electric Co Ltd | 遠隔制御装置 |
| JP2000056916A (ja) * | 1998-08-06 | 2000-02-25 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
| JP2000148183A (ja) * | 1998-11-06 | 2000-05-26 | Sanyo Electric Co Ltd | 音声認識装置 |
| JP2001092995A (ja) * | 1999-08-31 | 2001-04-06 | Xerox Corp | 拡張現実感表示システム及びプロセッサ生成画像の選択的表示方法 |
| JP2001224731A (ja) * | 2000-02-18 | 2001-08-21 | Namco Ltd | ゲーム装置および情報記憶媒体 |
| KR100384406B1 (ko) * | 2000-01-24 | 2003-05-22 | (주) 베스트소프트 | 컴퓨터 프로그램 구동조작장치 |
| US6583723B2 (en) | 2001-02-23 | 2003-06-24 | Fujitsu Limited | Human interface system using a plurality of sensors |
| WO2004055726A1 (ja) * | 2002-12-18 | 2004-07-01 | National Institute Of Advanced Industrial Science And Technology | インタフェース装置 |
| US6937742B2 (en) * | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
| JP2007034942A (ja) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | 情報処理装置及びそのプログラム |
| JP2007078270A (ja) * | 2005-09-14 | 2007-03-29 | Daikin Ind Ltd | 空調システム |
| CN100345085C (zh) * | 2004-12-30 | 2007-10-24 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
| US7312788B2 (en) | 2003-03-11 | 2007-12-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Gesture-based input device for a user interface of a computer |
| US7437488B2 (en) | 2003-12-17 | 2008-10-14 | Denso Corporation | Interface for car-mounted devices |
| JP2008538327A (ja) * | 2005-04-18 | 2008-10-23 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
| JPWO2008029467A1 (ja) * | 2006-09-07 | 2010-01-21 | 学校法人 大阪電気通信大学 | ジェスチャ入力システム、方法及びプログラム |
| US8183977B2 (en) | 2009-02-27 | 2012-05-22 | Seiko Epson Corporation | System of controlling device in response to gesture |
| JP2012103840A (ja) * | 2010-11-09 | 2012-05-31 | Sony Corp | 情報処理装置、プログラムおよびコマンド生成方法 |
| CN103137125A (zh) * | 2011-11-30 | 2013-06-05 | 北京德信互动网络技术有限公司 | 基于声控的智能电子设备和声控方法 |
| CN103137126A (zh) * | 2011-11-30 | 2013-06-05 | 北京德信互动网络技术有限公司 | 基于声控的智能电子设备和声控方法 |
| CN103137127A (zh) * | 2011-11-30 | 2013-06-05 | 北京德信互动网络技术有限公司 | 基于声控的智能电子设备和声控方法 |
| JP2013532872A (ja) * | 2010-07-26 | 2013-08-19 | アップル インコーポレイテッド | タッチ入力の移行 |
| KR101414577B1 (ko) * | 2012-11-12 | 2014-07-03 | 한남대학교 산학협력단 | 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법 |
| US11004528B2 (en) | 2015-05-21 | 2021-05-11 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
| US11481109B2 (en) * | 2007-01-07 | 2022-10-25 | Apple Inc. | Multitouch data fusion |
| US11699068B2 (en) | 2016-08-03 | 2023-07-11 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device, imaging module, electronic device, and imaging system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05108302A (ja) * | 1991-10-14 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 音声と指示動作を用いた情報入力方法 |
| JPH07141101A (ja) * | 1993-11-19 | 1995-06-02 | Hitachi Ltd | 画像を用いた入力システム |
| JPH07281817A (ja) * | 1994-04-04 | 1995-10-27 | Hitachi Ltd | 情報処理装置及び、そのコマンド入力方法 |
| JPH0844490A (ja) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
-
1996
- 1996-07-15 JP JP8184951A patent/JPH1031551A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05108302A (ja) * | 1991-10-14 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 音声と指示動作を用いた情報入力方法 |
| JPH07141101A (ja) * | 1993-11-19 | 1995-06-02 | Hitachi Ltd | 画像を用いた入力システム |
| JPH07281817A (ja) * | 1994-04-04 | 1995-10-27 | Hitachi Ltd | 情報処理装置及び、そのコマンド入力方法 |
| JPH0844490A (ja) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11272293A (ja) * | 1998-03-24 | 1999-10-08 | Sanyo Electric Co Ltd | 遠隔制御装置 |
| JP2000056916A (ja) * | 1998-08-06 | 2000-02-25 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
| JP2000148183A (ja) * | 1998-11-06 | 2000-05-26 | Sanyo Electric Co Ltd | 音声認識装置 |
| JP2001092995A (ja) * | 1999-08-31 | 2001-04-06 | Xerox Corp | 拡張現実感表示システム及びプロセッサ生成画像の選択的表示方法 |
| KR100384406B1 (ko) * | 2000-01-24 | 2003-05-22 | (주) 베스트소프트 | 컴퓨터 프로그램 구동조작장치 |
| JP2001224731A (ja) * | 2000-02-18 | 2001-08-21 | Namco Ltd | ゲーム装置および情報記憶媒体 |
| US6583723B2 (en) | 2001-02-23 | 2003-06-24 | Fujitsu Limited | Human interface system using a plurality of sensors |
| US6686844B2 (en) | 2001-02-23 | 2004-02-03 | Fujitsu Limited | Human interface system using a plurality of sensors |
| US7444001B2 (en) | 2001-09-28 | 2008-10-28 | At&T Intellectual Property I, L.P. | Gesture activated home appliance |
| US8467568B2 (en) | 2001-09-28 | 2013-06-18 | At&T Intellectual Property I, L.P. | Methods, systems, and products for gesture-activation |
| US6937742B2 (en) * | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
| US9025812B2 (en) | 2001-09-28 | 2015-05-05 | At&T Intellectual Property I, L.P. | Methods, systems, and products for gesture-activation |
| US9659212B2 (en) | 2001-09-28 | 2017-05-23 | At&T Intellectual Property I, L.P. | Methods, systems, and products for gesture-activation |
| US7236611B2 (en) | 2001-09-28 | 2007-06-26 | At&T Intellectual Property, Inc. | Gesture activated home appliance |
| US7821531B2 (en) | 2002-12-18 | 2010-10-26 | National Institute Of Advanced Industrial Science And Technology | Interface system |
| WO2004055726A1 (ja) * | 2002-12-18 | 2004-07-01 | National Institute Of Advanced Industrial Science And Technology | インタフェース装置 |
| JP2004246856A (ja) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | インタフェース装置 |
| US7312788B2 (en) | 2003-03-11 | 2007-12-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Gesture-based input device for a user interface of a computer |
| US7437488B2 (en) | 2003-12-17 | 2008-10-14 | Denso Corporation | Interface for car-mounted devices |
| CN100345085C (zh) * | 2004-12-30 | 2007-10-24 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
| JP2008538327A (ja) * | 2005-04-18 | 2008-10-23 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
| JP4647687B2 (ja) * | 2005-04-18 | 2011-03-09 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
| JP2007034942A (ja) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | 情報処理装置及びそのプログラム |
| JP2007078270A (ja) * | 2005-09-14 | 2007-03-29 | Daikin Ind Ltd | 空調システム |
| US11818458B2 (en) | 2005-10-17 | 2023-11-14 | Cutting Edge Vision, LLC | Camera touchpad |
| US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
| JP4489825B2 (ja) * | 2006-09-07 | 2010-06-23 | 学校法人 大阪電気通信大学 | ジェスチャ入力システム、方法及びプログラム |
| JPWO2008029467A1 (ja) * | 2006-09-07 | 2010-01-21 | 学校法人 大阪電気通信大学 | ジェスチャ入力システム、方法及びプログラム |
| US9032336B2 (en) | 2006-09-07 | 2015-05-12 | Osaka Electro-Communication University | Gesture input system, method and program |
| US11816329B2 (en) | 2007-01-07 | 2023-11-14 | Apple Inc. | Multitouch data fusion |
| US11481109B2 (en) * | 2007-01-07 | 2022-10-25 | Apple Inc. | Multitouch data fusion |
| US8183977B2 (en) | 2009-02-27 | 2012-05-22 | Seiko Epson Corporation | System of controlling device in response to gesture |
| JP2013532872A (ja) * | 2010-07-26 | 2013-08-19 | アップル インコーポレイテッド | タッチ入力の移行 |
| JP2012103840A (ja) * | 2010-11-09 | 2012-05-31 | Sony Corp | 情報処理装置、プログラムおよびコマンド生成方法 |
| CN103137127A (zh) * | 2011-11-30 | 2013-06-05 | 北京德信互动网络技术有限公司 | 基于声控的智能电子设备和声控方法 |
| CN103137125A (zh) * | 2011-11-30 | 2013-06-05 | 北京德信互动网络技术有限公司 | 基于声控的智能电子设备和声控方法 |
| CN103137126A (zh) * | 2011-11-30 | 2013-06-05 | 北京德信互动网络技术有限公司 | 基于声控的智能电子设备和声控方法 |
| KR101414577B1 (ko) * | 2012-11-12 | 2014-07-03 | 한남대학교 산학협력단 | 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법 |
| US11004528B2 (en) | 2015-05-21 | 2021-05-11 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| US11776645B2 (en) | 2015-05-21 | 2023-10-03 | Semiconductor Energy Laboratory Co., Ltd. | Stacked electronic device capable of retaining an analog potential |
| US11699068B2 (en) | 2016-08-03 | 2023-07-11 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device, imaging module, electronic device, and imaging system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH1031551A (ja) | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 | |
| US10606380B2 (en) | Display control apparatus, display control method, and display control program | |
| JP3114813B2 (ja) | 情報入力方法 | |
| US10394334B2 (en) | Gesture-based control system | |
| US6198485B1 (en) | Method and apparatus for three-dimensional input entry | |
| CN116324677A (zh) | 响应于检测到的手势的非接触式照片捕获 | |
| JPH07141101A (ja) | 画像を用いた入力システム | |
| JP2002196855A (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| JPH0844490A (ja) | インターフェイス装置 | |
| CN111831119A (zh) | 眼球追踪方法、装置、存储介质及头戴式显示设备 | |
| US11027195B2 (en) | Information processing apparatus, information processing method, and program | |
| JPH1153083A (ja) | アクティブな公共インターフェイスのための人間の視覚的感知方法及び装置 | |
| JP2004078977A (ja) | インターフェイス装置 | |
| Sreejith et al. | Real-time hands-free immersive image navigation system using Microsoft Kinect 2.0 and Leap Motion Controller | |
| JP3792907B2 (ja) | ハンドポインティング装置 | |
| JPH0648458B2 (ja) | 情報入力装置 | |
| GB2345538A (en) | Optical tracker | |
| JP2000028322A (ja) | 高速移動物体位置検出装置 | |
| JP2000276577A (ja) | 画像感応型イベント発生装置 | |
| JP2002323956A (ja) | マウス代替方法、マウス代替プログラム、および同プログラムを記録した記録媒体 | |
| Jain et al. | Human computer interaction–Hand gesture recognition | |
| JPH1039995A (ja) | 視線・音声入力装置 | |
| CN106095088B (zh) | 一种电子设备及其图像处理方法 | |
| CN111766959B (zh) | 虚拟现实交互方法和虚拟现实交互装置 | |
| TWI554910B (zh) | Medical image imaging interactive control method and system |