JP4624577B2 - 複数のセンサによるヒューマンインタフェースシステム - Google Patents
複数のセンサによるヒューマンインタフェースシステム Download PDFInfo
- Publication number
- JP4624577B2 JP4624577B2 JP2001048656A JP2001048656A JP4624577B2 JP 4624577 B2 JP4624577 B2 JP 4624577B2 JP 2001048656 A JP2001048656 A JP 2001048656A JP 2001048656 A JP2001048656 A JP 2001048656A JP 4624577 B2 JP4624577 B2 JP 4624577B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- information
- person
- voice
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
Description
【０００１】
【発明の属する技術分野】
本発明は、マンマシンインタフェースの技術分野に関し、特にテレビジョンやビデオをはじめとした家電製品、コンピュータなどの操作を、リモートコントローラ、マウス、キーボードなどのボタン操作による入力装置を使わず、声や身振り、手振りで行う装置に関する。
【０００２】
【従来の技術】
現在、テレビジョンやビデオをはじめとした家電製品、コンピュータなどの操作は、リモートコントローラ、マウス、キーボードなどのボタン操作による入力装置が広く用いられている。ボタン操作による入力装置を使わず、声や身振り、手振りで行う装置も開発されつつある。マンマシンインタフェースにおける人物識別やコマンド入力を、利用者の声や身振り、手振りで行う技術として特開2000-326274号公報に記載の技術が知られている。
【０００３】
特開2000-326274号公報に記載の技術では、人物を識別するための視覚情報を複数のカメラの撮影による得るが、被写体位置の探索制御などの撮影制御は、もっぱら当該カメラから得られる情報のみを用いてその制御を行っていた。また、音声認識に用いる音声情報も複数のマイクロフォンから得るが、音声方向の探索制御など音声入力制御は、もっぱらロボットの前後左右に設置された複数のマイクから得られる情報のみを用いてその制御を行っていた。
【０００４】
音声入力制御については、特開平1-195499号公報に記載の技術も知られている。特開平1-195499号公報記載の技術は、セキュリティドアのように、超音波センサによる物体検出結果とカメラから取り込んだ画像データに基づいて入室者の口の位置を見つけ、その口の方向にマイクロフォンの指向性を合わせる技術である。
【０００５】
【発明が解決しようとする課題】
しかし、上記従来技術には以下の問題があった。
【０００６】
従来の特開2000-32674号公報に記載の技術においては、装置またはロボットの目にあたるカメラからの撮影情報、耳にあたるマイクロフォンから得られる音声情報は利用されるものの、両者は独立して扱われている。図１０に示した特開2000-32674号公報において開示されているブロック図においても、画像情報処理、音声情報処理相互に情報がやりとりされることは何ら示されていない。そのため、特開2000-32674号公報に記載の技術では、人間ではない人の顔を映した写真やマネキン人形を人間として認識してしまったり、人間ではない音響機器のスピーカーから流れ出た音声情報を認識してしまうという問題が起こる。このようなことはマンマシンインタフェースの意図としないどころか、人の写真、マネキン人形、人間の声以外の雑音は画像認識、音声認識にとってはノイズとなり、認識率の低下を招いたり、また、不要な対象物から得られる画像情報や音声情報を入力するため余計な情報処理が行われ、処理速度の低下を引き起こす。
【０００７】
次に、特開平1-195499号公報に記載の技術においては、図１１のように、マイクロフォンの指向性制御において超音波センサとカメラによる被探索物の位置情報が利用されるが、音声情報の処理結果を利用することはない。また、超音波センサとカメラによる被探索物の位置検出制御においてマイクロフォンの音声情報の処理結果が利用されることもない。特開平1-195499号公報に記載の技術では、超音波センサやカメラが物体検出のためにセンスや撮影を行っているエリア（例えば、入退室のドア位置）に人物が入った場合には、マイクロフォンの指向性を合わせて音声を効率よく得ることができるが、入退室管理のドア位置のようにあらかじめ狭い探索エリアが設定されている場合のみに有効な技術であって、一般にそのような限定された探索エリアがない場合では、人物が超音波センサやカメラから外れたところに立ち、音声によるコマンド入力を行う場合も多く想定され、特開平1-195499号公報に記載の技術では柔軟に対処できない。
【０００８】
本発明は、以上の状況を考慮し、マンマシンインタフェースの入力情報として適切な情報を取捨選択し、マンマシンインタフェースの誤動作を防止したり、認識率、処理速度の向上を図ることを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の複数のセンサによるヒューマンマシンインタフェースシステムは、検出対象の範囲と検出精度を決定し、当該検出精度により当該検出対象から特定の検出信号を獲得するセンサとして、検出信号が異なる少なくとも２種類以上のセンサと、前記各センサで検出された結果間に相互に矛盾がないか否かを調べ、各センサに対する制御情報を生成する総合解析部と、前記各センサによる検出結果を利用するアプリケーションと、前記各センサ相互間、前記各センサと前記総合解析部間、前記総合解析部と前記アプリケーション間においてデータと制御情報を通信し合う通信手段を備え、前記各センサが、他のセンサから得た前記信号検出結果または制御情報、前記総合解析部から得た前記制御情報のいずれかまたはその組み合わせを利用して、次回の信号獲得時における検出対象の範囲と検出精度を決定し、前記各センサが、前記通信手段を介して、他のセンサに対して、自身の信号検出結果と、他のセンサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力し、前記総合解析部が、前記通信手段を介して、前記各センサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力することを特徴とする。
【００１０】
上記構成により、複数異種のセンサの認識結果を相互参照し合い、相互に矛盾の生じないような信号獲得制御を行うことができ、より正確な利用者のコマンド入力の認識が可能であり、優れたヒューマンインタフェースシステムを提供することができる。
【００１１】
また、上記構成において、前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサと補助センサを含み、前記画像センサの検出信号が人の画像認識情報であり、前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、前記音声センサの検出信号が人の音声認識情報であり、前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、前記補助センサの検出信号が人の位置情報を検出するに有効な情報であることが好ましい。
【００１２】
上記構成により、画像センサによる動作認識結果と、音声センサによる音声認識結果と、他のセンサ（補助センサ）により検出した人物位置情報の結果とを参考にし、相互に矛盾のない、より正確な利用者のコマンド入力の認識が可能であり、優れたヒューマンインタフェースシステムを提供することができる。
【００１３】
なお、上記のように、画像センサを用いた動作認識、音声センサを用いた音声認識、他のセンサを用いた人物位置情報のすべてを組み合わせた構成のみならず、
センサおよび認識結果の組み合わせとして、画像センサを用いた動作認識結果と音声センサを用いた音声認識結果の組み合わせ、画像センサを用いた動作認識結果と他のセンサを用いた人物位置検出結果の組み合わせ、音声センサを用いた音声認識結果と他のセンサを用いた人物位置検出結果の組み合わせなど多様な組み合わせが可能である。
【００１４】
【発明の実施の形態】
（実施形態１）
本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムを述べる。
【００１５】
本発明の実施形態１の複数のセンサによるヒューマンインタフェースシステムは、カメラによる画像の撮影過程およびその認識過程、また、マイクによる音声情報の録音過程およびその認識過程において、それぞれ、それぞれが処理した過去の結果を参考するほか、互いの結果を参考する。さらに、必要に応じて、超音波センサ、赤外センサ、レンジセンサなどの補助センサを用いて得られた情報とその処理結果、また、アプリケーションの実行結果も参考する。各センサは、相互に解析結果や信号獲得制御に関する指示のやり取りを行い、さらに、総合解析部による解析結果や、各センサにおける信号獲得の制御に関する指示のやり取りを行い、センサ間の矛盾を調べつつフィードバック処理を実行し、信号を獲得する範囲および精度を確実に決定し、複数のセンサ全体で整合性のとれた出力を生成するものである。
【００１６】
例えば、認識処理開始当初は、各センサが環境全体から信号を獲得し、各センサにおける獲得信号を解析し、その結果を他のセンサに渡し、次の信号獲得ステップでは、前ステップにおける自らの獲得信号の解析結果、他のセンサからの解析結果、総合解析部による各センサ間で矛盾が生じないように処理した解析結果を考慮し、環境中において、信号を獲得すべき対象の範囲と精度を決定し、信号を獲得するものである。
【００１７】
まず、実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示す。
【００１８】
図１は、本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示す図である。１０はセンサ部で画像センサ２０、音声センサ３０を備えている。４０は補助センサ部、５０は総合解析部、６０はアプリケーションである。ここで、補助センサ部４０は、本発明のヒューマンインタフェースシステムが用いられる対象に応じて、画像センサ２０、音声センサ３０以外に有用な信号を得ることができる一又は複数のセンサを備えたものである。
【００１９】
図１に示すように、本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムでは、センサ部１０の画像センサ２０、音声センサ３０、補助センサ部４０は、各センサの信号処理において他のセンサで得られた信号処理結果を相互に利用し合い、かつ、他のセンサの制御を指示するものとなっている。図１に示すように、センサ部１０の画像センサ２０と音声センサ３０間には、双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７１が設けられている。また、センサ部１０と補助センサ部４０間にも双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７２が設けられている。さらに、センサ部１０と補助センサ部４０と総合解析部５０の間にも双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７３、７４が設けられている。総合解析部５０とアプリケーション６０の間にも双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７５が設けられている構成となっている。
【００２０】
従来技術で説明した図１０の構成では、各センサにおける信号処理は個別に実行され、それぞれ独立した情報としてアプリケーションに至るものであり、図１１の構成では、音声センサの処理において超音波センサと画像センサの処理結果を利用するものの、情報や制御の流れが一方的であった。それに対し、本発明の構成は、センサ部１０や補助センサ部４０の各センサが、データ／制御信号通信手段７１および７２を通じて、互いに他のセンサの処理結果を利用し、また、他のセンサに対する制御を指示する。さらに、データ／制御信号通信手段７３および７４を通じて、総合解析部５０の処理結果をフィードバックして利用したり、総合解析部５０から各センサに対する制御の指示を受ける構成となっている。総合解析部５０はセンサ部１０、補助センサ部４０にあるすべてのセンサの処理結果を入力とし、各センサ間の矛盾を調べつつフィードバック処理を実行し、装置のセンサ全体で整合性のとれた出力を生成するものとなっている。さらに、総合解析部５０は状況に応じて、データ／制御信号通信手段７５を通じて、アプリケーション６０の実行結果を参考したり、アプリケーション６０から信号処理に関する指示を受け、それをもとに各センサを制御する構成となっている。
【００２１】
図１の基本構成を適用し、図１の画像センサ２０、音声センサ３０、補助センサ４０構成例を詳しく示した図を図２に示す。
【００２２】
センサ部１０は、画像センサ２０、音声センサ３０を備え、画像センサ２０、音声センサ３０は、以下のように、それぞれ、センサ制御部、センサ装置、センサ信号解析部、通信部の４つの部分を備えている。
【００２３】
画像センサ２０は、撮影装置２１、撮影装置制御部２２、画像解析部２３、通信部２４の４つの部分から成る。
【００２４】
音声センサ３０は、録音装置３１、録音装置制御部３２、音声解析部３３、通信部３４の４つの部分を備えている。
【００２５】
補助センサ部４０は、本発明のヒューマンインタフェースシステムが用いられる対象に応じて、画像センサ、音声センサ以外に有用な信号を得ることができる一又は異種複数の各種センサを備えたものである。例えば、超音波センサ、赤外線センサ、レンジセンサなどが挙げられる。補助センサ部４０に含まれる各補助センサは、それぞれ、補助センサ装置４１、補助センサ装置制御部４２、信号解析部４３、通信部４４の４つの部分を備えている。
【００２６】
撮影装置２１、録音装置３１、補助センサ装置４１は、環境中から信号を獲得する装置である。撮影装置２１は、環境を撮影し、画像情報を生成する部分である。録音装置３１は、録音装置環境の音響を録音し、音声情報を生成する部分である。補助センサ装置４１は、環境の状態を表す信号を獲得する部分である。
【００２７】
通信部２４、３４、４４は、データ／制御信号通信手段７１〜７４を通じて、他のセンサまたは総合解析部５０との通信インタフェースを制御する部分である。相互に解析結果や信号獲得制御に関する指示のやり取りを制御する。
【００２８】
撮影制御部２２および画像解析部２３、録音装置制御部３２、音声解析部３３、補助センサ装置制御部４２および信号解析部４３は、それぞれ連動してセンサ信号獲得制御および信号解析を行う。センサ信号獲得制御および信号解析には、以下の、第１のセンサ信号獲得制御および信号解析、第２のセンサ信号獲得制御および信号解析、第３のセンサ信号獲得制御および信号解析がある。
【００２９】
第１のセンサ信号獲得制御および信号解析は、センサ信号獲得制御として、環境中において、信号を獲得する対象の範囲および獲得する精度を決定し、センサ装置（画像センサ装置２１、音声センサ装置３１、補助センサ装置４１）を制御する。その際、必要に応じて、データ／制御信号通信手段７１〜７４を通じて、他のセンサ（画像センサ２０、音声センサ３０、補助センサ部４０に含まれる他のセンサ）の解析結果、総合解析部５０の結果、当該センサ自身のそれまでの解析結果を得て、それらを参考にしてセンサ装置を制御する。信号解析として、獲得した信号の処理にあたり、必要に応じて、他のセンサの解析結果、総合解析部５０の結果、当該センサ自身のそれまでの解析結果を得て、それらを参考して信号を解析する。
【００３０】
第２のセンサ信号獲得制御および信号解析は、第１のセンサ信号獲得制御および信号解析よりさらに、他のセンサや総合解析部５０との間の解析結果や制御指示のフィードバックを重視するものである。まず、センサ信号獲得制御として、データ／制御信号通信手段７１〜７４を通じて、他のセンサまたは総合解析部５０から受けた、環境中において、信号を獲得する対象の範囲および獲得する精度に関する指示を得て、その指示にしたがってセンサ装置を制御する。制御開始当初においてかかる指示が得られていない場合、環境中、信号を獲得する対象の範囲および獲得する精度の決定にあたり、必要に応じて、データ／制御信号通信手段７１〜７４を通じて、他のセンサの解析結果、総合解析部５０の結果、当該センサ装置自身のそれまでの解析結果を得て、それらを参考にして決定し、センサ装置を制御する。信号解析として、獲得した信号の処理にあたり、必要があれば、データ／制御信号通信手段７１〜７４を通じて、他のセンサの解析結果、総合解析部５０の結果、当該センサ自身のそれまでの解析結果を得て、それらを参考にして信号を解析する。また、解析結果に基づき、必要に応じて、データ／制御信号通信手段７１〜７４を通じて、他のセンサに対して、環境中において、信号を獲得する対象の範囲および獲得する精度に関して指示データを与える。
【００３１】
第３のセンサ信号獲得制御および信号解析は、第２のセンサ信号獲得制御および信号解析と同様、他のセンサや総合解析部５０との間の解析結果や制御指示のフィードバックを重視しつつ、かつ、フィードバックを受動的に受けるのみでなく、フィードバック情報を採用するか否かを自律的に判断するものである。まず、センサ信号獲得制御として、データ／制御信号通信手段７１〜７４を通じて、他のセンサまたは総合解析部５０から受けた、環境中、信号を獲得する範囲および精度に関するフィードバックされた指示を得て、その指示に従うか否かを他のセンサの解析結果、総合解析部５０の結果、センサ自身のそれまでの解析結果を参考にして判断し、従う場合は、同指示に従ってセンサ装置を制御する。従わないと判断した場合、または、他のセンサ、総合解析部５０から信号を獲得する範囲および精度に関する指示のフィードバックがない場合は、それまでに得られている他のセンサの解析結果、総合解析部５０の結果、センサ自身の解析結果を参考にして信号を獲得する範囲および精度を判断し、センサ装置を制御する。なお、信号解析については第２のセンサ信号獲得制御および信号解析で述べた信号解析と同様で良い。
【００３２】
次に、総合解析部５０を説明する。
【００３３】
総合解析部５０は、センサ部１０、補助センサ部４０の解析結果、アプリケーションの実行結果を参考して、複数のセンサ間で最も矛盾の少ない結果を解析して求め、当該解析結果に基づき、必要に応じて各センサ部１０、補助センサ部４０に環境中、信号を獲得する対象の範囲および獲得する精度に関して指示する部分である。
【００３４】
総合解析部５０は、データ／制御信号通信手段７３、７４を通じて、センサ部１０、補助センサ部４０の解析結果を獲得し、さらに、データ／制御信号通信手段７５を通じて、アプリケーション６０からセンサ制御に関する指示を得る。信号処理結果を、データ／制御信号通信手段７５を通じて、アプリケーション６０に提供する。さらに、必要に応じてアプリケーション６０から実行結果のフィードバックを獲得する。それら得た情報をもとに、複数のセンサ間で最も矛盾の少ない結果を求める。当該解析結果に基づき、必要があれば、データ／制御信号通信手段７３、７４を通じて、センサ部１０、補助センサ部４０に対して、環境中、信号を獲得する対象の範囲および獲得する精度に関する指示を与える。
【００３５】
次に、本発明の実施形態１の複数のセンサによるヒューマンインタフェースシステムの信号処理の流れを図３のフローチャートを参照しつつ説明する。
【００３６】
まず、センサ部１０、補助センサ部４０の各センサと、総合解析部５０を並行して起動する（ステップＳ３０１）。
【００３７】
センサ部１０、補助センサ部４０の各センサは、撮影装置２１、録音装置３１、補助センサ装置４１を用いて、まず、環境全体から信号を獲得する（ステップＳ３０２）。
【００３８】
センサ部１０、補助センサ部４０の各センサは、画像解析部２３、音声解析部３３、信号解析部４３を用いて、ステップＳ３０２で得た信号を解析する（ステップＳ３０３）。
【００３９】
データ／制御信号通信手段７１〜７４を通じて、解析結果を出力し（ステップＳ３０４）、さらに、解析結果に応じて、他のセンサに対し、信号の獲得の制御に関する指示を出す（ステップＳ３０５）。
【００４０】
センサ部１０、補助センサ部４０の各センサは、データ／制御信号通信手段７１〜７４を通じて、センサ部１０、補助センサ部４０のうちの他のセンサと、総合解析部５０の解析結果、および他のセンサから受けた信号の獲得制御に関する指示を獲得する（ステップＳ３０６）。
【００４１】
次に、データ／制御信号通信手段７１〜７４を通じて、他のセンサ、総合解析部５０から信号の獲得の制御に関する指示の有無を調べる（ステップＳ３０７）。
【００４２】
信号の獲得の制御に関する指示があれば（ステップＳ３０７：Ｙ）、他のセンサ、総合解析部５０および過去の解析結果を参考した場合、当該指示に従って良いかを判断し（ステップＳ３０８）、当該指示に従って良いと判断した場合は（ステップＳ３０８：Ｙ）、各センサにおいて撮影装置２１、録音装置３１、補助センサ装置４１を用いて、当該指示に従って環境の信号を獲得する（ステップＳ３０９）。
【００４３】
ステップＳ３０８において当該指示に従って良いと判断しなかった場合は（ステップＳ３０８：Ｎ）、または、ステップＳ３０７において信号の獲得の制御に関する指示がない場合（ステップＳ３０７：Ｎ）、他のセンサの解析結果、総合解析部５０の結果、自分のこれまでの解析結果をもとに、環境中において、次に信号を獲得する対象の範囲および獲得する精度を決定し、その決定に従って環境の信号を獲得する（ステップＳ３１０）。
【００４４】
次に、獲得した信号を、他のセンサ、総合解析部５０の解析結果、過去の解析結果を参考に解析する（ステップＳ３１１）。
【００４５】
データ／制御信号通信手段７１〜７４を通じて、解析結果を出力し（ステップＳ３１２）、さらに、解析結果に応じて、他のセンサに対し、信号の獲得の制御に関する指示を出す（ステップＳ３１３）。
【００４６】
ステップＳ３０５からステップＳ３１３を繰り返す。
【００４７】
総合解析部５０は、次の図４のフローチャートに示した流れにより処理を実行する。
【００４８】
総合解析部５０は、データ／制御信号通信手段７５を通じて、アプリケーション６０からセンサ部１０、補助センサ部４０の各センサにおける、信号の獲得の制御に関する指示の有無を調べ（ステップＳ４０１）、指示があれば（ステップＳ４０１：Ｙ）、その指示を各センサに与える（ステップＳ４０２）。指示がない場合は、Ｓ４０３にすすむ。
【００４９】
総合解析部５０は、データ／制御信号通信手段７１〜７４を通じて、各センサから信号処理結果を得て、さらに、データ／制御信号通信手段７５を通じて、アプリケーション６０から実行結果を獲得する（ステップＳ４０３）。
【００５０】
総合解析部５０は、すべての結果のうち、複数の間で最も矛盾の少ない結果を求める（ステップＳ４０４）。
【００５１】
総合解析部５０は、データ／制御信号通信手段７５を通じて、解析結果をアプリケーション６０に提供する（ステップＳ４０５）。また、解析結果に応じて、データ／制御信号通信手段７１〜７４を通じて、各センサに信号の獲得制御に関する指示を出す（ステップＳ４０６）。
【００５２】
ステップＳ４０１からステップＳ４０６を繰り返す。
【００５３】
以上、本発明の複数のセンサによるヒューマンインタフェースシステムによれば、センサ部１０、補助センサ部４０の各センサは、相互に解析結果や信号獲得制御に関する指示のやり取りを行い、さらに、総合解析部５０による解析結果や信号獲得制御に関する指示のやり取りを行い、センサ間の矛盾を調べつつフィードバック処理を実行し、信号を得る範囲および精度を確実に決定し、複数のセンサ全体で整合性のとれた出力を生成することができる。
【００５４】
（実施形態２）
本発明の実施形態２の複数のセンサによるヒューマンインタフェースシステムは、実施形態１に示した構成を変形した構成としたものである。実施形態１で示した図１の構成は、センサとして、センサ部１０の画像センサ２０、音声センサ３０、補助センサ部４０を備えた構成であったが、そのバリエーションとして、図５（ａ）〜（ｃ）の構成がある。図５（ａ）は、図１の構成から補助センサ部４０を省略したもの、図５（ｂ）は、図１の構成から音声センサ３０を省略したもの、図５（ｃ）は、図１の構成から画像センサ２０を省略したものとなっている。
【００５５】
図５（ａ）は、補助センサ部４０を必要としない場合、画像センサ２０と音声センサ３０の間で、データ／制御信号通信手段７１を通じて、相互に信号処理結果を得て、さらに、データ／制御信号通信手段７３を通じて、総合解析部５０から解析結果を獲得し、また、データ／制御信号通信手段７５を通じてアプリケーション５０から得た制御指示内容を総合解析部５０を介して得て、すべての結果のうち、複数の間で最も矛盾の少ない結果を求めるものである。
【００５６】
図５（ｂ）は、画像情報だけでアプリケーションを操作する場合、音声センサ３０を省略した構成とし、画像センサ２０と補助センサ部４０の間で、データ／制御信号通信手段７２を通じて、相互に信号処理結果を得て、さらに、データ／制御信号通信手段７３、７４を通じて、総合解析部５０から実行結果を獲得し、また、データ／制御信号通信手段７５を通じてアプリケーション６０から得た制御指示内容を総合解析部５０を介して得て、すべての結果のうち、複数の間で最も矛盾の少ない結果を求めるものである。
【００５７】
図５（ｃ）は、音声情報だけでアプリケーションを操作する場合、画像センサ２０を省略した構成とし、音声センサ３０と補助センサ部４０の間で、データ／制御信号通信手段７２を通じて、相互に信号処理結果を得て、さらに、データ／制御信号通信手段７３、７４を通じて、総合解析部５０から実行結果を獲得し、また、データ／制御信号通信手段７５を通じてアプリケーション６０から得た制御指示内容を総合解析部５０を介して得て、すべての結果のうち、複数の間で最も矛盾の少ない結果を求めるものである。
【００５８】
何れの場合でも、実施形態１と同じく、センサ間で処理結果と制御が行き交い、それらの結果を総合して解析することにより、出力を生成し、次のステップで環境中から獲得する信号の範囲と精度を決定する。
【００５９】
（実施形態３）
本発明の実施形態３の複数のセンサによるヒューマンインタフェースシステムは、実施形態１に示した基本構成を、人の音声入力による操作指示、身振りによる操作指示を受け付けるヒューマンインタフェースシステムに適用したものであって、解析結果や信号獲得制御に関する指示のやり取りを行い、センサ間の矛盾を調べつつ複数のセンサ全体で整合性のとれた出力を生成するとともに、検出対象である人の音声入力による操作指示内容、身振りによる操作指示内容を解析して受け付けるシステムである。
【００６０】
図６は、本発明の実施形態３にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示すブロック図である。図６に示すように、本発明の実施形態３の構成は、センサ部１０ａ、補助センサ部４０ａ、総合解析部５０ａ、アプリケーション６０を備えている。センサ部１０ａは、画像センサ２０ａ、音声センサ３０ａを備えている。なお、検出対象は人、人の声、人の身振りである。
【００６１】
ここで、画像センサ２０ａは、人の画像データを得る機能に加え、人の動きから身振りによる操作指示内容を解析するジェスチャ解析機能を備えている。また、音声センサ３０ａは、人の音声データを得る機能に加え、人の音声による操作指示内容を解析する音声解析機能を備えている。また、補助センサ部４０ａは、画像センサ２０ａ、音声センサ３０ａの処理に対する有用な信号を得るものであり、例えば、人の位置および人がマネキンやラジオなどの静止物でなく、動いているかものであるかを検出するために有用なセンサとして、超音波センサが挙げられ、人がマネキンやラジオなどの無生物ではなく、生物であることを検出するために有用なセンサとして、赤外線センサ（サーモグラフィを生成するセンサ）などが挙げられる。
【００６２】
また、この構成例では、各データ／制御信号通信手段７１〜７４、７５は、１つの通信路７６を共用する形で形成されている。
【００６３】
各センサの構成と処理内容をさらに詳しく説明する。
【００６４】
画像センサ２０ａは、撮影装置２１、撮影装置制御部２２、画像解析部２３ａ、通信部２４を備えている。画像解析部２３ａは、人物検出部２３１、人物映像記憶部２３２、動作認識部２３３、動作パターン記憶部２３４を備えている。
【００６５】
撮影装置２１は、カメラ等、映像を獲得する一又は複数の装置であって、撮影範囲の情景を画像として獲得する。動的に撮影方向を変えられるものとする。
【００６６】
撮影制御部２２は、画像解析部２３ａの画像解析による人物検出結果、音声センサ３０ａの音声による音源検出結果、補助センサ４０ａによる人物位置検出結果に基づき、画像情報の獲得を指向する方向、位置、光学パラメータを決定した上で、撮影装置２１を制御する。なお、総合解析部５０ａやアプリケーション６０によって撮影制御の指示を受ける場合もある。
【００６７】
画像解析部２３ａは、画像を解析する部分であるが、本実施形態３では、画像解析により人物検出とジェスチャ入力によるコマンド認識を行う。
【００６８】
人物検出部２３１は、画像情報から人物に相当する映像パターンを探索する部分である。撮影装置２１により獲得された画像情報から、人物映像記憶部２３２に蓄積された画像パターンを参考にして人物画像パターンを探索し、当該人物画像パターンの画像上での位置と撮影装置２１の位置から人物位置を決定し、画像上での見え方に応じて人物の向きを決定する。
【００６９】
人物映像記憶部２３２は、探索対象となる画像パターンを蓄積する部分であり、ここでは人間だと認識できる映像パターンを記憶している。
【００７０】
動作認識部２３３は、人物検出部２３１で検出された人物画像データの動き（ジェスチャ）を解析して、身振り（ジェスチャ）によるコマンドを認識する部分である。動作認識にあたり、動作パターン記憶部２３４のデータとのマッチングを行って、その人物がジェスチャにより入力したコマンドを認識する。
【００７１】
動作パターン記憶部２３４は、コマンドとそのときの人間の動作パターンの映像を対応づけて記憶する部分である。
【００７２】
次に、画像センサ２０ａにおける、音声センサ３０ａ、補助センサ４０ａ、総合解析部５０ａからのデータ、制御指示のフィードバックを受けた動作認識処理について説明する。
【００７３】
画像情報と音声情報に基づく動作認識は、音声センサ３０ａにより検出された人物音声を発する音源位置情報をもとに、当該人物の所定時間の画像情報の変化に基づき人間の動作を認識する。その際、動作パターン記憶部２３４の情報を参考する。
【００７４】
次に、画像情報と音声情報と補助センサ４０ａによる人物検出情報に基づく動作認識は、音声センサ３０ａにより検出された人物音声を発する音源位置情報と、補助センサ４０ａにより検出された人物位置情報をもとに、当該人物の所定時間の画像情報の変化に基づき人間の動作を認識する。その際、動作パターン記憶部２３４の情報を参考する。
【００７５】
画像情報と音声情報と補助センサ４０ａによる人物検出情報と総合解析部５０ａの解析結果とアプリケーション６０の制御指示に基づく動作認識は、音声センサ３０ａにより検出された人物音声を発する音源位置情報と、補助センサ４０ａにより検出された人物位置情報と、総合解析部５０ａによる各センサ間で最も矛盾の少ない解析情報と、アプリケーション６０からの制御指示内容をもとに、当該人物の所定時間の画像情報の変化に基づき人間の動作を認識する。その際、動作パターン記憶部２３４の情報を参考する。
【００７６】
次に、音声センサ３０ａは、録音装置３１、録音装置制御部３２、音声解析部３３ａ、通信部２４を備えている。音声解析部３３ａは、音源検出部３３１、人物音声記憶部３３２、音声認識部３３３、音声パターン記憶部３３４を備えている。
【００７７】
録音装置３１は、マイク等、音声を獲得する一又は複数の装置であり、音声を音声情報として獲得する。動的に指向性を設定できるものとする。
【００７８】
録音装置制御部３２は、画像センサ２０ａによる人物検出結果、音声解析部３３ａによる音源検出結果、補助センサ４０ａによる人物位置検出結果に基づき、音声情報を獲得する方向、位置、音響パラメータを決定した上で、録音装置３１を制御する。なお、総合解析部５０ａやアプリケーション６０によって撮影制御の指示を受ける場合もある。
【００７９】
音声解析部３３ａは、音声を解析する部分であるが、本実施形態３では、音声解析により人物検出と音声入力によるコマンド認識を行う。
【００８０】
音源検出部３３１は、音声情報から人物に相当する音声パターンを探索する部分である。音声情報と人物音声記憶部３３２に記憶された人物に相当する音響パターンとを比較して人物音声パターンを持つ音源を探し出し、録音装置３１の位置と人物に相当する音響パターンの強度に基づき、人間の発声に相当する音源方向を決定する。
【００８１】
人物音声記憶部３３２は、探索対象となる音声パターンを蓄積する部分であり、ここでは人間が発声する音響パターンを記憶している。
【００８２】
音声認識部３３３は、音源検出部３３１で検出された音声入力を解析して、音声入力によるコマンドを認識する部分である。音声認識にあたり、音声パターン記憶部３３４のデータとのマッチングを行って、その人物が音声により入力したコマンドを認識する。
【００８３】
音声パターン記憶部３３４は、コマンドとそのときの人間の動作パターンの音声データを対応づけて記憶する部分である。
【００８４】
次に、音声センサ３０ａにおける、画像センサ２０ａ、補助センサ４０ａ、総合解析部５０ａからのデータ、制御指示のフィードバックを受けた音声認識処理について説明する。
【００８５】
画像情報と音声情報に基づく音声認識は、画像センサ２０ａにより検出された人物の映像を有する物体位置情報をもとに、当該人物の所定時間の音声情報に基づき人間の音声を認識する。その際、音声パターン記憶部３３４の情報を参考する。
【００８６】
次に、画像情報と音声情報と補助センサ４０ａによる人物検出情報に基づく音声認識は、画像センサ２０ａにより検出された人物映像を有する物体位置情報と、補助センサ４０ａにより検出された人物位置情報をもとに、当該人物の所定時間の音声情報に基づき人間の音声を認識する。その際、音声パターン記憶部３３４の情報を参考する。
【００８７】
画像情報と音声情報と補助センサ４０ａによる人物検出情報と総合解析部５０ａの解析結果とアプリケーション６０の制御指示に基づく音声認識は、画像センサ２０ａにより検出された人物映像を有する物体位置情報と、補助センサ４０ａにより検出された人物位置情報と、総合解析部５０ａによる各センサ間で最も矛盾の少ない解析情報と、アプリケーション６０からの制御指示内容をもとに、当該人物の所定時間の音声情報に基づき人間の音声を認識する。その際、音声パターン記憶部３３４の情報を参考する。
【００８８】
次に、補助センサ４０ａは、補助センサ装置４１、補助センサ装置制御部４２、人物位置検出部４３ａ、通信部４４を備えている。
【００８９】
補助センサ装置４１は、超音波センサ、赤外センサ、レンジセンサなど、画像、音声以外の情報のセンサであり、環境の動きの変化を観測する一又は複数のセンサを備え、人物位置を検出するに有効な情報を獲得する。動的にその探索範囲・精度を設定できるものとする。
【００９０】
補助センサ装置制御部４２は、画像センサ２０ａによる人物検出結果、音声解析部３３ａによる音源検出結果、補助センサ部４０ａによる人物位置検出結果に基づき、補助センサ部により信号を獲得する方向、位置、特徴パラメータを決定した上で、補助センサ装置４１を制御する。なお、総合解析部５０ａやアプリケーション６０によって撮影制御の指示を受ける場合もある。
【００９１】
人物位置検出部４３ａは、信号解析部４３の一形態であり、補助センサ部４０ａの出力に基づき、人物の位置を検出する部分である。例えば、補助センサ装置４１が超音波センサであれば、反射波の解析により、物体位置を検出し、赤外線センサであれば、人の体温程度の熱放射を持つ物体位置を検出する。
【００９２】
次に、補助センサ部４０ａにおける、画像センサ２０ａ、音声センサ３０ａ、総合解析部５０ａからのデータ、制御指示のフィードバックを受けた人物位置検出処理について説明する。
【００９３】
画像情報と音声情報に基づく人物位置検出は、画像センサ２０ａにより検出された人物の映像を有する物体位置情報と音声センサ３０ａにより検出された音源位置情報をもとに、当該人物の所定時間の補助センサ部４０ａ自身により検出された信号に基づき人間の位置を検出する。
【００９４】
画像情報と音声情報と補助センサ部４０ａによる人物検出情報と総合解析部５０ａの解析結果とアプリケーション６０の制御指示に基づく音声認識は、画像センサ２０ａにより検出された人物映像を有する物体位置情報と、音声センサ３０ａにより検出された音源位置情報と、補助センサ部４０ａ自身により検出された人物位置情報と、総合解析部５０ａによる各センサ間で矛盾のない解析情報と、アプリケーション６０からの制御指示内容をもとに、当該人物の所定時間の補助センサ部４０ａ自身により検出された信号に基づき人間の位置を検出する。
【００９５】
総合解析部５０ａは、人物情報記憶部５１、人物識別部５２、人物状態認識部５３、コマンド辞書記憶部５４、コマンド理解部５５、出力部５６、通信部５７を備えている。
【００９６】
人物情報記憶部５１は、検出対象となる特定の人物の映像パターンと音声パターンを含む各種情報を記憶する部分である。
【００９７】
人物識別部５２は、画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａが検出した人物が誰であるかを識別する部分である。この人物識別部５２の識別処理において、画像センサ２０ａの識別結果、音声センサ３０ａの識別結果、補助センサ部４０ａの識別結果と、人物情報記憶部５１の情報を総合的に判断して、相互に矛盾した結果が得られている場合は、各センサにおける識別結果の何れかまたは全てが正しくないと判断できる。
【００９８】
人物状態認識部５３は、補助センサ部４０ａの情報を用いて算出した人物位置と、画像情報に基づく人物検出結果と、音声情報に基づく音源検出結果に基づき、人物の位置、向き、姿勢を決定する。
【００９９】
コマンド辞書記憶部５４は、このコマンド辞書記憶部５４は２種類の情報を記憶する。一つは、アプリケーションが受け付ける各コマンドと、動作パターン記憶部２３４および音声パターン記憶部３３４中のコマンドの関連を表すリンクであり、もう一つは、アプリケーションがそのときどきで受理可能なコマンドのリスト（一覧）である。後者は、アプリケーション６０の実行中、アプリケーション６０によって刻々と書き換えられる。
【０１００】
コマンド理解部５５は、人物識別部５２で人物を識別できた場合、画像センサの動作認識部２３３の動作認識結果と音声認識部３３３の音声認識結果に基づき、その人物が発信したコマンドを理解する。その際、アプリケーションから提供されるコマンド辞書記憶部５４の情報を参考にする。
【０１０１】
出力部５６は、人物識別結果と人物状態認識結果とコマンド理解の結果をアプリケーション６０に提供する。
【０１０２】
次に、処理の流れを示す。
【０１０３】
図７は、本実施形態３のヒューマンインタフェースシステム全体の処理の流れを示すフローチャートである。なお、各ステップの詳細は追って説明する。
【０１０４】
まず、画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａの各センサと、総合解析部５０を並行して起動する（ステップＳ７０１）。
【０１０５】
各センサは、撮影装置２１、録音装置３１、補助センサ装置４１を用いて、まず、環境全体から信号を獲得する（ステップＳ７０２）。
【０１０６】
画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａの各センサは、画像解析部２３ａ、音声解析部３３ａ、信号解析部４３を用いて、ステップＳ７０２で得た信号を解析し、解析結果を出力する（ステップＳ７０３）。
【０１０７】
画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａの各センサは、データ／制御信号通信手段７１〜７４を通じて、画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａのうちの他のセンサと、総合解析部５０の解析結果を獲得する（ステップＳ７０４）。
【０１０８】
次に、得られた解析結果を参考に、補助センサ部４０ａを制御して情報を獲得し、補助センサ部４０ａにおいてその情報に基づき人物位置検出処理を実行する。まず、現在得られている信号で人物位置検出処理を実行できるかを調べ（ステップＳ７０５）、実行できる場合（ステップＳ７０５：Ｙ）、現在得られている信号を用いて、人物位置検出処理を実行し、当該結果を出力する（ステップＳ７０６）。
【０１０９】
ステップＳ７０５で現在得られている信号で人物位置検出処理を実行できないと判断した場合（ステップＳ７０６：Ｎ）、および、実行できると判断してステップＳ７０６で人物位置検出処理を実行した場合ともに、現在得られている信号に人物位置検出処理に必要な情報が十分にあったか否かを調べ（ステップＳ７０７）、不足している場合（ステップＳ７０７：Ｎ）、不足している情報を獲得できるように、補助センサ装置４１、撮影装置２１、録音装置３１の次回の信号獲得の制御を、補助センサ装置制御部４２、撮影装置制御部２２、録音装置制御部３２に与える（ステップＳ７０８）。
【０１１０】
次に、補助センサ部４０ａの出力結果と、音声センサ３０ａの音声処理結果と、それまでの画像処理結果を参考に、画像センサ２０ａは、撮影装置２１を制御して画像を獲得し、その色情報を調べ人物位置の決定、および、人間の動作の認識を行う。まず、現在得られている信号で人物動作認識処理を実行できるかを調べ（ステップＳ７０９）、実行できる場合（ステップＳ７０９：Ｙ）、現在得られている信号を用いて、人物動作認識処理を実行し、当該結果を出力する（ステップＳ７１０）。その際、あらかじめ登録しておいた人物映像記憶部２３２の映像データや動作パターン記憶部２３４の動作パターンの情報を参考する。
【０１１１】
ステップＳ７０９で現在得られている信号で人物動作認識処理を実行できないと判断した場合（ステップＳ７０９：Ｎ）、および、実行できると判断してステップＳ７１０で人物動作認識処理を実行した場合ともに、現在得られている信号に人物動作認識処理に必要な情報が十分にあったか否かを調べ（ステップＳ７１１）、不足している場合（ステップＳ７１１：Ｎ）、不足している情報を獲得できるように、補助センサ装置４１、撮影装置２１、録音装置３１の次回の信号獲得の制御を、補助センサ装置制御部４２、撮影装置制御部２２、録音装置制御部３２に与える（ステップＳ７１２）。
【０１１２】
次に、補助センサ部４０ａの出力結果と、画像センサ２０ａの画像処理結果と、それまでの音声処理結果を参考に、音声センサ３０ａは、録音装置３１を制御して音声を獲得し、その波長情報を調べ音源方向の決定、および、人間の音声の認識を行う。まず、現在得られている信号で人物音声認識処理を実行できるかを調べ（ステップＳ７１３）、実行できる場合（ステップＳ７１３：Ｙ）、現在得られている信号を用いて、人物音声認識処理を実行し、当該結果を出力する（ステップＳ７１４）。その際、あらかじめ登録しておいた人物音声記憶部３３２の音声データや音声パターン記憶部３３４の音声パターンの情報を参考する。
【０１１３】
ステップＳ７１３で現在得られている信号で人物動作認識処理を実行できないと判断した場合（ステップＳ７１３：Ｎ）、および、実行できると判断してステップＳ７１４で人物音声認識処理を実行した場合ともに、現在得られている信号に人物音声認識処理に必要な情報が十分にあったか否かを調べ（ステップＳ７１５）、不足している場合（ステップＳ７１５：Ｎ）、不足している情報を獲得できるように、補助センサ装置４１、撮影装置２１、録音装置３１の次回の信号獲得の制御を、補助センサ装置制御部４２、撮影装置制御部２２、録音装置制御部３２に与える（ステップＳ７１６）。
【０１１４】
次に、総合解析部５０ａにおいて、画像情報、音声情報、補助センサの情報に基づき、人物の状態認識、人物識別、コマンド理解を行う（ステップＳ７１７）。人物識別においては人物識別部５２は、あらかじめ人物情報記憶部５１に登録しておいた特定の人物の映像情報や音声情報を参考にして人物を識別し、コマンド理解においてはコマンド理解部５５は、コマンド辞書記憶部５４の情報を参考する。
【０１１５】
ステップＳ７１７で得たコマンド理解の結果は、出力部５６を通してアプリケーション６０に出力される（ステップＳ７１８）。なお、アプリケーション６０に対して、画像情報、音声情報、補助センサの解析結果も併せて出力しても良い。
【０１１６】
信号処理を続行する場合（ステップＳ７１９：Ｙ）、ステップＳ７０５へ戻り、信号処理を繰り返す。
【０１１７】
以上が、本実施形態３による処理全体の流れである。
【０１１８】
次に、各センサにおける処理や、各センサが相互に連動し合い、結果を参照し合う処理についてさらに詳しく説明する。
【０１１９】
まず、補助センサ部４０ａにおける処理を詳しく述べる。
【０１２０】
補助センサ装置４１として、超音波センサを用いる場合は、少なくとも１つ以上の超音波発信素子と受信素子を用意し、人間からの反射波を受信した際の受信信号の振幅情報や位相情報に基づき３次元空間内の物体配置情報を計算する。
【０１２１】
超音波センサの振幅情報と位相情報を用いると静止物体以外の動物体を感知することができる。したがって、環境空間中の動物体を検出することにより人間の位置を検出する。
【０１２２】
補助センサ装置４１として赤外センサを用いる場合は、環境の温度分布を画像の形態にて獲得する。人間の体温の部分に相当し、かつ、人間の大きさに相当する領域を見つけることにより、人間がいる場所を特定する。
【０１２３】
補助センサ装置４１としてレンジセンサを用いた場合、ある時点とその次の時点の３次元情報の差を求めることにより動く物体がわかり、その大きさが通常の人間に相当するものを見つけることで人間がいる場所を特定する。
【０１２４】
補助センサ部４０ａの情報を、撮影装置、録音装置が利用する一例を挙げる。
超音波センサを用いた場合、空間内の動きのある物体の位置情報を撮影装置および録音装置に提供することができる。位置情報が既知となることで、撮影装置は広い空間内のごく限られた領域のみで人物検出を行えば良く、かかる処理時間を大幅に減らすことが可能となる。また、位置情報が既知となることで、録音装置自身が音源位置を検出しなくとも良くなる。
【０１２５】
次に、補助センサ部４０ａが、撮影装置、録音装置からの情報を利用する一例を挙げる。撮影装置２１および録音装置３１は、超音波センサからの位置情報に関わらず、各装置の機能によって人物位置や音源位置を検出した場合、超音波センサはその位置情報をもとに位置近傍に走査し、実際に動きのある物体（人物）の有無を検知する。画像装置は人物以外の部分を人物位置と認識したり、録音装置はＴＶやオーディオといった人物でない音源からの音を検出する可能性があり、こうした誤検出を防止する効果がある。
【０１２６】
また、補助センサ部４０ａが、自身で検出する空間内の動きのある物体の位置情報を利用する一例を挙げる。補助センサ部４０ａは、既知となった動きのある物体の位置情報を利用することで、その物体近傍のみに限定して走査することで高速化し、物体の移動に追従するように走査位置をダイナミックに変更することが可能で、リアルタイム性の高いアクティブな物体追跡センサとしての効果がある。
【０１２７】
次に、画像センサ２０ａを中心とした処理について詳しく述べる。
【０１２８】
画像センサ２０ａは、２台以上の複数の撮影装置、または、１台の撮影装置であっても撮影方向および撮影位置およびピント、ズーム、絞りを始めとした光学パラメータの制御のすべてまたは一部を変更できるものまたはどれも変更できないものを用いる。
【０１２９】
画像情報に基づく人物検出をする際、撮影装置２１から人間がいる場所への方向のほか、距離も求めたい場合は、２台以上の複数の撮影装置を用いるか、１台の撮影装置であっても撮影位置を変更できるか、撮影位置を変更できなかったとしてもピント、ズーム、絞りを始めとした光学パラメータを変更できるものを使用する。その場合、何れの装置設定であってもアプリケーションがコマンドを受けつけたい範囲の人間に対しては、異なる撮影位置、または、異なる光学パラメータによって２枚以上の画像を獲得できるように配置する。以上の条件が満たされれば、魚眼レンズを用いた撮影装置、CMOS形式によって画像の任意の画素を取り出せる撮影装置、可視光以外の色を獲得できる撮影装置を用いることもできる。
【０１３０】
撮影する方向は、補助センサ部４０ａを用いて人物を検出した結果と、音声センサ３０ａの音声情報を用いて音源方向を検出した結果と、画像情報に基づき人物位置を検出したそれまでの結果を参考する。すなわち、ある時点の前で人物位置を検出できていて、かつ、それが音源方向と一致し、実際に人間であったと判断した場合は、その付近を観察できるように撮影方向を定める。しかし、直前に人間の存在を判断した方向と、補助センサ部４０ａが示した人間が存在する方向が異なっていた場合、また、直前に人間の確認ができなかった場合は、補助センサ部４０ａによる人物検出結果の付近を観察できように撮影方向を定める。
【０１３１】
ただし、人間が移動できる速さを越えて、撮影方向を変更することはしない。
例えば、０．１秒後に５ｍ離れた地点に撮影の向きを変更することはしない。直前の結果と補助センサ部４０ａの結果が異なる場合は、直前の結果に従った方向を再度、撮影する。また、人間の存在を確認できなかった場合も、人間の存在を確認できた最後の撮影方向と補助センサ部４０ａが指し示す方向を比較し、人間の移動速度を超えて撮影方向が変化しているならば、最後に撮影した方向を維持する。
【０１３２】
撮影におけるピント、ズーム、絞りを始めとした光学パラメータは、直前に検出した人間の位置の近辺を撮影するように調整する。補助センサ部４０ａが人物までの距離などを出力できる場合は、方向の制御と同様の仕組みで参考にする。
【０１３３】
画像による人物検出、音声による音源検出、補助センサ４０ａによる人物位置検出で、遮断物などの影響により人物や音源の検出をするに至らなかった場合は、各検出過程から撮影すべき方向や位置が指定されるので、指定された方向や位置を観察できるように撮影装置２１を制御する。
【０１３４】
次に、人物映像記憶部２３２における人物映像パターン情報の登録と、動作パターン記憶部２３４における動作パターンの登録について説明する。
【０１３５】
人物検出部２３１の人物検出処理や動作認識部２３３の動作認識処理に先立ち、人物映像記憶部２３２に対する人物映像パターン情報の登録と、動作パターン記憶部２３４に対する動作パターン登録を行う。
【０１３６】
人物映像記憶部２３２には、人間と認識でき、さらに、その人間の位置、向きを特定できる人物映像パターン情報を記憶する。人間を撮影する方向は、人間の向きの特定に必要な画像を獲得できる方向とする。これは、あらかじめ配置する撮影装置２１の位置、アプリケーション６０の出力を表示する表示装置およびアプリケーションが操作を許可する表示装置に対する人間の向きの範囲に基づく。人間を撮影する際の画像の解像度（「大きさ」と読み替えてもよい。画素数で換算する面積に相当する。）は、人間の向きを特定するのに必要な解像度とする。人間の向きを顔の向きによって定める場合は、顔の輪郭、目、鼻、口などの位置を判別できる解像度の画像を記憶する。人間の向きを目の向きによって定める場合は、目を判別でき、かつ、視線を判別できるように白目、黒目の位置を判別できるように撮影する。
【０１３７】
以上のように、事前に人間を撮影しておく画像は、撮影装置と人間の向き、距離に応じて複数の画像を撮影する場合がある。また、アプリケーションの要求項目に応じて、表情（笑い、泣きなど）の異なる画像、化粧、ヒゲ、メガネの有無の画像などを撮影する場合もありうる。
【０１３８】
以上の情報を復元できるのであれば、記憶する画像のデータ量を圧縮しておいてもよい。また、人間の向き、位置を特定できるのであれば、人間の姿全体ではなく、顔、目等の部分のみを記憶しておいてもよい。人間の姿全体を圧縮した情報と、特徴のある部分の圧縮していない情報を合わせるなど、以上の情報を組み合わせて記憶することもできる。
【０１３９】
動作パターン記憶部２３４には、アプリケーション６０がコマンドと認知するのに必要な人間の動作を記憶する。また、手、足、頭、ひじなど、人間の主要な関節部分の肌の座標変化を動作パターンとして記憶することもできる。
【０１４０】
次に、画像センサ２０ａにおける画像情報に基づく人物検出処理について述べる。人物検出処理は以下のように行う。
【０１４１】
人物検出で用いる画像センサ２０ａで取り込まれる画像情報は、補助センサ部４０ａの出力、音声センサ３０ａによる音源検出結果、および、直前の画像センサ２０ａによる人物検出結果を参考にして撮影されたものとする。入力された画像中、顔に相当する部分領域の探索には画素の色情報と位置情報を用いる。そして、ピンホールカメラなどのカメラモデルにしたがって撮影装置の位置と画像上の検出位置から人間が存在する方向を計算する。撮影装置が複数あり、複数の画像上で検出できた場合は、三角測量の原理に基づき、人間が存在する方向のみならず位置も計算する。
【０１４２】
人間の顔をあらわす画像情報は、人物映像記憶部２３２に登録されたものを用いる。後述するように人間の顔は、アプリケーションの仕様にしたがって正面から撮影した映像のほか、横から撮影した画像を含む。その場合は、登録されているすべての向きから撮影した見え方の顔を検出する。
【０１４３】
なお、直前まで人間の存在を確認できていたにも関わらずできなくなった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ部４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する。それでも、人物を検出できないと判断した場合は、撮影した方向に人間がいなかったと判断する。
【０１４４】
次に、画像センサ２０ａにおける画像情報と音声情報に基づく動作認識は以下のように行われる。動作認識で用いる画像情報は、補助センサ部４０ａの出力、音声センサ２０ａによる音源検出結果、および、画像センサ２０ａの直前の人物検出結果を参考にして撮影されたものとする。前述の動作パターン記憶部２３４に記憶された情報と同様に、入力画像から情報を抽出し、その変化を、動作パターン記憶部２３４に記憶されている動作パターンと照合する。入力画像中における動作と動作パターン中の動作の一致は、動画像の連続する各画像における情報を記憶した動作パターンにおけるそれらとの差をとり、動画像全体を通した累積値により判断する。もしくは、入力画像における変化を、離散コサイン変換、フーリエ変換などによって近似し、同じく近似した動作パターン中の動作と、変換された係数の比較によって一致を判断する。
【０１４５】
なお、人間の存在を確認できたにも関わらず動作によるコマンド理解ができなかった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する。
【０１４６】
次に、音声センサ３０ａを中心とした処理について詳しく説明する。
【０１４７】
音声センサ３０ａは、２台以上の複数の録音装置、または、１台の録音装置をアプリケーションがコマンドを受け付けようとする範囲の人間の音声を獲得できるように配置する。
【０１４８】
録音装置の出力は、補助センサ部４０ａを用いて人物を検出した結果と、画像情報を用いて人物位置を検出した結果と、音声情報に基づき音源方向を検出したそれまでの結果を参考にした、特定の方向の音声に関する信号とする。すなわち、ある時点の前で人物の発声に相当する音声を検出できていて、かつ、それが画像から判断した人間が存在する方向と一致し、実際に人間であったと判断した場合は、その付近を指向した音声信号に関する情報を出力する。しかし、直前に人間の存在を判断した方向と、補助センサ４０ａが示した人間が存在する方向が異なっていた場合、また、直前に人間の確認ができなかった場合は、補助センサ部４０ａによる人物検出結果の付近を指向した音声信号に関する情報を出力する。
【０１４９】
なお、画像による人物検出、音声による音源検出、補助センサ４０ａによる人物位置検出で、遮断物などの影響により人物や音源の検出をするに至らなかった場合は、各検出過程から録音装置３１が録音すべき指向方向が指定されるので、その方向を指向した音声情報を出力する。
【０１５０】
次に、音源検出処理を述べる。音源検出で用いる音声情報は、補助センサ部４０ａの出力、画像センサ２０ａによる人物検出結果、および、直前の音源検出結果を参考にして特定の方向を指向して出力された音声情報とする。音声情報の周波数特性を調べ、後述する人物音声として記憶された情報の特徴との一致を判断することにより人物音声の有無を判断する。人物音声がないと判断した場合は、音声情報の獲得を指向した方向に人間がいなかったと判断する。
【０１５１】
複数の録音装置３１をある程度離して配置した場合は、音声が録音された時間の差に基づき、音源位置を特定する。また、複数箇所にそれぞれ複数の録音装置を配置した場合は、それぞれの箇所において音源方向を特定し、それぞれの箇所の録音装置群から計算された音源方向の重なるところを求めることにより、音源位置を求める。直前まで人間の音声を確認できていたにも関わらず音源を検出できなくなった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する
音声情報と画像情報に基づく音声認識において、当該音声認識で用いる画像情報は、補助センサ部４０ａの出力、音源検出結果、および、直前の人物検出結果を参考にして撮影されたものとする。なお、人間の音声を検出できたにも関わらず音声によるコマンド理解ができなかった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する。
【０１５２】
次に、総合解析部５０ａを中心にした処理について詳しく説明する。
【０１５３】
人物識別部５２による人物識別処理や、人物状態認識部５３における人物状態認識処理に先立ち、人物情報記憶部５１の登録情報やコマンド辞書記憶部５４の登録情報を更新する。
【０１５４】
人物情報記憶部５１には、映像情報、音声情報とも、アプリケーションが操作を許可する特定の個人名または複数名を識別するのに必要な情報を記憶する。映像情報は、人物を特定するのに必要な、各人を撮影した映像を記憶する。事前に人間を撮影しておく画像は、撮影装置と人間の向き、距離に応じて複数の画像を撮影する場合がある。また、アプリケーションの要求項目に応じて、表情（笑い、泣きなど）の異なる画像、化粧、ヒゲ、メガネの有無の画像などを撮影する場合もありうる。人物の特定に必要な画像を復元できるのであれば、記憶する画像のデータ量を圧縮しておいてもよい。また、個人差を確認できるのに必要な、顔のみ、または、さらに分解して目、口、鼻などの部分だけを記憶してもよい。また、以上の情報を組み合わせたり、または、復元可能であれば圧縮の上、組み合わせて記憶することもできる。
【０１５５】
音声情報は、人物を特定するのに必要な、各人が発生した音響を記憶する。各人の発声は個別に記憶する。アプリケーションが受け付けるコマンドを記憶するか、または、アプリケーションが受け付けるコマンドを復元するのに必要な発声を記憶する。後者の場合は、コマンドを分解した音素や単語を録音することになる。記憶の際、録音された音声をそのまま記憶するのではなくコマンドまたは音素または単語ごとの周波数特性または周波数特性の変化を記憶することもできる。以上の情報を組み合わせたり、または、復元可能であれば圧縮の上、組み合わせて記憶することもできる。
【０１５６】
コマンド辞書記憶部５４には２種類の情報を記憶する。一つは、アプリケーションが受け付ける各コマンドと、動作パターン記憶部２３４および音声パターン記憶部３３４中のコマンドの関連を表すリンクであり、もう一つは、アプリケーションがそのときどきで受理可能なコマンドのリスト（一覧）である。後者のコマンド辞書は、アプリケーションの進行にしたがって逐次、アプリケーションが書き換える、したがって、動作認識結果と音声認識結果に基づくコマンド理解処理は、そのときどきの処理において、絶えずコマンド辞書を参照する。
【０１５７】
次に、総合解析部５０ａの人物識別部５２による人物識別について述べる。人物識別部５２は、画像センサ２０ａの人物検出と音声センサ３０ａの音源検出において、それぞれ、人物映像の確認、人物音声の検出ができ、かつ、人物検出結果と音源検出結果でそれぞれ検出した位置が重なる場合のみ、人物を観察できたと判断する。後述の人物識別、コマンド理解においては、人物を確認できた場合の画像情報、音声情報のみ有効とする。人物識別部５２が人物を観察できたと判断した場合、人間の位置、方向を、補助センサ４０ａによる人物位置検出結果、画像情報による人物検出結果、および、音声情報による音源検出結果の重なる位置、方向として出力する。姿勢は、画像情報による人物検出結果に従う。
【０１５８】
人物識別部５２は、画像情報および音声情報を、人物情報記憶部５１にあらかじめ登録された特定の人物の画像情報および音声情報と照合することにより判断する。照合に先立ち、撮影装置２１で獲得した画像情報や録音装置３１で獲得した音声情報は、特定の人物を撮影した映像情報や特定の人物の発声を録音した音声情報を、人物情報記憶部５１に格納する際に行う方法と同じ方法で加工する。
【０１５９】
例えば、画像情報と音声情報が有効で、かつ、画像情報から判断した人物と音声情報から判断した人物が一致していた場合は、その人物を人物識別結果とし、そうでない場合は、画像情報から判断した結果に付けた得点と、音声情報から判断した結果に付けた得点の大きい方の結果を人物識別結果とする。両者の得点を比較する際、画像情報と音声情報間のバランスを定める重み係数を用意し、その重みを加味した上で判断してもよい。
【０１６０】
さらに、画像情報から判断した人物と音声情報から判断した人物の履歴を参考にしてもよい。画像情報および音声情報から人物を判断した際、それぞれ得点を付けて複数の候補を選出する。それを先の方法にしたがい組合せ、画像情報および音声情報の両方を参考した得点付きの複数の候補を求める。これらの得点を人物候補ごとに累積し、累積値があらかじめ定めたある値を超えた時点で、その人物を認識したと判断する。いったん人物が確定すると、人物検出、音声検出が一定時間途絶えるまではこれを保持する。人物検出、音声検出が一定時間途絶えた場合は、この履歴を抹消し、再度、特定の累積を開始する。人物の履歴を参考する場合で、人物状態認識部５３では人間の存在が確認できなかったが画像情報もしくは音声情報のどちらか一方が得られた場合、その画像もしくは音声情報に対して人物の識別を行い、得られた得点を低めた上でその得点を累積する。ただし、人物の特定の判断、すなわち、累積値があらかじめ定めたある値を超えたかの判断は、人物状態認識部５３で人物の存在が確認された場合のみ行う。
【０１６１】
次に、人物状態認識部５３における人物状態認識処理を説明する。ここで、人物の状態とは、人物の位置、方向、姿勢のことである。補助センサ部４０ａからは人間がいる方向と補助センサ４０ａの機能により距離がわかる。画像センサ２０ａの画像情報からは、人間の存在を確認できた場合に限り方向と距離もわかり、さらに顔の向きに関する情報が登録されている場合は姿勢（顔の向き）もわかる。音声センサ３０ａの音声情報からは、人間の音声を確認できた場合に限り人間の音声が聞こえてくる方向がわかり、環境の複数箇所にそれぞれ複数の録音装置を配置した場合は、環境内での人間の位置がわかる。
【０１６２】
次に、動作認識結果と音声認識結果に基づくコマンド理解について説明する。
【０１６３】
人物識別で人物を識別できていると判断されている間の動作認識結果と音声認識結果のそれぞれに対し、それぞれの結果から得られたコマンドについて、コマンド辞書記億部５４に格納されたアプリケーション６０のコマンドとの対応を調べ、動作から判断したコマンドと音声から判断したコマンドが同じアプリケーションのコマンドに対応していて、かつ、そのコマンドが現在のアプリケーション６０が受け付けることのできるコマンドのリストに入っていた場合は、同コマンドを理解したと判断する。なお、人物識別で人物を識別できていると判断されている状態で、動作認識による結果と音声認識による結果のどちらか一方しか得られていない場合であれば、その結果から得られたコマンドが現在のアプリケーション６０が受け付けることのできるコマンドのリストに入っている場合は、同コマンドを理解したと判断する。
【０１６４】
以上のように理解したコマンド内容をアプリケーションヘ提供する。人物状態認識部５３によって認識した人物の位置、方向、姿勢に関する情報と、人物識別部５２で特定した人物を指し示す情報と、コマンド理解部５５にて理解したコマンドに関する情報を、アプリケーション６０から問い合わせがあった場合に返答する。他の扱いとしては、アプリケーション６０からの問い合わせを待たず、これらの情報が得られたら即座にアプリケーション６０に通信部５７などを用いてアプリケーション６０に通知する処理でも良く、必要な情報が揃った時点でアプリケーション６０に通知するものでも良い。
【０１６５】
次に、総合解析部５０ａにおけるコマンド辞書の生成処理について説明する。
アプリケーション６０の開始に先立ち、コマンド辞書記憶部５４中、アプリケーション６０が受け付ける各コマンドと、動作パターン記憶部２３４および音声パターン記憶部３３４中のコマンドの関連を表すリンクをコマンド辞書記憶部５４に格納する。また、コマンド辞書記憶部５４のアプリケーション６０が受理可能なコマンドのリストは、アプリケーション６０が開始した後、アプリケーション６０が状況に応じて設定する。このリストを空にすることにより、コマンドを受け付けないようにすることもできる。
【０１６６】
（実施形態４）
実施形態４の構成例を図８に示す。
【０１６７】
実施形態４にかかる図８の構成例では、不特定人物の動作コマンド、音声コマンドおよび人物の状態を理解する。実施形態３で説明した図６の構成例に比べて総合解析部５０ｂの構成が異なるものとなっている。この構成は総合解析部５０ｂが、人物情報記憶部５１、人物識別部５２を持っていない。また、コマンド理解部５５は、人物状態認識部５３の結果を、人物識別部５２を介さず直接受け取る構成となっている。
【０１６８】
この構成によれば、人物の識別処理を特に行わず、入力されたすべての人物に関する情報を処理し、不特定人物の動作コマンド、音声コマンドおよび人物の状態を理解する。
【０１６９】
（実施形態５）
本発明の複数のセンサによるヒューマンインタフェースシステムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の複数のセンサによるヒューマンインタフェースシステムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図９に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディスク１００３等の可搬型記録媒体１００１だけでなく、ネットワーク上にある記録装置内の記録媒体１０００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１００５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１００４上にローディングされ、主メモリ上で実行される。
【０１７０】
本発明の複数のセンサによるヒューマンインタフェースシステムについてさらに以下の項を開示する。
【０１７１】
（付記１） 検出対象の範囲と検出精度を決定し、当該検出精度により当該検出対象から特定の検出信号を獲得するセンサとして、検出信号が異なる少なくとも２種類以上のセンサと、
前記各センサで検出された結果間に相互に矛盾がないか否かを調べ、各センサに対する制御情報を生成する総合解析部と、
前記各センサによる検出結果を利用するアプリケーションと、
前記各センサ相互間、前記各センサと前記総合解析部間、前記総合解析部と前記アプリケーション間においてデータと制御情報を通信し合う通信手段を備え、
前記各センサが、他のセンサから得た前記信号検出結果または制御情報、前記総合解析部から得た前記制御情報のいずれかまたはその組み合わせを利用して、次回の信号獲得時における検出対象の範囲と検出精度を決定し、
前記各センサが、前記通信手段を介して、他のセンサに対して、自身の信号検出結果と、他のセンサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力し、
前記総合解析部が、前記通信手段を介して、前記各センサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力することを特徴とする複数のセンサによるヒューマンインタフェースシステム（１）。
【０１７２】
（付記２） 前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備えた付記１に記載の複数のセンサによるヒューマンインタフェースシステム（２）。
【０１７３】
（付記３） 前記検出対象が人であり、前記センサが少なくとも画像センサと補助センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である付記１に記載の複数のセンサによるヒューマンインタフェースシステム（３）。
【０１７４】
（付記４） 前記検出対象が人であり、前記センサが少なくとも音声センサと補助センサを含み、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である付記１に記載の複数のセンサによるヒューマンインタフェースシステム（４）。
【０１７５】
（付記５） 前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサと補助センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である付記１に記載の複数のセンサによるヒューマンインタフェースシステム（５）。
【０１７６】
（付記６） 前記補助センサとして、超音波センサ、赤外センサ、レンジセンサのいずれかまたはそれらの組み合わせを用いた付記３〜５のいずれかに記載の複数のセンサによるヒューマンインタフェースシステム。
【０１７７】
（付記７） 検出対象の範囲と検出精度を決定し、当該検出精度により当該検出対象から特定の検出信号を獲得するセンサの処理として、検出信号が異なる少なくとも２種類以上のセンサの処理と、
前記各センサで検出された結果間に相互に矛盾がないか否かを調べ、各センサの処理に対する制御情報を生成する総合解析処理と、
前記各センサ処理による検出結果を利用するアプリケーション処理と、
前記各センサ処理相互間、前記各センサ処理と前記総合解析処理間、前記総合解析処理と前記アプリケーション処理間においてデータと制御情報を通信し合う通信処理を備え、
前記各センサ処理が、他のセンサ処理から得た前記信号検出結果または制御情報、前記総合解析処理から得た前記制御情報のいずれかまたはその組み合わせを利用して、次回の信号獲得時における検出対象の範囲と検出精度を決定し、
前記各センサ処理が、前記通信手段を介して、他のセンサ処理に対して、自身の信号検出結果と、他のセンサ処理が次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力し、
前記総合解析処理が、前記通信手段を介して、前記各センサ処理が次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力することを特徴とする複数のセンサによるヒューマンインタフェース方法。
【０１７８】
（付記８） 前記検出対象が人であり、前記センサ処理が少なくとも画像センサ処理と音声センサ処理を含み、
前記画像センサ処理の検出信号が人の画像認識情報であり、
前記画像センサ処理が、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識処理を備え、
前記音声センサ処理の検出信号が人の音声認識情報であり、
前記音声センサ処理が、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識処理を備えた付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１７９】
（付記９） 前記検出対象が人であり、前記センサ処理が少なくとも画像センサ処理と補助センサ処理を含み、
前記画像センサ処理の検出信号が人の画像認識情報であり、
前記画像センサ処理が、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識処理を備え、
前記補助センサ処理の検出信号が人の位置情報を検出するために有効な情報である付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８０】
（付記１０） 前記検出対象が人であり、前記センサ処理が少なくとも音声センサ処理と補助センサ処理を含み、
前記音声センサ処理の検出信号が人の音声認識情報であり、
前記音声センサ処理が、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識処理を備え、
前記補助センサ処理の検出信号が人の位置情報を検出するために有効な情報である付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８１】
（付記１１） 前記検出対象が人であり、前記センサ処理が少なくとも画像センサ処理と音声センサ処理と補助センサ処理を含み、
前記画像センサ処理の検出信号が人の画像認識情報であり、
前記画像センサ処理が、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識処理を備え、
前記音声センサ処理の検出信号が人の音声認識情報であり、
前記音声センサ処理が、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識処理を備え、
前記補助センサ処理の検出信号が人の位置情報を検出するために有効な情報である付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８２】
（付記１２） 前記補助センサ処理として、超音波センサ処理、赤外センサ処理、レンジセンサ処理のいずれかまたはそれらの組み合わせを用いた付記９〜１１のいずれかに記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８３】
【発明の効果】
本発明の複数のセンサによるヒューマンインタフェースシステムによれば、画像情報と音声情報を同時に扱うことによって、実際には声がしない人の顔を映した写真やマネキン人形を人間として認識してしまうことや、人間ではない音響機器のスピーカーから流れ出た音声情報を認識してしまうことがなくなり、マンマシンインタフェースの誤動作が減る。同様に、画像情報と音声情報が処理結果を互いに利用することで、声がしないところの映像を処理対象にしたり、人間がいないところの音声を処理対象することがなくなり、処理を誤る確率が減る。また、処理対象データが減ることから、処理速度が向上する。
【０１８４】
本発明の複数のセンサによるヒューマンインタフェースシステムによれば、補助センサを用いて、画像情報と音声情報では扱えない情報を獲得することにより、画像や音声を処理における探索範囲を狭め、処理速度を向上できる。また、補助センサの情報を利用することにより、撮影装置や録音装置の配置数を減らすことができる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示す図
【図２】 図１の基本構成を適用し、図１の画像センサ２０、音声センサ３０、補助センサ４０構成例を詳しく示した図
【図３】 本発明の実施形態１の複数のセンサによるヒューマンインタフェースシステムの信号処理の流れを示したフローチャート
【図４】 本発明の実施形態１にかかる総合解析部５０の信号処理の流れを示したフローチャート
【図５】 本発明の実施形態２にかかる、実施形態１に示した構成を変形した構成例を示す図
【図６】 本発明の実施形態３にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示すブロック図
【図７】 本発明の実施形態３のヒューマンインタフェースシステム全体の処理の流れを示すフローチャート
【図８】 本発明の実施形態４にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示すブロック図
【図９】 本発明の実施形態５にかかる複数のセンサによるヒューマンインタフェースシステムを実現する処理プログラムを記録した記録媒体を示した図
【図１０】 従来におけるセンサを用いたインタフェースの例を示す図
【図１１】 従来におけるセンサを用いたインタフェースの他の例を示す図
【符号の説明】
１０ センサ部
２０，２０ａ 画像センサ
２１ 撮影装置
２２ 撮影装置制御部
２３，２３ａ 画像解析部
２４ 通信部
３０，３０ａ 音声センサ
３１ 録音装置
３２ 録音装置制御部
３３，３３ａ 音声解析部
３４ 通信部
４０，４０ａ 補助センサ部
４１ 補助センサ装置
４２ 補助センサ装置制御部
４３ 信号解析部
４３ａ 人物位置検出部
４４ 通信部
５０，５０ａ，５０ｂ 総合解析部
５１ 人物情報記憶部
５２ 人物識別部
５３ 人物状態認識部
５４ コマンド辞書記憶部
５５ コマンド理解部
５６ 出力部
５７ 通信部
６０，６０ａ アプリケーション
６１ 通信部
７１，７２，７３，７４，７５ データ／制御信号通信手段
７６ 通信路
２３１ 人物検出部
２３２ 人物映像記憶部
２３３ 動作認識部
２３４ 動作パターン記憶部
３３１ 音源検出部
３３２ 人物音声記憶部
３３３ 音声認識部
３３４ 音声パターン記憶部
【発明の属する技術分野】
本発明は、マンマシンインタフェースの技術分野に関し、特にテレビジョンやビデオをはじめとした家電製品、コンピュータなどの操作を、リモートコントローラ、マウス、キーボードなどのボタン操作による入力装置を使わず、声や身振り、手振りで行う装置に関する。
【０００２】
【従来の技術】
現在、テレビジョンやビデオをはじめとした家電製品、コンピュータなどの操作は、リモートコントローラ、マウス、キーボードなどのボタン操作による入力装置が広く用いられている。ボタン操作による入力装置を使わず、声や身振り、手振りで行う装置も開発されつつある。マンマシンインタフェースにおける人物識別やコマンド入力を、利用者の声や身振り、手振りで行う技術として特開2000-326274号公報に記載の技術が知られている。
【０００３】
特開2000-326274号公報に記載の技術では、人物を識別するための視覚情報を複数のカメラの撮影による得るが、被写体位置の探索制御などの撮影制御は、もっぱら当該カメラから得られる情報のみを用いてその制御を行っていた。また、音声認識に用いる音声情報も複数のマイクロフォンから得るが、音声方向の探索制御など音声入力制御は、もっぱらロボットの前後左右に設置された複数のマイクから得られる情報のみを用いてその制御を行っていた。
【０００４】
音声入力制御については、特開平1-195499号公報に記載の技術も知られている。特開平1-195499号公報記載の技術は、セキュリティドアのように、超音波センサによる物体検出結果とカメラから取り込んだ画像データに基づいて入室者の口の位置を見つけ、その口の方向にマイクロフォンの指向性を合わせる技術である。
【０００５】
【発明が解決しようとする課題】
しかし、上記従来技術には以下の問題があった。
【０００６】
従来の特開2000-32674号公報に記載の技術においては、装置またはロボットの目にあたるカメラからの撮影情報、耳にあたるマイクロフォンから得られる音声情報は利用されるものの、両者は独立して扱われている。図１０に示した特開2000-32674号公報において開示されているブロック図においても、画像情報処理、音声情報処理相互に情報がやりとりされることは何ら示されていない。そのため、特開2000-32674号公報に記載の技術では、人間ではない人の顔を映した写真やマネキン人形を人間として認識してしまったり、人間ではない音響機器のスピーカーから流れ出た音声情報を認識してしまうという問題が起こる。このようなことはマンマシンインタフェースの意図としないどころか、人の写真、マネキン人形、人間の声以外の雑音は画像認識、音声認識にとってはノイズとなり、認識率の低下を招いたり、また、不要な対象物から得られる画像情報や音声情報を入力するため余計な情報処理が行われ、処理速度の低下を引き起こす。
【０００７】
次に、特開平1-195499号公報に記載の技術においては、図１１のように、マイクロフォンの指向性制御において超音波センサとカメラによる被探索物の位置情報が利用されるが、音声情報の処理結果を利用することはない。また、超音波センサとカメラによる被探索物の位置検出制御においてマイクロフォンの音声情報の処理結果が利用されることもない。特開平1-195499号公報に記載の技術では、超音波センサやカメラが物体検出のためにセンスや撮影を行っているエリア（例えば、入退室のドア位置）に人物が入った場合には、マイクロフォンの指向性を合わせて音声を効率よく得ることができるが、入退室管理のドア位置のようにあらかじめ狭い探索エリアが設定されている場合のみに有効な技術であって、一般にそのような限定された探索エリアがない場合では、人物が超音波センサやカメラから外れたところに立ち、音声によるコマンド入力を行う場合も多く想定され、特開平1-195499号公報に記載の技術では柔軟に対処できない。
【０００８】
本発明は、以上の状況を考慮し、マンマシンインタフェースの入力情報として適切な情報を取捨選択し、マンマシンインタフェースの誤動作を防止したり、認識率、処理速度の向上を図ることを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の複数のセンサによるヒューマンマシンインタフェースシステムは、検出対象の範囲と検出精度を決定し、当該検出精度により当該検出対象から特定の検出信号を獲得するセンサとして、検出信号が異なる少なくとも２種類以上のセンサと、前記各センサで検出された結果間に相互に矛盾がないか否かを調べ、各センサに対する制御情報を生成する総合解析部と、前記各センサによる検出結果を利用するアプリケーションと、前記各センサ相互間、前記各センサと前記総合解析部間、前記総合解析部と前記アプリケーション間においてデータと制御情報を通信し合う通信手段を備え、前記各センサが、他のセンサから得た前記信号検出結果または制御情報、前記総合解析部から得た前記制御情報のいずれかまたはその組み合わせを利用して、次回の信号獲得時における検出対象の範囲と検出精度を決定し、前記各センサが、前記通信手段を介して、他のセンサに対して、自身の信号検出結果と、他のセンサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力し、前記総合解析部が、前記通信手段を介して、前記各センサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力することを特徴とする。
【００１０】
上記構成により、複数異種のセンサの認識結果を相互参照し合い、相互に矛盾の生じないような信号獲得制御を行うことができ、より正確な利用者のコマンド入力の認識が可能であり、優れたヒューマンインタフェースシステムを提供することができる。
【００１１】
また、上記構成において、前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサと補助センサを含み、前記画像センサの検出信号が人の画像認識情報であり、前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、前記音声センサの検出信号が人の音声認識情報であり、前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、前記補助センサの検出信号が人の位置情報を検出するに有効な情報であることが好ましい。
【００１２】
上記構成により、画像センサによる動作認識結果と、音声センサによる音声認識結果と、他のセンサ（補助センサ）により検出した人物位置情報の結果とを参考にし、相互に矛盾のない、より正確な利用者のコマンド入力の認識が可能であり、優れたヒューマンインタフェースシステムを提供することができる。
【００１３】
なお、上記のように、画像センサを用いた動作認識、音声センサを用いた音声認識、他のセンサを用いた人物位置情報のすべてを組み合わせた構成のみならず、
センサおよび認識結果の組み合わせとして、画像センサを用いた動作認識結果と音声センサを用いた音声認識結果の組み合わせ、画像センサを用いた動作認識結果と他のセンサを用いた人物位置検出結果の組み合わせ、音声センサを用いた音声認識結果と他のセンサを用いた人物位置検出結果の組み合わせなど多様な組み合わせが可能である。
【００１４】
【発明の実施の形態】
（実施形態１）
本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムを述べる。
【００１５】
本発明の実施形態１の複数のセンサによるヒューマンインタフェースシステムは、カメラによる画像の撮影過程およびその認識過程、また、マイクによる音声情報の録音過程およびその認識過程において、それぞれ、それぞれが処理した過去の結果を参考するほか、互いの結果を参考する。さらに、必要に応じて、超音波センサ、赤外センサ、レンジセンサなどの補助センサを用いて得られた情報とその処理結果、また、アプリケーションの実行結果も参考する。各センサは、相互に解析結果や信号獲得制御に関する指示のやり取りを行い、さらに、総合解析部による解析結果や、各センサにおける信号獲得の制御に関する指示のやり取りを行い、センサ間の矛盾を調べつつフィードバック処理を実行し、信号を獲得する範囲および精度を確実に決定し、複数のセンサ全体で整合性のとれた出力を生成するものである。
【００１６】
例えば、認識処理開始当初は、各センサが環境全体から信号を獲得し、各センサにおける獲得信号を解析し、その結果を他のセンサに渡し、次の信号獲得ステップでは、前ステップにおける自らの獲得信号の解析結果、他のセンサからの解析結果、総合解析部による各センサ間で矛盾が生じないように処理した解析結果を考慮し、環境中において、信号を獲得すべき対象の範囲と精度を決定し、信号を獲得するものである。
【００１７】
まず、実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示す。
【００１８】
図１は、本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示す図である。１０はセンサ部で画像センサ２０、音声センサ３０を備えている。４０は補助センサ部、５０は総合解析部、６０はアプリケーションである。ここで、補助センサ部４０は、本発明のヒューマンインタフェースシステムが用いられる対象に応じて、画像センサ２０、音声センサ３０以外に有用な信号を得ることができる一又は複数のセンサを備えたものである。
【００１９】
図１に示すように、本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムでは、センサ部１０の画像センサ２０、音声センサ３０、補助センサ部４０は、各センサの信号処理において他のセンサで得られた信号処理結果を相互に利用し合い、かつ、他のセンサの制御を指示するものとなっている。図１に示すように、センサ部１０の画像センサ２０と音声センサ３０間には、双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７１が設けられている。また、センサ部１０と補助センサ部４０間にも双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７２が設けられている。さらに、センサ部１０と補助センサ部４０と総合解析部５０の間にも双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７３、７４が設けられている。総合解析部５０とアプリケーション６０の間にも双方向に信号処理結果や制御データをやりとりするデータ／制御信号通信手段７５が設けられている構成となっている。
【００２０】
従来技術で説明した図１０の構成では、各センサにおける信号処理は個別に実行され、それぞれ独立した情報としてアプリケーションに至るものであり、図１１の構成では、音声センサの処理において超音波センサと画像センサの処理結果を利用するものの、情報や制御の流れが一方的であった。それに対し、本発明の構成は、センサ部１０や補助センサ部４０の各センサが、データ／制御信号通信手段７１および７２を通じて、互いに他のセンサの処理結果を利用し、また、他のセンサに対する制御を指示する。さらに、データ／制御信号通信手段７３および７４を通じて、総合解析部５０の処理結果をフィードバックして利用したり、総合解析部５０から各センサに対する制御の指示を受ける構成となっている。総合解析部５０はセンサ部１０、補助センサ部４０にあるすべてのセンサの処理結果を入力とし、各センサ間の矛盾を調べつつフィードバック処理を実行し、装置のセンサ全体で整合性のとれた出力を生成するものとなっている。さらに、総合解析部５０は状況に応じて、データ／制御信号通信手段７５を通じて、アプリケーション６０の実行結果を参考したり、アプリケーション６０から信号処理に関する指示を受け、それをもとに各センサを制御する構成となっている。
【００２１】
図１の基本構成を適用し、図１の画像センサ２０、音声センサ３０、補助センサ４０構成例を詳しく示した図を図２に示す。
【００２２】
センサ部１０は、画像センサ２０、音声センサ３０を備え、画像センサ２０、音声センサ３０は、以下のように、それぞれ、センサ制御部、センサ装置、センサ信号解析部、通信部の４つの部分を備えている。
【００２３】
画像センサ２０は、撮影装置２１、撮影装置制御部２２、画像解析部２３、通信部２４の４つの部分から成る。
【００２４】
音声センサ３０は、録音装置３１、録音装置制御部３２、音声解析部３３、通信部３４の４つの部分を備えている。
【００２５】
補助センサ部４０は、本発明のヒューマンインタフェースシステムが用いられる対象に応じて、画像センサ、音声センサ以外に有用な信号を得ることができる一又は異種複数の各種センサを備えたものである。例えば、超音波センサ、赤外線センサ、レンジセンサなどが挙げられる。補助センサ部４０に含まれる各補助センサは、それぞれ、補助センサ装置４１、補助センサ装置制御部４２、信号解析部４３、通信部４４の４つの部分を備えている。
【００２６】
撮影装置２１、録音装置３１、補助センサ装置４１は、環境中から信号を獲得する装置である。撮影装置２１は、環境を撮影し、画像情報を生成する部分である。録音装置３１は、録音装置環境の音響を録音し、音声情報を生成する部分である。補助センサ装置４１は、環境の状態を表す信号を獲得する部分である。
【００２７】
通信部２４、３４、４４は、データ／制御信号通信手段７１〜７４を通じて、他のセンサまたは総合解析部５０との通信インタフェースを制御する部分である。相互に解析結果や信号獲得制御に関する指示のやり取りを制御する。
【００２８】
撮影制御部２２および画像解析部２３、録音装置制御部３２、音声解析部３３、補助センサ装置制御部４２および信号解析部４３は、それぞれ連動してセンサ信号獲得制御および信号解析を行う。センサ信号獲得制御および信号解析には、以下の、第１のセンサ信号獲得制御および信号解析、第２のセンサ信号獲得制御および信号解析、第３のセンサ信号獲得制御および信号解析がある。
【００２９】
第１のセンサ信号獲得制御および信号解析は、センサ信号獲得制御として、環境中において、信号を獲得する対象の範囲および獲得する精度を決定し、センサ装置（画像センサ装置２１、音声センサ装置３１、補助センサ装置４１）を制御する。その際、必要に応じて、データ／制御信号通信手段７１〜７４を通じて、他のセンサ（画像センサ２０、音声センサ３０、補助センサ部４０に含まれる他のセンサ）の解析結果、総合解析部５０の結果、当該センサ自身のそれまでの解析結果を得て、それらを参考にしてセンサ装置を制御する。信号解析として、獲得した信号の処理にあたり、必要に応じて、他のセンサの解析結果、総合解析部５０の結果、当該センサ自身のそれまでの解析結果を得て、それらを参考して信号を解析する。
【００３０】
第２のセンサ信号獲得制御および信号解析は、第１のセンサ信号獲得制御および信号解析よりさらに、他のセンサや総合解析部５０との間の解析結果や制御指示のフィードバックを重視するものである。まず、センサ信号獲得制御として、データ／制御信号通信手段７１〜７４を通じて、他のセンサまたは総合解析部５０から受けた、環境中において、信号を獲得する対象の範囲および獲得する精度に関する指示を得て、その指示にしたがってセンサ装置を制御する。制御開始当初においてかかる指示が得られていない場合、環境中、信号を獲得する対象の範囲および獲得する精度の決定にあたり、必要に応じて、データ／制御信号通信手段７１〜７４を通じて、他のセンサの解析結果、総合解析部５０の結果、当該センサ装置自身のそれまでの解析結果を得て、それらを参考にして決定し、センサ装置を制御する。信号解析として、獲得した信号の処理にあたり、必要があれば、データ／制御信号通信手段７１〜７４を通じて、他のセンサの解析結果、総合解析部５０の結果、当該センサ自身のそれまでの解析結果を得て、それらを参考にして信号を解析する。また、解析結果に基づき、必要に応じて、データ／制御信号通信手段７１〜７４を通じて、他のセンサに対して、環境中において、信号を獲得する対象の範囲および獲得する精度に関して指示データを与える。
【００３１】
第３のセンサ信号獲得制御および信号解析は、第２のセンサ信号獲得制御および信号解析と同様、他のセンサや総合解析部５０との間の解析結果や制御指示のフィードバックを重視しつつ、かつ、フィードバックを受動的に受けるのみでなく、フィードバック情報を採用するか否かを自律的に判断するものである。まず、センサ信号獲得制御として、データ／制御信号通信手段７１〜７４を通じて、他のセンサまたは総合解析部５０から受けた、環境中、信号を獲得する範囲および精度に関するフィードバックされた指示を得て、その指示に従うか否かを他のセンサの解析結果、総合解析部５０の結果、センサ自身のそれまでの解析結果を参考にして判断し、従う場合は、同指示に従ってセンサ装置を制御する。従わないと判断した場合、または、他のセンサ、総合解析部５０から信号を獲得する範囲および精度に関する指示のフィードバックがない場合は、それまでに得られている他のセンサの解析結果、総合解析部５０の結果、センサ自身の解析結果を参考にして信号を獲得する範囲および精度を判断し、センサ装置を制御する。なお、信号解析については第２のセンサ信号獲得制御および信号解析で述べた信号解析と同様で良い。
【００３２】
次に、総合解析部５０を説明する。
【００３３】
総合解析部５０は、センサ部１０、補助センサ部４０の解析結果、アプリケーションの実行結果を参考して、複数のセンサ間で最も矛盾の少ない結果を解析して求め、当該解析結果に基づき、必要に応じて各センサ部１０、補助センサ部４０に環境中、信号を獲得する対象の範囲および獲得する精度に関して指示する部分である。
【００３４】
総合解析部５０は、データ／制御信号通信手段７３、７４を通じて、センサ部１０、補助センサ部４０の解析結果を獲得し、さらに、データ／制御信号通信手段７５を通じて、アプリケーション６０からセンサ制御に関する指示を得る。信号処理結果を、データ／制御信号通信手段７５を通じて、アプリケーション６０に提供する。さらに、必要に応じてアプリケーション６０から実行結果のフィードバックを獲得する。それら得た情報をもとに、複数のセンサ間で最も矛盾の少ない結果を求める。当該解析結果に基づき、必要があれば、データ／制御信号通信手段７３、７４を通じて、センサ部１０、補助センサ部４０に対して、環境中、信号を獲得する対象の範囲および獲得する精度に関する指示を与える。
【００３５】
次に、本発明の実施形態１の複数のセンサによるヒューマンインタフェースシステムの信号処理の流れを図３のフローチャートを参照しつつ説明する。
【００３６】
まず、センサ部１０、補助センサ部４０の各センサと、総合解析部５０を並行して起動する（ステップＳ３０１）。
【００３７】
センサ部１０、補助センサ部４０の各センサは、撮影装置２１、録音装置３１、補助センサ装置４１を用いて、まず、環境全体から信号を獲得する（ステップＳ３０２）。
【００３８】
センサ部１０、補助センサ部４０の各センサは、画像解析部２３、音声解析部３３、信号解析部４３を用いて、ステップＳ３０２で得た信号を解析する（ステップＳ３０３）。
【００３９】
データ／制御信号通信手段７１〜７４を通じて、解析結果を出力し（ステップＳ３０４）、さらに、解析結果に応じて、他のセンサに対し、信号の獲得の制御に関する指示を出す（ステップＳ３０５）。
【００４０】
センサ部１０、補助センサ部４０の各センサは、データ／制御信号通信手段７１〜７４を通じて、センサ部１０、補助センサ部４０のうちの他のセンサと、総合解析部５０の解析結果、および他のセンサから受けた信号の獲得制御に関する指示を獲得する（ステップＳ３０６）。
【００４１】
次に、データ／制御信号通信手段７１〜７４を通じて、他のセンサ、総合解析部５０から信号の獲得の制御に関する指示の有無を調べる（ステップＳ３０７）。
【００４２】
信号の獲得の制御に関する指示があれば（ステップＳ３０７：Ｙ）、他のセンサ、総合解析部５０および過去の解析結果を参考した場合、当該指示に従って良いかを判断し（ステップＳ３０８）、当該指示に従って良いと判断した場合は（ステップＳ３０８：Ｙ）、各センサにおいて撮影装置２１、録音装置３１、補助センサ装置４１を用いて、当該指示に従って環境の信号を獲得する（ステップＳ３０９）。
【００４３】
ステップＳ３０８において当該指示に従って良いと判断しなかった場合は（ステップＳ３０８：Ｎ）、または、ステップＳ３０７において信号の獲得の制御に関する指示がない場合（ステップＳ３０７：Ｎ）、他のセンサの解析結果、総合解析部５０の結果、自分のこれまでの解析結果をもとに、環境中において、次に信号を獲得する対象の範囲および獲得する精度を決定し、その決定に従って環境の信号を獲得する（ステップＳ３１０）。
【００４４】
次に、獲得した信号を、他のセンサ、総合解析部５０の解析結果、過去の解析結果を参考に解析する（ステップＳ３１１）。
【００４５】
データ／制御信号通信手段７１〜７４を通じて、解析結果を出力し（ステップＳ３１２）、さらに、解析結果に応じて、他のセンサに対し、信号の獲得の制御に関する指示を出す（ステップＳ３１３）。
【００４６】
ステップＳ３０５からステップＳ３１３を繰り返す。
【００４７】
総合解析部５０は、次の図４のフローチャートに示した流れにより処理を実行する。
【００４８】
総合解析部５０は、データ／制御信号通信手段７５を通じて、アプリケーション６０からセンサ部１０、補助センサ部４０の各センサにおける、信号の獲得の制御に関する指示の有無を調べ（ステップＳ４０１）、指示があれば（ステップＳ４０１：Ｙ）、その指示を各センサに与える（ステップＳ４０２）。指示がない場合は、Ｓ４０３にすすむ。
【００４９】
総合解析部５０は、データ／制御信号通信手段７１〜７４を通じて、各センサから信号処理結果を得て、さらに、データ／制御信号通信手段７５を通じて、アプリケーション６０から実行結果を獲得する（ステップＳ４０３）。
【００５０】
総合解析部５０は、すべての結果のうち、複数の間で最も矛盾の少ない結果を求める（ステップＳ４０４）。
【００５１】
総合解析部５０は、データ／制御信号通信手段７５を通じて、解析結果をアプリケーション６０に提供する（ステップＳ４０５）。また、解析結果に応じて、データ／制御信号通信手段７１〜７４を通じて、各センサに信号の獲得制御に関する指示を出す（ステップＳ４０６）。
【００５２】
ステップＳ４０１からステップＳ４０６を繰り返す。
【００５３】
以上、本発明の複数のセンサによるヒューマンインタフェースシステムによれば、センサ部１０、補助センサ部４０の各センサは、相互に解析結果や信号獲得制御に関する指示のやり取りを行い、さらに、総合解析部５０による解析結果や信号獲得制御に関する指示のやり取りを行い、センサ間の矛盾を調べつつフィードバック処理を実行し、信号を得る範囲および精度を確実に決定し、複数のセンサ全体で整合性のとれた出力を生成することができる。
【００５４】
（実施形態２）
本発明の実施形態２の複数のセンサによるヒューマンインタフェースシステムは、実施形態１に示した構成を変形した構成としたものである。実施形態１で示した図１の構成は、センサとして、センサ部１０の画像センサ２０、音声センサ３０、補助センサ部４０を備えた構成であったが、そのバリエーションとして、図５（ａ）〜（ｃ）の構成がある。図５（ａ）は、図１の構成から補助センサ部４０を省略したもの、図５（ｂ）は、図１の構成から音声センサ３０を省略したもの、図５（ｃ）は、図１の構成から画像センサ２０を省略したものとなっている。
【００５５】
図５（ａ）は、補助センサ部４０を必要としない場合、画像センサ２０と音声センサ３０の間で、データ／制御信号通信手段７１を通じて、相互に信号処理結果を得て、さらに、データ／制御信号通信手段７３を通じて、総合解析部５０から解析結果を獲得し、また、データ／制御信号通信手段７５を通じてアプリケーション５０から得た制御指示内容を総合解析部５０を介して得て、すべての結果のうち、複数の間で最も矛盾の少ない結果を求めるものである。
【００５６】
図５（ｂ）は、画像情報だけでアプリケーションを操作する場合、音声センサ３０を省略した構成とし、画像センサ２０と補助センサ部４０の間で、データ／制御信号通信手段７２を通じて、相互に信号処理結果を得て、さらに、データ／制御信号通信手段７３、７４を通じて、総合解析部５０から実行結果を獲得し、また、データ／制御信号通信手段７５を通じてアプリケーション６０から得た制御指示内容を総合解析部５０を介して得て、すべての結果のうち、複数の間で最も矛盾の少ない結果を求めるものである。
【００５７】
図５（ｃ）は、音声情報だけでアプリケーションを操作する場合、画像センサ２０を省略した構成とし、音声センサ３０と補助センサ部４０の間で、データ／制御信号通信手段７２を通じて、相互に信号処理結果を得て、さらに、データ／制御信号通信手段７３、７４を通じて、総合解析部５０から実行結果を獲得し、また、データ／制御信号通信手段７５を通じてアプリケーション６０から得た制御指示内容を総合解析部５０を介して得て、すべての結果のうち、複数の間で最も矛盾の少ない結果を求めるものである。
【００５８】
何れの場合でも、実施形態１と同じく、センサ間で処理結果と制御が行き交い、それらの結果を総合して解析することにより、出力を生成し、次のステップで環境中から獲得する信号の範囲と精度を決定する。
【００５９】
（実施形態３）
本発明の実施形態３の複数のセンサによるヒューマンインタフェースシステムは、実施形態１に示した基本構成を、人の音声入力による操作指示、身振りによる操作指示を受け付けるヒューマンインタフェースシステムに適用したものであって、解析結果や信号獲得制御に関する指示のやり取りを行い、センサ間の矛盾を調べつつ複数のセンサ全体で整合性のとれた出力を生成するとともに、検出対象である人の音声入力による操作指示内容、身振りによる操作指示内容を解析して受け付けるシステムである。
【００６０】
図６は、本発明の実施形態３にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示すブロック図である。図６に示すように、本発明の実施形態３の構成は、センサ部１０ａ、補助センサ部４０ａ、総合解析部５０ａ、アプリケーション６０を備えている。センサ部１０ａは、画像センサ２０ａ、音声センサ３０ａを備えている。なお、検出対象は人、人の声、人の身振りである。
【００６１】
ここで、画像センサ２０ａは、人の画像データを得る機能に加え、人の動きから身振りによる操作指示内容を解析するジェスチャ解析機能を備えている。また、音声センサ３０ａは、人の音声データを得る機能に加え、人の音声による操作指示内容を解析する音声解析機能を備えている。また、補助センサ部４０ａは、画像センサ２０ａ、音声センサ３０ａの処理に対する有用な信号を得るものであり、例えば、人の位置および人がマネキンやラジオなどの静止物でなく、動いているかものであるかを検出するために有用なセンサとして、超音波センサが挙げられ、人がマネキンやラジオなどの無生物ではなく、生物であることを検出するために有用なセンサとして、赤外線センサ（サーモグラフィを生成するセンサ）などが挙げられる。
【００６２】
また、この構成例では、各データ／制御信号通信手段７１〜７４、７５は、１つの通信路７６を共用する形で形成されている。
【００６３】
各センサの構成と処理内容をさらに詳しく説明する。
【００６４】
画像センサ２０ａは、撮影装置２１、撮影装置制御部２２、画像解析部２３ａ、通信部２４を備えている。画像解析部２３ａは、人物検出部２３１、人物映像記憶部２３２、動作認識部２３３、動作パターン記憶部２３４を備えている。
【００６５】
撮影装置２１は、カメラ等、映像を獲得する一又は複数の装置であって、撮影範囲の情景を画像として獲得する。動的に撮影方向を変えられるものとする。
【００６６】
撮影制御部２２は、画像解析部２３ａの画像解析による人物検出結果、音声センサ３０ａの音声による音源検出結果、補助センサ４０ａによる人物位置検出結果に基づき、画像情報の獲得を指向する方向、位置、光学パラメータを決定した上で、撮影装置２１を制御する。なお、総合解析部５０ａやアプリケーション６０によって撮影制御の指示を受ける場合もある。
【００６７】
画像解析部２３ａは、画像を解析する部分であるが、本実施形態３では、画像解析により人物検出とジェスチャ入力によるコマンド認識を行う。
【００６８】
人物検出部２３１は、画像情報から人物に相当する映像パターンを探索する部分である。撮影装置２１により獲得された画像情報から、人物映像記憶部２３２に蓄積された画像パターンを参考にして人物画像パターンを探索し、当該人物画像パターンの画像上での位置と撮影装置２１の位置から人物位置を決定し、画像上での見え方に応じて人物の向きを決定する。
【００６９】
人物映像記憶部２３２は、探索対象となる画像パターンを蓄積する部分であり、ここでは人間だと認識できる映像パターンを記憶している。
【００７０】
動作認識部２３３は、人物検出部２３１で検出された人物画像データの動き（ジェスチャ）を解析して、身振り（ジェスチャ）によるコマンドを認識する部分である。動作認識にあたり、動作パターン記憶部２３４のデータとのマッチングを行って、その人物がジェスチャにより入力したコマンドを認識する。
【００７１】
動作パターン記憶部２３４は、コマンドとそのときの人間の動作パターンの映像を対応づけて記憶する部分である。
【００７２】
次に、画像センサ２０ａにおける、音声センサ３０ａ、補助センサ４０ａ、総合解析部５０ａからのデータ、制御指示のフィードバックを受けた動作認識処理について説明する。
【００７３】
画像情報と音声情報に基づく動作認識は、音声センサ３０ａにより検出された人物音声を発する音源位置情報をもとに、当該人物の所定時間の画像情報の変化に基づき人間の動作を認識する。その際、動作パターン記憶部２３４の情報を参考する。
【００７４】
次に、画像情報と音声情報と補助センサ４０ａによる人物検出情報に基づく動作認識は、音声センサ３０ａにより検出された人物音声を発する音源位置情報と、補助センサ４０ａにより検出された人物位置情報をもとに、当該人物の所定時間の画像情報の変化に基づき人間の動作を認識する。その際、動作パターン記憶部２３４の情報を参考する。
【００７５】
画像情報と音声情報と補助センサ４０ａによる人物検出情報と総合解析部５０ａの解析結果とアプリケーション６０の制御指示に基づく動作認識は、音声センサ３０ａにより検出された人物音声を発する音源位置情報と、補助センサ４０ａにより検出された人物位置情報と、総合解析部５０ａによる各センサ間で最も矛盾の少ない解析情報と、アプリケーション６０からの制御指示内容をもとに、当該人物の所定時間の画像情報の変化に基づき人間の動作を認識する。その際、動作パターン記憶部２３４の情報を参考する。
【００７６】
次に、音声センサ３０ａは、録音装置３１、録音装置制御部３２、音声解析部３３ａ、通信部２４を備えている。音声解析部３３ａは、音源検出部３３１、人物音声記憶部３３２、音声認識部３３３、音声パターン記憶部３３４を備えている。
【００７７】
録音装置３１は、マイク等、音声を獲得する一又は複数の装置であり、音声を音声情報として獲得する。動的に指向性を設定できるものとする。
【００７８】
録音装置制御部３２は、画像センサ２０ａによる人物検出結果、音声解析部３３ａによる音源検出結果、補助センサ４０ａによる人物位置検出結果に基づき、音声情報を獲得する方向、位置、音響パラメータを決定した上で、録音装置３１を制御する。なお、総合解析部５０ａやアプリケーション６０によって撮影制御の指示を受ける場合もある。
【００７９】
音声解析部３３ａは、音声を解析する部分であるが、本実施形態３では、音声解析により人物検出と音声入力によるコマンド認識を行う。
【００８０】
音源検出部３３１は、音声情報から人物に相当する音声パターンを探索する部分である。音声情報と人物音声記憶部３３２に記憶された人物に相当する音響パターンとを比較して人物音声パターンを持つ音源を探し出し、録音装置３１の位置と人物に相当する音響パターンの強度に基づき、人間の発声に相当する音源方向を決定する。
【００８１】
人物音声記憶部３３２は、探索対象となる音声パターンを蓄積する部分であり、ここでは人間が発声する音響パターンを記憶している。
【００８２】
音声認識部３３３は、音源検出部３３１で検出された音声入力を解析して、音声入力によるコマンドを認識する部分である。音声認識にあたり、音声パターン記憶部３３４のデータとのマッチングを行って、その人物が音声により入力したコマンドを認識する。
【００８３】
音声パターン記憶部３３４は、コマンドとそのときの人間の動作パターンの音声データを対応づけて記憶する部分である。
【００８４】
次に、音声センサ３０ａにおける、画像センサ２０ａ、補助センサ４０ａ、総合解析部５０ａからのデータ、制御指示のフィードバックを受けた音声認識処理について説明する。
【００８５】
画像情報と音声情報に基づく音声認識は、画像センサ２０ａにより検出された人物の映像を有する物体位置情報をもとに、当該人物の所定時間の音声情報に基づき人間の音声を認識する。その際、音声パターン記憶部３３４の情報を参考する。
【００８６】
次に、画像情報と音声情報と補助センサ４０ａによる人物検出情報に基づく音声認識は、画像センサ２０ａにより検出された人物映像を有する物体位置情報と、補助センサ４０ａにより検出された人物位置情報をもとに、当該人物の所定時間の音声情報に基づき人間の音声を認識する。その際、音声パターン記憶部３３４の情報を参考する。
【００８７】
画像情報と音声情報と補助センサ４０ａによる人物検出情報と総合解析部５０ａの解析結果とアプリケーション６０の制御指示に基づく音声認識は、画像センサ２０ａにより検出された人物映像を有する物体位置情報と、補助センサ４０ａにより検出された人物位置情報と、総合解析部５０ａによる各センサ間で最も矛盾の少ない解析情報と、アプリケーション６０からの制御指示内容をもとに、当該人物の所定時間の音声情報に基づき人間の音声を認識する。その際、音声パターン記憶部３３４の情報を参考する。
【００８８】
次に、補助センサ４０ａは、補助センサ装置４１、補助センサ装置制御部４２、人物位置検出部４３ａ、通信部４４を備えている。
【００８９】
補助センサ装置４１は、超音波センサ、赤外センサ、レンジセンサなど、画像、音声以外の情報のセンサであり、環境の動きの変化を観測する一又は複数のセンサを備え、人物位置を検出するに有効な情報を獲得する。動的にその探索範囲・精度を設定できるものとする。
【００９０】
補助センサ装置制御部４２は、画像センサ２０ａによる人物検出結果、音声解析部３３ａによる音源検出結果、補助センサ部４０ａによる人物位置検出結果に基づき、補助センサ部により信号を獲得する方向、位置、特徴パラメータを決定した上で、補助センサ装置４１を制御する。なお、総合解析部５０ａやアプリケーション６０によって撮影制御の指示を受ける場合もある。
【００９１】
人物位置検出部４３ａは、信号解析部４３の一形態であり、補助センサ部４０ａの出力に基づき、人物の位置を検出する部分である。例えば、補助センサ装置４１が超音波センサであれば、反射波の解析により、物体位置を検出し、赤外線センサであれば、人の体温程度の熱放射を持つ物体位置を検出する。
【００９２】
次に、補助センサ部４０ａにおける、画像センサ２０ａ、音声センサ３０ａ、総合解析部５０ａからのデータ、制御指示のフィードバックを受けた人物位置検出処理について説明する。
【００９３】
画像情報と音声情報に基づく人物位置検出は、画像センサ２０ａにより検出された人物の映像を有する物体位置情報と音声センサ３０ａにより検出された音源位置情報をもとに、当該人物の所定時間の補助センサ部４０ａ自身により検出された信号に基づき人間の位置を検出する。
【００９４】
画像情報と音声情報と補助センサ部４０ａによる人物検出情報と総合解析部５０ａの解析結果とアプリケーション６０の制御指示に基づく音声認識は、画像センサ２０ａにより検出された人物映像を有する物体位置情報と、音声センサ３０ａにより検出された音源位置情報と、補助センサ部４０ａ自身により検出された人物位置情報と、総合解析部５０ａによる各センサ間で矛盾のない解析情報と、アプリケーション６０からの制御指示内容をもとに、当該人物の所定時間の補助センサ部４０ａ自身により検出された信号に基づき人間の位置を検出する。
【００９５】
総合解析部５０ａは、人物情報記憶部５１、人物識別部５２、人物状態認識部５３、コマンド辞書記憶部５４、コマンド理解部５５、出力部５６、通信部５７を備えている。
【００９６】
人物情報記憶部５１は、検出対象となる特定の人物の映像パターンと音声パターンを含む各種情報を記憶する部分である。
【００９７】
人物識別部５２は、画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａが検出した人物が誰であるかを識別する部分である。この人物識別部５２の識別処理において、画像センサ２０ａの識別結果、音声センサ３０ａの識別結果、補助センサ部４０ａの識別結果と、人物情報記憶部５１の情報を総合的に判断して、相互に矛盾した結果が得られている場合は、各センサにおける識別結果の何れかまたは全てが正しくないと判断できる。
【００９８】
人物状態認識部５３は、補助センサ部４０ａの情報を用いて算出した人物位置と、画像情報に基づく人物検出結果と、音声情報に基づく音源検出結果に基づき、人物の位置、向き、姿勢を決定する。
【００９９】
コマンド辞書記憶部５４は、このコマンド辞書記憶部５４は２種類の情報を記憶する。一つは、アプリケーションが受け付ける各コマンドと、動作パターン記憶部２３４および音声パターン記憶部３３４中のコマンドの関連を表すリンクであり、もう一つは、アプリケーションがそのときどきで受理可能なコマンドのリスト（一覧）である。後者は、アプリケーション６０の実行中、アプリケーション６０によって刻々と書き換えられる。
【０１００】
コマンド理解部５５は、人物識別部５２で人物を識別できた場合、画像センサの動作認識部２３３の動作認識結果と音声認識部３３３の音声認識結果に基づき、その人物が発信したコマンドを理解する。その際、アプリケーションから提供されるコマンド辞書記憶部５４の情報を参考にする。
【０１０１】
出力部５６は、人物識別結果と人物状態認識結果とコマンド理解の結果をアプリケーション６０に提供する。
【０１０２】
次に、処理の流れを示す。
【０１０３】
図７は、本実施形態３のヒューマンインタフェースシステム全体の処理の流れを示すフローチャートである。なお、各ステップの詳細は追って説明する。
【０１０４】
まず、画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａの各センサと、総合解析部５０を並行して起動する（ステップＳ７０１）。
【０１０５】
各センサは、撮影装置２１、録音装置３１、補助センサ装置４１を用いて、まず、環境全体から信号を獲得する（ステップＳ７０２）。
【０１０６】
画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａの各センサは、画像解析部２３ａ、音声解析部３３ａ、信号解析部４３を用いて、ステップＳ７０２で得た信号を解析し、解析結果を出力する（ステップＳ７０３）。
【０１０７】
画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａの各センサは、データ／制御信号通信手段７１〜７４を通じて、画像センサ２０ａ、音声センサ３０ａ、補助センサ部４０ａのうちの他のセンサと、総合解析部５０の解析結果を獲得する（ステップＳ７０４）。
【０１０８】
次に、得られた解析結果を参考に、補助センサ部４０ａを制御して情報を獲得し、補助センサ部４０ａにおいてその情報に基づき人物位置検出処理を実行する。まず、現在得られている信号で人物位置検出処理を実行できるかを調べ（ステップＳ７０５）、実行できる場合（ステップＳ７０５：Ｙ）、現在得られている信号を用いて、人物位置検出処理を実行し、当該結果を出力する（ステップＳ７０６）。
【０１０９】
ステップＳ７０５で現在得られている信号で人物位置検出処理を実行できないと判断した場合（ステップＳ７０６：Ｎ）、および、実行できると判断してステップＳ７０６で人物位置検出処理を実行した場合ともに、現在得られている信号に人物位置検出処理に必要な情報が十分にあったか否かを調べ（ステップＳ７０７）、不足している場合（ステップＳ７０７：Ｎ）、不足している情報を獲得できるように、補助センサ装置４１、撮影装置２１、録音装置３１の次回の信号獲得の制御を、補助センサ装置制御部４２、撮影装置制御部２２、録音装置制御部３２に与える（ステップＳ７０８）。
【０１１０】
次に、補助センサ部４０ａの出力結果と、音声センサ３０ａの音声処理結果と、それまでの画像処理結果を参考に、画像センサ２０ａは、撮影装置２１を制御して画像を獲得し、その色情報を調べ人物位置の決定、および、人間の動作の認識を行う。まず、現在得られている信号で人物動作認識処理を実行できるかを調べ（ステップＳ７０９）、実行できる場合（ステップＳ７０９：Ｙ）、現在得られている信号を用いて、人物動作認識処理を実行し、当該結果を出力する（ステップＳ７１０）。その際、あらかじめ登録しておいた人物映像記憶部２３２の映像データや動作パターン記憶部２３４の動作パターンの情報を参考する。
【０１１１】
ステップＳ７０９で現在得られている信号で人物動作認識処理を実行できないと判断した場合（ステップＳ７０９：Ｎ）、および、実行できると判断してステップＳ７１０で人物動作認識処理を実行した場合ともに、現在得られている信号に人物動作認識処理に必要な情報が十分にあったか否かを調べ（ステップＳ７１１）、不足している場合（ステップＳ７１１：Ｎ）、不足している情報を獲得できるように、補助センサ装置４１、撮影装置２１、録音装置３１の次回の信号獲得の制御を、補助センサ装置制御部４２、撮影装置制御部２２、録音装置制御部３２に与える（ステップＳ７１２）。
【０１１２】
次に、補助センサ部４０ａの出力結果と、画像センサ２０ａの画像処理結果と、それまでの音声処理結果を参考に、音声センサ３０ａは、録音装置３１を制御して音声を獲得し、その波長情報を調べ音源方向の決定、および、人間の音声の認識を行う。まず、現在得られている信号で人物音声認識処理を実行できるかを調べ（ステップＳ７１３）、実行できる場合（ステップＳ７１３：Ｙ）、現在得られている信号を用いて、人物音声認識処理を実行し、当該結果を出力する（ステップＳ７１４）。その際、あらかじめ登録しておいた人物音声記憶部３３２の音声データや音声パターン記憶部３３４の音声パターンの情報を参考する。
【０１１３】
ステップＳ７１３で現在得られている信号で人物動作認識処理を実行できないと判断した場合（ステップＳ７１３：Ｎ）、および、実行できると判断してステップＳ７１４で人物音声認識処理を実行した場合ともに、現在得られている信号に人物音声認識処理に必要な情報が十分にあったか否かを調べ（ステップＳ７１５）、不足している場合（ステップＳ７１５：Ｎ）、不足している情報を獲得できるように、補助センサ装置４１、撮影装置２１、録音装置３１の次回の信号獲得の制御を、補助センサ装置制御部４２、撮影装置制御部２２、録音装置制御部３２に与える（ステップＳ７１６）。
【０１１４】
次に、総合解析部５０ａにおいて、画像情報、音声情報、補助センサの情報に基づき、人物の状態認識、人物識別、コマンド理解を行う（ステップＳ７１７）。人物識別においては人物識別部５２は、あらかじめ人物情報記憶部５１に登録しておいた特定の人物の映像情報や音声情報を参考にして人物を識別し、コマンド理解においてはコマンド理解部５５は、コマンド辞書記憶部５４の情報を参考する。
【０１１５】
ステップＳ７１７で得たコマンド理解の結果は、出力部５６を通してアプリケーション６０に出力される（ステップＳ７１８）。なお、アプリケーション６０に対して、画像情報、音声情報、補助センサの解析結果も併せて出力しても良い。
【０１１６】
信号処理を続行する場合（ステップＳ７１９：Ｙ）、ステップＳ７０５へ戻り、信号処理を繰り返す。
【０１１７】
以上が、本実施形態３による処理全体の流れである。
【０１１８】
次に、各センサにおける処理や、各センサが相互に連動し合い、結果を参照し合う処理についてさらに詳しく説明する。
【０１１９】
まず、補助センサ部４０ａにおける処理を詳しく述べる。
【０１２０】
補助センサ装置４１として、超音波センサを用いる場合は、少なくとも１つ以上の超音波発信素子と受信素子を用意し、人間からの反射波を受信した際の受信信号の振幅情報や位相情報に基づき３次元空間内の物体配置情報を計算する。
【０１２１】
超音波センサの振幅情報と位相情報を用いると静止物体以外の動物体を感知することができる。したがって、環境空間中の動物体を検出することにより人間の位置を検出する。
【０１２２】
補助センサ装置４１として赤外センサを用いる場合は、環境の温度分布を画像の形態にて獲得する。人間の体温の部分に相当し、かつ、人間の大きさに相当する領域を見つけることにより、人間がいる場所を特定する。
【０１２３】
補助センサ装置４１としてレンジセンサを用いた場合、ある時点とその次の時点の３次元情報の差を求めることにより動く物体がわかり、その大きさが通常の人間に相当するものを見つけることで人間がいる場所を特定する。
【０１２４】
補助センサ部４０ａの情報を、撮影装置、録音装置が利用する一例を挙げる。
超音波センサを用いた場合、空間内の動きのある物体の位置情報を撮影装置および録音装置に提供することができる。位置情報が既知となることで、撮影装置は広い空間内のごく限られた領域のみで人物検出を行えば良く、かかる処理時間を大幅に減らすことが可能となる。また、位置情報が既知となることで、録音装置自身が音源位置を検出しなくとも良くなる。
【０１２５】
次に、補助センサ部４０ａが、撮影装置、録音装置からの情報を利用する一例を挙げる。撮影装置２１および録音装置３１は、超音波センサからの位置情報に関わらず、各装置の機能によって人物位置や音源位置を検出した場合、超音波センサはその位置情報をもとに位置近傍に走査し、実際に動きのある物体（人物）の有無を検知する。画像装置は人物以外の部分を人物位置と認識したり、録音装置はＴＶやオーディオといった人物でない音源からの音を検出する可能性があり、こうした誤検出を防止する効果がある。
【０１２６】
また、補助センサ部４０ａが、自身で検出する空間内の動きのある物体の位置情報を利用する一例を挙げる。補助センサ部４０ａは、既知となった動きのある物体の位置情報を利用することで、その物体近傍のみに限定して走査することで高速化し、物体の移動に追従するように走査位置をダイナミックに変更することが可能で、リアルタイム性の高いアクティブな物体追跡センサとしての効果がある。
【０１２７】
次に、画像センサ２０ａを中心とした処理について詳しく述べる。
【０１２８】
画像センサ２０ａは、２台以上の複数の撮影装置、または、１台の撮影装置であっても撮影方向および撮影位置およびピント、ズーム、絞りを始めとした光学パラメータの制御のすべてまたは一部を変更できるものまたはどれも変更できないものを用いる。
【０１２９】
画像情報に基づく人物検出をする際、撮影装置２１から人間がいる場所への方向のほか、距離も求めたい場合は、２台以上の複数の撮影装置を用いるか、１台の撮影装置であっても撮影位置を変更できるか、撮影位置を変更できなかったとしてもピント、ズーム、絞りを始めとした光学パラメータを変更できるものを使用する。その場合、何れの装置設定であってもアプリケーションがコマンドを受けつけたい範囲の人間に対しては、異なる撮影位置、または、異なる光学パラメータによって２枚以上の画像を獲得できるように配置する。以上の条件が満たされれば、魚眼レンズを用いた撮影装置、CMOS形式によって画像の任意の画素を取り出せる撮影装置、可視光以外の色を獲得できる撮影装置を用いることもできる。
【０１３０】
撮影する方向は、補助センサ部４０ａを用いて人物を検出した結果と、音声センサ３０ａの音声情報を用いて音源方向を検出した結果と、画像情報に基づき人物位置を検出したそれまでの結果を参考する。すなわち、ある時点の前で人物位置を検出できていて、かつ、それが音源方向と一致し、実際に人間であったと判断した場合は、その付近を観察できるように撮影方向を定める。しかし、直前に人間の存在を判断した方向と、補助センサ部４０ａが示した人間が存在する方向が異なっていた場合、また、直前に人間の確認ができなかった場合は、補助センサ部４０ａによる人物検出結果の付近を観察できように撮影方向を定める。
【０１３１】
ただし、人間が移動できる速さを越えて、撮影方向を変更することはしない。
例えば、０．１秒後に５ｍ離れた地点に撮影の向きを変更することはしない。直前の結果と補助センサ部４０ａの結果が異なる場合は、直前の結果に従った方向を再度、撮影する。また、人間の存在を確認できなかった場合も、人間の存在を確認できた最後の撮影方向と補助センサ部４０ａが指し示す方向を比較し、人間の移動速度を超えて撮影方向が変化しているならば、最後に撮影した方向を維持する。
【０１３２】
撮影におけるピント、ズーム、絞りを始めとした光学パラメータは、直前に検出した人間の位置の近辺を撮影するように調整する。補助センサ部４０ａが人物までの距離などを出力できる場合は、方向の制御と同様の仕組みで参考にする。
【０１３３】
画像による人物検出、音声による音源検出、補助センサ４０ａによる人物位置検出で、遮断物などの影響により人物や音源の検出をするに至らなかった場合は、各検出過程から撮影すべき方向や位置が指定されるので、指定された方向や位置を観察できるように撮影装置２１を制御する。
【０１３４】
次に、人物映像記憶部２３２における人物映像パターン情報の登録と、動作パターン記憶部２３４における動作パターンの登録について説明する。
【０１３５】
人物検出部２３１の人物検出処理や動作認識部２３３の動作認識処理に先立ち、人物映像記憶部２３２に対する人物映像パターン情報の登録と、動作パターン記憶部２３４に対する動作パターン登録を行う。
【０１３６】
人物映像記憶部２３２には、人間と認識でき、さらに、その人間の位置、向きを特定できる人物映像パターン情報を記憶する。人間を撮影する方向は、人間の向きの特定に必要な画像を獲得できる方向とする。これは、あらかじめ配置する撮影装置２１の位置、アプリケーション６０の出力を表示する表示装置およびアプリケーションが操作を許可する表示装置に対する人間の向きの範囲に基づく。人間を撮影する際の画像の解像度（「大きさ」と読み替えてもよい。画素数で換算する面積に相当する。）は、人間の向きを特定するのに必要な解像度とする。人間の向きを顔の向きによって定める場合は、顔の輪郭、目、鼻、口などの位置を判別できる解像度の画像を記憶する。人間の向きを目の向きによって定める場合は、目を判別でき、かつ、視線を判別できるように白目、黒目の位置を判別できるように撮影する。
【０１３７】
以上のように、事前に人間を撮影しておく画像は、撮影装置と人間の向き、距離に応じて複数の画像を撮影する場合がある。また、アプリケーションの要求項目に応じて、表情（笑い、泣きなど）の異なる画像、化粧、ヒゲ、メガネの有無の画像などを撮影する場合もありうる。
【０１３８】
以上の情報を復元できるのであれば、記憶する画像のデータ量を圧縮しておいてもよい。また、人間の向き、位置を特定できるのであれば、人間の姿全体ではなく、顔、目等の部分のみを記憶しておいてもよい。人間の姿全体を圧縮した情報と、特徴のある部分の圧縮していない情報を合わせるなど、以上の情報を組み合わせて記憶することもできる。
【０１３９】
動作パターン記憶部２３４には、アプリケーション６０がコマンドと認知するのに必要な人間の動作を記憶する。また、手、足、頭、ひじなど、人間の主要な関節部分の肌の座標変化を動作パターンとして記憶することもできる。
【０１４０】
次に、画像センサ２０ａにおける画像情報に基づく人物検出処理について述べる。人物検出処理は以下のように行う。
【０１４１】
人物検出で用いる画像センサ２０ａで取り込まれる画像情報は、補助センサ部４０ａの出力、音声センサ３０ａによる音源検出結果、および、直前の画像センサ２０ａによる人物検出結果を参考にして撮影されたものとする。入力された画像中、顔に相当する部分領域の探索には画素の色情報と位置情報を用いる。そして、ピンホールカメラなどのカメラモデルにしたがって撮影装置の位置と画像上の検出位置から人間が存在する方向を計算する。撮影装置が複数あり、複数の画像上で検出できた場合は、三角測量の原理に基づき、人間が存在する方向のみならず位置も計算する。
【０１４２】
人間の顔をあらわす画像情報は、人物映像記憶部２３２に登録されたものを用いる。後述するように人間の顔は、アプリケーションの仕様にしたがって正面から撮影した映像のほか、横から撮影した画像を含む。その場合は、登録されているすべての向きから撮影した見え方の顔を検出する。
【０１４３】
なお、直前まで人間の存在を確認できていたにも関わらずできなくなった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ部４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する。それでも、人物を検出できないと判断した場合は、撮影した方向に人間がいなかったと判断する。
【０１４４】
次に、画像センサ２０ａにおける画像情報と音声情報に基づく動作認識は以下のように行われる。動作認識で用いる画像情報は、補助センサ部４０ａの出力、音声センサ２０ａによる音源検出結果、および、画像センサ２０ａの直前の人物検出結果を参考にして撮影されたものとする。前述の動作パターン記憶部２３４に記憶された情報と同様に、入力画像から情報を抽出し、その変化を、動作パターン記憶部２３４に記憶されている動作パターンと照合する。入力画像中における動作と動作パターン中の動作の一致は、動画像の連続する各画像における情報を記憶した動作パターンにおけるそれらとの差をとり、動画像全体を通した累積値により判断する。もしくは、入力画像における変化を、離散コサイン変換、フーリエ変換などによって近似し、同じく近似した動作パターン中の動作と、変換された係数の比較によって一致を判断する。
【０１４５】
なお、人間の存在を確認できたにも関わらず動作によるコマンド理解ができなかった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する。
【０１４６】
次に、音声センサ３０ａを中心とした処理について詳しく説明する。
【０１４７】
音声センサ３０ａは、２台以上の複数の録音装置、または、１台の録音装置をアプリケーションがコマンドを受け付けようとする範囲の人間の音声を獲得できるように配置する。
【０１４８】
録音装置の出力は、補助センサ部４０ａを用いて人物を検出した結果と、画像情報を用いて人物位置を検出した結果と、音声情報に基づき音源方向を検出したそれまでの結果を参考にした、特定の方向の音声に関する信号とする。すなわち、ある時点の前で人物の発声に相当する音声を検出できていて、かつ、それが画像から判断した人間が存在する方向と一致し、実際に人間であったと判断した場合は、その付近を指向した音声信号に関する情報を出力する。しかし、直前に人間の存在を判断した方向と、補助センサ４０ａが示した人間が存在する方向が異なっていた場合、また、直前に人間の確認ができなかった場合は、補助センサ部４０ａによる人物検出結果の付近を指向した音声信号に関する情報を出力する。
【０１４９】
なお、画像による人物検出、音声による音源検出、補助センサ４０ａによる人物位置検出で、遮断物などの影響により人物や音源の検出をするに至らなかった場合は、各検出過程から録音装置３１が録音すべき指向方向が指定されるので、その方向を指向した音声情報を出力する。
【０１５０】
次に、音源検出処理を述べる。音源検出で用いる音声情報は、補助センサ部４０ａの出力、画像センサ２０ａによる人物検出結果、および、直前の音源検出結果を参考にして特定の方向を指向して出力された音声情報とする。音声情報の周波数特性を調べ、後述する人物音声として記憶された情報の特徴との一致を判断することにより人物音声の有無を判断する。人物音声がないと判断した場合は、音声情報の獲得を指向した方向に人間がいなかったと判断する。
【０１５１】
複数の録音装置３１をある程度離して配置した場合は、音声が録音された時間の差に基づき、音源位置を特定する。また、複数箇所にそれぞれ複数の録音装置を配置した場合は、それぞれの箇所において音源方向を特定し、それぞれの箇所の録音装置群から計算された音源方向の重なるところを求めることにより、音源位置を求める。直前まで人間の音声を確認できていたにも関わらず音源を検出できなくなった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する
音声情報と画像情報に基づく音声認識において、当該音声認識で用いる画像情報は、補助センサ部４０ａの出力、音源検出結果、および、直前の人物検出結果を参考にして撮影されたものとする。なお、人間の音声を検出できたにも関わらず音声によるコマンド理解ができなかった場合は、各センサに感度や精度を上げて情報の確認を行うように指示する。すなわち、録音装置にはボリュームやサンプリング間隔を上げるように、補助センサ４０ａには環境のスキャンニングの間隔を狭めるように、撮影装置にはズームなどにより解像度を上げて撮影するように指示する。
【０１５２】
次に、総合解析部５０ａを中心にした処理について詳しく説明する。
【０１５３】
人物識別部５２による人物識別処理や、人物状態認識部５３における人物状態認識処理に先立ち、人物情報記憶部５１の登録情報やコマンド辞書記憶部５４の登録情報を更新する。
【０１５４】
人物情報記憶部５１には、映像情報、音声情報とも、アプリケーションが操作を許可する特定の個人名または複数名を識別するのに必要な情報を記憶する。映像情報は、人物を特定するのに必要な、各人を撮影した映像を記憶する。事前に人間を撮影しておく画像は、撮影装置と人間の向き、距離に応じて複数の画像を撮影する場合がある。また、アプリケーションの要求項目に応じて、表情（笑い、泣きなど）の異なる画像、化粧、ヒゲ、メガネの有無の画像などを撮影する場合もありうる。人物の特定に必要な画像を復元できるのであれば、記憶する画像のデータ量を圧縮しておいてもよい。また、個人差を確認できるのに必要な、顔のみ、または、さらに分解して目、口、鼻などの部分だけを記憶してもよい。また、以上の情報を組み合わせたり、または、復元可能であれば圧縮の上、組み合わせて記憶することもできる。
【０１５５】
音声情報は、人物を特定するのに必要な、各人が発生した音響を記憶する。各人の発声は個別に記憶する。アプリケーションが受け付けるコマンドを記憶するか、または、アプリケーションが受け付けるコマンドを復元するのに必要な発声を記憶する。後者の場合は、コマンドを分解した音素や単語を録音することになる。記憶の際、録音された音声をそのまま記憶するのではなくコマンドまたは音素または単語ごとの周波数特性または周波数特性の変化を記憶することもできる。以上の情報を組み合わせたり、または、復元可能であれば圧縮の上、組み合わせて記憶することもできる。
【０１５６】
コマンド辞書記憶部５４には２種類の情報を記憶する。一つは、アプリケーションが受け付ける各コマンドと、動作パターン記憶部２３４および音声パターン記憶部３３４中のコマンドの関連を表すリンクであり、もう一つは、アプリケーションがそのときどきで受理可能なコマンドのリスト（一覧）である。後者のコマンド辞書は、アプリケーションの進行にしたがって逐次、アプリケーションが書き換える、したがって、動作認識結果と音声認識結果に基づくコマンド理解処理は、そのときどきの処理において、絶えずコマンド辞書を参照する。
【０１５７】
次に、総合解析部５０ａの人物識別部５２による人物識別について述べる。人物識別部５２は、画像センサ２０ａの人物検出と音声センサ３０ａの音源検出において、それぞれ、人物映像の確認、人物音声の検出ができ、かつ、人物検出結果と音源検出結果でそれぞれ検出した位置が重なる場合のみ、人物を観察できたと判断する。後述の人物識別、コマンド理解においては、人物を確認できた場合の画像情報、音声情報のみ有効とする。人物識別部５２が人物を観察できたと判断した場合、人間の位置、方向を、補助センサ４０ａによる人物位置検出結果、画像情報による人物検出結果、および、音声情報による音源検出結果の重なる位置、方向として出力する。姿勢は、画像情報による人物検出結果に従う。
【０１５８】
人物識別部５２は、画像情報および音声情報を、人物情報記憶部５１にあらかじめ登録された特定の人物の画像情報および音声情報と照合することにより判断する。照合に先立ち、撮影装置２１で獲得した画像情報や録音装置３１で獲得した音声情報は、特定の人物を撮影した映像情報や特定の人物の発声を録音した音声情報を、人物情報記憶部５１に格納する際に行う方法と同じ方法で加工する。
【０１５９】
例えば、画像情報と音声情報が有効で、かつ、画像情報から判断した人物と音声情報から判断した人物が一致していた場合は、その人物を人物識別結果とし、そうでない場合は、画像情報から判断した結果に付けた得点と、音声情報から判断した結果に付けた得点の大きい方の結果を人物識別結果とする。両者の得点を比較する際、画像情報と音声情報間のバランスを定める重み係数を用意し、その重みを加味した上で判断してもよい。
【０１６０】
さらに、画像情報から判断した人物と音声情報から判断した人物の履歴を参考にしてもよい。画像情報および音声情報から人物を判断した際、それぞれ得点を付けて複数の候補を選出する。それを先の方法にしたがい組合せ、画像情報および音声情報の両方を参考した得点付きの複数の候補を求める。これらの得点を人物候補ごとに累積し、累積値があらかじめ定めたある値を超えた時点で、その人物を認識したと判断する。いったん人物が確定すると、人物検出、音声検出が一定時間途絶えるまではこれを保持する。人物検出、音声検出が一定時間途絶えた場合は、この履歴を抹消し、再度、特定の累積を開始する。人物の履歴を参考する場合で、人物状態認識部５３では人間の存在が確認できなかったが画像情報もしくは音声情報のどちらか一方が得られた場合、その画像もしくは音声情報に対して人物の識別を行い、得られた得点を低めた上でその得点を累積する。ただし、人物の特定の判断、すなわち、累積値があらかじめ定めたある値を超えたかの判断は、人物状態認識部５３で人物の存在が確認された場合のみ行う。
【０１６１】
次に、人物状態認識部５３における人物状態認識処理を説明する。ここで、人物の状態とは、人物の位置、方向、姿勢のことである。補助センサ部４０ａからは人間がいる方向と補助センサ４０ａの機能により距離がわかる。画像センサ２０ａの画像情報からは、人間の存在を確認できた場合に限り方向と距離もわかり、さらに顔の向きに関する情報が登録されている場合は姿勢（顔の向き）もわかる。音声センサ３０ａの音声情報からは、人間の音声を確認できた場合に限り人間の音声が聞こえてくる方向がわかり、環境の複数箇所にそれぞれ複数の録音装置を配置した場合は、環境内での人間の位置がわかる。
【０１６２】
次に、動作認識結果と音声認識結果に基づくコマンド理解について説明する。
【０１６３】
人物識別で人物を識別できていると判断されている間の動作認識結果と音声認識結果のそれぞれに対し、それぞれの結果から得られたコマンドについて、コマンド辞書記億部５４に格納されたアプリケーション６０のコマンドとの対応を調べ、動作から判断したコマンドと音声から判断したコマンドが同じアプリケーションのコマンドに対応していて、かつ、そのコマンドが現在のアプリケーション６０が受け付けることのできるコマンドのリストに入っていた場合は、同コマンドを理解したと判断する。なお、人物識別で人物を識別できていると判断されている状態で、動作認識による結果と音声認識による結果のどちらか一方しか得られていない場合であれば、その結果から得られたコマンドが現在のアプリケーション６０が受け付けることのできるコマンドのリストに入っている場合は、同コマンドを理解したと判断する。
【０１６４】
以上のように理解したコマンド内容をアプリケーションヘ提供する。人物状態認識部５３によって認識した人物の位置、方向、姿勢に関する情報と、人物識別部５２で特定した人物を指し示す情報と、コマンド理解部５５にて理解したコマンドに関する情報を、アプリケーション６０から問い合わせがあった場合に返答する。他の扱いとしては、アプリケーション６０からの問い合わせを待たず、これらの情報が得られたら即座にアプリケーション６０に通信部５７などを用いてアプリケーション６０に通知する処理でも良く、必要な情報が揃った時点でアプリケーション６０に通知するものでも良い。
【０１６５】
次に、総合解析部５０ａにおけるコマンド辞書の生成処理について説明する。
アプリケーション６０の開始に先立ち、コマンド辞書記憶部５４中、アプリケーション６０が受け付ける各コマンドと、動作パターン記憶部２３４および音声パターン記憶部３３４中のコマンドの関連を表すリンクをコマンド辞書記憶部５４に格納する。また、コマンド辞書記憶部５４のアプリケーション６０が受理可能なコマンドのリストは、アプリケーション６０が開始した後、アプリケーション６０が状況に応じて設定する。このリストを空にすることにより、コマンドを受け付けないようにすることもできる。
【０１６６】
（実施形態４）
実施形態４の構成例を図８に示す。
【０１６７】
実施形態４にかかる図８の構成例では、不特定人物の動作コマンド、音声コマンドおよび人物の状態を理解する。実施形態３で説明した図６の構成例に比べて総合解析部５０ｂの構成が異なるものとなっている。この構成は総合解析部５０ｂが、人物情報記憶部５１、人物識別部５２を持っていない。また、コマンド理解部５５は、人物状態認識部５３の結果を、人物識別部５２を介さず直接受け取る構成となっている。
【０１６８】
この構成によれば、人物の識別処理を特に行わず、入力されたすべての人物に関する情報を処理し、不特定人物の動作コマンド、音声コマンドおよび人物の状態を理解する。
【０１６９】
（実施形態５）
本発明の複数のセンサによるヒューマンインタフェースシステムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の複数のセンサによるヒューマンインタフェースシステムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図９に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディスク１００３等の可搬型記録媒体１００１だけでなく、ネットワーク上にある記録装置内の記録媒体１０００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１００５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１００４上にローディングされ、主メモリ上で実行される。
【０１７０】
本発明の複数のセンサによるヒューマンインタフェースシステムについてさらに以下の項を開示する。
【０１７１】
（付記１） 検出対象の範囲と検出精度を決定し、当該検出精度により当該検出対象から特定の検出信号を獲得するセンサとして、検出信号が異なる少なくとも２種類以上のセンサと、
前記各センサで検出された結果間に相互に矛盾がないか否かを調べ、各センサに対する制御情報を生成する総合解析部と、
前記各センサによる検出結果を利用するアプリケーションと、
前記各センサ相互間、前記各センサと前記総合解析部間、前記総合解析部と前記アプリケーション間においてデータと制御情報を通信し合う通信手段を備え、
前記各センサが、他のセンサから得た前記信号検出結果または制御情報、前記総合解析部から得た前記制御情報のいずれかまたはその組み合わせを利用して、次回の信号獲得時における検出対象の範囲と検出精度を決定し、
前記各センサが、前記通信手段を介して、他のセンサに対して、自身の信号検出結果と、他のセンサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力し、
前記総合解析部が、前記通信手段を介して、前記各センサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力することを特徴とする複数のセンサによるヒューマンインタフェースシステム（１）。
【０１７２】
（付記２） 前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備えた付記１に記載の複数のセンサによるヒューマンインタフェースシステム（２）。
【０１７３】
（付記３） 前記検出対象が人であり、前記センサが少なくとも画像センサと補助センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である付記１に記載の複数のセンサによるヒューマンインタフェースシステム（３）。
【０１７４】
（付記４） 前記検出対象が人であり、前記センサが少なくとも音声センサと補助センサを含み、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である付記１に記載の複数のセンサによるヒューマンインタフェースシステム（４）。
【０１７５】
（付記５） 前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサと補助センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である付記１に記載の複数のセンサによるヒューマンインタフェースシステム（５）。
【０１７６】
（付記６） 前記補助センサとして、超音波センサ、赤外センサ、レンジセンサのいずれかまたはそれらの組み合わせを用いた付記３〜５のいずれかに記載の複数のセンサによるヒューマンインタフェースシステム。
【０１７７】
（付記７） 検出対象の範囲と検出精度を決定し、当該検出精度により当該検出対象から特定の検出信号を獲得するセンサの処理として、検出信号が異なる少なくとも２種類以上のセンサの処理と、
前記各センサで検出された結果間に相互に矛盾がないか否かを調べ、各センサの処理に対する制御情報を生成する総合解析処理と、
前記各センサ処理による検出結果を利用するアプリケーション処理と、
前記各センサ処理相互間、前記各センサ処理と前記総合解析処理間、前記総合解析処理と前記アプリケーション処理間においてデータと制御情報を通信し合う通信処理を備え、
前記各センサ処理が、他のセンサ処理から得た前記信号検出結果または制御情報、前記総合解析処理から得た前記制御情報のいずれかまたはその組み合わせを利用して、次回の信号獲得時における検出対象の範囲と検出精度を決定し、
前記各センサ処理が、前記通信手段を介して、他のセンサ処理に対して、自身の信号検出結果と、他のセンサ処理が次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力し、
前記総合解析処理が、前記通信手段を介して、前記各センサ処理が次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する制御情報を出力することを特徴とする複数のセンサによるヒューマンインタフェース方法。
【０１７８】
（付記８） 前記検出対象が人であり、前記センサ処理が少なくとも画像センサ処理と音声センサ処理を含み、
前記画像センサ処理の検出信号が人の画像認識情報であり、
前記画像センサ処理が、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識処理を備え、
前記音声センサ処理の検出信号が人の音声認識情報であり、
前記音声センサ処理が、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識処理を備えた付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１７９】
（付記９） 前記検出対象が人であり、前記センサ処理が少なくとも画像センサ処理と補助センサ処理を含み、
前記画像センサ処理の検出信号が人の画像認識情報であり、
前記画像センサ処理が、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識処理を備え、
前記補助センサ処理の検出信号が人の位置情報を検出するために有効な情報である付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８０】
（付記１０） 前記検出対象が人であり、前記センサ処理が少なくとも音声センサ処理と補助センサ処理を含み、
前記音声センサ処理の検出信号が人の音声認識情報であり、
前記音声センサ処理が、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識処理を備え、
前記補助センサ処理の検出信号が人の位置情報を検出するために有効な情報である付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８１】
（付記１１） 前記検出対象が人であり、前記センサ処理が少なくとも画像センサ処理と音声センサ処理と補助センサ処理を含み、
前記画像センサ処理の検出信号が人の画像認識情報であり、
前記画像センサ処理が、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識処理を備え、
前記音声センサ処理の検出信号が人の音声認識情報であり、
前記音声センサ処理が、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識処理を備え、
前記補助センサ処理の検出信号が人の位置情報を検出するために有効な情報である付記７に記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８２】
（付記１２） 前記補助センサ処理として、超音波センサ処理、赤外センサ処理、レンジセンサ処理のいずれかまたはそれらの組み合わせを用いた付記９〜１１のいずれかに記載の複数のセンサによるヒューマンインタフェース処理方法。
【０１８３】
【発明の効果】
本発明の複数のセンサによるヒューマンインタフェースシステムによれば、画像情報と音声情報を同時に扱うことによって、実際には声がしない人の顔を映した写真やマネキン人形を人間として認識してしまうことや、人間ではない音響機器のスピーカーから流れ出た音声情報を認識してしまうことがなくなり、マンマシンインタフェースの誤動作が減る。同様に、画像情報と音声情報が処理結果を互いに利用することで、声がしないところの映像を処理対象にしたり、人間がいないところの音声を処理対象することがなくなり、処理を誤る確率が減る。また、処理対象データが減ることから、処理速度が向上する。
【０１８４】
本発明の複数のセンサによるヒューマンインタフェースシステムによれば、補助センサを用いて、画像情報と音声情報では扱えない情報を獲得することにより、画像や音声を処理における探索範囲を狭め、処理速度を向上できる。また、補助センサの情報を利用することにより、撮影装置や録音装置の配置数を減らすことができる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示す図
【図２】 図１の基本構成を適用し、図１の画像センサ２０、音声センサ３０、補助センサ４０構成例を詳しく示した図
【図３】 本発明の実施形態１の複数のセンサによるヒューマンインタフェースシステムの信号処理の流れを示したフローチャート
【図４】 本発明の実施形態１にかかる総合解析部５０の信号処理の流れを示したフローチャート
【図５】 本発明の実施形態２にかかる、実施形態１に示した構成を変形した構成例を示す図
【図６】 本発明の実施形態３にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示すブロック図
【図７】 本発明の実施形態３のヒューマンインタフェースシステム全体の処理の流れを示すフローチャート
【図８】 本発明の実施形態４にかかる複数のセンサによるヒューマンインタフェースシステムの装置構成概略を示すブロック図
【図９】 本発明の実施形態５にかかる複数のセンサによるヒューマンインタフェースシステムを実現する処理プログラムを記録した記録媒体を示した図
【図１０】 従来におけるセンサを用いたインタフェースの例を示す図
【図１１】 従来におけるセンサを用いたインタフェースの他の例を示す図
【符号の説明】
１０ センサ部
２０，２０ａ 画像センサ
２１ 撮影装置
２２ 撮影装置制御部
２３，２３ａ 画像解析部
２４ 通信部
３０，３０ａ 音声センサ
３１ 録音装置
３２ 録音装置制御部
３３，３３ａ 音声解析部
３４ 通信部
４０，４０ａ 補助センサ部
４１ 補助センサ装置
４２ 補助センサ装置制御部
４３ 信号解析部
４３ａ 人物位置検出部
４４ 通信部
５０，５０ａ，５０ｂ 総合解析部
５１ 人物情報記憶部
５２ 人物識別部
５３ 人物状態認識部
５４ コマンド辞書記憶部
５５ コマンド理解部
５６ 出力部
５７ 通信部
６０，６０ａ アプリケーション
６１ 通信部
７１，７２，７３，７４，７５ データ／制御信号通信手段
７６ 通信路
２３１ 人物検出部
２３２ 人物映像記憶部
２３３ 動作認識部
２３４ 動作パターン記憶部
３３１ 音源検出部
３３２ 人物音声記憶部
３３３ 音声認識部
３３４ 音声パターン記憶部
Claims (7)
- 検出対象の範囲と検出精度を決定し、当該検出精度により当該検出対象から特定の検出信号を獲得するセンサとして、検出信号が異なる少なくとも２種類以上のセンサと、
前記各センサにより検出された検出対象物の位置、方向または認識結果を含む検出結果を前記各センサから取得して解析し、当該解析結果に基づいて、前記各センサが獲得すべき検出対象の位置、方向または認識精度を決定するための制御情報を生成する総合解析部と、
前記各センサによる検出結果を利用するアプリケーションと、
前記各センサ相互間、前記各センサと前記総合解析部間、前記総合解析部と前記アプリケーション間においてデータと制御情報を通信し合う通信手段を備え、
前記各センサが、他のセンサから得た前記検出結果及び前記総合解析部の前記解析結果の少なくとも一つ、または、前記他のセンサから得た制御情報及び前記総合解析部から得た前記制御情報の少なくとも一つを利用して前記検出対象の範囲と検出精度を決定し、前記検出対象から検出信号を獲得することによって前記検出結果を生成して他のセンサに対して出力し、
前記各センサが、前記検出結果を得るための情報が不足している場合に、前記通信手段を介して、他のセンサに対して、他のセンサが次回の信号獲得時において獲得すべき検出対象の位置、方向または認識精度を決定するための制御情報を出力し、
前記総合解析部が、前記通信手段を介して、前記各センサが次回の信号獲得時における検出対象の範囲と検出精度の決定に利用する前記制御情報を生成して各センサに対して出力し、前記各センサから取得した前記検出結果に基づく前記解析結果を前記アプリケーションへ出力することを特徴とする複数のセンサによるヒューマンインタフェースシステム。 - 前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備えた請求項１に記載の複数のセンサによるヒューマンインタフェースシステム。 - 前記検出対象が人であり、前記センサが少なくとも画像センサと補助センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である請求項１に記載の複数のセンサによるヒューマンインタフェースシステム。 - 前記検出対象が人であり、前記センサが少なくとも音声センサと補助センサを含み、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である請求項１に記載の複数のセンサによるヒューマンインタフェースシステム。 - 前記検出対象が人であり、前記センサが少なくとも画像センサと音声センサと補助センサを含み、
前記画像センサの検出信号が人の画像認識情報であり、
前記画像センサが、画像認識結果に基づいて検出対象の動作を解釈し、ジェスチャ入力によるコマンド入力を認識する動作認識部を備え、
前記音声センサの検出信号が人の音声認識情報であり、
前記音声センサが、音声認識結果に基づいて検出対象の音声を解釈し、音声入力によるコマンド入力を認識する音声認識部を備え、
前記補助センサの検出信号が人の位置情報を検出するために有効な情報である請求項１に記載の複数のセンサによるヒューマンインタフェースシステム。 - 前記補助センサとして、超音波センサ、赤外センサ、レンジセンサのいずれかまたはそれらの組み合わせを用いた請求項３〜５のいずれか１項に記載の複数のセンサによるヒューマンインタフェースシステム。
- 前記総合解析部は、前記各センサの検出結果から得られる検出対象物の位置、方向または認識結果がセンサ間で一致しているか否かを解析し、当該解析結果に基づいて、前記各センサが獲得するべき検出対象の位置、方向または認識精度を決定するための制御情報を生成し、前記各センサに対して出力する、請求項１〜６のいずれか１項に記載の複数のセンサによるヒューマンインタフェースシステム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001048656A JP4624577B2 (ja) | 2001-02-23 | 2001-02-23 | 複数のセンサによるヒューマンインタフェースシステム |
| US09/940,661 US6583723B2 (en) | 2001-02-23 | 2001-08-29 | Human interface system using a plurality of sensors |
| US10/337,818 US6686844B2 (en) | 2001-02-23 | 2003-01-08 | Human interface system using a plurality of sensors |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001048656A JP4624577B2 (ja) | 2001-02-23 | 2001-02-23 | 複数のセンサによるヒューマンインタフェースシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002251234A JP2002251234A (ja) | 2002-09-06 |
| JP4624577B2 true JP4624577B2 (ja) | 2011-02-02 |
Family
ID=18909889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001048656A Expired - Fee Related JP4624577B2 (ja) | 2001-02-23 | 2001-02-23 | 複数のセンサによるヒューマンインタフェースシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6583723B2 (ja) |
| JP (1) | JP4624577B2 (ja) |
Families Citing this family (257)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| JP4552308B2 (ja) * | 2000-10-24 | 2010-09-29 | パナソニック株式会社 | 超音波座標入力装置およびインタラクティブボード |
| JP3868896B2 (ja) * | 2002-01-23 | 2007-01-17 | 本田技研工業株式会社 | 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム |
| JP2004240154A (ja) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | 情報認識装置 |
| JP4306397B2 (ja) * | 2003-10-08 | 2009-07-29 | 株式会社日立製作所 | 認識処理システム |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US20060053097A1 (en) * | 2004-04-01 | 2006-03-09 | King Martin T | Searching and accessing documents on private networks for use with captures from rendered documents |
| US7812860B2 (en) * | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US20060122983A1 (en) * | 2004-12-03 | 2006-06-08 | King Martin T | Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination |
| US20060041484A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
| US20060041605A1 (en) * | 2004-04-01 | 2006-02-23 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
| CN100538742C (zh) * | 2004-03-17 | 2009-09-09 | 松下电器产业株式会社 | 食品材料烹调操作识别系统及食品材料烹调操作识别方法 |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US20080313172A1 (en) * | 2004-12-03 | 2008-12-18 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
| US7990556B2 (en) * | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US20070300142A1 (en) * | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
| WO2008028674A2 (en) | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US9008447B2 (en) | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
| US8081849B2 (en) * | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
| US20060098900A1 (en) * | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
| US8489624B2 (en) * | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US20050258976A1 (en) * | 2004-05-20 | 2005-11-24 | Yin-Shang Zteng | Household digital automation control system |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| EP1811362A4 (en) * | 2004-10-27 | 2011-07-27 | Fujitsu Ten Ltd | DISPLAY |
| JP4847022B2 (ja) * | 2005-01-28 | 2011-12-28 | 京セラ株式会社 | 発声内容認識装置 |
| JP4696609B2 (ja) * | 2005-03-15 | 2011-06-08 | オムロン株式会社 | 被写体認証装置、携帯電話、被写体認証方法、及び被写体認証プログラム |
| US7664571B2 (en) * | 2005-04-18 | 2010-02-16 | Honda Motor Co., Ltd. | Controlling a robot using pose |
| JP4485991B2 (ja) * | 2005-05-13 | 2010-06-23 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法及びプログラム |
| DE102005038717A1 (de) * | 2005-08-15 | 2007-03-01 | Micronas Gmbh | Verfahren zum Verarbeiten audio-visueller Daten und audio-visuelles Kommunikationssystem |
| JP2007078270A (ja) * | 2005-09-14 | 2007-03-29 | Daikin Ind Ltd | 空調システム |
| US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
| JP5060798B2 (ja) * | 2007-02-23 | 2012-10-31 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
| ATE509308T1 (de) * | 2007-12-05 | 2011-05-15 | Almeva Ag | Interaktionsanordnung zur interaktion zwischen einem bildschirm und einem zeigerobjekt |
| CN102016878B (zh) * | 2008-05-08 | 2015-03-18 | 纽昂斯通讯公司 | 定位声音信号源的位置 |
| CN105930311B (zh) | 2009-02-18 | 2018-10-09 | 谷歌有限责任公司 | 执行与再现文档关联的动作的方法、移动设备和可读介质 |
| WO2010105245A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Automatically providing content associated with captured information, such as information captured in real-time |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| JP2010231256A (ja) * | 2009-03-25 | 2010-10-14 | Hitachi Ltd | データ認識装置、データ認識方法及びプログラム |
| KR101581883B1 (ko) * | 2009-04-30 | 2016-01-11 | 삼성전자주식회사 | 모션 정보를 이용하는 음성 검출 장치 및 방법 |
| JP4811507B2 (ja) * | 2009-08-25 | 2011-11-09 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理システム、画像処理装置及び情報処理装置 |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US20110246026A1 (en) * | 2010-04-02 | 2011-10-06 | Gary Stephen Shuster | Vehicle console control system |
| JP5323770B2 (ja) * | 2010-06-30 | 2013-10-23 | 日本放送協会 | ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機 |
| US9563278B2 (en) | 2011-12-19 | 2017-02-07 | Qualcomm Incorporated | Gesture controlled audio user interface |
| US9389690B2 (en) * | 2012-03-01 | 2016-07-12 | Qualcomm Incorporated | Gesture detection based on information from multiple types of sensors |
| US9538880B2 (en) * | 2012-05-09 | 2017-01-10 | Convotherm Elektrogeraete Gmbh | Optical quality control system |
| JP6044819B2 (ja) * | 2012-05-30 | 2016-12-14 | 日本電気株式会社 | 情報処理システム、情報処理方法、通信端末、情報処理装置およびその制御方法と制御プログラム |
| US9124125B2 (en) | 2013-05-10 | 2015-09-01 | Energous Corporation | Wireless power transmission with selective range |
| US9887739B2 (en) | 2012-07-06 | 2018-02-06 | Energous Corporation | Systems and methods for wireless power transmission by comparing voltage levels associated with power waves transmitted by antennas of a plurality of antennas of a transmitter to determine appropriate phase adjustments for the power waves |
| US10223717B1 (en) | 2014-05-23 | 2019-03-05 | Energous Corporation | Systems and methods for payment-based authorization of wireless power transmission service |
| US9871398B1 (en) | 2013-07-01 | 2018-01-16 | Energous Corporation | Hybrid charging method for wireless power transmission based on pocket-forming |
| US10381880B2 (en) | 2014-07-21 | 2019-08-13 | Energous Corporation | Integrated antenna structure arrays for wireless power transmission |
| US10206185B2 (en) | 2013-05-10 | 2019-02-12 | Energous Corporation | System and methods for wireless power transmission to an electronic device in accordance with user-defined restrictions |
| US9923386B1 (en) | 2012-07-06 | 2018-03-20 | Energous Corporation | Systems and methods for wireless power transmission by modifying a number of antenna elements used to transmit power waves to a receiver |
| US10291066B1 (en) | 2014-05-07 | 2019-05-14 | Energous Corporation | Power transmission control systems and methods |
| US9812890B1 (en) | 2013-07-11 | 2017-11-07 | Energous Corporation | Portable wireless charging pad |
| US9891669B2 (en) | 2014-08-21 | 2018-02-13 | Energous Corporation | Systems and methods for a configuration web service to provide configuration of a wireless power transmitter within a wireless power transmission system |
| US10063064B1 (en) | 2014-05-23 | 2018-08-28 | Energous Corporation | System and method for generating a power receiver identifier in a wireless power network |
| US10090699B1 (en) | 2013-11-01 | 2018-10-02 | Energous Corporation | Wireless powered house |
| US9906065B2 (en) | 2012-07-06 | 2018-02-27 | Energous Corporation | Systems and methods of transmitting power transmission waves based on signals received at first and second subsets of a transmitter's antenna array |
| US10205239B1 (en) | 2014-05-07 | 2019-02-12 | Energous Corporation | Compact PIFA antenna |
| US10128699B2 (en) | 2014-07-14 | 2018-11-13 | Energous Corporation | Systems and methods of providing wireless power using receiver device sensor inputs |
| US10230266B1 (en) | 2014-02-06 | 2019-03-12 | Energous Corporation | Wireless power receivers that communicate status data indicating wireless power transmission effectiveness with a transmitter using a built-in communications component of a mobile device, and methods of use thereof |
| US9847679B2 (en) | 2014-05-07 | 2017-12-19 | Energous Corporation | System and method for controlling communication between wireless power transmitter managers |
| US10148097B1 (en) | 2013-11-08 | 2018-12-04 | Energous Corporation | Systems and methods for using a predetermined number of communication channels of a wireless power transmitter to communicate with different wireless power receivers |
| US10063105B2 (en) | 2013-07-11 | 2018-08-28 | Energous Corporation | Proximity transmitters for wireless power charging systems |
| US9893768B2 (en) | 2012-07-06 | 2018-02-13 | Energous Corporation | Methodology for multiple pocket-forming |
| US9876379B1 (en) | 2013-07-11 | 2018-01-23 | Energous Corporation | Wireless charging and powering of electronic devices in a vehicle |
| US9853692B1 (en) | 2014-05-23 | 2017-12-26 | Energous Corporation | Systems and methods for wireless power transmission |
| US10063106B2 (en) | 2014-05-23 | 2018-08-28 | Energous Corporation | System and method for a self-system analysis in a wireless power transmission network |
| US9939864B1 (en) | 2014-08-21 | 2018-04-10 | Energous Corporation | System and method to control a wireless power transmission system by configuration of wireless power transmission control parameters |
| US10256657B2 (en) | 2015-12-24 | 2019-04-09 | Energous Corporation | Antenna having coaxial structure for near field wireless power charging |
| US10128693B2 (en) | 2014-07-14 | 2018-11-13 | Energous Corporation | System and method for providing health safety in a wireless power transmission system |
| US9368020B1 (en) | 2013-05-10 | 2016-06-14 | Energous Corporation | Off-premises alert system and method for wireless power receivers in a wireless power network |
| US9843213B2 (en) | 2013-08-06 | 2017-12-12 | Energous Corporation | Social power sharing for mobile devices based on pocket-forming |
| US10270261B2 (en) | 2015-09-16 | 2019-04-23 | Energous Corporation | Systems and methods of object detection in wireless power charging systems |
| US10218227B2 (en) | 2014-05-07 | 2019-02-26 | Energous Corporation | Compact PIFA antenna |
| US9831718B2 (en) | 2013-07-25 | 2017-11-28 | Energous Corporation | TV with integrated wireless power transmitter |
| US9893554B2 (en) | 2014-07-14 | 2018-02-13 | Energous Corporation | System and method for providing health safety in a wireless power transmission system |
| US10224982B1 (en) | 2013-07-11 | 2019-03-05 | Energous Corporation | Wireless power transmitters for transmitting wireless power and tracking whether wireless power receivers are within authorized locations |
| US9876394B1 (en) | 2014-05-07 | 2018-01-23 | Energous Corporation | Boost-charger-boost system for enhanced power delivery |
| US10211680B2 (en) | 2013-07-19 | 2019-02-19 | Energous Corporation | Method for 3 dimensional pocket-forming |
| US10263432B1 (en) | 2013-06-25 | 2019-04-16 | Energous Corporation | Multi-mode transmitter with an antenna array for delivering wireless power and providing Wi-Fi access |
| US9941747B2 (en) | 2014-07-14 | 2018-04-10 | Energous Corporation | System and method for manually selecting and deselecting devices to charge in a wireless power network |
| US10211682B2 (en) | 2014-05-07 | 2019-02-19 | Energous Corporation | Systems and methods for controlling operation of a transmitter of a wireless power network based on user instructions received from an authenticated computing device powered or charged by a receiver of the wireless power network |
| US9859797B1 (en) | 2014-05-07 | 2018-01-02 | Energous Corporation | Synchronous rectifier design for wireless power receiver |
| US20140008993A1 (en) | 2012-07-06 | 2014-01-09 | DvineWave Inc. | Methodology for pocket-forming |
| US9899873B2 (en) | 2014-05-23 | 2018-02-20 | Energous Corporation | System and method for generating a power receiver identifier in a wireless power network |
| US9787103B1 (en) | 2013-08-06 | 2017-10-10 | Energous Corporation | Systems and methods for wirelessly delivering power to electronic devices that are unable to communicate with a transmitter |
| US9438045B1 (en) | 2013-05-10 | 2016-09-06 | Energous Corporation | Methods and systems for maximum power point transfer in receivers |
| US10124754B1 (en) | 2013-07-19 | 2018-11-13 | Energous Corporation | Wireless charging and powering of electronic sensors in a vehicle |
| US10050462B1 (en) | 2013-08-06 | 2018-08-14 | Energous Corporation | Social power sharing for mobile devices based on pocket-forming |
| US10992187B2 (en) | 2012-07-06 | 2021-04-27 | Energous Corporation | System and methods of using electromagnetic waves to wirelessly deliver power to electronic devices |
| US9941707B1 (en) | 2013-07-19 | 2018-04-10 | Energous Corporation | Home base station for multiple room coverage with multiple transmitters |
| US9793758B2 (en) | 2014-05-23 | 2017-10-17 | Energous Corporation | Enhanced transmitter using frequency control for wireless power transmission |
| US10439448B2 (en) | 2014-08-21 | 2019-10-08 | Energous Corporation | Systems and methods for automatically testing the communication between wireless power transmitter and wireless power receiver |
| US9991741B1 (en) | 2014-07-14 | 2018-06-05 | Energous Corporation | System for tracking and reporting status and usage information in a wireless power management system |
| US10243414B1 (en) | 2014-05-07 | 2019-03-26 | Energous Corporation | Wearable device with wireless power and payload receiver |
| US9882430B1 (en) | 2014-05-07 | 2018-01-30 | Energous Corporation | Cluster management of transmitters in a wireless power transmission system |
| US9876648B2 (en) | 2014-08-21 | 2018-01-23 | Energous Corporation | System and method to control a wireless power transmission system by configuration of wireless power transmission control parameters |
| US9859757B1 (en) | 2013-07-25 | 2018-01-02 | Energous Corporation | Antenna tile arrangements in electronic device enclosures |
| US10193396B1 (en) | 2014-05-07 | 2019-01-29 | Energous Corporation | Cluster management of transmitters in a wireless power transmission system |
| US10075008B1 (en) | 2014-07-14 | 2018-09-11 | Energous Corporation | Systems and methods for manually adjusting when receiving electronic devices are scheduled to receive wirelessly delivered power from a wireless power transmitter in a wireless power network |
| US10186913B2 (en) | 2012-07-06 | 2019-01-22 | Energous Corporation | System and methods for pocket-forming based on constructive and destructive interferences to power one or more wireless power receivers using a wireless power transmitter including a plurality of antennas |
| US9867062B1 (en) | 2014-07-21 | 2018-01-09 | Energous Corporation | System and methods for using a remote server to authorize a receiving device that has requested wireless power and to determine whether another receiving device should request wireless power in a wireless power transmission system |
| US9973021B2 (en) | 2012-07-06 | 2018-05-15 | Energous Corporation | Receivers for wireless power transmission |
| US10008889B2 (en) | 2014-08-21 | 2018-06-26 | Energous Corporation | Method for automatically testing the operational status of a wireless power receiver in a wireless power transmission system |
| US9887584B1 (en) | 2014-08-21 | 2018-02-06 | Energous Corporation | Systems and methods for a configuration web service to provide configuration of a wireless power transmitter within a wireless power transmission system |
| US9966765B1 (en) | 2013-06-25 | 2018-05-08 | Energous Corporation | Multi-mode transmitter |
| US10090886B1 (en) | 2014-07-14 | 2018-10-02 | Energous Corporation | System and method for enabling automatic charging schedules in a wireless power network to one or more devices |
| US9882427B2 (en) | 2013-05-10 | 2018-01-30 | Energous Corporation | Wireless power delivery using a base station to control operations of a plurality of wireless power transmitters |
| US9893555B1 (en) | 2013-10-10 | 2018-02-13 | Energous Corporation | Wireless charging of tools using a toolbox transmitter |
| US10291055B1 (en) | 2014-12-29 | 2019-05-14 | Energous Corporation | Systems and methods for controlling far-field wireless power transmission based on battery power levels of a receiving device |
| US10965164B2 (en) | 2012-07-06 | 2021-03-30 | Energous Corporation | Systems and methods of wirelessly delivering power to a receiver device |
| US9954374B1 (en) | 2014-05-23 | 2018-04-24 | Energous Corporation | System and method for self-system analysis for detecting a fault in a wireless power transmission Network |
| US9824815B2 (en) | 2013-05-10 | 2017-11-21 | Energous Corporation | Wireless charging and powering of healthcare gadgets and sensors |
| US9948135B2 (en) | 2015-09-22 | 2018-04-17 | Energous Corporation | Systems and methods for identifying sensitive objects in a wireless charging transmission field |
| US20150326070A1 (en) | 2014-05-07 | 2015-11-12 | Energous Corporation | Methods and Systems for Maximum Power Point Transfer in Receivers |
| US10103582B2 (en) | 2012-07-06 | 2018-10-16 | Energous Corporation | Transmitters for wireless power transmission |
| US10211674B1 (en) | 2013-06-12 | 2019-02-19 | Energous Corporation | Wireless charging using selected reflectors |
| US9912199B2 (en) | 2012-07-06 | 2018-03-06 | Energous Corporation | Receivers for wireless power transmission |
| US9825674B1 (en) | 2014-05-23 | 2017-11-21 | Energous Corporation | Enhanced transmitter that selects configurations of antenna elements for performing wireless power transmission and receiving functions |
| US10992185B2 (en) | 2012-07-06 | 2021-04-27 | Energous Corporation | Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers |
| US9143000B2 (en) | 2012-07-06 | 2015-09-22 | Energous Corporation | Portable wireless charging pad |
| US9806564B2 (en) | 2014-05-07 | 2017-10-31 | Energous Corporation | Integrated rectifier and boost converter for wireless power transmission |
| US9838083B2 (en) | 2014-07-21 | 2017-12-05 | Energous Corporation | Systems and methods for communication with remote management systems |
| US10199835B2 (en) | 2015-12-29 | 2019-02-05 | Energous Corporation | Radar motion detection using stepped frequency in wireless power transmission system |
| US9899861B1 (en) | 2013-10-10 | 2018-02-20 | Energous Corporation | Wireless charging methods and systems for game controllers, based on pocket-forming |
| US10141768B2 (en) | 2013-06-03 | 2018-11-27 | Energous Corporation | Systems and methods for maximizing wireless power transfer efficiency by instructing a user to change a receiver device's position |
| US9843201B1 (en) | 2012-07-06 | 2017-12-12 | Energous Corporation | Wireless power transmitter that selects antenna sets for transmitting wireless power to a receiver based on location of the receiver, and methods of use thereof |
| US10038337B1 (en) | 2013-09-16 | 2018-07-31 | Energous Corporation | Wireless power supply for rescue devices |
| US9847677B1 (en) | 2013-10-10 | 2017-12-19 | Energous Corporation | Wireless charging and powering of healthcare gadgets and sensors |
| US9900057B2 (en) | 2012-07-06 | 2018-02-20 | Energous Corporation | Systems and methods for assigning groups of antenas of a wireless power transmitter to different wireless power receivers, and determining effective phases to use for wirelessly transmitting power using the assigned groups of antennas |
| US9853458B1 (en) | 2014-05-07 | 2017-12-26 | Energous Corporation | Systems and methods for device and power receiver pairing |
| US11502551B2 (en) | 2012-07-06 | 2022-11-15 | Energous Corporation | Wirelessly charging multiple wireless-power receivers using different subsets of an antenna array to focus energy at different locations |
| US9859756B2 (en) | 2012-07-06 | 2018-01-02 | Energous Corporation | Transmittersand methods for adjusting wireless power transmission based on information from receivers |
| US10199849B1 (en) | 2014-08-21 | 2019-02-05 | Energous Corporation | Method for automatically testing the operational status of a wireless power receiver in a wireless power transmission system |
| US9941754B2 (en) | 2012-07-06 | 2018-04-10 | Energous Corporation | Wireless power transmission with selective range |
| US9252628B2 (en) | 2013-05-10 | 2016-02-02 | Energous Corporation | Laptop computer as a transmitter for wireless charging |
| US10141791B2 (en) | 2014-05-07 | 2018-11-27 | Energous Corporation | Systems and methods for controlling communications during wireless transmission of power using application programming interfaces |
| US10224758B2 (en) | 2013-05-10 | 2019-03-05 | Energous Corporation | Wireless powering of electronic devices with selective delivery range |
| US10312715B2 (en) | 2015-09-16 | 2019-06-04 | Energous Corporation | Systems and methods for wireless power charging |
| JP5950108B2 (ja) * | 2012-08-06 | 2016-07-13 | 株式会社村田製作所 | 非接触式入力装置 |
| JP6165776B2 (ja) * | 2012-12-11 | 2017-07-19 | インテル コーポレイション | コンピューティングデバイスのためのコンテキストセンシング |
| JP2014153663A (ja) * | 2013-02-13 | 2014-08-25 | Sony Corp | 音声認識装置、および音声認識方法、並びにプログラム |
| US9538382B2 (en) | 2013-05-10 | 2017-01-03 | Energous Corporation | System and method for smart registration of wireless power receivers in a wireless power network |
| US9819230B2 (en) | 2014-05-07 | 2017-11-14 | Energous Corporation | Enhanced receiver for wireless power transmission |
| US9419443B2 (en) | 2013-05-10 | 2016-08-16 | Energous Corporation | Transducer sound arrangement for pocket-forming |
| US9537357B2 (en) | 2013-05-10 | 2017-01-03 | Energous Corporation | Wireless sound charging methods and systems for game controllers, based on pocket-forming |
| US9866279B2 (en) | 2013-05-10 | 2018-01-09 | Energous Corporation | Systems and methods for selecting which power transmitter should deliver wireless power to a receiving device in a wireless power delivery network |
| EP2804382B1 (en) | 2013-05-15 | 2015-04-29 | Axis AB | Reliability determination of camera fault detection tests |
| US10103552B1 (en) | 2013-06-03 | 2018-10-16 | Energous Corporation | Protocols for authenticated wireless power transmission |
| US10003211B1 (en) | 2013-06-17 | 2018-06-19 | Energous Corporation | Battery life of portable electronic devices |
| US9741315B2 (en) * | 2013-07-03 | 2017-08-22 | Visteon Global Technologies, Inc. | Adjusting a transparent display with an image capturing device |
| US10021523B2 (en) | 2013-07-11 | 2018-07-10 | Energous Corporation | Proximity transmitters for wireless power charging systems |
| US9979440B1 (en) | 2013-07-25 | 2018-05-22 | Energous Corporation | Antenna tile arrangements configured to operate as one functional unit |
| US10075017B2 (en) | 2014-02-06 | 2018-09-11 | Energous Corporation | External or internal wireless power receiver with spaced-apart antenna elements for charging or powering mobile devices using wirelessly delivered power |
| US9935482B1 (en) | 2014-02-06 | 2018-04-03 | Energous Corporation | Wireless power transmitters that transmit at determined times based on power availability and consumption at a receiving mobile device |
| US9966784B2 (en) | 2014-06-03 | 2018-05-08 | Energous Corporation | Systems and methods for extending battery life of portable electronic devices charged by sound |
| US10158257B2 (en) | 2014-05-01 | 2018-12-18 | Energous Corporation | System and methods for using sound waves to wirelessly deliver power to electronic devices |
| US10170917B1 (en) | 2014-05-07 | 2019-01-01 | Energous Corporation | Systems and methods for managing and controlling a wireless power network by establishing time intervals during which receivers communicate with a transmitter |
| US10153653B1 (en) | 2014-05-07 | 2018-12-11 | Energous Corporation | Systems and methods for using application programming interfaces to control communications between a transmitter and a receiver |
| US9973008B1 (en) | 2014-05-07 | 2018-05-15 | Energous Corporation | Wireless power receiver with boost converters directly coupled to a storage element |
| US10153645B1 (en) | 2014-05-07 | 2018-12-11 | Energous Corporation | Systems and methods for designating a master power transmitter in a cluster of wireless power transmitters |
| US9800172B1 (en) | 2014-05-07 | 2017-10-24 | Energous Corporation | Integrated rectifier and boost converter for boosting voltage received from wireless power transmission waves |
| US9876536B1 (en) | 2014-05-23 | 2018-01-23 | Energous Corporation | Systems and methods for assigning groups of antennas to transmit wireless power to different wireless power receivers |
| US20150363157A1 (en) * | 2014-06-17 | 2015-12-17 | Htc Corporation | Electrical device and associated operating method for displaying user interface related to a sound track |
| JP6393537B2 (ja) * | 2014-07-09 | 2018-09-19 | 株式会社デンソーテン | 車両用装置、車両制御システム、車両制御方法 |
| US9926148B2 (en) * | 2014-06-27 | 2018-03-27 | Rite-Hite Holding Corporation | Pedestrian-vehicle safety systems for loading docks |
| US10116143B1 (en) | 2014-07-21 | 2018-10-30 | Energous Corporation | Integrated antenna arrays for wireless power transmission |
| US10068703B1 (en) | 2014-07-21 | 2018-09-04 | Energous Corporation | Integrated miniature PIFA with artificial magnetic conductor metamaterials |
| US9871301B2 (en) | 2014-07-21 | 2018-01-16 | Energous Corporation | Integrated miniature PIFA with artificial magnetic conductor metamaterials |
| US9965009B1 (en) | 2014-08-21 | 2018-05-08 | Energous Corporation | Systems and methods for assigning a power receiver to individual power transmitters based on location of the power receiver |
| US9917477B1 (en) | 2014-08-21 | 2018-03-13 | Energous Corporation | Systems and methods for automatically testing the communication between power transmitter and wireless receiver |
| KR101561026B1 (ko) * | 2014-11-27 | 2015-10-16 | 주식회사 베가스 | 설비의 예측 정비 시스템 및 방법 |
| US9893535B2 (en) | 2015-02-13 | 2018-02-13 | Energous Corporation | Systems and methods for determining optimal charging positions to maximize efficiency of power received from wirelessly delivered sound wave energy |
| JP6364372B2 (ja) * | 2015-03-24 | 2018-07-25 | トヨタホーム株式会社 | 地域監視システム |
| US9906275B2 (en) | 2015-09-15 | 2018-02-27 | Energous Corporation | Identifying receivers in a wireless charging transmission field |
| US10523033B2 (en) | 2015-09-15 | 2019-12-31 | Energous Corporation | Receiver devices configured to determine location within a transmission field |
| US10008875B1 (en) | 2015-09-16 | 2018-06-26 | Energous Corporation | Wireless power transmitter configured to transmit power waves to a predicted location of a moving wireless power receiver |
| US9941752B2 (en) | 2015-09-16 | 2018-04-10 | Energous Corporation | Systems and methods of object detection in wireless power charging systems |
| US10158259B1 (en) | 2015-09-16 | 2018-12-18 | Energous Corporation | Systems and methods for identifying receivers in a transmission field by transmitting exploratory power waves towards different segments of a transmission field |
| US10211685B2 (en) | 2015-09-16 | 2019-02-19 | Energous Corporation | Systems and methods for real or near real time wireless communications between a wireless power transmitter and a wireless power receiver |
| US9893538B1 (en) | 2015-09-16 | 2018-02-13 | Energous Corporation | Systems and methods of object detection in wireless power charging systems |
| US10778041B2 (en) | 2015-09-16 | 2020-09-15 | Energous Corporation | Systems and methods for generating power waves in a wireless power transmission system |
| US11710321B2 (en) | 2015-09-16 | 2023-07-25 | Energous Corporation | Systems and methods of object detection in wireless power charging systems |
| US9871387B1 (en) | 2015-09-16 | 2018-01-16 | Energous Corporation | Systems and methods of object detection using one or more video cameras in wireless power charging systems |
| US10186893B2 (en) | 2015-09-16 | 2019-01-22 | Energous Corporation | Systems and methods for real time or near real time wireless communications between a wireless power transmitter and a wireless power receiver |
| US10199850B2 (en) | 2015-09-16 | 2019-02-05 | Energous Corporation | Systems and methods for wirelessly transmitting power from a transmitter to a receiver by determining refined locations of the receiver in a segmented transmission field associated with the transmitter |
| US10027168B2 (en) | 2015-09-22 | 2018-07-17 | Energous Corporation | Systems and methods for generating and transmitting wireless power transmission waves using antennas having a spacing that is selected by the transmitter |
| US10135295B2 (en) | 2015-09-22 | 2018-11-20 | Energous Corporation | Systems and methods for nullifying energy levels for wireless power transmission waves |
| US10020678B1 (en) | 2015-09-22 | 2018-07-10 | Energous Corporation | Systems and methods for selecting antennas to generate and transmit power transmission waves |
| US10128686B1 (en) | 2015-09-22 | 2018-11-13 | Energous Corporation | Systems and methods for identifying receiver locations using sensor technologies |
| US10153660B1 (en) | 2015-09-22 | 2018-12-11 | Energous Corporation | Systems and methods for preconfiguring sensor data for wireless charging systems |
| US10050470B1 (en) | 2015-09-22 | 2018-08-14 | Energous Corporation | Wireless power transmission device having antennas oriented in three dimensions |
| US10135294B1 (en) | 2015-09-22 | 2018-11-20 | Energous Corporation | Systems and methods for preconfiguring transmission devices for power wave transmissions based on location data of one or more receivers |
| US10033222B1 (en) | 2015-09-22 | 2018-07-24 | Energous Corporation | Systems and methods for determining and generating a waveform for wireless power transmission waves |
| US10333332B1 (en) | 2015-10-13 | 2019-06-25 | Energous Corporation | Cross-polarized dipole antenna |
| US10734717B2 (en) | 2015-10-13 | 2020-08-04 | Energous Corporation | 3D ceramic mold antenna |
| US9853485B2 (en) | 2015-10-28 | 2017-12-26 | Energous Corporation | Antenna for wireless charging systems |
| US9899744B1 (en) | 2015-10-28 | 2018-02-20 | Energous Corporation | Antenna for wireless charging systems |
| US10063108B1 (en) | 2015-11-02 | 2018-08-28 | Energous Corporation | Stamped three-dimensional antenna |
| US10027180B1 (en) | 2015-11-02 | 2018-07-17 | Energous Corporation | 3D triple linear antenna that acts as heat sink |
| US10135112B1 (en) | 2015-11-02 | 2018-11-20 | Energous Corporation | 3D antenna mount |
| US10320446B2 (en) | 2015-12-24 | 2019-06-11 | Energous Corporation | Miniaturized highly-efficient designs for near-field power transfer system |
| US10027159B2 (en) | 2015-12-24 | 2018-07-17 | Energous Corporation | Antenna for transmitting wireless power signals |
| US10141771B1 (en) | 2015-12-24 | 2018-11-27 | Energous Corporation | Near field transmitters with contact points for wireless power charging |
| US10079515B2 (en) | 2016-12-12 | 2018-09-18 | Energous Corporation | Near-field RF charging pad with multi-band antenna element with adaptive loading to efficiently charge an electronic device at any position on the pad |
| US11863001B2 (en) | 2015-12-24 | 2024-01-02 | Energous Corporation | Near-field antenna for wireless power transmission with antenna elements that follow meandering patterns |
| US10038332B1 (en) | 2015-12-24 | 2018-07-31 | Energous Corporation | Systems and methods of wireless power charging through multiple receiving devices |
| US10256677B2 (en) | 2016-12-12 | 2019-04-09 | Energous Corporation | Near-field RF charging pad with adaptive loading to efficiently charge an electronic device at any position on the pad |
| US10008886B2 (en) | 2015-12-29 | 2018-06-26 | Energous Corporation | Modular antennas with heat sinks in wireless power transmission systems |
| JP6789668B2 (ja) * | 2016-05-18 | 2020-11-25 | ソニーモバイルコミュニケーションズ株式会社 | 情報処理装置、情報処理システム、情報処理方法 |
| US10032380B2 (en) | 2016-10-05 | 2018-07-24 | Rite-Hite Holding Corporation | Pedestrian-vehicle safety systems for loading docks |
| CN106570963A (zh) * | 2016-10-26 | 2017-04-19 | 江苏金米智能科技有限责任公司 | 一种智能侦测监控式门禁锁 |
| US10923954B2 (en) | 2016-11-03 | 2021-02-16 | Energous Corporation | Wireless power receiver with a synchronous rectifier |
| CN110235337A (zh) | 2016-12-12 | 2019-09-13 | 艾诺格思公司 | 选择性地激活近场充电垫的天线区域以最大化所传递无线功率的方法 |
| US10389161B2 (en) | 2017-03-15 | 2019-08-20 | Energous Corporation | Surface mount dielectric antennas for wireless power transmitters |
| US10439442B2 (en) | 2017-01-24 | 2019-10-08 | Energous Corporation | Microstrip antennas for wireless power transmitters |
| US10680319B2 (en) | 2017-01-06 | 2020-06-09 | Energous Corporation | Devices and methods for reducing mutual coupling effects in wireless power transmission systems |
| WO2018183892A1 (en) | 2017-03-30 | 2018-10-04 | Energous Corporation | Flat antennas having two or more resonant frequencies for use in wireless power transmission systems |
| US10511097B2 (en) | 2017-05-12 | 2019-12-17 | Energous Corporation | Near-field antennas for accumulating energy at a near-field distance with minimal far-field gain |
| KR102025391B1 (ko) * | 2017-05-15 | 2019-09-25 | 네이버 주식회사 | 사용자의 발화 위치에 따른 디바이스 제어 |
| US11462949B2 (en) | 2017-05-16 | 2022-10-04 | Wireless electrical Grid LAN, WiGL Inc | Wireless charging method and system |
| JP6814095B2 (ja) * | 2017-05-23 | 2021-01-13 | 東芝ライフスタイル株式会社 | 電気掃除機 |
| US10848853B2 (en) | 2017-06-23 | 2020-11-24 | Energous Corporation | Systems, methods, and devices for utilizing a wire of a sound-producing device as an antenna for receipt of wirelessly delivered power |
| US10122219B1 (en) | 2017-10-10 | 2018-11-06 | Energous Corporation | Systems, methods, and devices for using a battery as a antenna for receiving wirelessly delivered power from radio frequency power waves |
| US11342798B2 (en) | 2017-10-30 | 2022-05-24 | Energous Corporation | Systems and methods for managing coexistence of wireless-power signals and data signals operating in a same frequency band |
| US10615647B2 (en) | 2018-02-02 | 2020-04-07 | Energous Corporation | Systems and methods for detecting wireless power receivers and other objects at a near-field charging pad |
| US11159057B2 (en) | 2018-03-14 | 2021-10-26 | Energous Corporation | Loop antennas with selectively-activated feeds to control propagation patterns of wireless power signals |
| EP4221160A3 (en) * | 2018-03-29 | 2023-08-09 | Huawei Technologies Co., Ltd. | Inter-device data migration method |
| US11515732B2 (en) | 2018-06-25 | 2022-11-29 | Energous Corporation | Power wave transmission techniques to focus wirelessly delivered power at a receiving device |
| US11437735B2 (en) | 2018-11-14 | 2022-09-06 | Energous Corporation | Systems for receiving electromagnetic energy using antennas that are minimally affected by the presence of the human body |
| KR20210117283A (ko) | 2019-01-28 | 2021-09-28 | 에너저스 코포레이션 | 무선 전력 전송을 위한 소형 안테나에 대한 시스템들 및 방법들 |
| CN113661660B (zh) | 2019-02-06 | 2023-01-24 | 艾诺格思公司 | 估计最佳相位的方法、无线电力发射设备及存储介质 |
| JP6886118B2 (ja) * | 2019-08-27 | 2021-06-16 | 富士通クライアントコンピューティング株式会社 | 情報処理装置およびプログラム |
| EP4032166A4 (en) | 2019-09-20 | 2023-10-18 | Energous Corporation | SYSTEMS AND METHODS FOR PROTECTING WIRELESS POWER RECEIVERS USING MULTIPLE RECTIFIER AND ESTABLISHING IN-BAND COMMUNICATIONS USING MULTIPLE RECTIFIER |
| WO2021055898A1 (en) | 2019-09-20 | 2021-03-25 | Energous Corporation | Systems and methods for machine learning based foreign object detection for wireless power transmission |
| US11381118B2 (en) | 2019-09-20 | 2022-07-05 | Energous Corporation | Systems and methods for machine learning based foreign object detection for wireless power transmission |
| WO2021055900A1 (en) | 2019-09-20 | 2021-03-25 | Energous Corporation | Classifying and detecting foreign objects using a power amplifier controller integrated circuit in wireless power transmission systems |
| JP7330507B2 (ja) | 2019-12-13 | 2023-08-22 | 株式会社Agama-X | 情報処理装置、プログラム、及び、方法 |
| EP4073905A4 (en) | 2019-12-13 | 2024-01-03 | Energous Corp | CHARGING PAD WITH GUIDING CONTOURS FOR ALIGNING AN ELECTRONIC DEVICE ON THE CHARGING PAD AND FOR EFFICIENTLY TRANSMITTING NEAR FIELD HIGH FREQUENCY ENERGY TO THE ELECTRONIC DEVICE |
| US10985617B1 (en) | 2019-12-31 | 2021-04-20 | Energous Corporation | System for wirelessly transmitting energy at a near-field distance without using beam-forming control |
| US11799324B2 (en) | 2020-04-13 | 2023-10-24 | Energous Corporation | Wireless-power transmitting device for creating a uniform near-field charging area |
| US20220148411A1 (en) * | 2020-11-06 | 2022-05-12 | Ford Global Technologies, Llc | Collective anomaly detection systems and methods |
| US11916398B2 (en) | 2021-12-29 | 2024-02-27 | Energous Corporation | Small form-factor devices with integrated and modular harvesting receivers, and shelving-mounted wireless-power transmitters for use therewith |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01195499A (ja) | 1988-01-30 | 1989-08-07 | Toshiba Corp | 音声入力装置 |
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| JPH103155A (ja) * | 1996-06-14 | 1998-01-06 | Copal Co Ltd | 現像処理装置の処理ラック |
| JPH1031551A (ja) | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
| US6154723A (en) * | 1996-12-06 | 2000-11-28 | The Board Of Trustees Of The University Of Illinois | Virtual reality 3D interface system for data creation, viewing and editing |
| JPH1141577A (ja) | 1997-07-18 | 1999-02-12 | Fujitsu Ltd | 話者位置検出装置 |
| US6351222B1 (en) * | 1998-10-30 | 2002-02-26 | Ati International Srl | Method and apparatus for receiving an input by an entertainment device |
| JP2000326274A (ja) | 1999-05-24 | 2000-11-28 | Nec Corp | 自律行動ロボット |
-
2001
- 2001-02-23 JP JP2001048656A patent/JP4624577B2/ja not_active Expired - Fee Related
- 2001-08-29 US US09/940,661 patent/US6583723B2/en not_active Expired - Lifetime
-
2003
- 2003-01-08 US US10/337,818 patent/US6686844B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6583723B2 (en) | 2003-06-24 |
| US6686844B2 (en) | 2004-02-03 |
| JP2002251234A (ja) | 2002-09-06 |
| US20020118232A1 (en) | 2002-08-29 |
| US20030097190A1 (en) | 2003-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4624577B2 (ja) | 複数のセンサによるヒューマンインタフェースシステム | |
| JP6520878B2 (ja) | 音声取得システムおよび音声取得方法 | |
| US7340100B2 (en) | Posture recognition apparatus and autonomous robot | |
| JP4460528B2 (ja) | 識別対象識別装置およびそれを備えたロボット | |
| EP1186162B1 (en) | Multi-modal video target acquisition and re-direction system and method | |
| US20220032482A1 (en) | Information processing device and storage medium | |
| JP5881136B2 (ja) | 情報処理装置及び方法、並びにプログラム | |
| CN109300471A (zh) | 融合声音采集识别的场区智能视频监控方法、装置及系统 | |
| CN111048113B (zh) | 声音方向定位处理方法、装置、系统、计算机设备及存储介质 | |
| CN107346661B (zh) | 一种基于麦克风阵列的远距离虹膜跟踪与采集方法 | |
| KR102463806B1 (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
| JP2000347692A (ja) | 人物検出方法、人物検出装置及びそれを用いた制御システム | |
| JP2019217558A (ja) | 対話システム及び対話システムの制御方法 | |
| US20060093189A1 (en) | Movement identification apparatus | |
| JP4669150B2 (ja) | 主被写体推定装置及び主被写体推定方法 | |
| WO2021166811A1 (ja) | 情報処理装置および行動モード設定方法 | |
| JP6819633B2 (ja) | 個人識別装置および特徴収集装置 | |
| JP6540742B2 (ja) | 物体認識装置および物体認識方法 | |
| JP2001067098A (ja) | 人物検出方法と人物検出機能搭載装置 | |
| JP6845121B2 (ja) | ロボットおよびロボット制御方法 | |
| JP2007034872A (ja) | 顔認証装置および顔認証システムならびに顔認証方法 | |
| JP2005199373A (ja) | コミュニケーション装置及びコミュニケーション方法 | |
| JP4649944B2 (ja) | 動画像処理装置、動画像処理方法およびプログラム | |
| JP2020052822A (ja) | 情報処理装置、認証システムおよびそれらの制御方法、プログラム | |
| JPH0728488A (ja) | 情報処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080806 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080812 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |