JPH11327753A - Control method and program recording medium - Google Patents
Control method and program recording mediumInfo
- Publication number
- JPH11327753A JPH11327753A JP33440098A JP33440098A JPH11327753A JP H11327753 A JPH11327753 A JP H11327753A JP 33440098 A JP33440098 A JP 33440098A JP 33440098 A JP33440098 A JP 33440098A JP H11327753 A JPH11327753 A JP H11327753A
- Authority
- JP
- Japan
- Prior art keywords
- control
- candidate
- person
- control method
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、人の動き・姿勢・
状態などに基づいて機器や情報の操作・環境の制御など
を行う技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention
The present invention relates to a technology for controlling the operation of devices and information, controlling the environment, and the like based on a state or the like.
【0002】[0002]
【従来の技術】従来、人の動作を検出して機器操作を行
うものとして、人のジェスチャを認識し、テレビの操作
を行うものがある(特開平8-315154, 特開平8-21197
9)。特開平8-315154においては人の手の平の位置とジ
ェスチャをカメラで検出し、テレビの操作を行ってい
る。2. Description of the Related Art Conventionally, as a device for detecting an operation of a person and operating a device, there is a device for recognizing a gesture of a person and operating a television (JP-A-8-315154, JP-A-8-21197).
9). In Japanese Patent Application Laid-Open No. 8-315154, the position and gesture of the palm of a person are detected by a camera, and the television is operated.
【0003】また、特開平8-211979においてはカメラで
検出した人の手の位置と形状とを用いて、文字を携帯用
パーソナルコンピュータに入力するものである。In Japanese Patent Application Laid-Open No. Hei 8-211979, characters are input to a portable personal computer using the position and shape of a human hand detected by a camera.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来の手法では操作する人間と操作される機器とが1対1
に対応づけられることが前提となっており、複数のテレ
ビやパーソナルコンピュータが近くに存在する場合や、
操作者が複数存在する場合、望ましい操作を実現するこ
とは困難であるという課題を有している。However, according to the above-mentioned conventional method, there is a one-to-one correspondence between the operating person and the operated device.
It is premised that it is associated with multiple TVs and personal computers nearby,
There is a problem that it is difficult to achieve a desired operation when there are a plurality of operators.
【0005】一般的に、家庭やオフィス・屋外などにお
いて、近隣に存在する機器や人の数は複数となることが
多く、人の動きなどを用いて機器を制御する場合にも、
個別の人と個別の機器とを対応付けることが必要とな
る。例えば、複数のテレビを同時に操作する場合、どの
テレビを操作するのか又は操作しているのかという区別
が従来の手法には含まれていなかった。また、部屋に複
数の人が存在する場合にも、誰がテレビのチャンネルを
変えているのか、また誰がチャンネルを変えることがで
きるのかという区別が分からないという課題も有してい
た。In general, in homes, offices, outdoors, and the like, the number of devices and people existing in the vicinity is often plural, and even when devices are controlled using the movement of people, etc.
It is necessary to associate individual persons with individual devices. For example, in the case of operating a plurality of televisions at the same time, a distinction as to which television is operated or operated is not included in the conventional method. In addition, even when a plurality of people exist in a room, there is a problem that it is difficult to distinguish who is changing the television channel and who can change the channel.
【0006】本発明は上記従来の装置の課題を鑑み、複
数の機器や複数の人間が近隣に存在する場合にも、機器
と人間との対応を定めて、人の動き・姿勢・状態などを
用いて円滑に機器の操作等を行えるようにする制御方法
を提供することを目的とする。In view of the above-mentioned problems of the conventional apparatus, the present invention determines the correspondence between devices and humans and determines the movement, posture, state, etc. of humans even when a plurality of devices and a plurality of people are present in the vicinity. It is an object of the present invention to provide a control method that allows a user to smoothly operate a device or the like by using the control method.
【0007】[0007]
【課題を解決するための手段】本発明は、単一又は複数
の人の属性を継続的あるいは間欠的に監視し、人の所定
の属性の検出に基づいて所定の機器の制御を行うことを
特徴とする制御方法である。また、人の所定の属性に基
づき、制御対象の候補及び制御内容の候補を決定し、前
記制御対象の候補及び前記制御内容の候補に基づき制御
対象及び制御内容を決定することを特徴とする制御方法
である。さらに、複数の人の属性の検出に基づき、前記
人ごとに制御対象の候補及び制御内容の候補を決定し、
前記制御対象の候補及び前記制御内容の候補に基づいて
制御対象及び制御内容を決定することを特徴とする制御
方法である。SUMMARY OF THE INVENTION The present invention provides a method for continuously or intermittently monitoring the attributes of a single person or a plurality of persons, and controlling a predetermined device based on the detection of the predetermined attributes of the person. This is a characteristic control method. Further, based on a predetermined attribute of a person, a control target candidate and a control content candidate are determined, and the control target and the control content are determined based on the control target candidate and the control content candidate. Is the way. Further, based on the detection of the attributes of a plurality of people, determine a candidate of the control target and a candidate of the control content for each person,
A control method characterized in that a control target and control content are determined based on the control target candidate and the control content candidate.
【0008】[0008]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図1は本発明の第一の実施
の形態を示すブロック図である。図1において、1は監
視部、2は操作者選択部、3は制御対象候補決定部、4
は制御内容候補決定部、5は制御対象・制御内容決定部
である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of the present invention. In FIG. 1, 1 is a monitoring unit, 2 is an operator selecting unit, 3 is a control target candidate determining unit, 4
Is a control content candidate determination unit, and 5 is a control object / control content determination unit.
【0009】図1において、監視部1は人の属性及び人
の周囲の環境を継続的に監視する。人の属性としては、
人の位置、人の姿勢、人の顔、人の表情、人の視線、人
の頭の向き、人の動き、人の音声、人の生理状態、特定
個人であること、人の体型、人の体重、人の性別、人の
年齢、人の心身的不自由度、人の付帯物などを監視す
る。ここで、心身的不自由度としては、視力の不自由
度、四肢の不自由度、発声の不自由度、聴覚の不自由
度、言語理解の不自由度などがある。また、付帯物とし
ては、着衣、帽子、眼鏡、かばん、履き物などがある。In FIG. 1, a monitoring unit 1 continuously monitors the attributes of a person and the environment around the person. As the attributes of a person,
Human position, human posture, human face, human facial expression, human gaze, human head orientation, human movement, human voice, human physiological condition, specific person, human body type, human Monitor the body weight, gender of a person, age of a person, degree of mental and physical inconvenience of a person, and incidental items of a person. Here, the mental and physical inconveniences include visual inconvenience, limb inconvenience, vocal inconvenience, hearing inconvenience, and language understanding inconvenience. Examples of the accessory include clothes, hats, glasses, bags, and footwear.
【0010】監視する手段としてはカメラ(可視光、赤
外線などに感度を持つもの)、マイク、圧力センサ、超
音波センサ、振動センサ、化学センサ、光センサなどを
用いる。更に他のセンサを用いてもよい。カメラを用い
ることで人の位置、人の姿勢、人の顔、人の表情、人の
動き、人の体型、人の付帯物などを非接触で監視するこ
とが可能となる。As a means for monitoring, a camera (having sensitivity to visible light, infrared light, etc.), a microphone, a pressure sensor, an ultrasonic sensor, a vibration sensor, a chemical sensor, an optical sensor, and the like are used. Still other sensors may be used. By using the camera, it is possible to monitor the position of the person, the posture of the person, the face of the person, the expression of the person, the movement of the person, the body shape of the person, the accessory of the person, and the like without contact.
【0011】人の位置をカメラで監視する場合、画像中
の肌色が存在する領域を人の存在する位置とする。ま
た、前記の肌色の領域でかつ、画像の色や輝度に変化の
ある領域を人の存在する位置とすることや、赤外線の画
像を併用し、人が主に発する波長3〜5μmもしくは8
〜12μmの赤外線を検出した領域を、人の存在する位
置としてもよい。人の姿勢や人の体型や人の動きをカメ
ラで監視する場合、前記人の位置の検出と同様の手法を
用いることで人の大まかな形状を抽出し、その形状から
姿勢や体型を監視し、前記姿勢の時間的変化を監視する
ことで動きを監視する。When the position of a person is monitored by a camera, the area where the flesh color exists in the image is defined as the position where the person exists. In addition, the skin color area and the area where the color or brightness of the image changes may be set as a position where a person exists, or a wavelength of 3 to 5 μm or 8 which is mainly emitted by a person using an infrared image.
An area where infrared rays of up to 12 μm are detected may be set as a position where a person exists. When monitoring the posture of the person, the body shape of the person, and the movement of the person with a camera, the approximate shape of the person is extracted by using the same method as the detection of the position of the person, and the posture and the body shape are monitored from the shape. The movement is monitored by monitoring the temporal change of the posture.
【0012】姿勢としては、例えば立っているか、座っ
ているか、手をどちらの向きに伸ばしているかなどの区
別は、それぞれの姿勢の代表的な形状をあらかじめ登録
しておき、前記登録内容と比較することで判断すること
が可能である。人の顔や人の表情や人の頭の向きや人の
視線をカメラで監視する場合、前記人の形状から人の体
の中で一番上部に位置する頭部を検出し、顔の表情をあ
らかじめ登録した様々な表情を含む顔の画像とを比較す
ることで顔や表情の監視が可能である。人の頭の向きや
視線の向きは、前記手続きで検出した頭部の画像から目
の位置を検出することで判断できる。両目の位置が頭部
に対して左右対称であれば、カメラに対して頭部が正面
を向いていることになり、左右のどちらかに目の位置が
偏っていれば、頭部の向きが左または右に向いているこ
とが判断できる。目の位置については顔の領域の中で、
楕円形状または平坦な形状でかつ顔の領域中で輝度の暗
い領域を検出することで検出することが可能である。更
に、視線については目の中の虹彩の円領域を検出するこ
とで、前記円領域の中心と前記目全体の領域の中心との
ずれによって、検出することが出来る。人の付帯物をカ
メラで検出する場合は、前記手続きで検出した人の領域
について、着衣の無い人の状態の色と異なる色を検出し
た体の部分については付帯物があると判断できる。ま
た、あらかじめ、特定の色を有する付帯物を登録してお
くことで、判別することも可能である。眼鏡について
は、前記手続きで顔の領域及び目の位置を検出した際
に、目の周囲に枠状の形状があるか否かで判断すること
が出来る。また、マイクを用いることで人の音声や、人
の動きにより生じる音(手や指を鳴らす音や足音など)
などを非接触に監視することが可能となる。また、近接
または接触する位置からは心音などの生理状態を計測す
ることも可能である。また、圧力センサを用いることで
人の動きによる接触や、床面に設置した圧力センサを用
いることで体重や歩行パターンを監視することが可能で
ある。また、超音波センサを用いることで、人までの距
離や、人までの距離の変化による人の動きの監視が可能
である。超音波を用いる場合、照明が大きく変動する場
合や無照明下でも、人の位置を監視することが可能とな
る。As for the posture, for example, whether the user is standing, sitting, or extending his hand, the representative shape of each posture is registered in advance and compared with the registered contents. It is possible to judge by doing. When monitoring a person's face, a person's expression, a person's head orientation, and a person's gaze with a camera, the head located at the top of a person's body is detected from the shape of the person, and the facial expression is detected. Can be monitored by comparing the image with a face image including various expressions registered in advance. The direction of the person's head and the direction of the line of sight can be determined by detecting the position of the eyes from the image of the head detected in the above procedure. If the position of both eyes is symmetrical with respect to the head, the head is facing the front with respect to the camera. It can be determined that it is facing left or right. As for the position of the eyes,
The detection can be performed by detecting a region having an elliptical shape or a flat shape and a low luminance in the face region. Further, the line of sight can be detected by detecting the circular region of the iris in the eye, and by detecting the difference between the center of the circular region and the center of the entire eye region. When a person's accessory is detected by the camera, it can be determined that there is an accessory for a body part that detects a color different from the color of the undressed person in the area of the person detected in the above procedure. In addition, it is possible to determine by registering an accessory having a specific color in advance. Regarding the glasses, when the face area and the position of the eyes are detected in the above procedure, it can be determined whether or not there is a frame shape around the eyes. In addition, the sound of a person by using a microphone, and the sound generated by the movement of a person (sounds of hands and fingers, footsteps, etc.)
Can be monitored in a non-contact manner. It is also possible to measure a physiological state, such as a heart sound, from the position of approach or contact. In addition, it is possible to monitor contact by human motion by using a pressure sensor, and to monitor weight and a walking pattern by using a pressure sensor installed on a floor surface. Further, by using the ultrasonic sensor, it is possible to monitor the distance to the person and the movement of the person due to a change in the distance to the person. When using ultrasonic waves, it is possible to monitor the position of a person even when the illumination fluctuates greatly or without illumination.
【0013】また、振動センサを用いることで、人の動
きにより生じる振動を監視することが可能となる。ま
た、身体からの分泌物・排泄物・体液中のイオン濃度、
糖分、ホルモンなどの化学物質の量を計測する化学セン
サや、身体を透過した光のスペクトル分布を計測する光
センサなどを用いることで生理状態を監視することが可
能である。また、前記カメラで得た顔の特徴や身体の動
き、前記マイクで得た音声の特徴、前記圧力センサで得
た体重などの情報に基づいて特定個人であることや、人
の性別、人の年齢、人の心身的不自由度などを推定する
ことが可能である。例えば、あらかじめ特定個人の顔の
特徴や、体重、体型、性別、年齢、心身的不自由度を登
録しておくことで、いずれかの特徴(例えば体重)を用
いて個人の特定を行うと、性別などの他の特徴も既知と
なる。Further, by using the vibration sensor, it is possible to monitor the vibration caused by the movement of the person. Also, the concentration of ions in secretions, excretions, and body fluids from the body,
Physiological conditions can be monitored by using a chemical sensor that measures the amount of a chemical substance such as a sugar or a hormone, or an optical sensor that measures the spectral distribution of light transmitted through the body. Further, based on information such as facial features and body movement obtained by the camera, voice features obtained by the microphone, and weight obtained by the pressure sensor, being a specific individual, gender of a person, It is possible to estimate the age, the degree of mental and physical inconvenience of a person, and the like. For example, by registering in advance the facial features, weight, body shape, gender, age, and mental and physical inconvenience of a specific individual, if an individual is identified using any of the characteristics (for example, weight), Other features, such as gender, are also known.
【0014】また、異なる視野を持つ複数のカメラを用
いることで、人の位置や姿勢・動きを3次元的に捉える
ことが容易となり、監視の精度も向上し、監視できる場
所を広げることが可能である。同様に性質の異なる複数
のセンサを組み合わせることでも人の位置や姿勢・動き
の検出の精度及び信頼度を向上させることが出来る。In addition, by using a plurality of cameras having different visual fields, it becomes easy to three-dimensionally capture the position, posture, and movement of a person, and the monitoring accuracy is improved, and the monitoring place can be expanded. It is. Similarly, by combining a plurality of sensors having different properties, the accuracy and reliability of detecting the position, posture, and movement of a person can be improved.
【0015】なお、人及び周囲の環境の監視は間欠的で
も良く、人の属性の変化が少ないときや高速な制御が必
要でない制御対象の場合には間欠的に監視を行うこと
で、一連の制御処理の処理量を軽減し、計算資源の削減
や消費エネルギーの削減の効果が得られる。The monitoring of the environment of the person and the surrounding environment may be intermittent. When the change of the attribute of the person is small or in the case of a controlled object that does not require high-speed control, the monitoring is performed intermittently to provide a series of monitoring. The amount of control processing is reduced, and the effect of reducing computational resources and energy consumption is obtained.
【0016】図1において、操作者選択部2は前記監視
部1の監視した結果に基づき、操作者を選択する。ここ
で、前記監視部は3名の人を監視しているとする。操作
者選択部2は監視部1の監視した所定の人の属性に基づ
いて前記3名のうち1名を選択する。所定の属性に基づ
いて人を選択する事とは、あらかじめ定めた位置(例え
ば部屋の中央など)に最も近い位置に存在する人や、あ
らかじめ定めた姿勢や動作(例えば挙手など)などを行
った人や、あらかじめ定めた人の優先順位に基づく(例
えば家族内であれば父親、母親、子供の順など)最も優
先順位の高い人や(体重や性別、年齢、生理状態、心身
的不自由度などに応じて優先順位をつけてもよい)、特
定の言葉(例えば「ハイ」や機器の名称など)を発した
人や、特定の付帯物(例えば赤いボールを手に持ってい
るなど)を有した人や、特定の位置(例えば置物など)
に視線または頭を向けている人などを選択することであ
る。また、操作者選択部2は、人の属性に基づいてあら
かじめ定めた評価方法に基づいて評価値を各人に対して
求め、評価値がある基準値以上でかつ最も評価値の大き
い人を選択するようにしてもよい。この場合、様々な人
の属性を同時に考慮することが可能になる。評価方法と
しては例えば、「ハイ」と発声した音声の強度と挙手し
た動作の速さとの重み付け和を評価値として用いること
などが出来る。In FIG. 1, an operator selecting section 2 selects an operator based on the result monitored by the monitoring section 1. Here, it is assumed that the monitoring unit monitors three persons. The operator selection unit 2 selects one of the three persons based on the attribute of the predetermined person monitored by the monitoring unit 1. Selecting a person based on a predetermined attribute means that a person exists at a position closest to a predetermined position (for example, the center of a room), or performs a predetermined posture or action (for example, raising a hand). The highest priority person (such as weight, gender, age, physiological condition, mental and physical inconvenience) based on the priority of the person or predetermined person (for example, father, mother, and child in a family). Priority, etc.), specific words (e.g., "high" or device name, etc.), or specific ancillary objects (e.g., holding a red ball in your hand) The person holding it, or a specific location (for example, a figurine)
This is to select a person who is looking at the head or head. Further, the operator selecting unit 2 obtains an evaluation value for each person based on an evaluation method predetermined based on the attribute of the person, and selects a person whose evaluation value is equal to or more than a certain reference value and has the largest evaluation value. You may make it. In this case, it is possible to consider attributes of various people at the same time. As the evaluation method, for example, a weighted sum of the strength of the voice uttering “high” and the speed of the raised hand can be used as the evaluation value.
【0017】次に操作者選択部2は選択した人について
の情報を提示する。例えば、選択した人の名前が特定で
きる場合には、選択した人の名前をディスプレイに表示
したり、名前を音声で出力したり、あらかじめ個人と対
応づけた音楽や音や名称を音で出力したり、あらかじめ
個人と対応づけた記号や文字をディスプレイに表示した
り、あらかじめ各個人が付帯している機器に信号を送信
してもよい。前記信号を受けた付帯機器は振動したり、
光を出力したり、音を出力することで個人に情報を知ら
せることができる。また、選択した人に対して照明を向
けたり、ディスプレイなどの機器を回転させて選択した
人に対して向けたり、選択した人をカメラで写した映像
をディスプレイに表示したりしてもよい。また、選択し
た人に対してのみその人の発声や動作の直後に「何です
か」という音声を出力したり、音や光を出力したりする
ことで、選択した人の情報を人に提示することもでき
る。Next, the operator selection section 2 presents information about the selected person. For example, if the name of the selected person can be identified, the name of the selected person is displayed on the display, the name is output by voice, or the music, sound, or name associated with the individual in advance is output by sound. Alternatively, a symbol or character previously associated with an individual may be displayed on a display, or a signal may be transmitted to a device attached to each individual in advance. Ancillary equipment receiving the signal vibrates,
By outputting light or sound, information can be notified to an individual. Further, the lighting may be directed to the selected person, the device such as a display may be rotated to direct the light to the selected person, or the image of the selected person photographed by the camera may be displayed on the display. In addition, only for the selected person, the voice of "what" is output immediately after the person's utterance or action, or sound or light is output, so that the information of the selected person is presented to the person. You can also.
【0018】なお、前記例では操作者選択部2は3名の
うち1名を選択したが、複数名(2名など)を選択して
もよいし、所定の属性が観察できない場合には人を選択
しなくてもよい。In the above-mentioned example, the operator selecting section 2 selects one of the three persons. However, a plurality of persons (two persons or the like) may be selected. May not be selected.
【0019】図1において、3は制御対象候補決定部で
あり、前記操作者選択部2が選択した人の所定の属性や
選択した人の周辺の環境に基づいて、制御対象の候補を
決定する。制御対象としては機器(家庭内であれば、エ
アコン、テレビ、ビデオ、電灯、洗濯機、パーソナルコ
ンピュータ、ゲーム機、ペットロボットなど。家庭外で
あれば、エレベータ、車など)や、情報機器で扱われる
情報や表示内容(ディスプレイ内に表示している文字や
図形など)などを対象とする。選択した人の所定の属性
としては、指や視線や頭による指示姿勢や、特定の言葉
の発声や、手話動作や、特定の物を手に持つことなどを
用いることができる。指や視線や頭による指示姿勢を用
いる場合、指示された付近に存在する機器またはディス
プレイの表示内容を制御対象の候補とする。人の周辺の
環境としては気温、湿度、照度、音量、気流状態、空気
中における特定の気体の濃度(炭酸ガス濃度など)、時
刻などを用いることができる。室内の気温や湿度が高い
場合には、制御対象としてエアコンや扇風機や除湿機な
どを制御対象の候補とする。室内の照度が低い場合や特
定の時刻(日没前の時刻)になった場合には、照明を制
御対象の候補とする。気流の変化が長時間無い場合や空
気中の炭酸ガス濃度が基準値を上回る場合などには、換
気扇や窓を制御対象とする。室外の音が基準値を上回る
場合にはテレビや窓を制御対象とする。In FIG. 1, reference numeral 3 denotes a control target candidate determination unit which determines a control target candidate based on a predetermined attribute of the person selected by the operator selection unit 2 and an environment around the selected person. . The objects to be controlled are devices (air conditioners, televisions, videos, electric lights, washing machines, personal computers, game machines, pet robots, etc. in homes; elevators, cars, etc. outside homes) and information devices. Information and display contents (such as characters and figures displayed on the display). As the predetermined attribute of the selected person, a pointing posture by a finger, a line of sight, or a head, utterance of a specific word, sign language operation, holding a specific object in a hand, and the like can be used. In the case of using a pointing posture with a finger, a line of sight, or a head, display contents of a device or a display existing in the vicinity of the pointing are set as control target candidates. As the environment around a person, temperature, humidity, illuminance, sound volume, airflow state, concentration of a specific gas in air (such as carbon dioxide concentration), time, and the like can be used. When the indoor temperature or humidity is high, an air conditioner, a fan, a dehumidifier, or the like is set as a control target candidate as a control target. When the illuminance in the room is low or at a specific time (time before sunset), the illumination is set as a control target candidate. When there is no change in the airflow for a long time or when the concentration of carbon dioxide in the air exceeds a reference value, a ventilation fan or a window is set as a control target. If the sound outside the room exceeds the reference value, the television or window is set as the control target.
【0020】なお、この候補は複数あってもよく、また
1つでもよい。例えば、操作者として選択された人が指
差す方向に、エアコンとテレビが存在した場合、両者を
制御対象とする。言葉の発声や手話動作を所定の属性と
して用いる場合には、機器の名称を指示してもよいし、
あらかじめ定めた言葉でもよい。例えば「テレビ」言え
ば、テレビ(複数存在してもよい)を制御対象の候補と
し、「暑い」と言えば扇風機とエアコンを制御対象候補
とする。所定の属性として特定の物を手に持つことを用
いる場合、機器と物とをあらかじめ対応づけておき、赤
いボールはエアコン、青いボールはテレビに対応づけて
おくことで、青いボールを手にしたことでテレビを制御
対象の候補とする。The number of candidates may be plural or one. For example, when the air conditioner and the television are present in the direction in which the person selected as the operator points, both are controlled. When using utterance of words or sign language operation as a predetermined attribute, the name of the device may be indicated,
A predetermined word may be used. For example, speaking of "television", television (or a plurality of televisions) may be candidates for control, and speaking of "hot" a fan and an air conditioner may be candidates for control. When using a specific object in the hand as a predetermined attribute, the device and the object are associated in advance, the red ball is associated with the air conditioner, the blue ball is associated with the TV, and the blue ball is obtained. Thus, the television is set as a candidate to be controlled.
【0021】次に制御対象候補決定部3は、決定した制
御対象の候補についての情報を外部に提示する。情報の
提示は制御対象を表す名称を音声や音で出力してもよ
く、また、制御対象の表す名称をディスプレイに表示し
てもよい。また、制御対象の候補の機器自身に備えたラ
イトを点灯させてもよいし、制御対象の候補の機器自身
に備えたスピーカーから音や音声を出力してもよい。Next, the control target candidate determination unit 3 presents information on the determined control target candidate to the outside. For the information presentation, the name representing the control target may be output by voice or sound, or the name representing the control target may be displayed on a display. Further, a light provided in the device to be controlled itself may be turned on, or a sound or voice may be output from a speaker provided in the device to be controlled itself.
【0022】図1において、制御内容候補決定部4は前
記操作者選択部2が選択した人の所定の属性や選択した
人の周辺の環境に基づいて、制御内容の候補を決定す
る。制御内容としては機器のスイッチのオン・オフや、
機器の動作パラメータ(音量や、風量や、風向や、チャ
ンネルや、光量など)の変更や、ドアや窓の開閉や、情
報機器のディスプレイ内のオブジェクトの移動・変形・
色の変更・文書の編集などを制御対象とする。In FIG. 1, a control content candidate determining section 4 determines control content candidates based on a predetermined attribute of the person selected by the operator selecting section 2 and an environment around the selected person. The control contents include turning on / off the switch of the device,
Change device operation parameters (volume, air volume, wind direction, channel, light intensity, etc.), open and close doors and windows, move / deform objects in the display of information devices,
Change of color, editing of document, etc. are controlled.
【0023】所定の属性としては、音声や手話で制御内
容を指示することや(例えばスイッチを入れる場合は
「オン」、スイッチを切る場合は「オフ」と発声するこ
とや、「暑い」と発声することでスイッチを入れるな
ど)、あらかじめ定めた動作を制御内容と関連付けてお
いてもよい(手を1度叩くとスイッチを入れ、2度叩く
とスイッチを切るなど)。なお、候補は複数あってもよ
く、また1つでもよい。例えば、操作者として選択した
人が「上」と発声した場合、候補としてテレビの音量を
大きくすることや、エアコンの設定温度を上げること
や、情報機器のディスプレイに表示するオブジェクトを
情報に移動させることなどが候補となる。As the predetermined attribute, it is possible to indicate the control contents by voice or sign language (for example, "ON" when the switch is turned on, "OFF" when the switch is turned off, or "Hot" The user may associate a predetermined operation with the control content (such as hitting the hand once to turn on the switch and hitting the hand twice to turn off the switch). Note that there may be a plurality of candidates or one candidate. For example, when the person selected as the operator utters “up”, the candidate may increase the volume of the television, increase the set temperature of the air conditioner, or move the object displayed on the display of the information device to the information. Things are candidates.
【0024】人の周辺の環境としては気温、湿度、照
度、音量、気流状態、空気中における特定の気体の濃度
(炭酸ガス濃度など)、時刻などを用いることができ
る。室内の気温や湿度が高い場合には、制御内容として
エアコンや扇風機や除湿機などのスイッチを入れること
や動作強度を強めることなどを制御内容の候補とする。As the environment around a person, temperature, humidity, illuminance, sound volume, airflow state, concentration of a specific gas in the air (such as carbon dioxide concentration), time and the like can be used. When the indoor temperature and humidity are high, the control contents may include switching on an air conditioner, a fan, a dehumidifier, or the like, and increasing the operation intensity, and the like.
【0025】室内の照度が低い場合や特定の時刻(日没
前の時刻)になった場合には照明のスイッチを入れるこ
とや光量を強めることなどを制御内容の候補とする。気
流の変化が長時間無い場合や空気中の炭酸ガス濃度が基
準値を上回る場合などには、換気扇のスイッチを入れる
ことや窓を開けることを制御内容の候補とする。室外の
音が基準値を上回る場合にはテレビの音量を大きくする
ことや窓を閉めることを制御内容の候補とする。When the illuminance in the room is low or at a specific time (time before sunset), turning on the light or increasing the light amount are candidates for the control contents. If there is no change in the airflow for a long time, or if the concentration of carbon dioxide in the air exceeds the reference value, switching on the ventilation fan and opening the window are candidates for the control content. If the outdoor sound exceeds the reference value, increasing the volume of the television and closing the window are candidates for the control content.
【0026】次に制御内容候補決定部4は決定した制御
内容の候補についての情報を提示する。情報の提示は制
御内容を表す名称を音声や音で出力してもよく、また、
制御内容の表す名称をディスプレイに表示してもよい。Next, the control content candidate determination section 4 presents information on the determined control content candidates. For the information presentation, a name representing the control content may be output by voice or sound,
The name represented by the control content may be displayed on the display.
【0027】図1において、制御対象・制御内容決定部
5は、前記制御対象候補決定部3が決定した制御対象候
補と、前記制御内容候補決定部4が決定した制御内容候
補とから、制御対象と制御内容を決定し、決定した制御
対象に対して決定した制御を行う。ここで、制御対象の
候補と制御内容の候補から、制御対象と制御内容を、次
のような候補の限定によって、特定する。候補の限定は
制御対象の候補と制御内容の候補との組み合わせのうち
あらかじめ定めた組み合わせのみを採用する。例えば、
制御対象の候補がテレビとエアコンで、制御内容の候補
が「温度を上げる」の場合にはテレビに対しては温度を
上げる制御内容はなく、エアコンに対しては温度を上げ
る制御内容がある場合、エアコンを制御対象とし、エア
コンの設定温度を上げることを制御内容とする。また、
候補の限定として、人の指示動作に基づいてエアコンを
制御対象候補とし、人の「上げる」の発声に基づいてエ
アコンの温度を上げることを制御内容の候補としたと
き、前記指示動作を監視した時刻T1と前記「上げる」
の発声を監視した時刻T2との時間間隔が基準値(例え
ば3秒)以上なら制御対象ならびに制御内容を選択しな
い。同様に前記時刻T2が前記時刻T1よりも先の場合
にも制御対象ならびに制御内容を選択しない。このよう
に時刻T1と時刻T2の時間間隔や順序を考慮すること
でも、候補を限定することができる。このことにより、
偶然の指示動作と偶然の会話の中の言葉との組み合わせ
による誤判断などの割合を低減することができる。ま
た、前記指示動作の継続時間が基準(例えば1秒以上)
に満たない場合にも、制御対象の選択を行わない。この
ことにより、日常の動作の中で偶然指示動作と同じ動作
を行った場合に誤った判断の割合を低減することが可能
となる。なお、限定を行う必要がない場合(例えば、候
補数が1つの場合や、複数の制御対象を同時に制御する
場合など)には、限定を行わなくてもよい。In FIG. 1, a control object / control content determination unit 5 determines a control object from a control object candidate determined by the control object candidate determination unit 3 and a control content candidate determined by the control content candidate determination unit 4. And the control content are determined, and the determined control is performed on the determined control target. Here, the control target and the control content are specified from the control target candidates and the control content candidates by limiting the following candidates. As for the limitation of the candidates, only a predetermined combination among the combinations of the control target candidate and the control content candidate is adopted. For example,
If the control target candidates are TV and air conditioner, and the control content candidate is “raise temperature”, there is no control content to raise the temperature for the TV, and there is control content to raise the temperature to the air conditioner The control content is to control the air conditioner and raise the set temperature of the air conditioner. Also,
As a limitation of the candidate, when the air conditioner was set as a control target candidate based on the instruction operation of a person, and when increasing the temperature of the air conditioner based on the utterance of "raising" of the person was set as a candidate for the control content, the instruction operation was monitored. Time T1 and the "raise"
If the time interval from the time T2 when the utterance is monitored is equal to or longer than the reference value (for example, 3 seconds), the control object and the control content are not selected. Similarly, when the time T2 is earlier than the time T1, the control object and the control content are not selected. Thus, the candidates can also be limited by considering the time interval and the order of the time T1 and the time T2. This allows
It is possible to reduce the rate of misjudgment or the like due to a combination of a chance instruction operation and words in a chance conversation. Further, the duration of the instruction operation is a reference (for example, 1 second or more).
Is not selected, the control target is not selected. This makes it possible to reduce the ratio of erroneous determination when the same operation as the instruction operation is accidentally performed in the daily operation. When there is no need to perform the limitation (for example, when the number of candidates is one, or when a plurality of control targets are controlled simultaneously), the limitation may not be performed.
【0028】次に、制御対象・制御内容決定部5は、決
定した制御対象及び制御内容の情報を提示する。制御対
象の提示ならびに制御内容の提示については、前記制御
対象の候補の提示ならびに制御内容の候補の提示と同様
である。Next, the control target / control content determination unit 5 presents information on the determined control target and control content. The presentation of the control object and the presentation of the control content are the same as the presentation of the control object candidate and the presentation of the control content candidate.
【0029】また、制御対象・制御内容決定部5は確認
の指示や、再入力の指示、候補の選択肢や、対象決定不
能であることなどの情報の提示を行ってもよい。確認の
指示は、前記決定した制御対象ならびに制御内容につい
ての実行の確認を行うもので、「よろしいですか」など
の発声やディスプレイ上ので表示または、あらかじめ定
めた音でもよい。再入力の指示や対象決定不能の提示
は、制御対象ならびに制御内容の確定が困難な場合(人
の所定の属性があいまいな場合など)、再度入力を促す
もので、「もう一度入力して下さい」などの発声や、デ
ィスプレイ上での表示、またはあらかじめ定めた音を出
力してもよい。候補の選択肢は、制御対象ならびに制御
内容が複数存在する場合に、ディスプレイ上の表示など
で選択肢を表示し、選択の行為を促す。Further, the control object / control content determination unit 5 may present an instruction for confirmation, an instruction for re-input, a choice of a candidate, or information indicating that the target cannot be determined. The confirmation instruction is for confirming the execution of the determined control target and the control content, and may be an utterance such as “Is it OK?”, A display on a display, or a predetermined sound. The instruction of re-input or the indication that the object cannot be determined will prompt the user to input again when it is difficult to determine the control target and the control details (such as when the predetermined attribute of a person is ambiguous). , An indication on a display, or a predetermined sound may be output. When there are a plurality of candidate options and a plurality of control contents, the candidate options are displayed on a display or the like to prompt a selection action.
【0030】また、監視部1は、制御対象・制御内容決
定部5が情報の提示を行った後の操作者の属性を監視
し、制御対象・制御内容決定部5は制御対象の候補なら
びに制御内容の候補の限定や、制御対象及び制御内容の
決定や、再度情報の提示を行う。情報の提示と提示後の
人の属性の監視に基づく制御対象ならびに制御内容に削
減は繰り返し行ってもよい。繰り返し行うことで、候補
数を減らすことが可能である。制御対象・制御内容決定
部5が情報の提示を行った後の操作者の属性としては、
実行の確認の場合には、「ハイ」などの発声を監視する
ことで、制御対象に対する制御を実行する。候補の選択
肢をディスプレイで提示する場合には、選択肢に番号を
付与することで、その番号を表す、発声を監視すること
で制御対象に対する制御を実行する。なお、先に述べた
制御対象候補決定部3や制御内容候補決定部4がその候
補に対する選択を催促するようにしてもよい。この場合
は、人がその候補のなかから特定の対象、内容を選択す
るから、制御対象、制御内容決定部5はその選択行為に
基づいて、制御対象、制御内容を決定することになる。The monitoring unit 1 monitors the attributes of the operator after the control target / control content determination unit 5 presents the information. The content candidates are limited, the control target and the control content are determined, and the information is presented again. The reduction of the control target and the control content based on the presentation of the information and the monitoring of the attribute of the person after the presentation may be repeatedly performed. By repeating the process, the number of candidates can be reduced. The attributes of the operator after the control target / control content determination unit 5 has presented the information include:
In the case of confirming the execution, the control for the control target is executed by monitoring the utterance such as “high”. When a candidate option is presented on a display, a number is assigned to the option, and the control is performed on the control target by monitoring the utterance representing the number. The control target candidate determination unit 3 and the control content candidate determination unit 4 described above may prompt the selection of the candidate. In this case, since a person selects a specific target and content from the candidates, the control target / control content determination unit 5 determines the control target and control content based on the selection action.
【0031】このように構成した本発明の第一の実施の
形態について、その動作を説明する。室内にA,B,C
の3名の人がおり、エアコン、テレビ、扇風機が室内に
存在するとする。監視部1は人の属性ならびに人の周辺
の環境を継続的に監視している。ここで、AとBがテレ
ビを指差した場合、操作者選択部2は時間的に先にテレ
ビを指差したBを操作者とし、Bの名前を音声で出力す
る。これにより、Aは操作できずBが操作できることを
知ることができ、複数人数でも、混乱すること無く機器
の制御を行うことができる。The operation of the first embodiment of the present invention configured as described above will be described. A, B, C in the room
It is assumed that there are three people, and an air conditioner, a television, and a fan exist indoors. The monitoring unit 1 continuously monitors the attributes of the person and the environment around the person. Here, when A and B point to the television, the operator selection unit 2 sets B, which pointed to the television earlier in time, as the operator, and outputs the name of B in voice. As a result, it is possible to know that A cannot operate and B can operate, and even a plurality of persons can control the apparatus without confusion.
【0032】操作者選択部2が行う操作者の情報の提示
は、Bの名前を音声で出力する以外に、選択した人の名
前をディスプレイに表示したり、あらかじめ個人と対応
づけた音楽や音や名称を音で出力したり、あらかじめ個
人と対応づけた記号や文字をディスプレイに表示した
り、あらかじめ各個人が付帯している機器に信号を送信
してもよい。前記信号を受けた付帯機器は振動したり、
光を出力したり、音を出力することで個人に情報を知ら
せることができる。また、選択した人に対して照明を向
けたり、ディスプレイなどの機器を回転させて選択した
人に対して向けたり、選択した人をカメラで写した映像
をディスプレイに表示したりしてもよい。また、選択し
た人に対してのみその人の発声や動作の直後に「何です
か」という音声を出力したり、音や光を出力したりする
ことで、選択した人の情報を提示することもできる。こ
のように、選択した操作者を人に知らせることで、誰が
操作を行えるのかが分かり、複数の人が操作を行おうと
した場合にでも混乱することを防ぐことが可能となる。In addition to outputting the name of B by voice, the name of the selected person is displayed on a display, and music or sound previously associated with the individual is presented by the operator selecting unit 2. Or a name may be output as a sound, a symbol or character previously associated with an individual may be displayed on a display, or a signal may be transmitted in advance to a device attached to each individual. Ancillary equipment receiving the signal vibrates,
By outputting light or sound, information can be notified to an individual. Further, the lighting may be directed to the selected person, the device such as a display may be rotated to direct the light to the selected person, or the image of the selected person photographed by the camera may be displayed on the display. In addition, the information of the selected person shall be presented only to the selected person by outputting a sound "what" or outputting sound or light immediately after the person's utterance or action. Can also. In this way, by notifying the selected operator to a person, it is possible to know who can perform the operation, and it is possible to prevent confusion even when a plurality of persons try to perform the operation.
【0033】制御対象候補決定部3は前記操作者選択部
2が選択した人の所定の属性や選択した人の周辺の環境
に基づいて、制御対象の候補を決定する。Bが指を差し
た方向の付近にテレビとエアコンが存在する場合、テレ
ビとエアコンを制御対象の候補と決定する。エアコンが
Bの指差した方向より多少離れている場合でも、周囲の
環境として室温が高い場合には、制御対象の候補に含め
る。次に制御対象候補決定部3は決定した制御対象の候
補についての情報を提示する。情報の提示は制御対象を
表す名称を音声や音で出力してもよく、また、制御対象
の表す名称をディスプレイに表示してもよい。また、制
御対象の候補の機器自身に備えたライトを点灯させても
よいし、制御対象の候補の機器自身に備えたスピーカー
から音や音声を出力してもよい。制御対象の候補の情報
を提示することで、操作者は望みの対象が候補の中に含
まれるか否かを確認する事ができる。また、候補を複数
選ぶことで、本来選ぶべき制御対象をより確実に候補内
に含めることが可能となる。The control target candidate determining unit 3 determines a control target candidate based on a predetermined attribute of the person selected by the operator selecting unit 2 and an environment around the selected person. When the TV and the air conditioner are present in the vicinity of the direction in which B points the finger, the TV and the air conditioner are determined as control target candidates. Even when the air conditioner is slightly away from the direction pointed by B, if the room temperature is high as the surrounding environment, it is included as a candidate for control. Next, the control target candidate determination unit 3 presents information on the determined control target candidate. For the information presentation, the name representing the control target may be output by voice or sound, or the name representing the control target may be displayed on a display. Further, a light provided in the device to be controlled itself may be turned on, or a sound or voice may be output from a speaker provided in the device to be controlled itself. By presenting information on the control target candidates, the operator can confirm whether or not the desired target is included in the candidates. Further, by selecting a plurality of candidates, it is possible to more reliably include the control target that should be originally selected in the candidates.
【0034】制御内容候補決定部4は前記操作者選択部
2が選択した人の所定の属性や選択した人の周辺の環境
に基づいて、制御内容の候補を決定する。Bが指を差す
と同時に「強く」と発声した場合、制御の候補として、
風を強くする、冷房能力を強くする、暖房能力を強くす
る、照明を強くするなどを制御内容の候補に決定する。The control content candidate determination section 4 determines control content candidates based on a predetermined attribute of the person selected by the operator selection section 2 and an environment around the selected person. If B utters "strongly" at the same time as he points his finger,
It is determined that the control contents are candidates such as increasing the wind, increasing the cooling capacity, increasing the heating ability, increasing the lighting, and the like.
【0035】次に制御内容候補決定部4は決定した制御
内容の候補についての情報を提示する。情報の提示は制
御内容を表す名称を音声や音で出力してもよく、また、
制御内容の表す名称をディスプレイに表示してもよい。
制御内容の候補の情報を提示することで、操作者は望み
の対象が候補の中に含まれるか否かを確認する事ができ
る。また、候補を複数選ぶことで、本来選ぶべき制御内
容をより確実に候補内に含めることが可能となる。Next, the control content candidate determining section 4 presents information on the determined control content candidates. For the information presentation, a name representing the control content may be output by voice or sound,
The name represented by the control content may be displayed on the display.
By presenting information on control content candidates, the operator can confirm whether or not a desired target is included in the candidates. Further, by selecting a plurality of candidates, it is possible to more surely include the control contents to be originally selected in the candidates.
【0036】また、制御対象の候補ならびに制御内容の
候補の数が多い場合には必ずしも全て情報を提示しなく
てもよい。When the number of control target candidates and control content candidates is large, it is not always necessary to present all information.
【0037】制御対象・制御内容決定部5は、前記制御
対象候補決定部3が決定した制御対象候補と、前記制御
内容候補決定部4が決定した制御内容候補とから、制御
対象と制御内容を決定し、決定した制御対象に対して決
定した制御を行う。ここで、制御対象の候補と制御内容
の候補から、制御対象と制御内容を決定する方法の一つ
として、次に説明する方法がある。すなわち、制御対象
の候補と制御内容の候補との組み合わせのうちあらかじ
め定めた組み合わせのみを採用する。上記の場合、制御
対象の候補がテレビとエアコンで、制御内容の候補が風
を強くする、冷房能力を強くする、暖房能力を強くす
る、照明を強くする、の4つの場合、テレビには制御内
容の候補と組み合わせることが出来ないため、エアコン
を制御対象とし、エアコンと組み合わせることの出来る
制御内容として風を強くする、冷房能力を強くする、暖
房能力を強くするに候補を限定する。更に人の環境のと
して気温や季節を監視しておくことで、気温が摂氏30
度を超えるときや夏であれば、制御内容として暖房能力
を強くすることを除去する。また、あらかじめ過去の個
人の制御の履歴を記録しておくことで、過去に制御して
いない制御対象と制御内容との組み合わせを除去するこ
ともできる。The control target / control content determination unit 5 determines the control target and the control content from the control target candidate determined by the control target candidate determination unit 3 and the control content candidate determined by the control content candidate determination unit 4. The determined control is performed on the determined control target. Here, there is a method described below as one of the methods for determining the control target and the control content from the control target candidate and the control content candidate. That is, only a predetermined combination among the combinations of the control target candidate and the control content candidate is adopted. In the above case, the TV and the air conditioner are the control target candidates, and the control content candidates are the control in the four cases of strengthening the wind, increasing the cooling capacity, increasing the heating capacity, and increasing the lighting. Since the air conditioner cannot be combined with the content candidate, the air conditioner is set as a control target, and as the control content that can be combined with the air conditioner, the candidates are limited to strengthening the wind, increasing the cooling capacity, and increasing the heating capacity. Furthermore, by monitoring the temperature and season as a human environment, the temperature can be reduced to 30 degrees Celsius.
When the temperature exceeds a certain degree or in summer, the control content does not include increasing the heating capacity. In addition, by recording the history of individual control in the past in advance, it is also possible to eliminate a combination of a control target that has not been controlled in the past and a control content.
【0038】このように、制御対象・制御内容決定部5
は制御対象の候補ならびに制御内容の候補ならびに周辺
の環境それぞれに基づいて、制御対象ならびに制御内容
を決定することで、所定の人の属性のみからは、制御対
象や制御内容を単独に特定しにくい場合にでも、制御対
象や制御内容をより確実に特定することが出来る。特
に、人の動作や姿勢などのように曖昧性を含む人の属性
を利用する場合精度の高い認識を行っても判断が困難で
あるが、本手法を用いることで、あらかじめ定めた曖昧
性の少ない動作を人に強いることなく、人の日常の動作
や姿勢を用いて望ましい、制御対象や制御内容を選択す
ることが可能となる。As described above, the control object / control content determination unit 5
Determines the control target and the control content based on the control target candidate and the control content candidate and the surrounding environment, respectively, so that it is difficult to specify the control target and the control content alone from only the attribute of a predetermined person. Even in this case, the control target and the control content can be specified more reliably. In particular, when using human attributes that include ambiguity, such as human motion or posture, it is difficult to make a judgment even with highly accurate recognition. It is possible to select a desired control target or control content using the daily motion and posture of the person without forcing the person to perform a small number of operations.
【0039】次に、制御対象・制御内容決定部5は、決
定した制御対象及び制御内容の情報を提示する。制御対
象の提示ならびに制御内容の提示については、前記制御
対象の候補の提示ならびに制御内容の候補の提示と同様
である。制御対象及び制御内容の情報を提示すること
で、操作者は望みの制御対象や制御内容が選択されてい
るか否かを確認する事ができる。Next, the control target / control content determination section 5 presents information on the determined control target and control content. The presentation of the control object and the presentation of the control content are the same as the presentation of the control object candidate and the presentation of the control content candidate. By presenting information on the control target and the control content, the operator can confirm whether or not the desired control target and control content are selected.
【0040】あるいはまた、制御対象・制御内容決定部
5は確認の指示や、再入力の指示、候補の選択肢や、対
象決定不能であることなどの情報の提示を行う。確認の
指示は、前記決定した制御対象ならびに制御内容につい
ての実行の確認を行うもので、「よろしいですか」など
の発声やディスプレイ上ので表示または、あらかじめ定
めた音でもよい。確認を行うことにより誤制御を防ぐこ
とが可能となる。また、再入力の指示や対象決定不能の
提示は、制御対象ならびに制御内容の確定が困難な場
合、再度入力を促すもので、「もう一度入力して下さ
い」などの発声や、ディスプレイ上での表示、またはあ
らかじめ定めた音を出力したり、ディスプレイ上の表示
などで選択肢を表示し、再度選択の行為を促す。上記の
場合エアコンの風を強くするか冷房能力を強くするかに
ついて音声で再度指示を行うことを促す。そこで、監視
部1は、制御対象・制御内容決定部5が情報の提示を行
った後の操作者の属性を監視し、制御対象・制御内容決
定部5は制御対象の候補ならびに制御内容の候補の限定
や、制御対象及び制御内容の決定や、再度情報の提示を
行う。上記の場合、人が「風」と発声した場合、制御対
象・制御内容決定部5は制御内容をエアコンの風を強く
することに決定し、エアコンの風を強くすることを音声
で提示すると同時にエアコンに制御信号を送る。情報の
提示と提示後の人の属性の監視に基づく制御対象ならび
に制御内容に削減は繰り返し行ってもよい。繰り返し行
うことで、誤判断を行うことなく候補数を減らすことが
可能である。Alternatively, the control object / control content determination section 5 presents an instruction for confirmation, an instruction for re-input, a choice of a candidate, and information such as an inability to determine an object. The confirmation instruction is for confirming the execution of the determined control target and the control content, and may be an utterance such as “Is it OK?”, A display on a display, or a predetermined sound. By performing the confirmation, erroneous control can be prevented. In addition, the instruction to re-input or the indication that the target cannot be determined will prompt the user to input again when it is difficult to determine the control target and the control details, such as saying "Please enter again" or displaying on the display. Alternatively, a predetermined sound is output, or options are displayed on a display or the like, and the user is prompted to make a selection again. In the above case, it is urged to give an instruction again by voice as to whether to increase the airflow or the cooling capacity of the air conditioner. Thus, the monitoring unit 1 monitors the attributes of the operator after the control target / control content determination unit 5 has presented the information, and the control target / control content determination unit 5 determines the control target candidate and the control content candidate. Is limited, the control target and control contents are determined, and information is presented again. In the above case, when a person utters “wind”, the control target / control content determination unit 5 determines that the control content should be increased by the air conditioner, and presents the voice to increase the air conditioner by voice. Send a control signal to the air conditioner. The reduction of the control target and the control content based on the presentation of the information and the monitoring of the attribute of the person after the presentation may be repeatedly performed. By repeating this, it is possible to reduce the number of candidates without making an erroneous determination.
【0041】このように、制御対象や制御内容を確定で
きない場合は再度入力を行うように指示することで、強
制的な判断による誤判断を防ぎ、かつ人の動作や姿勢な
どの属性の曖昧性を許容しながら、人の動作や姿勢など
の属性を用いて機器や情報の制御を円滑に行うことが可
能となる。As described above, when the control target or the control content cannot be determined, an instruction is given to input again, thereby preventing erroneous determination due to forced determination and ambiguity of attributes such as human motion and posture. , And control of devices and information using attributes such as human motion and posture can be performed smoothly.
【0042】なお、上記では人からの再度入力を監視す
る際に音声を人の属性として用いているが、別の属性
(特定の動作)及びそれらの組み合わせを用いても良
い。例えば制御対象・制御内容決定部5が決定した制御
対象並びに制御内容を提示し、人に確定を促す場合、人
が腕や手や指で丸い形を作ったり(図9(1)〜(4)参
照)、親指を立てる動作(図9(5)参照)をすると、制
御対象・制御内容決定部5は提示した内容を制御対象な
らびに制御内容として確定する。また、人が腕や指で×
の形を作ったり(図9(6),(7)参照)、手を横に振る動
作(図9(8)参照)をすると、制御対象・制御内容決定
部5は提示した内容を制御対象ならびに制御内容として
採用せず、人に再度の入力を促す。In the above description, the voice is used as the attribute of the person when monitoring the input again from the person, but another attribute (specific operation) and a combination thereof may be used. For example, when the control target and the control content determined by the control target / control content determination unit 5 are presented to prompt a person to confirm, the person may form a round shape with his / her arm, hand, or finger (FIGS. 9A to 9D). )) And the operation of raising the thumb (see FIG. 9 (5)), the control target / control content determination unit 5 determines the presented content as the control target and the control content. Also, if the person is using his arms or fingers ×
(See FIGS. 9 (6) and 9 (7)) and waving the hand (see FIG. 9 (8)), the control target / control content determination unit 5 converts the presented content to the control target. Also, it is not adopted as control contents, and prompts a person to input again.
【0043】なお上記では、操作者及び制御対象候補を
決定する際に指差しの動作または姿勢を人の属性として
用いているが、別の属性(視線や頭の向きや音声などの
他の指示動作や指示動作以外の動作・姿勢)及びそれら
の組み合わせを用いてもよい。例えば人の属性として人
の位置を考慮すると、隣の部屋にいる人のようにテレビ
の操作に関係しない人を操作者に誤って選ぶことを防ぐ
ことができる。また、人の姿勢を属性として用いること
で、例えば座っている人を優先させることが出来、たま
たま部屋を通りかかった人の偶然の動作を誤って判断す
ることを防ぐことが出来る。また、人の顔・表情や特定
個人であることや人の年齢を人の属性として用いること
で、あらかじめテレビの使用を限定した人や、テレビの
操作が不適切な人を操作者の対象から外すことも可能で
ある(例えば子供は夜9時以降は操作できないなど)。
また、人の心身的不自由度や人の性別や人の生理状態な
どを人の属性として用いることで、人の心身的不自由度
や人の性別や人の生理状態などに基づいて優先的に操作
を行わせることも可能となる。また、人の付帯物などを
用いることで、通常のものをあたかもリモコンのようの
意味付けることができ(例えば赤いボールを持つことが
テレビを意味するなど)、使用者が使いやすい動作また
は使用者の好みの動作でテレビを選択できると同時に、
複数の人の間でのテレビ操作の優先権(誰が赤いボール
を先に手にするか)を目に見える形で提示することが出
来る。In the above description, the pointing operation or posture is used as the attribute of the person when determining the operator and the control target candidate. However, other attributes (such as other directions such as gaze, head direction, voice, etc.) are used. An operation or posture other than the operation or the instruction operation) and a combination thereof may be used. For example, considering the position of a person as the attribute of the person, it is possible to prevent a person who is not involved in the operation of the television, such as a person in the next room, from being erroneously selected as the operator. In addition, by using the posture of a person as an attribute, for example, a person who is sitting can be given priority, and it is possible to prevent a person who accidentally passed a room from erroneously judging an accidental movement. In addition, by using the face / expression of a person, being a specific individual, or the age of a person as an attribute of the person, it is possible to restrict the use of the TV in advance or the inappropriate operation of the TV from the target of the operator. It is also possible to remove it (for example, children cannot operate after 9 o'clock at night).
In addition, by using the degree of mental and physical inconvenience of a person, the gender of a person, and the physiological state of a person as attributes of the person, priority is given based on the degree of mental and physical inconvenience of the person, the gender of the person, and the physiological state of the person. Can be operated. In addition, by using an accessory of a person or the like, a normal thing can be given a meaning like a remote control (for example, holding a red ball means a television, etc.). You can select a TV with your favorite action,
The priority of television operation among multiple people (who gets the red ball first) can be visibly presented.
【0044】また、複数の属性(音声と視線など)を組
み合わせることで、人に特定の動作のみを強いることな
く、より負担なく機器の操作を実施できる。例えば
(「テレビ」の発声)と視線(テレビの方向を見る)な
どを同時に組み合わせることで、偶然の動作(会話中の
「テレビ」という発声)への誤った反応を防ぐことが出
来る。By combining a plurality of attributes (such as voice and line of sight), it is possible to operate a device without imposing a burden on a person without forcing a specific operation. For example, by simultaneously combining (speaking “TV”) and gaze (looking at the direction of the TV), it is possible to prevent an erroneous reaction to an accidental action (speaking “TV” during a conversation).
【0045】人の属性と周辺環境との組み合わせによっ
ても、操作者を適切に選択することができる。例えば換
気扇を操作したい場合、人の周辺の環境として空気中に
おける特定の気体の濃度(炭酸ガス濃度など)を監視す
る場合、あらかじめ個人の環境に対する鋭敏度(炭酸ガ
ス濃度が高いと頭痛がする人など)を優先的に換気扇の
操作者に選択することも出来る。また、エアコンの操作
などの場合には、人の周辺の環境として気温、湿度、気
流状態などを監視し、あらかじめ個人の環境に対する鋭
敏度(暑がりの人、寒がりの人、乾燥肌の人など)を登
録しておくことで、温度・湿度が高く室内気流も少ない
場合には暑がりの人を優先的にエアコンの操作者に選択
することも出来る。また、テレビの音量の操作を行いた
い場合、人の周辺の環境として室外の音が大きい場合に
は、あらかじめ個人の環境に対する鋭敏度(音が聞こえ
にくい人など)を優先的にテレビの操作者に選択するこ
とも出来る。また、照明の明るさを変更したいとき人の
周辺の環境として室内・外の照度を監視し、あらかじめ
個人の環境に対する鋭敏度(暗いと文字が読みにくい人
など)を優先的に照明の操作者に選択することも出来
る。また、周辺の環境として時刻を監視する場合、個人
に応じて使用の時間を限定することも可能である。例え
ば、子供には夜9時以降テレビの操作はさせないという
ことが実現できる。The operator can be appropriately selected also by the combination of the attribute of the person and the surrounding environment. For example, if you want to operate a ventilation fan, if you want to monitor the concentration of a specific gas in the air (such as carbon dioxide concentration) as the environment around a person, you need to be sensitive to the individual's environment in advance (for those who have a headache if the concentration of carbon dioxide is high). ) Can be preferentially selected as the operator of the ventilation fan. When operating an air conditioner, monitor the temperature, humidity, airflow, etc. of the surrounding environment of the person, and preliminarily determine their sensitivity to the individual's environment (hot people, cold people, people with dry skin, etc.). By registering (2), when the temperature and humidity are high and the indoor airflow is small, the person who is hot can be preferentially selected as the air conditioner operator. In addition, if the user wants to control the volume of the TV, or if the outside sound is loud as the environment around the person, the operator of the TV preferentially prioritizes the sensitivity to the personal environment (such as a person who cannot easily hear the sound). Can also be selected. Also, when you want to change the brightness of the lighting, monitor the indoor and outdoor illuminance as the surrounding environment of the person, and prioritize the sensitivity to the personal environment (such as people who are difficult to read if it is dark if they are dark). Can also be selected. Further, when monitoring the time as the surrounding environment, it is also possible to limit the use time according to the individual. For example, it can be realized that the child is not allowed to operate the television after 9 pm.
【0046】同様に、上記では制御内容候補を決定する
際に音声を人の属性として用いているが、別の属性(他
の動作や姿勢)及びそれらの組み合わせを用いてもよ
い。例えば人の属性として動作を用いることで、人との
対話のように自然な形で機器の制御ができる。人差し指
を口の前に当てたり(図10(1)参照)、耳を手でふさ
ぐ動作(図10(2),(3)参照)によってテレビなどの音
量を小さくする、手を耳の側に添える動作(図10(4)
参照)によってテレビなどの音量を大きくする、両手を
用いて「T」の字の形を作る動作(図10(5)参照)に
よってビデオなどの再生を一時停止する、手を振って
「ばいばい」という動作を行う(図10(6)参照)こと
によって、テレビなどのスイッチを着る、などが例とし
て挙げられる。Similarly, in the above description, the voice is used as the attribute of the person when determining the control content candidate, but another attribute (other motion or posture) and a combination thereof may be used. For example, by using an action as an attribute of a person, the device can be controlled in a natural manner like a dialogue with a person. Put your index finger in front of your mouth (see Fig. 10 (1)) or close your ears with your hand (see Figs. 10 (2) and 10 (3)) to reduce the volume of a TV or the like. Attaching operation (Fig. 10 (4)
(See FIG. 10 (5)) to increase the volume of a television or the like, pause the playback of a video or the like by an operation of forming a “T” shape using both hands, (See FIG. 10 (6)) to put on a switch such as a television.
【0047】また、上記では制御対象候補を決定するた
めの属性と制御内容候補を決定するための属性とが異な
る例を挙げたが、1種類の属性で制御対象候補と制御内
容候補との両方を決定することも可能である。例を以下
に挙げる。室内に人がおり、エアコン,テレビ,扇風
機,空気清浄器、電話,机,ベッドが室内に存在すると
する。In the above description, an example is given in which the attribute for determining the control target candidate is different from the attribute for determining the control content candidate. It is also possible to determine Examples are given below. It is assumed that there is a person in the room, and an air conditioner, a television, a fan, an air purifier, a telephone, a desk, and a bed exist in the room.
【0048】ここで人が人差し指を口の前に当てたり耳
を手でふさぐ動作をすると、制御対象候補決定部3は音
を発する機器であるテレビを候補として決定し、制御内
容候補決定部4は音量を小さくするという制御内容を候
補として決定する。また、人が電話の受話器を取り上げ
ると、制御対象候補決定部3は音を発する機器であるテ
レビを候補として決定し、制御内容候補決定部4は音量
を小さくするという制御内容を候補として決定する。When a person puts his / her index finger in front of his / her mouth or closes his / her ear with his / her hand, the control target candidate determination unit 3 determines a television which is a device emitting sound as a candidate, and the control content candidate determination unit 4 Determines the control content of reducing the volume as a candidate. When a person picks up the telephone receiver, the control target candidate determination unit 3 determines a television that is a device that emits a sound as a candidate, and the control content candidate determination unit 4 determines a control content of decreasing the volume as a candidate. .
【0049】また、人が顔や体を手などで扇いだり(図
10(7)参照)「暑いなぁ」といった言葉を発すると、
制御対象候補決定部3は空調制御に関わる機器であるエ
アコンや窓や扇風機の候補として決定し、制御内容候補
決定部4はスイッチを入れる,設定温度を下げる,窓を
あける、扇風機のスイッチを入れるもしくは風量を強く
する、という制御内容を候補として決定する。また、人
が鼻をつまむ動作(図10(8)参照)をすると、制御対
象候補決定部3は空気清浄器や窓を候補として決定し、
制御内容候補決定部4は「空気清浄器のスイッチを入れ
る」、「窓をあける」という制御内容を候補として決定
する。また、人が通話中に「さようなら」「ばいばい」
といった言葉を発すると、制御対象候補決定部3は電話
を候補として決定し、制御内容候補決定部4は電話の回
線を切るという制御内容を候補として決定する。また、
人が机に着席して書物を開いたり筆記用具を持ったりす
ると、制御対象候補決定部3は部屋の照明及び机に付随
する照明を候補として決定し、制御内容候補決定部4は
スイッチを入れるという制御内容を候補として決定す
る。また、人がベッドである一定時間以上眠っている
と、制御対象候補決定部3は部屋の照明を候補として決
定し、制御内容候補決定部4はスイッチを切るという制
御内容を候補として決定する。また、人が手や物を目の
上にかざして光を遮ったり(図10(8)参照)、まぶし
そうな表情をしたり、「まぶしいなあ」という言葉を発
すると、制御対象候補決定部3は部屋の照明を候補とし
て決定し、制御内容候補決定部4は「照明を暗くす
る」、あるいは「スイッチを切る」といった制御内容を
候補として決定する。Also, if a person fans their face or body with their hands or the like (see FIG. 10 (7)) and utters a word such as "It's hot,"
The control target candidate determination unit 3 determines as candidates for an air conditioner, a window, and a fan, which are devices related to the air conditioning control, and the control content candidate determination unit 4 switches on, lowers the set temperature, opens a window, and switches on the fan. Alternatively, the control content of increasing the air volume is determined as a candidate. Further, when a person performs an operation of pinching the nose (see FIG. 10 (8)), the control target candidate determination unit 3 determines an air purifier or a window as a candidate,
The control content candidate determination unit 4 determines the control content of “turn on the air purifier” and “open the window” as candidates. In addition, "goodbye""bye"
Then, the control target candidate determination unit 3 determines the telephone as a candidate, and the control content candidate determination unit 4 determines the control content of disconnecting the telephone line as a candidate. Also,
When a person sits at a desk and opens a book or holds a writing instrument, the control target candidate determination unit 3 determines room lighting and lighting accompanying the desk as candidates, and the control content candidate determination unit 4 switches on. Is determined as a candidate. When a person is sleeping on the bed for a certain period of time or more, the control target candidate determination unit 3 determines room lighting as a candidate, and the control content candidate determination unit 4 determines a control content of switching off as a candidate. When a person holds a hand or object over his / her eyes to block the light (see FIG. 10 (8)), makes a glare-like expression, or utters the word “bright”, the control target candidate determination unit Reference numeral 3 determines room lighting as a candidate, and the control content candidate determination unit 4 determines control content such as "dimming the lighting" or "switch off" as a candidate.
【0050】以上のように本発明の第一の実施の形態で
はリモコン等を用いることなく、人の日常の属性を用い
ることで機器の制御を円滑に行うことが可能となる。ま
た、人や制御機器が複数存在する場合にでも、誤判断を
低減しかつ複雑な指示動作を行わずに制御を行うことが
可能となる。As described above, in the first embodiment of the present invention, it is possible to control the equipment smoothly by using the daily attributes of a person without using a remote controller or the like. Further, even when there are a plurality of persons and control devices, it is possible to reduce erroneous determinations and perform control without performing complicated instruction operations.
【0051】図2は本発明の第二の実施の形態を示すブ
ロック図である。図2において構成ならびに各部の動作
は第一の実施の形態と同様である。ただし、第二の実施
の形態においては監視部1、操作者選択部2、制御対象
候補決定部3、制御内容候補決定部4、制御対象・制御
内容決定部5が制御対象機器に付属する場合を示してい
る。例えばテレビ自身に各部を内蔵する場合、制御対象
候補決定部3はテレビが候補であるが否かのみを決定す
る。制御内容候補決定部4は人の所定の属性として例え
ば「チャンネル切り替え」の発声に基づいて、チャネル
の切り替えを制御内容の候補とし、制御対象・制御内容
決定部5はテレビに対する制御内容としてチャネルの切
り替えは存在するため、チャネルの切り替えを実行す
る。FIG. 2 is a block diagram showing a second embodiment of the present invention. In FIG. 2, the configuration and the operation of each unit are the same as in the first embodiment. However, in the second embodiment, when the monitoring unit 1, the operator selecting unit 2, the control target candidate determining unit 3, the control content candidate determining unit 4, and the control target / control content determining unit 5 are attached to the control target device. Is shown. For example, when each unit is incorporated in the television itself, the control target candidate determination unit 3 determines only whether or not the television is a candidate. The control content candidate determination unit 4 sets channel switching as a control content candidate based on, for example, the utterance of “channel switching” as a predetermined attribute of a person. Since the switching exists, the channel is switched.
【0052】このように、本発明の第二の実施の形態で
は、第一の実施の形態の効果に加え、各機器は、制御対
象候補決定部3がその機器が選択されているか否かのみ
を判断すれば良いため、第一の実施の形態に比して制御
対象候補の判断の処理量を低減させることが可能とな
る。また、機器自身の位置を自由に移動させても、機器
自身の制御対象候補の判断処理を変更する必要はないと
いう利点もある。As described above, in the second embodiment of the present invention, in addition to the effects of the first embodiment, each device determines whether the control target candidate determination unit 3 determines whether or not the device is selected. , It is possible to reduce the processing amount of the determination of the control target candidate as compared with the first embodiment. Further, there is an advantage that even if the position of the device itself is freely moved, it is not necessary to change the determination process of the control target candidate of the device itself.
【0053】図3は本発明の第三の実施の形態を示すブ
ロック図である。図3において制御対象機器1、2、3
それぞれの構成ならびに各部の動作は第二の実施の形態
の制御対象機器と同様である(制御対象1,2,3は例
えばそれぞれテレビ、エアコン、扇風機などを意味す
る)。ただし、第三の実施の形態においては制御対象機
器が複数存在し、監視部1は監視した内容を通信網に出
力し、操作者選択部2は選択した人の属性の情報を通信
網に出力し、制御対象候補決定部3は決定した制御対象
の候補(所属する機器が候補であるか否か、また候補で
ある度合い)の情報を通信網に出力し、制御内容候補決
定部4は決定した制御内容の情報を通信網に出力し、制
御対象・制御内容決定部5は制御対象・制御内容の情報
を通信網に出力する。FIG. 3 is a block diagram showing a third embodiment of the present invention. In FIG. 3, the control target devices 1, 2, 3
The respective configurations and the operation of each unit are the same as those of the control target device of the second embodiment (the control targets 1, 2, and 3 mean, for example, a television, an air conditioner, a fan, and the like, respectively). However, in the third embodiment, there are a plurality of control target devices, the monitoring unit 1 outputs the monitored contents to the communication network, and the operator selecting unit 2 outputs the attribute information of the selected person to the communication network. Then, the control target candidate determination unit 3 outputs information of the determined control target candidate (whether or not the device to which the device belongs is a candidate and the degree of the candidate) to the communication network, and the control content candidate determination unit 4 determines The information of the control content thus output is output to the communication network, and the control target / control content determination unit 5 outputs the information of the control target / control content to the communication network.
【0054】他方、操作者選択部2は通信網から得た情
報及び監視部1の情報に基づいて操作者を選択して操作
者の情報を提示し、制御対象候補決定部3は通信網から
得た情報及び監視部の情報に基づいて制御対象の候補を
決定して制御対象の候補の情報を提示し、制御内容候補
決定部4は通信網から得た情報及び監視部の情報に基づ
いて制御内容の候補を決定して制御内容の候補の情報を
提示し、制御対象・制御内容決定部5は通信網から得た
情報及び制御対象候補決定部3が決定した制御対象候補
及び制御内容候補決定部4が決定した制御内容候補に基
づいて、制御対象及び制御内容の情報を提示し、制御対
象の制御を行う。ここで、第二の実施の形態と異なる点
は複数の制御機器が存在するため、各機器が個別に制御
対象と制御内容の判断を行うと操作者の意図しない制御
が行われる場合がありうる点である。例えばテレビ(制
御対象1)とエアコン(制御対象2)の中間方向を指差
して、「スイッチを入れる」と発声した場合、たとえテ
レビ(制御対象1)のみを操作したい場合にでも、テレ
ビ(制御対象1)とエアコン(制御対象2)のスイッチ
が共に入ってしまうことになる。On the other hand, the operator selecting unit 2 selects an operator based on the information obtained from the communication network and the information of the monitoring unit 1 and presents the information of the operator, and the control target candidate determining unit 3 selects the control object candidate from the communication network. The control target candidate is determined based on the obtained information and the information of the monitoring unit, and the information of the control target candidate is presented. The control content candidate determination unit 4 determines the control content candidate based on the information obtained from the communication network and the information of the monitoring unit. The control content candidates are determined and the control content candidate information is presented. The control target / control content determination unit 5 obtains the information obtained from the communication network and the control target candidates and the control content candidates determined by the control target candidate determination unit 3. Based on the control content candidate determined by the determination unit 4, information on the control target and the control content is presented, and the control target is controlled. Here, the difference from the second embodiment is that a plurality of control devices are present, so that when each device individually determines the control target and the control content, control not intended by the operator may be performed. Is a point. For example, when pointing in the middle direction between the television (the control target 1) and the air conditioner (the control target 2) and saying "turn on", even if you want to operate only the television (the control target 1), The switches of the target 1) and the air conditioner (the control target 2) are turned on together.
【0055】このような場合、他の制御機器について制
御対象の候補及び制御内容の候補及び制御対象及び制御
内容の情報を得ることで、第一の実施の形態と同様に制
御対象の候補ならびに制御内容の候補を制限することが
可能となる。例えば、テレビ(制御対象1)の制御対象
候補決定部が制御対象の候補の情報としてテレビを通信
網に出力し、エアコン(制御対象2)の制御対象候補決
定部が制御対象の候補の情報としてエアコンを通信網に
出力したとき、テレビ(制御対象1)の制御対象・制御
内容決定部はテレビの制御対象の候補情報と通信網経由
で得たエアコンの候補情報とに基づいて制御対象の決定
ならびに情報提示を行う。この場合、テレビとエアコン
が共に候補になるため、テレビは再度入力を促す情報を
提示する。エアコン(制御対象2)の制御対象・制御内
容決定部も同様の処理を行う。また、通信網に出力する
情報として制御対象の候補に加え、制御対象の候補であ
る度合いの情報を合わせて出力することで(例えばテレ
ビが10でエアコンが5など)、制御機器1,2の制御対
象・制御内容決定部は、制御対象の候補である度合いを
比較して、制御対象の候補である度合いの大きい方(こ
こではテレビ)を制御対象と決定する。制御内容の候補
についても異なる制御機器間で情報を交換することで同
様の処理を行う。In such a case, by obtaining candidates of control objects and control contents and information of control objects and control contents for other control devices, the control object candidates and control contents are obtained in the same manner as in the first embodiment. It is possible to restrict content candidates. For example, the control target candidate determination unit of the TV (control target 1) outputs the television to the communication network as information of control target candidates, and the control target candidate determination unit of the air conditioner (control target 2) outputs information of control target candidates. When the air conditioner is output to the communication network, the control target / control content determination unit of the television (control target 1) determines the control target based on the candidate information of the control target of the television and the candidate information of the air conditioner obtained via the communication network. And present information. In this case, since both the television and the air conditioner are candidates, the television presents information prompting for input again. The control target / control content determination unit of the air conditioner (control target 2) performs the same processing. Also, by outputting information on the degree of being a control target candidate in addition to the control target candidate as information to be output to the communication network (for example, TV 10 and air conditioner 5), the control devices 1 and 2 The control object / control content determination unit compares the degree of control object candidates, and determines the control object candidate having a larger degree (here, the television) as the control object. Similar processing is performed by exchanging information between different control devices for control content candidates.
【0056】また、操作者の情報を通信網から得ること
で、1人の人の動作(指差し動作など)に対して同時に
複数の機器が反応することなく、操作者が最も近くに存
在する機器のみが反応することなどができる。例えばテ
レビ(制御対象1)の操作者選択部が選択した操作者と
通信網から得たエアコン(制御対象2)の操作者選択部
が選択した操作者とが同一であれば、前記のようの制御
対象をテレビ(制御対象1)かエアコン(制御対象2)
かに決定する手続きを行う。また、操作者が異なれば、
テレビ(制御対象1)とエアコン(制御対象2)はそれ
ぞれの選択した操作者の属性にのみ基づいて処理を行う
ことも出来る。また、テレビ(制御対象1)の監視部が
出力した情報をエアコン(制御対象2)の制御対象候補
決定部や制御内容候補決定部や操作者選択部が利用する
こともできる。この場合、エアコンのみでは監視できな
かった情報(死角の情報など)が得られるという効果が
ある。また、エアコン(制御対象2)の制御対象・制御
内容決定部が出力する情報をテレビ(制御対象1)が表
示することもできる。このような場合、各制御機器が有
する出力手段(画像や音声や光など)を制御機器間で共
有することが可能となる。Further, by obtaining the information of the operator from the communication network, a plurality of devices do not simultaneously react to one person's operation (pointing operation, etc.), and the operator is located closest. Only the device can react. For example, if the operator selected by the operator selection unit of the television (control target 1) and the operator selected by the operator selection unit of the air conditioner (control target 2) obtained from the communication network are the same as described above. TV (control target 1) or air conditioner (control target 2)
Perform the procedure to determine the crab. Also, if the operators are different,
The television (control target 1) and the air conditioner (control target 2) can also perform processing based only on the attributes of the selected operators. The information output by the monitoring unit of the television (control target 1) can be used by the control target candidate determination unit, control content candidate determination unit, and operator selection unit of the air conditioner (control target 2). In this case, there is an effect that information (such as blind spot information) that could not be monitored with the air conditioner alone can be obtained. The information output by the control target / control content determination unit of the air conditioner (control target 2) can also be displayed on the television (control target 1). In such a case, the output means (image, sound, light, etc.) of each control device can be shared between the control devices.
【0057】なお、通信網としては有線(ネットワーク
線、電話線、電源線を介して接続するものなど)、無線
(電波、赤外線、超音波などを通信媒体とするものな
ど)のどちらでも良く、また混在していても良い。The communication network may be either a wired network (such as one connected via a network line, a telephone line, or a power line) or a wireless network (such as one using radio waves, infrared rays, ultrasonic waves, or the like as a communication medium). They may be mixed.
【0058】このように、本発明の第三の実施の形態で
は、第一、第二の実施の形態の効果に加え、制御機器そ
れぞれが操作者や制御対象や制御内容を独自に判断する
機構を備えた場合にでも、全体として矛盾なく人の所定
の属性に基づいて機器の制御が円滑に行うことが可能と
なる。As described above, in the third embodiment of the present invention, in addition to the effects of the first and second embodiments, each control device independently determines the operator, the control target, and the control content. , It is possible to smoothly control devices based on predetermined attributes of a person without contradiction as a whole.
【0059】図4は本発明の第四の実施の形態を示すブ
ロック図である。図4において各部の動作は第一の実施
の形態と同様である。ただし、本実施の形態では操作者
選択部2は存在せず、すべての人について制御対象候補
と制御内容候補を決定する。例えばN人存在する場合に
は、制御対象の候補の決定及び制御内容の候補の決定を
N回行う(並列に同時に行っても良い)。制御対象・制
御内容決定部5は全ての人について決定した制御対象の
候補及び制御内容の候補に基づいて制御対象及び制御内
容を決定し、制御を実行する。制御対象及び制御内容の
決定の仕方としては多数決などを用いる。例えばN人存
在する場合、エアコンの設定温度を下げたい指示を出す
人が半数よりも多い場合に、エアコンの温度を下げる制
御を行う。また、各人に対する制御対象や制御内容に矛
盾がない場合には、同時に各人について決定した制御対
象に制御内容を施しても良い。このように、本発明の第
四の実施の形態では、第一の実施の形態の効果に加え、
複数の人の操作を同時に考慮した機器の操作が可能とな
る。リモコンを用いて同様の処理を行うには常に人の数
だけリモコンを用意し、各人がそれぞれ操作する必要が
あるが、本発明ではリモコンなど多数を用いずに、複数
人の指示を反映した機器制御や情報制御が可能となる。FIG. 4 is a block diagram showing a fourth embodiment of the present invention. In FIG. 4, the operation of each unit is the same as in the first embodiment. However, in the present embodiment, the operator selection unit 2 does not exist, and control target candidates and control content candidates are determined for all persons. For example, when there are N persons, the determination of the control target candidate and the determination of the control content candidate are performed N times (may be performed in parallel at the same time). The control target / control content determination unit 5 determines the control target and the control content based on the control target candidates and the control content candidates determined for all the persons, and executes the control. A majority decision or the like is used as a method of determining the control target and the control content. For example, when there are N persons, if more than half of the persons issue an instruction to lower the set temperature of the air conditioner, control to lower the temperature of the air conditioner is performed. If there is no contradiction between the control target and the control content for each person, the control content may be applied to the control target determined for each person at the same time. Thus, in the fourth embodiment of the present invention, in addition to the effects of the first embodiment,
It is possible to operate the device in consideration of the operations of a plurality of people at the same time. In order to perform the same processing using the remote controller, it is necessary to always prepare the remote controller by the number of people and operate each person individually.In the present invention, instead of using a large number of remote controllers, the instructions of a plurality of people are reflected. Device control and information control become possible.
【0060】図5は本発明の第五の実施の形態を示すブ
ロック図である。図5において各部の動作は第四の実施
の形態と同様である。ただし、第五の実施の形態におい
ては監視部1、制御対象候補決定部3、制御内容候補決
定部4、制御対象・制御内容決定部5が制御対象機器
(例えばエアコンなど)に付属する場合を示している。
このように構成することで、本発明の第五の実施の形態
では、第四の実施の形態の効果に加え、各機器は制御対
象候補決定部3がその機器が選択されているか否かのみ
を判断すれば良いため、第四の実施の形態に比して制御
対象候補の判断の処理量を低減させることが可能とな
る。また、機器自身の位置を自由に移動させても、機器
自身の制御対象候補の判断処理を変更する必要はないと
いう利点もある。FIG. 5 is a block diagram showing a fifth embodiment of the present invention. In FIG. 5, the operation of each unit is the same as in the fourth embodiment. However, in the fifth embodiment, it is assumed that the monitoring unit 1, the control target candidate determination unit 3, the control content candidate determination unit 4, and the control target / control content determination unit 5 are attached to a control target device (for example, an air conditioner). Is shown.
With such a configuration, in the fifth embodiment of the present invention, in addition to the effects of the fourth embodiment, each device determines whether the control target candidate determination unit 3 determines whether or not the device is selected. , It is possible to reduce the processing amount of the control target candidate determination as compared with the fourth embodiment. Further, there is an advantage that even if the position of the device itself is freely moved, it is not necessary to change the determination process of the control target candidate of the device itself.
【0061】図6は本発明の第六の実施の形態を示すブ
ロック図である。図6において各部の動作は第一の実施
の形態とほぼ同様である。ただし、第六の実施の形態に
おいては制御対象候補決定部3は全ての人に対して制御
対象の候補を決定し、制御内容候補決定部4は全ての人
に対して制御内容の候補を決定する。例えばN人存在す
る場合には、制御対象の候補の決定及び制御内容の候補
の決定をN回行う(並列に同時に行っても良い)。FIG. 6 is a block diagram showing a sixth embodiment of the present invention. In FIG. 6, the operation of each unit is almost the same as in the first embodiment. However, in the sixth embodiment, the control object candidate determination unit 3 determines control object candidates for all persons, and the control content candidate determination unit 4 determines control content candidates for all persons. I do. For example, when there are N persons, the determination of the control target candidate and the determination of the control content candidate are performed N times (may be performed in parallel at the same time).
【0062】操作者選択部2は前記N人に対する制御対
象の候補と制御内容の候補とに基づいて操作者を決定す
る。制御対象・制御内容決定部5は、操作者決定部2が
選択した操作者についての制御対象の候補と制御内容の
候補とに基づいて制御対象及び制御内容を決定する。The operator selection unit 2 determines an operator based on the control target candidates and the control content candidates for the N persons. The control target / control content determination unit 5 determines the control target and the control content based on the control target candidate and the control content candidate for the operator selected by the operator determination unit 2.
【0063】このような本発明の第六の実施の形態のよ
うな構成でも、第一の実施の形態と同様の効果が得られ
る。また、制御対象の候補と制御内容の候補を決定した
後に、操作者を選択することで、所定の属性が曖昧で
(例えば指示動作が曖昧で)制御内容の候補や制御内容
の候補が決定できない人については操作者に選択しない
とするなどの制御内容の候補や制御内容の候補に基づい
た手続きが可能となる。With the configuration as in the sixth embodiment of the present invention, the same effect as in the first embodiment can be obtained. In addition, by selecting the operator after determining the candidate of the control target and the candidate of the control content, the predetermined attribute is ambiguous (for example, the instruction operation is ambiguous), and the candidate of the control content and the candidate of the control content cannot be determined. It is possible to perform a candidate based on the control contents such as not selecting the person by the operator or a procedure based on the control contents candidates.
【0064】図7は本発明の第七の実施の形態を示すブ
ロック図である。図7において各部の動作は第六の実施
の形態と同様である。ただし、第七の実施の形態におい
ては監視部1、制御対象候補決定部3、制御内容候補決
定部4、操作者選択部2、制御対象・制御内容決定部5
が制御対象機器(例えばエアコンなど)に付属する場合
を示している。このように構成することで、本発明の第
七の実施の形態では、第六の実施の形態の効果に加え、
各機器は制御対象候補決定部3がその機器が選択されて
いるか否かのみを判断すれば良いため、第六の実施の形
態に比して制御対象候補の判断の処理量を低減させるこ
とが可能となる。また、機器自身の位置を自由に移動さ
せても、機器自身の制御対象候補の判断処理を変更する
必要はないという利点がある。FIG. 7 is a block diagram showing a seventh embodiment of the present invention. In FIG. 7, the operation of each unit is the same as in the sixth embodiment. However, in the seventh embodiment, the monitoring unit 1, the control target candidate determination unit 3, the control content candidate determination unit 4, the operator selection unit 2, the control target / control content determination unit 5
Is attached to a device to be controlled (for example, an air conditioner). With such a configuration, in the seventh embodiment of the present invention, in addition to the effects of the sixth embodiment,
For each device, the control target candidate determination unit 3 only needs to determine whether or not the device is selected. Therefore, it is possible to reduce the processing amount of the determination of the control target candidate as compared with the sixth embodiment. It becomes possible. Further, there is an advantage that even if the position of the device itself is freely moved, it is not necessary to change the process of determining the control target candidate of the device itself.
【0065】図8は本発明の第八の実施の形態を示すブ
ロック図である。図8において各部の動作は第1の実施
の形態とほぼ同様である。ただし、第七の実施の形態に
おいては制御対象候補決定部3は全ての人に対して制御
対象の候補を決定し、制御内容候補決定部4は全ての人
に対して制御内容の候補を決定する。例えばN人存在す
る場合には、制御対象の候補の決定及び制御内容の候補
の決定をN回行う(並列に同時に行っても良い)。制御
対象・制御内容決定部5は操作者選択部2が選択した操
作者についての制御対象の候補と制御内容の候補から、
制御対象と制御内容を決定する。このような本発明の第
八の実施の形態に示すような構成においても、第一の実
施の形態と同様の効果が得られる。FIG. 8 is a block diagram showing an eighth embodiment of the present invention. In FIG. 8, the operation of each section is almost the same as in the first embodiment. However, in the seventh embodiment, the control target candidate determination section 3 determines control target candidates for all persons, and the control content candidate determination section 4 determines control content candidates for all persons. I do. For example, when there are N persons, the determination of the control target candidate and the determination of the control content candidate are performed N times (may be performed in parallel at the same time). The control target / control content determination unit 5 determines a control target candidate and a control content candidate for the operator selected by the operator selection unit 2.
Decide what to control and what to control. In such a configuration as shown in the eighth embodiment of the present invention, the same effect as in the first embodiment can be obtained.
【0066】なお、第一から第八までの実施の形態では
室内での実施を想定して説明しているが、屋外での機器
操作についても同様に適応が可能である。また、情報操
作として画面上のオブジェクトの操作や画面の制御など
についても機器操作同様に適応することが出来る。Although the first to eighth embodiments have been described assuming that they are performed indoors, the present invention can be similarly applied to equipment operation outdoors. In addition, as information operation, operation of an object on a screen, control of a screen, and the like can be applied in the same manner as device operation.
【0067】なお、本発明の実現手段としてはハードウ
ェアを用いても、コンピュータ上のソフトウェアを用い
ても、両者を混在させて実現してもよい。As means for realizing the present invention, hardware, software on a computer, or both may be used in combination.
【0068】また、本発明は、以上説明した本発明の制
御方法における動作の全部又は一部をコンピュータで実
現するためのプログラムを格納したことを特徴とするプ
ログラム記録媒体でもある。Further, the present invention is also a program recording medium storing a program for realizing all or a part of the operation in the control method of the present invention described above with a computer.
【0069】[0069]
【発明の効果】以上説明したところから明らかなよう
に、本発明は、人の属性を用いて機器や情報の操作を円
滑に行う最に問題となる、複数の人の存在や、複数の機
器の存在や、人の動作や姿勢の曖昧さなどを考慮し、人
にあらかじめ定めた複雑な動作などを強いることなく、
人の日常の属性を用いることで機器の制御を円滑に行う
ことを可能とする制御方法である。As is apparent from the above description, the present invention provides a method for smoothly operating devices and information using the attributes of a person. Considering the existence of, and the ambiguity of human movements and postures, without forcing people to perform predetermined complicated movements,
This is a control method that enables smooth control of the device by using the daily attributes of a person.
【0070】また、人の所定の属性に基づき、制御対象
ならびに制御内容を複数候補決定し、制御対象の候補と
制御内容の候補の両方の情報を用いることで候補の数を
限定することにより、制御対象や制御対象をより確実に
特定することができる。Further, a plurality of control objects and control contents are determined based on a predetermined attribute of a person, and the number of candidates is limited by using information of both control object candidates and control content candidates. The control target and the control target can be specified more reliably.
【0071】さらに、機器が決定した操作者や候補の内
容を人に提示することや、制御対象や制御内容が決定で
きない場合には再度入力を促し、その後の人の属性を観
察することで、人に必要な情報を提供すると同時に制御
対象ならびに制御内容の決定を円滑に行うことが可能で
ある。Further, by presenting the contents of the operator or the candidate determined by the device to the person, or prompting the input again when the control object or the control content cannot be determined, and observing the attributes of the person thereafter, It is possible to provide the necessary information to the person and at the same time smoothly determine the control target and the control content.
【0072】また、本発明によれば、画面に情報を提示
するだけでなく、音声によっても情報を提示したりする
ことができるので、例えば、目の不自由な人がジェスチ
ャーによって指示した内容を確実に音声にて確認でき、
また耳の不自由な人にとっても、画面で確実に情報を確
認できるので、目の不自由な人と、耳の不自由な人が混
在して使用する場合などに便利であり、福祉対策上有効
である。According to the present invention, not only information can be presented on the screen but also information can be presented by voice. You can confirm it with sound without fail,
Also, for people with hearing impairments, it is possible to confirm information on the screen without fail, which is convenient when people with hearing impairments and people with hearing impairments are used together. It is valid.
【0073】さらにまた、間欠的に状況を監視すること
によって、消費電力を大きく削減することができ、地球
環境保護の観点からも有効である。Furthermore, by intermittently monitoring the situation, power consumption can be greatly reduced, which is effective from the viewpoint of global environmental protection.
【図1】本発明の一実施の形態を示すブロック図FIG. 1 is a block diagram showing an embodiment of the present invention.
【図2】本発明の二実施の形態を示すブロック図FIG. 2 is a block diagram showing two embodiments of the present invention.
【図3】本発明の三実施の形態を示すブロック図FIG. 3 is a block diagram showing a third embodiment of the present invention.
【図4】本発明の四実施の形態を示すブロック図FIG. 4 is a block diagram showing a fourth embodiment of the present invention.
【図5】本発明の五実施の形態を示すブロック図FIG. 5 is a block diagram showing a fifth embodiment of the present invention.
【図6】本発明の六実施の形態を示すブロック図FIG. 6 is a block diagram showing a sixth embodiment of the present invention.
【図7】本発明の七実施の形態を示すブロック図FIG. 7 is a block diagram showing a seventh embodiment of the present invention.
【図8】本発明の八実施の形態を示すブロック図FIG. 8 is a block diagram showing an eighth embodiment of the present invention.
【図9】本発明の実施の形態に於ける、人の腕や指の状
態を示す図FIG. 9 is a diagram showing a state of a human arm or finger according to the embodiment of the present invention.
【図10】本発明の実施の形態に於ける、人の腕や指の
状態を示す図FIG. 10 is a diagram showing a state of a human arm or finger according to the embodiment of the present invention.
1 監視部 2 操作者選択部 3 制御対象候補決定部 4 制御内容候補決定部 5 制御対象・制御内容決定部 DESCRIPTION OF SYMBOLS 1 Monitoring part 2 Operator selection part 3 Control target candidate determination part 4 Control content candidate determination part 5 Control target / control content determination part
Claims (54)
所定の制御内容で、制御対象となる機器を制御する制御
方法。1. The method according to claim 1, wherein the attribute of the person is monitored, and
A control method for controlling a device to be controlled with predetermined control contents.
用して、前記制御を行うことを特徴とする請求項1に記
載の制御方法。2. The control method according to claim 1, wherein the surrounding environment of the person is also monitored, and the control is performed using the result.
を特徴とする請求項1又は2に記載の制御方法。3. The control method according to claim 1, wherein the monitoring is performed constantly or intermittently.
し、後で制御対象と制御内容を選択することを特徴とす
る請求項1、2又は3記載の制御方法。4. The control method according to claim 1, wherein an operator is selected first based on the monitoring result, and a control target and control contents are selected later.
容が決定できない場合は、その旨提示することを特徴と
する請求項4の制御方法。5. The control method according to claim 4, wherein when the control target, the operator, or the control content cannot be determined, the control method is presented.
も1つ以上を用いて情報を提示することを特徴とする請
求項5に記載の制御方法。6. The control method according to claim 5, wherein the information is presented using at least one of light, characters, voice, sound, and vibration.
制御内容候補を選択し、その後、操作者を選択し、その
後、制御対象と、制御内容を決定することを特徴とする
請求項1、2又は3記載の制御方法。7. A control object candidate and a control content candidate are selected first, an operator is selected, and then a control object and a control content are determined based on the monitoring result. 4. The control method according to 2 or 3.
請求項1、2又は、3に記載の制御方法。8. The control method according to claim 1, wherein there are a plurality of persons.
特徴とする請求項1、2、3又は4に記載の制御方法。9. The control method according to claim 1, wherein there are a plurality of target devices.
その提示に対する前記人からの回答指示に基づいて、前
記制御を行うことを特徴とする請求項1〜9のいずれか
に記載の制御方法。10. The monitoring result information is presented to the person,
The control method according to claim 1, wherein the control is performed based on a response instruction from the person to the presentation.
報、前記対象となる機器候補情報、制御内容候補情報の
少なくとも一つであることを特徴とする請求項10記載
の制御方法。11. The control method according to claim 10, wherein the presented information is at least one of the person candidate information, the target device candidate information, and the control content candidate information.
するだけであり、前記制御は自動的に行われることを特
徴とする請求項1、2又は、3記載の制御方法。12. The control method according to claim 1, wherein said monitoring result information is merely presented to said person, and said control is performed automatically.
ず、自動的に前記制御を行うことを特徴とする請求項
1、2又は3記載の制御方法。13. The control method according to claim 1, wherein the control is performed automatically without presenting the monitoring result information to the person.
制御内容の少なくとも一つに対して、複数の候補を出
し、それらの候補に基づき、前記制御を自動的におこな
うことを特徴とする請求項12又は13記載の制御方
法。14. The monitoring result information includes a person, a device,
14. The control method according to claim 12, wherein a plurality of candidates are issued for at least one of the control contents, and the control is automatically performed based on the candidates.
器に組み込まれていることを特徴とする請求項1、2又
は3記載の制御方法。15. The control method according to claim 1, wherein the control means for performing the control is incorporated in a target device.
台存在し、それらの制御手段間で通信路を用いて各種情
報交換を行い、その結果に基づいて、前記制御を行うこ
とを特徴とする請求項15記載の制御方法。16. A plurality of devices in which the control means are incorporated, various kinds of information are exchanged between the control means using a communication path, and the control is performed based on the result. The control method according to claim 15, wherein
の制御手段へ送信するとともに、前記通信路を通じて他
の制御手段から得られた内容をも加味して、前記制御を
行うことを特徴とする請求項16記載の制御方法。17. The control means transmits the result of its own monitoring to another control means, and performs the control in consideration of the contents obtained from the other control means through the communication path. 17. The control method according to claim 16, wherein:
とを特徴とする請求項1〜17のいずれかに記載の制御
方法。18. The control method according to claim 1, wherein the attribute of the person is a motion of the person.
御パラメータを変更するか、あるいはオン・オフさせる
ものであることを特徴とする請求項1〜18のいずれか
に記載の制御方法。19. The control method according to claim 1, wherein the control mode changes or turns on / off a control parameter of a target device.
差し指を自分の口の前にあてる動作を検出し、前記動作
に基づいて音を発する機器を対象機器とし、制御パラメ
ータの値の変更として前記機器の音量を小さくすること
を特徴とする請求項1記載の制御方法。20. As a predetermined motion of a person, an operation in which the person puts his / her index finger in front of his / her mouth is detected, a device that emits a sound based on the motion is set as a target device, and a value of a control parameter is changed. The control method according to claim 1, wherein the volume of the device is reduced.
で自分の耳をふさぐ動作を検出し、前記動作に基づいて
音を発する機器及び音量を制御する機器を対象機器と
し、制御パラメータの値の変更として前記機器の音量を
小さくすることを特徴とする請求項1記載の制御方法。21. As a predetermined motion of a person, a device that detects a motion of the user closing his / her ear with his / her hand, and a device that emits a sound based on the motion and a device that controls the volume is set as a target device. 2. The control method according to claim 1, wherein the volume of the device is decreased as the change of the value.
を自分の耳の横に添える動作を検出し、前記動作に基づ
いて音を発する機器及び音量を制御する機器を対象機器
とし、制御パラメータの値の変更として前記機器の音量
を大きくすることを特徴とする請求項1記載の制御方
法。22. A device which detects a motion of the person attaching his / her hand beside his / her ear as a predetermined motion of the person, and a device which emits a sound based on the motion and a device which controls a sound volume, are target devices. The control method according to claim 1, wherein the volume of the device is increased as the change of the value of the control parameter.
は身体の一部を扇ぐ動作を検出し、前記動作に基づいて
空調を制御する機器及び窓を対象機器とし、制御パラメ
ータの値の変更として前記機器の設定温度を小さくする
ことを特徴とする請求項1記載の制御方法。23. As a predetermined operation of a person, an operation in which the person blows a part of a face or a body with a hand is detected, and a device and a window for controlling air conditioning based on the operation are set as target devices, and a value of a control parameter is set. 2. The control method according to claim 1, wherein the setting temperature of the device is reduced as the change of the control value.
は間欠的に監視し、人の所定の属性の検出に基づいて制
御対象の候補及び制御内容の候補を決定し、前記制御対
象の候補及び前記制御内容の候補に基づき制御対象及び
制御内容を決定することを特徴とする請求項1記載の制
御方法。24. An attribute of one or a plurality of persons is monitored continuously or intermittently, a candidate for a control target and a candidate for control content are determined based on detection of a predetermined attribute of the person, and 2. The control method according to claim 1, wherein a control target and a control content are determined based on the candidate and the control content candidate.
辺環境を継続的あるいは間欠的に監視し、人の所定の属
性の検出及び周辺環境に基づいて制御対象の候補及び制
御内容の候補を決定し、前記制御対象の候補及び前記制
御内容の候補に基づき、制御対象及び制御内容を決定す
ることを特徴とする請求項1記載の制御方法。25. Continuously or intermittently monitoring the attribute of one or a plurality of persons and the surrounding environment of the person, and detecting a predetermined attribute of the person and, based on the surrounding environment, a candidate for a control object and a control content. The control method according to claim 1, wherein a candidate is determined, and the control target and the control content are determined based on the control target candidate and the control content candidate.
のうち少なくとも一つ以上を周辺環境として用いること
を特徴とする請求項25記載の制御方法。26. The control method according to claim 25, wherein at least one of temperature, humidity, illuminance, air current, time, and sound is used as a surrounding environment.
る、及び又は制御対象の候補及び制御内容の候補を通信
網に出力する、及び又は制御対象及び制御内容を通信網
に出力することを特徴とする請求項24〜26のいずれ
かに記載の制御方法。27. Outputting the information obtained by said monitoring to a communication network, and / or outputting a candidate for a control object and a candidate for control contents to a communication network, and / or outputting the control object and control contents to a communication network. The control method according to any one of claims 24 to 26, wherein:
視し、通信網の情報及び人の所定の属性検出に基づいて
制御対象の候補及び制御内容の候補を決定することを特
徴とする請求項27記載の制御方法。28. The method according to claim 28, wherein the communication network is continuously or intermittently monitored, and a candidate for a control target and a candidate for a control content are determined based on information on the communication network and detection of a predetermined attribute of a person. Item 28. The control method according to Item 27.
視し、通信網の情報及び制御対象の候補及び制御内容の
候補に基づき制御対象及び制御内容を決定することを特
徴とする請求項27または28記載の制御方法。29. The communication network according to claim 27, wherein the communication network is continuously or intermittently monitored, and a control object and control contents are determined based on communication network information, control object candidates and control contents candidates. Or the control method according to 28.
御内容の候補を制御内容とすることを特徴とする請求項
24〜29のいずれかに記載の制御方法。30. The control method according to claim 24, wherein the control target candidate is a control target, and the control content candidate is a control content.
ごとに制御対象の候補及び制御内容の候補を決定し、前
記制御対象の候補及び前記制御内容の候補に基づいて制
御対象及び制御内容を決定することを特徴とする請求項
24〜30のいずれか記載の制御方法。31. A candidate for a control object and a candidate for control content are determined for each person based on detection of attributes of a plurality of people, and a control object and a control object are determined based on the candidate for control object and the candidate for control content. 31. The control method according to claim 24, wherein the content is determined.
御内容の候補を用いて多数決に基づいて制御対象及び制
御内容を決定することを特徴とする請求項31記載の制
御方法。32. The control method according to claim 31, wherein the control target and the control content are determined based on a majority decision using the control target candidate and the control content candidate determined for each person.
及び制御対象の候補及び制御内容の候補を決定し、前記
操作者及び前記制御対象の候補及び前記制御内容の候補
に基づき制御対象及び制御内容を決定することを特徴と
する請求項24〜30のいずれかに記載の制御方法。33. A candidate for an operator and a control target and a candidate for control content are determined based on detection of a predetermined attribute of a person, and a control target is determined based on the candidate for the operator and the control target and the control content candidate. 31. The control method according to claim 24, wherein the control content is determined.
とに制御対象の候補及び制御内容の候補を決定し、前記
制御対象の候補及び制御内容の候補に基づき操作者を選
択し、選択した操作者の属性に基づいて制御対象の候補
及び又は制御内容の候補を決定することを特徴とする請
求項33記載の制御方法。34. A candidate for a control object and a candidate for control content are determined for each person based on the attribute detection of a plurality of persons, and an operator is selected and selected based on the candidate for the control object and candidate control contents. 34. The control method according to claim 33, wherein a candidate for a control target and / or a candidate for control content is determined based on the attribute of the operator.
選択し、選択した操作者の属性に基づいて制御対象の候
補及び制御内容の候補を決定することを特徴とする請求
項24〜30のいずれかに記載の制御方法。35. An operator is selected based on detection of a predetermined attribute of a person, and a candidate for a control target and a candidate for a control content are determined based on the attribute of the selected operator. 30. The control method according to any one of 30.
ることを特徴とする33〜35のいずれかに記載の制御
方法。36. The control method according to claim 33, wherein information of the selected operator is output to a communication network.
いることを特徴とする請求項27〜29または36のい
ずれかに記載の制御方法。37. The control method according to claim 27, wherein a wireless and / or wired communication network is used as the communication network.
とを特徴とする請求項33〜36記載の制御方法。38. The control method according to claim 33, wherein the selected operator is presented as information.
に基づき情報の提示を行うことを特徴とする請求項24
〜38のいずれかに記載の制御方法。39. Information is presented based on a candidate for a control object and / or a candidate for a control content.
39. The control method according to any one of -38.
御内容の候補、又は制御内容、又は確認の指示、又は再
入力の指示、又は候補の選択肢、又は対象決定不能であ
ることの少なくとも一つ以上を提示することを特徴とす
る請求項39に記載の制御方法。40. A control object candidate, a control object, or a control content candidate, a control content, a confirmation instruction, a re-input instruction, or a candidate option, or at least one of a candidate that cannot be determined. 40. The control method according to claim 39, wherein at least one is presented.
とも1つ以上を用いて情報を提示することを特徴とする
請求項38〜40のいずれかに記載の制御方法。41. The control method according to claim 38, wherein the information is presented using at least one of light, characters, voice, sound, and vibration.
づいて制御対象の候補の削減、及び又は制御内容の候補
の削減、及び又は制御対象の決定、及び又は制御内容の
決定、及び又は情報の提示を行うことを特徴とする請求
項38〜41のいずれか記載の制御方法。42. Reduction of candidates for control objects and / or reduction of candidates for control contents and / or determination of control objects and / or determination of control contents based on the monitoring result of the attribute of the person after the presentation of the information, and 42. The control method according to claim 38, wherein information is presented.
象の候補の削減、及び又は制御内容の候補の削減、及び
又は制御対象の決定、及び又は制御内容の決定を行うこ
とを特徴とする請求項24〜42のいずれか記載の制御
方法。43. The method according to claim 43, wherein the number of control target candidates is reduced and / or the number of control content candidates is reduced and / or the control target is determined and / or the control content is determined based on a predetermined criterion. 43. The control method according to any one of 24 to 42.
合性に基づいて、制御対象の候補の削減、及び又は制御
内容の候補の削減、及び又は制御対象の決定、及び又は
制御内容の決定を行うことを特徴とする請求項43記載
の制御方法。44. Reduction of control target candidates and / or reduction of control content candidates and / or determination of control targets and / or control content determination based on consistency between control target candidates and control content candidates. The control method according to claim 43, wherein the determination is performed.
性を検出した第一の時刻と制御内容の候補の決定に用い
た所定の属性を検出した第二の時刻との時間間隔、又は
前記第一の時刻と前記第二の時刻との時間的順序関係、
又は前記所定の属性検出の継続時間の少なくとも一つ以
上を用いて、制御対象の候補の削減、及び又は制御内容
の候補の削減、及び又は制御対象の決定、及び又は制御
内容の決定を行うことを特徴とする請求項43または4
4記載の制御方法。45. A time interval between a first time at which a predetermined attribute used to determine a candidate to be controlled is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or A temporal order relationship between the first time and the second time,
Or, using at least one or more of the predetermined attribute detection durations, reducing the number of control target candidates, and / or reducing the number of control content candidates, and / or determining the control target, and / or determining the control content. 43. The method according to claim 43, wherein
4. The control method according to 4.
作を行うことを特徴とする請求項24〜45記載の制御
方法。46. The control method according to claim 24, wherein the control content includes operating an apparatus and / or operating information.
き、人の音声、人の生理状態、特定個人であること、人
の体型、人の体重、人の性別、人の年齢、人の心身的不
自由度、又は人の付帯物のうち少なくとも1つ以上を人
の属性として用いることを特徴とする請求項24〜46
のいずれかに記載の制御方法。47. The position of a person, the posture of a person, the expression of a person, the movement of a person, the sound of a person, the physiological state of a person, the identity of a person, the shape of a person, the weight of a person, the sex of a person, 47. At least one of an age, a degree of mental and physical inconvenience of a person, and an accessory of a person is used as an attribute of the person.
The control method according to any one of the above.
性と、制御内容の候補を決定するための人の属性とが異
なることを特徴とする請求項24から請求項47記載の
制御方法。48. The control method according to claim 24, wherein the attribute of a person for determining a candidate to be controlled and the attribute of a person for determining a candidate for control content are different. .
性と、制御内容の候補を決定するための人の属性とが同
一であることを特徴とする請求項24から請求項47記
載の制御方法。49. The attribute according to claim 24, wherein the attribute of a person for determining a candidate for a control target and the attribute of a person for determining a candidate for a control content are the same. Control method.
を口の前にあてる動作を検出し、前記動作に基づいて音
を発する機器及び音量を制御する機器を制御対象の候補
とし、音量を小さくする制御を制御内容の候補とするこ
とを特徴とする請求項49記載の制御方法。50. As an attribute of a person, an operation in which the person puts his / her index finger in front of the mouth is detected, and a device that emits a sound based on the operation and a device that controls the volume are set as candidates for a control target. 50. The control method according to claim 49, wherein the control to reduce the size is set as a candidate for the control content.
動作を検出し、前記動作に基づいて音を発する機器及び
音量を制御する機器を制御対象の候補とし、音量を小さ
くする制御を制御内容の候補とすることを特徴とする請
求項49記載の制御方法。51. A control for detecting a motion of closing the ear with a hand as an attribute of a human, and selecting a device that emits a sound based on the motion and a device for controlling the volume as a candidate to be controlled, and performing control to reduce the volume. 50. The control method according to claim 49, wherein the control method is a candidate for control content.
の一部を扇ぐ動作を検出し、前記動作に基づいて空調を
制御する機器及び窓を制御対象の候補を制御対象の候補
とし、設定温度の低下又は換気を制御内容の候補とする
ことを特徴とする請求項49記載の制御方法。52. An attribute of a person, which detects an action of the person fanning a part of a face or a body with a hand, and sets a device and a window for controlling air conditioning based on the action as candidates for a control object. 50. The control method according to claim 49, wherein a decrease in set temperature or ventilation is set as a control content candidate.
える動作を検出し、前記動作基づいて音を出す機器及び
音量を制御する機器を制御対象の候補とし、音量を大き
くする制御を制御内容の候補とすることを特徴とする請
求項49記載の制御方法。53. A control for detecting an action of the person placing his ear beside the hand as an attribute of the person, and setting a device that emits a sound and a device for controlling the volume based on the motion as candidates for a control target and increasing the volume. 50. The control method according to claim 49, wherein?
方法における動作の全部又は一部をコンピュータで実現
するためのプログラムを格納したことを特徴とするプロ
グラム記録媒体。54. A program recording medium storing a program for realizing all or a part of the operation in the control method according to claim 1 by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33440098A JPH11327753A (en) | 1997-11-27 | 1998-11-25 | Control method and program recording medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32573997 | 1997-11-27 | ||
JP9-325739 | 1997-11-27 | ||
JP33440098A JPH11327753A (en) | 1997-11-27 | 1998-11-25 | Control method and program recording medium |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004105863A Division JP2004289850A (en) | 1997-11-27 | 2004-03-31 | Control method, equipment control apparatus, and program recording medium |
JP2004105864A Division JP2004282770A (en) | 1997-11-27 | 2004-03-31 | Control method |
JP2004105865A Division JP2004303251A (en) | 1997-11-27 | 2004-03-31 | Control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11327753A true JPH11327753A (en) | 1999-11-30 |
Family
ID=26571933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33440098A Pending JPH11327753A (en) | 1997-11-27 | 1998-11-25 | Control method and program recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11327753A (en) |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001082646A1 (en) * | 2000-04-24 | 2001-11-01 | Mitsubishi Denki Kabushiki Kaisha | Cellular phone and remote control system |
JP2003111157A (en) * | 2001-09-28 | 2003-04-11 | Toshiba Corp | Integrated controller, apparatus controlling method, and apparatus controlling program |
JP2003337593A (en) * | 2002-05-17 | 2003-11-28 | Victor Co Of Japan Ltd | Remote controller and electronic equipment |
WO2005078559A1 (en) * | 2004-01-30 | 2005-08-25 | Sony Computer Entertainment Inc. | Image processing device, image processing method, recording medium, computer program, anc semiconductor device |
JP2007195148A (en) * | 2006-01-16 | 2007-08-02 | Samsung Electronics Co Ltd | Method of providing services taking into account user context, and apparatus thereof |
JP2008052590A (en) * | 2006-08-25 | 2008-03-06 | Toshiba Corp | Interface device and its method |
US7541965B2 (en) | 2005-05-16 | 2009-06-02 | Kabuhsiki Kaisha Toshiba | Appliance control apparatus |
JP2009123242A (en) * | 2009-03-10 | 2009-06-04 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
WO2009125481A1 (en) * | 2008-04-10 | 2009-10-15 | パイオニア株式会社 | Screen display system and screen display program |
JP2010204730A (en) * | 2009-02-27 | 2010-09-16 | Seiko Epson Corp | System of controlling device in response to gesture |
US7890653B2 (en) | 2003-05-26 | 2011-02-15 | Panasonic Corporation | Operation history utilization system |
US7987147B2 (en) | 2006-05-18 | 2011-07-26 | Sony Corporation | Information processing apparatus, information processing method, and program based on operator probability using sensors |
CN102192173A (en) * | 2010-03-08 | 2011-09-21 | 艾美特电器(深圳)有限公司 | Intelligent gesture control electric fan |
JP2012037176A (en) * | 2010-08-10 | 2012-02-23 | Osaka Gas Co Ltd | Ventilation system |
WO2012063560A1 (en) * | 2010-11-10 | 2012-05-18 | 日本電気株式会社 | Image processing system, image processing method, and storage medium storing image processing program |
JP2012100309A (en) * | 2000-09-19 | 2012-05-24 | Thomson Licensing | Method and apparatus for voice control of device associated with consumer electronics |
WO2012095917A1 (en) * | 2011-01-13 | 2012-07-19 | 株式会社ニコン | Electronic device and electronic device control program |
JP2012146208A (en) * | 2011-01-13 | 2012-08-02 | Nikon Corp | Electronic device and program for controlling the same |
JP2012146216A (en) * | 2011-01-13 | 2012-08-02 | Nikon Corp | Electronic device and program for controlling the same |
WO2012144145A1 (en) * | 2011-04-22 | 2012-10-26 | パナソニック株式会社 | Pointing control device, integrated circuit thereof, and pointing control method |
JP2012222784A (en) * | 2011-04-14 | 2012-11-12 | Casio Comput Co Ltd | Remote operation device, remote operation method and program |
JP2013088075A (en) * | 2011-10-20 | 2013-05-13 | Panasonic Corp | Gesture decoder |
JP2013196594A (en) * | 2012-03-22 | 2013-09-30 | Ricoh Co Ltd | Information processing apparatus, operation authorization program, and projection system |
JP2013250882A (en) * | 2012-06-01 | 2013-12-12 | Sharp Corp | Attention position detection device, attention position detection method, and attention position detection program |
JP2013254459A (en) * | 2012-06-08 | 2013-12-19 | Ricoh Co Ltd | Information processor, conference system and program |
JP2014021760A (en) * | 2012-07-19 | 2014-02-03 | Canon Inc | Control device, control method, and control program |
EP2708981A2 (en) | 2012-08-31 | 2014-03-19 | Omron Corporation | Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium |
JP2014507714A (en) * | 2011-01-19 | 2014-03-27 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | Method and system for multimodal and gesture control |
JP2014183491A (en) * | 2013-03-19 | 2014-09-29 | Sharp Corp | Electric equipment control apparatus, electric equipment control system, program, and electric equipment control method |
WO2015037310A1 (en) * | 2013-09-13 | 2015-03-19 | ソニー株式会社 | Information processing device and information processing method |
JP2015520917A (en) * | 2012-05-08 | 2015-07-23 | コーニンクレッカ フィリップス エヌ ヴェ | Lighting applications for interactive electronic devices |
JP2015233295A (en) * | 2015-07-13 | 2015-12-24 | 富士ゼロックス株式会社 | Power supply control device, image processing device, power supply control program |
JP2016009495A (en) * | 2014-06-20 | 2016-01-18 | トムソン ライセンシングThomson Licensing | Apparatus and method for controlling said apparatus by user |
JP2017052490A (en) * | 2015-09-11 | 2017-03-16 | トヨタ自動車株式会社 | On-vehicle equipment control device |
JP2018525696A (en) * | 2015-04-29 | 2018-09-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Method and apparatus for operating device by group members |
JP2019520269A (en) * | 2016-04-21 | 2019-07-18 | ウェイン・フューエリング・システムズ・エルエルシーWayne Fueling Systems LLC | Intelligent fuel dispenser |
JP2019207572A (en) * | 2018-05-29 | 2019-12-05 | 富士ゼロックス株式会社 | Information processing device and program |
JP2022091844A (en) * | 2017-02-20 | 2022-06-21 | ソニーグループ株式会社 | Information processing system, information processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0678094A (en) * | 1992-08-26 | 1994-03-18 | Ricoh Co Ltd | Control device for operation display |
JPH07146771A (en) * | 1993-11-25 | 1995-06-06 | Casio Comput Co Ltd | Image display device |
JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
JPH0981309A (en) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | Input device |
-
1998
- 1998-11-25 JP JP33440098A patent/JPH11327753A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0678094A (en) * | 1992-08-26 | 1994-03-18 | Ricoh Co Ltd | Control device for operation display |
JPH07146771A (en) * | 1993-11-25 | 1995-06-06 | Casio Comput Co Ltd | Image display device |
JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
JPH0981309A (en) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | Input device |
Cited By (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001082646A1 (en) * | 2000-04-24 | 2001-11-01 | Mitsubishi Denki Kabushiki Kaisha | Cellular phone and remote control system |
JP2012100309A (en) * | 2000-09-19 | 2012-05-24 | Thomson Licensing | Method and apparatus for voice control of device associated with consumer electronics |
JP2003111157A (en) * | 2001-09-28 | 2003-04-11 | Toshiba Corp | Integrated controller, apparatus controlling method, and apparatus controlling program |
JP2003337593A (en) * | 2002-05-17 | 2003-11-28 | Victor Co Of Japan Ltd | Remote controller and electronic equipment |
US7890653B2 (en) | 2003-05-26 | 2011-02-15 | Panasonic Corporation | Operation history utilization system |
WO2005078559A1 (en) * | 2004-01-30 | 2005-08-25 | Sony Computer Entertainment Inc. | Image processing device, image processing method, recording medium, computer program, anc semiconductor device |
US7999843B2 (en) | 2004-01-30 | 2011-08-16 | Sony Computer Entertainment Inc. | Image processor, image processing method, recording medium, computer program, and semiconductor device |
US8508578B2 (en) | 2004-01-30 | 2013-08-13 | Sony Corporation | Image processor, image processing method, recording medium, computer program and semiconductor device |
US7541965B2 (en) | 2005-05-16 | 2009-06-02 | Kabuhsiki Kaisha Toshiba | Appliance control apparatus |
JP4699338B2 (en) * | 2006-01-16 | 2011-06-08 | 三星電子株式会社 | Service providing method and apparatus considering user's context |
JP2007195148A (en) * | 2006-01-16 | 2007-08-02 | Samsung Electronics Co Ltd | Method of providing services taking into account user context, and apparatus thereof |
US7987147B2 (en) | 2006-05-18 | 2011-07-26 | Sony Corporation | Information processing apparatus, information processing method, and program based on operator probability using sensors |
US7844921B2 (en) | 2006-08-25 | 2010-11-30 | Kabushiki Kaisha Toshiba | Interface apparatus and interface method |
JP2008052590A (en) * | 2006-08-25 | 2008-03-06 | Toshiba Corp | Interface device and its method |
WO2009125481A1 (en) * | 2008-04-10 | 2009-10-15 | パイオニア株式会社 | Screen display system and screen display program |
JP5058335B2 (en) * | 2008-04-10 | 2012-10-24 | パイオニア株式会社 | Screen display system and screen display program |
JP2010204730A (en) * | 2009-02-27 | 2010-09-16 | Seiko Epson Corp | System of controlling device in response to gesture |
JP2009123242A (en) * | 2009-03-10 | 2009-06-04 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
CN102192173A (en) * | 2010-03-08 | 2011-09-21 | 艾美特电器(深圳)有限公司 | Intelligent gesture control electric fan |
JP2012037176A (en) * | 2010-08-10 | 2012-02-23 | Osaka Gas Co Ltd | Ventilation system |
WO2012063560A1 (en) * | 2010-11-10 | 2012-05-18 | 日本電気株式会社 | Image processing system, image processing method, and storage medium storing image processing program |
JP5527423B2 (en) * | 2010-11-10 | 2014-06-18 | 日本電気株式会社 | Image processing system, image processing method, and storage medium storing image processing program |
WO2012095917A1 (en) * | 2011-01-13 | 2012-07-19 | 株式会社ニコン | Electronic device and electronic device control program |
JP2012146208A (en) * | 2011-01-13 | 2012-08-02 | Nikon Corp | Electronic device and program for controlling the same |
JP2012146216A (en) * | 2011-01-13 | 2012-08-02 | Nikon Corp | Electronic device and program for controlling the same |
US9778747B2 (en) | 2011-01-19 | 2017-10-03 | Hewlett-Packard Development Company, L.P. | Method and system for multimodal and gestural control |
JP2014507714A (en) * | 2011-01-19 | 2014-03-27 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | Method and system for multimodal and gesture control |
JP2012222784A (en) * | 2011-04-14 | 2012-11-12 | Casio Comput Co Ltd | Remote operation device, remote operation method and program |
CN102959491A (en) * | 2011-04-22 | 2013-03-06 | 松下电器产业株式会社 | Pointing control device, integrated circuit thereof, and pointing control method |
WO2012144145A1 (en) * | 2011-04-22 | 2012-10-26 | パナソニック株式会社 | Pointing control device, integrated circuit thereof, and pointing control method |
JP5798183B2 (en) * | 2011-04-22 | 2015-10-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Pointing control device, integrated circuit thereof, and pointing control method |
US9081430B2 (en) | 2011-04-22 | 2015-07-14 | Panasonic Intellectual Property Corporation Of America | Pointing control device, integrated circuit thereof and pointing control method |
JP2013088075A (en) * | 2011-10-20 | 2013-05-13 | Panasonic Corp | Gesture decoder |
JP2013196594A (en) * | 2012-03-22 | 2013-09-30 | Ricoh Co Ltd | Information processing apparatus, operation authorization program, and projection system |
JP2015520917A (en) * | 2012-05-08 | 2015-07-23 | コーニンクレッカ フィリップス エヌ ヴェ | Lighting applications for interactive electronic devices |
JP2013250882A (en) * | 2012-06-01 | 2013-12-12 | Sharp Corp | Attention position detection device, attention position detection method, and attention position detection program |
JP2013254459A (en) * | 2012-06-08 | 2013-12-19 | Ricoh Co Ltd | Information processor, conference system and program |
JP2014021760A (en) * | 2012-07-19 | 2014-02-03 | Canon Inc | Control device, control method, and control program |
EP2708981A2 (en) | 2012-08-31 | 2014-03-19 | Omron Corporation | Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium |
JP2014183491A (en) * | 2013-03-19 | 2014-09-29 | Sharp Corp | Electric equipment control apparatus, electric equipment control system, program, and electric equipment control method |
WO2015037310A1 (en) * | 2013-09-13 | 2015-03-19 | ソニー株式会社 | Information processing device and information processing method |
US10928896B2 (en) | 2013-09-13 | 2021-02-23 | Sony Corporation | Information processing apparatus and information processing method |
US10120441B2 (en) | 2013-09-13 | 2018-11-06 | Sony Corporation | Controlling display content based on a line of sight of a user |
JP2016009495A (en) * | 2014-06-20 | 2016-01-18 | トムソン ライセンシングThomson Licensing | Apparatus and method for controlling said apparatus by user |
JP2018525696A (en) * | 2015-04-29 | 2018-09-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Method and apparatus for operating device by group members |
JP2015233295A (en) * | 2015-07-13 | 2015-12-24 | 富士ゼロックス株式会社 | Power supply control device, image processing device, power supply control program |
JP2017052490A (en) * | 2015-09-11 | 2017-03-16 | トヨタ自動車株式会社 | On-vehicle equipment control device |
JP2019520269A (en) * | 2016-04-21 | 2019-07-18 | ウェイン・フューエリング・システムズ・エルエルシーWayne Fueling Systems LLC | Intelligent fuel dispenser |
US11494855B2 (en) | 2016-04-21 | 2022-11-08 | Wayne Fueling Systems Llc | Intelligent fuel dispensers |
US11741556B2 (en) | 2016-04-21 | 2023-08-29 | Wayne Fueling Systems Llc | Intelligent fuel dispensers |
US11854097B2 (en) | 2016-04-21 | 2023-12-26 | Wayne Fueling Systems Llc | Intelligent fuel dispensers |
JP2022091844A (en) * | 2017-02-20 | 2022-06-21 | ソニーグループ株式会社 | Information processing system, information processing method, and program |
JP2019207572A (en) * | 2018-05-29 | 2019-12-05 | 富士ゼロックス株式会社 | Information processing device and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11327753A (en) | Control method and program recording medium | |
US6353764B1 (en) | Control method | |
JP2004303251A (en) | Control method | |
CN105357842B (en) | Master control intelligent lamp | |
US20160162039A1 (en) | Method and system for touchless activation of a device | |
JPH0981309A (en) | Input device | |
WO2017166462A1 (en) | Method and system for reminding about change in environment, and head-mounted vr device | |
JP2009087074A (en) | Equipment control system | |
US11544968B2 (en) | Information processing system, information processingmethod, and recording medium | |
WO2020116233A1 (en) | Information processing device, information processing method, and program | |
US20210394369A1 (en) | Healthcare robot and control method therefor | |
US20210160150A1 (en) | Information processing device, information processing method, and computer program | |
JP2004289850A (en) | Control method, equipment control apparatus, and program recording medium | |
US11755109B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
JP7296626B2 (en) | Information processing device and program | |
JP2019220145A (en) | Operation terminal, voice input method, and program | |
US11687049B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
JP2004282770A (en) | Control method | |
US11195525B2 (en) | Operation terminal, voice inputting method, and computer-readable recording medium | |
US20220180571A1 (en) | Information processing device, information processing method, and program | |
WO2023149031A1 (en) | Information notification method, information notification device, and program | |
CN111492339A (en) | Information processing apparatus, information processing method, and recording medium | |
RU2806269C1 (en) | Systems and methods of terminal device control | |
CN212965894U (en) | Wearable device | |
US20210063977A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040303 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040405 |