JPH09128141A

JPH09128141A - 制御装置および制御方法

Info

Publication number: JPH09128141A
Application number: JP7288341A
Authority: JP
Inventors: Hajime Yano; 肇矢野; Tadao Yoshida; 忠雄吉田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-11-07
Filing date: 1995-11-07
Publication date: 1997-05-16

Abstract

(57)【要約】【課題】リモートコマンダなしで、電子機器の遠隔制
御を行う。【解決手段】テレビジョン受像機であるディスプレイ
装置７には、メニュー８とカーソル９が表示されてい
る。一方、撮像装置３では、ユーザを含む画像が撮像さ
れ、動きベクトル検出装置６において、その画像におけ
る動きベクトルが検出される。そして、制御装置５で
は、その動きベクトルに対応して、カーソル９が移動さ
れ、メニュー８の中の、ユーザが所望する選択肢が選択
されると、その選択肢に対応して、ディスプレイ装置７
が制御される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、制御装置および制
御方法に関する。特に、例えばテレビジョン受像機など
の電子機器を制御する場合に用いて好適な制御装置およ
び制御方法に関する。

【０００２】

【従来の技術】最近の、例えばテレビジョン受像機やエ
アコンディショナなどの電子機器には、リモートコマン
ダ（以下、適宜、リモコンという）が付随しており、こ
のリモコンを操作することで、電子機器を遠隔制御する
ことができるようになされている。

【０００３】即ち、ユーザは、電子機器から離れた位置
にいても、リモコンを操作するだけで、電子機器を直接
操作しなくても、その制御を行うことができる。具体的
には、例えば電子機器がテレビジョン受像機である場
合、その電源のオン／オフや、チャンネルの変更、ボリ
ュームの調整などの遠隔制御を行うことができる。

【０００４】

【発明が解決しようとする課題】ところで、リモコン
は、ユーザが常に持ち歩くものではないため、必ずしも
ユーザの手元にあるとは限らない。即ち、例えば、ユー
ザが、テレビジョン受像機から離れた位置にいる場合に
おいて、その操作を行おうとしたとき、リモコンが、テ
レビジョン受像機の上などに置いてあることがある。こ
のような場合、ユーザは、リモコンを、テレビジョン受
像機の置いてある位置まで取りに行かねばならなかっ
た。

【０００５】また、最近のテレビジョン受像機は、基本
的に、リモコンによって操作を行うようになされている
ため、テレビジョン受像機自体に取り付けられている電
源ボタンなどについては、ほとんど操作性が考慮されて
いない。このため、リモコンを紛失してしまった場合に
は、電子機器の操作性が極端に悪くなることがあった。
さらに、最近のエアコンディショナの中には、リモコン
によってのみ、温度調整やタイマの設定などを行うこと
ができるものがあり、このような電子機器のリモコンを
紛失した場合には、電子機器が、実質的に使用不可とな
る。

【０００６】本発明は、このような状況に鑑みてなされ
たものであり、リモコンがなくても、ユーザが、電子機
器を遠隔制御することができるようにするものである。

【０００７】

【課題を解決するための手段】請求項１に記載の制御装
置は、画像を撮像する撮像手段と、撮像手段により撮像
された画像における動きを検出する動き検出手段と、動
き検出手段により検出された画像における動きに対応し
て、電子機器を制御する制御手段とを備えることを特徴
とする。

【０００８】請求項７に記載の制御方法は、画像を撮像
し、その画像における動きを検出し、その動きに対応し
て、電子機器を制御することを特徴とする。

【０００９】請求項１に記載の制御装置においては、撮
像手段は、画像を撮像し、動き検出手段は、撮像手段に
より撮像された画像における動きを検出し、制御手段
は、動き検出手段により検出された画像における動きに
対応して、電子機器を制御するようになされている。

【００１０】請求項７に記載の制御方法は、画像を撮像
し、その画像における動きを検出し、その動きに対応し
て、電子機器を制御するようになされている。

【００１１】

【発明の実施の形態】以下に、本発明の実施例を説明す
るが、その前に、特許請求の範囲に記載の発明の各手段
と以下の実施例との対応関係を明らかにするために、各
手段の後の括弧内に、対応する実施例（但し、一例）を
付加して、本発明の特徴を記述すると、次のようにな
る。

【００１２】即ち、請求項１に記載の制御装置は、電子
機器（例えば、図１に示すテレビジョン受像機であるデ
ィスプレイ装置７など）を制御する制御装置であって、
画像を撮像する撮像手段（例えば、図１に示す撮像装置
３など）と、撮像手段により撮像された画像における動
きを検出する動き検出手段（例えば、図１に示す動きベ
クトル検出装置６など）と、動き検出手段により検出さ
れた画像における動きに対応して、電子機器を制御する
制御手段（例えば、図１に示す制御装置５など）とを備
えることを特徴とする。

【００１３】請求項２に記載の制御装置は、所定のメニ
ュー（例えば、図７に示すメニュー８など）およびカー
ソル（例えば、図７に示すカーソル９など）を表示する
表示手段（例えば、図１に示すディスプレイ装置７な
ど）と、画像における動きに対応して、カーソルを移動
させるカーソル移動制御手段（例えば、図１に示す制御
装置５など）とをさらに備え、メニューが、複数の選択
肢でなる選択エリア（例えば、図７に示す選択エリア３
２など）を有し、制御手段が、カーソルが位置している
選択肢（例えば、図７に示す選択エリア３２内の選択肢
「１」、「３」、・・・など）に対応した制御を行うこ
とを特徴とする。

【００１４】請求項３に記載の制御装置は、表示手段
が、所定の入力（例えば、図１の認識装置１０からの認
識信号（トリガ）など）があったときに、所定のメニュ
ーおよびカーソルを表示することを特徴とする。

【００１５】請求項４に記載の制御装置は、メニュー
が、選択エリアの他、所定の確定エリア（例えば、図７
に示す確定エリア（ＥＮＴＥＲエリア）３３など）をさ
らに有し、制御手段が、カーソルが選択肢から、確定エ
リアに移動したとき、その選択肢の選択が確定されたも
のとし、その選択肢に対応した制御を行うことを特徴と
する。

【００１６】請求項６に記載の制御装置は、撮像手段に
より撮像された画像を記憶する記憶手段（例えば、図１
に示すフレームメモリ４など）をさらに備え、動き検出
手段が、記憶手段に画像が記憶された後、撮像手段より
出力される画像と、記憶手段に記憶された画像との差分
を演算し、その結果得られる差分画像についての動きベ
クトルを、撮像手段より出力される画像の動きベクトル
として検出することを特徴とする。

【００１７】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００１８】図１は、本発明を適用した制御システムの
一実施例の構成を示している。この制御システムにおい
ては、例えばテレビジョン受像機などでなるディスプレ
イ装置７を遠隔制御することができるようになされてい
る。

【００１９】照明装置１は、例えば部屋の中に設置され
た蛍光灯や白熱電球などで、ユーザを照明するようにな
されている。フィルタ２は、光学的なフィルタで、そこ
に入射される光をフィルタリングして、撮像装置３に出
射するようになされている。撮像装置３は、例えばレン
ズやＣＣＤ（電荷結合素子）などで構成され、ディスプ
レイ装置７の上などに設置されている。そして、撮像装
置３は、そこに入射される光としての画像を撮像し、例
えばＮＴＳＣ方式などに準拠した画像信号を出力するよ
うになされている。フレームメモリ４は、撮像装置３が
出力する画像信号を記憶するようになされている。制御
装置５は、ＲＯＭ１２に記憶されているプログラムしに
たがって所定の処理を行うＣＰＵ１１，ＣＰＵ１１に実
行させるべきプログラムや、後述するようなメニュー８
およびカーソル９を表示するのに必要なデータを記憶し
ているＲＯＭ１２、およびＣＰＵ１１の動作上必要なデ
ータその他を記憶するＲＡＭ１３などから構成され、シ
ステム全体の制御を行うようになされている。動きベク
トル検出装置６は、撮像装置３が出力する画像における
動きとして、例えば動きベクトルを検出するようになさ
れている。

【００２０】ディスプレイ装置７は、上述したように、
テレビジョン受像機などでなり、制御装置５により制御
されるようになされている。なお、ディスプレイ装置７
は、テレビジョン受像機としての機能を有する他、制御
装置５の制御にしたがって、メニュー８およびカーソル
９を表示するようにもなされている。

【００２１】認識装置１０は、ユーザが所定のアクショ
ンを行ったことを認識し、制御装置５に、所定の認識信
号を出力するようになされている。

【００２２】次に、その動作について、簡単に説明す
る。ユーザは、ディスプレイ装置７を遠隔制御しようと
するとき（例えば、電源のオン／オフや、受信チャンネ
ルの変更、ボリュームの調整などを行おうとすると
き）、所定のアクションを起こす。認識装置１０では、
ユーザのアクションが監視されており、所定のアクショ
ンが認識されると、所定の認識信号を、制御装置５に出
力する。制御装置５は、認識装置１０から認識信号を受
信すると、それをトリガとして、処理を開始する。

【００２３】即ち、制御装置５は、ディスプレイ装置７
を制御して、メニュー８およびカーソル９を表示させ
る。同時に、制御装置５は、撮像装置３に画像の撮像を
開始させ、さらに、これにより、撮像装置３から出力さ
れる画像における動きを、動きベクトル検出装置６に検
出させる。そして、制御装置５は、動きベクトル検出装
置６で検出された画像の動きに対応して、ディスプレイ
装置７に表示されたカーソル９を移動させる。そして、
制御装置５は、カーソル９が指示しているメニューの位
置に対応して、ディスプレイ装置７を制御する。

【００２４】具体的には、例えば、メニュー８として、
受信チャンネルを選択肢とするものが表示され、所定の
受信チャンネルがカーソル９によって指示（選択）され
た場合、その受信チャンネルを受信するように、ディス
プレイ装置７が制御される。

【００２５】従って、ユーザは、所定のアクションを起
こした後、カーソル９を、メニュー８の中の所望する受
信チャンネルの位置に移動させるように動くことで、受
信チャンネルを変更することができる。即ち、この場
合、ユーザは、リモコンがなくても、テレビジョン受像
機であるディスプレイ装置７を遠隔制御することができ
る。

【００２６】次に、認識装置１０の詳細について説明す
る。認識装置１０は、従来のリモコンによる遠隔制御を
行う際の、ユーザがリモコンを持って、テレビジョン受
像機などに向け、所定のボタンを操作しようとする行
為、即ち、ユーザの遠隔制御を行おうとする意志を、ユ
ーザが所定のアクションを起こしたかどうかで認識する
ようになされている。

【００２７】図２は、ユーザの遠隔制御を行おうとする
意志を、ユーザが所定の音声を発したかどうかで認識す
る場合の、認識装置１０の構成例を示している。即ち、
この場合、認識装置１０は、マイク２１および音声認識
装置２２で構成される。

【００２８】マイク２１は、そこに入力される音声を、
電気信号としての音声信号に変換するようになされてい
る。音声認識装置２２は、マイク２１から供給される音
声が、所定の単語であるか否かを認識し、その音声が所
定の単語であると認識した場合には、認識信号を制御装
置５に出力するようになされている。

【００２９】以上のように構成される認識装置１０で
は、マイク２１に入力された音声が、音声認識装置２２
に供給され、音声認識される。そして、音声認識装置２
２では、マイク２１に入力された音声が、所定の単語に
認識されなかった場合、特に処理は行われない。また、
マイク２１に入力された音声が、所定の単語に認識され
た場合、制御装置５に認識信号が出力され、これをトリ
ガとして、メニュー８およびカーソル９がディスプレイ
装置７に表示される。

【００３０】なお、音声認識の対象とする所定の単語
は、その単語を、マイク２１に入力することで、音声認
識装置２２に、あらかじめ登録しておくようにすること
ができる。

【００３１】また、上述の場合、マイク２１に入力され
た音声が、所定の単語であるかどうかを認識するように
したが、その他、例えば、その音声が、所定の波形を有
するかどうかや、所定のピッチ周波数を有するかどうか
を認識するようにしても良い。この場合、ユーザは、例
えば口笛を吹くことなどによって、制御装置５にトリガ
をかけることができる。但し、口笛は、例えば子供が遊
びながら吹く場合などがあるので、口笛を、トリガをか
けるのに用いる場合には、口笛が所定の時間だけ連続し
て認識されたときのみ、トリガがかけられるようにする
のが好ましい。

【００３２】次に、図３は、ユーザが、手を所定の形状
にした場合に、制御装置５にトリガをかける認識装置１
０の構成例を示している。この場合、認識装置１０は、
撮像装置２３およびニューラルネットワーク２４で構成
される。撮像装置２３は、例えばレンズやＣＣＤなどで
構成され、そこに入射される光としての画像を撮像し、
例えばＮＴＳＣ方式などに準拠した画像信号を出力する
ようになされている。ニューラルネットワーク２４は、
撮像装置２３から出力された画像信号が、所定の形状の
手のものであるかどうかを認識し、所定の形状の手のも
のである場合には、制御装置５にトリガをかけるように
なされている。なお、ニューラルネットワーク２４に
は、所定の手の形状を、あらかじめ学習させておくよう
にする。

【００３３】以上のように構成される認識装置１０で
は、撮像装置２３によって撮影された画像が、ニューラ
ルネットワーク２４に供給され、画像認識される。そし
て、ニューラルネットワーク２４では、撮像装置２３か
らの画像が、所定の形状の手の画像でないと認識された
場合、特に処理は行われない。また、撮像装置２３から
の画像が、所定の形状の手の画像に認識された場合、制
御装置５に認識信号が出力され、これをトリガとして、
メニュー８およびカーソル９がディスプレイ装置７に表
示される。

【００３４】なお、この場合、手を所定の形状にしたと
きだけでなく、そのような形状の物（例えば、孫の手な
ど）を用いても、トリガをかけることができる。

【００３５】また、撮像装置２３としては、図１の撮像
装置３を用いる（撮像装置３と２３とを兼用する）こと
が可能である。

【００３６】さらに、トリガは、手を所定の形状にした
場合だけでなく、その他、例えば脚や身体全体を所定の
形状にした場合などにかけるようにすることも可能であ
る。但し、トリガをかけるのに用いる形状は、ニューラ
ルネットワーク２４に、あらかじめ学習させておく必要
がある。

【００３７】次に、図４は、ユーザが、例えば開くよう
に、両腕を動かすなど、所定の動作をした場合に、制御
装置５にトリガをかける認識装置１０の構成例を示して
いる。この場合、認識装置１０は、撮像装置２５および
動きベクトル検出装置２６で構成される。撮像装置２５
は、例えばレンズやＣＣＤなどで構成され、そこに入射
される光としての画像を撮像し、例えばＮＴＳＣ方式な
どに準拠した画像信号を出力するようになされている。
動きベクトル検出装置２６は、撮像装置２５から出力さ
れた画像信号に基づいて、その画像の動きベクトルを検
出するようになされている。そして、動きベクトル検出
装置２６は、検出した動きベクトルが、２つの物体が、
水平方向に離れていくような動きを表すものである場
合、制御装置５にトリガをかけるようになされている。

【００３８】以上のように構成される認識装置１０で
は、撮像装置２５によって撮影された画像が、動きベク
トル検出装置２６に供給され、動きベクトルが検出され
る。そして、動きベクトル検出装置２６では、撮像装置
２５からの画像の動きベクトルが、２つの物体が水平方
向に離れていくような動きを表すものでない場合、特に
処理は行われない。また、撮像装置２５からの画像の動
きベクトルが、２つの物体が水平方向に離れていくよう
な動きを表すものである場合、即ち、例えばユーザが、
上述したように、両腕を開くように動かした場合、制御
装置５に認識信号が出力され、これをトリガとして、メ
ニュー８およびカーソル９がディスプレイ装置７に表示
される。

【００３９】なお、撮像装置２５または動きベクトル検
出装置２６としては、それぞれ図１の撮像装置３または
動きベクトル検出装置６を用いることが可能である。

【００４０】また、トリガは、２つの物体が水平方向に
離れていくような動きを表す動きベクトルを検出した場
合ではなく、その他、例えば、２つの物体が水平方向に
近づくような動きベクトルを検出した場合や、１つの物
体が垂直方向に上昇するような動きベクトルを検出した
場合などにかけるようにすることができる。この場合、
ユーザは、例えば両腕を近づけたり、右または左腕を挙
げることなどによって、トリガをかけることが可能とな
る。

【００４１】以上の図２乃至図４の実施例では、身体を
使ってトリガをかけるようにしたが、トリガは、その
他、例えば、ユーザが、普段身につけている物などを用
いてかけるようにすることも可能である。図５は、ユー
ザが、普段身につけている物として、例えば指輪を利用
して、制御装置５にトリガをかける場合の認識装置１０
の構成例を示している。この場合、認識装置１０は、フ
ォトダイオード２９およびデコーダ３０で構成され、ま
た、ユーザが身につけている指輪２７には、図示せぬス
イッチを操作すると、所定の変調信号としての、例えば
赤外線を発する発光部２８が取り付けられている。

【００４２】フォトダイオード２９は、発光部２８が発
光する赤外線を受光し、電気信号に変換（光電変換）す
るようになされている。デコーダ３０は、フォトダイオ
ード２９が出力する電気信号が、特定の変調パターンを
有するか否かを判定し、特定の変調パターンを有する場
合、制御装置５にトリガをかけるようになされている。

【００４３】次に、その動作について説明する。ユーザ
は、テレビジョン受像機であるディスプレイ装置７を操
作しようとする場合、発光部２８のスイッチを操作す
る。これにより、発光部２８からは、特定の変調パター
ンを有する赤外線が出射される。この赤外線は、フォト
ダイオード２９で受光され、電気信号に変換されて、デ
コーダ３０に供給される。デコーダ３０では、フォトダ
イオード２９からの電気信号が所定の変調パターンを有
するかどうかが判定され、所定の変調パターンを有しな
い場合、特に処理は行われない。また、フォトダイオー
ド２９からの電気信号が所定の変調パターンを有する場
合、デコーダ３０は、制御装置５に認識信号を出力す
る。制御装置５は、デコーダ３０からの認識信号をトリ
ガとして、ディスプレイ装置７に、メニュー８およびカ
ーソル９を表示させる。

【００４４】次に、図６のフローチャートを参照して、
図１の制御システムの動作について、さらに説明する。
まず、最初にステップＳ１において、認識装置１０から
の所定の認識信号を受信することができたか否かが、制
御装置５（ＣＰＵ１１）によって判定される。ステップ
Ｓ１において、認識信号を受信することができなかった
と判定された場合、ステップＳ１に戻る。また、ステッ
プＳ１において、認識信号を受信することができたと判
定された場合、即ち、ユーザが、遠隔制御を行おうとし
て、所定のアクションを起こし、これにより、図２乃至
図５で説明したようにして、制御装置５に、トリガがか
けられた場合、ステップＳ２に進み、制御装置５は、デ
ィスプレイ装置７にメニュー８を表示させる。

【００４５】ここで、図７は、メニュー８の第１表示例
を示している。この実施例では、メニュー８は、チャン
ネルを選択（変更）するためのものとされており、選択
エリア３３，ＥＮＴＥＲエリア、および消去エリア３４
を有している。

【００４６】選択エリア３３は、複数の選択肢として、
チャンネルを直接選択するための１，３，４，６，８，
１２，１６、および４２（これらは、チャンネルを表
す）、外部入力端子を選択するためのＶ１，Ｖ２、およ
びＶ３（これらは、外部入力端子を表す）、並びにチャ
ンネルをアップまたはダウンさせるためのＵＰまたはＤ
Ｎを有している。ＥＮＴＥＲ（確定）エリア３３は、選
択エリア３２の右隣に配置されており、選択エリア３２
の選択肢の選択を確定するときに用いられる。消去エリ
ア３４は、ＥＮＴＥＲエリア３３の右隣に配置されてお
り、メニュー８およびカーソル９を消去するときに用い
られる。

【００４７】なお、ディスプレイ装置７の画面の、最も
左上の座標を（０，０）とするとともに、最も右下の座
標を（Ｘ_max，Ｙ_max）とするとき（但し、０＜Ｘ_max，
Ｙ_max）、図７の実施例では、メニュー８は、Ｘ０＜ｘ
＜Ｘ_max，Ｙ１＜ｙ＜Ｙ２の範囲に表示されている。そ
して、選択エリア３２は、Ｘ０＜ｘ＜Ｘ１，Ｙ１＜ｙ＜
Ｙ２の範囲に、ＥＮＴＥＲエリア３３は、Ｘ１＜ｘ＜Ｘ
２，Ｙ１＜ｙ＜Ｙ２の範囲に、消去エリア３４は、Ｘ２
＜ｘ＜Ｘ_max，Ｙ１＜ｙ＜Ｙ２の範囲に、それぞれ配置
されている。

【００４８】以上のようなメニュー８の表示後、ステッ
プＳ３に進み、制御装置５は、ディスプレイ装置７に、
さらに、カーソル９を表示させる。なお、このとき、カ
ーソル９は、ディスプレイ装置７上の所定のデフォルト
の位置に表示される。図７の実施例では、選択エリア３
２の選択肢「４」（４チャンネル）が、デフォルトの位
置とされている（但し、デフォルトの位置は、選択エリ
ア３２の選択肢のいずれかの表示位置に固定するのでは
なく、例えば、ディスプレイ装置７が表示している番組
のチャンネルに対応する選択肢の表示位置にすることな
ども可能である）。さらに、このとき、必要に応じて、
カーソル９の位置を分かりやすくするためのカーソル補
助情報も表示される。図７の実施例では、カーソル補助
情報として、カーソル９が位置している選択肢「４」の
部分が、他の選択肢と異なる色で表示されている。

【００４９】ここで、図７の実施例では、カーソル９
は、十字形状のカーソルとされているが、カーソル９の
形状は、十字形状の他、例えば矢印形状その他にするこ
とが可能である。

【００５０】ステップＳ３では、上述のように、カーソ
ル９が表示される他、撮像装置３による画像の撮像が開
始される。撮像装置３で撮像された最初の画像は、フレ
ームメモリ４に供給されて記憶される。そして、その後
に、撮像装置３で撮像された画像は、制御装置５を介し
て動きベクトル検出装置６に供給され、ステップＳ４に
おいて、その画像内において動いている物体すべてにつ
いての動きベクトルが検出される。

【００５１】ここで、動きベクトル検出装置６では、撮
像装置３が出力する画像と、フレームメモリ４に記憶さ
れた画像との差分を演算し、その結果得られる差分画像
についての動きベクトルを、撮像装置３が出力する画像
の動きベクトルとして検出するようになされている。撮
像装置３は、上述したようにディスプレイ装置７の上に
固定されているから、撮像装置３が出力する画像の背景
が大きく変化することはない。従って、差分画像のデー
タ量は、撮像装置３が出力する画像と比較して、そのデ
ータ量が少なくなるので、少ない演算量で動きベクトル
を求めることが可能となる。

【００５２】また、動きベクトル検出装置６において
は、差分画像を、例えば１６画素×１６画素のマクロブ
ロックなどに分割して動きベクトルを求めるようになさ
れている。

【００５３】動きベクトルの検出後は、ステップＳ５に
進み、その動きベクトルに対応して、ディスプレイ装置
７に表示されたカーソル９が、制御装置５によって移動
（移動制御）される。即ち、動きベクトルを（Ｘ_MV，Ｙ
_MV）、カーソル９がいま位置している座標を、
（Ｘ_old，Ｙ_old）とするとき、カーソル９を新しく表示
する位置の座標（Ｘ_new，Ｙ_new）が、例えば次式にした
がって計算される。

【００５４】（Ｘ_new，Ｙ_new）＝（Ｘ_old，Ｙ_old）＋α（Ｘ_MV，Ｙ_MV）（１）但し、αは、動きベクトルを適切な大きさにするための
所定の定数である。

【００５５】ここで、動きベクトル検出装置６において
は、動きベクトルが複数検出される場合がある。このよ
うな場合は、複数の動きベクトルのうち、例えば、その
大きさが最も大きいものを検出し、その動きベクトル
を、カーソル９の座標を求めるのに用いるようにするこ
とができる。あるいは、複数の動きベクトルを、ほぼ同
一の方向を向いているものどうしでグループ化し、動き
ベクトルの数が最も多いグループに属する動きベクトル
の、例えば平均値などを求め、それを、カーソル９の座
標を求めるのに用いるようにすることなども可能であ
る。

【００５６】座標（Ｘ_new，Ｙ_new）が求められると、ス
テップＳ６において、制御装置５によって、座標（Ｘ
_new，Ｙ_new）で表される位置に、カーソル９が移動され
る。さらに、制御装置５は、カーソル９の座標
（Ｘ_new，Ｙ_new）が、式Ｘ０＜Ｘ_new＜Ｘ１およびＹ１
＜Ｙ_new＜Ｙ２を満たすかどうか、即ち、カーソル９
が、選択エリア３２内に存在するかどうかを判定する。
カーソル９が選択エリア３２内に存在する場合、カーソ
ル９が位置する選択肢が、いままで他の選択肢と異なる
色で表示されていた選択肢に代えて、その異なる色で表
示され、ステップＳ７に進む。

【００５７】ここで、動きベクトル検出装置６では、撮
像装置３から出力される画像の中で、動いている物体に
ついての動きベクトルが検出され、制御装置５では、そ
の動きベクトルに対応してカーソル９が移動されるか
ら、ユーザは、例えば腕などを小さく上方または下方に
動かすことによって、カーソル９を、いまカーソル９が
位置していた選択肢「４」から、それに隣接する選択肢
「３」または「６」に移動させることができる。また、
ユーザは、腕を大きく上方または下方に動かすことによ
って、選択肢「４」から、より離れた位置にある選択肢
に、カーソル９を移動させることができる。

【００５８】あるいは、また、例えば、ユーザは、腕を
大きく下方に動かすことによって、選択肢「４」から下
方に離れた位置にある選択肢「１０」などに、カーソル
９を移動させた後、腕の位置を元に戻し、さらに、腕を
小さく上方に動かすことによって、選択肢「１０」の上
方に隣接する選択肢「８」などに、カーソル９を移動さ
せることができる。但し、腕を大きく下方に動かして、
カーソル９を選択肢「１０」に移動させた後、腕の位置
を元に戻さず、そのまま、腕を小さく上方に動かすこと
によって、カーソル９を、選択肢「８」に移動させるよ
うにすることなども可能である。

【００５９】なお、図７の実施例では、選択エリア３２
は、選択肢が、垂直方向に１次元に配列されて構成され
ており、従って、この場合、ユーザは、カーソル９を垂
直方向に移動させることが多い。カーソル９を垂直方向
に移動させる場合、ユーザは、上述したように腕を垂直
方向に動かせば良いが、腕を、正確に垂直方向に動かす
のは困難であり、通常は、垂直方向から幾分傾いた方向
に、腕を動かすことが多い。そこで、動きベクトルを適
切な大きさにするための所定の定数γと、この定数γよ
り小さい定数βを用意し、カーソル９を、次式で示され
る座標（Ｘ_new，Ｙ_new）に移動させるようにすることが
できる。

【００６０】（Ｘ_new，Ｙ_new）＝（Ｘ_old，Ｙ_old）＋（βＸ_MV，γＹ_MV）（２）

【００６１】この場合、水平方向の動きよりも、垂直方
向の動きを反映した位置に、カーソル９が移動されるの
で、ユーザが、垂直方向から幾分傾いた方向に、腕を動
かしたとしても、カーソル９を、選択エリア３２内を移
動させることができる。

【００６２】一方、カーソル９の座標（Ｘ_new，Ｙ_new）
が、式Ｘ０＜Ｘ_new＜Ｘ１またはＹ１＜Ｙ_new＜Ｙ２のい
ずれか、あるいは両方を満たさない場合、ステップＳ７
に進み、カーソル９が、選択肢の選択を確定するための
条件（以下、適宜、確定条件（またはＥＮＴＥＲ条件）
という）を満たすかどうかが、制御装置５によって判定
される。

【００６３】具体的には、例えば、図７の実施例では、
カーソル９の座標（Ｘ_new，Ｙ_new）が、式Ｘ１＜Ｘ_new
＜Ｘ２およびＹ１＜Ｙ_new＜Ｙ２を満たすかどうか、即
ち、カーソル９が、ＥＮＴＥＲエリア３３内に存在する
かどうかが判定される。ステップＳ７において、カーソ
ル９が、ＥＮＴＥＲエリア３３内に存在しないと判定さ
れた場合、ステップＳ４に戻る。

【００６４】また、ステップＳ７において、カーソル９
が、ＥＮＴＥＲエリア３３内に存在すると判定された場
合、即ち、カーソル９が、選択エリア３２のいずれかの
選択肢の位置から、ＥＮＴＥＲエリア３３に移動された
場合、制御装置５は、その選択肢の選択が確定されたも
のとし、ステップＳ８において、その選択肢に対応した
制御を行う。

【００６５】即ち、選択の確定された選択肢が、例えば
選択肢「８」である場合、制御装置５は、テレビジョン
受像機であるディスプレイ装置７に、８チャンネルの番
組を表示させる。また、選択の確定された選択肢が、例
えば選択肢「Ｖ１」である場合、制御装置５は、ディス
プレイ装置７に、その外部入力端子Ｖ１に供給されてい
る画像を表示させる。さらに、選択の確定された選択肢
が、例えば選択肢「ＵＰ」である場合、制御装置５にお
いて、ディスプレイ装置７の表示チャンネルが１だけイ
ンクリメントされる。

【００６６】その後、ステップＳ９に進み、カーソル９
が、メニュー８およびカーソル９を消去するための条件
（以下、適宜、消去条件という）を満たすかどうかが、
制御装置５によって判定される。

【００６７】具体的には、例えば、図７の実施例では、
カーソル９の座標（Ｘ_new，Ｙ_new）が、式Ｘ２＜Ｘ_new
およびＹ１＜Ｙ_new＜Ｙ２を満たすかどうか、即ち、カ
ーソル９が、消去エリア３４内に存在するかどうかが判
定される。ステップＳ９において、カーソル９が、消去
エリア３４内に存在しないと判定された場合、ステップ
Ｓ４に戻る。

【００６８】また、ステップＳ９において、カーソル９
が、消去エリア３４内に存在すると判定された場合、ス
テップＳ１０に進み、メニュー８およびカーソル９が、
ディスプレイ装置７上から消去され、ステップＳ１に戻
り、再び、トリガがかけられるのを待って、ステップＳ
２以降の処理が行われる。

【００６９】なお、カーソル９は、メニュー８内のみを
移動させることができるようにすることが可能である。
これは、ステップＳ５において求められたカーソル９の
座標（Ｘ_new，Ｙ_new）が、式Ｘ_new＜Ｘ０を満たす場合
はＸ_new＝Ｘ０と、式Ｘ_max＜Ｘ_newを満たす場合はＸ_new
＝Ｘ_maxと、式Ｙ_new＜Ｙ１を満たす場合はＹ_new＝Ｙ１
と、式Ｙ２＜Ｙ_newを満たす場合はＹ_new＝Ｙ２とするよ
うにすれば良い。

【００７０】次に、図８は、メニュー８の第２表示例を
示している。図７の実施例では、ＥＮＴＥＲエリア３３
にカーソル９が移動されたときに、その直前にカーソル
９が位置していた選択肢の選択が確定されるようになさ
れていたが、図８の実施例では、カーソル９が位置して
いる選択肢の選択が、即座に確定されるようになされて
いる。

【００７１】即ち、この場合、トリガがかけられると、
メニュー８が表示される。図８の実施例では、メニュー
８は、図７で説明したＥＮＴＥＲエリア３３でもある選
択エリア３２および消去エリア３４で構成されている。
メニュー８は、図７における場合と同様に、Ｘ０＜ｘ＜
Ｘ_max，Ｙ１＜ｙ＜Ｙ２の範囲に表示されている。そし
て、選択エリア３２は、Ｘ０＜ｘ＜Ｘ１，Ｙ１＜ｙ＜Ｙ
２の範囲に、消去エリア３４は、Ｘ１＜ｘ＜Ｘ_max，Ｙ
１＜ｙ＜Ｙ２の範囲に、それぞれ配置されている。

【００７２】以上のようなメニュー８の表示後、カーソ
ル９が、メニュー８に近接する、例えば図中点線で示す
位置に表示される。ここで、図８の実施例において、カ
ーソル９を最初に表示させる位置を、選択エリア３２の
選択肢のうちのいずれかとしないのは、そのようにする
と、カーソル９が表示されるのと同時に、その表示位置
にある選択肢の選択が、ユーザの意志とは無関係に、即
座に確定されてしまうからである。

【００７３】カーソル９が表示された後は、ユーザは、
上述したようにしてカーソル９を移動する。そして、カ
ーソル９の座標（Ｘ_new，Ｙ_new）が、式Ｘ０＜Ｘ_new＜
Ｘ１およびＹ１＜Ｙ_new＜Ｙ２を満たす場合、つまり、
カーソル９が選択エリア３２内に存在する場合、カーソ
ル９が位置する選択肢の表示色が変更され、さらに、そ
の選択が確定される。これにより、その選択肢に対応し
た処理が、制御装置５によって行われる。即ち、図８の
実施例では、選択エリア３２は、ＥＮＴＥＲエリア３３
も兼ねており、従って、カーソル９が、いずれかの選択
肢の位置に移動されると、その選択肢の選択が即座に確
定され、上述したようなチャンネルの変更などが行われ
る。

【００７４】また、カーソル９の座標（Ｘ_new，Ｙ_new）
が、式Ｘ１＜Ｘ_new＜Ｘ_maxおよびＹ１＜Ｙ_new＜Ｙ２を
満たす場合、つまり、カーソル９が、消去エリア３４に
移動された場合、メニュー８およびカーソル９が消去さ
れる。

【００７５】なお、カーソル９が、メニュー８からあま
り離れた位置に移動しないように、カーソル９の座標
（Ｘ_new，Ｙ_new）が、式Ｘ_new＜ＸＬ（但し、ＸＬは、
Ｘ０より幾分小さな値とする）を満たす場合はＸ_new＝
ＸＬと、式Ｘ_max＜Ｘ_newを満たす場合はＸ_new＝Ｘ
_maxと、式Ｙ_new＜Ｙ１を満たす場合はＹ_new＝Ｙ１と、
式Ｙ２＜Ｙ_newを満たす場合はＹ_new＝Ｙ２とするように
するのが望ましい。

【００７６】また、この場合、チャンネルをアップまた
はダウンさせるための選択肢「ＵＰ」または「ＤＮ」に
ついては、選択肢「ＵＰ」または「ＤＮ」の位置に、カ
ーソル９が移動されたときに、表示チャンネルを１だけ
アップまたはダウンさせ、その後、カーソル９が、選択
肢「ＵＰ」または「ＤＮ」の位置から、所定の時間が経
過しても移動されなかったときには、表示チャンネルを
連続してアップまたはダウンさせるようにすることが可
能である。

【００７７】次に、図９は、メニュー８の第３表示例を
示している。この実施例においては、メニュー８は、選
択エリア３２と、ＥＮＴＥＲエリア３３を兼ねる消去エ
リア３４とで構成され、選択エリア３２は、選択肢が円
形に配置されて構成されている。さらに、この実施例で
は、選択エリア３２は、図７（図８）に示したものか
ら、選択肢「Ｖ３」、「ＵＰ」、および「ＤＮ」を除い
た選択肢で構成されている。

【００７８】この場合、メニュー８は、ＸＬ＜ｘ＜Ｘ
_max，ＹＬ＜ｙ＜Ｙ_maxの範囲に表示されている。そし
て、例えば、Ｘ_C＝（ＸＬ＋Ｘ_max）／２，Ｙ_C＝（ＹＬ
＋Ｙ_max）／２とするとき、選択エリア３２は、点
（Ｘ_C，Ｙ_C）を中心とする半径Ｒ１の円の外側であっ
て、同じく点（Ｘ_C，Ｙ_C）を中心とする半径Ｒ２の円の
内側に配置されている（但し、Ｒ１＜Ｒ２）。また、Ｘ
Ｌ＜ｘ＜Ｘ_max，ＹＬ＜ｙ＜Ｙ_maxの範囲内であって、点
（Ｘ_C，Ｙ_C）を中心とする半径Ｒ２の円の外側が、ＥＮ
ＴＥＲエリア３３を兼ねる消去エリア３４とされてい
る。

【００７９】以上のようなメニュー８が表示された場
合、カーソル９は、例えば点（Ｘ_C，Ｙ_C）に表示され
る。その後、ユーザは、上述したようにしてカーソル９
を移動する。そして、カーソル９の座標（Ｘ_new，
Ｙ_new）が、式Ｒ１²＜（Ｘ_new−Ｘ_C）²＋（Ｙ_new−
Ｙ_C）²＜Ｒ２²を満たす場合、つまりカーソル９が選択
エリア３２内に存在する場合、カーソル９が位置する選
択肢の表示色が変更される。

【００８０】また、カーソル９の座標（Ｘ_new，Ｙ_new）
が、式Ｒ２²＜（Ｘ_new−Ｘ_C）²＋（Ｙ_new−Ｙ_C）²を満
たす場合、つまり、カーソル９が、消去エリア３４に移
動された場合、その直前にカーソル９が位置していた選
択肢の選択が確定され、その選択肢に対応した処理が、
制御装置５によって行われるとともに、メニュー８およ
びカーソル９が消去される。

【００８１】なお、カーソル９が、メニュー８からあま
り離れた位置に移動しないように、カーソル９の座標
（Ｘ_new，Ｙ_new）が、式Ｘ_new＜ＸＬを満たす場合はＸ
_new＝ＸＬと、式Ｘ_max＜Ｘ_newを満たす場合はＸ_new＝Ｘ
_maxと、式ＹＬ＜Ｙ_newを満たす場合はＹ_new＝ＹＬと、
式Ｙ^max＜Ｙ_newを満たす場合はＹ_new＝Ｙ^maxとするよう
にするのが望ましい。

【００８２】次に、図１０は、メニュー８の第４表示例
を示している。この実施例は、消去エリア３４ではな
く、選択エリア３２が、ＥＮＴＥＲエリア３３を兼ねて
いる他は、図９の実施例と同様に構成されている。従っ
て、このメニュー８によれば、カーソル９が位置してい
る選択肢の選択が、即座に確定され、その選択肢に対応
して、表示チャンネルの変更が行われる。

【００８３】以上のように、図１の制御システムによれ
ば、ユーザは、リモコンによらず、テレビジョン受像機
であるディスプレイ装置７を遠隔制御することができ
る。従って、従来、リモコンを使用する場合に必要であ
ったリモコン用の電池が不要となる。さらに、複数のユ
ーザが遠隔制御を行う場合に必要となるリモコンの受け
渡しも不要となる。

【００８４】さらに、この制御システムによれば、撮像
装置３が撮像した画像内に、動いている物体（例えば指
を広げた手や、明るく光る指輪、身体全体、ユーザが所
持している物など、どのような物体であっても良い）が
あれば、その物体の動きに対応してカーソル９が移動さ
れるので、例えば手の不自由なユーザであっても、脚や
頭などを動かすことによって、ディスプレイ装置７の遠
隔制御を行うことができる。

【００８５】また、認識装置１０では、あるパターンの
認識だけを行えば良いので（上述したように、特定の単
語や、特定の形状の認識のみを行えば良いので）、認識
装置１０は簡素に構成することができる。

【００８６】さらに、図１の制御システムでは、カーソ
ル９の移動を、特定の物体の動きに対応して行うのでは
なく、任意の動いている物体に対応して行うようにした
ので、動いている物体が、何であるか分からなくても、
遠隔制御を行うことができる。

【００８７】以上、本発明を、テレビジョン受像機であ
るディスプレイ装置７を遠隔制御する制御システムに適
用した場合について説明したが、本発明は、テレビジョ
ン受像機の他、あらゆる電子機器を遠隔制御する場合に
適用可能である。

【００８８】なお、本実施例においては、例えば蛍光灯
などでなる照明装置１で照明された物体を撮像装置３で
撮像するようにしたが、この他、例えば赤外線を照射す
る赤外線照明装置で照明された物体を、赤外線を通過さ
せるバンドパスフィルタを介して、赤外線を感知する素
子などでなる撮像装置（例えば、サーモグラフなど）で
撮像し、その出力を用いて、電子機器の遠隔制御を行う
ようにすることも可能である。

【００８９】また、本実施例では、トリガがかけられた
場合に、チャンネルを変更するためのメニュー８を表示
するようにしたが、その他、例えば、ボリュームを調整
するためのメニューや、装置の初期設定などを行うため
のメニューなどを表示するようにすることも可能であ
る。このように複数のメニューを用意する場合は、トリ
ガがかけられたときに、複数のメニューのうちのいずれ
かを選択するためのメインメニューを表示するようにす
れば良い。

【００９０】さらに、本実施例では、メニュー８および
カーソル９を表示した後、カーソル９を移動することで
選択肢を選択することによって遠隔制御を行うようにし
たが、メニュー８およびカーソル９を表示せずに遠隔制
御を行うようにすることも可能である。即ち、例えば、
テレビジョン受像機を遠隔制御の対象とする場合、水平
方向または垂直方向の動きベクトルが検出されたとき
に、その動きベクトルに対応して、チャンネルの変更ま
たはボリュームの調整（ボリュームの調整またはチャン
ネルの変更）をそれぞれ行うようにすることができる。
この場合、ユーザは、例えば腕などを左右または上下に
動かすことで、チャンネルの変更またはボリュームの調
整をそれぞれ行うことができる。

【００９１】また、本実施例においては、メニュー８
を、ディスプレイ装置７の画面の一部に表示するように
したが、メニュー８は、この他、例えばディスプレイ装
置７の画面全体に表示するようにすることも可能であ
る。

【００９２】

【発明の効果】請求項１に記載の制御装置および請求項
７に記載の制御方法によれば、画像が撮像され、その画
像における動きを検出される。そして、その動きに対応
して、電子機器が制御される。従って、電子機器を、リ
モートコマンダなしで、遠隔制御することが可能とな
る。

【図面の簡単な説明】

【図１】本発明を適用した、テレビジョン受像機である
ディスプレイ装置７を遠隔制御する制御システムの一実
施例の構成を示すブロック図である。

【図２】図１の認識装置１０の構成例を示す図である。

【図３】図１の認識装置１０の構成例を示す図である。

【図４】図１の認識装置１０の構成例を示す図である。

【図５】図１の認識装置１０の構成例を示す図である。

【図６】図１の実施例の動作を説明するためのフローチ
ャートである。

【図７】メニュー８の表示例を示す図である。

【図８】メニュー８の表示例を示す図である。

【図９】メニュー８の表示例を示す図である。

【図１０】メニュー８の表示例を示す図である。

【符号の説明】

３撮像装置４フレームメモリ５制御装置６動きベクトル検出装置７ディスプレイ装置８メニュー９カーソル１０認識装置３２選択エリア３３ＥＮＴＥＲ（確定）エリア３４消去エリア

Claims

【特許請求の範囲】

【請求項１】電子機器を制御する制御装置であって、画像を撮像する撮像手段と、前記撮像手段により撮像された前記画像における動きを
検出する動き検出手段と、前記動き検出手段により検出された前記画像における動
きに対応して、前記電子機器を制御する制御手段とを備
えることを特徴とする制御装置。
【請求項２】所定のメニューおよびカーソルを表示す
る表示手段と、前記画像における動きに対応して、前記カーソルを移動
させるカーソル移動制御手段とをさらに備え、前記メニューは、複数の選択肢でなる選択エリアを有
し、前記制御手段は、前記カーソルが位置している前記選択
肢に対応した制御を行うことを特徴とする請求項１に記
載の制御装置。
【請求項３】前記表示手段は、所定の入力があったと
きに、前記所定のメニューおよびカーソルを表示するこ
とを特徴とする請求項２に記載の制御装置。
【請求項４】前記メニューは、前記選択エリアの他、
所定の確定エリアをさらに有し、前記制御手段は、前記カーソルが前記選択肢から、前記
確定エリアに移動したとき、その選択肢の選択が確定さ
れたものとし、その選択肢に対応した制御を行うことを
特徴とする請求項２に記載の制御装置。
【請求項５】前記動き検出手段は、前記画像内におい
て動いている物体すべてについての動きベクトルを検出
し、前記カーソル移動制御手段は、前記動きベクトルのう
ち、大きさの最も大きいものに対応して、前記カーソル
を移動させることを特徴とする請求項２に記載の制御装
置。
【請求項６】前記撮像手段により撮像された前記画像
を記憶する記憶手段をさらに備え、前記動き検出手段は、前記記憶手段に画像が記憶された
後、前記撮像手段より出力される画像と、前記記憶手段
に記憶された画像との差分を演算し、その結果得られる
差分画像についての動きベクトルを、前記撮像手段より
出力される画像の動きベクトルとして検出することを特
徴とする請求項５に記載の制御装置。
【請求項７】電子機器を制御する制御方法であって、画像を撮像し、その画像における動きを検出し、その動きに対応して、前記電子機器を制御することを特
徴とする制御方法。