JP5224449B2 - 機器制御方法 - Google Patents

Description

この発明は、機器制御方法に係る発明であり、特に、撮像部および制御部を有し遠隔操作可能な機器を、回転動作ジェスチャーにより制御する機器制御方法に関するものである。

家電機器を制御するリモコンとしては、赤外線リモコンが一般的である。近年、赤外線リモコンによる家電機器の制御でなく、撮像素子と画像認識機能とにより家電機器の制御を行う方法が研究されている（たとえば、非特許文献１）。当該非特許文献１では、人のジェスチャーを認識させることで、家電機器の制御を行う。

また、人のジェスチャーの認識率の問題、コスト面等の問題を考慮して、赤外線リモコンおよび人のジェスチャーの両方による制御が可能（便宜上、当該技術を両制御可能技術と称する）な、家電機器も開発されている。前記両制御可能技術の場合には、たとえば、最も操作の多い機能（テレビのチャンネル切り替えなど）のみをジェスチャー制御に対応させ、その他の制御は赤外線リモコンにより行う。

また、上記両制御可能技術においては、赤外線リモコンの赤外光信号を撮像素子で受光する技術を要する。当該技術としては、たとえば、特許文献１ないし特許文献６が存在する。

また、当該両制御可能技術の普及を促進させるためには、システムコストの削減が必須事項である。当該システムコストの削減を図るためには、ジェスチャー検出アルゴリズムをシンプルにすることが望ましい。周期性を有するジェスチャーのシンプルな検出方法に関する技術として、たとえば特許文献７が存在する。

特許文献７に係る技術では、低解像度画像の各画素の濃淡値を取得する。そして、各画素の濃淡値の時系列変化から特徴量を取得する。そして、取得した特徴量と検出対象の特徴量とを比較して検出対象の有無を判別する。特徴量の取得は、好ましくはフーリエ変換によって行う。判別手段としては、線形判別分析あるいはマハラノビス距離が用いられる。

http://techon.nikkeibp.co.jp/article/NEWS/20071002/140058/ 特開平５−３４４４０１号公報 特開平６−２２１９４号公報 特開２００４−２２２２４２号公報 特開２００６−２３８１９３号公報 特開２００６−２７９８２３号公報 特開２００６−３０３８６７号公報 特開２００３−２４８８２９号公報

上記特許文献７に係る技術の場合には、検出される情報は２値（周期的な動きをする検出対象の有無）のみである。したがって、当該検出対象の有無のみに応じて機器を制御させる場合には、ジェスチャーによる機器の制御が極限られたものになる。

そこで、本発明は、ジェスチャーにより機器に対して多くの制御を行うことができる、機器制御方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る請求項１に記載の機器制御方法は、撮像部および制御部を有し遠隔操作可能な機器を、回転動作であるジェスチャーにより制御する機器制御方法であって、（Ａ）前記制御部が、前記撮像部で撮像されるデジタル画像において、当該デジタル画像を構成する画素での輝度の変化を検出することにより、前記撮像部により撮像された前記ジェスチャーの周期的な動きの有無を検出するステップと、（Ｂ）前記周期的な動きの方向を、前記制御部が検出するステップと、（Ｃ）前記ステップ（Ａ）の検出結果および前記ステップ（Ｂ）の検出結果により特定される所定の制御を、前記制御部が前記機器に対して実施するステップとを備え、前記ステップ（Ａ）においては、所定の前記画素における前記輝度の変化が予め設定されている輝度変化閾値を超える画素輝度変化が４回以上あり、かつ前記画素輝度変化を検出するペースが略同じであるときに、前記制御部は、前記ジェスチャーの周期的な動きがあると判断する。

また、請求項２に記載の機器制御方法は、請求項１に記載の機器制御方法であって、（Ｄ）前記画素輝度変化を検出する時間間隔が所定の時間を越えたとき、前記制御部が、前記ステップ（Ａ）における前記画素輝度変化の回数をリセットするステップを、さらに備えている。

また、請求項３に記載の機器制御方法は、請求項１に記載の機器制御方法であって、（Ｅ）前記画素輝度変化を検出するペースが略同じでないときに、前記制御部は、前記ステップ（Ａ）における前記画素輝度変化の回数をリセットするステップを、さらに備えている。

また、請求項４に記載の機器制御方法は、請求項１に記載の機器制御方法であって、前記ステップ（Ｂ）は、（Ｂ−１）前記デジタル画像において前記画素輝度変化があると判断された前記画素が複数であるとき、前記制御部が、前記デジタル画像における当該複数の画素の内、一塊となっている画素によって構成される画素群を検出するステップを、備えている。

また、請求項５に記載の機器制御方法は、請求項４に記載の機器制御方法であって、前記ステップ（Ｂ）は、（Ｂ−２）前記制御部が、前記画素群を含む領域を規定するステップと、（Ｂ−３）前記制御部が、前記領域の重心を、前記画素群の代表点として規定するステップとを、さらに備えている。

また、請求項６に記載の機器制御方法は、請求項５に記載の機器制御方法であって、前記ステップ（Ｂ）においては、複数の前記デジタル画像に渡って、前記代表点が時系列的に回転変動しているときに、前記制御部は、前記回転変動の方向を検知することにより、前記ジェスチャーの前記周期的な動きの方向を検出する。

また、請求項７に記載の機器制御方法は、請求項６に記載の機器制御方法であって、前記ステップ（Ｂ）は、（Ｂ−４）前記代表点の前記回転変動が第一の方向成分を有するときの、前記デジタル画像における前記代表点の位置を第一の座標として、前記制御部が検出ステップと、（Ｂ−５）前記代表点の前記回転変動が前記第一の方向成分と反対である第二の方向成分を有するときの、前記デジタル画像における前記代表点の位置を第二の座標として、前記制御部が検出ステップと、（Ｂ−６）前記第一の座標と前記第二の座標とを用いた所定の比較処理することにより、前記制御部が、前記周期的な動きの方向を検出するステップとを、さらに備えている。

また、請求項８に記載の機器制御方法は、請求項７に記載の機器制御方法であって、前記第一の座標および前記第二の座標を、予め設定された閾値回数を求めたとき、前記ステップ（Ｂ−６）を実施する。

また、請求項９に記載の機器制御方法は、請求項８に記載の機器制御方法であって、前記ステップ（Ｂ−６）においては、前記閾値回数を超える数の前記第一の座標の第一の平均値と、前記閾値回数を超える数の前記第二の座標の第二の平均値との、大小関係を比較することにより、前記周期的な動きの方向を検出する。

また、請求項１０に記載の機器制御方法は、請求項９に記載の機器制御方法であって、（Ｆ）前記第一の平均値と前記第二の平均値とが等しいときには、前記制御部は、前記ステップ（Ｃ）を実施しないステップを、さらに備えている。

また、請求項１１に記載の機器制御方法は、請求項９に記載の機器制御方法であって、（Ｂ−７）前記代表点の前記回転変動の環状形状を、前記制御部が検出するステップを、さらに備えており、前記ステップ（Ｃ）においては、前記ステップ（Ａ）の検出結果、前記ステップ（Ｂ）の検出結果、および前記ステップ（Ｂ−７）の検出結果により特定される所定の制御を、前記制御部が前記機器に対して実施する。

また、請求項１２に記載の機器制御方法は、請求項１１に記載の機器制御方法であって、前記ステップ（Ｂ−７）においては、所定数の前記代表点の座標を用いて、前記環状形状が楕円である場合の、長軸および短軸の方向を検出する。

請求項１に係る発明によれば、周期的ジェスチャーの有無だけでなく、当該周期的な動き方向にも基づいた制御が可能になる。これにより、回転動作ジェスチャーにより機器に対して、より多くの制御を実施できる。つまり、回転動作ジェスチャーによる制御のバリエーションを増加させることができる。

また、請求項２に係る発明よれば、画素輝度変化を検出する時間間隔があまりにも長いときに、当該画素輝度変化が回転動作ジェスチャーによるものでないと判断できる。

また、請求項３に係る発明よれば、画素輝度変化を検出するペースがあまりにも不規則なときに、当該画素輝度変化が回転動作ジェスチャーによるものでないと判断できる。

また、請求項４に係る発明よれば、デジタル画像における、一塊となっている画素によって構成される画素群の軌跡を追うことにより、簡単にジェスチャーの周期的な動きの方向が検出できる。

また、請求項５に係る発明によれば、デジタル画像における画素群の軌跡を追う場合と比較して、代表点の軌跡を追う場合の方が、より処理能力を低減できる。

また、請求項６に係る発明によれば、デジタル画像における当該代表点の軌跡を追うことにより、簡単にかつより軽い処理能力で、ジェスチャーの周期的な動きの方向が検出できる。

また、請求項７に係る発明によれば、必要最小限の代表点の座標情報だけで、回転動作ジェスチャーの周期的な動きの方向を特定することができる。

また、請求項８に係る発明によれば、回転動作ジェスチャーの周期的な動きの方向を、より確実に特定することができる。

また、請求項９に係る発明によれば、より精度良く、回転動作ジェスチャーの周期的な動きの方向を特定することができる。

また、請求項１０に係る発明によれば、たとえば、一直線上を往復するジェスチャーによる、機器の制御を防止できる。

また、請求項１１に係る発明によれば、周期的動きの有無、周期的な動きの方向、および周期的な動きの形状に基づいた制御が可能となる。つまり、回転動作ジェスチャーによる機器制御のバリエーションを、さらに増加させることができる。

また、請求項１２に係る発明によれば、代表点の座標情報のみで、簡単に、回転動作ジェスチャーの周期的な動きの形状をも特定することができる。

以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。

＜実施の形態＞
図１に、本実施の形態に係る遠隔制御が可能な機器の一例である、表示装置１００を示す。

表示装置１００は、赤外線リモコン１０の制御による遠隔制御、および人のジェスチャーによる遠隔制御が可能である。表示装置１００は、外部信号入力モジュール２０および表示部３０を備えている。

赤外線リモコン１０は、たとえば既存の赤外線リモコンと同様に、当該リモコン１０からの制御信号を、４０ＫＨｚのキャリア周波数に変調して送信する。外部信号入力モジュール２０は、赤外線リモコン１０からの信号を受信する部分であると共に、ジェスチャーを撮像する部分でもある。表示部３０には、所定のチャンネルに応じた放送番組等の画像を表示することができる。

外部信号入力モジュール２０は、図２に示すように、埋め込みフォトダイオード等の光電変換素子２０ａおよび、複数のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー（撮像部と把握できる）２０ｂを、少なくとも備えている。なお、図２は、表示装置１００の要部構成（本発明に起因する最小限構成）を図示したブロック図である。

光電変換素子２０ａは、リモコン１０からの赤外線信号を受信し、当該赤外線信号を電気信号に変換する。撮像部２０ｂは、外部環境を撮像（より具体的に、人のジェスチャーを検出）することができる。撮像部２０ｂは、マトリクス状に配列された複数の固体撮像セル（ＣＭＯＳ素子）により構成されている。

撮像部２０ｂで撮像されたデジタル画像は、図２に示すように、表示装置１００内に配設された制御部３５へと送信される。制御部３５は、デジタル画像から輝度情報を抽出する処理、回転動作ジェスチャーを検出する処理、前記検出結果により特定される所定の制御を表示装置１００に対して実施する処理等を行う。以下、当該制御部３５で実施される動作（つまり、本実施の形態に係る機器制御方法）について、具体的に説明する。

制御部３５は、まず、撮像部２０ｂにより撮像された回転動作ジェスチャーの周期的な動きを検出する。図３には、撮像部２０ｂで撮像されたデジタル画像Ｄにおいて、被写体（ユーザの手）Ｔ１が回転動作ジェスチャーしている様子を示す。

＜回転動作ジェスチャーの周期的な動きの検出動作＞
図４のフローチャートを用いて、制御部３５における回転動作ジェスチャーの周期的な動きを検出する動作について説明する。

制御部３５は、後述する、画素輝度変化の回数、画素輝度変化発生時刻情報およびペースタイム等を初期化する（ゼロにする）処理を行う（ステップＳ１）。撮像部２０ｂで撮像されたデジタル画像が制御部３５に入力される。すると、制御部３５は、当該デジタル画像から輝度情報を取得する。なお、表示装置１００は、記録部（図示せず）を有しており、当該記録部では時系列的に撮像された複数のデジタル画像の輝度情報を、一時的に格納できる。

制御部３５は、受信した一のデジタル画像から評価対象の画素（評価対象画素と称する）を一つ選択する（ステップＳ２）。そして、制御部３５は、当該評価対象画素に対して下記に示す一連の評価を開始する。一連の処理とは、下記より明らかになるが、評価対象画素での輝度の変化を検出することにより、当該評価対象画素での回転動作ジェスチャーの周期的な動きの有無を検出する処理である。

制御部３５は、当該評価対象画素の輝度値と、のデジタル画像の評価対象画素と同じ位置に存する画素の輝度値とを、比較する（ステップＳ３）。つまり、制御部３５は、評価対象画素において、前回撮像されたデジタル画像と今回撮像されたデジタル画像との間における輝度の変化量を測定する（ステップＳ３）。ここで、今回撮像されたデジタル画像とは、前回撮像されたデジタル画像が撮像された後（たとえば、数ｍｓ）に、撮像されたデジタル画像である。

次に、制御部３５は、評価対象画素における輝度の変化量が、輝度変化閾値を超えるか否かを判断する（ステップＳ４）。ここで、当該輝度の変化量は、ステップＳ３の測定結果である。また、輝度変化閾値は、予め制御部３５等に設定されており、ユーザはその値を任意に変更できる。

評価対象画素における輝度の変化量が、輝度変化閾値を超えたとする（画素輝度変化があるとする）。この場合（ステップＳ４で「ＹＥＳ」）、ステップＳ５へと移行し、以後のステップＳ５、Ｓ１１〜Ｓ１６次第では、制御部３５は、当該評価対象画素においてジェスチャーの周期的な動きを検出したと判断する。

これに対して、評価対象画素における輝度の変化量が、輝度変化閾値以下であるとする（つまり、上記画素輝度変化がないとする）。この場合（ステップＳ４で「ＮＯ」）、制御部３５は、前回の画素輝度変化から現段階までの期間が、予め設定されている制限時間を経過したか否かを判断する（ステップＳ６）。

前回の画素輝度変化から現段階までの期間が、制限時間以内であるとする（ステップＳ６で「ＮＯ」）。この場合には、ステップＳ１０へと移行する。

これに対して、前回の画素輝度変化から現段階までの期間が、制限時間を超えているとする（ステップＳ６で「ＹＥＳ」）。この場合には、制御部３５は、後述するカウントしていた画素輝度変化の回数をリセットする（ステップＳ７）。そして、ステップＳ１０へと移行する。

話をステップＳ５に戻す。ステップＳ５において、制御部３５は、ステップＳ４で検出した評価対象画素における画素輝度変化が、２回目以下か否かを判断する。通常、デジタル画像において面積を有する被写体の移動により、ジェスチャーは検出される。したがって、１回目の画素輝度変化があるときとは、当該被写体が評価対象画素を横切り始めるときであり、２回目の画素輝度変化があるときとは、当該被写体が評価対象画素を横切り終わるときである。したがって、当該面積を有する被写体の回転動作ジェスチャーを検出するために、少なくとも３回以上の画素輝度変化が必要である。これを担保するために、ステップＳ５の処理を制御部３５は実施している。

画素輝度変化が２回以下（画素輝度変化＝１回目ｏｒ２回目）であったとする（ステップＳ５で「ＹＥＳ」）。この場合には、制御部３５は、画素輝度変化の回数を「１」増加させる（ステップＳ８）。そして、制御部３５は、当該画素輝度変化があった時刻を、画素輝度変化発生時刻情報として記録部に記録する（ステップＳ９）。その後、ステップＳ１０へと移行する。

これに対して、画素輝度変化が３回以上（画素輝度変化≧３回目）であったとする（ステップＳ５で「ＮＯ」）。この場合には、ステップＳ１１へと移行し、以後のステップＳ１１〜Ｓ１６次第では、制御部３５は、当該評価対象画素においてジェスチャーの周期的な動きを検出したと判断する。まず、制御部３５は、画素輝度変化の回数が３回目か否かを判断する（ステップＳ１１）。

画素輝度変化の回数が３回目であったとする（ステップＳ１１で「ＹＥＳ」）。この場合には、たとえば、１回目の画素輝度変化発生と３回目の画素輝度変化発生との間における時間間隔が、所定の時間以内であるか否かを制御部３５は判断する（ステップＳ１２）。ここで、当該判断は、記録部に格納されている画素輝度変化発生時刻情報を用いて実施される。また、当該所定の時間は、制御部３５等に予め設定されており、ユーザはその値を任意に変更できる。

上記画素輝度変化を検出する時間間隔が、所定の時間以内であったとする（ステップＳ１２で「ＹＥＳ」）。この場合には、制御部３５は、上記時間間隔を、ペースタイムとして設定する（ステップＳ１３）。その後、ステップＳ８、Ｓ９、Ｓ１０へと当該順に移行する。

上記画素輝度変化を検出する時間間隔が、所定の時間を超えたとする（ステップＳ１２で「ＮＯ」）。この場合には、制御部３５は、カウントしていた画素輝度変化の回数をリセットする（ステップＳ１４）。当該場合には、画素輝度変化を検出する時間間隔があまりにも長いので、当該画素輝度変化が回転動作ジェスチャーによるものでないと判断したのである。その後、ステップＳ９、Ｓ１０へと当該順に移行する。

さて、ステップＳ１１に話を戻す。画素輝度変化の回数が４回目以上であったとする（ステップＳ１１で「ＮＯ」）。この場合には、制御部３５は、画素輝度変化を検出するペースが略同じであるか否かを判断する（ステップＳ１５）。

たとえば、２回目の画素輝度変化発生と４回目の画素輝度変化発生との間における時間間隔が、ステップＳ１３で設定したペースタイムと略同一か否か判断する。また、たとえば、３回目の画素輝度変化発生と５回目の画素輝度変化発生との間における時間間隔が、ステップＳ１３で設定したペースタイムと略同一か否か判断する。つまり、Ｎ＋２回目の画素輝度変化発生とＮ＋４回目の画素輝度変化発生との間における時間間隔が、ステップＳ１３で設定したペースタイムと略同一か否か判断する。ここで、Ｎはゼロを含む正数である。

なお、ジェスチャーは主に人の手によるものを想定している。したがって、人為的な動作により、画素輝度変化を検出するペースが正確に同一なることは想定し難い。そこで、画素輝度変化を検出するペースが「略同じ」としている。当該ペース略同じの範囲は、実験等により設定される。

画素輝度変化を検出するペースが略同じでないとする（ステップＳ１５で「ＮＯ」）。この場合には、制御部３５は、カウントしていた画素輝度変化の回数をリセットする（ステップＳ１４）。当該場合には、画素輝度変化を検出するペースがあまりにも不規則なので、当該画素輝度変化が回転動作ジェスチャーによるものでないと判断したのである。その後、ステップＳ９、Ｓ１０へと当該順に移行する。

画素輝度変化を検出するペースが略同じであるとする（ステップＳ１５で「ＹＥＳ」）。この場合には、ステップＳ１６へと移行し、以後のステップＳ１６次第では、制御部３５は、当該評価対象画素においてジェスチャーの周期的な動きを検出したと判断する。制御部３５は、画素輝度変化の回数が所定回数を超えたか否かを判断する（ステップＳ１６）。

画素輝度変化の回数が所定回数以下であるとする（ステップＳ１６で「ＮＯ」）。この場合には、ステップＳ８，Ｓ９，Ｓ１０へと当該順に移行する。

これに対して、画素輝度変化の回数が所定回数を超えたとする（ステップＳ１６で「ＹＥＳ」）。この場合には、制御部３５は、当該評価対象画素に対して検出フラグを立てる（ステップＳ１７）。ここで、当該検出フラグ、当該評価対象画素において、回転動作ジェスチャーの周期的な動きがあると判断したことを意味する。そして、制御部３５は、当該検出フラグが立てられた評価対象画素のデジタル画像における座標情報を、記録部等に格納する（ステップＳ１８）。その後、ステップＳ９，Ｓ１０へと当該順に移行する。

さて、ステップＳ１０では、制御部３５は、デジタル画像を構成する全ての画素を評価対象画素として選択したか否かを判断する。

デジタル画像において評価対象画素として選択されていない画素があるとする（ステップＳ１０で「ＮＯ」）。つまり、未だ、回転動作ジェスチャーの周期的な動きの有無を評価・判断していない画素があるとする。この場合には、ステップＳ２において、制御部３５は、未選択の画素を評価対象画素として新たに設定（選択）する。

これに対して、デジタル画像において全ての画素が評価対象画素として選択されたとする（ステップＳ１０で「ＹＥＳ」）。つまり、デジタル画像を構成する全ての画素において、回転動作ジェスチャーの周期的な動きの有無を評価・判断したとする。この場合には、図５のフロー（具体的に、図５のステップＳ５１）へと移行する。つまり、制御部３５は、次に、回転動作ジェスチャーの周期的な動きの方向を検出する。

デジタル画像を構成する全ての画素において、ステップＳ２〜Ｓ１８の処理を実施することにより、当該デジタル画像において、回転動作ジェスチャーの周期的な動きを検出した画素を検出できる。複数のデジタル画像において、回転動作ジェスチャーの周期的な動きを検出した画素の軌跡を追うことにより、当該周期的な運動の方向を検出できる。

＜回転動作ジェスチャーの周期的な動きの方向検出動作＞
図５のフローチャートを用いて、制御部３５における回転動作ジェスチャーの周期的な動きの方向を検出する動作について説明する。

制御部３５は、デジタル画像においてステップＳ１７で立てられた検出フラグがあるか否かを判断する（ステップＳ５１）。

デジタル画像において検出フラグが立っていないとする（ステップＳ５１で「ＮＯ」）。この場合には、以前に検出フラグが立ってから、予め設定された制限時間を越えたか否を判断する（ステップＳ５２）。

以前に検出フラグが立ってから制限時間を超えていないとする（ステップＳ５２で「ＮＯ」）。この場合には、図４のステップＳ２へと移行し、次のデジタル画像において図４のフローを実施する。

これに対して、以前に検出フラグが立ってから制限時間を超えたとする（ステップＳ５２で「ＹＥＳ」）。この場合には、制御部３５は、後述するＡＣＴフラグを解除（「０」）する（ステップＳ５３）。

ここで、ＡＣＴフラグとは、図４のフローで最初に検出フラグが立ったときに、図５のフローで立てられるフラグのことである。当該ＡＣＴフラグが立っている（ＡＣＴ＝１）ということは、図５のフローが活性化されていることを意味する。また、当該ＡＣＴフラグが立っている間は、制御部３５は、ステップＳ５９，Ｓ６４でカウントした回数およびステップＳ５９，Ｓ６４で計算した平均値ＵＧＸｚｖｅ，ＤＧＸａｖｅを保持する。換言すれば、当該ＡＣＴフラグが解除される（ＡＣＴ＝０）と、制御部３５は、上記回数および平均値ＵＧＸｚｖｅ，ＤＧＸａｖｅをクリアーする。したがって、ステップＳ５３では、制御部３５は、上記回数および平均値ＵＧＸｚｖｅ，ＤＧＸａｖｅをクリアーする処理も行う。

ステップＳ５３の処理後、図４のステップＳ２へと移行し、次のデジタル画像において図４のフローを実施する。

話をステップＳ５１に戻す。デジタル画像において検出フラグが立っているとする（ステップＳ５１で「ＹＥＳ」）。この場合には、制御部３５は、後述する代表点を規定する（ステップＳ５４）。当該代表点の規定の具体的な方法は、次の通りである。

一のデジタル画像において図４のフローを実施した結果、当該一のデジタル画像を構成する複数の画素において、検出フラグが立った（画素輝度変化があると判断された）と仮定する（ステップＳ１７）。なお、ジェスチャーを行う被写体は、ユーザの手などであり、平面視において面積を有する。したがって、上記仮定は当然の事項である。

図６は、当該一のデジタル画像Ｄにおいて、複数の画素で検出フラグが立っている様子の一例を示す図である。図６において、白抜きの丸印（以下、単に白丸と称する）が、検出フラグが立っている画素である。制御部３５では、検出フラグが立てられた画素のデジタル画像Ｄにおける位置は、ステップＳ１８で取得・格納された座標情報から把握できる。

次に、制御部３５では、図６に示すデジタル画像Ｄにおける当該複数の画素（検出フラグが立っている画素、つまり画素輝度変化ありと判断された白丸の画素）の内、一塊となっている画素によって構成される画素群を検出する。図６に示した例の場合では、制御部３５は、たとえば図７に示す画素群検出する。図７において、矩形領域Ｇａが当該検出された画素群である。当該画素群には、上記白丸の画素が複数存する。

制御部３５は、まず白丸の画素同士の間隔が所定の距離以内の白丸の画素を、当該画素群に属する画素として検出する。したがって、図７に示す、白丸の画素ｇ１は、白丸の画素同士の間隔が所定の距離以内にないので、画素群の構成要素とはならない。

次に、当該画素群に属すると判断された画素が全て含まれる領域の内、最小の矩形領域Ｇａを制御部３５は、規定する。たとえば、制御部３５は、当該画素群に属すると判断された画素の座標において、最小座標と最大座標とを検知する。そして、当該最小・最大座標を用いて、前記最小の矩形領域Ｇａを規定する。

次に、制御部３５は、上記で規定された矩形領域Ｇａの重心を、上記画素群の代表点として規定する。図６，７に示す例の場合には、図７に示す黒丸印ｃ１が代表点として規定される。以上が、ステップＳ５４の詳細な動作説明である。

ステップＳ５４の後、制御部３５は、ＡＣＴフラグが立っているか否かを判断する（ステップＳ５５）。

ＡＣＴフラグが立っていないとする（ステップＳ５５で「ＹＥＳ」）。つまり、ＡＣＴフラグ解除後、図４のフローで初めて検出フラグが立てられたとする。この場合には、制御部３５は、ＡＣＴフラグを立てる（ステップＳ５６）。そして、制御部３５は、検出フラグを立った時間を記録し、上記代表点の座標情報を記憶し、検出フラグを解除する（ステップＳ５７）。ステップＳ５７の後は、図４のステップＳ２へと戻る。

これに対して、ＡＣＴフラグが既に立っているとする（ステップＳ５５で「ＮＯ」）。この場合には、制御部３５は、ステップＳ５８以降のフローにより、回転動作ジェスチャーの周期的な動きの方向を検出する。複数のデジタル画像に渡って、上記代表点が時系列的に回転変動しているときに、制御部３５は、当該回転変動の方向を検知する（ステップＳ５７〜Ｓ６８）。これにより、制御部３５は、前記ジェスチャーの周期的な動きの方向を検出する。

ステップＳ５８において、制御部３５は、ステップＳ５４で規定した代表点（現在の代表点と称する）の座標（現在座標と称する）が、当該代表点以前に規定され記録されている代表点（前回の代表点）の座標（前回座標と称する）より、上に存するか否かを判断する。図７に示すように、図面横方向をｘ方向とし、図面縦方向をｙ方向とする。したがって、ステップＳ５８では、現在の座標のｙ座標が、前回の座標のｙ座標より大きいか否かを判断する。なお、本願明細書では、デジタル画像Ｄの左下隅が０座標であるとしている。

現在座標が前回座標より上に存するとする（ステップＳ５８で「ＹＥＳ」）。この場合には、連続するデジタル画像Ｄにおいて代表点が上方向成分を有するので、制御部３５は、上昇検出回数を「１」増加させる（ステップＳ５９）。そして、制御部３５は、上方向成分を有する（代表点の上記回転変動が第一の方向成分を有する場合と把握できる）ときの、当該現在の座標（第一の座標と把握できる）のｘ成分を検出する。

さらに、制御部３５は、上方向成分を有する現在の座標のｘ成分と上方向成分を有する過去の座標との、平均値（第一の平均値ＵＧＸａｖｅと把握できる）を求める（ステップＳ５９）。ここで、上方向成分を有する過去の座標とは、ＡＣＴ＝１となってから現在までの間において、既に上方向成分を有すると判断された過去の代表点の座標である。当該過去の代表点は複数存することも想定される。

現在座標が前回座標より下に存するとする（ステップＳ５８で「ＮＯ」）。この場合には、連続するデジタル画像Ｄにおいて代表点が下方向成分を有するので、制御部３５は、下昇検出回数を「１」増加させる（ステップＳ６４）。そして、制御部３５は、下方向成分を有する（代表点の上記回転変動が第二の方向（第一の方向と反対方向）成分を有する場合と把握できる）ときの、当該現在の座標（第二の座標と把握できる）のｘ成分を検出する。

さらに、制御部３５は、下方向成分を有する現在の座標のｘ成分と下方向成分を有する過去の座標との、平均値（第二の平均値ＤＧＸａｖｅと把握できる）を求める（ステップＳ６５）。ここで、下方向成分を有する過去の座標とは、ＡＣＴ＝１となってから現在までの間において、既に下方向成分を有すると判断された過去の代表点の座標である。当該過去の代表点は複数存することも想定される。

ここで、上記第一の座標と上記第二の座標とを用いた所定の比較処理する（具体的に、両座標のｘ成分の大小関係を行う）ことにより、制御部３５が、回転動作ジェスチャーの周期的な動きの方向を検出できる。

たとえば、上方向成分ありと判断された第一の座標のｘ座標が、下方向成分ありと判断された第二の座標のｘ成分より小さいとする。この場合、図８の様子が特定される。したがって、当該場合の回転動作ジェスチャーは、時計回り方向に回転していると判断できる。

これに対して、上方向成分ありと判断された第一の座標のｘ座標が、下方向成分ありと判断された第二の座標のｘ成分より大きいとする。この場合、図９の様子が特定される。したがって、当該場合の回転動作ジェスチャーは、反時計回り方向に回転していると判断できる。

しかしながら、回転動作ジェスチャーの周期的な動きの方向をより精度良く検出するために、図５のフローでは、ステップＳ６０〜Ｓ６３、Ｓ６５〜Ｓ６８の処理を実施している。

ステップＳ６０では、制御部３５は、ステップＳ５９のインクリメント処理によりカウントされた回数が、閾値回数を越えた否かを判断している。他方、ステップＳ６５では、制御部３５は、ステップＳ６４のインクリメント処理によりカウントされた回数が、閾値回数を越えた否かを判断している。換言すれば、ステップＳ６０およびステップＳ６５では、ＡＣＴ＝１となってから現在までの間において、上記第一の座標および上記第二の座標を閾値回数求めたか否かを判断している。ここで、当該閾値回数は、制御部３５に予め設定されており、任意にその値を変更できる。

インクリメント処理によりカウントされた回数が、閾値回数以下であるとする（ステップＳ６０で「ＮＯ」またはステップＳ６５で「ＮＯ」）。この場合には、ステップＳ５７へ移行し、図４，５のフローを繰り返すことにより、制御部３５は代表点軌跡を追尾する。

これに対して、インクリメント処理によりカウントされた回数が、閾値回数を超えているとする（ステップＳ６０で「ＹＥＳ」またはステップＳ６５で「ＹＥＳ」）。この場合には、制御部３５は、ステップＳ６１〜Ｓ６３，Ｓ６６〜Ｓ６８の処理により、回転動作ジェスチャーの周期的な動きの方向を検出する。

ステップＳ６１では、ステップＳ５９で求めた第一の平均値ＵＧＸａｖｅと第二の平均値ＤＧＸａｖｅとの大小関係を比較する。上記から分かるように、第一の平均値ＵＧＸａｖｅは、上方向に代表点が移動しているときの当該代表点のｘ座標の平均値である。また、第二の平均値ＤＧＸａｖｅは、下方向に代表点が移動しているときの当該代表点のｘ座標の平均値である。ここで、当該各平均値ＵＧＸａｖｅ，ＤＧＸａｖｅは、上記閾値回数を超える数の第一の座標のｘ成分の平均値または上記閾値回数を超える数の第二の座標のｘ成分の平均値である。

当該大小関係の結果、第一の平均値ＵＧＸａｖｅが第二の平均値ＤＧＸａｖｅより小さいとする（ステップＳ６１で「ＮＯ」で、ステップＳ６２で「ＹＥＳ」。またはステップＳ６６で「ＮＯ」で、ステップＳ６７で「ＮＯ」）。この場合には、制御部３５は、回転動作ジェスチャーの周期的な動きが右回転（図８参照）であると判断する（ステップＳ６３）。そして、制御部３５は、周期的なジェスチャー有りと右回転の動きの方向とにより特定される制御を、表示装置１００に対して実施する（ステップＳ６３）。その後、ステップＳ５７へと移行する。

これに対して、上記大小関係の結果、第一の平均値ＵＧＸａｖｅが第二の平均値ＤＧＸａｖｅより大きいとする（ステップＳ６１で「ＮＯ」で、ステップＳ６２で「ＮＯ」。またはステップＳ６６で「ＮＯ」で、ステップＳ６７で「ＹＥＳ」）。この場合には、制御部３５は、回転動作ジェスチャーの周期的な動きが左回転（図９参照）であると判断する（ステップＳ６８）。そして、制御部３５は、周期的なジェスチャー有りと左回転の動きの方向とにより特定される制御を、表示装置１００に対して実施する（ステップＳ６８）。その後、ステップＳ５７へと移行する。

ここで、ステップＳ６３，Ｓ６８で実施される表示装置１００に対する制御とは、チャンネルのアップ・ダウンやボリュームのアップ・ダウン等である。

なお、上記大小関係の結果、第一の平均値ＵＧＸａｖｅが第二の平均値ＤＧＸａｖｅと等しかったとする（ステップＳ６１で「ＹＥＳ」またはステップＳ６６で「ＹＥＳ」）。この場合とは、デジタル画像Ｄにおいて代表点が上下方向に一直線上に往復している場合である。この場合には、制御部３５は、表示装置１００に対して制御を行わず、ステップＳ５７へと移行する。

なお、上記では、上記第一，二の方向を±ｙ方向として、第一，二の座標のｘ成分を求め、第一，二の平均値のｘ成分を求めた。しかし、これに限る必要はない。たとえば、上記第一，二の方向を±ｘ方向として、第一，二の座標のｙ成分を求め、第一，二の平均値のｙ成分を求めるようにしても良い。この場合においても、制御部３５は、回転動作ジェスチャーの周期的な動きの方向を特定することができる。

以上のように、本実施の形態に係る機器制御方法は、回転動作ジェスチャーの周期的な動き、および当該周期的な動きの方向を検出している（図４，５）。そして、当該各検出結果により特定される所定の制御を、制御部が表示装置１００に対して実施している。

したがって、回転動作ジェスチャーにより表示装置１００に対して、より多くの制御を実施できる。つまり、回転動作ジェスチャーによる制御のバリエーションを増加させることができる。

また、本実施の形態に係る機器制御方法は、デジタル画像を構成する画素での輝度の変化を検出することにより、ジェスチャーの周期的な動きの有無を検出している（ステップＳ４）。

したがって、簡単な輝度情報抽出処理により、回転動作ジェスチャーの周期的な動きの有無を検出できる。

また、本実施の形態に係る機器制御方法は、所定の画素において上記画素輝度変化があるとき、所定の画素においてジェスチャーの周期的な動きを検出したと判断している（ステップＳ４）。

したがって、簡単な輝度情報抽出処理およびデジタル処理により、回転動作ジェスチャーの周期的な動きを検出できる。

また、本実施の形態に係る機器制御方法は、所定の画素における画素輝度変化が少なくとも３回以上あったときに、ジェスチャーの周期的な動きがあると判断している（ステップＳ５で「ＮＯ」以降）。

したがって、たとえばユーザの手など、平面視における面積を有する被写体のジェスチャーにおいて、当該ジェスチャーの周期的な動きを正確に検知できる。

また、本実施の形態に係る機器制御方法は、画素輝度変化を検出する時間間隔が所定の時間を越えたとき、画素輝度変化の回数をリセットしている（たとえばステップＳ１２で「ＮＯ」、ステップＳ１４）。

したがって、画素輝度変化を検出する時間間隔があまりにも長いときに、当該画素輝度変化が回転動作ジェスチャーによるものでないと判断できる。

また、本実施の形態に係る機器制御方法は、画素輝度変化を検出するペースが略同じであるときに、ジェスチャーの周期的な動きがあると判断している（ステップＳ１５で「ＹＥＳ」以降）。

したがって、表示装置１００制御のために実施される回転動作ジェスチャー以外である、撮像物の動きにより、表示装置１００が制御されることを防止できる。つまり、意図的な回転動作ジェスチャーのみに対して、表示装置１００は制御される。

また、本実施の形態に係る機器制御方法は、所定の画素における画素輝度変化の回数が所定回数を超えたときに、ジェスチャーの周期的な動きがあると判断している（ステップＳ１６で「ＹＥＳ」、ステップＳ１７）。

したがって、表示装置１００制御のために意図的に実施される回転動作ジェスチャーのみの場合に対して、当該表示装置１００が制御される。つまり、他の撮像物による偶発的な動き等により、表示装置１００が制御されることを防止できる。

また、本実施の形態に係る機器制御方法は、画素輝度変化を検出するペースが略同じでないときに、画素輝度変化の回数をリセットしている（ステップＳ１５で「ＮＯ」、ステップＳ１４）。

したがって、画素輝度変化を検出するペースがあまりにも不規則なときに、当該画素輝度変化が回転動作ジェスチャーによるものでないと判断できる。

また、本実施の形態に係る機器制御方法は、デジタル画像において画素輝度変化があると判断された画素が複数であるとき、上記画素群を検出している（ステップＳ５４）。

したがって、デジタル画像における当該画素群の軌跡を追うことにより、簡単にジェスチャーの周期的な動きの方向が検出できる。

また、本実施の形態に係る機器制御方法は、画素群を含む領域Ｇａを規定し、領域Ｇａの重心を画素群の代表点として規定している（ステップＳ５４）。

したがって、デジタル画像における画素群の軌跡を追う場合と比較して、代表点の軌跡を追う場合の方が、より処理能力を低減できる。

また、本実施の形態に係る機器制御方法は、複数のデジタル画像に渡って、代表点が時系列的に回転変動しているときに、回転変動の方向を検知することにより、ジェスチャーの周期的な動きの方向を検出している（ステップＳ５９〜Ｓ６８）。

したがって、デジタル画像における当該代表点の軌跡を追うことにより、簡単にかつより軽い処理能力で、ジェスチャーの周期的な動きの方向が検出できる。

また、本実施の形態に係る機器制御方法、上記第一の座標および上記第二の座標を検出し（ステップＳ５８，Ｓ５９，Ｓ６４）、当該第一，二の座標を用いた所定の比較処理することにより、上記周期的な動きの方向を検出している（ステップＳ６１，Ｓ６２，Ｓ６６，Ｓ６７）。

したがって、必要最小限の代表点の座標情報だけで、回転動作ジェスチャーの周期的な動きの方向を特定することができる。

また、本実施の形態に係る機器制御方法は、第一の座標および第二の座標を、予め設定された閾値回数を求めたとき、上記周期的な動きの方向を検出している（ステップＳ６０で「ＹＥＳ」以降およびステップＳ６５で「ＹＥＳ」以降）。

したがって、回転動作ジェスチャーの周期的な動きの方向を、より確実に特定することができる。

また、本実施の形態に係る機器制御方法は、第一の平均値と第二の平均値との大小関係を比較することにより、周期的な動きの方向を検出している（ステップＳ６２，Ｓ６７）。

したがって、より精度良く、回転動作ジェスチャーの周期的な動きの方向を特定することができる。

また、本実施の形態に係る機器制御方法は、第一の平均値と第二の平均値とが等しいときには、制御部は表示装置１００に対して制御をしない。

したがって、たとえば、一直線上を往復するジェスチャーによる、表示装置１００の制御を防止できる。

なお、上記代表点の回転変動の環状形状を、制御部３５が検出するステップをさらに備えていても良い。たとえば、図１０に示す回転動作ジェスチャーが撮像された場合、代表点ｃａ，ｃｂ，ｃｄ，ｃｅの座標を検出する。そして。これらの座標のｘ、ｙ成分比較を行うことにより、制御部３５は、環状形状が楕円であること、および当該楕円の長軸がｘ方向であること、および短軸がｙ方向であることを検出できる。また、たとえば、図１１に示す回転動作ジェスチャーが撮像された場合、代表点ｃｆ，ｃｇ，ｃｈ，ｃｉの座標を検出する。そして。これらの座標のｘ、ｙ成分比較を行うことにより、制御部３５は、環状形状が楕円であること、および当該楕円の長軸がｙ方向であること、および短軸がｘ方向であることを検出できる。

上記代表点の回転変動の環状形状を検出するステップをさらに備える場合、制御部３５は、回転動作ジェスチャーの周期的な動きの検出結果、当該周期的な動きの方向の検出結果、および当該ジェスチャーの軌跡の環状形状の検出結果により特定される所定の制御を、表示装置１００に対して実施する。

たとえば、回転動作ジェスチャーの周期的な動きを検出し、当該周期的な動きが右回転であり、当該ジェスチャーの軌跡の環状形状が水平方向に長い楕円であるとき、制御部３５は、チャンネルをアップする制御を実施する。また、たとえば、回転動作ジェスチャーの周期的な動きを検出し、当該周期的な動きが左回転であり、当該ジェスチャーの軌跡の環状形状が水平方向に長い楕円であるとき、制御部３５は、チャンネルをダウンする制御を実施する。

また、たとえば、回転動作ジェスチャーの周期的な動きを検出し、当該周期的な動きが右回転であり、当該ジェスチャーの軌跡の環状形状が垂直方向に長い楕円であるとき、制御部３５は、音量をアップする制御を実施する。また、たとえば、回転動作ジェスチャーの周期的な動きを検出し、当該周期的な動きが左回転であり、当該ジェスチャーの軌跡の環状形状が垂直方向に長い楕円であるとき、制御部３５は、音量をダウンする制御を実施する。

以上のように、代表点の回転変動の環状形状を検出し、当該検出結果にも基づいて特定される制御を、制御部３５が表示装置１００に対して実施することにより、回転動作ジェスチャーによる機器制御のバリエーションを、さらに増加させることができる。

また、所定数（たとえば４つ）の代表点の座標を用いて、上記環状形状が楕円である場合の、長軸および短軸の方向を検出している。

したがって、代表点の座標情報のみで、簡単に、回転動作ジェスチャーの周期的な動きの形状をも特定することができる。

本発明に係る機器制御方法が実施されるシステム構成の概略を示す図である。 表示装置の主要な内部構成を示すブロック図である。 撮像された回転動作ジェスチャーの様子を示す図である。 回転動作ジェスチャーの周期的な動きの検出動作を説明するフロー図である。 回転動作ジェスチャーの周期的な動きの方向検出動作を説明するフロー図である。 デジタル画像において、複数の画素で画素輝度変化があると判断された場合を示す図である。 代表点の規定方法を説明するための図である。 回転動作ジェスチャーが右回転である場合を示す図である。 回転動作ジェスチャーが左回転である場合を示す図である。 回転動作ジェスチャーの軌跡が水平方向に長い楕円である場合を示す図である。 回転動作ジェスチャーの軌跡が垂直方向に長い楕円である場合を示す図である。

符号の説明

１０ リモコン
２０ 外部信号入力モジュール
２０ａ 光電変換素子
２０ｂ 撮像部
３０ 表示装置
１００ 表示装置
Ｔ１ 被写体（ユーザの手）
ＵＧＸｚｖｅ 第一の平均値
ＤＧＸａｖｅ 第二の平均値
Ｇａ 矩形領域
ｃ１，ｃａ，ｃｂ，ｃｄ，ｃｅ，ｃｆ，ｃｇ，ｃｈ，ｃｉ 代表点

Claims (12)

1. 撮像部および制御部を有し遠隔操作可能な機器を、回転動作であるジェスチャーにより制御する機器制御方法であって、
   （Ａ）前記制御部が、前記撮像部で撮像されるデジタル画像において、当該デジタル画像を構成する画素での輝度の変化を検出することにより、前記撮像部により撮像された前記ジェスチャーの周期的な動きの有無を検出するステップと、
   （Ｂ）前記周期的な動きの方向を、前記制御部が検出するステップと、
   （Ｃ）前記ステップ（Ａ）の検出結果および前記ステップ（Ｂ）の検出結果により特定される所定の制御を、前記制御部が前記機器に対して実施するステップと
   を備え、
   前記ステップ（Ａ）においては、
   所定の前記画素における前記輝度の変化が予め設定されている輝度変化閾値を超える画素輝度変化が４回以上あり、かつ前記画素輝度変化を検出するペースが略同じであるときに、前記制御部は、前記ジェスチャーの周期的な動きがあると判断することを特徴とする機器制御方法。
2. （Ｄ）前記画素輝度変化を検出する時間間隔が所定の時間を越えたとき、前記制御部が、前記ステップ（Ａ）における前記画素輝度変化の回数をリセットするステップを、さらに備えている、
   ことを特徴とする請求項１に記載の機器制御方法。
3. （Ｅ）前記画素輝度変化を検出するペースが略同じでないときに、前記制御部は、前記ステップ（Ａ）における前記画素輝度変化の回数をリセットするステップを、さらに備えている、
   ことを特徴とする請求項１に記載の機器制御方法。
4. 前記ステップ（Ｂ）は、
   （Ｂ−１）前記デジタル画像において前記画素輝度変化があると判断された前記画素が複数であるとき、前記制御部が、前記デジタル画像における当該複数の画素の内、一塊となっている画素によって構成される画素群を検出するステップを、備えている、
   ことを特徴とする請求項１に記載の機器制御方法。
5. 前記ステップ（Ｂ）は、
   （Ｂ−２）前記制御部が、前記画素群を含む領域を規定するステップと、
   （Ｂ−３）前記制御部が、前記領域の重心を、前記画素群の代表点として規定するステップとを、さらに備えている、
   ことを特徴とする請求項４に記載の機器制御方法。
6. 前記ステップ（Ｂ）においては、
   複数の前記デジタル画像に渡って、前記代表点が時系列的に回転変動しているときに、前記制御部は、前記回転変動の方向を検知することにより、前記ジェスチャーの前記周期的な動きの方向を検出することを特徴とする請求項５に記載の機器制御方法。
7. 前記ステップ（Ｂ）は、
   （Ｂ−４）前記代表点の前記回転変動が第一の方向成分を有するときの、前記デジタル画像における前記代表点の位置を第一の座標として、前記制御部が検出ステップと、
   （Ｂ−５）前記代表点の前記回転変動が前記第一の方向成分と反対である第二の方向成分を有するときの、前記デジタル画像における前記代表点の位置を第二の座標として、前記制御部が検出ステップと、
   （Ｂ−６）前記第一の座標と前記第二の座標とを用いた所定の比較処理することにより、前記制御部が、前記周期的な動きの方向を検出するステップとを、さらに備えている、
   ことを特徴とする請求項６に記載の機器制御方法。
8. 前記第一の座標および前記第二の座標を、予め設定された閾値回数を求めたとき、前記ステップ（Ｂ−６）を実施する、
   ことを特徴とする請求項７に記載の機器制御方法。
9. 前記ステップ（Ｂ−６）においては、
   前記閾値回数を超える数の前記第一の座標の第一の平均値と、前記閾値回数を超える数の前記第二の座標の第二の平均値との、大小関係を比較することにより、前記周期的な動きの方向を検出することを特徴とする請求項８に記載の機器制御方法。
10. （Ｆ）前記第一の平均値と前記第二の平均値とが等しいときには、前記制御部は、前記ステップ（Ｃ）を実施しないステップを、さらに備えている、
    ことを特徴とする請求項９に記載の機器制御方法。
11. （Ｂ−７）前記代表点の前記回転変動の環状形状を、前記制御部が検出するステップを、さらに備えており、
    前記ステップ（Ｃ）においては、
    前記ステップ（Ａ）の検出結果、前記ステップ（Ｂ）の検出結果、および前記ステップ（Ｂ−７）の検出結果により特定される所定の制御を、前記制御部が前記機器に対して実施することを特徴とする請求項９に記載の機器制御方法。
12. 前記ステップ（Ｂ−７）においては、
    所定数の前記代表点の座標を用いて、前記環状形状が楕円である場合の、長軸および短軸の方向を検出することを特徴とする請求項１１に記載の機器制御方法。

Images