JP6229096B2 - スマート機器の操作制御方法、装置、プログラム及び記憶媒体 - Google Patents

Description

本開示は、端末の技術分野に関し、特に、スマート機器の操作制御方法、装置、プログラム及び記憶媒体に関する。

端末技術の飛躍な発展につれて、スマートフォン、着用可能なデバイスなどのスマートモバイル端末や、スマートテレビ、スマート冷蔵庫などのスマート家電のようなスマート機器は、ますます増加している。一般的に、同一のユーザが複数のスマート機器を同時に所有するのは普通であり、いろんなスマート機器を簡単で素早く操作制御するために、スマート機器の操作制御方法は、非常に重要である。

従来技術では、スマート機器の操作制御が一般的にタッチ式操作制御を介して実現される。例えば、スマート機器の操作制御に際して、ユーザは、スマート機器上の機能キーまたはスマート機器のリモコンをタッチすることでスマート機器を操作制御する。例えば、ユーザは、スマートテレビの操作制御について、スマートテレビ上の機能キーまたはテレビのリモコンを手で操作することで実現する。

発明者は、本開示を実現させる過程において、従来技術に少なくとも下記の問題が存在することを発見した。

従来技術でスマート機器を操作制御する際、ユーザの手動タッチが必要であるため、スマート機器またはそのリモコンがユーザの手元にない場合、スマート機器の操作制御が実現不可能であり、操作制御方式の非柔軟性を招いてしまう。また、リモコンを介してスマート機器を操作制御する際、１つのスマート機器が１つのコントローラに対応するため、他のスマート機器を操作制御しようとするとき、他の機器のリモコンに切り替える必要があり、操作制御方式が複雑になる。例えば、ユーザがテレビのリモコンを介してテレビの操作制御を完了してからエアコンを操作制御しようとするとき、先にエアコンのリモコンを見つけて、エアコンのリモコンを操作制御する必要があるため、操作制御方式は、非常に複雑になる。

従来技術に存在した問題を克服すべく、本開示は、スマート機器の操作制御方法、装置、プログラム及び記憶媒体を提供する。

本開示の実施例の第１の態様によれば、スマート機器の操作制御方法を提供する。前記方法は、
第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップと、
第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器（a target controlled device）を特定するステップと、
前記目標スレーブ機器との制御関係を確立するステップと、
第３のジェスチャー動作を取得するステップと、
前記第３のジェスチャー動作および前記第１のマッピング関係に基づいて、前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するステップと、を含み、
前記第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係であり、前記第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係である。

第１の態様に合わせて、第１の態様の第１のパターンの実現可能方式において、前記第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップの前に、さらに、
第１の位置決め直線および第２の位置決め直線を取得するステップと、
前記第１の位置決め直線と前記第２の位置決め直線との交点により、前記スレーブ機器位置を特定するステップと、
ジェスチャー動作と前記スレーブ機器位置との間の第２のマッピング関係を確立するステップと、を含み、
前記第１の位置決め直線および前記第２の位置決め直線は、ユーザがそれぞれ第１の位置と第２の位置でスレーブ機器を指差す際におけるその指の指す延長線である。

第１の態様に合わせて、第１の態様の第２のパターンの実現可能方式において、前記第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップの前に、さらに、
ジェスチャー動作と制御機能との間の第１のマッピング関係を確立するステップを含み、
同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御するために用いられる。

第１の態様に合わせて、第１の態様の第３のパターンの実現可能方式において、前記第１のジェスチャー動作と前記第２のジェスチャー動作は、ユーザによって両手で実行され、
前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップは、
前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
前記第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
前記第１のジェスチャー動作が検出されたときに、同時に、前記ユーザの他方の手からの第２のジェスチャー動作も検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含む。

第１の態様に合わせて、第１の態様の第４のパターンの実現可能方式において、前記第１のジェスチャー動作と前記第２のジェスチャー動作は、ユーザによって片手で実行され、
前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップは、
前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
前記第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
前記ユーザの一方の手からの第１のジェスチャー動作が検出されてから所定時間の後、前記ユーザの同一の手または他方の手からの第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含む。

第１の態様に合わせて、第１の態様の第５のパターンの実現可能方式において、前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するステップの後で、さらに、
前記目標スレーブ機器との制御関係を切断し、制御関係を前記第１のジェスチャー動作の検出前に制御されたスレーブ機器に切り替え戻すステップを含む。

本開示の実施例の第２の態様によれば、スマート機器の操作制御装置を提供する。前記装置は、
第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するための前切替モジュールと、
第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するための第１の特定モジュールと、
前記目標スレーブ機器との制御関係を確立するための第１の確立モジュールと、
第３のジェスチャー動作を取得するための第１の取得モジュールと、
前記第３のジェスチャー動作および前記第１のマッピング関係に基づいて、前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するための制御モジュールと、を備え、
前記第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係であり、前記第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係である。

第２の態様に合わせて、第２の態様の第１のパターンの実現可能方式において、前記装置は、さらに、
第１の位置決め直線および第２の位置決め直線を取得するための第２の取得モジュールと、
前記第１の位置決め直線と前記第２の位置決め直線との交点により、前記スレーブ機器位置を特定するための第２の特定モジュールと、
ジェスチャー動作と前記スレーブ機器位置との間の第２のマッピング関係を確立するための第２の確立モジュールと、を備え、
前記第１の位置決め直線および前記第２の位置決め直線は、ユーザがそれぞれ第１の位置と第２の位置でスレーブ機器を指差す際におけるその指の指す延長線である。

第２の態様に合わせて、第２の態様の第２のパターンの実現可能方式において、前記装置は、ジェスチャー動作と制御機能との間の第１のマッピング関係を取得するための第３の確立モジュールをさらに備え、
同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御するために用いられる。

第２の態様に合わせて、第２の態様の第３のパターンの実現可能方式において、前記前切替モジュールは、前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意し、
前記第１の特定モジュールは、前記第１のジェスチャー動作が検出されたときに、同時に、前記ユーザの他方の手からの第２のジェスチャー動作も検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定する。

第２の態様に合わせて、第２の態様の第４のパターンの実現可能方式において、前記前切替モジュールは、前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意し、
前記第１の特定モジュールは、前記ユーザの一方の手からの第１のジェスチャー動作が検出されてから所定時間長の後、前記ユーザの同一の手または他方の手からの第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定する。

第２の態様に合わせて、第２の態様の第５のパターンの実現可能方式において、前記装置は、さらに、
前記目標スレーブ機器との制御関係を切断し、制御関係を前記第１のジェスチャー動作の検出前に制御されたスレーブ機器に切り替え戻すための切替モジュールを備える。

本開示の実施例の第３の態様によれば、端末を提供する。前記端末は、
プロセッサと、
プロセッサの実行可能なコマンドを記憶するためのメモリとを備え、
前記プロセッサは、
第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意し、
第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定し、
前記目標スレーブ機器との制御関係を確立し、
第３のジェスチャー動作を取得し、
前記第３のジェスチャー動作および前記第１のマッピング関係に基づいて、前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するように配置され、
前記第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係であり、前記第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係である。
本開示の実施例の第４の態様によれば、プロセッサに実行されることにより、本開示の実施例の第１の態様に記載のスマート機器の操作制御方法を実現するプログラムを提供する。
本開示の実施例の第５の態様によれば、本開示の実施例の第４の態様に記載のプログラムが記録された記録媒体を提供する。

本開示の実施例による技術案は、以下の格別な作用効果を含むことができる。

第１のジェスチャー動作および第１のマッピング関係により制御関係の切り替えを用意し、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定した後で、目標スレーブ機器との制御関係を確立し、さらに、第３のジェスチャー動作を取得し、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御することで、目標スレーブ機器の操作制御を実現させる。ジェスチャー動作だけで制御関係を目標スレーブ機器に切り替え可能であり、ジェスチャー動作により目標スレーブ機器の操作制御を実施させるため、操作制御方式がより簡単になるとともに、操作制御方式の柔軟性も向上する。

上述した一般的な記述及び後続の詳細な記述は、単に例示的及び解釈的なものであり、本発明を制限できるものでないと理解されるべきである。

ここでの図面は、明細書を構成する一部として見なされ、本開示に適した実施例を示し、かつ、明細書の文字記載とともに本開示の仕組みを解釈するために用いられる。
実施例によるスマート機器の操作制御方法に関わる実施環境模式図である。 実施例によるスマート機器の操作制御方法を示すフローチャートである。 実施例によるスマート機器の操作制御方法を示すフローチャートである。 実施例による位置決め直線を取得する手順模式図である。 実施例によるスマート機器の操作制御装置を示すブロック図である。 実施例によるスマート機器の操作制御装置を示すブロック図である。 実施例によるスマート機器の操作制御装置を示すブロック図である。 実施例によるスマート機器の操作制御装置を示すブロック図である。 実施例による端末を示すブロック図である。

次に、実施例を詳細に説明し、例示が図に示されている。以下の記述が図に係る場合、別途にて示さない限り、異なる図面における同じ数字は、同じまたは類似する要素を示す。以下の実施例に記述される実施形態は、本発明と一致する全ての実施形態を代表するとは限らない。逆に、それらは、添付の特許請求の範囲に記載されているように、本発明の一部の態様と一致する装置及び方法の例に過ぎない。

図１は、実施例によるスマート機器の操作制御方法に関わる実施環境模式図である。図１に示すように、当該実施環境は、制御機器１０１と各スレーブ機器１０２とを含む。その中、制御機器１０１と各スレーブ機器１０２は、同一のＬＡＮに位置し、且つ制御機器１０１は、それぞれ通信ネットワークを介して各スレーブ機器１０２に接続され、当該通信ネットワークは、インターネットでもよいし、ブルートゥース（登録商標）ネットワークなどでもよい。その中、通信ネットワークがインターネットであるとき、当該ネットワークは、有線ネットワークであってもよいし、無線ネットワークであってもよい。

制御機器１０１は、ユーザからのジェスチャー動作を識別するためのものであってもよく、当該ジェスチャー動作に対応する制御機能が特定された後で、スレーブ機器１０２は、当該ジェスチャー動作に対応する操作を実行する。各スレーブ機器１０２が制御機器１０１と通信することで、制御機器１０１は、ユーザのジェスチャー動作に対応する操作を各スレーブ機器１０２に実行させるように制御することができる。

その中、制御機器１０１は、１つの独立の機器であってもよいし、あるスレーブ機器１０２の内部の１つの機能モジュールに実装されてもよいし、ＬＡＮにおけるルータ上の１つの機能モジュールであってもよい。本開示の実施例は、具体的限定をしない。また、制御機器１０１は、ユーザからのジェスチャー動作が認識可能であるようにカメラを含んでもよい。制御機器１０１は、さらに、取得されたジェスチャー動作を対応する制御機能などに転換するためのデータ処理装置を含んでもよい。制御機器１０１の構成について、本開示の実施例は、具体的限定をしない。

各スレーブ機器１０２は、いろんなタイプのスマート機器であってもよく、スマート機器のタイプについては、スマートテレビ、スマート冷蔵庫、スマートエアコン、スマートラジオ、スマート音響システムおよびスマート灯などのスマート住宅設備であってもよいし、携帯、タブレット、ＰＣ（Personal Computer、パソコン）、デスクトップコンピュータおよびポータブルコンピュータなどのスマート端末であってもよく、本開示の実施例は、スレーブ機器１０２のタイプを限定しない。

一般的に、同一のＬＡＮに、多数のスレーブ機器１０２が含まれるため、ジェスチャー識別により各スレーブ機器１０２を操作制御する際、如何にして制御機器１０１の制御関係をスレーブ機器１０２に切り替え、さらに当該スレーブ機器１０２に対する操作制御を実現させるかは、業界関係者の注目を集めている。当該技術問題を解決するために、本開示の実施例は、スマート機器の操作制御方法を提供し、スマート機器の操作制御方法の詳細は、下記の各実施例で示される。

図１に示すような実施環境模式図および上述した内容を組み合わせて、図２は、実施例によるスマート機器の操作制御方法を示すフローチャートであり、図２に示すように、スマート機器の操作制御方法は、端末に用いられ、以下のステップを含む。

ステップＳ２０１では、第１のジェスチャー動作が検出されたとき、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意する。ただし、第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係である。

ステップＳ２０２では、第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定する。ただし、第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係である。

ステップＳ２０３では、目標スレーブ機器との制御関係を確立する。

ステップＳ２０４では、第３のジェスチャー動作を取得する。

ステップＳ２０５では、第３のジェスチャー動作および第１のマッピング関係に基づいて、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御する。

本開示の実施例に供される方法は、第１のジェスチャー動作および第１のマッピング関係により制御関係の切り替えを用意し、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定した後で、目標スレーブ機器との制御関係を確立し、さらに、第３のジェスチャー動作を取得することで、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御して、目標スレーブ機器の操作制御を実現させる。ジェスチャー動作だけで制御関係を目標スレーブ機器に切り替え可能であり、ジェスチャー動作により目標スレーブ機器の操作制御を実施させるため、操作制御方式がより簡単になるとともに、操作制御方式の柔軟性も向上する。

別の実施例において、第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定する前に、さらに、
第１の位置決め直線および第２の位置決め直線を取得するステップであって、第１の位置決め直線と第２の位置決め直線は、ユーザがそれぞれ第１の位置および第２の位置でスレーブ機器を指差す際におけるユーザの指の指す延長線であるステップと、
第１の位置決め直線と第２の位置決め直線との交点により、スレーブ機器位置を特定するステップと、
ジェスチャー動作とスレーブ機器位置との間の第２のマッピング関係を確立するステップとを含む。

別の実施例において、第１のジェスチャー動作が検出されたとき、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意する前に、さらに、
ジェスチャー動作と制御機能との間の第１のマッピング関係を確立するステップであって、同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御するのに用いられるステップを含む。

別の実施例において、第１のジェスチャー動作と第２のジェスチャー動作は、ユーザによって両手で実行され、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップは、
ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
第１のジェスチャー動作が検出されたときに、同時に、ユーザの他方の手からの第２のジェスチャー動作も検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含み、
別の実施例において、第１のジェスチャー動作および第２のジェスチャー動作は、ユーザによって片手で実行され、第１のジェスチャー動作および第１のマッピング関係に基づいて制御関係の切り替えを用意するステップは、
ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
ユーザの一方の手からの第１のジェスチャー動作が検出されてから所定時間の後、ユーザの同一の手または他方の手からの第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含む。

別の実施例において、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御するステップの後に、さらに、
目標スレーブ機器との制御関係を切断し、制御関係を第１のジェスチャー動作の検出前に制御されたスレーブ機器に切り替え戻すステップを含む。

上述したあらゆる選択可能な技術案は、如何なる組み合わせを採用して本発明の好適な実施例を形成してもよい。ここで一々繰り返し説明しない。

図２に対応する実施例の内容を組み合わせて、図３は、実施例によるスマート機器の操作制御方法を示すフローチャートであり、図３に示すように、スマート機器の操作制御方法は、端末に用いられており、以下のステップを含む。

ステップＳ３０１では、ジェスチャー動作と制御機能との間の第１のマッピング関係を確立する。ただし、同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御するのに用いられる。

制御機器は、ユーザからのジェスチャー動作を検出すると、ユーザが当該ジェスチャー動作にてどのような操作をスレーブ機器に実行させるように制御するかを知るために、制御機器がジェスチャー動作によりスレーブ機器を操作制御することを実現させるには、ジェスチャー動作と制御機能との間の第１のマッピング関係を先に確立する必要はある。それを基に、引き続きユーザからのジェスチャー動作が取得された後で、制御機器は、当該第１のマッピング関係を検索するだけで、スレーブ機器にどのような操作を実行させるかを特定することができる。したがって、スマート機器の操作制御方法を実行するとき、ジェスチャー動作と制御機能との間の第１のマッピング関係を確立し、当該第１のマッピング関係を記憶する必要はある。

その中、ジェスチャー動作は、動的動作であってもよいし、静的動作であってもよい。ジェスチャー動作が動的動作であるとき、例えば、ジェスチャー動作がユーザが円を描く動作であるとき、制御機器は、ジェスチャー動作を認識する際、ジェスチャー運動軌跡により実現してもよい。ジェスチャー動作が静的動作であるとき、例えば、ジェスチャー動作がユーザが“ｏｋ”ポーズを取るジェスチャー動作であるとき、制御機器は、ジェスチャー動作を認識する際、ジェスチャーの形により実現してもよい。無論、ジェスチャー動作は、さらに、動的動作と静的動作との組み合わせであってもよい。例えば、ジェスチャー動作はユーザが先に１つの“ｏｋ”ポーズを取り、次に１つの円を描くアクションポーズを取るものであるとき、制御機器は、ジェスチャー動作を認識する際、ジェスチャーの形とジェスチャー運動軌跡との両者により実現してもよい。

ジェスチャー動作の異なる状態に応じて、確立されたジェスチャー動作と制御機能との第１のマッピング関係も異なる。例えば、制御機器がジェスチャー運動軌跡によりジェスチャー動作を認識する際、第１のマッピング関係は、ジェスチャー動作を構成する特徴軌跡と制御機能との間のマッピング関係であってもよく、制御機器がジェスチャーの形によりジェスチャー動作を認識する際、第１のマッピング関係は、ジェスチャーの形を構成する特徴点集合と制御機能との間のマッピング関係であってもよい。

例えば、ジェスチャー動作が円を描く動作であり、且つ当該ジェスチャー動作に対応する制御機能がＯＮ操作である場合、円を描く動作の特徴軌跡が円形の軌跡であるため、確立された第１のマッピング関係は、円形の軌跡とＯＮ操作との対応である。

さらに、例えば、ジェスチャー動作が“ｏｋ”ジェスチャーの形であり、且つ当該ジェスチャー動作に対応する制御機能がＯＦＦ操作である場合、“ｏｋ”ジェスチャーの形を構成する輪郭点集合を取得し、これらの点を“ｏｋ”ジェスチャーの形の特徴点集合としてもよい。その際、確立された第１のマッピング関係は、当該“ｏｋ”ジェスチャーの形の輪郭点集合とＯＦＦ操作との間のマッピング関係である。

ジェスチャー動作と制御機能との間の第１のマッピング関係を確立する際、以下の方式により実現してもよい。

第１の方式：制御機器の出荷時、ジェスチャー動作と制御機能との間の第１のマッピング関係を予め設定する。

このような方式は、具体的に、制御機器の出荷時、第１のマッピング関係を予め設定し、引き続き当該制御機器を介してスレーブ機器を操作制御するとき、制御機器の出荷時に予め設定された第１のマッピング関係に基づいて実現されるものとして解釈される。例えば、制御機器の出荷時、円を描く動作に対応するようにＯＮ操作を既に設定した場合、当該制御機器を介してスレーブ機器を操作制御することでＯＮ操作を実現させる際、ユーザはいずれも円を描く動作にて実現させる。

また、同一のＬＡＮに一般的に複数のスレーブ機器が含まれ、且つ各スレーブ機器の間に通常、同じ制御機能、例えばＯＮ機能、特定機能、ＯＦＦ機能などが含まれるため、ユーザに異なるスレーブ機器の同じ制御機能を便利に操作制御させるために、本開示の実施例で、第１のマッピング関係を設定する際、異なるスレーブ機器の同じ制御機能を操作制御するための同一のジェスチャー動作を設定してもよい。

例えば、スマートテレビの音量アップ操作、スマートラジオの音量アップ操作およびスマートエアコンの温度アップ操作などに、同一のジェスチャー動作が対応付けられてもよい。異なるスレーブ機器の“特定”操作に、同一のジェスチャー動作が対応付けられてもよい。異なるスレーブ機器の“上”、“下”、“左”、“右”などの方向指示操作は、異なる方向について同一のジェスチャー動作などを定義してもよい。

異なるスレーブ機器に同じ制御機能を設定することで同一のジェスチャー動作を使用し、ユーザが異なるスレーブ機器の同じ制御機能を操作制御する際、同一のジェスチャー動作にて実現できる。従来技術における異なるジェスチャー動作にて異なるスレーブ機器の同一の制御機能を操作制御する方式よりも、操作制御方式が簡単であり、時間の節約もできる。

第２の方式：制御機器が取り付けられた後で、ユーザの操作に基づいて、ジェスチャー動作と制御機能との間の第１のマッピング関係を登録する。

このような方式は、具体的に、あるＬＡＮに制御機器が取り付けられた後で、当該ＬＡＮにおけるユーザの操作に応じて第１のマッピング関係をカスタマイズするものとして解釈される。例えば、制御機器が新たに家庭Ａに追加された後で、制御機器は、当該家庭Ａにおけるあらゆるスレーブ機器に含まれるあらゆる制御機能を先に走査し、走査されたあらゆる制御機能をスクリーンに表示してもよい。さらに、制御機器は、制御機能のそれぞれに対応するジェスチャー動作を登録するようスクリーン表示方式にてユーザにプロンプトしてもよい。ユーザがある制御機能を選択したと検出された後で、ユーザによる当該制御機能に対して定義したジェスチャー動作を登録し、当該ジェスチャー動作と制御機能との間のマッピング関係を記憶する。制御機能ごとに上述したジェスチャー動作登録操作を実行することで、あらゆる制御機能とその対応するジェスチャー動作との間の第１のマッピング関係を確立した。

また、制御機能のそれぞれに対応するジェスチャー動作を登録するようユーザにプロンプトする際、さらに、音声方式にて実現してもよい。例えば、あらゆる制御機能が走査された後で、制御機能を毎回の音声で１つずつ再生し、ユーザが既に当該制御機能に対応するジェスチャー動作を登録したと特定された後で、次の制御機能を再生し続け、次の制御機能に対応するジェスチャー動作を登録し続ける。

このような方式で第１のマッピング関係を確立する際、ある回登録されたジェスチャー動作は、あるスレーブ機器に適用されてもよいし、同じ制御機能を含む一部のスレーブ機器に適用されてもよい。しかし、異なるスレーブ機器に同じ制御機能が含まれる場合、ＬＡＮにおけるあらゆるスレーブ機器をユーザに便利に操作制御させるために、あらゆるスレーブ機器のあらゆる制御機能が検索された後で、先に制御機能を分類し、異なるスレーブ機器上における共通の制御機能を取得してもよい。さらに、制御機器は、ＬＡＮにおけるあらゆるスレーブ機器の同一の制御機能を操作制御するための同一のジェスチャー動作を設定してもよい。異なるスレーブ機器の同じ制御機能を操作制御するための当該同一のジェスチャー動作の内容について、上述した第１の方式での記述を参照すればよく、ここで繰り返し説明しない。

このような方式で第１のマッピング関係を確立する際、ユーザは、自分のニーズ、好み、および操作習慣に応じてカスタマイズし、第１のマッピング関係を確立する方式をより柔軟にさせる。例えば、ユーザが左利きであれば、第１のマッピング関係をカスタマイズする際、ユーザの左手で実現してもよい。

さらに、このような方式で第１のマッピング関係を確立した後で、ユーザは、必要に応じてジェスチャー動作と制御機能との間の第１のマッピング関係を補正してもよい。例えば、ユーザは、好みに応じて第１のマッピング関係を設定した後で、当該第１のマッピング関係の設定時に使用されたジェスチャー動作を取るのに手間がかかるまたは制御機器の識別成功率が低いと思えば、当該ジェスチャー動作を補正すればよい。

例えば、ユーザは、最初は、音量アップ操作に対応するジェスチャー動作を耳元から上へ指すものとして設定したが、耳元から上へ指す姿勢に手間がかかると後で思えば、音量アップ操作に対応するジェスチャー動作を補正すればよい。例えば、左から右へ所定の長さ以上の直線をスライドすることに補正する。

注意すべきことは、当該ステップがスレーブ機器の操作制御を実現するための基礎であり、当該第１のマッピング関係を予め確立した後で、ジェスチャー動作にてスレーブ機器を操作制御可能である。つまり、当該ステップは、スレーブ機器を操作制御する前のステップであり、スマート機器の操作制御方法を実行するたびに当該ステップを実行する必要があるわけではない。スマート機器の操作制御方法の実行時に当該第１のマッピング関係が既に確立されたことは、保障できればよい。

ステップＳ３０２では、第１のジェスチャー動作が検出されたとき、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意する。

ただし、制御関係は、制御機器とスレーブ機器との間で制御データおよび制御コマンドを伝送する基礎であり、制御機器は、あるスレーブ機器を操作制御する際、当該スレーブ機器との制御関係を先に確立する必要があり、それをもとに制御データおよび制御コマンドの伝送を実現させる。

制御機器があるスレーブ機器を操作制御する際、制御機器が１つのスレーブ機器を操作制御している場合、ユーザがもう１つのスレーブ機器を操作制御しようと検出されれば、制御機器が制御関係の切り替えを用意する必要はある。その際、当該制御関係の切り替えを用意することは、現在のスレーブ機器との制御関係を切断する手順を指してもよい。制御機器が現在いずれのスレーブ機器も操作制御していない場合、当該制御関係の切り替えを用意することは、現在の状態を切り替え待ち状態に設定する手順を指す。

上述した内容、および、ステップＳ３０１で予め確立されたジェスチャー動作と制御機能との間の第１のマッピング関係を組み合わせて、当該第１のマッピング関係中の制御機能は、制御関係の切り替えを用意する機能を含み、本開示の実施例において、異なるスレーブ機器の制御関係の切り替えを用意する制御機能は、いずれも第１のジェスチャー動作に対応する。即ち、制御機器は、第１のジェスチャー動作を検出した後で、当該第１のマッピング関係を検索することで、第１のジェスチャー動作と制御関係の切り替えを用意する制御機能との対応を特定できる。その際、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意する。

第１のジェスチャー動作のタイプには、多数の種類があり得る。例えば、第１のジェスチャー動作は、ユーザが円を描く動作であってもよく、ユーザがある形のアクションポーズを取るものであってもよい。例えば、ユーザが１つの円形のアクションポーズを取ったり、１つのハート形のアクションポーズを取ったりなど。これを基に、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意する際、第１のジェスチャー動作の軌跡にて実現されてもよいし、第１のジェスチャー動作の形にて実現されてもよい。本開示の実施例は、それについて具体的限定をしない。

注意すべきことは、本開示の実施例において、同一のジェスチャー動作が異なるスレーブ機器の同じ制御機能を操作制御するために用いられるため、異なるスレーブ機器間の制御関係を切り替える際、いずれも当該第１のジェスチャー動作にて実現されてもよい。例えば、第１のジェスチャー動作が円を描く動作であり、現在スマートテレビを操作制御している場合、ユーザが円を描くアクションポーズを取った後で、スマートテレビの制御関係の切り替えを用意する。現在スマートエアコンを操作制御している場合、ユーザが同様に円を描くアクションポーズを取った後で、スマートエアコンの制御関係の切り替えを用意する。

異なるスレーブ機器の当該切り替えを用意する機能を第１のジェスチャー動作として設定することで、第１のジェスチャー動作が取得されたとたん、制御関係の切り替えを用意する操作を実行することが確保できるため、従来技術における異なるスレーブ機器の異なるジェスチャー動作による操作の煩雑という欠陥が回避される。

ステップＳ３０３では、第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定する。ただし、第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係である。

その中、目標スレーブ機器は、ユーザが現在操作制御しようとするあるスレーブ機器である。ジェスチャー動作にてスマート機器の操作制御を実現する際、目標スレーブ機器を特定するために、ユーザの一定のジェスチャー動作にてトリガーする必要もある。本開示の実施例において、制御機器は、ユーザからの第２のジェスチャー動作により特定目標スレーブ機器をトリガーする。したがって、制御機器は、制御関係の切り替えを用意した後で第２のジェスチャー動作を検出したとき、第２のジェスチャー動作、及び、ジェスチャー動作とスレーブ機器位置との間の第２のマッピング関係に基づいて、目標スレーブ機器を特定する。

目標スレーブ機器を特定する際、通常は第２のジェスチャー動作による位置決めにて実現させるため、制御機器は、第２のジェスチャー動作を検出したとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定する前に、更に、ジェスチャー動作とスレーブ機器位置との間の第２のマッピング関係を確立すべきである。制御機器は、第２のマッピング関係を確立する際、下記のステップＳ３０３１ないしステップＳ３０３３を含む方式で実現させるが、それに限定されない。

ステップＳ３０３１では、第１の位置決め直線および第２の位置決め直線を取得する。ただし、第１の位置決め直線および第２の位置決め直線は、ユーザがそれぞれ第１の位置と第２の位置でスレーブ機器を指差す際におけるユーザの指の指す延長線である。

注意すべきことは、制御機器がユーザとスレーブ機器との間の相対距離に基づいて、スレーブ機器に対するユーザの現在位置を特定することができる。制御機器があるスレーブ機器位置を特定する際、先にスクリーン表示の方式または音声方式にて、ユーザに対して、あるスレーブ機器を２つの異なる位置でそれぞれ指差すようプロンプトしてもよい。制御機器は、ユーザが当該プロンプトにより第１の位置で当該スレーブ機器を指差したことを検出した後で、ユーザの位置する第１の位置およびユーザの指の指す方向を取得することで、ユーザが第１の位置で当該スレーブ機器を指差す際における指の指す延長線を取得し、当該指の指す延長線を第１の位置決め直線とする。制御機器は、ユーザが当該プロンプトにより第２の位置で当該スレーブ機器を指差したことを検出した後で、ユーザの位置する第２の位置およびユーザの指の指す方向を取得することで、ユーザが第２の位置で当該スレーブ機器を指差す際における指の指す延長線を取得し、当該指の指す延長線を第２の位置決め直線とする。

図４は、位置決め直線を取得するための模式図を示す。図４において、Ａ点とＢ点は、ユーザの所在する第１の位置と第２の位置である。ユーザがそれぞれＡ点とＢ点でスレーブ機器を指差すとき、ユーザの指の指す延長線により、第１の位置決め直線Ｌおよび第２の位置決め直線Ｌ’を特定することができる。さらに、ＬとＬ’との交点Ｃは、当該スレーブ機器位置である。

ステップＳ３０３２では、第１の位置決め直線と第２の位置決め直線との交点により、スレーブ機器位置を特定する。

当該スレーブ機器位置を特定する際、第１の位置決め直線と第２の位置決め直線との交点の空間座標を先に特定して、当該空間座標を当該スレーブ機器位置としてもよい。

上述したステップＳ３０３１とステップＳ３０３２により、ＬＡＮにおける各スレーブ機器位置を特定することができる。また、ＬＡＮにスレーブ機器が新たに追加されたとき、上述したステップＳ３０３１とステップＳ３０３２に供される方式にて当該追加されたスレーブ機器位置を特定してもよい。その中、スレーブ機器の追加が発見されたとき、スレーブ機器の自動識別プロトコルで実現してもよいが、本開示の実施例は、それに限定されない。

ステップＳ３０３３では、ジェスチャー動作とスレーブ機器位置との間の第２のマッピング関係を確立する。

ＬＡＮに含まれるスレーブ機器のそれぞれは、その位置がいずれも上述したステップＳ３０３１およびステップＳ３０３２にて特定され得る。さらに、ジェスチャー識別にてスレーブ機器の操作制御を行う手順において、ユーザがあるジェスチャー動作を取った後で、当該ジェスチャー動作の操作制御する目標スレーブ機器を素早く特定するために、ジェスチャー動作とスレーブ機器位置との間の第２のマッピング関係を確立する必要はある。それを基に、第２のジェスチャー動作が取得された後で、目標スレーブ機器を素早く特定することができる。

また、しばしばジェスチャーの指差す方向にて、あるスレーブ機器位置を特定することができるため、第２のマッピング関係の確立時に使用されたジェスチャー動作は、ある方向を指すジェスチャー動作を含むが、それに限定されない。なお、第２のマッピング関係の確立時に使用されたジェスチャー動作は、他のジェスチャー動作であってもよく、当該第２のジェスチャー動作とスレーブ機器位置との間でマッピング関係を確立することは、保障できればよい。

上述したステップＳ３０２およびステップＳ３０３にて、第１のジェスチャー動作および第１のマッピング関係に基づいて制御関係の切り替えを用意し、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定することが実現される。上述した内容を組み合わせて、制御機器が制御関係の切り替えの用意および目標スレーブ機器の特定を行う時、ユーザに第１のジェスチャー動作および第２のジェスチャー動作にて実行させる必要はある。その中、ユーザが第１のジェスチャー動作および第２のジェスチャー動作を実行する際、両手で同時に実行してもよいし、片手で実行してもよい。その際、制御機器が制御関係の切り替えの用意および目標スレーブ機器の特定を実現させるには、下記の２種類の方式が含まれるが、それに限定されない。

第１の方式：第１のジェスチャー動作および第２のジェスチャー動作は、ユーザによって両手で実行され、その際、制御機器は、ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて制御関係の切り替えを用意し、制御機器が第１のジェスチャー動作を検出したときに、同時に、ユーザの他方の手からの第２のジェスチャー動作も検出したとき、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定する。つまり、制御機器による、制御関係の切り替えを用意する操作と、目標スレーブ機器を特定する操作とは、同時に実行される。

例えば、第１のジェスチャー動作が円を描く動作であり、第２のジェスチャー動作が指差す動作である場合、制御機器は、ユーザの両手で同時にそれぞれ円を描くアクションポーズと指差すアクションポーズとを取っていることを検出した後で、制御関係の切り替えを用意する操作と目標スレーブ機器を特定する操作とを同時に実行する。

このような方式で制御関係の切り替えの用意および目標スレーブ機器の特定を実現させる際、制御機器が第１のジェスチャー動作および第２のジェスチャー動作を同時に検出できるため、操作手順には、そんなに時間がかからない。

第２の方式：第１のジェスチャー動作および第２のジェスチャー動作は、ユーザによって片手で実行され、その際、
制御機器は、ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて制御関係の切り替えを用意し、制御機器は、ユーザの一方の手からの第１のジェスチャー動作を検出してから所定時間の後で、ユーザの同一の手または他方の手からの第２のジェスチャー動作を検出したとき、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定する。つまり、制御機器が制御関係の切り替えを用意する操作と目標スレーブ機器を特定する操作とは、前後して実行される。

所定時間の具体値は、本開示の実施例で具体的に限定されない。例えば、当該所定時間は、１ｓ（秒）、３ｓなどであってもよい。

例えば、第１のジェスチャー動作が円を描く動作であり、第２のジェスチャー動作が指差す動作である場合、制御機器は、ユーザの一方の手で円を描くアクションポーズを取っていることを検出した後で、制御関係の切り替えを用意する操作を実行する。制御機器は、ユーザの一方の手で円を描くアクションポーズを取ってから所定時間の後で、ユーザの当該手で指差すアクションポーズも取ったことを検出した場合、目標スレーブ機器を特定する操作を実行する。

このような方式で制御関係の切り替えの用意および目標スレーブ機器の特定を実現させる際、制御機器が前後して第１のジェスチャー動作および第２のジェスチャー動作を検出する必要があるため、操作手順は、第１の方式よりも、そんなに時間がかからない。一方、このような方式にてユーザが片手でも操作を実行可能であるため、操作は簡単になる。

ステップＳ３０４では、目標スレーブ機器との制御関係を確立する。

目標スレーブ機器の操作制御を実現させるには、制御関係を目標スレーブ機器に切り替える必要があるため、目標スレーブ機器との制御関係を確立する必要はある。目標スレーブ機器との制御関係を確立してから、ユーザからのジェスチャー動作を検出した後で、当該ジェスチャー動作に対応する制御コマンドを目標スレーブ機器に送信することをトリガーすることで、対応する操作を目標スレーブ機器に実行させるように制御する。

その中、目標スレーブ機器との制御関係を確立する際、制御機器が起動したばかりで、即ち、如何なるスレーブ機器も操作制御していない場合、制御機器は、直接目標スレーブ機器との制御関係を確立してもよい。制御機器が１つのスレーブ機器を現在操作制御している場合、制御機器は、制御関係を現在操作制御しているスレーブ機器から目標スレーブ機器に切り替えてもよい。

ステップＳ３０５では、第３のジェスチャー動作を取得し、第３のジェスチャー動作および第１のマッピング関係に基づいて、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御する。

例えば、目標スレーブ機器との制御関係を確立してから、第３のジェスチャー動作を取得した後で、制御機器は、先に第３のジェスチャー動作に基づいて第１のマッピング関係を検索し、当該第３のジェスチャー動作に対応する制御機能を取得し、更に、当該制御機能に基づいて、どのような操作を目標スレーブ機器に実行させるように制御するかを特定することで、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御する。

その中、制御機器は、第３のジェスチャー動作および第１のマッピング関係に基づいて、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御する際、第３のジェスチャー動作の軌跡にて実現してもよいし、第３のジェスチャー動作の形にて実現してもよい。本開示の実施例は、それについて具体的限定をしない。

さらに、制御機器は、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御する際、操作内容を含む制御コマンドを目標スレーブ機器に送信してもよい。目標スレーブ機器は、当該制御コマンドを受信した後で、当該操作内容に対応する操作を実行する。

例えば、目標スレーブ機器がスマートテレビであり、第３のジェスチャー動作に対応する操作が音量アップ操作である場合、制御機器は、第３のジェスチャー動作を取得した後で、操作通知メッセージを目標スレーブ機器へ送信してもよい。当該操作通知メッセージに含まれる操作内容は、音量アップである。スマートテレビは、当該操作通知メッセージを受信した後で、音量アップ操作を実行する。

ステップＳ３０６では、目標スレーブ機器との制御関係を切断し、制御関係を第１のジェスチャー動作の検出前に制御されたスレーブ機器を切替戻す。

当該ステップは、オプションステップである。もしステップＳ３０４で制御機器が目標スレーブ機器との制御関係を確立した時、制御関係を現在のスレーブ機器から目標スレーブ機器に切り替えた場合、制御機器は、当該第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御した後で、目標スレーブ機器との制御関係を切断し、制御関係を第１のジェスチャー動作の検出前に制御されたスレーブ機器に切替戻してもよい。

当該オプションステップにより、本開示の実施例に供される方法において、制御機器は、スレーブ機器を操作制御する際、単なる制御関係を目標スレーブ機器に一時的に切り替え、目標スレーブ機器を操作制御完了した後で、前に制御されたスレーブ機器に切替戻す。

例えば、ユーザがテレビ番組を見ている最中、部屋が暑いと感じて、スマートエアコンの温度を低くしようとするとき、制御機器は、ステップＳ３０２ないしステップＳ３０４にて制御関係をスマートテレビからスマートエアコンに切り替え、ステップＳ３０５の方式でスマートエアコンを操作制御完了した後で、再び制御関係をスマートテレビに切替戻してもよい。再びジェスチャー動作が取得されたとき、制御機器は、引き続き当該ジェスチャー動作および第１のマッピング関係に基づいてスマートテレビを操作制御する。

本開示の実施例に供される方法は、第１のジェスチャー動作および第１のマッピング関係に基づいて制御関係の切り替えを用意し、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定した後で、目標スレーブ機器との制御関係を確立し、さらに、第３のジェスチャー動作を取得し、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御することで、目標スレーブ機器の操作制御を実現させる。ジェスチャー動作だけで制御関係を目標スレーブ機器に切り替え可能であり、ジェスチャー動作により目標スレーブ機器の操作制御を実施させるため、操作制御方式がより簡単になるとともに、操作制御方式の柔軟性も向上する。

図５は、実施例によるスマート機器の操作制御装置を示すブロック図であり、当該スマート機器の操作制御装置は、図２または図３に対応する実施例に供されるスマート機器の操作制御方法を実行する。図５を参照し、当該スマート機器の操作制御装置は、前切替モジュール５０１、第１の特定モジュール５０２、第１の確立モジュール５０３、第１の取得モジュール５０４及び制御モジュール５０５を備える。その中、
当該前切替モジュール５０１は、第１のジェスチャー動作が検出されたとき、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するように配置される。ただし、第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係である。

当該第１の特定モジュール５０２は、第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するように配置される。ただし、第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係である。

当該第１の確立モジュール５０３は、目標スレーブ機器との制御関係を確立するように配置される。

当該第１の取得モジュール５０４は、第３のジェスチャー動作を取得するように配置される。

当該制御モジュール５０５は、第３のジェスチャー動作および第１のマッピング関係に基づいて、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御する。

本開示の実施例に供される装置は、第１のジェスチャー動作および第１のマッピング関係により制御関係の切り替えを用意し、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定した後で、目標スレーブ機器との制御関係を確立し、さらに第３のジェスチャー動作を取得することで、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御し、目標スレーブ機器の操作制御を実現させる。ジェスチャー動作だけで制御関係を目標スレーブ機器に切り替え可能であり、ジェスチャー動作により目標スレーブ機器の操作制御を実施させるため、操作制御方式がより簡単になるとともに、操作制御方式の柔軟性も向上する。

別の実施例において、図６に示すように、スマート機器の操作制御装置は、更に第２の取得モジュール５０６、第２の特定モジュール５０７および第２の確立モジュール５０８を備える。その中、
当該第２の取得モジュール５０６は、第１の位置決め直線および第２の位置決め直線を取得するように配置される。ただし、第１の位置決め直線と第２の位置決め直線は、ユーザがそれぞれ第１の位置と第２の位置でスレーブ機器を指差す際におけるユーザの指の指す延長線である。

当該第２の特定モジュール５０７は、第１の位置決め直線と第２の位置決め直線との交点により、スレーブ機器位置を特定するように配置され、
当該第２の確立モジュール５０８は、ジェスチャー動作とスレーブ機器位置との間の第２のマッピング関係を確立するように配置される。

別の実施例において、図７を参照し、スマート機器の操作制御装置は、第３の取得モジュール５０９を更に備える。その中、
当該第３の確立モジュール５０９は、ジェスチャー動作と制御機能との間の第１のマッピング関係を取得するように配置される。ただし、同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御する。

別の実施例において、当該前切替モジュール５０１は、ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するように配置される。

当該第１の特定モジュール５０２は、第１のジェスチャー動作が検出されたときに、同時に、ユーザの他方の手からの第２のジェスチャー動作も検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するように配置される。

別の実施例において、当該前切替モジュール５０１は、ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するように配置される。

当該第１の特定モジュール５０２は、ユーザの一方の手からの第１のジェスチャー動作が検出されてから所定時間の後で、ユーザの同一の手または他方の手からの第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するように配置される。

別の実施例において、図８を参照し、スマート機器の操作制御装置は、切替モジュール５１０を更に備える。その中、
当該切替モジュール５１０は、目標スレーブ機器との制御関係を切断し、制御関係を第１のジェスチャー動作の検出前に制御されたスレーブ機器に切替戻すように配置される。

上述したあらゆる選択可能な技術案は、任意の組み合わせで本発明の好適な実施例を形成してもよい。ここで一々繰り返さない。

上述した実施例における装置は、各モジュールが操作を実行する具体的方式が既に関連する当該方法の実施例で詳細に記述されているため、ここで詳細な説明をしない。

図９は、実施例による端末９００のブロック図を示し、当該端末は、上述した図２または図３に対応する実施例に供されるスマート機器の操作制御方法を実行するためのものである。例えば、端末９００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレットデバイス、医療設備、フィットネス機器、ＰＤＡなどであってもよい。

図９を参照し、端末９００は、処理ユニット９０２、メモリ９０４、電源ユニット９０６、マルチメディアユニット９０８、オーディオユニット９１０、Ｉ／Ｏ（Input/Output、入力・出力）のインターフェース９１２、センサユニット９１４、および、通信ユニット９１６のうちの１つまたは複数を含んでもよい。

処理ユニット９０２は、通常は、表示、電話発呼、データ通信、カメラ操作および記録操作に関連する操作のような、制御端末９００の全体操作を制御する。処理ユニット９０２は、上述した方法の全部または一部のステップを実行させるように、コマンドを実行するための１つまたは複数のプロセッサ９２０を含んでもよい。なお、処理ユニット９０２は、処理ユニット９０２と他のユニット間でのインタラクティブが便利になるように、１つまたは複数のモジュールを含んでもよい。例えば、処理ユニット９０２は、マルチメディアユニット９０８と処理ユニット９０２間でのインタラクティブが便利になるように、マルチメディアモジュールを含んでもよい。

メモリ９０４は、いろんな種類のデータを記憶して端末９００での操作をサポートするように配置される。これらのデータの例示は、端末９００上で操作するための任意のアプリケーションプログラムもしくは方法の指令、連絡人データ、電話帳データ、メッセージ、ピクチャ、ビデオなどを含む。メモリ９０４は、任意タイプの揮発性もしくは不揮発性記憶装置、またはそれらの組み合わせで実現されてもよい。例えば、ＳＲＡＭ（Static Random Access Memory、静的ランダムアクセスメモリ）、ＥＥＰＲＯＭ（Electrically-Erasable Programmable Read-Only Memory、電気的に消去可能なＰＲＯＭ）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory、消去可能なＰＲＯＭ）、ＰＲＯＭ（Programmable Read-Only Memory、プログラム可能なＲＯＭ）、ＲＯＭ（Read-Only Memory、読み出し専用メモリ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクであってもよい。

電力ユニット９０６は、端末９００のユニットのそれぞれに電力を供給する。電力ユニット９０６は、電源管理システム、１つまたは複数の電源、並びに、端末９００用の電力を生成、管理および配分するに関する他のユニットを含んでもよい。

マルチメディアユニット９０８は、前記端末９００とユーザとの間での、１つの出力インターフェースを供給するスクリーンを含む。ある実施例では、スクリーンは、ＬＣＤ（Liquid Crystal Display、液晶ディスプレイ）とＴＰ（Touch Panel、タッチパネル）を含んでもよい。スクリーンにタッチパネルが含まれば、スクリーンは、ユーザからの入力信号を受け取るように、タッチスクリーンとして実現されてよい。タッチパネルは、タッチ、スライドおよびタッチパネル上でのジェスチャーを感知するように、１つまたは複数のタッチセンサを含む。前記タッチセンサが、タッチあるいはスライド動作の境界を感知するとともに、前記タッチあるいはスライド操作に関する持続時間および圧力を検出することは可能である。ある実施例では、マルチメディアユニット９０８は、１つのフロントカメラおよび・またはバックカメラを含む。端末９００が操作モード、例えば、撮影モード或いはビデオモードであるとき、フロントカメラおよび・またはバックカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラとバックカメラは、１つの固定の光学レンズシステムであってもよいし、焦点距離および光学ズーム能力を有するものであってもよい。

オーディオユニット９１０は、オーディオ信号を出力および・または入力するように配置される。例えば、オーディオユニット９１０は、１つのＭＩＣ（Microphone、マイク）を含み、端末９００が操作モード、例えば、発呼モード、記録モードおよび音声認識モードであるとき、マイクは、外部オーディオ信号を受信するように配置される。受信されたオーディオ信号は、さらに、メモリ９０４に記憶される、または、通信ユニット９１６を介して送信されることができる。ある実施例では、オーディオユニット９１０は、オーディオ信号を出力するための１つのスピーカーをさらに備える。

Ｉ／Ｏインターフェース９１２は、処理ユニット９０２と周囲のインターフェースモジュール間でインターフェースを供給し、上述した周囲のインターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってよい。これらのボタンは、ホームページボタン、音量ボタン、起動ボタンおよびロックボタンを含んでもよいが、それらに限定されない。

センサユニット９１４は、いろんな方面での状態推定を端末９００に供給するための１つまたは複数のセンサを含む。例えば、センサユニット９１４は、端末９００のＯＮ／ＯＦＦ状態、ユニットの相対位置を検出することができ、例えば、前記ユニットは、端末９００のディスプレイおよびテンキーである。センサユニット９１４は、さらに、端末９００もしくは端末９００の１つのユニットの位置変更、ユーザと端末９００の接触の存在もしくは不存在、端末９００の方位もしくは加速／減速および端末９００の温度変化を検出することができる。センサユニット９１４は、如何なる物理的接触もないとき、近辺にある物体の存在を検出するための近接センサを含んでもよい。センサユニット９１４は、さらに、画像アプリケーションに使用される光センサ、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor、相補型金属酸化膜半導体）またはＣＣＤ（Charge-coupled Device、電荷結合素子）画像センサを含んでもよい。ある実施例では、当該センサユニット９１４は、さらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを含んでもよい。

通信ユニット９１６は、端末９００と他の機器間で有線または無線の通信ができるように設けられる。端末９００は、通信規格に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇもしくは３Ｇ、またはそれらの組み合わせにアクセスすることができる。ある実施例では、通信部材９１６は、外部ブロードキャスト管理システムからのブロードキャスト信号またはブロードキャスト関連情報をブロードキャストチャネルを介して受信する。ある実施例では、前記通信部材９１６は、近距離通信を促進するように、ニアフィールド通信（ＮＦＣ、近距離通信）モジュールをさらに備える。例えば、ＮＦＣ（Near Field Communication）モジュールは、ＲＦＩＤ（Radio Frequency Identification、無線周波数識別）技術、ＩｒＤＡ（Infra-red Data Association、赤外線通信標準化団体）技術、ＵＷＢ（Ultra Wideband、超広帯域無線通信）技術、ＢＴ（Bluetooth、ブルートゥース）技術および他の技術に基づいて実現されてもよい。

実施例では、端末９００は、上述した図２または図３に示す実施例に供されるスマート機器の操作制御方法を実行するために、１つまたは複数のＡＳＩＣ（Application Specific Integrated Circuit、特定用途向け集積回路）、ＤＳＰ（Digital signal Processor、デジタル信号プロセッサ）、ＤＳＰＤ（Digital signal Processor Device、デジタル信号処理デバイス）、ＰＬＤ（Programmable Logic Device、プログラマブル・ロジック・デバイス）、ＦＰＧＡ（Field Programmable Gate Array、フィールド・プログラマブル・ゲート・アレイ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品で実現されてもよい。

実施例では、コマンドを含む非一時的コンピュータ読み取り可能な記録媒体、例えば、指令を含むメモリ９０４をさらに提供し、上述したコマンドが端末９００のプロセッサ９２０によって実行されることで上述した方法を実施させることができる。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ（Random Access Memory、ランダムアクセスメモリ）、ＣＤ−ＲＯＭ(Compact Disc Read-Only Memory、読み込み専用のCD)、磁気テープ、フロッピー（登録商標）ディスクおよび光データ記憶装置などであってもよい。

非一時的コンピュータ読み取り可能な記憶媒体であって、前記記憶媒体におけるコマンドが端末のプロセッサによって実行されるとき、スマート機器の操作制御方法をモバイル端末に実行させる記憶媒体を提供する。

前記方法は、
第１のジェスチャー動作が検出されたとき、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップと、
第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップと、
目標スレーブ機器との制御関係を確立するステップと、
第３のジェスチャー動作を取得するステップと、
第３のジェスチャー動作および第１のマッピング関係に基づいて、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御するステップと、を含み、
第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係であり、第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係である。

上述方式を第１の実施可能方式とすると、第１の実施可能方式を基に提供された第２の実施可能方式において、端末のメモリに、以下の操作を実行するためのコマンドが更に含まれる。即ち、第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップの前に、さらに、
第１の位置決め直線および第２の位置決め直線を取得するステップと、
第１の位置決め直線と第２の位置決め直線との交点により、スレーブ機器位置を特定するステップと、
ジェスチャー動作とスレーブ機器位置との間の第２のマッピング関係を確立するステップと、を含み、
第１の位置決め直線および第２の位置決め直線は、ユーザがそれぞれ第１の位置と第２の位置でスレーブ機器を指差す際におけるその指の指す延長線である。

第１の実施可能方式を基に提供された第３の実施可能方式において、端末のメモリに、以下の操作を実行するためのコマンドが更に含まれる。即ち、第１のジェスチャー動作が検出されたとき、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップの前に、さらに、
ジェスチャー動作と制御機能との間の第１のマッピング関係を確立するステップを含み、同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御するために用いられる。

第１の実施可能方式を基に提供された第４の実施可能方式において、端末のメモリに、以下の操作を実行するためのコマンドが更に含まれる。即ち、第１のジェスチャー動作と第２のジェスチャー動作は、ユーザによって両手で実行され、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップは、
ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
第１のジェスチャー動作が検出されたときに、同時に、ユーザの他方の手からの第２のジェスチャー動作も検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含む。

第１の実施可能方式を基に提供された第５の実施可能方式において、端末のメモリに、以下の操作を実行するためのコマンドが更に含まれる。即ち、第１のジェスチャー動作と第２のジェスチャー動作は、ユーザによって片手で実行され、第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップは、
ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
ユーザの一方の手からの第１のジェスチャー動作が検出されてから所定時間の後で、ユーザの同一の手または他方の手からの第２のジェスチャー動作が検出されたとき、第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含む。

第１の実施可能方式を基に提供された第６の実施可能方式において、端末のメモリに、以下の操作を実行するためのコマンドが更に含まれる。即ち、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御するステップの後で、さらに、
目標スレーブ機器との制御関係を切断し、制御関係を第１のジェスチャー動作の検出前に制御されたスレーブ機器に切り替え戻すステップを含む。

本開示の実施例に供される非一時的コンピュータ読み取り可能な記憶媒体は、第１のジェスチャー動作および第１のマッピング関係により制御関係の切り替えを用意し、第２のジェスチャー動作および第２のマッピング関係に基づいて目標スレーブ機器を特定した後で、目標スレーブ機器との制御関係を確立し、さらに、第３のジェスチャー動作を取得し、第３のジェスチャー動作に対応する操作を目標スレーブ機器に実行させるように制御することで、目標スレーブ機器の操作制御を実現させる。ジェスチャー動作だけで制御関係を目標スレーブ機器に切り替え可能であり、ジェスチャー動作により目標スレーブ機器の操作制御を実施させるため、操作制御方式がより簡単になるとともに、操作制御方式の柔軟性も向上する。

当業者は明細書を考慮し、ここに公開された開示を実践した後、本開示の他の実施案を容易に想到する。本願は、本開示の如何なる変形、用途または適応的変化もカバーすることを意図する。これら変形、用途または適応的変化は、本開示の一般的な仕組みに従い、かつ、本開示に開示されていない当分野における公知常識または慣用技術手段を含む。明細書及び実施例は単なる例示的なものと見なされ、本開示の本当の範囲及び思想は添付の特許請求の範囲によって与えられる。

本開示が以上で記述されて図面に示された精確な構造に限定されるものでなく、その要旨を逸脱しない範囲でいろんな補正や変更も可能であることは理解されるべきである。本開示の範囲は、添付する特許請求の範囲のみによって限定される。
本発明は、出願番号が２０１５１００８７９５８．３であり、出願日が２０１５年２月２６日である中国特許出願を基に提出するものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、参照のため本願に援用される。

Claims (15)

1. スマート機器の操作制御方法であって、
   第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップと、
   第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップと、
   前記目標スレーブ機器との制御関係を確立するステップと、
   第３のジェスチャー動作を取得するステップと、
   前記第３のジェスチャー動作および前記第１のマッピング関係に基づいて、前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するステップと、を含み、
   前記第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係であり、前記第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係であることを特徴とするスマート機器の操作制御方法。
2. 前記第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップの前に、さらに、
   第１の位置決め直線および第２の位置決め直線を取得するステップと、
   前記第１の位置決め直線と前記第２の位置決め直線との交点により、前記スレーブ機器位置を特定するステップと、
   ジェスチャー動作と前記スレーブ機器位置との間の第２のマッピング関係を確立するステップと、を含み、
   前記第１の位置決め直線および前記第２の位置決め直線は、ユーザがそれぞれ第１の位置と第２の位置でスレーブ機器を指差す際におけるその指の指す延長線であることを特徴とする請求項１に記載のスマート機器の操作制御方法。
3. 前記第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップの前に、さらに、
   ジェスチャー動作と制御機能との間の第１のマッピング関係を確立するステップを含み、
   同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御するために用いられることを特徴とする請求項１に記載のスマート機器の操作制御方法。
4. 前記第１のジェスチャー動作と前記第２のジェスチャー動作は、ユーザによって両手で実行され、
   前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップは、
   前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
   前記第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
   前記第１のジェスチャー動作が検出されたときに、同時に、前記ユーザの他方の手からの第２のジェスチャー動作も検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含むことを特徴とする請求項１に記載のスマート機器の操作制御方法。
5. 前記第１のジェスチャー動作と前記第２のジェスチャー動作は、ユーザによって片手で実行され、
   前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するステップは、
   前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意することを含み、
   前記第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するステップは、
   前記ユーザの一方の手からの第１のジェスチャー動作が検出されてから所定時間の後、前記ユーザの同一の手または他方の手からの第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを含むことを特徴とする請求項１に記載のスマート機器の操作制御方法。
6. 前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するステップの後で、さらに、
   前記目標スレーブ機器との制御関係を切断し、制御関係を前記第１のジェスチャー動作の検出前に制御されたスレーブ機器に切り替え戻すステップを含むことを特徴とする請求項１に記載のスマート機器の操作制御方法。
7. スマート機器の操作制御装置であって、
   第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意するための前切替モジュールと、
   第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定するための第１の特定モジュールと、
   前記目標スレーブ機器との制御関係を確立するための第１の確立モジュールと、
   第３のジェスチャー動作を取得するための第１の取得モジュールと、
   前記第３のジェスチャー動作および前記第１のマッピング関係に基づいて、前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するための制御モジュールと、を備え、
   前記第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係であり、前記第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係であることを特徴とするスマート機器の操作制御装置。
8. 第１の位置決め直線および第２の位置決め直線を取得するための第２の取得モジュールと、
   前記第１の位置決め直線と前記第２の位置決め直線との交点により、前記スレーブ機器位置を特定するための第２の特定モジュールと、
   ジェスチャー動作と前記スレーブ機器位置との間の第２のマッピング関係を確立するための第２の確立モジュールと、をさらに備え、
   前記第１の位置決め直線および前記第２の位置決め直線は、ユーザがそれぞれ第１の位置と第２の位置でスレーブ機器を指差す際におけるその指の指す延長線であることを特徴とする請求項７に記載のスマート機器の操作制御装置。
9. ジェスチャー動作と制御機能との間の第１のマッピング関係を取得するための第３の確立モジュールをさらに備え、
   同一のジェスチャー動作は、異なるスレーブ機器の同じ制御機能を操作制御するために用いられることを特徴とする請求項７に記載のスマート機器の操作制御装置。
10. 前記前切替モジュールは、前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意し、
    前記第１の特定モジュールは、前記第１のジェスチャー動作が検出されたときに、同時に、前記ユーザの他方の手からの第２のジェスチャー動作も検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを特徴とする請求項７に記載のスマート機器の操作制御装置。
11. 前記前切替モジュールは、前記ユーザの一方の手からの第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意し、
    前記第１の特定モジュールは、前記ユーザの一方の手からの第１のジェスチャー動作が検出されてから所定時間の後、前記ユーザの同一の手または他方の手からの第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定することを特徴とする請求項７に記載のスマート機器の操作制御装置。
12. 前記目標スレーブ機器との制御関係を切断し、制御関係を前記第１のジェスチャー動作の検出前に制御されたスレーブ機器に切り替え戻すための切替モジュールをさらに備えることを特徴とする請求項７に記載のスマート機器の操作制御装置。
13. 端末であって、
    プロセッサと、
    プロセッサの実行可能なコマンドを記憶するためのメモリとを備え、
    前記プロセッサは、
    第１のジェスチャー動作が検出されたとき、前記第１のジェスチャー動作および第１のマッピング関係に基づいて、制御関係の切り替えを用意し、
    第２のジェスチャー動作が検出されたとき、前記第２のジェスチャー動作および第２のマッピング関係に基づいて、目標スレーブ機器を特定し、
    前記目標スレーブ機器との制御関係を確立し、
    第３のジェスチャー動作を取得し、
    前記第３のジェスチャー動作および前記第１のマッピング関係に基づいて、前記第３のジェスチャー動作に対応する操作を前記目標スレーブ機器に実行させるように制御するように配置され、
    前記第１のマッピング関係は、ジェスチャー動作と制御機能との間のマッピング関係であり、前記第２のマッピング関係は、ジェスチャー動作とスレーブ機器位置との間のマッピング関係であることを特徴とする端末。
14. プロセッサに実行されることにより、請求項１から請求項６のいずれか１項に記載のスマート機器の操作制御方法を実現することを特徴とするプログラム。
15. 請求項１４に記載のプログラムが記録された記録媒体。