JP7372945B2 - シナリオ制御方法、装置および電子装置 - Google Patents

Description

（関連出願の引用）
本願は、２０１８年０６月２９日に中国専利局（特許庁に相当）出願し、出願番号が２０１８１０６９９０６３．９であり、発明の名称が「シナリオ制御方法、装置および電子装置」である中国特許出願の優先権を主張し、その出願の全文を本願に組み込む。

本発明は、画像処理分野に属し、特に、シナリオ（scenario）制御方法、装置および電子装置に関するものである。

ＨＭＩ（Human-Machine Interaction）技術の迅速な発展に伴い、ジェスチャーコントロール（gesture control）は自然的でありかつ直観的な交流方法であるので、ＨＭＩの重要な一部分になっている。科学技術の迅速な発展とＰＣ視覚技術の普及に伴い、使用者がＨＭＩの自然性に対する要求はますます増加している。マウス、キーボード等の従来のインタラクションは一定の欠点を有しているので、新しいＨＭＩを発明する必要がある。ジェスチャーコントロールは効率的なＨＭＩ方法または装置制御方法であるので、ジェスチャーを認識する技術はＨＭＩ、モデル認識等の技術分野において重要な研究課題になっている。

従来のジェスチャー認識システムとして通常、下記２種の方法を採用する。
データグローブまたはデータアクセサリーによる方法：その方法により検出と認識の計算方法の複雑性を低減することができるが、データグローブまたはデータアクセサリーを帯びることにより自然的なＨＭＩを獲得することができない。
３Ｄデプスカメラ（depth camera）による方法：３Ｄ走査装置は、堆積が大きく、ハードウェアのコストが多くかかり、演算能力に対する要求が高いという欠点を有しているので、３Ｄ走査装置をインテリジェント端末（intelligent terminal）に搭載させにくい。

従来の技術において、シナリオを制御するため複雑な装置を用いる必要がある。実際の応用において、例えばスマートフォンでライブビデオストリーミングをするとき、スマートフォンの携帯性を確保するため、通常スマートフォンにライブビデオストリーミングに用いられる複雑な装置を搭載させない。従来の技術において、シナリオを制御するとき、シナリオの視覚が変化し、シナリオ中の物体とインタラクションをすることができるが、シナリオの形態を制御するか或いはシナリオ中のシナリオの形態を制御することができない。

そのため、本発明の実施例においてシナリオ制御方法、装置および電子装置を提供することにより従来の技術の少なくとも一部分の技術的課題を解決することができる。

本発明の実施例においてシナリオ制御方法を提供する。そのシナリオ制御方法は、
シナリオの第一形態を表示するステップと、
触発対象を認識するステップと、
前記触発対象の動きを判断するステップと、
前記触発対象の動きにより前記シナリオの第一形態をシナリオの第二形態に変換させ、前記シナリオの第一形態と前記シナリオの第二形態を関連させるステップとを含む。

本発明の具体的な実施例において、前記触発対象を認識するステップは、
前記触発対象の特徴情報を獲得するステップと、
前記特徴情報と標準的な特徴情報を比較するステップと、
前記比較の結果により触発対象であるかを判断するステップとを含む。

本発明の具体的な実施例において、前記触発対象の特徴情報を獲得するステップは具体的に、前記触発対象上のキーポイント情報を獲得することである。

本発明の具体的な実施例において、前記触発対象の動きを判断するステップは、
前記触発対象の第一特徴情報を獲得するステップと、
前記触発対象の第二特徴情報を獲得するステップと、
前記第一特徴情報と第二特徴情報により触発対象の動きを判断するステップとを含む。

本発明の具体的な実施例において、前記触発対象の動きを判断するステップは、
触発対象の面積を獲得するステップと、
前記面積により前記触発対象の動きを判断するステップとを含む。

本発明の具体的な実施例において、前記触発対象の動きを判断するステップは、
前記触発対象の第一面積を獲得するステップと、
前記触発対象の第二面積を獲得するステップと、
前記第一面積と第二面積を比較した結果により触発対象の動きを判断するステップとを含む。

本発明の具体的な実施例において、前記触発対象の面積を獲得するステップは、最小の規則フレームを設定し、触発対象を最小の規則フレーム内に位置させるステップと、最小の規則フレームの面積を計算することにより触発対象の面積を獲得するステップとを含む。

本発明の具体的な実施例において、前記触発対象は使用者の手である。

本発明の具体的な実施例において、前記触発対象の動きは、触発対象の打開閉合、回転、遠近方向の移動またはジェスチャーの変化を含む。

本発明の実施例において、シナリオ制御装置を更に提供する。そのシナリオ制御装置は、
シナリオの第一形態を表示する表示モジュールと、
触発対象を認識する認識モジュールと、
前記触発対象の動きを判断する判断モジュールと、
前記触発対象の動きにより前記シナリオの第一形態をシナリオの第二形態に変換させる制御モジュールであって、前記シナリオの第一形態と前記シナリオの第二形態は関連している制御モジュールとを含む。

本発明の具体的な実施例において、前記認識モジュールは、
前記触発対象の特徴情報を獲得する特徴情報獲得モジュールと、
前記特徴情報と標準的な特徴情報を比較する比較モジュールと、
前記比較の結果により触発対象であるかを判断する触発対象判断モジュールとを含む。

本発明の具体的な実施例において、前記触発対象の特徴情報を獲得することは具体的に、前記触発対象上のキーポイント情報を獲得することである。

本発明の具体的な実施例において、前記判断モジュールは、
前記触発対象の第一特徴情報を獲得する第一特徴情報獲得モジュールと、
前記触発対象の第二特徴情報を獲得する第二特徴情報獲得モジュールと、
前記第一特徴情報と第二特徴情報により触発対象の動きを判断する第一動き判断モジュールとを含む。

本発明の具体的な実施例において、前記判断モジュールは触発対象の面積を獲得する面積獲得モジュールを含む。

本発明の具体的な実施例において、前記判断モジュールは、
前記触発対象の第一面積を獲得する第一面積獲得モジュールと、
前記触発対象の第二面積を獲得する第二面積獲得モジュールと、
前記第一面積と第二面積を比較した結果により触発対象の動きを判断する第二動き判断モジュールとを含む。

本発明の具体的な実施例において、前記面積獲得モジュールは、
最小の規則フレームを設定することにより触発対象が最小の規則フレーム内に含まれるようにする規則フレーム設定モジュールと、
最小の規則フレームの面積を計算することにより触発対象の面積を獲得する面積計算モジュールとを含む。

本発明の具体的な実施例において、前記触発対象は使用者の手である。

本発明の具体的な実施例において、前記触発対象の動きは、（触発対象の）打開閉合、回転、遠近方向の移動またはジェスチャーの変化を含む。

本発明の実施例において、電子装置を更に提供する。その電子装置は、少なくとも１つの処理装置と前記少なくとも１つの処理装置に通信可能に連結される記憶装置とを含み、
前記少なくとも１つの処理装置には前記少なくとも１つの処理装置により実行されることができる指令が記憶されており、前記指令が前記少なくとも１つの処理装置により実行されることにより前記処理装置は前記いずれか１つのシナリオ制御方法を実施する。

本発明の実施例において、非過渡性コンピュータ読み取り可能な記憶媒体を更に提供する。前記非過渡性コンピュータ読み取り可能な記憶媒体にはコンピュータ指令が記憶されており、コンピュータで前記コンピュータ指令を実行することにより前記いずれか１つのシナリオ制御方法を実施する。

本発明の実施例において、シナリオ制御方法、装置、電子装置および非過渡性コンピュータ読み取り可能な記憶媒体を提供する。前記シナリオ制御方法は、触発対象の動きにより予め設定されるシナリオ情報を読み取り、それによりシナリオを変換させるか或いはシナリオ中の元素を制御し、かつ触発対象の動きをシナリオに関連させることができる。本発明は、従来の電子装置のハードウェアを改良する必要がなく、電子装置のシナリオを制御することができるので、コストを低減することができる。

以上、本発明の技術事項の概要を説明してきた。本発明の技術的手段をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の前記目的、特徴および発明の効果をより容易に理解してもらうため、以下、好適な実施例と図面により本発明を詳細に説明する。

本発明の実施例の技術事項をより詳細に説明するため、以下、本発明の実施例において用いられる図面を簡単に説明する。注意されたいことは、下記図面は本発明の例示にしか過ぎないものであり、この技術分野の技術者は下記図面により創造的な研究をしなくもて他の図面を想到することができ、それらがあっても本発明に含まれることは勿論である。
本発明の実施例に係るシナリオ制御方法を示す流れ図である。 本発明の実施例において触発対象を認識することを示す流れ図である。 本発明の実施例において触発対象の動きを判断することを示す流れ図である。 本発明の実施例において面積により触発対象の動きを判断することを示す流れ図である。 本発明の実施例に係る最小の規則フレームを示す図である。 本発明の実施例に係るシナリオ制御装置の原理を示すブロック図である。 本発明の実施例に係る電子装置の原理を示すブロック図である。 本発明の実施例に係るコンピュータ読み取り可能な記憶媒体を示す図である。 本発明の実施例に係る端末装置の原理を示すブロック図である。

以下、図面により本発明の実施例を詳細に説明する。
以下、特定の具体的な実施例により本発明の実施形態を説明し、この技術分野の技術者はその明細書が公開する事項により本発明の利点と効果を容易に理解することができる。注意されたいことは、下記実施例は本発明の一部分の実施例を示すものであり、本発明のすべての実施例を示すものでない。この明細書に記載されていない他の具体的な実施形態により本発明を実施するか或いは応用することもできる。観点と応用が異なる場合、本発明の要旨を逸脱しない範囲において本発明の各細部に対していろいろな変更または改良をすることができる。

注意されたいことは、矛盾がない場合、下記実施例と実施例中の特徴を組み合わせることができる。

本発明の実施例において、本技術分野の技術者は創造的な研究をしなくても他の実施例を想到することができ、それらがあっても本発明に含まれることは勿論である。

注意されたいことは、下記明細書において特許請求の範囲に係る実施例の各事項を説明する。

周知のように、この明細書において説明する事項をいろいろな方面に応用することができ、この明細書において説明する任意の特徴と／或いは機能は本発明の例示にしか過ぎないものである。本技術分野の技術者は本発明の事項により本発明の各実施例を独自に実施するか或いは複数の実施例において２つまたは２つ以上を組み合わせて実施することができる。例えば、本発明の任意の数量の実施例に係る装置と／或いは実施方法を自由に採用することができる。本発明において説明する１個または複数個の実施例にのみ限定されるものでなく、他の構造と／或いは機能を採用することにより本発明の装置と／或いは実施方法を実施することもできる。

注意されたいことは、本発明の実施例において提供する図面は本発明の基本的構成のみを示すものであり、図面には本発明の実施例に係るモジュールが示されているが、それらは本発明を実際に実施するときのモジュールの数量、形態およびサイズを示すものでない。本発明を実際に実施するとき、各モジュールの形態、数量および比例を自由に変化させ、各モジュールの配置もより複雑になることができる。

下記実施例において提供する具体的な細部は本発明を徹底的に理解してもらうための実例である。本技術分野の技術者は下記具体的な細部がなくても本発明を実施することができる。

図１に示すとおり、本発明の実施例においてシナリオ制御方法を提供する。前記シナリオ制御方法は下記ステップを含む。
ステップＳ１０１において、シナリオの第一形態を表示する。

シナリオの第一形態はシナリオを変換させる前の形態を指す。例えば、具体的な応用においてシナリオの第一形態は２Ｄシナリオであり、そのシナリオを携帯電話で表示することができる。シナリオの第一形態は３Ｄシナリオであることもできる。すなわちシナリオを変換させる前の形態において、シナリオの第一形態を表示する状態になると、触発対象を認識するとともに前記触発対象の動きを判断する。

ステップＳ１０２において、触発対象を認識する。

シナリオを制御するとき、まず、対象が触発対象であるかを判断する。触発対象でない場合、触発対象が動きをしたかを判断しない。触発対象が認識されるとき、触発対象が動きをしたかを判断するとともにどうのような動きをしたかを判断する。次に、異なる動きにより異なるシナリオ情報を読み取る。

ステップＳ１０３において、前記触発対象の動きを判断する。

ステップＳ１０２において触発対象を認識した後、前記触発対象が所定の動きをしたかを判断する必要がある。触発対象の動きと記憶されている動きデータを比較することにより触発対象の動きが動きデータベース中のどの動きに相当するかを判断する。

ステップＳ１０４において、前記触発対象の動きにより前記シナリオの第一形態をシナリオの第二形態に変換させ、前記シナリオの第一形態と前記シナリオの第二形態は関連している。

ステップＳ１０３において所定の動きを判断した後、動きに対応するシナリオ情報を読み出しかつ読み出されるシナリオ情報を表示するか、或いは読み出されるシナリオ情報と従来のシナリオ情報を組み合わせることにより新しいシナリオ情報を形成するか、或いは読み出されるシナリオ情報の代わりに従来のシナリオ情報中のある元素を用いるか、或いは読み出されるシナリオ情報で従来のシナリオ情報を取り替えることができる。

シナリオに含まれている各元素で構成される画面においてシナリオを制御するとき、異なるシナリオを切り替えるか或いは同一のシナリオ中の所定の元素、例えばシナリオ中の所定の物体（例えば球体）の遠近方向の移動を制御することもできる。

本発明の具体的な実施方法において、前記触発対象は使用者の手である。触発対象の動きは、主として、いろいろなジェスチャー、例えば手の打開閉合、回転、遠近方向の移動、ジェスチャーの変化を含むことができる。具体的に、ジェスチャーの変化により携帯電話中のシナリオの変化を制御することができる。

始まるとき、携帯電話に表示される画面はカメラが撮影したリアルタイム画像であり、その画像には音楽効果が加えられている。音楽効果が加えられている画像はシナリオの第一形態である。例えば降雨を示す２Ｄ画像シナリオであることができる。カメラで使用者が手を開ける動きを検出するとき、まず、使用者の手を認識する。次に、手が手を開ける動きをしたかを判断する。すなわちげんこつを開ける動きをしたかを判断する。使用者が手を開ける動きをしたとき、所定のシナリオ情報、例えば３Ｄ粒子中の降雨情報を読み取り、かつ降雨情報と現在表示されているリアルタイム画像を結合させることにより、携帯電話に雨が降っている３Ｄ粒子のシナリオを表示することができる。音楽効果を加えるとき、元の設定により音楽を選択することができる。すなわち、元の背景音楽を選択して流し続けるか或いは、背景音楽を停止させるか或いは、降雨シナリオに適合する他の音楽を選択することができる。携帯電話に表示される降雨の３Ｄ粒子シナリオはシナリオの第二形態である。シナリオの第二形態とシナリオの第一形態が関連することを予め設定することができる。シナリオの第一形態において使用者が手を開ける動きを検出するとき、すなわち所定の情報を読み取るとき、シナリオの第一形態をシナリオの第二形態に変換させることができる。

他の具体的な実施例において、携帯電話に表示されるシナリオは青空と白雲であり、携帯電話のカメラで撮影する画像に手が含まれているとき、携帯電話は手を認識した後、手が携帯電話のカメラに相対して前後に移動する動きをしたかを判断する。手が携帯電話のカメラに相対して前後に移動する動きをしたと判断するとき、所定のシナリオ情報を読み取り、雲は手の移動により移動する。例えば手がカメラに近づくとき、雲は携帯電話のパネルから離れ、手がカメラから離れるとき、雲は携帯電話のパネルに近づく。手がカメラに近づくとき、雲は携帯電話のパネルから離れ、手がカメラから離れるとき、雲は携帯電話のパネルに近づく。白雲が移動する前のシナリオはシナリオの第一形態であり、白雲が移動した後のシナリオはシナリオの第二形態である。シナリオの第一形態において手が移動する動きが検出されると、所定の情報を読み取り、シナリオの第一形態をシナリオの第二形態に変換させる。

前記２個の具体的な実施例において、説明を簡単にするため携帯電話を例として説明してきたが、本発明は携帯電話にのみ限定されるものでない。例えばタブレット、ノートパソコン等のような情報処理が可能な電子装置を本発明の技術的事項に用いることもできる。前記具体的な実施例において、触発対象として手を例として説明してきたが、本発明の触発対象は手にのみ限定されるものでない。触発対象は例えば頭部または四肢等であることもできる。触発対象の動きは頭を横を振るか或いは目を瞬く動き等であることができる。

本発明の具体的な実施方法において、図２に示すとおり、ステップＳ１０２において触発対象を認識する。具体的に下記ステップを含む。
ステップＳ２０１において、前記触発対象の特徴情報を獲得する。

対象の特徴情報は対象の特徴を表示する情報である。例えば対象画像の輪郭情報、キーポイント情報等であることができる。従来の技術において、対象画像の輪郭情報、キーポイント情報を検出する技術は常用技術になっているので、ここで再び説明しない。

ステップＳ２０２において、前記特徴情報と標準的な特徴情報を比較する。
ステップＳ２０１において前記触発対象の特徴情報を獲得した後、獲得した特徴情報と予め記憶させる標準的な特徴情報を比較する。

ステップＳ２０３において、前記比較の結果により触発対象であるかを判断する。
手のシナリオを例とする場合、画像を獲得した後、獲得される画像の輪郭またはキーポイント情報を獲得する必要がある。次に、獲得される画像の輪郭またはキーポイント情報と予め記憶させる手の輪郭またはキーポイント情報を比較し、１つの比較結果が一致するとき、獲得される画像が手の画像であると判断することができる。すなわち触発対象を認識することができる。

実際の応用において、使用者の人数が多い場合、手の輪郭またはキーポイント情報は異なっているので、予め記憶させる手の輪郭またはキーポイント情報の種類は多種であり、サイズが異なるいろいろな手の輪郭またはキーポイント情報が含まれている。それらを比較するとき、獲得する画像の輪郭またはキーポイント情報と予め記憶させる手の輪郭またはキーポイント情報を１つずつ比較し、１つの比較結果が一致するとき、獲得される画像が手の画像であると認識することができる。

本発明の具体的な実施方法において、前記触発対象の特徴情報を獲得するステップは、具体的に前記触発対象上のキーポイント情報を獲得することである。

本発明の具体的な実施方法において、図３に示すとおり、ステップＳ１０３において前記触発対象の動きを判断するステップは具体的に下記ステップを含む。
ステップＳ３０１において、前記触発対象の第一特徴情報を獲得する。
ステップＳ３０２において、前記触発対象の第二特徴情報を獲得する。
ステップＳ３０３において、前記第一特徴情報と第二特徴情報により触発対象の動きを判断する。

本発明の例示においてキーポイントとして特徴情報を採用する。手を採用するシナリオにおいて、手をげんこつ状態から展開状態に開ける動きをしていると判断するとき、まず、手がげんこつ状態になっているときのキーポイントを獲得する。次に、手が展開状態になっているときのキーポイントを獲得する。次に、手がげんこつ状態になっているときのキーポイントと記憶されているキーポイントを比較することにより、手がげんこつ状態になっていると判断する。最後に、手が展開状態になっているときのキーポイントと記憶されているキーポイントを比較することにより、手が展開状態になっていると判断する。それにより手が展開の動きをしたと判断することができる。

本発明の具体的な実施方法において、ステップＳ１０３において前記触発対象の動きを判断するステップは、触発対象の面積を獲得し、かつ前記面積により前記触発対象の動きを判断するステップを更に含む。

図４に示すとおり、前記面積により前記触発対象の動きを判断するステップは具体的に下記ステップを含む。
ステップＳ４０１において、前記触発対象の第一面積を獲得する。
ステップＳ４０２において、前記触発対象の第二面積を獲得する。
ステップＳ４０３において、前記第一面積と第二面積を比較した結果により触発対象の動きを判断する。

前記げんこつを展開状態に開ける手の動きを例として説明する。手の画像を獲得した後、まず、手がげんこつ状態になっているときの面積を獲得する。次に、手を展開状態に開けたときの面積を獲得する。最後に、手がげんこつ状態になっているときの面積と記憶されている手の面積を比較する。それにより手が展開状態になっていると判断し、かつ手がげんこつ状態から展開状態になる動きをしたと判断する。手が携帯電話から離れる方向へ移動するとき、カメラのパラメーターを変化させない前提下において、手が携帯電話から遠く離れれば離れるほど、手の画像の面積は小さくなり、手が携帯電話に近くなればなるほど、手の画像の面積は大きくなる。そのため手の面積を計算することにより手が携帯電話に相対してする動きを容易に検出することができる。

手の形状は不規則的なものであるので、手の面積を直接に計算しにくい。そのため、本発明の具体的な実施例において、前記触発対象の面積を獲得するステップは具体的に下記ステップを含む。
最小の規則フレーム（regular frame）を設定し、触発対象を最小の規則フレーム内に位置させた後、最小の規則フレームの面積を計算することにより触発対象の面積を獲得する。

図５に示すとおり、規則に対応する長方形を設定し、前記長方形は使用者の手を包囲することができる。その場合、長方形の面積を計算することにより手の面積を計算することができるので、計算量を低減することができる。

本実施例において、規則に対応する長方形を設定し、長方形の面積を計算することにより手の面積を計算し、前記シナリオの元素の移動と長方形の辺長を関連させることができる。前記手が携帯電話に相対して前後に移動するとき、長方形の辺長と携帯電話の移動の距離を関連させ、長方形の辺長により雲の動き軌跡を制御することができる。辺長は線形的に変化し、跳躍的な変形はしない。雲は平滑的に移動し、跳躍的な移動はしない。

図６に示すとおり、本発明の実施例においてシナリオ制御装置を提供する。そのシナリオ制御装置は、
シナリオの第一形態を表示する表示モジュール６００と、
触発対象を認識する認識モジュール６０１と、
前記触発対象の動きを判断する判断モジュール６０２と、
前記触発対象の動きにより前記シナリオの第一形態をシナリオの第二形態に変換させる制御モジュールであって、前記シナリオの第一形態と前記シナリオの第二形態は関連している制御モジュール６０３とを含む。

本発明の具体的な実施方法において、前記認識モジュール６０１は、
前記触発対象の特徴情報を獲得する特徴情報獲得モジュール６０１１と、
前記特徴情報と標準的な特徴情報を比較する比較モジュール６０１２と、
前記比較の結果により触発対象であるかを判断する触発対象判断モジュール６０１３とを含む。

本発明の具体的な実施方法において、前記触発対象の特徴情報を獲得するステップは、具体的に前記触発対象上のキーポイント情報を獲得することである。

本発明の具体的な実施方法において、前記判断モジュール６０２は、
前記触発対象の第一特徴情報を獲得する第一特徴情報獲得モジュール６０２１と、
前記触発対象の第二特徴情報を獲得する第二特徴情報獲得モジュール６０２２と、
前記第一特徴情報と第二特徴情報により触発対象の動きを判断する第一動き判断モジュール６０２３とを含む。

本発明の具体的な実施方法において、前記判断モジュール６０２は触発対象の面積を獲得する面積獲得モジュールを更に含む。

本発明の具体的な実施方法において、前記判断モジュール６０２は、
前記触発対象の第一面積を獲得する第一面積獲得モジュールと、
前記触発対象の第二面積を獲得する第二面積獲得モジュールと、
前記第一面積と第二面積を比較した結果により触発対象の動きを判断する第二動き判断モジュールとを含む。

本発明の具体的な実施方法において、前記面積獲得モジュール６０３は、
最小の規則フレーム（regular frame）を設定することにより触発対象が最小の規則フレーム内に含まれるようにする規則フレーム設定モジュールと、
最小の規則フレームの面積を計算することにより触発対象の面積を獲得する面積計算モジュールとを含む。

本発明の具体的な実施方法において、前記触発対象は使用者の手である。

本発明の具体的な実施方法において、前記触発対象の動きは、触発対象の打開閉合、回転、遠近方向の移動、ジェスチャーの変化を含む。

図７は本発明の実施例に係る電子装置を示すブロックダイアグラムである。図７に示すとおり、本発明の実施例に係る電子装置７０は記憶装置７１と処理装置７２を含む。

前記記憶装置７１は非過渡性コンピュータ読み取り可能な指令を記憶させる。具体的に、記憶装置７１は１個または複数個のコンピュータープログラムを含み、前記コンピュータープログラムはいろいろな形態のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリーと／或いは不揮発性メモリーに記憶されることができる。前記揮発性メモリーは例えば、ランダムアクセスメモリー（ＲＡＭ）と／或いはキャッシュメモリー（cache）等を含むことができる。前記不揮発性メモリーは例えば、リードオンリーメモリー（ＲＯＭ）、ハードディスク、フラッシュメモリー等を含むことができる。

前記処理装置７２は、中央処理ユニット（ＣＰＵ）であるか或いはデータ処理機能と／或いは指令実行機能を有している他の形態の処理ユニットであり、電子装置７０中の他のモジュールが所望の機能を実行することを制御することができる。本発明の実施例において、前記処理装置７２は、前記記憶装置７１に記憶されている前記コンピュータ読み取り可能な指令を実行することにより、前記電子装置７０が本発明の実施例に係るシナリオ制御方法のすべてまたは一部分のステップを実施するようにする。

本技術分野の技術者が知っているとおり、使用者の使用体験を向上させる技術的問題を解決するため、本実施例の電子装置は、通信バス、インターフェース等の周知の構造を更に含むことができ、前記周知の構造が本発明の特許請求の範囲に含まれることは勿論である。

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

図８は本発明の実施例に係るコンピュータ読み取り可能な記憶媒体を示す図である。図８に示すとおり、本発明の実施例に係るコンピュータ読み取り可能な記憶媒体８０は非過渡性コンピュータ読み取り可能な指令８１を記憶させる。処理装置で前記非過渡性コンピュータ読み取り可能な指令８１を実行することにより、本発明の実施例に係るシナリオ制御方法のすべてまたは一部分のステップを実施することができる。

前記コンピュータ読み取り可能な記憶媒体８０は、光記憶媒体（例えばＣＤ－ＲＯＭとＤＶＤ）、光磁気記録媒体（例えばＭＯ）、磁気記録媒体（例えばテープまたはポータブルハードドライブ）、内部に設けられる書き換え可能な不揮発性メモリーを具備する媒体（例えばメモリーカード）、内部にＲＯＭが設けられる媒体（例えばＲＯＭ装置）を含むことができるが、本発明はそれらにのみ限定されるものでない。

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

図９は本発明の実施例に係る端末装置のハードウェアを示す構造図である。図９に示すとおり、前記端末装置９０は前記実施例のシナリオ制御装置を含む。

前記端末装置はいろいろな形態により実施されることができる。本発明の端末装置は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信装置、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディアプレーヤー）、ナビゲーション、車用端末装置、車用表示端末、車用電子ミラー等の携帯式端末装置と、例えばデジタルＴＶ、デスクトップコンピュータ等の非携帯式端末装置を含むことができるが、本発明はそれらにのみ限定されるものでない。

他の実施例において、前記端末装置９０は他のモジュールを更に含むことができる。図９に示すとおり、前記端末装置９０は、電源ユニット９１、無線通信ユニット９２、Ａ／Ｖ（オーディオ／ビデオ）入力ユニット９３、使用者入力ユニット９４、検出ユニット９５、接続ユニット９６、制御装置９７、出力ユニット９８および記憶ユニット９９等を含むことができる。注意されたいことは、図９には各モジュールを具備する端末が示されているが、本発明は、示されているすべてのモジュールを含まなくてもよく、一部分のモジュールを取り替えるか或いはより少ないモジュールを含むことができる。

無線通信ユニット９２は端末装置９０と無線通信システムまたはインターネットとの間の無線通信を実施する。Ａ／Ｖ入力ユニット９３はオーディオまたはビデオ信号を受信する。使用者入力ユニット９４は使用者が入力する命令によりキーボード入力データを形成しかつそれにより端末装置の各操作を制御する。検出ユニット９５は端末装置９０の現在の状態、端末装置９０の位置、使用者が端末装置９０をタッチすることの有無、端末装置９０の傾向、端末装置９０の加速移動または減速移動と方向等を検出し、端末装置９０を制御して操作する指令または信号を形成する。接続ユニット９６は少なくとも１個の外部装置と端末装置９０を接続させるインターフェースになることができる。出力ユニット９８は視覚、オーディオと／或いは触覚形態の出力信号を出力するように構成される。記憶ユニット９９は制御装置９７により実行されかつ処理と制御操作に関するソフトウェアプログラムを記憶させるか或いは既に出力されるか或いは間もなく出力されるデータを暫時記憶させることができる。記憶ユニット９９は少なくとも１つの類型の記憶媒体を含むことができる。端末装置９０はネットワークにより記憶ユニット９９に接続されかつ記憶ユニット９９の記憶機能を採用するネットワーク記憶装置と協力することができる。制御装置９７は通常、端末装置の全体の操作を制御する。制御装置９７は、マルチメディアデータの再生またはプレーバックを制御するマルチメディアモジュールを含むことができる。制御装置９７はモデル認識処理をすることにより、タッチパネルに入力したハンドライティングインプットまたはドローイングインプットを認識してキャラクターまたは画像を形成することができる。電源ユニット９１は制御装置９７の制御により外部電力または内部電力を受信しかつそれを各部品とモジュールに提供する電力を供給する。

本発明に係るシナリオ制御方法の各実施例は例えば、コンピュータのソフトウェア、ハードウェア、任意に組み立てられるコンピュータ読み取り可能な記憶媒体がにより実施されることができる。本発明において提供する画像特殊効果の処理方法の各実施例は、アプリケーション固有集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、処理装置、制御装置、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実施できる電子ユニットのうち少なくとも一種により実施されることができる。他の実施例において、本発明に係るシナリオ制御方法の各実施例は制御装置９７により実施されることができる。ソフトウェアにより実施する場合、本発明に係るシナリオ制御方法の各実施例は少なくとも一種の機能または操作をする１つのソフトウェアモジュールにより実施されることができる。ソフトウェアコードは適合なプログラミングランゲージにより編集されるソフトウェアアプリケーション（プログラム）により実施されることができ、フトウェアコードは記憶ユニット９９に記憶されかつ制御装置９７により実施されることができる。

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

以上、具体的な実施例により本発明の基本的な原理を説明してきたが、注意されたいことは、上で公開した本発明の利点、優勢、効果等は、本発明の例示にしか過ぎないものであり、かつ本発明を限定するものでないため、本発明の各実施例は前記利点、優勢、効果等を必ず具備する必要はない。また、上で公開した前記具体的な細部は、本発明の例示にしか過ぎないものであり、かつ本発明を理解させるためのものであるが、本発明を限定するものでない。前記細部が公開されているが、本発明は前記細部のみにより実施されるものでない。

本発明の部品、装置、設備、システムを示すブロックダイアグラムは本発明の例示にしか過ぎないものであり、本発明の部品、装置、設備、システムをブロックダイアグラムの順にのみ連結、位置、配置させる意図は全然ない。本技術分野の技術者は常識により本発明の前記部品、装置、設備、システムを自由に連結、位置、配置させることができる。本発明中の「含む」、「包含する」、「具備する」という用語は開放的な用語であるので、「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その用語を交換して用いることができる。本発明において用いる「或いは」および「と」という用語は「と／或いは」ということを意味し、その用語を交換して用いることができる。特別な説明がない限り、「或いは」および「と」という用語は「と／或いは」ということを意味する。本発明において用いる「例えば」という用語は「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その事項を交換して用いることができる。

本発明において用いる「少なくとも１つ」という用語は、含まれる事項が選択可能な状態（例えば或いは、または等）に列挙されていることを意味する。例えば、「Ａ、ＢまたはＣのうち少なくとも１つ」という用語は、ＡまたはＢまたはＣを意味するか或いは、ＡＢまたはＡＢまたはＢＣを意味するか或いは、ＡＢＣ（すなわちＡとＢとＣ）を意味することができる。また、「例示的」という用語は、それが好適な実施例または他の実施例よりよいことを意味するものでない。

注意されたいことは、本発明のシステムと方法において、各部品または各ステップを分解と／或いは再び組み合わせることができる。前記分解と／或いは再び組み合わせるシステムと方法により本発明と同様な効果を獲得することができる。

本発明の特許請求の範囲が定めた技術的範囲を逸脱しない範囲において、本発明の技術的事項を変更、交換、改良することができる。本発明の特許請求の範囲が定めた技術的範囲は、前記処理、装置、製造、事項の組合せ、手段、方法および動きに係る具体的な実施例にのみ限定されるものでない。本発明の所定の事項により同様の機能を実現するか或いは同様の結果による現在の存在を獲得するか或いは後で処理する処理、装置、製造、事件の組合せ、手段、方法および動きをすることができる。すなわち、本発明の特許請求の範囲が定めた技術的範囲内において、前記処理、装置、製造、事件の組合せ、手段、方法および動きをすることができる。

本発明が公開する前記事項により本技術分野の技術者は本発明を実施するか或いは本発明を用いることができる。本発明が定めた技術的範囲を逸脱しない限り、本技術分野の技術者は本発明が公開する事項により本発明を容易に変更し、本発明が定めた一般的な原理を他の実施例に採用することができる。本発明は、具体的な実施例にのみ限定されるものでなく、本発明の原理と新規の特徴が含まれるあらゆる実施例を含むことができる。

以上、本発明を説明するため前記実施例により本発明を説明してきたが、前記実施例は本発明の例示にしか過ぎないものであるため、本発明は前記実施例の構成にのみ限定されるものでない。以上、本発明の複数の例示と実施例を説明してきたが、本技術分野の技術者は本発明の要旨を逸脱しない範囲において、変更、修正、改良、添加および組合せをすることができる。

Claims (8)

1. シナリオの第一形態を表示するステップと、
   触発対象を認識するステップと、
   前記触発対象の動きを判断するステップと、
   前記触発対象の動きにより前記シナリオの第一形態をシナリオの第二形態に変換させ、前記シナリオの第一形態と前記シナリオの第二形態を関連させるステップとを含み、
   前記触発対象を認識するステップは、
   前記触発対象の特徴情報を獲得するステップと、
   前記特徴情報と標準的な特徴情報を比較するステップと、
   前記比較の結果により触発対象であるかを判断するステップとを含み、
   前記触発対象の画像を獲得した後、前記画像の輪郭またはキーポイント情報を獲得し、かつ前記画像の輪郭またはキーポイント情報と予め記憶させる手の輪郭またはキーポイント情報を比較し、１つの比較結果が一致すると、獲得される前記画像が触発対象の画像であると判断し、
   前記触発対象の動きを判断するステップは、
   前記触発対象の面積を獲得するステップと、
   前記面積により前記触発対象の動きを判断するステップとを含み、
   前記触発対象の面積を獲得するステップは、
   最小の規則フレームを設定し、触発対象を最小の規則フレーム内に位置させるステップと、
   最小の規則フレームの面積を計算することにより触発対象の面積を獲得するステップとを含むことを特徴とするシナリオ制御方法。
2. 前記触発対象の特徴情報を獲得するステップは具体的に、前記触発対象上のキーポイント情報を獲得することであることを特徴とする請求項１に記載のシナリオ制御方法。
3. 前記触発対象の動きを判断するステップは、
   前記触発対象の第一特徴情報を獲得するステップと、
   前記触発対象の第二特徴情報を獲得するステップと、
   前記第一特徴情報と第二特徴情報により触発対象の動きを判断するステップとを含むことを特徴とする請求項１に記載のシナリオ制御方法。
4. 前記触発対象の動きを判断するステップは、
   前記触発対象の第一面積を獲得するステップと、
   前記触発対象の第二面積を獲得するステップと、
   前記第一面積と第二面積を比較した結果により触発対象の動きを判断するステップとを含むことを特徴とする請求項１に記載のシナリオ制御方法。
5. 前記触発対象は使用者の手であることを特徴とする請求項１に記載のシナリオ制御方法。
6. 前記触発対象の動きは、触発対象の開閉、回転、遠近方向の移動またはジェスチャーの変化を含むことを特徴とする請求項５に記載のシナリオ制御方法。
7. 少なくとも１つの処理装置と前記少なくとも１つの処理装置に通信可能に連結される記憶装置とを含み、
   前記少なくとも１つの処理装置には前記少なくとも１つの処理装置により実行されることができる指令が記憶されており、前記指令が前記少なくとも１つの処理装置により実行されることにより前記処理装置は前記請求項１～６のいずれか一項に記載のシナリオ制御方法を実施することを特徴とする電子装置。
8. コンピュータ指令が記憶されており、コンピュータで前記コンピュータ指令を実行することにより前記請求項１～６のいずれか一項に記載のシナリオ制御方法を実施することを特徴とする非過渡性コンピュータ読み取り可能な記憶媒体。