JP7479388B2 - ジェスチャ制御方法及び装置 - Google Patents

Description

［関連出願への相互参照］
本願は、２０１９年１０月２２日に中国特許局に提出された、中国特許出願第２０１９１１００８０４９．０の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に援用される。

［技術分野］
本発明は、コンピュータビジョンの技術分野に関し、特に、ジェスチャ制御方法及び装置に関する。

製品のインテリジェント化、電子化及びネットワーク化への継続な発展に伴い、個性化とファッションに対する人々のニーズを満たすために、ますます多くのインテリジェントな人とコンピュータのインタラクション方式が出現した。例えば、スマートフォンのタッチスクリーンは、タッチによって実現される人と機械のインタラクションシステムである。また、音声で制御する製品もあり、例えば、ユーザが音声で関連命令を入力し、製品が音声入力の命令に従って、関連する操作を実行する。

本発明の実施例は、少なくとも、ジェスチャ制御方法及び装置を提供する。

本発明の第１態様によれば、ジェスチャ制御方法を提供し、前記方法は、カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得することであって、前記ジェスチャ認識結果シーケンスは、前記Ｎフレームの画像に含まれる複数のジェスチャの認識結果を含むことと、前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することであって、Ｎ及びＭは両方とも１より大きい整数であり、ＮはＭより大きいか等しいことと、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御することと、を含む。

本発明の第２態様によれば、ジェスチャ制御装置を提供し、前記装置は、カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得するように構成される認識処理モジュールであって、前記ジェスチャ認識結果シーケンスは、前記Ｎフレームの画像に含まれる複数のジェスチャの認識結果を含む認識処理モジュールと、前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定するように構成されるジェスチャ決定モジュールであって、Ｎ及びＭは両方とも１より大きい整数であり、ＮはＭより大きいか等しいジェスチャ決定モジュールと、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御するように構成される操作制御モジュールと、を備える。

本発明の第３態様によれば、電子機器を提供し、前記電子機器は、プロセッサと、コンピュータプログラムが記憶されているメモリとを備え、当該コンピュータプログラムが前記プロセッサによって実行されるときに、前記第１態様におけるジェスチャ制御方法を実現する。

本発明の第４態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサで実行されるときに、前記第１態様におけるジェスチャ制御方法を実現する。
例えば、本願は以下の項目を提供する。
（項目１）
ジェスチャ制御方法であって、
カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得することであって、前記ジェスチャ認識結果シーケンスは、前記Ｎフレームの画像に含まれる複数のジェスチャの認識結果を含むことと、
前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することであって、Ｎ及びＭは両方とも１より大きい整数であり、ＮはＭより大きいか等しいことと、
前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御することと、を含む、前記ジェスチャ制御方法。
（項目２）
前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することは、
前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することを含む、
項目１に記載のジェスチャ制御方法。
（項目３）
ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定する前に、前記ジェスチャ制御方法は、
前記ジェスチャ認識結果シーケンスに含まれる複数の前記同一ジェスチャ認識結果には相違ジェスチャ認識結果が含まれ、且つ前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行することであって、前記相違ジェスチャ認識結果は前記同一ジェスチャ認識結果とは異なることを更に含む、
項目１又は２に記載のジェスチャ制御方法。
（項目４）
前記相違ジェスチャ認識結果に対して平滑化処理を実行することは、
前記相違ジェスチャ認識結果を前記同一ジェスチャ認識結果に補正すること、又は、
前記ジェスチャ認識結果シーケンスから前記相違ジェスチャ認識結果を削除することを含む、
項目３に記載のジェスチャ制御方法。
（項目５）
前記相違ジェスチャ認識結果に対して平滑化処理を実行することは、
時系列において前記相違ジェスチャ認識結果の前にあるジェスチャ認識結果、及び時系列において前記相違ジェスチャ認識結果の後にあるジェスチャ認識結果を、連続する複数のジェスチャ認識結果として使用することを含む、
項目３に記載のジェスチャ制御方法。
（項目６）
前記カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行することは、
前記ビデオストリーム内の単一フレームのカメラによって収集された画像を取得することであって、前記カメラによって収集された画像は、カメラ撮影視野空間に対応する画像であり、前記カメラ撮影視野空間は、ジェスチャ制御の有効空間領域を含む、ことと、
前記カメラによって収集された画像から、前記ジェスチャ制御の有効空間領域に対応する部分画像領域を選択することと、
前記部分画像領域に対して前記ジェスチャ認識処理を実行することと、を含む、
項目１ないし５のいずれか一項に記載のジェスチャ制御方法。
（項目７）
前記ジェスチャ制御方法は、
パラメータ調整用の可視化インターフェイスを介して、ユーザによって設定されたジェスチャ認識パラメータを受信することを更に含み、
前記ジェスチャ認識処理は、前記ジェスチャ認識パラメータに従って実行される、
項目１ないし６のいずれか一項に記載のジェスチャ制御方法。
（項目８）
前記ジェスチャ認識パラメータはＭを含む、
項目７に記載のジェスチャ制御方法。
（項目９）
前記目標機器は車両を含み、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御することは、
前記目標ジェスチャ認識結果に対応する制御命令を前記車両の機能コンポーネントに送信すること、又は、
前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御すること、を含む、
項目１ないし８のいずれか一項に記載のジェスチャ制御方法。
（項目１０）
前記機能コンポーネントは、メディアプレーヤを備え、
前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御することは、前記目標ジェスチャ認識結果に応答して、メディア再生状態を変更するように前記メディアプレーヤを制御することを含む、
項目９に記載のジェスチャ制御方法。
（項目１１）
前記機能コンポーネントは、車窓コントローラを備え、
前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御することは、前記目標ジェスチャ認識結果に応答して、窓ガラスを動かすように前記車窓コントローラを制御することを含む、
項目９に記載のジェスチャ制御方法。
（項目１２）
前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御することは、
前記目標ジェスチャ認識結果に応答して、前記画像を介して制御される機能コンポーネントに対応する機能状態インターフェイスに、前記機能コンポーネントの実行開始又は実行停止状態、音量の変化、又は目標対象に対する「いいね」マークのうちの少なくとも１つを表示することを含む、
項目９に記載のジェスチャ制御方法。
（項目１３）
ジェスチャ制御装置であって、
カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得するように構成される認識処理モジュールであって、前記ジェスチャ認識結果シーケンスは、前記Ｎフレームの画像に含まれる複数のジェスチャの認識結果を含む、認識処理モジュールと、
前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定するように構成されるジェスチャ決定モジュールであって、Ｎ及びＭは両方とも１より大きい整数であり、ＮはＭより大きいか等しい、ジェスチャ決定モジュールと、
前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御するように構成される操作制御モジュールと、を備える、前記ジェスチャ制御装置。
（項目１４）
前記ジェスチャ決定モジュールは、前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定するように構成される、
項目１３に記載のジェスチャ制御装置。
（項目１５）
前記ジェスチャ決定モジュールは、前記ジェスチャ認識結果シーケンスに含まれる複数の前記同一ジェスチャ認識結果間に相違ジェスチャ認識結果が含まれ、且つ前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行するように構成され、ここで、前記相違ジェスチャ認識結果は前記目標ジェスチャ認識結果とは異なる、
項目１３又は１４に記載のジェスチャ制御装置。
（項目１６）
前記ジェスチャ決定モジュールは、
前記相違ジェスチャ認識結果を前記同一ジェスチャ認識結果に補正し、又は、
前記ジェスチャ認識結果シーケンスから前記相違ジェスチャ認識結果を削除することにより、前記相違ジェスチャ認識結果に対して平滑化処理を実行するように構成される、
項目１５に記載のジェスチャ制御装置。
（項目１７）
前記ジェスチャ決定モジュールは、
時系列において前記相違ジェスチャ認識結果の前にあるジェスチャ認識結果、及び時系列において前記相違ジェスチャ認識結果の後にあるジェスチャ認識結果を、連続する複数のジェスチャ認識結果として使用するように構成される、
項目１５に記載のジェスチャ制御装置。
（項目１８）
前記認識処理モジュールは、
カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行する場合、前記ビデオストリーム内の単一フレームのカメラによって収集された画像を取得し、ここで、前記カメラによって収集された画像は、カメラ撮影視野空間に対応する画像であり、前記カメラ撮影視野空間は、ジェスチャ制御の有効空間領域を含み、
前記カメラによって収集された画像から、前記ジェスチャ制御の有効空間領域に対応する部分画像領域を選択し、
前記部分画像領域に対して前記ジェスチャ認識処理を実行するように構成される、
項目１３ないし１７のいずれか一項に記載のジェスチャ制御装置。
（項目１９）
前記ジェスチャ制御装置は更に、
パラメータ調整用の可視化インターフェイスを介して、ユーザによって設定されたジェスチャ認識パラメータを受信することにより、前記認識処理モジュールが、前記ジェスチャ認識パラメータに従って前記ジェスチャ認識処理を実行できるようにするように構成されるパラメータ受信モジュールを備える、
項目１３ないし１８のいずれか一項に記載のジェスチャ制御装置。
（項目２０）
前記目標機器は車両を含み、前記操作制御モジュールは、前記目標ジェスチャ認識結果に対応する制御命令を前記車両の機能コンポーネントに送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御するように構成される、
項目１３ないし１９のいずれか一項に記載のジェスチャ制御装置。
（項目２１）
前記機能コンポーネントは、メディアプレーヤを備え、
前記操作制御モジュールは、前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御する場合、前記目標ジェスチャ認識結果に応答して、メディア再生状態を変更するように前記メディアプレーヤを制御するように構成される、
項目２０に記載のジェスチャ制御装置。
（項目２２）
前記機能コンポーネントは、車窓コントローラを備え、
前記操作制御モジュールは、前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御する場合、前記目標ジェスチャ認識結果に応答して、窓ガラスを動かすように前記車窓コントローラを制御するように構成される、
項目２０に記載のジェスチャ制御装置。
（項目２３）
前記操作制御モジュールは更に、前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御する場合、前記目標ジェスチャ認識結果に応答して、前記画像を介して制御される機能コンポーネントに対応する機能状態インターフェイスに、前記機能コンポーネントの実行開始又は実行停止状態、音量の変化、又は目標対象に対する「いいね」マークのうちの少なくとも１つを表示するように構成される、
項目２０に記載のジェスチャ制御装置。
（項目２４）
電子機器であって、
プロセッサと、
コンピュータプログラムが記憶されているメモリと、を備え、当該コンピュータプログラムが前記プロセッサによって実行されるときに、項目１ないし１２のいずれか一項に記載のジェスチャ制御方法を実現する、前記電子機器。
（項目２５）
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、項目１ないし１２のいずれか一項に記載のジェスチャ制御方法を実現する、前記コンピュータ可読記憶媒体。

本発明の実施例に係るジェスチャ制御方法によれば、プリセットされた数の同一ジェスチャ認識結果を取得したと決定した場合にのみ、当該ジェスチャが有効であると確定し、当該有効なジェスチャを目標ジェスチャ認識結果として決定する。これにより、ジェスチャによる誤トリガをある程度回避し、ジェスチャ認識の精度を向上させることができる。例えば、ユーザが誤って特定のジェスチャを行った場合、当該ジェスチャに対応する同一ジェスチャ認識結果がプリセットされた数に達しない限り、当該ジェスチャは、有効な目標ジェスチャ認識結果として認められないため、目標機器は当該ジェスチャに応答せず、誤ったトリガを減らすことができる。

本発明の少なくとも１つの実施例に係るジェスチャ制御方法のフローチャートを示す。 本発明の少なくとも１つの実施例に係る静的ジェスチャの概略図を示す。 本発明の少なくとも１つの実施例に係る動的ジェスチャの概略図を示す。 本発明の少なくとも１つの実施例に係る別のジェスチャ制御方法のフローチャートを示す。 本発明の少なくとも１つの実施例に係る更に別のジェスチャ制御方法のフローチャートを示す。 本発明の少なくとも１つの実施例に係る音楽プレーヤの機能インターフェイスの概略図を示す。 本発明の少なくとも１つの実施例に係るジェスチャ制御装置のブロック図を示す。 本発明の少なくとも１つの実施例に係る別のジェスチャ制御装置のブロック図を示す。 本発明の少なくとも１つの実施例に係る電子機器のブロック図を示す。

本発明の実施例は、ジェスチャインタラクションを介して機器を制御するためのジェスチャ制御方法を提供する。

図１は、本発明の少なくとも１つの実施例に係るジェスチャ制御方法のフローチャートを示し、当該方法は、ジェスチャ制御装置によって実行でき、当該方法は、ステップ１００～ステップ１０４を含み得る。

ステップ１００において、カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得する。

ユーザが機器を制御したい場合、例えば、当該機器の特定の機能を起動するとき、特定のジェスチャを行うことができる。当該機器を目標機器と称することができ、目標機器を制御することは、当該目標機器の機能コンポーネントを制御することであり得、当該機能コンポーネントは、ハードウェア又はソフトウェアモジュールであってもよい。一例において、前記目標機器は、車両を含むが、これに限定されず、目標機器を制御することは、車両に設置されたメディアプレーヤ、エアコンコントローラ、車窓コントローラなどの１つ又は複数の機能コンポーネントを制御することを含み得るが、これらに限定されない。理解できることとして、前記目標機器は、携帯電話、テレビ、エアコン、スピーカ、スマートホームなどの他のアプリケーションデバイスを更に含み得る。

このステップにおいて、カメラでユーザのジェスチャのビデオストリームを収集することができ、例えば、目標機器に付属のカメラを使用して収集することができる。当該ビデオストリームには、カメラによって収集された時系列的に連続するＮフレームの画像が含まれ、前記画像内のジェスチャは、ユーザが目標機器の機能コンポーネントの実行を制御するときに行うジェスチャである。Ｎは１より大きい整数である。

上記のビデオストリームにおけるＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得することができ、当該ジェスチャ認識結果シーケンスは、複数のジェスチャの認識結果を含む。

ユーザが行うジェスチャは、静的ジェスチャであってもよいし、動的ジェスチャであってもよい。図１ａ及び図１ｂには、いくつかのジェスチャが示されているが、実際の実施ではこれらのジェスチャに限定されないことを理解できる。例示的に、図１ａは、「ＯＫ」ジェスチャ、「Ｖ」ジェスチャ、親指を立てるジェスチャ、手のひらのジェスチャ、人差し指を立てるジェスチャ及び拳のジェスチャなどの一連の静的ジェスチャを示す。例示的に、図１ｂは、手のひらと拳の変換（拳から手のひらへの変換、手のひらから拳への変換）、手のひらの平行移動（上、下、左、右）、人差し指の回転（時計回り、反時計回り）などの一連の動的ジェスチャを示す。

例えば、当該ジェスチャ認識結果シーケンスに含まれる複数のジェスチャの認識結果は、静的ジェスチャであってもよく、例えば、認識された画像内のジェスチャが「Ｖ」ジェスチャであるか、又は認識された画像内のジェスチャがＯＫジェスチャであることができる。

別の例として、Ｎフレームの画像に対してジェスチャ認識処理を実行することによって取得されたジェスチャ認識結果シーケンスはまた、複数の動的ジェスチャを含み得、例えば、複数の「手のひらの平行移動」ジェスチャを認識することができる。

別の例として、当該ジェスチャ認識結果シーケンスは、静的ジェスチャと動的ジェスチャの組み合わせであってもよく、例えば、ジェスチャ認識結果シーケンスは、「ＯＫ」ジェスチャ及び「手のひらの平行移動」ジェスチャを含む。

このステップでのジェスチャ認識は、例えば、事前にトレーニングされたジェスチャ認識ニューラルネットワークによって実行でき、カメラによって収集された画像を当該ニューラルネットワークに入力することにより、当該画像に対応するジェスチャ認識結果を取得することができる。

ステップ１０２において、前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定する。

このステップでは、プリセットされた数の同一ジェスチャ認識結果を取得したと決定した場合にのみ、当該ジェスチャが有効であると確認するように設定でき、有効なジェスチャは目標ジェスチャ認識結果と呼ばれる。当該プリセットされた数はＭに設定でき、Ｍも１より大きい整数であり、ＮはＭより大きいか等しい。

例えば、時系列的に連続するＮフレームの画像において連続する５つの「Ｖ」ジェスチャを認識した場合、当該認識された「Ｖ」ジェスチャを目標ジェスチャ認識結果として確定する。別の例として、時系列的に連続するＮフレームの画像において連続する５つの「手のひらの平行移動」ジェスチャを認識した場合、当該「手のひらの平行移動」ジェスチャを目標ジェスチャ認識結果として確定し、ここで、各「手のひらの平行移動」ジェスチャは、複数のフレームの画像から決定できる。

認識された連続するジェスチャ数がプリセットされた数に達しない場合、これらの画像を破棄して再度認識する。例えば、時系列的に連続するＮフレームの画像において認識された「Ｖ」ジェスチャが３つであり、プリセットされた数「５」に達しない場合、当該３つの「Ｖ」ジェスチャを破棄し、時系列的に連続するＮフレームの画像に対してジェスチャ認識を再度実行する。

目標ジェスチャ認識結果を決定した場合、続いてステップ１０４を実行し、そうでない場合、目標ジェスチャ認識結果を決定しなかった場合、ステップ１００～ステップ１０２を再実行する。

ステップ１０４において、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御する。

このステップでは、上記で決定された目標ジェスチャ認識結果に従って、対応する目標機器を制御することができる。具体的には、目標機器の機能コンポーネントを制御することができ、例えば、当該機能コンポーネントがメディアプレーヤ、例えば、車両で音楽を再生する音量制御モジュールである場合、目標ジェスチャ認識結果に従って、音量の増減を制御することができる。実際の実施では、目標ジェスチャ認識結果に対応する制御命令を目標機器に送信し、目標機器が、当該命令に従って動作することができか、又は、本実施例に係るジェスチャ制御装置が、当該命令に従って、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御することができる。

本実施例に係るジェスチャ制御方法によれば、プリセットされた数の同一ジェスチャ認識結果を取得したと決定した場合にのみ、当該ジェスチャが有効であると確定し、当該有効なジェスチャを目標ジェスチャ認識結果として決定する。これにより、ジェスチャによる誤トリガをある程度回避し、ジェスチャ認識の精度を向上させることができる。例えば、ユーザが誤って特定のジェスチャを行った場合、当該ジェスチャに対応する同一ジェスチャ認識結果がプリセットされた数に達しない限り、当該ジェスチャは、有効な目標ジェスチャ認識結果として認められないため、目標機器は当該ジェスチャに応答せず、誤ったトリガを減らすことができる。

図２は、本発明の少なくとも１つの実施例の別のジェスチャ制御方法を示し、当該方法は、ステップ２００～ステップ２０８を含み得、ここで、図１のステップと同じステップについては繰り返して説明しない。

ステップ２００において、カメラによって収集された複数のフレームの画像を受信し、前記画像内のジェスチャは、ユーザが目標機器の機能コンポーネントの実行を制御するときに行うジェスチャである。

当該複数のフレームの画像は、カメラによって収集されたビデオストリームに含まれる時系列的に連続するＮフレームの画像であってもよい。

ステップ２０２において、前記複数のフレームの画像に対してジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得する。

例えば、カメラによって収集された画像は複数であり、当該複数のフレームの画像に従って、複数のジェスチャを認識することができ、当該複数のジェスチャは、１つのジェスチャ認識結果シーケンスを構成することができる。例えば、当該ジェスチャ認識結果シーケンスは、「Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、拳、Ｖ、Ｖ」を含み得る。

上記のジェスチャ認識結果シーケンスにおいて、複数の「Ｖ」は複数の同一ジェスチャ認識結果と呼ばれることができ、「拳」は相違ジェスチャ認識結果と呼ばれることができ、当該相違ジェスチャ認識結果と同一ジェスチャ認識結果は、異なるジェスチャ認識結果である。他の例において、相違ジェスチャ認識結果の数は複数であってもよい。

ステップ２０４において、前記ジェスチャ認識結果シーケンスに含まれる複数の前記同一ジェスチャ認識結果間に相違ジェスチャ認識結果が含まれ、且つ前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行し、ここで、前記相違ジェスチャ認識結果は前記同一ジェスチャ認識結果とは異なる。言い換えれば、前記ジェスチャ認識結果シーケンスが、前記同一ジェスチャ認識結果と異なる、少なくとも１つのフレームの画像の相違ジェスチャ認識結果を含み、前記ジェスチャ認識結果シーケンスにおいて、前記相違ジェスチャ認識結果の前のジェスチャ認識結果及び前記相違ジェスチャ認識結果の後のジェスチャ認識結果が両方とも前記同一ジェスチャ認識結果であり、且つ前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行する。ここで、前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことを決定することは、前記平滑化処理後の前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことを決定することを含む。

例えば、上記の例「Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、拳、Ｖ、Ｖ」のジェスチャ認識結果シーケンスにおいて、「拳」は相違ジェスチャ認識結果であり、「拳」ジェスチャが認識される前には６つの「Ｖ」ジェスチャが認識され、「拳」ジェスチャが認識された後に２つの「Ｖ」ジェスチャが認識され、つまり、相違ジェスチャ認識結果の前のジェスチャ認識結果及び相違ジェスチャ認識結果の後のジェスチャ認識結果は、両方とも同一ジェスチャ認識結果、即ち、「Ｖ」ジェスチャである。また、前記ジェスチャ認識結果シーケンスにおける相違ジェスチャ認識結果の数の割合はプリセット値未満である場合、例えば、ジェスチャ認識結果シーケンスの総数に対する「相違ジェスチャの数」の比率がプリセットされた値（例えば、１５％）より低い場合、当該相違ジェスチャ認識結果に対して平滑化処理を実行する。実際の実施は当該判断方式に限定されず、ここでは一例に過ぎない。

相違ジェスチャ認識結果に対して平滑化処理を実行すると確認した後に実行する平滑化処理は、次の処理を含むが、これらに限定されない。

例えば、前記相違ジェスチャ認識結果を前記同一ジェスチャ認識結果に補正することができ、例えば、「拳」ジェスチャを「Ｖ」ジェスチャに補正することができ、つまり、上記のジェスチャ認識結果シーケンス「Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、拳、Ｖ、Ｖ」を「Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ」に補正する。

別の例として、相違ジェスチャ認識結果をジェスチャ認識結果シーケンスから除去することもでき、例えば、上記のシーケンス「Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、拳、Ｖ、Ｖ」を「Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ」に補正することができる。

別の例として、時系列において相違ジェスチャ認識結果の前にあるジェスチャ認識結果、及び時系列において相違ジェスチャ認識結果の後にあるジェスチャ認識結果を、連続する複数のジェスチャ認識結果として使用することもできる。即ち、ジェスチャ認識結果シーケンス「Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、Ｖ、拳、Ｖ、Ｖ」は、連続する８つの「Ｖ」ジェスチャと見なされ、「拳」ジェスチャを無視することができる。

ステップ２０６において、平滑化処理後のジェスチャ認識結果シーケンスについて、前記ジェスチャ認識結果シーケンスが、連続するプリセットされた数の同一ジェスチャ認識結果を含むことを認識した場合、目標ジェスチャ認識結果を認識したと確定する。

例えば、本実施例では、連続するＭ個の同一ジェスチャ認識結果を認識した場合、当該同一ジェスチャ認識結果が目標ジェスチャ認識結果であり、目標ジェスチャ認識結果は有効であると確定するように設定できる。例えば、連続する８つの「Ｖ」ジェスチャを認識した場合、当該「Ｖ」ジェスチャが目標ジェスチャ認識結果であると確定する。

ステップ２０８において、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御する。

本実施例に係るジェスチャ制御方法によれば、プリセットされた数の同一ジェスチャを認識した場合にのみ、当該ジェスチャが有効であると確定することにより、ジェスチャ認識の精度を向上させることができ、相違ジェスチャ認識結果に対して平滑化処理を実行することにより、ジェスチャ認識の感度を高め、ジェスチャ認識の応答速度を向上させることができる。

例えば、ユーザが実際に行ったジェスチャが、プリセットされた数の「Ｖ」ジェスチャ（１０個の「Ｖ」ジェスチャなど）に達したが、誤認識により、９つの「Ｖ」ジェスチャと２つの「拳」ジェスチャが認識された場合、本実施例に係る平滑化処理を実行しない場合、当該９つの「Ｖ」ジェスチャを破棄して再度認識する必要があるため、ユーザのジェスチャにタイムリーに応答することができない。本実施例に係る方法によれば、上記の２つの「拳」ジェスチャ認識結果を「Ｖ」ジェスチャ認識結果に補正することにより、有効な「Ｖ」ジェスチャを迅速に認識し、ユーザジェスチャに迅速に応答することができる。

図３は、本発明の少なくとも１つの実施例に係る更に別のジェスチャ制御方法のフローチャートを示し、当該方法は、ステップ３００～ステップ３０６を含む。

ステップ３００において、ビデオストリーム内の単一フレームのカメラによって収集された画像を取得し、前記カメラによって収集された画像は、カメラ撮影視野空間に対応する画像であり、前記カメラ撮影視野空間は、ジェスチャ制御の有効空間領域を含む。

本実施例では、カメラは車両の特定の位置に固定され、当該カメラは、画像を収集するときに対応するカメラ撮影視野空間を有し、カメラによって収集された画像は当該空間内の画像である。ここで、当該視野空間は、ジェスチャ制御の有効空間領域を含み、例えば、運転者が車両の中央コントロールパネルの前の特定の空間領域でジェスチャを行った場合にのみ、当該ジェスチャに対応する制御をトリガし、運転者が当該有効空間領域以外の領域でジェスチャを行った場合、ジェスチャ制御はトリガされない。カメラによって収集された画像は、上記のジェスチャ制御の有効空間領域に対応する画像を含む。

ステップ３０２において、前記カメラによって収集された画像から、前記ジェスチャ制御の有効空間領域に対応する部分画像領域を選択する。

このステップは、カメラによって収集された画像をトリミングして、カメラによって収集された画像内の部分画像領域を取得することができ、当該部分画像領域に対応する撮影視野空間は、ジェスチャ制御の有効空間領域である。例えば、カメラは、広い範囲の空間領域を撮影し、車両の内部シーン全体を撮影することができる。このステップで選択された部分画像領域は、カメラによって収集された画像に含まれる、対応する車両の中央コントロールパネルの前の部分領域であり、当該部分領域は、ジェスチャ制御の有効空間領域であり、運転者が当該有効空間領域内でジェスチャを行う場合にのみ、ジェスチャ制御の応答をトリガする。

ステップ３０４において、部分画像領域に対してジェスチャ認識処理を実行して、ジェスチャ認識結果を取得する。

いくつかの実施例において、ビデオストリームにおけるＮフレームの画像に対してジェスチャ認識を実行する場合、各フレームの画像から部分画像領域を選択し、当該部分画像領域に対してジェスチャ認識処理を実行することができる。上記の画像は、カメラによって収集された画像である。

ステップ３０６において、ジェスチャ認識結果に従って目標機器の制御を実行する。

例えば、カメラによって収集されたＮフレームの画像において、認識により１つのジェスチャ認識結果シーケンスを取得する。当該ジェスチャ認識結果シーケンスにプリセットされた数のＭ個の同一ジェスチャ認識結果がある場合、又は連続するＭ個の同一ジェスチャ認識結果がある場合、当該同一ジェスチャ認識結果が目標ジェスチャ認識結果であると確定する。当該目標ジェスチャ認識結果に対応する制御命令に従って、目標機器を制御する。

本実施例に係るジェスチャ制御方法によれば、プリセットされた数の同一ジェスチャ認識結果を取得したと決定した場合にのみ、当該ジェスチャに従って機器を制御することにより、誤ったトリガを回避することができる。さらに、画像内の部分画像領域内のジェスチャを認識することにより、部分画像領域外の他の領域画像の干渉をある程度回避することができ、ジェスチャの認識をより正解にし、部分画像領域に対してのみジェスチャ認識処理を実行することは、すべての画像を処理することよりも処理速度が速くなる。

さらに別の実施例において、ジェスチャ制御機能のいくつかのパラメータを可視的に調整することができる。例えば、ジェスチャ認識に使用されるジェスチャ認識パラメータを可視化インターフェイスで可視的に表示することができ、ユーザは、パラメータを調整する可視化インターフェイス上のジェスチャ認識パラメータをプログレスバーの形式で調整する。例えば、当該ジェスチャ認識パラメータは、上記の「Ｍ個の同一ジェスチャ認識結果を認識」することのＭを含み得る。例えば、１０個の同一の「Ｖ」ジェスチャを認識した場合、「Ｖ」ジェスチャを認識したと確定するように調整してもよく、８つの同一の「Ｖ」ジェスチャを認識した場合、「Ｖ」ジェスチャを認識したと確定するように設定してもよい。ユーザが当該ジェスチャ認識パラメータを調整した後、システムは、当該ジェスチャ認識パラメータに従ってジェスチャ認識処理を実行することができる。可視化インターフェイスを介してジェスチャ認識パラメータを調整することはより便利である。

さらに、異なるジェスチャについて、異なるジェスチャ認識パラメータを設定することができ、上記のＭを例にとると、異なるジェスチャに対応するＭは異なることができる。例えば、１０個の同じ「Ｖ」ジェスチャを認識した場合、「Ｖ」ジェスチャを認識したと確定し、６つの「ＯＫ」ジェスチャを認識した場合、「ＯＫ」ジェスチャを認識したと確定する。即ち、「Ｖ」ジェスチャに対応するＭは１０であり、「ＯＫ」ジェスチャに対応するＭは６である。

当該ジェスチャ認識パラメータは、例えば、シーケンス内の相違ジェスチャの数、相違ジェスチャの前の同一ジェスチャの数などを更に含み得、これらのパラメータも、上記の可視化インターフェイスを介してプログレスバーの形式で調整及び設定することができる。さらに、各パラメータは個別に調整でき、例えば、異なるジェスチャに対応するＭを例にとると、上記の例では、「Ｖ」ジェスチャに対応するＭは１０であり、「ＯＫ」ジェスチャに対応するＭは６であり、「Ｖ」ジェスチャや「ＯＫ」ジェスチャなどの異なるジェスチャに対応するＭは個別に調整できる。

以下、車両にジェスチャ制御機能を適用することを例として、本発明に係るジェスチャ制御方法について説明したが、理解できることとして、当該ジェスチャ制御方法は、車両に適用されることに限定されず、他の機器にも適用されることができ、例えば、携帯電話、スマートホームシステムなどに適用できる。

車両において、運転者のジェスチャ動作により、車窓、ライトの明るさ、エアコン温度などの車両付属品を調整することができ、車両内の車両エンターテインメントコンポーネントを制御することもでき、例えば、音楽の再生を制御する（例えば、曲を切り替えたり、音量を調整したりするなど）ことができる。ジェスチャを介してゲームを制御することもできる。例えば、図４は、本発明の少なくとも１つの実施例に係る音楽プレーヤの機能インターフェイスの概略図を示し、ユーザは、タップすることで音楽プレーヤをオンにすることができる。一例において、ユーザが当該ペレーヤインターフェイス上のジェスチャ制御領域４１（即ち、ペレーヤの下部の領域）をクリックすることは、音楽再生に関する機能に対するジェスチャ制御をオンにすることを示し、ユーザが当該ジェスチャ制御領域４１を再度クリックすることは、音楽再生に関する機能に対するジェスチャ制御をオフにすることを示す。

図４に示されたインターフェイスは、音楽プレーヤの機能インターフェイスである。ユーザは、様々なジェスチャを行うことにより、カメラによって収集された画像に従って、ジェスチャ制御装置によって音楽プレーヤ音楽の再生機能を制御することができる。また、図４に示されたインターフェイスにおいて、画像のジェスチャ認識結果に応答して、音楽プレーヤを制御することもできる。例えば、画像のジェスチャ認識結果に応答して、音楽再生の音量を上げることができる。別の例では、画像のジェスチャ認識結果に応答して、車窓ガラスを動かすように車窓コントローラを制御することもできる。別の例では、画像のジェスチャ認識結果に応答して音楽再生の音量を上げるだけでなく、画像の変化によって生成される音楽プレーヤに関連する制御機能の変化状態も同期的に表示することができる。

図４を参照すると、ジェスチャ制御領域４１には、複数のジェスチャのアイコンがハイライト表示され、当該音楽再生シナリオは、複数のジェスチャによる制御をサポートすることを示し、例えば、関連するジェスチャと制御に対応する音楽再生機能については、表１を参照することができ、ここで、ジェスチャは、次の通りである。

上記の表１の各ジェスチャの認識について、以下の所定のルールに従って目標ジェスチャ認識結果を決定することができる。ジェスチャ認識結果シーケンスにプリセットされた数の同一ジェスチャ認識結果が存在する場合、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると確定する。

例示的に、音楽再生に関連する機能に対するジェスチャ制御をオンにした後、ユーザは「ＯＫ」ジェスチャを行うことができ、この場合、音楽プレーヤは音楽の再生を開始する。さらに、図４の機能状態インターフェイスには、音楽再生機能の実行開始を同期的に表示でき、同様に、ユーザが「拳」ジェスチャを行う場合、音楽再生を一時停止し、機能状態インターフェイスには、音楽再生機能の実行停止も同期的に表示できる。

例えば、ユーザは人差し指の回転ジェスチャを行い、このとき、当該人差し指の回転ジェスチャを認識すると、ジェスチャ制御装置は、まず、「ＯＫ」ジェスチャを既に認識したか否かを判断する。「ＯＫ」ジェスチャが以前に認識されていない場合、応答せず、「ＯＫ」ジェスチャが以前に認識されている場合、人差し指の回転ジェスチャに対応するコンポーネント制御情報に従って、音楽プレーヤの音量を調整することができる。例えば、ジェスチャが「人差し指を時計回りに回転する」ことである場合、音楽プレーヤを制御して音楽の再生音量を上げることができる。同時に、図４の機能状態インターフェイスにおいて、音量調整表示モジュール４２を介して、人差し指の時計回りの回転に伴う音量増加を同期的に表示することもできる。

別の例として、ユーザは手のひらを左から右へ平行移動するジェスチャを行い、このとき、当該人差し指の回転ジェスチャを認識すると、ジェスチャ制御装置は、まず、「ＯＫ」ジェスチャを既に認識したか否かを判断することができる。「ＯＫ」ジェスチャが以前に認識されていない場合、応答せず、「ＯＫ」ジェスチャが以前に認識されている場合、手のひらを左から右へ平行移動するジェスチャに従って、音楽プレーヤを調整して次の曲に切り替えることができる。同時に、図４の機能状態インターフェイスにおいて、歌表示モジュール４３を介して、手のひらの左から右への平行移動に伴う音楽切り替え効果を同期に表示することもできる。

さらに、ユーザは、ジェスチャによって曲の「いいね」マークをアクティブ化することもできる。例えば、ユーザは親指を立てるジェスチャを行う場合、当該ジェスチャに応答して、ジェスチャ制御装置は、図４に示された機能状態インターフェイスに特定の曲に対する「いいね」マークを表示するように音楽プレーヤを制御することができる。例えば、図４の「いいね」マーク４４をハイライト表示する。同様に、「いいね」マークをアクティブ化する前に「ＯＫ」ジェスチャを既に認識したかどうかを事前に判断することができる。

他の機能のジェスチャ制御については詳しく説明しない。

図５は、本発明の少なくとも１つの実施例に係るジェスチャ制御装置のブロック図を示し、図５に示されたように、当該装置は、認識処理モジュール５００、ジェスチャ決定モジュール５０２及び操作制御モジュール５０４を備える。

認識処理モジュール５００は、カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得することができる。前記ジェスチャ認識結果シーケンスは、前記Ｎフレームの画像に含まれる複数のジェスチャの認識結果を含む。

ジェスチャ決定モジュール５０２は、前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することができ、ここで、Ｎ及びＭは両方とも１より大きい整数であり、ＮはＭより大きいか等しい。

操作制御モジュール５０４は、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、又は、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御することができる。

本実施例に係るジェスチャ制御装置によれば、認識処理モジュール及びジェスチャ決定モジュールは、プリセットされた数の同一ジェスチャ認識結果を取得したと決定した場合にのみ、当該ジェスチャが有効であると確定し、当該有効なジェスチャを目標ジェスチャ認識結果として決定する。これにより、ジェスチャによる誤トリガをある程度回避し、ジェスチャ認識の精度を向上させることができる。例えば、ユーザが誤って特定のジェスチャを行った場合、当該ジェスチャに対応する同一ジェスチャ認識結果がプリセットされた数に達しない限り、当該ジェスチャは、有効な目標ジェスチャ認識結果として認められないため、目標機器は当該ジェスチャに応答せず、誤ったトリガを減らすことができる。

一実施例において、前記ジェスチャ決定モジュール５０２は、前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することができる。

一実施例において、前記ジェスチャ決定モジュール５０２は更に、前記ジェスチャ認識結果シーケンスに含まれる複数の前記同一ジェスチャ認識結果間に相違ジェスチャ認識結果が含まれ、且つ前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行することができ、前記相違ジェスチャ認識結果は前記同一ジェスチャ認識結果とは異なる。言い換えれば、前記ジェスチャ認識結果シーケンスが、前記同一ジェスチャ認識結果と異なる、少なくとも１つのフレームの画像の相違ジェスチャ認識結果を含み、前記ジェスチャ認識結果シーケンスにおいて、前記相違ジェスチャ認識結果の前のジェスチャ認識結果及び前記相違ジェスチャ認識結果の後のジェスチャ認識結果が両方とも前記同一ジェスチャ認識結果であり、且つ前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行する。ここで、前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことを決定することは、前記平滑化処理後の前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことを決定することを含む。

一実施例において、前記ジェスチャ決定モジュール５０２は、前記相違ジェスチャ認識結果に対して平滑化処理を実行する場合、前記相違ジェスチャ認識結果を前記同一ジェスチャ認識結果に補正するか、又は前記ジェスチャ認識結果シーケンスから前記相違ジェスチャ認識結果を削除することができる。

一実施例において、前記ジェスチャ決定モジュール５０２は、前記相違ジェスチャ認識結果に対して平滑化処理を実行する場合、時系列において前記相違ジェスチャ認識結果の前にあるジェスチャ認識結果、及び時系列において前記相違ジェスチャ認識結果の後にあるジェスチャ認識結果を、連続する複数のジェスチャ認識結果として使用することができる。

一実施例において、前記認識処理モジュール５００は、カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行する場合、ビデオストリーム内の単一フレームのカメラによって収集された画像を取得することであって、前記カメラによって収集された画像は、カメラ撮影視野空間に対応する画像であり、前記カメラ撮影視野空間は、ジェスチャ制御の有効空間領域を含むことと、前記カメラによって収集された画像から、前記ジェスチャ制御の有効空間領域に対応する部分画像領域を選択することと、前記部分画像領域に対して前記ジェスチャ認識処理を実行することと、を実行することができる。

一実施例において、図６に示されたように、当該装置は更に、パラメータ受信モジュール６００を備えることができる。

パラメータ受信モジュール６００は、パラメータ調整用の可視化インターフェイスを介して、ユーザによって設定されたジェスチャ認識パラメータを受信することにより、前記認識処理モジュール５００が、前記ジェスチャ認識パラメータに従って前記ジェスチャ認識処理を実行できるようにすることができる。

一実施例において、目標機器は車両を含み、前記操作制御モジュール５０４は、前記目標ジェスチャ認識結果に対応する制御命令を前記車両の機能コンポーネントに送信するか、又は前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御することができる。

一実施例において、前記機能コンポーネントは、メディアプレーヤ及び／又は車窓コントローラを備え、前記操作制御モジュール５０４は、前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御する場合、前記目標ジェスチャ認識結果に応答して、メディア再生状態を変更するように前記メディアプレーヤを制御するか、又は前記目標ジェスチャ認識結果に応答して、窓ガラスを動かすように前記車窓コントローラを制御するように構成される。

一実施例において、前記操作制御モジュール５０４は、前記目標ジェスチャ認識結果に応答して、前記画像を介して制御される機能コンポーネントに対応する機能状態インターフェイスに、前記機能コンポーネントの実行開始又は実行停止状態、音量の変化、目標対象に対する「いいね」マークのうちの少なくとも１つを表示することができる。

図７は、本発明の少なくとも１つの実施例に係る電子機器のブロック図を示し、前記電子機器は、メモリ７１及びプロセッサ７２を備える。前記メモリ７１には、コンピュータプログラムが記憶され、前記コンピュータプログラムが前記プロセッサ７２によって実行されるときに、本発明の任意の実施例に記載のジェスチャ制御方法を実現する。

本発明の少なくとも１つの実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を更に提供し、前記プログラムがプロセッサによって実行されるときに、本発明の任意の実施例に記載のジェスチャ制御方法を実現する。

当業者は、本発明の１つ又は複数の実施例が、方法、システム、またはコンピュータプログラム製品として提供できることを理解すべきである。したがって、本発明の１つ又は複数の実施例は、完全ハードウェアの実施例、完全ソフトウェアの実施例、又はソフトウェアとハードウェアの組み合わせの実施例の形を採用することができる。さらに、本発明の１つ又は複数の実施例は、コンピュータ可読プログラムコードを含む１つ又は複数のコンピュータ可読記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）に記憶されたコンピュータプログラム製品の形を採用することができる。

本発明の実施例は、コンピュータ可読記憶媒体を更に提供し、当該記憶媒体はコンピュータプログラムを記憶することができ、前記プログラムがプロセッサによって実行されるときに、本発明の任意の実施例に記載のジェスチャ制御方法のステップを実現するか、及び／又は、本発明の任意の実施例に記載のジェスチャ認識方法のステップを実現する。ここで、上記の「及び／又は」は、両者のうちの少なくとも１つを有することを表し、例えば、「Ａ及び／又はＢ」は、Ａが独立で存在する場合、Ｂが独立で存在する場合、及びＡとＢが同時に存在する場合の３つの場合を表す。

本発明の各実施例はすべて漸進的に説明されており、各実施例間の同じまたは類似なところは相互に参照することができ、各実施例は、他の実施例との相違に焦点を当て説明している。特に、ジェスチャ制御装置の実施例の場合、それが方法の実施例とほぼ同じであるため、それに対する説明を簡素化し、関連する部分については、方法の実施例の説明の対応する部分を参照することができる。

以上、本発明の特定の実施例について説明している。他の実施例は添付の特許請求の範囲に含まれる。場合によっては、特許請求の範囲に記載の動作又はステップは、実施例とは異なる順序で実行でき、それでも所望の結果を達成することができる。さらに、添付の図面に示されるプロセスは、所望の結果を達成するために、示された特定の順序又は連続する順序を必ずしも必要としない。いくつかの実施形態において、マルチタスク処理及び並行処理も可能であり、それがより有利であり得る。

本発明で説明された技術的主題及び機能操作の実施例は、デジタル電子回路、有形コンピュータソフトウェア又はファームウェア、本発明に開示された構造及びその構造的同等物を含むコンピュータハードウェア、又はそれらの１つ又は複数の組み合わせで実現できる。本発明で説明された技術的主題の実施例は、１つ又は複数のコンピュータプログラムとして実施でき、つまり、当該実施例は、有形非一時的プログラム媒体に符号化されてデータ処理装置によって実行されるか、データ処理装置の操作を制御するコンピュータプログラム命令のうちの１つ又は複数のモジュールとして実現できる。代替的または追加的に、プログラム命令は、人工的に生成された伝播信号、例えば、機械で生成された電気、光又は電磁信号に符号化されることができ、当該信号は、情報を符号化し、データ処理装置による実行のために適切な受信装置に伝送するために生成される。コンピュータ記憶媒体は機械可読ストレージ装置、機械可読机器ストレージ基板、ランダム又はシリアルアクセスメモリ機器、又はそれらの１つ又は複数の組み合わせであってもよい。

本発明で説明された処理及び論理プロセスは、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータによって実行でき、これにより、入力データを処理して生成した出力に従って、対応する機能を実行することができる。前記処理及び論理プロセスは、専用論理回路－例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）によって実行されてもよく、装置は専用論理回路として実現されてもよい。

コンピュータプログラムを実行するための適合コンピュータは、例えば、汎用マイクロプロセッサ及び／又は専用マイクロプロセッサ、又は他のタイプの任意の中央処理ユニットを含む。通常、中央処理ユニットは、読み取り専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。コンピュータの基本的なコンポーネントは、命令を実施または実行するための中央処理ユニット及び命令及びデータを記憶するための１つ又は複数のメモリ機器を備える。通常、コンピュータは更に、データを記憶するための１つ又は複数の大容量ストレージ装置、例えば、ディスク、磁気光学ディスクまたは光ディスクを含むか、又はコンピュータは、当該大容量ストレージ装置に動作可能に結合され、それからデータを受信し又はそれにデータを送信するか、又はデータ受信と送信の両方を行う。しかしながら、コンピュータにそのような機器が必要なわけではない。さらに、コンピュータは、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又は例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリ駆動器の携帯式ストレージ装置に嵌め込られることができる。

コンピュータプログラム命令及びデータを記憶するのに適切なコンピュータ可読媒体は、あらゆる形の不揮発性メモリ、媒体及びメモリ機器を含み、例えば、半導体メモリ機器（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ機器）、ディスク（例えば、内部ハードディスク又はリムーバブルディスク）、磁気光学ディスク並びにＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサ及びメモリは、専用論理回路で補充されるか、又は専用論理回路に組み込されることができる。

本発明は複数の具体的な実施の詳細を含むが、これらは、開示の範囲又は保護要求の範囲を限定するものとして解釈されるべきではなく、主に特定の具体的な実施例の特徴を説明するために使用される。本発明の複数の実施例に記載された特定の特征は、単一の実施例で組み合わせて実施することができる。一方、単一の実施例で説明される様々な特徴は、複数の実施例で別々に実施されてもよいし、任意の適合な組み合わせで実施されてもよい。さらに、特徴は、上記のように特定の組み合わせで機能し、さらに、最初はそのように主張されていても、主張された組み合わせの１つ又は複数の特徴は、場合によって当該組み合わせから削除される可能性があり、主張された組み合わせは、サブ組み合わせ又はサブ組み合わせの変形を意図するものであってもよい。

同様に、添付の図面では特定の順序で操作を描いたが、これは、所望の結果を達成するために、示された特定の順序でこれらの操作を実行するか又は示されているすべての操作を実行したりする必要があると理解されるべきではない。場合によっては、マルチタスクと並列処理が有利な場合がある。さらに、上記の実施例における様々なシステムモジュールとコンポーネントの分離は、すべての実施例においてそのような分離を必要とするものとして理解されるべきではなく、説明されたプログラムコンポーネント及びシステムが、通常、単一のソフトウェア製品に統合されるか、又は複数のソフトウェア製品にカプセル化され得ることを理解されたい。

前述の説明は、本発明のいくつかの実施例に過ぎず、本発明を限定することを意図するものではない。本発明の精神および原則の範囲内で行われるあらゆる修正、同等の置き換え、変換などは、すべて本願の保護範囲に含まれるべきである。

Claims (11)

1. ジェスチャ制御方法であって、
   カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得することであって、前記ジェスチャ認識結果シーケンスは、前記Ｎフレームの画像に含まれる複数のジェスチャの認識結果を含む、ことと、
   前記ジェスチャ認識結果シーケンスに含まれる複数の同一ジェスチャ認識結果間に相違ジェスチャ認識結果が含まれること、かつ、前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行することであって、前記相違ジェスチャ認識結果は、前記同一ジェスチャ認識結果とは異なる、ことと、
   前記平滑化処理後の前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することであって、ＮおよびＭは、両方とも１より大きい整数であり、Ｎは、Ｍより大きいか等しい、ことと、
   前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、または、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御することと
   を含み、
   前記カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行することは、
   前記ビデオストリーム内の単一フレームのカメラによって収集された画像を取得することであって、前記カメラによって収集された画像は、カメラ撮影視野空間に対応する画像であり、前記カメラ撮影視野空間は、ジェスチャ制御の有効空間領域を含む、ことと、
   前記カメラによって収集された画像から、前記ジェスチャ制御の有効空間領域に対応する部分画像領域を選択することと、
   前記部分画像領域に対して前記ジェスチャ認識処理を実行することと
   を含む、ジェスチャ制御方法。
2. 前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することは、
   前記ジェスチャ認識結果シーケンスに含まれる連続する同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定することを含む、請求項１に記載のジェスチャ制御方法。
3. 前記相違ジェスチャ認識結果に対して平滑化処理を実行することは、
   前記相違ジェスチャ認識結果を前記同一ジェスチャ認識結果に補正すること、または、
   前記ジェスチャ認識結果シーケンスから前記相違ジェスチャ認識結果を削除すること、または、
   時系列において前記相違ジェスチャ認識結果の前にあるジェスチャ認識結果および時系列において前記相違ジェスチャ認識結果の後にあるジェスチャ認識結果を連続する複数のジェスチャ認識結果として使用することを含む、請求項１に記載のジェスチャ制御方法。
4. 前記ジェスチャ制御方法は、パラメータ調整用の可視化インターフェイスを介して、ユーザによって設定されたジェスチャ認識パラメータを受信することを更に含み、
   前記ジェスチャ認識処理は、前記ジェスチャ認識パラメータに従って実行される、請求項１～３のいずれか一項に記載のジェスチャ制御方法。
5. 前記ジェスチャ認識パラメータは、Ｍを含む、請求項４に記載のジェスチャ制御方法。
6. 前記目標機器は、車両を含み、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、または、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御することは、
   前記目標ジェスチャ認識結果に対応する制御命令を前記車両の機能コンポーネントに送信すること、または、
   前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御すること
   を含む、請求項１～５のいずれか一項に記載のジェスチャ制御方法。
7. 前記機能コンポーネントは、メディアプレーヤを備え、前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御することは、前記目標ジェスチャ認識結果に応答して、メディア再生状態を変更するように前記メディアプレーヤを制御することを含み、または、
   前記機能コンポーネントは、車窓コントローラを備え、前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御することは、前記目標ジェスチャ認識結果に応答して、窓ガラスを動かすように前記車窓コントローラを制御することを含む、請求項６に記載のジェスチャ制御方法。
8. 前記目標ジェスチャ認識結果に対応する操作を実行するように前記車両の機能コンポーネントを制御することは、
   前記目標ジェスチャ認識結果に応答して、前記画像を介して制御される機能コンポーネントに対応する機能状態インターフェイスに、前記機能コンポーネントの実行開始または実行停止状態、音量の変化、または、目標対象に対する「いいね」マークのうちの少なくとも１つを表示することを含む、請求項６に記載のジェスチャ制御方法。
9. ジェスチャ制御装置であって、前記ジェスチャ制御装置は、認識処理モジュールとジェスチャ決定モジュールと操作制御モジュールとを備え、
   前記認識処理モジュールは、カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行して、ジェスチャ認識結果シーケンスを取得するように構成されており、前記ジェスチャ認識結果シーケンスは、前記Ｎフレームの画像に含まれる複数のジェスチャの認識結果を含み、
   前記ジェスチャ決定モジュールは、前記ジェスチャ認識結果シーケンスに含まれる複数の同一ジェスチャ認識結果間に相違ジェスチャ認識結果が含まれること、かつ、前記ジェスチャ認識結果シーケンスにおける前記相違ジェスチャ認識結果の数の割合がプリセットされた値未満であることに応答して、前記相違ジェスチャ認識結果に対して平滑化処理を実行するように構成されており、前記相違ジェスチャ認識結果は、前記同一ジェスチャ認識結果とは異なり、
   前記ジェスチャ決定モジュールは、前記平滑化処理後の前記ジェスチャ認識結果シーケンスに含まれる同一ジェスチャ認識結果の数がＭより大きいか等しいことに応答して、前記同一ジェスチャ認識結果が目標ジェスチャ認識結果であると決定するようにさらに構成されており、ＮおよびＭは、両方とも１より大きい整数であり、Ｎは、Ｍより大きいか等しく、
   前記操作制御モジュールは、前記目標ジェスチャ認識結果に対応する制御命令を目標機器に送信するか、または、前記目標ジェスチャ認識結果に対応する操作を実行するように目標機器を制御するように構成されており、
   前記認識処理モジュールは、前記カメラによって収集されたビデオストリームにおける時系列的に連続するＮフレームの画像に対してそれぞれジェスチャ認識処理を実行する場合において、
   前記ビデオストリーム内の単一フレームのカメラによって収集された画像を取得することであって、前記カメラによって収集された画像は、カメラ撮影視野空間に対応する画像であり、前記カメラ撮影視野空間は、ジェスチャ制御の有効空間領域を含む、ことと、
   前記カメラによって収集された画像から、前記ジェスチャ制御の有効空間領域に対応する部分画像領域を選択することと、
   前記部分画像領域に対して前記ジェスチャ認識処理を実行することと
   を行うようにさらに構成されている、ジェスチャ制御装置。
10. 電子機器であって、前記電子機器は、
    プロセッサと、
    コンピュータプログラムが記憶されているメモリと
    を備え、
    前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項１～８のいずれか一項に記載のジェスチャ制御方法を実行するように構成されている、電子機器。
11. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムは、プロセッサによって実行されると、請求項１～８のいずれか一項に記載のジェスチャ制御方法を実行することを前記プロセッサに行わせる、コンピュータ読み取り可能な記憶媒体。

Images