JP6545271B2 - アプリケーションプログラムの制御方法、装置、及び電子機器 - Google Patents

アプリケーションプログラムの制御方法、装置、及び電子機器 Download PDF

Info

Publication number
JP6545271B2
JP6545271B2 JP2017539485A JP2017539485A JP6545271B2 JP 6545271 B2 JP6545271 B2 JP 6545271B2 JP 2017539485 A JP2017539485 A JP 2017539485A JP 2017539485 A JP2017539485 A JP 2017539485A JP 6545271 B2 JP6545271 B2 JP 6545271B2
Authority
JP
Japan
Prior art keywords
data
user
attitude
target
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017539485A
Other languages
English (en)
Other versions
JP2018502403A (ja
Inventor
芳 韓
芳 韓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of JP2018502403A publication Critical patent/JP2018502403A/ja
Application granted granted Critical
Publication of JP6545271B2 publication Critical patent/JP6545271B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

（関連出願の相互参照）
本願は、２０１４年１０月１４日に出願された中国特許出願番号２０１４１０５４２２２４．５号を優先権として主張したもので、ここにその全ての記載内容を援用する。
本発明は、アプリケーションの人体制御技術分野に関し、特にアプリケーションプログラムの制御方法、装置、及び電子機器に関する。
体感ゲームは、従来のハンドルに設けられたボタンを操作する単純な操作方法から、体の動作の変化を利用して操作を行う新型電子ゲームに変わりつつある。
体感ゲームは、Ｗｉｉ（登録商標）、ＰＳ、及びＸｂｏｘ（登録商標）等様々なゲームプラットフォームにおいて、充分に応用されている。
最近、体感ゲームにおいて、ユーザの動作を取得する方法として、カメラを用いてユーザの画像を撮像し、得られた画像に対して画像処理を行うことでユーザ動作のデータを取得し、このデータに基づいてゲームの制御を行う方法がある。即ち、ユーザの動作は、ゲームシステムにより、ゲームに影響を及ぼすための制御として解釈される。言い換えれば、ユーザは自分の動作を利用してゲームを制御できる。ユーザの動作は、基本的には何れかの種類のゲームの制御として解釈できる。例えば、ゲーム中の被制御対象の動作を制御し、ゲームを保存し、ゲームを終了する等のメニューに関連する操作として解釈できる。
しかし、このような体感ゲームでは、計算資源の消耗が大きいという問題が存在する。下記に詳しく説明する。
体感ゲームでは、画像方式でユーザの動作に反応するので、まずはユーザの画像を収集する必要がある。その後、収集したユーザの画像に基づいてモデルを作成し、最後に、モデルのマッチング（即ち、動作の解釈）を行って、対応する指令を確定する。
周知のように、画像処理は、コンピュータシステムにおいて、計算資源消耗が非常に大きい処理の一種類であり、収集した各画像に対して上記処理を行おうとすれば、プログラムの実行処理が遅くなり、ユーザ体験を低下させる。
もちろん、上記では体感ゲームを例に挙げて説明したが、画像方式でユーザの動作に反応する制御方法を採用する全てのアプリケーションプログラムは、全部上記問題に直面する。ここでは、全ての例に対しての詳細な説明は省略する。
本発明の実施例は、アプリケーションプログラムの実行速度を向上するためのアプリケーションプログラムの制御方法、装置及び電子機器を提供することを目的としている。
上記目的を実現するため、本発明実施例は、アプリケーションプログラムの制御方法を提供する。
このアプリケーションプログラムの制御方法は、ユーザの動作を記録した奥行き画像配列を取得することと、予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換することと、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行うことと、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことと、を備える。
前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する。
対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含んでもよい。
前記第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことは、具体的には、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うことを含んでもよい。
前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われてもよい。
前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、前記制御方法は、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定することと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用することと、をさらに含んでもよい。
ユーザの動作を記録した奥行き画像配列を取得することは、具体的には、ユーザの原始画像配列を取得することと、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得することと、を含んでもよい。
各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し，前記目標姿勢データに基づいてアプリケーションの制御処理を行うことは、具体的には、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することを含んでもよい。
各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御方法は、アプリケーションの実行時間を確定することと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行うことと、をさらに含んでもよい。
代案として、各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御方法は、アプリケーションの実行時間を確定することと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定することと、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状の差分が所定差分を超えた場合、通知操作を行うことと、を含んでもよい。
上記目的をより好適に実現するため、本発明実施例は、さらにアプリケーションプログラムの制御装置を提供する。
このアプリケーションプログラムの制御装置は、ユーザの動作を記録した奥行き画像配列を取得する取得モジュールと、予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換する変換モジュールと、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行う処理モジュールと、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行う選択モジュールと、を備える。
前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する。
対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含んでもよい。
前記選択モジュールは、具体的には、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うために用いてもよい。
前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われてもよい。
前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、前記制御装置は、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定するプログラム確定モジュールと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用する標準姿勢配列確定モジュールと、をさらに含んでもよい。
取得モジュールは、具体的には、ユーザの原始画像配列を取得する原始画像取得ユニットと、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する最適化ユニットと、を含んでもよい。
各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し，前記処理モジュールは、具体的には、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することで前記アプリケーションの制御処理を実現するために用いてもよい。
代案として、各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御装置は、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行う第１通知モジュールと、をさらに含んでもよい。
代案として、各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御装置は、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定するスクリーンユーザ形状確定モジュールと、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状との差分が所定差分を超えた場合、通知操作を行う第２通知モジュールと、をさらに含んでもよい。
上記目的をより好適に実現するため、本発明実施例は、上記制御装置を含む電子機器をさらに提供する。
本発明の実施例は、下記のような有益効果を奏する。
本発明実施例によるアプリケーションプログラムの制御方法、装置及び電子機器において、ユーザの動作を示す画像を収集し、画像分析によりユーザ姿勢データ配列を取得し、あるユーザ姿勢データとマッチングする標準姿勢データに対応する目標姿勢の維持に要求される時間が相対的に長い場合、後続のユーザ姿勢データ配列から一部のユーザ姿勢データ配列を選択して後続のマッチング処理を行うことで、アプリケーションプログラムの実行速度を速くすることができる。
本発明実施例によるアプリケーションプログラムの制御方法を示すフローチャートである。 本発明実施例によるアプリケーションプログラムの制御装置の構成を示す概略図である。 本発明実施例によるアプリケーションプログラムの制御方法の詳細を示すフローチャートである。
本発明実施例のアプリケーションプログラムの制御方法、装置、及び電子機器において、ユーザの動作画像を収集し、画像分析によりユーザ姿勢データ配列を取得し、あるユーザ姿勢データとマッチングする標準姿勢データに対応する目標姿勢の維持に要求される時間が相対的に長い場合、後続のユーザ姿勢データ配列から一部のユーザ姿勢データ配列を選択して後続のマッチング処理を行うことで、アプリケーションプログラムの実行速度を速くすることができる。
図１に示すように、本発明実施例のアプリケーションプログラムの制御方法は、ユーザの動作を記録した奥行き画像配列を取得するステップ１０１と、予め数学的変換モデルに基づいて前記奥行き画像配列を第１ユーザ姿勢データ配列に変換するステップ１０２と、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の処理しようとするユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行うステップ１０３と、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が予め決められた所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うステップ１０４と、を含む。
前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合っており、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間と関連する。
本発明実施例のアプリケーションプログラムの制御方法、装置、及び電子機器において、ユーザの動作画像を収集し、画像分析によりユーザ姿勢データ配列を取得し、あるユーザ姿勢データとマッチングする標準姿勢データに対応する目標姿勢の維持に要求される時間が相対的に長くなるように、アプリケーションプログラムにより予め定義された場合、後続のユーザ姿勢データ配列から一部のユーザ姿勢データ配列を選択して後続のマッチング処理を行うように構成される。これにより、処理待ちデータ量が減少され、データ処理時間が延長されるため、アプリケーションプログラムの実行速度を速くすることができる。
下記において、有益効果に関して詳しく説明する。
画像収集設備の収集速度をＸ枚／秒とし、先行技術において、収集持続時間はアプリケーション処理（画像の変換及びマッチング）時間と同じであり、Ｙ秒とする。すると、収集された画像枚数は、Ｘ＊Ｙである。各画像に対応するユーザ姿勢データに対してマッチング処理を行うのに必要なプロセッサ資源（画像をユーザ姿勢データに変換するのに必要な資源は含まない）をＺとすると、先行技術において消耗必要なプロセッサ資源は、Ｘ＊Ｙ＊Ｚであり、単位時間内において消耗需要なプロセッサ資源はＸ＊Ｚである。
一般的に、アプリケーションプログラムの実行速度を上げるには、下記二つの方法がある。
１、処理必要なデータ量を減少する。
２、単位時間内のプロセッサ資源の消耗量を減少する。
本発明実施例の方法において、目標姿勢の維持に要求される時間が所定時間閾値を超えると判定した場合、その後の処理において、データ配列から一部のデータを選択して後続のマッチング処理を行う。これにより、先行技術と比べて、処理必要なデータ量を低減し、アプリケーションプログラムの実行速度を速くすることができる。
単位時間内のプロセッサ資源消耗量からみると、本発明実施例の方法は、データ変換段階とデータマッチング段階の二つの段階に分けられる。これに対して、先行技術においては、同時にデータ変換とデータマッチングとを実現する一つの段階しか存在しない。本発明実施例の方法において、処理必要なデータ量が減少しなかったとしても、その処理時間は、先行技術より長い（ゲーム実行前の変換予備処理が追加されたため）。従って、本発明実施例の方法において、単位時間内のプロセッサ資源消耗量は、先行技術の単位時間内のプロセッサ資源消耗量より少なくなり、これによってもアプリケーションプログラムの実行速度を速くすることができる。
即ち、本発明実施例の方法は、処理必要なデータ量を減少すると同時に、これらのデータに対して処理を行う時間を延長している。これにより、本発明実施例の方法は、アプリケーションプログラムの実行速度を向上することができる。
本発明実施例の方法において、予め奥行き画像配列に基づいてユーザ姿勢データ配列を取得しているが、これはユーザ制御アプリケーションプログラムには不利な影響を及ぼさないと理解すべきである。その理由を下記に説明する。
先ず、本発明実施例によるアプリケーションは、下記特徴を有する。
１、アプリケーションプログラムは、標準姿勢データ配列が予め設定されている。即ち、ユーザは、一定の順番に従って標準姿勢データ配列に対応する標準姿勢を行わなければならない。言い換えれば、アプリケーションプログラムにおいてユーザが実行必要な動作は、予め規定されており、ユーザが予め知るべき動作である。
例えば、アプリケーションプログラムは、体感ヨガゲームだとする。この場合、ヨガゲームは、ユーザが一定の順番に従って一組の動作を行うことで挑戦を完成することを規定する。また、アプリケーションプログラムは、体感ダンスゲームだとする。この場合、ダンスゲームは、ユーザが一定の順番に従って一組の動作を行うことで、挑戦レベルを完成することを規定する。また、アプリケーションプログラムは、体感迷路ゲームだとする。この場合、迷路ゲームは、ユーザが一定の順番に従って動いて、最適な方法で挑戦レベルに対応する迷路から脱出することを規定する。
このようなアプリケーションの種類は、非常に多いので、全ての種類に対する詳細説明は、省略する。
上記のようなアプリケーションは、ユーザ制御に対するリアルタイム性は非常に低いので、このようなアプリケーションにおいて、予め画像を収集してユーザ姿勢データ配列を生成することは、ユーザがゲームを制御することにおいて、制御不可のような悪影響は与えない。
２、ユーザがアプリケーションの設定に従ってある動作を行う時、その動作は一定時間維持されることを要求される。例えば、体感ヨガゲームにおいて、ユーザは、ある姿勢を一定期間維持することを要求される。また、体感ダンスゲームにおいて、同じ音符の再生期間において、ユーザは、ある姿勢を維持することを要求される。
上記説明により分かるように、上記のようなアプリケーションの特殊性により、ゲームにおいて、ユーザが一定期間（例えば５秒）維持必要な姿勢がある時、１０枚／秒の速度で画像を収集すると、５秒内に収集される画像は５０枚となる。この場合、ユーザが要求通りの動作を完成したとすると、この５０枚の画像に対応するユーザ姿勢データに対してマッチングを行うと、同じ標準姿勢データが得られる。
本発明実施例において、上記５秒内に収集した画像に対応する５０個のユーザ姿勢データから一定の間隔で一部の姿勢データを選択しても、ユーザ動作の完成度及び正確度の考察を実現することができ、その一例を下記に説明する。
５個のユーザ姿勢データ毎に１個の姿勢データを選択すると、上記例における５０個のユーザ姿勢データからは１０個のユーザ姿勢データを選択することになる。この１０個のユーザ姿勢データに対してマッチングを行い、１０個のユーザ姿勢データとマッチングする標準姿勢データとが全部同じである時、ユーザが規定された動作を完成したことを示す。
即ち、動作の特殊性により、対応するユーザ動作のデータ配列から一部のユーザ動作データを取得しても同じ機能を果たすことができ（例えば、ユーザが動作を完成する持続性を検証し、又は動作配列に基づいて指令を確定する等）、同じ効果が得られる。
上記したように、本発明実施例の方法は、上記のようなアプリケーションプログラムに対して、完璧な体感制御を行うと同時に、アプリケーションプログラムの実行速度を速くすることができる。
上記説明から分かるように、第２ユーザ姿勢データ配列の確定は、目標姿勢が維持する必要がある時間に対応する。
ユーザが一定期間（５秒と仮定する）維持することが必要な姿勢があるとすると、姿勢開始時刻を確定した後、第２ユーザ姿勢データ配列は、姿勢開始時刻からその後の５秒内に収集された画像を変換して得られたユーザ姿勢データである。画像収集速度が１０枚／秒の時、姿勢開始時刻を確定した後、第２ユーザ姿勢データ配列は、姿勢開始時刻からその後の１０秒内に収集された画像を変換して得られたユーザ姿勢データである。
本発明具体実施例において、奥行き画像配列は、奥行き撮像機能付きカメラ、撮像機器、３Ｄカメラ、及び／又はその他画像撮像設備により取得される。
判断の正確性を高めるため、本発明の具体的な実施例において、上記の一定期間維持されることに要求される目標姿勢に対応するデータを下記のように三つの部分にわける。
一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータ。
この場合、前記第２ユーザ姿勢データ配列中から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことは、具体的には、前記第２ユーザ姿勢データ配列中から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータに対応するユーザ姿勢データを選択して、選択されたユーザ姿勢データを後続マッチング処理に用いることである。
即ち、設定された目標姿勢中間サブデータの数が多いほど、選択必要なユーザ姿勢データが多くなり、これに応じて、後続の制御処理の結果もより正確になる。
本発明の具体的な実施例において、上記姿勢データは、すべてユーザの体の部位、部位位置及び部位同士の相対位置関係を示すデータである。
上記の姿勢データは、先行技術の人体を表す任意の人体モデルにより表すことができ、骨格と関節により構成される骨格モデル、又はフレーム格子状モデル等により表すことができる。ここでは、詳細な説明は、省略する。
本発明の具体的な実施例において、画像収集設備により直接的に収集された画像に対して直接的に変換を行ってユーザ姿勢データを取得することができるが、データ処理量、変換精度等要素を総合的に考慮すると、本発明実施例においては、先ず、直接的に収集された画像に対して最適化処理を行う。即ち、前記ユーザの動きを記録した奥行き画像配列を取得することは、具体的には、ユーザの原始画像配列を取得し、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する。
上記の選択可能な解像度の引き下げ、背景の取り除きにより、後続の変換がより少ない計算負荷で完成できる。
例えば、画像を撮像する過程において、様々なランダム誤差、又はシステム誤差が起こり得る。また、画像収集設備によっても、収集された画像中に一定の欠陥又は変形が起こり得る。従って、ノイズ除去操作によって上記のような欠陥を除去することができ、より精度が高い完全なデータを得ることができ、後続の変換により得られるユーザ姿勢データの精度を高めることができる。
もちろん、上記の最適化は、一例として説明しており、本発明実施例は、上記において採用した具体的な最適化手段に限定されないと理解すべきである。
一系列の数学的変換モデルを得るには膨大なコストが必要であり、開発コストを抑えるために、本発明実施例では、一つの数学的変換モデルを複数のアプリケーションプログラムに分配して使用してもよいと理解すべきである。各アプリケーションプログラムにおいて、多くの場合、対応する標準姿勢データ配列は全部異なる。この場合、本発明実施例の方法は、さらに、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定することと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用することとを含む。
ユーザが予め処理必要なアプリケーションプログラムにより規定された動作を完成した後、目標アプリケーションプログラムが確定でき、目標アプリケーションプログラムに対応する標準姿勢データ配列を選択して上記ユーザ姿勢データ配列に対して処理を行うことができる。
上記方法により、一つの数学的変換モデルを複数のアプリケーションプログラムに使用させることができ、開発コストを大幅に低減できる。例えば、上記において例示したヨガ体感ゲーム、タンス体感ゲームと、迷路体感ゲームは、その目的とする対象がほぼ同じであるため、一つの数学的変換モデルにより対応することで、開発コストを削減することができる。
本発明実施例のアプリケーションプログラムの制御方法において、前記第１ユーザ姿勢データ配列へ変換する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる。従って、データ変換とデータマッチングとを二つの段階に分けて行うことで、データ処理時間を延長し、単位時間に対する処理資源のニーズを低減し、アプリケーションプログラムの実行速度を速くすることができる。
ここで、アプリケーションプログラムが前記ユーザ姿勢データを使用することが必要なタイミングの例を説明する。
体感ダンスゲームを例とすると、ユーザがアプリケーションプログラムを起動した時は、ユーザ姿勢データは不要である。ユーザがゲーム難易度、ゲームシーン等を選択し、“ゲーム開始”を選択した後、アプリケーションプログラムが前記ユーザ姿勢データの使用が必要な段階に入る。
本発明実施例の方法は、様々なシーンで用いられる。比較的に典型的なシーンは、体動作追跡シーンである。即ち、各標準姿勢データは、一つのスクリーンに表示されるスクリーンユーザ形状に対応しており、前記目標姿勢データに基づいてアプリケーションの制御処理を行うことは、具体的には、前記スクリーンに表示される現在のスクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変換することである。
例えば、ユーザが立て姿勢から座り姿勢に変わった時、収集されたユーザの座り画像を変換してユーザ姿勢データを取得し、このユーザ姿勢データと標準姿勢データ中の座り姿勢データとマッチングを行う。この時、適当な表示処理手段により、スクリーンに表示された立て姿勢の人を座り姿勢の人に変換することができる。
上記の過程の説明は、理解の便宜を図るための簡略された説明であり、実際の処理過程ではユーザによりいいユーザ体験を提供するための各種処理手段を加えると理解すべきである。ここでは、詳細な説明は、省略する。
本発明の具体的な実施例において、ユーザの動作が要求に合うか否かにをユーザに通知するように構成してもよい。このような通知操作は、様々な方法により行うことができ、下記において二つの実現可能な方法において詳しく説明する。
アプリケーションプログラムにおいて、ユーザが実行する動作の順番及び各動作的持続時間は、予め決められている。従って、一部時間区切り点において、ユーザはある特定姿勢を行う状態にある。下記において、具体例を説明する。
アプリケーションプログラムにおいて予め決められた標準姿勢配列は、順番に、Ａ１姿勢Ｂ１秒、Ａ２姿勢Ｂ２秒、Ａ３姿勢Ｂ３秒、Ａ４姿勢Ｂ４秒だと仮定する。この時、（Ｂ１、Ｂ１＋Ｂ２］の時間区間において、ユーザはＡ２姿勢を行うべきである。
各姿勢は、一つの標準姿勢データに対応するため、上記分析から分かるように、アプリケーション実行時間が確定された時、ユーザの現在の行うべき動作を確定できる。即ち、ユーザが、現在に行うべき標準姿勢に対応する標準姿勢データを確定できる。
ところで、ユーザが実際に行う姿勢を確定でき、両者が異なる時、ユーザが要求通りの動作を行っていないと判断でき、ユーザに対して通知を行う。
したがって、このような方法を用いた時、本発明実施例のアプリケーションプログラムの制御方法において、各標準姿勢は、その姿勢の維持に要求される時間と対応しており，前記制御方法は、さらにアプリケーションの実行時間を確定し、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定し、前記第２目標姿勢データと第１目標姿勢データが異なる場合、通知操作を行うことを含む。
上記例では、姿勢データを参照対象としてユーザの動作が要求された動作に合うか否かを確定する。姿勢データは、全部スクリーンユーザ形状に対応するため、スクリーンユーザ形状の差分が、予め設定された標準差分を超えるか否かを判断するように構成してもよい。
このような方法を用いた時、本発明実施例のアプリケーションプログラムの制御方法は、さらに、アプリケーションの実行時間を確定し、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定し、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定し、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状の差分が予め決められた所定差分より大きい場合、通知操作を行うことを含む。
図２に示すように、本発明実施例は、さらにアプリケーションプログラムの制御装置を提供する。
この制御装置は、ユーザの動きを記録した奥行き画像配列を取得する取得モジュールと、予め準備された数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換する変換モジュールと、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理対象のユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行う処理モジュールと、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が予め決められた所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続マッチング処理を行う選択モジュールと、を備え、前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合っており、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間と関連している。
比較をしやすくするため、本発明具体実施例において、対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータとを含む。
前記選択モジュールは、具体的には以下のように用いられる。すなわち、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータに対応する一部ユーザ姿勢データを選択し、選択したデータを用いて後続マッチング処理を行う。
上記制御装置において、前記第１ユーザ姿勢データ配列へ変換する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる。これにより、データ処理を複数の段階に分け、データの処理時間を延長し、単位時間内の処理資源のニーズを低減でき、アプリケーションプログラムの実行速度を速くすることができる。
開発コストを抑えるため、本発明実施例の前記制御装置において、前記数学的変換モデルは複数のアプリケーションプログラムと対応しており、前記制御装置は、さらに、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定するプログラム確定モジュールと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用する標準姿勢配列確定モジュールと、を含む。
実行効率をより向上させるため、又はユーザデータ配列の計算精度を高めるため、本発明具体実施例の制御装置の取得モジュールは、具体的には、ユーザの原始画像配列を取得する原始画像取得ユニットと、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する最適化ユニットと、を含む。
本発明実施例のアプリケーションプログラムの制御装置は、ユーザ動作の追跡に用いられ、各標準姿勢データは一つのスクリーンに表示されるスクリーンユーザ形状に対応する。前記処理モジュールは、具体的には、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することで前記アプリケーションの制御処理を実現する。
ユーザに対して非標準の動作を通知するため、本発明実施例において、各標準姿勢は、その姿勢の維持に要求される時間と対応しており、前記制御装置は、さらに、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データと第１目標姿勢データが異なる場合、通知操作を行う第１通知モジュールと、を含む。
ユーザに対して非標準の動作を通知するため、本発明実施例において、各標準姿勢は、その姿勢の維持に要求される時間と対応しており、前記制御装置は、さらに、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定するスクリーンユーザ形状確定モジュールと、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状の差分が予め決められた所定差分より大きい場合、通知操作を行う第２通知モジュールと、を含む。
本発明実施例は、さらに電子機器を提供しており、この電子機器は、上記制御装置を有することを特徴とする。
上記電子機器は、パーソナルコンピュータ、ゲームのプラットフォーム、テレビ等が可能である。
下記において、本発明実施例の方法の一つの具体的な動作過程を詳しく説明する。
図３に示すように、アプリケーションプログラムがユーザ姿勢データの使用を必要とする前、ステップ３０１を実行して、画像収集設備（奥行き撮影対応カメラ）により収集された画像を先に取得して、画像配列を取得する。
画像配列を取得した後、画像配列中の画像に対して選択的に、ノイズ除去、背景の取り除き、解像度の引き下げ等最適化処理を行ってもよい。
ステップ３０２において、骨格モデルと身体部位モデルを用いてキャプチャされた実際人物の奥行き画像をユーザ姿勢データに変換することで、ユーザ動作のモデル作成を完成する。これにより、ユーザ姿勢データ配列を取得し、それを記憶ユニットに保存する。
これらのユーザ姿勢データ配列は、ユーザの体の部位の相関情報（例えば、位置、姿勢及び部位同士の相対関係等）を定義し、後続のマッチングを可能とする。
一つのモデルが複数のアプリケーションプログラムにより用いられる時、ステップ３０３において一つの目標アプリケーションプログラムを確定し、目標アプリケーションプログラムにより予め設定された標準姿勢データ配列を取得し、後続マッチング操作を行う。
ステップ３０４において、ユーザ姿勢データと標準姿勢データ配列とに基づいて、マッチング処理を行って処理対象のユーザ姿勢データとマッチングする標準姿勢データを確定する。
ステップ３０５において、アプリケーションプログラムにおいて予め設定されたマッチングされた標準姿勢データに対応する姿勢の維持に要求される時間が所定の閾値を超えるか否かを判定し、超えると判定した時、ユーザがこの姿勢を相対的に長い時間行うと判断する。
ユーザが上記姿勢を相対的に長い時間行うと判断した場合には、より少ないデータを用いて後続の一定期間のマッチングが正確に行われることを示す。従って、ステップ３０６において、一部のユーザ姿勢データを選択して後続のマッチング処理を行う。さもなければ、通常のフローに沿って処理を行う。
一部のユーザ姿勢データを選択して後続のマッチング処理を行う時、標準姿勢データ配列から予めこの一定期間持続された姿勢を三つの部分に分けて表す。即ち、開始部分に対応する一つの姿勢データと、中間部分に対応する一つ又は複数の姿勢データと、終了部分に対応する一つの姿勢データとを含む。上記区画によって、ユーザ姿勢データの選択とマッチングとを行う。
マッチングにおいて、姿勢データ同士の比較又はスクリーン上に実際に表示されたユーザ画像と予期されたユーザ画像との比較により、ユーザが要求通りに動作を完成しているか否かを判断することで、通知機能を実現する。
上述のように、本発明の最適な実施例を説明しているが、当業者にとって、本発明の前記原理を離脱しない前提で、少し改進及び修飾してもよい。このような改進及び修飾も本発明の保護範囲に見なすべきである。

Claims (19)

  1. ユーザの動作を記録した奥行き画像配列を取得することと、
    予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換することと、
    アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行うことと、
    前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことと、を備え、
    前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する、
    ことを特徴とするアプリケーションプログラムの制御方法。
  2. 対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含む、
    ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
  3. 前記第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことは、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うことが含まれる、
    ことを特徴とする請求項２に記載のアプリケーションプログラムの制御方法。
  4. 前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる、
    ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
  5. 前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、
    前記制御方法は、
    第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定することと、
    前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用することと、をさらに含む、
    ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
  6. ユーザの動作を記録した奥行き画像配列を取得することは、
    ユーザの原始画像配列を取得することと、
    前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得することと、を含む、
    ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
  7. 各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し、
    目標姿勢データに基づいてアプリケーションの制御処理を行うことは、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することが含まれる、
    ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
  8. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
    前記制御方法は、
    アプリケーションの実行時間を確定することと、
    アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、
    前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行うことと、をさらに含む
    ことを特徴とする請求項６に記載のアプリケーションプログラムの制御方法。
  9. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
    前記制御方法は、
    アプリケーションの実行時間を確定することと、
    アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、
    前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定することと、
    前記第２スクリーンユーザ形状と第１スクリーンユーザ形状との差分が所定差分を超えた場合、通知操作を行うことと、を含む、
    ことを特徴とする請求項６に記載のアプリケーションプログラムの制御方法。
  10. ユーザの動作を記録した奥行き画像配列を取得する取得モジュールと、
    予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換する変換モジュールと、
    アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行う処理モジュールと、
    前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行う選択モジュールと、を備え、
    前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する、
    ことを特徴とするアプリケーションプログラムの制御装置。
  11. 対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含む、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
  12. 前記選択モジュールは、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うために用いられる、
    ことを特徴とする請求項１１に記載のアプリケーションプログラムの制御装置。
  13. 前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
  14. 前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、
    前記制御装置は、
    第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定するプログラム確定モジュールと、
    前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用する標準姿勢配列確定モジュールと、をさらに含む
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
  15. 取得モジュールは、
    ユーザの原始画像配列を取得する原始画像取得ユニットと、
    前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する最適化ユニットと、を含む、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
  16. 各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し、
    前記処理モジュールは、前記スクリーンに表示された現在スクリーンユーザ形状を目標姿勢データに対応する第１スクリーンユーザ形状に変更することで前記アプリケーションの制御処理を実現するために用いられる、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
  17. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
    前記制御装置は、
    アプリケーションの実行時間を確定する時間確定モジュールと、
    アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、
    前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行う第１通知モジュールと、をさらに含む、
    ことを特徴とする請求項１６に記載のアプリケーションプログラムの制御装置。
  18. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
    前記制御装置は、
    アプリケーションの実行時間を確定する時間確定モジュールと、
    アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、
    前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定するスクリーンユーザ形状確定モジュールと、
    前記第２スクリーンユーザ形状と第１スクリーンユーザ形状との差分が所定差分を超えた場合、通知操作を行う第２通知モジュールと、をさらに含む、
    ことを特徴とする請求項１６に記載のアプリケーションプログラムの制御装置。
  19. 請求項１０〜１８の何れか一項に記載の制御装置を含む電子機器。
JP2017539485A 2014-10-14 2015-02-09 アプリケーションプログラムの制御方法、装置、及び電子機器 Active JP6545271B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410542224.5A CN104281265B (zh) 2014-10-14 2014-10-14 一种应用程序的控制方法、装置及电子设备
CN201410542224.5 2014-10-14
PCT/CN2015/072520 WO2016058303A1 (zh) 2014-10-14 2015-02-09 一种应用程序的控制方法、装置及电子设备

Publications (2)

Publication Number Publication Date
JP2018502403A JP2018502403A (ja) 2018-01-25
JP6545271B2 true JP6545271B2 (ja) 2019-07-17

Family

ID=52256227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539485A Active JP6545271B2 (ja) 2014-10-14 2015-02-09 アプリケーションプログラムの制御方法、装置、及び電子機器

Country Status (6)

Country Link
US (1) US20160349848A1 (ja)
EP (1) EP3208686A4 (ja)
JP (1) JP6545271B2 (ja)
KR (1) KR101718837B1 (ja)
CN (1) CN104281265B (ja)
WO (1) WO2016058303A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281265B (zh) * 2014-10-14 2017-06-16 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
CN105068662B (zh) * 2015-09-07 2018-03-06 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
CN105045399B (zh) * 2015-09-07 2018-08-14 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的电子设备
CN105046249B (zh) * 2015-09-07 2018-09-11 哈尔滨市一舍科技有限公司 一种人机交互方法
CN105160323B (zh) * 2015-09-07 2018-11-27 哈尔滨市一舍科技有限公司 一种手势识别方法
CN106919928A (zh) * 2017-03-08 2017-07-04 京东方科技集团股份有限公司 手势识别系统、方法及显示设备
CN110170171B (zh) * 2019-06-03 2024-09-27 深圳市腾讯网域计算机网络有限公司 一种目标对象的控制方法及装置
WO2022021432A1 (zh) 2020-07-31 2022-02-03 Oppo广东移动通信有限公司 手势控制方法及相关装置
CN111880660B (zh) * 2020-07-31 2022-10-21 Oppo广东移动通信有限公司 显示画面的控制方法、装置、计算机设备和存储介质
CN112121280B (zh) * 2020-08-31 2022-04-01 浙江大学 一种心音盒的控制方法及控制系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
JP5325327B2 (ja) * 2011-11-04 2013-10-23 株式会社コナミデジタルエンタテインメント ゲーム装置、詳細提示方法、および、プログラム
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
JP5759439B2 (ja) * 2012-10-19 2015-08-05 日本電信電話株式会社 映像コミュニケーションシステム及び映像コミュニケーション方法
WO2014088621A1 (en) * 2012-12-03 2014-06-12 Google, Inc. System and method for detecting gestures
US20150046808A1 (en) * 2013-08-08 2015-02-12 Beamz Interactive, Inc. Apparatus and method for multilayered music playback
CN103646425A (zh) * 2013-11-20 2014-03-19 深圳先进技术研究院 一种体感交互的方法及系统
CN104281265B (zh) * 2014-10-14 2017-06-16 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备

Also Published As

Publication number Publication date
CN104281265B (zh) 2017-06-16
KR20160060003A (ko) 2016-05-27
EP3208686A4 (en) 2018-06-06
JP2018502403A (ja) 2018-01-25
CN104281265A (zh) 2015-01-14
KR101718837B1 (ko) 2017-03-22
US20160349848A1 (en) 2016-12-01
EP3208686A1 (en) 2017-08-23
WO2016058303A1 (zh) 2016-04-21

Similar Documents

Publication Publication Date Title
JP6545271B2 (ja) アプリケーションプログラムの制御方法、装置、及び電子機器
CN108898118B (zh) 一种视频数据处理方法、装置和存储介质
CA2748037C (en) Method and system for gesture recognition
JP5739872B2 (ja) モーションキャプチャにモデルトラッキングを適用するための方法及びシステム
CN105378742B (zh) 所管理的生物计量身份
CN107251096B (zh) 图像捕获装置和方法
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
JP2019028843A (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
US20130050076A1 (en) Method of recognizing a control command based on finger motion and mobile device using the same
CN102622774A (zh) 起居室电影创建
CN110414546A (zh) 使用中间损失函数训练图像信号处理器
US20110306468A1 (en) Caloric burn determination from body movement
JP2009194681A (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
KR101956275B1 (ko) 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
US20150379333A1 (en) Three-Dimensional Motion Analysis System
JP6520975B2 (ja) 動画像処理装置、動画像処理方法及びプログラム
JP2020027405A (ja) 物体検出プログラム、および物体検出装置
WO2017113674A1 (zh) 基于智能设备实现体感控制的方法、系统以及智能设备
JP5880199B2 (ja) 表示制御装置、表示制御方法およびプログラム
CN110415322B (zh) 虚拟对象模型的动作指令的生成方法和装置
JP4717445B2 (ja) 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法
JP2015011404A (ja) 動作認識処理装置
CN117456558A (zh) 一种基于摄像头的人体姿态估计与控制方法及相关设备
CN114638921B (zh) 动作捕捉方法、终端设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190618

R150 Certificate of patent or registration of utility model

Ref document number: 6545271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250