JPWO2019168190A1 - 操作推定装置、操作推定方法、及びプログラム - Google Patents

操作推定装置、操作推定方法、及びプログラム Download PDF

Info

Publication number
JPWO2019168190A1
JPWO2019168190A1 JP2020503667A JP2020503667A JPWO2019168190A1 JP WO2019168190 A1 JPWO2019168190 A1 JP WO2019168190A1 JP 2020503667 A JP2020503667 A JP 2020503667A JP 2020503667 A JP2020503667 A JP 2020503667A JP WO2019168190 A1 JPWO2019168190 A1 JP WO2019168190A1
Authority
JP
Japan
Prior art keywords
coordinate
coordinates
gesture operation
condition
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503667A
Other languages
English (en)
Other versions
JP6958951B2 (ja
Inventor
義幸 坂下
義幸 坂下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2019168190A1 publication Critical patent/JPWO2019168190A1/ja
Application granted granted Critical
Publication of JP6958951B2 publication Critical patent/JP6958951B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

第一の座標に対する第二の座標の位置が、開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する、開始判定部４と、ジェスチャ操作を開始した後、取得した複数の深度画像に基づいて、算出した第一の座標又は第二の座標又はそれら両方の移動方向が、移動方向条件に含まれ、かつジェスチャ操作を開始した後、取得した複数の深度画像に基づいて、算出した第一の座標又は第二の座標又はそれら両方の移動距離が、移動距離条件に含まれ、かつ第一の座標に対する第二の座標の位置が、終了位置条件に含まれる場合、ジェスチャ操作が終了したと判定する、終了判定部５と、を有する操作推定装置１である。

Description

本発明は、ジェスチャ操作を推定する、操作推定装置、操作推定方法に関し、更には、これらを実現するためのプログラムを記録したしているコンピュータ読み取り可能な記録媒体に関する。
ジェスチャ操作を推定する方法として、深度センサにより撮像された深度画像から、人体部位に対応する画像（以降、人体部位画像）を検出し、検出した人体部位画像の動きに基づいて、ジェスチャ操作を推定する方法がある。
例えば、フリック操作を推定する場合、操作推定装置は、まず、時系列に取得した複数の深度画像それぞれから、手に対応する画像（以降、手画像）を検出する。続いて、操作推定装置は、深度画像ごとに手画像から重心を検出する。そして、操作推定装置は、検出した重心それぞれに基づいて、重心の移動距離を算出し、重心の移動距離が所定距離以上である場合、フリック操作であると推定する。
また、関連する技術として、特許文献１に開示されているシステムでは、所定時間に撮像した複数の深度画像から、手画像における重心の軌道と、手画像に対して予め決めた所定ポイントの速度とを用いて、スワイプ操作を推定している。
特表２０１４−５０１４１５号公報
しかしながら、上述したジェスチャ操作を推定する方法では、重心の移動距離だけを用いて、ジェスチャ操作を推定しているため、利用者が意図しないジェスチャ操作を推定することがある。
また、特許文献１においても、重心の軌道だけを用いてスワイプ操作を推定しているため、正確にスワイプ操作を推定することができない。
本発明の目的の一例は、ジェスチャ操作を推定する精度を向上させる操作推定装置、操作推定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における操作推定装置は、
深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、第一の座標算出部と、
前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、第二の座標算出部と、
前記第一の座標に対する前記第二の座標の位置が、予め決めた開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する、開始判定部と、
前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め設定した移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、終了判定部と、
を有することを特徴とする。
また、上記目的を達成するため、本発明の一側面における操作推定方法は、
（ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
（ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
（ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
（ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の前記移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムをコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
（ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
（ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始条件を示す位置に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
（ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の前記移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
を実行させる命令を含むプログラムを記録していることを特徴とする。
以上のように本発明によれば、ジェスチャ操作を推定する精度を向上させることができる。
図１は、操作推定装置の一例を示す図である。 図２は、操作推定装置を有するシステムの一例を示す図である。 図３は、右フリック操作の一例を説明するための図である。 図４は、操作推定装置の動作の一例を示す図である。 図５は、操作推定装置の動作の詳細な一例を示す図である。 図６は、判定条件情報のデータ構造の一例を示す図である。 図７は、本発明の実施の形態における操作推定装置を実現するコンピュータの一例を示す図である。
（実施の形態）
以下、本発明の実施の形態における操作推定装置、操作推定方法、及び操作推定プログラムについて、図１から図７を参照しながら説明する。
［装置構成］
最初に、本実施の形態における操作推定装置の構成について説明する。図１は、操作推定装置の一例を示す図である。図１に示すように、操作推定装置１は、第一の座標算出部２と、第二の座標算出部３と、開始判定部４と、終了判定部５とを有する。
第一の座標算出部２は、深度画像に撮像された人体部位に対応する人体部位画像に基づいて、人体部位画像の特徴を示す第一の座標を算出する。第二の座標算出部３は、第一の座標を基準に、第一の座標と異なる、人体部位画像の特徴を示す第二の座標を算出する。
開始判定部４は、第一の座標に対する第二の座標の位置が、予め決めた開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する。
終了判定部５は、ジェスチャ操作を開始した後、取得した複数の深度画像に基づいて算出した第一の座標又は第二の座標又はそれら両方の移動方向が、予め決めた移動方向を示す移動方向条件に含まれているかを判定する。また、終了判定部５は、ジェスチャ操作を開始した後、取得した複数の深度画像に基づいて、算出した第一の座標又は第二の座標又はそれら両方の移動距離が、予め決めた移動距離を示す移動距離条件に含まれたかを判定する。また、終了判定部５は、第一の座標に対する第二の座標の位置が、予め決めた終了位置を示す終了位置条件に含まれているかを判定する。そして、終了判定部５は、移動方向条件と、移動距離条件と、終了位置条件とを満たした場合、ジェスチャ操作が終了したと判定する。
このように、本実施の形態では、人体部位画像から算出した第一の座標と第二の座標とが、ジェスチャ操作ごとに設定された、少なくとも上述した開始位置条件、移動方向条件、移動距離条件、終了位置条件を満たした場合、利用者が当該ジェスチャ操作をしたと推定する。そうすることで、ジェスチャ操作を推定する精度を向上させることができる。
［システム構成］
続いて、図２、図３を用いて、操作推定装置１及び操作推定装置１を有するシステムについて具体的に説明する。図２は、操作推定装置を有するシステムの一例を示す図である。操作推定システム２０は、操作推定装置１と、深度センサ２１とを有する。開始判定部４は、開始位置判定部２２と、開始方向判定部２３とを有する。終了判定部５は、少なくとも移動方向判定部２４と、移動距離判定部２５と、加速度判定部２６とを有する。
図３は、右フリック操作の一例を説明するための図である。右フリック操作とは、利用者が右手を、地面に対して略水平に、左（左手側）から右（右手側）の方向へ手を移動させる操作で、操作開始時は手先が手の重心より左側にあり、操作終了時は手先が重心より右側にくる。また、略水平とは、人体部位の振れなどを含んだ水平である。ジェスチャ操作は人体の動きであるので、完全な水平ではないことを意味している。なお、深度画像３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅにおいて、説明を分かり易くするため、手画像３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ以外の人体部位画像を省略している。
次に、図３に示す深度画像３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅは、右フリック操作をした際に時系列に撮像された画像である。また、図３に示すグラフ３１は、第一の座標と第二の座標それぞれの移動方向と移動距離を示す。ベクトルＶ１１、ベクトルＶ２１、ベクトルＶ３１、ベクトルＶ４１は、重心座標の移動方向と移動距離とを示す。ベクトルＶ２１、ベクトルＶ２２、ベクトルＶ３２、ベクトルＶ４２は、手先座標の移動方向と移動距離とを示す。
深度センサ２１（深度センサ２１を有する機器）は、深度センサ２１から対象物までの深度を計測し、深度情報又は深度画像を生成し、操作推定装置１へ出力する。なお、深度センサ２１は、例えば、ＴＯＦ（Time of Flight）センサなどを用いてもよい。
第一の座標算出部２は、深度画像の深度分布に基づいて検出した、人体部位画像を用いて、人体部位画像の特徴を示す第一の座標を算出する。
具体的には、第一の座標算出部２は、深度画像３０ａから３０ｅそれぞれに基づいて、検出した手画像３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅを用いて、第一の座標（図３に示す●）を算出する。第一の座標は、手画像３２ａから３２ｅそれぞれに対して算出した重心座標である。例えば、第一の座標は、手画像３２ａから３２ｅそれぞれにおいて、手画像全体、又は、手画像のうち手先に対応する手先画像以外の部分に基づいて、第一の座標算出部２により算出された重心座標である。なお、重心座標以外の座標を第一の特徴座標としてもよい。
第二の座標算出部３は、深度画像の深度分布に基づいて検出した、人体部位画像を用いて、第一の座標と異なる、人体部位画像の特徴を示す第二の座標を算出する。
具体的には、第二の座標算出部３は、深度画像３０ａから３０ｅそれぞれに基づいて、検出した手画像３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅを用いて、第二の座標（図３に示す○）を算出する。第二の座標は、手画像３２ａから３２ｅそれぞれに対して、第二の座標算出部３により算出された手先座標である。なお、手先座標以外の座標を第二の特徴座標としてもよい。
開始判定部４が有する開始位置判定部２２は、まず、第一の座標に対する第二の座標の位置を算出する。続いて、開始位置判定部２２は、算出した第一の座標に対する第二の座標の位置が、予め設定した開始位置条件に含まれているか否かを判定する。算出した第一の座標に対する第二の座標の位置が開始位置条件に含まれている場合、開始位置判定部２２は、ジェスチャ操作を開始したと判定する。
具体的には、開始位置判定部２２は、右フリック操作を推定する場合、深度画像３０ａを用いて、重心座標に対する手先座標の位置を算出する。続いて、開始位置判定部２２は、予め記憶した開始位置条件を参照して、水平軸を基準に、深度画像３０ａから算出した重心座標（図３の●）が手先座標（図３の○）より右側の位置にあるか否かを判定する。開始位置判定部２２は、開始位置条件が満たされた場合、ジェスチャ操作を開始したと判定する。
開始判定部４が有する開始方向判定部２３は、まず、開始位置条件を満たした後、第一の座標について移動方向と移動距離とを算出する。続いて、開始方向判定部２３は、算出した移動方向と移動距離とが、予め設定した開始方向条件に含まれているか否かを判定する。
具体的には、開始方向判定部２３は、まず、右フリック操作を推定する場合、深度画像３０ａと３０ｂとを用いて、重心座標について移動方向と移動距離とを算出する。又は、重心座標に替えて手先座標を用いる場合、開始方向判定部２３は、手先座標について移動方向と移動距離とを算出する。なお、重心座標と手先座標とを用いる場合、開始方向判定部２３は、それぞれについて移動方向と移動距離とを算出する。
続いて、開始方向判定部２３は、算出した重心座標の移動方向（ベクトルＶ１１を参照）が右方向（開始方向条件）であり、かつ重心座標の移動距離（ベクトルＶ１１を参照）が開始所定距離以上（開始方向条件）であるか否かを判定する。又は、重心座標に替えて手先座標を用いる場合、開始方向判定部２３は、算出した手先座標の移動方向（ベクトルＶ１２を参照）が右方向であり、かつ手先座標の移動距離（ベクトルＶ１１を参照）が開始所定距離以上であるか否かを判定する。なお、重心座標と手先座標とを用いる場合、開始方向判定部２３は、それぞれについて判定する。開始所定距離は、実験、シミュレーション、機械学習などにより求める。
終了判定部５が有する移動方向判定部２４は、まず、開始位置条件、又は開始位置条件及び開始方向条件を満たした後、深度画像に基づいて第一の座標の移動方向を算出する。続いて、移動方向判定部２４は、算出した第一の座標の移動方向が、予め設定した移動方向を示す移動方向条件に含まれているか否かを判定する。
具体的には、移動方向判定部２４は、まず、右フリック操作を推定する場合、深度画像３０ｂと３０ｃ、深度画像３０ｃと３０ｄ、深度画像３０ｄと３０ｅを用いて、それぞれについて重心座標の移動方向（ベクトルＶ２１、ベクトルＶ３１、ベクトルＶ４１を参照）を算出する。又は、重心座標に替えて手先座標を用いる場合、移動方向判定部２４は、手先座標の移動方向（ベクトルＶ２２、ベクトルＶ３２、ベクトルＶ４２を参照）を算出する。なお、重心座標と手先座標とを用いる場合、移動方向判定部２４は、それぞれについて移動方向を算出する。
続いて、移動方向判定部２４は、算出した重心座標の移動方向（ベクトルＶ２１、ベクトルＶ３１、ベクトルＶ４１を参照）が右方向（移動方向条件）であるか否かを判定する。又は、重心座標に替えて手先座標を用いる場合、移動方向判定部２４は、算出した手先座標の移動方向（ベクトルＶ２２、ベクトルＶ３２、ベクトルＶ４２を参照）が右方向であるか否かを判定する。なお、重心座標と手先座標とを用いる場合、移動方向判定部２４は、それぞれについて判定する。
終了判定部５が有する移動距離判定部２５は、まず、開始位置条件、又は開始位置条件及び開始方向条件を満たした後、深度画像に基づいて第一の座標の移動距離を算出する。続いて、移動距離判定部２５は、算出した第一の座標の移動距離が、予め設定した移動距離を示す移動距離条件に含まれているか否かを判定する。
具体的には、移動距離判定部２５は、まず、右フリック操作を推定する場合、深度画像３０ｂと３０ｃ、深度画像３０ｃと３０ｄ、深度画像３０ｄと３０ｅを用いて、それぞれについて重心座標の移動距離（ベクトルＶ２１、ベクトルＶ３１、ベクトルＶ４１を参照）を算出する。又は、重心座標に替えて手先座標を用いる場合、移動距離判定部２５は、手先座標の移動距離（ベクトルＶ２２、ベクトルＶ３２、ベクトルＶ４２を参照）を算出する。なお、重心座標と手先座標とを用いる場合、移動距離判定部２５は、それぞれについて移動方向を算出する。
続いて、移動距離判定部２５は、算出した重心座標の移動距離（ベクトルＶ２１、ベクトルＶ３１、ベクトルＶ４１を参照）が所定移動距離以上（移動距離条件）であるか否かを判定する。又は、重心座標に替えて手先座標を用いる場合、移動距離判定部２５は、手先座標の移動距離（ベクトルＶ２２、ベクトルＶ３２、ベクトルＶ４２を参照）が所定移動距離以上であるか否かを判定する。なお、重心座標と手先座標とを用いる場合、移動距離判定部２５は、それぞれについて判定する。所定移動距離は、実験、シミュレーション、機械学習などにより求める。
終了判定部５が有する加速度判定部２６は、ジェスチャ操作を開始した後（開始位置条件、又は開始位置条件及び開始方向条件を満たした後）、時系列に取得した深度画像を用いて、深度画像間の第一の座標又は第二の座標の加速度を算出する。続いて、加速度判定部２６は、算出した第一の座標又は第二の座標の加速度が、予め設定した加速度を示す加速度条件に含まれているか否かを判定する。
具体的には、加速度判定部２６は、まず、右フリック操作を推定する場合、深度センサ２１が深度画像を撮像した間隔（撮像時間）と、上述した重心座標の移動距離とを用いて、深度画像間における重心座標の移動速度を算出する。例えば、加速度判定部２６は、深度画像３０ｂと３０ｃとの撮像時間、深度画像３０ｃと３０ｄとの撮像時間、深度画像３０ｄと３０ｅとの撮像時間をそれぞれ取得する。続いて、加速度判定部２６は、上述した深度画像３０ｂと３０ｃ、深度画像３０ｃと３０ｄ、深度画像３０ｄと３０ｅそれぞれにおける、重心座標の移動距離（ベクトルＶ２１、Ｖ３１、Ｖ４１を参照）を取得する。そして、加速度判定部２６は、それらを用いて、深度画像３０ｂと３０ｃ、深度画像３０ｃと３０ｄ、深度画像３０ｄと３０ｅそれぞれにおける、重心座標の移動速度を算出する。
また、重心座標に替えて手先座標を用いる場合、加速度判定部２６は、手先座標の移動速度を算出する。なお、重心座標と手先座標とを用いる場合、加速度判定部２６は、それぞれについて移動速度を算出する。
続いて、加速度判定部２６は、深度画像３０ｂと３０ｃにおける重心座標の移動速度と、深度画像３０ｃと３０ｄにおける重心座標の移動速度とを用いて、深度画像３０ｂから３０ｄにおける重心座標の加速度を算出する。また、加速度判定部２６は、深度画像３０ｃと３０ｄにおける重心座標の移動速度と、深度画像３０ｄと３０ｅにおける重心座標の移動速度とを用いて、深度画像３０ｃから３０ｅにおける、重心座標の加速度を算出する。
また、重心座標に替えて手先座標を用いる場合、加速度判定部２６は、手先座標の加速度を算出する。なお、重心座標と手先座標とを用いる場合、加速度判定部２６は、それぞれについて加速度を算出する。
続いて、加速度判定部２６は、算出した重心座標の加速度それぞれが所定加速度以上（加速度条件）であるか否かを判定する。又は、重心座標に替えて手先座標を用いる場合、加速度判定部２６は、算出した手先座標の加速度それぞれが所定加速度以上であるか否かを判定する。なお、重心座標と手先座標とを用いる場合、加速度判定部２６は、それぞれについて判定してもよい。所定加速度は、実験、シミュレーション、機械学習などにより求める。
終了判定部５が有する終了位置判定部２７は、まず、第一の座標に対する第二の座標の位置を算出する。続いて、終了位置判定部２７は、算出した第一の座標に対する第二の座標の位置が、予め決めた終了位置条件に含まれているか否かを判定する。算出した第一の座標に対する第二の座標の位置が開始位置条件に含まれている場合、終了位置判定部２７は、ジェスチャ操作を終了したと判定する。
具体的には、終了位置判定部２７は、右フリック操作を推定する場合、深度画像３０ｅを用いて、重心座標に対する手先座標の位置を算出する。続いて、終了位置判定部２７は、予め設定した終了位置条件を参照して、水平軸を基準に、深度画像３０ｅから算出した重心座標が手先座標より左側の位置にあるか否かを判定する。終了位置判定部２７は、終了位置条件が満たされている場合、ジェスチャ操作を終了したと判定する。
［装置動作］
次に、本発明の実施の形態における操作推定装置１の動作について図４を用いて概略を説明する。図４は、操作推定装置の動作の一例を示す図である。以下の説明においては、適宜図１から３を参酌する。また、本実施の形態では、操作推定装置１を動作させることによって、操作推定方法が実施される。よって、本実施の形態における操作推定方法の説明は、以下の操作推定装置１の動作説明に代える。
開始判定部４は、第一の座標算出部２により算出した第一の座標に対する、第二の座標算出部３により算出した第二の座標の位置が、予め設定した開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する（ステップＡ１）。
続いて、終了判定部５は、移動方向条件と、移動距離条件と、終了位置条件とを満たした場合、ジェスチャ操作が終了したと判定する（ステップＡ２）。すなわち、終了判定部５は、ジェスチャ操作を開始した後、取得した複数の深度画像に基づいて算出した第一の座標の移動方向が、予め設定した移動方向を示す移動方向条件に含まれているかを判定する。また、終了判定部５は、ジェスチャ操作を開始した後、取得した複数の深度画像に基づいて、算出した第一の座標の移動距離が、予め設定した移動距離を示す移動距離条件に含まれているかを判定する。また、終了判定部５は、第一の座標に対する第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれているかを判定する。
図５、図６を用いて、図４に示したステップＡ１、Ａ２について更に説明する。図５は、操作推定装置の動作の詳細な一例を示す図である。図６は、判定条件情報のデータ構造の一例を示す図である。
図６では、「ジェスチャ操作」を示す「右フリック」「左フリック」「前フリック」……ごとに、判定条件を示す情報「開始位置条件」「開始方向条件」「移動方向条件」「移動距離条件」「加速度条件」「終了位置条件」が対応付けられている。
「右フリック」には、開始位置条件を示す情報right_flick_s_p、開始方向条件を示す情報right_flick_s_d、移動方向条件を示す情報right_flick_m_c、移動距離条件を示す情報right_flick_m_d、加速度条件を示す情報right_flick_a、終了位置条件を示す情報right_flick_f_pが関連付けられている。「左フリック」「前フリック」それぞれには、「開始位置条件」「開始方向条件」「移動方向条件」「移動距離条件」「加速度条件」「終了位置条件」を示す情報が関連付けられている。
まず、ステップＡ１の処理に対応する、ステップＡ５１、Ａ５２、Ａ５３、Ａ５４、Ａ５５の処理について説明する。
ステップＡ５１においては、第一の座標算出部２は、深度センサ２１から取得した深度画像に基づいて、第一の座標を算出する。また、第二の座標算出部３は、深度センサ２１から取得した深度画像に基づいて、第二の座標を算出する。続いて、開始判定部４が有する開始位置判定部２２は、第一の座標に対する第二の座標の位置を算出する。
具体的には、第一の座標算出部２は第一の座標として重心座標を算出し、第二の座標算出部３は第二の座標として手先座標を算出する。そして、開始位置判定部２２は、重心座標に対する手先座標の位置を算出する。
ステップＡ５２においては、開始位置判定部２２は、算出した第一の座標に対する第二の座標の位置を用いて、判定条件情報６０を参照し、ジェスチャ操作に関連付けられた開始位置条件を検出する。検出できた場合（ステップＡ５２：Ｙｅｓ）、開始位置判定部２２は、ジェスチャ操作を開始したと判定する。検出できない場合（ステップＡ５２：Ｎｏ）、開始位置判定部２２は、ジェスチャ操作が検出されるのを待つ。
具体的には、開始位置判定部２２は、重心座標に対する手先座標の位置を用いて、判定条件情報６０を参照し、重心座標に対する手先座標の位置が右フリック操作に対応する開始位置条件を示す情報「right_flick_s_p」に含まれている場合、右フリック操作が開始されたと判定する。なお、情報「right_flick_s_p」は、例えば、水平軸を基準に、重心座標が手先座標より右側の位置にあることを判定するための情報である。
ステップＡ５３においては、開始位置判定部２２は、今回取得した深度画像（深度画像３０ｂ）を用いて、第一の座標に対する第二の座標の位置を算出する。また、開始方向判定部２３は、前回取得した深度画像（深度画像３０ａ）及び今回取得した深度画像（深度画像３０ｂ）を用いて、第一の座標又は第二の座標について移動方向と移動距離とを算出する。
ステップＡ５４においては、開始位置判定部２２は、算出した第一の座標に対する第二の座標の位置が、予め決めた開始位置条件に含まれているか否かを判定する。算出した第一の座標に対する第二の座標の位置が開始位置条件に含まれない場合（ステップＡ５４：Ｎｏ）、ジェスチャ操作の推定を終了する。
算出した第一の座標に対する第二の座標の位置が開始位置条件に含まれている場合（ステップＡ５４：Ｙｅｓ）、ステップＡ５５においては、開始方向判定部２３は、第一の座標の移動方向及び移動距離が、予め設定した開始方向条件に含まれているか否かを判定する。
開始方向判定部２３は、第一の座標の移動方向及び移動距離（ベクトルＶ１１を参照）が、開始方向条件に含まれている場合（ステップＡ５４：Ｙｅｓ）、ジェスチャ操作が開始又は継続されていると判定する。第一の座標又は第二の座標の移動方向及び移動距離が開始方向条件に含まれていない場合（ステップＡ５４：Ｎｏ）、開始方向判定部２３は、ジェスチャ操作を終了する。
具体的には、開始方向判定部２３は、重心座標の移動方向及び移動距離を用いて、判定条件情報６０を参照し、重心座標の移動方向及び移動距離が右フリック操作に対応する開始方向条件を示す情報「right_flick_s_d」に含まれている場合、右フリック操作が開始されたと判定する。なお、開始方向条件を示す情報「right_flick_s_d」は、例えば、重心座標の移動方向が右方向で、かつ重心座標の移動距離が開始所定距離以上であることを判定するための情報である。
なお、ステップＡ５３、Ａ５５において、移動方向及び移動距離の算出に、具体例として第一の座標（重心座標）を用いた説明を示したが、重心座標に替えて第二の座標（手先座標）を用いてもよいし、重心座標と手先座標の両方を用いてもよい。
次に、ステップＡ２の処理に対応する、ステップＡ５６、Ａ５７、Ａ５８、Ａ５９、Ａ６０、Ａ６１、Ａ６２、Ａ６３、Ａ６４の処理について説明する。
ステップＡ５６からＡ６１では、操作推定装置１は、ジェスチャ操作開始後からジェスチャ操作終了までの時間（操作時間）において、時系列に取得した深度画像（深度画像３０ｂから３０ｄ）を用いて、ジェスチャ操作が継続されていることを判定する。操作時間は、例えば、実験、シミュレーション、機械学習などにより求める。なお、撮像時間が一定であれば、操作時間は、操作時間に取得できる深度画像の数により規定してもよい。更に、操作時間は、利用者が設定してもよい。
ステップＡ５６においては、開始位置判定部２２は、現時点において取得している深度画像を用いて、算出した第一の座標に対する第二の座標の位置を算出する。
また、ステップＡ５６においては、移動方向判定部２４は、現時点において取得している深度画像と、現時点より前に取得した深度画像とを用いて、第一の座標の移動方向を算出する。また、移動方向は、第二の座標を用いて算出してもよい。又は、第一の座標及び第二の座標それら両方の移動方向を算出してもよい。なお、当該処理は、ステップＡ５８の前に実行されればよい。
また、ステップＡ５６においては、移動距離判定部２５は、現時点において取得している深度画像と、現時点より前に取得した深度画像とを用いて、第一の座標の移動距離を算出する。また、移動距離は、第二の座標を用いて算出してもよい。又は、第一の座標及び第二の座標両方の移動距離を算出してもよい。なお、当該処理は、ステップＡ５９の前に実行されればよい。
更に、ステップＡ５６においては、更に、加速度判定部２６は、現時点において取得している深度画像と、現時点より前に取得した深度画像とを用いて、第一の座標の加速度を算出する。また、加速度は、第二の座標を用いて算出してもよい。又は、第一の座標及び第二の座標両方の加速度を算出してもよい。なお、当該処理は、ステップＡ６０の前に実行されればよい。
ステップＡ５７において、開始位置判定部２２は、ステップＡ５６で算出した第一の座標に対する第二の座標の位置が、ステップＡ５２で検出したジェスチャ操作に対応する開始位置条件に含まれている場合（ステップＡ５７：Ｙｅｓ）、ステップＡ５８において、移動方向を判定する。また、ステップＡ５１で検出したジェスチャ操作に対応する開始位置条件に含まれていない場合（ステップＡ５７：Ｎｏ）、ジェスチャ操作の推定を終了する。
具体的には、開始位置判定部２２は、重心座標に対する手先座標の位置が、右フリック操作に対応する開始位置条件を示す情報「right_flick_s_p」に含まれている場合、ステップＡ５８において、移動方向を判定する。
ステップＡ５８において、移動方向判定部２４は、ステップＡ５６で算出した第一の座標の移動方向が、ステップＡ５２で検出したジェスチャ操作に対応する移動方向条件に含まれているか否かを判定する。含まれている場合（ステップＡ５８：Ｙｅｓ）、ステップＡ５９において、移動距離を判定する。また、ステップＡ５１で検出したジェスチャ操作に対応する移動方向条件に含まれていない場合（ステップＡ５８：Ｎｏ）、ジェスチャ操作の推定を終了する。なお、移動方向の判定には、ステップＡ５６で説明したように、第二の座標、又は第一の座標及び第二の座標それら両方を用いてもよい。両方を用いる場合、両方の移動方向が、ステップＡ５２で検出したジェスチャ操作に対応する移動方向条件に含まれているか否かを判定する。
具体的には、移動方向判定部２４は、重心座標の移動方向が、右フリック操作に対応する移動方向条件を示す情報「right_flick_m_c」に含まれている場合、ステップＡ５８において、移動方向を判定する。移動方向条件を示す情報「right_flick_m_c」は、例えば、重心座標が右方向に移動したことを判定るための情報である。なお、移動方向の判定には、手先座標を用いてもよいし、重心座標と手先座標とを用いてもよい。
ステップＡ５９において、移動距離判定部２５は、ステップＡ５６で算出した第一の座標の移動距離が、ステップＡ５２で検出したジェスチャ操作に対応する移動距離条件に含まれているか否かを判定する。含まれている場合（ステップＡ５９：Ｙｅｓ）、ステップＡ６０において、加速度を判定する。また、ステップＡ５１で検出したジェスチャ操作に対応する移動距離条件に含まれていない場合（ステップＡ５９：Ｎｏ）、ジェスチャ操作の推定を終了する。なお、移動距離の判定には、ステップＡ５６で説明したように第二の座標、又は第一の座標及び第二の座標それら両方を用いてもよい。両方を用いる場合、両方の移動距離が、ステップＡ５２で検出したジェスチャ操作に対応する移動距離条件に含まれているか否かを判定する。
具体的には、移動距離判定部２５は、重心座標の移動距離が、右フリック操作に対応する移動距離条件を示す情報「right_flick_m_d」に含まれている場合、ステップＡ５９において、移動距離を判定する。移動距離条件を示す情報「right_flick_m_d」は、例えば、重心座標の移動距離が所定移動距離以上であることを判定するための情報である。また、所定移動距離は、重心座標が移動するほど大きい値に設定してもよい。なお、移動距離の判定には、手先座標を用いてもよいし、重心座標と手先座標とを用いてもよい。
ステップＡ６０において、加速度判定部２６は、ステップＡ５６で算出した第一の座標の加速度が、ステップＡ５２で検出したジェスチャ操作に対応する加速度条件に含まれているか否かを判定する。含まれている場合（ステップＡ６０：Ｙｅｓ）、ステップＡ６１において、操作時間以内であるか否かを判定する。また、ステップＡ５１で検出したジェスチャ操作に対応する加速度条件に含まれていない場合（ステップＡ６０：Ｎｏ）、ジェスチャ操作の推定を終了する。なお、加速度の算出には、ステップＡ５６で説明したように第二の座標、又は第一の座標及び第二の座標それら両方を用いてもよい。両方を用いる場合、両方の加速度が、ステップＡ５２で検出したジェスチャ操作に対応する移動距離条件に含まれているか否かを判定する。
具体的には、加速度判定部２６は、重心座標の加速度が、右フリック操作に対応する加速度条件を示す情報「right_flick_a」に含まれている場合、ステップＡ６０において、加速度を判定する。加速度条件を示す情報「right_flick_a」は、例えば、重心座標の加速度が所定加速度以上であることを示す情報である。所定加速度は、重心座標が移動するほど大きい値に設定してもよい。なお、加速度の判定には、手先座標を用いてもよいし、重心座標と手先座標とを用いてもよい。
ステップＡ６１において、終了位置判定部２７は、ジェスチャ操作開始から操作時間を経過したか否かを判定し、操作時間を超えた場合（ステップＡ６１：Ｙｅｓ）、ステップＡ６２、Ａ６３において、終了位置判定を実行する。操作時間以内である場合（ステップＡ６１：Ｎｏ）、ステップＡ５６からＡ６０の処理を再度実行する。なお、ステップＡ５７からＡ６０の処理は、図５に示す順番でなくてもよい。
ステップＡ６２においては、終了位置判定部２７は、算出した第一の座標に対する第二の座標の位置を算出する。続いて、ステップＡ６３においては、終了位置判定部２７は、ステップＡ５２で検出したジェスチャ操作に対応する最終位置条件に含まれているか否かを判定する。算出した第一の座標に対する第二の座標の位置が最終位置条件に含まれていない場合（ステップＡ６３：Ｎｏ）、ジェスチャ操作の推定を終了する。
具体的には、終了位置判定部２７は、重心座標に対する手先座標の位置を用いて、判定条件情報６０を参照し、重心座標に対する手先座標の位置が右フリック操作に対応する終了位置条件を示す情報「right_flick_f_p」に含まれている場合、右フリック操作が終了されたと判定する。なお、情報「right_flick_f_p」は、例えば、水平軸を基準に、重心座標が手先座標より左側の位置にあることを示す情報である。
ステップＡ６３においては、終了位置判定部２７は、算出した第一の座標に対する第二の座標の位置が開始位置条件に含まれている場合（ステップＡ６３：Ｙｅｓ）、ステップＡ６４においては、終了位置判定部２７は、ジェスチャ操作を確定する。
［本実施の形態の効果］
以上のように本実施の形態によれば、人体部位画像から算出した第一の座標と第二の座標とが、ジェスチャ操作ごとに設定された、上述した開始位置条件、移動方向条件、移動距離条件、終了位置条件を満たした場合、利用者が当該ジェスチャ操作をしたと推定する。そうすることで、ジェスチャ操作を推定する精度を向上させることができる。
また、開始方向条件、又は加速度条件を、条件として加えることで、更に、ジェスチャ操作を推定する精度を向上させることができる。
また、利用者が、上述した判定条件を満たすように、ジェスチャ操作をするため、ジェスチャ操作の推定精度を向上させることができる。例えば、利用者が右フリック操作を検出させたい場合、利用者が重心位置と手先位置とを意識するようになるため、右フリックを誤検出する確率が低くなる。
なお、本実施の形態では、右フリック操作用いて説明したが、右フリック操作以外のジェスチャ操作にも適用できる。例えば、上述した左フリック操作、前フリック操作などに適用できる。
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１、Ａ２、図５に示すステップＡ５１からＡ６４を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における操作推定装置と操作推定方法とを実現することができる。この場合、コンピュータのプロセッサは、第一の座標算出部２、第二の座標算出部３、開始判定部４、終了判定部５として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、第一の座標算出部２、第二の座標算出部３、開始判定部４、終了判定部５のいずれかとして機能してもよい。
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、操作推定装置１を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における操作推定装置１を実現するコンピュータの一例を示すブロック図である。
図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを有する。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を有してもよい。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
なお、本実施の形態における操作推定装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、操作推定装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
［付記］
以上の実施の形態に関し、更に以下の付記を開示する。なお、上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記６）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、第一の座標算出部と、
前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、第二の座標算出部と、
前記第一の座標に対する前記第二の座標の位置が、予め決めた開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する、開始判定部と、
前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め設定した移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、終了判定部と、
を有することを特徴とする操作推定装置。
（付記２）
付記１に記載の操作推定装置であって
前記終了判定部は、更に、前記ジェスチャ操作を開始した後、時系列に取得した前記深度画像を用いて、前記深度画像間の前記第一の座標又は前記第二の座標又はそれら両方の加速度を算出し、算出した前記加速度が、予め設定した加速度を示す加速度条件に含まれる場合、前記ジェスチャ操作が終了したと判定する
ことを特徴とする操作推定装置。
（付記３）
（ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
（ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
（ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
（ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
を有することを特徴とする操作推定方法。
（付記４）
付記３に記載の操作推定方法であって
前記（ｄ）のステップにおいて、更に、前記ジェスチャ操作を開始した後、時系列に取得した前記深度画像を用いて、前記深度画像間の前記第一の座標又は前記第二の座標又はそれら両方の加速度を算出し、算出した前記加速度が、予め設定した加速度を示す加速度条件に含まれる場合、前記ジェスチャ操作が終了したと判定する
ことを特徴とする操作推定方法。
（付記５）
コンピュータに、
（ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
（ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
（ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始条件を示す位置に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
（ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記６）
付記５に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｄ）のステップにおいて、更に、前記ジェスチャ操作を開始した後、時系列に取得した前記深度画像を用いて、前記深度画像間の前記第一の座標又は前記第二の座標又はそれら両方の加速度を算出し、算出した前記加速度が、予め設定した加速度を示す加速度条件に含まれる場合、前記ジェスチャ操作が終了したと判定する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１８年３月２日に出願された日本出願特願２０１８−０３７９１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように本発明によれば、ジェスチャ操作を推定する精度を向上させることができる。本発明は、ジェスチャ操作の推定が必要な分野において有用である。
１ 操作推定装置
２ 第一の座標算出部
３ 第二の座標算出部
４ 開始判定部
５ 終了判定部
２０ 操作推定システム
２１ 深度センサ
２２ 開始位置判定部
２３ 開始方向判定部
２４ 移動方向判定部
２５ 移動距離判定部
２６ 加速度判定部
２７ 終了位置判定部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
本発明は、ジェスチャ操作を推定する、操作推定装置、操作推定方法に関し、更には、これらを実現するためのプログラムに関する。
本発明の目的の一例は、ジェスチャ操作を推定する精度を向上させる操作推定装置、操作推定方法、及びプログラムを提供することにある。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
（ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
（ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始条件を示す位置に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
（ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の前記移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
を実行させることを特徴とする。
（付記５）
コンピュータに、
（ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
（ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
（ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始条件を示す位置に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
（ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
を実行させるプログラム。
（付記６）
付記５に記載のプログラムであって、
前記（ｄ）のステップにおいて、更に、前記ジェスチャ操作を開始した後、時系列に取得した前記深度画像を用いて、前記深度画像間の前記第一の座標又は前記第二の座標又はそれら両方の加速度を算出し、算出した前記加速度が、予め設定した加速度を示す加速度条件に含まれる場合、前記ジェスチャ操作が終了したと判定する
ことを特徴とするプログラム。

Claims (6)

  1. 深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、第一の座標算出部と、
    前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、第二の座標算出部と、
    前記第一の座標に対する前記第二の座標の位置が、予め決めた開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する、開始判定部と、
    前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め設定した移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、終了判定部と、
    を有することを特徴とする操作推定装置。
  2. 請求項１に記載の操作推定装置であって
    前記終了判定部は、更に、前記ジェスチャ操作を開始した後、時系列に取得した前記深度画像を用いて、前記深度画像間の前記第一の座標又は前記第二の座標又はそれら両方の加速度を算出し、算出した前記加速度が、予め設定した加速度を示す加速度条件に含まれる場合、前記ジェスチャ操作が終了したと判定する
    ことを特徴とする操作推定装置。
  3. （ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
    （ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
    （ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始位置条件に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
    （ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
    を有することを特徴とする操作推定方法。
  4. 請求項３に記載の操作推定方法であって
    前記（ｄ）のステップにおいて、更に、前記ジェスチャ操作を開始した後、時系列に取得した前記深度画像を用いて、前記深度画像間の前記第一の座標又は前記第二の座標又はそれら両方の加速度を算出し、算出した前記加速度が、予め設定した加速度を示す加速度条件に含まれる場合、前記ジェスチャ操作が終了したと判定する
    ことを特徴とする操作推定方法。
  5. コンピュータに、
    （ａ）深度画像に撮像された人体部位に対応する人体部位画像に基づいて、前記人体部位画像の特徴を示す第一の座標を算出する、ステップと、
    （ｂ）前記第一の座標と異なる、前記人体部位画像の特徴を示す第二の座標を算出する、ステップと、
    （ｃ）前記第一の座標に対する前記第二の座標の位置が、予め設定した開始位置を示す開始条件を示す位置に含まれる場合、ジェスチャ操作を開始したと判定する、ステップと、
    （ｄ）前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動方向が、予め決めた移動方向を示す移動方向条件に含まれ、かつ前記ジェスチャ操作を開始した後、取得した複数の前記深度画像に基づいて、算出した前記第一の座標又は前記第二の座標又はそれら両方の移動距離が、予め設定した移動距離を示す移動距離条件に含まれ、かつ前記第一の座標に対する前記第二の座標の位置が、予め設定した終了位置を示す終了位置条件に含まれる場合、前記ジェスチャ操作が終了したと判定する、ステップと、
    を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 請求項５に記載のコンピュータ読み取り可能な記録媒体であって、
    前記（ｄ）のステップにおいて、更に、前記ジェスチャ操作を開始した後、時系列に取得した前記深度画像を用いて、前記深度画像間の前記第一の座標又は前記第二の座標又はそれら両方の加速度を算出し、算出した前記加速度が、予め設定した加速度を示す加速度条件に含まれる場合、前記ジェスチャ操作が終了したと判定する
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2020503667A 2018-03-02 2019-03-01 操作推定装置、操作推定方法、及びプログラム Active JP6958951B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018037917 2018-03-02
JP2018037917 2018-03-02
PCT/JP2019/008249 WO2019168190A1 (ja) 2018-03-02 2019-03-01 操作推定装置、操作推定方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019168190A1 true JPWO2019168190A1 (ja) 2021-02-12
JP6958951B2 JP6958951B2 (ja) 2021-11-02

Family

ID=67806338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503667A Active JP6958951B2 (ja) 2018-03-02 2019-03-01 操作推定装置、操作推定方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6958951B2 (ja)
WO (1) WO2019168190A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038527A (ja) * 2012-08-17 2014-02-27 Nec System Technologies Ltd 入力装置、入力方法、及びプログラム
JP2016511492A (ja) * 2013-03-15 2016-04-14 クアルコム，インコーポレイテッド 少なくとも２つの制御オブジェクトを用いて行われるジェスチャの検出
WO2016056260A1 (ja) * 2014-10-07 2016-04-14 株式会社ログバー ジェスチャ入力時におけるノイズ除去方法
JP2017224161A (ja) * 2016-06-15 2017-12-21 株式会社東海理化電機製作所 ジェスチャ判定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038527A (ja) * 2012-08-17 2014-02-27 Nec System Technologies Ltd 入力装置、入力方法、及びプログラム
JP2016511492A (ja) * 2013-03-15 2016-04-14 クアルコム，インコーポレイテッド 少なくとも２つの制御オブジェクトを用いて行われるジェスチャの検出
WO2016056260A1 (ja) * 2014-10-07 2016-04-14 株式会社ログバー ジェスチャ入力時におけるノイズ除去方法
JP2017224161A (ja) * 2016-06-15 2017-12-21 株式会社東海理化電機製作所 ジェスチャ判定装置

Also Published As

Publication number Publication date
JP6958951B2 (ja) 2021-11-02
WO2019168190A1 (ja) 2019-09-06

Similar Documents

Publication Publication Date Title
US9122341B2 (en) Resolving merged touch contacts
US20080143676A1 (en) Information input device and method and medium for inputting information in 3D space
KR102035166B1 (ko) 전자기기, 그 제어방법 및 기억매체
KR101372122B1 (ko) 터치스크린에서의 벡터 기반 제스처를 보정하는 방법 및 그 장치
JP2013186648A (ja) 情報処理装置およびその制御方法
US11216064B2 (en) Non-transitory computer-readable storage medium, display control method, and display control apparatus
JP2021519970A (ja) ビデオオブジェクト検出
TW201716931A (zh) 用以執行影像處理方法的非暫時性電腦可讀取媒體，以及使用此影像處理方法的影像感測裝置
US9891730B2 (en) Information processing apparatus, information processing method therefor, and non-transitory storage medium
JP6212201B2 (ja) マルチフィンガータッチインタラクション中のパンおよびスケーリングの検出
JP6958951B2 (ja) 操作推定装置、操作推定方法、及びプログラム
WO2018098960A1 (zh) 一种触屏设备操作方法及触屏设备
US8773382B2 (en) Computer-readable storage medium, coordinate processing apparatus, coordinate processing system, and coordinate processing method
JP6892155B2 (ja) 人体部位推定装置、人体部位推定方法、及びプログラム
JP6697567B2 (ja) 歩数計数装置、歩数計数方法、およびプログラム
US20220283702A1 (en) Touch input device, touch input method and recording medium recording touch input program
JP2015191250A (ja) 情報処理装置、及びその制御方法、プログラム、記録媒体
US20120299837A1 (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
US20140201687A1 (en) Information processing apparatus and method of controlling information processing apparatus
CN112800820A (zh) 面部检测方法和设备
KR20210058614A (ko) 적응적인 임계치를 이용한 얼굴 검출 방법 및 장치
US10558270B2 (en) Method for determining non-contact gesture and device for the same
JP7283734B2 (ja) 追跡装置、追跡方法、及びプログラム
JP7120690B2 (ja) 関節位置推定装置、関節位置推定方法およびプログラム
JP7283735B2 (ja) 追跡装置、追跡方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210930

R150 Certificate of patent or registration of utility model

Ref document number: 6958951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150