JP6329469B2 - 認識装置、認識方法及び認識プログラム - Google Patents
認識装置、認識方法及び認識プログラム Download PDFInfo
- Publication number
- JP6329469B2 JP6329469B2 JP2014189472A JP2014189472A JP6329469B2 JP 6329469 B2 JP6329469 B2 JP 6329469B2 JP 2014189472 A JP2014189472 A JP 2014189472A JP 2014189472 A JP2014189472 A JP 2014189472A JP 6329469 B2 JP6329469 B2 JP 6329469B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature amount
- sensor
- change
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Description
本発明の実施形態は、認識装置、認識方法及び認識プログラムに関する。
ユーザの身体の特定部分（指、手首、二の腕など）に装着してユーザの動作（ジェスチャ）を認識する認識装置がある。認識装置を用いて、ＰＣ（パーソナルコンピュータ）やテレビなどの機器を操作する。ユーザの操作負担を軽減することが望まれる。
Sebastian O.H. Madgwick, Andrew J.L. Harrison, Ravi Vaidyanathan,"Estimation of IMU and MARG orientation using a gradient descent algorithm", 2011 IEEE International Conference on Rehabilitation Robotics, 2011.June, vol.22, No.6, pp.1216-1227
本発明の実施形態は、ユーザの操作負担を軽減できる認識装置、認識方法及び認識プログラムを提供する。
本発明の実施形態によれば、取得部と、処理部と、を含む認識装置が提供される。前記取得部は、第１情報と第２情報とを取得する。前記第１情報は、前記身体の動作に応じて変化する第１信号に関する。前記第２情報は、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する。前記処理部は、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する。前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含む。前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む。
本発明の別の実施形態によれば、取得部と、処理部と、を含む認識装置が提供される。前記取得部は、第１情報と第２情報とを取得する。前記第１情報は、前記身体の動作に応じて変化する第１信号に関する。前記第２情報は、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する。前記処理部は、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する。前記第１特徴量は、前記第１部分の３次元空間内での位置に関する値を含む。前記第２特徴量は、前記第２部分の前記３次元空間内での位置に関する値を含む。
本発明の別の実施形態によれば、取得部と、処理部と、を含む認識装置が提供される。前記取得部は、第１情報と第２情報とを取得する。前記第１情報は、前記身体の動作に応じて変化する第１信号に関する。前記第２情報は、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する。前記処理部は、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する。前記処理部は、前記取得部が操作受付状態であることを表す操作受付情報を取得したときに、前記身体の前記動作により操作される操作対象を移動させる移動ベクトルを、前記第１特徴量の変化の大きさ及び方向と、前記第２特徴量の変化の大きさ及び方向と、の少なくともいずれかに基づいて算出する。
本発明の別の実施形態によれば、身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する処理と、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理と、を含む認識方法が提供される。前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含む。前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む。
本発明の別の実施形態によれば、身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する処理と、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理と、をコンピュータに実行させる認識プログラムが提供される。前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含む。前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む。
本発明の別の実施形態によれば、取得部と、処理部と、を含む認識装置が提供される。前記取得部は、第１情報と第２情報とを取得する。前記第１情報は、前記身体の動作に応じて変化する第１信号に関する。前記第２情報は、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する。前記処理部は、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する。前記第１特徴量は、前記第１部分の３次元空間内での位置に関する値を含む。前記第２特徴量は、前記第２部分の前記３次元空間内での位置に関する値を含む。
本発明の別の実施形態によれば、取得部と、処理部と、を含む認識装置が提供される。前記取得部は、第１情報と第２情報とを取得する。前記第１情報は、前記身体の動作に応じて変化する第１信号に関する。前記第２情報は、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する。前記処理部は、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する。前記処理部は、前記取得部が操作受付状態であることを表す操作受付情報を取得したときに、前記身体の前記動作により操作される操作対象を移動させる移動ベクトルを、前記第１特徴量の変化の大きさ及び方向と、前記第２特徴量の変化の大きさ及び方向と、の少なくともいずれかに基づいて算出する。
本発明の別の実施形態によれば、身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する処理と、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理と、を含む認識方法が提供される。前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含む。前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む。
本発明の別の実施形態によれば、身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する処理と、前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理と、をコンピュータに実行させる認識プログラムが提供される。前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含む。前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む。
以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
（第１の実施形態）
図１（ａ）及び図１（ｂ）は、第１の実施形態に係る認識装置を例示するブロック図である。
図１（ａ）は、認識装置の構成の例を示す。図１（ｂ）は、第１素子及び第２素子の例を示す。
認識装置１００には、取得部３０と、処理部４０と、が設けられる。取得部３０には、例えば、入出力端子が用いられる。取得部３０は、有線または無線を介して外部と通信する入出力インターフェイスを含む。処理部４０には、例えば、ＣＰＵやメモリなどを含む演算装置が用いられる。処理部４０の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
図１（ａ）及び図１（ｂ）は、第１の実施形態に係る認識装置を例示するブロック図である。
図１（ａ）は、認識装置の構成の例を示す。図１（ｂ）は、第１素子及び第２素子の例を示す。
認識装置１００には、取得部３０と、処理部４０と、が設けられる。取得部３０には、例えば、入出力端子が用いられる。取得部３０は、有線または無線を介して外部と通信する入出力インターフェイスを含む。処理部４０には、例えば、ＣＰＵやメモリなどを含む演算装置が用いられる。処理部４０の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
図１（ｂ）に示すように、第１素子１０として、例えば、第１センサ１０ｄが用いられ、第２素子２０としては、例えば、第２センサ２０ｄが用いられる。認識装置１００は、第１素子１０または第２素子２０と一体的に設けられていてもよい。認識装置１００は、認識装置１００の認識結果に基づいて操作される操作対象機器と一体的に設けられても良い。操作対象機器は、例えばＰＣ（パーソナルコンピュータ）１１０である。認識装置１００は、第１素子１０、第２素子２０及びＰＣ１１０と独立して設けられてもよい。認識装置１００の一部を第１素子１０または第２素子２０と一体的に設け、認識装置１００の別の一部をＰＣ１１０と一体的に設けてもよい。
認識装置１００は、第１素子１０及び第２素子２０と、有線または無線の方式により接続される。認識装置１００は、操作対象機器（例えばＰＣ１１０）と、有線または無線の方式により接続される。
図２（ａ）及び図２（ｂ）は、第１の実施形態に係る認識装置を例示する模式図である。
これらの図は、認識装置の使用状態を例示している。図２（ａ）は、ユーザによるジョイスティック動作の一例を示す。図２（ｂ）は、ユーザによるタッチパッド動作の一例を示す。
第１センサ１０ｄ（第１素子１０）、及び、第２センサ２０ｄ（第２素子２０）は、ユーザの身体１０１の特定部分に装着して使用される。例えば、第１素子１０は、第１部分１０ａ（例えば手首）に装着される。第２素子２０は、第２部分２０ａ（例えば指）に装着される。認識装置１００は、手首などの第１部分１０ａの動作を第１素子１０で検知し、指などの第２部分２０ａの動作を第２素子２０で検知する。認識装置１００は、第１素子１０及び第２素子２０の検知結果に基づいて、身体１０１の動作の種類を認識する。身体１０１の動作の種類は、例えば、ジョイスティック動作及びタッチパッド動作などを含む。
これらの図は、認識装置の使用状態を例示している。図２（ａ）は、ユーザによるジョイスティック動作の一例を示す。図２（ｂ）は、ユーザによるタッチパッド動作の一例を示す。
第１センサ１０ｄ（第１素子１０）、及び、第２センサ２０ｄ（第２素子２０）は、ユーザの身体１０１の特定部分に装着して使用される。例えば、第１素子１０は、第１部分１０ａ（例えば手首）に装着される。第２素子２０は、第２部分２０ａ（例えば指）に装着される。認識装置１００は、手首などの第１部分１０ａの動作を第１素子１０で検知し、指などの第２部分２０ａの動作を第２素子２０で検知する。認識装置１００は、第１素子１０及び第２素子２０の検知結果に基づいて、身体１０１の動作の種類を認識する。身体１０１の動作の種類は、例えば、ジョイスティック動作及びタッチパッド動作などを含む。
図２（ａ）及び図２（ｂ）の例において、第１素子１０には、第１部分１０ａに装着可能なリング状部材が用いられる。第２素子２０には、第２部分２０ａに装着可能なリング状部材が用いられる。第１素子１０及び第２素子２０の形状は、これらに限定されるものではない。
図２（ａ）の例は、ユーザの第１動作（例えば、ジョイスティック動作）を示す。ジョイスティック動作は、第２部分２０ａの端２０ｃを支点として第２部分２０ａの別の部分２０ｂを動かすことを含む。図２（ａ）では、別の部分２０ｂが、矢印１００ａの方向に沿って動く。図２（ｂ）の例は、ユーザの第２動作（例えば、タッチパッド動作）を示す。タッチパッド動作は、第２部分２０ａの端２０ｃと共に第２部分２０ａの別の部分２０ｂを動かすことを含む。図２（ｂ）では、別の部分２０ｂが矢印１００ｂの方向に沿って動く。
図１（ａ）、図２（ａ）及び図２（ｂ）において、第１素子１０は、動作する身体１０１の第１部分１０ａに装着される。取得部３０は、第１情報１４を取得する。第１情報１４は、第１素子１０で生成される第１信号１４ｓｇに関する情報である。第１信号１４ｓｇは、身体１０１の動作に応じて変化する第１部分１０ａの状態に対応する。第１信号１４ｓｇとして、例えば、図１（ｂ）に表す第１センサ１０ｄで生成される第１センサ信号１５ｓｇが用いられる。第１情報１４として、例えば、第１センサ信号１５ｓｇの値を含む第１センサ情報１５が用いられる。図１（ｂ）の例では、第１センサ１０ｄは、第１センサ情報１５を出力し、取得部３０は第１センサ情報１５を取得する。
図１（ａ）、図２（ａ）及び図２（ｂ）において、第２素子２０は、第２部分２０ａに装着される。第２部分２０ａの、第１部分１０ａとの間の相対的な位置関係は、身体１０１の動作に応じて変化する。取得部３０は、第２情報２４を取得する。第２情報２４は、第２素子２０で生成される第２信号２４ｓｇに関する情報である。第２信号２４ｓｇは、身体１０１の動作に応じて変化する第２部分２０ａの状態に対応する。第２信号２４ｓｇとして、例えば、図１（ｂ）に表す第２センサ２０ｄで生成される第２センサ信号２５ｓｇが用いられる。第２情報２４として、例えば、第２センサ信号２５ｓｇの値を含む第２センサ情報２５が用いられる。図１（ｂ）の例では、第２センサ２０ｄは、第２センサ情報２５を出力し、取得部３０は第２センサ情報２５を取得する。
処理部４０は、特徴量算出部４１と、動作認識部４２と、処理実施部４３と、を含む。処理部４０の各部は必ずしも一体的に設けられている必要はなく、処理部４０の一部がＰＣ１１０等に分散して設けられていてもよい。例えば、処理実施部４３がＰＣ１１０に設けられていてもよい。
特徴量算出部４１は、第１情報１４に基づいて第１部分１０ａの第１特徴量を算出し、第２情報２４に基づいて第２部分２０ａの第２特徴量を算出する。本実施形態において、第１部分１０ａは、例えば、身体１０１の手首である。第１特徴量は、第１部分１０ａの第１軸（仮想的な軸）の３次元空間内での傾きに関する値を含む。この値は、第１軸に関する第１〜第３角度を含む。第１〜第３角度は、３次元空間内において互いに交差する３つの軸のそれぞれと第１軸との間の角度のそれぞれである。具体例として、第１〜第３角度は、第１素子１０から見て左右を軸とした上下方向の回転角であるピッチ（pitch）角と、上下を軸にした左右方向の回転角であるヨー（yaw）角と、前後を軸とした回転角であるロール（roll）角と、で表される。
第２部分２０ａは、身体１０１の動作に応じて、第１部分１０ａとの間の相対的な位置関係が変化する部分である。本実施形態において、第２部分２０ａは、例えば、身体１０１の指（人指し指など）である。第２特徴量は、第２部分２０ａの第２軸（仮想的な軸）の３次元空間内での傾きに関する値を含む。この値は、第２軸に関する第４〜第６角度を含む。第４〜第６角度は、３次元空間内において互いに交差する３つの軸のそれぞれと第２軸との間の角度のそれぞれである。具体例として、第４〜第６角度は、第２素子２０から見て左右を軸とした上下方向の回転角であるピッチ（pitch）角と、上下を軸にした左右方向の回転角であるヨー（yaw）角と、前後を軸とした回転角であるロール（roll）角と、で表される。
動作認識部４２は、第１特徴量の変化と第２特徴量の変化とに基づいて、身体１０１の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。第１特徴量の変化は、例えば、第１軸に関する第１〜第３角度（例えば、ピッチ角、ヨー角、ロール角）の少なくともいずれかの変化（以下、第１変化という）である。同様に、第２特徴量の変化は、例えば、第２軸に関する第４〜第６角度（例えば、ピッチ角、ヨー角、ロール角）の少なくともいずれかの変化（以下、第２変化という）である。
すなわち、動作認識部４２は、第１変化の第１絶対値と、第１変化の第１極性と、第２変化の第２絶対値と、第２変化の第２極性と、に基づいて、身体１０１の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。
処理実施部４３は、動作の種類（例えば、ジョイスティック動作またはタッチパッド動作に応じた処理のいずれか）を、身体１０１の動作により操作される操作対象に対して実施する。操作対象は、例えば、ＰＣ１１０の画面内に表示されるオブジェクトである。このオブジェクトとしては、例えば、マウスカーソルや、画像、画像内の特定部分などが含まれる。なお、ＰＣ１１０は、操作対象機器の一例である。ＰＣ１１０として、テレビ受像機などを用いても良い。操作対象機器は、限定されるものではない。
本実施形態において、第１部分１０ａの傾きは、第１部分１０ａの角度である。第１部分１０ａの角度は、３次元空間内において互いに交差する３軸のそれぞれに対する角度を含む。第２部分２０ａの傾きは、第２部分２０ａの角度である。第２部分２０ａの角度は、３次元空間内において互いに交差する３軸のそれぞれに対する角度を含む。例えば、３次元空間内における３軸とは、例えば、３次元空間内で互いに直交するＸ軸、Ｙ軸、Ｚ軸とされる。Ｘ軸方向に対して垂直な１つの方向をＹ軸方向とする。Ｘ軸方向に対して垂直でＹ軸方向に対して垂直な方向をＺ軸方向とする。
図１（ｂ）において、第１素子１０の一例である第１センサ１０ｄは、第１角速度センサ１１と、第１加速度センサ１２と、第１地磁気センサ１３と、を含む。第１角速度センサ１１は、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれについての角速度値を出力する。第１加速度センサ１２は、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれについての加速度値を出力する。第１地磁気センサ１３は、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれについての地磁気値を出力する。すなわち、第１センサ１０ｄが出力する第１センサ情報１５は、これら角速度値、加速度値及び地磁気値の少なくともいずれかに関する情報である。
第１センサ１０ｄは、例えば、装着した第１部分１０ａの３次元的な角速度値、加速度値及び地磁気値を取得できる一般的な９軸センサである。なお、第１センサ１０ｄとして、例えば、第１角速度センサ１１が用いられる。第１センサ１０ｄとして、例えば、第１加速度センサ１２が用いられるもよい。第１センサ１０ｄとして、例えば、第１角速度センサ１１及び第１加速度センサ１２が用いられる。第１センサ１０ｄとして、例えば、第１角速度センサ１１及び第１地磁気センサ１３が用いられる。第１センサ１０ｄとして、例えば、第１加速度センサ１２及び第１地磁気センサ１３が用いられる。
例えば、第２センサ２０ｄは、第２角速度センサ２１と、第２加速度センサ２２と、第２地磁気センサ２３と、を含む。第２角速度センサ２１は、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれについての角速度値を出力する。第２加速度センサ２２は、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれについての加速度値を出力する。第２地磁気センサ２３は、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれについての地磁気値を出力する。すなわち、第２センサ２０ｄが出力する第２センサ情報２５は、これら角速度値、加速度値及び地磁気値の少なくともいずれかに関する情報である。
第２センサ２０ｄは、例えば、装着した第２部分２０ａの３次元的な角速度値、加速度値及び地磁気値を取得できる一般的な９軸センサである。なお、第２センサ２０ｄとして、例えば、第２角速度センサ２１が用いられる。第２センサ２０ｄとして、例えば、第２加速度センサ２２が用いられる。第２センサ２０ｄとして、例えば、第２角速度センサ２１及び第２加速度センサ２２が用いられる。第２センサ２０ｄとして、例えば、第２角速度センサ２１及び第２地磁気センサ２３が用いられる。第２センサ２０ｄとして、例えば、第２加速度センサ２２及び第２地磁気センサ２３が用いられる。
例えば、角速度センサは、物理量として角速度を検出する。本例では、おもりの振動を検出することにより、角速度センサが受ける角速度を検出する振動式が採用される。このような振動式の角速度センサでは、ある一方向に振動（一次振動）するおもりに角速度が加わると、このおもりにいわゆるコリオリ力が発生する。振動式の角速度センサは、このコリオリ力によってそのおもりに直交する方向にも振動（二次振動）が発生することを利用する。本例では、圧電素子にて二次振動が検出されて電気信号に変換され、この電気信号が角速度に応じた検出信号（角速度値）として出力される。
ここで、特定部分の３次元的な傾き（角度）は、角速度の積分演算や重力加速度からの変換により得ることができる。しかしながら、角速度を積分演算する場合、角速度センサの出力に含まれるドリフト誤差が蓄積し、計測時間の経過とともに精度が低下する場合がある。また、重力加速度から変換する場合、方位情報が得られないため、加速度センサが出力する動的加速度が誤差となる場合がある。従って、より正確な３次元的な傾きを得るには、角速度センサ、加速度センサ及び地磁気センサを用いることが好ましい。
ここで、認識装置においては、例えば、センサにより取得される加速度、角速度、地磁気の少なくともいずれかの値に基づき、センサの３次元的な傾きを算出する手法が知られている。３次元的な傾きとは、センサから見て左右を軸とした上下方向の回転角であるピッチ角と、上下を軸にした左右方向の回転角であるヨー角と、前後を軸とした回転角であるロール角と、で表される。センサを例えば腕（手首）に装着した場合、センサの傾きは擬似的に腕の傾きに対応する。センサの３次元的な傾きは画面の相対位置に対応付けられる。これにより、例えば、画面上のカーソルをユーザの腕の傾きに対応させて遠隔操作することが可能となる。ユーザは、タッチパッドやジョイスティック等の入力デバイスを用いることなく、遠隔からの指差し動作（ジェスチャ）によって、画面上のカーソルを動かし操作することができる。このような技術は、例えば、ＰＣ（パーソナルコンピュータ）やテレビ等の機器を操作する際に用いられる。
図３は、機器操作を例示する図である。
図３の例において、例えば、手首に装着したセンサ３０１から加速度、角速度、地磁気の少なくともいずれかの値が取得される。これらの値に基づき、表示装置の画面３０２内のカーソル３０３を特定の位置に移動させる。例えば、画面３０２内に配置されたオブジェクト３０４上にカーソル３０３を移動させることで、そのオブジェクト３０４をポインティング（選択）する。また、センサ３０１を指に装着して指の移動軌跡を解析することにより、任意の場所（空中、手のひら、太もも、机など）に指で書いた文字を認識することもできる。
図３の例において、例えば、手首に装着したセンサ３０１から加速度、角速度、地磁気の少なくともいずれかの値が取得される。これらの値に基づき、表示装置の画面３０２内のカーソル３０３を特定の位置に移動させる。例えば、画面３０２内に配置されたオブジェクト３０４上にカーソル３０３を移動させることで、そのオブジェクト３０４をポインティング（選択）する。また、センサ３０１を指に装着して指の移動軌跡を解析することにより、任意の場所（空中、手のひら、太もも、机など）に指で書いた文字を認識することもできる。
ＰＣやテレビなどの機器の動作モードには、例えば、入力デバイスとしてジョイスティックを用いるジョイスティックモードと、入力デバイスとしてタッチパッドを用いるタッチパッドモードと、がある。ユーザの動作（ジェスチャ）によりこれら２つの動作モード（ジョイスティックモード、タッチパッドモード）を実施する場合、機器の画面にメニューを表示させ、メニュー上でいずれかの動作モードをユーザに選択させる必要があった。
しかしながら、メニューの階層を経ることでステップ数が増えてしまい、ユーザの負担となる。このため、ユーザの動作を正しく認識することで、２つの動作モードを自動的に切り替え、ユーザの操作負担を軽減できることが望まれている。
具体的には、ジョイスティックモードでのユーザ動作は、指先を面の上に立て指先を支点として指の傾きを変化させるような動作となる。タッチパッドモードでのユーザ動作は、指先を面の上で移動させるような動作となる。つまり、機器操作に係るユーザの動作としては、指先を面の上に立て指先を支点として指の傾きを変化させることで操作する第１動作（ジョイスティック動作）と、指先を面の上で移動させその移動の軌跡により操作する第２動作（タッチパッド動作）と、がある。
本実施形態によれば、ユーザによる動作の種類（例えば、ジョイスティック動作とタッチパッド動作）を正しく認識し、ユーザの動作の種類によって操作対象機器の動作モードを切り替えることができる。これにより、ユーザの操作負担を軽減することができる。
図４は、第１の実施形態に係る認識装置の機器操作を例示する模式図である。
図４は、認識装置１００を用いて、ＰＣ１１０の２つの動作モードを切り替え、ブラウザ画面を操作する場合の例を示す。
ＰＣ１１０のブラウザ画面５１には、マウスカーソル５２と、第１オブジェクト５３と、第２オブジェクト５４と、スクロールバー５５と、が表示される。動作認識部４２によりユーザの動作の種類が下向きへのジョイスティック動作と認識された場合（Ｓ１の場合）、処理実施部４３は、ＰＣ１１０の動作モードをジョイスティックモードに切り替える。このジョイスティックモードでは例えばマウスカーソル５２を移動させる。具体的には、ブラウザ画面５１内に表示されているマウスカーソル５２を下方向に移動させ、ブラウザ画面５１ａへと遷移させる。
図４は、認識装置１００を用いて、ＰＣ１１０の２つの動作モードを切り替え、ブラウザ画面を操作する場合の例を示す。
ＰＣ１１０のブラウザ画面５１には、マウスカーソル５２と、第１オブジェクト５３と、第２オブジェクト５４と、スクロールバー５５と、が表示される。動作認識部４２によりユーザの動作の種類が下向きへのジョイスティック動作と認識された場合（Ｓ１の場合）、処理実施部４３は、ＰＣ１１０の動作モードをジョイスティックモードに切り替える。このジョイスティックモードでは例えばマウスカーソル５２を移動させる。具体的には、ブラウザ画面５１内に表示されているマウスカーソル５２を下方向に移動させ、ブラウザ画面５１ａへと遷移させる。
一方、動作認識部４２によりユーザの動作の種類が上向きへのタッチパッド動作と認識された場合（Ｓ２の場合）、処理実施部４３は、ＰＣ１１０の動作モードをタッチパッドモードに切り替える。このタッチパッドモードでは例えばブラウザ画面５１をスクロールさせる。具体的には、ブラウザ画面５１内に表示されている第１オブジェクト５３及び第２オブジェクト５４が相対的に上方向に移動し、画面下に隠れていた第３オブジェクト５６が表示され、ブラウザ画面５１ｂへと遷移させる。
図５は、第１の実施形態に係る認識装置の他の機器操作を例示する模式図である。
図５は、認識装置１００を用いて、ＰＣ１１０の２つの動作モードを切り替えて、画像閲覧画面を操作する場合の例を示す。
ＰＣ１１０の画像閲覧画面５７には、文字Ａが表示される。動作認識部４２によりユーザの動作の種類が左向きへのジョイスティック動作と認識された場合（Ｓ３の場合）、処理実施部４３は、ＰＣ１１０の動作モードをジョイスティックモードに切り替える。このジョイスティックモードでは表示領域全体を矢印５８の向き（左向き）に移動させる。つまり、ユーザが指を所定角度以上傾けたまま維持すると、その角度を維持している間は指を傾けた方向に、文字Ａを含む表示領域が移動し、画面外に隠れていた文字Ｂが表示され、画像閲覧画面５７ａへと遷移させる。
図５は、認識装置１００を用いて、ＰＣ１１０の２つの動作モードを切り替えて、画像閲覧画面を操作する場合の例を示す。
ＰＣ１１０の画像閲覧画面５７には、文字Ａが表示される。動作認識部４２によりユーザの動作の種類が左向きへのジョイスティック動作と認識された場合（Ｓ３の場合）、処理実施部４３は、ＰＣ１１０の動作モードをジョイスティックモードに切り替える。このジョイスティックモードでは表示領域全体を矢印５８の向き（左向き）に移動させる。つまり、ユーザが指を所定角度以上傾けたまま維持すると、その角度を維持している間は指を傾けた方向に、文字Ａを含む表示領域が移動し、画面外に隠れていた文字Ｂが表示され、画像閲覧画面５７ａへと遷移させる。
一方、動作認識部４２によりユーザの動作の種類が左向きへのタッチパッド動作と認識された場合（Ｓ４の場合）、処理実施部４３は、ＰＣ１１０の動作モードをタッチパッドモードに切り替える。このタッチパッドモードでは次頁（ページ）の文字Ｂが表示される。つまり、ユーザが指を所定の方向にフリック動作（指をはじく動作）すると、フリックした方向に頁が切り替わり、次頁の文字Ｂが表示され、画像閲覧画面５７ｂへと遷移させる。
さらに他の例として、カーソル操作と文字入力操作とで、ジョイスティック動作とタッチパッド動作とを使い分けるようにしてもよい。例えば、指をジョイスティック動作させたときに機器側ではカーソル操作を行う。一方、指をタッチパッド動作させたときに機器側では指の移動軌跡により文字を認識し文字入力を行う。
さらに他の例としては、２つのモニタでジョイスティック動作とタッチパッド動作とを使い分けるようにしてもよい。例えば、遠くに配置された大画面の第１モニタと、近くに配置された第２モニタとでそれぞれのコンテンツを操作する場合を想定する。遠くの第１モニタではタッチパッド動作での操作によってポインティングを実施する。近くの第２モニタでは机あるいはひざの上などに指を立ててジョイスティック動作での操作を実施する。遠方の第１モニタへの操作及び近くの第２モニタへの操作のいずれにおいても直感的な操作を実施することができる。
図６は、第１の実施形態に係る認識装置による認識方法を例示するフローチャート図である。
認識装置１００の取得部３０は、第１素子１０から第１部分１０ａ（手首）の第１情報１４を取得し（ステップＳ１１）、第２素子２０から第２部分２０ａ（指）の第２情報２４を取得する（ステップＳ１２）。
特徴量算出部４１は、第１情報１４に基づいて第１部分１０ａの第１特徴量を算出し、第２情報２４に基づいて第２部分２０ａの第２特徴量を算出する。
動作認識部４２は、第１特徴量の変化と、第２特徴量の変化とに基づいて、ユーザの動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する（ステップＳ１３）。
処理実施部４３は、ステップＳ１３で認識した動作の種類に対応した処理を、身体１０１の動作により操作される所定の操作対象に施す（ステップＳ１４）。
なお、ステップＳ１１〜ステップＳ１４までの少なくとも一部の処理は、ソフトウェアである認識プログラムとして実施してもよい。なお、認識プログラムとは、認識装置１００による動作認識処理を実施するためのプログラムである。
認識装置１００の取得部３０は、第１素子１０から第１部分１０ａ（手首）の第１情報１４を取得し（ステップＳ１１）、第２素子２０から第２部分２０ａ（指）の第２情報２４を取得する（ステップＳ１２）。
特徴量算出部４１は、第１情報１４に基づいて第１部分１０ａの第１特徴量を算出し、第２情報２４に基づいて第２部分２０ａの第２特徴量を算出する。
動作認識部４２は、第１特徴量の変化と、第２特徴量の変化とに基づいて、ユーザの動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する（ステップＳ１３）。
処理実施部４３は、ステップＳ１３で認識した動作の種類に対応した処理を、身体１０１の動作により操作される所定の操作対象に施す（ステップＳ１４）。
なお、ステップＳ１１〜ステップＳ１４までの少なくとも一部の処理は、ソフトウェアである認識プログラムとして実施してもよい。なお、認識プログラムとは、認識装置１００による動作認識処理を実施するためのプログラムである。
図７は、第１の実施形態に係る認識装置を例示する模式図である。
図７は、第１素子１０を装着した第１部分１０ａ（手首）の第１軸と、第２素子２０を装着した第２部分２０ａ（指）の第２軸との例を示す。
例えば、身体１０１の指先方向をＺ軸、手の甲から垂直な方向をＹ軸、Ｙ軸及びＺ軸のそれぞれと互いに垂直な方向をＸ軸とする。第１素子１０が第１部分１０ａに装着され、第２素子２０が第２部分２０ａに装着される。基準軸６０は、例えば、第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態において設定される。本例の場合、第１軸及び第２軸は同じ基準軸６０として設定される。なお、第１軸と第２軸とは異なる軸でも良い。
図７は、第１素子１０を装着した第１部分１０ａ（手首）の第１軸と、第２素子２０を装着した第２部分２０ａ（指）の第２軸との例を示す。
例えば、身体１０１の指先方向をＺ軸、手の甲から垂直な方向をＹ軸、Ｙ軸及びＺ軸のそれぞれと互いに垂直な方向をＸ軸とする。第１素子１０が第１部分１０ａに装着され、第２素子２０が第２部分２０ａに装着される。基準軸６０は、例えば、第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態において設定される。本例の場合、第１軸及び第２軸は同じ基準軸６０として設定される。なお、第１軸と第２軸とは異なる軸でも良い。
基準軸６０は、第１部分１０ａ及び第２部分２０ａの傾きの大きさ（変化量）及び方向を求めるときの基準とされる。基準軸６０を検出するタイミングは、例えば、ユーザの動作（ジェスチャ）が開始されたときとする。動作開始のトリガは、例えば、ユーザの所定の音声を検出したときである。動作開始のトリガは、ユーザが所定のボタンを押下したときでもよい。動作開始のトリガは、ユーザが手を所定の角度にして静止したときでもよい。これは、例えば、手を正面に向けた状態で一定時間の手の動き量が所定範囲内であった場合などである。
動作開始のトリガは、ユーザの手形状を検出したときでもよい。これは、例えば、手形状をカメラ等で検出することで実現される。動作開始のトリガは、ユーザの所定の動作を検出したときでもよい。所定の動作の検出には、指先に装着した圧力センサを用いる。例えば、一方の手の指先が他方の手の平等に接触したことを圧力センサで検出する。所定の動作の検出には、指や腕に装着した筋電センサを用いてもよい。筋電センサにより筋肉に流れる電流の変化を検出する。
図８、図９、図１０は、第１の実施形態に係る認識装置を例示する模式図である。
図８は第１部分１０ａ及び第２部分２０ａのピッチ角の傾きを示し、図９は第１部分１０ａ及び第２部分２０ａのヨー角の傾きを示し、図１０は第１部分１０ａ及び第２部分２０ａのロール角の傾きを示す。
前述したように、第１部分１０ａ及び第２部分２０ａの３次元的な傾きは、認識装置１００から見て左右のＸ軸を軸とした上下方向のピッチ角θｐ（図８）と、上下のＹ軸を軸とした左右方向のヨー角θｙ（図９）と、前後のＺ軸を軸としたロール角θｒ（図１０）と、により表される。
図８は第１部分１０ａ及び第２部分２０ａのピッチ角の傾きを示し、図９は第１部分１０ａ及び第２部分２０ａのヨー角の傾きを示し、図１０は第１部分１０ａ及び第２部分２０ａのロール角の傾きを示す。
前述したように、第１部分１０ａ及び第２部分２０ａの３次元的な傾きは、認識装置１００から見て左右のＸ軸を軸とした上下方向のピッチ角θｐ（図８）と、上下のＹ軸を軸とした左右方向のヨー角θｙ（図９）と、前後のＺ軸を軸としたロール角θｒ（図１０）と、により表される。
上記のピッチ角θｐ、ヨー角θｙ及びロール角θｒは、認識装置１００を装着する位置や、装着する角度によって変わってくる。第１素子１０を第１部分１０ａ（手首）に装着し、第２素子２０を第２部分２０ａ（指）に装着した場合、ピッチ角θｐ、ヨー角θｙ及びロール角θｒは、それぞれ図８、図９、図１０に表す通り、ユーザから見てそれぞれ上下方向、左右方向、右回り／左回りの回転角として算出される。ピッチ角θｐ、ヨー角θｙ及びロール角θｒは、図７の基準軸６０に対して、例えば、下方向、右方向、右周りを正極性とし、上方向、左方向、左周りを負極性として、基準軸６０からの相対的な傾き（回転角）として算出される。
図１１は、第１の実施形態に係る認識装置を例示する模式図である。
図１１は、タッチパッド動作における各部分の傾き変化の様子を示す。
図７〜図１０に表したように、第１素子１０が第１部分１０ａ（手首）に装着され、第２素子２０が第２部分２０ａ（指）に装着される。第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態で基準軸６０（図７）が設定される。基準軸６０では第１部分１０ａ及び第２部分２０ａが基準方向Ｖ０に向けられている。タッチパッド動作には、主に、肘を支点として手首から先はあまり動かさずに振るタッチパッド動作６１と、手首を支点として手首から先を振るタッチパッド動作６２と、肘を支点として手首から先も振るタッチパッド動作６３と、が含まれる。
図１１は、タッチパッド動作における各部分の傾き変化の様子を示す。
図７〜図１０に表したように、第１素子１０が第１部分１０ａ（手首）に装着され、第２素子２０が第２部分２０ａ（指）に装着される。第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態で基準軸６０（図７）が設定される。基準軸６０では第１部分１０ａ及び第２部分２０ａが基準方向Ｖ０に向けられている。タッチパッド動作には、主に、肘を支点として手首から先はあまり動かさずに振るタッチパッド動作６１と、手首を支点として手首から先を振るタッチパッド動作６２と、肘を支点として手首から先も振るタッチパッド動作６３と、が含まれる。
ここで、第１部分１０ａの基準軸６０に関する第１傾き方向をＶ１、第２部分２０ａの基準軸６０に関する第２傾き方向をＶ２とする。第１特徴量の変化は、例えば、基準軸６０に関するピッチ角、ヨー角、ロール角の少なくともいずれかの変化（第１変化）である。同様に、第２特徴量の変化は、例えば、基準軸６０に関するピッチ角、ヨー角、ロール角の少なくともいずれかの変化（第２変化）である。
タッチパッド動作６１の場合、第１傾き方向Ｖ１と第２傾き方向Ｖ２とが一致している。つまり、第１変化の第１絶対値は、例えば、基準方向Ｖ０と第１傾き方向Ｖ１との間の角度の絶対値（｜θ１｜）として表される。第１変化の第１極性、つまり、角度θ１の極性は、例えば、負極性である。なお、ここでは、基準軸６０に対して左方向への変化を負極性とし、基準軸６０に対して右方向への変化を正極性とする。一方、第２変化の第２絶対値は、第１変化の場合と同様に、基準方向Ｖ０と第２傾き方向Ｖ２との間の角度の絶対値（｜θ１｜）として表される。第２変化の第２極性についても同じ負極性となる。
タッチパッド動作６２の場合、基準方向Ｖ０と第１傾き方向Ｖ１とが一致している。このため、第１変化の第１絶対値は０である。一方、第２変化の第２絶対値は、例えば、基準方向Ｖ０と第２傾き方向Ｖ２との間の角度の絶対値（｜θ２｜）として表される。第２変化の第２極性、つまり、角度θ２の極性は、例えば、負極性である。
タッチパッド動作６３の場合、基準方向Ｖ０と、第１傾き方向Ｖ１と、第２傾き方向Ｖ２と、はそれぞれ異なる。つまり、第１変化の第１絶対値は、例えば、基準方向Ｖ０と第１傾き方向Ｖ１との間の角度の絶対値（｜θ１｜）として表される。一方、第２変化の第２絶対値は、例えば、第１傾き方向Ｖ１と第２傾き方向Ｖ２との間の角度の絶対値（｜θ２｜）として表される。第１変化の第１極性、つまり、角度θ１の極性は、例えば、負極性である。第２変化の第２極性、つまり、角度θ２の極性は、例えば、負極性である。この場合、角度θ１の極性は角度θ２の極性と同じである。
上記において、角度｜θ１｜は、第１素子１０の出力値（例えば、角速度値、加速度値及び地磁気値の少なくともいずれか）に基づき特徴量算出部４１により算出される。同様に、角度｜θ２｜は、第２素子２０の出力値（例えば、角速度値、加速度値及び地磁気値の少なくともいずれか）に基づき特徴量算出部４１により算出される。角度θ１及び角度θ２は、基準方向Ｖ０、第１傾き方向Ｖ１及び第２傾き方向Ｖ２を平面に投影したときのベクトルに基づき算出してもよい。平面とは、例えば、図７のＺＸ平面である。すなわち、平面とは、図７の基準軸６０について、指先方向をＺ軸、手の甲から垂直な方向をＹ軸、Ｙ軸及びＺ軸のそれぞれと互いに垂直な方向をＸ軸とした場合のＺＸ平面である。平面は、ＹＺ平面でもよい。角度θ１及び角度θ２は、ＺＸ平面とＹＺ平面に投影した各ベクトル成分で変化の大きいほうを採用してもよい。
図１２は、第１の実施形態に係る認識装置を例示する模式図である。
図１２は、ジョイスティック動作における各部分の傾き変化の様子を示す。
図１１と同様に、基準軸６０は、第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態で設定される。基準軸６０では第１部分１０ａ及び第２部分２０ａが基準方向Ｖ０に向けられている。ジョイスティック動作６４では、指先を支点として手首を動かす動作となる。
図１２は、ジョイスティック動作における各部分の傾き変化の様子を示す。
図１１と同様に、基準軸６０は、第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態で設定される。基準軸６０では第１部分１０ａ及び第２部分２０ａが基準方向Ｖ０に向けられている。ジョイスティック動作６４では、指先を支点として手首を動かす動作となる。
ジョイスティック動作６４の場合、基準方向Ｖ０と、第１傾き方向Ｖ１と、第２傾き方向Ｖ２と、はそれぞれ異なる。つまり、第１変化の第１絶対値は、例えば、基準方向Ｖ０と第１傾き方向Ｖ１との間の角度の絶対値（｜θ１｜）として表される。一方、第２変化の第２絶対値は、例えば、第１傾き方向Ｖ１と第２傾き方向Ｖ２との間の角度の絶対値（｜θ２｜）として表される。第１変化の第１極性、つまり、角度θ１の極性は、例えば、負極性である。第２変化の第２極性、つまり、角度θ２の極性は、例えば、正極性である。この場合、角度θ１の極性は角度θ２の極性と逆である。
図１１と同様に、角度｜θ１｜は、第１素子１０の出力値（例えば、角速度値、加速度値及び地磁気値の少なくともいずれか）に基づき特徴量算出部４１により算出される。角度｜θ２｜は、第２素子２０の出力値（例えば、角速度値、加速度値及び地磁気値の少なくともいずれか）に基づき特徴量算出部４１により算出される。角度θ１及び角度θ２は、基準方向Ｖ０、第１傾き方向Ｖ１及び第２傾き方向Ｖ２を平面に投影したときのベクトルに基づき算出してもよい。平面とは、例えば、図７のＺＸ平面である。
タッチパッド動作（図１１）の場合、角度θ１あるいは角度θ２のどちらかに変化がない、または、角度θ１の極性と角度θ２の極性とが同じ極性に変化することが分かる。一方、ジョイスティック動作（図１２）の場合、指先を支点として動かすため、角度θ１の極性と角度θ２の極性とが逆の極性に変化することが分かる。これらの知見をふまえ、認識装置１００では図１３の方法に従って手首及び指の動作の種類を認識する。
図１３は、第１の実施形態に係る認識装置の認識条件を例示する図である。
動作認識部４２は、第１変化の第１絶対値と、第１変化の第１極性と、第２変化の第２絶対値と、第２変化の第２極性と、に基づいて、身体の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。図１１及び図１２で説明したように、第１絶対値は角度｜θ１｜に相当し、第１極性は角度θ１の極性に相当する。同様に、第２絶対値は角度｜θ２｜に相当し、第２極性は角度θ２の極性に相当する。動作認識部４２は、図１３の認識条件に従って、身体の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。具体的には以下のようになる。なお、本例では、第２閾値θｔ２は第１閾値θｔ１以上とする。
動作認識部４２は、第１変化の第１絶対値と、第１変化の第１極性と、第２変化の第２絶対値と、第２変化の第２極性と、に基づいて、身体の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。図１１及び図１２で説明したように、第１絶対値は角度｜θ１｜に相当し、第１極性は角度θ１の極性に相当する。同様に、第２絶対値は角度｜θ２｜に相当し、第２極性は角度θ２の極性に相当する。動作認識部４２は、図１３の認識条件に従って、身体の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。具体的には以下のようになる。なお、本例では、第２閾値θｔ２は第１閾値θｔ１以上とする。
（１）角度｜θ１｜が第１閾値θｔ１以上であり、角度｜θ２｜が第２閾値θｔ２以上であり、角度θ１の極性が角度θ２の極性と逆である場合、ジョイスティック動作と認識する。
（２）角度｜θ１｜が第１閾値θｔ１以上であり、角度｜θ２｜が第２閾値θｔ２以上であり、角度θ１の極性が角度θ２の極性と同じである場合、タッチパッド動作と認識する。
（３）角度｜θ１｜が第１閾値θｔ１未満であり、角度｜θ２｜が第２閾値θｔ２未満となる場合、動作は任意とする。例えば、直前の動作を継続してもよい。すなわち、直前の動作がタッチパッド動作であれば、タッチパッド動作を継続する。直前の動作がジョイスティック動作であれば、ジョイスティック動作を継続する。また、動作に応じた操作を受け付けないようにしてもよい。
（４）上記（１）〜（３）以外の場合、タッチパッド動作と認識する。
（２）角度｜θ１｜が第１閾値θｔ１以上であり、角度｜θ２｜が第２閾値θｔ２以上であり、角度θ１の極性が角度θ２の極性と同じである場合、タッチパッド動作と認識する。
（３）角度｜θ１｜が第１閾値θｔ１未満であり、角度｜θ２｜が第２閾値θｔ２未満となる場合、動作は任意とする。例えば、直前の動作を継続してもよい。すなわち、直前の動作がタッチパッド動作であれば、タッチパッド動作を継続する。直前の動作がジョイスティック動作であれば、ジョイスティック動作を継続する。また、動作に応じた操作を受け付けないようにしてもよい。
（４）上記（１）〜（３）以外の場合、タッチパッド動作と認識する。
上記（４）に関して、動作認識部４２は、角度｜θ１｜が第１閾値θｔ１以上であり、角度｜θ２｜が第２閾値θｔ２未満である場合、角度θ１の極性及び角度θ２の極性に係わらず、タッチパッド動作と認識する。動作認識部４２は、角度｜θ１｜が第１閾値θｔ１未満であり、角度｜θ２｜が第２閾値θｔ２以上である場合、角度θ１の極性及び角度θ２の極性に係わらず、タッチパッド動作と認識する。
なお、図１１及び図１２の例では基準軸６０での第１部分１０ａ（手首）及び第２部分２０ａ（指）の傾きが同じ基準方向Ｖ０とした。基準軸６０での第１部分１０ａ及び第２部分２０ａのそれぞれの傾きは異なっていてもよい。角度｜θ１｜は基準軸６０における第１部分１０ａの傾きからの差としてもよい。角度｜θ２｜は基準軸６０における第２部分２０ａの傾きからの差としてもよい。
なお、認識装置１００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。すなわち、認識装置１００に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに認識プログラムを実行させることにより実現することができる。このとき、認識装置１００は、上記の認識プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記の認識プログラムを配布して、この認識プログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、処理部４０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
本実施形態によれば、ユーザの特定部分（例えば手首及び指）が基準状態にあるときに座標軸を規定し、この座標軸上での特定部分の傾き変化によってユーザの動作（ジェスチャ）の種類を認識することができる。これにより、例えば、ＰＣ等の画面上に表示されるオブジェクトを動かす方向などを決定することができる。座標軸を適宜規定できるため、任意の方向でユーザが動作を開始してもよい。また、ユーザは、例えば、手のひら、太もも、机、空中など、任意の面（場所）で操作することができる。
本実施形態によれば、ユーザの動作の種類（例えば、ジョイスティック動作、タッチパッド動作）を正しく認識することができる。これにより、ＰＣなどの操作対象機器の２つの動作モードを自動的に切り替え、ユーザの操作負担を軽減できる。
（第２の実施形態）
図１４は、第２の実施形態に係る認識装置を例示するブロック図である。
図１４（ａ）は認識装置の全体的な構成を示し、図１４（ｂ）は第１素子及び第２素子の具体例を示す。
本実施形態の認識装置２００には、取得部３１と、処理部９０と、が設けられる。処理部９０は、特徴量算出部９１と、動作認識部９２と、処理実施部９３とを含む。認識装置２００は、さらに、第１部分１０ａ（例えば手首）及び第２部分２０ａ（例えば指）を撮像する撮像部９４を含む。撮像部９４は例えばＰＣ１１１に設けられる。この場合、認識装置２００についてもＰＣ１１１に設けられることが好ましい。認識装置２００は、第１素子７０及び第２素子８０を含んでいてもよい。
図１４は、第２の実施形態に係る認識装置を例示するブロック図である。
図１４（ａ）は認識装置の全体的な構成を示し、図１４（ｂ）は第１素子及び第２素子の具体例を示す。
本実施形態の認識装置２００には、取得部３１と、処理部９０と、が設けられる。処理部９０は、特徴量算出部９１と、動作認識部９２と、処理実施部９３とを含む。認識装置２００は、さらに、第１部分１０ａ（例えば手首）及び第２部分２０ａ（例えば指）を撮像する撮像部９４を含む。撮像部９４は例えばＰＣ１１１に設けられる。この場合、認識装置２００についてもＰＣ１１１に設けられることが好ましい。認識装置２００は、第１素子７０及び第２素子８０を含んでいてもよい。
本例の場合、図１４（ｂ）に表すように、第１素子７０は、ユーザの動作に応じて変化する第１部分１０ａの状態に応じ第１信号７１ｓｇとなる第１エネルギー線７２ｓｇを出射する第１エネルギー線出射部７０ｄである。第２素子８０は、ユーザの動作に応じて変化する第２部分２０ａの状態に応じ第２信号８１ｓｇとなる第２エネルギー線８２ｓｇを出射する第２エネルギー線出射部８０ｄである。これら第１素子７０及び第２素子８０は、ユーザの身体１０１の特定部分等に装着して使用される。例えば、第１素子７０は手首などの第１部分１０ａに装着され、第２素子８０は指などの第２部分２０ａに装着される。第１素子７０は、手首などの第１部分１０ａに装着可能なリング状部材とされる。第２素子８０は、指などの第２部分２０ａに装着可能なリング状部材とされる。第１素子７０及び第２素子８０の形状は、これらに限定されるものではない。
上記において、第１素子７０は、動作する身体１０１の第１部分１０ａに装着される。取得部３１は、第１情報９５ａを取得する。第１情報９５ａは、第１素子７０で生成される第１信号７１ｓｇに関する情報である。第１信号７１ｓｇは、身体１０１の動作に応じて変化する第１部分１０ａの状態に対応する。第１信号７１ｓｇとして、例えば、図１４（ｂ）に表す第１エネルギー線出射部７０ｄで生成される第１エネルギー線７２ｓｇが用いられる。第１情報９５ａとして、例えば、撮像部９４で撮像された第１エネルギー線７２ｓｇの第１画像情報９６ａが用いられる。同様に、第２素子８０は、動作する身体１０１の第２部分２０ａに装着される。取得部３１は、第２情報９５ｂを取得する。第２情報９５ｂは、第２素子８０で生成される第２信号８１ｓｇに関する情報である。第２信号８１ｓｇは、身体１０１の動作に応じて変化する第２部分２０ａの状態に対応する。第２信号８１ｓｇとして、例えば、図１４（ｂ）に表す第２エネルギー線出射部８０ｄで生成される第２エネルギー線８２ｓｇが用いられる。第２情報９５ｂとして、例えば、撮像部９４で撮像された第２エネルギー線８２ｓｇの第２画像情報９６ｂが用いられる。図１４（ｂ）の例では、撮像部９４は、第１画像情報９６ａ及び第２画像情報９６ｂを含む画像情報９６を出力する。
図１４（ｂ）において、第１エネルギー線出射部７０ｄとして、例えば、赤外線ＬＥＤ(Light Emitting Diode)などの発光素子が用いられる。この場合、第１エネルギー線出射部７０ｄは、赤外線を出射する。同様に、第２エネルギー線出射部８０ｄとして、例えば、赤外線ＬＥＤなどの発光素子が用いられる。この場合、第２エネルギー線出射部８０ｄは、赤外線を出射する。
撮像部９４として、例えば、赤外線等のエネルギー線を撮像可能なＣＣＤ(Charge Coupled Device)を備えたカメラが用いられる。すなわち、撮像部９４は、第１部分１０ａに装着された第１エネルギー線出射部７０ｄから出射される第１エネルギー線７２ｓｇを撮像する。同様に、撮像部９４は、第２部分２０ａに装着された第２エネルギー線出射部８０ｄから出射される第２エネルギー線８２ｓｇを撮像する。
取得部３１は、撮像部９４から出力される画像情報９６を取得する。画像情報９６は、撮像部９４で撮像された第１エネルギー線７２ｓｇの第１画像情報９６ａと、撮像部９４で撮像された第２エネルギー線８２ｓｇの第２画像情報９６ｂと、を含む。
本実施形態において、第１特徴量は、第１部分１０ａの３次元空間内での位置に関する値を含む。第１部分の位置に関する値は、例えば、撮像部９４で撮像された第１信号７１ｓｇの位置に基づき算出される。同様に、第２特徴量は、第２部分２０ａの３次元空間内での位置に関する値を含む。第２部分２０ａの位置に関する値は、撮像部９４で撮像された第２信号８１ｓｇの位置に基づき算出される。これら第１特徴量及び第２特徴量は、特徴量算出部９１により算出される。
第１特徴量の変化は、例えば、３次元空間内に設けられた基準位置に対する第１部分１０ａの位置の変化（以下、第１変化という）である。第２特徴量の変化は、例えば、３次元空間内に設けられた基準位置に対する第２部分２０ａの位置の変化（以下、第２変化という）である。動作認識部９２は、第１変化の第１距離と、第２変化の第２距離とに基づいて、身体１０１の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。第１距離は、例えば、画像上における第１部分１０ａの基準位置と第１位置との間の距離の絶対値として算出される。同様に、第２距離は、例えば、画像上における第２部分２０ａの基準位置と第２位置との間の距離の絶対値として算出される。
処理実施部９３は、ユーザの動作の種類、つまり、ジョイスティック動作またはタッチパッド動作に応じた処理を、身体１０１の動作により操作される操作対象に対して実施する。操作対象は、例えば、ＰＣ１１１の画面に表示されるオブジェクトである。このオブジェクトとしては、例えば、マウスカーソルや、画像、画像内の特定部分などが含まれる。
図１５は、第２の実施形態に係る認識装置を例示する模式図である。
図１５は、タッチパッド動作における各部分の位置変化の様子を示す。
本例では、第１素子７０が第１部分１０ａ（手首）に装着され、第２素子８０が第２部分２０ａ（指）に装着される。認識装置２００は例えばＰＣ１１１に設けられる。第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態を基準状態１２０とする。基準状態１２０では第１部分１０ａ及び第２部分２０ａが基準位置Ｌ０にある。本例において、タッチパッド動作には、主に、肘を支点として手首から先はあまり動かさずに振るタッチパッド動作１２１と、手首を支点として手首から先を振るタッチパッド動作１２２と、肘を支点として手首から先も振るタッチパッド動作１２３と、が含まれる。
図１５は、タッチパッド動作における各部分の位置変化の様子を示す。
本例では、第１素子７０が第１部分１０ａ（手首）に装着され、第２素子８０が第２部分２０ａ（指）に装着される。認識装置２００は例えばＰＣ１１１に設けられる。第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした状態を基準状態１２０とする。基準状態１２０では第１部分１０ａ及び第２部分２０ａが基準位置Ｌ０にある。本例において、タッチパッド動作には、主に、肘を支点として手首から先はあまり動かさずに振るタッチパッド動作１２１と、手首を支点として手首から先を振るタッチパッド動作１２２と、肘を支点として手首から先も振るタッチパッド動作１２３と、が含まれる。
ここで、第１部分１０ａの第１位置をＬ１、第２部分２０ａの第２位置をＬ２とする。第１特徴量の変化は、例えば、第１部分１０ａの位置の基準位置Ｌ０から第１位置Ｌ１への変化（第１変化）である。第２特徴量の変化は、例えば、第２部分２０ａの位置の基準位置Ｌ０から第２位置Ｌ２への変化（第２変化）である。
タッチパッド動作１２１〜１２３の各動作において、第１変化の第１距離は、第１部分１０ａ及び第２部分２０ａを含む画像情報９６における手首の基準位置Ｌ０と第１位置Ｌ１との間の距離の絶対値（｜Ｌ１−Ｌ０｜）として表される。第２変化の第２距離は、第１部分１０ａ及び第２部分２０ａを含む画像情報９６における指の基準位置Ｌ０と第２位置Ｌ２との間の距離の絶対値（｜Ｌ２−Ｌ０｜）として表される。
上記において、第１距離｜Ｌ１−Ｌ０｜は、撮像部９４から取得した画像情報９６における第１エネルギー線７２ｓｇの位置に基づき特徴量算出部９１により算出される。第２距離｜Ｌ２−Ｌ０｜は、撮像部９４から取得した画像情報９６における第２エネルギー線８２ｓｇの位置に基づき特徴量算出部９１により算出される。
図１６は、第２の実施形態に係る認識装置を例示する模式図である。
図１６は、ジョイスティック動作における各部分の位置変化の様子を示す。
図１５と同様に、第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした基準状態１２０では第１部分１０ａ及び第２部分２０ａが基準位置Ｌ０にある。ジョイスティック動作１２４は、指先を支点として手首を動かす動作となる。
図１６は、ジョイスティック動作における各部分の位置変化の様子を示す。
図１５と同様に、第１部分１０ａ及び第２部分２０ａを曲げずに伸ばした基準状態１２０では第１部分１０ａ及び第２部分２０ａが基準位置Ｌ０にある。ジョイスティック動作１２４は、指先を支点として手首を動かす動作となる。
ここで、第１部分１０ａ（手首）の第１位置をＬ１、第２部分２０ａ（指）の第２位置をＬ２とする。第１特徴量の変化は、例えば、第１部分１０ａの位置の基準位置Ｌ０から第１位置Ｌ１への変化（第１変化）である。第２特徴量の変化は、例えば、第２部分２０ａの位置の基準位置Ｌ０から第２位置Ｌ２への変化（第２変化）である。
ジョイスティック動作１２４において、第１変化の第１距離は、第１部分１０ａ及び第２部分２０ａを含む画像情報９６における第１部分１０ａの基準位置Ｌ０と第１位置Ｌ１との間の距離の絶対値（｜Ｌ１−Ｌ０｜）として表される。第２変化の第２距離は、第１部分１０ａ及び第２部分２０ａを含む画像情報９６における第２部分２０ａの基準位置Ｌ０と第２位置Ｌ２との間の距離の絶対値（｜Ｌ２−Ｌ０｜）として表される。
図１５と同様に、第１距離｜Ｌ１−Ｌ０｜は、撮像部９４から取得した画像情報９６における第１エネルギー線７２ｓｇの位置に基づき特徴量算出部９１により算出される。第２距離｜Ｌ２−Ｌ０｜は、撮像部９４から取得した画像情報９６における第２エネルギー線８２ｓｇの位置に基づき特徴量算出部９１により算出される。
タッチパッド動作（図１５）の場合、第１距離｜Ｌ１−Ｌ０｜が第２距離｜Ｌ２−Ｌ０｜よりも小さくなる。一方、ジョイスティック動作（図１６）の場合、指先を支点として動かすため、第１距離｜Ｌ１−Ｌ０｜が第２距離｜Ｌ２−Ｌ０｜以上となる。これらの知見をふまえ、位置を特徴量として用いる場合は下記のように動作を認識する。なお、本例では、第２閾距離Ｌｔ２は第１閾距離Ｌｔ１以上とする。
（１）第１距離｜Ｌ１−Ｌ０｜が第２距離｜Ｌ２−Ｌ０｜以上であり、第１距離｜Ｌ１−Ｌ０｜が第１閾距離Ｌｔ１以上である場合に、ジョイスティック動作と認識する。
（２）第１距離｜Ｌ１−Ｌ０｜が第２距離｜Ｌ２−Ｌ０｜未満であり、第２距離｜Ｌ２−Ｌ０｜が第２閾距離Ｌｔ２以上である場合に、タッチパッド動作と認識する。
（３）上記（１）及び（２）以外の場合、動作は任意とする。例えば、直前の動作を継続してもよい。すなわち、直前の動作がタッチパッド動作であれば、タッチパッド動作を継続する。直前の動作がジョイスティック動作であれば、ジョイスティック動作を継続する。また、動作に応じた操作を受け付けないようにしてもよい。
（２）第１距離｜Ｌ１−Ｌ０｜が第２距離｜Ｌ２−Ｌ０｜未満であり、第２距離｜Ｌ２−Ｌ０｜が第２閾距離Ｌｔ２以上である場合に、タッチパッド動作と認識する。
（３）上記（１）及び（２）以外の場合、動作は任意とする。例えば、直前の動作を継続してもよい。すなわち、直前の動作がタッチパッド動作であれば、タッチパッド動作を継続する。直前の動作がジョイスティック動作であれば、ジョイスティック動作を継続する。また、動作に応じた操作を受け付けないようにしてもよい。
本実施形態では、特定部分の３次元的な位置を特徴量として取得する。３次元的な位置は、上述したように、特定部分に装着されたエネルギー線出射部からエネルギー線を出射し、それを撮像部（カメラなど）によって検出することで推定される。なお、３次元的な位置は、モーションキャプチャシステムで各特定部分に装着したマーカーの位置を追跡して推定してもよい。３次元的な位置は、異なるアングルからのカメラを複数設置し、カメラで得られた各特定部分の画像から推定してもよい。
ここで、第１素子７０は、第１の実施形態で説明した第１センサ１０ｄを含んでいてもよい。第２素子８０は、第１の実施形態で説明した第２センサ２０ｄを含んでいてもよい。この場合、特定部分の傾きと、特定部分の位置と、の両方を特徴量として、身体１０１の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識してもよい。一般に位置よりも傾きを特徴量として用いた場合のほうが精度が高いと考えられる。そこで、傾きで認識された動作と、位置で認識された動作とが異なる場合には、傾きで認識された動作を優先的に採用するようにしてもよい。
全ての動作を尤度として求めるようにしてもよい。特定部分の傾きから算出した動作の尤度と、特定部分の位置から算出した動作の尤度とを荷重平均し、最も尤度の高い動作を認識結果としてもよい。
本実施形態によれば、第１の実施形態と同様に、ユーザの動作の種類（例えば、ジョイスティック動作、タッチパッド動作）を正しく認識することができる。これにより、ＰＣなどの操作対象機器の２つの動作モードを自動的に切り替え、ユーザの操作負担を軽減できる。
なお、第１の実施形態と同様に、認識装置２００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。すなわち、認識装置２００に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに認識プログラムを実行させることにより実現することができる。
（第３の実施形態）
図１７は、第３の実施形態に係る認識装置を例示するブロック図である。
本実施形態の認識装置３００には、取得部３２と、処理部１５０と、が設けられる。処理部１５０は、特徴量算出部１５１と、動作認識部１５２と、移動ベクトル算出部１５３と、処理実施部１５４と、を含む。
図１７は、第３の実施形態に係る認識装置を例示するブロック図である。
本実施形態の認識装置３００には、取得部３２と、処理部１５０と、が設けられる。処理部１５０は、特徴量算出部１５１と、動作認識部１５２と、移動ベクトル算出部１５３と、処理実施部１５４と、を含む。
本例の場合、第１素子１３０は、第１の実施形態で説明した第１センサ１０ｄである。同様に、第２素子１４０は、第１の実施形態で説明した第２センサ２０ｄである。第１素子１３０は第１部分１０ａ（手首など）に装着され、第２素子１４０は第２部分２０ａ（指など）に装着される。認識装置３００は、第１素子１３０及び第２素子１４０を含んでいてもよい。
上記において、第１素子１３０は、動作する身体１０１の第１部分１０ａに装着される。取得部３２は、第１情報１３１を取得する。第１情報１３１は、第１素子１３０で生成される第１信号１３１ｓｇに関する情報である。第１信号１３１ｓｇは、身体１０１の動作に応じて変化する第１部分１０ａの状態に対応する。第１信号１３１ｓｇとして、例えば、図１（ｂ）に表す第１センサ１０ｄで生成される第１センサ信号１５ｓｇが用いられる。第１情報１３１として、例えば、第１センサ信号１５ｓｇの値を含む第１センサ情報１５が用いられる。図１７の例では、第１素子１３０は、第１情報１３１を出力し、取得部３０は第１情報１３１を取得する。
第２素子１４０は、第１部分１０ａとの間の相対的な位置関係が動作に応じて変化する第２部分２０ａに装着される。取得部３２は、第２情報１４１を取得する。第２情報１４１は、第２素子１４０で生成される第２信号１４１ｓｇに関する情報である。第２信号１４１ｓｇは、身体１０１の動作に応じて変化する第２部分２０ａの状態に対応する。第２信号１４１ｓｇとして、例えば、図１（ｂ）に表す第２センサ２０ｄで生成される第２センサ信号２５ｓｇが用いられる。第２情報１４１として、例えば、第２センサ信号２５ｓｇの値を含む第２センサ情報２５が用いられる。図１７の例では、第２素子１４０は、第２情報１４１を出力し、取得部３２は第２情報１４１を取得する。
取得部３２は、第１素子１３０からの第１情報１３１と、第２素子１４０からの第２情報１４１と、操作受付状態であることを表す操作受付情報１５６と、を取得する。操作受付状態とは、例えば、動作（ジェスチャ）開始の合図が検出されてから動作終了の合図が検出されるまでの間としてもよい。操作受付情報１５６は、動作開始の合図となる情報である。
動作開始／終了の合図は、例えば、ユーザの所定の音声を検出したときである。動作開始／終了の合図は、ユーザにより所定のボタンが押下されたときでもよい。動作開始／終了の合図は、ユーザが手を所定の角度にしたまま静止したときでもよい。これは、例えば、手を正面に向けて一定時間の動き量が所定範囲内であった場合などである。動作開始／終了の合図は、所定の手形状を検出したときでもよい。これは、例えば、手形状をカメラ等で検出することが考えられる。動作開始／終了の合図は、ユーザによる所定の動作を検出したときでもよい。所定の動作は、例えば、指先に装着した圧力センサや、指や腕につけた筋電センサなどを用いて検出することが考えられる。
なお、上記の圧力センサや筋電センサ等によりタッチ動作が検出されている間を操作受付状態としてもよい。その他、ＰＣ１６０にインストールされたアプリケーションにおいて特定の状態（例えば、画像閲覧状態など）にある間を操作受付状態としてもよい。
特徴量算出部１５１は、第１の実施形態で説明した方法に基づいて、第１部分１０ａの第１特徴量及び第２部分２０ａの第２特徴量を算出する。動作認識部１５２は、第１特徴量の変化と第２特徴量の変化とに基づいて、身体１０１の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する。ここで、操作受付状態になったときの第１部分１０ａ（例えば手首）及び第２部分２０ａ（例えば指）を基準状態とし、第１部分１０ａの第１特徴量及び第２部分２０ａの第２特徴量のそれぞれの基準状態からの変化をもとに身体１０１の動作を認識してもよい。第１特徴量は、例えば、第１部分１０ａの傾きである。第２特徴量は、例えば、第２部分２０ａの傾きである。
移動ベクトル算出部１５３は、取得部３２が操作受付情報１５６を取得したときに、身体１０１の動作により操作される操作対象に移動させる移動ベクトルを算出する。ここで、操作対象とは、ＰＣ１６０の画面に表示されるオブジェクトである。オブジェクトとしては、例えば、マウスカーソルや、画像、画像内の特定部分などが含まれる。移動ベクトル算出部１５３は、ジョイスティック動作またはタッチパッド動作において、第１部分１０ａの第１特徴量の変化の大きさ及び方向と、第２部分２０ａの第２特徴量の変化の大きさ及び方向と、の少なくともいずれかに基づいて、移動ベクトルを算出する。認識装置３００は、例えば、ＰＣ１６０に設けられていてもよい。
移動ベクトルの方向は、基準となる図７の座標系において、Ｘ軸成分の動きを左右、Ｙ軸成分の動きを上下に割り当てることが望ましい。ジョイスティック動作のときに指の付け根がＸ軸の正方向に移動する動きは移動ベクトルが右方向となるように予め設定しておく。タッチパッド動作のときに指先がＸ軸の正方向に移動する動きは移動ベクトルが右方向になるように予め設定しておく。
また、ジョイスティック動作のときに指の付け根がＹ軸の正方向に移動する動きは移動ベクトルが上方向となるように予め設定しておく。タッチパッド動作のときに指先がＹ軸の正方向に移動する動きは移動ベクトルが上方向になるように予め設定しておく。また、上下左右のどれか１つにする必要はなく、図７のＸＹ平面内の角度で方向を算出してもよい。移動ベクトルの大きさは、第１部分１０ａに装着された第１素子１３０または第２部分２０ａに装着された第２素子１４０の基準傾きからの傾きの変化に応じて設定すればよい。
移動ベクトル算出部１５３は、第１特徴量の変化の大きさ及び第２特徴量の変化の大きさの少なくともいずれかが所定値以上である状態が所定時間以上継続するときに、移動ベクトルの大きさを拡大するようにしてもよい。つまり、第１素子１３０または第２素子１４０が基準軸から所定角度以上傾いた状態が所定時間Ｔ０以上継続するときに、移動ベクトルの大きさを拡大する。例えば、所定角度以上傾いている時間から所定時間Ｔ０を引いた時間に応じた倍率だけ拡大する。これにより、例えば、指を傾けた状態で保持しておくだけで画面内のオブジェクトを徐々に移動させることができる。
指の移動速度で移動ベクトルの大きさを設定してもよい。この場合、所定の速さ以上の動きが検出されなかったときには移動ベクトルの大きさを０としてもよい。指先のタッチ検出ができる場合は、押している強さ（押圧力）に応じて移動ベクトルの大きさを変えてもよい。例えば、押圧力が強い場合は移動ベクトルの大きさを低減するように補正する。これにより、あたかも大きな摩擦を受けながら画面内のオブジェクトが動くように見せることができる。
なお、上記では特定部分の傾きを特徴量とした場合について説明した。第２の実施形態で説明した特定部分の位置を特徴量としてもよい。この場合には、傾きの変化に代えて位置の変化を採用することで移動ベクトルが算出できる。
処理実施部１５４は、ジョイスティック動作またはタッチパッド動作において、移動ベクトルに応じた処理を、身体１０１の動作により操作される操作対象に対して実施する。操作対象は、上述したように、ＰＣ１６０の画面に表示されるオブジェクトである。このオブジェクトとしては、例えば、マウスカーソルや、画像、画像内の特定部分などが含まれる。
処理実施部１５４は、上記の移動ベクトルに基づいた処理を、ＰＣ１６０の画面内のオブジェクトに施す。例えば、マウスカーソル等のオブジェクトがタッチパッド動作では上下左右のいずれかに動き、ジョイスティック動作では斜めにも動けるようなアプリケーションについて想定する。身体の動作がタッチパッド動作である場合、移動ベクトルのうち上下左右方向のうち最も大きい成分の方向にオブジェクトを移動する。つまり、移動ベクトルと上方向／下方向／左方向／右方向の各単位ベクトルとの内積をとり、最も大きい値となる方向にその内積に比例した距離だけ移動するようにしてもよい。
図１８は、第３の実施形態に係る認識装置の認識方法を例示するフローチャート図である。
認識装置３００の取得部３２は、操作受付情報１５６を取得する（ステップＳ２１）。
取得部３２は、第１素子１３０から第１部分１０ａ（手首）の第１情報１３１を取得し（ステップＳ２２）、第２素子１４０から第２部分２０ａ（指）の第２情報１４１を取得する（ステップＳ２３）。
認識装置３００の取得部３２は、操作受付情報１５６を取得する（ステップＳ２１）。
取得部３２は、第１素子１３０から第１部分１０ａ（手首）の第１情報１３１を取得し（ステップＳ２２）、第２素子１４０から第２部分２０ａ（指）の第２情報１４１を取得する（ステップＳ２３）。
特徴量算出部１５１は、第１情報１３１に基づいて第１部分１０ａの第１特徴量を算出し、第２情報１４１に基づいて第２部分２０ａの第２特徴量を算出する。
動作認識部１５２は、第１特徴量の変化と、第２特徴量の変化とに基づいて、ユーザの動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する（ステップＳ２４）。
動作認識部１５２は、第１特徴量の変化と、第２特徴量の変化とに基づいて、ユーザの動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する（ステップＳ２４）。
移動ベクトル算出部１５３は、第１部分１０ａの第１特徴量の変化の大きさ及び方向及び第２部分２０ａの第２特徴量の変化の大きさ及び方向の少なくともいずれかに基づいて、ＰＣ１６０の画面内のオブジェクト（マウスカーソル、画像など）の移動ベクトルを算出する（ステップＳ２５）。
処理実施部１５４は、ステップＳ２４で認識したジョイスティック動作またはタッチパッド動作において、ステップＳ２５で算出した移動ベクトルに応じた処理を、ＰＣ１６０の画面内のオブジェクトに施す（ステップＳ２６）。
なお、ステップＳ２１〜ステップＳ２６までの少なくとも一部の処理は、ソフトウェアである認識プログラムとして実施してもよい。
なお、ステップＳ２１〜ステップＳ２６までの少なくとも一部の処理は、ソフトウェアである認識プログラムとして実施してもよい。
図１９は、第３の実施形態に係る認識装置の認識方法を例示するフローチャート図である。
図１９は、図１８の詳細フローであり、第１部分１０ａの傾きと第２部分２０ａの傾きとを特徴量として、身体１０１の動作（ジェスチャ）を認識する場合について例示する。 認識装置３００の取得部３２は、操作受付情報１５６を取得する（ステップＳ３１）。
このとき、取得部３２は、第１素子１３０から第１部分１０ａ（手首）の第１情報１３１を取得し、第２素子１４０から第２部分２０ａ（指）の第２情報１４１を取得する。
図１９は、図１８の詳細フローであり、第１部分１０ａの傾きと第２部分２０ａの傾きとを特徴量として、身体１０１の動作（ジェスチャ）を認識する場合について例示する。 認識装置３００の取得部３２は、操作受付情報１５６を取得する（ステップＳ３１）。
このとき、取得部３２は、第１素子１３０から第１部分１０ａ（手首）の第１情報１３１を取得し、第２素子１４０から第２部分２０ａ（指）の第２情報１４１を取得する。
特徴量算出部１５１は、第１情報１３１に基づいて第１部分１０ａの傾き（第１特徴量）を算出し、第２情報１４１に基づいて第２部分２０ａの傾き（第２特徴量）を算出する（ステップＳ３２）。本例では、第１部分１０ａの傾きをベクトルα１とし、第２部分２０ａの傾きをベクトルα２とする。
動作認識部１５２は、操作受付情報１５６に基づき操作受付状態にあるか否かを判定し（ステップＳ３３）、操作受付状態にないと判定した場合（ＮＯの場合）、終了する。ステップＳ３３において、操作受付状態にあると判定した場合（ＹＥＳの場合）、操作受付開始時の第２部分２０ａの傾き（ベクトルα２ｓ）を記録する（ステップＳ３４）。
動作認識部１５２は、傾きの変化量及び方向に基づいて、身体１０１の動作の種類がジョイスティック動作及びタッチパッド動作のいずれであるかを認識する（ステップＳ３５）。なお、傾きの変化量とは、第１部分１０ａの傾き（ベクトルα１）の変化量と、第２部分２０ａの傾き（ベクトルα２）の変化量と、を含む。
移動ベクトル算出部１５３は、第２部分２０ａのベクトルの差分（α２−α２ｓ）と基準ベクトルβとの関係から、ＰＣ１６０の画面内のオブジェクトの移動ベクトルを算出する（ステップＳ３６）。
処理実施部１５４は、ステップＳ３５で認識したジョイスティック動作またはタッチパッド動作において、ステップＳ３６で算出した移動ベクトルに基づいて、ＰＣ１６０の画面内のオブジェクトを移動させ（ステップＳ３７）、ステップＳ３１に戻り処理を繰り返す。
なお、ステップＳ３１〜ステップＳ３７までの少なくとも一部の処理は、ソフトウェアである認識プログラムとして実施してもよい。
なお、ステップＳ３１〜ステップＳ３７までの少なくとも一部の処理は、ソフトウェアである認識プログラムとして実施してもよい。
図２０は、第３の実施形態に係る認識装置を例示する模式図である。
図２０は、タッチパッド動作での移動ベクトルの例を示す図である。
本例において、第１素子１３０が第１部分１０ａ（手首）に装着され、第２素子１４０が第２部分２０ａ（指）に装着されている。ユーザは面３１０に対して第１部分１０ａ及び第２部分２０ａが姿勢３１３の状態にある。ユーザは姿勢３１３からタッチパッド動作でＸ軸（図７）の正方向３１１に指先を移動させる。これにより、ユーザの姿勢は姿勢３１３から姿勢３１４に遷移する。このとき、ＰＣ１６０の画面上のオブジェクト１６１は、第２部分２０ａに装着した第２素子１４０の傾き変化のＸ軸成分に比例した大きさで、画面右向き（Ｘ軸方向を右向きとした場合）の移動ベクトル１６２だけ移動する。これに伴いＰＣ１６０の画面表示が更新される。
図２０は、タッチパッド動作での移動ベクトルの例を示す図である。
本例において、第１素子１３０が第１部分１０ａ（手首）に装着され、第２素子１４０が第２部分２０ａ（指）に装着されている。ユーザは面３１０に対して第１部分１０ａ及び第２部分２０ａが姿勢３１３の状態にある。ユーザは姿勢３１３からタッチパッド動作でＸ軸（図７）の正方向３１１に指先を移動させる。これにより、ユーザの姿勢は姿勢３１３から姿勢３１４に遷移する。このとき、ＰＣ１６０の画面上のオブジェクト１６１は、第２部分２０ａに装着した第２素子１４０の傾き変化のＸ軸成分に比例した大きさで、画面右向き（Ｘ軸方向を右向きとした場合）の移動ベクトル１６２だけ移動する。これに伴いＰＣ１６０の画面表示が更新される。
上記と同様であるが、ユーザが姿勢３１３からタッチパッド動作でＸ軸の正方向３１２に指先を移動させる。これにより、ユーザの姿勢は姿勢３１３から姿勢３１５に遷移する。つまり、姿勢３１３から姿勢３１５への移動量は、姿勢３１３から姿勢３１４への移動量よりも大きい。このとき、ＰＣ１６０の画面上のオブジェクト１６１は、移動ベクトル１６２よりも大きい移動ベクトル１６３だけ右方向に移動する。これに伴いＰＣ１６０の画面表示が更新される。
図２１は、第３の実施形態に係る認識装置を例示する模式図である。
図２１は、ジョイスティック動作での移動ベクトルの例を示す図である。
本例において、図２０と同様に、第１素子１３０が第１部分１０ａ（手首）に装着され、第２素子１４０が第２部分２０ａ（指）に装着されている。ユーザは面３１０に対して第１部分１０ａ及び第２部分２０ａが姿勢３１８の状態にある。ユーザは姿勢３１８からジョイスティック動作でＸ軸（図７）の正方向３１６に指の付け根を移動させる。これにより、ユーザの姿勢は姿勢３１８から姿勢３１９に遷移する。このとき、ＰＣ１６０の画面上のオブジェクト１６４は、第２部分２０ａに装着した第２素子１４０の傾き変化のＸ軸成分に比例した大きさで、画面右向きの移動ベクトル１６５だけ移動する。これに伴いＰＣ１６０の画面表示が更新される。
図２１は、ジョイスティック動作での移動ベクトルの例を示す図である。
本例において、図２０と同様に、第１素子１３０が第１部分１０ａ（手首）に装着され、第２素子１４０が第２部分２０ａ（指）に装着されている。ユーザは面３１０に対して第１部分１０ａ及び第２部分２０ａが姿勢３１８の状態にある。ユーザは姿勢３１８からジョイスティック動作でＸ軸（図７）の正方向３１６に指の付け根を移動させる。これにより、ユーザの姿勢は姿勢３１８から姿勢３１９に遷移する。このとき、ＰＣ１６０の画面上のオブジェクト１６４は、第２部分２０ａに装着した第２素子１４０の傾き変化のＸ軸成分に比例した大きさで、画面右向きの移動ベクトル１６５だけ移動する。これに伴いＰＣ１６０の画面表示が更新される。
上記と同様であるが、ユーザが姿勢３１８からジョイスティック動作でＸ軸の正方向３１７に指の付け根を移動させる。これにより、ユーザの姿勢は姿勢３１８から姿勢３２０に遷移する。つまり、姿勢３１８から姿勢３２０への移動量は、姿勢３１８から姿勢３１９への移動量よりも大きい。このとき、ＰＣ１６０の画面上のオブジェクト１６４は、移動ベクトル１６５よりも大きい移動ベクトル１６６だけ右方向に移動する。これに伴いＰＣ１６０の画面表示が更新される。
なお、第１の実施形態と同様に、認識装置３００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。すなわち、認識装置３００に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに認識プログラムを実行させることにより実現することができる。
（第４の実施形態）
図２２〜図２６は、第４の実施形態に係る認識装置を例示する模式図である。
第１の実施形態では手首及び指にそれぞれセンサを装着する場合について示したが、それに限定されることはない。例えば、グローブ型センサとし、指の代わりに手の甲にセンサを装着しても同様の動作認識を実施できる。二の腕と手首にそれぞれセンサを装着してもよい。そのほか、手がふさがっているときに足でジェスチャをすることも可能である。例えば、足首とつま先にそれぞれセンサを装着してもよい。太ももと足首にそれぞれセンサを装着してもよい。この場合、例えば、車の運転中でハンドルを握っているときに空調操作やカーナビ操作などを行いたいときなどにも適用可能である。さらに、センサの装着部分は身体に限定されることはない。例えば、手首とペン等の手で保持できる部材とにそれぞれセンサを装着してもよい。
図２２〜図２６は、第４の実施形態に係る認識装置を例示する模式図である。
第１の実施形態では手首及び指にそれぞれセンサを装着する場合について示したが、それに限定されることはない。例えば、グローブ型センサとし、指の代わりに手の甲にセンサを装着しても同様の動作認識を実施できる。二の腕と手首にそれぞれセンサを装着してもよい。そのほか、手がふさがっているときに足でジェスチャをすることも可能である。例えば、足首とつま先にそれぞれセンサを装着してもよい。太ももと足首にそれぞれセンサを装着してもよい。この場合、例えば、車の運転中でハンドルを握っているときに空調操作やカーナビ操作などを行いたいときなどにも適用可能である。さらに、センサの装着部分は身体に限定されることはない。例えば、手首とペン等の手で保持できる部材とにそれぞれセンサを装着してもよい。
以下に例示する第１センサ及び第２センサは、第１の実施形態における第１センサ１０ｄ及び第２センサ２０ｄと同様である。
図２２の例では、第１部分１０ａを手首、第２部分２０ａを手の甲として、例えば、グローブ部材４０３に装着された第１センサ４０１、第２センサ４０２でそれぞれの部分をセンシングする。これにより、指先を動かすタッチパッド動作４０４と、指先を支点として指の付け根を動かすジョイスティック動作４０５と、を認識できる。
図２３の例では、第１部分１０ａを二の腕、第２部分２０ａを手首として、各部分に装着された第１センサ４１１、第２センサ４１２でそれぞれの部分をセンシングする。これにより、棒状部材４１４に対して手を動かすタッチパッド動作４１３と、棒状部材４１４に掴まっている状態で手を支点として肘を動かすジョイスティック動作４１５と、を認識できる。
図２４の例では、第１部分１０ａを足首、第２部分２０ａをつま先として、各部分に装着された第１センサ４２１、第２センサ４２２（例えば、靴底などに装着）でそれぞれの部分をセンシングする。これにより、地面に対してつま先を動かすタッチパッド動作４２３と、地面につけたつま先を支点として足首を動かすジョイスティック動作４２４と、を認識できる。
図２５の例では、第１部分１０ａを太もも、第２部分２０ａを足首として、各部分に装着された第１センサ４３１、第２センサ４３２（例えば、ズボンなどに装着）でそれぞれの部分をセンシングする。これにより、地面に対して足先を動かすタッチパッド動作４３３と、地面につけた足の裏を支点としてひざを動かすジョイスティック動作４３４と、を認識できる。
図２６の例では、第１部分１０ａを手首、第２部分２０ａを手で保持可能な部材として、各部分に装着された第１センサ４４１、第２センサ４４２（例えば、部材端の近傍に装着）でそれぞれの部分をセンシングする。なお、第２センサ４４２は、部材に内蔵されていてもよい。これにより、面４４３に対して部材端を動かすタッチパッド動作４４４と、面４４３につけた部材端を支点として手で保持した位置を動かすジョイスティック動作４４５と、を認識できる。
（応用例）
実施形態の認識装置を他の機器に応用してもよい。以下に例示する第１センサ及び第２センサは、第１の実施形態における第１センサ１０ｄ及び第２センサ２０ｄと同様である。
実施形態の認識装置を他の機器に応用してもよい。以下に例示する第１センサ及び第２センサは、第１の実施形態における第１センサ１０ｄ及び第２センサ２０ｄと同様である。
（第１応用例）
図２７は、第１応用例に係る認識装置を例示する模式図である。
本例では、実施形態の認識装置によりチャンネル操作が視聴者のジェスチャで行われる。視聴者の身体５０３には第１センサ５０１が手首に、第２センサ５０２が指にそれぞれ装着されている。
図２７は、第１応用例に係る認識装置を例示する模式図である。
本例では、実施形態の認識装置によりチャンネル操作が視聴者のジェスチャで行われる。視聴者の身体５０３には第１センサ５０１が手首に、第２センサ５０２が指にそれぞれ装着されている。
テレビ受像機５０４の画面５０５には現在４チャンネル（４ｃｈ）の映像が表示されている。視聴者は例えばタッチパッド動作により指先を左（基準に対して負方向）に動かす送り動作を行う。認識装置は、第１センサ５０１及び第２センサ５０２により視聴者の動作を認識する。テレビ受像機５０４は、認識された動作に応じて、現在の４チャンネルを３チャンネル（３ｃｈ）に変更する。視聴者は例えばタッチパッド動作により指先を右（基準に対して正方向）に動かす送り動作を行う。認識装置は、第１センサ５０１及び第２センサ５０２により視聴者の動作を認識する。テレビ受像機５０４は、認識された動作に応じて、現在の４チャンネルを５チャンネル（５ｃｈ）に変更する。なお、ジョイスティック動作を行っても同様の操作が可能である。
（第２応用例）
図２８は、第２応用例に係る認識装置を例示する模式図である。
本例では、実施形態の認識装置によりウェブコンテンツや文書のスクロール操作がユーザのジェスチャで行われる。ユーザの身体５１３には第１センサ５１１が手首に、第２センサ５１２が指にそれぞれ装着されている。
図２８は、第２応用例に係る認識装置を例示する模式図である。
本例では、実施形態の認識装置によりウェブコンテンツや文書のスクロール操作がユーザのジェスチャで行われる。ユーザの身体５１３には第１センサ５１１が手首に、第２センサ５１２が指にそれぞれ装着されている。
ＰＣ５１４の画面５１５には、ウィンドウ５１６内にウェブコンテンツや文書が表示されている。ユーザは例えばタッチパッド動作により指先を上（基準に対して負方向）に動かす送り動作を行う。認識装置は、第１センサ５１１及び第２センサ５１２によりユーザの動作を認識する。ＰＣ５１４は、認識された動作に応じて、ウェブコンテンツや文書を上方向にスクロールさせる。ユーザは例えばタッチパッド動作により指先を下（基準に対して正方向）に動かす送り動作を行う。認識装置は、第１センサ５１１及び第２センサ５１２によりユーザの動作を認識する。ＰＣ５１４は、認識された動作に応じて、ウェブコンテンツや文書を下方向にスクロールさせる。このとき、スクロールバー５１７で示されるスクロール量は予め定めておいた一定量でもよい。スクロール量は、速い送り動作なら大きくするなど、送り動作の速度に応じて変化させてもよい。
これにより、ユーザは、送り動作を行った方向に、ウィンドウ５１６内の表示内容をスクロールさせて、ウェブコンテンツや文書などを閲覧することができる。なお、ジョイスティック動作を行っても同様の操作は可能である。
（第３応用例）
図２９は、第３応用例に係る認識装置を例示する模式図である。
本例では、実施形態の認識装置により患者に係る各種情報の提供が医者のジェスチャで行われる。医者の身体５２３には第１センサ５２１が手首に、第２センサ５２２が手の甲にそれぞれ装着されている。医者は手術中に手袋をはめるため、図２２に例示したグローブ型が好ましい。また、各センサは手術の邪魔にならない位置に設けることが好ましい。情報端末５２４は、患者のモニタリング情報や検査結果等の情報提供を行う。
図２９は、第３応用例に係る認識装置を例示する模式図である。
本例では、実施形態の認識装置により患者に係る各種情報の提供が医者のジェスチャで行われる。医者の身体５２３には第１センサ５２１が手首に、第２センサ５２２が手の甲にそれぞれ装着されている。医者は手術中に手袋をはめるため、図２２に例示したグローブ型が好ましい。また、各センサは手術の邪魔にならない位置に設けることが好ましい。情報端末５２４は、患者のモニタリング情報や検査結果等の情報提供を行う。
手術中の医者は手を清潔に保つ必要がある。このため、医者が情報端末５２４を手で直接触って操作することは困難である。そこで、本例によれば、医者のジェスチャによって非接触で情報端末５２４を操作できる。
手術中に医者がタッチパッド動作またはジョイスティック動作を行う。認識装置は、第１センサ５２１及び第２センサ５２２により医者の動作を認識する。情報端末５２４では、認識された動作に応じて、画面切り替えやスクロールなどの各種操作を実施する。
さらに、実施形態の認識装置は、非接触で操作対象を操作できるため、料理中で手が汚れて使えない場合などにおいても好適である。例えば、料理中にテレビのチャンネルを切り替えたいときに、図２４に例示した組み合わせ（足首とつま先）等を採用することで、手を使わずにチャンネル切り替えを行うことができる。
以上、実施形態として認識装置、認識装置による認識方法を例示して説明したが、実施形態は、この認識方法をコンピュータに実行させるための認識プログラムの形態、あるいは、この認識プログラムを記録したコンピュータ読み取り可能な記録媒体の形態としてもよい。
上記の記録媒体としては、具体的には、ＣＤ-ＲＯＭ（-Ｒ／-ＲＷ）、光磁気ディスク、ＨＤ（ハードディスク）、ＤＶＤ-ＲＯＭ（-Ｒ／-ＲＷ／-ＲＡＭ）、ＦＤ（フレキシブルディスク）、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本実施形態の認識方法をコンピュータに実行させるための認識プログラムを記録して流通させることにより、当該方法の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置により認識プログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該認識プログラムを記憶させておき、必要に応じて読み出すことにより、本実施形態の認識方法を実行することができる。
このように、実施形態によれば、ユーザの操作負担を軽減できる認識装置、認識方法及び認識プログラムが提供できる。
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、取得部、処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述した認識装置、認識方法及び認識プログラムを基にして、当業者が適宜設計変更して実施し得る全ての認識装置、認識方法及び認識プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０、７０、１３０…第１素子、 １０ａ…第１部分、 １０ｄ…第１センサ、 １１…第１角速度センサ、 １２…第１加速度センサ、 １３…第１地磁気センサ、 １４、９５ａ、１３１…第１情報、 １４ｓｇ、７１ｓｇ、１３１ｓｇ…第１信号、 １５…第１センサ情報、 １５ｓｇ…第１センサ信号、 ２０、８０、１４０…第２素子、 ２０ａ…第２部分、 ２０ｂ…別の部分、 ２０ｃ…端、 ２０ｄ…第２センサ、 ２１…第２角速度センサ、 ２２…第２加速度センサ、 ２３…第２地磁気センサ、 ２４、９５ｂ、１４１…第２情報、 ２４ｓｇ、８１ｓｇ、１４１ｓｇ…第２信号、 ２５…第２センサ情報、 ２５ｓｇ…第２センサ信号、 ３０、３１、３２…取得部、 ４０、９０、１５０…処理部、 ４１、９１、１５１…特徴量算出部、 ４２、９２、１５２…動作認識部、 ４３、９３、１５４…処理実施部、 ５１、５１ａ、５１ｂ…ブラウザ画面、 ５２…マウスカーソル、 ５３…第１オブジェクト、 ５４…第２オブジェクト、 ５５…スクロールバー、 ５６…第３オブジェクト、 ５７、５７ａ、５７ｂ…画像閲覧画面、 ５８、１００ａ、１００ｂ…矢印、 ６０…基準軸（第１軸、第２軸）、 ６１、６２、６３、１２１、１２２、１２３、４０４、４１３、４２３、４３３、４４４…タッチパッド動作、 ６４、１２４、４０５、４１５、４２４、４３４、４４５…ジョイスティック動作、 ７０ｄ…第１エネルギー線出射部、 ７２ｓｇ…第１エネルギー線、 ８０ｄ…第２エネルギー線出射部、 ８２ｓｇ…第２エネルギー線、 ９４…撮像部、 ９６…画像情報、 ９６ａ…第１画像情報、 ９６ｂ…第２画像情報、 １００、２００、３００…認識装置、 １０１、５０３、５１３、５２３…身体、 １１０、１１１、１６０、５１４…ＰＣ（パーソナルコンピュータ）、 １２０…基準状態、 １６１、１６４、３０４…オブジェクト、 １６２、１６３、１６５、１６６…移動ベクトル、 ３０１…センサ、 ３０２、５０５、５１５…画面、 ３０３…カーソル、 ３１０、４４３…面、 ３１１、３１２、３１６、３１７…正方向、 ３１３、３１４，３１５、３１８、３１９、３２０…姿勢、 ４０１、４１１、４２１、４３１、４４１、５０１、５１１、５２１…第１センサ、 ４０２、４１２、４２２、４３２、４４２、５０２、５１２、５２２…第２センサ ４０３…グローブ部材、 ４１４…棒状部材、 ５０４…テレビ受像機、 ５１６…ウィンドウ、 ５１７…スクロールバー、 ５２４…情報端末
Claims (25)
- 身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する取得部と、
前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理部と、
を備え、
前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含み、
前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む、認識装置。 - 前記第１軸の前記傾きに関する前記値は、第１〜第３角度を含み、
前記第１〜第３角度は、前記３次元空間内において互いに交差する３つの軸のそれぞれに対する前記第１軸の角度のそれぞれであり、
前記第２軸の前記傾きに関する前記値は、第４〜第６角度を含み、
前記第４〜第６角度は、前記３次元空間内において互いに交差する３つの軸のそれぞれに対する前記第２軸の角度のそれぞれである請求項１記載の認識装置。 - 前記第１特徴量の変化は、前記第１〜第３角度の少なくともいずれかの変化を含み、
前記第２特徴量の変化は、前記第４〜第６角度の少なくともいずれかの変化を含む請求項２記載の認識装置。 - 前記処理部は、
前記第１〜第３角度の前記少なくともいずれかの前記変化の第１絶対値と、
前記第１〜第３角度の前記少なくともいずれかの前記変化の第１極性と、
前記第４〜第６角度の前記少なくともいずれかの前記変化の第２絶対値と、
前記第４〜第６角度の前記少なくともいずれかの前記変化の第２極性と、
に基づいて、前記種類が第１動作及び第２動作のいずれであるかを認識する請求項３記載の認識装置。 - 前記処理部は、前記第１絶対値が第１閾値以上であり、前記第２絶対値が第２閾値以上であり、前記第１極性が前記第２極性と逆である場合に、前記種類が前記第１動作であると認識し、
前記処理部は、前記第１絶対値が前記第１閾値以上であり、前記第２絶対値が前記第２閾値以上であり、前記第１極性が前記第２極性と同じである場合に、前記種類が前記第２動作であると認識する請求項４記載の認識装置。 - 前記処理部は、前記第１絶対値が前記第１閾値以上であり、前記第２絶対値が前記第２閾値未満である場合に、前記種類が前記第２動作であると認識する請求項５記載の認識装置。
- 前記処理部は、前記第１絶対値が前記第１閾値未満であり、前記第２絶対値が前記第２閾値以上である場合に、前記種類が前記第２動作であると認識する請求項５記載の認識装置。
- 前記処理部は、前記第１特徴量の変化と前記第２特徴量の変化とを用いて、前記動作の種類を認識する請求項１〜７のいずれか１つに記載の認識装置。
- 前記第１素子は、前記動作に応じて変化する前記第１部分の前記状態を検知する第１センサを含み、
前記第１信号は、前記第１センサで生成される第１センサ信号を含み、
前記第２素子は、前記動作に応じて変化する前記第２部分の前記状態を検知する第２センサを含み、
前記第２信号は、前記第２センサで生成される第２センサ信号を含む、
請求項１〜８のいずれか１つに記載の認識装置。 - 前記第１センサは、第１角速度センサ、第１加速度センサ及び第１地磁気センサの少なくともいずれかを含み、
前記第２センサは、第２角速度センサ、第２加速度センサ及び第２地磁気センサの少なくともいずれかを含む請求項９記載の認識装置。 - 身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する取得部と、
前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理部と、
を備え、
前記第１特徴量は、前記第１部分の３次元空間内での位置に関する値を含み、
前記第２特徴量は、前記第２部分の前記３次元空間内での位置に関する値を含む、認識装置。 - 前記第１特徴量の変化は、前記３次元空間内に設けられた基準位置に対する前記第１部分の前記位置の変化を含み、
前記第２特徴量の変化は、前記基準位置に対する前記第２部分の前記位置の変化を含む請求項１１記載の認識装置。 - 前記処理部は、前記第１部分の前記変化の第１距離と、前記第２部分の前記変化の第２距離と、に基づいて、前記種類が第１動作及び第２動作のいずれであるかを認識する請求項１２記載の認識装置。
- 前記処理部は、前記第１距離が前記第２距離以上であり、前記第１距離が第１閾距離以上である場合に、前記種類が前記第１動作と認識し、
前記処理部は、前記第１距離が前記第２距離未満であり、前記第２距離が第２閾距離以上である場合に、前記種類が前記第２動作と認識する請求項１３記載の認識装置。 - 前記第１部分及び前記第２部分を撮像する撮像部をさらに備え、
前記第１素子は、前記動作に応じて変化する前記第１部分の状態に応じ前記第１信号となる第１エネルギー線を出射する第１エネルギー線出射部を含み、
前記第１情報は、前記撮像部で撮像された前記第１エネルギー線の第１画像情報を含み、
前記第２素子は、前記動作に応じて変化する前記第２部分の状態に応じ前記第２信号となる第２エネルギー線を出射する第２エネルギー線出射部を含み、
前記第２情報は、前記撮像部で撮像された前記第２エネルギー線の第２画像情報を含む請求項１１〜１４のいずれか１つに記載の認識装置。 - 前記第１部分は、前記身体の手首を含み、
前記第２部分は、前記身体の指を含む請求項１〜１５のいずれか１つに記載の認識装置。 - 前記第１部分は、前記身体の手首を含み、
前記第２部分は、前記身体の手で保持される部材を含む請求項１〜１５のいずれか１つに記載の認識装置。 - 前記第１動作は、前記第２部分の端を支点として前記第２部分の別の部分を動かすことを含み、
前記第２動作は、前記第２部分の前記端と共に前記第２部分の別の部分を動かすことを含む請求項４または１３に記載の認識装置。 - 前記処理部は、前記種類に応じた処理を、前記身体の前記動作により操作される操作対象に対してさらに実施する請求項１〜１８のいずれか１つに記載の認識装置。
- 身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する取得部と、
前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理部と、
を備え、
前記処理部は、前記取得部が操作受付状態であることを表す操作受付情報を取得したときに、前記身体の前記動作により操作される操作対象を移動させる移動ベクトルを、前記第１特徴量の変化の大きさ及び方向と、前記第２特徴量の変化の大きさ及び方向と、の少なくともいずれかに基づいて算出する、認識装置。 - 前記処理部は、前記第１特徴量の前記変化の大きさ及び前記第２特徴量の前記変化の大きさの少なくともいずれかが所定値以上である状態が所定時間以上継続するときに、前記移動ベクトルの大きさを拡大する請求項２０記載の認識装置。
- 前記処理部は、前記移動ベクトルに応じた処理を、前記操作対象に対して実施する請求項２０または２１に記載の認識装置。
- 前記第１素子と前記第２素子とをさらに備えた請求項１〜２２のいずれか１つに記載の認識装置。
- 身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する処理と、
前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理と、
を含み、
前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含み、
前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む、認識方法。 - 身体の第１部分に装着された第１素子で生成され、前記身体の動作に応じて変化する第１信号に関する第１情報と、前記第１部分との間の相対的な位置関係が前記動作に応じて変化する第２部分に装着された第２素子で生成され、前記動作に応じて変化する第２信号に関する第２情報と、を取得する処理と、
前記第１情報から算出した第１特徴量と前記第２情報から算出した第２特徴量との相対関係を用いて、前記動作の種類を認識する処理と、
をコンピュータに実行させ、
前記第１特徴量は、前記第１部分の第１軸の３次元空間内での傾きに関する値を含み、
前記第２特徴量は、前記第２部分の第２軸の前記３次元空間内での傾きに関する値を含む、認識プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014189472A JP6329469B2 (ja) | 2014-09-17 | 2014-09-17 | 認識装置、認識方法及び認識プログラム |
| US14/853,124 US9916015B2 (en) | 2014-09-17 | 2015-09-14 | Recognition device, recognition method, and non-transitory recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014189472A JP6329469B2 (ja) | 2014-09-17 | 2014-09-17 | 認識装置、認識方法及び認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016062274A JP2016062274A (ja) | 2016-04-25 |
| JP6329469B2 true JP6329469B2 (ja) | 2018-05-23 |
Family
ID=55454741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014189472A Active JP6329469B2 (ja) | 2014-09-17 | 2014-09-17 | 認識装置、認識方法及び認識プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9916015B2 (ja) |
| JP (1) | JP6329469B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016095795A (ja) | 2014-11-17 | 2016-05-26 | 株式会社東芝 | 認識装置、方法、及びプログラム |
| JP6483556B2 (ja) | 2015-07-15 | 2019-03-13 | 株式会社東芝 | 操作認識装置、操作認識方法及びプログラム |
| US10509469B2 (en) * | 2016-04-21 | 2019-12-17 | Finch Technologies Ltd. | Devices for controlling computers based on motions and positions of hands |
| WO2017208628A1 (ja) * | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| EP3493011B1 (en) * | 2016-07-29 | 2022-09-14 | NEC Solution Innovators, Ltd. | Mobile body control system, control signal transmission system, mobile body control method, program, and recording medium |
| WO2018020744A1 (ja) | 2016-07-29 | 2018-02-01 | Ｎｅｃソリューションイノベータ株式会社 | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 |
| US10705113B2 (en) | 2017-04-28 | 2020-07-07 | Finch Technologies Ltd. | Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems |
| US10379613B2 (en) | 2017-05-16 | 2019-08-13 | Finch Technologies Ltd. | Tracking arm movements to generate inputs for computer systems |
| US10540006B2 (en) | 2017-05-16 | 2020-01-21 | Finch Technologies Ltd. | Tracking torso orientation to generate inputs for computer systems |
| US10521011B2 (en) | 2017-12-19 | 2019-12-31 | Finch Technologies Ltd. | Calibration of inertial measurement units attached to arms of a user and to a head mounted device |
| US10509464B2 (en) | 2018-01-08 | 2019-12-17 | Finch Technologies Ltd. | Tracking torso leaning to generate inputs for computer systems |
| US11016116B2 (en) | 2018-01-11 | 2021-05-25 | Finch Technologies Ltd. | Correction of accumulated errors in inertial measurement units attached to a user |
| US10416755B1 (en) | 2018-06-01 | 2019-09-17 | Finch Technologies Ltd. | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system |
| US11474593B2 (en) | 2018-05-07 | 2022-10-18 | Finch Technologies Ltd. | Tracking user movements to control a skeleton model in a computer system |
| US11009941B2 (en) | 2018-07-25 | 2021-05-18 | Finch Technologies Ltd. | Calibration of measurement units in alignment with a skeleton model to control a computer system |
| JPWO2021038786A1 (ja) * | 2019-08-29 | 2021-03-04 | ||
| KR102270424B1 (ko) * | 2019-09-26 | 2021-06-30 | 주식회사 팜캣 | 점과 각을 통한 동작인식 방법 및 시스템 |
| US11531392B2 (en) * | 2019-12-02 | 2022-12-20 | Finchxr Ltd. | Tracking upper arm movements using sensor modules attached to the hand and forearm |
| US20230054973A1 (en) * | 2020-02-06 | 2023-02-23 | Sony Group Corporation | Information processing apparatus, information processing method, and information processing program |
| JP2023179927A (ja) * | 2022-06-08 | 2023-12-20 | 株式会社ジンズホールディングス | 情報処理方法、プログラム、及び情報処理装置 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579033A (en) | 1992-05-20 | 1996-11-26 | International Business Machines Corporation | Pointing device for retrofitting onto the keyboard of an existing computer system |
| CN1167996C (zh) * | 2002-07-11 | 2004-09-22 | 庄胜雄 | 可形成虚拟追踪球的手套滑鼠 |
| JP4119187B2 (ja) | 2002-07-17 | 2008-07-16 | 国立大学法人金沢大学 | 入力装置 |
| JP2005050159A (ja) | 2003-07-29 | 2005-02-24 | Tatsuto Fujie | 手首の動きでポインタを制御するポインティングデバイス |
| US7042438B2 (en) | 2003-09-06 | 2006-05-09 | Mcrae Michael William | Hand manipulated data apparatus for computers and video games |
| WO2009024971A2 (en) | 2007-08-19 | 2009-02-26 | Saar Shai | Finger-worn devices and related methods of use |
| JP2009064053A (ja) * | 2007-09-04 | 2009-03-26 | Citizen Holdings Co Ltd | 操作入力装置 |
| JP2009104429A (ja) * | 2007-10-24 | 2009-05-14 | Nikon Corp | ヘッドマウントディスプレイ装置及び携帯装置 |
| JP2008135033A (ja) * | 2007-11-26 | 2008-06-12 | Olympus Corp | 手姿勢動作検出装置 |
| US20110199303A1 (en) * | 2010-02-18 | 2011-08-18 | Simpson Samuel K | Dual wrist user input system |
| JP2011170747A (ja) * | 2010-02-22 | 2011-09-01 | Brother Industries Ltd | 情報入力装置 |
| JP2011175315A (ja) * | 2010-02-23 | 2011-09-08 | Ikutoku Gakuen | 加速度センサを利用した文字入力システムおよび方法 |
| JP5547139B2 (ja) | 2011-07-29 | 2014-07-09 | 株式会社東芝 | 認識装置、方法及びプログラム |
| JP5649535B2 (ja) * | 2011-08-05 | 2015-01-07 | 株式会社東芝 | コマンド発行装置、コマンド発行方法およびプログラム |
| TW201325101A (zh) * | 2011-12-13 | 2013-06-16 | Askey Technology Jiangsu Ltd | 遠端多點遙控裝置及系統 |
| US8743052B1 (en) * | 2012-11-24 | 2014-06-03 | Eric Jeffrey Keller | Computing interface system |
| JP2014164428A (ja) * | 2013-02-22 | 2014-09-08 | Sharp Corp | ポインティング装置およびポインタ操作方法 |
| US9226330B2 (en) * | 2013-09-10 | 2015-12-29 | Playtabase, LLC | Wireless motion activated user device with bi-modality communication |
| JP2015099574A (ja) | 2013-11-20 | 2015-05-28 | 株式会社東芝 | 認識装置、認識方法、認識プログラム及び端末装置 |
-
2014
- 2014-09-17 JP JP2014189472A patent/JP6329469B2/ja active Active
-
2015
- 2015-09-14 US US14/853,124 patent/US9916015B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016062274A (ja) | 2016-04-25 |
| US9916015B2 (en) | 2018-03-13 |
| US20160077608A1 (en) | 2016-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6329469B2 (ja) | 認識装置、認識方法及び認識プログラム | |
| KR101234111B1 (ko) | 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 | |
| CN101568896B (zh) | 信息处理装置、系统、方法和输入装置 | |
| KR101666096B1 (ko) | 강화된 제스처 기반 상호작용 시스템 및 방법 | |
| TWI428792B (zh) | 輸入設備，手持設備，及控制方法 | |
| JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
| US8291346B2 (en) | 3D remote control system employing absolute and relative position detection | |
| JP5263833B2 (ja) | ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法 | |
| JP2012073830A (ja) | インターフェース装置 | |
| TWI400630B (zh) | 選擇裝置及方法 | |
| KR20090065040A (ko) | 동작과 터치를 이용한 이중 포인팅 장치 및 방법 | |
| JP2011040003A (ja) | 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法 | |
| KR102184243B1 (ko) | Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템 | |
| US9310851B2 (en) | Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof | |
| KR101365083B1 (ko) | 모션 인식을 통한 인터페이스 장치 및 이의 제어방법 | |
| CN113867562B (zh) | 触摸屏报点的校正方法、装置和电子设备 | |
| JP2017162054A (ja) | 情報処理装置及び出力装置 | |
| WO2009093027A1 (en) | Wrist-mounted computer periferal | |
| KR20120037739A (ko) | 손동작 기반 사용자 인터페이스 장치 및 그 방법 | |
| JP2010086367A (ja) | 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置 | |
| KR101588021B1 (ko) | 헤드 마우스 | |
| JP5323018B2 (ja) | マウス装置 | |
| KR20130129775A (ko) | 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치 | |
| US8396300B2 (en) | Object-end positioning method and system | |
| TWI461961B (zh) | 選擇裝置及用於對影像區域執行定位操作的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170612 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171127 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180420 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6329469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |