JP4060261B2 - 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 - Google Patents
画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 Download PDFInfo
- Publication number
- JP4060261B2 JP4060261B2 JP2003357082A JP2003357082A JP4060261B2 JP 4060261 B2 JP4060261 B2 JP 4060261B2 JP 2003357082 A JP2003357082 A JP 2003357082A JP 2003357082 A JP2003357082 A JP 2003357082A JP 4060261 B2 JP4060261 B2 JP 4060261B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- order local
- body shape
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
辻敏夫、福田修、村上満、金子真、"ニューラルネットを利用したEMG制御型ポインティングデバイス、"計測自動制御学会論文集、vol.37、no.5、pp.425−431、2001. 久米祐一郎、井上啓、"両足操作型ポインティングデバイスの検討、"映像情報メディア学会誌、vol.54、no.6、pp.871−874、2000. 塚田浩二、安村通晃、"Ubi−Finger:モバイル指向ジェスチャ入力デバイスの研究、"情報処理学会論文誌、vol.43、no.12、pp.3675−3684、2002. 澤田秀之、橋本周司、"加速度センサを用いたジェスチャ認識と音楽制御への応用、"信学論A、vol.79−A、no.2、pp.452−459、1996. 宮尾淳一、"手話学習システムのための手話単語特徴に基づく教授法"、信学論D−I、vol.J83−D−I、no.10、pp.1120−1128、2000. 野中秀俊、伊達惇、"超音波の位相差を利用したポインティング装置(SPD)の開発、"計測自動制御学会論文集、vol.29、no.7、pp.735−744、1993. 渡辺博己、本郷仁志、安本護、山本和彦、"マルチカメラを用いた全方位ポインティングジェスチャの方向推定、"電学論C、vol.121、no.9、pp.1388−1394、2001. 高松亮、佐藤誠、"最適視点視野による掌の追跡と手指形状認識に基づくポインティングデバイスの提案、"ヒューマンインターフェース学会、vol.1、no.1、pp.45−52、1999. 小渡悟、星野聖、"単眼動画像からの手の位置と形状の推定に基づくポインティングデバイスの提案、"電子情報通信学会技術研究報告、HIP2002−76、pp.79−84、2003.
ここで、αは原点が特異点となるのをさけるための並進量である。LPMにより、原画像Iは角度方向、半径方向の各成分に分解される。図3からも分かるように、半径方向のサンプリングは対数的なものとなるため、周辺部の情報は中心部に比べると大まかに捉えられている。そのため、中心部で高解像度を保ちつつ、周辺部にいくにつれ解像度を下げていくため、空間の状況を大まかに捉えデータ量を大幅に削減し、また処理時間を減少させることができる。LPMの例として、図4(a)の画像を図4(b)に示す点においてサンプリングを行なった結果を図4(c)に示す。またその逆変換を図4(d)に示す。入力画像からLPMを行う際、各画素がLPM画像のどの画素に対応しているかを計算する必要がある。本実施の形態では、入力画像の画像サイズは一定のため、変換処理の扱いを容易にするために、あらかじめ前処理の段階で各画素の対応点を求め、ルックアップテーブルを作成する。このようにすることで変換処理の扱いが容易になり、計算時間の短縮になる。
ここで、tは経過回数、rlenは総学習回数(≒100,000)、d(0)は初期値(=2)である。
ここで、tは経過回数、rlenは総学習回数(≒100,000)、α(0)は初期値(=0.02)である。
ここで、s(t)は分類が正しければ+1、正しくなければ−1である。
N1 セル
M1〜M35 局所パターン
Claims (8)
- 予め所定の複数種類の身体動作についての学習用の動画像の各フレームについて対数極座標変換を行って対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての高次局所自己相関特徴を抽出し、抽出した複数の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の高次局所自己相関パターンを抽出し、前記高次局所自己相関パターンに基づいて前記動画像に含まれる各フレームに示された前記身体形状を判定するための判定基準を定める学習ステップと、
実際の身体動作についての動画像の各フレームについて対数極座標変換を行って実際の対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての実際の高次局所自己相関特徴を抽出し、抽出した複数の実際の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の実際の高次局所自己相関パターンを抽出し、前記実際の高次局所自己相関パターンと前記判定基準を用いて前記フレームに示された前記身体形状を判定する判定ステップとをコンピュータにより実施し、
前記学習ステップの前記高次局所自己相関特徴及び前記判定ステップの前記実際の高次局所自己相関特徴を抽出するための特徴抽出ステップでは、前記セルに含まれる点画像または線画像成分を強調するための複数種類の局所パターンを予め定めておき、前記セルの画素に含まれる情報と前記複数種類の局所パターンに示された前記情報との演算条件とに基づいて、1つの前記セルの情報について前記局所パターンの数に対応した複数の演算値を求め、該複数の演算値により前記高次局所自己相関特徴を構成し、
前記高次局所自己相関パターンを抽出する相関パターン抽出ステップでは、前記フレームから切り出した複数の前記セルについて求めた前記複数の演算値を前記局所パターンに対応して加算して得た複数の加算値により前記高次局所自己相関パターンを抽出することによりコンピュータ上で画像に含まれた身体形状を判定する方法において、
前記特徴抽出ステップでは、前記セルの画素に含まれる情報として濃度を用い、前記複数種類の局所パターンの前記演算条件として前記セルに含まれる画素間の濃度差を強調する条件を用いることを特徴とする画像に含まれた身体形状を判定する方法。 - 前記複数種類の局所パターンの前記演算条件には、前記1つの画素の前記濃度を示す値を累乗する条件が含まれている請求項1に記載の画像に含まれた身体形状を判定する方法。
- 前記セルをn×n個(nは2以上の整数)の画素の集合から構成し、
前記フレームから前記セルを切り分ける際に、前に切り分けたセルと後から切り分けるセルとが一部重なるように切り分けることを特徴とする請求項1に記載の画像に含まれた身体形状を判定する方法。 - 前記判定ステップでは、ニューラルネットを用いて前記高次局所相関パターンを自己組織化することにより前記身体形状を判定することを特徴とする請求項1または2に記載の画像に含まれる身体形状を判定する方法。
- 請求項1,2,3または4に記載の画像に含まれる身体形状を判定する方法をコンピュータで実施して、人間の手形形状を判定し、コンピュータ上で前記手形形状をポインティングとすることを特徴とする非接触型ポインティング・デバイスの実現方法。
- 予め所定の複数種類の身体動作についての学習用の動画像の各フレームについて対数極座標変換を行って対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての高次局所自己相関特徴を抽出し、抽出した複数の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の高次局所自己相関パターンを抽出し、前記高次局所自己相関パターンに基づいて前記動画像に含まれる前記各フレームに示された前記身体形状を判定するための判定基準を定める学習ステップと、
実際の身体動作についての動画像の各フレームについて対数極座標変換を行って実際の対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての実際の高次局所自己相関特徴を抽出し、抽出した複数の実際の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の実際の高次局所自己相関パターンを抽出し、前記実際の高次局所自己相関パターンと前記判定基準を用いて前記フレームに示された前記身体形状を判定する判定ステップと、
前記対数極座標画像に基づいて前記身体動作のジェスチャの始点と終点とを認識するジェスチャ認識ステップとをコンピュータにより実施し、
前記学習ステップの前記高次局所自己相関特徴及び前記判定ステップの前記実際の高次局所自己相関特徴を抽出するための特徴抽出ステップでは、前記セルに含まれる点画像または線画像成分を強調するための複数種類の局所パターンを予め定めておき、前記セルの画素に含まれる情報と前記複数種類の局所パターンに示された前記情報との演算条件とに基づいて1つの前記セルの情報について前記局所パターンの数に対応した複数の演算値を求め、該複数の演算値により前記高次局所自己相関特徴を構成し、
前記高次局所自己相関パターンを抽出する相関パターン抽出ステップでは、前記フレームから切り出した複数の前記セルについて求めた前記複数の演算値を前記局所パターンに対応して加算して得た複数の加算値により前記高次局所自己相関パターンを抽出し、
前記判定ステップの判定結果と前記ジェスチャ認識ステップの認識結果とに基づいて前記身体動作により示されたポインティングをコンピュータ上で判別する非接触型ポインティング・デバイスの実現方法であって、
前記特徴抽出ステップでは、前記セルの画素に含まれる情報として濃度を用い、前記複数種類の局所パターンの前記演算条件として前記セルに含まれる画素間の濃度差を強調する条件を用いることを特徴とする非接触型ポインティング・デバイスの実現方法。 - 前記複数種類の局所パターンの前記演算条件には、前記1つの画素の前記濃度を示す値をべき乗する条件が含まれている請求項6に記載の非接触型ポインティング・デバイスの実現方法。
- 前記判定ステップでは、ニューラルネットを用いて前記高次局所相関パターンを自己組織化することにより前記身体形状を判定することを特徴とする請求項7に記載の非接触型ポインティング・デバイスの実現方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003357082A JP4060261B2 (ja) | 2003-10-16 | 2003-10-16 | 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003357082A JP4060261B2 (ja) | 2003-10-16 | 2003-10-16 | 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005122492A JP2005122492A (ja) | 2005-05-12 |
JP4060261B2 true JP4060261B2 (ja) | 2008-03-12 |
Family
ID=34614075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003357082A Expired - Fee Related JP4060261B2 (ja) | 2003-10-16 | 2003-10-16 | 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4060261B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110244A (zh) * | 2011-02-25 | 2011-06-29 | 杭州电子科技大学 | 一种基于关联维数的神经元动作电位特征提取方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4710508B2 (ja) * | 2005-09-21 | 2011-06-29 | 富士ゼロックス株式会社 | 画像処理プログラム、画像処理装置 |
GB2438449C (en) * | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
JP4309439B2 (ja) * | 2007-03-30 | 2009-08-05 | ファナック株式会社 | 対象物取出装置 |
US8225343B2 (en) | 2008-01-11 | 2012-07-17 | Sony Computer Entertainment America Llc | Gesture cataloging and recognition |
CN101393648B (zh) * | 2008-10-07 | 2011-06-29 | 广东威创视讯科技股份有限公司 | 手绘几何图形的识别方法 |
JP5569062B2 (ja) * | 2010-03-15 | 2014-08-13 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム |
JP7216373B2 (ja) * | 2019-11-01 | 2023-02-01 | 学校法人トヨタ学園 | ジェスチャ検出装置 |
-
2003
- 2003-10-16 JP JP2003357082A patent/JP4060261B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110244A (zh) * | 2011-02-25 | 2011-06-29 | 杭州电子科技大学 | 一种基于关联维数的神经元动作电位特征提取方法 |
CN102110244B (zh) * | 2011-02-25 | 2013-09-18 | 杭州电子科技大学 | 一种基于关联维数的神经元动作电位特征提取方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2005122492A (ja) | 2005-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Raheja et al. | Robust gesture recognition using Kinect: A comparison between DTW and HMM | |
Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
Qi et al. | Computer vision-based hand gesture recognition for human-robot interaction: a review | |
Shenoy et al. | Real-time Indian sign language (ISL) recognition | |
Nair et al. | Hand gesture recognition system for physically challenged people using IOT | |
Pan et al. | Real-time sign language recognition in complex background scene based on a hierarchical clustering classification method | |
Malassiotis et al. | A gesture recognition system using 3D data | |
KR100862349B1 (ko) | 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템 | |
Badi et al. | Hand posture and gesture recognition technology | |
Moeslund et al. | A brief overview of hand gestures used in wearable human computer interfaces | |
Desai et al. | Human Computer Interaction through hand gestures for home automation using Microsoft Kinect | |
Pattanaworapan et al. | Signer-independence finger alphabet recognition using discrete wavelet transform and area level run lengths | |
CN114445853A (zh) | 一种视觉手势识别系统识别方法 | |
JP4060261B2 (ja) | 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 | |
EP2781991B1 (en) | Signal processing device and signal processing method | |
Elakkiya et al. | Intelligent system for human computer interface using hand gesture recognition | |
Conci et al. | Natural human-machine interface using an interactive virtual blackboard | |
KR101439190B1 (ko) | 이미지 처리 기반의 모바일 기기 구동 방법, 모바일 기기의 이미지 처리 방법 및 이를 이용하는 모바일 기기 | |
Abdallah et al. | An overview of gesture recognition | |
Caplier et al. | Comparison of 2D and 3D analysis for automated cued speech gesture recognition | |
Desai | Segmentation and recognition of fingers using Microsoft Kinect | |
Elsayed et al. | Hybrid method based on multi-feature descriptor for static sign language recognition | |
Kumar | A Vision based Application for Virtual Mouse Interface Using Finger-Tip | |
US11847823B2 (en) | Object and keypoint detection system with low spatial jitter, low latency and low power usage | |
Thakur | Robust hand gesture recognition for human machine interaction system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4060261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |