JP6487642B2 - 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 - Google Patents
手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 Download PDFInfo
- Publication number
- JP6487642B2 JP6487642B2 JP2014135721A JP2014135721A JP6487642B2 JP 6487642 B2 JP6487642 B2 JP 6487642B2 JP 2014135721 A JP2014135721 A JP 2014135721A JP 2014135721 A JP2014135721 A JP 2014135721A JP 6487642 B2 JP6487642 B2 JP 6487642B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- finger
- data
- shape
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 87
- 238000003860 storage Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 42
- 230000010365 information processing Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 10
- 238000012800 visualization Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 210000004027 cell Anatomy 0.000 description 77
- 238000013459 approach Methods 0.000 description 23
- 238000011002 quantification Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 11
- 238000010606 normalization Methods 0.000 description 10
- 230000032823 cell division Effects 0.000 description 9
- 210000000245 forearm Anatomy 0.000 description 9
- 102100028971 HLA class I histocompatibility antigen, C alpha chain Human genes 0.000 description 8
- 101100395312 Homo sapiens HLA-C gene Proteins 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 210000001145 finger joint Anatomy 0.000 description 7
- 210000004460 N cell Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 210000002287 horizontal cell Anatomy 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000003706 image smoothing Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
(X)機器装着方式:使用者の腕や手指に、位置や加速度等のセンサー装置、又は、マーカー等の機器を装着(必要に応じてデータグローブ等の装着具形式として装着)し、その装着されたセンサー装置の出力、又は、装着されたマーカーをカメラ等の撮像装置で撮像した画像データを解析した結果から、手指形状を求めて、ジェスチャー入力動作を検出する。
(Y)画像処理方式:使用者の腕や手指への機器装着は不要で、腕や手指の撮像装置による撮像画像のみから手指形状のジェスチャー入力動作を検出する。
(a)手指は、多関節構造であるため形状変化が複雑である点。
(b)手指は、関節を曲げたり、握った場合に、輪郭線形状としては手指の甲や手指のひらに手指が隠れてしまう自己遮蔽が多い点。
(c)手指は、身体全体に対する部位の占める比率は小さいが、可動空間が広い点。
例えば、(A)握った状態の指と、(B)物を摘む時のように指の第1関節を屈曲させた状態の指と、を正面から撮像した場合等のように、手指画像の指の関節が屈曲状態である場合には、従来の輪郭線による(A)、(B)両者の照合は困難であり、特許文献2のような尾根線を用いても複数の指が密着している場合は、尾根線が各指毎には対応しないことになり(A)、(B)両者の照合は困難であった。つまり、従来の単眼カメラによる(Y2)の各形状推定では、同一輪郭線で異形状をどのように識別するかという課題を有していた。
上記したHLACによる手法やHoGによる手法では、各局所領域の内部で分割局所領域毎に緻密な特徴量化を行っており、例えば、指の太さ・厚み・長さなど人の手には様々な個人差があるため、同じ形状をしても、分割局所領域毎に緻密な特徴量化を行ってしまうと、指の各部の位置が別の分割局所領域内に含まれてしまう事態が発生し、局所領域としての特徴量としては大きく変わることになる。その場合個人差により輪郭の識別が困難になるという問題が生じていた。このように、従来の単眼カメラによる形状推定では、個人差をどのように抑制するかという課題も有していた。
同一輪郭線異形状の識別問題と個人差問題を解消するために、
図1の本実施形態に係る手指の形状を検出するシステムにおいては、情報処理装置1と撮像装置100と表示装置200とデータグローブ300とを含み、情報処理装置1は撮像装置100と表示装置200とデータグローブ300と通信接続される。
但し、
Rtall:縦長度
Lheight:下端から上端までの長さ[pixel]
Lwidth:左端から右端までの長さ[pixel]
但し、
Rtopheavy :上長度
Lupper:基準点から上端までの長さ[pixel]
Llower :基準点から下端までの長さ[pixel]
但し、
Rrightbased:右長度
Lright:基準点から右端までの長さ[pixel]
Lleft:基準点から左端までの長さ[pixel]
G(ω)=exp(−σ2ω2/2)=exp(−ω2/2(1/σ)2) ・・・(4)
G(u、v)=exp(−σ2(u2+v2)/2)=exp(−(u2+v2)/2(1/σ)2) ・・・(5)
但し、
θ(x,y):画素 (x,y) における勾配方向
fx(x,y):画素 (x,y) における横方向のソーベルフィルタSxによって得られた値
fy(x,y):画素 (x,y) における縦方向のソーベルフィルタSyによって得られた値
但し、
Df:画像特徴次元数
Cx:横方向セル分割数
Cy:縦方向セル分割数
Bx:横方向ブロック領域内セル数
By:縦方向ブロック領域内セル数
DivA:輝度勾配方向分割数
(Rcurrenttall- Rtall[i])2 +
(Rcurrenttopheavy- Rtopheavy[i])2 +
(Rcurrentrightbased- Rrightbased[i])2 ・・・(9)
但し、
Th:閾値
i:参照データセット番号
Rtall[i]:i番目のデータセットの縦長度
Rtopheavy[i] :i番目のデータセットの上長度
Rrightbased[i] :i番目のデータセットの右長度
Rcurrenttall:入力画像の縦長度
Rcurrenttopheavy:入力画像の縦長度
Rcurrentrightbased:入力画像の右長度
但し、
j:データセット番号
E[j]:j番目のデータセットとの類似度
x-currenth:入力画像特徴量
x-dataseth:j番目のデータセット画像特徴量
Df:特徴次元数
h:特徴量次元番号
本実施形態の方法で、特徴量化レベルでの個人差対応をするには、その特徴量化領域を精査する必要がある。そこで、複数の被験者において、指を左右に振るなどの、個人差の影響が生じやすい形状を入力し、その結果から最適なセル分割数と1ブロック領域内のセル数を検討する。今回実験に用いたCPUはIntel社製core i7 950 (3。07GHz)である。
11 画像データ記憶部、
12 手指領域検出部、
13 画像形状比率算出部、
14 手指画像領域正規化部、
15 輝度情報検出部、
16 輝度画像平滑化部、
17 輝度勾配方向算出部、
18 N×Nセル分割部、
19 M×Mセルブロック領域設定部、
20 輝度勾配方向ベクトル算出部、
21 ヒストグラム作成部、
22 ヒストグラム正規化部、
23 繰り返し判定部、
24 撮像画像特徴量生成部、
25 類似度照合部、
26 最類似手指形状記憶部、
27 エッジ検出部、
31 照合用手指データベース記憶部、
41 データグローブデータ記憶部、
71 各種設定値記憶部、
81 プログラム記憶部、
91 制御部、
100 撮像装置(カメラ)、
200 表示装置、
300 データグローブ。
Claims (9)
- 撮像装置で撮像された手指の撮像画像から、情報処理装置により手指形状の検出方法であって、
前記情報処理装置が、手指の撮像画像のデータから人肌抽出された画像を輪郭線検出して腕領域を検出し、前記腕領域の最も高い画素値を持つ位置から手領域の下端を算出し、前記手領域の下端より上部の領域における、最も右にある手領域の右端の位置、最も左にある手領域の左端の位置、最も上にある手領域の上端の位置から手指領域を検出する工程と、
画像特徴抽出法として、Histogram of Oriented Gradients(HoG)法を用い、
前記情報処理装置が、前記撮像画像の画像特徴量データを生成する際に、前記検出された手指領域の画像から画像形状比率を算出することで正規化して正規化撮像画像とした後、さらにその正規化撮像画像の輝度の画像を平滑化した平滑化輝度画像としてから、その平滑化輝度画像の角度分割された各方向の輝度勾配情報を画像特徴量として算出する工程と、
前記情報処理装置が、前記各方向の画像特徴量を加算して可視化データにし、照合用の手指データと類似度を照合して手指の形状を検出する工程、
を含むことを特徴とする手指形状の検出方法。 - 前記情報処理装置が、前記平滑化を、ガウス関数を利用したガウシアンフィルタで行う
ことを特徴とする請求項1に記載の手指形状の検出方法。 - 前記情報処理装置が、前記撮像画像の画像特徴量データを生成する際に、
機器装着方式のジェスチャー入力により形状が検出された複数の手指形状データのデータセットに、照合用の撮像画像から生成された照合用前記画像特徴量データとを含ませて照合用データベースを作成する工程と、
前記検出用の撮像画像から、検出用前記画像特徴量データを生成する工程と、
前記検出用画像特徴量データを、前記データセット中の前記照合用画像特徴量データと対比し、類似する前記照合用の画像特徴量データを含むデータセットを選択する工程と、
前記選択工程で選択されたデータセット中の手指形状データを手指形状の検出結果に含ませて出力する工程と、
を含むことを特徴とする請求項1又は2に記載の手指形状の検出方法。 - 前記照合用データベースを作成する工程では、さらに照合用の撮像画像から生成された照合用画像形状比率データを含ませて照合用データベースを作成し、
前記類似する照合用の画像特徴量データを含むデータセットを選択する工程では、
第1段階として、
前記検出用の撮像画像から、検出用画像形状比率データを生成し、
前記検出用画像形状比率データを、全ての前記データセット中の照合用画像形状比率データと対比し、類似する前記照合用画像形状比率データを含む複数のデータセットを選択し、
さらに第2段階として、
前記検出用画像特徴量データを、前記第1段階の選択工程で選択された前記データセット中の照合用画像特徴量データと対比し、最も類似する前記照合用画像特徴量データを含むデータセットを選択し、
前記手指形状データを検出結果に含ませて出力する工程では、
前記第2段階の選択工程で選択されたデータセット中の手指形状データを手指形状の検出結果に含ませて出力する、
を含むことを特徴とする請求項3に記載の手指形状の検出方法。 - 前記照合用データベースを作成する工程が、
前記機器装着方式のジェスチャー入力により、複数の手指形状について、関節角度及び回旋角度を含む形状データを検出し、手指形状毎に検出された形状データを対応させて格納するデータセットを作成し、
前記照合用データベースが、前記データセット中の同種の手指形状の各データに対応させて、当該同種の手指形状に対応する各画像形状比率が含まれる第1段階照合用画像形状比率データを、前記照合用データベースの階層構造の上層に格納し、
前記同種の手指形状の各データの各々に対応させて、前記複数の手指形状を撮像装置により撮像した照合用の各撮像画像から前記HoG法により各々の画像特徴量を算出し、各々の手指形状に対応する画像特徴量が含まれる第2段階照合用特徴量データを、前記照合用データベースの階層構造の下層に格納する工程と、
を含む請求項3又は4に記載の手指形状の検出方法。 - 前記検出用画像形状比率データの生成が、
前記検出用の撮像画像から、前記検出用の撮像画像から、手指画像の縦長度、上長度及び右長度を含んで全体形状の特徴を示す画像形状比率を算出する算出方法により、前記撮像画像の画像形状比率を画像形状比率データとして生成される、
請求項4に記載の手指形状の検出方法。 - 請求項1〜6の何れか一つの手指形状の検出方法における各工程を実施するプログラム。
- 請求項7のプログラムを記憶する記憶媒体。
- (a)手指の画像を撮像可能に設置された少なくとも1台の撮像装置と、
(b)前記撮像装置から入力する各手指形状を撮像した画像データから画像形状比率データ、輝度勾配方向ベクトルを含む画像特徴量データ、を算出し、前記両データを機器装着方式のジェスチャー入力により形状が検出された複数の手指形状のデータセットに対応させて照合用データベースに格納する情報処理装置と
を少なくとも含んで構成される手指の形状を検出するシステムであって、
前記情報処理装置が、
請求項7のプログラムを実行する
ことを特徴とするシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135721A JP6487642B2 (ja) | 2014-07-01 | 2014-07-01 | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135721A JP6487642B2 (ja) | 2014-07-01 | 2014-07-01 | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016014954A JP2016014954A (ja) | 2016-01-28 |
JP6487642B2 true JP6487642B2 (ja) | 2019-03-20 |
Family
ID=55231108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014135721A Active JP6487642B2 (ja) | 2014-07-01 | 2014-07-01 | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6487642B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6810442B2 (ja) * | 2016-06-20 | 2021-01-06 | 聖 星野 | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 |
CN106920251A (zh) | 2016-06-23 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 人手检测跟踪方法及装置 |
JP6764378B2 (ja) * | 2017-07-26 | 2020-09-30 | 株式会社Subaru | 車外環境認識装置 |
JP6987341B2 (ja) | 2017-10-24 | 2021-12-22 | マクセル株式会社 | 情報表示装置およびその空間センシング装置 |
JP6892155B2 (ja) * | 2018-01-16 | 2021-06-23 | Necソリューションイノベータ株式会社 | 人体部位推定装置、人体部位推定方法、及びプログラム |
JP2021128661A (ja) | 2020-02-17 | 2021-09-02 | セイコーエプソン株式会社 | 操作検出方法、操作検出装置及び表示システム |
JP2021128657A (ja) | 2020-02-17 | 2021-09-02 | セイコーエプソン株式会社 | 位置検出方法、位置検出装置及び位置検出システム |
JP2021128659A (ja) | 2020-02-17 | 2021-09-02 | セイコーエプソン株式会社 | 位置検出方法、位置検出装置及び表示装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102113012B (zh) * | 2008-06-04 | 2016-10-12 | 国立大学法人筑波大学 | 手指形状推定装置、手指形状的推定方法及程序 |
JP5297530B2 (ja) * | 2009-07-15 | 2013-09-25 | 株式会社東芝 | 画像処理装置、及びインターフェース装置 |
JP6044180B2 (ja) * | 2012-02-23 | 2016-12-14 | 株式会社明電舎 | 画像特徴量抽出装置 |
-
2014
- 2014-07-01 JP JP2014135721A patent/JP6487642B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016014954A (ja) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6487642B2 (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
US11237637B2 (en) | Gesture recognition systems | |
CN108369643B (zh) | 用于3d手部骨架跟踪的方法和系统 | |
US9372546B2 (en) | Hand pointing estimation for human computer interaction | |
JP3962803B2 (ja) | 頭部検出装置、頭部検出方法および頭部検出プログラム | |
CN105247461B (zh) | 为触摸屏交互确定俯仰和偏航 | |
JP6740033B2 (ja) | 情報処理装置、計測システム、情報処理方法及びプログラム | |
US20160027208A1 (en) | Image analysis method | |
JP6570786B2 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
KR101551576B1 (ko) | 로봇 청소기, 제스쳐 인식 장치 및 방법 | |
CN108171133A (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
JP6454984B2 (ja) | 深度画像に基づく手の位置確定方法と装置 | |
JP6066093B2 (ja) | 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JP2014235634A (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム | |
KR20150127381A (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
CN107949851A (zh) | 在场景内的物体的端点的快速和鲁棒识别 | |
Xu et al. | A novel method for hand posture recognition based on depth information descriptor | |
CN106406507B (zh) | 图像处理方法以及电子设备 | |
JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 | |
Xu et al. | MultiView-based hand posture recognition method based on point cloud | |
Gallo et al. | View-independent hand posture recognition from single depth images using PCA and Flusser moments | |
Rong et al. | RGB-D hand pose estimation using fourier descriptor | |
JP2015114762A (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6487642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |