JP7146247B2 - 動作認識方法及び装置 - Google Patents
動作認識方法及び装置 Download PDFInfo
- Publication number
- JP7146247B2 JP7146247B2 JP2018164554A JP2018164554A JP7146247B2 JP 7146247 B2 JP7146247 B2 JP 7146247B2 JP 2018164554 A JP2018164554 A JP 2018164554A JP 2018164554 A JP2018164554 A JP 2018164554A JP 7146247 B2 JP7146247 B2 JP 7146247B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- basic
- target
- score
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 270
- 238000000034 method Methods 0.000 title claims description 92
- 230000009471 action Effects 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 14
- 230000000386 athletic effect Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 31
- 238000011156 evaluation Methods 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000013179 statistical model Methods 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 4
- 238000010411 cooking Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000013707 sensory perception of sound Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000010415 tidying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
- G06V10/85—Markov-related models; Markov random fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Description
人間の動作を分節化する計算、
切り取られたセグメントごとに基本動作と比較して識別する計算、及び、
基本動作の一連からなる動作を発見して、その動作が前後関係から適切な説明かどうかを評価して決定する計算、からなり、
基本動作の系列から動作、体操なのどの運動競技では「技」、を発見する問題を、動的計画法を適用して最適化問題の解として計算する。
本発明は、一般の人間の動作の解釈を自動的に行うシステムや、体操、フィギュアスケートなどの運動の技を認識して採点する自動採点システムにも応用できる。
対象の動作を規定する時系列データを複数のセグメントに分節し、
各セグメントを、当該セグメントの時系列データを用いて基本動作のクラスに分類し、
前記対象の動作を、連続する基本動作からなる上位記号の系列に変換するステップであり、上位記号と基本動作列の組からスコアを算出する関数が用意されており、動的計画法を用いた最適化計算により、前記対象の動作を上位記号の系列に変換する、
ことからなる。
前記記憶部には、複数の基本動作のクラスが格納されており、
前記処理部は、
対象の動作を規定する時系列データを複数のセグメントに分節し、
各セグメントを、当該セグメントの時系列データを用いて、基本動作のクラスに分類し、
前記対象の動作を、連続する基本動作からなる上位記号の系列に変換する、
ように構成されており、
前記記憶部には、さらに、上位記号と基本動作列の組からスコアを算出する関数が規定されており、
前記処理部は、前記スコアを用いて、前記対象の動作を、動的計画法を用いた最適化計算により、上位記号列に変換する、
ように構成されている。
以下の関数漸化式
を用いるものであり、
ここで、
Nは、対象の動作を分節して得られたセグメントの数、
は、時系列としての基本動作列
から k個の上位記号を抽出した時に得られる最大スコアであり、
は、
基本動作列
を1つの上位記号として識別したときに得られるスコアである。
なお、上記漸化式と形式上異なる式であっても、当業者において等価であると考えられる式は、本発明の範囲に含まれる。
1つの態様では、上位記号と基本動作列の組合せのスコアを確率値(尤度)として計算する関数を学習しておく。この関数として、上位記号と基本動作列を入力として、尤度を出力する統計モデルやニューラルネット等を用いることができる。動作認識装置の記憶部には、上記関数のパラメータが記憶されており、前記処理部は、前記パラメータを利用して上位記号と基本動作列の組合せのスコアを算出する。
各技に対応するスコアを、実際の採点と整合させるように設定することで、対象の動作から技を同定すると同時に、自動採点に用いることができる技の難度に関連するスコア(例えば、体操競技におけるDスコア)を出力することができる。
図1に示すように、本実施形態に係る動作認識装置は、処理部と記憶部を備えており、モーションキャプチャで取得された対象の動作データに基づいて、対象の動作の解釈を行う。動作認識装置は1つあるいは複数のコンピュータから構成される。図2に示すように、モーションキャプチャは、1つの態様では、対象の動作の動画データを取得するカメラと、動画データに基づいて対象の動作を表す時系列データを取得する1つあるいは複数のコンピュータから構成される。コンピュータは、入力部、処理部、記憶部(RAM、ROM)、出力部を備えている。1つの態様では、出力部はディスプレイを含んでもよい。
対象の動作を複数のセグメントに分節する。各セグメントは、対象の姿勢を特定する複数フレームの時系列データである。1つの態様では、対象の特定の姿勢や対象と環境との位置関係等が、分節条件として予め決められており、フレームtにおける対象の姿勢や対象と環境との位置関係が分節条件に合致した時に、フレームtを分節点とする。この場合、例えば、フレームtが新しいセグメントの先頭フレームとなる。
(a)両手があん馬に接地する、
(b)上体が下向きである(体躯ベクトルのz軸成分が負である)、
(c)上体あん馬長手方向に対して平行もしくは垂直である、
の3つの条件を全て満たしている点を動作の分節点として検出する。
あん馬における分節点の詳細については、特許文献1を参照することができる。
対象があん馬を演技する時の対象の姿勢の時系列データ、あん馬の所定部位との接触条件、あん馬に対する向きから、上記条件を満たす姿勢のフレームを検出することで、分節点を決定する。これによって、あん馬を演技する対象の動作は、複数のセグメントに分節される。
動作認識装置の記憶部には、多様な基本動作が分類されたクラスないしカテゴリが用意されている。1つの態様では、各クラスは、学習モデル(例えば、HMM)によって特徴づけられている。動作認識装置の処理部は、学習モデル(例えば、HMM)を用いた分類器を構成しており、分類器は、セグメントの情報(時系列データ)と学習モデル(例えば、HMM)を用いて、入力されたセグメントが、どのクラスに属するかを決定する。
動作認識部は、基本動作の一連からなる動作(上位記号)を発見して、その上位記号が前後関係から適切な説明かどうかを評価して決定する。動作認識部は、基本動作の系列から上位記号、体操なのどの運動競技では「技」、を発見する問題を、動的計画法を適用して最適化問題の解として計算する。
基本動作列
がデータベース中にあれば、
のスコアは1、なければ0を取るものとする。そして、上記基本動作列がデータベース中にある時には、基本動作列に対応する技として動作を識別する。
すなわち、各基本動作列(HMMの列)はスコア1が割り当てられており、基本動作列がデータベース中にあれば、評価関数gのスコアは1、なければ0を取るものとする。そして、漸化式を用いた評価関数fが最大となるように、基本動作列の纏まりを発見しながら、基本動作列をその纏まりに対応する技として識別する。
既述のように、本実施形態に係る動作認識装置及び方法は、体操競技における演技中の全身運動データからの技の認識ないし同定に適用することができる。演技は、基本動作の連続としての技から構成される。本実施形態は、演技中の全身運動データから基本動作を識別し、技として適した基本動作の連続を見つけることを動的計画問題に帰着させることを特徴とする。
演技者の動作データ(演技者の姿勢の時系列データ)をセグメント(基本動作として認識されるように切り出される)に分節すること、
分節化された動作であるセグメントを基本動作のクラスに分類すること、具体的には、例えば、各セグメントを、HMMを用いて基本動作のクラスに分類することによって、動作データを基本動作の時系列へ変換すること、
技として適した基本動作の連続を動的計画法を用いて抽出することで、技を自動認識すること、
からなる。
上記漸化式において、関数
は、評価値すなわちスコアを決定するいわば評価関数である。評価関数を用いたスコア算出について、簡単な例を示して説明する。
(1)全身運動の切れ目をみつける分節化、
(2)切り取られたセグメントを基本運動と比較して判別する計算、及び、
(3)連続した基本動作系列から技を識別する計算
を順に処理することによって運動競技における技を認識するシステムであり、
体操演技の分節化、基本動作の識別、その時系列から技を認識する計算論の基礎を提供する。
Claims (15)
- コンピュータを用いて対象の動作を認識する動作認識方法であって、
対象の動作を規定する時系列データを複数のセグメントに分節し、
各セグメントを、当該セグメントの時系列データを用いて基本動作のクラスに分類し、
前記対象の動作を、連続する基本動作からなる上位記号の系列に変換するステップであり、上位記号と基本動作列の組からスコアを算出する関数が用意されており、動的計画法を用いた最適化計算により、前記対象の動作を上位記号の系列に変換する、
動作認識方法。 - 上位記号に対応する1つあるいは複数の基本動作列及びスコアを備えたテーブルが用意されている、
請求項1、2いずれか1項に記載の動作の認識方法。 - 前記セグメントは、隠れマルコフモデル(HMM)を用いて、基本動作のクラスに分類される、
請求項1~3いずれか1項に記載の動作の認識方法。 - 前記上位記号は、運動競技における技である、請求項1~4いずれか1項に記載の動作の認識方法。
- 前記スコアには、技の難度が反映されている、請求項5に記載の動作の認識方法。
- 得られた上位記号をセグメントとして、前記対象の動作をさらに上位の動作を表す上位記号列に変換することを含む、請求項1~4いずれか1項に記載の動作の認識方法。
- 動作の認識装置は、記憶部と処理部とを備え、
前記記憶部には、複数の基本動作のクラスが格納されており、
前記処理部は、
対象の動作を規定する時系列データを複数のセグメントに分節し、
各セグメントを、当該セグメントの時系列データを用いて、基本動作のクラスに分類し、
前記対象の動作を、連続する基本動作からなる上位記号の系列に変換する、
ように構成されており、
前記記憶部には、さらに、上位記号と基本動作列の組からスコアを算出する関数が規定されており、
前記処理部は、前記スコアを用いて、前記対象の動作を、動的計画法を用いた最適化計算により、上位記号列に変換する、
ように構成されている、
動作の認識装置。 - 前記記憶部には、上位記号に対応する1つあるいは複数の基本動作列及びスコアを備えたテーブルが用意されている、
請求項8、9いずれか1項に記載の動作の認識装置。 - 前記処理部は、隠れマルコフモデル(HMM)を用いて、セグメントを基本動作のクラスに分類する、
請求項8~10いずれか1項に記載の動作の認識装置。 - 前記上位記号は、運動競技における技である、請求項8~11いずれか1項に記載の動作の認識装置。
- 前記スコアには、技の難度が反映されている、請求項12に記載の動作の認識装置。
- 前記処理部は、得られた上位記号をセグメントとして、前記対象の動作をさらに上位の動作を表す上位記号列に変換するように構成されている、請求項8~11いずれか1項に記載の動作の認識装置。
- コンピュータを、請求項8~14に記載の記憶部、処理部として機能させるコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164554A JP7146247B2 (ja) | 2018-09-03 | 2018-09-03 | 動作認識方法及び装置 |
US17/273,148 US20240020853A1 (en) | 2018-09-03 | 2019-08-28 | Motion recognition method and device |
PCT/JP2019/033662 WO2020050111A1 (ja) | 2018-09-03 | 2019-08-28 | 動作認識方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164554A JP7146247B2 (ja) | 2018-09-03 | 2018-09-03 | 動作認識方法及び装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020038440A JP2020038440A (ja) | 2020-03-12 |
JP2020038440A5 JP2020038440A5 (ja) | 2021-09-24 |
JP7146247B2 true JP7146247B2 (ja) | 2022-10-04 |
Family
ID=69723178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164554A Active JP7146247B2 (ja) | 2018-09-03 | 2018-09-03 | 動作認識方法及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240020853A1 (ja) |
JP (1) | JP7146247B2 (ja) |
WO (1) | WO2020050111A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199392A1 (ja) * | 2020-04-02 | 2021-10-07 | 日本電信電話株式会社 | 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム |
WO2021210112A1 (ja) * | 2020-04-15 | 2021-10-21 | 三菱電機株式会社 | 動作分析装置、動作分析方法、および、動作分析プログラム |
JP2023546189A (ja) * | 2020-10-29 | 2023-11-01 | 日本電気株式会社 | 分類装置、制御装置、分類方法、制御方法及びプログラム |
JP7016936B1 (ja) * | 2020-11-25 | 2022-02-07 | 日立建機株式会社 | 動作把握システム |
EP4287078A4 (en) * | 2021-01-27 | 2024-03-20 | Fujitsu Ltd | DEVICE FOR BUILDING A MODEL FOR ESTIMATING THE ACTION INTERVAL, METHOD FOR BUILDING A MODEL FOR ESTIMATING THE ACTION INTERVAL AND PROGRAM FOR BUILDING A MODEL FOR ESTIMATING THE ACTION INTERVAL |
EP4258183A4 (en) * | 2021-01-27 | 2024-01-24 | Fujitsu Ltd | PARTIAL ACTION INTERVAL ESTIMATION MODEL CONSTRUCTION DEVICE, PART ACTION INTERVAL ESTIMATION MODEL CONSTRUCTION METHOD, AND PART ACTION INTERVAL ESTIMATION MODEL CONSTRUCTION PROGRAM |
JPWO2022162781A1 (ja) * | 2021-01-27 | 2022-08-04 | ||
EP4316614A4 (en) | 2021-04-01 | 2024-05-01 | Fujitsu Ltd | SKILL RECOGNITION METHOD, SKILL RECOGNITION APPARATUS AND GYMNASTICS SCORING SUPPORT SYSTEM |
JPWO2022244135A1 (ja) * | 2021-05-19 | 2022-11-24 | ||
WO2023105787A1 (ja) * | 2021-12-10 | 2023-06-15 | 富士通株式会社 | 行動区間評価プログラム、装置、及び方法 |
WO2023105788A1 (ja) * | 2021-12-10 | 2023-06-15 | 富士通株式会社 | 行動区間検出プログラム、装置、及び方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007138885A1 (ja) | 2006-05-26 | 2007-12-06 | The University Of Tokyo | 運動データのデータベースの構造および設計法、データベースシステム |
JP2010213782A (ja) | 2009-03-13 | 2010-09-30 | Oki Networks Co Ltd | 行動認識方法、装置及びプログラム |
WO2018070414A1 (ja) | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10909691B2 (en) * | 2016-03-18 | 2021-02-02 | President And Fellows Of Harvard College | Automatically classifying animal behavior |
CN107945207A (zh) * | 2017-11-20 | 2018-04-20 | 北京众绘虚拟现实技术研究院有限公司 | 一种基于视频帧间低秩关联信息一致性的实时物体追踪方法 |
-
2018
- 2018-09-03 JP JP2018164554A patent/JP7146247B2/ja active Active
-
2019
- 2019-08-28 WO PCT/JP2019/033662 patent/WO2020050111A1/ja active Application Filing
- 2019-08-28 US US17/273,148 patent/US20240020853A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007138885A1 (ja) | 2006-05-26 | 2007-12-06 | The University Of Tokyo | 運動データのデータベースの構造および設計法、データベースシステム |
JP2010213782A (ja) | 2009-03-13 | 2010-09-30 | Oki Networks Co Ltd | 行動認識方法、装置及びプログラム |
WO2018070414A1 (ja) | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020050111A1 (ja) | 2020-03-12 |
JP2020038440A (ja) | 2020-03-12 |
US20240020853A1 (en) | 2024-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7146247B2 (ja) | 動作認識方法及び装置 | |
CN110147743B (zh) | 一种复杂场景下的实时在线行人分析与计数系统及方法 | |
JP6625220B2 (ja) | シーン内のオブジェクトのアクションを検出する方法及びシステム | |
KR101549645B1 (ko) | 표정 동작사전을 이용한 표정인식 방법 및 장치 | |
Bouchard et al. | Semantic segmentation of motion capture using laban movement analysis | |
Yamane et al. | Human motion database with a binary tree and node transition graphs | |
JP2014137818A (ja) | 手の平開閉動作識別方法と装置、マン・マシン・インタラクション方法と設備 | |
Dutta et al. | Predicting human actions taking into account object affordances | |
Vantigodi et al. | Action recognition from motion capture data using meta-cognitive rbf network classifier | |
D'Sa et al. | A survey on vision based activity recognition, its applications and challenges | |
Oh et al. | Using binary decision tree and multiclass SVM for human gesture recognition | |
Singh et al. | Recognizing and interpreting sign language gesture for human robot interaction | |
Abdullahi et al. | IDF-Sign: addressing inconsistent depth features for dynamic sign word recognition | |
Nikpour et al. | Deep reinforcement learning in human activity recognition: A survey | |
Davis | Sequential reliable-inference for rapid detection of human actions | |
Kushwaha et al. | Rule based human activity recognition for surveillance system | |
Miners et al. | Dynamic facial expression recognition using fuzzy hidden Markov models | |
Axenbeck et al. | Recognizing complex, parameterized gestures from monocular image sequences | |
Panduranga et al. | Dynamic hand gesture recognition system: a short survey | |
Gutzeit | Hierarchical segmentation of human manipulation movements | |
Tang et al. | Extracting commands from gestures: Gesture spotting and recognition for real-time music performance | |
Farouk | Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition | |
Ziaie et al. | A novel approach to hand-gesture recognition in a human-robot dialog system | |
Uddin | An Ada-Random Forests based grammatical facial expressions recognition approach | |
KR100924795B1 (ko) | 입술움직임 영상 판별 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7146247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |