JP6996557B2 - 対象物認識方法、装置、システム、プログラム - Google Patents
対象物認識方法、装置、システム、プログラム Download PDFInfo
- Publication number
- JP6996557B2 JP6996557B2 JP2019516792A JP2019516792A JP6996557B2 JP 6996557 B2 JP6996557 B2 JP 6996557B2 JP 2019516792 A JP2019516792 A JP 2019516792A JP 2019516792 A JP2019516792 A JP 2019516792A JP 6996557 B2 JP6996557 B2 JP 6996557B2
- Authority
- JP
- Japan
- Prior art keywords
- time point
- parameter
- point
- site
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
前記対象物の複数の部位のそれぞれの位置及び軸方向を表す第1パラメータであって、第1時点での第1パラメータを導出又は取得し、
前記第1時点より後の第2時点での前記点群データと、前記第1時点での前記第1パラメータと、軸を有する幾何モデルとに基づいて、前記第2時点での前記第1パラメータを導出することを含む、コンピュータにより実行される対象物認識方法が提供される。
1シーン骨格認識部120は、クラスタリング部122と、EMアルゴリズム部124と、モデル最適化部126と、長さ算出部128とを含む。また、対象物認識装置100は、更に、部位認識部130と、骨格整形部132と、キャリブレーション情報生成部134とを含む。
ここで、p(xn)は、点群データxnの混合確率分布モデルであり、上述のように、σ2は、分散であり、M'は、クラスタリング部122で得たクラスタ数が用いられる。このとき、対応する対数尤度関数は、以下のとおりである。
εm(xn,θ)=|(xn-em 0)×em 0|-rm
但し、本実施例では、線形化のため、表面残差εm(xn,θ)は、数2の中での指数部分が二乗の差となるように表現され、具体的には以下のとおりである。
向きem 0の推定値e*m 0は、点群データの主成分であることに着目すると、主成分分析に基づいて導出できる。即ち、向きem 0の推定値e*m 0は、以下の分散共分散行列σxxの最も固有値の大きい固有ベクトルの向きとして求めることができる。
尚、数10に示す平均操作により、mについては和をとっていない。従って、〈xn〉pは、部位mに対する依存性を有し、部位mに係る幾何モデル(円柱)の重心(中心)に対応する。同様に、分散共分散行列σxxも部位mに固有であり、部位mに係る幾何モデル(円柱)の向きに対応する。
或いは、期待値Q(θ,σ2)は、パラメータθの各要素(rm、cm 0、及びem 0)に関して非線形であるので、向きem 0は、線形近似により導出されてもよい。具体的には、微小回転による更新式は、ノルムが保存される態様で規定され、以下のとおりである。
尚、数14や数15において(以下も同様)、Tは、転置を表す。数15において、e1及びe2は、向きem 0に対して直交する単位ベクトルである。
また、数13におけるanmやbnmは、以下のとおりである(図4に示した関節a0~a15や骨格b1~b15の表記とは無関係である)。
ここで、dmは、焦点距離であり、amは、断面の楕円の長軸の長さであり、nm 'は、長軸方向の単位ベクトルである。尚、同様に、位置cm 0は軸上の位置に対応し、向きem 0は、楕円柱の軸(軸方向)の単位ベクトルである。
ここで、lm 0は、部位mに係る入力長さであり、αはマージン(例えば1.2)である。数25によれば、点群データのうちの、幾何モデルの中心(又は中心位置、以下同じ)からの軸方向の距離が所定距離(=αlm 0)以上のデータに対し、事後分布が0とされる。入力長さlm 0は、手入力することも可能であるし、他の計測によって得られる対象者Sの形状情報に基づいて設定されてもよい。
〈xn・em 0〉pは、部位mの中心に対応する。Δlmは、輪切りの幅(軸方向em 0に沿った幅)に対応し、例えば0.01lm 0である。尚、lm 0は、上述のように、部位mに係る入力長さである。Smは、事後分布pnmに対する閾値であり、例えば0.1である。
ステップS610では、長さ算出部128は、ステップS608でカウントしたデータ数が、基準値Crefの所定数倍(例えば0.5倍)以下であるか否かを判定する。判定結果が"YES"の場合は、ステップS612に進み、それ以外の場合は、ステップS606からの処理を繰り返す。
これは、部分集合Nmは、点群データxnのうちの、部位mに属さないデータの集合を表す。従って、長さ算出部128は、部分集合Nmのうちの、中心からの距離(数29の|xn・em 0-〈xn・em 0〉p|)が最小となるデータに基づいて、部位mの長さパラメータlmを算出していることになる。
ここで、l+ mは、上述のように、部位mの中心(=〈xn・em 0〉p)からの子孫側への長さパラメータであり、l- mは、部位mの中心からの祖先側への長さパラメータであり、上述のように長さ算出部128により算出される。βは、定数であり、例えば1であってよい。
上述のように、βは、定数であり、例えば1であってよい。β=1の場合は、部位mの中心(=〈xn・em 0〉p)が、本来2部位からなる部位mの中間の関節点を表すことになる。或いは、βは、他の計測によって得られる対象者Sの形状情報に基づいて設定されてもよい。
以下の[微小フィッティング処理部]の説明において用いる記号は、特に言及しない限り、上記の[1シーン骨格認識部]の説明で用いた記号と実質的に同じ意味である。尚、点群データxnについては、同じ記号"xn"を用いるが、上述のように、微小フィッティング処理部150で用いられる点群データxnは、1シーン骨格認識部120で用いる点群データxnよりも後の時点(フレーム)で得られるデータである。以下では、1シーン骨格認識部120で用いる点群データxnに係る時点を、「第1時点」と称し、微小フィッティング処理部150で用いられる点群データxnに係る時点を、「第2時点」と称する。繰り返しになるが、第2時点は、第1時点よりも後であり、ここでは、例えば1フレーム周期に対応する微小時間だけ後であるとする。
ここで、Mは、関節モデルの全部位数(隠れた部位を含む全部位の総数)であり、図4に示す関節モデルでは、"15"である。従って、Mは、1シーン骨格認識部120で用いられるM'とは異なり得る。hは、隠れた骨格(部位)(第2部位の一例)の数であり、図4に示す関節モデルでは、"4"である。「M-h」を用いるのは、フィッティングに寄与しない部位を除外するためである。即ち、M-hは、微小フィッティング処理でフィッティング対象となる部位(第1部位の一例)の数である。1シーン骨格認識部120で用いられる「M'」に代えて、「M-h」を用いるのは、常にM'=M-hとなるとは限らないためである。また、固定値「M-h」とできるのは、微小フィッティング処理では、1シーン骨格認識処理とは異なり、手や脚などが真っ直ぐに伸びた状態でも、各部位を追跡できるためである。このとき、対応する対数尤度関数は、以下のとおりである。
尚、[微小フィッティング処理部]の説明においては、表現〈〉pについては、同様に事後分布pnmを用いた平均操作であるが、「M'」と「M-h」との相違に関連して、任意のテンソルないし行列anmに対して、以下の通りとする。
幾何モデルが円柱の場合、表面残差は、例えば以下の通り表現されてよい。ここで、位置cm Θ及び向きem Θは、ある姿勢Θにおける部位mの位置及び向きを表す。尚、位置cm Θは、既に定義したとおり、部位mの祖先側の関節点の位置である。
尚、数42では右辺が二乗同士の差となっていないが、上記の数3のように二乗の項が使用されてもよい。尚、1シーン骨格認識処理では、指数部分を二乗の差とすることで式が線形化されている。
このとき、表面残差の微分は、以下のとおりである。
ここで、添字l'は、可動部位を指し、総数はM-f(例えば13)である。ε'nml'i'は、可動部位に関する表面残差の微分であり、ε'nm,M-f+1,i'は、対象者Sの重心の回転に関する表面残差の微分であり、ε'nm,M-f+2,i'は、対象者Sの重心の並進に関する表面残差の微分である。
χml'は、部位mと部位l'(l'=1,2、・・・、13)との祖先・子孫関係を表すパラメータであり、祖先・子孫関係を表すパラメータについては、部位kと部位l'とに関連して、図10及び図11を参照して後述する。尚、祖先・子孫関係は、キャリブレーション情報に含まれる部位対応関係情報に基づいて判断できる。
有限長処理部154は、事後分布算出部152で得られる事後分布pnmに基づいて、有限長処理を行う。有限長処理は、上述のように、点群データxnのうちの、所定の条件を満たすデータについてのみ事後分布pnmを算出し、他のデータについては事後分布pnmを0とする処理である。微小フィッティング処理では、所定の条件を満たすデータは、例えば、以下の式を満たすデータであってよい。
微小変化算出部156は、変形パラメータθarの微小変化Δθを算出する。ここで、尤度関数の最大化問題は、分散σ2と同様に、以下の通り、線形近似により解を導出できる。即ち、第2時点は、第1時点よりも微小時間だけ後であるので、第2時点での点群データxnは、第1時点での点群データxnから大きく変化しないと期待される。このため、第2時点での変形パラメータθarは、第1時点での変形パラメータθarから大きく変化しないと期待される。従って、第2時点での変形パラメータθarは、第1時点での変形パラメータθarからの微小変化Δθで表されるものとする。
ここで、Δθl'i'、ΔθM-f+1,i'、及びΔθM-f+2,i'は、微小変化Δθの各要素である。Δθl'i'は、部位l'(l'=1,2、・・・、M-f)の関節回転を表し、ΔθM-f+1,i'は、対象者Sの重心の回転を表し、ΔθM-f+2,i'は、対象者Sの重心の並進を表す。i'は、回転の3自由度を表し、i'=0、X,XXである。dは空間次元であり、d=3である。また、fは、可動しない関節数である。可動しない関節とは、例えば骨盤部(図4の部位b14、b15参照)に係る関節(図4の関節a0参照)である。
また、δkl'は、クロネッカーのデルタであり、上述と同様である。また、χkl'は、部位k(k=1,2、・・・、15)と部位l'(l'=1,2、・・・、13)との祖先・子孫関係を表すパラメータであり、例えば、図10に示すとおりである。図10における部位の番号は、図11に示すとおりである。例えば、部位m=部位6でありかつ部位l'=部位5であるとき、χ56=1である。これは、部位5が部位6の祖先側にあるためである。尚、図10及び図11に示す例では、可動しない骨盤部の番号が最後の2つ"14"及び"15"とされかつが列から除外されている。尚、行と列は、同一の番号が同一の部位を指す。
21 距離画像センサ
100 対象物認識装置
110 データ入力部
120 1シーン骨格認識部
122 クラスタリング部
124 EMアルゴリズム部
126 モデル最適化部
128 長さ算出部
130 部位認識部
132 骨格整形部
134 キャリブレーション情報生成部
140 幾何モデルデータベース
142 キャリブレーション情報記憶部
150 微小フィッティング処理部
151 表面残差算出部
152 事後分布算出部
154 有限長処理部
155 分散更新部
156 微小変化算出部
158 パラメータ更新部
160 出力部
Claims (14)
- 3次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得し、
第1時点での前記点群データに基づく第1事後分布を算出し、前記第1時点での前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記第1時点での前記点群データに当てはめる複数の前記幾何モデルのそれぞれの位置及び軸方向に基づいて、前記第1時点での前記対象物の複数の部位のそれぞれの位置及び軸方向を表す第1パラメータを導出する当てはめ処理を、前記複数の部位の数が所定数以上であり、かつ、前記複数の部位のそれぞれに係る前記第1事後分布のデータ和が第1所定値以上である前記第1パラメータが得られるまで周期毎に繰り返して実行し、
前記第1パラメータが得られた後に、前記第1時点より後の第2時点での前記点群データに当てはまる複数の前記幾何モデルのそれぞれの位置及び軸方向と、前記第1時点での前記第1パラメータとに基づいて、前記第2時点での前記第1パラメータを導出することを含む、
コンピュータにより実行される対象物認識方法。 - 前記点群データの取得は、周期毎に実行され、
前記第2時点は、前記第1時点に係る周期の次の周期を含む、請求項1に記載の対象物認識方法。 - 前記当てはめ処理は、前記点群データに含まれるノイズを一様分布でモデル化することを含む、請求項1または2に記載の対象物認識方法。
- 前記幾何モデルは、円柱、円錐、台形柱、楕円柱、楕円錐、及び台形楕円柱のうちの少なくともいずれか1つに係り、
前記第2時点での前記第1パラメータの導出は、前記第1時点での前記第1パラメータの導出に用いた種類の複数の前記幾何モデルに基づく、請求項1から3のいずれか一項に記載の対象物認識方法。 - 前記第2時点での前記第1パラメータの導出結果が第2所定基準を満たすか否かを判定することを更に含み、
前記第2時点での前記第1パラメータの導出結果が前記第2所定基準を満たさない場合は、新たな前記第1時点での前記第1パラメータの導出からやり直すことを含む、請求項1から4のいずれか一項に記載の対象物認識方法。 - 前記第2時点での前記第1パラメータの導出結果が前記第2所定基準を満たす場合は、前記第2時点での前記第1パラメータの導出結果と、該第2時点に係る周期の次の周期の前記点群データとに基づいて、新たな前記第2時点での前記第1パラメータを導出することを更に含む、請求項5に記載の対象物認識方法。
- 前記第2時点での前記第1パラメータの導出は、前記複数の部位のそれぞれごとに、位置及び軸方向のそれぞれの変化であって、前記第1時点からの変化を表す第2パラメータを導出することを含む、請求項6に記載の対象物認識方法。
- 前記第2パラメータの算出は、前記対象物の関節に対応付け可能な複数の関節を有する機構モデルを用いた順運動学に基く計算処理を含む、請求項7に記載の対象物認識方法。
- 前記計算処理は、前記対象物の重心の並進、回転、及び前記複数の関節のそれぞれの回転を、微小変化するものとして扱うことを伴う、請求項8に記載の対象物認識方法。
- 前記複数の部位は、可動部位と、非可動部位とを含み、
前記機構モデルは、前記複数の関節のうちの前記可動部位に係る各関節に3軸まわりの回転自由度を与えるモデルである、請求項9に記載の対象物認識方法。 - 前記第2パラメータの算出は、前記計算処理のうちの、前記複数の部位のうちの軸対称の幾何モデルに対応付けられる部位に係る計算部分であって、軸まわりの回転に係る計算部分を省略することを含む、請求項10に記載の対象物認識方法。
- 3次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得する取得部と、
前記対象物の複数の部位のそれぞれの位置及び軸方向を表す第1パラメータであって、第1時点での前記第1パラメータを導出するパラメータ導出部と、
前記第1時点より後の第2時点での前記点群データと、前記第1時点での前記第1パラメータと、軸を有する幾何モデルとに基づいて、前記第2時点での前記第1パラメータを導出する導出処理部とを含み、
前記パラメータ導出部は、前記第1時点での前記点群データに基づく第1事後分布を算出し、前記第1時点での前記点群データに、前記幾何モデルを複数の個所で別々に当てはめ、前記第1時点での前記点群データに当てはめる複数の前記幾何モデルのそれぞれの位置及び軸方向に基づいて、前記第1時点での前記第1パラメータを導出する当てはめ処理を、前記複数の部位の数が所定数以上であり、かつ、前記複数の部位のそれぞれに係る前記第1事後分布のデータ和が第1所定値以上である前記第1パラメータが得られるまで周期毎に繰り返して実行し、
前記導出処理部は、前記パラメータ導出部によって前記第1パラメータが得られた後に、前記第2時点での前記点群データに当てはまる複数の前記幾何モデルのそれぞれの位置及び軸方向に基づいて、前記第2時点での前記第1パラメータを導出する、
対象物認識装置。 - 3次元の位置情報を得るセンサと、
前記センサから、複数の関節を有する対象物の表面に係る点群データを取得する取得部と、
前記対象物の複数の部位のそれぞれの位置及び軸方向を表す第1パラメータであって、第1時点での前記第1パラメータを導出するパラメータ導出部と、
前記第1時点より後の第2時点での前記点群データと、前記第1時点での前記第1パラメータと、軸を有する幾何モデルとに基づいて、前記第2時点での前記第1パラメータを導出する導出処理部とを含み、
前記パラメータ導出部は、前記第1時点での前記点群データに基づく第1事後分布を算出し、前記第1時点での前記点群データに、前記幾何モデルを複数の個所で別々に当てはめ、前記第1時点での前記点群データに当てはめる複数の前記幾何モデルのそれぞれの位置及び軸方向に基づいて、前記第1時点での前記第1パラメータを導出する当てはめ処理を、前記複数の部位の数が所定数以上であり、かつ、前記複数の部位のそれぞれに係る前記第1事後分布のデータ和が第1所定値以上である前記第1パラメータが得られるまで周期毎に繰り返して実行し、
前記導出処理部は、前記パラメータ導出部によって前記第1パラメータが得られた後に、前記第2時点での前記点群データに当てはまる複数の前記幾何モデルのそれぞれの位置及び軸方向に基づいて、前記第2時点での前記第1パラメータを導出する、
対象物認識システム。 - 3次元の位置情報を得るセンサから、複数の関節を有する対象物の表面に係る点群データを取得し、
第1時点での前記点群データに基づく第1事後分布を算出し、前記第1時点での前記点群データに、軸を有する幾何モデルを複数の個所で別々に当てはめ、前記第1時点での前記点群データに当てはめる複数の前記幾何モデルのそれぞれの位置及び軸方向に基づいて、前記第1時点での前記対象物の複数の部位のそれぞれの位置及び軸方向を表す第1パラメータを導出する当てはめ処理を、前記複数の部位の数が所定数以上であり、かつ、前記複数の部位のそれぞれに係る前記第1事後分布のデータ和が第1所定値以上である前記第1パラメータが得られるまで周期毎に繰り返して実行し、
前記第1パラメータが得られた後に、前記第1時点より後の第2時点での前記点群データに当てはまる複数の前記幾何モデルのそれぞれの位置及び軸方向と、前記第1時点での前記第1パラメータとに基づいて、前記第2時点での前記第1パラメータを導出する、
処理をコンピュータに実行させる対象物認識プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/017695 WO2018207282A1 (ja) | 2017-05-10 | 2017-05-10 | 対象物認識方法、装置、システム、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018207282A1 JPWO2018207282A1 (ja) | 2020-03-12 |
JP6996557B2 true JP6996557B2 (ja) | 2022-02-21 |
Family
ID=64104549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516792A Active JP6996557B2 (ja) | 2017-05-10 | 2017-05-10 | 対象物認識方法、装置、システム、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11126831B2 (ja) |
EP (1) | EP3624059A4 (ja) |
JP (1) | JP6996557B2 (ja) |
CN (1) | CN110603570B (ja) |
WO (1) | WO2018207282A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018207282A1 (ja) | 2017-05-10 | 2018-11-15 | 富士通株式会社 | 対象物認識方法、装置、システム、プログラム |
EP3425591B1 (en) * | 2017-07-07 | 2021-01-13 | Tata Consultancy Services Limited | System and method for tracking body joints |
WO2019030794A1 (ja) | 2017-08-07 | 2019-02-14 | 富士通株式会社 | 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法 |
EP3825730A1 (en) * | 2019-11-21 | 2021-05-26 | Bentley Systems, Incorporated | Assigning each point of a point cloud to a scanner position of a plurality of different scanner positions in a point cloud |
JP6800509B1 (ja) * | 2020-09-30 | 2020-12-16 | アースアイズ株式会社 | 撮影システム、及び、撮影方法 |
CN113436223B (zh) * | 2021-07-14 | 2022-05-24 | 北京市测绘设计研究院 | 点云数据的分割方法、装置、计算机设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015472A (ja) | 2008-07-07 | 2010-01-21 | Nippon Telegr & Teleph Corp <Ntt> | 歩行者性別判定装置、歩行者性別判定方法、歩行者性別判定プログラムおよびその記録媒体 |
JP2015102913A (ja) | 2013-11-21 | 2015-06-04 | キヤノン株式会社 | 姿勢推定装置及び姿勢推定方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10149445A (ja) | 1996-11-19 | 1998-06-02 | Image Joho Kagaku Kenkyusho | 身体動作解析可視化装置 |
JP2006302133A (ja) * | 2005-04-22 | 2006-11-02 | Toyota Motor Corp | 情報処理装置、情報処理方法、及びこれを用いた画像情報処理装置、画像情報処理方法 |
KR100951890B1 (ko) * | 2008-01-25 | 2010-04-12 | 성균관대학교산학협력단 | 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법 |
US9135502B2 (en) | 2009-05-11 | 2015-09-15 | Universitat Zu Lubeck | Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose |
US8542252B2 (en) * | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
JP5297403B2 (ja) | 2010-02-26 | 2013-09-25 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 |
EP2383696A1 (en) | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
US20130144135A1 (en) * | 2011-08-02 | 2013-06-06 | Mohamed R. Mahfouz | Method and apparatus for three dimensional reconstruction of a joint using ultrasound |
WO2012156141A1 (en) | 2011-05-16 | 2012-11-22 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Fast articulated motion tracking |
US9367770B2 (en) * | 2011-08-30 | 2016-06-14 | Digimarc Corporation | Methods and arrangements for identifying objects |
WO2013033442A1 (en) * | 2011-08-30 | 2013-03-07 | Digimarc Corporation | Methods and arrangements for identifying objects |
JP2013115380A (ja) * | 2011-11-30 | 2013-06-10 | Panasonic Corp | 部品実装装置および部品実装方法 |
WO2013112749A1 (en) | 2012-01-24 | 2013-08-01 | University Of Southern California | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion |
US20130335528A1 (en) * | 2012-05-15 | 2013-12-19 | Board Of Regents Of The University Of Texas System | Imaging device capable of producing three dimensional representations and methods of use |
EP2674913B1 (en) * | 2012-06-14 | 2014-07-23 | Softkinetic Software | Three-dimensional object modelling fitting & tracking. |
JP5871345B2 (ja) * | 2012-07-27 | 2016-03-01 | Necソリューションイノベータ株式会社 | 3次元ユーザインタフェース装置及び3次元操作方法 |
US20150193977A1 (en) * | 2012-08-31 | 2015-07-09 | Google Inc. | Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces |
JP2015170907A (ja) * | 2014-03-05 | 2015-09-28 | キヤノン株式会社 | スキャナシステム、スキャナシステムのデータ処理方法、及びプログラム |
US9928412B2 (en) | 2014-10-17 | 2018-03-27 | Ebay Inc. | Method, medium, and system for fast 3D model fitting and anthropometrics |
JP2016103137A (ja) * | 2014-11-28 | 2016-06-02 | キヤノン株式会社 | ユーザインタフェース装置、画像処理装置及び制御用プログラム |
US9911219B2 (en) * | 2015-05-13 | 2018-03-06 | Intel Corporation | Detection, tracking, and pose estimation of an articulated body |
JP2017036998A (ja) * | 2015-08-10 | 2017-02-16 | 株式会社東芝 | 色情報決定装置および画像生成装置 |
JP2017073039A (ja) * | 2015-10-08 | 2017-04-13 | キヤノン株式会社 | 物体識別装置、物体識別方法及びプログラム |
US10186081B2 (en) | 2015-12-29 | 2019-01-22 | Microsoft Technology Licensing, Llc | Tracking rigged smooth-surface models of articulated objects |
US9898858B2 (en) | 2016-05-18 | 2018-02-20 | Siemens Healthcare Gmbh | Human body representation with non-rigid parts in an imaging system |
EP3249921A1 (en) * | 2016-05-24 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream for immersive video format |
WO2018207282A1 (ja) | 2017-05-10 | 2018-11-15 | 富士通株式会社 | 対象物認識方法、装置、システム、プログラム |
-
2017
- 2017-05-10 WO PCT/JP2017/017695 patent/WO2018207282A1/ja unknown
- 2017-05-10 EP EP17909083.2A patent/EP3624059A4/en active Pending
- 2017-05-10 CN CN201780090522.7A patent/CN110603570B/zh active Active
- 2017-05-10 JP JP2019516792A patent/JP6996557B2/ja active Active
-
2019
- 2019-11-07 US US16/676,527 patent/US11126831B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015472A (ja) | 2008-07-07 | 2010-01-21 | Nippon Telegr & Teleph Corp <Ntt> | 歩行者性別判定装置、歩行者性別判定方法、歩行者性別判定プログラムおよびその記録媒体 |
JP2015102913A (ja) | 2013-11-21 | 2015-06-04 | キヤノン株式会社 | 姿勢推定装置及び姿勢推定方法 |
Non-Patent Citations (2)
Title |
---|
堀内 英一,シングルスキャン点群データのための半形状幾何学モデル,日本ロボット学会誌,日本,一般社団法人日本ロボット学会,2014年10月15日,第32巻 第8号,pp.57-66 |
宮本 新 他,骨格線モデルと円筒多関節モデルを併用した人体の姿勢推定,情報処理学会研究報告,日本,社団法人情報処理学会,2006年05月19日,第2006巻 第51号,pp.137-144 |
Also Published As
Publication number | Publication date |
---|---|
EP3624059A4 (en) | 2020-05-27 |
CN110603570A (zh) | 2019-12-20 |
EP3624059A1 (en) | 2020-03-18 |
US11126831B2 (en) | 2021-09-21 |
CN110603570B (zh) | 2023-08-04 |
US20200074161A1 (en) | 2020-03-05 |
JPWO2018207282A1 (ja) | 2020-03-12 |
WO2018207282A1 (ja) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6996557B2 (ja) | 対象物認識方法、装置、システム、プログラム | |
JP6947215B2 (ja) | 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法 | |
US10189162B2 (en) | Model generation apparatus, information processing apparatus, model generation method, and information processing method | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
JP4148281B2 (ja) | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム | |
JP5924862B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101700377B1 (ko) | 아바타 생성을 위한 처리 장치 및 방법 | |
CN109919141A (zh) | 一种基于骨架姿态的行人再识别方法 | |
JP5555207B2 (ja) | 3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JP2019191981A (ja) | 行動認識装置、モデル構築装置及びプログラム | |
JP6465027B2 (ja) | 特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラム | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
JP2014085933A (ja) | 3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
JP4765075B2 (ja) | ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム | |
JP4535096B2 (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置 | |
JP2003271975A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 | |
Jatesiktat et al. | Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units | |
WO2018207292A1 (ja) | 対象物認識方法、装置、システム、プログラム | |
KR102258114B1 (ko) | 다중 사용자 추적 장치 및 방법 | |
JP2022092528A (ja) | 三次元人物姿勢推定装置、方法およびプログラム | |
Bhanu et al. | Model-based human recognition—2D and 3D gait | |
KR20150065303A (ko) | 손목 궤적을 이용한 전신 동작 생성 장치 및 방법 | |
WO2023162223A1 (ja) | 学習プログラム、生成プログラム、学習方法および生成方法 | |
KR102623494B1 (ko) | 포즈인식 패키지를 이용한 보행 분석 장치, 방법 및 프로그램 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6996557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |