JPWO2007010893A1 - 関節物体位置姿勢推定装置及びその方法ならびにプログラム - Google Patents

関節物体位置姿勢推定装置及びその方法ならびにプログラム Download PDF

Info

Publication number
JPWO2007010893A1
JPWO2007010893A1 JP2007526012A JP2007526012A JPWO2007010893A1 JP WO2007010893 A1 JPWO2007010893 A1 JP WO2007010893A1 JP 2007526012 A JP2007526012 A JP 2007526012A JP 2007526012 A JP2007526012 A JP 2007526012A JP WO2007010893 A1 JPWO2007010893 A1 JP WO2007010893A1
Authority
JP
Japan
Prior art keywords
posture
joint object
model
orientation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007526012A
Other languages
English (en)
Other versions
JP4930854B2 (ja
Inventor
浩雄 池田
浩雄 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007526012A priority Critical patent/JP4930854B2/ja
Publication of JPWO2007010893A1 publication Critical patent/JPWO2007010893A1/ja
Application granted granted Critical
Publication of JP4930854B2 publication Critical patent/JP4930854B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

位置姿勢を推定する為のモデルフィッティングの計算コストを削減し、推定速度を向上できる関節物体位置姿勢推定装置を提供することを目的とする。姿勢モデル記憶部２は、人体などの関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する。人体位置姿勢推定装置１０１は、姿勢モデルが取り得る姿勢の範囲内で、人体モデル画像生成部４による関節物体フレームモデルの各姿勢の画像生成と、位置姿勢推定部１０による推定対象関節物体画像とのマッチングを行って、姿勢を推定する。

Description

本発明は、関節物体位置姿勢推定装置、関節物体位置姿勢推定方法、及び関節物体位置姿勢推定用プログラムに関し、特に関節物体モデルを用いる関節物体位置姿勢推定装置、関節物体位置姿勢推定方法、及び関節物体位置姿勢推定用プログラムに関する。
従来、この種の関節物体位置姿勢推定技術は、単眼カメラやその蓄積映像などから取得した画像中の関節物体、例えば人体に対して、３次元の位置姿勢を推定するものである。関節物体位置姿勢推定技術は、監視分野での人体行動解析、不審者検出、仮想現実世界でのアバタ動作合成、機械の遠隔操作インタフェースなどの為に用いられる。従来の関節物体位置姿勢推定技術の一例が、亀田能成、美濃導彦、池田克夫、著、「シルエット画像からの関節物体の姿勢推定法」、電子情報通信学会論文誌D-II,Vol.J79-D-II,No.1、1996年1月、pp.26-35に記載されている。
「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術は、単眼カメラから取得した人体（多関節物体）の２次元画像に対し、３次元の位置姿勢を推定する技術で、次のような構成および動作となる。単眼カメラから取得した入力画像に対し人体シルエット画像を取得する。推定対象となる正確な形状を反映した人体（多関節物体）モデルの位置姿勢を操作し、モデルの人体シルエット画像を取得する。両人体シルエット画像が一致するモデルの位置姿勢を探索し、一致後のモデルの３次元位置姿勢から、入力画像の人体（多関節物体）の３次元位置姿勢を推定する。また探索処理は、人体（多関節物体）モデルの木構造を利用し、各部位ごとにサブ探索処理を行うことにより、全部位を同時に探索する方法より、探索処理量を削減している。
「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術では、関節物体モデルを操作するパラメータの組み合わせ数が非常に多く、関節物体の位置姿勢を推定する為のモデルフィッティングを行う際の計算コストが非常に大きくなる。関節物体のあらゆる姿勢の推定を目的としているためである。
従来の関節物体位置姿勢推定技術を実時間処理へ適応させるためには解決しなけらばならない課題がある。
関節物体位置姿勢推定技術に関連する他の技術としては、以下のものがある。
特開平７−３０２３４１号公報は、遺伝的アルゴリズムを用いて人体の姿勢を検出する姿勢検出装置を開示している。
特開２００２−６３５６７号公報は、対象物体の表面の色情報を利用して対象物体の位置姿勢を推定する物体位置姿勢推定装置を開示している。
特開２００３−１０９０１５号公報は、隠された身体部位の姿勢の変化を、測定可能な身体部位の姿勢の変化から、姿勢を表す変数間の従属関係を利用して推定する身体動作測定方法を開示している。
特開２００３−１５０９７７号公報は、３次元モデルの関節角の時系列信号を少数のパラメータで表現することを可能とするシステムを開示している。このシステムは、２次元動画像内の人物から、人体の３次元モデルを構成する各オブジェクトの姿勢パラメータを取得する。取得した姿勢パラメータから動作の独立成分を抽出する。抽出した動作の独立成分による空間を利用して３次元モデルの動作を生成する。生成した３次元モデルの動作から、２次元の動画像を生成する。
特開２００４−２１３５８９号公報は、入力画像の明るさに影響されず、短時間に姿勢を検出することが可能な姿勢推定装置を開示している。この装置は、マッチング画像生成部と、パターン・マッチング部とを備えている。マッチング画像生成部は、特定部分の入力画像の各画素を２値化し、更に大きさが設定範囲内である部品を特定して２値画像を得る。パターン・マッチング部は、２値画像と所定のテンプレートとを照合して姿勢を検出する。
本発明の目的は、モデルフィッティングの計算コストを大幅に削減でき、推定速度を向上できる関節物体位置姿勢推定装置及びその方法を提供することにある。
本発明の別の目的は、限定された動作の範囲内で関節物体の姿勢推定を効率良く行うことのできる関節物体位置姿勢推定装置及びその方法を提供することにある。
本発明の関節物体位置姿勢推定装置は、記憶部と、位置姿勢推定装置とを備える。記憶部は、関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する。位置姿勢推定装置は、姿勢モデルが取り得る姿勢の範囲内で関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する。
本発明の関節物体位置姿勢推定装置において、姿勢モデルに関する情報は、時系列姿勢の平均姿勢と主成分分析で求まる固有ベクトルである基底姿勢ベクトルとを含む。
本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、変換部と、モデル画像生成部と、シルエット取得部と、位置姿勢推定部とを含む。変換部は、姿勢モデルによる姿勢記述を関節物体フレームモデルによる姿勢記述に変換する。モデル画像生成部は、変換部で変換された姿勢記述で示される姿勢に調整した関節物体フレームモデルの画像を生成する。シルエット取得部は、モデル画像生成部で生成された関節物体フレームモデルの画像から推定対象関節物体画像とのマッチングに使う画像を生成する。位置姿勢推定部は、シルエット取得部で生成された画像と推定対象関節物体画像とが適合するように変換部に与える姿勢モデルによる姿勢記述を変更する。
本発明の関節物体位置姿勢推定装置は、位置姿勢初期値記憶部を備える。位置姿勢初期値記憶部は、位置姿勢推定部が使用する位置姿勢の推定初期値を記憶する。
本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、入力判定付き位置姿勢記述変換部を備える。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し、記述形式を判定して、姿勢モデルによる姿勢記述ならそのまま、関節物体フレームモデルによる姿勢記述なら姿勢モデルによる姿勢記述に変換して位置姿勢推定部に出力する。
本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数の画像を使用し、複数の画像と各視点毎に作成した関節物体フレームモデルの複数の画像とのマッチングにより姿勢を推定する。
本発明の関節物体位置姿勢推定装置において、位置姿勢推定装置は、輪郭スムーズ処理部を備える。輪郭スムーズ処理部は、マッチングを行う双方の画像に現れる関節物体画像の輪郭部分にぼかし処理を行う。
本発明の関節物体位置姿勢推定装置は、関節物体フレームモデル記憶部と、姿勢モデル記憶部と、位置姿勢初期値記憶部と、画像取得部と、第１の関節物体シルエット取得部と、入力判定付き位置姿勢記述変換部と、関節物体モデル画像生成部と、第２の関節物体シルエット取得部と、位置姿勢推定部と、位置姿勢記述変換部と、を備える。関節物体フレームモデル記憶部は、関節物体を球・円筒等の剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する。姿勢モデル記憶部は、複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する。位置姿勢初期値記憶部は、位置姿勢の推定初期値を記憶する。画像取得部は、対象関節物体の入力画像を取得する。第１の関節物体シルエット取得部は、入力画像から関節物体シルエット画像（画素ベクトル）を取得する。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する。関節物体モデル画像生成部は、位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから画像取得部のカメラパラメータに合わせた関節物体モデル画像を生成する。第２の関節物体シルエット取得部は、関節物体モデル画像から関節物体シルエット画像（画素ベクトル）を取得する。位置姿勢推定部は、入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する。評価関数は、画素ベクトル差分の大きさの二乗で表される。位置姿勢記述変換部は、推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する。
本発明の関節物体位置姿勢推定装置は、関節物体フレームモデル記憶部と、姿勢モデル記憶部と、位置姿勢初期値記憶部と、第１の画像取得部と、第２の画像取得部と、第１の関節物体シルエット取得部と、第２の関節物体シルエット取得部と、第１の画素ベクトル連結部と、入力判定付き位置姿勢記述変換部と、関節物体モデル画像生成部と、第３の関節物体シルエット取得部と、第４の関節物体シルエット取得部と、第２の画素ベクトル連結部と、位置姿勢推定部と、位置姿勢記述変換部と、を備える。関節物体フレームモデル記憶部は、関節物体を球・円筒等の剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する。姿勢モデル記憶部は、複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する。位置姿勢初期値記憶部は、位置姿勢の推定初期値を記憶する。第１の画像取得部は、対象関節物体の入力画像を取得する。第２の画像取得部は、対象関節物体の別の入力画像を取得する。第１の関節物体シルエット取得部は、第１の画像取得部の入力画像から関節物体シルエット画像（画素ベクトル）を取得する。第２の関節物体シルエット取得部は、第２の画像取得部の入力画像から関節物体シルエット画像（画素ベクトル）を取得する。第１の画素ベクトル連結部は、画像取得部側からの２つの関節物体シルエット画素ベクトルを決められた順番に連結し１つの画素ベクトルとする。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する。関節物体モデル画像生成部は、位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから２つの画像取得部のカメラパラメータに合わせた各関節物体モデル画像を生成する。第３の関節物体シルエット取得部は、関節物体モデル画像の１つから関節物体シルエット画像（画素ベクトル）を取得する。第４の関節物体シルエット取得部は、関節物体モデル画像のもう１つから関節物体シルエット画像（画素ベクトル）を取得する。第２の画素ベクトル連結部は、関節物体モデル画像生成部側からの２つの関節物体シルエット画素ベクトルを決められた順番に連結し１つの画素ベクトルとする。位置姿勢推定部は、入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する。評価関数は、画素ベクトル差分の大きさの二乗で表される。位置姿勢記述変換部は、推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する。
本発明の関節物体位置姿勢推定装置は、関節物体フレームモデル記憶部と、姿勢モデル記憶部と、位置姿勢初期値記憶部と、画像取得部と、第１の関節物体シルエット取得部と、第１の輪郭スムーズ処理部と、入力判定付き位置姿勢記述変換部と、関節物体モデル画像生成部と、第２の関節物体シルエット取得部と、第２の輪郭スムーズ処理部と、位置姿勢推定部と、位置姿勢記述変換部と、を備える。関節物体フレームモデル記憶部は、関節物体を球・円筒等の剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する。姿勢モデル記憶部は、複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する。位置姿勢初期値記憶部は、位置姿勢の推定初期値を記憶する。画像取得部は、対象関節物体の入力画像を取得する。第１の関節物体シルエット取得部は、入力画像から関節物体シルエット画像（画素ベクトル）を取得する。第１の輪郭スムーズ処理部は、関節物体シルエット画像に対してぼかし処理を施した処理画像（画素ベクトル）を生成する。入力判定付き位置姿勢記述変換部は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する。関節物体モデル画像生成部は、位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから画像取得部のカメラパラメータに合わせた関節物体モデル画像を生成する。第２の関節物体シルエット取得部は、関節物体モデル画像から関節物体シルエット画像（画素ベクトル）を取得する。第２の輪郭スムーズ処理部は、関節物体シルエット画像に対してぼかし処理を施して処理画像（画素ベクトル）を生成する。位置姿勢推定部は、入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する。評価関数は、画素ベクトル差分の大きさの二乗で表される。位置姿勢記述変換部は、推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する。
本発明の関節物体位置姿勢推定方法は、位置姿勢推定装置により、関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶部から読み出し、姿勢モデルが取り得る姿勢の範囲内で関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する。
本発明の関節物体位置姿勢推定方法において、姿勢モデルに関する情報は、時系列姿勢の平均姿勢と主成分分析で求まる固有ベクトルである基底姿勢ベクトルとを含む。
本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、姿勢モデルによる姿勢記述を関節物体フレームモデルによる姿勢記述に変換する処理と、変換された姿勢記述で示される姿勢に調整した関節物体フレームモデルの画像を生成する処理と、生成された関節物体フレームモデルの画像から推定対象関節物体画像とのマッチングに使う画像を生成する処理と、生成された画像と推定対象関節物体画像とが適合するように変換を行う姿勢モデルによる姿勢記述を変更する処理とを行う。
本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、位置姿勢の推定初期値を位置姿勢初期値記憶部から読み込む処理を行う。
本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し、記述形式を判定して、関節物体フレームモデルによる姿勢記述なら姿勢モデルによる姿勢記述に変換して用いる。
本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数の画像を使用し、複数の画像と各視点毎に作成した関節物体フレームモデルの複数の画像とのマッチングにより姿勢を推定する。
本発明の関節物体位置姿勢推定方法において、位置姿勢推定装置は、マッチングを行う双方の画像に現れる関節物体画像の輪郭部分にぼかし処理を行う。
関節物体のあらゆる姿勢の推定を目的とする場合には関節物体モデルの位置姿勢を表すパラメータの組み合わせ数が非常に多くなるが、「歩く動作」や「物を掴む動作」などの限定された動作の範囲内で関節物体の姿勢を推定するようにすれば、自ずとパラメータの組み合わせ数が少なくなる。そして、このように限定された動作の場合、その姿勢の分布範囲はある規則的な分布を示すため、その動作の時系列姿勢を基に主成分分析すれば、パラメータ数を削減した姿勢モデルが構築できる。また、姿勢モデルによる姿勢記述と関節物体モデルによる姿勢記述とは相互に記述変換できる。このため、姿勢モデルによる姿勢記述を変更し、この変更された姿勢記述を関節物体モデルによる姿勢記述に変換して関節物体モデルの姿勢を調整することにより、パラメータ数の少ない姿勢モデルを通じて関節物体モデルの姿勢を調整できる。その結果、モデルフィッティングの計算コストが削減でき、推定速度を向上することができる。
本発明による第１の効果は、関節物体の位置姿勢を推定する為のモデルフィッティングの計算コストを削減できると共に推定速度を向上できることである。
その理由は、動作拘束による低次元パラメータの姿勢モデルを通じて関節物体モデルの姿勢を制御し、関節物体モデル画像の生成と推定対象関節物体画像とのマッチングを行って姿勢を推定するためである。
本発明による第２の効果は、単眼での自己オクルージョンが生じた関節物体シルエット画像に対し推定精度を高められることである。
その理由は、動作拘束による姿勢モデルを用いることにより、非自己オクルージョン部分の推定から自己オクルージョン部分の推定が誘発、動作拘束され、多数存在する位置姿勢の推定候補が限定されるためである。
図１は、本発明の第１の実施の形態に係るブロック図である。 図２は、本発明の第１の実施の形態に係る人体フレームモデルの説明図である。 図３は、本発明の第１の実施の形態に係る姿勢モデルの作成例を示す図である。 図４Ａは、本発明の第１の実施の形態に係る動作を示すフローチャートである。 図４Ｂは、本発明の第１の実施の形態に係る動作を示すフローチャートである。 図５は、本発明の第２の実施の形態に係るブロック図である。 図６Ａは、本発明の第２の実施の形態に係る動作を示すフローチャートである。 図６Ｂは、本発明の第２の実施の形態に係る動作を示すフローチャートである。 図７は、本発明の第３の実施の形態に係るブロック図である。 図８は、本発明の第３の実施の形態に係る輪郭スムーズ処理の説明図で、(a)は注目輪郭画素における輪郭スムーズ処理を示す図、(b)は輪郭スムーズ処理前の輝度値を示す図、(c)は輪郭スムーズ処理後の輝度値を示す図である。 図９Ａは、本発明の第３の実施の形態に係る動作を示すフローチャートである。 図９Ｂは、本発明の第３の実施の形態に係る動作を示すフローチャートである。 図１０は、本発明の第４の実施の形態に係るブロック図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
図１を参照すると、本発明の第１の実施の形態にかかる関節物体位置姿勢推定装置は、画像取得部７と、人体位置姿勢推定装置１０１と、位置姿勢初期値記憶部３と、人体モデル記憶装置１０２とを備えている。画像取得部７は、姿勢推定対象の人物の画像を取得するカメラ等である。人体位置姿勢推定装置１０１は、画像取得部７で取得された人物画像に対し位置姿勢の推定を行いその結果を出力する。位置姿勢初期値記憶部３は、人体位置姿勢推定装置１０１が位置姿勢を推定する際に使用する、位置姿勢の推定初期値を記憶する。人体モデル記憶装置１０２は、人体位置姿勢推定装置１０１が位置姿勢を推定する際に使用する人体モデルの情報を記憶する。
人体モデル記憶装置１０２に記憶される人体モデルの情報は、人体フレームモデルに関する情報と姿勢モデルに関する情報とに分けられる。前者は人体フレームモデル記憶部１に記憶され、後者は姿勢モデル記憶部２に記憶される。以下、人体フレームモデルと姿勢モデルについて説明する。
人体フレームモデルは、人体を球・円筒等の剛体による多関節木構造でモデル化したものである。図２に人体フレームモデルのワイヤーフレーム３１２とローカル座標系３００を示す。なお、人体フレームモデルは、実際はソリッドモデルである。図２に示す人体フレームモデルのワイヤーフレーム３１２は、人体フレームモデルとローカル座標系３００の関係を視覚的に分かりやすくするために示したものである。
図２に示される人体フレームモデルは、３０１〜３１１の合計１１の部位で構成される。各部位の形状と大きさは、体型パラメータとして数値化され、人体フレームモデル記憶部１に記憶されている。また、ローカル座標系３００に示されるように、各部位のローカル座標系は、各部位の関節位置に設定されている。各部位は親と子の関係で連結されており、子の部位の姿勢は親の部位のローカル座標系を基準に、xyz軸回転の３パラメータで決定される。親の最上位部位（ルート部位）は、ワールド座標系を基準に、xyz軸回転の３パラメータで決定されると共に、位置（人体位置）がxyz座標位置の３パラメータで決定される。よって、人体フレームモデルの位置姿勢は、以下のように示される。
まず、人体位置ｐ（ルート部位の位置）は、
Figure 2007010893
 のベクトルとして示される。また、各部位の姿勢（関節の角度）は、
Figure 2007010893
 のベクトルとして示される。ここで、nは部位数であり、i=1はルート部位の姿勢を表す。
人体フレームモデルの位置姿勢は、式(1)、式(2)より、
Figure 2007010893
 のベクトルとして示され、これを、人体フレームモデル記述における位置姿勢と呼び、位置姿勢（人体フレームモデル記述）と記す。ここで、nは部位数であり、Ｔは転置を表す。
人体フレームモデルの場合、式(3)で与えられる位置姿勢と、人体フレームモデル記憶部１に記憶されている各部位の形状および大きさを定める体型パラメータとから、人体モデルの位置姿勢が一意に定められる。
次に姿勢モデルについて説明する。
姿勢モデルは、図３に示されるような手順により、以下のようにして作成される。
まず、式(3)で与えられる位置姿勢（人体フレームモデル記述）における人体位置ｐとルート部位姿勢θ1を除いた、
Figure 2007010893
 を、姿勢ベクトルとして定義する。ここで、nは部位数である。
次に、或る人物ｋが所定の動作を行った際の時系列の姿勢ベクトルｓk (1)，…，ｓk (u)を集め、時系列に対して平均姿勢ベクトル５０１を求める。ここで、所定の動作とは、歩行動作、座る動作、物を掴む動作などの予め定められた限定された動作のことである。平均姿勢ベクトル５０１は、例えば所定の動作が歩く動作であれば、人物ｋの直立不動の姿勢に相当する。直立不動の姿勢でも個人により姿勢が異なるため、平均姿勢ベクトル５０１は人物ｋの体型による手足等のつき方を表すベクトルに相当する。
次に、個人別の姿勢オフセットを削除するために、時系列の各姿勢ベクトルｓk (1)，…，ｓk (u)から平均姿勢ベクトル５０１を減算する。これにより、個人による体型の影響を除去した、上述の所定動作にかかる姿勢ベクトルであるデータセット５０２が生成される。
以上と同様な平均姿勢ベクトル５０１とデータセット５０２の組を複数の人物1〜ｑについて生成する。
次に、複数の人物について生成したデータセット５０２に対し、主成分分析５０３を行い、求まった固有ベクトルを基底姿勢ベクトルBj ５０４とする。データセット５０２に含まれる姿勢ベクトルsの変数は、θ2〜θnであり、その各々が３次元なので、変数は3(n-1)個ある。主成分分析５０３では、この3(n-1)個の変数からなる多変量データ行列から、新たに、互いに直交する3(n-1)個の合成変数からなる多変量データ行列を生成する。この合成変数のことを主成分といい、データセット５０２の元の変数の重み付き線形結合で表現され、その重みが固有ベクトルになる。
他方、各人物の平均姿勢ベクトル５０１の平均を求め、その結果を基準姿勢ベクトルSstd ５０５とする。なお、基準姿勢ベクトル５０５は、平均姿勢ベクトル５０１を求める前の全姿勢ベクトルの平均でも良い。
さて、動作の再現性と次元削減量とのバランスを考慮して事前に定めた累積寄与率を満たす主成分数をm＜3(n-1)とすると、姿勢モデルは次式(5)で与えられる。
Figure 2007010893
 ここで、Sstdは基準姿勢ベクトル、Bjは基底姿勢ベクトル（固有ベクトル）、λjは基底姿勢ベクトルの係数、mは基底姿勢ベクトルの個数、nは部位数である。
式(5)で与えられる姿勢モデルを、動作拘束による低次元パラメータの姿勢モデルと言う。
式(3)に式(4)を適用すると、ｘ＝（ｐ，θ1，ｓT）Tとなる。ｓは式(5)により、SstdとBjを既知とすると、λの変数として表現できるため、次式(6)が導出される。
Figure 2007010893
上記の式(6)で表現される位置姿勢を、姿勢モデル記述による位置姿勢と呼び、位置姿勢（姿勢モデル記述）と表記する。式(5)における基底姿勢ベクトルBjと基準姿勢ベクトルSstdが、姿勢モデル記憶部２に記憶されている。
このように姿勢モデルは、人体フレームモデルの姿勢を動作拘束による低次元パラメータで表現したモデルと言える。
なお、位置姿勢は、式(5)より、位置姿勢（人体フレームモデル記述）と位置姿勢（姿勢モデル記述）とに相互に記述変換することが可能である。
以上で人体フレームモデルと姿勢モデルの説明を終える。
再び図１を参照すると、人体位置姿勢推定装置１０１は、人体モデル画像生成部４と、人体シルエット取得部８および１１と、入力判定付き位置姿勢記述変換部５と、位置姿勢記述変換部６Ａおよび６Ｂと、位置姿勢推定部１０とを備えている。
位置姿勢記述変換部６Ａは、位置姿勢推定部１０から与えられる式(6)による位置姿勢（姿勢モデル記述）を式(3)による位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部４に出力する。変換に必要な、姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルは、姿勢モデル記憶部２から取得する。
人体モデル画像生成部４は、位置姿勢記述変換部６Ａから与えられる式(3)による位置姿勢（人体フレームモデル記述）と人体フレームモデル記憶部１に記憶された体型パラメータとに基づいて作成した人体フレームモデルから、画像取得部７のカメラパラメータに合わせた人体モデル画像を生成し、人体シルエット取得部１１に出力する。ここで、カメラパラメータとは、ワールド座標系原点からのカメラの位置（カメラ座標系原点の位置）、ワールド座標系を基準としたカメラの姿勢（xyz回転角度）、カメラの焦点距離、カメラの垂直画角、二次元画像への投影スクリーン幅、二次元画像への投影スクリーン高さなどである。つまり、ワールド座標系に存在する３次元人体モデルをカメラから見た投影二次元画像に変換する際に必要なパラメータである。
人体シルエット取得部８は、画像取得部７から入力したカメラによる撮像画像に対して濃淡化処理、背景差分、２値化、ラベリング等の処理を施し、人体シルエット画像（画素ベクトル）を取得する。カメラ画像から人体シルエット画像を取得する方法は、その他にも種々存在し、それらの任意の方法を使用することができる。同様に、人体シルエット取得部１１は、人体モデル画像生成部４で生成された人体モデル画像から人体シルエット画像（画素ベクトル）を取得する。
位置姿勢初期値記憶部３は、姿勢モデル記述と人体フレームモデル記述の何れかの記述形式で記述された、位置姿勢の推定初期値を記憶している。
入力判定付き位置姿勢記述変換部５は、位置姿勢初期値記憶部３からの位置姿勢の推定初期値に対し、その記述形式を判定し、姿勢モデル記述ならそのまま位置姿勢推定部１０へ出力し、人体フレームモデル記述なら姿勢モデル式(5)を用いて姿勢モデル記述に変換して位置姿勢推定部１０へ出力する。変換に必要な、姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルは、姿勢モデル記憶部２から取得する。
位置姿勢推定部１０は、人体シルエット取得部１１から入力される人体シルエット画像が人体シルエット取得部８から入力される人体シルエット画像に一致するように、人体モデル画像生成部４で生成する人体フレームモデルを更新することにより、人体シルエット取得部８で取得された人体シルエット画像にかかる人物の位置姿勢を推定する。具体的には、人体シルエット取得部８および１１から入力される２つの画素ベクトルから評価関数を計算し、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）を更新して位置姿勢記述変換部６Ａに与える操作を繰り返し、最終的な推定結果を評価値（評価関数の値）と位置姿勢（姿勢モデル記述）として出力する。位置姿勢推定部１０は、入力判定付き位置姿勢記述変換部５から与えられる位置姿勢を初期の位置姿勢として位置姿勢記述変換部６Ａに与える。評価関数は、式(7)に示されるように、画素ベクトル差分の大きさの二乗で表される。
Figure 2007010893
 ここで、Ｉtは人体シルエット取得部８側（画像取得部側）からの画素ベクトル、Ｉm(x')は人体シルエット取得部１１側（人体モデル画像生成部側）からの画素ベクトルである。
本実施の形態では、最適化手法として非線形最小二乗法を用いたが、他の様々な方法を利用することも可能である。
位置姿勢記述変換部６Ｂは、位置姿勢推定部１０からの位置姿勢（姿勢モデル記述）に対し、姿勢モデル式(5)を用い、人体フレームモデル記述に変換する。変換に必要な姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルは、姿勢モデル記憶部２から取得する。
次に、図１、図４Ａ、及び図４Ｂを参照して本実施の形態の動作について詳細に説明する。
まず準備処理として、人体モデル画像生成部４は、人体フレームモデル記憶部１より人体フレームモデルの体型パラメータを取得し、人体フレームモデルに設定する（ステップＳ１）。また、入力判定付き位置姿勢記述変換部５、位置姿勢記述変換部６Ａおよび６Ｂは、姿勢モデル記憶部２より姿勢モデルの基底姿勢ベクトルと基準姿勢ベクトルを取得し、各姿勢モデルに設定する（ステップＳ２）。
画像取得部７で取得された入力画像が人体位置姿勢推定装置１０１に入力されると、以下の処理が実行される。
まず、画像取得部７からの入力画像は人体シルエット取得部８に供給される。人体シルエット取得部８は、入力画像から人体シルエット画像（画素ベクトル）を取得する（ステップＳ３）。
次に、位置姿勢初期値記憶部３から位置姿勢の推定初期値が取得され、入力判定付き位置姿勢記述変換部５へ供給される（ステップＳ５）。ここで、位置姿勢の推定初期値を設定する方法しては、以下の３つの例などが考えられる。例(1)においては、両シルエットが重なるように、人体フレームモデル記述のｘまたは姿勢モデル記述のｘ’をＧＵＩにて手動設定する。例(2)においては、動画による姿勢推定の場合、前フレームで決定した人体フレームモデル記述のｘから線形的に次の人体フレームモデル記述のｘを予測し、その値を初期姿勢として設定する。例(3)においては、歩行動作における姿勢モデル記述のｘ’の場合、シルエットの重心ｘ座標とその高さの上下部位が最小になるように自動でｐを設定し、シルエットの重心移動方向から簡易的に求めた進行方向にθ1のZ軸回転を設定し、その他のθ1の軸回転を0とし、係数λの一番影響力がある第１成分λ1を例えば±30に設定し、他の成分を0とする。
入力判定付き位置姿勢記述変換部５は、供給された位置姿勢の推定初期値が姿勢モデル記述か否かを調べ（ステップＳ６）、姿勢モデル記述の場合は、そのまま位置姿勢推定部１０へ供給し、人体フレームモデル記述の場合は、姿勢モデル記述に変換して位置姿勢推定部１０へ供給する（ステップＳ７）。
次に、位置姿勢推定部１０は、入力判定付き位置姿勢記述変換部５から位置姿勢（姿勢モデル記述）を取得すると、そのまま、位置姿勢記述変換部６Ａへ供給する。位置姿勢記述変換部６Ａは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部４へ供給する。人体モデル画像生成部４は、位置姿勢（人体フレームモデル記述）に基づき、人体フレームモデルから画像取得部７のカメラパラメータに合わせた人体モデル画像を生成する（ステップＳ８）。人体モデル画像生成部４で生成された人体モデル画像は、人体シルエット取得部１１に供給され、そこで人体シルエット画像（画素ベクトル）が取得される（ステップＳ９）。人体シルエット取得部１１は、人体シルエット画像（画素ベクトル）を位置姿勢推定部１０へ出力する。
位置姿勢推定部１０は、人体シルエット取得部８および人体シルエット取得部１１から入力される２つの画素ベクトルを用い、画素ベクトル差分の大きさの二乗という評価関数（式(7)）を計算する（ステップＳ１１）。計算された評価関数の値が、最小を示す終了条件を満たしたかどうかを調べ（ステップＳ１２）、終了条件を満たさない場合は、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の修正量を計算し、新たな位置姿勢（姿勢モデル記述）を取得する（ステップＳ１４）。そして、取得した位置姿勢（姿勢モデル記述）を位置姿勢記述変換部６Ａにより位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部４へ供給する。終了条件を満たすまで、ステップＳ８、Ｓ９、Ｓ１１、Ｓ１２およびＳ１４による処理が繰り返される。
終了条件が満たされた場合、位置姿勢推定部１０は、評価関数の値（評価値）とその時点の位置姿勢（姿勢モデル記述）を結果として位置姿勢記述変換部６Ｂへ出力する。位置姿勢記述変換部６Ｂは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換し、位置姿勢の推定結果として出力する（ステップＳ１３）。
次に、本実施の形態の効果について説明する。
１）本実施の形態によれば、人体の位置姿勢を推定する為のモデルフィッティングの計算コストを削減できると共に、推定速度も高めることができる。
その第１の理由は、限定された動作から導出した姿勢モデルを使って、限定された動作の範囲内で位置姿勢を推定するようにしているため、人体モデルの位置姿勢の調整範囲が狭くなり、その分だけ計算コストが削減でき、推定速度が早まるからである。第２の理由は、人体モデルの位置姿勢を調整するためのパラメータ数が削減されるためである。より具体的には、本実施の形態では、式(6)で示される位置姿勢（姿勢モデル記述）を変更することによって、間接的に式(3)で示される位置姿勢（人体フレームモデル記述）を変更している。式(3)の位置姿勢（人体フレームモデル記述）を直接変更する場合にはθ2〜θnの部分だけで3(n-1)個のパラメータを変更しなければならないのに対して、位置姿勢（姿勢モデル記述）では式(6)中のλjを変更すれば良い。λjに関するパラメータ数mは、主成分分析の作用により、一般的に3(n-1)より小さくできる。第３の理由は、本実施の形態では、球や円筒等の剛体によって近似した人体フレームモデルを使用するため、モデルの各部位を正確に表現する「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術に比べて計算量が削減できるからである。
２）「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術でも「限定された動作」の範囲内で姿勢推定するようにすれば計算コストが削減されるが、本実施の形態によれば、より効率的に計算コストの削減が可能である。その理由は次の通りである。
「シルエット画像からの関節物体の姿勢推定法」に記載された関節物体位置姿勢推定技術で、「限定された動作」を表現する場合、各関節１つずつに対して独立に関節可動範囲を与えることになる。例えば、「歩行動作」について「限定された動作」を表現するならば、歩行動作について各関節の可動範囲を調べ、それぞれの関節に可動範囲をつける。こうして可動範囲を制限すると、ある程度、姿勢の組み合わせを小さくすることができ、その分だけ計算コストが削減されるが、無駄な姿勢も多く含まれる。何故なら、例えば歩行動作の場合、同じ側の手足が同時に前にでる姿勢は除外して差し支えないが、各関節１つずつに対して独立に関節可動範囲を与える方法では、このような姿勢を除外できないためである。これに対して本実施の形態では、反対側の手足が同時に前にでるという一般的な歩行動作に基づいて主成分分析により、その関係性を姿勢モデルで表現しているため、左腕が前に出る時左脚が前に出るといった姿勢などは評価対象外となる。これにより、より計算コストの削減が可能になると共に、推定ミスも少なくなる。
３）本実施の形態によれば、自己オクルージョンが生じた推定対象の入力画像に対し推定精度を高めることができる。
その理由は、限定された動作から導出した姿勢モデルを使って、限定された動作の範囲内で位置姿勢を推定するため、非自己オクルージョン部分（見える部分）によって姿勢が推定されると、自己オクルージョン部分（体に隠れて見えない部分）の姿勢が限定されるからである。例えば、カメラの左から右に歩行動作を行い、左腕が自分の体に隠れた自己オクルージョン状態を考える場合、左腕の姿勢は、色々な姿勢に想像できる。しかし、姿勢モデルを用いた場合、左腕の姿勢は、姿勢モデルの性質上、他の部分を見ることで限定される。つまり、左腕以外の部分で姿勢推定が行われると、左腕がどのようになっているかが限定され推定されるということになる。
４）位置姿勢の推定初期値として、姿勢モデル記述と人体フレームモデル記述の２つの記述形式のどちらでも記述することができる。その理由は、入力判定付き位置姿勢記述変換部５を備えているためである。
なお、本実施の形態は限定された動作の範囲内で位置姿勢を推定するため、限定された動作の姿勢を検知する行動監視などの利用で特に有効である。例えば、禁煙場所での喫煙行為の監視、自動車運転中での携帯電話使用行為の監視などが考えられる。
また、本実施の形態の変形例として、複数の動作のぞれぞれに対応する姿勢モデルを作成して外部記憶装置に保存しておき、外部記憶装置から姿勢モデルを適宜読み出して姿勢モデル記憶部２のデータを入れ替えることとしてもよい。このようにすることで限定された動作の範囲をより拡大することが可能である。例えば、ある姿勢推定したい映像における１フレーム画像について、全ての姿勢モデルを利用して姿勢推定し、評価値の低い姿勢モデルを除き、次のフレーム画像について同様に姿勢推定する処理を繰り返すことにより、より広い範囲の動作の姿勢推定が可能である。
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
図５を参照すると、本発明の第２の実施の形態にかかる関節物体位置姿勢推定装置は、以下の点で第１の実施の形態と相違する。すなわち、画像取得部７とは別の視点で同じ姿勢推定対象物を撮像するもう１つの画像取得部１３が用いられている。これに伴って、人体シルエット取得部１４および１５と、画素ベクトル連結部１６および１７とが追加されている。また、人体モデル画像生成部４のかわりに人体モデル画像生成部１８が設けられている。人体モデル画像生成部１８の機能は人体モデル画像生成部４と一部相違している。
画像取得部１３は、姿勢推定に利用できる有効な画像情報を増やすという観点から、画像取得部７とは異なる視点から同じ姿勢対象物である人物を撮像する。画像取得部１３が人物を撮像する視点と、画像取得部７がこの人物を撮像する視点とは、大きく異なっていることが望ましい。人体シルエット取得部１４は、人体シルエット取得部８と同様の方法で、画像取得部１３の入力画像から人体シルエット画像（画素ベクトル）を取得する。画素ベクトル連結部１６は、人体シルエット取得部８から入力された画素ベクトルと人体シルエット取得部１４から入力された画素ベクトルとを予め決められた順番に連結して１つの画素ベクトルを生成し、これを位置姿勢推定部１０へ出力する。
人体モデル画像生成部１８は、位置姿勢記述変換部６Ａから与えられる式(3)による位置姿勢（人体フレームモデル記述）と人体フレームモデル記憶部１に記憶された体型パラメータとに基づいて人体フレームモデルを作成する。人体モデル画像生成部１８は、作成した人体フレームモデルから、画像取得部７のカメラパラメータに合わせた人体モデル画像を生成して人体シルエット取得部１１に出力すると共に、画像取得部１３のカメラパラメータに合わせた人体モデル画像を生成して人体シルエット取得部１５に出力する。人体シルエット取得部１５は、人体シルエット取得部１１と同様の方法で、人体モデル画像生成部１８で生成された人体モデル画像から人体シルエット画像（画素ベクトル）を取得する。画素ベクトル連結部１７は、人体シルエット取得部１１から入力された画素ベクトルと人体シルエット取得部１５から入力された画素ベクトルとを、画素ベクトル連結部１６と同じ方法で連結して１つの画素ベクトルを生成し、これを位置姿勢推定部１０へ出力する。
その他の構成要素は第１の実施の形態と同じである。
次に、図５、図６Ａ、及び図６Ｂを参照して本実施の形態の動作について説明する。
第１の実施の形態と同様な準備処理が行われた後（ステップＳ１、Ｓ２）、画像取得部７および１３で取得された入力画像が人体位置姿勢推定装置１０３に入力されると、以下の処理が実行される。
まず、画像取得部７からの入力画像は人体シルエット取得部８に、画像取得部１３からの入力画像は人体シルエット取得部１４にそれぞれ供給され、その各々で人体シルエット画像（画素ベクトル）が取得される（ステップＳ３、Ｓ１５）。
次に画素ベクトル連結部１６は、人体シルエット取得部８で取得された画素ベクトルと人体シルエット取得部１４で取得された画素ベクトルとを連結して１つの画素ベクトルを生成し、位置姿勢推定部１０へ出力する。
次に、位置姿勢初期値記憶部３から位置姿勢の推定初期値が取得され、入力判定付き位置姿勢記述変換部５へ供給される（ステップＳ５）。入力判定付き位置姿勢記述変換部５は、供給された位置姿勢の推定初期値が姿勢モデル記述か否かを調べ（ステップＳ６）、姿勢モデル記述の場合は、そのまま位置姿勢推定部１０へ供給し、人体フレームモデル記述の場合は、姿勢モデル記述に変換して位置姿勢推定部１０へ供給する（ステップＳ７）。
次に、位置姿勢推定部１０は、入力判定付き位置姿勢記述変換部５から位置姿勢（姿勢モデル記述）を取得すると、そのまま、位置姿勢記述変換部６Ａへ供給する。位置姿勢記述変換部６Ａは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部１８へ供給する。人体モデル画像生成部１８は、この位置姿勢（人体フレームモデル記述）に基づき、人体フレームモデルから画像取得部７のカメラパラメータに合わせた人体モデル画像と画像取得部１３のカメラパラメータに合わせた人体モデル画像とを生成する（ステップＳ１７）。人体モデル画像生成部１８で生成された２つの人体モデル画像は、人体シルエット取得部１１および１５に供給され、その各々で人体シルエット画像（画素ベクトル）が取得される（ステップＳ１８）。人体シルエット取得部１１および１５の各々は、取得した人体シルエット画像（画素ベクトル）を画素ベクトル連結部１７に出力する。
次に画素ベクトル連結部１７は、人体シルエット取得部１１で取得された画素ベクトルと人体シルエット取得部１５で取得された画素ベクトルとを連結して１つの画素ベクトルを生成し、これを位置姿勢推定部１０へ出力する（ステップＳ１９）。
位置姿勢推定部１０は、画素ベクトル連結部１６および１７から入力される２つの画素ベクトルを用い、評価関数（式(7)）を計算する（ステップＳ１１）。評価関数は画素ベクトル差分の大きさの二乗で表される。位置姿勢推定部１０は、計算された評価関数の値が、最小を示す終了条件を満たしたかどうかを調べ（ステップＳ１２）、終了条件を満たさない場合は、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の修正量を計算し、新たな位置姿勢（姿勢モデル記述）を取得する（ステップＳ１４）。そして、取得した位置姿勢（姿勢モデル記述）を位置姿勢記述変換部６Ａにより位置姿勢（人体フレームモデル記述）に変換して人体モデル画像生成部１８へ供給する。終了条件を満たすまで、ステップＳ１７、Ｓ１８、Ｓ１９、Ｓ１１、Ｓ１２およびＳ１４による処理が繰り返される。
終了条件が満たされた場合、位置姿勢推定部１０は、評価関数の値（評価値）とその時点の位置姿勢（姿勢モデル記述）を結果として位置姿勢記述変換部６Ｂへ出力する。位置姿勢記述変換部６Ｂは、位置姿勢（姿勢モデル記述）を位置姿勢（人体フレームモデル記述）に変換し、位置姿勢の推定結果として出力する（ステップＳ１３）。
次に、本実施の形態の効果について説明する。
本実施の形態によれば、第１の実施の形態と同様の効果が得られると共に、位置姿勢の推定精度をより高めることができる。その理由は、互いに視点の異なる２つの画像取得部７、１３によって撮像して得た画素ベクトルを連結した画素ベクトルは、１つの画像取得部で撮像して得た画素ベクトルに比べて、位置姿勢推定に利用できる有効な画像情報が多いためである。
なお、本実施の形態では、２つの画像取得部を用いる場合について説明したが、画像取得部の数に制限はなく、３つ以上の画像取得部を使用しても良い。
（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
図７を参照すると、本発明の第３の実施の形態にかかる関節物体位置姿勢推定装置は、人体シルエット取得部８と位置姿勢推定部１０との間に輪郭スムーズ処理部９が設けられ、人体シルエット取得部１１と位置姿勢推定部１０との間に輪郭スムーズ処理部１２が設けられている点で、第１の実施の形態と相違する。
輪郭スムーズ処理部９は、人体シルエット取得部８で取得された人体シルエット画像の人体シルエット輪郭部分に対してぼかし処理を施し、処理画像（画素ベクトル）として位置姿勢推定部１０に出力する。同様に、輪郭スムーズ処理部１２は、人体シルエット取得部１１で取得された人体シルエット画像の人体シルエット輪郭部分に対してぼかし処理を施し、処理画像（画素ベクトル）として位置姿勢推定部１０に出力する。
輪郭スムーズ処理部９および１２の処理の内容を図８を参照して説明する。
まず、図８(a)に示されるように、人体シルエット画像の任意の輪郭画素（注目輪郭画素６０１）に注目し、その周囲の８画素のうち背景画像画素（処理対象画素６０２）を、次の式(8)により計算される輝度値に設定する。
Figure 2007010893
 但し、ステップ総数は固定値、ステップNoの初期値は１、設定輝度値は小数点以下切り捨てとする。
上記処理を全ての人体シルエット画像の輪郭画素６０１について行う。全ての人体シルエット画像の輪郭画素６０１を処理するまでを１つのステップ処理とし、次は、処理された画像に対して、同様のステップ処理を行う。これを設定したステップ総数分繰り返す。また、最初のステップ処理をステップNo=1とし、ステップ処理が進む毎に、ステップNoをインクリメントする。
図８(b)(c)に、輪郭スムーズ処理前後の輝度値の遷移例を示す。このように輪郭スムーズ処理部９および１２は、人体シルエット情報を欠かすことなくぼかし効果を高速かつ広域に行う。
本実施の形態の動作を図７、図９Ａ、及び図９Ｂを参照して詳細に説明する。
図９ＡのステップＳ１〜Ｓ３、Ｓ５〜Ｓ７、図９ＢのステップＳ８、Ｓ９、Ｓ１１〜Ｓ１４で示される、本実施の形態における画像取得部７、人体シルエット取得部８および１１、人体モデル画像生成部４、位置姿勢推定部１０、入力判定付き位置姿勢記述変換部５、位置姿勢記述変換部６Ａおよび６Ｂの動作は、第１の実施の形態における対応する構成の動作と同一である為、説明は省略する。
第１の実施の形態では、人体シルエット取得部８および１１で取得した人体シルエット画像（画素ベクトル）を位置姿勢推定部１０に供給していたが、本実施の形態では、人体シルエット取得部８で取得した人体シルエット画像を輪郭スムーズ処理部９へ、人体シルエット取得部１１で取得した人体シルエット画像を輪郭スムーズ処理部１２へ供給する。
輪郭スムーズ処理部９は、取得した人体シルエット画像を輪郭スムーズ処理で加工し、処理画像（画素ベクトル）を生成して（ステップＳ４）、位置姿勢推定部１０に供給する。
輪郭スムーズ処理部１２は、取得した人体シルエット画像を輪郭スムーズ処理で加工し、処理画像（画素ベクトル）を生成して（ステップＳ１０）、位置姿勢推定部１０に供給する。
次に、本実施の形態の効果について説明する。
本実施の形態によれば、第１の実施の形態と同様の効果が得られると共に、人体シルエット画像に輪郭スムーズ処理を施すため、体型変動を吸収でき、人体フレームモデルの体型パラメータに平均体型等を用いても、任意の人物や体型が変動した人体に対する姿勢推定が可能になる。つまり、推定対象人物の正確なモデル体型を必要としない。また、最適化手法におけるモデルフィッティングの収束速度も向上する。さらに、初期姿勢をロバストにする効果がある。
（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。
図１０を参照すると、本発明の第４の実施の形態にかかる関節物体位置姿勢推定装置は、第１の実施の形態と同様な画像取得部７、人体モデル記憶装置１０２、位置姿勢初期値記憶部３、コンピュータ２０３、人体位置姿勢推定用プログラム２０１を記憶するコンピュータ可読記録媒体２０２を備えている。画像取得部７、人体モデル記憶装置１０２、位置姿勢初期値記憶部３、コンピュータ可読記録媒体２０２は、コンピュータ２０３に接続されている。人体モデル記憶装置１０２は、人体フレームモデル記憶部１および姿勢モデル記憶部２を有している。
コンピュータ可読記録媒体２０２は、磁気ディスクや半導体メモリ等で構成されている。人体位置姿勢推定用プログラム２０１は、コンピュータ２０３の立ち上げ時などにコンピュータ２０３に読み取られる。人体位置姿勢推定用プログラム２０１は、コンピュータ２０３の動作を制御することにより、コンピュータ２０３を前述した第１の実施の形態における人体位置姿勢推定装置１０１が備える構成要素４、５、６Ａ、６Ｂ、８、１０、１１として機能させ、また、図４Ａ、図４Ｂに示される処理を行わせる。
本実施の形態は第１の実施の形態にかかる関節物体位置姿勢推定装置をコンピュータとプログラムとで実現したが、第２および第３の実施の形態にかかる関節物体位置姿勢推定装置をコンピュータとプログラムとで実現することも可能である。
以上、本発明の実施の形態について説明したが、本発明は以上の例に限定されず、その他各種の付加変更が可能である。例えば、上記した各実施の形態では、人体の位置姿勢を推定したが、本発明はそれだけに限定されず、犬や猫、昆虫類などの関節物体に広く適用可能である。また、画像取得部から入力される画像を処理対象としたが、画像蓄積部に蓄積されている画像やコンピュータグラフィック画像などを処理対象とすることも可能である。
上記実施形態は、カメラやその蓄積映像から人体などの関節物体の３次元位置姿勢を推定する関節物体位置姿勢推定装置や、関節物体位置姿勢推定装置をコンピュータで実現する為のプログラムといった用途に適用できる。また、カメラやその蓄積映像から人体などの関節物体の３次元位置姿勢を必要とする監視分野での人体行動解析、不審者検出、迷子探しを行う場合などに適用できる。さらに、カメラやその蓄積映像からの関節物体の３次元位置姿勢を入力とする仮想現実世界でのアバタ動作合成や機械の遠隔操作インタフェースといった用途に適用できる。この他、関節物体の３次元位置姿勢や動作を検索キーとするビデオ検索といった用途に適用できる。

Claims (24)

  1. 関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する記憶部と、
    前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する位置姿勢推定装置と
    を備える
    関節物体位置姿勢推定装置。
  2. 前記姿勢モデルに関する情報は、前記時系列姿勢の平均姿勢と前記主成分分析で求まる固有ベクトルである基底姿勢ベクトルとを含む
    請求の範囲１記載の関節物体位置姿勢推定装置。
  3. 前記位置姿勢推定装置は、
    前記姿勢モデルによる姿勢記述を前記関節物体フレームモデルによる姿勢記述に変換する変換部と、
    前記変換部で変換された姿勢記述で示される姿勢に調整した前記関節物体フレームモデルの画像を生成するモデル画像生成部と、
    前記モデル画像生成部で生成された前記関節物体フレームモデルの画像から前記推定対象関節物体画像とのマッチングに使う画像を生成するシルエット取得部と、
    前記シルエット取得部で生成された画像と前記推定対象関節物体画像とが適合するように前記変換部に与える前記姿勢モデルによる姿勢記述を変更する位置姿勢推定部と
    を含む
    請求の範囲１または２記載の関節物体位置姿勢推定装置。
  4. 前記位置姿勢推定部が使用する位置姿勢の推定初期値を記憶する位置姿勢初期値記憶部を備える
    請求の範囲３記載の関節物体位置姿勢推定装置。
  5. 前記位置姿勢推定装置は、前記位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し、記述形式を判定して、前記姿勢モデルによる姿勢記述ならそのまま、前記関節物体フレームモデルによる姿勢記述なら前記姿勢モデルによる姿勢記述に変換して前記位置姿勢推定部に出力する入力判定付き位置姿勢記述変換部を備える
    請求の範囲４記載の関節物体位置姿勢推定装置。
  6. 前記位置姿勢推定装置は、前記推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数の画像を使用し、前記複数の画像と各視点毎に作成した前記関節物体フレームモデルの複数の画像とのマッチングにより姿勢を推定する
    請求の範囲１乃至５の何れかに記載の関節物体位置姿勢推定装置。
  7. 前記位置姿勢推定装置は、マッチングを行う双方の画像に現れる関節物体画像の輪郭部分にぼかし処理を行う輪郭スムーズ処理部を備える
    請求の範囲１乃至５の何れかに記載の関節物体位置姿勢推定装置。
  8. 関節物体を剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する関節物体フレームモデル記憶部と、
    複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する姿勢モデル記憶部と、
    位置姿勢の推定初期値を記憶する位置姿勢初期値記憶部と、
    対象関節物体の入力画像を取得する画像取得部と、
    入力画像から関節物体シルエット画像（画素ベクトル）を取得する第１の関節物体シルエット取得部と、
    位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する入力判定付き位置姿勢記述変換部と、
    位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから画像取得部のカメラパラメータに合わせた関節物体モデル画像を生成する関節物体モデル画像生成部と、
    関節物体モデル画像から関節物体シルエット画像（画素ベクトル）を取得する第２の関節物体シルエット取得部と、
    入力される２つの画素ベクトルを用い、画素ベクトル差分の大きさの二乗という評価関数を計算、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する位置姿勢推定部と、
    推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する位置姿勢記述変換部と、
    を備える
    関節物体位置姿勢推定装置。
  9. 関節物体を剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する関節物体フレームモデル記憶部と、
    複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する姿勢モデル記憶部と、
    位置姿勢の推定初期値を記憶する位置姿勢初期値記憶部と、
    対象関節物体の入力画像を取得する第１の画像取得部と、
    対象関節物体の別の入力画像を取得する第２の画像取得部と、
    第１の画像取得部の入力画像から関節物体シルエット画像（画素ベクトル）を取得する第１の関節物体シルエット取得部と、
    第２の画像取得部の入力画像から関節物体シルエット画像（画素ベクトル）を取得する第２の関節物体シルエット取得部と、
    画像取得部側からの２つの関節物体シルエット画素ベクトルを決められた順番に連結し１つの画素ベクトルとする第１の画素ベクトル連結部と、
    位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する入力判定付き位置姿勢記述変換部と、
    位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから２つの画像取得部のカメラパラメータに合わせた各関節物体モデル画像を生成する関節物体モデル画像生成部と、
    前記関節物体モデル画像の１つから関節物体シルエット画像（画素ベクトル）を取得する第３の関節物体シルエット取得部と、
    前記関節物体モデル画像のもう１つから関節物体シルエット画像（画素ベクトル）を取得する第４の関節物体シルエット取得部と、
    関節物体モデル画像生成部側からの２つの関節物体シルエット画素ベクトルを前記決められた順番に連結し１つの画素ベクトルとする第２の画素ベクトル連結部と、
    入力される２つの画素ベクトルを用い、画素ベクトル差分の大きさの二乗という評価関数を計算、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する位置姿勢推定部と、
    推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する位置姿勢記述変換部と、
    を備える
    関節物体位置姿勢推定装置。
  10. 関節物体を剛体による多関節木構造でモデル化した関節物体フレームモデルの、各部位の剛体の大きさを体型パラメータとして記憶する関節物体フレームモデル記憶部と、
    複数関節物体の予め定められた限定された動作における関節物体フレームモデルの時系列姿勢を、主成分分析し求めた動作拘束による低次元パラメータでモデル化した姿勢モデルの、基底姿勢ベクトルと基準姿勢ベクトルを記憶する姿勢モデル記憶部と、
    位置姿勢の推定初期値を記憶する位置姿勢初期値記憶部と、
    対象関節物体の入力画像を取得する画像取得部と、
    入力画像から関節物体シルエット画像（画素ベクトル）を取得する第１の関節物体シルエット取得部と、
    前記関節物体シルエット画像に対してぼかし処理を施した処理画像（画素ベクトル）を生成する第１の輪郭スムーズ処理部と、
    位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し記述形式を判定、姿勢モデル記述ならそのまま、関節物体フレームモデル記述なら姿勢モデルを用い姿勢モデル記述に変換する入力判定付き位置姿勢記述変換部と、
    位置姿勢（姿勢モデル記述）に基づき姿勢モデルと関節物体フレームモデルから画像取得部のカメラパラメータに合わせた関節物体モデル画像を生成する関節物体モデル画像生成部と、
    関節物体モデル画像から関節物体シルエット画像（画素ベクトル）を取得する第２の関節物体シルエット取得部と、
    前記関節物体シルエット画像に対してぼかし処理を施して処理画像（画素ベクトル）を生成する第２の輪郭スムーズ処理部と、
    入力される２つの画素ベクトルを用い、画素ベクトル差分の大きさの二乗という評価関数を計算、評価関数の値が最小になるよう最適化手法により位置姿勢（姿勢モデル記述）の推定を繰り返し、最終的な推定結果を評価値と位置姿勢（姿勢モデル記述）として出力する位置姿勢推定部と、
    推定結果である位置姿勢（姿勢モデル記述）を関節物体フレームモデル記述に変換する位置姿勢記述変換部と、
    を備える
    関節物体位置姿勢推定装置。
  11. 位置姿勢推定装置により、関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶部から読み出し、
    前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する
    関節物体位置姿勢推定方法。
  12. 前記姿勢モデルに関する情報は、前記時系列姿勢の平均姿勢と前記主成分分析で求まる固有ベクトルである基底姿勢ベクトルとを含む
    請求の範囲１１記載の関節物体位置姿勢推定方法。
  13. 前記位置姿勢推定装置は、前記姿勢モデルによる姿勢記述を前記関節物体フレームモデルによる姿勢記述に変換する処理と、前記変換された姿勢記述で示される姿勢に調整した前記関節物体フレームモデルの画像を生成する処理と、前記生成された前記関節物体フレームモデルの画像から前記推定対象関節物体画像とのマッチングに使う画像を生成する処理と、前記生成された画像と前記推定対象関節物体画像とが適合するように前記変換を行う前記姿勢モデルによる姿勢記述を変更する処理とを行う
    請求の範囲１１または１２記載の関節物体位置姿勢推定方法。
  14. 前記位置姿勢推定装置は、位置姿勢の推定初期値を位置姿勢初期値記憶部から読み込む処理を行う
    請求の範囲１３記載の関節物体位置姿勢推定方法。
  15. 前記位置姿勢推定装置は、前記位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し、記述形式を判定して、前記関節物体フレームモデルによる姿勢記述なら前記姿勢モデルによる姿勢記述に変換して用いる
    請求の範囲１４記載の関節物体位置姿勢推定方法。
  16. 前記位置姿勢推定装置は、前記推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数の画像を使用し、前記複数の画像と各視点毎に作成した前記関節物体フレームモデルの複数の画像とのマッチングにより姿勢を推定する
    請求の範囲１１乃至１５の何れかに記載の関節物体位置姿勢推定方法。
  17. 前記位置姿勢推定装置は、マッチングを行う双方の画像に現れる関節物体画像の輪郭部分にぼかし処理を行う
    請求の範囲１１乃至１５の何れかに記載の関節物体位置姿勢推定方法。
  18. 関節物体の予め定められた限定された動きに対応する関節物体フレームモデルの時系列姿勢を主成分分析して求めた動作拘束による低次元パラメータの姿勢モデルに関する情報を記憶する記憶部を備えたコンピュータを、前記姿勢モデルが取り得る姿勢の範囲内で前記関節物体フレームモデルの各姿勢の画像生成と推定対象関節物体画像とのマッチングを行って姿勢を推定する位置姿勢推定部として機能させるためのプログラム。
  19. 前記姿勢モデルに関する情報は、前記時系列姿勢の平均姿勢と前記主成分分析で求まる固有ベクトルである基底姿勢ベクトルとを含む
    請求の範囲１８記載のプログラム。
  20. 前記位置姿勢推定部は、
    前記姿勢モデルによる姿勢記述を前記関節物体フレームモデルによる姿勢記述に変換する変換部と、
    前記変換部で変換された姿勢記述で示される姿勢に調整した前記関節物体フレームモデルの画像を生成するモデル画像生成部と、
    前記モデル画像生成部で生成された前記関節物体フレームモデルの画像から前記推定対象関節物体画像とのマッチングに使う画像を生成するシルエット取得部と、
    前記シルエット取得部で生成された画像と前記推定対象関節物体画像とが適合するように前記変換部に与える前記姿勢モデルによる姿勢記述を変更する位置姿勢推定部と
    を含む
    請求の範囲１８または１９記載のプログラム。
  21. 前記位置姿勢推定部は、位置姿勢の推定初期値を位置姿勢初期値記憶部から読み出して使用する
    請求の範囲２０記載のプログラム。
  22. 前記位置姿勢推定部は、前記位置姿勢初期値記憶部から位置姿勢の推定初期値を取得し、記述形式を判定して、前記姿勢モデルによる姿勢記述ならそのまま、前記関節物体フレームモデルによる姿勢記述なら前記姿勢モデルによる姿勢記述に変換して前記位置姿勢推定部に出力する入力判定付き位置姿勢記述変換部を備える
    請求の範囲２１記載のプログラム。
  23. 前記位置姿勢推定部は、前記推定対象関節物体画像として推定対象関節物体をそれぞれ異なる視点から撮像した複数の画像を使用し、前記複数の画像と各視点毎に作成した前記関節物体フレームモデルの複数の画像とのマッチングにより姿勢を推定する
    請求の範囲１８乃至２２の何れかに記載のプログラム。
  24. 前記位置姿勢推定部は、マッチングを行う双方の画像に現れる関節物体画像の輪郭部分にぼかし処理を行う部を備える
    請求の範囲１８乃至２２の何れかに記載のプログラム。
JP2007526012A 2005-07-19 2006-07-18 関節物体位置姿勢推定装置及びその方法ならびにプログラム Active JP4930854B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007526012A JP4930854B2 (ja) 2005-07-19 2006-07-18 関節物体位置姿勢推定装置及びその方法ならびにプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005208240 2005-07-19
JP2005208240 2005-07-19
JP2007526012A JP4930854B2 (ja) 2005-07-19 2006-07-18 関節物体位置姿勢推定装置及びその方法ならびにプログラム
PCT/JP2006/314161 WO2007010893A1 (ja) 2005-07-19 2006-07-18 関節物体位置姿勢推定装置及びその方法ならびにプログラム

Publications (2)

Publication Number Publication Date
JPWO2007010893A1 true JPWO2007010893A1 (ja) 2009-01-29
JP4930854B2 JP4930854B2 (ja) 2012-05-16

Family

ID=37668773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007526012A Active JP4930854B2 (ja) 2005-07-19 2006-07-18 関節物体位置姿勢推定装置及びその方法ならびにプログラム

Country Status (3)

Country Link
US (1) US8135209B2 (ja)
JP (1) JP4930854B2 (ja)
WO (1) WO2007010893A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853038B2 (en) * 2007-01-04 2010-12-14 Industrial Technology Research Institute Systems and methods for object dimension estimation
JP2010176380A (ja) * 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置
US9355305B2 (en) 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
JP5715833B2 (ja) 2011-01-24 2015-05-13 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
DE102011104524A1 (de) * 2011-06-15 2012-12-20 Ifakt Gmbh Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich
JP5898199B2 (ja) * 2011-07-15 2016-04-06 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
JP5620449B2 (ja) * 2012-09-28 2014-11-05 エクストリーム リアリティー エルティーディー． 人−機械インターフェース装置システム及び方法
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3047882A4 (en) * 2013-10-24 2016-08-31 Huawei Device Co Ltd METHOD AND DEVICE FOR DISPLAYING AN IMAGE
WO2016021152A1 (ja) * 2014-08-06 2016-02-11 パナソニック株式会社 姿勢推定方法および姿勢推定装置
JP6157436B2 (ja) * 2014-11-07 2017-07-05 セコム株式会社 位置合わせ装置及びプログラム
US20170055844A1 (en) * 2015-08-27 2017-03-02 Canon Kabushiki Kaisha Apparatus and method for acquiring object information
US11099631B2 (en) 2015-11-13 2021-08-24 Andrew R. Basile, JR. Virtual reality system with posture control
EP3343508B1 (en) * 2015-11-20 2020-05-20 Sony Corporation Image processing device and method
US10803616B1 (en) * 2017-04-13 2020-10-13 Facebook Technologies, Llc Hand calibration using single depth camera
JP6922410B2 (ja) * 2017-05-19 2021-08-18 富士通株式会社 姿勢判定プログラム、姿勢判定装置及び姿勢判定方法
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
KR20200043005A (ko) * 2018-10-17 2020-04-27 삼성전자주식회사 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법
JP7086818B2 (ja) * 2018-10-29 2022-06-20 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US10776981B1 (en) * 2019-06-07 2020-09-15 Snap Inc. Entertaining mobile application for animating a single image of a human body and applying effects
JP7465469B2 (ja) 2020-05-15 2024-04-11 兵庫県公立大学法人 学習装置、推定装置、学習プログラム、及び推定プログラム
JP7439004B2 (ja) 2020-09-04 2024-02-27 株式会社日立製作所 行動認識装置、学習装置、および行動認識方法
CN112070016B (zh) * 2020-09-08 2023-12-26 浙江铂视科技有限公司 一种儿童行为动作识别的检测方法
JP2022133723A (ja) * 2021-03-02 2022-09-14 株式会社アイシン 身体情報取得装置
CN113688907B (zh) * 2021-08-25 2023-07-21 北京百度网讯科技有限公司 模型训练、视频处理方法，装置，设备以及存储介质
CN115855072B (zh) * 2023-03-03 2023-05-09 北京千种幻影科技有限公司 驾驶模拟平台的姿态估算方法、装置、设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02176878A (ja) 1988-12-27 1990-07-10 Sankyo Seiki Mfg Co Ltd パターン認識方法
JP2627483B2 (ja) 1994-05-09 1997-07-09 株式会社エイ・ティ・アール通信システム研究所 姿勢検出装置および方法
JP3263253B2 (ja) * 1994-09-01 2002-03-04 シャープ株式会社 顔方向判定装置及びそれを用いた画像表示装置
JP3860287B2 (ja) 1997-04-25 2006-12-20 富士通株式会社 動き抽出処理方法，動き抽出処理装置およびプログラム記憶媒体
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP2002063567A (ja) 2000-08-23 2002-02-28 Nec Corp 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法
JP2003109015A (ja) 2001-10-01 2003-04-11 Masanobu Yamamoto 身体動作測定方式
JP4077622B2 (ja) 2001-11-15 2008-04-16 独立行政法人科学技術振興機構 ３次元人物動画像生成システム
JP4298303B2 (ja) 2003-01-09 2009-07-15 三菱電機株式会社 姿勢推定装置
US7831087B2 (en) * 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
US7728839B2 (en) * 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
US7450736B2 (en) * 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
JP4709723B2 (ja) * 2006-10-27 2011-06-22 株式会社東芝 姿勢推定装置及びその方法
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US7925081B2 (en) * 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal

Also Published As

Publication number Publication date
US20090080780A1 (en) 2009-03-26
WO2007010893A1 (ja) 2007-01-25
JP4930854B2 (ja) 2012-05-16
US8135209B2 (en) 2012-03-13

Similar Documents

Publication Publication Date Title
JP4930854B2 (ja) 関節物体位置姿勢推定装置及びその方法ならびにプログラム
Joo et al. Total capture: A 3d deformation model for tracking faces, hands, and bodies
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
JP4473754B2 (ja) 仮想試着装置
Wechsler Reliable Face Recognition Methods: System Design, Impementation and Evaluation
US9619704B2 (en) Fast articulated motion tracking
JP5812599B2 (ja) 情報処理方法及びその装置
JP6675691B1 (ja) 学習用データ生成方法、プログラム、学習用データ生成装置、および、推論処理方法
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
JP5604225B2 (ja) 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
JPH10320588A (ja) 画像処理装置および画像処理方法
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2009020761A (ja) 画像処理装置及びその方法
JP5837860B2 (ja) 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム
JP5699697B2 (ja) ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
JP2019003565A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
JP2021131787A (ja) 情報処理装置、および判断結果出力方法
JP2007004718A (ja) 画像生成装置及び画像生成方法
JP7385747B2 (ja) 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム
JP2006215743A (ja) 画像処理装置及び画像処理方法
JP6579353B1 (ja) 情報処理装置、情報処理方法、寸法データ算出装置、及び製品製造装置
JP2001143088A (ja) 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120202

R150 Certificate of patent or registration of utility model

Ref document number: 4930854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3