JP7331927B2

JP7331927B2 - 生成方法、生成プログラムおよび情報処理装置

Info

Publication number: JP7331927B2
Application number: JP2021534464A
Authority: JP
Inventors: 一成井上; 弘池田; 翔鯨井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-07-23
Filing date: 2019-07-23
Publication date: 2023-08-23
Anticipated expiration: 2039-07-23
Also published as: US20220139035A1; WO2021014587A1; JPWO2021014587A1

Description

本発明は、生成方法等に関する。

近年、競技者に対して骨格認識（競技者の各関節位置を決定すること）を行い、時間経過に伴う各関節位置から得られる３Ｄモデルを表示することで、競技の採点支援や、トレーニング支援が行われている。骨格認識の手法一つとして、深度センサの測定結果から得られる点群データに対して、競技者の体型をモデル化した体型情報を合わせ込み、競技者の各関節の位置を推定する手法が知られている。本手法による骨格認識の精度は、体型情報が如何に競技者の体型を反映しているかに依存するため、競技者の体型を精度よく計測する技術が求められている。

ここで、ＳＣＡＰＥ（Shape Completion and Animation of PEople）モデルを用いた骨格認識技術および利用するＳＣＡＰＥモデルの生成技術が知られている。また、人体の各部位を円筒で表現した円筒モデルを、体型情報として生成する他の従来技術がある。他の従来技術では、人物の深度画像情報をランダムフォレストに入力して、人体の部位を判別し、円筒モデルを調整する。

A.Weiss et al.,"Home 3D Body Scans from Noisy Image and Range Data," IEEE ICCV,pp.1951-1958(2011) Q.Wang et al.,"Im2Fit:Fast 3D Model Fitting and Anthropometrics using Single Consumer Depth Camera and Synthetic Data,"3DIPM-045.1-7,(2016) X.Wei et al.,"Accurate Realtime Full-body Motion Capture Using a Single Depth Camera,"ACM Transactions on Graphics, Vol.31, No. 6,Article 188(2012) D.Anguelov et al.(Stanford Univ),"SCAPE: Shape Completion and Animation of People,"ACM Transactions on Graphics,vol.24 no.3 pp. 408-416(2005)

ＳＣＡＰＥモデルは体の表面まで詳細に定義する体型情報であるため、従来技術では、競技者固有の体型情報を生成する処理、および、体型情報を用いた骨格位置を推定する処理に、時間を要してしまうという問題があった。一方で、円筒モデルを用いた骨格認識技術は、体型情報の生成に要する時間を短縮することができる。

しかしながら、円筒モデルを用いた従来技術では、円筒モデルで表現する際の被写体の体型情報を高精度に得ることができないという問題がある。

本発明は、上記に鑑みてなされたものであって、円筒モデルで表現する際の被写体の体型情報を、従来よりも高精度に得ることができる生成方法、生成プログラムおよび情報処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、コンピュータに次の処理を実行させる。コンピュータは、被写体の３次元の位置情報を得るセンサの計測結果から、被写体の表面上の３次元点群データを取得する。コンピュータは、３次元点群データを基にして、人体の各部位を複数の円筒で表現した円筒モデルの姿勢を決定する。コンピュータは、複数の円筒について、円筒の長さ、円筒の太さ、円筒の軸と隣接する円筒の軸との角度のうち、少なくとも一つのパラメータを変化させ、パラメータを変化させた円筒モデルと３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、評価関数の値が所定条件を満たすまで繰り返し実行する。コンピュータは、評価関数の値が所定条件を満たしたときのパラメータを有する円筒モデルを生成する。コンピュータは、円筒モデルと被写体を識別する情報とを対応付けて記憶する。

円筒モデルで表現する際の各被写体の体型情報を、従来よりも高精度に得られる。

図１は、本実施例に係る情報処理装置の処理を説明するための図である。図２は、本実施例に係るシステムの一例を示す図である。図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図４は、円筒モデルデータのデータ構造の一例を示す図である。図５は、円筒と部位識別情報との対応関係を示す図である。図６は、円筒のパラメータの一例を示す図である。図７は、深度画像テーブルのデータ構造の一例を示す図である。図８は、円筒モデルデータテーブルのデータ構造の一例を示す図である。図９は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１０は、本実施例に係る生成処理の処理手順を示すフローチャートである。図１１は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本発明にかかる生成方法、生成プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る情報処理装置の処理を説明するための図である。情報処理装置は、点群データ３０と、円筒モデルデータ４０との入力を受け付ける。点群データ３０は、１以上の深度センサの測定結果から得られる被写体の表面上の各点の３次元位置をそれぞれ示す情報である。点群データ３０は、「３次元点群データ」に対応する。

円筒モデルデータ４０は、被写体の部位を円筒（あるいは楕円柱など）で表現したモデルのデータである。以下の説明では、円筒あるいは楕円柱などをまとめて、円筒と表記する。円筒モデルデータ４０を構成する各円筒のパラメータの初期値は、標準的な人物の体型に合わせた値に設定されている。円筒のパラメータは、円筒の高さ、半径、長径、短径等に対応する。

情報処理装置は、点群データ３０に合うように、円筒モデルデータ４０の姿勢を調整する（ステップＳ１０）。円筒モデルデータ４０の姿勢は、円筒モデルデータ４０のある円筒の軸と隣接する円筒の軸との角度θ、特定部位の円筒端部の３次元位置Ａ（Ｍｄ１とＭｄ２の接続部分（例えば、腰）など）、あらかじめ設定された基準軸に対する回転角度δ（Ｍｄ１の方向を表す３次元回転角度）によって、定義される。情報処理装置は、円筒モデルデータ４０の各角度θ、３次元位置Ａ、回転角度δを変更することで、姿勢を調整する。なお、Ｍｄ１、Ｍｄ２は、後述する図５で説明する。

情報処理装置は、ステップＳ１０において、円筒モデルデータ４０の姿勢の調整を行った後に、点群データ３０に合うように、円筒モデルデータ４０の各円筒のパラメータを調整する（ステップＳ１１）。情報処理装置は、ステップＳ１０，Ｓ１１で調整した円筒モデルデータ４０と、点群データ３０との合致度合いを評価する評価関数の解が、最適解に達するまで、ステップＳ１０、Ｓ１１の処理を繰り返し実行する。

情報処理装置は、評価関数の解が最適解に達した場合に、最適解に達した際の、円筒のパラメータを有する円筒モデルデータ４０を、体型情報として、記憶部に保存する。

このように、本実施例に係る情報処理装置は、点群データ３０と円筒モデルデータ４０とに基づき、評価関数の値が最適解となる円筒モデルデータ４０のパラメータを探索し、円筒モデルデータ４０で表現する被写体の体型情報を生成する。円筒モデルデータ４０は、ＳＣＡＰＥモデルと比較して、調整対象となるパラメータの数が少ないため、パラメータの探索に要する時間を削減することができる。また、生成された体型情報を用いた骨格認識における、処理時間を短縮することができる。また、円筒モデルデータ４０の各円筒は、被写体の各部位に対応しており、各点の３次元位置を定義した点群データ３０に基づいて、円筒のパラメータを調整しているため、従来のランダムフォレスト方式よりも、被写体の体型情報をより高精度に得られる。

次に、本実施例に係るシステムの一例について説明する。図２は、本実施例に係るシステムの一例を示す図である。図２に示すように、このシステムは、深度センサ２０ａ，２０ｂと、情報処理装置１００とを有する。深度センサ２０ａ，２０ｂは、情報処理装置１００に、無線または有線通信によって、接続される。

深度センサ２０ａ，２０ｂは、被写体５との距離を計測することで、深度画像を生成するセンサである。たとえば、深度センサ２０ａ、２０ｂは、被写体５の前後に設置される。深度センサ２０ａ，２０ｂは、深度画像の情報を、情報処理装置１００に出力する。深度センサ２０ａの深度画像は、被写体５上の各点と、深度センサ２０ａとの距離をそれぞれ示す情報である。深度センサ２０ｂの深度画像は、被写体５上の各点と、深度センサ２０ｂとの距離をそれぞれ示す情報である。

なお、深度センサによる計測時、被写体５は、予め指示される複数の姿勢（ポーズ）をとり、各姿勢において、所定時間、姿勢を維持する。深度センサ２０ａ，２０ｂは、被写体５に関する各姿勢の深度画像をそれぞれ生成し、情報処理装置１００に出力する。

図２に示す例では、深度センサ２０ａ，２０ｂを示すが、更に他の深度センサを用いて、深度画像を生成してもよいし、深度センサ２０ａは１台であっても良い。以下の説明では、深度センサ２０ａ，２０ｂをまとめて、深度センサ２０と表記する。深度画像の情報を、深度画像情報と表記する。深度画像情報には、深度画像情報を生成した、深度センサ２０を一意に識別する深度センサ識別情報が設定される。

情報処理装置１００は、深度センサ２０から取得する深度画像情報を基にして、被写体５の点群データ３０を算出する。情報処理装置１００は、点群データ３０と、円筒モデルデータ４０とに基づき、評価関数の値が最適解となる円筒モデルデータ４０のパラメータを探索し、円筒モデルデータ４０で表現する被写体５の体型情報を生成し、被写体５を識別する情報と対応付けて保存する。情報処理装置１００に生成された体型情報は、たとえば、骨格認識処理に用いられる。認識された骨格（各関節の位置）は、たとえば、競技の採点支援や、トレーニング支援を行う場合に用いられる。

図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図３に示すように、この情報処理装置１００は、深度センサ２０と、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１６０とを有する。また、通信部１１０は、無線または有線によって、深度センサ２０と接続される。

深度センサ２０は、図２で説明した深度センサ２０ａ，２０ｂに対応するものである。深度センサ２０は、被写体５との距離を計測することで、深度画像情報を生成するセンサである。深度センサ２０は、深度画像情報を、通信部１５０に出力する。

通信部１１０は、ネットワークを介して、深度センサ２０等の外部装置とデータ通信を実行する処理部である。後述する制御部１５０は、通信部１１０を介して、外部装置とデータをやり取りする。通信部１１０は、通信装置の一例である。

入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、円筒モデルデータ４０と、深度画像テーブル１４１と、円筒モデルデータテーブル１４２とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

円筒モデルデータ４０は、被写体の部位を円筒で表現したモデルのデータである。図４は、円筒モデルデータのデータ構造の一例を示す図である。図４に示すように、円筒モデルデータ４０は、部位識別情報と、パラメータとを対応付ける。部位識別情報は、円筒モデルに含まれる各円筒を識別する情報である。パラメータは、部位識別情報によって識別される円筒のパラメータを示すものである。円筒のパラメータは、円筒の長さと、円筒の半径などを含む。

図５は、円筒と部位識別情報との対応関係を示す図である。図５に示すように、各部位識別情報Ｍｄ１～Ｍｄ１４は、円筒モデルデータ４０の各部位にそれぞれ対応付けられる。図４に示した部位識別情報Ｍｄ１～Ｍｄ１４は、図５に示した部位識別情報Ｍｄ１～Ｍｄ１４に対応する。

図６は、円筒のパラメータの一例を示す図である。図６では、複数の円筒Ｍｄ１～Ｍｄ１１のうち、ある一つの円筒を示す。円筒のパラメータは、円筒の高さｌと、円筒の半径ｒとを含む。円筒の半径ｒは、円筒の太さに対応する。なお、本実施例は、これらパラメータを調整することで、被写体それぞれの体型情報を、精度よく生成できる。

深度画像テーブル１４１は、深度センサ２０により生成された深度画像情報を保持するテーブルである。図７は、深度画像テーブルのデータ構造の一例を示す図である。図７に示すように、深度画像テーブル１４１は、深度センサ識別情報と、姿勢識別情報と、深度画像情報とを対応付ける。深度センサ識別情報は、深度センサを一意に識別する情報である。たとえば、深度センサ識別情報「Ｓ１」は、深度センサ２０ａに対応する。深度センサ識別情報「Ｓ２」は、深度センサ２０ｂに対応する。

姿勢識別情報は、被写体５の姿勢を一意に識別する情報である。深度画像情報は、深度センサ２０により生成される深度画像情報である。図７に示すように、深度センサ２０は、姿勢毎に深度画像情報を生成するものとする。

円筒モデルデータテーブル１４２は、被写体５や他の被写体の円形モデルデータを保持するテーブルである。図８は、円筒モデルデータテーブルのデータ構造の一例を示す図である。つまり、図８は、被写体ごとの体型情報である円形モデルデータを保持する。図８に示すように、円筒モデルデータテーブル１４２は、被写体識別情報と、円筒モデルデータとを対応付ける。被写体識別情報は、被写体を一意に識別する情報である。円筒モデルデータは、被写体に対応する円筒モデルデータである。

図３の説明に戻る。制御部１５０は、取得部１５１と、変換部１５２と、生成部１５３と、出力制御部１５４を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１６０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

取得部１５１は、各種の情報を取得し、取得した情報を記憶部１４０に格納する処理部である。

取得部１５１は、深度センサ２０から、深度画像情報を取得した場合、深度センサ識別情報と、姿勢識別情報と、深度画像情報とを対応付けて、深度画像テーブル１４１に登録する。深度センサ２０から取得する深度情報が、いずれの姿勢識別情報に対応するかの情報は、ユーザが入力部１２０から入力して指示してもよいし、対象者の姿勢を判定する姿勢判定装置から、姿勢識別情報を取得してもよい。

たとえば、取得部１５１は、入力部１２０から姿勢識別情報「Ｐ１」の入力を受け付けたタイミングから、所定時間後までの間に、深度センサ２０から取得した深度画像情報を、姿勢識別情報「Ｐ１」に対応付ける。

変換部１５２は、深度画像情報を点群データに変換する処理部である。

変換部１５２が、深度画情報を点群データに変換する処理の一例について説明する。変換部１５２は、深度画像情報の点の位置および距離（深度）と、３次元座標との関係を定義した変換テーブル（図示略）を用いる。変換テーブルには、深度センサ２０ａ用の第１変換テーブルと、深度センサ２０ｂ用の第２変換テーブルとが含まれる。

変換部１５２は、姿勢識別情報「Ｐ１」に対応する、深度センサ２０ａが生成した深度画像情報と、第１変換テーブルとを比較して、深度画像情報を、第１点群データに変換する。変換部１５２は、姿勢識別情報「Ｐ１」に対応する、深度センサ２０ｂが生成した深度画像情報と、第２変換テーブルとを比較して、深度画像情報を、第２点群データに変換する。変換部１５２は、第１点群データと、第２点群データとを組み合わせて、姿勢識別情報「Ｐ１」に対する点群データを生成する。

変換部１５２は、他の姿勢識別情報に対応する深度画像情報についても、上記処理を繰り返し実行し、他の姿勢識別情報に対応する点群データを生成する。

図３の説明に戻る。生成部１５３は、点群データと、円筒モデルデータ４０とを比較して、合致度合いの評価関数の値が最適値となる円筒モデルデータ４０のパラメータを探索することで、被写体の円筒モデルデータを生成する処理部である。生成部１５３は、探索した円筒モデルデータ４０のパラメータと、被写体識別情報とを対応付けて、円筒モデルデータテーブル１４２に登録する。たとえば、被写体識別情報は、入力部１２０から入力されるものとする。

たとえば、生成部１５３は、ＥＭ（Expectation Maximization）アルゴリズムを用いて、評価関数の値が最適値となる円筒モデルデータ４０のパラメータを探索する。生成部１５３は、姿勢識別情報「Ｐ１」に対応する点群データと、円筒モデルデータを取得するためにあらかじめ指定された姿勢識別情報「Ｐ１」「Ｐ２」などにより用意された初期姿勢とを取得する。各円筒の関節部分は、予め設定されているものとする。

生成部１５３は、初期姿勢の円筒モデルデータ４０と、点群データとを比較して、点群の事後分布ｐ_ｎｍを算出する。事後分布ｐ_ｎｍは、式（１）によって定義される。「ｎ」は、点群データに含まれる点を示すものであり、点群データに点がｎ_ａ個含まれている場合、ｎ＝１～ｎ_ａとなる。Ｍは、円筒モデルデータ４０の各円筒（部位）を示すものであり、図５で示したように、各部位識別情報Ｍｄ１～Ｍｄ１４により識別される部位が１４個存在する場合、ｍ＝１～１４（Ｍｄ１～Ｍｄ１４）となる。

式（１）に含まれるε_ｍは、表面残差を示すものであり、ガウス分布であることが仮定される。表面残差は、点群と、ｍ番目の円筒の表面との垂直な方向の差を示す。たとえば、１番目の円筒は、部位識別番号Ｍｄ１の円筒を示す。表面残差ε_ｍは、ｘ_ｎ、θ、ｌにより特定される。ｘ_ｎは、ｎ番目の点の３次元座標を示す。θは、ｍ番目の円筒の軸と、隣接する(例えばｍ＋１番目の)円筒の軸との関節角度（全ての関節数分）を示す。

ｌは、ｍ番目の円筒のパラメータ（長さ、半径）を示す。σは、点群データに含まれる３次元座標の分散を示す。なお、姿勢を定義するθ以外の要素である、特定部位の端部の三次元位置Ａと回転角度δは、点群が有するセンサ基準の３次元座標におけるθの最適化において、併せて最適化されるため、ここでは、三次元位置Ａと回転角度δを単独で考慮しない。

生成部１５３は、事後分布ｐ_ｎｍを算出した後に、式（２）で定義される評価関数Ｑの値を算出する。式（２）において、Ｐは、ｐ_ｎｍの総和を示す。

生成部１５３は、Ｍステップ１を実行した後に、Ｍステップ２を実行する。生成部１５３が実行するＭステップ１について説明する。生成部１５３は、角度変化量Δθを計算し、関節角度θに角度変更量Δθを加算することで、式（１）、式（２）に含まれる関節角度θを更新する。生成部１５３は、更新した関節角度θにより、評価関数Ｑの値を算出する。生成部１５３は、評価関数Ｑの値が所定の収束条件を満たすまで、Ｍステップ１を繰り返し実行する。たとえば、収束条件は、評価関数Ｑの値が閾値Ｔｈ１以上という条件である。生成部１５３は、収束条件を満たす場合に、Ｍステップ２に移行する。閾値Ｔｈ１は、適宜変更してもよい。

生成部１５３は、Levenberg-Marquardt（ＬＭ）法を用いて、角度変化量Δθを算出する。たとえば、生成部１５３は、式（３）、式（４）に基づいて角度変化量Δθを算出する。生成部１５３は、ＬＭ法に限らず、ランダムに角度変化量Δθを生成してもよい。

生成部１５３が実行するＭステップ２について説明する。生成部１５３は、体型変化量Δｌを計算し、パラメータｌに体型変化量Δｌを加算することで、式（１）、式（２）に含まれるパラメータｌを更新する。生成部１５３は、パラメータｌにより、評価関数Ｑの値を算出する。生成部１５３は、評価関数Ｑの値が所定の収束条件を満たすまで、Ｍステップ２を繰り返し実行する。たとえば、収束条件は、評価関数Ｑの値が閾値Ｔｈ２以上という条件である。生成部１５３は、収束条件を満たす場合に、Ｍステップ２を終了する。

生成部１５３は、ＬＭ法を用いて、体型変化量Δｌを算出する。たとえば、生成部１５３は、式（５）、式（６）に基づいて体型変化量Δｌを算出する。生成部１５３は、ＬＭ法に限らず、ランダムに体型変化量Δθを生成してもよい。

生成部１５３は、Ｍステップ２を終了した場合、評価関数Ｑの値がフィッテイング収束条件を満たすか否かを判定する。生成部１５３は、フィッテイング収束条件を満たす場合に、係るフィッテイング収束条件を満たすパラメータを、姿勢識別情報「Ｐ１」に対応するパラメータとして特定する。フィッテイング収束条件は、所定の閾値であってもよいし、Ｍステップ１、Ｍステップ２の実行回数であってもよい。生成部１５３は、フィッテイング収束条件を満たさない場合には、再度、Ｍステップ１を実行する。

生成部１５３は、同一の被写体について、他の姿勢識別情報についても、フィッテイング収束条件を満たすパラメータを特定する。この場合、生成部１５３は、前回の姿勢識別情報で特定したフィッテイング収束条件を満たす円筒モデルデータのパラメータを、今回の姿勢機別情報に対応するパラメータの初期値として使用してもよい。

たとえば、生成部１５３は、姿勢識別情報「Ｐ２」の点群データを用いて、パラメータを算出する場合、姿勢識別情報「Ｐ１」の点群データを用いて最終的に特定パラメータを、初期値として使用してもよい。生成部１５３は、各姿勢識別情報に対応する点群データを用いて、被写体の円筒モデルデータのパラメータをより精度よく求めることができる。

生成部１５３は、異なる被写体毎に、上記処理を繰り返し実行することで、被写体毎のパラメータを生成し、円筒モデルデータテーブル１４２に登録する。

なお、上記の説明では、生成部１５３は、同一の被写体について、複数の姿勢識別情報毎の点群データを用いて、円筒モデルデータのパラメータを算出する場合について説明したが、これに限定されるものではない。生成部１５３は、同一の被写体について、一つの姿勢識別情報に対応する点群データを基にして、円筒モデルデータのパラメータを算出してもよい。

出力制御部１５４は、円筒モデルデータテーブル１４２の情報を、競技の採点支援や、トレーニング支援を行う外部装置（図示略）に出力する処理を制御する処理部である。出力制御部１５４は、円筒モデルデータテーブル１４２の情報を、表示部１３０に出力して表示させてもよい。

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図９は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図９に示すように、情報処理装置１００の取得部１５１は、深度センサ２０から深度画像情報を取得する（ステップＳ５１）。取得部１５１は、深度画像情報を深度画像テーブル１４１に登録する（ステップＳ５２）。

情報処理装置１００の変換部１５２は、深度画像情報を点群データに変換する（ステップＳ５３）。情報処理装置１００の生成部１５３は、生成処理を実行する（ステップＳ５４）。情報処理装置１００の出力制御部１５４は、円筒モデルデータを外部装置に出力する（ステップＳ５５）。

次に、図９のステップＳ５４に示した生成処理の一例について説明する。図１０は、本実施例に係る生成処理の処理手順を示すフローチャートである。図１０に示すように、情報処理装置１００の生成部１５３は、円筒モデルデータの初期姿勢を設定する（ステップＳ１０１）。生成部１５３は、点群データの事後分布ｐ_ｎｍを算出する（ステップＳ１０２）。生成部１５３は、評価関数Ｑの値を算出する（ステップＳ１０３）。

生成部１５３は、角度変化量Δθを算出する（ステップＳ１０４）。生成部１５３は、関節角度θを更新する（ステップＳ１０５）。生成部１５３は、評価関数Ｑの値が収束条件を満たすか否かを判定する（ステップＳ１０６）。生成部１５３は、評価関数Ｑの値が収束条件を満たさない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０３に移行する。

生成部１５３は、評価関数Ｑの値が収束条件を満たす場合には（ステップＳ１０６，Ｙｅｓ）、評価関数Ｑの値を算出する（ステップＳ１０７）。生成部１５３は、体型変化量Δｌを算出する（ステップＳ１０８）。生成部１５３は、パラメータｌを更新する（ステップＳ１０９）。生成部１５３は、評価関数Ｑの値が収束条件を満たすか否かを判定する（ステップＳ１１０）。生成部１５３は、評価関数Ｑの値が収束条件を満たさない場合には（ステップＳ１１０，Ｎｏ）、ステップＳ１０７に移行する。

生成部１５３は、評価関数Ｑの値が収束条件を満たす場合には（ステップＳ１１０，Ｙｅｓ）、フィッテイング収束条件を満たすか否かを判定する（ステップＳ１１１）。生成部１５３は、フィッテイング収束条件を満たさない場合には（ステップＳ１１１，Ｎｏ）、ステップＳ１０２に移行する。

一方、生成部１５３は、フィッテイング収束条件を満たす場合には（ステップＳ１１１，Ｙｅｓ）、フィッテイング収束条件を満たすパラメータを、円筒モデルデータテーブル１４２に登録する（ステップＳ１１２）。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、深度センサ２０から取得する深度画像の情報を基にして、被写体５の点群データ３０を算出する。情報処理装置１００は、点群データ３０と、円筒モデルデータ４０とに基づき、評価関数の値が最適解となる円筒モデルデータ４０のパラメータを探索する処理を行うことで、被写体５に対応する円筒モデルデータのパラメータを生成する。このように、人物の深度画像をランダムフォレストに入力して、円筒モデルを調整する従来技術と比較して、情報処理装置１００は、３次元の点群データに合うように、パラメータを調整している。このため、円筒モデルで表現する際の被写体のパラメータ（体型情報）を、従来よりも高精度に得られる。

ランダムフォレストで用いる深度画像は、被写体のシルエット画像に深度情報が与えられた画像である。従来技術は、まず、深度画像に対してランダムフォレストによる部位認識を行う。その結果、被写体のシルエットにおける各部位が認識される。従来技術は、認識された複数部位それぞれについて、深度画像におけるシルエットから各部位の太さや長さを決定する。つまり、太さや長さは、被写体が２次元に投影されたシルエット画像から得られる情報である。一方で、本実施例は、３次元点群とモデルとの距離が最小になるように最適化した結果から、各部位の太さや長さを決定する。よって、本実施例は、シルエットとして投影された体型ではなく、被写体の実際の体型を円筒モデルに反映して、体型情報を生成することができる。

情報処理装置１００は、ＳＣＡＰＥモデルのように、人体の表面まで詳細に定義する体型情報と異なり、円筒モデルで被写体の体型情報を生成する。このため、ＳＣＡＰＥモデルと比較して、計算コストを抑えて、精度のよい円筒モデルを生成することができる。そして、情報処理装置１００は、円筒モデルを用いることで、高速に骨格認識をすることができる。

情報処理装置１００は、同一の被写体について、複数の姿勢識別情報に対応する点群データを用いてパラメータを特定する場合、前回の姿勢識別情報で特定したフィッテイング収束条件を満たす円筒モデルデータのパラメータを、今回パラメータ算出時の初期値として使用する。これによって、様々な姿勢に対応した点群データを用いて、パラメータを探索でき、パラメータの精度をより高めることができる。

なお、情報処理装置１００は、同一の被写体の異なる複数の姿勢識別情報の各パラメータの平均値を、被写体のパラメータとして特定してもよい。

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１１は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、深度画像情報を生成する深度センサ２０４と、有線または無線ネットワークを介して、外部装置との間でデータの授受を行うインタフェース装置２０５とを有する。コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、変換プログラム２０７ｂ、生成プログラム２０７ｃ、出力プログラム２０７ｄを有する。ＣＰＵ２０１は、取得プログラム２０７ａ、変換プログラム２０７ｂ、生成プログラム２０７ｃ、出力プログラム２０７ｄを読み出してＲＡＭ２０６に展開する。

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。変換プログラム２０７ｂは、変換プロセス２０６ｂとして機能する。生成プログラム２０７ｃは、生成プロセス２０６ｃとして機能する。出力プログラム２０７ｄは、出力プロセス２０６ｄとして機能する。

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。変換プロセス２０６ｂの処理は、変換部１５２の処理に対応する。生成プロセス２０６ｃの処理は、生成部１５３の処理に対応する。出力プロセス２０６ｄの処理は、出力制御部１５４の処理に対応する。

なお、各プログラム２０７ａ～２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしてもよい。

２０ａ，２０ｂ深度センサ
４０円筒モデルデータ
１００情報処理装置
１１０通信部
１２０入力部
１３０表示部
１４０記憶部
１４１深度画像テーブル
１４２円筒モデルデータテーブル
１５０制御部
１５１取得部
１５２変換部
１５３生成部
１５４出力制御部

Claims

コンピュータが実行する生成方法であって、
被写体の３次元の位置情報を得るセンサの計測結果から、前記被写体の表面上の３次元点群データを取得し、
前記３次元点群データを基にして、人体の各部位を複数の円筒で表現した円筒モデルの姿勢を決定し、
前記複数の円筒について、前記円筒の長さ、前記円筒の太さ、前記円筒の軸と隣接する円筒の軸との角度のうち、前記角度に関する第１のパラメータを変化させ、前記第１のパラメータを変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第１最適解となるまで繰り返し実行し、
前記評価関数の値が前記第１最適解となった後に、前記円筒の長さおよび前記円筒の太さに関する第２のパラメータを変化させ、前記第２のパラメータを変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第２最適解となるまで繰り返し、
前記評価関数の値が前記第１最適解および前記第２最適解を満たしたときの前記第２のパラメータを有する円筒モデルを生成し、
前記円筒モデルと前記被写体を識別する情報とを対応付けて記憶する
処理を実行することを特徴とする生成方法。
前記評価関数の値が第１最適解となるまで繰り返し実行する処理は、前記複数の円筒について、前記角度を変化させ、前記角度を変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第１最適解となるまで繰り返し実行することを特徴とする請求項１に記載の生成方法。
前記評価関数の値が第２最適解となるまで繰り返し実行する処理は、前記評価関数の値が第１最適解となった後に、前記複数の円筒について、前記円筒の長さおよび前記円筒の太さを変化させ、前記円筒の長さおよび前記円筒の太さを変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第２最適解となるまで繰り返し実行することを特徴とする請求項２に記載の生成方法。
前記取得する処理は、同一の被写体について、異なる姿勢の複数の３次元点群データを取得し、前記評価関数の値が第２最適解となるまで繰り返し実行する処理は、前記複数の３次元点群データのうち、第１の３次元点群データを基にして、前記評価関数の値が第１最適解となる第１のパラメータを特定された後に、第２の３次元点群データを基にして、前記第１のパラメータを変化させ、前記評価関数の値が第２最適解となる第２のパラメータを特定することを特徴とする請求項１、２または３に記載の生成方法。
コンピュータに、
被写体の３次元の位置情報を得るセンサの計測結果から、前記被写体の表面上の３次元点群データを取得し、
前記３次元点群データを基にして、人体の各部位を複数の円筒で表現した円筒モデルの姿勢を決定し、
前記複数の円筒について、前記円筒の長さ、前記円筒の太さ、前記円筒の軸と隣接する円筒の軸との角度のうち、前記角度に関する第１のパラメータを変化させ、前記第１のパラメータを変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第１最適解となるまで繰り返し実行し、
前記評価関数の値が前記第１最適解となった後に、前記円筒の長さおよび前記円筒の太さに関する第２のパラメータを変化させ、前記第２のパラメータを変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第２最適解となるまで繰り返し、
前記評価関数の値が前記第１最適解および前記第２最適解を満たしたときの前記第２のパラメータを有する円筒モデルを生成し、
前記円筒モデルと前記被写体を識別する情報とを対応付けて記憶する
処理を実行させることを特徴とする生成プログラム。
被写体の３次元の位置情報を得るセンサの計測結果から、前記被写体の表面上の３次元点群データを取得する取得部と、
前記３次元点群データを基にして、人体の各部位を複数の円筒で表現した円筒モデルの姿勢を決定し、前記複数の円筒について、前記円筒の長さ、前記円筒の太さ、前記円筒の軸と隣接する円筒の軸との角度のうち、前記角度に関する第１のパラメータを変化させ、前記第１のパラメータを変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第１最適解となるまで繰り返し実行し、
前記評価関数の値が前記第１最適解となった後に、前記円筒の長さおよび前記円筒の太さに関する第２のパラメータを変化させ、前記第２のパラメータを変化させた前記円筒モデルと前記３次元点群データとの合致具合を評価する評価関数の値を算出する処理を、前記評価関数の値が第２最適解となるまで繰り返し、前記評価関数の値が前記第１最適解および前記第２最適解を満たしたときの前記第２のパラメータを有する円筒モデルを生成し、前記円筒モデルと前記被写体を識別する情報とを対応付けて記憶する生成部と
を有することを特徴とする情報処理装置。