JP7375829B2

JP7375829B2 - 生成方法、生成プログラム及び情報処理システム

Info

Publication number: JP7375829B2
Application number: JP2021563516A
Authority: JP
Inventors: 亮村上
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2023-11-08
Anticipated expiration: 2039-12-11
Also published as: EP4075377A1; US20220270408A1; WO2021117165A1; CN114730497A; EP4075377A4; JPWO2021117165A1

Description

本発明は、生成方法等に関する。

センサでセンシングした被写体の測定結果に対して骨格認識を行い、各関節位置から得られる３Ｄモデルを表示することで、競技の採点支援や、各種のトレーニング支援等が行われている。骨格認識は、被写体の各関節位置を決定するものである。

骨格認識の手法一つとして、フィッティング処理がある。図１４は、フィッティング処理を説明するための図である。図１４に示すように、フィッティング処理では、深度センサの測定結果から得られる点群データ１ａに対して、被写体の体型をモデル化した円筒モデルデータ１ｂを当てはめる。たとえば、フィッティング処理の結果となる円筒モデルデータ１ｂの各円筒の軸を結んだものが骨格モデル１ｃとなり、骨格モデル１ｃを用いて、被写体の各関節の位置を推定することができる。

国際公開第２０１８／２０７２９２号

M.Ye and R.Yang,"Real-time Simultaneous Pose and Shape Estimation for Articulated Objects Using a Single Depth Camera" in CVPR (2014)

しかしながら、点群データにノイズが含まれている状態で、フィッティング処理を実行すると、被写体由来の点群ではなく、ノイズ由来の点群に、円筒モデルデータを当てはめてしまう場合がある。

図１５は、従来技術の問題を説明するための図である。図１５に示す例では、点群データ１ａにノイズ２が含まれている。ノイズ２が含まれている状態で、フィッティング処理を行うと、円筒モデルデータ１ｂの一部の円筒３をノイズ２に当てしまう場合がある。たとえば、フィッティング処理を実行する場合に、山登り法を用いると、中間過程において、尤度が悪くなることを許容しないため、一旦ノイズ２側に引っ張られると、結果的にノイズ２側に円筒３が当てはまってしまう。このように、円筒３がノイズ２に当てはめられると、骨格認識結果の精度が低下する。

１つの側面では、本発明は、ノイズによる誤った当てはめに由来する骨格認識結果の精度低下を防ぐことができる生成方法、生成プログラム及び情報処理システムを提供することを目的とする。

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、被写体を３次元計測する３Ｄセンサの計測結果を基にして、３次元点群データを取得する。コンピュータは、３次元点群データに対して、人体の各部位を複数の円筒で表現した円筒モデルを当てはめた結果を基にして、測定結果におけるノイズの影響を、部位ごとに評価する。コンピュータは、ノイズの影響が所定以上と判断された部位に対応する円筒モデル周辺の点群を３次元点群データから除外し、点群を除外した３次元点群データに対して、円筒モデルを再度当てはめる処理を繰り返し実行する。コンピュータは、部位ごとのノイズの影響が所定未満となった場合の３次元点群データに対して円筒モデルの当てはめた結果を基にして、被写体の骨格認識結果を生成し、骨格認識結果を出力する。

ノイズによる誤った当てはめに由来する骨格認識結果の精度低下を防ぐことができる。

図１は、本実施例に係る情報処理システムの処理の一例を説明するための図である。図２は、本実施例に係る情報処理システムの一例を示す図である。図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図４は、円筒モデルデータのデータ構造の一例を示す図である。図５は、円筒と部位識別情報との対応関係を示す図である。図６は、円筒のパラメータの一例を示す図である。図７は、ノイズの影響を評価する処理を説明するための図である。図８は、フィッティング処理部の処理の一例を説明するための図である。図９は、画面情報の一例を示す図である。図１０は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１１は、ノイズ評価処理の処理手順を示すフローチャートである。図１２は、フィッティング処理の処理手順を示すフローチャートである。図１３は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。図１４は、フィッティング処理を説明するための図である。図１５は、従来技術の問題を説明するための図である。

以下に、本願の開示する生成方法、生成プログラム及び情報処理システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る情報処理システムの処理の一例を説明するための図である。本実施例に係る情報処理システムは、センサ１０を用いて、被写体５の距離画像データを計測する。距離画像データは、被写体５の表面上の各点（画素）と、センサ１０との距離をそれぞれ含むデータである。距離画像データは、情報処理装置によって、３次元点群データ５ａに変換される。３次元点群データ５ａは、被写体５の表面上の点群について、各点の３次元座標を示すデータである。

情報処理装置は、３次元点群データ５ａに対して、被写体５の円筒モデルデータ４０を当てはめるフィッティング処理を実行する。円筒モデルデータ４０は、被写体５の各部位の長さや太さを、複数の円筒の半径と長さで近似して表現したモデルである。

情報処理装置は、フィッティング処理の結果を基にして、ノイズの影響を評価する。たとえば、ノイズの影響を評価する処理は、円筒モデルデータ４０の各円筒について、円筒周辺の点群に含まれる点の数をカウントし、カウントした点の数が期待未満（所定数未満）であるか否かを特定する処理である。情報処理装置は、いずれかの円筒周辺の点の数が期待未満である場合に、ノイズの影響が一定以上であると評価する。所定数は、部位ごとに設定される値である。例えば、所定数は、各部位の円筒の表面積と解像度とに基づき設定される。

図１に示す例では、円筒モデルデータ４０に含まれる円筒７において、円筒７の周辺の点の数が期待未満であるため、情報処理装置は、ノイズの影響が一定以上であると評価する。情報処理装置は、ノイズの影響が一定以上であると評価した場合、ノイズの影響を受ける円筒周辺の点群を除外し、再度、フィッティング処理を実行する。図１に示す例では、情報処理装置は、円筒７の周辺の点群を除外し、再度、フィッティング処理を実行する。

情報処理装置は、ノイズの影響が一定未満となるまで、ノイズの影響を受ける円筒周辺の点群を除外して、フィッティング処理を繰り返し実行し、最終的な円筒モデルデータ４０の姿勢を特定する。そして、情報処理装置は、最終的な円筒モデルデータ４０の姿勢に基づく骨格モデルデータ６を特定する。骨格モデルデータ６は、被写体５の骨格認識結果に対応する。

ここで、円筒周辺の点の数とノイズの影響との関係について、説明する。ノイズには種々の原因に起因するノイズがあるが、たとえば、エッジノイズを考える。エッジノイズとは、被写体輪郭にレーザー光がかすった結果、本来の被写体の輪郭位置で観測されるべき点が、被写体に対応する点群からセンサとは逆側に離れた位置に、たなびいたように、観測されることで発生するノイズである。一定以上の照射面積を有する被写体の場合、被写体に照射されたレーザー光での観測結果に対応する点群（被写体由来の点群）の密度と比較して、エッジノイズを含めノイズは、点群の密度が低い。そこで、仮に、フィッティング処理の結果、ノイズ由来の点群に誤って当てはめられた場合は、円筒の周囲の点の数は、被写体由来の点群に当てはめられた場合と比較して、少なくなる。したがって、円筒の周囲の点の数が、所定数よりも少ない場合、ノイズ由来の点群に当てはめを行ってしまったことがわかるとともに、さらにそのノイズ由来の点群を除去することで、ノイズの影響を低減させた３次元点群データに更新することができる。さらに、３次元点群データの更新と、更新した３次元点群データを用いたフィッティング処理とを繰り返すことで、本実施では、ノイズ由来の点群を順次除去することができる。また、本実施例は、ノイズ由来の点群を除去することでノイズの影響を低減させながら、最終的に、ノイズによる誤った当てはめに由来する骨格認識結果の精度低下を防ぐことができる。

図２は、本実施例に係る情報処理システムの一例を示す図である。図２に示すように、この情報処理システムは、センサ１０と、情報処理装置１００とを有する。センサ１０は、有線または無線によって、情報処理装置１００に接続される。

センサ１０は、被写体５の距離画像データを計測する深度センサである。センサ１０は、距離画像データを、所定のＦＰＳ（Frames Per Second）で、情報処理装置１００に出力する。

情報処理装置１００は、図１で説明したように、ノイズの影響が一定未満となるまで、ノイズの影響を受ける円筒周辺の点群を除外して、フィッティング処理を繰り返し実行し、最終的なフィッティング処理の結果から骨格モデルデータを特定する。

情報処理装置１００は、センサ１０から距離画像データを取得する度に、骨格モデルデータを特定する処理を繰り返し実行する。情報処理装置１００は、時系列の骨格モデルデータを基にして、被写体５の動きを認識する。たとえば、動きとして、採点競技における演技に含まれる技を認識し、認識結果や演技のスコアなどを含む画面情報を生成して表示する。

本実施例では一例として、被写体５を、体操演技を行う競技者として説明を行うがこれに限定されるものではなく、他の採点競技にも適用可能である。他の採点競技には、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。

図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図３に示すように、この情報処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、ネットワークを介して、センサ１０等の外部装置とデータ通信を実行する処理部である。後述する制御部１５０は、通信部１１０を介して、外部装置とデータをやり取りする。通信部１１０は、通信装置の一例である。

入力部１２０は、各種の情報を情報処理装置１００の制御部１５０に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、入力部１２０を操作して、画面情報の表示要求等を行う。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等の画面情報を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、円筒モデルデータ４０と、距離画像テーブル１４１と、骨格モデルテーブル１４２とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

円筒モデルデータ４０は、人体（被写体）の部位を円筒で表現したモデルのデータである。図４は、円筒モデルデータのデータ構造の一例を示す図である。図４に示すように、円筒モデルデータ４０は、部位識別情報と、パラメータとを対応付ける。部位識別情報は、円筒モデルに含まれる各円筒を識別する情報である。パラメータは、部位識別情報によって識別される円筒のパラメータを示すものである。円筒のパラメータは、円筒の長さと、円筒の半径などを含む。測定対象の被写体ごとに、異なる円筒モデルデータが準備されてもよい。

図５は、円筒と部位識別情報との対応関係を示す図である。図５に示すように、各部位識別情報Ｍｄ１～Ｍｄ１４は、円筒モデルデータ４０の各部位にそれぞれ対応付けられる。図４に示した部位識別情報Ｍｄ１～Ｍｄ１４は、図５に示した部位識別情報Ｍｄ１～Ｍｄ１４に対応する。

図６は、円筒のパラメータの一例を示す図である。図６では、複数の円筒Ｍｄ１～Ｍｄ１１のうち、ある一つの円筒を示す。円筒のパラメータは、円筒の高さｌと、円筒の半径ｒとを含む。円筒の半径ｒは、円筒の太さに対応する。

図３の説明に戻る。距離画像テーブル１４１は、センサ１０に計測される距離画像データを時系列に格納するテーブルである。

骨格モデルテーブル１４２は、図１で説明した骨格モデルデータを時系列に格納するテーブルである。

制御部１５０は、取得部１５１と、フィッティング処理部１５２と、生成部１５３と、技認識部１５４とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

取得部１５１は、センサ１０から距離画像データを取得する処理部である。取得部１５１は、センサ１０から距離画像データを距離画像テーブル１４１に登録する。

取得部１５１は、変換テーブル（図示略）を基にして、距離画像データを、３次元点群データに変換する。変換テーブルは、距離画像データの画素の位置および距離と、３次元座標との関係を定義したテーブルである。取得部１５１は、３次元点群データを、フィッティング処理部１５２に出力する。

取得部１５１は、センサ１０から距離画像データを取得する度に、上記処理を繰り返し実行する。

フィッティング処理部１５２は、３次元点群データに対して、円筒モデルデータ４０をフィッティングした結果を基にして、ノイズの影響を評価する。フィッティング処理部１５２は、ノイズの影響が一定未満となるまで、円筒モデルデータ４０周辺の点群を３次元点群データから除外し、点群を除外した３次元点群データに対して、円筒モデルデータ４０を再度当てはめる処理を繰り返し実行する。フィッティング処理部１５２は、ノイズの影響が一定未満となった場合の最終的なフィッティング結果のデータを、生成部１５３に出力する。

ここで、フィッティング処理部１５２は、パラメータの初期値を特定する処理、ＥＭ（Expectation Maximization）アルゴリズムを用いて、パラメータを算出する処理、ノイズの影響を評価する処理を実行する。「パラメータ」は、円筒モデルデータ４０の各円筒をつなぐ各関節角度を示すものである。

フィッティング処理部１５２が、パラメータの初期値を特定する処理の一例について説明する。フィッティング処理部１５２は、ｎ番目の３次元点群データのパラメータの初期値として、ｎ－１番目の３次元点群データに対するフィッティング処理の結果を用いる。

フィッティング処理部１５２は、ｎ－１番目の３次元点群データに対するフィッティング処理の結果が存在しない場合には、次の処理を実行する。フィッティング処理部１５２は、円筒モデルデータ４０の重心と、３次元点群データの重心とを合わせ込み、予め定められた複数のパラメータについて、円筒モデルデータ４０と、３次元点群データとの一致度を算出し、最も一致度の高いパラメータを、初期値として用いてもよい。

また、フィッティング処理部１５２は、３次元点群データを幾何モデルに入力して、パラメータの初期値を算出してもよい。幾何モデルを用いて初期値を算出する手法は、国際公開第２０１８／２０７２９２号に開示された手法を用いてもよい。

続いて、フィッティング処理部１５２が、ＥＭアルゴリズムを用いて、パラメータを算出する処理の一例について説明する。フィッティング処理部１５２は、初期姿勢の円筒モデルデータ４０と、３次元点群データとを比較して、点群の事後分布ｐ_ｎｍを算出する。初期姿勢の円筒モデルデータ４０は、初期値を、円筒モデルデータ４０に設定したものである。

事後分布ｐ_ｎｍは、式（１）によって定義される。式（１）に含まれる「ｎ」は、点群フレームに含まれる点を示すものであり、点群フレームに点がｎ_ａ個含まれている場合、ｎ＝１～ｎ_ａとなる。Ｍは、円筒モデルデータ１４３の各円筒（部位）を示すものであり、図４で示したように、各部位識別情報Ｍｄ１～Ｍｄ１４により識別される部位が１４個存在する場合、ｍ＝１～１４（Ｍｄ１～Ｍｄ１４）となる。

式（１）に含まれるε_ｍは、表面残差を示すものであり、ガウス分布であることが仮定される。表面残差は、点群と、ｍ番目の円筒の表面との垂直な方向の差を示す。たとえば、１番目の円筒は、部位識別番号Ｍｄ１の円筒を示す。表面残差ε_ｍは、ｘ_ｎ、σ^２により特定される。ｘ_ｎは、ｎ番目の点の３次元座標を示す。σは、点群フレームに含まれる点群の３次元座標の分散を示す。

フィッティング処理部１５２は、事後分布ｐ_ｎｍを算出した後に、式（２）で定義される評価関数Ｑを更新する。式（２）において、Ｐは、ｐ_ｎｍの総和を示す。

フィッティング処理部１５２は、Levenberg-Marquardt（ＬＭ）法を用いて、評価関数Ｑの尤度が最小となるような円筒パラメータの変化量Δθを算出する。たとえば、フィッティング処理部１５２は、式（３）、式（４）に基づいて、変化量Δθを算出する。フィッティング処理部１５２は、ＬＭ法に限らず、ランダムに変化量Δθを生成してもよい。

フィッティング処理部１５２は、所定の収束条件を満たすまで、変化量Δθを生成し、パラメータを更新して、評価関数Ｑの尤度を算出する処理を繰り返し実行する。たとえば、フィッティング処理部１５２は、変化量Δθが所定の変化量未満となる場合、評価関数Ｑの尤度が閾値未満となった場合に、収束条件を満たすと判定してもよい。収束条件を満たすパラメータ（姿勢）の円筒モデルデータ４０を、「フィッティング処理結果の円筒モデルデータ４０」と表記する。

続いて、フィッティング処理部１５２が、ノイズの影響を評価する処理の一例について説明する。フィッティング処理部１５２は、フィッティング処理結果の円筒モデルデータ４０の部位を選択し、選択した部位について、ノイズの影響を評価する。

図７は、ノイズの影響を評価する処理を説明するための図である。図７では一例として、部位識別情報「Ｍｄ１３」の円筒を用いて説明を行う。フィッティング処理部１５２は、円筒周辺Ａ１３の点群に含まれる点の数をカウントする。ここで、ある円筒の円筒周辺は、円筒の表面から、所定の範囲を示す。たとえば、所定の範囲は、円筒の表面からｒ／１０までの範囲である。ｒは、円筒の半径を示す。たとえば、円筒Ｍｄ１３の円筒周辺Ａ１３は、円筒Ｍｄ１３の表面から、ｒ_Ｍｄ１３／１０までの範囲を示す。ｒ_Ｍｄ１３は、円筒Ｍｄ１３の半径を示す。

フィッティング処理部１５２は、カウントした点の数が所定数未満である場合、ノイズの影響が一定以上であると評価する。フィッティング処理部１５２は、カウントした点の数が所定数未満である場合、円筒周辺の点群を、ノイズとして取り扱う。

一方、フィッティング処理部１５２は、カウントした点の数が所定数以上である場合、ノイズの影響が一定未満であると評価する。フィッティング処理部１５２は、カウントした点の数が所定数以上である場合、円筒周辺の点群を、被写体５に由来する点群として取り扱う。

フィッティング処理部１５２は、ノイズの影響が一定以上であると評価した場合には、円筒周辺Ａ１３に含まれる点群を除外する。フィッティング処理部１５２は、円筒Ｍｄ１３以外の部位についても、ノイズの影響を評価し、ノイズの影響が一定以上である場合には、円筒周辺の点群を除外する。一方、フィッティング処理部１５２は、ノイズの影響が一定未満である場合には、選択した円筒の円筒周辺から、点群を除外しない。

フィッティング処理部１５２は、上記処理を実行することで、フィッティング処理の対象となる３次元点群データを更新する。フィッティング処理部１５２は、更新した３次元点群データに対して、初期値を特定する処理、パラメータを算出する処理、ノイズの影響を評価する処理を、全ての部位について、ノイズの影響が一定未満となるまで、繰り返し実行する。

図８は、フィッティング処理部の処理の一例を説明するための図である。図８では一例として、部位識別情報「Ｍｄ９、Ｍｄ１３」の円筒を用いて説明を行う。フィッティング処理部１５２は、円筒Ｍｄ９について、ノイズの影響が一定以上であると評価し、円筒Ｍｄ９の円筒周辺の点群を除外する。フィッティング処理部１５２は、円筒Ｍｄ１３について、ノイズの影響が一定以上であると評価し、円筒Ｍｄ１３の円筒周辺の点群を除外する。これにより、３次元点群データから、円筒Ｍｄ９，Ｍｄ１３の円筒周辺の点群が除外される（ステップＳ１０）。

フィッティング処理部１５２は、ステップＳ１０において、円筒Ｍｄ９，Ｍｄ１３の円筒周辺の点群が除外された３次元点群データに対して、初期値を特定し、パラメータを算出する処理を実行し、フィッティング処理結果の円筒モデルデータ４０を得る。フィッティング処理部１５２は、円筒Ｍｄ９について、ノイズの影響が一定以上であると評価し、円筒Ｍｄ９の円筒周辺の点群を除外する。フィッティング処理部１５２は、円筒Ｍｄ１３について、ノイズの影響が一定以上であると評価し、円筒Ｍｄ１３の円筒周辺の点群を除外する。これにより、３次元点群データから、円筒Ｍｄ９，Ｍｄ１３の円筒周辺の点群が除外される（ステップＳ１１）。

フィッティング処理部１５２は、ステップＳ１１において、円筒Ｍｄ９，Ｍｄ１３の円筒周辺の点群が除外された３次元点群データに対して、初期値を特定し、パラメータを算出する処理を実行し、フィッティング処理結果の円筒モデルデータ４０を得る。フィッティング処理部１５２は、円筒Ｍｄ９について、ノイズの影響が一定未満であると評価する。フィッティング処理部１５２は、円筒Ｍｄ１３について、ノイズの影響が一定未満であると評価する。これにより、円筒モデルデータ４０の最終的なパラメータが特定される（ステップＳ１２）。

フィッティング処理部１５２は、先に実施したフィッティング処理結果に対するノイズの影響が一定未満となるまで、上記処理を実行することで、円筒モデルデータ４０の最終的なパラメータを特定する。フィッティング処理部１５２は、最終的なパラメータを、生成部１５３に出力する。

図３の説明に移行する。生成部１５３は、円筒モデルデータ４０の最終的なパラメータを基にして、骨格モデルデータを生成する処理部である。生成部１５３は、フィッティング処理部１５２から取得する最終的なパラメータを円筒モデルデータ４０に設定することで、最終的な円筒モデルデータ４０の姿勢を特定する。生成部１５３は、円筒モデルデータ４０の各円筒の軸を接続した、骨格モデルデータを特定する。生成部１５３が特定する骨格モデルデータは、図１で説明した骨格モデルデータ６に対応する。骨格モデルデータには、各関節の座標のデータが含まれる。生成部１５３は、骨格モデルデータを、骨格モデルテーブル１４２に格納する。

生成部１５３は、フィッティング処理部１５２から、最終的なパラメータを取得する度に、上記処理を繰り返し実行する。

技認識部１５４は、骨格モデルテーブル１４２の各骨格モデルデータを取得し、連続する骨格モデルデータを基にして、各関節座標の時系列変化を特定する。技認識部１５４は、各関節位置の時系列変化と、技認識テーブル（図示略）とを比較して、技の種別を特定する。また、技認識部１５４は、技の種別の組み合わせと、技認識テーブルとを比較して、被写体５の演技のスコアを算出する。

たとえば、技認識テーブルは、各骨格認識結果に含まれる各関節位置の時系列変化と、技の種別とを対応付けるテーブルである。また、技認識テーブルは、技の種別の組み合わせと、スコアとを対応付ける。スコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。たとえば、Ｄスコアは、技の成立不成立に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法により算出されるスコアである。

技認識部１５４は、演技に含まれる技の種別、演技のスコア、演技の開始から終了までの骨格モデルデータ等を、画面情報出力制御部１５５に出力する。

画面情報出力制御部１５５は、演技のスコアと、演技の開始から終了までの骨格モデルデータとを基にして、画面情報を生成する。画面情報出力制御部１５５は、生成した画面情報を、表示部１３０に出力して表示させる。

図９は、画面情報の一例を示す図である。図９に示すように、この画面情報６０には、領域６０ａ，６０ｂ，６０ｃが含まれる。領域６０ａは、被写体５が行った演技において、認識された技の種別を表示する領域である。技の種別に加えて、技の難度も表示してもよい。領域６０ｂは、演技のスコアを表示する領域である。領域６０ａは、演技の開始から終了までの骨格モデルデータに基づく３次元モデルをアニメーション表示する領域である。利用者は、入力部１２０を操作して、アニメーションの再生、停止等を指示する。

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図１０は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１０に示すように、情報処理装置１００の取得部１５１は、センサ１０から距離画像データを取得し、距離画像テーブル１４１に格納する（ステップＳ１０１）。取得部１５１は、距離画像データを、３次元点群データに変換する（ステップＳ１０２）。

情報処理装置１００のフィッティング処理部１５２は、ノイズ評価処理を実行する（ステップＳ１０３）。情報処理装置１００の生成部１５３は、フィッティング処理の結果を基に、骨格モデルデータを生成し、骨格モデルテーブル１４２に格納する（ステップＳ１０４）。

情報処理装置１００は、演技が終了していない場合は（ステップＳ１０５，Ｎｏ）、ステップＳ１０１に再度移行する。一方、情報処理装置１００は、演技が終了した場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０６に移行する。

情報処理装置１００の技認識部１５４は、骨格モデルテーブル１４２を参照して、技認識を実行し、技の種別、演技のスコアを特定する（ステップＳ１０６）。情報処理装置１００の画面情報出力制御部１５５は、画面情報を生成する（ステップＳ１０７）。画面情報出力制御部１５５は、画面情報を表示部１３０に表示させる（ステップＳ１０８）。なお、本実施例では、演技が終了した時点で、技認識を実施することとしたが、これに限られない。たとえば、情報処理装置１００は、センサからの出力におうじて、順次、骨格認識を実施する。そして、情報処理装置１００は、順次実施された骨格認識結果のうちのまとまった単位の骨格認識結果を用いて、順次技認識を実施することとしても良い。さらに、技認識とは独立して、情報処理装置１００は、骨格認識結果を取得するたびに、対応する骨格モデルデータに基づく３次元モデルのアニメーションを生成して、画面に表示することとしても良い。

次に、図１０のステップＳ１０３に示したノイズ評価処理の処理手順について説明する。図１１は、ノイズ評価処理の処理手順を示すフローチャートである。図１１に示すように、情報処理装置１００のフィッティング処理部１５２は、フィッティング処理を実行する（ステップＳ２０１）。フィッティング処理についての詳細は後述する。

次に、フィッティング処理部１５２は、ｉに１を設定する（ステップＳ２０２）。フィッティング処理部１５２は、部位Ｍｄｉの円筒周辺の点群をカウントする（ステップＳ２０３）。フィッティング処理部１５２は、点群の数が所定数未満である場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０６に移行する。なお、所定数は、各円筒にそれぞれ設定された値である。

フィッティング処理部１５２は、点群の数が所定数未満である場合には（ステップＳ２０４，Ｙｅｓ）、ステップＳ２０５に移行する。フィッティング処理部１５２は、部位Ｍｄｉの周辺点群を除外する（ステップＳ２０５）。

フィッティング処理部１５２は、ｉの値が１４である場合には（ステップＳ２０６，Ｙｅｓ）、ステップＳ２０８に移行する。なお、本実施例では、部位の数が１４である例を示す。フィッティング処理部１５２は、ｉの値が１４でない場合には（ステップＳ２０６，Ｎｏ）、ステップＳ２０７に移行する。フィッティング処理部１５２は、ｉの値に１を加算し（ステップＳ２０７）、ステップＳ２０３に移行する。

フィッティング処理部１５２は、円筒周辺の点群が所定数未満となる部位が存在するか否かを判定する（ステップＳ２０８）。フィッティング処理部１５２は、部位が存在する場合には（ステップＳ２０９，Ｙｅｓ）、ステップＳ２０１に移行する。一方、フィッティング処理部１５２は、部位が存在しない場合には（ステップＳ２０９，Ｎｏ）、ステップＳ２１０に移行する。このように、フィッティング処理部１５２は、すべての部位について、ノイズの影響が一定未満となるまで、処理対象の３次元点群データを更新しながら、フィッティング処理を繰り返し実行する。具体的には、フィッティング処理部１５２は、先に実施したフィッティング結果において、ある部位に対応する円筒周辺の点群が所定数未満だった場合、先に実施したフィッティングはノイズの影響を受けていると判断する。すなわち、先に実施したフィッティングは、ノイズの影響を一定以上受けているため、再度フィッティングを実施する必要があると判断する。そして、フィッティング処理部１５２は、先のノイズ評価処理により一部の点群が削除された更新３次元点群データに対して、再度、フィッティング処理を実行する。このように、フィッティング処理部１５２は、各部位の円筒周辺の点群が所定数未満だった部位が存在しなくなったことをもって、先のフィッティング処理結果に対するノイズの影響が一定未満と判断する。

フィッティング処理部１５２は、フィッティング処理の結果を、生成部１５３に出力する（ステップＳ２１０）。

次に、図１１のステップＳ２０１に示したフィッティング処理の処理手順について説明する。図１２は、フィッティング処理の処理手順を示すフローチャートである。図１２に示すように、情報処理装置１００のフィッティング処理部１５２は、３次元点群データを取得する（ステップＳ３０１）。

フィッティング処理部１５２は、円筒モデルデータ４０の初期値を特定する（ステップＳ３０２）。フィッティング処理部１５２は、事前分布ｐ_ｎｍを算出する（ステップＳ３０３）。

フィッティング処理部１５２は、パラメータの変化量Δθを算出する（ステップＳ３０４）。フィッティング処理部１５２は、パラメータを更新（θ＝θ＋Δθ）する（ステップＳ３０５）。

フィッティング処理部１５２は、評価関数Ｑを用いて尤度を算出する（ステップＳ３０６）。フィッティング処理部１５２は、収束条件を満たさない場合には（ステップＳ３０７，Ｎｏ）、ステップＳ３０３に移行する。一方、フィッティング処理部１５２は、収束条件を満たす場合には（ステップＳ３０７，Ｙｅｓ）、ステップＳ３０８に移行する。

フィッティング処理部１５２は、フィッティングに成功したか否かを判定する（ステップＳ３０８）。たとえば、フィッティング処理部１５２は、事前分布ｐ_ｎｍの和が、予め設定される閾値以上であれば、フィッティングに成功したと判定する。

フィッティング処理部１５２は、フィッティングに成功していない場合には（ステップＳ３０８，Ｎｏ）、ステップＳ３０２に移行する。一方、フィッティング処理部１５２は、フィッティングに成功した場合には（ステップＳ３０８，Ｙｅｓ）、ステップＳ３０９に移行する。フィッティング処理部１５２は、フィッティング結果を出力する（ステップＳ３０９）。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、ノイズの影響が一定未満となるまで、ノイズの影響を受ける円筒周辺の点群を除外して、フィッティング処理を繰り返し実行し、最終的な円筒モデルデータ４０の姿勢を特定する。そして、情報処理装置は、最終的な円筒モデルデータ４０の姿勢に基づく骨格モデルデータ６ａを特定する。これによって、ノイズによる誤った当てはめに由来する骨格モデルデータの精度低下を防ぐことができる。

たとえば、図１５で説明した例では、センサの反対方向に、ノイズが一定の割合で出現しており、ノイズによる誤差が１０ｃｍ程度であった。これに対して、情報処理装置１００が上記の処理を実行することで、ノイズが除去され、ノイズによる誤差が１ｃｍ程度に低減された。

情報処理装置１００は、円筒周辺の点群に含まれる点の数をカウントし、点の数が所定数以上となるまで、円筒モデルデータ４０を再度当てはめる処理を繰り返し実行する。これによって、３次元点群データに含まれるノイズに由来する点群を除外することができる。また、ノイズに由来する点群を除外した３次元点群データに円筒モデルデータを当てはめることで、ノイズに円筒モデルデータ４０の一部が割り当てられることを抑止することができる。

ところで、上述した情報処理装置１００の処理は一例であり、情報処理装置１００は他の処理を実行してもよい。たとえば、情報処理装置１００のフィッティング処理部１５２は、円筒周辺の範囲を「円筒表面からｒ／１０までの範囲」に固定して、円筒周辺に含まれる点群の数（点群に含まれる点の数）をカウントし、ノイズの影響が一定以上である場合に、円筒周辺に含まれる点群を除外していたが、これに限定されるものでは無い。

フィッティング処理部１５２は、円筒周辺の範囲を徐々に大きくしてもよい。フィッティング処理部１５２は、ある部位を選択し、選択した部位について、１回目のノイズの影響を評価する場合に、円筒周辺の範囲を、円筒表面からｒ／１０にする。フィッティング処理部１５２は、２回目のノイズの影響を評価する場合に、円筒周辺の範囲を、円筒表面からｒ／９にする。フィッティング処理部１５２は、３回目以降のノイズの影響を評価する場合に、円筒周辺の範囲を、円筒表面からｒ／８にする。

このように、フィッティング処理部１５２は、円筒周辺の範囲を徐々に大きくすることで、３次元点群データから除外する点群の数を徐々に大きくすることができる。

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１３は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、センサから測定結果を受信する通信装置２０４と、各種の装置と接続するインタフェース装置２０５とを有する。コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、フィッティング処理プログラム２０７ｂ、生成プログラム２０７ｃ、技認識プログラム２０７ｄ、画面情報出力制御プログラム２０７ｅを有する。ＣＰＵ２０１は、取得プログラム２０７ａ、フィッティング処理プログラム２０７ｂ、生成プログラム２０７ｃ、技認識プログラム２０７ｄ、画面情報出力制御プログラム２０７ｅを読み出してＲＡＭ２０６に展開する。

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。フィッティング処理プログラム２０７ｂは、フィッティング処理プロセス２０６ｂとして機能する。生成プログラム２０７ｃは、生成プロセス２０６ｃとして機能する。技認識プログラム２０７ｄは、技認識プロセス２０６ｄとして機能する。画面情報出力制御プログラム２０７ｅは、画面情報出力制御プロセス２０６ｅとして機能する。

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。フィッティング処理プロセス２０６ｂの処理は、フィッティング処理部１５２の処理に対応する。生成プロセスの処理は、生成部１５３の処理に対応する。技認識プロセス２０６ａの処理は、技認識部１５４の処理に対応する。画面情報出力制御プロセス２０６ｅの処理は、画面情報出力制御部１５５の処理に対応する。

なお、各プログラム２０７ａ～２０７ｅについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｅを読み出して実行するようにしてもよい。

１０センサ
４０円筒モデルデータ
１００情報処理装置
１１０通信部
１２０入力部
１３０表示部
１４０記憶部
１４１距離画像テーブル
１４２骨格モデルテーブル
１５１取得部
１５２フィッティング処理部
１５３生成部
１５４技認識部
１５５画面情報出力制御部

Claims

コンピュータが実行する生成方法であって、
被写体を３次元計測する３Ｄセンサの計測結果を基にして、３次元点群データを取得し、
前記３次元点群データに対して、人体の各部位を複数の円筒で表現した円筒モデルを当てはめた結果を基にして、前記計測結果におけるノイズの影響を、前記部位ごとに評価し、
前記ノイズの影響が所定以上と判断された部位に対応する円筒モデルの表面から所定の範囲の点群を前記３次元点群データから除外し、前記点群を除外した３次元点群データに対して、前記円筒モデルを再度当てはめる処理を繰り返し実行し、
前記部位ごとの前記ノイズの影響が所定未満となった場合の前記３次元点群データに対して前記円筒モデルの当てはめた結果を基にして、前記被写体の骨格認識結果を生成し、
前記骨格認識結果を出力する
処理を実行することを特徴とする生成方法。
前記ノイズの影響を評価する処理は、前記３次元点群データに対して当てはめられた前記円筒モデルの表面から所定の範囲の点群に含まれる点の数を、前記部位ごとにカウントし、前記円筒モデルを当てはめる処理は、前記点の数が前記部位ごとに設定された所定数以上となるまで、前記円筒モデルを再度当てはめる処理を繰り返し実行することを特徴とする請求項１に記載の生成方法。
前記ノイズの影響を評価する処理は、前記３次元点群データに前記円筒モデルが再度当てはめられる度に、前記円筒モデルの表面からの前記所定の範囲を大きくすることを特徴とする請求項１または２に記載の生成方法。
コンピュータに、
被写体を３次元計測する３Ｄセンサの計測結果を基にして、３次元点群データを取得し、
前記３次元点群データに対して、人体の各部位を複数の円筒で表現した円筒モデルを当てはめた結果を基にして、前記計測結果におけるノイズの影響を、前記部位ごとに評価し、
前記ノイズの影響が所定以上と判断された部位に対応する円筒モデルの表面から所定の範囲の点群を前記３次元点群データから除外し、前記点群を除外した３次元点群データに対して、前記円筒モデルを再度当てはめる処理を繰り返し実行し、
前記部位ごとの前記ノイズの影響が所定未満となった場合の前記３次元点群データに対して前記円筒モデルの当てはめた結果を基にして、前記被写体の骨格認識結果を生成し、
前記骨格認識結果を出力する
処理を実行させることを特徴とする生成プログラム。
被写体を３次元計測する３Ｄセンサと、情報処理装置とを有する情報処理システムであって、
前記３Ｄセンサは、センシングした計測結果を、前記情報処理装置に出力し、
前記情報処理装置は、
前記計測結果を基にして、３次元点群データを取得する取得部と、
前記３次元点群データに対して、人体の各部位を複数の円筒で表現した円筒モデルを当てはめた結果を基にして、前記計測結果におけるノイズの影響を、前記部位ごとに評価し、前記ノイズの影響が所定以上と判断された部位に対応する円筒モデルの表面から所定の範囲の点群を前記３次元点群データから除外し、前記点群を除外した３次元点群データに対して、前記円筒モデルを再度当てはめる処理を繰り返し実行するフィッティング処理部と、
前記部位ごとの前記ノイズの影響が所定未満となった場合の前記３次元点群データに対する前記円筒モデルの当てはめた結果を基にして、前記被写体の骨格認識結果を生成し、前記骨格認識結果を出力する生成部と
を有することを特徴とする情報処理システム。