JP2024097252A - 姿勢認識システム及び姿勢認識方法 - Google Patents

Abstract

【課題】高精度な姿勢推定を実現すること。【解決手段】対象者の姿勢を認識する姿勢認識システム１５０は、前記対象者に装着されたセンサである姿勢センサ１１１のセンシング結果に基づいて、前記対象者の姿勢を推定する第１姿勢推定部としてのセンサ姿勢推定部１５２と、前記対象者を撮影した画像に基づいて、前記対象者の姿勢を推定する第２姿勢推定部としてのカメラ姿勢推定部１５３と、前記第２姿勢推定部による推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定部としての姿勢信頼度推定部１５４と、前記第２推定結果及び前記第２信頼度に基づいて、前記第１姿勢推定部による推定結果である第１推定結果を補正する補正部としてのセンサ姿勢補正部１５５とを備える。【選択図】図１

Description

本発明は、姿勢認識システム及び姿勢認識方法に関する。

従来、対象者の姿勢を認識するため、ＷＯ２０２１／０７５００４（特許文献１）に記載の技術がある。この公報には、「複数のセンサから各センサが取り付けられた装着部位の移動加速度及び姿勢角速度の情報を少なくとも取得し、当該取得した移動加速度及び姿勢角速度の情報に基づいて、センサの各々が取り付けられた装着部位の所定の座標系内での移動速度を推定する。そして予め定められた対象者の各部位の位置を、上記推定された各装着部位の移動速度の情報に基づいて推定する。」という記載がある。また、この公報には、「基準部位のノードのうち、その位置及び姿勢が、センサデバイス２０をカメラＣが撮像した画像等から直接的に取得できたノードあるいは、当該直接的に取得した情報から推定できたノードについては、当該取得あるいは推定した情報により、その位置、姿勢情報、及び移動加速度を設定する。」という記載がある。

ＷＯ２０２１／０７５００４

加速度や角速度の検知結果を累積する構成では、時間経過と共に誤差が大きくなるという問題がある。上記の従来技術によれば、対象者に装着したセンサを撮像できた場合に、センサの位置、姿勢情報、及び移動加速度に反映させることができる。しかしながら、センサはカメラによる撮影に適したものとは限らない。姿勢の検知精度と対象者の動きやすさの観点からは、小さく目立たないセンサを多数装着することが好適であるが、このようなセンサは画像内で特定することが困難である。
このため、高精度な姿勢推定には、センサを直接撮影できない場合でもセンサの誤差を補正することが求められる。

そこで、本発明では、センサを直接撮影できない場合でもセンサの誤差を補正し、高精度な姿勢推定を実現することを目的とする。

上記目的を達成するために、代表的な本発明の姿勢認識システムの一つは、対象者の姿勢を認識する姿勢認識システムであって、前記対象者に装着されたセンサのセンシング結果に基づいて、前記対象者の姿勢を推定する第１姿勢推定部と、前記対象者を撮影した画像に基づいて、前記対象者の姿勢を推定する第２姿勢推定部と、前記第２姿勢推定部による推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定部と、前記第２推定結果及び前記第２信頼度に基づいて、前記第１姿勢推定部による推定結果である第１推定結果を補正する補正部とを備えることを特徴とする。
また、代表的な本発明の姿勢認識方法の一つは、対象者の姿勢を認識する姿勢認識方法であって、コンピュータが、前記対象者に装着されたセンサのセンシング結果に基づいて、前記対象者の姿勢を推定する第１姿勢推定ステップと、前記対象者を撮影した画像に基づいて、前記対象者の姿勢を推定する第２姿勢推定ステップと、前記第２姿勢推定ステップによる推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定ステップと、前記第２推定結果及び前記第２信頼度に基づいて、前記第１姿勢推定ステップによる推定結果である第１推定結果を補正する補正ステップとを含むことを特徴とする。

本発明によれば、高精度な姿勢推定を実現できる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

実施例１の姿勢認識システムの構成図 姿勢センサ１１１の装着についての説明図 センサ出力に基づく姿勢推定の説明図 センサ出力に基づく第１推定結果の説明図 カメラ出力に基づく第２推定結果の説明図 第２推定結果と第２信頼度の推定のフローチャート 第２信頼度の計算結果の例 第２信頼度に応じた補正係数の具体例 特徴点の構造ツリーの説明図 姿勢の補正についての説明図 姿勢の補正のフローチャート 姿勢認識結果の出力例 第２推定結果の変形例 仮想特徴点の座標の算出の説明図 障害物による第２信頼度の低下の説明図 未検出の特徴点の取り扱いについての説明図 実施例２の姿勢認識システムの構成図 センサ姿勢信頼度推定部の説明図 実施例２の補正係数の具体例 姿勢認識結果の利用についての説明図 補正の為の姿勢をとるよう求める姿勢認識システムの説明図 物体の検出結果に基づく姿勢推定の説明図

以下、実施例を図面を用いて説明する。

図１は、実施例１の姿勢認識システムの構成図である。実施例１の姿勢認識システム１５０が姿勢を認識する対象者は、工場などで作業を行なう作業者１１０である。作業者１１０は、身体の複数箇所に姿勢センサ１１１を装着している。複数の姿勢センサ１１１は、加速度、角速度、地磁気などを計測する。各々の姿勢センサ１１１の計測値は、動作データ１２０として通信部１１２を介して姿勢認識システム１５０に送信される。

また、作業者１１０が作業を行なうエリアには、カメラ１３０を設置する。カメラ１３０は、撮像部１３１及び通信部１３２を含む。撮像部１３１は、作業者１１０の画像を撮影する。通信部１３２は、撮像部１３１による撮影の結果得られた画像データ１４０を姿勢認識システム１５０に送信する。

姿勢認識システム１５０は、通信部１５１、センサ姿勢推定部１５２、カメラ姿勢推定部１５３、姿勢信頼度推定部１５４、センサ姿勢補正部１５５及び制御部１５６を有する。

通信部１５１は、動作データ１２０及び画像データ１４０を受信する。
センサ姿勢推定部１５２は、動作データ１２０に作業者１１０の姿勢を推定する第１姿勢推定部である。センサ姿勢推定部１５２は、姿勢センサ１１１の初期状態における相対的な位置関係を管理している。さらに、センサ姿勢推定部１５２は、動作データ１２０を受信し、姿勢センサ１１１ごとに計測値を累積して管理する。姿勢センサ１１１は、初期状態における相対的な位置変化と、各姿勢センサ１１１の計測値の累積から、作業者１１０の姿勢と位置の変化を推定する。センサ姿勢推定部１５２による姿勢の推定結果が、第１推定結果である。

カメラ姿勢推定部１５３は、画像データ１４０に基づいて、作業者１１０の姿勢を推定する第２姿勢推定部である。画像からの姿勢の推定については、任意の既存技術を用いればよい。カメラ姿勢推定部１５３による姿勢の推定結果が、第２推定結果である。

姿勢信頼度推定部１５４は、カメラ姿勢推定部１５３による推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定部である。
センサ姿勢補正部１５５は、第２推定結果及び第２信頼度に基づいて、第１推定結果を補正する補正部である。換言するならば、センサ姿勢補正部１３５は、カメラ画像から推定した姿勢と、その信頼度に基づいて、姿勢センサ１１１に基づいて推定した姿勢を補正する。

制御部１５６は、姿勢認識システム１５０の動作を制御する。コンピュータが姿勢認識プログラムを実行することで姿勢認識システム１５０として動作する場合、制御部１５６はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、プログラムをメモリに展開して実行することで、通信部１５１、センサ姿勢推定部１５２、カメラ姿勢推定部１５３、姿勢信頼度推定部１５４及びセンサ姿勢補正部１５５としての機能を実現する。

図２は、姿勢センサ１１１の装着についての説明図である。図２では、作業者１１０は、帽子、左右の肩、左右の上腕部、左右の前腕部、左右の腰部、左右の大腿部、左右の脛部に姿勢センサ１１１を付した衣服型センサを着用している。これらの姿勢センサ１１１は、外部から視認可能である必要はない。図２では、衣服型センサは、ベルト部分に通信部１１２を備えている。通信部１１２は、各姿勢センサ１１１から計測値を取得して姿勢認識システム１５０に送信可能であれば、任意の位置に備えてよい。

図３は、センサ出力に基づく姿勢推定の説明図である。センサ姿勢推定部１５２は、上腕状態推定部３０１、腰状態推定部３０２のように、身体の部位毎の推定部を有する。部位毎の推定部は、対応する姿勢センサ１１１が定められており、対応する姿勢センサ１１１の計測値から身体の部位の状態を推定する。
例えば、上腕状態推定部３０１は、肩、上腕部及び前腕部に装着した姿勢センサ１１１の計測値を用いて、上腕の回転角度の時刻変化を推定する。
また、腰状態推定部３０２は、腰部と大腿部に装着した姿勢センサ１１１の計測値を用いて、腰の曲げ角度の時刻変化を推定する。

図４は、センサ出力に基づく第１推定結果の説明図である。図４に示すように、第１推定結果は、複数の特徴点を接続して対象者の骨格を示すデータである。特徴点は、対象者の関節の位置を含む。例えば、図４では、頭部、腰椎、脊椎、左右の肩、左右の肘、左右の手首、左右の尻、左右の膝、左右の足首を特徴点としている。ここで、肩の特徴点は、肩の姿勢センサ１１１と１対１に対応させることができる。すなわち、肩の特徴点の位置は、対応する１つの姿勢センサ１１１の位置である。肘の特徴点には、１対１に対応する姿勢センサ１１１は存在しない。しかし、肩、上腕、前腕の姿勢センサ１１１の位置から、肘の特徴点の位置を求めることができる。このように、姿勢センサ１１１と特徴点は１対１である必要はなく、複数の姿勢センサ１１１の相対位置から作業者１１０の骨格を推定し、その関節等を特徴点とすることができる。
特徴点の位置は、３次元の空間座標で示す。特徴点と特徴点を結ぶ接続は、身体の部位に応じて設定される。例えば、右尻の特徴点と右膝の特徴点との接続は、右大腿部に対応している。

図５は、カメラ出力に基づく第２推定結果の説明図である。カメラ姿勢推定部１５３は、カメラ１３０で撮影した画像データ１４０を画像処理し、第２推定結果を得る。第２推定結果は、複数の特徴点を接続して対象者の骨格を示すデータである。特徴点は、対象者の関節の位置を含む。

特徴点の位置は、３次元の空間座標で示す。このため、カメラ１３０を深度カメラやステレオカメラなどにしてカメラ１３０からの距離を計測してもよい。また、カメラ１３０の撮影範囲内に距離の指標を配置しておき、画像処理によってカメラ１３０からの距離を求めてもよい。また、Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）を併用してもよいし、Ｌｉｄａｒをカメラ１３０に代えて用いてもよい。

カメラ出力に基づく第２推定結果には、累積的な誤差は生じない。特に、画像内に直接的に映った部位については特徴点の位置を高い信頼度で求めることができる。一方で、他の部位の陰になる、物品などで遮蔽されるなど、画像内に直接的に映っていない部位については、他の部位との相対関係で特徴点の位置を推定することになるため、信頼度が比較的低い。

そこで、姿勢信頼度推定部１５４は、第２推定結果に含まれる特徴点の所定の組が、画像内で所定範囲内に近接し、かつ空間座標内で所定距離以上に離隔していると推定された場合に、所定の組を成す特徴点のうち画像を撮影したカメラから遠い特徴点の第２信頼度を他の特徴点に比して低い値とする。２つの特徴点の組が、画像内で所定範囲内に近接し、かつ空間座標内で所定距離以上に離隔しているならば、その２つの特徴点はカメラ１３０に対して奥行方向に並んでいる可能性が高い。そして、２つの特徴点がカメラ１３０に対して奥行方向に並んでいるならば、奥側の特徴点に対応する身体部位は、手前側の特徴点に対応する身体部位の陰になっている可能性が高いからである。

図６は、第２推定結果と第２信頼度の推定のフローチャートである。このフローチャートは、ステップＳ６０１から開始する。
ステップＳ６０１：カメラ姿勢推定部１５３で、各身体部位の特徴点の座標を計算する。初期値として、各特徴点の第２信頼度を「高」に設定する。その後、ステップＳ６０２に進む。
ステップＳ６０２：姿勢信頼度推定部１５４で、任意の２つの身体部位の特徴点を選定する。その後、ステップＳ６０３に進む。
ステップＳ６０３：姿勢信頼度推定部１５４は、２つの特徴点の画像中のｘ，ｙ座標の距離が一定値以下であるか否かを判定する。ＹｅｓであればステップＳ６０４に進む。Ｎｏであれば処理を終了する。
ステップＳ６０４：姿勢信頼度推定部１５４は、２つの特徴点のカメラからの距離（z座標）の差が一定値以上であるか否かを判定する。ＹｅｓであればステップＳ６０４５進む。Ｎｏであれば処理を終了する。
ステップＳ６０５：姿勢信頼度推定部１５４は、２つの特徴点のうち、カメラからの距離が遠い特徴点の第２信頼度を「低」に設定する。その後、処理を終了する。

なお、図６における２つの特徴点の比較は、全ての組み合わせを順次選定して行えばよい。または、画像内で近傍に他の特徴点が存在する特徴点を抽出した上で、組合せを選定してもよい。

図７は、第２信頼度の計算結果の例である。図７では、作業者の左腕は右腕よりも遠い。このため、左肩、左肘、左手首の特徴点の第２信頼度は「低」となっている。また、左尻は腰椎よりも遠い。このため、左尻の特徴点の第２信頼度は「低」となっている。

図８は、第２信頼度に応じた補正係数の具体例である。図８では、第２信頼度が「高」の補正係数を「０．９」、第２信頼度が「低」の補正係数を「０．４」としている。

図９は、特徴点の構造ツリーの説明図である。姿勢センサ１１１に基づく第１推定結果と、カメラ１３０に基づく第２推定結果は、特徴点の構造ツリーによって作業者１１０の骨格を示す。

図９では、特徴点の一つである腰椎（便宜上、腰椎の最下部を腰椎の特徴点とする）を基準としている。具体的には、特徴点「腰椎」に特徴点「脊椎（便宜上、胸椎の最下部と脊椎の特徴点とする）」、特徴点「右尻」、特徴点「左尻」が接続している。
さらに、特徴点「脊椎」に特徴点「左肩」、特徴点「頭部」、特徴点「右肩」が接続している。特徴点「左肩」には特徴点「左肘」がさらに接続し、特徴点「左肘」には特徴点「左手首」が接続している。同様に、特徴点「右肩」には特徴点「右肘」がさらに接続し、特徴点「右肘」には特徴点「右手首」が接続している。
また、特徴点「右尻」には特徴点「右膝」がさらに接続し、特徴点「右膝」には特徴点「右足首」が接続している。同様に、特徴点「左尻」には特徴点「左膝」がさらに接続し、特徴点「左膝」には特徴点「左足首」が接続している。

ここで、接続された２つの特徴点のうち、基準となる一方の特徴点の位置座標から他方の特徴点の位置座標のベクトルを、便宜上、フレームベクトルという。
図９では、腰椎が基準となっているので、腰椎から脊椎へのベクトルがフレームベクトルである。基準位置からベクトルが規定された特徴点は、次の基準として使用できる。したがって、脊椎と左肩であれば、脊椎が基準となり、脊椎から左肩に向かうベクトルがフレームベクトルとなる。同様に、左肩から左肘へのフレームベクトル、左肘から左手首へのフレームベクトルが特定できる。

図１０は、姿勢の補正についての説明図である。センサ姿勢補正部１５５は、第１推定結果に含まれる特徴点と第２推定結果に含まれる特徴点とを対応させて、第１推定結果を補正する。図１０では、腰椎及び脊椎の特徴点を、第１推定結果（センサベース）と第２推定結果（カメラベース）とで比較している。

まず、基準となる腰椎の特徴点の位置座標を第１推定結果と第２推定結果とで揃える。その結果、第１推定結果における脊椎の位置と第２推定結果の脊椎の位置にずれが生じる。センサ姿勢補正部１５５は、第１推定結果の脊椎の位置座標から第２推定結果の脊椎の位置座標までのベクトルを、特徴点「脊椎」の補正ベクトルとする。
同様の処理を行うことで、センサ姿勢補正部１５５は、第１推定結果に含まれる各特徴点について、補正ベクトルを求める。

例えば、脊椎の特徴点を基準として、脊椎の特徴点の位置座標を第１推定結果と第２推定結果とで揃える。その結果、左肩、頭部及び右肩について、第１推定結果の位置座標と第２推定結果の位置座標にずれが生じる。センサ姿勢補正部１５５は、第１推定結果の位置座標から第２推定結果の位置座標までのベクトルを、左肩、頭部及び右肩のそれぞれについて求め、左肩、頭部及び右肩の補正ベクトルとする。

図１１は、姿勢の補正のフローチャートである。このフローチャートは、ステップＳ１１０１，Ｓ１１０２及びＳ１１０３から開始する。
ステップＳ１１０１：センサ姿勢補正部１５５は、センサ姿勢推定部１５２で出力された各身体部位の特徴点の座標を第１推定結果として取得する。センサ姿勢推定部１５２は、例えば床面をＸＹ平面、高さ方向をＺ方向とする３次元の空間座標で特徴点の座標を出力する。その後、ステップＳ１１０４に進む。
ステップＳ１１０２：センサ姿勢補正部１５５は、カメラ姿勢推定部１５３で出力された各身体部位の特徴点の座標を第２推定結果として取得する。カメラ姿勢推定部１５３は、カメラの画像をＸＹ平面、カメラからの距離をＺ軸とする３次元の空間座標で特徴点の座標を算出するが、この空間座標は、センサ姿勢推定部１５２の空間座標に変換して出力する。その後、ステップＳ１１０５に進む。
ステップＳ１１０３：センサ姿勢補正部１５５は、姿勢信頼度推定部１５４で出力された各身体部位の特徴点の補正係数を取得する。その後、ステップＳ１１０７に進む。

ステップＳ１１０４：センサ姿勢補正部１５５は、第１推定結果の特徴点の構造ツリーに沿って隣接する特徴点間のフレームベクトルを計算する。その後、ステップＳ１１０６に進む。
ステップＳ１１０５：センサ姿勢補正部１５５は、第２推定結果の特徴点の構造ツリーに沿って隣接する特徴点間のフレームベクトルを計算する。その後、ステップＳ１１０６に進む。

ステップＳ１１０６：センサ姿勢補正部１５５は、第１推定結果と第２推定結果とで対応するフレームベクトル同士の差を計算し、特徴点ごとの補正ベクトルを算出する。その後、ステップＳ１１０７に進む。
ステップＳ１１０７：センサ姿勢補正部１５５は、補正ベクトルに対して対応する信託部位の補正係数を乗算する。その後、ステップＳ１１０８に進む。
ステップＳ１１０８：補正係数乗算済みの補正ベクトルを第１推定結果の特徴点の座標に加算し、補正後の特徴点の座標を得る。その後、処理を終了する。

各特徴点の座標の補正は、独立して行っても良いが、基準となる特徴点から順に行ってもよい。基準となる特徴点は、特定の特徴点（例えば腰椎）であってもよいし、画像内で最も高い信頼度で座標を推定できた特徴点を基準としてもよい。例えば、右肘の特徴点の第２信頼度が最も高いならば、右肘を基準として構造ツリーを参照し、右手首と右肩へのフレームベクトルをそれぞれ求めて補正を行う。そして、補正された右手首と右肩の座標をそれぞれ基準として次のフレームベクトルを求めて補正を行う。このように処理を繰り返すことで、全身の位置を精度よく補正できる。

図１２は、姿勢認識結果の出力例である。図１２では、カメラ画像に対して、第１推定結果（衣服型センサに基づいて推定した姿勢）、第２推定結果（カメラ画像に基づいて推定した姿勢）、補正済の姿勢を重畳して表示することで、姿勢認識の結果を確認できるグラフィックユーザインタフェースを示している。第１推定結果、第２推定結果、補正済の姿勢は、無条件に重畳表示してもよいし、選択可能としてもよい。また、カメラ画像ではなく、コンピュータグラフィックスで描画してもよい。

これまで説明では、第１推定結果の特徴点と第２推定結果の特徴点が１対１に対応する場合を例に説明を行ったが、第１推定結果と第２推定結果とで特徴点が対応していなくともよい。

図１３は、第２推定結果の変形例である。図１３では、カメラ姿勢推定部１５３による第２推定結果には、脊椎に対応する特徴点が含まれておらず、頸椎に対応する特徴点（便宜上、頸椎の最下部を頸椎の特徴点とする）が含まれている。

このように、第１推定結果を構成する特徴点のなかに、第２推定結果を構成する特徴点に対応しない特徴点が含まれている場合、カメラ姿勢推定部１５３は、第２推定結果を構成する複数の特徴点の位置関係から第１推定結果を構成する特徴点に対応する仮想的な特徴点を求める。第１推定結果の特徴点と第２推定結果の特徴点の対応関係、必要な仮想特徴点、仮想特徴点の座標の算出方法は、予め定めておくことが好適である。

図１４では、頸椎と腰椎をＮ：Ｍに内分する点を脊椎の特徴点の座標としている。このとき、第２信頼度についても、例えば頸椎と腰椎の第２信頼度を内分の比率に沿って重み付けして足し合わせるなどしてもよい。

次に、第２推定結果の第２信頼度についてさらに説明する。
図１５は、障害物による第２信頼度の低下の説明図である。カメラ１３０の撮影範囲に障害物が存在し、作業者１１０の体の一部が隠れると、カメラ姿勢推定部１５３は、撮影できた部分についてしか姿勢の推定ができない。すなわち、座標を特定できない特徴点が第２推計結果に含まれることになる。座標を特定できない特徴点は、未検出の特徴点として、補正の対象としない。結果として、第１推定結果の特徴点を補正せずに使用することになる。

図１６は、未検出の特徴点の取り扱いについての説明図である。図１６では、第２信頼度を「高」「低」「未検出」の３レベルに分けている。そして、第２信頼度「未検出」の特徴点の補正係数を「０」としている。補正係数が「０」とすれば、その特徴点については第１推定結果が補正されない。なお、ここでは未検出の特徴点の補正係数を「０」としているが、第２推定結果で未検出となった特徴点を、第１推定結果から予め除いて補正を行う構成としてもよい。

このように実施例１の姿勢認識システム１５０は、作業者１１０に装着された姿勢センサ１１１のセンシング結果に基づいて、作業者１１０の姿勢を推定する第１姿勢推定ステップと、作業者１１０を撮影した画像に基づいて、作業者１１０の姿勢を推定する第２姿勢推定ステップとを実行する。そして、第２姿勢推定ステップによる推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定ステップと、第２推定結果及び第２信頼度に基づいて、第１姿勢推定ステップによる推定結果である第１推定結果を補正する補正ステップとを実行する。このため、姿勢センサ１１１を直接撮影できない場合でも姿勢センサ１１１の誤差を補正し、高精度な姿勢推定を実現できる。

本実施例２では、第１推定結果の特徴点の信頼度をさらに用いて第１推定結果を補正する姿勢認識システムについて説明する。
図１７は、実施例２の姿勢認識システムの構成図である。図１７に示した姿勢認識システム１５０は、センサ姿勢信頼度推定部１５０７をさらに備える。

センサ姿勢信頼度推定部１５０７は、センサ姿勢推定部１５２による推定結果である第１推定結果に含まれる特徴点の各々についての信頼度を第１信頼度として求める第１信頼度推定部である。
センサ姿勢補正部１５５は、第２推定結果及び第２信頼度に加え、第１信頼度をさらに用いて、第１推定結果を補正する補正部である。
その他構成及び動作は実施例１と同様であるので、説明を省略する。

図１８は、センサ姿勢信頼度推定部１５０７の説明図である。センサ姿勢推定部１５２は、姿勢センサ１１１の計測値（加速度など）を累積して姿勢センサ１１１の位置などを推定している。このとき、計測値が小さいと、ＳＮ比が悪くなり誤差が累積しやすい。そこで、センサ姿勢信頼度推定部１５０７は、あまり身体を動かしていない、すなわち計測値が小さい時間が一定時間続いたときに対応する特徴点の第１信頼度を徐々に減らす。

図１９は、実施例２の補正係数の具体例である。図１９では、第１信頼度αを用い、第２信頼度が「高」の補正係数を「０．９＊（１－α）」、第２信頼度が「低」の補正係数を「０．４＊（１－α）」としている。
なお、図１９の補正係数はあくまで一例である。第１信頼度に反比例するように補正係数を操作できれば任意の方法を用いることができる。

第１推定結果の補正を行ったときに、第１信頼度のリセットや増加を行ってもよい。例えば、第２信頼度が「高」の特徴点については第１信頼度を初期値（誤差の累積が無い値）にリセットし、第２信頼度が「低」の特徴点については第１信頼度を所定地だけ増加させてもよい。

（変形例）
次に、姿勢認識結果の利用について説明する。
図２０は、姿勢認識結果の利用についての説明図である。図２０では、姿勢認識システム１５０は、第１推定結果を補正した後、姿勢データ１８００として作業認識システム１６０に出力している。

作業認識システム１６０は、通信部１６１と行動認識部１６２を有する。通信部１６１は、姿勢認識システム１５０から姿勢データ１８００を受信する。行動認識部１６２は、姿勢データ１８００に基づいて、作業者１１０の行動を認識する。この行動認識により、作業者１１０の作業状況をリアルタイムで認識したり、負荷を可視化することができる。

また、姿勢認識システム１５０は、作業者１１０が行うと想定される動作に基づいて補正を行うタイミングを特定することができる。作業者１１０の作業は、行う動作の内容や順番が定められている場合がある。作業者１１０が行うべき動作の内容や順番を、例えば作業認識システム１６０が管理していれば、センサ姿勢補正部１５５は、作業者１１０が行うべき動作に関する情報を予め作業認識システム１６０から取得し、第１推定結果の補正に適した姿勢となるタイミングを特定し、補正を実行することができる。

このように、作業者１１０が行う動作を利用する他、作業の始めや作業の途中で、補正の為の姿勢を取るように作業者１１０に対して指示を出力してもよい。
図２１は、補正の為の姿勢をとるよう求める姿勢認識システムの説明図である。図２１では、姿勢認識システム１５０は、スピーカーシステム１９１０に接続されている。スピーカーシステム１９１０は、通信部１９０２が姿勢認識システム１５０から受信した音声信号をスピーカー１９０１から出力する。

図２１の構成では、姿勢認識システム１５０の制御部１５６は、スピーカーシステム１９１０に音声信号を送信して出力させることで、作業者１１０対象者に対して所定の姿勢をとるよう求める指示出力部として機能する。センサ姿勢補正部１５５は、スピーカー１９０１から音声を出力して所定の姿勢を取るよう求めた後に補正を行う。このため、補正に適した姿勢で動作データ１２０と画像データ１４０を取得し、高精度な補正が可能である。
なお、作業認識システム１６０など、他のシステムが作業者１１０対象者に対して所定の姿勢をとるよう求める指示出力部としての機能を備えてもよい。
また、作業者１１０が所定の姿勢を取ったか否かを姿勢認識システム１５０が判定し、所定の姿勢を取っていなければエラーを報知してもよい。

図２２は、物体の検出結果に基づく姿勢推定の説明図である。作業者１１０の周囲に物体が存在し、作業者１１０の身体の一部が隠れて撮影できなかったとしても、物体自体が姿勢の推定に寄与する場合がある。例えば、特定の物体を持って作業をする場合に、物体をどのように持ち上げるかのマニュアルが定められていれば、画像に写っていない部位の位置座標を推定できる。

図２２では、姿勢認識システム１５０は、カメラ姿勢推定部１５３に加え、物体検出部１５７を含んでいる。物体検出部１５７は、カメラ１３０が撮影した画像データから特定の物体を検出する画像検出処理を行う。カメラ姿勢推定部１５３は、特定の物体が検出されたならば、物体の位置及び種別をさらに用いて、作業者１１０の姿勢を推定する。

上述してきたように、開示のシステムは、対象者の姿勢を認識する姿勢認識システム１５０であって、前記対象者に装着されたセンサである姿勢センサ１１１のセンシング結果に基づいて、前記対象者の姿勢を推定する第１姿勢推定部としてのセンサ姿勢推定部１５２と、前記対象者を撮影した画像に基づいて、前記対象者の姿勢を推定する第２姿勢推定部としてのカメラ姿勢推定部１５３と、前記第２姿勢推定部による推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定部としての姿勢信頼度推定部１５４と、前記第２推定結果及び前記第２信頼度に基づいて、前記第１姿勢推定部による推定結果である第１推定結果を補正する補正部としてのセンサ姿勢補正部１５５とを備える。
このため、センサを直接撮影できない場合でもセンサの誤差を補正し、高精度な姿勢推定が実現できる。

また、前記センサは、加速度及び／又は角速度を計測するセンサであり、前記センサは、前記対象者の身体の複数個所にそれぞれ装着され、前記第１姿勢推定部は、前記対象者の身体の複数個所にそれぞれ装着された複数のセンサについて計測値を累積し、前記複数のセンサの相対的な位置関係を求め、前記複数のセンサの相対的な位置関係から前記対象者の骨格を推定する。
このため、ウェアラブルセンサによる姿勢の推定結果を、カメラ画像により補正することで、高精度な姿勢推定が実現できる。

また、前記第１姿勢推定部及び前記第２姿勢推定部は、前記対象者の関節の位置を含む複数の特徴点を推定し、前記複数の特徴点を接続して前記対象者の骨格を推定し、前記補正部は、前記第１推定結果に含まれる特徴点と前記第２推定結果に含まれる特徴点とを対応させて、前記第１推定結果を補正する。
このように、カメラ画像から直接センサの位置を補正するのではなく、センサ出力とカメラ出力のそれぞれから推定した骨格を比較することで、センサが撮影できたか否かに依存することなく姿勢推定結果の補正が可能である。

また、前記第２姿勢推定部は、前記第１推定結果を構成する特徴点のなかに、前記第２推定結果を構成する特徴点に対応しない特徴点が含まれている場合、前記第２推定結果を構成する複数の特徴点の位置関係から前記第１推定結果を構成する特徴点に対応する仮想的な特徴点を求める。
このため、姿勢をどのようなモデルで示すかに制限されることなく、カメラ画像から骨格を推定する任意の手法を利用できる。
また、前記第２信頼度推定部は、前記第２推定結果に含まれる特徴点の所定の組が、前記画像内で所定範囲内に近接し、かつ空間座標内で所定距離以上に離隔していると推定された場合に、前記所定の組を成す特徴点のうち前記画像を撮影したカメラから遠い特徴点の第２信頼度を他の特徴点に比して低い値とする。
このため、画像に写っていない特徴点を特定して第２信頼度を下げ、第２信頼度の低い特徴点については第１推定結果を優先することができる。

また、前記補正部は、接続された特徴点のうち一方の特徴点の空間座標を基準として他方の特徴点の空間座標へのフレームベクトルを求め、前記第１推定結果と前記第２推定結果の対応するフレームベクトルの差分を補正ベクトルとして求め、前記第２推定結果における他方の特徴点の第２信頼度に応じた補正係数を前記補正ベクトルに乗算し、補正係数乗算済みの補正ベクトルを前記第１推定結果における他方の特徴点の空間座標に加算して、前記第１推定結果における他方の特徴点の位置を補正する。
このため、骨格のフレーム構造に沿って特徴点の位置を精度よく補正できる。

また、前記補正部は、前記第２信頼度が高い特徴点を基準として前記フレームベクトルを求めて補正を行い、補正された特徴点を次の基準として次のフレームベクトルを求めて補正を行う処理を繰り返す。
このため、画像から高い精度で特定された特徴点の位置座標を利用し、対象の位置と姿勢を高精度で推定できる。

また、開示のシステムは、前記第１推定結果に含まれる特徴点の各々についての信頼度を第１信頼度として求める第１信頼度推定部をさらに備え、前記補正部は、前記第１信頼度をさらに用いて、前記第１姿勢推定部による推定結果である第１推定結果を補正する。
具体的には、前記センサは、加速度及び／又は角速度を計測するセンサであり、前記第１信頼度推定部は、前記センサの計測値が所定値以下である状態が所定時間継続した場合に、当該センサの計測値に基づいて特定した特徴点の第１信頼度を他の特徴点に比して低くする。
このため、第１推定結果における誤差の蓄積を考慮して、高精度な姿勢推定が実現できる。

また、前記補正部は、前記対象者の特徴点に対応する部位が前記画像に写っていない場合には、当該特徴点を補正の対象外とすることを特徴とする。
若しくは、前記第２信頼度推定部は、前記対象者の特徴点に対応する部位が前記画像に写っていない場合には、当該特徴点の前記第２信頼度を他の特徴点に比して低くする。
このように、画像に写っていない特徴点については、第１推定結果を優先することができる。

また、前記補正部は、前記対象者が行うと想定される動作に基づいて補正を行うタイミングを特定する。
若しくは、前記対象者に対して所定の姿勢をとるよう求める指示出力部をさらに備え、前記補正部は、前記指示出力部によって所定の姿勢を取るよう求めた後に補正を行うことを特徴とする。
このように、補正に適した状態を利用することで、補正の効果を高め、もって高精度な姿勢推定が実現できる。

また、開示のシステムは、前記画像内の物体を検出する物体検出部をさらに備え、前記第２信頼度推定部は、前記物体検出部による物体の検出結果をさらに用いて、各特徴点の第２信頼度を求める。
このため、物体の存在を利用して、当該物体によって遮蔽される部位の位置を推定し、姿勢推定結果の補正に用いることができる。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。
例えば、上記の実施例では、画像から特定される特徴点の位置関係に応じて第２信頼度を「高」や「低」として与える構成を例示した。変形例として、第２信頼度は数値であってもよい。また、カメラ１３０から作業者１１０までの距離や、画像の撮影条件（周囲の明るさなど）に応じて第２信頼度を求めてもよい。

２０：センサデバイス、１１０：作業者、１１１：姿勢センサ、１１２：通信部、１２０：動作データ、１３０：カメラ、１３１：撮像部、１３２：通信部、１３５：センサ姿勢補正部、１４０：画像データ、１５０：姿勢認識システム、１５１：通信部、１５２：センサ姿勢推定部、１５３：カメラ姿勢推定部、１５４：姿勢信頼度推定部、１５５：センサ姿勢補正部、１５６：制御部、１５７：物体検出部、１６０：作業認識システム、１６１：通信部、１６２：行動認識部、３０１：上腕状態推定部、３０２：腰状態推定部、１５０７：センサ姿勢信頼度推定部、１８００：姿勢データ、１９０１：スピーカー、１９０２：通信部、１９１０：スピーカーシステム

Claims (15)

1. 対象者の姿勢を認識する姿勢認識システムであって、
   前記対象者に装着されたセンサのセンシング結果に基づいて、前記対象者の姿勢を推定する第１姿勢推定部と、
   前記対象者を撮影した画像に基づいて、前記対象者の姿勢を推定する第２姿勢推定部と、
   前記第２姿勢推定部による推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定部と、
   前記第２推定結果及び前記第２信頼度に基づいて、前記第１姿勢推定部による推定結果である第１推定結果を補正する補正部と
   を備えることを特徴とする姿勢認識システム。
2. 請求項１に記載の姿勢認識システムであって、
   前記センサは、加速度及び／又は角速度を計測するセンサであり、
   前記センサは、前記対象者の身体の複数個所にそれぞれ装着され、
   前記第１姿勢推定部は、前記対象者の身体の複数個所にそれぞれ装着された複数のセンサについて計測値を累積し、前記複数のセンサの相対的な位置関係を求め、前記複数のセンサの相対的な位置関係から前記対象者の骨格を推定することを特徴とする姿勢認識システム。
3. 請求項１に記載の姿勢認識システムであって、
   前記第１姿勢推定部及び前記第２姿勢推定部は、前記対象者の関節の位置を含む複数の特徴点を推定し、前記複数の特徴点を接続して前記対象者の骨格を推定し、
   前記補正部は、前記第１推定結果に含まれる特徴点と前記第２推定結果に含まれる特徴点とを対応させて、前記第１推定結果を補正することを特徴とする姿勢認識システム。
4. 請求項３に記載の姿勢認識システムであって、
   前記第２姿勢推定部は、前記第１推定結果を構成する特徴点のなかに、前記第２推定結果を構成する特徴点に対応しない特徴点が含まれている場合、前記第２推定結果を構成する複数の特徴点の位置関係から前記第１推定結果を構成する特徴点に対応する仮想的な特徴点を求めることを特徴とする姿勢認識システム。
5. 請求項３に記載の姿勢認識システムであって、
   前記第２信頼度推定部は、前記第２推定結果に含まれる特徴点の所定の組が、前記画像内で所定範囲内に近接し、かつ空間座標内で所定距離以上に離隔していると推定された場合に、前記所定の組を成す特徴点のうち前記画像を撮影したカメラから遠い特徴点の第２信頼度を他の特徴点に比して低い値とすることを特徴とする姿勢認識システム。
6. 請求項３に記載の姿勢認識システムであって、
   前記補正部は、接続された特徴点のうち一方の特徴点の空間座標を基準として他方の特徴点の空間座標へのフレームベクトルを求め、前記第１推定結果と前記第２推定結果の対応するフレームベクトルの差分を補正ベクトルとして求め、前記第２推定結果における他方の特徴点の第２信頼度に応じた補正係数を前記補正ベクトルに乗算し、補正係数乗算済みの補正ベクトルを前記第１推定結果における他方の特徴点の空間座標に加算して、前記第１推定結果における他方の特徴点の位置を補正することを特徴とする姿勢認識システム。
7. 請求項６に記載の姿勢認識システムであって、
   前記補正部は、前記第２信頼度が高い特徴点を基準として前記フレームベクトルを求めて補正を行い、補正された特徴点を次の基準として次のフレームベクトルを求めて補正を行う処理を繰り返すことを特徴とする姿勢認識システム。
8. 請求項３に記載の姿勢認識システムであって、
   前記第１推定結果に含まれる特徴点の各々についての信頼度を第１信頼度として求める第１信頼度推定部をさらに備え、
   前記補正部は、前記第１信頼度をさらに用いて、前記第１姿勢推定部による推定結果である第１推定結果を補正することを特徴とする姿勢認識システム。
9. 請求項８に記載の姿勢認識システムであって、
   前記センサは、加速度及び／又は角速度を計測するセンサであり、
   前記第１信頼度推定部は、前記センサの計測値が所定値以下である状態が所定時間継続した場合に、当該センサの計測値に基づいて特定した特徴点の第１信頼度を他の特徴点に比して低くすることを特徴とする姿勢認識システム。
10. 請求項３に記載の姿勢認識システムであって、
    前記補正部は、前記対象者の特徴点に対応する部位が前記画像に写っていない場合には、当該特徴点を補正の対象外とすることを特徴とする姿勢認識システム。
11. 請求項３に記載の姿勢認識システムであって、
    前記第２信頼度推定部は、前記対象者の特徴点に対応する部位が前記画像に写っていない場合には、当該特徴点の前記第２信頼度を他の特徴点に比して低くすることを特徴とする姿勢認識システム。
12. 請求項１に記載の姿勢認識システムであって、
    前記補正部は、前記対象者が行うと想定される動作に基づいて補正を行うタイミングを特定することを特徴とする姿勢認識システム。
13. 請求項１に記載の姿勢認識システムであって、
    前記対象者に対して所定の姿勢をとるよう求める指示出力部をさらに備え、
    前記補正部は、前記指示出力部によって所定の姿勢を取るよう求めた後に補正を行うことを特徴とする姿勢認識システム。
14. 請求項３に記載の姿勢認識システムであって、
    前記画像内の物体を検出する物体検出部をさらに備え、
    前記第２信頼度推定部は、前記物体検出部による物体の検出結果をさらに用いて、各特徴点の第２信頼度を求めることを特徴とする姿勢認識システム。
15. 対象者の姿勢を認識する姿勢推定方法であって、
    コンピュータが、
    前記対象者に装着されたセンサのセンシング結果に基づいて、前記対象者の姿勢を推定する第１姿勢推定ステップと、
    前記対象者を撮影した画像に基づいて、前記対象者の姿勢を推定する第２姿勢推定ステップと、
    前記第２姿勢推定ステップによる推定結果である第２推定結果についての信頼度を第２信頼度として求める第２信頼度推定ステップと、
    前記第２推定結果及び前記第２信頼度に基づいて、前記第１姿勢推定ステップによる推定結果である第１推定結果を補正する補正ステップと
    を含むことを特徴とする姿勢認識方法。

Images