JP7216679B2 - 情報処理装置、および判断結果出力方法 - Google Patents

Description

本発明は、情報処理装置、および判断結果出力方法に関する。

日本人の平均寿命は、延伸を続け男女ともに８０歳を超えているが、日常生活に制限のない期間を示す健康寿命は男性で７２歳、女性で７５歳と平均寿命との乖離がある。

これは高齢者が寝たきりなどの要介護状態になることに起因している。介護が必要となった原因でもっとも多いものは運動器障害である。運動器障害のために移動機能の低下をきたした状態はロコモティブシンドローム（以下、ロコモともいう）と呼ばれ、近年その予防に注目が集まっている。

ロコモの兆候は歩行に現れることが知られており、医師などの専門家が患者の歩行を様々な角度から見て診断している。

一方、加速度センサのウェアラブル化やカメラ画像解析の技術向上が進んできたことで、人間の動作をセンシングしてデジタル解析できるような環境が整ってきている。歩行解析に関しても、手足に加速度センサを取り付けて歩行パターンを定量化したり、カメラ画像認識により手足の挙動を追跡したりすることで、従来専門家が手間をかけて行っていた診断を効率化する試みがなされている。

例えば、特許文献１には、ゴルフスイングなどの運動を「Ｋｉｎｅｃｔ（登録商標）」などの深度カメラを用いて骨格認識し、骨格特徴点の動きから抽出した指標を基準データと比較することでスイングの適切度を評価する手法が記載されている。

また、あらかじめ三次元の骨格座標をもとに歩行識別モデルを構築しておいて、識別時には任意の角度で撮影した二次元骨格座標を入力できるよう変換を加える手法が記載されている。

また、特許文献２には、骨格関節データといったようなキーポイントデータが二次元データとして与えられている場合であっても三次元空間における所定姿勢に関連した情報を得ることが可能なキーポイントデータに関する装置について記載されている。

特開２０１４－１８８１４６号公報 特開２０１９－９６１１３号公報

ところで、近年センシングデバイスがコモディティ化する中で、コスト削減のために加速度センサやカメラは同等の機能をもつより低コストであるデバイスで柔軟にシステム構築したいというニーズが高まっている。

特許文献２は、デバイスを変えた場合にもとの条件に近くなるよう変換することでそのまま入力として使えるようにしたものであるが、入力の条件が変わった場合には本来はモデルを再構築する必要があり、特許文献２の手法では識別精度に限界がある。

すなわち、十分な精度を確保するためには、新たな入力データを分析しモデルを再構築する手間を要するので、効率的にデータ分析をすることができないという課題がある。

そこで本発明の目的は、効率的にデータ分析をすることを可能とすることにある。

本発明の代表的な実施の形態によるユーザを撮像可能なデバイスから取得した情報を処理する情報処理装置であって、ユーザの運動状態を撮像する第１デバイスにより撮像された結果である第１撮像結果を取得する第1撮像結果取得部と、ユーザの運動状態を撮像する第２デバイスにより撮像された結果である第２撮像結果を取得する第２撮像結果取得部と、第１撮像結果取得部により取得された第１撮像結果を用いてユーザの骨格位置を認識し、第２撮像結果取得部により取得された第２撮像結果を用いてユーザの骨格位置を認識する骨格認識部と、骨格認識部により認識された結果に基づいて、ユーザの所定運動期間を特定する運動期間特定部と、運動期間特定部により特定された運動期間における、骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格位置の変化と、骨格認識部により前記第２撮像結果を用いて認識されたユーザの骨格位置の変化との類似度を算出する類似度算出部と、類似度算出部により算出された類似度に基づいた判断結果を出力する判断結果出力部と、を備える。

本発明によれば、効率的にデータ分析をすることができる。

運動解析装置を含むシステム構成の概要を示す図である。 本実施例にかかる運動解析装置の構成の一例を示した図である。 複数の骨格計測手段による撮影結果を比較する運動解析装置を含むシステムの概要図である。 本実施例にかかる運動解析装置の構成の一例を示した図である。 骨格特徴点の対応関係を入力するための入力画面の一例を示す図である。 類似度算出部において骨格特徴点の類似度を算出する処理手順を示すフローチャートである。 類似度をユーザに提示する画面構成の一例を示す図である。 骨格特徴点と類似度の対応を一覧にした表を示す画面例の一例を示す図である。 第２実施例にかかる運動解析装置を用いて計測を行うシステムの構成を示した図である。 実施例２にかかる本実施例にかかる運動解析装置の構成の一例を示した図である。 歩行タイプの入力画面を示す図である。 判定結果の画面の一例を示す図である。 運動解析装置が、第１計測手段と第２計測手段の骨格特徴点の対応関係を推定し、骨格対応テーブルを生成するフローチャートである。 実施例４にかかる運動解析装置の構成を示した図である。 第２計測手段には存在しない第１計測手段の骨格特徴点（対象特徴点）について、類似する第１計測手段の骨格特徴点を特定するフローチャートである。

以下、本発明の実施例について図面を用いて説明する。

（実施例１）
図１は、本実施例にかかる運動解析装置１０１を含むシステム構成の概要を示す図である。運動解析装置１０１は、デバイス（例えば、深度カメラ１０２）から取得した情報を処理する情報処理装置であり、サーバ装置等である。運動解析装置１０１は、ＵＳＢケーブル等により深度カメラ１０２（第１デバイス）と接続している。これにより、運動解析装置１０１は、深度カメラ１０２から情報を取得することができる。

なお、運動解析装置１０１は、無線・有線等のネットワークにより深度カメラ１０２と情報の送受信をするようにしてもよい。

深度カメラ１０２は、公知の深度カメラであり、撮像した結果として、撮像対象のＸ軸方向、Ｙ軸方向、およびＺ軸方向の情報（深度情報）を生成し、当該深度情報を記憶する。

深度カメラ１０２は、被験者１０３（ユーザ）が歩行している時の状態（例えば、深度カメラ１０２へ向かって歩行している状態）を撮像することができる。すなわち、深度カメラ１０２は、ユーザを撮像可能なデバイスであり、ユーザの運動状態を撮像することが可能なデバイスである。

この運動解析装置１０１は、ユーザを撮像可能なデバイス（深度カメラ１０２等）から情報を取得して、当該情報を処理する装置である。具体的に、運動解析装置１０１は、被験者１０３が歩行している状態を撮像した結果に基づく深度情報を取得する。運動解析装置１０１は、当該深度情報から被験者１０３の骨格位置（例えば、左ひじの骨格位置）を特定し、特定した骨格位置の変化を特定し、当該変化に基づいてロコモであるか否かを判断する。このように、運動解析装置１０１は、被験者１０３が歩く様子を計測する。

図２は、本実施例にかかる運動解析装置１０１の構成の一例を示した図である。運動解析装置１０１は、操作入力部２０１と、表示部２０２と、制御部２０３と、メモリ２０４と、データ入力部２０５と、骨格認識部２０６と、特徴量生成部２０７と、モデル２０８と、識別部２０９とを備え、各部が共通バス（データバス、アドレスバスを含む）により接続されて構成されている。

操作入力部２０１は、マウス操作やタッチパネル操作などでユーザ（例えば、運動解析装置１０１の管理者など）からの指示を受け付ける部分である。

表示部２０２は、ディスプレイなどであり、各種情報を表示出力する部分である。制御部２０３は、ＣＰＵ（Central Processing Unit）などであり、各部を動作制御する部分である。

メモリ２０４は、メモリなど、各種情報を記憶する部分である。メモリ２０４は、例えば、制御部２０３での動作制御に関するデータを一時的に保持する。

データ入力部２０５は、被験者１０３の運動状態を撮像する深度カメラ１０２により撮像された結果である深度情報や画像データを深度カメラ１０２から取得する部分である。

骨格認識部２０６は、当該深度情報から人体（被験者１０３）の骨格特徴点位置を認識する部分である。すなわち、骨格認識部２０６は、データ入力部２０５により取得された深度情報を用いて被験者１０３の骨格位置を認識する部分である。

骨格認識部２０６は、上記深度情報から特定される各骨格位置の位置情報（骨格特徴点位置の情報）を抽出する。

特徴量生成部２０７は、骨格特徴点位置（骨格特徴点座標）の時間推移からあらかじめ設計した指標（特徴量）を抽出する部分である。すなわち、特徴量生成部２０７は、骨格認識部２０６で認識された骨格位置から当該骨格の特徴量（例えば、左歩幅等）を生成する部分である。

モデル２０８は、特徴量の条件から歩行タイプを識別するためにあらかじめ対応関係を学習したモデルを記憶する部分である。すなわち、モデル２０８は、骨格部分の動作の特徴量と、当該特徴量に対応する歩行状態とが定められたモデル情報を記憶するデータベースであり、記憶部として機能する。

識別部２０９は、特徴量生成部２０７により生成された特徴量と、モデル２０８で記憶しているモデルとを用いて、被験者１０３の歩行タイプを識別する部分である。

このように、運動解析装置１０１は、被験者１０３が歩くときの骨格の座標変化から歩幅や歩行速度などの特徴量を生成し、複数の特徴量を組み合わせて歩行タイプを識別する。

ここで、歩行タイプは、疼痛回避歩行や鶏歩など臨床的に異常歩行とされる歩行の区分けや、若年者と高齢者など年代ごとの歩行の区分けなどが該当する。

これらの歩行タイプは医師などの専門家によれば歩幅や歩行速度など歩き方の特徴を見て判断されるものである。

運動解析装置１０１はこれらの特徴を深度カメラ１０２の計測データから定量化し、機械学習等で歩行タイプとの関係性を学習させたモデルを用いて識別を行うものである。

続いて、図３を用いて、複数のデバイス（骨格計測手段）が、同一のユーザを撮影した結果により得られた深度情報を比較するシステムを説明する。

図３は、複数の骨格計測手段（デバイス）による撮影結果を比較する運動解析装置を含むシステムの概要図である。

図３に示すように、図１で説明した運動解析装置１０１および深度カメラ１０２（第１デバイス）以外に、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２（第２デバイス）をさらに備える構成となる。深度カメラ１０２が、第１骨格計測手段として機能し、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２が、第２骨格計測手段として機能する。

なお、運動解析装置１０１は、ＵＳＢケーブル等によりＲＧＢカメラ３０１およびＲＧＢカメラ３０２と接続している。また、運動解析装置１０１は、無線・有線等のネットワークによりＲＧＢカメラ３０１およびＲＧＢカメラ３０２と情報の送受信をするようにしてもよい。

ＲＧＢカメラ３０１およびＲＧＢカメラ３０２は、ステレオカメラであり、ユーザの運動状態を撮像することができる。

ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から構成されるステレオカメラを用いて深度を推定する方法は、異なる２方向から撮影した二次元画像の視差を利用して、対象物の深度を推定する手法であり、公知の手法である。

図３に示したシステム構成で深度カメラ１０２による骨格座標認識とＲＧＢカメラ３０１およびＲＧＢカメラ３０２による骨格座標認識とを同一被験者１０３の同一歩行に対して行うことで正確に比較することができる。

歩行などの運動は、被験者１０３によって動きが異なり、さらには同一被験者１０３であっても歩行のたびに骨格の動き方が、微小に異なるため、同一被験者１０３の同一歩行を同時計測して比較評価することが望ましい。

運動解析装置１０１は、深度カメラ１０２から深度情報を取得して、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データを取得する。運動解析装置１０１は、深度カメラ１０２から取得した深度情報に基づいて、被験者１０３の骨格の動作状態を特定する。

また、運動解析装置１０１は、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から取得した画像データに基づいて、被験者１０３の骨格の動作状態（位置変化）を特定する。そして、運動解析装置１０１は、それぞれの骨格の動作状態が類似しているか否かを判断する。これにより、運動解析装置１０１は、二つの骨格座標取得手段（第１骨格計測手段および第２骨格計測手段）により撮像した結果について、同一のモデルを用いて運動状態を判断してもよいか否かを明らかにすることができる。

続いて、図４を用いて、運動解析装置１０１の機能詳細を説明する。図４は、本実施例にかかる運動解析装置１０１の構成の一例を示した図である。

図４に示すように、図２に示した運動解析装置１０１の構成に加えて、類似度算出部４０１、骨格対応テーブル４０２および運動期間抽出部４０３を備えている。

また、データ入力部２０５は、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データを取得する。すなわち、データ入力部２０５は、第２デバイスにより撮像された結果である第２撮像結果を取得する。

また、骨格認識部２０６は、データ入力部２０５により取得された第２撮像結果（ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から取得した画像データ）を用いて被験者１０３の骨格位置を認識する。具体的に、骨格認識部２０６は、上記ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から取得した画像データから特定される各骨格位置の位置情報（骨格特徴点位置の情報）を抽出する。

類似度算出部４０１は、深度カメラ１０２からの入力に対して認識された骨格特徴点と、ＲＧＢカメラ３０１および３０２からの入力に対して認識された骨格特徴点を比較して、類似度を算出する。

また、類似度算出部４０１は、自身が算出した類似度に基づいた判断結果を表示部２０２へ出力する。

ところで、第１計測手段（深度カメラ１０２）と第２計測手段（ＲＧＢカメラ３０１およびＲＧＢカメラ３０２）の骨格特徴点を比較するためには、両者が認識する骨格特徴点の対応関係をあらかじめ知っておく必要がある。

この対応関係をユーザに指定させるための入力画面を図５に示す。図５は、骨格特徴点の対応関係を入力するための入力画面の一例を示す図である。画像５０１には、第１計測手段で取得した被験者画像に、認識された骨格特徴点の位置が黒丸で重畳表示されている。

同様に、画像５０２には、第２計測手段で取得した被験者画像に認識された骨格特徴点の位置が重畳されている。

なお、データ入力部２０５が、深度カメラ１０２、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データや深度データを取得して、骨格認識部２０６が、各骨格位置の位置情報を抽出した後に、表示部２０２へ図５に示す画面を出力する。

ユーザが画像５０１と画像５０２のそれぞれから骨格特徴点を一つずつ選択すると、骨格認識部２０６は、それぞれの骨格特徴点を対応づけて保存する。このときに「左肘」など骨格特徴点の名称５０３を付与するとよい。すべての骨格特徴点を対応付けて保存したものが骨格対応テーブル４０２となる。

このように、骨格認識部２０６は、データ入力部２０５により取得された深度カメラ１０２の画像データや深度情報から認識したユーザの骨格位置と、データ入力部２０５により取得されたＲＧＢカメラ３０１およびＲＧＢカメラ３０２の画像データから認識したユーザの骨格位置との対応関係を特定する。

これにより、運動解析装置１０１は、双方のデバイスから取得した情報から特定した骨格位置を対応付けることにより、同一または対応する骨格部分を比較することができる。

また、骨格認識部２０６は、図５に示したような画面に対するユーザ操作に応じて、骨格位置を認識することにより、より正確に骨格位置を認識することができる。

運動期間抽出部４０３は、骨格認識部２０６が認識した骨格特徴点を比較するデータの範囲として運動開始から終了までを抽出する。歩行の場合は、例えば右足を着地してから次に再度右足を着地するまでの歩行１周期を比較範囲とする。歩行１周期を抽出するためには、例えば右足首のＹ軸座標値を観測して、これが最小値をとるタイミングを着地とみなして開始終了を判定すればよい。

具体的に、運動期間抽出部４０３は、骨格認識部２０６が認識した深度カメラ１０２の深度情報に基づく骨格特徴点位置の変化から、右足を着地してから右足を着地するまでの歩行１周期を特定する。また、運動期間抽出部４０３は、骨格認識部２０６が認識したＲＧＢカメラ３０１およびＲＧＢカメラ３０２の画像データに基づく骨格特徴点位置の変化から、右足を着地してから右足を着地するまでの歩行１周期を特定する。

このように、運動期間抽出部４０３は、骨格認識部２０６により認識された結果に基づいて、ユーザの所定運動期間を特定する。また、運動期間抽出部４０３は、骨格認識部２０６により認識された結果に基づき、被験者１０３の歩行の周期を特定する。これにより、運動解析装置１０１は、同一運動の期間に絞って比較することができる。

なお、類似度算出部４０１は、運動期間抽出部４０３により特定された運動期間における、骨格認識部２０６により第１撮像結果を用いて認識された被験者１０３の骨格位置の変化と、骨格認識部２０６により第２撮像結果を用いて認識された被験者１０３の骨格位置の変化との類似度を算出する。

ここで、類似度算出部４０１が、骨格特徴点の類似度を算出する処理手順を図６に示すフローチャートを用いて説明する。

図６は、類似度算出部４０１において骨格特徴点の類似度を算出する処理手順を示すフローチャートである。

ステップＳ０１において、類似度算出部４０１は、任意の骨格を選択する処理を行う。例えば、類似度算出部４０１は、左肩や右肩、左足首、右足首などこれから類似度を算出する対象の骨格を一つ選択する。ここでは左足首を選択したとして、以降の処理を説明する。

ステップＳ０２において、類似度算出部４０１は、第１計測手段と第２計測手段のそれぞれからステップＳ０１で選択した骨格特徴点の座標データを取得する処理である。ここでいう骨格特徴点の座標データ（第１計測手段と第２計測手段のデータ）は、骨格認識部２０６によって抽出・出力されたデータである。

骨格座標は三次元で認識されており、Ｘ軸、Ｙ軸、Ｚ軸それぞれについて特定のサンプリング間隔で取得されたデータがある。ここでは、例えば、Ｘ軸を選択したとして、以降の処理を説明する。

ステップＳ０３は、ステップＳ０２で取得した骨格座標データから、特定の一つの座標軸のデータを取得する処理である。具体的に、類似度算出部４０１は、Ｘ軸、Ｙ軸、Ｚ軸の中から一つを選択して、その座標軸の骨格データを第１計測手段および第２計測手段に対応する骨格認識部２０６によって抽出・出力されたデータから取得する。

ステップＳ０４は、ステップＳ０３で選択した軸について第１計測手段、第２計測手段のデータを用いて相互相関関数を計算する処理である。ここで、相互相関関数は二つの信号の類似性を確認するために用いる計算で、第１の信号に対して第２の信号を時間ｔだけずらしたものを乗算、積分して得られる。ずらす時間ｔを横軸にとり、縦軸に積分値をプロットしたものが相互相関関数となる。

ステップＳ０５は、すべての座標軸に対して相互相関関数の算出が終了したか判定する処理である。終了していなければステップＳ０３に戻って、新たな軸を選択する。具体的には、類似度算出部４０１は、先ほど相互相関関数を算出したＸ軸を除き、Ｙ軸またはＺ軸のいずれかを選択する。すべての軸について算出が終了した場合は、ステップＳ０６に進む。

ステップＳ０６は、左足首の３軸それぞれについて算出した相互相関関数を用いて、左足首の類似度を算出する処理である。類似度は、３つの相互相関関数を同じ時間軸で加算し、その最大値をとることで得られる。被験者１０３が深度カメラ１０２に向かって歩く場合、左足首のＺ軸座標値は大きな範囲で変化するが、Ｘ軸およびＹ軸の座標値が取りうる値はＺ軸に比べると小さい。これをそのまま相互相関関数を算出して加算すると、もとの値の大きさによりＺ軸の影響が大きくなる。

これを防ぐため、第１計測手段で得た座標値と第２計測手段で得た座標値とを、それぞれ最小値０、最大値１になるように正規化しておくことが望ましい。

ステップＳ０７は、ステップＳ０６で算出した類似度を特定の閾値で判定する処理である。類似度算出部４０１は、類似度が特定の閾値より大きい場合は、左足首について第１計測手段と第２計測手段の特性は同じであると判断する。

類似度算出部４０１は、反対に閾値より小さい場合（または、閾値以下の場合）は、両者の特性は異なると判断する。この閾値は初期設定としてあらかじめ設計者が決定しておいてもよいし、ユーザが任意の値を設定できるようにしてもかまわない。

ステップＳ０８は、すべての骨格特徴点について類似度算出が終了したか判定する処理である。類似度算出部４０１は、終了していなければステップＳ０１に戻って、新たな骨格特徴点を選択する。具体的には、先ほど類似度を算出した左足首を除き、右足首等の骨格特徴点を選択する。類似度算出部４０１は、すべての骨格特徴点について算出が終了した場合は、ステップＳ０９に進む。なお、必ずしもすべての骨格について類似度を算出する必要はなく、ユーザの指定により類似度を算出する骨格特徴点を選択できるようにしてもよい。

ステップＳ０９は、各骨格特徴点について判定した類似度の結果を表示部２０２へ出力することによって、ユーザに当該結果を提示する処理である。

図７は、類似度をユーザに提示する画面構成の一例を示す図である。画面左側には人体の骨格位置を模式的に示した骨格モデル７０１（人体部分）が表示されている。

当該骨格モデル７０１では、一つ一つの丸（例えば、骨格部分Ｃ１や骨格部分Ｃ２）が頭、首、左肩、右肩などの骨格特徴点の位置を示している。骨格特徴点を示すそれぞれの丸は、ステップＳ０６で算出した骨格特徴点ごとの類似度に応じて強調表示がなされる。例えば、類似度算出部４０１は、類似度が小さく第１計測手段と第２計測手段の特性が異なると判定した左手首（骨格部分Ｃ１）を黒丸で表示出力し、ユーザに注意を促す。

また、類似度算出部４０１は、類似度が大きく第１計測手段と第２計測手段の特性が同様であると判定した左手首（骨格部分Ｃ２）を黒色とは異なる表示色（例えば、灰色）で表示出力する。

このように、類似度算出部４０１は、類似度により、表示色を変えて出力することにより、ユーザに各骨格部分の類似度を容易に理解させることができる。

また、類似度算出部４０１は、類似度算出部類似度の値の大きさに応じて丸を強調する色や大きさを段階的に変えてもよい。

また、類似度算出部４０１は、ユーザがポインタ等を操作した結果、特定の骨格特徴点の丸（例えば、骨格部分Ｃ２）が選択指示されたことを検出すると、画面右側にその骨格特徴点の計測データを表示する。

第１計測手段の計測データプロット７０２、第２計測手段の計測データプロット７０３、および相互相関関数のプロット７０４において、類似度算出部４０１は、それぞれＸ軸、Ｙ軸、Ｚ軸の計測データを表示する。

また、類似度算出部４０１は、相互相関関数を加算して得られる類似度のプロット７０５も合わせて表示する。このように、類似度算出部４０１は、類似度の判断結果として、骨格モデル７０１と、当該骨格モデル７０１の骨格部分（例えば、骨格部分Ｃ２）の類似度を示す情報とを出力する。

ユーザは、この画面を見ることで、ユーザは第１計測手段と第２計測手段の特性を容易に確認することができ、モデル再構築の作業を効率化することができる。ここでは類似度を時間のずれに対するグラフとして表示したが、最大値を直接数値表示しても良い。

この結果、ユーザがグラフを読み取る必要がなくなり、より簡潔に類似度を把握することができる。

また、類似度算出部４０１は、図８に示すような骨格特徴点と類似度の対応を一覧にした表８０１を表示出力してもよい。図８は、骨格特徴点と類似度の対応を一覧にした表を示す画面例の一例を示す図である。

図８に示す表８０１は、歩行タイプを識別する際に寄与する割合の順位を示す「識別に寄与する順位」と、特徴量の内容を示す「特徴量名」と、当該特徴量を算出するために用いた骨格の名称を示す「骨格特徴点名」と、類似度を示す「類似度」とを含む。なお、上記の識別に寄与する順位は、第１計測手段で構築したモデルによりあらかじめ定まっている。

第１計測手段でモデルを構築した際に識別に寄与する特徴量は明らかになっており、この特徴量が第１計測手段と第２計測手段の間で特性に大きな差があるとモデルの再構築が必要になる。

それをユーザが確認しやすくなるよう、識別に寄与する順位が高いほうから特徴量名を列挙する。また、その特徴量を生成するために使用している元データの骨格特徴点名と、その類似度を表示する。

例えば、識別にもっとも寄与する右歩幅は右足首のデータから生成されており、右足首の類似度は０．９と高い。したがって、右足首のデータは再分析の必要がなく、第１計測手段で構築したモデルをそのまま使っても問題ないと判断できる。

一方、識別に２番目に寄与する左手の振り幅は左手首のデータから生成されており、左手首の類似度は０．３と低い。したがって、左手首のデータは第１計測手段で構築したモデルをそのまま使えるとは限らず、再分析を行う必要がある。以上のように、表８０１を提示することでユーザは再分析の必要性を容易に把握することができ、またどの骨格特徴点のデータを再分析すべきかを素早く判断することができる。

上述の実施例によれば、運動解析装置１０１では、データ入力部２０５が、第１撮像結果および第２撮像結果を取得する。また、運動解析装置１０１では、骨格認識部２０６は、データ入力部２０５により取得された第１撮像結果を用いて被験者１０３の骨格位置を認識すると共に、データ入力部２０５により取得された第２撮像結果を用いて被験者１０３の骨格位置を認識する。

運動期間抽出部４０３は、骨格認識部２０６が認識した骨格特徴点を比較するデータの範囲として運動開始から終了までを抽出する。類似度算出部４０１は、深度カメラ１０２からの入力に対して認識された骨格特徴点と、ＲＧＢカメラ３０１および３０２からの入力に対して認識された骨格特徴点を比較して、類似度を算出し、当該類似度に基づいた判断結果を出力する。

運動解析装置１０１は、上記のように異なるデバイスの撮像結果に基づいた、ユーザの骨格位置の変化の類似度を算出した結果を出力することで、第２デバイスに対して、第１デバイス用のモデルを適用可能か否かを判断することができ、効率的にデータ分析をすることを可能とする。

（実施例２）
実施例１では第２計測手段を初めて導入する際に、特性の違いを可視化することでモデル再構築作業を効率化する例を示したが、さらに計測を行う実環境で第２計測手段単体で計測を行い、モデルの最終調整を行ってもよい。

図９は、第２実施例にかかる運動解析装置を用いて計測を行うシステムの構成を示した図である。運動解析装置１０１にはＲＧＢカメラ３０１および３０２が接続され、これらに向かって被験者１０３が歩行するところを計測する。本実施例では、実施例１で説明した第１デバイス（深度カメラ１０２）から取得した撮影結果に基づいたモデルを運動解析装置１０１が予め保持しているものとする。

図１０は、現地計測環境（ＲＧＢカメラ３０１およびＲＧＢカメラ３０２を実際に運用する環境）でモデルの最終調整を行う運動解析装置１０１の内部構成を示した図である。

図２と同じ番号を付したブロックは、図２と同等の働きをする。識別結果判定部１００１は、既知の歩行タイプである被験者の歩行を計測した際に、モデルを用いて識別した結果が既知の歩行タイプと一致するか否かを判定するブロックである。

既知の歩行タイプは図１１に示すような画面であらかじめユーザに入力させる。図１１は、歩行タイプの入力画面（歩行タイプ入力画面）を示す図である。歩行タイプ入力画面１１０１にはモデルが識別できる歩行タイプを候補として表示しておき、ユーザに選択させることが望ましい。

例えば、ユーザが画面で正常歩行を選択された場合は、運動解析装置１０１は、歩行を計測してモデルで識別した結果が正常歩行であるか否かを判定する。

すなわち、操作入力部２０１により、上記選択操作がなされると、データ入力部２０５が、歩行タイプの入力を受け付ける。また、データ入力部２０５は、実施例１で述べたＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データとは別に、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から検証用の撮像結果（検証用撮像結果）を取得する。

骨格認識部２０６は、当該検証用の撮像結果を用いて、被験者１０３の骨格位置を認識する。そして、特徴量生成部２０７は、骨格認識部２０６により認識された検証用撮像結果に基づいたユーザの骨格位置から特徴量を生成する。識別結果判定部１００１は、特徴量生成部２０７により生成された特徴量と、データ入力部２０５により受け付けられた歩行タイプに対応するモデル情報とを用いて、データ入力部２０５により受け付けられた歩行タイプに対応するか否かを検証する。識別結果判定部１００１は、当該検証した結果を表示部２０２へ表示出力する。

歩行タイプ入力画面１１０１には、開始ボタン１１０２とキャンセルボタン１１０３とが含まれる。

開始ボタン１１０２をユーザが選択すると計測を開始し、判定結果を出力する。また、キャンセルボタン１１０３を選択すると一つ前の画面に戻る。

続いて、図１２を用いて、判定結果（検証した結果）の画面例を説明する。図１２は、判定結果の画面の一例を示す図である。

識別結果（判定結果）が一致する場合は、図１２（ａ）に示すような画面１２０１でユーザに計測デバイスを識別モデルが整合していることを通知する。これにより、ユーザは計測デバイスの調整やモデル再構築が不要であると判断できる。画面１２０１には終了ボタン１２０２と再計測ボタン１２０３が表示されている。ユーザが終了ボタン１２０２を選択すると本実施例の処理を終了し、再計測ボタン１２０３を選択すると歩行計測の処理を再度行う。

識別結果が一致しない場合は、図１２（ｂ）に示すような画面１２０４を提示してユーザに計測デバイスまたは識別モデルの調整が必要であることを提示する。すなわち、識別結果判定部１００１による検証結果が、データ入力部２０５により受け付けられた歩行タイプに対応しないことを示す場合、識別結果判定部１００１は、警告を示す情報を出力する。これにより、ユーザは計測デバイスの設置環境変更やモデル再構築が必要であると判断でき、再度歩行を計測して識別結果が一致するまでこの処理を繰り返す。

また、識別結果が一致しない場合は、計測デバイスから得られる骨格特徴点の座標データを補正して識別結果が一致するようにしても良い。補正の方法は、既知の歩行タイプの代表データをあらかじめ保存しておき、この骨格特徴点の座標データとの間の類似度が大きくなるように座標データが変化する範囲等をスケーリングする。補正後に識別結果が一致しない場合は、さらに補正をかけて識別結果を確認する処理を繰り返してもよい。

（実施例３）
実施例１では第１計測手段と第２計測手段で得られる骨格特徴点の対応関係をユーザに指定させたが、取得した骨格座標データから対応する骨格特徴点を推定してもよい。

ここで、図１３に記載のフローチャートを用いて説明する。図１３は、運動解析装置１０１が、第１計測手段と第２計測手段の骨格特徴点の対応関係を推定し、骨格対応テーブルを生成するフローチャートである。

ステップＳ２１は、第１計測手段の深度データから骨格特徴点一つを選択する処理である。ここでは、骨格認識部２０６が、深度データから抽出した任意の骨格特徴点（便宜上骨格特徴点１－１ともいう）を選択したものとする。

ステップＳ２２は、第２計測手段の複数方向から撮像された画像データから特定した骨格特徴点を選択する処理である。ここでは、骨格認識部２０６が、第２計測手段の複数方向から撮像された画像データから特定した任意の骨格特徴点を選択したものとする。

ステップＳ２３は、ステップＳ２１およびステップＳ２２で選択した骨格特徴点の組み合わせに対して類似度を計算する処理である。類似度は、実施例１で述べたように二つの骨格特徴点についてＸ軸、Ｙ軸、Ｚ軸それぞれの相互相関関数を計算し、それらを加算して類似度関数の最大値をとることで得られる。

ステップＳ２４は、第２計測手段のすべての骨格特徴点を用いて類似度の計算が完了したか否かを判定する処理である。完了していなければステップＳ２２に戻って、別の骨格特徴点を選択する。完了した場合はステップＳ２５に進む。

ステップＳ２５は、深度データから抽出した任意の骨格特徴点に対して網羅的に算出した類似度の中から、最大となる骨格特徴点の組み合わせを抽出する。例えば骨格特徴点１－１と骨格特徴点２－１の類似度が最大であれば、この組み合わせが対応関係にあると判断して骨格対応テーブル４０２に保存する。

ステップＳ２６は、第１計測手段のすべての骨格特徴点に対して対応関係にある組み合わせを見つける処理が完了したか否かを判定する。完了していなければステップＳ２１に戻って、別の骨格特徴点１－２を選択する。完了した場合はすべての骨格特徴点について対応関係を生成できたことになり、本実施例の処理を終了する。

この手法で推定した骨格特徴点の対応関係を図５に示した画面に表示し、これを初期値としてユーザに最終確認、修正させる形態とすればユーザの入力作業が軽減され、効率化につながる。

（実施例４）
実施例１および実施例３では第１計測手段と第２計測手段で得られる骨格特徴点の種類が同一である場合について説明したが、両者の骨格特徴点が異なる場合は座標変化が似た骨格特徴点で代替してもよい。

本実施例では、第２計測手段で得られる骨格特徴点の種類が第１計測手段よりも少ない場合に、座標変化が類似した骨格特徴点を特定してそのデータで代替する手法ついて説明する。

図１４は、実施例４にかかる運動解析装置の構成を示した図である。運動解析装置１０１は実施例１の構成に加えて骨格特徴点補間部１４０１（骨格位置補間部）を備えている。骨格特徴点補間部１４０１は、第１計測手段で認識する骨格特徴点には存在して、第２計測手段で認識するものには存在しない骨格特徴点のデータを補間する。すなわち、骨格特徴点補間部１４０１は、骨格認識部２０６により第１撮像結果を用いて認識されたユーザの骨格が、第２撮像結果を用いて認識されたユーザの骨格に無い場合、当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置を特定する部分である。

図１５は、第２計測手段には存在しない第１計測手段の骨格特徴点（対象特徴点）について、類似する第１計測手段の骨格特徴点を特定するフローチャートである。

ステップＳ３１は、対象特徴点と隣接する第１計測手法の骨格特徴点を一つ選択する処理である。骨格特徴点補間部１４０１は、人体の特性上、隣接する骨格特徴点が似た座標変化を示すため、例えば対象特徴点が右肘の場合には隣接する骨格特徴点として右手首や右肩などがあり、この中から一つを選択する。

ステップＳ３２は、対象特徴点とステップＳ３１で選択した骨格特徴点を用いて類似度を計算する処理である。類似度は、実施例１で述べたように二つの骨格特徴点についてＸ軸、Ｙ軸、Ｚ軸それぞれの相互相関関数を計算し、それらを加算して類似度関数の最大値をとることで得られる。

ステップＳ３３は、対象特徴点に隣接するすべての骨格特徴点に対して類似度の計算が完了したか否かを判定する処理である。完了していなければステップＳ３１に戻って、別の骨格特徴点を選択する。完了した場合はステップＳ３４に進む。

ステップＳ３４では、骨格特徴点補間部１４０１は、対象特徴点に対して算出した類似度の中から、最大となる組み合わせを抽出する処理である。例えば対象特徴点が右肘の場合に右手首との類似度が最大であれば、右肘の座標変化は右手首で代替可能と判断し、第２計測手段については右肘のデータを右手首で代替する。

この手法で右肘のデータは右手首で代替可能と判断した旨をユーザに提示し、確認させれば、ユーザが意図しない代替を防止することができる。

また、隣接する一つの骨格特徴点で代替するのではなく、隣接する複数の骨格特徴点から内挿または外挿で対象特徴点のデータを生成しても良い。歩行の場合、肘は伸ばしたまま腕を振ることが多いため、右肘が対象特徴点の場合は右手首と右肩から内挿で座標変化を求めることができる。

そして、類似度算出部４０１は、骨格認識部２０６により第１撮像結果を用いて認識されたユーザの骨格が、第２撮像結果を用いて認識されたユーザの骨格に無い場合、骨格認識部２０６により第１撮像結果を用いて認識されたユーザの骨格の位置変化と、骨格特徴点補間部１４０１により特定された当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置の骨格の位置変化との類似度を算出する。

これにより、運動解析装置１０１は、第１撮像結果および第２撮像結果から同一の骨格位置の情報が無くても互いの類似度を算出することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備える実施形態に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の構成を用いて追加、削除、置換することが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部またはすべてを例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

さらには、上記した実施例は解析対象の運動として歩行を例にとったが、任意の運動に対して適用しても構わない。

本発明は、ユーザを撮像可能なデバイスから取得した情報を処理するシステムに利用可能である。

１０１…運動解析装置、２０１…操作入力部、２０２…表示部、２０３…制御部、２０４…メモリ、２０５…データ入力部、２０６…骨格認識部、２０７…特徴量生成部、２０８…モデル、４０１…類似度算出部、４０２…骨格対応テーブル、４０３…運動期間抽出部。

Claims (10)

1. ユーザを撮像可能なデバイスから取得した情報を処理する情報処理装置であって、
   ユーザの運動状態を撮像する第１デバイスにより撮像された結果である第１撮像結果を取得する第1撮像結果取得部と、
   前記ユーザの運動状態を撮像する第２デバイスにより撮像された結果である第２撮像結果を取得する第２撮像結果取得部と、
   前記第１撮像結果取得部により取得された第１撮像結果を用いてユーザの骨格位置を認識し、前記第２撮像結果取得部により取得された第２撮像結果を用いてユーザの骨格位置を認識する骨格認識部と、
   前記骨格認識部により認識された結果に基づいて、ユーザの所定運動期間を特定する運動期間特定部と、
   前記運動期間特定部により特定された運動期間における、前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格位置の変化と、前記骨格認識部により前記第２撮像結果を用いて認識されたユーザの骨格位置の変化との類似度を算出する類似度算出部と、
   前記類似度算出部により算出された類似度に基づいた判断結果を出力する判断結果出力部と、を備える情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記運動期間特定部は、前記骨格認識部により認識された結果に基づき、ユーザの歩行の周期を特定する、情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記判断結果出力部は、前記類似度算出部により算出された類似度が、所定の閾値よりも大きい場合、前記第１デバイスおよび前記第２デバイスが類似する旨を示す情報を出力し、前記類似度算出部により算出された類似度が、所定の閾値以下である場合、前記第１デバイスおよび前記第２デバイスの特性がそれぞれ異なる旨の情報を出力する、情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記判断結果出力部は、前記判断結果として、人体部分と、当該人体部分の骨格部分の類似度を示す情報とを出力する、情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記骨格認識部は、ユーザにより指定された骨格位置を示す情報をさらに取得し、ユーザの骨格位置を認識する、情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   歩行タイプ毎に、骨格部分の動作の特徴量と、当該特徴量に対応する歩行状態とが定められたモデル情報を記憶する記憶部と、
   歩行タイプの入力を受け付ける受付部と、
   前記第２デバイスにより検証用として撮像された結果である検証用撮像結果を取得する検証用撮像結果取得部と、
   前記骨格認識部で認識された骨格位置から当該骨格の特徴量を生成する特徴量生成部と、
   前記特徴量生成部により生成された特徴量と、前記受付部により受け付けられた歩行タイプに対応するモデル情報とを用いて、前記受付部により受け付けられた歩行タイプに対応するか否かを検証する検証部と、
   前記検証部による検証結果を出力する検証結果出力部と、
   をさらに備え、
   前記骨格認識部は、前記検証用撮像結果取得部により取得された検証用撮像結果からユーザの骨格位置を認識し、
   前記特徴量生成部は、前記骨格認識部により認識された前記検証用撮像結果に基づいたユーザの骨格位置から特徴量を生成する、
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記検証結果出力部は、検証部による検証結果が、前記受付部により受け付けられた歩行タイプに対応しないことを示す場合、警告を示す情報を出力する、
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、
   前記骨格認識部は、前記第１撮像結果取得部により取得された第１撮像結果から認識したユーザの骨格位置と、前記第２撮像結果取得部により取得された第２撮像結果から認識したユーザの骨格位置との対応関係を特定する、情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格が、前記第２撮像結果を用いて認識されたユーザの骨格に無い場合、当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置を特定する骨格位置補間部をさらに備え、
   前記類似度算出部は、前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格が、前記第２撮像結果を用いて認識されたユーザの骨格に無い場合、前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格の位置変化と、前記骨格位置補間部により特定された当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置の骨格の位置変化との類似度を算出する、
   情報処理装置。
10. ユーザを撮像可能なデバイスから取得した情報を処理する情報処理装置で実行する判断結果出力方法であって、
    ユーザの運動状態を撮像する第１デバイスにより撮像された結果である第１撮像結果を取得する第1撮像結果取得ステップと、
    前記ユーザの運動状態を撮像する第２デバイスにより撮像された結果である第２撮像結果を取得する第２撮像結果取得ステップと、
    前記第１撮像結果取得ステップで取得した第１撮像結果を用いてユーザの骨格位置を認識し、前記第２撮像結果取得ステップで取得した第２撮像結果を用いてユーザの骨格位置を認識する骨格認識ステップと、
    前記骨格認識ステップで認識した結果に基づいて、ユーザの所定運動期間を特定する運動期間特定ステップと、
    前記運動期間特定ステップで特定した運動期間における、前記骨格認識ステップで前記第１撮像結果を用いて認識したユーザの骨格位置の変化と、前記骨格認識ステップで前記第２撮像結果を用いて認識したユーザの骨格位置の変化との類似度を算出する類似度算出ステップと、
    前記類似度算出ステップで算出した類似度に基づいた判断結果を出力する判断結果出力ステップと、を含む判断結果出力方法。

Images