JPWO2014042121A1 - 動作評価装置及びそのプログラム - Google Patents

Abstract

効果的に利用者に模範動作を教示することができる動作教示装置を提供することを目的とする。本発明の動作評価装置は、利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、部位座標に基づいて利用者の動作を評価する動作評価部と、利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する。

Description

本発明は、特に胸骨圧迫動作（いわゆる心臓マッサージ）などの救急措置や介護、スポーツなど、身体で動作を覚える必要がある場合に、利用者に模範動作を教示し、利用者の動作を評価することで、動作習得を支援する動作評価装置及びそのプログラムに関するものである。

従来、利用者へ動作を教示する動作教示装置として、様々な装置が検討されてきた。例えば、胸骨圧迫動作の訓練においては、センサを埋め込んだ心肺蘇生人形を床に寝かせ、その人形に対して胸骨圧迫動作を行わせることで、人形に対する胸骨圧迫の深さをセンサで計測し、適正な動作かどうかを判断することが行われている。しかし、胸骨圧迫を正しく行っているかどうかは、胸骨圧迫の深さを計測するだけでは不十分である。正しく胸骨圧迫動作を行うには、適切な姿勢、肘の角度、適切な圧迫周期で行う必要がある。従来の心肺蘇生人形での訓練においては、行為者の姿勢等を判定することができず、正しい動作を教示できないという問題があった。

特許文献１においては、ロボットが動作を教示し利用者が動作すると、撮影した利用者の動作とロボットの教示動作との差異を撮影画像に基づいて判定し、差異を補正するためのアドバイスを出力する技術が開示されている。

また、特許文献２においては、利用者の視線方向を検出し、利用者のアングルからの教師画像を提供することで適切な教師画像を提供することができる技術が開示されている。

特開２００６−３２０４２４号公報 特開平１１−２４９７７２号公報

しかし、特許文献１や特許文献２に開示された技術では、ロボットが教示した動作と利用者の動作との細かな差異やテンポを適切に教示できないという問題があった。また、これらの技術では、利用者の体格に合わせた教師画像ではないため、利用者が動きの違いを把握することが難しく、十分に習得できないという問題があった。

本発明は、上述した従来技術の課題に鑑みてなされたもので、利用者の体格に合ったモデルによる教師動作画像を提供し、利用者の動作と重畳して表示し、また動作を評価することで効果的に利用者に模範動作を教示することができる動作教示装置を提供することを目的とする。

上記目的に鑑み、本発明は利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、部位座標に基づいて利用者の動作を評価する動作評価部と、利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置を提供する。

また、本発明の部位座標算出部は、利用者の頭、両肩、両肘、手、両手首それぞれの重心座標を算出することで各部位の部位座標を算出することを特徴とする。さらに、部位座標算出部は、各部位の所定範囲内の画素における少なくとも視差情報に基づいて算出してもよい。そして、部位座標算出部は、両肩の部位座標を算出し、両肩の部位座標に基づいて頭の部位座標を算出してもよい。

また、利用者モデル生成部は、部位座標算出部が算出した部位座標に基づいて利用者の体格データを生成する体格データ算出部と、利用者の体格データに教師動作パラメータを各時点で加算することで利用者の形状モデルによる教師動画像データを生成する教師動作加算部と、を有することを特徴とする。

さらに、教師動作加算部は、体格データ算出部から取得した体格データのうち、両肘及び両肩の部位座標を、両手首の部位座標と、教師動作の初期角度に基づいて補正することを特徴とする。

また、動作評価部は、利用者の動作を１周期分抽出して評価を行い、出力制御部は、評価結果をあわせて出力することを特徴とする。

なお、本発明にいう動作は胸骨圧迫動作であり、利用者の胸骨圧迫動作を評価してもよい。

また、本発明は、利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて利用者の形状モデルによる教師動作動画像データを生成する利用者モデル生成部と、部位座標に基づいて利用者の動作を評価する動作評価部と、利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置としてコンピュータを機能させることを特徴とするプログラムであることを特徴とする。

本発明によれば、利用者の体格に合った形状モデルを生成し、そのモデルによる教師動作を表示させることができる。このため、利用者が正しい動作への理解が容易となり、より早く正しい動作を習得することができる。また、三次元の形状モデルでの教師画像を提供するため、従来わかり難かった奥行方向での姿勢の違いについても、差異が明確となり、より正確に動作を習得することができる。

さらに、本発明によれば教師画像と利用者が行っている動作の画像とを重畳表示させ、評価結果を出力するため、利用者は、教師動作との細かな差異を明確に理解することができる。従って、正確な動作を早期に習得することが可能となる。

本発明における動作評価装置１００の全体構成の一例を示すブロック図である。 動作評価装置１００により実行される利用者の体の各部位の部位座標の算出処理の流れの一例を示すフロー図である。 部位座標算出範囲として指定された座標範囲の一例を表す図である。 右肘部の重心算出方法を説明する図である。四角形が、視差及び色情報がパラメータの範囲内である画素のイメージ図である。 頭部として抽出する領域を説明する図面である。 頭部の重心算出に用いた画素及び算出された重心を示す模式図である。 利用者モデル生成部１０４の構成の一例を示す機能ブロック図である。 教師動画像に基づく教師動作パラメータの生成処理のフローチャートである。 利用者の形状モデルによる教師動作の動画像生成処理のフローチャートである。 利用者の体格データの補正に関する模式図である。 利用者の動作を評価する処理のフローチャートである。 利用者の体格による形状モデル画像と、利用者の画像とを重畳表示させた例である。 利用者の手の部位座標の推移を示すグラフである。 各画像データ間における差分と、圧迫方向の向きを表すテーブルである。 利用者の手の部位座標の推移に基づいて検出した胸骨圧迫動作の１周期を算出したテーブルの一例である。 特徴量とその閾値を表す評価テーブルの一例である。 教師動作を行う利用者の形状モデルと利用者の胸骨圧迫動作とを重畳表示させ、画面にアドバイスを表示された表示画面の一例である。 動作評価装置のハードウェア構成図の一例である。

図１は本発明における動作評価装置１００の全体構成の一例を示すブロック図である。図１においては、動作評価装置１００は、撮像装置１０、音声出力装置２０、表示装置３０と接続されている。撮像装置１０は、例えば２つのカメラを有するいわゆるステレオカメラである。また、３次元距離画像を取得できるカメラであってもよい。たとえば、撮像装置１０は、胸骨圧迫動作など、習得しようとしている動作を行っている利用者を撮像する。撮像装置１０は、撮影により時系列的に画像データを取得し、動作評価装置１００へと送る。音声出力装置２０は、例えば、スピーカであって、利用者への指示や、動作評価装置１００での評価結果やアドバイスなどを音声出力する。表示装置３０は、例えば、ディスプレイであって、撮像装置１０によって撮像される動画像データを表示する。また利用者の動作に対する評価結果を表示し、生成された利用者の形状モデルによる教師動作と撮像データの重畳表示を行う。

動作評価装置１００は、画像取込部１０１、部位座標算出部１０２、教師動作記憶部１０３、利用者モデル生成部１０４、動作評価部１０５、出力制御部１０６を有する。

画像取込部１０１は、たとえば、撮像装置１０からリアルタイムで入力される利用者の動作を撮像した動画像、または図示していないデータベース等に記憶された動画像データを取り込む。取り込んだ動画像データは、視差データ又は距離データを有する動画像データである。

部位座標算出部１０２は、画像取込部１０１によって取り込まれた動画像データの一フレーム画像データ各々において、利用者の体の各部位の部位座標を算出する。体の各部位とは、例えば、頭や肩などの人間の体の一部分を指す。部位座標算出部１０２は、取り込んだ画像における視差や色情報に基づいて、利用者の体の部位を検出し、各部位の重心を算出することで、その画像における利用者の体の各部位の部位座標を算出する。具体的な算出方法については、後述する。算出した部位座標は利用者モデル生成部１０４または動作評価部１０５へ出力される。

教師動作記憶部１０３は、例えば、データベースを有するメモリであり、模範となる教師動作を撮像した動画像データを記憶する。胸骨圧迫動作を教示する場合、例えば、救命士が行う胸骨圧迫動作が撮像された動画像データを記憶する。教師動作記憶部１０３に記憶されている動画像データは、視差データ又は距離データを有している。なお、後述するが、教師動作パラメータ生成部６０１を有しない構成とする場合、教師動作記憶部１０３は、各部位の部位座標の時系列変化データである教師動作パラメータを記憶する。

利用者モデル生成部１０４は、利用者の三次元による形状モデルを生成し、利用者の形状モデルによる教師動作の動画像データを生成する。つまり、部位座標算出部１０２でフレーム画像データから算出された利用者の各部位の部位座標に基づいて、利用者の体格データを算出し、利用者の形状モデルを生成する。また、教師動作記憶部１０３に教師動画像データが記憶されている場合は、教師動画像データに基づいて教師動作パラメータを生成し、教師動作記憶部１０３に教師動作パラメータが記憶されている場合は教師動作パラメータを読みだす。利用者の形状モデルに教師動作パラメータを加算することで、利用者の形状モデルによる教師動作を生成する。

動作評価部１０５は、利用者の動作を、利用者の形状モデルによる教師動作に基づいて評価する。利用者の動作は、画像取込部１０１で取り込んだ画像や部位座標算出部１０２で算出した動作中の部位座標の時系列変化が算出されることで解析される。これに対し評価テーブルを設け、教師動作に基づいて設定された所定の部位におけるしきい値を記憶し、そのしきい値と比較することで、利用者の動作の評価を行う。なお、利用者モデル生成部１０４で生成された利用者の体格に合った形状モデルによる教師動作の動画像データと比較することで評価を行ってもよい。また、動作評価部１０５は、利用者の動作評価だけではなく、より理想的な動作を行うための改善点などのアドバイスを選択し、出力してもよい。

出力制御部１０６は、表示装置３０や音声出力装置２０への出力を制御する。出力制御部１０６は、撮像装置１０から画像取込部１０１により取得される利用者の動作が撮像されている動画像データと、利用者モデル生成部１０４で生成された利用者の体格に合った形状モデルによる教師動作の動画像データとを重畳表示するように出力を制御する。また、動作評価部１０５における評価結果やアドバイスを表示または音声出力するように出力制御する。

本発明に係る動作評価装置の処理は、次の３つに大別される。（１）利用者の体の各部位の部位座標の算出処理、（２）利用者の形状モデルによる教師動作の生成処理、（３）利用者の動作と教師動作を重畳表示させ、利用者の動作を評価する処理の３つである。撮像装置１０から入力された利用者が映っている動画像はフレーム画像データ各々について（１）の部位座標の算出処理が行われる。動作評価装置は、利用者が動作を行う前に、まず利用者の形状モデルを生成するために、静止するよう指示し、（１）での部位座標の算出結果をもとに（２）の利用者の形状モデルによる教師動作の生成処理（利用者形状モデル生成モード）を行う。（２）の処理が完了後は、動作評価モードとなり、（１）による部位座標の算出結果をもとに、（３）の評価処理へとうつる。従って、（２）の処理、（３）の処理、いずれの処理が行われる場合であっても、その前に動画像データに対して（１）の処理が行われる。以下、これらの処理について具体的に説明する。

（１）利用者の体の各部位の部位座標の算出処理
図２は、動作評価装置１００により実行される利用者の体の各部位の部位座標の算出処理の流れの一例を示すフロー図である。ここでは、胸骨圧迫動作を教示する場合に沿って説明する。

画像取込部１０１は、撮像装置から入力される距離画像データ、つまり画像データ及び視差データを取り込む（ステップＳ２０１）。なお、ステレオカメラから２つの画像データを取り込み、画像取込部１０１で視差を算出してもよい。また、視差データとしているが、撮像装置がステレオカメラではなく、距離計を有するカメラである場合には、画像データ及び距離データを取り込んでもよい。ここでいう「画像データ」は、時系列画像である動画像データのうちの各時点の画像データ（一フレーム画像）である。部位座標の算出処理は、取り込まれる画像データ各々に対して行われる。画像取込部１０１は、入力される画像データ及び視差データを部位座標算出部１０２へと出力する。

次に、部位座標算出部１０２は、画像取込部１０１が取り込んだ画像データから、体の各部位に該当する範囲の画面座標の各画素における視差・色情報を取得する（ステップＳ２０２）。部位座標算出部１０２は、利用者の体の各部位ごとに部位座標の算出処理を行う。各部位とは、頭、両肩（右肩、左肩）、両肘（右肘、左肘）、手、両手首（右手首、左手首）である。利用者は、部位座標の算出が容易となるように、肩や肘、手首などの所定の位置に特定の色が付されたマーカを装着していてもよい。例えば、肩の場合は、わきから肩を巻くようにマーカを装着し、肘の場合は、上腕部の最下部、肘の曲がる箇所付近に付けるなど、装着位置は予め決められているものとする。また、利用者は撮像装置から所定の距離であってカメラの正面に位置し、画像データのなかで所定のサイズとなる場所に位置する。このため、部位座標算出部１０２は、画像データのなかで体の各部位が存在しうる部位座標算出範囲として、座標範囲（画面座標におけるｘ，ｙ座標）を記憶しており、その範囲における画面座標の視差及び色情報（例えば色相、彩度、明度）を取得して算出する。

部位座標算出部１０２は、体の各部位についてパラメータを入力する（ステップＳ２０３）。パラメータとは、視差及び色情報に関するしきい値であって、体の各々の部位によって異なるパラメータが設定されている。例えば、右肘のパラメータとして、視差：155〜255、色相：79〜89、彩度：150〜200、明度：0〜19といった値が設定されている。色情報については、例えば、0〜255の範囲で表現される。肩、肘、手首にマーカが装着されている場合、そのマーカの色を考慮してパラメータを設定する。手については肌色を考慮してパラメータが設定される。なお、胸骨圧迫動作においては、両手を組んだ状態でおかれるため、左手と右手とが一体となって検出される。これらのパラメータは、部位座標算出部１０２にあらかじめ記憶されている。また、パラメータはこれに限らず外部の記憶装置から入力してもよい。部位座標算出部１０２は、各部位に対応する範囲座標の画素を抽出し、各画素について、視差及び色情報がパラメータによって設定された範囲内の値を有しているかどうか、比較する。部位座標算出部１０２は、視差及び色情報全てのパラメータにおいて設定範囲内の値を有している画素を抽出し、それらの画素の座標値を取得する。

次に、部位座標算出部１０２は、各部位について重心座標を算出する（ステップＳ２０４）。ステップＳ２０３で抽出した視差及び色情報が所定範囲内である画素の座標の平均値を重心として算出し、部位座標データとする。基本的に重心座標の算出にあたって、算出順序は問わない。但し、頭部及び手の重心座標の算出にあたっては、両肩及び両手首の重心座標の算出結果を用いると、より正確な算出が行うことが可能である。

例えば、手の重心座標の算出において、抽出範囲としてあらかじめ記憶されている座標範囲を、算出された手首の重心座標により修正する。具体的には、画面座標において水平方向をｘ座標、垂直方向をｙ座標とすると、手の設定座標範囲のｙ座標の最大値を手首の重心のｙ座標と修正してから抽出を行う。頭部についても同様に、肩の重心座標のｙ座標を用いて抽出範囲を修正する。

頭部については、中央部分の視差抜けにより、正しく重心座標を算出できない場合があるため、算出に用いる座標値の領域についてさらに補正を行ってから重心座標を算出する。頭部の重心座標の算出方法については後述する。

部位座標算出部１０２は、各部位のカメラ座標における重心座標を取得する（ステップＳ２０５）。ステップＳ２０４で算出された座標値は、画面座標であるため、カメラ座標に変換する必要がある。ここで、カメラを原点とし、カメラ面に平行な面をＸ−Ｙ平面、カメラ面から延びる光軸をＺ軸とすると、３次元空間上の位置（カメラ座標）の算出は、例えば以下の式により得られる。

部位座標算出部１０２はカメラ座標の算出を体の各部位において行うと、それらの部位座標を利用者モデル生成部１０４または動作評価部１０５へ出力する。

図３は、部位座標算出範囲として指定された座標範囲の一例を表す図である。部位座標算出部１０２は、例えば、画像データのなかで右肘が存在しうる範囲として、（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）の２つの座標値を記憶している。つまり、ｘ座標及びｙ座標におけるそれぞれの最大値及び最小値である。部位座標算出部１０２は、画像データを取得すると、これら２つの座標値、つまり（Ｘ１，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ１）、（Ｘ２、Ｙ２）で形成される矩形を部位座標算出範囲として抽出する。他の部位についても同様に、各部位に対応した範囲座標が部位座標算出部１０２に記憶されている。部位座標算出部１０２は、記憶されている範囲座標に基づいて画像データから該当する範囲に位置している画素の視差及び色情報を取得する。

図４は、右肘部の重心算出方法を説明する図である。四角形のマス目が、視差及び色情報がパラメータの範囲内である画素のイメージである。部位座標算出部１０２は、パラメータの範囲内であるこれらの画素を抽出して座標平均値を重心として算出し、重心座標を部位座標とする。図４における丸い点が算出された右肘の重心位置である。

図５は、頭部の重心座標の算出方法を説明する図である。図５ａは、頭部として抽出する領域を説明する図面である。他の部位の重心算出と同様に画像データ及び視差データは取り込まれているものとし、ここでは頭部の部位座標算出方法について説明する。部位座標算出部１０２は、頭部の重心座標算出の際に、記憶している頭部の範囲座標を読みだす。また、算出した左肩及び右肩の重心座標のｙ座標を取得し、その平均値を算出し、頭部の範囲座標のｙ座標の最小値を両肩のｙ座標の平均値に修正する。次に、部位座標算出部１０２は、修正後の範囲座標に基いて画面座標の視差・色情報を取得する。ステップＳ２０２に相当する処理である。そして、部位座標算出部１０２は、頭部のパラメータを入力する。ステップＳ２０３に相当する処理である。頭部のパラメータとして視差のしきい値が記憶されており、該当する視差値を有する画素を抽出する。

部位座標算出部１０２は、抽出した画素の座標値からｘ座標の最大値（LeftX）と最小値（RightX）及びｙ座標の最大値（TopY）を取得する。ｙ座標の最大値（TopY）と両肩の重心のｙ座標の平均値（Shoulder Hight）との中間点となるｙ座標の座標値（BottomY）を算出する。視差値に基づいて抽出した画素のうち、LeftX、RightX、TopY、BottomYで囲まれた領域の画素を重心算出に用いる領域として修正する。

重心算出に用いる画素は、さらに輪郭部分の画素のみを抽出する処理を行うことで、さらに絞り込む。LeftX、RightX、TopY、BottomYで囲まれた領域の画素であって、所定の視差値を有する画素のうち、領域内の上部及び左右部分にある輪郭部分（エッジ）の画素及び内側に向かって数ピクセルの部分の画素のみを抽出する。抽出された画素により形成される領域は概ね三日月型となる。

図５ｂは、頭部の重心算出に用いた画素及び算出された重心を示す模式図である。輪郭領域の画素の座標値に基づいて頭部の重心座標の算出を行う（ステップＳ２０４に相当）。図中のマス目は、重心算出に用いた画素のイメージであり、中心の黒い点が算出された頭部の重心である。所定の範囲座標の所定の視差値を有する画素に基づいて、重心算出を行った場合、頭部中央部分は、通常は髪の毛であるため色が同じとなりステレオマッチングが困難であるために視差データに誤差が生じる。また、精度のよいアクティブ型の距離センサであっても、揺れ動く髪の毛による光の吸収等により視差情報が欠落してしまうという問題が生じ、頭部の中央部分の視差データの欠落が大きく、正しい重心座標を算出できないという問題がある。これを、上述のように、重心算出に用いる画素を肩の重心座標を用いて修正し、さらに頭部の輪郭領域の視差画素の重心を頭部の重心座標として算出することで正確で安定した頭部領域の抽出を可能とする。なお、画素の視差・色情報取得の際に視差抜けにより重心に対応する画素の情報が存在しない場合がある。そのときには、重心の周囲３×３にある画素のカメラ座標を合わせて算出し、値が存在する画素の平均を重心のカメラ座標として算出を行っている。

（２）利用者の形状モデルによる教師動作の生成処理
図６は、利用者モデル生成部１０４の構成の一例を示す機能ブロック図である。例えば、利用者モデル生成部１０４は、教師動作パラメータ生成部６０１、体格データ算出部６０２、教師動作加算部６０３から構成される。教師動作パラメータ生成部６０１は、教師動作記憶部１０３に記憶された教師動画像データを読み出し、教師動作パラメータを生成する。教師動作パラメータとは、部位座標の隣接する画像フレーム間での変化値である。体の各部位のｘ、ｙ、ｚの座標値それぞれにおいて算出される。具体的には、教師動画像の各画像データにおいて体の各部位の部位座標を算出し、各部位座標の時系列での差分を取得することで教師動作パラメータを生成する。なお、すでに教師動作パラメータを生成し、教師動作記憶部１０３に教師動作パラメータが記憶されている場合は、教師動作パラメータ生成部６０１は不要である。

体格データ算出部６０２は、利用者に体格データが算出可能となるよう、カメラの正面であって画像のなかに利用者の上半身が収まる位置で、胸骨圧迫動作を行える態勢で所定時間（例えば、１〜２秒程度、１フレームあたり１／３０秒の場合に５０フレーム画像分）静止させる。一例として、床においた心肺蘇生人形の胸に手を置き、両肩を結ぶ線の中点と手の平を結ぶ直線が床平面に対し垂直となる姿勢で静止するよう指示する。この場合、音声出力装置２０から静止するよう音声でアナウンスしてもよい。静止している間の動画像データを取得し、所定時間分の動画像データに基づいて体格データを算出する。ここでの算出方法は、（１）で述べた部位座標の算出処理によって、部位座標算出部１０２が算出した部位座標に基づき、所定時間分の複数の部位座標に基づいて、体格データ算出部６０２が、それぞれの部位での平均を算出することで体格データを算出している。

教師動作加算部６０３は、体格データ算出部６０２で生成された利用者の体格データに、教師動作パラメータ生成部６０１で生成された部位座標の座標値の時系列変化である教師動作パラメータを加算することで、利用者の体格にあった教師動作の動画像データを生成する。

次に、利用者の形状モデルによる教師動作の動画像データの生成処理についてフローチャートを用いて詳細に説明する。図７ａは、教師動画像に基づく教師動作パラメータの生成処理のフローチャートである。

まず、教師動作パラメータ生成部６０１は、教師動作記憶部１０３に記憶されている教師動画像データを取り込む（ステップＳ７０１）。次に、胸骨圧迫動作１周期分の動画像データを抽出する（ステップＳ７０２）。たとえば、救命士の胸骨圧迫時の動画像データを教師動画像データとし、胸骨を圧迫して戻す、を１周期とした動画像データを抽出する。１周期の抽出方法の一例として、教師動画像データから、手の部位座標の人形の胸を圧迫する方向の座標（ｙ座標）の変化を抽出することで行う。なお、記憶されている動画像データがすでに１周期分の動画像データである場合には、本ステップは省略可能である。

教師動作パラメータ生成部６０１は、胸骨圧迫動作１周期分の動画像データの各画像データにおいて、体の各部位の部位座標の算出を行う（ステップＳ７０３）。部位座標の算出方法は、前述した方法と同様であり、頭部、両肩、両肘、手、両手首の各部位の部位座標を算出する。

教師動作パラメータ生成部６０１は、抽出した部位座標の動きを平均化する（ステップＳ７０４）。算出された部位座標データを、部位座標ごとにまとめて、動きの時系列を正規化する。たとえば、頭部のｙ座標データについて７フレーム分のデータがあったとする。

これを、下記のように正規化する。

さらに、各部位座標ごとにまとめて最小二乗法による多項式近似を行う。生成した多項式は、０≦ｔ≦１（ｔ＝時間）の範囲でそれぞれ対応した部位座標の正しい推移を表すため、多項式に正解動作の平均フレーム数を正規化したものを代入することで時系列による動きの変化データである教師動作を生成できる。

教師動作パラメータ生成部６０１は、時系列による動きの変化データである教師動作パラメータを生成する（ステップＳ７０５）。生成された教師動作は、位置を示す３次元の座標データではなく、時系列での座標データの変化の推移を示すデータとなっている。つまり隣接フレーム間での座標値の差分データとなっている。
たとえば、多項式近似を行った後の頭部のｙ座標データについての教師動作パラメータは、下記のようになる。

なお、表３では７フレーム分であるが、教師動作パラメータは、各々の部位座標について胸骨圧迫動作１周期の時間分、生成される。

また、時系列による動きの変化データである教師動作は、予め生成されていてもよい。この場合、教師動作パラメータ生成部６０１が行っている生成処理は事前に行われており、教師動作記憶部１０３には、１周期分の時系列による動きの変化データである教師動作パラメータのデータが記憶され、教師動作加算部６０３が、教師動作記憶部１０３から教師動作パラメータを読み出して加算処理を行う。

図７ｂは、利用者の形状モデルによる教師動作の動画像生成処理のフローチャートである。体格データ算出部６０２は、利用者を所定時間（例えば、２〜３秒程度）、撮像装置に利用者の上半身が映るような所定の位置で静止するよう音声または表示によって指示したうえで、利用者の各部位の部位座標を複数フレーム分取得する（ステップＳ７１１）。各部位の部位座標は、部位座標算出部１０２で各画像データにおいて算出され、体格データ算出部６０２に入力される。このため、体格データ算出部６０２は入力された部位座標データを複数フレーム分（例えば、５０フレーム分）、ストアする。

体格データ算出部６０２は、ストアした複数フレーム分の部位座標データについてそれぞれの部位の部位座標データについて平均値を算出することで、利用者の体格データとして算出する（ステップＳ７１２）。教師動作加算部６０３は、体格データ算出部６０２から体格データを取得し、これらの部位座標データを体格データとして初期値に設定する（ステップＳ７１３）。算出された体格データに基づいて原則として、利用者の初期値の形状モデルが生成される。なお、両肘及び両肩の部位座標に関する補正処理は、教師動作加算部６０３で行われるが、その処理については後述する。

なお、ここでは、静止した状態でのそれぞれの部位の部位座標データの平均値を算出して体格データを算出したが、手の部位座標については、数回の胸骨圧迫動作を試みに行わせてから、算出してもよい。この場合、利用者が撮像されていない状態で、心肺蘇生人形の胸の三次元形状データを取得しておく。具体的には、部位座標算出部１０２は、心肺蘇生人形の胸の稜線部分の座標のデータ列を取得する。その後、動作評価装置１００は、利用者に心肺蘇生人形に手を置かせて、胸に押し込んで元に戻す胸骨圧迫動作を複数回行わせるよう音声等で指示する。そのときに変化する手の動きのうち、手が一番上にある位置（ｙ座標値が最大となる位置）、つまり手が胸に押し込んでいない位置での重心座標値（ｘ，ｙ）を、体格データ算出部６０２が算出する。手の部位座標データでのｘ座標値は、この値とする。そして、このｘ座標値の位置における人形の胸の稜線部分のｙ値を取得して手のｙ座標値と比較し、大きい方のｙ値を手の部位座標データでのｙ座標値とする。圧迫していない状態での手の位置を、初期位置にするためである。手の部位座標をこのように算出することで手の初期位置を正確に設定することができ、精度の高い動作評価を行うことができる。

教師動作加算部６０３には、体格データ算出部６０２で算出された利用者の体格データと、教師動作パラメータ生成部６０１で生成された教師動作とが入力される。教師動作加算部６０３は、体格データ算出部６０２で算出された利用者の体格データを初期値として、各時点（フレーム画像各々）で、教師動作を加算する（ステップＳ７１４）。つまり、各部位における座標の時系列変化データを示している教師動作パラメータを利用者の体格データへ加算し、加算された座標値にさらに加算していくことで、利用者の部位座標が教師動作に従って変化する。これにより、利用者の体格にあった教師動作の動画像データを生成することができる。

但し、そのまま利用者の体格データを利用して教師動作を生成するときに、利用者の初期の姿勢が正しい姿勢ではない場合、誤った教師動作を教示してしまう問題が生じる。図８は、利用者の体格データの補正に関する模式図である。図８の（ａ）に示すように、特に胸骨圧迫動作においては、初期の正しい姿勢は腕が比較的まっすぐに近い状態である。しかし、図８（ｂ）のように、利用者の初期姿勢は、腕が曲がった状態である場合がある。このため、両手首の体格データを基準として、両肘及び両肩の体格データについては、教師動作加算部６０３において補正を行う。

教師動作加算部６０３は、教師動作パラメータが生成されたときの両手首、両肘、両肩の初期値の部位座標データを教師動作パラメータ生成部６０１から取得し、手首、肘、肩で構成される初期角度θを算出する。なお、初期角度θは、予め算出し記憶していてもよい。

教師動作加算部６０３は、体格データを体格データ算出部６０２から取得し、利用者の手首と肘の部位座標から、手首から肘までの長さを、両腕ともに算出する。同様に、利用者の肘と肩の部位座標から、肘から肩までの長さを算出する。教師動作加算部６０３は、体格データにおける両手首の部位座標と、教師動作の初期角度θ、算出された手首から肘までの長さ、肘から肩までの長さに基づいて、両手首の部位座標を基準として、利用者の腕が初期角度θをなす場合の両肘、両肩の部位座標を算出し、体格データにおける肘及び方の部位座標を補正する。

こうして、体格データのうち両肘の部位座標及び両肩の部位座標は、正しい初期姿勢における座標データに置き換える。このため、利用者の体格に合った初期姿勢を教示することができる。

（３）利用者の動作と教師動作を重畳表示させ、利用者の動作を評価する処理
体格データの算出が終わると、利用者のモデルによる教師動作が表示できる状態となり、動作学習へとうつる（動作評価モード）。利用者が動作を行う際に利用者のモデルによる教師動作が重畳表示され、利用者の動作について評価が行われる。図９は、利用者の動作を評価する処理のフローチャートである。

はじめに、利用者モデル生成部１０４によって生成された、補正後の利用者の体格に合った初期姿勢をとった教師動作を行う形状モデルが出力制御部１０６による出力制御のもと、表示装置３０へ表示され、撮像装置で撮像されている利用者の画像との重畳表示が開始される（ステップＳ９０１）。形状モデルが表示されると、利用者は、形状モデルと自らを写した画像と同一となるよう、姿勢を調整する。

利用者へ動作学習のスタートを動作評価装置１００が表示又は音声にて指示すると、利用者は胸骨圧迫動作を開始し、動作評価が同時に開始される。動作評価が行われている間、形状モデルは重畳表示されている。動作評価部１０５は、部位座標算出部１０２が各画像データにおいて算出する利用者の体の各部位の部位座標を一フレーム画像ごとにバッファする（ステップＳ９０２）。バッファされた各部位座標データは、胸骨圧迫動作１周期を検出、または動作評価の特徴量算出に用いる。

動作評価部１０５は、胸骨圧迫動作１周期分を抽出する（ステップＳ９０３）。利用者の手が、心肺蘇生人形に対し、胸骨圧迫動作を行う際の両手の部位座標の推移をバッファすることで、チェックする。特に、利用者の手の部位座標のうち、心肺蘇生人形を圧迫する方向の座標（ｙ座標）が、圧迫を示す動き（例えば、ｙ座標の値が減少し続けるフレーム群）と、手をもとに戻す動き（例えば、ｙ座標の値が増加し続けるフレーム群）を抽出し、それらを胸骨圧迫動作１周期として抽出を行う。なお、座標値の変化が所定値以下であるような動きが小さい動きについては無効とする。胸骨圧迫動作１周期の抽出方法については詳述する。

動作評価部１０５は、胸骨圧迫動作１周期を抽出すると、１周期分の部位座標データに基づいて、利用者の動作評価及びアドバイスのための特徴量を生成する（ステップＳ９０４）。特徴量は、例えば、胸骨圧迫動作１周期にかかった時間（フレーム数）、１周期中での左肘角度の最小値と右肘角度の最小値の平均などである。動作評価部１０５は、例えば評価に用いる特徴量をその特徴量のしきい値及び評価とを対応付けて評価テーブルとして記憶する。

動作評価部１０５は、生成した特徴量について、評価テーブルを参照し、記憶された所定のしきい値と比較することで、利用者の動作を評価する（ステップＳ９０５）。それぞれの特徴量としきい値を比較し、しきい値から外れている特徴量を抽出する。動作評価は各周期において行われる。評価結果及びアドバイス内容は、出力制御部１０６により出力制御され、各周期ごとに音声及び画面表示がされる。

動作評価部１０５は、評価開始から一定時間が経過したかどうか検出する（ステップＳ９０６）。一定時間経過していない場合は（ステップＳ９０６でＮｏ）、評価を継続する。一定時間経過とは、例えば、胸骨圧迫に関するガイドラインにある１人の人が継続実施する目安である２分間である。しかし、これに限らず自由に設定してもよい。一定時間経過した場合（ステップＳ９０６でＹｅｓ）は、最終評価結果を出力する（ステップＳ９０７）。

図１０は、利用者の体格による形状モデル画像と、利用者の画像とを重畳表示させた例である。教師動作を行う形状モデルの動画像データは、教師動作加算部６０３において体の各部位の部位座標に基づいて利用者の形状モデルが生成されると、図１０のように網目状の形状による形状モデルが表示される。なお、体の重心の部位座標に基づく形状モデルは既存技術により生成されるため、説明を省略する。

次に、図９のステップＳ９０３における胸骨圧迫動作１周期の抽出方法について、説明する。図１１は、図９のステップＳ９０２でバッファした利用者の手の部位座標の推移を示すグラフである。ｙ座標とはカメラ座標でのｙ座標であり、垂直方向である。従って、利用者の手が人形の胸骨を圧迫し戻す方向であり、部位座標のうちｙ座標の座標値の変化を抽出している。動作評価部１０５は、画像データ間における座標の変化（差分）を抽出する。

図１２は、各画像データ間（画像データフレーム間）における差分と、圧迫方向の向き（正又は負で）を表すテーブルである。動作評価部１０５は、７−８フレームのように変化が正であるが、両方の隣接するフレーム間が負である場合には、７−８フレーム間の動きを無効とし、「負」に変更する処理を行っている。このように１フレーム間の動きの向きのみが異なる場合には、無効とする処理を行う。

図１３は、利用者の手の部位座標の推移に基づいて検出した胸骨圧迫動作の１周期を算出したテーブルの一例である。座標値の変化が「正」だったフレームについては、手が人形から離れる方向、つまり上昇しているとみなされ、胸骨圧迫から戻す動きとみなされる。また、座標値の変化が「負」だったフレームについては、手が人形方向へ近づく方向、つまり下降しているとみなされ、胸骨を圧迫する動きとみなされる。動作評価部１０５は、圧迫動作と戻す動きとを１セットとし、胸骨圧迫動作１周期として抽出する。

図１４は、図９のステップＳ９０４において生成される特徴量とそのしきい値を表す評価テーブルの一例である。それぞれの特徴量に対応付けて望ましい動作におけるしきい値が記憶されており、動作評価部１０５は、ステップＳ９０５において胸骨圧迫動作１周期ごとに、評価テーブルに基づき、各特徴量について評価を行う。例えば、右手首のｙ座標の初期位置と最大値の差が40であれば上手と判定される。評価テーブルには、評価のための特徴量として頭や肩、肘のｚ座標の最大・最小値が設定されている。利用者はカメラに対して正面に位置しているため、ｚ方向は奥行き方向となる。頭や肩・肘が初期姿勢からｚ方向でのずれをみることで、胸骨圧迫動作時に利用者が適切な姿勢をとっているかを評価することができる。また、肘角度が１６５度以上あるかをみることで、腕をまっすぐ伸ばして胸骨圧迫動作を行っているか評価することができる。こうした評価を行うことで、正確な姿勢で動作を行っているか評価できる。

なお、ここでは、評価テーブルにはしきい値のみが記憶されているが、これらに対応付けてアドバイスを記憶していてもよい。例えば、１周期にかかったフレーム数が６フレーム未満である場合のアドバイスとして「もっとゆっくり」、８フレーム以上である場合のアドバイスとして「もっと速く」等である。これらの評価とアドバイスは表示・音声出力される。

図１５は、教師動作を行う利用者の形状モデルの動画像データと利用者の胸骨圧迫動作の動画像データとを重畳表示させ、画面にアドバイスを表示された表示画面の一例である。ある胸骨圧迫動作１周期において、すべての特徴量がしきい値の範囲内であった場合、動作評価部１０５は、模範動作であると評価を行う。図１５のように、模範動作である場合は「上手」としてその回数をカウントし、表示させてもよい。また、図１５のように利用者の手が人形の手を圧迫する深さ、つまり手のｙ座標の推移を表示し、胸骨圧迫に必要な深さのしきい値ラインを合わせて表示することで、胸骨圧迫に必要なだけの圧迫が行われているか、ひと目でわかるようにしてもよい。

動作評価装置１００は、図１６に示されているようにシステム使用者の所有するパーソナルコンピュータと、パーソナルコンピュータ上で実行されるプログラムとして構成されてもよい。パーソナルコンピュータは、ＣＰＵ（中央演算装置）１６０１と、ＣＰＵ１６０１にバスを介して接続されているＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６０５、ハードディスクドライブなどの外部記憶装置１６０７、Ｉ／Ｏインターフェース１６０９、通信ネットワーク回線に接続するための通信インターフェース１６１１などとを備え、インターフェース１６０９には、カメラ１６１３、マイク１６１５、ディスプレイ１６１７が接続されている。この場合、例えば、動作評価装置１００の画像取込部１０１、部位座標算出部１０２、利用者モデル生成部１０４、動作評価部１０５、出力制御部１０６の機能が、パーソナルコンピュータ上で実行されるプログラムによって実現され、教師動作記憶部１０３の機能が外部記憶装置によって実現され、撮像装置１０、音声出力装置２０、表示装置３０の機能がそれぞれカメラ、マイク、ディスプレイによって実現される。各種機能を実現するプログラムは、外部記憶装置１６０７に記憶され、ＲＡＭ１６０３に読みだされた後に、ＣＰＵ１６０１によって実行される。

１０ 撮像装置
２０ 音声出力装置
３０ 表示装置
１００ 動作評価装置
１０１ 画像取込部
１０２ 部位座標算出部
１０３ 教師動作記憶部
１０４ 利用者モデル生成部
１０５ 動作評価部
１０６ 出力制御部

Claims (9)

1. 利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、
   前記部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて前記利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、
   前記部位座標に基づいて利用者の動作を評価する動作評価部と、
   前記利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置。
2. 前記部位座標算出部は、利用者の頭、両肩、両肘、手、両手首それぞれの重心座標を算出することで各部位の部位座標を算出することを特徴とする請求項１記載の動作評価装置。
3. 前記部位座標算出部は、各部位の所定範囲内の画素における少なくとも視差情報に基づいて算出することを特徴とする請求項１又は２記載の動作評価装置。
4. 前記部位座標算出部は、両肩の部位座標を算出し、両肩の部位座標に基づいて頭の部位座標を算出することを特徴とする請求項２又は３記載の動作評価装置。
5. 前記利用者モデル生成部は、
   前記部位座標算出部が算出した部位座標に基づいて利用者の体格データを生成する体格データ算出部と、
   前記利用者の体格データに教師動作パラメータを各時点で加算することで前記利用者の形状モデルによる教師動画像データを生成する教師動作加算部と、
   を有する、請求項１〜４記載の動作評価装置。
6. 前記教師動作加算部は、前記体格データ算出部から取得した体格データのうち、両肘及び両肩の部位座標を、両手首の部位座標と、教師動作の初期角度に基づいて補正することを特徴とする請求項５記載の動作評価装置。
7. 前記動作評価部は、利用者の動作を１周期分抽出して評価を行い、
   前記出力制御部は、評価結果をあわせて出力する請求項１〜６記載の動作評価装置。
8. 動作は胸骨圧迫動作であり、利用者の胸骨圧迫動作を評価することを特徴とする請求項１〜７記載の動作評価装置。
9. 利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、
   前記部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて前記利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、
   前記部位座標に基づいて利用者の動作を評価する動作評価部と、
   前記利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置としてコンピュータを機能させることを特徴とするプログラム。

Images