JP3747800B2 - 技能向上支援装置 - Google Patents

Description

【０００１】
【発明の属する技能分野】
本発明は技能向上支援装置に係り、特にコンピュータやセンサを用いて計測された人間の身体の動作を記録し、支援すべき動作と理想的な動作の比較のために記録されたデータを再利用する技能向上支援装置に関する。
【０００２】
【従来の技能】
スポーツや特定の作業などで必要とされる人間の身体の動作、すなわち運動技能を習得・向上させるために、従来は、ＶＴＲを用いて理想的な動作を磁気テープに録画し、その磁気テープの再生動画像を教示例として技能向上支援に用いることが多い。最近では、モーションキャプチャなどの方法で人間の身体の動作を数値データとして計測し、コンピュータで処理することが一般的に行われている。
【０００３】
また、人間の身体の動作を解析し、理想的な動作と比較して、その誤差を修正させるように指示する技能向上支援方法も従来より提案されている。例えば、特開平９−６８４４４号公報（発明の名称：運動測定装置この装置を利用した仮想空間再現装置、フォーム矯正装置）には、加速度センサと角速度センサとを組み合わせて姿勢検出手段を構成し、この姿勢検出手段によって人間の各部位の姿勢変化を検出する構成とすることにより、どこの場所でも人間の各部位の姿勢変化を計測できる方法が開示されている。すなわち、この従来方法では、予め記憶された基準フォームのデータと人体に装着したセンサからの信号入力とを直接比較してズレ量を算出し、色つきのランプなどでズレの存在を表示することでスポーツなどのフォーム矯正を行う。
【０００４】
また、特許第２５５８９４３号公報（発明の名称：ニューラルネットワークを用いた人間の動作自動認識装置）には、人間の形態データを収集する動作測定部と、この動作測定部からのデータにより、人間の姿勢なるポスチャーの内容と人間の動作なるジェスチャーの開始点を識別判断するポスチャーニューラルネットワーク部と、ポスチャーニューラルネットワーク部でジェスチャーの開始点が識別された場合に、動作測定部からの形態データを得てジェスチャーの内容を認識判断するジェスチャーニューラルネットワークと、上記のポスチャーニューラルネットワーク部でジェスチャーの開始点が識別された場合に、ジェスチャーニューラルネットワーク部への形態データの導入を制御すると共に、ポスチャーニューラルネットワーク部とジェスチャーニューラルネットワーク部の出力結果を比較して最終的な認識結果を選択決定する動作判断部を設けた構成の動作自動認識装置が開示されている。この動作自動認識装置では、人間の姿勢と動作をニューラルネットワーク部で判定して、その動作の意味を自動認識することができる。
【０００５】
また、特開２０００−１４９０５６公報（発明の名称：多関節物体の表示方法及び表示装置）には、人体のような多関節物体の動作を関節角を対象データとして単位時間の倍数と単位角度の倍数との組み合わせからなる座標点で近似する基本動作の記述方法が開示されている。この従来方法によれば、基本動作による動作表現によれば、単位時間以下の時間ズレや単位角度以下の揺らぎを吸収して、動作の合成や比較が可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、再生動画像を教示例として技能向上支援に用いる従来方法では、モーションキャプチャなどの方法で人間の身体の動作を計測して得た計測データを数値データのまま取り扱っているために、データ量が膨大になるのみならず、データに対する意味付けが容易でなく、同一性と差異の境界が不鮮明で、行動の要約や比較が困難である。
【０００７】
また、特開平９−６８４４４号公報記載の従来方法では、センサ信号データで基準フォームと矯正対象の比較を行っているために、同じ動作でも、速度が異なるものについての比較は困難である。また、基準フォームとの差の表示も抽象的で、利用者にとって矯正すべき点がわかりにくい。
【０００８】
また、特許第２５５８９４３号公報記載の従来方法では、ポスチャーやジェスチャーにおいて特定の動作に類似する動作の認識は可能であるが、類似する動作同士での差異の検出は行えない。更に、特開２０００−１４９０５６号公報記載の従来方法では、単位時間や単位角度による量子化のため、量子化境界をまたぐ場合に微少な差でも吸収できない。また、固定された量子化間隔のため、動作の前半と後半で速さの比が異なるデータを正しく比較できないなどの問題がある。
【０００９】
本発明は以上の点に鑑みなされたもので、同じ動作で速度が異なるものを同じ動作と判定でき、また、動作の前半と後半が異なる速度であるようなデータの比較が可能で、更に、計測時間に対するゆらぎに強い動作比較が可能な技能向上支援装置を提供することを目的とする。
【００１０】
また、本発明の他の目的は、ゆらぎに強い動作比較に基づいて、熟練動作と利用者の動作との効率的な差異検出を行い得る技能向上支援装置を提供することにある。
【００１１】
更に、本発明の他の目的は、差異がある動作に関して注意すべき具体的なアドバイスを提供することで効果的な支援を可能にする技能向上支援装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は上記の目的を達成するため、動作計測装置により、主に人間の身体の動作を計測して得られた数値データを入力として受け、数値データの数学的な特徴を検出し、各特徴に対応付けられた記号からなる記号列を出力する記号化手段と、記号化手段からの記号列を記憶する動作データベース手段と、動作データベース手段に記憶されている記号列のうちで教師例となる理想的な動作を記録した記号列と、記号化手段から出力される支援対象となる動作の記号列とを比較して差異を検出する動作比較手段と、動作比較手段が検出した差異を表示する情報提示手段とを有し、上記の情報提示手段は、動作比較手段が検出する差異に対応した支援情報を保持している支援情報手段と、動作比較手段が検出した差異を入力として受け、入力された差異をキーとして支援情報手段を参照して入力された差異に対応する支援情報を出力する支援情報出力手段とよりなり、数値データを記号化することで、定量的な動作計測データの蓄積および比較を定性的に処理可能にし、比較によって検出される差異に対応する支援情報を出力する構成としたものである。
【００１３】
本発明では、動作を計測して得られた数値データを記号化して動作比較手段で理想的な動作の記号列と比較するようにしたため、計測時間に対するゆらぎに強い動作比較ができ、また、動作計測データの記号化によって、動作データベース手段の記憶容量が削減できる。また、情報提示手段により、比較によって検出される差異に対応する支援情報を出力することができる。
【００１５】
ここで、上記の支援情報手段は、差異に対応して注意すべき動作について具体的なアドバイスを提供する情報を、対応する差異と関連付けて支援情報として保持していることを特徴とする。また、上記の支援情報出力手段は、入力された差異に対応する支援情報と共に、動作比較手段により比較される、理想的な動作の記号列のグラフと、支援対象となる動作の記号列のグラフとを各記号の対応をとったうえで重ね合わせて差異部分を強調表示することを特徴とする。この発明では、動作の差異に基づく支援情報の提示により注意すべき動作について具体的なアドバイスを提供することで効果的な技能向上支援装置の提供ができる。
【００１６】
【発明の実施の形態】
次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる技能向上支援装置の一実施の形態のブロック図を示す。この実施の形態における技能向上支援装置１００は、モーションキャプチャ装置など、人間の動きを計測して数値化する動作計測装置２００が出力する定量的な数値である計測データを入力として受け、その計測データに対応する定性的な記号列を出力する記号化手段１１０と、記号化手段によって出力された記号列を蓄積する動作データベース手段１４０と、動作データベース手段１４０に蓄積された記号列のうちで教師例となる理想的な動作を記録した記号列と、支援対象となる動作の記号化手段１１０の出力の記号列とを比較し、その差異を検出する動作比較手段１２０と、動作比較手段１２０によって検出される差異を表示する情報提示手段１３０とを含んで構成される。
【００１７】
図２は図１中の記号化手段１１０の一実施の形態を詳細に示すブロック図である。図２において、図１と同一構成部分には同一符号を付し、その説明を省略する。図２において、技能向上支援装置１００の記号化手段１１０は、特徴検出手段１１１、記号変換手段１１２及び記号情報手段１１３より構成され、入力される数値データに対応する記号を出力する。特徴検出手段１１１は、入力となる数値データについて極大値や極小値などの数学的な特徴を検出する。記号変換手段１１２は、記号情報手段１１３を参照して、特徴検出手段１１１によって検出された特徴に対応する記号を出力する。
【００１８】
図３は図１中の情報提示手段１３０の一実施の形態を詳細に示すブロック図である。図３において、図１と同一構成部分には同一符号を付し、その説明を省略する。図３において、技能向上支援装置１００の情報提示手段１３０は、動作比較手段１２０が検出する差異に対応した支援情報を保持する支援情報手段１３１と、動作比較手段１２０が検出した差異に基づいて支援情報手段１３１を参照して支援情報を出力する支援情報出力手段１３２とを含んで構成される。
【００１９】
次に、本発明の実施の形態の動作について詳細に説明する。人間の身体の動作を計測して数値化する動作計測装置２００には、例えば、人体の各関節にマーカーを貼付して複数台のカメラにより撮影し、各マーカーの三次元位置を同定するという方法で、各関節の三次元座標位置を計測データとして出力する装置、あるいは各関節に曲げセンサを装置して各関節角を計測データとして出力する装置などが利用可能である。
【００２０】
図４は動作計測装置２００が出力する計測データの一例であり、一定時間間隔でサンプリングされた人間の身体の各部の関節の高さ座標がデジタルな数値データとして各行に記述されている。以下、データの各行の一番左にある右手首関節の高さに着目して説明する。
【００２１】
図５は同じデータをグラフで表示したものである。計測開始（時刻ｔ＝０）に高さ２０の位置にあり、ｔ＝２で高さ３０まで上がった後に、ｔ＝７で高さ−２０まで下がる。そこからｔ＝１４で高さ５０まで上がって、ｔ＝２０まで維持して、その後再度下がりはじめるという動きの様子がみてとれる。
【００２２】
記号化手段１１０は、このようにして得られる計測データについて数学的な特徴を検出し、各特徴に対応付けられた記号により計測データを記号化する。例えば、特徴検出手段１１１は、データが極大値をとる極大点、極小値をとる極小点、ゼロとなるゼロ点、以降に同じ値が連続する停止始点、同じ値の連続が終了する停止終点などの特徴を検出する。
【００２３】
記号情報手段１１３は、特徴検出手段１１１が検出する特徴と対応する記号を、例えば図７のように表形式で保持する。記号変換手段１１２は記号情報手段１１３を参照して、特徴検出手段１１１が検出する各特徴を記号に変換して出力する。このように、動作計測データを記号化することで計測時間に対するゆらぎに強い動作比較ができ、熟練動作と利用者の動作との効率的な差異検出ができる。
【００２４】
図５に例示されたデータを入力として図７に記された特徴を検出する場合、検出される特徴と記号の対応を図５のグラフに重ね合わせて表示すると図６のようになる。時刻ｔ１で極大点、ｔ２でゼロ点、ｔ３で極小点、ｔ４でゼロ点、ｔ５で停止始点、ｔ６で停止終点が特徴検出手段１１１によって検出され、記号変換手段１１２はそれぞれの特徴について記号情報手段１１３を参照して時刻順にＸ、Ｚ、Ｎ、Ｚ、Ｓ、Ｅという記号に変換し、記号化手段１１０は、入力データに対応する記号列として「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」を出力する。
【００２５】
動作データベース手段１４０には、記号化手段１１０が出力する記号列のうち、特に手本となるようなデータを蓄積しておく。例えば、図５に示したデータが、手本とすべき熟練者の動作を計測したものであるとすると、そのデータを入力として記号化手段１１０が出力した記号列「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」を動作データベース手段１４０に蓄積しておく。ここで、動作計測データの記号化によって、データを蓄積するためのデータベース手段１４０の記憶容量が削減でき、より多くの種類の基準データを蓄積可能である。
【００２６】
これとは別に、図８にグラフで示す計測データが記号化手段１１０に入力されたとする。記号化手段１１０は図８にグラフで示す計測データに対応する記号列として「Ｘ−Ｎ−Ｓ−Ｅ」を出力する。動作比較手段１２０は、動作データベース手段１４０に蓄積されている記号列「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」と、図８にグラフで示す計測データに対応する記号列として記号化手段１１０が出力した記号列「Ｘ−Ｎ−Ｓ−Ｅ」とを比較し、図８にグラフで示す計測データに対応する記号化手段１１０の出力である記号列には「Ｎ」の前後の「Ｚ」が欠けていることを検出し、その差異を情報提示手段１３０内の支援情報出力手段１３２に出力する。
【００２７】
支援情報出力手段１３２は動作比較手段１２０から入力された「Ｎ」の前後の「Ｚ」が欠けている場合に関する知識を、支援情報手段１３１を参照して取得する。支援情報手段１３１には、例えば図９に示すような、表形式の情報が格納されている。支援情報出力手段１３２は、ここでは「Ｎ」の前後の「Ｚ」が欠けている場合に関する知識を取得するために、基準データ欄が「Ｚ−Ｎ−Ｚ」で、対象データ欄「Ｎ」である行の支援情報欄にある支援情報「高さの下げ量が不十分なので、しっかりと下げるように心がける」を取得する。
【００２８】
情報提示手段１３０内の支援情報出力手段１３２は、このようにして支援情報手段１３１から取得した支援情報を利用者に提示する。動作の差異に基づく支援情報の利用者への提示により、注意すべき動作について具体的なアドバイスを提供することで効果的な技能向上の支援ができる。図１０は、情報提示手段１３０によるコンピュータ画面表示の一例である。このように情報提示手段１３０は支援情報により技能向上の支援ができ、更にこれに加えて、計測データIと基準データIIとを重ね合わせて差異部分をIIIで示すように強調表示するとより一層効果的である。
【００２９】
図１１は別の計測データの例を示す。図６の計測データと比べると、開始の高さが若干高く、続く下げがやや早い。そのために後半部分が図６のデータよりも早い時刻になっているが、基本的には同じ動作である。これらの動きは同じでも速さが異なる計測データを従来一般的な方法のように時刻を基準として比較すると、図１２に図１１のデータと図６のデータを重ねて、差異部分に網掛け表示を施して示すように、ほぼ全体で差異が現れてしまい、類似の動作とはみなされない。
【００３０】
これに対し、本実施の形態では、記号化手段１１０による出力は図１１に示す計測データの記号列「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」であり、これは動作データベース手段１４０から出力される、手本とすべき熟練者の動作を計測した図６に示した計測データの記号列「Ｘ−Ｚ−Ｎ−Ｚ−Ｓ−Ｅ」と同じであるから、動作比較手段１２０はこれらが同じ動作であると正しく判定できる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、動作を計測して得られた数値データを記号化して動作比較手段で理想的な動作の記号列と比較することにより、計測時間に対するゆらぎに強い動作比較ができ、熟練動作と利用者の動作との効率的な差異検出ができる。また、本発明によれば、動作計測データの記号化によって、動作データベース手段の記憶容量が削減できるため、より多くの種類の理想的な動作の記号列の数値データを蓄積でき、よって、豊富な動作種類をカバーする技能向上支援装置が実現できる。
【００３２】
また、本発明によれば、動作の差異に基づく支援情報の提示により注意すべき動作について具体的なアドバイスを提供するようにしたため、効果的な技能向上支援ができる。
【図面の簡単な説明】
【図１】 本発明装置の一実施の形態のブロック図である。
【図２】 図１中の記号化手段の一実施の形態のブロック図である。
【図３】 図１中の情報提示手段の一実施の形態のブロック図である。
【図４】 動作計測装置の出力である数値計測データの一例である。
【図５】 手首の高さに着目した数値データの例をグラフ表示した図である。
【図６】 図５のグラフに特徴検出手段の出力する特徴および対応する記号を重ねて表示した図である。
【図７】 図２中の記号情報手段に保持される情報の一例である。
【図８】 熟練者の行動データと比較される対象データの例をグラフ表示した図である。
【図９】 支援情報手段に保持される情報の一例である。
【図１０】 情報提示手段によるコンピュータ画面表示の例である。
【図１１】 図６のデータと同じ行動であると判定されるべき行動データの例をグラフ表示した図である。
【図１２】 図６のデータと図１１のデータを重ね合わせて差分を表示した図である。
【符号の説明】
１００ 技能向上支援装置
１１０ 記号化手段
１１１ 特徴検出手段
１１２ 記号変換手段
１１３ 記号情報手段
１２０ 動作比較手段
１３０ 情報提示手段
１３１ 支援情報手段
１３２ 支援情報出力手段
１４０ 動作データベース手段
２００ 動作計測装置

Claims (5)

1. 動作計測装置により、主に人間の身体の動作を計測して得られた数値データを入力として受け、該数値データの数学的な特徴を検出し、各特徴に対応付けられた記号からなる記号列を出力する記号化手段と、
   前記記号化手段からの記号列を記憶する動作データベース手段と、
   前記動作データベース手段に記憶されている記号列のうちで教師例となる理想的な動作を記録した記号列と、前記記号化手段から出力される支援対象となる動作の記号列とを比較して差異を検出する動作比較手段と、
   該動作比較手段が検出した差異を表示する情報提示手段と
   を有し、
   前記情報提示手段は、前記動作比較手段が検出する差異に対応した支援情報を保持している支援情報手段と、前記動作比較手段が検出した差異を入力として受け、入力された該差異をキーとして該支援情報手段を参照して入力された該差異に対応する支援情報を出力する支援情報出力手段とよりなり、
   前記数値データを記号化することで、定量的な動作計測データの蓄積および比較を定性的に処理可能にし、比較によって検出される差異に対応する支援情報を出力することを特徴とする技能向上支援装置。
2. 前記記号化手段は、前記動作計測装置からの前記数値データの数学的な特徴を検出する特徴検出手段と、該特徴検出手段が検出する特徴と対応する記号を保持している記号情報手段と、該記号情報手段を参照して前記特徴検出手段が出力する特徴に対応する記号を出力する記号変換手段とからなることを特徴とする請求項１記載の技能向上支援装置。
3. 前記特徴検出手段は、前記特徴として、極大点、極小点、ゼロ点、停止始点及び停止終点を含む複数の特徴を検出し、前記記号情報手段は、複数の前記特徴のそれぞれについて対応する記号と特徴とを表形式で予め記憶保持していることを特徴とする請求項２記載の技能向上支援装置。
4. 前記支援情報手段は、前記差異に対応して注意すべき動作について具体的なアドバイスを提供する情報を、対応する差異と関連付けて前記支援情報として保持していることを特徴とする請求項１乃至３のうちいずれか一項記載の技能向上支援装置。
5. 前記支援情報出力手段は、入力された前記差異に対応する支援情報と共に、前記動作比較手段により比較される、理想的な動作の記号列のグラフと、前記支援対象となる動作の記号列のグラフとを各記号の対応をとったうえで重ね合わせて差異部分を強調表示することを特徴とする請求項１乃至３のうちいずれか一項記載の技能向上支援装置。

Images