JP4054879B2 - 運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体 - Google Patents
運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4054879B2 JP4054879B2 JP2004263636A JP2004263636A JP4054879B2 JP 4054879 B2 JP4054879 B2 JP 4054879B2 JP 2004263636 A JP2004263636 A JP 2004263636A JP 2004263636 A JP2004263636 A JP 2004263636A JP 4054879 B2 JP4054879 B2 JP 4054879B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- nerve
- time
- processing unit
- muscle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/407—Evaluating the spinal cord
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
- A61B5/4041—Evaluating nerves condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4519—Muscles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Neurology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Physical Education & Sports Medicine (AREA)
- Rheumatology (AREA)
- Neurosurgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本発明は、運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体に関する。
筋や腱、関節などの運動器官に起こる深部体性感覚は、新しい運動を習得する際に必要であることが知られている。体性感覚は一回の試行のフィードバック信号として働くことだけでなく、繰り返し試行を伴う運動学習において動作結果を評価するための教師信号としての働きを持つと考えられている。したがって、評価が正しく行われなければ学習者は目的とする運動に習熟することができないことになるが、人間が運動の結果を正確に知覚できているかどうかは必ずしも明らかでなく、また主観的な感覚であるため計測も容易ではない。体性感覚に基づく運動の主観評価は、外部からの観測に基づく客観評価と一致する場合が存在することが、袈裟斬り(足を一歩踏み込みながら剣を振りかぶり、斜めに大きく振り下ろす動作)動作実験により明らかになっている。体の内部から観測した時、毎回の運動がどのように見えているのかという観点から、体性感覚情報処理機構を計算機上に実装することができれば、人の内部感覚を踏まえた上で人に働きかけをする運動学習支援装置を作ることができる。現在、脳の大局的な活動状態を非侵襲で計測することが技術的に可能である。脳の活動に必要なエネルギーを供給する血流の大きさや、神経信号が伝達する際に生じる磁場を可視化することができる。また、微小な電極を神経に埋め込むことによって、神経の発火状態を直接検出することも可能である。しかし、脳や神経の活動状態を明らかにしても、その人が何を考えているか、何を感じているかが直接分かるわけではない。むしろ、脳や神経によって制御されている器官、例えば筋の運動を計測することによって、ヒトの意識的あるいは潜在的な運動調節過程を知ることができる可能性がある。
ヒトの動作は、複数の筋が協調することにより生じる。従って、筋一本ずつの運動だけでなく、全身に分布する筋の協調状態によって、動作を評価することができると考えられる。人は緊張するとぎこちない動きをすることがあるが、このぎこちない動きとは、筋の協調状態が不均衡である結果と捉えることができるからである。ベルンシュタインは、運動器官が冗長な自由度を有することを指摘し、これを制御可能なシステムへと転換することを協応と定義した。そして、冗長な自由度を克服するためには、感覚器官、特に筋や腱、関節に内在する感覚器官からの情報に基づいて運動を調節することが不可欠であるとし、感覚調整の原理と呼んだ。
本発明の目標は、これまで動作の観測により定性的に議論されてきたヒトの感覚と運動の課題を、計算によって定量的に扱う手法を明らかにすることである。このことを通じ、人の運動調節過程に外側から近づき、運動学習を支援することを目指す。骨の幾何データと筋・腱・靭帯のデータを有する身体の詳細なモデルに対して順・逆動力学計算を高速に実行する手法が提案されている(非特許文献1)。身体運動を計測して、筋・腱・靭帯の長さや、これらの運動器官に発生する張力を計算する研究はこれまでも数多く行われてきた。人体筋骨格モデルの運動を解析したりシミュレートしたりするシステムとして、DelpらのSIMM、RasmussenらのAnyBodyなどが商品化されている。
一般に、視覚、聴覚などに比べ、体性感覚などの力学メディアの知覚情報処理手法は遅れていることが指摘されている。以下に、身体モデルおよび身体モデルと結合する神経系モデルに関する従来技術について概観する。
中村らは、骨の幾何データと筋・腱・靭帯のデータを有する身体の詳細なモデルに対して順・逆動力学計算を高速に実行する手法を提案している(特許文献1、2)。この手法により、人間の運動を外から観測して、筋・腱・靭帯の長さ変化や、これらの運動器官に発生する張力を計算することができるようになっている。
川人らは、計算機内の世界で身体の一部または全部のモデルである仮想身体をあたかも自分の分身であるかのように自然に制御し、位置のみならず力、速度、加速度を自由に操れるようなヒューマンインタフェース装置を提案している(特許文献3)。
中村らは、骨の幾何データと筋・腱・靭帯のデータを有する身体の詳細なモデルに対して順・逆動力学計算を高速に実行する手法を提案している(特許文献1、2)。この手法により、人間の運動を外から観測して、筋・腱・靭帯の長さ変化や、これらの運動器官に発生する張力を計算することができるようになっている。
川人らは、計算機内の世界で身体の一部または全部のモデルである仮想身体をあたかも自分の分身であるかのように自然に制御し、位置のみならず力、速度、加速度を自由に操れるようなヒューマンインタフェース装置を提案している(特許文献3)。
また、長谷らは3次元筋骨格系と階層的神経系を有する2足歩行モデル(非特許文献2)を、萩原らは実歩行計測データから歩行神経回路網(非特許文献3)をそれぞれ提案した。
また、一般に、運動学習支援のためには、運動解析に基づいて運動を評価することが重要である。評価に基づいて運動調節を行うからである。従来、運動計測に基づいて運動同士を比較する際には、協調運動の結果を集約する全身の部位のある一部分、たとえば手先・足先の位置、あるいは肘や膝などの関節角を対象に行われてきた。あるいは、筋一本ずつの活動、例えば筋電位や筋長を比較することもよく行われてきた。例えば、筋活動のピーク時刻のずれで、テニスの熟練者と初心者の運動の巧みさの違いを比較するといった解析が行われてきた(非特許文献4)。
特開2003−339673
特開2004−013474
特開平07−028592
Y. Nakamura et. al. Dynamic computation of musculo-skeletal human model based on efficient algorithm for closed kinematic chains. In Proceedings of the 2nd International Symposium on Adaptive Motion of Animals and Machines、 2003.
長谷和徳、西口純也、山崎信寿 3次元筋骨格系と階層的神経系を有する2足歩行モデル バイオメカニズム15−形と動きの探求―、バイオメカニズム学会編、東大出版会、pp.187-198、(2000)。
萩原直道、山崎信寿 実歩行計測データからの歩行神経回路網の推定 バイオメカニズム15−形と動きの探求―、バイオメカニズム学会編、東大出版会、pp.175-186、(2000)
Sakurai S. et. al. Muscle activity and performance accuracy of the smash stroke in badminton with reference to skill and practice. J. Sports Sciencevol. 18, pp.1-14 (2000)
また、一般に、運動学習支援のためには、運動解析に基づいて運動を評価することが重要である。評価に基づいて運動調節を行うからである。従来、運動計測に基づいて運動同士を比較する際には、協調運動の結果を集約する全身の部位のある一部分、たとえば手先・足先の位置、あるいは肘や膝などの関節角を対象に行われてきた。あるいは、筋一本ずつの活動、例えば筋電位や筋長を比較することもよく行われてきた。例えば、筋活動のピーク時刻のずれで、テニスの熟練者と初心者の運動の巧みさの違いを比較するといった解析が行われてきた(非特許文献4)。
これら従来の技術は、骨格筋配置を外科的に変更した場合筋力が受ける影響の検討、製品を人間が用いる際の作業空間の評価といった、医学や人間工学あるいはスポーツ科学への応用を目的としたものである。このため、運動器官に内在する感覚器官の発生する情報が、神経系を通じて運動器官に到達する経路について、十分に検討されてこなかった。
上述で概観した従来技術において、中村らのモデルに神経系は含まれていない。また、川人らでは、ヒューマンインタフェース装置を実現するために、神経回路を含む非線形ダイナミクスモデルを仮想身体に結合しているが、神経回路は末梢神経系の構造を考慮していない。さらに、長谷らの技術については、いずれも神経筋骨格系モデルを提案するものであるが、筋肉を直接支配するα運動ニューロンと筋肉とが一対一に直結しており、複数の脊髄から同一の筋肉へ結合する冗長構造が考慮されていない。そして、一つの神経束から複数の筋肉へ結合する分岐構造などは考慮されていない。このため、同一の神経に支配される筋群、あるいは、同一脊髄神経に支配される筋群といった概念が、モデルに含まれていない。
一般に、筋・腱・靭帯を含む運動器官やその他の器官と中枢神経系(脳)とは、末梢神経系を介して結合している。この末梢神経系は、冗長な分岐構造を有する。機構的あるいは機能的に近い器官と結合する神経同士束ねられて太い神経になっている。また、機構的あるいは機能的に関連のある器官と結合する神経が同一脊髄から結合している。従来技術はこのような解剖学的構造を考慮に入れてこなかったため、次のような課題があった。
・神経支配による器官同士の機構的あるいは機能的関係を扱うことができない
・運動神経が発生する物理的な量(客観的な量)から、人間がどのように感じているかという感覚的な量を検出することができない
これは、人間の脳が運動器官からどのような信号を受け取り、どのように処理するかという観点が欠けていたことに起因していると考えられる。ヒトの身体運動は、神経系と筋骨格系および外界との相互作用の結果生じる。身体運動情報には、神経系の内部情報が含まれている。逆に、身体運動情報は、筋紡錘やゴルジ腱器官などの運動感覚器官により検知され、神経系への入力になる。身体運動に関わる神経情報を末梢から中枢に向かって順にたどることで、ヒトの運動認識および生成のメカニズムを明らかにすることができると考えられる。
・神経支配による器官同士の機構的あるいは機能的関係を扱うことができない
・運動神経が発生する物理的な量(客観的な量)から、人間がどのように感じているかという感覚的な量を検出することができない
これは、人間の脳が運動器官からどのような信号を受け取り、どのように処理するかという観点が欠けていたことに起因していると考えられる。ヒトの身体運動は、神経系と筋骨格系および外界との相互作用の結果生じる。身体運動情報には、神経系の内部情報が含まれている。逆に、身体運動情報は、筋紡錘やゴルジ腱器官などの運動感覚器官により検知され、神経系への入力になる。身体運動に関わる神経情報を末梢から中枢に向かって順にたどることで、ヒトの運動認識および生成のメカニズムを明らかにすることができると考えられる。
また、従来の運動解析手法の主流である、協調運動の結果である、手先や足先なとの一部分の位置姿勢を比較する方法では、大まかすぎて、全体のうちの一部分のずれなどが検出できないという課題があった。即ち、異なる運動同士を比較する際、運動の速度が異なる時に生データ同士では比較ができないので、時間を正規化しなければならなかった。しかし、速度が運動の重要なファクターである以上、時間を正規化するのは望ましくない。実際には、上半身は遅く、下半身は速いといった速度の違いとタイミングの違いにより、全身動作全体のずれが生じている場合がある。このような運動を評価するためには、部位毎に時間を比較しなければならないが、上半身と下半身は連動しているため、きれいに区切ることは困難である。一方、筋一本ずつをいくつか評価する方法では細かすぎて、全体の協調の様子が明らかにならないという課題があった。筋張力などは筋電計で求めてきた関係もあり、筋電計のチャンネル数に制約される。全身に分布する筋の一部を代表させることで、全身運動を評価する場合、局所的な協調の度合いなどが明らかにならないという課題があった。モーションキャプチャデータを筋骨格モデルにマッピングすることによって、筋長を計算する手法が提案されている。しかし、筋数が数百本にも及び、これらを一様に処理しても、大局的な情報しか得られないという課題があった。結局、主要な筋を選んで比較するという手法に頼らざるを得ない状況であり、多数の筋の情報を得られることが十分に生かされなかった。即ち、運動の大局的かつ局所的な解析が困難な状態にあった。
本発明は、以上の点に鑑み、全身の筋や腱などの運動情報から神経情報を検出した上で、運動学習支援に役立てる手法を提供することを目的とする。本発明は、感覚と運動とをつなぐ脊髄神経に注目し、その筋支配構造をモデル化する。これに基づいて、運動時に脊髄を流れる神経情報を、脊髄を輪切りにした画像へ、あるいは末梢神経を流れる神経情報を、時空間パターンへと写像する。神経系の解剖学的構造を用いて、筋運動情報を脊髄神経情報に写像することにより、人間の運動データから脊髄に内在する神経情報を得る。本発明では、さらに、この運動情報から写像された神経情報を用い、運動の微妙な違いが神経情報のどのような違いになって現れるのかを検出する手法を提案し、人間の運動の大局的かつ局所的な特徴の評価と比較を実現することを目的とする。神経系の構造を用いることで、全身運動を人間が内側から観測する過程に近づくことを目指す。なお、本発明の関連技術として、本発明者らによる特許出願(特願2004−176455、2004年6月15日出願)があり、本明細書にその技術内容を参照してインコーポレートする(組み込む)ことができる。
生体は全身に分布する多数の筋からの情報をどのように処理しているかということを考えると、末梢神経である程度グルーピングした上で、脊髄毎に束ねることによって、全身の筋情報を身体の位相情報を保持した二次元マップに変換して処理している。本発明は、このグルーピングした情報同士を比較することにより、全身の離れた部位の協調度合いを調べることができる。また、本発明は、グループ内の情報同士を比較することにより、近位筋同士の協調度合いを調べることができる。本発明は、人間の神経系の構造を利用して、全身運動を表現する大局的な情報と、局所的な情報を階層的に処理する手法を提案するものである。特に、
・神経毎の時空間パターンの類似度を計算し、類似度の高い時刻同士を対応させることで、位相差を検出すること
・同一動作を複数回試行する際に発生する神経情報のパターンとタイミングの違いを神経毎に比較すること
・異なる筋を支配する脊髄の層全体の活動状態を評価する手法、特に、協調動作が脊髄のレベルでどのように表現されているか、協調度および次元を求めること
・この他、神経毎の時間変動のピーク、左右対称度を検出すること
を目的とする。運動の神経レベルでの比較と評価を実現し、運動学習の支援に役立てることを目的とする。
・神経毎の時空間パターンの類似度を計算し、類似度の高い時刻同士を対応させることで、位相差を検出すること
・同一動作を複数回試行する際に発生する神経情報のパターンとタイミングの違いを神経毎に比較すること
・異なる筋を支配する脊髄の層全体の活動状態を評価する手法、特に、協調動作が脊髄のレベルでどのように表現されているか、協調度および次元を求めること
・この他、神経毎の時間変動のピーク、左右対称度を検出すること
を目的とする。運動の神経レベルでの比較と評価を実現し、運動学習の支援に役立てることを目的とする。
本発明の第1の解決手段によると、
時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備え、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定する手段と、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込む手段と、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行う手段と、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算する手段と、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶する手段と、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算する手段と前記記憶する手段とを繰り返す手段と、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示する手段と、
を有する運動学習支援装置が提供される。
時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備え、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定する手段と、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込む手段と、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行う手段と、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算する手段と、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶する手段と、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算する手段と前記記憶する手段とを繰り返す手段と、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示する手段と、
を有する運動学習支援装置が提供される。
本発明の第2の解決手段によると、
時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定する手段と、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込む手段と、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行う手段と、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算する手段と、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶する手段と、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算する手段と前記記憶する手段とを繰り返す手段と、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示する手段と、
を有する運動学習支援装置が提供される。
時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定する手段と、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込む手段と、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行う手段と、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算する手段と、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶する手段と、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算する手段と前記記憶する手段とを繰り返す手段と、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示する手段と、
を有する運動学習支援装置が提供される。
本発明の第3の解決手段によると、
時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備えた運動学習支援装置を用いた運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算するステップと、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶するステップと、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示するステップと、
を含む運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備えた運動学習支援装置を用いた運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算するステップと、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶するステップと、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示するステップと、
を含む運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
本発明の第4の解決手段によると、
時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え運動学習支援装置を用いた運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算するステップと、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶するステップと、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示するステップと、
を含む運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え運動学習支援装置を用いた運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算するステップと、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶するステップと、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示するステップと、
を含む運動学習支援方法、各ステップをコンピュータに実行させるための運動学習支援プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
本発明によると、全身の筋や腱などの運動情報から神経情報を検出した上で、運動学習支援に役立てる手法を提供することができる。本発明によると、さらに、この運動情報から写像された神経情報を用い、運動の微妙な違いが神経情報のどのような違いになって現れるのかを検出する手法を提供し、人間の運動の大局的かつ局所的な特徴の評価と比較を実現することができる。
本発明によると、グルーピングした情報同士を比較することにより、全身の離れた部位の協調度合いを調べることができ、また、グループ内の情報同士を比較することにより、近位筋同士の協調度合いを調べることができる。本発明によると、人間の神経系の構造を利用して、全身運動を表現する大局的な情報と、局所的な情報を階層的に処理する手法を提供することができる。また、本発明によると、運動の神経レベルでの比較と評価を実現し、運動学習の支援に役立てることができる。
A.脊髄(体性)神経系の筋支配モデルについて
1. 脊髄の解剖学的構造
神経系は機能的に、体性神経系と自律神経系とに分類される。体性神経系は、意識的な知覚、随意運動および情報の集成を行っている。自律神経系の主な役割は、外界の変化に応じて生体の内部環境を恒常的に維持し、器官の働きを調節することである。本発明では、体の動きを司る体性神経系に着目する。
1. 脊髄の解剖学的構造
神経系は機能的に、体性神経系と自律神経系とに分類される。体性神経系は、意識的な知覚、随意運動および情報の集成を行っている。自律神経系の主な役割は、外界の変化に応じて生体の内部環境を恒常的に維持し、器官の働きを調節することである。本発明では、体の動きを司る体性神経系に着目する。
1.1 脊髄神経系
図1に、脳と脊髄で構成されるヒトの中枢神経系の図を示す。
神経系は解剖学的に、中枢神経系と末梢神経系とで構成される。一般に中枢神経系というと脳を思い浮かべる。実際には、脳と脊髄とをあわせて中枢神経系という。一方、末梢神経系は、脳から直接器官に結合する脳神経と、脊髄から発して器官に結合する脊髄神経とで構成される。神経毎に支配する器官が異なるため、器官は支配する神経によって分類することができる。人では31対の脊髄神経が数えられ、頸神経(C)8対、胸神経(T)12対、腰神経(L)5対、仙骨神経(S)5対、尾骨神経(Coc)1対で構成される。これらの神経は脊椎骨の隙間を通って脊椎骨の外に出る。本発明では特に、全身の骨格筋の大部分を支配する脊髄と、脊髄と骨格筋の間をつなぐ末梢神経の構造に着目する。
図1に、脳と脊髄で構成されるヒトの中枢神経系の図を示す。
神経系は解剖学的に、中枢神経系と末梢神経系とで構成される。一般に中枢神経系というと脳を思い浮かべる。実際には、脳と脊髄とをあわせて中枢神経系という。一方、末梢神経系は、脳から直接器官に結合する脳神経と、脊髄から発して器官に結合する脊髄神経とで構成される。神経毎に支配する器官が異なるため、器官は支配する神経によって分類することができる。人では31対の脊髄神経が数えられ、頸神経(C)8対、胸神経(T)12対、腰神経(L)5対、仙骨神経(S)5対、尾骨神経(Coc)1対で構成される。これらの神経は脊椎骨の隙間を通って脊椎骨の外に出る。本発明では特に、全身の骨格筋の大部分を支配する脊髄と、脊髄と骨格筋の間をつなぐ末梢神経の構造に着目する。
脊髄神経は脊椎骨から出た後、神経叢と呼ばれる束を作り、再び分岐して全身に行き渡る。ここで異なる脊髄神経に含まれる線維の交換が行われ、この先の神経には複数の脊髄に由来する神経が入り混じった構成になる。第五から第八頸神経(C5−C8)及び第一胸神経(T1)は合流して腕神経叢を形成し、体幹上部、上肢帯、上腕、前腕、手の筋を支配する。腕神経叢から分岐する末梢神経には、筋皮神経、正中神経、尺骨神経、腋窩神経、橈骨神経などがある。同様に、第一から第三腰神経(L1−L3)及び第四腰神経(L4)の一部は、腰神経叢を作り、骨盤内部や大腿の筋を支配する。腰神経叢からは、閉鎖神経と大腿神経が出る。脊髄からは、脊髄断面方向に沿って、比較的近い部位の筋が束ねられている。これには、伸筋と屈筋の両方が含まれる。一方、末梢神経には、伸筋、屈筋等、比較的機能が近い筋が束ねられている。例えば、筋皮神経は上腕の屈筋の、閉鎖神経は大腿の内転筋の運動をつかさどる。
本発明の実施例では、脊髄神経として、第五頸神経(C5)と第二腰神経(L2)、ここから分岐する末梢神経として筋皮神経と閉鎖神経を取り上げ、これらの神経を経由する神経情報を処理する。脊髄神経及び末梢神経には、脊髄から運動器官へ向かう遠心性線維と、運動感覚器官から脊髄へ向かう求心性線維の両方が含まれる。筋紡錘、ゴルジ腱器官などの運動感覚器官では、筋長、筋伸長速度、筋張力などの体性感覚情報が検出され、脊髄に送られる。
1.2 脊髄断面の構造と反射
図2に、脊髄断面と反射経路の説明図を示す。
脊髄を断面で見ると、蝶の形をした灰白質とこれを囲む白質とが観察される(図2、上部)。白質は脳と脊髄とをつなぐ神経の通り道となっている。灰白質は末梢神経と中枢神経との接合部分である。灰白質は後角と前角に区別される。後角は求心性、即ち感覚性のニューロンを含み、前角は遠心性、即ち運動性のニューロンを含む。求心性神経を通って知覚の興奮は後角細胞に伝えられ、これらの細胞から脳へ興奮が伝わる。この興奮は前角にある運動性ニューロンにも伝えられ、筋の運動を引き起こす。後者のように誘発された筋反応はよく知られたように反射と呼ばれる。例えば筋は一時的に伸長されると瞬間的な収縮が起こる。これを伸長反射と呼び、ある高さの脊髄において少数のニューロンを介して行われる。ここで筋の伸長を感知するのは筋紡錘である。筋紡錘は筋線維と平行して並んでおり、筋の長さと伸長の速度についての情報を、求心性神経を介して脊髄に送る。
図2に、脊髄断面と反射経路の説明図を示す。
脊髄を断面で見ると、蝶の形をした灰白質とこれを囲む白質とが観察される(図2、上部)。白質は脳と脊髄とをつなぐ神経の通り道となっている。灰白質は末梢神経と中枢神経との接合部分である。灰白質は後角と前角に区別される。後角は求心性、即ち感覚性のニューロンを含み、前角は遠心性、即ち運動性のニューロンを含む。求心性神経を通って知覚の興奮は後角細胞に伝えられ、これらの細胞から脳へ興奮が伝わる。この興奮は前角にある運動性ニューロンにも伝えられ、筋の運動を引き起こす。後者のように誘発された筋反応はよく知られたように反射と呼ばれる。例えば筋は一時的に伸長されると瞬間的な収縮が起こる。これを伸長反射と呼び、ある高さの脊髄において少数のニューロンを介して行われる。ここで筋の伸長を感知するのは筋紡錘である。筋紡錘は筋線維と平行して並んでおり、筋の長さと伸長の速度についての情報を、求心性神経を介して脊髄に送る。
1.3 脊髄の体性局在
図3に、脊髄灰白質の断面と前角の体性局在の説明図を示す。
運動器官に指令を送る灰白質の前角には、体の部位に応じた構成即ち体性局在が見られる。前角内側から外側に向かって1)体幹、2)体幹〜四肢、3)肢帯〜四肢、4)上腕、大腿、5)前腕、下腿、6)手および足の筋を支配するニューロンが配列しており、近位支配のニューロンが内側に、遠位支配のニューロンが外側に並ぶとされている。さらに、前角の背側には屈筋群支配ニューロン、腹側には伸筋支配ニューロンが配列する。
図3に、脊髄灰白質の断面と前角の体性局在の説明図を示す。
運動器官に指令を送る灰白質の前角には、体の部位に応じた構成即ち体性局在が見られる。前角内側から外側に向かって1)体幹、2)体幹〜四肢、3)肢帯〜四肢、4)上腕、大腿、5)前腕、下腿、6)手および足の筋を支配するニューロンが配列しており、近位支配のニューロンが内側に、遠位支配のニューロンが外側に並ぶとされている。さらに、前角の背側には屈筋群支配ニューロン、腹側には伸筋支配ニューロンが配列する。
2. 運動感覚器官と支配神経
筋の伸長を感知するのは筋紡錘である。筋紡錘は筋繊維(錘外筋線維)と平行して並んでいる。筋が発生する力を感知するのはゴルジ腱器官である。この他の運動感覚器官として、関節にかかる力に応答する関節受容器や、筋と関節の痛みに応答する侵害受容器などがある。ここでは、筋運動情報をフィードバックする働きをもっている筋紡錘とゴルジ腱器官、およびその神経支配について述べる。
筋の伸長を感知するのは筋紡錘である。筋紡錘は筋繊維(錘外筋線維)と平行して並んでいる。筋が発生する力を感知するのはゴルジ腱器官である。この他の運動感覚器官として、関節にかかる力に応答する関節受容器や、筋と関節の痛みに応答する侵害受容器などがある。ここでは、筋運動情報をフィードバックする働きをもっている筋紡錘とゴルジ腱器官、およびその神経支配について述べる。
2.1 筋紡錘
筋紡錘は皮膜に包まれた錘内筋線維で構成され、中央がふくらんだ核袋線維と太さが一定な核鎖線維の二種類がある。筋紡錘を支配する求心性神経は、group Ia とgroup IIがある。前者は核袋線維と核鎖線維の両方にらせん状に巻きついており(一次終末)、後者は核鎖線維の表面に付着して(二次終末)それぞれ終わっている。一次終末は筋の長さが大きく変化する時に強く興奮し(動的反応)、筋が一定の長さに保たれる時に一定の発射を続ける(静的反応)。二次終末では動的反応はほとんど見られない。
一方、筋紡錘には遠心性の神経支配がある。筋を収縮させる遠心性神経はαモータニューロン、筋紡錘を収縮させる遠心性神経はγモータニューロンと呼ばれる。筋と筋紡錘の両方を収縮させる遠心性神経は、βモータニューロンである。特にγモータニューロンは、筋紡錘の感度調節を行う。γモータニューロンからの入力により錘内筋線維が収縮すると、感度が向上する。
求心性神経(group Ia、group II)と遠心性神経(α、β、γモータニューロン)を伝う信号を統合することで、筋長と伸長速度の情報が脊髄において得られることが分かる。
筋紡錘は皮膜に包まれた錘内筋線維で構成され、中央がふくらんだ核袋線維と太さが一定な核鎖線維の二種類がある。筋紡錘を支配する求心性神経は、group Ia とgroup IIがある。前者は核袋線維と核鎖線維の両方にらせん状に巻きついており(一次終末)、後者は核鎖線維の表面に付着して(二次終末)それぞれ終わっている。一次終末は筋の長さが大きく変化する時に強く興奮し(動的反応)、筋が一定の長さに保たれる時に一定の発射を続ける(静的反応)。二次終末では動的反応はほとんど見られない。
一方、筋紡錘には遠心性の神経支配がある。筋を収縮させる遠心性神経はαモータニューロン、筋紡錘を収縮させる遠心性神経はγモータニューロンと呼ばれる。筋と筋紡錘の両方を収縮させる遠心性神経は、βモータニューロンである。特にγモータニューロンは、筋紡錘の感度調節を行う。γモータニューロンからの入力により錘内筋線維が収縮すると、感度が向上する。
求心性神経(group Ia、group II)と遠心性神経(α、β、γモータニューロン)を伝う信号を統合することで、筋長と伸長速度の情報が脊髄において得られることが分かる。
2.2 ゴルジ腱器官
ゴルジ腱器官を支配する求心性神経はgroup Ib と呼ばれる。筋の両端は腱となって骨に付着しており、筋と腱の接合部および腱の中にゴルジ腱器官が存在する。このうち、腱の中にあるゴルジ腱器官は筋全体にかかる力を検出する。
ゴルジ腱器官を支配する求心性神経はgroup Ib と呼ばれる。筋の両端は腱となって骨に付着しており、筋と腱の接合部および腱の中にゴルジ腱器官が存在する。このうち、腱の中にあるゴルジ腱器官は筋全体にかかる力を検出する。
3. 運動情報から体性神経情報への写像
前節までに明らかになった、体性神経系、中でも脊髄神経を中心とする解剖学的構造についてまとめる。
1.全身運動をつかさどる筋は、支配する脊髄によって構造化されている。
2.脊髄の前角細胞から筋へ信号が送られる。筋紡錘およびゴルジ腱器官からのフィードバック信号は、脊髄の後角を通り一部は脳へ、一部は前角細胞へ送られる。
3.前角細胞には体部位局在が見られる。
筋長、筋伸長速度及び筋張力情報は、遠心性信号と求心性信号を統合する脊髄毎に束ねられ、支配筋の活動に影響を与える。運動中の筋運動情報を前角細胞の配列に沿って配置することで、脊髄に内在する神経情報に変換することができると考えられる。脊髄の中でも特に発達していることが知られている、第五頸神経(C5)部分の脊髄を例に取ってデータ構造を定義する。
前節までに明らかになった、体性神経系、中でも脊髄神経を中心とする解剖学的構造についてまとめる。
1.全身運動をつかさどる筋は、支配する脊髄によって構造化されている。
2.脊髄の前角細胞から筋へ信号が送られる。筋紡錘およびゴルジ腱器官からのフィードバック信号は、脊髄の後角を通り一部は脳へ、一部は前角細胞へ送られる。
3.前角細胞には体部位局在が見られる。
筋長、筋伸長速度及び筋張力情報は、遠心性信号と求心性信号を統合する脊髄毎に束ねられ、支配筋の活動に影響を与える。運動中の筋運動情報を前角細胞の配列に沿って配置することで、脊髄に内在する神経情報に変換することができると考えられる。脊髄の中でも特に発達していることが知られている、第五頸神経(C5)部分の脊髄を例に取ってデータ構造を定義する。
図9に、第五頸神経(C5)に支配される筋肉の分類の説明図を示す。
この図は、C5が支配する筋を、前角細胞の配置ルールに従って順に並べたものである。図中、第一列は神経番号;第二列は筋肉の位置;第三列は伸筋屈筋の別;第四列は筋の名前(筋名)を表す。
そこでこれを二次元に展開する方法について述べる。x−y平面において原点を中心に第一、第二象限には屈筋を、第三、第四象限には伸筋を配置する。第一、第四象限には右半身の、第二、第三象限には左半身の筋を配置する。x座標の絶対値が小さい方から大きい方に向かって体幹に近い方から順に並べる。一つの筋が複数の筋で構成される場合は、y座標の絶対値が小さい方から大きい方に向かって体幹に近い方から順に並べる。
この図は、C5が支配する筋を、前角細胞の配置ルールに従って順に並べたものである。図中、第一列は神経番号;第二列は筋肉の位置;第三列は伸筋屈筋の別;第四列は筋の名前(筋名)を表す。
そこでこれを二次元に展開する方法について述べる。x−y平面において原点を中心に第一、第二象限には屈筋を、第三、第四象限には伸筋を配置する。第一、第四象限には右半身の、第二、第三象限には左半身の筋を配置する。x座標の絶対値が小さい方から大きい方に向かって体幹に近い方から順に並べる。一つの筋が複数の筋で構成される場合は、y座標の絶対値が小さい方から大きい方に向かって体幹に近い方から順に並べる。
図4に、以上のルールに従って一辺の長さ1の升目を配置した、C5についての空間配置図を示す。(C5脊髄神経の体性局在における10フレーム毎の神経情報画像:フレームレートは30[frame/sec]である。)配置した升目に沿って、運動計測と計算によって得られた筋の長さ及び速度の情報を配置する。これまで述べた手順によって、運動情報から神経情報への写像を行うことができる。
従来、筋の制御系については、レンショウ細胞と運動単位を有するモデルや歩行制御モデル、小脳のモデルなどが提案されてきたが、脳神経系と筋骨格系の間をつなぐ脊髄レベルでの情報の分節構造や位相構造は考慮されてこなかった。本発明で提案した手法は、解剖学的構造を活用して感覚情報のデータ構造を定義することで、身体の内側から見た身体運動に迫ろうとするものである。イメージトレーニングにおいて、脳が実際に想起している運動指令、それにより得られる感覚信号のイメージを具体的に得る手がかりとなると考えられる。運動を行うとき、その運動により得られる感覚信号をあらかじめ想起する遠心性コピーが、運動指令と共に送られると考えられている。本実験で得られたイメージは、この遠心性コピーを形成する基となるイメージ列であると考えられる。
ベルンシュタインは、脊髄は脳から運動器官への信号伝達の単なる中継器であり、運動の制御はすべて脳の運動中枢へ移行したと述べた。現在では、脊髄は単なる中継器ではなく、運動機能を調整するための複雑な統合装置であることが知られている。出力側である前角へ来ている脳からの指令、あるいは感覚信号は、直接運動ニューロンには伝えられず、介在ニューロンに届く。この介在ニューロンは運動ニューロンに直接影響を及ぼしたり、あるいは筋受容器と運動ニューロンの間で行われる反射に介入して、抑制的または促進的に働いたりする。脊髄と脳が協調して、感覚に対する運動の調節に当たっているのである。
4.全身運動時脊髄神経情報の計測と計算
本発明を実施した際に得られる動画像を実験により確かめた。袈裟斬り動作(足を一歩踏み込みながら剣を振りかぶり、斜めに大きく振り下ろす動作)について例示する。
本発明を実施した際に得られる動画像を実験により確かめた。袈裟斬り動作(足を一歩踏み込みながら剣を振りかぶり、斜めに大きく振り下ろす動作)について例示する。
4.1 袈裟斬り動作
図5に、対角に剣を振り下ろす袈裟斬り動作の説明図を示す。
袈裟斬りは、正面に袈裟を着た人間が立っていると仮定して、袈裟の襟首から胸元に沿って剣を斜め下に振り下ろす動作である。剣士から見て左上から右下に斬る場合、以下のような手順で動作する。
1.視線は常に正面を向き、剣の根元は常に正中線の正面に位置するよう保つ。右足を前、左足を後ろに、剣を左斜め前に構える(図5(a))。
2.剣を右上に振り上げ、頭上を素早く通過させ、剣先を左上まで移動させる。この時、両足を踏みかえる (その場で斬る場合)(図5(b)−(d))。
3.剣を左上から右下へ真直ぐに、正面で速度が大きくなるよう振り下ろす(図5(d)−(f))。この時、肩の力をできるだけ抜いて剣に働く重力で剣先を加速させる。
4.剣が右下まで到達したら、剣を素早く静止する。静止した時、左足は前、右足は後ろに位置している(図5(f))。
以上のように、袈裟斬りは典型的な全身協調動作であり、習熟を要する。
図5に、対角に剣を振り下ろす袈裟斬り動作の説明図を示す。
袈裟斬りは、正面に袈裟を着た人間が立っていると仮定して、袈裟の襟首から胸元に沿って剣を斜め下に振り下ろす動作である。剣士から見て左上から右下に斬る場合、以下のような手順で動作する。
1.視線は常に正面を向き、剣の根元は常に正中線の正面に位置するよう保つ。右足を前、左足を後ろに、剣を左斜め前に構える(図5(a))。
2.剣を右上に振り上げ、頭上を素早く通過させ、剣先を左上まで移動させる。この時、両足を踏みかえる (その場で斬る場合)(図5(b)−(d))。
3.剣を左上から右下へ真直ぐに、正面で速度が大きくなるよう振り下ろす(図5(d)−(f))。この時、肩の力をできるだけ抜いて剣に働く重力で剣先を加速させる。
4.剣が右下まで到達したら、剣を素早く静止する。静止した時、左足は前、右足は後ろに位置している(図5(f))。
以上のように、袈裟斬りは典型的な全身協調動作であり、習熟を要する。
4.2 動作計測と筋運動情報の計算
光学式モーションキャプチャシステムを用いて袈裟斬り動作中における全身に配置したマーカの三次元位置を計測した。逆運動学計算により人体筋骨格モデルの関節角・筋長を、逆動力学計算により筋張力をそれぞれ求め、33[msec]毎の時系列データを得た。筋長は直立姿勢時の長さで割り、正規化した。人体の筋骨格モデル(非特許文献1)は、366の筋、91の腱、34の靭帯、56の軟骨、53の骨群から構成される。
光学式モーションキャプチャシステムを用いて袈裟斬り動作中における全身に配置したマーカの三次元位置を計測した。逆運動学計算により人体筋骨格モデルの関節角・筋長を、逆動力学計算により筋張力をそれぞれ求め、33[msec]毎の時系列データを得た。筋長は直立姿勢時の長さで割り、正規化した。人体の筋骨格モデル(非特許文献1)は、366の筋、91の腱、34の靭帯、56の軟骨、53の骨群から構成される。
4.3 脊髄神経情報の計算
全身の筋長および筋張力データの中から、第五頸神経(C5)が支配する筋のデータを抽出し、長さについては直立姿勢の筋長で正規化した上で、前節の方法で神経情報に写像した。値の大きさは輝度で表現した。
全身の筋長および筋張力データの中から、第五頸神経(C5)が支配する筋のデータを抽出し、長さについては直立姿勢の筋長で正規化した上で、前節の方法で神経情報に写像した。値の大きさは輝度で表現した。
図6に、袈裟斬り動作時のC5脊髄神経における10フレーム毎の神経情報画像の図(1)を示す(フレームレートは30[frame/sec]、支配筋の長さがコード化されている)。
この図は、袈裟斬り動作時に支配筋からC5部分の脊髄へフィードバックされる筋長を表す脊髄神経情報パターンの変化を示す。C5は主として上半身の筋、特に胸部と肩と上腕を支配する。いずれも、袈裟斬り動作時にダイナミックに伸縮する部分である。左斜め下方から右斜め上方に剣を振りかぶる際、左側の体幹に配置する前鋸筋(図9の10: Mus.SerratusAnterior)が引き伸ばされる。このため、中心座標が(x, y)=(−0.5, 0.5)の領域の輝度が高かった(40[frame])。剣を振りかぶった状態で頭上を通過し、左斜め上方から振り下ろす際、右側の同筋が引き伸ばされるため、中心座標が(x, y)=(0.5, 0.5)の領域の輝度が高くなった(60[frame])。
この図は、袈裟斬り動作時に支配筋からC5部分の脊髄へフィードバックされる筋長を表す脊髄神経情報パターンの変化を示す。C5は主として上半身の筋、特に胸部と肩と上腕を支配する。いずれも、袈裟斬り動作時にダイナミックに伸縮する部分である。左斜め下方から右斜め上方に剣を振りかぶる際、左側の体幹に配置する前鋸筋(図9の10: Mus.SerratusAnterior)が引き伸ばされる。このため、中心座標が(x, y)=(−0.5, 0.5)の領域の輝度が高かった(40[frame])。剣を振りかぶった状態で頭上を通過し、左斜め上方から振り下ろす際、右側の同筋が引き伸ばされるため、中心座標が(x, y)=(0.5, 0.5)の領域の輝度が高くなった(60[frame])。
図7及び図8に、それぞれ、袈裟斬り動作時のC5脊髄神経における10フレーム毎の神経情報画像の図(2)及び(3)を示す(フレームレートは30[frame/sec]、図7は、支配筋の伸長速度がコード化されており、図8は、支配筋の張力がコード化されている)。
図示のように、筋伸長速度、筋張力についても同様に、C5部分の脊髄に内在する神経情報の分布を表す画像列が得られた。図6から8は袈裟斬り動作を例として取り上げたものであり、そのほかの動作についても適用可能である。
図示のように、筋伸長速度、筋張力についても同様に、C5部分の脊髄に内在する神経情報の分布を表す画像列が得られた。図6から8は袈裟斬り動作を例として取り上げたものであり、そのほかの動作についても適用可能である。
B.運動学習支援装置
1.ハードウェア
図10は、本装置の接続関係を示す概略構成図である。
本装置は、モーションキャプチャ装置10、運動情報計算装置20、運動情報−神経情報変換装置30、運動学習支援装置40、提示装置50、記憶装置60を備える。記憶装置60には、三次元位置、運動情報、神経情報、運動特徴情報、神経特徴情報等が記憶される。
1.ハードウェア
図10は、本装置の接続関係を示す概略構成図である。
本装置は、モーションキャプチャ装置10、運動情報計算装置20、運動情報−神経情報変換装置30、運動学習支援装置40、提示装置50、記憶装置60を備える。記憶装置60には、三次元位置、運動情報、神経情報、運動特徴情報、神経特徴情報等が記憶される。
モーションキャプチャ装置10は、人体の三次元位置を計測し、三次元位置を記憶装置60に記憶する(市販:VICONなど)。運動情報計算装置20は、モーションキャプチャ装置10の計測結果から筋・腱・靭帯等運動器官の長さ及び発生力(運動情報)を計算し、運動情報を記憶装置60に記憶する(市販:SIMMなど)。運動情報−神経情報変換装置30は、人間の神経系の構造機能モデルに基づいて、運動情報計算装置20で得られる運動情報を神経情報に変換し、神経情報を記憶装置60に記憶する。運動学習支援装置40は、運動情報計算装置20で得られる運動情報および運動情報−神経情報変換装置30で得られる神経情報から特徴を抽出し、運動特徴情報および神経特徴情報を記憶装置60に記憶する。また、運動学習支援装置40は、記憶装置60に蓄えられた運動情報、神経情報、運動特徴情報、神経特徴情報を参照し、運動情報計算装置20または運動情報−神経情報変換装置30から得られる運動情報、神経情報と組み合わせて処理することで、運動特徴情報、神経特徴情報を求め、記憶装置60に記憶する。記憶装置60は、外部装置として記載しているが、各装置10〜30の内部に備えて、各情報を受け渡しする構成としてもよい。また、提示装置50は、運動情報−神経情報変換装置30の内部の表示装置や運動学習支援装置40の内部の表示装置を用いてもよい。
なお、図中、一例として、実線はオンライン、点線はオフラインによる処理をそれぞれ示すが、適宜オンライン又はオフラインの処理に変更することができる。
なお、図中、一例として、実線はオンライン、点線はオフラインによる処理をそれぞれ示すが、適宜オンライン又はオフラインの処理に変更することができる。
図11に、運動学習支援装置40のハード構成図を示す。
この装置は例えば、オフライン・対応時刻表示の場合のハード構成を示し、表示部41、入力部42、処理部(CPU)43、インタフェース部(I/F)44、記憶部45を備える。
記憶部45は、神経データファイル12〜14、同種神経別試行対応時刻データファイル15、異種神経同一試行対応時刻データファイル17、協調度データファイル18、時間変動度データファイル19、神経間協調度ファイル21、次元データファイル23、左右対称度データファイル25、動作定義データファイル26、位置―姿勢―力データファイル27、試行評価データファイル28を含む。
この装置は例えば、オフライン・対応時刻表示の場合のハード構成を示し、表示部41、入力部42、処理部(CPU)43、インタフェース部(I/F)44、記憶部45を備える。
記憶部45は、神経データファイル12〜14、同種神経別試行対応時刻データファイル15、異種神経同一試行対応時刻データファイル17、協調度データファイル18、時間変動度データファイル19、神経間協調度ファイル21、次元データファイル23、左右対称度データファイル25、動作定義データファイル26、位置―姿勢―力データファイル27、試行評価データファイル28を含む。
以下に、記憶部45に含まれるデータファイルについて説明する。
図12に、神経データファイル12(脊髄断面画像)(入力データ)の説明図を示す。
神経データは、時刻と、ある時刻における任意の神経の任意の点を伝達する神経情報が対になったものである。図示の例では、神経データファイル12は、時刻に対して、神経IDと、時刻毎の脊髄断面画像に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶する。神経情報には、例えば、運動感覚器官から得られる情報である、筋長、筋伸長速度、筋張力情報などがある。特に、脊髄断面において、神経配置は筋と神経の位相構造を保って配置されている。神経情報は、画像で表すものであり、運動が動画像として表現される。また、一般に、神経の伝導速度により、神経情報は運動情報から時間遅れがある。脊髄から遠い手足からの情報は遅く、脊髄から近い体幹からの情報は早く到達する。例えば、大脳では時間遅れをキャンセルして認知しているという報告もある。このため、実際に運動が生起した時刻の運動情報を神経配置に沿って配置したものも神経情報として扱うことができる。
図12に、神経データファイル12(脊髄断面画像)(入力データ)の説明図を示す。
神経データは、時刻と、ある時刻における任意の神経の任意の点を伝達する神経情報が対になったものである。図示の例では、神経データファイル12は、時刻に対して、神経IDと、時刻毎の脊髄断面画像に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶する。神経情報には、例えば、運動感覚器官から得られる情報である、筋長、筋伸長速度、筋張力情報などがある。特に、脊髄断面において、神経配置は筋と神経の位相構造を保って配置されている。神経情報は、画像で表すものであり、運動が動画像として表現される。また、一般に、神経の伝導速度により、神経情報は運動情報から時間遅れがある。脊髄から遠い手足からの情報は遅く、脊髄から近い体幹からの情報は早く到達する。例えば、大脳では時間遅れをキャンセルして認知しているという報告もある。このため、実際に運動が生起した時刻の運動情報を神経配置に沿って配置したものも神経情報として扱うことができる。
図13に、他の神経データファイル13(時空間画像1)(入力データ)の説明図を示す。
神経データは、時刻と、ある時刻における任意の神経の任意の点を伝達する神経情報が対になったものである。この神経情報の時間的変化を静止画像で表すのが時空間画像である。この例では、脊髄神経及び末梢神経について、筋長および筋伸長速度が時刻毎に且つ位置(左右、体幹、末梢等)毎に記憶される。
神経データは、時刻と、ある時刻における任意の神経の任意の点を伝達する神経情報が対になったものである。この神経情報の時間的変化を静止画像で表すのが時空間画像である。この例では、脊髄神経及び末梢神経について、筋長および筋伸長速度が時刻毎に且つ位置(左右、体幹、末梢等)毎に記憶される。
図14に、他の神経データファイル14(時空間画像2)(入力データ)の説明図を示す。
図示の例では、神経データファイル13、14は、時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶する。
これら神経データファイル12〜14は、記憶部に記憶されるデータでもあり、そのデータが表示部に表示される画像をも示す。
図示の例では、神経データファイル13、14は、時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶する。
これら神経データファイル12〜14は、記憶部に記憶されるデータでもあり、そのデータが表示部に表示される画像をも示す。
図15に、脊髄断面画像表示の場合のインタフェースの説明図を示す。
提示装置50又は表示部41には、任意の脊髄断面における神経情報を動画像で提示される。入力部42等により、該当する脊髄を選択すると、インタラクティブに断面を切り替えられる。
この他、表示方法としては、例えば、
・複数選択して同時に表示する
・異なる運動をした時の同一脊髄神経を並べて表示する
・一連の動作を静止画像列として表示する
などがある。
なお、各データファイルの構成は一例を示したにすぎず、必要に応じて適宜のファイル構成を用いることができる。各ファイルを適宜結合又は分割したり、含まれるデータ項目を必要に応じて適宜変更したりしてもよい。データ項目の順序を並べ替えてもよい。また、神経データ等の出力も一例を示したに過ぎず、適宜変更した表示例としたり、複数の表示例を表示したりすることもできる。
提示装置50又は表示部41には、任意の脊髄断面における神経情報を動画像で提示される。入力部42等により、該当する脊髄を選択すると、インタラクティブに断面を切り替えられる。
この他、表示方法としては、例えば、
・複数選択して同時に表示する
・異なる運動をした時の同一脊髄神経を並べて表示する
・一連の動作を静止画像列として表示する
などがある。
なお、各データファイルの構成は一例を示したにすぎず、必要に応じて適宜のファイル構成を用いることができる。各ファイルを適宜結合又は分割したり、含まれるデータ項目を必要に応じて適宜変更したりしてもよい。データ項目の順序を並べ替えてもよい。また、神経データ等の出力も一例を示したに過ぎず、適宜変更した表示例としたり、複数の表示例を表示したりすることもできる。
図16に、同種神経別試行対応時刻データファイル15(出力データ)の説明図を示す。
同種神経別試行対応時刻データは、異なる試行の同一神経における神経情報の対応時刻及びその時刻における相関値が対応して記憶されたものである。図示の例では、同種神経別試行対応時刻データファイル(第1対応時刻データファイル)15は、異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する。相関の計算には様々な手法が知られているが、例としてノイズに強い類似度を用いる。類似度は−1から1までの間の値を取り、1から類似度を引いた値を誤差とする。類似度が大きいほど、誤差は小さくなる。なお、データ種別は、例えば、神経データ、時間変動データ、次元データ、左右対称度データのように、演算に用いたデータの種別を示す。
同種神経別試行対応時刻データは、異なる試行の同一神経における神経情報の対応時刻及びその時刻における相関値が対応して記憶されたものである。図示の例では、同種神経別試行対応時刻データファイル(第1対応時刻データファイル)15は、異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する。相関の計算には様々な手法が知られているが、例としてノイズに強い類似度を用いる。類似度は−1から1までの間の値を取り、1から類似度を引いた値を誤差とする。類似度が大きいほど、誤差は小さくなる。なお、データ種別は、例えば、神経データ、時間変動データ、次元データ、左右対称度データのように、演算に用いたデータの種別を示す。
図17に、異種神経同一試行対応時刻データファイル17(出力データ)の説明図を示す。
異種神経同一試行対応時刻データは、同一試行の異なる神経における神経情報の対応時刻及びその時刻における相関値が対応して記憶されたものである。図示の例では、異種神経同一試行対応時刻データファイル(第2対応時刻データファイル)17は、同一試行の異なる神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、それぞれの神経における相関値1及び相関値2と、参照データID及びその神経IDと、対象データID及びその神経IDとを、異種神経の同一試行について記憶する。このデータは、参照データである試行1の時刻を基準に、試行2における神経1と神経2の対応時刻を計算したものである。同種神経別試行対応時刻データファイルを変換することによって得られる。試行1において同一時刻に生起した情報が、試行2においてどのくらいずれて生起するか、即ち位相差が分かる。
異種神経同一試行対応時刻データは、同一試行の異なる神経における神経情報の対応時刻及びその時刻における相関値が対応して記憶されたものである。図示の例では、異種神経同一試行対応時刻データファイル(第2対応時刻データファイル)17は、同一試行の異なる神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、それぞれの神経における相関値1及び相関値2と、参照データID及びその神経IDと、対象データID及びその神経IDとを、異種神経の同一試行について記憶する。このデータは、参照データである試行1の時刻を基準に、試行2における神経1と神経2の対応時刻を計算したものである。同種神経別試行対応時刻データファイルを変換することによって得られる。試行1において同一時刻に生起した情報が、試行2においてどのくらいずれて生起するか、即ち位相差が分かる。
図28に、協調度データファイル18(出力データ)の説明図を示す。
協調度データファイル18(出力データ)に含まれる協調度データは、参照データファイル名と対象データファイル名とそれらの相関値が対応して記憶されたものである。参照データおよび対象データとしては、神経データでも、前処理の段階で得られる時間変動度データでもよい。相関値が大きいほど、協調度が大きい事を表す。
図示の例では、協調度データファイル18は、参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号との相関値を対応付けて記憶する。
協調度データファイル18(出力データ)に含まれる協調度データは、参照データファイル名と対象データファイル名とそれらの相関値が対応して記憶されたものである。参照データおよび対象データとしては、神経データでも、前処理の段階で得られる時間変動度データでもよい。相関値が大きいほど、協調度が大きい事を表す。
図示の例では、協調度データファイル18は、参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号との相関値を対応付けて記憶する。
図45に、神経間協調度データファイル21(出力データ)の説明図を示す。
神経間協調度データファイル21は、参照データIDと対象データIDと神経IDの組と、それらの神経データ間の相関値の平均値が対応して記憶されたものである。図27(b)は、第1及び第2の神経IDの組で特定される神経間協調度を表す相関値をマトリクス状に前記表示部に表したものである。
神経間協調度データファイル21は、参照データIDと対象データIDと神経IDの組と、それらの神経データ間の相関値の平均値が対応して記憶されたものである。図27(b)は、第1及び第2の神経IDの組で特定される神経間協調度を表す相関値をマトリクス状に前記表示部に表したものである。
図29(a)に時間変動度ファイル19、図29(b)に次元データファイル23、図29(c)に左右対称度データファイル25の説明図をそれぞれ示す。
時間変動度データファイル19(出力データ)に含まれる時間変動度データは、前処理の段階で生成されるもので、参照データ、対象データのいずれかまたは両方を変換したものである。時刻と、その時刻における時間変動度が対応して記憶されたものである。入力データの内部状態が大きく遷移する時刻において、時間変動度の値が大きくなる。
時間変動度データファイル19(出力データ)に含まれる時間変動度データは、前処理の段階で生成されるもので、参照データ、対象データのいずれかまたは両方を変換したものである。時刻と、その時刻における時間変動度が対応して記憶されたものである。入力データの内部状態が大きく遷移する時刻において、時間変動度の値が大きくなる。
次元データファイル23(出力データ)に含まれる次元データは、前処理の段階で生成されるもので、参照データ、対象データのいずれかまたは両方を変換したものである。神経データが参照データ、対象データとなる。神経データファイル名とその神経データが有するもとの次元と、主成分分析により得られる次元とが対応して記憶されたものである。もとの次元に対し、主成分分析により得られる次元が小さいほど、協調度が大きい事を意味している。次元データについては後述する。
左右対称度データファイル25(出力データ)に含まれる左右対称度データは、前処理の段階で生成されるもので、参照データ、対象データのいずれかまたは両方を変換したものである。時刻と、その時刻における左右対称度が対応して記憶されたものである。入力データを、左半身の神経情報と右半身の神経情報に分割し、対応するデータ同士相関を取ることで得られる。相関が高いほど対称性が高いことを表す。
図43に、試行評価データファイル28の説明図を示す。試行評価データファイル28(入出力データ)に含まれる試行評価データは、試行に対する評価の結果が試行IDと評価項目に関する評価値を対応づけて記憶されたものである。あらかじめ用意しておく上級者の試行や、運動過程において蓄積される学習者の試行が含まれる。運動情報計算装置から得られる運動情報から、試行の種類に応じて計算することで、運動の評価を行う。
図44に、位置−姿勢―力データファイル27の説明図を示す。位置−姿勢―力データファイル27(入力データ)に含まれる位置−姿勢―力データは、時刻に対して、身体または身体運動の際に用いる道具の任意の位置及び/又は姿勢及び/又は発生力を表す情報とが対応づけて記憶されたもので、身体または道具の部位を定めるためのデータIDと、試行を定めるためのデータIDとを含む。位置―姿勢−力データは、モーションキャプチャ装置10及び/又は筋・腱・靭帯等運動器官の長さ及び発生力(運動情報)を計算する運動情報計算装置20及び/又は記憶装置60等と接続することで取得することができる。
図42に、動作定義データファイル26の説明図を示す。動作定義データファイル26(入力データ)に含まれる動作定義データは、試行IDに対し、動作名及び/又は動作者を対応付けて記憶されたものである。処理部43は、動作定義データに基づいて選択された動作を参照データとして提示し、学習者の動作を対象データとして処理し、比較した結果を提示する。学習者はこれらが近づくように動作を変化させる。
上記データファイルのうち、同種神経別試行対応時刻データファイル15、異種神経同一試行対応時刻データファイル17、時間変動度データファイル19、次元データファイル23、協調度データファイル18、神経間協調度データファイル21、左右対称度データファイル25は、神経情報を表現する。対応時刻、時間変動度、左右対称度については、神経情報以外にも、入力データが運動情報であっても処理可能であるので、その場合、出力データは運動特徴情報を表現することになる。
2.ソフトウェア
2.1 第1の実施の形態の運動学習支援処理
図18に、第1の実施の形態の運動学習支援処理のフローチャートを示す。
処理部43は、処理が開始されると、初期設定を行う(S101)。その後、処理部43は、神経データファイル12又は13又は14から参照データと対象データを読み込み(S103)、前処理を実行する(S105)。つぎに、処理部43は、初期時刻を設定し(S107)、参照データから指定時間幅のテンプレートを切り出し(S109)、対象データの指定領域に渡ってテンプレートとの相関を計算し(S111)、同種神経の異なる試行について、参照データにおける時刻と対象データの最大相関値とその時刻を対応づけたものを、同種神経別試行対応時刻データファイル15に記憶する(S113)。処理部43は、最終時刻か判断し(S115)、最終時刻まで単位時刻分時刻を進めて(S117)、後処理を実行し、異種神経の同一試行について、対応時刻と相関値を求めて異種神経同一試行対応時刻データファイル17に記憶し(S119)、その結果を表示部11に提示(表示)する(S121)。ステップS109、S111、S113を繰り返し、処理を終了する。なお、各ステップの詳細は、後述する。以上により、参照データと対象データの対応時刻及びその時刻における相関値の組が得られる。運動の局所的な時間の遅れまたは進み、即ち位相差の情報が得られる。
2.1 第1の実施の形態の運動学習支援処理
図18に、第1の実施の形態の運動学習支援処理のフローチャートを示す。
処理部43は、処理が開始されると、初期設定を行う(S101)。その後、処理部43は、神経データファイル12又は13又は14から参照データと対象データを読み込み(S103)、前処理を実行する(S105)。つぎに、処理部43は、初期時刻を設定し(S107)、参照データから指定時間幅のテンプレートを切り出し(S109)、対象データの指定領域に渡ってテンプレートとの相関を計算し(S111)、同種神経の異なる試行について、参照データにおける時刻と対象データの最大相関値とその時刻を対応づけたものを、同種神経別試行対応時刻データファイル15に記憶する(S113)。処理部43は、最終時刻か判断し(S115)、最終時刻まで単位時刻分時刻を進めて(S117)、後処理を実行し、異種神経の同一試行について、対応時刻と相関値を求めて異種神経同一試行対応時刻データファイル17に記憶し(S119)、その結果を表示部11に提示(表示)する(S121)。ステップS109、S111、S113を繰り返し、処理を終了する。なお、各ステップの詳細は、後述する。以上により、参照データと対象データの対応時刻及びその時刻における相関値の組が得られる。運動の局所的な時間の遅れまたは進み、即ち位相差の情報が得られる。
ここで、データ間の関係について説明する。
処理部43は、神経データファイル12〜14のいずれかの神経データを複数読み取り、これらデータに基づき、相関演算を実行して、対応時刻と相関値を求めて同種神経別試行対応時刻データファイル15、異種神経同一試行対応時刻データファイル17に記憶する。
処理部43は、神経データファイル12〜14のいずれかの神経データを複数読み取り、これらデータに基づき、相関演算を実行して、対応時刻と相関値を求めて同種神経別試行対応時刻データファイル15、異種神経同一試行対応時刻データファイル17に記憶する。
以下に各ステップの処理について詳細を説明する。
(初期設定:S101)
初期設定として、処理部が、解析する際に、あらかじめ設定すべき事項は次の通りである。なお、これらの事項は予めデフォルト値として設定しておいてもよい。処理部43は、これら設定値を、入力部又はI/Fを介して他の装置から入力してもよいし、予め記憶されたデータを記憶部から読み取ってもよい。
(1)参照データと対象データの属性を選択する。データの属性には、神経部位(神経ID)と、試行の種類(データID)と、神経情報特性などがある。ここでは、繰返し処理するために、複数の神経部位(神経ID)を含む属性を設定することができる。
・神経部位(神経ID)は、神経名、神経番号等のように神経を識別するための、識別情報であり、神経(脊髄等)断面を表す脊髄名、例えば、頸神経C1−8、胸神経T1−12、腰神経L1−5、仙骨神経S1−5、尾骨神経Coc1の計31などがある。また、神経部位は、末梢神経の場合もある。
・試行の種類(データID)には、あらゆる運動が含まれる。例えば、参照データには、上級者や達人や師範の模範試行、自己最高あるいは最低結果が得られた試行などを選択する。対象データには、運動学習の過程での試行を選択する。この例では、異なる試行の神経情報又は同試行の異なる神経の神経情報をそれぞれ定めるための参照データIDと対象データID
・神経情報特性には、運動感覚器官から得られる情報である、筋長、筋伸長速度、筋張力情報などがある。
参照データと対象データは、この例では、いずれも異なる試行における同一部位の神経データとする。なお、これに限らず適宜の神経データを用いてもよい。
(2)テンプレートの時間幅を選択する。時間幅が短すぎると対応時刻が前後しやすく、長すぎると時間幅の細かい変化を検出しにくくなる。
(3)前処理において必要となる、時間変動度の最小閾値を設定する。
(4)相関の計算法を選択する。代表的なものとして、類似度、ユークリッド距離などがある。
(5)表示形式を選択。例えば、出力されるデータの空間配置等のデータ形式(断面、時空間等)や単数又は複数等を選択。例えば、神経データファイル12〜14のパターンのいずれかを選択する。時空間の場合、ある時刻における情報は横一列に配置され、縦方向に時刻を表すか、あるいはその逆になる。また、複数の運動の同じ時刻における神経情報や、単一の運動の複数時刻における神経情報を並列に配置する、といった形式等がある。
(初期設定:S101)
初期設定として、処理部が、解析する際に、あらかじめ設定すべき事項は次の通りである。なお、これらの事項は予めデフォルト値として設定しておいてもよい。処理部43は、これら設定値を、入力部又はI/Fを介して他の装置から入力してもよいし、予め記憶されたデータを記憶部から読み取ってもよい。
(1)参照データと対象データの属性を選択する。データの属性には、神経部位(神経ID)と、試行の種類(データID)と、神経情報特性などがある。ここでは、繰返し処理するために、複数の神経部位(神経ID)を含む属性を設定することができる。
・神経部位(神経ID)は、神経名、神経番号等のように神経を識別するための、識別情報であり、神経(脊髄等)断面を表す脊髄名、例えば、頸神経C1−8、胸神経T1−12、腰神経L1−5、仙骨神経S1−5、尾骨神経Coc1の計31などがある。また、神経部位は、末梢神経の場合もある。
・試行の種類(データID)には、あらゆる運動が含まれる。例えば、参照データには、上級者や達人や師範の模範試行、自己最高あるいは最低結果が得られた試行などを選択する。対象データには、運動学習の過程での試行を選択する。この例では、異なる試行の神経情報又は同試行の異なる神経の神経情報をそれぞれ定めるための参照データIDと対象データID
・神経情報特性には、運動感覚器官から得られる情報である、筋長、筋伸長速度、筋張力情報などがある。
参照データと対象データは、この例では、いずれも異なる試行における同一部位の神経データとする。なお、これに限らず適宜の神経データを用いてもよい。
(2)テンプレートの時間幅を選択する。時間幅が短すぎると対応時刻が前後しやすく、長すぎると時間幅の細かい変化を検出しにくくなる。
(3)前処理において必要となる、時間変動度の最小閾値を設定する。
(4)相関の計算法を選択する。代表的なものとして、類似度、ユークリッド距離などがある。
(5)表示形式を選択。例えば、出力されるデータの空間配置等のデータ形式(断面、時空間等)や単数又は複数等を選択。例えば、神経データファイル12〜14のパターンのいずれかを選択する。時空間の場合、ある時刻における情報は横一列に配置され、縦方向に時刻を表すか、あるいはその逆になる。また、複数の運動の同じ時刻における神経情報や、単一の運動の複数時刻における神経情報を並列に配置する、といった形式等がある。
(参照データと対象データの読み込み:S103)
処理部43は、初期設定において選択した属性を有する参照データと対象データを神経データファイル12又は13又は14から読み込む。この例では、参照データと対象データは、いずれも異なる試行における同一部位の神経データである。
処理部43は、初期設定において選択した属性を有する参照データと対象データを神経データファイル12又は13又は14から読み込む。この例では、参照データと対象データは、いずれも異なる試行における同一部位の神経データである。
図19に、参照データと対象データの例を示す。この例は、袈裟斬り動作の試行を2回行った際に(a)筋皮神経および(b)閉鎖神経を経由する神経情報の時空間パターンである。これらの神経が支配する筋の筋長データを抽出し、直立姿勢の筋長で正規化した。値の大きさは輝度で表現される。試行1を参照データ(または参照データと呼ぶ)とし、試行2を対象データ(または対象データと呼ぶ)とする。
(前処理:S105)
処理部43は、参照データと対象データについて、時間変動度を求めて、相関の開始時刻と終了時刻を求める。なお、処理部43は、予め時間変動度を求め時間変動度データファイル19に記憶しておき、このステップでそれを読み出して用いてもよい。処理部43は、時間変動度が閾値よりも小さい時は相関を計算しない。この前処理を加えることで、時間変化が小さく対応時刻が明確でない部分を除く効果が得られる。この前処理は省略してもよい。なお、時間変動度の求め方は後述する。
処理部43は、参照データと対象データについて、時間変動度を求めて、相関の開始時刻と終了時刻を求める。なお、処理部43は、予め時間変動度を求め時間変動度データファイル19に記憶しておき、このステップでそれを読み出して用いてもよい。処理部43は、時間変動度が閾値よりも小さい時は相関を計算しない。この前処理を加えることで、時間変化が小さく対応時刻が明確でない部分を除く効果が得られる。この前処理は省略してもよい。なお、時間変動度の求め方は後述する。
(初期時刻設定:S107)
処理部43は、初期時刻を設定する。初期時刻は、前処理(S105)により得られるもの、または、前処理S105を省略した場合等においては、データの先頭時刻を用いることもできる。
処理部43は、初期時刻を設定する。初期時刻は、前処理(S105)により得られるもの、または、前処理S105を省略した場合等においては、データの先頭時刻を用いることもできる。
(テンプレートの切り出し:S109)
処理部43は、参照データから現在時刻から指定時間幅分の長さのデータを切り出し、テンプレートとして用いる。すなわち、現在時刻をt、指定時間幅をNとして、時刻tから時刻t+Nまでのデータを切り出す。なお、本実施例ではN=9とする。なお、指定時間幅はステップS101で初期設定したり予め定めたりすることができる。
処理部43は、参照データから現在時刻から指定時間幅分の長さのデータを切り出し、テンプレートとして用いる。すなわち、現在時刻をt、指定時間幅をNとして、時刻tから時刻t+Nまでのデータを切り出す。なお、本実施例ではN=9とする。なお、指定時間幅はステップS101で初期設定したり予め定めたりすることができる。
(テンプレートと対象データとの相関演算:S111)
処理部43は、対象データにおいて、演算対象となる初期時刻から最終時刻までの間の任意の時刻t’からt’+Nまでのデータと、参照データから切り出したテンプレートとの相関(ここでは類似度)を計算する。類似度は、参照データのテンプレートパターンをx、対象データのテンプレートサイズのパターンをyとしたとき、
f(x,y)=(x・y)/(|x||y|)
で表される。類似度は−1から1までを取り、完全に一致する場合1、大きさが一緒で向きが反対の場合−1を取る。これを、対象データの演算対象となる初期時刻から最終時刻まで繰り返す。
処理部43は、対象データにおいて、演算対象となる初期時刻から最終時刻までの間の任意の時刻t’からt’+Nまでのデータと、参照データから切り出したテンプレートとの相関(ここでは類似度)を計算する。類似度は、参照データのテンプレートパターンをx、対象データのテンプレートサイズのパターンをyとしたとき、
f(x,y)=(x・y)/(|x||y|)
で表される。類似度は−1から1までを取り、完全に一致する場合1、大きさが一緒で向きが反対の場合−1を取る。これを、対象データの演算対象となる初期時刻から最終時刻まで繰り返す。
(参照データと対象データの対応時刻の計算:S113)
処理部43は、テンプレートに対し、対象データの演算対象となる全時刻との類似度が得られたので、この中で類似度が最大の時刻を対応時刻とする。処理部43は、同種神経別試行対応時刻データファイル15に、神経ID、データ種別(神経データ、時間変動データ、次元データ、左右対称度データ等)、参照データID、対象データID、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ対応時刻、その時刻における相関値を含む同種神経別試行対応時刻データを対応して記憶する。以上により、処理部43は、神経レベルの運動のパターンとタイミングの違いを計算することができる。
処理部43は、テンプレートに対し、対象データの演算対象となる全時刻との類似度が得られたので、この中で類似度が最大の時刻を対応時刻とする。処理部43は、同種神経別試行対応時刻データファイル15に、神経ID、データ種別(神経データ、時間変動データ、次元データ、左右対称度データ等)、参照データID、対象データID、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ対応時刻、その時刻における相関値を含む同種神経別試行対応時刻データを対応して記憶する。以上により、処理部43は、神経レベルの運動のパターンとタイミングの違いを計算することができる。
(繰返し処理:S115、S117)
処理部43は、参照データにおけるテンプレートの切り出しについて、最終時刻か判断し(S115)、テンプレート開始時刻を最終時刻まで単位時刻分時刻を進めて(S117)、ステップS109、S111、S113を繰り返す。最終時刻は、前処理により得られるもの、またはデータの最終時刻を用いる。ただしいずれもテンプレートの長さNを引く。
(複数のデータ属性についての繰返し処理:S116、S118)
処理部43は、複数の神経について処理を繰り返す場合(S116)、初期設定(S101)で設定したデータ属性、又は、入力部42又は他の装置で設定したデータ属性を用い他の部位について同様の処理をして同種神経別試行対応時刻データファイル15にデータを記憶する。
処理部43は、参照データにおけるテンプレートの切り出しについて、最終時刻か判断し(S115)、テンプレート開始時刻を最終時刻まで単位時刻分時刻を進めて(S117)、ステップS109、S111、S113を繰り返す。最終時刻は、前処理により得られるもの、またはデータの最終時刻を用いる。ただしいずれもテンプレートの長さNを引く。
(複数のデータ属性についての繰返し処理:S116、S118)
処理部43は、複数の神経について処理を繰り返す場合(S116)、初期設定(S101)で設定したデータ属性、又は、入力部42又は他の装置で設定したデータ属性を用い他の部位について同様の処理をして同種神経別試行対応時刻データファイル15にデータを記憶する。
(後処理:S119)
処理部43は、同種神経別試行対応時刻データファイル15から、同種神経別試行対応時刻データを複数読み込み、対応付ける。例えば、処理部43は、参照データである神経1の試行1の時刻を基準に、試行2における神経1と神経2の対応時刻を計算する。例えば、処理部43は、神経1試行1及び試行2の対応時間を含む同種神経別試行対応時刻データと、神経2試行1及び試行2の対応時間を含む同種神経別試行対応時刻データとを、用いる場合、処理部43は、神経1のID、神経1試行2のデータである参照データID、神経2のID、神経2試行2のデータである対象データID、データ種別、同一試行の異なる神経における神経情報の対応時刻を示す参照データ時刻及び対象データ対応時刻、その時刻における相関値を対応させたものを、異種神経同一試行対応時刻データとして異種神経同一試行対応時刻データファイル17に記憶する。これにより、試行1において同一時刻に生起した、異なる部位におけるデータが、試行2においてどのくらいずれるか、即ち位相差が分かる。
処理部43は、同種神経別試行対応時刻データファイル15から、同種神経別試行対応時刻データを複数読み込み、対応付ける。例えば、処理部43は、参照データである神経1の試行1の時刻を基準に、試行2における神経1と神経2の対応時刻を計算する。例えば、処理部43は、神経1試行1及び試行2の対応時間を含む同種神経別試行対応時刻データと、神経2試行1及び試行2の対応時間を含む同種神経別試行対応時刻データとを、用いる場合、処理部43は、神経1のID、神経1試行2のデータである参照データID、神経2のID、神経2試行2のデータである対象データID、データ種別、同一試行の異なる神経における神経情報の対応時刻を示す参照データ時刻及び対象データ対応時刻、その時刻における相関値を対応させたものを、異種神経同一試行対応時刻データとして異種神経同一試行対応時刻データファイル17に記憶する。これにより、試行1において同一時刻に生起した、異なる部位におけるデータが、試行2においてどのくらいずれるか、即ち位相差が分かる。
(処理結果の提示:S121)
処理部43は、同種神経別試行対応時刻データファイル15及び/又は異種神経同一試行対応時刻データ16から対応時刻データを読み出し、表示処理を実行して、表示部41に表示する。提示に用いるグラフをプロットする手順の例(プロット(1)〜(3))をそれぞれ以下に示す。
プロット(1)
対応時刻及びその時刻における類似度の提示方法について述べる。まず、処理部43は、同種神経別試行対応時刻データを同種神経別試行対応時刻データファイル15から読み込み、横軸に参照データの時刻、縦軸に対応データの時刻および類似度をとる、又は、横軸に参照データの時刻、縦軸に対応データの類似度又は誤差をとったグラフを表示する。対応時刻と類似度を同一グラフにプロットしてもよい。類似度は極めて高く1に近いので、1から類似度を引いた誤差の値を実際にはプロットすることもできる。誤差は、対応時刻の確からしさを示す。誤差が小さい時刻における対応時刻は確からしいと言える。
処理部43は、同種神経別試行対応時刻データファイル15及び/又は異種神経同一試行対応時刻データ16から対応時刻データを読み出し、表示処理を実行して、表示部41に表示する。提示に用いるグラフをプロットする手順の例(プロット(1)〜(3))をそれぞれ以下に示す。
プロット(1)
対応時刻及びその時刻における類似度の提示方法について述べる。まず、処理部43は、同種神経別試行対応時刻データを同種神経別試行対応時刻データファイル15から読み込み、横軸に参照データの時刻、縦軸に対応データの時刻および類似度をとる、又は、横軸に参照データの時刻、縦軸に対応データの類似度又は誤差をとったグラフを表示する。対応時刻と類似度を同一グラフにプロットしてもよい。類似度は極めて高く1に近いので、1から類似度を引いた誤差の値を実際にはプロットすることもできる。誤差は、対応時刻の確からしさを示す。誤差が小さい時刻における対応時刻は確からしいと言える。
プロット(2)
処理部43は、同種神経別試行対応時刻データを同種神経別試行対応時刻データファイル15から読み込む。処理部43は、タイミングの違いをより明確にするため、時間軸を横に取り、参照データと対象データを縦に並べて、対応時刻を線で結ぶようにしてもよい。これにより、すべての対応時刻同士を結ぶと対応時刻が見えづらくなるので、任意の時間幅ΔT毎に対応時刻同士線で結ぶようにしてもよい。これにより、時間の進み遅れを視覚的に提示することができる。
処理部43は、同種神経別試行対応時刻データを同種神経別試行対応時刻データファイル15から読み込む。処理部43は、タイミングの違いをより明確にするため、時間軸を横に取り、参照データと対象データを縦に並べて、対応時刻を線で結ぶようにしてもよい。これにより、すべての対応時刻同士を結ぶと対応時刻が見えづらくなるので、任意の時間幅ΔT毎に対応時刻同士線で結ぶようにしてもよい。これにより、時間の進み遅れを視覚的に提示することができる。
プロット(3)
処理部43は、異種神経同一試行対応時刻データファイルを異種神経同一試行対応時刻データ17から読み込む。処理部43は、異なる部位同士の位相差を分かりやすく提示するため、対象データの異なる部位同士の対応時刻を、参照データの時刻を用いて線で結ぶようにしてもよい。これにより、すべての対応時刻同士を結ぶと対応時刻が見えづらくなるので、任意の時間幅ΔT毎に対応時刻同士線で結ぶようにしてもよい。これにより各部位の異なる試行における位相差を視覚的に提示することができる。
処理部43は、異種神経同一試行対応時刻データファイルを異種神経同一試行対応時刻データ17から読み込む。処理部43は、異なる部位同士の位相差を分かりやすく提示するため、対象データの異なる部位同士の対応時刻を、参照データの時刻を用いて線で結ぶようにしてもよい。これにより、すべての対応時刻同士を結ぶと対応時刻が見えづらくなるので、任意の時間幅ΔT毎に対応時刻同士線で結ぶようにしてもよい。これにより各部位の異なる試行における位相差を視覚的に提示することができる。
図20に、プロット(1)の実施例を示す。
同一脊髄神経および末梢神経同士の神経情報の類似度と対応時刻をプロットしたものである。類似度は菱形、対応時刻は丸で描かれている。図20(a)、(b)は第五頸神経(C5)と第二腰神経(L2)、図20(c)、(d)は筋皮神経と閉鎖神経に対応している。横軸は試行1の時刻、縦軸は試行2の対応時刻と、その時刻同士の類似度を表す。類似度が極めて高かったので、完全に一致した場合(1)からの差分を取り、104倍した誤差を同時にプロットした。値が大きいほど、パターンの差が大きいことを意味する。
同一脊髄神経および末梢神経同士の神経情報の類似度と対応時刻をプロットしたものである。類似度は菱形、対応時刻は丸で描かれている。図20(a)、(b)は第五頸神経(C5)と第二腰神経(L2)、図20(c)、(d)は筋皮神経と閉鎖神経に対応している。横軸は試行1の時刻、縦軸は試行2の対応時刻と、その時刻同士の類似度を表す。類似度が極めて高かったので、完全に一致した場合(1)からの差分を取り、104倍した誤差を同時にプロットした。値が大きいほど、パターンの差が大きいことを意味する。
脊髄神経と末梢神経の類似度を比較すると、脊髄の方が比較的時刻の対応をなめらかに取れるがパターンの違いが大きい。一方末梢神経の方が、時刻の対応がなめらかではないが、脊髄に比べ誤差が小さい(類似度が高い)傾向が見られる。第五頸神経(C5)の対応時刻プロット(図20(a))は、前半なだらかで傾きは1以下である。後半75[frame]以降は傾きがほぼ1になる。試行2は試行1に比べ、前半の変化速度が大きいことを示している。これに対し、第二腰神経(L2)(図20(b))は、65[frame]と70[frame]の間の傾きが急で、それ以外の時刻の傾きはなだらかである。試行2は試行1に比べ、傾きが急な部分については変化速度が小さかったと言える。筋皮神経(図20(c))は、65[frame]付近で対応時刻に大きなギャップがある。またその前後で、対応時刻がしばらく一定の値をとる。誤差の値はその前後と比べ高く、60から70[frame]間の対応時刻はあまり信頼できない。閉鎖神経(図20(d))は第二腰神経(L2)と類似の傾向が見られ、65[frame]付近に傾斜の急な部分がある。
対応時刻プロットの見方を整理する。参照データの時刻を横軸に、対象データの時刻を縦軸に取った場合について説明する。傾きが1より大きい場合は、同一の変化が対象データにおいて参照データと比べて長い時間で生じたことを示す。即ち、対象データは参照データと比べて速度が遅い。逆に、傾きが1より小さい場合は、同一の変化が対象データにおいて参照データと比べて短い時間で生じたことを示す。即ち、対象データは参照データと比べて速度が速い。このような局所的な速度の変化が傾きで示される。
図21に、プロット(2)、(3)の実施例を示す。
二回の試行に関するタイムチャートを描いたのが図21である。図21(a)、(b)、(d)、(e)については、横軸上段が試行1の時刻、横軸下段が試行2の対応時刻である。図21(c)は図21(a)、(b)の試行1の時刻を基準にした試行2の、図21(c)は図21(a)、(b)の試行1の時刻を基準にした試行2の、異なる神経間の対応時刻を表す。図21(c)の横軸上段は第五頸神経(C5)の時刻、横軸下段は第二腰神経(L2)の対応時刻である。図21(f)の横軸上段は筋皮神経の時刻、横軸下段は閉鎖神経の対応時刻である。対応時刻は、5[frame]おきに取った。筋皮神経の試行1、60から75[frame]対応時刻は信頼性が高くないので、対応時刻を結ぶ線を点線で描き、それ以外は実線で描いた。
二回の試行に関するタイムチャートを描いたのが図21である。図21(a)、(b)、(d)、(e)については、横軸上段が試行1の時刻、横軸下段が試行2の対応時刻である。図21(c)は図21(a)、(b)の試行1の時刻を基準にした試行2の、図21(c)は図21(a)、(b)の試行1の時刻を基準にした試行2の、異なる神経間の対応時刻を表す。図21(c)の横軸上段は第五頸神経(C5)の時刻、横軸下段は第二腰神経(L2)の対応時刻である。図21(f)の横軸上段は筋皮神経の時刻、横軸下段は閉鎖神経の対応時刻である。対応時刻は、5[frame]おきに取った。筋皮神経の試行1、60から75[frame]対応時刻は信頼性が高くないので、対応時刻を結ぶ線を点線で描き、それ以外は実線で描いた。
第五頸神経(C5)のタイミングのずれは前半に集中している(図21(a))。試行1では、50から70[frame]までの20[frame]が、試行2では26から36[frame]までの10[frame]に対応し、半分の時間である。即ち、2倍の速度で類似のパターンが現れたことになる。これに対し後半は、試行1の70から80[frame]に対し、36から46[frame]が対応し、同じ速度である。第二腰神経(L2)のタイミングのずれは、前半と後半に少しずつ見られる(図21(b))。試行1の65から70[frame]までは試行1の35から40[frame]に対応しており、平均して同一の速度である。その前後は、15[frame]に対し11[frame]、10[frame]に対して7[frame]分の時間がかかっており、始めと終わりの速度が若干速いことが分かる。試行2におけるC5とL2の対応時刻を見ると(図21(c))、C5の活動はL2に比べ遅く始まり、その分早く進み、後半は逆にL2より遅く進む。筋皮神経については(図21(d))、C5と同様の傾向が見られるが、試行1の60から70[frame]については対応が明らかでなく分からない。それ以外の時刻の対応を見ても、全体として速度が速くなっている。閉鎖神経の対応時刻を比較すると(図21(e))、試行1の60から65[frame]に試行1の30から37[frame]が対応し、速度が若干遅くなっていることが特徴的である。それ以外は少しずつ速度が速く、全体としても短い時間で終了している。試行2における筋皮神経と閉鎖神経の対応時刻を見ると(図21(f))、最初と最後の平均速度が一致しており、その間の時間は筋皮神経の方が全体として短い。
以上、本実施例の試行において、神経毎の時空間パターンが類似しており、発生するタイミングが異なることが分かった。
以上、本実施例の試行において、神経毎の時空間パターンが類似しており、発生するタイミングが異なることが分かった。
2.2 第2の実施の形態の運動学習支援処理
図22に、第2の実施の形態の運動学習支援処理のフローチャートを示す。
第2の実施の形態では、第1の実施の形態と比べて、参照データからテンプレートを切り出すステップS109を省略し、処理部43は、所定時刻幅ではなく、参照データの演算対象となる全体時間と対象データの同じく全体時間との相関を直接計算する(S112)。そして、処理部43は、参照データと対象データと全体的な相関値の組を記憶する(S114)。これに付随して、初期時刻設定S107、最終時刻かの判断S115、最終時刻まで単位時刻分時刻を進めるS117が省略される。なお、図18で述べた対応時刻の計算を図22の前処理(S105)として、ある時刻において対応時刻を合わせてから相関を計算してもよい。すなわち、ステップS101では、テンプレートに関する設定を省略することができる。また、ステップS112では、処理部43は、公知又は周知の方法で相関計算を実行し、ステップS114では、処理部43は、参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経IDの神経に支配される筋番号と第2の神経IDに支配される筋番号との相関値を対応づけて協調度データファイル23に記憶する。
図22に、第2の実施の形態の運動学習支援処理のフローチャートを示す。
第2の実施の形態では、第1の実施の形態と比べて、参照データからテンプレートを切り出すステップS109を省略し、処理部43は、所定時刻幅ではなく、参照データの演算対象となる全体時間と対象データの同じく全体時間との相関を直接計算する(S112)。そして、処理部43は、参照データと対象データと全体的な相関値の組を記憶する(S114)。これに付随して、初期時刻設定S107、最終時刻かの判断S115、最終時刻まで単位時刻分時刻を進めるS117が省略される。なお、図18で述べた対応時刻の計算を図22の前処理(S105)として、ある時刻において対応時刻を合わせてから相関を計算してもよい。すなわち、ステップS101では、テンプレートに関する設定を省略することができる。また、ステップS112では、処理部43は、公知又は周知の方法で相関計算を実行し、ステップS114では、処理部43は、参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経IDの神経に支配される筋番号と第2の神経IDに支配される筋番号との相関値を対応づけて協調度データファイル23に記憶する。
2.3 前処理の変形例
以下の前処理(S105)の例は図22の運動支援処理の第2の実施の形態において、実行され得るバリエーションであり、例えば、初期設定(S101)等により予め選択することができる。なお、図18の第1の実施の形態の運動支援処理において適用してもよい。
以下の前処理(S105)の例は図22の運動支援処理の第2の実施の形態において、実行され得るバリエーションであり、例えば、初期設定(S101)等により予め選択することができる。なお、図18の第1の実施の形態の運動支援処理において適用してもよい。
(前処理 時間変動度の計算:S105)
図23に、前処理S105において実行される時間変動度の計算法の説明図を示す。
処理部43は、参照データ、対象データ各々の時間変動度を求めるためには、参照データまたは対象データのある時刻tからt+Nまでをテンプレートとして切り出し、これと同一データの時刻t+δtからt+δt+Nまでのデータとの相関を計算する。これを初期時刻から終了時刻まで順に繰り返す。処理部43は、神経ID、参照データID又は対象データID、時刻に対する時間変動度を含む時間変動度データを時間変動度ファイル19に記憶する。
図23に、前処理S105において実行される時間変動度の計算法の説明図を示す。
処理部43は、参照データ、対象データ各々の時間変動度を求めるためには、参照データまたは対象データのある時刻tからt+Nまでをテンプレートとして切り出し、これと同一データの時刻t+δtからt+δt+Nまでのデータとの相関を計算する。これを初期時刻から終了時刻まで順に繰り返す。処理部43は、神経ID、参照データID又は対象データID、時刻に対する時間変動度を含む時間変動度データを時間変動度ファイル19に記憶する。
相関の計算には様々な手法が知られているが、例としてノイズに強い類似度を用いる。類似度を用いる場合、−1から1までの値をとる。多くの場合、神経情報の相関は総じて大きく1に近い。そこで時間変動の様子を見るために、1から類似度を引いた値を計算し、時間変動度を求める。類似度が大きいほど、変動度は小さくなる。以上により、一時間ステップ前との変動の度合いを検出することができる。テンプレートの時間幅Nを変化させることにより、変動度の計算対象を変えることができる。N=1の場合絶対値を、N=3の場合速度を、N=5の場合加速度を、N=7の場合加速度の時間微分までを考慮に入れて変化を検出することになる。
なお、どの筋が特に状態遷移しているかを調べるときには、神経が支配する筋1つずつについての運動情報の時間変動度を計算すればよい。特に、どの筋の運動情報が大きく変化しているかを調べることができる。
なお、どの筋が特に状態遷移しているかを調べるときには、神経が支配する筋1つずつについての運動情報の時間変動度を計算すればよい。特に、どの筋の運動情報が大きく変化しているかを調べることができる。
図24に実施例として、袈裟斬り動作時の神経情報の時間変動度を示す。
脊髄の頸膨大部(C4−C8)と腰膨大部(L2−L5、 S1)付近に入力される神経情報の時間変動を示す。図24(a)−(e)がC4−C8にそれぞれ対応し、図24(f)−(j)がL2−L5,S1にそれぞれ対応している。ここでは、時間幅N=9としている。脊髄の頸膨大部と腰膨大部はそれぞれ、上肢と下肢を支配する。頸膨大部と腰膨大部の変動度を比較すると、頸膨大部の方が大きく、いずれも二峰性になっている。頸膨大部においては、上部に位置するほど前半に対し後半のピークが大きい。逆に腰膨大部では、下部ほど後半のピークが大きい。変動は腰膨大部の方が頸膨大部よりもなめらかである。前半のピーク時刻はC4を除き頸膨大部の方が早く、後半のピーク時刻は腰膨大部の方が早い。筋の活動は脊髄毎に同期して変化しており、同期のタイミングが少しずつ異なることが分かった。ピークの時刻と大きさが神経により異なることが分かる。全身協調動作の大局的な違いを神経という局所的なまとまり毎に比較することができる。時間変動度が極大を取る時刻が神経データの状態遷移時刻になる。
脊髄の頸膨大部(C4−C8)と腰膨大部(L2−L5、 S1)付近に入力される神経情報の時間変動を示す。図24(a)−(e)がC4−C8にそれぞれ対応し、図24(f)−(j)がL2−L5,S1にそれぞれ対応している。ここでは、時間幅N=9としている。脊髄の頸膨大部と腰膨大部はそれぞれ、上肢と下肢を支配する。頸膨大部と腰膨大部の変動度を比較すると、頸膨大部の方が大きく、いずれも二峰性になっている。頸膨大部においては、上部に位置するほど前半に対し後半のピークが大きい。逆に腰膨大部では、下部ほど後半のピークが大きい。変動は腰膨大部の方が頸膨大部よりもなめらかである。前半のピーク時刻はC4を除き頸膨大部の方が早く、後半のピーク時刻は腰膨大部の方が早い。筋の活動は脊髄毎に同期して変化しており、同期のタイミングが少しずつ異なることが分かった。ピークの時刻と大きさが神経により異なることが分かる。全身協調動作の大局的な違いを神経という局所的なまとまり毎に比較することができる。時間変動度が極大を取る時刻が神経データの状態遷移時刻になる。
(前処理 次元の計算:S105)
図30に、次元についての説明図を示す。
前処理S105において実行される次元の計算法を示す。
処理部43は、神経データ(参照データ、対象データ)に、公知又は周知の主成分分析を行うことで、次元を計算する。この例では、具体的には、累積寄与率が閾値を超える要素の数を計算する。処理部43は、神経ID、参照データID又は対象データID、神経IDに対応する次元データを次元データファイル23に記憶する。もとの要素数に対し、主成分分析により得られる次元が小さいほど、協調度が大きい事を意味している。
図30に、次元についての説明図を示す。
前処理S105において実行される次元の計算法を示す。
処理部43は、神経データ(参照データ、対象データ)に、公知又は周知の主成分分析を行うことで、次元を計算する。この例では、具体的には、累積寄与率が閾値を超える要素の数を計算する。処理部43は、神経ID、参照データID又は対象データID、神経IDに対応する次元データを次元データファイル23に記憶する。もとの要素数に対し、主成分分析により得られる次元が小さいほど、協調度が大きい事を意味している。
このステップでは、処理部43は、例えば、各神経情報について、次元を求める。主成分分析を行い、元の要素数で次元を割ったものを縮約率と呼ぶ。処理部43は、これを各神経毎に計算する。協調の大局的な度合いを、次元という形で表現し、比較することができる。同一の運動について、人により次元が大きく異なる場合は、運動の協調度が大きく異なることになる。
なお、主成分分析とは、互いに相関のある多種類の変数の情報を、互いに無相関な少数個の総合特性値に要約する方法である。n変量(n次元)の観測値をm個(m次元)の総合的指標(主成分)で代表させる。各主成分が元のデータに含まれる特徴をどの程度表現しているのか、あるいは何個の主成分を採用すれば元のデータに含まれる特徴を十分に表現できるのかを示す指標として、累積寄与率がある。第m主成分までの分散の和が分散の総和に占める割合で定義される。
図25に、次元の計算の実施例を示す。
袈裟斬り動作について、体性神経情報の脊髄頸膨大部(C4−C8)および腰膨大部(L2−S1)における主成分の次元を求めた。累積寄与率が0.8を超える要素の数を計算し、3から7となった。主成分分析で得られる次元を要素数で割った縮約率は脊髄の位置によらず0.1前後であった。各神経の次元を、それぞれ線グラフ、棒グラフの形でプロットしたものが図25(a)と(c)である。縮約率をプロットしたのが図25(b)である。同様に、上段蹴り動作について計算したところ、脊髄毎の神経情報の次元は6−10、縮約率は0.2前後であった。得られた結果は、線形ベクトルで時間パターンを近似する際に必要なデータの次元を表している。全身運動時の体性神経情報は、脊髄毎に極めて縮退しており、協調の度合いが大きいということが分かった。さらに、実験を行った二種類の動作においては、縮退の度合いが脊髄の位置によらないことも分かった。これは、脊髄神経回路網により、神経情報が内部的にカップリングしているためと考えられる。
袈裟斬り動作について、体性神経情報の脊髄頸膨大部(C4−C8)および腰膨大部(L2−S1)における主成分の次元を求めた。累積寄与率が0.8を超える要素の数を計算し、3から7となった。主成分分析で得られる次元を要素数で割った縮約率は脊髄の位置によらず0.1前後であった。各神経の次元を、それぞれ線グラフ、棒グラフの形でプロットしたものが図25(a)と(c)である。縮約率をプロットしたのが図25(b)である。同様に、上段蹴り動作について計算したところ、脊髄毎の神経情報の次元は6−10、縮約率は0.2前後であった。得られた結果は、線形ベクトルで時間パターンを近似する際に必要なデータの次元を表している。全身運動時の体性神経情報は、脊髄毎に極めて縮退しており、協調の度合いが大きいということが分かった。さらに、実験を行った二種類の動作においては、縮退の度合いが脊髄の位置によらないことも分かった。これは、脊髄神経回路網により、神経情報が内部的にカップリングしているためと考えられる。
(前処理 左右対称度の計算:S105)
図31に、対称性についての説明図を示す。
前処理S105において実行される左右対称度の計算法を示す。
入力された神経データを、左半身の神経情報と右半身の神経情報に分割し、左右対称で同一部位を支配する筋運動データ同士を対応させて神経情報の差分を取ることで得られる。絶対値が小さいほど対称性が高いことを表す。処理部43は、神経ID、参照データID又は対象データID、神経IDに対応する差分を左右対称度データとして左右対称度データファイル25に記憶する。
図31に、対称性についての説明図を示す。
前処理S105において実行される左右対称度の計算法を示す。
入力された神経データを、左半身の神経情報と右半身の神経情報に分割し、左右対称で同一部位を支配する筋運動データ同士を対応させて神経情報の差分を取ることで得られる。絶対値が小さいほど対称性が高いことを表す。処理部43は、神経ID、参照データID又は対象データID、神経IDに対応する差分を左右対称度データとして左右対称度データファイル25に記憶する。
神経情報の対称性を計算するには、ある時刻tからt+Nまでの左半分のデータをテンプレートとして切り出し、これと同一神経情報の時刻tからt+Nまでの右半分のデータとの相関を計算する。これをt=T0(初期時刻)からt=T1(終了時刻)まで順に繰り返す。相関の計算には時間変動度と同様に類似度を用いる。得られる結果を対称度と呼び、1から類似度を引いた値を非対称度と呼ぶ。類似度が大きいほど、対称度は大きく、非対称度は小さくなる。ここで、テンプレートの時間幅Nを変化させることにより、対称度および非対称度の計算対象を変えることができる。N=1の場合絶対値を、N=3の場合速度を、N=5の場合加速度を、N=7の場合加速度の時間微分までを考慮に入れて対称性を検出することになる。
連続的な動作を行う際、たとえば井桁崩し、体転換、袈裟斬りといった武道の基本動作において、初期状態と最終状態では姿勢が左右反転する場合が多くある。この時、初期状態から最終状態に遷移するタイミングは、筋や神経によって様々である。体転換では、できるだけ正面を向いている時間を短くすることが奨励される。これを実現するためには、各筋をタイミングよく切り替えなければならない。このタイミングがいつどこであり、直接最終状態へと最短で到達するのか、中間状態を通るのかは部位によるが、これらの動作は、筋の切り替えタイミングを意識することによって向上させることができる。参照データと対象データの左右対称度の相関を計算し、異なる部分が、左右反転のタイミングが異なる部分であると言える。
2.4 相関演算の変形例
以下の相関演算のバリエーションは、主に第2の実施の形態の運動学習支援処理のステップS112についてであるが、同様の処理を第1の実施の形態の運動学習支援処理のステップS119の後処理において実行してもよい。
以下の相関演算のバリエーションは、主に第2の実施の形態の運動学習支援処理のステップS112についてであるが、同様の処理を第1の実施の形態の運動学習支援処理のステップS119の後処理において実行してもよい。
(相関演算 協調度の計算:S112)
図32に、協調度についての説明図を示す。
図26に、参照データと対象データの相関演算S112において実施される、協調度の計算法を示す。
参照データと対象データはそれぞれ、神経データファイル13または14の(時空間画像)形式とする。処理部43は、神経データファイルについて、支配する筋運動データ同士の相関を一つずつ計算する。処理部43は、参照データから切り出すテンプレートを筋番号(横方向)に沿って順にずらす。参照データと対象データに含まれるすべての筋運動情報同士の相関を計算することになる。以上により、ある神経に支配される筋同士の運動情報の協調度が検出される。類似度が高いほど筋同士の協調度が高く、低いほど協調度が低い。これは、局所的な神経内協調度を表す。処理部43は、得られる協調度を図のように各筋番号のマトリクス状に配置し、参照データID及び第1の神経ID、対象データID及び第2の神経IDとともに協調度ファイル18に記憶する。
図32に、協調度についての説明図を示す。
図26に、参照データと対象データの相関演算S112において実施される、協調度の計算法を示す。
参照データと対象データはそれぞれ、神経データファイル13または14の(時空間画像)形式とする。処理部43は、神経データファイルについて、支配する筋運動データ同士の相関を一つずつ計算する。処理部43は、参照データから切り出すテンプレートを筋番号(横方向)に沿って順にずらす。参照データと対象データに含まれるすべての筋運動情報同士の相関を計算することになる。以上により、ある神経に支配される筋同士の運動情報の協調度が検出される。類似度が高いほど筋同士の協調度が高く、低いほど協調度が低い。これは、局所的な神経内協調度を表す。処理部43は、得られる協調度を図のように各筋番号のマトリクス状に配置し、参照データID及び第1の神経ID、対象データID及び第2の神経IDとともに協調度ファイル18に記憶する。
図27(a)に、対応させた参照データを縦軸に、対象データを横軸に取り、神経内協調度を平面に配置した様子を示す。神経データの要素数は必ずしも一致していなくてもよく、同一神経でなくてもよい。このため、異なる神経同士の相関を計算することができる。相関には類似度を用いた。前処理の段階で時間変動度を求めておき、参照データと対象データの時間変動度の相関を計算してもよい。輝度が大きいほど協調度が高いことを表している。各点の輝度は、同一神経支配筋同士の運動情報の協調度を表している。なお、神経データの時間変動度を協調度の計算の入力として用いてもよい。これをさらに、ピーク値が1で揃うように正規化したものを用いてもよい。以上のような前処理を施すことにより、変化量の絶対値の大きさによらず、状態遷移時刻と遷移過程の協調度を調べることができる。
2.5 後処理、提示処理の変換例
(後処理 神経間協調度の計算:S119)
第2の実施の形態の運動学習支援処理のステップS112協調度の計算の後処理S119において実行される神経間協調度の計算法を示す。
(後処理 神経間協調度の計算:S119)
第2の実施の形態の運動学習支援処理のステップS112協調度の計算の後処理S119において実行される神経間協調度の計算法を示す。
処理部は、参照データIDと第1の神経ID、対象データIDと第2の神経IDで特定される協調度データファイル18から相関値を読み込み、協調度データファイル18に記憶されたマトリクス上の相関値の平均を計算し、神経間協調度データファイル21に記憶する。すなわち、処理部は、予め定められた参照データIDにおける複数の第1の神経IDの組と、予め定められた対象データIDにおける複数の第2の神経IDの組とのマトリクス上に相関値の平均を、神経間協調度データファイル21に記憶する。この平均は、同一神経に支配される複数の筋同士の相関値の平均である。例えば、神経間協調度のマトリクス(図27(b))のひとつの升目の値は、神経協調度マトリクス(図27(a))の全体の升目の値の平均値になる。処理部は、これを、第1の神経IDの組と第2の神経IDの組の組み合わせすべてに対して繰り返し行う。すなわち、処理部は、予め定められた参照データIDにおける他の第1の各神経IDと、予め定められた対象データIDにおける他の第2の各神経IDについて、平均値の演算及び記憶を繰り返す。
つぎに、処理部は、神経間協調度データファイル21からデータを読み込み、第1及び第2の神経IDの組で特定される神経間協調度を表す相関値をマトリクス状に表示部に表示する。このように、神経同士の相関を計算することにより、全身動作における大局的な神経間協調度を求めることができ、図45で示される神経間協調度データファイル21が得られる。
図27(b)は、第1及び第2の神経IDの組で特定される神経間協調度を表す相関値をマトリクス状に前記表示部に表したものである。即ち、神経毎に分けて階層的に協調度を計算することにより、局所的かつ大局的な協調の状態を計算することが可能となる。
(提示 画像提示:S121)
提示S121において実行される画像提示法を示す。
処理結果を線グラフ、棒グラフ、平面プロットするほかに、参照データと対象データを重ねて表示したり、並べて表示したり、相関や差分を表示したりするようにしてもよい。学習者は、参照データである上級者の神経データに近づくように、あるいはうまくいった時のパターンに向かってそれを超えるような運動を生成するように練習を行う。
提示S121において実行される画像提示法を示す。
処理結果を線グラフ、棒グラフ、平面プロットするほかに、参照データと対象データを重ねて表示したり、並べて表示したり、相関や差分を表示したりするようにしてもよい。学習者は、参照データである上級者の神経データに近づくように、あるいはうまくいった時のパターンに向かってそれを超えるような運動を生成するように練習を行う。
(提示 音声提示:S121)
提示S121において実行される音声提示法を示す。
筋、神経レベルで解析を行ったとしても、これをもう一度学習者に自覚できる形で提示することが課題となる。視覚的に見ただけでは分かりづらい場合があり、処理部43は、その場合は音声に変換することができる。神経情報を音声情報に変換する方法の例を示す。このことにより、学習者が体性感覚を体性感覚野だけでなく、聴覚野で処理することができるようになる。
・処理部43は、神経毎あるいは筋毎に周波数の異なる音を割り当てて、神経情報の大きさ又は変化を音圧、音量に変換する。
提示S121において実行される音声提示法を示す。
筋、神経レベルで解析を行ったとしても、これをもう一度学習者に自覚できる形で提示することが課題となる。視覚的に見ただけでは分かりづらい場合があり、処理部43は、その場合は音声に変換することができる。神経情報を音声情報に変換する方法の例を示す。このことにより、学習者が体性感覚を体性感覚野だけでなく、聴覚野で処理することができるようになる。
・処理部43は、神経毎あるいは筋毎に周波数の異なる音を割り当てて、神経情報の大きさ又は変化を音圧、音量に変換する。
この時、学習者は同じ和音が出るように運動する。
・処理部43は、主動筋に注目し、主動筋や主動筋を含む神経情報の時間変動度がピークとなる時刻に音色又は音量が少しずつ異なる打楽器などを用いて音を鳴らす。
・処理部43は、主動筋に注目し、主動筋や主動筋を含む神経情報の左右対称度がピークとなる時刻に音色又は音量が少しずつ異なる打楽器などを用いて音を鳴らす。
・処理部43は、主動筋に注目し、主動筋や主動筋を含む神経情報の時間変動度がピークとなる時刻に音色又は音量が少しずつ異なる打楽器などを用いて音を鳴らす。
・処理部43は、主動筋に注目し、主動筋や主動筋を含む神経情報の左右対称度がピークとなる時刻に音色又は音量が少しずつ異なる打楽器などを用いて音を鳴らす。
音が聞こえてから反応するまでに時間がかかるので、学習者はあらかじめ音色やリズムを先に聞いておき、次に同じタイミングで同じ音色やリズムが出せるように変化させていく。本手法は、筋や神経のレベルで詳細な運動を視覚障害者の人に伝えることができる。ダンスなどの習得に効果が期待される。従って、本手法はユニバーサルデザインを実現する。視覚障害者でなくても、画面を見入ることができず、ヘッドマウントディスプレイをかぶることのできないようなダイナミックな運動を、運動中の学習者に提示することができる。
2.6 参照データに関する初期設定の変形例および設定のための評価値計算法
ここで、運動学習メカニズムに基づく参照データの選び方について述べる。運動学習には大きく分けて二種類ある。ひとつは、手本をまねて型を身につける教師有学習である。もう一つは、繰り返し練習により自分の体に合った動きを探る教師なし学習、または強化学習である。特に後者は、結果が目的にかなうかどうかを評価しながら目的に近づけようとする。前者は小脳で、後者は大脳基底核で主に行われているという脳科学の知見がある。そこで参照データには、例えば、上級者や達人や師範の模範試行をあらかじめ蓄えておくことができる。また、他の例では、参照データには、運動学習過程における学習者自身の試行を、繰り返し学習の進行とともに蓄えていき、評価を行い、自己最高または最低の試行を整理しておくことができる。客観的な評価基準は、運動の種類により異なるが、例えば袈裟斬り動作であれば、剣先の(a)始点及び(b)終点の位置、(c)始点と終点をつなぐ軌道の直進性,(d)全身特に腕部の適度な弛緩、(e)全身の動的安定性、(f)腰の高さの一定性などがある。参照データに模範試行を選択し、学習者の試行と比較する場合は、教師有学習過程を支援する。自己最高または最低評価時の試行を選択し、学習者の試行と比較する場合は、教師なし強化学習過程を支援する。
ここで、運動学習メカニズムに基づく参照データの選び方について述べる。運動学習には大きく分けて二種類ある。ひとつは、手本をまねて型を身につける教師有学習である。もう一つは、繰り返し練習により自分の体に合った動きを探る教師なし学習、または強化学習である。特に後者は、結果が目的にかなうかどうかを評価しながら目的に近づけようとする。前者は小脳で、後者は大脳基底核で主に行われているという脳科学の知見がある。そこで参照データには、例えば、上級者や達人や師範の模範試行をあらかじめ蓄えておくことができる。また、他の例では、参照データには、運動学習過程における学習者自身の試行を、繰り返し学習の進行とともに蓄えていき、評価を行い、自己最高または最低の試行を整理しておくことができる。客観的な評価基準は、運動の種類により異なるが、例えば袈裟斬り動作であれば、剣先の(a)始点及び(b)終点の位置、(c)始点と終点をつなぐ軌道の直進性,(d)全身特に腕部の適度な弛緩、(e)全身の動的安定性、(f)腰の高さの一定性などがある。参照データに模範試行を選択し、学習者の試行と比較する場合は、教師有学習過程を支援する。自己最高または最低評価時の試行を選択し、学習者の試行と比較する場合は、教師なし強化学習過程を支援する。
以下の評価値計算法では、第1及び第2の実施の形態の運動学習支援処理に適用されるものであり、主な変更ステップについて以下に説明する。
なお、教師なし学習過程または教師あり学習過程のいずれを支援するかの設定は、例えば、ステップS101の初期設定又は適宜のステップにおいて、入力部、記憶部又は他の装置等から、適宜設定することができる。
なお、教師なし学習過程または教師あり学習過程のいずれを支援するかの設定は、例えば、ステップS101の初期設定又は適宜のステップにおいて、入力部、記憶部又は他の装置等から、適宜設定することができる。
(初期設定 動作定義:S101)
教師有学習過程を支援する際、処理部43は、動作定義データ26を読み込む。図42に、動作定義データ26の例を示す。試行IDと動作名と動作者が対応して記憶されている。動作名と動作者を設定すると、処理部43は対応する試行IDを探し出し、参照データの特定に用いる。動作者としては、動作の熟練者である、師範、達人、上級者を設定するとよい。
教師有学習過程を支援する際、処理部43は、動作定義データ26を読み込む。図42に、動作定義データ26の例を示す。試行IDと動作名と動作者が対応して記憶されている。動作名と動作者を設定すると、処理部43は対応する試行IDを探し出し、参照データの特定に用いる。動作者としては、動作の熟練者である、師範、達人、上級者を設定するとよい。
(初期設定 評価項目:S101)
教師なし学習過程を支援する際、処理部43は、試行評価データ28を読み込む。図43に、試行評価データ28の例を示す。試行IDと、評価項目に対応する評価値が対応して記憶されている。評価項目を設定すると、処理部43は評価値が最大または最小となる試行IDを探し出し、参照データの特定に用いる。
教師なし学習過程を支援する際、処理部43は、試行評価データ28を読み込む。図43に、試行評価データ28の例を示す。試行IDと、評価項目に対応する評価値が対応して記憶されている。評価項目を設定すると、処理部43は評価値が最大または最小となる試行IDを探し出し、参照データの特定に用いる。
(初期設定 評価関数:S101)
教師なし学習過程を支援する際、処理部43は、位置−姿勢−力データ27を読み込む。図44に、位置−姿勢―力データ27の例を示す。時刻に対して、身体または身体運動の際に用いる道具の任意の位置及び/又は姿勢及び/又は発生力を表す情報と、身体または道具の部位を定めるためのデータIDと、試行を定めるためのデータIDとが記憶されている。評価関数を設定し、位置−姿勢−力データまたは神経データから試行の評価値を計算する方法を特定する。
なお、位置―姿勢−力データは、モーションキャプチャ装置及び/又は筋・腱・靭帯等運動器官の長さ及び発生力(運動情報)を計算する運動情報計算装置及び/又は記憶装置と接続することで取得することができる。
教師なし学習過程を支援する際、処理部43は、位置−姿勢−力データ27を読み込む。図44に、位置−姿勢―力データ27の例を示す。時刻に対して、身体または身体運動の際に用いる道具の任意の位置及び/又は姿勢及び/又は発生力を表す情報と、身体または道具の部位を定めるためのデータIDと、試行を定めるためのデータIDとが記憶されている。評価関数を設定し、位置−姿勢−力データまたは神経データから試行の評価値を計算する方法を特定する。
なお、位置―姿勢−力データは、モーションキャプチャ装置及び/又は筋・腱・靭帯等運動器官の長さ及び発生力(運動情報)を計算する運動情報計算装置及び/又は記憶装置と接続することで取得することができる。
(後処理 評価:S119)
教師なし学習過程を支援する際、処理部43は、位置−姿勢−力データまたは神経データから評価関数を用いて試行の評価値を計算し、試行評価データファイル28に試行IDと評価項目と評価値を対応づけて記憶する。評価値としては、例えば、各項目の所定のデータを用いた適宜の評価関数を用いることで計算することができる。
教師なし学習過程を支援する際、処理部43は、位置−姿勢−力データまたは神経データから評価関数を用いて試行の評価値を計算し、試行評価データファイル28に試行IDと評価項目と評価値を対応づけて記憶する。評価値としては、例えば、各項目の所定のデータを用いた適宜の評価関数を用いることで計算することができる。
具体例として、袈裟斬り動作の例を用いて説明する。袈裟斬り動作において、足を踏みかえる際、腰の高さができるだけ変化しない方がよいとされる。初心者は足を踏みかえる際、腰が一瞬浮いて、腰の高さが高くなり、最初と最後は低い傾向にある。これに対し熟練者は腰の高さが低く、高さを大きく変化させずに足を踏み替える。このため、足を踏みかえる瞬間においても全身が安定している。このような、袈裟斬り動作の評価項目(f)腰の高さの一定性の評価関数は、次のように定める。床から重力に逆向きにz軸を取ると、腰の高さは腰の位置のz成分で表される。腰の位置のz成分時系列を[z(0)、z(1)、z(2)、‥‥‥、z(n)]と表現すると、腰の高さの高さ方向変化の総和は、
このようにして、運動学習の過程の試行データを毎回評価しながら蓄積し、次回以降の試行の際に結果を用いることができるようになる。
(提示 評価値:S121)
教師なし学習過程を支援する際、処理部は、試行評価データファイル28からデータを読み込み、試行IDと評価項目と評価値の組を表示部に表示する。繰り返し試行を行う際、学習者は毎回の試行がよかったのか悪かったのかを確かめながら運動学習を実施することができるようになる。
教師なし学習過程を支援する際、処理部は、試行評価データファイル28からデータを読み込み、試行IDと評価項目と評価値の組を表示部に表示する。繰り返し試行を行う際、学習者は毎回の試行がよかったのか悪かったのかを確かめながら運動学習を実施することができるようになる。
C.運動情報−神経情報変換装置
運動情報−神経情報変換装置については、本発明者らによる特許出願(特願2004−176455、2004年6月15日出願)があり、本明細書にその技術内容を参照してインコーポレートする(組み込む)ことができる。
運動情報−神経情報変換装置については、本発明者らによる特許出願(特願2004−176455、2004年6月15日出願)があり、本明細書にその技術内容を参照してインコーポレートする(組み込む)ことができる。
1.ハードウェア
図33に、運動情報−神経情報変換装置30のハード構成図を示す。
この装置は例えば、オフライン・脊髄断面画像表示の場合のハード構成を示し、表示部31、入力部32、処理部(CPU)33、インタフェース部(I/F)34、記憶部35を備える。
記憶部35は、神経幾何データファイル1、神経特徴データファイル2、神経伝導時間データファイル3、神経−筋対応データファイル4、神経分岐データファイル5、筋順位データファイル6、筋特徴データファイル7、伸筋−屈筋対応データファイル8、筋運動データファイル9、脊髄神経断面座標データファイル11、神経データファイル12〜14を含む。
なお、記憶部35は又は処理部33等は、運動学習支援装置の記憶部45又は処理部43等と、一部又は全部について共有の記憶部又は処理部等としてもよい。
図33に、運動情報−神経情報変換装置30のハード構成図を示す。
この装置は例えば、オフライン・脊髄断面画像表示の場合のハード構成を示し、表示部31、入力部32、処理部(CPU)33、インタフェース部(I/F)34、記憶部35を備える。
記憶部35は、神経幾何データファイル1、神経特徴データファイル2、神経伝導時間データファイル3、神経−筋対応データファイル4、神経分岐データファイル5、筋順位データファイル6、筋特徴データファイル7、伸筋−屈筋対応データファイル8、筋運動データファイル9、脊髄神経断面座標データファイル11、神経データファイル12〜14を含む。
なお、記憶部35は又は処理部33等は、運動学習支援装置の記憶部45又は処理部43等と、一部又は全部について共有の記憶部又は処理部等としてもよい。
以下に、記憶部35に含まれるデータファイルについて説明する。
図34に、神経幾何データファイル1(入力データ又は中間データ)の説明図を示す。
表1で示すように、神経幾何データファイル1が記憶する神経幾何データは、神経番号、対応する脊髄名、筋名、脊髄と筋肉とこの間の神経線名(列)が対応して記憶されたものである。神経線名は、点列として神経を定義することも可能である。なお、神経線は伝導速度や伝導時間など特性を持つため、神経線を神経点とは別に定義する。表2では、神経線名に対して、始点名と終点名が記憶される。神経線の始点、終点を総称して神経点と呼ぶ。表2は、表3で示すような、神経点名と神経点座標を対応づけるデータと組み合わせて用いられる。
図34に、神経幾何データファイル1(入力データ又は中間データ)の説明図を示す。
表1で示すように、神経幾何データファイル1が記憶する神経幾何データは、神経番号、対応する脊髄名、筋名、脊髄と筋肉とこの間の神経線名(列)が対応して記憶されたものである。神経線名は、点列として神経を定義することも可能である。なお、神経線は伝導速度や伝導時間など特性を持つため、神経線を神経点とは別に定義する。表2では、神経線名に対して、始点名と終点名が記憶される。神経線の始点、終点を総称して神経点と呼ぶ。表2は、表3で示すような、神経点名と神経点座標を対応づけるデータと組み合わせて用いられる。
図35(A)に、神経特徴データファイル2(入力データ)の説明図を示す。
神経特徴データファイル2が記憶する神経幾何データは、表1に示すように、末梢神経名と神経線列が対応して記憶されたものと、表2に示すように、神経線名と伝導速度が、対応して記憶されたもので構成される。伝導速度としては、求心性と遠心性の神経伝導速度がある。なお、この例では、神経幾何データと神経特徴データを分離して構成したが、一例にすぎず分離しないで適宜構成してもよい。また、一例として、ここでは求心性神経伝導速度のみ用いる。
神経特徴データファイル2が記憶する神経幾何データは、表1に示すように、末梢神経名と神経線列が対応して記憶されたものと、表2に示すように、神経線名と伝導速度が、対応して記憶されたもので構成される。伝導速度としては、求心性と遠心性の神経伝導速度がある。なお、この例では、神経幾何データと神経特徴データを分離して構成したが、一例にすぎず分離しないで適宜構成してもよい。また、一例として、ここでは求心性神経伝導速度のみ用いる。
図35(B)に、神経伝導時間データファイル3(出力データ)の説明図を示す。
神経伝導時間データは、神経番号に対し、神経伝導時間が対応して記憶されたものである。
神経伝導時間データは、神経番号に対し、神経伝導時間が対応して記憶されたものである。
図36(A)に、神経−筋対応データファイル4(中間データ)の説明図を示す。
神経−筋対応データは、筋名と、筋を支配する脊髄神経(横軸)と末梢神経(縦軸)の情報が対になったものである。図には、一例として、脊髄神経(C8)関連の神経−筋対応データを示す。ここでは、全身の神経―筋対応のうち一部を示すが、実際には全身について定義することができる。このような対応表は解剖学の専門書に基づいて作成することができる。また、神経幾何データから各情報を用いて計算で求めることもできる。処理部33は、このデータを用いて、注目する脊髄神経が支配する筋と、その筋を支配する末梢神経とを検索することができる。例えば、脊髄神経C8に注目する場合、筋の検索は縦矢印に対応して尺側手根屈筋が求められ、末梢神経の検索は横矢印に対応して尺骨神経が求められる。
神経−筋対応データは、筋名と、筋を支配する脊髄神経(横軸)と末梢神経(縦軸)の情報が対になったものである。図には、一例として、脊髄神経(C8)関連の神経−筋対応データを示す。ここでは、全身の神経―筋対応のうち一部を示すが、実際には全身について定義することができる。このような対応表は解剖学の専門書に基づいて作成することができる。また、神経幾何データから各情報を用いて計算で求めることもできる。処理部33は、このデータを用いて、注目する脊髄神経が支配する筋と、その筋を支配する末梢神経とを検索することができる。例えば、脊髄神経C8に注目する場合、筋の検索は縦矢印に対応して尺側手根屈筋が求められ、末梢神経の検索は横矢印に対応して尺骨神経が求められる。
図36(B)に、神経分岐データファイル5(入力データ)の説明図を示す。
神経分岐データは、脊髄神経系を、脊髄を根とし、筋を葉とする木構造で表現したものである。接点は神経経由点または始点(脊髄)、終点(筋)、分岐点を、枝は神経経路を表す。なお、ここでは神経経路を枝としているが、神経経路自体も接点と表現する方法もある。
神経分岐データは、脊髄神経系を、脊髄を根とし、筋を葉とする木構造で表現したものである。接点は神経経由点または始点(脊髄)、終点(筋)、分岐点を、枝は神経経路を表す。なお、ここでは神経経路を枝としているが、神経経路自体も接点と表現する方法もある。
図37(A)に、筋順位データファイル6(出力データ)の説明図を示す。
筋順位データは、筋順位、筋の特徴を表す情報(左右、伸筋屈筋の別、筋部位の分類)、筋名とを対応して記憶したものである。ここでは、全身の筋のうち一部を示すが、実際には全身について定義することができる。
筋順位データは、筋順位、筋の特徴を表す情報(左右、伸筋屈筋の別、筋部位の分類)、筋名とを対応して記憶したものである。ここでは、全身の筋のうち一部を示すが、実際には全身について定義することができる。
図37(B)に、筋特徴データファイル7(入力データ)の説明図を示す。
筋特徴データは、筋名に対して、筋の特徴を表す情報(左右、伸筋屈筋の別、筋部位の分類)を記憶したものである。ここでは、全身の筋のうち一部を示すが、実際には全身について定義することができる。筋部位は、例えば、次の6つに分類される:1)体幹,2)体幹〜四肢,3)肢帯〜四肢,4)上腕,大腿,5)前腕,下腿,6)手および足。
筋特徴データは、筋名に対して、筋の特徴を表す情報(左右、伸筋屈筋の別、筋部位の分類)を記憶したものである。ここでは、全身の筋のうち一部を示すが、実際には全身について定義することができる。筋部位は、例えば、次の6つに分類される:1)体幹,2)体幹〜四肢,3)肢帯〜四肢,4)上腕,大腿,5)前腕,下腿,6)手および足。
図37(C)に、伸筋−屈筋対応データファイル8(入力データ)の説明図を示す。
伸筋−屈筋対応データは、対応する屈筋群と伸筋群に属する筋名が対になったものである。対応する筋肉は、ほぼ同一部位同士で対応すると考えられるが、同一部位だからと言って対になるとは限らない。逆に、複数の部位にまたがって対応する場合もある。このため、伸筋−屈筋対応データに含まれる部位ごとまとめて結合する。
伸筋−屈筋対応データは、対応する屈筋群と伸筋群に属する筋名が対になったものである。対応する筋肉は、ほぼ同一部位同士で対応すると考えられるが、同一部位だからと言って対になるとは限らない。逆に、複数の部位にまたがって対応する場合もある。このため、伸筋−屈筋対応データに含まれる部位ごとまとめて結合する。
図38(A)に、筋運動データファイル9(入力データ)の説明図を示す。
筋運動データは、時刻と、ある時刻における任意の筋の長さ、長さ変化速度、力、力変化速度等の筋長・筋長変化・筋張力のいずれか又は複数についての筋運動情報が対になったものである。同一ファイルに複数の情報(力と長さ)を配置したり、複数の筋の情報を配置する形式や、ある時刻における複数の情報を一つにまとめる形式も考えられる。ここでは、ファイル名が筋の名前となっており、筋の名前を指定することでファイルの内容がメモリに読み込まれる。図では、一例として、上腕二頭筋の筋長の時間変化を示している。また、長さは絶対値の場合と、初期姿勢や標準姿勢の長さで規格化した値の場合とがある。筋長変化についても同様である。
筋運動データは、時刻と、ある時刻における任意の筋の長さ、長さ変化速度、力、力変化速度等の筋長・筋長変化・筋張力のいずれか又は複数についての筋運動情報が対になったものである。同一ファイルに複数の情報(力と長さ)を配置したり、複数の筋の情報を配置する形式や、ある時刻における複数の情報を一つにまとめる形式も考えられる。ここでは、ファイル名が筋の名前となっており、筋の名前を指定することでファイルの内容がメモリに読み込まれる。図では、一例として、上腕二頭筋の筋長の時間変化を示している。また、長さは絶対値の場合と、初期姿勢や標準姿勢の長さで規格化した値の場合とがある。筋長変化についても同様である。
図38(B)に、脊髄神経断面座標データファイル11(出力データ)の説明図を示す。
脊髄神経断面座標データは、神経番号に対し、脊髄断面における神経の空間配置を記憶したものである。また、2次元平面上の座標データは、x−y座標系でもr−θ座標系でもよい。さらに、座標データの代わりに、空間配置の位置を示す識別情報を用いてもよい。
脊髄神経断面座標データは、神経番号に対し、脊髄断面における神経の空間配置を記憶したものである。また、2次元平面上の座標データは、x−y座標系でもr−θ座標系でもよい。さらに、座標データの代わりに、空間配置の位置を示す識別情報を用いてもよい。
2.ソフトウェア
2.1 メインフロー
図39に、メインフローチャートを示す。
処理部33は、処理が開始されると、初期設定を行う(S101)。その後、処理部33は、神経伝導時間計算(S103)、筋順位計算(S105)、神経断面の空間配置計算(S107)を実行する。つぎに、処理部33は、初期時刻を設定し(S109)、運動情報から神経情報への変換処理を実行し(S111)、その結果を表示部11に提示(表示)する(S113)。処理部33は、最終時刻か判断し(S115)、最終時刻まで単位時刻分時刻を進めて(S117)、ステップS111、S113を繰り返し、処理を終了する。なお、各ステップの詳細は、後述する。
2.1 メインフロー
図39に、メインフローチャートを示す。
処理部33は、処理が開始されると、初期設定を行う(S101)。その後、処理部33は、神経伝導時間計算(S103)、筋順位計算(S105)、神経断面の空間配置計算(S107)を実行する。つぎに、処理部33は、初期時刻を設定し(S109)、運動情報から神経情報への変換処理を実行し(S111)、その結果を表示部11に提示(表示)する(S113)。処理部33は、最終時刻か判断し(S115)、最終時刻まで単位時刻分時刻を進めて(S117)、ステップS111、S113を繰り返し、処理を終了する。なお、各ステップの詳細は、後述する。
2.2 各ステップの処理
以下に各ステップについて詳細を説明する。
(初期設定:S101)
初期設定として、処理部が、解析する際に、あらかじめ設定すべき事項は次の通りである。処理部33は、これら設定値を、入力部又はI/Fを介して他の装置から入力してもよいし、予め記憶されたデータを記憶部から読み取ってもよい。
(1)神経(脊髄等)断面を表す脊髄名を選択。例えば、脊髄は、頸神経8、胸神経12、腰神経5、仙骨神経5、尾骨神経1の計31で構成される。
(2)運動データ(投げ、跳び、運動特性(速度、力等))を選択。
(3)表示形式を選択。例えば、出力される空間配置等のデータ形式(断面、時空間等)や単数又は複数等を選択。例えば、神経データファイル12〜14のパターンを選択する。時空間の場合、ある時刻における情報は横一列に配置され、縦方向に時刻を表すか、あるいはその逆になる。また、複数の運動の同じ時刻における神経情報や、単一の運動の複数時刻における神経情報を並列に配置する、といった形式がある。
以下に各ステップについて詳細を説明する。
(初期設定:S101)
初期設定として、処理部が、解析する際に、あらかじめ設定すべき事項は次の通りである。処理部33は、これら設定値を、入力部又はI/Fを介して他の装置から入力してもよいし、予め記憶されたデータを記憶部から読み取ってもよい。
(1)神経(脊髄等)断面を表す脊髄名を選択。例えば、脊髄は、頸神経8、胸神経12、腰神経5、仙骨神経5、尾骨神経1の計31で構成される。
(2)運動データ(投げ、跳び、運動特性(速度、力等))を選択。
(3)表示形式を選択。例えば、出力される空間配置等のデータ形式(断面、時空間等)や単数又は複数等を選択。例えば、神経データファイル12〜14のパターンを選択する。時空間の場合、ある時刻における情報は横一列に配置され、縦方向に時刻を表すか、あるいはその逆になる。また、複数の運動の同じ時刻における神経情報や、単一の運動の複数時刻における神経情報を並列に配置する、といった形式がある。
(神経伝導時間計算:S103)
処理部33は、処理が開始されると、初期設定S101で選択された神経(脊髄等)断面を表す脊髄名に基づき、各神経番号について、神経幾何データファイル1(表1)から、脊髄名と脊髄神経等支配筋の筋名の組と神経線名(列)を抽出する。神経に応じてひとつ又は複数の神経線名の列が含まれる。つぎに、処理部33は、抽出した神経線名(列)に基づき、神経幾何データファイル1(表2)から神経線の始点名と終点名を求め、さらに、始点名及び終点名の神経点に基づき、神経幾何データファイル1(表3)から神経点座標を検索することにより、各神経線(列)の長さを計算する。処理部33は、各神経線(列)の長さと、各神経線(列)に従い神経特徴データファイル2(表2)から読み出した神経特徴データの求心性(又は遠心性)神経伝導速度から各神経線(列)の伝導時間を計算する。さらに、処理部33は、ひとつ又は複数の神経線(列)で表された任意の脊髄から任意の筋までの神経路全体の神経信号伝導時間を計算する。このようにして、処理部33は、神経番号に対応して神経信号伝導時間を神経伝導時間データ3に記憶する。
処理部33は、処理が開始されると、初期設定S101で選択された神経(脊髄等)断面を表す脊髄名に基づき、各神経番号について、神経幾何データファイル1(表1)から、脊髄名と脊髄神経等支配筋の筋名の組と神経線名(列)を抽出する。神経に応じてひとつ又は複数の神経線名の列が含まれる。つぎに、処理部33は、抽出した神経線名(列)に基づき、神経幾何データファイル1(表2)から神経線の始点名と終点名を求め、さらに、始点名及び終点名の神経点に基づき、神経幾何データファイル1(表3)から神経点座標を検索することにより、各神経線(列)の長さを計算する。処理部33は、各神経線(列)の長さと、各神経線(列)に従い神経特徴データファイル2(表2)から読み出した神経特徴データの求心性(又は遠心性)神経伝導速度から各神経線(列)の伝導時間を計算する。さらに、処理部33は、ひとつ又は複数の神経線(列)で表された任意の脊髄から任意の筋までの神経路全体の神経信号伝導時間を計算する。このようにして、処理部33は、神経番号に対応して神経信号伝導時間を神経伝導時間データ3に記憶する。
(筋順位計算:S105)
筋順位計算では、処理部33は、伸筋−屈筋の分類や、部位による分類を行った後、同一部位に属する筋の順位を計算し、さらに、同一筋内での順位を計算する。この処理は、空間配置を決める上で必要になる。
筋順位計算では、処理部33は、伸筋−屈筋の分類や、部位による分類を行った後、同一部位に属する筋の順位を計算し、さらに、同一筋内での順位を計算する。この処理は、空間配置を決める上で必要になる。
処理部33は、筋順位計算が開始されると、初期設定S101で選択された脊髄名に基づき、神経−筋対応データファイル4の神経−筋対応データを参照して選択された脊髄が支配する筋名を求め、その筋名に対応する末梢神経を求め、さらに末梢神経によりその筋名を分類する。処理部33は、分類された筋名について、さらに、筋特徴データファイル7の筋特徴データを参照して、筋名により伸筋・屈筋の別を求め、分類する。処理部33は、神経分岐データファイル5の木構造の神経分岐データを参照して、同一末梢神経内で根元から分岐する葉順(たとえば、根元に近い順又は介在する接点が少ない順)に並べ替える。処理部33は、各神経番号に対応する筋名について、神経伝導時間データ3を参照して、神経伝導時間に基づいて、同一部位の異なる末梢神経間で伝導時間が短い順に並べ替える。このとき、例えば、同一分類の異なる末梢神経間では、最短伝導時間同士を比較し、短い方の末梢神経を先に並べる。このようにして、処理部33は、並び替えられた筋順位、左右、伸筋・屈筋、筋部位番号、筋名を対応して筋順位データを筋順位データファイル6に記憶する。また処理部33は、作成された脊髄断面座標データを必要に応じて、表示部に表示又はI/F部を介して出力する。
筋順位は、筋幾何データを用い、体幹に近い・深い順に定めることができる。また、筋順位は、神経幾何データから求められる神経伝導時間が短い順で順位を決めるという方法も考えられる。これらに限らず、逆の順に決めてもよいし、筋と神経の幾何データのいずれかを用いて順位を決めるなど、適宜のあらかじめ定められた順位で定めてもよい。
(神経断面の空間配置計算:S107)
また、図40は、空間配置時のデータの様子の一例を示す説明図である。
処理部33は、筋順位データファイル6から読み出した筋順位データに基づき、各レコード(筋名に相当)を、左右、伸筋・屈筋、筋部位で分類し、予め定められた神経(脊髄等)断面に関する空間に配置する。この配置する空間は、記憶部に記憶され、各神経(脊髄等)断面について異なる領域形状でもよいし、同一の領域形状や複数の領域形状を用いてもよい。この例では、脊髄灰白質を模擬した形状で、各筋名を配置するセルをマトリクスに区分している。空間配置は、まず、図40に示されるように、左右、上下(屈筋・伸筋)に4種類に分類し、さらに、横方向に6つの部位で分類して、該当する位置に各筋名を配置する。そして、処理部33は、筋順位に従い、中心軸から離れるにつれて、筋順位の高い(短い)ものから低い(長い)ものを並び替え配置する。これは、筋分類と筋配置から体幹に近い順に並べ替える方法とほぼ等価である。さらに、処理部33は、伸筋−屈筋対応データファイル8から読み出した伸筋・屈筋対応データにより筋支配神経を結合し、上(屈筋)下(伸筋)に再配置する。こうして、同一の機能を持つ複数の筋が逆の機能を持つ複数の筋に対応づけられる。なお、対応する筋群が二つの部位にまたがる場合は縦に重ねる。
また、図40は、空間配置時のデータの様子の一例を示す説明図である。
処理部33は、筋順位データファイル6から読み出した筋順位データに基づき、各レコード(筋名に相当)を、左右、伸筋・屈筋、筋部位で分類し、予め定められた神経(脊髄等)断面に関する空間に配置する。この配置する空間は、記憶部に記憶され、各神経(脊髄等)断面について異なる領域形状でもよいし、同一の領域形状や複数の領域形状を用いてもよい。この例では、脊髄灰白質を模擬した形状で、各筋名を配置するセルをマトリクスに区分している。空間配置は、まず、図40に示されるように、左右、上下(屈筋・伸筋)に4種類に分類し、さらに、横方向に6つの部位で分類して、該当する位置に各筋名を配置する。そして、処理部33は、筋順位に従い、中心軸から離れるにつれて、筋順位の高い(短い)ものから低い(長い)ものを並び替え配置する。これは、筋分類と筋配置から体幹に近い順に並べ替える方法とほぼ等価である。さらに、処理部33は、伸筋−屈筋対応データファイル8から読み出した伸筋・屈筋対応データにより筋支配神経を結合し、上(屈筋)下(伸筋)に再配置する。こうして、同一の機能を持つ複数の筋が逆の機能を持つ複数の筋に対応づけられる。なお、対応する筋群が二つの部位にまたがる場合は縦に重ねる。
つぎに、処理部33は、分類した筋支配神経群を予め定められた空間に整合させる。すなわち、処理部33は、分類した筋支配神経群が予め設定された数Nを超えるかどうか判断する。これは、高さが極端に増減しないための工夫で、Nの数は任意に決められる。処理部33は、Nを超える場合は、Nを下回る最大数になるよう分割する。このとき、設定した高さNを超えない高さに等分割し、等分割できないときはX座標絶対値が大きい方を余りにする。また、伸筋・屈筋いずれか一方がNを超える場合、残りの筋支配神経群も同一数に分割する。一方、処理部33は、設定した高さNに満たない場合は、X座標絶対値が小さい順に、超えない高さに結合する。このとき、Nを下回る最大数になるよう結合することができる。また、屈筋・伸筋ともに対応させて結合し、いずれもNを上回らない時結合するようにしてもよい。さらに、処理部33は、隙間があったら対称軸であるy軸に向かってX座標絶対値が小さい方向に詰める。処理部33は、こうしてできあがった空間配置にしたがい、脊髄断面座標データを作成し、脊髄神経断面座標データファイル11に記憶する。また処理部33は、作成された脊髄断面座標データを必要に応じて、表示部に表示又はI/F部を介して出力する。なお、脊髄断面座標データは、空間配置内のセルの位置を識別するための識別情報を用いてもよい。
他に、空間配置計算のフローチャートの他の実施の形態としては、処理部33は、神経断面の空間配置計算のうち、設定数Nで分けずにフラットに配置するようにしてもよい。
他に、空間配置計算のフローチャートの他の実施の形態としては、処理部33は、神経断面の空間配置計算のうち、設定数Nで分けずにフラットに配置するようにしてもよい。
図41に、時空間パターン作成のための並べ替え1の説明図を示す。並べ替え1では、処理部33は、伸筋、屈筋の分類を保ちつつその中で筋部位順に並べ替える。
(運動情報から神経情報への変換処理:S111)
処理部33は、単位時刻分時刻を進めて、運動情報から神経情報への変換処理を実行し(S111)、その結果を表示部11に提示(表示)する(S113)。
処理部33は、運動情報から神経情報への変換を開始すると、神経伝導時間データ3から読み出した神経伝導時間データからそれぞれの神経番号に対応する神経についての伝導時間を抽出する。処理部33は、初期設定S101で設定された運動データに従い、神経幾何データファイル1を参照して各神経番号に対する筋名を求め、その筋名について、筋運動データファイル9に設定された運動特性の運動データを読み出す。
処理部33は、単位時刻分時刻を進めて、運動情報から神経情報への変換処理を実行し(S111)、その結果を表示部11に提示(表示)する(S113)。
処理部33は、運動情報から神経情報への変換を開始すると、神経伝導時間データ3から読み出した神経伝導時間データからそれぞれの神経番号に対応する神経についての伝導時間を抽出する。処理部33は、初期設定S101で設定された運動データに従い、神経幾何データファイル1を参照して各神経番号に対する筋名を求め、その筋名について、筋運動データファイル9に設定された運動特性の運動データを読み出す。
ここで、処理部33は、伝導時間遅れを考慮するか否か判断する。処理部33は、遅れを考慮する場合、求める時刻から伝導時間前のデータを抽出し、該当する時刻のデータが存在しない場合は補間により運動データを計算する。一方、処理部33は、遅れを考慮しない場合、筋運動データファイル9から求める時刻の運動データを抽出する。
つぎに、処理部33は、脊髄神経断面座標データファイル11から読み出した脊髄断面座標データを用いて運動データを神経データへ写像する。例えば、脊髄断面座標データで定められたその神経番号の神経の位置に、各神経番号に対する筋名と各時刻により、筋運動データで定められた筋運動情報の値に応じて、明暗又は色の変化を与える。処理部33は、こうして出来上がった神経データを神経データファイル12に記憶する。
なお、神経データファイル13、14も同様に、適宜並びかえることにより作成することができる。
なお、神経データファイル13、14も同様に、適宜並びかえることにより作成することができる。
D. おわりに
本実施の形態で述べたことは、主に、以下のようにまとめられる。
・神経系、特に脊髄の解剖学的構造について概観した。脊髄前角細胞の幾何学的構造や末梢神経系の構造を用いて、筋運動情報を写像し、得られる脊髄神経情報、末梢神経情報を処理する手法を提案した。
・身体運動を身体の内側の神経系から観測した時の類似度を計算する方法を提案した。全身運動の観測データから、神経情報の時空間パターンを抽出し、神経情報の局所的なパターンの類似度を計算した。類似度から、異なる試行同士の対応する時刻を求め、類似パターンが生成するタイミングの違いを比較する方法を提案した。同一人物、同一動作の異なる試行について処理を行い、類似のパターンが異なるタイミングで発生することを発見し、本発明の有効性を示した。
・神経情報の時間変動を求める手法を提案した。本手法により、神経系から観測した全身運動の特徴を抽出することができる。実験を行い、脊髄に入力される求心性神経情報の時空間パターンを処理した。全身協調動作時に、ピークの大きさとタイミングの違いを求められることを明らかにし、本発明の有効性を示した。ここでは、最も基本的な類似度の計算により対応時刻を求めたが、パターン認識の様々な手法を適用することで、さらにロバストに処理することが可能であろう。
・全身協調動作時の筋運動データを支配脊髄毎に分類し、神経毎の次元を計算する手法を提案した。
・支配脊髄毎に、左右対称度を計算し、左右が入れ替わるタイミングを検出する手法を提案した。
・同一神経に支配される筋同士の協調度、異なる神経同士の協調度を計算する手法を提案した。
・これら神経活動パターンレベルの違いを画像、音声等で提示することにより、運動学習を支援する手法を提案した。
本実施の形態で述べたことは、主に、以下のようにまとめられる。
・神経系、特に脊髄の解剖学的構造について概観した。脊髄前角細胞の幾何学的構造や末梢神経系の構造を用いて、筋運動情報を写像し、得られる脊髄神経情報、末梢神経情報を処理する手法を提案した。
・身体運動を身体の内側の神経系から観測した時の類似度を計算する方法を提案した。全身運動の観測データから、神経情報の時空間パターンを抽出し、神経情報の局所的なパターンの類似度を計算した。類似度から、異なる試行同士の対応する時刻を求め、類似パターンが生成するタイミングの違いを比較する方法を提案した。同一人物、同一動作の異なる試行について処理を行い、類似のパターンが異なるタイミングで発生することを発見し、本発明の有効性を示した。
・神経情報の時間変動を求める手法を提案した。本手法により、神経系から観測した全身運動の特徴を抽出することができる。実験を行い、脊髄に入力される求心性神経情報の時空間パターンを処理した。全身協調動作時に、ピークの大きさとタイミングの違いを求められることを明らかにし、本発明の有効性を示した。ここでは、最も基本的な類似度の計算により対応時刻を求めたが、パターン認識の様々な手法を適用することで、さらにロバストに処理することが可能であろう。
・全身協調動作時の筋運動データを支配脊髄毎に分類し、神経毎の次元を計算する手法を提案した。
・支配脊髄毎に、左右対称度を計算し、左右が入れ替わるタイミングを検出する手法を提案した。
・同一神経に支配される筋同士の協調度、異なる神経同士の協調度を計算する手法を提案した。
・これら神経活動パターンレベルの違いを画像、音声等で提示することにより、運動学習を支援する手法を提案した。
本発明の特徴は、神経解剖学の知見に基づいて、全身運動パターンを神経毎の基底パターンにあらかじめ分割して、パターン間の比較を行う点にある。全身の体性感覚情報は、末梢神経毎に束ねられて脊髄に送られ、体性感覚情報は、神経レベルである程度局所的に処理されている。同一動作の異なる試行について、神経毎に流れる情報の時空間パターンを比較すると、例えば以下のような問いに対する答えが得られる:時空間パターンはどの位異なるのか?あるいは、神経毎の時空間パターンは類似しており、神経毎にパターンが発生するタイミングが異なるのか?
本実施例では特に、二つの試行の類似度を比較する例を示したが、同一人物が反復練習を行う際の一連の動作を比較することで、動作のチューニングの仕方の傾向を見ることができるようになる。優れた身体技能を持つ達人のチューニング方法を抽出することができれば、達人の技へ近づくための訓練方法の開発につながる。本手法は、異なる人間による同一動作や、異なる動作同士を比較できるように拡張することが可能である。
運動学習において、目的の運動の実現を妨げる要因は大きく三段階に分けられる。
第一段階 結果の運動を正しく感知できないこと
第二段階 運動を感知しても修正の仕方が分からないこと
第三段階 修正の仕方が分かっても筋が思い通り動かないこと
客観評価と神経データの組を対応付け、神経データのレベルで比較を行うことにより、第一段階、第二段階の要因を取り除く助けとなる。
第一段階 結果の運動を正しく感知できないこと
第二段階 運動を感知しても修正の仕方が分からないこと
第三段階 修正の仕方が分かっても筋が思い通り動かないこと
客観評価と神経データの組を対応付け、神経データのレベルで比較を行うことにより、第一段階、第二段階の要因を取り除く助けとなる。
本発明は、運動計測という非侵襲の方法で、運動中の脊髄神経情報に到達する手段を提供する。運動計測は脳神経計測手段のなかった時代からある古典的な方法である。しかし、本発明と組み合わせることで、直接神経計測ともPETやfMRIなどの脳計測とも異なる、第三の脳神経計測技術となる可能性がある。
本発明の運動学習支援方法又は運動学習支援装置・システムは、その各手順をコンピュータに実行させるための運動学習支援プログラム、運動学習支援プログラムを記録したコンピュータ読み取り可能な記録媒体、運動学習支援プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
10 モーションキャプチャ装置
20 運動情報計算装置
30 運動学習支援装置
40 運動学習支援装置
50 提示装置
60 記憶装置
20 運動情報計算装置
30 運動学習支援装置
40 運動学習支援装置
50 提示装置
60 記憶装置
Claims (25)
- 時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備え、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定する手段と、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込む手段と、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行う手段と、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算する手段と、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶する手段と、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算する手段と前記記憶する手段とを繰り返す手段と、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示する手段と、
を有する運動学習支援装置。 - 前記表示する手段において、
前記処理部は、複数の参照データ時刻にそれぞれ対応する複数の対象データ時刻及び/又は相関値若しくは誤差を示す関係を、前記表示部に表示する請求項1に記載の運動学習支援装置。 - 前記表示する手段において、
処理部は、時間軸に対して、時刻に対応して参照データと対象データとの対応時刻の関係を表示する請求項1に記載の運動学習支援装置。 - 同一試行の異なる神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻におけるそれぞれの神経に関する第1及び第2の相関値と、参照データID及びその神経IDと、対象データID及びその神経IDとを、異種神経の同一試行について記憶する第2対応時刻データファイル
をさらに備え、
処理部は、第1の神経において、参照データを第1の試行、対象データを第2の試行として求めた第1の同種神経別試行対応時刻データと、第2の神経において、参照データを前記第1の試行、対象データを前記第2の試行として求めた第2の同種神経別試行対応時刻データとを、前記第1対応時刻データファイルから読み取る手段と、
処理部は、参照データである前記第1又は第2の試行のいずれかの参照データ時刻を基準に、第1の神経と第2の神経についての対象データである前記第2の試行の対応時刻を求める手段と、
処理部は、第1の神経の第2の試行のデータ時刻を参照データ時刻、第2の神経の第2の試行のデータ時刻を対象データ時刻として、第1及び第2の神経ID、参照データID、対象データID、対応時刻における第1の神経における第1と第2の試行についての第1の相関値及び第2の神経における第1と第2の試行についての第2の相関値を対応させて前記第2対応時刻データファイルに記憶する手段と、
処理部は、前記第2対応時刻データファイルからデータを読み込み、同一試行の異なる神経における対応時刻を前記表示部に表示する手段と
をさらに備えた請求項1に記載の運動学習支援装置。 - 時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定する手段と、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込む手段と、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行う手段と、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算する手段と、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶する手段と、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算する手段と前記記憶する手段とを繰り返す手段と、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示する手段と、
を有する運動学習支援装置。 - 神経IDは、神経断面を表す脊髄名又は末梢神経名を含む請求項1又は5に記載の運動学習支援装置。
- 神経情報は、筋長、筋伸長速度、筋張力のいずれかの情報である請求項1又は5に記載の運動学習支援装置。
- 前記前処理を行う手段において、処理部は、参照データ又は対象データのある所定時間幅をテンプレートとして切り出し、所定時刻ずらした参照データ又は対象データとの相関値を時間変動度として繰り返し求めて、神経ID、参照データID又は対象データID、時刻に対する時間変動度を時間変動度データファイルに記憶し、
前記読み込む手段において、処理部は、参照データ及び対象データを時間変動度データファイルから読み込み、その後の処理を実行する請求項1又は5に記載の運動学習支援装置。 - 前記前処理を行う手段において、処理部は、参照データ又は対象データに対して主成分分析を実行して、神経ID、参照データID又は対象データID、神経信号に対する次元データを次元データファイルに記憶し、
前記読み込む手段において、処理部は、参照データ及び対象データを次元データファイルから読み込み、その後の処理を実行する請求項1又は5に記載の運動学習支援装置。 - 前記前処理を行う手段において、処理部は、左右対称で同一神経の神経情報を記憶した神経データについて差分をとり、神経ID、データID、差分を左右対称度データファイルに記憶し、
前記読み込む手段において、処理部は、参照データ及び対象データを左右対称度データファイルから読み込み、その後の処理を実行する請求項1又は5に記載の運動学習支援装置。 - 処理部は、神経毎又は筋毎に異なる種類の音を割り当て、神経情報の大きさ又は変化を、音圧・音量に変換し、前記表示部により可聴表示する請求項1又は5に記載の運動学習支援装置。
- 処理部は、神経又は主動筋の時間変動度がピークとなる時刻に、音色又は音量が異なるように、前記表示部により可聴表示する請求項1又は5に記載の運動学習支援装置。
- 処理部は、神経又は主動筋の左右対称度がピークとなる時刻に、音色又は音量が異なるように、前記表示部により可聴表示する請求項1又は5に記載の運動学習支援装置。
- 試行を定めるためのデータIDに対し、動作の種類及び/または動作者を対応づけて記憶する動作定義データファイルをさらに備え、
処理部は、初期設定として、入力部又は他の装置から動作の種類及び/または動作者を設定する手段と、
処理部は、前記動作定義データファイルを読み込む手段と、
処理部は、初期設定において選択した動作の種類及び/または動作者に従い、動作定義データを用いて対応する試行のデータIDを特定し、これを用いて参照データIDを設定する手段
をさらに備えた請求項1または5に記載の運動学習支援装置。 - 処理部は、初期設定として、動作の熟練者である師範、達人、上級者等を動作者として設定する手段
をさらに備えた請求項14に記載の運動学習支援装置。 - 試行を定めるためのデータIDと評価項目毎の試行の評価値を記憶した試行評価データファイルをさらに備え、
処理部は、初期設定において入力部又は他の装置から評価項目を設定する手段と、
処理部は、試行を定めるためのデータIDと評価項目に対応する試行の評価値の組を読み込む手段と、
処理部は、設定した評価項目の評価値が最大または最小となる試行のデータIDを特定し、これを用いて参照データを設定する手段
をさらに備えた請求項1または5に記載の運動学習支援装置。 - 時刻に対して、身体または身体運動の際に用いる道具の任意の位置及び/又は姿勢及び/又は発生力を表す情報と、身体または道具の部位を定めるためのデータIDと、試行を定めるためのデータIDとを含む位置−姿勢−力データを記憶した位置−姿勢−力データファイルをさらに備え、
処理部は、位置−姿勢−力データを前記位置−姿勢−力データファイルから読み込む手段と、
処理部は、初期設定において評価項目に基づいて評価関数を設定する手段と、
処理部は、評価関数を用いて位置−姿勢−力データまたは神経データから試行の評価値を計算する手段と、
処理部は、前記試行評価データファイルに試行IDと評価項目と評価値を対応づけて記憶する手段と、
処理部は、前記試行評価データファイルからデータを読み込み、試行IDと評価項目と評価値の組を表示部に表示する手段
をさらに備えた請求項16に記載の運動学習支援装置。 - 処理部は、モーションキャプチャ装置、及び/又は、筋・腱・靭帯等運動器官の長さ並びに発生力・運動情報を計算する運動情報計算装置、及び/又は、記憶装置から位置−姿勢−力データを取得する手段と、
位置−姿勢−力データを位置−姿勢−力データファイルに記憶する手段
をさらに備えた請求項17に記載の運動学習支援装置。 - 参照データID及び第1の神経IDの組、対象データID及び第2の神経IDの組、第1の神経IDの組のうち任意の神経IDの神経データと第2の神経IDの組のうち任意の神経IDの神経データとその間の相関値を対応づけて記憶する神経間協調度データファイル
をさらに備え、
処理部は、参照データIDと第1の神経ID、対象データIDと第2の神経IDで特定される前記協調度データファイルから相関値を読み込む手段と、
処理部は、前記協調度データファイルに記憶されたマトリクス上の相関値の平均を計算する手段と、
処理部は、予め定められた参照データIDにおける複数の第1の神経IDの組と、予め定められた対象データIDにおける複数の第2の神経IDの組とのマトリクス上に相関値の平均を、前記神経間協調度データファイルに記憶する手段と、
処理部は、予め定められた参照データIDにおける他の第1の各神経IDと、予め定められた対象データIDにおける他の第2の各神経IDについて、前記演算する手段と前記記憶する手段とを繰り返す手段と、
処理部は、前記神経間協調度データファイルからデータを読み込み、第1及び第2の神経IDの組で特定される神経間協調度を表す相関値をマトリクス状に前記表示部に表示する手段
をさらに備えた請求項5に記載の運動学習支援装置。 - 時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備えた運動学習支援装置を用いた運動学習支援方法において、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算するステップと、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶するステップと、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示するステップと、
を含む運動学習支援方法。 - 時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え運動学習支援装置を用いた運動学習支援方法において、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算するステップと、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶するステップと、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示するステップと、
を含む運動学習支援方法。 - 時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備えた運動学習支援装置における運動学習支援プログラムにおいて、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算するステップと、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶するステップと、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示するステップと、
をコンピュータに実行させるための運動学習支援プログラム。 - 時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え運動学習支援装置における運動学習支援プログラムにおいて、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算するステップと、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶するステップと、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示するステップと、
をコンピュータに実行させるための運動学習支援プログラム。 - 時刻に対して、神経IDと、時刻毎の脊髄断面画像又は時刻毎の体幹から末端への神経に支配される筋の位置空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
異なる試行の同一神経における神経情報の対応時刻を表す参照データ時刻及び対象データ時刻と、対応時刻における相関値と、参照データIDと、対象データIDと、神経IDとを、同種神経別の異なる試行について記憶する第1対応時刻データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイル、前記第1対応時刻データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記第1対応時刻データファイルに記憶するための処理部と
を備えた運動学習支援装置における運動学習支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
処理部は、初期設定として、入力部又は他の装置から、神経ID、異なる試行をそれぞれ定めるための参照データID及び対象データIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる試行における同一部位の神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから指定時間幅分の長さのデータを切り出してテンプレートを作成し、対象データの演算対象となる初期時刻から最終時刻までテンプレートを用いて走査して、テンプレートと対象データとの時刻毎の相関値を繰り返し演算するステップと、
処理部は、テンプレートに対し、参照データと対象データとの相関値が最大の時刻を対応時刻とし、前記第1対応時刻データファイルに、参照データIDと、対象データIDと、神経IDと、異なる試行の同一神経における神経情報の対応時刻を示す参照データ時刻及び対象データ時刻と、対応時刻における相関値を対応して記憶するステップと、
処理部は、参照データにおける最終時刻まで所定時刻分時刻を進めてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記第1対応時刻データファイルからデータを読み込み、参照データ時刻と、対象データ時刻との対応関係を前記表示部に表示するステップと、
をコンピュータに実行させるための運動学習支援プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 時刻に対して、神経IDと、時刻毎の体幹から末端への神経に支配される筋の位置を示す筋番号の空間に配置された神経情報と、試行を定めるためのデータIDとを含む神経データを記憶した神経データファイルと、
参照データID及び第1の神経ID、対象データID及び第2の神経ID、第1の神経に支配される筋番号により特定される神経データと第2の神経に支配される筋番号により特定される神経データとの相関値を対応付けて記憶する協調度データファイルと、
神経又は試行間の対応関係を表示する表示部と、
前記神経データファイルと前記協調度データファイルに対して読出し及び/又は書き込みを行い、神経又は試行間の対応関係を求めて前記表示部に対応関係を表示し、前記協調度データファイルに記憶するための処理部と
を備え運動学習支援装置における運動学習支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
処理部は、初期設定として、入力部又は他の装置から、第1及び第2の神経ID、試行を定めるためのデータIDを含むデータ属性を設定するステップと、
処理部は、初期設定において選択したデータ属性に従い、異なる神経における同一試行神経データを参照データと対象データとして、前記神経データファイルから読み込むステップと、
処理部は、参照データと対象データについて、相関計算のための初期時刻の設定を含む前処理を行うステップと、
処理部は、参照データから筋番号毎に演算対象となる全時間の神経データを切り出してテンプレートを作成し、対象データの筋番号ごとに演算対象となる全時間についてテンプレートを用いて走査して、テンプレートと対象データとの筋番号毎の相関値を繰り返し演算するステップと、
処理部は、前記協調度データファイルに、参照データID、対象データID、第1及び第2の神経ID、第1の神経に支配される筋番号と第2の神経に支配される筋番号とのマトリクス上に相関値を記憶するステップと、
処理部は、参照データにおける各筋番号についてテンプレートを作成し、前記演算するステップと前記記憶するステップとを繰り返すステップと、
処理部は、前記協調度データファイルからデータを読み込み、第1及び第2神経に支配される各筋の運動協動度を表す相関値をマトリクス状に前記表示部に表示するステップと、
をコンピュータに実行させるための運動学習支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004263636A JP4054879B2 (ja) | 2004-09-10 | 2004-09-10 | 運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体 |
PCT/JP2005/007444 WO2006027869A1 (ja) | 2004-09-10 | 2005-04-19 | 運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004263636A JP4054879B2 (ja) | 2004-09-10 | 2004-09-10 | 運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006075398A JP2006075398A (ja) | 2006-03-23 |
JP4054879B2 true JP4054879B2 (ja) | 2008-03-05 |
Family
ID=36036163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004263636A Active JP4054879B2 (ja) | 2004-09-10 | 2004-09-10 | 運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4054879B2 (ja) |
WO (1) | WO2006027869A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI836690B (zh) * | 2022-11-01 | 2024-03-21 | 國立臺灣科技大學 | 脊髓模型及其製作方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2071545A1 (en) * | 2006-09-29 | 2009-06-17 | Waseda University | Medical technique evaluation system, technique evaluation device, technique evaluation device program |
JP5229796B2 (ja) * | 2008-07-27 | 2013-07-03 | 国立大学法人 東京大学 | 筋張力データベースの構築方法、筋張力データベースを用いた筋張力計算方法及び装置 |
WO2010095636A1 (ja) * | 2009-02-20 | 2010-08-26 | 国立大学法人東京大学 | 筋張力推定法及び装置 |
CN104720819A (zh) * | 2015-03-24 | 2015-06-24 | 赵君雄 | 睡眠过程记录机 |
JP2019141262A (ja) * | 2018-02-19 | 2019-08-29 | 国立大学法人 筑波大学 | 武道動作解析方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11120351A (ja) * | 1997-10-15 | 1999-04-30 | Fujitsu Ltd | 画像マッチング装置および画像マッチングプログラムを格納する記憶媒体 |
JP3861781B2 (ja) * | 2002-09-17 | 2006-12-20 | 日産自動車株式会社 | 前方車両追跡システムおよび前方車両追跡方法 |
JP3872061B2 (ja) * | 2004-02-06 | 2007-01-24 | 三菱電機株式会社 | 画像処理装置 |
-
2004
- 2004-09-10 JP JP2004263636A patent/JP4054879B2/ja active Active
-
2005
- 2005-04-19 WO PCT/JP2005/007444 patent/WO2006027869A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI836690B (zh) * | 2022-11-01 | 2024-03-21 | 國立臺灣科技大學 | 脊髓模型及其製作方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2006027869A1 (ja) | 2006-03-16 |
JP2006075398A (ja) | 2006-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230017367A1 (en) | User interface system for movement skill analysis and skill augmentation | |
CN110998696B (zh) | 用于数据驱动型移动技能训练的系统和方法 | |
Gardner et al. | Coding of sensory information | |
Land et al. | From action representation to action execution: exploring the links between cognitive and biomechanical levels of motor control | |
Figueiredo et al. | Front crawl sprint performance: A cluster analysis of biomechanics, energetics, coordinative, and anthropometric determinants in young swimmers | |
Komar et al. | What variability tells us about motor expertise: measurements and perspectives from a complex system approach | |
US6963656B1 (en) | Method and device for visualizing images through sound | |
US4508510A (en) | Method for psychomotor training of physical skills | |
WO2005122900A1 (ja) | 筋骨格モデルに基づく筋力取得方法及び装置 | |
Prentice et al. | Artificial neural network model for the generation of muscle activation patterns for human locomotion | |
WO2006027869A1 (ja) | 運動学習支援装置及び方法、運動学習支援プログラム及び該プログラムを記録した記録媒体 | |
JPH11192214A (ja) | 脊椎動物若しくはこれを模倣したロボットに関する数値モデルの作成方法 | |
Schnitzler et al. | A new qualitative typology to classify treading water movement patterns | |
Vinken et al. | How does the amount of movement and observer expertise shape the perception of motion aesthetics in dance? | |
JP4016112B2 (ja) | 運動情報−神経情報変換装置及び方法、運動情報−神経情報変換プログラム及び該プログラムを記録した記録媒体 | |
WO2023214413A1 (en) | System for testing and training a brain capability and method of implementing the same | |
González et al. | Multichannel audio biofeedback for dynamical coupling between prosthetic hands and their users | |
Camenidis et al. | Determination of neuromuscular control of the upper limbs in children-case study | |
Gonzalez et al. | Fear levels in virtual environments, an approach to detection and experimental user stimuli sensation | |
Mack et al. | Movement prototypes and their relationship in the performance of a gymnastics floor routine | |
Qiu et al. | Coordination changes demonstrated by subjects with hemiparesis performing hand-arm training using the NJIT-RAVR robotically assisted virtual rehabilitation system | |
CN109887572A (zh) | 一种平衡功能训练方法及系统 | |
Keating et al. | A back propagation neural network for the classification of visual field data | |
Li et al. | Current status and clinical perspectives of extended reality for myoelectric prostheses | |
Bakke | Different Strokes for Different Folks: Patient-Specific Gait Modelling and Post-Stroke Rehabilitation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |