JP7023210B2 - 多次元データ可視化装置、方法およびプログラム - Google Patents

Description

この発明は、例えば、筋活動を表す多次元の時系列データを低次元の空間に射影することにより上記筋活動を可視化するために使用される多次元データ可視化装置、方法およびプログラムに関する。

近年、例えば医療や福祉、スポーツ分野において、種々の身体運動を解析する試みがなされている。運動は、一般的に複数筋の時系列的な活動により構成されているため、理想の運動を実現するためには複数筋の時系列的な活動を分析し、個々の筋について瞬間ごとに筋肉の収縮、弛緩、緊張度調整が必要である。筋活動は、筋肉の収縮に伴って筋繊維を通過する電気信号、つまり筋電信号を計測することにより分析可能である。ところが、筋電信号のような多次元の時系列データを目視で分析することは困難である。

そこで、例えば、自己組織化写像（Self-Organizing Map : SOM）を用いて多次元の時系列データを二次元空間に写像したマップを生成し提示することで、運動状態を可視化する技術が提案されている（例えば非特許文献１を参照）。

横田 紘季, 大島 成通, 水野 直樹, 「自己組織化写像を用いた人体運動情報の可視化（筋骨格モデルシミュレーションに基づく最適動作を利用した身体知マップの生成）」, 日本機械学会論文集, Vol.82,No.834,2016，公開日 2016/02/25

ところが、非特許文献１に記載された技術には以下のような解決すべき課題があった。すなわち、現実の運動状態には、理想の運動状態に近い状態（近正例）と、理想の運動状態からかけ離れている状態（負例）とがある。運動状態を可視化しようとする場合、このような現実の運動状態（近正例、負例）と理想の運動状態（正例）とを二次元空間上に表示することになるが、非特許文献１に記載された技術では現実の運動状態と理想の運動状態との差別化が考慮されていないため、両運動状態の差分を判別し難くなる場合があった。

この発明は上記事情に着目してなされたもので、その目的とするところは、複数の多次元データを可視化する際に、その差分を明確に判別できるようにした技術を提供することにある。

上記目的を達成するためにこの発明に係る多次元データ可視化装置または方法の第１の態様は、入力される多次元データと同一次元の参照ベクトルを保持する複数のノードと、当該複数のノードと射影先となる空間における座標との対応関係を表す情報を記憶するテーブルとを有する射影変換モデルを使用し、学習用の第１および第２の多次元データを取得し、取得された第１および第２の多次元データからそれぞれその特徴量を抽出し、抽出された前記第１および第２の多次元データの各特徴量に基づいてそれぞれ前記ノードの参照ベクトルを更新し、前記第１および第２の多次元データの各特徴量をもとにそれぞれ更新されたノードを前記テーブルに従い前記射影先となる空間に射影したときの各座標間の距離を算出して、当該距離が閾値以上となるように前記テーブルを更新するようにしたものである。

この発明に係る多次元データ可視化装置の第２の態様は、前記射影変換モデルのテーブルとして、前記複数のノードと前記多次元データより低次元の空間における座標との対応関係を表す情報を記憶するテーブルを備えたものである。

この発明に係る多次元データ可視化装置の第３の態様は、前記射影変換モデルを自己組織化マップを適用して構築したものである。

この発明に係る多次元データ可視化装置および方法の第４の態様は、上記第１の態様で述べた構成または過程に加え、可視化対象となる第３および第４の多次元データを取得して、取得された第３および第４の多次元データからそれぞれその特徴量を抽出し、抽出された前記第３および第４の多次元データの各特徴量を前記ノードおよびテーブルが更新された後の射影変換モデルに入力し、このとき当該射影変換モデルから出力される、前記第３および第４の多次元データに対応する前記空間の座標に基づいて、当該空間の座標を一覧表示するための表示データを生成し出力するようにしたものである。

この発明の第１、第２および第３の態様によれば、第１および第２の多次元データを、例えばそれより低次元の空間に射影したときに、上記第１および第２の多次元データに対応する上記低次元空間の座標を相互に閾値以上離れた状態で射影することを可能にした射影変換モデルを構築することができる。すなわち、上記第１および第２の多次元データにより表される情報の差を明確に判別することが可能な射影変換モデルを提供することができる。

この発明の第４の態様によれば、第１、第２および第３の態様により構築された射影変換モデルを使用することで、第３および第４の多次元データに対応する各座標を相互に適切に離間させた状態で可視化することが可能となる。従って、例えば、ユーザは上記表示を見ることで、上記第３の多次元データにより表される自身の現在の状態と、上記第４の多次元データにより表される目標となる状態との差を、明確に判別することが可能となる。

すなわち、この発明の各態様によれば、複数の多次元データを可視化する際に、その差分を明確に判別できるようにした技術を提供することができる。

図１は、この発明に係る多次元データ可視化装置の一実施形態である運動状態可視化装置の機能構成を示すブロック図である。 図２は、図１に示した運動状態可視化装置の射影変換モデル学習フェーズにおける処理手順と処理内容の一例を示すフローチャートである。 図３は、図２に示した射影変換モデル学習フェーズにおける射影テーブル更新処理の処理手順と処理内容の一例を示すフローチャートである。 図４は、図３に示したノード移動処理の処理手順と処理内容の一例を示すフローチャートである。 図５は、筋電信号（正例）の一例を示す図である。 図６は、筋電信号（負例）の一例を示す図である。 図７は、図５に示した筋電信号から算出された特徴量（正例）の一例を示す図である。 図８は、図６に示した筋電信号から算出された特徴量（負例）の一例を示す図である。 図９は、射影テーブルの一例を示す図である。 図１０は、二次元空間の一例を示す図である。 図１１は、図９に示した射影テーブルにより表される各ノードの座標値を二次元空間にプロットした例を示す図である。 図１２は、図９に示した射影テーブルのノード座標値を移動した後の射影テーブルの一例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成例）
図１は、この発明に係る多次元データ可視化装置の一実施形態である運動状態可視化装置の機能構成を示すブロック図である。
運動状態可視化装置１は、信号ケーブル、ＬＡＮ（Local Area Network）または無線ＬＡＮやBluetooth（登録商標）等の無線ネットワークを介して、筋電信号計測装置２および表示装置３に接続される。

筋電信号計測装置２は、例えば、被験者の監視対象となる筋活動系に対応する複数の筋部位にそれぞれ電極を装着し、各電極によりそれぞれ連続的に検出された時系列の筋電信号を出力する機能を有する。

表示装置３は、例えばパーソナルコンピュータやスマートフォン、タブレット型端末、ウェアラブル端末のようにディスプレイを備えた端末装置からなり、運動状態可視化装置１から出力される運動状態を可視化するための表示データを受け取って表示する機能を有する。

運動状態可視化装置１は、例えばパーソナルコンピュータまたはサーバコンピュータからなり、制御ユニット１１と、記憶ユニット１２と、インタフェースユニット１３とを備える。インタフェースユニット１３は、筋電信号計測装置２から出力された各筋電信号を受信して、例えばディジタル信号からなる波形データにそれぞれ変換し、変換後の各波形データを制御ユニット１１へ出力する。またインタフェースユニット１３は、制御ユニット１１により生成された、運動状態を可視化するための表示データを表示装置３へ出力する。

記憶ユニット１２は、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて構成される。その記憶領域には、プログラム記憶領域と、データ記憶領域とが設けられる。プログラム記憶領域には、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。

データ記憶領域には、筋電信号記憶部１２１と、特徴量記憶部１２２と、射影変換モデル記憶部１２３とが設けられている。筋電信号記憶部１２１は、上記筋電信号計測装置２から取得された各筋電信号の波形データ、つまり多次元の時系列データを記憶するために用いられる。特徴量記憶部１２２は、上記各筋電信号の波形データからそれぞれ算出される波形の特徴量を表すデータを記憶するために用いられる。射影変換モデル記憶部１２３は、制御ユニット１０により生成された射影変換モデルを記憶するために使用される。

制御ユニット１０は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサを備え、この発明の一実施形態を実現するための制御機能として、筋電信号取得部１１１と、前処理部１１２と、特徴量算出部１１３と、ノード情報更新部１１４と、射影テーブル更新部１１５と、運動状態可視化部１１６とを備えている。

筋電信号取得部１１１は、筋電信号計測装置２から出力された各筋電信号の波形データ、つまり多次元の時系列データをインタフェースユニット１３から取り込む処理を行う。このとき、上記各筋電信号の波形データとしては、理想の運動状態に対応する波形データ（正例データ）と、理想からかけ離れた運動状態に対応する波形データ（負例データ）が用意され、それぞれ正例および負例のラベルが付される。

前処理部１１２は、上記筋電信号取得部１１１により取り込まれた正例の各波形データ、および負例の各波形データに対し、それぞれノッチフィルタやバンドパスフィルタを用いてフィルタリング処理を行うことで、上記各波形データから体動ノイズおよび交流ノイズ成分を除去する。そして前処理部１１２は、上記フィルタリング処理後の正例の各波形データおよび負例の各波形データを筋電信号記憶部１２１に記憶させる。

特徴量算出部１１３は、上記筋電信号記憶部１２１から正例の各波形データおよび負例の各波形データを所定のサンプリング間隔で読み込み、読み込んだサンプルごとに上記各波形データからそれぞれ波形の特徴量を算出する。例えば、特徴量としては振幅特徴量または周波数特徴量が考えられる。そして特徴量算出部１１３は、正例および負例の各々について、上記サンプルごとに算出された波形の特徴量を表す各データを時系列に従い特徴量記憶部１２２に記憶させる。

ノード情報更新部１１４は、射影変換モデル構築フェーズにおいて、上記特徴量記憶部１２２に記憶された正例および負例の各波形データの特徴量に基づいて、例えば自己組織化マップのアプローチに従い、サンプルごとにその各波形データの特徴量の組により表される多次元ベクトルを、それより低次元の空間（例えば二次元空間）に射影するための射影変換モデルを構築する。自己組織化マップでは、参照ベクトルを持つ複数のノードと、当該ノード情報を二次元空間に射影するための射影テーブルとを定義している。そのため、射影変換モデルはこのノード情報と射影テーブルとにより表される。このうちノード情報の更新処理については、その一例を後に詳しく説明する。

射影テーブル更新部１１５は、上記ノード情報更新部１１４により学習された射影変換モデルに基づいて、上記正例および負例の各波形データの特徴量をサンプルごとに二次元空間へ射影変換し、その結果からサンプルごとに正例データと負例データの二次元空間におけるユークリッド距離を算出する。そして、ユークリッド距離が閾値より小さい場合に、当該ユークリッド距離が閾値以上になるように二次元空間における負例データのプロット位置を移動させる処理、つまり射影テーブルの更新処理を行う。この射影テーブルの更新処理についても、その一例を後に詳しく述べる。

射影テーブル更新部１１５は、すべてのサンプルにおいて正例データと負例データのユークリッド距離が閾値以上になった場合に、このときのノード情報と射影テーブルを、射影変換モデルを表す情報として射影変換モデル記憶部１２３に格納する。

運動状態可視化部１１６は、射影変換モデル構築フェーズの終了後、運動状態可視化フェーズが設定された状態で、可視化対象となる被験者の筋電信号波形の特徴量と、目標となる運動状態に対応する目標筋電信号波形の特徴量を、算出部１１３から読み込む。そして運動状態可視化部１１６は、上記読み込まれた各特徴量を、射影変換モデル記憶部１２３に記憶された射影変換モデルに従い二次元空間に射影変換し、その変換結果を表す表示データをインタフェースユニット１３から表示装置３へ出力させる。

（動作例）
次に、以上のように構成された運動状態可視化装置１の動作例を説明する。
（１）射影変換モデル構築フェーズ
射影変換モデルの構築フェーズが設定されると、運動状態可視化装置１は以下のように射影変換モデルを構築するための学習処理を実行する。
図２は、運動状態可視化装置１の制御ユニット１１による射影変換モデル構築フェーズの処理手順と処理内容の一例を示すフローチャートである。

（１－１）筋電信号の取得および前処理
筋電信号計測装置２では、被験者の監視対象となる筋活動系に対応する複数の筋部位に電極が装着され、これらの電極により連続的な筋電信号が検出される。このとき、被験者の理想的な運動状態において検出された各筋電信号には「正例」ラベルが付される。一方、被験者の理想からかけ離れた運動状態において検出された各筋電信号には「負例」ラベルが付される。なお、この例では、筋電信号計測装置２は３個の電極を使用し、これにより正例および負例とも３系列の筋電信号ＥＭＧ１，ＥＭＧ２，ＥＭＧ３が出力される場合について説明を行う。

運動状態可視化装置１は、上記筋電信号計測装置２から出力された正例の３系列の筋電信号および負例の３系列の筋電信号を、ステップＳ１において筋電信号取得部１１１の制御の下、インタフェースユニット１３により受信し、ディジタル信号からなる波形データに変換する。なお、筋電信号計測装置２が筋電信号をアナログ信号からディジタル信号に変換する機能を有している場合には、インタフェースユニット１３による上記ディジタル信号への変換処理は不要となる。

運動状態可視化装置１は、続いてステップＳ２において、前処理部１１２の制御の下、上記取得された正例の３系列の波形データおよび負例の３系列の波形データに対しそれぞれノッチフィルタやバンドパスフィルタを用いたフィルタリング処理を行う。この結果、上記正例の各波形データおよび負例の各波形データに含まれる、体動ノイズおよび交流ノイズ成分が除去される。そして運動状態可視化装置１は、上記フィルタリング処理後の正例の各波形データおよび負例の各波形データを、筋電信号記憶部１２１に時系列で記憶させる。図５（ａ），（ｂ），（ｃ）は上記フィルタリング処理後の正例の各波形データの一例を、また図６（ａ），（ｂ），（ｃ）は上記フィルタリング処理後の負例の各波形データの一例をそれぞれ示す。

（１－２）特徴量の算出
運動状態可視化装置１は、次にステップＳ３において、特徴量算出部１１３の制御の下、上記正例の各波形データおよび負例の各波形データの各々から振幅の特徴量を抽出するための処理を以下のように実行する。

すなわち、特徴量算出部１１３は、上記筋電信号記憶部１２１から正例の各波形データおよび負例の各波形データを所定のサンプリング間隔で読み込み、読み込んだサンプルごとに上記各波形データからそれぞれ振幅の特徴量を算出する。

振幅の特徴量は、例えば二乗平均平方根（Root Mean Square：ＲＭＳ）として算出することができる。いま、上記筋電信号記憶部１２１に記憶されたノイズ成分除去処理後の筋電信号（筋電波形データ）のうち、サンプルｉにおける信号をｄ₁(i)、ｄ₂(i)、ｄ₃(i)とすると、上記サンプルｉにおけるＲＭＳ値Ｒ₁(i)，Ｒ₂(i)，Ｒ₃(i)は下式により算出される。

なお、ＮはＲＭＳを計算するサンプル幅であり、この例ではＮ＝１００とする。

そして特徴量算出部１１３は、正例の各波形データおよび負例の各波形データからそれぞれ算出された、すべてのサンプルの振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ を、時系列で特徴量記憶部１２２に記憶させる。いま、サンプル数をｎ個とすると、Ｒ₁ ，Ｒ₂ ，Ｒ₃ は以下のように表される。
Ｒ₁ ＝［Ｒ₁ (1)，Ｒ₁ (2)，…，Ｒ₁ (n)］
Ｒ₂ ＝［Ｒ₂ (1)，Ｒ₂ (2)，…，Ｒ₂ (n)］
Ｒ₃ ＝［Ｒ₃ (1)，Ｒ₃ (2)，…，Ｒ₃ (n)］。

図７（ａ），（ｂ），（ｃ）は正例の各波形データから振幅特徴量として算出されたＲＭＳ値の時系列データの一例を、図８（ａ），（ｂ），（ｃ）は負例の各波形データから振幅特徴量として算出されたＲＭＳ値の時系列データの一例をそれぞれ示す。これらのＲＭＳ値の時系列データを、以後振幅特徴量データとも言う。なお、波形データの特徴量としては、振幅の特徴量以外に、周波数の特徴量を算出するようにしてもよい。

（１－３）ノード情報の更新
次に運動状態可視化装置１は、上記特徴量記憶部１２２に記憶された、正例および負例の各振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ をもとに、射影変換モデルを構築するための学習処理を行う。この例では、自己組織化マップのアプローチを用い、正例および負例の各々について、上記３系列の振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ をサンプルごとに二次元空間に射影するモデルを構築する。

自己組織化マップは、特定空間においてノードを複数保持し、各ノードはそれぞれ入力波形データと同一次元の参照ベクトルを持つ。この例では、例えば１００個のノードを持つこととする。各ノードはｍ₁ ～ｍ₁₀₀と表記する。

いま、ｋ番目のノードをｍ_k としたとき、ノードｍ_k は
ｍ_k ＝［ｗ_k,1，ｗ_k,2，ｗ_k,3］
のような参照ベクトルを持つ。ｗ_k,1，ｗ_k,2，ｗ_k,3はそれぞれ各振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ に対する参照ベクトルであり、自己組織化マップの更新や入力波形データの射影に用いられる。

また自己組織化マップは、各ノードｍ₁ ，…，ｍ_k ，…，ｍ₁₀₀を２次元空間に射影する射影テーブルを持つ。射影テーブルは、初期状態では、各ノードｍ₁ ，…，ｍ_k ，…，ｍ₁₀₀が二次元空間において均等に分散するように座標値が設定される。図９にこの場合の射影テーブルの一例を示す。この射影テーブルを用いると、ｋ番目のノードｍ_k は二次元平面において例えば図１０に示すように座標値（ｐ，ｑ）に射影される。

運動状態可視化装置１は、ステップＳ４において、ノード情報更新部１１４の制御の下、上記特徴量記憶部１２２から正例の３系列の振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ および負例の３系列の振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ をそれぞれサンプルごとに読み込み、これらの振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃を用いて各ノードの参照ベクトルを更新する。

例えば、正例の振幅特徴量データのサンプルｉにおけるデータをＳgood(i) 、負例の振幅特徴量データのサンプルｉにおけるデータをＳbad(i) とすると、これらのサンプルｉにおけるデータＳgood(i) ，Ｓbad(i) はそれぞれ下式で表される。
Ｓgood(i) ＝［Ｒ₁ good(i) ，Ｒ₂ good(i) ，Ｒ₃ good(i) ］
Ｓbad(i) ＝［Ｒ₁ bad(i) ，Ｒ₂ bad(i) ，Ｒ₃ bad(i) ］
なお、振幅特徴量データＲ₁ good(i) ，Ｒ₂ good(i) ，Ｒ₃ good(i)およびＲ₁ bad(i) ，Ｒ₂ bad(i) ，Ｒ₃ bad(i) の読み込みは、振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃に付与された正例、負例の各ラベルに基づいて行われる。なお、上記正例および負例の各振幅特徴量データＳgood(i) ，Ｓbad(i) に基づく各ノードの参照ベクトルの更新処理は、非特許文献１に詳しく記載されている。

運動状態可視化装置１は、上記更新された参照ベクトルを保持する各ノード情報と、射影テーブルを表す情報を、射影変換モデルとして射影テーブル更新部１１５へ出力する。

（１－４）射影テーブルの更新
上記射影テーブルは、初期状態においては正例と負例の二次元空間への変換座標値が近い値に設定されている場合があり、この場合プロット後の正例と負例の変換後の二次元座標間の距離が近くなって両者の差別化が図り難くなる。

そこで、射影テーブル更新部１１５は、ステップＳ５において以下のように射影テーブルの更新処理を実行する。図３はその処理手順と処理内容を示すフローチャートである。

すなわち、射影テーブル更新部１１５は、上記特徴量記憶部１２２から正例の振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ および負例の振幅特徴量データＲ₁ ，Ｒ₂ ，Ｒ₃ をサンプルごとに読み込む。また射影テーブル更新部１１５は、上記ノード情報更新部１１４からノード情報および射影テーブルを含む射影変換モデルを受け取る。そして、ステップＳ５１において、ノード情報の座標値を移動させる必要があるか否かを判定し、必要があると判定された場合に当該ノードの座標値を移動させる処理を実行する。

図４は、当該ノード座標の移動処理の手順と処理内容を示すフローチャートである。射影テーブル更新部１１５は、サンプルｉを１～ｎまで順に設定し、ｉごとに上記正例および負例の各振幅特徴量データのｉ番目のサンプルについてそれぞれ射影テーブルをもとに二次元空間への射影変換を行う。自己組織化マップにおいては、参照ベクトルを持つノードが分散しており、上記振幅特徴量データはユークリッド距離が近いノードにプロットされる。

例えば、いま射影テーブルが図９に示すように構成されているものとし、この条件でｉ＝t番目のサンプルとｉ＝t′番目のサンプルにおける、正例データＳgood(t) ，Ｓgood(t′) および負例データＳbad(t) ，Ｓbad(t′) が、下式の組み合わせでユークリッド距離が近い場合を考える。
Ｓgood(t) →ｍ₃₃
Ｓgood(t′) →ｍ₁₈
Ｓbad(t) →ｍ₇₅
Ｓbad(t′) →ｍ₇₆
この例では、上記正例データＳgood(t) ，Ｓgood(t′) および負例データＳbad(t) ，Ｓbad(t′) を二次元空間に射影変換すると、図１１に示すようになる。

射影テーブル更新部１１５は、ステップＳ５１１において、先ず上記正例データＳgood(t) ，Ｓgood(t′) および負例データＳbad(t) ，Ｓbad(t′) の二次元空間におけるユークリッド距離Ｄを算出する。このとき、ｔ番目のサンプルにおける正例データＳgood(t) と負例データＳbad(t) の二次元空間におけるユークリッド距離Ｄ(t) は、下式により算出される。

同様に、ｔ′番目のサンプルにおける正例データＳgood(t′) と負例データＳbad(t′) の二次元空間におけるユークリッド距離Ｄ(t′) は、
Ｄ(t′)＝１
のように算出される。

またそれと共に射影テーブル更新部１１５は、ステップＳ５１１において、上記ユークリッド距離Ｄを判定するための閾値θを算出する。閾値θは、例えばｔ番目のサンプルの場合、正例データの相関係数とユークリッド距離を用いて、

により算出される。

射影テーブル更新部１１５は、次にステップＳ５１２において、上記算出されたユークリッド距離Ｄ(t) を上記算出された閾値θ(t) と比較する。そして、
Ｄ(t) ＜θ(t)
であれば、ステップＳ５１３において、負例データがプロットされているノードと正例データがプロットされたノードとのユークリッド距離Ｄ(t) が閾値θ(t) 以上になるように負例データのノードの二次元空間座標を移動させる。一方、Ｄ(t) ≧θ(t) であれば移動させない。

例えば、
θ(t) ＝（√15）
θ(t′) ＝２
の場合には、Ｄ(t) ≧θ(t) であるため、ノードｍ₁₈の二次元空間座標の移動は行わない。これに対し、ｔ′番目のサンプルにおけるユークリッド距離Ｄ(t′) はＤ(t′) ＝１であり、
Ｄ(t′) ＜θ(t′)
と判定される。このため、射影テーブル更新部１１５は、ノードｍ₇₆の座標値を別の座標値に移動させる。

なお、移動ノードの選択方法は問わないが、Ｄ(t′) ＜θ(t′) の条件を満たすまで、例えばノードｍ₇₆の座標値をＸ軸方向に移動させる。例えば、ノードｍ₇₆の座標値をｍ₇₆＝(6,7)に移動させる。

射影テーブル更新部１１５は、上記ステップＳ５１によるノードの移動処理を終了すると、ステップＳ５２においてノード移動が行われたか否かを判定する。この判定の結果、ノード移動が行われなかった場合は、射影テーブルの更新は終了したと見なし、ステップＳ５３において上記射影テーブルを射影変換モデル記憶部１２３に格納する。

これに対しノード移動が行われた場合には、射影テーブル更新部１１５は、射影テーブルの該当するノードに対応する射影変換先の座標値を、上記移動後のノードの座標値に更新する。図１２は上記ノードｍ₇₆の座標値を移動させた後の射影テーブルの構成を示すものである。

射影テーブルを更新した場合、射影テーブル更新部１１５は、更新後のノード情報と射影テーブルをノード情報更新部１１４にフィードバックする。ノード情報更新部１１４は、上記フィードバックされた更新後のノード情報と射影テーブルをもとに、更新されたノードの参照ベクトルを更新する。

運動状態可視化装置１は、異なる被験者から提供された所定の運動時の筋電信号に基づいて、それぞれ先に述べた（１－１）～（１－３）による一連の処理を繰り返し実行し、これにより射影変換モデルを学習する。かくして、射影変換モデルは構築される。

（２）運動状態可視化フェーズ
上記射影変換モデルの構築が終了すると、運動状態可視化装置１には運動状態可視化フェーズが設定される。そして、以後上記構築された射影変換モデルを用いて、ユーザの運動状態を可視化する処理が可能となる。

ユーザの運動状態を可視化する際には、当該ユーザにとって目標となる運動状態に対応する筋電信号の波形データを予め運動状態可視化装置１に入力し、筋電信号記憶部１２１に記憶しておく。

（２－１）筋電信号の取得および前処理
この状態で運動状態可視化装置１は、上記ユーザに装着された筋電信号計測装置２から出力された３系列の筋電信号を、筋電信号取得部１１１の制御の下、インタフェースユニット１３を介して取り込む。このとき、筋電信号はインタフェースユニット１３によりディジタル信号からなる波形データに変換される。

運動状態可視化装置１は、続いて前処理部１１２の制御の下、上記取得された３系列の波形データに対しそれぞれノッチフィルタやバンドパスフィルタを用いたフィルタリング処理を行う。この結果、上記正例の各波形データおよび負例の各波形データに含まれる、体動ノイズおよび交流ノイズ成分が除去される。そして運動状態可視化装置１は、上記フィルタリング処理後の各波形データを筋電信号記憶部１２１に記憶させる。

（２－２）特徴量の抽出
運動状態可視化装置１は、次に特徴量算出部１１３の制御の下、上記筋電信号記憶部１２１に記憶された、計測されたユーザの筋電信号の波形データ（計測波形データ）から振幅の特徴量を抽出する。またそれと共に運動状態可視化装置１は、上記筋電信号記憶部１２１に記憶された、目標となる運動状態に対応する筋電信号の波形データ（目標波形データ）から振幅の特徴量を抽出する。いずれの波形データについても、振幅の特徴量は、サンプルごとに例えば二乗平均平方根（Root Mean Square：ＲＭＳ）として算出される。上記計測波形データから算出された振幅特徴量データおよび目標波形データから算出された振幅特徴量データは、特徴量記憶部１２２に一旦記憶される。

（２－３）運動状態の可視化処理
運動状態可視化装置１は、次に運動状態可視化部１１６の制御の下、先ず射影変換モデル記憶部１２３から射影変換モデルを読み込む。そして、上記特徴量記憶部１２２から、上記計測波形データから算出された振幅特徴量データおよび上記目標波形データから算出された振幅特徴量データをそれぞれ読み込み、これらの振幅特徴量データを上記射影変換モデルを用いて二次元空間の座標に射影変換する。そして運動状態可視化部１１６は、上記射影変換された各振幅特徴量データに対応する二次元空間座標値を同時に表示するための表示データを生成し、当該表示データをインタフェースユニット１３から表示装置３に出力し、表示させる。

このとき、上記射影変換モデルの射影テーブルは、正例データと負例データの二次元空間におけるユークリッド距離Ｄ(i) が閾値θ(i) 以上となるようにノードの変換先の座標値が更新設定されている。このため、上記射影変換モデルの射影テーブルをもとに射影変換された、ユーザの計測された運動状態を表す二次元座標値と、目標とする運動状態を表す二次元座標値との距離は、計測された運動状態が目標とする運動状態に対しかけ離れている場合に、二次元空間上において十分に離れた位置に表示される。従って、ユーザは上記表示データを見た場合に、目標とする運動状態に対する自身の実際の運動状態のずれを明確に把握することが可能となる。

（効果）
以上詳述したように一実施形態では、それぞれ筋電信号からなる多次元の入力データに対応する参照ベクトルを保持する複数のノードと、これらのノードが保持する参照ベクトルの射影先となる二次元空間における座標との対応関係を表す射影テーブルとを有する、自己組織化マップを適用した射影変換モデルを備える。そして、先ず上記射影変換モデルの学習フェーズにおいて、正例および負例それぞれの多次元入力データを取得して、当該多次元入力データからそれぞれ振幅特徴量を算出し、当該正例および負例の各振幅特徴量データをそれぞれサンプルごとに上記複数のノードの参照ベクトルとして学習させる。そして、上記正例の振幅特徴量データにより学習されたノードと、上記負例の振幅特徴量データにより学習されたノードを、上記射影テーブルに従い二次元空間に射影したときの各座標間のユークリッド距離を算出し、算出されたユークリッド距離が閾値以上となるように上記射影テーブルの座標を更新する処理を行っている。

従って、運動状態可視化フェーズにおいて、上記学習済の射影変換モデルを用いて、ユーザの実際の運動状態に対応する特徴量および目標とする運動状態に対応する特徴量を二次元空間に射影したときに、上記実際の運動状態と目標とする運動状態の二次元空間における各射影座標を適切な距離だけ離した状態で表示することが可能となる。このため、ユーザは上記表示を見ることで、自身の実際の運動状態と目標とする運動状態との差を明確に判別することが可能となる。

［変形例］
（１）前記一実施形態では、射影変換モデルを、３系列の筋電信号からそれぞれ抽出した特徴量を二次元空間に射影変換するものとして説明した。しかし、入力信号は３系列に限らず２系列または４系列以上であってもよく、射影変換先は二次元空間以外に一次元空間や三次元空間等の他の次元の空間であってもよい。また、射影変換モデルにおいて、多次元情報をそれより低次元の空間に射影変換する手法としては、自己組織化マップを用いる以外に、主成分分析や多次元尺度法等の他の手法を適用することができる。

（２）前記一実施形態では、複数系列の筋電信号からそれぞれその特徴量を抽出し、この多次元の特徴量をそれよりも低次元の体動を表す可視化情報に射影変換する場合を例にとって説明した。しかしこの発明は、それに限らず、心拍信号や心電信号等の心肺の動きを表す情報や、呼吸の状態を表す情報、頭や目、口等の体の他の部位の動きを撮像した画像情報等のような、身体の種々様々な動きを表す多次元の情報を取得し、この多次元の情報から抽出した特徴量をそれより低次元の可視化情報に射影変換して可視化する場合にも、適用できる。さらには、製造設備やロボット等の機械の動作状態を表す多次元データをそれより低次元のデータに射影変換して可視化する場合にも、この発明は適用可能である。

（３）前記一実施形態では、射影変換モデルの学習フェーズと、運動状態の可視化フェーズを、１台の運動状態可視化装置１に備えた場合を例にとって説明した。しかし、それに限らず、運動状態可視化装置には射影変換モデルの学習フェーズのみを備え、この運動状態可視化装置において学習された射影変換モデルを、例えばユーザの端末装置等にダウンロードして提供することで、ユーザが自身の端末装置で自身の運動状態を確認できるようにしてもよい。このようにすると、端末装置の負荷を軽減できる。

（４）前記一実施形態では、表示装置３を運動状態可視化装置１とは別の装置とした場合を例にとって説明したが、運動状態可視化装置がパーソナルコンピュータやスマートフォン、ウェアラブル端末などのように表示機能を有する端末装置により構成される場合には、運動状態可視化装置に備えられた表示装置を使用してもよい。

その他、運動状態可視化装置の種類や構成や、射影変換モデル学習フェーズの処理手順および処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…運動状態可視化装置、２…筋電信号計測装置、３…表示装置、１１…制御ユニット、１２…記憶ユニット、１３…インタフェースユニット、１１１…筋電信号取得部、１１２…前処理部、１１３…特徴量算出部、１１４…ノード情報更新部、１１５…射影テーブル更新部、１１６…運動状態可視化部、１２１…筋電信号記憶部、１２２…特徴量記憶部、１２３…射影変換モデル記憶部。

Claims (7)

1. 入力される多次元データと同一次元の参照ベクトルを保持する複数のノードと、当該複数のノードと射影先となる空間における座標との対応関係を表す情報を記憶するテーブルとを有する射影変換モデルを備え、
   学習用の第１および第２の多次元データを取得し、取得された第１および第２の多次元データからそれぞれその特徴量を抽出する第１の特徴量抽出部と、
   抽出された前記第１および第２の多次元データの各特徴量に基づいて、それぞれ前記ノードの参照ベクトルを更新するノード更新部と、
   前記第１および第２の多次元データの各特徴量をもとにそれぞれ更新されたノードを前記テーブルに従い前記射影先となる空間に射影したときの各座標間の距離を算出し、当該距離が閾値以上となるように前記テーブルを更新するテーブル更新部と
   を備える多次元データ可視化装置。
2. 前記射影変換モデルは、前記テーブルとして、前記複数のノードと前記多次元データより低次元の空間における座標との対応関係を表す情報を記憶するテーブルを有する、請求項１に記載の多次元データ可視化装置。
3. 前記射影変換モデルは、自己組織化マップを適用して構築されるものである、請求項１に記載の多次元データ可視化装置。
4. 可視化対象となる第３および第４の多次元データを取得し、取得された第３および第４の多次元データからそれぞれその特徴量を抽出する第２の特徴量抽出部と、
   抽出された前記第３および第４の多次元データの各特徴量を、前記ノードおよびテーブルが更新された後の射影変換モデルに入力し、当該射影変換モデルから出力される、前記第３および第４の多次元データに対応する前記空間の座標に基づいて、当該空間の座標を一覧表示するための表示データを生成し出力する可視化部と
   をさらに備える請求項１乃至３のいずれかに記載の多次元データ可視化装置。
5. 入力される多次元データと同一次元の参照ベクトルを保持する複数のノードと、当該複数のノードと射影先となる空間における座標との対応関係を表す情報を記憶するテーブルとを有する射影変換モデルを備える装置が実行する多次元データ可視化方法であって、
   学習用の第１および第２の多次元データを取得し、取得された第１および第２の多次元データからそれぞれその特徴量を抽出する過程と、
   抽出された前記第１および第２の多次元データの各特徴量に基づいて、それぞれ前記ノードの参照ベクトルを更新する過程と、
   前記第１および第２の多次元データの各特徴量をもとにそれぞれ更新されたノードを前記テーブルに従い前記射影先となる空間に射影したときの各座標間の距離を算出し、当該距離が閾値以上となるように前記テーブルを更新する過程と
   を備える多次元データ可視化方法。
6. 可視化対象となる第３および第４の多次元データを取得し、取得された第３および第４の多次元データからそれぞれその特徴量を抽出する過程と、
   抽出された前記第３および第４の多次元データの各特徴量を、前記ノードおよびテーブルが更新された後の射影変換モデルに入力し、当該射影変換モデルから出力される、前記第３および第４の多次元データに対応する前記空間の座標に基づいて、当該空間の座標を一覧表示するための表示データを生成し出力する過程と
   を、さらに備える請求項５に記載の多次元データ可視化方法。
7. 請求項１乃至４のいずれかに記載の多次元データ可視化装置が備える各部の処理を、プロセッサに実行させるプログラム。

Images