JP5305383B2 - 手指関節位置推定装置、及び手指関節位置推定方法 - Google Patents

Description

本発明は、手指の関節位置を簡易に且つ正確に推定することができる手指関節位置推定装置、及び該手指関節位置推定装置を用いる手指関節位置推定方法に関する。

従来から、人間の手指の動きを定量的に捉えるための技術が考えられている。かかる技術によれば、映像からだけでは捉え難いような、伝統芸能に携わる匠、ピアニスト、ピッチャー、外科医などの手技を計測し、再現することができる。また、関節炎の患者や、骨折後にリハビリテーションを行っている患者などの手指の動きを定量的に評価することもできると考えられる。さらに、指が屈曲／伸展するときの関節の変動を明らかにすることで、指骨間関節の機構に適した人工関節を作製できることが期待される。

人間の手指の動きを定量的に捉えるための技術としては、例えば、特許文献１に、手指に取り付けられた複数のセンサから得られる情報を用いて、手指の繊細な動きを記録・再現する装置に関する技術が開示されている。しかし、この装置は、実際の手指の動きではなく、手指に取り付けられたセンサの位置および姿勢の変化を計測しているに過ぎず、手指の動きの再現性が不十分であった。手指に取り付けられた複数のセンサから得られる情報を基にして手指の動きを正確に再現するためには、その手指の外形と指骨の長さを事前に知る必要がある。

手指の外形については、レーザスキャナなどを用いて正確且つ簡易に計測することが可能である。一方、指骨の長さの計測については、コンピュータ断層撮影などを用いる方法が考えられるが、かかる方法では大変な手間がかかる。そこで、指骨の長さを簡単に知るための方法として、手指の関節位置を推定し、その推定される関節位置と手指の外形から、指骨の長さを計測する方法が考えられる。関節の位置を簡易に推定するための技術としては、例えば、非特許文献１に、人間の手足の関節の位置を推定する方法に関する技術が開示されている。
特開２００７−２３６６０２号公報 Ｊａｍｅｓ Ｏ’Ｂｒｉｅｎ、他３名、「Ａｕｔｏｍａｔｉｃ Ｊｏｉｎｔ Ｐａｒａｍｅｔｅｒ Ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ Ｍａｇｎｅｔｉｃ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ Ｄａｔａ」、Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｆａｃｅ、（カナダ）、２０００年５月、ｐ．５３−６０

しかし、上記非特許文献１に開示されているような従来の技術では、推定される関節位置と実際の関節位置との誤差が大きく、該技術を手指の関節に適用する場合には、関節位置の推定精度が不十分であった。

そこで本発明は、手指の関節位置を簡易に且つ正確に推定することができる手指関節位置推定装置、および該手指関節位置推定装置を用いる手指関節位置推定方法を提供することを課題とする。

上記課題を解決するために、第１の本発明は、手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ配置される計測端子、及び、該計測端子から動作データを取得して解析することによって関節の位置を推定できる計測部位、を備えてなる、手指関節位置推定装置を提供する。かかる手指関節位置推定装置を用いることによって、手指の関節位置を簡易に推定することができる。

第１の本発明および以下に示す本発明（以下において、単に「本発明」ということがある。）において、「動作データ」とは、計測端子の位置および姿勢に関する情報を意味する。また、「計測端子」とは、手指に取り付けることができる程度の大きさで、何らかの方法によってその動作データを計測できるセンサであれば特に限定されないが、後述するように、本発明で用いる計測端子としては、３軸直交コイルが好ましい。さらに、「計測部位」とは、手指の長さ方向において、位置を推定したい関節の両側に設置された２以上の計測端子から動作データを取得して解析することによって、該関節の位置を推定できるものであれば特に限定されない。

第１の本発明の手指関節位置推定装置において、計測端子が３軸直交コイルであることが好ましい。

本発明において、「３軸直交コイル」とは、相互に直交し、かつ、共通の中心を持つ、３軸の等方性のコイルから構成されるコイルを意味する。計測端子が３軸直交コイルからなることによって、その計測端子の位置および姿勢を容易に計測することができる。

第１の本発明の手指関節位置推定装置において、計測端子を３つ以上の光学式センサの群とすることができる。計測端子として光学式センサを用いる場合、少なくとも３つ以上からなる群を１つ計測端子とみなすことによって、その計測端子の位置および姿勢を計測することができる。

第１の本発明の手指関節位置推定装置において、計測部位が、計測端子から動作データを取得する、データ取得手段と、関節の両側にある指骨に手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、動作データを用いて関節の両側にある指骨のうち一方の指骨に設定されたローカル座標系に対する他方の指骨に設定されたローカル座標系の変動をＡｘｉｓ−ａｎｇｌｅに変換した変換データを作成し、変換データを手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて関節の位置を推定する、解析手段と、を備えてなるものであることが好ましい。かかる計測部位を用いることによって、手指を動かす際、その手指の運動（回動）の中心となる軸（関節軸）の向きがほぼ同一のときの動作データのみを用いて関節の位置を推定することができ、手指の関節位置を簡易に且つ正確に推定することができる。

本発明において、「手指の幅方向」とは、手の掌から手の甲に向かう方向および手指の付け根から先端に向かう方向に対して直交する方向を意味する。

第１の本発明の手指関節位置推定装置において、解析手段で変換データを手指の幅方向に平行な方向の軸成分について複数区間に分類する際、手指の幅方向に平行な方向の軸成分の値について百等分することが好ましい。

また、第２の本発明は、手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ計測端子を配置するとともに、計測部位によって計測端子から動作データを取得して解析することにより、関節の位置を推定する、手指関節位置推定方法を提供する。かかる手指関節位置推定方法を用いることによって、手指の関節位置を簡易に推定することができる。

第２の本発明の手指関節位置推定方法において、計測端子が３軸直交コイルであることが好ましい。計測端子が３軸直交コイルからなることによって、その計測端子の位置および姿勢を容易に計測することができる。

第２の本発明の手指関節位置推定方法において、計測端子を３つ以上の光学式センサの群とすることができる。計測端子として光学式センサを用いる場合、少なくとも３つ以上からなる群を１つ計測端子とみなすことによって、その計測端子の位置および姿勢を計測することができる。

第２の本発明の手指関節位置推定方法において、計測部位で、計測端子から動作データを取得する、データ取得工程と、関節の両側にある指骨に手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、動作データを用いて関節の両側にある指骨のうち一方の指骨に設定されたローカル座標系に対する他方の指骨に設定されたローカル座標系の変動をＡｘｉｓ−ａｎｇｌｅに変換した変換データを作成し、変換データを手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて関節の位置を推定する、解析工程と、を含む処理が行われることが好ましい。かかる計測部位を用いることによって、手指を動かす際、その手指の運動（回動）の中心となる軸（関節軸）の向きがほぼ同一のときの動作データのみを用いて関節の位置を推定することができ、手指の関節位置を簡易に且つ正確に推定することができる。

第２の本発明の手指関節位置推定方法において、解析工程で、変換データを手指の幅方向に平行な方向の軸成分の値について複数区間に分類する際、手指の幅方向に平行な方向の軸成分について百等分することが好ましい。

第１の本発明によれば、手指の関節位置を簡易に且つ正確に推定することができる、手指関節位置推定装置が提供される。

第２の本発明によれば、手指の関節位置を簡易に且つ正確に推定することができる、手指関節位置推定方法が提供される。

手指の関節の構造は一軸性ではなく、手指を動かす際の関節軸は一定ではない。関節で手指が屈曲／伸展運動する際には、一方の骨が腱に引っ張られ、他方の骨が骨末端関節面を滑りながら運動するため、関節軸が変動する。この関節軸の変動が関節位置の推定精度に大きく影響すると考えられる。本発明は、この関節軸の変動を考慮し、手指の関節位置の推定精度を向上した、手指関節位置推定装置、および該手指関節位置推定装置を用いる手指関節位置推定方法を提案するものである。

本発明の手指関節位置推定装置は、手指の関節（位置を推定したい関節）を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ配置される計測端子、及び、該計測端子から動作データを取得して解析することによって関節の位置を推定できる計測部位を備えている。

本発明に用いることができる計測端子は、それ自身の位置および姿勢に関する情報を発することができるものであれば特に限定されない。ただし、計測の容易化や計測端子の小型化という観点からは、計測端子として３軸直交コイルを用いることが好ましい。以下の本発明の説明では、計測端子として３軸直交コイルを用いた場合に限定して説明する。

以下、図面を参照しつつ、本発明について具体的に説明する。

図１は、本発明に用いる計測端子および計測部位を概略的に示す図である。

計測端子１（以下、「レシーバ１」という。）は３軸直交コイルからなり、計測部位２は、３軸直交コイルで構成されるトランスミッタ３、駆動回路４、検出回路５（データ取得手段）、および、コンピュータおよび解析用ソフトウェア６（解析手段）によって構成されている。トランスミッタ３およびレシーバ１の大きさは、トランスミッタ３とレシーバ１との間の距離に比べて非常に小さく保たれているため、トランスミッタ３およびレシーバ１はそれぞれ１つの点とみなすことができる。

＜データ取得手段＞
計測端子から動作データを取得する手段について、以下に説明する。

駆動回路４からの信号によって、トランスミッタ３を構成する各軸方向のコイルが順々に励磁されると、トランスミッタ３の周りの空間に所定周波数の交流磁界（パルス磁場）が発生する。このパルス磁場をレシーバ１が受けると、電磁誘導によってレシーバ１に起電力が発生する。後述するように、レシーバ１に発生するこの起電力は、レシーバ１とトランスミッタ３の相対的な位置および姿勢によって変化する。そして、レシーバ１に発生するこの起電力は、検出回路５によって検出される。

したがって、レシーバ１に発生する起電力が計測端子の動作データであり、検出回路５がデータ取得手段である。

図１および上記データ取得手段の説明では、簡単のため、レシーバ１が１つの形態を例示したが、手指の関節位置を推定する際には、手指の長手方向において、関節の両側にそれぞれレシーバ１を設置し、その２つのレシーバ１から得られる動作データを用いる。

＜解析手段＞
位置を推定したい関節の両側に設置されたレシーバ１から得られた動作データを用いて、その関節の位置を推定する手段について、以下に説明する。

（レシーバ１の位置および姿勢）
まず、レシーバ１の位置および姿勢が定量的に捉えられる原理について説明する。

トランスミッタ３から発せられるパルス磁場はトランスミッタ３からの距離の３乗に反比例する。そのため、検出回路５で検出したレシーバ１に発生する起電力の大きさをコンピュータおよび解析用ソフトウェア６を介してデジタライズすることによって、レシーバ１とトランスミッタ３との間の距離を求めることができる。また、レシーバ１を構成する各コイルには、レシーバ１のトランスミッタ３に対する相対的な姿勢に比例した起電力が発生する。そのため、レシーバ１を構成する各コイルからの情報をコンピュータおよび解析用ソフトウェア６で解析することによって、レシーバ１のトランスミッタ３に対する相対的な姿勢を求めることができる。このようにして、検出回路５で取得されたレシーバ１の動作データを用いて、レシーバ１の位置および姿勢を定量的に捉えることができる。

（関節位置の推定）
次に、レシーバ１の動作データから関節の位置が推定される過程について、簡単のため、図２に示したモデルを用いて説明する。

図２に示すモデル２０は、２つの剛体（上位セグメント２２および下位セグメント２３）をそれぞれ指骨に見立て、一本の棒（ジョイント２１）を関節に見立てたものである。上位セグメント２２および下位セグメント２３（以下、上位セグメント２２および下位セグメント２３をまとめて「セグメント２２、２３」ということがある。）は、ジョイント２１によって接続されており、ジョイント２１を関節軸として動かすことができる。上位セグメント２２および下位セグメント２３の上には、上述したレシーバ１がそれぞれ設置されている。レシーバ１、１は、上位セグメント２２および／または下位セグメント２３の動作中に衝突することを避けるため傾けて設置されている。以下の本発明の説明において、上位セグメント２２の上に設置されたレシーバ１と下位セグメント２３の上に設置されたレシーバ１を区別して、それぞれ上位レシーバ１ａ、下位レシーバ１ｂということがある。

上述した方法で上位レシーバ１ａおよび下位レシーバ１ｂの動作データを得ることによって、上位レシーバ１ａおよび下位レシーバ１ｂのそれぞれの中心１１ａ、１１ｂを原点としたローカル座標系（以下、ローカル座標系を「ＬＣ」という。）を設定することができ、それらのＬＣの変化を捉えることもできる。

原点１１ａ、１１ｂからジョイント２１までの位置ベクトル１２ａ、１２ｂは、上位セグメント２２および／または下位セグメント２３が動作中でも変化しない。したがって、ジョイント２１の座標（関節位置）の推定過程を以下に説明する最適化問題として扱えられると考えられる。

上位レシーバ１ａのＬＣから任意の位置ベクトルＶ_ＵＰ（ｘ_ＵＰ、ｙ_ＵＰ、ｚ_ＵＰ）で示される点Ｐを設定した場合を考える。上位セグメント２２および／または下位セグメント２３が動作中でも、Ｖ_ＵＰの大きさは変化しない。このとき、動作中の第ｉフレームにおいて、下位レシーバ１ｂのＬＣから点Ｐまでの位置ベクトルＶ_ＬＰ（ｘ_ＬＰ、ｙ_ＬＰ、ｚ_ＬＰ）の大きさ｜Ｖ_ＬＰ（ｉ）｜は、下記式１のように表される。

上位セグメント２２および／または下位セグメント２３が動作中において、上記｜Ｖ_ＬＰ（ｉ）｜は、ばらつきを生じる。つまり、動作データの全フレームにおける｜Ｖ_ＬＰ（ｉ）｜の分散ｓ^２は、下記式２のようになる。

（ただし、｜Ｖ_ＬＰ｜_ｍ：全フレームにおける｜Ｖ_ＬＰ｜の平均）

上記式２において、ｓ^２が０であれば点Ｐがジョイント２１の位置に重なるため、このときのＶ_ＵＰの座標がジョイント２１の位置であるといえる。つまり、ｓ^２が最小になるようなＶ_ＬＰを求めることによって、ジョイント２１の位置を推定することができる。

しかし、関節位置の推定過程をこのような最適化問題として取り扱った場合、ジョイント２１の実際の位置と推定される位置との間のずれが大きかった。そのため、本発明では、ジョイント２１の位置として推定される領域を三次元から二次元にする制約を加え、推定精度の向上を図ることを考えた。

以下に、推定領域を二次元に制約した場合の関節位置の推定方法を説明する。

空間における平面の式は、方程式型で表すと以下のようになる。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ （式３）

３次元空間を考えるため、任意のｘ、ｙの値について必ず１つのｚが存在する。平面の式を求めるためには、図３に示すように面上の３点（Ｐ_１，Ｐ_２，Ｐ_３）の位置座標が分かれば、連立一次方程式により係数ａ、ｂ、ｃを求めることができる。なお、（ａ，ｂ，ｃ）は法線ベクトルであり平面に垂直なベクトルを表す。また、空間における平面を媒介変数ｔ、ｓによりパラメータ型であらわすと以下のようになる。

ただし、

空間における平面は、平面上の２つの異なるベクトルによりパラメータ型で定義できる。つまり、点Ｐ_１は平面上のある点の座標を表し、ｖ_２１（ｖ_２１ｘ，ｖ_２１ｙ，ｖ_２１ｚ）、ｖ_３１（ｖ_３１ｘ，ｖ_３１ｙ，ｖ_３１ｚ）は平面上の２つのベクトルを表す。なおｎは法線ベクトルを示す。

式４より法線ベクトル（ａ，ｂ，ｃ）は、平面がｘ軸、ｙ軸、ｚ軸と交わるそれぞれの座標から導くことができる。例えばｘ軸と交わる座標は、ｙ＝０、ｚ＝０を満たすｓ、ｔを求めれば算出できる。したがって、算出したｘ座標の逆数が法線ベクトルにおけるｘ成分のａとなる。ｂ、ｃにおいても同様に計算できる。また、法線ベクトルは以下のようにｖ_２１とｖ_３１の外積をとることで、同様に算出できる。

外積により求まった法線ベクトルは、平面の式の法線ベクトル（ａ，ｂ，ｃ）と方向は同じであるが大きさは異なる。したがって、法線ベクトルの始点である点Ｐ_１を面の式に代入し、外積で求まった法線ベクトルの大きさを調整する必要がある。

推定領域を平面に制約した場合、以下に示す最適化問題を解くことになる。

「３次元空間において任意の平面を作成し、その面内においてある目的関数を最小にするような説明変数を求める」

以下に、その条件式を示す。

ここで、

上記の最適化問題を、例えば、シンプレックス法により解くことで、関節位置の推定位置を求められる（他にも最小二乗法等、様々な解き方がある）。なお、上記の条件式は上位レシーバ１ａのＬＣから任意の位置ベクトルＶ_ＵＰで示される点Ｐを設定し、関節位置を推定する場合の条件式である。下位レシーバ１ｂのＬＣから点Ｐを設定し、関節位置を推定する場合も同様の条件式となる。

初期値の設定方法を以下に示す。

図４のように任意の位置に配置した点ＶからＰ_１、Ｐ_２およびＰ_３で構成した平面に垂線を下ろす。垂線と平面の交点を点Ｐとする。式４より法線ベクトルの成分（ａ，ｂ，ｃ）が求まる。平面の方程式である式３における係数ｄを求めるため、式３にＰ_１を代入すると以下のようになる。

ただし、

また、点Ｖから点Ｐまでの距離ｌは以下のようになる。

以上の結果を利用し、ベクトルＶＰは以下のように表すことができる。

式８を展開すると点Ｐは以下のように表現できる。

式９で算出した点Ｐの位置がシンプレックス法の初期値となる。

平面上に初期値を定義した後、点Ｐを式３に代入し媒介変数ｓおよびｔを算出する際、場合分けが必要となる。条件は以下のようになる。
１．構成した平面がｙｚ平面と平行である場合→ｙ，ｚ成分の連立方程式を解く
２．構成した平面がｘｚ平面と平行である場合→ｘ，ｚ成分の連立方程式を解く
３．構成した平面がｘｙ平面と平行である場合→ｘ，ｙ成分の連立方程式を解く

なお、シンプレックス法とは、目的関数の変数の個数により多面体（ｎ変数の場合、ｎ＋１の頂点で多面体を作成）を決定し、この多面体（シンプレックス）の頂点での目的関数値を評価し、目的関数値が一番よくない点（最小化を行うため、最大値となる目的関数値）に対して、シンプレックスの頂点の並び替え、反射、拡張、縮小、収縮を繰り返すことで最適解を求める手法である。シンプレックス法の手順を以下に示す。
１．頂点の並び替え（ｎ＋１の頂点における値の並び替え）
２．反射（ｒｅｆｌｅｃｔ）
３．拡張（ｅｘｐａｎｄ）
４．縮小（ｃｏｎｓｔｒａｃｔ）
外部縮小（ｏｕｔｓｉｄｅ ｃｏｎｓｔｒａｃｔ）
内部縮小（ｉｎｓｉｄｅ ｃｏｎｓｔｒａｃｔ）
５．収縮（ｓｈｒｉｎｋ）
６．見極め
このようにして頂点を変更し、繰り返し処理をすることで最小値を求める。

上記のような最適化問題を数値的に解く方法は特に限定されず、公知の方法を用いれば良い。

このようにして、上位レシーバ１ａのＬＣから任意のベクトルＶ_ＵＰで示される点Ｐを設定して推定した関節位置を、以降Ｐ_Ｕと呼ぶ。下位レシーバ１ｂのＬＣから任意のベクトルで示される点を設定して関節位置を推定することも同様にでき、この場合に推定される関節位置を、以降Ｐ_Ｌと呼ぶ。

（関節軸の変動）
図２に示したモデル２０のように、１軸性の関節（ジョイント２１）を有していれば、上位セグメント２２および／または下位セグメント２３の動作中に、関節軸の向きが一定であるため、関節位置を推定する際には関節軸の変動を考慮せず、上述した最適化問題を解けば良いと考えられる。一方、手指の関節の場合は、手指の動作中に関節軸が変動するため、手指の関節位置を推定するには、関節軸の変動を考慮する必要があると考えられる。本発明では、Ａｘｉｓ−ａｎｇｌｅを用いて手指の関節軸の変動を定量的に捉える。

図５を参照しつつ、Ａｘｉｓ−ａｎｇｌｅを用いて関節軸の変動を定量的に捉える方法について説明する。図５において、図２と同様の構成をとるものには同符号を付し、説明を適宜省略する。

図５（ａ）に示すように、上位セグメント２２および下位セグメント２３にＬＣを設定する。上位セグメント２２は剛体であるため、上位セグメント２２のＬＣの原点は上位セグメント２２内であればどの位置に設定してもよい。下位セグメント２３についても同様である。この性質を利用し、図５（ｂ）に示すように、セグメント２２、２３のＬＣをジョイント２１の位置まで平行移動した状態を考える。モデル２０の場合、ジョイント２１は１軸性の関節であるため、上位セグメント２２および／または下位セグメント２３が動作中でも、セグメント２２、２３のＬＣのｙ軸とジョイント２１の向き（長手方向）は一致する。

上位セグメント２２および／または下位セグメント２３の動作中、上位セグメント２２のＬＣと下位セグメント２３のＬＣはｙ軸が一致しているため、上位セグメント２２のＬＣのｘ軸と下位セグメント２３のＬＣのｘ軸の間の角度θは、関節の屈曲角度であるといえる。さらに、モデル２０では、上位セグメント２２のＬＣに対する下位セグメント２３のＬＣの変動をＡｘｉｓ−ａｎｇｌｅで表した場合、Ａｘｉｓ−ａｎｇｌｅのベクトルの方位はジョイント２１の向きとほぼ一致する。

一方、実際の関節はモデル２０のように完全な１軸性の関節ではない。そのため、位置を推定したい関節を介して存在する指骨について、モデル２０の上位セグメント２２および下位セグメント２３と同様にＬＣを設定し、一方の指骨に設定されたＬＣに対する他方の指骨に設定されたＬＣの変動をＡｘｉｓ−ａｎｇｌｅで表すと、Ａｘｉｓ−ａｎｇｌｅのベクトルの方位がばらつくと考えられる。

手指、及び手指を模擬した１軸性の関節を有する模型（以下、「モック」という。）について、動作中の関節軸の変動をＡｘｉｓ−ａｎｇｌｅに変換し、Ａｘｉｓ−ａｎｇｌｅのｙ成分について動作データを分類したグラフを図１１に示す。図１１（ａ）は、Ａｘｉｓ−ａｎｇｌｅのｙ成分（ｘ軸）が０〜１のグラフで、図１１（ｂ）は、Ａｘｉｓ−ａｎｇｌｅのｙ成分（ｘ軸）が０．９〜１のグラフである。計測条件については、実施例にて詳述する。

図１１からわかるように、モックの場合はＡｘｉｓ−ａｎｇｌｅのベクトルの方位がばらつかずにｙ軸とほぼ平行であるのに対して、手指の場合はＡｘｉｓ−ａｎｇｌｅのベクトルの方位にばらつきが見られる。

このようにして、Ａｘｉｓ−ａｎｇｌｅを用いて手指の関節軸の変動を定量的に捉えることによって、手指の動作中において、関節軸がほぼ一定であるときの動きを特定することが可能となる。そして、関節軸がほぼ一定であるときの動作データのみを用いて関節の位置を推定することにより、関節位置の推定精度の向上を図ることができると考えられる。

以下に、レシーバ１、１から得られる動作データを用いて、上位セグメント２２のＬＣに対する下位セグメント２３のＬＣの変動をＡｘｉｓ−ａｎｇｌｅで表す方法を具体的に説明する。

まず、任意の場所に固定したトランスミッタ（不図示）のＬＣとセグメント２２、２３のＬＣの対応関係を明らかにし、静止した状態（以下、トランスミッタのＬＣとセグメント２２、２３のＬＣの対応関係を明らかにし、静止した状態を「標準状態」という。）において、数秒間データを取得する。上位レシーバ１ａおよび下位レシーバ１ｂの姿勢データを平均し、それぞれｘｙｚ型の回転行列Ｒ_ＵＲ（０）およびＲ_ＬＲ（０）に変換する。

標準状態におけるセグメント２２、２３の回転行列は単位行列とし、動作中の第ｉフレームにおける上位セグメント２２の回転行列Ｒ_ＵＳ（ｉ）および下位セグメント２３の回転行列Ｒ_ＬＳ（ｉ）を、下記式１０および式１１から求める。

Ｒ_ＬＳ（ｉ）＝Ｒ_ＬＲ（ｉ）・Ｒ_ＬＲＳ （式１０）
（ただし、Ｒ_ＬＲＳ＝Ｒ_ＬＲ（ｉ）^−１・Ｒ_ＬＳ（０））

Ｒ_ＵＳ（ｉ）＝Ｒ_ＵＲ（ｉ）・Ｒ_ＵＲＳ （式１１）
（ただし、Ｒ_ＵＲＳ＝Ｒ_ＵＲ（ｉ）^−１・Ｒ_ＬＳ（０））

上位セグメント２２に対する下位セグメント２３の姿勢変化Ｒ_ＵＬＳ（ｉ）を、下記式１２から求める。

Ｒ_ＵＬＳ（ｉ）＝Ｒ_ＵＳ（ｉ）^−１・Ｒ_ＬＳ（ｉ） （式１２）

全フレームにおけるＲ_ＵＬＳ（ｉ）を算出し、Ａｘｉｓ−ａｎｇｌｅに変換する。なお、ある姿勢に対しＡｘｉｓ−ａｎｇｌｅの解は二つ存在するため、算出したベクトルのｙ成分がすべて正となるように設定する。

手指の場合についても同様にして、関節軸の変化をＡｘｉｓ−ａｎｇｌｅを用いて表すことができ、Ａｘｉｓ−ａｎｇｌｅに変換されたデータをｙ成分について複数区間に分類する。Ａｘｉｓ−ａｎｇｌｅに変換されたデータをｙ成分について分類することによって、手指の動作中に関節軸の向きがほぼ一定であるときを特定できる。そして、最もデータ数の多い区間に含まれる変換データのもととなった動作データを用い、上述した最適化問題を解いて関節の位置を推定することにより、関節位置の推定精度を向上させることができる。

以下に、実施例にて本発明をさらに詳しく説明するが、本発明は実施例に限定されるものではない。

以下に説明する計測に使用した本発明の手指関節位置推定装置の構成物ついて説明する。

＜計測端子＞
３軸直交コイルを計測端子（レシーバ）として使用した。既存の３軸直交コイルはコイル部が大きくケーブルが太かったため、国立大学法人秋田大学とＰＯＬＨＥＭＵＳ社とで、コイル部を小型化してケーブルを細線化したレシーバを作製した。作製したレシーバのコイル部はｔｅａｒｄｒｏｐ形状になっており、その大きさは、長さ９．６ｍｍ×幅９．６ｍｍ×高さ９．６ｍｍで、指先にも十分装着可能な大きさである。ケーブルの太さは直径２ｍｍ程度であり、指の動作にほぼ影響しない。さらに、手指への装着を容易にするため、レシーバをフリープラスチックでモールドした。

＜計測部位＞
計測部位には、図１で例示したものと同様に、トランスミッタ、駆動回路、検出回路、ならびに、コンピュータおよび解析用ソフトウェアを備えるものを使用した。

（トランスミッタ）
トランスミッタには、Ｐｏｌｈｅｍｕｓ社製のトランスミッタ（ＴＸ−１）を使用した。ＴＸ−１の大きさは、長さ２２．９ｍｍ×幅２７．９ｍｍ×高さ１５．２ｍｍであった。ＴＸ−１の測定範囲は半径約２００ｍｍの半円上である。また、ＴＸ−１のケーブルの太さは直径４．２ｍｍ程度であるが、手首に固定するため手指動作の妨げにはならない。手指への装着を容易にするため、ＴＸ−１の背面にベロクロを付けた。

（駆動回路、検出回路、コンピュータおよび解析用ソフトウェア）
駆動回路、検出回路、ならびに、コンピュータおよび解析用ソフトウェアとして、Ｐｏｌｈｅｍｕｓ社製のＬｉｂｅｒｔｙを使用した。Ｌｉｂｅｒｔｙは、１つのレシーバあたりのサンプリングレートが２４０Ｈｚであり、高速で動作データを計測可能である。また、サンプリングレートは１２０Ｈｚにも変更できる。さらに、コンピュータにＬｉｂｅｒｔｙをＵＳＢ接続することでＬｉｂｅｒｔｙの制御、計測データの保存をできる。Ｌｉｂｅｒｔｙの制御、動作データの計測および保存は、Ｐｏｌｈｅｍｕｓ社が提供しているＰｉＭｇｒを用いた。

上述した本発明の手指関節位置推定装置を用いて、本発明の手指関節位置推定方法の妥当性の検討を行った。

＜モックによる本発明の手指関節位置推定方法の妥当性の検討＞
本発明の手指関節位置推定方法で手指の関節位置を推定する前に、モックの関節位置を推定し、推定結果を検討することで本発明の手指関節位置推定方法の妥当性を検証した。

図６に、作製したモック４０の構成を概略的に示す。モック４０は磁場を乱さない木材を用いて作製した。直径４ｍｍの円柱で２本のジョイント（関節軸）４１ａ、４１ｂを作製し、そのジョイント４１ａ、４１ｂで３つのセグメント４２、４３、４４を接続した。２本のジョイント４１ａ、４１ｂの名をそれぞれＤＩＰ関節４１ｂ、ＰＩＰ関節４１ａとし、ＤＩＰ関節４１ｂに接続した２つのセグメント４３、４４の名を上位セグメント４３および下位セグメント４４とした。

図７に示すように、下位セグメント４４および上位セグメント４３上には、Ｌｉｂｅｒｔｙに接続した下位レシーバ１ｂおよび上位レシーバ１ａを配置し、残りのセグメント４２上にはＬｉｂｅｒｔｙに接続したトランスミッタ（ＴＸ−１）３を配置した。下位レシーバ１ｂおよび上位レシーバ１ａは、上位セグメント４３および／または下位セグメント４４の動作中に衝突することを避けるため傾けて設置した。動作計測時にはトランスミッタ３を乗せたセグメント４２を、土台となる木枠にしっかりと固定した。そして、計測範囲内に磁場を乱す物体がないように計測環境を設定した。

上記のように計測環境を整えた後、手指が屈曲／伸展する動きのようにモック４０の下位セグメント４４を手で１５秒〜３０秒程度動かした。計測した動作データはＰｏｌｈｅｍｕｓ社が提供しているＰｉＭｇｒを用いて記録した。以上の過程を５回繰り返し、５つの動作データを取得した。そして、上述した最適化問題を解くことで、ＤＩＰ関節４１ｂの位置（Ｐ_ＬおよびＰ_Ｕ）を推定した。

＜手指による本発明の手指関節位置推定方法の妥当性の検討＞
２つのレシーバをＬｉｂｅｒｔｙに接続し、その２つのレシーバのうち１つを人差し指末節骨上に設置してそれを下位レシーバとし、もう１つを人差し指中節骨上に設置して上位レシーバとした。隣接するレシーバ同士の接触、関節運動の妨げにならないよう、各指骨上に配置するレシーバは指骨の中央に配置した。そして、計測範囲内に磁場を乱す物体がないように計測環境を設定した。Ｌｉｂｅｒｔｙに接続したトランスミッタ（ＴＸ−１）は手首に配置した。

上記のように計測環境を整えた後、手指の屈曲／伸展を１５秒〜３０秒程度繰り返した。計測した動作データはＰｏｌｈｅｍｕｓ社が提供しているＰｉＭｇｒを用いて記録した。以上の過程を５回繰り返し、５つの動作データを取得した。そして、上述した最適化問題を解くことで、末節骨と中節骨間の関節（ＤＩＰ関節）の位置（Ｐ_ＬおよびＰ_Ｕ）を推定した。

＜推定結果＞
関節位置推定結果の妥当性を、Ｐ_ＬとＰ_Ｕの間の距離を算出することで検討した。推定された関節位置が実際の関節位置に近い程、Ｐ_ＬとＰ_Ｕの距離は小さくなると考えられる。

図８に、モック４０および手指におけるＰ_ＬとＰ_Ｕの距離の比較を示す。図８からわかるように、モック４０でＤＩＰ関節４１ｂの位置を推定した場合のＰ_ＬとＰ_Ｕの距離が約２ｍｍであるのに対し、人差し指のＤＩＰ関節の位置を推定した場合のＰ_ＬとＰ_Ｕの距離の距離は約８ｍｍとなっており、妥当な位置に関節位置を推定できていない。これは、モック４０および手指の関節構造の違いによるものだと考えた。モック４０のセグメント４３、４４は１本の軸４１ｂで接続されており、回転中心が存在する。それに対し、手指の関節には回転中心が存在せず、屈曲／伸展運動において下位の指骨は腱に引っ張られ、上位の指骨末端関節面を滑りながら運動するため、関節軸が変動していると考え、この関節軸の変動が関節位置の推定精度に大きく影響していると推測した。

本発明では、上述したように、関節軸の変動を考慮して関節位置を推定するため、Ａｘｉｓ−ａｎｇｌｅを用いて関節軸の変動を定量的に捉えた。

モック４０の場合、図７に示すように、下位セグメント４４および上位セグメント４３にＬＣを設定すると、それらのＬＣのｙ軸方向はＤＩＰ関節４１ｂと一致している。モック４０と同様に手指の関節が完全な１軸性関節であれば、指骨が動いている場合でもＡｘｉｓ−ａｎｇｌｅのベクトルがｙ軸に一致するはずである。そこで、モック４０および手指の姿勢データをＡｘｉｓ−ａｎｇｌｅに変換し、モック４０と手指においてＡｘｉｓ−ａｎｇｌｅのベクトルの変化を検討することで、モック４０と手指の関節における関節軸の変動を算出した。前述したように、モック４０および手指の動作データをそれぞれ５回ずつ計測した。ここでは計測した５つの動作データを結合し、１つのデータとして扱った。

上述した手法により算出したモック４０および手指のＤＩＰ関節のＡｘｉｓ−ａｎｇｌｅを算出した。算出したＡｘｉｓ−ａｎｇｌｅのベクトルを３次元空間にプロットすると、図９のようになった。なお、ある姿勢に対しＡｘｉｓ−ａｎｇｌｅの解は２つ存在する。そのため、算出したベクトルのｙ成分がすべて正となるように設定した。また、図１０にＡｘｉｓ−ａｎｇｌｅのベクトル成分と回転成分（角度）の関係を示す。Ａｘｉｓ−ａｎｇｌｅのベクトルは単位ベクトルであることから、ｙ成分に大きく依存していることがわかる。

以上の結果より、ｙ成分の値について動作データを十等分して分類したグラフを図１１（ａ）に示す。モックと手指のどちらの場合においてもｙ成分が０．９〜１の範囲に９０％以上存在することがわかる。ｙ成分が０．９〜１の区間の動作データ分布をさらに十等分して分類したグラフを図１１（ｂ）に示す。モックは０．９９〜１の区間にデータが７０％以上存在しており、関節軸がばらつかずに座標系のｙ軸とほぼ平行の状態を維持していると考える。一方、手指のデータ分布に着目すると、０．９６〜１の区間にデータのばらつきがある。手指の動作中にｙ成分の値がばらつくということは、関節軸が変動していることを示し、これが関節位置推定結果を悪化させる原因であると考えた。そこで、データのばらつきが生じている０．９６〜１の区間において、最もデータ数の多い０．９７〜０．９８の区間の動作データを用いて関節位置の推定を試みた。

Ａｘｉｓ−ａｎｇｌｅのｙ成分が０．９７〜０．９８の区間における動作データを用いて推定したＰ_ＬおよびＰ_Ｕの距離を図１２に示す。全ての動作データを用いた場合（Ａ）のＰ_ＬおよびＰ_Ｕの距離が７．０９ｍｍであるのに対し、分類したデータを用いて推定した場合（Ｂ）のＰ_ＬおよびＰ_Ｕの距離が４．２１ｍｍとなり、関節位置の推定精度が向上した。

以上の結果より、手指の動作データをＡｘｉｓ−ａｎｇｌｅのｙ成分で分類し、最もデータ分布が多い区間のデータを用いて関節位置を推定した場合、関節位置推定精度が向上すると考えられる。

以上、現時点において、もっとも、実践的であり、かつ、好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う手指関節位置推定装置および関節位置推定方法もまた本発明の技術的範囲に包含されるものとして理解されなければならない。

本発明の手指関節位置推定装置の構成を概略的に示す図である。 関節位置が推定される原理について説明するための図である。 平面を構成する３点を示す図である。 初期位置設定方法を説明するための図である。 関節軸の変動を考慮した関節位置の推定方法について説明するための図である。 モックの構造を概略的に示す図である。 モックにレシーバおよびトランスミッタの配置した様子を概略的に示す図である。 モックおよび手指におけるＰ_ＬとＰ_Ｕの距離の比較を示す図である。 Ａｘｉｓ−ａｎｇｌｅのベクトル分布を示す図である。 Ａｘｉｓ−ａｎｇｌｅのベクトル分布と角度の関係を示す図である。 動作データの分布を示す図である。 全ての動作データを用いた場合と選択した特定の動作データを用いた場合での、手指におけるＰ_ＬとＰ_Ｕの距離の比較を示す図である。

符号の説明

１ レシーバ（計測端子）
２ 計測部位
３ トランスミッタ
４ 駆動回路
５ 検出回路
６ コンピュータおよび解析用ソフトウェア
２１ ジョイント
２２ 上位セグメント
２３ 下位セグメント

Claims (8)

1. 手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ配置される計測端子、及び、前記計測端子から動作データを取得して解析することによって前記関節の位置を推定できる計測部位、を備えてなる手指関節位置推定装置であって、
   前記計測部位が、
   前記計測端子から前記動作データを取得する、データ取得手段と、
   前記関節の両側にある前記指骨に前記手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、前記動作データを用いて前記関節の両側にある前記指骨のうち一方の前記指骨に設定されたローカル座標系に対する他方の前記指骨に設定されたローカル座標系の変動をＡｘｉｓ−ａｎｇｌｅに変換した変換データを作成し、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて前記関節の位置を推定する、解析手段と、
   を備えてなる、手指関節位置推定装置。
2. 前記計測端子が３軸直交コイルである、請求項１に記載の手指関節位置推定装置。
3. 前記計測端子が３つ以上の光学式センサの群である、請求項１に記載の手指関節位置推定装置。
4. 前記解析手段において、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類する際、前記手指の幅方向に平行な方向の軸成分の値について百等分する、請求項１〜３のいずれか一項に記載の手指関節位置推定装置。
5. 手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ計測端子を配置するとともに、計測部位によって前記計測端子から動作データを取得して解析することにより、前記関節の位置を推定する手指関節位置推定方法であって、
   前記計測部位において、
   前記計測端子から前記動作データを取得する、データ取得工程と、
   前記関節の両側にある前記指骨に前記手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、前記動作データを用いて前記関節の両側にある前記指骨のうち一方の前記指骨に設定されたローカル座標系に対する他方の前記指骨に設定されたローカル座標系の変動をＡｘｉｓ−ａｎｇｌｅに変換した変換データを作成し、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて前記関節の位置を推定する、解析工程と、
   を備えてなる、手指関節位置推定方法。
6. 前記計測端子が３軸直交コイルである、請求項５に記載の手指関節位置推定方法。
7. 前記計測端子が３つ以上の光学式センサの群である、請求項５に記載の手指関節位置推定方法。
8. 前記解析工程において、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類する際、前記手指の幅方向に平行な方向の軸成分の値について百等分する、請求項５〜７のいずれか一項に記載の手指関節位置推定方法。