JPH117237A

JPH117237A - 人間の動作を音に変換する方法と装置

Info

Publication number: JPH117237A
Application number: JP17531197A
Authority: JP
Inventors: Jirou Urii; 治郎瓜井
Original assignee: Individual
Current assignee: Individual
Priority date: 1997-06-16
Filing date: 1997-06-16
Publication date: 1999-01-12

Abstract

(57)【要約】【課題】聾唖者が行う手話動作が意味するところを音
声に変換するなど、人間が行う動作を音に変換する。【解決手段】動作者の左右の手の３次元座標系におけ
る各移動位置を各３次元位置検出センサ１１ａ，１１ｂ
により検出する。動作者の右手の五指の第１および第２
関節の各曲げ角度をグローブ型センサ１２により検出す
る。検出された左右の手の移動点から左右の手の基準点
からの各移動量をＣＰＵ１５により演算する。算出され
た各移動量から左右の腕の各曲げ角度をＣＰＵ１５によ
り演算する。得られた左右の腕の各曲げ角度および右手
の五指の第１・第２関節の各曲げ角度を示すデータから
記憶装置１７に格納された登録単語を検索し、検索され
た登録単語に対応する音声をスピーカ２２より出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間の動作を音に
変換する方法と装置に関する。より詳しくは、聾唖者が
行う手話の動作が意味するところを音声に変換するな
ど、人間が行う動作を音に変換する方法と装置を提供せ
んとするものである。

【０００２】

【従来の技術】従来より、聾唖者が、自己の意思や感情
を文字によらずに他人に伝達しようとする場合は、手を
用いて意思等を伝達する方法である手話が用いられてい
る。その場合、相手方が手話を理解することができない
者であれば、例えば手話通訳士が手話の動作を解読し、
その意味する言葉を音声にして相手方に伝達していた。

【０００３】また、例えば、スポーツの分野における陸
上競技者のランニング・フォームの良否や、舞踊芸術の
分野における舞踊動作の良否は、それぞれ指導者が視覚
により判断したり、あるいは磁気テープにその動作を録
画した後に、再生画面を観察して判断していた。

【０００４】

【発明が解決しようとする課題】しかしながら、聾唖者
が、自己の意思や感情を、手話を理解することができな
い者に文字によらずに伝達したい場合に、手話通訳士な
どの手話を理解することができる者がいないときは、聾
唖者は、自己の意思等を他人に伝達することができない
という解決すべき課題があった。

【０００５】他方、陸上競技者のランニング・フォーム
や舞踊動作などの良否を、指導者が視覚により判断する
場合には、当該指導者は相当の熟練度を必要とする一方
で、指導者の主観的判断が介入して判断の客観性が得ら
れないという解決すべき課題があった。

【０００６】また、録画したランニング動作などを再生
画面からその良否を判断する場合には、動作と判断との
間にタイム・ラグが生じる結果、即時に当該動作の良否
を判断することができないという解決すべき課題があっ
た。

【０００７】

【課題を解決するための手段】そこで、上記課題を解決
するために、本発明はなされたものである。そのため
に、本発明では、以下のような手段を用いた。すなわ
ち、動作者の左右の手の３次元座標系における各移動位
置および動作者の手の指の関節の各曲げ角度のうちの少
なくとも一方を検出する。そして、検出された動作者の
左右の手の３次元座標系における各移動位置より算出さ
れる動作者の左右の手の基準点からの各移動量を演算し
て得られる動作者の左右の腕の各曲げ角度および手の指
の関節の各曲げ角度のうちの少なくとも一方を示すデー
タから記憶装置に格納された登録単語を検索し、検索さ
れた登録単語に対応する音声を出力するようにした。

【０００８】また、動作者の身体の所定部位の３次元座
標系における各移動位置を検出し、検出された各移動位
置から動作者の身体の所定部位の各移動量を演算する。
そして、算出された各移動量から動作者の各部の曲げ角
度を演算し、演算の結果得られた動作者の各部の曲げ角
度を示すデータと少なくとも１つの基準データとを比較
し、比較された結果に応じて音を出力するようにした。

【０００９】

【発明の実施の形態】本発明の実施の形態の回路構成
を、図１に示し説明する。ここで、図１は、人間の手話
動作を音声に変換するための回路構成を示している。

【００１０】図１において、１１ａおよび１１ｂは、Ｘ
軸、Ｙ軸およびＺ軸により構成される３次元座標系にお
ける物体の位置と姿勢すなわちＸ軸、Ｙ軸およびＺ軸そ
れぞれに沿っての回転角度（以下、位置および姿勢を併
せて単に「位置」という。）を検出するための、それぞ
れ磁気を利用した既知の３次元位置検出センサである。
また、１２は、人間の手における五指それぞれの第１関
節および第２関節の曲げ角度を検出するための、１０個
の圧電変換素子を用いた既知のグローブ型センサであ
り、本発明では、手話動作者の右手に嵌めて用いる。な
お、グローブ型センサ１２を２個使用して、それぞれを
両手に嵌めて用いてもよいが、本願発明者が行った実験
によると、１個のグローブ型センサ１２を右手のみに嵌
めて用いても、本発明の目的を達成することができると
の結果を得ている。

【００１１】一方の３次元位置検出センサ１１ａは、図
２（ａ）に示すように、グローブ型センサ１２における
手の甲部に相当する部位に装着し、他方の３次元位置検
出センサ１１ｂは、図２（ｂ）に示すように、動作者の
左手の甲部に装着する。各３次元位置検出センサ１１
ａ，１１ｂをそれぞれ手の甲部に装着するのは、安定し
て装着し易いからであって、装着部位は手の甲部に限定
されるものではない。

【００１２】１３は、増幅器およびアナログ・ディジタ
ル（Ａ／Ｄ）変換器を含み、ＣＰＵ（中央処理装置）１
５からの指示を受けて、各３次元位置検出センサ１１
ａ，１１ｂにより得られるデータのＣＰＵ１５への送出
を制御するためのコントローラである。また、１４は、
マルチプレクサおよびＡ／Ｄ変換器を含み、ＣＰＵ１５
からの指示を受けて、グローブ型センサ１２により得ら
れるデータのＣＰＵ１５への送出を制御するためのコン
トローラである。

【００１３】各３次元位置検出センサ１１ａ，１１ｂ
は、３次元座標系における動作者の左右の手の位置のＸ
座標値Ｘｃ、Ｙ座標値Ｙｃ、Ｚ座標値Ｚｃ、Ｘ軸に沿っ
ての回転角度（ヨー角）Ｘｒ、Ｙ軸に沿っての回転角度
（ピッチ角）ＹｒおよびＺ軸に沿っての回転角度（ロー
ル角）Ｚｒを、それぞれ検出する。これらの値は、図示
されてはいない検出回路で時分割で測定され、図４
（ａ）および（ｂ）に示すように、右手および左手とも
にそれぞれ６個のデータからなる直列データとして、コ
ントローラ１３を介してＣＰＵ１５に送出される。

【００１４】他方、グローブ型センサ１２は、親指の第
１・第２関節の曲げ角度Ｔ１，Ｔ２、人差指の第１・第
２関節の曲げ角度Ｆ１，Ｆ２、中指の第１・第２関節の
曲げ角度Ｍ１，Ｍ２、薬指の第１・第２関節の曲げ角度
Ｒ１，Ｒ２および小指の第１・第２関節の曲げ角度Ｌ
１，Ｌ２を示すそれぞれの信号を、１０本の信号線によ
り並列に出力し、出力された各信号は、コントローラ１
４を介して、図４（ｃ）に示すように、１０個のデータ
からなる直列データとしてＣＰＵ１５に送出される。

【００１５】図１において、１７は、ＲＡＭ（ランダム
・アクセス・メモリ）やハード・ディスク・メモリなど
を用いた記憶装置であり、図３に示すように、手話動作
における動作者の両腕および右手の五指の第１および第
２関節の各曲げ角度を示すデータを、それぞれの言葉
（単語）を特定する動作データとして格納している動作
データ記憶部１８が設けられている。

【００１６】この動作データ記憶部１８は、手話動作が
意味するそれぞれの単語を登録した辞書としての機能を
有するファイルであり、図示するように、「私」、「あ
なた」などの人物を特定する動作のデータを初めとし
て、「熱」、「だるい」等の病院に関係する事項（「す
る」、「しない」などの、各種の単語と結合して用いら
れる単語を含む。以下同じ）を特定する動作のデータ、
あるいは「預金」、「利息」等の銀行に関係する事項を
特定する動作のデータなど、種々の分野毎に分類されて
格納されている。また、その他にも、単音である５０
音、濁音および半濁音を示す動作のデータも格納されて
いる（以下、単音を含んで「単語」という。）。

【００１７】動作データ記憶部１８に格納される動作デ
ータは、図５に示すように、手話動作者の右腕と左腕そ
れぞれの曲げ角度について、肩部に関してそれぞれ３個
のデータＡ１〜Ａ３，Ａ８〜Ａ１０、肘部に関してそれ
ぞれ２個のデータＡ４，Ａ５，Ａ１１，Ａ１２、および
手首部に関してそれぞれ２個のデータＡ６，Ａ７，Ａ１
３，Ａ１４、したがって左右の腕に関してそれぞれ７個
のデータ、および右手の五指の第１・第２関節それぞれ
の曲げ角度を示す１０個のデータＴ１，Ｔ２，Ｆ１，Ｆ
２，Ｍ１，Ｍ２，Ｒ１，Ｒ２，Ｌ１，Ｌ２の合計２４個
のデータにより構成される。

【００１８】この動作データについて、図６ないし図９
を用いて詳しく説明すると、手話動作者の右腕の肩部に
関しては、図６（ａ）に示すように、腕部１０１をＸ軸
に沿って回転せしめた場合の基準点からの上腕部の曲げ
角度Ａ１、腕部１０１をＹ軸に沿って回転せしめた場合
の基準点からの上腕部の曲げ角度Ａ２、および腕部１０
１をＺ軸に沿って回転せしめた場合の回転角度Ａ３をそ
れぞれ示す３個のデータからなっている。

【００１９】また、肘部に関しては、図６（ｂ）に示す
ように、下腕部をＹ軸に沿って回転せしめた場合の曲げ
角度Ａ４、および下腕部をＺ軸に沿って回転せしめた場
合の回転角度Ａ５をそれぞれ示す２個のデータからな
り、手首部に関しては、図６（ｃ）に示すように、手首
部をＸ軸に沿って回転せしめた場合の曲げ角度Ａ６、お
よび手首部１０２をＹ軸に沿って回転せしめた場合の回
転角度Ａ７をそれぞれ示す２個のデータからなってい
る。なお、図６では、右腕についてのみ図示している
が、左腕についてもデータの構成は同じである。

【００２０】これをさらに具体的に説明すると、図７
（ａ）に示すように、いま手話動作者が左右の手の各五
指を真っすぐに伸ばした状態で両手を鉛直方向（Ｚ軸の
マイナス方向）に下げている姿勢をとっている。そし
て、この姿勢における各腕の肩部、肘部、手首部および
両手の各五指の第１・第２関節の状態を、それぞれ基準
点とする。

【００２１】そこで、手話動作者が、左腕はまったく動
かさずに、図７（ｂ）に示すように、右腕の下腕部を９
０度動かして右腕を直角に曲げ、かつ、右手の親指のみ
を第２関節は曲げずに第１関節だけ９０度曲げたとす
る。この場合に得られるデータは、図８に示すようなも
のとなり（図中の数値の単位は「度」）、これらを示す
動作データが記憶装置１７（図１）の動作データ記憶部
１８に格納される。

【００２２】図９は、この動作データの具体例を示して
おり、図９（ａ）は人物特定動作における「私」、同
（ｂ）は「あなた」、同（ｃ）は「父」および同（ｄ）
は「母」を、それぞれ表している。ここで、これらの動
作データは、手話動作者の手話動作をあらかじめ解析し
て得られたものである。また、本装置により音声に変換
しようとする手話動作から得られるデータが、図９に示
した各数値と完全に一致する場合にのみ、「私」、「あ
なた」などの音声に変換されるのではなく、図中の各数
値は、それぞれ例えばプラス・マイナス３０度の許容範
囲を有している。これは、手話動作者によっては、腕や
指の曲げ角度に若干の相違があることから、これに対処
するためである。

【００２３】以上の動作データ記憶部１８の他に、記憶
装置１７には、登録された単語に対応する音声のデータ
を格納した音声データ記憶部１９が設けられている。こ
の音声データ記憶部１９には、動作データ記憶部１８に
格納された各動作データにおいてそれぞれ指定されたア
ドレスに対応したアドレスに、各登録単語の音声データ
がそれぞれ格納されている。

【００２４】そこで、図１において、手話動作者が、３
次元位置検出センサ１１ａを装着したグローブ型センサ
１２を右手に嵌め、左手の甲部に３次元位置検出センサ
１１ｂを取り付けたうえで手話動作を行うと、各３次元
位置検出センサ１１ａ，１１ｂにより、手話動作者の左
右の手の３次元座標系における移動位置がそれぞれ検出
され、グローブ型センサ１２により右手の五指の第１・
第２関節の角曲げ角度がそれぞれ検出される。

【００２５】これらのデータが得られると、ＣＰＵ１５
は、プログラム・メモリ１６に書き込まれた命令データ
をバス２３を介して読み出して、各３次元位置検出セン
サ１１ａ，１１ｂにより検出された左右の手の各移動点
から、基準点（背筋を伸ばして両腕を真っすぐに下げた
姿勢における位置）からの左右の手の移動量を演算す
る。各移動量が算出されると、これらからＣＰＵ１５
は、左右の腕の曲げ角度（肩部、肘部および手首部の各
曲げ角度）を、運動学の考え方に基づき演算する。

【００２６】ここで、運動学の考え方の一例について、
図１０を用いて説明する。図１０は、人間の右腕と右手
をモデル化したものであり、図中の「ｋ」は、関節の３
次元座標系における位置を表す４×４のマトリックスで
あるフレームを意味しており、ｋ１〜ｋ３は肩部、ｋ４
およびｋ５は肘部、ｋ６およびｋ７は手首部の各関節の
フレームである。なお、ｋ１〜ｋ７のそれぞれについて
示した座標軸は、右手系の回転座標軸であり、ｋ１から
ｋ７までの各フレームにおいてそれぞれ回転する。ま
た、Ｚ軸についてのみ矢印を付し、Ｘ軸およびＹ軸につ
いては矢印を省略している。

【００２７】そこで、各フレームはオイラーの関係で動
くので、各３次元位置検出センサ１１ａ，１１ｂ（図
１）の位置Ｈを求める運動学式は、下記のようなものと
なる。Ｈ＝Ｒ（Ｚ，ａ１）×Ｒ（Ｘ，−９０）×Ｒ（Ｚ，ａ２）×・・・・・・×Ｒ（Ｘ，−９０）×Ｒ（Ｚ，ａ７）（１）（ただし、Ｒはフレーム変換における回転移動、ａ１〜
ａ７は関節角度）

【００２８】ところで、上記（１）式は、ａ１〜ａ７ま
での変数を持つ７次元マトリックスであり、Ｈ＝ｋ１×ｋ２×ｋ３×ｋ４×ｋ５×ｋ６×ｋ７となる。これは、７次元マトリックスなので、このまま
では解けないが、解法としては、幾何的条件を加えるこ
とにより、腕の部分と手の部分とを分離して考えること
ができ、下記のような５次元と２次元のマトリックスと
なる。Ｈ＝（ｋ１×ｋ２×ｋ３×ｋ４×ｋ５）×（ｋ６×ｋ
７）ここにおける５次元のマトリックスは、変数分離法また
は幾何的手法により解けるので、結局Ｈは求められるこ
とになる。

【００２９】以上のようにして、左右の腕の各曲げ角度
がそれぞれ演算されると、これらとグローブ型センサ１
２より得られた右手の五指の第１・第２関節の各曲げ角
度を示すデータとからなるデータを、ＣＰＵ１５は、記
憶装置１７内の動作データ記憶部１８に格納された各動
作データと比較し、該当する登録単語の動作データを検
索する。

【００３０】該当する動作データが検索されたならば、
その動作データで指定されたアドレスに対応したアドレ
スの音声データを、音声データ記憶部１９より読み出
す。音声データが読み出されると、当該音声データは、
バス２３を介してディジタル・アナログ（Ｄ／Ａ）変換
器２０に送出されてアナログ信号に変換された後、増幅
器２１を経てスピーカ２２より音声として出力される。

【００３１】図１１は、図１に示した実施の形態におけ
るＣＰＵ１５が指示する装置全体の制御動作の流れを示
すフローチャートである。図１１において、装置は既に
動作を開始しており、手話動作者が１つの手話動作をす
ると（Ｓ１）、各３次元位置検出センサ１１ａ，１１ｂ
により手話動作者の左右の手の３次元座標系における移
動位置をそれぞれ検出する（Ｓ２）と同時に、グローブ
型センサ１２により右手の各指の曲げ角度すなわち五指
の第１・第２関節の各曲げ角度を検出する（Ｓ３）。

【００３２】各３次元位置検出センサ１１ａ，１１ｂに
より左右の手の移動位置が検出されたならば、それぞれ
の移動点までの基準点からの左右の手の移動量をそれぞ
れ演算し（Ｓ４）、得られた移動量から左右の腕の曲げ
角度をそれぞれ演算する（Ｓ５）。

【００３３】そこで、左右の腕の曲げ角度を示すデータ
および各指の曲げ角度を示すデータからなるデータと、
記憶装置１７内の動作データ記憶部１８に格納された動
作データとを比較し、該当する登録単語を検索する（Ｓ
６）。

【００３４】該当する登録単語が検索されたならば、記
憶装置１７内の音声データ記憶部１９より、検索された
登録単語の音声データを読み出し（Ｓ７）、これをＤ／
Ａ変換器２０に送出した後、増幅器２１を経てスピーカ
２２より音声として出力する（Ｓ８）。

【００３５】そこで、手話が完了したか否かが問われ
（Ｓ９）、完了していないのであれば（Ｓ９ＮＯ）、ス
テップＳ１からの作業を繰り返し、完了したのであれば
（Ｓ９ＹＥＳ）、作業を終了する。

【００３６】以上においては、動作者の左右の腕の各曲
げ角度および左右の手の各五指の第１・第２関節の各曲
げ角度を求める場合について説明した。しかし、手話で
は、例えば、「ありがとう」、「晴れ」、「雨」などを
意味する手話動作のように、左右の手の各五指はまった
く曲げずに伸ばしたまま、左右の腕のみを曲げて表現す
る単語がある。その場合は、グローブ型センサ１２（図
１）を用いなくても、当該動作を音声に変換することが
できる。

【００３７】なお、例えば、病院における手術が終了し
た直後の患者であって、発声することができない者にあ
っては、腕を曲げることはできないが、手の五指のみは
曲げることが可能な場合がある。そのような場合は、手
の五指の各曲げ角度に応じてそれぞれ特定される各単語
をあらかじめ決めておき、各単語を特定する五指の各曲
げ角度を示すデータを、それぞれの単語を特定する動作
データとして、記憶装置１７（図１）内の動作データ記
憶部１８（図３）に格納すれば、患者の意思を音声にし
て他人に伝達することが可能となる。その場合は、各３
次元位置検出センサ１１ａ，１１ｂは、用いなくてもよ
いことになる。

【００３８】図１２は、本発明の他の実施の形態の回路
構成を示すものである。ここで、図１２は、陸上競技者
のランニング動作を音に変換してランニング・フォーム
の良否を判断する装置を示しており、図１における構成
要素に対応する構成要素については、同じ符号を付して
いる。

【００３９】図１２において、図１に示した回路構成と
異なるところは、１４個の３次元位置検出センサ１１ａ
〜１１ｎが用いられていること、およびこれら１４個の
３次元位置検出センサ１１ａ〜１１ｎからの出力を受け
る１個のコントローラ４１（機能としては、図１のコン
トローラ１３と同じである。）が配設されていることで
ある。

【００４０】また、記憶装置１７自体は、図１に示した
ものと同一であるが、動作データ記憶部３１の他に、音
声データ記憶部１９（図３）ではなく、音データ記憶部
３２が設けられている点が、図１に示した装置と異なっ
ている。

【００４１】１４個の３次元位置検出センサ１１ａ〜１
１ｎは、図１３に示すように、陸上競技者２０１の腰部
（１１ａ）、肩の中央部（１１ｂ）、右上腕部（１１
ｃ）、右肘部（１１ｄ）、右手部（１１ｅ）、左上腕部
（１１ｆ）、左肘部（１１ｇ）、左手部（１１ｈ）、右
上脚部（１１ｉ）、右膝部（１１ｊ）、右足部（１１
ｋ）、左上脚部（１１ｌ）、左膝部（１１ｍ）および左
足部（１１ｎ）のそれぞれ関節のある近傍の部位に取り
付けられ、各部の３次元座標系における移動位置を検出
する。そして、検出された移動位置から各部の移動量
を、ＣＰＵ１５が演算し、得られた移動量から各曲げ角
度を、図１０を用いて説明した演算方法により演算す
る。

【００４２】これをより詳しく説明すると、図１４
（ａ）に示すように、ＣＰＵ１５は、陸上競技者の胴部
の曲げ角度に関して、胴部の下部について３個のデータ
Ａ２１〜Ａ２３、中央部について３個のデータＡ２４〜
Ａ２６、および上部ついて２個のデータＡ２７，Ａ２８
の合計８個のデータＡ２１〜Ａ２８を演算する。

【００４３】すなわち、腰部の３次元位置検出センサ１
１ａ（図１３）は、腰部の３次元座標系における移動位
置を検出し、肩の中央部の３次元位置検出センサ１１ｂ
は、肩の中央部の移動位置を検出する。そこで、検出さ
れた２つの移動点から、ＣＰＵ１５は、基準点（背筋を
伸ばした姿勢における位置）からの胴部の移動量を演算
する。そして、得られた移動量から、図１５に示すよう
に、Ｘ軸、Ｙ軸およびＺ軸に沿っての胴部下部の各曲げ
角度Ａ２１〜Ａ２３を演算し、さらに胴部上部の各曲げ
角度Ａ２４〜Ａ２６を演算する。

【００４４】ついで、肩の中央部の３次元位置検出セン
サ１１ｂにより検出された肩の中央部の移動位置と、右
上腕部の３次元位置検出センサ１１ｃにより検出された
右上腕部の移動位置とから、右上腕部の移動量を演算
し、得られた移動量からＺ軸に沿っての胴部上部の右手
側の曲げ角度Ａ２７を演算する。胴部上部の左手側の曲
げ角度Ａ２８についても、肩の中央部の３次元位置検出
センサ１１ｂと左上腕部の３次元位置検出センサ１１ｆ
とにより得られる各データに基づき演算する。

【００４５】また、右上腕部の３次元位置検出センサ１
１ｃと右肘部の３次元位置検出センサ１１ｄとにより得
られる各データに基づき、Ｘ軸、Ｙ軸およびＺ軸に沿っ
ての右腕の肩部の各曲げ角度Ａ３３〜Ａ３５（図１４
（ｃ））を演算し、右肘部の３次元位置検出センサ１１
ｄと右手部の３次元位置検出センサ１１ｅとにより得ら
れた各データから、右肘部のＸ軸およびＹ軸に沿っての
各曲げ角度Ａ３６，Ａ３７（図１４（ｃ））を演算す
る。右腕の手首部のＸ軸およびＹ軸に沿っての各曲げ角
度Ａ３８，Ａ３９（図１４（ｃ））は、２次元のマトリ
ックスとなるので、右手部の３次元位置検出センサ１１
ｅにより得られるデータから演算される。

【００４６】左腕の肩部、肘部および手首部それぞれの
曲げ角度Ａ４０〜Ａ４６（図１４（ｄ））についても、
図１５では座標軸と曲げ角度との関係の図示を省略した
が、上述したところと同様にして演算される。

【００４７】また、右上脚部の３次元位置検出センサ１
１ｉと右膝部の３次元位置検出センサ１１ｊとにより得
られる各データから、右脚の付根部のＸ軸、Ｙ軸および
Ｚ軸に沿っての各曲げ角度Ａ４７〜Ａ４９（図１４
（ｅ））を演算し、右膝部の３次元位置検出センサ１１
ｊと右足部の３次元位置検出センサ１１ｋとにより得ら
れる各データから、右脚の膝部のＹ軸およびＺ軸に沿っ
ての各曲げ角度Ａ５０，Ａ５１（図１４（ｅ））を演算
し、右足部の３次元位置検出センサ１１ｋにより得られ
るデータから、右脚の足首部のＹ軸およびＺ軸に沿って
の各曲げ角度Ａ５２，Ａ５３（図１４（ｅ））を演算す
る。左脚の付根部、膝部および足首部についても、同様
にして各曲げ角度Ａ５４〜Ａ６０（図１４（ｆ））がそ
れぞれ演算される。

【００４８】なお、首部の各曲げ角度Ａ２９〜Ａ３２
（図１４（ｂ））は、図１３では図示されてはいない
が、陸上競技者２０１の頭部にさらに３次元位置検出セ
ンサを取り付けたとした場合に得られるデータである。
すなわち、肩の中央部の３次元位置検出センサ１１ｂと
頭部の３次元位置検出センサとにより得られる各データ
から、首部の下部のＹ軸およびＺ軸に沿っての各曲げ角
度Ａ２９，Ａ３０を演算し、さらに首部の上部のＹ軸お
よびＺ軸に沿っての各曲げ角度Ａ３１，Ａ３２を演算す
る。

【００４９】図１６は、陸上競技者のランニング・フォ
ームが良好である場合のデータを具体的に示すものであ
り（図中の数値の単位は「度」）、これらを示すデータ
がランニング・フォームの良否を判断するための動作デ
ータとして、記憶装置１７（図１２）内の動作データ記
憶部３１に格納される。ここで、図１７（ａ）に示すよ
うに、陸上競技者２０１の背筋が真っすぐに伸びている
場合は、ランニング・フォームは良好であり、図１７
（ｂ）に示すように、陸上競技者２０１の背筋がうしろ
に反っている場合は、好ましくないランニング・フォー
ムである。なお、図１６に示した動作データは、プラス
・マイナス１０度の許容範囲を有しており、この許容範
囲内であれば、ランニング・フォームは良好と判断され
る。

【００５０】そこで、図１２において、各３次元位置検
出センサ１１ａ〜１１ｎを身体の各部に取り付けた陸上
競技者２０１がランニング動作をすると、各３次元位置
検出センサ１１ａ〜１１ｎにより、陸上競技者２０１の
身体各部の３次元座標系における各移動位置がそれぞれ
検出される。

【００５１】これらのデータが得られると、ＣＰＵ１５
は、プログラム・メモリ１６に書き込まれた命令データ
をバス２３を介して読み出して、各３次元位置検出セン
サ１１ａ〜１１ｎにより検出された陸上競技者２０１の
身体各部の移動位置から、身体各部の移動量を演算す
る。各移動量が算出されると、これらからＣＰＵ１５
は、プログラム・メモリ１６に書き込まれた命令データ
をバス２３を介して読み出して、陸上競技者２０１の身
体各部の各曲げ角度Ａ２１〜Ａ６０を既述した演算方法
に従って演算する。

【００５２】陸上競技者２０１の身体各部の各曲げ角度
Ａ２１〜Ａ６０が演算されると、これと記憶装置１７内
の動作データ記憶部３１に格納された動作データとをＣ
ＰＵ１５は比較する。

【００５３】比較の結果、ランニング・フォームは良好
であると判断した場合は、これを示すチャイム音の音デ
ータを音データ記憶部１９より読み出す。チャイム音の
音データが読み出されると、当該音データは、バス２３
を介してディジタル・アナログ（Ｄ／Ａ）変換器に送出
されてアナログ信号に変換された後、増幅器２１を経て
スピーカ２２より音声として出力される。

【００５４】反対に、ランニング・フォームが好ましく
ないと判断された場合は、これを示すブザー音の音デー
タを音データ記憶部１９より読み出し、ブザー音の音デ
ータが読み出されると、当該音データは、バス２３を介
してディジタル・アナログ（Ｄ／Ａ）変換器に送出され
てアナログ信号に変換された後、増幅器２１を経てスピ
ーカ２２より音声として出力される。

【００５５】なお、以上においては、１４個の３次元位
置検出センサ１１ａ〜１１ｎを陸上競技者２０１の身体
の所定の部位に取り付ける場合について説明した。しか
し、本発明はこれに限られるものではなく、例えば、陸
上競技者２０１の上半身のみのフォームの良否を判断す
る場合には、３次元位置検出センサは上半身にのみ取り
付けるようにすればよい。また、陸上競技者２０１の身
体全体の回転および移動に関するデータを必要とする場
合には、腰部１１ａの３次元位置検出センサ１１ａによ
り、Ｘ，Ｙ，Ｚの各座標値Ｘｃ，Ｙｃ，ＺｃとＸ，Ｙ，
Ｚの各軸に沿っての各回転角度Ｘｒ，Ｙｒ，Ｚｒの６個
のデータを求めるようにすればよい。

【００５６】図１８は、図１２に示した実施の形態にお
けるＣＰＵ１５が指示する装置全体の制御動作の流れを
示すフローチャートである。図１８において、装置は既
に動作を開始しており、陸上競技者がランニング動作を
すると（Ｓ１１）、各３次元位置検出センサ１１ａ〜１
１ｎにより、陸上競技者の腰部、肩の中央部など各部の
３次元座標系における移動位置を検出する（Ｓ１２）。

【００５７】各部の移動位置が検出されると、基準点か
らの移動量が演算され（Ｓ１３）、得られた移動量から
各部の曲げ角度が演算される（Ｓ１４）。

【００５８】そこで、得られた各部の曲げ角度を示すデ
ータと、記憶装置１７内の動作データ記憶部３１に格納
された、ランニング・フォームの良否を判断するための
基準データである動作データとを比較する（Ｓ１５）。
比較した結果、得られたデータが、基準データの許容す
る範囲内であってフォームが良好であると判断されたな
らば（Ｓ１６ＹＥＳ）、記憶装置１７内の音データ記憶
部３２より、チャイム音の音データを読み出し（Ｓ１
７）、これをＤ／Ａ変換器２０に送出した後、増幅器２
１を経てスピーカ２２よりチャイム音として出力する
（Ｓ１９）。

【００５９】ステップＳ１６において、動作データが、
基準データの許容する範囲外であってフォームが良好で
ないと判断されたならば（Ｓ１６ＮＯ）、記憶装置１７
内の音データ記憶部３２より、ブザー音の音データを読
み出し（Ｓ１８）、これをＤ／Ａ変換器２０に送出した
後、増幅器２１を経てスピーカ２２よりブザー音として
出力する（Ｓ２０）。

【００６０】そこで、ランニングが完了したか否かが問
われ（Ｓ２１）、完了していないのであれば（Ｓ２１Ｎ
Ｏ）、ステップＳ１１からの作業を繰り返し、完了した
のであれば（Ｓ２１ＹＥＳ）、作業を終了する。

【００６１】以上においては、陸上競技者のランニング
・フォームの良否を判断する場合を例に挙げて説明し
た。しかし、本発明はこれに限定されるものではなく、
その他にも、例えば、ゴルフにおけるクラブ・スイング
のフォームや野球におけるバッティング・フォームの良
否、さらには舞踊芸術における舞踊動作の良否など、各
種の分野において人間が行う様々な動作の良否を判断す
る場合にも、本発明は適用され得るものである。その場
合、各種の分野における様々な動作の良否を判断するた
めの、分野毎の基準データを記憶装置１７における動作
データ記憶部３１に併せて格納するようにしてもよい。

【００６２】また、陸上競技者のランニング・フォーム
の良否の判断結果を知らせる音として、チャイム音およ
びブザー音を例として述べたが、本発明はこれらに限ら
れるものではなく、適宜の音の音データを記憶装置１７
における音データ記憶部３１に格納すればよい。その他
にも、例えば、フォームが良好な場合にのみ音を出力
し、フォームが好ましくない場合には音を出力しないよ
うにしてもよい。

【００６３】さらに、フォームの善し悪しのみを判断す
るだけでなく、例えば、評価の基準を３段階に分けて、
それぞれの段階を画するための各基準データを、記憶装
置１７における動作データ記憶部３１に格納するととも
に、各段階の基準データとの比較結果に応じてそれぞれ
出力される３つの異なる音の音データを、記憶装置１７
における音データ記憶部３１に格納するようにしてもよ
い。

【００６４】

【発明の効果】以上の説明から明らかなように、本発明
によるならば、聾唖者が、自己の意思や感情を、手話を
理解することができない者に文字によらずに伝達しよう
とする場合、手話通訳士などの手話を理解することがで
きる者を介することなく、自己の意思等を他人に伝達す
ることが可能となる。

【００６５】また、ランニング・フォームなどスポーツ
の各分野におけるフォームや舞踊動作など芸術の各分野
における動作等の良否を、熟練した指導者でなくても容
易に判断することができるとともに、指導者が視覚によ
り判断する場合と比較して、判断の客観性を得ることが
できる。

【００６６】しかも、録画したランニング・フォームな
どを再生画面からその良否を判断する場合に比して、即
時に当該動作の良否を判断することが可能となる。した
がって、本発明によりもたらされる効果は、実用上極め
て大きい。

【図面の簡単な説明】

【図１】本発明の実施の形態の回路構成図である。

【図２】図１に示した各３次元位置検出センサおよびグ
ローブ型センサの装着状態を示す表示図である。

【図３】図１に示した記憶装置に格納したファイルの構
造を説明するためのファイル構造図である。

【図４】図１に示した各３次元位置検出センサおよびグ
ローブ型センサより得られるデータを示すデータ図であ
る。

【図５】図４に示したデータから図１に示したＣＰＵの
演算により算出されるデータを示すデータ図である。

【図６】図５に示したデータの内容を説明するための説
明図である。

【図７】図５に示したデータの具体例を説明するための
説明図である。

【図８】図１に示したＣＰＵの演算により得られる図５
に示したデータの具体例を示すデータ図である。

【図９】図１に示した記憶装置の動作データ記憶部に格
納される動作データの具体例を示すデータ図である。

【図１０】図１に示したＣＰＵにより図５に示したデー
タを求める演算方法を説明するための説明図である。

【図１１】図１に示した回路の動作の流れを示すための
フローチャートである。

【図１２】本発明の他の実施の形態の回路構成図であ
る。

【図１３】図１２に示した各３次元位置検出センサの装
着部位を示す表示図である。

【図１４】図１２に示した各３次元位置検出センサより
得られるデータからＣＰＵの演算により算出されるデー
タを示すデータ図である。

【図１５】図１４に示したデータの内容を説明するため
の説明図である。

【図１６】図１２に示したＣＰＵの演算により得られる
図１５に示したデータの具体例を示すデータ図である。

【図１７】図１２に示した回路構成の装置により判断さ
れるランニング・フォームの好例および悪例を示す表示
図である。

【図１８】図１２に示した回路の動作の流れを示すため
のフローチャートである。

【符号の説明】

１１ａ〜１１ｎ３次元位置検出センサ１２グローブ型センサ１３，１４コントローラ１５ＣＰＵ１６プログラム・メモリ１７記憶装置１８動作データ記憶部１９音声データ記憶部２０Ｄ／Ａ２１増幅器２２スピーカ２３バス３１動作データ記憶部３２音データ記憶部４１コントローラ１０１腕部１０２手首部１１１親指２０１陸上競技者

Claims

【特許請求の範囲】

【請求項１】動作者の左右の手の３次元座標系におけ
る各移動位置および前記手の指の関節の各曲げ角度のう
ちの少なくとも一方を検出し、検出された前記各移動位置より算出される前記動作者の
左右の手の基準点からの各移動量を演算して得られる前
記動作者の左右の腕の各曲げ角度および前記手の指の関
節の各曲げ角度のうちの少なくとも一方を示すデータか
ら記憶手段（１７）に格納された登録単語を検索し、検索された前記登録単語に対応する音声を出力するよう
にした、人間の動作を音に変換する方法。
【請求項２】動作者の左右の手の３次元座標系におけ
る各移動位置を検出するための３次元センサ手段（１１
ａ，１１ｂ）および前記手の指の関節の各曲げ角度を検
出するためのグローブ型センサ手段（１２）のうちの少
なくとも一方と、前記３次元センサ手段により検出された前記各移動位置
より算出される前記動作者の左右の手の基準点からの各
移動量から前記動作者の左右の腕の各曲げ角度および前
記グローブ型センサ手段により検出された前記手の指の
関節の各曲げ角度のうちの少なくとも一方を示すデータ
から記憶手段（１７）に格納された登録単語を検索する
ための検索手段（１５）と、前記検索手段により検索された前記登録単語に対応する
音声を出力するための音声出力手段（２０，２１，２
２）とを具備した人間の動作を音に変換する装置。
【請求項３】動作者の身体の所定部位の３次元座標系
における各移動位置をそれぞれ検出し、検出された前記各移動位置から前記動作者の身体の所定
部位の各移動量をそれぞれ演算し、算出された前記各移動量から前記動作者の身体の各部の
各曲げ角度をそれぞれ演算し、算出された前記各曲げ角
度を示すデータと少なくとも１つの基準データとを比較
し、比較された結果に応じて音を出力するようにした、人間の動作を音に変換する方法。
【請求項４】動作者の身体の所定部位の３次元座標系
における各移動位置を検出するための３次元センサ手段
（１１ａ〜１１ｎ）と、前記３次元センサ手段により検出された前記各移動位置
から前記動作者の身体の所定部位の各移動量を演算し、
算出された前記移動量から前記動作者の身体の各部の各
曲げ角度をそれぞれ演算するための演算手段（１５）
と、前記演算手段により得られた前記各曲げ角度を示すデー
タと少なくとも１つの基準データとを比較するための比
較手段（１５）と、前記比較手段により得られた結果に応じて少なくとも１
つ音を出力するための音出力手段（２０，２１，２２）
とを具備した人間の動作を音に変換する装置。