JPH0612163A - 手話データ入力装置 - Google Patents

Abstract

(57)【要約】 【目的】 自由な体勢での手話によるデータの入力が可
能で、手話ができれば誰でも容易且つ確実にデータを入
力することができ、しかも手の動きの変換処理が簡単な
手話データ入力装置を提供する。 【構成】 手話の手や腕の各部の位置や形状を変位検知
器１により電気的に検出し、該検出信号を基に手話によ
るデータを入力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータ等へのデ
ータ入力装置として、手話によりデータを入力すること
が出来る手話データ入力装置に関する。

【０００２】

【従来の技術】従来、コンピュータへの手話データ入力
装置として画像入力による方法が提案されていた（特開
平３−２８８２７６号）。これは、カメラによって手話
の手の動き、即ち手や腕の各部の位置や形状を撮影し、
手話の手の動きを時分割でビデオ画像信号として取り出
し、予め記憶された標準の手話の手の動きのデータと比
較して手話の内容を識別し、該識別した手話の内容を該
当する一群の文字データに変換するものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例では、カメラの画角中に手を保持しなくてはいけな
いという制限があった。何故ならば、撮影されていない
手の動きを予測することは現在の技術では不可能に近
く、たとえ一部だけが欠けても、その撮影データから手
の形状を認識するのは大変困難であるからである。

【０００４】そこで、手がカメラの撮影範囲内に収まっ
ているか否かを確認するために、カメラの外部モニタを
用意するか、入力する人以外に撮影用の人員を用いる
か、或は予め決められた場所に目印などを設けて、その
場所に限定して手を配置する必要があり、いずれにして
も、カメラを使用することが操作に煩雑さを加えるとい
う欠点があった。

【０００５】また、手と外界を区別するために、バック
スクリーン等が必要であり、入力するための環境の準備
等の手間が必要であるという欠点があった。また、もし
バックスクリーンがあっても、人間の身体の前に手を持
ってきた時等、手の動作環境によっては、認識が不正確
になることが避けられなかった。

【０００６】更に、手の動きだけを外界とは分離して撮
影することで、認識することが出来ても、２次元の画像
情報としてしか得られないので、３次元に自由に表現さ
れる手話の手の動きが特定のパターンと一致するか否か
を判定することは困難であった。例えば、標準の手話デ
ータの情報量をより少ないものにし、画像から手の形状
を認識する方法をより簡便にするためには、標準のデー
タの持つ手の動きの視点となるべく同じ方向から手の動
きを撮影する必要があるという制限が発生する。

【０００７】一方、カメラとは無関係な向きへ手を動か
しても標準の手の動きと比較一致できるようにするため
には、撮影された手の動きの解析アルゴリズムが複雑に
なることを避けられない。これを解決するためには数回
撮影する等の手間が必要になると共に、比較される標準
のデータも、あらゆる角度から見られることを想定して
３次元のデータにするか、データの量を大きくする等の
対処が必要となる。従って、処理方法が煩雑で、判定が
不正確になるという欠点があった。

【０００８】本発明は上記事情に鑑みてなされたもの
で、その目的とするところは、自由な体勢での手話によ
るデータの入力が可能で、手話ができれば誰でも容易且
つ確実にデータを入力することができ、しかも手の動き
の変換処理が簡単な手話データ入力装置を提供すること
にある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
本発明は、手話の手や腕の各部の位置や形状を検出する
検出手段と、標準の手話のデータを予め記憶する記憶手
段と、前記検出手段により検出されたデータと前記記憶
手段に記憶されたデータとを比較して当該手話の内容を
識別する識別手段と、該識別手段により識別した手話の
内容を該当する一群の文字データに変換する変換手段と
を備えた手話データ入力装置において、前記検出手段
を、手話の手や腕の各部の位置や形状を電気的に検出す
る変位検知器により構成したことを特徴とするものであ
る。

【００１０】

【作用】予め記憶手段に記憶された標準の手話の手の動
きのデータと、変位検知器により電気的に検出された指
の曲げ角度や掌の向き、手の位置及び／或は肘や肩の曲
げ角度や、肘や肩の位置等の手話の手の動きのデータと
を比較して手話の内容を識別し、該識別した手話の内容
を該当する一群の文字データに変換することによって、
コンピュータ等への手話によるデータの入力を可能とし
たものである。

【００１１】

【実施例】以下、本発明の実施例を図面に基づき説明す
る。

【００１２】［第１実施例］図１は、本発明の第１実施
例に係るデータ入力装置のブロック構成図であり、同図
中、１はデータグローブ型変位検知器で、手にはめて手
の動きの様子を電気的に検知するものである。２は、位
置データ受信装置で磁気或は光学等を利用してデータグ
ローブ型変位検知器１の相対位置や相対角度等を検知す
るためにデータグローブ型変位検知器１の位置データを
受信するものである。

【００１３】３は、変位検出回路で、データグローブ型
変位検知器１からの入力データを検出して、そのデータ
をＣＰＵ４に送信するものである。５は、第１メモリで
変位検出回路３からの手の動きのデータを蓄積するもの
である。６は、第２のメモリで、予め標準の手話の手の
動きデータを登録しておくためのものである。

【００１４】ＣＰＵ４はデータグローブ型変位検知器１
から送信されたデータを一定時間蓄積し、第２メモリ６
で登録されたデータと第１メモリ５上のデータとを比較
することで手話データを解析する。

【００１５】図２はデータグローブ型変位検知器１を用
いて手話の手の動きを入力する手話データ入力装置の概
念図である。同図において、データグローブ型変位検知
器１は、光ファイバーを用いて指の曲げのある／なし、
及びその指の曲げ角度を検知することができる。その検
知方法は、光量の変化等による。データグローブ型変位
検知器１と、位置データ受信装置２と、変位検出回路３
とを使って、手の位置のデータを検出する際の座標系を
図３に示している。又、ここでは位置データ受信装置２
を基準としてデータグローブ型変位検知器１の相対位置
を手の位置としている。手の位置とは、手の空間座標
（ｘ，ｙ，ｚ）と向き（ωｘ，ωｙ，ωｚ）が含まれ
る。

【００１６】図４は、手の形状データの例を示す、五指
のそれぞれの関節の曲げ角度が同図においてωで表わさ
れている。同図を参照して具体的に説明すると、第１指
の第１関節の曲げ角度をω１１、同じく第２関節の曲げ
角度をω１２、第２指は第２関節の曲げ角度をω２１、
第２関節の曲げ角度をω２２とする。以下同様に、第５
指までの曲げ角度をω３１〜ω５２と定義している。
又、第１指の第３関節を曲げることで変形する掌の形状
は、ωｈで定義している。

【００１７】図５はメモリ６上のデータの例を示してい
る。ここでは、標準の手話の手の動きデータとして、手
の形状と手の位置を一塊としてある。

【００１８】次に、利用者が手話でコンピュータにデー
タを入力する手順を、図６のフローチャートに従って説
明する。

【００１９】まず、標準の手話の手の形状や手の位置等
の手の動きのデータＡを時分割数のデータと共にメモリ
６に登録しておく（ステップ６０１）。

【００２０】次に、手にデータグローブ型変位検知器１
をはめ、手話を行なう。変位検出回路３は、データグロ
ーブ型変位検知器１から指や掌の曲げ角度の情報を得
て、位置データ受信装置２から手の位置の座標データ
を、ＣＰＵ４によって指示された時分割数にしたがって
検知し、その検知データをＣＰＵ４へ送る（ステップ６
０２）。

【００２１】ＣＰＵ４は、データグローブ型変位検知器
１から受信したデータＢを一定時間ｔだけメモリ５に蓄
え（ステップ６０３）、該蓄えたデータＢをメモリ６に
蓄えられているデータＡと比較する（ステップ６０
４）。

【００２２】この比較の結果、メモリ５とメモリ６の上
に記憶されている手の動きのデータＡ，Ｂの動作特徴が
一致した場合には、動作に該当する単語及び文章を文字
情報に変換する（ステップ６０５）。該変換後、必要に
応じてその変換されたデータを出力した後（ステップ６
０６）、メモリ５はクリアされて（ステップ６０７）、
前記ステップ６０２に戻ってデータグローブ型変位検知
器１の変位の読み取りを繰り返す。

【００２３】一方、前記ステップ６０４での比較結果、
データＡ，Ｂの動作特徴の一致を見ない場合、ＣＰＵ４
は手話の一単語分の表現が完結されていないと見做し
て、メモリ６に蓄積されている手話データの動作特徴と
ｔまでの時間で一致したデータがあるか否かを検索し、
ｔまでの入力データに以後の入力データを付け加えてメ
モリ６上の標準データと一致する可能性があるか否かを
判断する（ステップ６０８）。動作特徴の一致の可能性
があれば、前記ステップ６０２に戻ってデータグローブ
型変位検知器１の変位の読み取りを繰り返す。また動作
特徴一致の可能性がなくなった時点において、その手話
はエラーとしてメモリ５はクリアされ（ステップ６０
７）、再びデータグローブ型変位検知器１からの入力が
なされる。

【００２４】手話を行なった時の手の動きと図４で示さ
れたデータの変位を図７を用いて説明する。図７は、手
の動きの例として、開いていた手を握る動作を示してい
る。同図において、Ｌ１は第２〜第５指の第２関節の曲
げ角度を、Ｌ２は第２〜第５指の第３関節の曲げ角度
を、Ｌ３は掌の角度をそれぞれ表わす。

【００２５】ｔ＝０で手は開いていて、その時、それぞ
れの関節の曲げ角度は０である。手を握り始めると、先
ず各指の第２関節が曲がり始め、次いで指の曲がる範囲
内で一番角度の大きいところまで曲がり、その後は一定
の曲がり角度を保つ。各指の第２関節が最大の曲がり角
を持つ少し手前で、各指の第３関節が曲がり始め、握り
こぶしができる状態で、これ以上曲がらなくなり、曲が
り角度は一定となる。

【００２６】一方、掌は、全体を通してゆっくりと曲が
り角度を大きくしていき、指の曲がる範囲の途中で、第
１指の動きが第２〜第５指によって遮られて止まり、そ
れ以上は曲がらなくなる。

【００２７】本実施例においては、これらの動きのデー
タをＣＰＵ４に取り込む時は、時分割のデータを採用す
るので、図４に示す各変数は、図８〜図１０の様にな
る。図８は、図７のＬ１から得られた、ω２１の時分割
データ列である。図９は、これに対応する、ω２２の時
分割データ列であり、図１０は同様に、ωｈの時分割デ
ータ列である。

【００２８】［第２実施例］次に、本発明の第２実施例
を図１１〜図１３に基づき説明する。

【００２９】なお、本実施例において上述した第１実施
例と同一機能部分については図面に同一符号を付して説
明する。

【００３０】本実施例において第１実施例と異なる点
は、さまざまな手話の表現形態を入力するために、デー
タグローブ型変位検知器１と共に、データスーツ型変位
検知器７を用いることで、腕を含めた動きのある手話を
入力し得るようにしたものである。

【００３１】図１１は、本実施例に係るデータ入力装置
におけるデータグローブ型変位検知器１と共に、データ
スーツ型変位検知器７を用いて手話の手や腕の動きを入
力する手話データ入力装置の概念図である。動きのデー
タに含まれるのは、肩、肘の関節の曲げ角度及び方向
や、体の向き等である。これらの情報をメモリ６に蓄積
するときのメモリ６上の変数配置例を図１３に示す。こ
こでは、肘の位置を（ｎｘ，ｎｙ，ｎｚ）、肩の位置を
（ｓｘ，ｓｙ，ｓｚ）としている。なお、図１３の例は
片腕のみである。

【００３２】逆に、データグローブ型変位検知器１を１
つのみ用いても、初期データに片手だけを用いた手話の
動きデータを与えておけば、データの入力は可能であ
る。更に、データグローブ型変位検知器１の検知機能が
少なくて、指の曲げだけしか入力できない場合にも、指
の角度の情報を感度よく測定することができれば、多く
のデータの入力が可能となる。

【００３３】前記各実施例では、データグローブ型変位
検出器１に光ファイバーを使った例を挙げたが、電気ス
イッチや金属等を使ってもよい。又、指の曲げの検出
は、位相情報の変化、電気抵抗の変化、或は手袋をつけ
た線（紐等）の引っ張り量の変化等を測定してもよい。

【００３４】また、前記図６のステップ６０８におい
て、特徴一致の可能性がない場合、第１メモリ５をクリ
アするのではなく、第１メモリ５のデータを第２メモリ
６に新たな単語や文章の標準のデータとして登録しても
よい。

【００３５】又、手の動きでなく、手の形状だけをデー
タとして用いる場合は、第１メモリ５に蓄積しなくても
よい。その場合、第２メモリ６へ登録するデータには時
間情報は入ってない。

【００３６】又、予め記憶されている標準のデータは、
時間と位置と曲げ角度の関数として保持されていてもよ
い。逆に、データグローブ型変位検知器１からの入力
を、一旦この様な関数にフィットさせて、それらを比較
することによって特徴一致の可能性の有無の判別を行な
うこともできる。

【００３７】

【発明の効果】以上説明した様に、本発明の手話データ
入力装置によれば、変位検知器を使用して指の曲げや掌
の角度、手の位置などを電気的に検知して、手話の手の
動きを入力するので、自由な体勢での入力が可能にな
り、使用者の疲労軽減にも効果がある。又、キーボード
に不慣れな人や、目の不自由な人でも、手話ができれ
ば、データ入力が可能となり、入力効率の向上化が図れ
る。更に、画像処理による従来の方法に比べて、手の動
きの変換処理も簡単になり、データも管理し易いものに
なるので、実際に手話による入力システムをコンピュー
タへ実装する場合の時間を短縮できる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係る手話データ入力装置
のブロック図である。

【図２】データグローブ型変位検知器による手話データ
入力装置の概念図である。

【図３】図２により手の位置データを検出する際の座標
系を示す図である。

【図４】手の形状データの例を示す図である。

【図５】片手の情報メモリ上の変数配置を示す図であ
る。

【図６】図１に示す手話データ入力装置の動作を示すフ
ローチャートである。

【図７】手を握る過程での手の動きと変数の動きの変化
を示す図である。

【図８】同ω２１の値を示す説明図である。

【図９】同ω２２の値を示す説明図である。

【図１０】同ωｈの値を示す説明図である。

【図１１】本発明の第２実施例を示すデータスーツ型変
位検知器とデータグローブ型変位検知器による手話デー
タ入力装置の概念図である。

【図１２】図１１により手の位置データを検出する際の
座標系を示す図である。

【図１３】片腕の情報のメモリ上の変数配置を示す図で
ある。

【符号の説明】

１ データグローブ型変位検知器（検出手段） ４ ＣＰＵ（識別手段、変換手段） ６ メモリ（記憶手段） ７ データスーツ型変位検知器（検出手段）

Claims (1)

【特許請求の範囲】
1. 【請求項１】 手話の手や腕の各部の位置や形状を検出
   する検出手段と、標準の手話のデータを予め記憶する記
   憶手段と、前記検出手段により検出されたデータと前記
   記憶手段に記憶されたデータとを比較して当該手話の内
   容を識別する識別手段と、該識別手段により識別した手
   話の内容を該当する一群の文字データに変換する変換手
   段とを備えた手話データ入力装置において、前記検出手
   段を、手話の手や腕の各部の位置や形状を電気的に検出
   する変位検知器により構成したことを特徴とする手話デ
   ータ入力装置。