JPH02144675A - 手話言語変換装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は手動作認識装置と手話言語変換装置に関し、
特に、複数の色で彩色された手袋を用いて人間の手振り
の認識を行ない、認識した手動作に基づいて人間と機械
の間のインタフェースを行ない、指示装置さらに手話に
おける指文字の読解などに利用可能な手動作認識装置と
手話言語変換装置に関する。

［従来の技術］ 人間の手振り、身振りを理解する方法として、身体にセ
ンサを付けて各状態をＡｌ１定する方法や、カメラから
得られる濃淡情報から輪郭情報を抽出し、予め用意され
であるモデルとの対比で状態を推定する方法がある。

［発明が解決しようとする課題］ 上述のような人身振り９手振りを理解する方法には、以
下のような問題点がある。すなわち、センサとして光フ
ァイバを手に装着しておき、指を曲げたとき光ファイバ
が折れ曲がることによる光量の変化を検知するような装
置が市販されている。

この装置では、指の位置は磁気センサによって検知され
る。しかしながら、このような装置では、身体の動きを
測定するためにある程度大きさを持った光ファイバなど
の部品を関節近くに装着する必要があり、測定目的に応
じてつけかえる必要があるなど、使用方法に問題点があ
る。また、手話は指の形状だけでなく、指を自分の顔や
胸を示すような方法も行なわれる。このため、人間の手
振りのほか身振りを併せて動作を理解するために多くの
装置が必要になり、現状の技術ではリアルタイムに動作
を認識することが困難な状況である。

さらに、音声から文書５文書から音声といった媒体形式
の異なる形式の変換装置は音声ワードプロセッサのよう
な形態で市販されているが、人の手振りと対応する言語
を変換するために構成された装置は未だ実現されていな
い。

それゆえに、この発明の主たる目的は、彩色された手袋
を用い、手の動きにより機械に人間の指示を理解可能に
した手動作認識装置と、認識した手動作に基づいて、そ
の情報を音声などで出力したり、音声で入力された情報
を手話の形態で表示できるような手話言語変換装置を提
供することである。

［課題を解決するための手段］ 第１請求項にかかる発明は、手袋に彩色された複数の異
なる色を撮影するための撮影手段と、撮影手段の撮影し
ている手袋に彩色されている各色に対応する色情報を抽
出する手段を備えて手動作認識装置が構成される。

第２！ｉ’！求項にかかる発明は、指の動きを認識する
だめの手動作認識手段と、手話のための指文字のパター
ンを記憶する記憶手段と、認識された指の動きと、記憶
手段に記憶されている指文字のパターンとを比較する比
較照合手段を備えて手話言語変換装置が構成される。

そして、第３請求項にかかる発明では、比較照合手段に
よって照合された指文字を表わす情報が出力手段によっ
て出力される。

第４請求項に係る発明は、音声情報を入力するための入
力手段と、手話のための指文字のパターンを記憶する記
憶手段と、入力手段から入力された音声情報を認識し、
４怠した音声情報に対応する指文字のパターンを前記記
憶手段から読出して出力するための制御手段と、制御手
段から出力された指文字のパターンを表示する表示手段
を備えて構成される。

［作用］ 第１請求項にかかる発明は手袋に彩色された複数の異な
る色を撮影し、各色に対応する色情報を抽出することに
より、手の動作を認識することができる。

第２請求項にかかる発明は、指の動きを認識し、認識さ
れた指の動きと予め記憶されている指文字のパターンと
を比較照合することにより、一致する指文字のパターン
を知ることができる。

第３請求項にかかる発明は、照合された指文字パターン
を表わす情報を出力する。

第４請求項にかかる発明は、入力された音声情報を認識
し、認識した音声情報に対応する指文字のパターンを読
出して出力し、指文字のパターンを表示することにより
、手話言語を変換することができる。

［発明の実施例］ 第１図はこの発明の一実施例の概略ブロック図であり、
第２図および第３図は右手に対する手袋の彩色方法を示
す図である。

まず、第１図ないし第３図を膠原して、この発明の一実
施例の構成について説明する。テレビカメラ１，２は手
を立体的に撮影するものである。

撮影される人物の手には手袋がはめられており、その手
袋には第２図および第３図に示すように彩色が施されて
いる。すなわち、第２図に示した例は、指関節に彩色を
施したものであり、この場合には指関節に２０個のパラ
メータＪ１〜Ｊ２０が設定可能である。また、第３図に
示した例は、指接骨に彩色を施したものであり、指接骨
に１６個のパラメータＣ１〜Ｃ１６が設定可能である。

テレビカメラ１，２によって手袋の彩色が撮影されると
、その出力が色抽出装置３に与えられる。

色抽出装置１ｆ３は手袋に彩色された色を抽出し、その
色信号を状態測定装置４に与える。状！＃１定装置４は
抽出された色信号に基づいて、肖が伸びているかあるい
は曲げられているかなどの状態を測定する。そして、そ
の測定信号は照合装置５に与えられ、測定された指の状
態と手話パターン格納装置６に予め格納されている手話
パターンとが比較され、適合する手話パターンを示す信
号が手話変換装置７に与えられる。手話変換装置７はた
とえばプリンタあるいは音声発生装置によって構成され
、認識された指文字に対応する文章がプリンタによって
印字されるかあるいは対応する音声が音声発生装置から
発音される。

一方、図示しないキーボードから文章情報が言語変換装
置８に入力されるかあるいは図示しない音声認識装置に
よって認識された音声情報が言語変換装置８に入力され
る。言語変換装置８は入力された文章情報または音声情
報をコードに変換し、検索装置９に与える。検索装置９
はそのコードに基づいて、手話パターン格納装ｗｔ６を
検索し、対応する形状パターンを読出して手形状表示装
置１０に与える。手形状表示装置１０はたとえばＣＲＴ
デイスプレィまたは手形状のロボットによって構成され
ており、ＣＲＴデイスプレィに手形状を静止画やアニメ
ーション技術で表示したり、ロボットで実際の指と同じ
動きをさせる。

第４図は手話の指文字パターン化を説明するための図で
あり、第５図および第６図は手話の指文字パターン化に
用いる手の部位の名前づけの一例を示す図であり、第７
Ａ図および第７Ｂ図は手話の指文字のパターン情報の一
例を示す図であり、第８図および第９図はこの発明の一
実施例の動作を説明するためのフロー図である。

次に、第１図ないし第９図を参照して、この発明の一実
施例の具体的な動作について説明する。

第４図に示すように、テレビカメラ１．２によって右手
がそれぞれ異なる角度で撮影され、その撮影出力１ａ、
２ａが色抽出装置３に与えられる。

色抽出装ｆｆ３は手袋に施されている各色を抽出し、た
とえば人差指の第１．第２．第３節骨の位置に彩色され
た色を抽出した像１ｂ、２ｂを状態ｎ１定装置４に与え
る。状！！！１１１１定装置４は各指装置態、すなわち
関節の曲げ、伸びおよび指どうしの接触状態と空間位置
を測定する。

今、右手の各指関節には、第６図に示すようにＲＯＩ〜
Ｒ４４，ＲＷと名前が付けられているものとする。ここ
で、たとえば第７Ａ図に示す指文字が“あ“であれば、
右手の指関節ＲＯ２，０３が伸びており、Ｒ１２，Ｒ１
３，Ｒ２２，Ｒ２３゜Ｒ３２，Ｒ３３，Ｒ４２、Ｒ４３
は曲がっている。

第７Ａ図および第７Ｂ図に示した指文字の各関節の伸び
１曲がっていることを示す手話パターンは予め手話パタ
ーン格納装置６に格納されている。

したがって、照合装ｆｔ５は状態測定装置４によって各
指関節ＲＯＩ〜Ｒ４４，ＲＷの状態が判別されると、手
話パターン格納装置ｉｆ６に格納されている手話パター
ンに基づいて、いずれの指文字であるかを判別すること
ができ、判別した指文字を示すコード信号を手話変換装
！ｆ７に与える。そして、手話変換装置７によって認識
された指文字を示す文章または音声が出力される。

なお、第８図に示すように、状態測定装置４によって各
階の状態が測定されたとき、照合装置５は前の測定時と
異なる状態であるか否かを判別する。前の測定時と異な
っていない状態であれば、動きのある文字または濁音な
どとして認識する。

すなわち、たとえば指文字の“の、　“も。

“す″などは第７Ｂ図に示すように、動きのある文字と
して認識される。しかし、前の測定時とは異なる状態で
あることを判別したときには、新たな指文字であると認
識する。なお、“あ″と“た。

の指文字は、指の折曲げは同じであるので、上下および
掌の向きで認識する。

なお、指文字を認識して文章または音声としで出力する
場合に、語単位で変換するのではなく、）め手話者と単
語の切れ目に相当する「間」の手振りを設定し、国語辞
書との照合と併用することにより、単語レベルで手振り
を理解することも可能となり、質の良い変換を行なうこ
とができる。

次に、第９図を参照して、入力された文章または音声を
手話に変換する手話言語変換装置の動作について説明す
る。図示しないキーボードから文字を入力するかあるい
は図示しない音声４工装置にき声を入力すると、言語変
換袋ｒＩ１８は入力された文字あるいは音声に基づいて
、文字コードに変換して検索装置９に与える。検索装置
９は手話パターン格納装置６を検索し、文字コードに対
応する手形状パラメータを読出す。そして、読出した手
形状パラメータを手形状表示袋ａｉｆｌＯに与える。

手形状表示装置１０はその手形状パラメータに基づいて
、対応するコードを静止画やアニメーション技術などに
よって表示する。

［発明の効果］ 以上のように、この発明によれば、センサを用いること
なく、手袋に彩色された色を撮影して手の動作を認識す
るようにしたので、自然な手の動きの６１定が不特定な
対象に対して可能にすることができ、工場において対象
の位置決め装置に適用できる。また、指文字のパターン
を予め記憶しておき、認識された手の動作に対応する指
文字のパターンと照合すれば、認識した指文字を音声等
によって発音させることができ、入力された音声に基づ
いて、指文字の形状を表示したりすることも可能となる
。

【図面の簡単な説明】

第１図はこの発明の一実施例の概略ブロック図である。 第２図および第３図は右手に対する手袋の彩色方法を示
す図である。第４図は手話の指文字パターン化を説明す
るための図である。第５図および第６図は手話の指文字
パターン化に用いる手の部位の名前づけの一例を示す図
である。第７Ａ図および第７Ｂ図は手話の指文字のパタ
ーン情報の一例を示す図である。第８図および第９図は
この発明の一実施例の動作を説明するためのフロー図で
ある。 図において、１．２はテレビカメラ、３は色抽出装置、
４は状態測定装置、５は照合装置、６は手話パターン格
納装置、７は手話変換装置、８は言語変換装置、９は検
索装置、１は手形状表示装置を示す。 ！ｙ１回 特許出願人　株式会社エイ・ティ・アール通信システム
研究所　　　　、−５、

Claims (4)

【特許請求の範囲】
1. （１）手袋に彩色された複数の異なる色を撮影するため
   の撮影手段、および 前記撮影手段の撮影している前記手袋に彩色されている
   各色に対応する色情報を抽出する手段を備えた、手動作
   認識装置。
2. （２）指の動きを認識するための手動作認識手段、 手話のための指文字のパターンを記憶する記憶手段、お
   よび 前記手動作認識手段によって認識された指の動きと、前
   記記憶手段に記憶されている指文字のパターンとを比較
   する比較照合手段を備えた、手話言語変換装置。
3. （３）さらに、前記比較照合手段によって照合された指
   文字を表わす情報を出力する出力手段を含む、請求項第
   ２項記載の手話言語変換装置。
4. （４）音声情報を入力するための入力手段、手話のため
   の指文字のパターンを記憶する記憶手段、 前記入力手段から入力された音声情報を認識し、認識し
   た音声情報に対応する指文字のパターンを前記記憶手段
   から読出して出力する制御手段、および 前記制御手段から出力された指文字のパターンを表示す
   る表示手段を備えた、手話言語変換装置。