JP2779448B2 - 手話言語変換装置 - Google Patents

手話言語変換装置

Info

Publication number
JP2779448B2
JP2779448B2 JP63298581A JP29858188A JP2779448B2 JP 2779448 B2 JP2779448 B2 JP 2779448B2 JP 63298581 A JP63298581 A JP 63298581A JP 29858188 A JP29858188 A JP 29858188A JP 2779448 B2 JP2779448 B2 JP 2779448B2
Authority
JP
Japan
Prior art keywords
finger
sign language
character
voice
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP63298581A
Other languages
English (en)
Other versions
JPH02144675A (ja
Inventor
友一 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Original Assignee
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk filed Critical Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority to JP63298581A priority Critical patent/JP2779448B2/ja
Publication of JPH02144675A publication Critical patent/JPH02144675A/ja
Application granted granted Critical
Publication of JP2779448B2 publication Critical patent/JP2779448B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は手話言語変換装置に関し、特に、複数の色
で彩色された手袋を用いて人間の手振りの認識を行な
い、認識した手動作に基づいて人間と機械の間のインタ
フェースを行ない、指示装置さらに手話における指文字
の読解などに利用可能な手話言語変換装置に関する。
[従来の技術] 人間の手振り,身振りを理解する方法として、身体に
センサを付けて各状態を測定する方法や、カメラから得
られる濃淡情報から輪郭情報を抽出し、予め用意されて
あるモデルとの対比で状態を推定する方法がある。
[発明が解決しようとする課題] 上述のような人身振り,手振りを理解する方法には、
以下のような問題点がある。すなわち、センサとして光
ファイバを手に装着しておき、指を曲げたとき光ファイ
バが折れ曲がることによる光量の変化を検知するような
装置が市販されている。この装置では、指の位置は磁気
センサによって検知される。しかしながら、このような
装置では、身体の動きを測定するためにある程度大きさ
を持った光ファイバなどの部品を関節近くに装着する必
要があり、測定目的に応じてつけかえる必要があるな
ど、使用方法に問題点がある。また、手話は指の形状だ
けでなく、指を自分の顔や胸を示すような方法も行なわ
れる。このため、人間の手振りのほか身振を併せて動作
を理解するために多くの装置が必要になり、現状の技術
ではリアルタイムに動作を認識することが困難な状況で
ある。
さらに、音声から文書,文書から音声といった媒体形
式の異なる形式の変換装置は音声ワードプロセッサのよ
うな形態で市販されているが、人の手振りと対応する言
語を変換するために構成された装置は未だ実現されてい
ない。
それゆえに、この発明の主たる目的は、彩色された手
袋を用い、手の動きを認識し、認識した手動作に基づい
て、その情報を音声などで出力したり、音声で入力され
た情報を手話の形態で表示できるような手話言語変換装
置を提供することである。
[課題を解決するための手段] 第1請求項に係る発明は、手話における指文字を認識
してその指文字を表わす情報に変換する手話言語変換装
置であって、指関節を識別するために複数の異なる色が
彩色された手袋と、手袋に彩色された複数の異なる色を
撮影するための撮影手段と、撮影されている手袋に彩色
されている各色の対応する色情報を抽出して指の動きを
認識するための手動作認識手段と、手話のための指文字
のパターンを記憶する記憶手段と、認識された指の動き
と記憶されている指文字のパターンとを比較して照合さ
れた指文字を表わす情報を出力する比較照合手段とを備
えて構成される。
第2請求項に係る発明では、さらに音声情報を入力す
るための入力手段と、入力された音声情報を認識し、認
識した音声情報に対応する指文字のパターンを読出して
出力する出力制御手段と、出力された指文字のパターン
または照合された指文字を表わす情報に基づいて、指文
字のパターンを表示する表示手段とを含む。
第3請求項に係る発明では、さらに比較出力された指
文字を表わす情報を音声で出力する音声出力手段を含
む。
[発明の実施例] 第1図はこの発明の一実施例の概略ブロック図であ
り、第2図および第3図は右手に対する手袋の彩色方法
を示す図である。
まず、第1図ないし第3図を参照して、この発明の一
実施例の構成について説明する。テレビカメラ1,2は手
は立体的に撮影するものである。撮影される人物の手に
は手袋がはめられており、その手袋には第2図および第
3図に示すように彩色が施されている。すなわち、第2
図に示した例は、指関節に彩色を施したものであり、こ
の場合には指関節に20個のパラメータJ1〜J20が設定可
能である。また、第3図に示した例は、指接骨に彩色を
施したものであり、指接骨に16個のパラメータC1〜C16
が設定可能である。
テレビカメラ1,2によって手袋の彩色が撮影される
と、その出力が色抽出装置3に与えられる。色抽出装置
3は手袋に彩色された色を抽出し、その色信号を常態測
定装置4に与える。状態測定装置4は抽出された色信号
に基づいて、指が伸びているかあるいは曲げられている
などの状態を測定する。そして、その測定信号は照合装
置5に与えられ、測定された指の状態と手話パターン格
納装置6に予め格納されている手話パターンとが比較さ
れ、適合する手話パターンを示す信号が手話変換装置7
に与えられる。手話変換装置7はたとえばプリンタある
いは音声発生装置によって構成され、認識された指文字
に対応する文章がプリンタによって印字されるかあるい
は対応する音声が音声発生装置から発音される。
一方、図示しないキーボードから文字情報が言語変換
装置8に入力されるかあるいは図示しない音声認識装置
によって認識された音声情報が言語変換装置8に入力さ
れる。言語変換装置8は入力された文章情報または音声
情報をコードに変換し、検索装置9に与える。検索装置
9はそのコードに基づいて、手話パターン格納装置6を
検索し、対応する形状パターンを読出して手形状表示装
置10に与える。手形状表示装置10はたとえばCRTディス
プレイまたは手形状のロボットによって構成されてお
り、CRTディスプレイに手形状を静止画やアニメーショ
ン技術で表示したり、ロボットで実際の指と同じ動きを
させる。
第4図は手話の指文字パターン化を説明するための図
であり、第5図および第6図は手話の指文字パターン化
に用いる手の部位の名前づけの一例を示す図であり、第
7A図および第7B図は手話の指文字のパターン情報の一例
を示す図であり、第8図および第9図はこの発明の一実
施例の動作を説明するためのフロー図である。
次に、第1図ないし第9図を参照して、この発明の一
実施例の具体的な動作について説明する。第4図に示す
ように、テレビカメラ1,2によって右手がそれぞれ異な
る角度で撮影され、その撮影出力1a,2aが色抽出装置3
に与えられる。色抽出装置3は手袋に施されている各色
を抽出し、たとえば人差指の第1,第2,第3節骨の位置に
彩色された色を抽出した像1b,2bを状態測定装置4に与
える。状態測定装置4は各指の状態、すなわち関節の曲
げ,伸びおよび指どうしの接触状態と空間位置を測定す
る。
今、右手の各指関節には、第6図に示すようにR01〜R
44,RWと名前が付けられているものとする。ここで、た
とえば第7A図に示す指文字が“あ”であれば、右手の指
関節R02,R03が伸びており、R12,R13,R22,R23,R32,R33,R
42,R43は曲がっている。第7A図および第7B図に示した指
文字の各関節の伸び,曲がっていることを示す手話パタ
ーンは予め手話パターン格納装置6に格納されている。
したがって、照合装置5は状態測定装置4によって各指
関節R01〜R44,RWの状態が判別されると、手話パターン
格納装置6に格納されている手話パターンに基づいて、
いずれの指文字であるかを判別することができ、判別し
た指文字を示すコード信号を手話変換装置7に与える。
そして、手話変換装置7によって認識された指文字を示
す文章または音声が出力される。
なお、第8図に示すように、状態測定装置4によって
各指の状態が測定されたとき、照合装置5は前の測定時
と異なる状態であるか否かを判別する。前の測定時と異
なっていない状態であれば、動きのある文字または濁音
などとして認識する。すなわち、たとえば指文字の
“の",“も",“り”などは第7B図に示すように、動きの
ある文字として認識される。しかし、前の測定時とは異
なる状態であることを判別したときには、新たな指文字
であると認識する。なお、“あ”と“た”の指文字は、
指の折曲げは同じであるので、上下および掌の向きで認
識する。
なお、指文字を認識して文章または音声として出力す
る場合に、語単語で変換するではなく、予め手話者と単
語の切れ目に相当する「間」の手振りを設定し、国語辞
書との照合と併用することにより、単語レベルで手振り
を理解することも可能となり、質の良い変換を行なうこ
とができる。
次に、第9図を参照して、入力された文章または音声
を手話に変換する手話言語変換装置の動作について説明
する。図示しないキーボードから文字を入力するかある
いは図示しない音声認識装置に音声を入力すると、言語
変換装置8は入力された文字あるいは音声に基づいて、
文字コードに変換して検索装置9に与える。検索装置9
は手話パターン格納装置6を検索し、文字コードに対応
する手形状パラメータを読出す。そして、読出した手形
状パラメータを手形状表示装置10に与える。手形状表示
装置10はその手形状パラメータに基づいて、対応するコ
ードを静止画やアニメーション技術などによって表示す
る。
[発明の効果] 以上のように、この発明によれば、センサを用いるこ
となく、手袋に彩色された色を影響して手の動作を認識
するようにしたので、自然な手の動きの測定が不特定な
対象に対して可能にすることができ、工場において対象
の位置決め装置に適用できる。また、指文字のパターン
を予め記憶しておき、認識された手の動作に対応する指
文字のパターンと照合すれば、認識した指文字を音声等
によって発音させることができ、入力された音声に基づ
いて、指文字の形状を表示したりすることも可能とな
る。
【図面の簡単な説明】
第1図はこの発明の一実施例の概略ブロック図である。
第2図および第3図は右手に対する手袋の彩色方法を示
す図である。第4図は手話の指文字パターン化を説明す
るための図である。第5図および第6図は手話の指文字
パターン化に用いる手の部位の名前づけの一例を示す図
である。第7A図および第7B図は手話の指文字のパターン
情報の一例を示す図である。第8図および第9図はこの
発明の一実施例の動作を説明するためのフロー図であ
る。 図において、1,2はテレビカメラ、3は色抽出装置、4
は状態測定装置、5は照合装置、6は手話パターン格納
装置、7は手話変換装置、8は言語変換装置、9は検索
装置、1は手形状表示装置を示す。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−38478(JP,A) 特開 昭48−46956(JP,A) 特開 昭63−172297(JP,A) 特開 昭62−231981(JP,A) 特公 昭61−20887(JP,B2) (58)調査した分野(Int.Cl.6,DB名) G06T 1/00 G09B 21/00 JICSTファイル(JOIS)

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】手話における指文字を認識してその指文字
    を表わす情報に変換する手話言語変換装置であって、 指関節を識別するために複数の異なる色が彩色された手
    袋、 前記手袋に彩色された複数の異なる色を撮影するための
    撮影手段、 前記撮影手段によって撮影されている前記手袋に彩色さ
    れている各色の対応する色情報を抽出して、指の動きを
    認識するための手動作認識手段、 手話のための指文字のパターンを記憶する記憶手段、お
    よび 前記手動作認識手段によって認識された指の動きと前記
    記憶手段に記憶されている指文字のパターンとを比較し
    て、照合された指文字を表わす情報を出力する比較照合
    手段を備えた、手話言語変換装置。
  2. 【請求項2】さらに、前記音声情報を入力するための入
    力手段、 前記入力手段から入力された音声情報を認識し、認識し
    た音声情報に対応する指文字のパターンを前記記憶手段
    から読出して出力する出力制御手段、および 前記出力制御手段から出力された指文字のパターンまた
    は前記比較照合手段によって照合された指文字を表わす
    情報に基づいて、指文字のパターンを表示する表示手段
    を備えた、請求項1に記載の手話言語変換装置。
  3. 【請求項3】さらに前記比較照合手段から出力された指
    文字を表わす情報を音声で出力する音声出力手段を備え
    た、請求項1に記載の手話言語変換装置。
JP63298581A 1988-11-25 1988-11-25 手話言語変換装置 Expired - Lifetime JP2779448B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63298581A JP2779448B2 (ja) 1988-11-25 1988-11-25 手話言語変換装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63298581A JP2779448B2 (ja) 1988-11-25 1988-11-25 手話言語変換装置

Publications (2)

Publication Number Publication Date
JPH02144675A JPH02144675A (ja) 1990-06-04
JP2779448B2 true JP2779448B2 (ja) 1998-07-23

Family

ID=17861595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63298581A Expired - Lifetime JP2779448B2 (ja) 1988-11-25 1988-11-25 手話言語変換装置

Country Status (1)

Country Link
JP (1) JP2779448B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180095184A (ko) * 2017-02-17 2018-08-27 주식회사 퓨쳐캐스트 컬러 인식 문자 정보 전송 시스템

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04123122A (ja) * 1990-09-13 1992-04-23 Sony Corp 入力装置
JP3235622B2 (ja) * 1991-08-05 2001-12-04 株式会社安川電機 手話装置
JP3289304B2 (ja) * 1992-03-10 2002-06-04 株式会社日立製作所 手話変換装置および方法
US5887069A (en) * 1992-03-10 1999-03-23 Hitachi, Ltd. Sign recognition apparatus and method and sign translation system using same
JP3346799B2 (ja) * 1992-08-24 2002-11-18 株式会社日立製作所 手話通訳装置
US5699441A (en) * 1992-03-10 1997-12-16 Hitachi, Ltd. Continuous sign-language recognition apparatus and input apparatus
JP3435175B2 (ja) * 1992-09-03 2003-08-11 株式会社日立製作所 手話学習装置
JP3338992B2 (ja) * 1992-10-29 2002-10-28 株式会社日立製作所 手話/単語変換システム
US7064749B1 (en) 1992-11-09 2006-06-20 Adc Technology Inc. Portable communicator
JPH06176156A (ja) * 1992-12-02 1994-06-24 Agency Of Ind Science & Technol 動画像の特徴抽出方法
US5659764A (en) * 1993-02-25 1997-08-19 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
JPH0757103A (ja) * 1993-08-23 1995-03-03 Toshiba Corp 情報処理装置
JPH07282235A (ja) * 1994-04-15 1995-10-27 Matsushita Electric Ind Co Ltd 動作認識装置
JPH08115408A (ja) * 1994-10-19 1996-05-07 Hitachi Ltd 手話認識装置
JP3440644B2 (ja) * 1995-01-31 2003-08-25 松下電器産業株式会社 手動作認識装置
JP3440641B2 (ja) * 1995-07-26 2003-08-25 松下電器産業株式会社 動作開始位置検出方法
JPH11308513A (ja) * 1998-04-17 1999-11-05 Casio Comput Co Ltd 画像再生装置及び画像再生方法
TW200417228A (en) * 2002-09-17 2004-09-01 Ginganet Corp Sign language image presentation apparatus, sign language image input/output apparatus, and system for sign language translation
TW200405988A (en) * 2002-09-17 2004-04-16 Ginganet Corp System and method for sign language translation
TWI276357B (en) * 2002-09-17 2007-03-11 Ginganet Corp Image input apparatus for sign language talk, image input/output apparatus for sign language talk, and system for sign language translation
JP4677938B2 (ja) * 2006-03-23 2011-04-27 富士通株式会社 情報処理装置、ユニバーサル通信方法及びユニバーサル通信プログラム
JP5442381B2 (ja) * 2009-09-30 2014-03-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 医用画像撮影システム
JP5536510B2 (ja) * 2010-03-31 2014-07-02 株式会社バンダイナムコゲームス プログラム及び画像生成システム
KR101792866B1 (ko) 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
JP5846552B2 (ja) * 2011-06-03 2016-01-20 国立大学法人九州工業大学 手話認識方法及びその装置
CN105615070A (zh) * 2014-11-04 2016-06-01 广西北海利博盛安全用品有限公司 手型尺寸取得及手套制造的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4846956A (ja) * 1971-10-14 1973-07-04
JPS62231981A (ja) * 1986-04-01 1987-10-12 株式会社ジャパンアート 聴力障害者の為の画像表現方法
JPH0741086B2 (ja) * 1986-08-01 1995-05-10 日本フア−ネス工業株式会社 運動動作解析装置
JPS63172297A (ja) * 1987-01-12 1988-07-15 東洋通信機株式会社 手話装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180095184A (ko) * 2017-02-17 2018-08-27 주식회사 퓨쳐캐스트 컬러 인식 문자 정보 전송 시스템
KR101958649B1 (ko) * 2017-02-17 2019-03-15 주식회사 퓨쳐캐스트 컬러 인식 문자 정보 전송 시스템

Also Published As

Publication number Publication date
JPH02144675A (ja) 1990-06-04

Similar Documents

Publication Publication Date Title
JP2779448B2 (ja) 手話言語変換装置
CN108665492B (zh) 一种基于虚拟人的舞蹈教学数据处理方法及系统
US5953693A (en) Sign language generation apparatus and sign language translation apparatus
US10446059B2 (en) Hand motion interpretation and communication apparatus
CN105868715B (zh) 一种手势识别方法、装置及手势学习系统
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
US20100023314A1 (en) ASL Glove with 3-Axis Accelerometers
CN1745404B (zh) 三维模型的互动教学装置
EP1351209A2 (en) Sign language education system and program therefor
CN110555426A (zh) 视线检测方法、装置、设备及存储介质
Masood et al. Dynamic time wrapping based gesture recognition
Aditya et al. Recent trends in HCI: A survey on data glove, LEAP motion and microsoft kinect
Punsara et al. IoT Based Sign Language Recognition System
CN109800645A (zh) 一种动作捕捉系统及其方法
JP2005091085A (ja) 非接触型関節角度計測システム
Sagawa et al. Pattern recognition and synthesis for a sign language translation system
Rozaliev et al. Detailed analysis of postures and gestures for the identification of human emotional reactions
US20220375362A1 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
Abdallah et al. An overview of gesture recognition
Nolker et al. Illumination independent recognition of deictic arm postures
WO2017213307A1 (ko) Nui/nux에 기반하여 디지털 영상을 처리하는 장치 및 방법
JP2781743B2 (ja) 手話翻訳装置
Nguyen et al. Automatic generation of a 3D sign language avatar on AR glasses given 2D videos of human signers
Suenaga et al. Human reader: An advanced man‐machine interface based on human images and speech
Gibet et al. Corpus of 3D natural movements and sign language primitives of movement