JP3179636B2 - 手話合成装置 - Google Patents

手話合成装置

Info

Publication number
JP3179636B2
JP3179636B2 JP23611993A JP23611993A JP3179636B2 JP 3179636 B2 JP3179636 B2 JP 3179636B2 JP 23611993 A JP23611993 A JP 23611993A JP 23611993 A JP23611993 A JP 23611993A JP 3179636 B2 JP3179636 B2 JP 3179636B2
Authority
JP
Japan
Prior art keywords
sign language
speed
word
hand
language word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23611993A
Other languages
English (en)
Other versions
JPH0792904A (ja
Inventor
栄二 大平
朝子 崎山
浩彦 佐川
優 大木
洋一 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP23611993A priority Critical patent/JP3179636B2/ja
Publication of JPH0792904A publication Critical patent/JPH0792904A/ja
Priority to US08/664,803 priority patent/US5734923A/en
Application granted granted Critical
Publication of JP3179636B2 publication Critical patent/JP3179636B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、機械等の操作や施設の
案内を手話により行なう装置における手話合成装置に関
する。
【0002】
【従来の技術】手話は、聴覚障害者にとって自然で、理
解しやすい言語である。このため、装置の操作法などの
案内も手話により行なうことが望ましい。従来、手話の
合成には、カメラで録画したものをそのまま用いる方法
とコンピュータグラフィックスにより生成されたアニメ
ーションで手話を生成する方式がある。このうち、前者
の方法は、録画したものをそのまま用いるので、明瞭性
や自然さに優れている。しかし、表示できる手話は、録
画されたものに限定され、任意の語彙を生成できない。
また、録画されていない手話を新たに追加しようとした
とき、現在の手話を収録したときの手話を行なった人が
いなくなってしまうことがある。ここで、違う人の手話
を追加することは、異なった人の手話が混在することに
なり、不自然である。このため、初めから全部を作り直
すことが生じる。
【0003】後者のアニメーションによる方式は、上記
の問題を解決できる。しかしながら、合成される手話の
自然性や正確さ、明瞭性において劣ってしまう欠点があ
る。自然性や正確さを向上させる方式として、例えば、
特願平5−36346号がある。この方式は、予め手話
単語の手形状や手の位置や向きなどの動作パターンのデ
ータをセンサから取り込んで格納し、このデータに基づ
いてアニメーションを動かす。格納されたデータは、人
が実際に手話を演じたデータであるため、アニメーショ
ンを人が実際に演じたように動作させることが可能とな
り、自然な手話を合成できる。
【0004】
【発明が解決しようとする課題】上記従来技術では、手
話単語内では、自然で正確な手話を生成できる。しか
し、手話単語間の手の移動であるわたり部分に関して
は、考慮されていなかった。
【0005】しかし、わたり部分の動作が不自然である
と、手話全体が不自然に感じられるのみならず、違った
意味になってしまう場合も少なくない。すなわち、誤解
を与えたり、誤った情報を伝えてしまう場合が生じる問
題がある。
【0006】本発明の目的は、手話における、自然なわ
たりの動作を生成することにある。これにより、自然で
正確な手話を実現できる。
【0007】
【課題を解決するための手段】予め手話単語の手形状や
手の位置や向きなどの動作パターンのデータをセンサか
ら取り込み、手話単語辞書に格納する。そして、この格
納された手話単語のデータを接続して手話を合成する。
この接続において、単語間の移動動作であるわたり区間
を生成するため、生成するわたりの前の手話単語の終点
と、わたりに後続する手話単語の始点における手形状や
手の位置などの情報に基づいて、わたりの手の手形状や
向きおよび持続時間や移動速度を決定する。
【0008】生成するわたりの動作速度は、わたり前の
手話単語の終点の動作速度を初速度として速度を上昇さ
せた後、わたりに後続する手話単語の始点の動作速度ま
で速度を減少させる動作速度の変化パターンにより決定
する。
【0009】わたりの持続時間ならびに動作速度は、生
成するわたりの前の手話単語の終端と、わたりに後続す
る手話単語の始点との距離に基づいて決定する。
【0010】わたりの区間の手の形状や向きは、手の向
きに関する角度や指の曲げ角度の線形補間をすることに
より補間する。
【0011】
【作用】動作速度は、わたり前の手話単語の終点の動作
速度を初速度とし、わたりに後続する手話単語の始点の
動作速度を終点の速度として変化させるため、動作速度
の不連続は生じない。同様に、手の形状や向きも角度の
線形補間であるため、変化の不連続は生じない。
【0012】
【実施例】以下、本発明の一実施例を図1を用いて説明
する。図1は、本発明を日本語を手話に変換する手話合
成装置に適用した場合の一実施例の構成図である。本装
置において、手話は、予め装置内に登録した手話単語の
動作パターンを接続することにより生成する。図におい
て、1は、人が演じた手話の動作パターンを入力するセ
ンサであり、例えば、1/30秒毎に、手の動作の特徴
として、手の位置、向きおよび指の曲がり角度を検出す
る。2は、センサ1を通じて入力される手話単語の動作
パターンを格納するための手話単語辞書、3は、キーボ
ード(図示しない)などから入力される日本語を手話の
単語列に変換する日本語・手話変換部、4は、日本語・
手話変換部3から入力される手話の単語列に基づいて、
手話単語辞書2から該当する手話単語の動作パターンを
読みだす単語パターン検出部、5は、読みだされた手話
単語間の動作(以下わたり区間と呼ぶ)を生成する補間
処理部、6は、得られた手話パターンに基づいて、コン
ピュータグラフィックスによるアニメーションを動作さ
せて手話を表示する手話画像生成部である。ここで、セ
ンサ1としては、例えば、データグローブ(VPL R
esearch社製)を用いることにより実現可能であ
る。
【0013】以下、まず認識の基本的な処理について説
明する。認識に先立って、まず装置に認識したい手話の
単語を手話単語辞書2に登録する。例えば、センサ1か
らは次の手話の動作の特徴が1/30秒毎に求められ
る。
【0014】手の位置(x:X座標、y:Y座標、z:
Z座標),手の向き(ang1:上下、ang2:左
右、ang3:回転)、ならびに各指の第1、2関節の
曲がり角度(fang)である。以下、この1/30秒
単位をフレームと呼ぶ。
【0015】日本語・手話変換部3において、日本語の
解析は、既存の形態素、構文、意味解析を用いて実現可
能である。また、手話単語への変換は、日本語と手話の
単語の対応表を作っておくことにより対応可能である。
日本語・手話変換部3は、次の手話単語列Wを出力す
る。
【0016】
【数1】W=(w0,w1,w2,・・・,wn) ここで、wiは、i先頭から番目の単語である。
【0017】上述した手話単語辞書2に登録された手話
の動作パタンに基づいてアニメーションを動作させる手
話画像生成部6は、例えば、従来の特願平5−3634
6号記載の方法により実現可能である。このようにし
て、日本語を対応する手話に変換して、手話をアニメー
ション表示できる。しかし、単語内は、登録された手話
の動作パタンに基づいて生成されるため、自然で正確な
手話を生成できるが、手話単語間のわたりの動作は、前
後の単語によって変化する。このため、状況に応じて生
成する必要がある。このわたり動作が不自然であれば、
手話全体が不自然となるのみでなく、理解できない手話
となってしまうこともある。以下に、このわたりの動作
を生成する補間処理部5について説明する。
【0018】補間処理に先立ち、単語パターン検出部4
は、日本語・手話変換部3から送られてくる手話単語列
Wに基づいて、手話単語辞書2から手話単語の動作パタ
ンを読みだす。さらに、各単語の始終点の速度vs,v
eならびに、隣接単語間の距離Dを求める。例えば、単
語wiのフレーム長をmとすると、単語wiの終点の速
度veは次のように求めることができる。
【0019】
【数2】ve=30*√Xe Xe={(xi(m)−xi(m−1))2+(yi
(m)−yi(m−1))2+(zi(m)−zi(m
−1))2} ここで、xi(m),yi(m),zi(m)は、それ
ぞれ、単語wiのmフレームにおけるX座標、Y座標、
Z座標位置である。同様に、単語wiの始点の速度vs
は次のように求めることができる。
【0020】
【数3】vs=30*√Xs Xs={(xi(1)−xi(0))2+(yi(1)
−yi(0))2+(zi(1)−zi(0))2} また、隣接する単語(wi,wi+1)間の距離Di
は、次のように求めることができる。
【0021】
【数4】Di=√{(xi(m)−xi+1(0))2
+(yi(m)−yi+1(0))2+(zi(m)−
zi+1(0))2} さて、手話のわたりにおいて、その動作は、一般に、速
度の上昇−減衰のパターンを示す。このため、わたりに
おける動作速度は、例えば、図2のように制御する。す
なわち、隣接単語(wi,wi+1)の間のわたりの区
間の速度は、単語wiの終端の速度veを初期速度とし
て、わたりの中心位置で最高速度vmaxまで上昇し、
その後、後続の単語wi+1の始点の速度vsで終了す
る等加速度運動により近似する。
【0022】図2の動作をさせるためには、わたりの持
続時間Δtと最高速度vmaxを決定する必要がある。
補間処理部5における手順を図3に示す。
【0023】まず、ステップ51でわたりの持続時間を
決定する。手話では、わたりの持続時間は、一定に保た
れる傾向にある。このため、隣接する単語(wi,wi
+1)間の距離Dに基づいて、持続時間Δtを400m
secか600msecのどちらかに設定する。距離D
が一定しきい値より短ければ、400msec、長けれ
ば600msecである。また、右手と左手により持続
時間Δtが異なるときは、長い方(ここでは、600m
sec)を選択する。
【0024】つぎに、ステップ52では、最高速度vm
axを計算し求める。まず、わたりでは手が直線的に動
くと仮定すると、図2の斜線で示した面積が、隣接する
単語(wi,wi+1)間の距離Dとなる。これと、求
められた持続時間Δtおよび、単語wiの終端の速度v
eと後続の単語wi+1の始点の速度vsから次のよう
に求められる。
【0025】
【数5】vmax=2*D/Δt−(vs+ve)/2 ステップ53では、この関数にしたがって、わたりの各
フレームごとの手の位置の座標を計算し求める。
【0026】ステップ54では、手の向きや指の曲げ角
の補間を行なう。例えば、角度の線形補間を行なう。す
なわち、持続時間Δtが決まるので、単語wiの終端の
角度をange、後続の単語wi+1の始点の角度をa
ngsとすると、わたりの中間位置の角度は、(ang
e+angs)/2と求めることができる。以上の補間
により、自然でかつ正確な手話の生成が可能となる。
【0027】
【発明の効果】本発明によれば、自然でかつ正確な任意
の手話の文を生成可能な手話合成装置を提供できる。
【図面の簡単な説明】
【図1】本発明の一実施例の手話合成装置の構成を示す
図である。
【図2】生成する手話のわたりにおける動作速度の変化
パターンを示す図である。
【図3】補間処理部の処理を示す図である。
【符号の説明】
1‥センサ、2‥手話単語辞書、3‥日本語・手話変換
部、4‥単語パターン検出部、5‥補間処理部、6‥手
話画像生成部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大木 優 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 金子 洋一 東京都小平市上水本町5丁目20番1号 日立超エル・エス・アイ・エンジニアリ ング株式会社内 (56)参考文献 アニメーションによる日本語手話表現 に関する基礎的検討 寺内美奈 長嶋祐 二 三原浩樹 長嶋秀世 大和玄一 情 報処理学会研究報告 Vol.92,N o.15,P.49〜54 92−HI−41(ヒ ューマンインタフェース 41−7)社団 法人情報処理学会発行 1992年3月2日 発行 知的通信方式手話画像伝送のための手 話画像生成システム 棚橋真 除軍 青 木由直 テレビジョン学会技術報告(情 報ディスプレイ 無線・光伝送 画像通 信システム 画像応用)Vol.17,N o.8,P.25〜30 社団法人テレビジ ョン学会発行 1993年1月28日公知 (58)調査した分野(Int.Cl.7,DB名) G06T 13/00 G09B 21/00 特許ファイル(PATOLIS) JICSTファイル(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】予め手話単語の手形状や手の位置や向きな
    どの動作パターンのデータをセンサから取り込み格納す
    る手段と、この格納された手話単語のデータを接続して
    手話を合成する手段とを有する手話合成装置において、 単語間の移動動作であるわたり区間を生成するため、生
    成するわたりの前の手話単語の終点と、わたりに後続す
    る手話単語の始点における手の情報に基づいて、わたり
    の手の手形状や向きおよび持続時間や動作速度を決定す
    る手段を設け、 わたり前の手話単語の終点の動作速度を初速度として速
    度を上昇させた後、わたりに後続する手話単語の始点の
    動作速度まで速度を減少させる動作速度の変化パターン
    により前記動作速度を決定する ことを特徴とする手話合
    成装置。
JP23611993A 1993-09-22 1993-09-22 手話合成装置 Expired - Fee Related JP3179636B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23611993A JP3179636B2 (ja) 1993-09-22 1993-09-22 手話合成装置
US08/664,803 US5734923A (en) 1993-09-22 1996-06-17 Apparatus for interactively editing and outputting sign language information using graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23611993A JP3179636B2 (ja) 1993-09-22 1993-09-22 手話合成装置

Publications (2)

Publication Number Publication Date
JPH0792904A JPH0792904A (ja) 1995-04-07
JP3179636B2 true JP3179636B2 (ja) 2001-06-25

Family

ID=16996031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23611993A Expired - Fee Related JP3179636B2 (ja) 1993-09-22 1993-09-22 手話合成装置

Country Status (1)

Country Link
JP (1) JP3179636B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4492299B2 (ja) * 2004-11-01 2010-06-30 沖電気工業株式会社 映像装置、映像表示方法及びプログラム
JP2011175598A (ja) * 2010-02-25 2011-09-08 Nippon Hoso Kyokai <Nhk> 手話アニメーション生成装置及び手話アニメーション生成プログラム
JP5607012B2 (ja) * 2011-11-04 2014-10-15 本田技研工業株式会社 手話動作生成装置及びコミュニケーションロボット
KR101869304B1 (ko) * 2016-10-21 2018-06-20 주식회사 네오펙트 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
アニメーションによる日本語手話表現に関する基礎的検討 寺内美奈 長嶋祐二 三原浩樹 長嶋秀世 大和玄一 情報処理学会研究報告 Vol.92,No.15,P.49〜54 92−HI−41(ヒューマンインタフェース 41−7)社団法人情報処理学会発行 1992年3月2日発行
知的通信方式手話画像伝送のための手話画像生成システム 棚橋真 除軍 青木由直 テレビジョン学会技術報告(情報ディスプレイ 無線・光伝送 画像通信システム 画像応用)Vol.17,No.8,P.25〜30 社団法人テレビジョン学会発行 1993年1月28日公知

Also Published As

Publication number Publication date
JPH0792904A (ja) 1995-04-07

Similar Documents

Publication Publication Date Title
US5659764A (en) Sign language generation apparatus and sign language translation apparatus
US9431027B2 (en) Synchronized gesture and speech production for humanoid robots using random numbers
US5734923A (en) Apparatus for interactively editing and outputting sign language information using graphical user interface
US5990878A (en) Sign language editing apparatus
TW571290B (en) Computer-implemented speech recognition system training
US20020024519A1 (en) System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character
US6208356B1 (en) Image synthesis
US20030214524A1 (en) Control apparatus and method by gesture recognition and recording medium therefor
CN101201718A (zh) 可听计算机用户界面方法和装置
EP0890168B1 (en) Image synthesis
JP6424050B2 (ja) 多関節骨格モデル処理装置及びプログラム
JP3179636B2 (ja) 手話合成装置
JP3169727B2 (ja) 手話生成装置
JP3340581B2 (ja) テキスト読み上げ装置及びウインドウシステム
Pausch et al. Tailor: creating custom user interfaces based on gesture
JP2003173452A (ja) 動作制御装置、方法及びプログラム
JP3175474B2 (ja) 手話生成装置
JP2000089660A (ja) 手話学習支援装置および手話学習支援プログラムを記録した記録媒体
JPH1166346A (ja) アニメーション作成装置および記録媒体
JP4097819B2 (ja) 波形表示装置
JPH0981352A (ja) 人物像表示によるユーザインタフェース方法とその装置
JPH03172890A (ja) 表示画面への段付けガイドラインの表示回路
JP4028115B2 (ja) 波形表示装置
JP2023044151A (ja) モーション作成装置、モーション作成方法及びモーション作成プログラム
JPH04286000A (ja) 音声制御情報の入力方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080413

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090413

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090413

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100413

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees