JPH0792904A - 手話合成装置 - Google Patents

手話合成装置

Info

Publication number
JPH0792904A
JPH0792904A JP23611993A JP23611993A JPH0792904A JP H0792904 A JPH0792904 A JP H0792904A JP 23611993 A JP23611993 A JP 23611993A JP 23611993 A JP23611993 A JP 23611993A JP H0792904 A JPH0792904 A JP H0792904A
Authority
JP
Japan
Prior art keywords
sign language
speed
word
crossing
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP23611993A
Other languages
English (en)
Other versions
JP3179636B2 (ja
Inventor
Eiji Ohira
栄二 大平
Asako Sakiyama
朝子 崎山
Hirohiko Sagawa
浩彦 佐川
Masaru Oki
優 大木
Yoichi Kaneko
洋一 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP23611993A priority Critical patent/JP3179636B2/ja
Publication of JPH0792904A publication Critical patent/JPH0792904A/ja
Priority to US08/664,803 priority patent/US5734923A/en
Application granted granted Critical
Publication of JP3179636B2 publication Critical patent/JP3179636B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【目的】 予め単語単位で格納されている手話の動作パ
ターンを接続して手話を生成する手話合成装置におい
て、自然でスムーズな手話単語間のわたりの動作を自動
的に生成することを目的とする。 【構成】 単語パターン検出部4は、入力される単語列
に対応する手話単語の動作パターンを手話単語辞書2か
ら読みだすとともに、各手話単語の始終点の手の速度や
隣接する単語間の距離を求める。補間処理部5は、単語
間の距離に基づいて、わたりの持続時間や手の速度およ
び手の形状、向きの変化を計算する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、機械等の操作や施設の
案内を手話により行なう装置における手話合成装置に関
する。
【0002】
【従来の技術】手話は、聴覚障害者にとって自然で、理
解しやすい言語である。このため、装置の操作法などの
案内も手話により行なうことが望ましい。従来、手話の
合成には、カメラで録画したものをそのまま用いる方法
とコンピュータグラフィックスにより生成されたアニメ
ーションで手話を生成する方式がある。このうち、前者
の方法は、録画したものをそのまま用いるので、明瞭性
や自然さに優れている。しかし、表示できる手話は、録
画されたものに限定され、任意の語彙を生成できない。
また、録画されていない手話を新たに追加しようとした
とき、現在の手話を収録したときの手話を行なった人が
いなくなってしまうことがある。ここで、違う人の手話
を追加することは、異なった人の手話が混在することに
なり、不自然である。このため、初めから全部を作り直
すことが生じる。
【0003】後者のアニメーションによる方式は、上記
の問題を解決できる。しかしながら、合成される手話の
自然性や正確さ、明瞭性において劣ってしまう欠点があ
る。自然性や正確さを向上させる方式として、例えば、
特願平5−36346号がある。この方式は、予め手話
単語の手形状や手の位置や向きなどの動作パターンのデ
ータをセンサから取り込んで格納し、このデータに基づ
いてアニメーションを動かす。格納されたデータは、人
が実際に手話を演じたデータであるため、アニメーショ
ンを人が実際に演じたように動作させることが可能とな
り、自然な手話を合成できる。
【0004】
【発明が解決しようとする課題】上記従来技術では、手
話単語内では、自然で正確な手話を生成できる。しか
し、手話単語間の手の移動であるわたり部分に関して
は、考慮されていなかった。
【0005】しかし、わたり部分の動作が不自然である
と、手話全体が不自然に感じられるのみならず、違った
意味になってしまう場合も少なくない。すなわち、誤解
を与えたり、誤った情報を伝えてしまう場合が生じる問
題がある。
【0006】本発明の目的は、手話における、自然なわ
たりの動作を生成することにある。これにより、自然で
正確な手話を実現できる。
【0007】
【課題を解決するための手段】予め手話単語の手形状や
手の位置や向きなどの動作パターンのデータをセンサか
ら取り込み、手話単語辞書に格納する。そして、この格
納された手話単語のデータを接続して手話を合成する。
この接続において、単語間の移動動作であるわたり区間
を生成するため、生成するわたりの前の手話単語の終点
と、わたりに後続する手話単語の始点における手形状や
手の位置などの情報に基づいて、わたりの手の手形状や
向きおよび持続時間や移動速度を決定する。
【0008】生成するわたりの動作速度は、わたり前の
手話単語の終点の動作速度を初速度として速度を上昇さ
せた後、わたりに後続する手話単語の始点の動作速度ま
で速度を減少させる動作速度の変化パターンにより決定
する。
【0009】わたりの持続時間ならびに動作速度は、生
成するわたりの前の手話単語の終端と、わたりに後続す
る手話単語の始点との距離に基づいて決定する。
【0010】わたりの区間の手の形状や向きは、手の向
きに関する角度や指の曲げ角度の線形補間をすることに
より補間する。
【0011】
【作用】動作速度は、わたり前の手話単語の終点の動作
速度を初速度とし、わたりに後続する手話単語の始点の
動作速度を終点の速度として変化させるため、動作速度
の不連続は生じない。同様に、手の形状や向きも角度の
線形補間であるため、変化の不連続は生じない。
【0012】
【実施例】以下、本発明の一実施例を図1を用いて説明
する。図1は、本発明を日本語を手話に変換する手話合
成装置に適用した場合の一実施例の構成図である。本装
置において、手話は、予め装置内に登録した手話単語の
動作パターンを接続することにより生成する。図におい
て、1は、人が演じた手話の動作パターンを入力するセ
ンサであり、例えば、1/30秒毎に、手の動作の特徴
として、手の位置、向きおよび指の曲がり角度を検出す
る。2は、センサ1を通じて入力される手話単語の動作
パターンを格納するための手話単語辞書、3は、キーボ
ード(図示しない)などから入力される日本語を手話の
単語列に変換する日本語・手話変換部、4は、日本語・
手話変換部3から入力される手話の単語列に基づいて、
手話単語辞書2から該当する手話単語の動作パターンを
読みだす単語パターン検出部、5は、読みだされた手話
単語間の動作(以下わたり区間と呼ぶ)を生成する補間
処理部、6は、得られた手話パターンに基づいて、コン
ピュータグラフィックスによるアニメーションを動作さ
せて手話を表示する手話画像生成部である。ここで、セ
ンサ1としては、例えば、データグローブ(VPL R
esearch社製)を用いることにより実現可能であ
る。
【0013】以下、まず認識の基本的な処理について説
明する。認識に先立って、まず装置に認識したい手話の
単語を手話単語辞書2に登録する。例えば、センサ1か
らは次の手話の動作の特徴が1/30秒毎に求められ
る。
【0014】手の位置(x:X座標、y:Y座標、z:
Z座標),手の向き(ang1:上下、ang2:左
右、ang3:回転)、ならびに各指の第1、2関節の
曲がり角度(fang)である。以下、この1/30秒
単位をフレームと呼ぶ。
【0015】日本語・手話変換部3において、日本語の
解析は、既存の形態素、構文、意味解析を用いて実現可
能である。また、手話単語への変換は、日本語と手話の
単語の対応表を作っておくことにより対応可能である。
日本語・手話変換部3は、次の手話単語列Wを出力す
る。
【0016】
【数1】W=(w0,w1,w2,・・・,wn) ここで、wiは、i先頭から番目の単語である。
【0017】上述した手話単語辞書2に登録された手話
の動作パタンに基づいてアニメーションを動作させる手
話画像生成部6は、例えば、従来の特願平5−3634
6号記載の方法により実現可能である。このようにし
て、日本語を対応する手話に変換して、手話をアニメー
ション表示できる。しかし、単語内は、登録された手話
の動作パタンに基づいて生成されるため、自然で正確な
手話を生成できるが、手話単語間のわたりの動作は、前
後の単語によって変化する。このため、状況に応じて生
成する必要がある。このわたり動作が不自然であれば、
手話全体が不自然となるのみでなく、理解できない手話
となってしまうこともある。以下に、このわたりの動作
を生成する補間処理部5について説明する。
【0018】補間処理に先立ち、単語パターン検出部4
は、日本語・手話変換部3から送られてくる手話単語列
Wに基づいて、手話単語辞書2から手話単語の動作パタ
ンを読みだす。さらに、各単語の始終点の速度vs,v
eならびに、隣接単語間の距離Dを求める。例えば、単
語wiのフレーム長をmとすると、単語wiの終点の速
度veは次のように求めることができる。
【0019】
【数2】ve=30*√Xe Xe={(xi(m)−xi(m−1))2+(yi
(m)−yi(m−1))2+(zi(m)−zi(m
−1))2} ここで、xi(m),yi(m),zi(m)は、それ
ぞれ、単語wiのmフレームにおけるX座標、Y座標、
Z座標位置である。同様に、単語wiの始点の速度vs
は次のように求めることができる。
【0020】
【数3】vs=30*√Xs Xs={(xi(1)−xi(0))2+(yi(1)
−yi(0))2+(zi(1)−zi(0))2} また、隣接する単語(wi,wi+1)間の距離Di
は、次のように求めることができる。
【0021】
【数4】Di=√{(xi(m)−xi+1(0))2
+(yi(m)−yi+1(0))2+(zi(m)−
zi+1(0))2} さて、手話のわたりにおいて、その動作は、一般に、速
度の上昇−減衰のパターンを示す。このため、わたりに
おける動作速度は、例えば、図2のように制御する。す
なわち、隣接単語(wi,wi+1)の間のわたりの区
間の速度は、単語wiの終端の速度veを初期速度とし
て、わたりの中心位置で最高速度vmaxまで上昇し、
その後、後続の単語wi+1の始点の速度vsで終了す
る等加速度運動により近似する。
【0022】図2の動作をさせるためには、わたりの持
続時間Δtと最高速度vmaxを決定する必要がある。
補間処理部5における手順を図3に示す。
【0023】まず、ステップ51でわたりの持続時間を
決定する。手話では、わたりの持続時間は、一定に保た
れる傾向にある。このため、隣接する単語(wi,wi
+1)間の距離Dに基づいて、持続時間Δtを400m
secか600msecのどちらかに設定する。距離D
が一定しきい値より短ければ、400msec、長けれ
ば600msecである。また、右手と左手により持続
時間Δtが異なるときは、長い方(ここでは、600m
sec)を選択する。
【0024】つぎに、ステップ52では、最高速度vm
axを計算し求める。まず、わたりでは手が直線的に動
くと仮定すると、図2の斜線で示した面積が、隣接する
単語(wi,wi+1)間の距離Dとなる。これと、求
められた持続時間Δtおよび、単語wiの終端の速度v
eと後続の単語wi+1の始点の速度vsから次のよう
に求められる。
【0025】
【数5】vmax=2*D/Δt−(vs+ve)/2 ステップ53では、この関数にしたがって、わたりの各
フレームごとの手の位置の座標を計算し求める。
【0026】ステップ54では、手の向きや指の曲げ角
の補間を行なう。例えば、角度の線形補間を行なう。す
なわち、持続時間Δtが決まるので、単語wiの終端の
角度をange、後続の単語wi+1の始点の角度をa
ngsとすると、わたりの中間位置の角度は、(ang
e+angs)/2と求めることができる。以上の補間
により、自然でかつ正確な手話の生成が可能となる。
【0027】
【発明の効果】本発明によれば、自然でかつ正確な任意
の手話の文を生成可能な手話合成装置を提供できる。
【図面の簡単な説明】
【図1】本発明の一実施例の手話合成装置の構成を示す
図である。
【図2】生成する手話のわたりにおける動作速度の変化
パターンを示す図である。
【図3】補間処理部の処理を示す図である。
【符号の説明】
1‥センサ、2‥手話単語辞書、3‥日本語・手話変換
部、4‥単語パターン検出部、5‥補間処理部、6‥手
話画像生成部。
フロントページの続き (72)発明者 大木 優 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 金子 洋一 東京都小平市上水本町5丁目20番1号 日 立超エル・エス・アイ・エンジニアリング 株式会社内

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】予め手話単語の手形状や手の位置や向きな
    どの動作パターンのデータをセンサから取り込み、格納
    する手段と、この格納された手話単語のデータを接続し
    て手話を合成する手話合成装置において、単語間の移動
    動作であるわたり区間を生成するため、生成するわたり
    の前の手話単語の終点と、わたりに後続する手話単語の
    始点における手の情報に基づいて、わたりの手の手形状
    や向きおよび持続時間や移動速度を決定する手段を設け
    たことを特徴とする手話合成装置。
  2. 【請求項2】生成するわたりの動作速度として、わたり
    前の手話単語の終点の動作速度を初速度として速度を上
    昇させた後、わたりに後続する手話単語の始点の動作速
    度まで速度を減少させる動作速度の変化パターンにより
    動作速度を決定する手段を設けたことを特徴とする請求
    項第1項記載の手話合成装置。
  3. 【請求項3】生成するわたりの前の手話単語の終端と、
    わたりに後続する手話単語の始点との距離に基づいて、
    わたりの持続時間ならびに動作速度を決定する手段を設
    けたことを特徴とする請求項第1項記載の手話合成装
    置。
  4. 【請求項4】わたりの区間において、手の向きに関する
    角度や指の曲げ角度の線形補間をすることにより、手の
    形状や向きの補間を行なう手段を設けたことを特徴とす
    る請求項第1項記載の手話合成装置。
JP23611993A 1993-09-22 1993-09-22 手話合成装置 Expired - Fee Related JP3179636B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23611993A JP3179636B2 (ja) 1993-09-22 1993-09-22 手話合成装置
US08/664,803 US5734923A (en) 1993-09-22 1996-06-17 Apparatus for interactively editing and outputting sign language information using graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23611993A JP3179636B2 (ja) 1993-09-22 1993-09-22 手話合成装置

Publications (2)

Publication Number Publication Date
JPH0792904A true JPH0792904A (ja) 1995-04-07
JP3179636B2 JP3179636B2 (ja) 2001-06-25

Family

ID=16996031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23611993A Expired - Fee Related JP3179636B2 (ja) 1993-09-22 1993-09-22 手話合成装置

Country Status (1)

Country Link
JP (1) JP3179636B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129376A (ja) * 2004-11-01 2006-05-18 Oki Electric Ind Co Ltd 映像装置、映像表示方法及びプログラム
JP2011175598A (ja) * 2010-02-25 2011-09-08 Nippon Hoso Kyokai <Nhk> 手話アニメーション生成装置及び手話アニメーション生成プログラム
JP2013097339A (ja) * 2011-11-04 2013-05-20 Honda Motor Co Ltd 手話動作生成装置及びコミュニケーションロボット
KR101869304B1 (ko) * 2016-10-21 2018-06-20 주식회사 네오펙트 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129376A (ja) * 2004-11-01 2006-05-18 Oki Electric Ind Co Ltd 映像装置、映像表示方法及びプログラム
JP4492299B2 (ja) * 2004-11-01 2010-06-30 沖電気工業株式会社 映像装置、映像表示方法及びプログラム
JP2011175598A (ja) * 2010-02-25 2011-09-08 Nippon Hoso Kyokai <Nhk> 手話アニメーション生成装置及び手話アニメーション生成プログラム
JP2013097339A (ja) * 2011-11-04 2013-05-20 Honda Motor Co Ltd 手話動作生成装置及びコミュニケーションロボット
KR101869304B1 (ko) * 2016-10-21 2018-06-20 주식회사 네오펙트 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램

Also Published As

Publication number Publication date
JP3179636B2 (ja) 2001-06-25

Similar Documents

Publication Publication Date Title
US5659764A (en) Sign language generation apparatus and sign language translation apparatus
US9431027B2 (en) Synchronized gesture and speech production for humanoid robots using random numbers
US5630017A (en) Advanced tools for speech synchronized animation
US5734923A (en) Apparatus for interactively editing and outputting sign language information using graphical user interface
US5657426A (en) Method and apparatus for producing audio-visual synthetic speech
US5111409A (en) Authoring and use systems for sound synchronized animation
US6208356B1 (en) Image synthesis
US20020024519A1 (en) System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character
JP3125746B2 (ja) 人物像対話装置及び人物像対話プログラムを記録した記録媒体
JPH08315185A (ja) 手話編集装置
JPS63225875A (ja) スピーチ同期アニメーション
JP2000507377A (ja) 画像合成
CN112734889A (zh) 一种2d角色的口型动画实时驱动方法和系统
JPH0792904A (ja) 手話合成装置
Francik et al. Animating sign language in the real time
JP3169727B2 (ja) 手話生成装置
JP3175474B2 (ja) 手話生成装置
JPH10134202A (ja) アニメーション作成装置
JPH11184370A (ja) 手話情報提示装置
JPH09160575A (ja) カラオケ表示装置
JP7201984B2 (ja) アンドロイドのジェスチャ生成装置及びコンピュータプログラム
EP0982684A1 (en) Moving picture generating device and image control network learning device
KR20010088139A (ko) 텍스트 데이터 입력에 대응한 입모양 출력장치 및 그 방법
CN118012272B (zh) 基于语境分析切换虚拟人物动作的方法、系统及存储介质
Chen et al. Text to avatar in multimodal human computer interface

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080413

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090413

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090413

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100413

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees