JPH09274428A - 手話アニメーション生成装置 - Google Patents

手話アニメーション生成装置

Info

Publication number
JPH09274428A
JPH09274428A JP8086247A JP8624796A JPH09274428A JP H09274428 A JPH09274428 A JP H09274428A JP 8086247 A JP8086247 A JP 8086247A JP 8624796 A JP8624796 A JP 8624796A JP H09274428 A JPH09274428 A JP H09274428A
Authority
JP
Japan
Prior art keywords
sign language
animation
data
word
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8086247A
Other languages
English (en)
Other versions
JP3567596B2 (ja
Inventor
Shoji Ikeda
尚司 池田
Masaru Oki
優 大木
Asako Sakiyama
朝子 崎山
Hirohiko Sagawa
浩彦 佐川
Yoichi Kaneko
洋一 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP08624796A priority Critical patent/JP3567596B2/ja
Publication of JPH09274428A publication Critical patent/JPH09274428A/ja
Application granted granted Critical
Publication of JP3567596B2 publication Critical patent/JP3567596B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 本発明の目的は,災害や事故などの緊急時の
情報を手話によって聴覚障害者にもわかりやすく提供す
るため,手話に関する知識を持たない者でも手話アニメ
ーションを作成することを可能とする手話アニメーショ
ン生成装置の実現である。 【解決手段】 文字と音声の他に手話によって聴覚障害
者にもわかりやすく情報を提供する手話アニメーション
生成装置において,よく用いられる手話の文毎に,文を
生成する時でないと決まらない可変部分をもつ手話文テ
ンプレート204を用意し、可変部分に代入する手話単
語を選択する手段と,必要となる手話単語に対するCGデ
ータが用意されていなければ,その見出しの読み仮名か
ら指文字による手話アニメーションを生成する手段を有
することにより,手話を知らない人でも手話アニメーシ
ョンを早く作成し,送出できるようにする。また手話ア
ニメーションが再生される前に,画面の色や明るさを変
化させる手段を有することによって,手話文の表示が開
始されることを聴覚障害者にも伝えることができるよう
にする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は,手話アニメーショ
ンを用いて情報の伝達を行う装置において,伝達の対象
となる文に対する手話アニメーションデータの編集技術
に関する。
【0002】
【従来の技術】聴覚障害者に対する情報提供の手段とし
て,手話をCGによるアニメーションで表示する際,手話
の動きを表す時系列データから,CG上の人体モデルを動
かす技術に関しては,文献(リアルタイム手話アニメー
ションの合成方法,崎山他,電子情報通信学会論文誌 D
-II Vol. J79-D-II pp182-190)によって実現される。
【0003】また,手の動きの他に,顔の表情や口唇の
動き,体の動きを手の動きとともに表示する技術,手話
の文を構成する手話単語を単位として用意した時系列デ
ータをつなぎ合わせて手話アニメーションを生成する場
合に、手話文において手話単語間にまたがる表情や身振
り等の情報の付加が困難であるという問題を解決するた
めに、手の位置や向きや形状等を表すパラメタを対話的
に変更するインタフェース技術に関しては、文献(手話
編集装置 特願平7-144123、あるいは、手話アニメーシ
ョン編集ツールの開発, 池田他, 電子情報通信学会1996
年総合大会 A-337)によって実現される。
【0004】現在,地震や台風などの災害情報,列車遅
延などの交通情報がテレビで放送される場合は、音声と
文字が媒体となっている。これらの情報提供を聴覚障害
者向けに手話で行なう場合,上述の手話アニメーション
編集技術を用いて,手話単語を選び,表情などの情報を
付加して手話アニメーションを作成すると,従来の日本
語の字幕を作成するのに比べて多くの時間が必要にな
り、速報性を有する情報の伝達には不十分である。
【0005】このように,ある日本語の文の意味を表す
手話のCGアニメーションを,字幕の作成と同程度の時間
で生成するため技術に関しては,まだ実現されていな
い。
【0006】
【発明が解決しようとする課題】まず第一に,従来の手
話アニメーションの編集装置を用いて手話のアニメーシ
ョンを作成するには、ある意味をもった手話の文がどの
ような手話の単語から構成され、またどのような表情や
口唇の動きを付加すれば良いのかという知識を有するこ
とが必要となる。特に緊急性を帯びた情報の場合,手話
に関する知識を有する人が確保できるとは限らないの
で,情報をできるだけ早く手話にして送出するために
は、手話を知らない人でも手話の文に対するアニメーシ
ョンを作成できる必要がある。
【0007】第二に,地震や台風などの災害情報や事故
などの交通情報などには,地名や人名などの固有名詞が
含まれることが多い。すべての固有名詞に対してCGデー
タを保持しておくことは現実的には不可能である。しか
しCGデータを持たない手話単語が現れる度に,手話アニ
メーション編集装置を用いてCGデータを作成するのは,
緊急時の情報送出の場合は適していない。従って出力す
べき手話単語に対するCGデータが存在しない場合に,別
の手段を用いて伝達すべき情報を表現する手話アニメー
ションを作成し,送出しなければならない。
【0008】第三に,現在地震や台風などが起こった
時,テレビでは電子音と文字の点滅によって緊急情報が
到着したことを視聴者に知らせているが,聴覚障害者に
とって電子音では効果を持たない。字幕の点滅でも十分
とはいえない。そこで手話による情報が送出されたこと
を聴覚障害者にもわかる形態で知らせなければならな
い。
【0009】本発明の目的は,災害や事故などの緊急時
の情報を文字と音声の他に手話によって聴覚障害者にも
わかりやすく提供し,手話に関する知識を持たない者で
も,提供する情報を手話によって表現することが可能な
手話アニメーション生成装置を実現することである。
【0010】本発明の他の目的は,手話のCGデータを保
持していない場合でも,なんらかの代替手段を用いて,
伝達すべき内容を手話に表現し送出することができる,
手話アニメーション生成装置を実現することである。
【0011】本発明のさらに他の目的は,手話による緊
急の情報が受信側に到着したことを知らせる手段を有す
る手話アニメーション生成装置を実現することである。
【0012】
【課題を解決するための手段】上記課題を解決するため
に,本発明では,災害や事故などの緊急時の情報を文字
と音声の他に手話によって,聴覚障害者にもわかりやす
く提供する手話アニメーション生成装置であって、よく
用いられる手話の文毎に,手話単語の見出しの列を,文
を生成する時でないと決まらない部分と,既に固定され
た部分に区別して記述し,固定部分に対するCGデータ
と,可変部分に代入することのできる手話単語の見出し
(あるいは単語見出し列)の候補に対するCGデータとか
らなる手話文テンプレートを用意し、話題によって手話
文テンプレートを選択できる手段と,可変部分に代入す
る手話単語見出しを選択あるいは,入力することにより
手話の文を確定させる手段と,用意されたCGデータか
ら,手話単語間を自動的に補間し,手話の文を連続した
動作のアニメーションで表す手段,を有することによ
り,手話を知らない人でも手話アニメーションを早く作
成し,送出できるようにする。
【0013】また,送出すべき情報を手話にする場合,
必要となる手話単語に対するCGデータが用意されていな
ければ,日本語の各単語について漢字表記とその読みが
なの対からなるデータを有し,これを利用して漢字表記
から平仮名表記への変換を行ない,この平仮名の並びを
指文字によって手話アニメーションとして表現する手段
を用意し,あらかじめ登録されていない単語が入力の中
に含まれていても,情報の持つ意味を手話で表すことが
できるようにする。
【0014】また生成,送出された手話アニメーション
が受信側に届き再生される前に,手話アニメーションを
表示する画面全体の明暗を一定時間,短い間隔で変化さ
せる,手話アニメーションを表示する画面全体の色を一
定時間,短い間隔で変化させる,手話アニメーションの
背景の明暗を一定時間,短い間隔で変化させる,手話ア
ニメーションの背景の色を一定時間,短い間隔で変化さ
せる,手段を有することによって,手話文の表示が開始
されることを聴覚障害者にも伝えることができるように
する。
【0015】地震や台風などの災害情報,交通事故など
の緊急情報が,音声と文字によってテレビなどに表示さ
れると,普段手話を使って生活をしている聴覚障害者
は,見落としたり,正確に情報が伝わらない可能性があ
る。ここで手話アニメーションによって情報を表示する
ことにより,情報を正確に伝達することが可能になる。
【0016】よく使われる文について手話文テンプレー
トを用意し,可変部分を指定してアニメーションを作成
することにより,手話に精通した人でなくとも簡単に伝
達すべき情報を手話で表現することができ,緊急時にも
聴覚障害者により早く情報をわかりやすい形で提供する
ことができる。
【0017】CGデータをあらかじめ持っていない未登録
の手話単語に対して,この見出しを平仮名に置き換え,
指文字として手話アニメーションにすることにより,未
登録の手話をスキップして情報を不完全にしたり,未登
録の部分のCGデータを新たに作成るために時間を費やし
てから手話アニメーションを作成することなく,情報を
手話として提供することができる。
【0018】手話による情報がテレビなどの画面からな
がれる前に,手話アニメーションの部分の明るさ,色を
変化させることにより,テレビの画面の前の聴覚障害者
が手話による情報が到着したことを知ることができ,提
供される情報を見落とす可能性が低減される。
【0019】
【発明の実施の形態】以下,本発明の一実施例を図1か
ら図19を用いて説明する。
【0020】現在,聴覚障害者に手話アニメーションを
用いて情報を伝達するために,手の動きの他に,顔の表
情や口唇の動き,体の動きを手の動きとともに表示し,
手話単語を単位として用意した時系列データをつなぎ合
わせて手話アニメーションを生成することが可能であ
る。ここで手話のアニメーションを対話的に作成するイ
ンタフェース技術に関しては、文献(手話編集装置 特
願平7-144123、あるいは、手話アニメーション編集ツー
ルの開発, 池田他, 電子情報通信学会1996年総合大会 A
-337)に記されている。しかし,この方法で手話アニメ
ーションを作成するためには,手話アニメーション作成
者が手話に関する知識を持っている必要がある。また対
話的な作業を伴うため作成に時間を要するため,手話に
よる情報伝達が字幕や音声による情報伝達に比べて遅く
なってしまう。
【0021】この問題を解決するために,聴覚障害者へ
の情報提供において良く使われる手話文について,あら
かじめ部分的に未完成部分を含む(変更可能な)手話ア
ニメーションを用意しておき,手話アニメーション作成
者が情報伝達時に必要最小限の単語入力を行なうだけ
で,手話アニメーションが完成するようにした。図1に
おいて,本発明の一実施例における,手話アニメーショ
ン生成の部分に関する概念図を示す。101は緊急時に提
供される情報を表現するためによく用いられる手話の文
毎に,手話単語の見出しの列を文を生成する時でないと
決まらない部分と既に固定された部分に区別して記述
し,固定部分に対するCGデータと,可変部分に代入する
ことのできる手話単語の見出し(あるいは単語見出し
列)の候補に対するCGデータとからなる手話文テンプレ
ートデータである。
【0022】手話文テンプレートデータは,手話単語見
出しの列を文を生成する時でないと決まらない部分と固
定された部分に区別して記述した,可変部付き手話文テ
ンプレートデータ102と,固定部分に対するCGデータで
ある固定部分手話文データ103と,可変部分に対して候
補として用意される手話単語見出しの集合である手話単
語候補データ104とからなる。
【0023】手話文データ生成部105は,手話アニメー
ション生成装置において情報の提供者すなわち手話アニ
メーションの作成者が,伝達したい情報にふさわしい手
話文テンプレートを手話文テンプレートデータ101の中
から選択し,可変部分を埋める手話単語を手話単語候補
データ104から選択するか,自身で入力した結果,可変
部分のない手話文データを生成する。
【0024】生成された手話文データは手話アニメーシ
ョン合成部108に送られる。手話アニメーション合成部
では,手話アニメーション生成装置から出力される手話
アニメーションにおいて手話をおこなうコンピュータグ
ラフィックス(CG)の人間のモデルを生成するためのデー
タである人体モデル107と,手話単語のそれぞれに対し
て,人体モデルの動きを記述した手話単語CGデータ106
とを用いて,手話文データに対する手話アニメーション
を合成する。手話アニメーション合成部でのCG合成法に
関しては,文献(リアルタイム手話アニメーションの合
成方法,崎山他,電子情報通信学会論文誌 D-II Vol. J
79-D-II pp182-190)を参照することによって実現可能
である。
【0025】現在,テレビなどで手話通訳者による放送
内容の通訳画像が挿入されることが多くなってきたが,
緊急時の情報伝達は主に音声と字幕に依存している。こ
れらは聴覚障害者にとって非常に受け取りにくい情報と
なっている。それは,手話と日本語では文法が異なるた
め,用いられる単語の見出しや順序が異なったり,独特
の身振りや表情が備わることにより情報を伝えているか
らである。手話と日本語の違いのため,手話に関する知
識のない者が,手話単語を並べてわかりやすい手話の文
を作ることは困難である。緊急時の情報はできるだけ早
く伝達することが重要であるため,手話に通じた人を呼
んできて手話の映像を作成していては,現在行なわれて
いる字幕による速報に比べて,聴覚障害者に情報が届く
のに長い時間を要する。本発明における手話文テンプレ
ートを用いたアニメーション作成では,上記のような手
話に関する知識が必要となる部分はすでに手話文テンプ
レートとして作成してあるので,アニメーション作成者
が入力するのは,緊急時に伝達される情報において,場
所や時間といった比較的限られた単語だけである。従っ
てアニメーション作成者が必ずしも手話に通じている必
要がなく,従来の字幕と同様の早さで聴覚障害者に情報
を伝達することが可能となる。
【0026】本発明の技術を緊急時の手話での情報提供
への応用例について以下で述べる。図2は図1で示した手
話アニメーション生成の手法を適用した,緊急時情報提
供装置の全体概念図である。可変部付き手話文データ20
1,固定部分手話文データ202,手話単語候補データ203
からなる手話文テンプレートデータ204は,あらかじめ
作成し蓄積される。この手話文テンプレートデータを作
成する際に,手話アニメーション編集部205が使用され
る。これは手話アニメーション編集者(テンプレート作
成者)が必要な手話単語を並べ,表情や動作の抑揚を付
加するといった編集操作を行なうことにより,聴覚障害
者が読みとりやすい手話アニメーションを作成する。手
話アニメーション編集部に関しては,文献(手話アニメ
ーション編集ツールの開発, 池田他, 電子情報通信学会
1996年総合大会 A-337)等によって実現することが可能
である。
【0027】206は手話アニメーションを作成する際
に,手話文テンプレートの可変部に挿入する手話単語を
手話単語候補から選択せずに,手話アニメーション作成
者が自ら入力した時,その手話単語に関するCGデータが
登録されていなかった場合に,その読みから指文字の組
み合せで代用することにより手話アニメーションを作成
するために用いられる日本語読み仮名辞書である。この
日本語読み仮名辞書については後述する。
【0028】先に述べたように,手話文データ生成部20
7で可変部分が確定した手話文データが生成され,手話
単語CGデータ208,人体モデル209を用いて手話アニメー
ション合成部210で手話アニメーションが合成される。
この時,合成したアニメーションに対して,さらに表情
を変化させたり,動作を強調するなどの修正をしたほう
が望ましい場合,そして修正を加えるだけの時間的余裕
がある場合は,手話アニメーション編集部211を用いて
手話アニメーション作成者が手話単語見出しを指定し,
編集操作を加えることで,手話アニメーションをよりわ
かりやすく変更することが可能となる。
【0029】手話アニメーション合成部210で合成され
た手話アニメーションを緊急情報をしてテレビ電波など
にのせて送出する場合,受信側で突然手話アニメーショ
ンが表示されても,聴覚障害者が手話アニメーションに
気付くことは困難である。そこで手話アニメーションの
再生が行なわれるまでに,受信側の画面の明るさや色合
いを変化させるとともに,緊急情報が届いたことを手話
で知らせる。これらの情報の付加を手話表示開始信号制
御部212で行なう。
【0030】手話アニメーションの開始を伝えるための
処理が施された後,字幕合成部213において,手話アニ
メーションと文字による字幕を両者のタイミングの同期
をとりながら合成しテレビ電波にのせたりあるいは専用
線にのせて送出する。
【0031】本発明の一実施例のハードウェア構成図を
図3に示す。301は種々のプログラムを制御し,CGによる
手話アニメーションの生成のための情報処理を行なう演
算装置,302は手話文データ生成部や手話編集部への単
語見出しの入力や,各種編集操作のための入力を行なう
キーボードとマウス,303はキーボードとマウス302から
入力された文字列やコマンドを解釈し,計算機可読形式
に変換する入力装置,304はCGによる手話アニメーショ
ンや手話文データ編集のためのインタフェース画面を表
示するディスプレイ,305はディスプレイ304に表示する
ための画像上の処理を行なう出力装置である。
【0032】306は本発明を実施するに際し使用する各
種データの辞書を保存しておくための磁気ディスク装置
であり,307はあらかじめ作成した手話文テンプレート
データの集まりである手話文テンプレートデータベー
ス,308はあらかじめ作成した手話単語CGデータの集ま
りである手話単語CGデータベース,309は可変部分に入
力した手話単語が手話単語CGデータベースに登録されて
いない場合に使用される。
【0033】日本語の単語に関する漢字を含む表記とそ
の読み仮名の対のデータである日本語読み仮名データの
集まりである日本語読み仮名データベースである。これ
らのデータベースが磁気ディスク306上に保持されてい
る。
【0034】311は手話アニメーション生成装置が動作
するために必要なプログラムやデータが記憶されている
メモリであり,312は手話アニメーション作成者に手話
文テンプレートデータの選択や可変部分の決定などを行
なう環境を提供し,アニメーション作成者の対話的な操
作で手話文データを作成する手話文データ編集プログラ
ム,313は作成された手話文データに基づきCGによる手
話アニメーションを合成する手話アニメーション合成プ
ログラム,314は手話文データ編集プログラムにおいて
手話アニメーション作成者に選択され利用されている手
話文テンプレートデータ,315は手話文編集プログラム
で作成された手話文データを構成する手話単語に対する
手話単語CGデータ,316は手話アニメーション合成プロ
グラム313で手話アニメーションを合成するために用い
られる人体モデルである。
【0035】次に,手話アニメーション生成装置におけ
る手話アニメーション生成に用いられる各種データにつ
いて図4から図8を用いて述べる。
【0036】手話文テンプレートのうち可変部付き手話
文データの構造を図4に示す。可変部付き手話文データ
は日本語訳401とフィールド情報402から構成されてい
る。日本語訳401はその手話文テンプレートを用いて作
成する手話アニメーションの意味を日本語で記述したも
のであり,必ずしも手話に詳しくない手話アニメーショ
ン作成者が,手話文データ編集部においてこの日本語訳
を用いて手話文テンプレートを選択する。図4に例とし
て示したテンプレートは,ある時間にある場所で地震が
ありました,という意味の手話アニメーションを作成す
るための手話文テンプレートである。
【0037】フィールド情報402は,フィールドの識別
子を記すフィールド欄403,そのフィールドが可変部分
なのか固定部分なのかを示すタイプ欄404,そして可変
部分の場合はそこに入れることができる手話単語の候補
を記した手話単語候補データリストの識別子,固定部分
の場合は対応する固定部手話文データの識別子が示され
た手話文データ/候補データ欄405にわかれている。
【0038】フィールド欄403の最初の識別子(FID1)4
06は,そのタイプ欄404には可変407と書かれてあること
から,手話文データ/候補データ欄405に記された識別
子(WID1)408は可変部分に対する手話単語候補データ
リストの識別子である。
【0039】フィールド欄403の二番目の識別子(FID
2)409は,そのタイプ欄404には固定410と記されている
ことから,手話文データ/候補データ欄405に記された
識別子(Cnst_File2)411は固定部分手話文データの識
別子である。
【0040】次に手話文テンプレートデータにおける可
変部分に対する手話単語候補データについて述べる。
【0041】図5における501は図4の可変部分付き手話
文データにおいて記された手話単語候補データリスト識
別子を示す候補データ識別子欄,502はその候補データ
リストにおいて選択可能な手話単語の識別子の一覧を示
す手話単語識別子欄,503は手話単語識別子欄502に記さ
れた手話単語識別子に対応する手話単語見出しを記す手
話単語見出し欄である。
【0042】504は図4の可変部付き手話文データにおけ
る五番目のフィールドに対する手話単語候補リストの識
別子(WID5)である。505はこの識別子(WID5)に対し
て用意された手話単語候補の識別子であり,506はそれ
ぞれの識別子に対する手話単語見出しである。
【0043】手話単語「病院」のように,複数の手話単
語を表す手の動きから構成される単語が手話には多い。
これらに対して同じデータをそれぞれ保持しておくのは
効率が良くない。そこである意味をもつ手の動きを単位
に,手動作データをまとめ,この手動作の組合せで手話
単語を表現する。口形に関しては,五十音等を単位とし
てサンプルを作成しておき,これを選ぶことにより手話
単語,手話文データを作成する。表情,身振りに関して
も口形と同様に,サンプルデータを用意しておき,これ
を選択することにより手話単語CGデータ,手話文データ
を作成する。
【0044】図6を例に用いて手話文データと手話単語
データとの関係,および手話単語データの構造を説明す
る。
【0045】図6において601は「私は病院に行きた
い。」という意味を表す手話文に対する手話文データを
表している。602は601を構成する手話単語「私」,603
は同じく手話単語「病院」,604は同じく手話単語「行
く」,605は同じく手話単語「好き」で,この順序に並
ぶことにより601の手話文を表現できる。
【0046】手話単語は手の動きを表現する手動作,口
唇の形を並べた口形列,顔の表情,身振りの各データか
ら構成される。身振りとは手以外の体の動き,具体的に
は頭部の傾き,回転と上体の傾き,回転のことを指す。
606は手話単語データを構成する手動作の並びを表す手
動作列である。図6において手話単語「病院」は「脈」
という手話単語の手動作607と「建物」という手話単語
の手動作608の組み合わせである手動作列で構成される
ことを表す。609は手話単語データを構成する口唇の形
の並びである口形列データである。図6において手話単
語「病院」は「びょ」610,「う」611,「い」612,
「ん」613という四つの口形データから構成される口形
列によって表現されることを表す。614は手話単語デー
タを構成する顔の表情である表情データである。図6に
おいて手話単語「病院」は,その前の手話単語「私」か
ら手話単語間にまたがって「困惑」という表情データ61
5が割り当てられていることを表す。616は手話単語デー
タを構成する頭部や上半身の動きを表す身振りデータで
ある。図6において手話単語「病院」は,その前の手話
単語「私」から手話単語「病院」の途中までに,身振り
データとして「首をかしげる」617が割り当てられてい
ることを表す。
【0047】これにより手話アニメーション作成者は,
口形,表情,身振り等の付加情報を最初から作成するこ
となしに,容易にCGによる手話アニメーションを作成す
ることが可能となる。
【0048】次に手動作データ,表情データ,口形デー
タ,身振りデータの各データを保存しておく手話単語CG
データ辞書の構成を述べる。
【0049】図7において701は図1および2で示した手話
単語CGデータ辞書である。702は各手話単語毎に用意さ
れた手話単語CGデータである。手話単語CGデータにはそ
の手話単語データを構成する口形データ,表情データ,
身振りデータ,手動作データへのポインタが記されてい
る。703は手話アニメーションの人体モデルの口の動き
を表現するために用いる口唇の形を表す口形データ704
を保存しておく口形辞書で,705はアニメーションの人
体モデルの顔の表情を表現するために用いる表情データ
706を保存しておく表情辞書,707はアニメーションの人
体モデルの手以外の動作を表現するために用いる頭の向
き,傾き,上体の向き,傾きを表す身振りデータ708を
保存しておく身振り辞書,709は手話アニメーションの
人体モデルの手の動作を表す手動作データ710を保存し
ておく手動作辞書である。手話単語データは,手動作デ
ータと口形データ,表情データ,身振りデータから構成
され,手話文データは手話単語の組合せによって表現さ
れることを示している。
【0050】次に手話文テンプレートにおける固定部分
手話文データについて説明する。
【0051】可変部付き手話文データの固定部分のデー
タである固定部分手話文データの構造を図8に示しす。8
01は固定部分手話文データを識別するための固定部分識
別子欄である。図8では図4の6番目のフィールドの固定
部分手話文データを例にしており,その識別子は「Cnst
_File6」で表される。
【0052】802はその固定部分手話文データを構成す
る手話単語の数を記す構成手話単語数欄であり,図8の
例では2つの手話単語から構成されていることがわか
る。803は上で述べた手話単語のそれぞれに関する情報
を記す上での識別番号を表す番号欄で,1から2までの番
号が与えられている。804は固定部分手話文データを構
成する手話単語の見出しであり,図8の例では「地震」
と「起こる」の2つの手話単語で構成されていることを
表す。手話アニメーションはある数のフレームの連続に
よって表現されている。805は固定部分手話文データに
おける,フレームの番号で手話文データを構成する手話
単語の相対的な開始位置を示す開始フレーム番号であ
り,806は手話文データを構成する手話単語の相対的な
終端位置を示す終端フレーム番号である。図8の例で
は,手話単語「地震」は固定部分手話文データの先頭を
表す「0」から「27」フレームまでを,手話単語「起こ
る」は「28」フレームから「45」フレームまでを占める
ことを表す。
【0053】807は固定部分手話文データを構成する表
情データの数を示す表情見出し数であり,図8の例では3
つの表情データからなっていることがわかる。808は上
で述べた表情データのそれぞれに関する情報を記す上で
の識別番号を表す番号欄で,1から3までの番号が与えら
れている。809は固定部分手話文データを構成する表情
データの見出しであり,図8の例では先頭から順に「標
準」と「驚いた顔」と「標準」の表情データで構成され
ている。810は固定部分手話文データにおける,フレー
ムの番号で手話文データを構成する表情データの相対的
な開始位置を示す開始フレーム番号であり,811は手話
文データを構成する表情データの相対的な終端位置を示
す終端フレーム番号である。図8の例では,表情データ
「標準」は固定部分手話文データの先頭を表す「0」か
ら「10」フレームまでを,表情データ「驚いた顔」は
「11」フレームから「29」フレームまでを,表情データ
「標準」は「30」フレームから「45」フレームまでを占
めることを表す。なお表情データ「標準」とは無表情の
すました顔を表す。
【0054】812は固定部分手話文データを構成する身
振りデータの数を示す身振り見出し数であり,図8の例
では2つの身振りデータからなっていることがわかる。8
13は上で述べた身振りデータのそれぞれに関する情報を
記す上での識別番号を表す番号欄で,1から2までの番号
が与えられている。814は固定部分手話文データを構成
する身振りデータの見出しであり,図8の例では先頭か
ら順に「標準」と「うなずき」の身振りデータで構成さ
れている。815は固定部分手話文データにおける,フレ
ームの番号で手話文データを構成する身振りデータの相
対的な開始位置を示す開始フレーム番号であり,816は
手話文データを構成する身振りデータの相対的な終端位
置を示す終端フレーム番号である。図8の例では,身振
りデータ「標準」は固定部分手話文データの先頭を表す
「0」から「18」フレームまでを,身振りデータ「うな
ずき」は「19」フレームから「45」フレームまでを占め
ることを表す。なお身振りデータ「標準」とは正面を向
いて直立の姿勢を表す。
【0055】817は固定部分手話文データを構成する口
形列データの数を示す口形列見出し数であり,図8の例
では2つの口形列データからなっていることがわかる。8
18は上で述べた口形列データのそれぞれに関する情報を
記す上での識別番号を表す番号欄で,1から2までの番号
が与えられている。819は固定部分手話文データを構成
する口形列データの見出しであり,図8の例では先頭か
ら順に「じしん」と「あった」の口形列データで構成さ
れている。820は固定部分手話文データにおける,フレ
ームの番号で手話文データを構成する口形列データの相
対的な開始位置を示す開始フレーム番号であり,821は
手話文データを構成する口形列データの相対的な終端位
置を示す終端フレーム番号である。図8の例では,口形
列データ「じしん」は固定部分手話文データの先頭を表
す「0」から「27」フレームまでを,口形列「あった」
は「19」フレームから「45」フレームまでを占めること
を表す。
【0056】822は固定部分手話文データ中の口形列デ
ータを構成する口唇の形の数を示す口形見出し数であ
り,図8の例では口形列データ「じしん」が3つ,口形列
データ「あった」が2つのの口形データからなっている
ことがわかる。口形データとは音節単位で用意するもの
とする。823は上で述べた口形データのそれぞれに関す
る情報を記す上での識別番号を表す番号欄で,口形列デ
ータ「じしん」では1から3までの番号が与えられてい
る。824は固定部分手話文データ中の口形列データを構
成する口形データの見出しであり,図8の例では口形列
データ「じしん」は先頭から順に「じ」,「し」,
「ん」の口形データで構成されている。825は固定部分
手話文データ中の口形列データ「じしん」における,フ
レームの番号で手話文データの口形列データを構成する
口形データの相対的な開始位置を示す開始フレーム番号
であり,826は手話文データ中の口形列データを構成す
る口形データの相対的な終端位置を示す終端フレーム番
号である。図8の例では,口形データ「じ」は口形列デ
ータ「じしん」の先頭を表す「0」から「10」フレーム
までを,口形「し」は「11」フレームから「18」フレー
ムまでを,口形データ「ん」は「19」フレームから「2
7」フレームまでを占めることを表す。
【0057】なお,手話文テンプレートを利用して手話
文データ生成部において作成した,CG手話アニメーショ
ンの合成に用いる完成した(可変部分が確定した)手話
文データも図8に示した固定部分手話文データと同じ形
式のデータである。
【0058】次に本発明の一実施例である手話アニメー
ション生成装置による手話アニメーション作成の流れを
図9から図19を用いて述べる。
【0059】手話アニメーション生成装置を用いた手話
アニメーション作成の手順の流れ図を図9に示す。まず
最初にステップ901において,アニメーション作成者
(情報提供者)が作成したい内容に従って手話文テンプ
レートを選択する。
【0060】本明細書に実施例として挙げた,主に緊急
時に手話アニメーションを生成する手話アニメーション
生成装置における手話文テンプレートの選択画面は図10
に示すような画面である。この図を用いて手話文テンプ
レートの選択について述べる。
【0061】1001は手話文テンプレートを分類した項目
を表示し,アニメーション作成者が選択する大分類フィ
ールドである。緊急時に伝達したい情報は,地震の場合
は場所や震度,迷子の場合は,身長や服の色といったよ
うに,状況によってある程度決まっている。そこで地震
や台風,火事,津波,迷子といった状況毎に手話文テン
プレートを用意しておき,アニメーション作成者はまず
始めに大分類からどのような状況に関してのアニメーシ
ョンを作るのかを選び,その後具体的な内容に従って個
々の手話文テンプレートを選択する。
【0062】図10において1002は個々の手話文テンプレ
ートが表示されるテンプレートフィールドで,大分類フ
ィールド1001でアニメーション作成者が選択した分類に
含まれる手話文テンプレートデータの一覧が表示され
る。1003はテンプレート編集ボタンである。手話文テン
プレートを選択後このボタンを押すことにより,手話文
テンプレートの可変部分の確定を行なうための画面(後
述)が起動される。1004はこの画面上で行なった手話文
テンプレートの選択をキャンセルするキャンセルボタ
ン,1005は手話アニメーション生成装置を終了する終了
ボタンである。
【0063】上記手話アニメーション生成装置におい
て,手話文テンプレートデータを選択している時の画面
を図11に示す。図11において1101は大分類として選択す
ることにより反転表示された大分類「地震」の見出しで
ある。大分類フィールドで選択することにより,1102の
テンプレートフィールドに大分類「地震」に属する手話
文テンプレートデータが一覧表示される。その中から一
つを選択すると,1103のように反転表示され選択された
ことを示す。手話文テンプレートを選択後テンプレート
編集ボタン1104を押下することにより手話文テンプレー
トの編集を行なう。
【0064】手話アニメーション作成者が手話文テンプ
レートを選択した後,流れ図9のステップ902に従って手
話文テンプレートの編集を行なう。
【0065】手話アニメーション作成者によって選択さ
れた手話文テンプレートに対して,その可変部分の編集
を行なうための手話文データ編集画面は図12に示したよ
うな画面となる。これを用いて手話文テンプレートの編
集について述べる。図11の大分類「地震」の2番めの手
話文テンプレートを選択したことにより,その手話文テ
ンプレートを編集できるように画面が形成されている。
1201は手話文テンプレートにおける第1番目の可変部を
表すプルダウンメニューのラベルで,午前か午後かを意
味する手話単語が候補リストに入っている。1202は手話
文テンプレートにおける第2番目の可変部を表すプルダ
ウンメニューのラベルであり,1から12までの数字が候
補リストに入っている。1203は手話文テンプレートデー
タの第1番目の固定部を表すラベルである。1204は手話
文テンプレートにおける第3番目の可変部を表すプルダ
ウンメニューのラベルであり,1から59までの数字が候
補リストに入っている。1205は手話文テンプレートデー
タの第2番目の固定部を表すラベルである。1206は手話
文テンプレートにおける第4番目の可変部を表すプルダ
ウンメニューのラベルであり,例えば日本の代表的な地
名を選んで候補リストに入れておく。ここの場合候補リ
ストにない手話単語を使用したい場合については後述す
る。1208はプルダウンメニュー1201で候補リストから選
択した手話単語の見出しを表示したり,アニメーション
作成者が手話単語見出しを入力する手話単語見出し表示
・入力欄である。1209はプルダウンメニュー1202で候補
リストから選択した手話単語の見出しを表示したり,ア
ニメーション作成者が手話単語見出しを入力する手話単
語見出し表示・入力欄である。1210はプルダウンメニュ
ー1203で候補リストから選択した手話単語の見出しを表
示したり,アニメーション作成者が手話単語見出しを入
力する手話単語見出し表示・入力欄である。1211はプル
ダウンメニュー1204で候補リストから選択した手話単語
の見出しを表示したり,アニメーション作成者が手話単
語見出しを入力する手話単語見出し表示・入力欄であ
る。1212は手話文テンプレートデータの第3番目の固定
部を表すラベルである。1213は手話文テンプレートにお
ける第5番目の可変部を表すプルダウンメニューのラベ
ルであり,1から7の数字を候補リストに入れておく。12
14は手話文テンプレートデータの第4番目の固定部を表
すラベルである。プルダウンメニューラベル1213を押下
すると手話単語候補見出しの一覧がプルダウンメニュー
1215が表示される。1216はアニメ再生ボタンで,このボ
タンを押下することにより,作成した手話アニメーショ
ンを表示することが可能である。1217は放送ボタンであ
り,これを押下することにより,作成した手話アニメー
ションを手話表示開始信号制御部212を経て字幕合成部2
13で日本語字幕と合成されてテレビ回線等を通じて送出
される。また1218は編集ボタンであり,作成した手話文
データに基づく手話アニメーションにさらに変更を加え
たい場合,このボタンを押下することにより,手話アニ
メーション編集部が起動される。手話アニメーション編
集部に関しては,文献(手話アニメーション編集ツール
の開発, 池田他, 電子情報通信学会1996年総合大会 A-3
37)等により実現されている。1219は保存ボタンで,編
集作業の結果できた手話アニメーションを保存する。12
20は終了ボタンで手話文テンプレートの編集を終了し,
手話文テンプレート選択画面に制御を戻す。
【0066】手話アニメーション作成者が,手話文テン
プレートを選択すると,次にテンプレートの可変部分を
確定させる。可変部分の確定には,あらかじめ用意され
た手話単語候補から選択するか,手話アニメーション作
成者が手話単語見出しをキーボード等で入力するかのい
ずれかの手段を提供する。流れ図9のステップ903では手
話文テンプレートの可変部分に対して用意された候補リ
スト中の手話単語を選択するか,手話アニメーション作
成者がキーボードから手話単語見出しを入力するかを決
める。
【0067】候補リストから選択することを決め,プル
ダウンメニュー(例えば1213)を押下すると,ステップ
904では候補の単語リストの一覧を1214のように表示す
る。手話アニメーション作成者が手話単語見出しを入力
することを決めると,ステップ906では手話単語見出し
表示・入力欄(例えば1211)に手話単語見出しを入力す
る。ステップ908では,入力された手話単語見出しに対
する手話単語CGデータが手話単語CGデータ辞書208に登
録されているかを検索し,登録されていなければ指文字
に変換するために読み仮名を生成する。この処理に関し
て,図13の流れ図を用いて説明する。
【0068】まず手話単語見出し表示・入力欄(例えば
1211)にアニメーション作成者によって入力された手話
単語見出しに対して,手話単語CGデータ辞書208に登録
されているかを調べる(ステップ1301)。登録されていれ
ば該当する手話文テンプレートの可変部分が確定したと
してステップ1305へ進み終了する。ステップ1301で手話
単語が登録されていなければ,ステップ1302へ進み,日
本語読み仮名辞書206を参照して入力された手話単語見
出しの読みを得る。
【0069】ここで参照される日本語読み仮名辞書206
の構造について述べる。図14は日本語読み仮名辞書の例
を示した図である。1401は手話アニメーション作成者が
入力する手話単語見出しであり,1402は手話単語見出し
毎に記述された読み仮名である。例えば「国分寺」とい
う手話単語見出しに対しては,「こくぶんじ」という読
み仮名が対応づけられている。
【0070】流れ図13のステップ1302において手話アニ
メーション作成者が入力した手話単語見出しに対する読
み仮名が日本語読み仮名辞書の中に存在すれば,ステッ
プ1304に進む。この時,手話アニメーション作成者に確
認を求める画面を表示しても良い。ステップ1302におい
て手話アニメーション作成者が入力した手話単語見出し
に対する読み仮名が日本語読み仮名辞書の中に存在しな
ければ,ステップ1303に進み,手話アニメーション作成
者に対して検索の失敗と,正しい読みの入力を促す画面
を表示する。
【0071】手話アニメーション生成装置内に,手話ア
ニメーション作成者が入力した手話単語見出しに対する
CGデータが存在しない場合は,手話アニメーション作成
者が読み仮名を入力する。この入力された読み仮名にし
たがって,手話アニメーション生成装置は読み仮名を指
文字として手話アニメーションにする。手話アニメーシ
ョン作成者による読み仮名の入力について述べる。図15
で手話単語見出し表示・入力欄1501に手話単語見出し
「国分寺」を入力し,手話単語CGデータ辞書208の検索
に失敗した場合,手話単語未登録エラー画面1502が表示
され,手話アニメーション作成者に手話単語データの検
索に失敗したことを知らせる。手話アニメーション作成
者は,読み入力欄1503に手話単語見出しに対する正しい
読みをキーボードにより入力し,OKボタン1504を押下す
ることにより手話単語見出しに対する読み仮名が確定す
る。
【0072】手話文テンプレートデータの可変部分が確
定すると,ステップ1304に進み,読み仮名として入力さ
れた平仮名の文字列を音節に分割し,ステップ1305でそ
れぞれの音節に対して,手話単語CGデータ辞書を用いて
指文字を対応づけて,手話文テンプレートデータの可変
部分を確定する。図9の流れ図のステップ908において,
手話文テンプレートの全ての可変部分が確定していなけ
れば,ステップ902に戻って確定作業を繰り返す。全て
の可変部分が確定していれば,ステップ909に進む。
【0073】こうして作成した手話アニメーションは聴
覚障害者への情報提供のために再生することが可能であ
る。ここで,さらに手話文テンプレートに記されたある
手話単語の動作を手話アニメーションが放送される地域
の方言に置き換える必要がある場合であるとか,あるい
は,ある単語を強調するために表情を変更した方通い場
合がある。このような場合のために,手話アニメーショ
ンにさらに変更を加えることが可能にしておく。流れ図
9のステップ909では,それまでに作成した手話文データ
に対してさらに変更を加えるかどうかを判定する。編集
を加える必要がある場合は,ステップ910へ進み,手話
アニメーション編集部211によって手話アニメーション
作成者が手話アニメーションに変更を加える。編集を加
える必要がない場合は,ステップ911へ進む。ここで示
している実施例では,ステップ909の判定を手話アニメ
ーション作成者が,図12の編集ボタン1218押下すること
によって区別している。
【0074】次に手話アニメーション編集部での手話ア
ニメーション編集(ステップ910)の流れを述べる。本実
施例では手話アニメーション編集部として,文献(手話
アニメーション編集ツールの開発, 池田他, 電子情報通
信学会1996年総合大会 A-337)に記された装置を想定す
る。図16のステップ1601では,まず手話文データにおい
て編集を行なう範囲を指定し,ステップ1602において手
話アニメーション作成者が行ないたい編集操作を指定す
ると,入力に応じてステップ1603,ステップ1604,ステ
ップ1605,ステップ1606,ステップ1607へ分岐する。ス
テップ1603では選択された範囲の手動作に関して,手の
空間的位置や掌の向き,掌の形状,肘の位置を変更させ
る。ステップ1604では,顔の表情を変更する。ステップ
1605では,頭部と上半身の動きである身振りを変更す
る。ステップ1606では口唇の形状を変更させる。ステッ
プ1607では,手話単語間に間合い(ポーズ)を挿入する
ことにより,手話アニメーションの動きに抑揚をつけ
る。ステップ1603から1607までの編集操作が終わると,
ステップ1608に進み他に編集作業があるかどうかを判定
する。編集作業があればステップ1601に進み,なければ
終了する。
【0075】手話文テンプレートの可変部分を確定させ
作成した手話文データに,さらに行なった編集作業(ス
テップ910)が終わるとステップ911に進み,作成した手
話文データに基づき手話アニメーションを合成する。本
明細書で述べた手話アニメーション生成装置における手
話アニメーション合成の結果を図17の手話アニメーショ
ンの再生が行なわれている時の画面の図を用いて述べ
る。手話文テンプレート編集画面1701のアニメ再生ボタ
ン1702を押下すると手話文データに基づき手話アニメー
ションが合成される。ここでのCGアニメーションの合成
法については,文献(リアルタイム手話アニメーション
の合成方法,崎山他,電子情報通信学会論文誌 D-II Vo
l. J79-D-II pp182-190)によって実現することが可能
である。図17の1703は手話アニメーション表示画面,17
04は合成した手話アニメーションである。1705は手話ア
ニメーションの人形を見る視点を上下方向に変化させる
スライダ、1706は手話アニメーションの人形を見る視点
を水平方向に変化させるスライダである。手話アニメー
ション作成者が入力した手話単語見出し「国分寺」が手
話単語CGデータ辞書に登録されていなかったため,読み
仮名に変換されて,手話単語見出し表示・入力欄1707に
表示される。1708は生成した手話アニメーションを実際
の送出するための放送ボタンである。
【0076】このようにして作成した手話のアニメーシ
ョンを放送する際には,現在テレビなどで放送されてい
る字幕によるニュース速報のように,警告音とともに放
送しなければ,生成した手話アニメーションだけを突然
テレビなどに映し出しても,聴覚障害者は気付かない可
能性が高い。そこで手話による緊急の情報が提供される
ことを知らせる必要がある。そのため,図9の流れ図に
おいてステップ911で合成された手話アニメーションに
対して,ステップ912では,手話アニメーションによる
情報の本体の前に, (1)手話アニメーションを表示する部分の色を複数の
色を用いて変化させる (2)手話アニメーションを表示する部分を点滅させる ととともに「緊急放送がある」という意味の手話アニメ
ーションを付加して,テレビなどに送出する。その様子
を図18を用いて述べる。
【0077】従来,テレビなどで緊急時の情報提供の際
に用いられていた,字幕による緊急放送開始の告知が18
01であり,文字列の点滅とともに警告音が出力される。
それと同時に1802として手話アニメーションが画面に現
れ,その部分の色が短い周期で変化したり,点滅すると
ともに,「緊急放送があります」という意味の手話を行
なう。
【0078】そして生成した手話アニメーションに加え
て,日本語字幕合成部213で文字による字幕を手話アニ
メーションとタイミングを同期させて合成する(ステッ
プ913)。そのためには手話文テンプレートデータの日本
語訳401を手話アニメーションに合成すればよい。手話
と文字を一緒に表示することにより,数字などの情報が
より正確に伝わることが期待される。図19は字幕と合成
された手話アニメーションがテレビなどに出力されてい
る様子を示す。1901は日本語訳401から取り出された日
本語字幕である。日本語字幕と同期して,1902に手話ア
ニメーションが表示される。
【0079】このようにして,緊急性の高い情報を従来
の字幕と音声によるニュース速報と同様の速さで聴覚障
害者にも伝達することが可能となる。そして手話に関す
る知識を持った人がいなくても,手話文テンプレートを
用いてキーワードとなる単語を選択する,あるいは入力
するだけで,伝達する情報を手話アニメーションとして
表現することが可能となる。
【0080】
【発明の効果】地震や台風などの災害情報,交通事故な
どの緊急情報が,音声と文字によってテレビなどに表示
されると,普段手話を使って生活をしている聴覚障害者
は,見落としたり,正確に情報が伝わらない可能性があ
る。ここで手話アニメーションと文字という複数のメデ
ィアによって情報を提示することにより,聴覚障害者に
も情報を正確に伝達することが可能になる。
【0081】またよく使われる文について手話文テンプ
レートを用意し,可変部分を指定して手話アニメーショ
ンを作成することにより,手話に精通した人でなくとも
簡単に伝達すべき情報を手話で表現することができ,緊
急時に手話通訳者などが確保できなくても,聴覚障害者
により早く情報をわかりやすい形で提供することができ
る。
【0082】さらにCGデータをあらかじめ持っていない
未登録の手話単語に対して,この見出しを平仮名に置き
換え,指文字として手話アニメーションにすることによ
り,未登録の手話をスキップして情報を不完全にした
り,未登録の部分のCGデータを新たに作成るために時間
を費やしてから手話アニメーションを作成することな
く,情報を手話として提供することができる。
【0083】また手話による情報がテレビなどの画面か
らながれる前に,手話アニメーションの部分の明るさ,
色を変化させることにより,テレビの画面の前の聴覚障
害者が手話による情報が到着したことを知ることがで
き,提供される情報を見落とす可能性が低減される。
【図面の簡単な説明】
【図1】手話アニメーション生成装置の概念図。
【図2】緊急時情報提供に応用した手話アニメーション
生成装置の概念図。
【図3】手話アニメーション生成装置のハードウェア構
成図。
【図4】手話文テンプレートデータのうち可変部つき手
話文データの構造図。
【図5】手話文テンプレートデータのうち手話単語候補
データの構造図。
【図6】手話文データの構造図。
【図7】手話単語CGデータ辞書の構成図。
【図8】手話文テンプレートデータのうち固定部分手話
文データの構造図。
【図9】手話アニメーション作成の流れ図。
【図10】手話文テンプレートデータ選択画面図。
【図11】大分類を選択した状態の手話文テンプレートデ
ータ選択画面図。
【図12】手話文テンプレート編集画面図。
【図13】未登録手話単語に対する指文字変換の流れ図。
【図14】日本語読み仮名構造図。
【図15】未登録手話単語に対する読み仮名決定画面図。
【図16】手話アニメーション編集流れ図。
【図17】手話アニメーション再生状態の画面図。
【図18】手話アニメーション放送開始を伝える画面図。
【図19】字幕と合成された手話アニメーションの放送時
の画面図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐川 浩彦 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 金子 洋一 東京都小平市上水本町5丁目20番1号 日 立超エル・エス・アイ・エンジニアリング 株式会社内

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】手話をCGを用いたアニメーションで生成す
    る装置において、 手話の文を構成する単語の並びおよび単語の部分につい
    て,手話を生成する時に決定できるようにした可変フィ
    ールドと,既に固定された固定フィールドに分割し,フ
    ィールド毎に,そのフィールドが可変フィールドである
    か固定フィールドであるかを示す識別子と,可変フィー
    ルドに代入する手話単語の識別子(あるいは識別子の
    列)の候補とその手話単語をコンピュータグラフィック
    ス(CG)で表現するためのデータを組で格納した手話文
    テンプレートデータを格納する手段と、 手話文テンプレートの可変フィールドごとに代入する手
    話単語識別子を選択することにより手話文テンプレート
    データの可変フィールドの内容を確定させる手段と、 手話をCGで表現するためのデータとして,手の動きの他
    に口唇の形,身振り,顔の表情に関して記述した手話単
    語CGデータを格納する手段と、 手話単語CGデータから各フィールドの間のCGデータを自
    動的に補間し,フィールドに対するアニメーションの間
    で動きが不連続にならない手話アニメーションを生成す
    る手段を有することを特徴とする手話アニメーション生
    成装置。
  2. 【請求項2】請求項1記載の手話アニメーション生成装
    置において,手話文テンプレートにおける可変フィール
    ドに,予め用意した可変フィールドの手話単語候補以外
    の手話単語の見出しを入力できる手段を有することを特
    徴とする手話アニメーション生成装置。
  3. 【請求項3】請求項2記載の手話アニメーション生成装
    置において,手話アニメーションを生成するための手の
    動きや口唇の形,身振り,顔の表情のCGデータを作成あ
    るいは変更し,手話文テンプレートを作成する手段を有
    することを特徴とする手話アニメーション生成装置。
  4. 【請求項4】請求項2記載の手話アニメーション生成装
    置において,手話文テンプレートデータの可変フィール
    ドを確定した後,手話単語CGデータの手の動きや口唇の
    形,身振り,顔の表情のCGデータを変更するための手段
    を有することを特徴とする手話アニメーション生成装
    置。
  5. 【請求項5】請求項2記載の手話アニメーション生成装
    置において,手話文テンプレート以外にその日本語訳に
    対応する日本語テンプレートを有し,可変フィールドの
    手話単語候補以外に手話単語候補に対応した日本語訳を
    有し,日本語テンプレートと可変フィールドの日本語訳
    から,生成する手話文を決定できる手段を有することを
    特徴とする手話アニメーション生成装置。
  6. 【請求項6】請求項2記載の手話アニメーション生成装
    置において,送出すべき情報を手話にする際に必要とな
    る手話単語に対するCGデータが用意されていない場合,
    日本語の各単語について漢字表記とその読みがなの対か
    らなるデータを有し,これを利用して漢字表記から平仮
    名表記への変換を行ない,この平仮名の並びを指文字に
    よって手話アニメーションとして表現する手段を有し,
    あらかじめ登録されていない単語が入力の中に含まれて
    いても,情報の持つ意味を手話で表すことができる手話
    アニメーション生成装置。
  7. 【請求項7】請求項2記載の手話アニメーション生成装
    置において,手話文のアニメーションの表示が開始され
    ることを伝える手段を有することを特徴とする手話アニ
    メーション生成装置。
  8. 【請求項8】請求項7記載の手話アニメーション生成装
    置において,手話文のアニメーションの表示が開始され
    ることを伝える手段として,生成した手話アニメーショ
    ンの再生が始まる前に,手話アニメーションを表示する
    画面全体の明暗を一定時間,短時間で変更する画像,手
    話アニメーションを表示する画面全体の色を一定時間,
    短時間で変更する画像,手話アニメーションの背景の明
    暗を一定時間,短時間で変更する画像,手話アニメーシ
    ョンの背景の色を一定時間,短時間で変更する画像,を
    表示する手段を有することを特徴とする手話アニメーシ
    ョン生成装置。
  9. 【請求項9】請求項7記載の手話アニメーション生成装
    置において,手話文の表示が開始されることを伝える手
    段として,生成した手話文が始まる前に,予め渡された
    受信装置に,振動を起こす信号を伝え,振動を起こす手
    段を有することを特徴とする手話アニメーション生成装
    置。
  10. 【請求項10】請求項2または7記載の手話アニメーショ
    ン生成装置において,生成された手話アニメーションと
    日本語の字幕を同期をとって表示する手段を有すること
    を特徴とする手話アニメーション生成装置。
JP08624796A 1996-04-09 1996-04-09 手話アニメーション生成装置 Expired - Fee Related JP3567596B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08624796A JP3567596B2 (ja) 1996-04-09 1996-04-09 手話アニメーション生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08624796A JP3567596B2 (ja) 1996-04-09 1996-04-09 手話アニメーション生成装置

Publications (2)

Publication Number Publication Date
JPH09274428A true JPH09274428A (ja) 1997-10-21
JP3567596B2 JP3567596B2 (ja) 2004-09-22

Family

ID=13881494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08624796A Expired - Fee Related JP3567596B2 (ja) 1996-04-09 1996-04-09 手話アニメーション生成装置

Country Status (1)

Country Link
JP (1) JP3567596B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296753A (ja) * 2002-04-04 2003-10-17 Computer Image Laboratory Co Ltd 聴覚障害者用対話システム
JP2004110649A (ja) * 2002-09-20 2004-04-08 Hitachi Information Systems Ltd 手話アニメーションによる情報提供システム
JP2006215553A (ja) * 2005-01-31 2006-08-17 Samsung Electronics Co Ltd 放送・通信融合システムにおける手話ビデオデータの提供システム及びその方法
JP2009060650A (ja) * 2008-10-03 2009-03-19 Asutemu:Kk 送受信システム、送出装置、および受信装置
JP2011123422A (ja) * 2009-12-14 2011-06-23 Asutemu:Kk 手話映像生成装置、手話映像出力装置、手話映像生成方法、及びプログラム
JP2011175598A (ja) * 2010-02-25 2011-09-08 Nippon Hoso Kyokai <Nhk> 手話アニメーション生成装置及び手話アニメーション生成プログラム
JP2015230640A (ja) * 2014-06-06 2015-12-21 日本放送協会 手話cg生成装置及びそのプログラム
JP2016038748A (ja) * 2014-08-07 2016-03-22 日本放送協会 手話cg生成装置及び手話cg生成プログラム
JP2018067125A (ja) * 2016-10-19 2018-04-26 日本放送協会 読み推定装置及びプログラム
KR102167760B1 (ko) 2020-07-24 2020-10-19 주식회사 멀틱스 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
JPWO2019160090A1 (ja) * 2018-02-16 2021-03-11 日本電信電話株式会社 非言語情報生成装置、方法、及びプログラム
JP2022056593A (ja) * 2020-09-30 2022-04-11 本田技研工業株式会社 会議支援システム、会議支援方法およびプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296753A (ja) * 2002-04-04 2003-10-17 Computer Image Laboratory Co Ltd 聴覚障害者用対話システム
JP2004110649A (ja) * 2002-09-20 2004-04-08 Hitachi Information Systems Ltd 手話アニメーションによる情報提供システム
JP2006215553A (ja) * 2005-01-31 2006-08-17 Samsung Electronics Co Ltd 放送・通信融合システムにおける手話ビデオデータの提供システム及びその方法
JP2009060650A (ja) * 2008-10-03 2009-03-19 Asutemu:Kk 送受信システム、送出装置、および受信装置
JP2011123422A (ja) * 2009-12-14 2011-06-23 Asutemu:Kk 手話映像生成装置、手話映像出力装置、手話映像生成方法、及びプログラム
JP2011175598A (ja) * 2010-02-25 2011-09-08 Nippon Hoso Kyokai <Nhk> 手話アニメーション生成装置及び手話アニメーション生成プログラム
JP2015230640A (ja) * 2014-06-06 2015-12-21 日本放送協会 手話cg生成装置及びそのプログラム
JP2016038748A (ja) * 2014-08-07 2016-03-22 日本放送協会 手話cg生成装置及び手話cg生成プログラム
JP2018067125A (ja) * 2016-10-19 2018-04-26 日本放送協会 読み推定装置及びプログラム
JPWO2019160090A1 (ja) * 2018-02-16 2021-03-11 日本電信電話株式会社 非言語情報生成装置、方法、及びプログラム
KR102167760B1 (ko) 2020-07-24 2020-10-19 주식회사 멀틱스 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
JP2022056593A (ja) * 2020-09-30 2022-04-11 本田技研工業株式会社 会議支援システム、会議支援方法およびプログラム

Also Published As

Publication number Publication date
JP3567596B2 (ja) 2004-09-22

Similar Documents

Publication Publication Date Title
US5734923A (en) Apparatus for interactively editing and outputting sign language information using graphical user interface
US5875427A (en) Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence
US5842167A (en) Speech synthesis apparatus with output editing
KR100586766B1 (ko) 멀티-모달 콘텐츠 렌더러에서의 오디오 및 비쥬얼프레젠테이션의 동기화 방법 및 시스템
US6181351B1 (en) Synchronizing the moveable mouths of animated characters with recorded speech
US5630017A (en) Advanced tools for speech synchronized animation
US6377925B1 (en) Electronic translator for assisting communications
US6549887B1 (en) Apparatus capable of processing sign language information
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
JP3567596B2 (ja) 手話アニメーション生成装置
JP6280312B2 (ja) 議事録記録装置、議事録記録方法及びプログラム
JP2003530654A (ja) キャラクタのアニメ化
JPH10509811A (ja) 外国語教育補助方法及び装置
JPWO2007069512A1 (ja) 情報処理装置及びプログラム
JP2014109988A (ja) モーション映像生成装置及びモーション映像生成プログラム
Quek et al. A multimedia system for temporally situated perceptual psycholinguistic analysis
James Representing structured information in audio interfaces: A framework for selecting audio marking techniques to represent document structures
JPH06274533A (ja) マルチメデイア提示内で音声的サーチ・パターンを使用するためのシステム及びその方法
JP2000250402A (ja) 外国語の発音学習装置及び外国語発音学習用データを記録した記録媒体
JPH0981174A (ja) 音声合成システムおよび音声合成方法
JP2002344805A (ja) オープンキャプションに対する字幕表示制御方法
JP3222283B2 (ja) 案内装置
Androutsopoulos et al. Generating multilingual personalized descriptions of museum exhibits-The M-PIRO project
JP3368739B2 (ja) アニメーション制作システム
CN115956269A (zh) 语音转换装置、语音转换方法、程序及记录介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees