JPH09265253A - 口唇アニメーション合成方法及び装置 - Google Patents

口唇アニメーション合成方法及び装置

Info

Publication number
JPH09265253A
JPH09265253A JP7586096A JP7586096A JPH09265253A JP H09265253 A JPH09265253 A JP H09265253A JP 7586096 A JP7586096 A JP 7586096A JP 7586096 A JP7586096 A JP 7586096A JP H09265253 A JPH09265253 A JP H09265253A
Authority
JP
Japan
Prior art keywords
mouth
data
mouth shape
frames
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7586096A
Other languages
English (en)
Inventor
Asako Sakiyama
朝子 崎山
Shoji Ikeda
尚司 池田
Hirohiko Sagawa
浩彦 佐川
Masaru Oki
優 大木
Yoichi Kaneko
洋一 金子
Ansonii Sumisu
スミス・アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP7586096A priority Critical patent/JPH09265253A/ja
Publication of JPH09265253A publication Critical patent/JPH09265253A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 人間らしい口の動きをするコンピュータグラ
フィックスの口唇アニメーションを合成可能にするこ
と,及,口の動きのデータを変更せずにユーザの好みに
あった様々な口の形を表現可能にすることである。 【解決手段】 人間の口の動きを計測して図1(c)に
示すような口形単位データを登録し,データを接続する
ことによって,人間らしい口の動きを コンピュータグ
ラフィックスのアニメーションで表現できるようにし
た。また,図4に示すようにユーザが登録した口の形A1
4004,I2 4005等を内挿して,任意の口形データに対応
する口の形を計算することによって,口の動きのデータ
を変更せずにユーザの好みにあった口形を表現できるよ
うにした。 【効果】 任意の日本語の入力に対して,読みやすい口
唇アニメーションを自動的に合成できるようになるた
め,聴覚障害者,難聴者,耳が遠くなった老人などが,
読唇しやすくなり,多くの情報を,早く正確に得られる
ようになる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】入力された日本語の文字列か
ら,手話の手動作と口の動きを,コンピュータグラフィ
ックスのアニメーションで合成する方法及び装置であ
る。
【0002】
【従来の技術】近年,聴覚障害者のコミュニケーション
手段として,手話が重要であるという認識が社会に浸透
しつつある。そのため,手軽に手話で情報が伝えられる
ようにする技術の開発が進められている。その一つにコ
ンピュータグラフィックス(以下,CGと呼ぶ)のアニメ
ーションで手話を表現する技術がある。手話で会話を行
う際には手の動きと共に,口の動きが重要な役割を果た
す。口の動きが重要な役割を果たしている根拠として,
以下のような理由が挙げられる。第1に,手動作が同じ
で,意味が異なる手話単語は,口の形で使い分けるこ
と。第2に,聾学校では大正時代以来,口の形を読む
(口話)教育が行われて来たため,多くの情報を口の形
から得る人がいること。第3に,難聴者の多くは,わず
かに聞こえる音と口の形の両方から主な情報を得ている
ことである。これらの理由から,わかりやすい口の形と
口の動きを表現できるCGアニメーションを合成すること
は,様々な程度の障害を持つ聴覚障害者に,正しく情報
を伝えられるようにするために非常に重要である。
【0003】従来の,口形をCGアニメーションで表現す
る技術としては,例えば第11回ヒューマン・インタフ
ェース・シンポジウム,pp.191-196(1995)に示されて
いるように,まず,人間の口の形を計測し,計測結果を
規則化し,その規則を用いて口形を合成していた。これ
は,音声合成における規則合成方式に相当する方法であ
る。この従来の技術では,音声合成における規則合成方
式が難しかったのと同じように,読みやすい口の動きを
合成することはまだ困難である。
【0004】また,読話には口の動きと共に微妙な唇の
形が重要である。なぜならば,人によって読みやすい口
の形が異なったり,唇の形から微妙な感情が読み取られ
たりするからである。たとえば,CGのモデルの下唇が少
しでも突き出ていると,それを見た人は「ばかにされて
いる」と感じる。そのため,読みやすい口のアニメーシ
ョンを合成するためには,人間に近い口の動きだけでは
なく,わかりやすい口形も合成する必要がある。しか
し,従来の技術のの多くは口の動きに関するものであっ
たため,CGで描く口の形を調節し,聴覚障害者にとって
わかりやすい口の形に合わせることが困難であった。
【0005】
【発明が解決しようとする課題】本発明が解決しようと
している問題は2つある。第1に,従来の口唇アニメー
ションでは,規則から口の動きを合成していたために,
口の動きが読み取りにくかったこと。第2に,従来の口
唇アニメーションでは,データを変更せずに,口の形の
みを個人の好みに合わせて調整することができなかった
ことである。本発明の目的は,前記従来の問題1を解決
するために,人間の口の動きを計測したデータを用いる
ことにより人間に近い口の動きを合成し,問題2を解決
するために,任意のデータにユーザが指定するCGモデル
の口の形を割り付られるようにすることによって,自然
でわかりやすい口の形の表現を実現することにある。
【0006】
【課題を解決するための手段】前述の問題点を解決する
ために本発明が提供する手段は次の通りである。日本語
のローマ字列を口形ラベルの列に変換し,口形ラベルか
ら人間の口の形を計測して登録した口形単位データを検
索し,検索された口形単位データを接続することによっ
て人間に近い口の動きを再現する。更に,口形単位デー
タから合成された口の動きのデータに,個人用の辞書に
登録してあるCGの口の形を対応づけることによって,個
人の好みに合った口形を合成できるようにする。
【0007】
【発明の実施の形態】以下,本発明の実施例について図
面を参照しつつ説明する。
【0008】ローマ字列を口形データに変換する例を図
1,図2に示し,任意の口形データにユーザが指定する
CGの口の形を割り付ける例を図3,図4に示す。これら
の図は,本発明の原理を説明するためのものである。
【0009】始めに「人間の口の形を計測した口形単位
データを用いて口唇アニメーションを合成する方法」の
原理を説明する。図1では,「私は甘とうです」という
日本語をヘボン式ローマ字つづりで表記した例文を用い
て,ローマ字列を口形データに変換する例を説明する。
口形単位データとは,人間の唇の位置を計測したデータ
であり,ポリゴンで構成されるCGの絵を動かすために使
う。また,口形データとは口形単位データを合成して作
ったデータのことである。
【0010】記憶しておく口形単位データとしては,次
に示すように様々な種類が考えられる。1音素毎に登録
する方式,複数の音素を組み合わせて登録する方式,母
音のみをデータとして登録する方式,母音と子音の両方
をデータとして登録する方式などがある。本発明では,
atoのように母音2つで子音を挟んだものを口形単位デ
ータの単位とする。この単位で口形単位データを登録す
ると,子音の口形が,前後の母音の口形から受ける影響
を自然に合成できるという利点がある。例えば文例(a)
に示すamatoudesuは,(b)に示すように,ama-ato-ou-ud
e-esuという,母音2つを含む口形ラベルの列で表記で
きる。(b)のama-atoのように母音aを重複させて口形ラ
ベルを作るとamaとatoを滑らかに接続することができ
る。例えば,図1の色の濃い部分に含まれるamaとatoの
aの波形(以下,人間が「あ」という音を発声した時の
口の開きの大きさをプロットした波形を{a}と表記す
る。)から分かる通り,母音の種類が同じならば,その
波形はほぼ同じである。そのため,子音と母音を接続す
るよりも,同じ母音どうしを接続したほうが,より自然
な口形データが合成可能となる。
【0011】以下では図1と図2を用いて{ama}と{a
to}を接続する方法を具体的に説明する。母音の口形デ
ータの波形{a}{e}{i}{o}{u}は,図2(a)に
示す2つのタイプ,type_aとtype_u に分けることがで
きる。type_aとしては{a},type_uとしては{e}
{i}{o}{u}がある。{a}の形を図2(a)に示し,
その特徴を説明する。{a}は凸の形をしており,開口
時には口は直線的に開き 2002,口の開きが最も大きく
なる部分 2001で曲率が大きくなる。また,{a}の直線
的な部分 2002の傾きは,{ama}{ato}でほぼ同じで
ある。これらの特徴から,{ama} と{ato}を接続す
る際には,補間に使う関数が単純な形になるように,直
線的な区間 2002を挟んで{ama} と {ato} を接続で
きるように口形データを作る。一方,type_uの母音,例
えば{u},を接続する際には,直線で近似できる区間
が{a}とは異なる。図2{a}で直線的なのは,口を閉じた
状態から口が開かれる区間2002であるが,図2{u} で
は,口が開ききった状態の2003である。そこで,type_u
の口形データを作る場合には,type_aおけるP2(amaとa
toを接続する際の接続開始点)とP3(接続終端点)の代
わりに,図2のP4(接続開始点)とP5(接続終端点)と
を登録する。本発明の結合方式では,必ず同じ母音どう
しを接続するため,typu_aの波形とeype_uの波形が接続
されることはない。図1(c)中の色の濃い部分は,{a
ma}と{ato}を接続する際に重ねあわせる{a}の部分
である。口形単位データには,図2(b)に示すように
データを接続する際に必要な情報を,予め登録してお
く。これらの情報の使い方については,以下で説明す
る。まず,口形単位データの先頭部を示した図2(b)
を用いて,データを接続する際に必要な情報について説
明する。図2(b)におけるP2(フレーム47)1001は図
1(c)amaにおける,2つめの{a}の始まりのフレーム
番号であり,P3 (フレーム38)1002はatoの{a}の直
線で近似ができる領域 2002 と直線で近似がでない領域
2001 との境界のフレーム番号である。また,type_a 1
003 はamaとatoを接続する際に,atoの{a}の勾配の情
報ΔX/ΔY (勾配値0.0443)1004(図1(c)及,図2
(b)参照)を使うことを示す記号である。次に,P2100
1とP3 1002の間を補間する方法を,図1(c)と(d)を
用いて具体的に説明する。始めに(c)におけるP2 1001
とP3 1002との関係から,合成結果である(d)における
P2とP2+Δxの間の間隔Δx 1005 を決める方法を説明す
る。そのためにまず,接続すべきフレームP2 1001とフ
レームP3 1002のデータの値の差Δyを求める。そして,
口形時系列データ{ato}に格納されている勾配情報ΔX
/ΔY 1004と
【0012】
【数1】
【0013】を用いてΔxを計算する。{ato}の勾配
情報ΔX/ΔY 1004を用いてΔx 1005 を計算する理由
は,合成された{a}の部分をもとの{ato}の{a}に
近くするためである。 更に,{ato}を図1(d)P2+Δ
x まで並行移動させ,フレームP2の口形データとP2+Δx
の口形データの間をスプライン補間法で補間する。スプ
ライン補間法は従来の方法,例えばSedgewick R, ALGOR
ITHMS, ADDISON-WESLEY PUBLISHING COMPANY, pp 67-7
6.に載っている方法を使う。母音の波形がtype_uの場
合,例えば図1(c)の{o}のように,ΔX/ΔY 1004を
計算する際に使う直線的な部分が少ない場合には,
{o}の平均的なΔDを求め,ΔX/ΔY 1004の代わりに口
形の持続フレーム数ΔDを登録する。ΔDを与えるという
ことは,母音の持続時間を与えることと同じである。ま
た,接続する母音がtype_uの場合には,type_a1003 の
位置にtype_aではなくtype_u と登録する。また,図1
(d)におけるP2とP2+Δxの間の間隔Δxの代わりに,口
形単位データに登録してあるΔDを用いる。このΔDの大
きさを変えることによって,母音の長さを調節すること
が可能である。以上の方法で,請求項1,2,5を実現
することができる。
【0014】次に,「計測したデータに,ユーザが好み
のCGモデルの口の形を割り付られるようにする方法」の
原理を図3,図4を用いて説明する。始めに,図3を用
いて問題を更に説明する。人間の口の形は,人によっ
て,あるいは,同一人物でも話し方で異なる。そのた
め,同じ「あ」 図3(a)という音に対する口の形(以
後,「あ」を発音した際に最も口の開きが大きくなった
際の口の形を[a]と表記する。{a}は口の時間的な変化
を表わし,[a]は静的な口の形を表わす。)には,図3
(b)(c)(d)のように様々な口の形がある。このよ
うに縦方向の口の開きvと横方向の口の開きhは同じでで
も,全体の印象は異なる。こうした微妙な違いは,読話
には重要である。そのため,任意の口形データに好みの
口の形,例えば図3(c)を割り付けられるようにする
必要がある。以下では,その方法を説明する。
【0015】始めに,本発明で使用するHV座標系につい
て図4を用いて説明する。この図4(b)HV座系は,
(a)計測された口の動きのデータに,ユーザが(c)口
形テンプレート(図5 11参照)に格納した口の形の
データを対応づける際に用いる。縦軸(V軸)は人間の
唇の位置を計測した結果から計算した上下方向の開きv
4001であり,横軸は左右方向の唇の引きh 4002である。
ここでは,任意の口の形に応用できるようにするため
に,唇の開きvを唇の開きの最大値vmaxで規格化した値v
/vmaxと,唇の引きhを最大値hmaxで規格化した値h/hmax
を用いている。計測して登録した口形単位データ,ある
いは,それを合成して作った口形データは,上記の方法
で規格化し,このHV座標にプロットする。A(Ha,Va) 400
3は,人間が「あ」という音を発音した際の唇の引きと
開きの値を計測して,HV座標にプロットした座標点であ
る。
【0016】次に,このHV座標上の点に,ユーザが図4
(c)口形テンプレートに登録した口の形を割り付ける
方法を説明する。ここで,割り付けるとは,HV座標上の
1点が選択された場合に,必ず1つのポリゴンデータが
対応するようにするという意味である。ここで,A1 400
4,A2 4009,I1 4006 はユーザが口形テンプレート記憶
部 11 に登録したポリゴンデータの頂点座標を,CGで使
うxy座標上にプロットした図である。A1 4004は日本語
の文字「あ」が入力された場合に使う口の形である。A2
4009はA1 4004の口形を誇張したもので,日本語の文字
「あ」が文の先頭や末尾にある場合に使うポリゴンデー
タである。このようにすると,条件に応じて様々な口の
形を表現可能である。I1 4006 は,日本語の文字「い」
が入力された場合に使う唇の形である。
【0017】まず,[a] (「あ」を発音した際の口形)
をHV座標上にプロットし,A 4003とする。次に,ポリゴ
ンの頂点座標データ A1 4004をa 4003に割り付ける。こ
のA1 4004はユーザが作った,CGの口の形である。日本
語「あ」を入力する例を用いて詳しく説明する。まず,
日本語「あ」が入力されると,入力された口の開きと引
きがA 4003にプロットされる。次に,「あ」が文の先頭
にある場合には,A 4003にA2 4009 を割り付け,その他
の場合にはA1 4004を割り付ける。すると,文頭におけ
る口の大きさが大きくなり,読唇が行いやすくなる。日
本語「い」が入力された場合には,HV座標上の点I 4005
にポリゴンデータI2 4006を割り付ける。他の母音や,
口の開きが最大,最小,口の引きが最大,最小になった
際のHV座標上の点にも,ポリゴンデータの形を割り付け
る。以下では,任意の口形データP4007が入力された際
に,ユーザが選んだ口形から,口形データP 4007に対応
するポリゴンデータを合成する方法について説明する。
まず,P 4007を内部に含む三角形の頂点,A 4003,E 40
08,I 4005を選ぶ。このとき, P 4007 は
【0018】
【数2】
【0019】に示すように,A,I,Eで表わすことがで
きる。数2における係数a,b,1-a-bはそれぞれ,P 400
7が図4A 4003,I 4005,E 4008から受ける影響の強さ
を表わしている。そのため,数2と図4A 4003,B 400
5,E 4008とを用いてP 4007 に割り付ける口形のポリゴ
ンデータを線形内挿すれば,ユーザが登録したポリゴン
データを反映した口形を合成できる。例として,図4に
示した22の頂点からなる口の形のポリゴンデータの形
を決定することを考える。まず,数2から未知数a,bを
求める。数2は2つの未知数a,bと2本の独立した式か
ら成っているので,aとbを既知の値,ここでは P 400
7,A 4003,E 4008,I 4005,から求めることができ
る。次に,数2を用いてP 4007 に割り付けるポリゴン
データを内挿する。図4A1 4004,I2 4006のポリゴンデ
ータはそれぞれ22の頂点座標(xa1,ya1),(xa2,ya
2)...,(xa21,ya21),(xa22,ya22),(xi1,yi
1),(xi2,yi2),...,(xi21,yi21),(xi22,yi
22)で指定される。これらのデータと数2を用いてP 40
07 に割り付けるポリゴンデータを内挿すると
【0020】
【数3】
【0021】のようになる。
【0022】図5は,本発明の一実施例を示す論理ブロ
ック図である。図において,1は日本語ローマ字列変換
部であり,日本語を図1(a)に示すような,ヘボン式
ローマ字つづりのローマ字列に変換する。8は,日本語
手話単語ラベル変換部であり,日本語単語列を手話単語
ラベル列に変換する。この変換は公知の方法,例えば,
大平他:手話合成システムの基本検討,情報処理学会第
46回全国大会,1-309(1992)の方法を用い
て変換することができる。2は,口形ラベル生成部であ
り,図1(b)に示す通り,ヘボン式ローマ字つづりを
母音2つを含む,口形ラベル列に変換する。3は,口形
単位データ合成部であり,口形ラベルと同じファイル名
を持った口形単位データを口形単位データ記憶部10か
ら読み込み,図1(c)で説明した方法で口形単位デー
タを接続する。4は,口形データフレーム数調整部であ
り,請求項7と8を実現する部分である。この調整部で
は,9の手話単手動作データ入力部から送られてくる手
動作データのフレーム数に,口形データのフレーム数を
合わせる。手動作データ入力部は公知の技術,例えば,
大平他:手話合成システムの基本検討,情報処理学会第
46回全国大会,1-309(1992)の技術で実現
可能である。口形データのフレーム数が手動作データの
フレーム数よりも少ない場合には,口形データのフレー
ムを間引き,多い場合には,フレームをコピーするとに
よって,フレームの数を調節する。本実施例では,口形
データのフレーム数を手動作データのフレーム数に合わ
せたが,口の形を音声と同期させる場合には,発声され
ている時間からフレーム数を計算することによって,口
の形を音声と同期させることが可能である。5は口形調
整部であり,口形データフレーム調整部 4 から送られ
てくる口形データに口形テンプレート記憶部11 にユ
ーザが登録した口形を割り付ける。6はCG表示部であ
り,口形調整部 5 から口形ポリゴンの頂点データを受
け取り,ディスプレイ7 に,口の形の絵を描画する。
【0023】以下では,本発明において最も重要な口形
単位データ合成部 3 を,図6,図7と図1を用いて説
明する。まず,口形ラベル生成部 2 から,口形ラベル
列が送られる 60。口形ラベル列の一例としては,図1
のama,ato,ou,ude,esuが挙げられる。この口形ラベ
ル列の中から口形ラベルを一つ選び,後続の口形単位デ
ータ用のラベルとする。この際,選んだラベルが口形ラ
ベル列の先頭にある場合(例えば,図1(a)のwa)に
は,このラベルを先行単位データのラベルとし,口形ラ
ベル列の先頭から2番目のラベル(図1(a)ではata)
を後続単位データのラベルとする。図1(b)の例で
は,amaが先行する口形ラベルでありatoが後続の口形ラ
ベルである 61。先行する口形単位データからは,終端
フレーム番号を読み込む。この具体例は,図1のP2であ
る。また,後続の口形単位データからは,先頭のフレー
ム番号とタイプを読み込む。先頭のフレーム番号の具体
例は,図1におけるP3であり,タイプの具体例は図2
(b)の type_a 1003 である。
【0024】このタイプが type_aであるときには,後
続口形単位データの勾配情報を使って補間を行う 63。
この補間のステップを図1の具体例を用いて説明する。
まず,先行する口形単位データ ama の終端フレーム P2
1001における口の開きの大きさyと,後続の口形単位デ
ータ ato の先頭のフレーム P3 1002 における口の開き
の大きさの差 Δy を求める 64。次に,後続の口形単位
データ ato から勾配
【0025】の値 1004 を読み込み,この勾配の値とス
テップ 64 で求めたΔy を
【数1】に代入してΔx 1005 を求める65。更に,先行
の口形単位データの先頭フレーム番号 P2 にフレーム数
Δx を加えた値を,後続の口形単位データの先頭フレ
ーム番号とする。後続の口形単位データの全てのフレー
ム番号も更新する66。
【0026】タイプが,type_uであるときには,後続の
口形単位データから持続フレーム数ΔD 2003 を読み込
む 70。そして,先行する口形単位データの終端フレー
ムの番号にΔDを加えた値を,後続の口形単位データの
先頭フレーム番号とする。後続の口形単位データの全て
のフレーム番号も更新する 71。
【0027】以上の方法で,補間開始フレームと補間終
了フレームが決まる。補間開始フレームのデータと補間
終了フレームのデータとの間はスプライン補間法で補う
67。まだ口形ラベルが残っている場合には,後続口形単
位データを先行口形単位データとし,後続口形単位デー
タを読み込む 68。口形ラベル全てを処理し終わった場
合には,口形データを口形データフレーム数調整部へ送
る69。以上の本発明の方法により,人間の口の動きのデ
ータを使って,人間の口の動きに近いCGの口唇アニメー
ションを簡単に合成することが可能となる。
【0028】
【発明の効果】本発明を用いることによって,人間の口
の動きに近い口唇アニメーションが合成可能となると共
に,ユーザが指定した通りのCGの口の形を合成できるよ
うになるため,読唇がしやすくなる。
【図面の簡単な説明】
【図1】一例を用いて本発明の原理を説明する図。
【図2】口形単位データを説明するための図である。
【図3】従来法の問題点を説明する図である。
【図4】任意の口形データにユーザが登録する口形を割
り当てる方法を説明する図である。
【図5】本発明の一実施例を示す論理ブロック図であ
る。
【図6】口形単位データ間の補間処理の手順である
【図7】図6の口形単位データ間の補間処理の続きであ
【符号の説明】
1:日本語ローマ字列変換部 2:口形ラベル生成部 3:口形単位データ合成部 4:口形データフレーム数調整部 5:口形調整部 6:コンピュータグラフィックス表示部 7:ディスプレイ 8:日本語手話単語ラベル変換部 9:手話単語手動作データ入力部 10:口形単位データ記憶部 11:口形テンプレート記憶部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大木 優 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 金子 洋一 東京都小平市上水本町5丁目20番1号 日 立超エル・エス・アイ・エンジニアリング 株式会社内 (72)発明者 スミス・アンソニー アイルランド国、ダブリン2、トリニティ カレッジ、オリリー インスティテュー ト、ヒタチ ヨーロッパ リミテッド ヒ タチ ダブリン ラボラトリー、リサーチ アンド ディベロプメント センター内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】口唇アニメーションを合成する装置におい
    て,人間の口の動きを計測した口形単位データを,口形
    ラベルとともに記憶する手段と,入力された日本語をロ
    ーマ字列に変換する手段と,上記ローマ字列を,口形単
    位データについている口形ラベルの列に変換する手段
    と,口形ラベル列に従って口形単位データを読み込んで
    データを合成する手段とを有することを特徴とする口唇
    アニメーション合成装置。
  2. 【請求項2】請求項1における口唇アニメーション合成
    装置において,入力された日本語の文字列から手話単語
    手動作データを検索して手話単語手動作データの総フレ
    ーム数を読み込む手段と,手話単語手動作データの総フ
    レーム数に合わせて,口の動きのデータのフレーム数を
    変更する手段とを有することを特徴とする口唇アニメー
    ション合成装置。
  3. 【請求項3】請求項1における口唇アニメーション合成
    装置において,ユーザがデザインした口の形のポリゴン
    データを記憶する手段と,合成された口の動きのデータ
    を用いて,登録されている口の形のポリゴンデータを更
    新する手段を有することを特徴とする口唇アニメーショ
    ン合成装置。
  4. 【請求項4】入力された日本語をローマ字列に変換する
    こと,ローマ字列を口形単位データの見出しである口形
    ラベルの列に変換すること,人間の口の動きを計測して
    登録した口形単位データを口形ラベルとともに記憶して
    いる記憶手段から,口形単位データを検索して読み込
    み,口の動きのデータを合成することを含むことを特徴
    とする口唇アニメーション合成方法。
  5. 【請求項5】請求項4における口形ラベルは,少なくと
    も2つの母音を含むことを特徴とする口唇アニメーショ
    ン合成方法。
  6. 【請求項6】請求項4における口唇アニメーション合成
    方法において,手話単語手動作データを記憶する記憶手
    段から,入力された日本語の文字列に対応する手話単語
    手動作データを検索して総フレーム数を読み込み,上記
    総フレーム数に合わせて,口の動きのデータのフレーム
    数を変更することを特徴とする口唇アニメーション合成
    方法。
  7. 【請求項7】請求項4における口唇アニメーション合成
    方法において,合成された口の動きのデータに基づい
    て,ユーザがデザインした口の形のポリゴンデータを記
    憶する記憶手段からポリゴンデータを検索し,更新する
    ことを特徴とする口唇アニメーション合成方法。
JP7586096A 1996-03-29 1996-03-29 口唇アニメーション合成方法及び装置 Pending JPH09265253A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7586096A JPH09265253A (ja) 1996-03-29 1996-03-29 口唇アニメーション合成方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7586096A JPH09265253A (ja) 1996-03-29 1996-03-29 口唇アニメーション合成方法及び装置

Publications (1)

Publication Number Publication Date
JPH09265253A true JPH09265253A (ja) 1997-10-07

Family

ID=13588428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7586096A Pending JPH09265253A (ja) 1996-03-29 1996-03-29 口唇アニメーション合成方法及び装置

Country Status (1)

Country Link
JP (1) JPH09265253A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837889B1 (ko) * 2005-02-14 2008-06-13 (주)시지웨이브 청각장애인을 위한 온라인 독화술 학습 시스템
JP2019125927A (ja) * 2018-01-17 2019-07-25 株式会社Jvcケンウッド 表示制御装置、通信装置、表示制御方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837889B1 (ko) * 2005-02-14 2008-06-13 (주)시지웨이브 청각장애인을 위한 온라인 독화술 학습 시스템
JP2019125927A (ja) * 2018-01-17 2019-07-25 株式会社Jvcケンウッド 表示制御装置、通信装置、表示制御方法およびプログラム
WO2019142424A1 (ja) * 2018-01-17 2019-07-25 株式会社Jvcケンウッド 表示制御装置、通信装置、表示制御方法およびプログラム
US11508106B2 (en) 2018-01-17 2022-11-22 Jvckenwood Corporation Display control device, communication device, display control method, and recording medium

Similar Documents

Publication Publication Date Title
Graf et al. Visual prosody: Facial movements accompanying speech
US8131551B1 (en) System and method of providing conversational visual prosody for talking heads
US8224652B2 (en) Speech and text driven HMM-based body animation synthesis
Cassell et al. Animated conversation: rule-based generation of facial expression, gesture & spoken intonation for multiple conversational agents
US7353177B2 (en) System and method of providing conversational visual prosody for talking heads
JP3664474B2 (ja) 視覚的スピーチの言語透過的合成
US20020024519A1 (en) System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character
CN105390133A (zh) 藏语ttvs系统的实现方法
JP4037455B2 (ja) 画像合成
Malcangi Text-driven avatars based on artificial neural networks and fuzzy logic
JP2000214764A (ja) 手話メ―ル装置
KR20110081364A (ko) 캐릭터의 발화와 감정표현 제공 시스템 및 방법
Sagawa et al. Pattern recognition and synthesis for a sign language translation system
Karpov et al. Multimodal synthesizer for Russian and Czech sign languages and audio-visual speech
CN115311731B (zh) 一种手语数字人的表情生成方法和装置
Gibet et al. Signing Avatars-Multimodal Challenges for Text-to-sign Generation
KR20060133190A (ko) 수화 인식과 수화 발생을 구현한 양방향 수화 전화 시스템
JPH09265253A (ja) 口唇アニメーション合成方法及び装置
JP2003058908A (ja) 顔画像制御方法および装置、コンピュータプログラム、および記録媒体
Kawai et al. Deaf-and-mute sign language generation system
CN115956269A (zh) 语音转换装置、语音转换方法、程序及记录介质
JP2002099295A (ja) 翻訳装置、画像合成装置、翻訳方法、画像合成方法および媒体
EP0982684A1 (en) Moving picture generating device and image control network learning device
JPH11184370A (ja) 手話情報提示装置
Verma et al. Animating expressive faces across languages