JPS63225875A - スピーチ同期アニメーション - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、一般的にはコンピュータによす生成された映
像と音響との同期を利用した教育方法に関し、より特定
するならば人物又はアニメ（動画）化されたキャラクタ
−の動作に対応する身体の画像及び音響を構成要素へと
分解し、この構成要素を当該人物又はアニメ化されたキ
ャラクタ−であって異なる、関連性のない動作を行って
いるものへと再度組み立てるための方法及び装置に関す
るものである。

〔従来の技術〕

予め記録された映像及び音響の時間的に同期されたシー
ケンスを利用して、映像的な娯楽又は教育用の道具を提
供することは、従来の技術において周知である。このよ
うな従来技術は、「トーキ−」の開発から今日の視聴者
との会話形映画に至るまでの映画及び娯楽産業の歴史を
辿ることによって、最も良く例証されるであろう。

１９世紀の終わり頃に、スクリーン上に１秒に２０から
３０コマを投影して動作の効果を与えるように予め記録
された連続的なコマからなる、最初の実用的な映画が開
発された。予め記録された音響のシーケンス即ち音声ト
ラックを動画と同調させるための技術は、１９２０年代
に開発された。１９３０年代には、手描きの漫画アニメ
ーションを生成するためのアニメーション技術が開発さ
れたが、このアニメーションは予め記録された音声トラ
ックを伴うように同期された唇の動きを有するアニメ化
された人物を含むものであった。コンピュータの出現と
共に、人間の音声を合成する電子的デバイス及び言語を
認識するシステムなどをも含めて、コンピュータにより
生成される映像と言語の発展へと向けてますます多くの
努力が払われてきている。

１９７０年９月２１日付けのＩＢＭ研究リポすトＲＣ３
０５２のｒＫＡＲＭＡ　ニスドーリ−ボードアニメーシ
ョンのためのシステム」と題するグレーサー氏（Ｆ、　
Ｇｒａｃｅｒ）及びプラスゲン氏（Ｍ、Ｗ、Ｂｌａｓｇ
ｅｎ）により著された論文には、始めと終わりのコマの
間にある中間のコマを自動的に作り出す、会話形のコン
ピュータグラフィックスプログラムが開示されている。

中間のコマは、線形補間技法を使用することにより計算
され、次いでプロッタ上に生成される。「唇の動きのコ
ンピュータアニメーションのための方法」と題する１９
７２年３月のＩＢＭ技術発表報告第１４巻に記載の論文
の５０３９及び３０４０頁において、バグリー氏（Ｊ、
Ｄ、　Ｂａｇｌｅｙ）及びグレーサー氏（Ｆ、　Ｇｒａ
ｃｅｒ）は、コンピュータアニメーションシステムにお
いて使用するための、コンピュータ生成された唇のアニ
メーションのための技術を開示している。即ちスピーチ
処理システムが、ある字体の辞書的な表示を音素のスト
リングへと変換し、これを対応する生のスピーチの入力
ストリームとマツチさせて、タイミングデータを生成す
る。各々の言語音について映像データがあるとすれば、
上記したようなコンピュータアニメーションシステムは
、一つの映像的画像から次のものへの滑らかな遷移をも
たらすための中間コマを生成して、円滑なアニメーショ
ンを作り出す。そして最後にタイミングデータが使用さ
れて、音素のストリングを映像的画像と相関させ、正確
に計時され映像的に相関されたスピーチ事象のシーケン
スを作り出すのである。

映画及び娯楽産業における最近の発展は、ビデオ・アー
ケード・ゲーム及びブランチング・ムービーによって例
示される如き視聴者の活発な参画に関連している。米国
特許第４．３０５．１３１；４．３３３．１５２；４，
４４５．１８７及び４．５６９．０２６号は、ブランチ
ング・ムービーをもたらすリモコン操作のビデオディス
ク装置に関しているが、そこにおいては視聴者は、映画
の筋やビデオゲームのストーリーに対して能動的に影響
を及ぼすことができる。ベスト氏（Ｒｏｂｅｒｔ　Ｍ、
　Ｂｅ５ｔ）に対して１９８６年２月４日に付与された
「口答えするテレビ映画」と題する米国特許第４．５６
９，０２６号は、ビデオゲーム娯楽システムを開示して
いるが、それによれば−人又はそれ以上の視聴者がビデ
オゲームのストーリー又は映画の筋に対して言葉により
又は手動操作により影響を及ぼすことができ、ゲーム又
は映画中のキャラクタ−とシミュレートされた双方向の
音声による会話を行うことができる。このシステムは通
常のテレビ受像機と連結された専用のマイクロコンピュ
ータと、自動トラック検索及び追跡手段を有するランダ
ムアクセス・ビデオディスク読み取り装置とを含んでい
る。また、各々がマイクロフォン及び映像ディスプレー
を有している一つまたはそれ以上のハンドベルト入力装
置が、マイクロコンピュータへと連結されている。マイ
クロコンピュータはビデオディスクからの情報の検索を
制御し、入力装置を介して言葉又は手動の何れかにより
行われる視聴者のコマンド入力を処理して、テレビ受像
機に表示される音響及び映像データを提供する。ゲーム
中において頻繁にある分岐点において、予め定められた
選択及び応答のリストが視聴者に提示される。視聴者は
言葉又は手動の何れかにより、或いはこれらの組み合わ
せにより、象徴的なコード語を用いることにより応答で
きる。視聴者の選択に応じて、マイクロプロセッサは予
め記録された映像及び音響のシーケンスを処理し、演技
及び会話の中から選択された場面又は筋を示すことにな
る。

「グラフィックス・インタフェース１８４」の「ソフト
マシン：品のあるインタフェース」と題する論文におい
て、ルイス氏（Ｊｏｈｎ　Ｌｅｗｉｓ）及びバーセル氏
（Ｐａｔｒｉｃｋ　Ｐｕｒｃｅｌｌ）は、ユーザー及び
電子的に会話可能なパートナ−との間で話された会話を
シミュレートするシステムを開示している。アニメ化さ
れた人間類似のものがスピーチ・シンセサイザにより「
話」し、スピーチ認識装置により「聞」くのである。ス
ピーチ・シンセサイザの音響出力は、スピーカ及び別個
のリアルタイムなフォーマット追ｌスピーチ処理コンピ
ュータへと同時に連結されていて分析され、唇の動きの
同期並びに限定された表情及び頭部の動きのためのタイ
ミングデータを与える。予め記録された映像的画像のセ
ットであって、唇、目及び頭の位置を描いているものが
適当に順序付けられて、アニメ化された人間類似のもの
が「話」し又は「聞」くようになっている。スピーチ認
識装置の出力は予め記録されたパターンに対して、一致
が見出されるまでマツチングされる。ひとたび一致が見
出されたならば、予め記録された幾つかの応答の内の一
つがアニメ化された人間類似のものによって話されるか
、或いは実行される。

〔発明の解決しようとする問題点〕

バグリー氏等及びルイス氏等は両者とも、どの映像的画
像又はイメージがユーザーに対して示されるべきかを決
定するためのリアルタイムなデータを提供するよう音響
信号を分析する、別個のフォーマット追跡スピーチ処理
コンピュータを必要としている。この付加的なコンピュ
ータを必要とすることは、コストを増加させると共にシ
ステムの複雑さを増し、エラーの新たなソースを導入す
ることになる。

〔問題点を解決するための手段〕

本発明は、物質界における周知のパラダイムをシミュレ
ートし、音声合成技術及び独特のアニメーション方法を
採用した映像アニメーション技術を利用することにより
、読み書き、発音及び他の文語技能を教える教育システ
ムを提供するものである。本発明は基本的には語学能力
を教えることを意図するものであるが、汎用の教育用具
としても、またビデオゲームや映画にも、或いは広告や
通信の如き商業的な用途においても使用されうる装置及
び方法を提供するものである。リアルタイムなランダム
アクセス音響／映像シンセサイザ（ＲＡＶＥ）を関連す
る専用の音響／映像モデル化言語（ＲＡＶＥＬ）と共に
使用することにより、実在の又は想像上の人々、アニメ
化されたキャラクタ−又は場面を表す合成されたアクタ
−（行為を行うもの）（「合成アクタ−（ｓｙｎａｃｔ
ｏｒ）　Ｊということがある）がシミュレートされうる
ようになり、またそれ迄に行われた事象について予め連
続的に格納された記録とは異なる動作を、スピーチをも
含めて行うようにプログラムされ得る。

上記のことを達成するために、通信パターン−音響及び
該音響に関連する実の人物またはアニメ化されたキャラ
クタ−の映像的画像−が入力され、構成要素へと分解さ
れて、断片的な画像及び音響が生成される。或いは、又
はこれと共に、音響を提供するために周知のスピーチ合
成方法が採用される。この通信特性のセットは次いで、
特定の人又はアニメ化されたキャラクタ−の動作及び音
声のデジタルモデルを画定するために使用される。特定
の人又はアニメ化されたキャラクタ−を表す合成アクタ
−は、ＲＡＶＥＬプログラムによって画定される。この
プログラムは、当該人又はアニメ化されたキャラクタ−
の言語パターンの映像及び音響が統合されたリアルタイ
ムな表示を生成するように、映像及び音響特性を動的に
アクセスし組み合わせるためのコード化された命令を包
含している。

合成アクタ−は次いで動作を行うことができ、単語又は
文を読み取り又は話すことができるが、これらは合成ア
クタ−がモデル化した人又はキャラクタ−について予め
記録された動作ではない。このような技術を用いること
により、有名な人物又は他のキャラクタ−１ある人の家
族又は友人或いはその人自身を描写するように合成アク
タ−を定義することができる。

好ましい実施例においては、教育システムにおいて、ア
ニメ化され唇の動きが合わせられた話をするキャラクタ
−（又は顔）を画定するために、ＲＡＶＥＬが使用され
る。ユーザーは、ドミノ状の綴り換え用タイルとして知
覚されるものの幾つかの列を有する視聴用スクリーン又
は他の視覚的表示装置を示される。これらのタイルの各
々には、文字又は音標文字（音を生み出す文字のセット
）が記入されており、スクリーンの上側及び左側下部に
、トレーと呼ばれる矩形の囲いの中に配列されている０
合成アクターの身体の中で話をする頭部又は他の部分が
スクリーンの左手上部の角に表示され、他方上部及び左
側にタイルにより枠取りされたスクリーンの大部分は、
ユーザーがタイルを使用して単語又は他の形状を構成す
る活動用の領域として残して置かれる。

ユーザーがあるタイルを選択すると、話をする頭部は選
択された文字又は音標文字に対応する適当な音を発音す
る。この選択されたタイルは次いで、単語の始まりとな
るか又は既存の文字列に付加されるように、スクリーン
の活動領域上に配置される。そして話をする頭部は、そ
れによる文字又は音標文字の組み合わせを発音する。こ
のようにしてユーザーは、音声学的な単語又は実際の単
語を、さらには文をもスクリーン上に組み立てることが
できる。文字のシーケンスは次いで、仮にその文字の組
み合わせが無意味であるとしても、発音される。活動領
域における単語又は複数の単語の発音は、単語の左から
右へと移動するハイライティング（！ｉ度を上げること
）の波と同期して進められ、かくして左から右へと読み
取る方法論を強化することができる（英語の場合）。単
語中の各々の文字は、組み合わせ音の中でその文字が相
応する部分が聴覚的に示される際にハイライティングさ
れる。単語はまた、相応する文字又は複数の文字をハイ
ライティングしている間に「サウンド・アウト」（単語
の各構成音を連続して別々に示すこと：切分された即ち
混合されていないスピーチ）されることもできる。単語
中の特定の文字により生成される音に影響する文脈中の
文字もまた、ハイライティングにより示されうる。話を
する頭部は、人のスピーチに存在する音響的及び視覚的
な要素をもたらすために、同期された動く唇の他にも、
他の頭や身体の動きを提供するものである。

ユーザーがシステムと会話する基本的な手段は、ライト
ペンやマウスの如き指示デバイスを使用すること、或い
はタッチスクリーンについては指先を使用することであ
る。マウスを使用することにより、ユーザーはタイルを
選択し、選択したタイルをタイルトレーから拾い上げて
活動領域へと引き出す。タイルは影及び／又は他の視覚
的なサインを有する三次元の対象物として知覚され、活
動領域の場りにおいて、及びスクリーンの上部及び左側
にあるタイルトレーに行及び列に配列された電子的スタ
ックのあちこちへと移動可能である。

話をする頭部の図形の機能は、唇の動き及び他の身振り
と同期された合成スピーチの認識を強化することを含ん
でいる。話をする頭部はまた、命令を行ったりゲームを
学んだりするための冷たくて機械的なタイルスクリーン
のレイアウトを、より魅力的で感情に訴えるように温か
みを持たせるものでもある。またこれは、口でもって音
を形成するデモンストレーションをすることによって、
その模倣を奨励するものでもある。さらに、話をする頭
部は学習プログラムについての「進行係」又は「シミュ
レートされた先生」としての役割を果たすこともでき、
当該プログラムの使用を説明したり実演したり、或いは
ユーザーが長い間何もしない場合には割り込みをかけて
目を覚まさせ、ある種の動作を示したり、説明したり、
指示やコメントをすることによってユーザーを激励する
１話をする頭部は、聴覚障害者に対して読唇術及び手話
その他の通信方法を教えるために、手をも含むことがで
きる。手旗信号やダンス表記を実演するために、身体全
体を含むようにすることも可能である。ゲーム、複数の
語学の学習プログラム、或いは他の用途については、ス
クリーン上に一つ以上の話をする頭部を表示することが
できる。

本システムは、教育者又はインストラクタ−が特定の教
授方法についてタイルのセフ）を作り出したり修正した
りするようにでき、また生徒の進歩を追跡し、評価し、
インストラクタ−に通知する能力を与えるようにして始
動させることができる。本システムは、ある種のユーザ
ーの動作によってトリガされた場合に、対象物又は単語
を表示したりアニメ化するようにプログラムされ得る。

これは例えばユーザーが「ＫＡＴＪという単語を組み立
てた場合に、ｒＣＡＴ」という単語及び／又は猫（ｃａ
　ｔ）の絵を表示するものである０本システムの付加的
な作動モードには、その誘電に対して単語及び映像を加
え（或いは変化させる）たり、外国語による命令につい
ては二つ又はそれ以上の別々の誘雷を同時に表示する能
力が含まれている。スフラブル（Ｓｃｒａｂｂｌｅ）の
如く複数のプレーヤーが競合する単語のゲームもまた、
本システムにプログラムすることができる。本システム
は、漸次難しくなる複数のレベルの命令をもたらすよう
にプログラムすることもできる。このようにして、ユー
ザーは最初には僅かな数の文字しか取り扱うことができ
ないが、該ユーザーが［シミュレートされた先生」から
の命令に従ったり又は模倣したりすることにより馴染ん
だことを実証するにつれて、プログラムはより難しい文
字や単語を付加するようになる。

〔実施例〕

さて第１図を参照すると、本発明の好ましい実施例の一
つにおいて、専用マイクロコンピュータは、プログラム
制御されたマイクロプロセッサ１０（この目的のために
はモトローラ社のＭＣ６８０００が好適である）と、ラ
ンダムアクセスメモリ　（ＲＡＭ＞２０と、読み出し専
用メモリ　（ＲＯＭ）１１と、ディスクドライブ１３と
、ビデオ及びオーディオ入力装置７及び９と、キーボー
ド１５又は他の入力装置１７の如きユーザー人力デバイ
スと、ビデオディスプレー１９及びオーディオ出力装置
２５の如き出力デバイスからなっている。

ＲＡＭ２０は四つのブロックに分割されており、これら
はマイクロプロセッサ１０及び種々の入出力装置により
共有されている。ビデオ出力装置１９は、通常のテレビ
受像機又はパソコン用のＣＲＴの如き、どのようなビデ
オ出力装置であってもよい。ビデオ出力装置１９及びビ
デオ発生器１８の回路は、マイクロプロセッサ１０と、
メモリマツプされた映像を格納しアクセスするための共
有のディスプレーＲＡＭバッファ領域２２によって制御
されている。ビデオ発生器の回路はまた、マイクロプロ
セッサ１０に対して６０ヘルツのタイミング信号割り込
みを提供している。

オーディオＲＡＭバッファ領域２３をマイクロプロセッ
サ１０と共有しているのは、オーディオ出力装置２５を
駆動しているオーディオ発生回路２６である。オーディ
オ出力装置２５は、スピーカ又は聴覚障害者へと伝達す
るためのパイブレークの如き他の型式のオーディオトラ
ンスジューサである。

ディスクコントローラ１２はディスクＲＡ　Ｍ２１をマ
イクロプロセッサ１０と共有しており、読み取り及び最
適には書き込みを行うために、フロッピィディスクドラ
イブ１３の如き適当な持久型の大容量記憶媒体を提供す
るものである。ディスクドライブ１３は、特別のオペレ
ーティングプログラムや用途のための、付加的なＲＡＭ
領域をもたらす。ホストマシンが充分なＲＯＭを有して
いる場合には、ディスク記憶装置は必要ない。

キーボード１５及び他の入力装置１７のための入力コン
トローラ１６はマイクロプロセッサ１０に連結されてお
り、ディスクＲＡＭ２１をディスクコントローラ１２と
共有している。この役割は、サイナーテック（Ｓｙｎｅ
ｒｔｅｋ）社の５Ｙ６５２２万能インタフエースアダプ
タ（Ｖｅｒｓａｔｉｌｅ　Ｉｎｔｅｒｆａｃｅ　Ａｄａ
ｐｔｏｒ）によって果たされる。入力コントローラ１６
はまた、種々のコントローラ及び他のマイクロプロセッ
ササポート用回路（図示せず）におけるある種のタスク
を統合するものでもある。ユーザーとの最大限の会話が
可能であることから、マウスやライトペンの如き指示入
力装置１７が好ましい入力装置である。この好ましい実
施例においてはキーボード１５は選択的な入力装置であ
るが、他の実施例においては指示装置として機能し、又
はインストラクタ−やプログラマ−によって使用されて
、教授プログラムを生成したり修正したり、或いはシス
テムの他の調節可能なパラメータを設定するようにされ
る。ジョイスティック、指先（タッチスクリーンの場合
）又は目の動きのセンサーなどの、他の指示及び制御入
力装置もまた好適である。

ＲＡＭ２４はマイクロプロセッサ１０の作業メモリであ
る。このＲＡＭ２４はシステム及び応用プログラムと、
並びにマイクロプロセッサ１０により使用される他の情
報を含んでいる。マイクロプロセッサ１０はまたＲＯＭ
ＩＩをアクセスするが、これはシステムの永久的な読み
出し専用メモリである。ＲＯＭＩＩはマイクロプロセッ
サｌＯのオペレーティングシステムによって要求される
演算ルーチン及びサブルーチン、例えばディスク及び他
の装置の入出力、グラフィックスの基礎及びリアルタイ
ムなタスク管理その他を容易にするためのルーチンを含
むものである。これらのルーチンはＲＡＭ２４及びディ
スクにおける拡張及びパッチによって、付加的に支持さ
れる。

コントローラ５は、ザイログ社のＺ８５３０　ＳＣＣチ
ップの如き直列通信コントローラである。映像（ビデオ
）及び音響（オーディオ）のデジタル化されたサンプル
は、話をする頭部及び合成されたスピーチの特性を与え
るような仕方で、システム内に入力される。デジタイザ
８は、ビデオ及びオーディオ人カフ及び９のそれぞれに
連結された、オーディオデジタイザ及びビデオデジタイ
ザからなっている。標準的なマイクロフォン、ビデオカ
メラ及びＶＣＲが、入力装置として機能する。しかしこ
れらの入力装置は選択的である。なぜならデジタル化さ
れたビデオ及びオーディオサンプルは、キーボード１５
又はディスクドライブによってシステムに入力されうる
し、或いはＲＯＭＩＩ内に存在しうるからである。

ここで第２ａ図−第２ｑ図をも参照すると、一連の連続
的な表示スクリーン２７が示されている。これは第１図
に示されたユーザーからマイクロコンピュータシステム
への入力に応じて、例としてｒｃＡＴＪという単語を形
成する過程を図示したものである。表示スクリーン２７
はビデオ出力装置１９によって利用されており、ユーザ
ーに対して、ドミノ状の啜り換えタイルとして知覚され
るグラフィック画像を示している。

これらのタイルの各々には、文字又は音標文字（音を生
み出す文字のセット）が、或いは言語又は音についての
他の何等かの視覚的な記号表記が記入されている。スク
リーン２７の上部に沿っている電子的トレー２８には、
２６個の標準的な英文字が記入された二列のタイル２９
が配置されている。スクリーン２７の左側に沿っている
第二の電子的トレー３０には、普通に現れる音標文字が
記入されているタイル２９の列が配列されている。タイ
ル２９は、個別の電子的スタック３１に電子的にスタッ
クされている。タイル２９がそのトレー３１から持ち上
げられてスクリーン２７上の別の位置へと移動されると
、トレーにおいて同一のタイルが電子的スタック３１か
ら「ボン」と出て、各々のスタック３１において常にタ
イル２９が利用可能であるようにされている。トレー２
８及び３０は平坦な矩形の輪郭で示されているが、より
手の込んだグラフインク画像であることもでき、或いは
三次元の遠近図法により示されることもできる。トレー
２８及び３０は、スクリーン２７の左上方の角に矩形の
領域３２を残すように配置されている。スクリーンの右
側及び底部によって境界付けられたスクリーン２７の大
部分は、活動領域（ｐｌａｙｉｎｇ　ｆｉｅｌｄ）３４
として残して置かれる。

さて今度は第２ａ図−第２ｑ図を全般的に参照してみる
と、マウス又は他の入力装置１７（第１図で示された如
き）を使用することにより、タイル２９は選択されて移
動され、或いは活動領域３４上において取り扱われる。

ユーザーはタイル２９をそのスタック３１から選択し、
それを活動領域上へと移動させるか、又は同様にして既
に活動領域３４に存在しているタイル２９を処理するこ
とができる。タイル２９を活動領域３４から除去するた
めには、ユーザーはタイル２９をそのトレー２８．３０
へと戻すように移動し、そこでタイルを落とす、そのタ
イルは当該トレー上を帆走するように見え、該トレーの
適当な電子的スタックの一番上に落ち着く。もしもタイ
ル２９がトレー２８又は３０に落とされても、当富亥ト
レーが落としたタイルと一致するタイルを含んでいない
場合には、そのタイルはスクリーン２７の端部まで移動
即ち「走り去」す、そして消滅する。同様に、ユーザー
は単にタイル２９を合成アクタ−の表示領域３２へと移
動させて落とすことにより処理することができる。その
場合、タイルはスクリーンの端部から消え失せる。

スクリーンの左手上部の領域３２は、アニメ化された人
物又は動物その他の合成アクタ−（第２図においてはア
ニメ化された腕白小僧のような人物３６が使用されてい
る）によって占有されている。一般には、頭部及び肩の
みが表示されていて、話をする頭部（ｔａｌｋｉｎｇ　
ｈｅａｄ）３６を形成している。音が生成される場合に
は、唇３８及び顔の同期した動きがもたらされる。頭部
３６又は目４２だけでも、タイルの動きを追うように動
くことができ、またユーザーとのシミュレートされた目
による触れ合いを行うために、適当な時に瞬きをしたり
ウィフクをしたり、或いは動いたりできる。第２ｒ図に
示されているように、聴覚障害者と意思疎通を図り、或
いは教授を行うための手話の使用を容易にするために、
手４８又は身振りをも表示することができる。頭部３６
及び手４８は一緒に配置する（第２ｒ図に示されている
ように）こともでき、またスクリーン上で異なる位置を
占めることもできる。例えば頭部３６は左手上部の角３
２に、そして手４８は活動領域３４の右手下部の角に配
置するものである。本システムはまた、スクリーン上で
ユーザーが頭部３６又は合成アクタ−をタイル２９が移
動されるのと同様にして移動させるのを可能ならしめて
いる。

ユーザーは、マウスの如き入力装置１７を用いて指示す
ることなどによって特定のタイル２９を選択することに
より、本システムと会話する。

第２ａ図において、ユーザーは「Ｃ」というタイルを選
択した。このｒＣＪというタイルはハイライト（輝度が
上げられている）されており、話をする頭部３６は文字
ｒＣＪが単独で話された場合に生成されるｒＫＡＨＪと
いう音（「クー（ｋｕｈ）　Ｊというように聞こえる）
を発音しているものとして示される。マウスを使用する
ことにより、「Ｃ」タイルは拾い上げられ、活動領域３
４へと移動される。タイル２９がスクリーン２７の上部
（又は左側）の位置から離れるように移動されると、同
一のもう一つのタイルがその下の電子的スタックから「
ポン」と出て、使用のために利用可能とされる。タイル
が活動領域３４上へと移動されて解放されると、該タイ
ルは第２ｂ図に示されるようにして活動領域３４の表面
゛に落ち着く。

第２ｃ図から第２ｇ図において、ユーザーは文字ｒＡＪ
が記入されている第二のタイルを選択し、それを活動領
域３４へと移動させる。タイルｒＡＪがタイルｒＣＪに
隣接する活動領域で解放されると、タイルｒＡＪはタイ
ル「Ｃ」に引きつけられ、これに向けて移動され、くっ
つき、これと融合されて、単語ｒｃＡＪが記入されてい
る一つのタイル４６を形成する。この単語ｒｃＡｊの音
は、タイル４６の文字がハイライティングされ、またタ
イル４６がハイライトされるのと同期して、話をする頭
部３６によりサウンド・アウト即ち切分して発音され、
ついで一連に発音される。同様にして、第２ｈ図から第
２に図において、ｒＴＪという文字が記入されたタイル
が選択され、活動領域３４上に配置されて、ｒｃＡＴＪ
という単語が記入されている一つのタイル４６を形成す
るようになる。ｒｃＡＴＪというこの単語は次いで、個
々の文字がハイライトされる際に、話をする頭部３６に
よってサウンド・アウトされる。

第２１図を見てみると、話をする頭部３６は文字「Ｃ」
を発音しているところであり、この文字ｒＣＪがハイラ
イトされている。次の文字であるｒＡＪには下線が引か
れているが、これは単語ｒｃＡＴＪにおける当該文字の
位置（即ちｒＣＪに続く位置）が、ｒＣＡＴＪという単
語を作っている文字の組み合わせにおいて「Ｃ」の音に
影響するということを示している。（例えば単語ｒｃＡ
ＴＪにおいては、「Ｃ」は軟膏（「Ｓ」のような）では
なく、硬膏（「Ｋ」のような）を有する。）短い間隔の
後に、或いはユーザーがコマンドを入れた場合に、話を
する頭部３６は文字「Ａ」　（この例においては、短い
「ア（ａ）」という音）を発音する。この場合には、文
字ｒＡＪはハイライトされ、「Ｃ」及びｒＴＪの両方の
文字には下線が引かれて、先行する「Ｃ」及び後続のｒ
ＴＪが両方とも、単語ｒｃＡＴＪにおけるｒＡＪの音に
影響することを示す（第２ｍ図に示す如く）。同様にし
て短い間隔の後に、話をする頭部３６はｒＴＪの音を発
音し、その際ｒＴＪはハイライトされる。この例におい
ては、文字「Ｃ」及びｒＡＪは文字ｒＴＪの音に何も影
響を及ぼさず、従って下線は引かれていない（第２ｎ図
Ｊこ示す如く）。

第２０図から第２ｑ図を参照すると、次の段階がｒＣＡ
ＴＪを滑らかに、連続的に発音することであることが示
されている。各々の文字は順番に、その音が最も顕著で
ある部分の発音の際にハイライトされる。連続的な又は
混成されたスピーチの際には、音素の音は幾つかの要素
によって、特に調音の随伴（ｃｏａｒｔｉｃｕｌａｔｉ
ｏｎ）によって重なり合う。全体的な効果は、どのよう
にして文字及びそれらの音が組み合わせられて単語が生
成されるのかをユーザーに説明することである。以上に
記載された方法は、語学及びスピーチ技術に関する従来
の教授方法に対し、意義深い改良をもたらすものである
。

第２ｒ図に示されているように、話をする頭部３６は手
４８又は身体の他の部分を含むことができ、これにより
聴覚障害者に対して視覚的な教授を行ったり、或いは活
動領域３４に表示されている何かについて、付加的な映
像的サインを提供するものである。

次に第３図を参照すると、主なデータの流れ、並びにス
ピーチ及び関連する同期した映像アニメーシヲンを提供
するために必要とされる処理及び事象を示している、機
能的ブロックダイヤグラムが示されている。リアルタイ
ムなランダムアクセス音響／映像シンセサイザ（ＲＡ　
Ｖ　Ｅ）において生ずる処理及び事象の全体の概略は次
の如くである。アプリケーションコントローラ４４は、
直列通信コントローラ５からのデジタル化されたテキス
トを翻訳するように、或いは特定の合成アクタ−の音響
的及び映像的特徴を含むＲＡＶＥＬプログラムをコンパ
イラ３３を介して読み込み又はコンパイルするように°
、マイクロプロセッサ１０（第１図に示されている）を
呼び出す。ユーザーの入力３５に応答して、アプリケー
ションコントローラ４４はタイルコントローラ３７を付
勢して、所望によりナレータ装置積分器３９のエンコー
ダ／デコーダ４１を使用して、ＲＡＶＥに何かを言うよ
うに命することが必要になる時点まで、タイル２９とユ
ーザーとの会話を制御する。アプリケーションコントロ
ーラ４４は次いで、マイクロプロセッサ１０を呼び出し
て、ＲＡＶＥの音声及びアニメーション処理を開始させ
る。

ＲＡＶＥにおける処理の流れは、二つの段階へと分解さ
れる。リアルタイム段階と非リアルタイム段階である。

マイクロプロセッサ及び現実の世界の両方における時間
及び他の制約に適合するように、処理のできる限り多く
の部分は、タイル２９及び合成アクタ−３６（第２図に
示された如き）による実際のスピーチ及びアニメーショ
ンが開始される以前に完了される。このことは、ユーザ
ーの入力３５によって開始されるコマンドを完了するた
めに現れなければならない、リアルタイム処理の各々の
ためのスクリプトを発生することによって、ＲＡＶＥ内
において達成される。

文字のストリング又は単語を発音するように命令された
場合、ＲＡＶＥの心臓部であるマイクロプロセッサ１０
は、ナレータ装置積分器３９及びエンコーダ／デコーダ
４１を使用して、該文字ストリング又は単語を翻訳し、
特定の合成アクタ−の声を発する特定のナレータ装置（
オーディオプロセッサ）４３のために、音響スクリプト
を発生する。特定の合成アクタ−の特徴を具備している
ＲＡＶＥＬプログラムから、及び合成アクタ−の動作コ
ントローラ４９若しくはアプリケーションコントローラ
４４又はタイルコントローラ３７から導出される付加的
な情報を使用することによって、マイクロプロセッサ１
０は正音声（ｏｒｔｈｏｐｈｏｎｅｔｉｃ）アニメーシ
ョンプロセッサ５１及び合成アクタ−アニメーションプ
ロセッサ５３のそれぞれについて、正音声的なスクリプ
ト及び合成アクタ−のスクリプトを書き込む。これらの
アニメーションプロセッサは、ハードウェア及びファー
ムウェアにおいて実施することができ、或いはパラメー
タ的に含まれることもでき、さらにはマイクロプロセッ
サ１０が内部的なコンパイルプロセスを介してこれらを
実行時に生成することもできる。内部的なコンパイルは
ＲＡＶＥのリアルタイム段階をスピードアップさせるが
、非リアルタイム段階を遅速させ、より多くのＲＡＭを
必要とすることもある。

プロセスのスクリプトが完了されると、マイクロプロセ
ッサ１０はリアルタイム統合器５５へと制御を渡す。こ
のリアルタイム統合器５５は、プロセッサ４３，５１．
５３の各々を適当な時期に始動させ、それぞれΦスクリ
プトにおける事象の各々が適当な時期に実行されること
を保証する。典型的にはこれは、正音声プロセッサ５１
及び合成アクタ−プロセッサ５３における事象を、オー
ディオプロセッサ４３の事象から、或いはビデオコント
ローラ６１からのタイミング割り込みをもって合図する
ことからなる。

第２ａ図から第２ｑ図及び第３図に示された処理をさら
に明瞭にするために、ｒｃＡＴＪという単語について発
音をしまたタイル４６を表示するための例示的な過程（
第２ａ図から第２ｑ図に図示された如き）を辿ることに
する。予備的な段階として、コンパイラ３３が音声学的
記述ソースファイルを含有しているＲＡＶＥＬプログラ
ムをコンパイルし、マイクロプロセッサ１０がアニメー
ションのために必要とする合成アクタ−の声及び行動特
性のデータ構造をＲＡＭ２０に格納している。

メモリ領域を確保するために、データ構造の内の幾らか
は、第４図に示されているようにカウント−オフ・テー
ブル（ｃｏｕｎｔ−ｏｆｆ　ｔａｂｌｅ）からなってい
る、標準的な探索テーブル（ｌｏｏｋ−ｕｐｔａｂｌｅ
）においては、各々のアドレスは、当該アドレスに格納
されるデータの長さとは無関係に、同じ量のメモリバイ
トを提供している。カウント−オフ・テーブル４０１で
は、データのシーケンスは、各々のデータシーケンスの
終端に特有のマーカー４０３を伴って、直列の形式で格
納される。検索処理では、毎回同じ数のバイトを検索す
るのではなく、特有のマーカー４０３を検索して、当該
特有のマーカー４０３が見出されたならばインデックス
４０５を増加させることが行われる。一致が見出された
場合には、その時点におけるインデックス４０５が、当
８亥データシーケンスについての固有の識別子となる。

データ構造がひとたびコンパイルされ格納されたならば
、タイルコントローラ３７或いはアブリケーシッンコン
トローラ４４が、マイクロプロセッサ１０を付勢する。

タイルコントローラ３７は、スクリーン２７上に表示さ
れるタイル２９の各々に関連するデータを追跡する。つ
まりそこには何枚のタイル２９があり、またそれらのス
クリーン２７上における位置はどうか、といったことで
ある。タイルコントローラ３７はまた、新しいタイルを
発生し、タイルを配置し、タイルを一緒に融合させ、ユ
ーザーの入力に応じてスクリーン上でタイルを移動させ
（走り去らせ）る。タイルコントローラ３７は、８ビツ
トのＡＳ６ＩＩ符号又は他の標準的な表示によって識別
される正字法の（ｏｒｔｈｏｇｒａｐｈｉｃ）文字キャ
ラクタ−の各々に対応する図形パラメータ又はビットマ
ツプイメージを有している、フォントファイルをアクセ
スする。タイルは周知の方法及び回路によって発生され
制御されるものであり、これについては以下で詳細に説
明される。

タイルｒｃＡＪ及びタイルｒＴＪの融合の結果、タイル
コントローラ３７によって形成される例示的なタイルｒ
ｃＡＴＪ　　（第２ｑ図に示された如き）のテキストで
あるｒｃＡＴＪは、ナレータ装置積分器３９におけるエ
ンコーダ／デコーダへと連結される。このナレータ装置
は、音声的にエンコードされた文字列が供給された場合
に、スピーチを実際に発生するものである。ＲＡＶＥの
この好ましい実施例においては、ナレータ装置はオーデ
ィオプロセッサ４３と、スピーチシンセサイザ４５と、
オーディオ出力装置４７とからなっている。合成アクタ
−の各々は、その声をもたらす特定のナレータ装置と、
及びテキストから音声への翻訳規則のセットと組み合わ
せられている。多数の言語を含む応用例においては、各
々の言語について異なる規則のセットが、殆ど総ての場
合に必要である。特定のナレータ装置を幾つかの合成ア
クタ−によって共有することも可能である。

特定のナレータ装置の音声コードは、例えば文、単語、
音節、逆音節（リジブル（ｌｉｓｉｂｌｅ））、音素そ
の他の多くの方法でもって、スピーチの区分を指定する
ことができる。音素とは、言語或いは方言などにおいて
、一つの発声（ｕｔｔｅｒ−ａｎｃｅ）を他の発声から
語義的に区別する役割を有する、スピーチの最小単位で
ある０強勢、調子、速度などのスピーチの他の特質もま
たコード化されうる。普遍性をもたらすために、ある合
成アクタ−のためのナレータ装置のスピーチ区分の特定
のセットにおける各々のコード、及びその他のコードは
、音コード（ｐｈｏｃｏｄｅ）と呼ばれるＲＡＶＥコー
ドによって識別される。ナレータ装置積分器３９におけ
るエンコーダ／デコーダ４１は、特定の合成アクタ−と
組み合わせられた声について特定の文字列を相応する音
コードへと変換する音声エンコーディングをマツプして
いる。

エンコーダ／デコーダ４１は、テキストから音声への翻
訳器４０へと文字列ｒＣＡＴＪを送出する。この翻訳器
はＲＡＭ２０から適当なデータ構造を取り出して、文字
列ｒＣＡＴＪを音声的な表示であるｒＫＡＥＴＪへと変
換させるが、この表示はその時使用されている特定のナ
レータ装置（声）に依存するものである。

テキストから音声への關訳器４０はまた、ＲＡＭ２０に
格納されているデータ構造を使用して、正音声的に対応
する記録（ｏｒｔｈｏｐｈｏｎｅｔｉｃ　ｃｏｒｒｅ−
ｓｐｏｎｄｅｎｃｅ　ｒｅｃｏｒｄ　；　ＯＣＲＥ　Ｃ
）を発生するＯこの０ＣＲＥＣは、正字法による文字（
タイル上の文字）をアニメ化して当該文字とそれらの音
との対応を示すために、マイクロプロセッサ１０によっ
て必要とされる情報を含んでいる。この例としてｒｃＡ
ＴＪを挙げると、０ＣＲＥＣは「Ｃ」が音ｒＫＪと関連
しており、ｒＡＪが音ｒＡＥＪ　　（短いａ）と関連し
ており、・ｒＴＪが音ｒＴＪと関連していることを示す
という因果関係を特定するのである。０ＣＲＥＣを発生
するためのエンコーディングプロセスは、第９図及び第
１０図においてより詳細に示される。

０ＣＲＥＣ及び音声的な文字列ｒＫＡＥＴＪはエンコー
ダ／デコーダ４１へと戻され、そこにおいて音声的な文
字列はその構成要素である音声コード（使用される特定
のナレータ装置のための）へと分割され、その音コード
表示へと、即ちこの場合にはｒ４９１９５７４に終端子
ゼロが続いたものへとマツプされる。ｒＣＡＴＪを表し
ているこの音コード文字列は、ｒｃＡＴＪについての○
ＣＲＥＣと共にタイルコントローラ３７へと戻される。

このように音声的な文字列が戻される前に音コード化さ
れていることから、タイルコントローラ３７及びアプリ
ケーションコントローラ４４は、スピーチを生成するた
めに使用される特定のナレータ装置によるエンコード化
方法とは無関係なものとなっている。タイルコントロー
ラ３７はこの情報を、該当するタイル又はタイルのセッ
トと関連する音を発音することが必要とされるようにな
るまで格納する。タイルコントローラ３７は次いで、音
コード化された文字列、０ＣＲＥＣ，及びフォント、大
きさ、字面（例えば肉太やイタリック）、色、間隔及び
スクリーンの位置座標などを含むテキスト表示の正字法
的特性を特定する付加的な情報を、マイクロプロセッサ
１０へと送出する。

マイクロプロセッサ１０は、この例においては音コード
化された文字列に対応する合成アクタ−のデータ構造に
ついて、ＲＡＭ２０をアクセスする。このデータ構造に
は、その合成アクタ−の音響映像モデルのために音コー
ドの各々についてＲＡＶＥＬソースコードにおいてプロ
グラムされている、画像シーケンス及び文脈に依存した
操作が含まれる。これには、切分されたスピーチのだめ
のデーター単語を「サウンド・アウト」するために使用
される音−が含まれるが、しかし単語中の各々の文字の
名称を言うため又は手信号をもって綴り出すための手話
の指の位置を表示するために必要とされるデータは含ま
れない。これらの機能は、言語の正字法に関連しタイル
コントローラ３７によってアクセスされる構造によって
アドレスされるものである。

マイクロプロセッサ１０は音コード化された文字列をナ
レータ装置積分器３９へと通すが、そこにおいてはエン
コーダ／デコーダ４１が音コードの文字列をデコードし
、それを音声的コードであるｒＫＡＥＴＪへとマツプし
戻し、これをマイクロプロセッサ１０へと返す。このｒ
ＫＡＥＴＪという表示はＲＡＶＥ内でのみ使用され、ア
プリケーションコントローラ４４及びタイルコントロー
ラ３７は、キャラクタ−列ｒｃＡＴＪ及び／又はナレー
タ装置積分器３９によって生成された音コードの文字列
を使用する。

例えば合成アクタ−がユーザーに向き直ったリウインク
や瞬きをするなどの、実際のスピーチと関連のない合成
アクタ−の動作は、合成アクタ−動作コントローラ４９
によって制御され、スピーチ区分と同様に画像のシーケ
ンスをもって実行され、そして各々の演技即ち動作特性
には、固有のコード化された表示が与えられている。人
の外的及び内的感覚が、ある種の事象やその組み合わせ
が動作特性をトリガする場所であるその人の脳と通信す
るのと同じようにして、アプリケーションコントローラ
４４及びマイクロプロセッサ１０は、合成アクタ−に関
連する情報を動作コントローラ４９へと連絡し、何が進
行中であるのかを描写する。動作コントローラ４９は、
ＲＡＶＥＬソースプログラムによりコンパイルされたデ
ータ構造についてＲＡＭ２０をアクセスし、人格をシミ
ュレートして各々の合成アクタ−に対して独自の性格を
与える。

マイクロプロセッサ１０はこの情報を使用して、合成ア
クタ−１正音声及び音響の生（原形）のスクリプトを生
成し、音響スクリプト発生器４２、正音声アニメーショ
ンスクリプト発生器５２及び合成アクターアニメーシヨ
ンスクリプト発生器５４に命令して、生のスクリプトを
処理して最終的なスクリプトを生成するようにする。こ
れには、各々のスクリプトの終わりにリセット位置を挿
入すること、中間物（ＲＡＶＥＬにより特定され及び／
又は自動的に発生された、遷移の映像的画像）を発生す
ることその他が含まれている。

一旦最終的なスクリプトが発生された場合には、これら
のスクリプトは実行される。即ちリアルタイム統合器５
５によってリアルタイムに統合されて、音響をもたらし
、ユーザーの入力によって要求される、時間的に同期さ
れた関連する映像を表示するのである。

リアルタイム統合器５５は、オーディオプロセッサ４３
及びアニメーションプロセッサとして機能する正音声プ
ロセッサ５１及び合成アクタ−プロセッサ５３を統合す
る。統合処理は、マイクロプロセッサ１０の割り込み構
造及び特定のナレータ装置の特性の関数である。好まし
い実施例においては、正音声プロセッサ５１及び合成ア
クタ−プロセッサ５３は、ビデオ発生器１８（第１図に
示されている）からの垂直フライバックトリガ信号によ
って６０分の１秒毎にトリガされる、割り込みタスクと
して取り扱われる。オーディオプロセッサ４３及びアニ
メーションプロセッサとして機能する正音、声プロセッ
サ５１及び合成アクタ−プロセッサ５３は適当な時に付
勢され、ナレータ装置が喋り始めた場合には、正音声プ
ロセッサ５１及び合成アクタ−プロセッサ５３がビデオ
コントローラ６１に合図をして、当該スピーチに対応す
る正音声及び合成アクタ−の画像をスクリーン６３上に
表示するようにする。正音声プロセッサ５１及び合成ア
クタ−プロセッサ５３が垂直フライバックトリガ割り込
み信号に応答してアニメーションスクリプトを実行する
間に、オーディオプロセッサ４３はそれ自体のサフ゛ル
−チンでもって音響スクリプトの実行を継続し、またス
ピーチ区分の生成及び混成のタイミングを図る。音響と
アニメーシヨンとの間の同期は正確でないかもしれない
が、それは人が受は入れるのに充分な（らい近位したも
のである。

別の方法として、若しくは上記した同期技術との組み合
わせにおいて、リアルタイム統合器５５へとリアルタイ
ムな帰還をもたらすオーディオプロセッサ４３を使用し
て、オーディオプロセッサ４３が速度を設定してより正
確な同期を維持するようにすることもできる。次いで音
響事象のカウンタが主事象カウンタ（図示せず）をトリ
ガして、これが正音声プロセッサ５１及び合成アクタ−
プロセッサ５３をそれぞれのスクリプトに応じてトリガ
するようにし、映像が音響より先行しないことを保証し
て、それにより音響と映像との間でのリアルタイムな同
期を保証するようにできる。

さて第５図を参照すると、合成アクタ−のモデルテーブ
ルが示されている。ＲＡＶＥＬソースプログラムから多
くの内部データ構造がコンパイルされ、そしてＲＡＭ２
０に格納されて、機能を実行するために充分なデータを
有するＲＡＶＥが提供される。動的に割り当てられた合
成アクタ−モデルテーブルは、これらのデータ構造につ
いての基礎であり、一つ又はそれ以上の合成アクタ−モ
デルテーブル記録５１０を含んでいる。これらの記録は
、定義された合成アクタ−モデルの各々について、一つ
宛存在スる。

合成アクタ−モデルテーブル記録５１０の各々における
第一のフィールドは、所有者領域５０１である。このフ
ィールドは合成アクタ−モデルの数（ＲＡＶＥＬソース
において定義されている如き）含んでいるか、又はこの
エントリが空である（テーブル管理のため）ことを示す
ための特別のコードを含んでいる。次のフィー２．ドで
あるリーダ５０３は、当３亥モデルについての読み取り
テーブルを指示（即ち読み取りテーブルが配置されてい
るアドレスを特定）する。読み取りテーブルは、特定の
コードが定義されているヘッダと、これに続き連接され
た形式で圧縮されて格納されている規則とからなってい
る。

次のフィールドである音コード５０５は、このモデルに
ついての音テーブルに対するポインタを特定している。

この音テーブルは探索テーブルであり、合成アクタ−の
ナレータ装置の特性を、そのスピーチ区分及び他のコー
ドでもって定義している。各々のコードは、音テーブル
における独自の記録に加え、割り当てられない音コード
であるゼロのための充填記録を有している。

この記録における最初の領域は、当該特定のナレータ装
置コードにおけるビット数を特定している。これに続く
領域は、ナレータ装置の当＝亥コードを定義するのに使
用されているビットをリストしており、そして最後には
、終端子であるゼロが存在している。合成アクタ−モデ
ルテーブルにおける次のエントリは、音コードカウント
５０７であり、これは音テーブルにおける記録の数を示
す。

合成アクタ−モデルテーブルの次のフィールドは切分５
０９であり、単語をサウンド・アウトするために必要な
音を記載している切分テーブルを指示している。これは
、音コードの各々のための一つの切分に加えて、音コー
ドゼロのための充填記録を含んでいる、カウント−オフ
・テーブルである。このカウント−オフ・テーブルは、
各々の切分文字列の後の専用の区切り文字により、境界
付けられている。合成アクタ−モデルテーブルにおける
次のフィールドは切分カウント５１１であり、切分テー
ブルが何バイトを使用しているのかを特定している。こ
の切分カウント５１１は、モデルが放棄された場合にテ
ーブルを再度割り当てるために、合成アクタ−モデルテ
ーブルの管理ルーチンにとって必要とされる。合成アク
タ−モデルテーブルの次のフィールドであるシーケンス
５１３は、シーケンステーブルを指示する。これはカウ
ント−オフ。

テーブルであり、音コードによりカウント・オフされ、
音コードゼロのための充填エントリを有し、専用コード
によって分離されている。エントリの各々は、ＲＡＶＥ
Ｌソースファイルにおいて当該音コードについて与えら
れた位置及びタイミングの値を特定することになる。シ
ーケンステーブルにおけるエントリの各々は、ゼロ又は
それ以上の個数の値の対からなっている。

カウント−オフ・テーブルにおける、長さゼロの「空の
」エントリは、連接された別々のコードによって示され
る。値の対の各々における最初の値は位置番号であり、
これはスクリーンの画像に対するポインタ又は当該位置
についての他の合成アクタ−アニメーションブロック（
ＳＡＢＬＯＣＫ）のデータを見出すために、位置テーブ
ルを検索するものである。第二の値は、スクリーン上に
表示する時間である（事象を待つために、必要があれば
より長い時間にねたって表示することができる）。合成
アクタ−モデルテーブルにおける次のフィールドは、シ
ーケンスカウント５１５であり、シーケンステーブルに
おけるビット数を特定している。

合成アクタ−モデルテーブルの次のフィールドである中
間物（ｂｅｔｗｅｅｎｓ）５１７は、中間物テーブルに
対するポインタである。これは中間記録と呼ばれる記録
の線形リストである。中間物とは、二つの画像の間にお
ける遷移を滑らかにするために表示される中間の画像で
ある。中間物の各々は、四つの関連する値を有している
。即ち第一の位置番号と、第二の位置番号と、これら二
つの位置の間に挿入すべき位置番号と、当該中間物のた
めの時間フィールド又は合成アクタ−のアニメーション
スクリプトにおいて以前の時間を半分にすること（以前
の時間が−サイクル又はそれ以下であった場合には、ゼ
ロにすること）の不履行を示すゼロである。このテーブ
ルは探索されない。シーケンス的に走査されるのみであ
る。合成アクタ−モデルテーブルにおける次のフィール
ドは、中間物カウント５１９であり、これは中間物のテ
ーブルにおける記録の数を特定している。次の二つのフ
ィールドである幅５２１及び高さ５２３は、スクリーン
上において合成アクタ−の画像がどの位の大きさである
のかを特定する。次のフィールドであるモデルフラグ５
２５は、合成アクタ−のアニメーションの特別のモード
を示すために使用される。

次のフィールドは位置ポインタ５２７であり、当該合成
アクタ−モデルについての位置テーブルを指示する。位
置テーブルは他のテーブルからの位置番号によって検索
されて、ポインタを５ＡＢＬＯＣＫへと渡す。位置テー
ブルにおける最初のエントリは使用されない。位置番号
ゼロは非合法である。次のエントリである位置番号１は
、初期状態である「静止」位置専用のものである。さら
なる位置番号は、プログラマ−によって任意に割り当て
られる。

５ＡＢＬＯＣＫデータは、データに依存したアニメーシ
ョン手段である。好ましい実施例においては５ＡＢＬＯ
ＣＫは、特定の位置にある合成アクタ−のスクリーン画
像を生成するのに必要なデータを含んでいる。ロボット
装置の如き他の実施例においては、５ＡＢＬＯＣＫはロ
ボットの種々の部分を動かすためのアクチュエータその
他に対するコマンドを含んでいる。第１２図には、例示
的な合成アクタ−アニメーションスクリプト１２０及び
５ＡＢＬＯＣＫ１２１が示されている。ここより上にお
ける他のデータ構造は、アニメーション手段とは無関係
であった。外界に依存したデータが特定されるのは、こ
このみである。入力の便宜、デバッキング及び冗長さの
ために、合成アクタ−の画像に加え、５ＡＢＬＯＣＫ画
像の最初の３２ラインには、人が読み取り可能なラベル
及び位置番号（ポインタを５ＡＢＬＯＣＫへと渡した位
置テーブルへの索引と一致するもの）を含めることがで
きる。

合成アクタ−モデルテーブルにおける次の値は、音フラ
グ５２９である。これは音コードによって索引された音
コード特性記録のテーブルを指示するものである。記録
の各々には、事象者コードであるすべての音コードを指
定しているビットが含まれている。事象（ｅｖｅｎ　ｔ
）音コードとは、それについてナレータ装置から帰還が
利用可能であるものをいう。記録の各々には、０ＣＲＥ
Ｃを生成し及び解釈しているときにカウントされるｏｐ
ｓ　＜正音声的に意味のある）音コードである場合に該
音コードを指定する別のビットと、及び音コードが強勢
と組み合わせられているかどうか、従って隣接する音コ
ードのタイミングに影響するかどうかを指定するビット
も存在している。どの音コードが母音であるかを知るこ
とは、殆ど総ての言語において分節のために必要である
ことから、強勢、韻律その他を割り当てるための音声的
変換方法に対するテキストにおいて使用されている母音
を、当該台コードが表しているかどうかを示すビットも
存在している。分断点（文、句、又はその他のナレータ
装置の呼び出しシーケンスの文字列の境界）を示すビッ
トも存在する。いつ休止すべきかをナレータ装置に指示
する音コードを示すために、休止ビットがある。これに
関連する数値フィールドは、休止サイクルの数を特定す
る。

合成アクタ−モデルテーブルにおける最後のフィールド
は、特性５３１であり、これはＲＡＶＥＬソースコード
において与えられた当該合成アクタ−モデルについての
ナレータ装置の番号と、ナレータ装置に依存しているデ
ータを特定しているブロックに対するポインタである。

このブロックは通常、速度、調子、音量、及び特定のナ
レータ装置に固有の他の種々の特性を、オーディオプロ
セッサにとって都合の良いフォーマットにおいて含んで
いる。

さて第６ａ図から第６Ｃ図をも参照すると、例示的なＲ
ＡＶＥＬプログラムの断片がリストされている。ＲＡＶ
ＥＬはプログラマ−に対して、ナレータ装置の特性を特
定するための一般的な方法を提供し、また二つ以上のナ
レータ装置を同時に使用することにも備える。ＲＡＶＥ
■、プログラムは、話をする合成アクタ−の声及び関連
する画像の性質、並びにそれらが相互にどう関連してい
るかを特定する。ＲＡＶＥＬには、どのような言語につ
いても機能するように設計された、汎用の音声学エンコ
ーディング方法が含まれている。文字（キャラクタ−）
列又はテキストを音声へと翻訳するための規則は技術的
に周知であり、１９７６年１２月の「音響、スピーチ及
び信号処理についてのＩＥＥＥ（アメリカ電気・電子工
学技術協会）会報」におけるエロビッツ氏（Ｅｌｏｖｉ
ｔｚ）等の「テキストを音声に翻訳するための規則」に
公表されている。

このエロビッツ氏等の方法、並びに他の方法が、正音声
的（ｏｒＬｈｏｐｈｏｎｅｔｉｃ）アニメーションをも
行うように拡張されてきている。

このコード断片における最初のステートメント６０１は
、注釈ステートメントである。ＲＡＶＥＬはプログラム
言語Ｃの規則に従い、始まりが「７本」で終わりがＵ＊
／」により区切られた注釈を受は入れる。次のステート
メント６０８であるＤＥＦＩＮＥ　　ＲＥＡＤＥＲ６＼
＄は、ＲＡＶＥＬプログラムに対し、テキストから音声
へ（及び正音声へ）の翻訳方法第６番の定義が後に続く
ことを示す。これはステートメント６２２に続く規則６
０３によって特定される（これらは生成規則と呼ばれる
こともある）。英語でない他の言語については、他のイ
ンジケータが必要とされることもある（図示せず）。

ステートメント６０８におけるドル符号（＄）の前の逆
斜線は、これらの規則の各々における音声的な置換スト
リングの終わりを区切るのに使用されるキャラクタ−で
ある。ドル符号は、規則中において、スペース即ち空白
のキャラクタ−及びストリングの開始又は終わりを表す
ために使用されるキャラクタ−である（このことは構文
解析を容易にし、また他のナレータ装置ドライバにより
使用される音声コードについての適合可能性を保証する
）。

次のステートメント６２２であるＭＥＴＨＯＤ＝ＥＮＧ
Ｌ　Ｉ　５ＨＮＡＬは、テキストから音声への翻訳器に
おいて使用されるべき方法を特定している。読み易さの
ために挿入される別の注釈ステートメントの後に、規則
ステートメント６０３が開始される。だがここに示され
た規則は、単に例示としてのものである。英語について
の規則の完全なセットは、数百ものステートメント及び
例外についてランされるものである。例外の各々は、独
自の規則ステートメントとそれに伴う慣習的な規則によ
って定義される。このプログラムにおける例外の例は、
単語ｒＯＮＥＪについての規則６０５である。英語の綴
りの不規則性についてのこの例は、＄　（ＯＮＥ）＄＝
ＷＡ　ＨＮ＼という規則により翻訳される。＄は、この
語が単語それ自体として現れた場合にのみ一敗を保証す
る（規則の完全なセットにおいては、単語中に存在する
ｒＯＮＥＪを別扱いするための規則が後に存在する）。

関連する正音声的規則のためのコード化情報は、各々の
ラインのテキスト翻訳用規則の次にある。最初の正音声
的規則６０７は、ｒｌ：（３３２）Ｊである。１は特殊
実行コードであり、アニメーションは指定せず、その代
わり０ＣＲＥＣにおける呼び出しプログラムへと特別の
情報を渡すことを専門に行う。括弧の中の最初の二つの
数字は、アニメーション実行の場合に、幾つのテキスト
キャラクタ−を関連するＯＰＳ音コードへとそれぞれ変
換すべきかを示す。三番目の数字は０ＣＲＥＣと共に戻
されるパラメータであり、これが例外の単語であること
を示すものである。

特殊実行コード１の他に、第二の正音声的規則６０９は
、実行３が発生されるべきこと、そして単語のどの部分
についてもまた単語全体についても、３つの文字全部が
表示されるべきことを示す。この規則からは他にはどの
ような効果も発生されない。このことは、いかなる論理
形態においても単語ｒＯＮＥＪはその文字に一致する音
へと分解することができないこと、ｒＯＮＥ」はｌ’−
ＷＡＨＮＪでしかないことをユーザーに示すという決定
を反映している。別のプログラマ−は異なった仕方で分
割するかもしれず、ＯＮＨの「○」の部分は音ｒＷＪ及
びｒ　Ａ　ＨＪを生成しｒＮＪが音ｒＮＪを生成し、ｒ
ＥＪは黙音であることを示すような実行規則を書き込む
かも知れない、ＲＡＶＥＬソースコードの正音声規則は
、これらの決定を行う権限をプログラマ−に付与してお
り、またこれらを低レベルプログラミングでもって組み
込むのではなく、他のホストマシンへと転送可能なよう
にしている。

規則のセット中における最後の規則６１０は、（＄）＝
＄＼であり、これはスペースキャラクタ−を変更されて
いない音声翻訳へと渡すために使用される。文字ごとで
はなく、単語ごとの正音声アニメーションが行われてい
るならば、単語間の間隔をフラグするために、ここで正
音声効果コード１を使用することができる。最後の逆斜
線は、このテキストから音声への１１訳規則区分を終了
させる。

ＭＯＤＥＬ　　６という次のステートメント６１１は、
モデル第６番によって使用される音声学及び画像シーケ
ンスの定義が後に続くということを、ＲＡＶＥＬコンパ
イラへと示す。次のステートメント６１２であるＵＳＥ
　　ＮＡＲＲＡＴＯＲ６は、当８亥モデルについてどの
ナレータ装置を使用すべきかを特定する。次のステート
メント６１３であるＵＳＥ　　ＲＥＡＤＥＲ６は、この
モデルのナレータ装置について、どのテキスト−音声翻
訳器を使用するかを特定する。このモデルによって使用
される音声コードの定義は、ステートメント６１３に続
いている。数字の各々は、当該数字に先行する音節に置
かれる強勢を示す音声エンコードキャラクタ−である。

強勢というものは基本的には、音節の母音を伸ばすこと
（英語の場合）であるから、これらの数字は強勢に先立
つタイミング番号及びキーワードと関連している。”　
＊　”　６１４はコンパイラに対し、当該コードを含む
単語をサウンド・アウトする場合に、当該コードについ
て、切分されたスピーチの形式として何を使用するかを
教えている。この場合、切分されたスピーチを生成する
ためには強勢の値は使用されないことから、′＊”はこ
のナレータ装置についてはヌルストリングである。

幾つかの句読点マーク６１５の定義の後に、ＲＡＶＥＬ
ソースコードは使用される母音及び子音の音コード６１
７を定義している。母音の音コードは、単語ｒｃｏｔＪ
における短い「０」の音である“ＡＡ”６１９で始まっ
ている。これについての切分されたスピーチの形式は、
同じである。“ＡＡ”６１９は母音（ＶＯＷＥＬ）とし
てマークされており、またＥＶＥＮＴ音コード色コード
マークされている。これは、ナレータ装置がこの発音を
開始した場合に音響スクリプトプロセッサ４３がこれを
検出することができ、また非同期アニメーションをトリ
ガするようにリアルタイム統合器５５に通知するという
ことを示す。

“ＡＡ”６１９はまた、ｏＰＳ即ち正音声的に意味のあ
る音コードとしてもマークされている。

″ＡＡ″６１９音コードにおける次の二つの数字６２１
は、この音が、この言語プログラム区分の最後にあるＥ
ＮＤＭＯＤＥＬステートメント６２３（第６ｃ図に示さ
れている）において示された画像ファイルからの位置番
号２の１０サイクル分と組み合わせられるべきことを示
している。

画像及び関連するタイミングは、言語の音コードにおけ
る音区分と幾つでも組み合わせることができる。例えば
二重母音ｒＡＷＪ　６２５（ｒオウ（ＯＷ）　Ｊのよう
に発音される）は、総ての二重母音と同様に、人間の言
語における特徴的な仕方で一緒に発音される二つの音か
らなっている。

これは二つの画像を生成するように定義されている。即
ち画像６を５サイクル分と、画像４８をさらに５サイク
ル分である。

次のステートメント６２７は、子音であって、それらに
関する切分文字列が音声エンコード文字列と同一でない
ものを示している。同一でないのは、音声エンコード文
字列が、切分されたスピーチモードの際に母音の一部と
共にサウンド・アウトされるためである。例えばｒ　Ｂ
　Ｊ　６２６は、単にｒＢＪというのではなく　ｒＢＡ
Ｘ　（バハ（ｂｕｈ）のように）」と発音される。切分
されたスピーチ音に対する別のアプローチは、文字ｒＧ
Ｊ６２９について示されている。そこでは先行する下線
符号がＲＡＶＥＬに対し、ファイル（ファイル名はＧＡ
Ｘである）から読み込まれたデジタル化された音を示す
ように、そしてそれを顔及び正音声と同期させて、あた
かも「ＧＡＸＪと言っているようにさせるように合図し
ている。音素ｒＫＪ６３１及びｒ　Ｓ　Ｊ　６３３はＥ
ＶＥＮＴでないものとして定義されているが、これは本
明細書での例示のために過ぎない。

音の生成と関連していない合成アクタ−の幾つかの反射
動作６３５が定義されている。これらについての切分文
字列ｒｓｓ１６３４は、単なる充填物であり、各々のス
テートメントと組み合わせられている二つのキャラクタ
−ストリング＊＊、＊１、＊２、＊７は単に、適当な時
期に動作コントローラ４９によって惹起される合成アク
タ−の反射動作を示す、他では使用しない音声エンコー
ドである。セミコロン６３６は、この音声学による定義
を終了させている。ＳＰＥＣＰＡＲＡＭＳステートメン
ト６３７は、標準的なスクリーンの領域及び画像につい
ての機能性を示している。

ＩＮＢＥＴＷＥＥＮというステートメント６３９の各々
は、組み合わせられた四つの数値を有している。最初の
二つは、どの位置の間に画像が挿入されるべきかを特定
する。三番目は、どの画像を挿入するかを特定する。四
番目のパラメータは、当該中間の画像をスクリーン上に
表示する時間の長さを特定している。表示時間の値がゼ
ロの場合には、合成アクタ−のスクリプト発生器５４は
、先行する画像の時間の半分を自動的に使用する（先行
する時間が２サイクル以下でない限り。２サイクル以下
の場合には中間物は挿入されない）。ある中間物につい
て許された表示時間は、先行する画像について許された
表示時間から、常に減算される。例えば最初の中間物ス
テートメント６３８は、合成アクタ−のスクリプト発生
器５４に対し、３３番の画像がスクリーン上に表示され
これに５番の画像が直ぐに続いた場合にはいつでも、番
号６５の画像がこれら二つの画像の間に３サイクルの長
さにわたって挿入されるということを特定している。

この場合、３３番の画像について許される表示時間は、
６５番の中間物画像のための表示時間を提供するために
、３サイクル減少される。

中間物ステートメント６３８においては、３３という値
は、音コードｒＴＪに関する音についての合成アクタ−
の唇及び舌の位置に対応している。５というのは、音コ
ード「ＡＯ」により示される母音についてのものである
。（これはｒＴＡＬＫＪという単語におけるｒａＪＯ音
である。）画像番号６５は、これら二つの位置の中間と
なるようにして、合成アクタ−の口及び顔を表示する。

例えばステートメント６４０においては、３３と２の間
の位置において、６５番はまた、「Ｔ」及び別の母音、
即ちｒｃＯＴＪという単語のｒＡＡＪという音との間に
挿入されるものとして定義される。このことは、当該画
像を繰り返して使用することを可能ならしめる。なぜな
ら、ｒＴＪとｒＡＡＪとの間、及びｒＴＪとｒＡＯＪと
の間に表示される唇の位置は、殆ど同じだからである。

中間物は、ステートメント６４１におけるようにネスト
されることもできる。そこでは７４番という画像が、画
像３３と７１との間に挿入されるべきものとして定義さ
れている。画像７１が３３と最初に近しくなるのは、そ
れが先のステートメント６４２において３３と１の間に
中間物として挿入された場合である。このネスティング
はどのような深さとすることもでき、この方法論はＲＡ
ＶＥＬのプログラマ−が最小限の数の格納された画像を
使用して、顔の位置（又は音声に関する他の画像）のモ
デルを定義することを可能ならしめる。

最後のステートメントであるＥＮＤＭＯＤＥＬ６２３は
、合成アクタ−のスピーチパターン及び画像についての
この特定のモデルが完成したことをＲＡＶＥＬに対して
特定し、またこのモデルが関連する画像が見出されるフ
ァイル名を特定する。最後に一つのコロン６４３が、プ
ロクラムの終わりを示す。

さて第７ａ図及び第７ｂ図を参照すると、人の言語にお
ける正字法又はタイル２９について用いられる他の記号
のセットを特定しているステートメントを示している、
例示的なプログラムリストが提示されている。付加的に
、コードはタイル２９（第２ａ図から第２ｒ図において
示された如き）がどのようにしてスクリーン２７上に配
置されるのか、またタイル２９はどのように他のタイル
と相互作用し、マウス又は他の入力装置によるユーザー
の操作にどう応答するのかを特定しており、さらにはタ
イル２９上に記入された文字または他の記号と関連する
音響基を特定している。

最初のステートメント７０１である５ＰＥＡＫＥＲ６は
、このプログラムにおいて文字名及び切分された音を表
現するのに使用される、特定のナレータ装置を識別して
いる。次のステートメント７０３はＬ　Ｅ　Ｔ　Ｔ　Ｅ
　ＲＮ　Ａ　Ｍ　Ｅ　Ｓであり、タイルコントローラ３
７に対し、文字の名及びタイル２９に記入された他の記
号の名の発音を特定している記述がその後に続くことを
示している。

マージンステートメント７０５はタイルコントローラ３
７に対し、タイル２９相互の端部の間に残す間隔、及び
タイル２９上に示される文字その他の記号を特定する。

フォントステートメント７０７はタイルコントローラ３
７に対し、フォント（図示せず）を参照することにより
、文字又は記号がどのように見えるものであるかを特定
する。

引きつけ領域（ＭＡＧＮｆ！Ｔ　ＲＡＮＧＥ）７０９は
、タイルが相互に引きつけ合うためにはタイルがどの位
相互に近接していることが必要かを特定する。スフイソ
シュ要素（ＳＱＬＩＩＳＩＩ　ＦＡＣＴＯＲ）７１１は
、タイル相互の融合の際にタイル２９の動きのアニメー
ションを滑らかにするために使用される、経験的に導き
出された値である。退去速度（ＳＣＯＯＴ　５ＰＥＥＤ
）７１３は、タイル２９がそれぞれの方向へと向けてど
の位速く移動するかを特定している。ギャップ７１５は
、タイルの位置が特定されていない場合に、不履行とし
てタイル２９相互間に残すべき間隔を特定している。ト
レーステートメント７１７は、トレーの名称及び当該ト
レーが描かれるべきスクリーン２７上での位置を特定し
ている。

タイル２９の各々は、１セツトのステートメント７１９
でもって特定される。各々のタイル２９について、タイ
ルコントローラ３７は、そのタイルがどのトレーにある
か、また上、左、下、右という順番で、タイルの位置（
［に（ａｔ）Ｊというキーワードの後に）について知ら
される。この例では、上部は位置３０に、左の座標ば３
５にあり、最初のゼロはタイルコントローラ３７が当該
タイルに与えられたマージン及びフォントの大きさに基
づき下部座標を割り当てることを示す。二番目のゼロは
タイルの右手の端部についてのものであり、当該タイル
がどの位の幅であるべきかを決定するためにタイルコン
トローラ３７がそのマージン及びフォント情報を使用す
べきことを示す。

次のライン７２１は、文字「Ａ」　（又はｒＡｊについ
てのキャラクタ−コードに対して割り当てられたものを
特定のフォントにおいて。プログラム言語Ｃの規則では
、逆斜線の［拡張（ｅｓ−ｃａｐｅ）　Ｊコードに数値
が続いたものは、タイプ可能でないキャラクタ−コード
を示すために代わりとして使用される。）を当該特定の
タイル上に示すことを命じており、また次のライン７２
３は、ｒＡＥＪ　　（短い「ａ」）という音がこの記号
に組み合わせられていることを示している。

キーワードｒＷＯＲＤＡＬｓＯＪ７２４はタイルコント
ローラ３７に対し、このタイル（この場合は一文字の不
定冠詞「ａ」）と同じに綴られる英単語であって、関連
する音のシーケンスの通常モードを示しているこのタイ
ルとは異なる発音をすることが必要なものが他に存在す
るということを知らせる（そうでない場合は、トレータ
イルを単語として解釈及び発音しようと試みる代わりに
、当該トレータイルと同じテキストを持つ自由なタイル
が、そのトレータイルの発音シーケンスを使用する）。

ｒＰＲＥＳＳＪステートメント７２５は、そのタイルを
選択するためにはキーボード上のどのキーが押されるこ
とが必要であるのかを識別する。タイルの色及び形を特
定するステートメントも使用することができる。

ステートメント７２６に続＜　ｒｃＪタイルステートメ
ント７２７は、硬膏ｒｃＪ　　（ｒＫＪＯ音）の音につ
いてのデジタル化シーケンスを特定する。これは文字列
中の先頭にある下線キャラクタ−７２９によってナレー
タ装置へと指示されるが、これはこの特定のナレータ装
置に対して、「この音声ストリングを合成するのではな
く、この音声ストリングについて関連する合成アクタ−
の唇の動きを表示し、「カー（ＫＡＨ）」という名の音
ファイルを使用せよ」ということを特定する。軟らかい
ｒｃＪ　　（ｒ’ｓＪの音）ではなく硬い音をｒｃＪの
通常の音として示すということは、プログラマ−が決定
することである。

「カー又はスー（ＫＡＨＯＨＲ５Ｓ）Ｊというデジタル
化即ち合成されたシーケンス（両方の音及び単語「又は
（ｏｒ）　Ｊを示すこと）も使用できる。

タイルコントローラ３７は、文字を記入したシミュレー
トされたタイル又は他の対象物を管理し操作するための
一般化されたシステムである。

タイルの作動のすべてはタイルコントローラ３７を介し
て制御されるため、タイルコントローラ３７はアプリケ
ーションコントローラ４４及びＲＡＶＥから独立してい
る。各々のタイル２９と組み合わせられているものは、
当該タイルに記入された文字又は記号を表している、テ
キストストリング及びそのテキストストリングをエンコ
ードしたものである。これらのデータ構造はタイル記録
という名を持ち、ＲＡＭ２０内のタイルテーブルに格納
されている。

さて第８図を参照すると、タイル記録８０１が示されて
いる。タイルテーブル８００は、固定長のタイル記録８
０１の線形リストである。タイルテーブル８００の長さ
を限度なしに延長するために、動的割り当て（及び複写
）を使用することができる。各々のタイル記録８０１に
ついてのフィールド内容の殆どは、通常は第７図に示さ
れた如きソースコードによって定義される。

クラス８０３は、タイルのクラスを特定する。

タイルのクラスは四つ存在している。空白については、
タイルテーブル８００は「空き（ｅｍｐｔｙ）　Ｊとい
う特別のクラスコードでもってマークする。

固定タイル（タイルの源泉即ちスタックとして機能する
）は、スクリーン上の特定の位置に存在する（編集モー
ドを除き。編集モードではユーザーは固定タイルを移動
でき、固定タイルについての新たな形状を記憶できる）
。浮動タイルは、活動領域の辺りを引き回されているタ
イルであり、自由タイルは活動領域上に落とされてさら
に移動することのできるタイルである。

四つ目のクラスは目に見えないものであり、プログラミ
ングの一助として使用されうる。

モデル８０５は、当該タイルについて、どのモデルの声
及び関連する合成アクタ−のアニメーションが使用され
るべきかを特定する。

位置８０７は、タイルの左上部の角がスクリーン上の何
処に位置すべきかを特定する。

テキスト８０９は、標準的なキャラクタ−ストリングの
表示の如き正字法のキャラクタ−ストリングのデータ、
及び使用に適当なフォントを含む記録のアドレスを特定
している。

対象物８１１は、特定のオペレーティングシステム環境
において入手可能である場合に、対象物の抽象的な表示
に対するアドレスを特定している。

押しキー８１３は、キーボード上において特定のタイル
を選択するために押すことが必要とされる、キーボード
のキーのリストを含んでいる。

音コード８１５は、テキストストリングについての発音
を表している音コードのストリングに対するポインタを
特定している。

フラグ８１７は、タイルの種々の一時的な属性を格納す
るためにタイルコントローラによって使用される。フラ
グ８１７はまた、ある文字がまた−文字の単語である例
外的な場合（又はより一般的には、トレータイルに記入
された記号ストリングが自由タイル上では単語として発
音される場合）を示すｒＷＯＮＥＪフラグをも含んでい
る。

色８１９は、テキストの色、背景の色、及び影を出す効
果並びに所望の美術的効果をも含めて、タイルの色の特
性を特定している。

形状８２１は、例えば母音と子音などの如き文字の種々
の等級を識別するために、タイルの形状が一つ以上ある
場合などの選択的な特性を指定することができる。

０ＣＲＥＣ８２３は、テキストストリングの部分と音コ
ード化されたストリングの部分との間の対応関係、及び
それらがどうアニメ化されるかを特定している情報を与
える、正字法的に対応する記録を指定している。

残りのフィールドは、将来的な拡張のために保存された
予備である。

次に第９図及び第１０図を参照すると、第二の例として
ｒＫＮＩＧＨＴ　　ＡＸ　（騎士の斧）」が、音声スト
リングｒＮＡＹＴ　　ＡＥＫＳ　（ナイト・アクス）」
へと翻訳されており、また音声翻訳規則及び正音声規則
を使用した、関連する０ＣＲＥＣ即ち正音声的に対応す
る記録の構造が示されている。ＲＡＶＥＬプログラムの
例示的なリスト（第６ａ図から第６ｃ図に示した如き）
は、前述した。この例においては、効果６−文字の上の
点−が、どの文字又は文字の組み合わせが発音されてい
るのかをディスプレーにおいて示す（ハイライトする）
ために使用され、効果３−下線−が、関連する文字の重
要な組み合わせを示すために使用される。

テーブル９００はこの例について使用される規則９０１
（第６ａ図から第６ｃ図のＲＡＶＥＬプログラムから取
った）を、コード化の説明をも含めてリストしている。

規則９０１は、プログラマ−が読み書きするのに簡単な
形態のキャラクタ−ストリングとされている。各々の音
声規則９０３は、ａ　　（ｂ）ｃ＝ｄという形態を有す
る。その意味は、ｒａＪによって先行されｒｃＪが後に
続く場合、キャラクタ−ストリングｂはｒｄＪと発音さ
れるということである。このｒｄＪは音素のストリング
又はここにおける規則が書き込まれている特定のナレー
タ装置に特有の他のスピーチ区分コードからなっている
。ｒｂＪは翻訳されるべきテキスト断片である。ｒａＪ
及びｒｃＪは一致をとられるべきパターンである。

これらはｒｂＪと同様に文字のテキストストリングから
なることもできるが、またストリングのクラスを示す特
別の記号であってもよい。翻訳ルーチンは原文のテキス
トであるｒＫＮ　Ｉ　ＧＨＴ　　ＡＸＪ９０２を直列的
に走査する。この原文テキストにおいて走査される各々
のキャラクタ−について、翻訳ルーチンは、左辺のスト
リング（前後関係ｒａＪ及びｒｃＪを含む）が現在の位
置における原文テキストに一敗するものを見出すまで、
ソース（原文）コードに与えられた規則全体を検索する
。翻訳ルーチンは次に当該規則におけるイコール符号の
右辺に音声コードを出力するが、それは逆斜線までをも
含むものではない。逆斜線は音声コードを足し算して、
進行につれて音声翻訳ストリングｒＮＡＹＴ　　Ａ　Ｅ
　Ｋ　Ｓ　Ｊ　９０４へとするものである。翻訳ルーチ
ンはそれが一致した原文ストリームにおける括弧付きの
キャラクタ−は飛び越して、逆斜線の後にある正音声規
則９０５を適用する。

規則の正音声部分９０５は、コンマによって分離され、
セミコロンによって終端された、何個かの効果指定子（
ｅｆｆｅｃｔ　ｄｅｓｉｇｎａｔｏｒ）９０６からなっ
ている。効果指定子９０６の各々は、効果番号と、それ
に続くコロンと、その後の括弧付きの幾つかの数字のリ
スト９０８とからなっている。

各々のりスト９０８は少なくとも二つの数字を含み、そ
の最初のものは、正字法テキスト人力ストリームから幾
つのキャラクタ−が翻訳されたかを示し、二番目の数字
はそれらが正音声的に意味のある（ＯＰＳ）幾つの音コ
ードへと翻訳されたのかを示している。テーブル９１０
は、規則９０１の正音声部分９０５によって生成される
アニメーション９１２、及び規則９０１の音声部分９０
３により割り当てられる音声的音ｇ９１４を示している
。

０ＣＲＥＣ９０７は、正音声記録９０５から、第１０図
に示されるように構成されている。これはゼロの記録に
よって終端されるリストであって、原文文字列に適用さ
れた正音声規則９０５において特定された効果９０６の
各々について、効果コード９０９及び関連するリストア
ドレスベクトル９１１を含んでいる。この例９０７にお
いて、効果コード９０９は正音声記録９０５において使
用された効果番号９０６と同一である。アドレスベクト
ル９１１は、当該効果について集められ及び／又はテキ
ストから音声への翻訳器によって発生され、二つのゼロ
９１６（禁止されたか又は意味のない値のセット）によ
って終端された括弧付きのコード９０８の線形リスト９
１３を指定する。

リスト９１３における各々の記録９１５は少なくとも二
つの値を含んでおり、その最初のものは正字法によるキ
ャラクタ−の個数を、そして第二のものはそれらがマツ
プされた正音声的に意味のある音コード（ＯＰＳ音コー
ド）の個数を特定している。ＯＰＳ音コードはＲＡＶＥ
Ｌソースコードのナレータ装置特性区域においてフラグ
され（第６図に示されたように）、そしてこの翻訳規則
によってカバーされないアルゴリズムに従いテキスト−
音声翻訳器により書き込まれている、当該特定のナレー
タ装置のための強勢及びその他の音声コードモデルを排
除するために使用される。正音声規則の効果パラメータ
９０８（括弧内の数値）を各々の適当なりスト９１３の
終わりまで出力した後、ルーチンは原文ストリームの走
査を再び開始する。

幾つかの場合には、効果は、原文ストリングにおいてア
ニメーションが現れる派生点を特定している第三の値を
必要とすることがある。それにより、記号セットの組み
合わせモードのアニメーションを可能ならしめ、キャラ
クタ−が配列された順序とは異なる順序において、キャ
ラクタ−に音響を発生させるものである。発声教授モー
ド（第２１図−第２ｎ図）、或いは文脈（即ち先行又は
後続の文字）を強調しある文字が当該単語中において特
別の音を有するようにする他のモードを達成するために
、二つの付加的な数値（図示せず）が必要とされる。こ
のことは、テキスト−音声翻訳器による方法を修正して
、ある文字が有していた文字（又は文字の組み合わせ）
の前後の距離を追跡してこれを検索し、適当な音韻を割
り当てるようにすることによって達成される。英語のよ
うに綴りが難しい言語においては、これらのタリーから
特定の規則（通常は例外的な場合について）を免除する
ために、別個の効果コードを使用することもできる。

他の効果においては、記号（シンボル）における重複し
た要素（例えば東洋の表意文字言語など）を特定するた
めに、また当該効果の特定のモード（下線の幅、その他
）を示すため、或いは当該規則に関連する合成アクタ−
による注釈（例えば［この母音は黙音ｒｅＪのために長
い」といったような）を特定するために、付加的な数値
を必要とする。

コード叱正音声規則における便宜及び正確さのために、
テキスト−音声翻訳器は、関連する音声規則から推論し
うる値については、不存在の正音声規則を発生するよう
にプログラムされることができる。

ここでｒＫＮ　Ｉ　ＧＨＴ　　ＡＸＪという例を参照す
れば、例示的なＲＡＶＥＬプログラムにおいて、テキス
トストリングｒＫＮ　Ｉ　ＧＨＴ　　ＡＸ」の始まりと
一致する最初の規則９１９は、規則（＄）ＫＮ＝Ｎ＼で
′ある（式中＄は空白文字又はテキストストリングの始
まり）。この規則は、単語の始まりにおいて「Ｎ」の前
に黙音であるｒＫＪを見出し、これと一致するように設
計されている。この規則は始めに一致されるが、それは
、規則が直列的に走査されるものであって、この規則よ
りも下にある「通常のＫ」についての規則は検索される
ことがないからである。

ひとたび一致が見出されたならば、音声翻訳コ−ド「Ｎ
」が出力される。これと関連する正音声規則９０５は、
効果番号９０６及びこれに組み合わせられた効果値９０
８を含んでいる。最初の数値「３」は、効果３を指示し
ている。０ＣＲＥＣ９０７を構築するために、効果３０
指定子９０９及び関連するリストアドレス９１１がセッ
ト７７ブされ、次いで効果３のリスト９１３の初期エン
トリが、「３：」の後の括弧内に包含された数値コード
ｒ２　１　４Ｊを複写することによって入れられる。括
弧が閉じた後のコンマは、別の効果９０６が続くという
ことを示している。同様に、次の効果である効果６につ
いても、効果６の指定子９０９及び関連するリストアド
レス９１１がセットアップされる。「６」に続く括弧付
きコードの二つのセット「１０」及び「１１」を複写す
ることにより、初期エントリが効果６のリスト９２１に
入れられる。ｒ　１　０　Ｊ　９２３は、最初の文字キ
ャラクタ−であるｒＫＪがゼロＯＰＳ音コードにマツプ
されたということを示している。ｒ　１　１　Ｊ　９２
５は、第二の文字ギヤラフターであるｒＮＪが単一のＯ
ＰＳ音コードに対してマツプされたということを示す。

これにより、最初の規則９１９の適用は完了する。

次に規則は、原文テキストの文字列の残りであるｒｌＧ
）（Ｔ　　ＡＸｊの一致をとる規則に関して検索される
。規則テーブルにおけるこの文字ストリングに対する最
初の一致は、ｒＩＧＨＪに対する規則９２７である。こ
の規則を適用すると、音声翻訳にｒＡＹＪ　　（長い「
アイ（ｉ）」の音）というコードが付加され、音声スト
リングｒＮＡＹ　（ナイ）」が作成される。ｒ３：Ｊ９
０６に続く括弧内のｒ３　１　４Ｊ９０Ｂが、構築中の
効果３のリスト９１３に加えられ、正字法の原文テキス
トの３つの文字列キャラクタ−が一つのＯＰＳ音声音コ
ードにマツプされたということが示される。効果３のリ
ストにおける「４」９１７．９２９は、下線の幅が画素
４つ分であることを示す、さらなるコードである。

ｒ６：Ｊ９０６に続く次の二つの数値の対９０８は、構
築中の効果６のリスト９２１に付加されたものである。

即ちこれらの数値「１１」及び「２０」は、効果６（発
音される場合の文字上の点）が、欄９３１及び９３３に
おいて説明され且つテーブル９１０の列９３５において
図示されているように、後続の二つの文字キャラクタ−
であるｒＧＨＪではな（最初の文字キャラクタ−ｒｌに
ついて実行されるということを示している。二つの文字
キャラクタ−ｒＧＨＪは「熱台の」文字であるので、こ
れらはどのような音声翻訳に対してもマツプされていな
い。

次に一致が取られるべき規則は、ｒＴＪの規則であり、
これも同様にテーブル９００に図示されているように０
ＣＲＥＣが完了するまで行われる。ｒＸＪについての規
則９３７は、単一の文字９３８が二つの音コード９３９
を発生するものの例を提供していることに注意されたい
。原文テキストの文字列即ちストリングが使い尽くされ
た場合、０ＣＲＥＣの効果リスト９１３及び９２１は、
それぞれゼロの対９１６及び９１８によって終端される
。０ＣＲＥＣのリスト９１３及び９２１は最終的に、正
音声スクリプトを発生するために使用される。

さて第１１図をも参照すると、正音声スクリプト１０１
が示されている。この正音声スクリプトは、ＲＡＶＥＬ
プログラムの規則を使用してテキスト−音声翻訳器４０
　（第３図に示した）によって構築された０ＣＲＥＣか
ら発生されている。

効果１及び特別の情報をフラグするために残して置かれ
た他のものを除き、効果リスト９１３及び９２１の各々
について、通常は一つの正音声スクリプト１０１が発生
される。０ＣＲＥＣ９０７における他の効果リスト又は
効果リストのセットの各々は、マイクロプロセッサ１０
が正音声スクリプト発生器５２を使用してスクリプトを
発生するようにさせる。正音声スクリプト１０１は、基
本的には合成アクタ−スクリプト１２０（第１２図に示
されている）と同じであり、アドレス／時間の対１０２
．１０３に加えて負のアドレス値１０５（正音声スクリ
プト１０１においては（負）として示されている）によ
りフラグされ事象番号を特定している事象待ち記録１０
４とからなっている。この例においては、ｒＫＪ及び「
Ｓ」の音についての音コードは、事象者コード（第６図
に示された如き）でないものとしてフラグされている。

正音声スクリプト１０１においては、アドレス１０２は
正音声アニメーションブロック（ＯＡＢＬＯＣＫ）１０
６を指定しており、このＯＡＢ　ＬＯＣＫの正確な内容
は、効果の詳細（正音声アニメーションプロセッサ５１
が何であるかをも含めて）及びそのスクリプト発生器５
２の性質に依存している（情報の幾らかは、０ＡＢＬＯ
ＣＫパラメータ値として渡されるのではなく、非リアル
タイム段階においてコンパイルされているであろう）。

この例、つまりｒＫＮ　Ｉ　ＧＨＴＡＸＪにおいては、
「Ｋ」及び「Ｓ」の両者にとって正音声ディスプレーは
同一であり、これら両者については一つの０ＡＢＬＯＣ
ＫＩＩＯｆ。

か発生されない。なぜならこれらは一つの文字ｒＸＪの
音声翻訳によって発生されたものだからである。「Ｋ」
及び「Ｓ」についての表示時間は合計され、ＯＡＢＬＯ
ＣＫは合計期間１０７である１１サイクルに渡って表示
される。正音声スクリプトにおける最後の０ＡＢＬＯＣ
Ｋ１０８は１サイクルの表示時間１０９を有し、スクリ
ーンを初期のアニメーションのない表示状態（即ちハイ
ライトされた文字がない）へと戻す。０ＡＢＬＯＣＫ及
び正音声スクリプト発生器５２は、テキスト、正字法に
よる画像のスクリーン上での位置、及びテキストを完全
に特定するために必要とされる他のテキスト描写パラメ
ータを含む情報であって、アプリケーションコントロー
ラ３１、タイルコントローラ３７又は動作コントローラ
４９などからマイクロプロセッサ１０へと渡された情報
に基づき、マイクロプロセッサ１０によって選択されま
た生成されたものである。かくしてマイクロプロセッサ
１０は、正字法キャラクタ−の各々の高さ、幅及び位置
を特定することができ、そしてこのデータを利用して非
リアルタイム段階において０ＡＢＬＯＣＫを発生するこ
とができる。

０ＡＢＬＯＣＫ１１５は、正音声効果（及び合成アクタ
−の効果）の多くのものについて適当な０ＡＢＬＯＣＫ
のフォーマットの例を、標準的なメモリマツプされた映
像表示システムを伴って提供している。０ＡＢＬＯＣＫ
１１５は、効果を表示すべきスクリーンアドレス１１６
と、表示領域の高さ１１７及び幅１１８と、及びスクリ
ーン画像それ自体を特定するためのデータ１１９とを含
んでいる。

さて第１２図を参照すると、合成アクタ−スクリプト１
２０の例が示されている。合成アクタ−スクリプト１２
０は正音声スクリプト１０１　と同じフォーマットを有
しているが、その生成方法は異なる。図示の合成アクタ
−スクリプト１２０は、以前に説明したｒｃＡＴＪＯ例
についてのスクリプトである。表示期間１２２及び５Ａ
ＢＬＯＣＫアドレス１２４を含んでいる第一の記録部分
１２３は、音声コード化ｒＫＪのだめのものである。そ
こでは「事象記録待ち」１２５は先行していない。なぜ
ならｒＫＪは事象（ＥＶＩＩ！ＮＴ）音コード（第６図
に示された如き）としては定義されていないからである
。５ＡＢＬＯＣＫ１２１は０ＡＢＬＯＣＫ１１５と同様
のフォーマットを有しているが、スクリーン画像データ
１３１が合成アクタ−の位置を描写するようになってい
る。

このスクリーン画像データ１３１は、デジタル化された
ビットマツプの形態を取ることができる。

正音声スクリプト１０１と同様に、最後の記録１２７は
、静止している合成アクタ−の画像を含んでいる５ＡＢ
ＬＯＣＫ１２９のアドレスを含んでいる。

【図面の簡単な説明】

第１図は、本発明の原理に従い、コンピュータにより発
生された映像的画像をリアルタイムに同期されコンピュ
ータにより発生されたスピーチと共に表示するシステム
のブロックダイヤグラムであり； 第２ａ図から第２ｑ図は、第１図のシステムに従いｒｃ
ＡＴＪという単語の形成を実演しまたスクリーンのレイ
アウトを示す、ディスプレースクリーンの表示のシーケ
ンスであり；第２ｒ図は、手話でもって教授又は意思疎
通するために、第２ａ図から第２ｑ図のスクリーンレイ
アウトの特徴と共にアニメ化された手の使用を示す表示
であり； 第３図は、第１図に示されたシステムにおける主なデー
タの流れ及び処理を示す、詳細な機能ブロックダイヤグ
ラムであり； 第４図は、カウント−オフ・テーブルの構造を示すダイ
ヤグラムであり； 第５図は、合成アクタ−モデルのテーブル記録を示すダ
イヤグラムであり； 第６図は、第６ａ図から第６ｃ図の関係を示している説
明図であり； 第６ａ図から第６ｃ図は、第１図のシステムにおいて使
用された音声および正音声規則を含んでいるＲＡＶＥＬ
プログラムの例示的なリストを提供している表であり； 第７図は、第７ａ図と第７ｂ図の関係を示している説明
図であり； 第７ａ図と第７ｂ図は、第２ａ図から第２ｒ図に示され
た如きタイルの正字法的マツピングのための規則を特定
しているコードの例示的なリストを提供している表であ
り； 第８図は、タイルテーブル及び関連するタイル記録の図
式的表示であり； 第９図は、キャラクタ−ストリングを翻訳するためのテ
キスト翻訳規則の使用を示す図式的表示であり； 第１０図は、正音声的に対応する記録を示す図式的表示
であり； 第１１図は、第１０図に示された正音声的に対応する記
録に対応する正音声スクリプ斗を示す図式的表示であり
；及び　　　　・ 第１２図は、合成アクタ−スクリプトを示す図式的表示
である。 ５・・・コントローラ　　７・・・ビデオ入力装置８・
・・デジタイザ　　９・・・オーディオ入力装置１０・
・・マイクロプロセッサ　　１１・・・ＲＯＭ１２・・
・ディスクコントローラ １３・・・ディスクドライブ １５・・・キーボード　　１６・・・入力コントローラ
１７・・・入力装置　　１８・・・ビデオ発生器１９・
・・ビデオ出力装置　　２０・・・ＲＡＭ２１・・・デ
ィスクＲＡＭ ２２・・・ディスプレーＲＡＭバッファ２３・・・オー
ディオＲＡＭバッファ ２４・・・ＲＡＭ　　　２５・・・オーディオ出力装置
２６・・・オーディオ発生器　　２７・・・ディスプレ
ー２８．３０・・・トレー　　２９・・・タイル３１・
・・スタック　　３２・・・合成アクタ−表示領域３４
・・・活動領域　　３６・・・話をする頭部３７・・・
タイルコントローラ　　３８・・・唇３９・・・ナレー
タ装置積分器　　４０・・・翻訳器４１・・・エンコー
ダ／デコーダ ４３・・・オーディオプロセッサ ４４・・・アプリケーションコントローラ４５・・・ス
ピーチシンセサイザ ４９・・・動作コントローラ ５１・・・正音声プロセッサ ５３・・・合成アクタ−プロセッサ ５５・・・リアルタイム統合器 ６１・・・ビデオコントローラ 出願人代理人　　　古　谷　　　態 量　　　溝部孝彦 同　　　古谷　聡 日Ｇ、　２ａ 日Ｇ、　２ｂ 口Ｇ、　２ｃ ＨＧ、　２ｄ 日Ｇ、　２ｅ 口Ｇ、２９ ＦＩＧ、　２ｊ 日Ｇ、　２ｋ ＦＩＧ、　２１ ４：　　　　　　２０　、５５　、　Ｉ　、　ＩＦＩＧ
、　４ 日Ｇ、　５ ０Ｇ、６ 日０．７ ／富音声規則　　　　　　　　　　　　正音声規則富／
〔Ａ〕・＾Ｂ＼　　　　　　　３：（１１４１、ｌ（１
１１：／８１１いａの規則、下線及び魚倉／＼　／富す
−ダー６のための規則の終り怠／＋２＋＋ｔ＋ＳＴ北Ｓ
Ｓ２ ”３”Ｉ”　５ＴＲＥＳＳ　３ ’４”ｔ’　５ＴＲＲＳＳ　４ ”５＝ｔ’　５ＴＲＥＳＳ　５ ”６＝＄’　５ＴＲＥＳＳ　６ ”？”ｔ”　５ＴＲＥＳＳ　？ ”８”ｔ”　５ＴＲ２ＳＳ　８ ”９”ｔ”　５ＴＲＥＳＳ　９ 旦ｂ　怠“零“ ’、　”ｔ”　ＢＲＥ＾に ゝ？＝ｒ　ＢＲＥＡＫ −＋＋寥”　ＰＡＬＩＳＩ！　３ ＋、　＋＋ｔ＋　ＰＡＵＳＥ　３ ＋（＋＋ｔ＋ ″ど＋１＋ ”　”ｔ” ＦＩｏ、６ａ 図面の浄書（内容に変更なし） ”ＡＰＩ”ＡＩ！　ｊ”　ＶＯＩＩＥＬ　ｌ！Ｖｌ！Ｉ
Ｔ　ＯＰＳ　９３”ＡＩ”ＡＨｔ”　ＶＯＩＩＩＥＬ　
ｌ１ＶＥｌｌＴ　ＯＰＳ　１０４”ＡＩ”ＡＸ　ｔ”　
ＶＯＩＩＥＬ　ＢＶＥＮＴ　ＯＰＳ　１０７°＾マ“Ａ
Ｔ　ｔ’　ＶＯＩＩＢＬ　ＥＶＥＮＴ　ＱＰＳ　＋２８
”［ｌｌｆ”ＥＨｔ”　ＶＯＷＥＬ　ＩＩＶＥＮＴ　Ｑ
ＰＳ　１０９’［！Ｒ”Ｅｌ　＄”　ＶＯＩＩＩＩＬ　
ＨＶＥＩＩＴ　ＯＰＳ　８１０’Ｉ！Ｙ”［ｌＹ　ｔ”
　ＶＯＩＩＨＬ　ＥＶＥＮＴ　ＯＰＳ　１０１＋ｆｌＬ
Ｚ　”ＩＩＩ”１１１客”　ＶＯＩＩＢＬ　ＥＶＥＩＩ
Ｔ　ＯＰＳ　８１２”ＩＬ−”ＩＬｔ’ＥＶＥＮＴＱＰ
３１０１”ＩＩ”ｌｌｆｔ’ＥＶＩ！Ｉｆｆ口ＰＳ１２
１”ＩＩＩ”ＩＩＩ　ｊ”　ｅＶＰ、ＮＴＱＰＳ　＋２
１”ＩＩ”ＩＩ　ｊ”　Ｖ［１ＩＩＢＬ　ＥＶ［！ＩＩ
Ｔ　ＯＰＳ　１０１３”ＩＹ”ＩＴ　雲’　ＶＯＩＩＥ
Ｌ　ＢＶＥＮＴ　ＤＰＳ　１０１４”ＯＨ”ＯＨｊ”　
ＶＯＷＥＬ　ＥＶ［ｌＮ↑ＯＰＳ　１０１５＋Ｏｗ”０
１１１”ＶＱＩｌｌｌＬＥＶ［ｔｌｌ↑ＯＰＳ１０１ｇ
”ＤＹ”ＯＹ　＄”　ＶＯＩＩＥＬ　ＢＶＥＮＴ　ＯＰ
Ｓ　５６５４９”１１１１”１１１１　ｔ’　ＶＯＩＩ
ＩＩＬ　ＥＶＥＮＴ　ＯＰＳ　１０１６”ＩＩＬ″’Ｕ
Ｌ　ｔ”　ＥＶＥＮＴ　ＯＰＳ　５１８５２７”ＩＩＭ
”ＩＩＭ　ｔ”　ＩＩＶＥＩｆｆ　ＯＰＳ　５１８５２
８’１１％”Ｉｔ！ｌ　ｊ”　ＥＶＥＩＩＴ　ＦＩＲＳ
　５１８５２９”ＵＷ”Ｕｌｌ　ｊ”　ＶＯＷ［！Ｌ　
ＥＶＥＩＩＴ　ＯＰＳ　１０１９”ＣＩ”ＣｌｌＡｌ　
ｊ’　ＥＶＥＮＴ　ＯＰＳ　Ｉｏ　２１”Ｄ”ＯＡＸ　
ｊ”　ＥＶＥＮＴ　Ｏｎ　＋０２２”Ｄｌｌ”ＤｌｌＡ
Ｘ　ｔ”　ＥＶＥＮＴ　ＯＰＳ　１０４０ｉ”［１Ｘ１
ＤＩ　ｊ”　ｅＶｌ！ＩＩＴ　ＯＰＳ　Ｉ　４４”Ｌ”
ＬＸＩＪ　＄”　２ＶＥＮＴ　ＯＰＳ　１０２７’Ｍ”
１１１１１１　ｔ’　ＥＶＥＮＴ　ＤＰＳ　１０２ｇ”
Ｎ”ＮＮ　ｔ”　ＥＶＥＩＩＴ　ＯＰＳ　１０２９’Ｎ
Ｘ−”ＮＮＱＸＧＡＸ　＄”　ＥＶ［！ＮＴ　ＯＰＳ　
９３ｇＦＩ０．６ｔ） 図面の浄τ゛２（内容に変更なし） ＋Ｒ”ＲＲｊ”　ＥＶＥＩＩＴ　ＯＰＳ　１０３１”Ｒ
Ｘ”Ｒｊ＋εＶｌ！ＮＴ　ＯＰ！ｉ　ＩＱ　４６”Ｔ”
Ｔｌ１ｌｌ＄”ｅＶｍＯＰＳ１０３３”ＴＨ”ＴＩＩＡ
Ｘ　ｌ”　ＥＶｅＹｒ　ＯＰＳ　１０３９”Ｖ”ＶＡＫ
　＄”　ＥＶＨＩＩＴ　ＯＰＳ　１０３４［”Ｗ”１１
１１１　ｊ”　ＥＶＩ！ＩＩＴ　ＯＰＳ　５３５５５Ｇ
”Ｙ”ＹＡＸ　＄”　ｅＶＦ、Ｙｒ　ＯＰＳ　１Ｇ　３
６”Ｚ”２２２　ｔ”　ＥＶＥＩＩＴ　ＯＰＳ　１０３
７”２１１”ＺＩＩＡＸ　ｔ”　ａＶＥ＋ｆｆ　ＤＰＳ
　１０４２”Ｐ＝ＦＡＸ　＄”　ＥＶＥＮＴ　ＯＰＳ　
１０２３”ＯＫ”ＯＸｊ”ＢＶＩ！ＴＩＴＱＰＳＩＩ’
／Ｃ”／ＣＡｘｊ”　ＥＶＥｌｉＴ　ＯＰＳ　１０４３
”／Ｉｆ”／ＩＩＡＸ　ｔ’　ＥＶＥＮＴ　ＯＰＳ　１
０４３−オ“”ＳＳ零″２１０１２１２７２１０２２１
２６２１０３１９７　／富商き直る富／”−２”ＳＳ　
＄”　１０３０２５３９　／富目上向き富／＋：３”Ｓ
Ｓ　ｊ”　１０３０２５３９　／＊目まん中本１ｌＮＢ
［’ＴＷＥＥＩＩ　５２６６１１２　；ＩＮＢＩ！ＴＷ
ＥＥＩＩ　２６１２６６２　；ＦＩＧ、　　６Ｃ 図面の浄割内容に変更なし） ”＾”’［！Ｙ　＄’ ２Ｂ″’ＢＩＹ　＄” ”Ｃ”ＳＩＹ　ｔ’ ”Ｅｌ”［ｌＩＹ　ｔ’ ’Ｅ″’ＩＹ　＄’ Ｆ”［！ＨＦ　ｔ” ”Ｇ″″ＪＩＹｊ” ′Ｉｌ”Ｉ！ＹＣＩＩ　＄” ’Ｉ”ＡＹ　＄’ １Ｊｍ”ＪＢＹ　ｔ’ ”に”にＥＹ零１ Ｌ′″”ＥＩＩＬ　＄’ ＃ｒ″ＥＩＩＭ零１ ′Ｎ“”ＢＩＩＮ　ｊ” ’０”ＯＨｊ’ ’Ｐ”ＰＩＹ　＄’ ’Ｑ”ＫＹＵＩＩ　ｔ’ ”Ｒ”ＡＡＲＫ　＄’ ’Ｓ”ＥＨ５ｊ” １１↑ＩＹｒ ”Ｕ”１１１ｗ客“ ”Ｖ”ＶＩＹ　ｔ’ ’Ｗ’７−ＤＩＩＩＢＡＸＬＹＩＩＩＩ　ｊ’１ｘ′″
’Ｉ！ＩＩＫＳ　＄” ’Ｙ”ＷＡＹ　ｊ’ ’Ｚ”ＺＩＹ　ｔ’ Ｆ　工　０−７ａ 図面の浄コ（白′σに変更なし） ＢｆｆＴＴＯ１１５ ＰＡＣＩ！　１ ７１７＼ＴＲＡＹ　’ｔｅｓ目・ ＾ＴＯＱＩ０７５１１； 丁ＩＬＢ　　ＩＮ　ＴＲＡＹ　　’ｔｅｓｔ　　１”Ａ
Ｔ　０００　Ｇ ５ｌｌ０ＩＩ　”Ｂ’ ＳＡＴ　”ＢＡＲｔ” ＰＩＩＥＳＳ　１１５８５６５６５６５６　；７２６ゝ
丁ＩＬＩＩ　ＩＮ　ＴＲＡＹ”Ｌｅｓｔ　ｌ”ＡＴ　０
００　Ｇ 丁ＩＬＬ！ＩＮＴＩＩＡＴ”ｊｅｓｔｌ”ＡＴ　０２０
０００ ＳＨ［Ｉｗ＋［ｌ＋ ＳＡＴ　’［ｌＡＨ寥１ ＰＲＥＳ３１３５６％５６５６５６　；ＦＩＯ−７ｂ ＦＩＧ、　８ ＦＩＧ、　１１ 手続補正書く方式） １、事件の表示 特願昭６２−２９８８４０号 ２、発明の名称 スピーチ同期アニメーション ３、補正をする者 事件との関係　　特許出願人 工　　ロ　　ン　　・　　ギ　　ャ　　ス　パ　−４、
代理人 東京都中央区日本橋横山町１の３中井ビル（６３８９）
弁理士　　古　　谷　　　　　馨ｆ！　（０３）　６６
３−７８０８　（代）５、補正命令の日付 （１）第６ａ図、第６ｂ図、第６ｃ図、第７ａ図第７ｂ
図、第９図及び第１０図を別紙の如く補正（内容に変更
なし）

Claims (1)

1. 【特許請求の範囲】 １　同期された音響的及び映像的特徴を有しランダムに
   アクセス可能なアニメ化された対象物を生成し表示する
   ための装置であって； プログラム制御されたマイクロプロセッサと； 前記マイクロプロセッサからのコマンド信号に応じてエ
   ンコードされた音響の要素及びエンコードされた対象物
   の成分の要素を表す信号を生成するために、前記マイク
   ロプロセッサに連結された積分手段と； 前記エンコードされた音響の要素を表す信号に応じて音
   響を生成するために、前記マイクロプロセッサ及び前記
   積分手段に連結された音響発生手段と；及び 前記エンコードされた対象物の成分の要素を表す信号に
   応じて前記アニメ化された対象物の映像的画像を生成す
   るために、前記マイクロプロセッサ、前記積分手段及び
   前記音響発生手段に連結された表示手段と、前記アニメ
   化された対象物の映像的画像は前記音響と同期されてい
   ることを含む、前記装置。 ２　前記積分手段は、前記音響の要素と関連する記号の
   セットを該記号のセットの音声表示及び前記音響の要素
   に対応する正音声特徴を表すコード化されたビット列へ
   と翻訳するための翻訳手段を含む、特許請求の範囲第１
   項記載の装置。 ３　前記音響の要素を表すデータを格納し、前記音響の
   要素と関連する動作特性を表すデータを格納し、及び前
   記対象物の成分の要素の映像的画像を表すデータを格納
   するためのランダムアクセスメモリ手段をさらに含み、
   前記マイクロプロセッサ及び前記表示手段は前記信号に
   応じて前記データをアクセスし前記音響の要素と関連す
   る動作特性を有する擬人的対象物を生成する、特許請求
   の範囲第１項に記載の装置。 ４　前記積分手段、前記発生手段及び前記表示手段に連
   結されたアニメーション手段と、該アニメーション手段
   は前記信号に応じて前記アニメ化された対象物のエンコ
   ードされたモデルを生成することと、前記表示手段は該
   エンコードされたモデルに応じて前記アニメ化された対
   象物の映像的画像を表示することをさらに含む、特許請
   求の範囲第１項記載の装置。 ５　前記アニメーション手段は； 前記信号に応じて擬人的対象物の特徴を定義する第一の
   デジタル化されたエンコードモデルを生成するための第
   一のアニメーション手段と；及び 前記信号に応じて物理的対象物の特徴を定義する第二の
   デジタル化されたエンコードモデルを生成するための第
   二のアニメーション手段とを含む、特許請求の範囲第４
   項記載の装置。 ６　前記擬人的対象物は人的外観を有するアニメ化され
   た漫画のキャラクターを含む、特許請求の範囲第５項記
   載の装置。 ７　前記物理的対象物は複数のドミノ状タイルを含み、
   該タイルの各々はそこに記入された少なくとも一つの記
   号を有し、該記号の各々は異なる言語音と関連している
   、特許請求の範囲第５項記載の装置。 ８　同期された音響的及び映像的特徴を有しランダムに
   アクセス可能なアニメ化された対象物を生成し表示する
   ための方法であって； エンコードされた音響の要素及びエンコードされた対象
   物の成分の要素を表す第一の信号のセットを生成し； 前記第一の信号のセットに応じて第二の信号のセットを
   生成し、該第二の信号のセットが前記成分からなるアニ
   メ化された対象物の画像を表すようにし； 前記第一の信号のセットに応じて前記第一の信号のセッ
   トにより表された前記音響の要素を発音する音声を電子
   的に合成し；及び 映像出力を生成して前記第二の信号のセットによって表
   された前記アニメ化された対象物の画像を表示し、前記
   アニメ化された対象物の画像の表示を前記合成された音
   響の要素と同期させることを含む、前記方法。 ９　語学の技能などを教えるための教授方法であって； スクリーン上に複数の第一のアニメ化された画像を表示
   し、該第一のアニメ化された画像の各々はそこに記入さ
   れた複数の図形記号の少なくとも一つを有するようにし
   、該複数の記号の各々は言語音と関連するようにする段
   階と； 入力信号を受信し、該入力信号に応じて前記第一のアニ
   メ化された画像の少なくとも一つを選択する段階と； 前記第一のアニメ化された画像の前記選択された一つに
   記入された前記記号と関連する言語音を発音する音声を
   電子的に生成する段階と；及び 前記スクリーン上に第二のアニメ化された画像を表示し
   、該第二のアニメ化された画像が顔の造作を有し話をす
   る頭部を含むようにし、該第二のアニメ化された画像は
   前記入力信号に応じて前記関連する言語音による話をシ
   ミュレートしている頭部及び顔の造作の動きを含む身体
   の動きのアニメ化されたシーケンスを前記音声と同期し
   て表示する段階を含む方法。 １０　入力信号を受信し前記第一のアニメ化された画像
   の少なくとも一つを選択する前記段階は、前記選択され
   た第一のアニメ化された画像を識別し強調するために該
   選択された第一のアニメ化された画像をハイライトする
   段階を含む、特許請求の範囲第９項記載の方法。 １１　前記選択された第一のアニメ化された画像をハイ
   ライトする前記段階は、前記音声の生成と同時にそこに
   記入された前記記号を強勢することを含む、特許請求の
   範囲第１０項記載の方法。 １２　前記選択された第一のアニメ化された画像を前記
   スクリーン上の第一の位置から第二の位置へと移動する
   段階と； 少なくとも一つの追加の入力信号に応じて少なくとも一
   つの追加の第一のアニメ化された画像を選択し、該選択
   された追加の第一のアニメ化された画像を前記第二の位
   置に隣接する第三の位置へと移動して前記記号の組み合
   わせを形成する段階を含む、特許請求の範囲第９項記載
   の方法。 １３　第一のアニメ化された画像の各々の選択と同時に
   、該選択された第一のアニメ化された画像の各々をハイ
   ライトする段階と； 選択された追加の第一のアニメ化された画像の各々をそ
   れが前記第三の位置に移動された場合に前記第二の位置
   の前記第一のアニメ化された画像と組み合わせることに
   より、前記第二の位置において一つの最初にアニメ化さ
   れた画像を形成し、該一つの最初にアニメ化された画像
   は選択された第一のアニメ化された画像の各々に記入さ
   れた記号を有する段階と； 前記一つの最初にアニメ化された画像に記入された記号
   の各々のシーケンスにおいて関連する音声を発音する段
   階と；及び 関連する音声の発音と同時に各々の記号を強勢する段階
   とをさらに含む、特許請求の範囲第１２項記載の方法。 １４　前記スクリーン上に第二のアニメ化された画像を
   表示する前記段階は、前記第一のアニメ化された画像の
   前記選択された一つに記入された記号に関連する言語音
   を表す手話の手記号を形成するために、アニメ化された
   手を含んで前記第二のアニメ化された画像を表示するこ
   とを含む、特許請求の範囲第９項記載の方法。 １５　アニメ化された正字法の対象物を、該正字法の対
   象物と関連する同期された音響的及び映像的特徴を有す
   る少なくとも一つのアニメ化されたキャラクターと組み
   合わせて生成するためめのシステムであって； プログラム制御されたマイクロプロセッサと； 該マイクロプロセッサに連結され、該マイクロプロセッ
   サからのコマンド信号に応じてエンコードされた音響の
   要素を表す第一の信号及び該音響の要素を関連する対象
   物の成分及び動作特性に対してマッピングするエンコー
   ドされた規則を表す第二の信号を生成する積分手段と； 前記積分手段及び前記マイクロプロセッサに連結され、
   前記第一の信号に応じて前記アニメ化された正字法の対
   象物を表す第一のエンコードされたモデルを生成する第
   一のアニメーション手段と； 前記積分手段及び前記マイクロプロセッサに連結され、
   前記第二の信号に応じて前記アニメ化されたキャラクタ
   ーを表す第二のエンコードされたモデルを生成する第二
   のアニメーション手段と； 前記マイクロプロセッサ及び前記積分手段に連結され、
   前記エンコードされた音響の要素を表す前記第一の信号
   に応じて音響を生成する音響発生手段と；及び 前記マイクロプロセッサ及び前記第一及び 第二のアニメーション手段に連結された表示手段と、該
   表示手段は前記第一のエンコードされたモデルに応じて
   前記アニメ化された正字法の対象物の映像的画像を生成
   及び表示し、該表示手段は前記第二のエンコードされた
   モデルに応じて前記アニメ化されたキャラクターの映像
   的画像を前記音響と同期して生成及び表示することを含
   む、前記システム。 １６　前記表示手段に連結され、入力信号に応じて前記
   アニメ化された正字法の対象物を前記表示手段において
   一つの位置から他の位置へと再度配置する手段をさらに
   含む、特許請求の範囲第１５項記載のシステム。