JPH10509811A - 外国語教育補助方法及び装置 - Google Patents

Abstract

(57)【要約】 マルチメディアコンピュータ(52)上で実行される言語指導プログラム(50)を備えた外国語指導を補助する方法及び装置が開示される。言語指導プログラムは、ストーリを使用し、そのストーリに関する選択されたフレーム(126)と、そのフレームに関連した外国語のフレーズを含む対話吹き出し(136)とを表示することにより、外国語を教授する。フレーズの翻訳(128)も表示される。更なる補助として、発音ガイド(122)は、個人の唇のアニメーション表示を、外国語の選択されたワードの正しい発音として表示する。

Description

【発明の詳細な説明】 外国語教育補助方法及び装置発明の分野 本発明は、一般に、外国語補助教材に係り、より詳細には、対話型マルチメデ ィアを用いて外国語の指導を補助する装置及び方法に係る。先行技術の説明 世界貿易及び他の世界的交流が増え続けるのに伴い、異なる言語や文化を理解 することが望ましく且つ有益であることは、おそらく、あまり明らかにされなか った。このことから、外国語の補助教材について関心が高まっている。 従来の補助教材は、クラスルームの指導、フラッシュカード、音声カセット、 雑誌及び書籍を含む。その各々は、独自の利点と欠点を持ち合わせている。クラ スルームの指導は、瞬時のフィードバックを伴う貴重な対話を与えるが、学生は クラスルームのスケジュール及びペースに合わせる必要がある。フラッシュカー ド、雑誌及び書籍は、比較的低廉であるが、学生への聴覚フィードバックを与え ない。音声テープでは、学生は、テキスト文書にアクセスできない。 最近、外国語を教授するコンピュータソフトウェアプログラムが入手できるよ うになった。コンピュータソフトウェア補助教材の一般化は、その大部分がマル チメディアコンピュータの普及によるものである。テキスト、音声及びグラフィ ックを組み合わせることのできるマルチメディアコンピュータは、比較的安価で 且つ効率的な独立した言語学習手段を希望する人々を満足させる対話型のコンピ ュータベースの補助教材を生み出す顕著な機会をもたらした。 英語を話す人に日本語で指導する１つの一般的なソフトウェアプログラムは、 カリフォルニア州、マウンテンビューのベイウェア社により広められた「パワー ジャパニーズ」である。この「パワージャパニーズ」及び同様の言語学習プログ ラムは、従来の教育方法に勝る多数の利点を発揮する。特に、ソフトウェアをベ ースとする補助教材は、カセットの聴覚的な利点と、雑誌及び書籍の視覚的な利 点と、学生の進歩に基づいて選択できるドリルとを組み合わせることができる。 既存のソフトウェアをベースとする補助教材の欠点は、ワード又はフレーズを聞 き取るだけでそれをいかに正しく発音するかを確かめることが時々困難なことで ある。 補助教材として使用される特定の媒体はさておき、学習プロセスを容易にする 別の課題は、教授されている主題に学生が関心をもち続けるようにすることであ る。日本の大衆文化及び言語学習に向けられた出版物「マンガジン」は、日本語 対話の英語翻訳を含む日本語の連載漫画を出版することにより読者の関心を引き 留めるように試みている。又、対話の日本語翻訳を含むアメリカの連載マンが、 即ち「カルビン・アンド・ホブス」も出版されている。 一応の進歩はなされたが、馴染みのないワード及びフレーズの発音を明確且つ 効率的に伝えることのできる外国語補助教材を開発する要望が依然として存在す る。上記した公知技術とは対照的に、本発明は、外国語のワード及びフレーズを 馴染みのある言語に関連させる種々の効果的な技術を提供し、そして革新的なオ ーディオビジュアル技術及びフィードバック技術に発音ガイドを追加することに より、言語学習を促進するものである。発明の要旨 本発明は、プロセッサ、メモリ、モニタ及び１つ以上のスピーカを有するコン ピュータを用いて外国語の指導を補助する改良された方法及びシステムに係る。 この方法は、（ａ）外国語の多数のワードの複数のオーディオビジュアル表現を 記憶し、各オーディオビジュアル表現は、外国語の各ワードの発音を含む聴覚的 成分と、そのワードを発音する唇の描写を含む視覚的成分とを含み；（ｂ）外国 語のワードを選択し；（ｃ）その選択されたワードに対して記憶されたオーディ オビジュアル表現を検索し；そして（ｄ）その選択されたワードを発音する唇の 描写を含む検索されたオーディオビジュアル表現の視覚的成分を表示しながら、 その検索されたオーディオビジュアル表現の聴覚的成分を再生するという段階を 備えている。この方法は、ユーザが、選択されたワードを発音する唇を見ながら 話されるワードを聞き取ることができ、従って、ユーザが、外国語の選択された ワードをいかに発音するかを学習する上で補助する。 １つの実施形態においては、選択されたワードを発音する唇の描写を表示しな がら、そして選択されたワードのオーディオビジュアル表現の聴覚的成分を再生 しながら、外国語の選択されたワードのテキスト表示も与えられる。選択された ワードを聞き取りそして選択されたワードを発音する唇を見ると共にテキスト表 示を見ることにより、ユーザの学習プロセスが更に強化される。 本発明の別の特徴によれば、１つの実施形態では、外国語の選択されたワード の逐語的翻訳を馴染みのある言語で表示することも含まれる。更に別の実施形態 では、上記方法は、選択されたワードに関連したワードの逐語的翻訳を表示し、 その関連使用例を与える。 本発明の他の特徴によれば、１つの実施形態では、オーディオビジュアルスト ーリの一部分に関連した外国語のワードのフレーズを含む対話の吹き出しも表示 される。対話の吹き出しは、そのフレーズに関連したスピーチが再生される間に 表示される。更に、別の実施形態では、対話の吹き出しに表示される外国語のフ レーズの口語体翻訳が馴染みのある言語で表示される。 本発明の更に別の特徴によれば、上記方法及びシステムは、外国語のワードの フレーズの一連の映像フレーム及び音声セグメントを含むオーディオビジュアル ストーリを形成する。更に、１つの実施形態では、映像フレーム及び音声セグメ ントをストーリシーケンスで表示する連続再生モードが与えられ、選択された音 声セグメントではなく、音声のサウンドトラックが連続的に聞き取られる。更に 別の実施形態では、上記方法及びシステムは、音声セグメントに存在するワード のリストを表示し、そして選択されたワードを含むストーリの音声セグメントを 再生する一方、その音声セグメントに関連した映像フレームを表示する。別の実 施形態では、上記方法及びシステムは、オーディオビジュアルストーリにおける １人の人物の役割を表示する。図面の簡単な説明 本発明の上記特徴及び効果は、添付図面を参照した以下の詳細な説明から容易 に理解されよう。 図１は、本発明によるマルチメディアコンピュータに使用する言語指導プログ ラムを示すブロック図である。 図２は、好ましい実施形態の言語指導プログラムを形成する際にプログラムデ ベローパにより行われるステップを示すフローチャートである。 図３Ａ−３Ｃは、好ましい実施形態の言語指導プログラムの開始スクリーンを 示す図である。 図４Ａ−４Ｂは、言語指導プログラムを動作するのに用いる発音ガイド、及び 種々の表示及び制御パネルを示す図である。 図５は、選択されたワードを馴染みのある言語へ翻訳したところを示す図であ る。 図６Ａ−６Ｌは、本発明による発音ガイドの逐次動作を示す図である。 図７は、本発明による言語指導プログラムの辞書モードを示す図である。 図８は、本発明による言語指導プログラムの「人物のキャスト」モードを示す 図である。 図９は、本発明による言語指導プログラムに使用される作品（エピソード）デ ータ構造体を示す図である。 図１０は、本発明による言語指導プログラムに使用される辞書データ構造体を 示す図である。 図１１は、本発明によるウインドウカラーパレットを操作する例示的ルーチン のフローチャートである。 図１２は、本発明による言語指導プログラムの作品を構成するセグメントとフ レームとの間の関係を示す図である。 図１３は、言語指導プログラムが本発明により連続モードで再生されるときに 使用されるオフセット特徴を示す図である。 図１４は、本発明の連続再生モードを実施する例示的ルーチンを示すフローチ ャートである。好ましい実施形態の詳細な説明 図１は、本発明による外国語の教育に使用するためにマルチメディアコンピュ ータ５２において実行できるコンピュータソフトウェア言語指導プログラム５０ を示す。マルチメディアコンピュータは、一般に、音声、グラフィック、アニメ ーション及び映像を結合する能力を有するコンピュータとして定義される。ここ での説明及び請求の範囲の目的として、「外国語」という用語は、ある人がその 学習又は研究に関心のある馴染みの薄い口語体言語を指し、国語を意味するもの ではない。一方、ある人が理解し又は流暢に話す言語は、「馴染みの深い言語」 と称する。 マルチメディアコンピュータ５２は、一般に、オペレーティングシステム５６ によって制御されるプロセッサユニット５４と、このプロセッサユニットに接続 されたメモリ５８と、キーボード５５及びポインティング装置５７のような１つ 以上のデータ又は命令入力装置と、ビデオディスプレイ５９と、１つ以上の内部 又は外部スピーカ６０とを備えている。ポインティング装置５７は、カーソルの 制御を与えるコンピュータマウス、トラックボール又は他の装置である。メモリ ５８は、一般に、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメ モリ（ＲＯＭ）、磁気記憶媒体、例えば、ハードドライブ、フロッピーディスク 又は磁気テープ、及び光学記憶媒体、例えば、ＣＤ−ＲＯＭを含む。言語指導プ ログラム５０内のグラフィックユーザインターフェイス（ＧＵＩ）６２は、オペ レーティングシステム５４と、言語指導プログラムの内部プロセスアプリケーシ ョンとの間で対話する。マルチメディアコンピュータ５２は、Ｍａｃｉｎｔｏｓ ｈ（登録商標）、ＩＢＭ（登録商標）、又はＩＢＭ対応のパーソナルコンピュー タのような市場で入手できるパーソナルコンピュータである。ＩＢＭ及びＩＢＭ 対応のパーソナルコンピュータを使用するときには、オペレーティングシステム ５４は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）又はＯＳ／２（登録 商標）のようなウインドウ環境を組み込んでいる。 図２は、好ましい実施形態の言語指導プログラムを形成するときにプログラム デベローパが実行するプロセスを説明する一連の段階を示している。言語指導プ ログラムは、好ましくは、娯楽性及び情報性のある外国語補助教材を形成するた めに、ストーリライン（筋書き）、アニメーションによる発音ガイド、及び翻訳 機能を組み込んでいる。ここに示す段階は、本発明を説明する上で助けとなるも ので、言語指導プログラム自体によって実施される段階ではない。 ブロック７０において、言語指導プログラムの実施形態を形成するのに用いる ストーリが選択される。以下に述べる言語指導プログラムの形態においては、説 明を明瞭化するため、アメリカの人気テレビシリーズ「Ｍｕｒｄｅｒ Ｓｈｅ Ｗｒｏｔｅ（彼女が書いた殺人）」の作品からのストーリを用いるものと仮定す る。言語指導プログラムのこの形態では、日本語を読み／話す人々が英語を学習 する際の助けとなるようにプログラムが設計される。しかし、ストーリは、他の テレビジョン番組、本又は映画のような他のソースから形成されてもよく、そし て教授される特定の言語は、本発明にとって重要ではないことが当業者に明らか であろう。 ブロック７２において、例えば、「Ｍｕｒｄｅｒ Ｓｈｅ Ｗｒｏｔｅ」作品 のようなストーリから個々の画像フレームが選択される。選択されるフレームの 数及び特性は、使用する特定のストーリ、言語指導プログラムの特定のバージョ ンに対して所望される長さ、及びプログラムデベローパがそのバージョンに組み 込もうとするテキストの量に基づいている。ストーリ及び所望のフレームを選択 した後に、ブロック７４で示すように、対話吹き出しが形成され、その各々は、 選択されたフレームの１つ以上に関連した外国語のフレーズを含む。ブロック７ ６において、対話吹き出しのフレーズが馴染み深い言語に翻訳される。この翻訳 は、それにより得られるテキストが必ずしも逐語的でなく、馴染み深い言語に適 した各フレーズの表示であるという点で口語的翻訳である。 ブロック７８において、各フレーズの個々のワードの逐語的翻訳がなされる。 この翻訳は、通常、外国語ワードについての馴染み深い言語の辞書定義を含む。 更に、ワードが見つかるフレーズの翻訳、又は翻訳されているワードに関連した ワードの翻訳が含まれてもよい。例えば、ワード「ｅｍｂａｒｒａｓｓｅｄ（当 惑させた）」の翻訳は、「ｅｍｂａｒｒａｓｓ（当惑させる）」及び「ｔｏｂｅ ｅｍｂａｒｒａｓｓｅｄ（当惑させるべき）」の翻訳を含んでもよい。従って 、ある例においては、プロセスにより、外国語の関連ワードのグループが形成さ れ、馴染み深い言語の翻訳がその横に配される。 ブロック８０においては、各フレーズの個々のワードに対する発音ガイドが形 成される。以下に詳細に述べる発音ガイドは、個々のワードを正しく発音する個 人の唇のアニメーション描写又は映像描写である。１つの実施形態では、発音ガ イドは、個人が各個々のワードを発音するときに個人の口をビデオテープに収録 し、ビデオテープに収録した情報をデジタル化し、そしてデジタル情報をその後 の呼び戻しに対して各ワードにリンクさせることにより形成される。発音ガイド は、ワードが話されるときの適切な口の動きを視聴者が見ることができるので、 公知の補助教材に勝る著しい効果を発揮する。この目標を達成するのに他のアニ メーション技術も使用できることが当業者に明らかであろう。ブロック８２にお いて、プログラムデベローパは、ブロック７０−８０で収集され、形成されそし て記憶された情報を使用して、言語指導プログラムのバージョンを形成する。 言語指導プログラムの原形から撮影した次のスクリーンショットにより、言語 指導プログラム５０が更に良く理解されよう。図３Ａを参照すれば、始動時に、 ダイアログボックス１００は、「Ｍｕｒｄｅｒ Ｓｈｅ Ｗｒｏｔｅ」と題する ＣＤ−ＲＯＭの言語指導プログラムのバージョンがマルチメディアコンピュータ のＣＤ−ＲＯＭドライブに検出されたことを視聴者に指示する。この点で、視聴 者は、コンピュータのポインティング装置を用いて、ダイアログボックス１０２ において「ＯＫ」を選択して継続し、別のＣＤ−ＲＯＭを挿入できることを示す 日本語のフレーズをダイアログボックス１０４において選択し、又はダイアログ ボックス1０６を選択することによりプログラムを去る。 図３Ｂは、ダイアログボックス１０８に示すように、コンピュータキーボード を用いて自分の名前を入力するように視聴者を促すその後のスクリーンショット を示す。視聴者の名前が入力された後に、ダイアログボックス１０２を選択し、 継続するか、又はダイアログボックス１０６を選択することによりプログラムを 退出する。継続の際は、図３Ｃに示すスクリーンショットが現れ、視聴者は、ボ ックス１０２を選択することにより作品の開始からスタートするか、又はダイア ログボックス１１０を選択することにより視聴者が前回のセッションにおいて立 ち去った作品の点から再開することができる。 図４Ａは、「Ｍｕｒｄｅｒ Ｓｈｅ Ｗｒｏｔｅ」作品のフレームのディスプ レイボックス１２０を示している。説明を簡単にするために、ディスプレイボッ クス１２０は、６つの成分に分けられる。即ち、左上の角に位置する発音ガイド １２２と、左下の角に位置し、個別のアイコン又は選択エリアを有する制御パネ ル１２４と、右上の角に位置し、対話吹き出し１３６を含むフレームディスプレ イ１２６と、右下の角に位置する翻訳ウインドウ１２８（現在はブランク）と、 フレームディスプレイ１２６と翻訳ウインドウ１２８との間に位置する制御バー １３０と、翻訳ウインドウ１２８の真下に位置するメッセージバー１３２とであ る。ディスプレイボックス１２０に含まれた６つの成分の各々は、以下に詳細に 説明する。 制御パネル１２４の制御アイコン／選択エリアを行ごとに以下に説明する。 行１：唇アイコン１５０−グラフィックユーザインターフェイスを用いてワー ドをハイライト処理した後に、例えば、コンピュータキーボード又はポインティ ング装置を用いて唇アイコン又は発音ガイド１２２のどこかを選択すると、ディ スプレイボックスの発音ガイドエリアにおいてアニメーション化されたワードの 発音の表示が形成される。ワードは、スピーカを経て同時に再生される。 状態ウインドウ１５２−言語指導プログラムの所与のバージョンにおけ る現在フレーム番号／フレーム全数を表示する。 耳アイコン１５４−対話吹き出しのフレーズを再生するか又は繰り返す かを選択する。 行２：後方矢印１５６−前のフレームに戻る。 前方矢印１５８−次のフレームへ進む。 行３：制御アイコン１６０−左から右へ、ストーリの始めへ進み、設定フレー ム数、例えば、１０フレームだけ巻き戻し、設定フレーム数だけ速送りし、そし てストーリの終わりへ進むための手段を与える。後方／先方及び制御アイコンの 機能は、制御バー１３０を用いて行うこともできる。 行４：スタート自動再生アイコン１６２及びストップ自動再生アイコン１６４ −これらは、ストーリからのサウンドトラックを通常の速度で再生しながら対応 フレームを表示する「連続モード」でストーリを再生できるようにする。 行５：アイコン１６６−通常のスピーチと低速スピーチとの間を切り換える。 低速スピーチモードでは、対話吹き出しの各フレーズの可聴部分が更にゆっくり 述べられ、何を言っているか良く確認できるようにする。これらは、発音ガイド の再生速度を制御するのに使用できるが、好ましいモードにおいては、発音ガイ ドのオーディオビジュアル再生が既に比較的低速であり、従って、影響を及ぼさ ない。 行６：吹き出しアイコン１６８−対話吹き出し１３４が示される通常のモード と、対話吹き出しが隠される隠れモードとの間を切り換える。 行７：「人物のキャスト」アイコン１７０−現在のストーリから各人物の写真 を有するスクリーンを表示するように選択する。 行８：「辞書モード」アイコン１７２−もしあれば、対話吹き出し１３４から のハイライト処理されたワードから始めて、ストーリに含まれた各ワードのアル ファベットリストを表示するように選択する。これらワードの定義は、翻訳ウイ ンドウ１２８に表示される。 更に、図４Ａを参照すると、フレームディスプレイ１２６は、作品の現在フレ ームを示している。図４Ａにおいて、フレームディスプレイは、ビルディング１ ３４及び対話吹き出し１３６を示している。対話吹き出し１３６は、ビルディン グ１３４に保持された会話からのテキストを表示する。作品全体にわたり対話吹 き出しからのテキストは、教授されている外国語、この場合は英語で印字される ことに注意されたい。各対話吹き出し１３６が現れるときに、対話吹き出し１３ ６に含まれたフレーズがスピーカ（１つ又は複数）を経て再生される。 図４Ｂにおいて、視聴者は、対話吹き出し１３６に見られるフレーズの日本語 （馴染み深い言語）の口語翻訳を表示するようにプログラムに指令する。１つの 実施形態において、口語翻訳は、例えば、カーソルコントローラの操作及びトリ ガー又は作動により対話吹き出し１３６の末尾を選択することによって表示され る。又、図４Ｂにおいて、メッセージバー１３２は、対話吹き出し１３６におい てクリックすることにより対話吹き出しのフレーズの音声部分を繰り返せること を指示するように変更されている。 図５は、図４Ｂからのフレームを示しているが、視聴者は、例えば、カーソル コントローラの操作及びトリガーにより対話吹き出し１３６のフレーズから「興 味がある」のワードを選択している。その結果、「興味がある」のワードが対話 吹き出し内でハイライト処理され、ワードの馴染み深い言語（日本語）の辞書定 義が翻訳ウインドウ１２８に表示される。言語指導プログラムの特定の実施形態 に基づき、選択されたワードに関する他の情報も翻訳ウインドウに表示できる。 この例では、「興味がない」というフレーズの日本語定義も翻訳ウインドウ１２ ８に表示される。 図６Ａ−６Ｌは、発音ガイド１２２の動作を示している。図６Ａに表示された 情報は、図５と同じであるが、図５に示された発音ガイドの唇アイコンが個人の 唇のデジタル表示と置き換えられている。他の図６Ｂ−６Ｌは、発音ガイド１２ ２の内容のみを示している。発音ガイドは、ユーザが発音状態を聞きそして見る ことを希望する対話吹き出し内のワードをハイライト処理し、そして制御パネル １２４の左上の角に含まれた発音アイコン１５０を選択することにより、呼び出 される。ハイライト処理されたワードは、スピーカから聞こえると同時に、発音 ガイド１２２に表示される。 図６Ａ−６Ｌの逐次表示は、ワード「ｉｎｔｅｒｅｓｔｅｄ（興味がある）」 を話す人を順次アニメーションで示すものである。図６Ａでは、対話吹き出しに 示された話し手は、ワードの発音をまだ始めていない。図６Ｂ−６Ｅでは、話し 手がワードの「ｉｎ」部分を発音し、図６Ｆ−６Ｇでは、話し手がワードの「ｔ ｅｒ」部分を発音し、そして図６Ｈ−６Ｌでは、話し手は、ワードの残り部分で ある「ｅｓｔｅｄ」を発音する。実際の言語指導プログラムでは、全ワードの発 音がアニメーション化される。図６Ａ−６Ｌに示された場面は、本発明を更に理 解するためのものである。 ワードが発音されるときにそれを聞きそして見ることは、学習プロセスを相当 に向上させる。唇の動きを容易に見ることができ、必要に応じてワードを何回も 繰り返すことができる。好ましくは、唇は、全ディスプレイエリアの半分よりも 相当に小さいウインドウに表示され、ディスプレイの他の部分を妨げることはな い。又、歪を生じることのある他の顔の特徴を伴わずに、本質的に唇だけが示さ れ、そして周囲の背景と対照的に唇自体を着色したり又は暗くしたりすることが 好ましい。 図７は、制御パネルのアイコン１７２により得られる言語指導プログラムの辞 書モードを示す。図７の例では、辞書モードに入る前に、文字「Ｉ」がハイライ ト処理される。「Ｉ」の翻訳された辞書定義が翻訳ウインドウ１２８に表示され る。更に、文字「Ｉ」に続く辞書のワードのアルファベットリストを示す小さな 辞書ウインドウ１８０が現れる。「ＯＫ」ボタン１８２は、視聴者が辞書モード から退出できるようにする。この特定の「Ｉ」がストーリ内の全部で４８の発生 のうちの最初の発生であることを指示するために辞書モードにおいて統計ウイン ドウ１５２が修正されることに注意されたい。更に、後方及び前方の矢印１５６ 及び１５８をここで用いて、ハイライト処理されたワードの各々前の例及び後の 例に進むことができる。この特徴は、ユーザが、ストーリにおける同じワードの 異なる発生を容易に観察し、種々のセンテンスの文脈においてそのワードを良く 理解できるようにする。 図８は、制御パネルのアイコン１７０を選択することにより得られる言語指導 プログラムの人物キャストモードを示している。このモードを用いると、ユーザ は、任意の写真を選択して、その人物の説明を得ることができる。一対のウイン ドウ１８２及び１８４は、各々、言語指導プログラムの現在バージョンのテレビ シリーズ及び作品の説明を与える。退出ボタン１８６は、ユーザが図４Ａのメイ ンメニューに復帰できるようにする。 上記の説明は、本発明のユーザインターフェイス特徴に主として向けられた。 ２つの一次データベースを含む本発明の幾つかのプログラミング特徴及びその他 の細部について以下に述べる。言語指導プログラムの１つの実施形態において、 言語指導プログラムは、ボーランド・オブジェクト・ウインドウズ(Borland Obj ect Windows)を用いてＣ＋＋で書かれる。ウインドウの低レベル音声インターフ ェイス（．ＷＡＶ）は、音声ガイドを除いて、言語指導プログラムの音声部分に 使用され、音声ガイドは、（．ＡＶＩ）フォーマットを有するマイクロソフト社 のマルチメディアコマンドインターフェイス（ＭＣＩ）を使用する。言語指導プ ログラムのこの実施形態は、多数のＣ＋＋モジュールを含む。代表的なモジュー ルを以下にリストする。 モジュール１ − プログラムエントリー及び初期化 モジュール２ − トップレベルウインドウの形成及び管理 モジュール３ − プログラム導入部（テーマ及びオープニングダイアログ） の管理 モジュール４ − 発音ガイドのＭＣＩルーチン モジュール５ − 辞書データベース モジュール６ − 吹き出し編集モードの具現化 モジュール７ − アイコン／選択エリアの振る舞いの具現化 モジュール８ − キャラクタスクリーンの振る舞いの具現化 モジュール９ − 作品及び辞書データ構造のコンパイル モジュール１０− フレームビットマップの表示及びウインドウのパレットの 設定 モジュール１１− 発音ガイドウインドウの管理 モジュール１２− メモリ割り当ての管理 モジュール１３− スクロールバーの振る舞いの管理 モジュール１４− 状態ライン情報の管理 モジュール１５− 制御パネルの具現化 モジュール１６− 翻訳ウインドウの管理 モジュール１７− エラー及びメッセージユーティリティの包含 モジュール１８− フレームディスプレイにおけるフレームの視聴及び音声の 再生の管理 モジュール１９− 音声に対する低レベル音声ルーチンの包含 当業者であれば、他の言語及びデータフォーマットを含む他の実施形態を用い て本発明を実施できることも明らかであろう。又、異なるコード構成及びモジュ ールグループ編成も使用することができる。 言語指導プログラムは、図９に示す作品データ構造体１９８及び図１０に示す 辞書データ構造体の２つの一次データ構造体を用いて具現化することができる。 図９を参照すれば、作品２００は、ノード又はエレメントのリンクされたリスト を含む。リンクされたリストの頂部には複数のフレームエレメント２０２があっ て、図２のブロック７２及び添付のテキストに述べられたように、作品２００か らの個々の画像フレームを含んでいる。各フレームエレメント２０２は、矢印２ ０４及び２０６で示された１つ又は２つの隣接フレームエレメント２０２にリン クされる。各フレームエレメント２０２は、そのフレームに対応する作品に対す る音声の１つ以上のセグメント２０８を含んでいる。これらセグメントは、多数 のセンテンスを含み、音声ファイルに記憶される。又、セグメントは、矢印２０ ７及び２０９で示すように互いにリンクされる。視聴者が制御パネルの前方及び 後方ボタンを用いて作品を精読するときに、フレームに各々関連したセグメ ントにおけるテキスト及び音声が操作されるのは、このレベルである。 データベースの次のレベルにおいては、各フレームからの次のセグメントが対 話吹き出し（上記した）内に包囲され、その翻訳ストリング及び物理的特性は、 多数の対応する対話吹き出しエレメント２１０に含まれる。対話吹き出しエレメ ント２１０の下には、センテンスエレメント２１２がある。センテンスエレメン ト２１２は、センテンスごとに分断されたセグメント２０８における音声のテキ スト等価体である。次のレベルにおいて、センテンスエレメント２１２の各セン テンスを構成するワードは、ワードエレメント２１４として分離されそして記憶 される。 辞書ノード２１６は、ワードエレメントの各々を図１０の辞書データベースに リンクするのに使用される。図９に示す例において、辞書ノード２１６は、ワー ド「ａｂｏｕｔ」を含む。又、各ワードエレメント２１４には、ブロック２１８ 及び２２０で示すように、作品２００におけるそのワードの他の発生を指示する ポインタもリンクされる。 図１０は、言語指導プログラムの辞書データ構造体を具現化するのに使用でき る２進ツリー２３０を示す。その最上位レベルにおいて、２進ツリー２３０は、 ブロック２３２に示したように、変数「ｄｉｃｔｉｏｎａｒｙ〔０−２５〕」で 参照される文字ＡないしＺを含んでいる。２進ツリー２３０の各ノードは、キー を含み、ある文字セグメントより上のワードは、１つのサブツリーに追加され、 そしてある文字セグメントより下のワードは、他のサブツリーに追加される。図 １０に示すように、レベル１のキーは、参照番号２３４で示され、レベル２のキ ーは、参照番号２３６で示され、そしてレベル３のキーは、参照番号２３８で示 される。明瞭化のために、その後のキーレベルは、示されていない。 ２つのデータ構造体間のリンクの例として、ブロック２４０は、ワード「ａｂ ｏｕｔ」と、ブロック２４２、２４４及び２４６、即ち発生１、発生２及び発生 ３を各々経て図９の作品データ構造体へ至るリンクとを示している。 上記のように、視聴者が発音されているワードを見ることができる間に発音ガ イドを再生するのが好ましい。図６Ａに示す本発明の実施形態では、発音ガイド １２２は、左上の角に位置され、そして現在フレームがフレームディスプレイ １２６に同時に示される間に再生される。１つの実施形態においては、発音ガイ ド１２２が.ＡＶＩファイルに記憶され、そしてフレームディスプレイ１２６は 、ビットマップ（．ＢＭＰファイル）として記憶される。この実施形態は、ある ウインドウ環境、例えば、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）に おいて、ウインドウパレットが、典型的に、例えば、アプリケーション又はアプ リケーション内で動作するドライバのような単一のエンティティのみにより制御 されるという点で、プログラミングの困難さを与える。 発音ガイド１２２及びフレームディスプレイ１２６は、異なるウインドウパレ ットを使用するので、エンティティの１つが呼び出されたときに他のものが再生 中であるときは、ウインドウパレットの競合が生じる。この点について、「ウイ ンドウパレットの競合」という用語は、現在エンティティに使用されているカラ ー構成がカラーパレットを変更し、ひいては、隣接する非制御エンティティのカ ラー構成を歪めるか又はスキューさせるときに生じる状態を定義する。 一例として、フレームディスプレイが、図６Ａに示された画像を現在示してい ると仮定する。次いで、視聴者からのコマンドの際に、発音ガイド１２２が呼び 出されると仮定する。 .ＡＶＩファイルから生じる発音ガイド１２２は、適応を 伴わずに、ウインドウパレットを、 .ＡＶＩファイルに適したカラー構成へ変化 させ、その結果、フレームディスプレイ１２６のカラーは、それに応じて変化す る。 .ＡＶＩファイルからのカラー構成がフレームディスプレイのカラー構成と 異なる場合には、フレームディスプレイのカラーが変化し、ウインドウのフレー ムディスプレイ部分に不所望な表示を招く。 図１１は、上記問題の解決策を示す。この解決策は、２５６のカラーを得るこ とができそしてマルチメディアコンピュータによって使用されるという仮定を含 む。当業者に明らかなように、異なる数のカラーを使用することもできる。ブロ ック２７０において、使用できる２５６のカラーのうちの２０は、ウインドウズ システムに指定される。ブロック２７２において、カラーパレットを変化させる べきかどうか判断するためのテストが行われる。カラーパレットは、発音ガイド が呼び出されたとき及びフレームの移行中に以前の設定からしばしば変化する。 例えば、カラーパレットは、通常、屋外シーンをもつフレームと、屋内シーンを もつフレームとの移行中に変化される。 カラーパレットを変化すべきでない場合には、ブロック２７４において、ルー チンが終了したかどうか、即ち言語指導プログラムから退出するかどうかを決定 するためのテストが行われる。言語指導プログラムから退出しない場合には、ル ーチンがブロック２７２へループする。カラーパレットを変化すべき場合には、 カラーパレットの残っているカラーの最初の３２のカラーをブロック２７６にお いて黒にセットする。これは、これらカラーを発音ガイドに使用するように指定 するという作用を与える。ブロック２７８において、残りの２０４のカラー（２ ５６から（２０＋３２）だけ少ない）は、表示されるべきフレームのカラー構成 にセットされる。次いで、現在フレームは、ブロック２８０においてカラー構成 を用いて表示される。 ブロック２８２において、発音ガイドを再生すべきかどうか、例えば、視聴者 が再生ボタンを選択したかどうかを判断するためのテストが行われる。発音ガイ ドが再生されない場合には、ルーチンは、ブロック２７２へループする。発音ガ イドを再生すべき場合には、ブロック２８４に示すように、３２の指定されたカ ラーを用いてアニメーション化された唇が表示され、そしてスピーカを経て音が 再生される。ルーチンは、次いで、ブロック２７２へループする。 図９に示した作品データ構造体のセグメント２０８について詳細に説明する。 上記のように、言語指導プログラムの作品の各セグメント２０８は、ファイル、 例えば、「ウェーブ」（．ＷＡＶ）ファイルに記憶された作品からの音声の一部 分を含む。各セグメント２０８は、フレーム２０２の１つに対応する表示部分、 例えば、ビットマップ（．ＢＭＰ）ファイルに関連している。図１２は、音声部 分即ち作品の全てのセグメント２０８が単一のウェーブファイル３００として記 憶され、そして作品からの各フレームが個別のビットマップファイルとして記憶 されるような本発明の実施形態を示している。フレーム１、２及び３に各々対応 するビットマップファイル３０２、３０４及び３０６が示されている。 ウェーブファイル３００は、切断部３０８によりセグメント２０８に対応する 音声部分に分離される。更に、各セグメント２０８は、ポインタ３１０によりフ レームに関連される。図１２の例は、セグメント＃１及び＃２がフレーム１に関 連され、セグメント＃３及び＃４がフレーム２に関連され、そしてセグメント＃ ５がフレーム３に関連されることを指示する。 言語指導プログラムの単一再生モード動作中に、視聴者は、「後方」及び「前 方」矢印１５６及び１５８又は制御パネル１２４の他のアイコンを用いて作品の セグメントの視聴を制御する。あるセグメントが選択されたときは、新たなフレ ームを表示する必要がある。その場合に、そのフレームのビットマップファイル がメモリ、例えば、ＣＤ−ＲＯＭから検索され、処理され、そして表示される。 その他の点では、表示されている現在フレームが保持されるが、対話吹き出しは そのセグメントに対応するように変化する。いずれにせよ、セグメントに関連し た音声部分がウェーブファイルから検索され、そして再生される。次いで、言語 指導プログラムは、視聴者からの更に別のコマンドを待機し、各セグメントの選 択に対してプロセスが繰り返される。 上記の検索プロセスは、作品が視聴者の制御のもとでセグメントごとに視聴さ れる限り充分である。しかしながら、言語指導プログラムが「連続再生モード」 で動作されるときには、フレームビットマップ検索及び処理に関連した遅延が、 セグメントの音声部分をフレーム表示の前に開始させることがある。連続モード においては、言語指導プログラムが全ウェーブファイルを再生し、ビットマップ ポインタ３１０が再生中のスクリーン表示を制御する。上記の検索／処理遅延に より不都合な結果が生じるのを回避するために、各音声セグメントに「オフセッ ト」を組み合わせ、音声部分の再生を開始する前にフレームの表示部分が検索及 び処理されるようにする。 図１３は、オフセット３１２を使用して、連続再生モード中に音声の再生に先 立ちフレーム／ビットマップ検索プロセスを開始するところを示す。基本的に、 オフセットは、単一再生モードよりも１ビットだけ早く次のフレームを再生する プロセスを開始するように言語指導プログラムに指令する。従って、セグメント の音声部分が始まるときまでに、フレーム情報は既に存在する。ウェーブフレー ムからの全音声トラックが依然再生され、そしてフレーム表示のタイミングのみ がオフセットにより変更されることに注意されたい。 図１４は、連続再生モードにおける言語指導プログラムの実施形態の動作を示 すフローチャートである。ブロック３４０において、フレーム１のビットマップ が検索され、処理されそして表示される。ブロック３４２において、セグメント １からのテキストがモニタに表示され、即ち対話吹き出しに表示される。ブロッ ク３４４において、セグメント１からの音声が待ち行列に入れられ、マルチメデ ィアコンピュータによって再生される。この点において、コメントボックス３４ ６により示されたように、セグメント１からの音声の再生が開始される。 ブロック３４８において、セグメント２の音声部分が待ち行列に入れられる。 ブロック３５０において、変数Ｎが２に等しくセットされる。次いで、ブロック ３５２において、セグメントＮ−１からの音声が再生を終了したかどうか判断す るためのテストが行われる。セグメントＮ−１からの音声が再生を終了していな い場合には、プログラムはブロック３５２へループする。セグメントＮ−１から の音声が再生を終了した場合には、コメントボックス３５３で示されたように、 セグメントＮからの音声が再生を開始する。次いで、ブロック３５４において、 フレームを変更すべきかどうか決定するためのテストが行われる。これは、特定 のフレームからの全てのセグメントが再生され、そして作品の新たなフレームを 再生すべきときに行われる。 フレームを変更すべき場合には、ブロック３５６で示すように、新たなフレー ムが検索され、処理されそして表示される。これを行うとき、又はフレームを変 更すべきでない場合には、ブロック３５８において、セグメントＮのテキストが 表示される。この点において、フレームに変更がなされた場合には、図１３及び 添付テキストに述べたように、音声待ち行列へのオフセットが適用される。これ は、コメントボックス３６０により指示される。 ブロック３６２において、セグメントＮ＋１からの音声が待ち行列に入れられ る。ブロック３６４において、変数Ｎが１だけ増加される。ブロック３６６にお いて、退出条件が生じたかどうか、例えば、視聴者がプログラムに終了を命令し たかどうかについてのテストが行われる。もしそうであれば、ルーチンは、終了 となる。さもなくば、ルーチンは、ブロック３５２へループする。 以上の説明から、好ましい実施形態の言語指導プログラムが多数の効果を奏す ることが明らかであろう。１つの効果は、作品の特定のワードに対して、言語指 導プログラムが、（１）発音ガイドの使用によりワードの外国語発音を表示する ことができ、（２）スピーカを経てワードの発音を再生することができ、（３） 作品にワードが使用された対話の各フレーズを再生することができ、（４）作品 において現れる各外国語コンテクストのワードを表示することができ、（５）そ のワードの馴染み深い言語辞書定義を表示することができ、（６）ワード又はワ ードが含まれたフレーズと同様のワードの馴染み深い言語辞書定義を表示するこ とができ、そして（７）ワード及びその周りのワードの辞書リストを表示するこ とができる。これら特徴の各々は、ワードの種々の関連する聴覚及び視覚表現を 単独で及びコンテクストにおいて設けることにより外国語の学習を容易にするよ う助成する。 本発明の好ましい実施形態について以上に説明したが、本発明の精神及び範囲 から逸脱することなく種々の変更がなされ得ることが明らかであろう。

【手続補正書】特許法第１８４条の８第１項 【提出日】１９９７年１月８日 【補正内容】請求の範囲 １．コンピュータシステムにおいて外国語の指導を補助する方法であって、コン ピュータシステムは、外国語の複数のワードの各々に対して記憶されたオーディ オビジュアル表現を有し、各ワードのオーディオビジュアル表現は、聴覚的発音 と、視覚的テキスト表示と、そのワードを発音する口の大写しのグラフィック表 示とを有し、上記方法は、 複数のワードの各々の視覚的テキスト表示を表示することにより外国語の複 数のワードを表示し； 上記表示された複数のワードの中からユーザ入力装置を使用してワードを選 択し； 上記選択されたワードについての上記記憶されたオーディオビジュアル表現 を検索し；そして 上記選択されたワードの聴覚的発音を再生すると同時に、上記選択されたワ ードのテキスト表示と、上記選択されたワードを発音する口の大写しとを表示し 、ユーザは、選択されたワードを発音する唇を見ながら、話される選択されたワ ードを聞き取り且つその選択されたワードを書かれたテキストとして見ることが でき、これにより、ユーザが外国語の選択されたワードをいかに発音するかを学 習する上で補助する、 という段階を備えたことを特徴とする方法。 ２．各ワード発音する口の大写しのグラフィック表示は、ビデオアニメーション から構成される請求項１に記載の方法。 ３．選択されたワードを発音する口の動く速度を制御しながら、その選択された ワードの聴覚的発音を再生する段階を更に備えた請求項１に記載の方法。 ４．選択された外国語ワードに対する馴染み深い言語での逐語的翻訳を表示する 段階を更に備えた請求項１に記載の方法。 ５．選択された外国語ワードの逐語的翻訳を表示するのと同時に、その選択され た外国語ワードに関連したワードの馴染み深い言語での逐語的翻訳を表示し、こ れにより、その選択された外国語ワードの関連する使用例を与える段階を更に備 えた請求項４に記載の方法。 ６．上記外国語の複数のワードは、ストーリの一部分である請求項１に記載の方 法。 ７．上記ストーリにおける複数の人物のグラフィック表示を形成し、 その形成されたグラフィック表示を用いて、人物を選択し、そして 上記ストーリにおけるその選択された人物の役割の説明を表示する、 という段階を更に備えた請求項６に記載の方法。 ８．上記外国語の複数のワードは、オーディオビジュアルストーリの一部分であ り、このストーリは、複数のビデオ画像と音声部分を有し、各ビデオ画像は、そ のビデオ画像に関連した外国語スピーチの音声部分に関連し、そして更に、 上記複数のビデオ画像からビデオ画像を選択し、 その選択されたビデオ画像に関連する音声部分のスピーチに対応する外国語 の視覚的テキストを有する対話吹き出しを形成し、そして 上記外国語の視覚的テキストを有する対話吹き出しを表示しながら、その表 示された視覚的テキストに対応する音声部分のスピーチを再生する、 という段階を更に備えた請求項１に記載の方法。 ９．上記外国語の表示された複数のワードの中からワードを選択する上記段階は 、対話吹き出しに表示された視覚的テキストからワードを選択する請求項８に記 載の方法。 10．上記表示された対話吹き出しに示された外国語の視覚的テキストの口語体翻 訳を馴染み深い言語で形成し、そして その口語体翻訳を表示する、 という段階を更に備えた請求項８に記載の方法。 11．上記外国語の複数のワードは、複数の映像フレーム及び音声セグメントを有 するオーディオビジュアルストーリの一部分であり、各映像フレームは、それに 関連する音声セグメントを有し、各音声セグメントは、それに対応する視覚的外 国語テキストを有し、そして更に、 外国語の複数のワードのリストを表示し、 表示されたリストからワードを選択し、そして 選択されたワードを含む音声セグメントを再生しながら、それに関連する映 像フレームを表示すると共に、その音声セグメントに対応する外国語テキストを 表示する、 という段階を更に備えた請求項１に記載の方法。 12．上記外国語の複数のワードは、複数の映像フレーム及び音声セグメントの順 序付けされたシーケンスを有するオーディオビジュアルストーリの一部分であり 、各映像フレームは、それに関連する音声セグメントを有すると共に、その関連 する音声セグメントに対応する外国語テキストを有し、複数の音声セグメントが サウンドトラックを構成し、そして更に、 連続モードスタート指示子及び連続モードストップ指示子を表示し、 上記連続モードスタート指示子を選択するのに応答して、順序付けされたシ ーケンスで映像フレームを表示しながら、関連する音声セグメントを再生し、外 国語のサウンドトラックが連続的に聞こえるようにし、そして 上記連続モードストップ指示子を選択するのに応答して、 上記順序付けされたシーケンスではないシーケンスで各映像フレームを選 択的に表示しながら、その映像フレームに関連した音声セグメントを再生し、且 つ外国語テキストを表示し、 唇発音指示子を表示し、そして 上記唇発音指示子を選択するのに応答して、表示された外国語テキストの ワードを決定し、そしてその決定されたワードを発音する口の大写しのグラフッ ク表示を形成する、 という段階を備えた請求項１に記載の方法。 13．外国語指導を補助するためにコンピュータシステムのコンピュータプロセッ サの動作を制御する命令を含むコンピュータ読み取り可能なメモリ媒体において 、上記コンピュータシステムは、外国語の複数のワードの各々に対して記憶され たオーディオビジュアル表現を有し、各ワードのオーディオビジュアル表現は、 聴覚的発音成分と、視覚的テキスト表示成分と、ワードを発音する唇の大写しの グラフィック表示成分とを有し、コンピュータプロセッサの動作を制御する命令 は、 複数のワードのうちの選択されたワードの記憶されたオーディオビジュアル 表現を検索し、そして その選択されたワードの聴覚的発音を再生すると同時に、その選択されたワ ードの視覚的テキスト表示及びその選択されたワードを発音する唇の大写しを表 示する段階を実行することを特徴とするメモリ媒体。 14．外国語の指導を補助するコンピュータシステムにおいて、 スピーカと、 ディスプレイ装置と、 外国語の複数の記憶されたワードを有するデータベースとを備え、各々のワ ードは、そのワードの発音の関連する記憶された音声表示と、関連する視覚的テ キスト表示と、そのワードの発音を表す唇の関連するグラフィック表示とを有し 、 更に、オーディオビジュアル表示コードを備え、これは、指示されたワード と共に呼び出されるのに応答して、 記憶された音声表示、視覚的テキスト表示、及び指示されたワードに関連 したグラフィック表示をデータベースから検索し、そして 指示されたワードの発音を表す唇の検索されたグラフィック表示をディス プレイ装置に表示しながら、検索された視覚的テキストをディスプレイ装置に表 示し且つ検索された音声表示をスピーカで再生し、そして 更に、データベースに記憶された複数の外国語ワードの中からワードを選択 しそしてその選択されたワードを指示するオーディオビジュアル表示コードを呼 び出す選択機構を備えたことを特徴とするコンピュータシステム。 15．上記オーディオビジュアル表示コードは、唇の検索されたグラフィック表示 を口の大写し図として表示する請求項１４に記載のコンピュータシステム。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ，ＫＲ，ＳＧ (72)発明者 スラム バート エス アメリカ合衆国 ワシントン州 98031 ケント ワンハンドレッドアンドトウェン ティファースト アベニュー サウスイー スト 26203

Claims (1)

1. 【特許請求の範囲】 １．メモリ、ディスプレイ装置及びスピーカを有するコンピュータシステムにお いて外国語の指導を補助する方法であって、 外国語の複数のワードのオーディオビジュアル表現をメモリに記憶し、各ワ ードのオーディオビジュアル表現は、外国語のワードの発音を含む聴覚的成分と 、外国語のワードのテキスト表示及びそのワードを発音する唇のグラフィック表 示を含む視覚的成分とを有し； 複数のワードの中からワードを選択し； その選択されたワードに対して上記記憶されたオーディオビジュアル表現を 検索し；そして 唇のグラフィック表示及びテキスト表示を含む上記検索されたオーディオビ ジュアル表現の視覚的成分をディスプレイ装置に表示しながら、その検索された オーディオビジュアル表現の聴覚的成分をスピーカにより再生し、ユーザは、選 択されたワードを発音する唇を見ながら、話される選択されたワードを聞き取り 、且つその選択されたワードを書かれたテキストとして見ることができ、これに より、ユーザが外国語の選択されたワードをいかに発音するかを学習する上で補 助する、 という段階を備えたことを特徴とする方法。 ２．コンピュータシステムにおいて外国語の指導を補助する方法であって、コン ピュータシステムは、外国語の複数のワードの各々に対してオーディオビジュア ル表現を有し、各ワードのオーディオビジュアル表現は、聴覚的発音と、視覚的 テキスト表示と、そのワードを発音する唇のグラフィック表示とを有し、上記方 法は、 外国語の複数のワードの中からワードを選択し；そして その選択されたワードの聴覚的発音を再生すると同時に、その選択されたワ ードのテキスト表示及びその選択されたワードを発音する唇を表示する、 という段階を備えたことを特徴とする方法。 ３．各ワード発音する唇のグラフィック表示は、ビデオアニメーションから構成 される請求項２に記載の方法。 ４．選択されたワードを発音する唇の速度を制御しながら、その選択されたワー ドの聴覚的発音を再生する段階を更に備えた請求項２に記載の方法。 ５．選択された外国語ワードの逐語的翻訳を馴染み深い言語で表示する段階を更 に備えた請求項２に記載の方法。 ６．選択された外国語ワードの逐語的翻訳を表示するのと同時に、その選択され た外国語ワードに関連したワードの逐語的翻訳を馴染み深い言語で表示し、これ により、その選択された外国語ワードの関連する使用例を与える段階を更に備え た請求項５に記載の方法。 ７．上記外国語の複数のワードは、ストーリの一部分である請求項２に記載の方 法。 ８．上記ストーリにおける複数の人物のグラフィック表示を形成し、 その形成されたグラフィック表示を用いて、人物を選択し、そして 上記ストーリにおけるその選択された人物の役割の説明を表示する、 という段階を更に備えた請求項７に記載の方法。 ９．上記外国語の複数のワードは、オーディオビジュアルストーリの一部分であ り、このストーリは、複数のビデオ画像と音声部分を有し、各ビデオ画像は、そ のビデオ画像に関連した外国語スピーチの音声部分に関連し、そして更に、 上記複数のビデオ画像からビデオ画像を選択し、 その選択されたビデオ画像に関連する音声部分のスピーチに対応する外国語 の視覚的テキストを有する対話吹き出しを形成し、そして 上記外国語の視覚的テキストを有する対話吹き出しを表示しながら、その表 示された視覚的テキストに対応する音声部分のスピーチを再生する、 という段階を更に備えた請求項２に記載の方法。 10．上記外国語の複数のワードの中からワードを選択する上記段階は、表示され た対話吹き出しに示された視覚的テキストからワードを選択する請求項９に記載 の方法。 11．上記表示された対話吹き出しに示された外国語の視覚的テキストの口語体翻 訳を馴染み深い言語で形成し、そして その口語体翻訳を表示する、 という段階を更に備えた請求項９に記載の方法。 12．上記外国語の複数のワードは、複数の映像フレーム及び音声セグメントを有 するオーディオビジュアルストーリの一部分であり、各映像フレームは、それに 関連する音声セグメントを有し、各音声セグメントは、それに対応する視覚的外 国語テキストを有し、そして更に、 外国語の複数のワードのリストを表示し、 表示されたリストからワードを選択し、そして 選択されたワードを含む音声セグメントを再生しながら、それに関連する映 像フレームを表示すると共に、その音声セグメントに対応する外国語テキストを 表示する、 という段階を更に備えた請求項２に記載の方法。 13．上記外国語の複数のワードは、複数の映像フレーム及び音声セグメントの順 序付けされたシーケンスを有するオーディオビジュアルストーリの一部分であり 、各映像フレームは、それに関連する音声セグメントを有すると共に、その関連 する音声セグメントに対応する外国語テキストを有し、複数の音声セグメントが サウンドトラックを構成し、そして更に、 連続モードスタート指示子及び連続モードストップ指示子を表示し、 上記連続モードスタート指示子を選択するのに応答して、順序付けされたシ ーケンスで映像フレームを表示しながら、関連する音声セグメントを再生し、外 国語のサウンドトラックが連続的に聞こえるようにし、そして 上記連続モードストップ指示子を選択するのに応答して、 上記順序付けされたシーケンスではないシーケンスで各映像フレームを選 択的に表示しながら、その映像フレームに関連した音声セグメントを再生し、且 つ外国語テキストを表示し、 唇発音指示子を表示し、そして 上記唇発音指示子を選択するのに応答して、表示された外国語テキストの ワードを決定し、そしてその決定されたワードを発音する唇のグラフィック表示 を形成する、 という段階を備えた請求項２に記載の方法。 14．請求項２に記載の方法に基づいてコンピュータプロセッサの動作を制御する ためのコンピュータ読み取り可能なメモリ装置において、 外国語の複数のワードの各々に対して記憶されたオーディオビジュアル表現 を備え、各ワードのオーディオビジュアル表現は、 聴覚的発音成分と、 視覚的テキスト表示成分と、 そのワードを発音する唇のグラフィック表示成分とを有し、 コンピュータプロセッサのプログラム制御実行により、複数のワードのうちの 選択されたワードの記憶されたオーディオビジュアル表現を検索して、その選択 されたワードの聴覚的発音を再生すると同時に、その選択されたワードの視覚的 テキスト表示及びその選択されたワードを発音する唇を表示できるようにするこ とを特徴とするメモリ装置。 15．コンピュータシステムメモリに外国語指導のオーディオビジュアル補助教材 を形成する方法において、 複数の映像フレームをそれに対応するスピーチ音声セグメントと共にメモリ に記憶し、スピーチは、外国語のストーリを構成し、 各音声セグメントごとに対話吹き出しをメモリに記憶し、各対話吹き出しは 、その音声セグメントのスピーチに対応する視覚的外国語テキストを有し、 各対話吹き出しに関連して、その対話吹き出しの視覚的外国語テキストの口 語体翻訳を馴染み深い言語でメモリに記憶し、そして スピーチの記憶された音声セグメントに生じる各ワードごとに、アニメーシ ョン化された発音ガイドを記憶して、メモリを読み取るプログラムが、そのワー ドの視覚的外国語テキストを表示しながら、そのワードの聴覚的発音を再生し且 つそのワードに対するアニメーション化された発音ガイドを表示できるようにす るという段階を備えたことを特徴とする方法。 16．外国語の指導を補助するコンピュータシステムにおいて、 スピーカと、 ディスプレイ装置と、 外国語の複数の記憶されたワードを有するデータベースとを備え、各々のワ ードは、そのワードの発音の関連する記憶された音声表示と、関連する視覚的テ キスト表示と、そのワードの発音を表す唇の関連するグラフィック表示とを有し 、更に、オーディオビジュアル表示コードを備え、これは、指示されたワードと 共に呼び出されるのに応答して、 記憶された音声表示、視覚的テキスト表示、及び指示されたワードに関連 したグラフィック表示をデータベースから検索し、そして 指示されたワードの発音を表す唇の検索されたグラフィック表示をディス プレイ装置に表示しながら、検索された視覚的テキストをディスプレイ装置に表 示し且つ検索された音声表示をスピーカで再生し、そして 更に、データベースに記憶された複数の外国語ワードの中からワードを選択 しそしてその選択されたワードを指示するオーディオビジュアル表示コードを呼 び出す選択機構を備えたことを特徴とするコンピュータシステム。