JP6449506B1 - 外国語音声用日本語文字列表示装置、同表示システム、同表示方法、プログラム、記録媒体、および同表示媒体 - Google Patents

Abstract

【課題】外国語音声を発声させ、発声された外国語文に対応する日本語又は記号を表示させ、出力される外国語音声データに対応する日本語文字列を表示する外国語音声用日本語文字列表示させる場合、外国語音声に忠実に、その音韻、その強弱、その順序、その和訳を反映した日本語文字列の表示装置を提供することを目的とする。
【解決手段】外国語音声用日本語列表示装置は、外国語発声と同時に、その波形の連続したクラスタを識別する。そのクラスタ音声の強弱、日本語との音韻の違い、調音変化を反映しして分かち書きされた発音カナ文字列を表示媒体に表示する。さらにクラスタ毎に単語の前から順番に和訳された発音和訳列を表示し、かつ外国語音声の発声部位を表示する。これらの表示された情報から日本人が容易に外国語の音声を理解することが出来る。
【選択図】図３

Description

本発明は、外国語を発声させ、ユーザーにその内容を聞き別け、理解させるための、その音声に対応する日本語文字列を表示させる外国語音声用日本語文字列表示装置の提供に関する。

近年、日本の外国語（例えば英語）教育では、小学校においても、４技能（聞く、話す、読む、書く）の中、リスニング、スピーキング教育が重視されている。リスニング教育では、最近のICT技術の発達によって、ネイティブの声がいつでもどこでも聞けるようになったが、音声を聞くと同時にそれが理解できる表示した文章又は記号の助けが必要となっている。それにはアルファベットを知らない幼児や小学生にとって、やさしい日本語の並べ方やイラスト、特に容易に読み聞く表音文字のカナが有効である。書物の世界では約１５０年前のジョン万次郎の英会話教本「英米対話捷径」や、約６０年前のJTB発行「六カ国語会話」の振りカナ文が有名であるが、当時は音声が直接連動していなかったのでリスニング教育にも有効ではなく、音声の表示文としては適切ではなかった。しかし、最近CD或いはネット配信手段を用いて、ネイティブ音声に連動し、それに適した発音表現のカナ文の記載又は表示が提案されている。

その１つに、CDを使い、その音声の文字表記に、アルファベットを組み合わせた「振りカナ」の実施例、「小学校卒業までにスラスラ英会話」がある（たとえば、非特許文献１参照）。それは日本語のカタカナに大小太文字を使ってアクセントが一目瞭然にわかると称し、しかも微妙な外国語の発声表現にアルファベットを用いている。

例えば、同文献P１４記載の次の３行のような例
ワッツ ダ マジック ワーd？ ・・・（１）
What’s the magic word? ・・・（２）
なんて言うんだっけ？ ・・・（３）

（「ワッツ」の「ワッ」の表示は太文字表示であり、「マジック」の「マ」の表示は太文字表示であり、「ワーd」の「ワ」の表示は太大文字表示である）がある。これは文章（１）のように、まだアルファベット“ｄ”に馴染んでいない小学生には理解に無理がある。また文章（３）のように余りにも意訳過ぎて単語の構成が違い、折角の発音記号に似たカタカナ文字列を使っているにも拘わらず、耳から音声を聞いた単語の意味と一致しないので、リスニング教育には不向きである。さらに、ｐ１７記載の次のような例
ドン（ｔ） ポインナツ（ｔ） ピーポ ・・・（４）
Don’t point at people ・・・（５）
人に指差しちゃダメよ。 ・・・（６）

（「ドン（ｔ）」の「ド」の表示は太大文字表示であり、「ポインナツ（ｔ）」の「ポ」の表示は太大文字表示であり、「ポインナツ（ｔ）」の「ナツ」の表示は太文字表示であり、「ピーポ」の「ピー」の表示は太文字表示である）もある。文章（１）（２）の場合は、英単語毎に振りカナをしているが、文章（４）（５）の場合は二つの単語（point at）を一つの単語のように振りカナをしている。英語の場合、しばしば２つ以上の英単語が調音（articulation）結合した場合には、様々な音声変化（結合、短縮、同化、脱落、フラップ）があり、これは[t]の脱落した表現であり、あたかもCD音声に忠実な発音の文字化のように見えるが、そうではない。何故なら、CD音声に忠実に文字化する場合には、２つの単語の結合（即ち調音結合による音声変化対応）のみではない。調音結合の有無に拘わらず、３語以上の単語が音声のかたまり（クラスタ）として連続して発音される会話の場合がほとんどであり、その連続した文字化が行われていない。つまり、この3個以上の単語の音の固まり、すなわち音声クラスタを、1つの単語のように日本人は認識するものである。従って、この（１）、（４）の例では、英語の１つ又は２つの単語単位のカナの分かち書きしているので、一目瞭然にはクラスタとして英語音声が判別出来ない、視認性が悪いという問題があった。この非特許文献１では、CD音声と紙媒体の書籍記述による音声文字表現であるが、電子媒体の表示に変更しても同じである。

もう１つの音声文字表記及び表示の例では、３単語以上の調音結合によって音声変化をする「カタカナ英語の法則」を適用したカナによる発声方法と具体的なカナ表記及び和訳表記が提案されている（たとえば、非特許文献２参照）。例えば同文献ｐ１２３には、次の４行とその右にQR（登録商標）コードがあり、スマホ・PCでその音声を聞くことができる。それは次の４行のような例
I have to do my best. ・・・（７）
（がんばらなくちゃ） ・・・（８）
×アイ ハフトウー ドウー マイ ベスト ・・・（９）
○アイアフタドウマイベスツ ・・・（１０）
（「○アイアフタドウ」の「○アイアフタド」の表示は太文字表示であり、「ドウ」の「ウ」の表示は太小文字表示であり、「マイベスツ」の「マイベス」の表示は太文字表示であり、「ベスツ」の「ツ」の表示は太小文字表示である）である。これは文章（９）と比較して文章（１０）を発音すれば良いとの著者の主張である。これは文章（９）が１又は2の英単語単位で振りカナをしたもので、非特許文献１と同じく視認性が悪いことは言うまでも無い。しかしながら文章（１０）も同じ文字の大きさが12文字も並び、1目で判るような視認性に欠けるのは同じである。即ちこの１２文字の文字列を瞬間に見て、リスニングするのは大変難しい。しかも上記QRコードから取得した音声には、連続した3単語のかたまりであるI have to（アイアフタ）とdo my best(ドウマイベスツ)の2つの音声フレーズ即ち２つの音声クラスタとの間は息の途切れ時間がある。そのために１２個の連続したカタカナ書きは、音声の忠実な表現としては大きな問題である。特に話者のQRコード音声を忠実に文字化せず、かつ明らかに視認性が悪いという問題点があった。しかも、非特許文献１と同じく、（がんばらなくちゃ）という和訳が余りにも英語の構文と異なり、音声の単語の意味するところから離れて忠実な訳ではないという問題点があった。

このように、非特許文献１及び２の技術においては、外国語音声に忠実に対応する日本語文表現又は表示とはならない。しかも視認性が悪いという問題点があった。かつその和訳は英語の構文と音声単語の順序とがまるで異なり、リスニングして単語の意味を聞き取るには極めて問題が多い。それ故外国語のリスニング能力、スピーキング能力、かつ内容理解能力の向上ができないという問題点があった。

ジャニカ・サウスウイック、キース・長谷共著「小学校卒業までにスラスラ英会話」、第１版、主婦と生活社、２００２年１２月９日、ｐ．１４―１７ 池谷裕二著「怖いくらい通じるカタカナ英語の法則」、第１版、講談社、２０１６年１０月２０日、ｐ．１２３

本発明は、上記の問題を解決するためになされたものであり、外国語を発声させ、ユーザーにその内容を聞き別けさせ、発音させ、理解させるための、その音声に対応する日本語文字列を表示させる外国語音声用日本語文字列表示装置の提供することを目的とする。

第１の本発明は、出力される外国語音声データに対応する日本語文字列を表示する外国語音声用日本語文字列表示装置であって、
表示される前記日本語文字列は、
前記外国語音声データが出力される順番に表示される、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示装置である。

第２の本発明は、前記日本語文字列は、前記外国語音声データの発音を表すカタカナを並べた第１の日本語文字列、および前記外国語音声クラスタ毎に前から順番に前記外国語音声データの意味を表す和訳単語を並べた第２の日本語文字列、の内の少なくとも一方を含むことを特徴とする第１の本発明の外国語音声用日本語文字列表示装置である。

第３の本発明は、前記第１の日本語文字列、前記第２の日本語文字列、および出力される前記外国語音声データに対応する外国語文字列、の内の少なくとも一つの表示において、前記外国語音声データの発声部位を示す記号を利用することを特徴とする第２の本発明の外国語音声用日本語文字列表示装置である。

第４の本発明は、前記第１の日本語文字列、および出力される前記外国語音声データに対応する外国語文字列、の内の少なくとも一つの表示において、外国語音韻と異なる日本語音韻の違いを表すために色別の文字を利用することを特徴とする第２の本発明の外国語音声用日本語文字列表示装置である。

第５の本発明は、前記日本語文字列は、前記第１の日本語文字列、および前記第２の日本語文字列の両方を含み、
前記第１の日本語文字列と、前記第２の日本語文字列と、出力される前記外国語音声データに対応する外国語文字列と、を上下に並べて表示することを特徴とする第２の本発明の外国語音声用日本語文字列表示装置である。

第６の本発明は、前記日本語文字列は、前記第１の日本語文字列、および前記第２の日本語文字列の両方を含み、
始めに、前記外国語音声データの音声出力と同時に前記第２の日本語文字列を表示し、次に、前記外国語音声データの音声出力と同時に前記第１の日本語文字列を表示し、次に、前記外国語音声データの音声出力なしに、又は前記外国語音声データの音声出力と同時に、前記第１の日本語文字列、および出力される前記外国語音声データに対応する外国語文字列、の内の少なくとも一方を表示することを特徴とする第２の本発明の外国語音声用日本語文字列表示装置である。

第７の本発明は、出力される外国語音声データに対応する日本語文字列を端末装置に表示する外国語音声用日本語文字列表示システムであって、
表示される前記日本語文字列は、
前記外国語音声データが出力される順番に表示される、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示システムである。

第８の本発明は、出力される外国語音声データに対応する日本語文字列を生成し、生成した前記日本語文字列を表示する外国語音声用日本語文字列表示方法であって、
表示される前記日本語文字列は、
前記外国語音声データが出力される順番に表示される、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示方法である。

第９の本発明は、第８の本発明の外国語音声用日本語文字列表示方法の、出力される外国語音声データに対応する日本語文字列を生成するステップと、生成した前記日本語文字列を表示するステップと、をコンピュータに実行させるためのプログラムである。

第１０の本発明は、第９の本発明のプログラムを記録した、コンピュータ読み取り可能な記録媒体である。

第１１の本発明は、出力される外国語音声データに対応する日本語文字列が表示された外国語音声用日本語文字列表示媒体であって、
表示された前記日本語文字列は、
前記外国語音声データが出力される順番に表示された、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示媒体である。

本発明の実施の形態に係る外国語音声用日本語文字列表示装置の構成図 本発明の実施の形態に係るクラウドシステムの１例を示す図 本発明の実施の形態に係る音声波形とクラスタ情報の関係の一例を示す図 本発明の実施の形態に係る日米音韻発音方法色別注釈表の図 本発明の実施の形態に係る調音カナ表現規則表の図 本発明の実施の形態に係るクラスタ情報DB６の第１の例を示す図 本発明の実施の形態に係るクラスタ情報取得処理を示すフローチャート 本発明の実施の形態に係るクラスタ情報DB６の第２の例を示す図 （Ａ）従来の学習法の表示図面例を示す図（その一）、（Ｂ）従来の学習法の表示図面例を示す図（その二）、（Ｃ）従来の学習法の表示図面例を示す図（その三） （Ａ）本発明の実施の形態に係る万次郎学習法の表示図面を示す図（その一）、（Ｂ）本発明の実施の形態に係る万次郎学習法の表示図面を示す図（その二）、（Ｃ）本発明の実施の形態に係る万次郎学習法の表示図面を示す図（その三） 本発明の実施の形態に係るＹｅｓｔｅｒｄａｙの歌詞の表示図面を示す図（その一） 本発明の実施の形態に係るＹｅｓｔｅｒｄａｙの歌詞の表示図面を示す図（その二）

以下、図面を参照しながら、本発明における実施の形態について詳細に説明する。

図１は外国語音声用日本語文字列表示装置構成図であり、図２はクラウドシステム１００の図であり、図３は音声波形とクラスタ情報関係図であり、図４は日米音韻発音方法色別注釈表の図であり、図５は調音カナ表現規則表の図であり、図６はクラスタ情報DB６の第１の例の図であり、図７はクラスタ情報取得フローチャートであり、図８はクラスタ情報DB６の第２の例の図であり、図９（Ａ）〜（Ｃ）は従来学習法表示画面の図（その一から三）であり、図１０（Ａ）〜（Ｃ）は万次郎学習法表示画面の図（その一から三）であり、図１１および１２はＹｅｓｔｅｒｄａｙの歌詞表示図である。

本実施の形態の外国語音声用日本語文字列表示装置１の動作について説明しながら、本発明の外国語音声用日本語文字列表示方法についても説明する。

はじめに、本発明の1実施の形態にかかる外国語音声用日本語文字列表示装置１について、図面を参照して説明する。図１は、本発明の実施の形態に係る外国語音声用日本語文字列表示装置１（装置１と略記）の構成を示す。ここで、以下の説明では外国語とはその代表として英語であり、外国語発声文とは、英語発声文であり、その文を発声する音声とは、英文音声であるとする。つまり文と音声はその単語が対応している。勿論英語に変わって他の外国語でも構わない。

外国語音声用日本語文字列表示装置１は、本発明の外国語音声用日本語文字列表示装置の一例である。

英語発声文４１は本発明の外国語音声データの一例であり、英文音声５１も本発明の外国語音声データの一例である。強弱付きクラスタ発音カナ列６４１は、本発明の第１の日本語文字列の一例である。クラスタ発音和訳列６５は、本発明の第２の日本語文字列の一例である。

装置１は、装置１を制御するＣＰＵ２（制御部）と、装置１を制御する制御プログラム３１を記録する主記憶部３と、英語発声文４１を記憶する英語発声文記憶部４と、その英文に対応する英文音声５１を記憶する英文音声記憶部５と、クラスタ情報DB(データーベース)６と、ＣＤプレイヤー接続端子のような入力端子を含む、英文や操作命令などを入力する入力部７と、マイク接続端子のような入力端子を含む、音声や操作命令などを入力する音声入力部８と、表示媒体１３に表示したコードなどを入力するコード入力部９と、表示媒体１３に表示した文字又は図形をタッチして入力するタッチ入力部１０と、出力表示部１１と、音声出力部１４と、有線・無線を介して通信する外部通信部１５と、外部メモリ部１６とを備え、これらはバス１７に接続されている。さらに表示出力部１１は、教材プリントまたは書籍のような表示媒体１３の紙媒体１３１にプリントアウトするプリンタ部１２と電子表示媒体１３２に接続されている。 紙媒体１３１は、本発明の外国語音声用日本語文字列表示媒体の一例である。

図２は、スマホ（１）１０３、スマホ（２）１０４，タブレットPC（１）１０５，タブレットPC（２）１０６、デスクトップPC１０７、及びサーバー装置１０２が、有線・無線ネットワーク１０１を介してお互いにつながっているクラウドシステム１００である。

各装置は、全て本発明にかかる外国語音声用日本語文字列表示装置１を備えている。これらは、本発明応用の英会話学習システムとして複数の生徒や教師など指導者が使用するネットワークシステムである。

クラウドシステム１００は、本発明の外国語音声用日本語文字列表示システムの一例である。デスクトップPC１０７のようなこれらの端末装置は、本発明の端末装置の一例である。

もちろん、外国語音声用日本語文字列表示プログラムの全体が端末装置にインストールされている実施の形態も考えられるし、外国語音声用日本語文字列表示プログラムの一部がサーバー装置１０２にインストールされており、残りの外国語音声用日本語文字列表示プログラムの一部が端末装置にインストールされている実施の形態も考えられる。前者のような実施の形態においては、個々の端末装置は学習を行うための動作を独立的に実行できるので、サーバー装置１０２には端末装置における学習進捗状況を管理するための付加的なプログラムのみがインストールされていてもよい。後者のような実施の形態においては、サーバー装置１０２にインストールされている外国語音声用日本語文字列表示プログラムの一部を利用して学習を行うための補助的なプログラムが個々の端末装置にダウンロードされインストールされてもよい。

始めに、図１を参照してCPU２と制御プログラム３１が使用されることによる、上記英語発声文４１と英文音声５１の取得方法から説明する。上記外国語音声用日本語文字列表示装置１の応用として使用されるのは、学習又はプレゼンテーションの時であり、その時使用される英語発声文４１と英文音声５１は、単語単位で対応して、構文と文意は同じである。それぞれ入力部７と音声入力部８とから別々に取得され、それぞれ英語発声文記憶部４と英文音声記憶部５に格納される。

またもう一つの英語発声文４１の取得方法は、英文音声記憶部５に格納された英文音声５１から、制御プログラム３１の中の音声強弱測定プログラム３１１と音声認識プログラム３１２によって、英語発声文４１が取得される。まず、英文音声５１は、音声強弱プログラム３１１によって文頭時刻（SST＝Sentence Start Time）と文後時刻（Sentence End Time）が測定されて、文章毎に別けられる。その後音声認識プログラム３１２によって文字化され英語発声文記憶部４に格納される。音声認識プログラム３１２は、通常の音声認識方法が利用される。

次に、発声部位情報６１，クラスタ音声６２の取得方法について、図３音声波形とクラスタ情報関係図を参照して説明する。例として、[ ]内で音声を表すVoice1[What is it today?]とVoice2[It’s Thursday.]を取り上げる。音声入力部８から入力され,英文音声記録部５にある英文音声５１のVoice1とVoice２の音声波形は、図３の（１）音声波形と強弱レベルのタイトルの右側に図示される。A点とD点は文頭点、C点とE点は文後点として無音期間により測定される。B点は連続のF波形とG波形が途切れた点であることから、無音区間として測定される。従って、ここでは波形の連続した音声をクラスタ音声という。F波形がクラスタ音声[What day is it] 、G波形がクラスタ[today]、H波形がクラスタ音声[It’s Thursday]である。それはF波形が英単語４個連結で、G波形が英単語１個で、H波形が英単語２個連結で発音された音声クラスタであり、非特許文献２の言うようなリエゾンフレーズではない。このように音声の発声部位情報６１の発声時刻は、音声強弱測定プログラム３１１の無音区間測定によって得られる。即ち、A点とD点の文頭時刻（SST＝Sentence Start Time）とC点とE点は文後時刻（SET=Sentence End Time）、さらにB点は、クラスタ後時刻（CET=Cluster End Time）とクラスタ前時刻（CST＝Cluster Start Time）が同一時刻である。これらの時刻はクラスタの付属情報であり、発声部位情報６１の発声時刻情報６１１として、また発声時刻つきクラスタ音声６２１としてクラスタ情報DB6の中に格納される。又文中の発声部位情報は、（SET―SST）又は（CET―SCT）の時間間隔を測定して比例配分することにより発声点情報６１２として、発声点情報マーク（例えば↑）と共に、図６の例のようにクラスタ情報DB6に格納される。また付随する区切情報６１３は説明を省略する。

次にクラスタ英文６３の取得方法について説明する。音声クラスタ(i)[What day is it t]、音声クラスタ(ii)[today]、音声クラスタ(iii)[It’s Thursday]は、音声認識プログラム３１２によって、容易に「」内で表す英語スペルのクラスタ英文(i)「What day is it」、クラスタ英文(ii)「today？」、クラスタ英文(iii)「It’s Thursday」に文字化される。図３（３）色つきクラスタ英文では、ThursdayのThには茶色の色つき文字が使用されている。これは日米音韻の差が大きい図４のよう日米音韻発音方法色別注釈表に基づき、色別けされる。これは英語発音記号が単語単位で読みにくい点を克服し、かつリスニングにもスピーキングにも注意すべき日本人のための音韻差発音記号である。これら色別は後述のクラスタ発音カナ列にも使用される。これは色付きクラスタ英文６３１としてクラスタ情報DB６に格納される。

次にクラスタ英文６３からクラスタ発音カナ列６４を取得する方法について説明する。本発明にかかる装置１においては、このクラスタ発音カナ列６４は、クラスタ音声６２が音声出力部１４により出力され、その音声を聞く助けになる目的のために、同時に表示出力部１１により表示される。従って出来るだけ音声に忠実な発音記号列のカナ文にされる必要がある。即ちこの発音カナ列は、連続した発音記号列であり、英文には単語単位の発音記号はあるが、フレーズや文単位の発音記号列は無い。従来の市販の「英語（英文）→（発音記号またはカタカナ）変換ツールでは、単語単位でカナに変換されていた。たとえば上記「What day is it」では「ワット・デイ・イズ・イット」または「ワット デイ イズ イット」である。これでは文章の音声に忠実な発音法にはならない。このまま単語単位でカタカナの発音すると、ネイティブには何を意味するか聞き取れない。かつこのカナの音が邪魔をしてネイティブ音声が聞き取れない。これではリスニングにもスピーキングにも、学習効果を著しく疎外するもので、教育界ではカタカナ使用が有害であるものとされて来た。そこで、本実施の形態では、クラスタ英文６３を従来市販の英文・カタカナ変換ツールを使用した英語カナ変換３１３で単語単位のカナ変換した後、後述のリズム感付加プログラム３１４において、単語単位でのドット結合または分かち書きを止めにし、クラスタ単位で連続して発音するカナ列、例えば「ワットデイイズイット」の連続カナ列に変換される。

さらに、リズム感付加プログラム３１４の中の処理において、音声強弱測定プログラム３１１によって、クラスタ英文６３に対応するクラスタ音声６２１(i)[What day is it]の強弱が図３（１）のように測定される。そこでは波形振幅の強弱閾値レベルの最大、中間、最小が設定されている。その測定値のＸ、Ｙ，Ｚの強弱列「ＹＸＺＸYZＺＺＺ」が反映されて、カタカナ列は「ワ」と「デ」が太大文字、「イ」大文字、その残りは小文字となり、強弱つきカタカナ列６４１(i)「ワットデイイズイト」（「ワット」の「ワ」の表示は太大文字表示であり、「デイ」の「デ」の表示は太大文字表示であり、「デイ」の「イ」の表示は大文字表示である）となる（図３（４）参照）。それは、太字は強い音で、小文字は弱い音で、日本語では表せない英語のリズム感を表し、聞くことにも言うことにも役に立つ。同様にクラスタ音声(ii)[today]は、「トゥディ」、音声クラスタ(iii)[It’s Thursday]は、「イッツサーァズデイ」となる。ここで、サは図４を反映して茶色となる。これは色＆強弱付きクラスタ発音カナ列６４１として、クラスタ情報DB6の中に格納される。

次に、この色＆強弱付きクラスタ発音カナ列６４１は、さらに調音カナ修正プログラム３１５によって修正される。前述したように英語の場合、音声クラスタを発音すると調音（articulation）によって種々な様々な音声変化（結合、短縮、同化、脱落、フラップ）があり、それぞれ一定の規則がある。図５は調音カナ表現規則表をまとめたものである。強弱付きクラスタ発音カナ列は、調音カナ修正プログラム３１５によってこの規則表をルックアップテーブル手法によって、修正される。例えば、規則４によりｗは前にウをつけて、「Ｗｈａｔ」のｗは「ウワ」となり、かつｔは規則５により脱落する。その結果調音修正クラスタ発音カナ列６４２は「ウワッデイイズイッ」（「ウワッ」の「ワ」の表示は太文字表示であり、「デイ」の「デ」の表示は太文字表示である）となり（図３（５）参照）、クラスタ情報DB６に格納される。これにより、クラスタ音声６２及び英文音声５１が、最終的に英語発音の音韻に忠実にカタカナ発音文字列に変換される。そのため日本人にとって、この文字列の表示を瞬間に見ることにより、生の英語を聞きやすく、発音もし易くなる。

次にクラスタ発音和訳列６５の取得方法について説明する。クラスタ発音和訳列６５は、クラスタ英文６３の英語単語が、前から順番に、単語逐次変換プログラム３１６によって和訳されて取得される。例えばクラスタ英文(i)「What day is it」はWhat=何の、day＝日、is it＝ですか、であり、クラスタ発音和訳列６５は「何の日ですか」となる。また「It’s Thursday」は「それは〜です木曜日」となる。また、上述のクラスタ発音カナ列と同じように、強弱を表現して「何の日ですか」「今日は」「それは〜です木曜日」となる。これは、音声が聞こえてくる順番に訳がわかるので、辞書が不要で即座に意味が判り易く、リスニングとスピーキング学習には特に有効である。何故なら従来の日本文の訳し方は、「What day is it today？」を「今日は何曜日ですか？」と訳し、「今日」を先頭に訳し、かつ「何曜日ですか」を意訳していて、日本人の頭を混乱させているからである。このようにクラスタ発音和訳列６５は、日本語の語順を無視し、英語順の単語単位で、クラスタ内の前から順番に単語単位で和訳させるので、もはや日本文ではなく、発音が意識されたクラスタの発音和訳列６５である。従ってこれを、クラスタ毎に前から並べて聞くと、日本人には直感的に内容を理解できる。

次に、クラスタ発音注釈文６６について説明する。これはクラスタ音声６２を発音する際の発音のしかたを注釈した文章である。特に口や唇の形状を説明し、カタカナで表現する注釈文である。これは、英語音声学のベテランによって作成される。例えばクラスタ音声(i)[What day is it ]は、「What[wat]の[wa]は軽く唇を丸めた「ウ」から「ワ」へ「ウワ」の感じで移っていく。語末の[t]は声に出さず口の形だけして次のdayとつなげて「ウワッデイ」と言ってもよい。また、クラスタ音声(iii)[It’s Thursday] の場合は、「Thursday「サーァズデイ」の「サーァ」はth-音なので舌先を前歯で軽くかんでこすれる「サー」と「スー」の間くらいのあいまいな音を出しながら舌の根本を呑み込むように奥に引き込みながら言う。」のように文章が作成される。ここでは、「ｔｈ」「サ」が注意すべき音韻として茶色文字となっている。この作成されたクラスタ注釈文６６も、クラスタ情報としてクラスタ情報ＤＢ６に格納される。

このようにして、取得された発声部位情報６１，クラスタ音声６２，クラスタ英文６３，クラスタ発音カナ列６４，クラスタ発音和訳列６５，クラスタ発音注釈文６６の６種のクラスタ情報が、クラスタ情報DB６の中に、格納される。図６は、上記クラスタ情報DB６の第１の例である。それぞれ、全てのクラスタにＩＤ番号をつけ、そのフィールド値の例が図示されている。

次に、上記クラスタ情報の取得方法を、より判り易くするために図７クラスタ情報取得フローチャートにて説明する。まず、音声入力部８より取得されて、英文音声記憶部５に格納された英文音声５１を入力する（S310）。この英文音声５１は、音声強弱測定プログラムS３１１の機能で測定されて、文として成り立つ文頭時刻（SST＝Sentence Start Time）と文後時刻（Sentence End Time）、即ち発声部位情報６１が取得される。この文の音声は音声認識３１２によって活字化されて、この音声に対応する英語発声文４１が取得され、英語発声文記憶部４に格納される。この英語発声文の例は上述の「What day is it today?」である。

次に、音声強弱測定（Ｓ３１１）によって、図３のように音の途切れ時刻を検知して、発声部位情報６１のクラスタ前時刻（CST=Cluster Start Time）とクラスタ後時刻(Cluster End Time)を取得する。これらの間の音声をクラスタとしてクラスタ音声６２を取得する。

次に、クラスタ音声６２は、音声認識プログラムS３１２によって、活字化されてクラスタ英文６３を得る。そしてそれは図４の日米音韻発音方法色別注釈表により、色付き補正され（上記の例ではｔｈの茶）、さらに英語カナ変換（S313）により、カタカナ文字列（上記の例では「ワットデイイズイット」）が取得される。

このカタカナ文字列は、リズム感付加プログラム（S３１４）により、大文字、小文字、太文字に変更が加えられて、色＆強弱付きクラスタ発音カナ列６４１（上記の例では、「ワットデイイズイト」）が取得され、かつ調音カナ修正プログラム（３１５）により、調音修正クラスタ発音カナ列６４２（上記の例では「ウワッデイイズイッ」）が得られる。このように上述の取得された各クラスタ情報は、クラスタ情報DB６に格納される。

次に、図８クラスタ情報DB６の第２の例を説明する。これはビートルズの有名なＹｅｓｔｅｒｄａｙの２行目からの歌詞の発声英文「All my /troubles seemed so/ far away」と英文音声[All my troubles seemed so far away]から例にとったものである。これは歌手によってクラスタの切れ目が異なる場合、また音声が連続してクラスタがハッキリしない場合、或いは教育上クラスタの区切をつけたい場合などがある。それに対応して、音声強弱測定プログラムS311が修正されてユーザーが人為的にクラスタの区切をつけた例である。その場合スラッシュ/によってクラスタが形成されて、クラスタ英文が得られる。この場合、上述の第１の例と同じように、色付き補正、英語カナ変換（S313）、及びリズム感付加（S３１４）などの変換プログラムにより、色＆強弱付きクラスタ発音カナ列６４１が得られる。さらに調音カナ修正プログラム３１５により、調音修正クラスタ発音カナ列６４２が得られる。

下記のように（「オーウマイ」の「オ」の表示は太文字表示であり、「オーウマイ」の「ー」の表示は小文字表示であり、「オーウマイ」の「ウ」の表示は太小文字表示であり、「オーウマイ」の「マイ」の表示は小文字表示であり、「トウラボウスイムソー」の「ウ」の表示は二つとも小文字表示であり、「トウラボウスイムソー」の「ラ」の表示は太文字表示であり、「トウラボウスイムソー」の「イ」の表示は小文字表示であり、「トウラボウスイムソー」の「ソー」の表示は小文字表示であり、「ファーラウェーィ」の「フ」の表示は太文字表示であり、「ファーラウェーィ」の「ァ」の表示は太小文字表示であり、「ファーラウェーィ」の「ーラ」の表示は小文字表示である）,調音修正カナ文６４２で、色つきクラスタ英文６３２のすぐ上に振りカナをして、表示・印刷プログラム３１７によって表示すれば、明らかに、日本人にとって歌いやすく、覚えやすいことがわかる（図８参照）。
オーウマイ トウラボウスイムソー ファーラウェーィ
All my/ troubles seemed so/ far away
次に、英文音声５１を、日本人にとって如何に正確に、聞き易く、しゃべり易く、意味が理解し易く、表示させる方法について説明する。その前に、小学校の先生が、多数の生徒に対してプロジェクタと、英語ネイティブ音声の出るスピーカを使って教育する従来の事例を説明する。図９は、表示出力部１１から液晶パネルやＥＬパネルやプロジェクタなどの電子表示媒体１３２に対して表示した従来学習法表示画面の例である。図９では、説明のために教育の第1〜第3ステップ画面を1つのページに記載しているが、実際はプロジェクタなどに1つの画面を表示する。図９の（Ａ），（Ｂ）、（Ｃ）の３つの画面では、いずれも画面の上下中央に生徒注目枠と、その上に生徒用説明文が、表示される。これら上下中央の枠と説明文の上下の空白部分は、図９では狭くなっているが、説明のため狭くしている。実際はこの空白部分が上下に広くプロジェクタに表示される。また、この空白部の右下に｛次へ｝と｛戻す｝のボタン表示があり、入力部７又はタッチ入力部１０のユーザー（先生）の操作により、第１画面〜第3画面のページをめくるようにして、生徒に学習させる。

次に、このプロジェクタと英語ネイティブ音声を使った従来の英会話教育法について説明する。

従来、和訳文を見せ、英語音声を聞かせ、音読をさせる順番で学習させるのが一般的である。つまり日本語訳、英語音声、英文音読の３つのステップをくり返す３ステップ学習法が、英会話学習に良く採用されている。第１ステップとして、図９（A）の第１画面に日本語の「今日は何曜日ですか？木曜日です。」を、生徒の注目枠の中に表示させる。そして生徒への説明文として「先生の合図で、下の日本語を見て、アメリカ人の声を２度続けて聴きましょう」を表示しながら、先生が左のスピーカマークをクリックして、ネイティブの英語音声を聞かせる。その後先生は「次へ」ボタンをクリックして、図９（B）第２ステップ聞き取りの第２画面を表示する。その生徒注目枠の中には英文の「What day is it today?」を表示させると同時に、先生がスピーカマークをクリックしてネイティブ英語音声を聞かせる。最後に図９（C）第３ステップ音読の第３画面を表示する。その生徒注目枠には第２画面と同じ英文が表示されるが、生徒説明文には「先生の合図で、下の英語を見て、アメリカ人の声なしに英語で、２度続けて声を出して言いましょう。」という説明で音読させます。以上が従来の英会話教育法であった。しかしこの教育法は、英語スペルを公立学校で教わっていない小学生の生徒にとって、リスニング及びスピーキング教育には不向きであることは言うまでもないことである。また英語スペルを教えることもある私立学校の生徒にも、カナカナ、ひらがな、漢字の上に英語スペルまで勉強させるには負担が大きい。

次に、本発明にかかる外国語音声日本語文字列表示方法によって、上述の従来の教育法の問題点を克服する筆者らが考案した新しい学習法（以下万次郎学習法又は万次郎メソッドと呼ぶ）について説明する。図１０万次郎学習法表示画面（A）、（B）、（C）はそれぞれ、本発明にかかる装置１の電子表示媒体１３２のプロジェクターで表示された表示画面である。図１０（A）万次郎学習ステップ１（第１画面）において、生徒用説明文「先生の合図でアメリカ人の声を２度続けて聴きましょう！」の文章、生徒注目枠、及びスピーカマークが、表示・印刷プログラム３１７によって表示される。さらに同じくクラスタ情報DB６からクラスタ発音和訳列６５の「何の日ですか 今日は？ それは〜です木曜日。」が生徒注目枠の中に表示され、かつ発声点情報６１２の指マークがクラスタ発音和訳列６５のすぐ下に表示される。その上で万次郎学習の第１ステップを始める。まず先生は生徒に画面１を見せ、入力部７又はタッチ入力部１０を操作してスピーカーマークをクリックさせて、クラスタ情報DB6からクラスタ音声６２を取り出し、音声出力部１４を通じて発声させる。同時に表示・印刷プログラム３１７によって発声点情報６１２の指マークを、発声に追従して移動表示させる。生徒に、音声の意味をクラスタ発音和訳列６５で理解させるのが学習の第１歩である。このように一塊（音声クラスタ）で聞こえる４つの音声単語[What]、[day],[is],[it]と[today]が、順番にその意味「何の」「日」「ですか」「今日は」が指で指し示されるので、極めて容易に理解できる。一方従来の学習法では、日本語の意味が「今日は何曜日ですか？」と訳されるので、音声と意味が対応せず全く学習効果が少ないと言える。

次に、図１０（B）万次郎学習聞き取り（第２画面）を説明する。この画面では、生徒注目枠のなかに、調音修正クラスタ発音カナ列６４２「ウワッデイイズイッ トゥディ イッツサーァズデイ」（「ウワッデイイズイッ」の「ウ」の表示は太小文字表示であり、「ウワッデイイズイッ」の「ワ」の表示は太文字表示であり、「ウワッデイイズイッ」の「イイズイッ」の表示は小文字表示であり、「トゥディ」の「トゥ」の表示は小文字表示であり、「イッツサーァズデイ」の「イッツ」の表示は小文字表示であり、「イッツサーァズデイ」の「サー」の表示は太文字表示であり、「イッツサーァズデイ」の「ズデイ」の表示は小文字表示である）が表示される（図１０（Ｂ）および（Ｃ）参照）。これはネイティブクラスタ音声とともに、小学生にも読め、前から順番にカタカナにより忠実に音声を発音記号列で表示しているので、大変聞き易い表現となっている。また音声の連結した４つの英単語（クラスタ）を１つの単語のように分かち書きしているので直感的に見易く、聞き易く、かつクラスタの中で強弱文字が使用されているので、リズム感が表現されている。従来のカタカナの使用の多くの例は単語単位のフリガナの分かち書き、即ち「ワット デイ イズ イット トウデイ」となっている。これでは、聞きにくいし、発音も間違っている。また発音記号の付いた英単語のアクセントの表現が単語単位では、目障りになってつけられなかった。従って英語教育にはカタカナ使用が邪道となっていた。それに較べて、調音修正クラスタ発音カナ列６４２の「ウワッデイイズイッ」では、「ウワ」は太文字の大文字で、「デ」は大文字、その他は小文字表現となっている。即ちクラスタ単位でアクセント表現になっており、聞き易く、言い易く、速読し易い表示となっている。また、次のクラスタ「イッツサーァズデイ」（It’s Thursday）では、「サ」と「ｔｈ」の文字が茶色としており、図４で示した他の文字と同じく、発音や聞き取りの難しい文字を色分けで判別されている。さらに、図５の調音カナ表現規則表により、この例では「ワ」を「ウワ」とし、「ｔ」を脱落させ、忠実なネイティブ音声を聞き取ることができる。

次に図１０（C）万次郎学習音読（第３画面）を説明する。これは音読の学習ですが、生徒説明文にそのことを表示させ、第２画面と同じ調音修正クラスタ発音カナ列６４２を表示させ、さらにその下にクラスタ発音和訳列６５とクラスタ英文６３を表示させる。このように表示させて生徒にクラスタを音読させれば、クラスタ単位で分かち書きして表示されているので、英語スペル文も、意味も、ネイティブの忠実な発音に近い発音が可能である。この万次郎学習方法は、実際に生徒に適応してみると、上述の従来の学習法に比較して、時間当たりにどのくらい意味ヒヤリング出来たかの学習効果を測定した結果、２倍の差が得られた。このヒヤリング効果の測定、実証法の記述は、複雑なので省略する。

次に、もう１つの例であるビートルズの「Yesterday」の歌詞の表示例を説明する。図１１および１２は、Yesterday１曲の歌詞が、表示出力部１１，プリンタ部１２を通じて紙媒体１３１に表示・印刷されたものである。歌の音声クラスタ６２は音声出力部１４で出力される。図１１および１２の中で、音声クラスタは発声点情報６１２ハイフン/で区切られ、クラスタ英文６３の上の行に調音修正クラスタ発音カナ列６４２が、クラスタ発音和訳列６５が下の行に表示されている。もし、従来の非特許文献１のように、単語単位の分かち書きで、上から２行のフリガナをすれば、「イェスタデイ オーウ マイ トラブルズ シームド ソウ ファーラウェイ」（「イェスタデイ」の「イェ」の表示は太文字表示であり、「オーウ」の「オ」の表示は太文字表示であり、「マイ」の「マ」の表示は太文字表示であり、「トラブルズ」の「ト」の表示は太文字表示であり、「トラブルズ」の「ズ」の表示は小文字表示であり、「シームド」の「ド」の表示は小文字表示であり、「ファーラウェイ」の「ファ」の表示は太文字表示である）となり（図１１参照）、視認性が極めて悪く、歌うリズム感が全くない。さらに連結した単語の調音結合された表現がなく、スムースさがない。また、非特許文献２のように、クラスタ毎の分かち書きがない「イェスタデイオーウマイトラブルズシームドソウファーラウェイ」の場合では、特に視認性が悪く使いものにならない。また、声を出して歌うこの歌詞のような場合には、３つ以上の連結した単語のあるクラスタは、３６クラスタ中１１個もある。従って、非特許文献１或いは２の表現は、明らかに使用不能である。しかしながら、本発明にかかる表示方法によれば、ユーザーは、クラスタ毎に、調音結合され、リズム感ある、日米音韻の差を聞き別け出来るカタカナ発音記号列、即ちクラスタ発音カナ列を見て聞きながら、ネイティブの発音に近い音声で極めて歌いやすい。さらに、クラスタ毎に、前から順番に、単語毎に訳された和文の表示は、上のカナ列と英単語に１：１に対応できるので、極めて容易に音声の意味と、英語スペルの理解が深めることができる。

上記目的を達成するために本実施の形態は、外国語を発声させ、発声された外国語文に対応する日本語文字列又は記号を表示させる場合、該外国語音声が発声される順番に、音の強弱を反映させた日本語の、大小太文字、又は発音記号列、又は記号に対応させ、かつ上記外国語文の中で、たとえば、３個以上の単語が連結して発声された外国語音声クラスタに対応して、分かち書きさせた日本語文字列を表示させる。

本実施の形態によれば、たとえば、３個以上の単語が連結した外国語音声クラスタの発声と同時に、対応して分かち書きされたリズム感ある日本語文字列を表示させることにより、日本人の外国語学習者に極めて判り易い情報を与えることができる。

また、本実施の形態は、上述の改良された実施の形態において、上記日本語文が、上記外国語音声クラスタに対して連続したカタカナ文字列を表示させる。

本実施の形態によれば、音の強弱を反映でき、かつ調音変化のある外国語音声に対して、発音記号列として、聞き取り、速読、音読のし易い情報を与えることができる。

また、本実施の形態は、上述の改良された実施の形態において、上記分かち書きさせ、かつ和訳単語を並べた日本語文字列を、上記外国語音声クラスタ毎に前から順番に並べて表示させる。

本実施の形態によれば、分かち書きされ、かつ単語を並べた日本語文字列と外国語音声が１：１に対応させることにより、直感的に日本語訳が理解できる。

また、本実施の形態は、上述の改良された実施の形態において、上記外国語文音声を発声させ、かつ上記日本語又は外国語文を表示させる場合、該外国語文音声の発声部位を示す記号を表示させる。

本実施の形態によれば、発声部位と特定することができるので、容易に音声をききわけることができる。

また、本実施の形態は、上述の改良された実施の形態において、上記日本語列又は外国語文に、外国語と異なる日本語音韻の違いを表すために色別の文字で表示させる。

本実施の形態によれば、外国語と日本語の音韻の違いをユーザーに容易に判らせることができる。

また、本実施の形態は、上述の改良された実施の形態において、上記分かち書きさせ、かつ単語を並べた日本語文字列と、上記カタカナ文と、上記外国語文とを、上下に並べて表示させる。

本実施の形態によれば、分かち書きされ、かつ単語を並べた日本語文字列と、カタカナ文と外国語文が近接して表示されるので、日本訳と発音記号列であるカタカナ文と外国語文が、１対１に対応させて、それらの意味を判らせることができる。

また、本実施の形態は、上述の改良された実施の形態において、始めに上記外国語文音声の出力と同時に上記分かち書きさせ、かつ単語を並べた日本語文字列を表示させ、次に上記外国語文音声の出力と同時に上記カタカナ文を表示させ、その次に上記外国語文音声の出力と同時に該カタカナ文又は上記外国語文を表示させる。

本実施の形態によれば、音声と単語和訳、音声と発音記号のカタカナ列、音声と外国語文をそれぞれ対応させて表示する事により学習効果をあげることができる。

また、本実施の形態は、外国語を発声させ、発声された外国語文に対応する日本語又は記号を表示させる場合、上記外国語音声が発声される順番に、強弱を反映させた日本語の、大小太文字、又は発音記号列、又は記号に対応させ、かつ該外国語文の中で、たとえば、３個以上の単語が連結して発声された外国語音声クラスタに対応して、分かち書きさせた日本語文字列を、表示させる方法を示す。

本実施の形態によれば、たとえば、３個以上の単語が連結した外国語音声クラスタと同時に、対応して分かち書きされたリズム感ある日本語文字列を表示させることにより、日本人の外国語学習者に極めて判り易い情報を与えることができる。

また、本実施の形態は、外国語を発声させ、発声された外国語文に対応する日本語又は記号を表示させる場合、該外国語音声が発声される順番に、音の強弱を反映させた日本語の、大小太文字、又は発音記号列、又は記号に対応させ、かつ上記外国語文の中で、たとえば、３個以上の単語が連結して発声された外国語音声クラスタに対応して、分かち書きさせた日本語文字列を表示させる媒体を提供する。

本実施の形態によれば、たとえば、３個以上の単語が連結した外国語音声クラスタと同時に、対応して分かち書きされたリズム感ある日本語文字列を表示させる媒体により、その手段を送受信、蓄積することができる。

また、本実施の形態は、外国語を発声させ、発声された外国語文に対応する日本語又は記号を表示する場合、該外国語音声が発声される順番に、音の強弱を反映させた日本語の、大小太文字、又は発音記号列、又は記号に対応させ、かつ上記外国語文の中で、たとえば、３個以上の単語が連結して発声された外国語音声クラスタに対応して、分かち書きさせた日本語文字列を表示する紙媒体を提供する。

なお、本発明のプログラムは、上述された本発明の外国語音声用日本語文字列表示方法の全部または一部のステップ（または工程、動作および作用など）の動作をコンピューターに実行させるためのプログラムであって、コンピューターと協働して動作するプログラムである。

また、本発明の記録媒体は、上述された本発明の外国語音声用日本語文字列表示方法の全部または一部のステップ（または工程、動作および作用など）の全部または一部の動作をコンピューターに実行させるためのプログラムを記録した記録媒体であり、読取られたプログラムがコンピューターと協働して利用されるコンピューター読取り可能な記録媒体である。

なお、上述された「一部のステップ（または工程、動作および作用など）」は、それらの複数のステップの内の一つまたはいくつかのステップを意味する。

また、上述された「ステップ（または工程、動作および作用など）の動作」は、上述されたステップの全部または一部の動作を意味する。

また、本発明のプログラムの一利用形態は、インターネット、光、電波または音波などのような伝送媒体の中を伝送され、コンピューターにより読取られ、コンピューターと協働して動作するという形態であってもよい。

また、記録媒体としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などが含まれる。

また、コンピューターは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのような純然たるハードウェアに限らず、ファームウェア、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、そしてさらに周辺機器を含んでもよい。

なお、上述されたように、本発明の構成は、ソフトウェア的に実現されてもよいし、ハードウェア的に実現されてもよい。

１ 外国語音声用日本語文字列表示装置
２ ＣＰＵ（制御部）
３ 主記憶部
４ 英語発声文記憶部
５ 英文音声記憶部
６ クラスタ情報DB
７ 入力部
８ 音声入力部
１１ 表示出力部
１２ プリンタ部
１３ 表示媒体部
１４ 音声出力部
３１ 制御プログラム
４１ 英語発声文
５１ 英文音声
６１ 発声部位情報
６２ クラスタ音声
６３ クラスタ英文
６４ クラスタ発音カナ列
６５ クラスタ発音和訳列
６６ クラスタ発音注釈文
３１１ 音声強弱測定プログラム
３１２ 音声認識プログラム
３１３ 英語カナ変換プログラム
３１４ リズム感付加プログラム
３１５ 調音カナ修正プログラム
３１６ 単語逐次変換プログラム３１６
３１７ 表示・印刷プログラム３１７

Claims (11)

1. 出力される外国語音声データに対応する日本語文字列を表示する外国語音声用日本語文字列表示装置であって、
   表示される前記日本語文字列は、
   前記外国語音声データが出力される順番に表示される、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
   前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示装置。
2. 前記日本語文字列は、前記外国語音声データの発音を表すカタカナを並べた第１の日本語文字列、および前記外国語音声クラスタ毎に前から順番に前記外国語音声データの意味を表す和訳単語を並べた第２の日本語文字列、の内の少なくとも一方を含むことを特徴とする請求項１記載の外国語音声用日本語文字列表示装置。
3. 前記第１の日本語文字列、前記第２の日本語文字列、および出力される前記外国語音声データに対応する外国語文字列、の内の少なくとも一つの表示において、前記外国語音声データの発声部位を示す記号を利用することを特徴とする請求項２記載の外国語音声用日本語文字列表示装置。
4. 前記第１の日本語文字列、および出力される前記外国語音声データに対応する外国語文字列、の内の少なくとも一つの表示において、外国語音韻と異なる日本語音韻の違いを表すために色別の文字を利用することを特徴とする請求項２記載の外国語音声用日本語文字列表示装置。
5. 前記日本語文字列は、前記第１の日本語文字列、および前記第２の日本語文字列の両方を含み、
   前記第１の日本語文字列と、前記第２の日本語文字列と、出力される前記外国語音声データに対応する外国語文字列と、を上下に並べて表示することを特徴とする請求項２記載の外国語音声用日本語文字列表示装置。
6. 前記日本語文字列は、前記第１の日本語文字列、および前記第２の日本語文字列の両方を含み、
   始めに、前記外国語音声データの音声出力と同時に前記第２の日本語文字列を表示し、次に、前記外国語音声データの音声出力と同時に前記第１の日本語文字列を表示し、次に、前記外国語音声データの音声出力なしに、又は前記外国語音声データの音声出力と同時に、前記第１の日本語文字列、および出力される前記外国語音声データに対応する外国語文字列、の内の少なくとも一方を表示することを特徴とする請求項２記載の外国語音声用日本語文字列表示装置。
7. 出力される外国語音声データに対応する日本語文字列を端末装置に表示する外国語音声用日本語文字列表示システムであって、
   表示される前記日本語文字列は、
   前記外国語音声データが出力される順番に表示される、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
   前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示システム。
8. 出力される外国語音声データに対応する日本語文字列を生成し、生成した前記日本語文字列を表示する外国語音声用日本語文字列表示方法であって、
   表示される前記日本語文字列は、
   前記外国語音声データが出力される順番に表示される、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
   前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示方法。
9. 請求項８記載の外国語音声用日本語文字列表示方法の、出力される外国語音声データに対応する日本語文字列を生成するステップと、生成した前記日本語文字列を表示するステップと、をコンピュータに実行させるためのプログラム。
10. 請求項９記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
11. 出力される外国語音声データに対応する日本語文字列が表示された外国語音声用日本語文字列表示媒体であって、
    表示された前記日本語文字列は、
    前記外国語音声データが出力される順番に表示された、音の強弱に基づいて表示に違いをもたせた日本語文字列であって、
    前記外国語音声データ中で、複数の単語が連結して波形の連続した音声で発声される外国語音声クラスタに対応して、前記波形が途切れた点で分かち書きされた日本語文字列であることを特徴とする外国語音声用日本語文字列表示媒体。

Images