JP3814575B2 - 語学学習コンピュータシステム - Google Patents
語学学習コンピュータシステム Download PDFInfo
- Publication number
- JP3814575B2 JP3814575B2 JP2002343591A JP2002343591A JP3814575B2 JP 3814575 B2 JP3814575 B2 JP 3814575B2 JP 2002343591 A JP2002343591 A JP 2002343591A JP 2002343591 A JP2002343591 A JP 2002343591A JP 3814575 B2 JP3814575 B2 JP 3814575B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- character
- action
- motion
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 claims description 16
- 241001465754 Metazoa Species 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims 1
- 230000003278 mimic effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
【０００１】
【発明の技術分野】
この発明は、語学の学習に有用なコンピュータシステムに関する。
【０００２】
【従来の技術】
従来、外国語の学習にあたっては、多数の学習者に１人の教師が当たる学習環境が普通であり、学習者は各自の習得段階に合せた学習進度をとることができなかった。さらに、外国語による表現の意味を理解するためには、母国語による説明を介在させなければならず、直接外国語を理解し、記憶することができなかった。
【０００３】
また、学習者と教師が１対１で学習する場合も見られるが、一般的にコスト高であり、後者の問題、即ち母国語を介在させなければならない問題は依然として解決されていない。
【０００４】
そこで、学習者に相当するキャラクタを学習言語の発声に応じてキーマトリクスで操作する所謂コンピュータゲームが提案されている（例えば特許文献１）。しかしながら、このようなゲームソフトでは、学習言語に全く無知な状態からその言語を習得していく過程を自然になぞるものではないので、必ずしも学習効果が充分あがるとは言えない。
【０００５】
【特許文献１】
特開２００２−２６８５３７号公報（段落００３０〜００５３、００７３〜００７６）
【０００６】
【発明の課題】
そこで、この発明の課題は、外国語学習の過程を母国語学習のような自然な段階を踏んで学習できるようにしたコンピュータシステムを提供することである。
【０００７】
【課題の解決手段】
上記の課題を解決するため、この発明においては、コンピュータディスプレイに表示されるインストラクタキャラクタと学習者キャラクタを設け、一挙動の動作に対応する動作信号とこれに対応する音声を発するように音声出力手段を駆動する音声信号とこの音声信号に対応して前記キャラクタの動作を表示させるようにディスプレイを駆動する動作画像信号とから成るテーブルをコンピュータに記憶させ、前記動作信号を指定可能とする操作入力手段と前記各信号から他の信号をサーチする手段を設け、前記操作入力手段を用いて指定された動作信号に対応する音声信号と動作画像信号を前記サーチ手段によって前記テーブルから取り出し、かつ取り出した音声信号と動作画像信号に従って発声と共にインストラクタキャラクタの動作を実行させる第１手段と、この第１手段によって実行されたインストラクタキャラクタの動作を学習者が観察し、前記操作入力手段を操作して、この操作入力手段で指定された動作信号に対応する動作画像信号を前記サーチ手段によって前記テーブルから取り出しインストラクタキャラクタの前記第１手段による動作を前記学習者キャラクタに模倣させるように実行可能とした第２手段とによって語学学習コンピュータシステムを構成したのである。さらに音声入力手段から得られた音声信号に対応する動作信号と動作画像信号を前記サーチ手段によって前記テーブルから取り出し学習者キャラクタに実行させる第３手段を付加することができる。
【０００８】
上記キャラクタは人物または動物に擬製され、前記動作はこの人物または動物の一挙動から成り、この動作の１以上の集合から成るイベントを複数設け、前記動作信号に対応する音声信号及び／又は動作画像信号を順に実行させる手段を設けることができる。また、前記第１手段と第２手段による動作画像信号を比較する手段を設けることができる。さらに、前記第３手段は音声入力手段から得られた音声信号が前記テーブルにあるかないかを判定する手段を含むのが好ましい。
【０００９】
前記音声出力手段は、スピーカから動作に対応する１以上の単語を出力できる手段であればよく、音声合成装置をコンピュータで駆動したり、音声レコーダをコンピュータで駆動して発声させるなどの方法を採用することができる。
【００１０】
前記操作入力手段は、キーボード、マウス、トラックボール、ジョイスティック、専用キースイッチなどの操作入力装置からコンピュータに、動作に対応する信号を入力可能なものであればよい。
【００１１】
前記音声入力手段は、マイクロフォンから入力した音声を解析して単語を分別し、この信号をコンピュータに入力できるものから成る。
【００１２】
【実施の形態】
以下、この発明の実施形態を添付図面に基づいて説明する。図１は、この発明の語学学習コンピュータシステムに用いるハードウェアの一例を示す。図示のように、ＣＰＵ１には、ＣＲＴやＬＣＤ等から成るディスプレイ２が接続され、様々な動作画像や静止画像がＣＰＵ１からの駆動信号で表示可能になっており、またこの画像の表示や動作、音声などを制御するプログラムやデータを収納した着脱可能な外部記憶装置３、後述するキャラクタの動作指示信号を入力するためのキーボードやマウス、トラックボール、トラックボードまたはトラックパッド、ジョイスティック、専用操作キースイッチなどから成る操作入力装置４、音声出力用スピーカ５、音声入力用マイクロフォン６などが接続され、またプログラムや一時データ、パラメータなどを記憶するＲＡＭやＲＯＭから成る内部記憶装置７も勿論備えられている。これら以外にも必要に応じて種々の入出力機器を備えることができる。勿論これらの入出力機器とＣＰＵ１との間に、駆動装置、Ａ／Ｄ変換器、音声合成装置その他のインターフェイスを配置することは言うまでもない。このようなＣＰＵ１及び周辺機器は、パーソナルコンピュータで構成してもよく、或は専用の所謂ホームゲーム機で構成してもよい。
【００１３】
前記外部記憶装置３には、図２に示すように、語学学習プログラム３１が収納されている。このプログラムは、後述するステップに従って語学を習得できるように学習者を導くプロセスから成る。このプログラム３１に加えて、音声解析プログラム３２、イベントデータ３３、進捗状況データ３４が収納されている。音声解析プログラム３２は、マイクロフォン６から入力されデジタル化された音声信号に対応する言葉を特定するプログラムである。イベントデータ３３は後述する。進捗状況データ３４は、学習者の語学学習進度を記録し保存しておくメモリ領域であって、後述する評価（点数や評価レベルなど）を記録しておくこともできる。
【００１４】
次にイベントデータ３３について説明する。まず「イベント」とは、この発明においてテニス、家事、ドライブなどの一以上の動作の集合をいう。さらに「動作」とは「歩く」、「走る」、「跳び上る」、「腕を上げる」、「坐る」、「立ち上る」などの身体の単一性をもった挙動（一挙動）をいう。図３は、このようなイベントを、好ましくは単純なものから複雑なものへ例えば挙動の少ないものから多いものへと配列したテーブルを示し、イベントデータ３３は、このようなテーブル形式で配列されたデータを指している。そして、図３の「イベント」欄には、各イベントの名称が例えば単数又は複数のアイコンで象徴的に列挙されている（勿論、Ｘ、Ｙ、Ｚのような記号や番号でもよい）。「動作」欄には、各「イベント」を構成する一連の「動作」が開始から終了まで順に記載されている。例えば「歩く」が「１」、「走る」が「２」、「跳び上る」が「３」に対応し、イベントＡが「歩いて走り跳び上る」動作で構成されているとすれば、「動作」欄には１→２→３が記載される。「音声」欄には、「歩く」に対応する音声信号ａ、「走る」に対応する音声信号ｂ、「跳び上る」に対応する音声信号ｃが順に記載され、この音声信号によってスピーカ５を駆動できるようになっており、「画像」欄にも同様に動作画像信号が順にＡ→Ｂ→Ｃのように記載され、ディスプレイ２を駆動して画像に表示できるようになっている。また、「操作」欄にも同様に操作入力装置４の対応するキー操作信号が例えば１→２→３と順に記載されている。従って、このテーブルから例えばキー操作の「３」がどのような動作、音声、画像に対応するかサーチ可能になっている。動作、音声、画像欄からも他の欄を同様にサーチ可能である。なお、「画像」欄には、動作画像以外にも、背景などの画像信号を挙げておくことができる。
【００１５】
この発明の学習システムでは、学習段階を３つのステージに分けて学習効果を高めるようにしている。まずステージ１は、模倣ステージであって学習者が後述するインストラクタの動作を模倣する過程である。ステージ２は、音声に対応する動作を学習者が復習する過程である。ステージ３は、学習者自身が音声を発し、それに対応する動作が行われるかどうかを実行する過程である。
【００１６】
上記のような過程に従うプログラムのプロセスを説明する。図４に示すように、ステップＳ1-1 でステージの選択を行う。ステージ１を選択すれば、ステップＳ1-2 でイベントの確認及び選択を行う。勿論任意のイベントを選択可能にしてあるが、今までの学習進捗状況や評価点などが保存されているので、これを画面に順次表示し、学習者が希望するイベントを選択する。そこで該当するイベントを図３のテーブルから検索して、そのデータを全て読み込む（ステップＳ1-3 ）。そしてステップＳ1-4 でディスプレイ２にデータの最初の画像表示を行う。ここで、図７に示すように、インストラクタ１０と学習者２０の２つのキャラクタが表示される（音声表示はない）。勿論、背景などを表示してもよい。次のステップＳ1-5 で、「音声」欄の最初の音声をスピーカ５から発する（図７（イ）参照）。この音声に対応する「画像」欄の動作画像信号がディスプレイ２に表示される。この画像は、図７（ロ）のように、インストラクタキャラクタ１０の動作を表示する。勿論同時に音声を発してもよい。オペレータとしての語学学習者は、音声を聴き、動作を観察する。
【００１７】
インストラクタキャラクタ１０の動作が終わると（終了を音声や画面表示で知らせてもよい）、ステップＳ1-6 でオペレータは、操作入力装置４を用いて学習キャラクタ２０を前記インストラクタキャラクタ１０の動作通りに動かす。例えばキーボードで数字「１」を押す。これによって学習者キャラクタ２０が何らかの動作を行う。このとき、同時にスピーカ５から音声と共にディスプレイ２でインストラクタ１０の動作を表示してもよい（図７（ハ）参照）。そしてステップＳ1-7 で、学習者キャラクタ２０の動作の評価を行う。例えばオペレータが数字「１」を押したとき、この入力信号とテーブルから読み込まれた「操作」欄に挙げられた信号を比較する。評価結果に対して適当なしきい値を用いて合格、不合格を判定してもよく、不合格の場合は必要に応じてステップＳ1-8 で音声・動作の出力をスローダウンするようにセットし、ステップＳ1-9 で自動的に先程行った動作を指定してステップＳ1-5 に戻り、ステップＳ1-5 からＳ1-7 を繰り返す。ここで評価が悪くても、次のステップＳ1-10に進むようオペレータが選択可能にしておくことができる。
【００１８】
ステップＳ1-10では、ステップＳ1-2 で選択したイベントが終了したかどうかを判定し、終了していなければステップＳ1-11でオペレータが次の動作を選択可能にしておき、次の動作に進む場合は、自動的に次の動作を指定してステップＳ1-5 に戻り、学習を終了したければステップＳ1-14に進む。イベントが終了しておればステップＳ1-12で次のイベントに進むかどうかをオペレータが選択できるようにしておき、次のイベントへ進む場合はステップＳ1-13で自動的に次のイベントを指定してステップＳ1-3 に戻る。次のイベントを選択しない場合は、ステップＳ1-14で外部記憶装置３の進捗状況データ３４の領域にどのイベントのどの動作まで学習が終了したかを示す進捗状況及び各動作の評価点、各イベントの合計評価点、総合評価点などを保存しておく。なお、適当なステップ、例えばステップＳ1-14での指示によって、複数の動作を連続して行わせることができる。
【００１９】
次にステージ２の復習ステージを選択した場合には、図５のステップＳ2-1 →Ｓ2-2 →Ｓ2-3 に進む。これらのステップはステージ１のステップＳ1-1 →Ｓ1-2 →Ｓ1-3 と全く同様である。ステップＳ2-4 は、図８（イ）に示すように、学習者キャラクタ２０を表示する（図中の文字は表示しない）。そしてステップＳ2-5 で選択したイベントの「音声」欄の最初の動作指示音声がスピーカ５から発せられる。例えば図８（イ）の文言で示される音声である。オペレータ（学習者）は、その音声を聴いて、ステップＳ2-6 で操作入力装置４を操作し、学習者キャラクタ２０に音声に対応する動作を行わせる。この動作についてステップＳ2-7 で評価を行う。この評価はテーブル中の「音声」欄に対応する「操作」欄の信号と操作入力信号を比較して行われる。評価が低いときは、ステップＳ2-8 で音声をスローダウンするようセットし、先に発した音声を指定して（ステップＳ2-9 ）ステップＳ2-5 に戻る。勿論、評価が良くても悪くても次のステップＳ2-10に進むよう選択可能にしておくことができる。
【００２０】
ステップＳ2-10では、選択したイベントが終了したかどうかを判定し、終了していなければステップＳ2-11で次の動作を選択するかどうかを画面表示によってオペレータに判定させる。次の動作を選択するときは、次の動作を自動的に指定してステップＳ2-5 に戻る。次の動作を指定せず学習を終了したいときは、ステップＳ2-14に進む。
【００２１】
イベントが終了しているときは、ステップＳ2-14で次のイベントを選択するかどうかを画面表示によってオペレータ（学習者）に判定させる。次のイベントに進むときは、ステップＳ2-13で自動的に次のイベントを指定してステップＳ2-3 に戻る。次のイベントに進まないときは、ステップＳ2-14で学習を終了したイベントや動作の位置や評価点などを進捗状況データ３４に保存しておく。
【００２２】
第３のステージは実行ステージであって、今まで学習した言語を実際に使用してみる学習段階である。このプロセスを図６に示す。図示のステップＳ3-1 →Ｓ3-2 →Ｓ3-3 は、ステージ１、ステージ２の最初の３ステップと実質的に同じプロセスである。次のステップＳ3-4 では、イベントデータの「画像」欄から取り出した画像信号によって、例えば図９（イ）に示すような表示を行う。そして、ステップＳ3-5 でオペレータ（学習者）は、マイクロフォン６に向かって音声入力を行う。例えば図の文字に示される言葉を発声する。次のステップＳ3-6 でＣＰＵ１は、音声解析プログラム３２を用いて、この音声入力を所定のデジタル信号に変換し、イベントデータの「動作」欄の順に対応する「音声」欄の信号と比較して実質的に合致すれば、ステップＳ3-7 で対応する「画像」欄の動作画像を図９（ロ）のようにディスプレイ２に表示する。実質的に合致するものがなければ、その旨画像表示して（ステップＳ3-8 ）、マイナス評価を行い（ステップＳ3-9 ）ステップＳ3-5 に戻る。
【００２３】
ステップＳ3-7 で動作表示後は、前記ステップＳ3-9 の評価を勘案しながらステップＳ3-10で音声評価を行う。例えば１回で正しい発声を行っていれば最高点、２回目で正しい発声を行っていれば次点などである。そしてイベントが終了したかどうかをステップＳ3-11で判定し、終了していなければ、ステップＳ3-12で次の発声を行うかどうかをオペレータに選択させる表示をし、発声を行う場合はステップＳ3-5 に戻る。学習を終了する場合はステップＳ3-15に進む。
【００２４】
選択したイベントが終了した場合は、ステップＳ3-13に進み、次のイベントの選択可否を表示してオペレータに指示させ、次のイベントに進む場合は、自動的に次のイベントを指定して（ステップＳ3-14）ステップＳ3-3 に戻る。次のイベントに進まず学習を終了する場合は、ステップＳ3-15で進捗状況や評価点などを進捗状況データ３４の領域に保存する。
【００２５】
以上のステージ２、３において、適当なステップ、例えばステップＳ2-4 、Ｓ3-4 で複数の動作を連続して行うようにオペレータが指定することができる。また、イベントの選択は任意であり、必ずしも順番に選択する必要はない。そして、各ステージにおける進捗状況も一致させる必要はない。そのほか、キャラクタは人物だけでなく、動物や昆虫、架空の物体などとすることができる。
【００２６】
いうまでもなく、この発明の語学学習システムは、言語を問わず適用可能である。
【００２７】
【効果】
この発明によれば、以上のように、インストラクタキャラクタと学習者キャラクタを用い、当初は発声に応じたインストラクタの動作を学習者キャラクタが模倣するステージと、発声だけで学習者キャラクタを動作させる復習ステージと、実際に学習者自身が発声して学習者キャラクタを動作させる実行ステージの段階的学習ステージを設けたので、母国語を学習する過程のように自然に外国語を習得することができ、学習期間を短くして効率的な語学学習に役立てることができる。
【図面の簡単な説明】
【図１】この発明の語学学習コンピュータシステムに用いるハードウェアの一例を示す概略ブロック図
【図２】外部記憶装置のメモリ領域を示す概略図
【図３】イベントデータの内容を示すテーブル
【図４】ステージ１のプロセスを示すフローチャート
【図５】ステージ２のプロセスを示すフローチャート
【図６】ステージ３のプロセスを示すフローチャート
【図７】ステージ１の表示例を示す図
【図８】ステージ２の表示例を示す図
【図９】ステージ３の表示例を示す図
【符号の説明】
１ ＣＰＵ
２ ディスプレイ
３ 外部記憶装置
４ 操作入力装置
５ スピーカ
６ マイクロフォン
７ 内部記憶装置
１０ インストラクタキャラクタ
２０ 学習者キャラクタ
３１ 語学学習プログラム
３２ 音声解析プログラム
３３ イベントデータ
３４ 進捗状況データ
Ｓ1-1 〜Ｓ1-14 ステージ１の処理ステップ
Ｓ2-1 〜Ｓ2-14 ステージ２の処理ステップ
Ｓ3-1 〜Ｓ3-15 ステージ３の処理ステップ
【発明の技術分野】
この発明は、語学の学習に有用なコンピュータシステムに関する。
【０００２】
【従来の技術】
従来、外国語の学習にあたっては、多数の学習者に１人の教師が当たる学習環境が普通であり、学習者は各自の習得段階に合せた学習進度をとることができなかった。さらに、外国語による表現の意味を理解するためには、母国語による説明を介在させなければならず、直接外国語を理解し、記憶することができなかった。
【０００３】
また、学習者と教師が１対１で学習する場合も見られるが、一般的にコスト高であり、後者の問題、即ち母国語を介在させなければならない問題は依然として解決されていない。
【０００４】
そこで、学習者に相当するキャラクタを学習言語の発声に応じてキーマトリクスで操作する所謂コンピュータゲームが提案されている（例えば特許文献１）。しかしながら、このようなゲームソフトでは、学習言語に全く無知な状態からその言語を習得していく過程を自然になぞるものではないので、必ずしも学習効果が充分あがるとは言えない。
【０００５】
【特許文献１】
特開２００２−２６８５３７号公報（段落００３０〜００５３、００７３〜００７６）
【０００６】
【発明の課題】
そこで、この発明の課題は、外国語学習の過程を母国語学習のような自然な段階を踏んで学習できるようにしたコンピュータシステムを提供することである。
【０００７】
【課題の解決手段】
上記の課題を解決するため、この発明においては、コンピュータディスプレイに表示されるインストラクタキャラクタと学習者キャラクタを設け、一挙動の動作に対応する動作信号とこれに対応する音声を発するように音声出力手段を駆動する音声信号とこの音声信号に対応して前記キャラクタの動作を表示させるようにディスプレイを駆動する動作画像信号とから成るテーブルをコンピュータに記憶させ、前記動作信号を指定可能とする操作入力手段と前記各信号から他の信号をサーチする手段を設け、前記操作入力手段を用いて指定された動作信号に対応する音声信号と動作画像信号を前記サーチ手段によって前記テーブルから取り出し、かつ取り出した音声信号と動作画像信号に従って発声と共にインストラクタキャラクタの動作を実行させる第１手段と、この第１手段によって実行されたインストラクタキャラクタの動作を学習者が観察し、前記操作入力手段を操作して、この操作入力手段で指定された動作信号に対応する動作画像信号を前記サーチ手段によって前記テーブルから取り出しインストラクタキャラクタの前記第１手段による動作を前記学習者キャラクタに模倣させるように実行可能とした第２手段とによって語学学習コンピュータシステムを構成したのである。さらに音声入力手段から得られた音声信号に対応する動作信号と動作画像信号を前記サーチ手段によって前記テーブルから取り出し学習者キャラクタに実行させる第３手段を付加することができる。
【０００８】
上記キャラクタは人物または動物に擬製され、前記動作はこの人物または動物の一挙動から成り、この動作の１以上の集合から成るイベントを複数設け、前記動作信号に対応する音声信号及び／又は動作画像信号を順に実行させる手段を設けることができる。また、前記第１手段と第２手段による動作画像信号を比較する手段を設けることができる。さらに、前記第３手段は音声入力手段から得られた音声信号が前記テーブルにあるかないかを判定する手段を含むのが好ましい。
【０００９】
前記音声出力手段は、スピーカから動作に対応する１以上の単語を出力できる手段であればよく、音声合成装置をコンピュータで駆動したり、音声レコーダをコンピュータで駆動して発声させるなどの方法を採用することができる。
【００１０】
前記操作入力手段は、キーボード、マウス、トラックボール、ジョイスティック、専用キースイッチなどの操作入力装置からコンピュータに、動作に対応する信号を入力可能なものであればよい。
【００１１】
前記音声入力手段は、マイクロフォンから入力した音声を解析して単語を分別し、この信号をコンピュータに入力できるものから成る。
【００１２】
【実施の形態】
以下、この発明の実施形態を添付図面に基づいて説明する。図１は、この発明の語学学習コンピュータシステムに用いるハードウェアの一例を示す。図示のように、ＣＰＵ１には、ＣＲＴやＬＣＤ等から成るディスプレイ２が接続され、様々な動作画像や静止画像がＣＰＵ１からの駆動信号で表示可能になっており、またこの画像の表示や動作、音声などを制御するプログラムやデータを収納した着脱可能な外部記憶装置３、後述するキャラクタの動作指示信号を入力するためのキーボードやマウス、トラックボール、トラックボードまたはトラックパッド、ジョイスティック、専用操作キースイッチなどから成る操作入力装置４、音声出力用スピーカ５、音声入力用マイクロフォン６などが接続され、またプログラムや一時データ、パラメータなどを記憶するＲＡＭやＲＯＭから成る内部記憶装置７も勿論備えられている。これら以外にも必要に応じて種々の入出力機器を備えることができる。勿論これらの入出力機器とＣＰＵ１との間に、駆動装置、Ａ／Ｄ変換器、音声合成装置その他のインターフェイスを配置することは言うまでもない。このようなＣＰＵ１及び周辺機器は、パーソナルコンピュータで構成してもよく、或は専用の所謂ホームゲーム機で構成してもよい。
【００１３】
前記外部記憶装置３には、図２に示すように、語学学習プログラム３１が収納されている。このプログラムは、後述するステップに従って語学を習得できるように学習者を導くプロセスから成る。このプログラム３１に加えて、音声解析プログラム３２、イベントデータ３３、進捗状況データ３４が収納されている。音声解析プログラム３２は、マイクロフォン６から入力されデジタル化された音声信号に対応する言葉を特定するプログラムである。イベントデータ３３は後述する。進捗状況データ３４は、学習者の語学学習進度を記録し保存しておくメモリ領域であって、後述する評価（点数や評価レベルなど）を記録しておくこともできる。
【００１４】
次にイベントデータ３３について説明する。まず「イベント」とは、この発明においてテニス、家事、ドライブなどの一以上の動作の集合をいう。さらに「動作」とは「歩く」、「走る」、「跳び上る」、「腕を上げる」、「坐る」、「立ち上る」などの身体の単一性をもった挙動（一挙動）をいう。図３は、このようなイベントを、好ましくは単純なものから複雑なものへ例えば挙動の少ないものから多いものへと配列したテーブルを示し、イベントデータ３３は、このようなテーブル形式で配列されたデータを指している。そして、図３の「イベント」欄には、各イベントの名称が例えば単数又は複数のアイコンで象徴的に列挙されている（勿論、Ｘ、Ｙ、Ｚのような記号や番号でもよい）。「動作」欄には、各「イベント」を構成する一連の「動作」が開始から終了まで順に記載されている。例えば「歩く」が「１」、「走る」が「２」、「跳び上る」が「３」に対応し、イベントＡが「歩いて走り跳び上る」動作で構成されているとすれば、「動作」欄には１→２→３が記載される。「音声」欄には、「歩く」に対応する音声信号ａ、「走る」に対応する音声信号ｂ、「跳び上る」に対応する音声信号ｃが順に記載され、この音声信号によってスピーカ５を駆動できるようになっており、「画像」欄にも同様に動作画像信号が順にＡ→Ｂ→Ｃのように記載され、ディスプレイ２を駆動して画像に表示できるようになっている。また、「操作」欄にも同様に操作入力装置４の対応するキー操作信号が例えば１→２→３と順に記載されている。従って、このテーブルから例えばキー操作の「３」がどのような動作、音声、画像に対応するかサーチ可能になっている。動作、音声、画像欄からも他の欄を同様にサーチ可能である。なお、「画像」欄には、動作画像以外にも、背景などの画像信号を挙げておくことができる。
【００１５】
この発明の学習システムでは、学習段階を３つのステージに分けて学習効果を高めるようにしている。まずステージ１は、模倣ステージであって学習者が後述するインストラクタの動作を模倣する過程である。ステージ２は、音声に対応する動作を学習者が復習する過程である。ステージ３は、学習者自身が音声を発し、それに対応する動作が行われるかどうかを実行する過程である。
【００１６】
上記のような過程に従うプログラムのプロセスを説明する。図４に示すように、ステップＳ1-1 でステージの選択を行う。ステージ１を選択すれば、ステップＳ1-2 でイベントの確認及び選択を行う。勿論任意のイベントを選択可能にしてあるが、今までの学習進捗状況や評価点などが保存されているので、これを画面に順次表示し、学習者が希望するイベントを選択する。そこで該当するイベントを図３のテーブルから検索して、そのデータを全て読み込む（ステップＳ1-3 ）。そしてステップＳ1-4 でディスプレイ２にデータの最初の画像表示を行う。ここで、図７に示すように、インストラクタ１０と学習者２０の２つのキャラクタが表示される（音声表示はない）。勿論、背景などを表示してもよい。次のステップＳ1-5 で、「音声」欄の最初の音声をスピーカ５から発する（図７（イ）参照）。この音声に対応する「画像」欄の動作画像信号がディスプレイ２に表示される。この画像は、図７（ロ）のように、インストラクタキャラクタ１０の動作を表示する。勿論同時に音声を発してもよい。オペレータとしての語学学習者は、音声を聴き、動作を観察する。
【００１７】
インストラクタキャラクタ１０の動作が終わると（終了を音声や画面表示で知らせてもよい）、ステップＳ1-6 でオペレータは、操作入力装置４を用いて学習キャラクタ２０を前記インストラクタキャラクタ１０の動作通りに動かす。例えばキーボードで数字「１」を押す。これによって学習者キャラクタ２０が何らかの動作を行う。このとき、同時にスピーカ５から音声と共にディスプレイ２でインストラクタ１０の動作を表示してもよい（図７（ハ）参照）。そしてステップＳ1-7 で、学習者キャラクタ２０の動作の評価を行う。例えばオペレータが数字「１」を押したとき、この入力信号とテーブルから読み込まれた「操作」欄に挙げられた信号を比較する。評価結果に対して適当なしきい値を用いて合格、不合格を判定してもよく、不合格の場合は必要に応じてステップＳ1-8 で音声・動作の出力をスローダウンするようにセットし、ステップＳ1-9 で自動的に先程行った動作を指定してステップＳ1-5 に戻り、ステップＳ1-5 からＳ1-7 を繰り返す。ここで評価が悪くても、次のステップＳ1-10に進むようオペレータが選択可能にしておくことができる。
【００１８】
ステップＳ1-10では、ステップＳ1-2 で選択したイベントが終了したかどうかを判定し、終了していなければステップＳ1-11でオペレータが次の動作を選択可能にしておき、次の動作に進む場合は、自動的に次の動作を指定してステップＳ1-5 に戻り、学習を終了したければステップＳ1-14に進む。イベントが終了しておればステップＳ1-12で次のイベントに進むかどうかをオペレータが選択できるようにしておき、次のイベントへ進む場合はステップＳ1-13で自動的に次のイベントを指定してステップＳ1-3 に戻る。次のイベントを選択しない場合は、ステップＳ1-14で外部記憶装置３の進捗状況データ３４の領域にどのイベントのどの動作まで学習が終了したかを示す進捗状況及び各動作の評価点、各イベントの合計評価点、総合評価点などを保存しておく。なお、適当なステップ、例えばステップＳ1-14での指示によって、複数の動作を連続して行わせることができる。
【００１９】
次にステージ２の復習ステージを選択した場合には、図５のステップＳ2-1 →Ｓ2-2 →Ｓ2-3 に進む。これらのステップはステージ１のステップＳ1-1 →Ｓ1-2 →Ｓ1-3 と全く同様である。ステップＳ2-4 は、図８（イ）に示すように、学習者キャラクタ２０を表示する（図中の文字は表示しない）。そしてステップＳ2-5 で選択したイベントの「音声」欄の最初の動作指示音声がスピーカ５から発せられる。例えば図８（イ）の文言で示される音声である。オペレータ（学習者）は、その音声を聴いて、ステップＳ2-6 で操作入力装置４を操作し、学習者キャラクタ２０に音声に対応する動作を行わせる。この動作についてステップＳ2-7 で評価を行う。この評価はテーブル中の「音声」欄に対応する「操作」欄の信号と操作入力信号を比較して行われる。評価が低いときは、ステップＳ2-8 で音声をスローダウンするようセットし、先に発した音声を指定して（ステップＳ2-9 ）ステップＳ2-5 に戻る。勿論、評価が良くても悪くても次のステップＳ2-10に進むよう選択可能にしておくことができる。
【００２０】
ステップＳ2-10では、選択したイベントが終了したかどうかを判定し、終了していなければステップＳ2-11で次の動作を選択するかどうかを画面表示によってオペレータに判定させる。次の動作を選択するときは、次の動作を自動的に指定してステップＳ2-5 に戻る。次の動作を指定せず学習を終了したいときは、ステップＳ2-14に進む。
【００２１】
イベントが終了しているときは、ステップＳ2-14で次のイベントを選択するかどうかを画面表示によってオペレータ（学習者）に判定させる。次のイベントに進むときは、ステップＳ2-13で自動的に次のイベントを指定してステップＳ2-3 に戻る。次のイベントに進まないときは、ステップＳ2-14で学習を終了したイベントや動作の位置や評価点などを進捗状況データ３４に保存しておく。
【００２２】
第３のステージは実行ステージであって、今まで学習した言語を実際に使用してみる学習段階である。このプロセスを図６に示す。図示のステップＳ3-1 →Ｓ3-2 →Ｓ3-3 は、ステージ１、ステージ２の最初の３ステップと実質的に同じプロセスである。次のステップＳ3-4 では、イベントデータの「画像」欄から取り出した画像信号によって、例えば図９（イ）に示すような表示を行う。そして、ステップＳ3-5 でオペレータ（学習者）は、マイクロフォン６に向かって音声入力を行う。例えば図の文字に示される言葉を発声する。次のステップＳ3-6 でＣＰＵ１は、音声解析プログラム３２を用いて、この音声入力を所定のデジタル信号に変換し、イベントデータの「動作」欄の順に対応する「音声」欄の信号と比較して実質的に合致すれば、ステップＳ3-7 で対応する「画像」欄の動作画像を図９（ロ）のようにディスプレイ２に表示する。実質的に合致するものがなければ、その旨画像表示して（ステップＳ3-8 ）、マイナス評価を行い（ステップＳ3-9 ）ステップＳ3-5 に戻る。
【００２３】
ステップＳ3-7 で動作表示後は、前記ステップＳ3-9 の評価を勘案しながらステップＳ3-10で音声評価を行う。例えば１回で正しい発声を行っていれば最高点、２回目で正しい発声を行っていれば次点などである。そしてイベントが終了したかどうかをステップＳ3-11で判定し、終了していなければ、ステップＳ3-12で次の発声を行うかどうかをオペレータに選択させる表示をし、発声を行う場合はステップＳ3-5 に戻る。学習を終了する場合はステップＳ3-15に進む。
【００２４】
選択したイベントが終了した場合は、ステップＳ3-13に進み、次のイベントの選択可否を表示してオペレータに指示させ、次のイベントに進む場合は、自動的に次のイベントを指定して（ステップＳ3-14）ステップＳ3-3 に戻る。次のイベントに進まず学習を終了する場合は、ステップＳ3-15で進捗状況や評価点などを進捗状況データ３４の領域に保存する。
【００２５】
以上のステージ２、３において、適当なステップ、例えばステップＳ2-4 、Ｓ3-4 で複数の動作を連続して行うようにオペレータが指定することができる。また、イベントの選択は任意であり、必ずしも順番に選択する必要はない。そして、各ステージにおける進捗状況も一致させる必要はない。そのほか、キャラクタは人物だけでなく、動物や昆虫、架空の物体などとすることができる。
【００２６】
いうまでもなく、この発明の語学学習システムは、言語を問わず適用可能である。
【００２７】
【効果】
この発明によれば、以上のように、インストラクタキャラクタと学習者キャラクタを用い、当初は発声に応じたインストラクタの動作を学習者キャラクタが模倣するステージと、発声だけで学習者キャラクタを動作させる復習ステージと、実際に学習者自身が発声して学習者キャラクタを動作させる実行ステージの段階的学習ステージを設けたので、母国語を学習する過程のように自然に外国語を習得することができ、学習期間を短くして効率的な語学学習に役立てることができる。
【図面の簡単な説明】
【図１】この発明の語学学習コンピュータシステムに用いるハードウェアの一例を示す概略ブロック図
【図２】外部記憶装置のメモリ領域を示す概略図
【図３】イベントデータの内容を示すテーブル
【図４】ステージ１のプロセスを示すフローチャート
【図５】ステージ２のプロセスを示すフローチャート
【図６】ステージ３のプロセスを示すフローチャート
【図７】ステージ１の表示例を示す図
【図８】ステージ２の表示例を示す図
【図９】ステージ３の表示例を示す図
【符号の説明】
１ ＣＰＵ
２ ディスプレイ
３ 外部記憶装置
４ 操作入力装置
５ スピーカ
６ マイクロフォン
７ 内部記憶装置
１０ インストラクタキャラクタ
２０ 学習者キャラクタ
３１ 語学学習プログラム
３２ 音声解析プログラム
３３ イベントデータ
３４ 進捗状況データ
Ｓ1-1 〜Ｓ1-14 ステージ１の処理ステップ
Ｓ2-1 〜Ｓ2-14 ステージ２の処理ステップ
Ｓ3-1 〜Ｓ3-15 ステージ３の処理ステップ
Claims (6)
- コンピュータディスプレイに表示されるインストラクタキャラクタと学習者キャラクタを設け、一挙動の動作に対応する動作信号とこれに対応する音声を発するように音声出力手段を駆動する音声信号とこの音声信号に対応して前記キャラクタの動作を表示させるようにディスプレイを駆動する動作画像信号とから成るテーブルをコンピュータに記憶させ、前記動作信号を指定可能とする操作入力手段と前記各信号から他の信号をサーチする手段を設け、前記操作入力手段を用いて指定された動作信号に対応する音声信号と動作画像信号を前記サーチ手段によって前記テーブルから取り出し、かつ取り出した音声信号と動作画像信号に従って発声と共にインストラクタキャラクタの動作を実行させる第１手段と、この第１手段によって実行されたインストラクタキャラクタの動作を学習者が観察し、前記操作入力手段を操作して、この操作入力手段で指定された動作信号に対応する動作画像信号を前記サーチ手段によって前記テーブルから取り出しインストラクタキャラクタの前記第１手段による動作を前記学習者キャラクタに模倣させるように実行可能とした第２手段より成る語学学習コンピュータシステム。
- コンピュータディスプレイに表示されるインストラクタキャラクタと学習者キャラクタを設け、一挙動の動作に対応する動作信号とこれに対応する音声を発するように音声出力手段を駆動する音声信号とこの音声信号に対応して前記キャラクタの動作を表示させるようにディスプレイを駆動する動作画像信号とから成るテーブルをコンピュータに記憶させ、前記動作信号を指定可能とする操作入力手段と前記各信号から他の信号をサーチする手段を設け、前記操作入力手段を用いて指定された動作信号に対応する音声信号と動作画像信号を前記テーブルから前記サーチ手段によって取り出し、かつ取り出した音声信号と動作画像信号に従って発声と共にインストラクタキャラクタの動作を実行させる第１手段と、この第１手段によって実行されたインストラクタキャラクタの動作を学習者が観察し、前記操作入力手段を操作して、この操作入力手段によって指定された動作信号に対応する動作画像信号を前記テーブルから前記サーチ手段を用いて取り出し前記インストラクタキャラクタの前記第１手段による動作を前記学習者キャラクタに模倣させるように実行可能とした第２手段と、音声入力手段から得られた音声信号に対応する動作信号と動作画像信号を前記サーチ手段によって前記テーブルから取り出し学習者キャラクタに実行させる第３手段から成る語学学習コンピュータシステム。
- 前記キャラクタは人物または動物に擬製され、前記動作はこの人物または動物の一挙動から成り、この動作の１以上の集合から成るイベントを複数設け、前記
動作信号に対応する音声信号及び動作画像信号をイベント毎に配列したテーブルを設け前記操作入力手段はこのイベントを指定可能とした請求項１または２に記載の語学学習コンピュータシステム。 - 前記第１及び第２手段は前記操作入力手段によって指定されたイベント中の動作信号に対応する音声信号及び／又は動作画像信号を順に実行させる手段を含む
請求項１〜３のいずれかに記載の語学学習コンピュータシステム。 - 前記第１手段と第２手段による動作画像信号を比較する手段を設けた請求項１〜４のいずれかに記載の語学学習コンピュータシステム。
- 前記第３手段は音声入力手段から得られた音声信号が前記テーブルにあるかないかを判定する手段を含む請求項２に記載の語学学習コンピュータシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002343591A JP3814575B2 (ja) | 2002-11-27 | 2002-11-27 | 語学学習コンピュータシステム |
| US10/846,551 US7326057B2 (en) | 2002-11-27 | 2004-05-17 | Language learning computer system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002343591A JP3814575B2 (ja) | 2002-11-27 | 2002-11-27 | 語学学習コンピュータシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004177650A JP2004177650A (ja) | 2004-06-24 |
| JP3814575B2 true JP3814575B2 (ja) | 2006-08-30 |
Family
ID=32705336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002343591A Expired - Fee Related JP3814575B2 (ja) | 2002-11-27 | 2002-11-27 | 語学学習コンピュータシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7326057B2 (ja) |
| JP (1) | JP3814575B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NZ534092A (en) * | 2004-07-12 | 2007-03-30 | Kings College Trustees | Computer generated interactive environment with characters for learning a language |
| US20060046232A1 (en) * | 2004-09-02 | 2006-03-02 | Eran Peter | Methods for acquiring language skills by mimicking natural environment learning |
| US20070015121A1 (en) * | 2005-06-02 | 2007-01-18 | University Of Southern California | Interactive Foreign Language Teaching |
| TWI288336B (en) * | 2005-10-19 | 2007-10-11 | Kuo-Ping Yang | Method and system of editing communication sheets |
| US20090004633A1 (en) * | 2007-06-29 | 2009-01-01 | Alelo, Inc. | Interactive language pronunciation teaching |
| KR100911751B1 (ko) * | 2009-01-06 | 2009-08-10 | 윤민수 | 단어학습장치 및 그 방법 |
| WO2014205810A2 (en) * | 2013-06-28 | 2014-12-31 | Chan Shu Hung | Method and system of providing picture matching game play to learn languages |
| US20220028299A1 (en) * | 2019-11-27 | 2022-01-27 | Mariano Garcia, III | Educational Puzzle Generation Software |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60195584A (ja) * | 1984-03-16 | 1985-10-04 | 富士通株式会社 | 発声訓練装置 |
| JPH05313686A (ja) * | 1992-04-02 | 1993-11-26 | Sony Corp | 表示制御装置 |
| US5697789A (en) * | 1994-11-22 | 1997-12-16 | Softrade International, Inc. | Method and system for aiding foreign language instruction |
| JP4021066B2 (ja) * | 1998-08-28 | 2007-12-12 | 三菱電機株式会社 | 運動支援装置及び運動支援プログラムが記録された記憶媒体 |
| JP3520022B2 (ja) * | 2000-01-14 | 2004-04-19 | 株式会社国際電気通信基礎技術研究所 | 外国語学習装置、外国語学習方法および媒体 |
| KR100405061B1 (ko) * | 2000-03-10 | 2003-11-10 | 문창호 | 언어 학습장치 및 그것의 언어 분석방법 |
| JP2001338077A (ja) * | 2000-05-24 | 2001-12-07 | Digital Passage:Kk | インターネットを通じた語学レッスン方法、語学レッスンシステム及び記録媒体 |
| JP2002268537A (ja) * | 2001-03-13 | 2002-09-20 | Nd Cube Kk | プログラム、記録媒体、及び学習システム |
-
2002
- 2002-11-27 JP JP2002343591A patent/JP3814575B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-17 US US10/846,551 patent/US7326057B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7326057B2 (en) | 2008-02-05 |
| JP2004177650A (ja) | 2004-06-24 |
| US20040215446A1 (en) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5393236A (en) | Interactive speech pronunciation apparatus and method | |
| US7150630B2 (en) | Method and apparatus for automated training of language learning skills | |
| US20100003659A1 (en) | Computer-implemented learning method and apparatus | |
| US20050196732A1 (en) | Method and apparatus for automated training of language learning skills | |
| JP2002503353A (ja) | 音読及び発音指導装置 | |
| KR19980032961A (ko) | 음악교습 시스템, 음악교습방법, 및 동방법을 실현하기 위한 프로그램을 기록한 기록매체 | |
| US20040215445A1 (en) | Pronunciation evaluation system | |
| US20050191603A1 (en) | Method and apparatus for automated training of language learning skills | |
| US20140134576A1 (en) | Personalized language learning using language and learner models | |
| JP2005164943A (ja) | 学習支援プログラム、学習支援方法、学習支援装置及び記録媒体 | |
| US6990476B2 (en) | Story interactive grammar teaching system and method | |
| US8684740B2 (en) | Method and apparatus for building vocabulary skills and improving accuracy and fluency in critical thinking and abstract reasoning | |
| JP3814575B2 (ja) | 語学学習コンピュータシステム | |
| JPH10187022A (ja) | 音楽教習システム、音楽教習方法、及び同方法を実現するためのプログラムを記録した記録媒体 | |
| JP2015036788A (ja) | 外国語の発音学習装置 | |
| KR101004913B1 (ko) | 음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력평가 장치 및 그 평가방법 | |
| KR100296271B1 (ko) | 상호 대화식 언어 학습시스템 | |
| JP2005250423A (ja) | 語学学習システム | |
| KR102460272B1 (ko) | 모국어 문자기반 원 사이클 온라인 외국어 학습 시스템 및 그 방법 | |
| JP2001051587A (ja) | 外国語学習装置、外国語学習方法、及び外国語学習用プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR100287227B1 (ko) | 상호 대화식 언어 학습방법 | |
| JP7118389B2 (ja) | 言語学習装置及び言語学習方法並びに言語学習用プログラム | |
| KR100296272B1 (ko) | 상호 대화식 언어 학습시스템 | |
| JP2003280509A (ja) | 学習機器、学習方法、学習プログラム、及びコンピュータを機能させるための学習プログラムを記載したコンピュータ読取り可能な記録媒体 | |
| JP2002268537A (ja) | プログラム、記録媒体、及び学習システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040402 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3814575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |