JP6308608B2

JP6308608B2 - ダイレクトメソッドにもとづく外国語会話学習システム

Info

Publication number: JP6308608B2
Application number: JP2013015545A
Authority: JP
Inventors: 博和松井
Original assignee: Mie University NUC
Current assignee: Mie University NUC
Priority date: 2013-01-30
Filing date: 2013-01-30
Publication date: 2018-04-11
Anticipated expiration: 2033-01-30
Also published as: JP2014145976A

Description

語学学習方法として、教師が生徒に対し学習言語のみを用い、生徒の母国語を一切使用しないダイレクトメソッドが知られている。本発明はこのダイレクトメソッドにおける教師役をロボットに努めさせる言語学習法であって、より詳しくは、認識機能（聴聞機能と、環境認識機能と）と、表現機能（発声機能と、動作機能と、表示機能）を有し、学習言語のみ聴聞・発声するロボットが、学習言語のみを用いて生徒の外国語能力を向上させる外国語会話学習システムに関する。

特許文献１には、多様相相互対話型の言語トレーニングシステムの技術が開示されている。これは、不慣れな語彙要素を認識し、これに応答するように学習者をトレーニングするためのシステムである。
このシステムは不慣れな語彙要素の視覚的表示を提供する表示装置と、聴覚的表示を提供する音声合成装置と、学習者の応答を示す信号を発生させる入力装置から構成されている。
まず、学習者に対し、表示装置と音声合成装置の少なくとも１つが選択されて、不慣れな語彙要素が明示される。次いで、学習者が、多様相多感覚併用の予備知識、単語理解および記憶想起に基づいて、前記不慣れな語彙要素に対し応答する。
次いで学習者から得られた応答について、応答基準に基づいて評価を行い、表示装置と音声合成装置を用いて学習者にフィードバックを行う。
しかし、この特許文献１に開示された発明では、学習者に対する不慣れな語彙要素の説明に、慣れた言語が使用されることもあるので、所謂ダイレクトメソッドを用いた語学学習法とは言えない。

特許文献２には、２つのクリーチャと、人間とが参加する参加型多人数会話システムの発明が開示されている。２つのクリーチャは、それぞれ、人間を含む他者の発話に対してコミットするかどうか判断する。コミットするとした場合は、他者に対してアドレスを向けて、自分を聞き手として認識し、他者を話し手として確定させる。
次いで、話し手と聞き手との間で発話を繰り返えす。その後、コミットを継続するかどうか再度判断し、コミットを継続するとした場合、発話は更に繰り返されて会話が連鎖する。
しかし、特許文献２は、人間とクリーチャが混然一体になって語学学習が進められる参加型多人数会話システムについての発明であって、クリーチャは用いられるものの、ロボットを用いたダイレクトメソッドの語学学習法とは言えない。

特許第３２４９７６４号特願２０００−３３３０７３

言語学習におけるダイレクトメソッドは、教師が学習者に対し学習言語のみを用い、学習者の母国語は用いない学習法である。語学学習において、日本人は英文の読み書きはできるが、会話は不得手であると言われている。その理由の一つには、発話するときには日本語で考え英文に訳して発話し、英語を聞いてから日本語に訳し理解し、常に日本語を介するためであるといわれている。このときに、文法を複雑に組み上げて会話文を構成しようとするため時間がかかり会話になりにくくなる。ダイレクトメソッドにより学習をすると、日本語を介さずに英会話ができるようになる。

この方法は幼児が言葉を習得する過程を模した学習法とも言え、会話習得に極めて有効であると考えられている。しかし、学童や成人に対しこの手法を用いる場合、学習するまで同じ内容を繰り返す必要があるため、学習に長時間を要し、学習コストは高くなる。また、本学習法に適した外国語教師の確保も容易でなく、しかも、学習者にとっても必ずしも自分の都合のよい時に、自分のペースで語学学習を進めることができないなどの問題があるので、普及の難しい語学学習法と言える。

一方、近年の目覚ましいロボット技術開発により、優れたコミュニケーションロボットや、特許文献として先に述べた語学学習システムなどが提案されている。しかし、未だ、ロボットにダイレクトメソッドに於ける教師役を務めさせる発明は開示されていない。
本発明は、ロボットを教師役として実施するダイレクトメソッド語学学習システムの提供により、ダイレクトメソッドの普及の障害になっている、学習コスト、教師の確保、学習者の都合に合わせた学習機会の設定、などの問題を克服しようとするものである。

また、通常の教育では、教育をするものは学習者よりも高い知識と認識をもつ教師が必要であると考えられる。しかし、数学や理科とは異なり、もともと人は母国語の学習において、専門の教師がいなくても、親などの周りの大人などの一般の既学習者たちの会話から言語を学習する能力をもつ。つまり、教師が高度な教育技術をもたなくてもよい。いわゆるコミュニケーションロボットとされるものは、人が主でロボットが従であり、対象とする人の要求を人の動きや言動からロボットが理解する必要があり、人に近い高度な認識と高い知能が必要とされ、現在でも実用レベルは難しい。しかし、本語学ロボットの場合、ロボットが主で人が従であり、語学ロボットが何を表現したいかを人が理解し、語学ロボットが聞き取れるように発話することで語学学習を進めようとする。主従を逆転させるものであり、ロボットに高い認識と知能レベルを求めない、斬新な発想に基づく発明でもある。

請求項１に記載の本発明の外国語会話学習システムは、認識機能として、聴覚機能と、視覚機能を有し、また、表現機能としては発声機能と、行動機能と、表示機能を有しており、通常は語学ロボットとして機能する。
本語学ロボットは、ダイレクトメソッドを実践する教師ロボットであり、生徒に対し、学習する外国言語のみを話し、外国語のみを聞き取ることしかしないので、学習者の母国語で話かけても母国語でのコミュニケ―ションはできない。

本語学ロボットは、シナリオに基づいて行動する。
まず、語学ロボットは認識機能と表現機能を作動させて、学習者に外国語を発声させるよう誘導する１のシナリオを実行し、次いで、学習者がこの誘導に呼応して外国語を発声する。この時、語学ロボットは学習者の発声を分析して次に続くシナリオを作成し、これを実行に移す。
語学ロボットは語学学習が終了するまで、この作業を反復する。
語学ロボットのコントローラの主要部は、認識モジュール(１)と、表現モジュール(２)と、シナリオ(３)と、シナリオ理解度評価器(４)と、既学習リスト(５)と、シナリオ生成器(６)と、個人識別器(７)から構成される。

認識モジュール(１)は、聴覚機能を実行する一つ以上のマイクと、学習者の状態・状況を
認識する１つ以上の視覚センサとロボット自身の状態をみる内部センサで構成される。
表現モジュール(２)は、発声機能を実施するスピーカと、行動機能を実行する動作デバイス、表示機能を実行する光学系デバイスから構成される。
シナリオ(３)は、認識モジュール(１)からの情報とシナリオの内部状態により表現モジュ
ール(２)への出力を決定するものである。
シナリオ理解度評価器(４)は、語学ロボットが実行するシナリオにおいて学習者が示す反応から理解している外国語の単語と文法とその学習度を選び出すものである。
既学習リスト(５)は、次シナリオの生成に利用するためにシナリオ理解度評価器(４)で選
び出した既学習単語や文法とその学習度を(個人別に)蓄積するものである。

シナリオ生成器(６)は、シナリオを既学習リスト(５)と認識モジュール(１)に基づき生成
するものであり、シナリオ(３)を更新し続け、語学学習が終了するまでシナリオを生成する。
個人識別器(７)は学習者が複数いる場合、前記(５)の既学習リストを個人別に蓄積し、シナ
リオ(３)においても誰が示す反応かを識別する。

請求項２に記載の本発明の外国語会話学習システムは、認識機能と表現機能の一部が、前記ロボット以外の学習の場に設置されてもよいとするものである。例えば認識機能としては、発話者に付けるピンマイクがあり、表現機能には語学ロボットとは別に設置されるディスプレイなどがある。

請求項３に記載の視覚センサは認識モジュールの一部を構成するものであるが、視覚センサに代わるものとして、視覚情報を内蔵するＩＣタグを用い、ＩＣタグから視覚情報を取り込む語学ロボットとすることができる。

請求項４に記載の発明は、語学ロボットを実空間内でなく、一部もしくは全てを仮想空間内に設定する。

請求項５に記載の発明は、ダイレクトメソッドによる語学教育に直接関係しない範囲で、学習者の母国言語も補助的に使用のできることとする外国語会話学習システムである。

本発明の効果は、学習対象の外国語に対して、ダイレクトメソッドをもとにつくられるものであるため会話学習者が母国語を介さずに会話できるので、学習言語を母国語のように会話できるようになる。また、相手がロボットであるため学習者が失敗を恥ずかしがらずに、何度でも発話練習できるので効果的に会話学習を高めることができる。

各モジュールの関係を示す本提案ロボットシステム提案ロボットシステムにおける認識モジュールの詳細図提案ロボットシステムにおける表現モジュールの詳細図単なる同時表現による非言語による言語の意味付けの例同じ状況において繰り返す非言語による言語の意味付けの例非言語と言語の類似部と差異部の比較による言語の意味の対応付けの例語学ロボットの環境認識とその言語発話による言語の意味付けの例教師としての語学ロボットが2台ある例語学ロボットの一人二役語学ロボットの状態に対する質応の観察の例語学ロボットの命令表現に対する令応の観察の例語学ロボットの環境認識に対する質応の観察の例既学習単語と文法を用いて学習者が会話に参加する例語学ロボットが2台ある場合の「あいさつ表現の学習II」のシナリオの例語学ロボットが1台のみの場合の「あいさつ表現の学習I」のシナリオの例「名乗り表現の学習」のシナリオの例「名呼び表現の学習」のシナリオの例「名呼び表現も含める名乗り表現の学習」のシナリオの例色の種類を学習するシナリオの例システム全体のシナリオを含む処理の流れ

本発明の実施例では、外国語を学習する学習者に対して、一台以上の本発明のロボットが移動動作できる環境を用意し、そこに本発明のロボットを配置して語学学習を開始させる。本発明の実施に必要なスペースは、ロボットが障なく行動でき、学習者がロボットと会話しながら、そのジェスチャーを確実に認識できる広さである。
図１に本発明のロボット内部処理システムの構成を示す。図２は、
図１の認識モジュールの詳細図であり、図３は、図１の表現モジュールの詳細図である。シナリオ３は、入力系列により内部状態を変化させ出力を変えるオートマトンであり、人とロボットの言語や非言語に対するコミュニケーションルールを記述するものである。入力は、
認識モジュール１から出力される学習者の発話や、ロボットのまわりにある視覚情報や聴覚情報や、ロボットの内部状態であり、シナリオの内部状態により選択し入力とする。出力は、ロボットの発話や音や光学的表示やロボットの動作がシナリオの内部状態により選択され、表現モジュール２へ出力される。

本発明の特徴は、シナリオそのものとシナリオの切り替え方にある。学習者である人がロボットの発話の意味を類推できたり、学習者がロボットに発話しロボットの反応で発話の正しさを確認できるように、言語表現と非言語表現が組み合わされている。シナリオの選択は、それまでに学習者が経験してきたシナリオにより、既学習と判断される単語と文法を考慮して決定される。提案システムは、認識モジュール１、表現モジュール２、シナリオ３、シナリオ理解度評価器４、既学習リスト５、シナリオ生成器６、個人識別器７からなる。以下に、上記の個々の部分を説明する。

認識モジュール１は、音声や外部環境、ロボットの内部状態を認識するモジュールであり、学習者の発話する言語の理解、どの程度うまく発話されているかの判定、音源定位、個人識別、物体の形状認識、色認識などを認識をするモジュールである。図２に示す音声認識(Ｒs)、音認識(Ｒs)、画像認識(Ｒi)、内部状態認識(Ｒq) は、すべて既存技術で実現できるものである。
表現モジュール２は、発話や移動や視線表現など言語表現や非言語表現をするモジュールである。図３に示す音表現をあわせる音声発話(Ｖ)、移動(Ｍ)、光学系表現(Ｌ) は、すべて既存の技術で実現できるものである。音声発話(Ｖ) は、性別や感情ごとに用意される台詞のｍp３などの音声データを再生するものである。

シナリオ３は、認識モジュールからの情報とシナリオの内部状態に対応して、どのような表現行動をするべきかを決定するものである。シナリオ理解度評価器４は、シナリオの流れから、学習者が現在理解している単語と文法とその学習度を選び出すものである。既学習リスト５は、次シナリオの生成に利用するために、学習者が現在理解しているとロボットが推測する文法や単語とその学習度を（個人別に）蓄積するものである。シナリオ生成器６は、既学習リストの内容と認識モジュールの結果に基づきシナリオを生成するものである。個人識別器７は、学習者が同時に複数いる場合に、個々に対して既学習リストを切り替えたり、シナリオ中の個人識別のために用いるものである。

本発明の移動ロボットを用いて実施するダイレクトメソッドを用いたドイツ語学習の実施する「（１）肯定表現の理解の実施例」と、「（２）疑問・命令・呼掛け表現の理解の実施例」の２つの代表例について順次説明を行う。

（１）肯定表現の理解の実施例の場合
語学ロボットの状態表現を学習者が理解するには、語学ロボットは一台あれば表現できる。図４の例は、非言語表現（空腹動作）と言語表現「Ich habe Hunger!」を同時にすることで、非言語表現を言語表現に関連付けし、学習者にロボットの発話文を理解させようとする例である。

図５の例は、非言語状況（いつもはじめて会うとき）に言語表現「Guten Tag!」を合わせて
発話することで、非言語表現を言語表現に関連付けし、学習者にロボットの発話文がいつもはじめて会うときに発話する表現（挨拶）であることを理解させようとするものである。

図６の例は、ロボットがする複数の非言語表現と言語表現の組み合わせから類似部と差異部を見付だし、ロボットの言語表現における類似部と差異部の発話文をそれぞれ学習者に理解させようとするものである。具体的には、非言語表現（左に行く動作）と言語表現「Ich gehe nach links!」を同時にし、右に行く動作と「Ich gehe nach rechts!」の発話を同時にし、直進する動作と「Ich gehe gerade!」の発話を同時にすることで、三表現の類似部と差異部から「Ich gehe xxxx!」の意味が「私はxxxx行く!」、「xxxx」の部分の「nach
links」が「左へ」、「nach rechts」が「右へ」、「gerade」が「まっすぐ」を意味することを学習者が理解する。

図７の例は、ロボットが環境を認識し発話したものから言語表現を理解するものである。
具体的には、青い球を見て「Das ist blau!」、黒い球をみて「Das ist schwarz!」青い立方体をみて「Das ist blau!」、赤い四面体をみて「Das ist rot!」と発話する。これより、学習者は、文の差異「blau」、「schwarz」、「rot」の部分を考え、青い球を見ても、青い立方体をみても、blauと言っていることから、「blau」が「青い」を意味することを理解する。また、「schwarz」、「rot」は、色についての発話だとすると、「黒」、「赤」を意味すると分かる。ここで、色のついた物体は、実物体を用いることもできるが、語学ロボットの光学系デバイスを用いて提示してもよい。

（２）疑問・命令・呼掛け表現理解の実施例の場合
疑問表現や命令表現や呼掛けを用いる会話は、複数での掛け合いになるため、見本を見せるためには１台では無理であり、図８のように２台目のロボットが必要になる。
あるいは、一台のみの語学ロボットでも，落語の演者が一人二役以上をこなすように，語学ロボットも役割により音声を異なるようにしたり，図9に示すように語学ロボットの立ち位置を変える必要がある。

図１０は、前節で理解したロボットの空腹状態を疑問形にするのはどうするかを学習者が学習するものである。具体的には、第二のロボットが空腹行動をしているとき、第一のロボットが、「Haben Sie Hunger?」と聞き、第二のロボットが「Ja!」と答える。これにより、学習者は、質問と応答の仕方を理解する。

図１１は、命令表現を理解するためのものである。第一ロボットが発話した後に、第二ロボットが動き出せば、学習者は第一ロボットの発話により第二ロボットが動き出したと理解する。つまり、命令表現であると理解する。仮に、第一ロボットが発話するのが、第二ロボットの動作中ならば、学習者は、第一ロボットが第二ロボットに状況を質問していると理解する。

図１２の例は、図７の例で学習した青という単語を使って、学習者が疑問文の構文を理解する例である。
図１３の例では、図１２の例で単語と文法を理解した学習者が語学ロボットに話しかけられることで参加し既学習単語と文法を確認するものである。

実施例１に示すようなものを基に具体的なシナリオをつくる。多くのシナリオは、受身学習と能動学習の部分と反復判定部分をもつ。受身学習は、学習者が、語学ロボットの言語表現と非言語表現を観察し、言語表現の単語や文法を理解するものであり、能動学習は、学習者が、言語表現や非言語表現を語学ロボットに提示し、反復判定部分は、学習者の反応で言語の認識と表現を確認し、不十分な場合に反復判定をするものである。ここでも学習外国語の例としてドイツ語を用いる。

シナリオの例として、図１４、図１５の「あいさつ表現の学習」と図１６「名乗り表現の学習」と図１７「名呼び表現の学習」、図１８「名呼び表現も含める名乗り表現の学習」、図１９「色の種類の学習」の例を示す。図中のRa、Rbはそれぞれロボットの名前で、Pは人を表す。PV、RaVは、人、ロボットRaそれぞれがその後に続く「」の中を発話するものであり、RaRv、RbRvは、「」の中の台詞をそれぞれ対応するロボットが認識できるかどうかを評価するものである。「あいさつ表現の学習」の例では、２台の語学ロボットを用いる例のみでなく、一台のみの語学ロボットを用いる場合も示す。「あいさつ」「Guten Tag!」、「名乗り」「Ich
heisse xxx!」、「名呼び」「Guten Tag! xxx」表現は、最も初期に学習されるものである。これらの単語・文法を学習するためのシナリオは、シナリオデータベースに登録され、シナリオ生成器により選択され、実行される。

図１４、図１５、図１６、図１７、図１８、図１９の例において、１１、３１、４１、５１、６１の部分がシナリオ受動部分であり、１２、２２、３２、４２、５２、６２の部分がシナリオ能動部分であり、１３、２３、３３、４３、５３、６３の部分が反復判定部分である。
上記の判定による反復において、全く同じように反復するのでなく、動作や発話の表現を反復の度ゆっくり丁寧にする。

ここでは、２台の教師ロボットが一人の学習者に対して、ドイツ語を教える具体的例を用いて処理の流れを説明する。シナリオ生成器は、シナリオデータベースから図１４の「あいさつ表現の学習II 」、図１８の「名呼び表現も含める名乗り表現の学習」、図１７の「名呼び表現の学習」の３つを選択するものとする。処理の概略を図２０に示す。この処理のＳ３、Ｓ４、Ｓ５を合わせた部分がシナリオ実行部であり、Ｓ３、Ｓ４、Ｓ５のそれぞれがシナリオ受動部、シナリオ能動部、反復判定部に対応する。
２台のロボットをそれぞれRa、Rbとする。

Ｓ１の初期化の工程で、既学習リストを初期化する。
ここでは、既学習リストには、単語・文法「Guten Tag!」、「Ich
heisse xxx!」、「Guten Tag! xxx」の3つが学習度０で登録される。「xxx」は、学習者の名前やロボットの名前を示す。
また、これらの単語・文法は、それぞれ学習順序が決められている。
ここでは、「Guten Tag!」、「Ich
heisse xxx!」、「Guten Tag!xxx」の順に学習順序が決められているものとする。また、シナリオ生成器は、シナリオデータベースに、図１４の「あいさつ表現の学習II」、図１６の「名乗り表現の学習」、図１７の「名呼び表現の学習」、図１８の「名呼び表現も含める名乗り表現の学習」のシナリオをもつものとする。
ロボット２台をそれぞれ決められた位置・姿勢にセットする．このとき、学習者がセットする。
または、画像処理などの既存の技術を用いてセットする。
Ｓ２の工程で、シナリオ生成器は、既学習リストの中で学習度が低く学習順位が高い単語・文法を選択し、それを学習するためのシナリオを選択する。ここでは、「Guten Tag!」、「Ich
heisse xxx!」「Guten Tag! xxx」の3つとも学習度が０なので、学習順位の最も高い「Guten Tag!」を学習するために、学習シナリオとして図１４の「あいさつ表現の学習 II」を選択する。

Ｓ３の工程の「あいさつ表現の学習 II」のシナリオ実行受動部１１で、ロボットRaのカメラを、ロボットRbのある方へ向ける。
このとき、ロボットRbのロボットRaに対する位置・姿勢は初期位置・姿勢から推測できる。
または、画像マーカーを用いるなどの既存の技術で知ることができる。
ロボットRaが「Guten Tag!」と発話する。
このとき、例えば、既存の技術を用いて録音した音声を再生する。
ロボットRbのカメラを、ロボットRaのある方へ向ける。
ロボットRbが「Guten Tag!」と発話する。

Ｓ４の工程で「あいさつ表現の学習 II」のシナリオ実行能動部１２でロボットRaとRbが学習者の顔の方を向く。
このとき、例えば、最もロボットの近くにある人の顔の位置を既存の画像処理技術を用いて見つける。
ロボットRaとRbがともに、「Guten Tag!」と発話する。

Ｓ５の工程で「あいさつ表現の学習 II」のシナリオ反復判定１３でロボットRa、Rbのいずれかが認識した人の顔の方向から来る音が一定時間内に「Guten Tag!」という音声であると認識できるか。
できる場合、反復ループを終了し、シナリオ理解度の評価へ、できない場合、シナリオ実行受動部から反復する。
ここでは、既存の音声認識技術を用いて「Guten Tag!」という音声が出ているかどうかを判定する。
「Guten Tag!」以外は認識する必要がないので既存の簡単な音声認識で実行できる。

Ｓ６のシナリオ理解度評価で反復回数と「Guten Tag!」の音声認識の高さなどから理解度を評価する。
Ｓ７の既学習リスト登録で既学習リスト中の「Guten Tag!」の学習度を理解度に従って高める。
Ｓ８のすべての既学習リストに登録されている学習度が十分高くなれば、処理を終了する。そうでなければ、Ｓ２のシナリオ生成に戻る。ここでは、まだ、「Ich heisse xxx!」「Guten
Tag! xxx」の学習度が高くないので、処理を終了しない。

Ｓ２の工程において、シナリオ生成器は、学習可能状態で学習度の低い単語・文法を選び、これを学習するためのシナリオを選択する。ここでは、「Guten Tag!」の学習度が高く、「Ich heisse xxx!」と「Guten Tag! xxx」の学習度が低いので、「Ich heisse xxx!」を学習するため、図１６の「名乗り表現の学習」か図１８の「名呼び表現も含める名乗り表現の学習」のシナリオを選択する。ここでは、「名呼び表現も含める名乗り表現の学習」を次学習シナリオとして選択する。
Ｓ３の工程で「名呼び表現も含める名乗り表現の学習」のシナリオ実行受動部５１を実施する。
ロボットRaのカメラを、ロボットRbのある方へ向ける。
このとき、ロボットRbのロボットRaに対する位置・姿勢は初期位置・姿勢の動作系列から推測できる。または、画像マーカーを用いるなどの既存の技術で知ることができる。
ロボットRbのカメラを、ロボットRaのある方へ向ける。
ロボットRaが「Ich heisse Ra! Und
du?」と発話する。
ロボットRbが「Ich heisse Rb!」と発話する。
ロボットRaが「Guten Tag! Rb」と発話する。
ロボットRbが「Guten Tag! Ra」と発話する。

Ｓ４の工程で、「名呼び表現も含める名乗り表現の学習」のシナリオ実行能動部５２を実施する。
ロボットRaとRbのカメラを学習者の顔の方へ向ける。
このとき、例えば、最もロボットの近くにある人の顔の位置を既存の画像処理技術を用いて見つける。
ロボットRaとRbがそれぞれ、「Ich heisse Ra!」「Ich
heisse Rb!」と時間差で発話する。
ロボットRaとRbがそれぞれ、「Und du?」と同時に発話する。

Ｓ５の工程で、「名呼び表現も含める名乗り表現の学習」のシナリオ反復判定５３を実施する。ロボットRa、Rbのいずれかが認識した人の顔の方向から来る音声が一定時間内に「Ich heisse xxxx!」という音声であると認識できるか。できる場合、反復ループを終了し、シナリオ理解度の評価へ、できない場合、シナリオ実行受動部から反復する。
ここでは、既存の音声認識技術を用いて「Ich heisse xxx!」という音声が学習者から出ているかを判定する。「xxx」の部分は、学習者の名前として既学習リストに記録させる。
「Ich heisse xxx!」以外は認識する必要がないので既存の簡単な音声認識で実行できる。

Ｓ６のシナリオ理解度評価で反復回数と「Ich heisse xxx!」の音声認識の高さなどから理解度を評価する。
Ｓ７の既学習リスト登録で既学習リスト中の「Ich heisse xxx!」の学習度を理解度に従って高める。また、シナリオの中で使われている「Guten Tag! xxx」の学習度も少し高める。
Ｓ８のすべての既学習リストに登録されている学習度が十分高くなれば、処理を終了する。そうでなければ、Ｓ２のシナリオ生成に戻る。ここでは、まだ、「Guten Tag! xxx」の学習度が高くないので、処理を終了しない。

Ｓ２の工程において、シナリオ生成器は、学習可能状態で学習度の低い単語・文法を選び、これを学習するためのシナリオを選択する。ここでは、「Guten Tag!」、「Ich
heisse xxx!」が高く、「Guten Tag! xxx」の学習度があまり高くないので、「Guten Tag! xxx」を学習するため、図１７の「名呼び表現の学習」を次学習シナリオとして選択する。
Ｓ３の工程で「名呼び表現の学習」のシナリオ実行受動部４１を実施する。
ロボットRaのカメラを、ロボットRbのある方へ向ける。
このとき、ロボットRbのロボットRaに対する位置・姿勢は初期位置・姿勢の動作系列から推測できる。または、画像マーカーを用いるなどの既存の技術で知ることができる。
ロボットRaが「Guten Tag! Rb」と発話する。
ロボットRbのカメラを、ロボットRaのある方へ向ける。
ロボットRbが「Guten Tag! Ra」と発話する。

Ｓ４の工程で、「名呼び表現の学習」のシナリオ実行能動部４２を実施する。
ロボットRaとRbのカメラを学習者の顔の方へ向ける。
このとき、例えば、最もロボットの近くにある人の顔の位置を既存の画像処理技術を用いて見つける。
ロボットRaとRbがそれぞれ、「Guten Tag! <Pの名>」と同時に発話する。
ここで、<Pの名>は、前記で登録されたものを用いる。

Ｓ５の工程で、ロボットRaが、「Guten Tag! Ra」、あるいは、Rbが、「Guten Tag! Rb」と認識した人の顔の方向から来る音声が一定時間内に認識できるか。
できる場合、反復ループを終了し、シナリオ理解度の評価へ、できない場合、シナリオ実行受動部から反復する。

Ｓ６のシナリオ理解度評価で反復回数と音声認識の高さなどから理解度を評価する。
Ｓ７の既学習リスト登録で既学習リスト中の「Guten Tag! xxx」の学習度を理解度に従って高める。
Ｓ８のすべての既学習リストに登録されている学習度が十分高くなれば、処理を終了する。そうでなければ、Ｓ２のシナリオ生成に戻る。
ここでは、学習度の低い単語と文法がないので、学習を終了する。

本発明の外国語会話学習用語学ロボットの成果が出れば、外国語会話教育の初期レベルの教育に有効であると考えられる。また、相手がロボットなので学習者が失敗を恐れず恥ずかしがらずに、何度でも発話練習できる利点もある。
まず、小学校において、本発明は、小学校における英語教育に対して有効であると考えられる。現在、小学校において英語教育を実施することになっているが、英語教員の確保などに問題がある。本研究の成果は、全国の小学校に対して英会話教育の基礎部分を実施することができる。
次に、大学・社会において本発明は、大学において第二外国語を学習するときに有効であると考えられる。ほとんどの学生は、選択する第二外国語に対して全くの初心者であるため、本提案手法が有効であると考えられる。
社会においても、中高年で初心者であるビジネスマンの中国語会話学習にも同様に有効であると考えられる。
また、世界において本発明は、ダイレクトメソッドという手法をベースにしているので、母国語に関係なく語学学習をすることができる。つまり、本発明はそのまま日本以外でも用いることができる。それぞれの語学学習現場において利用できる可能性がある。

１認識モジュール
２表現モジュール
３シナリオ
４シナリオ理解度評価器
５既学習リスト
６シナリオ生成器
７個人識別器

Claims

認識機能（聴覚機能と、視覚機能と）と、表現機能（発声機能と、行動機能と、表示機能）を有し、単一の外国言語のみ聞取・発話するロボットが、言語は前記外国言語のみを用いて学習者との対話等を介して該学習者の前記外国語能力を向上させるダイレクトメソッド外国語会話学習システムであって、
前記ロボットが認識機能と表現機能を作動させて、学習者に外国語を発声させるよう誘導する１つのシナリオを実行し、学習者が呼応して発声する外国語に応じて、次のシナリオを作成して実行する作業を反復するものであって、
前記ロボットのコントローラが、認識モジュール(１)と、表現モジュール(２)と、シナリオ(３)と、シナリオ理解度評価器(４)と、個人別既学習リスト(５)と、シナリオ生成器（６)と、個人識別器(７)とを有しており、
前記認識モジュール(１)が聴覚機能を実行する一つ以上のマイクと、学習者の状態・状況を認識する１つ以上の視覚センサからなり、
前記表現モジュール(２)が発声機能を実施するスピーカと、行動機能を実行する動作デバイスと、表示機能を実行する光学系デバイスからなり、
前記シナリオ(３)は、認識モジュール(１)からの情報とシナリオの内部状態により表現モジュール(２)への出力を決定し、
前記シナリオ理解度評価器(４)が、実行するシナリオにおいて学習者が示す反応から理解している外国語の単語と文法とその学習度を選び出し、
前記既学習リスト(５)が、シナリオ理解度評価器(４)で選び出した既学習単語や文法とその学習度を(個人別に)蓄積し、
前記シナリオ生成器(６)が、既学習リスト(５)と認識モジュール(１)に基づきシナリオを選択し、
前記個人識別器(７)が学習者が複数いる場合、既学習リスト(５)を個人別に蓄積し、シナリオ(３)においても誰が示す反応かを識別することを特徴とするダイレクトメソッド外国語会話学習システム。
前記認識機能と表現機能の一部が、前記ロボットとは別の場所に設置される認識機能と表現機能で代用されることを特徴とする請求項１に記載の外国語会話学習システム。
前記視覚センサの代わりに対象物体の視覚情報をもつＩＣタグとその情報を引き出せるシステムをもつことを特徴とする請求項１、２に記載の外国語会話学習システム。
前記ロボットを実空間内でなく一部もしくは全てを仮想空間内に設定する請求項１に記載の外国語会話学習システム。
学習者の母国言語も補助的に使用できることを特徴とする請求項１、２、３、４に記載の外国語会話学習システム。