JP7263895B2 - 学習装置、ロボット、学習支援システム、学習装置制御方法及びプログラム - Google Patents

学習装置、ロボット、学習支援システム、学習装置制御方法及びプログラム Download PDF

Info

Publication number
JP7263895B2
JP7263895B2 JP2019078254A JP2019078254A JP7263895B2 JP 7263895 B2 JP7263895 B2 JP 7263895B2 JP 2019078254 A JP2019078254 A JP 2019078254A JP 2019078254 A JP2019078254 A JP 2019078254A JP 7263895 B2 JP7263895 B2 JP 7263895B2
Authority
JP
Japan
Prior art keywords
pronunciation
user
level
robot
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019078254A
Other languages
English (en)
Other versions
JP2019211762A (ja
Inventor
利久 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to CN201910460007.4A priority Critical patent/CN110556095B/zh
Publication of JP2019211762A publication Critical patent/JP2019211762A/ja
Application granted granted Critical
Publication of JP7263895B2 publication Critical patent/JP7263895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、発音学習を支援するための技術に関する。
ユーザの学習を支援することを目的とする技術が提案されている。例えば、特許文献1には、講師アバターとクラスメイトアバターと学習者アバターとを表示してユーザの発音練習を支援する発音練習支援システムが開示されている。特許文献1に開示されている発音練習支援システムでは、講師アバターが出した問題に対して、ユーザとクラスメイトアバターとが競い合って解答するようにしているため、ユーザに英会話教室の雰囲気を感じさせることができる。また、このシステムは、ユーザの学習進度や習熟度等の状況に応じた適切なコンテンツを提示することができる。
特開2005-31207号公報
しかしながら、特許文献1に開示されている発音学習支援システムは、ユーザの発音の正しさに応じて発音の学習内容を変化させることができない。このため、この発音学習支援システムでは、発音学習支援を行っても、ユーザの発音に応じた正しい発音を習得させることが困難な可能性がある。
そこで、本発明はこのような事情に鑑みてなされたものであって、ユーザの発音に応じて適切に発音学習を支援することを目的とする。
前記目的を達成するため、本発明に係る学習装置の一様態は、
ユーザと共に所定の言語の発音を学習する生徒役を担うロボットを制御する学習装置であって、
前記ユーザによる前記所定の言語の発音を取得する発音取得手段と、
母音図上における前記所定の言語の模範発音の位置と前記取得された前記ユーザによる前記所定の言語の発音の位置との距離に基づいて、前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを判定する判定手段と、
前記判定手段が判定したユーザレベルを取得する取得手段と、
前記取得手段が取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定手段と、
前記設定手段が設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御手段と、
を備える。
本発明によれば、ユーザの発音に応じて適切に発音学習を支援することができる。
本発明の実施形態に係る学習支援システムの概要を示す図である。 実施形態に係る教師ロボットの構成例を示すブロック図である。 実施形態に係る生徒ロボットの構成例を示すブロック図である。 実施形態に係る学習装置の構成例を示すブロック図である。 実施形態に係る学習装置が記憶するレベルテーブルの一例を示す図である。 実施形態に係る学習装置が記憶する母音発音テーブルの一例を示す図である。 実施形態に係る学習装置が記憶する子音発音テーブルの一例を示す図である。 母音の発音の差を説明する図である。 子音の発音の差を説明する図である。 実施形態に係る学習装置が記憶する学習履歴テーブルの一例を示す図である。 実施形態に係る学習装置の表示画面に表示される画像の一例である。 実施形態に係る学習支援システムによる学習の様子の一例を示す図である。 実施形態に係る学習支援システムによる学習の流れの一例を示す図である。 実施形態に係る学習支援システムによる学習の流れの他の一例を示す図である。 実施形態に係る学習装置による学習支援制御処理の流れを示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。
図1に示すように、本発明の実施形態に係る学習支援システム1は、ユーザに学習を指導する教師役のロボット(以下、「教師ロボット」と称する)100と、ユーザと共に教師ロボット100から学習の指導を受ける生徒役のロボット(以下、「生徒ロボット」と称する)200と、学習装置300とを備える。学習装置300は、両矢印で示すように、近距離無線通信等により、教師ロボット100及び生徒ロボット200と相互に情報伝達ができるように接続されている。
教師ロボット100と生徒ロボット200は、例えば、ぬいぐるみやキャラクタ等の外観を模した形状を有する。本実施形態では、教師ロボット100を、ユーザに堅い印象を与えるロボットの外観を模した形状とし、生徒ロボット200を、ユーザが親しみやすいように柔らかい印象を与えるクマのぬいぐるみの外観を模した形状とする。なお、このような教師ロボット100及び生徒ロボット200の形状は一例であって、例えば、教師ロボット100と生徒ロボット200のいずれか又は両方がコンピュータであってもよい。
学習装置300は、例えば、スマートフォン、タブレット型の通信端末、パーソナルコンピュータ等で構成される。学習装置300は、教師ロボット100と生徒ロボット200との通信を行い、教師ロボット100と生徒ロボット200とを制御する。学習装置300は、実行する教育プログラムに基づいて音声又は画像を出力し、ユーザに学習支援サービスを提供する。学習支援サービスの内容は任意であるが、本実施形態では、ユーザとして日本人を想定し、日本人のユーザにとって教師ロボット100及び生徒ロボット200とのコミュニケーションが学習効果に寄与しやすい英語の発音学習支援を例に説明する。なお、学習装置300は、教師ロボット100と一体化していてもよい。さらにまた、学習装置300は、生徒ロボット200に内蔵されていてもよい。さらにまた、学習装置300が内蔵されたロボットに、教師ロボット100及び生徒ロボット200の機能も含ませることで、該ロボットが先生役と生徒役の両方をこなせるようにしてもよい。また、本実施形態ではユーザとして日本人を想定しているが、韓国人、中国人等、英語を母語としない人であれば、任意の国の人がユーザになり得る。
以下、学習支援システム1の各装置の構成について説明する。まず、教師ロボット100の構成について説明する。図2に示すように、教師ロボット100は、制御部110と、通信部120と、駆動部130と、音声出力部140と、記憶部150と、操作部160と、撮像部170とを備える。
制御部110は、教師ロボット100全体の動作を制御する。制御部110は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有するコンピュータにより構成される。制御部110は、ROMに記憶された各種プログラムを読み出してRAM上で実行することにより、教師ロボット100の各構成部位を制御する。
ここで、教師ロボット100の制御部110の機能的構成について説明する。制御部110は、制御情報受付部111、駆動制御部112、音声出力制御部113、撮像制御部114として機能する。
制御情報受付部111は、通信部120を制御して学習装置300から送信された制御情報を受信し、その受信した制御情報を受け付ける。
駆動制御部112は、制御情報受付部111が受け付けた制御情報に基づいて駆動信号を生成し、生成した駆動信号を駆動部130に出力する。このように、駆動制御部112は、駆動部130を駆動させ、教師ロボット100に各種動作を実行させる。
音声出力制御部113は、例えば、制御情報受付部111が受け付けた制御情報や操作部160が受け付けた音声ボリューム調整等のユーザ操作に基づいて音声信号を生成し、生成した音声信号を音声出力部140に送信する。このように、音声出力制御部113は、音声出力部140から出力される音声やその音量を制御する。
撮像制御部114は、撮像部170を制御して静止画又は動画を撮像させ、通信部120にその撮像した静止画又は動画の画像データを学習装置300に送信させる。なお、撮像制御部114が、撮像した静止画又は動画に基づいてユーザの姿勢、表情、視線等の状態を判定し、その判定結果を学習装置300に送信するように構成してもよい。
通信部120は、学習装置300とデータ通信を行うための通信インタフェースであり、例えば、無線周波数(RF:Radio Frequency)回路、ベースバンド(BB:Base Band)回路、大規模集積回路(LSI:Large Scale Integration)、アンテナ等から構成される。通信部120は、アンテナを介して学習装置300と無線通信を行い、各種データを送受信する。例えば、教師ロボット100は通信部120を介して後述する発音データを学習装置300から受信する。なお、通信部120は、USB(Universal Serial Bus)ケーブルやHDMI(登録商標)(High-Definition Multimedia Interface)ケーブル等を用いて学習装置300と有線通信を行うように構成されてもよい。
駆動部130は、例えば、ギア、モータ、アクチュエータ等から構成される。駆動部130は、制御部110から取得した駆動信号に応じて、教師ロボット100の可動部位を駆動する。例えば、駆動部130は、教師ロボット100の首の傾きを制御して、首を縦又は横に振ったり、顔の向きを変えたりする。また、駆動部130は、教師ロボット100の口の形状を変化させたり、教師ロボット100のまぶたを開閉させて瞬きさせたり、教師ロボット100が移動したりするように駆動する。このような動作と、後述する音声出力とによって、教師ロボット100は、感情、視線、姿勢等を表現できるように構成されている。
音声出力部140は、例えば、スピーカ等から構成される。音声出力部140は、制御部110から取得した音声信号に従って音声を出力する。出力される音声は、主に教師ロボット100による英語(英単語)の発音の指導に関連する音声である。英単語の発音の指導に関連する音声には、例えば、ユーザ及び生徒ロボット200に対する呼びかけ文、英単語の発音を促す言葉、英単語の模範的な発音、模範的な発音に近づけるための指導、生徒が良い発音をした場合の褒め言葉、生徒が良い発音をできなかった場合の励ましの言葉等、英単語の発音の指導において教師の発言として適切である各種音声を含む。例えば英単語の模範的な発音に関しては、制御情報受付部111が学習装置300から後述する模範発音の発音データを受け付けて、当該発音データを用いて音声出力制御部113が音声出力部140を制御する。それにより、当該英単語が音声出力部140から模範的な発音で発音される。
記憶部150は、制御部110が教師ロボット100の各構成部位を制御するために必要な種々のデータを記憶する。記憶部150は、例えば、フラシュメモリやHDD(Hard Disk Drive)等の不揮発性の記憶装置により構成される。記憶部150は、例えば、学習装置300から受信した制御情報に従って教師ロボット100が出力する音声データ等を所定の記憶領域に記憶する。
操作部160は、例えば、操作ボタン、タッチパネル等から構成される。操作部160は、例えば、電源オンオフ、出力音声のボリューム調整等のユーザ操作を受け付けるためのインタフェースである。
撮像部170は、例えば、レンズ、撮像素子等から構成される。撮像部170は、ユーザの身体の全体又は一部(例えば、顔)を撮像し、ユーザの姿勢、視線、表情等を示す静止画又は動画の画像データを取得する。
なお、教師ロボット100は、通常のぬいぐるみ等と同様に、自ら動く必要がないのであれば、駆動制御部112や駆動部130を備えなくてもよい。
次に、生徒ロボット200の構成について説明する。図3に示すように、生徒ロボット200は、制御部210と、通信部220と、駆動部230と、音声出力部240と、記憶部250と、操作部260とを備える。
制御部210は、生徒ロボット200全体の動作を制御する。制御部210は、例えば、CPU、ROM、RAMを有するコンピュータにより構成される。制御部210は、ROMに記憶された各種プログラムを読み出してRAM上で実行することにより、生徒ロボット200の各構成部位を制御する。
ここで、生徒ロボット200の制御部210の機能的構成について説明する。制御部210は、制御情報受付部211、駆動制御部212、音声出力制御部213として機能する。
制御情報受付部211は、通信部220を制御して学習装置300から送信された制御情報を受信し、その受信した制御情報を受け付ける。
駆動制御部212は、制御情報受付部211が受け付けた制御情報に基づいて駆動信号を生成し、生成した駆動信号を駆動部230に出力する。このように、駆動制御部212は、駆動部230を駆動させ、生徒ロボット200に各種動作を実行させる。
音声出力制御部213は、例えば、制御情報受付部211が受け付けた制御情報や操作部260が受け付けた音声ボリューム調整等のユーザ操作に基づいて音声信号を生成し、生成した音声信号を音声出力部240に送信する。このように、音声出力制御部213は、音声出力部240から出力される音声やその音量を制御する。
通信部220は、学習装置300とデータ通信を行うための通信インタフェースであり、例えば、無線周波数(RF)回路、ベースバンド(BB)回路、大規模集積回路(LSI)、アンテナ等から構成される。通信部220は、アンテナを介して学習装置300と無線通信を行い、各種データを送受信する。例えば、生徒ロボット200は通信部220を介して後述する発音データを学習装置300から受信する。なお、通信部220は、USBケーブルやHDMI(登録商標)ケーブル等を用いて学習装置300と有線通信を行うように構成されてもよい。
駆動部230は、例えば、ギア、モータ、アクチュエータ等から構成される。駆動部230は、制御部210から取得した駆動信号に応じて、生徒ロボット200の可動部位を駆動する。例えば、駆動部230は、生徒ロボット200の首の傾きを制御して、首を縦又は横に振ったり、顔の向きを変えたりする。また、駆動部230は、生徒ロボット200の口の形状を変化させたり、生徒ロボット200のまぶたを開閉させて瞬きさせたり、生徒ロボット200が移動したりするように駆動する。このような動作と、後述する音声出力とによって、生徒ロボット200は、感情、視線、姿勢等を表現できるように構成されている。
音声出力部240は、例えば、スピーカ等から構成される。音声出力部240は、制御部210から取得した音声信号に従って音声を出力する。出力される音声は、主に生徒ロボット200による英語(英単語)の発音の学習に関連する音声である。英単語の発音の学習に関連する音声には、例えば、教師ロボット100による呼びかけに対する応答、教師ロボット100に促された英単語の発音、自己による当該英単語の発音が良かった場合の喜ぶ言葉、自己による当該英単語の発音が悪かった場合の悔しがる言葉、ユーザによる当該英単語の発音の善し悪しに応じてユーザを誉めたり慰めたりする言葉等、当該英単語の発音の指導を受ける生徒の発言として適切である各種音声を含む。生徒ロボット200が英単語を発音する際は、制御情報受付部211が学習装置300から後述するようにして送信された発音データを受け付けて、当該発音データを用いて音声出力制御部213が音声出力部240を制御する。それにより、当該英単語が、発音データに基づく発音で、音声出力部240から発音される。
記憶部250は、制御部210が生徒ロボット200の各構成部位を制御するために必要な種々のデータを記憶する。記憶部250は、例えば、フラシュメモリやHDD等の不揮発性の記憶装置により構成される。記憶部250は、例えば、学習装置300から受信した制御情報に従って生徒ロボット200が出力する音声データ等を所定の記憶領域に記憶する。
操作部260は、例えば、操作ボタン、タッチパネル等から構成される。操作部260は、例えば、電源オンオフ、出力音声のボリューム調整等のユーザ操作を受け付けるためのインタフェースである。
なお、生徒ロボット200は、通常のぬいぐるみ等と同様に、自ら動く必要がないのであれば、駆動制御部212や駆動部230を備えなくてもよい。
次に、学習装置300の構成について説明する。図4に示すように、学習装置300は、制御部310と、通信部320と、音声入力部330と、音声出力部340と、記憶部350と、操作部360と、表示部370とを備える。
制御部310は、学習装置300全体の動作を制御する。制御部310は、例えば、CPU、ROM、RAMを有するコンピュータにより構成される。制御部310は、ROMに記憶された各種プログラムを読み出してRAM上で実行することにより、学習装置300の各構成部位を制御する。
ここで、学習装置300の制御部310の機能的構成について説明する。制御部310は、ユーザレベル取得部311、生徒レベル設定部312、学習支援内容決定部313、教師ロボット動作制御部314、生徒ロボット動作制御部315、ユーザレベル判定部316、として機能する。
ユーザレベル取得部311は、ユーザの発音の正しさを表す指標であるユーザレベルを取得する。具体的には、ユーザレベル取得部311は、記憶部350に記憶されているレベルテーブルから、ユーザレベルを取得する。レベルテーブルとは、図5に示すように、音素(母音の音素と子音の音素)毎に、ユーザレベルと後述する生徒レベルとを記憶したテーブルである。レベルテーブルには最初は初期値として、全ての音素について「ユーザレベル=0」、「生徒レベル=0」が記憶されている。ユーザレベル取得部311は、ユーザの発音の正しさを表す指標であるユーザレベルを取得する取得手段として機能する。
本実施例では、ユーザレベルは0、1、2の3段階とし、ユーザレベル0は、一般的な日本人による英語の発音(いわゆるカタカナ英語)レベルを表し、ユーザレベル2は、ネイティブスピーカーの発音(模範的な発音)レベルを表し、ユーザレベル1は、日本人の発音とネイティブスピーカーの発音の中間のレベルを表すこととする。すなわち、ユーザレベルで表されるユーザの発音の正しさとは、学習装置300で発音学習支援する言語である英語を母語(第一言語)とする人間(ネイティブスピーカー)による英語の発音を基準とした正しさのことである。なお、日本人の発音とネイティブスピーカーの発音の中間のレベルをより細分化して、ユーザレベルや後述する生徒レベルを4段階以上にしてもよい。また、上記の基準となる英語の発音として、英語の訛りのない標準語を話す人間による英語の発音を、又は、所定の地域(例えばオーストラリア、イギリス等)の訛りで英語を話す人間の発音を、用いてもよい。さらに、学習装置300は、ユーザ識別を行って、ユーザ毎にレベルテーブルを記憶することができる。例えば、学習装置300は、教師ロボット100の撮像部170で撮像させた画像データを、通信部320を介して取得して、ユーザの顔等の画像からユーザ識別を行い、ユーザ毎にレベルテーブルを記憶するようにしてもよい。
生徒レベル設定部312は、ユーザレベル取得部311が取得したユーザレベルに基づいて、生徒ロボット200による英語の発音の正しさを表す指標である生徒レベルを設定する。この生徒レベルで表される生徒ロボット200の発音の正しさとは、上記のユーザレベルと同様に、英語を母語とする人間による英語の発音を基準とした正しさのことである。この生徒ロボット200の発音の正しさの基準にも、ユーザレベルと同様に上記のバリエーションを適用してもよい。基本的には、生徒ロボット200の発音が、ユーザレベル取得部311が取得したユーザレベルと同程度の正しさの発音になるように、生徒レベルを設定する。そして、生徒レベル設定部312は、設定した生徒レベルを記憶部350に記憶されているレベルテーブルに記憶させる。図5には、生徒レベルがユーザレベルと同じ値に設定されている例が示されている。生徒レベル設定部312は、生徒ロボットの発音の正しさを表す指標である生徒レベルを設定する設定手段として機能する。
学習装置300は、記憶部350に母音発音テーブルと子音発音テーブルを記憶している。母音発音テーブル及び子音発音テーブルは、例えば、生徒ロボット200に生徒レベル設定部312が設定した生徒レベルに応じた発音の正しさのレベルで英単語を発音させるために用いられる。具体的には、学習装置300は、生徒ロボット200に発音させる英単語を構成する全ての音素について、当該音素の(当該音素の生徒レベルに応じた)発音データを、母音発音テーブル又は子音発音テーブルから取得し、取得した発音データを生徒ロボット200に送信する。そして、生徒ロボット200は、学習装置300から送信された発音データを制御情報受付部211で受け付けて、音声出力制御部213が当該発音データを用いて音声出力部240から当該英単語を出力することにより、生徒レベルに応じた発音の正しさのレベルで当該英単語を発音する。
母音発音テーブルは、図6に示すように、英語の各母音の模範発音(レベル2)、英語の各母音に対応する一般的な日本人の典型的な発音(レベル0)、模範発音と日本人の発音の中間のレベルの発音(レベル1)のデータ(発音データ)を記憶したテーブルである。図6で、「i0」「e0」「o0」「a0」と示されているのは、それぞれ日本語の「い」「え」「お」「あ」の発音に対応する発音データである。また、模範発音の行に示されている各発音記号は、それぞれの発音記号に対応する模範的な発音の発音データを表している。中間レベル発音の行に示されているのは、模範発音と日本人発音の中間的な発音の発音データを表している。
母音の発音には、対応する日本人の発音が1つに定まらない発音も存在する。例えば、「a」と「e」が密着している記号(ここでは[ae]で表す)で表される発音記号[ae]に対応する日本人発音として「あ」と「え」の2種類が考えられる。このような場合、中間レベル発音も複数種類想定できるので、図6に示す例では、「[ae]」の中間レベル発音として3種類が定義されている。この場合、ユーザが「[ae]」を発音する際に、「あ」に近い発音になるか、「[ae]」に近い発音になるか、「え」に近い発音になるかに応じて、同じレベル1でも発音データを3種類(図6では、「a1」「[ae]1」「e1」)使い分ける必要がある。図5に示すレベルテーブルでは、音素「[ae]」のユーザレベルとして「1a1」を記憶しており、これはレベル1のうち、「a1」の発音データで発音するものであることを示している。
子音発音テーブルは、図7に示すように、英語の各子音の模範発音(レベル2)、英語の各子音に対応する一般的な日本人の典型的な発音(レベル0)、模範発音と日本人の発音の中間のレベルの発音(レベル1)のデータ(発音データ)を記憶したテーブルである。図7で、「bu」「pu」「ru」「su」「zu」と示されているのは、それぞれ日本語の「ぶ」「ぷ」「る」「す」「ず」の発音に対応する発音データである。また、模範発音の行に示されている各発音記号は、それぞれの発音記号に対応する模範的な発音の発音データを表している。中間レベル発音の行に示されているのは、模範発音と日本人発音の中間的な発音の発音データを表している。
学習支援内容決定部313は、ユーザレベルや発音学習カリキュラム等を総合的に勘案して、実施する学習支援内容を決定する。
教師ロボット動作制御部314は、教師ロボット100の動作を制御する。ここで、教師ロボット100の動作は、教師ロボット100が手足等の可動部位を動かす行為(動作)や言葉等を発する行為(音声出力)等、教師ロボット100による表現行為全般を含む。教師ロボット動作制御部314は、例えば、学習支援内容決定部313が決定した学習支援内容を実施するにあたり必要となる動作や音声を決定し、決定した内容を教師ロボット100が実行するように制御する。例えば、教師ロボット動作制御部314は、実行する内容として英単語を発音することを決定した際には、当該英単語を構成する音素の発音データとして、模範発音の発音データを用いて当該英単語を発音するための発音データを生成し、生成した発音データを通信部320を介して教師ロボット100に送信することにより、教師ロボット100から模範的な発音で当該英単語が発音されるように制御する。このように、教師ロボット動作制御部314は、教師ロボット100の動作を制御する教師制御手段として機能する。
生徒ロボット動作制御部315は、生徒ロボット200の動作を制御する。ここで、生徒ロボット200の動作とは、生徒ロボット200が手足等の可動部位を動かす行為(動作)や言葉等を発する行為(音声出力)等、生徒ロボット200による表現行為全般を含む。生徒ロボット動作制御部315は、例えば、学習支援内容決定部313が決定した学習支援内容を実施するにあたり必要となる動作や音声を決定し、決定した内容を生徒ロボット200が実行するように制御する。例えば、生徒ロボット動作制御部315は、実行する内容として英単語を発音することを決定した際には、当該英単語を構成する音素の発音データとして、生徒レベル設定部312が設定した生徒レベルに基づく発音データを用いて当該英単語を発音するための発音データを生成し、生成した発音データを通信部320を介して生徒ロボット200に送信することにより、生徒ロボット200から生徒レベルに基づく発音の正しさのレベルで当該英単語が発音されるように制御する。このように、生徒ロボット動作制御部315は、生徒ロボット200の動作を制御する生徒制御手段として機能する。
ユーザレベル判定部316は、ユーザの発音の正しさを表す指標であるユーザレベルを判定する。具体的には、ユーザレベル判定部316は、ユーザの発音を取得し、取得したユーザの発音と模範的な発音との差を求め、この差に基づいてユーザレベルを判定する。そして、ユーザレベル判定部316は、判定したユーザレベルを記憶部350に記憶されているレベルテーブルに記憶させる。ユーザレベル判定部316は、ユーザの発音の正しさを表す指標であるユーザレベルを判定する判定手段として機能する。また、ユーザレベル判定部316は、ユーザの発音を取得する際、発音取得手段として機能する。
ユーザレベル判定部316が、ユーザの発音と模範的な発音との差を求める方法について、母音の発音と子音の発音に分けて説明する。
まず、母音の発音のユーザレベルの判定方法について説明する。母音は、図8に示すように、舌の位置や口の開き具合によって音が変化する。図8では、右側が「舌が奥」、左側が「舌が前」、上側が「狭い口の開き」、下側が「広い口の開き」の場合の各音素の配置を示しており、この図を母音図と言う。発音取得手段としてのユーザレベル判定部316は、ユーザの発音を音響分析することにより、ユーザの発音のこの母音図上での位置を求めることができる。そして、母音図上における模範発音の位置とユーザの発音の位置との距離が、ユーザの発音と模範的な発音との差である。ユーザレベル判定部316は、この差に基づいてユーザの発音の正確さ(ユーザレベル)を判定することができる(例えば、情報処理学会研究報告ISPJ SIG Technical Report Vol.2011-SLP-89 No.5 2011/12/19「発音訓練のための調音特徴に基づくIPA母音図へのリアルタイム表示」(森拓郎、入部百合絵、桂田浩一、新田恒雄)参照)。
例えばユーザが「え」と発音した時の図8上での位置が「□」で示されているとする。そして、ユーザは発音を練習するにつれて、図8上での位置を「△」や「○」にすることができたとする。この例では、ユーザレベル判定部316は、「□」はレベル0の発音だが、「△」はレベル1、「○」はレベル2の発音と判定する。ユーザレベル判定部316は、他の母音についても、同様に、図8に示す母音図上で、模範的な発音の位置とユーザの発音の位置との距離の大きさに基づいて、発音の正確さ(ユーザレベル)を判定する。
次に、子音の発音のユーザレベルの判定方法について説明する。子音は、フォルマントのf2(2倍音の周波数)及びf3(3倍音の周波数)で表されるフォルマント座標上のエリアによって模範発音を定義する(子音によってはf4(4倍音の周波数)も用いて3次元座標上のエリアで定義する場合もある)。例えば、子音「z」の模範発音の範囲は、図9に示すように、横軸をf2、縦軸をf3としたフォルマント座標上の図示されたエリアになる。ユーザの発音を音響分析することにより、ユーザの発音のこの座標上での位置を求めることができ、その位置と模範発音の範囲との距離が、ユーザの発音と模範的な発音との差になる。ユーザレベル判定部316は、この距離に基づいて、発音の正確さ(ユーザレベル)を判定する。
通信部320は、例えば、無線周波数(RF)回路、ベースバンド(BB)回路、大規模集積回路(LSI)、アンテナ等から構成される。通信部320は、アンテナを介して他の通信装置(例えば、教師ロボット100、生徒ロボット200、図示しないアクセスポイント等)と無線データ通信を行う。学習装置300は、通信部320を介して、発音学習カリキュラムを外部のサーバ等から記憶部350にダウンロードすることができる。このため、学習装置300は、後述する学習支援制御処理を開始する前に、ユーザの学習履歴や各発音の得手不得手の情報等に基づいて、当該ユーザに適した発音学習カリキュラムをダウンロードしておくことができる。また、学習装置300は、通信部320を介して、例えば、教師ロボット100や生徒ロボット200に、上述した発音データ等を送信する。なお、通信部320は、USBケーブルやHDMI(登録商標)ケーブル等を用いて他の通信装置と有線通信を行うように構成されてもよい。
音声入力部330は、例えば、マイクロフォン等から構成される。音声入力部330は、ユーザの発言を音声情報として取得する。
音声出力部340は、例えば、スピーカ等から構成される。音声出力部340は、制御部310から取得した音声信号に応じて、音声を出力する。出力される音声は、例えば、実施する学習内容の切り替わりを知らせる報知音や短い音楽、質問に対する回答の正誤の別を知らせる効果音等である。これらの音声データは、後述する記憶部350に記憶されており、適宜、記憶部350から読み出されて再生される。
記憶部350は、制御部310が学習装置300の各構成部位を制御するために必要な各種データを記憶する。記憶部350は、例えば、フラシュメモリやHDD等の不揮発性の記憶装置により構成される。記憶部350は、例えば、発音学習カリキュラムや学習装置300から出力される音声データを所定の記憶領域に記憶する。
また、記憶部350が記憶するデータには、上述したレベルテーブル、母音発音テーブル、子音発音テーブルだけでなく、学習履歴テーブルも含まれる。
学習履歴テーブルは、ユーザが学習支援システム1を利用して学習した履歴情報をまとめたテーブルである。学習履歴テーブルは、図10に示すように、「学習開始日時」と「学習終了日時」と、「学習時間」と、「学習実績」の各データを対応付けて構成されている。ここで、本実施形態では、学習支援システム1において実施される学習支援は1回30分程度で終了するように学習支援内容が設定されるものとする。また、学習支援内容は、主に英語(英単語)の正しい発音を指導する内容である。
「学習実績」には、発音指導及び発音矯正を行った単語と、それぞれの発音の正しさのレベル(ユーザレベル)が列挙される。実際には、ユーザレベルは英単語の音素毎に判定及び記憶されているが、図10では簡単のため、単語毎に1つのユーザレベルを括弧書きで記載している。例えば、各単語に含まれる各音素のユーザレベルの中で、最も低いユーザレベルをその単語のユーザレベルと定義することもできるので、図10にはそのように定義したユーザレベルが記載されていると考えることもできる。
操作部360は、例えば、操作ボタン、タッチパネル等から構成される。操作部360は、例えば、学習の開始又は終了、対応モードの選択、質問に対する回答の入力等のユーザ操作を受け付けるためのインタフェースである。
表示部370は、例えば、LCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイ等によって構成され、制御部310から入力された画像データに応じて画像を表示する。表示部370は、例えば、図11に示すように、発音させる英単語を表すものの絵等を表示画面に表示する。
学習支援システム1では、図12に示すように、学習装置300が取り付けられている教師ロボット100が、生徒ロボット200(ここでは「Bear」という名前)やユーザ400(ここでは「花子」という名前)に対して発音を促し、ユーザ400の発音の正確さを判定して、より正確な発音ができるように指導していく。
ユーザレベル及び生徒レベルは、最初は0になっており、例えば、図13に示すように、教師ロボット100は生徒ロボット200に対して、「apple」と発音するように促す。生徒ロボット200は、初めは日本語の発音(生徒レベル=0)で「アップル」と発声する(発音記号はΛppulu)が、発話する度に生徒レベルを1や2へと向上させて良い発音をするようにさせている。その後、教師ロボット100はユーザ400に対しても同様に「apple」と発音するように促す。ユーザ400は、初めは日本語の発音(生徒レベル=0)で「アップル」と発声する(発音記号はΛppulu)が、2回目にはすぐに模範発音ができるようになり、ユーザレベルは2になっている。
なお、ユーザ400の発音が改善して、ユーザレベル=1が記憶部350のレベルテーブルに記憶されている場合は、図14に示すように、生徒レベル=1から生徒ロボット200による発音が行われる。
次に、図15に示すフローチャートを参照しながら、学習装置300の制御部310が実行する学習支援制御処理について説明する。学習支援制御処理は、ユーザ400の発音の正しさ(ユーザレベル)等に基づいて、学習支援内容を決定し、決定した学習支援内容に応じた英語の発音の学習支援を実施する処理である。
制御部310は、ユーザ400による学習開始の指示操作を操作部360が受け付けたことに応答して、学習支援制御処理を開始する。学習支援制御処理が開始されると、制御部310のユーザレベル取得部311は、ユーザレベルを取得する(ステップS101)。ステップS101は、取得ステップとも呼ばれる。
具体的には、ユーザレベル取得部311は、記憶部350に記憶されているレベルテーブルから、各音素のユーザレベルを取得する。なお、ユーザレベル取得部311は、ユーザ認識を行って、現在教師ロボット100に指導を受けているユーザ400のレベルテーブルから各音素のユーザレベルを取得してもよい。具体的には、教師ロボット100の撮像部170に、ユーザ400の顔等を撮像させ、撮像した画像データを通信部120に送信させる。そして、ユーザレベル取得部311は、通信部320を介して取得した画像データに対して画像認識処理を行う。これにより、ユーザレベル取得部311は、ユーザ400を認識し、そのユーザ400のレベルテーブルから、各音素のユーザレベルを取得することができる。
また、ユーザレベル取得部311は、音声入力部330からユーザ400が発声した内容を示す音声データを取得し、その音声データに対して音声認識処理等を施すことにより、ユーザ400を認識し、そのユーザ400のレベルテーブルから、各音素のユーザレベルを取得してもよい。
次に、制御部310の生徒レベル設定部312は、生徒レベルを設定する(ステップS102)。ステップS102は、設定ステップとも呼ばれる。簡単には、ステップS101で取得した各音素のユーザレベルをそのままそれぞれの音素の生徒レベルとして設定し、レベルテーブルの生徒レベルとして登録する。
続いて、制御部310の学習支援内容決定部313は、今回実施する学習支援内容を決定する(ステップS103)。その際、学習支援内容決定部313は、レベルテーブルや学習履歴テーブルに含まれる各種データ、あらかじめ設定又はダウンロードされた発音学習カリキュラム等を総合的に勘案して今回実施する学習支援内容を決定する。例えば、学習支援内容決定部313は、苦手な発音があることを示すデータ(例えば、「r」の発音のユーザレベルが低いままであることを示すデータ等)が存在する場合には、その発音を多数含む英単語の発音練習をさせて発音のレベルの向上を図ったり、又は逆に、得意な発音を多数含む英単語の発音練習をさせてユーザ400の学習意欲を向上させたりするように、学習支援内容を決定する。学習支援内容を決定したら、制御部310は、例えば、音声出力部340を制御して、学習支援の開始を報知するアナウンス(例えば、学習支援開始を知らせる報知音や「Let’s get started!(始めましょう!)」等の音声)を出力させてもよい。
次に、制御部310は、音声出力部340を制御して、生徒ロボット200に呼びかける(ステップS104)。例えば、生徒ロボット200の名前(図12では「Bear」)を発話する。この呼びかけは、音声出力部340で出力してもよいし、制御部310の教師ロボット動作制御部314により、教師ロボット100の音声出力部140で出力させてもよい。
続いて、制御部310は、学習支援内容に基づいて決定された英単語の模範的な発音を、音声出力部340から出力する(ステップS105)。この模範発音は、音声出力部340で出力してもよいし、制御部310の教師ロボット動作制御部314により、教師ロボット100の音声出力部140で出力させてもよい。模範発音の出力には、記憶部350に記憶されている母音発音テーブル及び子音発音テーブルの模範発音の発音データを用いる。
続いて、制御部310は、学習支援内容に基づいて決定された英単語と同じ英単語について、生徒ロボット200に生徒レベルに応じた発音をさせる(ステップS106)。その際、生徒ロボット動作制御部315は、記憶部350に記憶されているレベルテーブル、母音発音テーブル及び子音発音テーブルに基づき、当該英単語を構成する各音素の(その音素の生徒レベルに応じた)発音データを生徒ロボット200に送信する。すると、生徒ロボット200の制御部210は、受信した発音データを用いて音声出力部240から当該英単語を発音させる。このように、生徒ロボット動作制御部315は、生徒ロボット200に、英単語を構成する各音素を生徒レベルに基づいた発音で発音させることによって、生徒ロボット200による当該英単語の発音の正しさのレベルを変更する。ステップS106は、生徒制御ステップとも呼ばれる。
続いて、制御部310は、生徒ロボットの全ての音素の生徒レベルが模範レベル(レベル2)であるか否かを判定する(ステップS107)。模範レベルになっていない音素が存在するなら(ステップS107;No)、その音素の生徒レベルを上げて(ステップS108)、ステップS105に戻る。全ての音素の生徒レベルが模範レベル(レベル2)であるなら(ステップS107;Yes)、制御部310は、音声出力部340を制御して、生徒ロボットを誉める(ステップS109)。この誉める言葉(例えば「Great!」等)は、音声出力部340で出力してもよいし、制御部310の教師ロボット動作制御部314により、教師ロボット100の音声出力部140で出力させてもよい。
次に、制御部310は、音声出力部340を制御して、ユーザ400に呼びかける(ステップS110)。例えば、ユーザ400の名前(図12では「Hanako」)を発話する。この呼びかけは、音声出力部340で出力してもよいし、制御部310の教師ロボット動作制御部314により、教師ロボット100の音声出力部140で出力させてもよい。
続いて、制御部310は、先ほど生徒ロボット200に発音させた英単語の模範的な発音を、音声出力部340から出力する(ステップS111)。この模範発音は、音声出力部340で出力してもよいし、制御部310の教師ロボット動作制御部314により、教師ロボット100の音声出力部140で出力させてもよい。
続いて、制御部310は、音声入力部330により、ユーザ400による英単語の発音を取得する(ステップS112)。そして、ユーザレベル判定部316は、取得したユーザ400による英単語の発音を音響分析して、ユーザ400による英単語の発音の正しさを表す指標であるユーザレベルを判定し(ステップS113)、判定結果を記憶部350に記憶されているレベルテーブルに反映させる。
続いて、制御部310は、ユーザレベル判定部316が判定したユーザレベルが模範レベル(レベル2)であるか否かを判定する(ステップS114)。ユーザレベルが模範レベル(レベル2)なら(ステップS114;Yes)、制御部310は、音声出力部340を制御して、ユーザ400を誉め(ステップS115)、ステップS117に進む。ステップS115でユーザ400を誉める言葉(例えば「Fantastic!」等)は、音声出力部340で出力してもよいし、制御部310の教師ロボット動作制御部314により、教師ロボット100の音声出力部140で出力させてもよい。
一方、ユーザレベルが模範レベル(レベル2)でないなら(ステップS114;No)、制御部310は、ユーザ400の発音練習を所定回数(例えば3回)繰り返したか否かを判定する(ステップS116)。繰り返していなければ(ステップS116;No)、ステップS111に戻る。繰り返したら(ステップS116;Yes)、制御部310は、学習支援を終了するか否かを判定する(ステップS117)。制御部310は、ユーザ400による学習終了の指示操作を操作部360が受け付けたか否か、あるいは、今回実施予定の学習支援内容がすべて実施されたか否かに応じて、学習支援を終了するか否かを判定する。学習支援を終了すると判定した場合(ステップS117;Yes)、制御部310は、動作制御処理を終了する。
一方、制御部310は、学習支援を継続すると判定した場合(ステップS117;No)、ステップS104に戻る。そして、学習支援を終了するまで(ステップS117においてYesと判定するまで)、ステップS104からステップS116の処理を繰り返す。
以上に述べたように、本実施形態によれば、学習装置300は、ユーザ400による英単語の発音の正しさ(ユーザレベル)に応じて設定された生徒レベル(生徒ロボット200による当該英単語の発音の正しさ)で生徒ロボット200にも発音をさせる。これにより、学習装置300は、生徒ロボット200にユーザ400に対して段階を追って発音が正しくなっていく様子を示すような発声をさせることができる。したがって、学習装置300によれば、ユーザ400の発音に応じて適切に発音学習を支援することができる。
なお、上述の実施形態では、生徒レベルの設定方法として、最初はユーザレベルと同じに設定し、学習支援制御処理(図15)のステップS108で模範レベル(レベル2)に達していない音素の生徒レベルを1つ上げる処理を行っているが、これに限られない。ユーザ400による英単語の母音の発音は、図8に示すような母音図の上を二次元ベクトル的に行きつ戻りつしながら模範発音に近づいていく。したがって、このユーザ400による英単語の発音の模範発音に近づいていくベクトル的な方向や距離に応じて、生徒ロボット200にその付近で模範発音に近い位置に対応する発音をさせることで、ユーザ400に発音の改善の方向をわかりやすく示すようにしてもよい。
また、上述の実施形態では、ユーザ400が1度でも正しい発音をするとユーザレベルを上げるようにしているが、これに限られない。例えば、規定回数(例えば3回)連続して正しい発音をしたらユーザレベルを上げる、次の学習日にも正しい発音ができたらユーザレベルを上げる、のように、簡単にユーザレベルを上げないようにしてもよい。また、1度ユーザレベルが上がっても、その後の発音が悪かったらユーザレベルを下げるようにしてもよい。
また、上述の実施形態の学習支援内容(図13、図14、図15)では、最初に生徒ロボット200だけが生徒レベルを上げながら発音を行い、その後ユーザ400が発音を行うような学習形式になっているが、これに限られない。生徒ロボット200とユーザ400とが交互に1回ずつ発音しながら、ユーザ400の発音の正確さの向上度合いを確認しながら生徒レベルを上げていくようにしてもよい。
また、上述の実施形態では学習装置300がユーザ400の顔画像によりユーザ識別を行うためには教師ロボット100の撮像部170にユーザ400の顔画像を撮像させる必要があったが、学習装置300が撮像部を備えて、学習装置300のみでユーザ識別を行えるようにしてもよい。
以上説明したように、学習装置300により、ユーザ400の発音の正しさ(ユーザレベル)や学習履歴に基づいて、生徒ロボット200の発音の正しさ(生徒レベル)が制御される。これにより、生徒ロボット200を、ユーザ400に近い発音の正しさから模範的な発音に至るまで、ユーザ400と一緒に発音練習する生徒として行動させることができる。これにより、学習装置300は、ユーザ400に発音の改善の方向をわかりやすく示すことができ、ユーザ400の発音に応じて適切に発音学習を支援することができる。また、発音学習カリキュラムはユーザ400の学習履歴や発音の得手不得手の情報等に基づいて外部からダウンロードすることにより交換可能なので、ユーザ400の性格や特性等に応じて、適切に発音学習を支援することができる。
なお、本発明は、上述の実施形態に限定されず、種々の変形及び応用が可能である。前記の実施形態は、次のように変形されてもよい。
上述の実施形態では、学習装置300の制御部310が、教師ロボット100及び生徒ロボット200の動作を一括して制御している。しかし、教師ロボット100、生徒ロボット200、学習装置300から独立した制御装置が教師ロボット100及び生徒ロボット200の動作を制御するように構成されてもよい。また、教師ロボット100と生徒ロボット200とが、通信可能に接続され、互いに連携してユーザ400に対して学習支援を実施するように構成されてもよい。
上述の実施形態では、学習支援システム1は、教師ロボット100と、生徒ロボット200と、学習装置300とを備える。しかし、本発明に係る学習支援システム1は、このような構成に限られない。
例えば、学習支援システム1は、教師ロボット100と学習装置300の代わりに、学習を指導する機能を備える問題出力装置を備える構成であってもよい。この場合、問題出力装置が、ユーザ400及び生徒ロボット200に質問を提示し、生徒ロボット200が、生徒ロボット設定項目や対応モードに基づいて、その質問に回答するような構成であってもよい。
上述の実施形態では、学習装置300のユーザレベル取得部311は、ユーザ400の発音の正しさを表す指標として、ユーザレベルを取得した。しかし、これに限らず、ユーザレベル取得部311が、ユーザレベルに替えて、又は、これに加えて、ユーザ400の声の大きさ、表情、学習に取り組む意欲や態度を表す各種データ等、ユーザ400の学習レベルを評価し得る情報を取得するようにしてもよい。
上述の実施形態において、制御部310のCPUが実行する動作プログラムは、あらかじめROM等に記憶されていた。しかしながら、本発明は、これに限定されず、上述の各種処理を実行させるための動作プログラムを、既存の汎用コンピュータや、フレームワーク、ワークステーション等に実装することにより、上述の実施形態に係る学習装置300に相当する装置として機能させてもよい。
このようなプログラムの提供方法は任意であり、例えば、コンピュータが読取可能な記録媒体(フレキシブルディスク、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、MO(Magneto-Optical Disc)、メモリカード、USBメモリ等)に格納して配布してもよいし、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。
また、上述の処理をOS(Operating System)とアプリケーションプログラムとの分担、又は、OSとアプリケーションプログラムとの協働によって実行する場合には、アプリケーションプログラムのみを記録媒体やストレージに格納してもよい。また、搬送波にプログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板(BBS:Bulletin Board System)に上記プログラムを掲示し、ネットワークを介してプログラムを配信してもよい。そして、このプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。さらにまた、学習装置300の実体がクラウド上にあり、生徒ロボット200を通信で制御してもよい。
なお、上述の実施形態では、英語の発音学習支援を例に説明したが、学習支援システム1は、ユーザ400が発音を学習する言語であれば、英語に限らず任意の言語について、同様の仕組みでユーザ400の発音学習を支援することができる。
本発明は、本発明の広義の精神と範囲とを逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、前述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
ユーザと共に所定の言語の発音を学習する生徒役を担うロボットを制御する学習装置であって、
前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを取得する取得手段と、
前記取得手段が取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定手段と、
前記設定手段が設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御手段と、
を備える学習装置。
(付記2)
前記ユーザレベルを判定する判定手段をさらに備え、
前記取得手段は前記判定手段が判定したユーザレベルを取得する、
付記1に記載の学習装置。
(付記3)
前記ユーザによる前記所定の言語の発音を取得する発音取得手段をさらに備え、
前記判定手段は、母音図上における前記所定の言語の模範発音の位置と前記取得された前記ユーザによる前記所定の言語の発音の位置との距離に基づいて前記ユーザレベルを判定する、
付記2に記載の学習装置。
(付記4)
前記生徒制御手段は、前記ロボットに発音させる前記所定の言語の単語を構成する音素の発音データとして、前記設定手段が設定した生徒レベルに基づく発音データを用いることによって、前記ロボットによる前記所定の言語の発音の正しさのレベルを変更する、
付記1から3のいずれか1つに記載の学習装置。
(付記5)
前記取得手段は、前記ユーザレベルを前記所定の言語を構成する音素毎に取得する、
付記1から4のいずれか1つに記載の学習装置。
(付記6)
前記設定手段は、前記生徒レベルを前記所定の言語を構成する音素毎に設定する、
付記5に記載の学習装置。
(付記7)
前記学習装置は教師役を担う教師ロボットを含む、
付記1から6のいずれか1つに記載の学習装置。
(付記8)
前記ユーザレベルで表される前記所定の言語の発音の正しさは、前記所定の言語を母語とする人間による前記所定の言語の発音を基準とした正しさである、
付記1から7のいずれか1つに記載の学習装置。
(付記9)
付記1から8のいずれか1つに記載の学習装置により制御される生徒役を担うロボット。
(付記10)
ユーザと共に所定の言語の発音を学習する生徒役を担うロボットであって、
前記ロボットを制御する学習装置を含み、
前記学習装置は、
前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを取得する取得手段と、
前記取得手段が取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定手段と、
前記設定手段が設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御手段と、
を備えるロボット。
(付記11)
ユーザと共に所定の言語の発音を学習する生徒役を担うロボットと、前記ロボットを制御する学習装置と、を含み、
前記学習装置は、
交換可能な発音学習カリキュラムに従って動作し、
前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを取得し、
前記取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定し、
前記設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる制御を行う学習支援システム。
(付記12)
ユーザと共に所定の言語の発音を学習する生徒役を担うロボットを制御する学習装置で実行される学習装置制御方法であって、
前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを取得する取得ステップと、
前記取得ステップで取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定ステップと、
前記設定ステップで設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御ステップと、
を備える学習装置制御方法。
(付記13)
ユーザと共に所定の言語の発音を学習する生徒役を担うロボットを制御する学習装置のコンピュータに実行させるプログラムであって、
前記学習装置のコンピュータに、
前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを取得する取得ステップ、
前記取得ステップで取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定ステップ、及び、
前記設定ステップで設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御ステップ、
を実行させるプログラム。
1…学習支援システム、100…教師ロボット、110,210,310…制御部、111,211…制御情報受付部、112,212…駆動制御部、113,213…音声出力制御部、114…撮像制御部、120,220,320…通信部、130,230…駆動部、140,240,340…音声出力部、150,250,350…記憶部、160,260,360…操作部、170…撮像部、200…生徒ロボット、300…学習装置、311…ユーザレベル取得部、312…生徒レベル設定部、313…学習支援内容決定部、314…教師ロボット動作制御部、315…生徒ロボット動作制御部、316…ユーザレベル判定部、330…音声入力部、370…表示部、400…ユーザ

Claims (11)

  1. ユーザと共に所定の言語の発音を学習する生徒役を担うロボットを制御する学習装置であって、
    前記ユーザによる前記所定の言語の発音を取得する発音取得手段と、
    母音図上における前記所定の言語の模範発音の位置と前記取得された前記ユーザによる前記所定の言語の発音の位置との距離に基づいて、前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを判定する判定手段と、
    前記判定手段が判定したユーザレベルを取得する取得手段と、
    前記取得手段が取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定手段と、
    前記設定手段が設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御手段と、
    を備える学習装置。
  2. 前記生徒制御手段は、前記ロボットに発音させる前記所定の言語の単語を構成する音素の発音データとして、前記設定手段が設定した生徒レベルに基づく発音データを用いることによって、前記ロボットによる前記所定の言語の発音の正しさのレベルを変更する、
    請求項1に記載の学習装置。
  3. 前記取得手段は、前記ユーザレベルを前記所定の言語を構成する音素毎に取得する、
    請求項1または2に記載の学習装置。
  4. 前記設定手段は、前記生徒レベルを前記所定の言語を構成する音素毎に設定する、
    請求項に記載の学習装置。
  5. 前記学習装置は教師役を担う教師ロボットを含む、
    請求項1からのいずれか1項に記載の学習装置。
  6. 前記ユーザレベルで表される前記所定の言語の発音の正しさは、前記所定の言語を母語とする人間による前記所定の言語の発音を基準とした正しさである、
    請求項1からのいずれか1項に記載の学習装置。
  7. 請求項1からのいずれか1項に記載の学習装置により制御される生徒役を担うロボット。
  8. ユーザと共に所定の言語の発音を学習する生徒役を担うロボットであって、
    前記ロボットを制御する学習装置を含み、
    前記学習装置は、
    前記ユーザによる前記所定の言語の発音を取得する発音取得手段と、
    母音図上における前記所定の言語の模範発音の位置と前記取得された前記ユーザによる前記所定の言語の発音の位置との距離に基づいて、前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを判定する判定手段と、
    前記判定手段が判定したユーザレベルを取得する取得手段と、
    前記取得手段が取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定手段と、
    前記設定手段が設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御手段と、
    を備えるロボット。
  9. ユーザと共に所定の言語の発音を学習する生徒役を担うロボットと、前記ロボットを制御する学習装置と、を含み、
    前記学習装置は、
    交換可能な発音学習カリキュラムに従って動作し、
    前記ユーザによる前記所定の言語の発音を取得し、
    母音図上における前記所定の言語の模範発音の位置と前記取得された前記ユーザによる前記所定の言語の発音の位置との距離に基づいて、前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを判定し、
    判定されたユーザレベルを取得し、
    前記取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定し、
    前記設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる制御を行う学習支援システム。
  10. ユーザと共に所定の言語の発音を学習する生徒役を担うロボットを制御する学習装置で実行される学習装置制御方法であって、
    前記ユーザによる前記所定の言語の発音を取得する発音取得ステップと、
    母音図上における前記所定の言語の模範発音の位置と前記取得された前記ユーザによる前記所定の言語の発音の位置との距離に基づいて、前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを判定する判定ステップと、
    前記判定ステップで判定されたユーザレベルを取得する取得ステップと、
    前記取得ステップで取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定ステップと、
    前記設定ステップで設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御ステップと、
    を備える学習装置制御方法。
  11. ユーザと共に所定の言語の発音を学習する生徒役を担うロボットを制御する学習装置のコンピュータに実行させるプログラムであって、
    前記学習装置のコンピュータに、
    前記ユーザによる前記所定の言語の発音を取得する発音取得ステップ、
    母音図上における前記所定の言語の模範発音の位置と前記取得された前記ユーザによる前記所定の言語の発音の位置との距離に基づいて、前記ユーザによる前記所定の言語の発音の正しさを表す指標であるユーザレベルを判定する判定ステップ、
    前記判定ステップで判定されたユーザレベルを取得する取得ステップ、
    前記取得ステップで取得したユーザレベルに基づいて、前記ロボットによる前記所定の言語の発音の正しさを表す指標である生徒レベルを設定する設定ステップ、及び、
    前記設定ステップで設定した生徒レベルで表される発音の正しさのレベルで前記ロボットに前記所定の言語を発音させる生徒制御ステップ、
    を実行させるプログラム。
JP2019078254A 2018-05-30 2019-04-17 学習装置、ロボット、学習支援システム、学習装置制御方法及びプログラム Active JP7263895B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910460007.4A CN110556095B (zh) 2018-05-30 2019-05-29 学习装置、机器人、学习支援系统、学习装置控制方法以及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018103429 2018-05-30
JP2018103429 2018-05-30

Publications (2)

Publication Number Publication Date
JP2019211762A JP2019211762A (ja) 2019-12-12
JP7263895B2 true JP7263895B2 (ja) 2023-04-25

Family

ID=68845181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019078254A Active JP7263895B2 (ja) 2018-05-30 2019-04-17 学習装置、ロボット、学習支援システム、学習装置制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7263895B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256040A (zh) * 2020-02-07 2021-08-13 顾得科技教育股份有限公司 学习轨迹分析系统
CN112614400B (zh) * 2020-12-18 2021-08-31 重庆师范大学 一种教育机器人与课堂教学的控制方法及系统
CN115936944B (zh) * 2023-01-31 2023-10-13 西昌学院 一种基于人工智能的虚拟教学管理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024139A1 (fr) 1999-09-27 2001-04-05 Kojima Co., Ltd. Systeme d'evaluation de la prononciation
JP2005031207A (ja) 2003-07-08 2005-02-03 Omron Corp 発音練習支援システム、発音練習支援方法、発音練習支援プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2017173546A (ja) 2016-03-23 2017-09-28 カシオ計算機株式会社 学習支援装置、ロボット、学習支援システム、学習支援方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024139A1 (fr) 1999-09-27 2001-04-05 Kojima Co., Ltd. Systeme d'evaluation de la prononciation
JP2005031207A (ja) 2003-07-08 2005-02-03 Omron Corp 発音練習支援システム、発音練習支援方法、発音練習支援プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2017173546A (ja) 2016-03-23 2017-09-28 カシオ計算機株式会社 学習支援装置、ロボット、学習支援システム、学習支援方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
森 拓郎 Takurou Mori,発音訓練のための調音特徴に基づくIPA母音図へのリアルタイム表示 Real-time Visualization of English Pronunciation on an IPA Vowel-Chart Based on Articulatory Feature Extraction,情報処理学会研究報告 2011(平成23)年度▲5▼ [CD-ROM] ,日本,一般社団法人情報処理学会
足立祥啓,柏原昭博,"英文読み合いを実現する学習パ-トナ-ロボット", [online],HAI シンポジウム2017 Human-Agent Interaction Symposium 2017,日本,HAI シンポジウム2017 Human-Agent Interaction Symposium 2017,2017年12月11日,P-8,p.1-6,[2022年12月22日検索],インターネット <URL:https://hai-conference.net/proceedings/HAI2017/pdf/P-8.pdf>
近藤 隆路 Takamichi Kondo,FIT2015 第14回情報科学技術フォーラム 講演論文集 第3分冊 査読付き論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション&インタラクション 教育工学・福祉工学・マルチメディア応用 Forum on Information Technology 2015

Also Published As

Publication number Publication date
JP2019211762A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
US20180165980A1 (en) Educational robot control device, student robot, teacher robot, learning support system, and robot control method
CN107225578B (zh) 机器人控制装置、机器人、机器人控制方法及系统
JP7263895B2 (ja) 学習装置、ロボット、学習支援システム、学習装置制御方法及びプログラム
Pennington et al. Using technology for pronunciation teaching, learning, and assessment
Engwall et al. Designing the user interface of the computer-based speech training system ARTUR based on early user tests
KR101973791B1 (ko) 말소리 교정 방법
US11210964B2 (en) Learning tool and method
JP2017173546A (ja) 学習支援装置、ロボット、学習支援システム、学習支援方法及びプログラム
KR101822026B1 (ko) 아바타 기반의 언어 학습시스템
KR102225435B1 (ko) Stt 기반 언어구사 학습-훈련 시스템
JP2004021102A (ja) 会話練習システムおよびその方法
US20210291379A1 (en) Robot, speech synthesizing program, and speech output method
JP6466391B2 (ja) 言語学習装置
JP7376071B2 (ja) コンピュータプログラム、発音学習支援方法及び発音学習支援装置
CN110556095B (zh) 学习装置、机器人、学习支援系统、学习装置控制方法以及存储介质
KR20140004541A (ko) 음성인식엔진을 이용한 음소별 피드백을 통한 외국어 파닉스 학습 서비스 제공 방법
JP6841309B2 (ja) 電子機器およびプログラム
US10825357B2 (en) Systems and methods for variably paced real time translation between the written and spoken forms of a word
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
KR20140107067A (ko) 이미지 데이터와 원어민 발음 데이터를 이용한 단어 학습장치 및 방법
JP2018205771A (ja) ロボット制御装置、ロボット制御方法及びプログラム
KR20140082127A (ko) 단어의 어원 및 원어민의 발음 데이터를 이용한 단어 학습장치 및 방법
KR20140087950A (ko) 언어 데이터 및 원어민의 발음 데이터를 이용한 리듬 패턴 학습장치 및 방법
US20210050031A1 (en) Systems and methods for variably paced real-time translation between the written and spoken forms of a word
KR20030078493A (ko) 외국어 학습장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R150 Certificate of patent or registration of utility model

Ref document number: 7263895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150