JP7119615B2

JP7119615B2 - サーバ、音データ評価方法、プログラム、通信システム

Info

Publication number: JP7119615B2
Application number: JP2018113949A
Authority: JP
Inventors: 惇平三神; 真夕計田; 和博寺山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-06-14
Filing date: 2018-06-14
Publication date: 2022-08-17
Anticipated expiration: 2038-06-14
Also published as: JP2019215502A

Description

本発明は、サーバ、音データ評価方法、プログラム、及び、通信システムに関する。

英会話などの外国語教室やアナウンス教室など、生徒が実際に声を出して教師からフィードバックを受けて正しい発音や発声を習得したいというニーズは少なくない。習得の際は、教師と生徒が教室など同じ場所に集まり、生徒の出す音に対して教師が実例を交えながら指導するという形態が取られる。

近年では、インターネットを利用して、遠隔地の教師と生徒が発音や発声を学習する形態も実用化されている。例えば、外国語教室においては、テレビ会議等に使用される通信システムを使って１対１で指導を受けられる音の教育システムが既に知られている。

また、１人の教師に対し複数人の生徒が同時に指導を受けることを想定した音の教育システムも知られている（例えば、特許文献１参照。）。特許文献１には、設定した問題を生徒が端末を介して回答でき、それを教師が確認して複数の生徒を指導するシステムが開示されている。

しかしながら、従来の技術では、１人の教師が複数人の生徒を並行して指導することは困難であるという問題がある。教師と生徒が１対１であれば、教師が生徒の発声を確認して細やかな指導が可能である。しかし、複数人の生徒がいる場合、生徒に１人ずつ発声させて教師がアドバイスするのには時間がかかってしまう。一方、複数の生徒が同時に発声すれば時間を短縮できるが、評価対象が音であるため、教師が複数人の生徒の発声を同時に評価することは難しく細やかな指導が困難になる。

本発明は、上記課題に鑑み、１人の教師が複数の生徒を並行して発声の指導をすることができるサーバを提供することを目的とする。

上記課題に鑑み、本発明は、複数の通信端末とネットワークを介して通信可能なサーバであって、第１のユーザが操作する第１の通信端末の指示により第１の音データを複数の第２の通信端末にそれぞれ送信して、前記複数の第２の通信端末の第２のユーザがそれぞれ発した複数の第２の音データをそれぞれ受信する通信手段と、前記第１の音データと、前記複数の第２の通信端末それぞれから取得した前記第２の音データとに基づき、複数の前記第２の音データそれぞれに対する評価を生成する生成手段と、を有し、前記通信手段は、前記第１の通信端末に、前記生成手段によって得られた評価、前記複数の第２の通信端末の前記第２のユーザがそれぞれ発した複数の前記第２の音データの識別情報又は前記第２の音データそれぞれ、及び、複数の前記第２の音データの出力を個別に受け付けるボタンを有する第１の画面の画面情報、を送信することを特徴とする。

１人の教師が複数の生徒を並行して発声の指導をすることができるサーバを提供することができる。

通信システムが生徒の音声を評価する処理の概略を説明する図の一例である。通信システムの概略図の一例である。端末の一例のハードウェア構成図である。管理システムの一例のハードウェア構成図である。端末の一例のソフトウェア構成図である。通信システムの一部を構成する端末、及び管理システムの機能ブロック図の一例である。認証管理テーブル、端末管理テーブル、グループ管理テーブルの一例を示す図である。録音管理テーブル、結果管理テーブルの一例を示す図である。端末が管理システムへログインする処理を示すシーケンス図の一例である。管理システムが生徒の音声データを評価する手順を示すシーケンス図の一例である（録音ファイルを出力）。教師画面Ｔ１の一例を示す図である。教師画面Ｔ２ａ、Ｔ２ｂの一例を示す図である。教師画面Ｔ３の一例を示す図である。生徒画面Ｓ１の一例を示す図である。生徒画面Ｓ２の一例を示す図である。生徒画面Ｓ３の一例を示す図である。管理システムが生徒の音声データを評価する手順を示すシーケンス図の一例である（教師が発声）。音声認識を模式的に説明する図の一例である。通信システムの概略図の別の例である。通信システムの概略図の別の例である。端末が管理システムへログインする処理を示すシーケンス図の一例である。端末におけるＷｅｂアプリの構成例を示す図である。

以下、本発明を実施するための形態の一例として、通信システムと通信システムが行う音データ評価方法について図面を参照しながら説明する。

＜処理の概略＞
図１は、本実施形態の通信システム１が生徒の音声を評価する処理の概略を説明する図の一例である。図１では、通信ネットワークを介して管理システム５０に教師が使用する端末１０と生徒が使用する端末７０Ａ～７０Ｃ（いずれも後述する通信端末に相当）が通信できるように接続されている。
（１）まず、教師がお手本の音声を発声する（あるいは予め登録されているお手本の音声を使用してよい）。お手本の音声は管理システム５０を介して端末７０Ａ～７０Ｃに送信され、生徒が聴くことができる。
（２）次に、生徒は教師の音声をお手本に、ほぼ同時に（少なくとも一部の時間帯で重複して）音声を発声する。生徒の音声は管理システム５０に送信される。
（３）管理システム５０は、お手本の音声と生徒の音声をそれぞれ比較して、どの程度、生徒の音声がお手本に近いかを評価する。
（４）管理システム５０は全生徒の評価結果を教師の端末１０に送信する。端末１０は全生徒の評価結果を表示するので教師は各生徒の評価結果を確認して各生徒の発声を向上させる細やかな指導が可能となる。

このように本実施形態の通信システム１は、遠隔地の教師が複数の生徒の発声を指導する形態においても、管理システム５０が教師の音声と各生徒の音声を比較するので、１人の教師が多数の生徒の発声を並行して指導することが可能になる。

＜用語について＞
会議とは本来、会合して評議したり、集まって話し合ったりすることを言うが、本実施形態ではインターネットを介して話し合うため同じ場所に集まる必要はない。また、音の評価や指導を行う会合も会議の一形態である。

音データとは、空気の振動が電気信号に変換されたものであればよい。本実施形態では人が発声する音声データを例にして説明する。また、所定の言語として英語の発声を指導する通信システム１を説明するが、英語以外の所定の言語（中国語、フランス語、スペイン語、ロシア語、ドイツ語、アラビア語等）にも適用できる。また、音データとしては音声に限られず、音楽教室などで楽器が発する音でもよい。

また、音は空気が振動する状態を言い、音データは情報又はデータであるが、本実施形態では両者を厳密には区別しない。

並行して指導するとは、１つのテレビ会議に複数の生徒が参加し、音を発声する時間帯が重複することがあっても、１対１の授業と同等の指導が可能であることをいう。並行して指導することを「同時に指導する」と称してもよい。

＜システム構成例＞
図２は、本実施形態に係る通信システム１の概略図である。図２に示されているように、通信システム１は、テレビ会議端末が一例である複数の通信端末１０ａ，１０ｂ，１０ｃ、スマートフォンが一例である複数の通信端末７０ｘ，７０ｙ、各通信端末を管理する通信管理システム５０、及び中継装置３０によって構築されている。以下、「通信端末」を「端末」と表し、「通信管理システム」を「管理システム」と表す。

図２では、３つの端末１０ａ，１０ｂ，１０ｃ、及び２つの端末７０ｘ，７０ｙについて示しているが、数はこれに限らない。また、複数の端末７０ｘ，７０ｙのうち、任意の端末を「端末７０」と表し、複数の端末１０ａ，１０ｂ，１０ｃのうち、任意の端末を「端末１０」と表す。端末１０，７０は、通信機能を有する汎用コンピュータ、電子ホワイトボード、カーナビゲーション端末、電子看板(デジタルサイネージ)等であってもよい。

管理システム５０は、サーバ機能を備えた情報処理装置であり、いわゆるサーバである（特許請求の範囲のサーバに相当）。端末１０，７０は、対応するクライアント機能を備えたコンピュータである。端末１０，７０、中継装置３０、及び管理システム５０は、インターネット、携帯電話網、ＬＡＮ(Local Area Network)、ＷｉＦｉ(Wireless Fidelity)、或いはＢｌｕｅｔｏｏｔｈ（登録商標）等の通信ネットワーク２によって通信可能である。通信ネットワーク２には、携帯電話網の末端にある基地局２ａも含まれる。なお、図２では、１つの基地局２ａを示しているが、数はこれに限らない。

中継装置３０は、端末１０，７０間で、音データ（音声データも含まれる）、映像（画像）データ、及び、テキストデータ等のコンテンツデータを中継する。

端末１０は、拠点の一例として、教師が存在する居室（自宅、教室など）に配置されており、端末７０は、拠点の一例として、各生徒の自宅などに配置されている。教師の拠点はどこでもよく、生徒の拠点もどこでもよい。また、教師が端末７０を使用してもよいし、生徒が端末１０を使用してもよい。本実施形態では説明の便宜上、教師が端末１０を使用し、生徒が端末７０を使用するとして説明する。

管理システム５０、中継装置３０、及び端末１０，７０は、同一の国、地域に配置されていても、異なる国、地域に配置されていてもよい。端末１０のユーザは、例えば教師であり、端末７０のユーザは、例えば生徒である。

通信システム１には、管理システム５０を介して一方の端末から他方の端末に一方向でコンテンツデータを伝送するデータ提供システムや、管理システムを介して複数の端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、管理システムを介して複数の末間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム等が例として挙げられる。

＜ハードウェア構成例＞
＜＜端末のハードウェア構成例＞＞
図３（ａ）は、一実施形態に係る端末１０のハードウェア構成図である。端末１０は、端末１０全体の動作を制御するＣＰＵ１０１(Central Processing Unit)、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２(Read Only Memory)、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３(Random Access Memory)、端末１０用のプログラム、画像データ、及び音データ等の各種データを記憶するフラッシュメモリ１０４を有する。また、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ１０５（Solid State Drive）、フラッシュメモリやＩＣカード（Integrated Circuit Card）等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアＩ／Ｆ１０７(Interface)を有する。また、端末１０の宛先を選択する場合などに操作される操作ボタン１０８、端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ１１１を備えている。

また、端末１０は、ＣＰＵ１０１の制御にしたがって被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音を入力する内蔵型のマイク１１４、音を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御にしたがってマイク１１４及びスピーカ１１５との間で音信号の入出力を処理する音入出力Ｉ／Ｆ１１６を有する。また、ＣＰＵ１０１の制御にしたがって外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を図３（ａ）に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

ディスプレイ１２０は、被写体の画像等を表示する表示装置である。ディスプレイ１２０の一例として液晶や有機ＥＬ(Organic Electroluminescence)が挙げられる。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）(High－Definition Multimedia Interface)やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。

外部機器接続Ｉ／Ｆ１１８には、筐体１１００の接続口１１３２に差し込まれたＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御にしたがって、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御にしたがって、外付けマイクや外付けスピーカが駆動する。

なお、記録メディア１０６は、端末１０に対して着脱自在となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

図３（ｂ）は、端末７０のハードウェア構成図である。図３（ｂ）に示されているように、端末７０は、端末７０全体の動作を制御するＣＰＵ７０１、プログラムを記憶したＲＯＭ(Read Only Memory)７０２、ＣＰＵ７０１のワークエリアとして使用されるＲＡＭ７０３、ＣＰＵ７０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）７０４を有する。また、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアＩ／Ｆ７０７、及びＣＰＵ７０１の制御にしたがって被写体を撮像し画像データを得るＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７１２を備えている。

なお、ＥＥＰＲＯＭ７０４には、ＣＰＵ７０１が実行するオペレーティングシステム（ＯＳ）、その他のプログラム、及び、種々データが記憶されている。また、ＣＭＯＳセンサ７１２は、光を電荷に変換して被写体の画像を電子化する電荷結合素子である。被写体を撮像することができれば、ＣＭＯＳセンサは、ＣＣＤ(Charge Coupled Device)センサに置き換えることもできる。

更に、端末７０は、音を音信号に変換するマイク７１４、音信号を音に変換するスピーカ７１５、アンテナ７１１ａ、このアンテナ７１１ａを利用して無線通信信号により、最寄りの基地局２ａと通信を行う通信部７１１、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどのディスプレイ７２０、このディスプレイ７２０上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ７２０上におけるタッチ位置を検出するタッチパネル７２１、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン７１０を備えている。

＜＜管理システムのハードウェア構成例＞＞
図４は、一実施形態に係る管理システム５０のハードウェア構成図である。管理システム５０は、管理システム５０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、管理システム５０用のプログラム等の各種データを記憶するＨＤ２０４を有する。また、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ２０５(Hard Disk Drive)、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアＩ／Ｆ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８を有する。また、通信ネットワーク２を利用してデータ通信するためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ２１３(Compact Disc Read Only Memory)に対する各種データの読み出し又は書き込みを制御するＣＤ－ＲＯＭドライブ２１４を有する。更に、上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

中継装置３０は、管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。

＜ソフトウェア構成例＞
図５（ａ）は、一実施形態に係る端末１０のソフトウェア構成図である。端末１０には、クライアントアプリとして「通信アプリＡ１」がインストールされている。アプリとはアプリケーションソフトを意味する。図５（ａ）に示されているように、ＯＳ１０２０、及び通信アプリＡ１は、端末１０のＲＡＭ１０３の作業領域１０１０上で動作する。これらのうち、ＯＳ１０２０は、基本的な機能を提供し、端末１０全体を管理する基本ソフトウェアである。通信アプリＡ１は、教師が使用する端末１０で動作し、他の端末７０と通信するためのアプリである。

図５（ｂ）は、一実施形態に係る端末７０のソフトウェア構成図である。端末７０には、クライアントアプリとして「通信アプリＡ７」がインストールされている。図５（ｂ）に示されているように、ＯＳ７０２０、及び通信アプリＡ７は、ＲＡＭ７０３の作業領域７０１０上で動作する。これらのうち、ＯＳ７０２０は、基本的な機能を提供し、端末７０全体を管理する基本ソフトウェアである。通信アプリＡ７は、生徒が使用する端末１０で動作し、端末１０と通信するためのアプリである。

なお、通信アプリＡ１，Ａ７の通信プロトコルとしては、(1)SIP(Session Initiation Protocol)、(2)H.323、(3)SIPを拡張したプロトコル、(4)インスタントメッセンジャーのプロトコル、(5)SIPのMESSAGEメソッドを利用したプロトコル、(6)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、(4)インスタントメッセンジャーのプロトコルは、例えば、(4－1)XMPP(Extensible Messaging and Presence Protocol)、又は(4－2)ICQ（登録商標）、AIM（登録商標）、若しくはSkype（登録商標）などで利用されるプロトコルである。また、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Jingleである。

＜通信システムの機能について＞
次に、図６を用いて本実施形態の通信システム１の機能構成について説明する。図６は、通信システム１の一部を構成する端末１０，７０、及び管理システム５０の機能ブロック図である。なお、図６では、端末１０，７０、及び管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。

＜端末の機能構成＞
端末１０，７０は、送受信部１１，７１、操作入力受付部１２，７２、起動部１３，７３、出力制御部１４，７４、及び記憶・読出部１９，７９を有している。これら各部は、図３に示されている各構成要素のいずれかが、フラッシュメモリ１０４又はＥＥＰＲＯＭ７０４からＲＡＭ１０３，７０３上に展開された通信アプリＡ１，Ａ７（プログラム）に従ったＣＰＵ１０１，７０１からの命令によって動作することで実現される機能である。

また、端末１０は、図３に示されているＲＯＭ１０２，７０２、ＲＡＭ１０３，７０３、フラッシュメモリ１０４又はＥＥＰＲＯＭ７０４によって構築される記憶部１０００，７０００を有している。

端末１０における各機能構成について詳細に説明する。送受信部１１，７１は、ＣＰＵ１０１，７０１からの命令、及びネットワークＩ／Ｆ１１１又は通信部７１１によって実現され、通信ネットワーク２を介して、通信相手の端末、各装置又はシステム等と各種データ（又は情報）の送受信を行う。

操作入力受付部１２，７２は、ＣＰＵ１０１，７０１からの命令、並びに操作ボタン１０８又はタッチパネル７２１、並びに電源スイッチ１０９によって実現され、ユーザによる各種入力又は各種選択を受け付ける。

起動部１３，７３は、ＣＰＵ１０１，７０１からの命令によって実現され、通信アプリＡ１，Ａ７の動作を起動する。

出力制御部１４，７４は、ＣＰＵ１０１，７０１からの命令、並びに、ディスプレイＩ／Ｆ１１７及び音入出力Ｉ／Ｆ１１６によって実現され、画像データ、及び音データの出力を制御する。

記憶・読出部１９，７９は、ＣＰＵ１０１，７０１からの命令によって実現され、記憶部１０００，７０００に各種データを記憶したり、記憶部１０００，７０００に記憶された各種データを読み出したりする処理を行う。

＜＜管理システムの機能構成＞＞
管理システム５０は、送受信部５１、認証部５２、管理部５３、録音管理部５４、解析・結果管理部５５、セッション制御部５８、及び記憶・読出部５９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開された管理システム５０用のプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能である。また、管理システム５０は、ＨＤ２０４により構築される記憶部５０００を有している。更に、記憶部５０００には、以下に示すような各テーブルによって各ＤＢが構築される。

（認証管理テーブル）
図７（ａ）は、認証管理テーブルを示す概念図である。記憶部５０００には、図７（ａ）に示されているような認証管理テーブルによって認証管理ＤＢ５００１が構築されている。この認証管理テーブルでは、管理システム５０によって管理される全ての端末１０，７０の各通信ＩＤに対して、認証用のパスワードが関連付けられて管理される。

（端末管理テーブル）
図７（ｂ）は、端末管理テーブルを示す概念図である。記憶部５０００には、図７（ｂ）に示されているような端末管理テーブルによって端末管理ＤＢ５００２が構築されている。この端末管理テーブルでは、各端末１０，７０の通信ＩＤ毎に、各端末１０，７０のＩＰアドレス及びＴＹＰＥが関連付けられて管理される。各端末１０，７０の通信ＩＤは各端末１０，７０のログインにより把握される。ＴＹＰＥについては後述されるが、ＴＹＰＥはログイン時などに登録されてもよいし、予め登録されていてもよい。

（グループ管理テーブル）
図７（ｃ）は、グループ管理テーブルを示す概念図である。記憶部５０００には、図７（ｃ）に示されているようなグループ管理テーブルによってグループ管理ＤＢ５００５が構築されている。このグループ管理テーブルでは、グループＩＤに対応付けて、各端末１０，７０の通信ＩＤが関連付けられて管理される。グループとは、１人の教師、及び、この教師が指導する複数の生徒の集まりである。グループＩＤはグループを識別する識別情報である。１つのグループは同じ会議（コミュニケーションの一例）に参加して、グループの端末１０，７０の間でコンテンツデータが相互に送受信される。

グループ管理テーブルの作成方法としては、会議が始まる前に例えば教師が管理システム５０にアクセスして登録しておく方法がある。あるいは、予めグループ管理テーブルを作る必要がない方法として、同じ会議に参加する生徒に管理システム５０が電子メールなどで同じ招待コードを配布しておき、生徒がログイン時に招待コードを入力し、管理システム５０が同じ招待コードの生徒を同じグループに分類してもよい（事後的にグループ管理テーブルを作成する）。あるいは、予め生徒を言語能力でレベル分けしておき（レベルは認証管理テーブルに登録されているものとうる）、管理システム５０が同じレベルの生徒をログイン順に同じグループに分類してもよい。例えば１つのグループの生徒数を３人とした場合、同じレベルの３人がログインするごとにグループＩＤが割り当てられる。この場合、各グループに教師が割り当てられ、会議が開始する。

（録音管理テーブル）
図８（ａ）は、録音管理テーブルを示す概念図である。記憶部５０００には、図８（ａ）に示されているような録音管理テーブルによって録音管理ＤＢ５００３が構築されている。録音管理テーブルは録音された音声データに関する情報が登録されるテーブルである。

録音管理テーブルには、録音ＩＤ、ＴＹＰＥ、通信ＩＤ、及び、録音ファイルの各項目が関連付けられている。録音ＩＤは教師又は生徒の音声データの録音ファイルを一意に特定又は識別する識別情報であり、録音のたびに管理システム５０が採番する。図８（ａ）では通信ＩＤ、会議ＩＤ、問題番号（後述される）、及び、リトライ番号（後述される）を連結したものが録音ＩＤである。

ＴＹＰＥはその録音ファイルが、生徒（STUDENT）が発声した音声、教師(TEACHER)が発声した音声、又は、事前に録音された(PRESETされた)音声のいずれであるかを示す録音ファイルの属性である。例えば通信アプリＡ１，Ａ７がＴＹＰＥを管理システム５０に送信することにより判断される。通信ＩＤは上記と同様であるが、事前に録音された音声の場合は通信ＩＤがＮＵＬＬ（値がないという意味）となる。録音ファイル名は実際に録音された音声データのファイル名である。ファイル名は管理システム５０が自動的に付与するが、図８（ａ）では録音ＩＤをファイル名としている。なお、録音管理テーブルの１行をレコードという。

（結果管理テーブル）
図８（ｂ）は、結果管理テーブルを示す概念図である。記憶部５０００には、図８（ｂ）に示されているような結果管理テーブルによって結果管理ＤＢ５００４が構築されている。結果管理テーブルは、お手本の音声と比較して生徒の音声がどのように評価されたかをまとめたテーブルである。

結果管理テーブルには、手本録音ＩＤ、回答録音ＩＤ、会議ＩＤ、問題番号、リトライ番号、手本認識結果、回答認識結果、及び、採点結果の各項目が関連付けられている。手本録音ＩＤと回答録音ＩＤは録音管理ＤＢ５００３に登録されているＩＤが転用される。手本録音ＩＤのＴＹＰＥはPRESET又はTEACHERのいずれかであり、回答録音ＩＤのＴＹＰＥはSTUDENTである。会議ＩＤはその会議が終了するまでを一単位として一意にどの会議であるかを決定する識別情報である。会議ＩＤは会議開始時に管理システム５０が採番する。問題番号は、１つの会議で教師が出題した問題を識別する識別情報である。問題番号は出題のたびに管理システム５０が採番する。リトライ番号は、同じ問題が再度、出題された場合の問題に対する枝番である。手本認識結果は、お手本の音声データの認識結果である。図８（ｂ）では一例として発音記号に変換されたものが認識結果となっている。回答認識結果は、生徒の音声データの認識結果である。図８（ｂ）では一例として発音記号に変換されたものが認識結果となっている。採点結果は、手本認識結果と回答認識結果の比較結果を単語ごと「○」「×」で示す。なお、結果管理テーブルの１行をレコードという。

＜＜管理システムの各機能構成＞＞
次に、管理システム５０の各機能構成について詳細に説明する。送受信部５１は、ＣＰＵ２０１からの命令、及びネットワークＩ／Ｆ２０９によって実現され、通信ネットワーク２を介して各端末、装置又はシステムと各種データ（又は情報）の送受信を行う。

認証部５２は、ＣＰＵ２０１からの命令によって実現され、送受信部５１で受信された通信ＩＤ及びパスワードを検索キーとして認証管理テーブルを検索し、この認証管理テーブルに同一の通信ＩＤ及びパスワードが管理されているかを判断することによって端末の認証を行う。

管理部５３は、ＣＰＵ２０１からの命令によって実現され、端末管理テーブルにログイン中の端末１０、７０を登録することで各端末１０，７０を管理する。

録音管理部５４は、ＣＰＵ２０１からの命令によって実現され、教師の操作を契機にして録音を開始し、教師又は生徒の操作を契機にして録音を終了する。開始から終了の間の音声データを録音し、録音管理ＤＢ５００３に各項目を登録する。

解析・結果管理部５５は、ＣＰＵ２０１からの命令によって実現され、録音された教師と生徒の音声データを比較・解析し、その結果を結果管理ＤＢ５００４に記録する。

セッション制御部５８は、ＣＰＵ２０１からの命令によって、端末１０，７０間でコンテンツデータを送信するためのセッションを制御する。この制御としては、セッションを確立するための制御、確立されたセッションに端末１０，７０参加させる制御、セッションから退出する制御等が含まれる。

記憶・読出部５９は、ＣＰＵ２０１からの命令及びＨＤＤ２０５によって実現され、又はＣＰＵ２０１からの命令によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを抽出したりする処理を行う。

＜通信システムの処理・動作＞
続いて、通信システム１における処理及び動作について説明する。

＜＜ログイン時の処理＞＞
まず、図９を用いて、端末１０，７０が管理システム５０へログインする処理を説明する。図９は、端末１０，７０が管理システム５０へログインする処理を示すシーケンス図の一例である。

端末７０のユーザが電源スイッチをＯＮにすると、操作入力受付部７２が電源ＯＮを受け付けて、端末７０を起動させる（ステップＳ１）。端末７０が起動すると、起動部７３は、端末７０にインストールされている通信アプリＡ７を起動させる（ステップＳ２）。以下、端末７０における処理は、通信アプリＡ７の命令により実行される。

端末７０の送受信部７１は、通信ネットワーク２を介して管理システム５０に、ログイン要求を送信する（ステップＳ３）。このログイン要求には、ログイン要求元である自端末を識別するための通信ＩＤ、及びパスワードが含まれている。

管理システム５０の送受信部５１はログイン要求を受信する。端末７０から管理システム５０へログイン要求が送信されることで、受信側である管理システム５０は、送信側である端末７０のＩＰアドレスを取得することができる。

次に、管理システム５０の認証部５２は、ログイン要求に含まれている通信ＩＤ及びパスワードを検索キーとして、記憶部５０００の認証管理テーブルを検索し、この認証管理テーブルに同一の通信ＩＤ及びパスワードが管理されているかを判断することによって認証を行う（ステップＳ４）。

認証部５２によって、正当な利用権限を有する端末７０からのログイン要求であると認証された場合には、管理部５３は、端末管理テーブルに、ログイン要求元の端末７０の通信ＩＤ、及びＩＰアドレスを関連付けて記憶する（ステップＳ５）。これにより端末管理テーブルには、ログイン中の端末７０へアクセスするための情報が管理される。また、管理部５３は通信アプリＡ７であることを示す情報を受信して、端末管理テーブルにＴＹＰＥを登録する。

管理システム５０の送受信部５１は、認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介して、ログイン要求元の端末７０へ送信する（ステップＳ６）。これにより、端末７０の送受信部７１は、認証結果情報を受信する。以下、生徒が操作するログイン要求元の端末７０（複数ある）の認証に成功し、端末７０が管理システム５０にログインした場合について説明する。

一方、教師側の端末１０の教師が電源スイッチ１０９をＯＮにすると、操作入力受付部１２が電源ＯＮを受け付けて、端末１０を起動させる（ステップＳ１１）。端末１０が起動すると、起動部１３は、端末１０にインストールされている通信アプリＡ１を起動させる（ステップＳ１２）。以下、端末１０における処理は、通信アプリＡ１の命令により実行される。

端末１０は、管理システム５０へログイン要求を送信して、管理システム５０へログインする（ステップＳ１３－２，Ｓ１４，Ｓ１５，Ｓ１６）。この処理は、端末７０と管理システム５０との間のステップＳ３，Ｓ４，Ｓ５，Ｓ６の処理と同様であるので、説明を省略する。

管理システム５０が端末１０、７０を操作するユーザが、教師であるか生徒であるかを判断する方法としては、ステップＳ５で説明したように、通信アプリＡ１、Ａ７を識別する方法がある。この方法では、例えばログイン時に端末１０、７０が通信アプリＡ１、Ａ７の区別する情報を管理システム５０に送信すればよい。あるいは、予め通信ＩＤを区別して配布する方法もある。例えば、教師に配布される通信ＩＤは「Ｔ００１」のようにＴで始まり、生徒に配布される通信ＩＤは「Ｓ００１」のようにＳで始まる。これらの方法で、管理システム５０は容易に教師か生徒かを判断できる。あるいは、上記の招待コードが利用されている場合、生徒には特定の招待コードが配布されるようにして生徒か教師かを判断できる。

端末１０，７０がログインすると、セッション制御部５８は例えば負荷の少ない中継装置３０を決定して、この中継装置３０に端末１０，７０が送受信するコンテンツデータの中継を開始させる。中継装置３０には端末１０，７０の通信ＩＤ（端末１０，７０を特定できる情報であればよい）とグループＩＤが対応付けて送信される。これにより、端末１０，７０が通信ＩＤ（端末１０，７０を特定できる情報であればよい）と共に送信したコンテンツデータは同じグループ内の端末１０，７０に転送される。

＜＜音声データの評価＞＞
次に、図１０を用いて、管理システム５０が生徒の音声データを評価する処理について説明する。ここでは、英会話のオンライン教室が開講された状態をイメージされたい。以下の、英会話のオンライン教室では、教師が生徒と会話しながら、適宜、出題するという形態が想定されている。

図１０は、管理システム５０が生徒の音声データを評価する手順を示すシーケンス図の一例である。図１０の処理は、端末１０，７０がログインして中継装置３０が決定された状態から説明される。また、図１１～図１６に示す、教師用の端末１０と生徒用の端末１０が表示する画面例を適宜、参照して説明する。なお、図１０では中継装置３０が図示されていないが、図１０では管理システム５０が中継装置３０と一体と見なしている。実際に音声を評価するのは管理システム５０でも中継装置３０でもよい。

M1：管理システム５０の録音管理部５４は会議が始まると会議ＩＤを採番する。これにより音声データの管理が可能になる。

M2－1,M2－2：管理システム５０のセッション制御部５８は会議の準備が整ったため会議開始要求を端末１０，７０に送信する。これにより、テレビ会議が開始される。つまり、コンテンツデータの送受信が開始される。

T1,S1：端末１０の通信アプリＡ１、端末７０の通信アプリＡ７は会議開始の処理を行う。具体的には通信アプリＡ１、通信アプリＡ７が画面を表示したり、中継装置３０と通信を開始したり、管理システム５０から必要な情報を取得したりする。

S2：生徒側の端末７０の出力制御部７４は生徒画面Ｓ１（第３の画面の一例）を表示する。生徒画面Ｓ１を図１４に示す。生徒画面Ｓ１が表示されている間、生徒は原則的に教師の発声を聞き取るが任意に発言することも可能である。

M3,M4：一方、管理システム５０の送受信部５１は教師側の端末１０に事前に録音されている録音ファイルのリストを送信する。すなわち、録音管理ＤＢ５００３からＴＹＰＥがＰＲＥＳＥＴの録音ファイルの録音ＩＤ及び録音ファイル名を送信する。教師側の端末１０であることは端末管理ＤＢに登録されている。なお、リストは構造化文書で構成されており、構造化文書の例としては、ＨＴＭＬやＸＭＬ（Extensible Markup Language）等がある。

T2：端末１０の送受信部１１は事前に録音されている録音ファイルのリストを受信する。これにより、端末１０の出力制御部１４は教師画面Ｔ１（第２の画面の一例）を表示する。教師画面Ｔ１を図１１に示す。教師画面Ｔ１は、教師が任意に発言し、必要に応じて出題用の音声データを選択又は入力する画面である。

T3：図１０では教師が教師画面Ｔ１で事前に録音されている音声（録音ファイル名）を選択したものとする。教師が音声を入力する場合の処理については図１７にて説明する。端末１０の操作入力受付部１２は操作を受け付け、出力制御部１４は教師画面Ｔ２ａを表示する。教師画面Ｔ２ａを図１２（ａ）に示す。教師画面Ｔ２ａは、教師が音声データを選択した状態の画面である。

T4：端末１０の送受信部１１は、教師が選択した録音ファイル名の録音ＩＤを管理システム５０に送信する。この録音ＩＤが録音ファイルの送信要求となる。

M5：管理システム５０の送受信部５１は録音ＩＤを受信する。録音管理部５４は録音管理ＤＢ５００３から録音ＩＤに該当する音声データを取得する。

M6：管理システム５０の送受信部５１は取得した音声データを生徒の端末７０に送信する。図１０では生徒の端末７０は１台であるが、複数の端末７０があるものとする。

S3：生徒の端末７０の送受信部７１は音声データを受信し、音声データを受信したことを契機に、出力制御部７４が生徒画面Ｓ２（第４の画面の一例）を表示する。生徒画面Ｓ２は音声データの受信開始、受信完了、又は、受信開始から終了まで、のいずれかのタイミングで表示されてよいが、生徒画面Ｓ１は教師の発声の出力中に表示される画面なので、受信完了（受信と共にリアルタイムに出力されるため出力完了ともいう）を契機に生徒画面Ｓ１から生徒画面Ｓ２に遷移するとよい。なお、生徒画面Ｓ１から生徒画面Ｓ２に遷移させる信号を管理システム５０が端末７０に明示的に送信してもよい。生徒画面Ｓ２を図１５に示す。生徒画面Ｓ２は、管理システム５０から送信された音声データがスピーカから出力され、これを手本にして生徒が音声を発声する画面である。このように、教師が出題することで、自動的に生徒の端末７０の画面が遷移するため、生徒は生徒画面Ｓ２を表示するために通信アプリＡ７を操作する必要がない。換言すると、教師が生徒の端末７０の画面を制御する主導権を持っている。

S4：生徒画面Ｓ２を表示した端末７０の送受信部７１は通信ＩＤとＴＹＰＥを管理システム５０に送信する。音声を録音するためである。ＴＹＰＥに関しては端末管理ＤＢ５００２に登録されているため送信されなくてもよい。

M7：管理システム５０の送受信部５１は通信ＩＤとＴＹＰＥを受信することで、録音管理部５４が録音を開始する。

S5：生徒画面Ｓ２に遷移した端末７０では音声データの送信が開始されているので、生徒が発声した音声データを送受信部７１は随時（リアルタイムに）管理システム５０に送信する。管理システム５０の録音管理部５４は引き続き、録音する。

S6：発声が終わると生徒は生徒画面Ｓ２でエンドボタン３０６を押下する。

S7：操作入力受付部７２は生徒の操作を受け付け、送受信部７１が通信ＩＤを再度、送信する。発声が終了した管理システム５０に知らせるためである。

M8：管理システム５０の送受信部５１は通信ＩＤを受信し、録音管理部５４が音声データの録音を終了する。録音管理部５４は録音ファイルの識別子となる録音ＩＤを採番する。上記のように、通信ＩＤ、会議ＩＤ、問題番号、及び、リトライ番号が録音ＩＤとなる。なお、別のパターンとして、録音は端末７０側で実行し、録音終了後に録音ファイルを管理システム５０に送付してもよい。

M9：録音管理部５４は録音ＩＤ、ＴＹＰＥ、通信ＩＤ、及び録音ファイルを録音管理ＤＢ５００３に登録する。

M10：そして、解析・結果管理部５５が、出力した（出力とは再生することをいう）音声データと端末７０から送信された音声データを比較して評価する。詳細は後述する。

M11：解析・結果管理部５５は、手本とした録音ファイルの録音ＩＤを手本録音ＩＤとして、生徒の録音ファイルの録音ＩＤを回答録音ＩＤとして、結果管理ＤＢ５００４に登録する。同様に、会議ＩＤ、この会議の何問目の問題であるか（問題番号）、同一問題の何回目のリトライであるかというリトライ番号、手本認識結果、回答認識結果を結果管理ＤＢ５００４に登録する。リトライについては教師画面Ｔ３（第１の画面の一例）で詳細に説明する。

M12－1、M12－2：管理システム５０の送受信部５１は、評価結果を教師側の端末１０と生徒側の端末７０にそれぞれ送信する。また、教師の音声データの録音ＩＤ（又は音声データそのもの）を生徒の端末７０のそれぞれに送信すると共に、生徒が発声した音声データの録音ＩＤ（又は音声データそのもの）をその音声データを発声した端末７０に個別に送信する。教師の音声データの録音ＩＤ（又は音声データそのもの）と、各生徒が発声した全ての音声データの録音ＩＤ（又は音声データそのもの）を端末１０に送信する。

T5：端末１０の送受信部１１は評価結果を受信し、出力制御部１４が教師画面Ｔ３を表示する。教師画面Ｔ３を図１３に示す。教師画面Ｔ３は、教師が各生徒の評価結果を確認する画面である。

S8：端末７０の送受信部７１は評価結果を受信し、評価結果を受信したことを契機に、出力制御部７４が生徒画面Ｓ２から生徒画面Ｓ３（第５の画面の一例）に遷移する。なお、生徒画面Ｓ２から生徒画面Ｓ３に遷移させる信号を管理システム５０が端末７０に明示的に送信してもよい。生徒画面Ｓ３を図１６に示す。生徒画面Ｓ３は、生徒が自分の評価結果を確認する画面である。生徒画面Ｓ３への遷移時も、生徒は生徒画面Ｓ３を表示するために通信アプリＡ７を操作する必要がない。

＜画面例＞
図１１～図１６を用いて教師の端末１０と生徒の端末７０が表示する画面例を説明する。図１１は、教師画面Ｔ１の一例を示す。教師画面Ｔ１は、会議を開始した当初、端末７０が表示する画面である。教師画面Ｔ１は、教師画像表示欄３０１，生徒画像表示欄３０２、事前録音データリスト欄３０３、アップロードボタン３０４、スタートボタン３０５、及び、エンドボタン３０６を有する。

教師画面Ｔ１の画面情報は、ＨＴＭＬを少なくとも含み、更に、ＣＳＳ（Cascade Style Sheet）及びJavaScript（登録商標）等を含むWebAPP（Web Application）で作成されよい。後述する教師画面Ｔ２、Ｔ３、生徒画面Ｓ１～Ｓ３についても同様である。

教師画像表示欄３０１は、教師が使用する端末１０が撮像した画像データが表示される欄である。生徒画像表示欄３０２は、生徒が使用する端末７０が撮像した画像データが表示される欄である。図１１では４つの生徒画像表示欄３０２があるが、生徒画像表示欄３０２の数は生徒の数によって増減する。

事前録音データリスト欄３０３は、管理システム５０が端末１０に送信した録音ファイル名のリストが表示される欄である。図１１では５つの録音ファイル名が表示されているが、数は一例である。表示しきれない場合はスクロールボタンなどが表示される。それぞれの録音ファイル名はユーザの押下（選択）を受け付けることができる。アップロードボタン３０４は教師が選択した録音ファイル名の録音ＩＤを端末１０が管理システム５０に送信するためのボタンである。スタートボタン３０５とエンドボタン３０６は事前に録音された録音ファイルでなく、教師がリアルタイムに発声した音声データを入力し、端末１０が管理システム５０に送信する際に使用される。すなわち、教師がスタートボタン３０５を押下してからエンドボタン３０６を押下するまでに教師が発声した音声が管理システム５０に送信される。詳細は図１７にて説明する。

図１２（ａ）は、教師画面Ｔ２ａの一例を示す。教師画面Ｔ２ａは、教師画面Ｔ１から遷移する。なお、教師画面Ｔ２ａに関しては教師画面Ｔ１との相違を説明する。教師画面の構成は教師画面Ｔ１と同様であるが、教師画面Ｔ２ａでは事前録音データリスト欄３０３の録音ファイル名が１つ選択された状態である。このように、教師が選択した録音ファイル名は強調され、アップロードボタン３０４による管理システム５０への録音ＩＤの送信が可能になる。

教師画面Ｔ２ａでは教師は録音ファイルを選択すれば、お手本の音声データを生徒に聴かせることができるので、いつも同じ音声データを聴かせることができる。なお、録音ファイルは教師本人（同一人物）が録音しておく必要はなく、使い回してよい。

図１２（ｂ）は、教師画面Ｔ２ｂの一例を示す。教師画面Ｔ２ｂは、教師画面Ｔ１から遷移する。なお、教師画面Ｔ２ｂに関しては教師画面Ｔ１との相違を説明する。教師画面の構成は教師画面Ｔ１と同様であるが、教師画面Ｔ２ｂではスタートボタン３０５が押下された状態である。したがって、教師が音声を発声中であり、この音声データがリアルタイムに管理システム５０に送信されている。

教師画面Ｔ２ｂでは教師はリアルタイムにお手本の音声データを生徒に聴かせることができるので、任意のセンテンス（英語の文又は文章）を生徒に練習させることができる。また、教師画面Ｔ１，Ｔ２ａ、Ｔ２ｂの構成から明らかなように、教師は事前に録音された音声データとリアルタイムの音声データを適宜、組み合わせながら授業できる。

図１３は、教師画面Ｔ３の一例を示す。教師画面Ｔ３は、正解音声再生ボタン３１１、リトライボタン３１２、終了ボタン３１３、生徒画像表示欄３１４、発音記号欄３１６ａ、３１６ｂ、詳細評価欄３１７、点数欄３１８、及び、回答音声再生ボタン３１５を有する。正解音声再生ボタン３１１は、お手本の録音ファイルを端末１０、７０で出力させるためのボタンである。お手本の録音ファイルの録音ＩＤが管理システム５０に送信される。この場合、単に音声データが流れるだけでリトライ番号は増えない。リトライボタン３１２は、同じお手本の録音ファイルの録音ＩＤを再度、管理システム５０に送信して生徒たちに発声させるためのボタンである。

再度、同一の問題を出題する場合、教師が端末１０のリトライボタン３１２を押下することで、録音管理部５４と解析・結果管理部５５は図１０のステップＴ４以降を再実行し、同一のフローを繰り返す。まず、お手本の録音ファイルの録音ＩＤとリトライである旨が管理システム５０に送信される。録音管理部５４はリトライである旨を端末７０に送信することで、生徒画面Ｓ３から生徒画面Ｓ１に遷移させる（これが、生徒画面Ｓ３から生徒画面Ｓ１に遷移させる信号となる）。次に、録音管理部５４は録音ＩＤの録音ファイルを端末７０に送信することで、端末７０は録音ファイルの例えば受信完了時に生徒画面Ｓ１から生徒画面Ｓ２に遷移する。生徒画面Ｓ１から生徒画面Ｓ２に遷移させる信号を管理システム５０が端末７０に明示的に送信してもよい。録音管理部５４は、再度、端末７０からの音声データを録音して録音ＩＤを採番し、録音管理ＤＢ５００３に登録する。次に、解析・結果管理部５５は音声を比較する。解析・結果管理部５５は結果管理ＤＢ５００４の手本録音ＩＤをステップＴ４の録音ＩＤで検索し、ヒットしたレコードの中から最も大きいリトライ番号を有するレコードを特定し、このレコードのリトライ番号を１つ大きくする。そして、手本録音ＩＤ（Ｔ４で送信されている録音ＩＤ）、回答録音ＩＤ（新たに採番した端末７０の音声データの録音ＩＤ）、会議ＩＤ、問題番号（録音ＩＤでヒットしたレコードの問題番号と同じ）、１つ大きくしたリトライ番号、手本解析結果、回答認識結果、及び、採点結果を結果管理ＤＢ５００４に登録する。送受信部５１は評価結果を端末１０，７０に送信する。以上により、端末１０には、再度、図１３の教師画面Ｔ３が表示される。また、端末７０には、再度、図１６の生徒画面Ｓ３が表示される。

終了ボタン３１３は現在のお手本の録音ファイルの出題を終了するためのボタンである。終了ボタン３１３が押下されると、教師の端末１０は教師画面Ｔ１に戻り、生徒の端末１０は生徒画面Ｓ１に戻る。したがって、通常のビデオ会議の状態となる。この場合も生徒は生徒画面Ｓ１に戻るための操作が不要である。

生徒画像表示欄３１４は図１１と同様である。発音記号欄３１６ａは教師の音声データから変換された発音記号を示し、発音記号欄３１６ｂは生徒の音声データから変換された発音記号を示す。詳細評価欄３１７は管理システム５０がお手本の音声データと生徒の音声データを比較して評価した結果である。図１３では、音声データの各単語が発音記号に変換され、発音記号ごとに「○」「×」が添付されている。「○」はお手本の音声データと生徒の音声データの発音記号が一致したことを示し、「×」はお手本の音声データと生徒の音声データの発音記号が一致しないことを示す。また、点数欄３１８には一致の程度に応じて点数が付与されている。解析・結果管理部５５は１回の出題を１センテンスとして、１センテンスに含まれる単語のうち発音記号が一致した割合を点数とする。文字レベルで採点してもよいし、採点方法はこれらに限られない。

回答音声再生ボタン３１５は、生徒の音声データを出力するためのボタンである。回答音声再生ボタン３１５の押下により録音ファイルの録音ＩＤが管理システム５０に送信される。生徒の音声データは管理システム５０が教師の端末１０にのみ送信してもよいし、この音声データを発声した端末７０と端末１０にのみ送信してもよいし、全ての端末１０，７０に送信してもよい。なお、録音管理ＤＢ５００３では録音ＩＤには通信ＩＤが対応付けられているので、管理システム５０はこの通信ＩＤの端末７０にのみ送信できる。

図１３に示すように、教師画面Ｔ３には各生徒の評価結果が一覧で表示されるので、各生徒が一度に発声しても各生徒の音声データを個別に評価できる。また、教師は各生徒の音声データを任意に出力できるので、自分自身が生徒の音声データを評価することもできる。

図１４は、生徒画面Ｓ１の一例を示す。生徒画面Ｓ１は、会議を開始した当初、端末１０が表示する画面である。生徒画面Ｓ１は、教師画像表示欄３２１，及び、生徒画像表示欄３２２、を有する。教師画像表示欄３２１と生徒画像表示欄３２２については教師画面Ｔ１と同様でよい。生徒画面Ｓ１には「Listen in class」というメッセージ３２３が表示されている。これは授業内容を聞くという意味であり、生徒画面Ｓ１は教師の音声の出力中に表示される。生徒画面Ｓ１では教師が生徒と会話したり、教師が生徒に指示を出したりする。生徒が教師に質問することも可能である。

図１５は、生徒画面Ｓ２の一例を示す。生徒画面Ｓ２は、各生徒が手本の音声データをまねて音声を発声する画面である。生徒画面Ｓ２は、教師画像表示欄３２１，生徒画像表示欄３２２、及び、エンドボタン３２５を有する。教師画像表示欄３２１と生徒画像表示欄３２２については教師画面Ｔ１と同様でよい。生徒画面Ｓ２には「Repeat!!」というメッセージ３２４が表示されている。これは手本の音声データをまねて発声しないという意味である。生徒画面Ｓ２が表示されると、端末７０ではお手本の音声データがスピーカから出力され、通信ＩＤとＴＹＰＥが送信されたタイミングで管理システム５０が音声データの録音を開始する。エンドボタン３２５は発声が終わった生徒が録音の終了を管理システム５０に通知するためのボタンである。

図１６は、生徒画面Ｓ３の一例を示す。生徒画面Ｓ３は、生徒の評価結果が表示される画面である。生徒画面Ｓ３は、正解音声再生ボタン３３１、教師画像表示欄３３２、発音記号欄３３３ａ、３３３ｂ、詳細評価欄３３４、点数欄３３６、及び、回答音声再生ボタン３３５を有する。これらの機能は教師画面３と同様でよい。

生徒画面Ｓ３ではリトライして発声した音声データごとに評価結果が表示されるので、生徒は各音声データでどこが悪かったのか、改善されたのか、どこが間違いやすいのかなどを把握できる。また、お手本の音声データを任意に出力できる。また、自分の音声データを出力して確認できる。

＜録音済みの音声データでなく教師が発声する場合の処理手順＞
図１０では録音済みの音声データをお手本として生徒が発声する処理の流れを説明したが、図１７を用いて教師が発声した音声データをお手本として生徒が発声する処理の手順を説明する。図１７は、管理システム５０が生徒の音声データを評価する手順を示すシーケンス図の一例である。なお、図１７の説明では図１０との相違を主に説明する。

まず、ステップＴ１～Ｔ２、ステップＭ１～Ｍ４、ステップＳ１～Ｓ３は図１０と同様でよい。

T3：教師はリアルタイムに発声した音声データをお手本とするため教師画面Ｔ１でスタートボタン３０５を押下する。

T4：端末１０のＴＹＰＥと通信ＩＤを通知するため、端末１０の送受信部１１は通信ＩＤとＴＹＰＥを管理システム５０に送信する。

M4：管理システム５０の送受信部５１はＴＹＰＥと通信ＩＤを受信し、これにより録音管理部５４は教師の音声データの録音を開始する。

T5：教師が発声を終えると教師画面Ｔ２ｂ（図１２（ｂ））でエンドボタン３０６を押下する。操作入力受付部１２は押下を受け付ける。

T6：教師の端末１０の送受信部１１は録音を終了させるため通信ＩＤを管理システム５０に送信する。

M5：管理システム５０の送受信部５１は通信ＩＤを受信し、これにより録音管理部５４は録音を終了し、録音ＩＤを採番する。

M6：管理システム５０の録音管理部５４は録音ＩＤ、ＴＹＰＥ、通信ＩＤ、及び、録音ファイルを録音管理ＤＢ５００３に登録する。

M7：管理システム５０の送受信部５１は、録音管理ＤＢ５００３に登録した音声データを端末７０に送信する。これにより、端末７０は生徒画面Ｓ２を表示するので、以降の処理は図１０と同様になる。

このように、本実施形態の通信システム１は、お手本の音声データを教師が発声しても、多数の生徒の音声データと比較した評価及び細やかな指導が可能になる。

＜音声データの比較・評価＞
本実施形態では教師の音声データと生徒の音声データを発音記号で比較し、単語毎に発音がどの程度一致するか否かを比較した。また、１つのセンテンスのうち発音記号が一致する単語の数の割合を点数とした。このように音声データを発音記号に変換する技術としては音声認識技術を利用できる。

図１８は、音声認識を模式的に説明する図の一例である。図１８は機械学習により音声を発音記号に変換するニューラルネットワーク４０１を示す。特に、ニューラルネットワーク４０１の階層が深いものをディープラーニングという。また、音声データのような時系列データを分類するにはＲＮＮ（Reccurent Neural Network）が適していることが知られている。

一例として２０ミリ秒ごとにスライスした音声データをＭＦＣＣ（Mel－frequency cepstral coefficients）に変換し、入力層４０２の各ノードに入力する。出力層４０３の各ノードには各発音記号が対応する。

学習フェーズにおいて入力層４０２にはＭＦＣＣに変換された音声データが入力され、出力層４０３には、音声データに含まれる音声の発音記号に対応するノードに「１」が割り当てられる（その他のノードは「０」）。そして、入力層４０２のノード、ニューラルネットワーク４０１の各階層のノード、及び、出力層４０３のノードの間の重みが誤差逆伝播法で学習される。

認識フェーズでは、入力された音声データが含む発音記号に近い出力層４０３のノードほど大きい値（１に近い値）を出力する。解析・結果管理部５５は閾値以上の値を出力したノードに対応する発音記号を取り出す。この発音記号が複数の場合は、発音記号のつながりやすさを確率で示す辞書データを参照し、前後の発音記号との組み合わせごとにつながりやすさの確率を算出し、確率が最も高くなる組み合わせになるように発音記号を特定する。

なお、種々の音声認識方法があり、図１８の説明は一例に過ぎない。例えば隠れマルコフモデルを使用して音声認識してもよい。また、本実施形態ではこの他の手法を採用しても何ら支障がない。

また、本実施形態では音声データを発音記号に変換したが、音声データを単語（アルファベット）に変換してもよい。音声データの単語（アルファベット）への変換には公知の方法を採用できる。一般的な英語の辞書には単語の発音記号が掲載されているので、単語が決まれば発音記号も一意に決まる。したがって、音声データを発音記号に変換できる。ただし、発音が悪い音声も正しい単語に認識するような優秀な識別器が生成されている場合、生徒の発音が悪くても正しい発音記号であると判断されるおそれがある。

楽器などの音データの評価では、例えば教師と生徒の音データをそれぞれフーリエ変換して、周波数ごとの強度の差異を比較して数値化するなどの方法がある。

＜まとめ＞
以上説明したように、本実施形態の通信システム１は、遠隔地の教師が複数の生徒の発声を指導する形態においても、管理システム５０が教師の音声と各生徒の音声を比較するので、１人の教師が多数の生徒の発声を並行して指導することが可能になる。１対１の授業と同等以上に細やかな指導が可能である。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

＜＜システム構成の別の例＞＞
図２では管理システムが１台であったが管理システム５０は通信システム１内に複数存在してもよい。図１９は、本実施形態に係る通信システム１の概略図である。図１９では、複数の管理システム５０がネットワークに接続されている。このように通信システム１に含まれる管理システム５０は複数台でもよく、どの管理システム５０に機能を備えさせてもよい。

また、本実施形態で説明する端末１０と管理システム５０とが接続されたシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

また、図２０に示すように、管理システム５０と中継装置３０は１つのサーバ装置６０として存在してもよい。図２０のサーバ装置６０は、管理システム５０の機能と中継装置３０の機能を併せ持っている。また、このサーバ装置６０が複数存在してもよい。

＜＜メールアドレスによるユーザの識別＞＞
本実施形態では通信ＩＤで端末１０、７０が識別されていたが、端末１０を識別する識別情報として、ユーザＩＤが用いられてもよい。また、このユーザＩＤとしてメールアドレスが用いられてよい。この場合、端末１０、７０のユーザはメールアドレスで管理システム５０にログインする。

図２１は、端末１０，７０が管理システム５０へログインする処理を示すシーケンス図の一例である。なお、図２１の説明では図９との相違を主に説明する。図２１に示すように、ステップＳ３、Ｓ１３－２では通信ＩＤでなく、メールアドレスが送信されている。管理システム５０はメールアドレスとパスワードでユーザを認証する。

同様に、図１０で説明した生徒の音声データを評価する手順では、ステップＳ４、Ｓ７で通信ＩＤでなくメールアドレスが送信される。図１７についても同様に、通信ＩＤの代わりにメールアドレスが使用される。

＜＜アプリでなく汎用的なブラウザアプリによるテレビ会議＞＞
上記の実施形態では、端末１０、７０で通信アプリＡ１、Ａ７が動作すると説明したが、同様の処理をＷｅｂアプリによっても実現できる。Ｗｅｂアプリは、Ｗｅｂブラウザ上で動作する例えばJavaScript（登録商標）によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作し、ユーザはそれをブラウザ上で使用する。

図２２は、端末１０，７０におけるＷｅｂアプリの構成例を示す図である。端末１０は管理システム５０から、教師用のプログラム１０３０（HTML5＋JAVASCRIPT＋CSS等）をダウンロードしブラウザアプリ１０４０上で実行する。端末７０は管理システム５０から、生徒用のプログラム７０３０（HTML5＋JAVASCRIPT＋CSS等）をダウンロードしブラウザアプリ７０４０上で実行する。この場合は例えば通信ＩＤで教師か生徒かが判断される。

なお、図２２においても、通信ＩＤでなく端末１０を識別する識別情報としてユーザＩＤが用いられてよい。このユーザＩＤとしてメールアドレスが用いられてよい。

端末１０，７０はHTTP又はHTTPS等のプロトコルを用いて管理システム５０とデータを送受信することによって、管理システム５０が提供しているサービスを利用できる。このような利用形態では、予め端末１０，７０に通信アプリＡ１、Ａ７をダウンロードしておく必要がない。

＜その他＞
例えば、本実施形態では、テレビ会議端末（通信端末）を用いた会議室への参加を例に説明したが、通信端末の機能を有する各種の装置でも適用できる。例えば、通信端末の機能を有している電子黒板にも好適に適用できる。

また、電子黒板には大型のタッチパネルを備えたものだけでなく、プロジェクタが映像を投影し、電子ペンの位置を音波等とカメラにより検出するものがある。

また、図６などの構成例は、管理システム５０、端末１０、７０、及び中継装置３０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。管理システム５０、端末１０、７０、及び中継装置３０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

また、本実施形態では、教師と生徒が会話しながら授業が進められているが、生徒が録音ファイルを自分でダウンロードして出力し、それをお手本にして発声した音声データを管理システム５０に送信してもよい。管理システム５０は生徒の音声データを評価しておき、教師が任意のタイミングでダウンロードする。こうすることで、互いの時間を節約できたり、生徒が宿題を実行したりすることができる。

また、音声データだけでなく画像データを評価に採用してもよい。例えば、機械学習で口の動きを発音記号に変換することで同様に評価できる。

なお、送受信部５１は通信手段又は第２の通信手段の一例であり、解析・結果管理部５５は生成手段の一例であり、お手本の音声データは第１の音データの一例であり、生徒が発声した音声データは第２の音データの一例であり、教師は第１のユーザの一例であり、生徒は第２のユーザの一例であり、端末１０は第１の通信端末の一例であり、端末７０は第２の通信端末の一例であり、送受信部１１は第１の通信手段の一例であり、出力制御部１４は表示制御手段の一例である。

１通信システム
１０、７０端末
３０中継装置
５０管理システム

特表２００９‐５１１９６４号公報

Claims

複数の通信端末とネットワークを介して通信可能なサーバであって、
第１のユーザが操作する第１の通信端末の指示により第１の音データを複数の第２の通信端末にそれぞれ送信して、前記複数の第２の通信端末の第２のユーザがそれぞれ発した複数の第２の音データをそれぞれ受信する通信手段と、
前記第１の音データと、前記複数の第２の通信端末それぞれから取得した前記第２の音データとに基づき、複数の前記第２の音データそれぞれに対する評価を生成する生成手段と、を有し、
前記通信手段は、前記第１の通信端末に、前記生成手段によって得られた評価、前記複数の第２の通信端末の前記第２のユーザがそれぞれ発した複数の前記第２の音データの識別情報又は前記第２の音データそれぞれ、及び、複数の前記第２の音データの出力を個別に受け付けるボタンを有する第１の画面の画面情報、を送信することを特徴とするサーバ。
前記通信手段は、前記第１の通信端末に、前記第１の音データの識別情報又は前記第１の音データを送信し、
前記第１の画面は前記第１の音データの出力を受け付けるボタンを更に有することを特徴とする請求項１に記載のサーバ。
前記第１の画面は前記第１の音データを、再度、前記複数の第２の通信端末が出力するためのリトライボタンを有し、
前記リトライボタンが押下された旨を前記通信手段が受信した場合、
前記通信手段は、前記生成手段が前記評価の生成に使用した前記第１の音データを前記複数の第２の通信端末にそれぞれ送信し、前記複数の第２の通信端末の第２のユーザがそれぞれ発した複数の第２の音データを受信し、
前記生成手段は、前記第１の音データと、前記複数の第２の通信端末それぞれから取得した前記第２の音データとをそれぞれ比較して前記第２の音データそれぞれに対する評価を、再度、生成し、
前記通信手段は、前記生成手段によって得られた評価を前記第１の通信端末に送信することを特徴とする請求項２に記載のサーバ。
前記第１の音データは所定の言語の音声データであり、
前記生成手段は、前記第１の音データと、前記複数の第２の通信端末の第２のユーザがそれぞれ発した複数の第２の音データをそれぞれ発音記号に変換し、
前記第１の音データから変換された発音記号と、前記第２の音データから変換された発音記号とを比較することで複数の前記第２の音データそれぞれを評価することを特徴とする請求項１～３のいずれか１項に記載のサーバ。
前記通信手段は、前記第１の通信端末に、予め録音されている前記第１の音データのリストを含む第２の画面の画面情報を送信し、
前記第２の画面に表示される前記リストから選択された前記第１の音データの識別情報を受信した場合、
前記識別情報で特定される前記第１の音データを前記複数の第２の通信端末にそれぞれ送信することを特徴とする請求項１～４のいずれか１項に記載のサーバ。
前記第１の通信端末に表示された前記第１の音データの入力を受け付けるボタンを含む前記第２の画面において前記入力を受け付けるボタンが押下された場合、
前記通信手段は、前記第１のユーザが前記第１の通信端末に入力し前記第１の通信端末から受信した前記第１の音データを前記複数の第２の通信端末にそれぞれ送信することを特徴とする請求項５に記載のサーバ。
前記通信手段は、前記第２の通信端末に、
前記第１のユーザの前記第１の通信端末から受信した前記第１の音データの識別情報で識別される前記第１の音データ又は前記第１の通信端末から受信した前記第１の音データと、
前記第１の音データの出力中は前記第１のユーザの音声が出力されていることを示す第３の画面の画面情報と、
前記第１の音データの出力が完了した場合に表示される前記第２の音データの入力を受け付ける第４の画面の画面情報と、を送信することを特徴とする請求項６に記載のサーバ。
前記通信手段は、前記生成手段によって得られる複数の前記第２の音データに対する評価を前記第２の音データを送信した前記第２の通信端末が表示するように前記第２の音データを送信した前記第２の通信端末に個別に送信し、
更に、前記第１の音データの識別情報又は前記第１の音データ、及び、前記第２の音データの識別情報又は前記第２の音データを、前記第２の音データを送信した前記第２の通信端末に個別に送信し、
前記評価、前記第１の音データの識別情報又は前記第１の音データ、及び、前記第２の音データの識別情報又は前記第２の音データを前記第２の通信端末が受信したことを契機に表示される、前記評価、前記第１の音データの出力を受け付けるボタン、及び、前記第２の音データの出力を受け付けるボタンを含む第５の画面であって前記第４の画面から遷移する前記第５の画面の画面情報を前記第２の通信端末に送信することを特徴とする請求項７に記載のサーバ。
複数の通信端末とネットワークを介して通信可能なサーバが行う音データ評価方法であって、
通信手段が、第１のユーザが操作する第１の通信端末の指示により第１の音データを複数の第２の通信端末にそれぞれ送信して、前記複数の第２の通信端末の第２のユーザがそれぞれ発した複数の第２の音データをそれぞれ受信するステップと、
生成手段が、前記第１の音データと、前記複数の第２の通信端末それぞれから取得した前記第２の音データに基づき、複数の前記第２の音データそれぞれに対する評価を生成するステップと、
前記通信手段が、前記第１の通信端末に、前記生成手段によって得られた評価、前記複数の第２の通信端末の前記第２のユーザがそれぞれ発した複数の前記第２の音データの識別情報又は前記第２の音データそれぞれ、及び、複数の前記第２の音データの出力を個別に受け付けるボタンを有する第１の画面の画面情報、を送信するステップと、
を有することを特徴とする音データ評価方法。
複数の通信端末とネットワークを介して通信可能なサーバを、
第１のユーザが操作する第１の通信端末の指示により第１の音データを複数の第２の通信端末にそれぞれ送信して、前記複数の第２の通信端末の第２のユーザがそれぞれ発した複数の第２の音データをそれぞれ受信する通信手段と、
前記第１の音データと、前記複数の第２の通信端末それぞれから取得した前記第２の音データに基づき、複数の前記第２の音データそれぞれに対する評価を生成する生成手段、として機能させ、
前記通信手段は、前記第１の通信端末に、前記生成手段によって得られた評価、前記複数の第２の通信端末の前記第２のユーザがそれぞれ発した複数の前記第２の音データの識別情報又は前記第２の音データそれぞれ、及び、複数の前記第２の音データの出力を個別に受け付けるボタンを有する第１の画面の画面情報、を送信することを特徴とするプログラム。
ネットワークを介して通信可能な第１の通信端末とサーバとを有する通信システムであって、
前記第１の通信端末は、
第１の音データを複数の第２の通信端末にそれぞれ送信させる送信要求を前記サーバに送信する第１の通信手段、を有し、
前記サーバは、
前記送信要求に応じて前記第１の音データを前記複数の第２の通信端末にそれぞれ送信して、前記複数の第２の通信端末の第２のユーザがそれぞれ発した複数の第２の音データをそれぞれ受信する第２の通信手段と、
前記第１の音データと、前記複数の第２の通信端末それぞれから取得した前記第２の音データに基づき、複数の前記第２の音データそれぞれに対する評価を生成する生成手段と、を有し、
前記第２の通信手段は、前記第１の通信端末に、前記生成手段によって得られた評価、前記複数の第２の通信端末の前記第２のユーザがそれぞれ発した複数の前記第２の音データの識別情報又は前記第２の音データそれぞれ、及び、複数の前記第２の音データの出力を個別に受け付けるボタンを有する第１の画面の画面情報、を送信し、
前記第１の通信端末は、前記第１の通信手段が前記サーバから受信した複数の前記評価を表示装置に表示する表示制御手段を有する、ことを特徴とする通信システム。