JP6705956B1 - 教育支援システム、方法及びプログラム - Google Patents

教育支援システム、方法及びプログラム Download PDF

Info

Publication number
JP6705956B1
JP6705956B1 JP2019051480A JP2019051480A JP6705956B1 JP 6705956 B1 JP6705956 B1 JP 6705956B1 JP 2019051480 A JP2019051480 A JP 2019051480A JP 2019051480 A JP2019051480 A JP 2019051480A JP 6705956 B1 JP6705956 B1 JP 6705956B1
Authority
JP
Japan
Prior art keywords
discussion
evaluation
text data
unit
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019051480A
Other languages
English (en)
Other versions
JP2020154093A (ja
Inventor
駿太 五十嵐
駿太 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
With World
Original Assignee
With World
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by With World filed Critical With World
Priority to JP2019051480A priority Critical patent/JP6705956B1/ja
Application granted granted Critical
Publication of JP6705956B1 publication Critical patent/JP6705956B1/ja
Publication of JP2020154093A publication Critical patent/JP2020154093A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】経験の少ない人同士であっても、ネットワークを介して十分なディスカッションをすることが可能になる。【解決手段】教育支援システム10は、通信データ取得部11と、ディスカッションの議題を決定する議題決定部12と、ディスカッションの開始と終了を決定するディスカッション期間特定部13と、ディスカッション期間において取得された音声をテキスト化したテキストデータを、発言毎に、発言の時間及び発言者の情報と対応付けて記録するテキストデータ生成部14と、議題に基づいて決定された読み上げ用文章及び単語を、画像とともに端末に表示させるファシリテート部15と、複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、メンバの評価値を算出する評価部16と、を備える。【選択図】図2

Description

本発明は、人と人とのコミュニケーションのトレーニングを支援するシステム、方法、及びプログラムに関する。
従来、コンピュータにより教育を支援するシステムとして、種々のものが提案されている。例えば、特開2016−173395号公報(特許文献1)には、生徒の端末に課題を提示し、端末における回答の提出状況に基づいて情報を提示する回答支援システムが開示されている。また、特開2018−156296号公報(特許文献2)には、グループの議論に関する状況情報をロボットから取得し、状況情報に基づく機械学習をよりロボットの行動を決定する教育支援システムが開示されている。
また、会議を支援するシステムや、グループ内の役割に関する能力を算出するシステムも提案されている。例えば、特開2018−063699号公報(特許文献3)には、電子会議のルールを指定する特定会議ルールテンプレートを用いて、電子会議の議題生成、参加者選択、リアルタイム会議管理、会議内容の補強、及び会議後の処理を行うシステムが開示されている。また、特開2013−182533号公報(特許文献4)には、グループのメンバの活動情報から算出されたメンバの役割に関する特徴量に基づいて能力値を算出するグループ活動支援装置が開示されている。また、特開2017−215931号公報(特許文献5)には、会議の参加者の発明内容に基づいて発言の種類を判断し、判断結果に基づいて、評価を出力する会議支援システムが開示されている。
特開2016−173395号公報 特開2018−156296号公報 特開2018−063699号公報 特開2013−182533号公報 特開2017−215931号公報
発明者は、ネットワークを介したコンピュータシステムを用いて、遠隔地にある学校の学生同士でディスカッションを行い、コミュニケーション能力の向上を図ることを検討した。例えば、高校生のように、経験の少ない学習者同士では、教師等の支援がないと、ディスカッションを円滑に進めるのが難しい場合がある。そこで、発明者は、試行錯誤の結果、適切な支援や環境を提供することにより、例えば、母国語以外の言語でのディスカッションが可能になることがわかった。また、ディスカッションを達成させることで、学習者が自信を得て、さらなる学習の動機付けとなることを見出した。
また、教育者は、ディスカッションにおける各メンバの評価を行うために、ディスカッション内容の把握、及び集計の作業が必要である。この教育者の評価作業に係る時間が大きいことに発明者は着目した。この評価作業の時間を低減できれば、教育者が学習者に直接接して教育する時間が確保しやすくなり、教育の質が向上することが期待できる。
発明者らは、経験の少ない人同士のネットワークを介したディスカッションを可能にし、学習者が自信を得るためのコンピュータによる支援の形態を検討した。上記従来の技術では、学習者に自信を持たせる程度にディスカッションを達成するのは難しかった。教育者等が直接ディスカッションをアシストし、適切な評価を行うことで、ディスカッションの結果学習者に自信を持たせることができるが、この場合、教育者等の負担が大きく、教育の質を高める観点から効率が良くないことがわかった。そこで、本願は、経験の少ない人同士であっても、ネットワークを介して十分なディスカッションが可能になるシステム、方法、及びプログラムを開示する。
本発明の一実施形態における教育支援システムは、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する通信データ取得部と、ユーザの入力に基づいてディスカッションの議題を決定する議題決定部と、ディスカッションの開始と終了をユーザから入力に基づいて決定するディスカッション期間特定部と、前記ディスカッションの開始から終了までのディスカッション期間において前記通信データ取得部で取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの1つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するテキストデータ生成部と、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるファシリテート部と、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する評価部と、を備える。
本開示によれば、経験の少ない人同士であっても、ネットワークを介して十分なディスカッションをすることが可能になる。
図1は、教育支援システムを含むシステム全体の構成例を示す図である。 図2は、教育支援システムの構成例を示す機能ブロック図である。 図3は、教育支援システムの動作例を示すフローチャートである。 図4は、テキストデータの例を示す図である。 図5は、進行段階を示すデータの例を示す図である。 図6は、ディスカッション期間において、端末に表示される画面の一例を示す図である。 図7は、読み上げ用文章を示すデータの一例を示す図である。 図9は、評価データの一例を示す図である。 図8Aは、単語関連性データの一例を示す図である。 図8Bは、単語関連性データの他の一例を示す図である。 図10は、評価データの他の一例を示す図である。 図11は、図6におけるレポートタブボタンB1をユーザが選択した際に表示される画面部品の例を示す図である。 図12は、評価結果の表示例を示す図である。
本発明の一実施形態における教育支援システムは、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する通信データ取得部と、ユーザの入力に基づいてディスカッションの議題を決定する議題決定部と、ディスカッションの開始と終了をユーザから入力に基づいて決定するディスカッション期間特定部と、前記ディスカッションの開始から終了までのディスカッション期間において前記通信データ取得部で取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの1つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するテキストデータ生成部と、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるファシリテート部と、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する評価部と、を備える。
上記構成によれば、ディスカッションの期間において、決定された議題に基づく複数の読み上げ用文章と複数の単語が、メンバの画像とともに表示される。そのため、メンバが、議論に詰まった時などに、読み上げ用文章を読み上げることで議論を進めることができる。また、複数の文章と複数の単語を組み合わせた表示により、様々な状況に対応した議論のアシストが可能になる。さらに、各メンバの発言が、発言毎に、時間と発言者の情報を対応付けてテキストデータとして記録される。これにより、評価部は、各メンバについて、例えば、メンバ自身の発言と他のメンバの発言との関係を用いて複数の項目の評価値を算出できる。そのため、より適切な評価が効率よく可能になる。このように、発言を促進させる環境の提供及び適切な評価が効率よく可能になる。そのため、経験の少ない人同士であっても、ネットワークを介して十分なディスカッションをすることができる。なお、メンバは、ディスカッションを行う者である。ユーザは、メンバであってもよいし、メンバ以外(例えば、教師、管理者、又は進行司会者等)であってもよい。
前記ファシリテート部は、前記ディスカッション期間におけるユーザからの入力又は前記テキストデータに基づいて、前記ディスカッションの進行段階を判断し、前記判断された進行段階に応じて前記読み上げ用文章及び前記単語の少なくとも一方を更新して表示してもよい。これにより、進行段階及び進行パターンに合った読み上げ用文章又は単語を表示することができる。
例えば、教育支援システムがアクセス可能な記録装置にディスカッションにおける複数の進行段階及び複数の進行パターンを示すシナリオデータを予め記録しておいてもよい。前記ファシリテート部は、シナリオデータが示す複数の進行段階及び複数の進行パターンのうち、いずれに該当するかを、前記テキストデータ又はユーザ入力に応じて決定してもよい。
前記ファシリテート部は、ユーザからの入力に応じて前記読み上げ文章を表示してもよい。また、前記ファシリテート部は、前記テキストデータを参照し、前記議題に関連する単語の発声頻度に基づいて、前記複数の単語を更新してもよい。また、前記ファシリテート部は、前記テキストデータから抽出した単語(例えば、キーワード)と関連性を有する単語を、端末に表示される複数の単語に含めてもよい。関連性を有する単語の決定には、例えば、予め記録された複数の単語間の関係を示すう単語関係性データを用いることができる。単語関係性データは、例えば、単語の情報を含むデータベース又はネットワークを介してアクセス可能なファイルの情報を基に生成及び更新することができる。単語関係性データは、ディスカッションの発言のテキストデータを基に更新されてもよい。
前記評価部は、前記ディスカッション期間において、前記ファシリテート部で表示された前記読み上げ用文章を読み上げたメンバの音声に基づいて、当該メンバのスピーキング能力を評価し、評価の結果を前記ディスカッション期間に前記端末へ表示させてもよい。これにより、ディスカッション期間中に、読み上げ用文章を用いた評価が可能になる。例えば、読み上げ用文章と読み上げ音声とを比較することにより、より詳細又は正確なスピーキング能力の評価が可能になる。例えば、メンバが読み上げた読み上げ用文章とともに、評価の結果を端末へ表示させてもよい。
前記評価部は、前記評価値に基づく評価内容とともに、前記評価値の算出に用いられた前記発言に関する情報を、前記テキストデータを基に生成して表示してもよい。これにより、評価の基となった発言に関する情報を提供できる。情報の提供を受けた者は、評価の原因を理解することができる。例えば、前記評価部は、前記評価値と、前記評価値の算出で用いた発言のテキストデータとを対応付けるデータを記録してもよい。これにより、評価の情報の表示の際の処理効率がより向上する。
前記評価部は、前記当方メンバの話す速度に基づいて、前記当方メンバの少なくとも1つの項目の前記評価値を算出してもよい。
前記評価部は、前記テキストデータに含まれる単語に基づいて、前記当方メンバの少なくとも1つの項目の評価値を算出してもよい。
前記評価部は、前記テキストデータにおいて一人のメンバの発言に含まれる単語と、他のメンバの発言に含まれる単語との関連性に応じて、前記一人のメンバの少なくとも1つの項目の評価値を算出してもよい。複数の発言における単語間の関連性は、例えば、上記の単語関連性データを用いて決定することができる。発言間の単語の関連性により、ディスカッションの文脈を考慮した評価値の算出が可能になる。
前記評価部は、前記テキストデータにおいて前記当方メンバの発言に含まれる単語と、基準単語との比較に基づいて、前記当方メンバの少なくとも1つの項目の評価値を算出してもよい。
前記評価部は、前記テキストデータにおける前記当方メンバの前記発言数及び発言時間に基づいて、前記当方メンバの少なくとも1つの項目の評価値を算出してもよい。
前記評価部は、一人の前記当方メンバの発言の後の他のメンバの発言に基づいて、前記一人の当方メンバの少なくとも1つの項目の評価値を算出してもよい。
本発明の1つの実施形態におけるプログラムは、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する処理と、ユーザの入力に基づいてディスカッションの議題を決定する処理と、ディスカッションの開始と終了をユーザから入力に基づいて決定する処理と、前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの1つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録する処理と、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させる処理と、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する処理と、をコンピュータに実行させる。なお、上記プログラムを記録した記録媒体も、本発明の実施形態に含まれる。
本発明の1つの実施形態におけるコンピュータにより実施される方法は、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得するステップと、ユーザの入力に基づいてディスカッションの議題を決定するステップと、ディスカッションの開始と終了をユーザから入力に基づいて決定するステップと、前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの1つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するステップと、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるステップと、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出するステップを、含む。なお、上記の各ステップは、プロセッサがプログラムを実行することにより実現可能である。
(実施形態1)
(システム構成)
図1は、本実施形態における教育支援システムを含むシステム全体の構成例を示す図である。教育支援システム10は、ネットワークNに接続されるコンピュータ(例えば、サーバ2)上に構築される。教育支援システム10は、ネットワークNに接続される端末1a、1b間で通信される音声及び画像のうち少なくとも音声から得られる情報に基づいて、端末1a、1bとデータ通信を行う。
図2は、教育支援システム10の構成例を示す機能ブロック図である。端末1a、1b間の音声及び画像の通信により、遠隔地にいるメンバ同士がディスカッション可能である。教育支援システム10は、端末1a、1b間の通信を介したディスカッションの期間に、端末1a、1bに対して、ディスカッションを支援するデータを提供する。また、教育支援システム10は、ディスカッションにおける音声及び画像の少なくとも音声に基づいて、メンバの評価データを生成する。
教育支援システム10は、通信データ取得部11、議題決定部12、ディスカッション期間特定部13、テキストデータ生成部14、ファシリテート部15、及び、評価部16を備える。教育支援システム10は、記録装置3にアクセス可能である。記録装置3には、一例として、シナリオデータ、テキストデータ、及び評価データが記録される。
通信データ取得部11は、ネットワークNを介して端末1a、1b間で互いに通信される音声及び画像のうち少なくとも音声を取得する。通信データ取得部11は、例えば、端末1a、1bのマイク及びカメラを介して取り込まれた音声及び画像を取得することができる。或いは、通信データ取得部11は、端末1a、1bにおいて、出力される音声及び画像を取得してもよいし、端末1a、1b間のネットワーク経路を伝送される音声及び画像のデータを取得してもよい。
議題決定部12は、端末1a及び端末1bの少なくとも一方からのユーザの入力に基づいて、端末1a、1b間の通信によって行われるディスカッションの議題を決定する。ユーザが、端末1a、1bの画面で議題を選択又は入力可能としてもよいし、ユーザがログイン時に入力した識別情報(ID)に基づいて議題が決定されてもよい。ディスカッション期間特定部13は、ディスカッションの開始と終了を、端末1a及び端末1bの少なくとも一方からのユーザの入力に基づいて決定する。ディスカッションの開始と終了は、ユーザによる端末1a、1b間の音声及び映像の通信の開始及び終了の操作と同じであってもよい。或いは、音声映像通信の開始及び終了の操作とは別にディスカッションの開始と終了を受け付けてもよい。
テキストデータ生成部14は、ディスカッションの開始から終了までのディスカッション期間において通信データ取得部11で取得されたディスカッションにおけるメンバの音声をテキスト化したテキストデータを、記録装置3に記録する。テキストデータは、一人のメンバの1つの発言毎に、その発言の時間及びその発言者の情報と対応付けて記録される。
ファシリテート部15は、ディスカッション期間特定部13で決定されたディスカッション期間の少なくとも一部において、議題決定部12で決定された議題に基づいて決定される複数の読み上げ用文章及び複数の単語を端末1a、1bを、ディスカッションにおける画像とともに端末1a、1bに表示させる。
評価部16は、メンバの少なくとも一人のディスカッション期間における評価値を、複数の項目について算出する。この評価値の算出には、テキストデータに含まれる複数のメンバの複数の発言についての、テキストデータ、発言の時間、及び発言者の情報が用いられる。評価値は評価データとして記録装置3に記録される。評価値又は評価値に基づいて生成さえる評価結果のデータは、端末1a、1bに提供される。
教育支援システム10は、プロセッサ及びメモリを備える1又は複数のコンピュータによって構成できる。通信データ取得部11、議題決定部12、ディスカッション期間特定部13、ファシリテート部15、テキストデータ生成部14、及び、評価部16の機能は、プロセッサが所定のプログラムを実行することで実現できる。これらの機能をコンピュータに実行させるプログラム及びこのようなプログラムを記憶した非一時的(non-transitory)な記憶媒体も、本発明の実施形態に含まれる。教育支援システム10の少なくとも一部の機能は、例えば、サーバ2、端末1a、1b等のネットワークに接続された複数のコンピュータに分散させてもよい。記録装置3は、教育支援システム10が実装されるコンピュータに内蔵されてもよいし、接続されてもよい。記録装置3は、複数の記録装置で構成されてもよい。
(動作例)
図3は、教育支援システム10の動作例を示すフローチャートである。図3に示す例では、教育支援システム10は、端末1a、1bから、ディスカッションの議題及びディスカッションの通信の開始を指示する入力を受け付ける(S1及びS2)。例えば、端末1a、1bにインストールされたWebブラウザ等の通信アプリケーションを用いて、端末1a、1bと教育支援システム10とのデータ通信が行われる。例えば、教育支援システム10は、端末1a、1bに、議題の入力及びディスカッションの通信の開始を入力するための画面を表示させることで、議題及び通信開始の入力を受け付けることができる。なお、教育支援システム10は、ディスカッションの相手の指定等、その他のディスカッション開始のための情報を、端末1a、1bから受け付けてもよい。
教育支援システム10は、例えば、端末1a、1bの一方からの、ディスカッションの議題の指定及び通信開始の入力を受けた場合に、議題を決定し(S1)、端末1a、1bの双方に、端末1a、1b間の音声及び画像の相互通信を開始させる(S2)。ディスカッションに用いられる端末1a、1b間の通信は、サーバ(教育支援システム10のサーバと同じでなくてもよい)を介して、画像(映像)及び音声データを送受信する形態(サーバ−クライアント型)であってもよいし、端末1a、1bが直接接続される形態(Point to Point)であってもよい。
ディスカッション期間特定部13は、端末1a、1bの少なくとも一方からの入力に基づいて、ディスカッション期間の開始を検出する(S3でYES)。例えば、端末1a、1bの一方において、音声及び画像の通信の開始の指示が入力された場合に、ディスカッション期間が開始した判断することができる。或いは、端末1a、1b間の通信の確立後に、端末1a、1bからディスカッション開始の入力操作を受け付けることができる。
ディスカッション期間が開始されると(S3でYES)、テキストデータ生成部14は、端末1a、1b間の通信の音声データをテキスト化してテキストデータとして記録する処理を開始する(S4)。音声のテキスト化処理には、音声認識の技術が用いられる。音声認識の処理は、例えば、音声データで示される音声の波形を、音響モデルを用いて音素列に変換する処理と、音素列から言語モデルを生成する処理と、言語モデルから文章を決定する処理を含む。言語モデルの生成には、例えば、隠れマルコフモデル(HMM)、深層学習(ディープラーニング)、その他のモデル或いは、これらの組み合わせを用いることができる。文章の決定には、例えば、ビダビアルゴリズム、ディープラーニング、その他のアルゴリズム又はこれらの組み合わせを用いることができる。なお、ディープラーニングは、ニューラルネットワークを用いた機械学習である。
テキストデータ生成部14は、音声データから音声の特徴量に基づいて発言者(話者)を識別することができる。発言者の識別処理には、例えば、深層学習の技術を用いることができる。音声の特徴量として、例えば、声の高さ、声の大きさ、話すスピード、音源方向等に起因する特徴を用いることができる。また、各メンバから学習用の音声の入力を受け付けてもよい。或いは、各メンバがそれぞれのマイクから音声を入力する等、各メンバの音声の入力系統を他と独立した形態とし、入力系統によって発言者を識別する構成であってもよい。又は、音声と同期して取得された画像を用いて発声者を特定してもよい。例えば、音声が発声された時の画像において顔認識される人物のうち、口を動かしている者を認識し、この者を音声の発言者として識別することができる。
テキストデータ生成部14は、音声データから認識される音声において、一人のメンバの1つの発言を区別する処理を実行する。例えば、音声が入力されない空白の期間を、発言の区切りと認識することができる。また、上記の発言者の識別処理の結果を用いて、異なる発言者の音声は、異なる発言と判断することができる。
テキストデータ生成部14は、1つの発言の時間を特定する処理を実行してもよい。例えば、音声の波形データを、ディスカッション開始からの経過時間とともに取得することで、音声と時間情報を対応付けることができる。音声に対応付けられた時間情報を用いて、一人のメンバの1回の発言の開始時刻及び継続時間、又は、開始時刻及び終了時刻を特定することができる。
テキストデータ生成部14は、生成したテキストデータを、各発言を区別可能な状態で、記録装置3に記録する。図4は、発言毎に記録されるテキストデータの例を示す図である。図4に示す例では、1つの発言のテキストデータが、発言の識別子である発言ID、発言者及び発言の時間と対応付けて記録される。
ファシリテート部15は、ディスカッションの進行段階を判断する(図3のS5)。ファシリテート部15は、ディスカッションの音声をテキスト化したテキストデータに基づいて進行段階を判断することができる。例えば、テキストデータに含まれるワード又は文章が、各進行段階について予め設定された条件を満たすか否かにより、進行段階を判断することができる。一例として、テキストデータに、判断の基準となる基準テキストが含まれるか否かによって、進行段階に到達した否かを判断してもよい。基準テキストは、機械学習により更新されてもよい。進行段階を示すデータは、予め記録装置3に記録される。
図5は、進行段階を示すデータの例を示す図である。図5に示す例では、進行段階を示す文字例が、進行段階の識別子(ID)と対応づけられて記録される。図示しないが、進行段階を判断するための条件を示すデータが、進行段階のIDに対応付けてさらに記録されてもよい。なお、ディスカッションにおける進行段階の組み合わせは、ユーザの入力によって決定される議題によって異なっていてもよい。すなわち、議題に応じて、進行段階の組が決定されてもよい。
或いは、ファシリテート部15は、端末1a、1bを介したユーザからの入力に応じて、進行段階を判断することもできる。例えば、ファシリテート部15は、ディスカッションで通信される画像とともに、進行段階を入力するためのユーザインタフェース(ボタン、テキストボックス等)を端末1a、1bの画面に表示させることができる。このようにして、ファシリテート部15は、ユーザから進行段階を示す情報の入力を受け付けることができる。また、ファシリテート部15は、現在の進行段階を示す情報を、端末1a、1bに表示させてもよい。
図6は、端末1a、1b間の通信によるディスカッション期間において、端末1aに表示される画面の一例を示す図である。図6に示す例では、画面K1には、ディスカッションの相手方の端末1bで撮影された画像G1と、当方の端末1aで撮影された画像G2が表示される。画像G1には、ディスカッションの相手方のメンバが表示され、画像G2には当方のメンバが表示される。
画面K1には、議題エリアR1、進行段階エリアR2、質問文エリアR3、応答文エリアR4、単語エリアR5、評価結果エリアR6の他、レポートタブボタンB1、進行段階制御ボタンB2、検索テキスト入力ボックスTs、及び検索ボタンBsが含まれる。議題エリアR1には、S1で決定した議題が表示される。進行段階エリアR2には、S5で判断された現在の進行段階が表示される。質問文エリアR3及び応答文エリアR4には、読み上げ用文章が表示される。単語エリアR5には、読み上げ用の単語が表示される。進行段階制御ボタンB2は、ユーザが選択入力可能であり、一例として、進行段階を1段階進める指示の入力を受け付けるボタンである。検索テキスト入力ボックスTsは、テキスト入力可能であり、検索ボタンBsがクリックされると、検索テキスト入力ボックスTsで入力されたテキストを検索キーワードとして、例えば、インターネット上のファイルなど、外部のデータベースの検索が実行される。検索結果は、画面K1に表示されてもよいし、別のウィンドウで表示されてもよい。
ファシリテート部15は、質問文エリアR3、応答文エリアR4に表示する複数の読み上げ用文章を、S5で判断された進行段階に基づいて決定する。読み上げ用文章を示すデータは、進行段階を示すデータと対応付けて、予め記録装置3に記録される。
図7は、読み上げ用文章を示すデータの一例を示す図である。図7に示す例では、読み上げ用文章の識別子(文章ID)と、読み上げ用文章の文字列、種類、翻訳文の文字列、及び、進行段階を示すデータ(進行段階ID)が、対応づけられて記録される。ファシリテート部15は、現在の進行段階に対応する読み上げ文章の文字列データを抽出して、端末1aに表示させることができる。
記録装置3に記録されるデータで示される読み上げ用文章と進行段階との対応関係は、ユーザの入力に応じて変更可能としてもよいし、機械学習により更新されてもよい。また、読み上げ用文章を示すデータは、議題と対応付けて記録されてもよい。この場合、ファシリテート部15は、進行段階及び議題に対応する読み上げ用文章を抽出して、端末1aに表示させることができる。
ファシリテート部15は、単語エリアR5に表示される複数の単語を、S1で決定された議題に基づいて決定する。単語を示すデータは、議題を示すデータと対応付けて、予め記録装置3に記録される。例えば、単語のID、単語の文字列、及び議題を示すデータ(議題ID)を対応付けて記録することができる。なお、単語を示すデータは、進行段階と示すデータと対応付けて記録されてもよい。この場合、ファシリテート部15は、議題及び進行段階に対応する単語を抽出して、端末1aに表示させることができる。
また、単語を示すデータは、例えば、単語の使用頻度及び単語の議題との関連度合いの少なくともいずれかに応じてきまるスコアと関連付けて記録されてもよい。この場合、ファシリテート部15は、単語のスコアを用いて、端末1aに表示する単語の選択または表示する順番の決定をすることができる。また、記録装置3に記録される単語を示すデータは、ユーザの入力に応じて変更可能としてもよいし、機械学習により更新されてもよい。機械学習の場合は、例えば、単語の使用頻度、単語と議題との関連度合い、又は、単語と他の単語との関連度合い等をパラメータとする機械学習により、議題に適合する単語群を決定することができる。
なお、ファシリテート部15は、外部のデータベース又は、インターネット等のネットワークを介してアクセス可能なデータを参照して、端末1a、1bに表示する単語を決定してもよい。例えば、ファシリテート部15は、議題決定部12で決定された議題、又は、テキストデータ生成部14で生成されたディスカッションのテキストデータに含まれる文字列を基に、外部のデータベース又はインターネット上のファイルを検索して、関連する単語を抽出してもよい。これにより、議題又はディスカッションの話題に関連する単語を端末1a、1bに表示させることができる。なお、外部のデータベース又はインターネット上のファイルから得られる関連する単語群は、記録装置3に予め記録されていてもよい。関連する単語群は、機械学習により更新されてもよい。
また、ファシリテート部15は、ディスカッション期間において、検索テキストボックスTsに入力された検索のためのテキスト(検索キーワード)の単語又は入力されたテキストに関連する単語の訳語を、表示する単語に追加してもよい。これにより、ディスカッションの内容に関連する可能性の高い単語を表示することができる。
本実施形態では、ファシリテート部は、端末1a、1bに対して、読み上げ用文章と単語を、画面の異なるエリアに表示するようにデータを提供する。また、読み上げ用文章を決定する処理と、単語を決定する処理とは、別々に実行され、互いに異なる処理となっている。これにより、表示の更新頻度又は決定処理を、読み上げ用文章と、単語とで、それぞれに適切に制御できる。その結果、コンピュータ処理及びメモリ使用の効率を高めることができる。
図6に示す例では、読み上げ用文章において、話題にあった単語が挿入される部分を、ブランク “**”で表示している。これにより、読み上げ用文章を汎用化できる。なお、ブランクの代わりに、議題に適合する単語を挿入して表示してもよい。
図3のS6において、ファシリテート部15は、読み上げ用文章の表示を更新するか否かを判断し、更新すると判断した場合、端末1a、1bにおける読み上げ用文章の表示を更新する(S7)。例えば、ファシリテート部15は、S5において進行段階が変わったと判断された場合に、読み上げ用文章の表示を更新してもよい。或いは、ユーザから更新要求の入力に応じて、読み上げ用文章の表示を更新してもよい。また、ファシリテート部15は、単語の表示の更新を判断し、更新すると判断した場合に、端末1a、1bにおける複数の単語の表示を更新してもよい。単語の更新判断処理と、読み上げ用文章の更新判断処理は、異なっていてもよい。
評価部16は、端末1a、1bに表示されている読み上げ用文書が、ディスカッションにおいて読み上げられているか否かを判断する(S8)。例えば、ディスカッションにおいてテキストデータとして生成される各発言の文字列と、表示中の読み上げ用文章の文字列とを比較することにより、読み上げの有無を判断することができる。一例として、各発言の文字列と読み上げ用文章の文字列との類似度を示すスコアを算出し、スコアが所定の条件を満たす場合に読み上げ有りと判断することができる。
なお、評価部16は、生成されたテキストデータを用いて読み上げを検出する形態に代えて、音声認識処理により音声の波形データからテキストデータに変換する過程のデータを用いた読み上げを検出してもよい。
読み上げが検出された場合(S8でYES)、評価部16は、読み上げの音声データ及び読み上げ用文章に関するデータを用いて、スピーキング能力を評価する(S9)。例えば、評価部16は、読み上げの音声データを、元の読み上げ用文章に基づく音声基準データと比較することにより、発音の正確性等のスピーキング能力に関連する評価値を算出する。例えば、ディープラーニング等の機会学習により生成された学習モデルを用いて、読み上げの音声データから評価値を算出することができる。評価値は、例えば、音声の発音の正確性、イントネーション、又はテンポの少なくとも1つに応じて変化する値としてもよい。また、評価値は、複数の項目について算出されてもよい。
評価部16による評価結果は、ディスカッション期間において、読み上げ用文章とともに、端末1a、1bに表示する。図6に示す例では、評価結果エリアR6に、評価対象となった読み上げ用文章と、その評価結果“Good!”が表示される。このように、ディスカッション期間に、メンバが読み上げ用文章を読み上げた発言の評価を表示することで、メンバは自信を持つことができ、さらなる発言の動機付けとなる。特に、メンバが母国語以外の言語でディスカッションする場合に有効である。
端末1a、1bにおいて、ディスカッションを終了する操作入力がされた場合(S10でYES)、ディスカッションのための端末1a、1b間の音声及び画像の通信が終了し(S11)、テキストデータ生成部14は、テキストデータ生成を終了する(S12)。ディスカッションを終了する操作入力は、例えば、通信を終了する操作入力であってもよい。
評価部16は、ディスカッション期間において生成されたテキストデータを用いて、各メンバのディスカッション期間における評価値を、複数の項目について算出する(S13)。評価部16は、テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、各メンバの評価値を算出する。
一例として、評価部16は、各発言のテキストデータについて、その発言の発言者を評価対象者として、評価値を算出する。各発言についての評価値の算出には、その発言のテキストデータの他、前後の発言のテキストデータを用いてもよい。これにより、例えば、ディスカッションにおける文脈を考慮した発言の評価や、発言による他のメンバの反応を考慮した評価が可能になる。
また、評価部16は、画像データを用いて評価値を算出してもよい。例えば、画像データにおいて、顔認識されたメンバのジェスチャを検出し、ジェスチャに基づいて評価値を算出してもよい。また、同じ時間帯におけるテキストデータと画像データとの組み合わせを用いて、評価値を算出することもできる。以下、評価部16による評価処理の具体例を説明する。
一例として、評価部16は、コミュニケーション力の評価として、下記の処理を実行してもよい。例えば、発言における話す速度が所定の条件を満たす場合に、話すテンポがよいと判断し、コミュニケーション力のスコアを加算点として算出することができる。話す速度は、例えば、発言のテキストデータと、それに対応づけて記録された発言の時間に基づいて算出される。この他に時間情報を用いた評価の例として、前の発言から発言開始するまでの時間が、所定の条件を満たす場合に、適切な間での応答と判断して、スコアを加算する処理が挙げられる。
評価部16は、ディスカッションにおいて、質問をした回数に応じて、コミュニケーション力のスコアを算出してもよい。各発言が質問であるか否かは、例えば、テキストデータに “What”等の疑問視が含まれる否か、又は、発言の末尾でトーンが上がっているか等により判断できる。例えば、図4の示すように、質問か否かを示す情報が、発言IDに対応付けて記録されてもよい。また、質問の有無に加えて、質問の内容が、ディスカッションの文脈に合ったものであるか否かを判断してもよい。例えば、評価対象の発言に含まれる単語又はフレーズと、それより前の他の発言に含まれているテキストデータと比較することにより、評価対象の発言と、文脈との関係性を判断することができる。
評価部16は、評価対象の発言から所定時間経過するまでの他の発言に基づいて、コミュニケーション力のスコアを算出してもよい。これにより、発言による他のメンバの反応を考慮した評価ができる。例えば、評価部16は、評価対象の発言の後、所定時間内に、複数の肯定的な他の発言が有る場合、又は、笑いを含む他の発言が複数ある場合に、コミュニケーションがうまく取れた発言であると判断し、スコアを加算することができる。なお、各発言において感情分析した結果が、発言毎にテキストデータに対応付けて記録されてもよい。
評価部16は、ディスカッション期間の画像から、所定の条件を満たすメンバのジェスチャを検出した場合に、検出したジェスチャに応じてスコアを算出してもよい。例えば、メンバが発話中のアイコンタクトのジェスチャを検出した場合、スコアを加算することができる。
評価部16は、ディスカッションにおいて、相槌を打った回数に応じて、コミュニケーション力のスコアを算出してもよい。各発言に相槌が含まれるか否かは、例えば、テキストデータに “I see”等の相槌表現が含まれる否か等により判断できる。相槌の有無を示す情報が、発言IDすなわち各発言のテキストデータに対応付けて記録されてもよい。
評価部16は、ディスカッション期間における一人のメンバの発言数及び発言時間の少なくとも一方を用いて、積極性のスコアを算出してもよい。この場合、メンバの各発言のテキストデータの内容の、複数の他の発言のテキストデータの内容との関係性をさらに用いて積極性のスコアを算出することができる。例えば、他の発言との関連性が低い発言について、スコアを加算しないようにしてもよい。このように、積極性のスコアの算出において、他の発言との関係性の高い発言を、関連性の低い発言よりも高く評価することができる。
評価部16は、評価対象の発言の後の、他の複数の発言のテキストデータに基づいて、アイデア力(提案力)のスコアを算出することができる。例えば、評価対象の発言の後に、その発言の内容に関連する内容を含む発言が複数存在する場合に、アイデア力のスコアを加算点として算出してもよい。複数の発言の内容の関連性は、例えば、複数の発言のテキストデータを比較し、類似度合いを示す値を算出することで、判断することができる。また、評価部16は、評価対象の発言の後、所定時間内に、他の意見を肯定する内容を含む他の発言が有る場合、アイデア力のスコアを加算点として算出してもよい。発言が、他の意見を肯定する内容を含むか否かは、例えば、発言のテキストデータに、 “Nice”、“Good”等の肯定的な単語が含まれているか否かにより判断することができる。また、評価対象の発言のテキストデータに、何かを提案する内容(例えば、“How about”、“What about”、等)が含まれている場合に、アイデア力のスコアを加算点として算出してもよい。
評価部16は、評価対象の発言が、他の発言に対する応答を含む発言である場合に、応答の内容に応じてサポート力のスコアを算出してもよい。発言が、他の発言に対する応答であるか否かは、発言のテキストデータの応答らしさを示す度合いを計算することで判断してもよい。また、評価対象の発言より前の他の発言が、質問又は提案を含むか否かによって、その発言が応答を含むか否かを判断してもよい。評価部16は、例えば、他のメンバの発言に対して、さらに他のメンバが否定的な応答をする状況で、肯定的な応答をしたメンバに対して、サポート力のスコアを加算点として算出してもよい。応答の内容が肯定的か否定的かは、例えば、発言のテキストデータに、肯定的又は否定的な単語又はフレーズが含まれているかによって判断することができる。
評価部16は、評価対象の発言のテキストデータに、それより前の複数の発言のテキストデータに含まれる複数の単語が含まれている場合に、サポート力のスコアを加算点として算出してもよい。また、発言に「要するに、」「まとめると、」等、前の発言をまとめるフレーズが含まれる場合に、サポート力のスコアを加算点として算出してもよい。また、「私これやるよ」等、タスクを引き受ける内容が発言のテキストデータに含まれる場合も、サポート力のスコアを加算点として算出することができる。
評価部16は、一人のメンバの発言の回数、時間、及び発言の内容に基づいて、リーダーシップのスコアを算出することができる。例えば、“What do you think?”等、他のメンバに話題を振る内容が発言のテキストデータに含まれる場合、その発言の発言者のリーダーシップのスコアを加算点として計算することができる。或いは、ディスカッションにおいて会話が止まり、沈黙が所定時間続いた後に、最初に発言した発言者のリーダーシップのスコアを加算点として算出してもよい。
評価部16は、1回の発言における音声データを用いて、プレゼンテーション力のスコアを算出してもよい。例えば、1回の発言における音声のトーン、話すスピード、流暢さ等を示すスコアを、音声データから算出することができる。また、評価部16は、予め記録されたプレゼンテーションの内容を示すデータと、発言のテキストデータとを比較することにより、プレゼンテーションの構成(例えば、問題、解決、可能性、まとめ等)を認識してもよい。認識した構成に応じてプレゼンテーション力のスコアを算出することができる。
評価部16は、発言のテキストデータの構文解析の結果を用いて、論理的思考力のスコアを算出してもよい。評価部16は、例えば、1つの発言の中の複数の文章の間の論理的関係性を示す値が所定条件を満たす場合に、論理的思考力のスコアを加算点として算出してもよい。評価部16は、発言のテキストデータが、例えば、“becouse”、“since”、“so that”等の文章の間を接続する接続フレーズを検出し、接続フレーズの前後の文の論理的関係性を示す値を算出することができる。例えば、接続フレーズの前後の文の論理的関係性を示す値が所定の条件を満たす場合に、1つの発言の中で、接続フレーズを用いて、発言の根拠を説明できていると判断することができる。
2つの文章間の論理的関連性の値は、例えば、2つの文章に含まれる単語の比較結果に基づいて算出してもよい。単語の比較処理の例として、単語間の関連度合いを示す値を算出してもよい。単語間の関連度合いは、複数の単語の関連性を示す単語関連性データを基に判断できる。単語関連性データは、例えば、百科事典のデータや、インターネットのWebページデータ等の外部データに含まれる単語を基に作成することができる。図8Aは、単語関連性データで示される単語間の関連性の一例を示す図である。図8Aに示すように、複数の単語について、各単語に関連する単語が対応付けられる。図8Aに示す例において、複数の単語間の関連度合いを示すパラメータがさらに記録されてもよい。このような単語関連性データを用いることより、2つの文章のうち一方に含まれる単語と他方に含まれる単語との関連度合いを示す値を、単語ペア毎に算出することができる。なお、単語関連性データは、百科事典データやWebページ群等の外部データを用いた機械学習により更新されてもよい。
また、評価部16は、評価対象の発言のテキストデータと、他の発言のテキストデータの論理的関連性の値が所定の条件を満たす場合に、論理的思考力のスコアを加算点として算出してもよい。例えば、前の他の発言の言葉を引用し、且つ新しい情報を追加する部分が、1回の発言のテキストデータに2回以上存在する場合に、論理的思考力のスコアを加算点として算出することができる。
また、評価部16は、ディスカッションにおける複数の発言のテキストデータに含まれる単語間の関係性を示す単語関連性データを生成して、評価に用いてもよい。図8Bは、ディスカッションの複数の発言に含まれる単語間の関連性の一例を示す図である。図8Bに示す例では、複数の発言H1、H2、H3のそれぞれに含まれる単語が互いに関連ある単語として対応付けられて記録される。評価部16は、図8Aに示すような外部データに基づく単語関連性データに加えて、図8Bに示すようなディスカッションの発言のテキストデータに基づく単語関連性データを用いて、1つの発言における2つの文章間又は異なる2つの発言間の関連性を数値化することができる。このようにして計算される2つの発言間の関連性の値は、論理的思考力の評価のみならず、他の評価項目に用いられてもよい。
評価部16は、1つの発言について、その発言及び他の発言のテキストデータ及び時間情報に基づいて、リスニング力のスコアを算出してもよい。例えば、前の発言の終了と評価対象の発言の開始との時間差をリスニング力のスコアの算出に用いてもよい。これにより、前の発言に対して早く応答した場合に、リスニング力の評価を上げることができる。また、前の発言の意味を正しく理解した上で発言できた場合、他のメンバは、その発言に続いて間を開けることなく発言できる可能性が高い。そのため、評価対象の発言の終了と、その評価対象の発言の後の発言の開始との時間差をリスニング力のスコアの算出に用いてもよい。
さらに、前の発言を正しく聞き取った上で発言しているか否かを判断するため、評価対象の発言又は評価対象の発言の後の発言の冒頭の言葉のテキストデータ又は音声データをリスニング力の評価に用いてもよい。例えば、評価対象の発言の後の発言の冒頭に、 “I see”、“I understand”など、前の発言を理解したことを示す言葉がある、又は、“pardon”、“you lost me”等、発言が理解されなかった事を示す言葉がない場合に、リスニング力のスコアを加算点として算出することができる。また、前の他発言と評価対象の発言との関連性を示す値を用いて、他の発言の理解度を数値化したものをリスニング力のスコア計算に用いてもよい。さらに、評価対象の発言の前の発言が質問か否かを判断した結果を、リスニング力のスコアの算出に用いてもよい。前の発言が質問である場合、これに回答するまでに要する反応時間が、リスニング力を判断する上で、より重要になる。例えば、前の発言が質問であるか否かによって、リスニング力のスコアの重み付けを異ならせることができる。
以上のように、ディスカッションにおける音声を、テキスト化して発言毎に記録したテキストデータを用いることで、複数の評価項目について、評価値を算出することができる。なお、評価項目は、上記の例に限定されない。
図9は、評価部16が算出した評価値を記録する評価データの一例を示す図である。図9に示す例では、評価対象者、評価項目、評価値、評価値の算出に用いた本人(評価対象者)の発言を示す情報(発言ID)、及び評価値の算出に用いた他人(評価対象者以外のメンバ)の発言を示す情報(発言ID)が対応付けられて記録される。このように、評価値の算出に用いられた発言を示すデータを、評価と対応付けて記録することで、後述するように、評価結果とともに、評価の根拠を示す情報を、ユーザに提供することができる。また、評価データの管理及び出力のコンピュータ処理の効率が向上する。
図10は、評価部16が算出した評価値を記録する評価データの他の一例を示す図である。図10に示す例では、評価対象者、評価項目、評価値、評価値の算出に用いたジェスチャ、ジェスチャの検出時間が対応付けられて記録される。このように、画像を用いて評価値を算出した場合も、評価値の算出に用いたデータを、評価値に対応付けて、記録することができる。なお、図10に示す例において、ジェスチャが検出された画像のデータが、評価値と対応付けて記録されてもよい。
図11は、図6におけるレポートタブボタンB1をユーザが選択した際に、表示される画面部品の例を示す図である。図11は、テキスト入力が可能なテキストボックスT1、議題又は進行段階等ディスカッションに関する情報を表示するエリアR7、選択可能なカラーボタン群B3〜B8が表示される。カラーボタン群B3〜B8の色は、互いに異なる。カラーボタン群B3〜B8のうち1つが選択可能である。ユーザがテキストボックスT1に文字を入力すると、カラーボタン群B3〜B8のうち選択されているボタンの色の文字が、テキストボックスT1に書き込まれる。異なるメンバは、異なる色のボタンを選択してテキストボックスT1へ入力することで、文字を入力したメンバを識別することができる。図11に示す画面は、ディスカッション期間において表示可能であってもよいし、ディスカッション期間外において表示可能にできる。例えば、メンバは、ディスカッション中に、ディスカッションにおいて決定した内容をテキストボックスT1へ入力することができる。入力可能なテキストボックスは、複数の進行段階のそれぞれに対応して、複数表示されてよい。テキストボックスT1に入力された文字列は、教育支援システム10が取得し、記録装置3に記録される。評価部16は、テキストボックスT1に入力されてテキストを用いて評価値を算出してもよい。なお、テキストボックスT1に入力されたテキストの入力者を識別する方法は、図11に示すように、複数のカラーボタン群B3〜B8を設ける形態に限られない。また、例えば、複数の進行段階のそれぞれ対応する複数のテキストボックスT1が表示されてもよい。
なお、教育支援システム1は、ディスカッションを用いた端末1a、1bを介したレポート入力の他に、ディスカッション期間以外に、メンバが使用可能な端末からレポート(宿題)の入力を受けつけてもよい。例えば、各メンバが、各自の端末でIDを入力して教育支援システム1にログインした場合に、端末からのレポートの入力を受け付けてもよい。評価部16は、このように、ディスカッション期間外に別途入力されたレポート等のテキストデータに対して、評価処理を実行してもよい。
レポートのテキストデータの評価処理には、例えば、レポートのテキストデータの文字数、レポートのテキストデータに含まれる単語とディスカッションの発言に含まれる単語との比較結果、又はレポートのテキストデータの単語と議題に関連する単語との比較結果又は、数値を用いて物事を定量的に表す表現の数、等を用いることができる。ここで、議題に関連する単語は、外部のデータベース又はインターネット上のファイルから得られる関連する単語群であってもよい。例えば、レポートのテキストデータに含まれる単語と、ディスカッションの複数の発言のテキストデータに含まれる単語又は関連する単語との関連性が所定条件を満たす場合に、レポートのスコアを加算点として算出してもよい。また、議題に関連性のある単語を数値と組み合わせて使用する表現、(例えば、「年間の食品ロスは約600万トン」)がある場合にレポートのスコアを加算点として算出してもよい。なお、レポートのテキストデータに基づいて、上記ディスカッションの複数の評価項目の少なくとも一部と同じ評価項目の評価値を算出してもよい。
また、教育支援システム1は、ディスカッション終了後に、ディスカッションの参加メンバから、ディスカッションの自己評価及び/又は他者評価の入力を受け付けてもよい。自己評価の一例として、ディスカッションにおいて、どのような点を心がけていたか、どのような努力をしたか、等、自己振り返り事項を示すテキストデータの入力を受け付けてもよい。また、評価項目毎に、自己振り返り事項を入力可能としてもよい。或いは、教育支援システム1は、「今日の推薦者」として、ディスカッションで評価したい他のメンバの入力、及び、推薦の理由を示すテキストデータ又は評価項目データの入力を受け付けてもよい。評価部16は、自己評価及び他者評価を、評価データとして記録装置3に記録してもよい。
図12は、評価部16による評価結果の表示例を示す図である。図12に示す例では、評価結果として、評価対象者と、各評価項目の評価値が表示される。ユーザが評価項目を指定すると、この評価項目の評価の根拠を示す情報が表示される。図12に示す例では、コミュニケーション力が指定された場合の評価の根拠を示す情報が表示されている。このように、評価部16は、評価値に基づく評価内容とともに、評価値の算出に用いられた発言に関する情報を、発言のテキストデータを基に生成して表示することができる。なお、評価の根拠を示す情報として、発言のテキストデータの他、別途入力されたレポート、自己評価、又は、他者評価のデータを表示してもよい。
本実施形態における教育支援システム10では、ファシリテート部15により、ディスカッションの議題及び進行段階に合った読み上げ文章及び単語が、端末1a、1bにおいて画像とともに表示される。そのため、ディスカッションの経験が少ないメンバや、母国語以外の言語でディスカッションをするメンバが、自信を持って発言をできるようになる。さらに、評価部16が、ディスカッションの発言毎のテキストデータを基に、評価値を算出することで、適切な評価処理が効率よく実行できる。これにより、コンピュータの処理効率が向上するとともに、教育者(例えば、先生、上司)等の評価する者の負担も軽減される。また、ディスカッションにおける各メンバの発言の全体にわたって見逃すことなく評価できる。結果として、メンバは、自信を持たせる程度にディスカッションを達成することが可能になる。また、教育者は、評価に関する負担が低減されるため、メンバに直接接する教育活動により時間を割くことができる。その結果、教育の質が向上する。
本発明は、上記の実施形態に限定されない。例えば、上記例では、ディスカッションにおける画像及び音声の両方を用いて評価処理を実行しているが、音声のみを用いて評価処理を実行してもよい。また、読み上げ用文章及び単語は、ディスカッション期間全体で継続して表示されてもよいし、ディスカッション期間の一部で表示されてもよい。例えば、端末1a、1bにおいて、ディスカッションの画像とともに、読み上げ用文章及び単語の表示の要求を受け付けるボタン等のインターフェース部品を表示してもよい。この場合、ユーザに、ボタンが選択された際に、読み上げ用文章及び単語を表示することができる。また、上記例では、読み上げ用文章は、質問文と応答文に分かれて表示されているが、読み上げ用文章の表示態様は、これに限られない。質問文と応答文を区別することなく、読み上げ用文章を表示してもよい。
上記実施形態では、1回のディスカッションにおける動作例を説明した。教育支援システム1は、複数のディスカッションにおける評価データ及びテキストデータを、各メンバの識別子(ID)と対応付けて記録してもよい。例えば、評価データにおける評価対象者とメンバの識別子との対応関係、及びディスカッションの発言のテキストデータにおける発言者とメンバの識別子との対応関係を示すデータが、複数のディスカッションで生成される評価データ及びテキストデータとともに記録部3に記録されてもよい。評価対象者とメンバの識別子との対応、及び、テキストデータにおける発言者とメンバの識別子の対応を示す情報は、例えば、ユーザからの対応を示す入力に基づいて決定することができる。これにより、メンバの複数の教育段階、例えば、幼稚園、小学校、中学、高校、大学、社会人等を通じて、評価データを蓄積することができる。これにより、ユーザは、複数の教育段階において、成長記録の参照、自己分析、及び強みの把握等が可能になる。教育支援システム1は、ユーザの生涯を通じて成長をサポートできる。
本実施形態は、一例として、遠隔地における学校のメンバ同士が、ディスカッションを通じて学ぶ場を提供するコンピュータプラットフォームに適用することができる。学校の他、会社、病院、その他機関又は個人のディスカッションを通じた活動の場を提供するコンピュータプラットフォームにも本実施形態を適用できる。また、教育支援システムの用途は、教育に限られず、ビジネス、又は公的活動、その他にあらゆる用途に、教育支援システムを使用できる。
例えば、学校、会社その他機関の面接又は会議を、ネットワークを介して行う場合に、教育支援システムを適用することで、面接又は会議の円滑化並びに評価の効率化及びフィードバックが可能になる。教育支援システムの会社等における面接に利用することで、面接者から十分に発言を引き出し、且つ、面接者の適切な評価を効率よく行うことができる。また、評価担当者の作業負担が低減される。さらに、面接者に評価データを提供することで、面接者が、自らのコミュニケーションに関する能力を把握することができる。
1a、1b:端末、2:サーバ、3:記録装置、10:教育支援システム、11:通信データ取得部11、12:議題決定部、13:ディスカッション期間特定部、14:テキストデータ生成部、15:ファシリテート部、16:評価部

Claims (6)

  1. 遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する通信データ取得部と、
    ユーザの入力に基づいてディスカッションの議題を決定する議題決定部と、
    ディスカッションの開始と終了をユーザから入力に基づいて決定するディスカッション期間特定部と、
    前記ディスカッションの開始から終了までのディスカッション期間において前記通信データ取得部で取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの1つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するテキストデータ生成部と、
    前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるファシリテート部と、
    前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する評価部と、を備える、教育支援システム。
  2. 前記ファシリテート部は、前記ディスカッション期間におけるユーザからの入力又は前記テキストデータに基づいて、前記ディスカッションの進行段階を判断し、前記判断された進行段階に応じて前記読み上げ用文章及び前記単語の少なくとも一方を更新して表示する、請求項1に記載の教育支援システム。
  3. 前記評価部は、前記ディスカッション期間において、前記ファシリテート部で表示された前記読み上げ用文章を読み上げたメンバの音声に基づいて、当該メンバのスピーキング能力を評価し、評価の結果を前記ディスカッション期間に前記端末へ表示させる、請求項1又は2に記載の教育支援システム。
  4. 前記評価部は、前記評価値に基づく評価内容とともに、前記評価値の算出に用いられた前記発言に関する情報を、前記テキストデータを基に生成して表示する、請求項1〜3のいずれか1項に記載の教育支援システム。
  5. 遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する処理と、
    ユーザの入力に基づいてディスカッションの議題を決定する処理と、
    ディスカッションの開始と終了をユーザから入力に基づいて決定する処理と、
    前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの1つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録する処理と、
    前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させる処理と、
    前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する処理と、をコンピュータに実行させる、プログラム。
  6. コンピュータにより実施される方法であって、
    遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得するステップと、
    ユーザの入力に基づいてディスカッションの議題を決定するステップと、
    ディスカッションの開始と終了をユーザから入力に基づいて決定するステップと、
    前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの1つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するステップと、
    前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるステップと、
    前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出するステップを、含む方法。
JP2019051480A 2019-03-19 2019-03-19 教育支援システム、方法及びプログラム Expired - Fee Related JP6705956B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019051480A JP6705956B1 (ja) 2019-03-19 2019-03-19 教育支援システム、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019051480A JP6705956B1 (ja) 2019-03-19 2019-03-19 教育支援システム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6705956B1 true JP6705956B1 (ja) 2020-06-03
JP2020154093A JP2020154093A (ja) 2020-09-24

Family

ID=70858093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019051480A Expired - Fee Related JP6705956B1 (ja) 2019-03-19 2019-03-19 教育支援システム、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6705956B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249462A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022070352A1 (ja) * 2020-09-30 2022-04-07 株式会社Pfu 情報処理装置、コンテンツ提供方法、及びプログラム
JPWO2022254494A1 (ja) * 2021-05-31 2022-12-08
WO2022254495A1 (ja) * 2021-05-31 2022-12-08 株式会社I’mbesideyou 動画像分析システム
JPWO2022269802A1 (ja) * 2021-06-23 2022-12-29
JPWO2022269801A1 (ja) * 2021-06-23 2022-12-29
JP7121439B1 (ja) * 2021-08-06 2022-08-18 株式会社I’mbesideyou 動画像分析システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323738A (ja) * 2005-05-20 2006-11-30 Fuji Xerox Co Ltd コミュニティ参加者の貢献度評価用プログラム、電子コミュニケーションシステム
JP2015141540A (ja) * 2014-01-28 2015-08-03 株式会社リコー 情報処理装置、文言関連付け提示システム及び情報処理プログラム
JP6413256B2 (ja) * 2014-02-20 2018-10-31 株式会社リコー 会議支援装置、会議支援装置の制御方法、及びプログラム
JP7098875B2 (ja) * 2016-02-02 2022-07-12 株式会社リコー 会議支援システム、会議支援装置、会議支援方法及びプログラム
JP6511192B2 (ja) * 2016-07-19 2019-05-15 株式会社日立製作所 議論支援システム、議論支援方法、及び議論支援プログラム
JP2018174442A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249462A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム

Also Published As

Publication number Publication date
JP2020154093A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6705956B1 (ja) 教育支援システム、方法及びプログラム
Lynch et al. Listening
US9786199B2 (en) System and method for assisting language learning
Trinh et al. Robocop: A robotic coach for oral presentations
US8033831B2 (en) System and method for programmatically evaluating and aiding a person learning a new language
Ashwell et al. How Accurately Can the Google Web Speech API Recognize and Transcribe Japanese L2 English Learners' Oral Production?.
CN110489756B (zh) 会话式人机交互口语测评系统
JP2002503353A (ja) 音読及び発音指導装置
Daniels et al. The suitability of cloud-based speech recognition engines for language learning.
US11024194B1 (en) Virtual reading companion technology to support the acquisition of reading fluency
US8221126B2 (en) System and method for performing programmatic language learning tests and evaluations
US20220199080A1 (en) Voice coaching system and related methods
Gürbüz Understanding fluency and disfluency in non-native speakers' conversational English
Southwell et al. Challenges and Feasibility of Automatic Speech Recognition for Modeling Student Collaborative Discourse in Classrooms.
KR101004913B1 (ko) 음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력평가 장치 및 그 평가방법
Chukharev‐Hudilainen et al. The development and evaluation of interactional competence elicitor for oral language assessments
Gorman et al. A framework for speechreading acquisition tools
Ockey et al. Evaluating technology-mediated second language oral communication assessment delivery models
JP2003228279A (ja) 音声認識を用いた語学学習装置、語学学習方法及びその格納媒体
Yoshino et al. Japanese dialogue corpus of information navigation and attentive listening annotated with extended iso-24617-2 dialogue act tags
JP6656529B2 (ja) 外国語の会話訓練システム
KR20190070682A (ko) 강의 콘텐츠 구성 및 제공을 위한 시스템 및 방법
JP2004101637A (ja) オンライン教育システム、情報処理装置、情報提供方法及びプログラム
Hjalmarsson Evaluating AdApt, a multi-modal conversational dialogue system using PARADISE
McCrocklin et al. Salukispeech: integrating a new ASR tool into students’ English pronunciation practice

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191119

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R150 Certificate of patent or registration of utility model

Ref document number: 6705956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees