JP6161534B2 - 教え合い品質推定装置、教え合い品質推定方法およびプログラム - Google Patents

Description

本発明は、ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニング等において、ネットワーク上での学習者間の学び合いの質を自動推定する教え合い品質推定装置、教え合い品質推定方法およびプログラムに関する。

近年、ネットワーク技術の進歩およびその目覚しい普及に伴って、ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニング等の学習方法が広く用いられている。また、こうした技術の普及に伴って、その品質向上のための取り組みもなされている。

例えば、特許文献１の技術では、一般的な文書分類の課題を解決している。ここでは、分類対象の文書を前処理し、文書に出現する単語やその出現頻度などの言語的特徴量を用いている。具体的には、あらかじめ人手により分類された文書(学習データ)を用い、それらの言語的特徴量と分類結果の関係を機械学習手法の１つであるＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ(ＳＶＭ)を用いて機械学習している。

また、非特許文献１では、Ｙａｈｏｏ！（登録商標）知恵袋等のコミュニティＱＡサイトに関する研究では、ベストアンサーを自動予測する方法が提案されている。ここでは、「詳しさ」「根拠」「丁寧さ」に関連する言語的特徴量を用いてＳＶＭを用いて機械学習している。

特開２００５−２７５７５７号公報

石川大介、酒井哲也、関洋平、栗山和子、神門典子、「コミュニティＱＡにおける良質回答の自動予測」情報知識学会誌、２０１１、Ｖｏｌ.２１、Ｎｏ.３、 ＰＰ.３６２−３８２

しかしながら、コミュニティＱＡ（ＣＱＡ）サイトのベストアンサー自動推定の従来研究においては、質問分野における質問者および質問者の背景知識については扱えておらず、場合によっては、低い知識を持つ質問者に対して、低い知識しか持たない回答者が回答するということが起こり得るという問題がある。なお、特許文献１においては、上記の課題について、全く触れられていない。

そこで、本発明は、上述の課題に鑑みてなされたものであり、学習者間でｅ−Ｌｅａｒｎｉｎｇ学習コンテンツや、学習内容の分からない部分を教え合う場面での利用を目的とし、回答者のマッチングおよび、教え合い結果の品質の推定を行なう教え合い品質推定装置、教え合い品質推定方法およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１）本発明は、ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニングにおいて、ネットワーク上での学習者間の学び合いの質を自動推定する教え合い品質推定装置であって、ｅ−Ｌｅａｒｎｉｎｇの学習ログを取得する取得手段と、該取得したｅ−Ｌｅａｒｎｉｎｇの学習ログと、生徒による教え合い満足度、教え合い正確性を教師信号として入力し、品質推定用モデルを出力する機械学習手段と、を備えたことを特徴とする教え合い品質推定装置を提案している。

（２）本発明は、（１）の教え合い品質推定装置について、前記機械学習手段が、少なくとも、教え合いが生じている科目や単元における質問者と回答者の成績、学習進捗状況、ｅ−Ｌｅａｒｎｉｎｇ取り組み時間を教え合い品質推定に有効なパラメータとして抽出し、該パラメータを特徴量として利用することを特徴とする教え合い品質推定装置を提案している。

（３）本発明は、（２）の教え合い品質推定装置について、前記ｅ−Ｌｅａｒｎｉｎｇの過去の教え合いログから、少なくとも、教え合いログから抽出された出現単語、単語の出現頻度の言語的特徴量を前記特徴量として利用することを特徴する教え合い品質推定装置を提案している。

（４）本発明は、（１）から（３）の教え合い品質推定装置について、学習者の質問に対して、好適な回答候補者をマッチングするマッチング手段を備えたことを特徴とする教え合い品質推定装置を提案している。

（５）本発明は、（４）の教え合い品質推定装置について、前記マッチング手段が、実施された教え合いの質問と回答のペアから、抽出された言語的特徴量と、質問者と回答者のｅ−Ｌｅａｒｎｉｎｇ学習ログから抽出された特徴量とを用いて、学習者の質問に対して、好適な回答候補者をマッチングする教え合い品質推定装置を提案している。

（６）本発明は、（４）の教え合い品質推定装置について、前記マッチング手段が、投稿された質問から抽出された言語的特徴量と、質問者と回答者候補のｅ−Ｌｅａｒｎｉｎｇ学習ログから抽出された特徴量とを用いて、学習者の質問に対して、好適な回答候補者をマッチングすること特徴とする教え合い品質推定装置を提案している。

（７）本発明は、ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニングにおいて、ネットワーク上での学習者間の学び合いの質を自動推定する教え合い品質推定装置における教え合い品質推定方法であって、コンピュータが、ｅ−Ｌｅａｒｎｉｎｇの学習ログを取得する第１のステップと、該取得したｅ−Ｌｅａｒｎｉｎｇの学習ログと、生徒による教え合い満足度、教え合い正確性を教師信号として入力し、品質推定用モデルを出力する第２のステップと、を備えたことを特徴とする教え合い品質推定方法を提案している。

（８）本発明は、ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニングにおいて、ネットワーク上での学習者間の学び合いの質を自動推定する教え合い品質推定装置における教え合い品質推定方法をコンピュータに実行させるためのプログラムであって、ｅ−Ｌｅａｒｎｉｎｇの学習ログを取得する第１のステップと、該取得したｅ−Ｌｅａｒｎｉｎｇの学習ログと、生徒による教え合い満足度、教え合い正確性を教師信号として入力し、品質推定用モデルを出力する第２のステップと、をコンピュータに実行させるためのプログラムを提案している。

本発明によれば、従来のＣＱＡサイトの研究で用いられていた言語的特徴量に加え、質問者と回答者の能力を用いた品質推定を行うことにより、質問者と学習者の背景知識を把握することができ、より精度の高い品質推定を行うことができるという効果がある。

また、質問者よりも能力が低い学習者が回答者となることを防ぐことができ、回答者と質問者の能力が乖離しすぎており、回答者が質問者に難しすぎる回答をしてしまうことを防止できるという効果がある。さらに、過去に質問者と同様の問題を抱えていた回答者をマッチングすることにより、親身な回答が期待できるという効果がある。

本発明の実施形態に係る教え合い品質推定装置の構成を示す図である。 本発明の実施形態に係る学習フェーズにおける品質推定の処理フローである。 本発明の実施形態に係る学習フェーズにおけるマッチングの処理フローである。 本発明の実施形態に係る学習ログを例示した図である。 本発明の実施形態に係る学習ログを例示した図である。 本発明の実施形態に係る学習ログを例示した図である。 本発明の実施形態に係る学習ログを例示した図である。 本発明の実施形態に係る入力が多値の場合の前処理を示した図である。 本発明の実施形態に係る運用フェーズにおける品質推定の処理フローである。 本発明の実施形態に係る運用フェーズにおけるマッチングの処理フローである。

以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜教え合い品質推定装置の構成＞
図１を用いて、本発明の実施形態に係る教え合い品質推定装置の構成について説明する。なお、本発明では、学習者間でｅ−Ｌｅａｒｎｉｎｇ学習コンテンツや、学習内容の分からない部分を、ＳＮＳ上などで教え合うソーシャルラーニングにおいて、質問者と回答者のマッチングおよび、教え合い結果の品質推定を行うためのものである。

ここで、教え合い品質推定とは、ＳＮＳ上での教え合い（ソーシャルラーニング）環境において、学生間で生じた教え合いについて、質の低いものを検出するために用いられるものであり、マッチングとは、ある学習者の質問に対して、回答出来そうな学習者を推薦する技術をいう。

本発明の実施形態に係る教え合い品質推定装置は、図１に示すように、取得部１００と、機械学習部２００と、マッチング部３００とから構成されている。

取得部１００は、ｅ−Ｌｅａｒｎｉｎｇの学習ログを取得する。

機械学習部２００は、取得部１００が、取得したｅ−Ｌｅａｒｎｉｎｇの学習ログと、生徒による教え合い満足度、教え合い正確性を教師信号として入力し、品質推定用モデルを出力する。ここで、機械学習部２００は、少なくとも、教え合いが生じている科目や単元における質問者と回答者の成績、学習進捗状況、ｅ−Ｌｅａｒｎｉｎｇ取り組み時間を教え合い品質推定に有効なパラメータとして抽出し、そのパラメータを特徴量として利用する。なお、ｅ−Ｌｅａｒｎｉｎｇの過去の教え合いログから、少なくとも、教え合いログから抽出された出現単語、単語の出現頻度の言語的特徴量を特徴量として利用することが好適である。

マッチング部３００は、学習者の質問に対して、好適な回答候補者をマッチングする。ここで、マッチング部３００は、実施された教え合いの質問と回答のペアから、抽出された言語的特徴量と、質問者と回答者のｅ−Ｌｅａｒｎｉｎｇ学習ログから抽出された特徴量とを用いて、学習者の質問に対して、好適な回答候補者をマッチングの処理を実行する。また、マッチング部３００は、投稿された質問から抽出された言語的特徴量と、質問者と回答者候補のｅ−Ｌｅａｒｎｉｎｇ学習ログから抽出された特徴量とを用いて、学習者の質問に対して、好適な回答候補者をマッチングする処理を行なってもよい。

＜教え合い品質推定装置の処理＞
図２から図８を用いて、本実施形態に係る教え合い品質推定装置の処理について説明する。

本実施形態は、既存の学習者のｅ−Ｌｅａｒｎｉｎｇ学習ログや、ソーシャルラーニングからの教え合いログを用いて、機械学習により識別機のトレーニングを行う「学習フェーズ」と、得られた識別機の情報を用いて、マッチングや品質推定を行う「運用フェーズ」とからなる。

本実施形態の「学習フェーズ」では、図２および図３に示すように、ＳＶＭ等の機械学習を用いて識別器を作成する。識別するための特徴量（素性）として、質問者や回答者のｅ−Ｌｅａｒｎｉｎｇ学習ログを用いる。ｅ−Ｌｅａｒｎｉｎｇ学習ログからは、学習単元ごとの取り組み時間、テストの結果、取り組み回数など抽出し、機械学習の素性とする。これらの例を図４及び図５に示す。

具体的には、模範解答と生徒による教え合いログから言語的特徴量を抽出する（ステップ１１０）。次に、抽出した言語的特徴量とｅ−Ｌｅａｒｎｉｎｇ学習ログと生徒の教え合いログに基づく、生徒の満足度評価や教師の教え合い内容の正評価とから機械学習を行い（ステップＳ１２０）、品質推定用モデルを出力する。

ｅ−Ｌｅａｒｎｉｎｇ学習ログは、ｅ−Ｌｅａｒｎｉｎｇシステムの設計により、利用可能な特徴量が異なる可能性があるが、ここでは、一般的な特徴量である単元ごとの取り組み回数や、取り組み時間を表している（図４参照）。実際に機械学習の素性として利用する際は、必要により正規化を行う。正規化には、各素性の最大値で割る方法や、各素性の平均と標準偏差を用いて標準化する方法等がある。本実施形態では、図５の１行が、学習者１名分に対する特徴量ベクトルとなっている。

正規化後のデータはそのまま機械学習トレーニング時の入力としても良いが、実際に教え合いや質問が生じた単元の情報が分かる場合は、その単元に関連するログのみを抽出して利用してもよい。図６は、単元としての２次関数の教え合いや質問が生じた場合の例である。

また、単元間の関係に関する情報が事前に得られる場合は、教え合いが生じた単元と、その単元に関連する単元のログを抽出しても良い。図７では、単元としての２次関数の教え合いが生じており、それに関連する単元である１次関数のログも抽出されている。

また、教え合いログなどが過去のログが存在する場合は、これを利用することも可能である。教え合いログからは、従来技術で用いられる言語的特徴量等（全体の単語数、丁寧語の単語の頻度、ｂａｇ−ｏｆ−ｗｏｒｄｓ等）を抽出し、素性として利用する。教え合いログから、回答内容に対する質問者の満足度（満足した／満足していない等）の評価結果が得られる場合は、これを教師信号として利用することが可能である。この場合は、先に述べた素性と教師信号（満足したかどうかの２値や、満足度に関する数段階の評価値等）との対を学習データとし、機械学習に入力する。

前述の、学習方法では、質問者の満足度を推定するモデルや、満足度に基づくマッチングモデルが構築される。しかしながら、質問者が満足したからといって、回答内容が正しいかどうか分からない。このため、教え合いの正確性推定を行いたい場合は、教師や講師等が、回答内容を主観評価（適切な教え合い／不適切な教え合い等）し、教師信号とすることが望ましい。

あらかじめ、与えられた学習コンテンツに対する質問を扱う場合であって、模範回答例などが準備されている際には、模範回答から、言語的特徴量を抽出し、素性に追加することも可能である。

マッチングのための教え合い品質推定は、通常の教え合い品質推定の場合と異なり、回答者の回答が得られていない状態で、最適な回答者候補を推定する必要がある。そのため、素性としては、ｅ−Ｌｅａｒｎｉｎｇ学習ログと、質問のみの言語的特徴量を利用している。よって、図３に示したマッチング学習では、教え合いログより回答データをフィルタアウトする必要がある。

具体的には、生徒の教え合いログから回答データをファイルアウトし（ステップＳ２１０）、これと模範解答から言語的特徴量抽出を行なう（ステップＳ２２０）。

次に、抽出した言語的特徴量とｅ−Ｌｅａｒｎｉｎｇ学習ログと生徒の教え合いログに基づく、生徒の満足度評価や教師の教え合い内容の正評価とから機械学習を行い（ステップＳ２３０）、マッチング用モデルを出力する。

ここで、教師信号が、「満足した／満足していない」、「適切な教え合い／不適切な教え合い」などの２値の場合は、「満足した」場合や、「適切な教え合い」の場合（評価結果が閾値以上の場合）を、教え合い品質推定や、マッチング時の正例(＝１)、「満足していない」場合や、「不適切な教え合い」の場合（評価結果が閾値より低いの場合）を、負例(＝０)として機械学習する。

一方、教師信号が「十分満足した、少し満足した、普通、少し不満、とても不満」などの多値を取る場合、それぞれ、４、３、２、１、０などの値を割り当てて多クラス対応の機械学習を行うか、図７に示すように、閾値などを用いて評価結果を２値化し、機械学習を行うことが可能である。

図９および図１０に、本実施形態のソーシャルラーニングにおける運用フェーズを示す。

図９は、ソーシャルラーニングにおける教え合い品質推定の処理を示したものである。図９に示すように、ＳＮＳ上で実施された教え合いについて、質問と回答のペアから、それぞれ言語的特徴量を抽出する（ステップＳ３１０）。次に、ｅ−Ｌｅａｒｎｉｎｇ学習ログから質問者と回答者の特徴量を抽出し、これらの結果を入力して、推定された教え合い品質が推定される（ステップＳ３２０）。この値が閾値よりも低い場合は、教師や講師などのスーパーバイザーに通知され、教え合い内容の訂正が行われる（ステップＳ３３０）。

図１０に示すマッチングの場合は、全体のｅ−Ｌｅａｒｎｉｎｇ学習ログから、全回答候補者ｍ人の中からｎ番目の候補者と、質問者のログを抽出して、特徴量（学習単元ごとの取り組み時間、テストの結果、取り組み回数）を抽出する（ステップＳ４１０）。

一方、ＳＮＳの利用者からの質問テキストから、言語的特徴量を抽出し（ステップＳ４２０）、マッチング処理を行う（ステップＳ４２０）。前述の２値の評価値の場合は、マッチングの適(１)、不適(０)が得られ、多値の場合、例えば、５段階評価の場合は４〜０などの値が得られる。

この値をマッチングスコアとし、全ての回答者候補の中から、この値が最大となる回答者を更新し（ステップＳ４３０）、ｍ≦ｎでない場合には、ｎを１インクリメントして、ステップＳ４１０に戻り、ｍ≦ｎの場合には、処理を終了する（ステップＳ４４０）。なお、複数の回答者が得られる場合は、全て推薦するか、ランダムに数名推薦するなどして対応する。

以上、説明したように、本実施形態によれば、従来のＣＱＡサイトの研究で用いられていた言語的特徴量に加え、質問者と回答者の能力を用いた品質推定を行うことにより、質問者と学習者の背景知識を把握することができ、より精度の高い品質推定を行うことができる。また、質問者よりも能力が低い学習者が回答者となることを防ぐことができ、回答者と質問者の能力が乖離しすぎており、回答者が質問者に難しすぎる回答をしてしまうことを防止できる。さらに、過去に質問者と同様の問題を抱えていた回答者をマッチングすることにより、親身な回答が期待できる。

なお、教え合い品質推定装置の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを教え合い品質推定装置に読み込ませ、実行することによって本発明の教え合い品質推定装置を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００；取得部
２００；機械学習部
３００；マッチング部

Claims (8)

1. ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニングにおいて、ネットワーク上での学習者間の学び合いの質を自動推定する教え合い品質推定装置であって、
   ｅ−Ｌｅａｒｎｉｎｇの学習ログを取得する取得手段と、
   該取得したｅ−Ｌｅａｒｎｉｎｇの学習ログと、生徒による教え合い満足度、教え合い正確性を教師信号として入力し、品質推定用モデルを出力する機械学習手段と、
   を備えたことを特徴とする教え合い品質推定装置。
2. 前記機械学習手段が、少なくとも、教え合いが生じている科目や単元における質問者と回答者の成績、学習進捗状況、ｅ−Ｌｅａｒｎｉｎｇ取り組み時間を教え合い品質推定に有効なパラメータとして抽出し、該パラメータを特徴量として利用することを特徴とする請求項１に記載の教え合い品質推定装置。
3. 前記ｅ−Ｌｅａｒｎｉｎｇの過去の教え合いログから、少なくとも、教え合いログから抽出された出現単語、単語の出現頻度の言語的特徴量を前記特徴量として利用することを特徴する請求項２に記載の教え合い品質推定装置。
4. 学習者の質問に対して、好適な回答候補者をマッチングするマッチング手段を備えたことを特徴とする請求項１から請求項３のいずれかに記載の教え合い品質推定装置。
5. 前記マッチング手段が、実施された教え合いの質問と回答のペアから、抽出された言語的特徴量と、質問者と回答者のｅ−Ｌｅａｒｎｉｎｇ学習ログから抽出された特徴量とを用いて、学習者の質問に対して、好適な回答候補者をマッチングする請求項４に記載の教え合い品質推定装置。
6. 前記マッチング手段が、投稿された質問から抽出された言語的特徴量と、質問者と回答者候補のｅ−Ｌｅａｒｎｉｎｇ学習ログから抽出された特徴量とを用いて、学習者の質問に対して、好適な回答候補者をマッチングすること特徴とする請求項４に記載の教え合い品質推定装置。
7. ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニングにおいて、ネットワーク上での学習者間の学び合いの質を自動推定する教え合い品質推定装置における教え合い品質推定方法であって、
   コンピュータが、
   ｅ−Ｌｅａｒｎｉｎｇの学習ログを取得する第１のステップと、
   該取得したｅ−Ｌｅａｒｎｉｎｇの学習ログと、生徒による教え合い満足度、教え合い正確性を教師信号として入力し、品質推定用モデルを出力する第２のステップと、
   を備えたことを特徴とする教え合い品質推定方法。
8. ｅ−Ｌｅａｒｎｉｎｇやソーシャルラーニングにおいて、ネットワーク上での学習者間の学び合いの質を自動推定する教え合い品質推定装置における教え合い品質推定方法をコンピュータに実行させるためのプログラムであって、
   ｅ−Ｌｅａｒｎｉｎｇの学習ログを取得する第１のステップと、
   該取得したｅ−Ｌｅａｒｎｉｎｇの学習ログと、生徒による教え合い満足度、教え合い正確性を教師信号として入力し、品質推定用モデルを出力する第２のステップと、
   をコンピュータに実行させるためのプログラム。

Images