JPWO2015178014A1 - 学習支援システム、学習支援サーバ、学習支援方法、及び学習支援プログラム - Google Patents

Abstract

学習支援システム（１００）は、通信ネットワークを介して互いに通信可能な学習者端末（１０）と学習支援サーバ（２０）とを備えている。学習者端末（１０）は、教材に含まれる問題の内容を示す問題情報を生成するための制御部（１３）と、制御部（１３）にて生成された問題情報を学習支援サーバ（２０）に送信する送受信部（２５）とを備えている。学習支援サーバ（２０）は、送受信部（１５）より送信された問題情報を受信する送受信部（２１）と、解説コンテンツを記憶する解説コンテンツデータベース（２６）と、解説コンテンツデータベース（２６）から問題情報が示す問題に対応する解説コンテンツを取得する制御部（２２）とを備え、送受信部（２１）は、制御部（２２）にて取得された解説コンテンツを学習者端末（１０）に送信する。

Description

本発明は、教材を用いた学習を支援する学習支援システム、学習支援サーバ、学習支援方法、及び学習支援プログラムに関するものである。

近年、学習者による学習を情報処理技術及び通信技術を用いて支援する学習支援システムが活用されている。このような学習支援システムは、例えば、タブレット端末等の学習者端末と学習支援サーバとが通信ネットワークで接続されて構成されている。学習支援サーバは、学習者端末に講義、演習問題、演習問題に対する解説等の学習コンテンツ（テキスト、画像、音声、動画等）を提供し、学習者は学習者端末で学習コンテンツを出力して学習を行う。

また、学習支援サーバから学習者端末に演習問題を送信し、学習者端末から学習支援サーバに演習問題に対する学習者の解答を送信し、その演習問題に対する解説コンテンツを学習支援サーバから学習者端末に送信する双方向の学習支援システムも知られている（例えば特許文献１、２）。

さらに、このような学習支援システムによって、学習者の学習履歴を管理し、学習者の学力に応じた問題を提示するなど、情報処理を駆使して効率的な学習支援を行うことも提案されている。

特開２００４−１５７６１６号公報 特開２００６−２１５１２６号公報

本発明は、教材を利用して学習する学習者の学習支援を行う新規な学習支援システム、学習支援サーバ、学習支援方法、及び学習支援プログラムを提供することを目的とする。

本発明の一態様の学習支援システムは、教材に含まれる問題の内容を示す問題情報を生成するための第１の制御部と、解説コンテンツを記憶する解説コンテンツ記憶部と、前記問題情報が示す問題に対応する解説コンテンツを検索して、前記解説コンテンツ記憶部から前記対応する解説コンテンツを取得する第２の制御部とを備えた構成を有している。

本発明の第１の実施の形態の学習支援システムの全体の構成を示す図 本発明の第１の実施の形態の学習者端末の構成を示すブロック図 本発明の第１の実施の形態の質問箇所の指定の際の表示パネルの画面例を示す図 本発明の第１の実施の形態の指定された質問箇所の画面例を示す図 本発明の第１の実施の形態の送信データのデータ構成を示す図 本発明の第１の実施の形態の学習支援サーバの構成を示すブロック図 本発明の第１の実施の形態の参照頁情報データベースのデータ構成を示す図 本発明の第１の実施の形態の問題データベースのデータ構成を示す図 本発明の第１の実施の形態の解説コンテンツデータベースのデータ構成を示す図 本発明の第１の実施の形態の検索結果画面の例を示す図 本発明の第２の実施の形態の学習支援システムの学習者端末の構成を示すブロック図 本発明の第２の実施の形態の学習支援システムの学習支援サーバの構成を示すブロック図 本発明の第２の実施の形態の解説コンテンツリンクデータベースのデータ構造を示す図 本発明の第２の実施の形態の検索結果画面の例を示す図 本発明の第３の実施の形態の学習支援システムにおける学習支援サーバの構成を示すブロック図 本発明の第３の実施の形態の教材データベースのデータ構成を示す図 本発明の第３の実施の形態の参照頁情報データベースのデータ構成を示す図 本発明の変形例の参照問題情報データベースのデータ構成を示す図

以下、本発明の実施の形態の学習支援システムについて説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

本発明の第１−１の態様は、教材に含まれる問題の内容を示す問題情報を生成するための第１の制御部と、解説コンテンツを記憶する解説コンテンツ記憶部と、前記問題情報が示す問題に対応する解説コンテンツを検索して、前記解説コンテンツ記憶部から前記対応する解説コンテンツを取得する第２の制御部とを備えたことを特徴とする学習支援システムである。

学習者による学習（例えば、問題演習）をすべて学習者端末で行うと、紙面の文字を読み、紙面に解答を書くという従来の学習方法とは異なり、すべて学習者端末への入力（マウスによる入力、タッチパネルによる入力、ペンタブレットによる入力等）で行うこととなり、入力作業の手間による学習効率の低下、学習者端末を長時間利用することによる目の疲れ、実際の試験での解答方式（解答用紙への記入）との相違等が懸念されるところ、第１−１の態様によれば、教科書、問題集等の非電子的な教材を用いて学習する学習者の学習支援を行うことができる。

本発明の第１−２の態様は、第１−１の態様の学習支援システムにおいて、前記学習支援システムは、通信ネットワークを介して互いに通信可能な学習者端末と学習支援サーバとを備え、前記第１の制御部は、前記学習者端末に備えられ、前記解説コンテンツ記憶部及び前記第２の制御部は、前記学習支援サーバに備えられ、前記学習者端末は、さらに、前記第１の制御部にて生成された前記問題情報を前記学習支援サーバに送信する端末送信部を備え、前記学習支援サーバは、さらに、前記端末送信部より送信された前記問題情報を受信するサーバ受信部と、前記第２の制御部にて取得された前記解説コンテンツを前記学習者端末に送信するサーバ送信部とを備えたことを特徴とする。この構成により、学習者端末が学習支援サーバに問題情報を送ると、学習支援サーバではその問題情報に対応する解説コンテンツが自動で取得されて、学習者端末に送信されるので、学習者は、自らが送信した問題に対する解説コンテンツを比較的速やかに得ることができる。

本発明の第１−３の態様は、第１−１又は１−２の態様の学習支援システムにおいて、前記問題情報は、前記教材を撮影することで得られた問題画像であることを特徴とする。この構成により、学習者は教材を撮影するという簡単な操作で容易に問題情報を生成できる。

本発明の第１−４の態様は、第１−１又は第１−２の態様の学習支援システムにおいて、前記問題情報は、教材を撮影することで得られた問題画像から抽出された特徴量であることを特徴とする。この構成により、学習者端末から学習支援サーバに対して画像を送る必要がなく、通信負荷を軽減できる。

本発明の第１−５の態様は、第１−１ないし第１−４のいずれかの態様の学習支援システムにおいて、前記解説コンテンツは動画像であることを特徴とする。この構成により、学習者は動画像で解説を視聴することができる。

本発明の第１−６の態様は、通信ネットワークを介して学習者端末と通信可能な学習支援サーバであって、前記学習者端末より送信された問題情報を受信する受信部と、解説コンテンツを記憶する解説コンテンツ記憶部と、前記解説コンテンツ記憶部から前記問題情報が示す問題に対応する解説コンテンツを取得する制御部と、前記制御部にて取得された前記解説コンテンツを前記学習者端末に送信する送信部とを備えた構成を有している。この構成によれば、解説コンテンツが解説コンテンツ記憶部に用意され、学習者端末が学習支援サーバに問題情報を送ると、学習支援サーバではその問題情報に対応する解説コンテンツが自動で取得されて、学習者端末に送信されるので、学習者は、自らが送信した問題に対する解説コンテンツを比較的速やかに得ることができる。

本発明の第１−７の態様は、通信ネットワークを介して学習者端末と通信可能であり、かつ解説コンテンツを記憶する解説コンテンツ記憶部を備えた学習支援サーバにおける学習支援方法であって、前記学習支援方法は、前記学習者端末より送信された問題情報を受信する受信ステップと、前記解説コンテンツ記憶部から前記問題情報が示す問題に対応する解説コンテンツを取得する取得ステップと、前記取得ステップにて取得された前記解説コンテンツを前記学習者端末に送信する送信ステップとを含む構成を有している。この構成によっても、解説コンテンツが解説コンテンツ記憶部に用意され、学習者端末が学習支援サーバに問題情報を送ると、学習支援サーバではその問題情報に対応する解説コンテンツが自動で検索されて、学習者端末に送信されるので、学習者は、自らが送信した問題に対する解説コンテンツを比較的速やかに得ることができる。

本発明の第１−８の態様は、通信ネットワークを介して学習者端末と通信可能であり、かつ解説コンテンツを記憶した解説コンテンツ記憶部を備えた学習支援サーバのコンピュータを、前記学習者端末より送信された問題情報を受信する受信部、前記解説コンテンツ記憶部から前記問題情報が示す問題に対応する解説コンテンツを取得する制御部、及び前記制御部にて取得された前記解説コンテンツを前記学習者端末に送信する送信部として機能させる構成を有している。

本発明の第２−１の態様は、教材を用いた学習を支援する学習支援システムであって、教材の頁の情報である頁情報を生成するための頁情報生成部と、前記頁情報生成部で生成された前記頁情報の中の質問箇所を指定する質問箇所指定情報を生成する指定情報生成部と、教材の複数の頁の各々について頁の内容を示す参照頁情報を記憶した参照頁情報記憶部から、前記頁情報生成部で生成された前記頁情報に対応する頁を検索する頁検索部と、前記頁検索部にて検索された頁に含まれる複数の問題に対応する複数の解説コンテンツから、前記質問箇所指定情報が指定する問題に対応する解説コンテンツを特定する解説コンテンツ特定部とを備えた構成を有している。

この構成によっても、教科書、問題集等の非電子的な教材を用いて学習する学習者の学習支援を行うことができる。特に、上記の構成により、まず、頁検索を行って頁を特定した上で、質問箇所指定情報を用いて解説コンテンツを特定するので、学習者が要求している解説コンテンツの特定を容易にできる。

本発明の第２−２の態様は、第２−１の態様の学習支援システムにおいて、前記参照頁情報記憶部は、前記参照頁情報として、教材の複数の頁の各々から抽出した特徴量を記憶しており、前記頁検索部は、前記参照頁情報記憶部に記憶された特徴量と、前記教材の頁から抽出された特徴量とを用いて、前記頁情報生成部にて生成された前記頁情報に対応する頁を検索することを特徴とする学習支援システムである。この構成により、特徴量を用いて高速かつ正確に頁の検索ができる。

本発明の第２−３の態様は、第２−２の態様の学習支援システムにおいて、学習者端末と学習支援サーバとを備え、前記頁情報生成部、及び前記指定情報生成部は、前記学習者端末に備えられ、前記頁検索部、及び前記解説コンテンツ特定部は、前記学習支援サーバに備えら、前記学習者端末は、前記頁情報及び前記質問箇所指定情報を前記学習支援サーバに送信し、前記学習支援サーバは、さらに、前記頁情報から特徴量を抽出する特徴量抽出部を備え、前記頁検索部は、前記特徴量抽出部にて抽出された特徴量と前記参照頁情報記憶部に記憶された特徴量とを用いて、前記頁情報生成部にて生成された前記頁情報に対応する頁を検索し、前記学習支援サーバは、さらに、前記解説コンテンツ特定部にて特定された前記解説コンテンツを前記学習者端末に送信するサーバ送信部を備えたことを特徴とする学習支援システムである。この構成により、学習者端末が担当する処理を軽くすることができる。

本発明の第２−４の態様は、第２−２の態様の学習支援システムにおいて、学習者端末と学習支援サーバとを備え、前記頁情報生成部、及び前記指定情報生成部は、前記学習者端末に備えられ、前記学習者端末は、さらに、前記頁情報から特徴量を抽出する特徴量抽出部を備え、前記頁検索部、及び前記解説コンテンツ特定部は、前記学習支援サーバに備えられ、前記頁情報生成部は、前記特徴量を前記頁情報とし、前記学習者端末は、前記頁情報及び前記質問箇所指定情報を前記学習支援サーバに送信し、前記頁検索部は、前記特徴量抽出部にて抽出された特徴量と前記参照頁情報記憶部に記憶された特徴量とを用いて、前記頁情報生成部にて生成された前記頁情報に対応する頁を検索し、前記学習支援サーバは、さらに、前記解説コンテンツ特定部にて特定された前記解説コンテンツを前記学習者端末に送信するサーバ送信部を備えたことを特徴とする学習支援システムである。この構成により、学習者端末から学習支援サーバに送信されるデータを軽くすることができる。

本発明の第２−５の態様は、第２−２の態様の学習支援システムにおいて、学習者端末と学習支援サーバとを備え、前記頁情報生成部、前記指定情報生成部、及び前記頁検索部は、前記学習者端末に備えられ、前記解説コンテンツ特定部は、前記学習支援サーバに備えられ、前記学習者端末は、前記頁検索部における頁の検索の結果及び前記質問箇所指定情報を前記学習支援サーバに送信し、前記学習支援サーバは、前記解説コンテンツ特定部にて特定された前記解説コンテンツを前記学習者端末に送信することを特徴とする。この構成により、学習者端末から学習支援サーバに送信されるデータをさらに軽くすることができる。

本発明の第２−６の態様は、第２−１ないし第２−５のいずれかの態様の学習支援システムにおいて、前記質問箇所指定情報は、前記頁情報中の質問箇所の点位置を示す情報であることを特徴とする。この構成により、学習者は、生成された頁情報中の一点を指定するという簡単な操作で質問箇所を指定することができる。

第２−７の態様は、第２−１ないし第２−５のいずれかの態様の学習支援システムにおいて、前記質問箇所指定情報は、前記頁情報中の質問箇所の領域を示す情報であることを特徴とする。この構成により、学習者は、生成された頁情報中の領域を指定することで質問箇所を指定することができる。

本発明の第２−８の態様は、第２−３ないし第２−５のいずれかの態様の学習支援システムにおいて、前記学習支援サーバは、前記学習支援サーバから前記学習者端末に前記解説コンテンツを送信するためのリンク情報を含む検索結果画面を生成する検索結果画面生成部をさらに備え、前記学習支援サーバは、前記検索結果画面を前記学習者支援端末に送信するとともに、前記学習者端末から、前記リンク情報を用いて前記解説コンテンツの送信を要求されたときに、前記参照頁情報記憶部に記憶された複数の頁の各々に含まれる問題に対応する解説コンテンツを記憶した解説コンテンツ記憶部から、送信の要求をされた前記解説コンテンツを読み出して、前記学習者端末に送信することを特徴とする。この構成により、学習者は、まずリンク情報を含む検索結果画面を受信することで、解説コンテンツが適切に特定されたことを確認してから、その解説コンテンツを送信する学習支援サーバに指示することができる。

本発明の第２−９の態様は、第２−１ないし第２−８のいずれかの態様の学習支援システムにおいて、前記参照頁情報記憶部には、前記参照頁情報に教材の情報が関連付けられて記憶されており、前記頁検索部は、前記学習者端末のユーザごとに、当該ユーザが使用する教材の情報を記憶した教材記憶部を参照して、教材を絞り込んだ上で、前記頁情報に対応する頁を検索することを特徴とする。この構成により、まず教材を特定してから該当する教材の参照頁情報を参照して頁情報に対する頁を検索するので、検索精度が向上する。

本発明の第２−１０の態様は、第２−１ないし第２−８のいずれかの態様の学習支援システムにおいて、前記頁検索部が前記頁情報に対応する頁を検索できなかった場合に、前記頁情報生成部で生成された前記頁情報の教材の情報を入力するための画面を学習者に提示することを特徴とする。この構成により、学習支援サーバでは、参照頁情報記憶部に参照頁情報が記憶されていない教材を知ることができ、学習支援サーバの管理者は、有効に参照頁情報記憶部に記憶する参照頁情報の充実化を図ることができる。

本発明の第２−１１の態様は、第２−１ないし第２−８のいずれかの態様の学習支援システムにおいて、前記頁検索部が前記頁情報に対応する頁を検索できなかった場合に、頁の情報を生成するよう促すメッセージを学習者に対して出力することを特徴とする。この構成により、学習者端末では、対応する解説コンテンツが得られるように、頁情報の生成をし直すことができる。

本発明の第２−１２の態様は、第２−１ないし第２−８のいずれかの態様の学習支援システムにおいて、前記頁検索部が前記頁情報に対応する頁を検索できなかった場合に、教材が登録されていないことを通知するメッセージを学習者に対して出力することを特徴とする。この構成により、学習者端末では、対応する解説コンテンツが得られないのは、頁情報の生成方法の不備ではなく、教材が登録されていないことを知ることができ、無駄に頁情報の生成、及び送信を繰り返すことを回避できる。

本発明の第２−１３の態様は、教材を用いた学習を支援する学習支援システムであって、教材の頁の情報である頁情報を生成するための頁情報生成部と、教材の複数の頁の各々について各頁の内容を示す参照頁情報を記憶した参照頁情報記憶部から、前記頁情報生成部にて生成された前記頁情報に対応する頁を検索する頁検索部と、前記参照頁情報記憶部に記憶された複数の頁の各々に含まれる問題に対応する解説コンテンツへのリンク情報を記憶した解説コンテンツリンク記憶部から、前記頁検索部にて検索された頁に含まれる問題に対応するリンク情報を読み出して、読み出したリンク情報を含む検索結果画面を生成する検索結果画面生成部と、前記検索結果画面を表示する表示部とを備えたことを特徴とする。この構成により、頁の内容を示す頁情報を用いて検索を行って頁を特定することでその頁に含まれる問題を特定するので、問題特定の確度を向上できる。

本発明の第２−１４の態様は、教材の頁の画像から当該頁の頁情報として特徴量を抽出する特徴量抽出部と、前記画像の中の質問箇所を指定する質問箇所指定情報を生成する指定情報生成部と、前記特徴量と前記質問箇所指定情報を前記学習支援サーバに送信する送信部とを備えた学習者端末とともに学習支援システムを構成する学習支援サーバであって、前記学習者端末から送信された前記特徴量と前記質問箇所指定情報を受信する受信部と、教材の複数の頁の各々から抽出した特徴量を参照頁情報として記憶した参照頁情報記憶部から、前記受信部にて受信した前記特徴量に対応する参照頁情報としての特徴量を有する頁を検索する頁検索部と、前記頁検索部にて検索された頁に含まれる複数の問題に対応する複数の解説コンテンツから、前記質問箇所指定情報が指定する問題に対応する解説コンテンツを特定する解説コンテンツ特定部と、前記解説コンテンツ特定部にて特定された前記解説コンテンツへのリンク情報を前記学習者端末に送信する送信部とを備えたことを特徴とする。この構成により、まず、頁検索を行って頁を特定した上で、質問箇所指定情報を用いて解説コンテンツを特定するので、学習者が要求している解説コンテンツの特定を容易にできる。

本発明の第２−１５の態様は、教材の頁の画像から当該頁の頁情報として特徴量を抽出する特徴量抽出部と、前記画像の中の質問箇所を指定する質問箇所指定情報を生成する指定情報生成部と、前記特徴量と前記質問箇所指定情報を前記学習支援サーバに送信する送信部とを備えた学習者端末とともに学習支援システムを構成する学習支援サーバにおける学習支援方法であって、前記学習者端末から送信された前記特徴量と前記質問箇所指定情報を受信する受信ステップと、教材の複数の頁の各々から抽出した特徴量を参照頁情報として記憶した参照頁情報記憶部から、前記受信ステップにて受信した前記特徴量に対応する前記参照頁情報としての特徴量を有する頁を検索する頁検索ステップと、前記頁検索ステップにて検索された頁に含まれる複数の問題に対応する複数の解説コンテンツから、前記質問箇所指定情報が指定する問題に対応する解説コンテンツを特定する解説コンテンツ特定ステップと、前記解説コンテンツ特定ステップにて特定された前記解説コンテンツへのリンク情報を前記学習者端末に送信する送信ステップとを含むことを特徴とする。この構成によっても、まず、頁検索を行って頁を特定した上で、質問箇所指定情報を用いて解説コンテンツを特定するので、学習者が要求している解説コンテンツの特定を容易にできる。

本発明の第３−１の態様は、教材を用いた学習を支援する学習支援システムであって、教材に含まれる問題の内容を示す問題情報を生成するための問題情報生成部を備え、教材の複数の頁の各々に含まれる問題の解説コンテンツのリンク情報を記憶した解説コンテンツリンク記憶部を参照して、前記問題情報生成部にて生成された前記問題情報が示す問題に対応する解説コンテンツのリンク情報を読み出して、読み出した前記リンク情報、及び前記問題情報生成部にて生成された前記問題情報を用いて、検索結果を示す検索結果画面を生成する検索結果画面生成部と、前記検索結果画面生成部にて生成された前記検索結果画面を出力する出力部とを備えたことを特徴とする。

この構成によっても、教科書、問題集等の非電子的な教材を用いて学習する学習者の学習支援を行うことができる。特に、上記の構成によれば、学習者の教材の内容を示す情報を用いて検索結果画面が生成されるので、学習者の利便性が向上する。

本発明の第３−２の態様は、第３−１の態様の学習支援システムにおいて、前記問題情報は、前記教材を撮像して得られる画像であることを特徴とする。この構成により、学習者による教材への書き込み等も含む自らの教材の画像に、リンク情報が付加された検索結果画面を出力することができるので、学習者の利便性が向上する。

本発明の第３−３の態様は、第３−１又は第３−２の態様の学習支援システムにおいて、教材の複数の頁の各々に含まれる問題を記憶した問題記憶部を参照して、前記問題情報生成部にて生成された前記問題情報に対応する問題を特定する問題特定部をさらに備え、前記検索結果画面生成部は、前記問題特定部にて特定された問題に対応する解説コンテンツのリンク情報を読み出すことを特徴とする。この構成により、問題情報に対応する解問題を特定して、特定された問題に対応する解説コンテンツのリンク情報を検索結果画面に含めることができる。

本発明の第３−４の態様は、第３−２の態様の学習支援システムにおいて、前記検索結果画面生成部は、前記問題情報生成部にて生成された前記画像における、前記リンク情報を読み出した問題の位置に、前記リンク情報があることを示すマークを付した前記検索結果画面を生成することを特徴とする。この構成により、学習者端末では、自らが質問をして、解説コンテンツが検索された問題を確認できる。

本発明の第３−５の態様は、第３−４の態様の学習支援システムにおいて、前記検索結果画面生成部は、前記マークに前記リンク情報を含む前記検索結果画面を生成することを特徴とする。この構成により、学習者端末では、マークを指示するという直観的な操作で解説コンテンツの送信を要求できる。

本発明の第３−６の態様は、第３−２の態様の学習支援システムにおいて、前記検索結果画面生成部は、読み出した前記リンク情報に対応する解説コンテンツの代表画像を含む前記検索結果画面を生成することを特徴とする。この構成により、学習者端末では、解説コンテンツの代表画像を確認した上で、解説コンテンツの送信を要求できる。

第３−７の態様は、第３−６の態様の学習支援システムにおいて、前記検索結果画面生成部は、前記代表画像に前記リンク情報を含む前記検索結果画面を生成することを特徴とする。この構成により、学習者端末では、代表画像を指示するという直観的な操作で解説コンテンツの送信を要求できる。

本発明の第３−８の態様は、第３−２の態様の学習支援システムにおいて、前記問題情報生成部で生成された前記画像の中の質問箇所を指定する質問箇所指定情報を生成する指定情報生成部をさらに備え、前記検索結果画面生成部は、前記指定情報生成部にて生成された前記質問箇所指定情報が指定する問題に対応する解説コンテンツのリンク情報を読み出すことを特徴とする。この構成により、学習者端末では、教材の画像の中の質問箇所を指定できるので、質問をする際の利便性が向上する。

本発明の第３−９の態様は、第３−８の態様の学習支援システムにおいて、前記検索結果画面生成部は、前記問題情報生成部にて生成された前記画像における、前記質問箇所指定情報によって指定された質問箇所の画像を用いて、前記検索結果画面を生成することを特徴とする。この構成により、検索結果画面には、学習者端末にて指定した質問箇所の画像が含められるので、質問に係らない部分の画像を排除して、自らが撮影した画像中の、自らの質問に係る部分のみについて、解説コンテンツのリンク情報の有無を確認できる。

本発明の第３−１０の態様は、教材に含まれる問題の内容を示す問題情報を生成するための問題情報生成部を備えた学習者端末とともに学習支援システムを構成する学習支援サーバであって、この学習支援サーバは、教材の複数の頁の各々に含まれる問題の解説コンテンツのリンク情報を記憶した解説コンテンツリンク記憶部を参照して、前記問題情報生成部にて生成された前記問題情報が示す問題に対応する解説コンテンツのリンク情報を読み出して、読み出した前記リンク情報、及び前記問題情報生成部にて生成された前記問題情報を用いて、検索結果を示す検索結果画面を生成する検索結果画面生成部と、前記検索結果画面生成部にて生成された前記検索結果画面を前記学習者端末に送信する送信部とを備えたことを特徴とする。この構成によっても、学習者端末では、学習者の教材の内容を示す情報を用いて検索結果画面が生成されるので、学習者の利便性が向上する。

本発明の第３−１１の態様は、教材に含まれる問題の内容を示す問題情報を生成するための問題情報生成部を備えた学習者端末とともに学習支援システムを構成する学習支援サーバにおける学習支援方法であって、この学習支援方法は、教材の複数の頁の各々に含まれる問題の解説コンテンツのリンク情報を記憶した解説コンテンツリンク記憶部を参照して、前記問題情報生成部にて生成された前記問題情報が示す問題に対応する解説コンテンツのリンク情報を読み出して、読み出した前記リンク情報、及び前記問題情報生成部にて生成された前記問題情報を用いて、検索結果を示す検索結果画面を生成する検索結果画面生成ステップと、前記検索結果画面生成ステップにて生成された前記検索結果画面を前記学習者端末に送信する送信ステップとを含むことを特徴とする。この構成によっても、学習者端末では、学習者の教材の内容を示す情報を用いて検索結果画面が生成されるので、学習者の利便性が向上する。

以下、図面を参照しながら本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の学習支援システムの全体の構成を示す図である。学習支援システム１００は、学習者端末１０と学習支援サーバ２０を含んでいる。学習支援サーバ２０はネットワークＮＷに接続されている。学習者端末１０は、ネットワークＮＷを介して学習支援サーバ２０との間で情報通信を行う。学習者端末１０は、ネットワークＮＷと接続された無線基地局と無線通信を行うことでネットワークＮＷに接続される。

学習者端末１０は、例えば、スマートフォン、タブレットＰＣ等の携帯情報端末、パーソナルコンピュータ等のコンピュータに学習支援アプリケーションプログラムがインストールされることで実現される。学習支援サーバ２０は、Ｗｅｂサーバとデータベースから構成される。ネットワークＮＷは、インターネットである。

本実施の形態の学習支援システム１００では、学習者端末１０は、学習者Ｓによって任意の場所で使用される端末であることを想定している。ユーザである学習者Ｓは、教科書や問題集等の非電子的な教材（以下、単に「教材」という。）を用いて学習をしている際に、解説が必要な箇所について、学習支援サーバ２０から電子的な解説コンテンツを受信して、この解説コンテンツを学習者端末１０で閲覧ないし視聴することで、学習の支援を受けることができる。なお、非電子的な教材とは、典型的には紙媒体の教材であるが、ネットワーク上のアドレスへのリンクを含まない電子書籍も非電子的な教材に含まれる。

学習支援システム１００によって例えば以下のようにして学習者Ｓの学習支援が行われる。学習者Ｓは、例えば自宅で教材を用いた学習をしている際に、教材に記載されている問題が解けず、あるいは、教材に記載されている事項が理解できない場合には、学習者端末１０で学習支援アプリケーションプログラム（以下、「アプリ」という。）を立ち上げて、アプリの案内に従って、その教材の該当箇所を撮影する。そして、撮影によって得られた教材の画像データを学習者端末１０から学習支援サーバ２０に送信する。

学習支援サーバ２０のデータベースには、教材の各箇所についてそれぞれ解説コンテンツ（本実施の形態では、解説動画）が保存されている。学習支援サーバ２０は、学習者端末１０から送信されてきた画像データが示す箇所に対応する解説コンテンツをデータベースから抽出して、学習者端末１０に送信する。学習者Ｓは、学習者端末１０でこの解説コンテンツを受信して、これを視聴することができる。即ち、学習者Ｓは、教材を用いた学習をしている際に、分からない箇所があるときは、それを撮影して送信すれば、その箇所の解説動画等の解説コンテンツを視聴できる。以下、このような学習支援システムを実現するための具体的な構成を説明する。

図２は、本発明の第１の実施の形態の学習者端末の構成を示すブロック図である。学習者端末１０は、入力部１１、出力部１２、制御部１３、画像生成部１４、及び送受信部１５を備えている。また、制御部１３は、指定情報生成部１３１及び送信データ生成部１３２を備えている。

入力部１１は、タッチパネル、物理ボタン、マイクを含む。学習者Ｓは、入力部１１を介して各種の入力を行うことができる。出力部１２は、表示パネル及びスピーカを含む。学習者Ｓは、表示パネルに表示される画面に従って各種の入力を行うことができる。また、学習支援サーバ２０から受信した解説コンテンツは、出力部１２から出力される。解説コンテンツが動画である場合には、その動画が表示パネルに表示され、スピーカから音声が出力される。

制御部１３は、学習者端末１０のプロセッサ、ＲＡＭ、ストレージ等からなるコンピュータが学習支援アプリケーションプログラムを実行することで実現される。その処理には、後述する質問箇所指定情報の生成、送信データの生成の処理が含まれ、図２では、これらの処理機能を指定情報生成部１３１、送信データ生成部１３２と表現している。

画像生成部１４は、撮影によって画像を生成するカメラである。画像生成部１４は、光学系、撮像素子、画像処理回路を備えており、光学系を通して撮像素子に入射する光学像を、撮像素子にて電気信号に変換する。画像処理回路は、撮像素子から入力した電気信号に基づいて画像データを生成する。画像処理回路で生成された画像は、所定のフレームレートで表示パネルに表示される。学習者Ｓが入力部１１に対してレリーズ操作がされると、画像処理回路はこのときの電気信号から画像ファイル（以下、単に「画像」ともいう。）を作成して、記憶する。以下、この画像ファイルを生成する動作を「撮影」という。

本実施の形態では、学習者Ｓは、教材を用いた学習の際に、解説を欲する箇所（以下、「質問箇所」という。）があると、当該質問箇所を撮影する。これによって、画像生成部１４は、教材の画像を生成する。なお、画像生成部１４は、教材を読み取るスキャナであってよく、教材が電子書籍である場合には、その表示画面をキャプチャする手段であってもよい。画像生成部１４は、本発明の「頁情報生成部」に相当する。

制御部１３は、出力部１２の表示パネルにおける表示を制御して、学習者Ｓに教材の１頁の全体を撮影するように促すメッセージを表示させる。そして、学習者Ｓが、質問箇所を含む教材の頁全体を撮影すると、指定情報生成部１３１は、その撮影画像を表示パネルに表示して、学習者Ｓに頁全体の画像（以下、「頁画像」という。）の中の質問箇所を指定させる。この頁画像は、本発明の「頁情報」に相当し、この頁情報は、本発明の「問題情報」に相当する。

図３は、本発明の第１の実施の形態の質問箇所の指定の際の表示パネルの画面例を示す図である。画面には、頁画像が表示され、それに重畳して、質問箇所指定枠１２１が表示されている。質問箇所指定枠１２１は、頁画像中の質問箇所の領域を示す矩形の枠であり、縦方向及び横方向に任意に拡大、縮小することができる。学習者Ｓは、質問箇所指定枠１２１の上下の辺を上下方向にドラッグし、左右の辺を左右方向にドラッグすることで、質問箇所指定枠１２１を任意の位置及び大きさにすることができる。

学習者Ｓが、質問箇所を囲うように質問箇所指定枠１２１を設定した後に、「ＯＫ」ボタンを押すと、指定情報生成部１３１は、この枠の位置及び大きさの情報を質問箇所指定情報として確定する。図４は、本発明の第１の実施の形態の指定された質問箇所の画面例を示す図である。学習者Ｓは、この画面によって、指定した質問箇所を確認することができる。

指定情報生成部１３１にて指定情報が生成されると、送信データ生成部１３２は、送信データを生成する。図５は、本発明の第１の実施の形態の送信データのデータ構成を示す図である。送信データ生成部１３２は、その時点の日時を示す日時情報、学習者ごとに与えられているユーザＩＤ、画像生成部１４にて撮影によって生成された頁画像の画像ファイルである頁画像ファイル、及び指定情報生成部１３１にて生成された質問箇所指定情報を含む送信データを生成する。この送信データは、本発明の「問題情報」に相当する。

送受信部１５は、学習者Ｓの操作に基づく制御部１３の制御に従って、送信データを学習支援サーバ２０に送信する。送受信部１５は、例えば、無線ＬＡＮの通信モジュールであってよく、携帯電話の通信モジュールであってもよい。送受信部１５は、また、学習支援サーバ２０から送信されてきた解説コンテンツを受信する。送受信部１５が解説コンテンツを受信した後にそれを視聴するための学習者端末１０の構成については、後述する。

図６は、本発明の第１の実施の形態の学習支援サーバの構成を示すブロック図である。学習支援サーバ２０は、送受信部２１、制御部２２、参照頁情報データベース２３、問題データベース２４、解説コンテンツリンクデータベース２５、及び解説コンテンツデータベース２６を備えている。

送受信部２１は、各種のデータをネットワークＮＷに向けて送信し、また、ネットワークＮＷを介して受信する。本実施の形態では、送受信部２１は、特に、学習者端末１０から送信データ（図５参照）を受信するとともに、送信データを送信してきた学習者端末１０に対して、検索結果画面を送信し、解説コンテンツをストリーミング配信する。

制御部２２は、学習支援サーバ２０のプロセッサ、ＲＡＭ、ＲＯＭ、ストレージ等からなるコンピュータが学習支援アプリケーションプログラムを実行することで実現される。その処理には、頁画像からの特徴量の抽出、頁の検索、問題の特定、検索結果画面の生成、ストリーム配信等の処理が含まれ、図６では、これらの処理機能をそれぞれ特徴量抽出部２２１、頁検索部２２２、問題特定部２２３、検索結果画面生成部２２４、配信処理部２２５と表現している。

図７は、本発明の第１の実施の形態の参照頁情報データベースのデータ構成を示す図である。参照頁情報データベース２３には、複数の教材の各頁についてレコードが作成されて記憶されている。各レコードは、頁を特定するための頁ＩＤと、参照頁情報としての参照頁画像の特徴量とが関連付けられて構成されている。特徴量は特徴ベクトルの形式で表現されている。なお、図７において、頁ＩＤのアルファベットは教材を特定するための情報であり、頁ＩＤの数字は頁数を示している。

図８は、本発明の第１の実施の形態の問題データベースのデータ構成を示す図である。問題データベース２４には、各問題について少なくとも１つのレコードが記憶されている。各レコードには、当該問題が記載された頁の頁ＩＤ、頁内の問題位置を示す問題位置データ、各問題のテーマを示す文字列である問題テーマ、問題ごとに付与された問題ＩＤが互いに関連付けて記憶されている。図８に示すように、各頁ＩＤには、その頁に含まれる複数の問題位置データが関連付けられている。

問題位置データは、頁画像中の点位置を示すデータである。点位置は、各問題の主要な内容を示している箇所に設定される。１つの問題について、複数の問題位置データが設定されてよく、この場合には当該問題について複数のレコードが生成され記憶されている。問題テーマは、例えば、「分配法則」、「因数分解」、「平方根」、「平方根（文章問題）」、「展開」、「円周角の定理」（図１０参照）、「三平方の定理の利用」（図１０参照）、「平行と線分の比」（図１４参照）等である。

図９は、本発明の第１の実施の形態の解説コンテンツデータベースのデータ構成を示す図である。解説コンテンツリンクデータベース２５には、問題ごとに、レコードが記憶されている。各レコードには、問題ＩＤ、リンク情報、サムネイル画像が関連付けられて記憶されている。

リンク情報は、学習者端末１０から解説動画ファイルにアクセスして解説動画ファイルのストリーミング配信を要求するための情報である。サムネイル画像は、解説動画の内容を示す代表画像であり、本実施の形態では、解説動画の開始時点の画像がサムネイル画像とされている。なお、解説コンテンツリンクデータベース２５において、１つの問題について、リンク情報の異なる（解説コンテンツの異なる）複数のレコードが作成されていてよい。

解説動画データベース２６には、解説コンテンツとして、解説動画ファイルが記憶されている。解説動画データベース２６は、本発明の「解説コンテンツ記憶部」に相当する。各解説動画ファイルの記憶領域のアドレスは、解説コンテンツリンクデータベース２５にリンク情報として記憶されている。解説動画ファイルは、解説動画のファイルである。解説動画は、講師がホワイトボードの板書を用いて問題を解説する様子を撮影することで生成されたものである。なお、解説動画の内容は、問題集の演習問題に関連付けられた、当該演習問題の解法を解説する内容（解法解説）に限らず、例えば、教科書中の説明文の段落やキーワードに関連付けられた、該当部分を詳しく、ないしは平易に説明する内容（講義）であってもよい。解説動画の内容が解法解説である場合には、その内容は、対応する演習問題に対する一般的な解法ではなく、実際に当該演習問題を解く方法を説明する内容である。

送受信部２１が学習者端末１０から送信データを受信すると、特徴量抽出部２２１は、送信データ中の頁画像ファイルの頁画像（以下、「撮影頁画像」という。）から特徴量を抽出する。なお、この撮影頁画像は、本発明の「問題画像」に相当する。特徴量抽出部２２１にて特徴量が抽出されると、頁検索部２２２は、この特徴量を用いて頁の検索を行う。頁検索部２２２は、撮影頁画像から抽出された特徴量をクエリとして、参照頁情報データベース２３に記憶されている複数の頁（以下、「登録頁」）の中から、撮影頁画像に対応する登録頁を検索する。

特徴量抽出部２２１における特徴量の抽出、及び頁検索部２２２における登録頁の検索には、既知の画像マッチングによる検索技術を採用することができるが、以下ではその一例を説明する。なお、上述のように、参照頁情報データベース２３には、複数の教材の各頁について参照頁情報として参照頁画像の特徴量が記憶されているが、この特徴量も以下と同様にして生成される。参照頁情報データベース２３に記憶される特徴量は、特徴量抽出部２２１によって抽出されたものであってもよいし、別の装置によって抽出されたものであってもよい。

本実施の形態では、画像の特徴量として局所特徴量を採用する。特徴量抽出部２２１は、まず、撮影頁画像に対して、コーナー点（角）を抽出するアルゴリズム（コーナディテクタ）を適用して、特徴点を抽出する。一般的には１つの画像から複数の特徴点が抽出され、特徴量抽出部２２１は、複数の特徴点の各々について特徴量を求める。特徴量抽出部２２１は、抽出された特徴点の各々について、以下の処理を行う。

特徴量抽出部２２１は、特徴点の近傍の所定の領域（例えば、特徴点を中心とするＷ×Ｗピクセルの正方形の領域）を近傍領域として設定し、近傍領域内の各ピクセルをｘ方向及びｙ方向にそれぞれ微分することで、近傍領域内の各ピクセルについて、エッジ勾配方向及びエッジ強度を算出する。そして、特徴量抽出部２２１は、エッジ勾配方向を量子化して、近傍領域内のピクセルの量子化されたエッジ勾配方向ごとにエッジ強度の和をとることで、エッジ勾配方向ヒストグラムを生成し、これを局所特徴量とする。

頁検索部２２２は、撮影頁画像の複数の特徴点の各々について、参照頁情報データベース２３に記憶された複数の登録頁の複数の特徴点を検索して、撮影頁画像の特徴点の局所特徴量に最も類似する局所特徴量を有する特徴点（対応点）を探索する。このとき、頁検索部２２２は、例えば、局所特徴量をベクトル形式で表現して（特徴ベクトル）、特徴ベクトルのＬ２ノルムの二乗の値を局所特徴量同士の類似度とすることができる。そして、頁検索部２２２は、この探索を撮影頁画像の複数の特徴点について行った結果、対応点を最も多く含む登録頁を、撮影頁画像に対応する登録頁であると判断する。

頁検索部２２２は、対応する登録頁が検索できると、その登録頁の頁ＩＤを問題特定部２２３に渡す。問題特定部２２３は、送信データ中の質問箇所指定情報、及び頁検索部２２２で得られた頁ＩＤを用いて、問題データベース２４に記憶されている問題を特定する。問題特定部２２３は、問題データベース２４を参照して、頁検索部２２２で得られた頁ＩＤと一致する頁ＩＤを有するレコードの中から、問題位置データの示す点位置が、質問箇所指定情報の示す質問箇所に含まれるレコードを特定することにより、質問箇所指定情報によって指定された問題を特定する。

問題特定部２２３は、特定した問題の問題ＩＤ及び問題テーマを検索結果画面生成部２２４に渡す。検索結果画面生成部２２４は、解説コンテンツリンクデータベース２５から、問題特定部２２３にて得られた問題ＩＤを有するレコードの問題のリンク情報、及びサムネイル画像を取得して、学習者端末１０からの質問への応答をするための画面である検索結果画面を生成する。この問題特定部２２３及び検索結果画面生成部２２４からなる構成は、本発明の「解説コンテンツ特定部」に相当する。

図１０は、本発明の第１の実施の形態の検索結果画面の例を示す図である。検索結果画面には、質問箇所のトリミング画像５１及び、解説動画のサムネイル５２が含まれ、解説動画のサムネイル５２にはリンク情報が埋め込まれる。トリミング画像５１は、送信データに含まれる撮影頁画像と質問箇所指定情報を用いて生成される。具体的には、撮影頁画像から、質問箇所指定情報が示す質問箇所の枠内の画像をトリミングすることによって生成される。

また、トリミング画像５１には、問題ごとに連番マーク５１１、５１２が付される。この連番マーク５１１、５１２は、質問箇所に含まれる問題にリンク情報があること、即ち解説動画があってそれが検索されたことを示している。この連番マーク５１１、５１２にはリンク情報が埋め込まれている。この連番マークをトリミング画像に重畳する際の重畳位置は、解説コンテンツリンクデータベース２５に記憶されたレコードのうちの、該当するレコードの問題位置データに従って決定される。なお、連番マーク５１１、５１２に代えて、連番の付されていない単なるマークを採用してもよい。

解説動画のサムネイル画像は、上記の連番マークの連番、問題特定部２２３から取得した問題テーマが付加される。上述のように、このサムネイル画像にはリンク情報が埋め込められており、サムネイル画像をタップするとリンク情報を用いて解説動画の配信が要求される。また、質問箇所の画像に重畳された連番マークにもリンク情報が埋め込まれており、この連番マークをタップすることで該当する解説動画の配信が要求される。

送受信部２１は、検索結果画面生成部２２４にて生成された検査結果画面を、送信データを送信してきた学習者端末１０に送信する。

学習者端末１０は、学習支援サーバ２０から送信されてきた検索結果画面を受信して、制御部１３は、この検索結果画面を出力部１２の表示パネルに表示させる。制御部１３は、検索結果画面を表示した状態で入力部１１にリンク情報の指定（リンク情報が埋め込まれたサムネイル画像又は連番マークのタップ）があると、当該リンク情報を用いて学習支援サーバ２０に対して解説動画の配信を要求する配信要求コマンドを送信する。

学習支援サーバ２０の送受信部２１は、配信要求コマンドを受信すると、これを配信処理部２２５に渡す。配信処理部２４は、配信要求コマンドで指定された解説動画ファイルを解説コンテンツデータベース２６から読み出して、送受信部２１を介して学習者端末１０にストリーミング配信する。学習者端末１０では、このストリーミング配信を受信して、出力部１２の表示パネルに動画を表示し、スピーカから音声を出力する。

以上のように、本実施の形態の学習支援システムによれば、学習端末１０にて教材を撮影してその画像を学習支援サーバ２０に送信することで「質問」をするに際して、送信データに頁全体の画像と質問箇所指定情報と含めるので、学習支援サーバ２０では、まず、頁検索部２２２にて、頁全体の画像について、画像マッチングによる検索を行って、その後に、問題特定部２２３にて質問箇所として指定された位置にある問題を特定することができる。これにより、問題特定の確度が向上する。

そして、該当する頁が検索された後には、上述のように、当該頁について、質問箇所指定情報が示す枠の中に存在する問題位置データを有するレコードを検索することで、質問箇所指定情報が示す枠の中に存在する問題を特定できる。この処理は、単に枠と点位置との包含関係を調べるだけであり、処理負荷が軽くてすむ。

以上、学習者端末１０から質問をしてから学習者端末１０において解説動画を出力するまで処理を説明した。以下では、学習者端末１０から質問をするが学習支援サーバ２０において該当する解説コンテンツを検索できない場合の処理について説明する。

該当する解説コンテンツが検索できない場合として、学習者Ｓが、学習支援サーバ２０の解説コンテンツデータベース２６に解説動画が記憶されていない教材を使用しており、そのような教材の頁を撮影して生成された撮影頁画像を送信してきた場合がある。また、上述のように、学習者端末１０では、学習者Ｓに教材の撮影をさせる場合に、表示パネルに、学習者Ｓに教材の頁ないし頁全体を撮影するよう促すメッセージを表示するが、仮に学習者Ｓがこのメッセージにもかかわらず、頁ないし頁全体を撮影しなかった場合にも、頁検索部２２２にて頁を検索できないことがある。

そこで、頁検索部２２２は、参照頁情報データベース２３を検索して、該当するレコードが検索されない場合には、送信データ中の頁画像が頁ないし頁全体を撮影したものであるかを判断する。具体的には、頁検索部２２２は、撮影頁画像の上部及び下部に、教材の頁の端部に相当する画像のエッジがあるか否かを判断する。頁検索部２２２は、撮影頁画像の上部及び下部に画像のエッジを検出できない場合には、送受信部２１を介して、頁全体を撮影していない旨のエラー情報を学習者端末１０に返信する。

頁検索部２２２は、参照頁情報データベース２３を検索して、該当するレコードが検索されない場合において、撮影頁画像の上部及び下部に画像のエッジが検出されたときは、その教材の解説コンテンツが学習支援サーバ２０に記憶されていない（その教材が未登録である）旨のエラー情報を学習端末１０に送信する。

学習者端末１０では、エラー情報を受けると、その内容に応じて頁全体を撮影するよう再度促すメッセージを表示し、又は、その教材が未登録であることを示すメッセージを表示する。教材が未登録である旨のメッセージを表示する場合には、当該メッセージ表示画面には、学習者Ｓが自己の使用している教材の名称を記入するための入力欄が含まれる。

学習者Ｓは、教材が未登録である旨のメッセージが表示されると、入力欄に自己の教材の名称を入力する。学習者端末１０の送受信部１５は、学習者Ｓの操作に基づいて、制御部１３の制御に従って、入力欄に入力された未登録の教材の名称を学習支援サーバ２０に送信する。

学習者サーバ２０では、送信されてきた未登録の教材の名称を図示しない記憶媒体に記憶する。学習支援サーバ２０の運営者は、この未登録教材の情報を参照することで、学習者Ｓが使用している教材を知ることができ、それらの教材について解説コンテンツを新たに用意する等の対応をすることができる。

（第２の実施の形態）
図１１は、本発明の第２の実施の形態の学習支援システムの学習者端末の構成を示すブロック図であり、図１２は、本発明の第２の実施の形態の学習支援システムの学習支援サーバの構成を示すブロック図である。

本実施の形態の学習支援システムでは、第１の実施の形態と同様に、学習者Ｓは、質問をする際に教材の１頁がすべて画像内に収まるように頁画像の撮影を行うが、この撮影頁画像において、質問箇所を指定することはせず、この撮影頁画像に含まれるすべての問題について、学習支援サーバ２０´からリンク情報とサムネイル画像を提供する。以下の説明において、第１の実施の形態の構成と同じ構成については、同一の符号を付して適宜説明を省略する。

図１１に示すように、学習者端末１０´は、第１の実施の形態の学習者端末１０と比較すると、制御部１３が指定情報生成部１３１を備えていない。画像生成部１４が頁画像を生成すると、送信データ生成部１３２は、日時情報と、ユーザＩＤと、頁画像ファイルを含む送信データを生成して、学習支援端末２０´に送信する。

また、図１２に示すように、学習支援サーバ２０´は、第１の実施の形態の学習支援サーバ２０と比較すると、問題特定部２２３及び問題データベース２４を備えていない。図１３は、本発明の第２の実施の形態の解説コンテンツリンクデータベースのデータ構造を示す図である。図１３に示すように、本実施の形態の解説コンテンツリンクデータベース２５´には、各レコードにおいて、頁ＩＤ、問題位置データ、問題テーマ、リンク情報、サムネイル画像ファイルが関連付けられて記憶されている。

頁検索部２２２は、参照頁情報データベース２３を参照して、送信データに含まれる撮影頁画像に対応する登録頁を検索し、頁が特定されると、その頁の頁ＩＤを検索結果画面生成部２２４に渡す。検索結果画面２２３は、解説コンテンツリンクデータベース２５´を参照して、該当する頁ＩＤを持つすべてのレコードを用いて、検索結果画面を生成する。

図１４は、本発明の第２の実施の形態の検索結果画面の例を示す図である。図１４に示すように、検索結果画面には、撮影頁画像５３、解説動画のサムネイル５４が含まれている。また、撮影頁画像５３には、解説動画が得られた問題に重畳するように、解説動画再生用のマーク５３１〜５３４が付加されている。

このマーク５３１〜５３４は、その問題についての解説動画が提供可能であることを示している。また、マーク５３１〜５３４には、対応する解説動画へのリンク情報が埋め込まれており、検索結果画面を学習者端末１０´で表示させてこのマーク５３１〜５３４を指示すると、学習者端末１０´から学習支援サーバ２０´に解説動画の配信が要求される。なお、第１の実施の形態と同様に、サムネイル５４を指示することでもその解説動画の配信を要求することができる。

以上のように、本発明の第２の実施の形態の学習支援システムによれば、学習者Ｓは、質問したい箇所が含まれる頁を撮影した後に、質問箇所を指定する必要がなく、質問のための操作を簡素化できる。

なお、画像支援サーバ２０´より学習者端末１０´に送信されてくる検索結果画面の撮影頁画像には、解説が不要な問題にまでマークが付され、解説動画へのリンク情報が提供されるが、学習者Ｓは、解説が不要な問題についてはマークを無視して解説動画の配信を要求しなければよく、特に不都合はない。

（第３の実施の形態）
図１５は、本発明の第３の実施の形態の学習支援システムにおける学習支援サーバの構成を示すブロック図である。第１及び第２の実施の形態では、頁検索部２２２が参照頁情報データベース２３に記憶されたレコードのうち、撮影頁画像に対応する参照頁情報を有するレコードを検索したが、本実施の形態の学習支援サーバ２０´´は、教材を絞り込んだ上で、この頁検索を行う。

教材を絞り込むために、本実施の形態の学習支援サーバ２０´´は、図１５に示すように、教材データベース２７を備えている。図１６は、本発明の第３の実施の形態の教材データベースのデータ構成を示す図である。図１６に示すように、教材データベースには、ユーザである学習者ごとに、ユーザＩＤと当該ユーザの使用している教材の教材ＩＤが関連付けられている。

学習者は、学習者端末１０から教材データベース２７に自己の使用している教材を登録することができる。このために、学習支援サーバ２０´´は、教材登録のための画面を学習者端末１０に提供する。この画面では登録可能な教材、即ち、学習支援サーバ２０´´にて解説コンテンツが用意されている教材が選択可能となっている。学習者は、この画面で教材を選択して、自己のユーザＩＤとともに学習支援端末２０´´に送信すると、教材データベース２７にはそのユーザにつき、当該教材の教材ＩＤが記憶される。

図１７は、本発明の第３の実施の形態の参照頁情報データベースのデータ構成を示す図である。各頁のレコードには、教材ＩＤ、頁ＩＤ、及び参照頁画像から抽出した特徴量が関連付けられて記憶されている。頁検索部２２２´´は、学習者端末１０から送信データを受信すると、教材データベース２７を参照して、送信データに含まれるユーザＩＤに対応する教材ＩＤを取得する。

頁検索部２２２´´は、参照頁情報データベース２３に記憶されたレコードのうち、取得した教材ＩＤを有するレコードを参照して、送信データに含まれる撮影頁画像に対応する登録頁を検索する。頁検索部２２２´´は、上記の検索で該当するレコードがなかった場合には、他の教材のレコードも検索する。即ち、頁検索部２２２´´は、教材データベース２７において、当該学習者のユーザＩＤに関連付けられている教材の頁を優先して検索する。

他の教材のレコードで該当するものが検索されたときは、頁検索部２２２´´は、その結果を問題特定部２２３に渡すとともに、対応する登録頁に関連付けられた教材ＩＤとユーザＩＤとを関連付けて、教材データベース２７に追加する。即ち、頁検索部２２２´´は、撮影頁画像が、教材データベース２７に登録されていない教材の画像とマッチングされたときには、当該教材を教材データベース２７に自動的に登録する。

以上のように、本発明の第３の実施の形態の学習支援システムよれば、学習者が使用している教材を優先して頁の検索を行うので、頁の検索が速くなり、質問をしてから検索結果画面が返信されてくるまでの学習者の待ち時間を少なくできる。

（変形例）
以下、上記の実施の形態の学習支援システムの変形例を説明する。

上記の実施の形態の学習システムでは、画像生成部１４が教材の頁全体を示す頁情報として頁画像を生成し、参照頁情報データベース２３には参照頁情報として参照頁画像の特徴量が記憶され、頁検索部は頁画像の特徴量及び参照頁画像の特徴量を用いて対応する頁の検索を行ったが、教材の頁全体を示す頁情報は画像に限られず、文字情報、音声情報等の他の形式の情報であってもよい。

また、上記の実施の形態の学習システムでは、学習者端末１０から学習支援サーバ２０に頁情報として撮影頁画像を送信して、学習支援サーバ２０の特徴量抽出部２２１にて、この撮影頁画像の特徴量を抽出したが、これに代えて、学習者端末１０が特徴量抽出部２２１を備え、学習者端末１０から学習支援サーバ２０には撮影頁画像ではなく、そこから抽出した特徴量を頁情報として送信するようにしてもよい。この場合には、学習者端末１０に備えられた特徴量抽出部２２１が画像生成部１４とともに、本発明の「頁情報生成部」に相当する。即ち、教材の頁全体の情報である頁情報は、頁画像であってもよいし、そこから抽出された特徴量であってもよい。このときの特徴量は、本発明の「問題情報」に相当する。

また、学習者端末１０が特徴量抽出部２２１のみならず、頁検索部２２２を備え、抽出した撮影頁画像の特徴量を用いて、その撮影頁画像に対応する登録頁を参照頁情報データベース２３から抽出してよい。この場合は、学習者端末１０からは、頁検索部２２２における検索の結果（即ち、検索された登録頁の頁ＩＤ）、及び質問箇所指定情報が学習支援サーバ２０に送信される。また、この場合に、参照頁情報データベース２３は学習者端末１０に備えられていてよい。この検索結果は、本発明の「問題情報」に相当する。

さらに、学習者端末１０が、特徴量抽出部２２１及び頁検索部２２２のみならず、問題特定部２２３を備え、検索された登録頁から、学習者が指定した質問箇所に基づいて問題を特定してもよい。この場合には、特定された問題の問題ＩＤが学習者端末１０から学習支援サーバ２０に送信される。この場合に、参照頁情報データベース２３及び問題データベース２４は学習者端末１０に備えられていてよい。この場合には、問題ＩＤが本発明の「問題情報」に相当する。

さらに、学習者端末１０が、特徴量抽出部２２１、頁検索部２２２、及び問題特定部２２３のみならず、検索結果画面生成部２２４を備えていてもよい。この場合に、即ち、学習支援サーバ２０の制御部２２の機能がすべて学習者端末１０に備えられていてよい。また、学習者端末１０単体で学習支援システム１００が構成され、上記の学習支援の動作に通信を要しないものとしてよい。

また、上記の実施の形態では、問題特定部２２３にて、送信データ中の質問箇所指定情報、及び頁検索部２２２で得られた頁ＩＤを用いて、問題データベース２４に記憶されている問題を特定し、検索結果画面生成部２２４にて、解説コンテンツリンクデータベース２５から、問題特定部２２３にて得られた問題ＩＤを有するレコードの問題のリンク情報、及びサムネイル画像を取得したが、これに限られない。例えば、問題データベース２４と解説コンテンツデータベース２５とを別々に設けるのではなく、１つのデータベースとして、そのデータベースに、各問題のレコードとして、当該問題が記載された頁の頁ＩＤ、頁内の問題位置を示す問題位置データ、及び解説コンテンツへのリンク情報が関連付けられて記憶されていてよい。この場合には、問題特定部２２３及び検索結果画面生成部２２４からなる構成も、解説コンテンツ特定部として、上記の１つのデータベースから、質問箇所指定情報が指定する問題に対応する解説コンテンツを特定して、そのリンク情報を用いた検索結果画面を生成してよい。

また、上記の実施の形態の学習支援システムでは、頁全体の撮影頁画像が得られているか否かを学習支援サーバにて判断したが、撮影頁画像が頁全体を撮影したものであるか否かの判断は、学習者端末において行ってもよい。この場合には、学習者端末は、撮影頁画像が頁全体を撮影したものでないと判断されると、その撮影頁画像をキャンセルして、頁ないし頁全体を撮影するように撮影のやり直しを促すメッセージを表示する。

また、上記の実施の形態では、参照頁情報データベース２３に参照頁情報として、登録頁の画像から抽出された複数の特徴量が記憶されていたが、この特徴量の代わりに、参照頁情報として各教材の各頁に含まれる文字列のテキストデータが記憶されていてもよい。この場合には、頁検索部２２２は、送信画像中の撮影頁画像に対して文字認識を行って、テキストデータを取得する。そして、頁検索部２２２は、文字認識によって得られたテキストデータと、参照頁情報データベース２３に記憶されたテキストデータとのマッチングを行うことで、頁の検索を行う。また、参照頁情報データベース２３に、参照頁情報として登録頁の画像データが記憶されていていてもよい。

また、上記の実施の形態では、問題データベース２４に各問題の位置を示す問題位置データとして、頁画像中の点位置を示すデータが記憶されていたが、これに代えて、頁画像中の各問題の領域を示すデータが記憶されていてもよい。この場合には、問題特定部２２３は、当該領域の所定の割合（例えば７０％）以上が、送信データに含まれる質問箇所指定情報が示す枠に含まれている場合に、当該問題が指定されていると判断する。

また、上記の実施の形態では、質問箇所指定情報が、撮影頁画像中の領域を示す情報であったが、これに代えて、質問箇所として、撮影頁画像中の点位置を示す情報であってもよい。この場合において、問題データベース２４に問題位置データとして、点位置のデータが記憶されている場合は、問題特定部２２３は、質問箇所を示す点位置と最も近い点位置の問題を指定された問題と特定する。また、問題データベース２４に問題位置データとして、領域のデータが記憶されている場合は、問題特定部２２３は、送信データに含まれる質問箇所を示す点位置を包含する領域の問題を指定された問題と特定する。

また、上記の実施の形態では、問題データベース２４に各問題の位置を示す問題位置データが記憶されていたが、これに代えて、各問題の画像（以下、「参照問題画像」という。）が記憶されていてもよい。この場合には、問題特定部２２３は、送信データに含まれる撮影頁画像中の質問箇所指定情報によって指定される領域の部分画像と、問題データベース２３に記憶された参照問題画像とのマッチングを行うことで、頁の検索を行う。

また、上記の実施の形態では、学習者端末にまず解説コンテンツへのリンク情報を含む検索結果画面を送信し、学習者Ｓによる当該リンク情報を用いた解説動画の要求があった場合に、配信処理部２２５が解説動画のストリーミング配信を行ったが、この検索結果画面の送信を省略してよい。

この場合には、検索結果画面生成部２２４及び解説コンテンツリンクデータベース２５は省略することができ、その代わりに、解説コンテンツデータベース２６には、各解説動画ファイルが問題ＩＤと関連付けられて記憶される。こうすることで、第１の実施の形態の問題特定部２２３や第２の実施の形態の頁検索部２２２にて解説動画を配信すべき問題の問題ＩＤが特定されたら、その情報を配信処理部２２５に渡し、配信処理部２２５は、特定された問題ＩＤに関連付けられた解説動画を直接学習者端末にストリーミング配信する。

なお、複数の問題ＩＤが特定される場合には、順にストリーミング配信を行うとともに、順番待ちの解説コンテンツについて、そのリンク情報とサムネイル画像を学習者端末に送信するようにしてもよい。

また、上記の実施の形態における学習支援サーバの構成要素は、その一部が別装置に備えられていてよい。特に、解説コンテンツデータベース２６と配信処理部２２５は、他の構成と別の解説コンテンツサーバに備えられていてよい。また、すべてのデータベースと、送受信部及び制御部とが別々の装置として構成されてよい。

また、上記の実施の形態では、解説コンテンツは動画であったが、解説コンテンツはこれに限られず、画像、音声、テキスト等、学習支援サーバから配信可能な各種の形式のコンテンツであってよい。

また、上記の実施の形態では、学習者Ｓに教材の頁全体の情報を取得するために、頁全体の画像を撮影させたが、教材の頁の一部領域の情報でも登録頁の検索を可能としてよい。この変形例では、学習者端末１０において、学習者Ｓが頁の一部領域を撮影することで、頁の一部領域のみの画像（以下、「撮影部分画像」）が得られる。この撮影部分画像も、上記の撮影頁画像と同様に、本発明の「問題画像」に相当する。なお、質問箇所の指定は、第１の実施の形態のようにあってもよく、第２の実施の形態のようになくてもよい。

図１８は、この変形例の参照問題情報データベースのデータ構成の例を示す図である。参照問題情報データベース２３´は、上記の実施の形態の参照頁情報データベース２３の代わりに用いることができる。参照問題情報データベース２３´には、問題ごとにレコードが作成されて記憶されていている。各問題には、問題ＩＤが付与されており、参照問題情報データベース２３´には、各問題ＩＤに対して当該問題の特徴量が特徴ベクトルの形態で関連付けられている。

特徴量抽出部２２１は、撮影部分画像から上記の実施の形態と同様にして特徴量を抽出する。頁検索部２２２も上記の実施の形態と同様にして、撮影部分画像から抽出された特徴量をクエリとして、参照問題情報データベース２３´に記憶されている複数の問題（以下、「登録問題」）の中から、撮影部分画像に対応する登録問題を検索する。

さらに、この変形例において、参照問題情報データベース２３´の代わりに、上記の実施の形態の参照頁情報データベース２３を用いるようにしてもよい。この場合には、頁検索部２２２は、上記の実施の形態と同様にして、対応点を最も多く含む登録頁を、撮影部分画像に対応する登録頁であると判断する。

また、上記の実施の形態では、学習者Ｓの操作によって画像生成部１４が撮影をして頁画像ファイルを生成し、かつ学習者Ｓの操作によって頁画像ファイルを含む送信データを生成した。即ち、教材の撮影は、学習者Ｓによるレリーズ操作に応じて１つの画像ファイルを生成するというスチル撮影であった。これに代えて、ＡＲ（Augmented Reality）処理を行ってもよい。ＡＲ処理では、学習者Ｓのレリーズ操作がなくても画像生成部１４の撮像素子で繰り返しキャプチャを行って、その都度以降の処理を行う。

ＡＲ処理では、学習者端末１０の表示パネルには、所定のフレームレートで撮影した教材の画像が表示されるとともに、その画像に重畳させて、解説動画へのリンク情報を含む連番マーク（図１０参照）が表示される。このために、検索結果画面生成部２２４は、学習者端末１０に備えられる。検索結果画面生成部２２４は、検索結果画面を生成する代わりに、画像に重畳させる連番マークを生成して、所定のフレームレートで撮影されて表示パネルに表示される画像に、生成したマークを重畳する。ＡＲ処理を行うことにより、学習者Ｓは、学習者端末１０を教材にかざすだけで、学習者端末１０の表示パネルにて解説動画へのリンク情報を含むマークが重畳された教材の画像を得ることができる。

また、上記の実施の形態では、問題情報が、画像ファイルや、画像から得られた特徴量であったが、本発明の問題情報はこれに限られない。問題情報は、例えば画像に対して文字認識を行って得られたテキストデータであってもよい。さらに、上記の実施の形態では、画像生成部１４にて教材を撮影することで問題情報を生成したが、問題情報は、学習者Ｓが教材の質問箇所を読み上げることで生成されてもよい。即ち、問題情報は、音声データ、その音声データから抽出された特徴データ、あるいはその音声データに対して音声認識を行って得られたテキストデータ（以下、「音声認識テキスト」）であってもよい。

音声認識を行う場合には、上記の実施の形態において、画像生成部１４における画像生成処理に代えて、音声キャプチャ処理が行われる。また、音声データから特徴データが抽出される場合には、参照頁情報データベース２３には、複数の教材の各頁について、又は複数の教材の複数の頁の各問題について、特徴データが記憶される。音声データからテキストデータを取得する場合には、特徴量抽出部２２１における特徴量抽出処理に代えて、音声認識処理が行われ、参照頁情報データベース２３には、複数の教材の各頁について、又は複数の教材の複数の頁の各問題について、テキストデータが記憶される。

また、検索結果画面生成部２２４は、解説動画へのリンク情報を含む検索結果画面を生成する。この検索結果画面にて認識した音声の内容をテキストで表示してもよい。また、検索結果画面生成部２２４を省略し、問題特定部２２３における問題の特定に成功したら、検索結果画面を生成することなく、配信処理部２２５が対応する解説動画の配信を開始してもよい。

次に、以上説明した本発明の実施の形態の学習システムを導入することで学習者に提供できる学習環境について説明する。

従来より、インターネット上では学習者のための解説動画が提供されている。しかし、学習者は、自らが視聴すべき動画を選択することは容易ではなく、解説動画の提供者が用意する順に従って順に動画を視聴していくか、解説動画に付随するインデクス（例えばその動画のタイトル）を頼りに、自分が学習したい内容に相当する動画を視聴する。このような解説動画の利用方法は、いずれも受動的であり、学習者は単に動画を眺めているだけになりがちであり、高い学習効果は期待できない。そこで、本発明らは、学習者が能動的に教科書を読んだり、問題集を解いたりするといった、非電子的な教材を用いた従来型の学習をベースとしつつ、そこに解説動画の配信を組み合わせる学習支援を企画した。

本発明によれば、学習者が教材を用いて学習している際に質問をすると、学習者には、まさにその教材のその質問箇所についての解説動画が提供される。学習者による学習者端末に対する質問のための操作は、ちょうど従来型の学習において分からない点を先生に質問をする行動に相当する。そして、その解説動画の内容は、一般的な解法ではなく、実際に当該演習問題を解く方法を説明する内容であるので、まさに、分からない問題の解法を先生が教えてくれるのと同等の学習効果が得られる。即ち、本発明の実施の形態の学習支援システムによれば、教科書や問題集等を用いた学習において、いつでもどこでも先生に質問ができるという学習環境が与えられる。

１００ 学習支援システム
１０、１０´ 学習者端末
１１ 入力部
１２ 出力部
１３ 制御部
１３１ 指定情報生成部
１３２ 送信データ生成部
１４ 画像生成部
１５ 送受信部
２０、２０´、２０´´ 学習支援サーバ
２１ 送受信部
２２ 制御部
２２１ 特徴量抽出部
２２２、２２２´´ 頁検索部
２２２ 問題特定部
２２４ 検索結果画面生成部
２２５ 配信処理部
２３ 参照頁情報データベース
２４ 問題データベース
２５、２５´ 解説コンテンツリンクデータベース
２６ 解説コンテンツデータベース
２７ 教材データベース

Claims (8)

1. 教材に含まれる問題の内容を示す問題情報を生成するための第１の制御部と、
   解説コンテンツを記憶する解説コンテンツ記憶部と、
   前記問題情報が示す問題に対応する解説コンテンツを検索して、前記解説コンテンツ記憶部から前記対応する解説コンテンツを取得する第２の制御部と、
   を備えたことを特徴とする学習支援システム。
2. 前記学習支援システムは、通信ネットワークを介して互いに通信可能な学習者端末と学習支援サーバとを備え、
   前記第１の制御部は、前記学習者端末に備えられ、
   前記解説コンテンツ記憶部及び前記第２の制御部は、前記学習支援サーバに備えられ、
   前記学習者端末は、さらに、前記第１の制御部にて生成された前記問題情報を前記学習支援サーバに送信する端末送信部を備え、
   前記学習支援サーバは、さらに、
   前記端末送信部より送信された前記問題情報を受信するサーバ受信部と、
   前記第２の制御部にて取得された前記解説コンテンツを前記学習者端末に送信するサーバ送信部と、
   を備えたことを特徴とする請求項１に記載の学習支援システム。
3. 前記問題情報は、前記教材を撮影することで得られた問題画像であることを特徴とする請求項１又は２に記載の学習支援システム。
4. 前記問題情報は、教材を撮影することで得られた問題画像から抽出された特徴量であることを特徴とする請求項１又は２に記載の学習支援システム。
5. 前記解説コンテンツは動画像であることを特徴とする請求項１ないし４のいずれか一項に記載の学習支援システム。
6. 通信ネットワークを介して学習者端末と通信可能な学習支援サーバであって、
   前記学習者端末より送信された問題情報を受信する受信部と、
   解説コンテンツを記憶する解説コンテンツ記憶部と、
   前記解説コンテンツ記憶部から前記問題情報が示す問題に対応する解説コンテンツを取得する制御部と、
   前記制御部にて取得された前記解説コンテンツを前記学習者端末に送信する送信部と、
   を備えたことを特徴とする学習支援サーバ。
7. 通信ネットワークを介して学習者端末と通信可能であり、かつ解説コンテンツを記憶する解説コンテンツ記憶部を備えた学習支援サーバにおける学習支援方法であって、
   前記学習支援方法は、
   前記学習者端末より送信された問題情報を受信する受信ステップと、
   前記解説コンテンツ記憶部から前記問題情報が示す問題に対応する解説コンテンツを取得する取得ステップと、
   前記取得ステップにて取得された前記解説コンテンツを前記学習者端末に送信する送信ステップと、
   を含むことを特徴とする学習支援方法。
8. 通信ネットワークを介して学習者端末と通信可能であり、かつ解説コンテンツを記憶した解説コンテンツ記憶部を備えた学習支援サーバのコンピュータを、
   前記学習者端末より送信された問題情報を受信する受信部、
   前記解説コンテンツ記憶部から前記問題情報が示す問題に対応する解説コンテンツを取得する制御部、及び
   前記制御部にて取得された前記解説コンテンツを前記学習者端末に送信する送信部、
   として機能させることを特徴とする学習支援プログラム。

Images