JP6930754B2 - 学習支援装置及び出題方法 - Google Patents

Description

本発明は、ユーザに問題を提供した際に、ユーザの入力情報に基づいて、当該問題に対する選択肢を自動的に生成して、ユーザに提供することのできる学習支援装置及び出題方法に関する。

従来から効率的に問題を作成すると共に学習効果を高めるための技術が提案されている。たとえば、特許文献１には、多肢選択式の問題において、不正解肢をランダムに入れ替えて選択肢を生成して、ユーザに再学習可能にすることによって学習効果を高めるシステムが記載されている。また、特許文献２には、コーパスから問題のもととなる文を選択すると共に空所を決定し、当該空所を選択肢候補で置換して得られる文の妥当性を判定することによって選択肢を決定して試験問題を作成する装置が記載されている。

しかしながら、上記の各特許文献に記載された多肢選択式問題の出題形式は、問題と共に提示された選択肢の中から正解肢を選ぶものである。このため、不正解肢と正解肢との関係で正解がわかりやすい場合がある。すなわち、ユーザの記憶が曖昧であっても正解になる可能性がある。

一方、記述式問題は、多肢選択式問題に比べて知識や理解度のレベルが低い者が偶然に正解となる可能性を低減させることはできるものの、問題によっては、正答が一意に定まらない場合があり、正誤の判定が煩雑になり、また採点の公平性が担保されないなどの問題がある。

特許第５０９８０６６号公報 特開２００６−０３９３５３号公報

本発明は上述のかかる事情に鑑みてなされたものであり、従来の多肢選択式および記述式の問題形式の欠点を改善して、偶然に正解となる可能性を低減させ、正誤の判定を公平かつ効率的に行うことのできる学習支援装置及び出題方法を提供することを目的とする。

上記目的を達成するため、本発明に係る学習支援装置は、
問題をユーザに提供する問題提供手段と、
前記問題に対するユーザの入力情報を逐次受け付ける入力処理手段と、
複数の問題のそれぞれと正解肢とは関連付けられており、提供された前記問題に関連付けられた正解肢に前記入力情報が含まれる場合、提供された前記問題に関連付けられた前記正解肢を含むように前記入力情報を含む正解肢を抽出して、ユーザに提供すべき選択肢を生成する選択肢生成手段と、
生成した前記選択肢をユーザに提供する選択肢提供手段と、
を備えたことを特徴とする。

ここで、「逐次」とは、解答の入力を完全に終えてから入力を受け付けるのではなく、例えば文字単位、音節単位など、入力中の情報を随時受け付けることを意味する。また、「入力情報」は、文字や数字に限らず、音声や図形（グラフ）など問題に対するあらゆる形式の入力を含む。選択肢生成手段は、入力処理手段がユーザからの入力情報を受け付けるたびに実行される。

本発明では、問題に対してユーザの入力する情報に応じて選択肢を自動的に作成し、ユーザは提供される選択肢の中から所望の枝を選択することにより効率的に解答することができる。また、ユーザは記憶が曖昧のまま正解に辿り着くことが難しくなるので、最初から選択肢を与えるのに比べて学習効果が向上する。

好ましくは、ユーザの端末に出力された問題と同一画面上に、生成した選択肢を出力するのが良い。これにより、ユーザは、入力する情報（例えば一文字ごと、一語ごと）に伴って変わる選択肢を問題文と照らし合わせながら確認でき、正解と思われる枝を選択することができる。選択された枝の識別情報は、正誤判定手段に送られて正誤判定される。

また、本発明に係る学習支援装置は、
複数の問題のそれぞれと正解肢とを関連付けた問題データベースを備え、
前記選択肢生成手段は、前記問題データベースの中から前記入力情報を含む正解肢を抽出して、ユーザに提供すべき選択肢を生成することを特徴とする。
本発明では、ある問題の正解肢を、出題された他の問題の不正解肢として利用する。これにより、効率的に選択肢を生成することができる。勿論、問題ごとに不正解肢として予め備えておくようにしても良い。特にユーザに提供した選択肢群と誤答率とを学習器に入力して、機械学習により誤答率の高い不正解肢との組み合わせを優先的に選択肢として提供することによりユーザの学習効果を高めることができる。

なお、分析対象としては、問題に対してユーザが入力した検索文字列を含め、誤答率の高い文字列を問題ＩＤに関連付けて、ユーザＤＢに記録しておき、この文字列を不正解肢として出力するようにしても良い。勿論、上記の分析は人間系で行うこともできる。

さらに、本発明に係る学習支援装置の選択肢生成手段は、ユーザの入力情報に応じて抽出する複数の選択肢のうち、すでに抽出した選択肢の同一・類似の意味（以下、単に「同義」という。）の選択肢を間引くことを特徴とする。

同義か否かは、例えば、同じ識別情報を付して予めグループ化しておく、あるいは辞書データベース（例えば、類義語辞典）にアクセスすることにより判定することができる。

また、本発明に係る出題方法は、コンピュータが実行する出題方法であって、
問題をユーザに提供した後に、前記問題に対するユーザの入力情報を逐次受け付ける段階と、
複数の問題のそれぞれと正解肢とは関連付けられており、提供された前記問題に関連付けられた正解肢に前記入力情報が含まれる場合、提供された前記問題に関連付けられた前記正解肢を含むように前記入力情報を含む正解肢を抽出して、ユーザに提供すべき選択肢を生成する段階と、
生成した前記選択肢をユーザに提供する段階と、
を含むことを特徴とする。

本発明では、ユーザに問題を提供した後に入力されるユーザの入力情報に基づいて自動的に選択肢を生成する。

本発明によれば、ユーザにまず自由入力させるので、従来の多肢選択式に比べて偶然に正解となる可能性を低減させることができる。また、自由入力される情報に応じて逐次選択肢を生成してユーザに所望の枝を選択可能にすることにより、正誤の判定を公平かつ効率的に行うことができる。

本発明の実施の形態による学習支援装置の機能ブロック図である。 図１の問題ＤＢのデータ構成例である。 本発明の実施の形態による、問題文表示直後の利用者端末の画面表示例の説明図である。 本発明の実施の形態による、回答入力中の利用者端末の画面表示例の説明図である。 図１の選択肢生成手段の処理手順を示すフローチャートである。 本発明の実施の形態による、機械学習を用いた選択肢の生成方法の説明図である。

以下に本発明に係る学習支援装置の実施の形態を図面を参照しながら説明する。図１は、本実施の形態による学習支援装置１の機能ブロック図である。

この学習支援装置１において、学習支援装置１０は、通信ネットワークを介して受講者のユーザ端末３とそれぞれ繋がっている。ここで、学習支援装置１は、クライアントサーバモデルやクラウドコンピューティング形態などにより構成されるが、これに限られるものではない。例えば、通信ネットワークを介さずにユーザ端末３と学習支援装置１０を一体（スタンドアロン型）として実現することもできる。

学習支援装置１０は、ユーザ端末３と通信を行うための送受信部１１、データを記憶する記憶部１２、データ処理を実行する演算処理部１３を有している。

演算処理部１３は、ユーザ端末３に対する送信処理を実行する送信処理手段３１、送信処理手段３１を介して問題をユーザに提供する問題提供手段３２、提供した問題に対してユーザ端末３から送られてくる入力情報を逐次受け付ける入力処理手段３３、この入力情報をもとにユーザ端末３へ送信するための複数の選択肢を生成する選択肢生成手段３４、生成した選択肢をユーザに提供する選択肢提供手段３５、ユーザ端末３から送られてくるユーザの選択した選択肢を受け付け、該選択肢が正解か否かを判定する正誤判定手段３６を備えている。演算処理部１３の各手段３１〜３６はＣＰＵの機能としてプログラムによって実現させることができる。

ユーザＤＢ２１には受講者であるユーザの氏名，ＩＤ等のユーザ属性情報や実施した問題、その問題に対する正解、不正解の履歴等が保存される。問題ＤＢ２２には、ユーザに提供するための問題、および問題ごとの解答が保存される。

次に上記の構成を有する学習支援装置１０の動作を説明する。なお、学習支援装置１０の機能のうち、単元などユーザの学習単位を管理する機能については、例えば特許第６３９７１４６号公報に記載されている技術を用いることができるので説明を省略し、主に出題機能を中心に説明する。

学習支援装置１０の問題提供手段３２は、問題ＤＢ２２に保存されている問題のうち、ユーザに配信すべき問題を抽出して、送信処理手段３１を介してユーザ端末３へ送信する。

図３は、ユーザ端末３に表示される問題（問題ＩＤ３）の例である。問題文の表示欄、自由入力のための入力欄および選択肢表示欄が設けられている。なお、問題文の表示後、ユーザがまだ入力欄に情報を入力していない段階では、選択肢表示欄は空欄になっている。

その後、ユーザがユーザ端末３の入力欄に情報を入力すると、その情報は、学習支援装置１０に送られ、入力処理手段３３によって受信され、選択肢生成手段３４に渡される。

選択肢生成手段３４は、情報が入力されると、問題ＤＢ２２にアクセスして、正解リストからその情報を含む枝を抽出する。図４は、問題ＩＤ７の問題が出題されたときに、入力欄に「活」という文字が入力されたときの選択肢欄の表示例である。問題ＤＢの中で、「活」の文字コードが含まれている意味（正解肢）欄の情報を選択肢として抽出して、ランダムに表示する。図４の例では、ランダムにソートされた結果、選択肢表示欄の３番目の行に本問題の正解肢が表示され、その他の行には別の問題の正解肢が表示されている。このとき、問題ＩＤ２１は、問題ＩＤ７と同じグループに属するので、問題ＩＤ２１については、不正解肢の候補から排除される。このグループについては、予め同義の解答が含まれている枝に対して同じグループＩＤが付される。なお同義か否かは同義語辞典サーバ等にアクセスすることによって判定するようにしてもよい。これにより解の一意性を担保することができる。

この他、品詞（名詞、形容詞、動詞）などの属性情報によって不正解肢の候補にするか否かを決定することもできる。例えば、問題ＩＤ１７の「生活の,居住の」は形容詞であり、問題ＩＤ７とは品詞が異なるため、問題ＩＤ１７は不正解肢候補からは除外される。また、不正解肢ごとに誤答率（その不正解肢を選択する率）を記録しておき、誤答率がある閾値よりも低い不正解肢についても除外するようにしてもよい。

なお、上記のように他の問題の正解肢を、出題問題の不正解肢にするという方法に代えて、あるいは当該方法に加えてユーザが入力した検索文字列を問題ＩＤに関連付けて記録しておき、当該検索文字列を選択肢候補とするようにしてもよい、この場合、ユーザＤＢ２１にユーザごとに記録するようにしてもよいし、複数のユーザに共通化して問題ＤＢ２２に記録するようにしてもよい。好ましくは、複数のユーザの検索文字列を機械学習により分析して、誤答率が一定の閾値以上となる検索文字列を、出題問題の不正解肢とするのがよい。

ユーザは、選択肢欄に表示される選択肢の中で所望の選択肢を選択すると、当該選択肢の識別情報が学習支援装置１０に送られる。学習支援装置１０の入力処理手段３３は、受信した選択肢の識別情報を正誤判定手段３６に渡す。正誤判定手段３６は、選択肢の識別情報をもとにユーザの解答が正解か否かを判定し、判定結果をユーザＤＢ２１に登録する。

ちなみに、ユーザが「活」の後にさらに一文字(例えば「字」)を入力すると、そのタイミングで選択肢生成手段３４が起動され、意味欄に「活字」の文字コードが存在すれば、その欄の情報を選択肢としてユーザ端末３の選択肢欄に出力する。入力した文字コードが存在しなければ選択肢欄は空欄となる。

なお、上記の例では、漢字変換された文字コードを比較する例について説明したが、これに限らず、ひらがな、ローマ字などの任意のコードを、問題ＤＢ２２の意味欄（選択肢の候補となる欄）の情報コードに変換して比較することができる。

次に、図５に基づいて選択肢生成手段３４の処理手順について詳述する。
選択肢生成手段３４は、入力処理手段３３がユーザ端末３への入力を検知することによって起動される。

選択肢生成手段３４は入力があると（Ｓ１０１で「ＹＥＳ」）、当該問題の正解肢中の文字コードと一致するか否かを判定する（Ｓ１０２）。そして、一致した文字コードが存在する場合は、当該文字コードを含む正解肢欄（図２の意味欄）の情報を抽出する（Ｓ１０３）。次に他の問題の正解肢について、当該問題の正解肢中の文字コードと一致するか否かを判定し（Ｓ１０５）、一致する場合は、さらに既に抽出した正解肢と意味が同義か否かを判定する（Ｓ１０６）。そして、同義でなければ抽出した情報を選択肢に加える（Ｓ１０７）。なお、同義かを判定する方法としては、例えば、図２のグループ欄に示すように、同義となるグループごとに番号などのＩＤを設けるという方法がある。あるいは、同義語辞典のようなＤＢを設け、そのＤＢにアクセスして同義か否かによって判別するようにしても良い。

上記の処理を他の全ての問題の意味欄（正解肢欄）について実施した後（Ｓ１０４ａ，Ｓ１０４ｂ）、抽出した選択肢をランダムな順序で出力する（Ｓ１０８）。その後、確定入力、すなわち、ユーザ端末３において所望の選択肢が選択されると終了する（Ｓ１０９）。

以上の処理によって、問題出力後にユーザ端末３から逐次入力される情報に基づいて選択肢を生成してユーザ端末３に表示する。ユーザ端末３から入力された選択肢番号は、学習支援装置１０に送られ、正誤判定手段３６によって正誤判定され、その結果はユーザＤＢ２１に記録される。

なお、上記の処理において、ステップＳ１０１でユーザが入力した情報（文字コード）が、全ての問題の意味（正解肢）の文字コードと一致しない場合は、選択肢表示欄には、候補となる選択肢は表示されない。この場合は、例えば図示しない「ヒントボタン、あるいはGIVE UPボタン」などをユーザ端末３に表示して、このボタンを選択することにより、誤答率の高い不正解肢を含む、選択肢群を選択肢表示欄に表示するようにしてもよい。

（他の実施例１）
本実施の形態は、上述した処理手順に限定されず、例えば、ユーザ端末３に問題文の表示後、一定時間経過しても入力欄に情報が入力されない場合は、選択肢表示欄にヒントを出力したり、あるいは、予め備えた選択肢を表示出力するようにしても良い。

また、ユーザ端末３に文字入力する代わりに、音声入力を行うようにしても良い。この場合は入力欄に代えて、音声認識した結果を文字出力する欄を設けるようにしても良い。ユーザ端末からの情報入力は、このほか手書き入力、提示された図表への指示等であってもよい。

（他の実施例２）
次のように機械学習（いわゆる深層学習を含む。）によって質の高い選択肢、すなわちユーザが誤答しやすい不正解肢を蓄積することができる。以下、図６に基づいて説明する。

まず、多層ニューラルネットワーク（以下、「学習器」という。）の入力層には、様々なデータソース（例えば、他の問題の正解肢、類義語辞典、新聞・雑誌等の記事等）から収集した選択肢となり得る全ての単語を入力する。また、出力層には、入力層に対応する単語が列挙される。

学習器の入力は、列挙された選択肢に対応して、正解肢は１、それ以外は０のベクトルであり、出力は、入力に対応する各選択肢の評価値のベクトルである。この評価値は、０〜１の範囲の値をとり、良い不正解肢（ユーザが正答と間違える不正解肢）ほど１に近づく。ただし、正解肢(入力が１となっている単語)の評価値はその後の処理において無視される。このベクトルは問題ごとに生成される。

学習器の出力層の単語は、ユーザ端末３から入力されるキーワードによってフィルタリングされる。たとえば、ユーザ端末３に図３の問題文が提示され、これに対してユーザが入力欄に「活」というキーワードを入力した場合、出力層において「活」を含まない単語（図６の例では「可能性」）は選択肢候補から除外される。

キーワードによるフィルタリングの次に、閾値によるフィルタリングが行われる。即ち、キーワードフィルタから出力された各選択肢候補の評価値は閾値と比較され、評価値が当該閾値よりも小さい選択肢候補は除外される。図６の例では、単語「活躍」の評価値は、０．２であり、閾値０．５よりも小さいため、選択肢候補から除外される。この閾値は予め定めておいてもよいし、通過する不正解肢の数に応じて変動するようにしてもよい。

閾値フィルタを通過した単語は不正解肢として用いられ、正解肢と共にユーザ端末３の選択肢表示欄に出力される。

ユーザは、この選択肢表示欄に表示される選択肢の中から正解であると思われる選択肢を選ぶ。このユーザの回答結果は、学習器にフィードバックされる。例えば、ユーザが「活力」を選択した場合、「活力」を１、その他の単語（フィルタによって除外された単語も含む。）を０としたベクトルが教師データとして学習器にフィードバックされ、誤差逆伝播による学習が行われる。このときも正解肢に対応する出力は無視される。

以上の処理によって学習器はアップデートされる。これにより、ユーザが選択した不正解肢の評価値は上昇し、選択されなかった不正解肢の評価値は低下する方向に作用する。

ちなみに、閾値によるフィルタリングの後、フィルタを通過した不正解肢の数が多い場合は、例えば次の１）〜３）のいずれかの処理によってユーザに選択肢を提供することができる。なお、不正解肢の数が、ユーザ端末に正解肢と共に選択肢として出力できる最大数（不正解肢提示可能数）よりも少ないときは、不正解肢をすべて出力するようにしてもよい。

１）評価値が高いものから順に不正解肢提示可能数分の不正解肢を抽出してランダムな順序でユーザに提供する。
２）評価値が高いものから順に不正解肢提示可能数よりも多い数の不正解肢を抽出して、ランダムに選択肢提示可能数分の不正解肢を抽出してユーザに提示する。
３）評価値が高いものから順に不正解肢提示可能数よりも多い数の不正解肢を抽出する。そして、評価値が上位の所定数（不正解肢提示可能数よりも小さい値）については常に不正解肢として提示し、それ以外の不正解肢はランダムに前記所定数と合わせて合計値が不正解肢提示数になるように抽出してユーザに提示する。これにより、誤答しやすい選択肢は常にユーザに提供し、それ以外の選択肢はランダムに入れ替えながらユーザに提供するので新たに追加された不正解肢についても実績値の収集が可能しやすくなる。

上記のほか、一般的な選択肢提示方法として、不正解肢提示可能数のうち、そのユーザが誤答した不正解肢を含める枠を予め割り付けておき、この枠の不正解肢を含め、上記１）〜３）のいずれかの方法で選択した他の不正解肢と共にランダムな順序でユーザに提示するようにしてもよい。

なお、上記のフィルタリング処理は、人間系やプログラムによっても実現できるが、機械学習（予測器、学習器）によって情報源の信頼度、有効性を求め、信頼度、有効性の高い情報源のキーワードを抽出するようにしてもよい。

なお、誤差逆伝播による学習は、各問題の提供後に実施してもよいし、所定の周期で定期的に行うようにしてもよい。また、ユーザごとに行ってもよいし、ユーザグループとして行ってもよい。

上記は単語を例にして機械学習によって選択肢の質を高める手法について説明したが、選択肢は単語に限らず、例えばフレーズや図形等についても適用することができる。

また、評価値は、選択肢となる単語に限らず、例えば、他の問題の正解肢、類義語辞典など情報源の種類について求め、情報源ごとにその有効度を評価するようにしてもよい。これにより有効な選択肢を入力層に与えることができる。

（応用例）
本実施の形態は、出題する問題の種類によって次のように応用することができる。
（１）地理・歴史問題への応用
歴史上の人物名・地名・出来事などを問う問題を出題し、ユーザはその一部の入力から表示される選択肢を選択して回答する。この際、分野が同じ問題については同一の属性を付す。そして、同一の属性が付いている問題から選択肢をリストアップする。ユーザは提示された選択肢からひとつを選択して回答すると、システムがその回答が正解であるかを判定する。

（２）グラフ問題への応用
数学で数式が表すグラフの形状を問う問題を出題し、ユーザは手書き入力でグラフの概形を描画する。学習支援装置１０は記入されたグラフ概形と問題ＤＢ２２にあるグラフ画像との特徴点のマッチングを行い、元に近しい形状の候補を提示する。このとき、同じ数式を持つ２つ以上のグラフは１つに集約し、さらに正解と区別を付けがたい類似性を持つ不正解グラフは候補から除外する。

（３）資格取得試験への応用
資格を取得するための試験を、本方式によるテストに置き換えることで、選択式試験に比べ専門知識の理解度が低い受験者が誤って正解となる可能性を大幅に低減することが可能になる。また、自由入力とは異なり機械的に一意な正答が定まるため、試験の公平性を高めつつ採点者の負担を軽減することが可能になる。

以上、本実施の形態によれば、次の種々の効果を奏する。
ある出題問題に対するユーザの入力をもとに、選択肢を生成してユーザに提示し、ユーザは提示された選択肢をもとに回答するので、最初から選択肢を与えるのに比べて、自力で正答をある程度予想できる習熟度でないと正解の選択肢に辿り着けないため、学習効果が向上する。

最初から選択肢を与えるのに比べて、本来は問題を解く実力を持たないユーザが選択肢から推測して問題を解けると誤判定される割合を減らせるため、本来の実力に沿った的確な学習指導を行うことができる。

自由記述のみで回答する場合に比べて入力操作の負担が大幅に軽減され、同じ時間でもより多くの問題を解くことができる。また、自由記述のみで回答する場合に比べ、認識技術の限界等に由来する正誤の誤判定を大幅に減らすことができる。

入力を行う画面と同一画面上に、生成した選択肢を出力することにより、ユーザは入力する情報に伴って変わる選択肢を確認できる。これにより、予めユーザに限られた数の選択肢を表示する場合に比べ、ユーザ入力に関連付いた、かつ出題者の狙ったポイントの理解を問う選択肢を複数提示することができる。このため、出題意図に沿った部分の知識の理解を問うことが容易となる。

生成する選択肢は、予め当該問題のために用意された選択肢のリストだけではなく、類似の属性を持つ別の問題の選択肢からも自動的に生成するので、問題作成者の労力が軽減される。そして、候補の提示により多くの選択肢候補からリストアップされるため、覚え間違いの検出などに役立つ。

特に、候補提示の際、表記揺れ、順序違いなど冗長な回答や、設問の意図よりもさらに細かい粒度の違いしか持たない候補は、個々の選択肢が持つ属性情報などをもとにひとつの候補に集約した上で提示することにより、二つ以上の正解候補から正解候補を一つ選択するといったユーザの混乱を生む状況を解消できる。また、候補を提示する段階で、問題で問いたいレベルの違いを持つ候補のみを提示することで、ユーザの学習をより効果的に行うことができる

１ 学習支援システム
３ ユーザ端末
１０ 学習支援装置
１１ 送受信部
１２ 記憶部
１３ 演算処理部
３１ 送信処理手段
３２ 問題提供手段
３３ 入力処理手段
３４ 選択肢生成手段
３５ 選択肢提供手段
３６ 正誤判定手段
２１ ユーザＤＢ
２２ 問題ＤＢ

Claims (6)

1. 問題をユーザに提供する問題提供手段と、
   前記問題に対するユーザの入力情報を逐次受け付ける入力処理手段と、
   複数の問題のそれぞれと正解肢とは関連付けられており、提供された前記問題に関連付けられた正解肢に前記入力情報が含まれる場合、提供された前記問題に関連付けられた前記正解肢を含むように前記入力情報を含む正解肢を抽出して、ユーザに提供すべき選択肢を生成する選択肢生成手段と、
   生成した前記選択肢をユーザに提供する選択肢提供手段と、
   を備えたことを特徴とする学習支援装置。
2. 前記選択肢生成手段は、ユーザの入力情報に応じて抽出する複数の選択肢のうち、同一、類似の意味を有する選択肢を間引くことを特徴とする請求項１に記載の学習支援装置。
3. ユーザの端末に出力された問題と同一画面上に、生成した選択肢を出力することを特徴とする請求項１または２に記載の学習支援装置。
4. ユーザの選択した選択肢を受け付け、該選択肢が正解か否かを判定する正誤判定手段を備えたことを特徴とする請求項１〜３のいずれか一項に記載の学習支援装置。
5. ユーザに問題を提供するコンピュータ実行可能なプログラムであって、
   コンピュータに、
   問題をユーザに提供する処理と、
   前記問題に対するユーザの入力情報を逐次受け付ける処理と、
   複数の問題のそれぞれと正解肢とは関連付けられており、提供された前記問題に関連付けられた正解肢に前記入力情報が含まれる場合、提供された前記問題に関連付けられた前記正解肢を含むように前記入力情報を含む正解肢を抽出して、ユーザに提供すべき選択肢を生成する選択肢生成処理と、
   生成した前記選択肢をユーザに提供する処理と、
   を実行させることを特徴とするプログラム。
6. コンピュータが実行する出題方法であって、
   問題をユーザに提供した後に、前記問題に対するユーザの入力情報を逐次受け付ける段階と、
   複数の問題のそれぞれと正解肢とは関連付けられており、提供された前記問題に関連付けられた正解肢に前記入力情報が含まれる場合、提供された前記問題に関連付けられた前記正解肢を含むように前記入力情報を含む正解肢を抽出して、ユーザに提供すべき選択肢を生成する段階と、
   生成した前記選択肢をユーザに提供する段階と、
   を含むことを特徴とする出題方法。

Images