JP7171333B2 - 試験問題予測システム及び試験問題予測方法 - Google Patents
試験問題予測システム及び試験問題予測方法 Download PDFInfo
- Publication number
- JP7171333B2 JP7171333B2 JP2018173783A JP2018173783A JP7171333B2 JP 7171333 B2 JP7171333 B2 JP 7171333B2 JP 2018173783 A JP2018173783 A JP 2018173783A JP 2018173783 A JP2018173783 A JP 2018173783A JP 7171333 B2 JP7171333 B2 JP 7171333B2
- Authority
- JP
- Japan
- Prior art keywords
- questions
- prediction
- question
- category
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000012360 testing method Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 24
- 238000002360 preparation method Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000003491 array Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
従来、コンピュータを用いて試験問題を作成し、ネットワークを介して試験問題を提供するものがある。
しかしながら、過去の試験問題から今年の試験問題を精度よく予測する手法は確立されていない。
尚、関連する先行技術として、特開2007-248605号公報「試験問題作成方法、試験問題作成システム及び試験問題作成プログラム」(特許文献1)がある。
特許文献1には、試験の種別に応じた評価基準を満たす試験問題を作成できることが示されている。
特許文献1にも、過去の問題内容から本年の出題カテゴリを予測して試験問題を作成するものとはなっていないものである。
[実施の形態の概要]
本発明の実施の形態に係る試験問題予測システム(本システム)は、予測問題作成処理装置(本装置)で、過去に出題された問題内容から次回の試験問題のカテゴリにおける出題回数を予測し、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を作成し、ネットワークを介して接続する予測問題提供装置が、作成された予測問題を受験者装置に提供するものであり、出題回数が適正に予測されたカテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができるものである。
本システムについて図1を参照しながら説明する。図1は、本システムの概略図である。
本システムは、図1に示すように、予測問題作成処理装置1と、予測問題提供サーバ2と、インターネット3と、受験者コンピュータ(PC)4とを基本的に有している。
各装置は、インターネット3を介して接続されており、受験者PC4は本来、複数台接続されるものである。
予測問題作成処理装置1は、次回の試験問題を予測して試験問題を作成する処理を行う。
予測問題作成処理装置1は、制御部11と、記憶部12と、インタフェース部13とを備え、インタフェース部13には、表示部14、入力部15が接続され、更にインターネット3に接続している。
記憶部12は、処理プログラムを記憶すると共に、過去の試験問題を記憶する。
表示部14は、予測問題を作成するに必要な表示を行う。
入力部15は、予測問題を作成するに必要な入力を行う。
予測問題提供サーバ2は、制御部と記憶部を備え、インターネット3に接続するコンピュータであり、予測問題作成処理装置1で作成された予測問題を入力して記憶し、受講者PC4に予測問題を配信する。請求項では「予測問題提供装置」としている。
図1では、予測問題作成処理装置1と予測問題提供サーバ2とをインターネット3を介して接続しているが、社内のネットワークで接続してもよい。
また、予測問題作成処理装置1と予測問題提供サーバ2とを一体の装置の構成としてもよい。
受験者PC4は、インターネット3を介して予測問題提供サーバ2にアクセスし、提供される予測問題を受けることができるコンピュータである。請求項では「受験者装置」としており、コンピュータに限らずタブレット端末、スマートフォン等の端末装置であってもよい。
本装置における予測問題作成の処理(本処理)について図2を参照しながら説明する。図2は、本処理の概略図である。
本処理は、図2に示すように、過去の特定期間(前回試験から連続して遡った期間)の試験問題を読み込んで、それら試験問題について内容に応じて予め定められた小カテゴリ(単に「カテゴリ」と称することがある)に分類したデータを基に次回試験の小カテゴリを予測する小カテゴリ予測ステップと、その小カテゴリ予測結果を用いて予測問題の作成を行う問題作成ステップとを有している。
また、小カテゴリに分類されたデータとは、カテゴリ毎の出題回数(出題件数)であり、例えば、カテゴリ1について出願回数2回、カテゴリ2について出題回数3回というものになる。
[小カテゴリ予測ステップ]
本装置の制御部11は、記憶部12から処理プログラムを読み込んで、小カテゴリ予測ステップを実行するものであり、外部から過去の特定期間の試験問題(過去問)をCSV(Comma Separated Values)形式で入力し、試験毎に小カテゴリ毎の出題回数を集計し、その小カテゴリ毎の出題回数を基に予測プログラムを実行して小カテゴリ予測結果を出力する。この小カテゴリ予測結果は、次回の試験問題の小カテゴリ毎の予測出題回数である。
尚、試験問題の複数科目から構成されている場合は、科目毎の出題数が決まっているので、その分類はルールベースで行う。
本装置の制御部11は、記憶部12から処理プログラムを読み込んで、問題作成ステップを実行するものであり、小カテゴリ予測ステップで得られた小カテゴリ予測結果(小カテゴリ毎の予測出題回数)を入力し、問題作成プログラムを実行して過去問からランダムに問題を抽出して出題予測結果を出力する。
つまり、小カテゴリ毎の予測出題回数に従って、当該小カテゴリに対応する過去問の中からランダムに問題を抽出して全体としての予測問題を作成する。
また、過去問について、過去問そのものではなく、問題内容を少し変更したものを作成しておき、それらを含めて抽出するようにしてもよい。
次に、本装置で使用されるニューラルネットワークのモデルについて図3を参照しながら説明する。図3は、本装置におけるニューラルネットワークのモデルの概略図である。
本装置におけるニューラルネットワークは、図3に示すように、入力層111に入力データxが入力され、それが中間層のLSTMレイヤー112,113を介して、全結合レイヤー114に入力されて全結合がなされ、それが出力層115に予測値として出力データyが出力される。
LSTMレイヤーは、RNNの短期間の記憶しか実現できないという限界を緩和するもので、メモリユニットには、入力層から入力されるものもあり、中間層からの出力を帰還させるものもあり、時系列情報の長期の記憶を可能としている。
図3のモデルを本装置が使用することで、小カテゴリの予測結果の精度を向上させることができるものである。
次に、年次毎のカテゴリ(小カテゴリ)の出題回数について図4を参照しながら説明する。図4は、年次毎のカテゴリの出題回数を示す図である。
年次毎の出題回数は、図4に示すように、例えば、93のカテゴリに分類されており、平成1年(H1)から平成29年(H29)までの各年のカテゴリ毎の出題回数が得られる。
以下に説明する階差データの作り方では、カテゴリ毎(カテゴリ番号毎)にH1~H29の図4の行データを用いている。例えば、カテゴリ番号2では、n21,n22,n23,…の行データを単位として用いている。
次に、階差データの作り方について図5を参照しながら説明する。図5は、階差データの作り方を示す図である。
過去問の小カテゴリ毎の出題回数を単純にAIプログラムに入力するだけでは、精度のよい小カテゴリ予測結果を得るのに十分ではないため、以下に説明する階差データを作成し、その階差データから得られる行列の数値をAIプログラムに入力して予測精度を向上させている。
尚、丸括弧で表される数値は、実際の試験での出題回数であり、角括弧で表される数値は予測値である。
更に、H1の縦方向の列のデータ(1)~(13)の値からH14のこのカテゴリの出題回数の数値[14]を予測する。
同様に、H1~H13の13行×14列の行列の値を入力データとしてH26の予測値[26]を得る。
このようにして得られた小カテゴリ予測結果は、精度が高く、問題作成ステップでの問題作成でも予測精度を向上させることができる。
次に、本システムの予測問題提供サーバ2での処理を説明する。
予測問題提供サーバ2は、予測問題作成処理装置1で作成された予測問題データを予測問題作成処理装置1からアップロードされて、記憶部に記憶し、その予測問題データを受験者PC4からのアクセスにより提供する。
また、採点結果を単に通知するだけでなく、予測問題の全解答者の解答内容の分析結果を提供したり、受験者個人の弱点を指摘し、合格のための有効な学習方法をアドバイスとして提供するようにしてもよい。当該アドバイスには、勉強に参考となるオンラインの講義を紹介してその講義に呼び込むことも含まれる。
本システム及び試験問題予測方法によれば、本装置1が、小カテゴリ予測ステップで、過去に出題された問題内容から次回の試験問題のカテゴリにおける出題回数を予測して、問題作成ステップで、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を作成し、ネットワーク3を介して接続する予測問題提供サーバ2が、作成された予測問題を受験者PC4に提供するものとしているので、出題回数が適正に予測された小カテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができる効果がある。
Claims (6)
- 試験問題を予測する試験問題予測システムであって、
過去の試験問題から試験毎について予め分類されたカテゴリ毎の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測し、当該予測されたカテゴリ毎の出題回数に従って前記過去の試験問題から問題を抽出して次回の予測問題を作成する予測問題作成処理装置を有し、
各カテゴリの出題回数を過去の時系列に配置し、当該配置を1年過去にシフトさせる配列を段階的に複数生成した階差データから得られる行列の数値を予測プログラムに入力して前記次回の試験問題のカテゴリ毎の出題回数を予測することを特徴とする試験問題予測システム。 - 前記予測プログラムは、中間層のユニットをLSTM(Long Short-Term Memory)ブロックに置き換えた再帰型ニューラルネットワークを含むことを特徴とする請求項1記載の試験問題予測システム。
- 予測問題作成処理装置で作成された予測問題を受験者装置に提供する予測問題提供装置を有することを特徴とする請求項1又は2記載の試験問題予測システム。
- 予測問題提供装置は、受験者装置からの予測問題に対する解答を受け取り、採点を行って前記受験者装置にフィードバックすることを特徴とする請求項3記載の試験問題予測システム。
- 処理装置が試験問題を予測する試験問題予測方法であって、
過去の試験問題から試験毎について予め分類されたカテゴリ毎の出題回数を基にして次回の試験問題のカテゴリ毎の出題回数を機械学習により予測し、当該予測されたカテゴリ毎の出題回数に従って前記過去の試験問題から問題を抽出して次回の予測問題を作成するし、
各カテゴリの出題回数を過去の時系列に配置し、当該配置を1年過去にシフトさせる配列を段階的に複数生成した階差データから得られる行列の数値を予測プログラムに入力して前記次回の試験問題のカテゴリ毎の出題回数を予測することを特徴とする試験問題予測方法。 - 前記予測プログラムは、中間層のユニットをLSTMブロックに置き換えた再帰型ニューラルネットワークを含むことを特徴とする請求項5記載の試験問題予測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173783A JP7171333B2 (ja) | 2018-09-18 | 2018-09-18 | 試験問題予測システム及び試験問題予測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173783A JP7171333B2 (ja) | 2018-09-18 | 2018-09-18 | 試験問題予測システム及び試験問題予測方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020046833A JP2020046833A (ja) | 2020-03-26 |
JP2020046833A5 JP2020046833A5 (ja) | 2021-07-26 |
JP7171333B2 true JP7171333B2 (ja) | 2022-11-15 |
Family
ID=69901462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018173783A Active JP7171333B2 (ja) | 2018-09-18 | 2018-09-18 | 試験問題予測システム及び試験問題予測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7171333B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011191456A (ja) | 2010-03-15 | 2011-09-29 | Hitachi Solutions Ltd | 試験対策コンテンツ提供プログラム、試験対策コンテンツ提供装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0973440A (ja) * | 1995-09-06 | 1997-03-18 | Fujitsu Ltd | コラム構造の再帰型ニューラルネットワークによる時系列トレンド推定システムおよび方法 |
JP4231570B2 (ja) * | 1998-05-29 | 2009-03-04 | 株式会社メディア・ファイブ | 学習用データ処理装置 |
-
2018
- 2018-09-18 JP JP2018173783A patent/JP7171333B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011191456A (ja) | 2010-03-15 | 2011-09-29 | Hitachi Solutions Ltd | 試験対策コンテンツ提供プログラム、試験対策コンテンツ提供装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020046833A (ja) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bolstad et al. | Introduction to Bayesian statistics | |
Moreno-Marcos et al. | A learning analytics methodology for understanding social interactions in MOOCs | |
Maloshonok et al. | The impact of visual design and response formats on data quality in a web survey of MOOC students | |
WO2011061758A4 (en) | Assessment for efficient learning and top performance in competitive exams - system, method, user interface- and a computer application | |
Aslan et al. | The immediate impacts of preschool attendance on Turkish children’s mathematics achievement | |
Donnelly Jr et al. | Statistics, 3E | |
KR101801332B1 (ko) | 가이드 타입의 수학 사전 시스템 | |
Kahng et al. | How does visualization help people learn deep learning? Evaluating GAN Lab with observational study and log analysis | |
Okumura et al. | Do parents’ social skills influence their Children’s sociability? | |
JP7171333B2 (ja) | 試験問題予測システム及び試験問題予測方法 | |
CN116052880A (zh) | 创新素养核心认知能力组合评价系统 | |
Barenboym et al. | A comparison of stimulus ratings made online and in person: Gender and method effects | |
Athavale et al. | Understanding game ideation through the lens of creativity model | |
Pomi | Exploring the sources and mechanisms of cognitive errors in medical diagnosis with associative memory models | |
Kong et al. | Implementation and evaluation of the Model of the Use of Evolutionary Trees (MUET) curricular module in an introductory organismal biology course | |
CN114282095A (zh) | 一种课程推荐方法、装置、设备及可读存储介质 | |
Zimdahl et al. | Hindsight bias in metamemory: Outcome knowledge influences the recollection of judgments of learning | |
Kovalkov et al. | Modeling Creativity in Visual Programming: From Theory to Practice. | |
Kates et al. | Bridging the grade gap: reducing assessment bias in a multi-grader class | |
Wright et al. | Open Case Studies: Statistics and Data Science Education through Real-World Applications | |
Nikiforov et al. | Tests in education and their application in the electronic environment | |
Veerbeek et al. | Process-Oriented Measurement Using Electronic Tangibles. | |
Li | Building an asynchronous HTML5-related competency-based guided e-learning system | |
Rulyansah et al. | The use of games for learning in primary schools: a bibliometrics analysis of the Scopus database | |
Xiao et al. | Combining Process Information and Item Response Modeling to Estimate Problem‐Solving Ability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210517 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220204 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7171333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |