JP5029090B2 - 能力推定システムおよび方法ならびにプログラムおよび記録媒体 - Google Patents

能力推定システムおよび方法ならびにプログラムおよび記録媒体 Download PDF

Info

Publication number
JP5029090B2
JP5029090B2 JP2007079860A JP2007079860A JP5029090B2 JP 5029090 B2 JP5029090 B2 JP 5029090B2 JP 2007079860 A JP2007079860 A JP 2007079860A JP 2007079860 A JP2007079860 A JP 2007079860A JP 5029090 B2 JP5029090 B2 JP 5029090B2
Authority
JP
Japan
Prior art keywords
ability
question
candidate
correlation
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007079860A
Other languages
English (en)
Other versions
JP2008242637A (ja
Inventor
史昭 菅谷
和之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
KDDI Corp
Original Assignee
Tohoku University NUC
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, KDDI Corp filed Critical Tohoku University NUC
Priority to JP2007079860A priority Critical patent/JP5029090B2/ja
Publication of JP2008242637A publication Critical patent/JP2008242637A/ja
Application granted granted Critical
Publication of JP5029090B2 publication Critical patent/JP5029090B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、能力推定システムおよび方法ならびにプログラムおよび記録媒体に係り、特に、複数の受験者に複数の問題を解答させて得られた正答及び誤答の確率変数に基づいて、各受験者の能力、各問題の難易度および各問題間の難易度に関する相関を同時に実時間で推定できる能力推定システムおよび方法ならびにプログラムおよび記録媒体に関する。
携帯電話によるモバイルサービスを通して行う試験を通して、受験者の能力および問題の難易度を推定する研究が進められている。定式化の段階で基本要素の間に相関を導入した高度に洗練された確率モデルにおいては、従来の項目応答理論で可能であったような解析的取り扱いが困難となり、近似アルゴリズムを構成する必要がある。そこで基本構成要素の間に相関があり、しかも非常にたくさんの基本要素からなる確率モデルの理論的取り扱いに長い歴史を持つ統計力学の手法を取り入れることにより、有効なアルゴリズムを構成できることが期待される。
受験者の能力の統計的推定手法としては、非特許文献1,2に開示された項目応答理論が従来技術として知られている。この項目応答理論は、出題した問題に対する各受験者の回答をもとに最尤推定を基礎として構成された理論である。しかしながら、多くの場合、出題する問題は互いに独立であるという仮定をおく場合が一般的であり、実際には、全く同じ問題ではないにせよ重複して出題してしまっていたり、特定の問題が正答できなかった理由が、他の問題の誤答による引きずりからくるものであったりなど、非常に構造が複雑多岐にわたることが多い。
近年、統計的推定におけるキーアプリケーションとして符号理論、人工知能、画像処理などの分野で注目されつつある理論にベイジアンネットワークと呼ばれるものがあり、非特許文献3,4に開示されている。このベイジアンネットワークはデータが複数の事象の因果関係に基づく過程を経て生成されたものであるかを事前知識として統計モデルのなかに仮定し、データから逆にそのデータを生成する源となる情報源を推定するものであり、その理論的枠組みは古くから知られていた。しかしながら、このベイジアンネットワークは複数の事象の間に様々の因果関係を仮定するため、扱う事象の個数、例えば問題数が多くなるほど計算量が爆発的に増大し、実用化は難しいと考えられてきた。
ところが最近、この計算量の問題を解決する近似アルゴリズムが提案され、ベイジアンネットワークによる様々の大規模統計モデルを用いた推定システムの実用化への道が大きく拓かれることとなる。この近似アルゴリズムは物理学、特に統計力学というこれまで情報処理と無縁と考えられてきた学問分野で研究されてきた計算技法にもとづいて、更に拡張され、より複雑な推論システムへの適用が現在進められつつある。
モバイルサービスによる試験を通しての受験者の能力推定においては、例えば出題する問題間の因果関係を従来得られた知識から設定した上での受験者の能力の推定および大量の問題を大人数の受験者に出題することによる受験者の能力と問題の難易度、問題間の因果関係の推定など、ベイジアンネットワークを用いることにより、多くの拡張が考えられる。これらは従来の項目応答理論を超えたより高度な推定システムを実現することが期待される。
F. B. Baker and S.-H. Kim: Item Response Theory ---Parameter Estimation Techniques, Marcel Dekker, Inc., 2004. 「項目応答理論・理論編−テストの数理−」,豊田秀樹編著;朝倉書店,2005. 「ベイジアンネットワーク技術・顧客・ユーザーのモデル化と不確実性理論」,本村陽一,岩崎弘利著;東京電機大学出版,2006. 「ベイジアンネットワーク概説」,繁桝算男,植野真臣,本村陽一著;培風館,2006. 「スピングラス理論と情報統計力学」,西森秀稔著;岩波書店,1999. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing: An Introduction, Oxford University Press, 2001.
項目応答理論の場合、ある受験者がある問題を正答したか不正答であったかに対する確率変数が基本要素となり、これが多数個集まってひとつの推定システムを構成する。既存のベイジアンネットワークの場合、出題する問題間の因果関係を従来得られた知識から設定した上でデータから能力と難易度の推定を行うという戦略が選択される。しかしながら、出題すべき問題自体が、例えば受験生から出題傾向を読み取られないようにするため、あるいは試験を取り巻く周囲の環境からの要請により出題傾向を換えざるを得ないような状況では因果関係をある構造に設定することなしに、データから様々の相関に柔軟に対応できる構造をモデルにもたせておく方が得策であると考えられる。つまり、すべての問題間に相関があると仮定し、その相関の強さをデータから能力および難易度と同時に推定するという戦略を選択することで、結果的に問題間の因果関係をも柔軟に取り扱う混合モデルを構成することが可能となることが期待される。
問題間に相関がある場合、基本要素を頂点で、相関を頂点間の線分で表すことにより完全グラフによるグラフ表現で確率モデルが表される。完全グラフによるグラフ表現で与えられる確率モデルの解析は統計力学におけるスピングラスと呼ばれる問題において長い研究の歴史と高度の研究成果の蓄積があり、非特許文献5,6に開示されている。
しかしながら、これまではスピングラスの研究において考案され、洗練されてきた計算技法を問題間に相関のある混合モデルによる項目応答理論に応用することで推定アルゴリズムを飛躍的に効率化することが行われていなかった。
本発明の目的は、上記した従来技術の課題を解決し、スピングラスの研究において考案され洗練されてきた計算技法を、問題間に相関のある混合モデルによる項目応答理論に応用することで、能力推定を実用時間内で実行可能な能力推定システムおよび方法ならびにプログラムおよび記録媒体を提供することにある。
上記した目的を達成するために、本発明は、確率変数に基づいて複数のパラメータを同時に推定する項目応答理論を適用した能力推定システムにおいて、複数の問題を複数の受験者に回答させて得られた各受験者の問題ごとの正当および誤答に関する確率変数を記憶する手段と、前記確率変数を所定の学習理論に適用して各問題間の相関を推定する問題間相関推定手段と、前記確率変数および問題間相関に基づいて、各問題の難易度および各受験者の能力を最尤推定により求める推定手段とを含み、前記問題間相関が、一の問題を正答できたか否かが他の一の問題を正答できたか否かに影響を与えるか否かの関係であることを特徴とする。
本発明によれば、多数の受験者に対して多数の問題を出題し、その採点による正答および誤答の2値データを確率変数として用い、この確率変数に基づいて問題の難易度と受験者の能力を同時推定する項目応答理論において、新たに問題間の難易度に関する相関を考慮した新しい項目応答理論を定式化する際に、この定式化の過程で現れた確率変数間に相関のある混合確率モデルに対して、統計力学の分野で用いられている平均場理論と呼ばれる近似解析手法を導入して計算量を減じたので、問題の難易度、受験者の能力および問題間の難易度相関を同時に実用時間内で推定できるようになる。
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図1は、本発明に係る能力推定システムの機能ブロック図であり、受験者集団の回答結果の確率変数Xとして、受験者iごとの各問題jの正当および誤答の結果が2値データxijとして記憶された回答データベース(DB)1と、この確率変数Xを入力として、一の問題を正答できたか否かが他の一の問題を正答できたか否かに影響を与える各問題間の難易度に関する相関Jを算出する問題間相関計算部2と、前記確率変数Xおよび問題間相関Jを入力として、各問題の難易度推定値(以下、単に難易度βと表現する場合もある。値が大きいほど能力が高いことを意味し、通常−3.0〜+3.0程度の値を採る)および各受験者の能力推定値(以下、単に能力θと表現する場合もある。値が大きいほど能力が高いことを意味し、通常0.0〜+0.25程度の値を採る)を収束計算により同時に求める推定部3とを備えている。
前記問題間相関計算部2は、後に詳述するように、確率変数Xを学習理論におけるヘブ則に適用して定式化された問題間相関推定式[(22)式]に基づいて各問題間の相関Jを推定する。
前記推定部3は、確率変数Xに対する各問題の難易度β、各受験者の能力θおよび各問題間相関Jの結合確率分布を定式化した関数[(21式)]に平均場理論を適用することにより、難易度β、能力θ、相関Jおよび各問題の正答率ζをパラメータとして、難易度βを推定する問題難易度推定式[(44式)]および能力θを推定する受験者能力推定式[(45)式]を、それぞれ記憶する問題難易度推定式記憶部31および受験者能力推定式記憶部32とを含む。
前記推定部3はさらに、前記正答率ζを、難易度β、能力θ、正答率の予測値ζ'および相関Jの推定結果に基づいて推定する正答率推定式[(34)式]を記憶する正答率推定式記憶部33と、前記正答率推定式[(34)式]に難易度βおよび能力θの推定値、ならびに前記相関Jの推定結果を適用して、前記難易度βおよび能力θの今回の推定値に対する正答率ζを収束計算で求める第1収束計算手段としての正答率計算部34とを含む。
前記推定部3はさらに、前記問題難易度推定式[(44式)]および受験者能力推定式[(45)式]に難易度βおよび能力θの推定値、ならびに前記正答率ζijの収束計算結果を適用して、難易度βおよび能力θの更新値を計算する更新値計算部35と、前記難易度βおよび能力θの推定値と前記更新値との偏差が所定の収束条件を満足するまで、前記難易度βおよび能力θの推定値を更新しながら前記正答率計算部34(第1収束計算部)に収束計算を繰り返し実行させる第2収束計算部としての問題難易度/受験者能力計算部36とを含み、この収束条件が満足されたときの難易度βおよび能力θの各更新値が、それぞれ難易度βおよび能力θとして出力される。
このように、本実施形態では問題間相関Jを収束計算外で求め、この算出結果を推定部3に入力する。そして、推定部3では前記相関Jの計算結果を利用して、各受験者の能力θおよび各問題の難易度βのみを収束計算で求めることにより、能力θ、難易度βおよび相関Jの全てを収束計算で求める場合に較べて、計算量の大幅な削減が可能になる。
以下では、初めに本発明による能力θ、難易度βおよび問題間相関Jの計算方法ならびに計算量を削減するための結合確率分布の最尤関数への定式化について説明し、次いで、これらの最尤関数を計算機へ適用し易い収束計算式に変換して解くアルゴリズムについて説明する。
1人の受験者が1つの問題に回答するという事象の確率変数Xにおいて、正答であればX=1、誤答であればX=0とした確率分布P(X|θ)を次式(1)で表せば、θの値が大きいほど、その受験者の正答確率が高くなることになる。すなわち、θは受験者の能力を代表する能力推定値と考えられる。一方、確率分布P(X|β)を次式(2)とすれば、今度はβの値が大きいほど受験者の正答確率が低くなることになる。すなわち、βは問題の難易度を代表する難易度推定値と考えられる。
それぞれの確率分布に対して確率変数Xの期待値を計算すると次式(3),(4)となり、そのグラフは図2,3の通りになる。図2はE[X|θ]のθ依存性を示し、受験者の能力θが高くなるほど正答率(E[X|θ])も高くなる。図3はE[X|β]のβ依存性を示し、問題の難易度βが高くなるほど正答率(E[X|β])は低くなる。
例えば、能力θがいずれも「0」であるN人の受験者に試験を行い、結果として(X1,X2,…XN)というデータが得られ、この結果から問題の難易度βを推定することを考える。P(Xj|β)は難易度βの問題を受験者jが正答するか否かの確率であり、N人の受験者が互いに相談せずに独立に回答して上記結果を得る確率は次式(5)で表される。
最尤推定では、この結合確率分布P(X1,X2,…Xn|β)を、受験者が正答できたか否かのデータが与えられたときの難易度βに対する尤もらしさを表す関数、すなわち尤度と見なして、結合確率分布P(X1,X2,…Xn|β)を、Xが与えられたという条件のもとでβについて最大化することでβの推定値が求められる。ここで、結合確率P(X1,X2,…Xn|β)のβについての極値条件は次式(6)で求められる。
一方、任意の受験者Xlに対しての平均は次式(7)により与えられるので、上式(6)の極値条件は次式(8)に書き換えられる。これは、データ(X1,X2,…XN)の標本平均がXlのP(X1,X2,…XM|β)についての期待値に等しくなるようにβを決めることに他ならない。
同様のことは、同じ難易度を持つM個の問題をある受験者に出題し、その能力θを推定することを考えた場合にも成り立つ。簡単のために難易度β=0と設定し、結果として(X1,X2,…XM)というデータが得られたとする。このデータから受験者の能力θを推定する際、各問題の間には因果関係がなく、ある特定の問題を正答することが他の問題の正答か否かには影響を与えないという状況で考えると、結果が(X1,X2,…XM)である確率は次式(9)で与えられる。
そして、これを(X1,X2,…XM)がデータとして与えられたときの受験者能力θについての尤度として最大化することを考え、上記と同様にして極値の条件を書き下すと次式(10)が得られる。これは、データ(X1,X2,…XM)の標本平均がXkのP(X1,X2,…XM|θ)についての期待値に等しくなるようにθを決めることに他ならない。
以上は、出題する問題の難易度βまたは受験者の能力θのいずれか一方がわかっているときに他方を推定するという問題を最尤推定の立場で説明したものだが、実際の応用においては、その両者を同時に推定することを求められる場面も少なくない。以下では、与えられた確率変数Xから互いに異なる各受験者の能力θと各問題の難易度βとを同時に推定する項目応答理論について説明する。
M個の問題をN人の受験者が回答し、各問題の番号をi、各受験者の番号をjというラベルにより表し、第i問を受験者jが正解する事象をXij=1、誤答する事象をXij=0としたとき、確率変数Xijに対する確率分布が次式(11)により与えられるという仮定の元でパラメータCijを推定するのが項目応答理論における一般的定式化である。
しかしながら、これではパラメータの個数がM×N個となり、データの個数とパラメータの個数とが同じになってしまうので推定が難しい。そこで、より扱いやすい形の確率分布として次式(12)を導入する。
この場合、パラメータの個数は(M+N)個となり、データの個数に比べて少ないためパラメータの統計的推定が可能となる。ここで、βiが大きいほど第i問を正解する確率が低くなるので、βiは第i問の難易度に対応するパラメータである。一方、θjが大きいほど受験者jが正解する確率が高くなるので、θjは受験者jの能力に対応するパラメータである。
ここで、各問題の難易度の特徴ベクトルβ=(β1,β2,…βM)および各受験者の能力の特徴ベクトルθ=(θ1,θ2,…θN)が与えられたとき、次式(13)の確率分布に対する結合確率分布は次式(14)で与えられる。
最尤推定において、M×N個のデータXから(β,θ)は次式(15)で推定される。
推定値(β,θ)は、In(P(X|β,θ))のβとθについての、次式(16),(17)の極値条件を満たす解として与えられる。
上記した定式化は、各問題の各受験者毎の正答状況が問題および受験者ごとに互いに独立であるという仮定が前提であったが、実際の標本調査のデータはそのような理想的な仮定が成り立つ場合ばかりではなく、問題間に難易度に関する相関がある場合が多い。問題間の難易度に関する相関とは、一の問題が解けたならば、それが解けたという知識により他の一の問題も解けたり、あるいは一の問題の回答の一部の結果が他の一の問題の回答に必要であることである。
各問題の難易度の特徴ベクトルβ=(β1,β2,…βM)および各受験者の能力の特徴ベクトルθ=(θ1,θ2,…θN)以外に、次式(18)の確率分布Jが問題間相関として与えられたとき、次式(19)の確率分布Xに対する結合確率分布は次式(20),(21)で与えられる。すなわち、次式(21)は確率変数Xに対する各問題の難易度β、各受験者の能力θおよび各問題間相関Jの結合確率分布を定式化した関数である。
ここで、受験者数がN人であり、受験者jのi番目およびk番目の各問題に関する確率変数をそれそれXij,Xkjとしたとき、i番目の問題とk番目の問題との相関Jikは、学習理論におけるヘブ則により次式(22)で定式化できる。あるいは、前記確率変数Xij,Xkjをベクトルで表現し、前記相関JikをベクトルXijとベクトルXkjとの内積として求めることもできる。
最尤推定において、N人の受験者がM個の問題に解答した結果(N×M個の2値データ)を確率変数Xとし、i番目の問題とk番目の問題との相関が上記Jikとして求められたとき、各受験者の能力θおよび各問題の難易度βの集合(β,θ)は、最尤推定を適用すれば次式(23)で推定できる。
上式(23)のP(X=x|β,J,θ)のβ,θの極値条件は次式(24),(25)で求まる。
これらの極値条件をアルゴリズムとして構成するためには、次式(26)を計算する必要がある。
上式(26)の右辺は確率変数XklのP(Xl=x|β,J,θl)についての期待値であり、これを以下では記号E[Xl|β,J,θl]を用いて次式(27)で表す。
ここで、前記式(21)を上式(27)に代入すると次式(28)が得られる。
期待値E[Xl|β,J,θl]は、ある一部の特殊な場合を除いて、このままでは通常O(2M)のオーダの計算量を必要としてしまい計算が困難である。そこで、本発明では統計力学における平均場理論を用いて計算する。まず、式(28)の分母は次式(29)のように書き換えられる。
上式(29)はさらに、次式(30)の多次元ガウス積分の公式を用いて次式(31)のように書き換えられる。この書き換えは統計力学ではハバード・ストラトノビッチ変換と呼ばれる。
さらに、Mが十分に大きいときには鞍点法により、上式(31) は次式(32)に近似できる。ここで、次式(33)のζj は問題正答率であり、次式(34)により決定される値が代入される。これが、式(28)の分母を平均場理論により近似的に計算する手順である。
同様に、式(28)の分子についても次式(35)に書き換えられ、さらに、多次元ガウス積分の前記公式(30)によるハバード・ストラトノビッチ変換から次式(36)と書き換えられる。さらに、Mが十分に大きいときの鞍点法を用いることで、次式(37)が得られる。ここでも、正答率ζj は上式(34)を満たす値が用いられる。
式(32),(37)を式(28)に代入することにより、次式(38)が得られる。
上式(38)により、尤度関数P(X=x|β,J,θ)のβとθについての極値条件(24),(25)は、Mが大きいときには次式(39),(40)で与えられる。すなわち、次式(39),(40)の各極値条件は、確率変数Xに対する各問題の難易度、各受験者の能力および各問題間相関の結合確率分布を定式化した関数[(21)式]に平均場理論を適用して得られ、問題難易度、受験者能力、問題間相関および各問題の正答率をパラメータとした問題難易度の極値条件[(39)式]および受験者能力の極値条件[(40)式]である。
次いで、前記確率変数Xに基づいて各問題の難易度β、各受験者の能力θおよび問題間相関Jの推定値を求めるアルゴリズムについて説明する。図4は、問題難易度β、受験者能力θおよび問題間相関Jをコンピュータに計算させる手順を示したフローチャートである。
本実施形態では、確率変数Xに対する難易度β、能力θおよび各問題間相関Jの結合確率分布を定式化した関数[前記(21)式]に平均場理論を適用して得られた難易度βの極値条件[前記(39)式]および能力θの極値条件[前記(40)式]の積分であって、難易度β、能力θ、問題間相関Jおよび各問題の正答率ζをパラメータとして難易度βおよび能力θをそれぞれ推定する問題難易度推定式[(44)式]および受験者能力推定式[(45)式]が、それぞれ前記推定部3の問題難易度推定式記憶部31および受験者能力推定式記憶部32に予め記憶されている。
さらに、本実施形態では前記問題正答率ζijを難易度β、能力θ、問題正答率ζおよび問題間相関Jの推定結果に基づいて推定する前記正答率推定式[(34)式]が、前記推定部3の正答率推定式記憶部33に予め記憶されている。
このような構成において、ステップS1では、予め回答DB1に蓄積されている確率変数Xが読み込まれる。本実施形態では、N人の受験者iごとにM個の各問題jの正当および誤答の結果がN×M個の2値データxijとして予め記憶されている。
ステップS2では、前記問題間相関計算部2において、前記問題間相関推定式[(22)式]に前記確率変数Xを適用することで、受験者jのi番目の問題とk番目の問題との難易度に関する相関Jikが計算される。ステップS3では、前記推定部3の正答率計算部34において、前記確率変数Xおよび問題間相関Jikの計算結果を前記正答率推定式[(34)式]に適用することで正答率ζijが収束計算により求められる。
図5は、前記ステップS3における正答率ζijの計算手順を示したフローチャートである。
ステップS31では、繰り返し計数値tがリセット(t=0)される。ステップS32では、難易度βの特徴ベクトルb(1)および能力θの特徴ベクトルc(1)が初期化される。本実施形態では、能力θが中レベルの「0」に設定され、難易度も受験者の現在の能力(=0)に見合った難易度として「0」に設定される。
ステップS33では、前記繰り返し計数値tが更新(t=t+1)される。ステップS34〜37では、今回の特徴ベクトルb(1),c(1)の推定値に関して問題i、受験者jの組み合わせごとに、ステップS35,S36において正答率ζijが収束計算で求められる。
すなわち、前記ステップS35では、続くステップS36において次式(41)のζijとζi'j(推定値)との偏差Δζijが収束条件ζrefを満足していると判定されるまで、特徴ベクトルb(1),c(1)を今回の推定値に固定させたまま正解率ζi'j(推定値)を更新しながら次式(41)が収束計算される。そして、前記ステップS36において、前記収束条件が満足されたと判定されたときの正解率ζijが、今回の特徴ベクトルb(1),c(1)に対応した正答率ζとして求められる。
図4へ戻り、ステップS4では、前記ステップS3で求められた正答率ζijおよび確率変数Xに基づいて難易度βおよび能力θが算出される。
図6は、前記ステップS4におけるβ,θの計算手順を示したフローチャートであり、ステップS41では前記ステップS3で求められた今回の正答率ζijが読み込まれる。ステップS42では、前記更新値計算部35において、今回の正答率ζijおよび確率変数Xに基づいて、次式(42)で表される問題難易度の特徴ベクトルb(t+1)が次式(44)の更新式で計算される。同様に、ステップS43でも、前記更新値計算部35において、今回の正答率ζijおよび確率変数Xに基づいて、次式(43)で表される受験者能力の特徴ベクトルc(t+1)が次式(45)の更新式で計算される。
ステップS44では、前記問題難易度/受験者能力推定部36において、次式(46)の収束条件が満足されているか否かが判定される。次式(46)は、今回の問題難易度の特徴ベクトルb(1)および受験者能力の特徴ベクトルc(1)が極値条件を満足しているか否かを判定する条件式であり、次式(46)が満足されていなければ前記ステップS3へ戻り、問題難易度の特徴ベクトルb(1)および受験者能力の特徴ベクトルc(1)を更新して上記した各処理が繰り返される。
その後、前記ステップS44において収束条件が満足されたと判定されるとステップS45へ進み、今回の問題難易度特徴ベクトルb(t+1)の各要素b1(t+1),b2(t+1)…bM(t+1)が、それぞれ各問題の難易度推定値β1,β2…βMとされる。同様に、今回の受験者能力特徴ベクトルc(t+1)の各要素c1(t+1),c2(t+1)…cM(t+1)が、それぞれ各受験者の能力推定値θ1,θ2…θMとされる。
上記した能力推定は、上記した各手順をコンピュータで実行可能な形式にプログラミングしてCD-ROM等の記録メディアに記録し、これをコンピュータで読み取って実行させることで実施できる。
図7は、上記した能力推定を実行するコンピュータシステムのブロック図であり、CD-ROM等の記録メディア100に記録された能力推定プログラムを読み取るドライブ装置101と、前記確率変数Xが入力されるインターフェース(IF)102と、オペレーティングシステムと共に、前記読み取られた能力推定プログラムおよび入力された確率変数Xが一時記憶されるHDD103と、前記問題数Mや受験者数N等のパラメータが入力されるキーボードやマウス等の入力装置104と、各種のデータやプログラムが不揮発に記憶されたROM105と、前記能力推定プログラムを実行するCPU106と、前記CPU106にワークエリアを提供するRAM107と、能力推定結果を出力する出力装置108とを主要な構成としている。
したがって、図1に関して説明した回答DB1は前記HDD103の一機能であり、問題間相関計算部2および推定部3は、能力推定プログラムに従って動作するCPU105、ROM105およびRAM107等の一機能に相当する。
なお、上記した実施形態では、本発明を試験結果に基づいて問題難易度、受験者能力および問題間相関を推定するシステムへの適用を例にして説明したが、本発明はこれのみに限定されるものではなく、例えば、上記した各受験者の各問題に関する正答、誤答の2値データの代わりに、各顧客が各商品を購入したか否かの商品購入履歴を確率変数として用い、前記問題難易度、受験者能力および問題間相関の代わりに、それぞれ商品の魅力、顧客の購買力および購入商品相関を推定するシステムにも同様に適用できる。
本発明に係る能力推定システムの機能ブロック図である。 正答率E[X|θ]と受験者能力θとの関係を示した図である。 正答率E[X|β]と問題難易度βとの関係を示した図である。 確率変数に基づいて問題難易度、受験者能力および問題間相関を計算する手順を示したフローチャートである。 正答率ζijを求める手順を示したフローチャートである。 問題難易度βおよび受験者能力θを推定する手順を示したフローチャートである。 能力推定を実行するコンピュータシステムのブロック図である。
符号の説明
1…回答データベース(DB),2…問題間難易度相関計算部,3…収束計算部

Claims (7)

  1. 確率変数に基づいて複数のパラメータを同時に推定する項目応答理論を適用した能力推定システムにおいて、
    複数の問題を複数の受験者に回答させて得られた各受験者の問題ごとの正当および誤答に関する確率変数を記憶する手段と、
    前記確率変数を所定の学習理論に適用して各問題間の相関を推定する問題間相関推定手段と、
    前記確率変数および問題間相関に基づいて、各問題の難易度および各受験者の能力を最尤推定により求める推定手段とを含み、
    前記問題間相関が、一の問題を正答できたか否かが他の一の問題を正答できたか否かに影響を与えるか否かの関係であって、
    前記推定手段は、
    前記確率変数に対する各問題の難易度、各受験者の能力および各問題間相関の結合確率分布を定式化した関数に平均場理論を適用して得られた近似式であって、問題難易度、受験者能力、問題間相関および各問題の正答率をパラメータとして、問題難易度および受験者能力をそれぞれ最尤推定により求める問題難易度推定式および受験者能力推定式を記憶する手段と、
    前記問題正答率を、問題難易度、受験者能力、問題正答率および問題間相関に基づいて推定する正答率推定式を記憶する手段と、
    前記正答率推定式に、問題難易度および受験者能力の暫定値、ならびに前記問題間相関の推定結果を適用して、前記問題難易度および受験者能力の今回の暫定値に対する問題正答率を収束計算で求める第1収束計算手段と、
    前記問題難易度および受験者能力の各推定式に問題難易度および受験者能力の暫定値、ならびに前記問題正答率の収束計算結果を適用して、問題難易度および受験者能力の更新値を計算する更新値計算手段と、
    前記問題難易度および受験者能力の暫定値と前記更新値との偏差が所定の収束条件を満足するまで、前記問題難易度および受験者能力の暫定値を更新しながら前記第1収束計算部に収束計算を繰り返し実行させる第2収束計算部とを含み、
    前記収束条件が満足されたときの問題難易度および受験者能力の各更新値を問題難易度および受験者能力として出力し、
    前記問題間相関推定手段は、受験者数をN人、受験者jのi番目およびk番目の各問題に関する確率変数をそれそれXij,Xkjとしたとき、i番目の問題とk番目の問題との問題間相関Jikを次式に基づいて計算することを特徴とする能力推定システム。

  2. 受験者数をN、問題数をM、問題難易度をβ、受験者能力をθ、受験者jのi番目およびk番目の各問題に関する確率変数をそれそれXij,Xkj、i番目の問題とk番目の問題との問題間相関Jik、受験者jのi番目の問題の正答率をζijとしたとき、前記問題難易度の推定式が次式で与えられたことを特徴とする請求項に記載の能力推定システム。

  3. 受験者数をN、問題数をM、問題難易度をβ、受験者能力をθ、受験者jのi番目およびk番目の各問題に関する確率変数をそれそれXij,Xkj、i番目の問題とk番目の問題との問題間相関Jik、受験者jのi番目の問題の正答率をζijとしたとき、前記受験者能力の推定式が次式で与えられたことを特徴とする請求項に記載の能力推定システム。

  4. 受験者数をN、問題数をM、問題難易度をβ、受験者能力をθ、受験者jのi番目およびk番目の各問題に関する確率変数をそれそれXij,Xkj、i番目の問題とk番目の問題との問題間相関Jikとしたとき、受験者jのi番目の問題の正答率ζijが次式で与えられたことを特徴とする請求項に記載の能力推定システム。

  5. 確率変数に基づいて複数のパラメータを同時に推定する項目応答理論を適用した能力推定システムの能力推定方法において、
    能力推定システムが、複数の問題を複数の受験者に回答させて得られた各受験者の問題ごとの正当および誤答に関する確率変数を所定の学習理論に適用して各問題間の相関を推定する手順と、
    能力推定システムが、前記確率変数および問題間相関に基づいて、各問題の難易度および各受験者の能力を最尤推定により推定する手順とを含み、
    前記各問題間の相関が、一の問題を正答できたか否かが他の一の問題を正答できたか否かに影響を与えるか否かの関係であって、
    前記各問題の難易度および各受験者の能力を最尤推定により推定する手順では、
    前記確率変数に対する各問題の難易度、各受験者の能力および各問題間相関の結合確率分布を定式化した関数に平均場理論を適用して得られ、問題難易度、受験者能力、問題間相関および各問題の正答率をパラメータとして、問題難易度および受験者能力をそれぞれ最尤推定により求める問題難易度推定式および受験者能力推定式、および前記問題正答率を、問題難易度、受験者能力、問題正答率および問題間相関の推定結果に基づいて推定する正答率推定式を予め記憶しておき、
    前記正答率推定式に、問題難易度および受験者能力の暫定値、ならびに前記問題間相関の推定結果を適用して、前記問題難易度および受験者能力の今回の暫定値に対する問題正答率を収束計算で求める第1の手順と、
    前記問題難易度および受験者能力の各推定式に問題難易度および受験者能力、ならびに前記問題正答率の収束計算結果を適用して、問題難易度および受験者能力の更新値を計算する第2の手順と
    前記問題難易度および受験者能力と前記更新値との偏差が所定の収束条件を満足するまで、前記問題難易度および受験者能力の暫定値を更新しながら前記第1および第2の手順を繰り返し実行させる第3の手順とを含み、
    前記収束条件が満足されたときの問題難易度および受験者能力の各更新値を問題難易度および受験者能力として出力し、
    前記各問題間の相関を推定する手順では、受験者数をN人、受験者jのi番目およびk番目の各問題に関する確率変数をそれそれXij,Xkjとしたとき、i番目の問題とk番目の問題との問題間相関Jikを次式に基づいて計算することを特徴とする能力推定システムによる能力推定方法。

  6. コンピュータを、請求項1ないし4のいずれかに記載の能力推定システムとして機能させるための能力推定プログラム。
  7. コンピュータを、請求項1ないし4のいずれかに記載の能力推定システムとして機能させるための能力推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007079860A 2007-03-26 2007-03-26 能力推定システムおよび方法ならびにプログラムおよび記録媒体 Expired - Fee Related JP5029090B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007079860A JP5029090B2 (ja) 2007-03-26 2007-03-26 能力推定システムおよび方法ならびにプログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007079860A JP5029090B2 (ja) 2007-03-26 2007-03-26 能力推定システムおよび方法ならびにプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2008242637A JP2008242637A (ja) 2008-10-09
JP5029090B2 true JP5029090B2 (ja) 2012-09-19

Family

ID=39913939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007079860A Expired - Fee Related JP5029090B2 (ja) 2007-03-26 2007-03-26 能力推定システムおよび方法ならびにプログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP5029090B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5446230B2 (ja) * 2008-12-05 2014-03-19 カシオ計算機株式会社 演奏評価システムおよび演奏評価プログラム
JP6190802B2 (ja) * 2014-12-26 2017-08-30 公益財団法人 日本英語検定協会 項目応答理論に基づいて多数の受験者の能力値を推定するコンピューティング
KR102134915B1 (ko) * 2018-04-27 2020-07-15 (주)웅진씽크빅 학습자를 위한 학습 문항 분석 정보 제공방법
JP7067428B2 (ja) * 2018-11-05 2022-05-16 日本電信電話株式会社 学習支援装置、学習支援方法およびプログラム
JP6828869B1 (ja) * 2020-07-21 2021-02-10 合同会社メディシンク 能力スコア変換方法、能力スコア変換プログラム、および能力スコア変換装置
CN113850512A (zh) * 2021-09-27 2021-12-28 平安科技(深圳)有限公司 基于自适应测评的用户能力定级方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578972A (zh) * 2002-09-25 2005-02-09 日本贝乐思公司 测试系统及其控制方法
JP4908495B2 (ja) * 2005-04-05 2012-04-04 エーアイ リミテッド 意味論的知識の評価と指導と習得とに関するシステムおよび方法

Also Published As

Publication number Publication date
JP2008242637A (ja) 2008-10-09

Similar Documents

Publication Publication Date Title
Levine et al. Offline reinforcement learning: Tutorial, review, and perspectives on open problems
Koppel et al. Decentralized online learning with kernels
Masegosa et al. An interactive approach for Bayesian network learning using domain/expert knowledge
US20190251461A1 (en) Computer implemented determination method and system
JP5029090B2 (ja) 能力推定システムおよび方法ならびにプログラムおよび記録媒体
Radev et al. Towards end‐to‐end likelihood‐free inference with convolutional neural networks
Mirchev et al. Improved modeling by coupling imperfect models
Liu et al. Efficient preference-based reinforcement learning using learned dynamics models
US20230206054A1 (en) Expedited Assessment and Ranking of Model Quality in Machine Learning
Xia et al. Multi-Variate Knowledge Tracking Based on Graph Neural Network in ASSISTments
Oka et al. Scalable Bayesian approach for the DINA Q-matrix estimation combining stochastic optimization and variational inference
Kuenzer Estimation of functional ARMA models
CA3130687C (en) System and method for performing operations on multi-dimensional functions
CN112766513B (zh) 一种记忆协同的知识追踪方法及系统
Zhang et al. Transfer reinforcement learning under unobserved contextual information
Kurup et al. A review on student modeling approaches in ITS
Gazut et al. Towards the optimal design of numerical experiments
Xu et al. Model-Based Meta Automatic Curriculum Learning
Käser et al. Computational education using latent structured prediction
Lindner Algorithmic Foundations for Safe and Efficient Reinforcement Learning from Human Feedback
Sakai et al. Estimation of User's World Model Using Graph2vec
US20240177060A1 (en) Learning device, learning method and recording medium
Talisa et al. Estimating individual-level average treatment effects: Challenges, modeling approaches, and practical applications
US20240281657A1 (en) Framework for causal learning of neural networks
Bougie et al. Goal-driven active learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120523

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120611

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees