JPH08137383A - 教材の難易度評価方法 - Google Patents

教材の難易度評価方法

Info

Publication number
JPH08137383A
JPH08137383A JP27384694A JP27384694A JPH08137383A JP H08137383 A JPH08137383 A JP H08137383A JP 27384694 A JP27384694 A JP 27384694A JP 27384694 A JP27384694 A JP 27384694A JP H08137383 A JPH08137383 A JP H08137383A
Authority
JP
Japan
Prior art keywords
subject
teaching material
difficulty
questions
ability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP27384694A
Other languages
English (en)
Inventor
Tsuneo Kuwabara
恒夫 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP27384694A priority Critical patent/JPH08137383A/ja
Publication of JPH08137383A publication Critical patent/JPH08137383A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

(57)【要約】 【目的】 教材の難易度を客観的にかつ正確に評価し得
る方法を提供する。 【構成】 被験者iに教材j及び該教材jを理解するこ
とによって解決可能な課題を与え(S1)、被験者iが
前記課題jを解決するのに要した時間Ti を測定し(S
2)、前記教材jに含まれる知識を必要とせずに回答可
能な試験を被験者iに実施してその理解能力Ri を測定
し(S3)、前記測定した時間Ti 及び理解能力Ri よ
り教材jの難易度Sj を算出する(S4)。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、教材の難易度を客観的
に評価する方法に関するものである。
【0002】
【従来の技術】従来、教材の難易度の評価方法として
は、例えば教材を被験者に与え、解り易いかどうかをア
ンケートで答えてもらう方法があった。しかしながら、
この方法では被験者の主観に左右され、客観的に評価す
ることができないという問題があった。
【0003】また、教材を被験者に学習してもらった後
に試験を実施し、その結果で教材の善し悪しを判定する
方法があった。しかしながら、この方法では被験者の理
解能力によって結果が大きく左右され、これを克服する
には多数の被験者を無作為に抽出して評価を行い、その
被験者の試験の平均値等で教材の難易度を決定しなけれ
ばならないという問題があった。
【0004】また、善し悪しを判定しようとする教材の
全てに対して理解能力が同一の被験者もしくは平均とし
て理解能力が同一の被験者の集団を用意して評価を行う
ようになした例もあるが、教材の全てに対して理解能力
が同一の被験者を用意するには多数の人間の理解能力を
測定しなければならず、多大な労力を要するという問題
があった。
【0005】
【発明が解決しようとする課題】本発明の目的は、被験
者の主観や理解能力に左右されることなく、また、多数
の被験者を用意したり、多数の人間の理解能力を測定す
るための時間や労力を要することなく、教材の難易度を
客観的にかつ正確に評価し得る方法を提供することにあ
る。
【0006】
【課題を解決するための手段】本発明では前記目的を達
成するため、被験者に教材及び該教材を理解することに
よって解決可能な課題を与え、被験者が前記課題を解決
するのに要した時間を測定し、前記教材に含まれる知識
を必要とせずに回答可能な試験を被験者に実施してその
理解能力を測定し、前記測定した時間及び理解能力より
教材の難易度を算出する。
【0007】また、被験者が課題を解決するのに要した
時間とともに被験者が発する質問数を測定し、測定した
時間、質問数及び理解能力より教材の難易度を算出す
る。
【0008】
【作用】本発明によれば、課題を解決するのに要した時
間と被験者の理解能力という客観的指標を用いることに
より、被験者の主観や能力の影響を排除した教材の難易
度の客観的評価が達成できる。即ち、教材の難易度の指
標を、被験者が課題を解決するのに要した時間が長けれ
ば長いほど、また、その被験者の理解能力が大きければ
大きいほど、大きくなるように決定することによって前
述した客観的評価が達成される。
【0009】また、本発明によれば、課題を解決するの
に要した時間と被験者の理解能力とともに質問の数とい
う客観的指標を用いることにより、被験者の主観や能力
の影響を排除した教材の難易度の客観的評価が達成でき
る。即ち、教材の難易度の指標を、被験者が課題を解決
するのに要した時間が長ければ長いほど、また、その被
験者の理解能力が大きければ大きいほど、さらに質問の
数が多ければ多いほど、大きくなるように決定すること
によって前述した客観的評価が達成される。
【0010】
【実施例】ここではプログラミング言語の1つであるO
bjective−C用の教材を例にとって説明する。
【0011】発明者らはObjective−C用の教材及び該
教材を理解することによって解決可能な課題(以下、課
題という)を作成し、Objective−Cを知らない被験者
に提示し、課題達成までの時間を測定した。また、課題
達成の過程で生じた疑問点についての被験者の質問に答
える回答者を用意し、被験者の質問に答えるとともに質
問内容、質問数を記録した。
【0012】また、これと前後して被験者に複数の設問
からなる三段論法試験を実施し、全問題数に対する正解
数の割合を百分率で表わして被験者の点数とし、この点
数を被験者の理解能力を示す指数として採用した。
【0013】三段論法試験とは、3者間の関係を記述し
た2つの前提文から1つの結論を導く問題であり、例え
ば 全てのアメリカ人は民主的である、 頑固者の何人かは民主的でない、 という前提文から 頑固者の何人かはアメリカ人ではない、 という結論を導くものである。
【0014】そして同一の教材を用いて複数の被験者に
対して測定を行った後、被験者の質問を分析して教材の
解り難い点を解析し、それに基づいて教材を改訂し、さ
らに改訂した教材を用いて同様な測定を繰り返し実施し
た。教材の種類は全部で5種類(Ver1からVer5)ま
でとした。
【0015】本発明では、教材の通し番号をj、教材j
の難易度を表わす指標をSj 、被験者の通し番号をi、
被験者iの課題達成時間をTi 、被験者iが課題を達成
する過程で発した質問の数をQi 、K,K´,Mを未知
の比例定数として、以下の4つの実施例に示す方法でS
j 、Ti 、Qi の関係を定式化した。
【0016】<比較例> これは同一種類の教材を与えられた被験者の課題達成時
間の平均値でSj を表わすモデルである。なお、nj
は、教材jでの被験者数である。
【0017】<実施例1> Sj =(Ti )forj・Ri ……(2) これは被験者iの課題達成時間Ti と理解能力Ri とに
よって難易度を評価する本発明の第1の実施例である。
被験者が複数の場合、Sj の算出は最小自乗法によって
行う。
【0018】前記式(2) は式(3) のように変形される。 (Ti )forj=Sj /Ri ……(3) これは教材が難しい(Sj が大きい)ほど、また、被験
者iの理解能力Ri が小さいほど、課題達成時間Ti が
長くなることを示しており、定性的に妥当なモデルであ
る。
【0019】図1は第1の実施例の処理過程を示すもの
で、S1は被験者iに教材j及び該教材jを理解するこ
とによって解決可能な課題を与える第1の過程、S2は
被験者iが前記課題を解決するのに要した時間Ti を測
定する第2の過程、S3は教材jに含まれる知識を必要
とせずに回答可能な試験を被験者iに実施してその理解
能力Ri を測定する第3の過程、S4は前記測定した時
間Ti 及び理解能力Ri より教材jの難易度Sj を前記
式(2) により算出する第4の過程を示す。なお、過程S
3は過程S1の前であっても良い。
【0020】<実施例2> Sj =(Ti )forj・Ri −K・Qi ……(4) これは第1の実施例に被験者iの質問数Qi の影響を考
慮した本発明の第2の実施例である。本実施例ではSj
だけでなくKも未知数なため、Sj を求めるためには最
低でも(教材数+1)人の被験者のデータが必要とな
る。それ以上の被験者のデータがある場合は最小自乗法
によって未知数を求める。
【0021】前記式(4) は式(5) のように変形される。 (Ti )forj=(Sj +K・Qi )/Ri ……(5) 式(5) では式(3) においてSj にK・Qi が付加されて
おり、質問数Qi の多い被験者ほど課題達成時間Ti が
長くなる。これは質問数の多い被験者ほど教材内容を理
解するために必要な背景知識が少なく、その分、学習し
なければならない分量が増加するというモデルになって
いる。
【0022】図2は第2の実施例の処理過程を示すもの
で、S5は被験者iが前記課題を解決するのに要した時
間Ti とともに被験者iが発する質問数Qi を測定する
第2の過程、S6は前記測定した時間Ti 、質問数Qi
及び理解能力Ri より教材jの難易度Sj を前記式(4)
により算出する第4の過程を示す。なお、過程S1、S
3は第1の実施例の場合と同様である。
【0023】<実施例3> Sj =((Ti )forj−K・Qi )Ri ……(6) これも第1の実施例に被験者iの質問数Qi の影響を考
慮した本発明の第3の実施例である。未知数の求め方は
第2の実施例の場合と同様である。
【0024】前記式(6) は式(7) のように変形される。 (Ti )forj=Sj /Ri +K・Qi ……(7) これも質問数Qi の多い被験者ほど課題達成時間Ti が
長くなる。式(5) と式(7) との相違は、被験者にとって
未知な背景知識の学習に要する時間が理解能力Ri に依
存しないことである。これは未知な背景知識は回答者に
質問でき、被験者の単独での学習ではないため、その分
の学習時間は被験者の理解能力Ri の影響を受けないよ
うにしたモデルである。
【0025】図3は第3の実施例の処理過程を示すもの
で、S7は前記測定した時間Ti 、質問数Qi 及び理解
能力Ri より教材jの難易度Sj を前記式(6) により算
出する第4の過程を示す。なお、過程S1、S3、S5
は第2の実施例の場合と同様である。
【0026】<実施例4> Sj =M・L/3 ……(8) 但し、L=(T−K´・Qi )/〔{2(G2 /2−G3 /3)M +Qi ・G}/Ri 〕 ……(9) G=1−(Qi /M)1/2 ……(10) これは被験者の質問の発生機構を第2及び第3の実施例
とは全く異なる現象としてモデル化した本発明の第4の
実施例である。
【0027】即ち、一般に、教材には理解すべき課題が
多数含まれており、かつ各課題の難易度はまちまちであ
る。難易度の高い課題ほど学習に時間がかかる。本実施
例では、学習者は各人固有の忍耐時間ti 以内では各課
題の学習を独力で進めるが、それを越えた時点で質問を
発するものとする。
【0028】まず、難易度lの課題を理解能力Ri の被
験者iが理解するために要する時間t1iは t1i=l/Ri ……(11) で与えられるとする。
【0029】次に、教材中に含まれる課題の難易度の割
合は難しいものほど少なく、その個数hは教材中に含ま
れる課題の最大難易度をL、難易度0の課題数をHとし
て h=−(H/L)l+H ……(12) で与えられるとする。
【0030】また、同一内容を教授するための教材はバ
ージョンが変化しても課題総数Mは等しいとする。Mは
式(12)を0からLまでlで積分することにより M=(L・H)/2 ……(13) で与えられる。
【0031】さて、被験者が単独で理解可能な課題の学
習時間をT1iとし、被験者が単独で学習する課題の難易
度の上限をLi とすると、T1iは で与えられる。ここで、Li =Ri ・ti である。
【0032】また、質問数Qi は難易度Li を越える課
題総数に等しいから で与えられる。
【0033】次に、難易度Li を越える課題の学習時間
T2iは、質問発生までの単独での学習時間ti と回答者
の助けを借りて行う学習時間K2 との和であるから T2i=Qi (ti +K2 ) ……(16) で与えられる。
【0034】式(15)及びLi =Ri ・ti よりti をt
i <(L/Ri )の条件下で求め、これを式(14)、(16)
に代入することにより、本実施例での学習時間Ti が Ti =T1i+T2i =L{2(G2 /2−G3 /3)M+Qi ・G}/Ri +K´・Qi ……(17) で与えられる。なお、Gは式(10)で与えられている。
【0035】本実施例での教材の難易度Sj は各課題の
難易度の総和として で与えられる。前記式(18)を計算すると式(8) になる。
【0036】図4は第4の実施例の処理過程を示すもの
で、S8は前記測定した時間Ti 、質問数Qi 及び理解
能力Ri より教材jの難易度Sj を前記式(8) により算
出する第4の過程を示す。なお、過程S1、S3、S5
は第2の実施例の場合と同様である。
【0037】さて、発明者らは5種類の教材に対し合計
で12人の被験者について実験し、その結果を元に回帰
分析により比較例及び第1の実施例ではSj を、第2及
び第3の実施例ではSj 、Kを、第4の実施例ではSj
、K´、Mを求めた。
【0038】また、比較例、第1、第2、第3及び第4
の実施例のそれぞれについて求めたSj 、K、K´、M
及び測定値Ri 、Qi を元にTi を計算し、その結果を
Tiの測定値と比較して図5〜図9に示す。また、教材
の難易度を回帰分析により求めた際の相関係数rと赤池
の情報量基準AIC(参考文献:坂元、石黒、北川著
「情報量統計学」共立出版)を図10に示す。rは大き
いほど、また、AICは小さいほど良い回帰が行われて
いることを示す指標である。
【0039】これらの図から分かるように、本発明の第
1、第2、第3及び第4の実施例ではいずれも比較例に
比べて良い回帰が行われている。これは本発明の実施例
の方が比較例より教材難易度Sj を小さい誤差で求めら
れることを示している。
【0040】また、図11にVer1からVer5までの教
材の難易度Sj の算出結果(相対値)を、比較例と第3
の実施例とを対比させて示す。改訂に当っては被験者の
質問等を参考にして理解し易いように改訂しており、改
訂が進むに連れて理解し易くなる(Sj が小さくなる)
はずである。第3の実施例ではこの傾向が例外なく示さ
れているが、比較例ではVer1のSj よりVer2のSj
の方が、また、Ver3のSj よりVer4のSj の方が大
きく評価されている。この結果からも本発明の実施例の
方が比較例より教材の難易度を正確に評価できることが
分かる。
【0041】
【発明の効果】以上説明したように本発明によれば、課
題を解決するのに要した時間と被験者の理解能力もしく
はこれに加えて質問数という客観的指標を用いることに
より、被験者の主観や能力の影響を排除した教材の難易
度の客観的評価が達成できる。これによって同一内容を
教えるための教材が複数あった場合には、より理解し易
い教材を選定することが可能になる。また、教材をより
理解し易く改訂する際の指針として利用することもでき
る。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示す処理過程図
【図2】本発明の第2の実施例を示す処理過程図
【図3】本発明の第3の実施例を示す処理過程図
【図4】本発明の第4の実施例を示す処理過程図
【図5】比較例における課題達成時間の計算値と測定値
との関係を示す図
【図6】第1の実施例における課題達成時間の計算値と
測定値との関係を示す図
【図7】第2の実施例における課題達成時間の計算値と
測定値との関係を示す図
【図8】第3の実施例における課題達成時間の計算値と
測定値との関係を示す図
【図9】第4の実施例における課題達成時間の計算値と
測定値との関係を示す図
【図10】比較例、第1、第2、第3及び第4の実施例
のそれぞれにおいて教材の難易度を回帰分析により求め
た際の相関係数rと赤池の情報量基準AICを示す図
【図11】比較例及び第3の実施例におけるVer1から
Ver5までの教材の難易度Sj の算出結果を示す図
【符号の説明】
1…第1の過程、2,5…第2の過程、3…第3の過
程、4,6,7,8…第4の過程。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 被験者に教材及び該教材を理解すること
    によって解決可能な課題を与える第1の過程と、 被験者が前記課題を解決するのに要した時間を測定する
    第2の過程と、 前記教材に含まれる知識を必要とせずに回答可能な試験
    を被験者に実施してその理解能力を測定する第3の過程
    と、 前記測定した時間及び理解能力より教材の難易度を算出
    する第4の過程とからなることを特徴とする教材の難易
    度評価方法。
  2. 【請求項2】 被験者が課題を解決するのに要した時間
    をT、被験者の理解能力をR、教材の難易度を示す指標
    をSとした時、 S=T・R によりSを算出する第4の過程を備えたことを特徴とす
    る請求項1記載の教材の難易度評価方法。
  3. 【請求項3】 被験者に教材及び該教材を理解すること
    によって解決可能な課題を与える第1の過程と、 予め被験者の質問に対する回答者を用意し、被験者が前
    記課題を解決するのに要した時間とともに被験者が発す
    る質問数を測定する第2の過程と、 前記教材に含まれる知識を必要とせずに回答可能な試験
    を被験者に実施してその理解能力を測定する第3の過程
    と、 前記測定した時間、質問数及び理解能力より教材の難易
    度を算出する第4の過程とからなることを特徴とする教
    材の難易度評価方法。
  4. 【請求項4】 被験者が課題を解決するのに要した時間
    をT、被験者の理解能力をR、質問数をQ、教材の難易
    度を示す指標をS、比例定数をKとした時、 S=T・R−K・Q によりSを算出する第4の過程を備えたことを特徴とす
    る請求項3記載の教材の難易度評価方法。
  5. 【請求項5】 被験者が課題を解決するのに要した時間
    をT、被験者の理解能力をR、質問数をQ、教材の難易
    度を示す指標をS、比例定数をKとした時、 S=(T−K・Q)R によりSを算出する第4の過程を備えたことを特徴とす
    る請求項3記載の教材の難易度評価方法。
  6. 【請求項6】 被験者が課題を解決するのに要した時間
    をT、被験者の理解能力をR、質問数をQ、教材の難易
    度を示す指標をS、比例定数をK´,Mとした時、 S=M・L/3 但し、L=(T−K´・Q)/〔{2(G2 /2−G3
    /3)M+Q・G}/R〕 G=1−(Q/M)1/2 によりSを算出する第4の過程を備えたことを特徴とす
    る請求項3記載の教材の難易度評価方法。
JP27384694A 1994-11-08 1994-11-08 教材の難易度評価方法 Pending JPH08137383A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27384694A JPH08137383A (ja) 1994-11-08 1994-11-08 教材の難易度評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27384694A JPH08137383A (ja) 1994-11-08 1994-11-08 教材の難易度評価方法

Publications (1)

Publication Number Publication Date
JPH08137383A true JPH08137383A (ja) 1996-05-31

Family

ID=17533369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27384694A Pending JPH08137383A (ja) 1994-11-08 1994-11-08 教材の難易度評価方法

Country Status (1)

Country Link
JP (1) JPH08137383A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133615A (ja) * 2004-11-08 2006-05-25 Nagaoka Univ Of Technology e−Learningにおける学習者の学習所要時間に基づき、異質な学習プロセスを検出し、その状況を視覚的に提供するシステム
JP2007128162A (ja) * 2005-11-01 2007-05-24 Advanced Telecommunication Research Institute International 情報処理装置、およびプログラム
KR20210031076A (ko) * 2019-09-11 2021-03-19 (주)책읽는미술관 어린이용 학습 교재
KR20210055175A (ko) * 2019-11-07 2021-05-17 전북대학교산학협력단 회귀 분석을 이용한 한자 난이도 측정 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133615A (ja) * 2004-11-08 2006-05-25 Nagaoka Univ Of Technology e−Learningにおける学習者の学習所要時間に基づき、異質な学習プロセスを検出し、その状況を視覚的に提供するシステム
JP2007128162A (ja) * 2005-11-01 2007-05-24 Advanced Telecommunication Research Institute International 情報処理装置、およびプログラム
KR20210031076A (ko) * 2019-09-11 2021-03-19 (주)책읽는미술관 어린이용 학습 교재
KR20210122750A (ko) * 2019-09-11 2021-10-12 (주)책읽는미술관 창의력 향상을 위한 맞춤형 학습놀이와 학습 교재일지
KR20210055175A (ko) * 2019-11-07 2021-05-17 전북대학교산학협력단 회귀 분석을 이용한 한자 난이도 측정 장치 및 방법

Similar Documents

Publication Publication Date Title
Impara et al. Teachers' ability to estimate item difficulty: A test of the assumptions in the Angoff standard setting method
Sowder Estimation and number sense
Hoffer et al. Achievement growth in public and Catholic schools
Boekaerts et al. Using multiple calibration indices in order to capture the complex picture of what affects students' accuracy of feeling of confidence
Divgi Does the Rasch model really work for multiple choice items? Not if you look closely
Colton et al. Some misconceptions about R2
Crossley et al. ‘I’m pickin'up good regressions': the governance of generalisability analyses
CN110147428B (zh) 知识点掌握度的更新方法、装置、设备和存储介质
WO2005114615A2 (en) Adaptive scoring of responses to constructed response questions
CN109859553B (zh) 一种基于学生做题情况的能力评测方法
Morrison et al. The passing score in the objective structured clinical examination
Tashiro et al. Characterizing change in students' self-assessments of understanding when engaged in instructional activities
Kane On the use of IRT models with judgmental standard setting procedures
Cross Bar Examination in Black and White: The Black-White Bar Passage Gap and the Implications for Minority Admissions to the Legal Profession, The
JPH08137383A (ja) 教材の難易度評価方法
Tavakol et al. Psychometrics for physicians: everything a clinician needs to know about assessments in medical education
KR20230106532A (ko) 문항반응이론 및 동등화 기반의 수학학습능력수준 진단 시스템 및 방법
KR100603418B1 (ko) 학습프로그램 제공 시스템 및 이를 이용한 학습프로그램 제공방법
JP2006079113A (ja) テスト出題装置、とテスト出題方法およびプログラム
JPH08146867A (ja) 自己評価導入式評価方法及び自己評価導入式評価システム及びそれに使用するワークシート
Cresswell et al. Assessment of the National Curriculum—some fundamental considerations
Çisar et al. Computer adaptive testing for student's knowledge in C++ exam
CN111460128B (zh) 一种基于认知诊断的计算机化自适应测验方法
JPH05281899A (ja) 教育支援システム
Becker Meta-analysis and models of substance abuse prevention