WO2019073712A1 - スキル推定装置、学習支援装置、スキル推定方法およびプログラム - Google Patents

スキル推定装置、学習支援装置、スキル推定方法およびプログラム Download PDF

Info

Publication number
WO2019073712A1
WO2019073712A1 PCT/JP2018/032132 JP2018032132W WO2019073712A1 WO 2019073712 A1 WO2019073712 A1 WO 2019073712A1 JP 2018032132 W JP2018032132 W JP 2018032132W WO 2019073712 A1 WO2019073712 A1 WO 2019073712A1
Authority
WO
WIPO (PCT)
Prior art keywords
skill
skills
learner
correctness
solve
Prior art date
Application number
PCT/JP2018/032132
Other languages
English (en)
French (fr)
Inventor
浩嗣 玉野
丸山 晃一
Original Assignee
Necソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necソリューションイノベータ株式会社 filed Critical Necソリューションイノベータ株式会社
Priority to JP2019547940A priority Critical patent/JP6940184B2/ja
Publication of WO2019073712A1 publication Critical patent/WO2019073712A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Definitions

  • the present invention relates to a skill estimation device, a learning support device, a skill estimation method, and a program.
  • One of the learning support systems is a system that presents a problem to a learner.
  • a problem When presenting a problem, if the learner's ability can be grasped, a more appropriate problem can be presented. Therefore, techniques for grasping the learner's ability have been proposed.
  • the importance of the ability (Concept) in solving the problem, and the ability possessed by the learner are each shown by a matrix of real numbers.
  • the learner is required to minimize the difference between the estimated value calculated by the ability required to solve the problem and the ability possessed by the learner, and the actual value of the answer result by the solver. Make an estimate of the capabilities that the
  • Non-Patent Document 1 it is considered that the estimation result can not be easily interpreted even by human eyes.
  • An example of the object of the present invention is to provide a skill estimation device, a learning support device, a skill estimation method, and a program that can solve the above-mentioned problems.
  • a skill estimation apparatus comprising: a correctness / accurate data acquisition unit for acquiring correctness / incorrectness data indicating correctness / incorrectness of an answer for which a learner has solved a problem by binary data; And searching for a solution that maximizes the posterior probability based on the correctness data, using a model that represents the skills held by the learner with binary random variables indicating the presence or absence of the skills for each skill. And a skill estimation unit that estimates the skills required to solve the problem and the skills held by the learner.
  • a learning support apparatus including: a correctness / accurate data acquisition unit for acquiring correctness / incorrectness data indicating correctness / incorrectness of an answer for which a learner has solved a problem by binary data; And searching for a solution that maximizes the posterior probability based on the correctness data, using a model that represents the skills held by the learner with binary random variables indicating the presence or absence of the skills for each skill. Select a problem to be presented to the learner based on the skill estimation unit that estimates the skills required to solve the problem and the skills held by the learner, and the estimation result of the skill estimation unit And a selection unit.
  • a skill estimation method comprises acquiring correctness data indicating that the learner solved the problem with correctness / incorrectness using binary data, the skill necessary for solving the problem, and By using a model that represents the skills held by the learner with binary random variables indicating the presence or absence of the skills for each skill, a problem is sought by searching for a solution that maximizes the posterior probability based on the correctness data. And skills necessary for solving the problem, and estimating the skills held by the learner.
  • a program comprising: acquiring on a computer correct-error data indicating correctness of a solution in which the learner solved a problem as binary data, skills necessary for solving the problem, and By searching for a solution that maximizes the posterior probability based on the correctness data, using a model that expresses the skills held by the learner with binary random variables indicating the presence or absence of the skills for each skill. Perform the skills necessary to solve the problem and estimating the skills held by the learner.
  • the contents of the skill can be relatively easily interpreted by humans.
  • FIG. 1 is a schematic block diagram showing a functional configuration of a learning support system according to an embodiment of the present invention.
  • the learning support system 1 includes a learning support device 100 and a terminal device 200.
  • the learning support apparatus 100 and the terminal device 200 communicate via the communication network 900.
  • the learning support system 1 provides the user who is a learner with a problem according to the skill held by the user.
  • the skills referred to here are the skills necessary to solve the problem, and are not limited to any particular kind of skills.
  • the skill may include knowledge or know-how.
  • the skills held by the user are also referred to as the skills of the user.
  • the learning support apparatus 100 estimates the skill of the user and provides a problem according to the estimated skill.
  • the learning support apparatus 100 is configured using, for example, a computer such as a workstation.
  • the learning support device 100 corresponds to an example of a skill estimation device and an example of a problem providing device.
  • FIG. 2 is a schematic block diagram showing a functional configuration of the learning support device 100.
  • the learning support apparatus 100 includes a server communication unit 110, a server storage unit 180, and a server control unit 190.
  • the server-side control unit 190 includes a skill estimation unit 191, a question selection unit 192, and an answer processing unit 193.
  • the server side communication unit 110 communicates with other devices.
  • the server-side communication unit 110 communicates with the terminal device 200 to transmit a problem, receives an answer (a user's answer to the question) which the user solves the problem, and transmits a comment on the answer.
  • the server-side storage unit 180 stores various information such as a question and an answer, and a model for skill estimation.
  • the server-side storage unit 180 is configured using a storage device included in the learning support apparatus 100.
  • the server-side control unit 190 controls each unit of the learning support device 100 to perform various processes.
  • the server-side control unit 190 is configured such that a CPU (Central Processing Unit, central processing unit) included in the learning support apparatus 100 reads a program from the server-side storage unit 180 and executes the program.
  • a CPU Central Processing Unit, central processing unit
  • the skill estimation unit 191 estimates the skills held by the user and the skills necessary to solve each problem, based on whether the user's answer to the problem is correct or incorrect.
  • the problem selection unit 192 selects a problem to be provided to the user based on the skill estimated by the skill estimation unit 191.
  • the answer processing unit 193 processes the user's answer to the question. Specifically, the answer processing unit 193 determines whether the answer is correct or incorrect. Then, the answer processing unit 193 makes the server side correct / incorrect data in which binary data (data indicating correct answer or incorrect answer) indicating a determination result, a question number, a user number, and date / time information are associated. It is stored in the storage unit 180. The answer processing unit 193 corresponds to an example of the true / false data acquisition unit. Further, the answer processing unit 193 selects an explanation according to the correctness of the answer from among the explanations stored in the server-side storage unit 180, and transmits it to the terminal device 200 that has transmitted the answer via the server-side communication unit 110. Do.
  • the terminal device 200 functions as a terminal device of the learning support system 1.
  • the terminal device 200 displays a question transmitted from the learning support device 100 and receives a user operation to input an answer.
  • the terminal device 200 transmits the obtained answer to the learning support device 100, receives the comment from the learning support device 100, and displays the received comment.
  • the terminal device 200 repeats display of the question, acquisition and transmission of an answer, and reception and display of a comment.
  • the terminal device 200 is configured using, for example, a computer such as a personal computer (PC), a tablet terminal device, or a smartphone.
  • the number of terminals provided in the learning support system 1 may be more than one, and the larger the better. Since it is expected that the accuracy of skill estimation by the learning support apparatus 100 will be higher as the number of users is larger, it is preferable that the number of terminal devices 200 be larger.
  • FIG. 3 is a schematic block diagram showing a functional configuration of the terminal device 200.
  • the terminal device 200 includes a terminal communication unit 210, a display unit 220, an operation input unit 230, a terminal storage unit 280, and a terminal control unit 290.
  • the terminal communication unit 210 communicates with another device. In particular, by communicating with the learning support apparatus 100, the terminal-side communication unit 210 receives a question and an explanation, and transmits an answer.
  • the display unit 220 has a display screen such as a liquid crystal panel or a light emitting diode (LED) panel, and displays various images. In particular, the display unit 220 displays the problem and the comment that the learning support device 100 has transmitted.
  • LED light emitting diode
  • the operation input unit 230 includes input devices such as a keyboard and a mouse, for example, and receives user operations. In particular, the operation input unit 230 receives an input operation of an answer by the learner while the display unit 220 is displaying a problem.
  • the terminal-side storage unit 280 stores various types of information. For example, the terminal-side storage unit 280 stores an application program for operating as a terminal device of the learning support system 1. In addition, the terminal-side storage unit 280 temporarily stores the problem and the comment that the learning support device 100 has transmitted.
  • the terminal-side storage unit 280 is configured using a storage device provided in the terminal device 200.
  • the terminal side control unit 290 controls each unit of the terminal device 200 to execute various processes. For example, the terminal-side control unit 290 controls the terminal-side communication unit 210 to cause the terminal-side communication unit 210 to communicate with the server-side communication unit 110 of the learning support apparatus 100. In addition, the terminal-side control unit 290 controls the display unit 220 to display the problem and the comment on the display unit 220. The terminal-side control unit 290 also converts the user operation received by the operation input unit 230 into data such as an answer.
  • the communication network 900 mediates communication between the learning support device 100 and the terminal device 200. Communication network 900 is not limited to a particular communication network. For example, communication network 900 may be, but is not limited to, the Internet.
  • the skill estimation performed by the skill estimation unit 191 will be described.
  • the following environment is assumed as an environment in which the skill estimation unit 191 estimates skills.
  • a total of M problems are prepared, and N users solve the problems.
  • Each problem requires one or more of the K skills to solve the problem.
  • the skills referred to here are the ability to solve the problem and are not limited to any particular kind.
  • Skills may include the knowledge needed to solve a problem, or may include abstract capabilities that are not embodied.
  • the user mentioned here is a person who solves the problem provided by the learning support device 100.
  • the server-side storage unit 180 records, for each user, the order in which the user solved the problem and the answer.
  • the skill estimation unit 191 estimates, based on this information, skills necessary to solve each problem and skills (acquired skills) held by each user.
  • the skill estimation unit 191 does not analyze the content of each skill, and estimates the correspondence between the skills necessary to solve the problem and the skills held by the user.
  • the problem selecting unit 192 can next show the user which skill is required to solve the problem by the user. It can be used as a clue to select a problem to be presented (a problem to be solved next by the user).
  • FIG. 4 is an explanatory view showing an outline of estimation performed by the skill estimation unit 191.
  • the skill R necessary to solve the problem, the skills Z 1 to Z N held by each of the plurality of users, and the result (correctly incorrect) X 1 to X N of each user solving the problem Is shown in the form of a binary (binary) matrix or vector.
  • R T problem skill matrix
  • the result that each user solved the problem is observable.
  • the skill estimation unit 191 since the skill estimation unit 191 does not analyze the contents of individual skills, it is not possible to directly observe the skills required to solve the problem. Therefore, the skill estimation unit 191 estimates the skills required to solve the problem and the skills held by each user from the result of solving the problem by each user.
  • the learning support apparatus 100 estimates which skills are required to solve the problem and which skills each user holds, but does not analyze what the contents of each skill are.
  • FIG. 5 shows a graphical model used by the skill estimation unit 191 for skill estimation. Circles in FIG. 5 indicate random variables. Arrows indicate data dependencies. When determining the value of the variable at the end of the arrow, use the value of the variable before the arrow.
  • user skills Zu, k (t) and true / false X u (t) for one user u are shown.
  • the model also includes user skills and errors per user for other users as well.
  • v, ⁇ 1 to ⁇ k and w 1 to wk are common to each user.
  • the problem skill R is prepared commonly for each user.
  • the problem number of the problem solved by the user u in step t is indicated by m u (t) . Using the issue number m u (t), it shows the problem skill problems user u solved in step t with R mu (t).
  • M Total number of problems.
  • problem numbers 1 to M are attached to the problems to identify each problem.
  • the problem number is indicated by m.
  • m is an integer of 1 ⁇ m ⁇ M.
  • the problem of the problem number m is denoted as a problem m.
  • N Total number of users
  • the user is given a user number of 1 to N to identify each user.
  • the user number is indicated by u.
  • u is an integer of 1 ⁇ u ⁇ N.
  • the user with user number u is denoted as user u.
  • K Total number of skills
  • the skill numbers of 1 to K are added to the skills to identify each skill.
  • the skill number is indicated by k.
  • k is an integer of 1 ⁇ k ⁇ K.
  • the skill of skill number k is denoted as skill k.
  • m u (t) A variable indicating the problem number of the problem solved by the user u in step t
  • m u (t) is an integer of 1 ⁇ m u (t) ⁇ M.
  • the step here is the timing at which the user solved the problem. Assume that each user solves one problem in one step. Step t is timing when the user solves the t-th problem. The problem solved by the user u at step t is a problem solved by the user u at the t-th time. The timing at which the user solves the problem may be any timing. In particular, multiple users do not have to solve the problem at the same time.
  • the problem selecting unit 192 provides a problem according to the user's skill, the order of solving the problem is usually different for each user.
  • R m A random variable indicating a skill required to solve the problem m.
  • R m is indicated by a K-dimensional row vector (horizontal vector). Each element of R m takes a value of either 0 or 1. However, the case where all elements are 0 is excluded. If the value of the kth element is 0, it indicates that the skill k is unnecessary. If the value of the kth element is 1, it indicates that the skill k is required.
  • R m, k A variable indicating whether or not the skill k is necessary to solve the problem m.
  • R m, k indicates the k-th element of R m .
  • a matrix having R m, k as an element is represented as R.
  • problem skills R, problem skills R m and problem skills R m, k are described.
  • the true / false X u (T) depends on the problem skill R mu (t) and the user skills Z u, 1 (t) to Z u, K (t) .
  • the probability of the correctness X u (t) under the problem skill R mu (t) and the user skill Z u (t) follows the Bernoulli distribution, it is defined as equation (2) Do.
  • in the equation (2) indicates that the distribution follows a predetermined distribution. Bern shows Bernoulli distribution. Specifically, in the right side of the equation (2), the value of the correctness error X u (t) becomes “1” with probability s (0 ⁇ s ⁇ 1) and becomes “0” with probability 1 ⁇ s Indicates S of Formula (2) is shown like Formula (3).
  • exp (x) indicates e to the power of x.
  • e shows the number of Napiers.
  • Both a and b are constant parameters.
  • Both the value of a and the value of b are predetermined.
  • Formula (3) is obtained by substituting Formula (4) into a logistic function.
  • FIG. 6 shows the value of the logistic function.
  • the value of the logistic function f (x) is shown as the graph of FIG.
  • the parameter a in the equation (3) is an adjustment parameter of the slope of the graph. The larger the value of a, the steeper the slope.
  • the parameter b is an adjustment parameter of the horizontal position of the graph. The graph is translated in the positive direction of the x axis by the value of b.
  • ⁇ k is a random variable indicating the ease of acquisition of each skill, and is expressed by equation (7).
  • Beta has a beta distribution.
  • w k is a random variable indicating the degree of possibility that the user holds the skill k in advance, and is expressed by equation (10).
  • ⁇ k and ⁇ k are parameters of the beta distribution, both of which are preset for each skill.
  • R m follows a multinomial distribution, and is defined as equation (11).
  • Mult exhibits a multinomial distribution.
  • v is a parameter of multinomial distribution, and is expressed as equation (12).
  • Dir represents Dirichlet distribution.
  • 2 K -1 is the number of all combinations of 0 and 1 for K skills, excluding the case of all 0s (when there is no necessary skill).
  • ( ⁇ 1 ,..., ⁇ L ) are all parameters of Dirichlet distribution, and are preset.
  • v, ⁇ 1 to ⁇ K and w 1 to w K will be expressed as ⁇ or parameter ⁇ .
  • the problem skill R, the user skill Z, and the parameter ⁇ that maximize the posterior probability are obtained.
  • the problem skill R, the user skill Z, and the parameter ⁇ are the problem skill Rmax, the user skill Zmax, and the parameter ⁇ max, these are expressed by equation (13).
  • Equation (13) is calculated by Gibbs sampling. When performing Gibbs sampling from the posterior distribution of equation (13), Gibbs sampling is performed for each of P (R
  • Z p is a normalization constant.
  • Z '(R) is shown like Formula (15).
  • Z ′ (R) is a user skill Z that maximizes the probability when the problem skill is R in the distribution of R and Z in a state where X and ⁇ are given.
  • equation (14) the probability that one R is sampled to another will not be so small as in simple Gibbs sampling, and the solution of equation (13) It can be asked.
  • R ⁇ m is the remainder of R excluding R m (the m-th line).
  • the relationship of equation (16) is obtained for P ′ (R m
  • Equation (16) The “max Z P (Z, X
  • values can be obtained for each of the possible cases of R m (a binary vector having elements of the number of skills K, other than [0,..., 0]). If this value is normalized, parameters of multinomial distribution which is probability in each case are obtained.
  • the value of R m can be determined according to this multinomial distribution. For each row of R, the above probability distribution is determined, sampling is performed based on the obtained probability distribution, and the obtained value is put in the corresponding row of R. After sampling of all the rows of R, Z ′ is obtained using “max Z P (Z, X
  • Equation (18) is obtained for v from equation (17).
  • nr l indicates the number of occurrences of the line is a Binary (l) of the rows in question skill R.
  • Binary (l) represents binary number 1 of decimal number.
  • Equation (19) is obtained for w.
  • nz k1 indicates the number of appearances of 1 in the vector Z 2:, k (1) .
  • ":" Indicates a wild card.
  • Z :, k (1) indicates the presence or absence of skill k in step 1 for any user.
  • nz k0 indicates the number of occurrences of 0 in the vector Z :, k (1) .
  • step 1 the number of users holding the skill k and the number of users not holding it are reflected in the probability that the user holds the skill k in advance. Equation (20) is obtained for ⁇ .
  • the posterior probability is calculated based on equation (21).
  • FIG. 7 is a flowchart showing the procedure of processing performed by the skill estimation unit 191.
  • the skill estimation unit 191 sets initial values to model parameters ⁇ , ⁇ k ( ⁇ k , k k , ⁇ k , ⁇ k ), a, b, and K. By setting values to these model parameters, probability distributions are set. These initial values may be preset by a human hand (an administrator of the learning support apparatus 100). After step S101, the process proceeds to step S102.
  • the skill estimation unit 191 receives an input of correctness X. Specifically, the skill estimation unit 191 reads, from the server-side storage unit 180, the correctness / incorrectness data generated by the answer processing unit 193. After step S102, the process proceeds to step S103.
  • the skill estimation unit 191 randomly sets the problem skill R and the parameter ⁇ in accordance with the probability distribution. The skill estimation unit 191 also sets the set R and ⁇ as Rmax and ⁇ max, respectively. After step S103, the process proceeds to step S104.
  • Step S104> The skill estimation unit 191 sets the user skill Z at random according to the probability distribution. The skill estimation unit 191 also sets the set Z as Zmax. After step S104, the process proceeds to step S105.
  • ⁇ Step S105> The skill estimation unit 191 sets an initial value - ⁇ to max_posterio. max_posterior indicates the maximum posterior probability obtained so far. After step S105, the process proceeds to step S111.
  • Step S111> The skill estimation unit 191 starts a loop L11. In the loop L11, the process is repeated until the predetermined maximum number of loops is reached. After step S111, the process proceeds to step S112.
  • ⁇ Step S112> The skill estimation unit 191 samples the problem skill R m and updates the problem skill R. Specifically, the skill estimation unit 191 determines the distribution of the problem skills Rm based on the equation (16) for each problem (that is, for each m), and determines the value of the problem skills Rm according to the obtained distribution. . The skill estimation unit 191 inputs the value of the determined problem skill Rm into the problem skill R. After updating the problem skill R, the skill estimation unit 191 updates the user skill Z based on Equation (16). After step S112, the process proceeds to step S113.
  • the skill estimation unit 191 samples the parameter ⁇ . Specifically, the skill estimation unit 191 determines the distribution of each value of v, w 1 to w K , and ⁇ 1 to ⁇ k based on Expression (18) to Expression (20), and the obtained distribution Determine each value according to. The skill estimation unit 191 inputs the obtained values to v, w 1 to w K and ⁇ 1 to ⁇ k respectively. After step S113, the process proceeds to step S114.
  • Step S114> The skill estimation unit 191 calculates the posterior probability based on Equation (21). After step S114, the process proceeds to step S115. ⁇ Step S115> The skill estimation unit 191 determines whether the obtained posterior probability is larger than max_posterior. If it is determined that the size is large, the process proceeds to step S116. If it is determined that the size is not large, the process proceeds to step S117.
  • Step S116> The skill estimation unit 191 updates max_posterior, Rmax, Zmax, and ⁇ max. Specifically, the skill estimation unit 191 inputs the (current) posterior probability calculated in step S114 into max_posterio. Also, the skill estimation unit 191 inputs R obtained in step S112 to Rmax, inputs Z obtained in step S112 to Zmax, and inputs ⁇ obtained in step S113 to ⁇ max. After step S116, the process proceeds to step S117.
  • the skill estimation unit 191 performs termination processing of the loop L11. Specifically, it is determined whether the number of repetitions of the loop L11 has reached the maximum number of loops. If the skill estimation unit 191 determines that the number of repetitions of the loop L11 has not reached the maximum number of loops, the process returns to step S112, and the processing of the loop L11 is repeated. On the other hand, if the skill estimation unit 191 determines that the number of repetitions of the loop L11 has reached the maximum number of loops, the skill estimation unit 191 ends the loop L11, and proceeds to step S121. ⁇ Step S121> The skill estimation unit 191 outputs the obtained Rmax, Zmax, and ⁇ max as a processing result. After step S121, the process of FIG. 7 ends.
  • the answer processing unit 193 acquires correctness / incorrectness data indicating correctness / incorrectness of the answer in which the learner solved the problem as binary data (data having two values).
  • the skill estimation unit 191 uses a model represented by a binary random variable (a random variable having two values) indicating whether the learner holds the skill for each skill necessary to solve the problem. Then, by searching for a solution that maximizes the posterior probability based on the error data, the skills necessary for solving the problem and the skills held by the learner are estimated.
  • the learning support system 1 based on the estimation result of the problem skill R, the contents of each skill can be relatively easily interpreted by humans.
  • the skill estimation unit 191 searches for a solution using a model that represents the history of skills held by the learner by using a random variable. Users are expected to improve their skills by solving problems.
  • the skill estimation unit 191 can estimate the skill by simulating the improvement of the skill, and in this respect, can estimate the skill with higher accuracy.
  • the learner is based on a function that uses the random variable indicating the skill necessary to solve the problem and the parameter of the model as arguments to obtain the value of the random variable indicating the skill held by the learner.
  • the skill estimation unit 191 may automatically estimate the value of K. For example, correctness data is divided into learning data and test data. Then, the skill estimation unit 191 estimates skills for various values of K using test data, and adopts the value of K with the highest estimation accuracy.
  • K_max is an integer constant (K_max ⁇ 3) predetermined as the upper limit value of K.
  • the skill estimation unit 191 predicts a portion of X u (t> T) by sampling with respect to the true / false X u of the test data.
  • X u is a submatrix (vector) of true / false X, which indicates the true / false of the user u solving the problem.
  • X u (t> T) is a portion of t u where x>.
  • T is a predetermined integer constant (T ⁇ 2).
  • the skill estimation unit 191 adopts the value of K having the best prediction accuracy. Also, instead of sampling ⁇ , an expected value of ⁇ may be used.
  • a problem may be provided according to the skill of the user. For example, if the user's answer to the problem is incorrect, it is determined whether the user holds all the skills necessary to solve the problem. If there is a skill that the user does not hold, provide a problem that requires the skill. On the other hand, if all problems necessary to solve the problem are held, careless mistakes or causes such as unfamiliarity with the problem may be considered, and thus the problem of the same skill is further provided.
  • assistance for systematizing a problem may be performed. Problems often are not organized in the learning of empirical knowledge possessed by experts. In such a case, by using the problem skill estimation according to the embodiment of the present invention, it is possible to estimate which problem and which problem need the same skills. You may organize the problem by putting together the problem that the necessary skills are common.
  • FIG. 8 shows an example of the configuration of a skill estimation apparatus according to an embodiment of the present invention.
  • the skill estimation apparatus 10 shown in FIG. 8 includes a true / false data acquisition unit 11 and a skill estimation unit 12.
  • the correctness data acquisition unit 11 acquires correctness data indicating binary correctness / incorrectness of an answer for which the learner has solved the problem.
  • the skill estimation unit 12 uses the model representing the skills necessary to solve the problem and the skills held by the learner with binary random variables indicating the presence or absence of the skills for each skill, and the data is correct or incorrect Search for a solution that maximizes the posterior probability based on and estimate the skills required to solve the problem and the skills that the learner holds.
  • the model is represented by a binary random variable indicating whether the skill is necessary to solve a specific problem, and for each skill necessary to solve the problem And a model represented by a binary random variable indicating whether the skill is held by the learner.
  • FIG. 9 shows an example of the configuration of a learning support apparatus according to an embodiment of the present invention.
  • the learning support device 20 illustrated in FIG. 9 includes a true / false data acquisition unit 21, a skill estimation unit 22, and a problem selection unit 13.
  • the correctness data acquisition unit 21 acquires correctness data indicating binary correctness / incorrectness of an answer for which the learner has solved the problem.
  • the skill estimation unit 22 uses the model representing the skills necessary to solve the problem and the skills held by the learner with binary random variables indicating the presence or absence of the skills for each skill, and the data is correct or incorrect By searching for a solution that maximizes the posterior probability based on, we estimate the skills needed to solve the problem and the skills that the learner holds.
  • the question selecting unit 23 selects a question to be presented to the learner based on the estimation result of the skill estimating unit 22.
  • the learning support device 20 based on the estimation result of the problem skill, the content of each skill can be relatively easily interpreted by the human.
  • the learning support device 20 can provide a problem according to the user's skill, and can provide the user with a suitable problem in this respect.
  • a program for realizing all or part of functions of the server-side control unit 190 is recorded in a computer-readable recording medium, and the computer system reads the program recorded in the recording medium and executes each part. Processing may be performed.
  • the “computer system” mentioned here includes an OS and hardware such as peripheral devices.
  • the “computer system” also includes a home page providing environment (or display environment) if the WWW system is used.
  • the “computer-readable recording medium” means a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • the program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.
  • the present invention may be applied to a skill estimation device, a learning support device, a skill estimation method and a program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

スキル推定装置は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、を備える。

Description

スキル推定装置、学習支援装置、スキル推定方法およびプログラム
 本発明は、スキル推定装置、学習支援装置、スキル推定方法およびプログラムに関する。
 学習支援システムの1つに、学習者に問題を提示するシステムがある。問題を提示する際、学習者の能力を把握できれば、より適切な問題を提示し得る。そこで、学習者の能力を把握するための技術が提案されている。
 例えば、非特許文献1に記載の技術では、問題を解く際の能力(Concept)の重要度、学習者が備えている能力をそれぞれ実数の行列で示す。この技術では、問題を解くために必要な能力と、学習者が備えている能力とで算出される推定値と、解答者による解答結果の実際値との差を最小にするように、学習者が備えている能力の推定を行う。
Shaghayegh Sahebi、外2名、"Tensor Factorization for Student Modeling and Performance Prediction in Unstructured Domain"、Proceedings of the 9th International Conference on Educational Data Mining、2016年、p.502-506
 非特許文献1に記載の技術では、推定結果を人が見ても容易には解釈できないと考えられる。特に、非特許文献1に記載の技術では、推定結果をもとに、スキルの内容を人間が解釈することは難しい。
 本発明の目的の一例は、上述の課題を解決することのできるスキル推定装置、学習支援装置、スキル推定方法およびプログラムを提供することである。
 本発明の第1の態様にかかるスキル推定装置は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、を備える。
 本発明の第2の態様にかかる学習支援装置は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、前記スキル推定部の推定結果に基づいて、学習者に提示する問題を選択する問題選択部と、を備える。
 本発明の第3の態様にかかるスキル推定方法は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、を含む。
 本発明の第4の態様にかかるプログラムは、コンピュータに、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、を実行させる。
 この発明によれば、推定結果をもとに、スキルの内容を人間が比較的容易に解釈できるようになる。
本発明の実施形態に係る学習支援システムの機能構成を示す概略ブロック図である。 実施形態に係る学習支援装置の機能構成を示す概略ブロック図である。 実施形態に係る端末装置の機能構成を示す概略ブロック図である。 実施形態に係るスキル推定部が行う推定の概要を示す説明図である。 実施形態に係るスキル推定部がスキルの推定に用いるモデルをグラフィカルモデルで示す図である。 ロジスティック関数の値を示す図である。 実施形態に係るスキル推定部が行う処理の手順を示すフローチャートである。 本発明の別の実施形態に係るスキル推定装置の構成の例を示す図である。 本発明の別の実施形態に係る学習支援装置の構成の例を示す図である。
 以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
 図1は、本発明の実施形態に係る学習支援システムの機能構成を示す概略ブロック図である。図1に示すように、学習支援システム1は、学習支援装置100と、端末装置200とを備える。学習支援装置100と端末装置200とは、通信ネットワーク900を介して通信を行う。
 学習支援システム1は、学習者であるユーザに対し、ユーザが保持しているスキルに応じた問題を提供する。ここでいうスキルは、問題を解くために必要な能力であり、特定の種類の能力に限定されない。例えば、スキルには知識が含まれていてもよいし、ノウハウが含まれていてもよい。
 ユーザが保持しているスキルをユーザのスキルとも称する。
 学習支援装置100は、ユーザのスキルを推定し、推定したスキルに応じた問題を提供する。学習支援装置100は、例えばワークステーション(Workstation)等のコンピュータを用いて構成される。学習支援装置100は、スキル推定装置の例、および、問題提供装置の例に該当する。
 図2は、学習支援装置100の機能構成を示す概略ブロック図である。図2に示すように、学習支援装置100は、サーバ側通信部110と、サーバ側記憶部180と、サーバ側制御部190とを備える。サーバ側制御部190は、スキル推定部191と、問題選択部192と、解答処理部193とを備える。
 サーバ側通信部110は、他の装置と通信を行う。特に、サーバ側通信部110は端末装置200と通信を行って問題を送信し、ユーザが問題を解いて出した解答(問題に対するユーザの解答)を受信し、解答に対する解説を送信する。
 サーバ側記憶部180は、問題および解答や、スキル推定用のモデルなど各種情報を記憶する。サーバ側記憶部180は、学習支援装置100が備える記憶デバイスを用いて構成される。
 サーバ側制御部190は、学習支援装置100の各部を制御して各種処理を行う。サーバ側制御部190は、学習支援装置100が備えるCPU(Central Processing Unit、中央処理装置)がサーバ側記憶部180からプログラムを読み出して実行することで構成される。
 スキル推定部191は、問題に対するユーザの解答の正誤に基づいて、ユーザが保持しているスキルおよび各問題を解くのに必要なスキルを推定する。
 問題選択部192は、スキル推定部191が推定したスキルに基づいて、ユーザに提供する問題を選択する。
 解答処理部193は、問題に対するユーザの解答に対する処理を行う。具体的には、解答処理部193は、解答の正誤を判定する。そして、解答処理部193は、判定結果を示す2値データ(正答又は誤答であることを示すデータ)と、問題番号、ユーザ番号、および、日時情報とを対応付けた正誤データを、サーバ側記憶部180に記憶させる。解答処理部193は、正誤データ取得部の例に該当する。
 また、解答処理部193は、サーバ側記憶部180が記憶している解説の中から解答の正誤に応じた解説を選択し、解答を送信した端末装置200へサーバ側通信部110を介して送信する。
 端末装置200は、学習支援システム1の端末装置として機能する。特に、端末装置200は、学習支援装置100から送信される問題を表示して、解答を入力するユーザ操作を受ける。端末装置200は、得られた解答を学習支援装置100へ送信し、学習支援装置100から解説を受信し、受信した解説を表示する。さらに、端末装置200は、次の問題を学習支援装置100から受信すると、問題の表示、解答の取得および送信、解説の受信および表示を繰り返す。
 端末装置200は、例えばパソコン(Personal Computer;PC)、タブレット端末装置またはスマートフォン(Smartphone)などのコンピュータを用いて構成される。
 学習支援システム1が備える端末の数は、複数であればよく、多いほどよい。ユーザ数が多いほど学習支援装置100によるスキル推定の精度が高くなると期待されるため、端末装置200の数が多いことが好ましい。
 図3は、端末装置200の機能構成を示す概略ブロック図である。図3に示すように、端末装置200は、端末側通信部210と、表示部220と、操作入力部230と、端末側記憶部280と、端末側制御部290とを備える。
 端末側通信部210は、他の装置と通信を行う。特に、端末側通信部210は、学習支援装置100と通信を行うことにより、問題および解説を受信し、また、解答を送信する。
 表示部220は、例えば液晶パネルまたはLED(Light Emitting Diode、発光ダイオード)パネル等の表示画面を有し、各種画像を表示する。特に、表示部220は、学習支援装置100が送信した問題および解説を表示する。
 操作入力部230は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受ける。特に、操作入力部230は、表示部220が問題を表示している状態で、学習者による解答の入力操作を受ける。
 端末側記憶部280は、各種情報を記憶する。例えば、端末側記憶部280は、学習支援システム1の端末装置として動作するためのアプリケーションプログラムを記憶する。また、端末側記憶部280は、学習支援装置100が送信した問題や解説を一時的に記憶する。端末側記憶部280は、端末装置200が備える記憶デバイスを用いて構成される。
 端末側制御部290は、端末装置200の各部を制御して各種処理を実行する。例えば、端末側制御部290は、端末側通信部210を制御して、端末側通信部210に学習支援装置100のサーバ側通信部110と通信を行わせる。また、端末側制御部290は、表示部220を制御して、表示部220に問題および解説を表示させる。また、端末側制御部290は、操作入力部230が受けたユーザ操作を解答等のデータに変換する。
 通信ネットワーク900は、学習支援装置100と端末装置200との通信を仲介する。通信ネットワーク900は、特定の通信ネットワークに限定されない。例えば、通信ネットワーク900はインターネットであってもよいが、これに限定されない。
 次に、スキル推定部191が行うスキルの推定について説明する。
 スキル推定部191がスキルを推定する環境として、以下の環境を想定する。
 全部でM個の問題が用意されており、N人のユーザが問題を解く。いずれの問題も、その問題を解くのにK個のスキルのうち1つ以上を必要とする。上記のように、ここでいうスキルは、問題を解くための能力であり、特定の種類のものに限定されない。スキルは、問題を解くために必要な知識を含んでもよいし、具体化されない抽象的な能力を含んでもよい。また、ここでいうユーザは、学習支援装置100が提供する問題を解く者である。
 サーバ側記憶部180が、ユーザが問題を解いた順番および解答を各ユーザについて記録しておく。スキル推定部191は、この情報に基づいて、各問題を解くのに必要なスキル、および、各ユーザが保持しているスキル(取得済みのスキル)を推定する。
 スキル推定部191は、個々のスキルの内容の解析は行わず、問題を解くのに必要なスキルと、ユーザが保持しているスキルとの対応関係を推定する。1つの問題と1人のユーザとを選択した場合に、その問題を解くのに必要なスキルのうちどのスキルをユーザが保持しているかを示すことで、問題選択部192が、次にユーザに提示する問題(次にユーザが解く問題)を選択する手がかりとすることができる。
 図4は、スキル推定部191が行う推定の概要を示す説明図である。図4には、問題を解くのに必要なスキルRと、複数のユーザ各々が保持しているスキルZ~Zと、各ユーザが問題を解いた結果(正誤)X~Xとが、バイナリ(2値)の行列またはベクトルの形で示されている。
 図4で、R(問題スキル行列)における上付きの「T」は、行列またはベクトルの転置を示す。Rの各列は、問題と対応付けられる。Rの各行は、スキルと対応付けられる。Rの要素の値「1」はスキルが必要であることを示し、「0」はスキルが不要であることを示す。
 Z~Z(学習者スキル行列)の各々の各列は、ユーザが問題を解いたタイミングと対応付けられる。Z~Zの各々の各行は、スキルと対応付けられる。
 X~X(正誤ベクトル)の各々は行ベクトルであり、各列は、問題に対するユーザのタイミングと対応付けられる。
 これらのうち、各ユーザが問題を解いた結果は、観測可能である。一方、各ユーザが保持しているスキルを直接観測することはできない。また、スキル推定部191が個々のスキルの内容の解析を行わないことから、問題を解くのに必要なスキルも直接観測することはできない。
 そこで、スキル推定部191は、各ユーザが問題を解いた結果から、問題を解くのに必要なスキル、および、各ユーザが保持しているスキルを推定する。学習支援装置100は、問題を解くのにどのスキルが必要か、および、各ユーザがどのスキルを保持しているかを推定するが、各スキルがどのような内容のものかの解析は行わない。
 図5は、スキル推定部191がスキルの推定に用いるグラフィカルモデルを示す。図5で丸印は確率変数を示す。矢印は、データの依存関係を示す。矢印の先の変数の値を決定する際、矢印の手前の変数の値を用いる。
 図5では、1人のユーザuについてのユーザスキルZu,k(t)および正誤X (t)が示されている。モデルは、他のユーザについても同様に、ユーザ毎のユーザスキルおよび正誤を含む。
 一方、v、μ~μ、w~wは、各ユーザに共通である。
 問題スキルRについては各ユーザに共通で用意する。ユーザuがステップtで解いた問題の問題番号をm (t)で示す。問題番号m (t)を用いて、ユーザuがステップtで解いた問題の問題スキルをRmu(t)で示す。
 スキルの推定のためのモデルを表記するために、以下に説明する変数または定数を用いる。
 M:問題の総数。
 なお、問題に1~Mの問題番号を付して各問題を識別する。問題番号をmで示す。mは、1≦m≦Mの整数である。問題番号mの問題を、問題mと表記する。
 N:ユーザの総数
 なお、ユーザに1~Nのユーザ番号を付して各ユーザを識別する。ユーザ番号をuで示す。uは、1≦u≦Nの整数である。ユーザ番号uのユーザを、ユーザuと表記する。
 K:スキルの総数
 なお、スキルに1~Kのスキル番号を付して各スキルを識別する。スキル番号をkで示す。kは、1≦k≦Kの整数である。スキル番号kのスキルを、スキルkと表記する。
 m (t):ユーザuがステップtに解いた問題の問題番号を示す変数
 なお、m (t)は、1≦m (t)≦Mの整数である。ここでいうステップは、ユーザが問題を解いたタイミングである。各ユーザは、1つのステップに1つの問題を解くと仮定する。ステップtは、ユーザがt番目に問題を解いたタイミングである。ユーザuがステップtに解いた問題とは、ユーザuがt番目に解いた問題である。ユーザが問題を解くタイミングは任意のタイミングでよい。特に、複数のユーザが同時に問題を解く必要はない。また、問題選択部192は、ユーザのスキルに応じて問題を提供するため、通常、問題を解く順番はユーザ毎に異なる。
 X (t):ユーザuがステップtに問題を解いた解答の正誤を示す確率変数
 なお、X (t)は、0、1のいずれかの値をとる。「X (t)=0」は、解答が不正解であったことを示す。「X (t)=1」は、解答が正解であったことを示す。
 X (1)~X (t)を要素とする行ベクトル(横ベクトル)をXと表記する。
 以下では、正誤X (t)、正誤Xと表記する。
 Zu,k (t):ユーザuがステップtにスキルkを保持しているか否かを示す確率変数
 なお、Zu,k (t)は、0、1のいずれかの値をとる。「Zu,k (t)=0」は、そのスキルを保持していないことを示す。「Zu,k (t)=1」は、そのスキルを保持していることを示す。
 Zu,1 (t)~Zu,K (t)を要素とする列ベクトル(縦ベクトル)をZ (t)と表記する。Z (t)は、式(1)のように示される。
Figure JPOXMLDOC01-appb-M000001
 全てのユーザおよび全てのステップについてのZ (t)をまとめてZと表記する。
 以下では、ユーザスキルZ、ユーザスキルZ (t)、ユーザスキルZu,k (t)と表記する。
 R:問題mを解くために必要なスキルを示す確率変数
 なお、Rは、K次元の行ベクトル(横ベクトル)で示される。Rの各要素は、0、1のいずれかの値をとる。但し、全ての要素が0である場合を除く。k番目の要素の値が0である場合は、スキルkが不要であることを示す。k番目の要素の値が1である場合は、スキルkが必要であることを示す。
 Rm,k:問題mを解くためにスキルkが必要か否かを示す変数
 なお、Rm,kは、Rのk番目の要素を示す。Rm,kを要素とする行列をRと表記する。以下では、問題スキルR、問題スキルR、問題スキルRm,kと表記する。
 図5で、問題スキルRmu(t)、ユーザスキルZu,1 (t)~Zu,K (t)の各々から正誤X (t)へ矢印が出ているように、正誤X (t)は、問題スキルRmu(t)およびユーザスキルZu,1 (t)~Zu,K (t)に依存する。具体的には、問題スキルRmu(t)およびユーザスキルZ (t)の下での正誤X (t)の確率がベルヌーイ(Bernoulli)分布に従うものとして、式(2)のように規定する。
Figure JPOXMLDOC01-appb-M000002
 ここで、式(2)における「~」は所定の分布に従うことを示す。Bernは、ベルヌーイ分布を示す。具体的には、式(2)の右辺は、正誤X (t)の値が、確率s(0≦s≦1)で「1」になり、確率1-sで「0」になることを示す。
 式(2)のsは、式(3)のように示される。
Figure JPOXMLDOC01-appb-M000003
 ここで、exp(x)は、eのx乗を示す。eは、ネイピア数を示す。a、bはいずれも定数のパラメータである。aの値、bの値は、いずれも予め定められる。
 式(3)は、ロジスティック関数に式(4)を代入して得られる。
Figure JPOXMLDOC01-appb-M000004
 ロジスティック関数f(x)は、式(5)のように示される。
Figure JPOXMLDOC01-appb-M000005
 図6は、ロジスティック関数の値を示す。ロジスティック関数f(x)の値は、図6のグラフのように示される。式(3)のパラメータaは、グラフの傾きの調整パラメータである。aの値が大きいほど、傾きが急になる。パラメータbは、グラフの横方向の位置の調整パラメータである。グラフは、bの値だけx軸の正の方向に平行移動される。
 「t≧2」の場合のユーザスキルZu,k (t)の値は、1つ前のステップでユーザが保持していたスキルに依存する。あるステップで保持していたスキルは、次のステップでも保持しているものとする。すなわち、「Zu,k (t-1)=1」の場合、「Zu,k (t)=1」とする。
 ステップt-1でスキルkを保持していなかった場合(Zu,k (t-1)=0)、ユーザスキルZu,k (t)の値は、ステップt-1で解いた問題がスキルkを必要とするか否かに依存する。
 ステップt-1で解いた問題がスキルkを必要とする場合(Rmu(t-1),k=1)、その問題を解くことでスキルkを身に付ける可能性があると考えられるので、ベルヌーイ分布に従って0または1に値を決定する。この場合、式(6)のように規定する。
Figure JPOXMLDOC01-appb-M000006
 μは、各スキルの獲得のし易さを示す確率変数であり、式(7)のように示される。
Figure JPOXMLDOC01-appb-M000007
 ここでBetaはベータ分布を示す。ξおよびζはベータ分布のパラメータであり、いずれもスキルごとに予め設定される。
 ステップt-1で解いた問題がスキルkを必要としない場合(Rmu(t-1),k=0)、その問題を解くことではスキルkは身に付かないと考えられるので、「Zu,k (t)=0」とする。
 以上より、「t≧2」の場合、Zu,k (t)の値は式(8)のように規定される。
Figure JPOXMLDOC01-appb-M000008
 一方、「t=1」の場合、Zu,k (1)の値は、ユーザが予めスキルを保持していたか否かに依存する。この場合を式(9)のように規定する。
Figure JPOXMLDOC01-appb-M000009
 wは、ユーザがスキルkを予め保持している可能性の高さを示す確率変数であり、式(10)のように示される。
Figure JPOXMLDOC01-appb-M000010
 γおよびηはベータ分布のパラメータであり、いずれもスキルごとに予め設定される。
 Rは、多項分布に従うものとし、式(11)のように規定する。
Figure JPOXMLDOC01-appb-M000011
 Multは多項分布を示す。vは多項分布のパラメータであり、式(12)のように示される。
Figure JPOXMLDOC01-appb-M000012
 Dirはディリクレ(Dirichlet)分布を示す。「α=(α,・・・,α)」であり、「L=2-1」である。2-1は、K個のスキルについて0、1の全ての組合せの数から、全て0の場合(必要なスキルが無い場合)を除いた数である。α=(α,・・・,α)は、いずれもディリクレ分布のパラメータであり、予め設定される。
 以下では、v、μ~μ、w~wをθまたはパラメータθと表記する。
 このモデルを用いて、事後確率を最大にする問題スキルR、ユーザスキルZ、パラメータθを求める。このような問題スキルR、ユーザスキルZ、パラメータθを問題スキルRmax、ユーザスキルZmax、パラメータθmaxとすると、これらは式(13)のように示される。
Figure JPOXMLDOC01-appb-M000013
 argmaxは、最大値を与える引数値(Argument Of Maximum)を意味する。式(13)の右辺は、事後確率P(R,Z,θ|X)が最大となる問題スキルR、ユーザスキルZおよびパラメータθの値を示す。
 ここでは、式(13)をギブスサンプリングにより計算する。式(13)の事後分布からギブスサンプリングを行う場合、P(R|Z,θ,X)、P(Z|R,θ,X)、P(θ|R,Z,X)それぞれについてギブスサンプリングを行う方法が最も単純である。しかし、この方法では、現実的な時間で式(13)の解は得られない。これはP(R,Z|θ,X)において、多くの異なるR’とR’’で、P(Z|R’,θ,X)×P(R’’|Z,θ,X)が非常に小さいため、Rがギブスサンプリングによりほとんど更新されなくなるからである。そこで、RとZのサンプリングをP(R,Z|θ,X)に基づいて行うのではなく、確率が最大となるRが同一である式(14)の分布P’(R)からサンプリングを行う。
Figure JPOXMLDOC01-appb-M000014
 ここで、Zは正規化定数である。
 Z’(R)は、式(15)のように示される。
Figure JPOXMLDOC01-appb-M000015
 すなわち、Z’(R)は、Xとθが与えられた状態でのR、Zの分布において、問題スキルがRの場合に、確率を最大にするユーザスキルZである。
 式(14)を用いることで、あるRから別のR’がサンプリングされる確率が、単純なギブスサンプリングのように非常に小さくなることがなくなり、現実的な時間で式(13)の解を求めることができる。
 ここで、P’(R|X,R\m,θ)を考える。R\mは、RからR(m行目)を除いた残りである。P’(R|X,R\m,θ)について、式(16)の関係が得られる。
Figure JPOXMLDOC01-appb-M000016
 式(16)の括弧内「maxP(Z,X|R,θ)」は、ビタビ(Viterbi)アルゴリズムで効率的に計算できる。
 式(16)を用いると、Rがとり得る全ての場合の各々(スキル数Kの要素を持つ2値ベクトルで、[0,・・・,0]以外)について値が求まる。この値を正規化すると、各場合の確率である多項分布のパラメータが求まる。この多項分布に従ってRの値を決定することができる。
 Rの各行について、上記の確率分布を求め、得られた確率分布に基づいてサンプリングを行い、得られた値をRの当該する行に入れる。
 Rのすべての行のサンプリングを行った後、式(16)の括弧内「maxP(Z,X|R,θ)」を用いてZ’を求める。
 θについては、式(17)を考える。
Figure JPOXMLDOC01-appb-M000017
 式(17)のZには、式(16)のmaxで得られたユーザスキルZを用いる。
 式(17)より、vについて式(18)を得られる。
Figure JPOXMLDOC01-appb-M000018
 ここで、nrは、問題スキルRの行のうちBinary(l)である行の出現数を示す。Binary(l)は、10進数lの2進化を示す。Rの行がとり得る全てのパターンについて、Rでの出現数を数え、得られた出現数に応じた確率分布を設定する。
 wについては式(19)を得られる。
Figure JPOXMLDOC01-appb-M000019
 ここで、nzk1は、ベクトルZ:,k (1)の中での1の出現回数を示す。「:」はワイルドカードを示す。従って、Z:,k (1)は、任意のユーザについてステップ1でのスキルkの有無を示す。nzk0は、ベクトルZ:,k (1)の中での0の出現回数を示す。ステップ1でスキルkを保持していたユーザの人数および保持していなかったユーザの人数を、ユーザが予めスキルkを保持していた確率に反映させる。
 μについては式(20)を得られる。
Figure JPOXMLDOC01-appb-M000020
 ここで、nzk101は、行列Z~Z,Rにおいて、任意のu,tに関し「Rmu,k(t)=1」、「Zu,k (t)=0」、「Zu,k (t+1)=1」の3つ組の出現数を示す。すなわち、nzk101は、スキルkを必要とする問題を解いたときにユーザがスキルkを獲得した回数を示す。
 nzk100は、行列Z~Z,Rにおいて、任意のu,tに関し、「Rmu,k(t)=1」、「Zu,k (t)=0」、「Zu,k (t+1)=0の3つ組の出現数を示す。すなわち、nzk100は、スキルkを必要とする問題を解いたユーザがスキルkを獲得しなかった回数を示す。これらの回数を、スキルkを必要とする問題を解くことによるスキルkの習得のし易さに反映させる。
 事後確率については、式(21)に基づいて算出される。
Figure JPOXMLDOC01-appb-M000021
 図7は、スキル推定部191が行う処理の手順を示すフローチャートである。
 <ステップS101>
 スキル推定部191は、モデルパラメータα、∀k(γ,η,ξ,ζ)、a、b、Kに初期値を設定する。これらのモデルパラメータに値を設定することで、確率分布が設定される。これらの初期値は、人手(学習支援装置100の管理者)によって予め設定されていてもよい。ステップS101の後、ステップS102へ進む。
<ステップS102>
 スキル推定部191は、正誤Xの入力を受け付ける。具体的には、スキル推定部191は、解答処理部193が生成した正誤データをサーバ側記憶部180から読み出す。ステップS102の後、処理がステップS103へ進む。
<ステップS103>
 スキル推定部191は、問題スキルRおよびパラメータθを確率分布に従ってランダムに設定する。スキル推定部191は、設定したR、θを、それぞれRmax、θmaxにも設定する。ステップS103の後、処理がステップS104へ進む。
<ステップS104>
 スキル推定部191は、ユーザスキルZを確率分布に従ってランダムに設定する。スキル推定部191は、設定したZを、Zmaxにも設定する。ステップS104の後、処理がステップS105へ進む。
<ステップS105>
 スキル推定部191は、max_posteriorに初期値-∞を設定する。max_posteriorは、今までに得られた最大の事後確率を示す。ステップS105の後、処理がステップS111へ進む。
<ステップS111>
 スキル推定部191は、ループL11を開始する。ループL11では、予め定められている最大ループ回数に到達するまで処理を繰り返す。ステップS111の後、処理がステップS112へ進む。
<ステップS112>
 スキル推定部191は、問題スキルRをサンプリングし、問題スキルRを更新する。具体的には、スキル推定部191は、問題毎に(すなわち、各mについて)式(16)に基づいて問題スキルRmの分布を決定し、得られた分布に従って問題スキルRmの値を決定する。スキル推定部191は、決定した問題スキルRmの値を問題スキルRに入力する。スキル推定部191は、問題スキルRを更新した後、式(16)に基づいてユーザスキルZを更新する。ステップS112の後、処理がステップS113へ進む。
<ステップS113>
 スキル推定部191は、パラメータθをサンプリングする。具体的には、スキル推定部191は、式(18)~式(20)に基づいて、v、w~w、μ~μの各値の分布を決定し、得られた分布に従って各値を決定する。スキル推定部191は、得られた値をv、w~w、μ~μそれぞれに入力する。ステップS113の後、処理がステップS114へ進む。
<ステップS114>
 スキル推定部191は、式(21)に基づいて事後確率を算出する。ステップS114の後、処理がステップS115へ進む。
<ステップS115>
 スキル推定部191は、得られた事後確率がmax_posteriorより大きいか否かを判定する。大きいと判定した場合、処理がステップS116へ進む。大きくないと判定した場合、処理がステップS117へ進む。
<ステップS116>
 スキル推定部191は、max_posterior、Rmax、Zmax、θmaxを更新する。具体的には、スキル推定部191は、ステップS114で算出した(今回の)事後確率をmax_posteriorに入力する。また、スキル推定部191は、ステップS112で得られたRをRmaxに入力し、ステップS112で得られたZをZmaxに入力し、ステップS113で得られたθをθmaxに入力する。ステップS116の後、処理がステップS117へ進む。
<ステップS117>
 スキル推定部191は、ループL11の終端処理を行う。具体的には、ループL11の繰り返し回数が、最大ループ回数に達したか否かを判定する。スキル推定部191は、ループL11の繰り返し回数が最大ループ回数に達していないと判定した場合は、ステップS112に戻り、ループL11の処理を繰り返す。一方、スキル推定部191は、ループL11の繰り返し回数が最大ループ回数に達したと判定した場合は、ループL11を終了し、ステップS121へ進む。
<ステップS121>
 スキル推定部191は、得られたRmax、Zmax、θmaxを処理結果として出力する。ステップS121の後、図7の処理を終了する。
 以上のように、解答処理部193は、学習者が問題を解いた解答の正誤を2値のデータ(2つの値をとるデータ)で示す正誤データを取得する。スキル推定部191は、問題を解くために必要なスキル毎に当該スキルを学習者が保持しているか否かを示す2値の確率変数(2つの値をとる確率変数)で表すモデルを用いて、正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定する。これにより、学習支援システム1では、問題スキルRの推定結果をもとに、それぞれのスキルの内容を人間が比較的容易に解釈することができるようになる。
 また、スキル推定部191は、学習者が保持しているスキルの履歴を確率変数で表すモデルを用いて解を探索する。ユーザが問題を解くことによってスキルが向上することが見込まれる。スキル推定部191は、スキルの向上を模擬してスキルの推定を行うことができ、この点で、より高精度にスキルの推定を行うことができる。
 また、スキル推定部191は、問題を解くために必要なスキルを示す確率変数およびモデルのパラメータを引数として学習者が保持しているスキルを示す確率変数の値を求める関数に基づいて、学習者が保持しているスキルを示す確率変数が解探索空間から除外された解探索を行う。これにより、ある問題スキルRから別の問題スキルR’がサンプリングされる確率が非常に小さくなることを防ぐことができるため、現実的な時間で解の探索が行える。
 なお、スキル推定部191が、Zu,kの値が0から1に変わるステップを範囲で持つようにしてもよい。Zu,kの値が0から1に変わるステップの候補が複数存在する場合がある。そこで、Zu,k=[4,6]のように、Zu,kの値が0から1に変わるステップの候補を示すようにしてもよい。
 また、スキル推定部191が、Kの値を自動推定するようにしてもよい。例えば、正誤データを学習用データとテスト用データとに分けておく。そしてスキル推定部191は、テスト用データを用いていろいろなKの値についてスキルの推定を行い、推定精度が最も良かったKの値を採用する。
 具体的には、スキル推定部191は、「K=2,・・・,K_max」までの各Kの値について推定を行い、それぞれについてRmaxおよびθmaxを取得する。K_maxは、Kの上限値として予め定められている整数の定数(K_max≧3)である。そして、スキル推定部191は、テスト用のデータの正誤Xについて、X (t>T)の部分をサンプリングにより予測する。Xは、正誤Xの部分行列(ベクトル)であり、ユーザuが問題を解いた正誤を示す。X (t>T)は、Xのうちt>Tの部分である。Tは、予め定められた整数の定数(T≧2)である。スキル推定部191は、予測精度が最も良かったKの値を採用する。また、θのサンプリングに代えて、θの期待値を用いるようにしてもよい。
 本発明の実施形態の適用例として、ユーザのスキルに応じた問題を提供してもよい。例えば、問題に対するユーザの解答が不正解であった場合、その問題を解くために必要なスキルをユーザが全て保持しているか否かを判定する。ユーザが保持していないスキルが有れば、そのスキルを必要とする問題を提供する。一方、その問題を解くために必要な問題を全て保持している場合、ケアレスミス、或いは、問題に不慣れ等の原因が考えられるので、同様のスキルの問題をさらに提供する。
 また、問題に対するユーザの解答が正解であった場合も、その問題を解くために必要なスキルをユーザが全て保持しているか否かを判定する。ユーザが保持していないスキルが有れば、そのスキルを必要とする問題を提供し、偶然解けたのか、そのスキルを既に習得済みかを判定することができる。一方、その問題を解くために必要なスキルを全て保持している場合、他のスキルを必要とする問題を提供する。
 また、本発明の実施形態の適用例として、問題の体系化の補助を行ってもよい。専門家が有している経験的な知識の学習等では、問題が体系化されていないことが多い。このような場合、本発明の実施形態による問題スキルの推定を用いることで、どの問題とどの問題とに必要なスキルが共通するかを推定することができる。必要なスキルが共通する問題を纏めて問題の体系化を行ってもよい。
 次に、図8および図9を参照して本発明の一つの実施形態の構成について説明する。図8は、本発明の一つの実施形態に係るスキル推定装置の構成の例を示す。図8に示すスキル推定装置10は、正誤データ取得部11と、スキル推定部12とを備える。
 かかる構成にて、正誤データ取得部11は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する。スキル推定部12は、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、正誤データに基づく事後確率を最大化する解を探索して、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定する。モデルは、問題を解くために必要なスキル毎に、当該スキルが特定の問題を解くために必要か否かを示す2値の確率変数で表すモデルと、問題を解くために必要なスキル毎に、当該スキルを学習者が保持しているか否かを示す2値の確率変数で表すモデルとを含んでもよい。
 これにより、スキル推定装置10では、問題スキルの推定結果をもとに、それぞれのスキルの内容を人間が比較的容易に解釈できるようになる。
 図9は、本発明の実施形態に係る学習支援装置の構成の例を示す。図9に示す学習支援装置20は、正誤データ取得部21と、スキル推定部22と、問題選択部13とを備える。かかる構成にて、正誤データ取得部21は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する。スキル推定部22は、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定する。問題選択部23は、スキル推定部22の推定結果に基づいて、学習者に提示する問題を選択する。
 これにより、学習支援装置20では、問題スキルの推定結果をもとに、それぞれのスキルの内容を人間が比較的容易に解釈できるようになる。また、学習支援装置20では、ユーザのスキルに応じた問題を提供することができ、この点で適切な問題をユーザに提供できる。
 サーバ側制御部190の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。ここでいう「コンピュータシステム」は、OSや周辺機器等のハードウェアを含む。
 「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含む。
 「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
 以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 この出願は、2017年10月13日に出願された日本国特願2017-199796を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明は、スキル推定装置、学習支援装置、スキル推定方法およびプログラムに適用してもよい。
 1 学習支援システム
 10 スキル推定装置
 11、21 正誤データ取得部
 12、22、191 スキル推定部
 20、100 学習支援装置
 23、192 問題選択部
 110 サーバ側通信部
 180 サーバ側記憶部
 190 サーバ側制御部
 193 解答処理部
 200 端末装置
 210 端末側通信部
 220 表示部
 230 操作入力部
 280 端末側記憶部
 290 端末側制御部
 900 通信ネットワーク

Claims (7)

  1.  学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、
     問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、
     を備えるスキル推定装置。
  2.  前記スキル推定部は、前記学習者が保持しているスキルの履歴を前記確率変数で表すモデルを用いて前記解を探索する、
     請求項1に記載のスキル推定装置。
  3.  前記スキル推定部は、問題を解くために必要なスキルを示す確率変数およびモデルのパラメータを引数として学習者が保持しているスキルを示す確率変数の値を求める関数に基づいて、学習者が保持しているスキルを示す確率変数が解探索空間から除外された前記解を探索する、
     請求項1または請求項2に記載のスキル推定装置。
  4.  前記モデルは、問題を解くために必要なスキル毎に、当該スキルが特定の問題を解くために必要か否かを示す2値の確率変数で表すモデルと、問題を解くために必要なスキル毎に、当該スキルを学習者が保持しているか否かを示す2値の確率変数で表すモデルとを含む
     請求項1から3のいずれか一項に記載のスキル推定装置。
  5.  学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、
     問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、
     前記スキル推定部の推定結果に基づいて、学習者に提示する問題を選択する問題選択部と、
     を備える学習支援装置。
  6.  学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、
     問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、
     を含むスキル推定方法。
  7.  コンピュータに、
     学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、
     問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、
     を実行させるためのプログラム。
PCT/JP2018/032132 2017-10-13 2018-08-30 スキル推定装置、学習支援装置、スキル推定方法およびプログラム WO2019073712A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019547940A JP6940184B2 (ja) 2017-10-13 2018-08-30 スキル推定装置、学習支援装置、スキル推定方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017199796 2017-10-13
JP2017-199796 2017-10-13

Publications (1)

Publication Number Publication Date
WO2019073712A1 true WO2019073712A1 (ja) 2019-04-18

Family

ID=66101369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032132 WO2019073712A1 (ja) 2017-10-13 2018-08-30 スキル推定装置、学習支援装置、スキル推定方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6940184B2 (ja)
WO (1) WO2019073712A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009548A (ja) * 2006-06-27 2008-01-17 Omron Corp モデル作成装置および識別装置
JP2009288486A (ja) * 2008-05-29 2009-12-10 Nippon Telegr & Teleph Corp <Ntt> 教材提示装置、教材提示方法、教材提示プログラムおよびそのプログラムを記録した記録媒体
JP2013044770A (ja) * 2011-08-22 2013-03-04 Hitachi Consumer Electronics Co Ltd 学習支援システム及び学習支援方法
US20160132815A1 (en) * 2014-11-07 2016-05-12 International Business Machines Corporation Skill estimation method in machine-human hybrid crowdsourcing
JP2017146958A (ja) * 2016-02-12 2017-08-24 日本電信電話株式会社 ユーザインタフェース情報提供装置、ユーザインタフェース変更装置、ユーザインタフェース情報提供方法、ユーザインタフェース変更方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009548A (ja) * 2006-06-27 2008-01-17 Omron Corp モデル作成装置および識別装置
JP2009288486A (ja) * 2008-05-29 2009-12-10 Nippon Telegr & Teleph Corp <Ntt> 教材提示装置、教材提示方法、教材提示プログラムおよびそのプログラムを記録した記録媒体
JP2013044770A (ja) * 2011-08-22 2013-03-04 Hitachi Consumer Electronics Co Ltd 学習支援システム及び学習支援方法
US20160132815A1 (en) * 2014-11-07 2016-05-12 International Business Machines Corporation Skill estimation method in machine-human hybrid crowdsourcing
JP2017146958A (ja) * 2016-02-12 2017-08-24 日本電信電話株式会社 ユーザインタフェース情報提供装置、ユーザインタフェース変更装置、ユーザインタフェース情報提供方法、ユーザインタフェース変更方法、及びプログラム

Also Published As

Publication number Publication date
JP6940184B2 (ja) 2021-09-22
JPWO2019073712A1 (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
KR102015075B1 (ko) 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
US11348031B2 (en) Modeling mastery in distributed cognitive systems and storing the results in a ledger
US20190114940A1 (en) Inquiry Skills Tutoring System
JP6247628B2 (ja) 学習管理システムおよび学習管理方法
CN110389969A (zh) 提供定制的学习内容的系统和方法
JP7316453B2 (ja) オブジェクト推薦方法及び装置、コンピュータ機器並びに媒体
CN113468077B (zh) 认知能力测试方法、装置、电子设备和存储介质
KR102265573B1 (ko) 인공지능 기반 입시 수학 학습 커리큘럼 재구성 방법 및 시스템
KR20180061999A (ko) 개인 맞춤형 학습 제공 장치 및 그 방법
US11763174B2 (en) Learning material recommendation method, learning material recommendation device, and learning material recommendation program
JP2020521244A (ja) 試験点数を推定する方法、装置及びコンピュータプログラム
WO2013119438A1 (en) Apparatus, systems and methods for interactive dissemination of knowledge
JP2018194804A (ja) 機械学習フレームワークを運用する方法、装置、及びコンピュータプログラム
JP4883720B2 (ja) 教材提示装置、教材提示方法、教材提示プログラムおよびそのプログラムを記録した記録媒体
CN111680216B (zh) 一种试题推荐方法、系统、介质及设备
Mueller et al. Improving users' mental models of intelligent software tools
CN113205281A (zh) 一种基于场景模拟的人员能力评价方法及相关设备
CN117709435B (zh) 大语言模型的训练方法、代码生成方法、设备及存储介质
KR101836206B1 (ko) 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN112119410A (zh) 用于用覆盖引导模糊测试调试神经网络的系统和方法
US20150364051A1 (en) Generating a comprehension indicator that indicates how well an individual understood the subject matter covered by a test
US20180365241A1 (en) Sentiment analysis as a quality indicator in usability testing
JP6940184B2 (ja) スキル推定装置、学習支援装置、スキル推定方法およびプログラム
CN112052393A (zh) 一种学习方案推荐方法、装置、设备和存储介质
Pujianto et al. Predicting high school graduates using naive Bayes in state university entrance selections

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18865523

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019547940

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18865523

Country of ref document: EP

Kind code of ref document: A1