WO2024176709A1 - 評価装置、評価方法、および評価プログラム - Google Patents

評価装置、評価方法、および評価プログラム Download PDF

Info

Publication number
WO2024176709A1
WO2024176709A1 PCT/JP2024/002212 JP2024002212W WO2024176709A1 WO 2024176709 A1 WO2024176709 A1 WO 2024176709A1 JP 2024002212 W JP2024002212 W JP 2024002212W WO 2024176709 A1 WO2024176709 A1 WO 2024176709A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
question
answer
user
character input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/002212
Other languages
English (en)
French (fr)
Inventor
咲也 荒木
悠介 秋野
義弘 平井
紘史 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2024176709A1 publication Critical patent/WO2024176709A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Definitions

  • This invention relates to technology for judging and evaluating a user's knowledge and academic ability.
  • CBT Computer Based Testing
  • CBT Computer Based Testing
  • test questions are displayed on the display screen of the information processing terminal operated by the user who is the test taker.
  • the user performs input operations on the information processing terminal to input answers to the test questions displayed on the display screen.
  • the user's knowledge and academic ability are judged based on the grading results of the user's answers.
  • Information processing terminals used in CBT are, for example, personal computers and tablet terminals.
  • Patent Document 1 It has also been proposed to use the time it takes to answer questions to judge a user's knowledge and academic ability.
  • the answer time is the time from when the question appears on the screen of the display of the information processing terminal to when the user completes inputting the answer to the question.
  • the answer time includes the thinking time spent reading the question and thinking about the answer, as well as the character input time spent inputting the character string that is the answer to the question.
  • character input time tends to be shorter for users with greater dexterity.
  • the objective of this invention is to provide technology that improves the accuracy of estimating a user's level of understanding.
  • the evaluation device of the present invention is configured as follows.
  • the first acquisition unit acquires the answer time required for the user to answer the presented question. For example, the first acquisition unit may set the time when the question was displayed on the display screen to the time when the user started answering that question. Furthermore, the first acquisition unit may set the time when an input to display another question on the display screen is received to the time when the user completed answering the question that was displayed on the display screen.
  • the input to display this other question on the display screen may include, for example, an input regarding the completion of answering the question displayed at that time, and an input to display the next question on the display screen.
  • the second acquisition unit acquires the character input time required for the user to input a character string related to the answer to the question. For example, the second acquisition unit may set the time at which the first input operation of a character string related to the answer to the question is accepted after the question is presented to the user as the time at which the user started inputting the character string related to the answer to the question. Furthermore, the second measurement unit may set the time at which an input to display another question on the screen of the display device is accepted as the time at which the user completed inputting the character string related to the answer to the question that was displayed on the screen of the display device.
  • the estimation unit estimates the user's level of understanding of the question using the answer time acquired by the first acquisition unit and the character input time acquired by the second acquisition unit. For example, the estimation unit estimates the user's level of understanding of the question based on the thinking time obtained by subtracting the character input time acquired by the second acquisition unit from the answer time acquired by the first acquisition unit.
  • the thinking time includes the time it takes the user to read the question displayed on the screen of the display device.
  • the user's level of understanding can be estimated without being affected by the length of time the user takes to input characters (for example, without being affected by the user's manual dexterity). In other words, the accuracy of estimating the user's level of understanding can be improved.
  • the estimation unit may also be configured to, for example, compare the standard thinking time for a problem presented to the user with the user's thinking time for that problem to estimate the user's level of understanding of the problem.
  • the standard thinking time may, for example, be a time set by the creator of the problem based on the difficulty of the problem, or it may be the average or median of the thinking time of users who answered the problem correctly, or it may be the average or median of the thinking time of a predetermined number of users with the shortest thinking time among those who answered the problem correctly, or it may be set by some other method.
  • the second acquisition unit may be configured not to include the input wait time, for example, from when an input operation of a character string related to an answer to a question is accepted until when an input operation of the next character string is accepted, as the character input time if the input wait time exceeds a set time (several seconds (e.g., 1 to 3 seconds)).
  • a set time severe seconds (e.g., 1 to 3 seconds)
  • the estimation unit may compare the standard character input time for the problem presented to the user with the user's character input time for that problem acquired by the second acquisition unit to estimate the character input skill of the user.
  • the standard character input time may be, for example, a time set by the creator of the problem based on the correct answer to the problem, or it may be the average or median of the character input times of the users who answered the problem correctly, or it may be the average or median of the character input times of a top predetermined number of users who answered the problem correctly and had the shortest character input times, or it may be set by other methods.
  • This invention makes it possible to improve the accuracy of estimating a user's level of understanding.
  • Figure 1 is a schematic diagram showing a network system that performs testing using the CBT (Computer Based Testing) method.
  • Figure 2 (A) is a diagram showing an example of a display screen on which a user terminal displays a question distributed from server device 1
  • Figure 2 (B) is a diagram showing an example of a display screen in the middle of inputting an answer to the question displayed on the display screen
  • Figure 2 (C) is a diagram showing an example of a display screen when inputting the answer to the question displayed on the display screen has been completed.
  • Figure 3 (A) is a diagram showing an example of a display screen on which a user terminal displays a question distributed from server device 1
  • Figure 3 (B) is a diagram showing an example of a display screen in the middle of inputting an answer to the question displayed on the display screen
  • Figure 3 (C) is a diagram showing an example of a display screen when inputting the answer to the question displayed on the display screen has been completed.
  • FIG. 4 is a block diagram showing the configuration of the main part of the server device.
  • FIG. 5 is a block diagram showing the configuration of the main parts of a user terminal.
  • FIG. 6 is a flowchart showing the operation of the user terminal in this example.
  • FIG. 7 is a flowchart showing the operation of the server device in this example.
  • Figure 8 (A) is an example of the screen immediately after a question is displayed on the display screen (the point at which the user's answer time is 0)
  • Figure 8 (B) is an example of a state where the user is in the middle of inputting an answer to the question displayed on the display screen (a state where the user has not finished inputting the answer)
  • Figure 8 (C) is an example of a state where the user has finished inputting an answer to the question displayed on the display screen.
  • Figure 9 (A) is an example of a screen when a user has not entered a single character of the answer into the answer field for a question displayed on the display screen
  • Figure 9 (B) is an example of a state in which a user is in the middle of entering a character string of the answer into the answer field for a question displayed on the display screen (a state in which the user has not finished entering the answer)
  • Figure 9 (C) is an example of a state in which a user has finished entering a character string of the answer into the answer field for a question displayed on the display screen.
  • Figure 10 (A) is an example of the screen immediately after a question is displayed on the display screen (the point at which the user's answer time is 0)
  • Figure 10 (B) is an example of a state where the user is in the middle of inputting an answer to the question displayed on the display screen (a state where the user has not finished inputting the answer)
  • Figure 10 (C) is an example of a state where the user has finished inputting an answer to the question displayed on the display screen.
  • Fig. 1 is a schematic diagram showing a network system for carrying out a test by a Computer Based Testing (CBT) method.
  • the network system of this example has a configuration in which a plurality of user terminals 2 are connected to a server device 1 via a network 5 so as to be capable of data communication.
  • an evaluation device according to the present invention is applied to the server device 1.
  • the evaluation device according to the present invention can also be applied to a user terminal 2 instead of a server device 1.
  • the user terminal 2 is a personal computer or tablet terminal operated by a user taking an exam conducted using the CBT method.
  • the server device 1 in this example distributes (transmits) exam questions to the user terminal 2 operated by the user.
  • the server device 1 also grades the user's answers transmitted from the user terminal 2.
  • the server device 1 distributes all questions to be answered by the user in the test to the user terminal 2 before the test begins. For example, if the test has n questions (n is a natural number), the server device 1 distributes n questions (question 1 to question n) to the user terminal 2 before the test begins. In other words, all questions for the current test are distributed from the server device 1 to the user terminal 2 before the test begins.
  • Question 1, Question 2, etc. shown below are delivered from the server device 1 to the user terminal 2.
  • the user terminal 2 sequentially displays the test questions distributed from the server device 1 on the display screen.
  • Figure 2 (A) shows the state in which question 1 is displayed on the display screen.
  • Figure 2 (B) shows a state where "Your behavior is” has been entered in the answer field.
  • Figure 2 (B) is an example of a state where the user is in the middle of entering an answer to a question displayed on the display screen (a state where the user has not yet completed entering the answer).
  • Figure 2 (C) shows a state where "Your behavior is like a mother" has been entered in the answer field.
  • Figure 2 (C) is an example of a state where the user has completed entering an answer to a question displayed on the display screen.
  • FIG. 3(B) is an example of a state in which the user is in the middle of inputting an answer to the question displayed on the display screen (a state in which the user has not finished inputting the answer)
  • FIG. 3(C) is an example of a state in which the user has finished inputting an answer to the question displayed on the display screen.
  • the user terminal 2 displays the first question on the display screen.
  • the answer column for the next question is not necessarily blank when the user displays the next question on the display screen.
  • the question to be displayed is one in which the user has already entered some character string in the answer column
  • the user terminal 2 displays the character string in the answer column. For example, when the user presses the button for "next question” displayed on the display screen to display question 1, and the user has already entered "Your behavior is,” in the answer column for question 1, the user terminal 2 displays the screen shown in FIG. 2(B) on the display.
  • the user terminal 2 stores answer time information for that question, which pairs the time when the question was displayed on the display screen with the time when the "next question" button was pressed.
  • the user terminal 2 also stores character input history information of the input operation for character input for the question displayed on the display screen.
  • the character input history information is information that pairs the character keys operated with the times at which they were operated, and is arranged in chronological order.
  • the server device 1 acquires the user's answer time for each question based on the answer time information for that question. For example, the server device 1 acquires as the user's answer time the time from when the question is displayed on the screen of the display of the user terminal 2 to when the user presses the "next question" button.
  • the time from when the user presses the button for "next question” displayed on the display screen until the next question is displayed on the display screen of the user terminal 2 is not included in the user's answer time.
  • the user terminal 2 may be configured to store answer time information for each question displayed on the display screen that pairs the time when the button for "next question” was pressed just before the question was displayed on the display screen with the time when the button for "next question” was pressed again. In this case, the user terminal 2 does not need to detect the time when the question was displayed on the display screen, thereby reducing the processing load.
  • the server device 1 acquires, for each question, a character input time, which is the time during which the user inputs a character string related to the answer, based on the character input history information of the question. Based on the character input history information, the server device 1 acquires the time at which the input operation of the first character input into the answer field of the question displayed on the screen of the display of the user terminal 2 was accepted as the time at which the input operation of the character string related to the answer of the question started. Based on the character input history information, the server device 1 acquires the time at which the input operation of the last character input into the answer field of the question displayed on the screen of the display of the user terminal 2 was accepted as the time at which the input operation of the character string related to the answer of the question was completed.
  • the server device 1 acquires, for that question, the time difference between the time at which the user started the input operation of the character string related to the answer and the time at which the input operation of the character string related to the answer was completed as the user's character input time for that question.
  • the user terminal 2 associates the user's answer, answer time information, and character input history information for each question and transmits them to the server device 1.
  • the server device 1 grades the user's answers for each question and estimates the level of understanding.
  • the answers may be graded, for example, by a point deduction method or point addition method, or by other methods, or even by a scoring method that utilizes AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the level of understanding is estimated, for example, using the user's score on the question and the ratio of the user's thinking time to the question.
  • a standard thinking time and a standard character input time are set for each question.
  • the user's score percentage is the ratio of the user's score (the score of the user's answer) to the score allocated to the question,
  • User's score rate (user's score) / (question score) This is the value calculated by:
  • the thinking time is the answer time minus the character input time (answer time - character input time).
  • the standard thinking time may be a time set by the question creator based on the difficulty of the question, for example.
  • the standard thinking time may be the average or median thinking time of users who answered the question correctly (for example, users with a score of 90% or more).
  • the standard thinking time may be the average or median thinking time of a top predetermined number of users (for example, 50, 100, etc.) who had the shortest thinking time among the users who answered the question correctly.
  • the standard character input time may be a time set by the creator of the question based on the number of characters in the correct answer to the question, for example.
  • the standard character input time may be the average or median character input time of users who answered the question correctly (e.g., users with a score of 90% or more).
  • the standard character input time may be the average or median character input time of a top predetermined number of users (e.g., 50, 100, etc.) who had the shortest character input time among the users who answered the question correctly.
  • the standard thinking time and the standard character input time may be determined by a method other than the above. Also, instead of either the standard thinking time or the standard character input time, a standard answer time may be set.
  • the user's thinking time ratio is the ratio of the user's thinking time to the standard thinking time for that problem
  • User thinking time rate (user thinking time) / (standard thinking time for the problem) This is the value calculated by:
  • the estimated level of understanding of the user is a level based on the score rate, which is further subdivided by the thinking time rate.
  • the server device 1 classifies users whose score is 0.9 or more as having an understanding level of level A.
  • the server device 1 classifies users whose score is equal to or greater than 0.8 and less than 0.9 as having a level of understanding of level B.
  • the server device 1 classifies users whose score is equal to or greater than 0.7 and less than 0.8 as having a level of understanding of C.
  • the server device 1 classifies users whose score is equal to or greater than 0.6 and less than 0.7 as having a level of understanding of level D.
  • the server device 1 classifies users whose score is less than 0.6 as having an understanding level of level E.
  • the server device 1 further classifies the levels of understanding classified based on the score rate by the thinking time rate.
  • the server device 1 further classifies the levels of understanding classified based on the score rate into three levels, but this subclassification may be any number of levels as long as it is two or more.
  • the server device 1 classifies a user whose thinking time rate is 1.0 or less as high.
  • the server device 1 classifies users whose thinking time rate is 1.4 or less and not 1.0 or less into the middle category,
  • the server device 1 classifies users whose thinking time rate is not 1.4 or less into a low level.
  • the user's level of understanding estimated by the server device 1 is divided into 15 levels, with the order from highest to lowest being: high level A ⁇ medium level A ⁇ low level A ⁇ high level B ⁇ ... ⁇ low level D ⁇ high level E ⁇ medium level E ⁇ low level E.
  • the user's level of understanding may be calculated using a function with the reference thinking time, reference character input time, user's answer time, user's character input time, user's score, and question point allocation as variables.
  • AI may be used to estimate the user's level of understanding using the reference thinking time, reference character input time, user's answer time, user's character input time, user's score, and question point allocation as inputs, or other methods may be used.
  • either the reference thinking time or the reference character input time may be replaced with the reference answer time.
  • the user's level of understanding for each question can be estimated without being affected by the length of time it takes for the user to input characters (for example, without being affected by the user's manual dexterity). In other words, the accuracy of estimating the user's level of understanding can be improved.
  • Configuration example 4 is a block diagram showing the configuration of the main parts of the server device of this example.
  • the server device 1 includes a control unit 11, a question database 12 (question DB12), a reference time database 13 (reference time DB13), and a communication unit 14.
  • the control unit 11 controls each part of the main body of the server device 1.
  • the control unit 11 also has an answer acquisition unit 11a, a character input time acquisition unit 11b, an answer time acquisition unit 11c, a scoring unit 11d, and an estimation unit 11e.
  • the answer acquisition unit 11a, the character input time acquisition unit 11b, the answer time acquisition unit 11c, the scoring unit 11d, and the estimation unit 11e of the control unit 11 will be described later.
  • Question DB12 is a database that registers test questions to be distributed to the user terminal 2 operated by the user.
  • question DB12 also registers each question in association with the correct answer (model answer) for that question.
  • the reference answer time, the reference character input time, and the reference thinking time for each question registered in the question DB 12 are registered in association with each other.
  • the reference answer time, the reference character input time, and the reference thinking time are registered in the reference time DB 13 in association with each question.
  • standard answer time standard thinking time + standard character input time
  • the communication unit 14 communicates data with the user terminal 2 operated by the user via the network 5.
  • the server device 1 distributes questions to the user terminal 2.
  • the server device 1 receives the answer to each question, answer time information, and character input history information from the user terminal 2.
  • the server device 1 may be configured to receive input history information, including answer time information and character input history information, from the user terminal 2.
  • the input history information referred to here is information in which, for each input operation performed by the user on the user terminal 2, data is arranged in chronological order, associating an input code that identifies that input operation with the operation time at which the user performed the input operation.
  • the answer acquisition unit 11a acquires the answer to the question received from the user terminal 2 via the communication unit 14.
  • the character input time acquisition unit 11b acquires, for each question, the time (character input time) during which the user inputs the character string related to the answer to that question, based on the character input history information received from the user terminal 2 by the communication unit 14. In this example, the character input time acquisition unit 11b acquires the time at which the input operation of the first character entered into the answer field of the question displayed on the display screen of the user terminal 2 was accepted as the time at which the input operation of the character string related to the answer to that question started.
  • the character input time acquisition unit 11b acquires the time at which the input operation of the last character entered into the answer field of the question displayed on the display screen of the user terminal 2 was accepted as the time at which the input operation of the character string related to the answer to that question was completed.
  • the answer time acquisition unit 11c acquires, for each question, the time required by the user to answer that question as the answer time based on the answer time information received from the user terminal 2 by the communication unit 14. In this example, the answer time acquisition unit 11c acquires the time from when the question is displayed on the screen of the display of the user terminal 2 to when the user presses the "next question” button as the user's answer time for that question.
  • the answer time acquisition unit 11c may be configured to acquire, each time a question is displayed on the display screen, the time difference between the time when the button for "next question” is pressed immediately before the question is displayed on the display screen and the time when the button for "next question” is pressed again as the user's answer time.
  • the marking unit 11d marks the answers to the questions acquired by the answer acquisition unit 11a.
  • the marking unit 11d may mark the answers by subtracting or adding points, or by using other methods.
  • the estimation unit 11e estimates the user's level of understanding of that question using the user's answer, answer time, and character input time (thinking time).
  • the control unit 11 of the server device 1 is composed of a hardware CPU, memory, and other electronic circuits.
  • the hardware CPU executes the evaluation program of the present invention, it operates as an answer acquisition unit 11a, a character input time acquisition unit 11b, an answer time acquisition unit 11c, a scoring unit 11d, and an estimation unit 11e.
  • the memory also has an area for expanding the evaluation program of the present invention, and an area for temporarily storing data generated when the evaluation program is executed.
  • the control unit 11 may be an LSI that integrates the hardware CPU, memory, etc.
  • the hardware CPU is a computer that executes the evaluation method of the present invention.
  • FIG. 5 is a block diagram showing the configuration of the main parts of the user terminal in this example.
  • the user terminal 2 includes a control unit 21, a display 22, an operation unit 23, and a communication unit 24.
  • the control unit 21 controls the operation of each part of the main body of the user terminal 2.
  • the control unit 21 also has an answer time information acquisition unit 21a and a character input history information acquisition unit 21b.
  • the answer time information acquisition unit 21a and the character input history information acquisition unit 21b of the control unit 21 will be described later.
  • the display 22 displays questions distributed from the server device 1, answers to questions entered by the user, etc.
  • the operation unit 23 detects input operations by the user.
  • the operation unit 23 may be configured to accept character input using a hardware keyboard or a software keyboard.
  • the operation unit 23 may also have a pointing device such as a mouse.
  • the communication unit 24 communicates data with the server device 1 via the network 5.
  • the answer time information acquisition unit 21a acquires answer time information for each question that correlates the time when the question was displayed on the screen of the display device 22 and the time when the "next question" button was pressed.
  • the character input history information acquisition unit 21b acquires, for each question, the history of input operations related to character input into the answer column of that question as character input history information.
  • the character input history information is information in which character input operation information that corresponds to the operated character keys (key codes), operation times, etc. is arranged in chronological order.
  • the control unit 21 of the user terminal 2 is composed of a hardware CPU, memory, and other electronic circuits.
  • the hardware CPU operates as an answer time information acquisition unit 21a and a character input history information acquisition unit 21b.
  • the memory also has an area for temporarily storing answer time information and character input history information.
  • the control unit 21 may be an LSI that integrates the hardware CPU, memory, etc.
  • Fig. 6 is a flow chart showing the operation of the user terminal in this example
  • Fig. 7 is a flow chart showing the operation of the server device in this example.
  • the server device 1 distributes questions to each user terminal 2 before the start of the test.
  • the user terminal 2 displays the first question on the screen of the display device 22 (s21, s22).
  • the answer time information acquisition unit 21a of the user terminal 2 acquires answer time information for the question currently displayed on the screen of the display device 22 (target question) (s23). In s23, answer time information relating to the answer start time of the question currently displayed on the screen of the display device 22 is acquired.
  • the target questions referred to here are the questions in the current test, and are the questions currently displayed on the screen of the display device 22.
  • the user terminal 2 acquires character input history information corresponding to the current character input operation in the character input history information acquisition unit 21b (s24, s25). In s25, information pairing the character key operated this time and the time of operation is acquired as the character input history information.
  • the user terminal 2 also repeats the processes from s24 to s27 until it detects that the user has operated the button for "next question” displayed on the screen of the display device 22 (s26) or until the end of the test (s27).
  • the user terminal 2 When the user operates the button for "next question” displayed on the screen of the display device 22, the user terminal 2 acquires answer time information for the question (target question) that was displayed on the screen of the display device 22 (s28). The user terminal 2 displays the next question on the screen of the display device 22 (s29) and returns to s23.
  • the user terminal 2 obtains answer time information and character input history information for each question displayed on the screen of the display device 22.
  • the user terminal 2 acquires answer time information and character input history information for each period that the question was displayed on the display device 22. In other words, there is not necessarily only one answer time information and character input history information associated with each question.
  • this question A is associated with answer time information and character input history information acquired during the period from time t1 to time t2, and answer time information and character input history information acquired during the period from time t3 to time t4.
  • the user terminal 2 transmits the user's answers, answer time information, and character input history information for each question to the server device 1 (s30), and ends this process.
  • the server device 1 waits to receive the answer, answer time information, and character input history information for each question transmitted from the user terminal 2 (s1).
  • the answer time acquisition unit 11c acquires the user's answer time for each question (s2).
  • the answer time acquisition unit 11c acquires, for each question, the answer time from the time the question is displayed on the display 22 of the user terminal 2 to the time the button for "next question" is operated while the question is displayed on the display 22 of the user terminal 2, based on the answer time information associated with that question.
  • the server device 1 also acquires the user's character input time for each question in the character input time acquisition unit 11b (s3).
  • the character input time acquisition unit 11b acquires, for each question, the time from the first character input time to the last character input time for that question based on the character input history information associated with that question.
  • the server device 1 acquires the sum of the answer times acquired for each associated answer time information as the answer time for that question. Similarly, for questions with multiple associated answer time information and character input history information, the server device 1 acquires the sum of the character input times acquired for each associated character input history information as the character input time for that question.
  • the server device 1 obtains the user's thinking time by subtracting the character input time obtained in s3 from the answer time obtained in s2 for that question (s4).
  • the server device 1 scores the answers to each question (s5).
  • the scoring unit 11d scores the user's answers for each question.
  • the answers may be scored, for example, by a point deduction method or a point addition method, or by other methods, or even by a scoring method that utilizes AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the server device 1 estimates the user's level of understanding for each question based on the answer time, thinking time, and scoring results obtained for that question (s6). For example, in s6, the estimation unit 11e estimates the user's score rate for that question and the ratio of the user's thinking time for that question, as described above.
  • the estimation unit 11e may also evaluate the user's character input speed (character input skill) for each question based on the ratio between the character input time acquired for that question and the standard character input time set for that question. For example, the estimation unit 11e evaluates the user's character input speed based on the magnitude of (user's character input time/standard character input time). In this case, the estimation unit 11e evaluates that the user's character input speed is slower the larger the value of (user's character input time/standard character input time).
  • the server device 1 can estimate the user's level of understanding without being affected by the length of time the user takes to input characters (for example, without being affected by the user's manual dexterity). In other words, the accuracy of estimating the user's level of understanding can be improved.
  • the server device 1 can also evaluate the user's character input speed.
  • Modifications Modification 1 In the above example, the estimation of the user's understanding level is performed by the server device 1. However, the estimation of the user's understanding level may be performed by the user terminal 2. That is, the evaluation device according to the present invention may be applied to the user terminal 2 instead of the server device 1.
  • control unit 21 of the user terminal 2 may be configured to additionally include the answer acquisition unit 11a, character input time acquisition unit 11b, answer time acquisition unit 11c, scoring unit 11d, and estimation unit 11e described above.
  • the user terminal 2 may also be configured to include a reference time DB 13, or to receive the reference answer time, reference character input time, and reference thinking time for each question from the server device 1 and store them in memory.
  • the user terminal 2 replaces the process of s30 described above with the process of s2 to s6 described above and executes it.
  • control unit 21 of the user terminal 2 may be provided with the character input time acquisition unit 11b and the answer time acquisition unit 11c, and the processes related to s2 to s4 described above may be executed by the user terminal 2.
  • the server device 1 only needs to receive the user's answer time, character input time, and thinking time from the user terminal 2. In other words, the server device 1 does not need to include the character input time acquisition unit 11b and the answer time acquisition unit 11c in the control unit 11.
  • the time taken by the user to answer a question may be determined by calculating the time from the time the "next question” button was last operated to the time it is currently operated, which is the answer time for the question displayed on the display 22 of the user terminal 2 in response to the previous operation of the "next question” button.
  • the time when the button for "next question” displayed on the display 22 of the user terminal 2 was operated was taken as the end time of the user's answer to the question displayed on the display 22 at that time.
  • the end time of the user's answer to the question displayed on the display 22 of the user terminal 2 may be taken as the time when the last character input operation was performed in the answer column of that question.
  • the answer time does not include the time from when the user finishes inputting the answer to the answer column to when the next question is displayed on the display 22 (or when the button for "next question” is operated by the user). Therefore, the user's thinking time for the question can be properly obtained, and the accuracy of estimating the user's understanding level can be improved.
  • the character input time acquisition unit 11b acquires the time from the time when the first character input operation is performed in the answer field of the question to the time when the last character input operation is performed in the answer field as the character input time of the user.
  • the user may rethink the answer to the question while inputting the character string related to the answer into the answer field.
  • the character input time acquired by the character input time acquisition unit 11b includes the time required for the user to rethink the answer after starting the character input related to the answer into the answer field of the question.
  • the character input time and thinking time of the user are acquired more accurately by suppressing the time required for rethinking the answer included in the character input time acquired by the character input time acquisition unit 11b.
  • the character input time acquisition unit 11b determines, for each successive character input operation, whether or not the time between these successive character input operations is the time required for rethinking an answer, based on the character input history information. Specifically, the character input time acquisition unit 11b determines whether the input waiting time (character input operation waiting time) from the previous character input operation into the answer field until the current character input operation is accepted exceeds a set time. If the character input operation waiting time exceeds the set time, the character input time acquisition unit 11b determines this character input operation waiting time as the rethinking time. Conversely, if the character input operation waiting time does not exceed the set time, the character input time acquisition unit 11b determines this character input operation waiting time as the partial character input time.
  • the set time may be, for example, a few seconds (e.g., 1 to 3 seconds).
  • the character input time acquisition unit 11b acquires the sum of the partial character input times as the character input time required to enter the answer to the question.
  • thinking time is the answer time minus the character input time, so the time spent rethinking the answer can be prevented from being included in the character input time. This makes it possible to obtain the user's character input time and thinking time more accurately.
  • the user terminal 2 may display an image comparing the standard answer time with the user's answer time for the question displayed on the screen of the display 22 (i.e., the question that the user is answering at this point).
  • FIG. 8(A) is an example of the screen immediately after a question is displayed on the display screen (the point when the user's answer time is 0)
  • FIG. 8(B) is an example of a state in which the user is in the middle of inputting an answer to the question displayed on the display screen (a state in which the user has not finished inputting the answer)
  • FIG. 8(C) is an example of a state in which the user has finished inputting an answer to the question displayed on the display screen.
  • the user terminal 2 shows an example in which a bar graph is used on the screen of the display 22 as an image comparing the standard answer time with the user's answer time.
  • the standard shown in the answer time bar graphs shown in Figures 8 (A), (B), and (C) indicates the standard answer time.
  • the hatched portion shown in the answer time bar graph indicates the user's answer time at that point in time.
  • the user's answer time is zero, so no hatched portion is drawn in the bar graph of answer time.
  • the user terminal 2 extends the hatched portion in the bar graph as the answer time passes.
  • FIG. 8(B) the user is in the middle of answering the question displayed on the screen of the display device 22, but the user's answer time has not yet reached the reference time (the hatched portion is not displayed to the right of the reference time).
  • FIG. 8(C) the user has completed answering the question displayed on the screen of the display device 22.
  • the user's answer time is longer than the reference time (the hatched portion is displayed extending to the right of the reference time).
  • a bar graph comparing the reference answer time with the user's answer time may also be displayed on the screen of the display 22.
  • the user terminal 2 may display a bar graph comparing the reference thinking time with the user's thinking time on the screen of the display 22.
  • the bar graph shown in Fig. 10(B) and the bar graph shown in Fig. 10(C) are the same.
  • the user terminal 2 may display two or more of the following on the screen of the display 22: a bar graph comparing the reference answer time with the user's answer time, a bar graph comparing the reference character input time with the user's character input time, and a bar graph comparing the reference thinking time with the user's thinking time.
  • this invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components in the implementation stage without departing from the gist of the invention.
  • various inventions can be formed by appropriately combining multiple components disclosed in the above-described embodiments. For example, some components may be deleted from all of the components shown in the embodiments. Furthermore, components from different embodiments may be appropriately combined.
  • the order of each step in the flowcharts shown in the explanations of all the examples above is merely an example, and may be changed as appropriate to the extent possible.
  • the first acquisition unit (11c) The time when the question is displayed on the screen of the display device (22) is regarded as the time when the user starts answering the question, and The time when an input to display another question on the screen of the display device (22) is accepted is regarded as the time when the user completes the answer to the question that was displayed on the screen of the display device (22), and the answer time is acquired.
  • Evaluation device (1) according to claim 1.
  • the second acquisition unit (11b) acquires the character input time by determining a time when an input operation of a character string related to an answer to the question is first received after the question is presented to the user as a time when the user starts inputting a character string related to the answer to the question.
  • the estimation unit (11e) compares a standard character input time for the problem presented to the user with the character input time of the user for the problem acquired by the second acquisition unit (11b) to estimate the character input skill of the user.
  • An evaluation device (1) according to any one of the preceding claims.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ユーザの理解度の推定精度を向上させる技術を提供する。第１取得部が、ユーザが提示された問題を解答するのに要した解答時間を取得する。第２取得部が、ユーザが問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する。推定部が、第１取得部によって取得された解答時間、および第２取得部によって取得された文字入力時間を用いて、問題に対するユーザの理解度を推定する。

Description

評価装置、評価方法、および評価プログラム
　この発明は、ユーザの知識や学力の判断し、評価する技術に関する。
　従来、ユーザに情報処理端末を操作させて、学習させたり、受験させたりすることが行われている。例えば、ユーザに情報処理端末を操作させて、ユーザの知識や学力を判断し、評価する試験を行う方式の１つにＣＢＴ（Computer　Based　Testing）がある。ＣＢＴでは、受験者であるユーザが操作する情報処理端末の表示器の画面に試験の問題が表示される。ユーザは、情報処理端末において、表示器の画面に表示された試験の問題の解答を入力する入力操作を行う。ユーザの知識や学力は、このユーザの解答の採点結果を基に判断される。ＣＢＴで使用される情報処理端末は、例えばパーソナルコンピュータや、タブレット端末である。
　なお、試験に限らず、学習時においても、ユーザに演習問題を解答させることによって、当該ユーザの知識や学力を判断できる。
　また、ユーザの知識や学力の判断に、問題の解答時間を用いることが提案されている（特許文献１参照）。
特開２０１１－　１８０１０号公報
　しかしながら、解答時間は、問題が情報処理端末の表示器に画面に表示された時点から、ユーザが問題に対する解答の入力を完了する時点までの時間である。
　ユーザは、情報処理端末で提示された問題を解答する場合、提示された問題を読んで思考し（考え）、得られた問題の解答にかかる文字列を入力する。すなわち、解答時間には、問題を読んで解答を思考する思考時間、および、問題の解答にかかる文字列を入力する文字入力時間が含まれている。一般的に、文字入力時間は、手先が器用なユーザほど短くなる傾向にある。
　したがって、特許文献１に記載されている、解答時間が長くなるにつれて、問題に対するユーザの理解度が低いと判断する構成では、ユーザの理解度が誤って判断される可能性が高くなる。例えば、文字入力時間が短いユーザ（例えば、手先が器用なユーザ）の理解度を誤って実際よりも高く判断してしまう可能性や、反対に、文字入力時間が長いユーザ（例えば、手先が不器用なユーザ）の理解度を誤って実際よりも低く判断してしまう可能性が高くなる。
　この発明の目的は、ユーザの理解度の推定精度を向上させる技術を提供することにある。
　この発明の評価装置は、上記目的を達成するため以下に示すように構成している。
　第１取得部は、ユーザが提示された問題を解答するのに要した解答時間を取得する。第１取得部は、例えば、問題が表示器の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻にすればよい。また、第１取得部は、例えば、別の問題を表示器の画面に表示させる入力を受け付けた時刻を、ユーザが表示器の画面に表示されていた問題の解答を完了した時刻にすればよい。この別の問題を表示器の画面に表示させる入力としては、例えば、その時点で表示されている問題に対する解答完了にかかる入力、次の問題を表示器の画面に表示させる入力を含めればよい。
　第２取得部は、ユーザが問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する。第２取得部は、例えば、問題をユーザに提示した後、当該問題の解答にかかる文字列の入力操作を最初に受け付けた時刻を、当該ユーザが当該問題の解答にかかる文字列の入力を開始した時刻にすればよい。また、また、第２計測部は、例えば、別の問題を表示器の画面に表示させる入力を受け付けた時刻を、ユーザが表示器の画面に表示されていた問題の解答にかかる文字列の入力を完了した時刻にすればよい。
　推定部は、第１取得部によって取得された解答時間、および第２取得部によって取得された文字入力時間を用いて、問題に対するユーザの理解度を推定する。例えば、推定部は、第１取得部によって取得された解答時間から、第２取得部によって取得された文字入力時間を差し引いた思考時間を基に、問題に対するユーザの理解度を推定する。思考時間には、ユーザが表示器の画面に表示された問題を読む時間が含まれている。
　したがって、この構成によれば、ユーザの理解度を、そのユーザの文字入力時間の長さに影響されることなく推定できる（例えば、ユーザの手先の器用さに影響されることなく推定できる。）。すなわち、ユーザの理解度の推定精度を向上させることができる。
　また、推定部は、例えば、ユーザに提示した問題の基準思考時間と、当該問題におけるユーザの思考時間と、を比較して、問題に対するユーザの理解度を推定する構成にしてもよい。このように構成すれば、問題の難易度に応じて、ユーザの理解度を推定することができる。基準思考時間は、例えば、問題の作成者が、問題の難易度に基づいて設定した時間としてもよいし、その問題に正答したユーザの思考時間の平均値、中央値としてもよいし、その問題に正答したユーザの中で、思考時間が短い上位所定人数のユーザの思考時間の平均値、中央値としてもよいし、これら以外の手法で設定してもよい。
　また、第２取得部は、例えば、問題の解答にかかる文字列の入力操作を受け付けてから、次の文字列の入力操作を受け付けるまでの入力待ち時間が、設定時間（数秒（例えば、１～３秒））を超えていれば、この入力待ち時間を文字入力時間としない構成にしてもよい。このように構成すれば、第２取得部において取得される文字入力時間に含まれる思考時間（例えば、ユーザが問題の解答にかかる文字列の入力途中に、問題の読み直しに要した時間や、問題の解答の再思考に要した時間）を抑えられる。これにより、ユーザの理解度の推定精度のさらなる向上が図れる。
　さらに、推定部は、ユーザに提示した問題の基準文字入力時間と、第２取得部によって取得された当該問題におけるユーザの文字入力時間と、を比較して、当該ユーザの文字入力技量を推定してもよい。基準文字入力時間は、例えば、問題の作成者が、問題の正答に基づいて設定した時間としてもよいし、その問題に正答したユーザの文字入力時間の平均値、中央値としてもよいし、その問題に正答したユーザの中で、文字入力時間が短かった上位所定人数のユーザの文字入力時間の平均値、中央値としてもよいし、これら以外の手法で設定してもよい。
　この発明によれば、ユーザの理解度の推定精度を向上させることができる。
図１は、ＣＢＴ（Computer　Based　Testing）方式で試験を実施するネットワークシステムを示す概略図である。 図２（Ａ）は、ユーザ端末がサーバ装置１から配信されてきた問題を表示した表示器の画面例を示す図であり、図２（Ｂ）は、表示器の画面に表示されている問題に対する解答の入力途中の表示器の画面例を示す図であり、図２（Ｃ）は、表示器の画面に表示されている問題に対する解答の入力完了時の表示器の画面例を示す図である。 図３（Ａ）は、ユーザ端末がサーバ装置１から配信されてきた問題を表示した表示器の画面例を示す図であり、図３（Ｂ）は、表示器の画面に表示されている問題に対する解答の入力途中の表示器の画面例を示す図であり、図３（Ｃ）は、表示器の画面に表示されている問題に対する解答の入力完了時の表示器の画面例を示す図である。 図４は、サーバ装置の主要部の構成を示すブロック図である。 図５は、ユーザ端末の主要部の構成を示すブロック図である。 図６は、この例のユーザ端末の動作を示すフローチャートである。 図７は、この例のサーバ装置の動作を示すフローチャートである。 図８（Ａ）は、表示器の画面に問題が表示された直後（ユーザの解答時間が０である時点）の画面例であり、図８（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図８（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。 図９（Ａ）は、表示器の画面に表示された問題に対して、解答欄に解答にかかる文字列を１文字も入力していないときの画面例であり、図９（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答欄に解答にかかる文字列を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図９（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答欄に解答にかかる文字列の入力を完了した状態の例である。 図１０（Ａ）は、表示器の画面に問題が表示された直後（ユーザの解答時間が０である時点）の画面例であり、図１０（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図１０（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
　以下、この発明の実施形態について説明する。
　＜１．適用例＞
　図１は、ＣＢＴ（Computer　Based　Testing）方式で試験を実施するネットワークシステムを示す概略図である。この例のネットワークシステムは、図１に示すように、ネットワーク５を介して複数のユーザ端末２をサーバ装置１にデータ通信可能に接続した構成である。この例は、この発明にかかる評価装置をサーバ装置１に適用した例である。
　なお、後述の変形例で記載するように、この発明にかかる評価装置をサーバ装置１ではなく、ユーザ端末２に適用することも可能である。
　ユーザ端末２は、ＣＢＴ方式で実施される試験を受験するユーザが操作するパーソナルコンピュータや、タブレット端末である。この例のサーバ装置１は、ユーザが操作するユーザ端末２に対して試験の問題を配信（送信）する。また、サーバ装置１は、ユーザ端末２から送信されてきたユーザの解答の採点等を行う。
　この例では、サーバ装置１は、試験の開始前に、この試験でユーザに解答させる全ての問題をユーザ端末２に配信している。例えば、サーバ装置１は、試験の問題がｎ問（ｎは、自然数）である場合、試験の開始前に、ｎ問の問題（問題１～問題ｎ）をユーザ端末２に配信している。言い換えれば、ユーザ端末２には、試験の開始前に、今回の試験の全ての問題がサーバ装置１から配信されている。
　例えば、以下に示す問題１、問題２等が、サーバ装置１からユーザ端末２に配信される。
・問題１
　『以下の英語を日本語に訳しなさい。　
　　「You　behave　like　your　mother」』
・問題２
　『以下の日本語を英語に訳しなさい。　
　　「ジョンは、世界中に多くの友達がいる。」』
　なお、ここでは、問題を２問例示しているだけであり、試験の問題数が２問であるという意味ではない。試験の問題数は、１問以上であれば、何問であってもよい。
　この例のユーザ端末２は、サーバ装置１から配信されてきた試験の問題を順番に表示器の画面に表示する。図２（Ａ）は、問題１が表示器の画面に表示された状態を示している。
　ユーザは、ユーザ端末２が備える入力デバイス（マウス、キーボード、タッチパネル等）を操作して、表示器の画面に表示された問題に解答する（解答欄に解答を入力する。）。図２（Ｂ）は、解答欄に『あなたの振る舞いは、』が入力された状態を示している。図２（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例である。また、図２（Ｃ）は、解答欄に、『あなたの振る舞いは、母のようだ』が入力された状態を示している。図２（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
　ユーザ端末２は、ユーザによって、表示器の画面に表示している『次の問題』にかかるボタンを押下する操作がなされると、次の問題（この場合、問題２）を表示器の画面に表示する（図３（Ａ）参照）。この『次の問題』にかかるボタンを押下する操作は、その時点において表示器の画面に表示されている問題の解答完了にかかる入力操作の１つである。図３（Ｂ）は、図２（Ｂ）と同様に、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図３（Ｃ）は、図２（Ｃ）と同様に、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
　ユーザ端末２は、試験の問題がｎ問である場合、表示器の画面にｎ問目の問題を表示しているとき、『次の問題』にかかるボタンを押下する操作がなされると、表示器の画面に１問目の問題を表示する。また、ユーザ端末２は、『次の問題』にかかるボタンを押下する操作がなされた場合、次の問題を表示器の画面に表示したとき、その問題の解答欄が空欄であるとは限らない。具体的には、ユーザ端末２は、表示する問題が、ユーザが解答欄に何らかの文字列をすでに入力した問題である場合、その文字列を解答欄に表示する。例えば、ユーザ端末２は、表示器の画面に表示している『次の問題』にかかるボタンが押下され問題１を表示する場合、ユーザがすでに問題１の解答欄に『あなたの振る舞いは、』を入力済みであった場合、図２（Ｂ）に示す画面を表示器に表示させる。
　この例のユーザ端末２は、表示器の画面に問題が表示される毎、その問題について、表示器の画面に表示された時刻と、『次の問題』にかかるボタンが押下された時刻とを対にした解答時間情報を記憶する。また、ユーザ端末２は、表示器の画面に表示されている問題について、文字入力にかかる入力操作の文字入力履歴情報を記憶する。文字入力履歴情報は、操作された文字キーと、操作された時刻とを対にして時系列に並べた情報である。
　サーバ装置１は、問題毎に、ユーザの解答時間を、その問題の解答時間情報を基に取得する。例えば、サーバ装置１は、問題がユーザ端末２の表示器の画面に表示された時刻から、『次の問題』にかかるボタンがユーザによって押下された時刻までの時間を、ユーザの解答時間として取得する。
　なお、この例は、ユーザが、表示器の画面に表示している『次の問題』にかかるボタンを押下してから、次の問題がユーザ端末２の表示器の画面に表示されるまでの時間（表示遅れ時間）を、ユーザの解答時間に含まれないようにしている。しかし、この表示遅れ時間は、わずかな時間であることから、ユーザ端末２は、表示器の画面に問題が表示される毎、その問題について、表示器の画面に表示される直前に『次の問題』にかかるボタンが押下された時刻と、次に『次の問題』にかかるボタンが押下された時刻とを対にした解答時間情報を記憶する、構成にしてもよい。この場合、ユーザ端末２は、表示器の画面に問題が表示された時刻を検出しなくてもよいので、処理負荷が低減される。
　また、サーバ装置１は、問題毎に、ユーザが解答にかかる文字列を入力していた時間である文字入力時間を、その問題の文字入力履歴情報を基に取得する。サーバ装置１は、文字入力履歴情報を基に、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最初に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を開始した時刻として取得する。また、サーバ装置１は、文字入力履歴情報を基に、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最後に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を完了した時刻として取得する。サーバ装置１は、問題毎に、その問題について、ユーザが解答にかかる文字列の入力操作を開始した時刻と、解答にかかる文字列の入力操作を完了した時刻との時間差を、当該問題におけるユーザの文字入力時間として取得する。
　ユーザ端末２は、試験の終了時に、問題毎に、ユーザの解答、解答時間情報、および文字入力履歴情報を対応付けて、サーバ装置１に送信する。
　サーバ装置１は、問題毎に、ユーザの解答を採点するとともに、理解度を推定する。解答の採点は、例えば、減点法や加点法によって行われてもよいし、他の手法で行われてもよいし、さらには、ＡＩ（Artificial　Intelligence）を活用した採点手法であってもよい。
　理解度は、例えば、その問題におけるユーザの得点率と、その問題に対するユーザの思考時間比率とを用いて推定される。この例では、問題毎に、基準思考時間、および基準文字入力時間が設定される。
　この例で言うユーザの得点率とは、その問題の配点に対するユーザの得点（ユーザの解答の採点結果）の比率であり、
　ユーザの得点率＝（ユーザの得点）／（問題の配点）
　によって算出される値である。
　また、思考時間は、解答時間から文字入力時間を差し引いた時間（解答時間－文字入力時間）である。基準思考時間は、例えば、問題の作成者が、その問題の難易度等に基づいて設定した時間としてもよい。また、基準思考時間は、その問題に正答したユーザ（例えば、得点率が９０％以上であるユーザ）の思考時間の平均値、または中央値としてもよい。さらには、基準思考時間は、その問題に正答したユーザの中で、思考時間が短かった上位所定人数（例えば、５０人、１００人等）のユーザの思考時間の平均値、または中央値としてもよい。
　また、基準文字入力時間は、例えば、問題の作成者が、その問題の正答の文字数等に基づいて設定した時間としてもよい。また、基準文字入力時間は、その問題に正答したユーザ（例えば、得点率が９０％以上であるユーザ）の文字入力時間の平均値、または中央値としてもよい。さらには、基準文字入力時間は、その問題に正答したユーザの中で、文字入力時間が短かった上位所定人数（例えば、５０人、１００人等）のユーザの文字入力時間の平均値、または中央値としてもよい。
　なお、基準思考時間、および基準文字入力時間は、上記以外の方法で定めてもよい。また、基準思考時間、または基準文字入力時間の一方に替えて、基準解答時間を設定してもよい。基準解答時間は、
　基準解答時間＝基準思考時間＋基準文字入力時間
　である。
　この例で言うユーザの思考時間率とは、その問題の基準思考時間に対するユーザの思考時間の比率であり、
　ユーザの思考時間率＝（ユーザの思考時間）／（問題の基準思考時間）
　によって算出される値である。
　この例では、推定されるユーザの理解度は、得点率に基づくレベルを、さらに思考時間率で細分類したレベルである。
　ここでは、得点率に基づく理解度のレベルが、５段階（レベルＡ～レベルＥ）である場合を例にして説明するが、得点率に基づく理解度のレベルは、２段階以上であれば何段階であってもよい。この例では、
　サーバ装置１は、得点率が0.9以上であるユーザを、レベルＡの理解度に分類し、
　サーバ装置１は、得点率が0.8以上、0.9未満であるユーザを、レベルＢの理解度に分類し、
　サーバ装置１は、得点率が0.7以上、0.8未満であるユーザを、レベルＣの理解度に分類し、
　サーバ装置１は、得点率が0.6以上、0.7未満であるユーザを、レベルＤの理解度に分類し、
　サーバ装置１は、得点率が0.6未満であるユーザを、レベルＥの理解度に分類する。
　また、この例では、サーバ装置１は、得点率に基づいて分類された理解度のレベルを、思考時間率で細分類する。ここでは、サーバ装置１は、得点率に基づいて分類された理解度のレベルを３段階で細分類する場合を例にして説明するが、この細分類は、２段階以上であれば何段階であってもよい。この例では、
　サーバ装置１は、思考時間率が1.0以下であるユーザを、高に分類し、
　サーバ装置１は、思考時間率が1.4以下であり、思考時間率が1.0以下でないユーザを、中に分類し、
　サーバ装置１は、思考時間率が1.4以下でないユーザを、低レベルに分類する。
　この例では、サーバ装置１において推定されるユーザの理解度は１５段階であり、高い方から、レベルＡの高→レベルＡの中→レベルＡの低→レベルＢの高→・・・・→レベルＤの低→レベルＥの高→レベルＥの中→レベルＥの低、の順番である。
　なお、上記したユーザの理解度の推定は、あくまでも一例であり、例えば、基準思考時間、基準文字入力時間、ユーザの解答時間、ユーザの文字入力時間、ユーザの得点、および問題の配点を変数とする関数によって、ユーザの理解度を算出する構成であってもよいし、基準思考時間、基準文字入力時間、ユーザの解答時間、ユーザの文字入力時間、ユーザの得点、および問題の配点を入力とし、ユーザの理解度を推定するＡＩを用いてもよいし、これら以外の手法であってもよい。また、基準思考時間、または基準文字入力時間の一方を、基準解答時間に置き換えてもよい。
　したがって、この例のネットワークシステムでは、問題毎に、ユーザの理解度を、そのユーザの文字入力時間の長さに影響されることなく（例えば、ユーザの手先の器用さに影響されることなく、）、推定できる。すなわち、ユーザの理解度の推定精度を向上させることができる。
　＜２．構成例＞
　図４は、この例のサーバ装置の主要部の構成を示すブロック図である。サーバ装置１は、制御ユニット１１と、問題データベース１２（問題ＤＢ１２）と、基準時間データベース１３（基準時間ＤＢ１３）と、通信部１４とを備えている。
　制御ユニット１１は、サーバ装置１本体各部を制御する。また、制御ユニット１１は、解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅを有している。制御ユニット１１が有する解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅについては後述する。
　問題ＤＢ１２は、ユーザが操作するユーザ端末２に配信する試験の問題を登録したデータベースである。また、この例では、問題ＤＢ１２には、問題毎に、その問題の正答（模範解答）が対応づけて登録されている。
　基準時間ＤＢ１３には、問題ＤＢ１２に登録されている問題毎に、その問題の基準解答時間、基準文字入力時間、および基準思考時間が対応付けて登録されている。この例では、問題毎に、基準解答時間、基準文字入力時間、および基準思考時間を対応付けて基準時間ＤＢ１３に登録しているとしたが、上記した通り、
　基準解答時間＝基準思考時間＋基準文字入力時間
　であることから、基準解答時間、基準文字入力時間、または基準思考時間のいずれか１つを登録していない構成であってもよい（登録されていないいずれかの時間は、登録されている２つの時間から算出できる。）。
　通信部１４は、ネットワーク５を介して、ユーザが操作するユーザ端末２との間でデータ通信を行う。サーバ装置１は、問題をユーザ端末２に配信する。また、サーバ装置１は、問題毎に、その問題の解答、解答時間情報、および文字入力履歴情報をユーザ端末２から受信する。
　なお、サーバ装置１は、解答時間情報、および文字入力履歴情報を含む、入力履歴情報をユーザ端末２から受信する構成であってもよい。ここで言う入力履歴情報は、ユーザ端末２においてユーザが行った入力操作毎に、その入力操作を特定する入力コードとユーザが入力操作を行った操作時刻とを対応付けたデータを時系列に並べた情報である。
　次に、制御ユニット１１が有する解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅについて説明する。
　解答取得部１１ａは、通信部１４においてユーザ端末２から受信した問題の解答を取得する。
　文字入力時間取得部１１ｂは、通信部１４においてユーザ端末２から受信した文字入力履歴情報を基に、問題毎に、その問題の解答にかかる文字列をユーザが入力していた時間（文字入力時間）を取得する。文字入力時間取得部１１ｂは、この例では、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最初に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を開始した時刻として取得する。また、文字入力時間取得部１１ｂは、文字入力履歴情報を基に、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最後に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を完了した時刻として取得する。
　解答時間取得部１１ｃは、通信部１４においてユーザ端末２から受信した解答時間情報を基に、問題毎に、ユーザがその問題の解答に要した時間を解答時間として取得する。この例では、解答時間取得部１１ｃは、問題がユーザ端末２の表示器の画面に表示された時刻から、『次の問題』にかかるボタンがユーザによって押下された時刻までの時間を、その問題のユーザの解答時間として取得する。
　なお、解答時間取得部１１ｃは、表示器の画面に問題が表示される毎、その問題について、表示器の画面に表示される直前に『次の問題』にかかるボタンが押下された時刻と、次に『次の問題』にかかるボタンが押下された時刻との時間差をユーザの解答時間として取得する構成であってもよい。
　採点部１１ｄは、解答取得部１１ａが取得した問題の解答を採点する。採点部１１ｄは、減点法や加点法によって採点してもよいし、他の手法で採点してもよい。
　推定部１１ｅは、問題毎に、ユーザの解答、解答時間、および文字入力時間（思考時間）を用いて、その問題に対するユーザの理解度を推定する。
　サーバ装置１の制御ユニット１１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、この発明にかかる評価プログラムを実行したときに、解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅとして動作する。また、メモリは、この発明にかかる評価プログラムを展開する領域や、この評価プログラムの実行時に生じたデータ等を一時記憶する領域を有している。制御ユニット１１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。また、ハードウェアＣＰＵが、この発明にかかる評価方法を実行するコンピュータである。
　図５は、この例のユーザ端末の主要部の構成を示すブロック図である。ユーザ端末２は、制御ユニット２１と、表示器２２と、操作部２３と、通信部２４とを備えている。
　制御ユニット２１は、ユーザ端末２本体各部の動作を制御する。また、制御ユニット２１は、解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂを有している。制御ユニット２１が有する解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂについては後述する。
　表示器２２は、サーバ装置１から配信されてきた問題の表示、ユーザによって入力された問題の解答の表示等を行う。
　操作部２３は、ユーザの入力操作を検出する。操作部２３は、文字入力をハードウェアキーボードで受け付ける構成であってもよいし、ソフトウェアキーボードで受け付ける構成であってもよい。また、操作部２３は、マウス等のポインティングデバイスを有していてもよい。
　通信部２４は、ネットワーク５を介して、サーバ装置１との間でデータ通信を行う。
　次に、制御ユニット２１が有する解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂについて説明する。
　解答時間情報取得部２１ａは、問題毎に、表示器２２のその画面に問題が表示された時刻、および『次の問題』にかかるボタンが押下された時刻と、を対応付けた解答時間情報を取得する。
　文字入力履歴情報取得部２１ｂは、問題毎に、その問題の解答欄に対する文字入力にかかる入力操作の履歴を文字入力履歴情報として取得する。文字入力履歴情報は、操作された文字キー（キーコード）、操作時刻等を対応付けた文字入力操作情報を時系列に並べた情報である。
　ユーザ端末２の制御ユニット２１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂとして動作する。また、メモリは、解答時間情報、および文字入力履歴情報を一時的に記憶する領域を有している。制御ユニット２１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。
　＜３．動作例＞
　図６は、この例のユーザ端末の動作を示すフローチャートである。図７は、この例のサーバ装置の動作を示すフローチャートである。
　この例では、サーバ装置１が、試験の開始前に、問題を各ユーザ端末２に配信している。
　ユーザ端末２は、試験の開始時刻になると、表示器２２の画面に１問目の問題を表示する（ｓ２１、ｓ２２）。ユーザ端末２は、表示器２２の画面における１問目の問題の表示が完了すると、解答時間情報取得部２１ａにおいて、今回表示器２２の画面に表示させた問題（対象問題）の解答時間情報を取得する（ｓ２３）。ｓ２３では、今回表示器２２の画面に表示させた問題の解答開始時刻にかかる解答時間情報を取得する。
　なお、ここで言う対象問題は、今回の試験の問題であって、その時点において表示器２２の画面に表示されている問題である。
　ユーザ端末２は、ユーザによって表示器２２の画面に表示されている問題の解答欄に対する文字入力操作が行われると、文字入力履歴情報取得部２１ｂにおいて、今回の文字入力操作に応じた文字入力履歴情報を取得する（ｓ２４、ｓ２５）。ｓ２５では、文字入力履歴情報として、今回操作された文字キーと、操作された時刻とを対にした情報を取得する。
　また、ユーザ端末２は、ユーザによって表示器２２の画面に表示されている『次の問題』にかかるボタンが操作されたことを検出するか（ｓ２６）、または試験の終了時刻になるまで（ｓ２７）、ｓ２４～ｓ２７にかかる処理を繰り返す。
　ユーザ端末２は、ユーザによって表示器２２の画面に表示されている『次の問題』にかかるボタンが操作されると、表示器２２の画面に表示させていた問題（対象問題）の解答時間情報を取得する（ｓ２８）。ユーザ端末２は、次の問題を表示器２２の画面に表示させ（ｓ２９）、ｓ２３に戻る。
　これにより、ユーザ端末２は、表示器２２の画面に表示させた問題毎に、解答時間情報、および文字入力履歴情報を取得する。
　また、ユーザ端末２は、表示器２２の画面に複数回表示させた問題については、その問題を表示器２２に表示させていた期間毎に、解答時間情報、および文字入力履歴情報を取得する。すなわち、問題毎に、その問題に対応づけられている解答時間情報、および文字入力履歴情報が１つであるとは限らない。例えば、問題Ａが、時刻ｔ１～時刻ｔ２、および時刻ｔ３～時刻ｔ４（ただし、時刻ｔ２と時刻ｔ３とは異なる時刻であり、時刻ｔ１と、時刻ｔ４とは異なる時刻である。）の期間に、表示器２２の画面に表示されていた場合、この問題Ａには、時刻ｔ１～時刻ｔ２の期間に取得した解答時間情報、および文字入力履歴情報、および時刻ｔ３～時刻ｔ４の期間に取得した解答時間情報、および文字入力履歴情報が対応づけられている。
　また、ユーザ端末２は、試験の終了時刻になると、問題毎に、ユーザの解答、解答時間情報、および文字入力履歴情報をサーバ装置１に送信し（ｓ３０）、本処理を終了する。
　次に、図７を参照して、サーバ装置１の動作を説明する。サーバ装置１は、ユーザ端末２から送信されてきた各問題の解答、解答時間情報、および文字入力履歴情報を受信するのを待つ（ｓ１）。サーバ装置１は、ユーザ端末２から送信されてきた各問題の解答、解答時間情報、および文字入力履歴情報を受信すると、解答時間取得部１１ｃにおいて、各問題のユーザの解答時間を取得する（ｓ２）。ｓ２では、解答時間取得部１１ｃが、問題毎に、その問題に対応づけられている解答時間情報を基に、その問題がユーザ端末２の表示器２２に表示された時刻から、その問題がユーザ端末２の表示器２２に表示されているときに『次の問題』にかかるボタンが操作された時刻までの時間を、解答時間として取得する。
　また、サーバ装置１は、文字入力時間取得部１１ｂにおいて、各問題のユーザの文字入力時間を取得する（ｓ３）。ｓ３では、文字入力時間取得部１１ｂが問題毎に、その問題に対応付けられている文字入力履歴情報を基に、その問題の解答欄に対する最初の文字入力時刻から、最後の文字入力時刻までの時間を、文字入力時間として取得する。
　なお、サーバ装置１は、解答時間情報、および文字入力履歴情報が複数対応付けられている問題については、対応付けられている解答時間情報毎に取得した解答時間の総和を、その問題の解答時間として取得する。同様に、サーバ装置１は、解答時間情報、および文字入力履歴情報が複数対応付けられている問題については、対応付けられている文字入力履歴情報毎に取得した文字入力時間の総和を、その問題の文字入力時間として取得する。
　サーバ装置１は、問題毎に、その問題についてｓ２で取得した解答時間から、ｓ３で取得した文字入力時間を差し引いた時間を、ユーザの思考時間として取得する（ｓ４）。
　サーバ装置１は、各問題の解答を採点する（ｓ５）。ｓ５では、採点部１１ｄが、問題毎に、ユーザの解答を採点する。解答の採点は、例えば、減点法や加点法によって行ってもよいし、他の手法で行ってもよいし、さらには、ＡＩ（Artificial　Intelligence）を活用した採点手法で行ってもよい。
　サーバ装置１は、問題毎に、その問題ついて取得した解答時間、思考時間、採点結果を基にユーザの理解度を推定する（ｓ６）。例えば、ｓ６では、推定部１１ｅが、上記したように、その問題におけるユーザの得点率と、その問題に対するユーザの思考時間比率とを用いて推定する。
　また、推定部１１ｅは、問題毎に、その問題ついて取得した文字入力時間と、その問題について設定されている基準文字入力時間との比率に基づいて、ユーザの文字入力速度（文字入力技量）を評価してもよい。例えば、推定部１１ｅは、（ユーザの文字入力時間／基準文字入力時間）の大きさによって、ユーザの文字入力速度を評価する。この場合、推定部１１ｅは、（ユーザの文字入力時間／基準文字入力時間）の値が大きいほど、ユーザの文字入力速度が遅いと評価する。
　このように、この例では、サーバ装置１は、ユーザの理解度を、そのユーザの文字入力時間の長さに影響されることなく（例えば、ユーザの手先の器用さに影響されることなく、）、推定できる。すなわち、ユーザの理解度の推定精度を向上させることができる。
　また、サーバ装置１は、ユーザの文字入力速度を評価することができる。
　＜４．変形例＞
　・変形例１
　上記した例は、ユーザの理解度の推定をサーバ装置１で行う構成であった。しかしながら、ユーザ端末２が、ユーザの理解度を推定する構成であってもよい。すなわち、この発明にかかる評価装置をサーバ装置１ではなく、ユーザ端末２に適用してもよい。
　具体的に言えば、ユーザ端末２の制御ユニット２１が、上記した解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅを追加的に有している構成にすればよい。また、ユーザ端末２は、基準時間ＤＢ１３を有する構成であってもよいし、サーバ装置１から各問題の基準解答時間、基準文字入力時間、および基準思考時間を受信し、メモリに記憶する構成であってもよい。
　そして、ユーザ端末２が、上記したｓ３０にかかる処理を、上記したｓ２～ｓ６にかかる処理に置き換えて実行すればよい。
　また、サーバ装置１の制御ユニット１１が有する解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅの一部の構成を、ユーザ端末２の制御ユニット２１に設けてもよい。例えば、ユーザ端末２の制御ユニット２１に文字入力時間取得部１１ｂ、および解答時間取得部１１ｃを設け、上記したs２～ｓ４にかかる処理を、ユーザ端末２が実行する構成にしてもよい。
　この場合、サーバ装置１は、ユーザの解答時間、文字入力時間、および思考時間をユーザ端末２から受信すればよい。すなわち、サーバ装置１は、文字入力時間取得部１１ｂ、および解答時間取得部１１ｃを制御ユニット１１に備えなくてもよい。
　・変形例２
　また、問題のユーザの解答時間は、前回『次の問題』にかかるボタンが前回操作された時刻から、今回操作された時刻までの時間を、前回の『次の問題』にかかるボタンの操作に応じてユーザ端末２の表示器２２に表示された問題の解答時間としてもよい。このように構成すれば、ユーザ端末２は、表示器２２における、問題の表示完了を検出する必要がなく、処理負荷の低減を図ることができる。
　・変形例３
　また、上記の例では、ユーザ端末２の表示器２２に表示されている『次の問題』にかかるボタンが操作された時刻を、その時点で表示器２２に表示されていた問題に対するユーザの解答終了時刻とした。しかし、ユーザ端末２の表示器２２に表示されていた問題に対するユーザの解答の終了時刻を、その問題の解答欄に対して最後に文字入力操作が行われた時刻としてもよい。このように構成すれば、ユーザが解答欄に対して解答を入力する操作を終えてから、次の問題が表示器２２に表示されるまで（または、『次の問題』にかかるボタンがユーザによって操作されるまで）の時間が、解答時間に含まれない。したがって、問題に対するユーザの思考時間を適正に取得し、ユーザの理解度の推定精度の向上を図ることができる。
　・変形例４
　また、上記の例では、文字入力時間取得部１１ｂは、問題の解答欄に対して最初の文字入力にかかる操作が行われた時刻から、この解答欄に対して最後の文字入力にかかる操作が行われた時刻までの時間を、ユーザの文字入力時間として取得するとした。しかし、ユーザは、解答欄に対して解答にかかる文字列を入力している途中に、その問題の解答を再思考することがある。上記の例では、文字入力時間取得部１１ｂによって取得される文字入力時間には、ユーザが問題の解答欄に対して解答にかかる文字入力を開始した後、解答の再思考に要した時間が含まれる。この変形例４では、文字入力時間取得部１１ｂが取得する文字入力時間に含まれる解答の再思考に要した時間を抑制することによって、ユーザの文字入力時間、および思考時間をより正確に取得する。
　この変形例４では、文字入力時間取得部１１ｂは、文字入力履歴情報を基に、時間的に連続する文字入力操作毎に、この時間的に連続する文字入力操作間が解答の再思考に要した時間であるかどうかを判定する。具体的には、文字入力時間取得部１１ｂは、解答欄に対する前回の文字入力操作から、今回の文字入力操作を受け付けるまでの入力待ち時間（文字入力操作待ち時間）が設定時間を超えているかどうかを判定する。文字入力時間取得部１１ｂは、文字入力操作待ち時間が設定時間を超えていれば、この文字入力操作待ち時間を再思考時間と判定する。反対に、文字入力時間取得部１１ｂは、文字入力操作待ち時間が設定時間を超えていなければ、この文字入力操作待ち時間を部分文字入力時間と判定する。設定時間は、例えば数秒（例えば、１～３秒）程度の時間にすればよい。
　文字入力時間取得部１１ｂは、部分文字入力時間の総和を問題の解答の入力に要した文字入力時間として取得する。
　上記した通り、思考時間は、解答時間から文字入力時間を差し引いた時間であることから、解答の再思考に要した時間が文字入力時間に含まれるのを抑制できる。したがって、ユーザの文字入力時間、および思考時間をより正確に取得できる。
　・変形例５
　また、ユーザ端末２は、表示器２２の画面に表示している問題（すなわち、この時点で、ユーザが解答している問題）について、基準解答時間と、ユーザの解答時間とを対比した画像を表示してもよい。
　図８（Ａ）は、表示器の画面に問題が表示された直後（ユーザの解答時間が０である時点）の画面例であり、図８（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図８（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
　図８（Ａ）、（Ｂ）、（Ｃ）では、ユーザ端末２は、表示器２２の画面に、基準解答時間と、ユーザの解答時間とを対比した画像としてバーグラフを用いた例を示している。図８（Ａ）、（Ｂ）、（Ｃ）に示す解答時間のバーグラフに示した基準は、基準解答時間を示している。また、図８（Ｂ）、（Ｃ）において、解答時間のバーグラフ内に示したハッチング部分が、その時点におけるユーザの解答時間を示している。
　ユーザ端末２は、表示器２２の画面に問題が表示された直後においては、ユーザの解答時間が０であるので、解答時間のバーグラフ内にハッチング部分が描かれていない。ユーザ端末２は、バーグラフ内にハッチング部分を、解答時間の経過に応じて延ばして行く。図８（Ｂ）では、ユーザは、表示器２２の画面に表示されている問題の解答途中であるが、まだ、ユーザの解答時間が基準時間に達していない状態（ハッチング部分が、基準時間よりも右側に表示されていない状態）である。図８（Ｃ）では、ユーザは、表示器２２の画面に表示されている問題に対して解答を完了した状態である。図８（Ｃ）では、ユーザの解答時間が基準時間よりも長かった状態（ハッチング部分が、基準時間よりも右側に延びて表示されている状態）である。
　また、図８（Ａ）、（Ｂ）、（Ｃ）では、ユーザ端末２は、基準解答時間と、ユーザの解答時間とを対比したバーグラフを表示する例を示したが、図９（Ａ）、（Ｂ）、（Ｃ）に示すように基準文字入力時間と、ユーザの文字入力時間とを対比したバーグラフを表示器２２の画面に表示してもよい。
　また、図１０（Ａ）、（Ｂ）、（Ｃ）に示すように、ユーザ端末２は、基準思考時間と、ユーザの思考時間とを対比したバーグラフを表示器２２の画面に表示してもよい。図１０（Ｂ）に示したバーグラフと、図１０（Ｃ）に示したバーグラフとは、同じである。例えば、変形例４にかかる構成である場合は、ユーザの再思考時間がなかった例である。
　さらには、ユーザ端末２は、基準解答時間と、ユーザの解答時間とを対比したバーグラフ、基準文字入力時間と、ユーザの文字入力時間とを対比したバーグラフ、および基準思考時間と、ユーザの思考時間とを対比したバーグラフの２つ以上を表示器２２の画面に表示してもよい。
　なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。また、上記した全ての例の説明で示したフローチャートにおける各ステップの順番は、あくまでも一例であり、可能な範囲で適宜入れ替えてもよい。
　さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。　
　＜付記＞
［請求項１］
　ユーザが提示された問題を解答するのに要した解答時間を取得する第１取得部（１１ｃ）と、
　ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する第２取得部（１１ｂ）と、
　前記第１取得部（１１ｃ）によって取得された前記解答時間、および前記第２取得部（１１ｂ）によって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定部（１１ｅ）と、
　を備えた評価装置（１）。
［請求項２］
　前記第１取得部（１１ｃ）は、
　前記問題が表示器（２２）の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻とし、且つ、
　別の問題を前記表示器（２２）の画面に表示させる入力を受け付けた時刻を、ユーザが前記表示器（２２）の画面に表示されていた前記問題の解答を完了した時刻として、前記解答時間を取得する、
　請求項１に記載の評価装置（１）。
［請求項３］
　前記別の問題を前記表示器（２２）の画面に表示させる入力の１つは、その時点において表示器（２２）の画面に表示されている前記問題の解答完了にかかる入力である、
　請求項２に記載の評価装置（１）。
［請求項４］
　前記推定部（１１ｅ）は、前記第１取得部（１１ｃ）によって取得された前記解答時間から、前記第２取得部（１１ｂ）によって取得された前記文字入力時間を差し引いた思考時間を基に、前記問題に対するユーザの理解度を推定する、請求項１～３のいずれかに記載の評価装置（１）。
［請求項５］
　前記推定部（１１ｅ）は、ユーザに提示した前記問題の基準思考時間と、当該問題におけるユーザの前記思考時間と、を比較して、前記問題に対するユーザの理解度を推定する、請求項４に記載の評価装置（１）。
［請求項６］
　前記第２取得部（１１ｂ）は、前記問題をユーザに提示した後、当該問題の解答にかかる文字列の入力操作を最初に受け付けた時刻を、当該ユーザが当該問題の解答にかかる文字列の入力を開始した時刻として、前記文字入力時間を取得する、
　請求項１～５のいずれかに記載の評価装置（１）。
［請求項７］
　前記第２取得部（１１ｂ）は、前記問題の解答にかかる文字列の入力を受け付けてから、次の文字列の入力操作を受け付けるまでの入力待ち時間が、設定時間を超えていれば、この入力待ち時間を前記文字入力時間としない、
　請求項６に記載の評価装置（１）。
［請求項８］
　前記推定部（１１ｅ）は、ユーザに提示した前記問題の基準文字入力時間と、前記第２取得部（１１ｂ）によって取得された当該問題におけるユーザの前記文字入力時間と、を比較して、当該ユーザの文字入力技量を推定する、
　請求項１～７のいずれかに記載の評価装置（１）。
１…サーバ装置
２…ユーザ端末
５…ネットワーク
１１…制御ユニット
１１ａ…解答取得部
１１ｂ…文字入力時間取得部
１１ｃ…解答時間取得部
１１ｄ…採点部
１１ｅ…推定部
１２…問題データベース（問題ＤＢ）
１３…基準時間データベース（基準時間ＤＢ）
１４…通信部
２１…制御ユニット
２１ａ…解答時間情報取得部
２１ｂ…文字入力履歴情報取得部
２２…表示器
２３…操作部
２４…通信部

Claims (10)

  1. 　ユーザが提示された問題を解答するのに要した解答時間を取得する第１取得部と、
    　ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する第２取得部と、
    　前記第１取得部によって取得された前記解答時間、および前記第２取得部によって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定部と、
    　を備えた評価装置。
  2. 　前記第１取得部は、
    　前記問題が表示器の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻とし、且つ、
    　別の問題を前記表示器の画面に表示させる入力を受け付けた時刻を、ユーザが前記表示器の画面に表示されていた前記問題の解答を完了した時刻として、前記解答時間を取得する、
    　請求項１に記載の評価装置。
  3. 　前記別の問題を前記表示器の画面に表示させる入力の１つは、その時点において表示器の画面に表示されている前記問題の解答完了にかかる入力である、
    　請求項２に記載の評価装置。
  4. 　前記推定部は、前記第１取得部によって取得された前記解答時間から、前記第２取得部によって取得された前記文字入力時間を差し引いた思考時間を基に、前記問題に対するユーザの理解度を推定する、請求項１～３のいずれかに記載の評価装置。
  5. 　前記推定部は、ユーザに提示した前記問題の基準思考時間と、当該問題におけるユーザの前記思考時間と、を比較して、前記問題に対するユーザの理解度を推定する、請求項４に記載の評価装置。
  6. 　前記第２取得部は、前記問題をユーザに提示した後、当該問題の解答にかかる文字列の入力操作を最初に受け付けた時刻を、当該ユーザが当該問題の解答にかかる文字列の入力を開始した時刻として、前記文字入力時間を取得する、
    　請求項１に記載の評価装置。
  7. 　前記第２取得部は、前記問題の解答にかかる文字列の入力を受け付けてから、次の文字列の入力操作を受け付けるまでの入力待ち時間が、設定時間を超えていれば、この入力待ち時間を前記文字入力時間としない、
    　請求項６に記載の評価装置。
  8. 　前記推定部は、ユーザに提示した前記問題の基準文字入力時間と、前記第２取得部によって取得された当該問題におけるユーザの前記文字入力時間と、を比較して、当該ユーザの文字入力技量を推定する、
    　請求項１に記載の評価装置。
  9. 　ユーザが提示された問題を解答するのに要した解答時間を取得する解答時間取得ステップと、
    　ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する文字入力時間取得ステップと、
    　前記解答時間取得ステップによって取得された前記解答時間、および前記文字入力時間取得ステップによって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定ステップと、
    　をコンピュータが実行する評価方法。
  10. 　ユーザが提示された問題を解答するのに要した解答時間を取得する解答時間取得ステップと、
    　ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する文字入力時間取得ステップと、
    　前記解答時間取得ステップによって取得された前記解答時間、および前記文字入力時間取得ステップによって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定ステップと、
    　をコンピュータに実行させる評価プログラム。
PCT/JP2024/002212 2023-02-21 2024-01-25 評価装置、評価方法、および評価プログラム Ceased WO2024176709A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023024830A JP2024118515A (ja) 2023-02-21 2023-02-21 評価装置、評価方法、および評価プログラム
JP2023-024830 2023-02-21

Publications (1)

Publication Number Publication Date
WO2024176709A1 true WO2024176709A1 (ja) 2024-08-29

Family

ID=92500782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/002212 Ceased WO2024176709A1 (ja) 2023-02-21 2024-01-25 評価装置、評価方法、および評価プログラム

Country Status (2)

Country Link
JP (1) JP2024118515A (ja)
WO (1) WO2024176709A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259199A (ja) * 1998-03-13 1999-09-24 Toshiba Corp 端末装置、入力画面表示方法及び入力画面表示プログラムを記録した記録媒体
JP2007271886A (ja) * 2006-03-31 2007-10-18 Nippon Tokei Jimu Center:Kk 能力値推定方法、能力値推定装置、およびコンピュータプログラム
JP2010256795A (ja) * 2009-04-28 2010-11-11 Wao Corporation 問題情報出力装置、問題情報出力方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259199A (ja) * 1998-03-13 1999-09-24 Toshiba Corp 端末装置、入力画面表示方法及び入力画面表示プログラムを記録した記録媒体
JP2007271886A (ja) * 2006-03-31 2007-10-18 Nippon Tokei Jimu Center:Kk 能力値推定方法、能力値推定装置、およびコンピュータプログラム
JP2010256795A (ja) * 2009-04-28 2010-11-11 Wao Corporation 問題情報出力装置、問題情報出力方法、およびプログラム

Also Published As

Publication number Publication date
JP2024118515A (ja) 2024-09-02

Similar Documents

Publication Publication Date Title
CA2578692C (en) Computer readable recording medium recorded with learning management program, learning management system and learning management method
CN109523188B (zh) 面向人机界面显示的舰员认知特性工效测评方法及系统
CN110020098A (zh) 众包系统中抑制水军问题的细粒度推荐机制
JP6442546B2 (ja) 学習支援システム、学習支援方法、及び学習者端末
JP2017187524A (ja) 学習支援システムおよび学習支援プログラム
US20190197913A1 (en) Information processing apparatus, information processing method, and non-transitory recording medium recorded with program
WO2019176374A1 (ja) 情報処理装置、及び情報処理方法
CN113297371A (zh) 推荐题目库的生成方法、装置、设备及存储介质
WO2018168880A1 (ja) 学習支援端末、学習支援サーバ、学習支援システム、学習支援方法、学習支援プログラム、および学習支援プログラムを含むコンピュータ読み取り可能な記録媒体
JP2023109673A5 (ja)
JP7055350B2 (ja) 学習支援システム及び方法、並びにコンピュータプログラム
KR20220018680A (ko) 학습 지원 시스템 및 그 방법
JP2024118515A (ja) 評価装置、評価方法、および評価プログラム
JP2017207691A (ja) 択一問題の正答率予測方法
WO2019176373A1 (ja) 情報処理装置、及び情報処理方法
CN119514689A (zh) 一种样本校验方法、电子设备、存储介质及程序产品
EP4495917A1 (en) Learning support device, learning support method, and learning support program
KR102423740B1 (ko) 강의 플랫폼을 운용하는 방법 및 그 장치
KR102735284B1 (ko) 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법
WO2023159754A1 (zh) 能力等级分析方法、装置、电子设备及存储介质
CN113706951A (zh) 线上教育方法、系统及计算机存储介质
JP2022183796A (ja) 情報処理装置及び方法
KR100748422B1 (ko) 문자열 표시 시스템, 문자열 표시방법 및 기억매체
US12315394B2 (en) Cheating estimation device, cheating estimation method, and recording medium
CN116584957B (zh) 混合脑机接口的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24760016

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 24760016

Country of ref document: EP

Kind code of ref document: A1