WO2020153383A1 - 課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ - Google Patents

課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ Download PDF

Info

Publication number
WO2020153383A1
WO2020153383A1 PCT/JP2020/002008 JP2020002008W WO2020153383A1 WO 2020153383 A1 WO2020153383 A1 WO 2020153383A1 JP 2020002008 W JP2020002008 W JP 2020002008W WO 2020153383 A1 WO2020153383 A1 WO 2020153383A1
Authority
WO
WIPO (PCT)
Prior art keywords
solution
test
data
evaluation
identifier
Prior art date
Application number
PCT/JP2020/002008
Other languages
English (en)
French (fr)
Inventor
勝 松本
Original Assignee
ＶＩＳＩＴＳ Ｔｅｃｈｎｏｌｏｇｉｅｓ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ＶＩＳＩＴＳ Ｔｅｃｈｎｏｌｏｇｉｅｓ株式会社 filed Critical ＶＩＳＩＴＳ Ｔｅｃｈｎｏｌｏｇｉｅｓ株式会社
Priority to US17/419,927 priority Critical patent/US11636774B2/en
Publication of WO2020153383A1 publication Critical patent/WO2020153383A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Definitions

  • the present invention relates to an issue collection and evaluation method and a solution collection and evaluation method performed online.
  • the present invention also relates to a server for performing a problem collection and evaluation online, a server for performing a solution collection and evaluation online, and a server for performing a collection and evaluation of a problem and its solution online.
  • Japanese Unexamined Patent Application Publication No. 2002-62795 discloses an examination test system that provides questions to a test taker, collects answers to the questions, and provides score or analysis result information.
  • Providing a question transfer program containing a question and a transfer file for returning an answer to the question to the examinee; receiving the transfer file returned from the examinee; and the transfer file And a step of scoring or analyzing the answer included in the above, and a step of delivering the result information obtained by scoring or analyzing the answer to the examinee.
  • a method in which the examinees mutually evaluate questions for which there is no model answer is proposed in Japanese Patent Publication No. 2014-500532.
  • a system including a memory device present in a computer; and a processor arranged to communicate with the memory device, the processor comprising: a candidate creating a theme-based question. Request; receive the question from the candidate; request an assessment of the question and the theme from at least one evaluator; receive a question score from each evaluator, the question score being the problem and the It is an objective indicator of evaluation with a theme; receives a rating for each rater; and calculates a rating for the candidate based on the problem score from each rater and the rating for each rater
  • a system configured as follows is disclosed.
  • an object of the present invention is to provide a problem collection and evaluation method that can be efficiently performed online. Another object of the present invention is to provide a solution collection and evaluation method that can be efficiently performed online. Another object of the present invention is to provide a server for efficiently performing the task collection evaluation online. Another object of the present invention is to provide a server for efficiently performing solution collection evaluation online. Another object of the present invention is to provide a server for efficiently performing collection and evaluation of problems and their solutions online.
  • the present inventor has made diligent studies in order to solve the above-mentioned problems, and those who are aware of the problems or who can propose potential problems and who are aware of the solutions to the given problems or We paid attention to the fact that the persons who can propose are not necessarily the same. For example, an employee may discover a workplace problem but not a valid solution to it. In addition, an employee may not be aware of such workplace problems, but may be able to propose an effective solution if the problem is raised. In other words, it is easier to collect a wide variety of problems and a wide variety of solution plans for them, if the collection and evaluation of problems and the collection and evaluation of solutions are separately performed.
  • the server receives a first test start instruction from the test manager terminal via the network, In response to an instruction to start the first test, the server extracts the first format data for the task input including at least one descriptive task input section from the first format data storage section, and extracts the first format data from the network.
  • the server sends to each of the plurality of test taker terminals for the first test via
  • the server receives, from each test taker terminal of the first test, task data including a test entered by each test taker of the first test in the descriptive test input section, and
  • the server assigns an identifier to each task data including the received task, and stores the task data in the task data storage unit in association with the identifier of each test taker of the first test that transmitted the task data,
  • the server acquires the random number generated by the random number generator and uses the random number to select the examinees who should evaluate the assignment in each assignment data stored in the assignment data storage from among the examinees of the first test.
  • the steps to determine The server extracts task data including the task to be evaluated by each examinee from the task data storage unit according to the result of the step of deciding the examinee who should evaluate the task, and the selection-type task based on at least one evaluation axis.
  • the third format data for inputting the task evaluation including the evaluation input section is extracted from the third format data storage section, and the task data and the third format data are sent to the examinee terminal of the first test corresponding via the network.
  • the step of sending A step of the server receiving assignment evaluation data including an assessment by the test taker of the first test for the assignment in the assignment data from each test taker terminal of the first test;
  • the server assigns an identifier to each of the received task evaluation data, associates with the identifier of the test taker of the first test as the evaluator who sent the task evaluation data, and the task evaluation data in association with the identifier of the evaluated task data.
  • the server calculates a score for each evaluation axis for each task by aggregating the evaluations for the tasks in each task data based on each task evaluation data and the identifier of the task data stored in the task evaluation data storage unit, Storing the score in the task data storage unit in association with the identifier of the test taker who sent the task data including each task, The server extracts the task evaluation aggregate data including each issue and the score for each assessment axis stored in the issue data storage unit, and transmits the issue evaluation aggregate data to the test manager terminal via the network. Steps, Method of collecting and evaluating issues including.
  • [2] The task collection evaluation method according to [1], in which the first format data for task input is transmitted together with the task input conditions stored in the first test information storage unit. [3] The task collection evaluation method according to [1] or [2], wherein the at least one evaluation axis includes at least one of a frequency of occurrence, a potential, an importance, and an urgency. [4] The task collection evaluation method according to any one of [1] to [3], wherein the at least one evaluation axis includes two or more evaluation axes. [5] The task collection evaluation method according to [4], wherein the at least one evaluation axis includes two or more evaluation axes selected from the group consisting of occurrence frequency, latency, importance, and urgency.
  • the server based on each task and the score for each evaluation axis for each task stored in the task data storage unit, a combination of scores based on two or more evaluation axes assigned to each task is calculated in two or more dimensions.
  • the task collection evaluation according to any one of [1] to [5], including a step of plotting in a coordinate system to create a statistical graph and transmitting the data of the statistical graph to a test manager terminal via a network.
  • the server receives at least one problem to be solved selected from a plurality of problems in the problem data stored in the problem data storage unit from the test administrator terminal via the network,
  • the server receives a second test start instruction from the test manager terminal via the network,
  • the server extracts at least one task data including at least one task to be solved from a task data storage unit in response to an instruction to start a second test, and includes at least one descriptive solution input unit.
  • the second form data for inputting the solution for the one problem to be solved is extracted from the second form data storage unit, and the problem data and the second form data are extracted from the plurality of examinees of the second test via the network.
  • a server receiving solution data including a solution by the test taker of the second test for the at least one problem to be solved, from each test taker terminal of the second test;
  • the server assigns an identifier to each of the received solution data including the solution, and stores the solution data in the solution data storage unit in association with the identifier of the test taker who transmitted the solution data.
  • the server acquires the random number generated by the random number generator and uses the random number to evaluate the candidate in the solution data stored in the solution data storage unit to the examinee of the second test.
  • Steps to decide from The server extracts solution data including a solution to be evaluated by each examinee from the solution data storage unit according to the result of the step of determining the examinee who should evaluate the solution, and at least one evaluation axis
  • a fourth format data for inputting a solution evaluation including a selection-based solution evaluation input section is extracted from a fourth format data storage section, and the solution data and the fourth format data are associated via a network.
  • the server sends to the test taker's terminal, The server receives solution evaluation data including the evaluation by the test taker of the second test for the solution in the solution data from each test taker terminal of the second test, The server assigns an identifier to each of the received solution evaluation data, associates the identifier of the test taker of the second test as the evaluator who transmitted the solution evaluation data, and the identifier of the evaluated solution data with the identifier.
  • the server based on each solution stored in the solution data storage unit and the score for each evaluation axis for each solution, a combination of scores based on two or more evaluation axes assigned to each solution, Described in any one of [7] to [11] including a step of creating a statistical graph by plotting in a coordinate system of two or more dimensions and transmitting the data of the statistical graph to a test manager terminal via a network.
  • Solution collection and evaluation method [13]
  • the assignment data storage unit stores assignment data collected by performing the assignment collection/evaluation method according to any one of [1] to [6].
  • [7] to [12] The solution collection and evaluation method described in paragraph 1.
  • the server based on at least part of the score for each evaluation axis for the task stored in the task data storage unit in association with the identifier of the task data and the identifier of the test taker who sent the task data, the task
  • the score obtained for each identifier of the test taker who sent the data is calculated for each evaluation axis, and the score obtained is associated with the identifier of the test taker of the first test who sent the task data Storing in the evaluation data storage section,
  • the server ranks the test takers of the first test based on the test taker's identifier of the first test and the acquisition score associated with the test taker's identifier, and associates with the test taker's identifier of the higher rank.
  • the evaluations for the problems are newly aggregated and scored for each evaluation axis for each identifier of the problem data, and the obtained score for each corrected evaluation axis.
  • Storing in the assignment data storage unit in association with the identifier of the assignment data The task collection evaluation method according to any one of [1] to [6], further including: [15] The server obtains after correction for each test taker of the first test based on the corrected score for each evaluation axis stored in the test data storage unit for each corrected evaluation axis and the test taker identifier of the first test.
  • Calculating a score for each evaluation axis storing the score in the test candidate evaluation data storage unit of the first test in association with the identifier of the test candidate of the first test;
  • the server re-ranks the test candidates for the first test based on the identifiers of the test candidates for the first test and the corrected acquisition scores associated with the test subject's identifiers.
  • the more evaluations that are associated with each identifier the more the evaluation is weighted, the more the evaluations of the problems are aggregated and scored for each evaluation axis for each identifier of the problem data.
  • Storing the score for each axis in the assignment data storage unit in association with the identifier of the assignment data The task collection and evaluation method according to [14], which comprises repeating at least once.
  • the acquisition score for each identifier of the test taker of the first test is the maximum score of the evaluation for each task associated with the test taker's identifier for each evaluation axis, [14] or [15] Method.
  • the acquisition score for each identifier of the test taker of the first test is a total score of evaluations for each task associated with the test taker's identifier for each evaluation axis, [14] or [15] task collection evaluation Method.
  • the server associates at least partially with the score for each evaluation axis for the solution stored in the solution data storage unit in association with the identifier of the solution data and the identifier of the test taker who sent the solution data.
  • the acquisition score for each identifier of the second test candidate who sent the solution data is calculated for each evaluation axis, and the acquired score is associated with the identifier of the second test candidate who sent the solution data.
  • the server ranks the test takers of the second test based on the identifiers of the test takers of the second test and the acquisition scores associated with the test taker's identifiers and associates them with the identifiers of the test takers of higher ranks.
  • the solution collection and evaluation method according to any one of [7] to [13], further including: [19] Based on the corrected score for each evaluation axis given to each solution stored in the solution data storage unit and the identifier of the test taker of the second test, the server after correction for each test taker of the second test Calculating an acquisition score for each evaluation axis, and storing the acquired score in the second test taker evaluation data storage section in association with the second test taker identifier; The server re-ranks the test takers of the second test based on the identifiers of the test takers of the second test and the corrected acquisition scores associated with the test taker's identifiers.
  • Storing the score for each evaluation axis in the solution data storage section in association with the identifier of the solution data The solution proposal collection and evaluation method according to [18], which comprises repeating at least once.
  • the acquisition score for each identifier of the test taker of the second test is the maximum score of the evaluation for each solution associated with the test taker's identifier for each evaluation axis, and the solution proposed in [18] or [19] Collection evaluation method.
  • the score obtained for each identifier of the test taker of the second test is the total score of the evaluations for each solution associated with the test taker's identifier for each evaluation axis, and the solution proposed in [18] or [19].
  • Collection evaluation method. [22] The task data storage unit stores the task data collected by performing the task collection evaluation method according to any one of [1] to [6] and [14] to [17], and The task evaluation data storage unit stores the task evaluation data collected by performing the task collection and evaluation method according to any one of [1] to [6] and [14] to [17].
  • a server that receives a search request for a problem and its solution via a network from a terminal that has usage authority, The server searches at least one of the assignment data storage unit, the assignment evaluation data storage unit, the solution plan data storage unit, and the solution assessment data storage unit, and searches the search results including the problem and the solution that meet the search request on the network.
  • [23] The solution collection and evaluation method according to [22], wherein the search result includes one or both of a score for each evaluation axis for a problem and a score for each evaluation axis for a solution.
  • a transmitter/receiver, a controller, a memory, and a random number generator are provided,
  • the storage unit is A first test taker account data storage for storing the account information of each test taker of the first test in association with the test taker's identifier;
  • a first format data storage section for storing first format data for task input, which includes at least one descriptive task input section;
  • a third format data storage unit for storing third format data for assignment evaluation input, including a selection-type assignment evaluation input unit based on at least one evaluation axis;
  • the task data received by the transmitter/receiver including the task entered by each test taker of the first test in the descriptive task input section, and the identifier of the test data, and the identifier of the test taker of the first test that transmitted the test data
  • a task data storage unit for storing the data in association with The assignment evaluation data received by the transmitter/receiver including the evaluation by the examinee for each assignment, the identifier of the assignment evaluation data, the identifier of the examine
  • an identifier is given to each of the assignment evaluation data received by the transmission/reception unit, and the assignment evaluation data is associated with the identifier of the examinee of the first test as the evaluator who transmitted the assignment evaluation data and the identifier of the assessed assignment data. Can be stored in the task evaluation data storage,
  • the assignment input format extraction unit extracts the first format data for assignment input from the first format data storage unit and transmits the first format data to the transmission/reception unit.
  • the evaluator determination unit when the transmission/reception unit receives the instruction from the test administrator terminal, acquires the random number generated by the random number generation device, and uses the random number to generate the random number among the assignment data stored in the assignment data storage unit.
  • Candidates who should evaluate the assignment can be determined by associating the identifier of the examinee of the first test as an evaluator for each identifier of assignment data,
  • the assignment extraction unit associates assignment data including assignments to be evaluated by each examinee with the identifier of the assignment data and the identifier of the assignment data as an evaluator according to the determination of the examinees to be evaluated by the evaluator determination unit.
  • the third format data for inputting the task evaluation is extracted from the third format data storage unit, and the task data and the third format data are transmitted/received. Can be sent via the network to the corresponding test taker's terminal,
  • the task evaluation unit calculates a score for each evaluation axis for each task by aggregating the evaluations for the tasks in each task data based on each task evaluation data stored in the task evaluation data storage unit and the identifier of the task data.
  • the assignment evaluation extraction unit extracts assignment evaluation aggregated data including each assignment stored in the assignment data storage unit and a score for each assessment axis for each assignment, and the assignment evaluation aggregated data is sent through the network to the test administrator terminal. Can be sent to, A server for assignment collection and evaluation.
  • a transmitter/receiver, a controller, a memory, and a random number generator are provided,
  • the storage unit is A second test taker account data storage for storing the account information of each test taker of the second test in association with the test taker's identifier;
  • a second format data storage unit for storing second format data for solution input including at least one descriptive solution input unit;
  • a fourth format data storage section for storing fourth format data for solution evaluation input, including a selection type solution evaluation input section based on at least one evaluation axis;
  • An assignment data storage unit for storing assignment data including a plurality of assignments, The second test in which the solution data including the solution entered by each test taker of the second test in the descriptive solution input section received by the transmitter/receiver is sent together with the solution data identifier together with the solution data.
  • a solution data storage section for storing the test plan in association with the examinee's identifier, The identifier of the test candidate of the second test as the evaluator who sent the solution evaluation data including the evaluation by the test taker for each solution received by the transmitter/receiver together with the identifier of the solution evaluation data.
  • the control unit has a data registration unit, a solution input format extraction unit, an evaluator determination unit, a solution extraction unit, a solution evaluation unit, and a solution evaluation extraction unit,
  • the data registration unit assigns an identifier to each of the solution data received by the transmission/reception unit, and stores the solution data in the solution data storage unit in association with the identifier of the test taker who transmitted the solution data. And assigning an identifier to each of the solution evaluation data received by the transmitting/receiving unit, and the identifier of the test taker of the second test as the evaluator who sent the solution evaluation data and the identifier of the evaluated solution data.
  • the solution evaluation data can be associated and stored in the solution evaluation data storage unit,
  • the solution inputting format extraction unit stores task data including at least one task to be solved selected from the plurality of tasks in the task data.
  • the second format data for inputting the solution is extracted from the second format data storage section and transmitted from the transmission/reception section to each of the plurality of test taker terminals for the second test via the network.
  • Can The evaluator determination unit when the transmission/reception unit receives the instruction from the test administrator terminal, acquires the random number generated by the random number generator, and uses the random number to solve each solution data stored in the solution data storage unit.
  • the candidate who should evaluate the solution can be determined by associating the identifier of the candidate for the second test with the identifier of the solution data as an evaluator,
  • the solution extraction unit evaluates the solution data including the solution to be evaluated by each examinee into an identifier of the solution data and an identifier of the solution data according to the decision of the examinee to be evaluated by the evaluator determination unit.
  • the fourth form data for inputting the solution evaluation is extracted from the fourth form data storage unit, and the solution data and the first data are extracted. (4) It is possible to send the format data from the transmitter/receiver to the corresponding test taker terminal for the second test via the network.
  • the solution plan evaluation unit collects the evaluations of the solution plans in the solution plan data based on the solution plan evaluation data stored in the solution plan evaluation data storage unit and the identifiers of the solution plan data, and thereby evaluates the solution plans.
  • the score for each evaluation axis can be calculated, and the obtained score can be stored in the solution data storage section in association with the identifier of the solution data.
  • the solution evaluation extraction unit extracts solution evaluation aggregate data including each solution stored in the solution data storage unit and a score for each evaluation axis for each solution, and extracts the solution evaluation aggregate data from the network. Can be sent to the test administrator terminal via Server for solution collection evaluation.
  • a transmitter/receiver, a controller, a memory, and a random number generator are provided,
  • the storage unit is A first test taker account data storage for storing the account information of each test taker of the first test in association with the test taker's identifier;
  • a second test taker account data storage for storing the account information of each test taker of the second test in association with the test taker's identifier;
  • a first format data storage section for storing first format data for task input, which includes at least one descriptive task input section;
  • a second format data storage unit for storing second format data for solution input including at least one descriptive solution input unit;
  • a third format data storage unit for storing third format data for assignment evaluation input, including a selection-type assignment evaluation input unit based on at least one evaluation axis;
  • a fourth format data storage section for storing fourth format data for solution evaluation input, including a selection type solution evaluation input section based on at least one evaluation axis;
  • the task data received by the transmitter/receiver including the
  • a solution data storage section for storing the test plan in association with the examinee's identifier, The assignment evaluation data received by the transmitter/receiver including the evaluation by the examinee for each assignment, the identifier of the assignment evaluation data, the identifier of the examinee of the first test as the evaluator who sent the assignment evaluation data, and the evaluation
  • An assignment evaluation data storage unit for storing the assignment evaluation data in association with the assigned assignment data identifier; The identifier of the test candidate of the second test as the evaluator who sent the solution evaluation data including the evaluation by the test taker for each solution received by the transmitter/receiver together with the identifier of the solution evaluation data.
  • the control unit includes a data registration unit, a problem input format extraction unit, a solution input format extraction unit, an evaluator determination unit, a problem extraction unit, a solution extraction unit, a problem evaluation unit, a solution evaluation unit, a problem evaluation extraction unit. And has a solution evaluation extraction unit,
  • the data registration unit assigns an identifier to each of the task data received by the transmission/reception unit, and stores the task data in the task data storage unit in association with the identifier of the test taker who transmitted the task data.
  • the data registration unit assigns an identifier to each of the solution data received by the transmitting/receiving unit, associates the solution data with the identifier of the test taker of the second test who transmitted the solution data, and stores the solution data in the solution data storage unit.
  • the solution evaluation data can be stored in the solution evaluation data storage unit in association with the identifier,
  • the assignment input format extraction unit extracts the first format data for assignment input from the first format data storage unit and transmits the first format data to the transmission/reception unit.
  • the solution input format extraction unit when the transmission/reception unit receives the instruction from the test administrator terminal, extracts the problem data including the at least one problem to be solved from the problem data storage unit, and also outputs the solution plan.
  • the second format data for input is extracted from the second format data storage unit, and the assignment data and the second format data are transmitted from the transmission/reception unit to each of the plurality of test taker terminals for the second test via the network.
  • the evaluator determination unit when the transmission/reception unit receives the instruction from the test administrator terminal, acquires the random number generated by the random number generation device, and uses the random number to generate the random number among the assignment data stored in the assignment data storage unit. Candidates who should evaluate the assignment can be determined by associating the identifier of the examinee of the first test as an evaluator for each identifier of assignment data, Further, the evaluator determination unit, when the transmission/reception unit receives the instruction from the test administrator terminal, acquires the random number generated by the random number generation device and uses the random number to solve each solution stored in the solution data storage unit.
  • the assignment extraction unit associates assignment data including assignments to be evaluated by each examinee with the identifier of the assignment data and the identifier of the assignment data as an evaluator according to the determination of the examinees to be evaluated by the evaluator determination unit. It is extracted based on the identifier of the test taker of the first test, the third format data for inputting the task evaluation is extracted from the third format data storage unit, and the task data and the third format data are transmitted/received.
  • the solution extraction unit evaluates the solution data including the solution to be evaluated by each examinee into an identifier of the solution data and an identifier of the solution data according to the decision of the examinee to be evaluated by the evaluator determination unit. Based on the identifier of the test taker of the second test associated as a person, the fourth form data for inputting the solution evaluation is extracted from the fourth form data storage unit, and the solution data and the first data are extracted. (4) It is possible to send the format data from the transmitter/receiver to the corresponding test taker terminal for the second test via the network.
  • the task evaluation unit calculates a score for each evaluation axis for each task by aggregating the evaluations for the tasks in each task data based on each task evaluation data stored in the task evaluation data storage unit and the identifier of the task data. Then, the obtained score can be stored in the assignment data storage section in association with the assignment data identifier,
  • the solution plan evaluation unit collects the evaluations of the solution plans in the solution plan data based on the solution plan evaluation data stored in the solution plan evaluation data storage unit and the identifiers of the solution plan data, and thereby evaluates the solution plans.
  • the score for each evaluation axis can be calculated, and the obtained score can be stored in the solution data storage section in association with the identifier of the solution data.
  • the assignment evaluation extraction unit extracts assignment evaluation aggregated data including each assignment stored in the assignment data storage unit and a score for each assessment axis for each assignment, and the assignment evaluation aggregated data is sent through the network to the test administrator terminal.
  • the solution evaluation extraction unit extracts solution evaluation aggregate data including each solution stored in the solution data storage unit and a score for each evaluation axis for each solution, and extracts the solution evaluation aggregate data from the network.
  • the storage unit further has a first examinee evaluation data storage unit for storing the acquired score for the examinee of the first test in association with the examinee's identifier,
  • the control unit is based at least in part on the score of each evaluation axis for the task stored in the task data storage unit in association with the identifier of the task data and the identifier of the test taker who transmitted the task data.
  • the task evaluation unit further ranks the test takers of the first test based on the identifiers of the test takers of the first test and the acquisition scores associated with the test taker's identifiers.
  • each score can be stored in the assignment data storage unit in association with the assignment data identifier, A server for assignment collection evaluation according to [24].
  • the assignment evaluation extraction unit based on at least the number of appearances of the keywords included in each assignment stored in the assignment data storage unit, changing at least one of the size and color of the keyword, creates a keyword map, A server for problem collection and evaluation described in [24] that can be transmitted to the test administrator terminal in a form that can be displayed via a network, or for collection and evaluation of problems and their solutions described in [26]. Server. [29] When a keyword on the keyword map is selected, the task evaluation extraction unit extracts the task evaluation aggregated data on the issues including the keyword from each of the issues stored in the task data storage unit, and the task evaluation aggregated data is stored in the network.
  • the solution evaluation extraction unit creates a keyword map in which at least one of the size and color of the keyword is changed based on at least the number of appearances of the keyword included in each solution stored in the solution data storage unit.
  • a server for solution solution collection evaluation described in [25] that can be created and transmitted to a test manager terminal in a form that can be displayed via a network, or a problem and solution solution described in [26]. Server for collection evaluation.
  • the solution evaluation extraction unit extracts solution evaluation aggregated data regarding the solution including the keyword from each solution stored in the solution data storage unit, and the solution evaluation A server for collecting solution evaluation described in [25] or a problem and solution proposed in [26] that can transmit the evaluation aggregate data to the test manager terminal in a form that can be displayed via the network.
  • the storage unit further has a first examinee evaluation data storage unit for storing the acquired score for the examinee of the first test in association with the examinee's identifier,
  • the control unit is based at least in part on the score of each evaluation axis for the task stored in the task data storage unit in association with the identifier of the task data and the identifier of the test taker who transmitted the task data.
  • the task evaluation unit further ranks the test takers of the first test based on the identifiers of the test takers of the first test and the acquisition scores associated with the test taker's identifiers.
  • each score can be stored in the assignment data storage unit in association with the assignment data identifier, A server for collecting and evaluating the problem described in [26] and its solution.
  • the acquisition score for each identifier of the test taker of the first test is the maximum score of the evaluation for each task associated with the test taker's identifier for each evaluation axis, and is a server for task collection evaluation according to [24]. Or a server for collecting and evaluating the problems and their solutions described in [26].
  • the acquisition score for each identifier of the test taker in the first test is a total score of evaluations for each task associated with the test taker's identifier for each evaluation axis, and is a server for task collection evaluation according to [24]. Or a server for collecting and evaluating the problems and their solutions described in [26].
  • the storage unit further has a second examinee evaluation data storage unit for storing the acquired score for the examinee of the second test in association with the examinee's identifier, The control unit associates at least part of the score for each evaluation axis with respect to the solution stored in the solution data storage unit in association with the identifier of the solution data and the identifier of the test taker who has transmitted the solution data.
  • the acquisition score is calculated for each evaluation axis for each identifier of the test taker of the second test that transmitted the solution data, and the acquired score is used as the identifier of the test taker of the second test that transmitted the solution data.
  • a second examinee evaluation part that can be associated and stored in the examinee evaluation data storage part of the second test,
  • the solution evaluation section further ranks the test takers of the second test based on the identifiers of the test takers of the second test and the acquisition scores associated with the test taker's identifiers.
  • the more evaluations that are associated with each identifier the more weight is given to the evaluations, and then the evaluations for the solution plans are aggregated and scored again for each evaluation axis for each identifier of the solution plan data, and the obtained corrections are made. Can be stored in the solution data storage unit in association with the solution data identifier.
  • the storage unit further has a second examinee evaluation data storage unit for storing the acquired score for the examinee of the second test in association with the examinee's identifier,
  • the control unit associates at least part of the score for each evaluation axis with respect to the solution stored in the solution data storage unit in association with the identifier of the solution data and the identifier of the test taker who has transmitted the solution data. Based on the above, the acquisition score is calculated for each evaluation axis for each identifier of the test taker of the second test that transmitted the solution data, and the acquired score is used as the identifier of the test taker of the second test that transmitted the solution data.
  • a second examinee evaluation part that can be associated and stored in the examinee evaluation data storage part of the second test The solution evaluation section further ranks the test takers of the second test based on the identifiers of the test takers of the second test and the acquisition scores associated with the test taker's identifiers. The more evaluations that are associated with each identifier, the more weight is given to the evaluations, and then the evaluations for the solution plans are aggregated and scored again for each evaluation axis for each identifier of the solution plan data, and the obtained corrections are made. Can be stored in the solution data storage unit in association with the solution data identifier.
  • the acquisition score for each identifier of the test taker of the second test is the maximum score of the evaluation for each solution associated with the test taker's identifier for each evaluation axis, for the solution collection evaluation described in [25]. Or a server for collecting and evaluating the problems and their solutions described in [26].
  • the acquisition score for each identifier of the test taker in the second test is the total score of the evaluations for each solution associated with the test taker's identifier for each evaluation axis.
  • the control unit searches the storage unit and includes the problem and the solution that match the search request. Any one of [26], [28] to [34], and [36] to [38] further including a search unit capable of transmitting the search result from the transmission/reception unit to a terminal with usage authority via the network.
  • a server for collecting and evaluating the problems and their solutions described in. [40] The server for collecting and evaluating the problem and its solution according to [39], wherein the search result includes one or both of a score for each evaluation axis for the problem and a score for each evaluation axis for the solution.
  • [41] A program for causing a computer to execute the task collection and evaluation method according to any one of [1] to [6] and [14] to [17].
  • [42] A computer-readable recording medium recording the program according to [41].
  • [43] A program for causing a computer to execute the solution collection and evaluation method according to any one of [7] to [13] and [18] to [23].
  • [44] A computer-readable recording medium in which the program according to [43] is recorded.
  • the task collection evaluation can be efficiently performed online.
  • solution collection evaluation can be efficiently performed online. In this way, the collection and evaluation of problems and the collection and evaluation of solutions are separately performed online for multiple examinees, making it easy to create a database containing a wide variety of problem data and a wide variety of solution data. Can be built into.
  • the collected issues, solutions, or both data can be stored in the server with objective evaluations added.
  • the present invention it is possible to easily search for a problem or a solution to the problem using the data stored in the server, and the search result is accompanied by a value evaluation. Therefore, it is useful as information when obtaining information about issues and solutions to issues and considering their application. At this time, if the value evaluation is made based on a plurality of evaluation axes, it becomes possible to recognize the features of the problem and the solution to the problem from a multifaceted perspective including advantages and disadvantages.
  • a database including various problems and solutions proposed by the present invention and value evaluations thereof can be used as a shared library in a company, and can also be used as a database for management consulting and technical consulting. It is also possible to do so.
  • FIG. 3 is a conceptual diagram showing repetition of ranking and mutual evaluation of tasks (solutions) performed in one embodiment of the online test according to the present invention.
  • An example of the functional block diagram of a server is shown. It is an example of the screen of the top page displayed on the examinee's terminal. It is an example of a menu screen of an examinee page displayed on an examinee terminal. It is an example of the screen of the task collection session of the page for examinees displayed on the examinee terminal.
  • test condition setting screen of the solution collection session of the test administrator page displayed on the test administrator terminal It is an example of the test condition setting screen of the solution evaluation session of the test administrator page displayed on the test administrator terminal. It is an example of the account information input screen of the test administrator of the server administrator page displayed on the server administrator terminal.
  • An example of the task evaluation aggregation data displayed on the test administrator terminal is shown. Another example of the task evaluation aggregate data displayed on the test administrator terminal is shown.
  • An example of the keyword map displayed on a test administrator terminal is shown. 9 shows another example of the keyword map displayed on the test administrator terminal. An example of the task evaluation aggregation data displayed on the test administrator terminal using the keyword map is shown.
  • An example of the solution evaluation total data displayed on the test manager terminal is shown.
  • Another example of the solution evaluation total data displayed on the test manager terminal is shown.
  • An example of the keyword map displayed on a test administrator terminal is shown.
  • 9 shows another example of the keyword map displayed on the test administrator terminal.
  • An example of solution evaluation total data displayed on a test administrator terminal using a keyword map is shown.
  • An example of a screen for inputting search conditions displayed on the user terminal is shown (left side).
  • An example of a search result screen displayed on the user terminal is shown (right side).
  • An example of the assignment list displayed on the test administrator terminal is shown.
  • An example of the screen displayed on a user terminal containing at least one description type solution use result input part for inputting the result at the time of using a specific solution is shown.
  • FIG. 6 is a flowchart showing a flow of processing from a test administrator accessing a server to register a test taker and input test conditions until a test screen of a task collection session is displayed on a test taker terminal. It is a flowchart which shows the flow of a process from the start to the end of a task collection session. It is a flowchart which shows the flow of a process from the start of an assignment evaluation session to the end. It is a flowchart which shows the flow of a process after a task evaluation session is complete
  • FIG. 9 is a flowchart showing a flow of processing from a test administrator accessing a server to register a test taker and input test conditions to displaying a test screen of a solution collection session on a test taker terminal. It is a flow chart which shows the flow of processing from the start of a solution collection session to the end. It is a flowchart which shows the flow of a process from the start of a solution evaluation session to completion. It is a flowchart which shows the flow of a process after a solution evaluation session is completed, a solution is scored by a server, and an examinee is scored, and the result is transmitted to a test administrator.
  • FIG. 7 is a flowchart showing the flow of processing from the authorized user terminal accessing the server to making a search request and obtaining a desired search result.
  • the example of the table in which the account information of one examinee included in the examinee account file is stored is shown.
  • the example of the table in which the information regarding the test conditions in the first test information file is stored is shown.
  • the example of one table contained in a 1st test subject data file is shown.
  • the example of one table contained in a 1st test subject evaluation data file is shown.
  • the example of one table contained in a 1st test taker evaluation data file is shown.
  • stored the progress contained in the 1st test subject evaluation progress management file is shown.
  • An example of the table in which the account information of one test taker included in the second test taker account file is stored is shown.
  • the example of the table in which the information regarding the test conditions in the second test information file is stored is shown.
  • An example of one table included in the second test solution data file is shown.
  • An example of one table included in the second test solution evaluation data file is shown.
  • An example of one table included in the second test candidate evaluation data file is shown.
  • the example of the table in which the progress contained in the 2nd test solution evaluation progress management file was stored is shown.
  • An example of the table in which the test administrator account information in the test administrator account file is stored is shown.
  • An example of the table in which the administrator account information in the server administrator account file is stored is shown.
  • An example of a table in which user account information in a library user account file is stored is shown.
  • FIG. 1 shows the overall configuration of an online test system for carrying out the task collection and evaluation method according to this embodiment.
  • the present system includes a server 11, a plurality of test taker terminals 12 from the first to the nth, a test manager terminal 13, and a server manager terminal 15.
  • the test taker terminal 12, the test manager terminal 13 and The server administrator terminal 15 is connected to the server 11 via a computer network 14 such as the Internet, a private line or a public network so as to be able to communicate with each other.
  • the server administrator terminal 15 is not necessarily required as a terminal independent of the server 11, and the function of the server administrator terminal 15 can be performed by the server 11.
  • the system may also include a user terminal 16 that is communicatively connected to the server 11 through the computer network 14.
  • the computer network 14 is not limited, but may be a wired network such as a LAN (Local Area Network) or a WAN (Wide Area Network), and a WLAN (Wireless Local) using MIMO (Multiple-Input Multiple-Output). Area network).
  • a base station (not shown) that functions as an Internet using a communication protocol such as TCP/IP (Transmission Control Protocol/Internet Protocol) or a so-called wireless LAN access point (not shown) May be used.
  • a server means a server computer, and can be configured by the cooperation of one or more computers.
  • the examinee's terminal 12 and the examination administrator's terminal 13 can be realized by a personal computer equipped with a browser, but the invention is not limited to this, and portable terminals such as smartphones, tablets, mobile phones, mobiles and PDAs, and digital TVs, etc. Can be composed of devices and devices capable of communicating via the computer network.
  • the server 11, the examinee terminal 12, the test administrator terminal 13, and the server administrator terminal 15 have the same basic hardware configuration, and as shown in FIG. 2, a computing device 201, a storage device 202, and an output device 203. It can be realized by the computer 200 having the input device 204 and the communication device 205. Further, a random number generator 206 and a timer 207 may be provided as needed.
  • the arithmetic device 201 is a device, a circuit, or the like that controls the entire computer and executes arithmetic processing according to a program based on commands, instructions, and data input by the input device 204, data stored in the storage device 202, or the like.
  • arithmetic unit 201 for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like can be adopted.
  • the storage device 202 stores various data, operating system (OS), network applications (eg, web server software on the server 11 side, test taker terminal 12, test administrator terminal 13 and browser of server administrator terminal 15), and various arithmetic processes.
  • OS operating system
  • network applications eg, web server software on the server 11 side, test taker terminal 12, test administrator terminal 13 and browser of server administrator terminal 15
  • a magnetic recording medium such as a hard disk drive, a floppy (registered trademark) disk drive, a ZIP drive, and a tape storage
  • a register, a cache memory, a ROM, a RAM, a flash memory for example, a USB
  • Memory or solid state drive a storage circuit or a storage device using a semiconductor memory such as a semiconductor disk (for example, a RAM disk, a virtual disk), an optical recording medium such as a CD or a DVD, and an optical magnetic disk such as an MO.
  • a semiconductor memory such as a semiconductor disk (for example, a RAM disk, a virtual disk), an optical recording medium such as a CD or a DVD, and an optical magnetic disk such as an MO.
  • Storage device other storage device using paper tape, punch card, etc., storage device using phase change recording technology called PRAM (phase change RAM), holographic memory, storage device using three-dimensional optical memory,
  • PRAM phase change RAM
  • holographic memory storage device using three-dimensional optical memory
  • a storage device or the like using a molecular memory that accumulates charges at the molecular level and stores information can be adopted.
  • the output device 203 is an interface such as a device and a circuit that realizes the output of data or commands, and can employ a display such as an LCD or an organic EL, a printer, a speaker, or the like.
  • the input device 204 is an interface for giving data or commands to the arithmetic device 201, and a keyboard, a numeric keypad, a pointing device such as a mouse, a touch panel, a reader (OCR), an input screen, a voice input interface such as a microphone can be adopted. is there.
  • the communication device 205 is a device and a circuit that realizes data transmission/reception with the outside of the device, and is an interface for connecting to a network such as a LAN port, a modem, a wireless LAN, and a router.
  • the processing result of the arithmetic device 201 and the information stored in the storage device 202 can be transmitted and received via the computer network 14.
  • the random number generator 206 is a device that can provide a random number.
  • the timer 207 is a device capable of measuring and notifying time.
  • the server 11 includes a transmission/reception unit 310, a control unit 320, and a storage unit 340.
  • the first test candidate account file 341a, the second test candidate account file 341b, the first test information file 342a, the first test task data file 343a, and the first test task evaluation data file 344a In the storage unit 340 of the server 11, the first test candidate account file 341a, the second test candidate account file 341b, the first test information file 342a, the first test task data file 343a, and the first test task evaluation data file 344a.
  • the task evaluation progress management file 347a, the second test solution evaluation progress management file 347b, the test administrator account file 348, the server administrator account file 349, the library user account file 350, and the test management file 351 can be stored. These files may be individually prepared according to the type of data, or a plurality of types of files may be collectively stored in one file.
  • the storage unit 340 of the server 11 is for inputting a first format data file 346a for task input including at least one descriptive task input section, and a solution input including at least one descriptive solution input section.
  • a fourth format data file 346d for inputting a solution evaluation including an input section can be stored.
  • These files may be prepared individually according to the type of data, or a plurality of types of data may be stored together in one file.
  • FIG. 36 shows an example of a table in which account information of one examinee included in the examinee account file is stored.
  • the date, zip code, address, account opening date, login PW, status, etc. can be stored.
  • the status includes information about the progress status of the test such as not yet taken the test, taking the first test, and finishing the first test.
  • FIG. 37 shows an example of a table in which information about test conditions in the first test information file is stored.
  • 1st test ID 1st test collection start date and time, 1st test collection end date and time, 1st test assignment input condition, 1st test assignment response time limit, 1st test evaluation start date and time, 1st test evaluation It is possible to store the test conditions such as the end date and time, the task evaluation input condition of the first test, the first test evaluation response time limit, and the first test task evaluation axes 1 to n (n is an integer of 1 or more). In addition to this, the number of evaluated persons per task may be stored.
  • the number of persons is more than 5, more preferably 10 or more, because the greater the number of persons, the more objectives can be gathered because evaluations from many evaluators can be collected. Is more preferable, but a realistic number (for example, a range of 5 to 20) may be set in consideration of the examination time and the number of examinees.
  • the task input conditions include, but are not limited to, character restrictions, the number of possible proposals for the task, the language, the character code, and whether or not files can be attached.
  • the task data transmitted by the first test taker can be stored in the first test task data file 343a in a searchable state.
  • FIG. 38 shows an example of one table included in the first test task data file.
  • a task ID which is an identifier of task data
  • a test taker ID test number
  • first test ID which is a unique identifier of the first test
  • Scores may be displayed in points, but categories such as A rank, B rank, etc. may be displayed.
  • the score can be calculated for each evaluation axis by aggregating the evaluations of the tasks in each task data based on each task evaluation data stored in the first test task evaluation data file 344a and the identifier of the task data. For example, the score can be displayed as an average score of evaluations, a total score of evaluations, an acquisition rate of high evaluations, and the like.
  • At least one evaluation axis is required.
  • the number of evaluation axes is preferably two or more, and more preferably three or more.
  • the evaluation axis for example, the frequency of occurrence of the task (occurrence frequency), the degree to which the existence of the task has already been recognized (latent degree), the magnitude of the influence when the task occurs (importance), and the task occurred. It is preferable to include one or two or more selected from the group consisting of the urgent need for emergency response (urgentness) in order to determine whether to consider a solution to the problem later.
  • the score obtained each time the correction is performed in the first test task data file 343a is “first correction score”, “second correction score”, etc. You can save it as
  • the task data by the sample examinee is preferably 5 or more, more preferably 8 or more, but the burden on the examinee who evaluates the task answered by the sample examiner when the number of the examinees is too large. Since it becomes heavy, the number of people is generally 15 or less, and preferably 12 or less.
  • FIG. 39 shows an example of one table included in the first test task evaluation data file.
  • an assignment evaluation ID that is an identifier of the assignment evaluation data
  • an assignment ID that is an identifier of assignment data to be evaluated
  • an examinee ID of an evaluator and a first test ID that is a unique identifier of the first test.
  • the evaluation value by the evaluator for the task can be stored.
  • the evaluation value may be in the XX format, a two-choice type such as good or bad, or may be expressed by a score within a predetermined range.
  • the evaluation value can be stored for each evaluation axis described above.
  • the first test taker evaluation data file 345a can store the evaluation results of each test taker in a searchable state.
  • An example of one table included in the first test taker evaluation data file is shown in FIG.
  • the table may store the examinee ID, which is the identifier of the examinee to be evaluated, the first test ID, which is the unique identifier of the first test, and the score indicating the evaluation of each examinee for each evaluation axis. it can.
  • As the evaluation axis at least one of the above-mentioned evaluation axes of the task can be adopted.
  • the score calculation result obtained each time the correction is performed is stored in the first test taker evaluation data file 345a as the “first corrected score” and the “second correction score”. It can also be saved as “corrected score” or the like.
  • the individual ID which is the examinee's identifier, can be further stored. Both the examinee ID and the individual ID are types of examinee identifiers, but by storing the individual ID for identifying the individual in addition to the examinee ID that is the examinee number, the same person can When taking the test, it is possible to easily analyze the transition of the test result.
  • the account information of each test taker who takes the second test can be saved in the second test taker account file 341b in a searchable state.
  • the test taker for the second test may be the same as or different from the first test taker.
  • FIG. 42 shows an example of a table in which the account information of one test taker included in the second test taker account file is stored.
  • the examinee's individual ID, examinee ID, group ID of the organization to which the examinee belongs ID within the organization such as employee number, name, pseudonym of name, email address, department name, year of birth
  • the date, zip code, address, account opening date, login PW, status, etc. can be stored.
  • the status includes information about the progress status of the test such as not yet taken the test, taking the second test, and finishing the second test. If the population of the first test taker and the population of the second test taker overlap, the first test taker account file and the first test taker account file are integrated into a single test taker account file. You may prepare.
  • test information file In the second test information file 342b, information regarding the test conditions of the second test can be saved in a searchable state.
  • FIG. 43 shows an example of the table in the second test information file in which information about test conditions is stored.
  • the problem that the examinee should consider for the solution in the second test is to be carried out without being completely linked to the first test (for example, referring to the higher-ranked problems in the first test, Can be saved as character string data of a specific task, or can be saved as a set of task ID and character string of a specific task in another table. You may stay.
  • the task ID of the first test can be stored in the field of the task in which the examinee should consider the solution in the second test.
  • the solution input condition is not limited, for example, the policy of how to write the solution for the presented problem, character restriction, the number of possible proposals for the problem, language, character code, file Whether it can be attached or not can be mentioned.
  • the solution data transmitted by the second test taker can be stored in the second test solution data file 343b in a searchable state.
  • FIG. 44 shows an example of one table included in the second test solution data file.
  • a solution ID which is an identifier of solution data
  • an examinee ID (examination number), which is an identifier of the examinee who transmitted the solution data
  • a second test ID which is a unique identifier of the second test. It is possible to store the content of the solution, the score that is the evaluation of the solution, the result when the solution is actually tried, and the like.
  • Candidates can enter the solution freely in a descriptive manner. This has the advantage that the examinee can describe the solution using the free vocabulary as he/she thinks, without being limited to the choices.
  • the examinee answers the solution according to the condition.
  • Scores may be displayed in points, but categories such as A rank, B rank, etc. may be displayed.
  • the score is calculated for each evaluation axis by aggregating the evaluations of the solution proposals in the solution proposal data based on the solution proposal evaluation data and the identifier of the solution proposal data stored in the second test solution evaluation data file 344b. It is possible. For example, the score can be displayed as an average score of evaluations, a total score of evaluations, an acquisition rate of high evaluations,...
  • At least one evaluation axis is required.
  • the number of evaluation axes is preferably two or more, and more preferably three or more.
  • the evaluation axis for example, it is preferable to include one or more selected from the group consisting of effects, feasibility, and novelty in order to determine whether or not to adopt the solution later. ..
  • the score obtained each time the correction is made in the second test solution data file 343b is “first correction score” or “second correction score”. It can also be saved as.
  • solution data including a solution previously answered by two or more sample examinees may be stored in the second test solution data file in association with a sample solution ID. it can.
  • the solution data by the sample examinee is preferably 5 or more, more preferably 8 or more, but the examinee who evaluates the solution that the sample examinee replies when the number is too large. Therefore, the number of persons is generally 15 or less, and preferably 12 or less.
  • solution evaluation data including the evaluation of the evaluator (for example, the examinee) with respect to each solution answered by the test taker of the second test may be saved in a searchable state. it can.
  • FIG. 45 shows an example of one table included in the second test solution evaluation data file.
  • a solution evaluation ID that is an identifier of the solution evaluation data a solution ID that is an identifier of solution data that is an evaluation target, an examinee ID of an evaluator, and a unique identifier of the second test.
  • the second test ID, the evaluation value by the evaluator for the solution, and the like can be stored.
  • the evaluation value may be an XX format, an alternative formula such as good or bad, or may be expressed by a score within a predetermined range.
  • the evaluation value can be stored for each evaluation axis described above.
  • FIG. 46 shows an example of one table included in the second test taker evaluation data file.
  • the table stores the examinee ID, which is the identifier of the examinee who is the solution evaluation target, the second test ID, which is the unique identifier of the second test, and the score indicating the evaluation of each candidate on the evaluation axis. be able to.
  • the evaluation axis at least one evaluation axis of the above-mentioned solution can be adopted.
  • the score calculation result obtained each time the correction is performed is stored in the second test candidate evaluation data file 345b as the "first corrected score” and the "second corrected score.” It can also be saved as “corrected score” or the like.
  • the individual ID which is the examinee's identifier, can be further stored. Both the examinee ID and the individual ID are types of examinee identifiers, but by storing the individual ID for identifying the individual in addition to the examinee ID that is the examinee number, the same person can When taking the test, it is possible to easily analyze the transition of the test result.
  • the first test task evaluation progress management file 347a can store information about the progress of the task evaluation session in which the examinees carry out mutual evaluations.
  • FIG. 41 shows an example of a table in which the progress statuses included in the first test task evaluation progress management file 347a are stored.
  • the examinee ID of the evaluator, the task ID to be evaluated by the examinee of the examinee ID, the required number of evaluations, the number of evaluations, and the like can be stored.
  • the second test solution evaluation progress management file 347b can store information on the progress of the solution evaluation session in which the examinees carry out mutual evaluation.
  • FIG. 47 shows an example of a table in which the progress statuses included in the second test solution evaluation progress management file 347b are stored.
  • the examinee ID of the evaluator, the solution ID to be evaluated by the examinee of the examinee ID, the required number of evaluations, the number of completed evaluations, and the like can be stored.
  • test administrator account file 348 In the test administrator account file 348, the account information of the test administrator, for example, the organization of the company to which the examinee belongs can be saved in a searchable state.
  • FIG. 48 shows an example of a table in which the test administrator account information in the test administrator account file is stored. If the test administrator is an organization such as a company, the table contains an organization ID, an organization name, a pseudonym of the organization name, a postal code and address of the organization, a department name, a pseudonym of the person in charge, a telephone number and an email address, The account opening date and time, login PW, status, etc. can be stored. The status may include information about the existence of a trial administrator account such as "closed account”.
  • the server administrator account file 349 can store the server administrator account information in a searchable state.
  • FIG. 49 shows an example of a table in the server administrator account file in which administrator account information is stored.
  • the table can store the server administrator ID, password, account creation date and time, authority level, and the like.
  • the library user account file 350 can store the library user account information in a searchable state.
  • FIG. 50 shows an example of a table storing user account information in the library user account file. A user ID, a user name, a login ID, a password, usage authority, etc. can be stored in the table.
  • int integer type
  • text string type
  • float floating point type
  • crypt encrypted character string type
  • date date time type
  • the first format data file 346a may store first format data including at least one descriptive task input section for task input.
  • the descriptive task input section increases the degree of freedom in description, so the examinee recognizes tasks that are actually recognized in work and life without being limited to options.
  • the advantage is that you can use any vocabulary as you like.
  • the first format data may include at least one selection type task input section in addition to at least one descriptive type task input section. Providing a multiple-choice task input unit has an advantage that statistical data can be easily created.
  • FIG. 7 shows an example of a screen displayed based on the first format data for inputting a task.
  • the second format data file 346b may store second format data including at least one descriptive solution input section for inputting a solution.
  • the second format data may include at least one selection formula solution input unit in addition to at least one descriptive solution input unit. Providing the selection-type solution input unit has the advantage of facilitating the creation of statistical data.
  • FIG. 8 shows an example of a screen displayed based on the second format data for inputting a solution.
  • the third format data file 346c can store third format data including a selection type task evaluation input section based on at least one evaluation axis for inputting a task evaluation.
  • a selection type task evaluation input section based on at least one evaluation axis for inputting a task evaluation.
  • the fourth format data file 346d may store the fourth format data including a selective solution evaluation input section based on at least one evaluation axis for solution evaluation input.
  • the server 11 can exchange various data with the examinee terminal 12, the test administrator terminal 13, and the server administrator terminal 15 via the computer network 14 through the transmitting/receiving unit 310.
  • the transceiver 310 is It is possible to receive an instruction to start the first test from the test manager terminal 13,
  • the first format data for task input stored in the first format data file 346a can be transmitted to each of the plurality of examinee terminals 12 of the first test in a displayable form
  • the task data including the task input by the test takers of the first test can be received from each test taker terminal 12,
  • the task data including the task to be evaluated by each test taker of the first test and the third format data for inputting the test evaluation can be transmitted to the corresponding test taker terminal 12 of the first test in a displayable form.
  • Assignment evaluation data including the assessment by the examinees of the first test for the assignment can be received from each examinee terminal 12,
  • the task evaluation aggregate data can be transmitted to the test administrator terminal 13 in a displayable form.
  • the transmission/reception unit 310 is At least one problem to be solved selected from a plurality of problems in the problem data stored in the first test problem data file 343a can be received from the test manager terminal 13. It is possible to receive an instruction to start the second test from the test manager terminal 13, Of a plurality of test taker terminals 12 of the second test in a form capable of displaying problem data including at least one problem to be solved and second format data for inputting a solution to the at least one problem to be solved.
  • Solution data including a solution by the test takers of the second test can be received from each test taker terminal 12 of the second test,
  • the solution data including the solution to be evaluated by each test taker of the second test and the fourth form data for inputting the solution evaluation are transmitted to the corresponding test taker terminal 12 of the second test in a displayable form.
  • Solution evaluation data including the evaluation by the test taker of the second test for the solution in the solution plan data can be received from each test taker terminal 12 of the second test,
  • the solution proposal evaluation aggregate data can be transmitted to the test manager terminal 13 in a displayable form.
  • the control unit 320 of the server 11 includes the authentication processing unit 321, the data registration unit 322, the assignment input format extraction unit 323a, the solution input format extraction unit 323b, the time limit determination unit 324, the evaluator determination unit 325, and the assignment extraction unit. 326, solution extraction unit 327, assignment evaluation unit 328, solution evaluation unit 329, assignment evaluation extraction unit 330, solution evaluation extraction unit 331, examinee evaluation unit 332, examinee evaluation extraction unit 333, evaluation number determination unit 334. And a search unit 335, and each unit can perform a desired calculation based on a program.
  • the authentication processing unit 321 can authenticate the examinee ID and password based on the access request from the examinee terminal 12. For example, in the access request from the examinee terminal 12, the examinee ID and password displayed on the screen of the top page of the examinee terminal 12 as shown in FIG. 5 are input, and the login button on the screen is clicked. You can do that.
  • the examinee ID and password of the examinee may be those given in advance by the server administrator.
  • the authentication processing unit 321 refers to the examinee account file 341a (or 341b), and the entered examinee ID and password are data stored in the examinee account file 341a (or 341b).
  • the screen data of the examinee page (for example, the menu screen shown in FIG. 6) is transmitted from the transmitting/receiving unit 310 to the examinee terminal 12. be able to. If they do not match, an error message can be sent.
  • the authentication processing unit 321 can authenticate the group ID and password based on the access request from the test administrator terminal 13. As the administrator ID and password of the test administrator, those given in advance by the server administrator can be used. In the authentication processing, the authentication processing unit 321 refers to the test administrator account file 348 and determines whether the entered administrator ID and password match the data stored in the test administrator account file 348. It can be done by determining. If the entered administrator ID and password match the stored data, the screen data for the test administrator page (for example, the first test condition setting screens in FIGS. 11 to 13 and FIGS. 14 to 16) is displayed. The second test condition setting screen described in (1) can be transmitted from the transmitting/receiving unit 310 to the test manager terminal 13. If they do not match, an error message can be sent.
  • the test administrator account file 348 determines whether the entered administrator ID and password match the data stored in the test administrator account file 348. It can be done by determining. If the entered administrator ID and password match the stored data, the screen data for the test administrator page (for example
  • the authentication processing unit 321 can authenticate the server administrator ID and password based on the access request from the server administrator terminal 15.
  • the administrator ID and password of the server administrator can be set in advance by themselves.
  • the authentication processing unit 321 refers to the server administrator account file 349, and checks whether the input administrator ID and password match the data stored in the server administrator account file 349. It can be done by determining.
  • the screen data of the server administrator page (for example, the management screen shown in FIG. 17) is sent from the transmission/reception unit 310 to the server administrator terminal 15 concerned. Can be sent to. If they do not match, an error message can be sent.
  • the data registration unit 322 can register an examinee. For example, when the test administrator of the company to which the examinee belongs by using the above procedure logs in using the test administrator terminal 13, the test administrator terminal 13 displays a test administrator screen as shown in FIG. .. When the test administrator clicks the "Add all test takers" or "Add individual test takers” button, although not shown, a screen for entering account information of the test takers is displayed on the test administrator terminal 13 and the screen is displayed. Enter the examinee's individual ID, examinee's ID, group ID of the organization to which the examinee belongs, and the prescribed examinee account information to be saved in the examinee's account file 341a (or 341b). be able to.
  • the examinee account information can be transmitted to the server 11 by clicking a predetermined button such as “save” or “confirm” on the screen.
  • a predetermined button such as “save” or “confirm” on the screen.
  • the test administrator clicks the "CSV upload batch” or "CSV upload individual” button a screen for selecting the files saved in the test administrator terminal 13 is displayed.
  • the examinee account information can be transmitted to the server 11 by selecting a desired file in which the account information is stored and clicking a predetermined button such as “Send”.
  • the account information of the examinee transmitted to the server 11 is received by the transmitting/receiving unit 310 of the server 11, and the data registration unit 322 stores the received information in the examinee account file 341a (or 341b). You can The registration of the first test taker and the second test taker may be performed separately or may be performed collectively.
  • the data registration unit 322 can register the test conditions of the first test. For example, when the test administrator clicks the “first test setting” button on the test administrator screen as shown in FIG. 11, it switches to the condition setting screen for the first test assignment collection session as shown in FIG. .. On the screen, the test administrator can input the first test information such as the task input conditions (instructions) for the first test, the date and time of the task collection session, the limitation of the response time, the limitation of the number of response characters, the number of possible responses, and the possibility of file attachment. Information to be stored in the file 342a can be input.
  • the test condition may be selectable from a template prepared in advance.
  • the test manager clicks the "Next" button on the test manager screen, the screen switches to the condition setting screen for the task evaluation session of the first test as shown in FIG.
  • the test manager can enter the task evaluation input conditions (instructions) for the first test, limit the response time, select the evaluation axis, whether or not to disclose the results to the examinees, the number of people to evaluate one task, and the task evaluation.
  • Information to be stored in the first test information file 342a such as the date and time of the session can be input.
  • the test condition may be selectable from a template prepared in advance. After the input is completed, the test condition can be transmitted to the server 11 by clicking the “Send test condition” button.
  • the test condition information of the first test transmitted to the server 11 is received by the transmission/reception unit 310 of the server 11, and the data registration unit 322 stores the received information together with the first test ID in the first test information file 342a. Can be stored in.
  • a part of the test condition information of the first test may be stored in the first format data file 346a or the second format data file 346b.
  • the task input condition (instruction) of the first test, the limit of the number of reply characters, and the number of possible answers may be stored in the first format data file 346a.
  • the task evaluation input condition (instruction) of the first test and the selection of the evaluation axis may be stored in the second format data file 346b.
  • the first test ID may be manually assigned by the server administrator, or may be automatically assigned according to a predetermined rule when the server 11 stores the test condition information of the first test in the data registration unit 322. May be.
  • the data registration unit 322 can register the test conditions of the second test. For example, when the test administrator clicks the “second test setting” button on the test administrator screen as shown in FIG. 14, the condition setting screen of the solution collection session for the second test as shown in FIG. 15 is displayed. Switch. On the screen, the test manager enters the solution input condition (instruction) for the second test, the task for which the solution is to be devised, the date and time of the solution collection session, the limit of the response time, the limit of the number of response characters, the number of possible responses. It is possible to input information to be stored in the second test information file 342b such as whether or not a file can be attached.
  • the problem for which a solution is to be devised may be selectively input by accessing the problem data file. For example, when the test administrator clicks on the button "Browse task DB" on the screen, another window opens and a screen such as that shown in FIG. 25 is displayed in which the task list in the task data file can be referenced. It may be displayed.
  • the test manager can select an issue for which a solution is to be devised from the issue list on the screen.
  • the test condition may be selectable from a template prepared in advance.
  • the test administrator clicks the "Next" button on the test administrator screen the screen switches to the condition setting screen for the solution evaluation session for the second test as shown in FIG.
  • the test manager should enter the second test solution evaluation input conditions (instructions), limit the response time, select the evaluation axis, whether or not to disclose the results to the examinees, the number of people to evaluate for one task, and the task.
  • Information to be stored in the second test information file 342b such as the date and time of the evaluation session can be input.
  • the evaluation axis may be selected from the ones prepared by default, or the test administrator may freely input text in the description field.
  • the test condition information of the second test transmitted to the server 11 is received by the transmitting/receiving unit 310 of the server 11, and the data registration unit 322 stores the received information together with the second test ID in the second test information file 342b. Can be stored in.
  • Part of the test condition information of the second test may be stored in the third format data file 346c or the fourth format data file 346d.
  • the solution evaluation input condition (instruction) of the second test, the limit of the number of reply characters, and the number of possible answers may be stored in the third format data file 346c.
  • the solution evaluation input condition (instruction) of the second test and the selection of the evaluation axis may be stored in the fourth format data file 346d.
  • the second test ID may be manually assigned by the server administrator, or may be automatically assigned according to a predetermined rule when the server 11 stores the test condition information of the second test in the data registration unit 322. May be.
  • the data registration unit 322 can also register the test manager.
  • the server administrator in other words, the online test system provider logs in using the server administrator terminal 15 according to the above procedure
  • the server administrator terminal 15 displays the server administrator screen as shown on the left side of FIG. Is displayed.
  • the server administrator clicks the "Details" button corresponding to the item to be set a screen for entering account information of the test administrator is displayed on the server administrator terminal 15 as shown on the right side of FIG.
  • predetermined test administrator account information to be saved in the test administrator account file 348 such as the test administrator's group ID, person in charge, contact information, etc.
  • the test administrator account information can be transmitted to the server 11 by clicking the "Save" button. In this way, the account information of the test administrator transmitted to the server 11 is received by the transmitting/receiving unit 310 of the server 11, and the data registration unit 322 can save the received information in the test administrator account file 348. ..
  • the data registration unit 322 can register the tasks answered by the examinees. For example, when the examinee's terminal 12 displays a screen for the examinee of the task collection session of the first test as shown in FIG. 7, the examinee inputs the task and clicks the “Next” button. Then, the assignment data from the examinee is transmitted to the server 11 via the computer network 14. When the data registration unit 322 determines that the assignment data including the assignment received by the transmission/reception unit 310 has been received by the time limit determination unit 324 within the time limit, the data registration unit 322 assigns the task ID to the task data, and the subject data It is possible to store the assignment data in the first test assignment data file 343a in association with the examinee ID of the examinee who sent the test.
  • the data registration unit 322 can also register the task evaluation. For example, when the examinee's terminal 12 displays a screen for the examinee of a task evaluation session for evaluating a task proposed by another examinee as shown in FIG. 9, the examinee evaluates the task as an evaluation axis. Select input for each (here, click any one of "Strongly disagree”, “Disagree”, “Neutral”, “Agree”, and “Strongly agree” indicating co-sensitivity), and click "Next" button. When is clicked, the task evaluation data from the examinee is transmitted to the server 11 via the computer network 14.
  • the data registration unit 322 assigns the assignment evaluation ID to the assignment evaluation data, and associates the assignment evaluation data with the examinee ID and assignment ID of the examinee who sent the assignment evaluation data.
  • the assignment evaluation data can be stored in the first test assignment evaluation data file 344a.
  • the assignment evaluation data is stored in the first test assignment evaluation data file 344a only when the time limit determination unit 324 determines that it has been received within the time limit. Good.
  • the data registration unit 322 can register the solution proposed by the examinee. For example, when the screen for the test taker of the solution collecting session for the second test as shown in FIG. 8 is displayed on the test taker terminal 12, the test taker inputs the solution and the “Next” button is pressed. By clicking, the solution data from the examinee is transmitted to the server 11 via the computer network 14. When the data registration unit 322 determines that the solution data including the solution received by the transmission/reception unit 310 is received within the time limit by the time limit determination unit 324, the data registration unit 322 assigns the solution ID to the solution data. The solution data can be stored in the second test solution data file 343b in association with the examinee ID of the examinee who transmitted the solution data.
  • the data registration unit 322 can also register the solution plan evaluation. For example, when the examinee's terminal 12 displays the screen for the examinee of the solution evaluation session for evaluating the solution proposed by another examinee as shown in FIG. 10, the examinee evaluates the solution. Selectively input for each evaluation axis (click one of the buttons "Strongly disagree”, “Disagree”, “Neutral”, “Agree”, and “Strongly agree” that indicate co-sensitivity), and then click "Next". By clicking the "" button, the solution evaluation data from the examinee is transmitted to the server 11 via the computer network 14.
  • the data registration unit 322 gives the solution evaluation ID to the solution evaluation data, and the examinee ID and the solution ID of the examinee who transmitted the solution evaluation data.
  • the solution evaluation data can be stored in the second test solution evaluation data file 344b in association with the above.
  • the solution evaluation data is stored in the second test solution evaluation data file 344b only when it is determined by the time limit determination unit 324 that the solution has been received within the time limit. You may do so.
  • the data registration unit 322 can also register the result of actually using the solution stored in the second test solution data file 343b. For example, when a screen including at least one descriptive solution use result input unit for inputting a result when a specific solution is used as shown in FIG. 26 is displayed on the user terminal 16. , When the user inputs the result and clicks the "send" button, the data regarding the result when the solution from the user is used (solution result data) is transmitted to the server 11 via the computer network 14. To be done.
  • the input screen may include at least one selectable input for inputting the actual result of the solution.
  • the data registration unit 322 associates the solution result data with the second test solution by associating the solution result data with the user ID and the solution ID of the user who transmitted the solution result data. It can be stored in the proposal data file 343b.
  • the task input format extraction unit 323a receives the first format stored in the first format data file 346a.
  • the data can be simultaneously transmitted from the transmitting/receiving unit 310 to each of the examinee terminals 12 in a displayable form via the computer network 14.
  • the task input format extraction unit 323a can transmit predetermined test information such as the task input condition of the first test in the first test information file 342a in a form that can be displayed together with the first format data.
  • the task input format extraction unit 323a can individually transmit the first format data in a displayable form to the corresponding examinee terminal 12 according to the instruction of the time limit determination unit 324.
  • the assignment input format extraction unit 323a can also send predetermined test information such as assignment input conditions for the first test in the first test information file 342a.
  • the task input format extracting unit 323a receives the instruction to start the task collection session transmitted from the test administrator terminal 13, the task input session extraction section 323a indicates that the task collection session has started in the first test candidate account file 341a or the like. You can change to the status shown and save.
  • the solution inputting format extracting unit 323b stores the first test information stored in the second test information file 342b.
  • Second test solution input condition and predetermined test information such as a problem to be examined for solution, together with the second format data stored in the second format data file 346b, from the transmitting/receiving unit 310 via the computer network 14.
  • the data can be transmitted to all the examinee terminals 12 in a displayable form all at once.
  • the solution inputting format extraction unit 323b examines the solution input condition and solution of the second test in the second test information file 342b to the corresponding examinee terminal 12 according to the instruction of the time limit determination unit 324. It is possible to individually transmit predetermined test information such as a task to be displayed together with the second format data in a displayable form. Further, when the solution extraction input format extraction unit 323b receives the instruction to start the solution collection session transmitted from the test administrator terminal 13, the solution collection session starts with the status in the second test candidate account file 341b. You can change the status to indicate that you have saved it.
  • the time limit determination unit 324 for example, in the task collection of the first test (solution collection of the second test), the time point when the transmission and reception unit 310 receives the task data (solution data) transmitted from the examinee terminal 12, By using the timer 207 built in the server 11, the first test ID (second test ID) stored in the first test information file 342a (second test information file 342b), the collection start date and time of the first test ( Based on time information such as the second test collection start date and time), the first test collection end date and time (second test collection end date and time), and the first test task response time limit (second test solution proposal time limit) Then, it can be determined whether or not the time is within the time limit.
  • the subject ID (solution plan ID) is given to the subject data (solution plan data), and the examinee ID of the examinee who transmitted the subject data (solution plan data)
  • the data registration unit 322 can be instructed to store the first test task data file 343a (the second test solution data file 343b) in association with the above.
  • the first format data (second) is sent to the examinee terminal 12 of the examinee who has transmitted the task data (solution plan data) to the task input format extraction section 323a (solution plan input format extraction section 323b). It is possible to instruct the transmission/reception unit 310 to retransmit the format data) together with predetermined information in the first test task data file 343a (second test solution data file 343b) in a displayable form.
  • the time limit determination unit 324 determines that the predetermined time limit has passed regardless of whether the task data (solution plan data) is received from the examinee terminal 12, the task collection session (solution plan session) ends. Can be transmitted from the transmitting/receiving unit 310 to the examinee terminal 12 and the test manager terminal 13 in a form that can be displayed, and refusal to receive assignment data (solution data) beyond the time limit. it can.
  • the time limit determination unit 324 of the server 11 stores in the first test candidate account file 341a (second test candidate account file 341b) and the like. It is possible to change the status to "end of issue collection session (solution collection session)". Further, the time limit determination unit 324 may transmit to the evaluator determination unit 325 that the task collection session (solution collection session) has ended.
  • the status in the first test taker account file 341a becomes “end of the problem collection session (solution collection session)” for all the test takers, or from the time limit determination unit 324.
  • the evaluator determination unit 325 determines from the test manager terminal 13 When the transmission/reception unit 310 receives the transmitted instruction to start the task evaluation session (solution evaluation session), the random number generated by the random number generator 206 built in the server 11 is acquired, and the first test task is performed using the random number.
  • the evaluator determination unit 325 determines that the test administrator Without waiting for an instruction to start a task evaluation session (solution collection session) transmitted from the terminal 13, a random number generated by the random number generator 206 built in the server 11 is automatically acquired, and a random number is generated using the random number. It is possible to determine the examinees who should evaluate the task (solution) in each task data (solution data) stored in the one test task data file 343a (second test solution data file 343b).
  • the evaluator determination unit 325 uses the random numbers from among the test taker IDs of all the test takers for each task ID (solution ID). This can be done by assigning IDs only for the number of people required for evaluation.
  • the evaluator determination unit 325 associates the task ID (solution plan ID) with the test taker ID of the test taker who is the evaluator, and stores it in the storage unit 340. It can be saved in the first test task evaluation data file 344a (second test solution evaluation data file 344b) or the like.
  • the evaluator determination unit 325 uses the first test task evaluation progress management file 347a (second test solution evaluation progress management file) for managing the progress status of the evaluation of each problem (solution) by the examinee who is the evaluator.
  • the examinee ID, the task ID to be evaluated (solution ID), the required evaluation number, the evaluated number, and the like can be associated and stored for each examinee as an evaluator.
  • the evaluator determination unit 325 refers to the first test task data file 343a (second test solution data file 343b), and examinees the ID of the examinee who transmitted a task (solution) and the task (selected by a random number). If the examinee IDs of the examinees who should evaluate the (solution) match, it is preferable to cancel the selection and re-select using a random number. Further, when the examinee having the specific examinee ID is selected a number of times exceeding the maximum allocation number obtained above, the evaluator determination unit 325 may cancel the selection and re-select using a random number. preferable.
  • the task extracting unit 326 determines the tasks to be evaluated by each examinee according to the determination of the examinees to be evaluated by the evaluator determining unit 325, namely, the task ID and the evaluator stored in the first test task data file 343a.
  • Each examinee's terminal 12 is extracted in accordance with the examinee's examinee ID and is compatible with the third format data stored in the third format data file 346c from the transmitting/receiving unit 310 via the computer network 14 in a displayable form. Can be sent to.
  • the task data including the task may be transmitted in batch for each examinee to be evaluated, or may be divided and transmitted.
  • the solution extraction unit 327 determines the solution to be evaluated by each examinee according to the decision of the examinee to be evaluated by the evaluator determination unit 325, and the solution ID stored in the second test solution data file 343b. And extracted in accordance with the examinee ID of the examinee who is the evaluator, and corresponding in a form that can be displayed together with the fourth format data stored in the fourth format data file 346d from the transmission/reception unit 310 via the computer network 14. It can be transmitted to the examinee terminal 12. As for the transmission of the solution data including the solution, all the portions to be evaluated by each examinee may be transmitted all at once, or may be divided and transmitted.
  • the evaluation number determination unit 334 of the server 11 receives the first test task evaluation progress management file 347a (second test solution evaluation progress management). In the file 347b), the evaluated number is incremented by 1 in association with the examinee ID of the examinee who sent the evaluation.
  • the evaluation number determination unit 334 can grasp the progress of the subject evaluation session (solution proposal evaluation session) of the examinee by comparing the evaluated number with the required evaluation number.
  • the evaluation number determination unit 334 determines whether or not the examinee has reached the required evaluation number according to the above determination, and the required evaluation is performed.
  • the evaluation number determination unit 334 sends the unevaluated problem (solution) data to the problem extraction unit 326 (solution extraction unit 327) from the transmission/reception unit 310 to the computer. It is possible to instruct to transmit to the corresponding examinee terminals 12 in a form that can be displayed together with the third format data (fourth format data) via the network 14.
  • the evaluation number determination unit 334 determines that the evaluated number of a certain examinee has reached the required evaluation number, the assignment evaluation session (solution evaluation session) end screen and/or the assignment evaluation session (solution evaluation session) is displayed.
  • the progress information indicating the completion can be transmitted from the transmitting/receiving unit 310 to the examinee terminal 12 and the examination manager terminal 13 of the examinee.
  • the evaluation number determination unit 334 sets the status in the first test candidate account file 341a (second test candidate account file 341b) and the like. It is possible to change to "End of assignment evaluation session (solution proposal evaluation session)".
  • the task evaluation unit 328 assigns the totaled points to “initial score for evaluation axis 1”, “initial score for evaluation axis 2”,..., “initial score for evaluation axis n” of the first test task data file 343a. It can be stored for each ID.
  • the task evaluation extraction unit 330 extracts the task evaluation aggregate data including each task and the score of each evaluation axis for each task stored in the first test task data file 343a, and stores the task evaluation aggregate data in the computer network 14. It can be transmitted to the test manager terminal 13 in a form that can be displayed via the test manager terminal 13.
  • FIG. 18 shows an example of the task evaluation aggregate data displayed on the test administrator terminal 13.
  • the task evaluation aggregation data is provided as a list capable of displaying the name of the examinee who proposed the task for each task, the score for each evaluation axis, the total score, and the content of the task.
  • the task evaluation aggregated data can be output by various statistical methods.
  • the assignment evaluation extraction unit 330 is based on each assignment stored in the first test assignment data file 343a and the score for each assessment axis for each assignment, based on two or more evaluation axes assigned to each assignment. It is possible to plot a combination of scores in a coordinate system of two or more dimensions to create a statistical graph, and transmit the data of the statistical graph to the test manager terminal 13 in a form that can be displayed via the computer network 14.
  • FIG. 19 shows an example of a scatter diagram in which each task collected in the first test is plotted in the two-dimensional coordinate system based on the scores for the two evaluation axes.
  • the assignment evaluation extraction unit 330 as shown in FIG. 20a, the number of appearances of the keyword (character string data) included in each assignment stored in the first test assignment data file 343a, and/ Alternatively, a keyword map in which at least one of the size and the color of the keyword is changed is created based on at least the score for one or more evaluation axes calculated for the task including the keyword, and the computer network 14 It can be transmitted to the test manager terminal 13 in a form that can be displayed via.
  • the assignment evaluation extraction unit 330 calculates the number of appearances of a keyword (character string data) included in each assignment stored in the first test assignment data file 343a and the assignment including the keyword.
  • the test manager terminal is created in a form that can be displayed through the computer network by creating a keyword map in which at least one of the size and the color of the keyword is changed based on the score of one or a plurality of evaluated axes. 13 can be sent.
  • the character string data included in each task is decomposed into words based on the dictionary data in the dictionary data file 360 of the language prepared separately. Furthermore, the combination of words that form the context is specified from the dependency relations associated with particles and prepositions. Next, using a keyword in word units or a keyword in unit of combination of words forming a context, a corresponding portion is searched for in the character strings included in all the tasks, and the number of appearances is counted. Then, it is possible to display the keyword in a larger size as it appears more frequently.
  • weighting is performed with a score for one or more evaluation axes calculated for a task including the keyword, and a keyword that appears in a character string of a task with a higher score is treated as larger and the number of times of appearance x weighting. You may calculate the sum of ". Based on this total value, the larger the value, the more prominently displayed it can be displayed in large characters to create the keyword map. In addition, a keyword having a larger number of appearances is displayed in a larger size, and the color of the keyword is changed according to the total value (eg, a larger total value makes a warmer color and a smaller total value). It can be set to a colder color.)
  • the task evaluation extraction unit 330 extracts the task evaluation aggregation data of the tasks including the keyword from each task stored in the first test task data file 343a, and the task evaluation aggregation is performed.
  • the data can be transmitted to the test manager terminal 13 in a displayable form via the computer network 14.
  • the keyword map When a keyword on the keyword map is selected, the task evaluation aggregate data about the task including the keyword may be displayed immediately.
  • the keyword map When the above keyword (a word or a combination of words forming a context) is selected, a keyword map of keywords indicating a more specific context (eg, a combination of more words) is displayed as shown in FIG. 20b. In this way, by selecting a keyword on the keyword map, task evaluation aggregation data as shown in FIG. 20c may be displayed.
  • the solution plan evaluation unit 329 uses the totaled points as the “initial score for the evaluation axis 1”, “initial score for the evaluation axis 2”,..., “Initial score for the evaluation axis n” in the second test solution data file 343b. Can be stored for each solution ID.
  • the solution evaluation extraction unit 331 extracts solution evaluation aggregation data including each solution stored in the second test solution data file 343b and the score of each evaluation axis for each solution, and the solution evaluation aggregation.
  • the data can be transmitted to the test manager terminal 13 in a form that can be displayed via the computer network 14.
  • FIG. 21 shows an example of the solution evaluation aggregation data displayed on the test administrator terminal 13.
  • the solution evaluation evaluation aggregate data can be output by various statistical methods.
  • the solution evaluation extraction unit 331 may assign two or more solutions to each solution based on each solution stored in the second test solution data file 343b and the score of each evaluation axis for each solution.
  • FIG. 22 shows an example of a scatter diagram in which each solution solution collected in the second test is plotted in the two-dimensional coordinate system based on the scores for the two evaluation axes.
  • the solution evaluation extraction unit 331 as shown in FIG. 23a, the number of appearances of the keyword (character string data) included in each solution stored in the second test solution data file 343b. , And/or a keyword map in which at least one of the size and the color of the keyword is changed based on at least the score for one or more evaluation axes calculated for the solution including the keyword. , Can be transmitted to the test manager terminal 13 in a form that can be displayed via the computer network 14.
  • the solution evaluation extraction unit 331 uses the number of appearances of the keyword (character string data) included in each solution stored in the second test solution data file 343b and the solution including the keyword.
  • a keyword map in which the character size is changed based on the score for one or a plurality of evaluation axes calculated with respect to is created, and the test manager terminal 13 can be displayed in a form that can be displayed via the computer network 14. Can be sent to.
  • the character string data included in each solution is decomposed into words based on the dictionary data in the dictionary data file 360 of the language prepared separately. Furthermore, the combination of words that form the context is specified from the dependency relations associated with particles and prepositions. Next, using a keyword in word units or a keyword in combination units of words forming a context, a corresponding portion is searched for in the character strings included in all solutions, and the number of appearances is counted. Then, it is possible to display the keyword in a larger size as it appears more frequently.
  • the total of “number of appearances ⁇ weighting” may be calculated by weighting with the evaluation value of the solution including the keyword and treating the keyword appearing in the character string of the solution having a higher evaluation value as large as possible. Based on this total value, the larger the value, the more prominently displayed it can be displayed in large characters to create the keyword map.
  • a keyword having a larger number of appearances is displayed in a larger size, and the color of the keyword is changed according to the total value (eg, a larger total value makes a warmer color and a smaller total value). It can be set to a colder color.)
  • the solution evaluation extraction unit 331 selects a keyword on the keyword map
  • the solution evaluation extraction unit 331 extracts solution evaluation aggregated data about the solution including the keyword from each solution stored in the second test solution data file 343b.
  • the solution evaluation tabulation data can be transmitted to the test manager terminal 13 in a form that can be displayed via the computer network 14.
  • solution evaluation summary data regarding a solution including the keyword may be displayed immediately.
  • a keyword a word or a combination of words forming a context
  • a keyword map of a keyword indicating a more specific context eg, a combination of more words
  • the test taker evaluation unit 332 sets the initial score assigned to the task (solution) for each task ID (solution ID) stored in the first test task data file 343a (second test solution data file 343b) and Based on the examinee ID corresponding to the problem (solution), the initial acquisition score (example: total score or maximum score) for each examinee ID is calculated, and the score is associated with the examinee ID to take the first test.
  • This can be stored in the personal evaluation data file 345a (second test taker evaluation data file 345b) as, for example, "initial score for evaluation axis 1".
  • the initial score for the problem and solution is calculated without knowing the conspicuousness of each examinee. Therefore, even if it is a good problem (solution), there is a possibility that the evaluation will be divided depending on the examinee who has a conspicuous ability and the examinee who does not have a conspicuous ability. For this reason, it is preferable not to treat the evaluations from all examinees equally but to give a weight to the evaluations. As a method of giving a weight to the evaluation, the examinee evaluation unit 332 temporarily calculates the initial acquisition score of each examinee based on the initial score calculation result of the task (solution), and then the examinee ID and the examinee ID.
  • the test takers are ranked based on the initial acquisition score associated with the test, and the evaluation associated with the test taker ID of the test taker having a higher rank is given more weight to the evaluation of the problem (solution).
  • FIG. 3 is a conceptual diagram showing repetition of ranking of tasks (solutions) and mutual evaluation.
  • the acquisition score of each examinee may be the maximum score of the evaluation for each problem (solution) associated with the examinee's identifier for each evaluation axis, or may be associated with the examinee's identifier. It can be a total score of the evaluations for each of the assigned issues (solutions). More specifically, assuming that a test taker proposes four tasks (solutions), the score obtained by the highest rated task (solution) among the four tasks (solutions) is the maximum score. The total value of the scores for the four problems (solutions) is the total score.
  • Evaluation based on the maximum score is a preferable evaluation method when there is no time limit (for example, it is possible to answer at any time during a week). If there is no time limit, the longer the time spent on this task is, the higher the evaluation of the total value is likely to be, which is not necessarily the ability of the examinee to propose the task (solution). This is because it is considered unrelated.
  • the evaluation based on the total score is a preferable evaluation method when a time limit (for example, 1 hour) is set.
  • the “initial score for evaluation axis 1” for each task (solution) stored in the first test task data file 343a (second test solution data file 343b) is aggregated to evaluate each candidate's evaluation axis 1
  • the acquisition score (for example, the total score or the maximum score) is calculated by the examinee evaluation unit 332.
  • the calculated acquisition score can be stored as the "initial score for the evaluation axis 1" of the first test taker evaluation data file 345a (second test taker evaluation data file 345b).
  • all the examinees are sorted in the order of the acquired scores calculated by the examinee evaluation unit 332.
  • weight 1+sin ⁇ (1-2 ⁇ (k-1)/(N-1)) ⁇ pi/2 ⁇
  • the “initial score for evaluation axis 1”, which is the score for each task (solution) stored in the first test task data file 343a (second test solution data file 343b), is calculated according to the weighting calculation result. Fix it. For example, when the evaluation for each problem (solution) is evaluated by five options, the score of Strongly Agree 4 was initially set, but by multiplying the score by a weighting coefficient (for example, weight above), After weighting, depending on the examinee ID of the examinee as an evaluator, Strongly Agree may be 3.5.
  • the total weight is the total of the weighting factors given to the examinees who evaluated the problem (solution) for each problem (solution).
  • the weighted total is the sum of values obtained by multiplying the weighting coefficient given to the examinee who evaluated the subject (solution) by the evaluation value of the examinee.
  • the assignment evaluation unit 328 (solution evaluation unit 329) stores the corrected score as the “first correction score of the evaluation axis 1” in the first test assignment data file 343a (second test resolution data file 343b). You can
  • the test taker evaluation unit 332 performs the correction after being assigned to the task (solution) for each task ID (solution ID) stored in the first test task data file 343a (second test solution data file 343b). Based on the score and the examinee ID corresponding to the problem (solution), a corrected acquisition score (eg total score or maximum score) for each examinee ID is calculated, and the score is associated with the examinee ID to obtain the first score. It can be stored in the one test taker evaluation data file 345a (the second test taker evaluation data file 345b), for example, as a “first correction score for the evaluation axis 1” or the like.
  • test taker evaluation extraction unit 333 receives the test taker evaluation data including the score of each evaluation axis for each test taker stored in the first test taker evaluation data file 345a (second test taker evaluation data file 345b). It can be extracted based on the ID and transmitted from the transmission/reception unit 310 to the test administrator terminal 13 in a displayable form via the computer network 14.
  • search unit 335 receives the first test problem data file 343a and the first test problem. At least one of the evaluation data file 344a, the second test solution data file 343b, and the second test solution evaluation data file 344b is searched, and the search result including the problem that matches the search request and its solution is transmitted from the transmission/reception unit to the network. Can be transmitted to the terminal (user terminal 16) having the usage authority via.
  • the search result may further include one or both of a score for each evaluation axis for the problem and a score for each evaluation axis for the solution.
  • the search request can be made using one of the search conditions such as a keyword, a search formula, and category selection from a pull-down menu prepared in advance, or a combination of two or more of these. .. Sorting conditions for the search results (highest score of a particular evaluation axis, low suggestion date, etc.) may be selected from a pull-down menu or the like.
  • the server administrator terminal 15 and/or the test administrator terminal 13 are examples of terminals (user terminals 16) having usage authority, but other user terminals 16 may be used if usage authority is given. ..
  • An example of a screen for inputting search conditions displayed on the user terminal 16 is shown on the left side of FIG. Further, an example of a search result screen displayed on the user terminal 16 is shown on the right side of FIG.
  • the examinee terminal 12 can also have the hardware configuration of the computer 200 described above.
  • the storage device 202 of the examinee terminal 12 in addition to programs such as a web browser, browser data, data transmitted to and from the server 11, such as format data, assignment data, assignment evaluation data, solution data and solution evaluation data, are stored. Data can be stored temporarily or non-temporarily.
  • the test taker terminal 12 can input login information, a task, a solution, and an evaluation of another testee's task (solution) using the input device 204.
  • the test taker terminal 12 can display a login screen, a test screen (including test conditions, a problem (solution) entered by oneself and a problem (solution) presented by another person), an evaluation result, and the like by the output device 203.
  • the test taker terminal 12 can communicate with the server 11 via the computer network 14 by the communication device 205.
  • the communication device 205 For example, it is possible to receive a login screen, a test screen, task data, solution data, task evaluation data, solution evaluation data, and examinee evaluation data from the server 11, and login information, task data, It is possible to transmit solution data, problem evaluation data, and solution evaluation data.
  • the test manager terminal 13 can also have the hardware configuration of the computer 200 described above.
  • the storage device 202 of the test administrator terminal 13 in addition to programs such as a web browser, browser data, data transmitted/received to/from the server 11, for example, test taker account data, data relating to test status (progress), test condition data, tasks.
  • Data such as data, solution data, task evaluation data, solution evaluation data, and examinee evaluation data can be temporarily or non-temporarily stored.
  • the test administrator terminal 13 can input examinee account data, log-in data, an instruction to start a test, and the like using the input device 204.
  • the test administrator terminal 13 can display the examinee account data, the login screen, the test conditions, the subject presented by the examinee, the solution presented by the examinee, the evaluation result, and the like by the output device 203.
  • the test manager terminal 13 can communicate with the server 11 via the computer network 14 by the communication device 205. For example, it is possible to receive a login screen, examinee account data, assignment data, solution data, assignment evaluation data, solution evaluation data, examinee evaluation data, and test progress data from the server 11, and the server 11 can receive the data. It is possible to send test condition data (including test start instructions), examinee account data, and login data.
  • the server administrator terminal 15 can also have the hardware configuration of the computer 200 described above.
  • the storage device 202 of the server administrator terminal 15 in addition to programs such as a web browser, browser data, data transmitted to and received from the server 11, for example, server administrator account data, test administrator account data, test taker account data, tests.
  • server administrator account data for example, server administrator account data, test administrator account data, test taker account data, tests.
  • problem data related to the status (progress), problem data, solution data, problem evaluation data, solution evaluation data, test taker evaluation data and the like can be temporarily or non-temporarily stored.
  • the server administrator terminal 15 can input server administrator account data, test administrator account data, login data, test conditions, and the like by using the input device 204.
  • the server administrator terminal 15 can display the server administrator account data, the examination administrator account data, the login screen, the subject presented by the examinee, the solution presented by the examinee, the evaluation result, etc. by the output device 203. it can.
  • the server administrator terminal 15 can communicate with the server 11 via the computer network 14 by the communication device 205. For example, a login screen from the server 11, server administrator account data, test administrator account data, examinee account data, assignment data, solution data, assignment evaluation data, solution evaluation data, examinee evaluation data, test progress data.
  • the server administrator account data, the test administrator account data, the examinee account data, and the login data can be transmitted to the server 11.
  • the user terminal 16 can also have the hardware configuration of the computer 200 described above.
  • the storage device 202 of the user terminal 16 in addition to programs such as a web browser, browser data, data transmitted to and received from the server 11, for example, search condition data such as a search formula and keywords, assignment data, assignment evaluation data, and solution plans. Data such as data and solution evaluation data can be stored temporarily or non-temporarily.
  • the user terminal 16 can input login information, input search conditions for searching for a problem and a solution to the problem, etc., using the input device 204.
  • the user terminal 16 can display a login screen, a search condition input screen, a problem, a solution thereof, and the like by the output device 203.
  • the user terminal 16 can communicate with the server 11 via the computer network 14 by the communication device 205.
  • a login screen, a search condition input screen, and search result data eg, assignment data, solution data, assignment evaluation data, and solution evaluation data
  • search result data eg, assignment data, solution data, assignment evaluation data, and solution evaluation data
  • test screen of the task collection session is displayed on the test taker terminal from where the test administrator accesses the server to register the test takers and enter the test conditions.
  • the flow of processing until it is displayed in is described in the flowchart.
  • the server 11 sends a login screen to the test administrator terminal 13 (S101A).
  • the authentication processing unit 321 of the server 11 confirms that the input administrator ID and password are the test administrator.
  • the test administrator terminal 13 displays a management screen (eg, FIGS. 11 to 13).
  • the test administrator inputs the examinee information and the test conditions on the management screen, and sends the information to the server 11 (S106A).
  • the server 11 receives the test taker information and the data regarding the test conditions, the data registration unit 322 stores the data in the first test taker account file 341a and the first test information file 342a, respectively (S107A).
  • the server 11 transmits a management screen that conveys the registered test taker information and test conditions to the test manager terminal 13 (S108A).
  • the test administrator confirms the registered information on the management screen and then clicks the "Start problem collection session" button on the management screen as shown in FIG. 11, the start instruction of the problem collection session is given to the server 11.
  • the task input format extraction unit 323a of the server 11 indicates that the task collection session has started in the first test candidate account file 341a or the like.
  • the status is changed to and stored (S110A).
  • the start time of the task collection session may be stored in the first test taker account file 341a or the like.
  • the status is similarly changed.
  • the instruction from the test administrator to start the task collection session includes not only clicking the “Start task collection session” button but also setting the start date and time of the task collection session in advance and registering it in the server 11. .. In this case, the server 11 automatically executes S110A at the set date and time.
  • the task input format extraction unit 323a of the server 11 extracts the first format data for task input from the first format data file 346a, and further, a predetermined task input condition (instruction) or the like of the first test.
  • the test information is extracted from the first test information file 342a, and a test screen including at least one descriptive task input unit and the test information is transmitted to each examinee terminal 12 (S111A).
  • a test screen for task input as shown in FIG. 7 is displayed on the examinee terminal 12 (S112A).
  • the test taker terminal 12 is logged in after receiving the ID and password authentication in the same procedure as the test manager terminal 13. Need to be.
  • FIG. 28 is a flowchart showing the flow of processing from start to finish of the task collection session.
  • the examinee inputs the task according to the instruction on the screen and clicks the "Next" button.
  • the subject data is transmitted from the examinee terminal 12 to the server 11 (S113A).
  • the server 11 receives the assignment data
  • the time limit determination unit 324 determines whether the assignment data is received within the time limit (S114A).
  • the data registration unit 322 of the server 11 assigns a task ID to the task data and associates the task data with the test taker ID of the test taker who has transmitted the task data.
  • the data is stored in the data file 343a (S115A).
  • the time limit determination unit 324 instructs the examinee terminal 12 of the examinee who transmitted the task data to retransmit the test screen for task input.
  • the task input format extraction unit 323a transmits a test screen for task input to the corresponding examinee terminal 12 according to the instruction of the time limit determination unit 324 (S111A). In this way, the test screen for inputting the task is repeatedly transmitted to the examinee terminal 12 as long as the time limit is reached.
  • the time limit determination unit 324 of the server 11 determines that the time limit has passed regardless of whether or not the task data is received from the examinee's terminal 12, in order to record that the task collection session has ended,
  • the status in the one test taker account file 341a or the like is changed to "end of task collection session" (S116A).
  • the assignment collection session end screen or progress information indicating that the assignment collection session is finished is transmitted from the transmission/reception unit 310 to the examinee terminal 12 and the examination manager terminal 13 (S117A).
  • a screen indicating that the task collection session has ended is displayed on the examinee terminal 12 (S118A), and progress information indicating that the task collection session as shown in FIG. 11 has ended is displayed on the test administrator terminal 13, for example. Is displayed (S119A).
  • the server 11 may send a test screen for inputting a plurality of assignments at one time. Further, the examinee terminal 12 may be able to collectively transmit a plurality of tasks to the server 11 in S113A. In this case, the server 11 can receive all the task data from the examinee at once, and does not need to repeat S111A.
  • FIG. 29 is a flowchart showing the flow of processing from start to end of the assignment evaluation session.
  • a task evaluation session start instruction is sent to the server 11. (S201A).
  • the evaluator determination unit 325 of the server 11 receives the instruction to start the task evaluation session, the evaluator determination section 325 acquires a random number generated by the random number generator 206 incorporated in the server 11, and uses the random number to generate the first test task data file 343a.
  • the examinees who should evaluate the task in each task data stored in are determined (S202A).
  • the evaluator determination unit 325 of the server 11 sets the first test task evaluation progress management file 347a for managing the progress status of the evaluation of each task by the test taker who is the evaluator for each test taker who is the evaluator.
  • the examinee ID, the task ID to be evaluated, and the required number of evaluations can be associated and stored.
  • the determination process by the evaluator determination unit 325 is not limited to the instruction to start the assignment evaluation session from the test administrator terminal 13, and may be started by any instruction for starting the evaluator determination process.
  • the determination process may be executed by receiving an instruction only for determining the evaluator from the test manager terminal 13, or may be executed in accordance with another instruction, and the status is task collection. The change to the end of the session may be triggered to be executed.
  • the task extraction unit 326 of the server 11 stores the data of the task to be evaluated by each examinee in the first test task data file 343a according to the determination of the examinee who should evaluate each task by the evaluator determination unit 325. It is extracted based on the task ID and the examinee ID of the examinee who is the evaluator, and is transmitted to each corresponding examinee terminal 12 in a displayable form together with the third format data stored in the third format data file 346c. (S203A). As a result, the examinee's terminal 12 displays the task to be evaluated for each examinee on the screen as shown in FIG. 9 (S204A).
  • the data registration unit 322 assigns the task evaluation ID to the task evaluation data, and associates the testee ID and the task ID of the examinee who transmitted the task evaluation data with the first test. It is stored in the task evaluation data file 344a (S206A).
  • the evaluation number determination unit 334 of the server 11 receives an evaluation for one task from the test taker terminal 12, the number of evaluated tests in the first test task evaluation progress management file 347a corresponding to the test taker's test taker ID. Is increased by one and it is determined whether the examinee has reached the required evaluation number according to the above determination (S207A). As a result, if it is determined that the required number of evaluations has not been reached, the task extraction unit 326 stores the task data that has not been evaluated in the first test task data file 343a as the task that the examinee should evaluate next.
  • Each examinee terminal that is extracted based on the stored assignment ID and the examinee ID of the examinee who is the evaluator, and is compatible with the third format data stored in the third format data file 346c in a displayable form 12 (S203A). In this way, the data of the task to be evaluated until the required evaluation number is reached is repeatedly transmitted to the examinee terminal 12.
  • the server 11 may collectively send the data of the tasks to be evaluated in S203A to each examinee terminal 12. Further, the examinee terminal 12 may be able to collectively transmit the task evaluation data to the server 11 in S205A. In this case, the server 11 can receive all the task evaluation data from the examinee at once, and it is not necessary to repeat S203A.
  • the evaluation number determination unit 334 of the server 11 determines that the required evaluation number has been reached, in order to record that the subject evaluation session of the examinee has ended, the evaluation number determination unit 334 in the first test examinee account file 341a or the like The status is changed to "end of evaluation session" (S208A).
  • the evaluation number determination unit 334 also transmits the assignment evaluation session end screen or progress information indicating that the assignment evaluation session has ended to the examinee terminal 12 and the test administrator terminal 13 from the transmission/reception unit 310 (S209A).
  • the examinee terminal 12 and the examination manager terminal 13 receive the screen or the progress information
  • the examinee terminal 12 displays a screen indicating that the assignment evaluation session has ended (S210A)
  • the examination manager terminal 13 displays For example, progress information indicating that the assignment evaluation session has ended as shown in FIG. 11 is displayed (S211A).
  • FIG. 30 is a flowchart showing the flow of processing from the end of the assignment evaluation session to the scoring of each assignment by the server 11 and transmission of the results to the test administrator. ..
  • the test administrator gives an instruction to start score calculation from the test administrator terminal 13, for example, the test administrator indicates “start score calculation” on the management screen as shown in FIG. By clicking the button, it is transmitted to the server 11 (S301A). Note that the “start score calculation” button may appear on the management screen of the test administrator after the task evaluation session ends.
  • the assignment evaluation unit 328 of the server 11 determines each assignment based on the evaluation value and the assignment ID for each evaluation axis of each assignment stored in the first test assignment evaluation data file 344a.
  • a task score is calculated for each evaluation axis for each task ID in the data (S302A). The score may be written as the initial score in the first test task data file 343a, or may be processed in the memory without being written individually.
  • the examinee evaluation unit 332 calculates a score relating to the task proposing ability for each examinee ID for each evaluation axis, based on the score given for each task ID (S303A). The score may be written as the initial score in the first test taker evaluation data file 345a, or may be processed in the memory without being written individually.
  • step S304A After the score relating to the task proposing ability of each examinee is once calculated, weighting is given to the evaluation from the examinee with a high score, and the score for each assessment axis for the task is re-assigned for each task ID It is calculated (corrected) (S304A), and the score for each examinee ID is calculated (corrected) again for each evaluation axis based on the corrected score (S305A). Further, steps S304A and S305A are repeated a preset number of times.
  • the score corrected in step S304A may be written in the first test task data file 343a as the first corrected score, the second corrected score, etc., or may be processed in the memory without being written one by one.
  • the score corrected in step S305A may be written as the first correction score, the second correction score, or the like in the first test candidate evaluation data file 345a, or may be processed in the memory without being written individually. Good.
  • the final score for each task is calculated by repeating steps S304A and S305A a predetermined number of times.
  • the final score for each test taker is also calculated.
  • the task evaluation extraction unit 330 of the server 11 determines each task and each evaluation axis for each task.
  • the assignment evaluation aggregated data including the score is extracted and the assignment evaluation aggregated data is transmitted to the test manager terminal 13 in a form that can be displayed (S306A).
  • the test taker evaluation extraction unit 333 of the server 11 extracts the test taker evaluation data including the score for each test taker stored in the first test taker evaluation data file 345a based on the test taker ID. However, it can also be transmitted to the test administrator terminal 13 in a displayable form.
  • the task evaluation aggregate data (and the examinee evaluation data) is received, the task evaluation aggregate data (and the examinee evaluation data) is displayed on the screen of the test manager terminal 13 (S307A).
  • test manager of the solution collection session takes the test as the test administrator accesses the server to register the examinees and enter the test conditions. The flow of processing until it is displayed on the person's terminal is described in a flowchart.
  • the server 11 sends a login screen to the test administrator terminal 13 (S101B).
  • the authentication processing unit 321 of the server 11 confirms that the input administrator ID and password are the test administrator.
  • the test administrator terminal 13 displays a management screen (eg, FIGS. 14 to 16).
  • the test administrator inputs the examinee information and the test conditions on the management screen, and sends them to the server 11 (S106B).
  • the server 11 receives the test taker information and the data regarding the test conditions, the data registration unit 322 saves the data in the second test taker account file 341b and the second test information file 342b, respectively (S107B).
  • the server 11 transmits a management screen that conveys the registered examinee information and test conditions to the test administrator terminal 13 (S108B).
  • the test administrator confirms the registered information on the management screen and then clicks the “Start solution collection session” button on the management screen as shown in FIG. 14, a start instruction for the solution collection session is displayed. It is transmitted to the server 11 (S109B).
  • the solution input format extraction unit 323b of the server 11 displays the status in the second test candidate account file 341b or the like as the solution collection session. The status is changed to a status indicating that it has started and saved (S110B).
  • the start time of the solution collection session may be stored in the second test candidate account file 341b or the like. If there is a status field in other files such as the second test taker account file 341b and the second test information file 342b, the status is similarly changed.
  • the instruction from the test administrator to start the solution collection session should be set not only by clicking the “Start solution collection session” button but also by setting the solution collection session start date and time and registering it in the server 11. Is also included. In this case, the server 11 automatically executes S110B at the set date and time.
  • the solution input format extraction unit 323b of the server 11 extracts the second format data for solution input from the second format data file 346b, and further, the second test solution input condition (instruction) and Predetermined test information such as a problem to be examined for a solution is extracted from the second test information file 342b, and at least one descriptive solution input unit and a test screen including the test information are transmitted to each examinee terminal 12. (S111B). As a result, a test screen for inputting a solution as shown in FIG. 8 is displayed on the examinee terminal 12 (S112B). Although not described with reference to the flowchart, in order for the test screen to be displayed on the test taker terminal 12, the test taker terminal 12 is logged in after receiving the ID and password authentication in the same procedure as the test manager terminal 13. Need to be.
  • FIG. 32 is a flowchart showing the flow of processing from start to end of the solution proposal collection session.
  • the examinee inputs the solution according to the instruction on the screen and clicks the "Next" button.
  • the solution data is transmitted from the examinee terminal 12 to the server 11 (S113B).
  • the server 11 receives the solution plan data
  • the time limit determining unit 324 determines whether the solution plan data is received within the time limit (S114B).
  • the data registration unit 322 of the server 11 assigns the solution plan ID to the solution plan data, associates the solution plan data with the examinee ID of the examinee who transmitted the solution plan data, and the like. Second, it is stored in the test solution data file 343b (S115B).
  • the time limit determining unit 324 instructs the examinee terminal 12 of the examinee who transmitted the solution data to retransmit the test screen for inputting the solution. To do.
  • the solution input format extraction unit 323b transmits a test screen for inputting a solution to the corresponding examinee terminal 12 according to the instruction of the time limit determination unit 324 (S111B). In this way, the test screen for inputting the solution is repeatedly transmitted to the examinee terminal 12 as long as it is within the time limit.
  • the time limit determination unit 324 of the server 11 determines that the time limit has passed regardless of whether solution solution data is received from the examinee terminal 12, it records that the solution solution session has ended. , The status in the second test taker account file 341b etc. is changed to “end solution collection session” (S116B).
  • the solution collection session end screen or progress information indicating that the solution collection session has ended is transmitted from the transmission/reception unit 310 to the examinee terminal 12 and the test manager terminal 13 (S117B).
  • a screen indicating that the solution collection session has ended is displayed on the examinee terminal 12 (S118B), and the examination manager terminal 13 indicates that the solution collection session as shown in FIG. 14 has ended. Progress information is displayed (S119B).
  • the server 11 may send a test screen for entering a solution in S111B, in which a plurality of solutions can be entered at once. Further, the examinee terminal 12 may be able to collectively transmit a plurality of solution plans to the server 11 in S113B. In this case, the server 11 can receive all solution data from the examinee at once, and it is not necessary to repeat S111B.
  • FIG. 33 is a flowchart showing the flow of processing from start to end of the solution proposal evaluation session.
  • the start instruction of the solution evaluation session is given by the server 11. (S201B).
  • the evaluator determination unit 325 of the server 11 receives the instruction to start the solution evaluation session, the evaluator determination unit 325 acquires a random number generated by the random number generator 206 incorporated in the server 11, and uses the random number to generate the second test solution data.
  • the examinees who should evaluate the solution in each solution data stored in the file 343b are determined (S202B).
  • the evaluator determination unit 325 of the server 11 sets the second test solution evaluation progress management file 347b for managing the progress status of the evaluation of each solution by the test taker who is the evaluator for each test taker who is an evaluator.
  • the examinee ID, the solution ID to be evaluated, the required number of evaluations, and the like can be stored in association with each other.
  • the determination process by the evaluator determination unit 325 is not limited to the instruction of the solution administrator evaluation session start from the test administrator terminal 13, and may be started by any instruction for starting the evaluator determination process. ..
  • the determination process may be executed by receiving an instruction only for determining the evaluator from the test manager terminal 13, may be executed in accordance with another instruction, and the status may be a solution plan.
  • the change to the end of the collection session may be triggered and executed.
  • the solution extracting unit 327 of the server 11 stores the data of the solution to be evaluated by each examinee in the second test solution data file 343b according to the decision of the examinee who should evaluate each solution by the evaluator determining unit 325.
  • the solution to be evaluated for each examinee is displayed on the screen of the examinee terminal 12 as shown in FIG. 10 (S204B).
  • the solution evaluation data is transmitted from the examinee terminal 12 to the server 11 (S205B).
  • the data registration unit 322 gives the solution evaluation ID to the solution evaluation data, and the examinee ID and the solution ID of the examinee who transmitted the solution evaluation data are stored. It is associated and stored in the second test solution evaluation data file 344b (S206B).
  • the evaluation number determination unit 334 of the server 11 receives an evaluation for one solution from the test taker terminal 12, the evaluation in the second test solution evaluation progress management file 347b corresponding to the test taker's test taker ID.
  • the number of completed examinations is increased by one, and it is determined whether or not the examinee has reached the required number of assessments according to the determination (S207B).
  • the solution extraction unit 327 determines the solution data to be evaluated next by the test taker as the second test solution solution.
  • the server 11 may collectively send the data of the solution to be evaluated in S203B to each examinee terminal 12.
  • the examinee terminal 12 may collectively transmit the solution evaluation data to the server 11 in S205B.
  • the server 11 can receive all the solution evaluation data from the examinee at once, and it is not necessary to repeat S203B.
  • the evaluation number determination unit 334 of the server 11 determines that the required number of evaluations has been reached, the second test candidate account file 341b or the like is recorded in order to record that the solution proposal evaluation session of the candidate has ended.
  • the status of is updated to "end of solution evaluation session" (S208B).
  • the evaluation number determination unit 334 transmits the solution evaluation session end screen or the progress information that the solution evaluation session is completed from the transmission/reception unit 310 to the examinee terminal 12 and the test administrator terminal 13 (S209B).
  • the examinee terminal 12 and the examination manager terminal 13 When the examinee terminal 12 and the examination manager terminal 13 receive the screen or the progress information, the examinee terminal 12 displays a screen to the effect that the solution evaluation session is completed (S210B), and the examination manager terminal 13 Displays, for example, progress information indicating that the solution evaluation session as shown in FIG. 14 has ended (S211B).
  • FIG. 34 is a flowchart showing the flow of processing after the solution evaluation session is finished, the server 11 scores each solution, and the result is sent to the test administrator. ing.
  • the test administrator issues an instruction to start score calculation from the test administrator terminal 13, for example, "start score calculation" on the management screen as shown in FIG. By clicking the button, the data is transmitted to the server 11 (S301B).
  • the "start score calculation" button may appear on the management screen of the test administrator after the solution proposal evaluation session ends.
  • the solution evaluation unit 329 of the server 11 uses the evaluation value and solution ID of each evaluation axis of each solution stored in the second test solution evaluation data file 344b.
  • the solution score is calculated for each evaluation axis for each solution ID in each solution data (S302B).
  • the score may be written in the second test solution data file 343b as an initial score, or may be processed in the memory without being written.
  • the examinee evaluation unit 332 calculates a score relating to the solving ability for each examinee ID for each evaluation axis based on the score given for each solution ID (S303B).
  • the score may be written in the second test taker evaluation data file 345b as an initial score, or may be processed in the memory without being written individually.
  • step S304B may be written in the second test solution data file 343b as the first correction score, the second correction score, etc., or may be processed in the memory without being written individually. .. Similarly, the score corrected in step S305B may be written as the first correction score, the second correction score, or the like in the second test candidate evaluation data file 345b, or may be processed in the memory without being written individually. Good.
  • the final score for each solution is calculated by repeating steps S304B and S305B a predetermined number of times.
  • the final score for each test taker is also calculated.
  • the solution evaluation extraction unit 331 of the server 11 determines each solution and each solution.
  • the solution evaluation total data including the score for each evaluation axis is extracted, and the solution evaluation total data is transmitted to the test manager terminal 13 in a form that can be displayed (S306B).
  • the test taker evaluation extraction unit 333 of the server 11 extracts the test taker evaluation data including the score for each test taker stored in the second test taker evaluation data file 345b based on the test taker ID. However, it can also be transmitted to the test administrator terminal 13 in a displayable form.
  • the solution proposal evaluation aggregate data (and the examinee evaluation data)
  • the solution proposal evaluation aggregate data is displayed on the screen of the test manager terminal 13 (S307B).
  • FIG. 35 is a flowchart showing the flow of processing from the authorized user terminal accessing the server to making a search request and obtaining the desired search result.
  • the server 11 transmits a login screen to the user terminal 16 (S401).
  • the authentication processing unit 321 of the server 11 determines that the input administrator ID and password are the library user account file. It is determined whether or not the data matches the data stored in 350 (S403), and if they match, the management screen for the user is transmitted to the user terminal 16 (S404). , And sends an error message (S405).
  • a screen for inputting search conditions is displayed on the user terminal 16.
  • the user inputs a search condition for the problem and its solution using a keyword and a search formula on the screen, and sends the search condition to the server 11 (S406).
  • the search unit 335 causes the data in the storage unit 340 of the server 11, for example, the first test task data file 343a, the second test solution data file 343b, and the first test taker.
  • Account file 341a, second test taker account file 341b, first test information file 342a, second test information file 342b, first test assignment evaluation data file 344a, second test solution evaluation data file 344b, first test taking At least one of the person evaluation data file 345a and the second test candidate evaluation data file 345b is searched (S407).
  • the server 11 transmits the search result including the problem matching the search request and the solution thereof to the user terminal (S408).
  • the search result may further include one or both of a score for each evaluation axis for the problem and a score for each evaluation axis for the solution.
  • the search results as shown in the lower left part of FIG. 24 and the lower right part of FIG. 24 are displayed on the screen of the user terminal 16 (S409).
  • server 12 examinee terminal 13 test administrator terminal 14 computer network 15 server administrator terminal 16 user terminal 205 communication device 200 computer 201 arithmetic device 202 storage device 203 output device 204 input device 205 communication device 206 random number generator 207 timer 310 Transmission/reception unit 320 Control unit 321 Authentication processing unit 322 Data registration unit 323a Problem input format extraction unit 323b Solution proposal input format extraction unit 324 Time limit determination unit 325 Evaluator determination unit 326 Problem extraction unit 327 Solution extraction unit 328 Problem evaluation Part 329 Solution evaluation part 330 Problem evaluation extraction part 331 Solution evaluation extraction part 332 Candidate evaluation part 333 Candidate evaluation extraction part 334 Evaluation number judgment part 335 Search part 340 Storage part 341a First test candidate account file 341b Second Test candidate account file 342a First test information file 342b Second test information file 343a First test task data file 343b Second test solution data file 344a First test task evaluation data file 344b Second test solution evaluation data file 345a First test candidate evaluation data file 345b Second test candidate evaluation data file

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

オンラインで効率的に行うことのできる課題収集評価方法及び解決案収集評価方法を提供する。第一テストでは複数の受験者から様々な課題をネットワークを介して収集すると共に受験者間で相互評価させ、これによって得られた課題データ及び課題評価データを、識別子を用いてサーバ内に格納する。サーバは、課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができる。第二テストでは複数の受験者から与えられた課題に対する様々な解決案をネットワークを介して収集すると共に受験者間で相互評価させ、これによって得られた解決案データ及び解決案評価データを、識別子を用いてサーバ内に格納する。サーバは、解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる。

Description

課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ
　本発明はオンラインで行う課題収集評価方法及び解決案収集評価方法に関する。また、本発明は、課題収集評価をオンラインで行うためのサーバ、解決案収集評価をオンラインで行うためのサーバ、並びに、課題及びその解決案の収集評価をオンラインで行うためのサーバに関する。
　近年、インターネットの普及により検定試験や就職試験などの各種試験がオンライン上でも行われるようになってきている。オンライン試験においては、受験者が自己の端末にて問題をサーバから受信し、受験者は自ら作成した答案をサーバへ送信することにより行う方法が一般的に採用されている。
　例えば、特開２００２－６２７９５号公報では、設問形式の問題を受験者に対して提供し、前記問題に対する回答を収集して採点又は解析の結果情報を提供する検定試験システムであって、前記問題を含んだ出題用プログラム及び前記問題に対する回答を返送する転送用ファイルを前記受験者に対して提供するステップと、前記受験者から返送される前記転送用ファイルを受信するステップと、前記転送用ファイルに含まれる回答を採点又は解析するステップと、前記回答を採点又は解析した結果情報を前記受験者に対して配信するステップとを備えたことを特徴とする検定試験システムが開示されている。
　しかしながら、オンライン試験に限らず、人の知識や能力を測定するための試験においては選択式であろうと記述式であろうと模範回答が用意されており、受験者による解答を当該模範解答と比較することで、受験者に対する評価を決定するという手順が伝統的に採用されてきた。しかしながら、このような伝統的な採点方法では、模範解答のない問題に対して受験者を評価することは困難である。
　そこで、模範解答のない問題に対して、受験者間で相互に評価させるという方法が特表２０１４－５００５３２号公報にて提案されている。当該公報においては、コンピュータ内に存在するメモリデバイスと；前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって前記プロセッサは：候補者がテーマに基づいた問題を作成することを要求し；前記候補者から前記問題を受信し；少なくとも１人の評価者から前記問題と前記テーマとの評価を要求し；各評価者から問題スコアを受信し、前記問題スコアは前記問題と前記テーマとの評価の客観的指標であり；各評価者に対する格付けを受信し；そして、各評価者からの前記問題スコアと前記各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成されるシステムが開示されている。
　また、国際公開第２０１７／１４５７６５号においては、各受験者における目利き力を判定し、その結果を各受験者の評価に反映させることで、各受験者のアイデア創造力を簡易的且つ客観的に測定することを可能としたオンラインテスト方法が開示されている。具体的には、多数の受験者に対して、５Ｗ１Ｈに関する状況設定を選択肢から選ばせ、それによるアイデアを記述させるという作業を制限時間内になるべく多く繰り返させる試験をオンライン上で行い、これに対する受験者からの回答に対して所定の基準に従って重み付けを付与して合計スコアを算出することで、評価の高いアイデアを多く創出する能力、評価の高いアイデアを幅広く創出する能力、又は、希少で評価の高いアイデアを創出する能力といったイノベーション能力を評価するオンラインテスト方法が開示されている。
特開２００２－６２７９５号公報 特表２０１４－５００５３２号公報 国際公開第２０１７／１４５７６５号
　世の中には政治、経済、社会、産業、科学、環境等の種々の分野において様々な課題が存在する。また、企業内においても、人事、労務、教育、経理、法務、経営企画、技術開発、保安、情報管理、マーケティング及び営業といった種々の部門で様々な課題が存在する。このような課題は既に知られているもの、潜在的にその存在が予測されているもの、未だ認識されていないものを含めて多数存在する。現代社会においては、既存の課題に対して過去から現在まで多様な解決手段が提案されており、インターネットの普及も相まって課題及び解決手段に関する多種多様な情報が手に入るものの、入手可能な情報量は日々膨れ上がって複雑化及び高度化しており、しかもそのような情報には不正確な情報、誤った情報、更には詐欺的な情報も含まれるため、かえって社会を混乱に陥れる危険性を孕んでいる。
　つまり、現代の情報社会においては、膨大な情報量の中から、信頼性の高い正確な情報を選別して得ることは容易ではない。そのため、ある課題に対して最適解が既に世の中に存在しているにも拘わらずそのような最適解に容易に辿り着くことができないという事態が生じ得る。また、世の中の誰かが既に認識又は潜在的に認識している課題であるにも拘わらず、社会全体としてその課題の存在を共有できていないという事態も生じ得る。そのような課題に対しては解決策が存在しないか、存在していたとしても少ないため、最適な解決策を探すことはいっそう困難である。
　同様の事態は企業内という小さな組織においても存在し得る。すなわち、企業内での情報共有が十分になされていないと、過去に解決したはずの課題に対して最初から取り組まなければならないという非効率な事態が生じ得る。また、従業員の誰かが既に認識又は潜在的に認識している課題であるにも拘わらず、企業としてその課題の存在を共有できていないという事態も生じ得る。企業内における課題の共有が十分にできていればその課題に対する解決策を検討する機会自体が得られない。課題によっては顕在化してからでは手遅れのものも存在するところ、課題とその解決策の迅速な把握が企業活動において極めて重要である。
　上述したオンラインテスト方法、特に特許文献３に記載されているオンラインテスト方法は、個人のアイデア創造力を評価する手法としては優れているものの、多種多様な課題を収集評価及び多種多様な解決案収集をオンラインで効率的に行ない、収集評価した課題及び解決案を価値評価と共にストックし、情報の可用性を高めるという観点での検討が不足している。情報が価値評価と共にストックされれば、信頼性の高い情報へのアクセスが容易になるであろう。
　従って、本発明はオンラインで効率的に行うことのできる課題収集評価方法を提供することを課題とする。また、本発明はオンラインで効率的に行うことのできる解決案収集評価方法を提供することを別の課題とする。また、本発明は、課題収集評価をオンラインで効率的に行うためのサーバを提供することを更に別の課題とする。また、本発明は、解決案収集評価をオンラインで効率的に行うためのサーバを提供することを更に別の課題とする。また、本発明は、課題及びその解決案の収集評価をオンラインで効率的に行うためのサーバを提供することを更に別の課題とする。
　本発明者は上記課題を解決するために鋭意検討を行ったところ、課題を認識していたり潜在的な課題を提案可能な者と、与えられた課題に対する解決案を認識していたり解決案を提案可能な者は必ずしも同一ではないことに着目した。例えば、ある従業員は職場の問題を発見しているがそれに対する有効な解決案を発見できない場合がある。また、ある従業員はそのような職場の問題に気づいていないが、問題提起を受ければ有効な解決案を提案できる場合がある。つまり、課題の収集評価と、解決案の収集評価は個別に実施する方が、多種多様な課題及びそれに対する多種多様な解決案を収集しやすいのである。
　本発明は当該知見を基礎として完成したものであり、以下に例示される。
［１］
　サーバが、ネットワークを介して試験管理者端末から第一テスト開始の指示を受信するステップと、
　サーバが、第一テスト開始の指示に応じて、少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データをネットワークを介して第一テストの複数の受験者端末のそれぞれに送信するステップと、
　サーバが、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、第一テストの各受験者端末から受信するステップと、
　サーバが、受信した課題を含む課題データにそれぞれ識別子を付与し、前記課題データを送信した第一テストの各受験者の識別子と関連付けて前記課題データを課題データ記憶部に格納するステップと、
　サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を第一テストの受験者の中から決定するステップと、
　サーバが、課題を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データをネットワークを介して対応する第一テストの受験者端末に送信するステップと、
　サーバが、課題データ中の課題に対する第一テストの受験者による評価を含む課題評価データを、第一テストの各受験者端末から受信するステップと、
　サーバが、受信した課題評価データにそれぞれ識別子を付与し、前記課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて前記課題評価データを課題評価データ記憶部に格納するステップと、
　サーバが、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、各課題を含む課題データを送信した第一テストの受験者の識別子と関連付けて前記スコアを課題データ記憶部に格納するステップと、
　サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信するステップと、
を含む課題収集評価方法。
［２］
　課題入力のための第一書式データは、第一テスト情報記憶部に格納されている課題の入力条件と共に送信される［１］に記載の課題収集評価方法。
［３］
　前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性の少なくとも一つを含む［１］又は［２］に記載の課題収集評価方法。
［４］
　前記少なくとも一つの評価軸が、二つ以上の評価軸を含む［１］～［３］の何れか一項に記載の課題収集評価方法。
［５］
　前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性よりなる群から選択される二つ以上の評価軸を含む［４］に記載の課題収集評価方法。
［６］
　サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアに基づいて、各課題に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む［１］～［５］の何れか一項に記載の課題収集評価方法。
［７］
　サーバが、課題データ記憶部に格納されている課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を、ネットワークを介して試験管理者端末から受信するステップと、
　サーバが、ネットワークを介して試験管理者端末から第二テスト開始の指示を受信するステップと、
　サーバが、第二テスト開始の指示に応じて、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの記述式解決案入力部を含む、前記少なくとも一つの解決すべき課題に対する解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データをネットワークを介して第二テストの複数の受験者端末のそれぞれに送信するステップと、
　サーバが、前記少なくとも一つの解決すべき課題に対する第二テストの受験者による解決案を含む解決案データを、第二テストの各受験者端末から受信するステップと、
　サーバが、受信した解決案を含む解決案データにそれぞれ識別子を付与し、前記解決案データを送信した第二テストの受験者の識別子と関連付けて前記解決案データを解決案データ記憶部に格納するステップと、
　サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を第二テストの受験者の中から決定するステップと、
　サーバが、解決案を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき解決案を含む解決案データを解決案データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データをネットワークを介して対応する第二テストの受験者端末に送信するステップと、
　サーバが、解決案データ中の解決案に対する第二テストの受験者による評価を含む解決案評価データを、第二テストの各受験者端末から受信するステップと、
　サーバが、受信した解決案評価データにそれぞれ識別子を付与し、前記解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて前記解決案評価データを解決案評価データ記憶部に格納するステップと、
　サーバが、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、各解決案を含む解決案データを送信した第二テストの受験者の識別子と関連付けて前記スコアを解決案データ記憶部に格納するステップと、
　サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信するステップと、
を含む解決案収集評価方法。
［８］
　解決案入力のための第二書式データは、第二テスト情報記憶部に格納されている解決案の入力条件と共に送信される［７］に記載の解決案収集評価方法。
［９］
　前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性の少なくとも一つを含む［７］又は［８］に記載の解決案収集評価方法。
［１０］
　前記少なくとも一つの評価軸が、二つ以上の評価軸を含む［７］～［９］の何れか一項に記載の解決案収集評価方法。
［１１］
　前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性よりなる群から選択される二つ以上の評価軸を含む［１０］に記載の解決案収集評価方法。
［１２］
　サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアに基づいて、各解決案に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む［７］～［１１］の何れか一項に記載の解決案収集評価方法。
［１３］
　課題データ記憶部には、［１］～［６］の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データが格納されている［７］～［１２］の何れか一項に記載の解決案収集評価方法。
［１４］
　サーバが、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
　サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
を更に含む［１］～［６］の何れか一項に記載の課題収集評価方法。
［１５］
　サーバが、課題データ記憶部に格納されている各課題に付与された補正後の評価軸毎のスコア及び第一テストの受験者の識別子に基づき、第一テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
　サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第一テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
を少なくとも一回繰り返すことを含む［１４］に記載の課題収集評価方法。
［１６］
　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである［１４］又は［１５］に記載の課題収集評価方法。
［１７］
　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである［１４］又は［１５］に記載の課題収集評価方法。
［１８］
　サーバが、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
　サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
を更に含む［７］～［１３］の何れか一項に記載の解決案収集評価方法。
［１９］
　サーバが、解決案データ記憶部に格納されている各解決案に付与された補正後の評価軸毎のスコア及び第二テストの受験者の識別子に基づき、第二テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
　サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第二テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
を少なくとも一回繰り返すことを含む［１８］に記載の解決案収集評価方法。
［２０］
　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである［１８］又は［１９］に記載の解決案収集評価方法。
［２１］
　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである［１８］又は［１９］に記載の解決案収集評価方法。
［２２］
　課題データ記憶部に、［１］～［６］、［１４］～［１７］の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データを格納しており、且つ、課題評価データ記憶部に、［１］～［６］、［１４］～［１７］の何れか一項に記載の課題収集評価方法を実施することによって収集された課題評価データを格納しているサーバが、利用権限のある端末からネットワークを介して、課題及びその解決案についての検索要求を受信するステップと、
　サーバが、課題データ記憶部、課題評価データ記憶部、解決案データ記憶部及び解決案評価データ記憶部の少なくとも一つを検索し、検索要求に合致する課題及びその解決案を含む検索結果をネットワークを介して前記利用権限のある端末に送信するステップと、
を更に含む［７］～［１３］、［１８］～［２１］の何れか一項に記載の解決案収集評価方法。
［２３］
　検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む［２２］に記載の解決案収集評価方法。
［２４］
　送受信部、制御部、記憶部、及び乱数発生装置を備え、
　前記記憶部は、
　第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
　少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
　少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
　送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
　送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部とを有し、
　前記制御部はデータ登録部、課題入力用書式抽出部、評価者決定部、課題抽出部、課題評価部、及び、課題評価抽出部を有し、
　データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
　課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
　評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
　課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
　課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
　課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができる、
課題収集評価のためのサーバ。
［２５］
　送受信部、制御部、記憶部、及び乱数発生装置を備え、
　前記記憶部は、
　第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
　少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
　少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
　複数の課題を含む課題データを記憶するための課題データ記憶部と、
　送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
　送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
　前記制御部はデータ登録部、解決案入力用書式抽出部、評価者決定部、解決案抽出部、解決案評価部、及び解決案評価抽出部を有し、
　データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
　解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
　評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
　解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
　解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
　解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる、
解決案収集評価のためのサーバ。
［２６］
　送受信部、制御部、記憶部、及び乱数発生装置を備え、
　前記記憶部は、
　第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
　第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
　少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
　少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
　少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
　少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
　送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
　送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
　送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部と、
　送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
　前記制御部はデータ登録部、課題入力用書式抽出部、解決案入力用書式抽出部、評価者決定部、課題抽出部、解決案抽出部、課題評価部、解決案評価部、課題評価抽出部及び解決案評価抽出部を有し、
　データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
　また、データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
　課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
　また、解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データを送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
　評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
　また、評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
　課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
　解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
　課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
　解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
　課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができ、
　解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる、
課題及びその解決案の収集評価のためのサーバ。
［２７］
　前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
　前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
　課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
［２４］に記載の課題収集評価のためのサーバ。
［２８］
　課題評価抽出部は、課題データ記憶部に格納されている各課題に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［２９］
　課題評価抽出部は、キーワードマップ上のキーワードを選択すると、課題データ記憶部に格納されている各課題から当該キーワードを含む課題についての課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３０］
　解決案評価抽出部は、解決案データ記憶部に格納されている各解決案に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３１］
　解決案評価抽出部は、キーワードマップ上のキーワードを選択すると、解決案データ記憶部に格納されている各解決案から当該キーワードを含む解決案についての解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３２］
　前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
　前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
　課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３３］
　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３４］
　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３５］
　前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
　前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
　解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
［２５］に記載の解決案収集評価のためのサーバ。
［３６］
　前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
　前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
　解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３７］
　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３８］
　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３９］
　前記制御部は、利用権限のある端末からネットワークを介して課題及びその解決案についての検索要求を送受信部が受信すると、前記記憶部を検索し、検索要求に合致する課題及びその解決案を含む検索結果を送受信部からネットワークを介して利用権限のある端末に送信することができる検索部を更に有する［２６］、［２８］～［３４］、［３６］～［３８］の何れか一項に記載の課題及びその解決案の収集評価のためのサーバ。
［４０］
　検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む［３９］に記載の課題及びその解決案の収集評価のためのサーバ。
［４１］
　［１］～［６］、［１４］～［１７］の何れか一項に記載の課題収集評価方法をコンピュータに実行させるためのプログラム。
［４２］
　［４１］に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
［４３］
［７］～［１３］、［１８］～［２３］の何れか一項に記載の解決案収集評価方法をコンピュータに実行させるためのプログラム。
［４４］
　［４３］に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　本発明の一実施態様によれば、課題収集評価をオンラインで効率的に行うことができる。また、本発明の別の一実施態様によれば、解決案収集評価をオンラインで効率的に行うことができる。このように、課題の収集評価と、解決案の収集評価を、複数の受験者を対象としてオンラインで別々に実施することで、多種多様な課題データ及び多種多様な解決案データを含むデータベースを容易に構築することが可能となる。
　また、課題及び解決案は受験者間で相互評価させることで、収集した課題、解決案又はこれら両者のデータを、客観的な評価が付与された状態で、サーバ内に格納することができる。つまり価値評価が付随した課題、解決案又はこれら両者のデータを含むデータベースが構築可能である。そして、これらのデータを識別子を用いて検索可能にサーバ内に格納することで、データの可用性を顕著に高めることが可能となる。
　従って、本発明の一実施態様によれば、サーバ内に格納されたデータを利用して課題や課題に対する解決策を容易に検索することができ、また、その検索結果には価値評価が付随しているため、課題や課題に対する解決策に関する情報を得てその適用を検討する場合に有益な情報として役立つ。この際、価値評価が複数の評価軸に基づいてなされていると、課題や課題に対する解決策の特徴を利点及び欠点を含めて多面的に認識することが可能となる。
　例えば、本発明によって得られた種々の課題及び解決案並びにそれらに対する価値評価を含むデータベースは、例えば企業内で共有のライブラリとして利用することができ、また、経営コンサルティングや技術コンサルティング用のデータベースとして利用することも可能である。
本発明に係るオンライン試験システムの全体構成の例を示す。 サーバ、受験者端末、試験管理者端末、サーバ管理者端末及び利用者端末の基本的なハードウェア構成例を示す。 本発明に係るオンライン試験の一実施形態において行われる課題（解決案）の順位付け及び相互評価の繰り返しを表す概念図を示す。 サーバの機能ブロック図の一例を示す。 受験者端末に表示されるトップページの画面の一例である。 受験者端末に表示される受験者用ページのメニュー画面の一例である。 受験者端末に表示される受験者用ページの課題収集セッションの画面の一例である。 受験者端末に表示される受験者用ページの解決案収集セッションの画面の一例である。 受験者端末に表示される受験者用ページの課題評価セッションの画面の一例である。 受験者端末に表示される受験者用ページの解決案評価セッションの画面の一例である。 試験管理者端末に表示される試験管理者用ページの第一テスト用管理画面の一例である。 試験管理者端末に表示される試験管理者用ページの課題収集セッションの試験条件設定画面の一例である。 試験管理者端末に表示される試験管理者用ページの課題評価セッションの試験条件設定画面の一例である。 試験管理者端末に表示される試験管理者用ページの第二テスト用管理画面の一例である。 試験管理者端末に表示される試験管理者用ページの解決案収集セッションの試験条件設定画面の一例である。 試験管理者端末に表示される試験管理者用ページの解決案評価セッションの試験条件設定画面の一例である。 サーバ管理者端末に表示されるサーバ管理者用ページの試験管理者のアカウント情報入力画面の一例である。 試験管理者端末で表示される課題評価集計データの一例を示す。 試験管理者端末で表示される課題評価集計データの別の一例を示す。 試験管理者端末で表示されるキーワードマップの一例を示す。 試験管理者端末で表示されるキーワードマップの別の一例を示す。 キーワードマップを利用して試験管理者端末で表示される課題評価集計データの一例を示す。 試験管理者端末で表示される解決案評価集計データの一例を示す。 試験管理者端末で表示される解決案評価集計データの別の一例を示す。 試験管理者端末で表示されるキーワードマップの一例を示す。 試験管理者端末で表示されるキーワードマップの別の一例を示す。 キーワードマップを利用して試験管理者端末で表示される解決案評価集計データの一例を示す。 利用者端末で表示される検索条件を入力するための画面の一例を示す（左側）。利用者端末で表示される検索結果の画面の一例を示す（右側）。 試験管理者端末で表示される課題リストの一例を示す。 利用者端末で表示される、特定の解決案を利用した時の結果を入力するための少なくとも一つの記述式解決案利用結果入力部を含む画面の一例を示す。 試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、課題収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れを示すフローチャートである。 課題収集セッションの開始から終了までの処理の流れを示すフローチャートである。 課題評価セッションの開始から終了するまでの処理の流れを示すフローチャートである。 課題評価セッションの終了後、サーバによって課題及び受験者のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れを示すフローチャートである。 試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、解決案収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れを示すフローチャートである。 解決案収集セッションの開始から終了までの処理の流れを示すフローチャートである。 解決案評価セッションの開始から終了するまでの処理の流れを示すフローチャートである。 解決案評価セッションの終了後、サーバによって解決案及び受験者のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れを示すフローチャートである。 権限のある利用者端末がサーバへアクセスして検索要求を行い、所望の検索結果を得るまでの処理の流れを示すフローチャートである。 受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を示す。 第一テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を示す。 第一テスト課題データファイルに含まれる一つのテーブルの例を示す。 第一テスト課題評価データファイルに含まれる一つのテーブルの例を示す。 第一テスト受験者評価データファイルに含まれる一つのテーブルの例を示す。 第一テスト課題評価進捗管理ファイルに含まれる進捗状況が記憶されたテーブルの例を示す。 第二テスト受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を示す。 第二テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を示す。 第二テスト解決案データファイルに含まれる一つのテーブルの例を示す。 第二テスト解決案評価データファイルに含まれる一つのテーブルの例を示す。 第二テスト受験者評価データファイルに含まれる一つのテーブルの例を示す。 第二テスト解決案評価進捗管理ファイルに含まれる進捗状況が記憶されたテーブルの例を示す。 試験管理者アカウントファイル中の試験管理者アカウント情報が記憶されたテーブルの例を示す。 サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例を示す。 ライブラリ利用者アカウントファイル中の利用者アカウント情報が記憶されたテーブルの例を示す。
　以下、本発明に係る課題収集評価方法及び解決案収集評価方法の実施形態について図面を参照しながら詳細に説明するが、本発明はこれらの実施形態に限定されるものではない。
＜１．システム構成＞
　図１に本実施形態に係る課題収集評価方法を行うためのオンライン試験システムの全体構成を示す。本システムは、サーバ１１と、1番目からｎ番目までの複数の受験者端末１２と、試験管理者端末１３と、サーバ管理者端末１５とを備え、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５は、インターネット、専用回線又は公衆網といったコンピュータネットワーク１４を通じてサーバ１１と相互通信可能に接続されている。サーバ管理者端末１５は必ずしもサーバ１１と独立した端末として必要ではなく、サーバ管理者端末１５の機能はサーバ１１が担うこともできる。本システムは、コンピュータネットワーク１４を通じてサーバ１１と相互通信可能に接続されている利用者端末１６を備えることもできる。
［ネットワーク］
　コンピュータネットワーク１４は限定的ではないが、例えば、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）など有線ネットワークとすることができ、ＭＩＭＯ（Multiple-Input  Multiple-Output）を用いたＷＬＡＮ（Wireless  Local  Area  Network）などの無線ネットワークとすることができる。又は、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネット（Internet）、又は、いわゆる無線ＬＡＮアクセスポイント（Wireless  LAN  Access  Point）としての役割を果たす基地局（図示せず）などを介すものであってもよい。
　サーバとはサーバ・コンピュータを意味し、１台又は複数台のコンピュータの協働により構成することができる。受験者端末１２及び試験管理者端末１３はブラウザを搭載したパーソナルコンピュータにより実現できるが、それに限られるものではなく、スマートフォン、タブレット、携帯電話、モバイル及びＰＤＡといった携帯型の端末、更にはデジタルテレビなどのコンピュータネットワークによる通信が可能な機器や装置類で構成することができる。
　サーバ１１、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５の基本的なハードウェア構成は共通しており、図２に示すように、演算装置２０１、記憶装置２０２、出力装置２０３、入力装置２０４及び通信装置２０５を有するコンピュータ２００により実現可能である。また、必要に応じて乱数発生装置２０６及びタイマー２０７を備えてもよい。
　演算装置２０１はコンピュータの全体を制御し、入力装置２０４で入力された命令、指示及びデータや、記憶装置２０２に格納されたデータ等を基にプログラムに従って演算処理を実行する装置及び回路等のことを指す。演算装置２０１としては例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等を採用することができる。
　記憶装置２０２は各種データ、オペレーティングシステム（ＯＳ）、ネットワークアプリケーション（例：サーバ１１側のウェブサーバソフトウェア、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５のブラウザ）及び各種の演算処理を実行するためのプログラム等を記憶する装置、回路等のことを指し、例えば、主に半導体メモリが用いられる一次記憶装置、主にハードディスクドライブや半導体ディスクが用いられる二次記憶装置（補助記憶装置）、主にＣＤ－ＲＯＭドライブ等のリムーバブルメディアドライブが用いられるオフラインストレージ、テープライブラリ等、公知の記憶装置等を用いることができる。より具体的には、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＺＩＰドライブ、テープストレージ等の磁気記録媒体を用いる磁気記憶装置の他に、レジスタ、キャッシュメモリ、ＲＯＭ、ＲＡＭ、フラッシュメモリ（例えばＵＳＢメモリやソリッドステートドライブ）、半導体ディスク（例えばＲＡＭディスク、仮想ディスク）などの半導体メモリを利用する記憶回路又は記憶装置や、ＣＤ、ＤＶＤ等の光学記録媒体、ＭＯ等の光磁気ディスクを利用する光学記憶装置、その他紙テープやパンチカード等を利用する記憶装置、ＰＲＡＭ（ｐｈａｓｅ　ｃｈａｎｇｅ　ＲＡＭ、相変化メモリ）と呼ばれる相変化記録技術を用いた記憶装置、ホログラフィックメモリ、３次元光メモリを用いた記憶装置、電荷の蓄積を分子レベルで行い情報を記憶する分子メモリを用いた記憶装置等を採用することができる。
　出力装置２０３はデータ又は命令の出力を実現する装置、回路等のインターフェースであり、ＬＣＤや有機ＥＬ等のディスプレイの他、プリンター、スピーカ等を採用可能である。
　入力装置２０４はデータ又は命令を演算装置２０１に与えるためのインターフェースであり、キーボード、テンキー、マウス等のポインティングデバイス、タッチパネル、リーダー（ＯＣＲ）、入力画面、マイク等の音声入力インターフェース等を採用可能である。
　通信装置２０５は装置外部とのデータの送受信を実現する装置、回路であり、例えばＬＡＮポート、モデム、無線ＬＡＮ、ルーター等のネットワークに接続するためのインターフェースである。演算装置２０１の処理結果や記憶装置２０２に記憶する情報をコンピュータネットワーク１４を介して送受信することが可能である。
　乱数発生装置２０６は乱数を提供することができる装置である。
　タイマー２０７は時間を計測及び通知することができる装置である。
［サーバ］
　サーバ１１の機能ブロック図の一例を図４に示す。サーバ１１は送受信部３１０と、制御部３２０と、記憶部３４０とを備える。
＜記憶部＞
　サーバ１１の記憶部３４０には、第一テスト受験者アカウントファイル３４１ａ、第二テスト受験者アカウントファイル３４１ｂ、第一テスト情報ファイル３４２ａ、第一テスト課題データファイル３４３ａ、第一テスト課題評価データファイル３４４ａ、第一テスト受験者評価データファイル３４５ａ、第二テスト情報ファイル３４２ｂ、第二テスト解決案データファイル３４３ｂ、第二テスト解決案評価データファイル３４４ｂ、第二テスト受験者評価データファイル３４５ｂ、第一テスト課題評価進捗管理ファイル３４７ａ、第二テスト解決案評価進捗管理ファイル３４７ｂ、試験管理者アカウントファイル３４８、サーバ管理者アカウントファイル３４９、ライブラリ利用者アカウントファイル３５０、及びテスト管理ファイル３５１を格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のファイルをまとめて一つのファイルに格納してもよい。
　また、サーバ１１の記憶部３４０には、少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データファイル３４６ａと、少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データファイル３４６ｂと、少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データファイル３４６ｃと、少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データファイル３４６ｄとを格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のデータをまとめて一つのファイルに格納してもよい。
（第一テスト受験者アカウントファイル）
　第一テスト受験者アカウントファイル３４１ａには第一テストを受験する各受験者のアカウント情報を検索可能な状態で保存することができる。受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を図３６に示す。当該テーブルには受験者の個人ＩＤ、受験者ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の当該団体内でのＩＤ、氏名、氏名の送り仮名、メールアドレス、部署名、生年月日、郵便番号、住所、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては未受験、第一テスト受験中、第一テスト受験終了などの試験の進捗状況に関する情報が挙げられる。
（第一テスト情報ファイル）
　第一テスト情報ファイル３４２ａには、第一テストの試験条件に関する情報を検索可能な状態で保存することができる。第一テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を図３７に示す。第一テストＩＤ、第一テストの収集開始日時、第一テストの収集終了日時、第一テストの課題入力条件、第一テスト課題回答制限時間、第一テストの評価開始日時、第一テストの評価終了日時、第一テストの課題評価入力条件、第一テスト評価回答制限時間、第一テスト課題評価軸１～ｎ（ｎは１以上の整数）等の試験条件を記憶させることができる。この他、１つの課題当たりの評価人数を記憶させてもよい。当該人数は多い方が多くの評価者からの評価を集めることができるので客観性が高くなることから、複数であることが好ましく、５人以上であることがより好ましく、１０人以上であることが更により好ましいが、試験時間や受験者数を考慮して現実的な人数（例えば５～２０人の範囲）を設定すればよい。
　課題入力条件としては、限定的ではないが、例えば、文字制限、課題の提案可能数、言語、文字コード、ファイル添付の可否の等が挙げられる。
（第一テスト課題データファイル）
　第一テスト課題データファイル３４３ａには第一テスト受験者が送信した課題データを検索可能な状態で保存することができる。第一テスト課題データファイルに含まれる一つのテーブルの例を図３８に示す。当該テーブルには、課題データの識別子である課題ＩＤ、当該課題データを送信した受験者の識別子である受験者ＩＤ（受験番号）、第一テストの固有の識別子である第一テストＩＤ、課題の内容、当該課題に対する評価であるスコア等を記憶させることができる。
　課題の内容としては、特に制限はない。例えば、ある企業の社員である受験者が自身の担当業務で認識している課題、ある企業の社員である受験者が、当該企業が将来直面すると予想する課題、一般市民が、生活の中で不便や不快を感じる課題などが挙げられる。受験者は記述式で自由に課題を記入可能である。これによって、実際に業務上や生活上で認識している課題を、選択肢等に制限されずに、受験者が認識しているままに自由な語彙を用いて記述することができるという利点が得られる。また、課題入力条件が指定されている場合には、受験者はその条件に従って課題を回答することになる。
　スコアは点数表示でもよいが、Ａランク、Ｂランク・・・などのカテゴリー表示でもよい。スコアは第一テスト課題評価データファイル３４４ａに格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより評価軸毎に算出可能である。例えば、スコアは、評価の平均点、評価の合計点、高評価の獲得割合等で表示することができる。
　評価軸は少なくとも一つ必要である。課題を多方面から評価するため、評価軸は二つ以上とすることが好ましく、三つ以上とすることがより好ましい。評価軸としては、例えば、課題が生じる頻度（発生頻度）、課題の存在が既に認知されている度合（潜在度）、課題が生じた際の影響の大きさ（重要度）及び課題が生じたときの緊急対応必要性（緊急性）よりなる群から選択される一つ又は二つ以上を含むことが、後に当該課題に対する解決案を検討すべきか否かを判断する上で好ましい。
　後述するように、スコアは１回以上補正可能であることから、第一テスト課題データファイル３４３ａには補正を行う毎に得られたスコアを「第一補正スコア」、「第二補正スコア」などとして保存することもできる。
　後述するスコアの標準化のために、第一テスト課題データファイル中に予め二人以上のサンプル受験者が回答した課題を含む課題データをサンプル用の課題ＩＤと関連づけて格納することもできる。標準化の効果を高めるという観点から、サンプル受験者による課題データは５人以上が好ましく、８人以上がより好ましいが、過度に人数が多いとサンプル受験者が回答した課題を評価する受験者の負担が重くなるため、１５人以下とするのが一般的であり、１２人以下とするのが好ましい。
（第一テスト課題評価データファイル）
　第一テスト課題評価データファイル３４４ａには、第一テストの受験者が回答した各課題に対する評価者（例えば受験者）の評価を含む課題評価データを検索可能な状態で保存することができる。第一テスト課題評価データファイルに含まれる一つのテーブルの例を図３９に示す。当該テーブルには、当該課題評価データの識別子である課題評価ＩＤ、評価対象となる課題データの識別子である課題ＩＤ、評価者の受験者ＩＤ、第一テストの固有の識別子である第一テストＩＤ、及び課題に対する評価者による評価値を記憶させることができる。評価値は○×形式や、ｇｏｏｄ又はｂａｄのような二択式でもよいし、所定の範囲内の点数で表現してもよい。評価値は先述した評価軸毎に保存することができる。
（第一テスト受験者評価データファイル）
　第一テスト受験者評価データファイル３４５ａには第一テストの各受験者に対する評価の結果を検索可能な状態で保存することができる。第一テスト受験者評価データファイルに含まれる一つのテーブルの例を図４０に示す。当該テーブルには、評価対象となる受験者の識別子である受験者ＩＤ、第一テストの固有の識別子である第一テストＩＤ、及び受験者に対する評価軸毎の評価を示すスコアを格納することができる。評価軸としては先述した課題の評価軸を少なくとも一つ採用することができる。
　後述するように、スコアは１回以上補正可能であることから、第一テスト受験者評価データファイル３４５ａには補正を行う毎に得られたスコア計算結果を「第一補正スコア」、「第二補正スコア」などとして保存することもできる。受験者ＩＤに加えて、受験者の識別子である個人ＩＤを更に記憶させることもできる。受験者ＩＤ及び個人ＩＤは何れも受験者の識別子の一種であるが、受験番号となる受験者ＩＤに加えて個人を特定する個人ＩＤを別に記憶させておくことで、例えば同一人物が複数回受験する場合に、受験結果の推移を容易に分析することが可能となる。
（第二テスト受験者アカウントファイル）
　第二テスト受験者アカウントファイル３４１ｂには第二テストを受験する各受験者のアカウント情報を検索可能な状態で保存することができる。第二テストを受験する受験者は、第一テスト受験者と同一でもよいし、異なっていてもよい。第二テスト受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を図４２に示す。当該テーブルには受験者の個人ＩＤ、受験者ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の当該団体内でのＩＤ、氏名、氏名の送り仮名、メールアドレス、部署名、生年月日、郵便番号、住所、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては未受験、第二テスト受験中、第二テスト受験終了などの試験の進捗状況に関する情報が挙げられる。第一テスト受験者の母集団と第二テスト受験者の母集団が重複する場合には、第一テスト受験者アカウントファイルと第一テスト受験者アカウントファイルは統合して一つの受験者アカウントファイルを用意してもよい。
（第二テスト情報ファイル）
　第二テスト情報ファイル３４２ｂには、第二テストの試験条件に関する情報を検索可能な状態で保存することができる。第二テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を図４３に示す。第二テストＩＤ、第二テストの収集開始日時、第二テストの収集終了日時、第二テストにおいて受験者が解決案を検討すべき課題、第二テスト解決案回答制限時間、第二テストの評価開始日時、第二テストの評価終了日時、第二テスト評価回答制限時間、第二テスト課題評価軸１～ｎ（ｎは１以上の整数）等の試験条件を記憶させることができる。第二テストにおいて受験者が解決案を検討すべき課題は、第一テストとは完全には連結せずに実施する場合（例えば、第一テストでの上位課題を参考に、第二テスト受験者が理解しやすいよう文言を整えるなど）、具体的な課題の文字列データとして保存しておくことができ、又は、別テーブルに課題ＩＤと具体的な課題の文字列のセットとして保存しておいてもよい。第二テストを第一テストと連結して実施する場合（例えば、第一テストでの上位課題１０個などを自動的に採用する場合や、試験管理者が選定したものを編集せずそのまま使う場合）は、第二テストにおいて受験者が解決案を検討すべき課題の欄には、第一テストの課題ＩＤを記憶させることができる。
　この他、１つの解決案当たりの評価人数を記憶させてもよい。当該人数は多い方が多くの評価者からの評価を集めることができるので客観性が高くなることから、複数であることが好ましく、５人以上であることがより好ましく、１０人以上であることが更により好ましいが、試験時間や受験者数を考慮して現実的な人数（例えば５～２０人の範囲）を設定すればよい。
　解決案入力条件としては、限定的ではないが、例えば、提示された課題に対してどのような観点で解決案を書くかの方針、文字制限、課題の提案可能数、言語、文字コード、ファイル添付の可否の等が挙げられる。
（第二テスト解決案データファイル）
　第二テスト解決案データファイル３４３ｂには第二テスト受験者が送信した解決案データを検索可能な状態で保存することができる。第二テスト解決案データファイルに含まれる一つのテーブルの例を図４４に示す。当該テーブルには、解決案データの識別子である解決案ＩＤ、当該解決案データを送信した受験者の識別子である受験者ＩＤ（受験番号）、第二テストの固有の識別子である第二テストＩＤ、解決案の内容、当該解決案に対する評価であるスコア、実際に解決案を試した時の結果等を記憶させることができる。
　受験者は記述式で自由に解決案を記入可能である。これによって、選択肢等に制限されずに、受験者が思いついたままに自由な語彙を用いて解決案を記述することができるという利点が得られる。また、解決案入力条件が指定されている場合には、受験者はその条件に従って解決案を回答することになる。
　スコアは点数表示でもよいが、Ａランク、Ｂランク・・・などのカテゴリー表示でもよい。スコアは第二テスト解決案評価データファイル３４４ｂに格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより評価軸毎に算出可能である。例えば、スコアは、評価の平均点、評価の合計点、高評価の獲得割合、・・・等で表示することができる。
　評価軸は少なくとも一つ必要である。解決案を多方面から評価するため、評価軸は二つ以上とすることが好ましく、三つ以上とすることがより好ましい。評価軸としては、例えば、効果、実現可能性、及び新規性よりなる群から選択される一つ又は二つ以上を含むことが、後に当該解決案を採用すべきか否かを判断する上で好ましい。
　後述するように、スコアは１回以上補正可能であることから、第二テスト解決案データファイル３４３ｂには補正を行う毎に得られたスコアを「第一補正スコア」、「第二補正スコア」などとして保存することもできる。
　後述するスコアの標準化のために、第二テスト解決案データファイル中に予め二人以上のサンプル受験者が回答した解決案を含む解決案データをサンプル用の解決案ＩＤと関連づけて格納することもできる。標準化の効果を高めるという観点から、サンプル受験者による解決案データは５人以上が好ましく、８人以上がより好ましいが、過度に人数が多いとサンプル受験者が回答した解決案を評価する受験者の負担が重くなるため、１５人以下とするのが一般的であり、１２人以下とするのが好ましい。
（第二テスト解決案評価データファイル）
　第二テスト解決案評価データファイル３４４ｂには、第二テストの受験者が回答した各解決案に対する評価者（例えば受験者）の評価を含む解決案評価データを検索可能な状態で保存することができる。第二テスト解決案評価データファイルに含まれる一つのテーブルの例を図４５に示す。当該テーブルには、当該解決案評価データの識別子である解決案評価ＩＤ、評価対象となる解決案データの識別子である解決案ＩＤ、評価者の受験者ＩＤ、第二テストの固有の識別子である第二テストＩＤ、及び解決案に対する評価者による評価値等を記憶させることができる。評価値は○×形式やｇｏｏｄ又はｂａｄのような択一式でもよいし、所定の範囲内の点数で表現してもよい。評価値は先述した評価軸毎に保存することができる。
（第二テスト受験者評価データファイル）
　第二テスト受験者評価データファイル３４５ｂには第二テストの各受験者に対する評価の結果を検索可能な状態で保存することができる。第二テスト受験者評価データファイルに含まれる一つのテーブルの例を図４６に示す。当該テーブルには、解決案評価対象となる受験者の識別子である受験者ＩＤ、第二テストの固有の識別子である第二テストＩＤ、及び受験者に対する評価軸毎の評価を示すスコアを格納することができる。評価軸としては先述した解決案の評価軸を少なくとも一つ採用することができる。
　後述するように、スコアは１回以上補正可能であることから、第二テスト受験者評価データファイル３４５ｂには補正を行う毎に得られたスコア計算結果を「第一補正スコア」、「第二補正スコア」などとして保存することもできる。受験者ＩＤに加えて、受験者の識別子である個人ＩＤを更に記憶させることもできる。受験者ＩＤ及び個人ＩＤは何れも受験者の識別子の一種であるが、受験番号となる受験者ＩＤに加えて個人を特定する個人ＩＤを別に記憶させておくことで、例えば同一人物が複数回受験する場合に、受験結果の推移を容易に分析することが可能となる。
（第一テスト課題評価進捗管理ファイル）
　第一テスト課題評価進捗管理ファイル３４７ａには、受験者による相互評価を実施する課題評価セッションの進捗に関する情報を保存することができる。第一テスト課題評価進捗管理ファイル３４７ａに含まれる進捗状況が記憶されたテーブルの例を図４１に示す。評価者の受験者ＩＤ、当該受験者ＩＤの受験者が評価すべき課題ＩＤ、必要評価数、評価済み数等を記憶させることができる。
（第二テスト解決案評価進捗管理ファイル）
　第二テスト解決案評価進捗管理ファイル３４７ｂには、受験者による相互評価を実施する解決案評価セッションの進捗に関する情報を保存することができる。第二テスト解決案評価進捗管理ファイル３４７ｂに含まれる進捗状況が記憶されたテーブルの例を図４７に示す。評価者の受験者ＩＤ、当該受験者ＩＤの受験者が評価すべき解決案ＩＤ、必要評価数、評価済み数等を記憶させることができる。
（試験管理者アカウントファイル）
　試験管理者アカウントファイル３４８には試験管理者、例えば受験者が所属する企業等の団体のアカウント情報を検索可能な状態で保存することができる。試験管理者アカウントファイル中の試験管理者アカウント情報が記憶されたテーブルの例を図４８に示す。試験管理者が企業等の団体の場合、当該テーブルには団体ＩＤ、団体名、団体名の送り仮名、団体の郵便番号及び住所、担当部署名、担当者の送り仮名、電話番号及びメールアドレス、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては「閉鎖済みアカウント」などの試験管理者アカウントの存続に関する情報が挙げられる。
（サーバ管理者アカウントファイル）
　サーバ管理者アカウントファイル３４９にはサーバ管理者のアカウント情報を検索可能な状態で保存することができる。サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例を図４９に示す。当該テーブルにはサーバ管理者ＩＤ、パスワード、アカウント作成日時、権限レベルなどを記憶させることができる。
（ライブラリ利用者アカウントファイル）
　ライブラリ利用者アカウントファイル３５０にはライブラリ利用者のアカウント情報を検索可能な状態で保存することができる。ライブラリ利用者アカウントファイル中の利用者アカウント情報が記憶されたテーブルの例を図５０に示す。当該テーブルには利用者ＩＤ、利用者氏名、ログインＩＤ、パスワード、利用権限などを記憶させることができる。
　上記データファイルのテーブルにおいて、各フィールドに対してｉｎｔ（整数型）、ｔｅｘｔ（文字列型）、ｆｌｏａｔ（浮動小数点型）、ｃｒｙｐｔ（暗号化文字列型）及びｄａｔｅ（日付け時刻型）等のデータ型を採用しているが、データ型は図示の態様に限定されるものではなく、必要に応じて適宜変更することができる。
（第一書式データファイル）
　第一書式データファイル３４６ａには、課題入力のための少なくとも一つの記述式課題入力部を含む第一書式データを保存することができる。先述したように記述式課題入力部があることで、記述の自由度が高まるので、実際に業務上や生活上で認識している課題を、選択肢等に制限されずに、受験者が認識しているままに自由な語彙を用いて記述することができるという利点が得られる。第一書式データは、少なくとも一つの記述式課題入力部に加えて、少なくとも一つの選択式課題入力部を含んでもよい。選択式課題入力部を設けることで、統計データを作成しやすくなるという利点が得られる。図７に、課題入力のための第一書式データに基づいて表示される画面の例を示す。
（第二書式データファイル）
　第二書式データファイル３４６ｂには、解決案入力のための少なくとも一つの記述式解決案入力部を含む第二書式データを保存することができる。先述したように記述式解決案入力部があることで、記述の自由度が高まるので、選択肢等に制限されずに、受験者が思いついたままに自由な語彙を用いて解決案を記述することができるという利点が得られる。第二書式データは、少なくとも一つの記述式解決案入力部に加えて、少なくとも一つの選択式解決案入力部を含んでもよい。選択式解決案入力部を設けることで、統計データを作成しやすくなるという利点が得られる。図８に、解決案入力のための第二書式データに基づいて表示される画面の例を示す。
（第三書式データファイル）
　第三書式データファイル３４６ｃには、課題評価入力のための少なくとも一つの評価軸に基づく選択式課題評価入力部を含む第三書式データを保存することができる。評価の入力を選択式で行うことで、課題に対する評価軸毎のスコアを統計学的手法に基づき作成しやすくなるという利点が得られる。ｇｏｏｄ又はｂａｄの二択式、“全く賛同できない”、“賛同できない”、“どちらでもない”、“賛同する”及び“強く賛同する”から選択する五択式といったカテゴリー選択式でもよいし、０点～１０点といった所定の範囲内の点数を選択させる方式でもよい。図９に、課題評価入力のための第三書式データに基づいて表示される画面の例を示す。
（第四書式データファイル）
　第四書式データファイル３４６ｄには、解決案評価入力のための少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む第四書式データを保存することができる。評価の入力を選択式で行うことで、解決案に対する評価軸毎のスコアを統計学的手法に基づき作成しやすくなるという利点が得られる。ｇｏｏｄ又はｂａｄの二択式、“全く賛同できない”、“賛同できない”、“どちらでもない”、“賛同する”及び“強く賛同する”から選択する五択式といったカテゴリー選択式でもよいし、０点～１０点といった所定の範囲内の点数を選択させる方式でもよい。図１０に、解決案評価入力のための第四書式データに基づいての画面の例を示す。
＜送受信部＞
　サーバ１１は送受信部３１０を通じて、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５とコンピュータネットワーク１４を介して種々のデータのやり取りを行うことができる。
　例えば、送受信部３１０は、
　試験管理者端末１３から第一テスト開始の指示を受信することができ、
　第一書式データファイル３４６ａに記憶されている課題入力のための第一の書式データを表示可能な形態で第一テストの複数の受験者端末１２のそれぞれに送信することができ、
　第一テストの受験者が入力した課題を含む課題データを各受験者端末１２から受信することができ、
　第一テストの各受験者が評価すべき課題を含む課題データ及び課題評価入力のための第三の書式データを表示可能な形態で対応する第一テストの受験者端末１２に送信することができ、
　課題に対する第一テストの受験者による評価を含む課題評価データを各受験者端末１２から受信することができ、
　課題評価集計データを表示可能な形態で試験管理者端末１３に送信することができる。
　また、送受信部３１０は、
　第一テスト課題データファイル３４３ａに格納されている課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を、試験管理者端末１３から受信することができ、
　試験管理者端末１３から第二テスト開始の指示を受信することができ、
　少なくとも一つの解決すべき課題を含む課題データ及び前記少なくとも一つの解決すべき課題に対する解決案を入力するための第二の書式データを表示可能な形態で第二テストの複数の受験者端末１２のそれぞれに送信することができ、
　第二テストの受験者による解決案を含む解決案データを、第二テストの各受験者端末１２から受信することができ、
　第二テストの各受験者が評価すべき解決案を含む解決案データ及び解決案評価入力のための第四の書式データを表示可能な形態で対応する第二テストの受験者端末１２に送信することができ、
　解決案データ中の解決案に対する第二テストの受験者による評価を含む解決案評価データを、第二テストの各受験者端末１２から受信することができ、
　解決案評価集計データを表示可能な形態で試験管理者端末１３に送信することができる。
＜制御部＞
　サーバ１１の制御部３２０は、認証処理部３２１、データ登録部３２２、課題入力用書式抽出部３２３ａ、解決案入力用書式抽出部３２３ｂ、制限時間判断部３２４、評価者決定部３２５、課題抽出部３２６、解決案抽出部３２７、課題評価部３２８、解決案評価部３２９、課題評価抽出部３３０、解決案評価抽出部３３１、受験者評価部３３２、受験者評価抽出部３３３、評価数判断部３３４及び検索部３３５を有しており、各部はそれぞれプログラムに基づいて所期の演算を行うことができる。
（認証処理部）
　認証処理部３２１は、受験者端末１２からのアクセス要求に基づいて、受験者ＩＤ及びパスワードを認証することができる。例えば、受験者端末１２からのアクセス要求は、図５に示すような受験者端末１２のトップページの画面上に表示されている受験者ＩＤ及びパスワードを入力し、画面上のログインボタンをクリックすることで実行することができる。受験者の受験者ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が、受験者アカウントファイル３４１ａ（又は３４１ｂ）を参照して、入力された受験者ＩＤ及びパスワードが、受験者アカウントファイル３４１ａ（又は３４１ｂ）内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された受験者ＩＤ及びパスワードが記憶されているデータと一致する場合には、受験者用ページの画面データ（例えば図６に示すメニュー画面）を送受信部３１０から当該受験者端末１２に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
　また、認証処理部３２１は試験管理者端末１３からのアクセス要求に基づいて、団体ＩＤ及びパスワードを認証することができる。試験管理者の管理者ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が試験管理者アカウントファイル３４８を参照して、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントファイル３４８内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、試験管理者用ページの画面データ（例えば図１１～図１３の第一テストの条件設定画面、図１４～図１６に記載の第二テストの条件設定画面）を、送受信部３１０から当該試験管理者端末１３に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
　また、認証処理部３２１はサーバ管理者端末１５からのアクセス要求に基づいて、サーバ管理者ＩＤ及びパスワードを認証することができる。サーバ管理者の管理者ＩＤ及びパスワードは自身で予め設定したものを使用することができる。認証処理は、認証処理部３２１がサーバ管理者アカウントファイル３４９を参照して、入力された管理者ＩＤ及びパスワードが、サーバ管理者アカウントファイル３４９内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、サーバ管理者用ページの画面データ（例えば図１７に記載の管理画面）を送受信部３１０から当該サーバ管理者端末１５に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
（データ登録部）
　データ登録部３２２は、受験者の登録を行うことができる。例えば、前記手順によって受験者が所属する企業等の試験管理者が試験管理者端末１３を利用してログインすると、試験管理者端末１３には図１１に示すような試験管理者画面が表示される。試験管理者が、「受験者一括追加」又は「受験者個別追加」のボタンをクリックすると、図示しないが、試験管理者端末１３には受験者のアカウント情報を入力する画面が表示され、当該画面上で、受験者の個人ＩＤ、受験者ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の受験者アカウントファイル３４１ａ（又は３４１ｂ）に保存すべき所定の受験者アカウント情報を入力することができる。入力終了後、当該画面上で「保存」又は「確定」等の所定のボタンをクリックすることで、受験者アカウント情報をサーバ１１に送信することができる。別法として、試験管理者が、「ＣＳＶ　ｕｐｌｏａｄ一括」又は「ＣＳＶ　ｕｐｌｏａｄ個別」のボタンをクリックすると、試験管理者端末１３等に保存されているファイルを選択する画面が表示されるので、受験者アカウント情報が記憶されている所望のファイルを選択して「送信」等の所定のボタンをクリックすることで、受験者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた受験者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を受験者アカウントファイル３４１ａ（又は３４１ｂ）に保存することができる。第一テスト受験者及び第二テスト受験者の登録は別々に実施できるようにしてもよいし、一括して実施できるようにしてもよい。
　また、データ登録部３２２は、第一テストの試験条件の登録を行うことができる。例えば、試験管理者が図１１に示すような試験管理者画面上で、「第一テスト設定」のボタンをクリックすると、図１２に示すような第一テストの課題収集セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第一テストの課題入力条件（インストラクション）、課題収集セッションの日時、回答時間の制限、回答文字数の制限、回答可能数、ファイル添付可否等の第一テスト情報ファイル３４２ａに保存すべき情報を入力することができる。試験条件はあらかじめ用意されたテンプレートから選択できるようにしてもよい。試験管理者が、当該試験管理者画面上で「次へ」のボタンをクリックすると、図１３に示すような第一テストの課題評価セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第一テストの課題評価入力条件（インストラクション）、回答時間の制限、評価軸の選定、受験者への結果開示要否、一つの課題に対する評価人数、課題評価セッションの日時等の第一テスト情報ファイル３４２ａに保存すべき情報を入力することができる。試験条件はあらかじめ用意されたテンプレートから選択できるようにしてもよい。入力終了後、「試験条件送信」のボタンをクリックすることで、試験条件をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた第一テストの試験条件情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を第一テストＩＤと共に第一テスト情報ファイル３４２ａに保存することができる。第一テストの試験条件情報の一部は、第一書式データファイル３４６ａ又は第二書式データファイル３４６ｂ内に保存してもよい。例えば、第一テストの課題入力条件（インストラクション）、回答文字数の制限、及び回答可能数を第一書式データファイル３４６ａに保存してもよい。また、第一テストの課題評価入力条件（インストラクション）及び評価軸の選定を第二書式データファイル３４６ｂに保存してもよい。第一テストＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が第一テストの試験条件情報をデータ登録部３２２に保存するときに予め定めた規則に従って自動的に割り振ってもよい。
　また、データ登録部３２２は、第二テストの試験条件の登録を行うことができる。例えば、試験管理者が図１４に示すような試験管理者画面上で、「第二テスト設定」のボタンをクリックすると、図１５に示すような第二テストの解決案収集セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第二テストの解決案入力条件（インストラクション）、解決案を案出すべき課題、解決案収集セッションの日時、回答時間の制限、回答文字数の制限、回答可能数、ファイル添付可否等の第二テスト情報ファイル３４２ｂに保存すべき情報を入力することができる。解決案を案出すべき課題は、課題データファイルにアクセスすることによって、選択的に入力できるようにしてもよい。例えば、試験管理者が当該画面上で「課題ＤＢを参照する」のボタンをクリックすると、別ウィンドウが開いて、課題データファイル中の課題リストを参照することができる図２５に示すような画面が表示されるようにしてもよい。試験管理者は、画面上の課題リストの中から解決案を案出すべき課題を選択することができる。試験条件はあらかじめ用意されたテンプレートから選択できるようにしてもよい。試験管理者が、当該試験管理者画面上で「次へ」のボタンをクリックすると、図１６に示すような第二テストの解決案評価セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第二テストの解決案評価入力条件（インストラクション）、回答時間の制限、評価軸の選定、受験者への結果開示要否、一つの課題に対する評価人数、課題評価セッションの日時等の第二テスト情報ファイル３４２ｂに保存すべき情報を入力することができる。評価軸の入力はデフォルトで用意されたものから選択するという方式でもよいし、試験管理者が自由に記述式の入力欄にテキスト入力する方式してもよい。入力終了後、「試験条件送信」のボタンをクリックすることで、試験条件をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた第二テストの試験条件情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を第二テストＩＤと共に第二テスト情報ファイル３４２ｂに保存することができる。第二テストの試験条件情報の一部は、第三書式データファイル３４６ｃ又は第四書式データファイル３４６ｄ内に保存してもよい。例えば、第二テストの解決案評価入力条件（インストラクション）、回答文字数の制限、及び回答可能数を第三書式データファイル３４６ｃに保存してもよい。また、第二テストの解決案評価入力条件（インストラクション）及び評価軸の選定を第四書式データファイル３４６ｄに保存してもよい。第二テストＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が第二テストの試験条件情報をデータ登録部３２２に保存するときに予め定めた規則に従って自動的に割り振ってもよい。
　また、データ登録部３２２は、試験管理者の登録を行うことができる。サーバ管理者（換言すれば、オンライン試験システム提供者）が、前記手順によってサーバ管理者端末１５を利用してログインすると、サーバ管理者端末１５には図１７の左側に示すようなサーバ理者画面が表示される。サーバ管理者が設定したい項目に応じた「詳細」のボタンをクリックすると、サーバ管理者端末１５には図１７の右側に示すような試験管理者のアカウント情報を入力する画面が表示され、当該画面上で、試験管理者の団体ＩＤ、担当者、連絡先等の試験管理者アカウントファイル３４８に保存すべき所定の試験管理者アカウント情報を入力することができる。入力終了後、「保存」のボタンをクリックすることで、試験管理者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた試験管理者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を試験管理者アカウントファイル３４８に保存することができる。
　また、データ登録部３２２は、受験者が回答した課題の登録を行うことができる。例えば、受験者端末１２に、図７に示すような第一テストの課題収集セッションの受験者用画面が表示されているときに、受験者が課題を入力し、「次へ」のボタンをクリックすると、当該受験者からの課題データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、送受信部３１０で受信した課題を含む課題データが、制限時間判断部３２４により制限時間内に受信したと判断された場合、当該課題データに課題ＩＤを付与し、当該課題データを送信した受験者の受験者ＩＤ等と関連付けて当該課題データを第一テスト課題データファイル３４３ａに格納することができる。
　また、データ登録部３２２は、課題評価の登録を行うことができる。例えば、受験者端末１２に、図９に示すような他の受験者が提案した課題を評価する課題評価セッションの受験者用画面が表示されているときに、受験者が課題に対する評価を評価軸毎に選択的に入力（ここでは共感度を示す「Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ」の何れかのボタンをクリック）し、「次へ」のボタンをクリックすると、当該受験者からの課題評価データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、課題評価データを送受信部３１０が受信すると、当該課題評価データに課題評価ＩＤを付与し、当該課題評価データを送信した受験者の受験者ＩＤ及び課題ＩＤ等と関連付けて当該課題評価データを第一テスト課題評価データファイル３４４ａに格納することができる。課題評価セッションにおいても、課題収集セッションと同様に、制限時間判断部３２４により制限時間内に受信したと判断された場合のみ、課題評価データを第一テスト課題評価データファイル３４４ａに格納するようにしてもよい。
　また、データ登録部３２２は、受験者が回答した解決案の登録を行うことができる。例えば、受験者端末１２に、図８に示すような第二テストの解決案収集セッションの受験者用画面が表示されているときに、受験者が解決案を入力し、「次へ」のボタンをクリックすると、当該受験者からの解決案データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、送受信部３１０で受信した解決案を含む解決案データが、制限時間判断部３２４により制限時間内に受信したと判断された場合、当該解決案データに解決案ＩＤを付与し、当該解決案データを送信した受験者の受験者ＩＤ等と関連付けて当該解決案データを第二テスト解決案データファイル３４３ｂに格納することができる。
　また、データ登録部３２２は、解決案評価の登録を行うことができる。例えば、受験者端末１２に、図１０に示すような他の受験者が提案した解決案を評価する解決案評価セッションの受験者用画面が表示されているときに、受験者が解決案に対する評価を評価軸毎に選択的に入力（ここでは共感度を示す「Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ」の何れかのボタンをクリック）し、「次へ」のボタンをクリックすると、当該受験者からの解決案評価データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、解決案評価データを送受信部３１０が受信すると、当該解決案評価データに解決案評価ＩＤを付与し、当該解決案評価データを送信した受験者の受験者ＩＤ及び解決案ＩＤ等と関連付けて当該解決案評価データを第二テスト解決案評価データファイル３４４ｂに格納することができる。解決案評価セッションにおいても、解決案収集セッションと同様に、制限時間判断部３２４により制限時間内に受信したと判断された場合のみ、解決案評価データを第二テスト解決案評価データファイル３４４ｂに格納するようにしてもよい。
　また、データ登録部３２２は、第二テスト解決案データファイル３４３ｂに格納されている解決案を実際に利用した結果の登録を行うことができる。例えば、利用者端末１６に、図２６に示すような特定の解決案を利用した時の結果を入力するための少なくとも一つの記述式解決案利用結果入力部を含む画面が表示されているときに、利用者が結果を入力し、「送信」のボタンをクリックすると、当該利用者からの解決案を利用した時の結果に関するデータ（解決案結果データ）がコンピュータネットワーク１４を介してサーバ１１に送信される。入力画面には解決案の実際の結果を入力するための少なくとも一つの選択式入力部が含まれていてもよい。データ登録部３２２は、解決案結果データを送受信部３１０が受信すると、当該解決案結果データを送信した利用者の利用者ＩＤ及び解決案ＩＤ等と関連付けて当該解決案結果データを第二テスト解決案データファイル３４３ｂに格納することができる。
（課題入力用書式抽出部）
　課題入力用書式抽出部３２３ａは、試験管理者端末１３から送信される第一テストの課題収集セッション開始の指示を送受信部３１０が受信すると、第一書式データファイル３４６ａに格納されている第一書式データを、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で各受験者端末１２に一斉に送信することができる。この際、課題入力用書式抽出部３２３ａは、第一テスト情報ファイル３４２ａ内の第一テストの課題入力条件等の所定のテスト情報を第一書式データと共に表示可能な形態で送信することができる。また、課題入力用書式抽出部３２３ａは、制限時間判断部３２４の指示に従って対応する受験者端末１２に第一書式データを表示可能な形態で個別に送信することができる。この際、同様に、課題入力用書式抽出部３２３ａは、第一テスト情報ファイル３４２ａ内の第一テストの課題入力条件等の所定のテスト情報も併せて送信することができる。更に、課題入力用書式抽出部３２３ａは、試験管理者端末１３から送信される課題収集セッション開始の指示を受信すると、第一テスト受験者アカウントファイル３４１ａ等においてステータスを課題収集セッションが開始したことを示すステータスに変更して保存することができる。
（解決案入力用書式抽出部）
　解決案入力用書式抽出部３２３ｂは、試験管理者端末１３から送信される第二テストの解決案収集セッション開始の指示を送受信部３１０が受信すると、第二テスト情報ファイル３４２ｂに格納されている第二テストの解決案入力条件及び解決案を検討すべき課題等の所定のテスト情報を、第二書式データファイル３４６ｂに格納されている第二書式データと共に、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で各受験者端末１２に一斉に送信することができる。また、解決案入力用書式抽出部３２３ｂは、制限時間判断部３２４の指示に従って対応する受験者端末１２に、第二テスト情報ファイル３４２ｂ内の第二テストの解決案入力条件及び解決案を検討すべき課題等の所定のテスト情報を第二書式データと共に表示可能な形態で個別に送信することができる。更に、解決案入力用書式抽出部３２３ｂは、試験管理者端末１３から送信される解決案収集セッション開始の指示を受信すると、第二テスト受験者アカウントファイル３４１ｂ等においてステータスを解決案収集セッションが開始したことを示すステータスに変更して保存することができる。
（制限時間判断部）
　制限時間判断部３２４は、例えば第一テストの課題収集（第二テストの解決案収集）において、受験者端末１２から送信された課題データ（解決案データ）を送受信部３１０で受信した時点が、サーバ１１に内蔵されたタイマー２０７を利用し、第一テスト情報ファイル３４２ａ（第二テスト情報ファイル３４２ｂ）に記憶されている第一テストＩＤ（第二テストＩＤ）、第一テストの収集開始日時（第二テストの収集開始日時）、第一テストの収集終了日時（第二テストの収集終了日時）、及び第一テスト課題回答制限時間（第二テスト解決案回答制限時間）などの時間情報に基づいて、制限時間内にあるか否かを判断することができる。
　判断の結果、制限時間内と判断した場合は、当該課題データ（解決案データ）に課題ＩＤ（解決案ＩＤ）を付与し、当該課題データ（解決案データ）を送信した受験者の受験者ＩＤ等と関連付けて第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納するように、データ登録部３２２に指示することができる。また、課題入力用書式抽出部３２３ａ（解決案入力用書式抽出部３２３ｂ）に対して、当該課題データ（解決案データ）を送信した受験者の受験者端末１２に前記第一書式データ（第二書式データ）を第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）内の所定の情報と共に表示可能な形態で送受信部３１０から再度送信するように指示することができる。
　一方、判断の結果、制限時間を過ぎたと判断した場合は課題データ（解決案データ）の受験者端末１２からの送信又はサーバ１１での受信を拒否することができる。また、制限時間判断部３２４は受験者端末１２からの課題データ（解決案データ）の受信の有無にかかわらず、所定の制限時間を過ぎたと判断したときには、課題収集セッション（解決案収集セッション）終了の旨を表示可能な形態で送受信部３１０から受験者端末１２及び試験管理者端末１３に送信することができ、制限時間を超えて課題データ（解決案データ）を受信することを拒否することができる。また、課題収集セッション（解決案収集セッション）が終了した旨を記録するために、サーバ１１の制限時間判断部３２４は第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスを「課題収集セッション（解決案収集セッション）終了」に変更することができる。また、制限時間判断部３２４は評価者決定部３２５に対して課題収集セッション（解決案収集セッション）が終了した旨を送信してもよい。
　第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスが受験者全員で「課題収集セッション（解決案収集セッション）終了」になる、又は、制限時間判断部３２４から課題収集セッション（解決案収集セッション）が終了した旨を受信するなどによって、課題収集セッション（解決案収集セッション）が終了したことが確認された後、評価者決定部３２５は、試験管理者端末１３から送信される課題評価セッション（解決案評価セッション）開始の指示を送受信部３１０が受信すると、サーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている各課題データ（解決案データ）中の課題（解決案）を評価すべき受験者を決定することができる。別法として、第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスが受験者全員で「課題収集セッション（解決案収集セッション）終了」になる、又は、制限時間判断部３２４から課題収集セッション（解決案収集セッション）が終了した旨を受信するなどによって、課題収集セッション（解決案収集セッション）が終了したことが確認されると、評価者決定部３２５は試験管理者端末１３から送信される課題評価セッション（解決案収集セッション）開始の指示を待つことなく、自動的にサーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている各課題データ（解決案データ）中の課題（解決案）を評価すべき受験者を決定することができる。これにより、試験時間を節約することが可能となる。
（評価者決定部）
　どの受験者がどのアイデアを評価するかの決定は、評価者決定部３２５が各課題ＩＤ（解決案ＩＤ）に対して、受験者全員分の受験者ＩＤの中から乱数を利用して受験者ＩＤを評価に必要な人数分だけ割り当てることで行うことができる。各課題（解決案）を評価すべき受験者が決定されると、評価者決定部３２５は、課題ＩＤ（解決案ＩＤ）と評価者たる受験者の受験者ＩＤとを関連付けて記憶部３４０における第一テスト課題評価データファイル３４４ａ（第二テスト解決案評価データファイル３４４ｂ）等に保存することができる。また、評価者決定部３２５は、評価者たる受験者による各課題（解決案）に対する評価の進捗状況を管理するための第一テスト課題評価進捗管理ファイル３４７ａ（第二テスト解決案評価進捗管理ファイル３４７ｂ）に、評価者たる受験者毎に、受験者ＩＤ、評価すべき課題ＩＤ（解決案ＩＤ）、必要評価数、及び評価済み数などを関連付けて保存することができる。
　評価者決定部３２５による評価者決定の手順の一例を説明する。評価者決定部３２５は、受験者全員分の課題データ（解決案データ）の総数をカウントし、以下の式によって評価者である受験者一人当たりに配分される課題データ（解決案データ）の最大配分数を求めることができる。算出結果は繰り上げて整数にすることができる。
　最大配分数＝（課題（解決案）の総数）×（一つの課題（解決案）に対する評価人数）／（全受験者数）
　一つの課題（解決案）に対して評価すべき受験者の人数は、第一テスト課題評価進捗管理ファイル３４７ａ（第二テスト解決案評価進捗管理ファイル３４７ｂ）に記憶されている「一つの課題に対する評価人数（一つの解決案に対する評価人数）」に従うことができる。
　評価者決定部３２５は、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）を参照し、ある課題（解決案）を送信した受験者ＩＤと、乱数によって選定された当該課題（解決案）を評価すべき受験者の受験者ＩＤが一致した場合は、選定を取り消して乱数による選定を再度実施することが好ましい。また、評価者決定部３２５は、特定の受験者ＩＤを有する受験者が上記で求めた最大配分数を超えた回数選定された場合も、当該選定を取り消して乱数による選定を再度実施することが好ましい。評価者数が十分にいる場合、このようにして評価者を選定することにより、配分を一回又は複数回繰り返すことによって、全ての評価者が（最大配分数）個又は（最大配分数－１）個だけ評価すべき課題（解決案）を配分されることが可能となる。
（課題抽出部）
　課題抽出部３２６は、評価者決定部３２５による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を、第一テスト課題データファイル３４３ａに記憶されている課題ＩＤと評価者たる受験者の受験者ＩＤに応じて抽出し、送受信部３１０からコンピュータネットワーク１４を介して第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信することができる。課題を含む課題データの送信は各受験者が評価すべき分すべてを一斉に送信してもよく、分割して送信してもよい。
（解決案抽出部）
　解決案抽出部３２７は、評価者決定部３２５による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を、第二テスト解決案データファイル３４３ｂに記憶されている解決案ＩＤと評価者たる受験者の受験者ＩＤに応じて抽出し、送受信部３１０からコンピュータネットワーク１４を介して第四書式データファイル３４６ｄに格納されている第四書式データと共に表示可能な形態で対応する各受験者端末１２に送信することができる。解決案を含む解決案データの送信は各受験者が評価すべき分すべてを一斉に送信してもよく、分割して送信してもよい。
（評価数判断部）
　サーバ１１の評価数判断部３３４は、評価者たる受験者から一つの課題（解決案）に対する評価をサーバ１１が受信すると、第一テスト課題評価進捗管理ファイル３４７ａ（第二テスト解決案評価進捗管理ファイル３４７ｂ）に、当該評価を送信した受験者の受験者ＩＤと関連付けて評価済み数を一つ増やす。評価数判断部３３４は評価済み数と必要評価数を比較することで、当該受験者の課題評価セッション（解決案評価セッション）の進捗状況を把握可能である。課題データ（解決案データ）を分割して各受験者に送信する場合、評価数判断部３３４は、当該受験者が前記決定に従った必要評価数に達したか否かを判断し、必要評価数に達していないと判断した場合には、評価数判断部３３４は課題抽出部３２６（解決案抽出部３２７）に対して、未評価分の課題（解決案）データを、送受信部３１０からコンピュータネットワーク１４を介して第三書式データ（第四書式データ）と共に表示可能な形態で対応する各受験者端末１２に送信するよう指示することができる。評価数判断部３３４は、ある受験者の評価済み数が必要評価数に達したと判断した場合、課題評価セッション（解決案評価セッション）終了画面及び／又は課題評価セッション（解決案評価セッション）が終了したとの進捗情報を送受信部３１０から当該受験者の受験者端末１２及び試験管理者端末１３に送信することができる。この際、課題評価セッション（解決案評価セッション）が終了した旨を記録するために、評価数判断部３３４は第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスを「課題評価セッション（解決案評価セッション）終了」に変更することができる。
（課題評価部）
　課題評価部３２８は、第一テスト課題評価データファイル３４４ａに格納されている各課題評価及び課題ＩＤに基づいて課題データ中の課題ＩＤ毎に課題に対する評価を集計することができる。例えば、各課題に対する評価を「Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ」の五択として評価させた場合、Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ＝０、Ｄｉｓａｇｒｅｅ＝１、Ｎｅｕｔｒａｌ＝２、Ａｇｒｅｅ＝３、Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ＝４のように評価に応じて予め定めた点数を与え、単純な算術平均値を当該課題に対するスコアとすることができる。他の計算方法を採用することもできる。当該スコア計算は評価軸毎に行うことができる。課題評価部３２８は、集計した点数を第一テスト課題データファイル３４３ａの「評価軸１に対する初期スコア」、「評価軸２に対する初期スコア」、・・・、「評価軸ｎに対する初期スコア」に課題ＩＤ毎に格納することができる。
（課題評価抽出部）
　課題評価抽出部３３０は、第一テスト課題データファイル３４３ａに格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。図１８に、試験管理者端末１３で表示される課題評価集計データの一例を示す。ここでは、課題評価集計データは、課題毎に当該課題を提案した受験者の氏名、評価軸毎のスコア、総合スコア、及び課題の内容を表示可能な一覧表として提供されている。この他にも、課題評価集計データは種々の統計学的手法で出力することが可能である。例えば、課題評価抽出部３３０は、第一テスト課題データファイル３４３ａに格納されている各課題及び各課題に対する評価軸毎のスコアに基づいて、各課題に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。第一テストで収集した各課題を二つの評価軸に対するスコアに基づき二次元座標系にプロットした散布図の例を図１９に示す。
　また、一実施形態において、課題評価抽出部３３０は、図２０ａに示すように、第一テスト課題データファイル３４３ａに格納されている各課題に含まれるキーワード（文字列データ）の出現回数、及び／又は、当該キーワードを含む課題に対して算出された一つ又は複数の評価軸についてのスコアに少なくとも基づいてキーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。別の一実施形態において、課題評価抽出部３３０は、第一テスト課題データファイル３４３ａに格納されている各課題に含まれるキーワード（文字列データ）の出現回数と当該キーワードを含む課題に対して算出された一つ又は複数の評価軸についてのスコアに基づいてキーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。
　キーワードマップの作成手順の具体例について説明する。各課題に含まれる文字列データを、別に用意する当該言語の辞書データファイル３６０中の辞書データに基づいて単語に分解する。さらに、助詞・前置詞等で紐づけられる係り受けの関係から、文脈をなす単語同士の組み合わせを特定する。次いで、単語単位のキーワード、又は文脈をなす単語同士の組み合わせ単位のキーワードで、全ての課題に含まれる文字列の中で該当する箇所を探索し、出現した回数をカウントする。そして、出現回数が多いキーワードほど大きく表示されるようにすることができる。また、当該キーワードを含む課題に対して算出された一つ又は複数の評価軸についてのスコアで重み付けして、よりスコアが高い課題の文字列中に登場したキーワードほど大きく扱って「出現回数×重み付け」の合計を計算しても良い。この合計値に基づいて、値が大きいものほど目立つように大きな文字で表示させてキーワードマップを作ることができる。また、出現回数が多いキーワードほど当該キーワードが大きく表示されるようにし、且つ、当該合計値によって当該キーワードの色に変化を与える（例：合計値が大きいほど暖色系の色にし、合計値が小さいほど寒色系の色にする。）ようにすることができる。
　更に、あるキーワード（単語又は文脈をなす単語同士の組み合わせ）と別のキーワードとが同じ課題の文字列中に出現する場合は、その２つのキーワードは同時に出現するので親和性が高いと考えることもできる。全てのキーワードの間で、同時出現の頻度を集計することで、より「近い」キーワード同士、「遠い」キーワード同士を定義し、キーワードマップ上で近い場所・遠い場所に配置することもできる。
　課題評価抽出部３３０は、キーワードマップ上のキーワードを選択すると、第一テスト課題データファイル３４３ａに格納されている各課題から当該キーワードを含む課題についての課題評価集計データを抽出し、当該課題評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。キーワードマップ上のキーワードを選択すると、直ちに当該キーワードを含む課題についての課題評価集計データが表示されるようにしてもよいが、例えば当該キーワードが短すぎて文脈が分かりにくい場合などには、キーワードマップ上のキーワード（単語又は文脈をなす単語同士の組み合わせ）を選択すると、図２０ｂに示すように、より具体的な文脈を表すキーワード（例：より多くの単語同士の組み合わせ）のキーワードマップが表示されるようにして、当該キーワードマップ上のキーワードを選択することで、図２０ｃに示すような課題評価集計データが表示されるようにしてもよい。
（解決案評価部）
　解決案評価部３２９は、第二テスト解決案評価データファイル３４４ｂに格納されている各解決案評価及び解決案ＩＤに基づいて解決案データ中の解決案ＩＤ毎に解決案に対する評価を集計することができる。例えば、各解決案に対する評価を「Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ」の五択として評価させた場合、Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ＝０、Ｄｉｓａｇｒｅｅ＝１、Ｎｅｕｔｒａｌ＝２、Ａｇｒｅｅ＝３、Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ＝４のように評価に応じて予め定めた点数を与え、単純な算術平均値を当該解決案に対するスコアとすることができる。他の計算方法を採用することもできる。当該スコア計算は評価軸毎に行うことができる。解決案評価部３２９は、集計した点数を第二テスト解決案データファイル３４３ｂの「評価軸１に対する初期スコア」、「評価軸２に対する初期スコア」、・・・、「評価軸ｎに対する初期スコア」に解決案ＩＤ毎に格納することができる。
（解決案評価抽出部）
　解決案評価抽出部３３１は、第二テスト解決案データファイル３４３ｂに格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。図２１に、試験管理者端末１３で表示される解決案評価集計データの一例を示す。この他にも、解決案評価集計データは種々の統計学的手法で出力することが可能である。例えば、解決案評価抽出部３３１は、第二テスト解決案データファイル３４３ｂに格納されている各解決案及び各解決案に対する評価軸毎のスコアに基づいて、各解決案に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。第二テストで収集した各解決案を二つの評価軸に対するスコアに基づき二次元座標系にプロットした散布図の例を図２２に示す。
　また、一実施形態において、解決案評価抽出部３３１は、図２３ａに示すように、第二テスト解決案データファイル３４３ｂに格納されている各解決案に含まれるキーワード（文字列データ）の出現回数、及び／又は、当該キーワードを含む解決案に対して算出された一つ又は複数の評価軸についてのスコアに少なくとも基づいてキーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。別の一実施形態において、解決案評価抽出部３３１は、第二テスト解決案データファイル３４３ｂに格納されている各解決案に含まれるキーワード（文字列データ）の出現回数と当該キーワードを含む解決案に対して算出された一つ又は複数の評価軸についてのスコアに基づいて文字の大きさを変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。
　キーワードマップの作成手順の具体例について説明する。各解決案に含まれる文字列データを、別に用意する当該言語の辞書データファイル３６０中の辞書データに基づいて単語に分解する。さらに、助詞・前置詞等で紐づけられる係り受けの関係から、文脈をなす単語同士の組み合わせを特定する。次いで、単語単位のキーワード、又は文脈をなす単語同士の組み合わせ単位のキーワードで、全ての解決案に含まれる文字列の中で該当する箇所を探索し、出現した回数をカウントする。そして、出現回数が多いキーワードほど大きく表示されるようにすることができる。また、当該キーワードを含む解決案の評価値で重み付けして、より評価値が高い解決案の文字列中に登場したキーワードほど大きく扱って「出現回数×重み付け」の合計を計算しても良い。この合計値に基づいて、値が大きいものほど目立つように大きな文字で表示させてキーワードマップを作ることができる。また、出現回数が多いキーワードほど当該キーワードが大きく表示されるようにし、且つ、当該合計値によって当該キーワードの色に変化を与える（例：合計値が大きいほど暖色系の色にし、合計値が小さいほど寒色系の色にする。）ようにすることができる。
　更に、あるキーワード（単語又は文脈をなす単語同士の組み合わせ）と別のキーワードとが同じ解決案の文字列中に出現する場合は、その２つのキーワードは同時に出現するので親和性が高いと考えることもできる。全てのキーワードの間で、同時出現の頻度を集計することで、より「近い」キーワード同士、「遠い」キーワード同士を定義し、キーワードマップ上で近い場所・遠い場所に配置することもできる。
　解決案評価抽出部３３１は、キーワードマップ上のキーワードを選択すると、第二テスト解決案データファイル３４３ｂに格納されている各解決案から当該キーワードを含む解決案についての解決案評価集計データを抽出し、当該解決案評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。キーワードマップ上のキーワードを選択すると、直ちに当該キーワードを含む解決案についての解決案評価集計データが表示されるようにしてもよいが、例えば当該キーワードが短すぎて文脈が分かりにくい場合などには、キーワードマップ上のキーワード（単語又は文脈をなす単語同士の組み合わせ）を選択すると、図２３ｂに示すように、より具体的な文脈を表すキーワード（例：より多くの単語同士の組み合わせ）のキーワードマップが表示されるようにして、当該キーワードマップ上のキーワードを選択することで、図２３ｃに示すような解決案評価集計データが表示されるようにしてもよい。
（受験者評価部）
　受験者評価部３３２は、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている課題ＩＤ（解決案ＩＤ）毎に課題（解決案）に付与された初期スコア及びその課題（解決案）に対応する受験者ＩＤに基づき、受験者ＩＤ毎の初期の獲得スコア（例：合計スコア又は最大スコア）を算出し、当該スコアを受験者ＩＤと関連付けて第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）に、例えば「評価軸１に対する初期スコア」等として、格納することができる。
　課題及び解決案に対する初期スコアは各受験者の目利き力が分からない中で算出される。そのため、良い課題（解決案）であったとしても、目利き力のある受験者と目利き力のない受験者によって評価が分かれる可能性がある。このため、すべての受験者からの評価を平等に扱うのではなく、評価に重み付けを与えることが好ましい。評価に重み付けを与える方法としては、受験者評価部３３２が、課題（解決案）の初期スコア計算結果に基づき各受験者の初期の獲得スコアをいったん算出した後、受験者ＩＤ及び当該受験者ＩＤと関連付けられている初期の獲得スコアに基づいて受験者に対して順位付けを行い、順位の高い受験者の受験者ＩＤと関連付けられている評価ほど課題（解決案）に対する評価に重み付けを付与する方法が挙げられる。これは、課題創出（解決案創出）に関して評価の高い受験者は、目利き力も高いとの仮定に基づく方法である。このようにして評価に重み付けを与えて各課題（解決案）に対する評価を課題評価部３２８（解決案評価部３２９）にて再度行い、得られた補正後の点数に基づいて再び受験者の順位付けと受験者の獲得スコアの補正を行うことを１回以上、好ましくは５回以上、より好ましくは１０回以上繰り返すことで、目利き力が高いと思われる受験者による評価を課題（解決案）のスコアに大きく反映させることができる。図３に、課題（解決案）の順位付け及び相互評価の繰り返しを表す概念図を示す。
　受験者の目利き力は評価軸毎に評価することが好ましい。例えば、各受験者の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題（解決案）に対する評価の最大スコアとすることができ、又は、当該受験者の識別子に関連付けられた各課題（解決案）に対する評価の合計スコアとすることができる。より具体的には、ある受験者が四つの課題（解決案）を提案したときを仮定すると、四つの課題（解決案）のうち最も評価の高い課題（解決案）が獲得したスコアが最大スコアであり、四つの課題（解決案）に対する各スコアの合計値が合計スコアである。最大スコアによる評価は制限時間がない（例えば１週間の期間中いつでも回答可能）場合に好ましい評価手法である。制限時間がない場合、本課題に費やすことができた時間が長ければ長いほど、合計値での評価は高くなる傾向が考えられ、それは当該受験者の課題（解決案）の提案力とは必ずしも関係ないと考えられるためである。一方、合計スコアによる評価は制限時間（例えば１時間）を設けた場合に好ましい評価手法である。有効な制限時間を設けて課題（解決案）収集セッションを実施する場合、時間内に多くの課題（解決案）を提案できた受験者のほうが課題（解決案）の提案力が高い、と評価することには一定の合理性があるからである。
　重み付けの具体的な方法の例を課題（解決案）の評価軸１に関して説明する。まず、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている課題（解決案）毎の「評価軸１に対する初期スコア」を集計して各受験者の評価軸１に対する獲得スコア（例：合計スコア又は最大スコア）を受験者評価部３３２により算出する。算出された獲得スコアは、第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）の「評価軸１に対する初期スコア」として格納することができる。次に、全受験者を、受験者評価部３３２において算出された獲得スコアの順にソートする。受験者全体をＮ人とすると、ｋ位（ｋ＝１～Ｎ）の受験者による評価を以下の式で重み付ける。
　ｗｅｉｇｈｔ＝１＋ｓｉｎ{（１－２×（ｋ－１）／（Ｎ－１））×ｐｉ／２}
　このように重み付けることで、受験者ＩＤ毎に重み付け係数を付与することができる。この場合、最上位の受験者による評価は２倍、最下位の受験者による評価は０倍となる。
　上記重み付け後、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている各課題（解決案）に対するスコアである「評価軸１に対する初期スコア」を重み付けの算出結果に従って修正する。例えば、各課題（解決案）に対する評価を五択で評価させた場合、当初はＳｔｒｏｎｇｌｙ　Ａｇｒｅｅ＝４の点数であったのが、当該点数に重み付け係数（例えば上記のｗｅｉｇｈｔ）を掛け算することで、重み付け後は評価者としての受験者の受験者ＩＤによっては、Ｓｔｒｏｎｇｌｙ　Ａｇｒｅｅ＝３．５になり得る。
　この場合の重み付け後の当該課題（解決案）に対するスコアは、Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ＝０、Ｄｉｓａｇｒｅｅ＝１、Ｎｅｕｔｒａｌ＝２、Ａｇｒｅｅ＝３、Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ＝４に基づく単純な算術平均値から、重み付けを考慮した次式により算出される値に補正することができる。
（重み付け平均値）＝（重み付け合計）÷（重み合計）
　重み合計＝Σ（ｗｅｉｇｈｔ）
　重み付け合計＝Σ（ｗｅｉｇｈｔ×０～４の整数）
　ここで、重み合計というのは、課題（解決案）毎に、当該課題（解決案）を評価した受験者に付与された重み付け係数の合計である。重み付け合計というのは、当該課題（解決案）を評価した受験者に付与された重み付け係数に当該受験者による評価値を掛け算した値の合計である。
　課題評価部３２８（解決案評価部３２９）は、修正後の点数を「評価軸１の第一補正スコア」として第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に保存することができる。
　受験者評価部３３２は、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている課題ＩＤ（解決案ＩＤ）毎に課題（解決案）に付与された補正後のスコア及びその課題（解決案）に対応する受験者ＩＤに基づき、受験者ＩＤ毎の補正後の獲得スコア（例：合計スコア又は最大スコア）を算出し、当該スコアを受験者ＩＤと関連付けて第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）に、例えば「評価軸１に対する第一補正スコア」等として、格納することができる。
（受験者評価抽出部）
　受験者評価抽出部３３３は、第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）に格納された各受験者に対する評価軸毎のスコアを含む受験者評価データを受験者ＩＤに基づいて抽出し、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。
（検索部）
　検索部３３５は、利用権限のある端末（利用者端末１６）からネットワークを介して課題及びその解決案についての検索要求を送受信部３１０が受信すると、第一テスト課題データファイル３４３ａ、第一テスト課題評価データファイル３４４ａ、第二テスト解決案データファイル３４３ｂ及び第二テスト解決案評価データファイル３４４ｂの少なくとも一つを検索し、検索要求に合致する課題及びその解決案を含む検索結果を送受信部からネットワークを介して利用権限のある端末（利用者端末１６）に送信することができる。検索結果は更に、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含むことができる。検索要求は、例えば、キーワード、検索式、及び予め用意されたプルダウンメニューからのカテゴリー選択等の検索条件の一つを用いて行うことができ、又はこれらの二つ以上を組み合わせて行うことができる。検索結果の並び替え条件（特定の評価軸のスコアの高い順、提案日時の近い順など）を、プルダウンメニュー等により選択できるようにしてもよい。利用権限のある端末（利用者端末１６）としては、サーバ管理者端末１５及び／又は試験管理者端末１３が挙げられるが、利用権限が与えられればそれ以外の利用者端末１６であってもよい。図２４の左側に、利用者端末１６で表示される検索条件を入力するための画面の一例を示す。また、図２４の右側に、利用者端末１６で表示される検索結果の画面の一例を示す。
［受験者端末］
　受験者端末１２も先述したコンピュータ２００のハードウェア構成を有することができる。受験者端末１２の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば書式データ、課題データ、課題評価データ、解決案データ及び解決案評価データ等のデータを一時的に又は非一時的に保存することができる。受験者端末１２は入力装置２０４により、ログイン情報の入力、課題の入力、解決案の入力、他の受験者の課題（解決案）に対する評価の入力等を行うことができる。受験者端末１２は出力装置２０３により、ログイン画面、テスト画面（試験条件、自分が入力した課題（解決案）及び他人が提示した課題（解決案）を含む）及び評価結果等を表示させることができる。受験者端末１２は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、テスト画面、課題データ、解決案データ、課題評価データ、解決案評価データ、及び受験者評価データを受信することが可能であり、サーバ１１にログイン情報、課題データ、解決案データ、課題評価データ及び解決案評価データを送信することが可能である。
［試験管理者端末］
　試験管理者端末１３も先述したコンピュータ２００のハードウェア構成を有することができる。試験管理者端末１３の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば受験者アカウントデータ、試験のステータス（進捗）に関するデータ、試験条件データ、課題データ、解決案データ、課題評価データ、解決案評価データ及び受験者評価データ等のデータを一時的に又は非一時的に保存することができる。試験管理者端末１３は入力装置２０４により、受験者アカウントデータの入力、ログインデータの入力、試験開始の指示等を行うことができる。試験管理者端末１３は出力装置２０３により、受験者アカウントデータ、ログイン画面、試験条件、受験者が提示した課題、受験者が提示した解決案、及び評価結果等を表示させることができる。試験管理者端末１３は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、受験者アカウントデータ、課題データ、解決案データ、課題評価データ、解決案評価データ、受験者評価データ、試験の進捗データを受信することが可能であり、サーバ１１に試験条件データ（試験開始指示を含む）、受験者アカウントデータ及びログインデータを送信することが可能である。
［サーバ管理者端末］
　サーバ管理者端末１５も先述したコンピュータ２００のハードウェア構成を有することができる。サーバ管理者端末１５の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば、サーバ管理者アカウントデータ、試験管理者アカウントデータ、受験者アカウントデータ、試験のステータス（進捗）に関するデータ、課題データ、解決案データ、課題評価データ、解決案評価データ、及び受験者評価データ等のデータを一時的に又は非一時的に保存することができる。サーバ管理者端末１５は入力装置２０４により、サーバ管理者アカウントデータの入力、試験管理者アカウントデータの入力、ログインデータの入力、試験条件の入力等を行うことができる。サーバ管理者端末１５は出力装置２０３により、サーバ管理者アカウントデータ、試験管理者アカウントデータ、ログイン画面、受験者が提示した課題、受験者が提示した解決案、及び評価結果等を表示させることができる。サーバ管理者端末１５は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、サーバ管理者アカウントデータ、試験管理者アカウントデータ、受験者アカウントデータ、課題データ、解決案データ、課題評価データ、解決案評価データ、受験者評価データ、試験の進捗データを受信することが可能であり、サーバ１１にサーバ管理者アカウントデータ、試験管理者アカウントデータ、受験者アカウントデータ及びログインデータを送信することが可能である。
［利用者端末］
　利用者端末１６も先述したコンピュータ２００のハードウェア構成を有することができる。利用者端末１６の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば検索式やキーワード等の検索条件のデータ、課題データ、課題評価データ、解決案データ及び解決案評価データ等のデータを一時的に又は非一時的に保存することができる。利用者端末１６は入力装置２０４により、ログイン情報の入力、課題及びその解決案を検索するための検索条件の入力等を行うことができる。利用者端末１６は出力装置２０３により、ログイン画面、検索条件の入力画面、課題及びその解決案等を表示させることができる。利用者端末１６は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、検索条件の入力画面、検索結果のデータ（例：課題データ、解決案データ、課題評価データ、及び解決案評価データ）を受信することが可能であり、サーバ１１にログイン情報、課題及びその解決案を検索するための検索条件のデータを送信することが可能である。
＜２．オンライン試験のフロー＞
　次に、上述のシステムによるオンライン試験方法の手順についてフローチャートを参照しながら例示的に説明する。
（２－１　課題収集評価のための第一テスト）
２－１－１　試験条件の設定から課題収集セッション開始まで
　図２７には試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、課題収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れがフローチャートで記載されている。試験管理者が試験管理者端末１３から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を試験管理者端末１３に送信する（Ｓ１０１Ａ）。次いで、試験管理者が試験管理者端末１３にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ１０２Ａ）、サーバ１１の認証処理部３２１は、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントファイル３４８内に記憶されているデータと一致するか否かを判別し（Ｓ１０３Ａ）、一致する場合には、試験管理者用の管理画面を試験管理者端末１３に送信し（Ｓ１０４Ａ）、一致しない場合には、エラーメッセージを送信する（Ｓ１０５Ａ）。
　ログインが成功すると、試験管理者端末１３には管理画面（例：図１１～図１３）が表示される。試験管理者は管理画面上で、受験者情報及び試験条件を入力し、サーバ１１に送信する（Ｓ１０６Ａ）。サーバ１１は受験者情報及び試験条件に関するデータを受信すると、データ登録部３２２によって、当該データが第一テスト受験者アカウントファイル３４１ａ及び第一テスト情報ファイル３４２ａにそれぞれ保存される（Ｓ１０７Ａ）。
　次いで、サーバ１１は登録された受験者情報及び試験条件を伝える管理画面を試験管理者端末１３に送信する（Ｓ１０８Ａ）。試験管理者は当該登録された情報を管理画面上で確認した上で、図１１に示すような管理画面上で「課題収集セッション開始」のボタンをクリックすると、課題収集セッションの開始指示がサーバ１１に送信される（Ｓ１０９Ａ）。サーバ１１の課題入力用書式抽出部３２３ａは、試験管理者端末１３から送信される課題収集セッション開始の指示を受信すると、第一テスト受験者アカウントファイル３４１ａ等においてステータスを課題収集セッションが開始したことを示すステータスに変更して保存する（Ｓ１１０Ａ）。その他、第一テスト受験者アカウントファイル３４１ａ等に課題収集セッションの開始時刻を保存してもよい。第一テスト受験者アカウントファイル３４１ａ及び第一テスト情報ファイル３４２ａなど他のファイルにおいてもステータスのフィールドがあるときは、同様にステータスを変更する。
　なお、試験管理者からの課題収集セッション開始の指示は「課題収集セッション開始」のボタンをクリックするだけではなく、予め課題収集セッション開始日時を設定してサーバ１１に登録しておくことも含まれる。この場合、設定された日時にサーバ１１が自動的にＳ１１０Ａを実行する。
　次いで、サーバ１１の課題入力用書式抽出部３２３ａは、課題入力のための第一書式データを第一書式データファイル３４６ａから抽出し、更に、第一テストの課題入力条件（インストラクション）等の所定のテスト情報を第一テスト情報ファイル３４２ａから抽出し、少なくとも一つの記述式課題入力部及び当該テスト情報を含むテスト画面を各受験者端末１２に送信する（Ｓ１１１Ａ）。これにより、受験者端末１２には図７に示すような課題入力のためのテスト画面が表示される（Ｓ１１２Ａ）。なお、フローチャートによる説明を省くが、受験者端末１２においてテスト画面が表示されるためには、受験者端末１２も試験管理者端末１３と同様の手順で、ＩＤ及びパスワードの認証を受けてログインされている必要がある。
２－１－２　課題収集セッションの開始から終了まで
　図２８には課題収集セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって課題入力のためのテスト画面が受験者端末１２で表示された後、受験者が当該画面上でインストラクションに従って課題を入力し、「次へ」のボタンをクリックする。すると、当該受験者端末１２から課題データがサーバ１１に送信される（Ｓ１１３Ａ）。サーバ１１が課題データを受信すると、課題データを制限時間内に受信したか否かが制限時間判断部３２４によって判断される（Ｓ１１４Ａ）。
　制限時間内であると判断された場合、サーバ１１のデータ登録部３２２は、当該課題データに課題ＩＤを付与し、当該課題データを送信した受験者の受験者ＩＤ等と関連付けて第一テスト課題データファイル３４３ａに格納する（Ｓ１１５Ａ）。また、制限時間内であると判断された場合、制限時間判断部３２４は当該課題データを送信した受験者の受験者端末１２にて課題入力のためのテスト画面を再度送信するように指示する。課題入力用書式抽出部３２３ａは制限時間判断部３２４の指示に従って対応する受験者端末１２に課題入力のためのテスト画面を送信する（Ｓ１１１Ａ）。このようにして、制限時間内にある限り課題入力のためのテスト画面は繰り返し受験者端末１２に送信される。
　一方、サーバ１１の制限時間判断部３２４は、受験者端末１２からの課題データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、課題収集セッションが終了した旨を記録するために、第一テスト受験者アカウントファイル３４１ａ等におけるステータスを「課題収集セッション終了」に変更する（Ｓ１１６Ａ）。また、課題収集セッション終了画面又は課題収集セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ１１７Ａ）。これにより、受験者端末１２には課題収集セッションが終了した旨の画面が表示され（Ｓ１１８Ａ）、試験管理者端末１３には、例えば図１１に示すような課題収集セッションが終了した旨の進捗情報が表示される（Ｓ１１９Ａ）。
　別法として、サーバ１１はＳ１１１Ａにおいて複数の課題を一度に記入できる課題入力のためのテスト画面を送信してもよい。また、受験者端末１２はＳ１１３Ａにおいて複数の課題をまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての課題データを一度に受信することができ、Ｓ１１１Ａを繰り返し行う必要はない。
２－１－３　課題評価セッションの開始から終了まで
　図２９には課題評価セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって課題収集セッションが終了した後、試験管理者は図１１に示すような管理画面上で「課題評価セッション開始」のボタンをクリックすると、課題評価セッションの開始指示がサーバ１１に送信される（Ｓ２０１Ａ）。サーバ１１の評価者決定部３２５は、課題評価セッション開始の指示を受信すると、サーバ１１に内蔵された乱数発生装置２０６により発生した乱数を取得し、当該乱数を用いて第一テスト課題データファイル３４３ａに格納されている各課題データ中の課題を評価すべき受験者を決定する（Ｓ２０２Ａ）。
　この際、サーバ１１の評価者決定部３２５は、評価者たる受験者による各課題に対する評価の進捗状況を管理するための第一テスト課題評価進捗管理ファイル３４７ａに、評価者たる受験者毎に、受験者ＩＤ、評価すべき課題ＩＤ、及び必要評価数などを関連付けて保存することができる。なお、評価者決定部３２５による当該決定プロセスは、試験管理者端末１３からの課題評価セッション開始の指示に限られるものではなく、評価者決定プロセスを開始するための何らかの指示によって開始すればよい。例えば、当該決定プロセスは評価者を決定するためだけの指示を試験管理者端末１３から受信することで実行されてもよいし、その他の指示に合わせて実行されてもよいし、ステータスが課題収集セッション終了へと変更されることがトリガーとなって実行されてもよい。
　サーバ１１の課題抽出部３２６は、評価者決定部３２５による各課題を評価すべき受験者の決定に従い、各受験者が評価すべき課題のデータを第一テスト課題データファイル３４３ａに格納されている課題ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ａ）。これにより、受験者端末１２では図９に記載されるような、受験者毎に評価すべき課題が画面上に表示される（Ｓ２０４Ａ）。受験者は当該画面上で課題に対する評価（例：「Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、又は「Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ」）のボタンをクリックし、「次へ」のボタンをクリックする。すると、当該受験者端末１２から課題評価データがサーバ１１に送信される（Ｓ２０５Ａ）。サーバ１１が課題評価データを受信すると、データ登録部３２２が当該課題評価データに課題評価ＩＤを付与し、当該課題評価データを送信した受験者の受験者ＩＤ及び課題ＩＤ等と関連付けて第一テスト課題評価データファイル３４４ａに格納する（Ｓ２０６Ａ）。
　次いで、サーバ１１の評価数判断部３３４は受験者端末１２から一つの課題に対する評価を受信する度に、当該受験者の受験者ＩＤに対応した第一テスト課題評価進捗管理ファイル３４７ａにおける評価済み数を一つ増やすとともに、当該受験者が前記決定に従った必要評価数に達したか否かを判断する（Ｓ２０７Ａ）。その結果、必要評価数に達していないと判断した場合には、課題抽出部３２６は、未評価分の課題データを、当該受験者が次に評価すべき課題を第一テスト課題データファイル３４３ａに格納されている課題ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ａ）。このようにして、必要評価数に達するまで評価すべき課題のデータは繰り返し受験者端末１２に送信される。
　別法として、サーバ１１はＳ２０３Ａにおいて評価すべき課題のデータをまとめて各受験者端末１２に送信してもよい。また、受験者端末１２はＳ２０５Ａにおいて課題評価データをまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての課題評価データを一度に受信することができ、Ｓ２０３Ａを繰り返し行う必要はない。
　一方、サーバ１１の評価数判断部３３４は、必要評価数に達したと判断した場合、当該受験者の課題評価セッションが終了した旨を記録するために、第一テスト受験者アカウントファイル３４１ａ等におけるステータスを「課題評価セッション終了」に変更する（Ｓ２０８Ａ）。また、評価数判断部３３４は課題評価セッション終了画面又は課題評価セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ２０９Ａ）。受験者端末１２及び試験管理者端末１３において、当該画面又は進捗情報を受信すると、受験者端末１２には課題評価セッションが終了した旨の画面が表示され（Ｓ２１０Ａ）、試験管理者端末１３には、例えば図１１に示すような課題評価セッションが終了した旨の進捗情報が表示される（Ｓ２１１Ａ）。
　２－１－４　スコア計算
　図３０には課題評価セッションの終了後、サーバ１１によって各課題のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れがフローチャートで記載されている。先述した手順によって課題評価セッションが終了した後、試験管理者は試験管理者端末１３からスコア計算開始の指示を、例えば試験管理者が図１１に示すような管理画面上で「スコア計算開始」のボタンをクリックすることにより、サーバ１１に送信する（Ｓ３０１Ａ）。なお、「スコア計算開始」のボタンは課題評価セッション終了後に試験管理者の管理画面上に現れるようにしてもよい。次いで、当該指示をサーバ１１が受信すると、サーバ１１の課題評価部３２８は、第一テスト課題評価データファイル３４４ａに格納されている各課題の評価軸毎の評価値及び課題ＩＤに基づいて各課題データ中の課題ＩＤ毎に課題のスコアを評価軸毎に算出する（Ｓ３０２Ａ）。当該スコアは、第一テスト課題データファイル３４３ａに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。次いで、受験者評価部３３２は、課題ＩＤ毎に付与されたスコアに基づいて、受験者ＩＤ毎の課題提案力に関するスコアを評価軸毎に算出する（Ｓ３０３Ａ）。当該スコアは、第一テスト受験者評価データファイル３４５ａに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。
　このようにして、各受験者の課題提案力に関するスコアをいったん算出した後、スコアの高い受験者からの評価に対して重み付けを与えるようにして課題ＩＤ毎に課題に対する評価軸毎のスコアを再度算出（補正）し（Ｓ３０４Ａ）、さらに補正後のスコアに基づいて受験者ＩＤ毎のスコアを評価軸毎に再度算出（補正）する（Ｓ３０５Ａ）。更に、ステップＳ３０４Ａ及びＳ３０５Ａは予め設定した回数繰り返される。ステップＳ３０４Ａにより補正されたスコアは、第一テスト課題データファイル３４３ａに第一補正スコア、第二補正スコア・・・等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。同様に、ステップＳ３０５Ａにより補正されたスコアは、第一テスト受験者評価データファイル３４５ａに第一補正スコア、第二補正スコア等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。
　ステップＳ３０４Ａ及びＳ３０５Ａが所定回数繰り返されることで、各課題に対する最終的なスコアが算出される。各受験者に対する最終的なスコアも算出される。
　このようにして、各課題に対する評価軸毎の最終的なスコア及び各受験者に対する評価軸毎のスコアが算出されると、サーバ１１の課題評価抽出部３３０は各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データを試験管理者端末１３に表示可能な形態で送信する（Ｓ３０６Ａ）。合わせて、サーバ１１の受験者評価抽出部３３３は、第一テスト受験者評価データファイル３４５ａに格納された各受験者に対する評価軸毎のスコアを含む受験者評価データを受験者ＩＤに基づいて抽出し、表示可能な形態で試験管理者端末１３に送信することもできる。課題評価集計データ（及び受験者評価データ）を受信すると、試験管理者端末１３の画面上には、課題評価集計データ（及び受験者評価データ）が表示される（Ｓ３０７Ａ）。
（２－２　解決案収集評価のための第二テスト）
２－２－１　試験条件の設定から解決案収集セッション開始まで
　図３１には試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、解決案収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れがフローチャートで記載されている。試験管理者が試験管理者端末１３から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を試験管理者端末１３に送信する（Ｓ１０１Ｂ）。次いで、試験管理者が試験管理者端末１３にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ１０２Ｂ）、サーバ１１の認証処理部３２１は、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントファイル３４８内に記憶されているデータと一致するか否かを判別し（Ｓ１０３Ｂ）、一致する場合には、試験管理者用の管理画面を試験管理者端末１３に送信し（Ｓ１０４Ｂ）、一致しない場合には、エラーメッセージを送信する（Ｓ１０５Ｂ）。
　ログインが成功すると、試験管理者端末１３には管理画面（例：図１４～図１６）が表示される。試験管理者は管理画面上で、受験者情報及び試験条件を入力し、サーバ１１に送信する（Ｓ１０６Ｂ）。サーバ１１は受験者情報及び試験条件に関するデータを受信すると、データ登録部３２２によって、当該データが第二テスト受験者アカウントファイル３４１ｂ及び第二テスト情報ファイル３４２ｂにそれぞれ保存される（Ｓ１０７Ｂ）。
　次いで、サーバ１１は登録された受験者情報及び試験条件を伝える管理画面を試験管理者端末１３に送信する（Ｓ１０８Ｂ）。試験管理者は当該登録された情報を管理画面上で確認した上で、図１４に示すような管理画面上で「解決案収集セッション開始」のボタンをクリックすると、解決案収集セッションの開始指示がサーバ１１に送信される（Ｓ１０９Ｂ）。サーバ１１の解決案入力用書式抽出部３２３ｂは、試験管理者端末１３から送信される解決案収集セッション開始の指示を受信すると、第二テスト受験者アカウントファイル３４１ｂ等においてステータスを解決案収集セッションが開始したことを示すステータスに変更して保存する（Ｓ１１０Ｂ）。その他、第二テスト受験者アカウントファイル３４１ｂ等に解決案収集セッションの開始時刻を保存してもよい。第二テスト受験者アカウントファイル３４１ｂ及び第二テスト情報ファイル３４２ｂなど他のファイルにおいてもステータスのフィールドがあるときは、同様にステータスを変更する。
　なお、試験管理者からの解決案収集セッション開始の指示は「解決案収集セッション開始」のボタンをクリックするだけではなく、予め解決案収集セッション開始日時を設定してサーバ１１に登録しておくことも含まれる。この場合、設定された日時にサーバ１１が自動的にＳ１１０Ｂを実行する。
　次いで、サーバ１１の解決案入力用書式抽出部３２３ｂは、解決案入力のための第二書式データを第二書式データファイル３４６ｂから抽出し、更に、第二テストの解決案入力条件（インストラクション）及び解決案を検討すべき課題等の所定のテスト情報を第二テスト情報ファイル３４２ｂから抽出し、少なくとも一つの記述式解決案入力部及び当該テスト情報を含むテスト画面を各受験者端末１２に送信する（Ｓ１１１Ｂ）。これにより、受験者端末１２には図８に示すような解決案入力のためのテスト画面が表示される（Ｓ１１２Ｂ）。なお、フローチャートによる説明を省くが、受験者端末１２においてテスト画面が表示されるためには、受験者端末１２も試験管理者端末１３と同様の手順で、ＩＤ及びパスワードの認証を受けてログインされている必要がある。
２－２－２　解決案収集セッションの開始から終了まで
　図３２には解決案収集セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって解決案入力のためのテスト画面が受験者端末１２で表示された後、受験者が当該画面上でインストラクションに従って解決案を入力し、「次へ」のボタンをクリックする。すると、当該受験者端末１２から解決案データがサーバ１１に送信される（Ｓ１１３Ｂ）。サーバ１１が解決案データを受信すると、解決案データを制限時間内に受信したか否かが制限時間判断部３２４によって判断される（Ｓ１１４Ｂ）。
　制限時間内であると判断された場合、サーバ１１のデータ登録部３２２は、当該解決案データに解決案ＩＤを付与し、当該解決案データを送信した受験者の受験者ＩＤ等と関連付けて第二テスト解決案データファイル３４３ｂに格納する（Ｓ１１５Ｂ）。また、制限時間内であると判断された場合、制限時間判断部３２４は当該解決案データを送信した受験者の受験者端末１２にて解決案入力のためのテスト画面を再度送信するように指示する。解決案入力用書式抽出部３２３ｂは制限時間判断部３２４の指示に従って対応する受験者端末１２に解決案入力のためのテスト画面を送信する（Ｓ１１１Ｂ）。このようにして、制限時間内にある限り解決案入力のためのテスト画面は繰り返し受験者端末１２に送信される。
　一方、サーバ１１の制限時間判断部３２４は、受験者端末１２からの解決案データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、解決案収集セッションが終了した旨を記録するために、第二テスト受験者アカウントファイル３４１ｂ等におけるステータスを「解決案収集セッション終了」に変更する（Ｓ１１６Ｂ）。また、解決案収集セッション終了画面又は解決案収集セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ１１７Ｂ）。これにより、受験者端末１２には解決案収集セッションが終了した旨の画面が表示され（Ｓ１１８Ｂ）、試験管理者端末１３には、例えば図１４に示すような解決案収集セッションが終了した旨の進捗情報が表示される（Ｓ１１９Ｂ）。
　別法として、サーバ１１はＳ１１１Ｂにおいて複数の解決案を一度に記入できる解決案入力のためのテスト画面を送信してもよい。また、受験者端末１２はＳ１１３Ｂにおいて複数の解決案をまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての解決案データを一度に受信することができ、Ｓ１１１Ｂを繰り返し行う必要はない。
２－２－３　解決案評価セッションの開始から終了まで
　図３３には解決案評価セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって解決案収集セッションが終了した後、試験管理者は図１４に示すような管理画面上で「解決案評価セッション開始」のボタンをクリックすると、解決案評価セッションの開始指示がサーバ１１に送信される（Ｓ２０１Ｂ）。サーバ１１の評価者決定部３２５は、解決案評価セッション開始の指示を受信すると、サーバ１１に内蔵された乱数発生装置２０６により発生した乱数を取得し、当該乱数を用いて第二テスト解決案データファイル３４３ｂに格納されている各解決案データ中の解決案を評価すべき受験者を決定する（Ｓ２０２Ｂ）。
　この際、サーバ１１の評価者決定部３２５は、評価者たる受験者による各解決案に対する評価の進捗状況を管理するための第二テスト解決案評価進捗管理ファイル３４７ｂに、評価者たる受験者毎に、受験者ＩＤ、評価すべき解決案ＩＤ、及び必要評価数などを関連付けて保存することができる。なお、評価者決定部３２５による当該決定プロセスは、試験管理者端末１３からの解決案評価セッション開始の指示に限られるものではなく、評価者決定プロセスを開始するための何らかの指示によって開始すればよい。例えば、当該決定プロセスは評価者を決定するためだけの指示を試験管理者端末１３から受信することで実行されてもよいし、その他の指示に合わせて実行されてもよいし、ステータスが解決案収集セッション終了へと変更されることがトリガーとなって実行されてもよい。
　サーバ１１の解決案抽出部３２７は、評価者決定部３２５による各解決案を評価すべき受験者の決定に従い、各受験者が評価すべき解決案のデータを第二テスト解決案データファイル３４３ｂに格納されている解決案ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第四書式データファイル３４６ｄに格納されている第四書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ｂ）。これにより、受験者端末１２では図１０に記載されるような、受験者毎に評価すべき解決案が画面上に表示される（Ｓ２０４Ｂ）。受験者は当該画面上で解決案に対する評価（例：「Ｓｔｒｏｎｇｌｙ　ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、又は「Ｓｔｒｏｎｇｌｙ　ａｇｒｅｅ」）のボタンをクリックし、「次へ」のボタンをクリックする。すると、当該受験者端末１２から解決案評価データがサーバ１１に送信される（Ｓ２０５Ｂ）。サーバ１１が解決案評価データを受信すると、データ登録部３２２が当該解決案評価データに解決案評価ＩＤを付与し、当該解決案評価データを送信した受験者の受験者ＩＤ及び解決案ＩＤ等と関連付けて第二テスト解決案評価データファイル３４４ｂに格納する（Ｓ２０６Ｂ）。
　次いで、サーバ１１の評価数判断部３３４は受験者端末１２から一つの解決案に対する評価を受信する度に、当該受験者の受験者ＩＤに対応した第二テスト解決案評価進捗管理ファイル３４７ｂにおける評価済み数を一つ増やすとともに、当該受験者が前記決定に従った必要評価数に達したか否かを判断する（Ｓ２０７Ｂ）。その結果、必要評価数に達していないと判断した場合には、解決案抽出部３２７は、未評価分の解決案データを、当該受験者が次に評価すべき解決案を第二テスト解決案データファイル３４３ｂに格納されている解決案ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ｂ）。このようにして、必要評価数に達するまで評価すべき解決案のデータは繰り返し受験者端末１２に送信される。
　別法として、サーバ１１はＳ２０３Ｂにおいて評価すべき解決案のデータをまとめて各受験者端末１２に送信してもよい。また、受験者端末１２はＳ２０５Ｂにおいて解決案評価データをまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての解決案評価データを一度に受信することができ、Ｓ２０３Ｂを繰り返し行う必要はない。
　一方、サーバ１１の評価数判断部３３４は、必要評価数に達したと判断した場合、当該受験者の解決案評価セッションが終了した旨を記録するために、第二テスト受験者アカウントファイル３４１ｂ等におけるステータスを「解決案評価セッション終了」に変更する（Ｓ２０８Ｂ）。また、評価数判断部３３４は解決案評価セッション終了画面又は解決案評価セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ２０９Ｂ）。受験者端末１２及び試験管理者端末１３において、当該画面又は進捗情報を受信すると、受験者端末１２には解決案評価セッションが終了した旨の画面が表示され（Ｓ２１０Ｂ）、試験管理者端末１３には、例えば図１４に示すような解決案評価セッションが終了した旨の進捗情報が表示される（Ｓ２１１Ｂ）。
　２－２－４　スコア計算
　図３４には解決案評価セッションの終了後、サーバ１１によって各解決案のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れがフローチャートで記載されている。先述した手順によって解決案評価セッションが終了した後、試験管理者は試験管理者端末１３からスコア計算開始の指示を、例えば試験管理者が図１４に示すような管理画面上で「スコア計算開始」のボタンをクリックすることにより、サーバ１１に送信する（Ｓ３０１Ｂ）。なお、「スコア計算開始」のボタンは解決案評価セッション終了後に試験管理者の管理画面上に現れるようにしてもよい。次いで、当該指示をサーバ１１が受信すると、サーバ１１の解決案評価部３２９は、第二テスト解決案評価データファイル３４４ｂに格納されている各解決案の評価軸毎の評価値及び解決案ＩＤに基づいて各解決案データ中の解決案ＩＤ毎に解決案のスコアを評価軸毎に算出する（Ｓ３０２Ｂ）。当該スコアは、第二テスト解決案データファイル３４３ｂに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してもよい。次いで、受験者評価部３３２は、解決案ＩＤ毎に付与されたスコアに基づいて、受験者ＩＤ毎の解決力に関するスコアを評価軸毎に算出する（Ｓ３０３Ｂ）。当該スコアは、第二テスト受験者評価データファイル３４５ｂに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。
　このようにして、各受験者の解決力に関するスコアをいったん算出した後、スコアの高い受験者からの評価に対して重み付けを与えるようにして解決案ＩＤ毎に解決案に対する評価軸毎のスコアを再度算出（補正）し（Ｓ３０４Ｂ）、さらに補正後のスコアに基づいて受験者ＩＤ毎のスコアを評価軸毎に再度算出（補正）する（Ｓ３０５Ｂ）。更に、ステップＳ３０４Ｂ及びＳ３０５Ｂは予め設定した回数繰り返される。ステップＳ３０４Ｂにより補正されたスコアは、第二テスト解決案データファイル３４３ｂに第一補正スコア、第二補正スコア・・・等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。同様に、ステップＳ３０５Ｂにより補正されたスコアは、第二テスト受験者評価データファイル３４５ｂに第一補正スコア、第二補正スコア等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。
　ステップＳ３０４Ｂ及びＳ３０５Ｂが所定回数繰り返されることで、各解決案に対する最終的なスコアが算出される。各受験者に対する最終的なスコアも算出される。
　このようにして、各解決案に対する評価軸毎の最終的なスコア及び各受験者に対する評価軸毎のスコアが算出されると、サーバ１１の解決案評価抽出部３３１は各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データを試験管理者端末１３に表示可能な形態で送信する（Ｓ３０６Ｂ）。合わせて、サーバ１１の受験者評価抽出部３３３は、第二テスト受験者評価データファイル３４５ｂに格納された各受験者に対する評価軸毎のスコアを含む受験者評価データを受験者ＩＤに基づいて抽出し、表示可能な形態で試験管理者端末１３に送信することもできる。解決案評価集計データ（及び受験者評価データ）を受信すると、試験管理者端末１３の画面上には、解決案評価集計データ（及び受験者評価データ）が表示される（Ｓ３０７Ｂ）。
＜３．課題及びその解決手段検索のフロー＞
　次に、上述のシステムによる課題及びその解決手段のオンラインでの検索手順についてフローチャートを参照しながら例示的に説明する。
　図３５には権限のある利用者端末がサーバへアクセスして検索要求を行い、所望の検索結果を得るまでの処理の流れがフローチャートで記載されている。利用者が利用者端末１６から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を利用者端末１６に送信する（Ｓ４０１）。次いで、利用者が利用者端末１６にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ４０２）、サーバ１１の認証処理部３２１は、入力された管理者ＩＤ及びパスワードが、ライブラリ利用者アカウントファイル３５０内に記憶されているデータと一致するか否かを判別し（Ｓ４０３）、一致する場合には、利用者用の管理画面を利用者端末１６に送信し（Ｓ４０４）、一致しない場合には、エラーメッセージを送信する（Ｓ４０５）。
　ログインが成功すると、利用者端末１６には検索条件を入力するための画面（例：図２４）が表示される。利用者は画面上で、キーワード及び検索式などを用いて課題及びその解決案についての検索条件を入力し、サーバ１１に送信する（Ｓ４０６）。サーバ１１が検索条件のデータを受信すると、検索部３３５は、サーバ１１の記憶部３４０内のデータ、例えば、第一テスト課題データファイル３４３ａ、第二テスト解決案データファイル３４３ｂ、第一テスト受験者アカウントファイル３４１ａ、第二テスト受験者アカウントファイル３４１ｂ、第一テスト情報ファイル３４２ａ、第二テスト情報ファイル３４２ｂ、第一テスト課題評価データファイル３４４ａ、第二テスト解決案評価データファイル３４４ｂ、第一テスト受験者評価データファイル３４５ａ、及び、第二テスト受験者評価データファイル３４５ｂの少なくとも一つを検索する（Ｓ４０７）。その後、サーバ１１は、検索要求に合致する課題及びその解決案を含む検索結果を利用者端末に送信する（Ｓ４０８）。検索結果は更に、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含んでもよい。検索結果のデータを受信すると、利用者端末１６の画面上には、図２４左側下部及び図２４右側下部に示すような当該検索結果が表示される（Ｓ４０９）。
１１　サーバ
１２　受験者端末
１３　試験管理者端末
１４　コンピュータネットワーク
１５　サーバ管理者端末
１６　利用者端末
２０５　通信装置
２００　コンピュータ
２０１　演算装置
２０２　記憶装置
２０３　出力装置
２０４　入力装置
２０５　通信装置
２０６　乱数発生装置
２０７　タイマー
３１０　送受信部
３２０　制御部
３２１　認証処理部
３２２　データ登録部
３２３ａ　課題入力用書式抽出部
３２３ｂ　解決案入力用書式抽出部
３２４　制限時間判断部
３２５　評価者決定部
３２６　課題抽出部
３２７　解決案抽出部
３２８　課題評価部
３２９　解決案評価部
３３０　課題評価抽出部
３３１　解決案評価抽出部
３３２　受験者評価部
３３３　受験者評価抽出部
３３４　評価数判断部
３３５　検索部
３４０　記憶部
３４１ａ　第一テスト受験者アカウントファイル
３４１ｂ　第二テスト受験者アカウントファイル
３４２ａ　第一テスト情報ファイル
３４２ｂ　第二テスト情報ファイル
３４３ａ　第一テスト課題データファイル
３４３ｂ　第二テスト解決案データファイル
３４４ａ　第一テスト課題評価データファイル
３４４ｂ　第二テスト解決案評価データファイル
３４５ａ　第一テスト受験者評価データファイル
３４５ｂ　第二テスト受験者評価データファイル
３４６ａ　第一書式データファイル
３４６ｂ　第二書式データファイル
３４６ｃ　第三書式データファイル
３４６ｄ　第四書式データファイル
３４７ａ　第一テスト課題評価進捗管理ファイル
３４７ｂ　第二テスト解決案評価進捗管理ファイル
３４８　試験管理者アカウントファイル
３４９　サーバ管理者アカウントファイル
３５０　ライブラリ利用者アカウントファイル
３５１　テスト管理ファイル
３６０　辞書データファイル

Claims (44)

  1. 　サーバが、ネットワークを介して試験管理者端末から第一テスト開始の指示を受信するステップと、
    　サーバが、第一テスト開始の指示に応じて、少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データをネットワークを介して第一テストの複数の受験者端末のそれぞれに送信するステップと、
    　サーバが、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、第一テストの各受験者端末から受信するステップと、
    　サーバが、受信した課題を含む課題データにそれぞれ識別子を付与し、前記課題データを送信した第一テストの各受験者の識別子と関連付けて前記課題データを課題データ記憶部に格納するステップと、
    　サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を第一テストの受験者の中から決定するステップと、
    　サーバが、課題を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データをネットワークを介して対応する第一テストの受験者端末に送信するステップと、
    　サーバが、課題データ中の課題に対する第一テストの受験者による評価を含む課題評価データを、第一テストの各受験者端末から受信するステップと、
    　サーバが、受信した課題評価データにそれぞれ識別子を付与し、前記課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて前記課題評価データを課題評価データ記憶部に格納するステップと、
    　サーバが、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、各課題を含む課題データを送信した第一テストの受験者の識別子と関連付けて前記スコアを課題データ記憶部に格納するステップと、
    　サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信するステップと、
    を含む課題収集評価方法。
  2. 　課題入力のための第一書式データは、第一テスト情報記憶部に格納されている課題の入力条件と共に送信される請求項１に記載の課題収集評価方法。
  3. 　前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性の少なくとも一つを含む請求項１又は２に記載の課題収集評価方法。
  4. 　前記少なくとも一つの評価軸が、二つ以上の評価軸を含む請求項１～３の何れか一項に記載の課題収集評価方法。
  5. 　前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性よりなる群から選択される二つ以上の評価軸を含む請求項４に記載の課題収集評価方法。
  6. 　サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアに基づいて、各課題に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む請求項１～５の何れか一項に記載の課題収集評価方法。
  7. 　サーバが、課題データ記憶部に格納されている課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を、ネットワークを介して試験管理者端末から受信するステップと、
    　サーバが、ネットワークを介して試験管理者端末から第二テスト開始の指示を受信するステップと、
    　サーバが、第二テスト開始の指示に応じて、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの記述式解決案入力部を含む、前記少なくとも一つの解決すべき課題に対する解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データをネットワークを介して第二テストの複数の受験者端末のそれぞれに送信するステップと、
    　サーバが、前記少なくとも一つの解決すべき課題に対する第二テストの受験者による解決案を含む解決案データを、第二テストの各受験者端末から受信するステップと、
    　サーバが、受信した解決案を含む解決案データにそれぞれ識別子を付与し、前記解決案データを送信した第二テストの受験者の識別子と関連付けて前記解決案データを解決案データ記憶部に格納するステップと、
    　サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を第二テストの受験者の中から決定するステップと、
    　サーバが、解決案を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき解決案を含む解決案データを解決案データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データをネットワークを介して対応する第二テストの受験者端末に送信するステップと、
    　サーバが、解決案データ中の解決案に対する第二テストの受験者による評価を含む解決案評価データを、第二テストの各受験者端末から受信するステップと、
    　サーバが、受信した解決案評価データにそれぞれ識別子を付与し、前記解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて前記解決案評価データを解決案評価データ記憶部に格納するステップと、
    　サーバが、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、各解決案を含む解決案データを送信した第二テストの受験者の識別子と関連付けて前記スコアを解決案データ記憶部に格納するステップと、
    　サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信するステップと、
    を含む解決案収集評価方法。
  8. 　解決案入力のための第二書式データは、第二テスト情報記憶部に格納されている解決案の入力条件と共に送信される請求項７に記載の解決案収集評価方法。
  9. 　前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性の少なくとも一つを含む請求項７又は８に記載の解決案収集評価方法。
  10. 　前記少なくとも一つの評価軸が、二つ以上の評価軸を含む請求項７～９の何れか一項に記載の解決案収集評価方法。
  11. 　前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性よりなる群から選択される二つ以上の評価軸を含む請求項１０に記載の解決案収集評価方法。
  12. 　サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアに基づいて、各解決案に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む請求項７～１１の何れか一項に記載の解決案収集評価方法。
  13. 　課題データ記憶部には、請求項１～６の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データが格納されている請求項７～１２の何れか一項に記載の解決案収集評価方法。
  14. 　サーバが、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
    　サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
    を更に含む請求項１～６の何れか一項に記載の課題収集評価方法。
  15. 　サーバが、課題データ記憶部に格納されている各課題に付与された補正後の評価軸毎のスコア及び第一テストの受験者の識別子に基づき、第一テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
    　サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第一テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
    を少なくとも一回繰り返すことを含む請求項１４に記載の課題収集評価方法。
  16. 　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである請求項１４又は１５に記載の課題収集評価方法。
  17. 　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである請求項１４又は１５に記載の課題収集評価方法。
  18. 　サーバが、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
    　サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
    を更に含む請求項７～１３の何れか一項に記載の解決案収集評価方法。
  19. 　サーバが、解決案データ記憶部に格納されている各解決案に付与された補正後の評価軸毎のスコア及び第二テストの受験者の識別子に基づき、第二テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
    　サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第二テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
    を少なくとも一回繰り返すことを含む請求項１８に記載の解決案収集評価方法。
  20. 　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである請求項１８又は１９に記載の解決案収集評価方法。
  21. 　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである請求項１８又は１９に記載の解決案収集評価方法。
  22. 　課題データ記憶部に、請求項１～６、１４～１７の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データを格納しており、且つ、課題評価データ記憶部に、請求項１～６、１４～１７の何れか一項に記載の課題収集評価方法を実施することによって収集された課題評価データを格納しているサーバが、利用権限のある端末からネットワークを介して、課題及びその解決案についての検索要求を受信するステップと、
    　サーバが、課題データ記憶部、課題評価データ記憶部、解決案データ記憶部及び解決案評価データ記憶部の少なくとも一つを検索し、検索要求に合致する課題及びその解決案を含む検索結果をネットワークを介して前記利用権限のある端末に送信するステップと、
    を更に含む請求項７～１３、１８～２１の何れか一項に記載の解決案収集評価方法。
  23. 　検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む請求項２２に記載の解決案収集評価方法。
  24. 　送受信部、制御部、記憶部、及び乱数発生装置を備え、
    　前記記憶部は、
    　第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
    　少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
    　少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
    　送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
    　送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部とを有し、
    　前記制御部はデータ登録部、課題入力用書式抽出部、評価者決定部、課題抽出部、課題評価部、及び、課題評価抽出部を有し、
    　データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
    　課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
    　評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
    　課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
    　課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
    　課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができる、
    課題収集評価のためのサーバ。
  25. 　送受信部、制御部、記憶部、及び乱数発生装置を備え、
    　前記記憶部は、
    　第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
    　少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
    　少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
    　複数の課題を含む課題データを記憶するための課題データ記憶部と、
    　送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
    　送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
    　前記制御部はデータ登録部、解決案入力用書式抽出部、評価者決定部、解決案抽出部、解決案評価部、及び解決案評価抽出部を有し、
    　データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
    　解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
    　評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
    　解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
    　解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
    　解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データを送受信部からネットワークを介して試験管理者端末に送信することができる、
    解決案収集評価のためのサーバ。
  26. 　送受信部、制御部、記憶部、及び乱数発生装置を備え、
    　前記記憶部は、
    　第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
    　第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
    　少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
    　少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
    　少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
    　少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
    　送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
    　送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
    　送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部と、
    　送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
    　前記制御部はデータ登録部、課題入力用書式抽出部、解決案入力用書式抽出部、評価者決定部、課題抽出部、解決案抽出部、課題評価部、解決案評価部、課題評価抽出部及び解決案評価抽出部を有し、
    　データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
    　また、データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
    　課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
    　また、解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データを送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
    　評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
    　また、評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
    　課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
    　解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
    　課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
    　解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
    　課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができ、
    　解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる、
    課題及びその解決案の収集評価のためのサーバ。
  27. 　前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
    　前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
    　課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
    請求項２４に記載の課題収集評価のためのサーバ。
  28. 　課題評価抽出部は、課題データ記憶部に格納されている各課題に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  29. 　課題評価抽出部は、キーワードマップ上のキーワードを選択すると、課題データ記憶部に格納されている各課題から当該キーワードを含む課題についての課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  30. 　解決案評価抽出部は、解決案データ記憶部に格納されている各解決案に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  31. 　解決案評価抽出部は、キーワードマップ上のキーワードを選択すると、解決案データ記憶部に格納されている各解決案から当該キーワードを含む解決案についての解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  32. 　前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
    　前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
    　課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
    請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  33. 　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  34. 　第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  35. 　前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
    　前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
    　解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
    請求項２５に記載の解決案収集評価のためのサーバ。
  36. 　前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
    　前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
    　解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
    請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  37. 　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  38. 　第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。
  39. 　前記制御部は、利用権限のある端末からネットワークを介して課題及びその解決案についての検索要求を送受信部が受信すると、前記記憶部を検索し、検索要求に合致する課題及びその解決案を含む検索結果を送受信部からネットワークを介して利用権限のある端末に送信することができる検索部を更に有する請求項２６、２８～３４、３６～３８の何れか一項に記載の課題及びその解決案の収集評価のためのサーバ。
  40. 　検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む請求項３９に記載の課題及びその解決案の収集評価のためのサーバ。
  41. 　請求項１～６、１４～１７の何れか一項に記載の課題収集評価方法をコンピュータに実行させるためのプログラム。
  42. 　請求項４１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  43. 請求項７～１３、１８～２３の何れか一項に記載の解決案収集評価方法をコンピュータに実行させるためのプログラム。
  44. 　請求項４３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2020/002008 2019-01-21 2020-01-21 課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ WO2020153383A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/419,927 US11636774B2 (en) 2019-01-21 2020-01-21 Problem collection/evaluation method, proposed solution collection/evaluation method, server for problem collection/evaluation, server for proposed solution collection/evaluation, and server for collection/evaluation of problem and proposed solution thereto

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-008088 2019-01-21
JP2019008088A JP6681485B1 (ja) 2019-01-21 2019-01-21 課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ

Publications (1)

Publication Number Publication Date
WO2020153383A1 true WO2020153383A1 (ja) 2020-07-30

Family

ID=70166532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002008 WO2020153383A1 (ja) 2019-01-21 2020-01-21 課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ

Country Status (3)

Country Link
US (1) US11636774B2 (ja)
JP (1) JP6681485B1 (ja)
WO (1) WO2020153383A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122995A (ja) * 1998-10-15 2000-04-28 Fuji Xerox Co Ltd 非同期議論支援装置および非同期議論支援方法
JP2004334761A (ja) * 2003-05-12 2004-11-25 Mitsubishi Electric Corp 自由意見分析システム
JP2009509200A (ja) * 2005-09-23 2009-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 試験を編集するための装置、方法、およびコンピュータ・プログラム、並びに、受験者を試験するための装置、方法、およびコンピュータ・プログラム
JP2015184970A (ja) * 2014-03-25 2015-10-22 凸版印刷株式会社 アイデア創出コンピュータシステム及び方法並びにプログラム
WO2017145765A1 (ja) * 2016-02-22 2017-08-31 株式会社Ｖｉｓｉｔｓ Ｗｏｒｋｓ アイデア創造力を評価するためのオンラインテスト方法及びオンラインテストサーバ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5021113B2 (ja) 2000-08-23 2012-09-05 イー・カルチャー株式会社 検定試験方法
US20120288844A1 (en) 2000-09-11 2012-11-15 Indu Anand Reverse multiple-choice method for knowledge engineering and expert system implementation
JP2002092266A (ja) 2000-09-20 2002-03-29 Sony Corp 発明の発掘方法及び発明発掘装置
US20040018479A1 (en) 2001-12-21 2004-01-29 Pritchard David E. Computer implemented tutoring system
JP2007257330A (ja) 2006-03-23 2007-10-04 Fujitsu Ltd 顧客対応要員を評価させるプログラム、評価方法、および顧客対応要員の評価装置
US20080227075A1 (en) * 2007-03-15 2008-09-18 Ctb/Mcgraw-Hill, Llc Method and system for redundant data capture from scanned documents
US20100075291A1 (en) * 2008-09-25 2010-03-25 Deyoung Dennis C Automatic educational assessment service
US20100075292A1 (en) * 2008-09-25 2010-03-25 Deyoung Dennis C Automatic education assessment service
US20110097692A1 (en) 2009-04-17 2011-04-28 Homan Joseph B Business Risk Training Game
AU2009101300B9 (en) 2009-11-23 2010-07-29 Trinityp3 Pty Ltd Evaluation tool, system and method for evaluating stakeholder interactions between multiple groups
US8768241B2 (en) * 2009-12-17 2014-07-01 Xerox Corporation System and method for representing digital assessments
US20120058459A1 (en) 2010-09-08 2012-03-08 Jobdiva, Inc. Democratic Process of Testing for Cognitively Demanding Skills and Experiences
US8755737B1 (en) 2012-12-24 2014-06-17 Pearson Education, Inc. Fractal-based decision engine for intervention
WO2014210603A2 (en) 2013-06-28 2014-12-31 Healthtap, Inc. Systems and method for evaluating and selecting a healthcare professional
US20150358681A1 (en) 2014-06-04 2015-12-10 Kerry R. Gaston Peer group evaluation program for mass distributed digital content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122995A (ja) * 1998-10-15 2000-04-28 Fuji Xerox Co Ltd 非同期議論支援装置および非同期議論支援方法
JP2004334761A (ja) * 2003-05-12 2004-11-25 Mitsubishi Electric Corp 自由意見分析システム
JP2009509200A (ja) * 2005-09-23 2009-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 試験を編集するための装置、方法、およびコンピュータ・プログラム、並びに、受験者を試験するための装置、方法、およびコンピュータ・プログラム
JP2015184970A (ja) * 2014-03-25 2015-10-22 凸版印刷株式会社 アイデア創出コンピュータシステム及び方法並びにプログラム
WO2017145765A1 (ja) * 2016-02-22 2017-08-31 株式会社Ｖｉｓｉｔｓ Ｗｏｒｋｓ アイデア創造力を評価するためのオンラインテスト方法及びオンラインテストサーバ

Also Published As

Publication number Publication date
JP6681485B1 (ja) 2020-04-15
US20220114902A1 (en) 2022-04-14
JP2020119109A (ja) 2020-08-06
US11636774B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
JP6249466B1 (ja) アイデア創造力を評価するためのオンラインテスト方法及びオンラインテストサーバ
JP5193172B2 (ja) 質問回答サービス方法
Hallak et al. Examining the role of entrepreneurial experience and entrepreneurial self-efficacy on SMTE performance
KR101548526B1 (ko) 외부 인적자원의 평가를 이용한 핵심기술과 수행주체 선정 장치, 시스템 및 방법
KR20110072647A (ko) 인적자원 개발을 위한 역량진단 평가 시스템 및 그 방법
JP2005276168A (ja) 人事評価方法、人事評価システム、情報処理装置、及び人事評価プログラム
WO2021210321A1 (ja) オンライン評価方法及び評価用オンラインサーバ
JP2002024451A (ja) 技術力評価システムおよび技術力評価方法
JP2003067593A (ja) 専門家サービス提供システム，専門家管理サーバ，コンピュータプログラム，記憶媒体および専門家管理サーバの運営方法
JP6124354B2 (ja) 経験学習支援システム、経験学習支援方法、情報処理装置およびその制御方法と制御プログラム
JP2004355502A (ja) 人材配置支援システム、人材配置支援方法、サーバ装置およびプログラム
WO2020153383A1 (ja) 課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ
Zheng et al. Assessing e-government readiness of local governments in China: developing a bottom-up approach
CN115203545A (zh) 基于深度学习和知识图谱的康养服务智能匹配方法和系统
JP2005055659A (ja) 学習支援装置、学習支援システム、学習支援方法およびプログラム
KR101802377B1 (ko) 유형별 퀴즈 기반의 지식 수집용 클라우드 소싱 서비스 시스템
JP2020181238A (ja) 情報分析装置、情報分析方法及び情報分析プログラム
JP2002149845A (ja) インターネットを介して試験を行う方法並びにそのサーバシステム及び同方法がサーバプログラムとして記録された記録媒体
JP2004110502A (ja) 分析結果提供方法、分析結果提供システム
JP3662572B2 (ja) 業務目標策定管理システム
US20230419231A1 (en) Method for online evaluation and online server for evaluation
KR102532750B1 (ko) 소프트웨어 개발 프로젝트 관리 시스템 및 방법
JP2002006734A (ja) コンピュータ適応型検定試験の方法及びシステム
JP7255355B2 (ja) 情報処理システム、情報処理装置およびプログラム
JP4108033B2 (ja) 人材育成支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20745807

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19/10/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 20745807

Country of ref document: EP

Kind code of ref document: A1