WO2023243100A1 - アンケート回答評価装置、アンケート回答評価方法及びプログラム - Google Patents

アンケート回答評価装置、アンケート回答評価方法及びプログラム Download PDF

Info

Publication number
WO2023243100A1
WO2023243100A1 PCT/JP2022/024422 JP2022024422W WO2023243100A1 WO 2023243100 A1 WO2023243100 A1 WO 2023243100A1 JP 2022024422 W JP2022024422 W JP 2022024422W WO 2023243100 A1 WO2023243100 A1 WO 2023243100A1
Authority
WO
WIPO (PCT)
Prior art keywords
questionnaire
item
time
respondent
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/024422
Other languages
English (en)
French (fr)
Inventor
昌洋 渡辺
猛 松本
遼 橋本
渉 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2022/024422 priority Critical patent/WO2023243100A1/ja
Publication of WO2023243100A1 publication Critical patent/WO2023243100A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to a questionnaire response evaluation device, a questionnaire response evaluation method, and a program.
  • Web survey systems that allow users to answer surveys by connecting to the Internet are becoming popular.
  • a web survey system it is possible to easily collect responses to a survey using form elements such as radio buttons, check boxes, text boxes, etc. of web content technology.
  • the present invention has been made in view of the above points, and aims to improve the reliability of questionnaire results.
  • the questionnaire response evaluation device is configured to measure the time required to answer each of one or more questions forming the questionnaire displayed on a terminal connected via a network. and a determination unit configured to determine whether the degree of deviation of the required time from the threshold value satisfies a predetermined criterion.
  • FIG. 1 is a diagram showing an example of a system configuration according to a first embodiment; FIG. It is a diagram showing an example of the hardware configuration of the web questionnaire system 10 in the first embodiment.
  • FIG. 1 is a diagram showing an example of a functional configuration of a web questionnaire system 10 according to a first embodiment. It is a flowchart for explaining an example of a processing procedure executed by the web questionnaire system 10 when a respondent answers a questionnaire in the first embodiment. It is a figure which shows the 1st example of the questionnaire page in 1st Embodiment. It is a figure which shows the 2nd example of the questionnaire page in 1st Embodiment. It is a figure showing an example of questionnaire item data in a 1st embodiment.
  • FIG. 3 is a diagram illustrating an example of questionnaire response data in which response times and judgments of respondent a are recorded in the first embodiment.
  • FIG. 3 is a diagram illustrating an example of questionnaire response data in which response times and judgments of respondent e are recorded in the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration example of all questionnaire response data in the first embodiment. It is a figure showing an example of a message page in a 1st embodiment. It is a flowchart for explaining an example of a processing procedure that the web questionnaire system 10 executes when a respondent answers a questionnaire in the second embodiment. It is a figure showing an example of a questionnaire page in a 2nd embodiment.
  • FIG. 3 is a diagram illustrating an example of questionnaire response data in which response times and judgments of respondent a are recorded in the first embodiment.
  • FIG. 3 is a diagram illustrating an example of questionnaire response data in which response times and judgments of respondent e are recorded in the first embodiment.
  • FIG. 3 is a
  • FIG. 7 is a diagram illustrating an example of questionnaire response data in which response times and judgments of respondent e are recorded in the second embodiment. It is a figure showing an example of a message page in a 2nd embodiment.
  • FIG. 7 is a diagram illustrating an example of a questionnaire page for correcting answers in the second embodiment. It is a figure showing an example of questionnaire item data in a 3rd embodiment.
  • FIG. 7 is a diagram for explaining a method of estimating response time based on questionnaire item data in the third embodiment.
  • FIG. 3 is a diagram illustrating an example of data acquired for estimating response time for each questionnaire item.
  • FIG. 7 is a diagram showing an example of the estimation results of response times for each questionnaire item in the third embodiment.
  • FIG. 7 is a diagram showing an example of the total estimated response time and response time for each questionnaire item in the third embodiment. It is a figure showing an example of questionnaire item data in a 4th embodiment. It is a figure showing an example of a questionnaire page in a 4th embodiment.
  • FIG. 12 is a diagram showing an example of historical data of responses to probe items in the fourth embodiment.
  • FIG. 12 is a diagram showing an example of questionnaire item data after changing the reference time in the fourth embodiment. It is a figure which shows an example of questionnaire response data in 4th Embodiment.
  • the elapsed time from the presentation of the questionnaire item to the response (hereinafter, that is, the time required to answer the questionnaire item; hereinafter referred to as “answer time”) is measured.
  • Ru the degree of deviation of the response time from the threshold value (hereinafter referred to as "reference time") satisfies a predetermined criterion, it is estimated how seriously the questionnaire respondent answered the questionnaire. If the response time is extremely short, or if the response time is longer or shorter than the pre-estimated time, it is presumed that the respondent is not responding seriously. In this case, by deleting answers that are presumed not to have been answered seriously, it is possible to avoid incorrect conclusions from the entire questionnaire.
  • FIG. 1 is a diagram showing an example of the system configuration of the first embodiment.
  • a participant terminal 20 and one or more respondent terminals 30 including a respondent terminal 30a, a respondent terminal 30e, etc. are connected to a web questionnaire system 10 via a network N1 such as a LAN (Local Area Network) or the Internet. Connect to.
  • a network N1 such as a LAN (Local Area Network) or the Internet.
  • the implementer terminal 20 is a terminal used by the survey implementer.
  • the questionnaire implementer inputs information in the questionnaire manual, questionnaire items, etc. to the web survey system 10 via the implementer terminal 20.
  • the web survey system 10 uses the function as a web server to generate a web page for a survey (hereinafter referred to as a "questionnaire page") according to information input by a survey implementer. It's a computer.
  • the web questionnaire system 10 also collects answers to questions forming the questionnaire via the questionnaire page, and evaluates the reliability of the answers.
  • the respondent terminal 30a and the respondent terminal 30e are terminals used by respondents to the questionnaire.
  • the respondent terminal 30a is used by respondent a
  • the respondent terminal 30e is used by respondent e.
  • FIG. 1 for convenience, there are two respondent terminals 30, but there may be one respondent terminal 30, or three or more respondent terminals 30.
  • Each respondent terminal 30 displays a questionnaire page generated by the web questionnaire system 10, and receives input of answers to questions forming the questionnaire via the questionnaire page.
  • a PC Personal Computer
  • a tablet terminal a smartphone, or the like may be used as the implementer terminal 20 and the respondent terminal 30.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the web questionnaire system 10 in the first embodiment.
  • the web survey system 10 in FIG. 2 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a processor 104, an interface device 105, etc., which are interconnected via a bus B.
  • a program that implements processing in the web questionnaire system 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100.
  • the program does not necessarily need to be installed from the recording medium 101, and may be downloaded from another computer via a network.
  • the auxiliary storage device 102 stores installed programs as well as necessary files, data, and the like.
  • the memory device 103 reads and stores the program from the auxiliary storage device 102 when there is an instruction to start the program.
  • the processor 104 is a CPU, a GPU (Graphics Processing Unit), or a CPU and a GPU, and executes functions related to the web questionnaire system 10 according to a program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • FIG. 3 is a diagram showing an example of the functional configuration of the web questionnaire system 10 in the first embodiment.
  • the web questionnaire system 10 includes a web page generation section 11, a transmission section 12, a reception section 13, a measurement section 14, and a determination section 15. Each of these units is realized by one or more programs installed in the web survey system 10 causing the processor 104 to execute the process.
  • the web survey system 10 also utilizes an information storage unit 16.
  • the information storage unit 16 can be realized using, for example, the auxiliary storage device 102 or a storage device connectable to the web questionnaire system 10 via a network.
  • the processing procedure executed by the web questionnaire system 10 will be explained.
  • the time required from when a question is presented to when a questionnaire respondent selects an option or inputs a written answer is measured as the response time. If the response time is shorter than a preset reference time, a warning indicating that the credibility of the response is low (proceeding with deletion of data related to the response) is displayed to the survey implementer.
  • FIG. 4 is a flowchart for explaining an example of a processing procedure executed by the web questionnaire system 10 when a respondent answers a questionnaire in the first embodiment.
  • a case will be described in which respondent a makes an answer, but similar processing is performed for other respondents as well.
  • step S101 When respondent a accesses the URL of the web questionnaire system 10 using the browser of the respondent terminal 30a, step S101 is executed.
  • the web page generation unit 11 generates a diagram corresponding to one questionnaire item (hereinafter referred to as "target questionnaire item") out of the plurality of items (hereinafter referred to as "questionnaire items") constituting the questionnaire. 5 or a questionnaire page as shown in FIG. 6 is generated based on the questionnaire item data.
  • the transmitter 12 transmits the questionnaire page to the respondent terminal 30a that is the access source.
  • the respondent terminal 30a displays the questionnaire page.
  • the questionnaire item data is stored in advance in, for example, the auxiliary storage device 102 or the like.
  • FIG. 7 is a diagram showing an example of questionnaire item data in the first embodiment.
  • the questionnaire item data includes, for each questionnaire item, the item number, question text, number of options, answer format, options 1 to 5, reference time, and the like.
  • the item number is the number of the questionnaire item.
  • the question text is a character string indicating a question corresponding to a questionnaire item. That is, the questionnaire items correspond one-to-one to the questions (sentences).
  • the number of options is the number of options prepared as answer candidates corresponding to the question text.
  • the answer format is an item indicating whether the format of the answer corresponding to the question text is singular, plural, or free description. Singular refers to an answer format in which one option is selected. Multiple means an answer format in which multiple options are selected.
  • Free description refers to an answer format that involves free description (input of character strings) rather than selection of options.
  • the reference time is a response time that is a reference (a threshold). The standard time is determined in advance by the person carrying out the questionnaire, taking into account the question text, the number of options, etc. Alternatively, it may be determined based on the history of past answers. Based on these, the expected response time may be slightly reduced and a time at which it would be unnatural to respond in a shorter time than this may be set as the reference time.
  • the web page generation unit 11 sets the questionnaire item with the smallest item number among the questionnaire items for which no questionnaire page has been generated as the target questionnaire item, and generates the questionnaire page corresponding to the target questionnaire item (Fig. 5 or 6 etc.) are generated in step S101.
  • a questionnaire page can be generated using a form element.
  • the questionnaire item with item number 1 (hereinafter referred to as "questionnaire item 1" and other questionnaire items follow the same naming convention) is a free-text question, so text is specified in the type attribute of the input element. is generated.
  • Questionnaire item 2 is a single-selection question, so it is generated by specifying radio in the type attribute of the input element so that the question can be selected using a radio button.
  • a web page (questionnaire page) can be generated by using general CMS (Content Management System) technology and inserting questionnaire item data into a web page template.
  • a questionnaire page as shown in FIG. 5 or 6 may be generated using a dynamic mechanism such as CGI. Alternatively, a questionnaire page may be generated in advance and displayed by redirecting the page.
  • the transmitter 12 records the time at which the questionnaire page was transmitted to the respondent terminal 30a as the response start time in the questionnaire response data (S102).
  • Questionnaire response data refers to data in which information regarding questionnaire responses can be recorded for each respondent and for each questionnaire item.
  • FIG. 8 is a diagram showing an example of questionnaire response data in the first embodiment.
  • each record of questionnaire response data includes items such as user ID, questionnaire item number, question text, answer, start time, end time, response time, reference time, and determination.
  • the questionnaire item number of a certain record is the item number of the questionnaire item corresponding to the record in the questionnaire item data (FIG. 7).
  • a question text for a certain record is a question text for a questionnaire item corresponding to the record.
  • the answer of a certain record is the content of the answer to the questionnaire item corresponding to the record.
  • the start time of a certain record is the time when the questionnaire page related to the questionnaire item corresponding to the record was sent to the respondent terminal 30.
  • the end time of a certain record is the time when the answer input to the questionnaire page related to the questionnaire item corresponding to the record is received.
  • the reference time of a certain record is the reference time of the questionnaire item corresponding to the record in the questionnaire item data.
  • Judgment is an item indicating pass/fail (pass or fail) based on whether the response time satisfies a predetermined standard. Specifically, the determination is an item indicating whether or not the response time is equal to or longer than the reference time. Alternatively, the determination may be an item indicating the magnitude of the difference from the reference time.
  • Each record constituting the questionnaire response data is stored in advance in the information storage unit 16, for example.
  • the values of the user ID, questionnaire item number, question text, and reference time of each record are known, they may be recorded in advance.
  • the start time, end time, response time, and determination value are determined based on the input of the response and are therefore recorded as the process in FIG. 4 progresses.
  • the transmission time of the questionnaire page is recorded with respect to the start time of the record corresponding to respondent a and the target questionnaire item (hereinafter referred to as "target record"). That is, the transmission time is estimated as the start time of the questionnaire.
  • respondent terminal 30a transmits the answer to the web questionnaire system 10.
  • the receiving unit 13 of the web questionnaire system 10 Upon receiving the answer (Yes in S103), the receiving unit 13 of the web questionnaire system 10 records the time when the answer was received as the end time of the target record of the questionnaire answer data (FIG. 8) (S104). That is, the reception time of the answer is estimated as the end time of the answer. Subsequently, the receiving unit 13 records the received answer in the target record (S105).
  • the receiving unit 13 determines whether responses to all questionnaire items have been received for respondent a (S106). Such a determination can be made based on whether or not responses have been recorded for all records whose user ID is "1" in the questionnaire response data (FIG. 8). Alternatively, such a determination may be made based on whether the target questionnaire item is the last questionnaire item in the questionnaire item data (FIG. 7). If there are unanswered questionnaire items (No in S106), steps S101 and subsequent steps are repeated for the unanswered questionnaire items.
  • the measurement unit 14 calculates the response time for each record corresponding to respondent a in the questionnaire response data (FIG. 8) (S107). Specifically, the measurement unit 14 calculates the difference between the start time and the end time (the elapsed time from the start time to the end time) for each record, and records the calculation result in the response time of the record.
  • the determination unit 15 determines whether the response time calculated in step S107 satisfies the criteria (S108).
  • the determination unit 15 compares the response time and the reference time for each record corresponding to respondent a in the questionnaire response data (FIG. 8), and sets a value according to the comparison result for the record. Record in the judgment column. Specifically, if the response time is equal to or longer than the reference time, the determination unit 15 records "O" in the determination column as a pass. On the other hand, if the response time is shorter than the reference time, the determination unit 15 records "x" in the determination column as a failure. Note that "pass” is a determination result that the answer is reliable. Fail is a judgment result that the answer is not reliable.
  • FIG. 9 is a diagram illustrating an example of questionnaire response data in which response times and judgments of respondent a are recorded in the first embodiment.
  • the response time for all questionnaire items is equal to or longer than the reference time, so the judgment value for all questionnaire items is " ⁇ ".
  • FIG. 10 is a diagram showing an example of questionnaire response data in which the response time and judgment of respondent e are recorded in the first embodiment.
  • the response time for questionnaire items 6 to 8 is shorter than the reference time, so the judgment values for these questionnaire items are " ⁇ ".
  • the response time is longer than the reference time but less than 10% of the reference time, it may be set as " ⁇ +".
  • This reference value of 10% is recorded in the information storage section 16 in advance.
  • the standard time is 5 seconds and the response time is also 5 seconds. In this case, the response time is 5.5 seconds or less, an increase of 10% from the reference time, so it is marked as " ⁇ +”.
  • the reference time is 5 seconds and the response time is 10 seconds. In this case, the response time is not less than 5.5 seconds, which is 10% more than the reference time, so it is marked as "O”.
  • the response time is longer than the 10% reduction value of the reference time but shorter than the reference time, it may be set as " ⁇ -" or the like.
  • the ratio between the response time and the reference time may be written.
  • the reference time is 5 seconds and the response time is also 5 seconds, so the ratio is 1.
  • the reference time is 5 seconds and the response time is 10 seconds, so the ratio is 2.
  • a ratio of 1 or more means a pass, and a ratio of less than 1 means a fail, but it can also represent the degree of difference from the reference time.
  • the determination unit 15 calculates the credibility of the answer by respondent a based on the content of the record corresponding to respondent a among the questionnaire response data (FIG. 9), and stores the calculation result in the information storage unit 16. It is recorded in all the questionnaire response data that have been answered (S109).
  • FIG. 11 is a diagram showing a configuration example of all questionnaire response data in the first embodiment.
  • the total questionnaire response data includes the answers and credibility of each questionnaire item for every respondent.
  • the credibility is the ratio of the number of questionnaire items with a rating of " ⁇ " to the total number of questionnaire items.
  • respondent a has a credibility rating of 100 because the ratings for all questionnaire items are " ⁇ ".
  • asterisks are attached to the responses of respondent e to questionnaire items 6 to 8. This indicates that this is a questionnaire item for which the judgment in FIG. 10 was "x".
  • Respondent e marked 3 of the 8 questionnaire items with an X so the data is 5/8 believable and the reliability is 62.5%.
  • the determination unit 15 calculates the credibility of each respondent and records the calculation result in all questionnaire response data as the credibility value of each respondent.
  • the determination unit 15 determines whether or not the determination of any record corresponding to respondent a in the questionnaire response data (FIG. 10) is "x" (that is, whether there is a questionnaire item that is a failure). (S110). In the case of respondent a, the determination is "O" for all questionnaire items (No in S110), so the process ends without executing step S111.
  • step S111 is executed.
  • the web page generation unit 11 and the transmission unit 12 notify the survey implementer that there are answers that do not meet the criteria.
  • the web page generation unit 11 generates a web page (hereinafter referred to as a "message page") that includes a message indicating a questionnaire item whose response time does not meet the standard (is shorter than the standard time).
  • the transmitter 12 transmits the message page to the implementer terminal 20.
  • the implementer terminal 20 displays the message page.
  • FIG. 12 is a diagram showing an example of a message page in the first embodiment. According to the message page shown in FIG. 12, the person conducting the questionnaire can know that there are answers that should be handled with care. Note that the generation and transmission of the message page may be executed in response to a predetermined access from the implementer terminal 20.
  • a message page may be generated according to " ⁇ +” and " ⁇ -".
  • the message in Figure 12 reads, "The response times for questionnaire items 6 to 8 are shorter than the standard time. Please consider handling the data.” However, in the case of " ⁇ +”, the response time is "longer than the standard time. "The data is almost the same as the standard value. Please consider how to handle it.”, or in the case of " ⁇ -”, "The data is shorter than the standard time, but it is almost the same as the standard value. Please consider how to handle it.” ”.
  • the response time for each questionnaire item is measured, and if there is a questionnaire item for which the difference between the response time and the reference time does not meet the standard, a warning is displayed to the questionnaire respondent.
  • FIG. 13 is a flowchart for explaining an example of a processing procedure executed by the web questionnaire system 10 when a respondent answers a questionnaire in the second embodiment.
  • step S201 When respondent a accesses the URL of the web questionnaire system 10 using the browser of the respondent terminal 30a, step S201 is executed.
  • the web page generation unit 11 generates a questionnaire page based on the questionnaire item data (FIG. 7) for accepting input of questions for all the plurality of questionnaire items constituting the questionnaire.
  • the transmitter 12 transmits the questionnaire page to the respondent terminal 30a that is the access source.
  • the respondent terminal 30a displays the questionnaire page.
  • FIG. 14 is a diagram showing an example of a questionnaire page in the second embodiment. As shown in FIG. 14, the questionnaire page in the second embodiment includes all questionnaire items.
  • the sending unit 12 sets the time at which the questionnaire page was sent to the respondent terminal 30a to correspond to the first questionnaire item among the records corresponding to respondent a in the questionnaire response data (FIG. 8). (S202).
  • respondent a performs input operations for answers in order from the upper questionnaire items on the questionnaire page.
  • the answer input operation includes inputting characters into a text box, clicking a radio button, checking a check box, and the like.
  • the operation of the send button and the reset button does not correspond to the operation of inputting an answer.
  • the respondent terminal 30a When respondent a performs an operation to input an answer to one questionnaire item, the respondent terminal 30a transmits the item number and answer of the questionnaire item to the web questionnaire system 10. Note that the transmission of a reply in response to an input operation can be implemented using JavaScript (registered trademark) or the like.
  • the receiving unit 13 of the web questionnaire system 10 stores the time when the answer was received among the records corresponding to respondent a in the questionnaire response data (FIG. 8). It is recorded at the end time of the record corresponding to the item number (hereinafter referred to as "target record"), and is also recorded at the start time of the record next to the item number (S204). However, if there is no next record for respondent a, the start time of the next record is not recorded. Subsequently, the receiving unit 13 records the received answer in the target record (S205).
  • Steps S203 to S205 are repeated until the send button on the questionnaire page (FIG. 14) is pressed.
  • the send button on the questionnaire page is pressed, the respondent terminal 30a sends information indicating that the send button has been pressed to the web questionnaire system 10.
  • the measuring unit 14 calculates the response time for each record corresponding to respondent a in the questionnaire response data (FIG. 8) (S207). .
  • the calculation method is the same as step S107 in FIG.
  • the determination unit 15 determines whether the response time calculated in step S207 satisfies the criteria (S208).
  • the determination unit 15 sets the difference between the response time and the reference time to a threshold value (hereinafter referred to as "difference threshold value") for each record corresponding to respondent a in the questionnaire response data (FIG. 8).
  • the value corresponding to the comparison result is recorded in the judgment column of the record (S208).
  • the difference threshold is set in advance for each questionnaire item in the questionnaire response data.
  • the response time for questionnaire item n is T n
  • the reference time is TS n
  • the difference threshold is TD n .
  • the test is determined to be a pass, and if not, the test is determined to be a fail.
  • the difference threshold TD n is determined as a constant multiple of the reference time TS n .
  • the difference threshold TD1 is set to 30 seconds, which is three times the reference time of 10 seconds.
  • TS 1 -TD 1 is set to 0 because it becomes -20 seconds, which is a negative value.
  • TS 1 +TD 1 is 40 seconds. Therefore, TS 1 ⁇ TD 1 ⁇ T 1 ⁇ TS 1 +TD 1 is a condition that the test is passed if 0 seconds ⁇ T n ⁇ 40 seconds. In FIG. 15, T1 is 25 seconds, so the test is passed.
  • the difference threshold TD n is set to be 0.9 times the reference time. Since the reference time for questionnaire items 2, 3, 6, and 7 is 5 seconds, the difference threshold TD n is 4.5 seconds. TS n ⁇ TD n is 0.5 seconds, and TS n +TD n is 9.5 seconds. Therefore, TS n ⁇ TD n ⁇ T n ⁇ TS n +TD n is a condition that the test is passed if 0.5 seconds ⁇ T n ⁇ 9.5 seconds. In FIG. 15, T 2 , T 3 , T 6 , and T 7 are 10, 6, 1, and 4 seconds, so questionnaire item 2 is failed, and questionnaire items 3, 6, and 7 are passed.
  • the difference threshold TD n is 2.7 seconds.
  • TS n -TD n is 0.3 seconds, and TS n +TD n is 5.7 seconds. Therefore, TS n ⁇ TD n ⁇ T n ⁇ TS n +TD n is a condition that the test is passed if 0.3 seconds ⁇ T n ⁇ 5.7 seconds.
  • both T 4 and T 5 are 6 seconds, resulting in a failure.
  • the difference threshold TD8 is set to 20 seconds, which is twice the reference time of 10 seconds.
  • TS 8 - TD 8 is -10 seconds, which is a negative value, so it is set to 0.
  • TS 8 +TD 8 is 30 seconds. Therefore, TS 8 ⁇ TD 8 ⁇ T 8 ⁇ TS 8 +TD 8 is a condition that the test is passed if 0 seconds ⁇ T8 ⁇ 30 seconds. In FIG. 15, T8 is 5 seconds, so it passes.
  • the determination unit 15 records "x" in the determination of records corresponding to questionnaire items 4 and 5 that are failed. Since the other questionnaire items are passed, the determination unit 15 records “ ⁇ ” in the judgment of the records corresponding to the other questionnaire items.
  • steps S209 and S210 are the same as steps S109 and S110 in FIG. 4.
  • the web page generation unit 11 and the transmission unit 12 notify the respondent that there is an answer that does not meet the criteria ( S211). That is, in the first embodiment, the person conducting the questionnaire was notified, but in the second embodiment, the respondent was notified. Specifically, the web page generation unit 11 generates a message page that includes a message indicating a questionnaire item for which the difference between the response time and the reference time does not satisfy the reference (is greater than or equal to the difference threshold). The transmitter 12 transmits the message page to the respondent terminal 30 of the respondent. The respondent terminal 30 displays the message page.
  • FIG. 16 is a diagram showing an example of a message page in the second embodiment.
  • the message page displayed to the respondent includes a questionnaire item for which the difference between the response time and the reference time does not meet the standard, and a message prompting the respondent to answer the questionnaire item again.
  • Respondents can respond again by pressing the ⁇ Return to Questionnaire Page'' button, or end the questionnaire by pressing the ⁇ Do Not Edit'' button.
  • the respondent terminal 30 transmits a re-response request to the web questionnaire system 10.
  • the respondent terminal 30 transmits a termination request to the web questionnaire system 10.
  • the processing procedure in FIG. 13 ends.
  • the web page generating unit 11 When the receiving unit 13 receives the re-answer request (Yes in S212), the web page generating unit 11 generates a questionnaire page for correcting the answers.
  • the questionnaire page for correcting answers is a questionnaire page in which answers can be input only to questionnaire items that have been rated "x".
  • the transmitter 12 transmits the questionnaire page to the respondent terminal 30 (S213).
  • the respondent terminal 30 displays the questionnaire page.
  • FIG. 17 is a diagram showing an example of a questionnaire page for correcting answers in the second embodiment.
  • input is only possible for questionnaire items 4 and 5 for which the judgment is "x".
  • the transmitting unit 12 sets the start time of the first questionnaire item (questionnaire item 4 in the example of FIG. 17) among the questionnaire items for which the determination is "x" to respondents a and Record in the record corresponding to questionnaire item 4.
  • steps S203 and subsequent steps are executed.
  • the ratio of the response time to the reference time automatically estimated by the web questionnaire system 10 is calculated, and the ratio is far from 1. A warning will be displayed to survey respondents.
  • Steps S201 to S207 are the same as in the second embodiment.
  • step S208 the determination unit 15 determines whether the response time calculated in step S207 satisfies the criteria (S208).
  • the difference from the first and second embodiments regarding whether or not the response time satisfies the standard is that the determination unit 15 estimates the standard response time from the questionnaire question text. This point will be explained.
  • the determination unit 15 estimates a standard response time based on the content of the question. For example, it is thought that the more questions there are on one page, the more questions the answerer can see at once, which reduces the answering time. Furthermore, it is considered that the longer the question text has, the more characters there are, or the more options there are, the longer the response time will be. Furthermore, it is thought that response time will be longer for open-ended questions than for multiple-choice questions. Also, it is thought that response time will be longer for single selection than for multiple selection.
  • the number of questions on one screen including the questionnaire, the number of characters in the entire question text, the minimum number of characters in the answer text, the total number of characters in all options, the number of options, and the choices respondents make among the options.
  • a method for estimating (calculating) a response time standard based on one or more indicators of the number of required options will be described. This information can be obtained from questionnaire item data.
  • FIG. 18 is a diagram showing an example of questionnaire item data in the third embodiment.
  • the rightmost column (estimated response time) is different from the rightmost column (reference time) in FIG.
  • the reference time in FIG. 7 is a value (constant) set by the person conducting the questionnaire.
  • the estimated response time shown in FIG. 18 is a value automatically estimated by the determination unit 15 from the questionnaire questions and the like.
  • FIG. 19 is a diagram for explaining a method of estimating response time based on questionnaire item data in the third embodiment.
  • FIG. 19 shows seven estimation methods: estimation methods 1, 2, 3, 4 (4-1 to 4-3), and 5 (5-1 to 5-4).
  • the determining unit 15 estimates the response time using an appropriate estimation method among these estimation methods, and sets the sum of the estimated response times as the estimated response time for each questionnaire item.
  • Estimation methods 3, 4, and 5 correspond to different answer formats.
  • Estimation method 3 corresponds to free description.
  • Estimation method 4 corresponds to single selection.
  • Estimation method 5 corresponds to multiple selection 5. Since the response method for each questionnaire item is one of these, one of these estimation methods is applied to a certain questionnaire item.
  • estimation methods 4-1 to 4-3 there are estimation methods 4-1 to 5-4.
  • Estimation method 4 is a method for estimating the response time for questionnaire items whose answer format is single choice.
  • a weighting coefficient is set when a single selection is made. Generally, the difficulty level differs between single selection and multiple selection.
  • a weighting coefficient of W 4-1 is set.
  • W 4-2 is a weighting factor.
  • Estimation method 5 is a method for estimating the response time for questionnaire items whose response format is multiple selection.
  • estimation method 5-1 a weighting coefficient W 5-1 is set in the case of multiple selection.
  • W 5-2 is a weighting factor.
  • weighting coefficients are set in advance as shown in FIG. 19.
  • FIG. 20 is a diagram showing an example of data acquired for estimating the response time for each questionnaire item.
  • FIG. 20 shows specific examples of observed variable values for each estimation method for each questionnaire item. Note that estimation method 4-1 and estimation method 5-1 are not shown because there is no data obtained from questionnaire item data (only W 4-1 or W 5-1 is required). ing. Observation variables whose values are not included in the questionnaire item data may be stored separately in the information storage unit 16.
  • FIG. 21 is a diagram showing an example of the estimation results of the response time for each questionnaire item in the third embodiment.
  • FIG. 21 shows, for each questionnaire item, the estimated response time (seconds) calculated for each estimation method based on the data shown in FIG. 20, and the total estimated response time, which is the total thereof.
  • the method for calculating the estimated response time (seconds) will be specifically explained below.
  • estimation method 2 for item number 1 will be explained.
  • the question text for item number 1 is "Please tell me your name," and the number of characters in the question text in this case is 10. Therefore, N2 is 10.
  • a method may be adopted in which the number of characters when this question is expanded into hiragana as "Please tell me the conclusion" is counted, and the number of characters is set to 12.
  • estimation method 3 for item number 1 will be explained.
  • the answer format for item number 1 is a free description type and not a multiple choice type, so it does not apply to estimation method 4 or later. Therefore, after estimation method 4 in FIG. 20, it is set to "-", and after estimation method 4 in FIG. 21, it is set to 0.
  • N1 8 and the estimated response time is 1, similar to item number 1.
  • the question for item number 8 is "Where will product A be used?" and the number of characters in the question is 12. Therefore, N 2 is 12.
  • Item number 8 is a multiple-choice survey question. Since estimation method 3 and estimation methods 4-1 to 4-3 do not apply, the estimated response time of these estimation methods is 0.
  • the total estimated response time is similarly calculated for item numbers 2 to 8. These are response times estimated from the items in the questionnaire.
  • reference time in other embodiments may be calculated by the estimation method described above.
  • FIG. 22 is a diagram showing an example of the total estimated response time and response time for each questionnaire item in the third embodiment.
  • the values in the total estimated response time (seconds) column in FIG. 22 are the values estimated by the method described above (the values of total estimated response time (seconds) in FIG. 21). Moreover, the value in the column of response time (seconds) is the response time measured according to the answer by the respondent.
  • the ratio column is the result of dividing response time by total estimated response time. That is, the determination unit 15 calculates the ratio by dividing the response time for each questionnaire item by the total estimated response time. If the ratio is close to 1, the user's response time is close to the total estimated response time. Therefore, the determination unit 15 determines that the test is passed when the ratio C is, for example, 0.8 ⁇ C ⁇ 1.2, and is determined to be a fail in other cases. That is, here, the ratio is defined as being close to 1 if the difference between the ratio and 1 is less than 0.2. In the example of FIG. 22, item numbers 1 and 4 are failed. Therefore, in this case, similar to the second embodiment, a warning is displayed to the respondent regarding item numbers 1 and 4.
  • the web questionnaire system 10 generates questionnaire items for changing (correcting) the reference time to a value according to the tendency of the respondent's response speed (hereinafter referred to as "probe item"). ), the response time to the probe items is measured.
  • Probe items can be included in any type of questionnaire, so response times for the same probe item can be collected in different questionnaires. Survey respondents on the research company panel answered multiple surveys through the research company. By including probe items in these questionnaires, it is possible to measure multiple response times to the same probe item and obtain statistical values such as the average value and variance.
  • the reference time is changed for each respondent using the average value of response times to probe items. Note that the probe items may be created by the person conducting the questionnaire.
  • step S101 the web page generation unit 11 generates a questionnaire page corresponding to one questionnaire item based on the questionnaire item data, similarly to the first embodiment.
  • the transmitter 12 transmits the questionnaire page to the respondent terminal 30a that is the access source.
  • the respondent terminal 30a displays the questionnaire page.
  • FIG. 23 is a diagram showing an example of questionnaire item data in the fourth embodiment.
  • the questionnaire item with item number 8 (questionnaire item 8) is a probe item inserted by the web questionnaire system 10.
  • the survey implementer has set survey items with item numbers 1 to 7 and item number 9, but the web survey system 10 randomly sets probe items. The result is shown in FIG. In this case, if questionnaire item 8 is to be processed, a questionnaire page as shown in FIG. 24 will be displayed.
  • the question text "Please select the second option from the right” is displayed.
  • the survey page includes five options labeled option 1, option 2, option 3, option 4, and option 5, respectively.
  • the respondent is instructed to select "Option 4", which is the second from the right.
  • the response time will be shortened, and the reference time is set in advance to 2 seconds by the questionnaire implementer.
  • "Please select option 4" and "Please select the fourth option from the left” are also possible question sentences for the probe item.
  • Steps S102 to S107 are the same as in the first embodiment.
  • step S108 the determination unit 15 determines whether the response time calculated in step S107 satisfies the criteria.
  • the determination unit 15 uses the history data of multiple responses made in advance by respondent a for the probe item, and the reference time set in the questionnaire item data (FIG. 23) for the probe item. Based on this, the reference time for each questionnaire item is corrected (changed) to a value suitable for respondent a. It is assumed that respondent a is registered with a research company and answers the same probe item at multiple times. It is assumed that the history data of the multiple answers is as shown in FIG.
  • FIG. 25 is a diagram showing an example of historical data of responses to probe items in the fourth embodiment. Note that such historical data is stored in the information storage section 16.
  • the history data shown in FIG. 25 corresponds to an example in which eight responses were made to the same probe item as questionnaire item 8 shown in FIG. 23, and includes the response time measured for each response.
  • the determination unit 15 calculates the average value of the response times of this historical data.
  • the average value is 2.5 (seconds).
  • the reference time for the probe item with item number 8 is 2 seconds.
  • each reference time of the questionnaire item data in FIG. 23 is changed as shown in FIG. 26 for respondent a.
  • the determining unit 15 determines whether the response time satisfies the standard based on the changed standard time.
  • questionnaire response data as shown in FIG. 27 is obtained.
  • the determination for questionnaire item 3 is " ⁇ ". This is because it is determined that the answer to questionnaire item 3 is too fast for respondent a.
  • the determination for questionnaire item 8 is "x", but since the survey item which is a probe item is not subject to the determination in step S110, it is not determined whether or not it satisfies the criteria. It is not necessary to make this determination.
  • step S109 may be the same as those in the first embodiment. However, in step S110, as described above, probe items are excluded. In other words, if all the questionnaire items other than the probe item are judged as " ⁇ ", even if the judgment of the "probe item" is "x”, there will be no negative answer (No in S110). be done.
  • the web questionnaire system 10 is an example of a questionnaire response evaluation device.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

アンケート回答評価装置は、ネットワークを介して接続する端末に表示されているアンケートを構成する１以上の質問ごとに回答の所要時間を計測するように構成されている計測部と、閾値に対する前記所要時間の乖離の程度が所定の基準を満たすか否かを判定するように構成されている判定部と、を有することで、アンケート結果の信頼性を向上させる。

Description

アンケート回答評価装置、アンケート回答評価方法及びプログラム
　本発明は、アンケート回答評価装置、アンケート回答評価方法及びプログラムに関する。
　インターネットに接続してアンケートに回答できるウェブアンケートシステムが普及している。ウェブアンケートシステムでは、ウェブコンテンツ技術のラジオボタン、チェックボックス、テキストボックス等のフォーム要素を使って、アンケートに対する回答を容易に収集することが可能である。
　一方、アンケート回答者からすると、誰にも見られることなく回答できるため、手を抜こうと思えば、手を抜ける状況にある。アンケートの回答に際し、特に、選択式のアンケートの場合は、選択肢が多くなるほど、アンケートの回答に時間がかかる。アンケートに回答することにより、謝礼がもらえる場合に、なるべく早く多くのアンケートに回答しようとして複数の質問に対して同じ選択肢を選択することも考えられる。したがって、例えば、選択肢１ばかりが選択されているアンケート結果の正確性は疑わしい。何も考えずにアンケートを早く済ませたいという理由から選択肢１ばかりを選んで回答する場合が考えられるからである。このようなアンケート回答はノイズとなり、アンケートに関して正しい結論が得られなくなる可能性がある。但し、選んだ選択肢がたまたま１だけになってしまう場合もあり得る。
特開２０１１－２４８４３６号公報
　しかし、回答者が何も考えずに選択肢を選んだか否か（すなわち、回答の信頼性）を回答結果から判別するのは困難である。このような、あまり考えられていない回答データが混入することで、アンケート結果から導き出される結果が変わってしまうという問題があった。
　本発明は、上記の点に鑑みてなされたものであって、アンケート結果の信頼性を向上させることを目的とする。
　そこで上記課題を解決するため、アンケート回答評価装置は、ネットワークを介して接続する端末に表示されているアンケートを構成する１以上の質問ごとに回答の所要時間を計測するように構成されている計測部と、閾値に対する前記所要時間の乖離の程度が所定の基準を満たすか否かを判定するように構成されている判定部と、を有する。
　アンケートに対する回答の信頼性を評価可能とすることができる。
第１の実施の形態のシステム構成例を示す図である。 第１の実施の形態におけるウェブアンケートシステム１０のハードウェア構成例を示す図である。 第１の実施の形態におけるウェブアンケートシステム１０の機能構成例を示す図である。 第１の実施の形態において回答者がアンケートに回答する際にウェブアンケートシステム１０が実行する処理手順の一例を説明するためのフローチャートである。 第１の実施の形態におけるアンケートページの第１の例を示す図である。 第１の実施の形態におけるアンケートページの第２の例を示す図である。 第１の実施の形態におけるアンケート項目データの一例を示す図である。 第１の実施の形態におけるアンケート回答データの一例を示す図である。 第１の実施の形態において回答者ａの回答時間及び判定が記録されたアンケート回答データの一例を示す図である。 第１の実施の形態において回答者ｅの回答時間及び判定が記録されたアンケート回答データの一例を示す図である。 第１の実施の形態における全アンケート回答データの構成例を示す図である。 第１の実施の形態におけるメッセージページの一例を示す図である。 第２の実施の形態において回答者がアンケートに回答する際にウェブアンケートシステム１０が実行する処理手順の一例を説明するためのフローチャートである。 第２の実施の形態におけるアンケートページの一例を示す図である。 第２の実施の形態において回答者ｅの回答時間及び判定が記録されたアンケート回答データの一例を示す図である。 第２の実施の形態におけるメッセージページの一例を示す図である。 第２の実施の形態において回答を修正させるためのアンケートページの一例を示す図である。 第３の実施の形態におけるアンケート項目データの一例を示す図である。 第３の実施の形態においてアンケート項目データに基づいて回答時間を推定する方法を説明するための図である。 各アンケート項目の回答時間を推定するために取得されるデータの一例を示す図である。 第３の実施の形態における各アンケート項目の回答時間の推定結果の一例を示す図である。 第３の実施の形態におけるアンケート項目ごとの全推定回答時間と回答時間との一例を示す図である。 第４の実施の形態におけるアンケート項目データの一例を示す図である。 第４の実施の形態におけるアンケートページの一例を示す図である。 第４の実施の形態におけるプローブ項目に対する回答の履歴データの一例を示す図である。 第４の実施の形態において基準時間の変更後のアンケート項目データの一例を示す図である。 第４の実施の形態におけるアンケート回答データの一例を示す図である。
　本願発明の各実施の形態では、アンケートに回答する際に、アンケート項目の提示から回答までの経過時間（以下、すなわち、アンケート項目に対する回答の所要時間。以下「回答時間」という。）が計測される。閾値（以下における「基準時間」）に対する回答時間の乖離の程度が所定の基準を満たすか否かに基づいて、アンケート回答者がどの程度真剣にアンケートに回答したかが推測される。回答時間が極端に短かったり、回答時間が予め推定した時間よりも長すぎたり、短すぎたりする場合には、真剣に回答していないと推定される。この場合、真剣に回答していないと推定された回答を削除することで、アンケート全体の結論が誤ってしまうことを回避することができる。
　以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態のシステム構成例を示す図である。図１において、実施者端末２０と、回答者端末３０ａ及び回答者端末３０ｅ等を含む１以上の回答者端末３０は、ＬＡＮ（Local Area Network）又はインターネット等のネットワークＮ１を介してウェブアンケートシステム１０に接続する。
　実施者端末２０は、アンケートの実施者が利用する端末である。アンケート実施者は、実施者端末２０を介して、アンケートの説明書の情報やアンケート項目等をウェブアンケートシステム１０に入力する。
　ウェブアンケートシステム１０は、ウェブサーバとしての機能を利用して、アンケート実施者によって入力された情報に応じたアンケート用のウェブページ（以下、「アンケートページ」という。）の生成等を行う１以上のコンピュータである。ウェブアンケートシステム１０は、また、アンケートページを介してアンケートを構成する質問に対する回答の収集を行い、回答の信頼性を評価する。
　回答者端末３０ａ及び回答者端末３０ｅ（以下、それぞれを区別しない場合「回答者端末３０」という。）は、アンケートの回答者が利用する端末である。回答者端末３０ａは回答者ａによって利用され、回答者端末３０ｅは回答者ｅによって利用される。図１では、便宜上、回答者端末３０は２台であるが、回答者端末３０は１台であってもよいし、３台以上であってもよい。各回答者端末３０は、ウェブアンケートシステム１０によって生成されるアンケートページを表示し、アンケートページを介してアンケートを構成する質問に対する回答の入力を受け付ける。
　なお、ＰＣ（Personal Computer）、タブレット端末又はスマートフォン等が、実施者端末２０及び回答者端末３０として利用されてもよい。
　図２は、第１の実施の形態におけるウェブアンケートシステム１０のハードウェア構成例を示す図である。図２のウェブアンケートシステム１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。
　ウェブアンケートシステム１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。プロセッサ１０４は、ＣＰＵ若しくはＧＰＵ（Graphics Processing Unit）、又はＣＰＵ及びＧＰＵであり、メモリ装置１０３に格納されたプログラムに従ってウェブアンケートシステム１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　図３は、第１の実施の形態におけるウェブアンケートシステム１０の機能構成例を示す図である。図３において、ウェブアンケートシステム１０は、ウェブページ生成部１１、送信部１２、受信部１３、計測部１４及び判定部１５を有する。これら各部は、ウェブアンケートシステム１０にインストールされた１以上のプログラムが、プロセッサ１０４に実行させる処理により実現される。ウェブアンケートシステム１０は、また、情報記憶部１６を利用する。情報記憶部１６は、例えば、補助記憶装置１０２、又はウェブアンケートシステム１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
　以下、ウェブアンケートシステム１０が実行する処理手順について説明する。第１の実施の形態では、質問文が提示されてからアンケート回答者が選択肢を選択したり、文字による回答を入力したりするまでの所要時間が回答時間として計測される。回答時間が予め設定した基準時間より短い場合に回答の信用度が低いことを示す警告（当該回答に係るデータの削除を進めること）がアンケート実施者に対して表示される。
　図４は、第１の実施の形態において回答者がアンケートに回答する際にウェブアンケートシステム１０が実行する処理手順の一例を説明するためのフローチャートである。図４では、回答者ａが回答を行う場合について説明するが、他の回答者についても同様の処理が実行される。
　回答者ａが、回答者端末３０ａのブラウザを使ってウェブアンケートシステム１０のＵＲＬにアクセスするとステップＳ１０１が実行される。ステップＳ１０１において、ウェブページ生成部１１は、アンケートを構成する複数の項目（以下、「アンケート項目」という。）のうちの１つのアンケート項目（以下、「対象アンケート項目」という。）に対応する図５又は図６のようなアンケートページをアンケート項目データに基づいて生成する。送信部１２は、当該アンケートページをアクセス元の回答者端末３０ａへ送信する。回答者端末３０ａは、当該アンケートページを表示する。アンケート項目データは、例えば、補助記憶装置１０２等に予め記憶されている。
　図７は、第１の実施の形態におけるアンケート項目データの一例を示す図である。図７が示すように、アンケート項目データは、アンケート項目ごとに、項目番号、質問文、選択肢数、回答形式、選択肢１～５及び基準時間等を含む。項目番号は、アンケート項目の番号である。質問文は、アンケート項目に対応する質問を示す文字列である。すなわち、アンケート項目は、質問（文）に一対一に対応する。選択肢数は、質問文に対応する回答の候補として用意されている選択肢の数である。回答形式は、質問文に対応する回答の形式が、単数、複数、自由記述のいずれであるのかを示す項目である。単数とは、１つの選択肢を選択する回答形式をいう。複数とは、複数の選択肢を選択する回答形式をいう。自由記述は、選択肢の選択ではなく、自由な記述（文字列の入力）による回答形式をいう。選択肢Ｎ（Ｎ＝１～５）は、回答形式が単数又は複数である場合の各選択肢の内容である。但し、選択肢Ｎは、選択肢数分の選択肢について有効である。基準時間は、基準となる（閾値とされる）回答時間である。基準時間は、質問文や選択肢数などを勘案して、アンケート実施者が予め決めておく。又は、過去の回答の履歴に基づいて決められてもよい。これらに基づいて予想される回答時間を少し減らして、これより短い時間で回答するのは不自然であると思われる時間が基準時間として設定されてもよい。
　例えば、ウェブページ生成部１１は、アンケートページが生成されていないアンケート項目の中で、項目番号が最小であるアンケート項目を対象アンケート項目として、対象アンケート項目に対応するアンケートページ（図５又は図６等）をステップＳ１０１において生成する。
　ＨＴＭＬを利用する場合、例えば、ｆｏｒｍ要素を使ってアンケートページを生成することができる。図７において、項目番号が１であるアンケート項目（以下、「アンケート項目１」といい、他のアンケート項目も同じ命名規則に従う。）は自由記述の質問なので、ｉｎｐｕｔ要素のｔｙｐｅ属性にｔｅｘｔを指定して生成される。アンケート項目２は単数選択の質問なので、ラジオボタンで選択させるために、ｉｎｐｕｔ要素のｔｙｐｅ属性にｒａｄｉｏを指定して生成される。また、ウェブページ（アンケートページ）の生成については、一般のＣＭＳ（Content Management System）の技術を使うことで、アンケート項目のデータをウェブページのテンプレートに入れ込んで行うことができる。また、ＣＧＩなど動的な仕組みを使って、図５又は図６のようなアンケートページが生成されてもよい。また、予めアンケートページを生成しておき、リダイレクトさせて表示されるようにしてもよい。
　アンケートページの送信に続いて、送信部１２は、当該アンケートページを回答者端末３０ａへ送信した時刻を回答の開始時刻としてアンケート回答データに記録する（Ｓ１０２）。アンケート回答データとは、アンケートの回答に関する情報を回答者ごと、かつ、アンケート項目ごとに記録可能なデータをいう。
　図８は、第１の実施の形態におけるアンケート回答データの一例を示す図である。図８が示すように、アンケート回答データの各レコードは、ユーザＩＤ、アンケート項目番号、質問文、回答、開始時刻、終了時刻、回答時間、基準時間及び判定等の項目を含む。或るレコードのユーザＩＤは、当該レコードに対応する回答者の識別情報である。本実施の形態において、ユーザＩＤ＝１は、回答者ａに対応する。或るレコードのアンケート項目番号は、アンケート項目データ（図７）において当該レコードに対応するアンケート項目の項目番号である。或るレコードの質問文は、当該レコードに対応するアンケート項目の質問文である。或るレコードの回答は、当該レコードに対応するアンケート項目に対する回答の内容である。或るレコードの開始時刻は、当該レコードに対応するアンケート項目に係るアンケートページが回答者端末３０へ送信された時刻である。或るレコードの終了時刻は、当該レコードに対応するアンケート項目に係るアンケートページに対して入力された回答が受信された時刻である。或るレコードの回答時間は、当該レコードに対応するアンケート項目に対する回答時間（＝終了時刻－開始時刻）である。或るレコードの基準時間は、アンケート項目データにおいて当該レコードに対応するアンケート項目の基準時間である。判定は、回答時間が予め定められた基準を満たすか否かに基づく合否（合格又は不合格）を示す項目である。具体的には、判定は、回答時間が基準時間以上であるか否かを示す項目である。或いは、判定は、基準時間との差分の大きさを示す項目としてもよい。
　アンケート回答データを構成する各レコードは、例えば、情報記憶部１６に予め記憶されている。この場合、各レコードのユーザＩＤ、アンケート項目番号、質問文及び基準時間の値は既知であるため予め記録されていてもよい。一方、開始時刻、終了時刻、回答時間及び判定の値は、回答の入力に基づいて決まるため図４の処理の進行に応じて記録される。このうち、ステップＳ１０２では、回答者ａ及び対象アンケート項目に対応するレコード（以下、「対象レコード」という。）の開始時刻に対して、アンケートページの送信時刻が記録される。すなわち、当該送信時刻がアンケートの開始時刻として推定される。
　その後、回答者端末３０ａが表示したアンケートページに対して回答者ａが回答を入力し、送信ボタンを押下すると回答者端末３０ａは、当該回答をウェブアンケートシステム１０へ送信する。
　ウェブアンケートシステム１０の受信部１３は、当該回答を受信すると（Ｓ１０３でＹｅｓ）、当該回答を受信した時刻を、アンケート回答データ（図８）の対象レコードの終了時刻に記録する（Ｓ１０４）。すなわち、当該回答の受信時刻が当該回答の終了時刻として推定される。続いて、受信部１３は、受信した回答を対象レコードに記録する（Ｓ１０５）。
　続いて、受信部１３は、回答者ａについて、全てのアンケート項目に対する回答が受信されたか否かを判定する（Ｓ１０６）。斯かる判定は、アンケート回答データ（図８）のうち、ユーザＩＤが「１」である全てのレコードに対して回答が記録されたか否かに基づいて行うことができる。又は、対象アンケート項目が、アンケート項目データ（図７）において最後のアンケート項目であるか否かに基づいて斯かる判定が行われてもよい。未回答のアンケート項目が有る場合（Ｓ１０６でＮｏ）、未回答のアンケート項目についてステップＳ１０１以降が繰り返される。
　全てのアンケート項目に対する回答が受信された場合（Ｓ１０６でＹｅｓ）、計測部１４は、アンケート回答データ（図８）において回答者ａに対応するレコードごとに回答時間を計算する（Ｓ１０７）。具体的には、計測部１４は、当該レコードごとに、開始時刻と終了時刻との差（開始時刻から終了時刻までの経過時間）を計算し、計算結果を当該レコードの回答時間に記録する。
　続いて、判定部１５は、ステップＳ１０７において計算された回答時間が基準を満たすか否かを判定する（Ｓ１０８）。第１の実施の形態において、判定部１５は、アンケート回答データ（図８）において回答者ａに対応するレコードごとに回答時間と基準時間とを比較し、比較結果に応じた値を当該レコードの判定の列に記録する。具体的には、判定部１５は、回答時間が基準時間以上である場合は合格として、判定の列に「〇」を記録する。一方、判定部１５は、回答時間が基準時間よりも短い場合は不合格として、判定の列に「×」を記録する。なお、合格とは、回答を信頼できるとする判定結果である。不合格とは回答を信頼できないとする判定結果である。
　その結果、回答者ａのアンケート回答データは、図９に示されるように変化する。図９は、第１の実施の形態において回答者ａの回答時間及び判定が記録されたアンケート回答データの一例を示す図である。回答者ａの場合、全てのアンケート項目において回答時間が基準時間以上なので、全てのアンケート項目について判定の値は「〇」となっている。
　また、図１０は、第１の実施の形態において回答者ｅの回答時間及び判定が記録されたアンケート回答データの一例を示す図である。回答者ｅとは、ユーザＩＤ＝５である回答者である。図１０が示すように、回答者ｅの場合、アンケート項目６～８において、回答時間が基準時間よりも短いので、これらのアンケート項目の判定の値が「×」となっている。
　或いは、回答時間が基準時間よりも長いが基準時間の１０％以下である場合は、「△＋」などとしてもよい。この１０％という基準値はあらかじめ情報記憶部１６に記録しておく。例えば、図９のアンケート項目３は、基準時間が５秒であり回答時間も５秒である。この場合、回答時間は基準時間の１０％増しの５．５秒以下であるため「△＋」とする。一方、図９のアンケート項目２は、基準時間が５秒であり回答時間は１０秒である。この場合、回答時間は基準時間の１０％増しの５．５秒以下ではないため「〇」とする。同様に、回答時間が基準時間の１０％減の値よりも長いが基準時間より短い場合は、「△－」などとしてもよい。
　或いは、１秒などと決めておき、基準時間より長いが基準時間＋１秒以下であれば「△＋」、基準時間－１秒より長いが基準時間以下であれば「△－」などとしてもよい。
　或いは、
あるいは、回答時間と基準時間（回答時間／基準時間）の比率を記載するようにしてもよい。回答時間／基準時間を計算すると、図９のアンケート項目３は、基準時間が５秒であり回答時間も５秒であるため、比率は１である。アンケー項目２は、基準時間が５秒であり回答時間は１０秒であるため、比率は２である。比率が１以上である場合は合格、１未満であるときは不合格の意味であるが、基準時間との違いの程度を表すことができる。
　続いて、判定部１５は、アンケート回答データのうち回答者ａに対応するレコードの内容（図９）に基づいて、回答者ａによる回答の信用度を計算し、計算結果を情報記憶部１６に記憶されている全アンケート回答データに記録する（Ｓ１０９）。
　図１１は、第１の実施の形態における全アンケート回答データの構成例を示す図である。図１１が示すように、全アンケート回答データは、全ての回答者ごとに、各アンケート項目に対する回答及び信用度を含むデータである。信用度は、判定が「×」であるアンケート項目の数についてアンケート項目の総数に対する割合である。例えば、回答者ａは、全アンケート項目の判定が「○」であるため、信用度は１００である。一方、回答者ｅのアンケート項目６～８の回答にアスタリスクが付いている。これは、図１０において判定が「×」であったアンケート項目であることを示している。回答者ｅは８つのアンケート項目のうち、３つに×が付いたので、信じられるデータは５／８となり、信用度は６２．５％となる。判定部１５は、回答者別に信用度を計算し、計算結果を各回答者の信用度の値として全アンケート回答データに記録する。
　続いて、判定部１５は、アンケート回答データ（図１０）のうち回答者ａに対応するいずれかのレコードの判定が「×」であるか否か（すなわち、不合格であるアンケート項目が有るか否か）を判定する（Ｓ１１０）。回答者ａの場合、全てのアンケート項目について判定は「〇」なので（Ｓ１１０でＮｏ）、ステップＳ１１１は実行されずに処理が終了する。
　一方、仮に、判定が「×」であるレコードが有る場合（Ｓ１１０でＹｅｓ）、ステップＳ１１１が実行される。Ｓ１１１において、ウェブページ生成部１１及び送信部１２は、基準を満たさない回答が有ることをアンケート実施者へ通知する。例えば、ウェブページ生成部１１は、回答時間が基準を満たさない（基準時間より短い）アンケート項目を示すメッセージを含むウェブページ（以下、「メッセージページ」という。）を生成する。送信部１２は、当該メッセージページを実施者端末２０へ送信する。実施者端末２０は、当該メッセージページを表示する。
　図１２は、第１の実施の形態におけるメッセージページの一例を示す図である。図１２が示すメッセージページによれば、アンケート実施者は、取り扱いに注意すべき回答が有ることを知ることができる。なお、メッセージページの生成及び送信は、実施者端末２０からの所定のアクセスに応じて実行されてもよい。
　なお、判定において「〇」、「×」以外に「△＋」、「△－」を採用した場合は、「△＋」、「△－」に応じたメッセージページを生成してもよい。図１２のメッセージは「アンケート項目６～８の回答時間は、基準時間より短いデータです。取り扱いを検討してください。」となっているが、「△＋」の場合には「基準時間より長いデータですが基準値とほぼ同じです。取り扱いを検討してください。」としたり、「△－」の場合には「基準時間より短いデータですが基準値とほぼ同じです。取り扱いを検討してください。」としたりしてもよい。
　また、判定において比率で表した場合は、比率に応じてメッセージを変えたり、比率をメッセージに入れ込んで「基準時間より短いデータで基準時間との比率は０．９です。取り扱いを検討してください。」などとしたりしてもよい。
　次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
　第２の実施の形態では、各アンケート項目の回答時間が計測され、回答時間と基準時間との差分が基準を満たさないアンケート項目が有る場合にアンケート回答者に警告が表示される。
　図１３は、第２の実施の形態において回答者がアンケートに回答する際にウェブアンケートシステム１０が実行する処理手順の一例を説明するためのフローチャートである。
　回答者ａが、回答者端末３０ａのブラウザを使ってウェブアンケートシステム１０のＵＲＬにアクセスするとステップＳ２０１が実行される。ステップＳ２０１において、ウェブページ生成部１１は、アンケートを構成する複数の全てのアンケート項目に対する質問の入力を受け付けるためのアンケートページをアンケート項目データ（図７）に基づいて生成する。送信部１２は、当該アンケートページをアクセス元の回答者端末３０ａへ送信する。回答者端末３０ａは、当該アンケートページを表示する。
　図１４は、第２の実施の形態におけるアンケートページの一例を示す図である。図１４が示すように、第２の実施の形態におけるアンケートページは、全てのアンケート項目を含む。
　アンケートページの送信に続いて、送信部１２は、当該アンケートページを回答者端末３０ａへ送信した時刻を、アンケート回答データ（図８）において回答者ａに対応するレコードのうち最初のアンケート項目に対応するレコードに記録する（Ｓ２０２）。
　一方、回答者ａは、アンケートページにおいて上側のアンケート項目から順に、回答の入力操作を行う。回答の入力操作とは、テキストボックスへの文字の入力や、ラジオボタンのクリックや、チェックボックスのチェック等である。送信ボタン及びリセットボタンの操作は回答の入力操作に該当しない。
　回答者ａが、一つのアンケート項目に対する回答の入力操作を行うと、回答者端末３０ａは、当該アンケート項目の項目番号及び回答をウェブアンケートシステム１０へ送信する。なお、入力操作に応じた回答の送信は、ＪａｖａＳｃｒｉｐｔ（登録商標）等を使って実装することができる。
　ウェブアンケートシステム１０の受信部１３は、当該項目番号及び回答を受信すると（Ｓ２０３でＹｅｓ）、当該回答を受信した時刻を、アンケート回答データ（図８）において回答者ａに対応するレコードのうち当該項目番号に対応するレコード（以下、「対象レコード」という。）の終了時刻に記録すると共に、当該項目番号の次にレコードの開始時刻に記録する（Ｓ２０４）。但し、回答者ａに関して次のレコードが無い場合には、次のレコードの開始時刻の記録は行われない。続いて、受信部１３は、受信した回答を対象レコードに記録する（Ｓ２０５）。
　ステップＳ２０３～Ｓ２０５は、アンケートページ（図１４）の送信ボタンが押下されるまで繰り返される。アンケートページの送信ボタンが押下されると、回答者端末３０ａは、送信ボタンの押下を示す情報をウェブアンケートシステム１０へ送信する。ウェブアンケートシステム１０の受信部１３が当該情報を受信すると（Ｓ２０６でＹｅｓ）、計測部１４は、アンケート回答データ（図８）において回答者ａに対応するレコードごとに回答時間を計算する（Ｓ２０７）。計算方法は、図４のステップＳ１０７と同じである。
　続いて、判定部１５は、ステップＳ２０７において計算された回答時間が基準を満たすか否かを判定する（Ｓ２０８）。第２の実施の形態において、判定部１５は、アンケート回答データ（図８）において回答者ａに対応するレコードごとに回答時間と基準時間との差分を閾値（以下、「差分閾値」という。）と比較し、比較結果に応じた値を当該レコードの判定の列に記録する（Ｓ２０８）。差分閾値は、例えば、予めアンケート回答データにアンケート項目ごとに設定されている。
　ここで、アンケート項目ｎの回答時間をＴｎ、基準時間をＴＳｎ、差分閾値をＴＤｎとする。第２の実施の形態では、回答時間Ｔｎと基準時間ＴＳｎの差分が差分閾値ＴＤｎより小さい場合に合格とされ、そうでない場合に不合格とされる。つまり、ＴｎがＴＳｎ－ＴＤｎより大きく、かつ、ＴＳｎ＋ＴＤｎより小さい場合に合格とされる。第２の実施の形態では、差分閾値ＴＤｎは、基準時間ＴＳｎの定数倍として決められる。
　図１５に示される回答者ｅのアンケート回答データを用いて具体的に説明する。
　アンケート項目１は自由記述の質問であるため、差分閾値ＴＤ１が基準時間１０秒の３倍の３０秒とされている。この場合、ＴＳ１－ＴＤ１は－２０秒とマイナスになってしまうため０とする。一方、ＴＳ１＋ＴＤ１は４０秒である。したがって、ＴＳ１－ＴＤ１＜Ｔ１＜ＴＳ１＋ＴＤ１は、０秒＜Ｔｎ＜４０秒であれば合格であるという条件になる。図１５においてＴ１は２５秒なので合格となる。
　アンケート項目２～７は単数選択の質問であるため、差分閾値ＴＤｎが基準時間の０．９倍とされている。アンケート項目２、３、６、７の基準時間は５秒であるので、差分閾値ＴＤｎは４．５秒である。ＴＳｎ－ＴＤｎは０．５秒、ＴＳｎ＋ＴＤｎは９．５秒である。したがって、ＴＳｎ－ＴＤｎ＜Ｔｎ＜ＴＳｎ＋ＴＤｎは、０．５秒＜Ｔｎ＜９．５秒であれば合格であるという条件になる。図１５においてＴ２、Ｔ３、Ｔ６、Ｔ７は、１０、６、１、４秒なのでアンケート項目２は不合格、アンケート項目３、６、７は合格となる。
　アンケート項目４及び５の基準時間は３秒であるので、差分閾値ＴＤｎは２．７秒である。ＴＳｎ－ＴＤｎは０．３秒、ＴＳｎ＋ＴＤｎは５．７秒である。したがって、ＴＳｎ－ＴＤｎ＜Ｔｎ＜ＴＳｎ＋ＴＤｎは、０．３秒＜Ｔｎ＜５．７秒であれば合格であるという条件になる。図１５においてＴ４、Ｔ５はいずれも６秒なので不合格となる。
　アンケート項目８は複数選択の質問であるため、差分閾値ＴＤ８が基準時間１０秒の２倍の２０秒とされている。ＴＳ８－ＴＤ８は－１０秒とマイナスになってしまうため０とする。一方、ＴＳ８＋ＴＤ８は３０秒である。したがって、ＴＳ８－ＴＤ８＜Ｔ８＜ＴＳ８＋ＴＤ８は、０秒＜Ｔ８＜３０秒であれば合格であるという条件になる。図１５においてＴ８は５秒なので合格となる。
　上記より、判定部１５は、不合格であるアンケート項目４及び５に対応するレコードの判定には「×」を記録する。その他のアンケート項目は合格なので、判定部１５は、その他のアンケート項目に対応するレコードの判定には「〇」を記録する。
　続く、ステップＳ２０９及びＳ２１０は、図４のステップＳ１０９及びＳ１１０と同じである。
　仮に、不合格であるアンケート項目が有る場合（Ｓ２１０でＹｅｓ）、ウェブページ生成部１１は、ウェブページ生成部１１及び送信部１２は、基準を満たさない回答が有ることを回答者へ通知する（Ｓ２１１）。すなわち、第１の実施の形態ではアンケート実施者に対して通知が行われたが、第２の実施の形態では回答者に対して通知が行われる。具体的には、ウェブページ生成部１１は、回答時間と基準時間との差分が基準を満たさない（差分閾値以上である）アンケート項目を示すメッセージを含むメッセージページを生成する。送信部１２は、当該メッセージページを当該回答者の回答者端末３０へ送信する。当該回答者端末３０は、当該メッセージページを表示する。
　図１６は、第２の実施の形態におけるメッセージページの一例を示す図である。図１６に示されるように、回答者に対して表示されるメッセージページは、回答時間と基準時間との差分が基準を満たさないアンケート項目と、当該アンケート項目について再度の回答を促すメッセージを含む。回答者は、「アンケートページに戻る」ボタンを押下することで再度の回答を行うか、「このまま修正しない」ボタンを押下することでアンケートを終了させることができる。「アンケートページに戻る」ボタンが押下されると、回答者端末３０は、再回答要求をウェブアンケートシステム１０へ送信する。「このまま修正しない」ボタンが押下されると、回答者端末３０は、終了要求をウェブアンケートシステム１０へ送信する。
　受信部１３が終了要求を受信すると（Ｓ２１２でＮｏ）、図１３の処理手順は終了する。受信部１３が再回答要求を受信すると（Ｓ２１２でＹｅｓ）、ウェブページ生成部１１は、回答を修正させるためのアンケートページを生成する。回答を修正させるためのアンケートページとは、判定が「×」であるアンケート項目のみに対して回答を入力可能なアンケートページをいう。送信部１２は、当該アンケートページを回答者端末３０に送信する（Ｓ２１３）。回答者端末３０は、当該アンケートページを表示する。
　図１７は、第２の実施の形態において回答を修正させるためのアンケートページの一例を示す図である。図１７が示すアンケートページでは、判定が「×」であるアンケート項目４及びアンケート項目５についてのみ入力が可能とされている。
　なお、続くステップＳ２０２において、送信部１２は、判定が「×」であるアンケート項目の中で先頭のアンケート項目（図１７の例ではアンケート項目４）の開始時刻をアンケート回答データにおいて回答者ａ及びアンケート項目４に対応するレコードに記録する。
　続いて、ステップＳ２０３以降が実行される。
　次に、第３の実施の形態について説明する。第３の実施の形態では第２の実施の形態と異なる点について説明する。第３の実施の形態において特に言及されない点については、第２の実施の形態と同様でもよい。
　第３の実施の形態は、アンケート項目への回答時間が計測され、ウェブアンケートシステム１０が自動的に推定した基準時間に対して回答時間の比率が計算され、当該比率が１から離れている場合にアンケート回答者に警告が表示される。
　第３の実施の形態においてウェブアンケートシステム１０が実行する処理手順は、便宜上、図１３を利用して説明する。
　ステップＳ２０１～Ｓ２０７は第２の実施の形態と同じである。
　ステップＳ２０８において、判定部１５は、ステップＳ２０７において計算された回答時間が基準を満たすか否かを判定する（Ｓ２０８）。回答時間が基準を満たすか否かについて第１及び第２の実施の形態と異なる点は、基準となる回答時間をアンケート質問文から判定部１５が推定する点である。この点について、説明する。
　判定部１５は、質問の内容に基づいて基準となる回答時間を推定する。例えば、１ページの質問数が多いほど、回答者は多くの質問を一度に見ることができるため、回答時間が減少すると考えられる。また、質問文の文字数が多いほど、又は選択肢が多いほど回答時間が長くなると考えられる。また、選択式の質問よりも自由記述式の質問の方が回答時間が長くなると考えられる。また、複数選択よりも単数選択の方が回答時間が長くなると考えられる。
　そこで、アンケートを含む１つの画面（アンケートページ）の質問数、質問文全体の文字数、回答文章の最低限の文字数、選択肢全体の総文字数、選択肢の数、及び選択肢の中で回答者が選択を求められる選択肢の数のうちの１以上の指標に基づいて、回答時間の基準を推定（算出）する方法について説明する。これらの情報はアンケート項目データから取得することができる。
　図１８は、第３の実施の形態におけるアンケート項目データの一例を示す図である。図１８において最右列（推定回答時間）が図７の最右列（基準時間）と異なる。図７の基準時間はアンケート実施者が設定した値（定数）である。一方、図１８の推定回答時間は、アンケート質問文などから判定部１５が自動的に推定した値である。
　図１９は、第３の実施の形態においてアンケート項目データに基づいて回答時間を推定する方法を説明するための図である。図１９には、推定方法１、２、３、４（４－１～４－３）、５（５－１～５－４）の７つの推定方法が示されている。判定部１５は、これらの推定方法の中で当てはまるものを使って回答時間を推定して、推定して回答時間を合計した値を各アンケート項目に対する推定回答時間とする。
　推定方法１は、１ページの質問数をＮ１とした場合に、１問あたりの推定回答時間Ｔ１をＴ１＝Ｗ１／Ｎ１（秒）によって推定する方法である。Ｗ１は重みづけ係数である。推定方法１は、１ページ当たり（１画面当たり）の質問数が多いほど効率的にアンケートに回答できることを反映した推定方法である。仮に、１ページに質問が１つしかないと、次のページに遷移するための時間が必要になり、効率が悪くなるためである。質問が１ページ当たりの質問数が考慮され、その影響が回答時間に変換される。
　推定方法２は、質問文全体の総文字数をＮ２とした場合に、推定回答時間Ｔ２をＴ２＝Ｗ２×Ｎ２（秒）によって推定する方法である。Ｗ２は重みづけ係数である。推定方法２は、質問文の文字数が多いほど、質問文の読解に時間がかかることを反映した推定方法である。
　推定方法３、４、５は、回答形式の違いに対応している。推定方法３は自由記述に対応する。推定方法４は単数選択に対応する。推定方法５は複数選択を５に対応する。各アンケート項目の回答方式は、これらのいずれかであるため、或るアンケート項目にはこれらのいずれかの推定方法が適用される。なお、単数選択の場合、推定方法４－１～４－３が有る。複数選択の場合、推定方法５－１～５－４が有る。
　推定方法３では、回答文章の最低限の文字数が回答時間に影響する。２００字以上などの文字数の制限がある場合もある。この回答文章の最低限の文字数をＮ３とした場合、推定回答時間Ｔ３はＴ３＝Ｗ３×Ｎ３（秒）によって推定される。最低限の文字数が質問文に明記されていない場合でも、アンケート実施者がＮ３を予め設定しておく。
　推定方法４（推定方法４－１～４－３）は、回答形式が単数選択であるアンケート項目の回答時間を推定する方法である。推定方法４では、単数選択であった場合の重みづけ係数が設定される。一般に、単数選択と複数選択とでは難易度が異なる。推定方法４－１ではＷ４－１という重みづけ係数が設定される。推定回答時間Ｔ４－１はＴ４－１＝Ｗ４－１（秒）によって推定される。推定方法４－２では、単数選択の場合の選択肢全体の総文字数をＮ４－２とした場合、推定回答時間Ｔ４－２はＴ４－２＝Ｗ４－２×Ｎ４－２（秒）によって推定される。Ｗ４－２は重みづけ係数である。推定方法４－３では、単数選択の場合の選択肢の数をＭ４－３とした場合、推定回答時間Ｔ４－３はＴ４－３＝Ｗ４－３×Ｍ４－３（秒）によって推定される。Ｗ４－３は重みづけ係数である。
　推定方法５（推定方法５－１～５－３）は、回答形式が複数選択であるアンケート項目の回答時間を推定する方法である。推定方法５－１では、複数選択であった場合の重みづけ係数Ｗ５－１が設定される。推定回答時間Ｔ５－１はＴ５－１＝Ｗ５－１（秒）によって推定される。推定方法５－２では、複数選択の場合の選択肢全体の総文字数をＮ５－２とした場合に、推定回答時間Ｔ５－２はＴ５－２＝Ｗ５－２×Ｎ５－２（秒）によって推定される。Ｗ５－２は重みづけ係数である。推定方法５－３では、複数選択の場合の選択肢の数をＭ５－３とした場合に、推定回答時間Ｔ５－３＝はＴ５－３＝Ｗ５－３×Ｍ５－３（秒）によって推定される。Ｗ５－３は重みづけ係数である。推定方法５－４では、回答者に選択させる選択肢の数（回答者が選択を求められる選択肢の数）をＣ５－４とした場合に、推定回答時間Ｗ５－４はＴ５－４＝Ｗ５－４×Ｃ５－４（秒）によって推定される。Ｗ５－４は重みづけ係数である。
　なお、重みづけ係数は図１９に示されるように予め設定される。
　図２０は、各アンケート項目の回答時間を推定するために取得されるデータの一例を示す図である。図２０には、アンケート項目ごとに、各推定方法の観測変数の値の具体例が示されている。なお、推定方法４－１及び推定方法５－１については、アンケート項目データ等から取得されるデータは無いため（Ｗ４－１又はＷ５－１のみが必要であるため）、図示は省略されている。値がアンケート項目データに含まれていない観測変数については、別途、情報記憶部１６に記憶されていてもよい。
　図２１は、第３の実施の形態における各アンケート項目の回答時間の推定結果の一例を示す図である。図２１には、各アンケート項目について、図２０が示すデータに基づいて推定方法別に計算された推定回答時間（秒）と、その合計である全推定回答時間とが示されている。以下において、推定回答時間（秒）の計算方法を具体的に説明する。
　まず、図２１の項目番号１の推定方法１について説明する。図１４のアンケートページを想定すると、１ページの質問数は８であるため、図２０のＮ１は８である。また、図１９によるとＷ１は８であるため、推定回答時間はＴ１＝Ｗ１／Ｎ１＝８／８＝１（秒）である。
　次に、項目番号１の推定方法２について説明する。項目番号１の質問文は「氏名を教えてください」であり、この場合の質問文の文字数は１０である。したがって、Ｎ２は１０である。又は、この質問文を「しめいをおしえてください」とひらがなに展開した場合の文字数をカウントして、文字数を１２とする方法が採用されてもよい。その他、モーラ数でカウントする方法が採用されてもよい。図１９によるとＷ２は０．３であるため、推定回答時間は、Ｔ２＝Ｗ２×Ｎ２＝０．３×１０＝３（秒）である。
　次に、項目番号１の推定方法３について説明する。項目番号１の回答形式は、自由記述式である。最低限の文字数Ｎ３は２００であるとする。最低限の文字数Ｎ３は予め情報蓄積部に記憶されている。図１９によるとＷ３は０．３であるため、推定回答時間は、Ｔ３＝Ｗ３×Ｎ３＝０．３×２００＝６０（秒）である。項目番号１の回答形式は、自由記述式であり選択式ではないため、推定方法４以降には該当しない。したがって、図２０の推定方法４以後は「－」とされており、図２１の推定方法４以降は０とされている。
　図２１の項目番号２の推定方法１では、項目番号１と同様なので、Ｎ１は８である。したがって、この場合の推定回答時間は１である。項目番号２の質問文は「年齢を教えてください」であり、質問文の文字数は１０である。したがって、Ｎ２は１０である。また、図１９によるとＷ２は０．３であるため、推定回答時間は、Ｔ２＝Ｗ２×Ｎ２＝０．３×１０＝３（秒）である。項目番号２の回答形式は単数選択式である。推定方法３には該当しないので、推定回答時間は０である。
　推定方法４－１について、推定回答時間は、Ｔ４－１＝Ｗ４－１＝０．１（秒）である。推定方法４－２について、推定回答時間は、Ｔ４－２＝Ｗ４－２×Ｎ４－２＝０．３×１７＝５．１（秒）である。推定方法４－３について、推定回答時間は、Ｔ４－３＝Ｗ４－３×Ｍ４－３＝０．２×５＝１（秒）である。図２１の推定方法５－１以後は該当しないので、推定回答時間は０である。
　項目番号３～７の回答形式は単数選択式であり、項目番号２と同様に計算できるので詳しい説明は省略する。
　図２１の項目番号８の推定方法１では、項目番号１と同様にＮ１は８であり、推定回答時間は１である。項目番号８の質問文は「製品Ａはどこで使いますか」であり、質問文の文字数は１２である。したがって、Ｎ２は１２である。また、図１９によるとＷ２は０．３であるため、推定回答時間は、Ｔ２＝Ｗ２×Ｎ２＝０．３×１２＝３．６（秒）である。
　項目番号８は、複数選択式のアンケート質問である。推定方法３及び推定方法４－１から４－３には該当しないので、これらの推定方法の推定回答時間は０である。
　推定方法５－１について、推定回答時間は、Ｔ５－１＝Ｗ５－１＝０．３（秒）である。推定方法５－２について、推定回答時間は、Ｔ５－２＝Ｗ５－２×Ｎ５－２＝０．３×１７＝５．１（秒）である。推定方法５－３について、推定回答時間は、Ｔ５－３＝Ｗ５－３×Ｍ５－３＝１×５＝５（秒）である。推定方法５－４では、選択肢数は決まっていないが本実施の形態において選択肢の最大数は５である（図１８参照）。そのためＣ５－４は５であるする。したがって、推定回答時間は、Ｔ５－４＝Ｗ５－４×Ｃ５－４＝１×５＝５（秒）である。
　図２１の項目番号１の全推定回答時間（秒）は、以上において計算された複数の推定回答時間の総和である。すなわち、全推定回答時間（秒）＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４－１＋Ｔ４－２＋Ｔ４－３＋Ｔ５－１＋Ｔ５－２＋Ｔ５－３＋Ｔ５－４＝１＋３＋６０＋０＋０＋０＋０＋０＋０＋０＋０＝６４（秒）である。項目番号２～８についても同様に全推定回答時間が計算される。これらは、アンケートの項目から推定した回答時間である。ここでは推定方法ごとに推定された回答時間を足し合わせる方法を説明したが、掛け合わせるなど任意の方法が採用されてもよい。
　また、他の実施の形態における基準時間が、上記した推定方法によって計算されてもよい。
　図２２は、第３の実施の形態におけるアンケート項目ごとの全推定回答時間と回答時間との一例を示す図である。
　図２２の全推定回答時間（秒）の列の値は、上記した方法で推定された値（図２１の全推定回答時間（秒）の値）である。また、回答時間（秒）の列の値は、回答者による回答に応じて計測された回答時間である。
　比率の列は、回答時間を全推定回答時間で除した結果である。すなわち、判定部１５は、アンケート項目ごとに回答時間を全推定回答時間で除することで比率を算出する。比率が１に近ければ、ユーザの回答時間は、全推定回答時間に近いということになる。そこで、判定部１５は、比率Ｃが、例えば、０．８＜Ｃ＜１．２の場合には合格とし、それ以外は不合格とする。すなわち、ここでは、比率と１との差分が０．２未満であるということが、比率が１に近いこととして定義された例である。図２２の例では、項目番号１と４が不合格である。したがって、この場合、第２の実施の形態と同様にして、項目番号１と４について、回答者に警告が表示される。
　次に、第４の実施の形態について説明する。第４の実施の形態では第１の実施の形態と異なる点について説明する。第４の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
　第４の実施の形態は、基準時間を回答者の回答速度の傾向に応じた値に変更（補正）するためのアンケート項目をウェブアンケートシステム１０が生成し（以下、当該アンケート項目を「プローブ項目」という。）、プローブ項目に対する回答時間が計測される。プローブ項目は、どのような種類のアンケートの中にも入れることができるため、異なるアンケートにおいて同じプローブ項目に対する回答時間を収集することができる。調査会社のパネルのアンケート回答者は、調査会社を通して複数のアンケートに回答している。それらのアンケートの中にプローブ項目を含ませておくことで、同じプローブ項目に対する複数の回答時間を計測し、平均値や分散などの統計値を求めることができる。第４の実施の形態では、プローブ項目に対する回答時間の平均値を使って、回答者ごとに基準時間が変更される。なお、プローブ項目は、アンケート実施者によって作成されてもよい。
　回答者がアンケートに回答する際にウェブアンケートシステム１０が実行する処理手順は第１の実施の形態と同様であるため、図４を使って第４の実施の形態における処理手順を説明する。
　ステップＳ１０１において、ウェブページ生成部１１は、第１の実施の形態と同様に、アンケート項目データに基づいて１つのアンケート項目に対応するアンケートページを生成する。送信部１２は、当該アンケートページをアクセス元の回答者端末３０ａへ送信する。回答者端末３０ａは、当該アンケートページを表示する。
　図２３は、第４の実施の形態におけるアンケート項目データの一例を示す図である。図２３において、項目番号８のアンケート項目（アンケート項目８）は、ウェブアンケートシステム１０が挿入したプローブ項目である。アンケート実施者が設定したのは、項目番号１～７、及び項目番号９のアンケート項目であるが、ウェブアンケートシステム１０がランダムにプローブ項目を設定する。その結果が図２３である。この場合、アンケート項目８が処理対象であれば、図２４が示すようなアンケートページが表示される。
　図２４のアンケートページでは、「右から２番目の選択肢を選択してください」という質問文が表示されている。当該アンケートページは、それぞれ選択肢１、選択肢２、選択肢３、選択肢４、選択肢５というラベルが付された５つの選択肢を含む。回答者は右から２番目の「選択肢４」を選択するよう指示を受けていることになる。このような質問の場合、回答者は、文章が理解できれば何かを調べたり、思い浮かべたりする必要はない。そのため、回答時間は短くなると考えられ、予めアンケート実施者によって基準時間は２秒に設定されている。他にも、「選択肢４を選択してください」や「左から４番目の選択肢を選択してください」などもプローブ項目の質問文の候補として挙げられる。
　ステップＳ１０２からＳ１０７までは第１の実施の形態と同じである。
　ステップＳ１０８において、判定部１５は、ステップＳ１０７において計算された回答時間が基準を満たすか否かを判定する。この際、判定部１５は、プローブ項目について事前に行われている回答者ａによる複数回の回答の履歴データと、プローブ項目に対してアンケート項目データ（図２３）に設定されている基準時間とに基づいて、各アンケート項目の基準時間を回答者ａに適した値に補正（変更）する。回答者ａは調査会社に登録するなどして、同じプローブ項目に対して複数のタイミングで回答しているとする。その複数回の回答の履歴データは、図２５に示す通りであるとする。
　図２５は、第４の実施の形態におけるプローブ項目に対する回答の履歴データの一例を示す図である。なお、このような履歴データは、情報記憶部１６に記憶されている。図２５が示す履歴データは、図２３が示すアンケート項目８であるプローブ項目と同じプローブ項目について８回の回答が行われた例に対応し、それぞれの回答について計測された回答時間を含む。
　判定部１５は、この履歴データの回答時間の平均値を算出する。図２５の例において、当該平均値は２．５（秒）である。
　一方、図２３において、項目番号８のプローブ項目の基準時間は２秒である。図２３の基準時間は、アンケート実施者が推定した値であるが、図２５の履歴データは、回答者ａによる回答時間の実測値であるため、回答者ａの回答速度の傾向をより反映しているものであると考えられる。そこで、判定部１５は、当該基準時間に対する当該履歴データの平均値の比率（２．５／２＝１．２５）を求め、その比率を各基準時間に乗じることで、各基準時間を変更する。
　その結果、図２３のアンケート項目データの各基準時間は、回答者ａについては図２６に示されるように変更される。判定部１５は、変更後の基準時間に基づいて、回答時間が基準を満たすか否かを判定する。
　その結果、例えば、図２７に示されるようなアンケート回答データが得られる。図２７では、アンケート項目３の判定が「×」になっている。これは、回答者ａにしては、アンケート項目３に対する回答が速すぎると判定されるためである。なお、図２７の例では、アンケート項目８の判定は「×」になっているが、プローブ項目であるアンケート項目については、ステップＳ１１０の判定の対象外であるため、基準を満たすか否かについての判定は行われなくてもよい。
　Ｓ１０９以降は、第１の実施の形態と同様でよい。但し、ステップＳ１１０において、上記したように、プローブ項目は対象外とされる。すなわち、仮に、プローブ項目以外の全てのアンケート項目の判定が「○」であれば、「プローブ項目」の判定が「×」であったとしても不合格の回答は無い（Ｓ１１０でＮｏ）と判定される。
　なお、プローブ項目を利用した基準時間（第３の実施の形態では全推定回答時間）の変更は、他の実施の形態に対して適用されてもよい。
　上述したように、上記各実施の形態によれば、アンケート回答者が良く考えていないと推定される回答を把握することができる。その結果、例えば、このような回答をアンケート結果から除外することで、アンケート結果の信頼性を向上させることができる。
　なお、上記各実施の形態において、ウェブアンケートシステム１０は、アンケート回答評価装置の一例である。
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　　　　　ウェブアンケートシステム
１１　　　　　ウェブページ生成部
１２　　　　　送信部
１３　　　　　受信部
１４　　　　　計測部
１５　　　　　判定部
１６　　　　　情報記憶部
２０　　　　　実施者端末
３０ａ　　　　回答者端末
３０ｅ　　　　回答者端末
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　プロセッサ
１０５　　　　インタフェース装置
Ｂ　　　　　　バス

Claims (7)

  1. 　ネットワークを介して接続する端末に表示されているアンケートを構成する１以上の質問ごとに回答の所要時間を計測するように構成されている計測部と、
    　閾値に対する前記所要時間の乖離の程度が所定の基準を満たすか否かを判定するように構成されている判定部と、
    を有することを特徴とするアンケート回答評価装置。
  2. 　前記判定部は、前記質問ごとに設定されている定数を前記閾値として利用するように構成されている、
    ことを特徴とする請求項１記載のアンケート回答評価装置。
  3. 　前記判定部は、前記質問ごとに、前記アンケートを含む１つの画面の質問数、質問文全体の文字数、回答文章の最低限の文字数、選択肢全体の総文字数、選択肢の数、及び選択肢の中で回答者が選択を求められる選択肢の数のうちの１以上の指標に基づいて前記閾値を算出するように構成されている、
    ことを特徴とする請求項１記載のアンケート回答評価装置。
  4. 　前記判定部は、複数の前記質問のうちのいずれかの第１の質問について得られている回答時間の履歴の平均値と、前記第１の質問に対して設定されている前記閾値とに基づいて、複数の前記質問のそれぞれに対して設定されている前記閾値を変更するように構成されている、
    ことを特徴とする請求項１記載のアンケート回答評価装置。
  5. 　前記判定部は、前記質問ごとに、当該質問の内容に複数の方法を適用して算出される複数の値の総和を前記閾値として用いるように構成されている、
    ことを特徴とする請求項１乃至４いずれか一項記載のアンケート回答評価装置。
  6. 　ネットワークを介して接続する端末に表示されているアンケートを構成する１以上の質問ごとに回答の所要時間を計測する計測手順と、
    　閾値に対する前記所要時間の乖離の程度が所定の基準を満たすか否かを判定する判定手順と、
    をコンピュータが実行することを特徴とするアンケート回答評価方法。
  7. 　ネットワークを介して接続する端末に表示されているアンケートを構成する１以上の質問ごとに回答の所要時間を計測する計測手順と、
    　閾値に対する前記所要時間の乖離の程度が所定の基準を満たすか否かを判定する判定手順と、
    をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2022/024422 2022-06-17 2022-06-17 アンケート回答評価装置、アンケート回答評価方法及びプログラム Ceased WO2023243100A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024422 WO2023243100A1 (ja) 2022-06-17 2022-06-17 アンケート回答評価装置、アンケート回答評価方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024422 WO2023243100A1 (ja) 2022-06-17 2022-06-17 アンケート回答評価装置、アンケート回答評価方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023243100A1 true WO2023243100A1 (ja) 2023-12-21

Family

ID=89192702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024422 Ceased WO2023243100A1 (ja) 2022-06-17 2022-06-17 アンケート回答評価装置、アンケート回答評価方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023243100A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350877A (ja) * 2000-06-06 2001-12-21 Sharp Corp 質問回答装置
JP2002092291A (ja) * 2000-09-20 2002-03-29 Ricoh Co Ltd アンケート調査方法、アンケートシステム及び記録媒体
JP2013012120A (ja) * 2011-06-30 2013-01-17 Macromill Inc アンケート集計システム
JP2013134746A (ja) * 2011-12-27 2013-07-08 Canon Marketing Japan Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2017161783A (ja) * 2016-03-10 2017-09-14 富士通株式会社 学習支援プログラム、学習プログラム、学習支援装置、端末装置及び学習支援方法
JP2018073209A (ja) * 2016-10-31 2018-05-10 Ｎｅｃソリューションイノベータ株式会社 要約筆記学習支援システム、要約筆記学習支援装置、要約筆記学習の支援方法、及びプログラム
CN111383058A (zh) * 2020-03-13 2020-07-07 北方民族大学 一种高可靠性在线问卷调查方法与系统
JP2021077024A (ja) * 2019-11-07 2021-05-20 株式会社富士通エフサス 情報処理装置、チェック処理方法およびチェック処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350877A (ja) * 2000-06-06 2001-12-21 Sharp Corp 質問回答装置
JP2002092291A (ja) * 2000-09-20 2002-03-29 Ricoh Co Ltd アンケート調査方法、アンケートシステム及び記録媒体
JP2013012120A (ja) * 2011-06-30 2013-01-17 Macromill Inc アンケート集計システム
JP2013134746A (ja) * 2011-12-27 2013-07-08 Canon Marketing Japan Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2017161783A (ja) * 2016-03-10 2017-09-14 富士通株式会社 学習支援プログラム、学習プログラム、学習支援装置、端末装置及び学習支援方法
JP2018073209A (ja) * 2016-10-31 2018-05-10 Ｎｅｃソリューションイノベータ株式会社 要約筆記学習支援システム、要約筆記学習支援装置、要約筆記学習の支援方法、及びプログラム
JP2021077024A (ja) * 2019-11-07 2021-05-20 株式会社富士通エフサス 情報処理装置、チェック処理方法およびチェック処理プログラム
CN111383058A (zh) * 2020-03-13 2020-07-07 北方民族大学 一种高可靠性在线问卷调查方法与系统

Similar Documents

Publication Publication Date Title
Al-Debei The quality and acceptance of websites: an empirical investigation in the context of higher education
EP3267369A1 (en) Decision tree generating apparatus, decision tree generating method, non-transitory computer-readable recording medium, and inquiry system
EP1143380A2 (en) Modelling decision-maker preferences using evolution based on sampled preferences
US20060217057A1 (en) Method and system for analyzing the effectiveness of marketing strategies
JP2010257347A (ja) 指導支援システム及び指導支援情報表示装置
US9756386B2 (en) Content utilization support method, computer-readable recording medium, and content utilization support apparatus
CN114511425A (zh) 提供用户定制型学习内容的方法
JP4335251B2 (ja) オンライン上の専門家選出方法およびシステム
JP5418717B1 (ja) 情報処理装置及び情報処理プログラム
JP4029654B2 (ja) 回答システム、回答装置、回答方法及び回答プログラム
AU2016342440A1 (en) System for improved remote processing and interaction with artificial survey administrator
WO2023243100A1 (ja) アンケート回答評価装置、アンケート回答評価方法及びプログラム
JP7604050B1 (ja) 自動応答データ改善装置、方法及びプログラム
JP7081671B2 (ja) 評価プログラム、評価方法および情報処理装置
JP4447552B2 (ja) 情報提供方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2005202619A (ja) アンケート評価装置および方法
JP2005032197A (ja) 情報解析システム及び方法
JP7630071B2 (ja) 情報処理方法及び情報処理プログラム
Daniel et al. Interaction design of indonesian anti hoax chatbot using user centered design
CN115907272B (zh) 经纪人的评价方法和装置、电子设备、存储介质
JP2007226531A (ja) 性格診断システムおよび性格診断方法
Masroor et al. Too crowded to fall in love? The destination image trident versus social crowding
US8160918B1 (en) Method and apparatus for determining brand preference
JP7290273B2 (ja) 項目反応理論に基づくテストの項目チェック装置
US10282357B1 (en) Dynamic resampling for ranking viewer experiences

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946915

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22946915

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP