WO2022249419A1 - 回答データ解析装置、回答データ解析方法及び回答データ解析プログラム - Google Patents

回答データ解析装置、回答データ解析方法及び回答データ解析プログラム Download PDF

Info

Publication number
WO2022249419A1
WO2022249419A1 PCT/JP2021/020307 JP2021020307W WO2022249419A1 WO 2022249419 A1 WO2022249419 A1 WO 2022249419A1 JP 2021020307 W JP2021020307 W JP 2021020307W WO 2022249419 A1 WO2022249419 A1 WO 2022249419A1
Authority
WO
WIPO (PCT)
Prior art keywords
variation
response
representative value
questions
difficulty
Prior art date
Application number
PCT/JP2021/020307
Other languages
English (en)
French (fr)
Inventor
直紀 萩山
佳那 江口
俊一 瀬古
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/020307 priority Critical patent/WO2022249419A1/ja
Priority to JP2023523885A priority patent/JPWO2022249419A1/ja
Publication of WO2022249419A1 publication Critical patent/WO2022249419A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units

Definitions

  • the present disclosure relates to a response data analysis device, a response data analysis method, and a response data analysis program.
  • Web surveys which distribute questionnaires (multiple questions) online and collect questionnaire results (groups of responses to multiple questions), generally have a large number of poor responses, requiring appropriate screening.
  • defective responses are characterized by a short response time compared to normal responses, and a determination method has been proposed that uses this characteristic to determine defective responses from the response time. According to this determination method, it is possible to appropriately exclude questionnaire results determined to be bad answers from the tally results.
  • An object of the present disclosure is to provide a response data analysis device, a response data analysis method, and a response data analysis program that reduce erroneous determinations when determining defective responses.
  • the response data analysis device includes: a first calculation unit that calculates the variation in response time and the variation in difficulty for a plurality of questions based on the response time and difficulty for each question; a second calculation unit that calculates a representative value of answer time and a representative value of difficulty of a plurality of questions based on the answer time and difficulty of each question; An index value calculated by inputting the variation in the response time and the variation in the difficulty level, the representative value of the response time and the representative value of the difficulty level into a function corresponding to the correlation with the defective response. and a determining unit that determines whether or not the answers to the plurality of questions are defective answers based on the above.
  • FIG. 1 is a diagram showing an example of the system configuration of a questionnaire result collection system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the answer data analysis device.
  • FIG. 3 is a diagram illustrating an example of a functional configuration of an analysis unit;
  • FIG. 4 is a first diagram showing a specific example of processing of each part of the analysis unit.
  • FIG. 5 is a second diagram showing a specific example of processing of each unit of the analysis unit.
  • FIG. 6 is a flow chart showing the flow of response data analysis processing.
  • FIG. 1 is a diagram showing an example of the system configuration of a questionnaire result collection system.
  • the questionnaire result collection system 100 has a mobile terminal 110 carried by a respondent 140 and a response data analysis device 120 for analyzing response data.
  • the mobile terminal 110 and the response data analysis device 120 are connected via a network 130 so as to be communicable.
  • the mobile terminal 110 accesses a predetermined site via the network 130 and displays the questionnaire provided by the response data analysis device 120 on the display screen.
  • the mobile terminal 110 accepts answers input by the respondent 140 to the displayed questionnaire (a plurality of questions).
  • the mobile terminal 110 transmits a group of responses input to the plurality of questions to the response data analysis device 120 as questionnaire results.
  • Reference numerals 111 and 112 in FIG. 1 indicate an example of a plurality of questions.
  • the questionnaire includes a plurality of questions (question 1, question 2, . . . in the example of FIG. 1).
  • each question is represented by characters, and the respondent 140 selects a radio button corresponding to a desired option from a plurality of options to input an answer to each question. .
  • the questionnaire shown in Fig. 1 shows a part of the questionnaire, and the questionnaire includes two or more questions. Moreover, although the questionnaire shown in FIG. 1 shows a case where there are three options for each question, the number of options for each question is not limited to three. Also, in the questionnaire shown in FIG. 1, answers are input via radio buttons, but the method of inputting answers is not limited to radio buttons.
  • a response data analysis program is installed in the response data analysis device 120, and the response data analysis device 120 functions as a collection unit 121 and an analysis unit 122 by executing the program.
  • the collection unit 121 provides questionnaires to the respondents 140 online, and generates response data based on the received questionnaire results.
  • the collection unit 121 when the collection unit 121 receives access from the mobile terminal 110, it provides the mobile terminal 110 with a questionnaire. In addition, the collection unit 121 measures and records the response time for each question during the provision of the questionnaire. The collection unit 121 also analyzes the content of each question and calculates the question difficulty level. In this embodiment, the collecting unit 121 calculates the question difficulty level by counting the number of clauses of each question. In addition, the collection unit 121 receives a group of answers input by the respondent 140 as questionnaire results.
  • the collection unit 121 generates answer data including the answer time and question difficulty level of each question, and questionnaire results (answer group for a plurality of questions).
  • the analysis unit 122 acquires the response data generated by the collection unit 121, and determines whether the questionnaire results (responses to a plurality of questions) are bad answers (whether they are bad answers or normal answers). judge.
  • the analysis unit 122 from the acquired response data, ⁇ An index that shows the variation in response time for all questions, ⁇ An index that shows the variation in question difficulty for all questions, ⁇ An index that indicates the representative value of the response time for all questions, ⁇ An index that indicates the representative value of the question difficulty for all questions, are calculated, and using each index, the degree of defective responses in terms of variation and the degree of defective responses in terms of representative values are calculated.
  • the analysis unit 122 calculates a comprehensive degree of defective responses (an example of an index value of defective responses) by weighting and adding the degrees of respective defective responses.
  • the analysis unit 122 determines whether the questionnaire result (response group to a plurality of questions) is a bad answer (whether it is a bad answer or a normal answer) based on the calculated overall degree of bad answers. judge.
  • the analysis unit 122 stores the questionnaire results (responses to a plurality of questions) in the data storage unit 123 in association with the determination results (normal responses or defective responses). It should be noted that the questionnaire results stored in the data storage unit 123 are screened based on the associated determination results, and then tabulated. Thus, according to the response data analysis device 120, it is possible to obtain appropriate tally results from the questionnaire results.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the answer data analysis device.
  • the response data analysis device 120 has a processor 201 , a memory 202 , an auxiliary storage device 203 , an I/F (Interface) device 204 , a communication device 205 and a drive device 206 .
  • Each piece of hardware of the response data analysis device 120 is interconnected via a bus 207 .
  • the processor 201 has various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (for example, an answer data analysis program) installed in the auxiliary storage device 203 onto the memory 202 and executes them.
  • programs for example, an answer data analysis program
  • the memory 202 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 executes various programs read on the memory 202, so that the computer operates each functional unit (for example, the collection unit 121 and the analysis unit 122). come true.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201 .
  • the data storage unit 123 is implemented in the auxiliary storage device 203 .
  • the I/F device 204 is a connection device that connects the input device 210, the output device 220, and the response data analysis device 120.
  • the I/F device 204 receives various instructions given to the response data analysis device 120 by an administrator (not shown) of the response data analysis device 120 via the input device 210 .
  • the I/F device 204 outputs the result of the processing executed by each functional unit of the response data analysis device 120 in response to various instructions via the output device 220 .
  • the communication device 205 is a communication device for communicating with the mobile terminal 110 via the network 130 .
  • a drive device 206 is a device for setting a recording medium 230 .
  • the recording medium 230 here includes media for optically, electrically or magnetically recording information such as a CD-ROM, a flexible disk, a magneto-optical disk, and the like.
  • the recording medium 230 may also include a semiconductor memory or the like that electrically records information, such as a ROM or flash memory.
  • auxiliary storage device 203 Various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 230 in the drive device 206 and reading the various programs recorded in the recording medium 230 by the drive device 206. be done. Alternatively, various programs installed in the auxiliary storage device 203 may be installed by being downloaded from the network 130 via the communication device 205 .
  • FIG. 3 is a diagram illustrating an example of a functional configuration of an analysis unit;
  • the analysis unit 122 includes a data acquisition unit 310, a variation index calculation unit 321, a representative value index calculation unit 322, a variation bad answer degree calculation unit 331, a representative value bad answer degree calculation unit 332, and a determination unit 340. , a threshold input unit 341 and a storage control unit 350 .
  • the data acquisition unit 310 acquires response data from the collection unit 121.
  • the data acquisition unit 310 also notifies the variation index calculation unit 321, the representative value index calculation unit 322, and the storage control unit 350 of the acquired response data.
  • the variation index calculation unit 321 is an example of a first calculation unit, and calculates “an index indicating variation in response time for all questions” and “an index indicating variation in question difficulty for all questions” from the notified response data. calculate.
  • standard deviation is used as an index indicating variation, but the index indicating variation is not limited to standard deviation, and may be, for example, a variance value.
  • variation index calculation unit 321 notifies the calculated "indicator indicating variation in response time for all questions” and “index indicating variation in question difficulty for all questions” to the variation and poor response degree calculation unit 331.
  • the representative value index calculation unit 322 is an example of a second calculation unit, and from the notified answer data, "an index indicating the representative value of the answer time for all questions" and "the index indicating the representative value of the question difficulty for all questions" Calculate the index.
  • the average value is used as the index indicating the representative value, but the index indicating the representative value is not limited to the average value, and may be, for example, the median value.
  • the representative value index calculation unit 322 uses the calculated “index indicating the representative value of the answer time for all questions” and “index indicating the representative value of the question difficulty level for all questions” as to notify.
  • the variation-bad answer degree calculation unit 331 calculates the degree of bad response in terms of variation. (degree of nonconformity response) is calculated.
  • the degree of variability failure response psd(x) of the respondent 140 is calculated using the first function shown in the following formula (1): do.
  • psd(x) ⁇ sd(x)/Tsd(x)
  • the first function shown in the above formula (1) is just an example, and the function for calculating the degree of variability of defective answers psd(x) has a negative correlation with the variability of response times, and the degree of question difficulty. Any other function may be used as long as it has a positive correlation with the variation.
  • the representative value poor answer degree calculation unit 332 Based on the notified "indicator indicating the representative value of the response time for all questions" and "the index indicating the representative value of the question difficulty level for all questions", the representative value poor answer degree calculation unit 332 The degree of defective responses (representative value of defective responses) is calculated.
  • bad answers tend to take less time to answer, and there is a negative correlation between the degree of bad answers and the typical response time. Moreover, since the higher the question difficulty, the longer the response time tends to be, there is a positive correlation between the representative value of the question difficulty and the degree of poor answers.
  • pm(x) ⁇ m(x)/Tm(x)
  • the second function shown in the above formula (2) is an example, and the function for calculating the representative value defective response degree pm(x) has a negative correlation with the representative value of the response time, and the question difficulty Any other function may be used as long as it has a positive correlation with the representative value of degrees.
  • the determination unit 340 compares the calculated comprehensive response degree of failure with the threshold input from the threshold input unit 341, and determines that the response is defective when the calculated overall failure response degree is equal to or greater than the threshold. Further, the determination unit 340 determines that the answer is normal when the calculated overall failure answer degree is less than the threshold. Furthermore, the determination unit 340 notifies the storage control unit 350 of the determination result (normal response, defective response).
  • the threshold input unit 341 accepts the input of the threshold used when the determination unit 340 determines whether the response is defective or normal based on the degree of overall failure response, and notifies the determination unit 340 of it.
  • the storage control unit 350 associates the results of the questionnaire contained in the answer data acquired by the data acquisition unit 310 with the determination results of the determination unit 340 and stores them in the data storage unit 123 .
  • FIG. 4 is a first diagram showing a specific example of processing of each part of the analysis unit.
  • the answer data includes "question number”, “questionnaire result”, “response time”, and "question difficulty” as information items.
  • Quadrice number stores a number that identifies each question.
  • the example of FIG. 4 indicates that the questionnaire has N questions.
  • the example of FIG. 4 shows that it took T 1 to T N for each question.
  • the "question difficulty level” stores the difficulty level of each question (as described above, in this embodiment, the number of clauses of each question).
  • the example of FIG. 4 indicates that the number of clauses of each question is D 1 to D N .
  • reference numeral 412 denotes the standard deviation ⁇ sd(x ) is calculated.
  • reference numeral 422 denotes the average value ⁇ m ( x) is calculated.
  • FIG. 5 is a second diagram showing a specific example of processing of each unit of the analysis unit.
  • reference numeral 520 denotes the determination unit 340, based on the variation failure response degree psd(x) and the representative value failure response degree pm(x), calculates the overall failure response degree p(x). showing the situation.
  • reference numeral 530 indicates the threshold input by the threshold input unit 341
  • reference numeral 540 indicates the determination made by the determination unit 340 based on the overall failure response degree p(x) and the threshold. shows the results.
  • the determination unit 340 determines that the response is defective when the overall failure response degree p(x) is equal to or greater than the threshold, and determines that the response is defective when the overall failure response degree p(x) is less than the threshold. If the answer is correct, the answer is determined to be normal.
  • FIG. 6 is a flow chart showing the flow of response data analysis processing.
  • step S ⁇ b>601 the collection unit 121 provides the mobile terminal 110 with a questionnaire (multiple questions) in response to access from the mobile terminal 110 .
  • step S602 the collection unit 121 measures and records the response time for each question while providing the questionnaire, and also calculates the difficulty level for each question. Also, the collection unit 121 receives questionnaire results (answers to a plurality of questions), associates them with the answer time and question difficulty, and generates answer data.
  • step S603 the analysis unit 122 acquires the response data, and based on the acquired response data, calculates an “index indicating variation in response time for all questions” and an “index indicating variation in question difficulty for all questions”. calculate.
  • step S604 the analysis unit 122 calculates "an index indicating the representative value of the answer time for all questions” and "an index indicating the representative value of the question difficulty level for all questions" based on the acquired answer data.
  • step S605 the analysis unit 122 calculates the degree of poor response variation based on the "index indicating variation in response time for all questions” and the "index indicating variation in question difficulty for all questions”. In addition, the analysis unit 122 calculates the degree of poor response to the representative value based on the "index representing the representative value of the response time for all questions” and the "index representing the representative value of the question difficulty level for all questions”.
  • step S606 the analysis unit 122 calculates the overall failure response degree by weighted addition of the variation failure response degree and the representative value failure response degree. In addition, the analysis unit 122 determines whether the questionnaire result is a defective response (whether it is a defective response or a normal response) by comparing the calculated comprehensive failure response degree with a threshold value.
  • step S607 the analysis unit 122 stores the determination results (defective answers/normal answers) in the data storage unit 123 in association with the questionnaire results (responses to multiple questions).
  • the response data analysis device 120 ⁇ Based on the answer time and question difficulty for each question, an index indicating variation in response time and an index indicating variation in question difficulty for a plurality of questions are calculated. ⁇ Based on the answer time and question difficulty for each question, an index indicating a representative value of answer time and an index indicating a representative value of question difficulty for a plurality of questions are calculated. ⁇ An index indicating the variation in response time and the variation in question difficulty for multiple questions, and responses to multiple questions in the function ((Formula 1) to (Formula 2)) according to the correlation with poor answers Input the index indicating the representative value of time and the index indicating the representative value of question difficulty.
  • the degree of nonconformity response and the degree of representative value nonconformity response are calculated. Based on the calculated variation-defective response degree and representative value-defective response degree, a comprehensive failure response degree is calculated. Also, it is determined whether or not the answers to the plurality of questions are non-conforming answers based on the calculated overall non-conforming answer degree.
  • the dispersion of the answer time is taken into account, and the dispersion of the question difficulty and the representative value are taken into account to determine the bad answers.
  • the question difficulty is calculated by counting the number of clauses of each question. It may be calculated by adding elements. Further, in the above-described first embodiment, the question difficulty is calculated during the provision of the questionnaire, but the question difficulty may be set for each question in advance before the questionnaire is provided.
  • the answerer 140 answers all the questions. However, the respondent 140 does not necessarily answer all the questions.
  • the answer time of the question may be set to zero to calculate an "index indicating variation in answer time for all questions". .
  • an index indicating variation in response time may be calculated excluding the question.
  • the collection unit 121 of the response data analysis device 120 measures the response time for each question and calculates the question difficulty during the provision of the questionnaire.
  • the measurement of the response time and the calculation of the question difficulty level may be performed by the mobile terminal 110, and the collection unit 121 may be configured to receive the execution result together with the questionnaire result.
  • the collection unit 121 may be configured to receive the execution results together with the questionnaire results, or may be configured to receive them separately.
  • questionnaire result collection system 110 mobile terminal 120: response data analysis device 121: collection unit 122: analysis unit 310: data acquisition unit 321: variation index calculation unit 322: representative value index calculation unit 331: variation poor response degree calculation unit 332: Representative value failure response degree calculation unit 340: Judging unit 341: Threshold input unit 350: Storage control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

不良回答を判定する際の誤判定を低減する。回答データ解析装置は、設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間のばらつきと難易度のばらつきとを算出する第１の算出部と、設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間の代表値と難易度の代表値とを算出する第２の算出部と、前記回答時間のばらつき及び前記難易度のばらつきと、前記回答時間の代表値及び前記難易度の代表値とが、不良回答との相関に応じた関数に入力されることで算出される指標値に基づき、前記複数の設問に対する回答が不良回答であるか否かを判定する判定部とを有する。

Description

回答データ解析装置、回答データ解析方法及び回答データ解析プログラム
　本開示は、回答データ解析装置、回答データ解析方法及び回答データ解析プログラムに関する。
　オンライン上でアンケート（複数の設問）を配信し、アンケート結果（複数の設問に対する回答群）を収集するＷｅｂ調査は、一般に不良回答が多く、適切なスクリーニングが求められる。
　一方で、不良回答は、正常回答と比較して回答時間が短いといった特徴があり、当該特徴を利用して、回答時間から不良回答を判定する判定方法が提案されている。当該判定方法によれば、不良回答であると判定したアンケート結果を、集計結果から適切に除外することができる。
早川敬一、高嶺一男、山田文康、"回答の一貫性に着目した不良回答選別の試み（ＳＤ法データを用いて）"、経営情報学会　全国研究発表大会要旨集、２００７年秋季全国研究発表大会、一般社団法人　経営情報学会、２００７ 増田真也、坂上貴之、森井真広、"Ｗｅｂ調査における不良回答と回答時間"、日本心理学会大会発表論文集　日本心理学会第８１回大会、公益社団法人　日本心理学会、２０１７
　しかしながら、回答時間には個人差があり、回答者ごとに回答時間の長短傾向が異なる。このため、回答時間の個人差が大きいケースでは、回答時間の長短のみで不良回答を判定すると、正常回答を不良回答と誤判定する可能性がある。
　本開示は、不良回答を判定する際の誤判定を低減する、回答データ解析装置、回答データ解析方法及び回答データ解析プログラムを提供することを目的とする。
　本開示の一態様によれば、回答データ解析装置は、
　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間のばらつきと難易度のばらつきとを算出する第１の算出部と、
　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間の代表値と難易度の代表値とを算出する第２の算出部と、
　前記回答時間のばらつき及び前記難易度のばらつきと、前記回答時間の代表値及び前記難易度の代表値とが、不良回答との相関に応じた関数に入力されることで算出される指標値に基づき、前記複数の設問に対する回答が不良回答であるか否かを判定する判定部とを有する。
　本開示によれば、不良回答を判定する際の誤判定を低減することができる。
図１は、アンケート結果収集システムのシステム構成の一例を示す図である。 図２は、回答データ解析装置のハードウェア構成の一例を示す図である。 図３は、解析部の機能構成の一例を示す図である。 図４は、解析部の各部の処理の具体例を示す第１の図である。 図５は、解析部の各部の処理の具体例を示す第２の図である。 図６は、回答データ解析処理の流れを示すフローチャートである。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜アンケート結果収集システムのシステム構成＞
　はじめに、第１の実施形態に係る回答データ解析装置を含むアンケート結果収集システムのシステム構成について説明する。図１は、アンケート結果収集システムのシステム構成の一例を示す図である。
　図１に示すように、アンケート結果収集システム１００は、回答者１４０が携帯する携帯端末１１０と、回答データを解析する回答データ解析装置１２０とを有する。アンケート結果収集システム１００において、携帯端末１１０と回答データ解析装置１２０とは、ネットワーク１３０を介して通信可能に接続される。
　携帯端末１１０は、ネットワーク１３０を介して所定のサイトにアクセスし、回答データ解析装置１２０が提供するアンケートを表示画面に表示する。また、携帯端末１１０は、表示したアンケート（複数の設問）に対して、回答者１４０が入力する回答を受け付ける。更に、携帯端末１１０は、複数の設問に対して入力された回答群を、アンケート結果として、回答データ解析装置１２０に送信する。
　図１において符号１１１、１１２は複数の設問の一例を示している。図１に示すように、アンケートは複数の設問（図１の例では、設問１、設問２、・・・）を含む。また、アンケートにおいて、各設問は文字で表され、各設問に対しては、回答者１４０が複数の選択肢の中から、所望の選択肢に対応するラジオボタンを選択することで、回答が入力される。
　なお、図１に示すアンケートは、アンケートの一部を示したものであり、アンケートには２以上の設問が含まれるものとする。また、図１に示すアンケートでは、各設問に対する選択肢が３個の場合を示しているが、各設問に対する選択肢は３個に限定されない。また、図１に示すアンケートでは、ラジオボタンを介して回答が入力されるものとしているが、回答の入力方法はラジオボタンに限定されない。
　回答データ解析装置１２０には、回答データ解析プログラムがインストールされており、当該プログラムが実行されることで、回答データ解析装置１２０は、収集部１２１、解析部１２２として機能する。
　収集部１２１は、オンライン上で回答者１４０にアンケートを提供するとともに、受信したアンケート結果に基づいて回答データを生成する。
　具体的には、収集部１２１は、携帯端末１１０からのアクセスを受けると、携帯端末１１０にアンケートを提供する。また、収集部１２１は、アンケートの提供中、設問ごとに回答時間を計測し、記録する。また、収集部１２１は、各設問の内容を解析し、設問難易度を算出する。本実施形態において、収集部１２１は、各設問の文節数をカウントすることで、設問難易度を算出する。また、収集部１２１は、回答者１４０が入力した回答群を、アンケート結果として受信する。
　更に、収集部１２１は、各設問の回答時間及び設問難易度と、アンケート結果（複数の設問に対する回答群）とを含む回答データを生成する。
　解析部１２２は、収集部１２１にて生成された回答データを取得し、アンケート結果（複数の設問に対する回答群）が、不良回答であるか否か（不良回答であるか正常回答であるか）を判定する。
　具体的には、解析部１２２は、取得した回答データから、
・全設問における回答時間のばらつきを示す指標、
・全設問における設問難易度のばらつきを示す指標、
・全設問における回答時間の代表値を示す指標、
・全設問における設問難易度の代表値を示す指標、
を算出し、それぞれの指標を用いて、ばらつきからみた不良回答の度合いと、代表値からみた不良回答の度合いとを算出する。また、解析部１２２は、各不良回答の度合いを重み付け加算することで、総合的な不良回答の度合い（不良回答の指標値の一例）を算出する。更に、解析部１２２は、算出した総合的な不良回答の度合いに基づいて、アンケート結果（複数の設問に対する回答群）が不良回答であるか否か（不良回答であるか正常回答であるか）を判定する。
　また、解析部１２２は、アンケート結果（複数の設問に対する回答群）を、判定結果（正常回答また不良回答）と対応付けてデータ格納部１２３に格納する。なお、データ格納部１２３に格納されたアンケート結果は、対応付けられた判定結果に基づいてスクリーニングされたうえで、集計される。これにより、回答データ解析装置１２０によれば、アンケート結果から適切な集計結果を得ることができる。
　＜回答データ解析装置のハードウェア構成＞
　次に、回答データ解析装置１２０のハードウェア構成について説明する。図２は、回答データ解析装置のハードウェア構成の一例を示す図である。図２に示すように、回答データ解析装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、回答データ解析装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、補助記憶装置２０３にインストールされた各種プログラム（例えば、回答データ解析プログラム）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各機能部（例えば、収集部１２１、解析部１２２）を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。例えば、データ格納部１２３は、補助記憶装置２０３において実現される。
　Ｉ／Ｆ装置２０４は、入力装置２１０及び出力装置２２０と、回答データ解析装置１２０とを接続する接続デバイスである。Ｉ／Ｆ装置２０４は、回答データ解析装置１２０の管理者（不図示）が回答データ解析装置１２０に対して行う各種指示を、入力装置２１０を介して受け付ける。また、Ｉ／Ｆ装置２０４は、各種指示に対して回答データ解析装置１２０の各機能部が実行した処理の結果を、出力装置２２０を介して出力する。
　通信装置２０５は、ネットワーク１３０を介して携帯端末１１０と通信するための通信デバイスである。
　ドライブ装置２０６は記録媒体２３０をセットするためのデバイスである。ここでいう記録媒体２３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２３０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２３０がドライブ装置２０６にセットされ、該記録媒体２３０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワーク１３０からダウンロードされることで、インストールされてもよい。
　＜解析部の機能構成の詳細＞
　次に、解析部１２２の機能構成の詳細について説明する。図３は、解析部の機能構成の一例を示す図である。図３に示すように、解析部１２２は、データ取得部３１０、ばらつき指標算出部３２１、代表値指標算出部３２２、ばらつき不良回答度合い算出部３３１、代表値不良回答度合い算出部３３２、判定部３４０、閾値入力部３４１、格納制御部３５０を有する。
　データ取得部３１０は、収集部１２１より回答データを取得する。また、データ取得部３１０は、取得した回答データを、ばらつき指標算出部３２１、代表値指標算出部３２２及び格納制御部３５０に通知する。
　ばらつき指標算出部３２１は第１の算出部の一例であり、通知された回答データから、「全設問における回答時間のばらつきを示す指標」及び「全設問における設問難易度のばらつきを示す指標」を算出する。なお、本実施形態では、ばらつきを示す指標として、標準偏差を用いるが、ばらつきを示す指標は標準偏差に限定されず、例えば、分散値であってもよい。
　また、ばらつき指標算出部３２１は、算出した「全設問における回答時間のばらつきを示す指標」及び「全設問における設問難易度のばらつきを示す指標」を、ばらつき不良回答度合い算出部３３１に通知する。
　代表値指標算出部３２２は第２の算出部の一例であり、通知された回答データから、「全設問における回答時間の代表値を示す指標」及び「全設問における設問難易度の代表値を示す指標」を算出する。なお、本実施形態では、代表値を示す指標として、平均値を用いるが、代表値を示す指標は平均値に限定されず、例えば、中央値であってもよい。
　また、代表値指標算出部３２２は、算出した「全設問における回答時間の代表値を示す指標」及び「全設問における設問難易度の代表値を示す指標」を、代表値不良回答度合い算出部３３２に通知する。
　ばらつき不良回答度合い算出部３３１は、通知された「全設問における回答時間のばらつきを示す指標」と「全設問における設問難易度のばらつきを示す指標」とに基づいて、ばらつきからみた不良回答の度合い（ばらつき不良回答度合い）を算出する。
　一般に、不良回答は、回答時間のばらつきが小さくなる傾向にあり、不良回答の度合いと回答時間のばらつきとの間には負の相関がある。また、不良回答の度合いが高いほど、回答時間のばらつきと設問難易度のばらつきとの間には負の相関があり、回答時間のばらつきと不良回答の度合いとの間には負の相関があることから、設問難易度のばらつきと不良回答の度合いとの間には正の相関がある。
　このため、「全設問における回答時間のばらつきを示す指標」と「全設問における設問難易度のばらつきを示す指標」とを上記相関を加味した所定の関数に入力することで、上記相関に応じたばらつき不良回答度合い（第１の指標値）を算出することができる。具体的には、本実施形態では、回答者１４０（回答者名＝「回答者ｘ」）のばらつき不良回答度合いｐｓｄ（ｘ）を、下式（１）に示す第１の関数を用いて算出する。
（式１）ｐｓｄ（ｘ）＝θｓｄ（ｘ）／Ｔｓｄ（ｘ）
　なお、上式（１）において、θｓｄ（ｘ）は、回答者１４０（回答者名＝「回答者ｘ」）の「全設問における設問難易度のばらつきを示す指標」である。また、Ｔｓｄ（ｘ）は、回答者１４０（回答者名＝「回答者ｘ」）の「全設問における回答時間のばらつきを示す指標」である。
　ただし、上式（１）に示す第１の関数は一例であり、ばらつき不良回答度合いｐｓｄ（ｘ）を算出する関数は、回答時間のばらつきと負の相関を有し、かつ、設問難易度のばらつきと正の相関を有する関数であれば、他の関数であってもよい。
　代表値不良回答度合い算出部３３２は、通知された「全設問における回答時間の代表値を示す指標」と「全設問における設問難易度の代表値を示す指標」とに基づいて、代表値からみた不良回答の度合い（代表値不良回答度合い）を算出する。
　一般に、不良回答は、回答時間が短くなる傾向にあり、不良回答の度合いと回答時間の代表値との間には負の相関がある。また、設問難易度が高いほど、回答時間が長くなる傾向にあることから、設問難易度の代表値と不良回答の度合いとの間には正の相関がある。
　このため、「全設問における回答時間の代表値を示す指標」と「全設問における設問難易度の代表値を示す指標」とを上記相関を加味した所定の関数に入力することで、上記相関に応じた代表値不良回答度合い（第２の指標値）を算出することができる。具体的には、本実施形態では、回答者１４０（回答者名＝「回答者ｘ」）の代表値不良回答度合いｐｍ（ｘ）を、下式（２）に示す第２の関数を用いて算出する。
（式２）ｐｍ（ｘ）＝θｍ（ｘ）／Ｔｍ（ｘ）
　なお、上式（２）において、θｍ（ｘ）は、回答者１４０（回答者名＝「回答者ｘ」）が回答したアンケートの「全設問における設問難易度の代表値を示す指標」である。また、Ｔｍ（ｘ）は、回答者１４０（回答者名＝「回答者ｘ」）の「全設問における回答時間の代表値を示す指標」である。
　ただし、上式（２）に示す第２の関数は一例であり、代表値不良回答度合いｐｍ（ｘ）を算出する関数は、回答時間の代表値と負の相関を有し、かつ、設問難易度の代表値と正の相関を有する関数であれば、他の関数であってもよい。
　判定部３４０は、「ばらつき不良回答度合いｐｓｄ（ｘ）」と「代表値不良回答度合いｐｍ（ｘ）」とを下式（３）に示す関数に入力することで、回答者１４０（回答者名＝「回答者ｘ」）の総合的な不良回答の度合い（総合不良回答度合い）ｐ（ｘ）を算出する。
（式３）ｐ（ｘ）＝α×ｐｓｄ（ｘ）＋β×ｐｍ（ｘ）
　なお、上式（３）においてα、βは重み係数である。「ばらつき不良回答度合いｐｓｄ（ｘ）」と「代表値不良回答度合いｐｍ（ｘ）」のうち、いずれか一方の不良回答度合いを用いて総合不良回答度合いを算出する場合には、例えば、（α，β）＝（１，０）または（０，１）が設定される。また、「ばらつき不良回答度合いｐｓｄ（ｘ）」と「代表値不良回答度合いｐｍ（ｘ）」とを均等に加算して総合不良回答度合いを算出する場合には、例えば、（α，β）＝（０．５，０．５）が設定される。
　判定部３４０は、算出した総合不良回答度合いを、閾値入力部３４１より入力された閾値と比較し、算出した総合不良回答度合いが閾値以上であった場合には、不良回答であると判定する。また、判定部３４０は、算出した総合不良回答度合いが閾値未満であった場合には、正常回答であると判定する。更に、判定部３４０は、判定結果（正常回答、不良回答）を格納制御部３５０に通知する。
　閾値入力部３４１は、判定部３４０が、総合不良回答度合いに基づいて、不良回答であるか正常回答であるかを判定する際に用いる閾値の入力を受け付け、判定部３４０に通知する。
　格納制御部３５０は、データ取得部３１０により取得された回答データに含まれるアンケート結果に、判定部３４０による判定結果を対応付けて、データ格納部１２３に格納する。
　＜解析部の各部の処理の具体例＞
　次に、解析部１２２の各部（ここでは、データ取得部３１０～閾値入力部３４１）の処理の具体例について説明する。
　（１）データ取得部３１０～代表値指標算出部３２２の処理の具体例
　はじめに、解析部１２２の各部のうち、データ取得部３１０、ばらつき指標算出部３２１、代表値指標算出部３２２の処理の具体例について説明する。図４は、解析部の各部の処理の具体例を示す第１の図である。
　図４において、符号４００は、データ取得部３１０が取得した、回答者１４０（回答者名＝「回答者ｘ」）についての回答データの具体例を示している。符号４００に示すように、回答データには、情報の項目として、"設問番号"、"アンケート結果"、"回答時間"、"設問難易度"が含まれる。
　"設問番号"には、各設問を識別する番号が格納される。図４の例は、アンケートの設問数がＮ個であることを示している。
　"アンケート結果"には、回答者１４０（回答者名＝「回答者ｘ」）によって入力された、複数の設問に対する回答群が格納される。
　"回答時間"には、回答者１４０（回答者名＝「回答者ｘ」）が各設問を回答するのに要した時間が格納される。図４の例は、各設問に対してＴ１～ＴＮの時間を要したことを示している。
　"設問難易度"には、各設問の難易度（上述したように、本実施形態では、各設問の文節数）が格納される。図４の例は、各設問の文節数がＤ１～ＤＮであることを示している。
　また、図４において、符号４１１は、ばらつき指標算出部３２１が、"回答時間"に格納されたＴ１～ＴＮを用いて、設問１～設問Ｎにおける回答者１４０（回答者名＝「回答者ｘ」）の回答時間の標準偏差Ｔｓｄ（ｘ）を算出した様子を示している。
　また、図４において、符号４１２は、ばらつき指標算出部３２１が、"設問難易度"に格納されたＤ１～ＤＮを用いて、設問１～設問Ｎの設問難易度の標準偏差θｓｄ（ｘ）を算出した様子を示している。
　また、図４において、符号４２１は、代表値指標算出部３２２が、"回答時間"に格納されたＴ１～ＴＮを用いて、設問１～設問Ｎにおける回答者１４０（回答者名＝「回答者ｘ」）の回答時間の平均値Ｔｍ（ｘ）を算出した様子を示している。
　また、図４において、符号４２２は、代表値指標算出部３２２が、"設問難易度"に格納されたＤ１～ＤＮを用いて、設問１～設問Ｎの設問難易度の平均値θｍ（ｘ）を算出した様子を示している。
　（２）ばらつき不良回答度合い算出部３３１～閾値入力部３４１の処理の具体例
　次に、解析部１２２のうち、ばらつき不良回答度合い算出部３３１、代表値不良回答度合い算出部３３２、判定部３４０、閾値入力部３４１の処理の具体例について説明する。図５は、解析部の各部の処理の具体例を示す第２の図である。
　図５において、符号５１１は、ばらつき不良回答度合い算出部３３１が、回答時間の標準偏差Ｔｓｄ（ｘ）と設問難易度の標準偏差θｓｄ（ｘ）とに基づいて、回答者１４０（回答者名＝「回答者ｘ」）のばらつき不良回答度合いを算出した様子を示している。
　また、図５において、符号５１２は、代表値不良回答度合い算出部３３２が、回答時間の平均値Ｔｍ（ｘ）と設問難易度の平均値θｍ（ｘ）とに基づいて、回答者１４０（回答者名＝「回答者ｘ」）の代表値不良回答度合いを算出した様子を示している。
　また、図５において、符号５２０は、判定部３４０が、ばらつき不良回答度合いｐｓｄ（ｘ）と、代表値不良回答度合いｐｍ（ｘ）とに基づいて、総合不良回答度合いｐ（ｘ）を算出した様子を示している。
　更に、図５において、符号５３０は、閾値入力部３４１により入力された閾値を示しており、符号５４０は、判定部３４０が、総合不良回答度合いｐ（ｘ）と閾値とに基づいて判定した判定結果を示している。
　図５の例に示すように、判定部３４０は、総合不良回答度合いｐ（ｘ）が閾値以上であった場合に、不良回答と判定し、総合不良回答度合いｐ（ｘ）が閾値未満であった場合に、正常回答と判定する。
　＜回答データ解析処理の流れ＞
　次に、回答データ解析装置１２０による回答データ解析処理の流れについて説明する。図６は、回答データ解析処理の流れを示すフローチャートである。
　ステップＳ６０１において、収集部１２１は、携帯端末１１０からのアクセスに応じてアンケート（複数の設問）を、携帯端末１１０に提供する。
　ステップＳ６０２において、収集部１２１は、アンケートの提供中、設問ごとの回答時間を計測して記録するとともに、設問ごとの難易度を算出する。また、収集部１２１は、アンケート結果（複数の設問に対する回答群）を受信し、回答時間及び設問難易度と対応付けて、回答データを生成する。
　ステップＳ６０３において、解析部１２２は、回答データを取得し、取得した回答データに基づいて、「全設問における回答時間のばらつきを示す指標」及び「全設問における設問難易度のばらつきを示す指標」を算出する。
　ステップＳ６０４において、解析部１２２は、取得した回答データに基づいて、「全設問における回答時間の代表値を示す指標」及び「全設問における設問難易度の代表値を示す指標」を算出する。
　ステップＳ６０５において、解析部１２２は、「全設問における回答時間のばらつきを示す指標」と「全設問における設問難易度のばらつきを示す指標」とに基づいて、ばらつき不良回答度合いを算出する。また、解析部１２２は、「全設問における回答時間の代表値を示す指標」と「全設問における設問難易度の代表値を示す指標」とに基づいて、代表値不良回答度合いを算出する。
　ステップＳ６０６において、解析部１２２は、ばらつき不良回答度合いと代表値不良回答度合いとを重み付け加算することで、総合不良回答度合いを算出する。また、解析部１２２は、算出した総合不良回答度合いを閾値と比較することで、アンケート結果が、不良回答であるか否か（不良回答であるか正常回答であるか）を判定する。
　ステップＳ６０７において、解析部１２２は、判定結果（不良回答／正常回答）を、アンケート結果（複数の設問に対する回答群）と対応付けて、データ格納部１２３に格納する。
　＜まとめ＞
　以上の説明から明らかなように、第１の実施形態に係る回答データ解析装置１２０は、
・設問ごとの回答時間及び設問難易度に基づいて、複数の設問における回答時間のばらつきを示す指標と設問難易度のばらつき示す指標とを算出する。
・設問ごとの回答時間及び設問難易度に基づいて、複数の設問における回答時間の代表値を示す指標と設問難易度の代表値を示す指標とを算出する。
・不良回答との相関に応じた関数（（式１）～（式２））に、複数の設問における回答時間のばらつきを示す指標及び設問難易度のばらつきを示す指標と、複数の設問における回答時間の代表値を示す指標及び設問難易度の代表値を示す指標を入力する。これにより、ばらつき不良回答度合い及び代表値不良回答度合いを算出する。
・算出したばらつき不良回答度合い及び代表値不良回答度合いに基づいて、総合不良回答度合いを算出する。また、算出した総合不良回答度合いに基づいて、複数の設問に対する回答が不良回答であるか否かを判定する。
　このように、第１の実施形態に係る回答データ解析装置１２０では、回答時間の代表値に加えて、回答時間のばらつきを加味し、更に設問難易度のばらつき及び代表値を加味して不良回答の度合いを算出する。これにより、第１の実施形態によれば、回答時間の個人差が大きく、回答者ごとに回答時間の長短傾向が異なっていた場合でも、複数の設問に対する不良回答の度合いを高い精度で算出することができる。
　この結果、第１の実施形態によれば、不良回答を判定する際の誤判定を低減することができる。
　［第２の実施形態］
　上記第１の実施形態では、各設問の文節数をカウントすることで設問難易度を算出するものとして説明したが、設問難易度は、文節数以外の要素に基づいて、あるいは、文節数以外の要素を加えて算出してもよい。また、上記第１の実施形態では、設問難易度を、アンケート提供中に算出するものとして説明したが、設問難易度は、アンケート提供前に予め設問ごとに設定してもよい。
　また、上記第１の実施形態では、回答者１４０が全ての設問に回答するものとして説明した。しかしながら、回答者１４０が全ての設問に回答するとは限らない。解析部１２２では、回答されていない設問が含まれていた場合には、例えば、当該設問の回答時間をゼロに設定して「全設問における回答時間のばらつきを示す指標」を算出してもよい。あるいは、当該設問を除いて回答時間のばらつきを示す指標を算出してもよい。
　また、上記第１の実施形態では、回答データ解析装置１２０の収集部１２１が、アンケートの提供中、設問ごとに回答時間を計測し、かつ、設問難易度を算出するものとして説明した。しかしながら、回答時間の計測及び設問難易度の算出のいずれ一方または両方は、携帯端末１１０が実行し、収集部１２１は、実行結果をアンケート結果とともに受信するように構成してもよい。なお、この場合、収集部１２１は、実行結果を、アンケート結果とともに、まとめて受信するように構成しても、別々に受信するように構成してもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　１００　　　　　　：アンケート結果収集システム
　１１０　　　　　　：携帯端末
　１２０　　　　　　：回答データ解析装置
　１２１　　　　　　：収集部
　１２２　　　　　　：解析部
　３１０　　　　　　：データ取得部
　３２１　　　　　　：ばらつき指標算出部
　３２２　　　　　　：代表値指標算出部
　３３１　　　　　　：ばらつき不良回答度合い算出部
　３３２　　　　　　：代表値不良回答度合い算出部
　３４０　　　　　　：判定部
　３４１　　　　　　：閾値入力部
　３５０　　　　　　：格納制御部

Claims (8)

  1. 　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間のばらつきと難易度のばらつきとを算出する第１の算出部と、
    　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間の代表値と難易度の代表値とを算出する第２の算出部と、
    　前記回答時間のばらつき及び前記難易度のばらつきと、前記回答時間の代表値及び前記難易度の代表値とが、不良回答との相関に応じた関数に入力されることで算出される指標値に基づき、前記複数の設問に対する回答が不良回答であるか否かを判定する判定部と
    　を有する回答データ解析装置。
  2. 　前記不良回答との相関に応じた関数は、前記回答時間のばらつきと負の相関を有し、前記難易度のばらつきと正の相関を有する第１の関数を含み、かつ、前記回答時間の代表値と負の相関を有し、前記難易度の代表値と正の相関を有する第２の関数を含む、請求項１に記載の回答データ解析装置。
  3. 　前記指標値は、前記第１の関数に、前記回答時間のばらつきと前記難易度のばらつきを入力することで算出される第１の指標値と、前記第２の関数に、前記回答時間の代表値と前記難易度の代表値とを入力することで算出される第２の指標値とを重み付け加算することで算出される、請求項２に記載の回答データ解析装置。
  4. 　前記難易度は、各設問の文節数である、請求項１に記載の回答データ解析装置。
  5. 　前記ばらつきは、標準偏差または分散値であり、前記代表値は、平均値または中央値である、請求項１に記載の回答データ解析装置。
  6. 　前記複数の設問に対する回答を、前記判定部による判定結果と対応付けて格納する、請求項１に記載の回答データ解析装置。
  7. 　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間のばらつきと難易度のばらつきとを算出する第１の算出工程と、
    　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間の代表値と難易度の代表値とを算出する第２の算出工程と、
    　前記回答時間のばらつき及び前記難易度のばらつきと、前記回答時間の代表値及び前記難易度の代表値とが、不良回答との相関に応じた関数に入力されることで算出される指標値に基づき、前記複数の設問に対する回答が不良回答であるか否かを判定する判定工程と
    　を有する回答データ解析方法。
  8. 　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間のばらつきと難易度のばらつきとを算出する第１の算出工程と、
    　設問ごとの回答時間及び難易度に基づいて、複数の設問における回答時間の代表値と難易度の代表値とを算出する第２の算出工程と、
    　前記回答時間のばらつき及び前記難易度のばらつきと、前記回答時間の代表値及び前記難易度の代表値とが、不良回答との相関に応じた関数に入力されることで算出される指標値に基づき、前記複数の設問に対する回答が不良回答であるか否かを判定する判定工程と
    　をコンピュータに実行させるための回答データ解析プログラム。
PCT/JP2021/020307 2021-05-27 2021-05-27 回答データ解析装置、回答データ解析方法及び回答データ解析プログラム WO2022249419A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/020307 WO2022249419A1 (ja) 2021-05-27 2021-05-27 回答データ解析装置、回答データ解析方法及び回答データ解析プログラム
JP2023523885A JPWO2022249419A1 (ja) 2021-05-27 2021-05-27

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/020307 WO2022249419A1 (ja) 2021-05-27 2021-05-27 回答データ解析装置、回答データ解析方法及び回答データ解析プログラム

Publications (1)

Publication Number Publication Date
WO2022249419A1 true WO2022249419A1 (ja) 2022-12-01

Family

ID=84228502

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020307 WO2022249419A1 (ja) 2021-05-27 2021-05-27 回答データ解析装置、回答データ解析方法及び回答データ解析プログラム

Country Status (2)

Country Link
JP (1) JPWO2022249419A1 (ja)
WO (1) WO2022249419A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134746A (ja) * 2011-12-27 2013-07-08 Canon Marketing Japan Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2015114971A (ja) * 2013-12-13 2015-06-22 株式会社ビデオリサーチ 回答良否判断装置及び回答良否判断方法
CN111383058A (zh) * 2020-03-13 2020-07-07 北方民族大学 一种高可靠性在线问卷调查方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134746A (ja) * 2011-12-27 2013-07-08 Canon Marketing Japan Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2015114971A (ja) * 2013-12-13 2015-06-22 株式会社ビデオリサーチ 回答良否判断装置及び回答良否判断方法
CN111383058A (zh) * 2020-03-13 2020-07-07 北方民族大学 一种高可靠性在线问卷调查方法与系统

Also Published As

Publication number Publication date
JPWO2022249419A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
Smith et al. Postpartum physical activity and related psychosocial factors among women with recent gestational diabetes mellitus
Frederick et al. Expertise and auditors' judgments of conjunctive events
Evenson et al. Test-retest reliability of adult surveillance measures for physical activity and inactivity
TWI567685B (zh) 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體
Kuster et al. Computer‐based versus in‐person interventions for preventing and reducing stress in workers
Bose Nonresponse bias analyses at the National Center for Education Statistics
US20110125662A1 (en) Employee medical care management tool and method
US20090055245A1 (en) Survey fraud detection system and method
Qu et al. Explaining the standard errors of corruption perception indices
Blaszczynski et al. ‘How much do you spend gambling?’: Ambiguities in questionnaire items assessing expenditure
CN110782376A (zh) 一种考试防作弊方法、装置、电子装置和存储介质
CN110569347A (zh) 一种数据处理方法、装置、存储介质和电子设备
JP4795496B1 (ja) アンケート集計システム
Lodi-Smith et al. The relationship of age with the autism-spectrum quotient scale in a large sample of adults
D. Kip Jr The effect of multiple auditors on deception detection in a client inquiry setting
DuPaul et al. High school teacher ratings of academic, social, and behavioral difficulties: Factor structure and normative data for the School Functioning Scale.
WO2022249419A1 (ja) 回答データ解析装置、回答データ解析方法及び回答データ解析プログラム
CN112002423A (zh) 基于连续作业法的在线心理测评方法和装置
TW201913546A (zh) 心理與行為狀態評量暨診斷方法及系統
KR101716925B1 (ko) 부정행위 방지 및 심리검사 결과의 향상을 위한 온라인 기반의 심리검사 서비스를 제공하는 방법 및 서버
Sniezek et al. Feature cues in probability learning: Data base information and judgment
CN114564405A (zh) 一种基于日志监控的测试案例检查方法及系统
US20200098076A1 (en) Systems and methods for measuring and scoring the effectiveness of a message
US8862945B2 (en) System and method for measuring the effect of interruptions on software application usability
Ricciutti et al. A pilot study of the behavioral addictions knowledge survey: Ensuring students’ knowledge about process/behavioral addictions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21943065

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023523885

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21943065

Country of ref document: EP

Kind code of ref document: A1