JP6832083B2 - Answer classification processing system, answer classification processing method, and answer classification processing program - Google Patents

Answer classification processing system, answer classification processing method, and answer classification processing program Download PDF

Info

Publication number
JP6832083B2
JP6832083B2 JP2016138298A JP2016138298A JP6832083B2 JP 6832083 B2 JP6832083 B2 JP 6832083B2 JP 2016138298 A JP2016138298 A JP 2016138298A JP 2016138298 A JP2016138298 A JP 2016138298A JP 6832083 B2 JP6832083 B2 JP 6832083B2
Authority
JP
Japan
Prior art keywords
criterion
criteria
answer
additional
check box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016138298A
Other languages
Japanese (ja)
Other versions
JP2018010448A (en
Inventor
修平 重久
修平 重久
杉山 知之
知之 杉山
里美 横枕
里美 横枕
秀知 金澤
秀知 金澤
玲 八重樫
玲 八重樫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uchida Yoko Co Ltd
Original Assignee
Uchida Yoko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uchida Yoko Co Ltd filed Critical Uchida Yoko Co Ltd
Priority to JP2016138298A priority Critical patent/JP6832083B2/en
Publication of JP2018010448A publication Critical patent/JP2018010448A/en
Application granted granted Critical
Publication of JP6832083B2 publication Critical patent/JP6832083B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理システム、答案分類処理方法、および、答案分類処理プログラムに関する。 The present invention relates to an answer classification processing system for classifying the answers of a plurality of survey subjects to a question reflecting a survey item for investigating a tendency to understand learning items, an answer classification processing method, and an answer classification processing program.

学力試験の中には、受験者の優劣を決定するのではなく、国または地方公共団体などが行う調査であって、特定の学習項目に対する調査対象者の理解傾向を多面的に調査し、教育課題を抽出する学力調査がある。このような学力調査においては、国または地方公共団体において悉皆調査が採用される場合があり、その場合、対象者数が極めて多くなり、例えば100万人以上の規模となることがある。また、学力調査においては、調査対象者の答案の正誤を判定するほかに、調査対象者の答案を調査対象者の学習項目の理解傾向に合わせて分類することが行われるが、そのための判断にばらつきがないようにする必要がある。そこで、特許文献1に記載されたような答案分類処理システムが用いられる。 Some of the academic ability tests are surveys conducted by the national or local governments, rather than determining the superiority or inferiority of the examinees, and the survey subjects' understanding tendency for specific learning items is investigated from various aspects and education is conducted. There is an academic ability survey that extracts issues. In such an academic ability survey, a comprehensive survey may be adopted by the national or local public bodies, in which case the number of subjects may be extremely large, for example, the scale may be 1 million or more. In addition, in the academic ability survey, in addition to judging the correctness of the answers of the survey subjects, the answers of the survey subjects are classified according to the understanding tendency of the learning items of the survey subjects. It is necessary to make sure that there is no variation. Therefore, an answer classification processing system as described in Patent Document 1 is used.

特許文献1の答案分類処理システムでは、答案を分類するためのチェックボックスシートが用いられている。チェックボックスシートは、作業者が二者択一式の質問に対して回答し、その回答結果のパターンに従って答案を分類できるようなっている。この答案分類処理システムでは、作業者の判断のばらつきを小さくするために、チェックボックスシートの質問を適宜修正し、修正後の質問で分類作業を続行するようにしている。 In the answer classification processing system of Patent Document 1, a check box sheet for classifying the answers is used. The check box sheet allows the worker to answer the alternative question and classify the answer according to the pattern of the answer result. In this answer classification processing system, in order to reduce the variation in the judgment of the worker, the question on the check box sheet is corrected as appropriate, and the classification work is continued with the corrected question.

特許第5234543号公報Japanese Patent No. 5234543

しかしながら、特許文献1の答案分類処理システムは、分類作業の途中で質問が修正されると、修正の前後で判断にばらつきが生じるおそれがある。このため、修正後の質問の内容で、分類済みの答案を再度最初から全て見直し分類し直す必要があり、この点で、分類作業が非効率なものとなっている。特に、大規模な調査における解答を全数見直すことは極めて大変な作業であり、分類作業の作業効率を低下させる。 However, in the answer classification processing system of Patent Document 1, if the question is corrected in the middle of the classification work, the judgment may vary before and after the correction. For this reason, it is necessary to review and reclassify all the classified answers from the beginning according to the content of the revised question, and in this respect, the classification work is inefficient. In particular, reviewing all the answers in a large-scale survey is an extremely difficult task, which reduces the work efficiency of the classification task.

本発明は、上記課題を解決するためになされたものであり、その目的は、答案の分類作業の効率化を実現することを可能とした答案分類処理システム、答案分類処理方法、および、答案分類処理プログラムを提供することにある。 The present invention has been made to solve the above problems, and an object of the present invention is an answer classification processing system, an answer classification processing method, and an answer classification that have made it possible to realize more efficient answer classification work. It is to provide a processing program.

上記課題を解決する答案分類処理システムは、クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理システムであって、前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、前記クライテリオンは、前記調査項目に関する第1クライテリオンと、前記第1クライテリオンに関連する判断基準で構成された第2クライテリオンとを含み、前記答案に関する答案データを記憶する答案記憶部と、前記クライテリオンを記憶するクライテリオン記憶部と、前記クライテリオンに対する判断結果を記憶する判断結果記憶部と、メイン領域に、前記クライテリアとして、前記第1クライテリオンと前記第1クライテリオンに対する判断を選択する第1チェックボックスとを表示させるとともに、前記メイン領域に対するサブ領域に、前記第2クライテリオンと前記第2クライテリオンに対する判断を選択する第2チェックボックスとを表示させ、前記第1チェックボックスおよび前記第2チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる制御部とを備える。
前記サブ領域は、前記第1クライテリオンおよび前記第2クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を備え、前記制御部は、前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶し、前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する追加チェックボックスとを前記サブ領域に追加表示させ、前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる。
The answer classification processing system that solves the above problems is an answer classification processing system that classifies the answers of a plurality of survey subjects to questions that reflect the survey items that investigate the understanding tendency of the survey subjects for the learning items according to the criteria. The criteria include a plurality of criteria composed of criteria for determining the survey item in an alternative manner, and the criteria include a first criterion for the survey item and a criterion related to the first criterion. An answer storage unit that stores answer data related to the answer, a criterion storage unit that stores the criterion, a judgment result storage unit that stores the judgment result for the criterion, and a main area, including a second criterion composed of As the criteria, a first check box for selecting the first criterion and the judgment for the first criterion is displayed, and a judgment for the second criterion and the second criterion is made in the sub-region for the main region. It is provided with a control unit that displays a second check box to be selected and stores the determination results in the first check box and the second check box in the determination result storage unit in association with the answer data.
The sub-region includes a criterion input unit capable of inputting an additional criterion having a content different from that of the first criterion and the second criterion, and the control unit inputs the additional criterion input to the criterion input unit to the criterion. The additional criterion and the additional check box for selecting the judgment for the additional criterion are additionally displayed in the sub-area, and the judgment result in the additional check box is associated with the answer data to store the judgment result. Make it memorize in the department.

上記構成によれば、第1クライテリオンの判断を見直す場合に、第1クライテリオンに関連する第2クライテリオンに対して判断のある答案を抽出するだけで、第1クライテリオンに対する判断を見直しすることができる。例えば、第2クライテリオンは、作業者が第1クライテリオンに対する判断をする際に迷ったり、困った点、迷うであろう、困るであろう点などを二者択一形式で記載した判断基準であり、第1クライテリオンを詳細化したものである。このような第2クライテリオンは、作業者が第1クライテリオンを判断する際に、判断に困ったことを管理者に伝えるための判断基準としての性質を有する。したがって、第2クライテリオンに対して判断のある答案は、作業者が第1クライテリオンに対する判断をするにあたってばらつきのある答案である。本発明では、このような答案を抽出して、抽出した答案の第1クライテリオンに対する判断を見直すようにする。これにより、答案の全てを見直す必要が無くなり、この点で、答案を分類する作業の効率化を図ることができる。
また、クライテリオン入力部がサブ領域に設けられるので、分類作業の途中で、追加クライテリオンを追加することができる。そして、第1クライテリオンや第2クライテリオンに対して判断に迷った点、困った点などを追加クライテリオンで判断することができる。したがって、追加クライテリオンに対して判断がある答案を抽出して、第1クライテリオンに対する判断を再確認することができる。これにより、見直す答案の数を減らすことができ、答案の分類作業の効率化を図ることができる。
According to the above configuration, when reviewing the judgment of the first criterion, the judgment of the first criterion can be reviewed only by extracting the answer with the judgment for the second criterion related to the first criterion. For example, the second refinement is a judgment standard in which a worker is confused, troubled, confused, or troubled when making a judgment on the first criterion in an alternative format. , A detailed version of the 1st Criterion. Such a second criterion has a property as a judgment standard for informing the manager that the operator has difficulty in the judgment when judging the first criterion. Therefore, the answer that has a judgment for the second criterion is an answer that varies when the worker makes a judgment for the first criterion. In the present invention, such an answer is extracted, and the judgment of the extracted answer for the first criterion is reviewed. This eliminates the need to review all of the answers, and in this respect, it is possible to improve the efficiency of the work of classifying the answers.
Further, since the Criterion input unit is provided in the sub area, an additional Criterion can be added in the middle of the classification work. Then, it is possible to judge the points that are uncertain or troubled with respect to the first cryterion and the second cryterion by the additional cryterion. Therefore, it is possible to extract an answer that has a judgment for the additional criterion and reconfirm the judgment for the first criterion. As a result, the number of answers to be reviewed can be reduced, and the efficiency of the answer classification work can be improved.

上記答案分類処理システムにおいて、前記制御部は、前記サブ領域を、前記メイン領域に重畳させて表示させるようにしてもよい。
上記構成によれば、第1クライテリオンが表示されるメイン領域に重畳させるように第2クライテリオンが表示されるサブ領域が表示されるので、第1クライテリオンに関連付いた第2クライテリオンを見やすくすることができる。
In the answer classification processing system, the control unit may display the sub area superimposed on the main area.
According to the above configuration, since the sub area in which the second criterion is displayed is displayed so as to be superimposed on the main area in which the first criterion is displayed, the second criterion associated with the first criterion can be easily seen. it can.

上記答案分類処理システムにおいて、前記サブ領域は、前記第2クライテリオンおよび前記第2チェックボックスが表示される第1領域と、前記クライテリオン入力部が表示される第2領域とを備え、前記制御部は、前記第2領域において、前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する追加チェックボックスとを追加表示させるようにしてもよい。 In the answer classification processing system, the sub-region includes a first region in which the second criterion and the second check box are displayed, and a second region in which the criterion input unit is displayed, and the control unit includes the control unit. , The additional criterion and an additional check box for selecting a judgment on the additional criterion may be additionally displayed in the second region.

上記答案分類処理システムにおいて、前記制御部は、前記追加クライテリオンを、前記第2クライテリオンとして登録するようにしてもよい。
上記構成によれば、追加クライテリオンを第2クライテリオンに変更することで、第1クライテリオンを詳細化する第2クライテリオンを、作業者からの提案と管理者による検討を経て、分類作業開始後でも追加することができる。
In the answer classification processing system, the control unit may register the additional criteria as the second criteria.
According to the above configuration, by changing the additional Criterion to the 2nd Criterion, the 2nd Criterion which refines the 1st Criterion is added even after the classification work is started after the proposal from the worker and the examination by the manager. be able to.

また、本発明は、上記答案分類処理システムにより実行される答案分類処理方法である。
更に、本発明は、上記答案分類処理システムを実現する答案分類処理プログラムであり、ネットワークや光ディスク、メモリカードなどのリムーバル記録媒体を介して拡布され、サーバなどのコンピュータにインストールされ、実行される。
Further, the present invention is an answer classification processing method executed by the answer classification processing system.
Further, the present invention is an answer classification processing program that realizes the answer classification processing system, is spread via a removable recording medium such as a network, an optical disk, or a memory card, is installed in a computer such as a server, and is executed.

以上のような構成によれば、答案の分類作業の効率化を実現することを可能とした答案分類処理システム、答案分類処理方法、および、答案分類処理プログラムを提供することができる。 According to the above configuration, it is possible to provide an answer classification processing system, an answer classification processing method, and an answer classification processing program that can realize the efficiency of the answer classification work.

(ア)は、学力調査における調査項目を反映させた設問の作成手順を示す図、(イ)は、調査項目とクライテリア、クライテリオンとの関係を示す図。(A) is a diagram showing the procedure for creating questions that reflect the survey items in the academic ability survey, and (B) is a diagram showing the relationship between the survey items and the criteria and criteria. (ア)は、クライテリアに対する判断例のチェックパターンを示す図、(イ)は、調査対象者の答案におけるクライテリアに対する判断結果のチェックパターンを示す図。(A) is a diagram showing a check pattern of a judgment example for a criterion, and (b) is a diagram showing a check pattern of a judgment result for a criterion in a survey subject's answer. 本実施形態の答案分類処理システムの概略を示すブロック図。The block diagram which shows the outline of the answer classification processing system of this embodiment. (ア)は、学力調査における設問を示す図、(イ)は、(ア)の設問における第1クライテリオンを示す図、(ウ)は、第1クライテリオンの下層に設けられる第2クライテリオンを示す図、(エ)は、分類作業内で追加される第αクライテリオンを示す図。(A) is a diagram showing the questions in the academic ability survey, (b) is a diagram showing the first criteria in the question (a), and (c) is a diagram showing the second criteria provided below the first criteria. , (D) is a diagram showing the α-criterion added in the classification work. 設問に対する解答類型を示す図。The figure which shows the answer type to a question. 分類作業を行う際に作業者が使用する画面構成を示す図。The figure which shows the screen composition used by the worker when performing a classification work. 第1クライテリオンに対する第2クライテリオンが表示された状態を示す図。The figure which shows the state which the 2nd Criterion with respect to the 1st Criterion is displayed. 第1クライテリオンの「無解答」に対する第2クライテリオンが表示された状態を示す図。The figure which shows the state which the 2nd Criterion is displayed for "no answer" of the 1st Criterion. 第1クライテリオンの「例外」に対する第2クライテリオンが表示された状態を示す図。The figure which shows the state which the 2nd Criterion is displayed for the "exception" of the 1st Criterion. 第2クライテリオンの下層に、さらに第3クライテリオンを列挙するサブ領域が表示された状態を示す図。The figure which shows the state which the sub region which enumerates the 3rd Criterion is further displayed in the lower layer of the 2nd Criterion. 第1クライテリオンの「△ABM≡△ACM」をチェックし第2クライテリオンを列挙するサブ領域が表示されクライテリオン入力部に判断基準が入力された状態を示す図。The figure which checked "ΔABM≡ΔACM" of the 1st Criterion, displayed the sub area which enumerates the 2nd Criterion, and shows the state which the judgment criterion was input to the Criterion input part. 「AM共有、二辺挟角が等しい」が第αクライテリオンとして追加された状態を示す図。The figure which shows the state which "AM sharing, the two sides sandwiching angle are equal" was added as the αth Criterion. 「AM共有、二辺挟角が等しい」が第2クライテリオンとして追加された状態を示す図。The figure which shows the state which "AM shared, the two sides sandwiching angle are equal" was added as the 2nd Criterion. 管理者のクライアント端末の表示部に第αクライテリオンを第2クライテリオンに登録する登録画面を示す図。The figure which shows the registration screen which registers the αth Criterion in the 2nd Criterion on the display part of the client terminal of an administrator. 類型判定の結果と正誤判定の結果を確認する画面を示す図。The figure which shows the screen which confirms the result of a typology judgment and the result of a correctness judgment.

以下、図1〜図15を用いて、答案分類処理システム及び答案分類処理方法を具体化した一実施形態を説明する。
(学力調査の概要)
図1(ア)に示すように、学力調査における設問を作成するにあたっては、最初に、所定の学年で習得することが定められている学習項目L(L1、L2,L3,L4…)の中から所定の学習項目Lを選択し、選択した学習項目Lを反映させた設問Qを作成する。具体的には、学習項目Lを習得するにあたって必要な学習要素を抽出し、各学習要素の理解度を予測し、学習要素の中から学習項目Lの理解傾向を調査するための調査項目M(M1、M2,M3,M4…)を決定する。例えば、学習要素としては、足し算、引き算、掛け算、割り算、漢字の読み書き、単語の意味、文法などである。設問Qの設問文は、選択された1つまたは複数の調査項目Mが含まれるように作成される。調査対象者は、答案A(A1,A2,A3,A4…)に設問Qに対する解答を行う。
Hereinafter, an embodiment in which the answer classification processing system and the answer classification processing method are embodied will be described with reference to FIGS. 1 to 15.
(Outline of academic ability survey)
As shown in Fig. 1 (a), when creating a question in the academic ability survey, first, among the learning items L (L1, L2, L3, L4 ...) That are required to be acquired in a predetermined grade. Select a predetermined learning item L from the above, and create a question Q that reflects the selected learning item L. Specifically, the survey item M for extracting the learning elements necessary for learning the learning item L, predicting the comprehension level of each learning element, and investigating the comprehension tendency of the learning item L from the learning elements ( M1, M2, M3, M4 ...) Are determined. For example, learning elements include addition, subtraction, multiplication, division, reading and writing kanji, word meaning, and grammar. The question text of question Q is created to include one or more selected survey items M. The survey subject answers question Q to answer A (A1, A2, A3, A4 ...).

図1(イ)に示すように、調査対象者の答案A(A1,A2,A3,A4…)の解答を評価し学習項目の理解傾向に合わせて分類する作業者は、クライテリアCを用いて、答案の分類作業を行う。クライテリアCは、設問Qに反映された調査項目Mに対応するクライテリオンCT(CT1,CT2,CT3,CT4)が列挙されている。クライテリオンCTは、設問Qに対する答案Aに記載された解答を評価する判断基準であり、各クライテリオンCT(CT1,CT2,CT3,CT4)には、解答を評価するためのチェックボックスCB(CB1,CB2,CB3,CB4)が対応付けられている。各クライテリオンCTは、二者択一式の判断基準であり、作業者によって、各チェックボックスCBがチェックされる。クライテリオンCTを構成する各判断基準は、一定の水準にある作業者であれば同一の判断結果となるような、すなわち作業者の判断について裁量が少なくなるような基準とされる。各クライテリオンCTに対応付けられるチェックボックスCBは、1つのボックスで構成して、クライテリオンCTの条件を満たしているときに限って、ボックスをチェックする構成としてもよい。また、2つのボックスで構成して、一方のボックスを、条件を満たしている場合にチェックするボックスとし、他方のボックスを、条件を満たしていない場合にチェックするボックスとしてもよい。 As shown in FIG. 1 (a), the worker who evaluates the answers of the survey subjects' answers A (A1, A2, A3, A4 ...) And classifies them according to the understanding tendency of the learning items uses Criteria C. , Perform the answer classification work. As for the criterion C, the criteria CT (CT1, CT2, CT3, CT4) corresponding to the survey item M reflected in the question Q are listed. Criterion CT is a criterion for evaluating the answer described in Answer A to Question Q, and each Criterion CT (CT1, CT2, CT3, CT4) has a check box CB (CB1, CB2) for evaluating the answer. , CB3, CB4) are associated with each other. Each Criterion CT is an alternative criterion, and each check box CB is checked by the operator. Each judgment standard constituting the Criterion CT is a standard that gives the same judgment result if the worker is at a certain level, that is, the judgment of the worker is less discretionary. The check box CB associated with each Criterion CT may be configured as one box, and the boxes may be checked only when the conditions of the Criterion CT are satisfied. Further, it may be composed of two boxes, one box may be a box to be checked when the condition is satisfied, and the other box may be a box to be checked when the condition is not satisfied.

図2(ア)に示すように、分類にあたっては、あらかじめ、調査項目Mに対応するクライテリオンCT(CT1,CT2,CT3,CT4)に対する解答例E(E1,E2,E3,E4…)を作成しておく。各解答例Eは、調査対象者の答案における調査項目Mに関する解答を予測して作成する。そして、調査項目に対する解答結果の予測チェックパターンを解答例Eとして複数用意する。例えば、解答例E1は、クライテリオンCT1〜CT4のチェックボックスCB1〜CB4の全てにチェックを入れた類型1と定義され、解答例2は、クライテリオンCT1,CT3,CT4のチェックボックスCB1,CB3,CB4にチェックを入れた類型2と定義される。 As shown in FIG. 2 (a), in the classification, an example answer E (E1, E2, E3, E4 ...) For the Criterion CT (CT1, CT2, CT3, CT4) corresponding to the survey item M is prepared in advance. Keep it. Each answer example E is created by predicting the answer regarding the survey item M in the survey subject's answer. Then, a plurality of prediction check patterns for the answer results for the survey items are prepared as answer example E. For example, the answer example E1 is defined as a type 1 in which all the check boxes CB1 to CB4 of the criteria CT1 to CT4 are checked, and the answer example 2 is set to the check boxes CB1, CB3, CB4 of the criteria CT1, CT3, CT4. It is defined as type 2 with a check mark.

図2(イ)に示すように、各調査対象者の答案A1〜A4に対しては、クライテリアCを使って分類される。例えば、答案A1は、クライテリオンCT1〜CT4のチェックボックスCB1〜CB4の全てにチェックを入れた解答例E1と一致し、類型1に分類される。答案A2は、クライテリオンCT1,CT2,CT4のチェックボックスCB1,CB2,CB4にチェックを入れた解答例E3と一致し、類型3に分類される。各類型に分類された答案Aの数によって、調査対象者の学習項目Lの理解傾向を調査することができる。 As shown in FIG. 2 (a), the answers A1 to A4 of each survey subject are classified using the criteria C. For example, the answer A1 matches the answer example E1 in which all the check boxes CB1 to CB4 of the criteria CT1 to CT4 are checked, and is classified into the type 1. Answer A2 corresponds to answer example E3 in which the check boxes CB1, CB2, and CB4 of the criteria CT1, CT2, and CT4 are checked, and is classified into type 3. The comprehension tendency of the learning item L of the survey subject can be investigated by the number of the answers A classified into each type.

(答案分類処理システム)
図3に示すように、以上のような学力調査において、答案の分類に使用される答案分類処理システム1は、答案の分類作業を管理する答案分類処理サーバ10と、答案の分類作業を行う作業者が操作する複数のクライアント端末2と、答案の分類作業を管理する管理者が操作するクライアント端末3とを備えている。そして、答案分類処理サーバ10とクライアント端末2,3は、相互にネットワーク4を介して接続されている。クライアント端末2,3は、共に、デスクトップ型やノート型のコンピュータ端末などの情報処理端末であり、コンピュータ本体2a,3aと、コンピュータ本体2a,3aに接続されるキーボードやポインティングデバイスなどの入力部2b,3bと、コンピュータ本体2a,3aに接続される液晶表示パネルなどの表示部2c,3cとを備えている。
(Answer classification processing system)
As shown in FIG. 3, in the above academic ability survey, the answer classification processing system 1 used for classifying the answers has an answer classification processing server 10 that manages the answer classification work and a work that performs the answer classification work. It includes a plurality of client terminals 2 operated by a person, and a client terminal 3 operated by an administrator who manages the answer classification work. Then, the answer classification processing server 10 and the client terminals 2 and 3 are connected to each other via the network 4. The client terminals 2 and 3 are both information processing terminals such as desktop type and notebook type computer terminals, and are input units 2b such as a keyboard and a pointing device connected to the computer bodies 2a and 3a and the computer bodies 2a and 3a. , 3b and display units 2c, 3c such as a liquid crystal display panel connected to the computer main bodies 2a, 3a.

答案分類処理サーバ10は、CPU、ROM、RAM、大容量ハードディスクなどのハードウェアにより構成されたコンピュータシステムであり、ネットワーク4を経由してクライアント端末2,3が接続されている。答案分類処理サーバ10は、答案記憶部11と、答案入力部12と、クライテリオン記憶部13と、解答類型記憶部14と、判断結果記憶部15と、制御部16とを備える。答案記憶部11とクライテリオン記憶部13と解答類型記憶部14と判断結果記憶部15とは、例えば大容量ハードディスクに構築されている。 The answer classification processing server 10 is a computer system composed of hardware such as a CPU, ROM, RAM, and a large-capacity hard disk, and client terminals 2 and 3 are connected via a network 4. The answer classification processing server 10 includes an answer storage unit 11, an answer input unit 12, a criterion storage unit 13, an answer type storage unit 14, a determination result storage unit 15, and a control unit 16. The answer storage unit 11, the criterion storage unit 13, the answer type storage unit 14, and the determination result storage unit 15 are built on, for example, a large-capacity hard disk.

答案記憶部11は、調査対象者の答案を記憶する記憶領域であり、答案Aの画像データで構成された答案データが、答案Aを一意に特定する識別データと関連付けられて記憶されている。答案記憶部11には、答案データが答案入力部12から入力される。答案入力部12は、例えば、イメージスキャナであり、読み込んだ答案の画像データから答案データを生成し、答案データに対して識別データを付与して、答案記憶部11に記憶する。 The answer storage unit 11 is a storage area for storing the answer of the survey subject, and the answer data composed of the image data of the answer A is stored in association with the identification data that uniquely identifies the answer A. Answer data is input to the answer storage unit 11 from the answer input unit 12. The answer input unit 12 is, for example, an image scanner, generates answer data from the image data of the read answer, adds identification data to the answer data, and stores it in the answer storage unit 11.

クライテリオン記憶部13は、クライテリアCに列挙する調査項目Mに対応したクライテリオンCTの要素を記憶する。具体的には、クライテリオンは、調査項目M1〜Mmに関する第1クライテリオンと、第1クライテリオンに関する詳細な判断基準で構成された第2クライテリオンとを備えている。さらに、第1クライテリオンや第2クライテリオンに関する詳細な判断基準で構成された追加クライテリオンとしての第αクライテリオンを備えている。第1クライテリオン、第2クライテリオンおよび第αクライテリオンの何れも、二者択一式の判断基準であり、一定の水準にある作業者であれば同一の判断結果となるような、すなわち作業者の判断について裁量が少なくなるような基準となっている。一方で、全ての作業者の判断がばらつかないような判断基準を作成することも困難である。第2クライテリオンおよび第αクライテリオンは、作業者が第1クライテリオンに対する判断に迷ったり困った点、困るであろう点などを二者択一形式で記載した判断基準である。 The Criterion storage unit 13 stores the elements of the Criterion CT corresponding to the survey item M listed in the Criteria C. Specifically, the Criterion includes a first Criterion relating to the survey items M1 to Mm and a second Criterion composed of detailed judgment criteria regarding the first Criterion. Further, it is provided with an α-criterion as an additional criterion composed of detailed criteria for the first criterion and the second criterion. The 1st Criterion, the 2nd Criterion, and the α-Criterion are all alternative judgment criteria, and if a worker is at a certain level, the same judgment result will be obtained, that is, regarding the judgment of the worker. It is a standard that reduces discretion. On the other hand, it is also difficult to create a judgment standard so that the judgments of all workers do not vary. The second criterion and the α-criterion are judgment criteria in which the worker is confused or troubled in making a judgment on the first criterion, points that may be troubled, and the like in an alternative format.

具体的には、クライテリオン記憶部13は、第1クライテリオンと第2クライテリオンと第αクライテリオンとを階層的に関連付けて記憶する。 Specifically, the Criterion storage unit 13 stores the first Criterion, the second Criterion, and the α-Criterion in a hierarchically associated manner.

図4(ア)に示すように、例えば、学習項目Lを「三角形の合同条件」に設定し、設問Qを「AB=ACの二等辺三角形△ABCの点AからBCへ下ろした垂線のBCとの交点をMとする。BM=CMであることを証明せよ。」とした場合を例に説明する。図4(イ)に示すように、この場合において、第1クライテリオンは、調査項目に対応した(a)〜(f)となる。クライテリオン記憶部13には、図4(イ)に示す(a)〜(f)のような第1クライテリオンが記憶される。 As shown in FIG. 4 (a), for example, the learning item L is set to "congruent condition of triangles", and the question Q is set to "BC of the perpendicular line drawn from the point A of the isosceles triangle ΔABC of AB = AC to BC". Let M be the intersection with and. Prove that BM = CM. ”Is described as an example. As shown in FIG. 4 (a), in this case, the first criteria are (a) to (f) corresponding to the survey items. The Criterion storage unit 13 stores the first Criterion as shown in FIGS. 4A and 4A.

図4(ウ)に示すように、例えば第1クライテリオン「(a)AB=AC」に関連した第2クライテリオンは、「(a−1)「仮定より」がない」、「(a−2)=が≡」という内容となる。すなわち、第2クライテリオンは、作業者が第1クライテリオン「(a)AB=AC」を判断するに際して、判断に迷うと予想される項目が挙げられており、作業者が判断に迷った点を管理者に伝えるために設けられる。つまり、第2クライテリオンは、第1クライテリオンの下層に位置する詳細化のための基準である。このような第2クライテリオンは、第1クライテリオンの作成時に予め設けられていてもよいし、次に説明する第αクライテリオンから変更されたものであってもよい。クライテリオン記憶部13には、図4(ウ)に示す(a−1)や(a−2)のようなクライテリオンも階層的に記憶される。 As shown in FIG. 4 (c), for example, the second criterion related to the first criterion "(a) AB = AC" is "(a-1) there is no" from assumption "", "(a-2). = Is ≡ ”. That is, in the second criterion, items that are expected to be confused when the worker judges the first criterion "(a) AB = AC" are listed, and the point that the worker is confused in the judgment is managed. It is provided to tell people. That is, the second Criterion is a standard for refinement located below the first Criterion. Such a second Criterion may be provided in advance at the time of creating the first Criterion, or may be modified from the α-Criterion described below. Criterions such as (a-1) and (a-2) shown in FIG. 4 (c) are also hierarchically stored in the criterion storage unit 13.

さらに、第1クライテリオンや第2クライテリオンに関連した第αクライテリオンは、「(a−α)=が//」という内容となる。画像データのノイズや傾きによって、「=」の記号が「//」の記号に見えてしまうこともあり、作業者が判断に迷うことがあるからである。このような第αクライテリオンは、分類作業の開始時から存在するものではなく、作業者が分類作業の途中で判断に迷い、作業者が追加した作業者タグとしてのクライテリオンである。つまり、第1クライテリオンの下層に位置する詳細化のための基準である。そして、第αクライテリオンは、追加した作業者のクライアント端末2だけでなく、他の作業者が使用するクライアント端末2や管理者のクライアント端末3にも公開される。したがって、他の作業者も、第αクライテリオンを見ることができ、また、第αクライテリオンに該当するときには、他の作業者によってもチェックボックスがチェックされる。クライテリオン記憶部13には、図4(エ)に示す(a−α)のような第αクライテリオンも階層的に記憶される。 Further, the α-Criterion related to the 1st Criterion and the 2nd Criterion has the content of "(a-α) = ga //". This is because the "=" symbol may appear as a "//" symbol due to noise or inclination of the image data, and the operator may be confused about the judgment. Such a third α-criterion does not exist from the beginning of the classification work, but is a criterion as a worker tag added by the worker because the worker is confused during the classification work. In other words, it is a standard for refinement located in the lower layer of the first Criterion. Then, the α-criterion is disclosed not only to the added worker's client terminal 2 but also to the client terminal 2 used by other workers and the administrator's client terminal 3. Therefore, other workers can also see the α-criterion, and when the α-criterion is applicable, the check box is also checked by the other worker. The criterion storage unit 13 also hierarchically stores the αth criterion as shown in FIG. 4 (d) (a-α).

以上のように、第2クライテリオンと第αクライテリオンは、作業者が第1クライテリオンを判断する際に、判断に困ったことを管理者に伝えるための項目となり、第2クライテリオンと第αクライテリオンにチェックがある答案は、第1クライテリオンに対する判断にばらつきがある可能性がある答案である。このような第2クライテリオンや第αクライテリオンがチェックされた答案Aの第1クライテリオンの判断を見直すことで、見直す必要のある答案Aの数を減らすことができる。 As described above, the 2nd Criterion and the α-Criterion are items for the operator to inform the administrator that the judgment was difficult when judging the 1st Criterion, and check the 2nd Criterion and the α-Criterion. Some answers are those that may have variability in their judgment on the first criteria. By reviewing the judgment of the first criterion of the answer A in which the second criterion and the α-alpha criterion are checked, the number of the answer A that needs to be reviewed can be reduced.

図5に示すように、解答類型記憶部14は、設問Qに対する解答の類型を記憶している。ここでは、「1」〜「7」と「9」および「0」の類型を備えている。作業者のクライアント端末2から送信された第1クライテリオンに対する二択の判断結果が何れの類型に当てはまるかが制御部16によって判定される。制御部16は、例えば、第1クライテリオンの(a)〜(f)の第1チェックボックスCB1の全てにチェックがされているとき、正答「◎」と判断し、類型1と判断する。また、第1クライテリオンの(a)〜(f)の中の(b)の第1チェックボックスCB1のみがチェックされていないとき、正答とは判断せず、類型6と判断する。上述した第2クライテリオン(a−1),(a−2)がチェックされている場合は、第1クライテリオン(a)の第1チェックボックスCB1がチェックされており、いったんは正答「◎」と判断し類型1と判断するが、以後の管理者の判断によっては類型2の「表現が十分でない」場合に相当する可能性がある。 As shown in FIG. 5, the answer type storage unit 14 stores the type of the answer to the question Q. Here, the types of "1" to "7", "9", and "0" are provided. The control unit 16 determines which type the two-choice determination result for the first criterion transmitted from the client terminal 2 of the worker corresponds to. For example, when all of the first check boxes CB1 of the first criteria (a) to (f) are checked, the control unit 16 determines that the correct answer is "⊚" and determines that the type is 1. Further, when only the first check box CB1 of (b) in (a) to (f) of the first criterion is not checked, it is not judged as a correct answer, but is judged as type 6. When the above-mentioned second criteria (a-1) and (a-2) are checked, the first check box CB1 of the first criteria (a) is checked, and the answer is once determined to be "◎". Although it is judged to be type 1, there is a possibility that it corresponds to the case of "insufficient expression" of type 2 depending on the subsequent judgment of the administrator.

判断結果記憶部15は、第1クライテリオンに対する第1判断結果と、第2クライテリオンに対する第2判断結果と、第αクライテリオンに対する第α判断結果とを記憶する。 The determination result storage unit 15 stores the first determination result for the first Criterion, the second determination result for the second Criterion, and the α determination result for the α Criterion.

具体的には、第1判断結果は、第1クライテリオン(図4(イ)参照)に対する二択の判断結果としての第1チェックボックスCB1のチェックパターンである。このチェックパターンが答案Aの識別データと関連付けられて判断結果記憶部15に記憶される。
第2判断結果は、第2クライテリオン(図4(ウ)参照)に対する二択の判断結果としての第2チェックボックスCB2のチェックパターンである。このチェックパターンが答案Aの識別データと関連付けられて判断結果記憶部15に記憶される。
第α判断結果は、第αクライテリオン(図4(エ)参照)に対する二択の判断結果としての第αチェックボックスCBαのチェックパターンである。このチェックパターンが答案Aの識別データと関連付けられて判断結果記憶部15に記憶される。
Specifically, the first determination result is a check pattern of the first check box CB1 as a two-choice determination result for the first criterion (see FIG. 4A). This check pattern is associated with the identification data of the answer A and stored in the determination result storage unit 15.
The second determination result is a check pattern of the second check box CB2 as a two-choice determination result for the second criterion (see FIG. 4C). This check pattern is associated with the identification data of the answer A and stored in the determination result storage unit 15.
The α-th determination result is a check pattern of the α-check box CBα as a two-choice determination result for the α-criterion (see FIG. 4 (d)). This check pattern is associated with the identification data of the answer A and stored in the determination result storage unit 15.

制御部16は、答案分類処理サーバ10の全体の動作を制御すると共に、クライアント端末2,3との通信を制御する。具体的には、以下のような処理を行う。
制御部16は、作業者のクライアント端末2からの答案Aの送信要求を受信すると、識別データが付与された答案データを答案記憶部11より読み出し、クライアント端末2に送信する。あわせて、制御部16は、クライテリアCをクライアント端末2に送信する。図6に示すように、クライアント端末2の表示部2cには、左側の答案表示領域21に、答案データADが表示され、右側のクライテリア表示領域22にクライテリアCが表示される。
The control unit 16 controls the overall operation of the answer classification processing server 10 and also controls communication with the client terminals 2 and 3. Specifically, the following processing is performed.
When the control unit 16 receives the transmission request of the answer A from the client terminal 2 of the worker, the control unit 16 reads the answer data to which the identification data is added from the answer storage unit 11 and transmits the answer data to the client terminal 2. At the same time, the control unit 16 transmits the criterion C to the client terminal 2. As shown in FIG. 6, on the display unit 2c of the client terminal 2, the answer data AD is displayed in the answer display area 21 on the left side, and the criterion C is displayed in the criterion display area 22 on the right side.

クライテリアCは、メイン領域23を有し、メイン領域23には、第1クライテリオン(a)〜(f),(0),(X)が列挙される。また、各第1クライテリオン(a)〜(f),(0),(X)には、第1チェックボックスCB1が対応付けられている。さらに、メイン領域23には、クライテリアCに対する判断結果を答案分類処理サーバ10に送信する判定ボタン24と、分類作業中の答案のチェック作業をキャンセルするキャンセルボタン25とが表示される。 Criteria C has a main region 23, and the first criteria (a) to (f), (0), (X) are listed in the main region 23. Further, the first check box CB1 is associated with each of the first criteria (a) to (f), (0), and (X). Further, in the main area 23, a determination button 24 for transmitting the determination result for the criterion C to the answer classification processing server 10 and a cancel button 25 for canceling the check operation of the answer during the classification work are displayed.

クライアント端末2において、作業者は、表示部2cに表示された答案データADを見ながら、入力部2bを用いて第1チェックボックスCB1に対してチェックを入れる入力作業を行う。 In the client terminal 2, the worker performs an input operation of checking the first check box CB1 using the input unit 2b while looking at the answer data AD displayed on the display unit 2c.

図7に示すように、第1クライテリオンの(a)の下層には、第2クライテリオン(a−1),(a−2)が関連付けられている。例えば入力部2bによって第1クライテリオン(a)の第1チェックボックスCB1がチェックされると、メイン領域23に重畳するようにしてサブ領域26が表示される。サブ領域26は、第1領域26aと第2領域26bとを備え、第1領域26aには、第2クライテリオン(a−1),(a−2)が列挙される。ここでの第2クライテリオン(a−1),(a−2)は、第1クライテリオン(a)を詳細化する判断基準であり、「(a−1)「仮定より」がない。」、「(a−2)=が≡」といった内容となる。作業者によっては、「AB=AC」が記載されていても、「仮定より」の記載がなく、判断に迷うことがあったり、「=」と「≡」とは、「−」の数が1本違うだけであり、誤記かどうかや不鮮明で判断に迷うときもあるからである。第2クライテリオン(a−1),(a−2)にも第2チェックボックスCB2が対応付けられている。 As shown in FIG. 7, the second criterions (a-1) and (a-2) are associated with the lower layer of the first criterion (a). For example, when the first check box CB1 of the first criterion (a) is checked by the input unit 2b, the sub area 26 is displayed so as to overlap the main area 23. The sub-region 26 includes a first region 26a and a second region 26b, and the second regions (a-1) and (a-2) are listed in the first region 26a. The second criteria (a-1) and (a-2) here are criteria for refining the first criteria (a), and there is no "(a-1)" from assumption ". , "(A-2) = is ≡". Depending on the worker, even if "AB = AC" is described, there is no description of "from the assumption" and it may be difficult to judge, or "=" and "≡" are the number of "-". This is because there is only one difference, and it may be difficult to judge whether it is an error or not. The second check box CB2 is also associated with the second criteria (a-1) and (a-2).

また、第2領域26bには、作業者タグとしての第αクライテリオン(a−α)が表示され、第αクライテリオン(a−α)にも、第αチェックボックスCBαが対応付けられている。第αクライテリオンは、作業者が追加した追加クライテリオンであり、第αクライテリオンに対する第αチェックボックスCBαが追加チェックボックスとなる。さらに、第2領域26bには、第αクライテリオンを入力するクライテリオン入力部27を備えている。クライテリオン入力部27には、第αクライテリオンとなるテキストデータを入力することができる。さらに、クライテリオン入力部27に隣接する位置には、追加ボタン27aと登録ボタン28とキャンセルボタン29とを備えている。追加ボタン27aが押されたときには、クライテリオン入力部27に入力された判断基準が第αクライテリオンとして第2領域26bに表示され、第αクライテリオンに対応付いて第αチェックボックスCBαが表示される。登録ボタン28が押されたときには、サブ領域26に表示された第2クライテリオンに対応する第2チェックボックスCB2と第αクライテリオンに対応する第αチェックボックスCBαのチェックパターンを確定させることができる。 Further, the α-criterion (a-α) as a worker tag is displayed in the second region 26b, and the α-check box CBα is also associated with the α-criterion (a-α). The αth Criterion is an additional Criterion added by the operator, and the αth check box CBα for the αth Criterion is an additional check box. Further, the second region 26b is provided with a criterion input unit 27 for inputting the α-criterion. Text data to be the α-criterion can be input to the criterion input unit 27. Further, an additional button 27a, a registration button 28, and a cancel button 29 are provided at positions adjacent to the Criterion input unit 27. When the add button 27a is pressed, the determination criterion input to the criterion input unit 27 is displayed in the second region 26b as the α-criterion, and the α check box CBα is displayed corresponding to the α-criterion. When the registration button 28 is pressed, the check patterns of the second check box CB2 corresponding to the second criterion and the α check box CBα corresponding to the α-criterion displayed in the sub-region 26 can be confirmed.

図8は、第1クライテリオン(0)の「無解答」をチェックしたときの画面を示す図である。この場合、サブ領域26には、「無解答」を詳細化した第2クライテリオン(0−1)「白紙か迷う」が表示されるとともに、第2チェックボックスCB2が表示される。 FIG. 8 is a diagram showing a screen when "no answer" of the first criterion (0) is checked. In this case, in the sub-region 26, the second criterion (0-1) “I am at a loss as to whether it is blank” is displayed, and the second check box CB2 is displayed.

図9は、第1クライテリオン(X)の「例外」をチェックしたときの画面を示す図である。この場合、サブ領域26には、「例外」を詳細化した第2クライテリオン(X−1)「報告すべき」、(X−2)「外国語・方言」、(X−3)「欄外確認」、(X−4)「その他例外」が表示されるとともに、第2チェックボックスCB2が表示される。 FIG. 9 is a diagram showing a screen when the “exception” of the first Criterion (X) is checked. In this case, in the sub-region 26, the second criteria (X-1) "should be reported", (X-2) "foreign language / dialect", (X-3) "margin confirmation" which refined the "exception" , (X-4) "Other exceptions" are displayed, and the second check box CB2 is displayed.

図10は、第2クライテリオン(a−2)の下層に、さらに第3クライテリオン(a−2−1)を列挙するサブ領域30が表示された状態を示す。1つ目のサブ領域26の第2クライテリオン(a−2)で「=が≡」がチェックされたときにおいて、さらにサブ領域30が表示され、サブ領域30に第3クライテリオン(a−2−1)が表示される。そして、第3クライテリオン(a−2−1)に対応付いて第3チェックボックスCB3が表示される。ここでは、第3クライテリオン(a−2−1)として「=か≡か不鮮明」と表示される。作業者によっては、「=」の記号と「≡」の記号とは、「−」の数が1本違うだけであり、不鮮明で、「−」が2本か3本か区別することが困難な場合もあるからである。サブ領域30においても、登録ボタン28とキャンセルボタン29とが設けられており、登録ボタン28が押されたときには、サブ領域30に表示された第3クライテリオン(a−2−1)に対応する第3チェックボックスCB3のチェックパターンを確定させることができる。なお、サブ領域30の構成は、上述したサブ領域26の構成と同じであり、詳細は省略する。 FIG. 10 shows a state in which a sub-region 30 enumerating the third criterion (a-2-1) is further displayed in the lower layer of the second criterion (a-2). When "= is ≡" is checked in the second criterion (a-2) of the first sub-region 26, the sub-region 30 is further displayed, and the third criterion (a-2-1) is displayed in the sub-region 30. ) Is displayed. Then, the third check box CB3 is displayed corresponding to the third criterion (a-2-1). Here, "= or ≡ or unclear" is displayed as the third criterion (a-2-1). Depending on the worker, the "=" symbol and the "≡" symbol differ only in the number of "-" by one, and are unclear, and it is difficult to distinguish between two and three "-". This is because there are cases. A registration button 28 and a cancel button 29 are also provided in the sub area 30, and when the registration button 28 is pressed, a third criterion (a-2-1) corresponding to the third criterion (a-2-1) displayed in the sub area 30 is provided. 3 Check box The check pattern of CB3 can be confirmed. The configuration of the sub-region 30 is the same as the configuration of the sub-region 26 described above, and details will be omitted.

図11は、第1クライテリオン(e)の「△ABM≡△ACM」をチェックしたときの画面を示す図である。この場合、サブ領域26には、第1クライテリオン(e)を詳細化した三角形の合同条件の1つである第2クライテリオン(e−1)「「一辺とその両端の角が等しい」が不十分」が表示されるとともに、第2クライテリオン(e−1)に対応して第2チェックボックスCB2が表示される。また、ある答案Aに、三角形の合同条件の1つである「AM共有、二辺挟角が等しい」が記載されているとき、クライテリオン入力部27に、「AM共有、二辺挟角が等しい」を入力することができる。 FIG. 11 is a diagram showing a screen when “ΔABM≡ΔACM” of the first criterion (e) is checked. In this case, in the sub-region 26, the second criterion (e-1) "" the corners of one side and both ends are equal ", which is one of the congruent conditions of the triangles that refine the first criterion (e), is insufficient. Is displayed, and the second check box CB2 is displayed corresponding to the second criterion (e-1). Further, when one of the congruent conditions of triangles, "AM sharing, two-sided angle is equal" is described in a certain answer A, "AM sharing, two-sided angle is equal" is described in the Criterion input unit 27. Can be entered.

図12に示すように、追加ボタン27aが押されたときには、第2領域26bに、クライテリオン入力部27に入力された第αクライテリオン(e−α)が表示され、第αクライテリオン(e−α)に対応付いて第αチェックボックスCBαが表示される。
なお、第αクライテリオンを追加する処理は、管理者のクライアント端末3で行うこともできる。
As shown in FIG. 12, when the additional button 27a is pressed, the α-criterion (e−α) input to the Criterion input unit 27 is displayed in the second region 26b, and the α-criterion (e−α) is displayed. The αth check box CBα is displayed corresponding to.
The process of adding the α-criterion can also be performed on the administrator's client terminal 3.

管理者のクライアント端末3においても、表示部3cで同様な画面を見ることができる。図13に示すように、クライアント端末3では、第αクライテリオン(e−α)を第2クライテリオン(e−2)に変更登録することができる。
図14は、表示部3cに表示される登録画面である。この画面には、第2クライテリオンが列挙されており、第2クライテリオンに採用されているものには「true」フラグが設定され、不採用のものには「false」フラグが設定されている。また、この画面は登録ボタン31とキャンセルボタン32とを備えている。第αクライテリオン(e−α)の「AM共有、二辺挟角が等しい」を第2クライテリオンにするには、採用フラグを「false」から「true」に変更し、登録ボタン31を押すことによって変更することができる。これにより、図13に示すように、作業者のクライアント端末2の表示部2cにおいて、サブ領域26の第1領域26aに第2クライテリオン(e−1),(e−2)が列挙され見やすい状態となる。
A similar screen can be viewed on the display unit 3c on the administrator's client terminal 3. As shown in FIG. 13, in the client terminal 3, the α-criterion (e−α) can be changed and registered to the second criterion (e-2).
FIG. 14 is a registration screen displayed on the display unit 3c. On this screen, the second criteria are listed, and the "true" flag is set for those adopted for the second criteria, and the "false" flag is set for those not adopted. Further, this screen includes a registration button 31 and a cancel button 32. To change the "AM sharing, equal two-sided angle" of the α-criterion (e-α) to the second criterion, change the adoption flag from "false" to "true" and press the registration button 31. Can be changed. As a result, as shown in FIG. 13, in the display unit 2c of the client terminal 2 of the worker, the second criteria (e-1) and (e-2) are listed in the first area 26a of the sub area 26 and are in an easy-to-see state. It becomes.

メイン領域23における判定ボタン24がクリックされると、クライアント端末2は、クライテリアCに対する判断結果を答案分類処理サーバ10に送信する。すると、答案分類処理サーバ10の制御部16は、判断結果のパターンに基づいて調査対象者の設問Qに対する解答が解答類型記憶部14に記憶している設問Qに対する解答類型の何れの類型に該当するかを判断し、解答の正誤を判定する。そして、制御部16は、クライアント端末2に対して、正誤判定の結果と類型判定の結果を送信する。作業者は、自分が採点した答案Aの類型と正誤判定の結果を確認することができる。 When the determination button 24 in the main area 23 is clicked, the client terminal 2 transmits the determination result for the criterion C to the answer classification processing server 10. Then, the control unit 16 of the answer classification processing server 10 corresponds to any type of the answer type for the question Q stored in the answer type storage unit 14 for the answer to the question Q of the survey subject based on the pattern of the judgment result. Judge whether to do it and judge the correctness of the answer. Then, the control unit 16 transmits the result of the correctness determination and the result of the type determination to the client terminal 2. The worker can confirm the type of the answer A scored by himself and the result of the correctness judgment.

図15は、類型判定の結果と正誤判定の結果を確認する画面を示す。この画面では、類型判定の結果と正誤判定の結果ボックス33が表示される。また、この画面は登録ボタン34とキャンセルボタン35とを備えている。作業者が類型判定の結果と正誤判定の結果を確認し修正がないとき、登録ボタン34が押されると、クライアント端末2は、確認信号を答案分類処理サーバ10に送信する。制御部16は、確認信号を受信すると、判断結果記憶部15に各クライテリオンの判断結果を当該答案Aの類型と共に記憶する。制御部16が、各類型に分類された答案Aの数や全答案数に対する各類型の比率(類型分布と呼ぶ)、正答率などを算出することにより、管理者は調査対象者の学習項目Lの理解傾向を調査することができる。 FIG. 15 shows a screen for confirming the result of the typology determination and the result of the correctness determination. On this screen, the result of the typology determination and the result box 33 of the correctness determination are displayed. Further, this screen includes a registration button 34 and a cancel button 35. When the worker confirms the result of the type determination and the result of the correctness determination and there is no correction, when the registration button 34 is pressed, the client terminal 2 transmits a confirmation signal to the answer classification processing server 10. Upon receiving the confirmation signal, the control unit 16 stores the determination result of each criterion in the determination result storage unit 15 together with the type of the answer A. The control unit 16 calculates the number of answers A classified into each type, the ratio of each type to the total number of answers (called a type distribution), the correct answer rate, and the like, so that the manager can learn the learning item L of the survey subject. You can investigate the understanding tendency of.

上記実施形態によれば、以下に列挙する効果を得ることができる。
(1)制御部16が、答案Aの図5に示す解答類型それぞれに対する比率(類型分布と呼ぶ)や正答率などを算出することにより、管理者は学習項目Lに対する調査対象者の理解傾向を調査することができる。
According to the above embodiment, the effects listed below can be obtained.
(1) The control unit 16 calculates the ratio (called the type distribution) and the correct answer rate for each of the answer types shown in FIG. 5 of the answer A, so that the manager can determine the understanding tendency of the survey target person for the learning item L. Can be investigated.

(2)クライアント端末2において、メイン領域23には、クライテリアCとして、第1クライテリオン(a)〜(f),(0),(X)と第1クライテリオン(a)〜(f),(0),(X)に対する判断を選択する第1チェックボックスCB1とが表示される。これと共に、サブ領域26には、第2クライテリオン(a−1),(a−2)と第2クライテリオン(a−1),(a−2)に対する判断を選択する第2チェックボックスCB2とが表示される。作業者は、第1クライテリオンを判断するに際して、判断に迷った点などを第2クライテリオンで判断することができる。したがって、例えば、第2クライテリオンに対して判断がある答案Aだけを抽出して、第1クライテリオンに対する判断を再確認することができる。それにより、見直す答案Aの数を減らすことができ、答案Aの分類作業の効率化を図ることができる。 (2) In the client terminal 2, the main area 23 includes the first criteria (a) to (f), (0), (X) and the first criteria (a) to (f), (0) as the criteria C. ), The first check box CB1 for selecting the judgment for (X) is displayed. Along with this, the sub-region 26 contains a second check box CB2 for selecting a judgment for the second criteria (a-1), (a-2) and the second criteria (a-1), (a-2). Is displayed. When determining the first criteria, the worker can determine points that he / she is uncertain about in the second criteria. Therefore, for example, it is possible to extract only the answer A that has a judgment on the second criterion and reconfirm the judgment on the first criterion. As a result, the number of answer A to be reviewed can be reduced, and the efficiency of the classification work of answer A can be improved.

(3)第1クライテリオンが表示されるメイン領域23に重畳させるように第2クライテリオンが表示されるサブ領域26が表示されるので、第1クライテリオンに関連付いた第2クライテリオンを見やすくすることができる。 (3) Since the sub area 26 in which the second criterion is displayed is displayed so as to be superimposed on the main area 23 in which the first criterion is displayed, the second criterion related to the first criterion can be easily seen. ..

(4)クライテリオン入力部27がサブ領域26に設けられるので、分類作業の途中で、第αクライテリオンを追加することができる。そして、第1クライテリオンや第2クライテリオンに対して判断に迷った点などを第αクライテリオンで判断することができる。したがって、例えば、第αクライテリオンに対して判断がある答案Aだけを抽出して、第1クライテリオンに対する判断を再確認することができる。これにより、見直す答案Aの数を減らすことができ、答案Aの分類作業の効率化を図ることができる。
(5)第αクライテリオンを第2クライテリオンに変更することで、作業者の提案と管理者の検討を経て、分類作業開始後でもクライテリオンを追加することができる。
(4) Since the Criterion input unit 27 is provided in the sub-region 26, the α-Criterion can be added in the middle of the classification work. Then, the α-criterion can be used to determine points that are uncertain about the first or second criteria. Therefore, for example, it is possible to extract only the answer A that has a judgment on the first criterion and reconfirm the judgment on the first criterion. As a result, the number of answer A to be reviewed can be reduced, and the efficiency of the classification work of answer A can be improved.
(5) By changing the α-criterion to the second criterion, it is possible to add the criterion even after the classification work is started, after the worker's proposal and the manager's examination.

なお、上記実施形態は、以下のように適宜変更して実施することもできる。
・第αクライテリオンが分類作業を効率化しないのであれば、第αクライテリオンを第2クライテリオンに登録する処理を割愛するようにしてもよい。
The above embodiment can be modified as appropriate and implemented as follows.
-If the α-Criterion does not streamline the classification work, the process of registering the α-Criterion in the 2nd Criterion may be omitted.

・第2クライテリオンの内容を十分予測できるときには、第αクライテリオンを追加する機能を割愛するようにしてもよい。
・第2クライテリオンが表示されるサブ領域は、第1クライテリオンが表示されるメイン領域と重畳していなくてもよい。一例として、メイン領域とサブ領域とが離れていてもよい。一例として、メイン領域を第1ウインドウに表示し、サブ領域を第2ウインドウに表示するようにしてもよい。一例として、メイン領域を第1フレームに表示し、サブ領域を第2フレームに表示するようにしてもよい。
-When the content of the second criterion can be sufficiently predicted, the function of adding the α-criterion may be omitted.
-The sub-area in which the second criterion is displayed does not have to overlap with the main area in which the first criterion is displayed. As an example, the main area and the sub area may be separated. As an example, the main area may be displayed in the first window and the sub area may be displayed in the second window. As an example, the main area may be displayed in the first frame and the sub area may be displayed in the second frame.

・階層的に、第1クライテリオン、第2クライテリオン、第3クライテリオンを設けているが、階層数は、限定されるものではなく、一例として、これより多くし、階層的に、第4クライテリオン、第5クライテリオン…を設けてもよい。 -Although the 1st Criterion, the 2nd Criterion, and the 3rd Criterion are provided hierarchically, the number of layers is not limited, and as an example, the number of layers is increased, and the 4th Criterion and the 3rd Criterion are hierarchically provided. 5 Criterions ... may be provided.

・複数の第1クライテリオンの全てについて階層的に第2クライテリオンを設けてもよいし、複数の第1クライテリオンの中の幾つかについて第2クライテリオンを設けてもよい。また、第1クライテリオンや第2クライテリオンや第3クライテリオンの数は、上述の例に限定されるものではない。 -The second criteria may be provided hierarchically for all of the plurality of first criteria, or the second criteria may be provided for some of the plurality of first criteria. Further, the number of the first criterion, the second criterion, and the third criterion is not limited to the above example.

1…答案分類処理システム、2…クライアント端末、2a…コンピュータ本体、2b…入力部、2c…表示部、3…クライアント端末、3a…コンピュータ本体、3b…入力部、3c…表示部、4…ネットワーク、10…答案分類処理サーバ、11…答案記憶部、12…答案入力部、13…クライテリオン記憶部、14…解答類型記憶部、15…判断結果記憶部、16…制御部、21…答案表示領域、22…クライテリア表示領域、23…メイン領域、24…判定ボタン、25…キャンセルボタン、26…サブ領域、26a…第1領域、26b…第2領域、27…クライテリオン入力部、27a…追加ボタン、28…登録ボタン、29…キャンセルボタン、30…サブ領域、31…登録ボタン、32…キャンセルボタン、33…結果ボックス、34…登録ボタン、35…キャンセルボタン。 1 ... Answer classification processing system, 2 ... Client terminal, 2a ... Computer body, 2b ... Input unit, 2c ... Display unit, 3 ... Client terminal, 3a ... Computer body, 3b ... Input unit, 3c ... Display unit, 4 ... Network 10, ... Answer classification processing server, 11 ... Answer storage unit, 12 ... Answer input unit, 13 ... Criterion storage unit, 14 ... Answer type storage unit, 15 ... Judgment result storage unit, 16 ... Control unit, 21 ... Answer display area , 22 ... Criteria display area, 23 ... Main area, 24 ... Judgment button, 25 ... Cancel button, 26 ... Sub area, 26a ... First area, 26b ... Second area, 27 ... Criterion input section, 27a ... Add button, 28 ... Registration button, 29 ... Cancel button, 30 ... Sub area, 31 ... Registration button, 32 ... Cancel button, 33 ... Result box, 34 ... Registration button, 35 ... Cancel button.

Claims (6)

クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理システムであって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
前記クライテリオンは、前記調査項目に関する第1クライテリオンと、前記第1クライテリオンに関連する判断基準で構成された第2クライテリオンとを含み、
前記答案に関する答案データを記憶する答案記憶部と、
前記クライテリオンを記憶するクライテリオン記憶部と、
前記クライテリオンに対する判断結果を記憶する判断結果記憶部と、
メイン領域に、前記クライテリアとして、前記第1クライテリオンと前記第1クライテリオンに対する判断を選択する第1チェックボックスとを表示させるとともに、前記メイン領域に対するサブ領域に、前記第2クライテリオンと前記第2クライテリオンに対する判断を選択する第2チェックボックスとを表示させ、前記第1チェックボックスおよび前記第2チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる制御部とを備え、
前記サブ領域は、前記第1クライテリオンおよび前記第2クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を備え、
前記制御部は、前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶し、
前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する追加チェックボックスとを前記サブ領域に追加表示させ、
前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる答案分類処理システム。
It is an answer classification processing system that classifies the answers of multiple survey subjects to questions that reflect the survey items that investigate the understanding tendency of the survey subjects to the learning items according to the criteria.
The criteria include a plurality of criteria composed of criteria for determining the survey items in an alternative manner.
The Criterion includes a first Criterion for the survey item and a second Criterion composed of criteria related to the first Criterion.
An answer storage unit that stores answer data related to the answer,
A Criterion storage unit that stores the Criterion,
A judgment result storage unit that stores the judgment result for the Criterion,
A first check box for selecting a judgment for the first criterion and the first criterion is displayed in the main region as the criteria, and a sub-region for the main region is used for the second criterion and the second criterion. It is provided with a control unit that displays a second check box for selecting a judgment, and stores the judgment results in the first check box and the second check box in the judgment result storage unit in association with the answer data.
The sub-region includes a criteria input unit capable of inputting additional criteria having different contents from the first criteria and the second criteria.
The control unit stores the additional Criterion input to the Criterion input unit in the Criterion storage unit, and stores the additional Criterion.
The additional criteria and additional check boxes for selecting judgments for the additional criteria are additionally displayed in the sub-area.
An answer classification processing system that associates the judgment result of the additional check box with the answer data and stores it in the judgment result storage unit.
前記制御部は、前記サブ領域を、前記メイン領域に重畳させて表示させる
請求項1に記載の答案分類処理システム。
The answer classification processing system according to claim 1, wherein the control unit superimposes the sub area on the main area and displays the sub area.
前記サブ領域は、前記第2クライテリオンおよび前記第2チェックボックスが表示される第1領域と、前記クライテリオン入力部が表示される第2領域とを備え、
前記制御部は、前記第2領域において、前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する前記追加チェックボックスとを追加表示させる
請求項1または2に記載の答案分類処理システム。
The sub-region includes a first region in which the second criterion and the second check box are displayed, and a second region in which the criterion input unit is displayed.
Wherein, the in the second region, the answer classification processing system according to claim 1 or 2 is additionally displayed and the additional check box for selecting the decision on the additional criterion and the additional criterion.
前記制御部は、前記追加クライテリオンを、前記第2クライテリオンとして登録する
請求項1ないし3のうち何れか1項に記載の答案分類処理システム。
The answer classification processing system according to any one of claims 1 to 3, wherein the control unit registers the additional criteria as the second criteria.
クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理方法であって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
前記クライテリオンは、前記調査項目に関する第1クライテリオンと、前記第1クライテリオンに関連する判断基準で構成された第2クライテリオンとを含み、
制御部が前記答案に関する答案データを答案記憶部に記憶し、
前記制御部が前記クライテリオンをクライテリオン記憶部に記憶し、
前記制御部が前記クライテリオンに対する判断結果を判断結果記憶部に記憶し、
前記制御部がメイン領域に、前記クライテリアとして、前記第1クライテリオンと前記第1クライテリオンに対する判断を選択する第1チェックボックスとを表示し、
前記制御部が前記メイン領域に対するサブ領域に、前記第2クライテリオンと前記第2クライテリオンに対する判断を選択する第2チェックボックスとを表示し、
前記制御部が前記第1チェックボックスおよび前記第2チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶し、
さらに、
前記制御部が、前記サブ領域において、前記第1クライテリオンおよび前記第2クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を表示し、
前記制御部が、前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶し、
前記制御部が、前記サブ領域において、前記追加クライテリオンと、前記追加クライテリオンに対する判断を選択する追加チェックボックスとを追加表示し、
前記制御部が、前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶する
答案分類処理方法。
This is an answer classification processing method that classifies the answers of multiple survey subjects to questions that reflect the survey items that investigate the tendency of the survey subjects to understand the learning items according to the criteria.
The criteria include a plurality of criteria composed of criteria for determining the survey items in an alternative manner.
The Criterion includes a first Criterion for the survey item and a second Criterion composed of criteria related to the first Criterion.
The control unit stores the answer data related to the answer in the answer storage unit,
The control unit stores the Criterion in the Criterion storage unit,
The control unit stores the judgment result for the criterion in the judgment result storage unit,
The control unit displays in the main area, as the criteria, the first criterion and the first check box for selecting the judgment for the first criterion.
The control unit displays the second criterion and the second check box for selecting the judgment for the second criterion in the sub-region with respect to the main region.
The control unit associates the judgment results of the first check box and the second check box with the answer data and stores them in the judgment result storage unit.
further,
In the sub-region, the control unit displays a criterion input unit capable of inputting an additional criterion having a content different from that of the first criterion and the second criterion.
The control unit stores the additional Criterion input to the Criterion input unit in the Criterion storage unit.
The control unit additionally displays the additional criteria and an additional check box for selecting a judgment on the additional criteria in the sub-region.
An answer classification processing method in which the control unit associates the judgment result of the additional check box with the answer data and stores it in the judgment result storage unit.
クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理プログラムであって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
前記クライテリオンは、前記調査項目に関する第1クライテリオンと、前記第1クライテリオンに関連する判断基準で構成された第2クライテリオンとを含み、
コンピュータを、
前記答案に関する答案データを答案記憶部に記憶させる手段と、
前記クライテリオンをクライテリオン記憶部に記憶させる手段と、
前記クライテリオンに対する判断結果を判断結果記憶部に記憶させる手段と、
メイン領域に、前記クライテリアとして、前記第1クライテリオンと前記第1クライテリオンに対する判断を選択する第1チェックボックスとを表示させるとともに、前記メイン領域に対するサブ領域に、前記第2クライテリオンと前記第2クライテリオンに対する
判断を選択する第2チェックボックスとを表示させる手段と、
前記第1チェックボックスおよび前記第2チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる手段として機能させ、
さらに、
前記サブ領域において、前記第1クライテリオンおよび前記第2クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を表示させる手段と、
前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶させる手段と、
前記サブ領域において、前記追加クライテリオンと、前記追加クライテリオンに対する判断を選択する追加チェックボックスとを追加表示させる手段と、
前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる手段
として機能させることを特徴とする答案分類処理プログラム。
It is an answer classification processing program that classifies the answers of multiple survey subjects to questions that reflect the survey items that investigate the understanding tendency of the survey subjects to the learning items according to the criteria.
The criteria include a plurality of criteria composed of criteria for determining the survey items in an alternative manner.
The Criterion includes a first Criterion for the survey item and a second Criterion composed of criteria related to the first Criterion.
Computer,
A means for storing answer data related to the answer in the answer storage unit,
A means for storing the Criterion in the Criterion storage unit,
A means for storing the judgment result for the Criterion in the judgment result storage unit,
In the main area, as the criteria, the first criterion and the first check box for selecting the judgment for the first criterion are displayed, and in the sub-region for the main region, the second criterion and the second criterion are displayed. A means to display a second check box for selecting a judgment, and
The judgment results of the first check box and the second check box are associated with the answer data and function as a means to be stored in the judgment result storage unit.
further,
In the sub-region, means for displaying a criterion input unit capable of inputting an additional criterion having a content different from that of the first criterion and the second criterion.
A means for storing the additional Criterion input to the Criterion input unit in the Criterion storage unit, and
A means for additionally displaying the additional criteria and an additional check box for selecting a judgment on the additional criteria in the sub-region.
An answer classification processing program characterized in that the judgment result of the additional check box is associated with the answer data and functions as a means for storing the judgment result storage unit.
JP2016138298A 2016-07-13 2016-07-13 Answer classification processing system, answer classification processing method, and answer classification processing program Active JP6832083B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016138298A JP6832083B2 (en) 2016-07-13 2016-07-13 Answer classification processing system, answer classification processing method, and answer classification processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016138298A JP6832083B2 (en) 2016-07-13 2016-07-13 Answer classification processing system, answer classification processing method, and answer classification processing program

Publications (2)

Publication Number Publication Date
JP2018010448A JP2018010448A (en) 2018-01-18
JP6832083B2 true JP6832083B2 (en) 2021-02-24

Family

ID=60994298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016138298A Active JP6832083B2 (en) 2016-07-13 2016-07-13 Answer classification processing system, answer classification processing method, and answer classification processing program

Country Status (1)

Country Link
JP (1) JP6832083B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220319348A1 (en) * 2016-12-05 2022-10-06 Riiid Inc. Method for displaying learning content of terminal and application program therefor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5234543B2 (en) * 2008-09-24 2013-07-10 株式会社教育測定研究所 Answer classification processing system and answer classification processing method
US8601431B2 (en) * 2008-12-11 2013-12-03 Infosys Limited Method and system for identifying software applications for offshore testing
JP5370840B2 (en) * 2009-08-27 2013-12-18 株式会社チームスピリット Decision support system based on hierarchical analysis and its program
JP2012022185A (en) * 2010-07-15 2012-02-02 Japan Institute For Educational Measurement Inc Answer sorting support system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220319348A1 (en) * 2016-12-05 2022-10-06 Riiid Inc. Method for displaying learning content of terminal and application program therefor
US11823593B2 (en) * 2016-12-05 2023-11-21 Riiid Inc. Method for displaying learning content of terminal and application program therefor

Also Published As

Publication number Publication date
JP2018010448A (en) 2018-01-18

Similar Documents

Publication Publication Date Title
Saumya et al. Ranking online consumer reviews
Kieslich et al. Artificial intelligence ethics by design. Evaluating public perception on the importance of ethical design principles of artificial intelligence
CN109101469B (en) Extracting searchable information from digitized documents
KR101981075B1 (en) Data analysis system, data analysis method, data analysis program, and recording medium
Choo et al. Teacher reporting attitudes scale (TRAS) confirmatory and exploratory factor analyses with a Malaysian sample
US11830099B2 (en) Machine learning modeling for protection against online disclosure of sensitive data
Nakagawa et al. AI in pathology: what could possibly go wrong?
JP2018041421A (en) Unauthorized use of credit card determination assist device, unauthorized use determination device, and unauthorized use determination assist method
Imani-Nasab et al. A qualitative assessment of the evidence utilization for health policy-making on the basis of SUPPORT tools in a developing country
Sohaib et al. Assessing web content accessibility of E-commerce websites for people with disabilities
Fu et al. Developing and validating a capacity instrument for Chinese and US NGOs
JP6832083B2 (en) Answer classification processing system, answer classification processing method, and answer classification processing program
US11544600B2 (en) Prediction rationale analysis apparatus and prediction rationale analysis method
Wallace Policy-driven evidence: Evaluating the UK government’s approach to immigration policy making
Ackom et al. Understanding e-government services: integration of process virtualization theory and user resistance
Angerschmid et al. Effects of fairness and explanation on Trust in Ethical AI
CN111639903A (en) Review processing method for architecture change and related equipment
JP2017201543A (en) Data analysis system, data analysis method, data analysis program, and recording media
Kenix You are either with us or with us: Constructing a Samoan national identity through inclusion at the Samoa Observer
Brenton Policy capacity within a federation: the case of Australia
Parthasarathy et al. A framework for managing ethics in data science projects
JP2005285013A (en) Transaction monitoring method, program and device
Lotito Trade-Offs and Public Support for Security Reform during Democratic Transitions
US11956400B2 (en) Systems and methods for measuring document legibility
WO2024018657A1 (en) Operation process searching device, operation process searching method, and operation process searching program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200715

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201223

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201228

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6832083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250