JP7081859B1 - Evaluated literature diagnostic system - Google Patents
Evaluated literature diagnostic system Download PDFInfo
- Publication number
- JP7081859B1 JP7081859B1 JP2021145845A JP2021145845A JP7081859B1 JP 7081859 B1 JP7081859 B1 JP 7081859B1 JP 2021145845 A JP2021145845 A JP 2021145845A JP 2021145845 A JP2021145845 A JP 2021145845A JP 7081859 B1 JP7081859 B1 JP 7081859B1
- Authority
- JP
- Japan
- Prior art keywords
- document
- evaluated
- search
- group
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 52
- 238000003745 diagnosis Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 description 22
- 238000011867 re-evaluation Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、評価済サーチ文献及び評価済ノイズ文献の適格性を向上する評価済文献診断システムを提供すること。【解決手段】評価済サーチ文献群と評価済ノイズ文献群を第１群から第Ｎ群に分類する分類ステップ、第１群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行い、第Ｎ群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行うＡＩ判定ステップ、順位値を文献に付与し、目標順位値を基準にして順位値によって、サーチ判別文献とノイズ判別文献に判別する文献判別ステップ、評価済サーチ文献がノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献とする偽陰性文献判断ステップ、偽陰性文献の文献データを出力する出力ステップを有する。【選択図】 図１PROBLEM TO BE SOLVED: To diagnose the eligibility of evaluation of an evaluated search document and an evaluated noise document already evaluated to be a search target, and to improve the eligibility of the evaluated search document and the evaluated noise document. To provide. A classification step for classifying an evaluated search document group and an evaluated noise document group into groups 1 to N, a search probability and a search probability in an evaluated search document group and an evaluated noise document group not classified into the first group. The AI judgment step and the ranking value for determining either the search probability or the noise probability are given to the evaluated search document group and the evaluated noise document group which are not classified into the Nth group by determining either the noise probability. Then, the document discrimination step for discriminating between the search discrimination document and the noise discrimination document according to the rank value based on the target rank value, and when the evaluated search document is discriminated as the noise discrimination document, the evaluated search document is regarded as a false negative document. It has a false negative document determination step and an output step for outputting false negative document data. [Selection diagram] Fig. 1
Description
本発明は、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の適格性を診断する評価済文献診断システムに関する。 The present invention relates to an evaluated literature diagnostic system that diagnoses the eligibility of evaluation of an evaluated search document that has already been evaluated as a search target and an evaluated noise document that has already been evaluated as a noise target.
本出願人は、人工知能、アルゴリズム、又はあらかじめ設定された所定条件によって確率判定値が付与された未評価案件データの中から、評価対象案件データを選択する際の判断を容易とする特許調査支援方法を提案している（特許文献１）。
特許文献１によれば、第１の軸をサーチ確率、第２の軸をノイズ確率とする少なくとも２軸を有するグラフに表示されるプロットの散布状況を把握した上で評価対象案件データを選択できるため、サーチ対象確率判定値やノイズ対象確率判定値からでは判断しづらい境界を認識でき、評価対象案件データを的確に選択できる。
更に特許文献１によれば、抽出した評価対象案件データを評価し、評価した結果、テーマでは必要なサーチ対象案件であると評価されると第１群教師案件データに追加し、評価した結果、テーマでは不要なノイズ対象案件であると評価されると第２群教師案件データに追加することで、教師特許の件数を増やすことができ、更に的確なＡＩ（人工知能）判定を得ることができる。
The applicant can easily make a judgment when selecting the evaluation target case data from the unevaluated case data to which the probability judgment value is given by the artificial intelligence, the algorithm, or the predetermined condition set in advance. A method is proposed (Patent Document 1).
According to
Further, according to
このような人工知能による判定は、教師文献数を増やすことで精度を高めることができるが、教師文献自体の評価に揺れ幅があり、教師文献の揺れ幅が大きいと期待するＡＩ判定を得ることができない。 The accuracy of such a judgment by artificial intelligence can be improved by increasing the number of teacher documents, but there is a fluctuation in the evaluation of the teacher literature itself, and an AI judgment that is expected to have a large fluctuation in the teacher literature is obtained. I can't.
本発明は、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる評価済文献診断システムを提供することを目的とする。 The present invention can diagnose the eligibility of the evaluation of the evaluated search document and the evaluated noise document that have already been evaluated as the search target, and can improve the eligibility of the evaluated search document and the evaluated noise document. The purpose is to provide a document diagnosis system.
請求項１記載の本発明の評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の適格性を診断する評価済文献診断システムであって、コンピュータが、複数の前記評価済サーチ文献からなる評価済サーチ文献群と複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、前記第１群に分類された前記評価済サーチ文献群と前記第１群に分類された前記評価済ノイズ文献群とを第１教師文献として、前記第１群に分類されなかった前記評価済サーチ文献群と前記第１群に分類されなかった前記評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、前記第Ｎ群に分類された前記評価済サーチ文献群と前記第Ｎ群に分類された前記評価済ノイズ文献群とを第Ｎ教師文献として、前記第Ｎ群に分類されなかった前記評価済サーチ文献群と前記第Ｎ群に分類されなかった前記評価済ノイズ文献群とについて前記サーチ確率及び前記ノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、前記ＡＩ判定ステップで判定された前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、前記サーチ対象として評価されていた前記評価済サーチ文献が、前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、前記偽陰性文献判断ステップで判断した前記偽陰性文献についての文献データを出力する出力ステップとを有することを特徴とする。
請求項２記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記コンピュータが、前記ノイズ対象として評価されていた評価済ノイズ文献が、前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを有し、前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献についての文献データを出力することを特徴とする。
請求項３記載の本発明は、請求項１又は請求項２に記載の評価済文献診断システムにおいて、前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての前記文献データを出力することを特徴とする。
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の評価済文献診断システムにおいて、前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを出力することを特徴とする。
請求項５記載の本発明は、請求項１から請求項４のいずれか１項に記載の評価済文献診断システムにおいて、前記文献を特許文献としたことを特徴とする。
The evaluated document diagnosis system of the present invention according to claim 1 diagnoses the eligibility for evaluation of the evaluated search document already evaluated as a search target and the evaluated noise document already evaluated as a noise target. In the evaluated document diagnosis system, a computer selects an evaluated search document group composed of a plurality of the evaluated search documents and an evaluated noise document group composed of a plurality of the evaluated noise documents from the first group, respectively. The classification step for classifying into the N (N is an integer of 2 or more) group, the evaluated search literature group classified into the first group, and the evaluated noise literature group classified into the first group are the first. As one teacher document, at least one of the search probability and the noise probability is determined for the evaluated search document group not classified into the first group and the evaluated noise document group not classified into the first group. The evaluation was not classified into the Nth group, with the evaluated search literature group classified into the Nth group and the evaluated noise literature group classified into the Nth group as the Nth teacher literature. The AI determination step for determining at least one of the search probability and the noise probability of the completed search document group and the evaluated noise document group not classified into the Nth group, and the AI determination step were determined. A ranking value sorted by a probability value using at least one of the search probability and the noise probability is given to the document, and the document is searched by the ranking value based on a target rank value that can be arbitrarily set. When the document discrimination step for discriminating between the discrimination document and the noise discrimination document and the evaluated search document evaluated as the search target are discriminated by the noise discrimination document, the evaluated search document is regarded as a false negative document. It is characterized by having a false negative document determination step for determination and an output step for outputting document data about the false negative document determined in the false negative document determination step.
According to the second aspect of the present invention, in the evaluated document diagnosis system according to the first aspect, when the evaluated noise document evaluated by the computer as the noise target is discriminated by the search discrimination document. It has a false positive document determination step for determining the evaluated noise document as a false positive document, and the output step is characterized in that document data for the false positive document determined in the false positive document determination step is output. do.
The present invention according to
The present invention according to
The present invention according to
本発明によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。また、本発明によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。 According to the present invention, it is possible to diagnose the eligibility of the evaluation of the evaluated search literature and the evaluated noise literature that have already been evaluated as the search target, and it should be reexamined by outputting the literature data about the false negative literature. By identifying the evaluated search document and reexamining this false negative document, the eligibility of the evaluated search document and the evaluated noise document can be improved. Further, according to the present invention, the evaluated search document and the evaluated noise document are used as the teacher document by discriminating between the search discrimination document and the noise discrimination document based on the target rank value that can be arbitrarily set, and the unevaluated document. When evaluating, the number of cases of this target ranking value can be used as a guide for the number of cases to be evaluated.
本発明の第１の実施の形態による評価済文献診断システムは、コンピュータが、複数の評価済サーチ文献からなる評価済サーチ文献群と複数の評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第１群に分類されなかった評価済サーチ文献群と第１群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第Ｎ群に分類された評価済サーチ文献群と第Ｎ群に分類された評価済ノイズ文献群とを第Ｎ教師文献として、第Ｎ群に分類されなかった評価済サーチ文献群と第Ｎ群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、ＡＩ判定ステップで判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、任意に設定できる目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、サーチ対象として評価されていた評価済サーチ文献が、ノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、偽陰性文献判断ステップで判断した偽陰性文献についての文献データを出力する出力ステップとを有するものである。本実施の形態によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断できる。また、本実施の形態によれば、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。更に、本実施の形態によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。 In the evaluated document diagnosis system according to the first embodiment of the present invention, a computer comprises an evaluated search document group composed of a plurality of evaluated search documents and an evaluated noise document group composed of a plurality of evaluated noise documents. The classification steps classified into the first group to the Nth group (N is an integer of 2 or more), the evaluated search literature group classified into the first group, and the evaluated noise literature group classified into the first group, respectively. As the first teacher document, at least one of the search probability and the noise probability is determined for the evaluated search document group not classified into the first group and the evaluated noise document group not classified into the first group. The evaluated search literature group classified into the N group and the evaluated noise literature group classified into the Nth group are regarded as the Nth teacher literature, and the evaluated search literature group and the Nth group not classified into the Nth group are classified into the Nth teacher literature. A probability value using at least one of the search probability and the noise probability determined in the AI determination step and the AI determination step for determining at least one of the search probability and the noise probability for the evaluated noise literature group that has not been classified. A document discrimination step for discriminating a document into a search discrimination document and a noise discrimination document based on the target rank value that can be arbitrarily set by assigning the rank value sorted by When the evaluated search document that has been evaluated is discriminated as a noise discrimination document, the document about the false negative document determination step that determines the evaluated search document as a false negative document and the document about the false negative document that is determined in the false negative document determination step. It has an output step to output data. According to the present embodiment, it is possible to diagnose the eligibility of the evaluation of the evaluated search document and the evaluated noise document that have already been evaluated as the search target. Further, according to the present embodiment, the evaluated search document to be reexamined can be specified by outputting the document data about the false negative document, and the evaluated search document can be reexamined by reexamining this false negative document. And the eligibility of the evaluated noise literature can be improved. Further, according to the present embodiment, the evaluated search document and the evaluated noise document are not used as the teacher document by discriminating between the search discrimination document and the noise discrimination document based on the target rank value that can be arbitrarily set. When evaluating the evaluation documents, the number of cases of this target ranking value can be used as a guide for the number of cases to be evaluated.
本発明の第２の実施の形態は、第１の実施の形態による評価済文献診断システムにおいて、コンピュータが、ノイズ対象として評価されていた評価済ノイズ文献が、サーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを有し、出力ステップでは、偽陽性文献判断ステップで判断した偽陽性文献についての文献データを出力するものである。本実施の形態によれば、偽陽性文献についての文献データを出力することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。 In the second embodiment of the present invention, in the evaluated document diagnosis system according to the first embodiment, when the evaluated noise document evaluated by the computer as a noise target is discriminated by the search discrimination document, It has a false positive document determination step for determining an evaluated noise document as a false positive document, and the output step outputs document data about the false positive document determined in the false positive document determination step. According to this embodiment, the evaluated noise document to be reexamined can be specified by outputting the document data about the false positive document, and the evaluated search document and the evaluation can be specified by reexamining this false positive document. It is possible to improve the eligibility of the noise literature.
本発明の第３の実施の形態は、第１又は第２の実施の形態による評価済文献診断システムにおいて、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを出力するものである。本実施の形態によれば、評価が複数であってもそれぞれの評価の適格性を診断できる。 A third embodiment of the present invention includes, as evaluated search documents, a first evaluated search document by a first evaluation and a first evaluation in the evaluated document diagnosis system according to the first or second embodiment. Has at least a second evaluated search document with a different second evaluation, and in the false negative document determination step, the first evaluated search document is regarded as the first false negative document, and the second evaluated search document is the second. It is determined as a false negative document, and in the output step, the document data about the first false negative document and the second false negative document are output. According to this embodiment, even if there are a plurality of evaluations, the eligibility of each evaluation can be diagnosed.
本発明の第４の実施の形態は、第１から第３のいずれかの実施の形態による評価済文献診断システムにおいて、偽陰性文献判断ステップで判断される偽陰性文献が所定数以下である場合には、出力ステップでは、評価済サーチ文献群が適格であることを出力するものである。本実施の形態によれば、評価済サーチ文献を未評価文献に対する教師文献として用いることができることを示唆できる。 The fourth embodiment of the present invention is a case where the number of false negative documents determined in the false negative document determination step is less than a predetermined number in the evaluated document diagnosis system according to any one of the first to third embodiments. In the output step, it is output that the evaluated search document group is eligible. According to this embodiment, it can be suggested that the evaluated search document can be used as a teacher document for the unevaluated document.
本発明の第５の実施の形態は、第１から第４のいずれかの実施の形態による評価済文献診断システムにおいて、文献を特許文献としたものである。本実施の形態によれば、例えば所定期間のＳＤＩ（Selective Dissemination of Information）機能により抽出した特許の評価結果の適格性を診断でき、その後の評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。 The fifth embodiment of the present invention is a patented document in the evaluated document diagnostic system according to any one of the first to fourth embodiments. According to the present embodiment, for example, the eligibility of the evaluation result of the patent extracted by the SDI (Selective Dissemination of Information) function for a predetermined period can be diagnosed, and in the subsequent evaluation, the number of target ranking values is used by using the AI judgment. Can be used as a guide for the number of cases to be evaluated, and the cases to be evaluated can be narrowed down to a part.
以下に、本発明の評価済文献診断システムの一実施例について説明する。
図１は本発明の一実施例における評価済文献診断システムのフローチャートである。
本実施例における評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献群と、既にノイズ対象として評価された評価済ノイズ文献群との評価の適格性を診断する。
データベースには、複数の評価済サーチ文献からなる評価済サーチ文献群と複数の評価済ノイズ文献からなる評価済ノイズ文献群とを蓄積している。
コンピュータは、分類ステップ（Ｓ１）、ＡＩ判定ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行う。なお、ＡＩ判定ステップ（Ｓ２）は、分類ステップ（Ｓ１）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うコンピュータとは別のコンピュータが行ってもよい。
Hereinafter, an embodiment of the evaluated literature diagnosis system of the present invention will be described.
FIG. 1 is a flowchart of an evaluated document diagnosis system according to an embodiment of the present invention.
The evaluated document diagnosis system in this embodiment diagnoses the eligibility of the evaluation between the evaluated search document group already evaluated as the search target and the evaluated noise document group already evaluated as the noise target.
The database stores an evaluated search document group consisting of a plurality of evaluated search documents and an evaluated noise document group consisting of a plurality of evaluated noise documents.
The computer performs a classification step (S1), an AI determination step (S2), a document discrimination step (S4), a false negative document determination step (S5), a false positive document determination step (S6), and an output step (S7). The AI determination step (S2) is a computer that performs a classification step (S1), a document discrimination step (S4), a false negative document determination step (S5), a false positive document determination step (S6), and an output step (S7). It may be done by another computer.
分類ステップ（Ｓ１）では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する。
ＡＩ判定ステップ（Ｓ２）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第１群に分類されなかった評価済サーチ文献群と第１群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第Ｎ群に分類された評価済サーチ文献群と第Ｎ群に分類された評価済ノイズ文献群とを第Ｎ教師文献として、第Ｎ群に分類されなかった評価済サーチ文献群と第Ｎ群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行う。
設定ステップ（Ｓ３）では、システムの利用者によって任意の件数を目標順位値として設定できる。
文献判別ステップ（Ｓ４）では、ＡＩ判定ステップ（Ｓ２）で判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、設定ステップ（Ｓ３）で設定された目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する。
偽陰性文献判断ステップ（Ｓ５）では、サーチ対象として評価されていた評価済サーチ文献が、ノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する。
偽陽性文献判断ステップ（Ｓ６）では、ノイズ対象として評価されていた評価済ノイズ文献が、サーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する。
出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断した偽陰性文献についての文献データ、及び偽陽性文献判断ステップ（Ｓ６）で判断した偽陽性文献についての文献データを出力する。また、出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断される偽陰性文献が所定数以下である場合、及び偽陽性文献判断ステップ（Ｓ６）で判断される偽陽性文献が所定数以下である場合の少なくともいずれか、好ましくは、偽陰性文献及び偽陽性文献が所定数以下である場合には、評価済サーチ文献群が適格であることを出力する。
再評価ステップ（Ｓ８）では、偽陰性文献判断ステップ（Ｓ５）で判断された偽陰性文献、及び偽陽性文献判断ステップ（Ｓ６）で判断された偽陽性文献について、利用者が再評価を行い、再評価の結果、評価済サーチ文献をノイズ文献に変更、又は評価済ノイズ文献をサーチ文献に変更する場合には、データベースに新たな評価済ノイズ文献又は評価済サーチ文献として登録する。
In the classification step (S1), the evaluated search document group and the evaluated noise document group are classified into the first group to the Nth group (N is an integer of 2 or more), respectively.
In the AI determination step (S2), the evaluated search literature group classified into the first group and the evaluated noise literature group classified into the first group are regarded as the first teacher literature, and the evaluation not classified into the first group. At least one of the search probability and the noise probability is determined for the completed search document group and the evaluated noise document group not classified into the first group, and the evaluated search document group and the Nth group classified into the N group. The evaluated noise literature group classified into the Nth group is regarded as the Nth teacher literature, and the search probability and noise of the evaluated search literature group not classified into the Nth group and the evaluated noise literature group not classified into the Nth group. Make at least one of the probabilities.
In the setting step (S3), any number of cases can be set as the target ranking value by the user of the system.
In the document discrimination step (S4), a ranking value sorted by a probability value using at least one of the search probability and the noise probability determined in the AI determination step (S2) is given to the document, and in the setting step (S3). Based on the set target rank value, the document is discriminated into a search discrimination document and a noise discrimination document according to the rank value.
In the false negative document determination step (S5), when the evaluated search document evaluated as the search target is determined as the noise discrimination document, the evaluated search document is determined to be a false negative document.
In the false positive document determination step (S6), when the evaluated noise document evaluated as a noise target is determined by the search discrimination document, the evaluated noise document is determined to be a false positive document.
In the output step (S7), the document data for the false negative document determined in the false negative document determination step (S5) and the document data for the false positive document determined in the false positive document determination step (S6) are output. Further, in the output step (S7), when the number of false negative documents determined in the false negative document determination step (S5) is less than or equal to a predetermined number, and the false positive documents determined in the false positive document determination step (S6) are predetermined. At least one of the cases where the number is less than or equal to the number, preferably, when the number of false negative documents and false positive documents is less than a predetermined number, it is output that the evaluated search document group is eligible.
In the re-evaluation step (S8), the user re-evaluates the false-negative document determined in the false-negative document determination step (S5) and the false-positive document determined in the false-positive document determination step (S6). As a result of the re-evaluation, when the evaluated search document is changed to the noise document or the evaluated noise document is changed to the search document, the evaluated noise document or the evaluated search document is registered in the database as a new evaluated noise document or the evaluated search document.
このようにして再評価を行った後に、改めて分類ステップ（Ｓ１）、ＡＩ判定ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うことで、評価済サーチ文献及び評価済ノイズ文献の評価の適格性を向上させることができ、その後の未評価文献を評価する際の適切な教師文献とすることができる。 After re-evaluating in this way, the classification step (S1), AI determination step (S2), document discrimination step (S4), false negative document determination step (S5), false positive document determination step (S6), And the output step (S7) can improve the eligibility of the evaluation of the evaluated search document and the evaluated noise document, and can be used as an appropriate teacher document when evaluating the unevaluated document thereafter. can.
図２は本実施例における評価済文献診断システムでの分類ステップ（Ｓ１）とＡＩ判定ステップ（Ｓ２）との説明図である。
なお、図２（ａ）に示すように、本実施例では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第４群に分類している。また、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを有している。このように、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有していてもよい。
図２（ａ）では、第１評価済サーチ文献が４０件、第２評価済サーチ文献が８０件、評価済ノイズ文献が１２００件である場合を示している。
４０件の第１評価済サーチ文献を、第１群に１０件、第２群に１０件、第３群に１０件、第４群に１０件に分類し、８０件の第２評価済サーチ文献を、第１群に２０件、第２群に２０件、第３群に２０件、第４群に２０件に分類し、１２００件の評価済ノイズ文献を、第１群に３００件、第２群に３００件、第３群に３００件、第４群に３００件に分類している。
なお、本実施例では、評価済サーチ文献及び評価済ノイズ文献を第１群から第４群に均等に分類しているが、必ずしも均等に分類しなくてもよく、また、必ずしも全ての文献を用いて分類しなくてもよいが、全ての評価済サーチ文献及び全ての評価済ノイズ文献を各群に分類することが好ましい。
FIG. 2 is an explanatory diagram of a classification step (S1) and an AI determination step (S2) in the evaluated literature diagnosis system in this embodiment.
As shown in FIG. 2A, in this embodiment, the evaluated search document group and the evaluated noise document group are classified into the first group to the fourth group, respectively. Further, as the evaluated search documents, there are a first evaluated search document by the first evaluation and a second evaluated search document by the second evaluation different from the first evaluation. As described above, as the evaluated search document, at least a first evaluated search document by the first evaluation and a second evaluated search document by the second evaluation different from the first evaluation may be included.
FIG. 2A shows a case where the number of first evaluated search documents is 40, the number of second evaluated search documents is 80, and the number of evaluated noise documents is 1200.
The 40 first evaluated search documents are classified into 10 in the first group, 10 in the second group, 10 in the third group, and 10 in the fourth group, and 80 second evaluated searches. The literature is classified into 20 in the 1st group, 20 in the 2nd group, 20 in the 3rd group, and 20 in the 4th group, and 1200 evaluated noise literatures are 300 in the 1st group. The cases are classified into 300 cases in the second group, 300 cases in the third group, and 300 cases in the fourth group.
In this embodiment, the evaluated search documents and the evaluated noise documents are evenly classified into the first group to the fourth group, but it is not always necessary to classify them evenly, and all the documents are not necessarily classified. Although it is not necessary to classify by using, it is preferable to classify all evaluated search documents and all evaluated noise documents into each group.
図２（ｂ）から図２（ｅ）は、ＡＩ判定ステップ（Ｓ２）における教師文献と判定文献との関係を示している。
図２（ｂ）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第２群、第３群、及び第４群に分類された評価済サーチ文献群と、第２群、第３群、及び第４群に分類された評価済ノイズ文献群とを第１判定文献にすることを示している。
同様に、図２（ｃ）では、第２群に分類された評価済サーチ文献群と第２群に分類された評価済ノイズ文献群とを第２教師文献として、第１群、第３群、及び第４群に分類された評価済サーチ文献群と、第１群、第３群、及び第４群に分類された評価済ノイズ文献群とを第２判定文献にすることを示している。
また、図２（ｄ）では、第３群に分類された評価済サーチ文献群と第３群に分類された評価済ノイズ文献群とを第３教師文献として、第１群、第２群、及び第４群に分類された評価済サーチ文献群と、第１群、第２群、及び第４群に分類された評価済ノイズ文献群とを第３判定文献にすることを示している。
また、図２（ｅ）では、第４群に分類された評価済サーチ文献群と第４群に分類された評価済ノイズ文献群とを第４教師文献として、第１群、第２群、及び第３群に分類された評価済サーチ文献群と、第１群、第２群、及び第３群に分類された評価済ノイズ文献群とを第４判定文献にすることを示している。
2 (b) to 2 (e) show the relationship between the teacher document and the determination document in the AI determination step (S2).
In FIG. 2B, the evaluated search literature group classified into the first group and the evaluated noise literature group classified into the first group are used as the first teacher literature, and the second group, the third group, and the first group are used. It is shown that the evaluated search document group classified into the 4 groups and the evaluated noise document group classified into the 2nd group, the 3rd group, and the 4th group are used as the first determination document.
Similarly, in FIG. 2C, the evaluated search literature group classified into the second group and the evaluated noise literature group classified into the second group are used as the second teacher literature, and the first group and the third group are used. , And the evaluated search literature group classified into the 4th group and the evaluated noise literature group classified into the 1st group, the 3rd group, and the 4th group are shown to be the second judgment literature. ..
Further, in FIG. 2D, the evaluated search literature group classified into the third group and the evaluated noise literature group classified into the third group are used as the third teacher literature, and the first group, the second group, and the third group It is shown that the evaluated search document group classified into the 4th group and the evaluated noise document group classified into the 1st group, the 2nd group, and the 4th group are used as the 3rd determination document.
Further, in FIG. 2 (e), the evaluated search literature group classified into the 4th group and the evaluated noise literature group classified into the 4th group are used as the 4th teacher literature, and the 1st group, the 2nd group, and the
図３は本実施例における評価済文献診断システムでのＡＩ判定結果から、偽陰性文献判断及び偽陽性文献判断までを説明するためのイメージ図である。
図３に示すように、本実施例のＡＩ判定では、文献ごとにサーチ確率とノイズ確率とが付与される。確率差は、サーチ確率からノイズ確率を減算したものである。
図３では、確率差を確率値とし、確率値が大きい順にソートしており、ソートされた順位値を文献に付与している。なお、サーチ確率又はノイズ確率を確率値としてもよい。
評価の「Ａ」は第１評価済サーチ文献、「Ｂ」は第２評価済サーチ文献であることを示し、評価の「Ｘ」は評価済ノイズ文献であることを示している。
仮に、図３に示すように、設定ステップ（Ｓ３）で目標順位値を「１０」に設定した場合には、順位値が「１」から「１０」までをサーチ判別文献、順位値が「１１」以降をノイズ判別文献と判別される。
順位値が「１１」以降で評価が「Ａ」又は「Ｂ」である評価済サーチ文献は、偽陰性文献と判断される。
また、順位値が「１」から「１０」までで評価が「Ｘ」の評価済ノイズ文献は、偽陽性文献と判断される。
FIG. 3 is an image diagram for explaining from the AI determination result in the evaluated document diagnosis system in this example to the false negative document determination and the false positive document determination.
As shown in FIG. 3, in the AI determination of this embodiment, a search probability and a noise probability are given to each document. The probability difference is the search probability minus the noise probability.
In FIG. 3, the probability difference is used as the probability value, and the items are sorted in descending order of the probability value, and the sorted rank values are given to the literature. The search probability or the noise probability may be used as the probability value.
The evaluation "A" indicates that it is the first evaluated search document, the "B" indicates that it is the second evaluated search document, and the evaluation "X" indicates that it is the evaluated noise document.
As shown in FIG. 3, when the target rank value is set to "10" in the setting step (S3), the rank value is from "1" to "10" in the search discrimination document, and the rank value is "11". After that, it is determined to be a noise discrimination document.
An evaluated search document having a ranking value of "11" or later and an evaluation of "A" or "B" is determined to be a false negative document.
Further, an evaluated noise document having a ranking value of "1" to "10" and an evaluation of "X" is determined to be a false positive document.
図４は本実施例における評価済文献診断システムで出力される文献データのイメージ図である。
図４（ａ）は、偽陰性文献についての文献データのイメージ図であり、文献が特許文献である場合には、文献を特定する番号である「出願番号」、「発明の名称」「権利者・出願人」「筆頭ＩＰＣ」の他に、順位と評価を文献データとして出力する。なお、偽陽性文献についても同様に出力することができる。
図４（ｂ）は、目標順位値を「１００」に設定した場合に、特に偽陽性文献の順位を示している。図４（ｂ）では、評価が「Ａ」「Ｂ」「Ｃ」は評価済サーチ文献であることを示し、評価が「ゴミ」は評価済ノイズ文献であることを示している。
FIG. 4 is an image diagram of document data output by the evaluated document diagnosis system in this embodiment.
FIG. 4A is an image diagram of document data for a false negative document, and when the document is a patent document, the “application number”, “invention name”, “right holder / right holder,” which are numbers for specifying the document. In addition to "applicant" and "first IPC", the ranking and evaluation are output as literature data. It should be noted that false positive documents can be output in the same manner.
FIG. 4B shows the ranking of false positive documents in particular when the target ranking value is set to “100”. In FIG. 4B, the evaluations “A”, “B”, and “C” indicate that the documents are evaluated search documents, and the evaluation “garbage” indicates that the documents are evaluated noise documents.
図５は本実施例における評価済文献診断システムで出力される診断結果のイメージ図である。
図５（ａ）では、評価済サーチ文献数及び評価済ノイズ文献数を縦軸、目標順位値による文献判別を横軸として、それぞれの評価が一致する件数及び比率と、偽陰性文献及び偽陽性文献の件数及び比率を表示している。
また図５（ｂ）では、評価済サーチ文献と評価済ノイズ文献とについて、横軸を順位値とし、目標順位値に対して偽陰性文献や偽陽性文献がどの位置に存在しているかをグラフ表示している。また、グラフ中に目標順位値を表示することで、目標順位値の変更によって、偽陰性文献や偽陽性文献がどの程度増減又は減少するかを予測することができる。
なお、図５では、偽陰性文献及び偽陽性文献が存在しているが、偽陰性文献が所定数以下である場合、又は偽陰性文献及び偽陽性文献がともに所定数以下である場合には、評価済サーチ文献群が適格であることを出力することで、評価済サーチ文献を、未評価文献に対する教師文献として用いることができることを示唆できる。
FIG. 5 is an image diagram of the diagnosis result output by the evaluated document diagnosis system in this embodiment.
In FIG. 5A, the number and ratio of cases and ratios in which the respective evaluations match, the number of evaluated search documents and the number of evaluated noise documents are on the vertical axis, and the number of documents discriminated by the target ranking value is on the horizontal axis, and false negative documents and false positives. The number and ratio of documents are displayed.
Further, in FIG. 5B, with respect to the evaluated search document and the evaluated noise document, the horizontal axis is set as the ranking value, and the position where the false negative document or the false positive document exists with respect to the target ranking value is graphed. it's shown. In addition, by displaying the target ranking value in the graph, it is possible to predict how much the number of false negative documents and false positive documents will increase or decrease due to the change of the target ranking value.
In FIG. 5, false-negative documents and false-positive documents exist, but when the number of false-negative documents is less than a predetermined number, or when both false-negative documents and false-positive documents are less than a predetermined number, By outputting that the evaluated search document group is eligible, it can be suggested that the evaluated search document can be used as a teacher document for the unevaluated document.
以上のように本実施例によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断できる。
また、本実施例によれば、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
また、本実施例によれば、偽陽性文献についての文献データを出力することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを出力することで、評価が複数であってもそれぞれの評価の適格性を診断できる。
このようにして、文献に対する評価結果の適格性を診断できる上に適格性を向上させることができ、その後の文献評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
As described above, according to this embodiment, it is possible to diagnose the eligibility for evaluation of the evaluated search document and the evaluated noise document that have already been evaluated as being the search target.
Further, according to this embodiment, the evaluated search document to be reexamined can be specified by outputting the document data about the false negative document, and the evaluated search document and the evaluated search document can be specified by reexamining this false negative document. The eligibility of the evaluated noise literature can be improved.
Further, according to this embodiment, the evaluated search document and the evaluated noise document are used as teacher documents and not evaluated by discriminating between the search discrimination document and the noise discrimination document based on the target rank value that can be arbitrarily set. When evaluating a document, the number of cases of this target ranking value can be used as a guide for the number of cases to be evaluated.
Further, according to this embodiment, the evaluated noise document to be reexamined can be specified by outputting the document data about the false positive document, and the evaluated search document and the evaluated search document can be identified by reexamining this false positive document. The eligibility of the evaluated noise literature can be improved.
Further, according to this embodiment, in the false negative document determination step, the first evaluated search document is determined as the first false negative document, and the second evaluated search document is determined as the second false negative document, and the output step is performed. Then, by outputting the literature data about the first false negative document and the second false negative document, the eligibility of each evaluation can be diagnosed even if there are a plurality of evaluations.
In this way, the eligibility of the evaluation results for the literature can be diagnosed and the eligibility can be improved. In the subsequent evaluation of the literature, the AI judgment is used and the number of target ranking values is used as a guideline for the number of evaluation targets. It is possible to narrow down the evaluation target projects to a part.
本発明は、国内における特許公報だけなく、中国や米国などの外国の特許公報などの特許文献や論文などの非特許文献にも適用できる。 The present invention can be applied not only to domestic patent gazettes but also to patent documents such as foreign patent gazettes such as China and the United States and non-patent documents such as papers.
Claims (5)
コンピュータが、
複数の前記評価済サーチ文献からなる評価済サーチ文献群と複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、
前記第１群に分類された前記評価済サーチ文献群と前記第１群に分類された前記評価済ノイズ文献群とを第１教師文献として、前記第１群に分類されなかった前記評価済サーチ文献群と前記第１群に分類されなかった前記評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、前記第Ｎ群に分類された前記評価済サーチ文献群と前記第Ｎ群に分類された前記評価済ノイズ文献群とを第Ｎ教師文献として、前記第Ｎ群に分類されなかった前記評価済サーチ文献群と前記第Ｎ群に分類されなかった前記評価済ノイズ文献群とについて前記サーチ確率及び前記ノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、
前記ＡＩ判定ステップで判定された前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、
前記サーチ対象として評価されていた前記評価済サーチ文献が、前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、
前記偽陰性文献判断ステップで判断した前記偽陰性文献についての文献データを出力する出力ステップと
を有する
ことを特徴とする評価済文献診断システム。 It is an evaluated literature diagnostic system that diagnoses the eligibility of evaluation of the evaluated search literature that has already been evaluated as a search target and the evaluated noise literature that has already been evaluated as a noise target.
The computer
The evaluated search document group consisting of the plurality of evaluated search documents and the evaluated noise document group consisting of the plurality of evaluated noise documents are classified into the first group to the Nth group (N is an integer of 2 or more), respectively. Classification steps to do and
The evaluated search document group classified into the first group and the evaluated noise document group classified into the first group are used as the first teacher document, and the evaluated search not classified into the first group. At least one of the search probability and the noise probability is determined for the document group and the evaluated noise document group not classified into the first group, and the evaluated search document group classified into the N group and the said The evaluated noise document group classified into the Nth group is regarded as the Nth teacher document, and the evaluated search document group not classified into the Nth group and the evaluated noise document group not classified into the Nth group. An AI determination step for determining at least one of the search probability and the noise probability with respect to the document group.
A ranking value sorted by a probability value using at least one of the search probability and the noise probability determined in the AI determination step is given to the document, and the target ranking value that can be arbitrarily set is used as a reference. A document discrimination step for discriminating the document into a search discrimination document and a noise discrimination document according to the rank value, and
When the evaluated search document evaluated as the search target is discriminated by the noise discrimination document, a false negative document determination step for determining the evaluated search document as a false negative document, and a false negative document determination step.
An evaluated document diagnostic system comprising an output step for outputting document data about the false negative document determined in the false negative document determination step.
前記ノイズ対象として評価されていた評価済ノイズ文献が、前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップ
を有し、
前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献についての文献データを出力する
ことを特徴とする請求項１に記載の評価済文献診断システム。 The computer
When the evaluated noise document evaluated as the noise target is discriminated by the search discrimination document, it has a false positive document determination step of determining the evaluated noise document as a false positive document.
The evaluated document diagnosis system according to claim 1, wherein the output step outputs document data for the false positive document determined in the false positive document determination step.
前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、
前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての前記文献データを出力する
ことを特徴とする請求項１又は請求項２に記載の評価済文献診断システム。 As the evaluated search document, at least a first evaluated search document by the first evaluation and a second evaluated search document by the second evaluation different from the first evaluation are included.
In the false negative document determination step, the first evaluated search document is determined as the first false negative document, and the second evaluated search document is determined as the second false negative document.
The evaluated document diagnostic system according to claim 1 or 2, wherein in the output step, the document data for the first false negative document and the second false negative document are output.
ことを特徴とする請求項１から請求項３のいずれか１項に記載の評価済文献診断システム。 A claim characterized in that, when the number of false negative documents determined in the false negative document determination step is less than or equal to a predetermined number, the output step outputs that the evaluated search document group is eligible. The evaluated document diagnosis system according to any one of claims 1 to 3.
ことを特徴とする請求項１から請求項４のいずれか１項に記載の評価済文献診断システム。
The evaluated document diagnostic system according to any one of claims 1 to 4, wherein the document is a patent document.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021145845A JP7081859B1 (en) | 2021-09-08 | 2021-09-08 | Evaluated literature diagnostic system |
| JP2022081980A JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021145845A JP7081859B1 (en) | 2021-09-08 | 2021-09-08 | Evaluated literature diagnostic system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022081980A Division JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7081859B1 true JP7081859B1 (en) | 2022-06-07 |
| JP2023038961A JP2023038961A (en) | 2023-03-20 |
Family
ID=81926001
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021145845A Active JP7081859B1 (en) | 2021-09-08 | 2021-09-08 | Evaluated literature diagnostic system |
| JP2022081980A Pending JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022081980A Pending JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7081859B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014112283A (en) | 2012-12-05 | 2014-06-19 | Docomo Technology Inc | Information processing device, information processing method, and program |
| JP2019087258A (en) | 2017-11-07 | 2019-06-06 | 株式会社日立製作所 | Information processing apparatus, document classification method |
| JP2020085583A (en) | 2018-11-21 | 2020-06-04 | セイコーエプソン株式会社 | Inspection device and inspection method |
-
2021
- 2021-09-08 JP JP2021145845A patent/JP7081859B1/en active Active
-
2022
- 2022-05-19 JP JP2022081980A patent/JP2023039399A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014112283A (en) | 2012-12-05 | 2014-06-19 | Docomo Technology Inc | Information processing device, information processing method, and program |
| JP2019087258A (en) | 2017-11-07 | 2019-06-06 | 株式会社日立製作所 | Information processing apparatus, document classification method |
| JP2020085583A (en) | 2018-11-21 | 2020-06-04 | セイコーエプソン株式会社 | Inspection device and inspection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023039399A (en) | 2023-03-20 |
| JP2023038961A (en) | 2023-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mu et al. | Classification under streaming emerging new classes: A solution using completely-random trees | |
| KR20180053731A (en) | How to find K extreme values within a certain processing time | |
| Rustam et al. | Predicting pulsar stars using a random tree boosting voting classifier (RTB-VC) | |
| JP2009277136A (en) | Similarity analysis evaluation system | |
| Edmunds et al. | Due process in dual process: Model‐recovery simulations of decision‐bound strategy analysis in category learning | |
| Kovács et al. | Evaluation metrics for anomaly detection algorithms in time-series | |
| Arun et al. | Student academic performance prediction using educational data mining | |
| Tegegne et al. | Educational data mining for students’ academic performance analysis in selected Ethiopian universities | |
| CN114722947B (en) | A method for detecting anomaly in power dispatching monitoring data based on nearest neighbor search clustering | |
| JP7081859B1 (en) | Evaluated literature diagnostic system | |
| Radhamani et al. | Diagnosis and Evaluation of ADHD using MLP and SVM Classifiers | |
| Khoshnevis et al. | Prioritizing ground‐motion validation metrics using semisupervised and supervised learning | |
| JP6453502B1 (en) | Patent search support method | |
| Simon et al. | Survey on data mining approach for analysis and prediction of student performance | |
| Abdulazeez et al. | Application of classification models to predict students’ academic performance using classifiers ensemble and synthetic minority over sampling techniques | |
| Weber et al. | Can a modified lineup procedure improve the usefulness of confidence? | |
| CN112506930B (en) | Data insight system based on machine learning technology | |
| JP7383311B2 (en) | Evaluated literature diagnosis system | |
| WO2022183019A9 (en) | Methods for mitigation of algorithmic bias discrimination, proxy discrimination and disparate impact | |
| KR102750315B1 (en) | Dataset visualization device and method | |
| CN118262125B (en) | Image classification model acquisition method, image classification method, device and equipment | |
| Bej | Improved imbalanced classification through convex space learning | |
| Buddarapu et al. | Data Shift in Legal AI Systems. | |
| CN117407796B (en) | A cross-component small sample fault diagnosis method, system and storage medium | |
| Limberg et al. | Improving active learning by avoiding ambiguous samples |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210908 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7081859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |