WO2013105404A1 - 信頼度計算装置、信頼度計算方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

信頼度計算装置、信頼度計算方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2013105404A1
WO2013105404A1 PCT/JP2012/082866 JP2012082866W WO2013105404A1 WO 2013105404 A1 WO2013105404 A1 WO 2013105404A1 JP 2012082866 W JP2012082866 W JP 2012082866W WO 2013105404 A1 WO2013105404 A1 WO 2013105404A1
Authority
WO
WIPO (PCT)
Prior art keywords
document
reliability
evaluator
author
evaluation
Prior art date
Application number
PCT/JP2012/082866
Other languages
English (en)
French (fr)
Inventor
村岡優輔
久寿居大
水口弘紀
楠村幸貴
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US14/127,592 priority Critical patent/US20140114930A1/en
Priority to JP2013549442A priority patent/JP5516925B2/ja
Publication of WO2013105404A1 publication Critical patent/WO2013105404A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a reliability calculation device, a reliability calculation method, and a computer-readable recording medium on which a program for realizing these is used, which is used for evaluating reliability of evaluation performed by a user.
  • document ranking is important in order to shorten the time required to reach the target document. For this reason, conventionally, in a search system, ranking is performed so that documents evaluated by many evaluators are ranked higher.
  • search process is executed as follows. In this way, a document evaluated by many evaluators can be ranked higher in the search result.
  • Patent Document 1 discloses a specific example of such a conventional search system.
  • an information evaluation apparatus is used to identify a document highly evaluated by a highly reliable evaluator.
  • an information evaluation apparatus used in a conventional search system will be described with reference to FIG.
  • FIG. 6 is a diagram illustrating an example of a conventional information evaluation apparatus.
  • the information evaluation apparatus 50 includes a document-evaluator storage unit 51, a matrix generation unit 52, and an eigenvector generation unit 53.
  • the document-evaluator storage unit 51 stores a document, a document evaluator, and a document evaluation value, and a correspondence between them.
  • the matrix generation means 52 generates two matrices based on the stored correspondence. One is a matrix in which a row indicates an evaluator, a column indicates a document, and an element indicates a relationship between the evaluator and the document. The other is a matrix in which rows indicate evaluators, columns indicate documents, and elements indicate evaluation values. Then, the matrix generation means 52 creates a new matrix (score transition matrix) based on the relationship between the two matrices.
  • the eigenvector generation means 53 calculates an eigenvector of the generated score transition matrix, and further calculates a document score indicating the number of times evaluated by the evaluator (evaluated number) for each document using the eigenvector. Is output.
  • the document score indicates that the higher the value, the more highly evaluated the document is by a highly reliable evaluator.
  • An object of the present invention is to solve the above-mentioned problem and to calculate the reliability of the evaluator correctly even when the evaluation data is small, a reliability calculation device, a reliability calculation method, and a computer-readable recording medium Is to provide.
  • a reliability calculation apparatus is an apparatus for calculating a reliability that is an index of reliability of an evaluator who has evaluated a document, Identify the correspondence between the document to be evaluated, the evaluator who performed the evaluation of the document, the content of the evaluation, the first information for identifying the corresponding relationship, and the author of the document and the document.
  • a reliability calculation unit that specifies an evaluation of each author by each evaluator based on the second information, and calculates the reliability of each evaluator based on the specified evaluation to each author; It is characterized by having.
  • a reliability calculation method is a method for calculating a reliability that is an index of reliability of an evaluator who performed evaluation of a document, (A) First information for specifying the document to be evaluated, the evaluator who evaluated the document, the content of the evaluation, and the corresponding relationship between each document, and the corresponding relationship between the document and the author of the document Based on the second information to identify each reviewer's rating for each author, The method includes the step of calculating the reliability of each evaluator based on the identified evaluation to each author.
  • a computer-readable recording medium is a program for calculating a reliability as an index of reliability of an evaluator who has evaluated a document by a computer.
  • a computer-readable recording medium on which is recorded In the computer, (A) First information for specifying the document to be evaluated, the evaluator who evaluated the document, the content of the evaluation, and the corresponding relationship between each document, and the corresponding relationship between the document and the author of the document Based on the second information to identify each reviewer's rating for each author, A program including instructions is recorded that calculates the reliability of each evaluator based on an evaluation of each of the identified authors.
  • the reliability of the evaluator can be correctly calculated even when the evaluation data is small.
  • FIG. 1 is a block diagram showing a configuration of a reliability calculation apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing the operation of the reliability calculation apparatus according to the embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of a computer that implements the reliability calculation apparatus 2 according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of document-evaluator information used in the embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of document-author information used in the embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of a conventional information evaluation apparatus.
  • FIG. 1 is a block diagram showing a configuration of a reliability calculation apparatus according to an embodiment of the present invention.
  • the reliability calculation device 2 in the present embodiment shown in FIG. 1 is a device for calculating a reliability that is an index of reliability of an evaluator who has evaluated a document.
  • the reliability calculated by the reliability calculation device 2 is used, for example, for ranking documents in a search system (not shown in FIG. 1).
  • the reliability calculation device 2 includes a reliability calculation unit 21.
  • the reliability calculation unit 21 identifies the document to be evaluated (document that has been evaluated in the past), the evaluator who performed the evaluation of the document, the contents of the evaluation, and the information for identifying the corresponding relationship ( (Hereinafter referred to as “document-evaluator information”).
  • the reliability calculation unit 21 also acquires information (hereinafter referred to as “document-author information”) that specifies the correspondence between the document and its author.
  • the reliability calculation unit 21 identifies the degree of evaluation for each author for each evaluator based on the document-evaluator information and the document-author information, and based on the degree of evaluation for each identified author. The reliability is calculated for each evaluator.
  • the reliability calculation device 2 the evaluation performed by each evaluator on the document is linked to the author of the document, and the reliability of each evaluator is calculated from the evaluation for each author, not for each document. Is done. Therefore, even if there are few evaluations for each document, the same author may write multiple documents, so it is possible to avoid the situation where the reliability cannot be calculated correctly due to the small evaluation data. Become. According to the reliability calculation device 2, unlike the conventional case, the reliability of the evaluator can be correctly calculated even when the evaluation data is small.
  • the reliability calculation device 2 includes a storage device 3 storing various types of information and an output device 4 such as a display device together with a user reliability calculation system 1. Is building. Further, as will be described later, in the present embodiment, the reliability calculation device 2 is constructed by a computer that operates under program control.
  • the storage device 3 includes a document-evaluator storage unit 31 and a document-author storage unit 32.
  • the document-evaluator storage unit 31 stores the document-evaluator information described above.
  • the document-author storage unit 32 stores the document-author information described above.
  • the document-evaluator information includes the document to be evaluated (document that has been evaluated in the past), the evaluator who performed the evaluation of the document, and the contents of this evaluation, and their corresponding relationships.
  • specific examples of the contents of evaluation include the following.
  • the search system displays a screen that allows the user to select either “useful” or “useless” in order to allow the user to evaluate the document extracted by the search.
  • the document-evaluator storage unit 31 when selected by the user, the ID of the logged-in user (evaluator), the ID of the document to be evaluated (displayed document), and The selected evaluation (“useful” or “useless”) is recorded as set data. This recorded set data becomes document-evaluator information.
  • the reliability calculation unit 21 creates a matrix in which the row indicates the evaluator and the column indicates the author, thereby specifying the evaluation for each author described above for each evaluator. be able to.
  • examples of matrix elements include the following three elements.
  • the first is the number of times each evaluator has given a certain evaluation to each author's document.
  • the second is the sum of evaluation values for each author when evaluation values are assigned to documents by each evaluator.
  • the third is a ratio for each author of a document given a certain evaluation by each evaluator.
  • the content of evaluation may be set in stages, such as “good” and “better”, or “good” and “bad”.
  • the reliability calculation unit 21 calculates the reliability by creating a matrix for each stage, setting the level as the above-mentioned “constant evaluation”, and then calculating the reliability for each evaluator for each stage. The reliability of each evaluator can be obtained by combining the reliability.
  • the reliability calculation unit 21 uses the created matrix and the reliability of each evaluator to indicate the degree to which each author is evaluated by each evaluator for each document author. Author confidence can also be calculated.
  • the reliability calculation unit 21 uses the contents of evaluation for each document and the author reliability for the author of each document for each document to be evaluated. A document score indicating the degree to which the document is evaluated by each evaluator can also be calculated.
  • the reliability calculation unit 21 can also calculate the reliability of each evaluator for a certain user, and further the reliability of each author for a certain user. In this case, the reliability calculation unit 21 obtains the similarity between the user and each evaluator regarding the document, and uses this to calculate a document score indicating the degree of evaluation of the document by the user. You can also.
  • FIG. 2 is a flowchart showing the operation of the reliability calculation apparatus according to the embodiment of the present invention.
  • FIG. 1 is taken into consideration as appropriate.
  • the reliability calculation method is implemented by operating the reliability calculation device 2. Therefore, the description of the reliability calculation method in the present embodiment is replaced with the operation description of the reliability calculation apparatus 2 below.
  • the reliability calculation unit 21 accesses the document-evaluator storage unit 31 to acquire document-evaluator information, and further stores the document-author memory.
  • the document 32 is accessed by accessing the section 32 (step A1).
  • the reliability calculation device 2 generates a matrix A (described later) using the document-evaluator information and the document-author information acquired in step A1, and uses the matrix A for each evaluator's reliability.
  • the degree is calculated (step A2).
  • the matrix A is a matrix in which rows indicate evaluators and columns indicate authors.
  • the reliability calculation unit 2 also calculates the author reliability.
  • the reliability calculation device 2 outputs the calculated reliability to the output device 4 (step A3). Further, the reliability calculation device 2 can output the calculated reliability to the search system. In this case, the reliability is reflected in the search result in the search system.
  • step A2 will be described in detail.
  • the following specific example 1 is an example in which the content of the evaluation included in the document-evaluator information is only “good”. For example, it is assumed that evaluations of “good” are given step by step such as “good” and “very good”. In each stage, an evaluation value is set such that the better the value is.
  • a positive value is set as an evaluation value, such as 1 for “good” and 2 for “very good”.
  • numbers 1 to N are assigned to evaluators and authors, and natural numbers i and j used below satisfy 1 ⁇ i ⁇ N and 1 ⁇ j ⁇ N.
  • the number of evaluators and authors is N, but the present embodiment is not limited to this, and the number of evaluators and the number of authors may not match. .
  • the element in the j-th column in the i-th row is “the number of times the i-th evaluator has evaluated the document of the j-th author” or “i-th”. "Evaluation sum when the evaluator evaluates the document of the jth author”.
  • this element is a ratio indicating which author is evaluated by the evaluator, and this ratio can also be obtained by normalizing the row vector.
  • the element in the j-th column in the i-th row may be the ratio of the evaluation from the i-th evaluator among the evaluations from all evaluators to the document written by the j-th author. . This ratio can also be obtained by normalizing the column vector. For example, it is assumed that all evaluators evaluate the document written by the jth author, the total value of the evaluation values is X, and the evaluation value of the evaluation of the i th evaluator is Y. In this case, the element in the j-th column in the i-th row is “Y / X”.
  • the reliability calculation unit 21 is positive for all elements of the matrix A. Constants can also be added.
  • the reliability calculation part 21 calculates
  • the reliability calculation section 21 when the transposed matrix of A, the reliability calculation section 21, the evaluator reliability s, obtained as eigenvectors of AA T. Further, the reliability calculation unit 21 obtains the author reliability t using the above formula 1.
  • Specific example 2 is an example of two stages in which the contents of evaluation included in the document-evaluator information are “good” and “bad”.
  • the reliability calculation unit 21 creates a matrix A + and a matrix A ⁇ .
  • the reliability calculation unit 21 calculates the evaluator reliability s and the author reliability t for each evaluation stage using the matrix A + and the matrix A ⁇ .
  • the reliability is calculated for each stage, it is possible to identify an evaluator who has evaluated the same tendency, and this can be reflected in the search result.
  • the reliability calculation unit 21 sets s + as the evaluator reliability when the evaluation is “good”, and t + as the author reliability when the evaluation is “good”. These are calculated as the solution of Equation 4.
  • ⁇ + is a positive constant.
  • ⁇ + is a positive constant.
  • the reliability calculation unit 21 sets s ⁇ as the evaluator reliability when the evaluation is “bad”, and t ⁇ as the author reliability when the evaluation is “bad”. These are calculated as solutions.
  • ⁇ ⁇ is a positive constant.
  • ⁇ ⁇ is a positive constant.
  • the reliability calculation unit 21 applies s + , t + , s ⁇ , t ⁇ obtained by the equations 3 to 6 to the following equations 7 and 8, and the final evaluator reliability s And the final author confidence t.
  • the reliability calculation unit 21 adds the reliability during the calculation in addition to the final evaluator reliability s and the final author reliability t in step A3. That is, s + , t + , s ⁇ , and t ⁇ can be output.
  • the reliability calculation unit 21 obtains the evaluator reliability s and the author reliability t according to Specific Example 1 or Specific Example 2, and then, for each document, the contents of evaluation for each document, The document score is calculated using the author reliability of the author of the document.
  • the document score of the document d is “w d ”.
  • the reliability calculation unit 21 acquires an evaluation value B jd given to the document d by the evaluator j from the document-evaluator storage unit 31 as the content of the evaluation corresponding to each document.
  • C dj is a parameter that is set to “1” if the user j is the author of the document d, and is set to “0” if the user j is not the author of the document d.
  • the reliability calculation unit 21 generates the matrix A based on the document-evaluator information stored in the document-evaluator storage unit 31 as in the first specific example or the second specific example. Using this, the reliability of the evaluator j for the specific user (evaluator i) is calculated.
  • the reliability calculation unit 21 applies the generated matrix A to the following equations 10 and 11, and the reliability of the evaluator j for the evaluator i (evaluator reliability s ij ): The reliability of the author j for the evaluator i (author reliability t ij ) is obtained.
  • k is a natural number of 1 to N. Note that N is the number of evaluators and authors as described in Example 1, and the natural numbers i and j satisfy 1 ⁇ i ⁇ N and 1 ⁇ j ⁇ N.
  • the reliability calculation unit 21 can further calculate a document score for each evaluator using the evaluator reliability s ij and the author reliability t ij .
  • the document score w kd in this case indicates the degree to which a certain evaluator k is evaluating the document d.
  • the reliability calculation unit 21 calculates the document score w kd using the following formula 12.
  • v ki is the similarity between the evaluator k and the evaluator j.
  • the document score w kd increases as the similarity v ki increases.
  • the similarity v ki is determined based on the similarity between documents to be evaluated, the similarity between documents created by each evaluator, the years of service of each evaluator, and the like. For example, as the similarity v ki , the cosine similarity between the sum of the word vectors of the document evaluated by the evaluator i and the sum of the word vectors of the document evaluated by the evaluator j can be used. Further, in the following Expression 12, B jd and C dj are the same as Expression 9.
  • the program in the embodiment of the present invention may be a program that causes a computer to execute steps A1 to A3 shown in FIG. By installing and executing this program on a computer, the reliability calculation device and the reliability calculation method in the present embodiment can be realized.
  • a central processing unit (CPU) of the computer functions as the reliability calculation unit 21 and performs processing.
  • the storage device 3 may be a storage device such as a hard disk provided in a computer in which the program is installed, or may be a storage device provided in another computer connected by a network.
  • FIG. 3 is a block diagram showing an example of a computer that implements the reliability calculation apparatus 2 according to the embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are connected to each other via a bus 121 so that data communication is possible.
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic storage media such as a flexible disk, or CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic storage media such as a flexible disk
  • CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • FIGS. 1 and 2 are referred to as appropriate.
  • the document-evaluator storage unit 31 stores the data shown in FIG. 4 as document-evaluator information. Further, the document-author storage unit 32 stores data shown in FIG. 5 as document-author information.
  • FIG. 4 is a diagram showing an example of document-evaluator information used in the embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of document-author information used in the embodiment of the present invention.
  • Step A1 First, in the reliability calculation device 2, the reliability calculation unit 21 acquires the document-evaluator information shown in FIG. 4 from the document-evaluator storage unit 31, and further receives the document-evaluator storage unit 32 from FIG. 5. Acquire the document-author information shown in.
  • Step A2 the reliability calculation unit 21 generates the matrix A using the document-evaluator information and the document-author information acquired in step A1.
  • the matrix A is as shown in Equation 13 below.
  • Equation 13 the ratio of each author of a document given a certain evaluation by each evaluator is used as each element of the matrix, and the ratio is obtained by normalizing the row vector. It has been.
  • the reliability calculation unit 21 applies the matrix A shown in Equation 13 to the above Equations 1 and 2 in order to specify the evaluation to each author for each evaluator, and is shown in Equation 14 below. Derive the equation. And the reliability calculation part 21 calculates
  • the reliability calculation unit 21 calculates the author reliability t by applying the value of Equation 15 and the matrix A shown in Equation 13 to Equation 1.
  • the value of the author reliability t is as shown in Equation 16 below.
  • the reliability calculation unit 21 outputs the evaluator reliability s and the author reliability t calculated in this way to the output device 4.
  • the output device 4 displays the value shown in Equation 15 and the value shown in Equation 16 on the display screen. The displayed value is used for document ranking in a search system or the like.
  • An apparatus for calculating a reliability that is an index of reliability of an evaluator who has evaluated a document, Identify the correspondence between the document to be evaluated, the evaluator who performed the evaluation of the document, the content of the evaluation, the first information for identifying the corresponding relationship, and the author of the document and the document.
  • a reliability calculation unit that specifies an evaluation of each author by each evaluator based on the second information, and calculates the reliability of each evaluator based on the specified evaluation to each author;
  • a reliability calculation device characterized by comprising:
  • the reliability calculation unit includes: The row indicates the evaluator, the column indicates the author, and the element is the number of times each evaluator has given a certain rating to each author's document, and each evaluator has given the document a rating value
  • the sum of the evaluation values for each author in the ratio, the ratio of each author to the total authors of documents given a certain evaluation by each evaluator, or the evaluation from all evaluators to the document written by each author Identify a rating for each author by creating a matrix with the rate of rating from each rater;
  • the reliability calculation apparatus according to appendix 1.
  • the reliability calculation unit calculates the reliability by creating the matrix for each stage with the stage as the constant evaluation, and then calculates the reliability for each evaluator for each stage. To make the final reliability of each evaluator, The reliability calculation device according to attachment 2.
  • the reliability calculation unit uses the matrix and the reliability of each evaluator to calculate, for each author, an author reliability indicating the degree to which the author is evaluated by each evaluator.
  • the reliability calculation apparatus according to appendix 2 or 3.
  • the reliability calculation unit evaluates the document from each evaluator by using the content of the evaluation for the document and the author reliability for the author of the document for each document to be evaluated.
  • a document score indicating the degree of The reliability calculation apparatus according to appendix 4.
  • (Appendix 6) A method for calculating a reliability that is an index of the reliability of an evaluator who has evaluated a document, (A) First information for specifying the document to be evaluated, the evaluator who evaluated the document, the content of the evaluation, and the corresponding relationship between each document, and the corresponding relationship between the document and the author of the document Based on the second information to identify each reviewer's rating for each author, A reliability calculation method comprising the step of calculating the reliability of each evaluator based on the specified evaluation to each author.
  • step (a) The row indicates the evaluator, the column indicates the author, and the element is the number of times each evaluator has given a certain rating to each author's document, and each evaluator has given the document a rating value
  • the sum of the evaluation values for each author in the ratio, the ratio of each author to the total authors of documents given a certain evaluation by each evaluator, or the evaluation from all evaluators to the document written by each author Identify a rating for each author by creating a matrix with the rate of rating from each rater; The reliability calculation method according to attachment 6.
  • a computer-readable recording medium storing a program for calculating a reliability that is an index of reliability of an evaluator who has evaluated a document by a computer, In the computer, (A) First information for specifying the document to be evaluated, the evaluator who evaluated the document, the content of the evaluation, and the corresponding relationship between each document, and the corresponding relationship between the document and the author of the document Based on the second information to identify each reviewer's rating for each author, The computer-readable recording medium which recorded the program containing the instruction
  • step (a) The row indicates the evaluator, the column indicates the author, and the element is the number of times each evaluator has given a certain rating to each author's document, and each evaluator has given the document a rating value
  • the sum of the evaluation values for each author in the ratio, the ratio of each author to the total authors of documents given a certain evaluation by each evaluator, or the evaluation from all evaluators to the document written by each author Identify a rating for each author by creating a matrix with the rate of rating from each rater;
  • the computer-readable recording medium according to appendix 11.
  • Appendix 14 (Appendix 14) (B) using the matrix and the reliability of each evaluator to calculate, for each author, an author reliability indicating the degree to which the author is evaluated by each evaluator;
  • the present invention can be applied to a use as a search system that presents a document evaluated by a reliable evaluator on the basis of user evaluation.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するため、信頼度計算装置２は、評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、特定した各著者への評価に基づいて、各評価者の信頼度を計算する、信頼度計算部２１を備えている。

Description

信頼度計算装置、信頼度計算方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、ユーザの行う評価についての信頼性を評価するために用いられる、信頼度計算装置、信頼度計算方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　検索システムにおいては、目的の文書にたどり着くまでの時間を短縮するため、文書のランキングが重要である。このため、従来から、検索システムでは、多くの評価者が評価する文書が上位となるようにランキングが行なわれている。
　通常、検索者が個別の検索結果に対して、上位とすべきかどうか評価を行うことは容易である。よって、従来からの検索システムでは、他の評価者と評価がなるべく一致する評価者が信頼度の高い評価者とされ、この信頼度の高い評価者によって高く評価された文書が検索結果の上位になるように検索処理が実行される。こうすることで、多くの評価者によって評価された文書を検索結果の上位とすることができる。
　例えば、特許文献１は、このような従来からの検索システムの具体例を開示している。また、特許文献１に開示された検索システムでは、信頼度の高い評価者によって高く評価された文書を特定するため、情報評価装置が用いられている。ここで、図６を用いて、従来の検索システムで用いられる情報評価装置について説明する。
　図６は、従来からの情報評価装置の一例を示す図である。図６に示すように、情報評価装置５０は、文書－評価者記憶部５１と、行列生成手段５２と、固有ベクトル生成手段５３とを備えている。文書－評価者記憶部５１は、文書、文書の評価者、及び文書の評価値、それぞれ間の対応付を記憶している。
　行列生成手段５２は、記憶されている対応付に基づいて、２つの行列を生成する。１つは、行が評価者を示し、列が文書を示し、要素が評価者と文書との関係を示す行列である。もう１つは、行が評価者を示し、列が文書を示し、要素が評価値を示す行列である。そして、行列生成手段５２は、２つの行列間の関係に基づいて新たな行列（スコア推移行列）を作成する。
　固有ベクトル生成手段５３は、生成されたスコア推移行列の固有ベクトルを算出し、更に、固有ベクトルを用いて、文書毎に、評価者によって評価された回数（被評価回数）を示す文書スコアを算出し、これを出力する。文書スコアは、値が高い程、信頼度の高い評価者によって高く評価された文書であることを示している。
特許４３４４３３９号公報
　ところで、文書数に対して、取得されている評価値のデータ（評価データ）が少ない場合、殆どの文書の被評価回数は１以下となってしまう。このことは、特許文献１に開示された文章評価装置５０では、このような場合において、評価者の信頼度を正しく評価できず、信頼度の高い評価者によって高く評価された文書を特定できないことを意味している。
（発明の目的）
　本発明の目的は、上記問題を解消し、評価データが少ない場合であっても、評価者の信頼度を正しく計算し得る、信頼度計算装置、信頼度計算方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における信頼度計算装置は、文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための装置であって、
　評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、信頼度計算部を備えている、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における信頼度計算方法は、文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための方法であって、
（ａ）評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、
特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、ステップを、有している、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、
特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、ステップを、実行させる、命令を含むプログラムを記録している、ことを特徴とする。
　以上のように、本発明によれば、評価データが少ない場合であっても、評価者の信頼度を正しく計算することができる。
図１は、本発明の実施の形態における信頼度計算装置の構成を示すブロック図である。 図２は、本発明の実施の形態における信頼度計算装置の動作を示すフロー図である。 図３は、本発明の実施の形態における信頼度計算装置２を実現するコンピュータの一例を示すブロック図である。 図４は、本発明の実施例で用いられる文書－評価者情報の一例を示す図である。 図５は、本発明の実施例で用いられる文書－著者情報の一例を示す図である。 図６は、従来からの情報評価装置の一例を示す図である。
（実施の形態）
　以下、本発明の実施の形態における、信頼度計算装置、計算方法、及びプログラムについて、図１及び図２を参照しながら説明する。
［装置構成］
　最初に、本実施の形態における信頼度計算装置の構成を、図１を用いて説明する。図１は、本発明の実施の形態における信頼度計算装置の構成を示すブロック図である。
　図１に示す本実施の形態における信頼度計算装置２は、文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための装置である。信頼度計算装置２によって計算された信頼度は、例えば、検索システム（図１に図示せず）における文書のランキングに用いられる。
　また、図１に示すように、信頼度計算装置２は、信頼度計算部２１を備えている。信頼度計算部２１は、まず、評価対象となった文書（過去に評価を付けられた文書）、文書の評価を行なった評価者、及びこの評価の内容、それぞれの対応関係を特定する情報（以下「文書－評価者情報」と表記する。）を取得する。また、信頼度計算部２１は、文書及びその著者それぞれの対応関係を特定する情報（以下「文書－著者情報」と表記する。）も取得する。
　そして、信頼度計算部２１は、文書－評価者情報と文書－著者情報とに基づいて、評価者毎の各著者への評価の程度を特定し、特定した各著者への評価の程度に基づいて、評価者毎に、その信頼度を計算する。
　このように、信頼度計算装置２では、各評価者が文書に対して行なった評価は、その文書の著者と結び付けられ、文書毎ではなく、著者毎の評価から各評価者の信頼度が計算される。よって、各文書に対する評価が少ない場合でも、同じ著者が複数の文書を執筆していることがあるため、評価データが少ないことに起因して信頼度を正しく計算できない事態を回避することが可能となる。信頼度計算装置２によれば、従来と異なり、評価データが少ない場合であっても、評価者の信頼度を正しく計算することができる。
　ここで、信頼度計算装置２の構成について更に具体的に説明する。まず、本実施の形態では、図１に示すように、信頼度計算装置２は、各種情報を記憶している記憶装置３と、ディスプレイ装置等の出力装置４と共に、ユーザ信頼度計算システム１を構築している。また、後述するように、本実施の形態では、信頼度計算装置２は、プログラム制御によって動作するコンピュータによって構築されている。
　記憶装置３は、文書－評価者記憶部３１と、文書－著者記憶部３２とを備えている。このうち、文書－評価者記憶部３１は、上述した文書－評価者情報を記憶する。文書－著者記憶部３２は、上述した文書－著者情報を記憶する。
　また、文書－評価者情報は、上述したように、評価対象となった文書（過去に評価を付けられた文書）、文書の評価を行なった評価者、及びこの評価の内容、それぞれの対応関係を特定するが、このうち、評価の内容の具体例としては、以下のものが挙げられる。
　例えば、検索システムが、ユーザに対して、検索によって抽出された文書の評価を行なわせるために、「役に立った」及び「役に立たなかった」のいずれかを選択させる画面を表示させているとする。この場合、文書－評価者記憶部３１は、ユーザによって選択が行なわれると、ログインしていたユーザ（評価者）のＩＤ、評価の対象となった文書（表示されている文書）のＩＤ、及び選択された評価（「役に立った」又は「役に立たなかった」）を組データとして記録する。この記録された組データが文書－評価者情報となる。
　また、本実施の形態において、信頼度計算部２１は、行が評価者を示し、列が著者を示す、行列を作成し、それによって、上述した評価者毎の各著者への評価を特定することができる。このとき、行列の要素としては、例えば、以下の三つが挙げられる。
　一つ目は、各評価者によって各著者の文書に対して一定の評価が付与された回数である。二つ目は、各評価者によって文書に評価値が付与されている場合における著者毎の評価値の和である。三つ目は、各評価者によって一定の評価が付与された文書の著者毎の割合である。これらについては、後述する。なお、このように、行列を用いれば、評価者毎の各著者への評価の特定は、容易となる。
　また、本実施の形態では、評価の内容は、「良い」及び「もっと良い」といったように、又は「良い」及び「悪い」といったように、段階的に設定されていても良い。この場合、信頼度計算部２１は、段階毎に、その段階を上述の「一定の評価」として、行列を作成して信頼度を計算し、その後、評価者毎に、段階毎に計算された各信頼度を合わせて、最終的な各評価者の信頼度とすることができる。
　更に、本実施の形態では、信頼度計算部２１は、作成した行列と各評価者の信頼度とを用いて、文書の著者毎に、各著者が各評価者から評価されている度合いを示す著者信頼度を計算することもできる。
　また、著者信頼度を計算する場合は、信頼度計算部２１は、評価対象となった文書毎に、各文書に対する評価の内容と、その文書の著者についての著者信頼度とを用いて、各文書が各評価者から評価されている度合いを示す文書スコアを算出することもできる。
　検索システムにおける検索結果において、検索結果と共に、このような著者信頼度及び文書スコアが出力されると、ユーザは検索結果をより有効に利用することができる。
　加えて、本実施の形態では、信頼度計算部２１は、あるユーザにとっての各評価者の信頼度、更には、あるユーザにとっての各著者の信頼度を計算することもできる。また、この場合、信頼度計算部２１は、当該ユーザと各評価者との文書についての類似度を求め、これを用いて、当該ユーザが文書を評価している度合いを示す文書スコアを算出することもできる。
［動作］
　次に、本発明の実施の形態における信頼度計算装置２の動作について図２を用いて説明する。図２は、本発明の実施の形態における信頼度計算装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、信頼度計算装置２を動作させることによって、信頼度計算方法が実施される。よって、本実施の形態における信頼度計算方法の説明は、以下の信頼度計算装置２の動作説明に代える。
　図２に示す様に、最初に、信頼度計算装置２において、信頼度計算部２１は、文書－評価者記憶部３１にアクセスして文書－評価者情報を取得し、更に、文書－著者記憶部３２にアクセスして文書－著者情報を取得する（ステップＡ１）。
　次に、信頼度計算装置２は、ステップＡ１で取得した文書－評価者情報及び文書－著者情報を用いて、行列Ａ（後述する。）を生成し、行列Ａを用いて評価者毎の信頼度を計算する（ステップＡ２）。行列Ａは、行が評価者を示し、列が著者を示す行列である。また、本実施の形態では、ステップＡ２において、信頼度計算部２は、著者信頼度も計算する。
　その後、信頼度計算装置２は、計算した信頼度を出力装置４に出力する（ステップＡ３）。また、信頼度計算装置２は、計算した信頼度を、検索システムに出力することもできる。この場合は、検索システムにおける検索結果に、信頼度が反映されることになる。
（具体例１）
　ここで、ステップＡ２について詳細に説明する。以下の具体例１は、文書－評価者情報に含まれる評価の内容が「良い」のみとなる例である。例えば、「良い」、「非常に良い」といったように、段階的に「良い」という評価が付与されているとする。また、各段階には、より良いほど値が大きくなるように、評価値が設定されている。
　具体的には、「良い」に１、「非常に良い」に２というように、正の値が評価値として設定されているとする。また、具体例１では、評価者及び著者に１～Ｎまでの番号が付与されており、以下で用いる自然数ｉ及びｊは、１≦ｉ≦Ｎ、１≦ｊ≦Ｎを満たすとする。なお、以下の例では、評価者及び著者の数は、共にＮ人であるが、本実施の形態はこれに限定されず、評価者の人数と著者の人数とは合致していなくても良い。
　そして、信頼度計算部２１によって生成される行列Ａにおいて、ｉ行目におけるｊ列目の要素としては、「ｉ番目の評価者がｊ番目の著者の文書を評価した回数」、又は「ｉ番目の評価者がｊ番目の著者の文書を評価した場合の評価値の和」が挙げられる。
　更に、ｉ行目におけるｊ列目の要素としては、「ｉ番目の評価者によって一定の評価が付与された文書のｊ番目の著者の割合（＝ｉ番目の評価者によって一定の評価が付与された文書のうちｊ番目の著者が書いた文書の数／ｉ番目の評価者によって一定の評価が付与された文書）」も挙げられる。この要素は、言い換えると、評価者がどの著者を評価しているのかを示す割合であり、この割合は行ベクトルを規格化することによっても取得できる。
　その他、ｉ行目におけるｊ列目の要素としては、ｊ番目の著者が書いた文書への、全評価者からの評価の中でのｉ番目の評価者からの評価の割合であっても良い。この割合は列ベクトルを規格化することによっても取得できる。例えば、ｊ番目の著者が書いた文書について、全評価者が評価を行ない、その評価値の合計値がＸであり、ｉ番目の評価者の評価の評価値がＹであるとする。この場合、ｉ行目におけるｊ列目の要素は「Ｙ／Ｘ」となる。
　更に、本実施の形態では、評価者からの評価を受けていない文書の評価値が、全て０となってしまうことを回避するため、信頼度計算部２１は、行列Ａの全要素に正の定数を加算することもできる。
　そして、信頼度計算部２１は、このようにして得られた行列Ａを用いて、評価者の信頼度（評価者信頼度ｓ）と著者の信頼度（著者信頼度ｔ）とを求める。具体的には、信頼度計算部２１は、下記の数１及び数２の解として、評価者信頼度ｓ及び著者信頼度ｔを計算する。また、下記の数１において「λ」は正の定数である。下記の数２において「ν」は正の定数である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　上記数１及び数２の解を得るために、例えばＡＴを、Ａの転置行列とすると、信頼度計算部２１は、評価者信頼度ｓを、ＡＡＴの固有ベクトルとして求める。また、信頼度計算部２１は、上記数１を用いて、著者信頼度ｔを求める。
（具体例２）
　続いて、具体例２について説明する。以下の具体例２は、文書－評価者情報に含まれる評価の内容が「良い」と「悪い」との２段階の例である。また、具体例２では、信頼度計算部２１は、行列Ａ＋と行列Ａ－とを作成する。
　このうち、行列Ａ＋では、ｉ行目におけるｊ列目の要素として、「ｉ番目の評価者がｊ番目の著者の文書を「良い」と評価した回数」、又は「ｉ番目の評価者がｊ番目の著者の文書を「良い」と評価した場合の評価値の和」が挙げられる。
　また、行列Ａ－では、ｉ行目におけるｊ列目の要素として、「ｉ番目の評価者がｊ番目の著者の文書を「悪い」と評価した回数」、又は「ｉ番目の評価者がｊ番目の著者の文書を「悪い」とした場合の評価値（絶対値）の和」が挙げられる。
　そして、信頼度計算部２１は、行列Ａ＋及び行列Ａ－を用いて、評価の段階毎に、評価者信頼度ｓ及び著者信頼度ｔを計算する。このように、段階毎に信頼度を計算した場合は、同じ傾向の評価を行った評価者を特定でき、そのことを検索結果に反映させることが可能となる。
　具体的には、信頼度計算部２１は、評価が「良い」の場合の評価者信頼度をｓ＋、同じく評価が「良い」の場合の著者信頼度をｔ＋として、下記の数３及び数４の解として、これらを計算する。また、下記の数３において「λ＋」は正の定数である。下記の数２において「ν＋」は正の定数である。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　また、信頼度計算部２１は、評価が「悪い」の場合の評価者信頼度をｓ－、同じく評価が「悪い」の場合の著者信頼度をｔ－として、下記の数５及び数６の解として、これらを計算する。また、下記の数５において「λ－」は正の定数である。下記の数６において「ν－」は正の定数である。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　その後、信頼度計算部２１は、数３～数６によって得られたｓ＋、ｔ＋、ｓ－、ｔ－を下記の数７及び数８に適用して、最終的な評価者信頼度ｓと最終的な著者信頼度ｔとを計算する。また、具体例２が実行される場合は、信頼度計算部２１は、ステップＡ３において、最終的な評価者信頼度ｓと最終的な著者信頼度ｔとに加えて、計算途中の信頼度、即ち、ｓ＋、ｔ＋、ｓ－、ｔ－を出力することもできる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
（具体例３）
　次に、具体例３について説明する。具体例３では、信頼度計算部２１は、具体例１又は具体例２に準じて評価者信頼度ｓと著者信頼度ｔとを求めた後に、文書毎に、各文書に対する評価の内容と、その文書の著者についての著者信頼度とを用いて、文書スコアを算出する。ここで、文書ｄの文書スコアを「ｗｄ」とする。
　具体的には、信頼度計算部２１は、文書－評価者記憶部３１から、各文書に対応する評価の内容として、評価者ｊが文書ｄに付与した評価値Ｂｊｄを取得する。そして、信頼度計算部２１は、取得した評価値Ｂｊｄと、評価者信頼度ｓと、著者信頼度ｔとを、下記の数９に適用して、文書ｄの文書スコアｗｄを計算する。なお、下記の数９において、Ｃｄｊは、ユーザｊが文書ｄの著者であれば「１」に設定され、ユーザｊが文書ｄの著者でなければ「０」に設定されるパラメータである。
Figure JPOXMLDOC01-appb-M000009
（具体例４）
　次に、具体例４について説明する。具体例４では、信頼度計算部２１は、具体例１又は具体例２と同様に、文書－評価者記憶部３１に格納されている文書－評価者情報に基づいて、行列Ａを生成するが、これを用いて、特定のユーザ（評価者ｉ）にとっての評価者ｊの信頼度を計算する。
　具体的には、信頼度計算部２１は、生成した行列Ａを下記の数１０及び数１１に適用して、評価者ｉにとっての評価者ｊの信頼度（評価者信頼度ｓｉｊ）と、評価者ｉにとっての著者ｊの信頼度（著者信頼度ｔｉｊ）とを求める。なお、下記の数１０及び数１１において、ｋは、１～Ｎの自然数である。なお、Ｎは、具体例１で述べたように、評価者及び著者の数であり、自然数ｉ及びｊは、１≦ｉ≦Ｎ、１≦ｊ≦Ｎを満たす。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　また、具体例４では、信頼度計算部２１は、更に、評価者信頼度ｓｉｊと著者信頼度ｔｉｊとを用いて、評価者毎に、文書スコアを計算することができる。この場合の文書スコアｗｋｄは、ある評価者ｋが文書ｄを評価している度合いを示している。具体的には、信頼度計算部２１は、下記の数１２を用いて、文書スコアｗｋｄを計算する。下記の数１２において、ｖｋｉは、評価者ｋと評価者ｊとの間の類似度である。文書スコアｗｋｄは、類似度ｖｋｉが大きい程、高い値となる。
　なお、類似度ｖｋｉは、評価対象となった文書間の類似、各評価者が作成した文書間の類似、各評価者の勤続年数等に基づいて決定される。例えば、類似度ｖｋｉとしては、評価者ｉが評価した文書の単語ベクトルの総和と、評価者ｊが評価した文書の単語ベクトルの総和と、のコサイン類似度を用いることができる。また、下記の数１２において、ＢｊｄとＣｄｊとは、数９と同様である。
Figure JPOXMLDOC01-appb-M000012
［実施の形態における効果］
　以上のように、本実施の形態によれば、より少ない評価データを使用して、評価者の信頼度をより適切に判定することが可能となる。
（理由）つまり、対象となる文書毎に信頼度を計算する場合は、評価回数の計測対象の種類が多く、各評価回数が少なくなりやすい。それに対して、著者毎に信頼度を計算する場合は、同じ筆者が複数の文書を執筆していることがあるため、評価回数の計測対象の種類が少なくなり、各評価回数が大きくなりやすいからである。言い換えると、同じ文書を評価しているかどうかよりも、同じ著者の文書を評価しているかどうかの方が、パターンの種類数が小さくなるからである。
［実施の形態におけるプログラム］
　本発明の実施の形態におけるプログラムは、コンピュータに、図２に示すステップＡ１～Ａ３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における信頼度計算装置と信頼度計算方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、信頼度計算部２１として機能し、処理を行なう。
　また、この場合、記憶装置３は、プログラムがインストールされるコンピュータに備えられたハードディスク等の記憶装置であっても良いし、ネットワークによって接続された別のコンピュータが備える記憶装置であっても良い。
　ここで、実施の形態におけるプログラムを実行することによって、信頼度計算装置２を実現するコンピュータについて図３を用いて説明する。図３は、本発明の実施の形態における信頼度計算装置２を実現するコンピュータの一例を示すブロック図である。
　図３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
　次に、具体的な実施例１を用いて本実施の形態における信頼度計算装置２の動作を説明する。また、以下においては、図２に示した各ステップに沿って説明を行なう。なお、適宜、図１及び図２を参酌する。
（前提条件）
　まず、本実施例１の前提として、評価者及び筆者の両方となるユーザ１、２、３と、文書１、２、３、４、５とが存在しているとする。また、ユーザ１が評価者１として文書５を評価し、ユーザ２が評価者２として文書１及び４を評価し、ユーザ３が評価者３として文書３を評価しているとする。更に、ユーザ１が文書１及び２の著者１であり、ユーザ２が文書３の著者２であり、ユーザ３が文書４及び５の著者３であるとする。
　以上の前提においては、文書－評価者記憶部３１は、文書－評価者情報として、図４に示すデータを記憶する。また、文書－著者記憶部３２は、文書－著者情報として、図５に示すデータを記憶する。図４は、本発明の実施例で用いられる文書－評価者情報の一例を示す図である。図５は、本発明の実施例で用いられる文書－著者情報の一例を示す図である。
（ステップＡ１）
　先ず、信頼度計算装置２において、信頼度計算部２１は、文書－評価者記憶部３１から、図４に示す文書－評価者情報を取得し、更に、文書－著者記憶部３２から、図５に示す文書－著者情報を取得する。
（ステップＡ２）
　次に、信頼度計算部２１は、ステップＡ１で取得した文書－評価者情報及び文書－著者情報を用いて、行列Ａを生成する。本実施例では、行列Ａは、下記の数１３に示す通りとなる。また、下記の数１３では、行列の各要素として、各評価者によって一定の評価が付与された文書の著者毎の割合が用いられており、当該割合は、行ベクトルを規格化することによって得られている。
Figure JPOXMLDOC01-appb-M000013
　次に、信頼度計算部２１は、評価者毎の各著者への評価を特定するため、数１３に示す行列Ａを、上述の数１及び数２に適用して、下記の数１４に示す方程式を導出する。そして、信頼度計算部２１は、下記の数１４に示す方程式の解を求める。このとき、解となる固有ベクトルは複数存在するが、信頼度計算部２１は、例えば、最大の固有値に対応する固有ベクトルを選択する。解は、下記の数１５に示す通りとなる。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　また、信頼度計算部２１は、数１５の値と数１３に示す行列Ａとを数１に適用して、著者信頼度ｔも計算する。著者信頼度ｔの値は、下記の数１６に示す通りとなる。
Figure JPOXMLDOC01-appb-M000016
　全ての計算が終了すると、信頼度計算部２１は、このようにして計算した評価者信頼度ｓ及び著者信頼度ｔを出力装置４に出力する。出力装置４は、例えば、数１５に示された値と数１６に示された値とを表示画面に表示させる。また、表示された値は、検索システム等において文書のランキングに用いられる。
　上述した実施の形態及び実施例の一部又は全部は、以下に記載する（付記１）～（付記１５）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための装置であって、
　評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、信頼度計算部を備えている、ことを特徴とする信頼度計算装置。
（付記２）
　前記信頼度計算部は、
行が評価者を示し、列が著者を示し、要素が、各評価者によって各著者の文書に対して一定の評価が付与された回数、各評価者によって文書に評価値が付与されている場合における著者毎の評価値の和、各評価者によって一定の評価が付与された文書の著者全体に対する各著者の割合、又は各著者が書いた文書への、全評価者からの評価の中での各評価者からの評価の割合となった、行列を作成することによって、前記各著者への評価を特定する、
付記１に記載の信頼度計算装置。
（付記３）
　前記評価の内容が、段階的に設定されており、
　前記信頼度計算部が、段階毎に、当該段階を前記一定の評価として、前記行列を作成して信頼度を計算し、その後、前記評価者毎に、前記段階毎に計算された各信頼度を合わせて、最終的な前記各評価者の前記信頼度とする、
付記２に記載の信頼度計算装置。
（付記４）
　前記信頼度計算部は、前記行列と前記各評価者の前記信頼度とを用いて、前記著者毎に、当該著者が各評価者から評価されている度合いを示す著者信頼度を計算する、
付記２又は３に記載の信頼度計算装置。
（付記５）
　前記信頼度計算部は、評価対象となった前記文書毎に、当該文書に対する前記評価の内容と、当該文書の著者についての前記著者信頼度とを用いて、当該文書が各評価者から評価されている度合いを示す文書スコアを算出する、
付記４に記載の信頼度計算装置。
（付記６）
　文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための方法であって、
（ａ）評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、
特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、ステップを、有している、ことを特徴とする信頼度計算方法。
（付記７）
　前記（ａ）のステップにおいて、
行が評価者を示し、列が著者を示し、要素が、各評価者によって各著者の文書に対して一定の評価が付与された回数、各評価者によって文書に評価値が付与されている場合における著者毎の評価値の和、各評価者によって一定の評価が付与された文書の著者全体に対する各著者の割合、又は各著者が書いた文書への、全評価者からの評価の中での各評価者からの評価の割合となった、行列を作成することによって、前記各著者への評価を特定する、
付記６に記載の信頼度計算方法。
（付記８）
　前記評価の内容が、段階的に設定されており、
　前記（ａ）のステップにおいて、段階毎に、当該段階を前記一定の評価として、前記行列を作成して信頼度を計算し、その後、前記評価者毎に、前記段階毎に計算された各信頼度を合わせて、最終的な前記各評価者の前記信頼度とする、
付記７に記載の信頼度計算方法。
（付記９）
（ｂ）前記行列と前記各評価者の前記信頼度とを用いて、前記著者毎に、当該著者が各評価者から評価されている度合いを示す著者信頼度を計算する、ステップを、
更に有する、付記７又は８に記載の信頼度計算方法。
（付記１０）
（ｃ）評価対象となった前記文書毎に、当該文書に対する前記評価の内容と、当該文書の著者についての前記著者信頼度とを用いて、当該文書が各評価者から評価されている度合いを示す文書スコアを算出する、ステップを、
更に有する、付記９に記載の信頼度計算方法。
（付記１１）
　コンピュータによって、文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、
特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、ステップを、実行させる、命令を含むプログラムを記録している、コンピュータ読み取り可能な記録媒体。
（付記１２）
　前記（ａ）のステップにおいて、
行が評価者を示し、列が著者を示し、要素が、各評価者によって各著者の文書に対して一定の評価が付与された回数、各評価者によって文書に評価値が付与されている場合における著者毎の評価値の和、各評価者によって一定の評価が付与された文書の著者全体に対する各著者の割合、又は各著者が書いた文書への、全評価者からの評価の中での各評価者からの評価の割合となった、行列を作成することによって、前記各著者への評価を特定する、
付記１１に記載のコンピュータ読み取り可能な記録媒体。
（付記１３）
　前記評価の内容が、段階的に設定されており、
　前記（ａ）のステップにおいて、段階毎に、当該段階を前記一定の評価として、前記行列を作成して信頼度を計算し、その後、前記評価者毎に、前記段階毎に計算された各信頼度を合わせて、最終的な前記各評価者の前記信頼度とする、
付記１２に記載のコンピュータ読み取り可能な記録媒体。
（付記１４）
（ｂ）前記行列と前記各評価者の前記信頼度とを用いて、前記著者毎に、当該著者が各評価者から評価されている度合いを示す著者信頼度を計算する、ステップを、前記コンピュータに実行させる命令を、前記プログラムが更に含む、付記１２又は１３に記載のコンピュータ読み取り可能な記録媒体。
（付記１５）
（ｃ）評価対象となった前記文書毎に、当該文書に対する前記評価の内容と、当該文書の著者についての前記著者信頼度とを用いて、当該文書が各評価者から評価されている度合いを示す文書スコアを算出する、ステップを、更に前記コンピュータに実行させる命令を、前記プログラムが更に含む、付記１４に記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施の形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年１月１２日に出願された日本出願特願２０１２－４３９９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、ユーザの評価を元に、信頼できる評価者の評価した文書を上位に提示する検索システムという用途に適用できる。
　１　ユーザ信頼度計算システム
　２　信頼度計算装置
　３　記憶装置
　４　出力装置
　２１　信頼度計算部
　３１　文書－評価者記憶部
　３２　文書－著者記憶部
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス
 

Claims (7)

  1. 　文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための装置であって、
    　評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、信頼度計算部を備えている、ことを特徴とする信頼度計算装置。
  2. 　前記信頼度計算部は、
    行が評価者を示し、列が著者を示し、要素が、各評価者によって各著者の文書に対して一定の評価が付与された回数、各評価者によって文書に評価値が付与されている場合における著者毎の評価値の和、各評価者によって一定の評価が付与された文書の著者全体に対する各著者の割合、又は各著者が書いた文書への、全評価者からの評価の中での各評価者からの評価の割合となった、行列を作成することによって、前記各著者への評価を特定する、
    請求項１に記載の信頼度計算装置。
  3. 　前記評価の内容が、段階的に設定されており、
    　前記信頼度計算部が、段階毎に、当該段階を前記一定の評価として、前記行列を作成して信頼度を計算し、その後、前記評価者毎に、前記段階毎に計算された各信頼度を合わせて、最終的な前記各評価者の前記信頼度とする、
    請求項２に記載の信頼度計算装置。
  4. 　前記信頼度計算部は、前記行列と前記各評価者の前記信頼度とを用いて、前記著者毎に、当該著者が各評価者から評価されている度合いを示す著者信頼度を計算する、
    請求項２又は３に記載の信頼度計算装置。
  5. 　前記信頼度計算部は、評価対象となった前記文書毎に、当該文書に対する前記評価の内容と、当該文書の著者についての前記著者信頼度とを用いて、当該文書が各評価者から評価されている度合いを示す文書スコアを算出する、
    請求項４に記載の信頼度計算装置。
  6. 　文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための方法であって、
    （ａ）評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、
    特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、ステップを、有している、ことを特徴とする信頼度計算方法。
  7. 　コンピュータによって、文書の評価を行なった評価者の信頼性の指標となる信頼度を計算するための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    （ａ）評価対象となった文書、当該文書の評価を行なった評価者、及び当該評価の内容、それぞれの対応関係を特定する第１の情報と、前記文書及び当該文書の著者それぞれの対応関係を特定する第２の情報とに基づいて、各評価者による各著者への評価を特定し、
    特定した前記各著者への評価に基づいて、各評価者の前記信頼度を計算する、ステップを、実行させる、命令を含むプログラムを記録している、コンピュータ読み取り可能な記録媒体。
PCT/JP2012/082866 2012-01-12 2012-12-19 信頼度計算装置、信頼度計算方法、及びコンピュータ読み取り可能な記録媒体 WO2013105404A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/127,592 US20140114930A1 (en) 2012-01-12 2012-12-19 Reliability calculation apparatus, reliability calculation method, and computer-readable recording medium
JP2013549442A JP5516925B2 (ja) 2012-01-12 2012-12-19 信頼度計算装置、信頼度計算方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-004399 2012-01-12
JP2012004399 2012-01-12

Publications (1)

Publication Number Publication Date
WO2013105404A1 true WO2013105404A1 (ja) 2013-07-18

Family

ID=48781363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082866 WO2013105404A1 (ja) 2012-01-12 2012-12-19 信頼度計算装置、信頼度計算方法、及びコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US20140114930A1 (ja)
JP (1) JP5516925B2 (ja)
WO (1) WO2013105404A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444711A (zh) * 2016-10-18 2017-02-22 上海发电设备成套设计研究院 一种控制系统的分级可靠性评定方法
JP2019185768A (ja) * 2018-04-05 2019-10-24 裕一郎 河野 記事評価システム
JP2020508518A (ja) * 2017-02-21 2020-03-19 ソニー・インタラクティブエンタテインメント エルエルシー ニュースの信憑性を特定する方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099548A (ja) * 1998-07-22 2000-04-07 Nec Corp 情報フィルタリング方法及びその装置並びに情報フィルタリングプログラムを記録した記録媒体
JP2003085433A (ja) * 2001-09-06 2003-03-20 Matsushita Electric Ind Co Ltd 情報評価システムおよびそのプログラム
JP2003316925A (ja) * 2002-04-23 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 情報信頼度評価装置及び情報格付システム
JP2004341624A (ja) * 2003-05-13 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> 情報評価装置及び情報評価方法
JP2006202253A (ja) * 2004-12-24 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 情報評価装置、コンテンツ検索装置、情報評価方法、コンテンツ検索方法、それらのプログラム及び記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7287052B2 (en) * 2002-11-09 2007-10-23 Microsoft Corporation Challenge and response interaction between client and server computing devices
US7822631B1 (en) * 2003-08-22 2010-10-26 Amazon Technologies, Inc. Assessing content based on assessed trust in users
US7519562B1 (en) * 2005-03-31 2009-04-14 Amazon Technologies, Inc. Automatic identification of unreliable user ratings
US20090157491A1 (en) * 2007-12-12 2009-06-18 Brougher William C Monetization of Online Content
US9009082B1 (en) * 2008-06-30 2015-04-14 Amazon Technologies, Inc. Assessing user-supplied evaluations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099548A (ja) * 1998-07-22 2000-04-07 Nec Corp 情報フィルタリング方法及びその装置並びに情報フィルタリングプログラムを記録した記録媒体
JP2003085433A (ja) * 2001-09-06 2003-03-20 Matsushita Electric Ind Co Ltd 情報評価システムおよびそのプログラム
JP2003316925A (ja) * 2002-04-23 2003-11-07 Nippon Telegr & Teleph Corp <Ntt> 情報信頼度評価装置及び情報格付システム
JP2004341624A (ja) * 2003-05-13 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> 情報評価装置及び情報評価方法
JP2006202253A (ja) * 2004-12-24 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 情報評価装置、コンテンツ検索装置、情報評価方法、コンテンツ検索方法、それらのプログラム及び記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444711A (zh) * 2016-10-18 2017-02-22 上海发电设备成套设计研究院 一种控制系统的分级可靠性评定方法
JP2020508518A (ja) * 2017-02-21 2020-03-19 ソニー・インタラクティブエンタテインメント エルエルシー ニュースの信憑性を特定する方法
JP2021073621A (ja) * 2017-02-21 2021-05-13 ソニー・インタラクティブエンタテインメント エルエルシー ニュースの信憑性を特定する方法
JP7206304B2 (ja) 2017-02-21 2023-01-17 ソニー・インタラクティブエンタテインメント エルエルシー ニュースの信憑性を特定する方法
JP2019185768A (ja) * 2018-04-05 2019-10-24 裕一郎 河野 記事評価システム

Also Published As

Publication number Publication date
US20140114930A1 (en) 2014-04-24
JP5516925B2 (ja) 2014-06-11
JPWO2013105404A1 (ja) 2015-05-11

Similar Documents

Publication Publication Date Title
JP6954003B2 (ja) データベースのための畳み込みニューラルネットワークモデルの決定装置及び決定方法
US11475235B2 (en) Clustering techniques for machine learning models
TW202004559A (zh) 梯度提升決策樹（ｇｂｄｔ）模型的特徵解釋方法和裝置
US9378432B2 (en) Hierarchy similarity measure
WO2013125482A1 (ja) 文書評価装置、文書評価方法、及びコンピュータ読み取り可能な記録媒体
BR112020017329A2 (pt) método e aparelho para ranquear um objeto de negócio, dispositivo eletrônico, e, meio de armazenamento legível
CN108369664A (zh) 调整神经网络的大小
KR101089163B1 (ko) 학습 콘텐츠 제공 장치 및 그 방법
Heimberger Does economic globalisation promote economic growth? A meta‐analysis
JP6281491B2 (ja) テキストマイニング装置、テキストマイニング方法及びプログラム
JP2007323315A (ja) 協調フィルタリング方法、協調フィルタリング装置、および協調フィルタリングプログラムならびにそのプログラムを記録した記録媒体
CN113934851A (zh) 用于文本分类的数据增强方法、装置及电子设备
Rahaman Khan et al. Variable selection for accelerated lifetime models with synthesized estimation techniques
JP5516925B2 (ja) 信頼度計算装置、信頼度計算方法、及びプログラム
WO2014134990A1 (en) Method, device and computer-readable storage medium for closure testing
Mahalunkar et al. Multi-element long distance dependencies: Using SPk languages to explore the characteristics of long-distance dependencies
Jain et al. Rolling Adjoints: Fast Greeks along Monte Carlo scenarios for early-exercise options
US11782947B2 (en) Apparatus for recommending feature and method for recommending feature using the same
CN116503031A (zh) 基于简历解析的人员相似性计算方法、装置、设备及介质
KR102441442B1 (ko) 그래프 컨볼루션 네트워크 학습 방법 및 장치
US11790087B2 (en) Method and apparatus to identify hardware performance counter events for detecting and classifying malware or workload using artificial intelligence
WO2021220775A1 (ja) 材料の特性値を推定するシステム
JP2009129279A (ja) 機械学習装置及び機械学習方法
US11055206B2 (en) Non-transitory computer-readable storage medium, generation method, and information processing apparatus
CN110262906B (zh) 接口标签推荐方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12865148

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013549442

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14127592

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12865148

Country of ref document: EP

Kind code of ref document: A1