WO2020045107A1 - 評価更新装置、方法、及びプログラム - Google Patents

評価更新装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020045107A1
WO2020045107A1 PCT/JP2019/032041 JP2019032041W WO2020045107A1 WO 2020045107 A1 WO2020045107 A1 WO 2020045107A1 JP 2019032041 W JP2019032041 W JP 2019032041W WO 2020045107 A1 WO2020045107 A1 WO 2020045107A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
information
user
evaluation information
posted
Prior art date
Application number
PCT/JP2019/032041
Other languages
English (en)
French (fr)
Inventor
阿部　直人
宏志 小西
瀬下　仁志
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/271,565 priority Critical patent/US20210182353A1/en
Publication of WO2020045107A1 publication Critical patent/WO2020045107A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C13/00—Voting apparatus

Definitions

  • the present invention relates to an evaluation updating device, a method, and a program.
  • the evaluation information includes, for example, store information on a store to be evaluated, word-of-mouth information on a dish to be evaluated, facility information on facilities to be evaluated, and the like.
  • SNS content is posted by the user.
  • the user who posted the content is evaluated by another user.
  • Postings by highly reliable users may be based on the hypothesis that appropriate evaluation information is included. Further, there is a method of estimating the reliability of the user from the evaluation of the user's person.
  • Non-Patent Document 1 For example, a technology for evaluating a user using Twitter (registered trademark) is known (for example, see Non-Patent Document 1). This technology evaluates the reliability of a user who is an information sender using the number of followers, the number of followers, the number of retweets, and the number of tweets with a URL in addition to the number of tweets.
  • Non-Patent Document 2 a technology for evaluating a user by adding SNS-specific parameters such as the number of friends to the distance between users such as Hits (Hypertext Induced Topic Selection) (registered trademark) and PageRank, by adding location information on the network.
  • Non-Patent Document 3 a technology is known that focuses on the function of retweet (reshare) of Twitter (registered trademark), and estimates the importance of a user based on a network that focuses on the number of retweets and the reaction speed (for example, Non-Patent Document 3). This technology is about research to find a hub-authority.
  • Non-Patent Documents 1 to 3 there are techniques for evaluating information transmitted from social media.
  • the user who is the information transmitter is evaluated using the number of tweets, the number of followers, and the like.
  • the evaluation information to be evaluated may change over time.
  • evaluation information to be evaluated represented by the issued information changes. Therefore, the evaluation information represented by the information issued in the past by the user may be different from the present.
  • the present invention has been made in view of the above circumstances, and provides an evaluation updating apparatus, a method, and a program that can appropriately update evaluation information on an evaluation target in response to a user's posting on the evaluation target.
  • the purpose is to do.
  • an evaluation device provides a post including a plurality of pieces of post data having post information indicating post contents regarding an evaluation target and post information indicating a user who posted the post information. From the data group, the higher the number of past posted information by the user represented by the poster information is, the higher the number is, and the number of times the posted information of the user is adopted as the information having the reliability not less than a predetermined value. The higher the number, the higher the threshold, based on the user index representing the index for the user, the user index is greater than or equal to a threshold, the sorting unit that sorts the posted data, based on the posted data sorted by the sorting unit And an evaluation unit that evaluates whether or not the evaluation target exists.
  • the evaluation unit may evaluate the likelihood of the property of the evaluation target based on the post data selected by the selection unit.
  • each of the post data further includes the position information of the evaluation target, and based on at least one of the position information and the post information of the post data in the post data group, a plurality of the post data, Further comprising a clustering unit for clustering into clusters, wherein the selection unit calculates, for each of the clusters clustered by the clustering unit, an average of the user indices of the plurality of pieces of post data belonging to the cluster, The post data belonging to the cluster whose average of the user index is equal to or greater than a threshold value for the user index may be selected.
  • the clustering unit may use a hierarchical clustering in which at least one of the clusters includes a plurality of clusters to cluster the plurality of pieces of the posted data based on a degree of similarity between each of the plurality of pieces of the posted data.
  • the evaluation unit based on the posting information of the post data selected by the selection unit, as a likelihood of the property of the evaluation target, calculates a content index representing an index related to the posted information, the selection unit From the post data selected by the method, the post data in which the content index of the post information of the post data is equal to or greater than a threshold value related to the content index is adopted as evaluation information as information having a predetermined or higher reliability.
  • the evaluation unit may calculate the content index based on a probability obtained for each combination of information on an event regarding the evaluation target and information on the evaluation target indicated by the posted information.
  • the evaluation method according to the second invention is an evaluation method in an evaluation device including a selection unit and an evaluation unit, wherein the selection unit posts the posting information indicating the posting content regarding the evaluation target and the posting information. From a post data group including a plurality of post data having post information indicating a user, the higher the number of past post information by the user represented by the post information is higher, and the post information of the user, Selecting the post data, wherein the user index is greater than or equal to a threshold, based on a user index that indicates an index relating to the user, the higher the number of pieces of information that has been adopted as information having a certain degree of reliability or more, and Evaluating the presence or absence of the evaluation target based on the post data selected by the selection unit.
  • the program according to the third invention is a program for causing a computer to function as each unit included in the above-described evaluation device.
  • the evaluation updating device is an evaluation information index indicating an index given to the evaluation information when the evaluation information indicating the evaluation for the evaluation target is generated, and the evaluation information
  • the evaluation information index which becomes lower as the time elapses from when the is generated, and becomes lower as the voting information indicating whether or not the evaluation information is appropriate is lower than the threshold value for the evaluation information index
  • An evaluation unit configured to generate the evaluation information for the evaluation target again based on the post information different from the post information indicating the post content related to the evaluation target used in generating the evaluation information for the evaluation target. including.
  • the evaluation updating apparatus may further include a request unit that requests a plurality of users to post the post information when the evaluation information is equal to or less than a threshold related to the evaluation information index. it can.
  • the evaluation information index may be a reliability of the evaluation information generated based on voting information indicating whether the evaluation information is appropriate.
  • the evaluation information index may be a collection degree of the evaluation information generated based on the number of the evaluation information in a predetermined area.
  • an evaluation updating method is an evaluation updating method in an evaluation updating device including an evaluation unit, wherein the evaluation unit generates the evaluation information when the evaluation information representing the evaluation for the evaluation target is generated.
  • Voting information which is an evaluation information index that indicates an index to be given to, and decreases as time passes from when the evaluation information is generated, and indicates whether the evaluation information is appropriate.
  • the evaluation information index which is lower as the evaluation information index is lower than the threshold value for the evaluation information index, is different from the post information indicating the post content regarding the evaluation target used when generating the evaluation information for the evaluation target.
  • a program according to a sixth invention is a program for causing a computer to function as each unit included in the above-described evaluation updating device.
  • FIG. 3 is an explanatory diagram for explaining clustering of the present embodiment.
  • FIG. 4 is a diagram illustrating an example of a clustering rule.
  • FIG. 4 is a diagram illustrating a specific example of clustering.
  • FIG. 4 is a diagram illustrating a specific example of clustering.
  • FIG. 4 is a diagram illustrating a specific example of clustering.
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment;
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment;
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment;
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment;
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment;
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment;
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment;
  • FIG. 3 is an explanatory diagram for explaining user reliability according to the embodiment
  • FIG. 9 is an explanatory diagram for describing a method of detecting whether a user is a bot.
  • FIG. 9 is an explanatory diagram for explaining the count of posted information.
  • FIG. 5 is an explanatory diagram for explaining a probability for obtaining content reliability. It is a figure showing the example of calculation of content reliability.
  • FIG. 9 is an explanatory diagram for explaining integration of evaluation information.
  • FIG. 7 is an explanatory diagram for explaining the number of posts of post information by a user and the number adopted as evaluation information.
  • FIG. 9 is an explanatory diagram for explaining the reliability of evaluation information.
  • FIG. 9 is an explanatory diagram for describing calculation of reliability of evaluation information based on user voting information.
  • FIG. 9 is an explanatory diagram for explaining the count of posted information.
  • FIG. 5 is an explanatory diagram for explaining a probability for obtaining content reliability. It is a figure showing the example of calculation of content reliability.
  • FIG. 9 is an explanatory diagram for explaining integration of evaluation information.
  • FIG. 9 is an explanatory diagram for describing a method of calculating the weight of voting information according to the user reliability.
  • FIG. 9 is an explanatory diagram for explaining the reliability of evaluation information.
  • FIG. 4 is a diagram illustrating an example of an evaluation processing routine according to the embodiment.
  • FIG. 7 is a diagram illustrating an example of an evaluation update processing routine according to the embodiment. It is a figure showing the example of the collection degree of a 2nd embodiment.
  • FIG. 1 shows an explanatory diagram for describing an embodiment of the present invention.
  • post information on an evaluation target created by a plurality of users is evaluated.
  • posting is made to the point. For example, it is assumed that there is posted information S A , S B , and S C from users A, B, and C for point P 1 .
  • clustering post information which is an example of an index relating to the user who posted the user confidence U A, U B, and U C, indicator of post information posted by the user
  • content reliability degrees C A , C B , and C C which are examples of the above. It is evaluated whether each cluster is a correct collection of posted information. Then, when it is determined that the corresponding cluster is a collection of correct contents, the posting information of the corresponding cluster is adopted as the evaluation information.
  • the user reliability is updated according to the extraction result, so that evaluation information for an arbitrary evaluation target is appropriately generated.
  • the evaluation information adopted as the information having the reliability equal to or higher than a predetermined value may be changed to incorrect contents with the passage of time. Therefore, in the present invention, the evaluation information is re-evaluated in consideration of the voting by a plurality of users (voting of ⁇ or ⁇ ) and the passage of time. For example, in the example shown in FIG. 1, vote ⁇ or ⁇ for the evaluation information points P 1 by the user D is performed.
  • the voting information in consideration of the elapsed time and the voting information to update the reliability E of the evaluation information, if the reliability E is equal to or less than a predetermined threshold, further from the user with respect to the point P 1 Post And re-evaluate using only evaluation information that is likely to be appropriate at the moment. This makes it possible to maintain appropriate evaluation information for an arbitrary evaluation target.
  • an evaluation process of generating evaluation information from post information and an evaluation update process of calling a post and updating the evaluation information are repeated.
  • an evaluation process of generating evaluation information from post information and an evaluation update process of calling a post and updating the evaluation information are repeated.
  • FIG. 2 is a block diagram illustrating an example of a configuration of the evaluation system 10 according to the first embodiment.
  • the evaluation system 10 according to the present embodiment includes a plurality of user terminals 12 and an evaluation device 14.
  • the plurality of user terminals 12 and the evaluation device 14 are connected by predetermined communication means 30 (for example, an Internet line or the like).
  • the plurality of user terminals 12 and the evaluation device 14 include a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) storing a program for executing a learning processing routine described later.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the user terminal 12 is operated by any user.
  • the user operates the user terminal 12 to generate post information indicating post contents regarding the evaluation target.
  • the user terminal 12 posts, for example, posted information to the site 13 via the communication unit 30.
  • the posted information is posted, the posted information indicating the user of the user terminal 12 and the position information of the evaluation target for which the posted information is generated are also posted to the site 13.
  • the user terminal 12 gives voting information indicating the content of voting to the posted information (or evaluation information described later) to the posted information posted on the site 13. In this way, the vote of ⁇ or ⁇ can be performed on the posted information, and the vote of ⁇ or ⁇ can be performed on the evaluation information (see FIG. 1). The voting information will be described later.
  • Evaluation device 14 collects post data representing a combination of post information, poster information, and location information posted by a plurality of user terminals 12. Then, the evaluation device 14 evaluates the evaluation target indicated by the posted information in the posted data.
  • the evaluation device 14 functionally includes a communication unit 16, a data acquisition unit 18, a data storage unit 20, a clustering unit 22, an acquisition unit 24, an evaluation unit 26, A request unit 28.
  • the communication unit 16 performs a communication process. Specifically, communication unit 16 receives each piece of posted data posted to site 13 from a plurality of user terminals 12.
  • the post data according to the present embodiment includes post information indicating post contents regarding an evaluation target, post information indicating a user who has posted the post information, and position information regarding an evaluation target.
  • the evaluation target is a point
  • position information regarding an evaluation target a case where the evaluation target is a point will be described as an example.
  • the data acquisition unit 18 acquires the post data received by the communication unit 16. Then, the data acquisition unit 18 stores the acquired post data in the data storage unit 20.
  • the data storage unit 20 stores a post data group including a plurality of post data items acquired by the data acquisition unit 18.
  • FIG. 3 is an explanatory diagram for explaining the post data group according to the present embodiment.
  • the post data group according to the present embodiment is managed in a table format, for example, as shown in FIG. Specifically, as shown in FIG. 3, data including a combination of poster information indicating a user who posted, position information of a point to be evaluated, and posted information of the point is defined as one piece of posted data. Is stored. In addition, the table shown in FIG. 3 stores voting information for the posted data, the storage date of the posted data, and the check of the posted data together. Checking of the posted data will be described later.
  • the poster information is represented by a character string (for example, an ID or a number).
  • the position information is represented by a continuous value or a character string.
  • the position information is a character string, it is represented by an ID or a number, and when it is a continuous value, it is represented by coordinates (a set of latitude and longitude).
  • the posting information and the voting information are represented by character strings.
  • the poster information and the position information are indispensable, and a value is stored in one of the posted information and the voting information. Further, when posting the posted information to the site 13, it is assumed that a mandatory input and an optional input can be designated for each item of the posted information. For this reason, it is assumed that there is always a value for a mandatory input, and there is a case where there is no value for an optional input.
  • the storage date of post data is used when collecting posts. Also, the check of the post data is used when counting the number of posts by the user who is the contributor, when counting the number of pieces of post information adopted by the user as evaluation information described later, when collecting posts, and the like. .
  • the check column will be described later.
  • the clustering unit 22 acquires the post data group stored in the data storage unit 20. Then, the clustering unit 22 clusters the plurality of pieces of posted data into a plurality of clusters based on at least one of the position information of the posted data and the posted information of the posted data group.
  • Hierarchical clustering and non-hierarchical clustering are known as clustering techniques.
  • a dendrogram (dendrogram) is generated, and it is not necessary to determine the number of clusters in advance.
  • Hierarchical clustering includes the Ward method and the group average method.
  • non-hierarchical clustering it is necessary to determine the number of clusters in advance.
  • k-means and fuzzy c-means are known. Before performing clustering, the number of clusters is generally unknown in many cases.
  • FIG. 4 is an explanatory diagram for explaining hierarchical clustering.
  • hierarchical clustering in hierarchical clustering, at least one cluster includes a plurality of clusters.
  • clustering is performed based on the degree of similarity between each of a plurality of pieces of post data. For this reason, as shown in FIG. 4, those having a short distance indicating the degree of similarity between the pieces of post data are classified into the same cluster. For example, if the threshold related to the distance is set to 1, the posted data of the user A and the posted data of the user B are classified into the same cluster in the tree diagram shown in FIG. Further, for example, when the threshold regarding the distance is set to 3, the posted data of the users A, B, C, and D are classified into the same cluster in the tree diagram shown in FIG.
  • FIG. 5 is an explanatory diagram for explaining an example of the clustering rule of the hierarchical clustering according to the present embodiment.
  • clustering is performed by the same hierarchical clustering method by changing a threshold value by using at least one of the position information and the posted information in the posted data.
  • clustering is performed while satisfying the following requirements (1) to (3).
  • the clustering rule is No.
  • the clustering is managed as 1, 2, 3 and clustering is performed in the specified order.
  • Use items, values, and thresholds must be specified.
  • the priority of the weighting (first to n-th categories) can be specified.
  • position information or posted information in the posted data is used as the use item at the time of clustering in the present embodiment.
  • the rule to which the identification information of 1 is assigned indicates that the position information is used as a use item of the clustering, and that the clustering is performed according to a character string representing the position information. Note that the threshold in this case is set to “1.0”.
  • the rule to which the identification information of No. 3 is added indicates that the posted information is used as a use item of the clustering, and the clustering is performed according to a character string representing the posted information. Note that the threshold in this case is set to “12.0”.
  • FIG. 6 is an explanatory diagram for explaining a specific example of hierarchical clustering.
  • FIG. It is an example of clustering when the 1st rule is applied. As shown in FIG. In the first rule, since the position information is set as the use item, clustering is performed according to the position information.
  • the position information corresponding to the users A to D is “10001” and the position information corresponding to the user E is “10350”.
  • these pieces of position information are digitized, they are classified into “10001” and “10350” as shown in FIG. 6, and which one belongs to is represented by “1” and “0”.
  • the threshold value is set to 1
  • A, B, C, and D are classified into the same cluster, and the cluster to which A, B, C, and D belong, and the cluster to which E belongs, as shown on the right side in FIG. It is clustered into two clusters with the cluster.
  • FIG. 7 shows the No. shown in FIG. 2 shows an example of clustering when the rule 2 is applied.
  • the position information is set as the use item, clustering is performed according to the position information.
  • the position information is represented by continuous values.
  • the position information corresponding to the users A to D is represented by continuous values.
  • the threshold is set to 10
  • A, B, C, and D are classified into the same cluster, and the cluster to which A, B, C, and D belong, and the cluster to which E belongs, as shown on the right side of FIG. It is clustered into two clusters with the cluster.
  • FIG. An example of clustering in the case where rule 3 is applied will be described. No. In rule 3, it is assumed that post information is set as a use item, item 1 is set in a first category, item 2 is set in a second category, and item 3 is set in a third category. . In this case, clustering is performed according to the items 1, 2, and 3 of the posted information.
  • information indicating a point to be evaluated is stored in items 1, 2, and 3 of the posted information.
  • the third category is represented by “1” or “0”
  • the second category is represented by “3” or “3”.
  • the first category is represented by “12” or “0”. Note that the weight of the maximum distance of the lower category + 1 is assigned to the upper category.
  • classification is performed by the first category
  • classification is performed by the second category.
  • a and B are classified into the same cluster, and the cluster to which A and B belong, and the cluster to which C belongs, as shown on the right side in FIG. It is clustered into three clusters with the cluster to which D belongs.
  • clustering is performed with the threshold set to 12
  • A, B, and C are classified into the same cluster as shown on the right side in FIG. It is clustered into two clusters with the cluster to which it belongs.
  • the acquisition unit 24 calculates, for each cluster clustered by the clustering unit 22, the average of the user reliability of a plurality of pieces of post data belonging to the cluster. Then, the obtaining unit 24 obtains a cluster in which the average of the user reliability of the cluster is equal to or larger than the threshold regarding the user reliability.
  • the user reliability is an example of a user index.
  • the user reliability of the present embodiment increases as the number of pieces of past posted information by the user increases, and increases as the number of pieces of posted information of the user that is adopted as information having reliability equal to or higher than a predetermined value increases.
  • the post information adopted as the information having the reliability equal to or higher than a predetermined value is evaluation information described later.
  • the calculation formula of the user reliability of the present embodiment is shown in the following formula (1).
  • ⁇ is 1 or a judgment score for bot detection.
  • the judgment score for detecting a bot will be described later.
  • a represents a preset constant
  • mu denotes the average number of post information by a plurality of users
  • m i denotes the number of posts of the user i
  • sigma represents a standard deviation of the number of posts.
  • n i denotes the number of post information of user i is adopted as the evaluation information.
  • FIG. 9 is an explanatory diagram for explaining the contribution ratio in the above equation (1). It is preferable to assign a higher user reliability to a user with a larger number of posts of post information. Therefore, as shown in FIG. 9, in the present embodiment, a contribution ratio close to 1 is assigned to a user having a larger number of posts than the average, and a user having a smaller number of posts is smaller than the average. A contribution ratio close to 0 is assigned.
  • FIG. 10 is an explanatory diagram for explaining the user reliability.
  • the number of posts, the number of recruits adopted as the evaluation information, the contribution rate, the recruitment rate, and the user reliability are shown for each of the users A, B, C, and D.
  • FIG. 11 is an explanatory diagram for describing a method of calculating a determination score indicating whether or not the user is a bot.
  • the bot detection described below is based on references (Yuki Kurauchi and 4 others, "Bot account detection using Benford's law"), Transactions of the Database Society of Japan, DBSJ journal 12 (1), 19-24, 2013-06, [Searched August 13, 2018, 13/13/30], Internet (URL: http://db-event.jpn.org/deim2013//proceedings/pdf/b1-2.pdf) .
  • the technique described in the reference is a model in which the estimation accuracy is improved by daily posting, and thus can be used as the user reliability of the present embodiment.
  • the estimation accuracy is about 80% when there are about 40 postings.
  • the left graph of the two graphs shown on the left side of FIG. 11 represents the appearance probability with respect to the time interval or word frequency of human posting.
  • the right graph of the two graphs shown on the left side of FIG. 11 represents the appearance probability relating to the time interval of posting by the bot or the word frequency.
  • the shape of the left graph of the two graphs shown on the left side of FIG. 11 is a shape close to the dotted line, whereas the shape of the right graph of the two graphs shown on the left side of FIG. Compared to the graph on the left, the shape is different from the dotted line. For this reason, it is possible to determine whether a post is made by a human or a bot, depending on whether the shape is close to the dotted line representing the specific distribution or different from the dotted line representing the specific distribution.
  • the error between the specific distribution and the distribution of the probability of occurrence of the post time interval or the distribution of the probability of occurrence of the word frequency increases as the number of posts increases. Decrease. At this time, as the number of posts increases, the error related to posting by a person becomes smaller than the error related to posting by a bot.
  • the judgment score ⁇ representing the personality is calculated based on this error.
  • x represents an error.
  • the evaluation unit 26 evaluates whether or not an evaluation target exists based on the posting data of the cluster acquired by the acquisition unit 24. For example, when only “stairs” and “steps” are included in the posted information, it is found that there is an evaluation target representing “stairs” or “steps”, and “toilet” does not exist. You can see that.
  • the evaluation unit 26 evaluates the likelihood of the property to be evaluated based on the posting data of the cluster acquired by the acquisition unit 24. Specifically, based on the posting information of the posting data of the cluster acquired by the acquiring unit 24, the evaluation unit 26 determines the likelihood of the property of the evaluation target as content like an example of a content index indicating an index relating to the posting information. Calculate the reliability.
  • the evaluation unit 26 calculates the content reliability based on the probability obtained for each combination of the information on the event regarding the evaluation target and the information regarding the evaluation target indicated by the posted information.
  • FIG. 13 is an explanatory diagram for explaining each probability for obtaining the content reliability according to the present embodiment.
  • content reliability is calculated using probability statistics. Specifically, as shown in FIG. 13, the event A is “a: there is a barrier ⁇ ”, and the event B is “b: there is no barrier ⁇ ”.
  • the probability P A of the event A at an arbitrary point is defined as P B and the probability of the event B at an arbitrary point is defined as P B.
  • the user who is the poster at the point where the events A and B occur is determined to be a and b, and the probabilities that a and b appear in the posted information are p A (a), p A (b), and p B, respectively.
  • the information on the events A and B is set from information such as open data.
  • the number of users n is obtained by measurement.
  • p A (a), p A (b), p B (a), and p B (b) are set in advance in accordance with the accuracy of user evaluation such as trial.
  • the probability q x (A) can be calculated by the following equation (3).
  • the content reliability is calculated by the following equation (4).
  • the values of the probabilities shown in FIG. 14 can be updated little by little according to the daily update status.
  • the probability P A (a) can be updated according to the following equation (5).
  • ⁇ is a preset coefficient.
  • the evaluation unit 26 From the posted data of the cluster acquired by the acquiring unit 24, the evaluation unit 26 adopts, as the evaluation information, the posted information whose content reliability of the posted information of the posted data is equal to or more than the threshold value regarding the content reliability.
  • the evaluation information of the present embodiment includes an ID for identifying the evaluation information, position information of the posted data adopted as the evaluation information, and extraction information representing the posted information of the posted data adopted as the evaluation information, This is information indicating a combination of poster information of post data adopted as evaluation information and voting information for the evaluation information.
  • the data structure of the evaluation information will be described later.
  • FIG. 15 is an explanatory diagram for explaining generation of one piece of evaluation information for one point.
  • the evaluation unit 26 randomly selects one of a plurality of pieces of post information.
  • the evaluation unit 26 integrates a plurality of posts into one.
  • FIG. 16 shows an example of the evaluation information stored in the data storage unit 20.
  • the ID for identifying the evaluation information and the poster information are represented by character strings (for example, alphanumeric characters).
  • the position information is a continuous value or a character string, and the extraction information and the voting information are character strings.
  • the extracted information corresponds to posted information in the posted data.
  • a character string is represented by an ID or a number, and a continuous value is represented by coordinates (for example, a set of latitude and longitude).
  • the poster information, the position information, and the extraction information are indispensable, and the voting information is ⁇ , ⁇ , or no value.
  • the extraction information includes items having values and items having no values.
  • the evaluation information of the present embodiment is managed by a table as shown in FIG. The storage date and check in the table in which the evaluation information is stored are used when calculating the reliability of the evaluation information described later.
  • FIG. 17 shows posted data and evaluation information stored in the data storage unit 20.
  • the posted data and the evaluation information are managed by a data structure as shown in FIG.
  • the evaluation unit 26 updates the number of posts of the posted information by the user and the number adopted as the evaluation information, which are used when calculating the user reliability.
  • the number of posts and the number of adoptions shown in FIG. 10 are updated, and the contribution rate, the adoption rate, and the user reliability are also updated.
  • FIG. 18 is an explanatory diagram for explaining the number of posts posted by the user and the number adopted as evaluation information. As shown in FIG. 18, in the present embodiment, the posted information of each user included in each cluster of the posted information is counted.
  • the number of posts of the posted information of the users A, B, and C is +1 and the number of adoption indicating that the information is adopted as the evaluation information is also +1.
  • the number of posts of the posted information is +1 and the number of adoption indicating that the information is adopted as the evaluation information is +0.
  • the lower part of FIG. 18 shows a case where the same user has posted a plurality of pieces of the same posted information.
  • the number of posts of the posted information by the users A, B, and C is +1 and the number of adoption indicating that the information is adopted as the evaluation information is also +1.
  • the number of posts of the posted information by the user D is +6, and the number of adoptions indicating that the information is adopted as the evaluation information is +0.
  • the number of posts of the post information by the user D is +6, but since the post information has the same content, the post information has the same content.
  • the number of recruitment indicating that the recruitment is done is +1 (however, if the posting date is different, the count is different).
  • the evaluation unit 26 determines that the post information that has been recruited is already checked, and The post data group table stored in the section 20 is updated (post information not adopted is left unchecked).
  • the evaluation unit 26 calculates the reliability of the evaluation information based on the voting information indicating the contents of voting for the evaluation information from a plurality of users.
  • the reliability of the evaluation information of the present embodiment is represented by the following equation (6).
  • t in the above equation (6) represents the number of days elapsed since the posting of the posting information.
  • R j 0 represents a predetermined constant.
  • c j represents a weight corresponding to the content of the voting information ( ⁇ representing appropriateness, x representing inappropriateness).
  • e- ⁇ t is a term representing the freshness of the voting information, and ⁇ is a preset constant.
  • the initial value of the constant r j 0 the content reliability when adopted as the evaluation information is set.
  • the weight c j of the voting information for the evaluation information from a plurality of users determines the decay rate of the reliability of the evaluation information according to the number of ⁇ votes for the evaluation information j.
  • the weight c j is represented by, for example, the following equation (7).
  • the evaluation unit 26 calculates the reliability of the evaluation information based on the voting information of the user whose user reliability is equal to or greater than a predetermined threshold.
  • the evaluation unit 26 calculates the reliability of the evaluation information based on the voting information of the users A and B whose user reliability is 0.5 or more.
  • the voting information of the user A is “ ⁇ ”
  • the voting information of the user B is “ ⁇ ”. Therefore, the weight c j of the voting information is calculated by the following equation (8). You.
  • the evaluation unit 26 calculates the reliability r j of the evaluation information by the following equation (9).
  • the evaluation unit 26 updates the constant as r j 0 ⁇ r j 0 ⁇ c j , and the voting information has been checked.
  • the reliability of the evaluation information of the present embodiment is an example of an evaluation information index indicating an index given to the evaluation information when the evaluation information is generated.
  • the reliability of the evaluation information decreases as time elapses from when the evaluation information is generated, and is determined according to voting information indicating whether the evaluation information is appropriate.
  • the reliability of the evaluation information of the present embodiment is given to the evaluation information when the evaluation information is generated. As shown in FIG. 20, the reliability of the evaluation information decreases as the time from when the evaluation information is generated elapses. In addition, the reliability of the evaluation information according to the present embodiment decreases as the voting information indicating whether the evaluation information is appropriate is lower. For example, the reliability of the evaluation information decreases when a vote (for example, x) indicating that the vote information from a plurality of users is inappropriate is given.
  • a vote for example, x
  • the posting to a plurality of users is performed. Request information submission.
  • the request unit 28 requests a plurality of users to post posting information when the reliability of the evaluation information becomes equal to or less than a threshold value regarding the reliability of the evaluation information. Specifically, the request unit 28 calls on a plurality of user terminals 12 to post posting information.
  • Each of the plurality of users operates its own user terminal 12 and posts posting information indicating the content of the posting regarding the evaluation target to the site 13 in response to a request from the evaluation device 14.
  • Evaluation device 14 collects posted information posted by a plurality of user terminals 12. Specifically, the communication unit 16 of the evaluation device 14 receives the posted information posted by the plurality of user terminals 12. Further, the data acquisition unit 18 stores the post information received by the communication unit 16 in the data storage unit 20.
  • the evaluation unit 26 generates the evaluation information for the evaluation target again based on the new posting information different from the posting information indicating the posting content related to the evaluation target used in the generation of the previous evaluation information. Specifically, using the new evaluation information stored in the data storage unit 20, the evaluation information for the evaluation target is generated again.
  • Each table stored in the data storage unit 20 includes a "check" item as shown in FIG. Therefore, the evaluation unit 26 generates the evaluation information again using the unchecked posting information.
  • unchecked post information post information within D days from the current time or the latest P post information is extracted, and the one with the larger number of posts is used as the post information. D and P can be specified.
  • the evaluation unit 26 may generate the evaluation information for the evaluation target again based on not the unchecked post information but only the post information newly posted by the call for posting.
  • the evaluation system 10 when a plurality of user terminals 12 of the evaluation system 10 perform posting to the site 13, the data acquisition unit 18 acquires each of the posted data via the communication unit 16. Then, the data acquisition unit 18 stores each of the acquired post data in the data storage unit 20. Then, when receiving the instruction signal for generating the evaluation information, the evaluation device 14 executes the evaluation processing routine shown in FIG. The evaluation processing routine shown in FIG. 21 is executed each time an instruction signal for generating evaluation information is received.
  • step S100 the clustering unit 22 acquires the post data group stored in the data storage unit 20.
  • step S102 the clustering unit 22 clusters a plurality of pieces of posted data into a plurality of clusters based on at least one of the position information and the posted information of the posted data of the group of posted data acquired in step S100.
  • step S104 for each cluster clustered in step S102, the acquiring unit 24 calculates the average of the user reliability of a plurality of pieces of post data belonging to the cluster. Then, the obtaining unit 24 obtains a cluster in which the average of the user reliability of the cluster is equal to or larger than the threshold regarding the user reliability.
  • step S106 the evaluation unit 26 calculates the content reliability based on the posting data of the cluster acquired in step S104.
  • step S108 the evaluation unit 26 determines from the post data of the cluster obtained in step S104 that the post reliability of the post information of the post data calculated in step S106 is equal to or larger than the threshold value related to the content reliability. Is generated as evaluation information.
  • step S110 the evaluation unit 26 stores the evaluation information generated in step S108 in the data storage unit 20, and ends the evaluation processing routine.
  • the evaluation device 14 executes an evaluation update processing routine shown in FIG. 22 at a predetermined timing.
  • step S200 the evaluation unit 26 calculates the reliability of the evaluation information based on the voting information of the user whose user reliability is equal to or greater than a predetermined threshold.
  • step S201 the request unit 28 determines whether or not the reliability of the evaluation information calculated in step S200 is equal to or less than a threshold regarding the reliability of the evaluation information. If the reliability of the evaluation information is equal to or less than the threshold value related to the reliability of the evaluation information, the process proceeds to step S202. On the other hand, when the reliability of the evaluation information is larger than the threshold value regarding the reliability of the evaluation information, the evaluation update processing routine ends.
  • step S202 the request unit 28 requests a plurality of users to post posting information.
  • step S204 the communication unit 16 receives the posted information posted by the plurality of user terminals 12. Further, the data acquisition unit 18 stores the post information received by the communication unit 16 in the data storage unit 20.
  • step S206 the evaluation unit 26 performs the evaluation based on the new posting information stored in the data storage unit 20 in step S204, which is different from the posting information used when the previous evaluation information was generated.
  • the evaluation information for the target is generated again, and the evaluation update processing routine ends.
  • the evaluation device 14 repeatedly executes the evaluation processing routine shown in FIG. 21 and the evaluation update processing routine shown in FIG.
  • a past post by a user is performed from a post data group including a plurality of post data including post information and post information indicating a user who posted the post information.
  • evaluation information can be generated and updated in a wide range and at low cost without using information of a specialized investigator.
  • the user terminal 12 or the like of the present embodiment with a smartphone application or the like, it is possible to easily collect posts from a wide range of users.
  • the cost of distributing the application is lower than the recruitment cost of the researcher, and the user can post using a smartphone, so there is no need to use a specialized measuring device.
  • a collection degree of evaluation information generated based on the number of pieces of evaluation information in a predetermined area is used instead of the reliability of the evaluation information.
  • a collection degree for detecting a point where no evaluation information exists or a point where the reliability of the evaluation information is reduced is defined.
  • N (A i ) represents the number of pieces of evaluation information
  • M (A i ) represents the number of pieces of posted information.
  • r i represents the reliability of the evaluation information j in the area A i.
  • FIG. 23 shows a specific example of the collection degree.
  • FIG. 23 shows N (A i ), M (A i ), e num (A i ), e avg (A i ), and H (A i ).
  • the content of the call for posting can be changed depending on which item shown in FIG. 23 is close to 0.
  • the request unit 28 in the area A 2 while calling for new posts for none of the evaluation information because the reliability of the evaluation information in the area A4 is lowered, changes something in the point Call for posts on whether or not they are.
  • a posting regarding an evaluation target is appropriately called based on the degree of collection of evaluation information generated according to the number of pieces of evaluation information in a predetermined area. be able to.
  • the user who is the poster can be appropriately notified of the evaluation information of which area is low or old, so that the user who is the poster can know in which area the user should post. can do. Further, the administrator of the evaluation device 14 can efficiently obtain the evaluation information of the area to be collected.
  • the evaluation apparatus 14 performs an evaluation process of generating evaluation information from post information and an evaluation update process of requesting a plurality of users to post and updating the evaluation information.
  • the evaluation process and the evaluation update process may be executed by different devices.
  • a system may be configured by an evaluation device that executes an evaluation process and an evaluation update device that executes an evaluation update process.
  • the present invention can also be realized by installing a program on a known computer via a medium or a communication line.
  • the “computer system” also includes a homepage providing environment (or display environment) if a WWW system is used.
  • the embodiment has been described in which the program is installed in advance.
  • the program may be stored in a computer-readable recording medium and provided.

Abstract

ユーザからの評価対象に関する投稿に応じて、評価対象に関する評価を適切に更新する。　評価装置１４の評価部２６が、評価対象に対する評価を表す評価情報が生成されたときに評価情報に対して付与される指標を表す評価情報の信頼度が、評価情報の信頼度に関する閾値以下となった場合に、評価対象に対する評価情報の生成の際に用いられた投稿情報とは異なる投稿情報に基づいて、評価対象に対する評価情報を再度生成する。

Description

評価更新装置、方法、及びプログラム
　本発明は、評価更新装置、方法、及びプログラムに関する。
　ある対象物に対して調査又は計測が行われ、その結果が対象物に対する評価情報として設定される場合がある。評価情報としては、例えば、評価対象の店舗に関する店舗情報、評価対象の料理の口コミ情報、及び評価対象の設備に関する設備情報等が挙げられる。
　最近では、ＳＮＳ（Social Networking Service）等を通して様々な情報がインターネット上へ投稿又は投票されており、様々な対象物についての評価情報がインターネット上に存在する。そのため、ＳＮＳにおける投稿又は投票を利用することにより、例えば、広範囲の道路の混雑状況、店舗の評判、及び料理の評判等の評価情報を容易に参照することができる。
　ＳＮＳにおいては、ユーザによってコンテンツが投稿される。また、コンテンツを投稿したユーザに対して他のユーザから人物評価がなされる。信頼度の高いユーザによる投稿には適切な評価情報が含まれているという仮説に基づく場合がある。また、ユーザの信頼度を、ユーザの人物評価から推定する手法が存在する。
　例えば、Twitter（登録商標）を用いてユーザを評価する技術が知られている（例えば、非特許文献１を参照）。この技術は、ツイート数以外にフォロー数、フォロワー数、リツイート数、及びＵＲＬ付きツイート数を用いて、情報発信者であるユーザの信頼度を評価する。
　また、Hits(Hypertext Induced Topic Selection)（登録商標）やPageRankなどのユーザ間距離に、ネットワーク上の位置情報を加味し、友人数などのＳＮＳ特有のパラメータを加えてユーザの評価を行う技術が知られている（例えば、非特許文献２を参照）。
　また、Twitter（登録商標）のリツイート(再共有)の機能に着目し、リツイートの回数と反応速度とに着目したネットワークに基づいて、ユーザの重要度を推定する技術が知られている（例えば、非特許文献３を参照）。この技術は、hub-authorityを見つける研究に関するものである。
佐藤 澪、「ソーシャルメディアから発信された情報の信頼度について」、[online]、会津大学短期大学部産業情報学科経営情報コース、2011年度卒業研究論文要旨集、［平成 30 年 8 月 13 日検索］、インターネット〈URL：http://www.jc.u-aizu.ac.jp/department/management/youshi/2011/09.pdf〉 大塚 孝信 他2名、「ユーザー間実距離を用いたSNSユーザー評価手法とパラメータ評価」、人工知能学会第11回知識流通ネットワーク研究会、インターネット〈URL：http://sigksn.html.xdomain.jp/conf11/SIG-KSN-011-06.pdf〉 石垣 藍睦、沼尾 雅之、「Twitter 特有のネットワーク構造を用いたユーザ重要度評価法の提案」、DEIM Forum 2016 B7-4、インターネット〈URL：http://db-event.jpn.org/deim2016/papers/302.pdf〉
　上記非特許文献１～３に記載されているように、ソーシャルメディアから発信された情報を評価する技術は存在する。これらの先行技術においては、ツイート数及びフォロー数等を用いて情報発信者であるユーザ自体の評価が行われる。
　しかし、評価対象となる評価情報（例えば、各地点の状態、広範囲の道路の混雑状況、店舗の評判、及び料理の評判等）は、時間の経過に伴い変化する場合がある。
　例えば、先行技術では、信頼度が高いユーザによって発せられた情報は信頼度が高いと評価されるが、時間の経過に伴い、発せられた情報が表す評価対象の評価情報は変化する。このため、ユーザによって過去に発せられた情報が表す評価情報は現在とは異なってしまう場合がある。
　このため、時間の経過に従い不適切となってしまった評価情報について、適切に更新する技術が求められている。現在、スマートフォン等により誰でもいつでも簡単に投稿できるようになり、現在から過去に至る大量の投稿が蓄積されている。そこで、大量に蓄積された投稿から評価対象の現在の評価情報を示す投稿を適切に抽出し、評価情報を更新する必要がある。
　本発明は、上記の事情に鑑みてなされたもので、ユーザからの評価対象に関する投稿に応じて、評価対象に関する評価情報を適切に更新することができる、評価更新装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、第１の発明に係る評価装置は、評価対象に関する投稿内容を表す投稿情報と、前記投稿情報を投稿したユーザを表す投稿者情報とを有する投稿データを複数含む投稿データ群から、前記投稿者情報が表す前記ユーザによる過去の前記投稿情報の数が多いほど高くなり、かつ前記ユーザの前記投稿情報が、所定以上の信頼度を有する情報であるとして採用された数が多いほど高くなる、前記ユーザに関する指標を表すユーザ指標に基づいて、前記ユーザ指標が閾値以上である、前記投稿データを選別する選別部と、前記選別部によって選別された前記投稿データに基づいて、前記評価対象が存在するか否かを評価する評価部と、を含む。
　また、前記評価部は、前記選別部によって選別された前記投稿データに基づいて、前記評価対象の性質の尤もらしさを評価するようにすることができる。
　また、前記投稿データの各々は、前記評価対象の位置情報を更に含み、前記投稿データ群の前記投稿データの前記位置情報及び前記投稿情報の少なくとも一方に基づいて、複数の前記投稿データを、複数のクラスタにクラスタリングするクラスタリング部を更に含み、前記選別部は、前記クラスタリング部によってクラスタリングされた前記クラスタ毎に、前記クラスタに属する複数の前記投稿データの前記ユーザ指標の平均を算出し、前記クラスタの前記ユーザ指標の平均が、ユーザ指標に関する閾値以上である前記クラスタに属する前記投稿データを選別するようにすることができる。
　また、前記クラスタリング部は、少なくとも１つの前記クラスタが複数のクラスタを含む階層的クラスタリングを用いて、複数の前記投稿データの各々の間の類似度合いに基づいて、複数の前記投稿データをクラスタリングするようにすることができる。
　また、前記評価部は、前記選別部によって選別された前記投稿データの投稿情報に基づいて、前記評価対象の性質の尤もらしさとして、前記投稿情報に関する指標を表すコンテンツ指標を算出し、前記選別部によって選別された前記投稿データから、前記投稿データの前記投稿情報の前記コンテンツ指標が、コンテンツ指標に関する閾値以上である前記投稿データを、所定以上の信頼度を有する情報としての評価情報として採用するようにすることができる。
　また、前記評価部は、前記評価対象に関する事象の情報と前記投稿情報が指し示す前記評価対象に関する情報との組み合わせ毎に求められる確率に基づいて、前記コンテンツ指標を算出するようにすることができる。
　また、第２の発明に係る評価方法は、選別部及び評価部を含む評価装置における評価方法であって、前記選別部が、評価対象に関する投稿内容を表す投稿情報と、前記投稿情報を投稿したユーザを表す投稿者情報とを有する投稿データを複数含む投稿データ群から、前記投稿者情報が表す前記ユーザによる過去の前記投稿情報の数が多いほど高くなり、かつ前記ユーザの前記投稿情報が、所定以上の信頼度を有する情報であるとして採用された数が多いほど高くなる、前記ユーザに関する指標を表すユーザ指標に基づいて、前記ユーザ指標が閾値以上である、前記投稿データを選別するステップと、前記評価部が、前記選別部によって選別された前記投稿データに基づいて、前記評価対象が存在するか否かを評価するステップと、を含む。
　また、第３の発明に係るプログラムは、コンピュータを、上記の評価装置が備える各部として機能させるためのプログラムである。
　また、第４の発明に係る評価更新装置は、評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成する評価部を含む。
　また、前記評価更新装置は、前記評価情報が、前記評価情報指標に関する閾値以下となった場合に、複数のユーザに対して前記投稿情報の投稿を要求する要求部を更に含むようにすることができる。
　また、前記評価情報指標は、前記評価情報が適切であるか否かを表す投票情報に基づき生成される前記評価情報の信頼度であるようにすることができる。
　また、前記評価情報指標は、所定の領域内における前記評価情報の数に基づき生成される前記評価情報の収集度であるようにすることができる。
　また、第５の発明に係る評価更新方法は、評価部を含む評価更新装置における評価更新方法であって、前記評価部が、評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成するステップを含む。
　また、第６の発明に係るプログラムは、コンピュータを、上記の評価更新装置が備える各部として機能させるためのプログラムである。
　以上説明したように、本発明に係る評価更新装置、方法、及びプログラムによれば、ユーザからの評価対象に関する投稿に応じて、評価対象に関する評価を適切に更新することができる、という効果を有する。
本実施形態の概要を説明するための説明図である。 本実施形態に係る評価システムの構成の一例を示すブロック図である。 本実施形態の投稿データ群を説明するための説明図である。 本実施形態のクラスタリングを説明するための説明図である。 クラスタリングルールの一例を示す図である。 クラスタリングの具体例を示す図である。 クラスタリングの具体例を示す図である。 クラスタリングの具体例を示す図である。 本実施形態のユーザ信頼度を説明するための説明図である。 本実施形態のユーザ信頼度を説明するための説明図である。 ユーザがbotであるか否かの検出方法について説明するための説明図である。 投稿情報のカウントを説明するための説明図である。 コンテンツ信頼度を求めるための確率を説明するための説明図である。 コンテンツ信頼度の算出の具体例を示す図である。 評価情報の統合を説明するための説明図である。 ユーザによる投稿情報の投稿数及び評価情報として採用された数を説明するための説明図である。 評価情報の信頼度を説明するための説明図である。 ユーザの投票情報に基づく評価情報の信頼度の算出を説明するための説明図である。 ユーザ信頼度に応じた投票情報の重みの算出方法を説明するための説明図である。 評価情報の信頼度を説明するための説明図である。 本実施形態の評価処理ルーチンの一例を示す図である。 本実施形態の評価更新処理ルーチンの一例を示す図である。 第２実施形態の収集度の具体例を示す図である。
　以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
＜本実施形態の概要＞
　図１に、本発明の実施形態を説明するための説明図を示す。本実施形態では、複数のユーザによって作成された評価対象に関する投稿情報を評価する。本実施形態では、評価対象の一例である地点Ｐ１，Ｐ２，Ｐ３の各々について、当該地点に対して投稿が行われる。例えば、地点Ｐ１に対して、ユーザＡ，Ｂ，Ｃからの投稿情報ＳＡ，ＳＢ，ＳＣがあるものとする。本実施形態において投稿情報を評価する際には、投稿情報をクラスタリングし、投稿したユーザに関する指標の一例であるユーザ信頼度ＵＡ，ＵＢ，ＵＣと、ユーザによって投稿された投稿情報に関する指標の一例であるコンテンツ信頼度ＣＡ，ＣＢ，ＣＣとを考慮して、各クラスタについて正しい投稿情報の集まりであるかどうか評価する。そして、該当クラスタが正しい内容の集まりであると判断された場合、該当クラスタの投稿情報を評価情報として採用する。また、抽出結果に応じてユーザ信頼度を更新し、任意の評価対象に対する評価情報が適切に生成されるようにする。
　また、所定以上の信頼度を有する情報であるとして採用された評価情報は、時間の経過と共に正しくない内容に変わる可能性も考えられる。そこで、本発明では複数のユーザによる投票（○又は×の投票）と時間の経過を考慮して評価情報を再評価する。例えば、図１に示される例では、ユーザＤによって地点Ｐ１の評価情報に対する○又は×の投票が行われる。本実施形態では、この投票情報と経過時間を考慮して評価情報の信頼度Ｅを更新し、信頼度Ｅが所定の閾値以下になった場合、地点Ｐ１に対してユーザからの更なる投稿を呼びかけ、現時点で適切である可能性が高い評価情報のみを用いて再評価する。これにより、任意の評価対象に対する評価情報を適切なものに維持することができる。
　本実施形態では、投稿情報から評価情報を生成する評価処理と、投稿を呼び掛け評価情報を更新する評価更新処理とが繰り返される。以下、具体的に説明する。
＜第１実施形態＞
＜評価システムの構成＞
　図２は、第１実施形態に係る評価システム１０の構成の一例を示すブロック図である。図２に示すように、本実施形態に係る評価システム１０は、複数のユーザ端末１２と、評価装置１４とを備えている。複数のユーザ端末１２と評価装置１４とは、所定の通信手段３０（例えば、インターネット回線等）によって接続されている。
　複数のユーザ端末１２及び評価装置１４は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。
　ユーザ端末１２は、任意のユーザによって操作される。ユーザは、ユーザ端末１２を操作し、評価対象に関する投稿内容を表す投稿情報を生成する。そして、ユーザ端末１２は、通信手段３０を介して、例えば、投稿情報をサイト１３へ投稿する。なお、投稿情報が投稿される際には、ユーザ端末１２のユーザを表す投稿者情報と、投稿情報が生成された評価対象の位置情報とが、併せてサイト１３へ投稿される。
　また、ユーザ端末１２は、ユーザからの操作に応じて、投稿情報（又は後述する評価情報）に対する投票内容を表す投票情報を、サイト１３に投稿された投稿情報へ付与する。このように、投稿情報に対して〇又は×の投票を行うことができるし、評価情報に対して〇又は×の投票を行うことができる（図１参照）。投票情報に関しては後述する。
　評価装置１４は、複数のユーザ端末１２によって投稿された投稿情報と投稿者情報と位置情報との組み合わせを表す投稿データを収集する。そして、評価装置１４は、投稿データのうちの投稿情報が指し示す評価対象を評価する。
　図２に示されるように、評価装置１４は、機能的には、通信部１６と、データ取得部１８と、データ記憶部２０と、クラスタリング部２２と、取得部２４と、評価部２６と、要求部２８とを備えている。
　通信部１６は、通信処理を行う。具体的には、通信部１６は、複数のユーザ端末１２からサイト１３へ投稿された投稿データの各々を受信する。
　本実施形態の投稿データは、評価対象に関する投稿内容を表す投稿情報と、当該投稿情報を投稿したユーザを表す投稿者情報と、評価対象の位置情報とを含む。本実施形態では、評価対象が地点である場合を例に説明する。
　データ取得部１８は、通信部１６によって受信した投稿データを取得する。そして、データ取得部１８は、取得した投稿データをデータ記憶部２０に格納する。
　データ記憶部２０には、データ取得部１８によって取得された複数の投稿データを含む投稿データ群が格納される。図３に、本実施形態の投稿データ群を説明するための説明図を示す。
　本実施形態の投稿データ群は、例えば、図３に示されるように、テーブル形式によって管理される。具体的には、図３に示されるように、投稿したユーザを表す投稿者情報と、評価対象である地点の位置情報と、当該地点の投稿情報との組み合わせを含むデータが１つの投稿データとして格納される。また、図３に示されるテーブルには、投稿データに対する投票情報と、投稿データの格納日と、投稿データのチェックとが併せて格納される。投稿データのチェックについては後述する。
　なお、投稿者情報は文字列（例えば、ＩＤ又は番号等）によって表される。また、位置情報は、連続値又は文字列によって表される。位置情報が文字列の場合にはＩＤや番号等によって表され、連続値の場合は座標（緯度と経度との組）によって表される。また、投稿情報及び投票情報は、文字列によって表される。
　なお、投稿データを格納する際には、投稿者情報及び位置情報は必須であり、投稿情報及び投票情報の何れか一方には値が格納されているものとする。また、投稿情報をサイト１３へ投稿する際には、投稿情報のうちの各項目に対して必須入力とオプション入力とを指定できるものとする。このため、必須入力については値が必ずあるものとし、オプション入力については値が無い場合があるものとする。
　また、投稿データの格納日は、投稿を収集する際に用いられる。また、投稿データのチェックは、投稿者であるユーザによる投稿数をカウントする際、ユーザによる投稿情報が後述する評価情報として採用された数をカウントする際、及び投稿を集める際等に使用される。チェック欄に関しては後述する。
　クラスタリング部２２は、データ記憶部２０に格納された投稿データ群を取得する。そして、クラスタリング部２２は、投稿データ群の投稿データの位置情報及び投稿情報の少なくとも一方に基づいて、複数の投稿データを、複数のクラスタにクラスタリングする。
　クラスタリング手法として、階層的クラスタリング及び非階層的クラスタリングが知られている。階層的クラスタリングにおいては、デンドログラム（樹形図）が生成され、クラスタ数を予め決める必要はない。階層的クラスタリングとしては、ウォード法及び群平均法等がある。一方、非階層的クラスタリングにおいては、クラスタ数を予め決める必要がある。非階層的クラスタリングとしては、k-means及びfuzzy c-means等が知られている。なお、クラスタリングを行う前においては、一般的にクラスタ数は不明であることが多い。
　そこで、本実施形態では、階層的クラスタリングを用いてクラスタリングを行う。図４に、階層的クラスタリングを説明するための説明図を示す。図４に示されるように、階層的クラスタリングでは、少なくとも１つのクラスタが複数のクラスタを含む。また、階層的クラスタリングでは、複数の投稿データの各々の間の類似度合いに基づいてクラスタリングが行われる。このため、図４に示されるように、投稿データの間の類似度合いを表す距離が近いものは、同一のクラスタに分類される。例えば、距離に関する閾値を１と設定した場合には、図４に示される樹形図において、ユーザＡの投稿データとユーザＢの投稿データとは同一のクラスタに分類される。また、例えば、距離に関する閾値を３と設定した場合には、図４に示される樹形図において、ユーザＡ，Ｂ，Ｃ，Ｄの投稿データが同一のクラスタに分類される。
　次に、図５に、本実施形態の階層的クラスタリングのクラスタリングルールの一例を説明するための説明図を示す。本実施形態では、投稿データのうちの、位置情報及び投稿情報の少なくとも一方を利用して、閾値を変えることによって同一の階層的クラスタリング手法によってクラスタリングを行う。
　具体的には、本実施形態では、以下の（１）～（３）の要件を満たしたうえでクラスタリングが行われる。
（１）クラスタリングルールはＮｏ．１，２，３と管理し、指定された順にクラスタリングを行う。
（２）利用項目と値、閾値の指定は必須とする。
（３）値が文字列の場合は数値化処理を行ってクラスタリングを行う。
　なお、図５に示されるように、利用項目が投稿情報であって、かつ値に文字列が指定されている場合、重み付けの優先順位（第1～ｎカテゴリ）を指定することができる。
　図５に示されるように、本実施形態のクラスタリングの際の利用項目としては、投稿データのうちの位置情報又は投稿情報が用いられる。図５に示される例において、例えばＮｏ．１の識別情報が付与されたルールでは、位置情報がクラスタリングの利用項目として用いられ、位置情報を表す文字列に応じてクラスタリングが行われることを示している。なお、この場合の閾値は「１．０」に設定されている。
　また、例えばＮｏ．３の識別情報が付与されたルールでは、投稿情報がクラスタリングの利用項目として用いられ、投稿情報を表す文字列に応じてクラスタリングが行われることを示している。なお、この場合の閾値は「１２．０」に設定されている。
　図６に、階層的クラスタリングの具体例を説明するための説明図を示す。図６は、上記図５に示されるＮｏ．１のルールを適用した場合のクラスタリングの例である。上記図５に示されるように、Ｎｏ．１のルールでは、位置情報が利用項目に設定されているため、位置情報に応じてクラスタリングが行われる。
　図６に示される例では、ユーザＡ～Ｄに対応する位置情報は「１０００１」であり、ユーザＥに対応する位置情報は「１０３５０」である。この場合、これらの位置情報が数値化されると、図６に示されるように、「１０００１」と「１０３５０」とに分類され、何れに属するのかが「１」及び「０」によって表される。この位置情報に基づけば、ユーザＡによる投稿データとユーザＢによる投稿データとは、例えばマンハッタン距離＝０となり、距離が近いと判定される。一方、ユーザＤによる投稿データとユーザＥによる投稿データとは、マンハッタン距離＝１となる。この場合、閾値を１と設定すると、図６に示される右側のように、Ａ，Ｂ，Ｃ，Ｄは同一のクラスタに分類され、Ａ，Ｂ，Ｃ，Ｄが属するクラスタと、Ｅが属するクラスタとの２つのクラスタにクラスタリングされる。
　次に、図７に、上記図５に示されるＮｏ．２のルールを適用した場合のクラスタリングの例を示す。Ｎｏ．２のルールでは、位置情報が利用項目に設定されているため、位置情報に応じてクラスタリングが行われる。なお、Ｎｏ．２のルールでは、位置情報が連続値によって表現されている。
　図７に示される例では、ユーザＡ～Ｄに対応する位置情報が連続値によって表現される。この場合、位置情報に基づけば、ユーザＢによる投稿データとユーザＣによる投稿データとは、マンハッタン距離＝０．０１となり、距離が近いと判定される。一方、ユーザＤによる投稿データとユーザＥによる投稿データとは、マンハッタン距離＝１０．８８となる。この場合、閾値を１０と設定すると、図７に示される右側のように、Ａ，Ｂ，Ｃ，Ｄは同一のクラスタに分類され、Ａ，Ｂ，Ｃ，Ｄが属するクラスタと、Ｅが属するクラスタとの２つのクラスタにクラスタリングされる。
　次に、図８に、上記図５に示されるＮｏ．３のルールを適用した場合のクラスタリングの例を示す。Ｎｏ．３のルールでは、投稿情報が利用項目に設定されており、第１カテゴリに項目１が設定され、第２カテゴリに項目２が設定され、第３カテゴリに項目３が設定されているものとする。この場合、投稿情報の各項目１，２，３に応じてクラスタリングが行われる。
　図８に示される例において、投稿情報の項目１，２，３には、評価対象である地点を表す情報が格納されている。この場合、投稿情報の項目１，２，３が数値化されると、図８に示されるように、第３カテゴリは「１」又は「０」によって表され、第２カテゴリは「３」又は「０」によって表され、第１カテゴリは「１２」又は「０」によって表される。なお、下位カテゴリの最大距離＋１の重みが上位カテゴリに付与される。
　この場合、ユーザＡによる投稿データとユーザＢによる投稿データとは、マンハッタン距離＝２となり、距離が近いと判定される。一方、ユーザＢによる投稿データとユーザＣによる投稿データとは、マンハッタン距離＝６となる。この場合、閾値を１２未満に設定すると第１カテゴリによって分類されることになり、閾値を３未満に設定すると第２カテゴリによって分類されることとなる。例えば、閾値を３と設定してクラスタリングが行われると、図８に示される右側のように、Ａ，Ｂは同一のクラスタに分類され、Ａ，Ｂが属するクラスタと、Ｃが属するクラスタと、Ｄが属するクラスタとの３つのクラスタにクラスタリングされる。一方、閾値を１２と設定してクラスタリングが行われると、図８に示される右側のように、Ａ，Ｂ，Ｃは同一のクラスタに分類され、Ａ，Ｂ，Ｃが属するクラスタと、Ｄが属するクラスタとの２つのクラスタにクラスタリングされる。
　取得部２４は、クラスタリング部２２によってクラスタリングされたクラスタ毎に、当該クラスタに属する複数の投稿データのユーザ信頼度の平均を算出する。そして、取得部２４は、クラスタのユーザ信頼度の平均が、ユーザ信頼度に関する閾値以上であるクラスタを取得する。なお、ユーザ信頼度はユーザ指標の一例である。
　本実施形態のユーザ信頼度は、ユーザによる過去の投稿情報の数が多いほど高くなり、かつユーザの投稿情報が、所定以上の信頼度を有する情報であるとして採用された数が多いほど高くなる。なお、所定以上の信頼度を有する情報であるとして採用された投稿情報は、後述する評価情報となる。本実施形態のユーザ信頼度の算出式を、以下の式（１）に示す。
ユーザ信頼度＝δ×２×(寄与率)×(採用率)/{(寄与率)+(採用率)}
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１）
　なお、上記式（１）における、寄与率及び採用率は、以下の式（２）によって表される。
Figure JPOXMLDOC01-appb-M000001
 
Figure JPOXMLDOC01-appb-I000002

 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（２）
　なお、δは１又はbot検出のための判定スコアである。bot検出のための判定スコアについては後述する。ａは予め設定された定数を表し、μは複数のユーザによる投稿情報の数の平均を表し、ｍｉはユーザｉの投稿数を表し、σは投稿数の標準偏差を表す。また、ｎｉはユーザｉの投稿情報が評価情報として採用された個数を表す。
　図９に、上記式（１）における寄与率を説明するための説明図を示す。投稿情報の投稿数が多いユーザほど高いユーザ信頼度を割り当てることが好ましい。そのため、図９に示されるように、本実施形態では、平均よりも投稿数が多いユーザに対しては１に近い寄与率が割り当てられるようにし、平均よりも投稿数が少ないユーザに対しては０に近い寄与率が割り当てられるようにする。
　図１０に、ユーザ信頼度を説明するための説明図を示す。図１０に示される例では、各ユーザＡ，Ｂ，Ｃ，Ｄについての、投稿数、評価情報として採用された採用数、寄与率、採用率、及びユーザ信頼度が示されている。なお、図１０に示される例では、ユーザ全体の平均投稿数μ＝１．０であり、分散σ＝０．８、ａ＝２．０である。
　図１０に示されるように、寄与率及び採用率が高いほど、ユーザ信頼度は１に近い値をとることがわかる。また、投稿情報の投稿数が多い場合であっても、評価情報として採用された採用数が少ない場合には、ユーザ信頼度は低くなる。なお、初回（例えば、投稿数＝０，採用数＝０）のときには、ユーザ信頼度は定数（例えば、０．７）とする。また、ユーザ信頼度を算出する際に、投稿数の平均及び投稿数の分散等を、各地点が存在するエリア毎に算出することで、エリア毎のユーザ信頼度を求めることもできる。
　次に、図１１に、ユーザがbotであるか否かを表す判定スコアの算出方法について説明するための説明図を示す。なお、以下で説明するbot検出は、参考文献（蔵内 雄貴、他４名、「ベンフォードの法則を応用したbotアカウント検出」、日本データベース学会論文誌、DBSJ journal 12(1), 19-24, 2013-06、［平成 30 年 8 月 13 日検索］、インターネット〈URL：http://db-event.jpn.org/deim2013//proceedings/pdf/b1-2.pdf〉）に基づくものである。
　図１１に示されるように、参考文献に記載の技術においては、投稿内容と投稿日時とからbotであるか人であるかが判定される。参考文献に記載の技術は、日々の投稿により推定精度が向上するモデルであるため、本実施形態のユーザ信頼度として利用することも可能である。参考文献の技術では、最大で直近Ｎ回の投稿が利用されており、投稿が４０件くらいある場合に８割程度の推定精度であることが報告されている。
　ユーザによる投稿を数値化（例えば、単語頻度の最上位桁の数をカウント及び時間間隔の最上位桁の数をカウント）した場合、図１１の左側に示されるように、人とbotとではグラフの形状が異なる。図１１の左側に示される２つのグラフの横軸は、単語頻度の最上位桁の数値又は時間間隔の最上位桁の数値を表す。例えば、時間間隔が１６、２４、３７である場合、時間間隔の最上位桁の数値は、「１」、「２」、「３」となる。また、任意の単語頻度が、１７、２５、４８である場合、単語頻度の最上位桁の数値は、「１」、「２」、「４」となる。
　図１１の左側に示される２つのグラフのうちの左側のグラフは、人による投稿の時間間隔又は単語頻度に関する出現確率を表す。また、図１１の左側に示される２つのグラフのうちの右側のグラフは、botによる投稿の時間間隔又は単語頻度に関する出現確率を表す。図１１の左側に示される２つのグラフのうちの左側のグラフの形状は、点線に近い形状となるのに対し、図１１の左側に示される２つのグラフのうちの右側のグラフの形状は、左側のグラフに比べ、点線と乖離した形状となる。このため、特定の分布を表す点線と近い形状であるのか、特定の分布を表す点線と異なる形状であるのかに応じて、人による投稿か又はbotによる投稿であるのかを判定することができる。
　この場合、図１１の右側のグラフに示されるように、特定の分布と、投稿の時間間隔の出現確率の分布又は単語頻度の出現確率の分布との間の誤差は、投稿数が増加するにつれて減少する。このとき、投稿数が増加するにつれて、人による投稿に関しての誤差は、botによる投稿に関しての誤差よりも小さくなる。
　そのため、本実施形態では、この誤差に基づいて、人物らしさを表す判定スコアδを算出する。具体的には、図１１に示されるように、人物らしさを表す判定スコアδを、δ＝ａｘの算出式によって算出する。なお、ここでのｘは誤差を表す。これにより、人物らしさを表す判定スコアδを適切に算出することができる。
　なお、本実施形態においては、投稿情報の各クラスタに含まれるユーザの人数によって投稿情報のカウントが行われる。例えば、図１２の下段に示されるように、同じ人であるユーザＤが同じ投稿を繰り返した場合であっても、全体のユーザ数は４人とカウントされ、かつ地点について「段差」と答えたユーザは３人、「階段」と答えたユーザは１人とカウントする。これにより、第１カテゴリで考える場合には、全体のユーザ数は４人（ｎ＝４）、「段差」と答えたユーザは３人（ｒ＝３）、「階段」と答えたユーザは１人とカウントされる。
　評価部２６は、取得部２４によって取得されたクラスタの投稿データに基づいて、評価対象の対象物が存在するか否かを評価する。例えば、投稿情報に「階段」と「段差」のみが含まれている場合には、「階段」又は「段差」を表す評価対象が存在していることがわかり、「トイレ」は存在していないことがわかる。
　また、評価部２６は、取得部２４によって取得されたクラスタの投稿データに基づいて、評価対象の性質の尤もらしさを評価する。具体的には、評価部２６は、取得部２４によって取得されたクラスタの投稿データの投稿情報に基づいて、評価対象の性質の尤もらしさとして、投稿情報に関する指標を表すコンテンツ指標の一例であるコンテンツ信頼度を算出する。
　より詳細には、評価部２６は、評価対象に関する事象の情報と投稿情報が指し示す評価対象に関する情報との組み合わせ毎に求められる確率に基づいて、コンテンツ信頼度を算出する。
　図１３に、本実施形態のコンテンツ信頼度を求めるための各確率を説明するための説明図を示す。本実施形態では、確率統計を用いてコンテンツ信頼度を算出する。具体的には、図１３に示されるように、事象Ａを「ａ：バリアθがある」、事象Ｂを「ｂ：バリアθがない」とする。
　そして、任意の地点において事象Ａである確率ＰＡ、任意の地点において事象Ｂである確率をＰＢとする。また、事象Ａ，Ｂが発生する地点において投稿者であるユーザがａ，ｂと判定し、投稿情報にａ，ｂが表れる確率を、それぞれｐＡ（ａ），ｐＡ（ｂ），ｐＢ（ａ），ｐＢ（ｂ）とする。なお、事象Ａ，Ｂに関する情報は、オープンデータ等の情報から設定される。また、ユーザ数ｎは計測により得られる。また、ｐＡ（ａ），ｐＡ（ｂ），ｐＢ（ａ），ｐＢ（ｂ）は、トライアル等のユーザの評価の精度に応じて予め設定される。
　上記の条件下で、ある地点でｎ人中、事象Ａと判定したユーザがｒ人のとき、その地点が実際にＡである確率ｑｘ（Ａ）を考える。この場合、ベイズの定理により、以下の式（３）によって確率ｑｘ（Ａ）を算出することができる。
Figure JPOXMLDOC01-appb-M000003
 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（３）
　次に、図１４を参照して、コンテンツ信頼度の算出例を説明する。図１４に示されるように、例えば、任意の場所で事象Ａ（段差）である確率をＰＡ＝０．３とする。この場合、任意の場所で事象Ａではない確率、すなわち、段差が無い確率はＰＢ＝０．７となる。
　また、事象Ａである地点でａと予測（例えば、「段差」の地点で「段差」と判定される）確率をＰＡ（ａ）＝０．９とする。また、事象Ｂである地点でａと予測する（「段差」ではない地点で「段差」と判定される）確率をＰＢ（ａ）＝０．１とする。また、図１４に示されるように、４人のユーザの内、ａと判定したユーザが３人（ｒ＝３）であるとする。この場合の各確率は、図１４に示されるようなものとなる。
　この場合、コンテンツ信頼度は、以下の式（４）によって計算される。
Figure JPOXMLDOC01-appb-M000004
 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（４）
　なお、図１４に示される各確率は、日々の更新状況に合わせて値を少しずつ更新することもできる。例えば、以下の式（５）に従って、確率ＰＡ（ａ）を更新することができる。なお、αは予め設定された係数である。
ＰＡ（ａ）←ＰＡ（ａ）＋α
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（５）
　そして、評価部２６は、取得部２４によって取得されたクラスタの投稿データから、投稿データの投稿情報のコンテンツ信頼度が、コンテンツ信頼度に関する閾値以上である投稿情報を評価情報として採用する。
　なお、本実施形態の評価情報は、評価情報を識別するためのＩＤと、評価情報として採用された投稿データの位置情報と、評価情報として採用された投稿データの投稿情報を表す抽出情報と、評価情報として採用された投稿データの投稿者情報と、評価情報に対する投票情報との組み合わせを表す情報である。評価情報のデータ構造については後述する。
　次に、評価部２６は、１つの地点に対して１つの評価情報を生成する。図１５に、１つの地点に対する１つの評価情報の生成を説明するための説明図を示す。例えば、評価部２６は、投稿された投稿情報が１つである場合、(投稿情報)＝(評価情報)とする。一方、図１５に示されるように、ユーザＡ，Ｂ，Ｃの投稿情報が評価情報として採用された場合のような、投稿情報が２つ以上存在する場合、評価部２６は、複数の投稿情報から１つの評価情報を生成する。例えば、図１５に示されるように、評価部２６は、複数の投稿情報の中からどれか一つをランダムに選択する。または、例えば、図１５に示されるように、評価部２６は、複数の投稿を１つに統合する。
　そして、評価部２６は、評価情報をデータ記憶部２０に格納する。図１６に、データ記憶部２０に格納される評価情報の一例を示す。図１６に示されるように、評価情報を識別するためのＩＤ及び投稿者情報は、文字列（例えば、英数字等）によって表される。また、位置情報は、連続値又は文字列であり、抽出情報及び投票情報は文字列であるとする。なお、抽出情報は、投稿データのうちの投稿情報に相当する。文字列の場合はＩＤや番号等によって表され、連続値の場合は座標（例えば、緯度と経度との組）によって表される。投稿者情報、位置情報、及び抽出情報は必須であり、投票情報は、○、×、又は値無しとする。また、抽出情報は値がある項目とない項目とが存在する。本実施形態の評価情報は、図１６に示されるようなテーブルによって管理される。なお、評価情報が格納されるテーブル内の格納日及びチェックは、後述する評価情報の信頼度の算出の際に用いられる。
　図１７に、データ記憶部２０に格納される、投稿データ及び評価情報を示す。本実施形態では、図１７に示されるようなデータ構造によって、投稿データ及び評価情報が管理される。
　次に、評価部２６は、ユーザ信頼度を算出する際に用いられる、ユーザによる投稿情報の投稿数及び評価情報として採用された採用数を更新する。評価部２６による更新処理により、上記図１０に示される投稿数及び採用数が更新され、寄与率、採用率、及びユーザ信頼度も更新される。
　図１８に、ユーザによる投稿情報の投稿数及び評価情報として採用された数を説明するための説明図を示す。図１８に示されるように、本実施形態では、投稿情報の各クラスタに含まれる各ユーザの投稿情報をカウントする。
　図１８に示される例では、ユーザＡ，Ｂ，Ｃの投稿情報が評価情報として採用され、ユーザＤの投稿情報は不採用となった場合が示されている。この場合、ユーザＡ，Ｂ，Ｃは投稿情報の投稿数は＋１となり、評価情報として採用されたことを表す採用数も＋１となる。一方、ユーザＤは投稿情報の投稿数は＋１となり、評価情報として採用されたことを表す採用数は＋０となる。
　また、図１８の下段には、同じユーザが同じ投稿情報を複数投稿した場合が示されている。この場合、ユーザＡ，Ｂ，Ｃによる投稿情報の投稿数は＋１となり、評価情報として採用されたことを表す採用数も＋１となる。一方、ユーザＤによる投稿情報の投稿数は＋６、評価情報として採用されたことを表す採用数は＋０となる。
　なお、図１８の下段におけるユーザＤの複数の投稿情報が評価情報として採用された場合は、ユーザＤによる投稿情報の投稿数は＋６となるが、投稿情報は同じ内容であるため、評価情報として採用されたことを表す採用数は＋１となる（但し、投稿日が異なっている場合には、別カウントとなる。）。
　ユーザによる投稿情報の投稿数と、ユーザの投稿情報が評価情報として採用された数を表す採用数の更新が終了した後に、評価部２６は、採用となった投稿情報をチェック済みとし、データ記憶部２０に格納された投稿データ群のテーブルを更新する（なお、採用されなかった投稿情報は未チェックのままとする）。
　次に、評価部２６は、複数のユーザからの評価情報に対する投票内容を表す投票情報に基づいて、評価情報の信頼度を算出する。本実施形態の評価情報の信頼度は、以下の式（６）によって表される。
Figure JPOXMLDOC01-appb-M000005
 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（６）
　なお、上記式（６）におけるｔは、投稿情報の投稿からの経過日数を表す。また、ｒｊ ０は、予め定められた定数を表す。ｃｊは投票情報の内容（適切であることを表す○、不適切であることを表す×）に応じた重みを表す。ｅ－λｔは投票情報の鮮度を表す項となり、λは予め設定された定数である。定数ｒｊ ０の初期値としては、評価情報として採用された際のコンテンツ信頼度が設定される。
　複数のユーザからの評価情報に対する投票情報の重みｃｊは、評価情報ｊに対する○×投票の個数に応じて評価情報の信頼度の減衰割合を決定するものである。重みｃｊは、例えば、以下の式（７）によって表される。
Figure JPOXMLDOC01-appb-M000006
 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（７）
　なお、評価部２６は、ユーザ信頼度が所定の閾値以上であるユーザの投票情報に基づいて、評価情報の信頼度を算出する。
　例えば、図１９に示されるように、ユーザＡのユーザ信頼度が０．６４９であり、ユーザＢのユーザ信頼度が０．８８９であり、ユーザＣのユーザ信頼度が０．０であり、ユーザＤのユーザ信頼度が０．３３３である場合を例に説明する。この場合、所定の閾値を０．５としたときには、評価部２６は、ユーザ信頼度が０．５以上であるユーザＡ及びユーザＢの投票情報に基づいて、評価情報の信頼度を算出する。
　上記図１９に示される例では、ユーザＡの投票情報は「○」であり、ユーザＢの投票情報は「×」であるため、投票情報の重みｃｊは以下の式（８）によって算出される。
Figure JPOXMLDOC01-appb-M000007
 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（８）
　そして、評価部２６は、以下の式（９）によって評価情報の信頼度ｒｊを算出する。なお、ユーザの総数Ｎ＝０の場合は、ｃｊ＝１とする。
Figure JPOXMLDOC01-appb-M000008
 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（９）
　また、評価部２６は、評価情報の信頼度が計算された後、ｒｊ ０←ｒｊ ０×ｃｊとして定数を更新し、投票情報はチェック済みとなる。
　本実施形態の評価情報の信頼度は、評価情報が生成されたときに評価情報に対して付与される指標を表す評価情報指標の一例である。評価情報の信頼度は、評価情報が生成されたときからの時間が経過するほど低くなり、かつ評価情報が適切であるか否かを表す投票情報に応じて求まる。
　本実施形態の評価情報の信頼度は、評価情報が生成されたときに当該評価情報に対して付与される。図２０に示されるように、評価情報の信頼度は、評価情報が生成されたときからの時間が経過するほど低くなる。また、本実施形態の評価情報の信頼度は、評価情報が適切であるか否かを表す投票情報が低いほど低くなる。例えば、評価情報の信頼度は、複数のユーザからの投票情報が不適切であることを表す投票（例えば、×）が付与された場合に減少する。
　そこで、本実施形態では、評価情報の信頼度が、評価情報の信頼度に関する閾値以下となった場合（図２０に示される「呼び掛けライン」となった場合）に、複数のユーザに対して投稿情報の投稿を要求する。
　要求部２８は、評価情報の信頼度が、評価情報の信頼度に関する閾値以下となった場合に、複数のユーザに対して投稿情報の投稿を要求する。具体的には、要求部２８は、複数のユーザ端末１２に対して投稿情報の投稿を呼び掛ける。
　複数のユーザの各々は自身のユーザ端末１２を操作し、評価装置１４からの要求に応じて、評価対象に関する投稿内容を表す投稿情報をサイト１３へ投稿する。
　評価装置１４は、複数のユーザ端末１２によって投稿された投稿情報を収集する。具体的には、評価装置１４の通信部１６は、複数のユーザ端末１２によって投稿された投稿情報を受信する。また、データ取得部１８は、通信部１６によって受信した投稿情報をデータ記憶部２０へ格納する。
　そして、評価部２６は、前回の評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる新たな投稿情報に基づいて、当該評価対象に対する評価情報を再度生成する。具体的には、データ記憶部２０に格納された新たな評価情報を用いて、当該評価対象に対する評価情報を再度生成する。
　なお、データ記憶部２０に格納される各テーブルには、上記図１７に示されるように、「チェック」項目が含まれている。そのため、評価部２６は、未チェックの投稿情報を用いて、評価情報を再度生成する。なお、未チェックの投稿情報を用いる際には、現時点からＤ日以内の投稿情報又は最新のＰ件分の投稿情報を抽出し、件数が多い方を投稿情報として利用することとする。ＤとＰとは指定可能とする。
　なお、評価情報として採用されなかった投稿情報は未チェックのままとなっている。このため、評価部２６は、未チェックの投稿情報ではなく、投稿の呼び掛けによって新たなに投稿された投稿情報のみに基づいて、当該評価対象に対する評価情報を再度生成するようにしてもよい。
＜評価システム１０の作用＞
　次に、本実施形態に係る評価システム１０の作用について説明する。まず、評価システム１０の複数のユーザ端末１２によってサイト１３に対する投稿が行われると、データ取得部１８は、通信部１６を介して投稿データの各々を取得する。そして、データ取得部１８は、取得した投稿データの各々をデータ記憶部２０へ格納する。そして、評価装置１４は、評価情報生成の指示信号を受け付けると、図２１に示す評価処理ルーチンを実行する。図２１に示す評価処理ルーチンは、評価情報生成の指示信号を受け付ける毎に実行される。
＜評価処理ルーチン＞
　ステップＳ１００において、クラスタリング部２２は、データ記憶部２０に格納された投稿データ群を取得する。
　ステップＳ１０２において、クラスタリング部２２は、上記ステップＳ１００で取得された投稿データ群の投稿データの位置情報及び投稿情報の少なくとも一方に基づいて、複数の投稿データを、複数のクラスタにクラスタリングする。
　ステップＳ１０４において、取得部２４は、上記ステップＳ１０２でクラスタリングされたクラスタ毎に、当該クラスタに属する複数の投稿データのユーザ信頼度の平均を算出する。そして、取得部２４は、クラスタのユーザ信頼度の平均が、ユーザ信頼度に関する閾値以上であるクラスタを取得する。
　ステップＳ１０６において、評価部２６は、上記ステップＳ１０４で取得されたクラスタの投稿データに基づいて、コンテンツ信頼度を算出する。
　ステップＳ１０８において、評価部２６は、上記ステップＳ１０４で取得されたクラスタの投稿データから、上記ステップＳ１０６で算出された投稿データの投稿情報のコンテンツ信頼度が、コンテンツ信頼度に関する閾値以上である投稿情報を評価情報として生成する。
　ステップＳ１１０において、評価部２６は、上記ステップＳ１０８で生成された評価情報をデータ記憶部２０に格納して、評価処理ルーチンを終了する。
＜評価更新処理ルーチン＞
　評価情報が生成された後、複数のユーザによって評価情報に対する投票が行われる。そして、評価装置１４は、予め定められたタイミングで図２２に示す評価更新処理ルーチンを実行する。
　ステップＳ２００において、評価部２６は、ユーザ信頼度が所定の閾値以上であるユーザの投票情報に基づいて、評価情報の信頼度を算出する。
　ステップＳ２０１において、要求部２８は、上記ステップＳ２００で算出された評価情報の信頼度が、評価情報の信頼度に関する閾値以下であるか否かを判定する。評価情報の信頼度が評価情報の信頼度に関する閾値以下である場合には、ステップＳ２０２へ進む。一方、評価情報の信頼度が、評価情報の信頼度に関する閾値より大きい場合には、評価更新処理ルーチンを終了する。
　ステップＳ２０２において、要求部２８は、複数のユーザに対して投稿情報の投稿を要求する。
　ステップＳ２０４において、通信部１６は、複数のユーザ端末１２によって投稿された投稿情報を受信する。また、データ取得部１８は、通信部１６によって受信した投稿情報をデータ記憶部２０へ格納する。
　ステップＳ２０６において、評価部２６は、前回の評価情報の生成の際に用いられた投稿情報とは異なる、上記ステップＳ２０４でデータ記憶部２０へ格納された、新たな投稿情報に基づいて、当該評価対象に対する評価情報を再度生成して、評価更新処理ルーチンを終了する。
　評価装置１４は、上記図２１に示される評価処理ルーチンと上記図２２に示される評価更新処理ルーチンとを繰り返し実行する。
　以上説明したように、本実施形態に係る評価装置によれば、投稿情報と当該投稿情報を投稿したユーザを表す投稿者情報とを有する投稿データを複数含む投稿データ群から、ユーザによる過去の投稿情報の数が多いほど高くなり、かつユーザの投稿情報が評価情報であるとして採用された数が多いほど高くなるユーザ信頼度に基づいて、投稿データを取得し、取得された投稿データに基づいて、評価対象が存在するか否かを評価することにより、ユーザからの評価対象に関する投稿に応じて評価対象を適切に評価することができる。
　また、一般のユーザの投稿情報を利用することで、専門の調査員の情報を利用することなく、広範囲及び低コストで評価情報を生成及び更新することができる。
　また、所定の管理者が投稿内容をその都度チェックする必要がなく、統計処理によって適切な評価情報を自動的に抽出することができる。
　また、本実施形態のユーザ端末１２等にスマートフォン用アプリ等で提供することで、広範囲のユーザからの投稿を容易に収集することができる。この場合、アプリ配布のコストは調査員の募集コストより少なく、かつユーザはスマートフォンを用いて投稿することができるため、専門の計測機器を使用する必要はない。
＜第２実施形態＞
　次に、第２実施形態について説明する。なお、第２実施形態に係る評価システムの構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。
　第２実施形態では、評価情報の信頼度に代えて、所定の領域内における評価情報の数に基づき生成される評価情報の収集度を用いる。
　一般のユーザの投稿情報に基づき広範囲の評価情報を効率的に集める場合、時間が経過すれば投稿情報は集まると期待される。しかし、評価情報の収集にかかる期間を短縮するためには、どの地点の情報が必要であるのかを適切に提示する必要がある。
　そこで、第２実施形態では、評価情報が存在していない地点又は評価情報の信頼度が低下した地点を検知するための収集度を定義する。
　具体的には、所定の領域内として、緯度及び経度に応じて矩形のエリアを予め設定する。そして、第２実施形態の評価部２６は、エリアＡｉ（ｉ＝１，２，・・・，Ｍ）内に対応する位置情報に存在する評価情報の個数及び評価情報の信頼度の平均を以下の式（１０）で算出する。
Figure JPOXMLDOC01-appb-M000009
 
Figure JPOXMLDOC01-appb-I000010

 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１０）
　なお、Ｎ（Ａｉ）は評価情報の個数を表し、Ｍ（Ａｉ）は投稿情報の個数を表す。そして、評価部２６は、上記式（１０）によって算出された値に基づいて、以下の式（１１）に従って、収集度を算出する。
Figure JPOXMLDOC01-appb-M000011
 
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１１）
　なお、ｒｉは、エリアＡｉ内の評価情報ｊの信頼度を表す。
　図２３に、収集度の具体例を示す。図２３には、Ｎ（Ａｉ），Ｍ（Ａｉ），ｅｎｕｍ（Ａｉ），ｅａｖｇ（Ａｉ），Ｈ（Ａｉ）が示されている。この場合、図２３に示される、どの項目が０に近いかによって、投稿の呼び掛け内容を変えることもできる。
　例えば、呼び掛けラインに関する閾値＝０．３とした場合を例に考える。この場合、要求部２８は、エリアＡ２には評価情報が１つもないため新規の投稿を呼びかける一方で、エリアＡ４においては評価情報の信頼度が低下しているため、当該地点で何か変わっていないかに関する投稿を呼びかける。
　なお、第２実施形態に係る評価装置の他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
　以上説明したように、第２実施形態に係る評価装置によれば、所定の領域内における評価情報の数に応じて生成される評価情報の収集度に基づいて、評価対象に関する投稿を適切に呼び掛けることができる。
　また、収集度を用いることで、投稿者であるユーザに、どこのエリアの評価情報が少ないか又は古いかを適切に通知できるため、投稿者であるユーザは、どのエリアで投稿するべきか把握することができる。また、評価装置１４の管理者は、収集したいエリアの評価情報を効率的に得ることができる。
　なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上記実施形態では、評価装置１４が、投稿情報から評価情報を生成する評価処理と、複数のユーザに対して投稿を要求し評価情報を更新する評価更新処理とを実行する場合を例に説明したが、これに限定されるものではない。例えば、評価処理と評価更新処理とが別々の装置によって実行されてもよい。この場合には、例えば、評価処理を実行する評価装置と、評価更新処理を実行する評価更新装置とによってシステムを構築するようにしてもよい。
　また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、プログラムをインストールすることによっても実現可能である。
　また、上述の装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１０ 評価システム
１２ ユーザ端末
１３ サイト
１４ 評価装置
１６ 通信部
１８ データ取得部
２０ データ記憶部
２２ クラスタリング部
２４ 取得部
２６ 評価部
２８ 要求部
３０ 通信手段

Claims (6)

  1. 　評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成する評価部
    　を含む評価更新装置。
  2. 　前記評価情報が、前記評価情報指標に関する閾値以下となった場合に、複数のユーザに対して前記投稿情報の投稿を要求する要求部を更に含む、
    　請求項１に記載の評価更新装置。
  3. 　前記評価情報指標は、前記評価情報が適切であるか否かを表す投票情報に基づき生成される前記評価情報の信頼度である、
    　請求項１又は請求項２に記載の評価更新装置。
  4. 　前記評価情報指標は、所定の領域内における前記評価情報の数に基づき生成される前記評価情報の収集度である、
    　請求項１又は請求項２に記載の評価更新装置。
  5. 　評価部を含む評価更新装置における評価更新方法であって、
    　前記評価部が、評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成するステップ
    　を含む評価更新方法。
  6. 　コンピュータを、請求項１～請求項４のいずれか１項に記載の評価更新装置が備える各部として機能させるためのプログラム。
PCT/JP2019/032041 2018-08-27 2019-08-15 評価更新装置、方法、及びプログラム WO2020045107A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/271,565 US20210182353A1 (en) 2018-08-27 2019-08-15 Evaluation updating device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-158676 2018-08-27
JP2018158676A JP7024663B2 (ja) 2018-08-27 2018-08-27 評価更新装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020045107A1 true WO2020045107A1 (ja) 2020-03-05

Family

ID=69643860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032041 WO2020045107A1 (ja) 2018-08-27 2019-08-15 評価更新装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210182353A1 (ja)
JP (1) JP7024663B2 (ja)
WO (1) WO2020045107A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148947A1 (ja) * 2022-02-07 2023-08-10 日本電信電話株式会社 評価装置、評価方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011530729A (ja) * 2008-06-19 2011-12-22 ワイズ テクノロジーズ インコーポレイテッド トピックに関する複数の製品にランクを付ける製品ランク付け方法及び製品ランク付けシステム
JP2013168021A (ja) * 2012-02-15 2013-08-29 Nifty Corp イベント検出装置
JP2015172856A (ja) * 2014-03-12 2015-10-01 株式会社ゼンリンデータコム 情報収集評価装置、情報収集評価方法および情報収集評価プログラム
JP2017027579A (ja) * 2016-04-19 2017-02-02 ヤフー株式会社 提示装置、提示方法、提示プログラム、端末装置、表示方法、及び表示プログラム
JP2018049504A (ja) * 2016-09-23 2018-03-29 エイミー株式会社 投稿情報管理システム、投稿情報管理方法、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665655B1 (en) * 2000-04-14 2003-12-16 Rightnow Technologies, Inc. Implicit rating of retrieved information in an information search system
US7519562B1 (en) * 2005-03-31 2009-04-14 Amazon Technologies, Inc. Automatic identification of unreliable user ratings
US8843481B1 (en) * 2005-09-30 2014-09-23 Yongyong Xu System and method of forming action based virtual communities and related search mechanisms
US20130007238A1 (en) * 2011-06-30 2013-01-03 Sandholm Thomas E Recommending resources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011530729A (ja) * 2008-06-19 2011-12-22 ワイズ テクノロジーズ インコーポレイテッド トピックに関する複数の製品にランクを付ける製品ランク付け方法及び製品ランク付けシステム
JP2013168021A (ja) * 2012-02-15 2013-08-29 Nifty Corp イベント検出装置
JP2015172856A (ja) * 2014-03-12 2015-10-01 株式会社ゼンリンデータコム 情報収集評価装置、情報収集評価方法および情報収集評価プログラム
JP2017027579A (ja) * 2016-04-19 2017-02-02 ヤフー株式会社 提示装置、提示方法、提示プログラム、端末装置、表示方法、及び表示プログラム
JP2018049504A (ja) * 2016-09-23 2018-03-29 エイミー株式会社 投稿情報管理システム、投稿情報管理方法、およびプログラム

Also Published As

Publication number Publication date
JP7024663B2 (ja) 2022-02-24
US20210182353A1 (en) 2021-06-17
JP2020035022A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
Balaanand et al. An enhanced graph-based semi-supervised learning algorithm to detect fake users on Twitter
Toole et al. Tracking employment shocks using mobile phone data
CN110163647B (zh) 一种数据处理方法及装置
EP1738524B1 (en) Method and system for generating a population representative of a set of users of a communication network
Vaccario et al. Quantifying and suppressing ranking bias in a large citation network
Ren et al. Where are you settling down: Geo-locating twitter users based on tweets and social networks
CN111709714B (zh) 基于人工智能的流失人员预测方法和装置
CN111696656B (zh) 一种互联网医疗平台的医生评价方法、装置
Steyvers et al. Evaluating probabilistic forecasts with Bayesian signal detection models
CN113779429A (zh) 交通拥堵态势预测方法、装置、设备及存储介质
Baran et al. Statistical post‐processing of heat index ensemble forecasts: is there a royal road?
CN117314593B (zh) 一种基于用户行为分析的保险项目推送方法及系统
WO2020045107A1 (ja) 評価更新装置、方法、及びプログラム
WO2020045106A1 (ja) 評価装置、方法、及びプログラム
JP5401885B2 (ja) モデルの構築方法、構築システム及び構築用プログラム
Oh et al. Measuring geographic sentiment toward police using social media data
EP3493082A1 (en) A method of exploring databases of time-stamped data in order to discover dependencies between the data and predict future trends
CN115392351A (zh) 风险用户识别方法、装置、电子设备及存储介质
CN114611841A (zh) 一种景区游客流量预测方法及装置
Lee et al. Incorporating big data and social sensors in a novel early warning system of dengue outbreaks
Wu et al. Exploring the use of decision tree methodology in hydrology using crowdsourced data
CN110209953A (zh) 一种面向不确定性社会计算问题的计算方法
Mohanty et al. Basic Statistics 2nd Edition
Tiit et al. Indexes in demographic statistics: a methodology using nonstandard information for solving critical problems
CN112001742A (zh) 网站访客行为习惯评估方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854620

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19854620

Country of ref document: EP

Kind code of ref document: A1