WO2022019150A1 - 情報処理プログラム、情報処理装置および情報処理方法 - Google Patents

情報処理プログラム、情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2022019150A1
WO2022019150A1 PCT/JP2021/025931 JP2021025931W WO2022019150A1 WO 2022019150 A1 WO2022019150 A1 WO 2022019150A1 JP 2021025931 W JP2021025931 W JP 2021025931W WO 2022019150 A1 WO2022019150 A1 WO 2022019150A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
content
evaluation
information processing
processing program
Prior art date
Application number
PCT/JP2021/025931
Other languages
English (en)
French (fr)
Inventor
トビアス ツィンツァレク
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022019150A1 publication Critical patent/WO2022019150A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • This disclosure relates to information processing programs, information processing devices and information processing methods.
  • Patent Document 1 discloses an information recommendation method for recommending information suitable for a user from such contents.
  • a list of information to be recommended to the user is generated based on "user's interest” or "user's behavior”.
  • One of the purposes of this disclosure is to propose an information processing program, an information processing device, and an information processing method capable of performing appropriate content evaluation.
  • the present disclosure is, for example, Information that identifies the basis material for the content using information about the content, and causes the computer to execute a content evaluation process that generates evaluation information for the content using the identified information about the basis material and the information about the content. It is a processing program.
  • the present disclosure is, for example, An evaluation information output process that identifies the basis material of the content using the information about the content and outputs the evaluation information of the content generated by using the specified information about the basis material and the information about the content is performed on the computer. It is an information processing program to be executed.
  • the present disclosure is, for example, An information processing unit that identifies the basis material of the content using the information related to the content, and performs the content evaluation process to generate the evaluation information of the content using the identified information related to the basis material and the information related to the content. It is an information processing device that has.
  • the information processing unit identifies the basis material of the content by using the information about the content, and performs the content evaluation process to generate the evaluation information of the content by using the identified information about the basis material and the information about the content. It is an information processing method to be performed.
  • FIG. 1 is a diagram showing a configuration example of an information processing system according to an embodiment.
  • FIG. 2 is a sequence diagram showing an example of the flow of processing performed between the devices constituting the information processing system.
  • FIG. 3 is a diagram for explaining an outline of content evaluation.
  • FIG. 4 is a diagram showing a specific example of the content evaluation method.
  • FIG. 5 is a diagram for explaining an evaluation example of the content.
  • FIG. 6 is a diagram showing an example of information on the content to be evaluated.
  • FIG. 7 is a diagram showing an example of information on an individual / corporate profile.
  • FIG. 8 is a diagram for explaining an evaluation example of other contents.
  • FIG. 9 is a diagram for explaining further evaluation examples of other contents.
  • FIG. 10 is a diagram for explaining a first procedure for implementing the program.
  • FIG. 10 is a diagram for explaining a first procedure for implementing the program.
  • FIG. 11 is a diagram for explaining a second procedure for implementing the program.
  • FIG. 12 is a diagram showing an example of displaying the evaluation result by the web browser.
  • FIG. 13 is a diagram showing a configuration example of hardware of a content providing server, a content management server, and a user terminal.
  • the "reliability" of the content is, for example, the number of viewers, the number of likes that represent the number of favorite votes, and other subjective ratings (eg, the number of stars that represent the rating, the emoticon (Emoticon). )), Etc. are currently ranked. In other words, the legitimacy and credibility of content are rated solely by the principles of democracy.
  • Network-related companies such as the Internet use advertisements and billing to earn income. And, in many cases, the more impressions, clicks, etc., the higher the income. Therefore, it emphasizes whether or not information can be sold rather than the subjective and objective rating of information, and the business model is based only on the principle of democracy, and there is no incentive to pursue absolute quality.
  • meta information is properly set for the content used (for example, browsing), but in reality, it is not set as such.
  • the meta information here is, for example, the specialty, career, social achievement, occupation, ethics, reputation, purpose of activity of the information sender, and the universality, accuracy, scientificity, originality, and traceability of the information itself. , The validity, the origin of information on the time axis, history, transmission path, falsification, etc. Moreover, even if the information is rated by others, there is no reliability index specific to oneself. These can cause information consumers to be confused by the content on the network.
  • FIG. 1 shows a configuration example of an information processing system (information processing system 1) according to an embodiment.
  • the information processing system 1 has, for example, a content providing server 2, a content management server 3, and a user terminal 4.
  • the content providing server 2, the content management server 3, and the user terminal 4 are each connected to the network N.
  • the network N is, for example, the Internet.
  • one content providing server 2, one content management server 3, and one user terminal 4 are shown, but a plurality of these may be present.
  • the content providing server 2 is a device on the content providing side (for example, a web server). Various contents are provided to the content providing server 2 by various content providers.
  • the content management server 3 is a device responsible for managing content, and has, for example, a content search function by a search engine, a content evaluation function using an evaluation algorithm, and the like. Further, the content management server 3 has, for example, various databases necessary for content management.
  • the user terminal 4 is a device (for example, a web client) on the content user side.
  • the user terminal 4 is, for example, a personal computer, a smartphone, a tablet terminal, a mobile phone, a television device, an audio / video playback device, a game machine, or the like, but the specific product form is not limited.
  • the user terminal 4 has, for example, a browser function for viewing content as a content usage function.
  • the information processing system 1 may have a part or all of the functions of the content management server 3 in another device.
  • the content search function and the content evaluation function of the content management server 3 described above may be performed by different devices. Further, at least one of these functions may be provided to the content providing server 2 or the user terminal 4. As a result, the processing load of the content management server 3 can be reduced or the content management server 3 can be omitted.
  • FIG. 2 is a sequence diagram showing an example of the flow of processing performed between the devices constituting the information processing system 1.
  • the content management server 3 performs information collection processing (step S1), and requests information about the content from the content providing server 2 (step S2).
  • the information about the content includes, for example, the meta information of the content.
  • the content management server 3 uses, for example, a search engine or the like to visit the network N in response to a request from the content providing server 2 or periodically to request information about the content.
  • the content providing server 2 When the content providing server 2 receives this request, it performs an information providing process (step S3) and provides information about the content to the content management server 3 (step S4).
  • Information about the content provided by the content providing server 2 is stored in the database of the content management server 3, for example, and the content management server 3 is in a state where the content can be searched.
  • step S5 when the user terminal 4 performs the search word designation acceptance process (step S5) and the search word is designated by the user (for example, input by the input device), the designated search word is sent to the content management server 3. Provided (step S6).
  • the content management server 3 performs a content search process using this search word and the information related to the above-mentioned content (step S7), and further performs a content evaluation process for evaluating the content of the search result (step S8).
  • the content search result and evaluation result are provided to the user terminal 4 (step S9).
  • the user terminal 4 outputs the evaluation result together with the content search result by displaying the evaluation result on a display, for example, by the first evaluation information output process (step S10).
  • the user terminal 4 performs a content selection acceptance process (step S11), and when the content is selected by the user, requests the content providing server 2 for the selected content (step S12).
  • the content management server 3 is requested to evaluate the selected content (step S13).
  • the content providing server 2 performs a content providing process when a content is requested from the user terminal 4 (step S14), and provides the requested content to the user terminal 4 (step S15).
  • the content management server 3 when the content management server 3 receives a content evaluation request from the user terminal 4, the content management server 3 performs a content evaluation process for evaluating the requested content (step S16) in the same manner as in step S8 described above, and the evaluation result is obtained. Is provided to the user terminal 4 (step S17).
  • the user terminal 4 that receives the content provided from the content providing server 2 and the content evaluation result from the content management server 3 displays the content and the evaluation result on a display, for example, by the second evaluation information output process. Output by (step S18).
  • the user terminal 4 outputs the evaluation result only in any one of the content search and the use of the content (for example, the use of the direct selection of the content by the URL (Uniform Resource Locator)). May be.
  • the content management server 3 clarifies the information source of the content and identifies the supporting material.
  • the content to be evaluated is content (tertiary content) including tertiary information (3rd Class information).
  • Tertiary content includes, for example, content originating from self-proclaimed Experts, advertisers, bloggers, consumers, etc., and Wikipedia: WIKIPEDIA (registered trademark).
  • the contents of online encyclopedias such as. That is, the tertiary content refers to web content such as general web pages (including SNS).
  • the type of content is not limited to documents (including figures, graphs, etc.), but may be images (including video), audio, and the like.
  • the tertiary content is stored in, for example, the database of the content providing server 2 described above.
  • the content management server 3 classifies the content, for example, when specifying the basis material of the content.
  • the classification items are predetermined items such as "IT security” and “machine learning”.
  • the evidence material is extracted based on the primary and secondary information (1st and 2nd Class information) corresponding to the classification item.
  • Primary and secondary information means, for example, relatively reliable predetermined information provided by academics, institutes, and the like.
  • the primary information is physical (Real Documents), but in this era, there are web contents that can be primary information, and the boundaries are ambiguous. Therefore, in order to draw a clear line, the primary information is, for example, information provided by an independent public research institute that has no interest in religion, politics, economy, etc. (including web content). It may be limited to. For example, primary information includes highly credible digital contents, information provided by research institutes, libraries, museums, publishers, and the like.
  • the content management server 3 attempts to extract the evidence material from the primary information, and if the evidence material cannot be extracted, extracts the evidence material from the secondary information.
  • Secondary information is placed under strict legal provisions that can be extracted from authors and materials that are relatively credible on expert network sites such as ResearchGate (ReSEARCHGATE®) and the web. Information provided by the organization or social manager. Web contents are also included in this secondary information.
  • the content management server 3 has meta information such as NE extraction and meta tags of both the tertiary information of the content to be evaluated and the primary and secondary information for extracting the supporting material. Is used to calculate the degree of similarity to each other. Then, the content management server 3 creates a citation graph / edit graph based on the calculated similarity, and identifies the information source of the content and related materials in consideration of the relationship on the time axis.
  • the citation graph (as well as the edit graph) represents, for example, the time when the content was created on one of the two axes orthogonal to each other, and the classification to which the content belongs on the other, and the range to which each content corresponds is displayed on the graph. Arrange and create the figure to be represented. By creating a citation graph and an edit graph, it becomes possible to grasp the creation time and classification of each content.
  • the information source of the content and the related material are not limited to this, and may be specified by another method.
  • the content management server 3 is, for example, when related materials are included in primary and secondary materials (materials containing primary and secondary information), the primary and secondary materials thereof. If the relevant material is specified as the supporting material and is not included, the supporting material shall not be extracted.
  • the content management server 3 obtains the reliability of the content to be evaluated.
  • the content management server 3 has, for example, meta information (for example, the number of citations, logically inconsistent) between the content to be evaluated and the primary and secondary contents (web contents of the primary and secondary materials). While referring to the logical consistency score indicating the level of the absence, author attributes, reputation of the presenting institution, presence / absence of experimental information, similarity, traceability from the origin on the time axis of information, universal validity, etc.) Calculate the reliability.
  • the content management server 3 may include, for example, meta-information on the tertiary content to be evaluated and meta-information on the primary and secondary content (eg, an individual regarding a source).
  • the reliability of the content is calculated using the corporate profile and the information content analysis profile) and the user's pre-credit setting (individual setting) to evaluate the content. In this way, the originator of the information and the accuracy of the information are taken into consideration in the calculation of the reliability of the content.
  • the meta information (including the profile) of the primary and secondary contents is stored in advance in the database of the content management server 3, for example.
  • the personal / corporate profile regarding the source includes, for example, information indicating occupation (Profession), activity purpose (Objective), organizational form (Classification), specialty (Expertise), and reputation (Reputation).
  • Information content analysis profiles that represent the reliability of information content include, for example, information trustability, scientific-ness, creative-ness, accuracy-ness, and universality (universality). It contains information that represents Universality).
  • the user's pre-credit setting is the setting of the reliability index specialized for each user, for example, the source credit list, the source suspicion list, and the analysis target setting (for example, the content in the IT field is analyzed). It contains information that represents.
  • the user's pre-credit setting is, for example, set by each user independently in advance using the user terminal 4 or the like, and is stored in the storage device of the user terminal 4 or the database of the content management server 3.
  • the content management server 3 does not simply obtain the user's interest index, but evaluates the degree of matching with the user's subjective reliability, general credibility, and objective validity. Specifically, the content management server 3 generates a content profile (ContentProfile) as content evaluation information.
  • This content profile includes, for example, a list of supporting materials as information representing supporting materials, self-matching degree, general credibility, and information representing a TSCAU index.
  • the basis material list represents, for example, a list of the basis materials of the above-mentioned contents.
  • the self-matching degree represents, for example, the reliability of the content (subjective matching degree for the user) including the subjective credibility of each user, and the general credibility is based on, for example, supporting materials. It represents the objective reliability of content (general public credit index trusted by the general public).
  • the TSCAU index represents each of the five levels of credibility, scientificity, originality, accuracy, and universality of the content to be evaluated as a numerical value (for example, a numerical value from 0 to 1). For example, the accuracy of the tertiary content is evaluated based on the credibility of the information source / sender and the degree of relevance of the primary information to the meta information.
  • the content management server 3 sets the attributes of the content to be evaluated while referring to the extracted primary information and the corresponding secondary information when the primary information is not extracted. Judgment of reliability, that is, judgment of the sender's identity, expertise, credibility, etc. of tertiary information, and content basis material, accuracy, scientificity, universality, originality, self-matching degree, general Judgment such as credibility is made. Then, a content profile based on the determination result is generated as an evaluation result, provided to the user terminal 4, and output by using, for example, the browser function of the user terminal 4.
  • the content management server 3 has a multifaceted rating of information such as a citation graph, an edit graph, and other information flow graphs on a time axis within a specified range, and TSCAU, as well as the accuracy of the sender's identity and information source.
  • the reliability can be obtained in consideration of the above, and the user terminal 4 can output the reliability.
  • FIG. 4 shows a specific example of the content evaluation method.
  • the content management server 3 uses information on primary and secondary materials such as books, papers, and research and research materials, and personally set information indicating the subjective reliability of the user.
  • the personal setting information is the information set by the user's prior credit setting described above.
  • the content management server 3 collects vocabulary for each domain (field) of the contents of the primary and secondary materials from the content providing server 2. Further, the content management server 3 collects the structured knowledge when the information of the primary and secondary materials is structured and stored in the database.
  • the content management server 3 then performs content analysis and extraction of meta information using the collected vocabulary and structured knowledge. Then, the content management server 3 specifies author information / citation information, logical consistency index, domain tag, quantitative information in the material, and the like. Then, the content management server 3 uses the identified information to make primary and secondary materials (including general books) into a credit list and a suspicious list (for example, a numerical value of the credit list: 0 ⁇ credibility ⁇ ). It is divided into 0.5 and the numerical value of the suspicion list: 0.5 ⁇ credibility ⁇ 1.0) and stored in the database. At this time, for example, the distribution is determined based on accuracy, scientificity, universality, and the like. The accuracy is calculated based on, for example, peer-reviewed information. Scientificity is determined, for example, by the presence or absence of experimental results. Universality is determined, for example, by the number of citations, field dependence, and the like.
  • the personal setting includes the source credit list, the source suspicion list, and the like as setting items.
  • This list is a custom list, and each contains items for determining the credibility of, for example, URL / DOI (Digital Object Identifier), author name, book, ISBN (International Standard Book Number), research institution, etc. I'm out.
  • the evaluation of the content is performed as follows, for example.
  • Content evaluation first estimates the domain of the content to be evaluated.
  • the author of the content to be evaluated is determined and meta information is extracted.
  • the pre-selection of the supporting material is performed using this information and the information of the primary and secondary materials stored in the database or the like.
  • originality 1.0 (numerical range: 0 to 1)
  • the similarity between the content to be evaluated and the evidence is calculated.
  • the originality is also calculated by, for example, "1.0-similarity (numerical range: 0 to 1)".
  • an evaluation list of the evidence material having a predetermined threshold value or more (for example, a list of the similarity between the evidence material and the evidence material) is generated.
  • the evidence material and the evaluation list are sent to the user terminal 4, and the user terminal 4 displays the evidence material and the evaluation list as a credit evaluation of the browsing page by the browser function.
  • the content management server 3 extracts from the meta information about the above-mentioned primary and secondary materials what is common to the meta information (source meta information) of the content to be evaluated, and uses it as the source metadata.
  • the TSCAU index of the content to be evaluated is calculated using the source metadata, the above-mentioned author determination result, the meta information of the content, the supporting material, the evaluation list, and the like.
  • the calculation of credibility takes into consideration the author's specialty / activity purpose, content science, accuracy, and the like.
  • the calculated TSCAU index is sent to the user terminal 4, and the user terminal 4 displays the TSCAU index, that is, accuracy, credibility, scientificity, universality, and originality as the credit evaluation of the browsed page by the browser function. do.
  • accuracy 0.7
  • credibility 0.1
  • scientificity 0.5
  • universality 0.3
  • originality 0.2
  • numbererical range 0 to 1
  • the calculation of credibility ratings is, for example, if there is a user or expert credibility rating for a dataset consisting of actual content (eg, a web page), with arbitrary rules as standard. It can be determined by machine learning by appropriately combining the credibility of business entities, authors, supporting materials, etc.
  • the materials will be sorted by referring to the personal settings. Whether the supporting material is a credit material set in the personal settings (material included in the customized credit list), a suspicious material (material included in the customized suspicious list), or other materials. Is determined.
  • the subjective / objective degree of matching is calculated by a predetermined algorithm, the self-matching degree including the user's subjectivity is calculated, and the calculated self-matching degree is sent to the user terminal 4.
  • the user terminal 4 displays the degree of self-matching as a credit evaluation of the browsing page by the browser function.
  • general credibility is calculated.
  • the calculated general credibility is sent to the user terminal 4, and the user terminal 4 displays the general credibility as a credit evaluation of the browsing page by the browser function.
  • the degree of self-matching is 0.3 and the general credibility is 0.6 (numerical range: 0 to 1).
  • the content management server 3 generates the basis material and the evaluation list, the TSCAU index, the self-matching degree and the general credibility information as the evaluation result of the content, and provides the information to the user terminal 4.
  • the user terminal 4 displays (outputs) the evaluation result by the browser function.
  • FIG. 5 is a diagram for explaining an evaluation example of the content.
  • FIG. 6 shows an example of information of the content to be evaluated (in this example, a web page).
  • the web page shown in FIG. 6 is a virtual one for explanation (https://www. ⁇ .com/ ⁇ -top100-wst-pw2020/). The same applies to the web pages appearing in the following explanations.
  • the content management server 3 When evaluating a browsing page, the content management server 3 first extracts meta information about the browsing page, and identifies evaluation information such as domain, applicable time, author, information source, and quantitative information from the extracted meta information. do.
  • the domain is specified, for example, by making a determination by a keyword.
  • the relevant time is specified by extracting the time such as, for example, the date.
  • Authors and sources of information are identified using, for example, Natural Language Processing (NLP) and references to known legal entity / individual lists such as the individual legal entity profile described above.
  • Quantitative information is specified using, for example, natural language processing and extraction of numerical information.
  • the domain is specified as "IT Security” because the keyword “Passwords” is included in the heading in the page.
  • the relevant time is specified as “2020” from the page contents.
  • the author is identified as “JOHN SMITH belonging to ⁇ ”
  • the information source is " ⁇ ”is specified.
  • the numerical information in the page is extracted, and the quantitative information is specified as "evaluating more than 5 million passwords”.
  • the content management server 3 identifies the peculiarity of the browsed page from this evaluation information.
  • the specificity is 1.0 (numerical range: 0 to 1).
  • the content management server 3 determines the scientificity from the quantitative information. More specifically, the content management server 3 analyzes the content (in this case, the web page being browsed) to determine the presence or absence of quantitative information, the presence or absence of statistical survey data, etc., and the content is determined according to the judgment result. Evaluate the degree of science. For example, in the illustrated example, the scientific value is determined to be 1.0 as having a statistical advantage from the quantitative information.
  • the content management server 3 determines the credibility of the identified author and the information source, respectively.
  • John Smith For the credibility of the author, John Smith: # 3845, ⁇ : # 32 (# ... is an identification number) is registered as related information in the above-mentioned personal / corporate profile database (Parson / OrgDB).
  • the credibility of John Smith is 0.1, as it is a common person / organization name with unknown attributes.
  • the credibility of the information source is as follows: ⁇ : .com (business entity: BusinessEntity) is registered in the database of personal / corporate profile, and the credibility is 0.7, assuming that it is a surviving network-related company. It has become.
  • FIG. 7 shows an example of personal / corporate profile information.
  • the personal / corporate profile information includes, for example, information for credibility such as the career and history of an individual / organization (including a corporation).
  • the content management server 3 extracts, for example, attribute information of an individual / organization (for example, history, person in charge, specialized field, activity purpose, organizational form, etc.) based on the information for achieving credibility.
  • the information shown in FIG. 7 is related to ⁇ , and from this information etc., as attribute information of ⁇ , history: 10 years or more, responsible person: CEO (Chief Executive Officer), CPO (Chief Product Officer) ), Engineering Director, Specialty: Security applications, Activity purpose: Sales improvement (1 million customers), Organizational form: Small network-related companies, etc.
  • the content management server 3 determines the credibility of the individual / organization based on the extracted attribute information, and stores the determined credibility in the database of the individual / corporate profile in association with the individual / organization, for example. is doing.
  • ⁇ is stored as credibility: 0.7.
  • the content management server 3 determines the credibility of the browsing page based on, for example, the credibility of the author, the credibility of the information source, and the scientific nature.
  • the credibility: 0.1 is obtained by calculating the minimum values of the author's credibility, the credibility of the source, and the scientificity by the function MIN.
  • the content management server 3 searches for related materials on the browsing page based on evaluation information (particularly, information source, author, domain), and from the primary and secondary materials stored in the database. Identify the underlying material for the browsing page. Then, the degree of similarity between the identified supporting material and the browsed page is determined, and the originality is obtained from the obtained degree of similarity. In the illustrated example, the similarity is determined to be 0.1 and the originality is determined to be 0.9.
  • the universality of the browsed page is obtained by referring to the supporting material, and the general credibility of the browsed page is determined based on the obtained universality. In the illustrated example, universality: 0.0 and general credibility: 0.0 are determined.
  • the content management server 3 calculates the degree of self-matching based on the information of the item corresponding to the content of the browsing page with reference to the personal setting.
  • the function AVG is used to calculate the average value of the corresponding items (John Smith: 0.3 included in the skepticism list, ⁇ : 0.7 included in the credit list), and the degree of self-matching: I'm looking for 0.5.
  • the fields of the personal setting items referred to are "IT" and "safety", which are common to the domain of the browsing page.
  • ⁇ is not set in the personal credit list or suspicion list, and the creditworthiness is ⁇ : 0.4 (initial value of the database).
  • the content management server 3 determines the accuracy by referring to the information of the item corresponding to the content of the browsing page, the credibility, and the general credibility by referring to the personal setting.
  • the function MIN is used to calculate the minimum value of the corresponding item in the personal settings. Then, the minimum value: 0.3, the credibility: 0.1, and the maximum value of the general credibility: 0.0 are calculated by the function MAX to obtain the accuracy: 0.3.
  • the content management server 3 estimates the self-matching degree and accuracy of the browsing page from the "credibility" of the source based on the explicit personal settings (credit list / suspicion list) of the user. There is.
  • the content management server 3 provides the user terminal 4 with the information about the supporting material, the TSCAU index, the self-matching degree, the general credibility, etc. obtained as described above as the evaluation result of the browsing page.
  • FIG. 8 is a diagram for explaining an evaluation example of other contents. Note that FIG. 8 shows an evaluation example of a web page (https:// ⁇ .net/news/wst-pw2020/).
  • the domain is specified as "IT Security” because the heading in the page contains a keyword related to security called "worst password”.
  • the relevant time is specified as "2020” from the page contents.
  • the information source is specified as "www. ⁇ .com / *** /. The author is unknown, and there is no evidence information as quantitative information. It is supposed to be.
  • the content management server 3 provides the user terminal 4 with the information about the supporting material, the TSCAU index, the self-matching degree, the general credibility, etc. obtained as described above as the evaluation result of the browsing page.
  • FIG. 9 is a diagram for explaining an evaluation example of other contents.
  • FIG. 9 shows an evaluation example of a web page (https:// ⁇ .jp/post-2006/).
  • the domain is specified as "IT Security” because the keyword “worst password” is included in the heading in the page (not shown).
  • the relevant time is specified as “2020” from the page contents.
  • the author is identified as “Jacob Brown” from the page content.
  • the information source is specified as " ⁇ ” from the description that " ⁇ has announced " on the page.
  • quantitative information there is a description on the page that "If you are using a password included in the top 100, you should change it immediately” and "5 million passwords have leaked to the Internet”. It cannot be used as evidence information. This is because it is quantitative, but statistical surveys are not mentioned.
  • the content management server 3 provides the user terminal 4 with the information about the supporting material, the TSCAU index, the self-matching degree, the general credibility, etc. obtained as described above as the evaluation result of the browsing page.
  • the user terminal 4 receiving the evaluation result outputs the evaluation result of the browsing page.
  • FIG. 10 and 11 are diagrams for explaining an example of the mounting procedure.
  • the program that performs the content evaluation process described above is implemented as an add-on function in the browser, for example. Thereby, for example, when searching for a desired document and displaying the search result, or when displaying the desired document, the user can browse the evaluation result according to the information reliability.
  • the evaluation information of the content regarding the content of the search result is displayed.
  • the user searches for the content, the user can refer to the evaluation information described above and perform an efficient search suitable for the user's purpose.
  • the evaluation result of the content is displayed. This makes it possible to present the user with a rating of the content.
  • the method of adding an extended function is not limited to this. For example, you may add it by another procedure provided in the browser. Further, this information reliability presentation function is not limited to the addition of the extension function, and may be incorporated as a standard function in the software program of the browser.
  • FIG. 12 is a diagram showing an example of displaying the evaluation result by the browser. As shown in the figure, for example, if you enter "worst password" as the search word and execute a search, four types of evaluation items (list of evidence materials, self-matching degree, general credit degree and TSCAU index) will be displayed along with the content of the search result. The evaluation information to have is displayed.
  • the content evaluation information is displayed by sorting the content list of the search results based on the size of the evaluation level of the evaluation item selected by the user.
  • the search results are displayed in descending order of the degree of matching by the sort setting that can be appropriately set by the user.
  • the content evaluation information may be sorted and displayed in descending order of general credit rating. In addition, these values may be sorted in ascending order. Further, it may be possible to display in a complex manner, such as displaying items having a high degree of scientificity and self-matching (for example, items having a threshold value or higher). Further, the display / non-display setting for each item of the evaluation result may be changed, or the display location, size, expression, etc. of each item of the evaluation result may be customized. .. As described above, the output form of the evaluation result is not limited to the illustrated one. By adopting such a display mode, the user's search efficiency can be improved.
  • the content providing server 2, the content management server 3, and the user terminal 4 each have an input unit 11, a storage unit 12, a communication unit 13, an output unit 14, and an information processing unit 15 as functional blocks, respectively.
  • the input unit 11, the storage unit 12, the communication unit 13, the output unit 14, and the information processing unit 15 are interconnected via, for example, an interface or a bus.
  • the input unit 11 is composed of, for example, various switches, a keyboard, a touch panel, a mouse, a microphone, and the like, and has a function of inputting various information by user operation or the like.
  • the storage unit 12 is composed of, for example, a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a hard disk drive (HDD: HardDiskDrive), a solid state drive (SSD: SolidStateDrive), or the like. It has a function to store various information.
  • the storage unit 12 may be composed of removable removable media such as a USB memory, a memory card, and an optical disk.
  • the content providing server 2 and the content management server 3 have various databases as the storage unit 12.
  • the communication unit 13 has a communication function of connecting to the network N (see FIG. 1) and communicating with other devices on the network N.
  • the connection to the network N may be wired or wireless.
  • Examples of wireless communication include wireless LAN (Local Area Network) such as Wi-Fi (Wireless Fidelity), 4G (4th generation mobile communication system), Bluetooth (registered trademark) and the like.
  • the output unit 14 is composed of, for example, a display, a speaker, or the like, and has a function of outputting various information.
  • the information processing unit 15 is composed of, for example, a processor such as a CPU (Central Processing Unit), and has a function of executing various processes (for example, processes related to the above-mentioned content evaluation) according to a program stored in the storage unit 12. have.
  • the program is not limited to the one stored in the storage unit 12 in advance, and may be provided via a network (for example, network N). It may also be partially executed by other devices via the network.
  • the function of the information processing unit 15 is not only realized by a program, but may also be realized by combining a dedicated device, a circuit, or the like by hardware having the function.
  • the information processing apparatus according to the present disclosure includes at least an information processing unit 15 that executes processing related to content evaluation.
  • each functional block is not limited to being integrally configured, and a part or all of them may have a separate structure.
  • the connection between the devices may be wired or wireless.
  • wireless connection for example, the above-mentioned wireless communication can be used. That is, the units constituting each functional block may be connected via a network.
  • the program (information processing program) according to the present embodiment identifies the basis material of the content by using the information related to the content such as the meta information of the content, and the meta information of the specified basis material and the like.
  • the information processing unit 15 of the content management server 3 is made to execute the content evaluation process for generating the evaluation information of the content by using the information about the basis material and the information about the content.
  • the program (information processing program) identifies the basis material of the content by using the information about the content, and the content generated by using the information about the specified basis material and the information about the content.
  • the evaluation information output process for outputting the evaluation information of the above is executed by the information processing unit 15 of the user terminal 4.
  • the present invention is not limited to this, and the information is evaluated using the network such as the content on the closed network in the predetermined area. It should be.
  • the calculation method of the credibility evaluation value such as self-matching degree, general credibility, and TSCAU index has been specifically described, but the calculation method is not limited to the above-mentioned one.
  • the above-mentioned various information, attributes, calculation algorithms, and the like may be appropriately changed and obtained.
  • the present disclosure may also have the following structure.
  • Processing program. (2) The information processing program according to (1), which generates the evaluation information by further using the information representing the user's subjective reliability that can be set for each user.
  • the information processing program according to any one of (1) to (7), wherein the information regarding the supporting material is information indicating the reliability of the information content of the supporting material.
  • the information regarding the content includes at least one of information representing the field of the content, information representing the relevant time, information representing the author, information representing the information source, and quantitative information (1) to (9).
  • Information processing program described in any. (11) The information processing program according to any one of (1) to (10), wherein the information regarding the content includes information regarding the source of the content.
  • An evaluation information output process that identifies the basis material of the content using the information about the content and outputs the evaluation information of the content generated by using the specified information about the basis material and the information about the content is performed on the computer.
  • the content evaluation information has a plurality of evaluation items, and the content list of the search results is sorted and displayed based on the magnitude of the evaluation level of the evaluation items selected by the user (15).
  • An information processing unit that identifies the basis material of the content using the information related to the content, and performs the content evaluation process to generate the evaluation information of the content using the identified information related to the basis material and the information related to the content.
  • Information processing device to have.
  • the information processing unit identifies the basis material of the content by using the information about the content, and performs the content evaluation process to generate the evaluation information of the content by using the identified information about the basis material and the information about the content. Information processing method to be performed.

Abstract

例えば、適正なコンテンツ評価を行う。　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理をコンピュータに実行させる情報処理プログラムである。

Description

情報処理プログラム、情報処理装置および情報処理方法
　本開示は、情報処理プログラム、情報処理装置および情報処理方法に関する。
　現在、ＳＮＳ（Social Networking Service）の利用者の増加などにより、インターネットなどのネットワーク上に膨大な量のコンテンツが適当に提供されている。例えば、下記の特許文献１には、このようなコンテンツからユーザに適した情報を推薦する情報推薦方法について開示されている。なお、特許文献１では、「ユーザの興味」または「ユーザの行動」に基づいてユーザに推薦すべき情報のリストを生成している。
特開２０１３－２０６４０７号公報
　しかしながら、上述した従来の技術は、ユーザが所望すると考えられる情報を推薦するものであり、コンテンツの評価を信頼度の面などから適正に行っているとは言い難い。
　本開示は、適正なコンテンツ評価を行うことができる情報処理プログラム、情報処理装置および情報処理方法を提案することを目的の一つとする。
　本開示は、例えば、
　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理
　をコンピュータに実行させる情報処理プログラムである。
　本開示は、例えば、
　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて生成された前記コンテンツの評価情報を出力する評価情報出力処理
　をコンピュータに実行させる情報処理プログラムである。
　本開示は、例えば、
　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理を行う情報処理部を有する
　情報処理装置である。
　本開示は、例えば、
　情報処理部が、コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理を行う
　情報処理方法である。
図１は、実施の形態に係る情報処理システムの構成例を示す図である。 図２は、情報処理システムを構成する各装置間で行われる処理の流れの一例を示すシーケンス図である。 図３は、コンテンツ評価の概要について説明するための図である。 図４は、コンテンツの評価手法の具体例を示す図である。 図５は、コンテンツの評価例について説明するための図である。 図６は、評価を行うコンテンツの情報例を示す図である。 図７は、個人・法人プロファイルの情報例を示す図である。 図８は、他のコンテンツの評価例について説明するための図である。 図９は、さらに他のコンテンツの評価例について説明するための図である。 図１０は、プログラムを実装する第１の手順を説明するための図である。 図１１は、プログラムを実装する第２の手順を説明するための図である。 図１２は、ウェブブラウザによる評価結果の表示例を示す図である。 図１３は、コンテンツ提供サーバ、コンテンツ管理サーバおよびユーザ端末のハードウェアの構成例を示す図である。
　以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．背景＞
＜２．実施の形態＞
＜３．変形例＞
　以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
＜１．背景＞
　始めに、本開示の理解を容易とするために、本開示の背景について説明する。情報爆発が起きた現在、信頼性に欠くコンテンツが溢れている。例えば、コンテンツの発信者の身分、コンテンツの伝達経路、コンテンツの正確性やコンテンツの該当分野における妥当性などが明確になっていないものも多く存在する。また、例えば、著作権（Copyright）による保護が信頼性向上の妨げとなっていることもある。さらには、例えば、杜撰な記述、商売や売り上げの向上を目的にした広告、読者の単なる意見、政治的な目的のあるコンテンツ、科学的な根拠のない主張、偽った実験結果、形而上学的にも妥当性のない情報など、真実が不明な情報が蔓延っている。これらによって、我々個々の世界と社会とがカオス状態に陥っている。
　このような状況において、コンテンツの「信頼度」は、例えば、閲覧者数、お気に入りの獲得票数を表すライク（Like）数、その他の主観的評価（例えば、評価を表す星数、顔文字（Emoticon））などでランキングされているのが現状である。つまり、コンテンツの正当性や信頼性が民主主義の原理のみによって格付けされている。
　インターネットなどのネットワーク関連企業は、収入を得るために広告や課金などを利用している。そして、多くの場合、インプレッション数、クリック数などが多ければ多いほど収入が増加する仕組みとなっている。そのため、情報の主観や客観的な格付けの高さよりも情報が売れるか否かを重視しており、ビジネスモデルが民主主義の原理のみに基づいており、絶対的な品質を追求する動機がない。
　利用（例えば、閲覧）コンテンツに関してメタ情報が適確に設定されていればよいが、実際には、そのように設定されていない。ここでいうメタ情報は、例えば、情報発信者の専門性、経歴、社会的実績、職業、倫理観、評判、活動目的や、情報そのものの普遍性、正確性、科学性、独創性、追跡性、妥当性や、情報の時間軸における原点、履歴、伝達経路、改ざんなどである。また、他人による情報の格付けはあっても、自分に特化した信頼度指標がない。これらによって、情報の消費者は、ネットワーク上のコンテンツで戸惑うことになる。
　例えば、現状においては、リサーチゲート（ＲＥＳＥＡＲＣＨＧＡＴＥ（登録商標））などの、研究者のランク付けを行うウェブサイトは存在するが、ある一般的なウェブページの信頼性を判断するにあたって、信頼性の裏付けを裏のロジックで計算して表示するウェブブラウザ（以下、適宜ブラウザと称する）などは見当たらない。
　このようなことから、現状のやり方だけでは、コンテンツの評価が信頼度の面などから適正に行われているとは言い難い。そこで、以下に説明する実施の形態等では、コンテンツの評価を信頼度の面などから適正に行うことができる情報処理プログラム、情報処理装置および情報処理方法について提案する。
＜２．実施の形態＞
［２－１．情報処理システムの構成例］
　図１は、実施の形態に係る情報処理システム（情報処理システム１）の構成例を示している。情報処理システム１は、例えば、コンテンツ提供サーバ２、コンテンツ管理サーバ３およびユーザ端末４を有している。コンテンツ提供サーバ２、コンテンツ管理サーバ３およびユーザ端末４は、それぞれネットワークＮに接続されている。ネットワークＮは、例えば、インターネットである。なお、図示した例では、コンテンツ提供サーバ２、コンテンツ管理サーバ３およびユーザ端末４の各々を１台ずつ示しているが、これらは複数台あってもよい。
　コンテンツ提供サーバ２は、コンテンツ提供側の装置（例えば、ウェブサーバ）である。コンテンツ提供サーバ２には、様々なコンテンツ提供者によって種々のコンテンツが提供されている。コンテンツ管理サーバ３は、コンテンツの管理を担う装置であり、例えば、検索エンジンによるコンテンツ検索機能、評価アルゴリズムを用いたコンテンツ評価機能などを有している。また、コンテンツ管理サーバ３は、例えば、コンテンツ管理に必要な各種データベースを有している。ユーザ端末４は、コンテンツ利用者側の装置（例えば、ウェブクライアント）である。ユーザ端末４は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、携帯電話、テレビジョン装置、オーディオ・ビデオ再生機器、ゲーム機などであるが、具体的な製品形態は問わない。ユーザ端末４は、コンテンツ利用機能として、例えば、コンテンツ閲覧用のブラウザ機能などを有している。
　なお、情報処理システム１は、コンテンツ管理サーバ３の機能の一部または全部を他の装置に持たせたものであってもよい。例えば、上述したコンテンツ管理サーバ３のコンテンツ検索機能とコンテンツ評価機能とを別の装置で行う構成であってもよい。また、これらの機能の少なくとも何れか一方をコンテンツ提供サーバ２またはユーザ端末４に持たせてもよい。これにより、コンテンツ管理サーバ３の処理負荷を軽減またはコンテンツ管理サーバ３を省略することができる。
［２－２．情報処理システムにおける処理例］
　図２は、情報処理システム１を構成する各装置間で行われる処理の流れの一例を示すシーケンス図である。まず、情報処理システム１において、コンテンツ管理サーバ３が情報収集処理を行い（ステップＳ１）、コンテンツ提供サーバ２に対してコンテンツに関する情報を要求する（ステップＳ２）。コンテンツに関する情報は、例えば、コンテンツのメタ情報を含むものである。なお、コンテンツ管理サーバ３は、例えば、検索エンジンなどを用い、コンテンツ提供サーバ２からの要求に応じて、または定期的にネットワークＮを巡回してコンテンツに関する情報を要求する。
　コンテンツ提供サーバ２は、この要求を受け取った場合に情報提供処理を行い（ステップＳ３）、コンテンツに関する情報をコンテンツ管理サーバ３に提供する（ステップＳ４）。このコンテンツ提供サーバ２から提供されたコンテンツに関する情報は、例えば、コンテンツ管理サーバ３のデータベースに蓄積され、コンテンツ管理サーバ３がコンテンツを検索可能な状態となる。
　この状態において、ユーザ端末４が、検索ワード指定受付処理を行い（ステップＳ５）、ユーザによって検索ワードが指定（例えば、入力装置により入力）されると、指定された検索ワードがコンテンツ管理サーバ３に提供される（ステップＳ６）。コンテンツ管理サーバ３は、この検索ワードと、先ほどのコンテンツに関する情報とを用いてコンテンツの検索処理を行い（ステップＳ７）、さらに、検索結果のコンテンツを評価するコンテンツ評価処理を行う（ステップＳ８）。
　コンテンツの検索結果と評価結果は、ユーザ端末４に提供される（ステップＳ９）。ユーザ端末４は、第１の評価情報出力処理により、コンテンツの検索結果とともに評価結果を、例えば、ディスプレイに表示することで出力する（ステップＳ１０）。そして、ユーザ端末４は、コンテンツの選択受付処理を行い（ステップＳ１１）、ユーザによってコンテンツが選択されると、コンテンツ提供サーバ２に対して、選択されたコンテンツを要求する（ステップＳ１２）。また、それとともに、コンテンツ管理サーバ３に対して、選択されたコンテンツの評価を要求する（ステップＳ１３）。コンテンツ提供サーバ２は、ユーザ端末４からコンテンツの要求があった場合にコンテンツ提供処理を行い（ステップＳ１４）、ユーザ端末４に対して要求されたコンテンツを提供する（ステップＳ１５）。
　一方、コンテンツ管理サーバ３は、ユーザ端末４からコンテンツの評価要求があった場合に、上述したステップＳ８と同様に、要求のあったコンテンツを評価するコンテンツ評価処理を行い（ステップＳ１６）、評価結果をユーザ端末４に提供する（ステップＳ１７）。コンテンツ提供サーバ２からコンテンツの提供を受け、コンテンツ管理サーバ３からコンテンツの評価結果を受けたユーザ端末４は、第２の評価情報出力処理により、そのコンテンツおよび評価結果を、例えば、ディスプレイに表示することで出力する（ステップＳ１８）。
　これにより、ユーザは、コンテンツ検索およびコンテンツ利用の際にそのコンテンツの評価結果について知ることができる。なお、ユーザ端末４は、コンテンツの検索およびコンテンツの利用（例えば、ＵＲＬ（Uniform Resource Locator）によるコンテンツの直接的な選択の利用を含む）のうちの何れかの場合のみに評価結果を出力するものであってもよい。
［２－３．コンテンツ評価処理の概要］
　次に、図３を参照して、上述したコンテンツ評価処理の概要について説明する。なお、上述したコンテンツ検索処理に関しては、既知の手法を採用することができ、ここでは、詳細な説明を省略する。
　コンテンツ管理サーバ３は、コンテンツを評価するに際し、そのコンテンツの情報源を明らかにし、根拠資料の特定を行う。評価するコンテンツは、３次的な情報（3rd Class information）を含むもの（３次的なコンテンツ）である。３次的なコンテンツは、例えば、自称エキスパート（Self-proclaimed Experts）、広告主（Advertisers）、ブロガー（Bloggers）、消費者（Consumers）などを発信源とするコンテンツや、ウィキペディア：ＷＩＫＩＰＥＤＩＡ（登録商標）などのオンライン事典のコンテンツである。つまり、３次的なコンテンツは、一般的なウェブページ（ＳＮＳを含む）などのウェブコンテンツを指している。なお、コンテンツの種類は、文書（図、グラフなどを含む）に限らず、画像（映像を含む）、音声などであってもよい。３次的なコンテンツは、例えば、上述したコンテンツ提供サーバ２のデータベースなどに格納されている。
　コンテンツ管理サーバ３は、コンテンツの根拠資料の特定に際し、例えば、そのコンテンツを分類する。分類項目は、例えば、「ＩＴセキュリティ」、「機械学習」などといった所定のものである。そして、その分類項目に該当する１次的および２次的な情報（1st and 2nd Class information）に基づいて根拠資料を抽出する。１次的および２次的な情報は、例えば、学者（Academics）、研究所（Institutes）などが提供する比較的に信頼度の高い所定の情報を意味する。
　１次的な情報は、物理的なもの（Real Documents）であることが理想であるが、今の時代は、１次的な情報となり得るウェブコンテンツなどもあり、境界が曖昧である。そこで、境界線をはっきり引くために、１次的な情報は、例えば、宗教、政治、経済などとは利害関係のない独立した公の研究機関などが提供している情報（ウェブコンテンツを含む）に限定してもよい。例えば、１次的な情報として、信用度の高いデジタルコンテンツ、研究機関、図書館、博物館、出版社などが提供する情報などがあげられる。
　コンテンツ管理サーバ３は、１次的な情報から根拠資料の抽出を試みて、根拠資料が抽出できなければ２次的な情報から根拠資料を抽出する。２次的な情報は、例えば、リサーチゲート（ＲＥＳＥＡＲＣＨＧＡＴＥ（登録商標））などの専門家ネットワークサイトで比較的に信用性のある著者・資料と、ウェブなどから抽出できる法律規定の厳重に置かれている組織や社会的責任者が提供している情報などである。なお、この２次的な情報にもウェブコンテンツが含まれる。
　例えば、コンテンツ管理サーバ３は、図示するように、評価するコンテンツの３次的な情報と、根拠資料を抽出する１次的および２次的な情報との双方のＮＥ抽出、メタタグなどのメタ情報を用いて互いの類似度を計算する。そして、コンテンツ管理サーバ３は、計算した類似度に基づいて引用グラフ・編集グラフを作成し、時間軸における関係性も考慮してコンテンツの情報源および関連資料の特定などを行う。
　引用グラフ（編集グラフも同様）は、例えば、互いに直交する２本の軸のうちの一方でコンテンツ作成時期を表し、他方でコンテンツの属する分類を表し、グラフ上にそれぞれのコンテンツが該当する範囲を表象する図形を配置して作成する。引用グラフおよび編集グラフを作成することで、各コンテンツの作成時期および分類などを把握可能となる。なお、コンテンツの情報源および関連資料の特定は、これに限らず、他の手法によって行ってもよい。コンテンツ管理サーバ３は、例えば、関連資料が１次的および２次的な資料（１次的および２次的な情報を含む資料）に含まれている場合には、その１次的および２次的な資料を根拠資料と特定し、含まれていない場合には、根拠となる資料が抽出されないものとする。
　次に、コンテンツ管理サーバ３は、評価対象のコンテンツの信頼度を求める。コンテンツ管理サーバ３は、例えば、評価対象のコンテンツと、１次的および２次的なコンテンツ（１次的および２次的な資料のウェブコンテンツ）のメタ情報（例えば、引用数、論理的に矛盾がない状態のレベルを表す論理的整合性スコア、著者属性、発表機関の評判、実験情報の有無、類似度、情報の時間軸における原点からの追跡性、普遍妥当性など）などを参考にしながら信頼度を計算する。
　詳述すると、図示するように、コンテンツ管理サーバ３は、例えば、評価対象の３次的なコンテンツのメタ情報と、１次的および２次的なコンテンツのメタ情報（例えば、発信源に関する個人・法人プロファイルおよび情報内容分析プロファイル）と、ユーザの事前信用設定（個人設定）とを用いてコンテンツの信頼度を計算してコンテンツを評価する。このように、コンテンツの信頼度の計算には、情報の発信者や情報の正確性などが考慮される。１次的および２次的なコンテンツのメタ情報（プロファイルを含む）は、例えば、コンテンツ管理サーバ３のデータベースに予め格納されている。
　発信源に関する個人・法人プロファイルは、例えば、職業（Profession）、活動目的（Objective）、組織形態（Classification）、専門性（Expertise）、評判（Reputation）を表す情報を含むものである。情報内容の信頼度を表す情報内容分析プロファイルは、例えば、情報の信用性（Trustability）、科学性（Scientific-ness）、独創性（Creative-ness）、正確性（Accurate-ness）、普遍性（Universality）を表す情報を含むものである。
　ユーザの事前信用設定は、ユーザ毎に特化した信頼度指標の設定であり、例えば、発信元信用リスト、発信元懐疑リスト、分析対象設定（例えば、ＩＴ分野のコンテンツを分析対象とするなど）を表す情報を含むものである。このユーザの事前信用設定は、例えば、ユーザが各々、ユーザ端末４などを用いて予め独自に設定し、ユーザ端末４の記憶装置またはコンテンツ管理サーバ３のデータベースなどに格納されているものである。
　コンテンツ管理サーバ３は、ユーザの単なる興味指数を求めるのではなく、ユーザの主観的な信頼度との合致度、一般的な信用、客観的妥当性を評価する。具体的には、コンテンツ管理サーバ３は、コンテンツの評価情報として、コンテンツプロファイル（Content Profile）を生成する。このコンテンツプロファイルは、例えば、根拠資料を表す情報としての根拠資料リスト、自分合致度、一般的信用性、ＴＳＣＡＵ指標を表す情報を含むものである。
　根拠資料リストは、例えば、上述したコンテンツの根拠資料についてのリストを表すものである。自分合致度は、例えば、個々のユーザの主観的な信用性を加味したコンテンツの信頼度（ユーザにとっての主観的合致度）を表すものであり、一般的信用性は、例えば、根拠資料に基づくコンテンツの客観的な信頼度（一般大衆が信用する一般大衆信用指数）を表すものである。ＴＳＣＡＵ指標は、評価するコンテンツの信用性、科学性、独創性、正確性および普遍性の５つのレベルをそれぞれ数値（例えば、０から１までの数値）などで表したものである。例えば、３次的なコンテンツの正確性は、情報源・発信者の信用性、１次的な情報のメタ情報との関連度などに基づいて評価する。
　このように、コンテンツ管理サーバ３は、抽出された１次的な情報、１次的な情報が抽出されない場合には、それに相当する２次的な情報を参考にしながら、評価するコンテンツの属性と信頼度の判定、つまり３次的な情報の発信者の身分、専門性、信用性などの判定と、コンテンツの根拠資料、正確性、科学性、普遍性、独創性、自分合致度、一般的信用性などの判定を行う。そして、判定結果に基づくコンテンツプロファイルを評価結果として生成し、ユーザ端末４に提供し、例えば、ユーザ端末４が有するブラウザ機能を用いて出力されるようにする。
　コンテンツ管理サーバ３は、引用グラフ、編集グラフなどの、特定できた範囲での時間軸における情報フローグラフ、ＴＳＣＡＵなどの情報の多面的な格付けの他に、発信者の身分と情報源の正確性を考慮した上の信頼度を求めることができ、ユーザ端末４は、その信頼度を出力することができる。
　コンテンツを評価するに際し、漠然としてユーザが興味のある情報だけでなく、興味のある情報をさらに細かく個人的に信用している情報と、疑いを持っている情報の分類を想定した上で、できれば１次的な情報に属する情報源を信用できる情報として参考にしながら、３次的なコンテンツの多面的な信用指標を得るようにしている。これにより、疑わしい情報に関してユーザに警告して批判的思考を育てることができるようになる。
［２－４．コンテンツの評価手法］
　図４は、コンテンツの評価手法の具体例を示す。コンテンツ管理サーバ３は、コンテンツの評価に際し、書籍、論文、研究調査資料などの１次的および２次的な資料に関する情報と、ユーザの主観的信頼度を表す個人設定の情報とを用いる。個人設定の情報は、上述したユーザの事前信用設定により設定された情報である。
　１次的および２次的な資料に関する情報は、例えば、以下のように収集される。コンテンツ管理サーバ３は、コンテンツ提供サーバ２から１次的および２次的な資料のコンテンツについてドメイン（分野）別に語彙を収集する。また、コンテンツ管理サーバ３は、１次的および２次的な資料の情報を構造化してデータベースに格納したものがある場合には、その構造化知識を収集する。
　コンテンツ管理サーバ３は、次に、収集した語彙、構造化知識を用いて内容分析とメタ情報の抽出を行う。そして、コンテンツ管理サーバ３は、著者情報・引用情報、論理的整合性指数、ドメインタグ、資料内定量的情報などを特定する。そして、コンテンツ管理サーバ３は、特定したこれらの情報を用いて１次的および２次的な資料（一般書籍を含む）を信用リストと懐疑リスト（例えば、信用リストの数値：０≦信用性≦０．５、懐疑リストの数値：０．５＜信用性≦１．０）とに振り分けてデータベースに格納する。この際、例えば、正確性、科学性、普遍性などに基づいて振り分けの判定を行う。正確性は、例えば、査読情報などにより算出する。科学性は、例えば、実験結果の有無などで判定する。普遍性は、例えば、引用数・分野依存性などにより判定する。
　個人設定の情報は、例えば以下のように設定される。個人設定は、上述したように設定項目として発信元信用リストおよび発信元懐疑リストなどを含んでいる。このリストは、ともにカスタムリストであり、それぞれ、例えば、ＵＲＬ・ＤＯＩ（Digital Object Identifier）、著者名、書籍、ＩＳＢＮ（International Standard Book Number）、研究機関などの信用性を判定するための項目を含んでいる。
　そして、コンテンツの評価は、例えば、以下のようにして行われる。コンテンツの評価は、まず、評価するコンテンツのドメインを推定する。また、評価するコンテンツの著者の判定とメタ情報の抽出を行う。次に、これらの情報と、データベースなどに記憶されている１次的および２次的な資料の情報とを用いて根拠資料の事前選別を行う。ここで、例えば、根拠資料なしの場合（根拠資料が抽出できなかった場合）には、「独創性：1.0（数値範囲：０から１）」とされる。根拠資料があった場合には、評価するコンテンツと根拠資料との類似度が計算される。この際、独創性についても、例えば、「1.0－類似度（数値範囲：０から１）」で計算される。そして、所定の閾値以上の根拠資料の評価リスト（例えば、根拠資料と、根拠資料との類似度のリスト）を生成する。根拠資料と評価リストは、ユーザ端末４に送られ、ユーザ端末４は、ブラウザ機能により閲覧ページの信用評価として、根拠資料と評価リストを表示する。
　また、コンテンツ管理サーバ３は、上述した１次的および２次的な資料についてのメタ情報から、評価するコンテンツのメタ情報（発信源メタ情報）と共通するものを抽出し、発信源メタデータとして記憶する。そして、例えば、コンテンツ評価の際に、この発信源メタデータと、上述した著者判定の結果およびコンテンツのメタ情報と、根拠資料およびその評価リストなどを用いて評価するコンテンツのＴＳＣＡＵ指標を計算する。例えば、信用性の計算は、著者の専門性・活動目的、コンテンツの科学性、正確性などが考慮される。計算されたＴＳＣＡＵ指標は、ユーザ端末４に送られ、ユーザ端末４は、ブラウザ機能により閲覧ページの信用評価として、ＴＳＣＡＵ指標、つまり、正確性、信用性、科学性、普遍性、独創性を表示する。図示した例では、正確性：0.7、信用性：0.1、科学性：0.5、普遍性：0.3、独創性：0.2（数値範囲：０から１）となっている。これらのＴＳＣＡＵ指標などの信用性評価値の計算は、例えば、恣意的なルールは標準で、実際のコンテンツ（例えば、ウェブページ）からなるデータセットに関するユーザや専門家の信用性評価があれば、企業体、執筆者、根拠資料などの信用性を適宜組み合わせることで機械学習により決定することができる。
　なお、根拠資料については、個人設定を参照して資料の振り分けがなされる。根拠資料が個人設定に設定されている信用資料（カスタマイズされた信用リストに含まれる資料）であるか、疑惑資料（カスタマイズされた懐疑リストに含まれる資料）であるか、それ以外のその他の資料であるかが判定される。信用資料または疑惑資料の場合には、所定のアルゴリズムによる主観・客観合致度計算を行い、ユーザの主観性を含ませた自分合致度を計算し、計算した自分合致度は、ユーザ端末４に送られ、ユーザ端末４は、ブラウザ機能により閲覧ページの信用評価として、自分合致度を表示する。一方、その他の資料の場合には、一般信用性を計算する。計算した一般信用性は、ユーザ端末４に送られ、ユーザ端末４は、ブラウザ機能により閲覧ページの信用評価として、一般信用性を表示する。なお、図示した例では、自分合致度：0.3、一般信用性：0.6（数値範囲：０から１）となっている。
　このように、コンテンツ管理サーバ３は、コンテンツの評価結果として、根拠資料と評価リスト、ＴＳＣＡＵ指標、自分合致度および一般信用性の情報を生成し、ユーザ端末４に提供する。ユーザ端末４は、ブラウザ機能によってその評価結果を表示（出力）する。
［２－５．コンテンツの評価例１］
　図５は、コンテンツの評価例について説明するための図である。図６は、評価を行うコンテンツ（この例では、ウェブページ）の情報例を示している。なお、図６に示すウェブページは、説明用の仮想的なもの（https://www.●●●.com/▲▲▲-top100-wst-pw2020/）である。以下の説明において登場するウェブページについても同様である。
　閲覧ページの評価を行う場合、まず、コンテンツ管理サーバ３は、閲覧ページに関するメタ情報を抽出し、抽出したメタ情報から、ドメイン、該当時期、著者、情報源、定量情報などの評価用情報を特定する。ドメインは、例えば、キーワードによる判定を行うことで特定する。該当時期は、例えば、年月日などの時期を抽出することで特定する。著者および情報源は、それぞれ、例えば、自然言語処理（ＮＬＰ：Natural Language Processing）と、上述した個人・法人プロファイルなどの既知の法人・個人リストの参照とを利用して特定する。定量情報は、例えば、自然言語処理と、数値的情報の抽出とを利用して特定する。
　図６に示す情報例では、例えば、ページ内の見出しに「Passwords」というキーワードが含まれることからドメインを「ＩＴセキュリティ（IT Security）」と特定している。また、ページ内容から該当時期を「２０２０年」と特定している。また、ページ内の「by JHON SMITH」という情報から、著者を「■■■に所属するJOHN SMITH」であると特定し、ページ内の「according to ▲▲▲」という記述から、情報源を「▲▲▲」であると特定している。さらに、ページ内の数値的情報を抽出して、定量情報を「evaluating more than 5 million passwords」であると特定している。
　そして、コンテンツ管理サーバ３は、この評価用情報から閲覧ページに関する特異性を特定する。図示した例では、特異性：1.0（数値範囲：０から１）となっている。
　また、コンテンツ管理サーバ３は、定量情報から科学性を決定する。詳述すると、コンテンツ管理サーバ３は、コンテンツ（この場合は閲覧しているウェブページ）を解析して定量情報の有無、統計的な調査データの有無などを判定し、判定結果に応じてコンテンツの科学性の度合いを評価する。例えば、図示した例では、定量情報から統計的優位性があるものとして、科学性：1.0と決定している。
　また、コンテンツ管理サーバ３は、特定した著者と情報源の信用性をそれぞれ決定する。例えば、著者の信用性は、上述した個人・法人プロファイルのデータベース（Parson/Org DB）に関連情報としてJohn Smith：#3845、■■■：#32（#…は、識別番号）が登録されており、John Smithは、属性不明で、よくある人物・組織名であるとして、信用性：0.1なっている。例えば、情報源の信用性は、個人・法人プロファイルのデータベースに▲▲▲：.com（事業体：Business Entity）が登録されており、存続しているネットワーク関連企業であるとして、信用性：0.7となっている。
　図７は、個人・法人プロファイルの情報例を示す。個人・法人プロファイルの情報は、例えば、個人・組織（法人を含む）の経歴、沿革などの信用性を図るための情報を含むものである。コンテンツ管理サーバ３は、例えば、この信用性を図るための情報などに基づいて、個人・組織の属性情報（例えば、履歴、責任者、専門分野、活動目的、組織形態など）を抽出する。例えば、図７に示す情報は、▲▲▲に関するものであり、この情報などから▲▲▲の属性情報として、履歴：１０年間以上、責任者：ＣＥＯ（Chief Executive Officer）、ＣＰＯ（Chief Product Officer）、エンジニアリングディレクター（Director, Engineering）、専門分野：セキュリティアプリケーション、活動目的：売上向上（顧客数１００万人）、組織形態：小さいネットワーク関連企業などを抽出する。そして、コンテンツ管理サーバ３は、この抽出した属性情報に基づいて個人・組織の信用性を決定し、その決定した信用性を、例えば、その個人・組織と関連付けて個人・法人プロファイルのデータベースに格納している。図示した例では、▲▲▲は、信用性：0.7として格納されている。
　そして、コンテンツ管理サーバ３は、例えば、著者の信用性、情報源の信用性および科学性などに基づいて閲覧ページの信用性を決定する。図示した例では、関数ＭＩＮにより、著者の信用性、情報源の信用性および科学性の最小値を計算することで信用性：0.1を求めている。
　また、コンテンツ管理サーバ３は、評価用情報（特に、情報源、著者、ドメイン）をもとに閲覧ページの関連資料を検索し、データベースに格納されている１次的および２次的な資料から閲覧ページの根拠資料を特定する。そして、特定した根拠資料と閲覧ページとの類似度を決定し、得られた類似度から独創性を求める。図示した例では、類似度：0.1、独創性：0.9と決定している。また、根拠資料を参照して閲覧ページの普遍性を求め、求めた普遍性を受けて閲覧ページの一般信用性を決定する。図示した例では、普遍性：0.0、一般信用性：0.0と決定している。
　さらに、コンテンツ管理サーバ３は、個人設定を参照して閲覧ページの内容に該当する項目の情報に基づいて自分合致度を計算する。図示した例では、関数ＡＶＧにより、該当する項目（この例では、懐疑リストに含まれるJohn Smith：0.3、信用リストに含まれる▲▲▲：0.7）の平均値を計算することで自分合致度：0.5を求めている。なお、参照した個人設定の項目の分野は、「ＩＴ」、「安全」であり、閲覧ページのドメインと共通する。一方、■■■については、個人設定の信用リスト、懐疑リストには設定されておらず、信用性は、■■■：0.4（データベース初期値）となっている。
　さらに、コンテンツ管理サーバ３は、個人設定を参照して閲覧ページの内容に該当する項目の情報と、信用性と、一般信用性とを参照して正確性を決定する。図示した例では、関数ＭＩＮにより、個人設定の該当する項目の最小値を計算する。そして、関数ＭＡＸにより、その最小値：0.3と、信用性：0.1と、一般信用性：0.0の最大値を計算して正確性：0.3を求めている。
　このように、コンテンツ管理サーバ３は、明示的なユーザの個人設定（信用リスト・懐疑リスト）に基づいて、発信源の「信用性」から閲覧ページの自分合致度と正確性とを推定している。言えば、一極的な興味特異点にこだわっているのではなく、プラスとマイナス、両方がある二極的な情報源が世の中に点在しているという、より現実的な世界観に基づいている。
　コンテンツ管理サーバ３は、以上のようにして求めた、根拠資料についての情報、ＴＳＣＡＵ指標、自分合致度および一般信用性などを閲覧ページの評価結果としてユーザ端末４に提供する。
［２－６．コンテンツの評価例２］
　図８は、他のコンテンツの評価例について説明するための図である。なお、図８は、ウェブページ（https://○○○.net/news/wst-pw2020/）に関する評価例を示している。
　図８に示す例では、例えば、ページ内の見出しに「最悪のパスワード」というセキュリティに関するキーワードが含まれることからドメインを「ＩＴセキュリティ（IT Security）」と特定している。また、ページ内容から該当時期を「２０２０年」と特定している。さらに、ページ内の引用リンクの抽出により、情報源を「www.■■■.com/***/と特定している。なお、著者は不明であり、定量情報としては、根拠情報がないものとしている。
　そして、定量情報に関し、根拠情報がないことから、科学性：0.0としている。また、著者が不明で著者の信用性はわからないが、情報源が個人・法人プロファイルのデータベースに登録されている■■■であることから、ここでは、信用性：0.4としている。また、情報源のコンテンツと違いがないものとして、根拠資料との類似度：1.0、独創性：0.0としている。さらに、ここでは、根拠資料の科学性：1.0および正確性：0.3と、上述した信用性：0.4とを参照して、正確性：0.3としている。このように、根拠資料との類似度：1.0である（内容に差異がない）場合には、根拠資料の正確性をそのまま引き継いでもよい。
　普遍性（図示略）、一般信用性については、先の具体例と同じ（普遍性：0.0、一般信用性：0.0）となっている。なお、ＵＲＬに含まれる組織名○○○に該当する項目が、個人設定の懐疑リストに○○○：0.2として登録されていることから、自分合致度：0.2となっている。
　コンテンツ管理サーバ３は、以上のようにして求めた、根拠資料についての情報、ＴＳＣＡＵ指標、自分合致度および一般信用性などを閲覧ページの評価結果としてユーザ端末４に提供する。
［２－７．コンテンツ評価例３］
　図９は、さたに他のコンテンツの評価例について説明するための図である。図９は、ウェブページ（https://△△△.jp/post-2006/）に関する評価例を示している。
　図９に示す例では、例えば、ページ内の見出しに「最悪のパスワード」というキーワードが含まれる（図示略）ことからドメインを「ＩＴセキュリティ（IT Security）」と特定している。また、ページ内容から該当時期を「２０２０年」と特定している。また、ここでは図示をしていないが、ページ内容から著者を「Jacob Brown」と特定している。また、ページ内の「▲▲▲は、・・・を発表した」との記載から、情報源を「▲▲▲」と特定している。なお、定量情報については、ページ内に「トップ１００に含まれるパスワードを使っているなら、すぐに変えた方がいい」、「５００万ものパスワードがインターネットに漏れた」との記載があるが、根拠情報としては使えないものとしている。定量性はあるが、統計調査については言及されていないためである。
　そして、このように定量情報に関しては根拠情報として使えないことから、科学性：0.3としている。なお、著者「Jacob Brown」は、個人・法人プロファイルのデータベースに登録されていない。そこで、ここでは、発信者のプロフィール（例えば、ウェブコンテンツ）から著者に関する情報、例えば、履歴、所属、専門分野、活動目的、組織形態などを抽出し、抽出した情報を用いて著者の信用性を決定している。例えば、著者「Jacob Brown」のプロフィールは、履歴が「#### University,□□Mag Analyst」であり、所属が「News Site ###, Senior Reporter」、専門分野が「history, BA」、活動目的が読者数向上、組織形態が「ネットワーク関連企業」となっている。これらの情報に基づいて、ここでは、所属が記者であり、専門分野が歴史であることなどから信用性：0.3としている。そして、個人設定の該当する項目の情報と、この信用性：0.3などを用いて正確性：0.27としている。
　なお、根拠資料がないことから、普遍性、類似度、独創性は不明である。一般信用性についても根拠資料がないことから、先の具体例と同じ（一般信用性：0.0）となっている。このように、例えば、不足情報がある場合、計算できる項目だけ求めてもよい。なお、ＵＲＬに含まれる組織名△△△に該当する項目が、個人設定の信用リストに△△△：0.9として登録されていることから、自分合致度：0.9としている。
　コンテンツ管理サーバ３は、以上のようにして求めた、根拠資料についての情報、ＴＳＣＡＵ指標、自分合致度および一般信用性などを閲覧ページの評価結果としてユーザ端末４に提供する。評価結果の提供を受けたユーザ端末４は、その閲覧ページの評価結果を出力する。
［２－８．プログラムの実装例］
　ここで、ユーザ端末４へのプログラムの実装例について説明する。図１０および図１１は、実装手順の一例を説明するための図である。上述したコンテンツ評価処理を行うプログラムは、例えば、ブラウザにアドオン（Add-on）の機能として実装する。これにより、例えば、所望の文献を検索して検索結果を表示する際や所望の文献を表示する際に、情報信頼度に応じた評価結果をユーザが閲覧できるようにすることができる。
　例えば、図１０に示すような、アドオンプログラムなどが配信されているウェブストアにアクセスし、所望の拡張機能として、「情報信頼度付検索」を選択する。次に、図１１に示すように、「ブラウザに追加」をクリック（選択）し、ブラウザの拡張機能として実装し、上述したコンテンツの評価結果を表示する「情報信頼度付検索」を使えるようにする。
　具体的には、ブラウザが備えるコンテンツ検索機能による検索結果のコンテンツ一覧を表示する際に、検索結果のコンテンツに関してコンテンツの評価情報を表示するようにする。ユーザは、コンテンツを検索した場合に、上述した評価情報を参照して、ユーザの目的に合った効率のよい検索を行うことができる。また、コンテンツの利用に際し、コンテンツの評価結果を表示するようにする。これにより、ユーザにコンテンツの評価を提示することができる。なお、拡張機能追加の方法は、これに限るものではない。例えば、ブラウザに用意されている他の手順で追加してもよい。また、この情報信頼度の提示機能は、拡張機能の追加に限らず、ブラウザのソフトウェアプログラムに標準機能として組み込まれていてもよい。
［２－９．コンテンツ評価の表示例］
　図１２は、ブラウザによる評価結果の表示例を示す図である。図示するように、例えば、検索ワードとして「最悪なパスワード」と入力して検索を実行すると、検索結果のコンテンツとともに４種類の評価項目（根拠資料羅列、自分合致度、一般信用度およびＴＳＣＡＵ指標）を有する評価情報が表示される。
　なお、コンテンツの評価情報は、ユーザによって選択された評価項目の評価レベルの大きさに基づいて検索結果のコンテンツ一覧をソートして表示されるようになっている。図示した例では、ユーザが適宜設定可能なソート設定により、検索結果を自分合致度の高い順に表示している。なお、コンテンツの評価情報は、一般信用度の高い順にソートして表示してもよい。また、これらの値が低い順にソートしてもよい。さらに、科学性および自分合致度が高いもの（例えば、それぞれ閾値以上のもの）を表示するなど、複合的な表示が可能なものであってもよい。また、評価結果の項目ごとの表示／非表示の設定を変えられるものであってもよいし、評価結果の各項目の表示場所、大きさ、表現などをカスタマイズできるようなものであってもよい。このように、評価結果の出力形態は、図示したものに限らない。このような表示態様をとることでユーザの検索効率を向上させることができる。
［２－１０．ハードウェアの構成例］
　最後に、図１３を参照してコンテンツ提供サーバ２、コンテンツ管理サーバ３およびユーザ端末４のハードウェアの構成例について説明する。
　コンテンツ提供サーバ２、コンテンツ管理サーバ３およびユーザ端末４は、例えば、それぞれ機能ブロックとして、入力部１１、記憶部１２、通信部１３、出力部１４および情報処理部１５を有している。入力部１１、記憶部１２、通信部１３、出力部１４および情報処理部１５は、例えば、インタフェースやバスなどを介して相互接続されている。
　入力部１１は、例えば、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォンなどで構成されており、ユーザ操作などによって各種情報を入力する機能を有している。記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）などで構成されており、プログラムや各種情報を記憶する機能を有している。なお、記憶部１２は、ＵＳＢメモリ、メモリカード、光ディスクなどの着脱自在なリムーバブルメディアで構成されていてもよい。例えば、コンテンツ提供サーバ２およびコンテンツ管理サーバ３は、記憶部１２として各種データベースを有している。
　通信部１３は、ネットワークＮ（図１を参照）に接続してネットワークＮ上の他の装置と通信を行う通信機能を有している。ネットワークＮへの接続は、有線でも無線でも構わない。無線通信としては、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）などの無線ＬＡＮ（Local Area Network）、４Ｇ（第４世代移動通信システム）、Bluetooth（登録商標）などがあげられる。出力部１４は、例えば、ディスプレイ、スピーカなどで構成されており、各種情報を出力する機能を有している。
　情報処理部１５は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサで構成されており、記憶部１２に記憶されているプログラムに従って各種処理（例えば、上述したコンテンツ評価に関わる処理）を実行する機能を有している。プログラムは、予め記憶部１２に記憶されているものに限らず、ネットワーク（例えば、ネットワークＮ）を介して提供されるものであってもよい。また、ネットワークを介して他の装置で部分的に実行されるものであってもよい。なお、情報処理部１５の機能は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。本開示に係る情報処理装置は、少なくともコンテンツ評価に関わる処理を実行する情報処理部１５を備えるものである。
　なお、各機能ブロックは、一体的に構成されていることに限らず、一部または全部が別体的な構造であってもよい。その場合、各装置間の接続は、有線、無線を問わない。無線接続の場合には、例えば、上述した無線通信を用いることができる。つまり、各機能ブロックを構成するユニットは、ネットワークを介して接続されていてもよい。
［２－１０．まとめ］
　以上説明したように、本実施の形態に係るプログラム（情報処理プログラム）は、コンテンツのメタ情報などのコンテンツに関する情報を用いてそのコンテンツの根拠資料を特定し、特定した根拠資料のメタ情報などの根拠資料に関する情報と、コンテンツに関する情報とを用いて、コンテンツの評価情報を生成するコンテンツ評価処理を、コンテンツ管理サーバ３の情報処理部１５に実行させるものである。
　また、本実施の形態に係るプログラム（情報処理プログラム）は、コンテンツに関する情報を用いてそのコンテンツの根拠資料を特定し、特定した根拠資料に関する情報と、コンテンツに関する情報とを用いて生成されたコンテンツの評価情報を出力する評価情報出力処理を、ユーザ端末４の情報処理部１５に実行させるものである。
　これにより、根拠資料に基づく客観的な評価結果を得ることができ、コンテンツの評価を信頼度の面などから適正に行うことができる。
　より具体的には、３次的なコンテンツをＴＳＣＡＵでより細かく格付けする他、個人的な信念設定も用いて、自分にとって主観的により相応しいウェブサイトを発見することができる。また、専門家の知見を活用しながら根拠資料を特定し、情報内容と情報源の多面的な主観および客観評価を得られるようにすることができる。つまり、多面的な信用属性情報を表示することができるブラウザとすることができる。
＜３．変形例＞
　以上、本開示の実施の形態について具体的に説明したが、本開示は、上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様は、任意に選択された一又は複数を、適宜に組み合わせることもできる。また、上述した実施の形態の構成、方法、工程、形状、材料および数値などは、本開示の主旨を逸脱しない限り、互いに組み合わせることが可能である。また、１つのものを２つ以上に分けることも可能である。
　例えば、上述した実施の形態では、インターネット上のコンテンツを評価する場合について例示したが、これに限らず、所定エリア内の閉じられたネットワーク上のコンテンツなど、ネットワークを利用して情報を評価するものであればよい。
　また、例えば、上述した実施の形態では、自分合致度、一般的信用性、ＴＳＣＡＵ指標などの信用性評価値の計算方法について具体的に説明したが、計算方法は、上述したものに限らない。例えば、上述した各種情報、属性、計算アルゴリズムなどを適宜変更して求めてもよい。
　なお、本開示は、以下のような構成も採ることができる。
（１）
　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理
　をコンピュータに実行させる情報処理プログラム。
（２）
　ユーザ毎に設定可能なユーザの主観的信頼度を表す情報をさらに用いて前記評価情報を生成する
　（１）に記載の情報処理プログラム。
（３）
　前記コンテンツの評価情報は、前記ユーザの主観的信頼度との合致度を表す自分合致度の情報を含む
　（２）に記載の情報処理プログラム。
（４）
　前記コンテンツの評価情報は、前記根拠資料に基づく客観的な信頼度を表す一般的信用性の情報を含む
　（１）から（３）までの何れかに記載の情報処理プログラム。
（５）
　前記コンテンツの評価情報は、前記コンテンツの正確性、信用性、科学性、普遍性および独創性を表す情報を含む
　（１）から（４）までの何れかに記載の情報処理プログラム。
（６）
　前記コンテンツの評価情報は、前記根拠資料を表す情報を含む
　（１）から（５）までの何れかに記載の情報処理プログラム。
（７）
　信頼度の高い所定の資料から前記根拠資料を抽出する
　（１）から（６）までの何れかに記載の情報処理プログラム。
（８）
　前記根拠資料に関する情報は、前記根拠資料の情報内容の信頼度を表す情報である
　（１）から（７）までの何れかに記載の情報処理プログラム。
（９）
　前記根拠資料に関する情報は、前記根拠資料の発信源に関する情報である
　（１）から（８）までの何れかに記載の情報処理プログラム。
（１０）
　前記コンテンツに関する情報は、前記コンテンツの分野を表す情報、該当時期を表す情報、著者を表す情報、情報源を表す情報および定量情報のうちの少なくとも何れかを含む
　（１）から（９）までの何れかに記載の情報処理プログラム。
（１１）
　前記コンテンツに関する情報は、前記コンテンツの発信源に関する情報を含む
　（１）から（１０）までの何れかに記載の情報処理プログラム。
（１２）
　前記コンテンツは、ＳＮＳ（Social　Networking　Service）を含むウェブページ内の文書、映像を含む画像、または音声である
　（１）から（１１）までの何れかに記載の情報処理プログラム。
（１３）
　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて生成された前記コンテンツの評価情報を出力する評価情報出力処理
　をコンピュータに実行させる情報処理プログラム。
（１４）
　ウェブブラウザに拡張機能として実装可能である
　（１３）に記載の情報処理プログラム。
（１５）
　ウェブブラウザが備えるコンテンツ検索機能による検索結果のコンテンツ一覧を表示する際に、検索結果のコンテンツに関して前記コンテンツの評価情報を表示する
　（１３）または（１４）に記載の情報処理プログラム。
（１６）
　前記コンテンツの評価情報は、複数の評価項目を有しており、ユーザによって選択された評価項目の評価レベルの大きさに基づいて前記検索結果のコンテンツ一覧をソートして表示する
　（１５）に記載の情報処理プログラム。
（１７）
　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理を行う情報処理部を有する
　情報処理装置。
（１８）
　情報処理部が、コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理を行う
　情報処理方法。
　１・・・情報処理システム、２・・・コンテンツ提供サーバ、３・・・コンテンツ管理サーバ、４・・・ユーザ端末、１１・・・入力部、１２・・・記憶部、１３・・・通信部、１４・・・出力部、１５・・・情報処理部、Ｎ・・・ネットワーク

Claims (18)

  1. 　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理
    　をコンピュータに実行させる情報処理プログラム。
  2. 　ユーザ毎に設定可能なユーザの主観的信頼度を表す情報をさらに用いて前記評価情報を生成する
    　請求項１に記載の情報処理プログラム。
  3. 　前記コンテンツの評価情報は、前記ユーザの主観的信頼度との合致度を表す自分合致度の情報を含む
    　請求項２に記載の情報処理プログラム。
  4. 　前記コンテンツの評価情報は、前記根拠資料に基づく客観的な信頼度を表す一般的信用性の情報を含む
    　請求項１に記載の情報処理プログラム。
  5. 　前記コンテンツの評価情報は、前記コンテンツの正確性、信用性、科学性、普遍性および独創性を表す情報を含む
    　請求項１に記載の情報処理プログラム。
  6. 　前記コンテンツの評価情報は、前記根拠資料を表す情報を含む
    　請求項１に記載の情報処理プログラム。
  7. 　信頼度の高い所定の資料から前記根拠資料を抽出する
    　請求項１に記載の情報処理プログラム。
  8. 　前記根拠資料に関する情報は、前記根拠資料の情報内容の信頼度を表す情報である
    　請求項１に記載の情報処理プログラム。
  9. 　前記根拠資料に関する情報は、前記根拠資料の発信源に関する情報である
    　請求項１に記載の情報処理プログラム。
  10. 　前記コンテンツに関する情報は、前記コンテンツの分野を表す情報、該当時期を表す情報、著者を表す情報、情報源を表す情報および定量情報のうちの少なくとも何れかを含む
    　請求項１に記載の情報処理プログラム。
  11. 　前記コンテンツに関する情報は、前記コンテンツの発信源に関する情報を含む
    　請求項１に記載の情報処理プログラム。
  12. 　前記コンテンツは、ＳＮＳ（Social　Networking　Service）を含むウェブページ内の文書、映像を含む画像、または音声である
    　請求項１に記載の情報処理プログラム。
  13. 　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて生成された前記コンテンツの評価情報を出力する評価情報出力処理
    　をコンピュータに実行させる情報処理プログラム。
  14. 　ウェブブラウザに拡張機能として実装可能である
    　請求項１３に記載の情報処理プログラム。
  15. 　ウェブブラウザが備えるコンテンツ検索機能による検索結果のコンテンツ一覧を表示する際に、検索結果のコンテンツに関して前記コンテンツの評価情報を表示する
    　請求項１３に記載の情報処理プログラム。
  16. 　前記コンテンツの評価情報は、複数の評価項目を有しており、ユーザによって選択された評価項目の評価レベルの大きさに基づいて前記検索結果のコンテンツ一覧をソートして表示する
    　請求項１５に記載の情報処理プログラム。
  17. 　コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理を行う情報処理部を有する
    　情報処理装置。
  18. 　情報処理部が、コンテンツに関する情報を用いて前記コンテンツの根拠資料を特定し、特定した前記根拠資料に関する情報と、前記コンテンツに関する情報とを用いて、前記コンテンツの評価情報を生成するコンテンツ評価処理を行う
    　情報処理方法。
PCT/JP2021/025931 2020-07-21 2021-07-09 情報処理プログラム、情報処理装置および情報処理方法 WO2022019150A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-124488 2020-07-21
JP2020124488A JP2022021099A (ja) 2020-07-21 2020-07-21 情報処理プログラム、情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
WO2022019150A1 true WO2022019150A1 (ja) 2022-01-27

Family

ID=79728723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025931 WO2022019150A1 (ja) 2020-07-21 2021-07-09 情報処理プログラム、情報処理装置および情報処理方法

Country Status (2)

Country Link
JP (1) JP2022021099A (ja)
WO (1) WO2022019150A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004500621A (ja) * 1999-08-25 2004-01-08 エピニオンズ　インコーポレイテッド 分散コンピューティング環境において情報を提示するためのシステム及び方法
WO2006027973A1 (ja) * 2004-09-07 2006-03-16 Interman Corporation 情報検索提供装置および情報検索提供システム
JP4097602B2 (ja) * 2001-11-26 2008-06-11 富士通株式会社 情報解析方法及び装置
US20160119147A1 (en) * 2014-10-24 2016-04-28 Mohammed Mustafa Saidalavi Method and System of Online Content Review, Authentication, and Certification
JP2019128855A (ja) * 2018-01-25 2019-08-01 ナレルシステム株式会社 ニュースや命題の信憑性を確認するためのコンピュータプログラム、方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004500621A (ja) * 1999-08-25 2004-01-08 エピニオンズ　インコーポレイテッド 分散コンピューティング環境において情報を提示するためのシステム及び方法
JP4097602B2 (ja) * 2001-11-26 2008-06-11 富士通株式会社 情報解析方法及び装置
WO2006027973A1 (ja) * 2004-09-07 2006-03-16 Interman Corporation 情報検索提供装置および情報検索提供システム
US20160119147A1 (en) * 2014-10-24 2016-04-28 Mohammed Mustafa Saidalavi Method and System of Online Content Review, Authentication, and Certification
JP2019128855A (ja) * 2018-01-25 2019-08-01 ナレルシステム株式会社 ニュースや命題の信憑性を確認するためのコンピュータプログラム、方法及び装置

Also Published As

Publication number Publication date
JP2022021099A (ja) 2022-02-02

Similar Documents

Publication Publication Date Title
US11886555B2 (en) Online identity reputation
US10509827B1 (en) Allowing users to categorize and visualize content recommendations
US8468028B2 (en) People engine optimization
Canini et al. Finding credible information sources in social networks based on content and social structure
US9323826B2 (en) Methods, apparatus and software for analyzing the content of micro-blog messages
US8156138B2 (en) System and method for providing targeted content
Zubiaga et al. A longitudinal analysis of the public perception of the opportunities and challenges of the Internet of Things
US20110320441A1 (en) Adjusting search results based on user social profiles
US8209214B2 (en) System and method for providing targeted content
US20090177651A1 (en) Information processing device and method, program, and recording medium
WO2015066591A1 (en) Ranking information providers
US20180241769A9 (en) Categorization system
US20210233147A1 (en) Recommendation engine based on optimized combination of recommendation algorithms
US20150160847A1 (en) System and method for searching through a graphic user interface
Zielinski et al. Computing controversy: Formal model and algorithms for detecting controversy on Wikipedia and in search queries
US20100169316A1 (en) Search query concept based recommendations
Xue et al. Content-aware trust propagation toward online review spam detection
Bok et al. Hot topic prediction considering influence and expertise in social media
US20170323019A1 (en) Ranking information providers
Troussas et al. Multi-algorithmic techniques and a hybrid model for increasing the efficiency of recommender systems
Emmert-Streib et al. Data analytics applications for streaming data from social media: what to predict?
Lessa et al. Filtering graduate courses based on LinkedIn profiles
Sun et al. Prick the filter bubble: A novel cross domain recommendation model with adaptive diversity regularization
Li et al. Collaborative filtering recommendation using fusing criteria against shilling attacks
Pohl et al. Supporting crisis management via sub-event detection in social networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21845627

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21845627

Country of ref document: EP

Kind code of ref document: A1