WO2020175156A1 - 評価装置及び評価方法 - Google Patents

評価装置及び評価方法 Download PDF

Info

Publication number
WO2020175156A1
WO2020175156A1 PCT/JP2020/005587 JP2020005587W WO2020175156A1 WO 2020175156 A1 WO2020175156 A1 WO 2020175156A1 JP 2020005587 W JP2020005587 W JP 2020005587W WO 2020175156 A1 WO2020175156 A1 WO 2020175156A1
Authority
WO
WIPO (PCT)
Prior art keywords
text data
service
target
feature amount
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/005587
Other languages
English (en)
French (fr)
Inventor
崇 古谷
真智子 篠塚
暁曦 張
宏規 岡
克也 林
田中　百合子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/432,981 priority Critical patent/US11983495B2/en
Publication of WO2020175156A1 publication Critical patent/WO2020175156A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Creation or modification of classes or clusters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to an evaluation device and an evaluation method.
  • the SDGs are made up of 17 goals and 1 69 evenings, and are rewarding for work and economic reasons, such as poverty and hunger, health and education, and water security. It extends to growth, energy, climate change and biodiversity.
  • Non-Patent Document 1 Contribution to social issues such as SDGs is regarded as a market that brings great business opportunities, and many companies have begun to consider solutions for each goal (for example, Non-Patent Document 1).
  • CT Information and Communication
  • Patent Document 1 Patent No. 4770495
  • Non-patent document 1 "Possibility of SDGs business and rule formation", [online], Internet ⁇ URL: https://www ⁇ jsa. or. jp/datas/med ia/10000/md 3079 .pdf>
  • Non-Patent Document 2 GeSI, "#SystemTransformation-HOW DIFITAL SOLUTION WILL DRIVE PROGRESS TOWARDS THE SUSTAINABLE DEVELOPMENT GOALS”, [online], Internet ⁇ URL: http://systemtransformat ion-sdg. gesi .org/ 160608 GeSI SystemT ransformat ion.pdf>
  • Patent Document 1 is a technique for modeling a causal relationship of phenomena relating to a social/economic problem in order to contribute to the determination of a solution to the social/economic problem. Since the technique of Patent Document 1 requires manual work, a phenomenon related to climate change ⁇ Expertise in climate change is required to model and analyze risks. Furthermore, in order to associate the analysis results with the 0-chome solution, it is necessary to have expertise on the effect of the 0-chome solution-environmental impact.
  • the present invention has been made in view of the above points, and it is an object of the present invention to make it possible to evaluate the degree of contribution of 3003 to a target.
  • the evaluation device uses text data in which the target of any of the targets is described, and it is clear that it contributes to the target. For each word included in the text data in which the outline of the first service is described, and the first feature that calculates the feature amount relating to the text data ⁇ 2020/175156 3 ⁇ (: 170? 2020 /005587
  • a calculation unit a generation unit that generates a sentence feature matrix based on the feature amount of each word, and when text data describing the outline of the second service is input, for each word included in the text data
  • a second calculation unit that calculates a characteristic amount related to the text data, a characteristic amount of each word related to the second service, and the sentence characteristic matrix, and the second service determines the target.
  • an evaluation unit that evaluates the degree of contribution.
  • FIG. 1 is a diagram showing an example of a hardware configuration of an evaluation device 10 according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a functional configuration example of the evaluation device 10 according to the embodiment of the present invention.
  • FIG. 3 A flow chart for explaining an example of a processing procedure executed by the model generation unit 11.
  • FIG. 6 is a diagram showing an example of text data in which details of Goal 1 are described.
  • FIG. 5 is a diagram showing an example of a result of morphological analysis.
  • FIG. 6 is a diagram showing an example of a calculation result of word feature amounts.
  • FIG. 7 is a diagram showing an example of a sentence feature matrix X.
  • FIG. 8 A flowchart for explaining an example of a processing procedure executed by the document processing unit 12.
  • FIG. 1 is a diagram showing a hardware configuration example of an evaluation device 10 according to an embodiment of the present invention.
  • the evaluation device 10 shown in FIG. 1 includes a drive device 100, an auxiliary storage device 10 2, a memory device 10 3, a 0 II 1 0 4, and an in-line device, which are connected to each other by a bus.
  • the program that realizes the processing in the evaluation device 10 is Etc. provided by a recording medium 1 0 1.
  • the recording medium 1 0 1 storing the program is set in the drive unit 1 0 0, the program is installed from the recording medium 1 0 1 to the auxiliary storage unit 1 0 2 via the drive unit 1 0 0. .
  • the auxiliary storage device 102 stores installed programs and also stores necessary files and data.
  • the memory device 103 reads out the program from the auxiliary storage device 102 and stores it when there is an instruction to activate the program.
  • ⁇ 11 104 executes the functions related to the evaluation device 10 according to the program stored in the memory device 10 3.
  • the interface device 105 is used as an interface for connecting to the network.
  • FIG. 2 is a diagram showing a functional configuration example of the evaluation device 10 in the embodiment of the present invention.
  • the evaluation device 10 has a model generation unit 11 and a document processing unit 12 and the like. Each of these parts is realized by a process that one or more programs installed in the evaluation device 10 cause the 0 9 11 ]04 to execute.
  • the evaluation device 10 also utilizes a storage unit such as the text storage unit 13 and the model storage unit 14. Each of these storage units can be realized using, for example, a storage device that can be connected to the auxiliary storage device 102 or the evaluation device 10 via a network.
  • the model generation unit 11 contributes to the text data describing the details of each goal (each goal) of 3003 and one of the goals of 3003. Based on the feature amount of each word extracted from the text data that shows the functional outline of the service and solution (hereinafter simply referred to as “service”) of each word, 30 0 ⁇ 3 Generate a model that shows the strength of association with each goal of.
  • the text data is stored in Textro 13.
  • the model generator 11 is a word feature calculator 11 1 ⁇ 2020/175 156 5 (: 170? 2020 /005587
  • a feature matrix calculation unit 1 1 2 and a model output unit 1 1 3 are included.
  • the document processing unit 12 inputs the text data of the service specified as the evaluation target, extracts the feature amount of each word from the text data, extracts the feature amount, and the model storage unit 14 Using the model stored in Evaluate the degree of contribution (scene) to each of the three goals.
  • the document processing unit 12 includes an input unit 1 2 1, a calculation unit 1 2 2, an evaluation unit 1 2 3 and an evaluation result output unit 1 2 4.
  • FIG. 3 is a flow chart for explaining an example of a processing procedure executed by the model generation unit 11.
  • step 3101 the word feature calculation unit 1111 determines, for each of the multiple goals (of seventeen) of three hundred three, details of the goal (evening goal).
  • FIG. It is a figure which shows an example of the performed text data.
  • the text data for Goal 1 includes a sentence indicating the target 1 goal.
  • Figure 4 also includes a sentence indicating Goal 1 (“End all forms of poverty everywhere so that poverty will disappear”), but the sentence is not included in the text data. I don't mind. That is, the text of each target should be included in the text data.
  • Each text data of Goals 2 to 17 has the same structure.
  • step 3101 a set of the text data of the target and the text data of one or more services that contribute to the target is read for each of the 17 targets.
  • the text data that describes the outline of the function of the service for example, introduces the service. Any text data that includes a few lines of text (for example, “XXX service is a service that makes you uncomfortable.”) written on pages and pamphlets is enough.
  • the word feature amount calculation unit 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
  • FIG. 5 is a diagram showing an example of a result of morphological analysis.
  • Figure 5 shows that one of the goals of the Goal 1 is “all the extreme poverty currently defined as people living below $1.25 a day by 2030.
  • the example of the result of the morphological analysis is shown for one sentence "".
  • the words included in each sentence are extracted by morphological analysis.
  • the morphological analysis may be performed using a known technique.
  • the word feature calculation unit 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
  • FIG. 6 is a diagram showing an example of the calculation result of the word feature amount.
  • Figure 6 shows an example of the calculation results of the word features for the set of text data sets for Goal 1.
  • the score and appearance frequency for the set of these text data are the word features. Is calculated as The score can be calculated, for example, according to the Pho I method.
  • the sentence feature matrix calculation unit 1 12 calculates (generates) one sentence feature matrix X based on the 17 calculation results obtained in step 3 10 3 (3 1 0 4).
  • a known technique such as latent semantic analysis (1-38) or latent Dirichlet assignment (1-08) can be used.
  • FIG. 7 is a diagram showing an example of the sentence feature matrix X.
  • categories 1 to 17 correspond to goals 1 to 17. That is, each row corresponds to a goal.
  • Each column is a word extracted from the text data group of each target.
  • the elements of the matrix are the probability frequencies that indicate the strength of the association between the word and the target.
  • the sentence feature matrix X is an example of a model showing the relationship between each word and the goal.
  • the model output unit 113 stores the model (contents of the sentence probability matrix) in the model storage unit 14 (3105). For example, in association with each goal and each word, the probability frequency of the goal and the word is stored in the model storage unit 14.
  • FIG. 8 is a flow _ Chiya _ Bok for explaining an example of a processing procedure by the document processor 1 2 executes.
  • step 3201 the input section 1121 accepts the input of text data in which the functional outline of the service to be evaluated is described.
  • the arithmetic unit 1 2 2 extracts a word feature amount from the text data (3 2 0 2). Note that the extraction of the word feature amount may be performed by the same procedure as steps 3 10 2 and 3 10 3 in FIG. Therefore, the word features shown in Fig. 6 are extracted for the words included in the text database.
  • the evaluation unit 123 reads the model (sentence feature matrix X (FIG. 7)) from the model storage unit 14 (3203).
  • the evaluation unit 1 2 3 uses a method such as a known topic model based on the word feature amount extracted in step 3 2 0 2 and the sentence feature matrix X. ⁇ 2020/175 156 8 ⁇ (: 170? 2020 /005587
  • each contribution probability is calculated for each row of the text feature matrix X (that is, for each goal) (3 0 4).
  • Each contribution probability is an example of an index indicating the degree to which the service under evaluation contributes to each target.
  • the evaluation unit 1 2 3 may judge (evaluate) each contribution probability as the contribution degree to each goal as it is, or set a goal related to the contribution probability that is equal to or greater than a threshold as a goal to which the service to be evaluated contributes It is also possible to judge (evaluate) the target related to the contribution probability that is less than the threshold as the target to which the evaluated service does not contribute.
  • the evaluation result output unit 1 2 4 outputs the evaluation result by the evaluation unit 1 2 3 (3 2 0 5).
  • the determination result may be displayed on the display device, or may be stored in the auxiliary storage device 102 or the like.
  • the model is generated based on the text data that describes the target of each goal and the text data that describes the outline of the service that clearly contributes to each goal. If text data of the target service is created, it is possible to obtain evaluation results regarding the degree of contribution to each goal of 3 for the service. As a result, for example, 3 It is possible to enable service appeal for each of the three goals.
  • the evaluation device 10 is an example of a calculation device.
  • the word feature amount calculation unit 1 1 1 is an example of the first calculation unit.
  • the text feature matrix calculation unit 1 1 1 2 is an example of the model generation unit 1 1.
  • the calculation unit 1 2 2 is an example of the second calculation unit.
  • the evaluation unit 123 is an example of the third calculation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

評価装置は、ＳＤＧｓのいずれかの目標のターゲットが記述されたテキストデータと、当該目標に寄与することが明らかな１以上の第１のサービスの概要が記述されたテキストデータとに含まれる各単語について、前記テキストデータに関する特徴量を計算する第１の計算部と、前記各単語の特徴量に基づいて文章特徴行列を生成する生成部と、第２のサービスの概要が記述されたテキストデータが入力されると、当該テキストデータに含まれる各単語について、当該テキストデータに関する特徴量を計算する第２の計算部と、前記第２のサービスに係る各単語の特徴量と、前記文章特徴行列とに基づいて、前記第２のサービスが当該目標に寄与する程度を評価する評価部と、を有することで、ＳＤＧｓの目標への寄与の程度を評価可能とする。

Description

明 細 書
発明の名称 ： 評価装置及び評価方法
技術分野
[0001] 本発明は、 評価装置及び評価方法に関する。
背景技術
[0002] 201 5年に、 持続可能な開発目標 （S D G s （Sustainable Development
Goals） ） を中心とする 「持続可能な開発のための 2030アジエンダ」 が 国連サミッ トで採択された。 S D G sは、 1 7の目標 （ゴール） と 1 69の 夕ーゲッ トで構成されており、 貧困や飢餓、 健康や教育、 水の安全など、 開 発途上国の開発支援などから、 働きがいや経済成長、 エネルギー、 更には気 候変動や生物多様性に関するものまで多義に及ぶ。
[0003] S D G sなどの社会課題に対する貢献は大きなビジネスチャンスをもたら す市場として捉えられ、 多数の企業が各目標に対するソリューションの検討 を始めている （例えば、 非特許文献 1） 。 特に、 丨 C T （Information and C ommunicat ion Techno logy） サービス · ソリューションは、 これら社会課題の 解決に大きく貢献することが期待されている （非特許文献 2） 。
先行技術文献
特許文献
[0004] 特許文献 1 :特許第 4770495号公報
非特許文献
[0005] 非特許文献 1 :” SDGsビジネスの可能性とルール形成”、 [online] , インター ネツ ト <U R L : https://www· jsa. or. j p/datas/med i a/10000/md 3079. pdf > 非特許文献 2 : GeSI、 "#SystemTransformation - HOW DIFITAL SOLUTION WILL DRIVE PROGRESS TOWARDS THE SUSTAINABLE DEVELOPMENT GOALS”、 [online ] 、 インターネッ ト <U R L : http://systemtransformat ion-sdg. gesi . org/ 160608 GeSI SystemT ransformat ion. pdf >
発明の概要 〇 2020/175156 2 卩（：170? 2020 /005587 発明が解決しようとする課題
[0006] 但し、 丨 〇丁サービス · ソリューションのようなサービスが、 3
Figure imgf000004_0001
3の どの目標に貢献可能かを判定するには、 3 0 0 3目標の記載内容に対する知 識と、 丨 〇丁サービス · ソリューションが持つ効果 ·環境影響を理解し、 両 者の因果関係をモデル化して分析する必要が有る。 すなわち、 斯かる判定は 、 3 3の詳細内容に対する知識のみならず、 丨 〇丁サービス · ソリュー ションの効果 ·環境影響に関する知識を有した専門家でないと難しい。
[0007] 例えば、 従来の技術では、 社会構造やシステム構造を把握するために因果 関係図やシステムダイナミクス等の手法で分析を可能にしており、 評価対象 （例えば丨 <3丁サービス · ソリューションなど） 毎に専門家の分析が必要で ある。
[0008] また、 特許文献 1は、 社会 ·経済問題の解決策の決定に資するため、 当該 問題に係る現象の因果関係をモデル化する技術である。 特許文献 1の技術で は、 人手による作業を要するため、 気候変動に関連する現象 · リスクをモデ ル化し分析するためには気候変動に関する専門性を要する。 更に、 分析結果 と 丨 〇丁ソリューションを関連付けるためには丨 〇丁ソリューションの効果 -環境影響に関する専門性を要する。
[0009] しかしながら、 丨 〇丁サービス · ソリューションの設計者や提案者は必ず しも 丨 〇丁サービス · ソリューションの効果 ·環境影響に関する専門的な知 識を有していない場合が多いため、 社会課題解決を目指したサービス設計の 障壁となっている。
[0010] 本発明は、 上記の点に鑑みてなされたものであって、 3 0 0 3の目標への 寄与の程度を評価可能とすることを目的とする。
課題を解決するための手段
[001 1 ] そこで上記課題を解決するため、 評価装置は、 3 0 0 3のいずれかの目標 の夕ーゲッ トが記述されたテキストデータと、 当該目標に寄与することが明 らかな 1以上の第 1のサービスの概要が記述されたテキストデータとに含ま れる各単語について、 前記テキストデータに関する特徴量を計算する第 1の 〇 2020/175156 3 卩（：170? 2020 /005587
計算部と、 前記各単語の特徴量に基づいて文章特徴行列を生成する生成部と 、 第 2のサービスの概要が記述されたテキストデータが入力されると、 当該 テキストデータに含まれる各単語について、 当該テキストデータに関する特 徴量を計算する第 2の計算部と、 前記第 2のサービスに係る各単語の特徴量 と、 前記文章特徴行列とに基づいて、 前記第 2のサービスが当該目標に寄与 する程度を評価する評価部と、 を有する。
発明の効果
［0012］ 3 3の目標への寄与の程度を評価可能とすることを目的とすることが できる。
図面の簡単な説明
［0013］ ［図 1］本発明の実施の形態における評価装置 1 0のハードウエア構成例を示す 図である。
［図 2］本発明の実施の形態における評価装置 1 0の機能構成例を示す図である
［図 3］モデル生成部 1 1が実行する処理手順の一例を説明するためのフローチ ヤートである。
Figure imgf000005_0001
の目標 1の詳細が記述されたテキストデータの一例を示す図で ある。
［図 5］形態素解析の結果の一例を示す図である。
［図 6］単語特徴量の計算結果の一例を示す図である。
［図 7］文章特徴行列 Xの一例を示す図である。
［図 8］文書処理部 1 2が実行する処理手順の一例を説明するためのフローチヤ —卜である。
発明を実施するための形態
［0014］ 以下、 図面に基づいて本発明の実施の形態を説明する。 図 1は、 本発明の 実施の形態における評価装置 1 〇のハードウエア構成例を示す図である。 図 1の評価装置 1 〇は、 それぞれバス巳で相互に接続されているドライブ装置 1 0 0、 補助記憶装置 1 0 2、 メモリ装置 1 0 3、 0 II 1 0 4、 及びイン 〇 2020/175156 4 卩（：170? 2020 /005587
タフエース装置 1 0 5等を有する。
[0015] 評価装置 1 0での処理を実現するプログラムは、
Figure imgf000006_0001
等の記録媒 体 1 0 1 によって提供される。 プログラムを記憶した記録媒体 1 0 1がドラ イブ装置 1 0 0にセッ トされると、 プログラムが記録媒体 1 0 1からドライ ブ装置 1 0 0を介して補助記憶装置 1 0 2にインストールされる。 但し、 プ ログラムのインストールは必ずしも記録媒体 1 0 1 より行う必要はなく、 ネ ッ トワークを介して他のコンピュータよりダウンロードするようにしてもよ い。 補助記憶装置 1 0 2は、 インストールされたプログラムを格納すると共 に、 必要なファイルやデータ等を格納する。
[0016] メモリ装置 1 0 3は、 プログラムの起動指示が有った場合に、 補助記憶装 置 1 0 2からプログラムを読み出して格納する。 〇 11 1 0 4は、 メモリ装 置 1 0 3に格納されたプログラムに従って評価装置 1 0に係る機能を実行す る。 インタフエース装置 1 0 5は、 ネッ トワークに接続するためのインタフ エ _スとして用いられる。
[0017] 図 2は、 本発明の実施の形態における評価装置 1 0の機能構成例を示す図 である。 図 2において、 評価装置 1 0は、 モデル生成部 1 1及び文書処理部 1 2等を有する。 これら各部は、 評価装置 1 0にインストールされた 1以上 のプログラムが、 0 9 11 ] 0 4に実行させる処理により実現される。 評価装 置 1 0は、 また、 テキスト 0巳 1 3及びモデル記憶部 1 4等の記憶部を利用 する。 これら各記憶部は、 例えば、 補助記憶装置 1 0 2、 又は評価装置 1 0 にネッ トワークを介して接続可能な記憶装置等を用いて実現可能である。
[0018] モデル生成部 1 1は、 3 0 0 3の各目標 （各ゴール） の詳細を記述したテ キストデータと、 3 0 0 3のいずれかの目標に寄与することが既に明らかに なっている 丨 〇丁サービスやソリューシヨン （以下、 単に 「サービス」 とい う。 ） の機能概要を示したテキストデータとから抽出される各単語の特徴量 に基づいて、 当該各単語について、 3 0◦ 3の各目標との関連の強さを示す モデルを生成する。 当該テキストデータは、 テキストロ巳 1 3に記憶されて いる。 図 2において、 モデル生成部 1 1は、 単語特徴量計算部 1 1 1、 文章 〇 2020/175156 5 卩（：170? 2020 /005587
特徴行列計算部 1 1 2及びモデル出力部 1 1 3を含む。
[0019] 文書処理部 1 2は、 評価対象として指定されたサービスのテキストデータ を入力し、 当該テキストデータから各単語の特徴量を抽出し、 抽出された特 徴量と、 モデル記憶部 1 4に記憶されているモデルとを用いて、 評価対象の サービスが 3
Figure imgf000007_0001
3の各目標に寄与 （光景） する程度を評価する。 図 2にお いて、 文書処理部 1 2は、 入力部 1 2 1、 演算部 1 2 2、 評価部 1 2 3及び 評価結果出力部 1 2 4を含む。
[0020] 以下、 評価装置 1 0が実行する処理手順について説明する。 図 3は、 モデ ル生成部 1 1が実行する処理手順の一例を説明するためのフローチヤートで ある。
[0021 ] ステップ 3 1 0 1 において、 単語特徴量計算部 1 1 1は、 3 0 0 3の複数 の （1 7の） 目標 （ゴール） のそれぞれごとに、 当該目標の詳細 （夕ーゲッ 卜） が記述されたテキストデータと、 当該目標へ寄与することが既に明らか なサービスの機能概要が記述されたテキストデータとを読み込む。 3 0 0 3 いずれかの目標に寄与することが明らかな各サービスが、 いずれの目標に寄 与するかについて （すなわち、 目標とサービスとの関連付け） は、 例えば、 補助記憶装置 1 〇 2に記憶されている。
[0022] 図 4は、
Figure imgf000007_0002
されたテキストデータの一例を示 す図である。 図 4に示されるように、 目標 1のテキストデータには、 目標 1 の夕ーゲッ トを示す文が含まれている。 なお、 図 4では、 便宜上、 目標 1 を 示す文 （ 「貧困をなくそうあらゆる場所で、 あらゆる形態の貧困に終止符を 打つ」 ） も含まれているが、 当該文は、 テキストデータに含まれなくてもよ い。 すなわち、 各ターゲッ トの文がテキストデータに含まれていればよい。 目標 2〜 1 7のそれぞれのテキストデータも同様の構成を有する。
[0023] 例えば、 目標 1 に対してサービス八及びサービス巳が寄与するのであれば 、 目標 1のテキストデータと、 サービス八及びサービス巳のそれぞれの機能 概要が記述されたテキストデータとが組みにされて読み込まれる。 また、 サ —ビス八が目標 2にも寄与するのであれば、 サービス八のテキストデータは 〇 2020/175156 6 卩（：170? 2020 /005587
、 目標 2のテキストデータとも組みにされて読み込まれる。 3 0 0 3の目標 は 1 7個である。 したがって、 ステップ 3 1 0 1では、 1 7個の目標のそれ それごとに、 当該目標のテキストデータと、 当該目標に寄与する 1以上のサ —ビスのテキストデータとの組が読み込まれる。
[0024] なお、 サービスの機能概要が記述されたテキストデータは、 例えば、 サー ビスを紹介する
Figure imgf000008_0001
匕ページやパンフレッ ト等に記載された数行程度の文 （ 例えば、 「X X Xサービスは、 丫丫丫するサービスです。 」 ） を含むテキス トデータであればよい。
[0025] 続いて、 単語特徴量計算部 1 1 1は、 1 7個の組みごとに、 当該組みに属 するテキストデータ群に含まれる各文を形態素解析する （3 1 0 2） 。
[0026] 図 5は、 形態素解析の結果の一例を示す図である。 図 5には、 目標 1の夕 —ゲッ トの一つである 「2 0 3 0年までに、 現在 1 日 1 . 2 5 ドル未満で生 活する人々と定義されている極度の貧困をあらゆる場所で終わらせる。 」 と いう一文についての形態素解析の結果の一例が示されている。 形態素解析に より、 各文に含まれる単語が抽出される。 なお、 形態素解析は、 公知技術を 用いて行われればよい。
[0027] 続いて、 単語特徴量計算部 1 1 1は、 1 7個の組みごとに、 当該組みに対 する形態素解析によって抽出された各単語について、 当該組みに属するテキ ストデータ群に関する単語特徴量を計算する （3 1 0 3） 。
[0028] 図 6は、 単語特徴量の計算結果の一例を示す図である。 図 6には、 目標 1 に関するテキストデータ群の組みについての単語特徴量の計算結果の一例が 示されている。 すなわち、 目標 1のテキストデータ、 及び目標 1 に寄与する ことが明らかな各サービスのテキストデータから抽出された各単語 （各名詞 ） について、 これらのテキストデータの集合に対するスコア及び出現頻度が 単語特徴量として計算されている。 スコアは、 例えば、 丁 ー I 〇 法など により算出可能である。
[0029] なお、 目標 2〜目標 1 7のそれぞれの組みについても同様に単語特徴量が 計算される。 したがって、 単語特徴量について、 1 7個の計算結果が得られ \¥0 2020/175156 7 卩（：17 2020 /005587
る。
[0030] 続いて、 文章特徴行列計算部 1 1 2は、 ステップ 3 1 0 3において得られ た 1 7個の計算結果に基づいて、 1つの文章特徴行列 Xを計算 （生成） する （3 1 0 4） 。 文章特徴行列乂の計算には、 例えば、 潜在意味解析 （1- 3八 ） 又は潜在ディリクレ割り当て （1 -〇八） 等の公知技術を用いることができ る。
[0031 ] 図 7は、 文章特徴行列 Xの一例を示す図である。 図 7の文章特徴行列乂に おいて、 カテゴリ 1〜 1 7は、 目標 1〜 1 7に対応する。 すなわち、 各行は 、 目標に対応する。 各列は、 各目標のテキストデータ群から抽出された単語 である。 行列の要素は、 単語と目標との関連の強さを示す確率頻度である。 なお、 本実施の形態において、 文章特徴行列 Xが、 各単語と目標との関連を 示すモデルの一例である。
[0032] 続いて、 モデル出力部 1 1 3は、 モデル （文章確率行列乂の内容） をモデ ル記憶部 1 4に記憶する （3 1 0 5） 。 例えば、 各目標及び各単語に関連付 けて、 当該目標及び当該単語の確率頻度がモデル記憶部 1 4に記憶される。
[0033] 図 8は、 文書処理部 1 2が実行する処理手順の一例を説明するためのフロ _チヤ _卜である。
[0034] ステップ 3 2 0 1 において、 入力部 1 2 1は、 評価対象サービスの機能概 要が記載されたテキストデータの入力を受け付ける。
[0035] 続いて、 演算部 1 2 2は、 当該テキストデータから単語特徴量を抽出する （3 2 0 2） 。 なお、 単語特徴量の抽出は、 図 3のステップ 3 1 0 2及び 3 1 0 3と同様の手順によって行われればよい。 したがって、 当該テキストデ —夕に含まれる単語について、 図 6に示したような単語特徴量が抽出される
[0036] 続いて、 評価部 1 2 3は、 モデル記憶部 1 4からモデル （文章特徴行列 X （図 7） ） を読み込む （3 2 0 3） 。
[0037] 続いて、 評価部 1 2 3は、 ステップ3 2 0 2において抽出された単語特徴 量と、 文章特徴行列 Xとに基づいて、 公知のトピックモデル等の手法を用い 〇 2020/175156 8 卩（：170? 2020 /005587
て、 文章特徴行列 Xの行ごと （すなわち、 目標ごと） に寄与確率を計算する （3 2 0 4） 。 各寄与確率は、 評価対象サービスが各目標へ寄与する程度を 示す指標の一例である。 評価部 1 2 3は、 各寄与確率をそのまま各目標に対 する寄与度として判定 （評価） してもよいし、 閾値以上である寄与確率に係 る目標を評価対象サービスが貢献する目標とし、 閾値未満である寄与確率に 係る目標を評価対象サービスが貢献しない目標として判定 （評価） してもよ い。
[0038] 続いて、 評価結果出力部 1 2 4は、 評価部 1 2 3による評価結果を出力す る （3 2 0 5） 。 例えば、 判定結果が表示装置へ表示されてもよいし、 補助 記憶装置 1 0 2等に保存されてもよい。
[0039] 上述したように、 本実施の形態によれば、
Figure imgf000010_0001
3の目標への寄与の程度 を評価可能とすることができる。 すなわち、 各目標のターゲッ トが記述され たテキストデータと、 各目標への寄与が明らかなサービスの概要が記述され たテキストデータとに基づいてモデルが生成されているため、 評価者は、 評 価対象のサービスのテキストデータを作成すれば、 当該サービスについて、 3の各目標への寄与の程度について評価結果を得ることができる。 そ の結果、 例えば、 企業による 3
Figure imgf000010_0002
3の各目標に対するサービスの訴求を可 能とすることができる。
[0040] なお、 本実施の形態において、 評価装置 1 0は、 計算装置の一例である。
単語特徴量計算部 1 1 1は、 第 1の計算部の一例である。 文章特徴行列計算 部 1 1 2は、 モデル生成部 1 1の一例である。 演算部 1 2 2は、 第 2の計算 部の一例である。 評価部 1 2 3は、 第 3の計算部の一例である。
[0041 ] 以上、 本発明の実施の形態について詳述したが、 本発明は斯かる特定の実 施形態に限定されるものではなく、 請求の範囲に記載された本発明の要旨の 範囲内において、 種々の変形 ·変更が可能である。 符号の説明
[0042] 1 0 評価装置
モデル生成部 〇 2020/175156 9 卩（：170? 2020 /005587
1 2 文書処理部
1 3 テキスト 0巳
1 4 モデル記憶部
1 00 ドライブ装置
1 01 記録媒体
1 02 補助記憶装置
1 03 メモリ装置 フヱース装置
Figure imgf000011_0001
徴量計算部
1 1 2 文章特徴行列計算部
1 1 3 モデル出力部
1 2 1 入力部
1 22 演算部
1 23 評価部
1 24 評価結果出力部
巳 バス

Claims

〇 2020/175156 10 卩（：170? 2020 /005587 請求の範囲
[請求項 1 ] 3
Figure imgf000012_0001
3のいずれかの目標の夕ーゲッ トが記述されたテキストデー 夕と、 当該目標に寄与することが明らかな 1以上の第 1のサービスの 概要が記述されたテキストデータとに含まれる各単語について、 前記 テキストデータに関する特徴量を計算する第 1の計算部と、
前記各単語の特徴量に基づいて文章特徴行列を生成する生成部と、 第 2のサービスの概要が記述されたテキストデータが入力されると 、 当該テキストデータに含まれる各単語について、 当該テキストデー 夕に関する特徴量を計算する第 2の計算部と、
前記第 2のサービスに係る各単語の特徴量と、 前記文章特徴行列と に基づいて、 前記第 2のサービスが当該目標に寄与する程度を評価す る評価部と、
を有することを特徴とする評価装置。
[請求項 2] 前記文章特徴行列は、 前記目標と、 前記テキストデータに含まれる 各単語との確率頻度を要素とする行列である。
ことを特徴とする請求項 1記載の評価装置。
[請求項 3] 前記第 1の計算部は、 3 0 0 3の複数の目標のそれぞれごとに、 当 該目標の夕ーゲッ トが記述されたテキストデータと、 当該目標に寄与 することが明らかな 1以上の第 1のサービスの概要が記述されたテキ ストデータとに含まれる各単語について、 前記テキストデータに関す る特徴量を計算し、
前記生成部は、 前記目標ごとに計算された特徴量に基づいて前記文 章特徴行列を生成し、
前記評価部は、 前記第 2のサービスに係る各単語の特徴量と、 前記 文章特徴行列とに基づいて、 前記目標ごとに前記第 2のサービスが当 該目標に寄与する程度を評価する、
ことを特徴とする請求項 1又は 2記載の評価装置。
[請求項 4] 3
Figure imgf000012_0002
3のいずれかの目標の夕ーゲッ トが記述されたテキストデー 〇 2020/175156 1 1 卩（：170? 2020 /005587
夕と、 当該目標に寄与することが明らかな 1以上の第 1のサービスの 概要が記述されたテキストデータとに含まれる各単語について、 前記 テキストデータに関する特徴量を計算する第 1の計算手順と、 前記各単語の特徴量に基づいて文章特徴行列を生成する生成手順と 第 2のサービスの概要が記述されたテキストデータが入力されると 、 当該テキストデータに含まれる各単語について、 当該テキストデー 夕に関する特徴量を計算する第 2の計算手順と、
前記第 2のサービスに係る各単語の特徴量と、 前記文章特徴行列と に基づいて、 前記第 2のサービスが当該目標に寄与する程度を評価す る評価手順と、
をコンピュータが実行することを特徴とする評価方法。
[請求項 5] 前記文章特徴行列は、 前記目標と、 前記テキストデータに含まれる 各単語との確率頻度を要素とする行列である。
ことを特徴とする請求項 4記載の評価方法。
[請求項6] 前記第 1の計算手順は、 3 0 03の複数の目標のそれぞれごとに、 当該目標の夕ーゲッ トが記述されたテキストデータと、 当該目標に寄 与することが明らかな 1以上の第 1のサービスの概要が記述されたテ キストデータとに含まれる各単語について、 前記テキストデータに関 する特徴量を計算し、
前記生成手順は、 前記目標ごとに計算された特徴量に基づいて前記 文章特徴行列を生成し、
前記評価手順は、 前記第 2のサービスに係る各単語の特徴量と、 前 記文章特徴行列とに基づいて、 前記目標ごとに前記第 2のサービスが 当該目標に寄与する程度を評価する、
ことを特徴とする請求項 4又は 5記載の評価方法。
PCT/JP2020/005587 2019-02-25 2020-02-13 評価装置及び評価方法 Ceased WO2020175156A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/432,981 US11983495B2 (en) 2019-02-25 2020-02-13 Evaluation apparatus and evaluation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019031682A JP7139996B2 (ja) 2019-02-25 2019-02-25 評価装置及び評価方法
JP2019-031682 2019-02-25

Publications (1)

Publication Number Publication Date
WO2020175156A1 true WO2020175156A1 (ja) 2020-09-03

Family

ID=72238898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005587 Ceased WO2020175156A1 (ja) 2019-02-25 2020-02-13 評価装置及び評価方法

Country Status (3)

Country Link
US (1) US11983495B2 (ja)
JP (1) JP7139996B2 (ja)
WO (1) WO2020175156A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240119392A1 (en) * 2021-03-16 2024-04-11 Sony Group Corporation Information processing apparatus, information processing method, and program
JP7776689B1 (ja) * 2025-05-27 2025-11-26 東京瓦斯株式会社 評価システムおよび評価方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134732A (ja) * 2016-01-29 2017-08-03 株式会社リクルートホールディングス 類似度学習システム及び類似度学習方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4770495B2 (ja) 2006-02-03 2011-09-14 株式会社日立製作所 シミュレーションモデルジェネレータ
US20190026630A1 (en) * 2016-03-28 2019-01-24 Sony Corporation Information processing apparatus and information processing method
US10535277B2 (en) * 2017-01-09 2020-01-14 International Business Machines Corporation Automated test generator and evaluator

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134732A (ja) * 2016-01-29 2017-08-03 株式会社リクルートホールディングス 類似度学習システム及び類似度学習方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Possibility of SDGs business and rule formation", DELOITTE TOHMATSU CONSULTING LLC, December 2017 (2017-12-01), pages 1 - 145, Retrieved from the Internet <URL:https://webdesk.jda.or.jp/pdf/dev/md_3079.Pdf> *
OGURA, HIROYUKI: "A study on a Method of Implementation (;Assessment) for Sustainable Development on the Smart Cities", IEICE TECHNICAL REPORT, vol. 115, no. 463, 19 February 2016 (2016-02-19), pages 29 - 34 *

Also Published As

Publication number Publication date
US20220269860A1 (en) 2022-08-25
US11983495B2 (en) 2024-05-14
JP7139996B2 (ja) 2022-09-21
JP2020135726A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
Ferrara Should chatgpt be biased? challenges and risks of bias in large language models
CN107862087B (zh) 基于大数据和深度学习的情感分析方法、装置和存储介质
Suryadi et al. A data-driven methodology to construct customer choice sets using online data and customer reviews
JP7365267B2 (ja) 広告文自動作成システム
Briva-Iglesias The language engineer: A transversal, emerging role for the automation age
WO2022178011A1 (en) Auditing citations in a textual document
Cioffi Completing projects according to plans: an earned-value improvement index
Sajjadi Mohammadabadi et al. A survey of large language models: evolution, architectures, adaptation, benchmarking, applications, challenges, and societal implications
Li et al. NewsBench: a systematic evaluation framework for assessing editorial capabilities of large language models in chinese journalism
WO2020175156A1 (ja) 評価装置及び評価方法
Hiebl et al. Quality in human and machine translation: An interdisciplinary survey
D’haeseleer et al. AI Divides in Newsrooms? How Journalists in the Low Countries Use and Perceive Generative AI
Li et al. Topic modeling and evolutionary trends of China’s language policy: A LDA-ARIMA approach
CN116402166A (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
Honkanen et al. Media, media education, GAI and radical uncertainty
Onyibe et al. OMAM at SemEval-2017 Task 4: English sentiment analysis with conditional random fields
Dey et al. Middleman Bias in Advertising: Aligning Relevance of Keyphrase Recommendations with Search
JP7487768B2 (ja) 要約生成装置、要約生成方法及びプログラム
Corea et al. Empirical evidence of DMN errors in the wild-an SAP Signavio case study
US20200019975A1 (en) Reputation management
JP2016194684A (ja) キュレーション学習における課題指導
Singh Automated Fact-Checking: Developing Generative AI Models to Combat Misinformation in News Articles
Warke A Comprehensive Overview of Consumer Conflicts on Social Media
Tan Building Energy Modelling Workflows for Swedish Certification Assessments
Marjanovic et al. On Enabling Dynamic, Transparent, and Inclusive Government Consultative Processes with GenAIOpenGov DSS

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20762170

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20762170

Country of ref document: EP

Kind code of ref document: A1