JP4677563B2 - Decision support system and decision support method - Google Patents
Decision support system and decision support method Download PDFInfo
- Publication number
- JP4677563B2 JP4677563B2 JP2006066715A JP2006066715A JP4677563B2 JP 4677563 B2 JP4677563 B2 JP 4677563B2 JP 2006066715 A JP2006066715 A JP 2006066715A JP 2006066715 A JP2006066715 A JP 2006066715A JP 4677563 B2 JP4677563 B2 JP 4677563B2
- Authority
- JP
- Japan
- Prior art keywords
- opinion
- issues
- opinions
- issue
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 34
- 238000000605 extraction Methods 0.000 claims description 22
- 238000005065 mining Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 31
- 239000000284 extract Substances 0.000 description 13
- 241000282412 Homo Species 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 239000002245 particle Substances 0.000 description 9
- 230000009545 invasion Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241001385733 Aesculus indica Species 0.000 description 1
- 241001655798 Taku Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、人間が所与のテーマについて意思決定する際に関連する有用な情報を収集し提示して人間の意思決定を支援する意思決定支援システムに関する。 The present invention relates to a decision support system that collects and presents useful information related to a human being making a decision on a given theme and supports human decision making.
世の中を取り巻く環境やシステムの高度化及び複雑化の進展に伴って、人間が何らかの事項について合理的な判断を下すためには、多くの場合種々の観点からの評価基準に基づいて、より多くの情報を収集し整理してこれらを総合的に考慮した上で判断することが重要である。このため、従来からコンピュータとデータベースを利用した種々の意思決定支援システムが提案されている。 In order for human beings to make reasonable decisions on any matter as the environment and systems around the world progress and become more complex, in many cases, more and more evaluations are made based on evaluation criteria from various viewpoints. It is important to make a judgment after collecting and organizing information and considering them comprehensively. For this reason, various decision support systems using computers and databases have been proposed.
特開平08−83182号公報は、意思決定すべき対象に関する情報を入力し,指定された1または複数のソフトウェアによって入力対象情報を評価し,その評価結果または評価結果に基づく代替案を出力する代替案選択処理手段を備えた意思決定支援システムであって,前記代替案選択処理手段によって意思決定を行った事例を学習し,その入力対象情報および処理手順の情報を含む事例情報を抽出し、当該抽出した事例情報を蓄積し保存する事例蓄積手段を備えて、新たな意思決定のための対象に関する情報の入力に対し,入力した対象情報と前記事例蓄積手段に蓄積している事例ごとの入力対象情報とを比較し,対象情報が類似する事例を選び出して類似した事例の評価結果を,新たな意思決定のための対象に関する評価結果として出力するようにした意思決定支援システムを開示している。 Japanese Patent Laid-Open No. 08-83182 is an alternative in which information relating to an object to be decided is input, the input object information is evaluated by one or more designated software, and the evaluation result or an alternative plan based on the evaluation result is output. A decision support system comprising a plan selection processing means, which learns a case in which a decision is made by the alternative selection processing means, extracts case information including input target information and processing procedure information, and A case storage means for storing and storing the extracted case information is provided, and input target information for each case stored in the case storage means and the input target information in response to input of information related to a new decision-making target Compared with information, select cases with similar target information and output similar case evaluation results as target evaluation results for new decision making. Decision support system which is adapted to disclose.
また、特開2004−185614号公報は、意思の決定を行う際の複数の条件を要素として含む入力情報を受けて、所定の複数の意味要素のそれぞれと入力情報の各要素との相関及び相関強度を決定し、入力情報の各要素の相関及び相関強度によって表される目標に応じて、所定の複数の意味要素の相関及び相関強度を最適化することによって、最適化された結果を意思の決定を行う際の意思決定支援情報として出力するようにした意思決定支援装置を開示している。
しかし、これらの従来の意思決定支援システムは何れも、既に蓄積された事例情報及び入手可能な大量の情報の中から当該事例に有する類似事例を抽出して当該事例に関連する情報を整理した状態で提示するものであったり、さらには、当該事例と先行事例及び類似事例においての相関強度の傾向又は法則を発見しそれに基づいて目的遂行のための最適化された結果を示そうとするものであった。 However, all of these conventional decision support systems extract similar cases in the case from already accumulated case information and a large amount of available information, and organize information related to the case. In addition, it is intended to find the trend or law of correlation strength in the case and the preceding and similar cases and to show the optimized result for the purpose fulfillment based on it. there were.
このため、従来の意思決定支援システムにおいては、意思決定の対象である事例そのものの関連情報(同一事例及び類似事例)の中から当該事例を構成する要素毎の価値判断をしようとするものであって、世の中の多くの人の考えや意見等を広く参照したものではなかったことから、当該事例に係わる多くの世人の考えや意見から遊離した情報提示や提案を行う結果となることが多かったのである。 For this reason, in the conventional decision support system, it is intended to make a value judgment for each element constituting the case from the related information (same case and similar case) of the case itself that is the subject of decision making. As a result, many people in the world did not widely refer to the thoughts and opinions of the world, and this often resulted in information presentation and proposals that were free from the thoughts and opinions of many people related to the case. It is.
一方、近年のインターネットの目覚しい普及及び発展に伴って、所定のテーマについてインターネットウェブサーバに掲載されているアンケート結果、意見、レビュー、感想、ブログ等を閲覧することにより、当該テーマに関連する多くの客観情報及び主観情報を得ることが可能となっている。 On the other hand, along with the remarkable spread and development of the Internet in recent years, by browsing the questionnaire results, opinions, reviews, impressions, blogs, etc. posted on the Internet web server for a given theme, many related to the theme Objective information and subjective information can be obtained.
インターネット等で得た大量の情報の中からあるテーマに関する事項の内容を発掘して何らかの傾向等を抽出する手法をテキストマイニングと言うが、従来のテキストマイニング手法はその多くが、所与のテーマに関する客観情報と当該テーマに対する賛成又は反対等の主観情報を分類して提示するものであったことから、それを利用して意思決定のツールと使用とした場合その有用性は極めて低かったのである。 Text mining is a technique that uncovers the contents of a certain topic from a large amount of information obtained on the Internet and extracts some trends. Text mining is a technique that is mostly related to a given theme. Since objective information and subjective information such as approval or disagreement with respect to the subject were classified and presented, its usefulness was extremely low when it was used as a decision-making tool.
本発明は、テキストマイニング手法を有効活用し、所与のテーマに関連する多くの世人の意見に基づいての複数の論点を参照することにより合理的且つ妥当性のある決定支援のための判断情報を提供することが可能で、操作者の操作手法に左右されずに有用性に優れた意思決定支援システムの提供を目的とする。 The present invention makes effective use of a text mining technique and makes judgment information for rational and valid decision support by referring to a plurality of issues based on opinions of many people related to a given theme. It is an object of the present invention to provide a decision support system that is highly useful regardless of the operation method of the operator.
このため、本発明は、インターネットに接続されたマルチメディア上のデータを検索するブラウザを有するウェブ検索サーバと前記検索されたデータを収集格納するデータベースサーバとから成るデータベースと、前記データベースにアクセスして入力されたテーマについてテキストマイニングする装置と、により構成されたテキストマイニングによる意思決定支援システムであって、前記テキストマイニングする装置は、前記データベースにアクセスして、入力されたテーマに関連する肯定又は否定の意見に予め分類されている前記データベース内の意見テキスト群を収集し、当該意見テキスト群の中に現れる名詞句及び動詞句を前記テーマに関連する複数の論点として抽出する論点抽出手段と、前記複数の論点毎に、当該論点を含んでいる前記意見テキスト群の中から当該論点に対する肯定又は否定の何れか一方の立場を有する意見の割合を表す固有度を算出する固有度算出手段と、前記複数の論点毎に、前記意見テキスト群において前記肯定又は否定の何れか一方の立場の出現頻度の中で、前記一方の立場での前記論点の出現頻度の割合を求めることにより算出される前記論点に対する前記意見の重要度を算出する重要度算出手段と、前記論点を含んでいる意見テキスト群の中から重複して出現する名詞、動詞及び形容詞を含む内容語を前記論点に関連する関連語として抽出する関連語抽出手段と、前記複数の論点毎に肯定又は否定の複数の代表意見を前記内容語の出現頻度を計算することにより選定し、当該選定され複数の代表意見の出現頻度をスコアリングし、当該スコアリングのポイントの高い順に前記複数の代表意見を順位付けして出力する代表意見選択手段と、前記固有度と前記重要度の2次元面上に、前記複数の論点、当該論点毎の前記固有度、前記重要度、前記関連語及び前記代表意見をプロットした画像データを出力するインタフェース手段と、の各手段を有することを特徴とするテキストマイニングによる意思決定支援システムを提供するものである。 Therefore, the present invention provides a database comprising a web search server having a browser for searching data on multimedia connected to the Internet, a database server for collecting and storing the searched data, and accessing the database. A text mining decision support system configured by a text mining device for an input theme, wherein the text mining device accesses the database and determines whether the input theme is positive or negative. A point extraction means for collecting a group of opinion texts in the database that are pre-classified in the opinion, and extracting a noun phrase and a verb phrase appearing in the group of opinion texts as a plurality of points related to the theme; For multiple issues, include the issue A unique degree calculation means for calculating a specific degree represents the percentage of opinion with one position of positive or negative with respect to the issue among the opinion text group, for each of the plurality of issues, said in the opinion text group Importance calculation for calculating the importance of the opinion with respect to the issue point calculated by calculating the ratio of the appearance frequency of the issue point in the one position among the appearance frequencies of either the positive or negative position Means for extracting content words including nouns, verbs and adjectives appearing redundantly from the opinion text group including the discussion points as related terms related to the discussion points, and the plurality of discussion points A plurality of representative opinions that are affirmative or negative are selected by calculating the frequency of appearance of the content word, and the frequency of appearance of the selected representative opinions is scored. Representative opinion selection means for ranking and outputting the plurality of representative opinions in descending order of the points of the ring, and the plurality of issues and the uniqueness for each issue on the two-dimensional surface of the uniqueness and the importance And an interface unit that outputs image data in which the importance, the related word, and the representative opinion are plotted, and a decision support system based on text mining.
ここで、前記データベースは、インターネットに接続されたマルチメディア上のデータを検索するブラウザを有するウェブ検索サーバと、前記検索されたデータを収集格納するデータベースサーバとを含む。 Here, the database includes a web search server having a browser for searching for data on multimedia connected to the Internet, and a database server for collecting and storing the searched data.
また、前記代表意見選択手段は、前記論点の賛成と反対の立場毎に当該論点を含む前記意見テキスト群の全てを形態素解析する手段を含む。 The representative opinion selection means includes means for morphological analysis of all of the opinion text groups including the argument for each position opposite to approval of the argument.
このように、本発明においては、テキストマイニング手法を有効活用し、入力された所与のテーマに関連する意見テキスト群を収集し、この意見テキスト群の中から前記テーマに関連する複数の論点を抽出してその論点毎の肯定又は否定等の立場を有する意見の割合を表す固有度と、その論点毎の立場を含んでいる意見の重要度を算出することにより、当該テーマに関連する多くの世人の意見に基づいての複数の論点を参照することにより合理的且つ妥当性のある決定支援情報を提供することを可能にすると共に、操作者の操作手法に左右されずに有用性に優れた意思決定支援システムを提供することができたのである。 As described above, in the present invention, the text mining technique is effectively used to collect a group of opinion texts related to the given theme, and a plurality of points related to the theme are selected from the group of opinion texts. By calculating the degree of uniqueness that expresses the proportion of opinions that have a positive or negative position for each issue and the importance of opinions that include the position for each issue, many By making it possible to provide reasonable and valid decision support information by referring to multiple issues based on the opinions of the world, it is highly useful regardless of the operator's operation method. We were able to provide a decision support system.
また、本意思決定支援システムは、最新の時事問題に係る論点を含むテーマについて特に有効であり、最新の意見テキストを収集するので収集する情報内容が固定化又は陳腐化することがなく、当該テーマに関連する多くの人の意見のトレンドに応じた決定支援のための判断情報の提供を可能としているのである。 This decision support system is particularly effective for themes that include issues related to the latest current affairs, and since the latest opinion texts are collected, the information content collected is not fixed or obsolete. It is possible to provide judgment information for decision support in accordance with the trend of opinions of many people related to.
以下、本発明に係る意思決定支援システム及び意思決定支援方法の詳細について説明する。 Hereinafter, the details of the decision support system and the decision support method according to the present invention will be described.
図1は、本発明の意思決定支援システム10の構成機能ブロック図を示すものである。図1に示すように、本発明の意思決定支援システム10は、データベースサーバ118、ウェブ検索サーバ19及び複数の記憶装置(ディスク装置)22乃至24とにより構成されるデータベースを備える。
FIG. 1 shows a functional block diagram of a
このように、本意思決定支援システム10は、インターネットに接続されたマルチメディア上のデータを検索するブラウザを利用して、ウェブ検索サーバ19と検索されたデータを収集するデータベースサーバ18と所定のデータを格納しておく記憶手段22乃至24とから成るデータベースを有し、所与のテーマに関するテキストマイニングを行うことにより意思決定を支援するのである。
As described above, the
データベースサーバ18は、ベータベース管理システム(DBMS)を有し、当該DBMSの制御下において、所定の検索言語(例えばSQL)によりデータ要素が格納され、検索され加工されて出力される。尚、図1に示したファイヤーウォール21は、WWWインターネット25からの外部からの不正な侵入を防ぐためのものである。
The
本発明の意思決定支援システム10は、上記したデータベースにアクセスして、入力手段11により入力されたテーマに関連する意見テキスト群を収集し、この意見テキスト群の中から前記テーマに関連する複数の論点を抽出する論点抽出手段12を有する。ここで、この論点収集手段12は、入力されたテーマに関連する意見テキスト群の中に現れる名詞句及び動詞句を抽出することにより前記テーマに関連する複数の論点を抽出するようにしている。これにより、所与のテーマに関連する多くの世人の意見に基づいての複数の論点を参照するようにしているので、結果的に合理的且つ妥当性のある決定支援情報を提供することを可能としている。
The
そして、本発明の特に主要な構成として、論点抽出手段12により収集された複数の論点毎に、これを含んでいる意見テキスト群の中から当該論点に関して是認又は否定等の何れかの立場を有する意見の割合を表す固有度を算出する固有度算出手段13と、その複数の論点毎に、是認又は否定等の何れかの立場を含んでいる意見の重要度を算出する重要度算出手段14とを有するのである。 As a particularly main configuration of the present invention, each of the plurality of issues collected by the issue extraction means 12 has any position such as approval or denial with respect to the issue from a group of opinion texts including the issue. A uniqueness calculating means 13 for calculating the uniqueness representing the proportion of opinions, and an importance calculating means 14 for calculating the importance of an opinion that includes any position such as approval or denial for each of the plurality of issues. It has.
ここで、この固有度算出手段13により算出される固有度は、個々の前記論点に対する肯定の立場を有する意見の確率を求めることにより算出され、また、重要度算出段14による前記重要度は、全意見テキストにおいて肯定又は否定の何れか一方の立場における全論点の出現頻度の中で、当該一方の立場での論点の出現頻度の割合を求めることにより算出されるのである。このようにして、論点毎の意見の傾向とその重み付けがなされるのである。
Here, the uniqueness calculated by the uniqueness calculating
そして、本意思決定支援システムは、さらに、複数の論点に関連する関連語を抽出する関連語抽出手段15と、当該複数の論点毎に対する肯定又は否定の意見における複数の代表意見を選択する代表意見選択手段16を備える。ここで、関連語抽出手段15により抽出される関連語は、前記した複数の論点を含んでいる意見テキストの中から重複して出現する名詞、動詞及び形容詞等の内容語の中から抽出するようにしている。また、代表意見選択手段16は、ある論点を含む意見テキストの全てを形態素解析し、前記内容語の出現頻度を計算することにより前記複数の代表意見を選定し、当該選定され複数の代表意見の出現頻度をスコアリングすることにより複数の代表意見を順位付けして出力するようにしたのである。 The decision support system further includes a related word extracting unit 15 that extracts related words related to a plurality of issues, and a representative opinion that selects a plurality of representative opinions in affirmative or negative opinions for each of the plurality of issues. Selection means 16 is provided. Here, the related words extracted by the related word extracting means 15 are extracted from the content words such as nouns, verbs, and adjectives appearing in duplicate from the opinion text including the plurality of points discussed above. I have to. Further, the representative opinion selection means 16 performs morphological analysis on all of the opinion text including a certain argument, selects the plurality of representative opinions by calculating the appearance frequency of the content word, and selects the plurality of representative opinions selected. By scoring the appearance frequency, a plurality of representative opinions are ranked and output.
そして、インタフェース手段17は、表示装置の画面上において、前記固有度と前記重要度の2次元面上に前記複数の論点、前記関連語又は前記代表的意見をプロットした画像データを出力することにより、操作者に対して、意思決定支援情報を一目で視認し易い形態で表示する。これによって、操作者は、本意思決定支援システムを利用することにより、入力したテーマに関して、その操作手法に左右されずに、合理的且つ妥当性のある決定支援のための判断情報を得ることができるのである。
Then, the
図2は、本意思決定支援システムにおいて、収集された意見テキスト群の中から主観情報を抽出してから、意思決定を支援する情報画面を出力に至るまでのフローを模式的に表した図である。図2において、破線で囲まれている部分は、自動処理によって事前に行う。本システムは、あるテーマに対する意見を入力する。入力する意見は、対象のテーマに対して賛成か反対に分類されているものとする。入力した意見から「論点」を抽出し、それぞれの論点について、固有度と重要度を計算する。固有度は「賛成意見と反対意見のどちらで多く論じられているか」を表す尺度である。 FIG. 2 is a diagram schematically showing the flow from the extraction of subjective information from the collected opinion text group to the output of an information screen supporting decision making in this decision support system. is there. In FIG. 2, the portion surrounded by a broken line is performed in advance by automatic processing. This system inputs opinions on a certain theme. Opinions to be entered shall be classified as either in favor or against the subject theme. Extract “points” from the input opinions, and calculate the degree of specificity and importance for each point. Specificity is a measure that expresses "whether it is discussed in favor or disagreement".
重要度は「どれだけ多くの人に論じられているか」を表す尺度である。また、抽出された論点それぞれについて、関連語と代表的な意見を求める。インタフェースによって、論点の分布を可視化する。 Importance is a measure of how many people are discussing. In addition, for each of the extracted issues, a related word and a representative opinion are sought. Visualize the distribution of issues by interface.
図3は「株式会社による病院経営への参入」というテーマに対して論点の分布を可視化した例である。重要度を縦軸、固有度を横軸として2次元の平面上に論点が表示されている。 FIG. 3 is an example in which the distribution of points of issue is visualized with respect to the theme of “entering hospital management by a corporation”. The issues are displayed on a two-dimensional plane with the importance as the vertical axis and the specificity as the horizontal axis.
図3の中央付近にある「患者」、「診療」などの論点は、賛成派でも反対派でも論じられていることを表している。「競争」、「健康保険」、「改善」などの論点は、固有度が賛成派に寄っているので、賛成派の論拠となっている論点であることを表している。「利益」、「企業」、「医療法人」などの論点は、固有度が反対派に寄っているので、反対派の論拠となっている論点であることを表している。一方の立場に偏って論じられている論点は、逆の立場にとっては不利な論点であるか、もしくは議論が不十分なために一方の立場では未だ言及されていない論点である可能性がある。固有度を求めることで、それぞれの立場で何が論拠となっているのかがわかると同時に、議論が不十分な可能性が高い論点を発見することができる。また、図3中の反対派の論点を見てみると、「医療」の重要度が最も高く、「利益」、「企業」、「営利」と続いている。これは、反対派の人々には、これらの論点を重要と考えている人が多いことを表している。重要度を求めることで、多くの人が何を重要と考え議論しているのかを発見することができる。 The issues such as “patient” and “medical treatment” near the center of FIG. 3 indicate that both the pros and cons are discussed. The issues such as “competition”, “health insurance”, and “improvement” indicate that the specificities are close to the pros, so that they are the arguments of the pros. Issues such as “profit”, “business”, and “medical corporation” represent issues that are the basis of the opposition because the specificities are close to the opposition. The issues discussed in one position may be unfavorable for the opposite position, or may not be mentioned in one position due to insufficient discussion. By determining the degree of uniqueness, it is possible to find out what is the reasoning for each position, and at the same time to discover issues that are likely to be insufficiently discussed. Also, looking at the points of opposition in FIG. 3, “medicine” has the highest importance, followed by “profit”, “business”, and “profit”. This means that many opposition people think these issues are important. By finding the importance, you can discover what many people think important and discuss.
インタフェース上で固有度と重要度に基づいて可視化した論点を選択すると、その論点の関連語と代表的な意見が表示される。「株式会社の病院経営への参入」というテーマにおける「情報」という論点の関連語の表示例を図4に、代表的な意見の表示例を図5に示す。図4では、「情報」の周りに「営利」や「医療」などの関連語が表示されている。「医療」や「企業」といった、関連する論点も表示されている。図5では、「情報」について論じている意見の中で代表的なものが、賛成派と反対派から選択され表示されている。そこで、ユーザは、「情報」という論点が実際にどのように論じられているかを知ることができる。 When an issue point visualized on the interface based on uniqueness and importance is selected, related words and representative opinions of the issue point are displayed. FIG. 4 shows a display example of a related word of the issue of “information” in the theme of “entry into hospital management of a corporation,” and FIG. 5 shows a display example of a representative opinion. In FIG. 4, related words such as “for-profit” and “medical” are displayed around “information”. Related issues such as “medical” and “business” are also displayed. In FIG. 5, representative opinions discussed about “information” are selected and displayed from the pros and ops. Therefore, the user can know how the issue of “information” is actually discussed.
Web上の掲示板などで、議論に途中から参加したユーザが既に議論された点について発言することがある。それに対して、「その点は既に検討済み」や「○月○日の投稿を見よ」などの反応が返ってくることがある。過去に議論された論点を把握し、重要な論点に対する代表的な意見を拾い読みすることができれば、前述のような無駄なやり取りを回避することができる。 On a bulletin board on the Web or the like, a user who has participated in the discussion from the middle may make a statement about the points already discussed. On the other hand, responses such as “The point has already been considered” or “See the post on the day of the month” may be returned. If the points discussed in the past can be grasped and representative opinions on important points can be browsed, such a wasteful exchange as described above can be avoided.
以下、A〜Eで、「論点の抽出」、「固有度の計算」、「重要度の計算」、「関連語の抽出」、「代表的な意見の選択」の各処理について説明し、Fでインタフェースについて説明する。Gで多段階評価への応用について説明する。 In the following, A to E explain each of the processing of “extraction of points”, “calculation of uniqueness”, “calculation of importance”, “extraction of related words”, and “selection of representative opinions”, and F Describes the interface. G explains the application to multi-stage evaluation.
A.論点の抽出
(1)概要
システムの実装に先立ち、論点がどのような形式で表現されているのかを確認するために、ewomanとBSディベートに掲載された意見を人手で分析した。その結果、論点となる範囲は、「単語」、「フレーズ」、「係り受け(文)」、「文章」など、様々であることがわかった。本システムで扱う論点のモデルを複雑にすると、表現能力は増す。しかし、解析精度は低下してしまう。そこで、現在の自然言語処理技術で誤りを少なく抽出できる「単語」、「フレーズ」、「係り受け」で表現される論点を抽出対象とする。具体的には、意見中の名詞句と動詞句を抽出する。実際に、「株式会社の病院経営への参入」というテーマに対する反対意見の1つを本システムに入力した場合に抽出された論点の例を図6に示す。ここで、動詞句は助詞を削除して、「名詞_動詞」の形式に統一している。詳細は(3)で説明する。
A. Extraction of issues (1) Outline Prior to the implementation of the system, in order to confirm the format in which issues are expressed, we manually analyzed the opinions posted on women and BS debates. As a result, it was found that the range of issues is various such as “word”, “phrase”, “dependency (sentence)”, “sentence”, and the like. The complexity of the model of issues handled in this system increases the expression ability. However, the analysis accuracy is lowered. Therefore, the issues expressed by “word”, “phrase”, and “dependency” that can be extracted with a small amount of errors by the current natural language processing technology are extracted. Specifically, noun phrases and verb phrases in the opinion are extracted. FIG. 6 shows an example of issues extracted when one of the objections to the theme of “entry into hospital management of a corporation” is actually input to this system. Here, verb phrases are unified in the form of “noun_verb” by deleting particles. Details will be described in (3).
(2)名詞句の抽出
名詞句を抽出するために、ChaSen(http://chasen.naist.jp/hiki/ChaSen)によって意見テキストを形態素解析して、品詞情報を利用する。ChaSenは、入力した文を形態素解析し、形態素、読み、原形、品詞情報を出力するツールである。図7に、「情報を公開することは重要だ」と入力した場合のChaSenの出力例を示す。「情報」、「公開」、「重要」の品詞として、それぞれ「名詞-一般」、「名詞-サ変接続」、「名詞-形容動詞語幹」が付された。このように、名詞に対して、さらに細かい分類まで出力される。これらの品詞情報を利用して名詞句を構成し、論点として抽出する。
(2) Extraction of noun phrases In order to extract noun phrases, opinion text is morphologically analyzed by ChaSen (http://chasen.naist.jp/hiki/ChaSen), and part-of-speech information is used. ChaSen is a tool that morphologically analyzes an input sentence and outputs morpheme, reading, original form, and part of speech information. FIG. 7 shows an output example of ChaSen when “It is important to disclose information” is input. “Noun-general”, “noun-sa-variant connection”, and “noun-adjective verb stem” were added as parts of speech for “information”, “public”, and “important”, respectively. In this way, even finer classifications are output for nouns. Using these parts of speech information, noun phrases are constructed and extracted as points of argument.
具体的には、表1に挙げたパターンが意見テキストに出現したら、名詞句としてまとめる。「/」は形態素の境界を表す。表1の(a)〜(f)は単純に連結させるパターンであり、(g)は言い換えを行うパターンである。(g)は、表記が異なっていても同じ意味である表現を統一するための規則である。 Specifically, if the patterns listed in Table 1 appear in the opinion text, they are collected as noun phrases. “/” Represents a morpheme boundary. (A) to (f) in Table 1 are patterns that are simply connected, and (g) is a pattern that performs paraphrasing. (G) is a rule for unifying expressions having the same meaning even if the notation is different.
名詞とサ変動詞語幹の名詞との間にある助詞を省くことにより、「情報を公開」、「情報の公開」、「情報が公開」といった表現を、全て「情報公開」に統一する。(a)〜(g)のいずれかに合致するパターンが連続している場合は、各パターンを個別に抽出する。例えば、「高い医療費を削減」という文字列からは、(a)(e)(g)によって、「医療費」、「高い医療費」、「医療費を削減」を網羅的に抽出する。これは、形容詞、形容動詞、サ変動詞を含む名詞句は、論点として抽出する範囲の判断が難しいためである。 By omitting the particles between the nouns and the nouns of the sub-variable stems, the expressions “information disclosure”, “information disclosure”, and “information disclosure” are all unified to “information disclosure”. When patterns that match any one of (a) to (g) are continuous, each pattern is extracted individually. For example, “medical expenses”, “high medical expenses”, and “reduced medical expenses” are exhaustively extracted from the character string “reduced high medical expenses” by (a), (e), and (g). This is because it is difficult to determine the range of noun phrases including adjectives, adjective verbs, and sa-variants as points to be extracted.
(a)のパターンで構成される名詞句が3語以上の名詞で構成されている場合は、最長の名詞句だけを抽出する。例えば、「独占/禁止/法」の場合、「独占禁止」と「禁止法」は抽出せず、「独占禁止法」だけを抽出する。これは、「独占禁止法」について論じる人は常に「独占禁止法」という表現を用い、「独占禁止」や「禁止法」という表現は用いないと考えるためである。テーマに含まれる名詞句は、論点でなくても意見テキストに高頻度で出現する傾向にある。そこで、テーマに含まれる名詞句は論点として抽出しない。 When the noun phrase composed of the pattern of (a) is composed of three or more nouns, only the longest noun phrase is extracted. For example, in the case of “monopoly / prohibition / law”, “monopoly prohibition” and “prohibition law” are not extracted, but only “monopoly prohibition law” is extracted. This is because a person who discusses the “antitrust law” always uses the expression “antimonopoly law” and does not use the expression “antimonopoly” or “prohibition law”. Noun phrases included in the theme tend to appear frequently in opinion texts even if they are not issues. Therefore, noun phrases included in the theme are not extracted as points of argument.
また、複数の語によって構成される名詞句の他に、単独の名詞も論点として扱う。ただし、一般的な語を除くため、2文字以上の名詞のみを対象とし、賛成か反対の立場内で1回しか出現しない名詞は論点として抽出しない。 In addition to a noun phrase composed of a plurality of words, a single noun is also treated as an argument. However, in order to exclude common words, only nouns with two or more letters are targeted, and nouns that appear only once in the position of approval or disagreement are not extracted as points of argument.
また、ChaSenで「数詞」、「代名詞」、「接尾」、「非自立」、「副詞可能」、「ナイ形容詞語幹」と解析された名詞は削除する。 In addition, nouns analyzed by ChaSen as “numerical”, “pronoun”, “suffix”, “non-independent”, “adverb possible”, “Nay adjective stem” are deleted.
さらに、どのテーマにおいても「論点にはならない」語を経験的に集めてストップワードとした。ストップワードは単独では論点にならない。しかし、他の単語と共に名詞句を構成する場合には、論点として抽出されることがある。ストップワードを表2に示す。 Furthermore, words that are “not an issue” in all themes were collected empirically and used as stop words. Stopwords are not an issue alone. However, when constructing a noun phrase together with other words, it may be extracted as an issue point. Table 2 shows the stop words.
(3)動詞句の抽出
「株式会社による病院経営への参入」というテーマについて、「利益」という名詞だけを見ても、「利益を求める」なのか「利益を無視する」のかがわからないと、論点として適切でないことがある。そこで、CaboCha(http://chasen.org/~taku/software/cabocha/)を用いて意見テキストの係り受け解析を行い、解析結果に基づいて動詞句を抽出する。
(3) Extracting verb phrases Regarding the theme of “entering hospital management by a corporation”, if you just look at the noun “profit”, you do n’t know whether you want “profit” or “ignore profit”. It may not be appropriate as an issue. Therefore, dependency analysis of opinion text is performed using CaboCha (http://chasen.org/~taku/software/cabocha/), and a verb phrase is extracted based on the analysis result.
図8に「医療は利益追求になじまない」という文をCaboChaで解析した例を示す。「*」の後にある数字が文節の番号を表し、その次の番号が、その文節が係る文節の番号を表している。各文節は形態素解析され、それぞれの形態素の品詞情報が出力される。「医療は利益追求になじまない」の場合は、「医療は」と「利益追求に」が「なじまない」に係っている。これらの情報を利用して、名詞と助詞で構成される文節が動詞に係っている表現を論点として抽出する。 FIG. 8 shows an example in which a sentence “Medical care is not suitable for profit pursuit” is analyzed by CaboCha. The number after “*” represents the number of the clause, and the next number represents the number of the clause related to the clause. Each clause is morphologically analyzed and the part of speech information of each morpheme is output. In the case of “medicine is not suitable for profit pursuit”, “medical is” and “for pursuit of profit” are related to “not suitable for pursuit of profit”. Using these pieces of information, we extract the expressions in which the clauses composed of nouns and particles are related to the verbs.
ただし、主語または目的語となる名詞が「代名詞」か「非自立」である場合は抽出しない。また、助詞と動詞が「と+する」の場合や、抽出した動詞句が「問題がある」「気にする」のような高頻度表現の場合は、論点として抽出しない。 However, if the noun that is the subject or object is “pronoun” or “non-independent”, it is not extracted. Also, if the particle and verb are “to +”, or if the extracted verb phrase is a high-frequency expression such as “problem” or “worry”, it is not extracted as an argument.
抽出した動詞句は、「お金を払う」と「お金は払う」のように助詞が異なっていても本質的に同じ表現を統一するため、助詞を削除して「_」に置き換える。 In the extracted verb phrase, even if the particles are different, such as “pay money” and “pay money”, the same expression is unified, so the particle is deleted and replaced with “_”.
(2)の手法では、サ変動詞を名詞句として扱うので、動詞句として扱うのはサ変動詞以外の動詞とした。例えば、「無駄を省き経費を削減する」という文からは、「無駄を省く」と「経費を削減する」という動詞句が抽出される。しかし、「経費を削減する」は、(2)の手法により「経費削減」という名詞句として抽出される。したがって、この文からは、「無駄を省く」から助詞を省いた「無駄_省く」という論点だけが抽出される。 In the method (2), the sa-verb is treated as a noun phrase, so the verbs other than the sa-verb are treated as verb phrases. For example, from the sentence “eliminate waste and reduce costs”, verb phrases “eliminate waste” and “reduce costs” are extracted. However, “reducing expenses” is extracted as a noun phrase “reducing expenses” by the method (2). Therefore, from this sentence, only the argument “no use_exclusion” in which the particle is omitted from “no use” is extracted.
B.固有度の計算
論点Aの固有度とは、「論点Aがどちらの立場で多く論じられているか」を表す尺度である。論点Aの固有度を、「意見を1つ選んだとき、その意見が論点Aについて論じており、かつ賛成派の意見である」という条件付き確率と、「意見を1つ選んだとき、その意見が論点Aについて論じており、かつ反対派の意見である」という条件付き確率の差で計算する。具体的には、論点Aの固有度を数1で計算する。
B. Calculation of the Specificity The uniqueness of the issue A is a measure that represents “from which standpoint the issue A is discussed.” The degree of peculiarity of issue A is defined as the conditional probability that “when one opinion is selected, the opinion discusses issue A and is the opinion of the proponent” and “when one opinion is selected, Calculation is based on the difference in conditional probability that the opinion is about point A and is the opinion of the opponent. Specifically, the uniqueness of the issue point A is calculated by
表3に、「株式会社の病院経営への参入」というテーマから抽出された論点と固有度の例を示す。固有度が1に近い「健康保険」や「顧客ニーズ」などは主に賛成派の論拠であり、固有度が−1に近い「利益追求」や「医療法人」などは主に反対派の論拠である。「美容整形」の固有度は0であるので、賛成側派と反対派の両方で論じられている中立的な論点である。 Table 3 shows examples of issues and specificities extracted from the theme of “participation in hospital management of a corporation”. “Health insurance” and “customer needs” with a uniqueness close to 1 are mainly arguments for the pros, while “profit pursuit” and “medical corporation” with a uniqueness close to -1 are mainly for the opposition. It is. Since the degree of uniqueness of “Cosmetology” is 0, it is a neutral issue discussed by both the pros and cons.
C.重要度の計算
論点の重要度は、賛成派と反対派によって異なる値を持つ。立場Xにおける論点Aの重要度とは、「論点Aが立場Xでどれだけ多くの人に論じられているか」を表す尺度である。
C. Calculation of importance The importance of an issue has different values for the pros and ops. The importance of the issue point A in the position X is a scale that represents “how many people are discussing the issue point A in the position X”.
論じている人が多い論点ほど、その立場で重要な論点であると考える。
具体的には、数3を用いて計算する。
I think that issues with more people are the more important issues in that position.
Specifically, the calculation is performed using
ただし、まずは数1を用いて論点Aの固有度を計算し、固有度が大きい立場に論点Aを固定する。そして、その立場についての重要度を計算する。しかし、固有度が0の論点は、賛成と反対の立場ごとに重要度を求め、それらを平均して最終的な重要度とする。
However, first, the uniqueness of the issue A is calculated using
1つのテーマ内で、重要度が他の論点と比べて非常に高い論点は、そのテーマによく出現する一般名詞であることが多い。そこで、経験的に、重要度が20.0×10−3以上の名詞は論点として抽出しない。 Within one theme, issues that are much more important than other issues are often common nouns that often appear in the theme. Therefore, empirically, nouns with an importance of 20.0 × 10 −3 or more are not extracted as points of argument.
表4に、「株式会社の病院経営への参入」というテーマから抽出された論点と重要度の例を示す。「改善」から「顧客ニーズ」までの4件は賛成派寄りの論点であり、「医療法人」から「利益追求」までの4件は反対派寄りの論点である。「美容整形」は固有度が0であるため、賛成と反対の立場で計算した重要度の平均を重要度とする。賛成派は「改善」について主に論じており、反対派は「医療法人」について主に論じていることがわかる。 Table 4 shows examples of issues and importance extracted from the theme of “participation in hospital management of a corporation”. The four cases from “improvement” to “customer needs” are the issues of the pros and cons, and the four cases from “medical corporation” to “profit pursuit” are the issues of the opposition. Since the degree of uniqueness of “Cosmetology” is 0, the average of the importance calculated from the standpoint of approval and the opposite is used as the importance. It can be seen that the pros discuss mainly “improvement” and the dissent mainly discuss “medical corporation”.
D.関連語の抽出
1つの言葉だけを見ても意味がわからない場合や、1つの言葉から様々な連想を行う場合に、「関連語」が役に立つことがある。そこで、各論点の関連語を意見中から抽出して表示する機能を持たせる。本意思決定支援システムでは、「関連する語」と「関連する論点」の2つを関連語として抽出する。賛成派と反対派の両方で論じられている論点の場合は、固有度によって立場を固定した上で関連語を抽出する。
D. Extraction of related words “Related words” may be useful when the meaning of a single word is unknown or when various associations are made from one word. Therefore, a function to extract and display related words of each issue point from the opinion is provided. In the present decision support system, two of “related words” and “related issues” are extracted as related words. In the case of issues discussed by both the pros and cons, the related terms are extracted after fixing their positions based on their uniqueness.
(1)関連する内容語の抽出
「株式会社の病院経営への参入」というテーマでは、「改善」が論点として抽出される。
このテーマにおいて「改善」の対象として論じられているのは、「医療」や「医者」の現状である。したがって、「改善」という論点と「医療」や「医者」は関連が高く、同じ意見内に共出現することが多い。そこで、論点Aが論じられている意見の中によく出現する内容語を、論点Aの関連語として抽出する。内容語とは、本意思決定支援システムでは名詞、動詞、形容詞とする。
(1) Extraction of related content words In the theme of “entry into hospital management of a corporation”, “improvement” is extracted as an issue.
The subject of “improvement” in this theme is the current status of “medicine” and “doctor”. Therefore, the issue of “improvement” and “medicine” and “doctor” are highly related and often co-occur in the same opinion. Therefore, the content words that frequently appear in the opinion in which the point A is discussed are extracted as the related words of the point A. Content words are nouns, verbs, and adjectives in this decision support system.
ただし、一般的な語を除くため、表2に挙げた名詞と、「する」や「なる」などの使用頻度が高い動詞は人手でストップワードとして定義し、関連語から排除する。 However, in order to exclude common words, the nouns listed in Table 2 and frequently used verbs such as “do” and “naru” are manually defined as stop words and excluded from related words.
論点Aと内容語Bが同じ意見内に出現する頻度を単純に計上しただけでは、正確な関連度とはならない。一方の出現頻度だけが高い場合に、AとBに関連があるとは限らないからである。そこで、AとBの共出現頻度も考慮する必要がある。本手法では、論点Aと内容語Bの関連度は、数4に示すダイス係数によって計算する。 Simply counting the frequency at which the issue A and the content word B appear in the same opinion does not give an accurate relevance. This is because A and B are not always related when only one of the appearance frequencies is high. Therefore, it is necessary to consider the co-occurrence frequency of A and B. In this method, the degree of association between the issue point A and the content word B is calculated by the dice coefficient shown in Equation 4.
F(A)は論点Aが出現する立場Xの意見数、F(B)は内容語Bが出現する立場Xの意見数、F(A,B)は論点Aと内容語Bが共出現する立場Xの意見数を表す。数4の値が大きいほど、AとBの関連度が高いと見なす。 F (A) is the number of opinions in position X where issue A appears, F (B) is the number of opinions in position X where content word B appears, and F (A, B) is the co-occurrence of issue A and content word B Indicates the number of opinions of position X. The greater the value of Equation 4, the higher the degree of association between A and B.
表5に、「株式会社の病院経営への参入」というテーマから抽出された論点と関連語の例を示す。 Table 5 shows examples of issues and related words extracted from the theme of “entry into hospital management of a corporation”.
(2)関連する論点の抽出
「株式会社の病院経営への参入」というテーマの場合、「顧客ニーズ」という論点と「美容整形」という論点は、「特に美容整形では顧客ニーズに応じた医療が展開されている」といった論調で、同じ意見内で共に論じられることが多い。このような、同じ意見の中で共に論じられることが多い論点の組を抽出する。
論点Aと論点Bの関連度は、数4と同様にDice係数を用いて計算する。
(2) Extraction of related issues In the case of the theme of “entering hospital management of a corporation”, the issue of “customer needs” and the issue of “cosmetic surgery” It is often discussed together in the same opinion. Extract a set of points that are often discussed together in the same opinion.
The degree of relevance between issue point A and issue point B is calculated using the Dice coefficient, as in Equation 4.
表6に、「株式会社の病院経営への参入」というテーマから抽出された論点と関連する論点の例を示す。1つの論点に対して、「関連する語」と「関連する論点」の両方として抽出される語がある。 Table 6 shows an example of issues related to issues extracted from the theme of “entering hospital management of a corporation”. For one issue, there are words that are extracted as both “related words” and “related issues”.
E.代表的な意見の選択
ユーザが、ある論点が実際にどのような文脈で論じられているのか知りたいときに、その論点を含む意見を全て読むのは効率が悪い。そこで、ユーザが指定した論点を含んでいる意見の中から代表的な意見を選択する。
E. Choosing a representative opinion When a user wants to know in what context an issue is actually discussed, it is inefficient to read all the opinions that contain that issue. Therefore, a representative opinion is selected from the opinions including the issue point designated by the user.
本意思決定支援システムでは、指定した論点を含む意見テキスト群の中で出現頻度が高い語を多く含む意見ほど、意見群全体の傾向を反映しており、代表的であると考える。 In this decision-making support system, the opinion text group including the specified issue points reflects the tendency of the opinion group as a whole and is considered to be more representative.
論点Aを含む意見の中から代表的な意見を選択する処理は、以下の手順で行う。
1.賛成と反対の立場ごとに、論点Aを含む意見テキスト全てを形態素解析し、内容語の出現頻度を調べる。
The process of selecting a representative opinion from the opinions including the issue A is performed according to the following procedure.
1. In each of the opposite positions, the opinion text including issue A is morphologically analyzed to determine the frequency of occurrence of content words.
2.数5を用いて意見Xのスコアを計算する。このスコアが高いほど重要な意見であることを表す。
2. The score of opinion X is calculated using
3.スコアが高い順に意見をソートし、順位付きリストとして出力する。
この処理を賛成と反対の立場でそれぞれ行い、「賛成の立場で代表的な意見」と「反対側の立場で代表的な意見」を表示する。そこで、ユーザは同じ論点について賛成派と反対派の意見を比較することができる。
3. Sort the opinions in descending order of score and output as a ranked list.
This processing is performed in a position opposite to and in favor, and “representative opinion in favor” and “representative opinion in the opposite side” are displayed. The user can then compare the opinions of the pros and cons on the same issue.
数5において、逆の立場に含まれる内容語の重みを下げることによって、代表的な意見の選択精度を高められる可能性がある。しかし、さらなる検討は今後の研究課題である。
In
F.インタフェース
A〜Eで説明した手法によって、入力した意見テキスト群から、「論点」、「各論点の重要度」、「各論点の固有度」、「関連語」、「代表的な意見」が得られる。これらを集約して表示するインタフェースをFlashによって実装した。
F. Using the methods described in Interfaces A to E, “the issues”, “the importance of each issue”, “the uniqueness of each issue”, “related words”, and “representative opinions” are obtained from the input opinion text group. It is done. An interface that aggregates and displays these is implemented by Flash.
図3は、「株式会社の病院経営への参入」というテーマについて、固有度を横軸、重要度を縦軸として論点を表示した図である。ここで表示されている論点は、入力した意見から抽出された論点のうち、各立場における重要度が決められた閾値よりも高い論点である。 FIG. 3 is a diagram showing the points of concern regarding the theme of “entering hospital management of a corporation” with the uniqueness as the horizontal axis and the importance as the vertical axis. The issues displayed here are issues extracted from the input opinion that are higher than the threshold that determines the importance in each position.
右側の操作パネルから論点の重要度の下限を指定することで、表示する論点の個数を調節することができる。 The number of issues to be displayed can be adjusted by designating the lower limit of the importance of issues from the operation panel on the right side.
図4は、論点の関連語と関連する論点を表示させた結果である。論点をクリックすると、その周囲に関連度が高い語の上位4件が表示される。図4では、「情報」の関連語として、「営利」、「医療」、「企業」、「公開」が表示されている。関連する語は、複数の論点について同時に表示させ、比較することが可能である。右側の操作パネルには、クリックした論点の固有度と重要度の値が表示される。操作パネルから「関連する論点を表示する」を選択すると、関連度が高い論点のうち、その場に表示されているものの色が変わる。図4では、「情報」と関連する論点として、「情報公開」、「医療」、「営利」、「企業」という論点が表示されている。 FIG. 4 shows the result of displaying the related points of the related points and the related points. Clicking on an issue point displays the top four words with the highest degree of relevance. In FIG. 4, “profit”, “medical”, “company”, and “public” are displayed as related words of “information”. Related words can be displayed and compared for multiple issues at the same time. The right operation panel displays the uniqueness and importance values of the clicked issue. When “display related issues” is selected from the operation panel, the color of the issues with high relevance displayed on the spot changes. In FIG. 4, the issues “information disclosure”, “medical care”, “profit”, and “company” are displayed as issues related to “information”.
図5は、指定した論点について論じている意見の中から、代表的な意見を表示した結果である。詳しく調べたい論点をクリックし、操作パネルから「代表的な意見を見る」を選択すると、その論点について論じている意見の中から、Eの手法で得られる順位付きリストの上位3件が表示される。指定した論点が賛成でも反対でも論じられていれば、図5のように、賛成の立場で代表的な意見と、反対の立場で代表的な意見が同時に表示される。ユーザは、指定した論点がそれぞれの立場で実際にどのように論じられているのかを比較することができる。 FIG. 5 shows the result of displaying a representative opinion from among the opinions discussing the designated issue point. Click on the issue you wish to examine in detail, and select “View representative opinions” from the operation panel. The top 3 items in the ranked list obtained by the E method will be displayed from the opinions discussed on the issue. The If the specified issue is discussed in both favor and disagreement, a representative opinion in the position of approval and a representative opinion in the opposite position are displayed simultaneously as shown in FIG. The user can compare how the specified issues are actually discussed in their respective positions.
G.多段階評価への応用
「星5つ」のような多段階評価のレビューを星の数によって賛成派と反対派に分類することで、本システムに入力することが可能である。図9は、映画「スター・ウォーズ
エピソード3」のレビュー(http://moviessearch.yahoo.co.jp/detail?ty=mv\&id=321602)のうち、星の数が1〜3個のレビューを「反対」、4〜5個のレビューを「賛成」とみなして入力した結果である。「アナキン」や「オビワン」といった登場人物の名前や、「戦闘シーン」、「ストーリー展開」などが論点として抽出された。
G. Application to multi-level evaluation By classifying reviews of multi-level evaluation such as “5 stars” into pros and ops according to the number of stars, it is possible to input to this system. Figure 9 shows reviews of the movie Star Wars Episode 3 (http://moviessearch.yahoo.co.jp/detail?ty=mv\&id=321602) with 1 to 3 stars Is “opposite”, and 4 to 5 reviews are regarded as “agree” and are input. The names of characters such as “Anakin” and “Obiwan”, “battle scene”, “story development”, etc. were extracted as issues.
H.評価実験
(1)概要
システムの評価方法には、「ブラックボックステスト」と「グラスボックステスト」と呼ばれる2つの方法がある。ブラックボックステストは、入力出力のみでシステムの性能を評価する方法である。しかし、システムが複数の要素で構成されている場合は、各要素の貢献度を個別に評価する必要がある。そこで、グラスボックステストは、システムを構成する各要素の性能を個別に評価する。システムの評価を行う場合には、これら2つの評価を行うことが必要である。
H. Evaluation Experiment (1) Overview There are two system evaluation methods called “black box test” and “glass box test”. The black box test is a method for evaluating the performance of a system only with input and output. However, when the system is composed of a plurality of elements, it is necessary to evaluate the contribution of each element individually. Therefore, the glass box test individually evaluates the performance of each element constituting the system. When evaluating the system, it is necessary to perform these two evaluations.
本意思決定支援システムで作成したシステムは、人間の意思決定支援を目的としている。そのため、本システムに対してブラックボックステストを行う場合、システムを被験者に使用してもらって、意思決定にどのくらい役立ったかを評価する必要がある。しかし、被験者が個人かグループかによって、意思決定がユーザに及ぼす影響は異なる。また、テーマによっても得られる結果が異なる可能性がある。すなわち、「不確定な要素」が多い。不確定要素が多い評価実験を行う例として、TREC(http://trec.nist.gov/)やNTCIR(http://research.nii.ac.jp/index-ja.html)などの評価ワークショップがある。これらのワークショップでは、1年から1年半の期間をかけて、情報検索や自然言語処理の評価データや評価手法を開拓していく。言い換えれば、評価実験の方法を確立すること自体が1つの研究テーマである。そこで、本意思決定支援システムはブラックボックステストは行わずに、グラスボックステストだけを行った。具体的には、「論点の抽出」、「名詞句の言い換え」、「固有度の計算」、「代表的な意見の選択」を評価した。 The system created by this decision support system is intended for human decision support. For this reason, when performing a black box test on this system, it is necessary to have the subject use the system to evaluate how useful it was for decision making. However, the influence of decision making on the user differs depending on whether the subject is an individual or a group. Also, the results obtained may differ depending on the theme. That is, there are many “indeterminate elements”. Evaluation work such as TREC (http://trec.nist.gov/) and NTCIR (http://research.nii.ac.jp/index-en.html) are examples of conducting evaluation experiments with many uncertainties. There is a shop. These workshops will develop evaluation data and methods for information retrieval and natural language processing over a period of one to one and a half years. In other words, establishing a method for an evaluation experiment itself is one research theme. Therefore, this decision support system only performed the glass box test, not the black box test. Specifically, “extraction of points”, “paraphrase of noun phrases”, “calculation of uniqueness”, and “selection of representative opinions” were evaluated.
評価用のデータには、時事問題に対する意見テキストを使用した。いずれも、不特定多数のユーザが投稿した意見情報を公開しているウェブサイトから人手で収集した。表7に、使用したテーマ、意見数、出典を示す。なお、「郵政民営化に賛成ですか」については、ewomanに掲載されていた意見30件に、首相官邸のホームページに掲載されていた意見18件を合わせて評価対象とした。また、以降の説明では、簡単のために表7の「略記」に示したキーワードで各テーマを区別する。評価の客観性を高めるために、各テーマにつき2名の判定者に評価を依頼した。 Opinion text on current affairs was used for the evaluation data. All of them were collected manually from a website that published opinion information posted by an unspecified number of users. Table 7 shows the themes used, the number of opinions, and the sources. For “Do you agree with the privatization of the postal service”, the evaluation was made by combining the 30 opinions posted on the ewoman and the 18 opinions posted on the Prime Minister's official website. In the following description, for the sake of simplicity, each theme is distinguished by the keyword shown in “abbreviation” in Table 7. In order to increase the objectivity of evaluation, we asked two judges to evaluate each theme.
(2)「論点の抽出」の評価
a)実験方法
本意思決定支援システムは、意見中の名詞句と動詞句を論点として抽出し、論点の分布を2次元の平面上に表すことで、意見が対立する構図を可視化する。そのため、論点の抽出は、システム全体の性能に及ぼす影響が大きい。具体的には、以下の観点について評価する。
(2) Evaluation of “extracting issues” a) Experimental method This decision support system extracts noun phrases and verb phrases in opinions as issues, and expresses the distribution of issues on a two-dimensional plane. Visualize the composition with which. Therefore, the extraction of the issue point has a great influence on the performance of the entire system. Specifically, the following viewpoints are evaluated.
i)論点を名詞句と動詞句として抽出する手法が妥当であるか
ii)人間が抽出した論点をシステムがどれだけ抽出できるか
「論点の抽出」の目的は、人間が抽出した論点を、システムによって正確かつ網羅的に抽出することである。そこで、正確性と網羅性を「精度」と「再現率」でそれぞれ求める。
i) Is the method of extracting the issues as noun phrases and verb phrases appropriate? ii) How much the system can extract the issues extracted by humans The purpose of “extract issues” is to extract the issues extracted by humans into the system To extract accurately and exhaustively. Therefore, accuracy and completeness are calculated by “accuracy” and “reproducibility”, respectively.
テーマごとに、システムで抽出した論点と判定者が抽出した論点を比較し、数6と数7によって精度と再現率を計算する。 For each theme, the issues extracted by the system and the issues extracted by the determiner are compared, and the accuracy and recall are calculated using Equations (6) and (7).
システムは、抽出した各論点について、まず固有度が大きい方の立場(賛成か反対)に分類する。そして、賛成と反対それぞれの立場に分類された複数の論点群を重要度に基づいてソートして、順位付きリストを作る。最後に、賛成と反対の各リストについて上位N件の論点を抽出し、精度と再現率を計算する。なお、Nを段階的に増やしながら精度と再現率の変化を観測する。判定者には、表7に示したテーマに対する賛成意見と反対意見のリストを渡した。 The system first categorizes each extracted issue into a position with higher specificity (in favor or opposite). Then, a plurality of argument groups classified into the pros and cons positions are sorted based on the importance to create a ranked list. Finally, the top N issues are extracted for each list against and against, and the accuracy and recall are calculated. Note that changes in accuracy and recall are observed while increasing N in stages. Judges were given a list of pros and cons for the themes shown in Table 7.
判定者は、各意見を読んで、論点だと思う箇所を抜粋した。論点とは、各意見の「賛成または反対の論拠となっている部分」と定義した。抜粋する単位は、語、句、文などを問わない。また、1つの意見に論点だと思う箇所が複数ある場合は全て挙げてもらった。 The judges read each opinion and extracted the points that they thought were the points of discussion. The point of discussion was defined as the “part of which is the argument for or against” each opinion. The unit to be extracted is not limited to a word, a phrase, or a sentence. Also, if there were multiple points in one opinion that seemed to be points of argument, they were all listed.
図10に、判定者によって抽出された論点の例を示す。図10は「株式会社の病院経営への参入」というテーマに対する反対意見の1つであり、下線部が判定者によって抽出された論点である。 FIG. 10 shows an example of issues extracted by the determiner. FIG. 10 is one of the objections to the theme of “entering hospital management of a corporation”, and the underlined part is a point extracted by the judge.
b)実験結果
判定者とシステムが抽出した論点数の内訳を表8に示す。「判定者」の欄にある括弧内の数字は、システムが抽出した論点と完全一致した論点数を表す。
b) Experimental results Table 8 shows a breakdown of the number of points extracted by the judges and the system. The number in parentheses in the “judgment” column represents the number of points that completely match the points extracted by the system.
本システムの比較対象として、判定者の精度と再現率を計算した。具体的には、一方の判定者が抽出した論点を正解として、もう一人の判定者がそれをどれだけ正確かつ網羅的に抽出できるかを評価した。表11にテーマごとの内訳を示す。全テーマの平均は、精度と再現率ともに0.10であった。本システムの精度と再現率は、それぞれ0.50と0.48であった。 As a comparison object of this system, the accuracy and recall of the judge were calculated. Specifically, the issue point extracted by one judge was regarded as the correct answer, and how accurately and comprehensively the other judge could extract it was evaluated. Table 11 shows the breakdown by theme. The average of all themes was 0.10 for both accuracy and recall. The accuracy and recall of this system were 0.50 and 0.48, respectively.
判定者によって論点として抽出する単位が異なるため、完全一致する件数が少なくなった。例えば、「苛酷な労働条件が改善される」という意見から、判定者がともに「労働条件」という言葉を中心に論点を抽出していても、抽出した箇所は「苛酷な労働条件」と「労働条件が改善」というように、表記が異なってしまう。これに対し、システムは、「苛酷な労働条件」、「苛酷な労働条件改善」、「労働条件」、「労働条件改善」のように、異なる範囲を網羅的に論点を抽出する。そのため、システムの精度と再現率の方が、判定者よりも高くなった。 The number of exact matches has decreased because the units to be extracted as issues vary depending on the judge. For example, from the opinion that “severe working conditions are improved”, both judges have extracted issues centered on the word “working conditions”, but the extracted points are “severe working conditions” and “ The notation is different, for example, “Improved conditions”. On the other hand, the system comprehensively extracts different points such as “harsh working condition”, “harsh working condition improvement”, “working condition”, and “working condition improvement”. As a result, the accuracy and recall of the system were higher than the judges.
また、人間が抽出した論点のうち、78.5%が名詞句、2%が動詞句、19%がそれ以外であった。この結果から、名詞句と動詞句を論点として扱う本手法では、最高で、人間が抽出した論点の約8割を網羅することがわかる。そこで、名詞句と動詞句を論点として扱う本手法は有効であることがわかった。動詞句の割合は2%と少なかった。しかし、人間が抽出する論点の中に含まれていること、意見中に存在する絶対数が少ないことから、抽出しても特に弊害はないと考える。また、「時間が掛かる」のように、動詞句として抽出しないと意味がない論点が存在することから、動詞句の有用性は定性的に明らかである。 Of the issues extracted by humans, 78.5% were noun phrases, 2% were verb phrases, and 19% were other. From this result, it can be seen that the present method, which handles noun phrases and verb phrases as issues, covers about 80% of the issues extracted by humans at best. Therefore, it was found that this method, which treats noun phrases and verb phrases as arguments, is effective. The percentage of verb phrases was as low as 2%. However, since it is included in the issues extracted by humans and there are few absolute numbers in the opinion, it is considered that there is no harmful effect even if it is extracted. In addition, the usefulness of verb phrases is qualitatively clear because there are issues that are meaningless unless extracted as verb phrases, such as “it takes time”.
c)誤り分析
人間が抽出した論点のうち、システムでも抽出できた論点の割合は、名詞句が60%、動詞句が44.3%であった。人間が抽出した論点のうち、名詞句または動詞句であるにも拘わらずシステムは抽出できなかった論点と、名詞句でも動詞句でもないために抽出できなかった論点の内訳を、「エスカレーターの片側歩行」というテーマについて、表12〜14に示す。
c) Error analysis The percentage of issues that could be extracted by the system among the issues extracted by humans was 60% for noun phrases and 44.3% for verb phrases. Among the issues extracted by humans, the issues that could not be extracted by the system even though they were noun phrases or verb phrases and the breakdown of issues that could not be extracted because they were not noun phrases or verb phrases were expressed as `` One side of the escalator. The theme “walking” is shown in Tables 12-14.
(3)「名詞句の言い換え」の評価
a)実験方法
本意思決定支援システムで作成したシステムは、論点を抽出する際に、表記が異なっていても意味が同じ論点を統一するため、サ変動詞語幹の名詞を含む名詞句を以下のように言い換える。
名詞+(が|を|は|の)+サ変動詞語幹 → 名詞+サ変動詞語幹
この規則により、例えば、「情報を公開」、「情報が公開」、「情報の公開」は全て「情報公開」に統一される。
(3) Evaluation of “paraphrasing of noun phrases” a) Experimental method The system created by this decision support system unifies the points that have the same meaning even if they have different notations when extracting the points. Paraphrases a noun phrase that includes a stem noun as follows:
Noun + (ga | o | ha | no) + sa variation verb stem → noun + sa variation verb stem By this rule, for example, “information disclosure”, “information disclosure”, “information disclosure” are all “information disclosure” To be unified.
しかし、言い換え規則の対象となる全ての名詞句が、この規則で言い換えることができるとは限らない。例えば、「他国の侵略」という名詞句において、「侵略」はサ変動詞語幹の名詞と解析されるので、本システムでは「他国侵略」と言い換えられる。しかし、言い換え前の「他国の侵略」は、「他国による侵略」という意味であるのに対して、言い換え後の「他国侵略」は「他国への侵略」という意味にも取ることができる。そこで、この規則による言い換えがどの程度妥当であるのかを評価する必要がある。 However, not all noun phrases subject to the paraphrase rule can be paraphrased by this rule. For example, in the noun phrase “invasion of other countries”, “invasion” is analyzed as a noun of a sacramental word stem, which is called “invasion of other countries” in this system. However, “invasion of other countries” before paraphrase means “invasion by other countries”, whereas “invasion of other countries” after paraphrase can also mean “invasion to other countries”. Therefore, it is necessary to evaluate how appropriate the paraphrasing by this rule is.
判定者が表7の各テーマに対する意見から抽出した全ての論点のうち、本システムにより言い換えが行われた論点のべ58件を評価対象とした。各論点と抽出元の意見を共に判定者に見てもらい、抽出元である意見の文脈において言い換えが適切であるかを、以下の3段階で判定してもらった。 Of all the issues extracted by the judge from the opinions on each theme in Table 7, 58 issues that were reworded by this system were evaluated. Each judge point and the opinion of the source of the extraction were both viewed by the judge, and he was asked to determine whether the paraphrasing was appropriate in the context of the opinion as the source of the extraction in the following three stages.
i)A:意味が変わらない、違和感がない
ii)B:違和感があるものの、許容できる
iii)C:意味が変わってしまう、違和感がある
どの判定者が抽出した論点であるかは問わず、言い換え対象となる全ての論点を、全ての判定者に判定してもらった。また、異なる意見から同じ論点が抽出されている場合や、異なるテーマにおいて同じ論点が抽出されている場合は、抽出元である意見の文脈ごとに判定してもらった。
i) A: The meaning does not change, there is no sense of incongruity ii) B: There is a sense of incongruity but is acceptable iii) C: The meaning changes, there is a sense of incongruity Regardless of which issuer the issuer extracted, We asked all judges to determine all the issues to be paraphrased. In addition, when the same issues were extracted from different opinions, or when the same issues were extracted from different themes, they were judged according to the context of the opinions from which they were extracted.
b)実験結果
判定者2名の判定結果の平均を正解と考えた場合の本手法の正解率を、表15に示す。評価対象全体の正解率は、Aだけを正解と考えた場合が46.6%、AとBを正解と考えた場合が74.2%であった。
b) Experimental results Table 15 shows the correct answer rate of the present method when the average of the determination results of the two judges is regarded as the correct answer. The accuracy rate of the entire evaluation target was 46.6% when only A was considered correct, and 74.2% when A and B were considered correct.
今回の実験結果からは、「A」と「C」と判定された並びや、助詞による違いから何らかの法則性を発見することはできなかった。 From the results of this experiment, it was not possible to find any kind of law based on the sequence determined as “A” and “C” and the difference between particles.
現在のシステムは、言い換え規則が適用できるもの全てを言い換えている。しかし、同じテーマの中に「表記は異なっても意味は同じ」論点が存在しない場合は、そもそも言い換える必要がない。言い換えの必要がある場合のみに規則を適用することで、言い換えによる誤りを減らすことができる。また、言い換え前の名詞句と言い換え後の名詞句の出現頻度をコーパスで調べて、出現頻度が高い表現に統一する方法も有効である。 The current system paraphrases everything for which paraphrasing rules can be applied. However, there is no need to rephrase in the first place if there is no “same notation but same meaning” issue in the same theme. By applying a rule only when paraphrasing is necessary, errors due to paraphrasing can be reduced. It is also effective to check the appearance frequency of the noun phrase before paraphrasing and the noun phrase after paraphrase with a corpus and unify them into expressions with high appearance frequency.
(4)「固有度の計算」の評価
a)実験方法
本システムでは、論点Aの出現する確率が賛成派と反対派のどちらに多いかに基づいて、論点Aの固有度を計算する。固有度は−1以上1以下の値をとり、正ならば賛成派に、負ならば反対派に固有な論点であることを示す。
(4) Evaluation of “Calculation of Specificity” a) Experimental Method In this system, the specificity of the issue point A is calculated based on whether the probability of the issue point A appears to be higher or not. The peculiarity takes a value between −1 and 1 inclusive. If it is positive, it indicates an issue that is specific to the pros and negative if it is negative.
しかし、賛成意見の中で論点Aについて論じていても、実際は「賛成だが、Aについては反対である」のように、逆の立場の論拠として記述されることがある。このような場合、本手法で計算する固有度は、その論点が属する「真の立場」と一致しないことがある。 However, even if argument A is discussed in the opinion in favor, it may actually be described as an argument of the opposite position, such as “I agree, but not A”. In such cases, the uniqueness calculated by this method may not match the “true position” to which the issue belongs.
また、論点Aを含んでいる意見の中には、Aを含んでいるだけで、実際にはAについて論じていない意見もある。本手法では「Aを含んでいる意見」を対象として固有度を計算するため、「Aを論じている意見」を対象とする理想的な固有度と値が異なる場合がある。 Also, some opinions that include issue A include only A but do not actually discuss A. In this method, since the uniqueness is calculated for “an opinion including A”, the ideal uniqueness for “an opinion discussing A” may be different from the value.
そこで、本手法で計算する固有度がどの程度妥当であるのかを評価した。
固有度は連続値であり、「賛成もしくは反対の度合い」を表す。しかし、人間が各意見に対して「賛成もしくは反対の度合い」を判定することは難しい。そこで、間接的な評価方法として、人間が判定した論点Aが属する立場と、本手法の固有度によって求めた論点Aが属する立場を比較した。
Therefore, we evaluated how appropriate the uniqueness calculated by this method is.
The uniqueness is a continuous value and represents “agreement or opposite degree”. However, it is difficult for humans to determine the “degree of approval or disagreement” for each opinion. Therefore, as an indirect evaluation method, the position to which the issue point A determined by humans belongs is compared with the position to which the issue point A determined by the uniqueness of this method belongs.
判定者には、各意見から論点を抽出してもらう際に、その論点が、抽出元の意見が属する立場と逆の立場の論拠であると思う場合は、その旨を明記して抽出してもらった。例えば、「株式会社による病院経営への参入」というテーマの賛成派に属する「賛成だが、やはり利益追求に走るのではという懸念がある」という意見の場合、「利益追求」は反対派の論拠なので、「利益追求(逆)」という形で抽出してもらった。この場合、「利益追求」に対する真の立場は「反対」である。判定者による「真の立場」と、システムが決定した立場を比較した。 When the judge determines that the point of issue is extracted from each opinion, if the point of view is considered to be the reasoning of the opposite position to the opinion from which the source opinion belongs, clearly indicate that fact. received. For example, in the case of an opinion of “I agree, but there is a concern that I will continue to pursue profits” that belongs to the group of the theme “Entering into hospital management by a corporation”, “Profit pursuit” is an argument of the opposition , "In pursuit of profit (reverse)" was extracted. In this case, the true position for “profit pursuit” is “opposite”. We compared the “true position” by the judges with the position determined by the system.
b)実験結果
表19に、判定者ごとの判定結果を示す。「システムも抽出した論点数」は、その判定者が抽出した論点のうち、システムが抽出した論点と完全一致した論点の数を表す。「立場が同じ論点数」は、判定者による「真の立場」と、システムが決定した立場が一致した論点の数を表す。「正解率」は、固有度による分類の正解率を表す。
b) Experimental results Table 19 shows the judgment results for each judge. “The number of points extracted by the system” represents the number of points that are completely matched with the points extracted by the system among the points extracted by the judge. “Number of issues with the same position” represents the number of issues where the “true position” by the judge matches the position determined by the system. “Accuracy rate” represents the accuracy rate of classification according to the degree of uniqueness.
(5)「代表的な意見の選択」の評価
a)実験方法
本意思決定支援システムで提案するシステムは、インタフェース上で、ユーザが選択した論点について論じている意見の中から代表的な意見を表示するという機能を持っている。「全ての意見を読まなくても議論の要点がわかる」という目的を達成するためには、より重要な意見を優先して表示する必要がある。そこで、人間が「代表的」と判定した意見と、本手法で「代表的」と判断された意見を比較し、本手法で選択する代表的な意見が本当に代表的かどうかを評価する。
(5) Evaluation of “Selection of Representative Opinion” a) Experimental Method The system proposed in this decision support system is a representative opinion out of opinions discussing the point selected by the user on the interface. It has a function to display. In order to achieve the objective of “Understanding all the opinions without having to read all the opinions”, it is necessary to prioritize and display more important opinions. Therefore, the opinion judged as “representative” by humans is compared with the opinion judged “representative” by this method, and whether or not the representative opinion selected by this method is really representative is evaluated.
「論点の抽出」の評価と同じように、判定者には表7に挙げたテーマと、それに対する賛成意見と反対意見のリストを渡した。そして、自分が意見中から抽出した論点Aについて、論点Aについて論じていると思う意見を全て挙げてもらった。このとき、論点Aについて論じている意見が複数ある場合には、その中で最も重要だと思う意見を、「代表的な意見」として選んでもらった。論点Aについて論じている意見が、賛成と反対の両方に複数ある場合は、それぞれの立場から重要だと思う意見を選択してもらった。また、重要だと思う意見が複数ある場合は全て挙げてもらった。 Similar to the evaluation of “extracting issues”, the judges were given the themes listed in Table 7 and a list of their opinions in favor and disagreements. And I asked all the opinions that I think are discussing about the issue A about the issue A extracted from the opinions. At this time, if there are multiple opinions discussing issue A, the most important opinion was selected as the “representative opinion”. When there were multiple opinions on the issue A, both in favor and against, we asked them to select the opinion that they thought was important from their respective positions. Also, if there were multiple opinions that I thought were important, I asked them to give them all.
表記は異なっていても同じ意味を表す論点がある場合は、代表的な意見はそれらの各論点について論じている意見全ての中から選択してもらった。例えば、「情報公開」と「情報開示」が同じ意味であると判断した場合は、「情報公開」について論じている意見が3件、「情報開示」について論じている意見が2件あれば、「情報公開」と「情報開示」から成る論点群の代表的な意見は、以上の5件から選択してもらった。これは、表記の異なりごとに代表的な意見を考えた場合に、その論点について論じている意見が1件しかなく、重要だと考える比較対象がなくなるケースを防ぐためである。このため、評価実験のためのシステムへの入力も、先の「情報公開」と「情報開示」の例では、それについて論じている5件の意見と、単に「情報公開」または「情報開示」を含んでいる意見を入力とする。そして、人間が最も代表的だと判断した意見が、システムでも代表的と判断されるのかどうかを調べた。 If there are issues that have the same meaning even though the notation is different, the representative opinion was chosen from all the opinions that discuss each of those issues. For example, if it is determined that “information disclosure” and “information disclosure” have the same meaning, if there are three opinions discussing “information disclosure” and two opinions discussing “information disclosure” The representative opinion of the group of issues consisting of “information disclosure” and “information disclosure” was selected from the above five cases. This is to prevent a case in which, when a representative opinion is considered for each notation, there is only one opinion that discusses the issue, and there is no comparison object that is considered important. For this reason, the input to the system for the evaluation experiment also includes the five opinions discussed on the “information disclosure” and “information disclosure” examples, and simply “information disclosure” or “information disclosure”. An input that contains Then, we investigated whether the opinion that humans judged to be the most representative was judged to be representative in the system.
判定者の評価によって、各意見を次のように分類した。
i)A:その論点について論じている意見の中で代表的な意見
ii)B:その論点について論じているものの、代表的ではない意見
iii)C:その論点を含んでいても、その論点について論じられていない意見
判定者は、その論点について「論じている」と判断した意見の中から代表的な意見を選ぶ。しかし、システムは、その論点を「含んでいる」意見群に重要さの順位を付けるので、含んでいるだけで論じてはいない意見(Cに該当)にも順位を付ける。そこで、システムが出力した順位付きリストの上位10件について、1位から順番に、判定者が「論じている」と判断した意見、「代表的」と判断した意見に対する精度と再現率を調べた。正解は「Aだけ」と「AとB」の2種類を考える。
Each opinion was classified as follows according to the evaluation of the judges.
i) A: A representative opinion among the opinions discussed about the issue ii) B: An opinion that is discussed but not representative iii) C: Even if the issue is included, the issue Undiscussed Opinions Judges choose representative opinions from among those who have judged that they are “discussing”. However, the system ranks the opinions that “include” the issue in importance, and therefore ranks opinions that only contain and are not discussed (corresponding to C). Therefore, for the top 10 items in the ranked list output by the system, the accuracy and recall for the opinions judged by the judge as “discussing” and the opinions judged as “representative” were examined in order from the top. . There are two types of correct answers: “A only” and “A and B”.
順位付きリストのN位までをシステムの出力と見なした場合の精度と再現率は、数8と数9で計算する。
The accuracy and recall when calculating up to the N-th rank in the ranked list as the output of the system are calculated by
b)実験結果
テーマごとに判定者間の平均を計算し、さらにテーマを横断して平均した精度と再現率を表20〜23に示す。全テーマの平均をとった精度と再現率のグラフを図14に示す。
b) Experimental results Tables 20 to 23 show the accuracy and recall obtained by calculating the average among the judges for each theme and averaging the results across the themes. FIG. 14 shows a graph of accuracy and recall that averages all themes.
表25は、各テーマごとに、それぞれの論点を含んでいる意見数の平均と、Aと判定された意見の平均順位を示している。それぞれの論点を含んでいる意見数とは、判定者が各テーマから抽出した論点群を含んでいる意見数を平均した値である。例えば、「成果主義」の場合は、論点Xを含んでいる意見数の平均が6.82件であり、そのうち人間がAと判断した意見が平均3.04位であったことを表している。 Table 25 shows, for each theme, the average number of opinions including each issue point, and the average ranking of opinions determined as A. The number of opinions including each issue point is a value obtained by averaging the number of opinions including the issue point group extracted from each theme by the determiner. For example, in the case of “performance-based”, the average number of opinions including the issue X is 6.82, and the average of the opinions that humans have determined as A is 3.04. .
以上詳しく説明したように、本発明に係る意思決定支援システムは、テキストマイニング手法を有効活用し、入力された所与のテーマに関連する意見テキスト群を収集し、この意見テキスト群の中から前記テーマに関連する複数の論点を抽出してその論点毎の肯定又は否定等の立場を有する意見の割合を表す固有度と、その論点毎の立場を含んでいる意見の重要度を算出することにより、当該テーマに関連する多くの世人の意見に基づいての複数の論点を参照することにより合理的且つ妥当性のある決定支援情報を提供することを可能にしたのである。 As described above in detail, the decision support system according to the present invention effectively utilizes a text mining technique, collects opinion text groups related to a given theme that has been input, and from among the opinion text groups, By extracting multiple issues related to the theme and calculating the uniqueness that represents the proportion of opinions that have affirmative or negative status for each issue and the importance of opinions that include the status for each issue This makes it possible to provide rational and valid decision support information by referring to a plurality of issues based on opinions of many people related to the subject.
また、本意思決定支援システムは、最新の時事問題に係る論点を含むテーマについて特に有効であり、最新の意見テキストを収集するので収集する情報内容が固定化又は陳腐化することがなく、当該テーマに関連する多くの人の意見のトレンドに応じた決定支援のための判断情報の提供が可能である。 This decision support system is particularly effective for themes that include issues related to the latest current affairs, and since the latest opinion texts are collected, the information content collected is not fixed or obsolete. It is possible to provide decision information for decision support in accordance with the trend of opinions of many people related to.
本発明は、本発明は、人間が所与のテーマについて意思決定する際に関連する有用な情報を収集し提示して人間の意思決定を支援するコンピュータ及びデータベースを使用した意思決定支援システムに関するものであって、産業上の利用可能性を有する。 The present invention relates to a decision support system using a computer and a database that collects and presents useful information related to human decision making on a given theme and supports human decision making. And has industrial applicability.
10:本意思決定支援システム
11:入力手段
12:論点抽出手段
13:固定度算出手段
14:重要度算出手段
15:関連語抽出手段
16:代表意見選択手段
17:インタフェース手段
18:データベースサーバ
19:ウェブ検索サーバ
20:ゲートウェイサーバ
21:ファイヤーウォール
22:記憶装置(1)
23:記憶装置(2)
24:記憶装置(3)
25:WWWインターネット
10: this decision support system 11: input means 12: argument extraction means 13: fixed degree calculation means 14: importance calculation means 15: related word extraction means 16: representative opinion selection means 17: interface means 18: database server 19: Web search server 20: gateway server 21: firewall 22: storage device (1)
23: Storage device (2)
24: Storage device (3)
25: WWW Internet
Claims (4)
前記テキストマイニングする装置は、
前記データベースにアクセスして、入力されたテーマに関連する肯定又は否定の意見に予め分類されている前記データベース内の意見テキスト群を収集し、当該意見テキスト群の中に現れる名詞句及び動詞句を前記テーマに関連する複数の論点として抽出する論点抽出手段と、
前記複数の論点毎に、当該論点を含んでいる前記意見テキスト群の中から当該論点に対する肯定又は否定の何れか一方の立場を有する意見の割合を表す固有度を算出する固有度算出手段と、
前記複数の論点毎に、前記意見テキスト群において前記肯定又は否定の何れか一方の立場の出現頻度の中で、前記一方の立場での前記論点の出現頻度の割合を求めることにより算出される前記論点に対する前記意見の重要度を算出する重要度算出手段と、
前記論点を含んでいる意見テキスト群の中から重複して出現する名詞、動詞及び形容詞を含む内容語を前記論点に関連する関連語として抽出する関連語抽出手段と、
前記複数の論点毎に肯定又は否定の複数の代表意見を前記内容語の出現頻度を計算することにより選定し、当該選定され複数の代表意見の出現頻度をスコアリングし、当該スコアリングのポイントの高い順に前記複数の代表意見を順位付けして出力する代表意見選択手段と、
前記固有度と前記重要度の2次元面上に、前記複数の論点、当該論点毎の前記固有度、前記重要度、前記関連語及び前記代表意見をプロットした画像データを出力するインタフェース手段と、
の各手段を有することを特徴とするテキストマイニングによる意思決定支援システム。 A database comprising a web search server having a browser for searching data on multimedia connected to the Internet, and a database server for collecting and storing the searched data, and text mining for a theme inputted by accessing the database A decision support system by means of text mining composed of
The text mining device is:
Accessing the database, collecting opinion text groups in the database that are pre-classified as positive or negative opinions related to the input theme, and noun phrases and verb phrases appearing in the opinion text groups A point extraction means for extracting as a plurality of points related to the theme;
For each of the plurality of issues, a uniqueness calculating means for calculating a uniqueness representing a proportion of opinions having either affirmative or negative status with respect to the issue from the opinion text group including the issue;
For each of the plurality of issues, in the frequency of one position of the positive or negative in the feedback text group, said calculated by determining the ratio of the frequency of occurrence of the issue of the standpoint of the one Importance calculating means for calculating the importance of the opinion with respect to the issue;
Related word extracting means for extracting content words including nouns, verbs and adjectives that appear redundantly from the opinion text group including the argument as a related word related to the argument;
Selecting a plurality of positive or negative representative opinions for each of the plurality of issues by calculating the appearance frequency of the content word, scoring the appearance frequency of the selected plurality of representative opinions, Representative opinion selection means for ranking and outputting the plurality of representative opinions in descending order;
On the two-dimensional surface of the uniqueness and the importance, interface means for outputting image data in which the plurality of issues, the uniqueness for each issue, the importance, the related word, and the representative opinion are plotted;
A decision support system based on text mining characterized by having the following means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006066715A JP4677563B2 (en) | 2006-03-10 | 2006-03-10 | Decision support system and decision support method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006066715A JP4677563B2 (en) | 2006-03-10 | 2006-03-10 | Decision support system and decision support method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007241901A JP2007241901A (en) | 2007-09-20 |
JP4677563B2 true JP4677563B2 (en) | 2011-04-27 |
Family
ID=38587341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006066715A Active JP4677563B2 (en) | 2006-03-10 | 2006-03-10 | Decision support system and decision support method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4677563B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5212604B2 (en) * | 2007-01-29 | 2013-06-19 | 日本電気株式会社 | Risk detection system, risk detection method and program thereof |
JP5087589B2 (en) * | 2009-05-08 | 2012-12-05 | 日本マイクロシステムズ株式会社 | Decision support system |
JP5564932B2 (en) * | 2009-12-22 | 2014-08-06 | 富士通株式会社 | Document proofreading support apparatus, program and method |
JP6047903B2 (en) | 2012-03-27 | 2016-12-21 | 富士通株式会社 | Group work support method, group work support program, group work support server, and group work support system |
JP6622236B2 (en) | 2017-03-06 | 2019-12-18 | 株式会社日立製作所 | Idea support device and idea support method |
JP7131130B2 (en) * | 2018-06-29 | 2022-09-06 | 富士通株式会社 | Classification method, device and program |
JP7139728B2 (en) * | 2018-06-29 | 2022-09-21 | 富士通株式会社 | Classification method, device and program |
JP7444248B2 (en) * | 2020-05-21 | 2024-03-06 | 日本電気株式会社 | Analytical equipment, analytical methods and analytical programs |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004227343A (en) * | 2003-01-23 | 2004-08-12 | Fujitsu Ltd | Opinion analyzing method, opinion analyzing device and opinion analyzing program |
-
2006
- 2006-03-10 JP JP2006066715A patent/JP4677563B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004227343A (en) * | 2003-01-23 | 2004-08-12 | Fujitsu Ltd | Opinion analyzing method, opinion analyzing device and opinion analyzing program |
Also Published As
Publication number | Publication date |
---|---|
JP2007241901A (en) | 2007-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9934285B1 (en) | Method and apparatus for concept-based classification of natural language discourse | |
Alessia et al. | Approaches, tools and applications for sentiment analysis implementation | |
Rosenbusch et al. | The Semantic Scale Network: An online tool to detect semantic overlap of psychological scales and prevent scale redundancies. | |
JP4677563B2 (en) | Decision support system and decision support method | |
Park | Developing a COVID-19 crisis management strategy using news media and social media in big data analytics | |
Can et al. | New event detection and topic tracking in Turkish | |
US20090112859A1 (en) | Citation-based information retrieval system and method | |
Seifollahi et al. | Word sense disambiguation application in sentiment analysis of news headlines: an applied approach to FOREX market prediction | |
US8498983B1 (en) | Assisting search with semantic context and automated search options | |
Abdi et al. | A question answering system in hadith using linguistic knowledge | |
Bellot et al. | INEX Tweet Contextualization task: Evaluation, results and lesson learned | |
Kim et al. | How to compete online for news audience: Modeling words that attract clicks | |
Mane et al. | Summarization and sentiment analysis from user health posts | |
Bansal et al. | Fuzzy AHP approach for legal judgement summarization | |
Lei et al. | Examining research topics with a dependency-based noun phrase extraction method: a case in accounting | |
Li et al. | Detecting human trafficking: Automated classification of online customer reviews of massage businesses | |
Kanapala et al. | Passage-based text summarization for legal information retrieval | |
Kato et al. | Extraction of onomatopoeia used for foods from food reviews and its application to restaurant search | |
Ray et al. | A review of the state of the art in Hindi question answering systems | |
Gretzel et al. | Intelligent search support: Building search term associations for tourism-specific search engines | |
Conrad et al. | Query-based opinion summarization for legal blog entries | |
Choi | A complete assessment of tagging quality: A consolidated methodology | |
Herng Leong et al. | Classification of healthcare service reviews with sentiment analysis to refine user satisfaction | |
Yılmaz et al. | Marketing insight from consumer reviews: Creating brand position through opinion mining approach | |
Chen et al. | Integrating corpus-based and NLP approach to extract terminology and domain-oriented information: an example of US military corpus. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100622 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101227 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110106 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |