JP5581743B2 - 文書評価付与方法、プログラム及び装置 - Google Patents
文書評価付与方法、プログラム及び装置 Download PDFInfo
- Publication number
- JP5581743B2 JP5581743B2 JP2010051087A JP2010051087A JP5581743B2 JP 5581743 B2 JP5581743 B2 JP 5581743B2 JP 2010051087 A JP2010051087 A JP 2010051087A JP 2010051087 A JP2010051087 A JP 2010051087A JP 5581743 B2 JP5581743 B2 JP 5581743B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- evaluation
- occurrence
- gray
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims description 98
- 238000000034 method Methods 0.000 title claims description 33
- 230000000877 morphologic effect Effects 0.000 claims description 17
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 10
- 235000019441 ethanol Nutrition 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 238000005352 clarification Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Landscapes
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
Description
102 正例のデータベース
103 負例のデータベース
104 解析する対象となる文章
105 形態素解析を行う形態素解析部
106 共起統計情報を解析し共起統計情報データベースを作成する部分
107 共起統計情報データベース
108 文脈によって評価が異なるグレーワードのリストであるグレーワードリスト
109 NG単語のリストであるブラックワードリスト
110 評価を計算する演算式を格納する部分
111 評価を付与する部分
112 解析する対象となる文章に付与された評価
201 解析する対象となる文章の入力
202 形態素解析
203 ブラックワードを含んでいるか否かの評価
204 グレーワードを含んでいるか否かの評価
301 解析する対象となる文章
302 2単語間の共起統計情報データベース
303 グレーワード
304 共起語
305 正例の中に「胸」と「明かす」が共起した数としての正例カウント
306 負例の中に「胸」と「明かす」が共起した数としての負例カウント
307 正例カウントと負例カウントから「胸」と「明かす」が正例にある確率
308 HRの計算例
309 HRの値から判定した例
401 解析する対象となる文章
402 3単語間の共起統計情報データベース
403 グレーワード
404 1つ目の共起語
405 2つ目の共起語
406 正例の中に「胸」と「明かす」「彼」が共起した数としての正例カウント
407 負例の中に「胸」と「明かす」「彼」が共起した数としての負例カウント
408 正例カウントと負例カウントから「胸」「明かす」及び「彼」が同時に正例に存在する確率
409 HRの計算例
410 HRの値から判定した例
501 正例の一例
502 501の正例から生成された共起統計情報データベースの例
601 正例の一例
602 601の正例から距離2で生成された共起統計情報データベースの例
701 解析する対象となる文章の入力
702 形態素解析
703 ブラックワードを含んでいるか否かの評価
704 グレーワードを含んでいるか否かの評価
Claims (9)
- 訓練例として正例と負例を集めた訓練例データベースと、
文脈によって評価が異なるグレーワードを持つグレーワードリスト保持部と、
前記訓練例データベースに含まれる正例および負例と、前記グレーワードリスト保持部が持つ前記グレーワードとに基づいて、前記グレーワードと正例の中のそれぞれの単語との共起の統計情報、および、前記グレーワードと負例の中のそれぞれの単語との共起の統計情報を作成して共起統計情報データベースに格納する共起統計情報生成部と、
評価対象文を形態素解析処理する形態素解析処理部と、
形態素解析処理により得られた単語中の前記グレーワードとその他の単語との、正例および負例における共起の統計量を、前記共起統計情報データベースに基づいて特定し、特定した統計量を演算式格納部にある演算式に適用することで、前記評価対象文の評価を計算し付与する評価付与部と、を有する文書評価付与装置。 - 前記共起統計情報データベースにおける統計情報は、グレーワード1単語と正例の中のそれぞれの1単語の、2単語間の共起の統計情報、および、グレーワード1単語と負例の中のそれぞれの1単語の、2単語間の共起の統計情報を含むことを特徴とする請求項1に記載の文書評価付与装置。
- 前記共起統計情報データにおける統計情報が、グレーワード1単語と正例の中の複数の単語との、多単語間の共起の統計情報、および、グレーワード1単語と負例の中の複数の単語との、多単語間の共起の統計情報を含むことを特徴とする請求項1に記載の文書評価付与装置。
- 前記共起統計情報データにおける統計情報が、グレーワード1単語と正例の中のある一定の距離内の1単語の、2単語間の共起の統計情報、および、グレーワード1単語と負例の中のある一定の距離内の1単語の、2単語間の共起の統計情報を含むことを特徴とする請求項2に記載の文書評価付与装置。
- 前記共起統計情報データにおける統計情報が、グレーワード1単語と正例の中のある一定の距離内の複数の単語との、多単語間の共起の統計情報、および、グレーワード1単語と負例の中のある一定の距離内の複数の単語との、多単語間の共起の統計情報を含むことを特徴とする請求項3に記載の文書評価付与装置。
- 最低の評価と判断されるブラックワードを持つブラックワードリスト保持部を更に有し、
前記評価付与部は、形態素解析処理により得られた単語中に前記ブラックワードが含まれている場合、前記評価対象文の評価を最低とすることを特徴とする請求項1から6のいずれか一に記載の文書評価付与装置。 - 訓練例として正例と負例を集めた訓練例データベースと、文脈によって評価が異なるグレーワードを持つグレーワードリスト保持部と、を利用する文書評価付与方法であって、
前記訓練例データベースに含まれる正例および負例と、前記グレーワードリスト保持部が持つ前記グレーワードとに基づいて、前記グレーワードと正例の中のそれぞれの単語との共起の統計情報、および、前記グレーワードと負例の中のそれぞれの単語との共起の統計情報を作成して共起統計情報データベースに格納する共起統計情報生成手順と、
評価対象文を形態素解析処理する形態素解析処理手順と、
形態素解析処理により得られた単語中の前記グレーワードとその他の単語との、正例および負例における共起の統計量を、前記共起統計情報データベースに基づいて特定し、特定した統計量を演算式格納部にある演算式に適用することで、前記評価対象文の評価を計算し付与する評価付与手順と、を有する文書評価付与方法。 - 訓練例として正例と負例を集めた訓練例データベースと、文脈によって評価が異なるグレーワードを持つグレーワードリスト保持部と、を利用する文書評価付与プログラムであって、
文書評価付与装置を、
前記訓練例データベースに含まれる正例および負例と、前記グレーワードリスト保持部が持つ前記グレーワードとに基づいて、前記グレーワードと正例の中のそれぞれの単語との共起の統計情報、および、前記グレーワードと負例の中のそれぞれの単語との共起の統計情報を作成して共起統計情報データベースに格納する共起統計情報生成手段、
評価対象文を形態素解析処理する形態素解析処理手段、および
形態素解析処理により得られた単語中の前記グレーワードとその他の単語との、正例および負例における共起の統計量を、前記共起統計情報データベースに基づいて特定し、特定した統計量を演算式格納部にある演算式に適用することで、前記評価対象文の評価を計算し付与する評価付与手段として機能させる文書評価付与プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010051087A JP5581743B2 (ja) | 2010-03-08 | 2010-03-08 | 文書評価付与方法、プログラム及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010051087A JP5581743B2 (ja) | 2010-03-08 | 2010-03-08 | 文書評価付与方法、プログラム及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011186762A JP2011186762A (ja) | 2011-09-22 |
JP5581743B2 true JP5581743B2 (ja) | 2014-09-03 |
Family
ID=44792951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010051087A Expired - Fee Related JP5581743B2 (ja) | 2010-03-08 | 2010-03-08 | 文書評価付与方法、プログラム及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5581743B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5683428B2 (ja) * | 2011-10-12 | 2015-03-11 | 株式会社野村総合研究所 | 文書管理装置 |
WO2018116459A1 (ja) * | 2016-12-22 | 2018-06-28 | 日本電気株式会社 | 文章評価装置、文章評価方法および記録媒体 |
JP7273442B1 (ja) | 2022-10-07 | 2023-05-15 | Dcアーキテクト株式会社 | 情報処理システム、情報処理方法及びプログラム |
-
2010
- 2010-03-08 JP JP2010051087A patent/JP5581743B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011186762A (ja) | 2011-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kim et al. | Use of hangeul twitter to track and predict human influenza infection | |
US11122009B2 (en) | Systems and methods for identifying geographic locations of social media content collected over social networks | |
Chen et al. | Tweeting under pressure: analyzing trending topics and evolving word choice on sina weibo | |
US20130297581A1 (en) | Systems and methods for customized filtering and analysis of social media content collected over social networks | |
US20130297694A1 (en) | Systems and methods for interactive presentation and analysis of social media content collection over social networks | |
US9286379B2 (en) | Document quality measurement | |
JP2013069285A (ja) | 顧客関係管理技術分野のためのユーザ中心の意見分析 | |
US9524526B2 (en) | Disambiguating authors in social media communications | |
CN103336766A (zh) | 短文本垃圾识别以及建模方法和装置 | |
CN110309251B (zh) | 文本数据的处理方法、装置和计算机可读存储介质 | |
WO2008022581A1 (fr) | Procédé et dispositif d'obtention de mots nouveaux et système et procédé de saisie | |
CN102880600A (zh) | 基于通用知识网络的词语语义倾向性预测方法 | |
US10565311B2 (en) | Method for updating a knowledge base of a sentiment analysis system | |
JP6605022B2 (ja) | 経験属性による体系化されていないデータのソースの分析、選定、及び取り込みのためのシステム及びプロセス | |
JP2018195078A (ja) | 評価装置、評価方法、および評価プログラム | |
Bartlett et al. | Immigration on Twitter: understanding public attitudes online | |
JP5581743B2 (ja) | 文書評価付与方法、プログラム及び装置 | |
Lasser et al. | From alternative conceptions of honesty to alternative facts in communications by US politicians | |
KR102206781B1 (ko) | 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치 | |
CN111680505B (zh) | 一种Markdown特征感知的无监督关键词提取方法 | |
US20150220646A1 (en) | Identifying member profiles containing disallowed content in an online social network | |
KR20160077446A (ko) | 시맨틱 엔티티 토픽 추출 방법 | |
Anusha et al. | Is that twitter hashtag worth reading | |
Omar et al. | A sentiment analysis of Egypt’s new real estate registration law on facebook | |
Vashishtha et al. | Performance and Risk Trade-offs for Multi-word Text Prediction at Scale |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131213 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20140130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140204 |
|
TRDD | Decision of grant or rejection written | ||
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20140527 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5581743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |