JP5165616B2 - ジャンル判定辞書作成装置、ジャンル判定装置及び方法 - Google Patents
ジャンル判定辞書作成装置、ジャンル判定装置及び方法 Download PDFInfo
- Publication number
- JP5165616B2 JP5165616B2 JP2009035759A JP2009035759A JP5165616B2 JP 5165616 B2 JP5165616 B2 JP 5165616B2 JP 2009035759 A JP2009035759 A JP 2009035759A JP 2009035759 A JP2009035759 A JP 2009035759A JP 5165616 B2 JP5165616 B2 JP 5165616B2
- Authority
- JP
- Japan
- Prior art keywords
- genre
- dictionary
- recombination
- web page
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
表1は、本発明の一実施形態に係るジャンル判定辞書31を使用するジャンル判定装置20が、実際のWebページについて、「有害ジャンル」に属するか否かについて判定を行った結果である。テスト方法は、事前に目視で「有害」か「無害」かの判定を行ったジャンル判定済みのWebページに対し、従来のシステムにより当該Webページのジャンルを判定し、「有害」ジャンルに属するか否かを判定した結果と、本発明の一実施形態に係るジャンル判定辞書31を使用するジャンル判定装置20により、同様に当該Webページのジャンルを判定し、「有害」ジャンルに属するか否かを判定した結果とを比較することにより行った。従来のシステムで使用する辞書は、ジャンル判定のために登録する文字列に決まりはなく、管理者が長年の経験に基づいて手作業で作成している。
11 辞書作成用解析部
12 辞書作成用再結合部
13 辞書作成部
14 辞書登録部
15 品詞組合せ受付部
20 ジャンル判定装置
21 テキスト取得部
22 テキスト解析部
23 再結合部
24 ジャンル判定部
25 判定結果出力部
31 ジャンル判定辞書
41 再結合品詞DB
51 判定結果DB
Claims (4)
- Webページが属するジャンルを判定するためのジャンル判定辞書を作成するジャンル判定辞書作成装置であって、
少なくとも、名詞と名詞の組み合わせと、接頭辞と名詞の組み合わせと、名詞と接尾辞の組み合わせとを含む、複数の品詞の組合せを記憶する再結合品詞記憶手段と、
属するジャンルが既知のWebページを構成する辞書作成用テキストを形態素解析する辞書作成用解析手段と、
前記辞書作成用解析手段が解析した形態素について、前記辞書作成用テキストにおいて互いに隣接し、前記再結合品詞記憶手段に記憶される複数の品詞の組合せに合致する形態素を再結合して語句を生成する辞書作成用再結合手段と、
前記辞書作成用再結合手段が再結合して生成した語句と、前記Webページが属する既知のジャンルとを対応付けて記憶し、前記ジャンル判定辞書を作成する辞書作成手段と、
前記辞書作成用再結合手段が再結合して生成した語句を用いて、前記再結合して生成した語句に対応付けて前記ジャンル判定辞書に記憶される前記ジャンルに該当するWebページを検索し、検索されたWebページにおいて前記再結合して生成した語句が所定数以上含まれる場合に、前記ジャンルを判定するための語句として、前記再結合して生成した語句を前記ジャンル判定辞書に登録する辞書登録手段と、
を備えることを特徴とするジャンル判定辞書作成装置。 - 請求項1に記載のジャンル判定辞書を備え、
少なくとも、名詞と名詞の組み合わせと、接頭辞と名詞の組み合わせと、名詞と接尾辞の組み合わせとを含む、複数の品詞の組合せを記憶する再結合品詞記憶手段と、
Webページを構成するテキストを取得するテキスト取得手段と、
前記テキスト取得手段が取得したテキストを形態素解析するテキスト解析手段と、
前記テキスト解析手段が解析した形態素について、前記テキストにおいて互いに隣接し、前記再結合品詞記憶手段に記憶される複数の品詞の組合せに合致する形態素を再結合して語句を生成する再結合手段と、
前記再結合手段が再結合して生成した語句が前記ジャンル判定辞書に登録されているか否かを判定するジャンル判定手段と、
前記ジャンル判定手段が判定した結果を出力する判定結果出力手段と、
を更に備えることを特徴とするジャンル判定装置。 - Webページが属するジャンルを判定するためのジャンル判定辞書をコンピュータが作成するジャンル判定辞書作成方法であって、
属するジャンルが既知のWebページを構成する辞書作成用テキストを形態素解析するステップと、
少なくとも、名詞と名詞の組み合わせと、接頭辞と名詞の組み合わせと、名詞と接尾辞の組み合わせとを含む、複数の品詞の組合せを記憶する再結合品詞記憶手段を参照して、前記形態素解析した形態素について、前記辞書作成用テキストにおいて互いに隣接し、前記再結合品詞記憶手段に記憶される複数の品詞の組合せに合致する形態素を再結合して語句を生成するステップと、
前記再結合して生成した語句と、前記Webページが属する既知のジャンルとを対応付けて記憶し、前記ジャンル判定辞書を作成するステップと、
前記再結合して生成した語句を用いて、前記再結合して生成した語句に対応付けて前記ジャンル判定辞書に記憶される前記ジャンルに該当するWebページを検索し、検索されたWebページにおいて前記再結合して生成した語句が所定数以上含まれる場合に、前記ジャンルを判定するための語句として、前記再結合して生成した語句を前記ジャンル判定辞書に登録する辞書登録ステップと、
を備えることを特徴とするジャンル判定辞書作成方法。 - 請求項3に記載のジャンル判定辞書を備えるコンピュータが、Webページが属するジャンルを判定するジャンル判定方法であって、
Webページを構成するテキストを取得するステップと、
前記取得したテキストを形態素解析するステップと、
少なくとも、名詞と名詞の組み合わせと、接頭辞と名詞の組み合わせと、名詞と接尾辞の組み合わせとを含む、複数の品詞の組合せを記憶する再結合品詞記憶手段を参照して、前記形態素解析した形態素について、前記テキストにおいて互いに隣接し、前記再結合品詞記憶手段に記憶される複数の品詞の組合せに合致する形態素を再結合して語句を生成するステップと、
前記再結合して生成した語句が前記ジャンル判定辞書に登録されているか否かを判定するステップと、
前記判定した結果を出力するステップと、
を更に備えることを特徴とするジャンル判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009035759A JP5165616B2 (ja) | 2009-02-18 | 2009-02-18 | ジャンル判定辞書作成装置、ジャンル判定装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009035759A JP5165616B2 (ja) | 2009-02-18 | 2009-02-18 | ジャンル判定辞書作成装置、ジャンル判定装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010191710A JP2010191710A (ja) | 2010-09-02 |
JP5165616B2 true JP5165616B2 (ja) | 2013-03-21 |
Family
ID=42817687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009035759A Expired - Fee Related JP5165616B2 (ja) | 2009-02-18 | 2009-02-18 | ジャンル判定辞書作成装置、ジャンル判定装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5165616B2 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3398729B2 (ja) * | 1994-02-18 | 2003-04-21 | 富士通株式会社 | キーワード自動抽出装置およびキーワード自動抽出方法 |
JPH08287097A (ja) * | 1995-04-19 | 1996-11-01 | Nippon Telegr & Teleph Corp <Ntt> | 文書分類方法及び装置 |
JP2003108569A (ja) * | 2001-09-27 | 2003-04-11 | Seiko Epson Corp | 分類処理装置、分類処理装置の制御方法、制御プログラムおよび記録媒体 |
JP2004258723A (ja) * | 2003-02-24 | 2004-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 話題抽出装置、話題抽出方法およびプログラム |
JP2004265440A (ja) * | 2004-04-28 | 2004-09-24 | A I Soft Inc | 未知語登録装置および方法並びに記録媒体 |
JP4466334B2 (ja) * | 2004-11-08 | 2010-05-26 | 日本電信電話株式会社 | 情報分類方法及び装置及びプログラム及びプログラムを格納した記憶媒体 |
JP4940399B2 (ja) * | 2006-10-12 | 2012-05-30 | 株式会社野村総合研究所 | 広告配信装置およびプログラム |
-
2009
- 2009-02-18 JP JP2009035759A patent/JP5165616B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010191710A (ja) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4848388B2 (ja) | 検索クエリに関するスコアを算出する方法 | |
US9507867B2 (en) | Discovery engine | |
US20060206481A1 (en) | Question answering system, data search method, and computer program | |
US20150100308A1 (en) | Automated Formation of Specialized Dictionaries | |
JP4859779B2 (ja) | 有害コンテンツの評価付与装置、プログラム及び方法 | |
JP2002245061A (ja) | キーワード抽出 | |
Versley et al. | Not just bigger: Towards better-quality Web corpora | |
JP4143085B2 (ja) | 同義語獲得方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP6106489B2 (ja) | 語義解析装置、及びプログラム | |
JP5073349B2 (ja) | 専門用語抽出装置、方法及びプログラム | |
JP5165616B2 (ja) | ジャンル判定辞書作成装置、ジャンル判定装置及び方法 | |
JP5499546B2 (ja) | 重要語抽出方法、装置、プログラム、記録媒体 | |
JP5285491B2 (ja) | 情報検索システム、方法及びプログラム、索引作成システム、方法及びプログラム、 | |
JP4726683B2 (ja) | 体験情報抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP7046592B2 (ja) | 検索支援システム、検索支援方法、及び検索支援プログラム | |
JP4934115B2 (ja) | キーワード抽出装置、方法及びプログラム | |
JP3985483B2 (ja) | 言語文を用いた検索装置、検索システム、検索方法、プログラム、および記録媒体 | |
JP5094096B2 (ja) | 有名人の別表現の自動抽出装置、方法 | |
Koeva et al. | Bulgarian X-language Parallel Corpus. | |
JP2007148630A (ja) | 特許分析装置、特許分析システム、特許分析方法およびプログラム | |
JP5186453B2 (ja) | 検索装置及び方法 | |
JP5843235B2 (ja) | Web情報処理装置、web情報処理方法、およびプログラム | |
JP5761033B2 (ja) | 文書分析装置、文書分析方法、およびプログラム | |
JP4859891B2 (ja) | コンテンツに関連する情報を提供するサーバ、システム及び方法 | |
JP5412137B2 (ja) | 機械学習装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120618 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121102 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5165616 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |