JP5569698B2 - 類型化装置、類型化方法及び類型化プログラム - Google Patents
類型化装置、類型化方法及び類型化プログラム Download PDFInfo
- Publication number
- JP5569698B2 JP5569698B2 JP2011508385A JP2011508385A JP5569698B2 JP 5569698 B2 JP5569698 B2 JP 5569698B2 JP 2011508385 A JP2011508385 A JP 2011508385A JP 2011508385 A JP2011508385 A JP 2011508385A JP 5569698 B2 JP5569698 B2 JP 5569698B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- similarity
- target data
- data
- merge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、本発明の第1の実施形態における類型化システムを示すブロック図である。本実施形態の類型化システム100は、記憶部1と、計算部2とを備える。記憶部1は、対象記憶部11と、類似度記憶部12とを備える。計算部2は、類似度計算部21と、制御部22と、併合対象選択部23と、新対象作成部24と、併合対象除去部25と、新対象追加部26とを備える。類型化システムはパーソナルコンピュータなどの計算装置によって実現することができる。記憶部1はハードディスク等の記憶装置によって実現される。計算部2は、記憶装置に格納されたプログラムをCPUが読み出し、そのプログラムに記述された手順に従った動作を実行することによって実現される機能ブロックである。
[数1]
[数2]
指定される圧縮アルゴリズムは、例えば、文書の場合はgip、zgipなどであり、画像の場合は、pngへの変換などである。
(A)対象記憶部11に記憶された対象の数が予め定めた数L以下である。
(B)類似度記憶部12に記憶された類似度の最大値が予め定めた閾値θ以下である。
[数3]
そのため、部分Bと極めて類似度の高い部分B’をもつ対象があるときに、その対象とクラスタとの類似度が高いと計算される。したがって、非特許文献2にも記載されているように、クラスタに含まれる対象数が多いほど、最も類似度の高い対象として選ぶことができる候補が増え、そのクラスタは併合するために選ばれやすくなる。その結果、大きく併合されたクラスタと、それ以外のいくつかの対象という恣意的な階段状構造が生じてしまい、適切に類型化することができなかった。
図9は、本発明の第2の実施形態における類型化システムの例を示すブロック図である。本実施形態の類型化システム200は、記憶部3と、類型化部4とを備える。記憶部3は、前処理ルール記憶部30と、対象記憶部11と、類似度記憶部12とを備える。計算部4は、前処理部40と、類似度計算部21と、制御部22と、併合対象選択部23と、新対象作成部24と、併合対象除去部25と、新対象追加部26とを備える。対象記憶部11と、類似度記憶部12と、類似度計算部21と、制御部22と、併合対象選択部23と、新対象作成部24と、併合対象除去部25と、新対象追加部26とは、第1の実施形態と同様である。
Claims (15)
- 複数の対象データの中の自分自身との組合せを除く任意の2つの対象データの類似度を計算して類似度テーブルに記憶する類似度算出部と、
前記類似度が所定の基準を満たす2つの対象データを併合対象として選択する併合対象選択部と、
前記併合対象から新たな対象データを作成する新対象作成部と、
前記併合対象として選択された2つの対象データの各々とそれ以外の対象データとの類似度を前記類似度テーブルから除去する併合対象除去部と、
前記新たな対象データと、前記複数の対象データの中の前記新たな対象データ以外の対象データとの類似度を計算する新対象追加部とを具備し、
前記複数の対象データの各々は文書を示し、前記新対象生成部は、前記併合対象として選択された2つの文書を連結することによって新たな1つの文書を前記新たな対象データとして作成する
類型化装置。 - 前記併合対象選択部は、前記類似度テーブルの中で最も類似度が高い2つの対象データを前記併合対象として選択する
請求項1に記載の類型化装置。 - 前記類似度算出部は、コルモゴロフ複雑性の近似計算法に基づいて類似度を計算する
請求項1又は請求項2に記載の類型化装置。 - 前記近似計算法は、2つの対象データのそれぞれを所定の圧縮方法によって圧縮した圧縮データのサイズと、2つの対象データを連結した連結データを前記所定の圧縮方法によって圧縮した圧縮データのサイズとに基づいて行われる
請求項3に記載の類型化装置。 - 前記複数の対象データの各々は、文書データ、画像データ、時系列データのいずれかである
請求項1から請求項4のうちのいずれか1項に記載の類型化装置。 - コンピュータによって実行される類型化方法であって、
複数の対象データの中の自分自身との組合せを除く任意の2つの対象データの類似度を計算して類似度テーブルに記憶し、
前記類似度が所定の基準を満たす2つの対象データを併合対象として選択し、
前記併合対象から新たな対象データを作成し、
前記併合対象として選択された2つの対象データの各々とそれ以外の対象データとの類似度を前記類似度テーブルから除去し、
前記新たな対象データと、前記複数の対象データの中の前記新たな対象データ以外の対象データとの類似度を計算し、
前記複数の対象データの各々は文書を示し、新たな対象データは、前記併合対象として選択された2つの文書を連結することによって作成された新たな1つの文書である
類型化方法。 - 前記類似度テーブルの中で最も類似度が高い2つの対象データが前記併合対象として選択される
請求項6に記載の類型化方法。 - 前記類似度は、コルモゴロフ複雑性の近似計算法に基づいて計算される
請求項6又は請求項7に記載の類型化方法。 - 前記近似計算法は、2つの対象データのそれぞれを所定の圧縮方法によって圧縮した圧縮データのサイズと、2つの対象データを連結した連結データを前記所定の圧縮方法によって圧縮した圧縮データのサイズとに基づいて行われる
請求項8に記載の類型化方法。 - 前記複数の対象データの各々は、文書データ、画像データ、時系列データのいずれかである
請求項6から請求項9のいずれか1項に記載の類型化方法。 - 複数の対象データの中の自分自身との組合せを除く任意の2つの対象データの類似度を計算して類似度テーブルに記憶する類似度算出機能と、
前記類似度が所定の基準を満たす2つの対象データを併合対象として選択する併合対象選択機能と、
前記併合対象から新たな対象データを作成する新対象作成機能と、
前記併合対象として選択された2つの対象データの各々とそれ以外の対象との類似度を前記類似度テーブルから除去する併合対象除去機能と、
前記新たな対象データと、前記複数の対象データの中の前記新たな対象データ以外の対象データとの類似度を計算する新対象追加機能とをコンピュータに実現させるための類型化プログラムであって、
前記複数の対象データの各々は文書を示し、前記新対象生成機能は、前記併合対象として選択された2つの文書を連結することによって新たな1つの文書を前記新たな対象データとして作成する
類型化プログラム。 - 前記併合対象選択機能は、前記類似度テーブルの中で最も類似度が高い2つの対象データを前記併合対象として選択する
請求項11に記載の類型化プログラム。 - 前記類似度算出機能は、コルモゴロフ複雑性の近似計算法に基づいて類似度を計算する
請求項11又は請求項12に記載の類型化プログラム。 - 前記近似計算法は、2つの対象データのそれぞれを所定の圧縮方法によって圧縮した圧縮データのサイズと、2つの対象データを連結した連結データを前記所定の圧縮方法によって圧縮した圧縮データのサイズとに基づいて行われる
請求項13に記載の類型化プログラム。 - 前記複数の対象データの各々は、文書データ、画像データ、時系列データのいずれかである
請求項11から請求項14のうちのいずれか1項に記載の類型化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011508385A JP5569698B2 (ja) | 2009-04-10 | 2010-04-08 | 類型化装置、類型化方法及び類型化プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095618 | 2009-04-10 | ||
JP2009095618 | 2009-04-10 | ||
JP2011508385A JP5569698B2 (ja) | 2009-04-10 | 2010-04-08 | 類型化装置、類型化方法及び類型化プログラム |
PCT/JP2010/056352 WO2010117031A1 (ja) | 2009-04-10 | 2010-04-08 | 類型化装置、類型化方法及び類型化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010117031A1 JPWO2010117031A1 (ja) | 2012-10-18 |
JP5569698B2 true JP5569698B2 (ja) | 2014-08-13 |
Family
ID=42936312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011508385A Expired - Fee Related JP5569698B2 (ja) | 2009-04-10 | 2010-04-08 | 類型化装置、類型化方法及び類型化プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9075829B2 (ja) |
JP (1) | JP5569698B2 (ja) |
WO (1) | WO2010117031A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5862893B2 (ja) * | 2010-08-24 | 2016-02-16 | 日本電気株式会社 | 文書分析システム、文書分析方法及び文書分析プログラム |
JP5900486B2 (ja) * | 2011-03-16 | 2016-04-06 | 日本電気株式会社 | 関連仕様対応付けシステム、関連仕様対応付け方法およびプログラム |
JP6306951B2 (ja) * | 2014-06-20 | 2018-04-04 | 株式会社エヌ・ティ・ティ・データ | ソーシャルネットワークサービスにおけるノイズ投稿の分類方法およびシステム |
CN114386281B (zh) * | 2022-01-13 | 2022-09-13 | 北京卫星环境工程研究所 | 一种基于聚类的试验加热回路自动设计方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008283412A (ja) * | 2007-05-10 | 2008-11-20 | Nippon Hoso Kyokai <Nhk> | コメント収集解析装置およびそのプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8503304A (nl) * | 1985-11-29 | 1987-06-16 | Philips Nv | Werkwijze en inrichting voor het segmenteren van een uit een akoestisch signaal, bij voorbeeld een spraaksignaal, afgeleid elektrisch signaal. |
US6961664B2 (en) * | 1999-01-19 | 2005-11-01 | Maxygen | Methods of populating data structures for use in evolutionary simulations |
JP2001229177A (ja) | 2000-02-16 | 2001-08-24 | Mitsubishi Electric Corp | 事例ベース構築方法、事例ベース構築装置及び事例ベース構築プログラムを記録した記録媒体 |
JP4870448B2 (ja) | 2006-02-23 | 2012-02-08 | 株式会社日立製作所 | 情報処理装置、顧客ニーズ分析方法、およびプログラム |
US7937334B2 (en) * | 2006-05-31 | 2011-05-03 | Lockheed Martin Corporation | System and method for defining normal operating regions and identifying anomalous behavior of units within a fleet, operating in a complex, dynamic environment |
US8745055B2 (en) * | 2006-09-28 | 2014-06-03 | Symantec Operating Corporation | Clustering system and method |
JP4936455B2 (ja) | 2007-03-22 | 2012-05-23 | 日本電信電話株式会社 | 文書分類装置、文書分類方法、プログラムおよび記録媒体 |
US8136160B2 (en) * | 2008-11-25 | 2012-03-13 | At&T Intellectual Property I, Lp | System and method to select monitors that detect prefix hijacking events |
-
2010
- 2010-04-08 US US13/263,030 patent/US9075829B2/en not_active Expired - Fee Related
- 2010-04-08 WO PCT/JP2010/056352 patent/WO2010117031A1/ja active Application Filing
- 2010-04-08 JP JP2011508385A patent/JP5569698B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008283412A (ja) * | 2007-05-10 | 2008-11-20 | Nippon Hoso Kyokai <Nhk> | コメント収集解析装置およびそのプログラム |
Non-Patent Citations (6)
Title |
---|
CSNG200100413007; 石田 和成: '用語間関係に着目した文書間関係に関する統計的分析と分析支援システムの開発' 情報処理学会研究報告 Vol.99 No.57 IPSJ SIG Notes 第99巻, 19990716, 第49-56頁, 社団法人情報処理学会 * |
CSNG200400235014; 難波 功: '擬似事例頻度を利用した質問回答検索' 電子情報通信学会技術研究報告 Vol.101 No.712 第101巻, 20020307, 第101-108頁, 社団法人電子情報通信学会 * |
CSNG200900076008; 井上 悦子: '大規模クラスタリング結果のグラフによるインタラクティブな可視化手法' 電子情報通信学会論文誌 (J92-D) 第3号 第J92-D巻, 20090301, 第351-360頁, 社団法人電子情報通信学会 * |
JPN6010026527; 井上 悦子: '大規模クラスタリング結果のグラフによるインタラクティブな可視化手法' 電子情報通信学会論文誌 (J92-D) 第3号 第J92-D巻, 20090301, 第351-360頁, 社団法人電子情報通信学会 * |
JPN6010026530; 石田 和成: '用語間関係に着目した文書間関係に関する統計的分析と分析支援システムの開発' 情報処理学会研究報告 Vol.99 No.57 IPSJ SIG Notes 第99巻, 19990716, 第49-56頁, 社団法人情報処理学会 * |
JPN6010026531; 難波 功: '擬似事例頻度を利用した質問回答検索' 電子情報通信学会技術研究報告 Vol.101 No.712 第101巻, 20020307, 第101-108頁, 社団法人電子情報通信学会 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2010117031A1 (ja) | 2012-10-18 |
WO2010117031A1 (ja) | 2010-10-14 |
US20120124048A1 (en) | 2012-05-17 |
US9075829B2 (en) | 2015-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | A subspace co-training framework for multi-view clustering | |
JP5565190B2 (ja) | 学習モデル作成プログラム、画像識別情報付与プログラム、学習モデル作成装置及び画像識別情報付与装置 | |
JP4332129B2 (ja) | 文書分類プログラム、文書分類方法および文書分類装置 | |
JP5458815B2 (ja) | マルチメディア検索システム | |
US20190370274A1 (en) | Analysis Method Using Graph Theory, Analysis Program, and Analysis System | |
JP2019086979A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5569698B2 (ja) | 類型化装置、類型化方法及び類型化プログラム | |
JP2022037955A (ja) | 学習モデルを選択するシステム | |
Levonevskii et al. | Methods for determination of psychophysiological condition of user within smart environment based on complex analysis of heterogeneous data | |
JP7116969B2 (ja) | 2次元マップ生成装置、2次元マップ生成方法および2次元マップ生成用プログラム | |
US11977952B1 (en) | Apparatus and a method for generating a confidence score associated with a scanned label | |
US20230237435A1 (en) | Apparatuses and methods for parsing and comparing video resume duplications | |
JP5463873B2 (ja) | マルチメディア分類システム及びマルチメディア検索システム | |
US11776290B2 (en) | Document classification using signal processing | |
CN114996360B (zh) | 数据分析方法、系统、可读存储介质及计算机设备 | |
JPH11296552A (ja) | 文書分類装置、文書分類方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Mursalin et al. | EpNet: A deep neural network for ear detection in 3D point clouds | |
KR101800975B1 (ko) | 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 | |
US11270155B2 (en) | Duplicate image detection based on image content | |
Kasik et al. | Data transformations and representations for computation and visualization | |
Jabonete et al. | Development of an Automatic Document to Digital Record Association Feature for a Cloud-Based Accounting Information System | |
JP6509391B1 (ja) | 計算機システム | |
WO2015029158A1 (ja) | データ変換装置およびデータ変換方法ならびにデータ変換プログラム | |
Parikh | Information Extraction from Unstructured data using Augmented-AI and Computer Vision | |
CN111507236B (zh) | 文件处理方法、系统、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5569698 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |