JP6561504B2 - データ配置プログラム、データ配置方法およびデータ配置装置 - Google Patents
データ配置プログラム、データ配置方法およびデータ配置装置 Download PDFInfo
- Publication number
- JP6561504B2 JP6561504B2 JP2015048214A JP2015048214A JP6561504B2 JP 6561504 B2 JP6561504 B2 JP 6561504B2 JP 2015048214 A JP2015048214 A JP 2015048214A JP 2015048214 A JP2015048214 A JP 2015048214A JP 6561504 B2 JP6561504 B2 JP 6561504B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- processing time
- record data
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 78
- 238000012545 processing Methods 0.000 claims description 290
- 238000004364 calculation method Methods 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 description 36
- 238000010586 diagram Methods 0.000 description 32
- 238000007781 pre-processing Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 206010073150 Multiple endocrine neoplasia Type 1 Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
分割された前記データに対して受け付けた処理要求を処理する。
データベースに格納されたデータに対して処理要求を実行し、前記処理要求と前記データとの組み合わせにおける処理の類似度を算出し、
前記類似度が分散するようにデータを分割し
分割された前記データに対して受け付けた処理要求を処理する
ことを実行させることを特徴とするデータ配置プログラム。
データベースに格納されたデータに対して処理要求を実行し、前記処理要求と前記データとの組み合わせにおける処理の類似度を算出し、
前記類似度が分散するようにデータを分割し
分割された前記データに対して受け付けた処理要求を処理する
ことを特徴とするデータ配置方法。
前記類似度が分散するようにデータを分割し、分割された前記データに対して受け付けた処理要求を処理する配置部と、
を有することを特徴とするデータ配置装置。
110 記憶部
120 入力部
130 照合処理要求部
140 処理時間パターン判定部
150 マッチング処理部
160 配置処理部
Claims (5)
- コンピュータに、
データベースに格納された複数のデータそれぞれに対して複数の処理要求の処理を実行し、前記複数のデータに対して前記複数の処理要求の処理を行った場合の処理時間をそれぞれ算出し、
前記複数のデータに含まれる1つのデータに対して前記複数の処理要求の処理を行った場合の処理時間をそれぞれ配列した処理時間ベクトルを、データ毎に設定した中間テーブルを生成し、前記中間テーブルの前記データ毎に設定された前記処理時間ベクトルを基にして、前記複数のデータに含まれる各データの類似度をそれぞれ算出し、前記類似度を基にして、前記複数のデータを複数のデータベースに配置する
ことを実行させることを特徴とするデータ配置プログラム。 - 前記複数のデータを複数のデータベースに配置する処理は、前記中間テーブルを基にして、前記複数のデータにそれぞれ設定された処理時間ベクトルが部分的に類似するデータの集合を同一のクラスタに分類するクラスタリングを実行し、同一のクラスタに含まれるデータを、それぞれ異なるデータベースに分散させることを特徴とする請求項1に記載のデータ配置プログラム。
- 前記中間テーブルは、前記データベースに格納された複数のデータそれぞれに対して実行された前記複数の処理要求の数に対応する次元を有しており、
前記処理時間ベクトル間の類似度の値が類似するもの同士を統合することで、前記次元を削減する処理を更に実行することを特徴とする請求項1に記載のデータ配置プログラム。 - コンピュータが実行するデータ配置方法であって、
データベースに格納された複数のデータそれぞれに対して複数の処理要求の処理を実行し、前記複数のデータに対して前記複数の処理要求の処理を行った場合の処理時間をそれぞれ算出し、
前記複数のデータに含まれる1つのデータに対して前記複数の処理要求の処理を行った場合の処理時間をそれぞれ配列した処理時間ベクトルを、データ毎に設定した中間テーブルを生成し、前記中間テーブルの前記データ毎に設定された前記処理時間ベクトルを基にして、前記複数のデータに含まれる各データの類似度をそれぞれ算出し、前記類似度を基にして、前記複数のデータを複数のデータベースに配置する
処理を実行することを特徴とするデータ配置方法。 - データベースに格納された複数のデータそれぞれに対して複数の処理要求の処理を実行し、前記複数のデータに対して前記複数の処理要求の処理を行った場合の処理時間をそれぞれ算出し、前記複数のデータに含まれる1つのデータに対して前記複数の処理要求の処理を行った場合の処理時間をそれぞれ配列した処理時間ベクトルを、データ毎に設定した中間テーブルを生成し、前記中間テーブルの前記データ毎に設定された前記処理時間ベクトルを基にして、前記複数のデータに含まれる各データの類似度をそれぞれ算出する算出部と
前記類似度を基にして、前記複数のデータを複数のデータベースに配置する配置部と、
を有することを特徴とするデータ配置装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048214A JP6561504B2 (ja) | 2015-03-11 | 2015-03-11 | データ配置プログラム、データ配置方法およびデータ配置装置 |
US15/064,982 US10133811B2 (en) | 2015-03-11 | 2016-03-09 | Non-transitory computer-readable recording medium, data arrangement method, and data arrangement apparatus |
EP16159633.3A EP3067804B1 (en) | 2015-03-11 | 2016-03-10 | Data arrangement program, data arrangement method, and data arrangement apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048214A JP6561504B2 (ja) | 2015-03-11 | 2015-03-11 | データ配置プログラム、データ配置方法およびデータ配置装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016170493A JP2016170493A (ja) | 2016-09-23 |
JP6561504B2 true JP6561504B2 (ja) | 2019-08-21 |
Family
ID=55521625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015048214A Expired - Fee Related JP6561504B2 (ja) | 2015-03-11 | 2015-03-11 | データ配置プログラム、データ配置方法およびデータ配置装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10133811B2 (ja) |
EP (1) | EP3067804B1 (ja) |
JP (1) | JP6561504B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10491694B2 (en) | 2013-03-15 | 2019-11-26 | Oath Inc. | Method and system for measuring user engagement using click/skip in content stream using a probability model |
JP7020331B2 (ja) * | 2018-07-26 | 2022-02-16 | 日本電信電話株式会社 | クラスタリング装置、方法、及びプログラム |
US10510022B1 (en) | 2018-12-03 | 2019-12-17 | Sas Institute Inc. | Machine learning model feature contribution analytic system |
CN113408557B (zh) * | 2020-03-17 | 2023-10-13 | 深圳云天励飞技术有限公司 | 一种档案合并方法、装置及电子设备 |
CN113919814A (zh) * | 2021-10-19 | 2022-01-11 | 北京优全智汇信息技术有限公司 | 一种工种信息管理方法和装置 |
CN114866575A (zh) * | 2022-03-31 | 2022-08-05 | 远景智能国际私人投资有限公司 | 物联网设备的管理方法、装置、设备及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322292A (ja) * | 1999-05-10 | 2000-11-24 | Nec Corp | クラスタ型データサーバシステム及びデータ格納方法 |
JP2001195593A (ja) * | 1999-10-22 | 2001-07-19 | Sony Computer Entertainment Inc | エンタテインメントシステム、エンタテインメント装置、記録媒体及びプログラム |
JP2001134593A (ja) | 1999-11-05 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | 近傍データ検索方法及び装置及び近傍データ検索プログラムを格納した記憶媒体 |
EP1755067A1 (en) | 2005-08-15 | 2007-02-21 | Mitsubishi Electric Information Technology Centre Europe B.V. | Mutual-rank similarity-space for navigating, visualising and clustering in image databases |
JP2007323319A (ja) | 2006-05-31 | 2007-12-13 | Nippon Telegr & Teleph Corp <Ntt> | 類似検索処理方法及び装置及びプログラム |
US8295603B2 (en) * | 2007-03-28 | 2012-10-23 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
US8312136B2 (en) * | 2007-07-10 | 2012-11-13 | Nec Corporation | Computer system management based on request count change parameter indicating change in number of requests processed by computer system |
WO2010060179A1 (en) | 2008-11-28 | 2010-06-03 | Infobright Inc. | Methods for organizing a relational database by using clustering operations |
JP5458815B2 (ja) | 2009-11-11 | 2014-04-02 | 株式会社デンソーアイティーラボラトリ | マルチメディア検索システム |
US9400978B2 (en) * | 2010-04-09 | 2016-07-26 | Paypal, Inc. | Methods and systems for selecting accounts and offers in payment transactions |
WO2012127988A1 (ja) * | 2011-03-18 | 2012-09-27 | 日本電気株式会社 | 情報処理装置、分散ファイルシステム、クライアント装置、情報処理方法、および、コンピュータ・プログラム |
US8838565B2 (en) * | 2011-11-17 | 2014-09-16 | CereScan Corporation | Neuroimaging database systems and methods |
JP2013196212A (ja) | 2012-03-16 | 2013-09-30 | Fujitsu Ltd | 文書分割装置、文書分割プログラムおよび文書分割方法 |
US9703837B1 (en) * | 2012-09-28 | 2017-07-11 | Google Inc. | Predicting interest of a user of a social networking service in a content item |
US9620123B2 (en) * | 2013-05-02 | 2017-04-11 | Nice Ltd. | Seamless authentication and enrollment |
US9536195B2 (en) * | 2013-09-13 | 2017-01-03 | International Business Machines Corporation | Goal-oriented process generation |
-
2015
- 2015-03-11 JP JP2015048214A patent/JP6561504B2/ja not_active Expired - Fee Related
-
2016
- 2016-03-09 US US15/064,982 patent/US10133811B2/en active Active
- 2016-03-10 EP EP16159633.3A patent/EP3067804B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3067804A1 (en) | 2016-09-14 |
US20160267173A1 (en) | 2016-09-15 |
JP2016170493A (ja) | 2016-09-23 |
US10133811B2 (en) | 2018-11-20 |
EP3067804B1 (en) | 2018-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6561504B2 (ja) | データ配置プログラム、データ配置方法およびデータ配置装置 | |
JP5792747B2 (ja) | テキスト分類の方法及びシステム | |
TWI738011B (zh) | 用戶身分確定方法、裝置及電子設備 | |
TW202029079A (zh) | 異常群體識別方法及裝置 | |
CN104077723B (zh) | 一种社交网络推荐系统及方法 | |
CN106095920B (zh) | 面向大规模高维空间数据的分布式索引方法 | |
US8661040B2 (en) | Grid-based data clustering method | |
EP3217296A1 (en) | Data query method and apparatus | |
WO2015180340A1 (zh) | 一种数据挖掘方法及装置 | |
WO2019119635A1 (zh) | 种子用户拓展方法、电子设备及计算机可读存储介质 | |
WO2017201605A1 (en) | Large scale social graph segmentation | |
Guo et al. | LBIRCH: an improved BIRCH algorithm based on link | |
US9519835B2 (en) | Efficient biometric authentication using narrowed biometric data | |
Chehreghani | Efficient computation of pairwise minimax distance measures | |
US20140105509A1 (en) | Systems and methods for comparing images | |
JP6435939B2 (ja) | データ分類プログラム、データ分類方法およびデータ分類装置 | |
US9183264B2 (en) | Distributed configuration information management device and distributed configuration information management method using duplicates | |
JP2013196212A (ja) | 文書分割装置、文書分割プログラムおよび文書分割方法 | |
CN106844338B (zh) | 基于属性间依赖关系的网络表格的实体列的检测方法 | |
CN117493920A (zh) | 一种数据分类方法及装置 | |
US20160063042A1 (en) | Computer-readable recording medium, data placement method, and data placement device | |
Melo et al. | Hierarchical density-based clustering based on GPU accelerated data indexing strategy | |
Elbatta et al. | A vibration method for discovering density varied clusters | |
WO2019230465A1 (ja) | 類似性評価装置、その方法、及びプログラム | |
US10223405B2 (en) | Retrieval control method and retrieval server |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6561504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |