JP6576563B2 - データオブジェクトを効率よく分類するシステム及び方法 - Google Patents
データオブジェクトを効率よく分類するシステム及び方法 Download PDFInfo
- Publication number
- JP6576563B2 JP6576563B2 JP2018531599A JP2018531599A JP6576563B2 JP 6576563 B2 JP6576563 B2 JP 6576563B2 JP 2018531599 A JP2018531599 A JP 2018531599A JP 2018531599 A JP2018531599 A JP 2018531599A JP 6576563 B2 JP6576563 B2 JP 6576563B2
- Authority
- JP
- Japan
- Prior art keywords
- rule
- evaluation
- classification
- rule evaluation
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000011156 evaluation Methods 0.000 claims description 245
- 238000012545 processing Methods 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 46
- 238000013523 data management Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 239000004744 fabric Substances 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
Claims (15)
- データオブジェクトを効率よく分類するためのコンピュータ実装方法であって、前記方法の少なくとも一部分が、少なくとも1つのプロセッサを備えるコンピューティングデバイスによって実施され、前記方法が、
データオブジェクトを分類するための複数のルールに従って分類されるデータオブジェクトを受信することであって、各分類ルールが少なくとも1つの項目を含む、ことと、
前記複数の分類ルール中の各分類ルールに対して、前記分類ルール内の前記項目に従って前記データオブジェクトを評価するようにルール評価プロセッサに指示するルール評価ジョブを作成することであって、前記ルール評価プロセッサが、推定処理時間の短い順に前記分類ルール内の前記項目を評価する、ことと、
前記複数の分類ルールに対して作成された前記ルール評価ジョブを、前記ルール評価プロセッサで処理するために少なくとも1つのルール評価キューに投入することであって、前記ルール評価ジョブが推定処理時間の長い順に投入される、ことと、
前記ルール評価プロセッサから、各ルール評価ジョブに関する評価結果を受信することと、
前記ルール評価ジョブに関する前記評価結果を受信することに応じて、前記評価結果に従って前記データオブジェクトを分類することと、を含む方法。 - 複数の独立して実行するルール評価プロセッサを更に含み、各ルール評価プロセッサが、少なくとも1つのルール評価キューからのルール評価ジョブを処理する、請求項1に記載のコンピュータ実装方法。
- 前記ルール評価ジョブが、
前記ルール評価プロセッサに、論理的に結合された項目のセットを含む分類ルールに従って前記データオブジェクトを評価するように指示し、各項目が前記データオブジェクトの少なくとも1つの属性を評価し、
前記論理的に結合された項目のうちの少なくとも1つの評価が否定的結果を生じたときに、前記ルール評価プロセッサに前記分類ルールの評価を終了するように指示する、請求項1又は2に記載のコンピュータ実装方法。 - 前記分類ルールのうちの少なくとも1つの項目が、前記ルール評価プロセッサによって評価される前記データオブジェクトの一部を指定する、請求項1、2、又は3に記載のコンピュータ実装方法。
- 前記ルール評価プロセッサが少なくとも1つの分類ルールのうちの少なくとも1つの項目を評価するのにかかる時間を測定することと、
前記測定された時間に基づいて前記項目に関する処理時間を推定することと、を更に含む、請求項1、2、3、又は4に記載のコンピュータ実装方法。 - 前記ルール評価プロセッサが少なくとも1つの分類ルールを評価するのにかかる時間を測定することと、
前記測定された時間に基づいて前記分類ルールに関する処理時間を推定することと、を更に含む、請求項1、2、3、4、又は5に記載のコンピュータ実装方法。 - データオブジェクトを効率よく分類するためのシステムであって、前記システムが、
データオブジェクトを分類するための複数のルールに従って分類されるデータオブジェクトにアクセスするための手段であって、各分類ルールが少なくとも1つの項目を含む、手段と、
前記複数の分類ルール中の各分類ルールに対して、前記分類ルール内の前記項目に従って前記データオブジェクトを評価するようにルール評価プロセッサに指示するルール評価ジョブを作成するための手段であって、前記ルール評価プロセッサが、推定処理時間の短い順に前記分類ルール内部の前記項目を評価する、手段と、
前記複数の分類ルールに対して作成された前記ルール評価ジョブを、前記ルール評価プロセッサで処理するために少なくとも1つのルール評価キューに投入するための手段であって、前記ルール評価ジョブが推定処理時間の長い順に投入される、手段と、
前記ルール評価プロセッサから、各ルール評価ジョブに関する評価結果を受信するための手段と、
前記ルール評価ジョブに関する前記評価結果の受信に応じて、前記評価結果に従って前記データオブジェクトを分類するための手段と、を含むシステム。 - 複数の独立して実行するルール評価プロセッサを更に含み、各ルール評価プロセッサが、少なくとも1つのルール評価キューからのルール評価ジョブを処理する、請求項7に記載のシステム。
- 前記作成するための手段によって作成された前記ルール評価ジョブが、
前記ルール評価プロセッサに、論理的に結合された項目のセットを含む分類ルールに従って前記データオブジェクトを評価するように指示し、各項目が前記データオブジェクト
の少なくとも1つの属性を評価し、
前記論理的に結合された項目のうちの少なくとも1つの評価が否定的結果を生じたときに、前記ルール評価プロセッサに前記分類ルールの評価を終了するように指示する、請求項7又は8に記載のシステム。 - 前記分類ルールのうちの少なくとも1つの項目が、前記ルール評価プロセッサによって評価される前記データオブジェクトの一部を指定する、請求項7、8、又は9に記載のシステム。
- 前記ルール評価プロセッサが少なくとも1つの分類ルールのうちの少なくとも1つの項目を評価するのにかかる時間を測定し、
前記測定された時間に基づいて前記項目に関する処理時間を推定する、推定するための手段を更に含む、請求項7、8、9、又は10に記載のシステム。 - 前記推定するための手段が、
前記ルール評価プロセッサが少なくとも1つの分類ルールを評価するのにかかる時間を測定し、
前記測定された時間に基づいて前記分類ルールに関する処理時間を推定する、請求項11に記載のシステム。 - 1つ以上のコンピュータ可読命令を含む非一過性コンピュータ可読媒体であって、前記命令が、コンピューティングデバイスの少なくとも1つのプロセッサによって実行されるとき、前記コンピューティングデバイスに、
データオブジェクトを分類するための複数のルールに従って分類されるデータオブジェクトを受信させることであって、各分類ルールが少なくとも1つの項目を含む、ことと、
前記複数の分類ルール中の各分類ルールに対して、前記分類ルール内の前記項目に従って前記データオブジェクトを評価するようにルール評価プロセッサに指示するルール評価ジョブを作成することであって、前記ルール評価プロセッサが、推定処理時間の短い順に前記分類ルール内部の前記項目を評価する、ことと、
前記複数の分類ルールに対して作成された前記ルール評価ジョブを、前記ルール評価プロセッサで処理するために少なくとも1つのルール評価キューに投入することであって、前記ルール評価ジョブが推定処理時間の長い順に投入される、ことと、
前記ルール評価プロセッサから、各ルール評価ジョブに関する評価結果を受信することと、
前記ルール評価ジョブに関する前記評価結果を受信することに応じて、前記評価結果に従って前記データオブジェクトを分類することと、を実行させる非一過性コンピュータ可読媒体。 - 前記1つ以上のコンピュータ可読命令が、前記コンピューティングデバイスに、複数の独立して実行するルール評価プロセッサによりサービスされる少なくとも1つのルール評価キューに前記ルール評価ジョブを投入させ、各ルール評価プロセッサが、少なくとも1つのルール評価キューからのルール評価ジョブを処理する、請求項13に記載の非一過性コンピュータ可読媒体。
- 前記1つ以上のコンピュータ可読命令が、前記コンピューティングデバイスに、
前記ルール評価プロセッサに、論理的に結合された項目のセットを含む分類ルールに従って前記データオブジェクトを評価するように指示し、各項目が前記データオブジェクトの少なくとも1つの属性を評価し、
前記論理的に結合された項目のうちの少なくとも1つの評価が否定的結果を生じたときに、前記ルール評価プロセッサに前記分類ルールの評価を終了するように指示する、前記
ルール評価ジョブを作成するようにさせる、請求項13又は14に記載の非一過性コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/984,216 US10706368B2 (en) | 2015-12-30 | 2015-12-30 | Systems and methods for efficiently classifying data objects |
US14/984,216 | 2015-12-30 | ||
PCT/US2016/064041 WO2017116594A1 (en) | 2015-12-30 | 2016-11-29 | Systems and methods for efficiently classifying data objects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019502998A JP2019502998A (ja) | 2019-01-31 |
JP6576563B2 true JP6576563B2 (ja) | 2019-09-18 |
Family
ID=57590841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018531599A Active JP6576563B2 (ja) | 2015-12-30 | 2016-11-29 | データオブジェクトを効率よく分類するシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10706368B2 (ja) |
EP (1) | EP3398084A1 (ja) |
JP (1) | JP6576563B2 (ja) |
CN (1) | CN108604239B (ja) |
WO (1) | WO2017116594A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10706368B2 (en) | 2015-12-30 | 2020-07-07 | Veritas Technologies Llc | Systems and methods for efficiently classifying data objects |
US10609184B1 (en) * | 2016-08-26 | 2020-03-31 | Veritas Technologies Llc | Systems and methods for consistently applying rules to messages |
US10942948B2 (en) * | 2017-05-02 | 2021-03-09 | Sap Se | Cloud-based pluggable classification system |
US11455168B1 (en) | 2017-10-19 | 2022-09-27 | Pure Storage, Inc. | Batch building for deep learning training workloads |
US12067466B2 (en) | 2017-10-19 | 2024-08-20 | Pure Storage, Inc. | Artificial intelligence and machine learning hyperscale infrastructure |
US11494692B1 (en) | 2018-03-26 | 2022-11-08 | Pure Storage, Inc. | Hyperscale artificial intelligence and machine learning infrastructure |
US10360214B2 (en) | 2017-10-19 | 2019-07-23 | Pure Storage, Inc. | Ensuring reproducibility in an artificial intelligence infrastructure |
US11861423B1 (en) * | 2017-10-19 | 2024-01-02 | Pure Storage, Inc. | Accelerating artificial intelligence (‘AI’) workflows |
US10671435B1 (en) | 2017-10-19 | 2020-06-02 | Pure Storage, Inc. | Data transformation caching in an artificial intelligence infrastructure |
CN114092043A (zh) * | 2021-11-09 | 2022-02-25 | 中国建设银行股份有限公司 | 数据管理平台、方法、设备及计算机可读存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040198386A1 (en) * | 2002-01-16 | 2004-10-07 | Dupray Dennis J. | Applications for a wireless location gateway |
US7127467B2 (en) | 2002-05-10 | 2006-10-24 | Oracle International Corporation | Managing expressions in a database system |
US8005802B2 (en) | 2002-08-01 | 2011-08-23 | Oracle International Corporation | Partial evaluation of rule sets |
US7082505B2 (en) * | 2002-11-01 | 2006-07-25 | Taiwan Semiconductor Manufacturing Company, Ltd. | Backup data mechanism with fuzzy logic |
US7548544B2 (en) * | 2005-05-05 | 2009-06-16 | Ironport Systems, Inc. | Method of determining network addresses of senders of electronic mail messages |
JP4948276B2 (ja) | 2007-06-15 | 2012-06-06 | 三菱電機株式会社 | データベース検索装置及びデータベース検索プログラム |
US20100274750A1 (en) | 2009-04-22 | 2010-10-28 | Microsoft Corporation | Data Classification Pipeline Including Automatic Classification Rules |
CN101795211B (zh) * | 2010-01-13 | 2012-02-22 | 北京中创信测科技股份有限公司 | 一种数据存储方法及系统 |
US20120215560A1 (en) * | 2010-07-21 | 2012-08-23 | dbMotion Ltd. | System and methods for facilitating computerized interactions with emrs |
US8572007B1 (en) | 2010-10-29 | 2013-10-29 | Symantec Corporation | Systems and methods for classifying unknown files/spam based on a user actions, a file's prevalence within a user community, and a predetermined prevalence threshold |
US8856364B2 (en) * | 2011-03-11 | 2014-10-07 | Google Inc. | Conducting opportunistic network updates on a mobile device |
CN103428160A (zh) * | 2012-05-15 | 2013-12-04 | 上海博路信息技术有限公司 | 一种基于语音的排队服务系统 |
US10169090B2 (en) * | 2012-09-12 | 2019-01-01 | Salesforce.Com, Inc. | Facilitating tiered service model-based fair allocation of resources for application servers in multi-tenant environments |
JP6020004B2 (ja) | 2012-09-27 | 2016-11-02 | 富士通株式会社 | データ管理方法、情報処理装置およびプログラム |
US9342366B2 (en) * | 2012-10-17 | 2016-05-17 | Electronics And Telecommunications Research Institute | Intrusion detection apparatus and method using load balancer responsive to traffic conditions between central processing unit and graphics processing unit |
CN102929861B (zh) * | 2012-10-22 | 2015-07-22 | 杭州东信北邮信息技术有限公司 | 一种文本情感指数计算方法和系统 |
CN103577560B (zh) * | 2013-10-24 | 2017-05-24 | 华为技术有限公司 | 一种输入数据库操作指令的方法和装置 |
US9288290B2 (en) * | 2013-12-10 | 2016-03-15 | Cisco Technology, Inc. | Interactive dynamic ordering of deep packet inspection rules |
CN104142998A (zh) * | 2014-08-01 | 2014-11-12 | 中国传媒大学 | 一种文本分类方法 |
CN104794151A (zh) * | 2015-01-30 | 2015-07-22 | 北京东方泰坦科技股份有限公司 | 一种基于协同标绘技术的空间知识服务系统建设方法 |
CN104820716B (zh) * | 2015-05-21 | 2017-11-28 | 中国人民解放军海军工程大学 | 基于数据挖掘的装备可靠性评估方法 |
US10706368B2 (en) | 2015-12-30 | 2020-07-07 | Veritas Technologies Llc | Systems and methods for efficiently classifying data objects |
-
2015
- 2015-12-30 US US14/984,216 patent/US10706368B2/en active Active
-
2016
- 2016-11-29 CN CN201680073846.5A patent/CN108604239B/zh active Active
- 2016-11-29 EP EP16816505.8A patent/EP3398084A1/en not_active Ceased
- 2016-11-29 WO PCT/US2016/064041 patent/WO2017116594A1/en active Application Filing
- 2016-11-29 JP JP2018531599A patent/JP6576563B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20170193389A1 (en) | 2017-07-06 |
JP2019502998A (ja) | 2019-01-31 |
US10706368B2 (en) | 2020-07-07 |
EP3398084A1 (en) | 2018-11-07 |
CN108604239A (zh) | 2018-09-28 |
CN108604239B (zh) | 2022-01-28 |
WO2017116594A1 (en) | 2017-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576563B2 (ja) | データオブジェクトを効率よく分類するシステム及び方法 | |
US9245123B1 (en) | Systems and methods for identifying malicious files | |
JP6336675B2 (ja) | 複数の異種データ管理システムからの情報資産メタデータを集約するためのシステム及び方法 | |
US9246941B1 (en) | Systems and methods for predicting the impact of security-policy changes on users | |
US9077728B1 (en) | Systems and methods for managing access-control groups | |
US9407664B1 (en) | Systems and methods for enforcing enterprise data access control policies in cloud computing environments | |
US10607005B2 (en) | Systems and methods for labeling automatically generated reports | |
US9992211B1 (en) | Systems and methods for improving the classification accuracy of trustworthiness classifiers | |
US11275831B1 (en) | Systems and methods for detecting anomalous system command line data | |
US11782965B1 (en) | Systems and methods for normalizing data store classification information | |
US10735468B1 (en) | Systems and methods for evaluating security services | |
US11245726B1 (en) | Systems and methods for customizing security alert reports | |
US10380074B1 (en) | Systems and methods for efficient backup deduplication | |
US10542017B1 (en) | Systems and methods for personalizing security incident reports | |
US10606705B1 (en) | Prioritizing backup operations using heuristic techniques | |
US11429823B1 (en) | Systems and methods for dynamically augmenting machine learning models based on contextual factors associated with execution environments | |
US9332025B1 (en) | Systems and methods for detecting suspicious files | |
AU2015346655A1 (en) | Systems and methods for aggregating information-asset classifications | |
US9424269B1 (en) | Systems and methods for deduplicating archive objects | |
US11023580B1 (en) | Systems and methods for cross-product malware categorization | |
US10057274B1 (en) | Systems and methods for profiling client systems | |
US20160179954A1 (en) | Systems and methods for culling search results in electronic discovery | |
US10216933B1 (en) | Systems and methods for determining whether malicious files are targeted | |
US11461462B1 (en) | Systems and methods for producing adjustments to malware-detecting services | |
US10635645B1 (en) | Systems and methods for maintaining aggregate tables in databases |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180615 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180615 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6576563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |