WO2017090114A1 - データ処理システム及びデータ処理方法 - Google Patents
データ処理システム及びデータ処理方法 Download PDFInfo
- Publication number
- WO2017090114A1 WO2017090114A1 PCT/JP2015/083044 JP2015083044W WO2017090114A1 WO 2017090114 A1 WO2017090114 A1 WO 2017090114A1 JP 2015083044 W JP2015083044 W JP 2015083044W WO 2017090114 A1 WO2017090114 A1 WO 2017090114A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- index
- optimization
- processing system
- data processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
Abstract
Description
以下、本発明の一実施形態を、図面を参照して説明する。図1は、本実施例におけるデータ処理システムのシステム構成図である。データ処理システムは、データを解析し、モデルを作成するシステムである。以下では、モデルとして、データを最適化する際の評価式を作成する例で説明する。
次に、実施例2を説明する。実施例2では、最適化を行った入力データを実際に実行した結果を用いることにより、指標の有効性の確度を上げる構成が提供される。
110 …二次記憶装置
111 …指標有効性テーブル
120 …主記憶装置
130 …モデリング機能付き最適化部
131 …第1指標生成部
132 …評価式生成部
133 …最適化部
140 …入力装置
150 …出力装置
201 …過去説明データ
202 …過去目的データ
203 …最適化用設定パラメータ
204 …最適化用入力データ
205 …指標データ
206 …評価式
207 …最適化済みデータ
901 …指標有効性テーブル
902 …第2指標生成部
903 …検証データ分離部
904 …部分最適化部
905 …実行部
906 …指標有効性検証部
1011 …検証用データ
1012 …部分最適化用データ
1013 …最適化用データ
1014 …検証分離情報データ
1015 …実行結果データ
Claims (12)
- プロセッサと、記憶部とを備え、複数のカラムを含む入力データを最適化するためのモデルを作成するデータ処理システムであって、
前記プロセッサは、
前記入力データを最適化する際に指標となる前記カラムの組み合わせの情報と、最適化する際の前記カラムごとの変更可否を示す変更可否情報とを含む指標データを受け取り、
前記指標データに基づいて前記モデルを生成することを特徴とするデータ処理システム。 - 請求項1に記載のデータ処理システムにおいて、
前記プロセッサは、
前記カラムの組み合わせの中に変更可能なカラムと変更不可のカラムとがそれぞれ少なくとも1つ含まれる前記指標のみを用いて、前記モデルを生成することを特徴とするデータ処理システム。 - 請求項2に記載のデータ処理システムにおいて、
前記指標データは、前記変更可能なカラムに関して、取り得る組み合わせの種類の程度を表す流動度の情報をさらに含み、
前記プロセッサは、
前記流動度が所定の条件を満たす前記指標のみを用いて、前記モデルを生成することを特徴とするデータ処理システム。 - 請求項1に記載のデータ処理システムにおいて、
前記指標データは、ある関数を用いて過去のデータに基づいて計算された前記指標の値をさらに含み、
前記プロセッサは、前記指標の値を用いて前記モデルを生成することを特徴とするデータ処理システム。 - 請求項1に記載のデータ処理システムにおいて、
前記プロセッサは、
前記入力データを最適化する際の制約情報を受け取り、
前記制約情報及び前記モデルに基づいて前記入力データを最適化し、最適化データを出力することを特徴とするデータ処理システム。 - 請求項5に記載のデータ処理システムにおいて、
前記最適化データを用いて処理を実行し、実行結果データを出力する実行部をさらに備えることを特徴とするデータ処理システム。 - 請求項6に記載のデータ処理システムにおいて、
前記記憶部は、指標の有効性を表す指標有効性情報を格納しており、
前記プロセッサは、
前記入力データを前記指標ごとに複数のデータに分割し、
前記実行結果データから各指標の有効性を検証し、
各指標の有効性を前記指標有効性情報として前記記憶部に格納することを特徴とするデータ処理システム。 - 請求項7に記載のデータ処理システムにおいて、
前記プロセッサは、前記指標有効性情報を用いて前記指標データを作成することを特徴とするデータ処理システム。 - 請求項7に記載のデータ処理システムにおいて、
前記複数のデータは、最適化を行わない検証用データと、最適化を行う部分最適化用データとを含み、
前記プロセッサは、
前記部分最適化用データに関して、検証対象の指標のみを用いた第2モデルを生成し、
前記第2モデルを用いて最適化することを特徴とするデータ処理システム。 - 請求項9に記載のデータ処理システムにおいて、
前記プロセッサは、前記実行結果データにおける前記検証用データに対応するデータと、前記実行結果データにおける前記部分最適化用データに対応するデータとを比較することによって、前記指標の有効性を検証することを特徴とするデータ処理システム。 - 請求項9に記載のデータ処理システムにおいて、
前記プロセッサは、
前記モデルから、検証対象の指標を除いた第3モデルを生成し、
前記第3モデルの評価値がほぼ均等になるように前記検証用データと前記部分最適化用データに分離することを特徴とするデータ処理システム。 - 複数のカラムを含む入力データを最適化するためのモデルを作成するデータ処理方法であって、
プロセッサが、前記入力データを最適化する際に指標となる前記カラムの組み合わせの情報と、前記最適化する際の前記カラムごとの変更可否を示す変更可否情報とを含む指標データを受け取るステップと、
前記プロセッサが、前記指標データに基づいて前記モデルを生成するステップと
を含むことを特徴とするデータ処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/756,383 US20180253455A1 (en) | 2015-11-25 | 2015-11-25 | Data processing system and data processing method |
JP2017514380A JP6192877B1 (ja) | 2015-11-25 | 2015-11-25 | データ処理システム及びデータ処理方法 |
PCT/JP2015/083044 WO2017090114A1 (ja) | 2015-11-25 | 2015-11-25 | データ処理システム及びデータ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/083044 WO2017090114A1 (ja) | 2015-11-25 | 2015-11-25 | データ処理システム及びデータ処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017090114A1 true WO2017090114A1 (ja) | 2017-06-01 |
Family
ID=58764136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/083044 WO2017090114A1 (ja) | 2015-11-25 | 2015-11-25 | データ処理システム及びデータ処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180253455A1 (ja) |
JP (1) | JP6192877B1 (ja) |
WO (1) | WO2017090114A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108900594A (zh) * | 2018-06-21 | 2018-11-27 | 中国联合网络通信集团有限公司 | 移动视频的优化方法、装置及系统 |
CN109460857A (zh) * | 2018-10-12 | 2019-03-12 | 上海企树网络科技有限公司 | 用于建模的数据处理方法及装置 |
CN114118008A (zh) * | 2022-01-21 | 2022-03-01 | 西安羚控电子科技有限公司 | 一种基于bs架构的数据对比系统及方法 |
WO2023119739A1 (ja) * | 2021-12-21 | 2023-06-29 | 株式会社日立製作所 | 最適化装置、最適化方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110632878B (zh) * | 2019-10-08 | 2022-06-28 | 上海宝阶智能科技有限公司 | 一种异构嵌入式表格化处理及执行动作流程的方法和装置 |
US11507621B1 (en) * | 2021-11-15 | 2022-11-22 | The Trade Desk, Inc. | Methods and systems for generating communications associated with optimization codes |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057778A1 (ja) * | 2007-11-01 | 2009-05-07 | Omron Corporation | 特徴量候補作成装置および特徴量候補作成方法 |
JP2011065636A (ja) * | 2009-08-31 | 2011-03-31 | Accenture Global Services Gmbh | 変数スコアリングを使用するモデル最適化システム |
-
2015
- 2015-11-25 WO PCT/JP2015/083044 patent/WO2017090114A1/ja active Application Filing
- 2015-11-25 US US15/756,383 patent/US20180253455A1/en not_active Abandoned
- 2015-11-25 JP JP2017514380A patent/JP6192877B1/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057778A1 (ja) * | 2007-11-01 | 2009-05-07 | Omron Corporation | 特徴量候補作成装置および特徴量候補作成方法 |
JP2011065636A (ja) * | 2009-08-31 | 2011-03-31 | Accenture Global Services Gmbh | 変数スコアリングを使用するモデル最適化システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108900594A (zh) * | 2018-06-21 | 2018-11-27 | 中国联合网络通信集团有限公司 | 移动视频的优化方法、装置及系统 |
CN108900594B (zh) * | 2018-06-21 | 2021-03-19 | 中国联合网络通信集团有限公司 | 移动视频的优化方法、装置及系统 |
CN109460857A (zh) * | 2018-10-12 | 2019-03-12 | 上海企树网络科技有限公司 | 用于建模的数据处理方法及装置 |
WO2023119739A1 (ja) * | 2021-12-21 | 2023-06-29 | 株式会社日立製作所 | 最適化装置、最適化方法 |
CN114118008A (zh) * | 2022-01-21 | 2022-03-01 | 西安羚控电子科技有限公司 | 一种基于bs架构的数据对比系统及方法 |
CN114118008B (zh) * | 2022-01-21 | 2022-05-10 | 西安羚控电子科技有限公司 | 一种基于bs架构的数据对比系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180253455A1 (en) | 2018-09-06 |
JPWO2017090114A1 (ja) | 2017-11-24 |
JP6192877B1 (ja) | 2017-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6192877B1 (ja) | データ処理システム及びデータ処理方法 | |
US10789509B2 (en) | Systems and methods for generating machine learning applications | |
CN104123374B (zh) | 分布式数据库中聚合查询的方法及装置 | |
WO2015025386A1 (ja) | データ処理システム、データ処理方法およびデータ処理装置 | |
US8862638B2 (en) | Interpolation data template to normalize analytic runs | |
US20150278310A1 (en) | Database device | |
JP6850806B2 (ja) | 電子データ構造から属性を抽出するための注釈システム | |
JP2013080375A (ja) | 個人情報匿名化装置及び方法 | |
CN106960020B (zh) | 一种创建索引表的方法及设备 | |
JPWO2017159403A1 (ja) | 予測システム、方法およびプログラム | |
JP7098327B2 (ja) | 情報処理システム、関数作成方法および関数作成プログラム | |
US20160350082A1 (en) | Hardware/software agnostic design generation | |
JP2019504390A (ja) | データ照会方法および装置ならびにデータベースシステム | |
US20200034348A1 (en) | Information processing device, information processing method, and recording medium | |
WO2019023542A1 (en) | METHODS AND SYSTEMS FOR OPTIMIZED VISUAL RECAPITULATION FOR TEMPORAL EVENT DATA SEQUENCES | |
JP6331756B2 (ja) | テストケース生成プログラム、テストケース生成方法、及びテストケース生成装置 | |
JP2006155344A (ja) | データ分析装置、データ分析プログラム及びデータ分析方法 | |
US20220035791A1 (en) | Verification method, information processing apparatus, and non-transitory computer-readable storage medium for storing verification program | |
US11200233B2 (en) | Evaluation of query for data item having multiple representations in graph by evaluating sub-queries | |
KR101242860B1 (ko) | 누적 이동 평균에 기반하여 다원 탐색 트리의 노드를 분할하는 방법 및 장치 | |
EP4113313A1 (en) | Control method, information processing device, and control program | |
US10621155B2 (en) | Method and apparatus for data integration | |
JP2016184213A (ja) | 数値データを匿名化する方法及び数値データ匿名化サーバ | |
JP6317280B2 (ja) | 同種帳票ファイル選定装置、同種帳票ファイル選定方法、および、同種帳票ファイル選定プログラム | |
WO2021234916A1 (ja) | 分析装置、分析方法および分析プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2017514380 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15909233 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15756383 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15909233 Country of ref document: EP Kind code of ref document: A1 |