JP7013178B2 - データ分析システム、データ分析方法、及びデータ分析プログラム - Google Patents

データ分析システム、データ分析方法、及びデータ分析プログラム Download PDF

Info

Publication number
JP7013178B2
JP7013178B2 JP2017173452A JP2017173452A JP7013178B2 JP 7013178 B2 JP7013178 B2 JP 7013178B2 JP 2017173452 A JP2017173452 A JP 2017173452A JP 2017173452 A JP2017173452 A JP 2017173452A JP 7013178 B2 JP7013178 B2 JP 7013178B2
Authority
JP
Japan
Prior art keywords
filter
data analysis
data
analysis
analysis request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017173452A
Other languages
English (en)
Other versions
JP2019049839A (ja
Inventor
太一 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017173452A priority Critical patent/JP7013178B2/ja
Priority to US16/124,541 priority patent/US10896226B2/en
Publication of JP2019049839A publication Critical patent/JP2019049839A/ja
Application granted granted Critical
Publication of JP7013178B2 publication Critical patent/JP7013178B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データ分析システム、データ分析方法、及びデータ分析プログラムに関する。
IoT技術の発展につれ、各種のデータ処理システムに取り込まれる多種多様でかつ大量の生データを分析し、当該対象システムにより提供されるサービスの品質向上、効率的なデータ処理等を達成するという需要が高まっている。これに関連して、特許文献1には、「複数種類の分析手法を用いるデータ分析において、分析システムの利用者のスキルを考慮したシステムを提供すること」を課題として、その解決手段として分析システムの利用者に対して、過去のデータ分析情報から次のデータ分析を行う分析ロジックの推奨を行う手法が開示されている。
特開2016-29516号公報
大量の生データを分析する際には、分析目的等に応じて生データに混入しているノイズを適切なノイズフィルタを用いて除去する必要がある。この点、特許文献1に記載の技術では、データ分析を行う分析ロジック部を複数持ち、分析システムの利用者が過去のデータ分析情報から次に行うデータ分析ロジックの推奨を行うことで分析システムの利用者のスキルを考慮したシステムを提供しているが、入力データのフィルタ処理に関する推奨については開示していない。
また、近年、大規模な分析システムを企業等の複数の組織で共用するために、分析システムに各組織専用の管理システムであるテナントを接続し、入力データのノイズフィルタリング等の基本的な機能を共有する構成が採用されるようになっている。しかし、特許文献1は、このような複数組織がそれぞれ分析システムを共用するテナントの概念になんら言及していない。
本発明は、上記の、及び他の課題を解決するためになされたもので、その一つの目的は、利用者の分析スキルに関わらず、入力データの適切なノイズフィルタリングを可能とするデータ分析システム、データ分析方法、及びデータ分析プログラムを提供することである。
上記の及び他の課題を解決するために、本発明の一態様に係るデータ分析システムは、複数のデータ分析要求元からのデータ分析要求に応じてデータ分析を実行するデータ分析システムであって、入力データに所定のフィルタを適用して入力データのフィルタ処理を行うフィルタ処理部と、前記フィルタ処理された入力データの分析処理を行うデータ分析部と、前記入力データ及び分析処理されたデータである結果データを格納するデータ格納部と、前記データ分析要求に応じて適用したフィルタの適用履歴を記録しており、あらたなデータ分析要求について当該フィルタの適用履歴を参照して、実施しようとするデータ分析に適したフィルタを選択して前記フィルタ処理部に転送するフィルタ管理部とを備えている。なお、前記データ分析システムに対応するデータ分析方法、及び、前記データ分
析方法をコンピュータに実行させるためのデータ分析プログラムも本発明の範囲内である。
上記した本発明の一態様によれば、利用者の分析スキルに関わらず、入力データの適切なノイズフィルタリングを可能とするデータ分析システム、データ分析方法、及びデータ分析プログラムが提供される。
図1は、本発明の一実施形態によるデータ分析システム1の全体の構成例を示す図である。 図2は、データ分析システム1を構成する各サーバのハードウェア構成例と各サーバに接続される分析者端末の構成例とを示す図である。 図3は、データ分析連携サーバ104の機能ブロックの一例を示す図である。 図4は、フィルタリングサーバ105の機能ブロックの一例を示す図である。 図5は、データ分析サーバ106の機能ブロックの一例を示す図である。 図6は、データレイクサーバ107の機能ブロックの一例を示す図である。 図7は、テナント管理サーバ109の機能ブロックの一例を示す図である。 図8は、データ分析システム1によりデータ分析を行う際のシーケンス図の一例である。 図9は、フィルタ選択基準を登録する際のシーケンス図の一例である。 図10は、入力データフィルタ処理の動作の一例を示すフローチャート図である。 図11は、推奨フィルタ取得処理の動作の一例を示すフローチャート図である。 図12は、推奨フィルタ条件取得処理の動作の一例を示すフローチャート図である。 図13は、フィルタ蓄積処理の動作の一例を示すフローチャート図である。 図14は、フィルタ適合率更新処理の動作の一例を示すフローチャート図である。 図15は、フィルタ条件適合率更新処理の動作の一例を示すフローチャート図である。 図16は、フィルタ履歴格納部の入力フィルタデータテーブルの構成例を示す図である。 図17は、フィルタ履歴格納部の入力フィルタ条件データテーブルの構成例を示す図である。
以下、本願発明の実施例を、図面を用いて詳細に説明する。
まず、本発明の一実施形態に係るデータ分析システム1の全体構成について説明する。図1は、データ分析システム1全体の構成例を示す図である。データ分析システム1は、分析者端末102、分析連携サーバ104、フィルタリングサーバ105(フィルタ処理部)、データ分析サーバ106(データ分析部)、データレイクサーバ107(データ格納部)、及びテナント管理サーバ109(フィルタ管理部)を備えて構成され、これらの要素間は通信ネットワーク103を介して相互に通信可能に接続されている。
上記の要素のうち、分析者端末102、通信ネットワーク103、分析連携サーバ104、フィルタリングサーバ105、データ分析サーバ106、及びデータレイクサーバ107を備える構成単位をテナント101,108(データ分析要求元)と呼ぶ。各テナント101,108は、データ分析システム1を利用してデータ分析を行う企業等の組織毎に構成される。図1の例ではテナントは本システム1内にテナント1(符号101)、及びテナント2(符号108)の2つのテナントが設けられているが3つ以上のテナントを備えて構成されてもよいし、1つのテナントのみが存在する構成でもよい。
分析者端末102は、各テナント101,108に設けられ、分析者がデータ分析システム1に対して分析依頼を行うために使用することができるクライアント端末である。分析者端末102は通信ネットワーク103との通信機能を有する一般的なコンピュータであり、例えば後述する各サーバと同様の構成を備えたものとすることができる。
分析連携サーバ104は、分析者端末102からの分析依頼を受信して分析処理全体の制御を行うサーバである。
フィルタリングサーバ105は分析連携サーバ104から呼ばれ、分析対象となる入力データに対してフィルタ処理を行うサーバである。
データ分析サーバ106は、分析連携サーバ104から呼ばれ、フィルタリングサーバ105によりフィルタリングされた入力データの分析処理を行うサーバである。
データレイクサーバ107は分析対象となる生データを格納するデータストレージである。データレイクサーバ107は、分析連携サーバ104から呼ばれ、分析の入力データとなる生データの抽出と分析結果のデータの格納を行うサーバである。
テナント管理サーバ109は、テナント毎に実施された分析情報を管理するサーバである。
図1で示した分析連携サーバ104、フィルタリングサーバ105、データ分析サーバ106、データレイクサーバ107、及びテナント管理サーバ109の機能については、図3~図7の機能ブロック図を参照して後述する。また、図1で示したデータ分析システム1全体の構成における分析処理のシーケンスについては、図8を参照して後述する。
次に、各サーバの構成例について説明する。図2には、データ分析システム1を構成する各サーバのハードウェア構成例と分析者端末の構成例とを示している。各サーバは、いずれもプロセッサ201、メモリ202、補助記憶装置203、通信I/F204、分析者端末102のキーボード207やマウス208からのデータ入力を受け付ける入力I/F205、及び分析者端末102のディスプレイ209へ出力表示するためのインタフェースである出力I/F206を備えて構成される。
プロセッサ201は、中央処理装置(CPU)等の少なくとも一つのコアを有する演算装置であり、メモリ202に格納されるプログラムを実行する。プロセッサ201がプログラムを実行することによって、所定の機能を有するモジュールを実現する。以下の説明では、モジュールを主語に処理を説明する場合、プロセッサ201が当該モジュールを実現するプログラムを実行していることを示す。
メモリ202は、プロセッサ201が実行するプログラム及び当該プログラムが使用するデータを格納する。また、メモリ202は、モジュールが一時的に使用するワークエリアを含む。メモリ202としては、不揮発性の記憶素子から構成されるROM、及び揮発性の記憶素子から構成されるRAM等が考えられる。
補助記憶装置203は、プログラム及びプログラムが使用するデータを格納する。補助
記憶装置203は大容量かつ不揮発性の記憶装置であり、例えば、HDD(Hard Disk Drive)及びSSD(Solid State Drive)等が考えられる。なお、メモリ202に格納されるプログラム及びデータは、補助記憶装置203に格納されてもよい。この場合、プロセッサ201は、補助記憶装置203からプログラム及びデータを読み出し、メモリ202にプログラム及びデータをロードする。
通信I/F204は、所定のプロトコルに従って、通信ネットワーク103を介した他の装置との通信を制御する、ネットワークインタフェースカード(NIC)等のネットワークインタフェース装置である。
なお、分析者端末102は図2のようなサーバとは別体の構成の他、各サーバに一体的に組み込まれるようにしてもよい。
次に、各サーバの機能について説明する。
まず、分析連携サーバ104の機能について説明する。図3は、図1に示した分析連携サーバ104の機能ブロックの例を示す図である。
分析連携サーバ104は、リクエスト送受信部301、分析連携サーバ制御部302、抽出処理連携部303、フィルタ処理連携部304、分析処理連携部305、格納処理連携部306、及び蓄積処理連携部307を備えて構成される。
リクエスト送受信部301は、分析者端末102とのデータの送受信を行う機能を有する。分析連携サーバ制御部302は、分析連携サーバ104の動作制御を行う機能を有する。抽出処理連携部303は、データレイクサーバ107と連携し、入力データを取得する機能を有する。フィルタ処理連携部304は、フィルタリングサーバ105と連携し、入力データのフィルタ結果であるフィルタデータを取得する機能を有する。分析処理連携部305は、データ分析サーバ106と連携し、フィルタデータをもとにデータ分析処理結果を取得する機能を有する。格納処理連携部306は、データレイクサーバ107と連携し、データ分析結果をデータレイクサーバ107に格納する機能を有する。蓄積処理連携部307は、テナント管理サーバ109と連携し、フィルタ処理に関する結果を蓄積する機能を有する。
次に、フィルタリングサーバ105について説明する。図4は、図1に示したフィルタリングサーバ105の機能ブロックの例を示す図である。フィルタリングサーバ105で行われる処理の詳細は図10を参照して後述する。
フィルタリングサーバ105は、リクエスト送受信部401、フィルタリングサーバ制御部402、フィルタ選択部403、入力データ読込部404、フィルタリング実行部405、フィルタデータ出力部406、及びフィルタロジック格納部407を備えて構成される。
リクエスト送受信部401は、分析連携サーバ104のフィルタ処理連携部304からのフィルタ処理依頼を処理する機能を有する。フィルタリングサーバ制御部402は、フィルタリングサーバ105の動作制御を行う機能を有する。フィルタ選択部403は、利用するフィルタやフィルタ条件を選択する機能を有する。入力データ読込部404は、フィルタリング処理を行う対象となる入力データの読み込みを行う機能を有する。
フィルタリング実行部405は、フィルタ選択部403で選択されたフィルタロジックを用いて入力データのフィルタリング処理を行う機能を有する。
フィルタデータ出力部406は、フィルタリング処理された入力データをフィルタデータとして出力する機能を有する。
フィルタロジック格納部407は、フィルタリング実行部405で実行するフィルタロジックが格納された記憶部である。
次に、データ分析サーバ106について説明する。図5は、図1に示したデータ分析サーバ106の機能ブロックの例を示す図である。
データ分析サーバ106は、リクエスト送受信部501、データ分析サーバ制御部502、フィルタデータ読込部503、分析ロジック選択部504、分析処理実行部505、分析結果出力部506、及び分析ロジック格納部507を備えて構成される。
リクエスト送受信部501は、分析連携サーバ104の分析処理連携部305から受領するデータ分析処理依頼を処理する機能を有する。データ分析サーバ制御部502は、データ分析サーバ106の動作制御を行う機能を有する。フィルタデータ読込部503は、分析処理を行う対象となるフィルタデータの読み込みを行う機能を有する。分析ロジック選択部504は、利用する分析ロジックを選択する機能を有する。分析処理実行部505は、分析ロジック選択部504で選択された分析ロジックを用いてフィルタデータの分析処理を行う機能を有する。分析結果出力部506は、データレイクサーバ107の分析結果読込部605が分析結果を読み込みできるようにファイル出力する機能を有する。分析ロジック格納部507は、分析処理実行部505で実行する分析ロジックが格納された記憶部である。
次に、データレイクサーバ107について説明する。図6は、図1に示したデータレイクサーバ107の機能ブロックの例を示す図である。
データレイクサーバ107は、リクエスト送受信部601、データレイクサーバ制御部602、入力データ抽出部603、入力データ出力部604、分析結果読込部605、格納処理実行部606、生データ格納部607、及び分析結果格納部608を備えて構成される。
リクエスト送受信部601は、分析連携サーバ104の抽出処理連携部303からの入力データ抽出依頼と分析連携サーバ104の格納処理連携部306からの分析結果格納依頼とを処理する機能を有する。データレイクサーバ制御部602は、データレイクサーバ107の動作制御を行う機能を有する。入力データ抽出部603は、フィルタリング処理や分析処理の対象となる入力データを、後述の生データ格納部607から抽出する機能を有する。入力データ出力部604は、入力データ抽出部603で生データ格納部607から抽出した入力データをフィルタリングサーバ105が読み込みできるようにファイル出力する機能を有する。分析結果読込部605は、データ分析サーバ106の分析結果出力部506から出力された分析結果の出力ファイルの読み込みを行う機能を有する。格納処理実行部606は、分析結果読込部605が読み込んだ分析結果を、後述する分析結果格納部608に格納する機能を有する。生データ格納部607は、分析を行う対象となる生データが格納された記憶部である。分析結果格納部608は、分析結果の格納先となる記憶部である。
次に、テナント管理サーバ109について説明する。図7は、図1に示したテナント管理サーバ109の機能ブロックの例を示す図である。テナント管理サーバ109は、リクエスト送受信部701、テナント管理サーバ制御部702、推奨フィルタ取得部703、フィルタ履歴格納処理部704、フィルタ適合率計算部705、選択基準格納処理部706、及びフィルタ履歴格納部707を備えて構成される。
リクエスト送受信部701は、分析連携サーバ104の蓄積処理連携部307からのフィルタ利用結果の蓄積依頼やフィルタリングサーバ105のフィルタ選択部403からのフィルタ履歴情報取得依頼を処理する機能を有する。テナント管理サーバ制御部702は、テナント管理サーバ109の動作制御を行う機能を有する。推奨フィルタ取得部703は、フィルタリングサーバ105が利用する推奨フィルタや推奨フィルタ条件の取得を行
う機能を有する。推奨フィルタ取得部703が利用するフィルタを選択する処理の詳細は、図11を参照して後述する。また、フィルタ選択部403が利用するフィルタ条件を選択する処理の詳細は、図12を参照して後述する。
フィルタ履歴格納処理部704は、フィルタリングサーバ105のフィルタリング実行部405で選択されたフィルタの情報を格納する機能を有する。フィルタ適合率計算部705は、フィルタ履歴格納をする際に更新するフィルタ適合率とフィルタ条件適合率とを計算する機能を有する。フィルタ適合率の計算処理の詳細は、図14を参照して後述する。また、フィルタ条件適合率の計算処理の詳細は、図15を参照して後述する。
選択基準格納処理部706は、分析目的や入力データ種別等のフィルタの選択基準となるマスタデータを登録して格納する機能を有する。フィルタ選択基準となるマスタを登録する際のシーケンスについては、図9を参照して後述する。
フィルタ履歴格納部707は、テナント毎に利用されたフィルタの情報やフィルタ適合率、フィルタの選択基準等が格納された記憶部である。テナント管理サーバ109が、フィルタ適合率を計算し、利用したフィルタ情報の更新を行う処理の詳細は、図13を参照して後述する。
次に、以上の構成を有するデータ分析システム1で実行されるデータ処理について説明する。図8は、図1に示したデータ分析システム1の全体構成図において行われる分析処理の流れの一例を示すシーケンス図である。符号「Snnn」(nnnは数字)は、データ分析システム1に含まれる各サーバ等で実行されるデータ処理ステップを識別するための識別符号である。以下、各ステップで実行されるデータ処理の内容を順次説明する。
S801では、分析システム1の利用者が分析者端末102を用いて、分析連携サーバ104に分析依頼を行う。この分析依頼に関するS801の入力引数としては、入力データの項目や範囲、故障検知や業務効率化等の分析目的、温度データや湿度データ、売上等の入力データ種別、分析に利用するフィルタやフィルタのパラメータ(以後フィルタ条件と言う)、分析ロジック等が含まれる。以後、分析目的や入力データ種別をフィルタ選択基準と言う。ただし、フィルタの推奨機能を利用する場合はフィルタやフィルタ条件の指定を省略することができる。なお、フィルタ選択基準はフィルタの推奨を行うための判断基準になる項目であり、分析目的や入力データ種別以外のものがあってもよい。また、フィルタ選択基準は事前にテナント管理サーバ109に登録されたものを指定する。フィルタ選択基準の事前登録については図9を参照して後述する。
S802では、分析者端末102から分析依頼を受信した分析連携サーバ104が、分析連携サーバ104のパラメータ読込を行う。パラメータには、入力データやフィルタデータ、分析結果のファイルパスや分析連携サーバ104が通信を行うフィルタリングサーバ105等の各種サーバのIPアドレス、フィルタやフィルタ条件が省略された場合に利用するデフォルトのフィルタに関する情報が含まれる。
S803では、分析連携サーバ104がデータレイクサーバ107に分析対象となる入力データ取得リクエストを行う。入力データ取得リクエストには、分析依頼に含まれる入力データの項目や範囲が引き継がれる。
S804では、データレイクサーバ107が入力データ取得リクエストで指定された入力データの項目や範囲の条件に一致するデータをデータレイクサーバ107の生データ格納部607から取得し、入力データとしてファイル出力を行う。入力データのファイル出力先は、フィルタリングサーバ105、データ分析サーバ106、データレイクサーバ1
07が自由にアクセスできる共有の記憶部であればどこでもよい。又は、後述するS805の処理に入力データそのものを返信しても良い。なお、S804に限らず、入力データのファイル出力を行うステップにおいては上記が同様に該当する。
S805では、データレイクサーバ107が入力データ取得リクエストに対するレスポンスとして、分析連携サーバ104に対し入力データ取得処理(S804)でファイル出力した入力データファイルの所在を示すパスを返信する。なお、例としてデータレイクサーバ107は分析連携サーバ104に対して入力データファイルパスの返信を行っているが、データレイクサーバ107の生データ格納部607から取得した入力データをファイル出力せずに直接データレイクサーバ107に対して返信しても良い。上記は、S805における入力データファイルパスに限らず、ファイルパスを用いてやり取りを行う他のステップにおいても同様に該当する。
S806では、分析連携サーバ104がフィルタリングサーバ105にフィルタデータ取得リクエストを送信する。フィルタデータ取得リクエストには、S805で取得した入力データのファイルパスやS801の分析依頼に含まれたフィルタやフィルタ条件、フィルタ選択基準が含まれる。
S807では、フィルタリングサーバ105が、利用するフィルタを決定するためにテナント管理サーバ109に対して推奨フィルタ取得リクエストを送信する。推奨フィルタ取得リクエストには、フィルタデータ取得リクエストに含まれたフィルタ選択基準が含まれる。フィルタデータ取得リクエストにフィルタやフィルタ条件が指定され、フィルタの推奨が必要ない場合には推奨フィルタ取得リクエストのテナント管理サーバ109への送信を省略することができる。この場合、処理は後述のS811へジャンプする。
S808では、テナント管理サーバ109がテナント管理サーバ109のフィルタ履歴格納部707から推奨フィルタ取得リクエストの引数に応じて推奨フィルタ取得処理を実施する。推奨フィルタ取得処理S808の詳細は図10を参照して後述する。
S809では、推奨フィルタ取得処理(S808)にて推奨フィルタを選択したテナント管理サーバ109が、推奨フィルタ取得リクエストに対するレスポンスとしてフィルタ情報をフィルタリングサーバ105に返信する。フィルタ情報にはフィルタやフィルタ条件が含まれる。
S810では、フィルタ情報を取得したフィルタリングサーバ105が、入力データやフィルタ情報をもとに入力データフィルタ処理を実施し、入力データに対するフィルタ結果をフィルタデータとしてファイル出力する。
S811では、フィルタリングサーバ105がフィルタデータ取得リクエストに対するレスポンスとして、入力データフィルタ処理(S810)で出力したフィルタデータのファイルパスを分析連携サーバ104に返信する。
S812では、分析連携サーバ104がS811で取得した入力フィルタデータのファイルパスやS801の分析依頼で取得した分析ロジックを指定して、データ分析サーバ106に対してデータ分析リクエストを行う。
S813では、データ分析サーバ106がデータ分析リクエストで指定された入力フィルタデータファイルパスから入力フィルタデータの読み込みを行い、データ分析リクエストで指定された分析ロジックを用いて入力フィルタデータのデータ分析を行う。データ分析サーバ106は、データ分析の結果を分析結果データとしてファイル出力する。
S814では、データ分析サーバ106がデータ分析リクエストに対するレスポンスとして、分析連携サーバ104に分析結果データのファイルパスを返信する。
S815では、分析連携サーバ104がS814で取得した分析結果データのファイルパスを指定して、データレイクサーバ107に対して分析結果データ格納リクエストを送信する。
S816では、データレイクサーバ107が分析結果データのファイルパスから分析結果データの読み込みを行い、データレイクサーバ107の分析結果格納部608に分析結果データの格納を行う。
S817では、データレイクサーバ107が分析連携サーバ104に対して分析結果データ格納リクエストに対するレスポンスとして、データ分析結果の格納処理結果を返信する。
S818では、分析連携サーバ104が、今回の分析で利用したフィルタやフィルタ条件の蓄積処理を行うため、利用したフィルタやフィルタ条件、フィルタ選択基準を指定してテナント管理サーバ109に対してフィルタ蓄積リクエストを送信する。
S819では、テナント管理サーバ109が指定されたフィルタ選択基準に対するフィルタ適合率を計算し、テナント管理サーバ109のフィルタ履歴格納部707に利用したフィルタやフィルタ条件の情報を格納する。このフィルタ蓄積処理S819の詳細は図13を参照して後述する。
S820では、テナント管理サーバ109がフィルタ蓄積リクエストに対するレスポンスとして分析連携サーバ104に対して蓄積結果を返信する。
S821では、分析連携サーバ104が分析者端末102に対して分析依頼に対するレスポンスとして分析結果を返信する。以上のシーケンスにより、データ分析システム1においてあるテナントの分析者端末102から送出された分析依頼に基づく一連の分析処理が完了する。
次に、テナント管理サーバ109の機能について説明する。図9は、図8に示したデータ分析システム1で実行される分析処理の流れにおいて、S801の分析依頼で指定するフィルタ選択基準をテナント管理サーバ109に事前に登録する際のシーケンス図の一例である。
分析者端末102は分析依頼(S801)を行う際にフィルタ選択基準を指定する必要がある。この際、同じフィルタ選択基準であっても当該フィルタ選択基準を表現する文言が統一されていない場合、同じフィルタ選択基準であることをシステムが判断することができない。例えば、分析目的が「故障検知」の場合、分析者によっては分析目的を「故障予知」と表現する場合もあるが、両方の分析の目的は同じである。
そこで、本実施形態では、分析者はテナント管理サーバ109に事前にフィルタ選択基準を登録し、複数の分析者が統一されたフィルタ選択基準を利用可能な構成を採用している。
まずS901では、分析者端末102が現在登録されているフィルタ選択基準の確認を行うために、フィルタ選択基準一覧取得リクエストをテナント管理サーバ109に送信する。
S902では、テナント管理サーバ109が、テナント管理サーバ109のフィルタ履歴格納部707に登録されているフィルタ選択基準の一覧を取得する。
S903では、テナント管理サーバ109が、S902で取得したフィルタ選択基準の一覧を分析者端末102に返信する。
S904では、分析者がフィルタ選択基準の一覧を、受信した分析者端末102上で確認する。
S905では、分析者が利用する予定のフィルタ選択基準がフィルタ選択基準の一覧に登録されていない場合に、分析者の要求により、分析者端末102からフィルタ選択基準とその説明を記載したフィルタ選択基準登録リクエストをテナント管理サーバ109に送信する。
S906では、テナント管理サーバ109が受信したフィルタ選択基準とその説明をテナント管理サーバ109のフィルタ履歴格納部707に登録する。
S907では、テナント管理サーバ109がS906の登録結果を分析者端末102に返信する。S907により、フィルタ選択基準の事前登録は完了する。
次に、フィルタリングサーバ105で実行されるデータ処理について説明する。図10は、図8のS806でフィルタデータ取得リクエストを受信したフィルタリングサーバ105が実行するデータ処理S807~S810の動作を説明するフローチャート図の一例である。図10に例示するデータ処理では、フィルタリングサーバ105が、フィルタデータ取得リクエストにより取得されたフィルタを使用してデータのフィルタリングを実行する。
S1001は開始処理のステップである。図8に示すフィルタデータ取得リクエストを受信したフィルタリングサーバ105は入力データのフィルタ処理を開始する。
S1002では、フィルタリングサーバ105のフィルタリングサーバ制御部402が入力引数の確認を行う。フィルタデータ取得リクエストを受信したフィルタリングサーバ105は受信したリクエストの引数確認を行い、指定されたフィルタ、フィルタ条件、及び入力データのファイルパスを取得する。
S1003では、フィルタリングサーバ105のフィルタリングサーバ制御部402がフィルタの指定有無を判断する。フィルタの指定がないと判定した場合(S1003,No)、フィルタリングサーバ制御部402は、S1006で、テナント管理サーバ109より推奨フィルタを取得する。推奨フィルタの取得処理については図11を参照して後述する。
S1003でフィルタの指定があると判定した場合(S1003,Yes)、フィルタリングサーバ105のフィルタリングサーバ制御部402が指定されたフィルタを取得して(S1004)、フィルタ条件の指定有無を判断する(S1005)。
フィルタ条件の指定がないと判定した場合(S1005,No)、S1007で、フィルタリングサーバ105のフィルタ選択部403がテナント管理サーバ109より推奨フィルタ条件を取得する。その後処理はS1008に進む。
S1005でフィルタ条件の指定があると判定された場合(S1005,Yes)、S1008で、フィルタリングサーバ105の入力データ読込部404が入力データのファイルパスから入力データを読み込む。
前記のように、S1007で推奨フィルタを取得した後、又はS1005でフィルタ条
件の指定がない場合、フィルタリングサーバ105のフィルタリングサーバ制御部402は、フィルタデータ取得リクエストで指定されたフィルタ又は推奨フィルタに対するフィルタ条件の取得処理として推奨フィルタ条件取得処理(S1007)を実施する。推奨フィルタ条件取得処理については図13を参照して後述する。フィルタ指定、又はフィルタ条件指定がない場合であっても、S1006、S1007により推奨フィルタ、及び推奨フィルタ条件が取得できるため、フィルタリングサーバ制御部402は、S1008において入力データの読み込みを行う。
次いで、S1009では、フィルタリングサーバ105のフィルタリング実行部405がフィルタ処理を行う。フィルタ処理は、S1003~S1008で取得したフィルタ、フィルタ条件、及び入力データをもとに実施される。
入力データフィルタ処理は、S1010で終了する。このように、フィルタデータ取得リクエストにおけるフィルタ指定の有無、フィルタ条件の有無に応じて、入力データに対して適切なフィルタを選定して処理を実行することができる。
次に、推奨フィルタ取得処理について説明する。図11は、図10の推奨フィルタ取得処理S1004において、フィルタリングサーバ105がテナント管理サーバ109から推奨フィルタの取得を行う際のテナント管理サーバ109での動作を説明するフローチャート図の一例である。
S1100で処理を開始すると、S1101では、テナント管理サーバ109の推奨フィルタ取得部703がフィルタ選択基準の確認を行う。フィルタ選択基準は例えば分析目的だけでも良いし、分析目的や入力データ種別等複数のフィルタ選択基準があっても良い。複数のフィルタ選択基準が指定されている場合は、各フィルタ選択基準について後述するS1106までの処理を繰り返し行う。
S1102では、テナント管理サーバ109の推奨フィルタ取得部703がフィルタ履歴格納部707よりフィルタ選択基準に該当する自テナントのフィルタとフィルタ適合率とを全て取得する。
S1103では、テナント管理サーバ109の推奨フィルタ取得部703がフィルタ履歴格納部707よりフィルタ選択基準に該当する他テナントのフィルタとフィルタ適合率とを全て取得する。このステップで他テナントのフィルタとフィルタ適合率とを取得することで、自テナントでの分析処理のノウハウが少ない場合でも、フィルタ選択基準に応じたフィルタ適合率から、フィルタの推奨を行うことが可能になる。
S1104では、テナント管理サーバ109の推奨フィルタ取得部703がS1102とS1103とにおいて取得したフィルタ件数が0件か否かを判断する。
S1105では、テナント管理サーバ109の推奨フィルタ取得部703がS1102、S1103において取得したフィルタのフィルタ適合率を計算する。S1102とS1103において取得したフィルタ件数が0件でない場合、(S1104,No)S1105において取得したフィルタ毎に「自テナントフィルタ適合率+他テナントフィルタ適合率×重み係数」を計算し、S1106へ進む。重み係数はシステムにおいて設定ファイル等で自由に定めることができる。S1104おいて取得したフィルタ件数が0件の場合は、S1105で計算が行えないためS1106へ進む。
S1106では、テナント管理サーバ109の推奨フィルタ取得部703がまだフィルタを取得していない他のフィルタ選択基準があるか否かの判断を行う。まだフィルタを取得していない他のフィルタ選択基準があると判定した場合(S1106,Yes)、テナ
ント管理サーバ109の推奨フィルタ取得部703は、S1101から再度処理を実施する。例えば、フィルタ選択基準に分析目的の「故障検知」、入力データ種別に「温度センサ」が指定されていた場合、分析目的の「故障検知」について1度目のS1101からS1106迄の処理を実施し、入力データ種別の「温度センサ」について再度S1101からS1106迄の処理を実施する。S1106で全てのフィルタ選択基準について処理を実施した場合はS1107へ進む。
S1107では、テナント管理サーバ109の推奨フィルタ取得部703がS1101からS1106の処理において取得した入力フィルタの件数が0件か否かを判断する。
S1108では、テナント管理サーバ109の推奨フィルタ取得部703がS1105で計算した、各フィルタにおけるフィルタ選択基準毎のフィルタ適合率の和を計算する。
S1109では、テナント管理サーバ109の推奨フィルタ取得部703がS1108で計算したフィルタ適合率の和を用いて推奨フィルタを選択する。
S1110では、テナント管理サーバ109の推奨フィルタ取得部703がデフォルトのフィルタを推奨フィルタとして選択する。このステップにより、推奨フィルタが選択できない場合においても規定のフィルタを推奨フィルタとして利用することが可能になる。
S1111で、推奨フィルタ取得処理は終了する。
以上のデータ処理で、S1107においてS1101からS1106の処理において取得した入力フィルタの件数が0件でない場合は(S1107,No)、フィルタ適合率の和が計算できるため、S1108において取得した入力フィルタ毎にフィルタ選択基準毎のフィルタ適合率の和を計算する。S1109では計算の結果、フィルタ適合率の和が最大となるフィルタを選択し、推奨フィルタとして選択することで推奨フィルタの取得処理を完了する(S1111)。また、S1107においてS1101からS1106の処理において取得した入力フィルタの件数が0件の場合は(S1107,Yes)、推奨するフィルタが選択できないため、S1110においてあらかじめ設定ファイル等に定められているデフォルトのフィルタを選択し、推奨フィルタの取得処理を完了する(S1111)。
ここで、推奨フィルタ取得処理について具体例をあげて説明する。例えばテナント管理サーバ109のフィルタ履歴格納部707に、図16に示すデータが格納されている場合を考える。図16はテナント管理サーバ109のフィルタ履歴格納部707に格納された入力フィルタデータテーブル1601の構成例を示している。
テナント1602にはテナント情報が格納される。テナント情報は、図1のシステム全体構成に示すテナント1(101)やテナント2(108)等のテナント名でも良いし、テナントを一意に識別する他のID情報でも良い。
入力フィルタ1603には、フィルタリングサーバ105のフィルタロジック格納部407に格納されたフィルタ名が格納される。フィルタ名は、各フィルタを特定するための適宜の識別符号である。
選択基準1604には、分析目的や入力データ種別等のフィルタ選択基準が格納される。
基準内容1605には、フィルタ選択基準における内容が格納される。例えば分析目的には故障検知や業務効率化と言った分析の目的が格納される。入力データ種別としては温度データ、売上データと言った入力データの種別が格納される。選択基準1604、基準内容1605としては、テナントの要求により他の適宜の項目の組合せを格納することが
できる。
適合率1606にはフィルタ選択基準に応じたフィルタの適合率が格納される。適合率が高いほど、そのフィルタ選択基準に対して効果的なフィルタと考えられる。適合率1606は、後述の図14におけるS1408、S1409、S1410のステップで更新される。
更新日時1607にはフィルタ適合率の更新日時が格納される。更新日時1607は後述の図14におけるS1408、S1409、S1410のステップで適合率更新の際に合わせて更新される。
入力フィルタデータテーブル1601へのレコードの登録は、図14のS1405のステップにて実行することができる。なお、図16の符号1602~1607の項目は本実施形態のシステムを実現する上で最低限必要となる項目であり、その他項目が追加されていても良いし、正規化を行いテーブルの分割や後述のフィルタ条件データテーブル1701と結合等を実施しても良い。
図16の例を用いて、図1のテナント1からの分析依頼において、フィルタ選択基準として分析目的が故障検知、入力データ種別が温度データと指定された推奨フィルタ取得時の動作を説明する。なお、S1105における重み係数は0.5とする。
図11において、S1101ではフィルタ選択基準の確認として、まず分析目的の故障検知を取得する。分析目的の故障検知ではテナント1にフィルタAとフィルタBが登録されており、テナント2にフィルタBが登録されているため、S1102においてフィルタAと適合率2、フィルタBと適合率10を取得する。またS1103においてフィルタAと適合率20を取得する。その結果、S1105においてフィルタAの分析目的の故障検知におけるフィルタ適合率は、「自テナントのフィルタ適合率2+他テナントのフィルタ適合率20×0.5=12」となる。また、フィルタBの分析目的の故障検知におけるフィルタ適合率は、「自テナントのフィルタ適合率10+他テナントのフィルタ適合率0×0.5=10」となる。S1106において、他のフィルタ選択基準となる入力データ種別の温度データがあるため、再度S1101に戻る。
S1101において、入力データ種別の温度データを取得する。入力データ種別の温度データでは、テナント1にフィルタAとフィルタBが登録されており、その他のテナントには登録されていないため、S1102においてフィルタAと適合率14、フィルタBと適合率8を取得する。また、S1103においては、取得件数は0件となる。その結果、S1105においてフィルタAの入力データ種別の温度データにおけるフィルタ適合率は「自テナントのフィルタ適合率14+他テナントのフィルタ適合率0×0.5=14」となる。また、フィルタBの入力データ種別の温度データにおけるフィルタ適合率は、「自テナントのフィルタ適合率8+他テナントのフィルタ適合率0×0.5=8」となる。S1106においてさらなるフィルタ選択基準はないため、S1107に進む。S1107では取得したフィルタがフィルタAとフィルタBの2件あるためS1108に進む。S1108では取得した入力フィルタ毎に、フィルタ選択基準毎のフィルタ適合率の和を計算するため、フィルタAの適合率の和=12+14=26、フィルタBの適合率の和=10+8=18となる。S1109においてフィルタ適合率の和が最大となるフィルタは、適合率26を示すフィルタAであるから、今回の分析依頼ではフィルタAを推奨フィルタとして取得して処理を終了する。
次に、推奨フィルタ条件の取得処理について説明する。図12は図10の推奨フィルタ条件取得処理S1006においてフィルタリングサーバ105がテナント管理サーバ10
9から推奨フィルタ条件の取得を行う際のテナント管理サーバ109での動作を説明するフローチャート図の一例である。
S1200で処理を開始すると、S1201では、テナント管理サーバ109の推奨フィルタ取得部703がフィルタ条件選択基準の確認を行う。フィルタ選択基準は例えば分析目的だけでも良いし、分析目的や入力データ種別等複数のフィルタ選択基準があっても良い。複数のフィルタ選択基準が指定されている場合は各フィルタ選択基準について後述するS1206までの処理を繰り返し行う。
S1202では、テナント管理サーバ109の推奨フィルタ取得部703がフィルタ履歴格納部707より推奨フィルタにおけるフィルタ選択基準に該当する自テナントのフィルタ条件とフィルタ条件適合率とを全て取得する。
S1203では、テナント管理サーバ109の推奨フィルタ取得部703がフィルタ履歴格納部707より推奨フィルタにおけるフィルタ選択基準に該当する他テナントのフィルタ条件とフィルタ条件適合率とを全て取得する。このステップで他テナントのフィルタ条件とフィルタ条件適合率とを取得することで、自テナントでの分析処理のノウハウが少ない場合でも、フィルタ選択基準に応じたフィルタ条件適合率から、フィルタ条件の推奨を行うことが可能になる。
S1204では、テナント管理サーバ109の推奨フィルタ取得部703がS1202とS1203とにおいて取得したフィルタ条件の件数が0件か否かを判断する。
S1205では、テナント管理サーバ109の推奨フィルタ取得部703がS1202、S1203において取得したフィルタ条件のフィルタ条件適合率を計算する。S1202とS1203とにおいて取得したフィルタ条件の件数が0件でない場合はS1205において取得したフィルタ条件毎に「自テナントフィルタ条件適合率+他テナントフィルタ条件適合率×重み係数」を計算し、S1206へ進む。重み係数はシステムによって設定ファイル等で自由に定めて良い。また、S1204において取得したフィルタ条件の件数が0件の場合はS1205で計算が行えないためS1206へ進む。
S1206では、テナント管理サーバ109の推奨フィルタ取得部703がまだフィルタ条件を取得していない他のフィルタ選択基準があるか否かの判断を行う。まだフィルタを取得していない他のフィルタ選択基準がある場合はS1201から再度処理を実施する。例えば、フィルタ選択基準に分析目的の故障検知、入力データ種別に温度センサが指定されていた場合、分析目的の故障検知について1度目のS1201からS1206迄の処理を実施し、入力データ種別の温度センサについて再度S1201からS1206迄の処理を実施する。S1206で全てのフィルタ選択基準について処理を実施したと判定された場合はS1207へ進む。
S1207では、テナント管理サーバ109の推奨フィルタ取得部703がS1201からS1206の処理において取得した入力フィルタ条件の件数が0件か否かを判断する。
S1208では、テナント管理サーバ109の推奨フィルタ取得部703がS1205で計算した、各フィルタ条件におけるフィルタ選択基準毎のフィルタ条件適合率の和を計算する。
S1209では、テナント管理サーバ109の推奨フィルタ取得部703がS1208で計算したフィルタ条件適合率の和を用いて推奨フィルタ条件を選択する。
S1210では、テナント管理サーバ109の推奨フィルタ取得部703がデフォルトのフィルタ条件を推奨フィルタ条件として選択する。このステップにより、推奨フィルタ条件が選択できない場合においても規定のフィルタ条件を推奨フィルタ条件として利用することが可能になる。
推奨フィルタ条件取得処理は、S1211で終了する。
S1207においてS1201からS1206の処理において取得した入力フィルタ条件の件数が0件でないと判定された場合は(S1207,No)、フィルタ条件適合率の和が計算できるため、S1208において取得した入力フィルタ条件毎にフィルタ選択基準毎のフィルタ条件適合率の和を計算する。S1209では計算の結果、フィルタ条件適合率の和が最大となるフィルタ条件を選択し、推奨フィルタ条件として選択することで推奨フィルタ条件の取得処理を完了する(S1211)。
S1207においてS1201からS1206の処理において取得した入力フィルタ条件の件数が0件と判定された場合は(S1207,Yes)、推奨するフィルタ条件が選択できないため、S1210においてあらかじめ設定ファイル等に定められているデフォルトのフィルタ条件を選択し、推奨フィルタ条件の取得処理を完了する(S1211)。
ここで、推奨フィルタ条件取得処理の具体例について説明する。例えばテナント管理サーバ109のフィルタ履歴格納部707に、図17に示すデータが格納されている場合を考える。図17はテナント管理サーバ109のフィルタ履歴格納部707に格納されたフィルタ条件データテーブル1701の構成例である。
テナント1702にはテナント情報が格納される。テナント情報は、図1のシステム全体構成に示すテナント1(101)やテナント2(108)等のテナント名でも良いし、テナントを一意に識別する他のID情報でも良い。
入力フィルタ1703には、フィルタリングサーバ105のフィルタロジック格納部407に格納されたフィルタ名が格納される。フィルタ名は、各フィルタを特定するための適宜の識別符号である。
選択基準1704には、分析目的や入力データ種別等のフィルタ選択基準が格納される。
基準内容1705には、フィルタ選択基準における内容が格納される。例えば分析目的には故障検知や業務効率化と言った分析の目的が格納される。入力データ種別としては温度データ、売上データと言った入力データの種別が格納される。選択基準1704、基準内容1705としては、テナントの要求により他の適宜の項目の組合せを格納することができる。
フィルタ条件適合率1706には、フィルタ選択基準に応じたフィルタにおけるフィルタ条件のフィルタ条件適合率が格納される。適合率が高いほど、そのフィルタ選択基準に対するフィルタを利用した際に効果的なフィルタ条件と考えられる。フィルタ条件適合率1706は、後述の図15におけるS1508、S1509、S1510のステップで更新される。
更新日時1707には、フィルタ条件適合率の更新日時が格納される。更新日時1707は、後述する図15におけるS1508、S1509、S1510のステップで適合率更新の際に合わせて更新される。
条件1708には、フィルタを利用する際のパラメータが格納される。
フィルタ条件データテーブル1701へのレコードの登録は、図15のS1505のステップにて実行することができる。なお、図17の符号1702~1708の項目は本実施形態のシステムを実現する上で最低限必要となる項目であり、その他項目が追加されていても良いし、正規化を行いテーブルの分割や後述のフィルタ条件データテーブル1701と結合等を実施しても良い。
図17の例を用いて、図1のテナント1からの分析依頼において、フィルタ選択基準として分析目的が故障検知、入力データ種別が温度データ、推奨フィルタとしてフィルタAが指定された推奨フィルタ条件取得時の動作を説明する。なお、S1205における重み係数は0.5とする。
図12において、S1201では推奨フィルタとフィルタ選択基準の確認として、まずフィルタAにおける分析目的の故障検知を取得する。フィルタAの分析目的の故障検知ではテナント1に±1σと±2σが登録されており、テナント2に±1σが登録されているため、S1202において±1σと適合率2、±2σと適合率10を取得する。またS1203において±1σと適合率20を取得する。その結果、S1205において±1σの分析目的の故障検知におけるフィルタ条件適合率は、「自テナントのフィルタ条件適合率2+他テナントのフィルタ適合率20×0.5=12」となる。また、±2σの分析目的の故障検知におけるフィルタ条件適合率は、「自テナントのフィルタ適合率10+他テナントのフィルタ適合率0×0.5=10」となる。S1206において、他のフィルタ選択基準となる入力データ種別の温度データがあるため、再度S1201に戻る。
S1201において、フィルタAにおける入力データ種別の温度データを取得する。フィルタAの入力データ種別の温度データではテナント1に±2σが登録されており、その他のテナントには登録されていないため、S1202において±2σと適合率14を取得する。また、S1203においては、取得件数は0件となる。その結果、S1205において±2σの入力データ種別の温度データにおけるフィルタ条件適合率は、「自テナントのフィルタ条件適合率14+他テナントのフィルタ条件適合率0×0.5=14」となる。S1206においてさらなるフィルタ選択基準はないため、S1207に進む。S1207では取得したフィルタ条件が±1σと±2σの2件あるためS1208に進む。S1208では取得した入力フィルタ条件毎に、フィルタ選択基準毎のフィルタ条件適合率の和を計算するため、±1σの適合率の和=12、±2σの適合率の和=10+14=24となる。S1209においてフィルタ条件適合率の和が最大となるフィルタ条件は±2σの適合率24となるため、今回の分析依頼では±2σを推奨フィルタ条件として処理を終了する。
このように、推奨フィルタ条件取得処理により、分析依頼の内容に適したフィルタ条件を選択することができる。
次に、本実施形態におけるフィルタ蓄積処理について説明する。図13は図8におけるテナント管理サーバ109のフィルタ蓄積処理(S819)の動作を説明するフローチャート図の一例である。フィルタ蓄積処理では、テナント管理サーバ109のフィルタ履歴格納部707に、利用したフィルタやフィルタ条件の情報が格納される。
S1300で処理を開始すると、S1301ではテナント管理サーバ109のテナント管理サーバ制御部702が入力引数の確認を行う。フィルタ蓄積リクエスト(S818)を受信したテナント管理サーバ109は受信したリクエストの引数確認を行い、指定されたフィルタ、フィルタ条件、フィルタ適合基準を取得する。
S1302では、テナント管理サーバ109のフィルタ履歴格納処理部704が、今回の分析処理において推奨フィルタが利用されたか否か(フィルタの指定があったか否か)を判断する。
S1303では、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ適合率の計算を行い、フィルタ履歴格納処理部704が更新処理を行う。
S1304は、テナント管理サーバ109のフィルタ履歴格納処理部704が、今回の分析処理において推奨フィルタ条件が利用されたか否か(フィルタ条件の指定があったか否か)を判断するステップである。
S1305は、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ条件適合率の計算を行い、フィルタ履歴格納処理部704が更新処理を行うステップである。
推奨フィルタを利用していない場合(分析処理においてフィルタの指定があった場合、S1302,No)、フィルタ履歴格納処理部704がフィルタ適合率の更新処理(S1303)を行う。推奨フィルタを利用した場合は(S1302,Yes)、フィルタ適合率の更新処理(S1303)をスキップし、S1304を行う。
続いて、S1304では、推奨フィルタ条件の利用有無(フィルタ条件の指定の有無)を確認する。推奨フィルタ条件を利用していない場合(分析処理においてフィルタ条件の指定があった場合、S1304,No)、フィルタ履歴格納処理部704がフィルタ条件適合率の更新処理(S1305)を行い、処理終了となる(S1306)。推奨フィルタ条件を利用した場合は(S1304,Yes)、推奨フィルタ条件適合率の更新処理(S1305)をスキップし、処理終了となる(S1306)。推奨フィルタ適合率の更新処理S1303については図14を、推奨フィルタ条件適合率の更新処理S1305については図15を参照して以下に説明する。
図14に、図13におけるフィルタ適合率更新処理S1303の動作を説明するフローチャート図の一例を示している。
S1401では、テナント管理サーバ109のフィルタ履歴格納処理部704が指定されたフィルタとフィルタ選択基準との確認として、図13における入力引数の確認(S1301)で指定されたフィルタとフィルタ選択基準とを取得する。複数のフィルタ選択基準が指定されている場合は各フィルタ選択基準について後述するS1411までの処理を繰り返し行う。
S1402では、テナント管理サーバ109のフィルタ履歴格納処理部704が指定されたフィルタとフィルタ選択基準とをキーにテナント管理サーバ109のフィルタ履歴格納部707から自テナントのフィルタ情報の取得処理を行う。
S1403では、テナント管理サーバ109のフィルタ履歴格納処理部704がS1402において取得したフィルタ情報の取得件数が0件か否かを判断する。取得件数が0件の場合は(S1403,Yes)、指定されたフィルタとフィルタ選択基準とがフィルタ履歴格納部707に登録されていないため、フィルタ履歴格納部707への登録処理を行うべく、S1405に進む。取得件数が0件でない場合(S1403,No)、既にフィルタとフィルタ適合基準とが自テナントに登録されているため、S1405の処理は行わず、S1404へ進む。
S1404では、テナント管理サーバ109のフィルタ履歴格納処理部704が直近の自テナントでのフィルタ選択基準における利用フィルタの取得を行う。
S1405では、テナント管理サーバ109のフィルタ履歴格納処理部704がS1401で取得した、指定されたフィルタとフィルタ選択基準とを自テナント情報として登録する。
S1406では、テナント管理サーバ109のフィルタ履歴格納処理部704がS1404で取得した直近の自テナントでのフィルタ選択基準における利用フィルタが今回のS1401で指定されたフィルタと同一のフィルタかどうか判断する。
S1407では、テナント管理サーバ109のフィルタ履歴格納処理部704が、S1404で取得した直近の自テナントでのフィルタ選択基準における利用フィルタの更新日時が一定時間内か否かの判断を行う。
S1408では、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ選択基準のフィルタ適合率のインクリメントとして現在のフィルタ適合率+1を計算し、フィルタ履歴格納処理部704がフィルタ履歴格納部707に更新処理するステップである。
S1409は、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ選択基準のフィルタ適合率のインクリメントとして現在のフィルタ適合率+2を計算し、フィルタ履歴格納処理部704がフィルタ履歴格納部707の更新処理をする。
S1410では、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ選択基準のフィルタ適合率のインクリメントとして現在のフィルタ適合率+3を計算し、フィルタ履歴格納処理部704がフィルタ履歴格納部707の更新処理をする。
一般的にデータ分析を行う際は、入力データのフィルタ処理を複数のフィルタで試行錯誤し、フィルタ選択基準に応じた最適なフィルタを選択する。その際、フィルタがフィルタ選択基準に適合している場合、フィルタは変更せずにフィルタ条件を変更して再度試行錯誤を行うと考えられるため、連続して利用しているフィルタはそのフィルタ選択基準において適合率が高いと考えられる。したがって、S1406において同一でない場合は(S1406,No)、指定されたフィルタのフィルタ選択基準のフィルタ適合率に1を加算して更新する。同一である場合は(S1406,Yes)、S1407にて利用フィルタの更新日時の確認を行い、更新日時が一定期間内でない場合(S1407,No)、S1409においてフィルタ選択基準のフィルタ適合率に2を加算する。また、更新日時が一定期間内であれば(S1407,Yes)、S1410においてフィルタ選択基準のフィルタ適合率に3を加算する。なお、更新に使用する値は一例であり、S1408で更新する値<S1409で更新する値<S1410で更新する値となるように重みづけされていれば良い。S1406、S1407のステップにより、フィルタ適合率を利用履歴に応じて効率的に設定できる。また、S1408、S1409、S1410のステップによりフィルタ適合率を更新することで、自テナントの分析処理に関するノウハウが蓄積されるだけでなく、他テナントの分析者が分析処理を行う場合にも、分析処理に関するノウハウとして利用することができるため、分析システム全体のノウハウとしての利用が期待できる。
S1411では、テナント管理サーバ109のフィルタ履歴格納処理部704がまだフィルタ適合率を更新していない他のフィルタ選択基準があるか否かの判断を行う。まだフィルタ適合率を更新していない他のフィルタ選択基準がある場合は(S1411,Yes)、S1401から再度処理を実施する。フィルタ適合率を更新していない他のフィルタ選択基準がない場合は(S1411,No)、S1412で終了処理となる。
ここで、例えばテナント管理サーバ109のフィルタ履歴格納部707に図16の入力フィルタデータテーブル1601が格納されている場合を考える。この例において、分析目的が故障検知、入力データ種別が温度データ、S1407の一定期間を24時間とし、テナント1がフィルタAを指定して2017年3月20日12時に分析処理を行った場合、テナント1の分析目的が故障検知の直近の利用フィルタはフィルタAであり、更新日時が2017年3月20日11時で24時間以内となるため、テナント1のフィルタAの分析目的が故障検知のフィルタ適合率は2+3=5となる。続いて、テナント1の入力データ種別が温度データの直近の利用フィルタはフィルタBであるため、テナント1のフィルタAの入力データ種別が温度データのフィルタ適合率は14+1=15となる。このように、本実施形態のデータ分析システム1を利用する分析者は、分析目的に応じて入力データについてより適合率が高いフィルタを利用することが可能である。
次に、フィルタ条件適合率更新処理について説明する。図15に、図13におけるフィルタ条件適合率更新処理S1305の動作を説明するフローチャート図の一例を示している。
S1500で処理を開始すると、S1501では、テナント管理サーバ109のフィルタ履歴格納処理部704が指定されたフィルタとフィルタ条件、フィルタ選択基準の確認として図13における入力引数の確認(S1301)で指定されたフィルタとフィルタ条件、フィルタ選択基準を取得する。複数のフィルタ選択基準が指定されている場合は各フィルタ選択基準について後述するS1511までの処理を繰り返し行う。
S1502では、テナント管理サーバ109のフィルタ履歴格納処理部704が指定されたフィルタとフィルタ条件、フィルタ選択基準をキーにテナント管理サーバ109のフィルタ履歴格納部707から自テナントのフィルタ情報の取得処理を行う。
S1503では、テナント管理サーバ109のフィルタ履歴格納処理部704がS1502において取得したフィルタ情報の取得件数が0件か否かを判断する。取得件数が0件の場合は(S1503,Yes)、指定されたフィルタとフィルタ条件、フィルタ選択基準がフィルタ履歴格納部707に登録されていないため、フィルタ履歴格納部707への登録処理を行うべく、S1505の処理に進む。取得件数が0件でない場合(S1503,No)、既にフィルタ条件とフィルタ適合基準が自テナントに登録されているため、S1505の処理は行わず、S1504へ進む。
S1504では、テナント管理サーバ109のフィルタ履歴格納処理部704が直近の自テナントでのフィルタ選択基準における利用フィルタ条件の取得を行う。
S1505では、テナント管理サーバ109のフィルタ履歴格納処理部704がS1501で取得した、指定されたフィルタとフィルタ条件、フィルタ選択基準を自テナント情報として登録する。
S1506では、テナント管理サーバ109のフィルタ履歴格納処理部704がS1504で取得した直近の自テナントでのフィルタ選択基準における利用フィルタ条件が今回のS1501で指定されたフィルタ条件と同一のフィルタ条件かどうか判断する。
S1507では、テナント管理サーバ109のフィルタ履歴格納処理部704がS1504で取得した直近の自テナントでのフィルタ選択基準における利用フィルタ条件の更新日時が一定時間内か否かを判断する。
S1508では、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ
選択基準のフィルタ条件適合率のインクリメントとして現在のフィルタ条件適合率+1を計算し、フィルタ履歴格納処理部704がフィルタ履歴格納部707の更新処理をする。
S1509では、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ選択基準のフィルタ条件適合率のインクリメントとして現在のフィルタ条件適合率+2を計算し、フィルタ履歴格納処理部704がフィルタ履歴格納部707の更新処理をする。
S1510では、テナント管理サーバ109のフィルタ適合率計算部705がフィルタ選択基準のフィルタ条件適合率のインクリメントとして現在のフィルタ条件適合率+3を計算し、フィルタ履歴格納処理部704がフィルタ履歴格納部707の更新処理をする。
S1506において、直近の利用フィルタ条件が同一でない場合は(S1506,No)、指定されたフィルタ条件のフィルタ選択基準のフィルタ条件適合率に1を加算して更新する。直近の利用フィルタ条件が同一である場合は(S1506,Yes)、S1507にて利用フィルタ条件の更新日時の確認を行い、更新日時が一定期間内でない場合(S1507,No)、S1509においてフィルタ選択基準のフィルタ条件適合率に2を加算する。また、更新日時が一定期間内であれば(S1507,Yes)、S1510においてフィルタ選択基準のフィルタ条件適合率に3を加算する。なお、更新に使用する値は一例であり、S1508で更新する値<S1509で更新する値<S1510で更新する値となるように重みづけされていれば良い。S1508、S1509、S1510のステップによりフィルタ条件適合率を更新することで、自テナントの分析処理に関するノウハウが蓄積されるだけでなく、他テナントの分析者が分析処理を行う場合にも、分析処理に関するノウハウとして利用されるため、分析システム全体のノウハウとしての利用が期待できる。
S1511では、テナント管理サーバ109のフィルタ履歴格納処理部704がまだフィルタ条件適合率を更新していない他のフィルタ選択基準があるか否かの判断を行う。まだフィルタ条件適合率を更新していない他のフィルタ選択基準がある場合は(S1511,Yes)、フィルタ履歴格納処理部704がS1501から再度処理を実施する。まだフィルタ条件適合率を更新していない他のフィルタ選択基準がない場合は(S1511,No)、S1512で処理を終了する。
ここで、例えばテナント管理サーバ109のフィルタ履歴格納部707に図17のフィルタ条件データテーブル1701に示すデータが格納されている場合を考える。この例において、分析目的が故障検知、入力データ種別が温度データ、S1507の一定期間を24時間として、テナント1がフィルタAの±2σを指定して2017年3月20日12時に分析処理を行った場合、テナント1の分析目的が故障検知のフィルタAの直近の利用フィルタ条件は±2σであり、更新日時が2017年3月20日11時10分で24時間以内となるため、テナント1のフィルタAの±2σの分析目的が故障検知であるフィルタ条件適合率は10+3=13となる。続いて、テナント1のフィルタAの入力データ種別が温度センサの直近の利用フィルタ条件は±2σであり、更新日時が2017年2月1日15時00分10秒で、更新が24時間以上前となるため、テナント1のフィルタAの±2σの入力データ種別が温度データのフィルタ条件適合率は14+2=16となる。このように、本実施形態のデータ分析システム1を利用する分析者は、分析目的に応じて入力データについてより適合率が高いフィルタ条件を利用することが可能である。
以上説明した本発明の一実施形態に係るデータ分析システムによれば、フィルタリングサーバ上にフィルタリングロジックが格納されるため、利用するフィルタを変更しながら分析処理を複数回行い試行錯誤をする場合に、入力データの抽出ロジックを修正することなく入力データのフィルタリングが可能となり、SI工数の削減が可能となる。また、利
用するフィルタの推奨により適切なフィルタの選択が可能となるため、データ分析処理の試行錯誤の回数を削減することができ、データ分析処理の商用化に向け円滑な導入が可能となる。
なお、本発明の技術的範囲は上記の実施形態に限定されることはなく、他の変形例、応用例等も、特許請求の範囲に記載した事項の範囲内に含まれるものである。
1 データ分析システム
101,108 テナント
102 分析者端末
103 通信ネットワーク
104 分析連携サーバ
105 フィルタリングサーバ
106 データ分析サーバ
107 データレイクサーバ
109 テナント管理サーバ
702 テナント管理サーバ制御部
703 推奨フィルタ取得部
704 フィルタ履歴格納処理部
705 フィルタ適合率計算部
706 選択基準格納処理部
707 フィルタ履歴格納部
1601 入力フィルタデータテーブル
1701 フィルタ条件データテーブル

Claims (10)

  1. 複数のデータ分析要求元からのデータ分析要求に応じてデータ分析を実行するデータ分析システムであって、
    入力データに所定のフィルタを適用して入力データのフィルタ処理を行うフィルタ処理部と、
    前記フィルタ処理された入力データの分析処理を行うデータ分析部と、
    前記入力データ及び分析処理されたデータである結果データを格納するデータ格納部と、
    前記データ分析要求に応じて適用したフィルタの適用履歴を記録しており、あらたなデータ分析要求について当該フィルタの適用履歴を参照して、実施しようとするデータ分析に適したフィルタを選択して前記フィルタ処理部に転送するフィルタ管理部と、
    を備えているデータ分析システム。
  2. 請求項1に記載のデータ分析システムであって、
    前記フィルタ管理部が、データ分析要求に指定されているフィルタ選択基準に適合するフィルタが抽出できなかった場合に選択されるデフォルトフィルタを格納している、
    データ分析システム。
  3. 請求項2に記載のデータ分析システムであって、
    前記フィルタ選択基準には、入力データに適用するフィルタの種別と、当該フィルタが前記入力データのフィルタ処理を実行する際に使用されるフィルタ条件とが含まれる、
    データ分析システム。
  4. 請求項1に記載のデータ分析システムであって、
    前記フィルタ管理部は、格納している各前記フィルタについて、前記データ分析要求元毎に、当該データ分析要求に含まれるフィルタ選択基準及びフィルタ選択基準内容に対応づけて、各前記フィルタの種別及びフィルタ条件についての実行したデータ分析処理におけるフィルタの適合度合いを示す指標であるフィルタ適合率を記録している、
    データ分析システム。
  5. 請求項4に記載のデータ分析システムであって、
    前記フィルタ管理部は、データ分析要求に基づいてフィルタを選択する際に、前記フィルタ種別及び前記フィルタ条件の適合率を更新する機能を備え、同一のデータ分析要求元から同一のフィルタ種別又はフィルタ条件が指定された場合であって、さらに一定期間内に適合率の更新が実行されていた場合に最も適合率を増加させるように更新を行う、
    データ分析システム。
  6. 請求項4に記載のデータ分析システムであって、
    前記フィルタ管理部は、データ分析要求元から受信したデータ分析要求に含まれるフィルタ選択基準に基づいて、当該フィルタ選択基準に該当するフィルタ種別及びフィルタ条件を有する全てのフィルタを抽出し、抽出された前記フィルタのフィルタ適合率の和が最大となるフィルタを推奨フィルタとして選択する、
    データ分析システム。
  7. 請求項4に記載のデータ分析システムであって、
    前記フィルタ適合率及び前記フィルタ条件適合率は、抽出されたフィルタ及びフィルタ条件毎に、処理しようとするデータ分析要求のデータ分析要求元について記録されている適合率に、他のデータ分析要求元について記録されている適合率に所定の重み係数を乗じて得られる修正適合率との和として算出される、
    データ分析システム。
  8. 請求項1に記載のデータ分析システムであって、
    前記フィルタ管理部が、データ分析要求に指定されているフィルタ選択基準に適合するフィルタが抽出できなかった場合に選択されるデフォルトフィルタを格納しており、
    前記フィルタ選択基準には、入力データに適用するフィルタの種別と、当該フィルタが前記入力データのフィルタ処理を実行する際に使用されるフィルタ条件とが含まれ、
    前記フィルタ管理部は、格納している各前記フィルタについて、前記データ分析要求元毎に、当該データ分析要求に含まれるフィルタ選択基準及びフィルタ選択基準内容に対応づけて、各前記フィルタの種別及びフィルタ条件についての実行したデータ分析処理におけるフィルタの適合度合いを示す指標であるフィルタ適合率を記録しており、
    前記フィルタ管理部は、データ分析要求に基づいてフィルタを選択する際に、前記フィルタ種別及び前記フィルタ条件の適合率を更新する機能を備え、同一のデータ分析要求元から同一のフィルタ種別又はフィルタ条件が指定された場合であって、さらに一定期間内に適合率の更新が実行されていた場合に最も適合率を増加させるように更新を行い、
    前記フィルタ管理部は、データ分析要求元から受信したデータ分析要求に含まれるフィルタ選択基準に基づいて、当該フィルタ選択基準に該当するフィルタ種別及びフィルタ条件を有する全てのフィルタを抽出し、抽出された前記フィルタのフィルタ適合率の和が最大となるフィルタを推奨フィルタとして選択し、
    前記フィルタ適合率及び前記フィルタ条件適合率は、抽出されたフィルタ及びフィルタ条件毎に、処理しようとするデータ分析要求のデータ分析要求元について記録されている適合率に、他のデータ分析要求元について記録されている適合率に所定の重み係数を乗じて得られる修正適合率との和として算出され、
    前記フィルタ適合率及び前記フィルタ条件適合率は、抽出されたフィルタ及びフィルタ条件毎に、処理しようとするデータ分析要求のデータ分析要求元について記録されている適合率と、他のデータ分析要求元について記録されている適合率に所定の重み係数を乗じて得られる修正適合率との和として算出される、
    データ分析システム。
  9. 複数のデータ分析要求元からのデータ分析要求に応じてデータ分析を実行するためのデータ分析方法であって、プロセッサ及びメモリを備えるコンピュータが、前記データ分析要求元ごとに分析対象となる入力データと、前記データ分析要求に応じて適用されるフィルタの適用履歴とを格納しており、前記コンピュータが、
    前記データ分析要求について前記フィルタ適用履歴を参照して、実施しようとするデータ分析に適したフィルタを選択し、
    前記入力データに選択された前記フィルタを適用して前記入力データのフィルタ処理を行い、
    前記フィルタ処理された入力データの分析処理を行い、
    当該分析処理されたデータである結果データを格納する、
    データ分析方法。
  10. プロセッサ及びメモリを備えるコンピュータに、複数のデータ分析要求元からのデータ分析要求に応じてデータ分析を実行させるためのデータ分析プログラムであって、前記コンピュータが、前記データ分析要求元ごとに分析対象となる入力データと、前記データ分析要求に応じて適用されるフィルタの適用履歴とを格納しており、前記コンピュータに、
    前記データ分析要求について前記フィルタ適用履歴を参照して、実施しようとするデータ分析に適したフィルタを選択する処理と、
    前記入力データに選択された前記フィルタを適用して前記入力データのフィルタ処理を行う処理と、
    前記フィルタ処理された入力データの分析処理を行う処理と、
    当該分析処理されたデータである結果データを格納する処理と、
    を実行させるデータ分析プログラム。
JP2017173452A 2017-09-08 2017-09-08 データ分析システム、データ分析方法、及びデータ分析プログラム Active JP7013178B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017173452A JP7013178B2 (ja) 2017-09-08 2017-09-08 データ分析システム、データ分析方法、及びデータ分析プログラム
US16/124,541 US10896226B2 (en) 2017-09-08 2018-09-07 Data analysis system, data analysis method, and data analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017173452A JP7013178B2 (ja) 2017-09-08 2017-09-08 データ分析システム、データ分析方法、及びデータ分析プログラム

Publications (2)

Publication Number Publication Date
JP2019049839A JP2019049839A (ja) 2019-03-28
JP7013178B2 true JP7013178B2 (ja) 2022-01-31

Family

ID=65631305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017173452A Active JP7013178B2 (ja) 2017-09-08 2017-09-08 データ分析システム、データ分析方法、及びデータ分析プログラム

Country Status (2)

Country Link
US (1) US10896226B2 (ja)
JP (1) JP7013178B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3847643A4 (en) 2018-09-06 2022-04-20 Coffing, Daniel L. DIALOG GUIDANCE PROVIDING SYSTEM
WO2020056409A1 (en) * 2018-09-14 2020-03-19 Coffing Daniel L Fact management system
US10826801B1 (en) 2019-07-31 2020-11-03 Bank Of America Corporation Multi-level data channel and inspection architectures
US11115310B2 (en) 2019-08-06 2021-09-07 Bank Of America Corporation Multi-level data channel and inspection architectures having data pipes in parallel connections
US11470046B2 (en) 2019-08-26 2022-10-11 Bank Of America Corporation Multi-level data channel and inspection architecture including security-level-based filters for diverting network traffic
JP2021089679A (ja) * 2019-12-05 2021-06-10 株式会社日立製作所 データ分析システムおよびデータ分析方法
US11960623B2 (en) * 2020-03-27 2024-04-16 EMC IP Holding Company LLC Intelligent and reversible data masking of computing environment information shared with external systems
CN113762902A (zh) * 2020-06-02 2021-12-07 山东征途信息科技股份有限公司 基于5g技术的复杂场景数据传输与审批系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157896A (ja) 2003-11-27 2005-06-16 Mitsubishi Electric Corp データ分析支援システム
JP2010205218A (ja) 2009-03-06 2010-09-16 Dainippon Printing Co Ltd データ分析支援装置、データ分析支援システム、データ分析支援方法、及びプログラム
JP2014013510A (ja) 2012-07-04 2014-01-23 Fujitsu Ltd サーバ装置、フィルタリング方法、およびフィルタリングプログラム
WO2016013280A1 (ja) 2014-07-25 2016-01-28 株式会社日立製作所 データ分析方法、及びデータ分析システム
JP2016076211A (ja) 2014-10-02 2016-05-12 富士通株式会社 データ処理プログラム、データ処理方法及びデータ処理装置
US20170132277A1 (en) 2015-11-05 2017-05-11 Oracle International Corporation Automated data analysis using combined queries

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040962A1 (en) * 1997-06-12 2003-02-27 Lewis William H. System and data management and on-demand rental and purchase of digital data products
US20040006447A1 (en) * 2000-06-22 2004-01-08 Jacky Gorin Methods and apparatus for test process enhancement
US10325272B2 (en) * 2004-02-20 2019-06-18 Information Resources, Inc. Bias reduction using data fusion of household panel data and transaction data
US8296654B2 (en) * 2004-07-01 2012-10-23 Spotfire Ab Automatic guide for data analysis
US7555405B2 (en) * 2004-09-30 2009-06-30 John Antanies Computerized method for creating a CUSUM chart for data analysis
US20060218187A1 (en) * 2005-03-25 2006-09-28 Microsoft Corporation Methods, systems, and computer-readable media for generating an ordered list of one or more media items
DE102006004411B4 (de) * 2006-01-31 2017-11-09 Globalfoundries Inc. Verfahren und System für die Messdatenbewertung in der Halbleiterbearbeitung durch auf Korrelation basierende Datenfilterung
US9203912B2 (en) * 2007-11-14 2015-12-01 Qualcomm Incorporated Method and system for message value calculation in a mobile environment
ITTO20080434A1 (it) * 2008-06-05 2009-12-06 Accenture Global Services Gmbh Sistema di raccolta e di analisi di dati relativi agli acquisti di consumatori e acquirenti
US8965907B2 (en) * 2010-06-21 2015-02-24 Microsoft Technology Licensing, Llc Assisted filtering of multi-dimensional data
US8510288B2 (en) * 2010-10-22 2013-08-13 Microsoft Corporation Applying analytic patterns to data
US8732101B1 (en) * 2013-03-15 2014-05-20 Nara Logics, Inc. Apparatus and method for providing harmonized recommendations based on an integrated user profile
CN103593354B (zh) * 2012-08-15 2018-09-07 腾讯科技(深圳)有限公司 一种过滤网络页面广告的方法、装置、服务器及系统
US9461876B2 (en) * 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US9965937B2 (en) * 2013-03-15 2018-05-08 Palantir Technologies Inc. External malware data item clustering and analysis
US20150088606A1 (en) * 2013-09-20 2015-03-26 Tata Consultancy Services Ltd. Computer Implemented Tool and Method for Automating the Forecasting Process
US10505825B1 (en) * 2014-10-09 2019-12-10 Splunk Inc. Automatic creation of related event groups for IT service monitoring
WO2016138067A1 (en) * 2015-02-24 2016-09-01 Cloudlock, Inc. System and method for securing an enterprise computing environment
US10489470B2 (en) * 2015-03-03 2019-11-26 Samsung Electronics Co., Ltd. Method and system for filtering content in an electronic device
US20160357801A1 (en) * 2015-05-15 2016-12-08 Foogal Incorporated Consumption notification from personal food inventory
US9454785B1 (en) * 2015-07-30 2016-09-27 Palantir Technologies Inc. Systems and user interfaces for holistic, data-driven investigation of bad actor behavior based on clustering and scoring of related data
US10489391B1 (en) * 2015-08-17 2019-11-26 Palantir Technologies Inc. Systems and methods for grouping and enriching data items accessed from one or more databases for presentation in a user interface
US11663254B2 (en) * 2016-01-29 2023-05-30 Thomson Reuters Enterprise Centre Gmbh System and engine for seeded clustering of news events

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157896A (ja) 2003-11-27 2005-06-16 Mitsubishi Electric Corp データ分析支援システム
JP2010205218A (ja) 2009-03-06 2010-09-16 Dainippon Printing Co Ltd データ分析支援装置、データ分析支援システム、データ分析支援方法、及びプログラム
JP2014013510A (ja) 2012-07-04 2014-01-23 Fujitsu Ltd サーバ装置、フィルタリング方法、およびフィルタリングプログラム
WO2016013280A1 (ja) 2014-07-25 2016-01-28 株式会社日立製作所 データ分析方法、及びデータ分析システム
JP2016076211A (ja) 2014-10-02 2016-05-12 富士通株式会社 データ処理プログラム、データ処理方法及びデータ処理装置
US20170132277A1 (en) 2015-11-05 2017-05-11 Oracle International Corporation Automated data analysis using combined queries

Also Published As

Publication number Publication date
US20190080022A1 (en) 2019-03-14
US10896226B2 (en) 2021-01-19
JP2019049839A (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
JP7013178B2 (ja) データ分析システム、データ分析方法、及びデータ分析プログラム
CN106067080B (zh) 提供可配置工作流能力
JP5174320B2 (ja) トポロジメタデータおよびナビゲーションパスを用いる規定ナビゲーション
CN100587693C (zh) 从多个数据源获取数据的方法及系统
US7945675B2 (en) System and method for delegation of data processing tasks based on device physical attributes and spatial behavior
US20110145094A1 (en) Cloud servicing brokering
CN103649984B (zh) 用于聚合环境中的供应商优化的方法和系统
US20150235282A1 (en) Method and system to share, interconnect and execute components and compute rewards to contributors for the collaborative solution of computational problems.
WO2012160381A2 (en) Platform for the delivery of content and services to networked connected computing devices
US9244998B2 (en) Extending olap navigation employing analytic workflows
WO2014049378A1 (en) Method of processing data in a data processing engine
Basak et al. Stream Analytics with Microsoft Azure: Real-time data processing for quick insights using Azure Stream Analytics
CN110852559A (zh) 资源的分配方法和装置、存储介质、电子装置
CN1783120B (zh) 计算机系统的分析技术
CN110225076A (zh) 文件交互方法、装置、电子设备及存储介质
US10395190B2 (en) Method and system for determining total cost of ownership
KR101561780B1 (ko) 테넌트 중심의 클라우드 서비스 브로커를 위한 테넌트 요구사항 분석 시스템과 그 방법
CN110471968A (zh) Etl任务的发布方法、装置、设备及存储介质
US11842387B1 (en) Personalized financial account statement
JP5429116B2 (ja) 利用者情報処理装置、利用者情報処理方法、及び利用者情報処理プログラム
CN112597121A (zh) 逻辑脚本的处理方法、装置、电子设备及存储介质
CN112116483A (zh) 保单数据处理方法、查询方法、存储介质和电子设备
KR20210078149A (ko) 지능형 스몰웨딩 플랫폼 구축을 위한 클라우드 기반 고객 및 일정 관리 시스템
WO2020183538A1 (ja) 計算機システム及びデータレイクに格納されるデータを用いた処理方法
KR102546847B1 (ko) Erp의 커스터마이징 자동화 처리 및 커스터마이징된 erp 솔루션의 제공 방법, 장치 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220119

R150 Certificate of patent or registration of utility model

Ref document number: 7013178

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150