JP7457284B2

JP7457284B2 - データ連携システム

Info

Publication number: JP7457284B2
Application number: JP2020055179A
Authority: JP
Inventors: 孝記中島
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2020-03-25
Filing date: 2020-03-25
Publication date: 2024-03-28
Anticipated expiration: 2040-03-25
Also published as: US20210303541A1; JP2021157342A

Description

本発明は、情報システムが保持しているデータを収集して蓄積するデータ連携システムおよび更新頻度変更システムに関する。

従来、情報システムが保持しているデータを収集して蓄積するデータ連携システムが知られている（例えば、特許文献１－３参照。）。

特開２０１６－００４３６６号公報特開２０１６－０２４４８６号公報特開２０１６－０９１３１７号公報

しかしながら、特許文献１－３に記載されているデータ連携システムにおいては、データの更新の頻度を変更することができないという問題がある。

そこで、本発明は、データの更新の頻度を変更することができるデータ連携システムおよび更新頻度変更システムを提供することを目的とする。

本発明のデータ連携システムは、情報システムが保持しているデータを収集するデータ収集システムと、前記データ収集システムによって収集されたデータを蓄積するデータ蓄積システムと、前記データ蓄積システムによって蓄積されているデータの更新の頻度を変更する更新頻度変更システムとを備え、前記更新頻度変更システムは、データを特定の頻度で更新する通常更新パスを利用している前記データ収集システムおよび前記データ蓄積システムに、前記通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させることを特徴とする。

この構成により、本発明のデータ連携システムは、データを特定の頻度で更新する通常更新パスを利用しているデータ収集システムおよびデータ蓄積システムに、通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させるので、データの更新の頻度を変更することができる。

本発明のデータ連携システムにおいて、前記更新頻度変更システムは、前記データ蓄積システムに蓄積されているデータのうちの一部の特定のデータのみに対して前記データ収集システムおよび前記データ蓄積システムに前記高速更新パスを利用させても良い。

この構成により、本発明のデータ連携システムは、データ蓄積システムに蓄積されているデータのうちの一部の特定のデータのみに対してデータ収集システムおよびデータ蓄積システムに高速更新パスを利用させるので、データ蓄積システムに蓄積されている全てのデータに対してデータ収集システムおよびデータ蓄積システムに高速更新パスを利用させる構成と比較して、データの更新のコストを抑えることができる。

本発明のデータ連携システムにおいて、前記データ収集システムおよび前記データ蓄積システムは、前記特定のデータに対して前記高速更新パスを利用する場合に、前記特定のデータに対して前記通常更新パスも利用し、前記データ蓄積システムは、前記高速更新パスの利用を終了する場合に、前記特定のデータを前記通常更新パスで取得された最新のデータに更新しても良い。

この構成により、本発明のデータ連携システムは、特定のデータに対してデータ収集システムおよびデータ蓄積システムが高速更新パスを利用している場合に、このデータに対してデータ収集システムおよびデータ蓄積システムが通常更新パスも利用し、データ蓄積システムが高速更新パスの利用を終了する場合に、データ蓄積システムが特定のデータを通常更新パスで取得された最新のデータに更新させるので、データ蓄積システムに蓄積されている複数のデータに関して、更新された時期を揃えることができ、その結果、データ蓄積システムに蓄積されているデータ間の整合性を向上することができる。

本発明の更新頻度変更システムは、情報システムが保持しているデータを収集するデータ収集システムによって収集されたデータを蓄積するデータ蓄積システムによって蓄積されているデータの更新の頻度を変更する更新頻度変更システムであって、データを特定の頻度で更新する通常更新パスを利用している前記データ収集システムおよび前記データ蓄積システムに、前記通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させることを特徴とする。

この構成により、本発明の更新頻度変更システムは、データを特定の頻度で更新する通常更新パスを利用しているデータ収集システムおよびデータ蓄積システムに、通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させるので、データの更新の頻度を変更することができる。

本発明のデータ連携システムおよび更新頻度変更システムは、データの更新の頻度を変更することができる。

本発明の一実施の形態に係るシステムのブロック図である。図１に示すデータ蓄積システムに備えられるパイプラインのブロック図である。図１に示すビッグデータ解析部によって管理されているデータのテーブルの一例を示す図である。ビッグデータ解析部によって管理されているデータを通常更新パスで更新する場合の図１に示すシステムの動作のシーケンス図である。ビッグデータ解析部によって管理されているデータの高速の更新が利用者によって指示された場合の図１に示すシステムの動作のシーケンス図である。ビッグデータ解析部によって管理されているデータを高速更新パスで更新する場合の図１に示すシステムの動作のシーケンス図である。ビッグデータ解析部によって管理されているデータの高速の更新を終了する場合の図１に示すシステムの動作のシーケンス図である。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係るシステムの構成について説明する。

図１は、本実施の形態に係るシステム１０のブロック図である。

図１に示すように、システム１０は、データを生み出すデータソース部２０と、データソース部２０によって生み出されたデータを連携するデータ連携システム３０とを備えている。

データソース部２０は、データを生み出す情報システム２１を備えている。情報システム２１は、情報システム２１の構成や設定を保存する構成管理サーバー２１ａを備えている。データソース部２０は、情報システム２１以外にも、少なくとも１つの情報システムを備えていても良い。情報システムの例としては、ＭＦＰ（ＭｕｌｔｉｆｕｎｃｔｉｏｎＰｅｒｉｐｈｅｒａｌ）、プリンター専用機などの画像形成装置を遠隔で管理する遠隔管理システムなどのＩｏＴ（ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓ）システムと、ＥＲＰ（ＥｎｔｅｒｐｒｉｓｅＲｅｓｏｕｒｃｅＰｌａｎｎｉｎｇ）、生産管理システムなどの社内システムとが存在する。情報システムのそれぞれは、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。情報システムは、構造化データのファイルを保持しても良い。情報システムは、非構造化データのファイルを保持しても良い。情報システムは、構造化データのデータベースを保持しても良い。

データソース部２０は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをデータ連携システム３０の後述のパイプラインに送信するデータ収集システムとしてのＰＯＳＴコネクター２２を備えている。データソース部２０は、ＰＯＳＴコネクター２２と同様の構成のＰＯＳＴコネクターをＰＯＳＴコネクター２２以外に少なくとも１つ備えても良い。ＰＯＳＴコネクターは、ＰＯＳＴコネクター自身がファイルを取得する情報システムを構成するコンピューターによって構成されても良い。なお、ＰＯＳＴコネクターは、データ連携システム３０の構成でもある。

ＰＯＳＴコネクターは、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えば１日１回などの特定の頻度でパイプラインに送信する通常更新パスと、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに送信する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、ＰＯＳＴコネクターは、デフォルトでは通常更新パスを利用する。

データソース部２０は、情報システムが保持している構造化データのデータベースから構造化データを取得して、取得した構造化データをデータ連携システム３０の後述のパイプラインに送信するデータ収集システムとしてのＰＯＳＴエージェント２３を備えている。データソース部２０は、ＰＯＳＴエージェント２３と同様の構成のＰＯＳＴエージェントをＰＯＳＴエージェント２３以外に少なくとも１つ備えても良い。ＰＯＳＴエージェントは、ＰＯＳＴエージェント自身が構造化データを取得する情報システムを構成するコンピューターによって構成されても良い。なお、ＰＯＳＴエージェントは、データ連携システム３０の構成でもある。

ＰＯＳＴエージェントは、情報システムから構造化データを取得して、取得した構造化データを例えば１日１回などの特定の頻度でパイプラインに送信する通常更新パスと、情報システムから構造化データを取得して、取得した構造化データを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに送信する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、ＰＯＳＴエージェントは、デフォルトでは通常更新パスを利用する。

データソース部２０は、情報システムが保持しているデータに基づいて連携用の構造化データを生成するデータ収集システムとしてのＧＥＴ用エージェント２４を備えている。データソース部２０は、ＧＥＴ用エージェント２４と同様の構成のＧＥＴ用エージェントをＧＥＴ用エージェント２４以外に少なくとも１つ備えても良い。ＧＥＴ用エージェントは、連携用の構造化データの生成の元になったデータを保持している情報システムを構成するコンピューターによって構成されても良い。なお、ＧＥＴ用エージェントは、データ連携システム３０の構成でもある。

ＧＥＴ用エージェントは、情報システムが保持しているデータに基づいて連携用の構造化データを例えば１日１回などの特定の頻度で生成する通常更新パスと、情報システムが保持しているデータに基づいて連携用の構造化データを例えばリアルタイムなど、通常更新パスより高頻度で生成する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、ＧＥＴ用エージェントは、デフォルトでは通常更新パスを利用する。

データ連携システム３０は、データソース部２０によって生み出されたデータを蓄積するデータ蓄積システム４０と、データ蓄積システム４０に蓄積されているデータを利用するアプリケーション部５０と、データ蓄積システム４０およびアプリケーション部５０に対する各種の制御を実行する制御サービス部６０とを備えている。

データ蓄積システム４０は、データソース部２０によって生み出されたデータを蓄積するパイプライン４１を備えている。データ蓄積システム４０は、パイプライン４１以外にも、少なくとも１つのパイプラインを備えていても良い。情報システムにおけるデータの構成が情報システム毎に異なる可能性があるので、データ蓄積システム４０は、基本的に、情報システム毎にパイプラインを備えている。パイプラインのそれぞれは、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

図２は、データ蓄積システム４０に備えられるパイプライン７０のブロック図である。

図２に示すように、パイプライン７０は、ＰＯＳＴコネクター、ＰＯＳＴエージェント、後述のＧＥＴコネクター、または、後述のＧＥＴエージェントから受け取ったデータを記憶する記憶領域を備える１次ストレージ７１と、１次ストレージ７１に記憶されたデータのうち、情報システムの利用者の個人情報などのプライバシーに関するデータに対してデータ変換処理としてマスキング処理を実行するデータ変換システムとしてのマスキング処理部７２と、マスキング処理部７２によってマスキング処理が実行されたデータを、後述のビッグデータ解析部４４（図１参照。）に転送するデータ転送処理を実行するデータ転送処理部７３と、ビッグデータ解析部４４への転送用のデータを蓄積する記憶領域を備える２次ストレージ７４とを備えている。なお、１次ストレージ７１が設けられる理由は、データの処理において、例えばマスキング処理の工程やデータ転送処理の工程など、１次ストレージ７１へのデータの記憶の工程より後の工程で処理が失敗した場合に、ネットワーク通信コストが高い、データソース部２０からデータ連携システム３０へのデータの再送信を行うことなく、１次ストレージ７１に記憶されているデータを使用して、失敗した処理を再実行することを可能にするためである。１次ストレージ７１および２次ストレージ７４は、それぞれ単なる記憶装置ではなく、後述する種々の処理を実行することができるシステムである。

パイプライン７０は、１次ストレージ７１に記憶された、更新のデータを例えば１日１回などの特定の頻度でマスキング処理部７２およびデータ転送処理部７３によって処理して２次ストレージ７４に蓄積する通常更新パスと、１次ストレージ７１に記憶された、更新のデータを例えばリアルタイムなど、通常更新パスより高頻度でマスキング処理部７２およびデータ転送処理部７３によって処理して２次ストレージ７４に蓄積する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、パイプライン７０は、デフォルトでは通常更新パスを利用する。

図１に示すように、データ蓄積システム４０は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをパイプラインに連携するデータ収集システムとしてのＧＥＴコネクター４２を備えている。データ蓄積システム４０は、ＧＥＴコネクター４２と同様の構成のＧＥＴコネクターをＧＥＴコネクター４２以外に少なくとも１つ備えても良い。ＧＥＴコネクターは、ＧＥＴコネクター自身がファイルを連携するパイプラインを構成するコンピューターによって構成されても良い。

ＧＥＴコネクターは、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えば１日１回などの特定の頻度でパイプラインに連携する通常更新パスと、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに連携する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、ＧＥＴコネクターは、デフォルトでは通常更新パスを利用する。

なお、システム１０は、構造化データまたは非構造化データのファイルがデータ蓄積システム４０側から取得されることに対応していない情報システムに対しては、データソース部２０にＰＯＳＴコネクターを備える。一方、システム１０は、構造化データまたは非構造化データのファイルがデータ蓄積システム４０側から取得されることに対応している情報システムに対しては、データ蓄積システム４０にＧＥＴコネクターを備える。

データ蓄積システム４０は、ＧＥＴ用エージェントによって生成された構造化データを取得して、取得した構造化データをパイプラインに連携するデータ収集システムとしてのＧＥＴエージェント４３を備えている。データ蓄積システム４０は、ＧＥＴエージェント４３と同様の構成のＧＥＴエージェントをＧＥＴエージェント４３以外に少なくとも１つ備えても良い。ＧＥＴエージェントは、ＧＥＴエージェント自身が構造化データを連携するパイプラインを構成するコンピューターによって構成されても良い。

ＧＥＴエージェントは、ＧＥＴ用エージェントから構造化データを取得して、取得した構造化データを例えば１日１回などの特定の頻度でパイプラインに連携する通常更新パスと、ＧＥＴ用エージェントから構造化データを取得して、取得した構造化データを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに連携する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、ＧＥＴエージェントは、デフォルトでは通常更新パスを利用する。

なお、システム１０は、構造化データがデータ蓄積システム４０側から取得されることに対応していない情報システムに対しては、データソース部２０にＰＯＳＴエージェントを備える。一方、システム１０は、構造化データがデータ蓄積システム４０側から取得されることに対応している情報システムに対しては、データソース部２０にＧＥＴ用エージェントを備えるとともに、データ蓄積システム４０にＧＥＴエージェントを備える。

データ蓄積システム４０は、複数のパイプラインによって蓄積されたデータを、例えばＳＱＬなどのデータベース言語などのクエリー言語で検索や集計が可能な形態に変換するデータ変換処理として最終変換処理を実行するデータ変換システムとしてのビッグデータ解析部４４を備えている。ビッグデータ解析部４４は、最終変換処理を実行したデータに対して、アプリケーション部５０側からの検索要求や集計要求に応じて検索や集計を実行することも可能である。ビッグデータ解析部４４は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

最終変換処理は、複数の情報システムのデータを統合するデータ統合処理をデータ変換処理として含んでいても良い。アジアに配置されている多数の画像形成装置を遠隔で管理するためにアジアに配置されている遠隔管理システムと、ヨーロッパに配置されている多数の画像形成装置を遠隔で管理するためにヨーロッパに配置されている遠隔管理システムと、アメリカに配置されている多数の画像形成装置を遠隔で管理するためにアメリカに配置されている遠隔管理システムとをシステム１０が情報システムとして備えている場合、これら３つの遠隔管理システムは、それぞれ、遠隔管理システム自身が管理している画像形成装置を管理するデバイス管理テーブルを備えている。デバイス管理テーブルは、画像形成装置毎に付与したＩＤに対応付けて、画像形成装置の各種の情報を示す情報である。ここで、３つの遠隔管理システムがそれぞれ独自にデバイス管理テーブルを備えているので、３つの遠隔管理システムのデバイス管理テーブル間においては、別々の画像形成装置に同一のＩＤが付与されている可能性がある。そこで、ビッグデータ解析部４４は、３つの遠隔管理システムのデバイス管理テーブルを統合して１つのデバイス管理テーブルを生成する場合に、画像形成装置のＩＤを重複が生じないように付与し直す。

ビッグデータ解析部４４は、ビッグデータ解析部４４自身によって管理しているデータを例えば１日１回などの特定の頻度で更新する通常更新パスと、ビッグデータ解析部４４自身によって管理しているデータを例えばリアルタイムなど、通常更新パスより高頻度で更新する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、ビッグデータ解析部４４は、デフォルトでは通常更新パスを利用する。

図３は、ビッグデータ解析部４４によって管理されているデータのテーブルの一例を示す図である。

図３に示すテーブルは、画像形成装置の各種の情報を画像形成装置毎に示す画像形成装置情報テーブルである。例えば、図３に示す画像形成装置情報テーブルには、画像形成装置のＩＤと、画像形成装置におけるエラーの情報と、画像形成装置における印刷枚数を示すカウンター値、画像形成装置におけるトナーの残量など、画像形成装置における利用状態を示す情報とが含まれている。

図１に示すように、アプリケーション部５０は、ビッグデータ解析部４４によって管理されているデータを利用して、例えばデータの表示や、データの分析など、利用者によって指示された特定の動作を実行するアプリケーションサービス５１を備えている。アプリケーション部５０は、アプリケーションサービス５１以外にも、少なくとも１つのアプリケーションサービスを備えていても良い。アプリケーションサービスのそれぞれは、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

アプリケーション部５０は、ビッグデータ解析部４４によって管理されているデータを利用して特定の動作を実行するＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒｆａｃｅ）を提供するＡＰＩプラットフォーム５２を備えている。ＡＰＩプラットフォーム５２は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。例えば、ＡＰＩプラットフォーム５２によって提供されるＡＰＩとしては、画像形成装置のトナーなどの消耗品の残量が特定の量以下である場合に消耗品を発注する、システム１０の外部の消耗品発注システムに、遠隔管理システムによって画像形成装置から収集された消耗品の残量のデータを送信するＡＰＩと、画像形成装置の故障を予測する、システム１０の外部の故障予測システムに、遠隔管理システムによって画像形成装置から収集された各種のデータを送信するＡＰＩとが存在する。

制御サービス部６０は、データソース部２０、データ蓄積システム４０およびアプリケーション部５０におけるデータに対する各段階の処理を監視する処理監視システムとしてのパイプライン・オーケストレーター６１を備えている。パイプライン・オーケストレーター６１は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。パイプライン・オーケストレーター６１は、データ蓄積システム４０によって蓄積されているデータの更新の頻度を変更することができ、本発明の更新頻度変更システムを構成している。

制御サービス部６０は、データ蓄積システム４０の構成や設定を保存し、必要に応じて自動的にデプロイを実行する構成管理サーバー６２を備えている。構成管理サーバー６２は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。構成管理サーバー６２は、データ連携システム３０の構成を変更する構成変更システムを構成している。

制御サービス部６０は、情報システムの構成管理サーバーに接続し、情報システムにおけるデータベースや非構造化データに関する構成の変更、すなわち、情報システムにおけるデータの構成の変更を検出するための情報を収集する構成管理ゲートウェイ６３を備えている。構成管理ゲートウェイ６３は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

制御サービス部６０は、情報システムなどの各システム間を連携するために必要な鍵情報や接続文字列などのセキュリティー情報を暗号化して保管するＫｅｙ管理サービス６４を備えている。Ｋｅｙ管理サービス６４は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

制御サービス部６０は、データ蓄積システム４０やアプリケーション部５０からの要求を受け付ける管理ＡＰＩ６５を備えている。管理ＡＰＩ６５は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

制御サービス部６０は、アプリケーション部５０のアプリケーションサービスの認証認可を実行する認証認可サービス６６を備えている。認証認可サービス６６は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。認証認可サービス６６は、例えば、データ蓄積システム４０に蓄積されている情報システムのデータの最新化を要求することをアプリケーションサービスが許可されているか否かを確認することができる。

次に、システム１０の動作について説明する。

まず、ビッグデータ解析部４４によって管理されているデータを通常更新パスで更新する場合のシステム１０の動作について説明する。

図４は、ビッグデータ解析部４４によって管理されているデータを通常更新パスで更新する場合のシステム１０の動作のシーケンス図である。

以下においては、コネクターまたはエージェントの例としてＰＯＳＴコネクター２２について説明するが、ＰＯＳＴコネクター２２以外のＰＯＳＴコネクターでも同様であるし、ＰＯＳＴエージェントでも同様であるし、ＧＥＴコネクターでも同様であるし、ＧＥＴ用エージェントおよびＧＥＴエージェントの組み合わせでも同様である。

ＰＯＳＴコネクター２２は、情報システム２１に対してデータの更新を監視している。ＰＯＳＴコネクター２２は、情報システム２１に対する監視の結果、データの更新を検知した場合に、通常更新パスにおける取得のタイミングであるとき、図４に示すように、データを情報システム２１から通常更新パスで取得して（Ｓ１０１）、取得したデータをパイプラインに通常更新パスで送信する（Ｓ１０２）。

以下においては、Ｓ１０２においてデータを送信したパイプラインがパイプライン４１である場合について説明する。

パイプライン４１は、Ｓ１０２においてデータが送信されてくると、このデータを通常更新パスで処理する（Ｓ１０３）。

次いで、パイプライン４１は、Ｓ１０３における処理後のデータのうち、高速更新パスでの処理が指示されていないデータを通常更新パスでビッグデータ解析部４４に連携させる（Ｓ１０４）。なお、パイプライン４１は、高速更新パスでの処理が指示されている場合であっても、通常更新パスで蓄積したデータを、高速更新パスで蓄積したデータとは別に蓄積する。

ビッグデータ解析部４４は、Ｓ１０４においてパイプライン４１からデータが連携させられると、このデータを、ビッグデータ解析部４４自身が管理しているデータにおいて通常更新パスで更新する（Ｓ１０５）。

次に、ビッグデータ解析部４４によって管理されているデータの高速の更新が利用者によって指示された場合のシステム１０の動作について説明する。

図５は、ビッグデータ解析部４４によって管理されているデータの高速の更新が利用者によって指示された場合のシステム１０の動作のシーケンス図である。

利用者は、ビッグデータ解析部４４によって管理されているデータのうち、高速に更新することを希望するデータの範囲をアプリケーションサービスに指定することが可能である。ここで、指定可能なデータの範囲は、例えば、画像形成装置情報テーブルにおける先頭から２番目の列のデータなど、特定のテーブルにおける列や行の位置によって示される範囲でも良い。また、指定可能なデータの範囲は、例えば、画像形成装置情報テーブルにおけるトナーの残量のデータなど、特定のテーブルにおける属性名によって示される範囲でも良い。また、指定可能なデータの範囲は、例えば、画像形成装置情報テーブルにおける画像形成装置のＩＤが「００００１」に関連付けられているデータなど、特定のテーブルにおける任意のユニークキーによって示される範囲でも良い。

アプリケーションサービス５１は、ビッグデータ解析部４４によって管理されているデータのうち、高速に更新するデータの範囲が利用者から指定されると、図５に示すように、この範囲を管理ＡＰＩ６５に通知する（Ｓ１２１）。ここで、アプリケーションサービス５１は、データの高速の更新の開始時間が利用者から指定された場合、この開始時間も管理ＡＰＩ６５に通知する。また、アプリケーションサービス５１は、データの高速の更新の終了時間が利用者から指定された場合、この終了時間も管理ＡＰＩ６５に通知する。また、アプリケーションサービス５１は、データの高速の更新の頻度が利用者から指定された場合、この頻度も管理ＡＰＩ６５に通知する。

管理ＡＰＩ６５は、Ｓ１２１の通知を受けると、Ｓ１２１において通知された、高速に更新するデータの範囲を、パイプライン・オーケストレーター６１に通知する（Ｓ１２２）。ここで、管理ＡＰＩ６５は、Ｓ１２１においてデータの高速の更新の開始時間が通知されている場合、この開始時間もパイプライン・オーケストレーター６１に通知する。また、管理ＡＰＩ６５は、Ｓ１２１においてデータの高速の更新の終了時間が通知されている場合、この終了時間もパイプライン・オーケストレーター６１に通知する。また、管理ＡＰＩ６５は、Ｓ１２１においてデータの高速の更新の頻度が通知されている場合、この頻度もパイプライン・オーケストレーター６１に通知する。

パイプライン・オーケストレーター６１は、Ｓ１２２の通知を受けると、Ｓ１２２において通知された範囲のデータの更新を高速更新パスで処理することを、ビッグデータ解析部４４に指示する（Ｓ１２３）。なお、パイプライン・オーケストレーター６１は、Ｓ１２２においてデータの高速の更新の開始時間が通知されている場合、Ｓ１２２において通知された開始時間に到達したときに、Ｓ１２３の処理を実行する。

ビッグデータ解析部４４は、Ｓ１２３の指示を受けると、ビッグデータ解析部４４自身が管理しているデータのうち、Ｓ１２３において指定された範囲に対するメタデータに、高速の更新の対象であることを設定する（Ｓ１２４）。

次いで、ビッグデータ解析部４４は、Ｓ１２３において指示された範囲のデータの更新を高速更新パスで開始する（Ｓ１２５）。

パイプライン・オーケストレーター６１は、Ｓ１２３の処理の後、Ｓ１２２において通知された範囲のデータの更新を高速更新パスで処理することを、このデータを蓄積するパイプラインに指示する（Ｓ１２６）。図５では、Ｓ１２６における指示の対象のパイプラインがパイプライン４１である例について描かれている。

パイプライン４１は、Ｓ１２６の指示を受けると、Ｓ１２６において指示された範囲のデータの更新を高速更新パスで開始する（Ｓ１２７）。なお、パイプライン４１は、Ｓ１２６において指示された範囲のデータを含め、パイプライン４１自身が蓄積する全てのデータについて、通常更新パスでの更新も継続する。

パイプライン・オーケストレーター６１は、Ｓ１２３の処理の後、Ｓ１２２において通知された範囲のデータの更新を高速更新パスで処理することを、このデータを情報システムから取得するコネクターまたはエージェントに指示する（Ｓ１２８）。例えば、Ｓ１２８における指示の対象のコネクターまたはエージェントは、ＰＯＳＴコネクターでも良いし、ＰＯＳＴエージェントでも良いし、ＧＥＴコネクターでも良いし、ＧＥＴ用エージェントおよびＧＥＴエージェントの組み合わせでも良い。図５では、Ｓ１２８における指示の対象のコネクターまたはエージェントがＰＯＳＴコネクター２２である例について描かれている。以下においては、コネクターまたはエージェントの例としてＰＯＳＴコネクター２２について説明するが、ＰＯＳＴコネクター２２以外のＰＯＳＴコネクターでも同様であるし、ＰＯＳＴエージェントでも同様であるし、ＧＥＴコネクターでも同様であるし、ＧＥＴ用エージェントおよびＧＥＴエージェントの組み合わせでも同様である。ここで、パイプライン・オーケストレーター６１は、Ｓ１２２においてデータの高速の更新の頻度が通知されている場合、Ｓ１２２において通知された範囲のデータの更新を高速更新パスで、Ｓ１２２において通知された頻度で処理することを、このデータを情報システムから取得するコネクターまたはエージェントにＳ１２８において指示する。

ＰＯＳＴコネクター２２は、Ｓ１２８の指示を受けると、Ｓ１２８において指示された範囲のデータの更新を高速更新パスで開始する（Ｓ１２９）。ここで、ＰＯＳＴコネクター２２は、Ｓ１２８において頻度が指示されている場合、Ｓ１２８において指示された範囲のデータの更新を高速更新パスで、Ｓ１２８において通知された頻度で開始する。なお、ＰＯＳＴコネクター２２は、Ｓ１２８において指示された範囲のデータを含め、ＰＯＳＴコネクター２２が情報システム２１から取得する全てのデータについて、通常更新パスでの更新も継続する。

以上においては、利用者が、ビッグデータ解析部４４によって管理されているデータのうち、高速に更新することを希望するデータの範囲をアプリケーションサービス５１に指定した場合の動作について説明している。しかしながら、利用者が、ビッグデータ解析部４４によって管理されているデータのうち、高速に更新することを希望するデータの範囲をアプリケーションサービス５１以外のアプリケーションサービスに指定した場合の動作についても同様である。また、利用者が、ビッグデータ解析部４４によって管理されているデータのうち、高速に更新することを希望するデータの範囲をＡＰＩプラットフォーム５２に指定した場合の動作についても、アプリケーションサービス５１に代わってＡＰＩプラットフォーム５２が動作すること以外、同様である。

次に、ビッグデータ解析部４４によって管理されているデータを高速更新パスで更新する場合のシステム１０の動作について説明する。

図６は、ビッグデータ解析部４４によって管理されているデータを高速更新パスで更新する場合のシステム１０の動作のシーケンス図である。

ＰＯＳＴコネクター２２は、情報システム２１に対してデータの更新を監視している。ＰＯＳＴコネクター２２は、情報システム２１に対する監視の結果、Ｓ１２６において指示された範囲のデータの更新を検知した場合に、高速更新パスにおける取得のタイミングであるとき、図６に示すように、Ｓ１２６において指示された範囲のデータを情報システム２１から高速更新パスで取得して（Ｓ１４１）、取得したデータをパイプラインに高速更新パスで送信する（Ｓ１４２）。

以下においては、Ｓ１４２においてデータを送信したパイプラインがパイプライン４１である場合について説明する。

パイプライン４１は、Ｓ１４２においてデータが送信されてくると、このデータを高速更新パスで処理して（Ｓ１４３）、Ｓ１４３における処理後のデータを高速更新パスでビッグデータ解析部４４に連携させる（Ｓ１４４）。

ビッグデータ解析部４４は、Ｓ１４４においてパイプライン４１からデータが連携させられると、このデータを、ビッグデータ解析部４４自身が管理しているデータにおいて高速更新パスで更新する（Ｓ１４５）。

次に、ビッグデータ解析部４４によって管理されているデータの高速の更新を終了する場合のシステム１０の動作について説明する。

図７は、ビッグデータ解析部４４によって管理されているデータの高速の更新を終了する場合のシステム１０の動作のシーケンス図である。

利用者は、ビッグデータ解析部４４によって管理されているデータの高速の更新の終了をアプリケーションサービス５１に指示することが可能である。

アプリケーションサービス５１は、データの高速の更新の終了が利用者から指定されると、図７に示すように、データの高速の更新の終了を管理ＡＰＩ６５に通知する（Ｓ１６１）。

管理ＡＰＩ６５は、Ｓ１６１の通知を受けると、ビッグデータ解析部４４によって管理されているデータの高速の更新の終了を、パイプライン・オーケストレーター６１に通知する（Ｓ１６２）。

パイプライン・オーケストレーター６１は、Ｓ１６２の通知を受けると、データの高速の更新の終了をビッグデータ解析部４４に指示する（Ｓ１６３）。

ビッグデータ解析部４４は、Ｓ１６３の指示を受けると、ビッグデータ解析部４４自身が管理しているデータのうち、メタデータによって識別される、高速の更新の対象であった範囲のデータに関して、通常更新パスでパイプライン４１に蓄積された最新のデータをパイプライン４１から取得する（Ｓ１６４）。

次いで、ビッグデータ解析部４４は、ビッグデータ解析部４４自身が管理しているデータのうち、メタデータによって識別される、高速の更新の対象であった範囲のデータを、Ｓ１６４において取得したデータで上書きする（Ｓ１６５）。

次いで、ビッグデータ解析部４４は、ビッグデータ解析部４４自身が管理しているデータのうち、高速の更新の対象であった範囲に対するメタデータから、高速の更新の対象であることの設定を削除する（Ｓ１６６）。

次いで、ビッグデータ解析部４４は、データを高速更新パスで更新することを終了する（Ｓ１６７）。

パイプライン・オーケストレーター６１は、Ｓ１６３の処理の後、データの高速の更新の終了を、このデータを蓄積するパイプラインに指示する（Ｓ１６８）。図７では、Ｓ１６８における指示の対象のパイプラインがパイプライン４１である例について描かれている。

パイプライン４１は、Ｓ１６８の指示を受けると、データを高速更新パスで更新することを終了する（Ｓ１６９）。

パイプライン・オーケストレーター６１は、Ｓ１６３の処理の後、データの高速の更新の終了を、このデータを情報システムから取得するコネクターまたはエージェントに指示する（Ｓ１７０）。例えば、Ｓ１７０における指示の対象のコネクターまたはエージェントは、ＰＯＳＴコネクターでも良いし、ＰＯＳＴエージェントでも良いし、ＧＥＴコネクターでも良いし、ＧＥＴ用エージェントおよびＧＥＴエージェントの組み合わせでも良い。図７では、Ｓ１７０における指示の対象のコネクターまたはエージェントがＰＯＳＴコネクター２２である例について描かれている。以下においては、コネクターまたはエージェントの例としてＰＯＳＴコネクター２２について説明するが、ＰＯＳＴコネクター２２以外のＰＯＳＴコネクターでも同様であるし、ＰＯＳＴエージェントでも同様であるし、ＧＥＴコネクターでも同様であるし、ＧＥＴ用エージェントおよびＧＥＴエージェントの組み合わせでも同様である。

ＰＯＳＴコネクター２２は、Ｓ１７０の指示を受けると、データを高速更新パスで更新することを終了する（Ｓ１７１）。

以上においては、利用者が、ビッグデータ解析部４４によって管理されているデータの高速の更新の終了をアプリケーションサービス５１に指定した場合の動作について説明している。しかしながら、利用者が、ビッグデータ解析部４４によって管理されているデータの高速の更新の終了をアプリケーションサービス５１以外のアプリケーションサービスに指定した場合の動作についても同様である。また、利用者が、ビッグデータ解析部４４によって管理されているデータの高速の更新の終了をＡＰＩプラットフォーム５２に指定した場合の動作についても、アプリケーションサービス５１に代わってＡＰＩプラットフォーム５２が動作すること以外、同様である。

以上においては、ビッグデータ解析部４４によって管理されているデータの高速の更新の終了が利用者から指定された場合について説明している。しかしながら、Ｓ１２１においてデータの高速の更新の終了時間が通知されている場合に、この終了時間に到達した場合にも、Ｓ１６３～Ｓ１７１の処理が実行される。

以上に説明したように、データ連携システム３０は、データを特定の頻度で更新する通常更新パスを利用しているデータ収集システムおよびデータ蓄積システム４０に、通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させる（Ｓ１２３、Ｓ１２６およびＳ１２８）ので、データの更新の頻度を変更することができる。

データ連携システム３０は、高速更新パスを利用してデータを更新するので、例えば、画像形成装置のデータをリアルタイムに分析することができ、その分析に基づいたアルゴリズムを作成することができる。例えば、データ連携システム３０は、画像形成装置におけるトナーの消費量の変化の情報を機械学習することによって、画像形成装置におけるトナーの消費量を予測するアルゴリズムを作成することができる。

データ連携システム３０は、データ収集システムおよびデータ蓄積システム４０に高速更新パスを一時的に利用させるので、データ収集システムおよびデータ蓄積システム４０に常に高速更新パスのみを利用させる構成と比較して、情報システムに対する負荷を抑えることができる。

データ連携システム３０は、データ蓄積システム４０に蓄積されているデータのうちの一部の特定のデータのみに対してデータ収集システムおよびデータ蓄積システム４０に高速更新パスを利用させるので、データ蓄積システム４０に蓄積されている全てのデータに対してデータ収集システムおよびデータ蓄積システム４０に高速更新パスを利用させる構成と比較して、データの更新のコストを抑えることができる。

データ連携システム３０は、特定のデータに対してデータ収集システムおよびデータ蓄積システム４０が高速更新パスを利用している場合に、このデータに対してデータ収集システムおよびデータ蓄積システム４０が通常更新パスも利用し、データ蓄積システム４０が高速更新パスの利用を終了する場合（Ｓ１６７）に、データ蓄積システムが特定のデータを通常更新パスで取得された最新のデータに更新させる（Ｓ１６５）ので、データ蓄積システム４０に蓄積されている複数のデータに関して、更新された時期を揃えることができ、その結果、データ蓄積システム４０に蓄積されているデータ間の整合性を向上することができる。

２１情報システム
２２ＰＯＳＴコネクター（データ収集システム）
２３ＰＯＳＴエージェント（データ収集システム）
２４ＧＥＴ用エージェント（データ収集システム）
３０データ連携システム
４０データ蓄積システム
４２ＧＥＴコネクター（データ収集システム）
４３ＧＥＴエージェント（データ収集システム）
６１パイプライン・オーケストレーター（更新頻度変更システム）

Claims

情報システムが保持しているデータを収集するデータ収集システムと、
前記データ収集システムによって収集された前記データを蓄積するデータ蓄積システムと、
前記データ蓄積システムによって蓄積されている前記データの更新の頻度を変更する更新頻度変更システムと
を備え、
前記更新頻度変更システムは、前記データ蓄積システムによって蓄積されている前記データを特定の頻度で更新する通常更新パスを利用している前記データ収集システムおよび前記データ蓄積システムに、前記データ蓄積システムによって蓄積されている前記データを前記通常更新パスより高頻度で更新する高速更新パスを一時的に利用させ、
前記更新頻度変更システムは、前記データ蓄積システムに蓄積されている前記データのうちの一部の特定のデータのみに対して前記データ収集システムおよび前記データ蓄積システムに前記高速更新パスを利用させ、
前記データ収集システムおよび前記データ蓄積システムは、前記特定のデータに対して前記高速更新パスを利用する場合に、前記特定のデータに対して前記通常更新パスも利用し、
前記データ蓄積システムは、前記高速更新パスの利用を終了する場合に、前記特定のデータを前記通常更新パスで取得された最新のデータに更新することを特徴とするデータ連携システム。