JP7159552B2 - データ出力プログラム、装置、及び方法 - Google Patents

Description

本発明は、データ出力プログラム、データ出力装置、及びデータ出力方法に関する。

従来、データ群の中から、用途に応じた所定の条件を満たすデータを特定し、その用途に用いることが行われている。このようなデータとしては、例えば、システムのテストを行う場合のテストデータや、システム稼動時の異常をアノマリ検知するための参照データなどが挙げられる。

上記のように、用途に応じたデータを用いる技術に関連して、様々な技術が提案されている。例えば、システムの状況を判断するコンピュータに適用される方法が提案されている。この方法は、システム中の複数の計測対象からそれぞれ計測データを受け取るステップと、各計測対象の複数の属性に対応する複数の分類に従い、各計測データと予め定められた演算アルゴリズムとに基づいて複数の異常値の集合を演算するステップとを含む。また、この方法は、複数の異常値の集合と予め定められた判断アルゴリズムとに基づいて、システムの状況を判断するステップを含む。

また、外部ネットワーク及びＬＡＮと、情報処理装置との間に介在し、情報処理装置を不正な侵入から保護する学習型のネットワークセキュリティ装置が提案されている。この装置は、情報処理装置とＬＡＮとの間で授受される現行パケットを取り込むネットワークサービスポートの他に、学習ポートを設けている。また、この装置は、現行パケットの監視処理及び学習と並行して、過去にＬＡＮから捕捉されてパケット蓄積装置に蓄積された蓄積パケットを、学習ポートを介してネットワークセキュリティ装置に取り込んで学習する。

国際公開２０１２／０９０７１８号 特開２００７－０９６７３５号公報

例えば、上記のテストデータとしては、実際にシステムで使用された実データを用いることが考えられる。また、上記のアノマリ検知のための参照データとしては、正常なデータ又は異常なデータとして既知のデータを用いることが考えられる。このような実データや既知のデータでは、テストデータや参照データとして必要なデータが漏れている可能性がある。

一つの側面として、所定の用途に使用するデータを出力する際に、必要なデータの出力漏れを低減することを目的とする。

一つの態様として、所定の条件を満たすことが既知の既知データを受け付ける。そして、前記既知データとは異なる複数のデータから、前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方を、前記既知データと共に所定の用途に使用するための候補データとして抽出し、抽出した候補データを出力する。

一つの側面として、所定の用途に使用するデータを出力する際に、必要なデータの出力漏れを低減することができる、という効果を有する。

第１実施形態に係るデータ出力装置の機能ブロック図である。 実データ群に追加するデータを説明するための図である。 網羅データの作成を説明するための図である。 候補データの抽出を説明するための図である。 候補データの抽出を説明するための図である。 追加可否確認画面の一例を示す図である。 出力されるテストデータ群の一例を示す図である。 出力されるテストデータ群をツリー構造で表した図である。 第１実施形態に係るデータ出力装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態におけるデータ出力処理の一例を示すフローチャートである。 第２実施形態に係るデータ出力装置の機能ブロック図である。 出力するアノマリ検知データを説明するための図である。 第２実施形態に係るデータ出力装置として機能するコンピュータの概略構成を示すブロック図である。 第２実施形態におけるデータ出力処理の一例を示すフローチャートである。 第３実施形態に係るデータ出力装置の機能ブロック図である。 数値の項目の値を区間毎に区切る統計的手法の一例を説明するための図である。 実データの統計的分析結果の一例を示す図である。 第３実施形態に係るデータ出力装置として機能するコンピュータの概略構成を示すブロック図である。 第３実施形態におけるデータ出力処理の一例を示すフローチャートである。 第４実施形態に係るデータ出力装置の機能ブロック図である。 相関ルールの評価値の算出を説明するための図である。 第４実施形態に係るデータ出力装置として機能するコンピュータの概略構成を示すブロック図である。 第４実施形態におけるデータ出力処理の一例を示すフローチャートである。

以下、図面を参照して、本発明の実施形態の一例を詳細に説明する。

＜第１実施形態＞
第１実施形態では、システム改修後のテストに用いるテストデータ群を出力するデータ出力装置について説明する。

図１に示すように、第１実施形態に係るデータ出力装置１０には、システム改修前に実際にシステムに入力され実データ群が入力される。また、データ出力装置１０からは、実データ群に、実データ群に含まれるデータ以外のデータが追加されたテストデータ群が出力される。なお、実データ群は、本発明の既知データの一例である。

ここで、図２を参照して、実データ群に追加するデータの考え方について説明する。

システムのテストを漏れなく行うためには、データの各項目が取り得る値の全ての組み合わせからなる網羅データを用いることが理想である。しかし、網羅データは非常に膨大であるため、網羅データをテストデータとして用いることは、効率面で現実的ではない。

一方、実データをテストデータとすることを考える。この場合、改修後のシステムにおいて、改修前のシステムに入力された実データをテストデータとして用いたテストを行うだけでは、十分でない場合がありえる。

そこで、本実施形態では、網羅データと実データ群との差分のデータ群から、実データを基準として、テストデータに追加する候補データを抽出し、抽出した候補データからユーザにより選択された候補データを、実データに加えてテストデータ群として出力する。

データ出力装置１０は、機能的には、図１に示すように、受付部１１と、作成部１２と、抽出部１３と、提示部１４と、出力部１５とを含む。なお、作成部１２及び抽出部１３は、本発明の抽出部の一例である。

受付部１１は、データ出力装置１０に入力された実データ群を受け付け、作成部１２及び出力部１５へ受け渡す。

作成部１２は、受付部１１から受け渡された実データ群に基づいて、網羅データを作成する。例えば、作成部１２は、図３の左図に示すような実データ群から、図３の右図に示すような網羅データを作成する。なお、図３の例では、各データは、「Ｔｙｐｅ」、「ＩＤ」、及び「Ｎａｍｅ」の３つの項目を持つ例を示している。また、項目「Ｔｙｐｅ」の値には、「Ｂｕｙ」、「Ｓｅｌｌ」、及び「Ｏｔｈ」の３種類が存在し、項目「ＩＤ」の値には、「０１」及び「０２」の２種類が存在し、項目「Ｎａｍｅ」の値には、「Ａ」及び「Ｂ」の２種類が存在する。したがって、網羅データには、各項目の取り得る値の全ての組み合わせとして、３×２×２＝１２個のデータが含まれる。図３では、後段の説明のため、網羅データに含まれる各データに番号を付与している。

抽出部１３は、網羅データと実データ群との差分のデータ群から、実データと類似するデータを候補データとして抽出する。具体的には、抽出部１３は、差分のデータ群に含まれるデータの各々について、そのデータと類似するデータが実データ群に網羅的に存在する場合に、そのデータを候補データとして抽出する。より具体的には、抽出部１３は、データのＭ個の項目をワイルドカード（＊）とした探索用データを、ワイルドカードとする項目を異ならせた全てのパターンについて作成する。そして、抽出部１３は、探索用データの全てが、実データ群に含まれる実データのいずれかと一致する場合に、対象のデータと実データとが類似していると判断する。

例えば、図３の右図に示す網羅データのうち、差分のデータ群（４、５、６、９、１０、１２番のデータ）に含まれるデータのうち、４番の＜Ｂｕｙ，０２，Ｂ＞について考える。ここでは、Ｍ＝１の探索用データを作成する場合について説明する。図４に示すように、＜Ｂｕｙ，０２，Ｂ＞からは、＜＊，０２，Ｂ＞、＜Ｂｕｙ，＊，Ｂ＞、及び＜Ｂｕｙ，０２，＊＞が探索用データとして作成される。この場合、いずれの探索用データも、一致する実データが実データ群に存在するため、＜Ｂｕｙ，０２，Ｂ＞は、候補データとして抽出される。

一方、図５に示すように、５番の＜Ｓｅｌｌ，０１，Ａ＞からは、＜＊，０１，Ａ＞、＜Ｓｅｌｌ，＊，Ａ＞、及び＜Ｓｅｌｌ，０１，＊＞が探索用データとして作成される。この場合、探索用データ＜Ｓｅｌｌ，０１，＊＞に一致する実データが実データ群に存在しないため、＜Ｓｅｌｌ，０１，Ａ＞は、候補データとして抽出されない。

なお、本実施形態では、あるデータから作成される全ての探索用データが実データと一致する場合に、そのデータを候補データとして抽出する場合について説明するが、これに限定されない。例えば、あるデータから作成されたＬ個の探索用データのうちのＮ個の探索用データが実データと一致する場合に、そのデータを候補データとして抽出してもよい。Ｎは、例えば、Ｌ×０．８個や、Ｌ－１個などとすることができる。

抽出部１３は、抽出した候補データを提示部１４へ受け渡す。

提示部１４は、抽出部１３から受け渡された候補データを表示装置に表示するなどしてユーザに提示し、その候補データをテストデータに追加するか否かを示す追加可否情報を受け付ける。例えば、提示部１４は、図６に示すような追加可否確認画面２１を表示装置に表示する。図６の例では、追加可否確認画面２１には、抽出された候補データが表示される候補データ領域２２、候補データを選択するためのチェックボックス２３、及び追加可否情報を確定する際に選択される確定ボタン２４が含まれる。確定ボタン２４が選択されると、提示部１４は、追加可否情報を受け付ける。追加可否情報は、チェックされたチェックボックス２３に対応する候補データをテストデータに追加し、チェックされていないチェックボックス２３に対応する候補データはテストデータに追加しないことを示す情報である。

提示部１４は、追加可否情報に基づいて、追加する候補データを特定し、出力部１５へ受け渡す。

出力部１５は、受付部１１から受け渡された実データ群と、提示部１４から受け渡された候補データとをあわせて、テストデータ群として出力する。図７に、出力されるテストデータ群の一例を示す。また、図８に、出力されるテストデータ群を、項目毎に階層化し、各項目の値をノードとし、各データの値に対応するノードをエッジで接続したツリー構造で表した図を示す。図８では、元の実データ群を実線のノード及びエッジで表し、追加されたデータを点線で表している。また、追加されたデータに類似する元の実データに対応するノードを網掛けのノードで表している。図７及び図８に示すように、元の実データを基準として、実データに類似するデータが追加されたテストデータ群が出力される。

データ出力装置１０は、例えば図９に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力装置、表示装置等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５と、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６とを備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、データ出力装置１０として機能させるためのデータ出力プログラム５０が記憶される。データ出力プログラム５０は、受付プロセス５１と、作成プロセス５２と、抽出プロセス５３と、提示プロセス５４と、出力プロセス５５とを有する。

ＣＰＵ４１は、データ出力プログラム５０を記憶部４３から読み出してメモリ４２に展開し、データ出力プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、受付プロセス５１を実行することで、図１に示す受付部１１として動作する。また、ＣＰＵ４１は、作成プロセス５２を実行することで、図１に示す作成部１２として動作する。また、ＣＰＵ４１は、抽出プロセス５３を実行することで、図１に示す抽出部１３として動作する。また、ＣＰＵ４１は、提示プロセス５４を実行することで、図１に示す提示部１４として動作する。また、ＣＰＵ４１は、出力プロセス５５を実行することで、図１に示す出力部１５として動作する。これにより、データ出力プログラム５０を実行したコンピュータ４０が、データ出力装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

なお、データ出力プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、第１実施形態に係るデータ出力装置１０の作用について説明する。

データ出力装置１０に実データ群が入力され、テストデータ群の出力が指示されると、データ出力装置１０において、図１０に示すデータ出力処理が実行される。なお、データ出力処理は、本発明のデータ出力方法の一例である。

ステップＳ１１で、受付部１１が、データ出力装置１０に入力された実データ群を受け付け、作成部１２及び出力部１５へ受け渡す。

次に、ステップＳ１２で、作成部１２が、受付部１１から受け渡された実データ群に基づいて、網羅データを作成する。

次に、ステップＳ１３で、抽出部１３が、網羅データと実データ群との差分のデータ群から、未選択のデータを１つ選択する。

次に、ステップＳ１４で、抽出部１３が、選択したデータに類似する実データが実データ群に存在するか否かを判定する。具体的には、抽出部１３は、選択したデータのＭ個の項目をワイルドカード（＊）とした探索用データを、ワイルドカードとする項目を異ならせた全てのパターンについて作成する。そして、抽出部１３は、探索用データの全てが、実データ群に含まれる実データのいずれかと一致する場合に、選択したデータと実データとが類似していると判断する。選択したデータに類似する実データが存在する場合には、処理はステップＳ１５へ移行し、存在しない場合には、処理はステップＳ１６へ移行する。

ステップＳ１５では、抽出部１３が、上記ステップＳ１３で選択したデータを候補データとして抽出する。

次に、ステップＳ１６で、抽出部１３が、網羅データと実データ群との差分のデータ群に未選択のデータが存在するか否かを判定する。未選択のデータが存在する場合には、処理はステップＳ１３に戻り、全てのデータを選択済みの場合には、処理はステップＳ１７へ移行する。

ステップＳ１７では、抽出部１３が、上記ステップＳ１５で抽出した候補データを提示部１４へ受け渡す。そして、提示部１４が、抽出部１３から受け渡された候補データを表示装置に表示するなどしてユーザに提示する。

次に、ステップＳ１８で、提示部１４が、上記ステップＳ１７で提示した候補データをテストデータに追加するか否かを示す追加可否情報を受け付ける。提示部１４は、追加可否情報に基づいて、追加する候補データを特定し、出力部１５へ受け渡す。

次に、ステップＳ１９で、出力部１５が、上記ステップＳ１１で受付部１１から受け渡された実データ群と、上記ステップＳ１８で提示部１４から受け渡された候補データとをあわせて、テストデータ群として出力する。そして、データ出力処理は終了する。

以上説明したように、第１実施形態におけるデータ出力装置１０によれば、網羅データと実データ群との差分のデータ群から、実データに類似する候補データを抽出する。そして、抽出した候補データからユーザにより選択された候補データと、実データとを合わせてテストデータ群として出力する。これにより、システム改修後のテストに用いるテストデータ群を出力する際に、必要なテストデータの出力漏れを低減することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係るデータ出力装置において、第１実施形態に係るデータ出力装置１０と同様の部分については、同一符号を付して、詳細な説明を省略する。

第２実施形態では、システムに入力されるデータの異常を検知するためのアノマリ検知データを出力するデータ出力装置について説明する。

図１１に示すように、第２実施形態に係るデータ出力装置２１０には、入力データが入力される。また、データ出力装置２１０は、入力データの異常パターンとして既に判明しているデータがアノマリ検知データとして記憶されたアノマリデータベース（ＤＢ）１７と接続されている。そして、データ出力装置２１０からは、アノマリＤＢ１７に未登録のアノマリ検知データが出力される。なお、アノマリＤＢ１７に記憶されたアノマリ検知データは、本発明の既知データの一例である。

ここで、図１２を参照して、第２実施形態で出力するアノマリ検知データの考え方について説明する。

既に判明しているアノマリ検知データと、入力データとを比較することにより、入力データが異常であるか否かを判定することができるが、未知の異常パターンが存在する可能性を考慮すると、既知のアノマリ検知データだけで十分とは言えない。

そこで、本実施形態では、既知のアノマリ検知データと一致しない入力データが、既知のアノマリ検知データと類似する場合に、その入力データを候補データとして抽出する。そして、抽出した候補データからユーザにより選択された候補データを、アノマリＤＢ１７を更新するための新たなアノマリ検知データとして出力する。

データ出力装置２１０は、機能的には、図１１に示すように、受付部２１１と、判定部１６と、抽出部２１３と、提示部１４と、出力部２１５とを含む。なお、判定部１６及び抽出部２１３は、本発明の抽出部の一例である。

受付部２１１は、データ出力装置２１０に入力された入力データを受け付け、判定部１６へ受け渡す。

判定部１６は、受付部２１１から受け渡された入力データが、アノマリＤＢ１７に記憶されたいずれのかのアノマリ検知データと一致するか否かに基づいて、入力データが異常か否かを判定する。判定部１６は、入力データがいずれかのアノマリ検知データと一致する場合には、入力データが異常であると判定して、表示装置へアラートメッセージを表示するなどして、ユーザへ異常を通知する。また、判定部１６は、入力データがいずれのアノマリ検知データにも一致しない場合には、入力データは正常であると判定して、入力データを抽出部２１３へ受け渡す。

抽出部２１３は、既知のアノマリ検知データと比較した結果の類似度が所定値以上の入力データを候補データとして抽出する。入力データが既知のアノマリ検知データに類似するか否かは、第１実施形態における抽出部１３と同様に、入力データのＭ個の項目をワイルドカード（＊）とした探索用データが、アノマリＤＢ１７に網羅的に存在するか否かにより判定する。

出力部２１５は、提示部１４から受け渡された候補データを、新たなアノマリ検知データとして出力し、アノマリＤＢ１７に追加する。

データ出力装置２１０は、例えば図１３に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、データ出力装置２１０として機能させるためのデータ出力プログラム２５０が記憶される。データ出力プログラム２５０は、受付プロセス２５１と、判定プロセス５６と、抽出プロセス２５３と、提示プロセス５４と、出力プロセス２５５とを有する。

ＣＰＵ４１は、データ出力プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、データ出力プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、受付プロセス２５１を実行することで、図１１に示す受付部２１１として動作する。また、ＣＰＵ４１は、判定プロセス５６を実行することで、図１１に示す判定部１６として動作する。また、ＣＰＵ４１は、抽出プロセス２５３を実行することで、図１１に示す抽出部２１３として動作する。また、ＣＰＵ４１は、提示プロセス５４を実行することで、図１１に示す提示部１４として動作する。また、ＣＰＵ４１は、出力プロセス２５５を実行することで、図１１に示す出力部２１５として動作する。これにより、データ出力プログラム２５０を実行したコンピュータ４０が、データ出力装置２１０として機能することになる。

なお、データ出力プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第２実施形態に係るデータ出力装置２１０の作用について説明する。

システム稼動時に、データ出力装置２１０に入力データが入力されると、データ出力装置２１０において、図１４に示すデータ出力処理が実行される。

ステップＳ２１で、受付部２１１が、データ出力装置２１０に入力された入力データを受け付け、判定部１６へ受け渡す。

次に、ステップＳ２２で、判定部１６が、受付部２１１から受け渡された入力データが、アノマリＤＢ１７に記憶されたいずれのかのアノマリ検知データと一致するか否かに基づいて、入力データが異常か否かを判定する。入力データがいずれかのアノマリ検知データと一致する場合には、処理はステップＳ２３へ移行し、入力データがいずれのアノマリ検知データにも一致しない場合には、処理はステップＳ２４へ移行する。

ステップＳ２３では、判定部１６が、表示装置へアラートメッセージを表示するなどして、ユーザへ異常を通知する。

ステップＳ２４では、判定部１６が、入力データは正常であると判定して、入力データを抽出部２１３へ受け渡す。そして、抽出部２１３が、判定部１６から受け渡された入力データが既知のアノマリ検知データに類似するか否かを判定する。類似する場合には、処理はステップＳ１５へ移行し、類似しない場合には、データ出力処理を終了する。

ステップＳ１５～Ｓ１７で、第１実施形態におけるデータ出力処理と同様に、入力データを候補データとして抽出し、抽出した候補データをユーザに提示し、追加可否情報を受け付ける。提示部１４は、追加可否情報に基づいて、候補データをアノマリＤＢ１７に追加する場合、追加指示と共に候補データを出力部２１５へ受け渡す。

次に、ステップＳ２９で、出力部２１５が、提示部１４から受け渡された候補データを、新たなアノマリ検知データとして出力し、アノマリＤＢ１７に追加する。そして、データ出力処理は終了する。

以上説明したように、第２実施形態におけるデータ出力装置２１０によれば、既知のアノマリ検知データと一致しなかった入力データが既知のアノマリ検知データに類似する場合、その入力データを候補データとして抽出する。そして、抽出した候補データからユーザにより選択された候補データを出力し、既知のアノマリ検知データに追加する。これにより、入力データの異常を検知するためのアノマリ検知データを出力する際に、今後入力される入力データに未知の異常パターンが含まれる場合を考慮して、必要なアノマリ検知データの出力漏れを低減することができる。

＜第３実施形態＞
次に、第３実施形態について説明する。なお、第３実施形態に係るデータ出力装置において、第１実施形態に係るデータ出力装置１０と同様の部分については、同一符号を付して、詳細な説明を省略する。

第３実施形態では、第１実施形態と同様に、システム改修後のテストに用いるテストデータ群を出力するデータ出力装置について説明する。

図１５に示すように、データ出力装置３１０は、機能的には、受付部１１と、抽出部３１３と、提示部１４と、出力部１５とを含む。

抽出部３１３は、実データ群を統計的に分析した結果から、実データ群に加えてテストデータとする候補データを抽出する。具体的には、抽出部３１３は、実データにおいて数値の項目の値の統計的分布において、出現頻度が低い値のデータを補完するように、候補データを抽出する。

より具体的には、抽出部３１３は、実データにおける数値の項目の値を、統計的手法により、所定の区間に区切る。統計的手法としては、例えば、等差や等量を用いることができる。等差による区間は、図１６の上図に示すように、数値の項目の値に対して、昇順又は降順に付与したランキングが、１区間に一定数ずつ含まれるように区切られる。また、等量による区間は、図１６の下図に示すように、数値の項目の最小値から最大値までが、値の大きさが等しくなるように区切られる。

例えば、抽出部３１３は、図１７に示すように、設定ファイルを用いて、実データから統計的分析結果を示す中間ファイルを得る。図１７の例では、設定ファイルにおいて、数値の項目を指定する項目番号（図１７の例では「２」）と、等差及び等量の指示（図１７の例では「ｒａｎｋ」及び「ｅｑｕｉｖａｌｅｎｃｅ」）とが指示される。また、設定ファイルでは、全体を何区間に区切るかを示すパラメータ（図１７の例では「３」及び「４」）も指示される。また、中間ファイルには、少なくとも、各区間に属する値の個数の情報が含まれる。抽出部３１３は、この各区間の値の個数が、所定の下限値以下の区間に属する値を持つデータを候補データとして作成する。該当の区間に属する値は、ランダムに決定してもよいし、予め定めたルール（例えば、その区間の最大値、最小値、中央値等）で決定してもよい。また、作成する候補データの数値以外の項目の値は、実データに存在する値から、ランダムに選択したり、出現頻度が最も高い値を選択したりすればよい。

例えば、図１７に示す中間ファイルにおいて、出現頻度が０の区間（図１７中の破線部）から候補データを作成する場合、＜１０００，Ａ，３００００，１００＞や＜１０００，Ａ，６００００，１００＞のような候補データを作成することができる。なお、作成する候補データの数は１個に限定されず、他の区間に属する値の個数の平均や最小値などを基準に適宜設定すればよい。

データ出力装置３１０は、例えば図１８に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、データ出力装置３１０として機能させるためのデータ出力プログラム３５０が記憶される。データ出力プログラム３５０は、受付プロセス５１と、抽出プロセス３５３と、提示プロセス５４と、出力プロセス５５とを有する。

ＣＰＵ４１は、データ出力プログラム３５０を記憶部４３から読み出してメモリ４２に展開し、データ出力プログラム３５０が有するプロセスを順次実行する。ＣＰＵ４１は、抽出プロセス３５３を実行することで、図１５に示す抽出部３１３として動作する。他のプロセスについては、第１実施形態におけるデータ出力プログラム５０と同様である。これにより、データ出力プログラム３５０を実行したコンピュータ４０が、データ出力装置３１０として機能することになる。

なお、データ出力プログラム３５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第３実施形態に係るデータ出力装置３１０の作用について説明する。

データ出力装置３１０に実データ群が入力され、テストデータ群の出力が指示されると、データ出力装置３１０において、図１９に示すデータ出力処理が実行される。なお、データ出力処理は、本発明のデータ出力方法の一例である。

ステップＳ１１で、受付部１１が、実データ群を受け付け、抽出部３１３へ受け渡す。

次に、ステップＳ３５で、抽出部３１３が、実データにおける数値の項目の値を、統計的手法により、所定の区間に区切る。そして、抽出部３１３は、各区間に属する値の個数が、所定の下限値以下の区間に属する値を持つデータを候補データとして作成する。

以下、ステップＳ１７～Ｓ１９で、第１実施形態におけるデータ出力処理と同様に処理し、データ出力処理は終了する。

以上説明したように、第３実施形態におけるデータ出力装置３１０によれば、実データの統計的分布において、出現頻度が低い値のデータを補完するように、候補データを抽出する。これにより、システム改修後のテストに用いるテストデータ群を出力する際に、必要なテストデータの出力漏れを低減することができる。

なお、上記第３実施形態では、数値の項目の値の分布を区切る統計的手法として、等差又は等量を用いる場合について説明したが、これに限定されない。例えば、数値の項目の値の分布を正規分布とみなし、偏差値が±１０（６８．３％）、±２０（９５．４％）、±３０（９９．７３％）、±４０（９９．９９３７％）、及びそれ以上の区間に区切るなどしてもよい。

また、上記第３実施形態において、数値の項目の値の統計的分布において、出現頻度が高い値のデータをテストデータから除外するようにしてもよい。これにより、効率的にテストを行うことができるテストデータを出力することができる。

＜第４実施形態＞
次に、第４実施形態について説明する。なお、第４実施形態に係るデータ出力装置において、第１実施形態に係るデータ出力装置１０と同様の部分については、同一符号を付して、詳細な説明を省略する。

第４実施形態では、第１実施形態と同様に、システム改修後のテストに用いるテストデータ群を出力するデータ出力装置について説明する。

図２０に示すように、データ出力装置４１０は、機能的には、受付部１１と、作成部１２と、抽出部４１３と、評価部１８と、提示部１４と、出力部１５とを含む。なお、作成部１２、抽出部４１３、及び評価部１８は、本発明の抽出部の一例である。

抽出部４１３は、第１実施形態における抽出部１３と同様に、網羅データと実データ群との差分のデータ群から、実データと類似するデータを候補データとして抽出する。この際、抽出部４１３は、実データ群を統計的に分析した結果に基づいて、実データを補完した上で、候補データを抽出する。

具体的には、抽出部４１３は、実データの数値の項目の値の統計的分布において、出現頻度が低い値のデータを実データに追加する。出現頻度が低い値のデータの抽出方法は、第３実施形態における抽出部３１３と同様に、実データにおける数値の項目の値を、統計的手法により、所定の区間に区切り、各区間の値の個数が、所定の下限値以下の区間に属する値を持つデータを抽出すればよい。また、実データに追加する際には、数値以外の項目については、ワイルドカード（＊）を設定すればよい。実データが補完されることにより、実データに類似する候補データを抽出する際に、抽出される候補データの範囲を拡大することができる。

また、抽出部４１３は、抽出した候補データから、実データ群を統計的に分析した結果に基づいて、所定の候補データを除外する。具体的には、抽出部４１３は、実データの数値の項目の値の統計的分布において、出現頻度が高い値の候補データを間引く。より具体的には、抽出部４１３は、実データにおける数値の項目の値を、統計的手法により、所定の区間に区切り、各区間の値の個数が、所定の上限値以上の区間に属する値を持つ候補データから、所定数の候補データを選択して除外する。所定数は、例えば、除外後のその区間の候補データが上述の上限値となる数とすることができる。また、除外する候補データは、ランダムに選択したり、値の大きさ順に所定個間隔で選択したりすればよい。

評価部１８は、抽出部４１３により抽出された候補データの各々について、実データとの予め定めた相関ルールの評価値を算出する。本実施形態における相関ルールとは、既知の実データがテストデータとして存在する場合に、候補データが高い確率でテストデータとして必要なデータである、というものである。相関ルールの評価値として、本実施形態では、実データ群を、候補データの項目のうち、実データと一致した項目を含むグループ（ＬＨＳ）と、不一致の項目を含むグループ（ＲＨＳ）とした場合の信頼度及びリフト値を用いる。信頼度は、候補データが相関ルールにどの程度適応しているかを表す指標であり、リフト値は、ＲＨＳがＬＨＳにおいてどれだけ特殊であるかを示す指標である。いずれの指標も、高いほど、その候補データが相関ルールを満たす候補データである可能性が高いことを示す。以下に、信頼度及びリフト値の一例を示す。

信頼度
＝ＬＨＳ及びＲＨＳの両方の条件を満たす実データ数／ＬＨＳを満たす実データ数
＝（ＬＨＳ∧ＲＨＳ）／ＡＬＬ
リフト値
＝ＬＨＳ全体におけるＲＨＳの出現確率／全実データにおけるＲＨＳの出現確率
＝（（ＬＨＳ∧ＲＨＳ）／ＬＨＳ）／（（ＡＬＬ∧ＲＨＳ）／ＡＬＬ）
（ＡＬＬは実データの全件数）

例えば、図２１の上左の図に示す実データ群に対して、上右の図に示す候補データ＜Ｂｕｙ，０２，Ｂ＞の評価値を算出した例を、図２１の下図に示す。図２１は、候補データ＜Ｂｕｙ，０２，Ｂ＞の項目Ｍ個（ここでは、Ｍ＝１）違いの実データとして、＜Ｂｕｙ，０１，Ｂ＞、＜Ｂｕｙ，０２，Ａ＞、及び＜Ｓｅｌｌ，０２，Ｂ＞の各々について、信頼度及びリフト値を算出した例である。

評価部１８は、候補データ毎に算出した評価値が、所定の閾値未満の候補データを、候補データから除外する。例えば、図２１の例で、信頼度の閾値を０．５、リフト値の閾値を１．０とすると、いずれの信頼度及びリフト値も閾値を超えているため、候補データ＜Ｂｕｙ，０２，Ｂ＞は、除外されることなく、候補データとして採用される。

なお、いずれの信頼度及びリフト値も閾値を超えている場合に、候補データとして採用する場合に限らず、所定割合の信頼度及びリフト値が閾値を越えている場合（例えば、図２１の例では、３件中２件など）に、候補データとして採用するようにしてもよい。このような、候補データとして採用するための条件や、閾値は、候補データをどの程度の数抽出するかに応じて、適宜設定しておけばよい。

データ出力装置４１０は、例えば図２２に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、データ出力装置４１０として機能させるためのデータ出力プログラム４５０が記憶される。データ出力プログラム４５０は、受付プロセス５１と、作成プロセス５２と、抽出プロセス４５３と、評価プロセス５８と、提示プロセス５４と、出力プロセス５５とを有する。

ＣＰＵ４１は、データ出力プログラム４５０を記憶部４３から読み出してメモリ４２に展開し、データ出力プログラム４５０が有するプロセスを順次実行する。ＣＰＵ４１は、抽出プロセス４５３を実行することで、図２０に示す抽出部４１３として動作する。また、ＣＰＵ４１は、評価プロセス５８を実行することで、図２０に示す評価部１８として動作する。他のプロセスについては、第１実施形態におけるデータ出力プログラム５０と同様である。これにより、データ出力プログラム４５０を実行したコンピュータ４０が、データ出力装置４１０として機能することになる。

なお、データ出力プログラム４５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第４実施形態に係るデータ出力装置４１０の作用について説明する。

データ出力装置４１０に実データ群が入力され、テストデータ群の出力が指示されると、データ出力装置４１０において、図２３に示すデータ出力処理が実行される。なお、データ出力処理は、本発明のデータ出力方法の一例である。

ステップＳ１１で、受付部１１が、実データ群を受け付け、作成部１２へ受け渡す。

次に、ステップＳ１２で、作成部１２が、実データ群に基づいて、網羅データを作成する。

次に、ステップＳ４１で、抽出部４１３が、実データにおける数値の項目の値を、統計的手法により、所定の区間に区切り、各区間の値の個数が、所定の下限値以下の区間に属する値を持つデータで、実データを補完する。

次に、ステップＳ１３～Ｓ１６で、抽出部４１３が、第１実施形態におけるデータ出力処理と同様に、候補データを抽出する。

次に、ステップＳ４２で、抽出部４１３が、実データにおける数値の項目の値を、統計的手法により、所定の区間に区切り、各区間の値の個数が、所定の上限値以上の区間に属する値を持つ候補データから、所定数の候補データを選択して除外する。

次に、ステップＳ４３で、評価部１８が、抽出部４１３により抽出された候補データの各々について、実データとの予め定めた相関ルールの評価値を算出する。そして、評価部１８は、算出した評価値が所定の閾値未満の候補データを、候補データから除外する。

以下、ステップＳ１７～Ｓ１９で、第１実施形態におけるデータ出力処理と同様に処理し、データ出力処理は終了する。

以上説明したように、第４実施形態におけるデータ出力装置４１０によれば、抽出された候補データのうち、実データとの予め定めた相関ルールの評価値が所定の閾値以上の候補データを採用する。これにより、テストデータとして必要であることの信頼性が高い候補データをテストデータ群に追加することができ、システム改修後のテストに用いるテストデータ群を出力する際に、必要なテストデータの出力漏れを低減することができる。

なお、第４実施形態では、評価値として、相関ルールの信頼度及びリフト値を用いる場合について説明したが、これに限定されない。候補データが必要なテストデータであることの尤もらしさを評価可能な従来既知の評価手法を用いることができる。

また、上記第１、第３、及び第４の実施形態では、テストデータ群を出力する場合、第２実施形態では、アノマリ検知データを出力する場合について説明したが、これに限定されない。第１、第３、及び第４の実施形態においても、アノマリ検知データを出力する場合に適用することができる。この場合、実データ群と網羅データとの差分のデータ群から候補データを抽出する処理に変えて、入力データを候補データとして抽出するか否かを判定する処理を行えばよい。また、出力するデータは、テストデータやアノマリ検知のための参照データに限定されない。

また、上記各実施形態では、抽出した候補データを一旦ユーザに提示し、ユーザにより選択された候補データを、出力するデータに加える場合について説明したが、これに限定されない。抽出部により抽出された候補データを、そのまま出力するようにしてもよい。

また、上記実施形態では、データ出力プログラム５０、２５０、３５０、４５０が記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
入力データを受け付け、
予め入力データと比較を行う参照データを記憶する記憶部を参照して、受け付けた前記入力データと参照データとを比較して、前記入力データのうち前記参照データと一致しない入力データがある場合には、前記入力データの属性の入力を受け付けて、受け付けた入力結果に基づいて、前記参照データを更新して前記記憶部に記憶するとともに、更新した参照データをパターン解析して参照データとして追加する候補データを出力する、
処理をコンピュータに実行させることを特徴とするデータ出力プログラム。

（付記２）
所定の条件を満たすことが既知の既知データを受け付け、
前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方を、前記既知データに追加する候補データとして抽出し、
抽出した候補データを出力する
処理をコンピュータに実行させることを特徴とするデータ出力プログラム。

（付記３）
前記既知データの各々は、１以上の項目を含み、
前記既知データと、前記項目の値として取り得る組み合わせを含む網羅データとの差分のデータ群から、前記候補データを抽出する
付記２に記載のデータ出力プログラム。

（付記４）
前記候補データとして、前記既知データの統計的分布において、出現頻度が所定の下限値以下の区間に属するデータを抽出する付記２又は付記３に記載のデータ出力プログラム。

（付記５）
前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方のデータから、前記既知データとの予め定めた相関ルールの評価値に基づいて、前記候補データを抽出する付記２～付記４のいずれか１項に記載のデータ出力プログラム。

（付記６）
抽出された前記候補データから、前記既知データの統計的分布において、出現頻度が所定の上限値以上の区間に属するデータの一部を除外する付記２～付記５のいずれか１項に記載のデータ出力プログラム。

（付記７）
前記既知データは、テスト対象のシステムに入力された実データであり、
前記候補データとして、前記実データと共にテストデータとする候補のデータを抽出する
付記２～付記６のいずれか１項記載のデータ出力プログラム。

（付記８）
前記既知データは、入力データと比較を行う参照データとして記憶部に記憶されたデータであり、
前記記憶部を参照して、受け付けた前記入力データと前記参照データとを比較して、前記参照データと一致しない前記入力データから、前記候補データとして、前記参照データに追加する候補のデータを抽出する
付記２～付記６のいずれか１項記載のデータ出力プログラム。

（付記９）
出力した前記候補データに対して、ユーザから前記候補データを前記既知データに追加するか否かの指示を受け付け、
受け付けた前記指示に基づいて、前記候補データを前記既知データに追加するか否かを判定する
付記２～付記８のいずれか１項記載のデータ出力プログラム。

（付記１０）
所定の条件を満たすことが既知の既知データを受け付け受付部と、
前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方を、前記既知データに追加する候補データとして抽出する抽出部と、
抽出した候補データを出力する出力部と、
を含むデータ出力装置。

（付記１１）
前記既知データの各々は、１以上の項目を含み、
前記抽出部は、前記既知データと、前記項目の値として取り得る組み合わせを含む網羅データとの差分のデータ群から、前記候補データを抽出する
付記１０に記載のデータ出力装置。

（付記１２）
前記抽出部は、前記候補データとして、前記既知データの統計的分布において、出現頻度が所定の下限値以下の区間に属するデータを抽出する付記１０又は付記１１に記載のデータ出力装置。

（付記１３）
前記抽出部は、前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方のデータから、前記既知データとの予め定めた相関ルールの評価値に基づいて、前記候補データを抽出する付記１０～付記１２のいずれか１項に記載のデータ出力装置。

（付記１４）
前記抽出部は、抽出された前記候補データから、前記既知データの統計的分布において、出現頻度が所定の上限値以上の区間に属するデータの一部を除外する付記１０～付記１３のいずれか１項に記載のデータ出力装置。

（付記１５）
前記既知データは、テスト対象のシステムに入力された実データであり、
前記抽出部は、前記候補データとして、前記実データと共にテストデータとする候補のデータを抽出する
付記１０～付記１４のいずれか１項記載のデータ出力装置。

（付記１６）
前記既知データは、入力データと比較を行う参照データとして記憶部に記憶されたデータであり、
前記抽出部は、前記記憶部を参照して、受け付けた前記入力データと前記参照データとを比較して、前記参照データと一致しない前記入力データから、前記候補データとして、前記参照データに追加する候補のデータを抽出する
付記１０～付記１４のいずれか１項記載のデータ出力装置。

（付記１７）
出力した前記候補データに対して、ユーザから前記候補データを前記既知データに追加するか否かの指示を受け付ける提示部をさらに含み、
前記出力部は、受け付けた前記指示に基づいて、前記候補データを前記既知データに追加するか否かを判定する
付記１０～付記１６のいずれか１項記載のデータ出力装置。

（付記１８）
所定の条件を満たすことが既知の既知データを受け付け、
前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方を、前記既知データに追加する候補データとして抽出し、
抽出した候補データを出力する
処理をコンピュータが実行することを特徴とするデータ出力方法。

（付記１９）
入力データを受け付ける受付部と、
予め入力データと比較を行う参照データを記憶する記憶部を参照して、受け付けた前記入力データと参照データとを比較して、前記入力データのうち前記参照データと一致しない入力データがある場合には、前記入力データの属性の入力を受け付けて、受け付けた入力結果に基づいて、前記参照データを更新して前記記憶部に記憶するとともに、更新した参照データをパターン解析して参照データとして追加する候補データを出力する出力部と、
を含むデータ出力プログラム。

（付記２０）
入力データを受け付け、
予め入力データと比較を行う参照データを記憶する記憶部を参照して、受け付けた前記入力データと参照データとを比較して、前記入力データのうち前記参照データと一致しない入力データがある場合には、前記入力データの属性の入力を受け付けて、受け付けた入力結果に基づいて、前記参照データを更新して前記記憶部に記憶するとともに、更新した参照データをパターン解析して参照データとして追加する候補データを出力する、
処理をコンピュータが実行することを特徴とするデータ出力方法。

１０、２１０、３１０、４１０ データ出力装置
１１、２１１ 受付部
１２ 作成部
１３、２１３、３１３、４１３ 抽出部
１４ 提示部
１５、２１５ 出力部
１６ 判定部
１７ アノマリデータベース
１８ 評価部
２１ 追加可否確認画面
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０、３５０、４５０ データ出力プログラム

Claims (8)

1. 所定の条件を満たすことが既知の既知データを受け付け、
   前記既知データとは異なる複数のデータから、前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方を、前記既知データと共に所定の用途に使用するための候補データとして抽出し、
   抽出した候補データを出力する処理をコンピュータに実行させることを特徴とするデータ出力プログラムであって、
   前記候補データとして、前記既知データの統計的分布において、出現頻度が所定の下限値以下の区間に属するデータを抽出するか、又は、
   抽出された前記候補データから、前記既知データの統計的分布において、出現頻度が所定の上限値以上の区間に属するデータの一部を除外する、
   データ出力プログラム 。
2. 前記既知データの各々は、１以上の項目を含み、
   前記既知データと、前記項目の値として取り得る組み合わせを含む網羅データとの差分のデータ群から、前記候補データを抽出する
   請求項１に記載のデータ出力プログラム。
3. 前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方のデータから、前記既知データとの予め定めた相関ルールの評価値に基づいて、前記候補データを抽出する請求項１又は請求項２に記載のデータ出力プログラム。
4. 前記既知データは、テスト対象のシステムに入力された実データであり、
   前記候補データとして、前記実データと共にテストデータとする候補のデータを抽出する
   請求項１～請求項３のいずれか１項記載のデータ出力プログラム。
5. 前記既知データは、入力データと比較を行う参照データとして記憶部に記憶されたデータであり、
   前記記憶部を参照して、受け付けた前記入力データと前記参照データとを比較して、前記参照データと一致しない前記入力データから、前記候補データとして、前記参照データに追加する候補のデータを抽出する
   請求項１～請求項３のいずれか１項記載のデータ出力プログラム。
6. 出力した前記候補データに対して、ユーザから前記候補データを前記既知データに追加するか否かの指示を受け付け、
   受け付けた前記指示に基づいて、前記候補データを前記既知データに追加するか否かを判定する
   請求項１～請求項５のいずれか１項記載のデータ出力プログラム。
7. 所定の条件を満たすことが既知の既知データを受け付け受付部と、
   前記既知データとは異なる複数のデータから、前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方を、前記既知データと共に所定の用途に使用するための候補データとして抽出する抽出部と、
   抽出した候補データを出力する出力部と、を含むデータ出力装置であって、
   前記抽出部が、前記候補データとして、前記既知データの統計的分布において、出現頻度が所定の下限値以下の区間に属するデータを抽出するか、又は、抽出された前記候補データから、前記既知データの統計的分布において、出現頻度が所定の上限値以上の区間に属するデータの一部を除外する、
   データ出力装置 。
8. 所定の条件を満たすことが既知の既知データを受け付け、
   前記既知データとは異なる複数のデータから、前記既知データと比較した結果の類似度が所定値以上のデータ、及び前記既知データの統計的分析結果に基づき特定されるデータの少なくとも一方を、前記既知データと共に所定の用途に使用するための候補データとして抽出し、
   抽出した候補データを出力する
   処理をコンピュータが実行することを特徴とするデータ出力方法であって、
   前記候補データとして、前記既知データの統計的分布において、出現頻度が所定の下限値以下の区間に属するデータを抽出するか、又は、
   抽出された前記候補データから、前記既知データの統計的分布において、出現頻度が所定の上限値以上の区間に属するデータの一部を除外する、
   データ出力方法 。

Images