JP6204318B2 - 類似度評価装置、類似度評価システム、類似度評価装置方法、および、類似度評価プログラム - Google Patents

Description

本発明は、類似度評価装置、類似度評価システム、類似度評価装置方法、および、類似度評価プログラムに関する。

マルウェアの検出やＤＬＰ(Data Loss Prevention)の分野で、ファイルのエントロピー値を求め、このエントロピー値によりファイルの類似度の評価を行うことがある。ここで、ファイル全体としてのエントロピー値が比較対象のファイルのエントロピー値と近い値となった場合でも、実際には類似していないこともあるため、より詳細な類似度評価を行えるよう、ファイルを複数の区間に分割し、区間ごとのエントロピー値を比較する技術が提案されている（特許文献１参照）。

特開２０１４−０８５８５４号公報

しかし、上記の技術によりファイルの先頭から区間ごとにエントロピー値を比較すると、実際には類似しているファイルであっても類似していないと判断されてしまうことがある。

このことを、図１３を用いて説明する。図１３は、バージョンの異なる２つの実行ファイル（アドビ社のAcroRd32.exeファイルのバージョン11.0.0およびバージョン11.0.05）について、上記の技術により求めた区間ごとのエントロピー値の分布を示したグラフである。ここで、図１３に示すように、実際には類似する２つのファイルについて、それぞれのファイルのエントロピー値の分布のパターン（波形）を見ると、波形の形状は類似しているがずれている場合がある。このような２つのファイルについて、上記の技術により区間ごとのエントロピー値の比較を行うと、両者は類似していないと判断されることがあった。例えば、図１３に示す各区間のエントロピー値の平均は0.631であり、この値は、上記の技術において類似度が比較的低いと判定される値である。

そこで、本発明は前記した問題を解決し、比較対象のファイルについて、ファイルの区間ごとのエントロピー値を用いて類似度の評価を行う場合に、精度よく評価を行うことを課題とする。

前記した課題を解決するため、本発明は、比較元ファイルと比較先ファイルとの類似度を評価する類似度評価装置であって、前記比較元ファイルを複数の区間に分割した比較元分割ファイルと、前記比較先ファイルを前記複数の区間に分割した比較先分割ファイルとを生成する区間分割部と、前記比較元分割ファイルの区間ごとの所定のエントロピー値である比較元区間特徴量と、前記比較先分割ファイルの区間ごとの前記エントロピー値である比較先区間特徴量とを生成する区間特徴量算出部と、前記比較元区間特徴量と前記比較先区間特徴量それぞれに対し、ＤＰ（Dynamic Programming）マッチングにより前記比較元区間特徴量と前記比較先区間特徴量との距離をできるだけ小さくする補正を行う補正部と、前記補正が行われた前記比較元区間特徴量と前記比較先区間特徴量とを区間ごとに比較することにより前記比較元ファイルと前記比較先ファイルとの類似度を評価する類似度評価部とを備えることを特徴とする。

本発明によれば、比較対象のファイルについて、ファイルの区間ごとのエントロピー値を用いて類似度の評価を行う場合に、精度よく評価を行うことができる。つまり、本来類似しているファイルの類似性を高く評価でき、本来非類似のファイルの類似性の評価には影響を与えない。

図１は、第１の実施形態の類似度評価システムの構成の一例を示す図である。 図２（ａ）は、図１の利用者端末の構成の一例を示す図であり、図２（ｂ）は、図１の類似度評価装置の構成の一例を示す図である。 図３は、図１の類似度評価装置の処理フローの一例を示す図である。 図４は、全体特徴量の算出結果の一例を示す図である。 図５は、全体類似度の評価結果の一例を示す図である。 図６は、ローリングハッシュの処理フローの一例を示す図である。 図７（ａ）は、比較元ファイルの区間特徴量の算出結果の一例を示す図であり、図７（ｂ）は、比較先ファイルの区間特徴量の算出結果の一例を示す図である。 図８は、ＤＰマッチングによる補正後の各ファイルの区間特徴量の一例を示すグラフである。 図９は、第２の実施形態の類似度評価システムの構成の一例を示す図である。 図１０（ａ）は、図９の利用者端末の構成の一例を示す図であり、図１０（ｂ）は、図９の類似度評価装置の構成の一例を示す図である。 図１１は、図９の利用者端末の処理フローの一例を示す図である。 図１２は、図９の類似度評価装置の処理フローの一例を示す図である。 図１３は、バージョンの異なる２つの実行ファイルの区間ごとのエントロピー値の分布を示すグラフである。 図１４は、AcroRd32.exeおよびagent.exeそれぞれの区間ごとのエントロピー値の分布を示すグラフである。 図１５は、ＤＰマッチングによる補正後のAcroRd32.exeおよびagent.exeそれぞれの区間ごとのエントロピー値の分布を示すグラフである。

以下、本発明を実施するための形態（実施形態）を説明する。なお、本発明は本実施形態に限定されない。まず、本実施形態の類似度評価システムにおける、ファイルのエントロピー値を用いたファイル間の類似度の評価方法を説明する。

ファイルのエントロピー値の計算は順序性を考慮しない場合には式（１）により行われる。順序性を考慮する場合には式（２）により行われる。以下、順序性を考慮したエントロピー値は、Ｍ１エントロピーと呼ぶ。式（１）および（２）において、Ｐ_ｉは対象ファイルの中で値がｉとなる確率である。

このようにファイルのエントロピー値により類似度を評価することで、例えば、原本ファイルに対して意図的に変更を加えて検知を逃れるタイプのマルウェアやアンチフォレンジック手法が用いられた場合でもこれを検知しやすくなる。

なお、エントロピー値を用いた類似度評価をより正確に行うため、式（３）のように、ファイルサイズでエントロピー値に重み付けを行ってもよい。

重み付きエントロピー値を用いた類似度は、Ｅ_１を比較元ファイルの重み付きエントロピー値とし、Ｅ_２を比較先ファイルの重み付きエントロピー値とし、Ｓ_１を比較元ファイルのファイルサイズとし、Ｓ_２を比較先ファイルのファイルサイズとして、式（４）により計算される。

式（４）は計算例であり通常のファイルに適用した場合、有意な値を取らないこともある。この場合、例えば、式（５）により類似度を計算する。

（第１の実施形態）
（構成）
図１を参照して、第１の実施形態の類似度評価システムの構成例を説明する。類似度評価システムは、１以上の利用者端末２と、類似度評価装置３を含む。利用者端末２と類似度評価装置３はネットワーク４に接続される。ネットワーク４は、接続される各装置が相互に通信可能なように構成されていればよく、例えばインターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等で構成することができる。なお、各装置は必ずしもネットワークを介してオンラインで通信可能である必要はない。例えば、利用者端末２の出力する情報を磁気テープやＵＳＢ（Universal Serial Bus）メモリなどの可搬型記録媒体に記憶し、その可搬型記録媒体からオフラインで類似度評価装置３へ入力するように構成してもよい。

図２（ａ）を参照して利用者端末２の構成例を説明する。利用者端末２は、制御部２０１、メモリ２０２、ファイル記憶部２１、投入部２２、表示部２３を備える。利用者端末２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を有するコンピュータにより実現される。

制御部２０１は、利用者端末２全体の制御を司る。メモリ２０２は、利用者端末２に入力されたデータや各処理で得られたデータが格納される。このメモリ２０２に格納されたデータは必要に応じて読み出されて他の処理に利用される。

ファイル記憶部２１は２以上のファイルが記憶されている。このファイル記憶部２１は、例えば、ＲＡＭ等の主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリなどの半導体メモリ素子により構成される補助記憶装置等により構成することができる。

投入部２２は、利用者の操作に従って、ファイル記憶部２１から選択された、類似度を評価する比較対象ファイル群を類似度評価装置３へ送信する。

比較対象ファイル群に含まれるファイルの数は２つであってもよいし、３つ以上であってもよい。以降の説明では、２つのファイルの類似度を評価する場合について説明し、３つ以上の場合に相違する点があれば適宜説明する。また、比較対象の２つのファイルは、それぞれ比較元ファイル、比較先ファイルと呼ぶ。

表示部２３は、類似度評価装置３から送信された比較対象のファイルの類似度評価結果を表示する。例えば、表示部２３は、利用者端末２に接続されたディスプレイ等に類似度評価結果を表示する。

図２（ｂ）を参照して、類似度評価装置３の構成例を説明する。

類似度評価装置３は、制御部３０１、メモリ３０２、入力部３１、全体特徴量算出部３２、全体類似度評価部３３、区間分割部３４、区間特徴量算出部３５、補正部３６、区間類似度評価部３７、出力部３８、特徴量記憶部３９を備える。

類似度評価装置３は、例えば、ＣＰＵ、ＲＡＭ等を有するコンピュータにより実現される。

制御部３０１は、類似度評価装置３全体の制御を司る。メモリ３０２は、類似度評価装置３に入力されたデータや各処理で得られたデータが格納される。このメモリ３０２に格納されたデータは必要に応じて読み出されて他の処理に利用される。

入力部３１は、外部装置から類似度評価装置３への各種データの入力を受け付ける。例えば、入力部３１は、利用者端末２から比較元ファイル、比較先ファイルとなるファイルの入力を受け付ける。

全体特徴量算出部３２は、比較元ファイルのファイル全体から所定のエントロピー値を算出し、比較元全体特徴量を生成する。また、全体特徴量算出部３２は、比較先ファイルのファイル全体から所定のエントロピー値を算出し、比較先全体特徴量を生成する。ここでのエントロピー値の算出には、例えば、前記した式（１）、式（２）または式（３）を用いる。

全体類似度評価部３３は、比較元全体特徴量と比較先全体特徴量から全体類似度を算出する。そして、全体類似度評価部３３は、算出した全体類似度を所定の閾値と比較することにより、ファイル全体として類似しているか否かの判定を行う。なお、ここでの全体類似度の算出には、例えば、前記した式（５）を用いる。

区間分割部３４は、比較元ファイルと比較先ファイルそれぞれを複数の区間に分割し、比較元分割ファイルと比較先分割ファイルとを生成する。例えば、区間分割部３４は、各ファイルを所定サイズで分割したり、所定数で分割したりする。

区間特徴量算出部３５は、比較元分割ファイルの区間ごとの所定のエントロピー値を示す比較元区間特徴量を生成する。また、区間特徴量算出部３５は、比較先分割ファイルの区間ごとの所定のエントロピー値を示す比較先区間特徴量を生成する。ここでのエントロピー値の算出にも、例えば、前記した式（１）、式（２）または式（３）を用いる。

補正部３６は、比較元区間特徴量および比較先区間特徴量それぞれに対し、ＤＰ（Dynamic Programming）マッチングを適用した補正を行う。例えば、比較元区間特徴量が以下の式（６）に示すＸ（ｘ_１，ｘ_２，…，ｘ_ｎ）であり、比較先区間特徴量が以下の式（６）に示すＹ（ｙ_１，ｙ_２，…，ｙ_ｍ）であるとする。なお、ｘ_１，ｘ_２，…，ｘ_ｎは比較元ファイルの各区間のエントロピー値であり、ｙ_１，ｙ_２，…，ｙ_ｍは比較先ファイルの各区間のエントロピー値である。補正部３６は、以下の式（７）によりＸとＹとの距離Ｄ（Ｘ，Ｙ）をできるだけ小さくするようにＸ，Ｙの補正を行う。このように、補正部３６が比較元区間特徴量および比較先区間特徴量についてＤＰマッチングによる補正を行うことで、比較元区間特徴量と比較先区間特徴量の対応付け（整列化）を行うことができる。これにより、類似度評価装置３は、例えば、比較対象のファイルの区間ごとのエントロピー値の分布のパターン（波形）がずれている場合（図１３参照）であっても、ファイル間の類似度を精度よく評価することができる。

区間類似度評価部３７は、補正が行われた比較元区間特徴量と比較先区間特徴量とを区間ごとに比較することにより比較元ファイルと比較先ファイルとの類似度を評価する。ここでの類似度の評価は、例えば、以下の式（８）により、比較元区間特徴量に含まれる区間ごとのエントロピー値と、比較先区間特徴量に含まれる区間ごとのエントロピー値との差をそれぞれ算出し、その平均を算出することにより行われる。そして、区間類似度評価部３７は、式（８）で算出した平均（Ｄ）を所定の閾値と比較することにより類似しているか否かの判定を行う。判定の結果（類似度評価結果）は利用者端末２へ送信する。

なお、式（８）におけるｎは区間の総数であり、Ｈ１_ｉは比較元ファイルの区間ｉのエントロピー値であり、Ｈ２_ｉは比較先ファイルの区間ｉのエントロピー値である。

出力部３８は、類似度評価装置３の各種データを外部装置へ出力する。例えば、出力部３８は、区間類似度評価部３７から比較対象のファイルが類似しているか否かの判定の結果（類似度評価結果）を利用者端末２へ出力する。

特徴量記憶部３９は、全体特徴量算出部３２により算出された比較元全体特徴量および比較先全体特徴量や、区間特徴量算出部３５により算出された比較元区間特徴量と比較先区間特徴量を記憶する。この特徴量記憶部３９は、例えば、ＲＡＭ等の主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリなどの半導体メモリ素子により構成される補助記憶装置等により構成することができる。

このような類似度評価システムによれば、例えば、比較対象のファイルの区間ごとのエントロピー値の分布のパターン（波形）がずれている場合であっても、類似度を精度よく評価することができる。

（処理手順）
図３を参照して類似度評価装置３の処理手順の例を説明する。まず、類似度評価装置３の入力部３１は利用者端末２が送信した比較対象ファイル群の入力を受け付ける（Ｓ３１）。

Ｓ３１の後、全体特徴量算出部３２は、比較対象ファイル群の比較元ファイルと比較先ファイルそれぞれから所定のエントロピー値を算出する。つまり、全体特徴量算出部３２は、比較元ファイルと比較先ファイルそれぞれのファイル全体のエントロピー値を特徴量として算出する（Ｓ３２：ファイル全体の特徴量を算出）。比較元ファイルから算出したエントロピー値は比較元全体特徴量、比較先ファイルから算出したエントロピー値は比較先全体特徴量と呼ぶ。算出するエントロピー値は、様々な種類のエントロピー値を適用することができる。例えば、上記の式（１）で算出されるエントロピー値でもよい。上記の式（２）で算出されるＭ１エントロピー値でもよい。上記の式（３）で算出されるファイルサイズ重み付きエントロピー値でもよい。また例えば、N-gramエントロピーを算出してもよい。N-gramエントロピーとは、決められたバイト数（Ｎバイト）の単位でファイル中における各ビットパターンの出現数から算出するエントロピー値である。比較対象ファイル群が３つ以上のファイルを含む場合には、すべての２つのファイルの組み合わせについて、所定のエントロピー値を算出すればよい。

図４にファイル全体の特徴量の算出結果の例を示す。「File Name」列は比較対象ファイルの物理的なファイル名である。「No.」列は比較対象ファイルを一意に識別する数値である。「Entropy」列は比較対象ファイルから式（１）で算出したエントロピー値である。「M1Entropy」列は比較対象ファイルから式（２）で算出したＭ１エントロピー値である。「WEntropy」列は比較対象ファイルから式（３）で算出したファイルサイズ重み付きエントロピー値である。「File Size」列は比較対象ファイルのバイト単位のファイルサイズである。この例では、１５個の比較対象ファイルが投入されている。例えば、No.1のae.bmpは、エントロピー値が7.36303であり、Ｍ１エントロピー値が4.758377であり、ファイルサイズ重み付きエントロピー値が87.8226であり、ファイルサイズが151,374バイトであることを表している。

図３のＳ３２で算出された比較元全体特徴量および比較先全体特徴量は特徴量記憶部３９に記憶される。全体類似度評価部３３は、特徴量記憶部３９から読み出した比較元全体特徴量と比較先全体特徴量から全体類似度を算出する（Ｓ３３１：ファイル全体の類似度を算出）。全体類似度の算出は、例えば、上記の式（５）により計算することができる。比較対象ファイル群が３つ以上のファイルを含む場合には、すべての２つのファイルの組み合わせについて、全体類似度を算出すればよい。

全体類似度評価部３３は、Ｓ３３１で算出した全体類似度をあらかじめ定めた閾値と比較し、比較元ファイルと比較先ファイルが類似するか否かを判定し、その判定結果（暫定判定結果）を求める（Ｓ３３２：全体類似度が閾値以上のファイル群が存在するか）。全体類似度評価部３３は、全体類似度が閾値以上である場合には暫定判定結果にファイルが類似することを示す値を設定し、全体類似度が閾値未満の場合には暫定判定結果にファイルが類似しないことを示す値を設定する。比較対象ファイル群が３つ以上のファイルを含む場合には、暫定判定結果に全体類似度が閾値以上であるファイルの組み合わせが存在する場合に類似するファイルが存在することを示す値を設定し、全体類似度が閾値以上であるファイルの組み合わせが存在しない場合には暫定判定結果に類似するファイルが存在しないことを示す値を設定すればよい。

図５にファイル全体の類似度の評価結果の例を示す。「File Name」列は比較対象ファイルの物理的なファイル名である。「No.」列は比較元ファイルを一意に識別する数値である。「1」〜「15」列は比較先ファイルを示している。つまり、図５は比較元ファイルと比較先ファイルの全体類似度のマトリックスとなっている。例えば、No.1のae.bmpとNo.2のaf.bmpとの全体類似度は89である。類似度を判定する閾値を99に設定すると、図５のマトリックス中のハッチングで示したファイルの組み合わせにおいて、ファイルが類似すると判定される。例えば、No.1のae.bmpであれば、No.5のimagesCA6MA9NM.bmpとNo.6のimagesCA83PY61.bmpとNo.8のimagesCAQI7U2A.bmpと類似すると判定される。

図３のＳ３３２で暫定判定結果が比較元ファイルと比較先ファイルとが類似しないことを示す場合には（Ｓ３３２でＮｏ）、全体類似度評価部３３は、比較元ファイルと比較先ファイルとが類似しないと判定し（Ｓ３８２：類似ファイルはない）、その判定結果を出力し、処理を終了する。例えば、図６において、比較対象ファイルとして、No.1のae.bmpとNo.2のaf.bmpが投入された場合であれば、全体類似度が89であり閾値99未満であるため、全体類似度評価部３３は、２つのファイルは類似しないと判定される。この場合には、２つのファイルは類似しないことを出力して処理を終了する。

一方、暫定判定結果が比較元ファイルと比較先ファイルとが類似することを示す場合には（図３のＳ３３２でＹｅｓ）、Ｓ３４以降の処理を継続する。比較対象ファイル群が３つ以上のファイルを含む場合であって、複数のファイルの組み合わせでファイルが類似すると判定された場合には、類似するファイルの組み合わせすべてについて以降の処理を繰り返し実行する。

比較元ファイルと比較先ファイルが区間分割部３４へ入力されると、区間分割部３４は、比較元ファイルと比較先ファイルそれぞれを所定の分割方法で複数の区間に分割する（Ｓ３４：個々のファイルを区間分割）。比較元ファイルを分割した後のファイルは比較元分割ファイル、比較先ファイルを分割した後のファイルは比較先分割ファイルと呼ぶ。区間分割部３４は、例えば、あらかじめ定めた固定サイズで各ファイルを分割する。例えば、区間分割部３４は、各ファイルを10Kバイトごとに区間を分割する。また、例えば、区間分割部３４は、比較対象ファイルのファイルサイズに比例した均等割りにより分割サイズを決定してもよい。ファイルサイズに比例した均等割りであれば、末端の少量サイズの区間が生じることを回避することができる。また、このほかに、区間分割部３４は、例えば、ローリングハッシュによりファイルの区間分割点を決定してもよい。

図６にローリングハッシュによる区間分割の動作例を示す。区間分割部３４は、分割対象のファイルが入力されると、そのファイルのバイナリ列からｍバイトを読み取る（Ｓ３４１）。このｍバイト分のバイナリ列をウィンドウと呼ぶ。ウィンドウのサイズを決定するｍは任意の値を取ることができる。例えば、ｍ＝７などと設定すればよい。次に、区間分割部３４は、読み取ったウィンドウのハッシュ値を計算してメモリ３０２に記憶する（Ｓ３４２）。ハッシュ関数としては、例えば、文字列を構成する全文字の値を加算する関数、各文字のASCIIコードを全て掛け合わせる関数等が考えられる。続いて、区間分割部３４は、計算したハッシュ値の下位ｔビットがあらかじめ定めた任意のビットパターンと一致する否かを判断する（Ｓ３４３）。ここで、下位ｔビットがあらかじめ定めた任意のビットパターンと一致する場合には（Ｓ３４３でＹｅｓ）、区間分割部３４は、そのウィンドウの位置を分割点としてメモリ３０２に記憶する（Ｓ３４４）。一方、下位ｔビットがあらかじめ定めた任意のビットパターンと一致しない場合には（Ｓ３４３でＮｏ）、Ｓ３４５へ進む。なお、ビットパターンはどのようなものでもよく、例えば、下位ｔビットがすべて１の場合でもよいし、すべて０の場合でもよい。ｔは、例えば、Ｌをファイルサイズとし、Ｎを区間の総数として、下記の式（９）により決定すればよい。

ここで、

は床関数であり、ｘを超えない最大の整数である。

Ｓ３４４の後、区間分割部３４は、ウィンドウの位置がファイルの終点であるか否かを確認する（Ｓ３４５）。ここで、ファイルのウィンドウの位置がファイルの終点でなければ（Ｓ３４５でＮｏ）、区間分割部３４はウィンドウの位置を先頭から１バイト後方へ移動させ、Ｓ３４１以降の処理を再度行う。一方、ファイルのウィンドウの位置がファイルの終点であれば（Ｓ３４５でＹｅｓ）、処理を終了する。

区間分割部３４が上記のローリングハッシュを用いてファイルの区間分割を行うことで、比較対象の２つのファイルの相違点を除いて共通の部分を区間として抽出することができる可能性が高い。

図３の説明に戻る。Ｓ３４の後、比較元分割ファイルと比較先分割ファイルは区間特徴量算出部３５へ入力される。区間特徴量算出部３５は、比較元分割ファイルと比較先分割ファイルそれぞれから区間ごとに所定のエントロピー値（特徴量）を算出する（Ｓ３５：区間ごとの特徴量を算出）。比較元分割ファイルの区間ごとのエントロピー値のスペクトルを比較元区間特徴量と呼び、比較先分割ファイルの区間ごとのエントロピー値のスペクトルを比較先区間特徴量と呼ぶ。算出するエントロピー値は、全体特徴量と同様に、様々な種類のエントロピー値を適用することができる。例えば、上記の式（１）で算出されるエントロピー値でもよい。上記の式（２）で算出されるＭ１エントロピー値でもよい。上記の式（３）で算出されるファイルサイズ重み付きエントロピー値でもよい。また、例えば、N-gramエントロピーを算出してもよい。

図７（ａ）に比較元ファイルの区間特徴量の算出結果の例を示し、図７（ｂ）に比較先ファイルの区間特徴量の算出結果の例を示す。「File Name」列は区間分割後の比較対象ファイルのファイル名である。「Entropy」列はその分割ファイルから算出したエントロピー値である。「M1Entropy」列はその分割ファイルから算出したＭ１エントロピー値である。「WEntropy」列はその分割ファイルから算出したファイルサイズ重み付きエントロピー値である。「File Size」列はその分割ファイルのバイト単位のファイルサイズである。この例では、No.1のae.bmpを比較元ファイルとし、No.5のimagesCA6MA9NM.bmpを比較先ファイルとして、それぞれ100,000バイトの固定サイズで分割している。図７（ａ）では、No.1のae.bmpがae.001〜ae.016の１６個に分割され、分割後のae.001〜ae.016それぞれについて、エントロピー値とＭ１エントロピー値とファイルサイズ重み付きエントロピー値を算出した結果を示している。図７（ｂ）では、No.5のimagesCA6MA9NM.bmpがIMAGES~1.001〜IMAGES~1.016の１６個に分割され、分割後のIMAGES~1.001〜IMAGES~1.016それぞれについて、エントロピー値とＭ１エントロピー値とファイルサイズ重み付きエントロピー値を算出した結果を示している。

図３のＳ３５の後、補正部３６は、比較元区間特徴量および比較先区間特徴量それぞれに対し、ＤＰマッチングによる補正を行う（Ｓ３６）。例えば、前記したとおり、比較元区間特徴量が式（６）に示すＸ（ｘ_１，ｘ_２，…，ｘ_ｎ）であり、比較先区間特徴量が式（６）に示すＹ（ｙ_１，ｙ_２，…，ｙ_ｍ）であるとすると、補正部３６は、式（７）によりＸとＹとの距離Ｄ（Ｘ，Ｙ）をできるだけ小さくするようにＸ（ｘ_１，ｘ_２，…，ｘ_ｎ）およびＹ（ｙ_１，ｙ_２，…，ｙ_ｍ）の補正を行う。

図８に、ＤＰマッチングによる補正後の比較元区間特徴量と比較先区間特徴量の例を示す。ここで補正の対象とした比較元区間特徴量と比較先区間特徴量は、図１３に示したアドビ社のAcroRd32.exeファイルのバージョン11.0.0およびバージョン11.0.05それぞれの比較元区間特徴量および比較先区間特徴量である。それぞれのファイルの区間分割数は同じである。補正部３６が比較元区間特徴量および比較先区間特徴量それぞれに対し、ＤＰマッチングによる補正を行うことで、図８に示すように、両者のエントロピー値の波形のずれが解消される。

図３の説明に戻る。Ｓ３６で補正された比較元区間特徴量および比較先区間特徴量は区間類似度評価部３７へ入力される。そして、区間類似度評価部３７は、補正後の比較元区間特徴量および比較先区間特徴量に基づいて比較元ファイルと比較先ファイルが類似するか否かを示す判定結果を求める。つまり、区間類似度評価部３７は、補正後の区間特徴量が評価基準を満たすか否かを判定する（Ｓ３７）。判定の方法は、例えば、式（８）を用いて、補正後の比較元区間特徴量に含まれる区間ごとのエントロピー値と、補正後の比較先区間特徴量に含まれる区間ごとのエントロピー値との差をそれぞれ算出し、その平均を計算すればよい。

例えば、図８に例示したＤＰマッチングによる補正後の比較元区間特徴量および比較先区間特徴量について、上記の式（８）によりエントロピー値の差の平均を算出すると0.140であった。つまり、比較元区間特徴量および比較先区間特徴量にＤＰマッチングによる補正を行わなかった場合、式（８）に基づく両者のエントロピー値の差の平均が0.631であったところ（図１３参照）、類似度評価装置３により比較元区間特徴量および比較先区間特徴量にＤＰマッチングによる補正を行うと、式（８）に基づく両者のエントロピー値の差の平均が0.140に改善され、比較対象のファイルの類似度評価の精度が向上したことが確認された。

なお、類似するか否かの判定には、補正後の比較元区間特徴量および比較先区間特徴量についての各種の統計を用いてもよい。

例えば、区間類似度評価部３７は、補正後の比較元区間特徴量および比較先区間特徴量それぞれの標準偏差を算出し、標準偏差の差が閾値未満であればファイルが類似すると判定してもよい。

また、区間類似度評価部３７は、類似するか否かの判定に相関係数を用いてもよい。例えば、区間類似度評価部３７は、補正後の比較元区間特徴量および比較先区間特徴量の相関係数を求め、その相関係数が閾値以上であればファイルが類似すると判定する。

さらに、区間類似度評価部３７は、類似するか否かの判定に最長一致系列比較を用いてもよい。例えば、区間類似度評価部３７は、補正後の比較元区間特徴量および比較先区間特徴量で対応する区間エントロピー値が連続して一致する区間の長さを求め、その一致する区間の長さが閾値以上であればファイルが類似すると判定する。

また、区間類似度評価部３７は、類似するか否かの判定にフーリエ解析を用いてもよい。例えば、区間類似度評価部３７は、補正後の比較元区間特徴量と比較先区間特徴量それぞれをフーリエ変換し、得られたパワースペクトルの系列を比較して一致する要素の数が閾値以上であればファイルが類似すると判定する。

さらに、区間類似度評価部３７は、類似するか否かの判定にΧスクエア検定を用いてもよい。例えば、区間類似度評価部３７は、補正後の比較元区間特徴量と比較先区間特徴量をそれぞれ所定の関数に近似させて検定統計量を算出することにより、あらかじめ定めた閾値を有意水準としてファイルが類似するか否かの仮説検定を行う。

区間類似度評価部３７はＳ３７における判定結果を、出力部３８を介して利用者端末２へ送信する。すなわち、区間類似度評価部３７は、Ｓ３７において補正後の区間特徴量が評価基準を満たすと判定したとき（Ｓ３７でＹｅｓ）、ファイルが類似すると判定し（Ｓ３８１：類似ファイルがある）、その判定結果を利用者端末２へ送信する。一方、区間類似度評価部３７は、Ｓ３７において補正後の区間特徴量が評価基準を満たさないと判定したとき（Ｓ３７でＮｏ）、ファイルが類似しないと判定し（Ｓ３８２：類似ファイルはない）、その判定結果を利用者端末２へ送信する。なお、ここで送信する判定結果には、例えば、比較対象ファイルの全体特徴量、比較対象ファイル間の全体類似度、比較対象ファイルの区間特徴量、比較対象ファイル間の類似度判定結果、区間エントロピー値の差の平均等の類似度を判定するために用いた値を含めてもよい。

Ｓ３８１，３８２の後、利用者端末２の表示部２３は、類似度評価装置３から受信した判定結果を表示する。表示の方法はどのような方法であってもよい。例えば、利用者端末２のディスプレイに整形して表示してもよいし、利用者端末２に設定された所定のプリンタへあらかじめ定めた書式で出力してもよい。

このようなシステムによれば、例えば、比較対象のファイルの区間ごとのエントロピー値の分布のパターン（波形）がずれている場合であっても、類似度を精度よく評価することができる。

（第２の実施形態）
（構成）
図９を参照して、第２の実施形態の類似度評価システムの構成例を説明する。前記した第１の実施形態と同じ構成は、同じ符号を付して説明を省略する。この第２の実施形態の類似度評価システムは、１以上の利用者端末２ａと、類似度評価装置３ａを含む。第２の実施形態の類似度評価システムは、利用者端末２ａが全体特徴量算出部３２、区間分割部３４、区間特徴量算出部３５を備えることを特徴とする。

図１０（ａ）を参照して、利用者端末２ａの構成例を説明する。利用者端末２ａは、制御部６０１、メモリ６０２、ファイル記憶部２１、投入部２２、表示部２３、全体特徴量算出部３２、区間分割部３４、区間特徴量算出部３５を備える。この利用者端末２ａも、例えば、ＣＰＵ、ＲＡＭ等を有するコンピュータにより実現される。

制御部６０１は、利用者端末２ａ全体の制御を司る。メモリ６０２は、利用者端末２ａに入力されたデータや各処理で得られたデータが格納される。このメモリ６０２に格納されたデータは必要に応じて読み出されて他の処理に利用される。

図１０（ｂ）を参照して、類似度評価装置３ａの構成例を説明する。類似度評価装置３ａは、制御部７０１、メモリ７０２、入力部３１、全体類似度評価部３３、補正部３６、区間類似度評価部３７、出力部３８、特徴量記憶部３９を備える。この類似度評価装置３ａも、例えば、ＣＰＵ、ＲＡＭ等を有するコンピュータにより実現される。

制御部７０１は、類似度評価装置３ａ全体の制御を司る。メモリ７０２は、類似度評価装置３に入力されたデータや各処理で得られたデータが格納される。このメモリ７０２に格納されたデータは必要に応じて読み出されて他の処理に利用される。

（処理手順）
図１１を参照して、利用者端末２ａの処理手順の例を説明する。まず、利用者端末２ａの全体特徴量算出部３２は、図３のＳ３２と同様に、比較対象ファイル群の比較元ファイルと比較先ファイルそれぞれから所定のエントロピー値を算出（Ｓ３２：ファイル全体の特徴量を算出）すると、比較元ファイルと比較先ファイルが区間分割部３４へ入力される。区間分割部３４は、比較元ファイルと比較先ファイルそれぞれを所定の方法で複数の区間に分割する（Ｓ３４）。区間分割の方法は、第１の実施形態と同様であるので説明を省略する。

Ｓ３４の後、比較元分割ファイルと比較先分割ファイルが区間特徴量算出部３５へ入力されると、区間特徴量算出部３５は、図３のＳ３５と同様に、比較元分割ファイルと比較先分割ファイルそれぞれから区間ごとに所定のエントロピー値（特徴量）を算出する（Ｓ３５：区間ごとの特徴量を算出）。

Ｓ３５の後、利用者端末２ａの投入部２２は、Ｓ３５で算出した特徴量（つまり、比較元全体特徴量および比較先全体特徴量と、比較元区間特徴量および比較先区間特徴量）を類似度評価装置３ａへ送信する。

図１２を参照して、類似度評価装置３ａの処理手順の例を説明する。まず、類似度評価装置３ａの入力部３１は利用者端末２ａが送信した特徴量の入力を受け付ける（Ｓ３１１）。入力された特徴量は特徴量記憶部３９に記憶される。

Ｓ３１１の後、全体類似度評価部３３は、図３のＳ３３１と同様に、特徴量記憶部３９から読み出した比較元全体特徴量と比較先全体特徴量から全体類似度を算出する（Ｓ３３１：ファイル全体の類似度を算出）。全体類似度の算出は、第１の実施形態と同様であるので説明を省略する。

全体類似度評価部３３は、図３のＳ３３２と同様に、Ｓ３３１で算出した全体類似度をあらかじめ定めた閾値と比較し、比較元ファイルと比較先ファイルが類似するか否かを判定し、その判定結果（暫定判定結果）を求める（Ｓ３３２：全体類似度が閾値以上のファイル群が存在するか）。つまり、全体類似度評価部３３は、全体類似度が閾値以上である場合にはファイルが類似することを示す値を暫定判定結果に設定し、全体類似度が閾値未満の場合にはファイルが類似しないことを示す値を暫定判定結果に設定する。

Ｓ３３２における暫定判定結果が比較元ファイルと比較先ファイルとが類似しないことを示す場合（Ｓ３３２でＮｏ）、全体類似度評価部３３は、比較元ファイルと比較先ファイルとが類似しないと判定し（Ｓ３８２：類似ファイルはない）、その判定結果を出力し、処理を終了する。

一方、Ｓ３３２で暫定判定結果が比較元ファイルと比較先ファイルとが類似することを示す場合には（Ｓ３３２でＹｅｓ）、補正部３６は、特徴量記憶部３９から読み出した比較元区間特徴量と比較先区間特徴量それぞれに対し、図３のＳ３６と同様にＤＰマッチングによる補正を行う（Ｓ３６）。

そして、区間類似度評価部３７は、Ｓ３６で補正された比較元区間特徴量および比較先区間特徴量に基づいて比較元ファイルと比較先ファイルが類似するか否かを示す判定結果を求める。つまり、区間類似度評価部３７は、補正後の区間特徴量が評価基準を満たすか否かを判定する（Ｓ３７）。そして、区間類似度評価部３７はＳ３７における判定結果を、出力部３８を介して利用者端末２へ送信する。すなわち、区間類似度評価部３７は、Ｓ３７において補正後の区間特徴量が評価基準を満たすと判定したとき（Ｓ３７でＹｅｓ）、ファイルが類似すると判定し（Ｓ３８１：類似ファイルがある）、その判定結果を利用者端末２ａへ送信する。一方、区間類似度評価部３７は、Ｓ３７において補正後の区間特徴量が評価基準を満たさないと判定したとき（Ｓ３７でＮｏ）、ファイルが類似しないと判定し（Ｓ３８２：類似ファイルはない）、その判定結果を利用者端末２ａへ送信する。送信する判定結果に含める情報および利用者端末２ａにおける表示方法は第１の実施形態と同様であるので説明を省略する。

第２の実施形態の類似度評価システムによれば、利用者端末２ａで各種特徴量を算出して類似度評価装置３ａへ送信するので、利用者端末２ａから類似度評価装置３ａへの送信データ量を低減できる。したがって、ネットワーク４上に流れるトラフィックを抑え、類似度評価システムにおけるレスポンスを向上させることができる。

（実験結果）
なお、関連性がまったくない２つの実行ファイルであるAcroRd32.exeとagent.exeについて区間ごとに所定のエントロピー値（区間特徴量）を算出したところ、図１４のグラフに示すような値であった。また、上記の式（８）に基づき、２つの実行ファイルそれぞれの各区間のエントロピー値の差の平均を算出すると0.542であった。そして、この２つの実行ファイル（AcroRd32.exeとagent.exe）の区間特徴量について上記のＤＰマッチングによる補正を行ったところ、図１５のグラフに示すような値となった。そして、このＤＰマッチングによる補正後の２つの実行ファイルについて、式（８）に基づき各区間のエントロピー値の差の平均を算出すると0.415であった。つまり、関連性がまったくない２つの実行ファイルに対し、ＤＰマッチングによる補正を行っても、両者の各区間のエントロピー値の差の平均は0.542→0.415であり、あまり変化がなかった。

一方で、図８および図１３に示したとおり、関連性が高い２つの実行ファイル（AcroRd32.exeファイルのバージョン11.0.0およびバージョン11.0.05）の区間特徴量に対し、類似度評価装置３，３ａがＤＰマッチングによる補正を行うことで、各実行ファイルの各区間のエントロピー値の差の平均は0.631→0.140に変化した。このことから、類似度評価装置３，３ａが、関連性が高い（類似度が高い）２つのファイルについて精度よく類似度評価をしていることが確認できた。

（その他の実施形態）
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

また、上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

２，２ａ 利用者端末
３，３ａ 類似度評価装置
２１ ファイル記憶部
２２ 投入部
２３ 表示部
３１ 入力部
３２ 全体特徴量算出部
３３ 全体類似度評価部
３４ 区間分割部
３５ 区間特徴量算出部
３６ 補正部
３７ 区間類似度評価部
３８ 出力部
３９ 特徴量記憶部

Claims (7)

1. バージョンが異なる実行ファイルである比較元ファイルと比較先ファイルとの類似度を評価する類似度評価装置であって、
   前記比較元ファイルを複数の区間に分割した比較元分割ファイルと、前記比較先ファイルを前記複数の区間に分割した比較先分割ファイルとを生成する区間分割部と、
   前記比較元分割ファイルの区間ごとの所定のエントロピー値である比較元区間特徴量と、前記比較先分割ファイルの区間ごとの前記エントロピー値である比較先区間特徴量とを生成する区間特徴量算出部と、
   前記比較元区間特徴量と前記比較先区間特徴量それぞれに対し、ＤＰ（Dynamic Programming）マッチングにより前記比較元区間特徴量と前記比較先区間特徴量との距離をできるだけ小さくする補正を行う補正部と、
   前記補正が行われた前記比較元区間特徴量と前記比較先区間特徴量とを区間ごとに比較することにより前記比較元ファイルと前記比較先ファイルとの類似度を評価する類似度評価部と
   を備えることを特徴とする類似度評価装置。
2. 前記比較元ファイルのファイル全体から前記エントロピー値を算出して比較元全体特徴量を生成し、前記比較先ファイルのファイル全体から前記エントロピー値を算出して比較先全体特徴量を生成する全体特徴量算出部と、
   前記比較元全体特徴量と前記比較先全体特徴量とに基づいて前記比較元ファイルと前記比較先ファイルとが類似するか否かを示す判定結果を求める全体類似度評価部と、
   をさらに備え、
   前記判定結果が前記比較元ファイルと前記比較先ファイルとが類似することを示すとき、前記区間分割部、前記区間特徴量算出部、前記補正部および前記類似度評価部による処理を実行することを特徴とする請求項１に記載の類似度評価装置。
3. 前記区間分割部は、
   ローリングハッシュにより前記比較元ファイルと比較先ファイルそれぞれを複数の区間に分割することを特徴とする請求項１または２に記載の類似度評価装置。
4. 利用者端末と類似度評価装置とを含み、バージョンが異なる実行ファイルである比較元ファイルと比較先ファイルとの類似度を評価する類似度評価システムであって、
   前記利用者端末は、
   前記比較元ファイルと前記比較先ファイルとを前記類似度評価装置へ出力する投入部と、
   前記類似度評価装置から出力された前記比較元ファイルと前記比較先ファイルとの類似度の評価の結果を表示する表示部とを備え、
   前記類似度評価装置は、
   前記比較元ファイルを複数の区間に分割した比較元分割ファイルと、前記比較先ファイルを前記複数の区間に分割した比較先分割ファイルとを生成する区間分割部と、
   前記比較元分割ファイルの区間ごとの所定のエントロピー値である比較元区間特徴量と、前記比較先分割ファイルの区間ごとの前記エントロピー値である比較先区間特徴量と、を生成する区間特徴量算出部と、
   前記比較元区間特徴量と前記比較先区間特徴量それぞれに対し、ＤＰ（Dynamic Programming）マッチングにより前記比較元区間特徴量と前記比較先区間特徴量との距離をできるだけ小さくする補正を行う補正部と、
   前記補正が行われた前記比較元区間特徴量と前記比較先区間特徴量とを区間ごとに比較することにより前記比較元ファイルと前記比較先ファイルとの類似度を評価する類似度評価部と、
   前記類似度の評価結果を前記利用者端末へ出力する出力部と
   を備えることを特徴とする類似度評価システム。
5. 利用者端末と類似度評価装置とを含み、バージョンが異なる実行ファイルである比較元ファイルと比較先ファイルとの類似度を評価する類似度評価システムであって、
   前記利用者端末は、
   前記比較元ファイルを複数の区間に分割した比較元分割ファイルと、前記比較先ファイルを前記複数の区間に分割した比較先分割ファイルとを生成する区間分割部と、
   前記比較元分割ファイルの区間ごとの所定のエントロピー値である比較元区間特徴量と、前記比較先分割ファイルの区間ごとの前記エントロピー値である比較先区間特徴量とを生成する区間特徴量算出部と、
   前記比較元区間特徴量と前記比較先区間特徴量とを前記類似度評価装置へ出力する投入部と、
   前記類似度評価装置から出力された前記比較元ファイルと前記比較先ファイルとの類似度の評価の結果を表示する表示部とを備え、
   前記類似度評価装置は、
   前記比較元区間特徴量と前記比較先区間特徴量それぞれに対し、ＤＰ（Dynamic Programming）マッチングにより前記比較元区間特徴量と前記比較先区間特徴量との距離をできるだけ小さくする補正を行う補正部と、
   前記補正が行われた前記比較元区間特徴量と前記比較先区間特徴量とを区間ごとに比較することにより前記比較元ファイルと前記比較先ファイルとの類似度を評価する類似度評価部と、
   前記類似度の評価結果を前記利用者端末へ出力する出力部と
   を備えることを特徴とする類似度評価システム。
6. バージョンが異なる実行ファイルである比較元ファイルと比較先ファイルとの類似度を評価する類似度評価方法であって、
   前記比較元ファイルを複数の区間に分割した比較元分割ファイルと、前記比較先ファイルを前記複数の区間に分割した比較先分割ファイルとを生成するステップと、
   前記比較元分割ファイルの区間ごとの所定のエントロピー値である比較元区間特徴量と、前記比較先分割ファイルの区間ごとの前記エントロピー値である比較先区間特徴量とを生成するステップと、
   前記比較元区間特徴量と前記比較先区間特徴量それぞれに対し、ＤＰ（Dynamic Programming）マッチングにより前記比較元区間特徴量と前記比較先区間特徴量との距離をできるだけ小さくする補正を行うステップと、
   前記補正が行われた前記比較元区間特徴量と前記比較先区間特徴量とを区間ごとに比較することにより前記比較元ファイルと前記比較先ファイルとの類似度を評価するステップと
   を含んだことを特徴とする類似度評価方法。
7. バージョンが異なる実行ファイルである比較元ファイルと比較先ファイルとの類似度を評価するための類似度評価プログラムであって、
   前記比較元ファイルを複数の区間に分割した比較元分割ファイルと、前記比較先ファイルを前記複数の区間に分割した比較先分割ファイルとを生成するステップと、
   前記比較元分割ファイルの区間ごとの所定のエントロピー値である比較元区間特徴量と、前記比較先分割ファイルの区間ごとの前記エントロピー値である比較先区間特徴量とを生成するステップと、
   前記比較元区間特徴量と前記比較先区間特徴量それぞれに対し、ＤＰ（Dynamic Programming）マッチングにより前記比較元区間特徴量と前記比較先区間特徴量との距離をできるだけ小さくする補正を行うステップと、
   前記補正が行われた前記比較元区間特徴量と前記比較先区間特徴量とを区間ごとに比較することにより前記比較元ファイルと前記比較先ファイルとの類似度を評価するステップと
   をコンピュータに実行させることを特徴とする類似度評価プログラム。

Images