JPWO2018159010A1 - 選択装置、選択方法及び選択プログラム - Google Patents

選択装置、選択方法及び選択プログラム Download PDF

Info

Publication number
JPWO2018159010A1
JPWO2018159010A1 JP2019502451A JP2019502451A JPWO2018159010A1 JP WO2018159010 A1 JPWO2018159010 A1 JP WO2018159010A1 JP 2019502451 A JP2019502451 A JP 2019502451A JP 2019502451 A JP2019502451 A JP 2019502451A JP WO2018159010 A1 JPWO2018159010 A1 JP WO2018159010A1
Authority
JP
Japan
Prior art keywords
macro
text
selection
unit
document file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019502451A
Other languages
English (en)
Other versions
JP6708781B2 (ja
Inventor
利宣 碓井
誠 岩村
健 矢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2018159010A1 publication Critical patent/JPWO2018159010A1/ja
Application granted granted Critical
Publication of JP6708781B2 publication Critical patent/JP6708781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/353Clustering; Classification into predefined classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/567Computer malware detection or handling, e.g. anti-virus arrangements using dedicated hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Virology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

選択装置(10)は、マクロ付き文書ファイル内のマクロからマクロの特徴量を取得するマクロ分析部(15A)と、文書ファイル内のテキストからテキストの特徴量を取得するテキスト分析部(157)と、マクロの特徴量とテキストの特徴量とを用いてクラスタリングを実施するクラスタ分析部(158)と、クラスタ分析結果に基づいて、解析対象の文書ファイルを選択する選択部(159)と、を有し、解析対象となるマクロ付き文書ファイルを効率的かつ高精度に選択できる。

Description

本発明は、選択装置、選択方法及び選択プログラムに関する。
Microsoft Office(登録商標)向け文書において、マクロを用いた悪性文書ファイル(以下、悪性マクロ付き文書ファイルという。)による脅威が顕在化している。悪性文書ファイルは、内容を閲覧するためにこのファイルをビューアアプリケーション(以下、ビューアという。)で開くと、攻撃が開始され、マルウェアの感染に至るように構成された文書ファイルである。悪性マクロ付き文書ファイルは、このファイルをビューアで開き、マクロが実行されることにより、攻撃が開始される文書ファイルである。
このマクロを利用できる文書ファイルとしては、Microsoft Office文書があり、ファイル形式の一例としては、DOC、XLS、PPTといったOLE(Object Linking and Embedding)形式の文書ファイルや、DOCM、XLSM、PPTMといった、マクロ有効化されたOffice Open XML(以下、OOXMLという。)形式の文書ファイルがある。
これらは、Visual Basic for Applications(以下、VBAという。)というプログラミング言語を用いて記述されたマクロを内包できる。VBAを用いたマクロでは、Windowsの提供するAPI(Application Programming Interface)や、ActiveXオブジェクトなどを利用できるため、攻撃者が実現しようとする動作の大半をマクロによって実現できてしまう。そのため、悪性マクロが実行された際にユーザに及ぼす影響度は大きい。
また、エクスプロイトコードを用いて脆弱性を攻略する悪性文書ファイルでは、攻撃の実現に、悪用可能な脆弱性の発見を必要とし、さらに、攻撃対象の環境がこの脆弱性を有する必要があるという制約が存在する。その一方で、悪性マクロを用いた悪性文書ファイルでは、このような脆弱性の攻略が必要ないという点で、攻撃の実現が比較的容易である。以上のことから、悪性マクロ付き文書ファイルへの対策の重要性は高い。
このような悪性マクロ付き文書ファイルからユーザを保護するために、ビューア側で防御機構を提供することが一般的となっている。例えば、前述のOLE形式の文書ファイルに対する最も一般的なビューアであるMicrosoft Officeは、保護ビューと呼ばれるサンドボックスを具備している。保護ビューは、編集機能を無効にした読み取り専用モードであり、保護ビューでは、ユーザが許可しない限り、マクロを実行させることがない。このため、ビューアで悪性マクロ付き文書ファイルを開いた後、直ちにマルウェアに感染してしまう、といった状況を防止できる。このような防御機構の影響もあり、2000年台初頭以降、悪性マクロ付き文書ファイルは、概ね観測されない状態が続いていた。
ところが、近年では、悪性マクロ付き文書ファイルが再び出現している。これらの悪性マクロ付き文書ファイルは、ユーザに対して保護ビューを無効にするように巧妙に誘導する、いわゆるソーシャルエンジニアリングのためのテキストを文書中に備える。悪性マクロ付き文書ファイルは、これによって、ユーザに自ら保護ビューを解除させ、マクロを実行可能にさせるという手法により、保護ビューの影響を受けることなく攻撃を実現する。保護ビューのような防御機構は、ユーザによって無効にされてしまえば、効果を発揮することができない。このため、このようなソーシャルエンジニアリングの攻撃手法によって、防御機構が十分に機能を果たせなくなってしまう。
このような悪性マクロ付き文書ファイルは、キャンペーンで多用される。キャンペーンとは、短期間に多数の標的に対して攻撃を実施する一連の攻撃である。悪性なファイルを用いたキャンペーンでは、単一の組織内の多数の標的に対してファイルを送信されることが多い。そのため、組織の入口対策においては、大量の悪性マクロ付き文書ファイルに対して効率的に悪性判定する手法が希求される。
そこで、悪性マクロ付き文書ファイルによる脅威を検出し、対策をとっていくための一つの有効な技術として、動的解析に基づく検出技術がある。動的解析は、検査対象の文書ファイルをビューアで開いてマクロを実行し、これが悪性な振る舞いを示すか否かを監視することによって、悪性文書ファイルを検出する手法である。
マクロへの対策のための動的解析として、従来、以下に挙げる手法が提案されている。例えば、プロセス及びファイルを監視しながら、文書ファイルをビューアアプリケーションで開いてマクロの悪性な動作を実行させることによって、動的に検知する手法が提案されている(例えば、非特許文献1参照)。近年のマクロの多くは、マルウェアのダウンロードやドロップ、実行をおもな悪性な挙動としているため、ファイルの作成やプロセスの生成を監視することによって、その悪性な振る舞いの特徴を捉えることができる。したがって、この非特許文献1記載の手法によれば、悪性マクロ付き文書ファイルを検出できると考えられる。
また、例えば、文書ファイル内で閉じた動作をするマクロのみの実行を許可し、文書ファイル外の環境への干渉を禁止するという動的な手法が提案されている(例えば、非特許文献2参照)。近年のマクロの持つ悪性動作の多くは、文書ファイル外のシステムの機能を必要とする。このため、この非特許文献2記載の手法によれば、悪性マクロを検出できると考えられる。
そして、悪性マクロ付き文書ファイルに対する対策のための他の有効な技術として、静的解析に基づく検出技術がある。例えば、文書ファイル内やマクロ内で用いられている単語の出現頻度に基づいて静的に悪性文書を検出する手法が提案されている(例えば、非特許文献3参照)。悪性マクロ付き文書ファイルの用いる単語には傾向があるため、この非特許文献3記載の手法によれば、一定の悪性マクロ、例えば、難読化されていない悪性マクロを、比較的高速で検出できると考えられる。
K. Tanuja, CH. Praneeth, Dr D. Haritha, "Dissecting Malicious Word, PDF Documents", International Journal of Science Engineering and Advance Technology, Vol. 3, No. 3, pp. 61−68 J. Dechaux, E. Filiol, "Proactive defense against malicious documents: formalization, implementation and case studies", Journal of Computer Virology and Hacking Techniques, Volume 12, Issue 3, pp. 191−202 Jing-Yao Lin, Hsing-Kuo Pao, "Multi-View Malicious Document Detection", In Proceedings of the Conference on Technologies and Applications of Artificial Intelligence (TAAI), 2013, pp. 170−175
しかしながら、サンドボックスや非特許文献1,2に記載の手法に代表される動的解析手法では、検査対象の文書ファイルを仮想環境上でマクロを実行させ、悪性な挙動を検出するために、中期的観測(たとえば、一般的なサンドボックスでは5分程度)を実施する必要があり、ファイルの検査に一定の時間を要するという共通した低速性の問題があった。このため、動的解析手法では、キャンペーンと呼ばれる攻撃のように、単一組織に多数のファイルが送信される場合には、適用が困難であった。
また、非特許文献3に記載の手法では、静的手法のため、難読化された悪性マクロの特徴を捉えられず、文書に出現する単語の特徴のみでは、攻撃者の回避が可能となってしまい、検出精度が低下し得るという問題があった。
本発明は、上記に鑑みてなされたものであって、解析対象となるマクロ付き文書ファイルを効率的かつ高精度に選択できる選択装置、選択方法及び選択プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る選択装置は、マクロ付き文書ファイル内のマクロからマクロの特徴量を取得するマクロ分析部と、文書ファイル内のテキストからテキストの特徴量を取得するテキスト分析部と、マクロの特徴量とテキストの特徴量とを用いてクラスタリングを実施するクラスタ分析部と、クラスタリングの結果に基づいて、解析対象の文書ファイルを選択する選択部と、を有することを特徴とする。
本発明によれば、解析対象となるマクロ文書を効率的かつ高精度に選択できる。
図1は、実施の形態に係る選択装置の構成の一例を説明する図である。 図2は、図1に示すファイルハッシュデータベース(DB)が記憶するデータのデータ形式の一例を示す図である。 図3は、図1に示すマクロ特徴量DBが記憶するデータのデータ形式の一例を示す図である。 図4は、図1に示すテキスト特徴量DBが記憶するデータのデータ形式の一例を示す図である。 図5は、図1に示すエミュレータの構成の一例を説明する図である。 図6は、図1に示す選択装置の選択処理の処理手順を示すフローチャートである。 図7は、図6に示すテキスト分析処理の処理手順を示すフローチャートである。 図8は、図6に示すマクロ分析処理の処理手順を示すフローチャートである。 図9は、図8に示すエミュレータ実行処理の処理手順を示すフローチャートである。 図10は、図6に示すクラスタ分析処理の処理手順を示すフローチャートである。 図11は、図6に示すクラスタ分析処理の他の処理手順を示すフローチャートである。 図12は、図6に示す選択処理の処理手順を示すフローチャートである。 図13は、プログラムが実行されることにより、選択装置が実現されるコンピュータの一例を示す図である。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[実施の形態]
実施の形態に係る選択装置について、選択装置の概略構成、及び、選択装置における処理の流れ及び具体例を説明する。
本実施の形態に係る選択装置は、高速な特徴抽出に基づくクラスタリングを実施して類似検体を同一クラスタに分類し、解析対象をクラスタの代表点のみに絞り込むことで、解析のプロセス全体を効率化する。これは、キャンペーンで用いられる多数の悪性マクロ付き文書ファイルは、互いに高い類似性を持つ傾向があるためであり、類似検体をまとめあげることで、類似検体を繰り返し解析することを防ぐ意味を持つ。また、本実施の形態に係る選択装置は、クラスタリングのための特徴抽出には、マクロのエミュレーション実行により、難読化に妨害されない悪性マクロの挙動の特徴を捉えるとともに、文書のテキスト分析により、ソーシャルエンジニアリングのためのテキストの特徴を捉え、攻撃に必須となる両方の特徴を用いた高精度なマルチモーダルクラスタリングを実現する。
ここで、クラスタリングとは、分類対象の集合を、内的結合(internal cohesion)と外的分離(external isolation)が達成されるような部分集合に分割することである(詳細は、大橋 靖雄,“分類手法概論”, 計測と制御, Vol. 24, No. 11, pp. 999−1006, 1985参照)。また、マルチモーダルクラスタリングとは、複数の異なる観点からの特徴量に基づいてクラスタリングを実現することである。
[選択装置の構成]
そこで、図1を参照して、実施の形態に係る選択装置の構成について説明する。図1は、実施の形態に係る選択装置の構成の一例を説明する図である。図1に示すように、選択装置10は、入力部11、出力部12、通信部13、記憶部14、制御部15、エミュレータ16、ファイルハッシュデータベース(DB)17、マクロ特徴量DB18、テキスト特徴量DB19を有する。
入力部11は、選択装置10の操作者からの各種操作を受け付ける入力インタフェースである。例えば、入力部11は、タッチパネル、音声入力デバイス、キーボードやマウス等の入力デバイスによって構成される。出力部12は、例えば、液晶ディスプレイなどの表示装置、プリンタ等の印刷装置、情報通信装置等によって実現され、選択処理に関する情報を出力する。
通信部13は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部13は、NIC(Network Interface Card)等で実現され、LAN(Local Area Network)やインターネットなどの電気通信回線を介した他の装置と制御部15(後述)との間の通信を行う。例えば、通信部13は、検査対象となる未知文書ファイル群(検査対象未知文書ファイル群100)を、制御部15に入力する。また、通信部13は、選択装置10による選択結果情報を、他の装置、或いは、該選択装置10を有する本体装置に送信する。
記憶部14は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置である。なお、記憶部14は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。記憶部14は、選択装置10で実行されるOS(Operating System)や各種プログラムを記憶する。さらに、記憶部14は、プログラムの実行で用いられる各種情報を記憶する。
制御部15は、選択装置10全体を制御する。制御部15は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。また、制御部15は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部15は、各種のプログラムが動作することにより各種の処理部として機能する。制御部15は、ハッシュ検査部151、ファイル形式判定部152、要素抽出部153、マクロ分析部15A、テキスト抽出部156、テキスト分析部157、クラスタ分析部158及び選択部159を有する。
ハッシュ検査部151は、入力されるすべてのファイルのハッシュ値を計算する。ハッシュ検査部151は、計算の結果、同一のハッシュ値を持つファイルが存在する場合には、重複であるとして1つのファイルを残して分析対象から取り除く。ハッシュ検査部151は、計算されたハッシュ値を、ファイルハッシュDB17(後述)に記憶させる。同一のハッシュ値を持つファイルが存在するか否かの確認は、このファイルハッシュDB17の検索により実現する。ハッシュ検査部151は、ハッシュ値の計算手法として、暗号学的ハッシュ関数を用いる。この暗号学的ハッシュ関数は、強衝突耐性を保持しているものが望ましい。ハッシュ検査部151は、暗号学的ハッシュ関数として、例えば、SHA-2を用いてもよく、SHA-3を用いてもよい。
ファイル形式判定部152は、入力されるすべてのファイルに対し、いずれのファイル形式によって構成されているファイルであるかを判定する。ファイル形式判定部152は、入力されたファイルについて、このファイルのヘッダやファイル構造の特徴に基づいて、ファイルの形式を判別する。例えば、ファイルの形式として、マクロを内包可能なMicrosoft Office文書である、DOC、XLS、PPT、DOCM、XLSM、PPTMなどが想定される。もちろん、マクロを持ち得ないファイルタイプであれば、本選択装置の対象から除外する。
要素抽出部153は、文書ファイルの構文解析により、文書ファイル中からマクロ及び画像を抽出する。要素抽出部153は、抽出したマクロを実行部154(後述)に入力する。また、要素抽出部153は、抽出した画像を、文書ファイルとともにテキスト抽出部156(後述)に入力する。要素抽出部153は、マクロの抽出を、文書ファイルのファイルフォーマットの定義に従った構文解析によって実現する。そして、要素抽出部153は、画像の抽出を、前述した構文解析によって実施してもよく、また、ファイルカービングによって実現してもよい。なお、ファイルカービングとは、ファイル中に埋め込まれた他のファイルを、埋め込まれたファイルのマジックナンバーやファイルヘッダ、ファイルフォーマットによって抽出する処理である。
マクロ分析部15Aは、マクロ付き文書ファイル内のマクロからマクロの特徴量を取得する。マクロ分析部15Aは、実行部154及び実行トレース解析部155を有する。実行部154は、エミュレーション実行の準備をするとともに、エミュレータとのインタフェースとなる。実行部154は、マクロを入力として受け取り、エミュレータ16にエミュレーション実行させることによって、実行トレースを取得して出力することを目的とする。なお、実行トレースとは、マクロの実行により得られた、マクロのプロファイル情報である。
実行部154は、まず、エミュレーション実行の準備として、解析対象のマクロを結合し、一繋がりのマクロとする。これは、入力されたマクロが複数のマクロに分割されている場合があるためである。
次に、実行部154は、エミュレーション実行のためのエントリーポイント(マクロの実行開始点)を探索する。実行部154は、エントリーポイントの探索として、まず、マクロ中を走査し、AutoOpenをはじめとする自動マクロを探索する。実行部154は、自動マクロが存在する場合には、この自動マクロをエントリーポイントとして抽出する。
そして、実行部154は、自動マクロが存在しない場合、マクロ中にイベントプロシージャが存在しないかを調べる。実行部154は、マクロ中にイベントプロシージャが存在する場合には、このイベントプロシージャをエントリーポイントとして抽出する。そして、実行部154は、抽出したエントリーポイントから、エミュレータ16(後述)を用いてマクロを実行することによって、実行トレースを取得する。そして、実行部154は、取得した実行トレースを実行トレース解析部155へ出力する。
実行トレース解析部155は、実行部154から出力された実行トレースを解析し、特徴抽出を実施することによって、マクロ特徴量を取得する。実行トレース解析部155は、取得したマクロ特徴量をマクロ特徴量DB18に格納する。したがって、実行部154及び実行トレース解析部155は、文書ファイル内のマクロからマクロの特徴量を取得する機能を有する。
テキスト抽出部156は、文書ファイルおよび文書ファイルから抽出された画像ファイルを入力として受け取り、テキストを抽出して出力する。まず、テキスト抽出部156は、文書ファイルを構文解析することによって、文書ファイル中に含まれるテキストを抽出する。この処理は、文書ファイルのファイルフォーマットの定義に従った構文解析によって実現できる。また、テキスト抽出部156は、画像ファイルに対して、既存のOCR(Optical Character Recognition:光学文字認識)技術を適用することにより、画像ファイル中のテキストを抽出する。この処理は、既存のOCRライブラリや、Google(登録商標) Cloud Vision APIなどのサービスを用いて実現可能である。以降、この画像からテキスト抽出部156が抽出したテキストは、文書ファイルから抽出されたテキストと合わせて処理される。
テキスト分析部157は、文書ファイルから抽出されたテキストを入力として受け取り、自然言語処理によって特徴抽出を実施することで、テキスト特徴量を取得する。テキスト分析部157は、自然言語処理の処理として、分かち書き、不明語の除去、ストップワード除去、ステミング、同義語の統一、言語モデル抽出の処理を実行する。
テキスト分析部157は、まず、抽出されたテキスト中に含まれた文章を分かち書きする。分かち書きとは、文章を語ごとに分割することである。続いて、テキスト分析部157は、一定以上の長さの語を除去する。これは、悪性マクロ付き文書ファイルでは意味のないランダムな文字の羅列がしばしば用いられるためである。この際、テキスト分析部157は、長さを除去の基準とする代わりに、辞書を用いて、辞書に含まれていない語を除去するようにしてもよい。
そして、テキスト分析部157は、ストップワードの除去を行う。ストップワードとは、どの文書にも共通的に高頻度で出現する語のことで、精度の低下を招くため削除する。例えば、英語では、代名詞、助動詞、前置詞などが該当する。ストップワードの除去は、オープンデータのストップワードのコーパスを用いて、該当した語を除去することで実現できることが一般に知られている。
続いて、テキスト分析部157は、ステミングを実施する。ステミングとは、語幹を抽出する処理であり、同じ語幹を持つが語形が変化している場合の処理である。例として、enabledやenablingは、ステミングによってenableに変換される。そして、テキスト分析部157は、同義語の統一処理を実施する。これは、同じ意味を持つが異なる単語が使われているものを統一し、より意味に焦点を当てるための処理である。例として、enableとpermitは一つの素性に統一される。これによって、単語の言い換えによる回避を防ぐことが期待できる。こうした同義語の統一は、同義語辞書を用いて実現できる。そして、テキスト分析部157は、これらの処理を施したテキストから、特徴抽出を実施する。したがって、テキスト抽出部156及びテキスト分析部157は、文書ファイル内のテキストからテキストの特徴量を取得する機能を有する。
なお、本実施の形態では、N-gramによる特徴抽出を実施した例について説明する。このN-gramとは、隣り合うN個の語を一要素としたモデルであり、要素の各々の出現回数を数え上げ、数え上げた出現回数を特徴量とする。テキスト分析部157は、上述した処理によって得られた特徴量をテキスト特徴量として、テキスト特徴量DB19(後述)に格納する。なお、本実施の形態では、N-gramによる特徴抽出を実施した例について説明したが、もちろん、特徴抽出処理の設計はこれに限るものではない。
クラスタ分析部158は、マクロ特徴量DB18及びテキスト特徴量DB19に格納された特徴量に基づいてクラスタリングを実施し、生成された各クラスタを出力する。クラスタ分析部158は、マクロ特徴量DB18及びテキスト特徴量DB19に格納されたデータに基づき、特徴ベクトルを生成する。
この特徴ベクトルは、各データ点(すなわち、本実施の形態では、各マクロ付き文書ファイル)のそれぞれの特徴量をまとめてベクトル表現にしたものであり、すべてのデータ点の特徴量を共通した次元のベクトルで表せるようにしたものである。例えば、あるデータが、Aが「1」、Bが「2」、Cが「3」という特徴量を持ち、別のデータ点が、Cが「3」、Dが「4」、Eが「5」という特徴量を持つとき、これらを共通した次元のベクトルで表現するためには、(A,B,C,D,E)というベクトルである必要がある。これにより、前者のデータは(1,2,3,0,0)という特徴ベクトルになり、後者のデータは、(0,0,3,4,5)という特徴ベクトルになる。
クラスタ分析部158は、マクロ特徴量とテキスト特徴量との双方に基づいたマルチモーダルクラスタリングを実現する必要がある。その実現方法として、2つの方法がある。第1の方法は、マクロ特徴量とテキスト特徴量とを事前に統合した特徴ベクトルを生成し、それに基づいてクラスタリングする方法である。第2の方法は、マクロ特徴量によるクラスタリングの結果とテキスト特徴量によるクラスタリングの結果とを統合する方法である。結果を統合する方法として、例えば、各結果のANDをとるものと、ORをとるものとが考えられるが、これに限るものではない。また、特徴量を統合する方法として、例えば、特徴ベクトルを連結する方法や、Deep AutoEncoderを用いる方法が考えられるが、これに限るものではない。
クラスタリングアルゴリズムは、以下の要件に適合するものを選択する。第1に、多数の文書ファイルを高速に処理することを目的としているため、計算量が小さいアルゴリズムである必要がある。第2に、クラスタリング時にクラスタ数が判明していないため、クラスタ数を事前に設定する必要のないアルゴリズムを選択する必要がある。クラスタリング時にクラスタ数が判明しないのは、クラスタ数が、攻撃者がキャンペーン内で用いる悪性マクロ付き文書ファイルの種類数や、良性マクロ付き文書ファイルの種類数に左右されるためである。
そして、クラスタリングアルゴリズムについては、前述の2つの要件がある一方、階層構造は必要としない。したがって、クラスタリングアルゴリズムとして、計算量の要件から、階層型クラスタリングと比較して、一般に計算量が小さい非階層型クラスタリングのアルゴリズムが望まれる。また、クラスタ数がクラスタリング時に判明していないことから、事前にクラスタ数を与えるのではなく、予め設定した停止条件を満たすまでクラスタの分割を続けるアルゴリズムが適している。こうした条件を満たすクラスタリングアルゴリズムの一つにX-meansがあるが、これに限らず、K-meansを改造して独自の停止条件を付加したアルゴリズムを用いてもよく、その他のアルゴリズムを用いてもよい。
選択部159は、クラスタ分析部158で生成されたクラスタを入力として受け取り、解析すべき文書ファイルを選定した結果を出力する。選択部159は、各クラスタの代表点のみを解析し、その解析による判定結果の悪性または良性をそのクラスタに属するデータ全体の判定とすることで、実質的に解析すべき対象を絞り込む。これは、マクロを内包した文書ファイル群をクラスタリングする際、悪性なものは強く凝縮されたクラスタを生成しやすく、かつ、良性なものと混合したクラスタになりづらいという特長による。
選択部159は、各クラスタの重心を計算し、重心に最も近いデータ点をクラスタの代表点として用いる。このとき、距離計算には、ユークリッド距離を用いるのが一般的であるが、それ以外の距離尺度を用いてもよい。さらに、選択部159は、クラスタ内に属するデータ点の数を調べ、多いクラスタの代表点を優先的に詳細解析するように優先順位付けする。これは、キャンペーンにおいて、類似した悪性マクロ付き文書ファイルが大量に用いられるため、悪性なクラスタはクラスタ内のデータ点が多くなりやすいためである。また、代表点の一ファイルの判定結果がクラスタ全体の判定結果となるため、より影響の大きいものから選ぶ意味もある。選択部159は、この処理によって得られた、優先順位付きの解析すべきファイルの一覧を、選択結果として出力する。
エミュレータ16は、マクロおよびエントリーポイントを受け取り、VBAの仕様に基づき実行する機構である。エミュレータ16の詳細な構成は後述する。
ファイルハッシュDB17は、入力された文書ファイルに対応するハッシュ値を記憶するデータベースである。マクロ特徴量DB18は、実行トレース解析部155で抽出されたマクロ特徴量を記憶するデータベースである。テキスト特徴量DB19は、テキスト分析部157で抽出されたテキスト特徴量を記憶するデータベースである。これらのファイルハッシュDB17、マクロ特徴量DB18及びテキスト特徴量DB19は、通信部13を介して制御部15と通信する、ストレージを内蔵する汎用のサーバ装置等であってもよい。
[ファイルハッシュDBが記憶するデータのデータ形式]
次に、ファイルハッシュDB17が記憶するデータのデータ形式の一例について説明する。図2は、図1に示すファイルハッシュDB17が記憶するデータのデータ形式の一例を示す図である。
図2の表T1に示すように、ファイルハッシュDB17は、スキーマとして、「id」、「file_name」、「hash_val」の3つの属性を持つ。「id」は、データベースに格納されているレコードの通し番号である。「file_name」は、文書ファイルのファイル名である。「hash_val」は、「file_name」を持つファイルのハッシュ値である。
[マクロ特徴量DBが記憶するデータのデータ形式]
次に、マクロ特徴量DB18が記憶するデータのデータ形式の一例について説明する。図3は、図1に示すマクロ特徴量DB18が記憶するデータのデータ形式の一例を示す図である。なお、図3の表T2に示す例では、特徴抽出にN-gramを用いている。ただし、N-gram以外の方法によって特徴抽出が実行されてもよい。
マクロ特徴量DB18は、スキーマとして、「id」、「hash_val」、「ngram_1」、「ngram_...」、「ngram_N」、「value」の属性を持つ。「id」は、データベースに格納されているレコードの通し番号である。「hash_val」は、マクロが含まれていた文書ファイルのハッシュ値である。「ngram_1」から「ngram_N」までが、特徴を示す属性である。ここで、「N」には実際の数値が入り、「N-gram」の「N」の値に等しい。
具体的には、3-gramによる特徴抽出を実施している場合、属性は「ngram_1,ngram_2,ngram_3」となる。もちろん、4-gramによる特徴抽出であれば「ngram_4」が追加され、5-gramであれば、さらに「ngram_5」が追加される。また、「ngram_1, …, ngram_X, …, ngram_N」において、「ngram_X」は、N-gramのX番目の構成要素である。このため、3-gramでの特徴抽出において、「ngram_2」は2番目の構成要素を示す。「value」は、対応する特徴量を数値で格納する。N-gramによる特徴抽出では、対応するN-gramの要素が出現する回数となる。
1レコードの具体例を挙げる。例えば、3-gramで特徴抽出するものとしたとき、あるマクロの実行トレース中に、(CreateObject, Adodb.Stream.open, Adodb.Stream.write)という順序の呼び出しが4回出現したとする。この場合には、ngram_1が「CreateObject」、ngram_2が「Adodb.Stream.open」、ngram_3が「Adodb.Stream.write」となり、valueが「4」となる。なお、実行トレース解析部155がN-gram以外による特徴抽出をする場合は、ngram_1からngram_Nまでの部分を特徴抽出に応じた属性に変更する。
[テキスト特徴量DBが記憶するデータのデータ形式]
次に、テキスト特徴量DB19が記憶するデータのデータ形式について説明する。図4は、図1に示すテキスト特徴量DB19が記憶するデータのデータ形式の一例を示す図である。図4の表T3に示す例では、特徴抽出にN-gramを用いている。ただし、N-gram以外の方法によって特徴抽出が実行されてもよい。
テキスト特徴量DB19は、特徴抽出にN-gramを用いる場合には、スキーマとして、マクロ特徴量DB18と同じく、「id」、「hash_val」、「ngram_1」、「ngram_...」、「ngram_N」、「value」の属性を持つ。また、N-gram以外による特徴抽出をする場合は、ngram_1からngram_Nまでの部分を特徴抽出に応じた属性に変更することも同様である。
[エミュレータの構成]
本実施の形態に係る選択装置10は、エミュレータ16を用いてマクロを実行することによって、実行トレースを取得する。選択装置10がエミュレータ16を必要とするのは、VBAの実行環境に、変更を加えられるサードパーティの実装が存在しないためである。また、柔軟な解析を実現するためには、エミュレータの実装が必要となる。
このため、図1に示すエミュレータ16の構成について説明する。図5は、図1に示すエミュレータ16の構成の一例を説明する図である。エミュレータ16は、字句解析部161、構文解析部162、中間表現生成部163、実行部164、APIハンドラ部165、オブジェクトハンドラ部166、ドキュメントインタフェース部167及び記録部168から構成される。
エミュレータ16は、入力としてVBAで記述されたマクロ(分析対象マクロ200)と、そのエントリーポイントとを受け取る。エミュレータ16は、受け取ったマクロを、エントリーポイントを起点としてエミュレーション実行し、実行トレースを出力する。
まず、字句解析部161は、マクロを走査してプログラムを構成する要素の最小単位(トークン)の並びとして認識する。
そして、構文解析部162は、字句解析結果を基に、VBAの仕様(詳細は、[MS-VBAL]: VBA Language Specification, Microsoft、[online]、[平成29年2月15日検索]、インターネット<URL:https://msdn.microsoft.com/ja-jp/library/dd361851.aspx>参照)に従い、マクロの構文解析を実施する。
中間表現生成部163は、構文解析結果に基づいて、中間表現を生成する。中間表現には、独自に定義した表現を用いてもよく、LLVM IRやVEX IRなどの既存の中間表現を用いてもよく、Pythonなど既存の言語で記述する形でもよい。
実行部164は、生成された中間表現をエミュレーション実行していく。このエミュレーション実行の際には、変数をシンボルとして扱いながら実行する設計(シンボリック実行と呼ばれる(詳細は、V. Chipounov, V. Kuznetsov and G. Candea, “S2E: A Platform for In-Vivo Multi-Path Analysis of Software Systems”,In Proceedings of the Sixteenth International Conference on Architectural Support for Programming Languages and Operating Systems, pp. 265−278, 2011参照))としてもよい。
ここで、シンボリック実行とは、プログラム実行時に変数をシンボルとして扱い、プログラムの実行結果を評価する手法である。シンボリック実行では、実行時には、シンボルを含んだ分岐条件を評価せず、プログラムの実行パスが網羅的に実行される。これにより、シンボリック実行では、解析妨害機能を具備したマクロを解析する場合であっても、妨害を回避し、網羅的な解析が期待できる。また、実行部164は、エミュレーション実行の際に、意図的に解析時間を長くするためのループが存在する場合に、検出して短縮するような機構を備えてもよい。
APIハンドラ部165は、エミュレーション実行中にAPI呼び出しがあった場合に、実行部164からAPI名及び引数を受け取り、それに対応した処理結果を返す。APIハンドラ部165は、例えば、Sleepなどを用いて意図的に解析時間を長くするような処理については、短縮するような処理としてもよい。また、APIハンドラ部165は、Eval関数が呼び出された場合、その引数であるマクロ(動的生成マクロ300)を、字句解析部161に入力する。Eval関数は、引数に与えられたマクロを実行する関数である。VBAは、動的言語であり、Eval関数によって動的生成されたコードが実行され得る。したがって、動的生成された動的生成マクロ300の追跡が必要となることから、APIハンドラ部165は、この動的生成マクロ300を字句解析部161に入力する。
オブジェクトハンドラ部166は、マクロのエミュレーション実行中にActiveXオブジェクトを生成し利用した場合、オブジェクトに関連する情報を受け取り、対応した処理結果を返す。オブジェクトは、GetObject関数やCreateObject関数を用いて利用されるため、これらの呼び出しを基点とし、引数に基づいて動作する。オブジェクトに対応する処理の実現のために、AciveXオブジェクトの種類ごとに対応する処理をエミュレータ16のオブジェクトハンドラ部166に予め定義しておく。或いは、オブジェクトに対応する処理の実現のために、エミュレータ16のオブジェクトハンドラ部166が、実際にActiveXオブジェクトを呼び出して仲介する方法を採用してもよい。
ドキュメントインタフェース部167は、マクロがエミュレーション実行中に文書ファイル400中の要素を参照した場合に、文書を構文解析して、参照された要素への操作を実施する。ドキュメントインタフェース部167は、例えば、Range関数やCell関数を用いて表中の特定のセルの値を取得するといった操作を実施する。悪性マクロ付き文書ファイルでは、文書内の特定の表中のセルにマクロの一部を保存しておき、マクロの実行時にこのセルを参照して動的に実行する、というような挙動が見られるため、このドキュメントインタフェース部167が必要となる。
記録部168は、APIハンドラ部165とオブジェクトハンドラ部166とでのAPI呼び出しやオブジェクトメソッド呼び出しを監視し、実行トレースとして出力する。記録部168は、実行トレースとして、APIやオブジェクトメソッドの呼び出しと、その引数、返り値とを一組として時系列で記録する。
[選択装置の選択処理]
次に、選択装置10の選択処理の処理手順について説明する。図6は、図1に示す選択装置10の選択処理の処理手順を示すフローチャートである。
図6に示すように、選択装置10は、まず、検査対象未知文書ファイル群100を入力として受け取る(ステップS1)。そして、選択装置10は、受け取った検査対象未知文書ファイル群100の中から、初めに処理するファイルを取り出す(ステップS2)。続いて、このファイルに対して、ハッシュ検査部151が、ファイルのハッシュ値を計算する(ステップS3)。そして、ハッシュ検査部151は、計算されたハッシュ値でファイルハッシュDB17を検索する(ステップS4)。
ハッシュ検査部151は、計算されたハッシュ値が検索に該当したか否かを判断する(ステップS5)。計算されたハッシュ値が検索に対して該当するとハッシュ検査部151が判断した場合(ステップS5:Yes)、制御部15は、そのファイルと同一のファイルが既に処理されており、これ以上の処理を必要としないものとして、次に処理するファイルを取り出す(ステップS6)。そして、制御部15は、ステップS3に戻り、このファイルに対するハッシュ値の計算処理を行う。
一方、計算されたハッシュ値が検索に該当しないとハッシュ検査部151が判断した場合(ステップS5:No)、計算されたハッシュ値をファイルハッシュDB17に格納する(ステップS7)。次に、ファイル形式判定部152が、ヘッダやファイル構造を基にファイル形式を判定する(ステップS8)。そして、ファイル形式判定部152は、マクロを含まないファイル形式であるか否かを判断する(ステップS9)。ファイル形式判定部152は、マクロを含まないと判断した場合は(ステップS9:No)、選択装置10の処理対象外であるとして、次に処理するファイルを取り出し(ステップS6)、ステップS3に戻る。ファイル形式判定部152は、マクロを含むと判断した場合は(ステップS9:Yes)、要素抽出部153が、文書ファイルからマクロ及び画像を抽出する(ステップS10)。次に、テキスト抽出部156及びテキスト分析部157が、テキスト分析処理を実施する(ステップS11)。
続いて、マクロ分析部15Aが、マクロ分析処理を実施する(ステップS12)。続いて、制御部15は、入力されたすべての文書ファイルを処理したか否かを判断する(ステップS13)。制御部15は、入力されたすべての文書ファイルを処理していないと判断した場合(ステップS13:No)、次に処理するファイルを取り出し(ステップS6)、ステップS3に戻る。
一方、制御部15は、入力されたすべての文書ファイルを処理したと制御部15が判断した場合(ステップS13:Yes)、クラスタ分析部158は、クラスタ分析処理を実施する(ステップS14)。そして、選択部159は、解析対象となる文書ファイルを選択する選択処理を実施し(ステップS15)、得られた詳細解析対象の文書ファイルを出力して(ステップS16)、終了する。
[テキスト分析処理の処理手順]
次に、テキスト分析処理の処理手順について説明する。このテキスト分析処理は、テキスト抽出部156が入力を受け取ってから、テキスト分析部157が処理を完了するまでの処理を含む。図7は、図6に示すテキスト分析処理の処理手順を示すフローチャートである。
まず、テキスト抽出部156は、文書ファイル及び該文書ファイルから抽出した画像ファイルを入力として受け取る(ステップS21)。ここで、文書ファイル中に画像ファイルが存在する場合と存在しない場合がある。このため、テキスト抽出部156は、画像ファイルが入力として受け取ったファイル中に存在するか否かを判断する(ステップS22)。
テキスト抽出部156は、画像ファイルが入力として受け取ったファイル中に存在すると判断した場合(ステップS22:Yes)、OCRにより画像ファイルから、すべてのテキストを抽出する(ステップS23)。テキスト抽出部156は、画像ファイルが文書ファイル中に存在しないと判断した場合(ステップS22:No)、或いは、ステップS23終了後、文書ファイルに対する構文解析により、文書ファイルからすべてのテキストを抽出する(ステップS24)。
そして、テキスト分析部157は、ステップS23およびステップS24の処理によって抽出されたテキスト群の中から、初めに処理するテキストを取り出す(ステップS25)。そして、テキスト分析部157は、そのテキストを分かち書きする(ステップS26)。続いて、テキスト分析部157は、分かち書きによってできた語の並びから、先頭の語を取り出す(ステップS27)。
テキスト分析部157は、取り出した語が不明語であるか否かを判断する(ステップS28)。テキスト分析部157は、取り出した語が不明語であると判断した場合(ステップS28:Yes)、この語は、除去対象であるため、処理を停止して、次の語を取り出し(ステップS29)、ステップS28に戻る。
一方、テキスト分析部157は、取り出した語が不明語でないと判断した場合(ステップS28:No)、この取り出した語がストップワードであるか否かを判断する(ステップS30)。テキスト分析部157は、取り出した語がストップワードであると判断した場合(ステップS30:Yes)、この語は、除去対象であるため、処理を停止して、次の語を取り出し(ステップS29)、ステップS28に戻る。
これに対し、テキスト分析部157は、取り出した語がストップワードでないと判断した場合(ステップS30:No)、この取り出した語に対してステミングを実施する(ステップS31)。さらに、テキスト分析部157は、この語に同義語が存在する場合には、同義語を統一する(ステップS32)。そして、テキスト分析部157は、一テキスト中のすべての語を処理したか否かを判断する(ステップS33)。
テキスト分析部157は、一テキスト中のすべての語を処理していないと判断した場合(ステップS33:No)、次の語を取り出し(ステップS29)、ステップS28に戻る。これに対し、テキスト分析部157は、一テキスト中のすべての語を処理したと判断した場合(ステップS33:Yes)、次にすべてのテキストを処理したかを判断する(ステップS34)。
テキスト分析部157は、すべてのテキストを処理していないと判断した場合(ステップS34:No)、次のテキストを取り出し(ステップS35)、ステップS26に戻り、この取り出したテキストに対する処理を行う。一方、テキスト分析部157は、すべてのテキストを処理したと判断した場合(ステップS34:Yes)、N-gramにより特徴抽出を実施する(ステップS36)。そして、テキスト分析部157は、抽出した特徴量をテキスト特徴量DB19に格納し(ステップS37)、テキスト分析処理を終了する。
[マクロ分析処理の処理手順]
次に、マクロ分析処理の処理手順について説明する。マクロ分析処理は、実行部154が入力を受け取ってから、実行トレース解析部155が処理を完了するまでの処理を含む。図8は、図6に示すマクロ分析処理の処理手順を示すフローチャートである。
まず、実行部154は、マクロを入力として受け取る(ステップS41)。そして、実行部154は、マクロが複数存在するか否かを判断する(ステップS42)。実行部154は、マクロが複数存在すると判断した場合(ステップS42:Yes)、これらの複数のマクロを結合する(ステップS43)。実行部154は、ステップS43の処理終了後、或いは、マクロが複数存在しないと判断した場合(ステップS42:No)、マクロを走査し、エントリーポイントを探索する(ステップS44)。
そして、実行部154は、エミュレータ16に、エミュレーション実行処理を実施させる(ステップS45)。そして、実行部154は、エミュレーション実行処理によって得られた実行トレースからAPI/メソッド呼び出しの列を受け取る(ステップS46)。実行部154は、受け取ったAPI/メソッド呼び出しの列を用いて、N-gramにより特徴抽出を行う(ステップS47)。そして、実行部154は、抽出した特徴量をマクロ特徴量DB18に格納し(ステップS48)、マクロ分析処理を終了する。
[エミュレーション実行処理の流れ]
次に、図8に示すエミュレーション実行処理の処理手順について説明する。図9は、図8に示すエミュレータ実行処理の処理手順を示すフローチャートである。
まず、エミュレータ16は、マクロおよびエントリーポイントを入力として受け取る(ステップS51)。そして、エミュレータ16では、字句解析部161がマクロを字句解析する(ステップS52)。さらに、構文解析部162は、字句解析の結果に対して、構文解析を実施する(ステップS53)。続いて、中間表現生成部163は、字句解析の結果及び構文解析の結果に基づいて、中間表現を生成する(ステップS54)。そして、エミュレータ16は、中間表現の初めのステップを取り出す(ステップS55)。ここで、初めのステップとは、中間表現中でエントリーポイントに対応する部分である。実行部164は、この中間表現のステップの処理を実行する(ステップS56)。
ここで、エミュレータ16は、API呼び出しがあったか否かを判断する(ステップS57)。API呼び出しがあったとエミュレータ16が判断した場合(ステップS57:Yes)、APIハンドラ部165がAPIに対応した処理を実行し(ステップS58)、記録部168がAPI呼び出しの情報を記録する(ステップS59)。
そして、エミュレータ16は、ステップS59終了後、或いは、API呼び出しがないと判断した場合(ステップS57:No)、Eval関数が呼び出されたか否かを判断する(ステップS60)。Eval関数が呼び出されたとエミュレータ16が判断した場合(ステップS60:Yes)、この引数を動的に生成された新たなマクロとし(ステップS61)、実行処理に移る。具体的には、この新たなマクロの先頭をエントリーポイントとして(ステップS62)、実行部164が、ステップS52〜ステップS70の処理を順次実行するエミュレーション実行処理を行い(ステップS63)、中間表現の次のステップを取り出した後(ステップS64)、ステップS56に進み、以降の処理を実行する。
一方、エミュレータ16は、Eval関数が呼び出されていないと判断した場合(ステップS60:No)、ActiveXオブジェクトの呼び出しがあるか判断する(ステップS65)。ActiveXオブジェクト呼び出しがあるとエミュレータ16が判断した場合(ステップS65:Yes)、オブジェクトハンドラ部166がオブジェクトに対応した処理を実行し(ステップS66)、記録部168がオブジェクトの生成やオブジェクトメソッドの呼び出しに関連する情報を記録する(ステップS67)。
エミュレータ16は、ActiveXオブジェクト呼び出しがないと判断した場合(ステップS65:No)、或いは、ステップS67の処理終了後、文書ファイルが参照されたかを判断する(ステップS68)。エミュレータ16は、文書ファイルが参照されたと判断した場合(ステップS68:Yes)、ドキュメントインタフェース部167が文書への処理、すなわち、文書を構文解析して、参照された要素への操作を実施する(ステップS69)。
エミュレータ16は、文書ファイルが参照されていないと判断した場合(ステップS68:No)、或いは、ステップS69の処理終了後、中間表現をすべて実行したか否かを判断する(ステップS70)。エミュレータ16は、まだ中間表現をすべて実行していないと判断した場合(ステップS70:No)、中間表現の次のステップを取り出し(ステップS64)、ステップS56に進み、以降の処理を実行する。一方、エミュレータ16は、まだ中間表現をすべて実行したと判断した場合(ステップS70:Yes)、実行トレースを実行トレース解析部155に出力し(ステップS71)、エミュレーション実行処理を終了する。
[クラスタ分析処理の処理手順]
次に、クラスタ分析処理の処理手順の一例について説明する。図10は、図6に示すクラスタ分析処理の処理手順を示すフローチャートである。図10は、選択装置10が、マクロ特徴量とテキスト特徴量とを事前に統合してクラスタ分析する場合のクラスタ分析処理の処理手順を示す。
まず、クラスタ分析部158は、マクロ特徴量DB18から全特徴量を取り出す(ステップS81)。そして、クラスタ分析部158は、1ファイルあたり1つのマクロに関する特徴ベクトルを持つように、1ファイルごとに1つのマクロ特徴ベクトルを生成する(ステップS82)。続いて、クラスタ分析部158は、テキスト特徴量DB19から全特徴量を取り出し(ステップS83)、1ファイルごとに1つのテキスト特徴ベクトルを生成する(ステップS84)。
そして、クラスタ分析部158は、ファイルごとにマクロ特徴ベクトルとテキスト特徴ベクトルとを統合し(ステップS85)、クラスタリングを実施する(ステップS86)。そして、クラスタ分析部158は、生成されたクラスタを出力し(ステップS87)、クラスタ分析処理を終了する。
また、クラスタ分析処理の処理手順の他の例について説明する。図11は、図6に示すクラスタ分析処理の他の処理手順を示すフローチャートである。図11では、選択装置10が、マクロ特徴量とテキスト特徴量でそれぞれクラスタリングを実施し、各々の結果を統合する場合のクラスタ分析処理の処理手順を示す。
まず、図11に示すステップS91〜ステップS94は、図10に示すステップS81〜ステップS84である。クラスタ分析部158は、マクロ特徴ベクトルでクラスタリングを実施する(ステップS95)。そして、クラスタ分析部158は、テキスト特徴ベクトルでクラスタリングを実施する(ステップS96)。クラスタ分析部158は、生成された各々のクラスタリングの結果を統合し(ステップS97)、クラスタを出力して(ステップS98)、クラスタ分析処理を終了する。
[選択処理の処理手順]
次に、図6に示す選択処理の処理手順について説明する。図12は、図6に示す選択処理の処理手順を示すフローチャートである。この選択処理において、選択部159は、クラスタ分析部158が生成したクラスタを入力として受け取り、解析すべき文書ファイルを選定した結果を出力する。
まず、選択部159は、クラスタ分析部158から、クラスタを入力として受け取る(ステップS101)。そして、選択部159は、初めに処理するクラスタを取り出す(ステップS102)。そして、選択部159は、クラスタの重心を計算し(ステップS103)、その重心に最も近いデータ点をクラスタの代表点として抽出する(ステップS104)。続いて、選択部159は、クラスタ内のデータ点の数を計測する(ステップS105)。選択部159は、すべてのクラスタを処理しているか否かを判断する(ステップS106)。
選択部159は、すべてのクラスタを処理していないと判断した場合(ステップS106:No)、次に処理するクラスタを取り出し(ステップS107)、ステップS103に進む。一方、選択部159は、すべてのクラスタを処理したと判断した場合(ステップS106:Yes)、抽出した各クラスタの代表点をリスト化し(ステップS108)、クラスタ内のデータ点の数で各代表点に優先順位付けする(ステップS109)。そして、選択部159は、それを、詳細解析対象の文書ファイルに優先順位付けしたものとして出力し(ステップS110)、選択処理を終了する。
[実施の形態の効果]
以上のように、本実施の形態では、文書ファイル内のマクロからマクロの特徴量を取得し、文書ファイル内のテキストからテキストの特徴量を取得し、取得したマクロの特徴量とテキストの特徴量とを用いてクラスタリングを実施して、解析対象の文書ファイルを絞り込んでいる。すなわち、本実施の形態では、マクロのエミュレーション実行に基づく特徴抽出と、文書ファイル中に含まれるテキストの分析に基づく特徴抽出とを行っている。そして、本実施の形態では、抽出されたマクロ特徴量とテキスト特徴量との双方に基づき、マルチモーダルクラスタリングを実施し、生成されたクラスタに基づいて解析をするべき対象となる文書ファイルを選別している。
したがって、本実施の形態では、エミュレーション実行により、難読化の妨害を受けることなく、攻撃者の用いる悪性マクロ付き文書ファイルの特徴を捉えることができる。そして、本実施の形態では、中期的観測でなく、マクロ部分のみの実行による解析により、中期的観測と比較して高速な特徴抽出が可能である。また、本実施の形態では、テキスト分析についても、軽量な特徴抽出手法により、特徴抽出の高速化を期待できる。
このように、本実施の形態によれば、高速な特徴抽出によって類似検体を同一クラスタに分類し、解析する対象をクラスタの代表点のみに絞り込むことができるため、解析のプロセス全体の効率化を実現できる。さらに、本実施の形態によれば、マクロの挙動及びテキストという、攻撃に必須の特徴が現れる要素を網羅的に捉えた特徴抽出に基づくマルチモーダルクラスタリングにより、高精度な分類を実現できる。
上述したように、本実施の形態は、攻撃の特徴が現れる、テキストの語とマクロの挙動との双方の特徴を反映した分類に有用であり、多数の文書ファイルに対して解析するべき対象を高速に選定することに適している。このため、本実施の形態に係る選択装置10を、サンドボックスと共に組織内ネットワークの入口に導入することによって、ネットワークを通過する多数の文書ファイルを効率的に解析することが可能である。
また、本実施の形態においては、おもにVBAで記述されたマクロを内包しているMicrosoft Office文書ファイルを前提としているが、もちろん、これに限らない。本実施の形態に係る選択装置10は、他の形式の文書ファイルである場合や、VBA以外で記述されたプログラムである場合であっても、テキストとプログラムの両方を含む形態の文書ファイルであれば、同様に選択可能である。これは、テキストとプログラムの両方が存在すれば、テキストの特徴量とプログラムの特徴量を抽出して、同様の手順でクラスタ分析し、代表点を抽出することが可能であることによる。したがって、本実施の形態に係る選択装置10は、例えば、悪性JavaScript(登録商標)を含むPDF形式のファイルの選択にも応用することが可能である。この場合、悪性マクロの代わりに悪性JavaScriptを分析し、MS Office文書ファイル中のテキストの代わりにPDFファイル中のテキストを分析すればよい。また、本実施の形態においては、エミュレータを用いて実行トレースを取得しているが、もちろん、エミュレータを用いずに他の方法で実行トレースを取得してもよい。例えば、Microsoft OfficeにAPI呼び出しやActiveXオブジェクトの生成およびメソッド呼び出しなどを監視して記録する変更を加え、実行トレースを取得してもよい。また、たとえば、実行トレース取得機能を持った仮想マシンモニタを用いて、監視されたゲストOS(Operating System)上のMS Officeで悪性マクロ付き文書ファイルを開くことで実行トレースを取得してもよい。また、実行トレース取得機能を、MS OfficeへのAPIフックや動的バイナリ計装(Dynamic Binary Instrumentation)などで実現してもよい。
[他の実施の形態]
[入れ子構造の文書ファイルへの対応]
本実施形態では単一の文書ファイルのみを対象としたが、入れ子構造となっている文書ファイルを対象としてもよい。入れ子構造となっている文書ファイルとは、たとえば、PDFファイルの中に悪性マクロ付き文書ファイルが埋め込まれたものである。この場合、PDFファイルを開くと、PDFファイルの持つJavaScriptが実行され、それによって埋め込まれた悪性マクロ付き文書ファイルが保存され開かれることで、前述の攻撃が開始される。このような場合、選択装置に、埋め込まれたファイルを取り出す機能を追加することで対応できる。前述の例では、JavaScriptを実行して埋め込まれた悪性マクロ付き文書ファイルを抽出する機能を追加する。または、ファイルのシグネチャやヘッダ、フッタの情報に基づいて抽出する(ファイルカービングと呼ばれる)手法を用いてもよい。上述の機能によってあらかじめ悪性マクロ付き文書ファイルを取り出し、実施例1に記載の手法で解析することで、入れ子構造の文書ファイルに対応できる。
[システム構成等]
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、或いは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
図13は、プログラムが実行されることにより、選択装置10が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、選択装置10の各処理を規定するプログラムは、コンピュータ1000により実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、選択装置10における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSDにより代替されてもよい。
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。或いは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN、WAN等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等はすべて本発明の範疇に含まれる。
10 選択装置
11 入力部
12 出力部
13 通信部
14 記憶部
15 制御部
15A マクロ分析部
16 エミュレータ
17 ファイルハッシュデータベース(DB)
18 マクロ特徴量DB
19 テキスト特徴量DB
151 ハッシュ検査部
152 ファイル形式判定部
153 要素抽出部
154、164 実行部
155 実行トレース解析部
156 テキスト抽出部
157 テキスト分析部
158 クラスタ分析部
159 選択部
161 字句解析部
162 構文解析部
163 中間表現生成部
165 APIハンドラ部
166 オブジェクトハンドラ部
167 ドキュメントインタフェース部
168 記録部

Claims (8)

  1. マクロ付き文書ファイル内のマクロからマクロの特徴量を取得するマクロ分析部と、
    前記文書ファイル内のテキストからテキストの特徴量を取得するテキスト分析部と、
    前記マクロの特徴量と前記テキストの特徴量とを用いてクラスタリングを実施するクラスタ分析部と、
    前記クラスタリングの結果に基づいて、解析対象の文書ファイルを選択する選択部と、
    を有することを特徴とする選択装置。
  2. 前記マクロ分析部は、前記マクロの実行により取得されたマクロのプロファイル情報である実行トレースの解析により前記マクロの特徴量を取得することを特徴とする請求項1に記載の選択装置。
  3. 前記マクロ分析部は、前記マクロの実行にエミュレータを用いることを特徴とする請求項1または2に記載の選択装置。
  4. 前記テキスト分析部は、前記文書ファイルに含まれる語に対する自然言語処理に基づいて前記テキストの特徴量を取得することを特徴とする請求項1〜3のいずれか一つに記載の選択装置。
  5. 前記クラスタ分析部は、前記マクロの特徴量と前記テキストの特徴量とに基づいたマルチモーダルクラスタリングを実施することを特徴とする請求項1〜4のいずれか一つに記載の選択装置。
  6. 前記マクロ分析部は、実行トレースとしてAPI(Application Programming Interface)呼び出しおよびオブジェクトメソッド呼び出しを取得し、
    前記テキスト分析部は、前記文書ファイルに含まれる語の種類と前記文書ファイルに含まれる語の並びとの特徴を抽出することを特徴とする請求項2〜5のいずれか一つに記載の選択装置。
  7. 選択装置が実行する選択方法であって、
    マクロ付き文書ファイル内のマクロからマクロの特徴量を取得するマクロ分析工程と、
    前記文書ファイル内のテキストからテキストの特徴量を取得するテキスト分析工程と、
    前記マクロの特徴量と前記テキストの特徴量とを用いてクラスタリングを実施するクラスタ工程と、
    クラスタリングの結果に基づいて、解析対象の文書ファイルを選択する選択工程と、
    を含んだことを特徴とする選択方法。
  8. コンピュータを、請求項1〜6のいずれか一つに記載の選択装置として機能させるための選択プログラム。
JP2019502451A 2017-03-03 2017-10-16 選択装置、選択方法及び選択プログラム Active JP6708781B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017040543 2017-03-03
JP2017040543 2017-03-03
PCT/JP2017/037407 WO2018159010A1 (ja) 2017-03-03 2017-10-16 選択装置、選択方法及び選択プログラム

Publications (2)

Publication Number Publication Date
JPWO2018159010A1 true JPWO2018159010A1 (ja) 2019-11-07
JP6708781B2 JP6708781B2 (ja) 2020-06-10

Family

ID=63370817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502451A Active JP6708781B2 (ja) 2017-03-03 2017-10-16 選択装置、選択方法及び選択プログラム

Country Status (3)

Country Link
US (1) US11256803B2 (ja)
JP (1) JP6708781B2 (ja)
WO (1) WO2018159010A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989292B2 (en) * 2018-10-11 2024-05-21 Nippon Telegraph And Telephone Corporation Analysis function imparting device, analysis function imparting method, and recording medium
US20220027397A1 (en) * 2018-10-16 2022-01-27 Shimadzu Corporation Case search method
FR3092921A1 (fr) * 2019-02-14 2020-08-21 Orange Procédé de construction de signatures comportementales de logiciels
US11347518B2 (en) * 2019-07-24 2022-05-31 Vmware, Inc. System and method for adaptively sampling application programming interface execution traces based on clustering
US11295020B2 (en) 2019-08-05 2022-04-05 Bank Of America Corporation System for integrated natural language processing and event analysis for threat detection in computing systems
JP7003343B2 (ja) * 2020-01-17 2022-01-20 三菱電機株式会社 ベクトル計算装置、分類装置及び出力プログラム
US11349865B1 (en) 2021-02-24 2022-05-31 Netskope, Inc. Signatureless detection of malicious MS Office documents containing embedded OLE objects
US11222112B1 (en) * 2021-02-24 2022-01-11 Netskope, Inc. Signatureless detection of malicious MS office documents containing advanced threats in macros
CN113656009B (zh) * 2021-08-26 2024-02-02 五八同城信息技术有限公司 一种宏处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223134A (ja) * 1996-02-20 1997-08-26 Fuji Xerox Co Ltd 文書処理装置
JP2002351686A (ja) * 2001-05-23 2002-12-06 Sony Corp データ処理方法及びデータ処理方法のプログラム
JP2017004123A (ja) * 2015-06-05 2017-01-05 日本電信電話株式会社 判定装置、判定方法および判定プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2635992T4 (pl) * 2010-11-03 2017-09-29 Virginia Tech Intellectual Properties, Inc. Używanie wyznaczania energetycznego odcisku palca (pfp, power fingerprinting) do monitorowania integralności i zwiększania bezpieczeństwa systemów komputerowych
US9104870B1 (en) * 2012-09-28 2015-08-11 Palo Alto Networks, Inc. Detecting malware
US9256748B1 (en) * 2013-03-14 2016-02-09 Ca, Inc. Visual based malicious activity detection
CN106462568A (zh) * 2014-02-13 2017-02-22 河谷控股Ip有限责任公司 全局视觉词汇、系统和方法
EP3007080A1 (en) * 2014-10-06 2016-04-13 Fujitsu Limited A document ranking apparatus, method and computer program
US9516055B1 (en) * 2015-05-29 2016-12-06 Trend Micro Incorporated Automatic malware signature extraction from runtime information
US10432648B1 (en) * 2017-08-28 2019-10-01 Palo Alto Networks, Inc. Automated malware family signature generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223134A (ja) * 1996-02-20 1997-08-26 Fuji Xerox Co Ltd 文書処理装置
JP2002351686A (ja) * 2001-05-23 2002-12-06 Sony Corp データ処理方法及びデータ処理方法のプログラム
JP2017004123A (ja) * 2015-06-05 2017-01-05 日本電信電話株式会社 判定装置、判定方法および判定プログラム

Also Published As

Publication number Publication date
US20200012789A1 (en) 2020-01-09
JP6708781B2 (ja) 2020-06-10
WO2018159010A1 (ja) 2018-09-07
US11256803B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
JP6708781B2 (ja) 選択装置、選択方法及び選択プログラム
Han et al. MalDAE: Detecting and explaining malware based on correlation and fusion of static and dynamic characteristics
Ahmed et al. A system call refinement-based enhanced Minimum Redundancy Maximum Relevance method for ransomware early detection
Hasan et al. Detection of SQL injection attacks: a machine learning approach
Piplai et al. Creating cybersecurity knowledge graphs from malware after action reports
Galal et al. Behavior-based features model for malware detection
Maiorca et al. A pattern recognition system for malicious pdf files detection
US9621571B2 (en) Apparatus and method for searching for similar malicious code based on malicious code feature information
US8762948B1 (en) System and method for establishing rules for filtering insignificant events for analysis of software program
Carmony et al. Extract Me If You Can: Abusing PDF Parsers in Malware Detectors.
Alazab et al. Malware detection based on structural and behavioural features of API calls
KR101893090B1 (ko) 취약점 정보 관리 방법 및 그 장치
Mosli et al. A behavior-based approach for malware detection
KR102317833B1 (ko) 악성 코드 탐지 모델 학습 방법 및 이를 이용한 탐지 방법
CN109684835A (zh) 使用机器学习来检测恶意文件的系统和方法
CN104956376A (zh) 虚拟化环境中应用和设备控制的方法和技术
EP3051767A1 (en) Method and apparatus for automatically identifying signature of malicious traffic using latent dirichlet allocation
KR102151318B1 (ko) 이종 정보 네트워크 기반 악성 코드 탐지 방법 및 장치
Yan et al. Automatic malware classification via PRICoLBP
Chen et al. A learning-based static malware detection system with integrated feature
Aggarwal et al. Random decision forest approach for mitigating SQL injection attacks
WO2023067668A1 (ja) 解析機能付与方法、解析機能付与装置及び解析機能付与プログラム
US20220129550A1 (en) Method for constructing behavioural software signatures
Kumar A framework for malware detection with static features using machine learning algorithms
Kawaguchi et al. Malware function estimation using API in initial behavior

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200521

R150 Certificate of patent or registration of utility model

Ref document number: 6708781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150