JP6698952B2 - メール検査装置、メール検査方法およびメール検査プログラム - Google Patents

メール検査装置、メール検査方法およびメール検査プログラム Download PDF

Info

Publication number
JP6698952B2
JP6698952B2 JP2019541568A JP2019541568A JP6698952B2 JP 6698952 B2 JP6698952 B2 JP 6698952B2 JP 2019541568 A JP2019541568 A JP 2019541568A JP 2019541568 A JP2019541568 A JP 2019541568A JP 6698952 B2 JP6698952 B2 JP 6698952B2
Authority
JP
Japan
Prior art keywords
mail
data
dimensional vector
email
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019541568A
Other languages
English (en)
Other versions
JPWO2019053844A1 (ja
Inventor
弘毅 西川
弘毅 西川
匠 山本
匠 山本
河内 清人
清人 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019053844A1 publication Critical patent/JPWO2019053844A1/ja
Application granted granted Critical
Publication of JP6698952B2 publication Critical patent/JP6698952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/234Monitoring or handling of messages for tracking messages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08Annexed information, e.g. attachments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/212Monitoring or handling of messages using filtering or selective blocking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、メール検査装置、メール検査方法およびメール検査プログラムに関するものである。
特定の組織または人を対象として、機密情報の窃取等の攻撃を行う標的型攻撃は深刻な脅威となっている。標的型攻撃の中でも、メールをベースにした標的型攻撃メールによる攻撃は依然として重大な脅威の1つである。トレンドマイクロの調査(https://www.trendmicro.tw/cloud−content/us/pdfs/business/datasheets/ds_social−engineering−attack−protection.pdf)では、標的型攻撃メールによるマルウェア感染が企業に対する攻撃全体の76%にも上るとの結果が出ている。そのため、標的型攻撃メールを防ぐことは、被害が増加し、巧妙となってきているサイバー攻撃を防ぐ観点から重要である。
特許文献1には、正規メールヘッダと受信メールのヘッダとを比較し、受信メールが不審なメールであるかどうかを判定する技術が開示されている。
特許文献2には、メールの誤送信防止のために、メールの本文に含まれる名詞等の情報をもとに、メールが宛先アドレスから判定される宛先に普段送信しているメールに類似しているかどうかを判定および通知する技術が開示されている。
特許文献3には、メールに添付されるファイルが不審なファイルであるかどうかを判定するために、ファイルのフォーマットを特定し、特定したフォーマットが許可されるフォーマットであるかどうかを判定する技術が開示されている。
特許文献4には、新規受信メールのヘッダ情報と過去メールのヘッダ情報との間の距離から、新規受信メールが不審なメールであるかどうかを判定する技術が開示されている。
特開2013−236308号公報 特開2017−4126号公報 特表2008−546111号公報 特開2014−102708号公報
従来の技術では、巧妙な標的型攻撃メールを検知することができない。具体例として、すでに標的組織内の踏み台がマルウェアに感染しているとする。攻撃者が、組織の機密情報にアクセスする権限を有する者の端末等、最終目標の感染を目的とする場合に、踏み台のメールアドレスおよび情報を利用して最終目標にメールを送ることが考えられる。この場合には、攻撃者が、踏み台の特徴を踏まえたうえで攻撃のメールを送るため、従来の技術では検知が困難である。
本発明は、巧妙な攻撃メールの検知を目的とする。
本発明の一態様に係るメール検査装置は、
複数のメールに含まれる各メールの特徴と、各メールに添付されたファイルと各メールの本文中のURLによって特定されるリソースとの少なくともいずれかを含む、各メールに付随するリソースの特徴との間の関係性を学習する学習部と、
検査対象のメールの特徴と、前記検査対象のメールに付随するリソースの特徴とを抽出し、抽出した特徴間に、前記学習部により学習された関係性があるかどうかによって、前記検査対象のメールが不審なメールであるかどうかを判定する判定部とを備える。
「URL」は、Uniform Resource Locatorの略語である。
本発明では、検査対象のメールの特徴と、検査対象のメールに付随するリソースの特徴との間に、あらかじめ学習された関係性があるかどうかによって、検査対象のメールが不審なメールであるかどうかを判定することで、巧妙な攻撃メールを検知できる。
実施の形態1に係るメール検査装置の構成を示すブロック図。 実施の形態1に係るメール検査装置の学習部の構成を示すブロック図。 実施の形態1に係るメール検査装置の判定部の構成を示すブロック図。 実施の形態1に係るメール検査装置の動作を示すフローチャート。 実施の形態1に係るメール検査装置の学習部の動作を示すフローチャート。 実施の形態1に係るメール検査装置の判定部の動作を示すフローチャート。 実施の形態2に係るメール検査装置の学習部の動作を示すフローチャート。 実施の形態2に係るメール検査装置の学習部の動作を示すフローチャート。
以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、2つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、1つの実施の形態または2つ以上の実施の形態の組み合わせが部分的に実施されても構わない。
実施の形態1.
本実施の形態について、図1から図6を用いて説明する。
本実施の形態では、巧妙な攻撃を検知するために、メールのコンテキストと、添付ファイルまたはURLの参照先といったコンテンツのコンテキストとの組み合わせが用いられる。
メールのコンテンツとは、メールに付随するリソースのことである。メールに付随するリソースには、メールに添付されたファイルと、メールの本文中のURLによって特定されるリソースとの少なくともいずれかが含まれる。すなわち、コンテンツは、例えば、メールの添付ファイル、または、メールの本文中に記載されたURLのリンク先Webページである。
メールまたはコンテンツのコンテキストとは、メールまたはコンテンツが含む、意味および脈絡のことである。コンテキストは、メールまたはコンテンツから、メールまたはコンテンツの特徴として抽出される。
***構成の説明***
図1を参照して、本実施の形態に係るメール検査装置10の構成を説明する。
メール検査装置10は、コンピュータである。メール検査装置10は、プロセッサ11を備えるとともに、メモリ12、補助記憶装置13、入力インタフェース14、出力インタフェース15および通信装置16といった他のハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
メール検査装置10は、機能要素として、学習部20と、判定部30と、データベース40とを備える。学習部20および判定部30の機能は、ソフトウェアにより実現される。
プロセッサ11は、メール検査プログラムを実行する装置である。メール検査プログラムは、学習部20および判定部30の機能を実現するプログラムである。プロセッサ11は、例えば、CPUである。「CPU」は、Central Processing Unitの略語である。
メモリ12は、メール検査プログラムを記憶する装置である。メモリ12は、例えば、フラッシュメモリまたはRAMである。「RAM」は、Random Access Memoryの略語である。
補助記憶装置13は、データベース40が配置される装置である。補助記憶装置13は、例えば、フラッシュメモリまたはHDDである。「HDD」は、Hard Disk Driveの略語である。データベース40は、適宜メモリ12に展開される。
入力インタフェース14は、図示していない入力装置に接続されるインタフェースである。入力装置は、メール検査プログラムへのデータの入力のためにユーザにより操作される装置である。入力装置は、例えば、マウス、キーボードまたはタッチパネルである。
出力インタフェース15は、図示していないディスプレイに接続されるインタフェースである。ディスプレイは、メール検査プログラムから出力されるデータを画面に表示する装置である。ディスプレイは、例えば、LCDである。「LCD」は、Liquid Crystal Displayの略語である。
通信装置16は、メール検査プログラムに入力されるデータを受信するレシーバと、メール検査プログラムから出力されるデータを送信するトランスミッタとを含む。通信装置16は、例えば、通信チップまたはNICである。「NIC」は、Network Interface Cardの略語である。
メール検査プログラムは、プロセッサ11に読み込まれ、プロセッサ11によって実行される。メモリ12には、メール検査プログラムだけでなく、OSも記憶されている。「OS」は、Operating Systemの略語である。プロセッサ11は、OSを実行しながら、メール検査プログラムを実行する。
メール検査プログラムおよびOSは、補助記憶装置13に記憶されていてもよい。メール検査プログラムおよびOSは、補助記憶装置13に記憶されている場合、メモリ12にロードされ、プロセッサ11によって実行される。
なお、メール検査プログラムの一部または全部がOSに組み込まれていてもよい。
メール検査装置10は、プロセッサ11を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、メール検査プログラムの実行を分担する。それぞれのプロセッサは、例えば、CPUである。
メール検査プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ12、補助記憶装置13、または、プロセッサ11内のレジスタまたはキャッシュメモリに記憶される。
メール検査プログラムは、学習部20および判定部30により行われる処理をそれぞれ学習処理および判定処理としてコンピュータに実行させるプログラムである。あるいは、メール検査プログラムは、学習部20および判定部30により行われる手順をそれぞれ学習手順および判定手順としてコンピュータに実行させるプログラムである。メール検査プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
メール検査装置10は、1台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。メール検査装置10が複数台のコンピュータで構成されている場合は、学習部20および判定部30の機能が、各コンピュータに分散されて実現されてもよい。
図2を参照して、学習部20の構成を説明する。
学習部20は、ラベル付与部21、コンテンツ分離部22、メールフィルタ部23、メールコンテキスト抽出部24、コンテンツコンテキスト抽出部25および関係性学習部26を備える。
図3を参照して、判定部30の構成を説明する。
判定部30は、コンテンツ分離部31、メールフィルタ部32、メールコンテキスト抽出部33、コンテンツコンテキスト抽出部34およびコンテキスト比較部35を備える。
***動作の説明***
図1とともに図4を参照して、本実施の形態に係るメール検査装置10の動作を説明する。メール検査装置10の動作は、本実施の形態に係るメール検査方法に相当する。
メール検査装置10の動作には、大きく分けて準備フェーズS100と、運用フェーズS200との2つのフェーズがある。
準備フェーズS100では、学習部20が、複数のメールに含まれる各メールの特徴と、各メールに付随するリソースの特徴との間の関係性を学習する。各メールに付随するリソースには、各メールに添付されたファイルと、各メールの本文中のURLによって特定されるリソースとの少なくともいずれかが含まれる。
具体的には、準備フェーズS100では、解析対象のメールが学習部20に入力される。学習部20は、解析対象のメールのコンテキストと、解析対象のメールのコンテンツのコンテキストとの関係性を学習する。学習部20は、学習結果をデータベース40に登録する。
運用フェーズS200では、判定部30が、検査対象のメールの特徴と、検査対象のメールに付随するリソースの特徴とを抽出し、抽出した特徴間に、学習部20により学習された関係性があるかどうかによって、検査対象のメールが不審なメールであるかどうかを判定する。
具体的には、運用フェーズS200では、検査対象のメールが判定部30に入力される。判定部30は、データベース40を参照し、検査対象のメールに対応する関係性を特定することで、検査対象のメールが不審なメールであるかどうかを判定する。すなわち、判定部30は、データベース40に登録された情報をもとに、コンテンツを直接または間接的に含むメールが不自然であるかどうかを判定する。
各フェーズの説明を行う。
図2とともに図5を参照して、準備フェーズS100の説明を行う。
ステップS110では、解析対象となる1つ以上のメール集合が用意される。これらのメール集合はすべてコンテンツを含んでいるものとする。解析対象のメール集合は、ラベル付与部21に入力される。ラベル付与部21は、キー情報によって解析対象のメール集合に含まれるメールにラベルを付していく。すなわち、ラベル付与部21は、キー情報をもとに、解析対象のメールをいくつかのメール集合に分類する。キー情報は、本実施の形態では宛先情報であるが、題名等、メールの分類に用いることのできる情報であれば、任意の情報でよい。題名が用いられる場合は、題名に特定のキーワードが含まれるかどうかによってラベルが判定される。ラベル付は、解析対象のメール集合が空になるまで行われる。キー情報は、データベースに登録される要素の索引として用いられる。
ステップS120では、ステップS110で得られた各メール集合がコンテンツ分離部22に入力される。コンテンツ分離部22は、各メール集合からメールを取り出す。コンテンツ分離部22は、取り出したメールからコンテンツを抽出する。すなわち、コンテンツ分離部22は、ラベル付与部21により分類された各メールから、コンテンツを分離する。コンテンツ分離部22は、コンテンツと、コンテンツ分離後のメールとの2種類のデータを出力する。
コンテンツが添付ファイルである場合、コンテンツ分離部22は、例えば、Pythonのemailパッケージ(http://docs.python.jp/2/library/email.parser.html)を用いて、解析対象のメールをパースすることで、添付ファイルを抽出することができる。
ステップS130では、ステップS120によるコンテンツ分離後のメールがメールフィルタ部23に入力される。メールフィルタ部23は、コンテンツ分離後のメールの題名、To、Ccおよび本文をもとに、コンテンツ分離後のメールをコンテキストが抽出できる形に整形し、整形後メールデータを得る。すなわち、メールフィルタ部23は、コンテンツ分離後のメールから、コンテキスト抽出で利用されるデータだけを抽出し、抽出したデータを整形後メールデータとして出力する。整形後メールデータは、本実施の形態では題名、宛先情報および本文の3つの要素からなるが、これら3つの要素のうち1つまたは2つの要素が省かれてもよい。本文は、元の文章から引用文および署名等が取り除かれ、解析しやすい状態に修正されていてもよい。
ステップS140では、ステップS130で得られた整形後メールデータが学習データとしてメールコンテキスト抽出部24に入力される。メールコンテキスト抽出部24は、整形後メールデータから、コンテキストを抽出する。メールコンテキスト抽出部24により抽出されたコンテキストをメールコンテキストと呼ぶ。メールコンテキストは、本実施の形態ではベクトルの形式で表現されるが、キーワード群の形式で表現されてもよい。
メールコンテキストは、メールから抽出可能な特徴ベクトルの連結によって表現される。整形後メールデータが題名、宛先情報および本文の3つの要素からなる場合、各要素が特徴ベクトルに置き換えられて3つの特徴ベクトルが得られる。その後、それらの特徴ベクトルが連結されてメールコンテキストが得られる。
各要素から特徴ベクトルを抽出する方法を、宛先情報と、題名および本文のような文章とのそれぞれについて示す。前述したように、ここでは、キー情報に宛先情報が利用されているとする。
宛先情報の特徴ベクトルへの変換は、キー情報の候補群に含まれる宛先の1つ1つを、宛先情報が含むかどうかによって行われる。例えば、キー情報の候補群が「xxx@ab.com」、「yyy@ab.com」、「zzz@ab.com」および「abc@xx.com」の4つであるとする。宛先情報の宛先群が「xxx@ab.com」、「zzz@ab.com」、「efg@xy.com」の3つであるとする。この場合、宛先情報は、式(1)のような特徴ベクトルに変換される。
Figure 0006698952
題名および本文のような文章の特徴ベクトルへの変換は、doc2vec(https://radimrehurek.com/gensim/models/doc2vec.html)のような自然言語処理技術を用いて行われる。なお、文章の特徴ベクトルへの変換は、TF−IDFのようなキーワード抽出技術により抽出したキーワードをBoWによりベクトル化することによって行われてもよい。「TF」は、Term Frequencyの略語である。「IDF」は、Inverse Document Frequencyの略語である。「BoW」は、Bag of Wordsの略語である。
以上の手続きにより、式(2)のような特徴ベクトルがメールから得られる。
Figure 0006698952
演算子・はベクトルの要素を結合する演算子、ベクトルvは宛先情報の特徴ベクトル、ベクトルvは題名の特徴ベクトル、ベクトルvは本文の特徴ベクトルである。
ステップS150では、ステップS120で抽出されたコンテンツがコンテンツコンテキスト抽出部25に入力される。コンテンツコンテキスト抽出部25は、メールから分離されたコンテンツの種類に応じて、コンテンツから、コンテキストを抽出する。コンテンツコンテキスト抽出部25により抽出されたコンテキストをコンテンツコンテキストと呼ぶ。コンテンツコンテキストは、メールコンテキストと同じように、本実施の形態ではベクトルの形式で表現されるが、キーワード群の形式で表現されてもよい。
コンテンツがPDF形式の文書ファイルである場合、例えば、PDFMiner(http://www.unixuser.org/〜euske/python/pdfminer/)のようなツールを用いることで、PDFに記載されている文章およびファイル名を抽出することが可能である。「PDF」は、Portable Document Formatの略語である。
抽出された文章の特徴ベクトルへの変換は、メールの題名および本文と同様に、doc2vecのような自然言語処理技術を用いて行われる。
ステップS160では、ステップS140で得られたメールコンテキストと、ステップS150で得られたコンテンツコンテキストとが関係性学習部26に入力される。関係性学習部26は、メールコンテキストからコンテンツコンテキストが導かれる関数を求める。すなわち、関係性学習部26は、メールコンテキストとコンテンツコンテキストとの間の関係性を表す関数を求める。関係性学習部26は、求めた関数をデータベース40に、キー情報とともに登録する。
関数の具体的な求め方を説明する。
あるメール集合から得られたメールコンテキストの集合をCとし、Cの要素をcmiとする。同じメール集合から得られたコンテンツコンテキストの集合をCとし、Cの要素をcciとする。これを式(3)、(4)、(5)および(6)で表す。
mi∈C (0≦i≦N) (3)
ci∈C (0≦i≦N) (4)
mi=(xi1,xi2,・・・,xiL) (5)
ci=(ti1,ti2,・・・,tiM) (6)
Nはメール集合の要素数、cmiはL次元のベクトル、cciはM次元のベクトルとする。
miから最終的にcciが導かれる関数fの要素を式(7)に示す。
f(cmi)=cyi=(yi1,yi2,・・・,yiM) (7)
関数fを確率的勾配降下法により学習するための損失関数Eの例を式(8)に示す。
Figure 0006698952
Bはメール集合内から学習で用いるために選択されたバッチ数である。
関係性学習部26は、以上の式をもとに学習した関数fを、メールコンテキストとコンテンツコンテキストとの間の関係性を示すデータとして、データベース40に登録する。
以上説明したように、準備フェーズS100において、学習部20は、複数のメールに含まれる各メールのキー情報によって複数のメールを2つ以上のメール集合に分類する。各メールのキー情報には、各メールの宛先および題名の少なくともいずれかが含まれる。学習部20は、メール集合ごとに、各メールの特徴と各メールに付随するリソースの特徴との間の関係性を学習する。学習部20は、メール集合ごとに、関係性を示すデータを、対応するキー情報とともにデータベース40に登録する。
図3とともに図6を参照して、運用フェーズS200の説明を行う。
ステップS210では、コンテンツ分離部22と同等の機能を有するコンテンツ分離部31が、ステップS120と同様の処理により、検査対象のメールから、コンテンツを分離する。
ステップS220では、メールフィルタ部23と同等の機能を有するメールフィルタ部32が、ステップS130と同様の処理により、コンテンツ分離後のメールから、整形後メールデータを得る。同時に、メールフィルタ部32は、キー情報も得る。
ステップS230では、メールコンテキスト抽出部24と同等の機能を有するメールコンテキスト抽出部33が、ステップS140と同様の処理により、整形後メールデータから、メールコンテキストを抽出する。
ステップS240では、コンテンツコンテキスト抽出部25と同等の機能を有するコンテンツコンテキスト抽出部34が、ステップS150と同様の処理により、コンテンツから、コンテンツコンテキストを抽出する。
ステップS250では、ステップS230で得られたメールコンテキストと、ステップS240で得られたコンテンツコンテキストとがコンテキスト比較部35に入力される。コンテキスト比較部35は、データベース40に登録されている関数により、メールコンテキストとコンテンツコンテキストとが類似するかどうかを判定することによって、検査対象のメールが不審なメールであるかどうかを判定する。すなわち、コンテキスト比較部35は、メールコンテキストとコンテンツコンテキストとのうち一方のコンテキストを示すデータを、関係性学習部26により求められた関数に入力する。そして、コンテキスト比較部35は、当該関数からの出力として得られたデータに示されているコンテキストが、メールコンテキストとコンテンツコンテキストとのうち他方のコンテキストに類似するかどうかによって、検査対象のメールが不審なメールであるかどうかを判定する。
不審なメールの具体的な判定方法を説明する。
検査対象のメールから得られたメールコンテキストをc’とする。同じメールから得られたコンテンツコンテキストをc’とする。
コンテキスト比較部35は、ステップS220で得られたキー情報により、データベース40を参照し、準備フェーズS100で登録された関数fを引き出す。コンテキスト比較部35は、引き出した関数fに、ステップS230で得られたメールコンテキストc’を代入し、関数fによる写像c’を得る。これを式(9)で表す。
f(c’)=c’=(y’,y’,・・・,y’) (9)
コンテキスト比較部35は、得られたc’と、ステップS220で得られたコンテンツコンテキストc’とを、2つのベクトルの類似度を評価する評価関数gに代入する。コンテキスト比較部35は、得られた類似度の評価値を閾値thと比較して、c’とc’とが類似しているかどうかを判定する。評価関数gの例として、コサイン類似度を用いた評価関数gを式(10)に示す。
g(c’,c’)=(c’・c’)/(|c’||c’|) (10)
コンテキスト比較部35は、類似度の評価値が閾値thよりも低い場合、コンテンツコンテキストがメールコンテキストから離れているため、検査対象のメールは不審なメールであると判定する。
以上説明したように、運用フェーズS200において、判定部30は、検査対象のメールの特徴と、検査対象のメールに付随するリソースの特徴とを抽出する。判定部30は、検査対象のメールのキー情報を用いてデータベース40を検索する。判定部30は、抽出した特徴間に、検索結果として得られたデータに示されている関係性があるかどうかによって、検査対象のメールが不審なメールであるかどうかを判定する。
***実施の形態の効果の説明***
本実施の形態では、検査対象のメールの特徴と、検査対象のメールに付随するリソースの特徴との間に、あらかじめ学習された関係性があるかどうかによって、検査対象のメールが不審なメールであるかどうかを判定することで、巧妙な攻撃メールを検知できる。
本実施の形態によれば、受け取ったメールのコンテキストとコンテンツのコンテキストとが異なる不審なメールを検知することができる。よって、巧妙な攻撃による、メール経由でのマルウェア感染を防ぐことが可能となる。
標的型攻撃メールを防ぐことは、巧妙となっているサイバー攻撃を防ぐために重要である。具体例として、すでに標的組織内の踏み台がマルウェアに感染しているとする。攻撃者が、最終目標の感染を目的として、踏み台のメールアドレスおよび情報を利用して最終目標にメールを送ったとする。この場合でも、本実施の形態では、メールコンテキストとコンテンツコンテキストとの間の関係性から、コンテンツの不自然さを検知し、巧妙な標的型攻撃メールを検知することができる。
***他の構成***
本実施の形態では、学習部20および判定部30の機能がソフトウェアにより実現されるが、変形例として、学習部20および判定部30の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、学習部20および判定部30の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、FPGAまたはASICである。「IC」は、Integrated Circuitの略語である。「GA」は、Gate Arrayの略語である。「FPGA」は、Field−Programmable Gate Arrayの略語である。「ASIC」は、Application Specific Integrated Circuitの略語である。
プロセッサ11および専用のハードウェアは、いずれも処理回路である。すなわち、メール検査装置10の構成が図1および図3のいずれに示した構成であっても、学習部20および判定部30の動作は、処理回路により行われる。
実施の形態2.
本実施の形態について、主に実施の形態1との差異を、図7および図8を用いて説明する。
***構成の説明***
本実施の形態に係るメール検査装置10の構成については、図1から図3に示した実施の形態1のものと同じであるため、説明を省略する。
***動作の説明***
本実施の形態に係るメール検査装置10の動作を説明する。メール検査装置10の動作は、本実施の形態に係るメール検査方法に相当する。
実施の形態1では、1通のメールが持つコンテキストを抽出することはできるが、一連のメールのやり取りに含まれるコンテキストを抽出することができない。一連のメールのやり取りに含まれるコンテキストとは、そのやり取りに含まれる2通以上のメール間に跨って形成される意味および脈略のことである。一連のメールのやり取りには、例えば、1通目のメールとして企業等の組織への質問のメール、2通目以降のメールとして組織からの回答のメール、および、組織への再質問または回答催促のメールが含まれる。
本実施の形態では、準備フェーズS100が実施の形態1と異なる。具体的には、学習時に入力されるメール集合とメールコンテキストの算出方法とが実施の形態1と異なる。本実施の形態では、この差異により、一連のメールのやり取りに含まれるコンテキストを抽出することができる。
図2とともに図7を参照して、準備フェーズS100の説明を行う。
ステップS310では、ラベル付与部21が、ステップS110と同様の処理により、キー情報をもとに、解析対象のメールをいくつかのメール集合に分類するだけでなく、解析対象のメールの中から一連のメールのやり取りを識別する。
ステップS320では、コンテンツ分離部22が、ステップS120と同様の処理により、ステップS310で分類された各メールから、コンテンツを分離する。
ステップS330では、メールフィルタ部23が、ステップS130と同様の処理により、ステップS320によるコンテンツ分離後のメールから、コンテキスト抽出で利用されるデータだけを抽出し、抽出したデータを整形後メールデータとして出力する。
ステップS340では、ステップS330で得られた整形後メールデータが学習データとしてメールコンテキスト抽出部24に入力される。この学習データには、ステップS310で識別されたやり取りに含まれるすべてのメールの整形後メールデータが含まれている。メールコンテキスト抽出部24は、後述する手順で、メールコンテキストを抽出する。
ステップS350では、コンテンツコンテキスト抽出部25が、ステップS150と同様の処理により、ステップS320で抽出されたコンテンツから、コンテンツコンテキストを抽出する。
ステップS360では、関係性学習部26が、ステップS160と同様の処理により、ステップS340で得られたメールコンテキストと、ステップS350で得られたコンテンツコンテキストとの間の関係性を表す関数を求める。関係性学習部26は、求めた関数をデータベース40に、キー情報とともに登録する。
図8を参照して、ステップS340の手順を説明する。
ステップS341では、メールコンテキスト抽出部24が、やり取りの初めのメールを選択する。
ステップS342では、メールコンテキスト抽出部24が、現在選択中のメールの整形後メールデータから、コンテキストを抽出する。具体的には、メールコンテキスト抽出部24は、1通目のメールの特徴を表すJ次元のベクトルを算出する。なお、1通目のメールの実コンテキストは、L次元のベクトルcm1であるが、本実施の形態では、L次元のベクトルcm1にK個の空の要素が追加されたJ次元のベクトルが、1通目のメールのコンテキストとして用いられる。Jは整数、KはJよりも小さい整数、具体的にはL=J−Kを満たす整数である。L次元のベクトルcm1の計算方法は、実施の形態1と同様である。メールコンテキスト抽出部24は、算出したJ次元のベクトルを、1通目のメールの特徴を示す第1データとして設定する。本実施の形態では、この第1データが、1通目のメールのメールコンテキストである。
ステップS343では、メールコンテキスト抽出部24が、現在選択中のメールのコンテキストに対して次元削減を行うことで、現在選択中のメールのコンテキストを一定の長さのベクトルに圧縮する。具体的には、メールコンテキスト抽出部24は、現在選択中のメールについて得られたJ次元のベクトルに対して次元削減を行うことでK次元のベクトルを得る。現在選択中のメールが1通目のメールであれば、第1データに相当するJ次元のベクトルがK次元のベクトルに圧縮される。現在選択中のメールが、やり取りに含まれる2通目以降のメールであれば、後述する第2データに相当するJ次元のベクトルがK次元のベクトルに圧縮される。その後、メールコンテキスト抽出部24は、やり取りの次のメールを選択する。
ステップS344では、メールコンテキスト抽出部24が、現在選択中のメールの整形後メールデータから、コンテキストを抽出する。具体的には、メールコンテキスト抽出部24は、2通目以降のメールそれぞれの特徴を表すL次元のベクトルcmiを算出する。L次元のベクトルcmiの計算方法は、実施の形態1と同様である。
ステップS345では、メールコンテキスト抽出部24が、1つ前のメールの次元圧縮後のベクトルを、ステップS344で抽出したコンテキストに連結する。すなわち、メールコンテキスト抽出部24は、ステップS344で算出したL次元のベクトルcmiと、ステップS343で得られたK次元のベクトルとを連結する。メールコンテキスト抽出部24は、連結後のJ次元のベクトルを、2通目以降のメールそれぞれの特徴を示す第2データとして設定する。本実施の形態では、この第2データが、2通目以降のメールそれぞれのメールコンテキストである。ステップS343で得られたK次元のベクトルは、現在選択中のメールに比して、やり取りにおいて1つ先行するメールの特徴を示すデータに相当するJ次元のベクトルに対して次元削減を行うことで得られたベクトルである。1つ先行するメールの特徴を示すデータは、1つ先行するメールが1通目のメールであれば第1データ、1つ先行するメールが2通目以降のいずれかのメールであれば第2データである。
ステップS346では、メールコンテキスト抽出部24が、やり取りに含まれるすべてのメールを選択済かどうかを判定する。未選択のメールが残っていれば、ステップS343の処理が行われる。未選択のメールが残っていなければ、ステップS340の手順が終了する。
以上説明したように、準備フェーズS100において、学習部20は、第1データ、第2データおよび第3データを生成する。第1データは、一連のメールのやり取りについて、そのやり取りに含まれる1通目のメールの特徴を示すデータである。第2データは、そのやり取りに含まれる2通目以降のメールそれぞれの特徴を示すデータであり、また、そのやり取りにおいて先行するメールの特徴を継承するデータである。第3データは、そのやり取りに含まれる各メールに付随するリソースの特徴を示すデータである。本実施の形態では、この第3データが、コンテンツコンテキストである。学習部20は、生成した第1データ、第2データおよび第3データを用いて、各メールの特徴と各メールに付随するリソースの特徴との間の関係性を学習する。
***実施の形態の効果の説明***
本実施の形態によれば、一連のメールのやり取りに含まれるコンテキストを、次々に継承することが可能となる。よって、やり取りのコンテキストも考慮することが可能となる。
***他の構成***
本実施の形態では、実施の形態1と同じように、学習部20および判定部30の機能がソフトウェアにより実現されるが、実施の形態1の変形例と同じように、学習部20および判定部30の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。
10 メール検査装置、11 プロセッサ、12 メモリ、13 補助記憶装置、14 入力インタフェース、15 出力インタフェース、16 通信装置、20 学習部、21 ラベル付与部、22 コンテンツ分離部、23 メールフィルタ部、24 メールコンテキスト抽出部、25 コンテンツコンテキスト抽出部、26 関係性学習部、30 判定部、31 コンテンツ分離部、32 メールフィルタ部、33 メールコンテキスト抽出部、34 コンテンツコンテキスト抽出部、35 コンテキスト比較部、40 データベース。

Claims (5)

  1. 複数のメールに含まれる各メールの特徴と、各メールに添付されたファイルと各メールの本文中のURLによって特定されるリソースとの少なくともいずれかを含む、各メールに付随するリソースの特徴との間の関係性を学習する学習部と、
    検査対象のメールの特徴と、前記検査対象のメールに付随するリソースの特徴とを抽出し、抽出した特徴間に、前記学習部により学習された関係性があるかどうかによって、前記検査対象のメールが不審なメールであるかどうかを判定する判定部と
    を備え、
    前記学習部は、一連のメールのやり取りについて、前記やり取りに含まれる1通目のメールの特徴を示す第1データと、前記やり取りに含まれる2通目以降のメールそれぞれの特徴を示すデータであり、前記やり取りにおいて先行するメールの特徴を継承する第2データと、前記やり取りに含まれる各メールに付随するリソースの特徴を示す第3データとを生成し、生成した第1データ、第2データおよび第3データを用いて前記関係性を学習し、
    前記学習部は、Jを整数、KをJよりも小さい整数として、前記1通目のメールの特徴を表すJ次元のベクトルを算出し、算出したJ次元のベクトルを前記第1データとして設定し、前記2通目以降のメールそれぞれの特徴を表すJ−K次元のベクトルを算出し、算出したJ−K次元のベクトルと、前記やり取りにおいて1つ先行するメールの特徴を示すデータに相当するJ次元のベクトルに対して次元削減を行うことで得られるK次元のベクトルとを連結し、連結後のJ次元のベクトルを前記第2データとして設定するメール検査装置。
  2. 前記学習部は、各メールの宛先および題名の少なくともいずれかを含む、各メールのキー情報によって前記複数のメールを2つ以上のメール集合に分類し、メール集合ごとに、前記関係性を学習し、前記関係性を示すデータを、対応するキー情報とともにデータベースに登録し、
    前記判定部は、前記検査対象のメールのキー情報を用いて前記データベースを検索し、抽出した特徴間に、検索結果として得られたデータに示されている関係性があるかどうかによって、前記検査対象のメールが不審なメールであるかどうかを判定する請求項1に記載のメール検査装置。
  3. 前記学習部は、前記関係性を表す関数を求め、
    前記判定部は、抽出した特徴のうち一方の特徴を示すデータを、前記学習部により求められた関数に入力し、当該関数からの出力として得られたデータに示されている特徴が、抽出した特徴のうち他方の特徴に類似するかどうかによって、前記検査対象のメールが不審なメールであるかどうかを判定する請求項1または2に記載のメール検査装置。
  4. 学習部は、複数のメールに含まれる各メールの特徴と、各メールに添付されたファイルと各メールの本文中のURLによって特定されるリソースとの少なくともいずれかを含む、各メールに付随するリソースの特徴との間の関係性を学習し、
    判定部は、検査対象のメールの特徴と、前記検査対象のメールに付随するリソースの特徴とを抽出し、抽出した特徴間に、前記学習部により学習された関係性があるかどうかによって、前記検査対象のメールが不審なメールであるかどうかを判定し、
    前記学習部は、一連のメールのやり取りについて、前記やり取りに含まれる1通目のメールの特徴を示す第1データと、前記やり取りに含まれる2通目以降のメールそれぞれの特徴を示すデータであり、前記やり取りにおいて先行するメールの特徴を継承する第2データと、前記やり取りに含まれる各メールに付随するリソースの特徴を示す第3データとを生成し、生成した第1データ、第2データおよび第3データを用いて前記関係性を学習し、
    前記学習部は、Jを整数、KをJよりも小さい整数として、前記1通目のメールの特徴を表すJ次元のベクトルを算出し、算出したJ次元のベクトルを前記第1データとして設定し、前記2通目以降のメールそれぞれの特徴を表すJ−K次元のベクトルを算出し、算出したJ−K次元のベクトルと、前記やり取りにおいて1つ先行するメールの特徴を示すデータに相当するJ次元のベクトルに対して次元削減を行うことで得られるK次元のベクトルとを連結し、連結後のJ次元のベクトルを前記第2データとして設定するメール検査方法。
  5. コンピュータに、
    複数のメールに含まれる各メールの特徴と、各メールに添付されたファイルと各メールの本文中のURLによって特定されるリソースとの少なくともいずれかを含む、各メールに付随するリソースの特徴との間の関係性を学習する学習処理と、
    検査対象のメールの特徴と、前記検査対象のメールに付随するリソースの特徴とを抽出し、抽出した特徴間に、前記学習処理により学習された関係性があるかどうかによって、前記検査対象のメールが不審なメールであるかどうかを判定する判定処理と
    を実行させ、
    前記学習処理は、一連のメールのやり取りについて、前記やり取りに含まれる1通目のメールの特徴を示す第1データと、前記やり取りに含まれる2通目以降のメールそれぞれの特徴を示すデータであり、前記やり取りにおいて先行するメールの特徴を継承する第2データと、前記やり取りに含まれる各メールに付随するリソースの特徴を示す第3データとを生成し、生成した第1データ、第2データおよび第3データを用いて前記関係性を学習し、
    前記学習処理は、Jを整数、KをJよりも小さい整数として、前記1通目のメールの特徴を表すJ次元のベクトルを算出し、算出したJ次元のベクトルを前記第1データとして設定し、前記2通目以降のメールそれぞれの特徴を表すJ−K次元のベクトルを算出し、算出したJ−K次元のベクトルと、前記やり取りにおいて1つ先行するメールの特徴を示すデータに相当するJ次元のベクトルに対して次元削減を行うことで得られるK次元のベクトルとを連結し、連結後のJ次元のベクトルを前記第2データとして設定するメール検査プログラム。
JP2019541568A 2017-09-14 2017-09-14 メール検査装置、メール検査方法およびメール検査プログラム Active JP6698952B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/033279 WO2019053844A1 (ja) 2017-09-14 2017-09-14 メール検査装置、メール検査方法およびメール検査プログラム

Publications (2)

Publication Number Publication Date
JPWO2019053844A1 JPWO2019053844A1 (ja) 2020-01-16
JP6698952B2 true JP6698952B2 (ja) 2020-05-27

Family

ID=65722563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541568A Active JP6698952B2 (ja) 2017-09-14 2017-09-14 メール検査装置、メール検査方法およびメール検査プログラム

Country Status (5)

Country Link
US (1) US20210092139A1 (ja)
EP (1) EP3675433A4 (ja)
JP (1) JP6698952B2 (ja)
CN (1) CN111066295A (ja)
WO (1) WO2019053844A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212017B2 (ja) * 2020-09-18 2023-01-24 ヤフー株式会社 情報処理装置、システム、学習装置、情報処理方法、およびプログラム
US11310270B1 (en) * 2020-10-14 2022-04-19 Expel, Inc. Systems and methods for intelligent phishing threat detection and phishing threat remediation in a cyber security threat detection and mitigation platform
WO2022176209A1 (ja) * 2021-02-22 2022-08-25 日本電信電話株式会社 検索装置、検索方法および検索プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6615242B1 (en) * 1998-12-28 2003-09-02 At&T Corp. Automatic uniform resource locator-based message filter
US7272853B2 (en) * 2003-06-04 2007-09-18 Microsoft Corporation Origination/destination features and lists for spam prevention
US8533270B2 (en) * 2003-06-23 2013-09-10 Microsoft Corporation Advanced spam detection techniques
US7574409B2 (en) * 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
JP2006166042A (ja) * 2004-12-08 2006-06-22 Nec Corp 電子メールフィルタリングシステム、メール転送装置及びそれらに用いる電子メールフィルタリング方法
GB2427048A (en) 2005-06-09 2006-12-13 Avecho Group Ltd Detection of unwanted code or data in electronic mail
US8838718B2 (en) * 2007-01-15 2014-09-16 Unoweb Inc. Virtual email method for preventing delivery of undesired electronic messages
US8023974B1 (en) * 2007-02-15 2011-09-20 Trend Micro Incorporated Lightweight SVM-based content filtering system for mobile phones
US8370930B2 (en) * 2008-02-28 2013-02-05 Microsoft Corporation Detecting spam from metafeatures of an email message
US20100131523A1 (en) * 2008-11-25 2010-05-27 Leo Chi-Lok Yu Mechanism for associating document with email based on relevant context
JP2011034417A (ja) * 2009-08-04 2011-02-17 Kddi Corp 迷惑メール判定装置及び迷惑メール判定方法及び迷惑メール判定プログラム
US8560466B2 (en) * 2010-02-26 2013-10-15 Trend Micro Incorporated Method and arrangement for automatic charset detection
US8938508B1 (en) * 2010-07-22 2015-01-20 Symantec Corporation Correlating web and email attributes to detect spam
EP2661852A1 (en) * 2011-01-04 2013-11-13 Cisco Technology, Inc. Limiting virulence of malicious messages using a proxy server
WO2013056315A1 (en) * 2011-10-19 2013-04-25 The University Of Sydney Image processing and object classification
JP6094056B2 (ja) 2012-05-10 2017-03-15 富士通株式会社 メールチェック方法、メールチェック装置、及び、メールチェックプログラム
CN102842078B (zh) * 2012-07-18 2015-06-17 南京邮电大学 一种基于社群特征分析的电子邮件取证分析方法
JP6039378B2 (ja) 2012-11-20 2016-12-07 エヌ・ティ・ティ・ソフトウェア株式会社 不正メール判定装置、不正メール判定方法、及びプログラム
US9634970B2 (en) * 2013-04-30 2017-04-25 Cloudmark, Inc. Apparatus and method for augmenting a message to facilitate spam identification
US9300686B2 (en) * 2013-06-28 2016-03-29 Fireeye, Inc. System and method for detecting malicious links in electronic messages
CN103873348A (zh) * 2014-02-14 2014-06-18 新浪网技术(中国)有限公司 电子邮件过滤方法和系统
US9686308B1 (en) * 2014-05-12 2017-06-20 GraphUS, Inc. Systems and methods for detecting and/or handling targeted attacks in the email channel
JP5876181B1 (ja) 2015-06-05 2016-03-02 株式会社ソリトンシステムズ 電子メールの誤送信防止用の注意喚起装置、電子メール送信システム及びプログラム
US10049098B2 (en) * 2016-07-20 2018-08-14 Microsoft Technology Licensing, Llc. Extracting actionable information from emails
US10891373B2 (en) * 2017-08-31 2021-01-12 Micro Focus Llc Quarantining electronic messages based on relationships among associated addresses

Also Published As

Publication number Publication date
JPWO2019053844A1 (ja) 2020-01-16
CN111066295A (zh) 2020-04-24
WO2019053844A1 (ja) 2019-03-21
EP3675433A4 (en) 2020-09-30
EP3675433A1 (en) 2020-07-01
US20210092139A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN107908963B (zh) 一种自动化检测恶意代码核心特征的方法
CN109359439B (zh) 软件检测方法、装置、设备及存储介质
US20090013405A1 (en) Heuristic detection of malicious code
US8869277B2 (en) Realtime multiple engine selection and combining
RU2708356C1 (ru) Система и способ двухэтапной классификации файлов
EP3454230B1 (en) Access classification device, access classification method, and access classification program
US20200250309A1 (en) Methods and apparatus for using machine learning to detect potentially malicious obfuscated scripts
CA2743273C (en) Method and device for intercepting junk mail
JP6697123B2 (ja) プロファイル生成装置、攻撃検知装置、プロファイル生成方法、および、プロファイル生成プログラム
US11797668B2 (en) Sample data generation apparatus, sample data generation method, and computer readable medium
JP6698952B2 (ja) メール検査装置、メール検査方法およびメール検査プログラム
US8676791B2 (en) Apparatus and methods for providing assistance in detecting mistranslation
CN112329012B (zh) 针对包含JavaScript的恶意PDF文档的检测方法及电子设备
CN109492118A (zh) 一种数据检测方法及检测装置
WO2020198187A1 (en) Email attack detection and forensics
JP6818957B2 (ja) セキュリティ評価装置、セキュリティ評価方法およびセキュリティ評価プログラム
CN112231696B (zh) 恶意样本的识别方法、装置、计算设备以及介质
JP2017004097A (ja) 情報分析システム、情報分析方法
Shekhawat et al. A review of malware classification methods using machine learning
US20210390519A1 (en) Storage medium, detection method, and detection device
JP7140268B2 (ja) 警告装置、制御方法、及びプログラム
KR101893029B1 (ko) 머신 러닝 기반의 취약점 정보를 분류하는 방법 및 장치
CN113688240A (zh) 威胁要素提取方法、装置、设备及存储介质
CN112154422A (zh) 可疑邮件检测装置、可疑邮件检测方法以及可疑邮件检测程序
KR102199704B1 (ko) 다중 백신의 탐지명으로부터 대표 토큰을 선정하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191010

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200428

R150 Certificate of patent or registration of utility model

Ref document number: 6698952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250