JP5036742B2 - 電子メール送信ホスト分類システムおよび電子メール送信ホスト分類方法ならびにそのためのプログラム - Google Patents
電子メール送信ホスト分類システムおよび電子メール送信ホスト分類方法ならびにそのためのプログラム Download PDFInfo
- Publication number
- JP5036742B2 JP5036742B2 JP2009035469A JP2009035469A JP5036742B2 JP 5036742 B2 JP5036742 B2 JP 5036742B2 JP 2009035469 A JP2009035469 A JP 2009035469A JP 2009035469 A JP2009035469 A JP 2009035469A JP 5036742 B2 JP5036742 B2 JP 5036742B2
- Authority
- JP
- Japan
- Prior art keywords
- host
- mail transmission
- address
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
(b)当該IPアドレスのドット表記(192.168.1.3など)に対し、ドットで区切られた数字そのものあるいはそれを16進数表記したものを二つ以上含む(順序は問わない)。
(c)当該IPアドレスのドット表記の最後の数字(例えば192.168.1.234の場合234)を含む。
このとき、ある電子メール送信ホストのクラスをCiと分類するコストCost(Ci)を下記(数7)と定義する。
図1は、本発明に係るメール送信ホスト分類システムの一実現例を示したものであり、ネットワークを介して接続されたメール受信サーバ10と複数のメール送信ホスト20とメールを蓄積するメール蓄積サーバ30から構成される。
上述したように、メール受信サーバ10は、メール配送処理部11とメール送信ホスト分類部12とを備えている。
(b)当該IPアドレスのドット表記に対し、ドットで区切られた数字そのものあるいはそれを16進数表記したものが順序は問わず、二つ以上含まれる
(c)当該IPアドレスのドット表記の最後の数字が含まれる
メール送信ホストクラス推定部122は、同図に示すように、データ受信部1221と特徴抽出部1222とクラス推定部1223と推定結果出力部1224から構成されている。
H =“100-1-user.dynamic.example.jp”
H’ =“99-1-user.dynamic.example.jp”
H’’=“101-1-user.dynamic.example.jp”
であるとし、θ=6とする。このときd(H,H’)=5,d(H,H’’)=2となり、どちらもθより小さいので、当該ホストの隣接IPアドレス類似度の判定の結果は「真」となる。
以下では簡単のため、図13、図14に記載の特徴1テーブル(AS番号)と特徴jテーブル(DNSBL1)のみを用いた例を、図9のフローチャートを用いて説明する。
推定の対象となる電子メール送信ホストのIPアドレスのドット表記が「192.168.7.123」であったとする。図12の特徴テーブルを参照することによって、当該電子メール送信ホストの特徴1, 特徴jの値としてそれぞれ「64601」,「1」を得たものとする。この特徴1と特徴jの値「64601」と「1」により図13、図14を参照し、該当する尤度を〔課題を解決するための手段〕の項に記載した(数3)により計算する。特徴1、特徴jをそれぞれA1, Aj とする。このとき尤度はそれぞれ下記(数8)〜(数11)のようになる。
上記実施例1では、図2に示すように、メール送信ホスト学習部121がメール送信ホスト分類部12内に具備され、電子メールを受信する毎に学習を行っていたが、このような方法によって学習をオンラインで実施する代わりに、例えば、オフライン等で別途学習して得られた尤度・事前確率データベース(DB)を用い、メール送信ホストクラスの推定を行うことも可能である。
11:メール配送処理部
111:メール受信・処理部
112:メッセージ配送管理部
113:スパム判定部
114:メール送信部
12:メール送信ホスト分類部
121:メール送信ホスト学習部
1211:データ受信部
1212:特徴抽出部
1213:クラス取得部
1214:尤度・事前確率更新部
122:メール送信ホストクラス推定部
1221:データ受信部
1222:特徴抽出部
1223:クラス推定部
1224:推定結果出力部
123:メール送信ホストデータベース(DB)
1231:統計テーブル
1232:特徴テーブル
124:尤度・事前確率データベース(DB)
1241:特徴1テーブル
1242:特徴2テーブル
124m:特徴mテーブル
20:メール送信ホスト
30:メール蓄積サーバ
40:特徴抽出部
41:データ受信部
42:解析部
421:キャッシュ判定部
422:IPアドレス分析部
423:キーワード分析部
424:隣接ホスト類似度判定部
425:TCP/IPヘッダ解析部
43:IPデータベース(IP DB)
44:DNS逆引きホスト解決部
45:キーワードデータベース(DB)
46:特徴出力部
50:メール受信サーバ
51:メール配送処理部
511:メール受信・処理部
512:メッセージ配送管理部
513:メール送信部
52:メール送信ホスト分類部
521:メール送信ホストクラス推定部
522:尤度・事前確率データベース(DB)
Claims (13)
- 電子メール受信サーバあるいは該電子メール受信サーバの手前に設置されたサーバ(以下、両者を総称してメール受信サーバという)により電子メール送信ホストの特徴を元に該電子メール送信ホストを分類する電子メール送信ホスト分類システムであって、
電子メール送信ホストの特徴として、該電子メール送信ホストのIP(Internet Protocol)アドレスに関し、IPアドレスが属する国、IPアドレスが属するAS番号(Autonomous System Number)、IPアドレスが属するBGP(Border Gateway Protocol)Prefix、IPアドレスにDNS(Domain Name System)逆引きレコード(PTR Resource Record)が存在するか否か、IPアドレスを逆引きしたホスト名に任意に指定が可能な特定の文字列パターンが含まれているか否か、隣接したIPアドレスを逆引きしたホスト名と当該IPアドレスのホスト名の類似度、IPアドレスが特定のブラックリストに存在したか否かを特徴A={A1,…,Am}として取得するとともに、前記電子メール送信ホストが前記メール受信サーバに対して試みたSMTP(Simple Mail Transfer Protocol)通信に対して当該IPパケットのIPヘッダおよびTCP(Transmission Control Protocol)ヘッダに記載された情報を任意に指定し特徴B={B1,…,Bp}として取得する特徴取得手段と、
該特徴取得手段で取得した電子メール送信ホストの特徴A={A1,…,Am}および特徴B={B1,…,Bp}を格納するメール送信ホストデータベース(DB)と、
予め前記電子メール送信ホストを複数のクラスC1、C2、・・・,Cxに分類したデータを準備しておき、該データを元に、前記電子メール送信ホストがそれぞれのクラスに属する際に前記特徴A={A1,…,Am}および特徴B={B1,…,Bp}がある実現値をとる確率である尤度をそれぞれの特徴Aj,Bl(j=1,2,…,m,l=1,2,…,p)毎に下記(数1)により計算する尤度計算手段と、
前記データよりあるホストがクラスCiとなる事前確率Pr[C=Ci]をi=1,2,…,xに対して計算する事前確率計算手段と、
前記尤度計算手段で求めた尤度と前記事前確率計算手段で求めた事前確率を格納する尤度・事前確率データベース(DB)と、
新たに観測した電子メール送信ホストに対して前記特徴抽出手段により特徴A,Bを取得し、その値を元に前記複数のクラスC1、C2、・・・,Cxに対して下記(数2)で定義されるスコアS(A,B;Ci)を計算するスコア計算手段と、
前記スコア計算手段で求めたスコアSが最も高い値を与えるクラスを観測した電子メール送信ホストのクラスとして推定するクラス推定手段と
を有することを特徴とする電子メール送信ホスト分類システム。 - 請求項1に記載の電子メール送信ホスト分類システムにおいて、
前記特徴抽出手段における特徴抽出で特徴A,Bの一部の情報が得られない場合は、得られた情報のみを用いて前記尤度計算手段、事前確率計算手段、スコア計算手段による計算を実施する
ことを特徴とする電子メール送信ホスト分類システム。 - 請求項1または2に記載の電子メール送信ホスト分類システムにおいて、
前記特徴Aの取得において、AS番号、BGP Prefix、国番号に関して、生のデータを使う代わりにハッシュ関数を適用し、取り得る値の範囲を一定のサイズに固定した値を使う
ことを特徴とする電子メール送信ホスト分類システム。 - 請求項1から4のいずれかに記載の電子メール送信ホスト分類システムにおいて、
前記隣接したIPアドレスを逆引きしたホスト名と当該IPアドレスのホスト名の類似度の判断において、当該アドレスおよび隣接アドレスのホスト名をH(当該アドレス),H’(隣接アドレス1),H’’(隣接アドレス2)とした際に、HをH’に変更するのに必要な文字列操作の回数をd(H,H’)とし、同様にHとH’’に対してはHをH’’に変更するのに必要な文字列操作の回数をd(H,H’’)とし、d(H,H’)とd(H,H’’)の双方が任意に指定可能な閾値θよりも小さい場合に当該IPアドレスは隣接アドレスに対して類似していると判断する
ことを特徴とする電子メール送信ホスト分類システム。 - 請求項1から6のいずれかに記載の電子メール送信ホスト分類システムにおいて、
前記IPアドレスを逆引きしたホスト名に任意に指定が可能な特定の文字列パターンが含まれているか否かの判断において、前記特定の文字列パターンは下記(a)〜(c)のいずれかの文字列を含むこと
を特徴とする電子メール送信ホスト分類システム。
(a)56k, access, bb, broadband, cable, catv, dhcp, dial, dip, dsl, dyn, fiber, ftth, host, hotspot, hsd, ipad, ipbf, ipngn, isdn, isp, mobil, modem, pool, ppp, reverse, telecom, telekom, telkom, user, usr, wifi, wireless, wi-fi を含む
(b)当該IPアドレスのドット表記に対し、ドットで区切られた数字そのものあるいはそれを16進数表記したものが順序は問わず、二つ以上含まれる
(c)当該IPアドレスのドット表記の最後の数字が含まれる - 請求項1から9のいずれかに記載の電子メール送信ホスト分類システムにおいて、
前記メール送信ホストデータベース(DB)において、当該電子メール送信ホストの特徴A,Bを収集して格納した時刻Tを記録しておき、同電子メール送信ホストが再度観測された場合にその時刻と前記時刻Tとの差が任意に指定可能な一定期間内であれば前記メール送信ホストデータベース(DB)に記録された特徴を利用し、一定期間内でない場合は新規に特徴A,Bを収集し直す
ことを特徴とする電子メール送信ホスト分類システム。 - 請求項1から10のいずれかに記載の電子メール送信ホスト分類システムにおいて、
前記特徴Bとして、前記TCP/IPヘッダ情報に記載された情報に加え、メール受信サーバがメッセージ受信前(SMTPトランザクションにおいて、DATAコマンドが発行される前)に取得が可能なデータとして、SMTPコマンド(HELO, RCPT, RSET, SEND, SOML, SAML, VRFY, EXPN, HELP, NOOP, QUIT, TURN)の引数、および受信サーバが応答したSMTP応答コードを特徴Bとして利用する
ことを特徴とする電子メール送信ホスト分類システム。 - 電子メール受信サーバあるいは該電子メール受信サーバの手前に設置されたサーバ(両者を合わせて、以下メール受信サーバという)により電子メール送信ホストの特徴を元に該電子メール送信ホストを分類する電子メール送信ホスト分類方法であって、
電子メール送信ホストの特徴として、該電子メール送信ホストのIP(Internet Protocol)アドレスに関し、IPアドレスが属する国、IPアドレスが属するAS番号(Autonomous System Number)、IPアドレスが属するBGP(Border Gateway Protocol)Prefix、IPアドレスにDNS(Domain Name System)逆引きレコード(PTR Resource Record)が存在するか否か、IPアドレスを逆引きしたホスト名に任意に指定が可能な特定の文字列パターンが含まれているか否か、隣接したIPアドレスを逆引きしたホスト名と当該IPアドレスのホスト名の類似度、IPアドレスが特定のブラックリストに存在したか否かを特徴A={A1,…,Am}として取得するとともに、前記電子メール送信ホストが前記メール受信サーバに対して試みたSMTP(Simple Mail Transfer Protocol)通信に対して当該IPパケットのIPヘッダおよびTCP(Transmission Control Protocol)ヘッダに記載された情報を任意に指定し特徴B={B1,…,Bp}として取得する特徴取得ステップと、
該特徴取得手段で取得した電子メール送信ホストの特徴A={A1,…,Am}および特徴B={B1,…,Bp}をメール送信ホストデータベース(DB)に格納する特徴格納ステップと、
予め前記電子メール送信ホストを複数のクラスC1、C2、・・・,Cxに分類したデータを準備しておき、該データを元に、前記電子メール送信ホストがそれぞれのクラスに属する際に前記特徴A={A1,…,Am}および特徴B={B1,…,Bp}がある実現値をとる確率である尤度をそれぞれの特徴Aj,Bl(j=1,2,…,m, l=1,2,…,p)毎に下記(数8)により計算する尤度計算ステップと、
前記データよりあるホストがクラスCiとなる事前確率Pr[C=Ci]をi=1,2,…,xに対して計算する事前確率計算ステップと、
前記尤度計算手段で求めた尤度と前記事前確率計算手段で求めた事前確率を尤度・事前確率データベース(DB)に格納する尤度・事前確率格納ステップと、
新たに観測した電子メール送信ホストに対して前記特徴抽出手段により特徴A,Bを取得し、その値を元にクラスC1、C2、・・・,Cxに対して下記(数9)で定義されるスコアS(A,B;Ci)を計算するスコア計算ステップと、
前記スコア計算手段で求めたスコアSが最も高い値を与えるクラスを観測した電子メール送信ホストのクラスとして推定するクラス推定ステップと
を有することを特徴とする電子メール送信ホスト分類方法。 - コンピュータを、請求項1から11のいずれかに記載の電子メール送信ホスト分類システムにおける各手段として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009035469A JP5036742B2 (ja) | 2009-02-18 | 2009-02-18 | 電子メール送信ホスト分類システムおよび電子メール送信ホスト分類方法ならびにそのためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009035469A JP5036742B2 (ja) | 2009-02-18 | 2009-02-18 | 電子メール送信ホスト分類システムおよび電子メール送信ホスト分類方法ならびにそのためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010191693A JP2010191693A (ja) | 2010-09-02 |
JP5036742B2 true JP5036742B2 (ja) | 2012-09-26 |
Family
ID=42817671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009035469A Expired - Fee Related JP5036742B2 (ja) | 2009-02-18 | 2009-02-18 | 電子メール送信ホスト分類システムおよび電子メール送信ホスト分類方法ならびにそのためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5036742B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5668034B2 (ja) | 2012-09-04 | 2015-02-12 | ビッグローブ株式会社 | 電子メール監視装置、送信メールサーバ、電子メール監視方法およびプログラム |
JP5846590B2 (ja) * | 2014-10-24 | 2016-01-20 | ビッグローブ株式会社 | 電子メール監視装置、送信メールサーバ、電子メール監視方法およびプログラム |
JP6992959B2 (ja) | 2016-03-30 | 2022-01-13 | 日本電気株式会社 | 通信処理システム、通信処理装置、通信処理方法および通信処理プログラム |
CN106506327B (zh) * | 2016-10-11 | 2021-02-19 | 东软集团股份有限公司 | 一种垃圾邮件识别方法及装置 |
-
2009
- 2009-02-18 JP JP2009035469A patent/JP5036742B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010191693A (ja) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2004202268B2 (en) | Origination/destination features and lists for spam prevention | |
US7849142B2 (en) | Managing connections, messages, and directory harvest attacks at a server | |
US7873695B2 (en) | Managing connections and messages at a server by associating different actions for both different senders and different recipients | |
US7870200B2 (en) | Monitoring the flow of messages received at a server | |
US8621638B2 (en) | Systems and methods for classification of messaging entities | |
AU2004216772B2 (en) | Feedback loop for spam prevention | |
US7660865B2 (en) | Spam filtering with probabilistic secure hashes | |
US7836133B2 (en) | Detecting unwanted electronic mail messages based on probabilistic analysis of referenced resources | |
US8549081B2 (en) | Recognizing spam email | |
Qian et al. | On Network-level Clusters for Spam Detection. | |
US7761567B2 (en) | Method and apparatus for scoring unsolicited e-mail | |
US7543053B2 (en) | Intelligent quarantining for spam prevention | |
US7206814B2 (en) | Method and system for categorizing and processing e-mails | |
US20050102366A1 (en) | E-mail filter employing adaptive ruleset | |
US20060224673A1 (en) | Throttling inbound electronic messages in a message processing system | |
US8819102B2 (en) | Method and system for managing message communications | |
WO2003003236A1 (en) | Apparatus and method for handling electronic mail | |
CN101141416A (zh) | 一种可用于传输汇集阶段的实时垃圾邮件过滤方法和系统 | |
JP5036742B2 (ja) | 電子メール送信ホスト分類システムおよび電子メール送信ホスト分類方法ならびにそのためのプログラム | |
US20140040403A1 (en) | System, method and computer program product for gathering information relating to electronic content utilizing a dns server | |
JP2006251882A (ja) | 迷惑メール処理システム、迷惑メール処理方法、プログラム | |
KR100864307B1 (ko) | 메일 필터링 관리시스템 및 이에 의한 메일 필터링방법 | |
Taveira et al. | A monitor tool for anti-spam mechanisms and spammers behavior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110608 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110608 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110616 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110704 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120501 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120619 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120703 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120629 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |