JP4839318B2 - メッセージプロファイリングシステムおよび方法 - Google Patents

メッセージプロファイリングシステムおよび方法 Download PDF

Info

Publication number
JP4839318B2
JP4839318B2 JP2007540073A JP2007540073A JP4839318B2 JP 4839318 B2 JP4839318 B2 JP 4839318B2 JP 2007540073 A JP2007540073 A JP 2007540073A JP 2007540073 A JP2007540073 A JP 2007540073A JP 4839318 B2 JP4839318 B2 JP 4839318B2
Authority
JP
Japan
Prior art keywords
reputation
messaging entity
message
sender
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007540073A
Other languages
English (en)
Other versions
JP2008519532A (ja
Inventor
ポール ジャッジ,
グル ラジャン,
ドミトリ アルペロヴィッチ,
マット モイヤー,
Original Assignee
セキュアー コンピューティング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/142,943 external-priority patent/US20060015942A1/en
Priority claimed from US11/173,941 external-priority patent/US8132250B2/en
Application filed by セキュアー コンピューティング コーポレイション filed Critical セキュアー コンピューティング コーポレイション
Publication of JP2008519532A publication Critical patent/JP2008519532A/ja
Application granted granted Critical
Publication of JP4839318B2 publication Critical patent/JP4839318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/212Monitoring or handling of messages using filtering or selective blocking

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Description

この文書は通信を処理するためのシステムおよび方法に広く関連し、特に通信をフィルタリングするためのシステムおよび方法に関連している。
反スパム(anti−spam)産業においては、スパム送信者(spammer)は、スパムフィルタによる検出を回避するための種々の独創的な手段を使用する。利用可能な反スパムシステムは、フェイルオープン(fail−open)システムを含み、フェイルオープンシステムにおいて、全ての入力メッセージがスパムに対するフィルタをかけられる。しかしながら、これらのシステムは、正当またはスパムとして正しく分類されるメッセージにおいては、非効率および不正確であり得る。
本明細書で開示される教示に従って、方法およびシステムが、メッセージングエンティティに評判を指定する1つ以上のデータプロセッサ上に動作を提供される。例えば、方法およびシステムは、メッセージングエンティティの通信に関連する1つ以上の特性を識別するデータを受信することと、受信された識別データに基づいて評判を決定することとを含み、決定された評判スコアは、メッセージングエンティティの評判を指示し、決定された評判スコアは、メッセージングエンティティに関連する通信に対してどの行動がとられるべきかを決定することに使用される。
別の例として、トランスミッションセンダの評判スコアを利用するトランスミッションフィルタリングを行うシステムおよび方法が、提供される。システムおよび方法は、センダからのトランスミッションについて少なくとも1つの特性を識別することと、トランスミッション特性を含む評判システムに対してリアルタイムの照会(query)を行うことと、トランスミッションに関連する評判を表すスコアを受信することと、センダからのトランスミッションに、センダの評判のスコアの範囲に対応する行動を実行することとを含み得る。
別の例として、トランスミッションのセンダの評判スコアを利用するトランスミッションのグループのフィルタリングを行うためのシステムおよび方法が提供される。例えば、システムおよび方法は、コンテンツの類似性またはトランスミッションセンダの挙動における類似性に基づいて複数のトランスミッションを共にグルーピングすることと、グルーピングにおける各トランスミッションについて少なくとも1つの特性を識別することと、評判システムに対して照会を行い、各センダの評判を表すスコアを受信することと、グループにおける評判が良いセンダおよび評判が良くないセンダのパーセンテージに基づいてトランスミッションのグループを分類することと、を含み得る。
別の例として、訓練可能なトランスミッションのセットにおいて、トランスミッションのセンダの評判スコアを利用するフィルタリングシステムの調整および訓練を行うためのシステムおよび方法が提供される。例えば、方法はセンダからのトランスミッションについて少なくとも1つの特性を識別することと、評判システムに対して照会を行い、センダの評判を表すスコアを受信することと、センダの評判スコアが分類される範囲に基づいて複数のカテゴリにトランスミッションを分類することと、フィルタリングシステムの最適化のために使用されるべき別のフィルタリングシステムのトレーナにトランスミッションおよびトランスミッションの分類カテゴリを受け渡すことと、を含み得る。
別の例として、メッセージングエンティティからの通信を分類するために1つ以上のデータプロセッサ上で動作するシステムおよび方法が提供される。例えば、システムおよび方法は、メッセージングエンティティからの通信を受信することと、通信を分類するために複数のメッセージ分類手法を使用することと、メッセージプロファイルスコアを生成するためにメッセージ分類出力を組み合わせることとを含み得、メッセージプロファイルスコアは、メッセージングエンティティに関連する通信に対してどの行動がとられるべきかを決定することに使用される。
別の例として、このようなシステムおよび方法は、センダからのトランスミッションについて少なくとも1つの特性を識別することと、評判システムに対して照会を行い、センダの評判を表すスコアを受信することと、センダの評判スコアが分類される範囲に基づいて複数のカテゴリにトランスミッションを分類することと、フィルタリングシステムの最適化のために使用されるべき別のフィルタリングシステムのトレーナにトランスミッションおよびトランスミッションの分類カテゴリを受け渡すことと、を含み得る。
別の例として、このようなシステムおよび方法は、メッセージングエンティティからの通信を受信することと、通信を分類するために複数のメッセージ分類手法を使用することと、メッセージプロファイルスコアを生成するためにメッセージ分類出力を組み合わせることとを含み得、メッセージプロファイルスコアは、メッセージングエンティティに関連する通信に対してどの行動がとられるべきかを決定することに使用される。
本明細書で開示される教示に従って、方法およびシステムは、メッセージングエンティティからの通信を分類する1つ以上のデータプロセッサ上に動作を提供される。例えば、システムおよび方法は、複数のメッセージ分類手法を含み得、手法は、メッセージングエンティティから受信される通信を分類するように構成される。システムおよび方法は、メッセージプロファイルスコアを生成するためにメッセージ分類出力を組み合わせるように構成されるメッセージプロファイリング論理をさらに含み得、メッセージプロファイルスコアは、メッセージングエンティティに関連する通信に対してどの行動がとられるべきかを決定することに使用される。
別の例として、方法およびシステムは、メッセージングエンティティから送達された通信を受信することを含み得る。複数のメッセージ分類手法が通信を分類するために使用される。メッセージ分類手法は信頼値に関連し、信頼値はメッセージ分類手法からメッセージ分類出力を生成することに使用される。メッセージ分類出力は、メッセージプロファイルスコアを生成するために組み合わせられる。メッセージプロファイルスコアはメッセージングエンティティに関連する通信に対してどの行動がとられるべきかを決定することに使用される。
別の例として、システムおよび方法は、複数のメッセージ分類手法を利用し得、複数のメッセージ分類手法は、メッセージングエンティティから受信された通信を分類するように構成される。メッセージプロファイリング論理は、メッセージプロファイルスコアを生成するためにメッセージ分類出力を組み合わせるように構成され得る。メッセージプロファイルスコアは、メッセージングエンティティに関連する通信に対してどの行動がとられるべきかを決定することに使用される。
別の例として、システムおよび方法は、1つ以上のメッセージ分類手法による使用のためのメッセージ分類パラメータの調整に使用され得る。複数の通信である、または複数のデータを表す、複数の入力データが受信される(例えば、入力論理または処理命令を介して)。チューナプログラムは、メッセージ分類手法に関連するメッセージ分類パラメータを調整するために使用される。通信はメッセージングエンティティから受信される。調整されたメッセージ分類パラメータは、通信を分類するために複数のメッセージ分類手法によって使用される。複数のメッセージ分類手法からのメッセージ分類出力は、メッセージプロファイルスコアを生成するために組み合わせられる。メッセージプロファイルスコアは、メッセージングエンティティに関連する通信に対してどの行動がとられるべきかを決定することに使用される。
(詳細な説明)
図1は、30において、ネットワーク40上で受信されるトランスミッションを扱うためのシステムを描いている。トランスミッションは多くの異なるタイプの通信(例えば、1つ以上のメッセージングエンティティ(messaging entity)50から送られた電子メール(e−mail)メッセージ)であり得る。システム30は、メッセージングエンティティ(例えば、メッセージングエンティティ52)に対して分類を指定し、メッセージングエンティティに指定された分類に基づいて、メッセージングエンティティの通信に関して行動がとられる。
システム30は、メッセージングエンティティ50からの処理通信を支援するために、フィルタリングシステム60、および評判システム(reputation system)70を使用する。フィルタリングシステム60は、どんなフィルタリング行動(もしあるのならば)がメッセージングエンティティの通信上でなされるかの決定を支援するために、評判システム70を使用する。例えば、通信は評判が良い供給源からであると決定され得、従って通信はフィルタされない。
フィルタリングシステム60は、62において、受信された通信に関連する1つ以上のメッセージ特性を識別し、評判システム70に対して識別情報(identification information)を提供する。評判システム70は、識別されたメッセージ特性が特定の質を示す確率を計算することにより、評判を評価する。全体としての評判スコアは、計算された確率に基づいて決定され、フィルタリングシステム60に提供される。
フィルタリングシステム60は、センダ(sender)の通信のためにどんな行動がとられるかを決定するために、64において評判スコアを調査する(例えば、通信トランスミッションが、メッセージ受信システム80内に位置される、通信の指定されたレシピエント(recipient)に届けられるかどうか)。フィルタリングシステム60は、通信が、評判システム70によって提供されたスコアを付けられた評判の全体に、または一部に基づいて扱われると決定し得る。実例として、通信は、評判が良くない(non−reputable)センダからであると決定され得、結果として通信はSpamとして扱われる(例えば、削除されたり、隔離(quarantine)されたり、など)。
評判システムは、フィルタリングシステムを支援するために、多くの異なる方法で構成され得る。例えば、評判システム70は、当面の状況に依存して、フィルタリングシステム60に対して外部、または内部に位置され得る。別の例として、図2は、このような、82において示されているようなセンダのアイデンティティとしてのメッセージ特性識別情報に基づいて、評判スコアを計算するように構成される評判システム70を描いている。他のメッセージ特性が、センダのアイデンティティの代わりに、またはセンダのアイデンティティに加えて使用され得ることが理解される。さらに、トランスミッションは、多くの異なるタイプのメッセージングエンティティからであり得る(例えば、ドメインネーム、IPアドレス、電話番号、または個別の電子アドレス、組織を代表するユーザ名、コンピュータ、または電子メッセージを送信する個別のユーザ)。例えば、評判が良い、および評判が良くないという、生成された分類は、望まれないトランスミッション、または正当な通信を送信するためのIPアドレスの傾向に基づき得る。
システムの構成90はまた、図2に示され、バイナリのテスト可能な判定基準92のセットを識別することにより確立され得、判定基準92は、良いセンダと悪いセンダとの間の強いディスクリミネータと思われる。P(NR|C)は、センダが質/判定基準Cに従う場合には、上記センダは評判が良くないという確率として定義され得、P(R|C)は、センダが質/判定基準Cに従う場合には、上記センダが評判である関数として定義され得る。
質/判定基準Cの各々に対し、周期的な(例えば、一日の、一週間の、一月の、など)サンプリング演習が、P(NR|C)の再計算をするために行われ得る。サンプリング演習は、質/判定基準Cが真であることが既知のセンダNのランダムサンプルセットSを選択することを含み得る。サンプル中のセンダは、次いで以下のセットの内の1つにソートされる:評判が良い(R)、評判が良くない(NR)、または未知(U)。Nは、評判が良いセンダであるサンプルにおけるセンダ数であり、NNRは、評判が良くないセンダのセンダ数、などである。次いで、P(NR|C)およびP(R|C)は、式:
Figure 0004839318
を用いて推定される。この目的において、N=30は、各々の質/判定基準Cに対してP(NR|C)およびP(R|C)の正確な推定を達成するためには大きすぎるサンプルサイズであることが決定される。
全ての判定基準に対し、P(NR|C)およびP(R|C)を計算した後に、算出された確率は、評判スペースにおける各センダの、評判が良くない確率の総計PNR 94、および評判が良いセンダの確率の総計P 96を計算されるために使用される。これらの確率は式:
Figure 0004839318
を用いて計算され得る。実験においては、上記の式は広範囲の入力判定基準の組み合わせに対して非常に良い挙動を見せ、実際には、それらの挙動は、入力判定基準の「評判が良くない」および「評判が良い」挙動の条件付き確率の単純な(naive)結合を正確に算出するための式の挙動に類似するように見える。
各センダに対して、PNRおよびPを計算した後に、評判スコアは、そのセンダに対して以下の評判関数:
Figure 0004839318
を用いて計算される。異なる関数が、評判スコアのデタミネータ98として振舞い、関数の表現に加えて、多くの異なる形式で表現され得ることが理解される。実例として、図3は、100において評判スコアを決定するための表形式を描いている。表は、PNRおよびPに基づいて、それらが0.0〜1.0の間で変動する場合に、上記の関数により生成される評判スコアを示している。例えば、110に示されているように、53という評判スコアはPNR=0.9およびP=0.2の組み合わせにおいて取得される。この評判スコアは、センダが評判が良いと考慮されない比較的高い指標である。0という評判スコアは、PNRおよびPが同一である場合に取得される(例えば、120において示されるように、PNR=0.7およびP=0.7の場合に、評判スコアが0になる)。評判スコアは、PがPNRよりも大きい場合に決定される、センダが比較的評判が良いことを指示するための負の値を有し得る。例えば、130に示されるように、PNR=0.5およびP=0.8の場合には、評判スコアは−12である。
評判スコアは図4の150に描かれるように、図式的に示され得る。グラフ150は、PNRおよびPの値に基づいて、上記の関数より生成された。図4は、項PNR、およびPが、各々0.0〜1.0の間で変動する確率として、各々ノンスパム性(hamminess)の確率、およびスパム性の(spamminess)の確率として使用されるという点で、Spamのコンテキストにおける評判スコアの決定を図示している。
これらの例において示されるように、評判スコアは、通信の特性(例えば、メッセージングエンティティ特性)、および/またはメッセージングエンティティの挙動に基づいてメッセージングエンティティを指定される数値の評判(numeric reputation)であり得る。数値の評判は、評判が良いという分類の連続スペクトルと、評判が良くないという分類の連続スペクトルとの間で変動(fluctuate)し得る。しかしながら、評判は、例えば、テキストのカテゴリ、または複数のレベルのテキストのカテゴリによって、非数値のもの(non−numeric)であり得る。
図5は、動作シナリオを描いており、評判システムは、評判スコアを生成するためにフィルタリングシステムにより使用される。この動作シナリオにおいては、評判スコアは、入力データのセットから、特定のセンダ(例えば、IPアドレス、ドメインネーム、電話番号、住所など)において算出される。図5を参照すると、データは、センダにおける、評判が良くない確率、および評判が良い確率を計算するために必要なステップ200において収集される。データは、次いで、ステップ210において統合され、ステップ220において確率の計算に使用される。これは、多種の選択された判定基準において、センダに対する評判が良くない確率、および評判が良い確率を決定することを含む。評判が良くない確率の総計、および評判が良い確率の総計は、次いで各センダに対して計算される。
各センダに対し、評判が良くない確率の総計、および評判が良い確率の総計を計算した後に、評判スコアは、評判関数を用いるそのセンダに対し、230で計算される。ステップ240において、センダの評判スコアは、センダに関連する通信を評価するために、ローカルに、および/または1つ以上のシステムに分配される。実例として、評判スコアは、フィルタリングシステムに分配され得る。評判スコアによって、フィルタリングシステムは、センダの評判スコアが分類される範囲に基づいて、トランスミッション上に作用するように選ばれ得る。評判が悪い(unreputable)センダに対しては、フィルタリングシステムは、トランスミッションをドロップすることを選び得(例えば、静かに)、それが隔離領域に保存することを選び得、または疑わしいとしてトランスミッションにフラグを立てることを選び得る。さらに、フィルタシステムは、特定の期間におけるこのセンダからの全ての将来のトランスミッションに、評判システムに作成させるために新たなルックアップ照会(lookup query)を必要とすることなく、このような行動を適用するために選ばれ得る。評判が良いセンダに対し、フィルタリングシステムは、トランスミッションが、フィルタリングシステムにおける、有意な、処理のオーバヘッド、ネットワークのオーバヘッド、または記憶のオーバヘッドを引き起こす、全ての、またはあるフィルタリング手法をバイパスさせるために、トランスミッションに、行動を同様に適用する。
本明細書で記載される他の処理フローと同様に、処理および処理の順序は変えられ得、変更され得および/または増大され得るが、それでもやはり望ましい成果を達成し得ることが理解される。例えば、トランスミッションのセンダについての固有の識別情報を抽出するステップへの随意的な追加は、トランスミッションのある部分(例えば、メッセージのヘッダにおける、送信したと称するドメインネーム(purported sending domain name))を、センダについての偽りでない(unforgeable)情報(例えば、トランスミッションの発信元であるIPアドレス)に認証するためのセンダ認証(sender authentication)手法を用いることであり得る。このプロセスは、フィルタリングシステムが、おそらく偽られており、認証されていない情報(例えば、ドメインネーム、または電子メールアドレス)に照会することにより、評判システム上のルックアップを行うことを可能にし得る。このようなドメイン、またはアドレスが肯定的な評判を有している場合には、トランスミッションは、全ての、またはいくつかのフィルタリング手法をバイパスすることによりレシピエントのシステムに直接送達され得る。このようなドメイン、またはアドレスが否定的な評判を有している場合には、フィルタリングシステムは、トランスミッションをドロップすることを選び得、それを隔離領域に保存することを選び得、または疑わしいとしてフラグを立てることを選び得る。
多くの異なるタイプのセンダ認証手法が使用され得る(例えば、センダポリシーフレームワーク(Sender Policy Framework(SPF))手法)。SPFはプロトコルであり、このプロトコルによって、ドメインの所有者は、どのIPアドレスが、既知のドメインに代わってメールを送信することを許可されているかを指示するDNSレコードを公開する。他の限定されない例として、SenderID、またはDomainKeysがセンダ認証手法として使用され得る。
別の例として、多くの異なるタイプの判定基準が、センダの通信の処理において使用され得る。図6は、評判スコアの決定における使用において、評判が良くない判定基準300、および評判が良い判定基準310の使用を描いている。
評判が良くない判定基準300、および評判が良い判定基準310は、評判が良くないセンダと、評判が良いセンダとを区別するために役立つ。判定基準のセットは、このスコアをつける手法を用いて生成された評判スコアに有意に影響することなく、しばしば変化し得る。SPAM識別のコンテキスト内の実例として、以下はメッセージのセンダの評判スコアをつけることに使用され得るスパム性判定基準のリストである。リストは網羅的であることを意図しておらず、観測された挙動に基づいて、他の判定基準を含むように、または判定基準を除去するように適合され得る。
1.平均スパムスコア(Mean Spam Score):センダが送信するトランスミッションの平均スパムプロファイラ(profiler)スコアが、あるしきい値Wを超える場合には、センダは「評判が良くない」と宣言される。
2.RDNSルックアップフェイラ(RDNS Lookup Failure):リバース(reverse)ドメインネームシステム(RDNS)が、センダのIPアドレスのフェイル(fail)に照会する場合には、センダは「評判が良くない」と宣言される。
3.RBLメンバシップ(RBL Membership):センダが、リアルタイムブラックホールリスト(real−time blackhole list)(RBL)に含まれる場合には、センダは「評判が良くない」と宣言される。(注意:複数のRBLが使用され得る。RBLの各々は別個のテストの判定基準を構成し得る。)
4.メール量(Mail Volume):センダの平均の(平均の、または中央値の)トランスミッションの量がしきい値Xを超える場合には、センダは「評判が良くない」と宣言される。ここで、Xは期間におけるトランスミッションにおいて測定される(例えば、一日、一週間、または一ヶ月)。(注意:複数の期間における複数の平均量が使用され得、各々の平均量は別個のテストの判定基準を構成し得る。)
5.メールバースティネス/送信履歴(Mail Burstiness/Sending History):センダの平均の(平均の、または中央値の)トランスミッションのトラフィックパターンのバースティネス(burstiness)(より大きな期間(例えば、一日の活発な送信時間数、または一ヶ月の活発な送信日数)内の活発な送信サブピリオドの数により定義される)が、あるしきい値Yよりも小さい場合には、センダは「評判が良くない」と宣言される。ここでYは、期間ごとのサブピリオドにおいて測定される。(注意:複数の期間において測定された複数の平均バースティネスが使用され得、各々の平均バースティネスの測定は別個のテストの判定基準を構成し得る。)
6.メールブレドス(Mail Breadth):センダの平均の(平均の、または中央値の)トランスミッショントラフィックブレドス(breadth)(期間(例えば、一日、一週間、または一ヶ月)中に同一のセンダからのトランスミッションを受信するシステムのパーセンテージにより定義される)が、あるしきい値Zを超える場合には、センダは「評判が良くない」と宣言される。(注意:複数の期間における複数の平均ブレドスが使用され得、各々の平均ブレドス測定は、別個のテストの判定基準を構成し得る。)
7.マルウェアの活動(Malware Activity):センダが、測定期間中に1つ以上のマルウェア(malware)コード(例えば、ウイルス、スパイウェア、侵入コード)を送達していることが知られている場合には、センダは「評判が良くない」と宣言される。
8.アドレスのタイプ(Type of Address):インターネットサービスプロバイダ(ISP)によって、ダイヤルアップの、またはブロードバンドの動的ホストコントロールプロトコル(DHCP)クライアントに動的に指定されたものとして知られている場合には、センダは「評判が良くない」と宣言される。
9.CIDRブロックのスパム性(CIDR Block Spamminess):センダのIPアドレスが、主に「評判が良くない」IPアドレスを包含するクラスレスドメイン間ルーティング(CIDR)ブロック内に存在することが知られている場合には、センダは「評判が良くない」と宣言される。
10.人的フィードバック(Human Feedback):センダが、コンテンツ、およびこれらのトランスミッションの他の特性を解析する人々により、所望されないトランスミッションが送信されることが報告される場合には、センダは「評判が良くない」と宣言される。
11.スパムトラップフィードバック(SpamTrap Feedback):センダが、スパムトラップ(spamtrap)として宣言され、任意の正当なトランスミッションを受信するように想定されていないものとして宣言されているアカウントにトランスミッションを送信する場合には、センダは「評判が良くない」と宣言される。
12.バウンスバックフィードバック(Bounceback Feedback):センダが、バウンスバック(bounceback)トランスミッションを、またはトランスミッションを、送り先の(destination)システムには存在しないアカウントに送信する場合には、センダは「評判が良くない」と宣言される。
13.法律制定/標準の適合(Legislation/Standards Conformance):センダが、トランスミッションのセンダおよび/またはレシピエントのいずれかの動作する国において、トランスミッションの挙動の法律、規則、および確立された標準に従わない場合には、センダは「評判が良くない」と宣言される。
14.動作の連続性(Continuity of Operation):センダが、あるしきい値Zよりも長く送信する位置において動作されない場合には、センダは「評判が良くない」と宣言される。
15.レシピエントの需要に対する応答性(Responsiveness to Recipient Demands):センダが、センダからの任意のこれ以上のトランスミッションを受信しないように、センダとの関係を終結させるためのレシピエントの正当な需要に対して合理的な時間枠において応答しない場合には、センダは「評判が良くない」と宣言される。
以下は、センダの「評判の良さ」の決定に使用され得る、「評判が良い」判定基準のリストである。リストは網羅的であることを意図しておらず、観測された挙動に基づいて、他の判定基準を含むように、または判定基準を除去するように適合され得る。
1.平均スパムスコア(Mean Spam Score):センダが送信するトランスミッションの平均スパムプロファイラスコアが、あるしきい値Wを下回る場合には、センダは「評判が良い」と宣言される。
2.人的フィードバック(Human Feedback):センダが、それらの送信ステーションが所属する組織の評判に関連する、そのセンダからのトランスミッションフローを解析する人々によって正当なトランスミッションのみを送信されることが報告されている場合には、センダは「評判が良い」と宣言される。
センダの世界において、各センダの評判の等級を計算した後に、評判の分類は、評判システムを利用する、照会するもの(querier)(例えばDNS、HTTPなど)により解釈され得る通信プロトコルを経由して利用可能にされ得る。図7に示されているように、照会350がセンダに出されている場合には、評判システムは、センダのトランスミッションの受容性における最終的な判断を行うために、照会者により使用され得る任意の他の関連する付加的な情報だけでなく、センダの評判スコアをも含む戻り値(return value)360に応答し得る(例えば、判断スコアの年齢、スコアを決定する入力データなど)。
使用され得る通信プロトコルの例は、ドメインネームシステム(DNS)サーバであり、ドメインネームシステムサーバは、IPアドレス(172.x.y.z)の形式の戻り値に応答し得る。IPアドレスは、式:
Figure 0004839318
を用いてエンコードされ得る。
照会されたセンダの評判は、戻り値から以下のように:
rep=(−1)2−x×(256y+z)
解読され得る。
それゆえ、x=0の場合に、戻ってきた評判は正の数で、x=1の場合に、戻ってきた評判は負の数である。評判の絶対値はyおよびzの値より決定される。このエンコードするスキームはサーバが、DNSプロトコルを経由して、評判の値を[−65535,65535]の範囲で戻すことを可能にする。それはまた、7(7)を、使用しないビットのままにする(すなわちxの7つ高位のビットである)。これらのビットは、評判システムの拡張のために保存され得る。(例えば、評判スコアの年齢は、もとの照会するものへ通信され得る。)
図8は、430において、ネットワーク440上で受信されるトランスミッションを扱うためのシステムを描いている。トランスミッションは、多くの異なるタイプの通信であり得る(例えば、1つ以上のメッセージングエンティティ450から送信された電子メール(e−mail)メッセージ)。システム430は、メッセージングエンティティ450からの通信を処理することを支援するためのフィルタリングシステム460を使用する。フィルタリングシステム460は、メッセージングエンティティ450からの通信に関連する特性を調査し、調査に基づいて、通信に関連する行動がとられる。例えば、通信は正当であると決定され得、従って、通信がフィルタリングシステム460によりフィルタされず、代わりに、意図されたレシピエントへの送達のための受信システム70に提供される。
メッセージの適切な分類の精度を増加させるために(例えば、スパムまたは正当であるとして)、フィルタリングシステム460は、図9に示されるようなメッセージプロファイラプログラム500によって構成され得る。メッセージプロファイラ500は、図9に示されているようにメッセージを分類するための、複数のメッセージ分類手法、またはフィルタ510を使用する。メッセージプロファイラ500が使用され得る、例示的なメッセージ分類手法、またはフィルタ510は:
・リバースDNS(Reverse DNS(RDNS))−分類手法であって、(1)ドメインがセンダのIPアドレスのDNSシステム内に存在するかどうかと、(2)このようなドメインが存在する場合には、ドメインが、センダがメッセージを送信することを要求するドメインと適合するかどうかの、チェックをするために、メッセージのセンダのIPアドレスに基づいて、リバースドメインネームサービス(DNS)のルックアップを行う、分類手法。
・リアルタイムブラックホールリスト(Real−time Black−hole List(RBL))−分類手法であって、IPアドレスが、任意のRBLsに不必要なメッセージを送信しそうなIPアドレスとして識別されないかどうかをチェックするために、メッセージのセンダのIPアドレスに基づいて、1つ以上のリアルタイムブラックホールリスト(RBL)の照会を行う、分類手法。
・評判サーバ(Reputation Server)−分類手法であって、センダの評判を記述するスコアを受信するために、メッセージのセンダのIPアドレス、および/またはセンダのドメインネームおよび他のメッセージセンダの特性に基づいて、1つ以上の評判サーバの照会を行う、分類手法。
・サイン/指紋ベースの解析(Signature/fingerprinting−based Analysis)(例えば、Statistical Lookup Service(SLS))−分類手法であって、メッセージのハッシュ(hash)を計算し、算出されたメッセージのハッシュが、最近のメールフローにおいて、どのくらいの頻度で見られるかを決定するための、集中した統計的ルックアップサービス(SLS)を照会する、分類手法。
・メッセージヘッダ解析による分類手法(Message Header Analysis Classification Technique)−例として、この手法はSystem Defined Header解析(SDHA)、User Defined Header Analysis(UDHA)などを含み得る。
・システムに定義されるヘッダ解析(System Defined Header Analysis(SDHA))−分類手法のセットであって、メッセージを調査し、メッセージのヘッダが、おそらく不必要なメッセージのセンダを識別する傾向にある、特定のシステムに定義される特性を示すかどうかを識別する、セット。
・ユーザに定義されるヘッダ解析(User Defined Header Analysis(UDHA))−分類手法のセットであって、メッセージを調査し、メッセージのヘッダが、おそらく不必要なメッセージセンダを識別する傾向にある、あるシステムに定義される特性を示すかどうかを識別する、セット。
・センダ認証(Sender Authentication)−分類手法のセットであって、(1)センダの要求されるドメインが、そのドメインにメールを送信するように権限を与えられたメールサーバの記録を公開しているかどうかと、(2)このような記録が公開されている場合には、記録が、要求されるドメインに代わってメールを送信するためのセンダのIPアドレスに権限を与えるかどうかを決定するためにルックアップを行う、セット。一般的に使用されるSender Authentication手法の例は、センダポリシーフレームワーク(SPF)およびSenderIDを含む。
・ベイジアンフィルタリング(Bayesian Filtering)−統計的な分類手法であって、メッセージにおけるテキストのトークン(token)(単語)のセットに基づいて、メッセージが特定のカテゴリに分類される条件付き確率の結合の推定を算出する、手法。
・コンテンツフィルタリング(Content Filtering)−分類手法であって、あるメッセージのカテゴリに関連している単語でメッセージのコンテンツを検索する、手法。
・クラスタリング分類(Clustering Classification)−特性の中の類似性の測定に基づく分類手法であって、通信は、望ましい、望ましくない(例えば、スパム)などとしてこのようなグループにクラスタされる。クラスタリングは、グループ内の類似性が高く、グループ間の類似性が低くなるように行われる。
リストは網羅的であることを意図されず、他の手法が発見された場合には他の手法を含むように適合され得る。リストの記載のいくつかは単一の手法を構成し、一方でその他のものは、多くの類似した、または密接に関連した手法の組み合わされたセットを構成する。複数の手法が共同で記述される場合には、メッセージプロファイラ500は、各々の手法が、各々独自の信頼値を有することを認める。
メッセージプロファイラ500は、しきい値ベースの手法を用いてメッセージを分類する。分類手法の各々510は、関連する信頼値520を有するメッセージプロファイラ500により使用される。メッセージがプロファイリングに到達した場合には、メッセージプロファイラ500は分類手法を介して繰り返し、各々の手法がメッセージを分類するように試みることを可能にする。各々の分類の結果は、[0,1]の範囲のデシマル値(decimal value)である。各々の分類手法を介して繰り返した後に、メッセージプロファイラ500は以下の式:
Figure 0004839318
を用いてメッセージにおけるスコアを算出する。ここで、SVは分類手法iに関連する信頼値、Cは分類手法iにより生成された[0,1]における分類値である。
非線形のスコアリング関数による分類手法においては、以下の式が使用され得る:
Figure 0004839318
ここで、SV1iおよびSV2iは、分類手法iに関連する信頼値であり、Cは、分類手法iにより生成された[0,1]における分類値である。
メッセージスコアが、520において決定された、ある特定のしきい値Tを超える場合には、次いでメッセージが第1の定義されたカテゴリに所属することを宣言される。メッセージスコアが、しきい値以下の場合には、反対のカテゴリに所属することを宣言される。システムは次いで、メッセージスコアにより到達したしきい値に基づく、適切な行動をとり得る(例えば、メッセージを隔離すること、メッセージをドロップすること(すなわち530において示されているように送達することなしにメッセージを消去すること)、ある特定の文字列(string)(例えば、「SUSPECTED SPAM」)を包含するようにメッセージの題(subject)を書き換えること、安全な送達のために、メッセージが暗号化エンジンを通ること、など)。システムはまた、複数のしきい値を特定すること、および各々のしきい値において異なる行動または異なる複数の行動を適用することを可能にし得、これらは分類の結果におけるメッセージプロファイラ500の増加した信用を意味する。
メッセージプロファイラ500の効果および精度は、いくつかの因子(例えば、分類手法510に関連するSV、またはSV1i/SV2iという信頼値520のセット)に依存している。調整可能なメッセージの分類構成は、値の最適なセットとともに、関連するしきい値および行動のセットを生成するために使用され得、それは、絶え間なく変化するメッセージフローパターン上で動作する分類手法のスコアの分布における頻繁に起こる変化に対して最新の保護を用いてアップデートされたメッセージプロファイラ500を保持するために周期的に生成され得る。このように、メッセージプロファイラ構成は、ベクトル
(SV,SV,...,SV
を含む(ベクトルは、全てのN個の分類手法の信頼値を表している)。図10に示されているように、メッセージ分類チューナプログラム600は、全ての起こりうるベクトルのベクトル空間を介して確率論的な検索を行うことにより、および予め選択されたしきい値において、プロファイラのフィルタリングの精度を最大にするベクトルを識別することによりメッセージプロファイラ500を調整するように構成され得る。チューナ600は、これを行うために異なるアプローチを用いる(例えば、発見的な(heuristic)アプローチ610を用いる)。
図11は、ベクトル空間検索を行うための遺伝的アルゴリズム(genetic algorithm)として知られる発見的アプローチを用いるチューナを図示している。遺伝的アルゴリズムを裏打ちするコンセプトは、進化論に由来し、そのアルゴリズムにおいて遺伝型(染色体を通じて表現される)は、その表現型(生物学的生物体として表現される)を通じて各々と競合する。時間につれて、生物学的進化は、生物体が進化するための環境において生存することが可能な、高く順応される、複雑な生物体を生成する。同様に、遺伝的アルゴリズムは、問題に対する候補解からなるベクトル空間を介して検索し、ここで、各々の候補解はベクトルとして表現される。多くのシミュレートされた候補解の世代において、遺伝的アルゴリズムは、問題に対してますます良く適合される解に向かって次第に進化する。
時間につれて、問題に対する良好な解を進化するための遺伝的アルゴリズムの能力は、他の候補解に比較して候補解の相対的なフィットネスレベルを評価するための正確なメカニズムの存在に依存する。従って、遺伝的アルゴリズム650は、実際の問題のドメインにおいて候補解のフィットネスを正確にモデル化する、フィットネス関数660を用いて設計される。
以下は、メッセージプロファイラ500:
Figure 0004839318
の最適化のために使用され得るフィットネス関数660である。関数における項の定義は以下のようになる:
CAT1=第1のカテゴリに所属するデータセット全体からのメッセージベクトルの数
CAT2=第2のカテゴリに所属するデータセット全体からのメッセージベクトルの数
C=第2のカテゴリからの誤った分類をされたメッセージのための定数乗数
CAT1_MIKSTAKEi=他のカテゴリに所属するように誤った分類をされた第1のメッセージカテゴリからのメッセージベクトルiのメッセージプロファイラスコア
CAT2_MISTAKEi=他のカテゴリに所属するように誤った分類をされた第2のメッセージカテゴリからのメッセージベクトルiのメッセージプロファイラスコア
T=メッセージプロファイラの数値しきい値で、しきい値を超えると、メッセージは第1のカテゴリに所属すると考慮される
関数は、構成が先に分類されたデータのセットにおけるメッセージベクトルを正確に分類しようとしてなされた、誤りに関連するコストを表現する。従って、低いフィットネス値は、遺伝的アルゴリズムの目的のために良く考慮される。関数における第1項は、第2のカテゴリに所属するように誤った分類をされた、第1のカテゴリからのメッセージに関連するコストを表現し(例えば、正当であると分類された望ましくないメッセージ、別名偽陰性(false negative))、第2項は、第1のカテゴリに所属するように誤った分類をされた、第2のカテゴリからのメッセージに関連するコストを表現する(例えば、望ましくないと分類された正当なメッセージ、別名偽陽性(false positive))。総和は点の総数を表し、総和により、構成はメッセージベクトルを分類しようとする場合に誤りを生じた。直観的に、各々の項は、本質的に、分類エラーの平均の周波数と、分類エラーの平均の大きさ双方の表現である。第2項は定数Cを掛けられていることに注意されたい。この定数(20という値にセットされ得る)は、一方のカテゴリからのメッセージの誤った分類の、反対のカテゴリからのメッセージの誤った分類に関連する、相対的なコストを表す。Cを20にセットすることによって、これは、第2のカテゴリからのメッセージ上の分類の誤りが、第2のカテゴリからの誤りよりも20倍費用のかかることを指示する。例えば、メッセージプロファイラ500が、望ましい、および望ましくないメールの分類に使用される場合には、第1のカテゴリは望ましくないメール(例えば、スパム)を表し得、第2のカテゴリは正当なメッセージを表し得る。次いで、上記の関数は正当なメッセージの誤った分類(偽陽性)を、望ましくないメッセージの誤った分類(偽陰性)に比べ20倍費用がかかると判断し得る。これは、偽陽性が偽陰性よりもかなり高いリスクを保有するような、反スパムコミュニティにおける現実世界の観点を反映する。メッセージプロファイラ500が、ポリシーのコンプライアンスに関連する分類のために使用される場合には、偽陽性は、敏感な情報を含むが、メッセージプロファイラ500によって、それ自体としてはラベルされず、結果として、組織がその特定のカテゴリに適用されるように選ばれ得るようなポリシーを回避させられるようなメッセージである。
図12は、メッセージプロファイラが使用され得る動作シナリオを描いている。図12を参照すると、動作シナリオは、ステップ710において、メッセージングエンティティからネットワーク上に送信された通信を受信することを含む。複数のメッセージ分類手法が、次いで710において、通信を分類するために使用される。メッセージ分類手法の各々は、信頼値に関連しており、信頼値は、メッセージ分類手法からのメッセージ分類出力の収集において使用される。各々の分類の出力は、数値、テキスト形式の値、またはカテゴリの値であり得る。メッセージ分類出力は、ステップ730においてメッセージプロファイラスコアを生成するためにステップ720において組み合わされる。メッセージプロファイラスコアは、メッセージングエンティティに関連する通信に対して、どんな行動がなされるべきかを決定するために、ステップ740において使用される。
本明細書で記載される他の処理フローと同様に、処理および処理の命令が、変えられ得、変更され得、および/または増大され得、まだ望ましい成果を達成し得ることが理解される。例えば、メッセージプロファイラは、メッセージを2つの区別できるカテゴリに適切に分類することが不可能な単一の手法が存在することを認識する動作シナリオにおいて構成され得る(例えば、望ましい(正当な)および望ましくない(スパム、フィッシング(phishing)、ウイルスなど)メッセージ通信間の区別、あるいは特有の組織のポリシー、法律、または規則をメッセージが遵守するかどうかの決定)。この動作シナリオにおいては、このような構成されたメッセージプロファイラは:
1.多くのメッセージ分類手法の結果を、アプリオリ(a priori)にどの分類手法が使用されるかを特定することなく、分類の総計(例えば、「望ましくない」または「正当な」、「HIPPA準拠」「GLBA違反」「HRポリシー違反」など)に組み合わすためのフレームワークを提供するように設計され得、
2.手法の重要性のレベルが、時間につれる精度の変化を反映するように調整され得るように、分類手法の分類論理から、各分類手法の重要性(分類の総計への寄与として表現される)をデカップル(decouple)するように設計され得、
3.フレームワークが、分類の総計において非常に正確な比率を達成するためにこの情報を使用するように調整され得るように、メカニズムを介して、フレームワーク内の分類手法の各々の相対的な重要性を記載し、それらの個別の精度の相関を記載するメカニズムを提供するように設計され得、
4.フレームワークが、ある環境において最大の分類精度に調整され得るように、メカニズムを介して、フレームワーク内の分類手法の各々の相対的な重要性を発見するためのメカニズムを提供するように設計され得る。
さらに、メッセージプロファイラは、他の動作シナリオにおいて動作するように構成され得る。例えば、図13は、適応性のあるメッセージブロッキング、およびホワイトリスティング(whitelisting)を用いて動作するように適合されているメッセージプロファイラを描いている。図13を参照すると、個別のメッセージの分類に加え、メッセージプロファイラプログラム500の総計された結果はまた、820において、それらのメッセージが受信しているメッセージプロファイラスコアの分配に基づいて、メッセージのセンダを分類するために用いられる。特有の時間枠(例えば、時間、日、週)の間に、特定のセンダ(例えばIP)から受信されたメッセージの平均スコアが、特有のしきい値Tを超え、スコア分布がSTよりも小さな標準偏差を有する場合には、そのセンダは、「評判が悪い」に分類され得る(情報はデータ記憶装置840に記憶される)。プロセス800は、このようなセンダに由来する全てのメッセージおよび接続が、次のX時間において処理することなく、810においてドロップされ得ることを決定するために、次いでデータ記憶装置840からのデータを使用する。これに対して、平均のスコアが、STよりも小さな標準偏差を有するしきい値T以下である場合には、センダは正当であると考えられ得(情報はデータ記憶装置830に記憶される)、そのセンダからのメッセージが、プロセス800により、フィルタリング460において有意な処理のオーバヘッド、ネットワークのオーバヘッド、または記憶のオーバヘッドを引き起こす、特定のフィルタリング手法(例えば、メッセージプロファイラ500のフィルタリング)をバイパスさせ得る。
メッセージプロファイラはまた、エンド(endo)、およびエクソ(exo)フィルタリングシステムの適応性のある訓練に関連して使用され得る。本明細書に記載されるセンダ分類のシステムおよび方法を用いることにより、メッセージプロファイラは、プロファイル内で使用される種々のフィルタリング手法の訓練のために、完全にプロファイルの外に位置するその他のものと同様に使用され得る。このような手法は、ベイジアン、サポートベクトルマシン(SVM)、および他の統計学的な定常フィルタリング手法を、サインベースの手法(例えば、統計的なルックアップサービス(SLS)およびメッセージクラスタリングタイプの手法)と同様に、含み得る。このような手法における訓練戦略は分類された、正当なおよび望ましくないメッセージのセットを使用し得、そのセットは、このようなセンダからのメッセージのスコアの総計から指定されたセンダの評判に基づいてメッセージプロファイラにより提供され得る。評判が悪いと分類されたセンダからのメッセージは、望ましくないとしてフィルタリングシステムのトレーナに提供され得、望ましいメッセージが、正当なセンダにより送信されたストリームから取得される。
上記したように、メッセージプロファイラ500は、1つの分類手法として、評判ベースのアプローチを使用し得る。図14は、900において、メッセージングエンティティ450からの、ネットワーク440上で受信されるトランスミッションを扱うことにおいて、フィルタリングシステム460によって使用され得る評判システムを描いている。より明確に、フィルタリングシステム460は、どんなフィルタリング行動が(ある場合には)メッセージングエンティティの通信上でとられるべきかの決定(少なくとも部分的に)を支援するために、評判システム900を使用する。例えば、通信は評判が良い供給源からであると決定され得、結果として通信がフィルタされない。
フィルタリングシステム460は、950において受信された通信のセンダを識別し、その識別情報を評判システム900に提供する。評判システム900は、メッセージングエンティティが特定の特性を示す確率を計算することにより、照会されたセンダのアイデンティティの評判を評価する。全体の評判スコアは、計算された確率に基づいて決定され、フィルタリングシステム460に提供される。評判スコアは、値において、数値で、テキスト形式で、カテゴリ的であり得る。
フィルタリングシステム460は、952において、センダの通信においてどの行動がとられるべきかを決定する。フィルタリングシステム460は、評判システム900からの評判スコアを、メッセージ分類フィルタとして使用し得、メッセージ分類フィルタは、その各々調整された信頼値を掛けられ、次いで他のメッセージ分類フィルタ結果と総計される。
評判システムは、フィルタリングシステムを補助するために多くの異なる方法で構成され得る。例えば、図15は、評判スコアを計算するように構成されている評判システム900を描いている。システムの構成1000は、バイナリのテスト可能な判定基準1002を識別することにより確立され得、テスト可能な判定基準1002は、良いセンダと悪いセンダとの間の強いディスクリミネータであると思われる。P(NR|C)は、それが質/判定基準Cに従う場合には、センダは評判が良くないという確率として定義され得、P(R|C)は、それが質/判定基準Cに従う場合には、センダが評判である関数として定義され得る。
各々の質/判定基準Cに対し、周期的な(例えば、一日の、一週間の、一ヶ月の、など)サンプリング演習は、P(NR|C)を再計算するために行われ得る。サンプリング演習は、質/判定基準Cが真であることが既知のセンダNのランダムサンプルセットSを選択することを含み得る。サンプル中のセンダは、次いで以下のセットの内の1つにソートされる:評判が良い(R)、評判が良くない(NR)、または未知(U)。Nは、評判が良いセンダであるサンプルにおけるセンダ数であり、NNRは、評判が良くないセンダのセンダ数、などである。次いで、P(NR|C)およびP(R|C)は、式:
Figure 0004839318
を用いて推定される。この目的において、N=30は、各々の質/判定基準CにおいてP(NR|C)およびP(R|C)の正確な推定を達成するためには大きすぎるサンプルサイズであることが決定された。
全ての判定基準に対し、P(NR|C)およびP(R|C)を計算した後に、算出された確率は、評判スペースにおける各センダの、評判が良くない確率の総計PNR 1004、および評判が良いセンダの確率の総計P 1006を計算するために使用される。これらの確率は式:
Figure 0004839318
を用いて計算され得る。実験においては、上記の式は広範囲の入力判定基準の組み合わせの非常に良い挙動を見せ、実際には、それらの挙動は、入力判定基準の「評判が良くない」および「評判が良い」挙動の条件付き確率の単純な(naive)結合を正確に算出するための式の挙動に類似するように見える。
各センダに対し、PNRおよびPを計算した後に、評判スコアは、そのセンダに対し以下の評判関数:
Figure 0004839318
を用いて計算される。異なる関数が、評判スコアのデタミネータ1008として振舞い得、関数の表現に加えて、多くの異なる形式で表現され得ることが理解される。実例として、図16は、1100において評判スコアを決定するための表形式を描いている。表は、PNRおよびPの値に基づいて、それらが0.0〜1.0の間で変動する場合に、上記の関数により生成される評判スコアを示している。例えば、1110に示されているように、53という評判スコアはPNR=0.9およびP=0.2の組み合わせにおいて取得される。この評判スコアは、センダが、評判が良いと考慮されない、比較的高い指標である。0という評判スコアは、PNRおよびPが同一である場合に取得される(例えば、1120において示されるように、PNR=0.7およびP=0.7の場合には、評判スコアが0になる)。評判スコアは、PがPNRよりも大きい場合に決定される、センダが比較的評判が良いことを指示するための負の値を有し得る。例えば、1130に示されるように、PNR=0.5およびP=0.8の場合には、評判スコアは−12である。
多くの異なるタイプの判定基準が、評判システムのセンダの通信(例えば、評判スコアを決定するために、評判が良くない判定基準および評判が良い判定基準を用いること)の処理において使用され得る。このような判定基準の例は、2004年11月5日に出願され「CLASSIFICATION OF MESSAGING ENTITIES」と題名が付けられた、米国仮特許出願第60/625,507号において開示されている。
本明細書で開示されるシステムおよび方法は、例としてのみ示されており、本発明の範囲を制限することを意味しない。上記したシステムおよび方法の他の変形は、当業者にとって明白であり、それ自体は本発明の範囲内であると考慮される。例えば、システムおよび方法は、多くの異なるタイプの通信を扱うように構成され得る(例えば、正当なメッセージ、あるいは望ましくない通信、または予め選択されたポリシーを侵害する通信である)。実例として、望ましくない通信は、スパムまたはウイルスの通信を含み得、予め選択されたポリシーは、企業の通信ポリシー、メッセージングポリシー、法律または規則のポリシー、あるいは国際通信ポリシーを含み得る。
本明細書で開示されたシステムおよび方法の、別の広範囲の例および変形として、システムおよび方法は種々のタイプのコンピュータアーキテクチャ上で(例えば、異なるタイプのネットワーク化された環境上で)インプリメントされ得る。実例として、図17は、サーバアクセスアーキテクチャを描いており、サーバアクセスアーキテクチャにおいて、開示されたシステムおよび方法が使用され得る(例えば図17の1330に示されているように)。この例におけるアーキテクチャは、企業のローカルネットワーク1290、およびローカルネットワーク1290内に備わっている種々のコンピュータシステムを備える。これらのシステムは、アプリケーションサーバ1220(例えば、ウェブサーバおよび電子メールサーバ)、ローカルクライアント1230を実行するユーザワークステーション(例えば、電子メールリーダおよびウェブブラウザ)、およびデータ記憶デバイス1210(例えばデータベースおよびネットワーク接続されたディスク)を備え得る。これらのシステムは、ローカル通信ネットワーク(例えばイーサネット(登録商標)(Ethernet(登録商標))1250)を通じてお互いに通信する。ファイアウォールシステム1240は、ローカル通信ネットワークとインターネット1260との間に備えられる。外部サーバのホスト1270および外部クライアント1280が、インターネット1260に接続されている。本開示は、構成要素間の通信を円滑にするために、インターネット、無線ネットワーク、ワイドエリアネットワーク、ローカルエリアネットワーク、およびこれらの組み合わせを含むがそれに制限されない、任意の種類のネットワークであり得ることが理解される。
ローカルクライアント1230は、ローカル通信ネットワークを通じて、アプリケーションサーバ1220、および共有のデータ記憶装置1210にアクセスし得る。外部クライアント1280は、インターネット1260を通じて外部アプリケーションサーバ1270にアクセスし得る。ローカルサーバ1220またはローカルクライアント1230が、外部サーバ1270へのアクセスを必要とする例、あるいは外部クライアント1280または外部サーバ1270が、ローカルサーバ1220へのアクセスを必要とする例においては、あるアプリケーションサーバに対し、適切なプロトコルにおける電子的な通信は、ファイアウォールシステム1240の「常にオープンな」ポートを介して流れる。
本明細書に記載したシステム1330は、イーサネット(登録商標)1280のようなローカル通信ネットワークに接続したハードウェアデバイス、または1つ以上のサーバ上に配置され得、ファイアウォールシステム1240と、ローカルサーバ1220およびローカルクライアント1230との間に、論理的に挿入され得る。ファイアウォールシステム1240を通って、ローカル通信ネットワークに入る、またはネットワークから出て行く、アプリケーションに関連する電子的な通信は、システム1330に経路付けられる。
図17の例においては、システム1330は、非常に多くのセンダについての評判データを記憶し、処理するように、脅威マネジメントシステム(threat management system)の一部として構成され得る。これは、脅威マネジメントシステムに、電子メール(e−mail)を許可するか、またはブロックするかについてのより良い説明を受けた上での決定(informed decision)をさせ得る。
システム1330は、多くの異なるタイプの電子メールを扱うために使用され得、SMTPおよびPOP3を含む、電子メールのトランスミッション、送達および処理のために使用される、多種のプロトコルを扱うために使用され得る。これらのプロトコルは、各々、サーバ間の電子メールメッセージを通信するための標準、および電子メールメッセージに関連するサーバクライアント通信のための標準を意味する。これらのプロトコルは、特にIETF(インターネット技術標準化委員会(Internet Engineering Task Force))によって普及されたRFC(リクエストフォーコメント(Request for Comments))において各々定義される。SMTPプロトコルはRFC1221において定義され、POP3プロトコルはRFC1939において定義される。
これらの標準の開始以来、種々の必要性が電子メールの分野において進化し、エンハンスメントまたは付加的なプロトコルを含むさらなる標準の開発という結果を導いた。例えば、種々のエンハンスメントがSMTP標準を進化させ、拡張SMTPの進化という結果を導いた。拡張の例は、以下に見出され得る。(1)RFC1869。上記RFC1869は、手段(これによりサーバSMTPは、クライアントSMTPにそれがサポートするサービス拡張について通知し得る)を定義することにより、SMTPサービスを拡張するためのフレームワークを定義する。(2)SMTPサービスの拡張を定義するRFC1891。このことは、(a)送達ステータス通知(delivery status notification)が、ある状況下で生成されることと、(b)このような通知がメッセージのコンテンツを戻すかどうかと、(c)DSNが発行されるレシピエントと、オリジナルのメッセージが送達されたトランザクションの両方を、センダに識別させるDSNと共に戻される付加的な情報と、をSMTPクライアントが明確にすることを可能にする。
加えて、IMAPプロトコルは、POP3の代替物として進化し、電子メールサーバとクライアントとのさらに進んだ相互作用をサポートする。このプロトコルは、RFC2060に記載される。
他の通信メカニズムもまた、ネットワーク上で広く使用される。これらの通信メカニズムは、ボイスオーバーIP(VoIP(Voice Over IP))およびインスタントメッセージを含むが、制限されない。VoIPはIP電話において、インターネットプロトコル(IP)を用いる音声情報の送達を扱うための機能のセットを提供するために使用される。インスタントメッセージは、リアルタイムに通信(例えば、会話)を送達するインスタントメッセージサービスに接続するクライアントを含む通信タイプである。
インターネットがより広く使用されるにつれて、インターネットはまた、ユーザにとって新たなトラブルを作り出した。特に、個別のユーザにより受信されるスパムの量は、ここしばらくの間で劇的に増加している。本明細書で使用されるスパムは、レシピエントにより依頼されていない、または望まれていない任意の通信を受け取ることをいう。システムおよび方法は、本明細書において開示されるように、これらのタイプの依頼されていない、または望まれていない通信をアドレスするように構成され得る。これは、電子メールをスパムすることが、企業の資源を消費することおよび生産性に影響を与えることにおいて有用であり得る。
本明細書で公開されるシステムおよび方法は、1つ以上のデータ処理デバイスとの通信のために、ネットワーク(例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなど)、光ファイバ媒体、搬送波、無線ネットワークなどを通じて伝達されたデータ信号を用い得る。データ信号は、本明細書で公開される、デバイスへ提供される、またはデバイスから提供される、任意の、または全てのデータを運び得る。
さらに、本明細書に記載される方法およびシステムは、1つ以上のプロセッサにより実行可能なプログラム命令を含むプログラムコードにより、多くの異なるタイプの処理デバイス上でインプリメントされ得る。ソフトウェアプログラム命令は、処理システムに、本明細書で記載される方法を行わせるように動作可能なソースコード、オブジェクトコード、マシンコードまたは任意の他の記憶されたデータを含み得る。
システムの、および方法のデータ(例えば、アソシエーション、マッピングなど)は、異なるタイプの記憶デバイスおよびプログラミング構造物(例えば、データ記憶装置、RAM、ROM、フラッシュメモリ、単層ファイル、データベース、プログラミングデータ構造、プログラミング変数、IF−THEN(または類似のタイプの)命令文構造物など)のような1つ以上の異なるタイプのコンピュータインプリメントの方法において記憶およびインプリメントされ得る。データ構造は、コンピュータプログラムによる使用のためのデータベース、プログラム、メモリまたは他のコンピュータ読み取り可能な媒体において、データを編成することおよび記憶することに使用するためのフォーマットを記述することに注意されたい。
システムおよび方法は、方法の動作を行うために、および本明細書に記載されるシステムをインプリメントするために、プロセッサによる実行において使用される命令を包含するコンピュータの記憶メカニズム(例えば、CD−ROM、ディスケット、RAM、フラッシュメモリ、コンピュータのハードドライブなど)を含む、多くの異なるタイプのコンピュータ読み取り可能な媒体に提供され得る。
本明細書に記載される、コンピュータのコンポーネント、ソフトウェアモジュール、機能およびデータ構造は、それらの動作に必要とされるデータのフローを許容するために、お互いに、直接的にまたは間接的に接続し得る。ソフトウェア命令またはモジュールは、例えば、コードのサブルーチンユニットとして、コードのソフトウェア機能ユニットとして、オブジェクト(オブジェクト指向のパラダイムなどの場合)として、アプレットとして、コンピュータスクリプト言語において、別のタイプのコンピュータコードまたはファームウェアとして、インプリメントされ得ることにも注意されたい。ソフトウェアのコンポーネントおよび/または機能性は、単一のデバイス上に配置され得、当面の状況に依存して複数のデバイスにわたり分配され得る。
本明細書の記載および添付する請求の範囲全体にわたって使用される場合には、「1つの(a)」「1つの(an)」および「該」の意味は、文脈上他に明確に指図する場合を除いて、複数の参照を含むことが理解される。また、本明細書の記載および添付する請求の範囲全体にわたって使用される場合には、「において」の意味は、文脈上他に明確に指図する場合を除いて、「の中で」および「上で」を含む。最後に、本明細書の記載および添付する請求の範囲全体にわたって使用される場合には、「および」および「または」の意味は、文脈上他に明確に指図する場合を除いて、接続詞および離接接続詞の双方を含み、交換できるように使用され得る。フレーズ「排他的なまたは」は離説接続詞の意味のみが適用され得る状況を指示するために使用され得る。
図1は、ネットワーク上で受信されたトランスミッションを扱うシステムを描いているブロック図である。 図2は、評判スコアを決定するように構成されている評判システムを描いているブロック図である。 図3は、種々の計算された確率の値における評判スコアを描いている表である。 図4は、種々の計算された確率の値における評判スコアを描いているグラフである。 図5は、評判スコアを生成するための動作シナリオを描いているフローチャートである。 図6は、評判スコアを決定するための、評判が良くない判定基準および評判が良い基準の使用を描いているブロック図である。 図7は、センダの評判スコアを含む戻り値に応答するように構成された評判システムを描いているブロック図である。 図8は、ネットワーク上で受信されるトランスミッションを扱うためのシステムを描いているブロック図である。 図9は、メッセージプロファイラプログラムを有するフィルタリングシステムを描いているブロック図である。 図10は、メッセージ分類チューナプログラムを描いているブロック図である。 図11は、メッセージ分類チューナプログラムとしての遺伝的アルゴリズムの使用を描いているブロック図である。 図12は、メッセージプロファイラが使用される動作シナリオを描いているフローチャートである。 図13は、適応性のあるメッセージブロッキングおよびホワイトリスティングによって動作するように適合されているメッセージプロファイラを描いているブロック図である。 図14は、ネットワーク上で受信されたトランスミッションを扱うための評判システムを描いているブロック図である。 図15は、評判スコアを決定するために構成されている評判システムを描いているブロック図である。 図16は、種々の計算された確率の値における評判スコアを描いている表である。 図17は、サーバアクセスアーキテクチャを描いているブロック図である。

Claims (10)

  1. メッセージングエンティティに対する評判を指定するための1つ以上のデータプロセッサ上で動作する方法であって、該方法は、
    メッセージングエンティティの通信に関連する1つ以上の特性を識別するデータを受信することと、
    評判が良い分類と評判が良くない分類とを区別することに使用される一セットの判定基準内の各判定基準に対して、
    1つ以上のデータプロセッサにより、その判定基準が該メッセージングエンティティに適用するかどうかを決定すること、
    該1つ以上のデータプロセッサにより、その判定基準が該メッセージングエンティティに適用することを決定したことに応答して、該メッセージングエンティティが評判が良くないメッセージングエンティティである第1の条件付き確率を決定すること、および
    該1つ以上のデータプロセッサにより、その判定基準が該メッセージングエンティティに適用することを決定したことに応答して、該メッセージングエンティティが評判が良いメッセージングエンティティである第2の条件付き確率を決定することと、
    該1つ以上のデータプロセッサにより、該メッセージングエンティティが評判が良くないメッセージングエンティティであることを示す第1の確率を決定することであって、該第1の確率は、該第1の条件付き確率の積から決定される、ことと、
    該1つ以上のデータプロセッサにより、該メッセージングエンティティが評判が良いメッセージングエンティティであることを示す第2の確率を決定することであって、該第2の確率は、該第2の条件付き確率の積から決定される、ことと、
    該1つ以上のデータプロセッサにより、該第1の確率および該第2の確率から評判スコアを決定することであって、該決定された評判スコアは、該メッセージングエンティティの評判を示す、ことと
    を含み、
    該決定された評判スコアは、該メッセージングエンティティに関連する通信に対して、どの行動がとられるべきかを決定することに使用される、方法。
  2. 請求項1に記載の方法であって、前記決定された評判スコアは、トランスミッションのフィルタリングに使用する1つ以上のコンピュータシステムに分配される、方法。
  3. 請求項1に記載の方法であって、前記決定された評判スコアは、トランスミッションのフィルタリングに使用するプログラムにローカルに分配される、方法。
  4. 請求項1に記載の方法であって、前記評判スコアは、前記メッセージングエンティティの特性および挙動に基づいてメッセージングエンティティに指定された数値、テキストまたはカテゴリの評判を含み、該数値の評判は、評判が良い分類と評判が良くない分類との間の連続的なスペクトルで変動する、方法。
  5. 請求項1に記載の方法であって、評判が指定されるメッセージングエンティティのタイプは、電子メッセージを送信する組織、コンピュータまたは個別のユーザを表すドメインネーム、IPアドレス、電話番号、個別の電子アドレスまたは個別のユーザ名である、方法。
  6. 請求項1に記載の方法であって、各メッセージングエンティティの評判は、32ビットの付点のついたデシマルIPアドレス形式でエンコードされ、該方法は、
    メッセージングエンティティの世界において全てのメッセージングエンティティの該評判を含むドメインネームサーバ(DNS)ゾーンを作り出すことと、
    メッセージングエンティティの評判を、DNSプロトコルを通じて、1つ以上のコンピュータシステムに分配することであって、該1つ以上のコンピュータシステムは、それらの動作において該評判を利用する、ことと
    をさらに含む、方法。
  7. 請求項1に記載の方法であって、前記一セットの判定基準は、グループ:
    平均のスパムプロファイラスコアと、リバースドメインネームサーバのルックアップフェイラと、1つ以上のリアルタイムブラックリスト(RBL)におけるメンバシップと、メール量と、メールバースティネスと、メールブレドスと、地理学的な位置と、マルウェアの活動と、アドレスのタイプと、スパムを送信すると識別される多数のインターネットプロトコルアドレスを含むクラスレスドメイン間ルーティング(CIDR)ブロックと、ユーザのクレームの割合と、ハニーポット発見の割合と、トランスミッションの挙動の法律、規則および確立した標準に従うと識別された、送達不可能なトランスミッションの割合と、動作の連続性と、レシピエントの需要への応答と、これらの組み合わせ
    から選択された判定基準である、方法。
  8. 請求項1に記載の方法であって、前記メッセージングエンティティの評判を、
    Figure 0004839318
    を含む関数に従って、32ビットの付点のついたデシマルIPアドレスでエンコードすることをさらに含む、方法。
  9. 請求項1に記載の方法であって、評判が良いおよび評判が良くないという分類は、望まれないトランスミッション、または正当な通信を送信するためのIPアドレスの傾向に関連する、方法。
  10. 命令がエンコードされたコンピュータ読み取り可能な記憶デバイスであって、
    該命令は、1つ以上のデータ処理デバイスに、
    メッセージングエンティティの通信に関連する1つ以上の特性を識別するデータを受信することと、
    評判が良い分類と評判が良くない分類とを区別することに使用される一セットの判定基準内の各判定基準に対して、
    その判定基準が該メッセージングエンティティに適用するかどうかを決定すること、
    その判定基準が該メッセージングエンティティに適用することを決定したことに応答して、該メッセージングエンティティが評判が良くないメッセージングエンティティである第1の条件付き確率を決定すること、および
    その判定基準が該メッセージングエンティティに適用することを決定したことに応答して、該メッセージングエンティティが評判が良いメッセージングエンティティである第2の条件付き確率を決定することと、
    該メッセージングエンティティが評判が良くないメッセージングエンティティであることを示す第1の確率を決定することであって、該第1の確率は、該第1の条件付き確率の積から決定される、ことと、
    該メッセージングエンティティが評判が良いメッセージングエンティティであることを示す第2の確率を決定することであって、該第2の確率は、該第2の条件付き確率の積から決定される、ことと、
    該第1の確率および該第2の確率から評判スコアを決定することであって、該決定された評判スコアは、該メッセージングエンティティの評判を示す、ことと
    を含む動作を実行させ
    該決定された評判スコアは、該メッセージングエンティティに関連する通信に対して、どの行動がとられるべきかを決定することに使用される、コンピュータ読み取り可能な記憶デバイス
JP2007540073A 2004-11-05 2005-11-04 メッセージプロファイリングシステムおよび方法 Active JP4839318B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US62550704P 2004-11-05 2004-11-05
US60/625,507 2004-11-05
US11/142,943 2005-06-02
US11/142,943 US20060015942A1 (en) 2002-03-08 2005-06-02 Systems and methods for classification of messaging entities
US11/173,941 2005-07-01
US11/173,941 US8132250B2 (en) 2002-03-08 2005-07-01 Message profiling systems and methods
PCT/US2005/039978 WO2006052736A2 (en) 2004-11-05 2005-11-04 Message profiling systems and methods

Publications (2)

Publication Number Publication Date
JP2008519532A JP2008519532A (ja) 2008-06-05
JP4839318B2 true JP4839318B2 (ja) 2011-12-21

Family

ID=45475327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007540073A Active JP4839318B2 (ja) 2004-11-05 2005-11-04 メッセージプロファイリングシステムおよび方法

Country Status (1)

Country Link
JP (1) JP4839318B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060015942A1 (en) 2002-03-08 2006-01-19 Ciphertrust, Inc. Systems and methods for classification of messaging entities
EP2351323B1 (en) * 2008-09-05 2017-04-26 NEC Corporation Method for supporting attack detection in a distributed system
JP2012083849A (ja) * 2010-10-07 2012-04-26 Hitachi Ltd マルウェア検知装置、及びその方法とプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040177120A1 (en) * 2003-03-07 2004-09-09 Kirsch Steven T. Method for filtering e-mail messages
WO2004088455A2 (en) * 2003-03-25 2004-10-14 Verisign, Inc. Control and management of electronic messaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040177120A1 (en) * 2003-03-07 2004-09-09 Kirsch Steven T. Method for filtering e-mail messages
WO2004088455A2 (en) * 2003-03-25 2004-10-14 Verisign, Inc. Control and management of electronic messaging

Also Published As

Publication number Publication date
JP2008519532A (ja) 2008-06-05

Similar Documents

Publication Publication Date Title
AU2005304883B2 (en) Message profiling systems and methods
US7870203B2 (en) Methods and systems for exposing messaging reputation to an end user
US8549611B2 (en) Systems and methods for classification of messaging entities
US8635690B2 (en) Reputation based message processing
US8621638B2 (en) Systems and methods for classification of messaging entities
US10181957B2 (en) Systems and methods for detecting and/or handling targeted attacks in the email channel
US7558832B2 (en) Feedback loop for spam prevention
US8549081B2 (en) Recognizing spam email
US7873695B2 (en) Managing connections and messages at a server by associating different actions for both different senders and different recipients
US20100161537A1 (en) System and Method for Detecting Email Spammers
US20060036690A1 (en) Network protection system
WO2005119996A2 (en) Managing connections, messages, and directory harvest attacks at a server
JP4839318B2 (ja) メッセージプロファイリングシステムおよび方法
US8135778B1 (en) Method and apparatus for certifying mass emailings
Johansen Email Communities of Interest and Their Application

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110303

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110905

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111003

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4839318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250