JP6058005B2 - 情報フィルタリング - Google Patents
情報フィルタリング Download PDFInfo
- Publication number
- JP6058005B2 JP6058005B2 JP2014525097A JP2014525097A JP6058005B2 JP 6058005 B2 JP6058005 B2 JP 6058005B2 JP 2014525097 A JP2014525097 A JP 2014525097A JP 2014525097 A JP2014525097 A JP 2014525097A JP 6058005 B2 JP6058005 B2 JP 6058005B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- message
- text
- filtering container
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/212—Monitoring or handling of messages using filtering or selective blocking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本願は、2011年8月8日に出願された「Computer−implemented Information Filtering method, Information filtering Apparatus and System」という名称の中国特許出願第201110225345.3号に対する外国優先権を主張し、該出願は、参照によりその全体が本明細書に組み込まれる。
(1)本技術は、複数の言語をシームレスにサポートする。プロセスは、文字およびテキスト自体を対象とし、それらの言語および意味は問わない。
(2)本技術は、高度に自動化される。プロセスは、処理が、意味ではなく、文字およびテキスト自体を対象とするので、多数のスタッフの関与を必要としない。
(3)本技術は、実現および維持が容易である。構造全体が単純かつ明快である。類似テキストを除去する技術に関して、異なる用途シナリオに対する様々な技術があり得る。本開示は、いくつかの技術例のみを記載する。サンプルおよびサンプルデータベースの更新に関して、異なるシナリオに対して異なる技術が選択され得る。
(4)本技術は、更新されて動的に調整されるサンプルを提供する。本開示におけるフィルタリングコンテナのサイズは、タイムリーな期限切れを実現するように調整され得る。本技術は、通常メッセージの送信を制約し得る、フィルタコンテナのサイズが無制限に増加するのを許容し得ない。本技術は、主として、悪意のあるユーザーが、複数のアカウントおよびマシンを使用して、反復内容を頻繁に送信するのを防ぐ。例えば、本開示の一実施形態例は、送信者側および受信者側の両方の側からのメッセージ送信を制御する。
(5)本技術は、複数のアカウントおよびマシンの使用による、多数の繰返しメッセージの送信を効果的に制御し得る。
Claims (19)
- コンピュータ実行可能命令とともに構成された1つまたは複数のプロセッサによって実行される方法であって、
メッセージを受信することと、
前記メッセージからテキストを抽出することと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断することと
を含み、
i)そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含む場合、
前記メッセージから抽出された前記テキストに対して新しいサンプルを作成することと、
前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加することと、
前記メッセージの送信を拒否することとを含み、
ii)そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まない場合、
前記メッセージから抽出された前記テキストに対して前記新しいサンプルを作成することと、
前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加することと、
前記メッセージを送信することとを含み、
前記判断することが、ベクトルに基づく方法、最長共通文字列(LCS)に基づく方法、またはベクトルとLCS法の組合せを使用して、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むかどうかを判断することを含み、
ベクトルとLCS法の前記組合せが、
前記メッセージから抽出された前記テキストのベクトルおよび前記フィルタリングコンテナの前記サンプルの前記テキストのベクトルを取得することと、
前記メッセージから抽出された前記テキストの前記ベクトルと、前記サンプルの前記テキストの前記ベクトルとの間の類似度が、類似度閾値より大きいかまたは類似度閾値に等しいかを判断することであって、
前記類似度が、類似度閾値より大きくなく、かつ、類似度閾値に等しくない場合、前記サンプルが、そのテキストが前記メッセージから抽出された前記テキストに似ている類似サンプルではないと判断し、
前記類似度が、類似度閾値より大きいかまたは類似度閾値に等しい場合、前記サンプルが第1の類似サンプル候補であると判断する、
前記ベクトル間の類似度を判断することと、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、文字列長閾値より大きいかまたは文字列長閾値に等しいかを判断することであって、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、前記文字列長閾値より大きいかまたは前記文字列長閾値に等しい場合、前記サンプルが、第2の類似サンプル候補であると判断し、かつ前記サンプルが前記類似サンプルであると判断し、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、前記文字列長閾値より大きくなく、かつ、前記文字列長閾値に等しくない場合、前記サンプルが、前記第2の類似サンプル候補でないと判断し、かつ前記サンプルが前記類似サンプルでないと判断する、
前記テキスト間のLCSの長さを判断することと
を含む、方法。 - コンピュータ実行可能命令とともに構成された1つまたは複数のプロセッサによって実行される方法であって、
メッセージを受信することと、
前記メッセージからテキストを抽出することと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断することと
を含み、
i)そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含む場合、
前記メッセージから抽出された前記テキストに対して新しいサンプルを作成することと、
前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加することと、
前記メッセージの送信を拒否することとを含み、
ii)そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まない場合、
前記メッセージから抽出された前記テキストに対して前記新しいサンプルを作成することと、
前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加することと、
前記メッセージを送信することとを含み、
前記新しいサンプルを前記フィルタリングコンテナの前記帰属サンプルデータベースに前記追加することが、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在するかどうかを判断することと、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在しない場合、前記新しいサンプルを前記帰属サンプルデータベースに追加し、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在する場合、前記新しいサンプルを前記帰属サンプルデータベースに追加し、前記1つまたは複数のサンプルを前記帰属サンプルデータベースから削除して、前記新しいサンプルを前記帰属サンプルデータベースに追加することと
を含む、方法。 - コンピュータ実行可能命令とともに構成された1つまたは複数のプロセッサによって実行される方法であって、
メッセージを受信することと、
前記メッセージからテキストを抽出することと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断することと
を含み、
i)そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含む場合、
前記メッセージから抽出された前記テキストに対して新しいサンプルを作成することと、
前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加することと、
前記メッセージの送信を拒否することとを含み、
ii)そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まない場合、
前記メッセージから抽出された前記テキストに対して前記新しいサンプルを作成することと、
前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加することと、
前記メッセージを送信することとを含み、
前記新しいサンプルを前記フィルタリングコンテナの前記新しいサンプルデータベースに前記追加することが、前記フィルタリングコンテナ内に前記新しいサンプルデータベースを作成することを含み、
前記新しいサンプルデータベースを前記作成することが、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在するかどうかを判断することと、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在しない場合、前記新しいサンプルデータベースを前記フィルタリングコンテナに追加することと、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在する場合、前記1つまたは複数のサンプルデータベースを前記フィルタリングコンテナから削除し、かつ、前記新しいサンプルデータベースを前記フィルタリングコンテナに追加することと
を含む、方法。 - 前記帰属サンプルデータベースが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを含む、サンプルデータベースである、請求項1から請求項3のいずれか1項に記載の方法。
- 前記メッセージを前記受信することが、ルーティング処理の前に前記メッセージを受信することを含み、かつ前記フィルタリングコンテナが、ルーティング処理の前の前記メッセージを対象とする、請求項1から請求項3のいずれか1項に記載の方法。
- 前記メッセージを前記受信することが、ルーティング処理の後に前記メッセージを受信することを含み、かつ前記フィルタリングコンテナが、前記メッセージに含まれる特定の受信者側ユーザー名を対象とする、請求項1から請求項3のいずれか1項に記載の方法。
- 前記判断することが、ベクトルに基づく方法、最長共通文字列(LCS)に基づく方法、またはベクトルとLCS法の組合せを使用して、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むかどうかを判断することを含む、請求項2または請求項3に記載の方法。
- 前記ベクトルに基づく方法が、
前記メッセージから抽出された前記テキストのベクトルおよび前記フィルタリングコンテナの前記サンプルの前記テキストのベクトルを取得することと、
前記メッセージから抽出された前記テキストの前記ベクトルと、前記サンプルの前記テキストの前記ベクトルとの間の類似度が、類似度閾値より大きいか、または類似度閾値に等しいかを判断することと、
前記類似度が、類似度閾値より大きいかまたは類似度閾値に等しい場合、前記サンプルが、そのテキストが前記メッセージから抽出された前記テキストに似ている類似サンプルであると判断することと、
前記類似度が、類似度閾値より大きくないかまたは類似度閾値に等しくない場合、前記サンプルは、そのテキストが前記メッセージから抽出された前記テキストに似ている前記類似サンプルではないと判断することと
を含む、請求項7に記載の方法。 - 前記LCSに基づく方法が、
前記メッセージから抽出された前記テキストと前記サンプルの前記テキストとの間のLCSの長さが、文字列長閾値より大きいかまたは文字列長閾値に等しいかを判断することと、
前記メッセージから抽出された前記テキストと前記サンプルの前記テキストとの間の前記LCSの前記長さが、前記文字列長閾値より大きいかまたは前記文字列長閾値に等しい場合、前記サンプルが、そのテキストが前記メッセージから抽出された前記テキストに似ている類似サンプルであると判断することと、
前記メッセージから抽出された前記テキストと前記サンプルの前記テキストとの間の前記LCSの前記長さが、前記文字列長閾値より大きくなく、かつ、前記文字列長閾値に等しくない場合、前記サンプルが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記類似サンプルでないと判断することと
を含む、請求項7に記載の方法。 - 前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在するかどうかを前記判断することが、
前記帰属サンプルデータベース内のサンプルの総数が、前記新しいサンプルが前記帰属サンプルデータベースに追加される場合に事前設定の総サンプル数閾値より多いかどうかを判断することと、
前記帰属サンプルデータベース内のサンプルの前記総数が、前記新しいサンプルが前記帰属サンプルデータベースに追加される場合に前記事前設定の総サンプル数閾値より多い場合、前記帰属サンプルデータベース内に削除する必要のある前記1つまたは複数のサンプルが存在すると判断することと、
前記帰属サンプルデータベース内のサンプルの前記総数が、前記新しいサンプルが前記帰属サンプルデータベースに追加される場合に前記事前設定の総サンプル数閾値を上回らない場合、前記帰属サンプルデータベース内に削除する必要のある前記1つまたは複数のサンプルが存在しないと判断することと
を含む、請求項2に記載の方法。 - 前記1つまたは複数のサンプルを前記帰属サンプルデータベースから前記削除することが、
前記帰属サンプルデータベース内の各サンプルの利用回数を取得することと、
各サンプルの前記利用回数に基づいて、前記1つまたは複数のサンプルを前記帰属サンプルデータベースから削除することと
を含む、請求項10に記載の方法。 - 前記フィルタリングコンテナ内に削除する必要のある前記1つまたは複数のサンプルデータベースが存在するかどうかを前記判断することが、
前記フィルタリングコンテナ内のサンプルデータベースの総数が、前記新しいサンプルデータベースが前記フィルタリングコンテナに追加される場合に事前設定の総サンプルデータベース数閾値より多いかどうかを判断することと、
前記フィルタリングコンテナ内のサンプルデータベースの前記総数が、前記新しいサンプルデータベースが前記フィルタリングコンテナに追加される場合に前記事前設定の総サンプルデータベース数閾値より多い場合、前記フィルタリングコンテナ内に削除する必要のある前記1つまたは複数のサンプルデータベースが存在すると判断することと、
前記フィルタリングコンテナ内のサンプルデータベースの前記総数が、前記新しいサンプルデータベースが前記フィルタリングコンテナに追加される場合に前記事前設定の総サンプルデータベース数閾値を上回らない場合、前記フィルタリングコンテナ内に削除する必要のある前記1つまたは複数のサンプルデータベースが存在しないと判断することと
を含む、請求項3に記載の方法。 - 前記1つまたは複数のサンプルデータベースを前記フィルタリングコンテナから前記削除することが、
前記フィルタリングコンテナ内の各サンプルデータベースの利用回数を取得することと、
各サンプルデータベースの前記利用回数に基づいて、前記1つまたは複数のサンプルデータベースを前記フィルタリングコンテナから削除することと
を含む、請求項3に記載の方法。 - メッセージを受信する受信モジュールと、
前記メッセージからテキストを抽出する抽出モジュールと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断する判断モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むと判断した後、前記メッセージから抽出された前記テキストに対して新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加して、前記メッセージの送信を拒否する、第1の処理モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まないと判断した後、前記メッセージから抽出された前記テキストに対して前記新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加して、前記メッセージを送信する、第2の処理モジュールと、
を備え、
前記判断モジュールが、ベクトルに基づく方法、最長共通文字列(LCS)に基づく方法、またはベクトルとLCS法の組合せを使用して、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むかどうかを判断することを含み、
ベクトルとLCS法の前記組合せが、
前記メッセージから抽出された前記テキストのベクトルおよび前記フィルタリングコンテナの前記サンプルの前記テキストのベクトルを取得することと、
前記メッセージから抽出された前記テキストの前記ベクトルと、前記サンプルの前記テキストの前記ベクトルとの間の類似度が、類似度閾値より大きいかまたは類似度閾値に等しいかを判断することであって、
前記類似度が、類似度閾値より大きくなく、かつ、類似度閾値に等しくない場合、前記サンプルが、そのテキストが前記メッセージから抽出された前記テキストに似ている類似サンプルではないと判断し、
前記類似度が、類似度閾値より大きいかまたは類似度閾値に等しい場合、前記サンプルが第1の類似サンプル候補であると判断する、
前記ベクトル間の類似度を判断することと、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、文字列長閾値より大きいかまたは文字列長閾値に等しいかを判断することであって、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、前記文字列長閾値より大きいかまたは前記文字列長閾値に等しい場合、前記サンプルが、第2の類似サンプル候補であると判断し、かつ前記サンプルが前記類似サンプルであると判断し、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、前記文字列長閾値より大きくなく、かつ、前記文字列長閾値に等しくない場合、前記サンプルが、前記第2の類似サンプル候補でないと判断し、かつ前記サンプルが前記類似サンプルでないと判断する、
前記テキスト間のLCSの長さを判断することと
を含む、装置。 - メッセージを受信する受信モジュールと、
前記メッセージからテキストを抽出する抽出モジュールと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断する判断モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むと判断した後、前記メッセージから抽出された前記テキストに対して新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加して、前記メッセージの送信を拒否する、第1の処理モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まないと判断した後、前記メッセージから抽出された前記テキストに対して前記新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加して、前記メッセージを送信する、第2の処理モジュールと、
を備え、
前記第1の処理モジュールは、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在するかどうかを判断する、第1のサンプル追加サブモジュールを備え、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在しない場合、前記新しいサンプルを前記帰属サンプルデータベースに追加し、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在する場合、前記新しいサンプルを前記帰属サンプルデータベースに追加し、前記1つまたは複数のサンプルを前記帰属サンプルデータベースから削除して、前記新しいサンプルを前記帰属サンプルデータベースに追加する、装置。 - メッセージを受信する受信モジュールと、
前記メッセージからテキストを抽出する抽出モジュールと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断する判断モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むと判断した後、前記メッセージから抽出された前記テキストに対して新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加して、前記メッセージの送信を拒否する、第1の処理モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まないと判断した後、前記メッセージから抽出された前記テキストに対して前記新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加して、前記メッセージを送信する、第2の処理モジュールと、
を備え、
前記第2の処理モジュールは、
前記フィルタリングコンテナ内に前記新しいサンプルデータベースを作成するサンプルデータベース作成サブモジュールを備え、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在するかどうかを判断し、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在しない場合、前記新しいサンプルデータベースを前記フィルタリングコンテナに追加し、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在する場合、前記1つまたは複数のサンプルデータベースを前記フィルタリングコンテナから削除し、かつ、前記新しいサンプルデータベースを前記フィルタリングコンテナに追加する、装置。 - 送信者側によって送信されたメッセージを受信して、前記メッセージをそれぞれのメッセージフィルタリング装置に送信する、少なくとも1つの送信者側メッセージ応答モジュールと、
別のそれぞれのメッセージフィルタリング装置から受信された、除去されていない、前記メッセージを受信者側に送信する、少なくとも1つの受信者側メッセージ応答モジュールと、
少なくとも1つの装置であって、前記それぞれの装置が、
前記少なくとも1つの送信者側メッセージ応答モジュールから前記メッセージを受信する受信モジュールと、
前記メッセージからテキストを抽出する抽出モジュールと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断する判断モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むと判断した後、前記メッセージから抽出された前記テキストに対して新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加して、前記メッセージの送信を拒否する、第1の処理モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まないと判断した後、前記メッセージから抽出された前記テキストに対して前記新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加して、前記メッセージを前記少なくとも1つの受信者側メッセージ応答モジュールに送信する、第2の処理モジュールと
を含む、装置と
を備えたシステムであって、
前記判断モジュールが、ベクトルに基づく方法、最長共通文字列(LCS)に基づく方法、またはベクトルとLCS法の組合せを使用して、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むかどうかを判断することを含み、
ベクトルとLCS法の前記組合せが、
前記メッセージから抽出された前記テキストのベクトルおよび前記フィルタリングコンテナの前記サンプルの前記テキストのベクトルを取得することと、
前記メッセージから抽出された前記テキストの前記ベクトルと、前記サンプルの前記テキストの前記ベクトルとの間の類似度が、類似度閾値より大きいかまたは類似度閾値に等しいかを判断することであって、
前記類似度が、類似度閾値より大きくなく、かつ、類似度閾値に等しくない場合、前記サンプルが、そのテキストが前記メッセージから抽出された前記テキストに似ている類似サンプルではないと判断し、
前記類似度が、類似度閾値より大きいかまたは類似度閾値に等しい場合、前記サンプルが第1の類似サンプル候補であると判断する、
前記ベクトル間の類似度を判断することと、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、文字列長閾値より大きいかまたは文字列長閾値に等しいかを判断することであって、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、前記文字列長閾値より大きいかまたは前記文字列長閾値に等しい場合、前記サンプルが、第2の類似サンプル候補であると判断し、かつ前記サンプルが前記類似サンプルであると判断し、
前記メッセージから抽出された前記テキストと前記第1の類似サンプル候補の前記テキストとの間のLCSの長さが、前記文字列長閾値より大きくなく、かつ、前記文字列長閾値に等しくない場合、前記サンプルが、前記第2の類似サンプル候補でないと判断し、かつ前記サンプルが前記類似サンプルでないと判断する、
前記テキスト間のLCSの長さを判断することと
を含む、システム。 - 送信者側によって送信されたメッセージを受信して、前記メッセージをそれぞれのメッセージフィルタリング装置に送信する、少なくとも1つの送信者側メッセージ応答モジュールと、
別のそれぞれのメッセージフィルタリング装置から受信された、除去されていない、前記メッセージを受信者側に送信する、少なくとも1つの受信者側メッセージ応答モジュールと、
少なくとも1つの装置であって、前記それぞれの装置が、
前記少なくとも1つの送信者側メッセージ応答モジュールから前記メッセージを受信する受信モジュールと、
前記メッセージからテキストを抽出する抽出モジュールと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断する判断モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むと判断した後、前記メッセージから抽出された前記テキストに対して新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加して、前記メッセージの送信を拒否する、第1の処理モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まないと判断した後、前記メッセージから抽出された前記テキストに対して前記新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加して、前記メッセージを前記少なくとも1つの受信者側メッセージ応答モジュールに送信する、第2の処理モジュールと
を含む、装置と
を備えたシステムであって、
前記第1の処理モジュールは、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在するかどうかを判断する、第1のサンプル追加サブモジュールを備え、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在しない場合、前記新しいサンプルを前記帰属サンプルデータベースに追加し、
前記帰属サンプルデータベース内に削除する必要のある1つまたは複数のサンプルが存在する場合、前記新しいサンプルを前記帰属サンプルデータベースに追加し、前記1つまたは複数のサンプルを前記帰属サンプルデータベースから削除して、前記新しいサンプルを前記帰属サンプルデータベースに追加する、システム。 - 送信者側によって送信されたメッセージを受信して、前記メッセージをそれぞれのメッセージフィルタリング装置に送信する、少なくとも1つの送信者側メッセージ応答モジュールと、
別のそれぞれのメッセージフィルタリング装置から受信された、除去されていない、前記メッセージを受信者側に送信する、少なくとも1つの受信者側メッセージ応答モジュールと、
少なくとも1つの装置であって、前記それぞれの装置が、
前記少なくとも1つの送信者側メッセージ応答モジュールから前記メッセージを受信する受信モジュールと、
前記メッセージからテキストを抽出する抽出モジュールと、
そのテキストが前記メッセージから抽出された前記テキストに似ているサンプルデータベース内のサンプルを、フィルタリングコンテナが含むかどうかを判断する判断モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含むと判断した後、前記メッセージから抽出された前記テキストに対して新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの帰属サンプルデータベースに追加して、前記メッセージの送信を拒否する、第1の処理モジュールと、
前記判断モジュールが、そのテキストが前記メッセージから抽出された前記テキストに似ている前記サンプルを、前記フィルタリングコンテナが含まないと判断した後、前記メッセージから抽出された前記テキストに対して前記新しいサンプル作成し、前記新しいサンプルを前記フィルタリングコンテナの新しいサンプルデータベースに追加して、前記メッセージを前記少なくとも1つの受信者側メッセージ応答モジュールに送信する、第2の処理モジュールと
を含む、装置と
を備えたシステムであって、
前記第2の処理モジュールは、
前記フィルタリングコンテナ内に前記新しいサンプルデータベースを作成するサンプルデータベース作成サブモジュールを備え、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在するかどうかを判断し、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在しない場合、前記新しいサンプルデータベースを前記フィルタリングコンテナに追加し、
前記フィルタリングコンテナ内に削除する必要のある1つまたは複数のサンプルデータベースが存在する場合、前記1つまたは複数のサンプルデータベースを前記フィルタリングコンテナから削除し、かつ、前記新しいサンプルデータベースを前記フィルタリングコンテナに追加する、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110225345.3A CN102929872B (zh) | 2011-08-08 | 2011-08-08 | 由计算机实施的消息过滤方法、消息过滤装置及系统 |
CN201110225345.3 | 2011-08-08 | ||
PCT/US2012/049862 WO2013022891A1 (en) | 2011-08-08 | 2012-08-07 | Information filtering |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014527669A JP2014527669A (ja) | 2014-10-16 |
JP6058005B2 true JP6058005B2 (ja) | 2017-01-11 |
Family
ID=46755099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014525097A Expired - Fee Related JP6058005B2 (ja) | 2011-08-08 | 2012-08-07 | 情報フィルタリング |
Country Status (7)
Country | Link |
---|---|
US (1) | US20130041962A1 (ja) |
EP (1) | EP2742652A1 (ja) |
JP (1) | JP6058005B2 (ja) |
CN (1) | CN102929872B (ja) |
HK (1) | HK1176436A1 (ja) |
TW (1) | TW201308102A (ja) |
WO (1) | WO2013022891A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105378738B (zh) * | 2013-07-15 | 2021-11-19 | 爱克发医疗保健公司 | 用于数据处理的系统和方法 |
CN104346369B (zh) * | 2013-07-30 | 2018-03-23 | 上海宽带技术及应用工程研究中心 | 一种建立心跳冲击波形态特征库的方法 |
US10002187B2 (en) | 2013-11-26 | 2018-06-19 | Oracle International Corporation | Method and system for performing topic creation for social data |
US9996529B2 (en) | 2013-11-26 | 2018-06-12 | Oracle International Corporation | Method and system for generating dynamic themes for social data |
US10885089B2 (en) * | 2015-08-21 | 2021-01-05 | Cortical.Io Ag | Methods and systems for identifying a level of similarity between a filtering criterion and a data item within a set of streamed documents |
US10146878B2 (en) * | 2014-09-26 | 2018-12-04 | Oracle International Corporation | Method and system for creating filters for social data topic creation |
CN104615653B (zh) * | 2014-12-30 | 2017-12-12 | 小米科技有限责任公司 | 消息分类方法和装置 |
CN106610965A (zh) * | 2015-10-21 | 2017-05-03 | 北京瀚思安信科技有限公司 | 确定文本串公共子序列的方法和设备 |
CN108733730A (zh) * | 2017-04-25 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 垃圾消息拦截方法和装置 |
CN109858008A (zh) * | 2017-11-30 | 2019-06-07 | 南京大学 | 基于深度学习的文书判决结果倾向性的方法及装置 |
CN110971501B (zh) * | 2018-09-30 | 2022-11-08 | 北京京东尚科信息技术有限公司 | 广告消息的确定方法、系统、设备和存储介质 |
CN110209659A (zh) * | 2019-06-10 | 2019-09-06 | 广州合摩计算机科技有限公司 | 一种简历过滤方法、系统和计算机可读存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115756A (ja) * | 1997-06-24 | 1999-01-22 | Omron Corp | 電子メール判別方法及び装置並びに記憶媒体 |
US6023723A (en) * | 1997-12-22 | 2000-02-08 | Accepted Marketing, Inc. | Method and system for filtering unwanted junk e-mail utilizing a plurality of filtering mechanisms |
US6654787B1 (en) * | 1998-12-31 | 2003-11-25 | Brightmail, Incorporated | Method and apparatus for filtering e-mail |
US20050065906A1 (en) * | 2003-08-19 | 2005-03-24 | Wizaz K.K. | Method and apparatus for providing feedback for email filtering |
JP2005284454A (ja) * | 2004-03-29 | 2005-10-13 | Tatsuya Koshi | 迷惑メール配信防止システム、当該システムにおける情報端末及び電子メールサーバ |
US8180834B2 (en) * | 2004-10-07 | 2012-05-15 | Computer Associates Think, Inc. | System, method, and computer program product for filtering messages and training a classification module |
US20060149820A1 (en) * | 2005-01-04 | 2006-07-06 | International Business Machines Corporation | Detecting spam e-mail using similarity calculations |
CN1987909B (zh) * | 2005-12-22 | 2012-08-15 | 腾讯科技(深圳)有限公司 | 一种提纯贝叶斯垃圾邮件的方法、系统及装置 |
US7756535B1 (en) * | 2006-07-07 | 2010-07-13 | Trend Micro Incorporated | Lightweight content filtering system for mobile phones |
CN101035128B (zh) * | 2007-04-18 | 2010-04-21 | 大连理工大学 | 基于中文标点符号的三重网页文本内容识别及过滤方法 |
CN102096703B (zh) * | 2010-12-29 | 2013-06-12 | 北京新媒传信科技有限公司 | 短消息的过滤方法和设备 |
-
2011
- 2011-08-08 CN CN201110225345.3A patent/CN102929872B/zh not_active Expired - Fee Related
- 2011-11-30 TW TW100143935A patent/TW201308102A/zh unknown
-
2012
- 2012-08-07 EP EP12751656.5A patent/EP2742652A1/en not_active Withdrawn
- 2012-08-07 US US13/569,021 patent/US20130041962A1/en not_active Abandoned
- 2012-08-07 WO PCT/US2012/049862 patent/WO2013022891A1/en unknown
- 2012-08-07 JP JP2014525097A patent/JP6058005B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-27 HK HK13103840.1A patent/HK1176436A1/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP2742652A1 (en) | 2014-06-18 |
TW201308102A (zh) | 2013-02-16 |
HK1176436A1 (zh) | 2013-07-26 |
US20130041962A1 (en) | 2013-02-14 |
CN102929872A (zh) | 2013-02-13 |
CN102929872B (zh) | 2016-04-27 |
WO2013022891A1 (en) | 2013-02-14 |
JP2014527669A (ja) | 2014-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6058005B2 (ja) | 情報フィルタリング | |
US11716335B2 (en) | Detection and restriction of unwanted messages through time interval cluster analysis | |
US9906554B2 (en) | Suspicious message processing and incident response | |
Song et al. | A novel classification approach based on Naïve Bayes for Twitter sentiment analysis | |
JP6322683B2 (ja) | 参照通知の方法および装置 | |
US9537970B2 (en) | Publisher-based message data caching in a publish-subscription environment | |
US11399035B1 (en) | Deep learning-based detection of phishing links | |
US20210250369A1 (en) | System and method for providing cyber security | |
Adewumi et al. | A hybrid firefly and support vector machine classifier for phishing email detection | |
Liu et al. | Content based spam e-mail filtering | |
Alzahrani et al. | Comparative study of machine learning algorithms for SMS spam detection | |
CN101795267A (zh) | 病毒检测方法、装置和网关设备 | |
US9667737B2 (en) | Publisher-assisted, broker-based caching in a publish-subscription environment | |
Dada et al. | A comparative study between naïve Bayes and neural network (MLP) classifier for spam email detection | |
Vishwarupe et al. | Intelligent Twitter spam detection: a hybrid approach | |
US9185181B2 (en) | Shared cache for potentially repetitive message data in a publish-subscription environment | |
CN115952343A (zh) | 一种基于多关系图卷积网络的社交机器人检测方法 | |
US20120215858A1 (en) | Caching potentially repetitive message data in a publish-subscription environment | |
Revar et al. | A Review on Different types of Spam Filtering Techniques. | |
CN114928501B (zh) | 一种基于个性化联邦学习的网络钓鱼邮件检测方法 | |
CN107729898B (zh) | 检测文本图像中的文本行的方法和装置 | |
JP5324824B2 (ja) | ネットワーク・ノードを分類する情報処理装置、情報処理システム、情報処理方法およびプログラム | |
Kalaibar et al. | Spam filtering by using genetic based feature selection | |
Islam et al. | Machine learning approaches for modeling spammer behavior | |
Kaur et al. | A Survey on Various Classification Techniques in Email Spamming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6058005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |