JP5144225B2 - 情報検索装置、及び情報検索装置へのエントリ情報の登録方法 - Google Patents
情報検索装置、及び情報検索装置へのエントリ情報の登録方法 Download PDFInfo
- Publication number
- JP5144225B2 JP5144225B2 JP2007297613A JP2007297613A JP5144225B2 JP 5144225 B2 JP5144225 B2 JP 5144225B2 JP 2007297613 A JP2007297613 A JP 2007297613A JP 2007297613 A JP2007297613 A JP 2007297613A JP 5144225 B2 JP5144225 B2 JP 5144225B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- entry
- value
- hash
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
B. Chazelle , J.Kilian, R.Rubinfeld, A. Tal、「The Bloomier Filter: An Efficient Data Structure for Static Support Lookup Tables」、ACM-SIAM Symposium on Discrete Algorithms (SODA) '04、2004年1月、p.30-39
本実施の形態にかかるBloomierフィルタ型のネットワークサーチエンジン1の構成を図1に示す。図1において、ハッシュ演算部91、インデックステーブル92、論理演算部93、フィルタリングテーブル94、リザルトテーブル95、及び、比較部96は、上述した従来のネットワークサーチエンジン9が備える構成要素と同一である。
発明の実施の形態1では、インデックステーブル92のソフトウェアイメージを、双方向リンクリストの配列によって保持することとした。しかしながら、上述したエントリの登録処理を実行するためには、エントリの登録要求に応じてセットアップ時にインデックステーブル92の格納領域がアドレスされた履歴、その時のneighbor_address、インデックステーブル92の格納領域の格納値、及び、インデックステーブル92の格納領域の各々(つまり、これらの格納領域を指定するハッシュ値)がシングトンとして選択されていることを示す識別情報を保持可能であればよい。このため、他の配列構造などによってインデックステーブル92のソフトウェアイメージを保持してもよい。
10 第1検索処理部
11 エントリ登録部
12 リンクリスト配列
13 第2検索処理部
91 ハッシュ演算部
92 インデックステーブル
93 論理演算部
94 フィルタリングテーブル
95 リザルトテーブル
96 比較部
Claims (10)
- 入力データと出力データを対応付ける複数のエントリ情報を保持し、入力された入力データに対応する出力データを前記複数のエントリ情報から検索して出力するBloomierフィルタ型の第1の検索処理部と、
新たなエントリ情報の登録要求に応じて、前記第1の検索処理部に新たなエントリ情報を登録するエントリ登録部とを備える情報検索装置であって、
前記第1の情報検索部は、
入力データを用いてK個のハッシュ値を生成するハッシュ演算部と、
前記ハッシュ演算部が生成するハッシュ値によってアドレスされ、前記エントリ情報の関連情報がエンコードされたエンコード値を格納するための複数の格納領域を有するインデックステーブルと、
前記ハッシュ演算部が生成したハッシュ値によってアドレスされる格納領域に格納された前記エンコード値を用いて前記関連情報を復元する第1演算部と、
前記第1演算部が復元した前記関連情報によってアドレスされ、前記複数の出力データを格納するための格納領域を有するリザルトテーブルとを備え、
前記エントリ登録部は、
前記インデックステーブルの複数の格納領域の各々についての更新履歴を記録した履歴情報を格納する記憶部を有し、
前記新たなエントリ情報に対する新たなエンコード値を格納するための前記インデックステーブルの格納領域を、前記履歴情報に基づいて決定するとともに、
過去に登録済みの前記エントリ情報に対する前記エンコード値の更新値を、前記履歴情報に基づいて生成し、
前記新たなエンコード値及び前記エンコード値の更新値によって前記インデックステーブルを更新する、情報検索装置。 - 前記履歴情報は、
前記インデックステーブルの格納領域ごとの格納値と、
過去に登録済みの前記エントリ情報に対する前記エンコード値の格納場所として選択されたか否かを示す第1の識別情報と、
過去に登録済みの前記エントリ情報に対する前記K個のハッシュ値によって参照されたかを示す第2の識別情報と、
過去に登録済みの前記エントリ情報に対するハッシュ値に基づいて当該格納領域がアクセスされたときの他の(K−1)個のハッシュ値と、
を含む請求項1に記載の情報検索装置。 - 前記エントリ登録部は、前記第2の識別情報に基づいて、過去に登録済みの前記エントリ情報に対する前記エンコード値の更新が必要であるか否かを判定する請求項2に記載の情報検索装置。
- 前記履歴情報は、前記インデックステーブルの格納領域毎に定義されたリンクリストによって保持され、
前記エントリ登録部は、前記新たなエントリ情報に対するハッシュ値によってアドレスされるリンクリストに、前記新たなエントリ情報に関する履歴を格納したユニットを連結することによって、前記履歴情報を更新する請求項1又は2に記載の情報検索装置。 - 前記エントリ登録部による前記エンコード値の更新値の生成は、過去に登録済みの前記エントリ情報に対する前記エンコード値の更新が必要であるか否かを判定する処理と、前記判定処理の結果に応じて前記エンコード値の更新値を生成する処理とを実行する関数プログラムを再帰的に実行することにより行う請求項1に記載の情報検索装置。
- 前記第1の検索処理部と並列に設けられた第2の検索処理部をさらに備え、
前記エントリ登録部は、前記エンコード値の更新値を生成する処理が所定の処理量で収束するか否かを判定し、所定の処理量で収束しない場合は、前記新たなエントリ情報を前記第2の検索処理部に登録する請求項1又は5に記載の情報検索装置。 - 入力データと出力データを対応付ける複数のエントリ情報を保持し、入力された入力データに対応する出力データを前記複数のエントリ情報から検索して出力するBloomierフィルタ型の第1の検索処理部を備える情報検索装置に対して、新たなエントリ情報を登録する登録方法であって、
前記第1の情報検索部は、
入力データを用いてK個のハッシュ値を生成するハッシュ演算部と、
前記ハッシュ演算部が生成するハッシュ値によってアドレスされ、前記エントリ情報の関連情報をエンコードしたエンコード値を格納するための複数の格納領域を有するインデックステーブルとを備えるものであり、
前記新たなエントリ情報の登録は、
前記情報検索装置が、前記新たなエントリ情報に対する新たなエンコード値を格納するための前記インデックステーブルの格納領域を、前記インデックステーブルの複数の格納領域の各々についての更新履歴を記録した履歴情報に基づいて決定し、
前記情報検索装置が、前記新たなエントリ情報に対する新たなエンコード値を生成し、
前記情報検索装置が、過去に登録済みの前記エントリ情報に対する前記エンコード値の更新値を、前記履歴情報に基づいて生成し、
前記情報検索装置が、前記新たなエンコード値及び前記エンコード値の更新値によって前記インデックステーブルを更新することにより行う、エントリ情報登録方法。 - 前記履歴情報は、
前記インデックステーブルの格納領域ごとの格納値と、
過去に登録済みの前記エントリ情報に対する前記エンコード値の格納場所として選択されたか否かを示す第1の識別情報と、
過去に登録済みの前記エントリ情報に対する前記K個のハッシュ値によって参照されたかを示す第2の識別情報と、
過去に登録済みの前記エントリ情報に対するハッシュ値に基づいて当該格納領域がアクセスされたときの他の(K−1)個のハッシュ値と、
を含む請求項7に記載のエントリ情報登録方法。 - 前記情報検索装置が、前記エンコード値の更新値の生成の前に、前記第2の識別情報に基づいて、過去に登録済みの前記エントリ情報に対する前記エンコード値の更新が必要であるか否かを判定する請求項8に記載のエントリ情報登録方法。
- 前記情報検索装置が、前記履歴情報を、前記インデックステーブルの格納領域毎に定義されたリンクリストによって保持し、
前記情報検索装置が、前記新たなエントリ情報に対するハッシュ値によってアドレスされるリンクリストに、前記新たなエントリ情報に関する履歴を格納したユニットを連結することによって、前記履歴情報の更新を行う請求項7又は8に記載のエントリ情報登録方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297613A JP5144225B2 (ja) | 2007-11-16 | 2007-11-16 | 情報検索装置、及び情報検索装置へのエントリ情報の登録方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297613A JP5144225B2 (ja) | 2007-11-16 | 2007-11-16 | 情報検索装置、及び情報検索装置へのエントリ情報の登録方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009123050A JP2009123050A (ja) | 2009-06-04 |
JP5144225B2 true JP5144225B2 (ja) | 2013-02-13 |
Family
ID=40815117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007297613A Expired - Fee Related JP5144225B2 (ja) | 2007-11-16 | 2007-11-16 | 情報検索装置、及び情報検索装置へのエントリ情報の登録方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5144225B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111124312B (zh) * | 2019-12-23 | 2023-10-31 | 第四范式(北京)技术有限公司 | 数据去重的方法及其装置 |
CN116028677B (zh) * | 2023-03-14 | 2023-08-29 | 阿里云计算有限公司 | 数据操作方法以及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060198379A1 (en) * | 2005-03-04 | 2006-09-07 | Nec Laboratories America, Inc. | Prefix optimizations for a network search engine |
US7653670B2 (en) * | 2005-11-28 | 2010-01-26 | Nec Laboratories America, Inc. | Storage-efficient and collision-free hash-based packet processing architecture and method |
-
2007
- 2007-11-16 JP JP2007297613A patent/JP5144225B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009123050A (ja) | 2009-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210367887A1 (en) | Flow classification apparatus, methods, and systems | |
US6434144B1 (en) | Multi-level table lookup | |
US6526055B1 (en) | Method and apparatus for longest prefix address lookup | |
US7281085B1 (en) | Method and device for virtualization of multiple data sets on same associative memory | |
JP3299528B2 (ja) | インターネット網等の高速通信網のノードのルーティング表構築のためのプレフィックス分析による情報探索用メモリ | |
US8750144B1 (en) | System and method for reducing required memory updates | |
US20070171911A1 (en) | Routing system and method for managing rule entry thereof | |
CN111937360B (zh) | 最长前缀匹配 | |
CN103368853A (zh) | 网络分组的simd处理 | |
US20050248970A1 (en) | Distributed content addressable memory | |
CN110557337B (zh) | 一种分段路由路径计算方法、装置及计算机存储介质 | |
CN107431660B (zh) | 检索装置、检索方法及记录介质 | |
US6098157A (en) | Method for storing and updating information describing data traffic on a network | |
JP5807676B2 (ja) | パケット分類器、パケット分類方法、及びパケット分類プログラム | |
US7937495B2 (en) | System and method for modifying data transferred from a source to a destination | |
US20170012874A1 (en) | Software router and methods for looking up routing table and for updating routing entry of the software router | |
JP5144225B2 (ja) | 情報検索装置、及び情報検索装置へのエントリ情報の登録方法 | |
CN113411380A (zh) | 基于fpga可编程会话表的处理方法、逻辑电路和设备 | |
JP2006246488A (ja) | ネットワーク・ルータ、アドレス処理方法及びコンピュータ・プログラム | |
EP1260065B1 (en) | Method and apparatus for determining priority of network packets | |
JP6266445B2 (ja) | パケット中継装置及びパケット中継方法 | |
CN114285907A (zh) | 数据传输方法、装置、电子设备及存储介质 | |
WO2016183732A1 (zh) | 一种数据包转发方法和网络设备 | |
US11895005B1 (en) | Network devices with hardware accelerated table updates | |
CN113872784A (zh) | 网络配置的验证方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |