JP5048956B2 - データベースのクローリングによる情報検索 - Google Patents
データベースのクローリングによる情報検索 Download PDFInfo
- Publication number
- JP5048956B2 JP5048956B2 JP2006055312A JP2006055312A JP5048956B2 JP 5048956 B2 JP5048956 B2 JP 5048956B2 JP 2006055312 A JP2006055312 A JP 2006055312A JP 2006055312 A JP2006055312 A JP 2006055312A JP 5048956 B2 JP5048956 B2 JP 5048956B2
- Authority
- JP
- Japan
- Prior art keywords
- database
- information
- crawler
- databases
- unified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
202 統一データ構造体
204 統一アプリケーションプログラミングインターフェース
206 アダプタ
208,210,212 データベース
208A,210A,212A API
Claims (13)
- 情報を求めて多種多様なデータベースを探索するシステムであって、
前記システムは、少なくとも1つのメモリストレージと、
前記少なくとも1つのメモリストレージに接続された少なくとも1つのプロセッサと
を備え、
前記メモリストレージは、
探索される一連のデータベースと、検索要求に対して返される情報の各部分を制約し、すべての情報が一度に返されるのを防ぐことにより、前記一連のデータベースの過負荷を防止するために、検索要求を複数の各部分に分割するためのフィルタとを列挙する、統一データ構造体と、
前記一連のデータベースと通信するためのプロトコル群を1つのプロトコルに変換し、情報の前記各部分に対する意味を付与するセマンティンク変換する統一アプリケーションプログラミングインターフェースと、
前記統一アプリケーションプログラミングインターフェース内の前記1つのプロトコルを用いて、前記統一データ構造体で記述されたメソッドを呼び出し、前記一連のデータベースの各データベースに固有の対応するアプリケーションプログラミングインターフェースに加えて対応するプロトコルを知ることなく、前記一連のデータベース内の情報の前記各部分を探索するクローラ(crawler)と
を備え、
前記フィルタは前記クローラを制約するように構成され、前記統一アプリケーションプログラミングインターフェースは、前記統一データ構造体と対話して前記クローラの制約条件を決定するように構成され、前記統一アプリケーションプログラミングインターフェースが、前記統一データ構造体と対話して前記クローラの制約条件を決定するように構成されることは、前記統一アプリケーションプログラミングインターフェースが、統一データ構造体に照会して、前記一連のデータベース内の情報の前記各部分を探索する際の制約を認識することと、前記一連のデータベースをクローリングすることに関連する前記メソッドを呼び出すことを前記クローラに許容するために変換を提供することとを含み、前記統一アプリケーションプログラミングインターフェースによる前記照会は、前記統一データ構造体を記述することに特化して設計されたデータ記述言語を使用することを含む
ことを特徴とするシステム。 - 前記統一データ構造体は、システムの下に、システム内の情報の前記各部分に与えられた構造に関連する属性およびサービスを定義する、少なくとも1つのエンティティを含み、各システムは、前記一連のデータベースの中のデータベースを含み、各エンティティは、前記一連のデータベースの中の少なくとも1つデータベース内の情報の前記各部分に構造を与えることを特徴とする請求項1に記載のシステム。
- 前記統一データ構造体は、前記少なくとも1つのエンティティの下に、前記少なくとも1つのエンティティに属する動作を表す属性およびサービスを定義する少なくとも1つのメソッドを含み、前記少なくとも1つの各メソッドは、少なくとも1つのデータベース内の情報の前記各部分を呼び出して探索する機能を前記クローラに提供するように構成されている前記統一データ構造体によって記述可能であることを特徴とする請求項2に記載のシステム。
- 前記統一データ構造体は、前記少なくとも1つのメソッドのパラメータを表す属性およびサービスを定義する少なくとも1つのパラメータを含み、前記少なくとも1つのパラメータは、返される情報の前記各部分に制約を加えるために前記フィルタによって注釈を付けられる(annotate)ことを特徴とする請求項3に記載のシステム。
- 前記フィルタは、特定の日付以降に修正された情報の前記各部分をフィルタリングするフィルタを含むことを特徴とする請求項4に記載のシステム。
- 情報の各部分を求めてデータベースおよびアプリケーション文書を探索する、コンピュータに実装される方法であって、
統一データ構造体にアクセスし、各データベースに固有のプロトコルおよびアプリケーションプログラミングインターフェースを知ることなく、少なくとも1つのフィルタを有するファインダメソッドを呼び出して各データベース下の各エンティティを探索することであって、
前記少なくとも1つのフィルタのそれぞれは、
検索要求に対して返される情報の各部分に制約を与えること、
検索要求を複数の部分に分割すること、
少なくとも1つのデータベースであって、前記少なくとも1つデータベースのそれぞれは、少なくとも1つのレコードを備え、前記少なくとも1つのレコードは少なくとも1つのフィールドを備え、前記少なくとも1つのフィールドは、キーの一部である情報を識別するように構成されている、少なくとも1つのデータベースの過負荷を防止すること、および
クローラを制約すること、とを行うように構成され、
前記クローラを制約することは、統一アプリケーションプログラミングインターフェースが前記一連のデータベースと通信するためのプロトコル群を1つのプロトコルに変換し、情報の前記各部分に対する意味を付与するセマンティンク変換を行うことと、統一アプリケーションプログラミングインターフェースが、統一データ構造体に照会して、前記少なくとも1つのデータベース内の情報の前記各部分を探索する際の制約を認識することと、前記少なくとも1つのデータベースをクローリングすることに関連する前記ファインダメソッドを呼び出すことを前記クローラに許容するために変換を提供することとにより、前記統一データ構造体と対話して前記クローラの前記制約を決定することとを含み、前記統一アプリケーションプログラミングインターフェースによる前記照会は、前記統一データ構造体を記述することに特化して設計されたデータ記述言語を使用することを含む探索することと、
識別子に関連付けられているハイパーリンクが、ユーザによって選択された場合にユーザ選択を受け取ることであって、前記識別子は、前記識別子に関連付けられたエンティティに関係する、少なくとも1つのデータベースに存在する情報を取得するための識別子であることを特徴とする受け取ることと、
によって、クローラと通信しているコンピュータデバイスにより、所望の情報を求めてクローリングする動作と、
クローリングされる少なくとも1つのデータベースと、各データベース内の情報の各部分に与えられる構造に関係する属性とサービスを定義するエンティティと、各メソッドのパラメータを表す属性とサービスを定義するメソッドと、前記パラメータに関連付けられたフィルタと、を列挙するための、前記クローリング動作に先立って前記統一データ構造体の内容を埋める動作と
を含むことを特徴とする方法。 - 前記データベース内のキーフィールドにインデックスを作成することをさらに備えることを特徴とする請求項6に記載の方法。
- 前記統一アプリケーションプログラミングインターフェースによる前記メソッドの前記呼び出しを、データベースに固有のアプリケーションプログラミングインターフェースの呼び出しに変換することをさらに備えることを特徴とする請求項7に記載の方法。
- 前記少なくとも1つのデータベースで見つかった情報の各部分を、前記メソッドの呼び出しに関連付けられた前記フィルタに適合するようにフィルタリングすることをさらに備えることを特徴とする請求項8に記載の方法。
- 所望の情報の各部分を求めてデータベースおよびアプリケーション文書を探索する、コンピュータに実装される方法を実装するための命令を格納するコンピュータ読み取り可能な記録媒体であって、前記方法は、
統一データ構造体にアクセスし、各データベースに固有のプロトコルおよびアプリケーションプログラミングインターフェースを知ることなく、少なくとも1つのフィルタを有するファインダメソッドを呼び出して各データベース下の各エンティティを探索することであって、前記各フィルタは、
検索要求に対して返される情報の前記各部分に制約を与えること、
検索要求を複数の各部分に分割すること、
少なくとも1つのデータベースであって、前記少なくとも1つのデータベースのそれぞれは、少なくとも1つのレコードを備え、前記少なくとも1つのレコードは少なくとも1つのフィールドを備え、前記少なくとも1つのフィールドは、キーの一部である情報を識別するように構成されている、少なくとも1つのデータベースの過負荷を防止すること、および
クローラを制約すること、とを行うように構成され、
前記クローラを制約することは、統一アプリケーションプログラミングインターフェースが前記一連のデータベースと通信するためのプロトコル群を1つのプロトコルに変換し、情報の前記各部分に対する意味を付与するセマンティンク変換を行うことと、統一アプリケーションプログラミングインターフェースが、統一データ構造体に照会して、前記少なくとも1つのデータベース内の情報の前記各部分を探索する際の制約を認識することと、前記少なくとも1つのデータベースをクローリングすることに関連する前記ファインダメソッドを呼び出すことを前記クローラに許容するために変換を提供することとにより、前記統一データ構造体と対話して前記クローラの前記制約を決定することとを含み、前記統一アプリケーションプログラミングインターフェースによる前記照会は、前記統一データ構造体を記述することに特化して設計されたデータ記述言語を使用することを含む探索することと、
識別子に関連付けられているハイパーリンクがユーザによって選択された場合に選択内容を受け取ることであって、前記識別子は、前記識別子に関連付けられたエンティティに関係する、少なくとも1つのデータベースに存在する情報を取得するための識別子である受け取ることと
によって、情報の前記各部分をクローリングする動作と、
クローリングされる少なくとも1つのデータベースと、各データベース内の情報の前記各部分に与えられる構造に関係する属性とサービスを定義するエンティティと、各エンティティに属する動作を表す属性とサービスを定義するメソッドと、各メソッドのパラメータを表す属性とサービスを定義するメソッドと、各メソッドの前記パラメータに関連付けられたフィルタとを列挙するために、クローリング動作に先立って前記統一データ構造体の内容を埋める動作と
を含むことを特徴とするコンピュータ読み取り可能な記録媒体。 - 前記データベース内のキーフィールドにインデックスを作成することをさらに備えることを特徴とする請求項10に記載のコンピュータ読み取り可能な記録媒体。
- 統一アプリケーションプログラミングインターフェースによる前記メソッドの呼び出しを、データベースに固有のアプリケーションプログラミングインターフェースの呼び出しに変換することをさらに備えることを特徴とする請求項11に記載のコンピュータ読み取り可能な記録媒体。
- 前記1つまたは複数のデータベースで見つかった情報の前記各部分を、前記メソッドの呼び出しに関連付けられた前記フィルタに適合するようにフィルタリングすることをさらに備えることを特徴とする請求項12に記載のコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/096,429 | 2005-03-29 | ||
US11/096,429 US7801880B2 (en) | 2005-03-29 | 2005-03-29 | Crawling databases for information |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006277732A JP2006277732A (ja) | 2006-10-12 |
JP2006277732A5 JP2006277732A5 (ja) | 2009-04-16 |
JP5048956B2 true JP5048956B2 (ja) | 2012-10-17 |
Family
ID=36581869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006055312A Expired - Fee Related JP5048956B2 (ja) | 2005-03-29 | 2006-03-01 | データベースのクローリングによる情報検索 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7801880B2 (ja) |
EP (1) | EP1708104A1 (ja) |
JP (1) | JP5048956B2 (ja) |
KR (1) | KR101224800B1 (ja) |
CN (1) | CN1841377A (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100848264B1 (ko) * | 2006-11-23 | 2008-07-25 | 연세대학교 산학협력단 | 강교량의 데이터베이스 구축방법 |
JP4868245B2 (ja) * | 2007-08-17 | 2012-02-01 | ヤフー株式会社 | 検索システム、検索装置、および検索方法 |
EP2463785A1 (en) * | 2010-12-13 | 2012-06-13 | Fujitsu Limited | Database and search-engine query system |
US8620897B2 (en) * | 2011-03-11 | 2013-12-31 | Microsoft Corporation | Indexing and searching features including using reusable index fields |
JP5578137B2 (ja) * | 2011-05-25 | 2014-08-27 | 富士通株式会社 | 検索プログラム、装置及び方法 |
US9558248B2 (en) * | 2013-01-16 | 2017-01-31 | Google Inc. | Unified searchable storage for resource-constrained and other devices |
RU2568276C2 (ru) * | 2014-01-24 | 2015-11-20 | Закрытое акционерное общество "РИВВ" | Способ извлечения полезного контента из установочных файлов мобильных приложений для дальнейшей машинной обработки данных, в частности поиска |
US10467062B1 (en) | 2019-03-11 | 2019-11-05 | Coupang, Corp. | Systems and methods for managing application programming interface information |
US11366862B2 (en) * | 2019-11-08 | 2022-06-21 | Gap Intelligence, Inc. | Automated web page accessing |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7370004B1 (en) * | 1999-11-15 | 2008-05-06 | The Chase Manhattan Bank | Personalized interactive network architecture |
US6876997B1 (en) * | 2000-05-22 | 2005-04-05 | Overture Services, Inc. | Method and apparatus for indentifying related searches in a database search system |
JP2002049637A (ja) * | 2000-08-04 | 2002-02-15 | Hitachi Ltd | データベース管理方法及び装置並びに記録媒体 |
US7630959B2 (en) * | 2000-09-06 | 2009-12-08 | Imagitas, Inc. | System and method for processing database queries |
US20020042789A1 (en) * | 2000-10-04 | 2002-04-11 | Zbigniew Michalewicz | Internet search engine with interactive search criteria construction |
US6636854B2 (en) * | 2000-12-07 | 2003-10-21 | International Business Machines Corporation | Method and system for augmenting web-indexed search engine results with peer-to-peer search results |
US7299219B2 (en) * | 2001-05-08 | 2007-11-20 | The Johns Hopkins University | High refresh-rate retrieval of freshly published content using distributed crawling |
US20040230572A1 (en) * | 2001-06-22 | 2004-11-18 | Nosa Omoigui | System and method for semantic knowledge retrieval, management, capture, sharing, discovery, delivery and presentation |
US6763362B2 (en) * | 2001-11-30 | 2004-07-13 | Micron Technology, Inc. | Method and system for updating a search engine |
US20040117376A1 (en) * | 2002-07-12 | 2004-06-17 | Optimalhome, Inc. | Method for distributed acquisition of data from computer-based network data sources |
JP2005071050A (ja) * | 2003-08-22 | 2005-03-17 | Nippon Hoso Kyokai <Nhk> | 情報提示システム、情報提示装置、及び情報提示プログラム。 |
US8224872B2 (en) * | 2004-06-25 | 2012-07-17 | International Business Machines Corporation | Automated data model extension through data crawler approach |
-
2005
- 2005-03-29 US US11/096,429 patent/US7801880B2/en not_active Expired - Fee Related
-
2006
- 2006-02-09 KR KR1020060012550A patent/KR101224800B1/ko not_active IP Right Cessation
- 2006-02-28 CN CNA2006100515554A patent/CN1841377A/zh active Pending
- 2006-03-01 JP JP2006055312A patent/JP5048956B2/ja not_active Expired - Fee Related
- 2006-03-22 EP EP06111548A patent/EP1708104A1/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
CN1841377A (zh) | 2006-10-04 |
JP2006277732A (ja) | 2006-10-12 |
US7801880B2 (en) | 2010-09-21 |
US20060224592A1 (en) | 2006-10-05 |
KR20060105438A (ko) | 2006-10-11 |
KR101224800B1 (ko) | 2013-01-21 |
EP1708104A1 (en) | 2006-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5048956B2 (ja) | データベースのクローリングによる情報検索 | |
US9298702B1 (en) | Systems and methods for pairing of a semantic network and a natural language processing information extraction system | |
US9460396B1 (en) | Computer-implemented method and system for automated validity and/or invalidity claim charts with context associations | |
US5737592A (en) | Accessing a relational database over the Internet using macro language files | |
US8260815B2 (en) | System and method for accessing non-compatible content repositories | |
US8060538B2 (en) | Method and system for creating a concept-object database | |
US6199081B1 (en) | Automatic tagging of documents and exclusion by content | |
US9026901B2 (en) | Viewing annotations across multiple applications | |
US7487174B2 (en) | Method for storing text annotations with associated type information in a structured data store | |
US20050234894A1 (en) | Techniques for maintaining collections of generated web forms that are hyperlinked by subject | |
Punin et al. | LOGML: Log markup language for web usage mining | |
US7548912B2 (en) | Simplified search interface for querying a relational database | |
US8983931B2 (en) | Index-based evaluation of path-based queries | |
US20030088715A1 (en) | System for keyword based searching over relational databases | |
JP2000090076A (ja) | ドキュメント管理方法およびドキュメント管理システム | |
US20070061294A1 (en) | Source code file search | |
US20080016048A1 (en) | Intelligent condition pruning for size minimization of dynamic, just in time tables | |
KR20060048418A (ko) | 사용자 정의 형식의 지정 멤버의 지연 인출을 위한시스템과 방법 | |
US8015570B2 (en) | Arbitration mechanisms to deal with conflicting applications and user data | |
US20020089551A1 (en) | Method and apparatus for displaying a thought network from a thought's perspective | |
US20060265387A1 (en) | Method and apparatus for loading artifacts | |
JP2002534741A (ja) | 半構造化テキストデータを処理する方法及び装置 | |
JP3786233B2 (ja) | 情報検索方法および情報検索システム | |
Martin et al. | Using metadata to query passive data sources | |
Cotter et al. | Pro Full-Text Search in SQL Server 2008 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090302 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120720 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |