JPH11338835A - 負荷分散型情報回答装置 - Google Patents

負荷分散型情報回答装置

Info

Publication number
JPH11338835A
JPH11338835A JP10149429A JP14942998A JPH11338835A JP H11338835 A JPH11338835 A JP H11338835A JP 10149429 A JP10149429 A JP 10149429A JP 14942998 A JP14942998 A JP 14942998A JP H11338835 A JPH11338835 A JP H11338835A
Authority
JP
Japan
Prior art keywords
information
speed
stored
word
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10149429A
Other languages
English (en)
Inventor
Hiroto Inagaki
博人 稲垣
Kazuo Tanaka
一男 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP10149429A priority Critical patent/JPH11338835A/ja
Publication of JPH11338835A publication Critical patent/JPH11338835A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 情報提供要求を高速に処理することが可能な
技術を提供する。 【解決手段】 情報リソースを蓄積する低速蓄積手段
と、該低速蓄積手段に蓄積された蓄積情報を記憶し、高
速に読み書きを可能とする高速記憶手段と、該高速記憶
手段に蓄積された情報を高速で処理する高速処理手段
と、通信ネットワークを介してインターネット上の情報
リソースを収集し、該収集データを一時的に該低速蓄積
手段にするためのバッファ型ネットワークインタフェー
ス手段と、通信ネットワークを介して情報提供要求者か
らの情報提示要求に対して、キャッシュに蓄積されてい
る情報を高速で回答する高速回答型ネットワークインタ
フェース手段とを備えた負荷分散型情報回答装置であ
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、所定の情報提供要
求に対して、通信ネットワークを介してインターネット
上から収集した情報(情報リソース)と一致する情報を
回答として返す情報回答装置に関し、特に、通信ネット
ワーク上の情報収集処理を低速蓄積手段、または、中速
蓄積手段に蓄積することにより、負荷分散を図る負荷分
散型情報回答装置に関する。さらに、情報提供要求であ
る日本語テキストを単語単位に分割しながら、同じ単語
が含まれた蓄積情報を回答として出力する負荷分散型情
報回答装置に関する。
【0002】
【従来の技術】一般に、情報検索回答装置の中で、イン
ターネットを例にとると、インターネット検索エンジン
(インターネットサーチエンジン)がある。このインタ
ーネット検索エンジンでは、蓄積情報は、HTMLファ
イル等である。
【0003】このインターネット検索エンジンにおける
使用方法を例として説明を行う。
【0004】従来型のインターネット検索エンジンで
は、インターネット上に分散蓄積されているHTMLフ
ァイル等情報を収集するクローラとよばれている装置
と、クローラが収集した、蓄積情報を用いて、ユーザの
検索要求を該蓄積情報を用いて一致する蓄積情報を表示
する検索装置とがある。従来は、所定の情報提供要求に
対して、通信ネットワークを介してインターネット上か
ら収集した情報と一致する情報を回答として返す情報回
答装置において、所定の情報提供要求があるたびごと
に、時分割で決まった時間単位ごとにコンテキスト(あ
る処理プロセスの単位をさす)を切り替えることにより
複数のプロセスを時分割処理する方法を用いて情報回答
が行われていた。
【0005】図9に従来の情報検索回答装置の概略構成
を示す。図9において、100はクライアント端末、2
00は通信ネットワーク又はインターネット、400は
データベースが記憶されている外部記憶装置、500は
サーバ、600は情報検索回答装置である。
【0006】前記情報検索回答装置600は、図6に示
すように、ネットワークインタフェース手段601、高
速に処理するための情報を記憶する高速記憶手段60
2、該高速記憶手段602等に記憶された情報に対して
必要な処理を行う高速処理手段603、蓄積手段60
4、バス605、及びバスコントローラ606から成っ
ている。この情報検索回答装置600は、クローラ機能
と検索回答機能をタイムシェアリング処理で行う。
【0007】
【発明が解決しようとする課題】しかしながら、前記従
来の検索装置やクローラ装置は、汎用のUNIXマシン
やWINDOWS−NTマシン等で構成されているた
め、情報検索要求に対する処理は時分割となっているた
め、情報検索要求が輻輳すると、すべての処理をこなし
きれずに処理が滞ってしまうことが多かった。そのた
め、複数の情報提供要求があると時分割処理が間に合わ
ず、情報提供要求に応じられないという問題があった。
【0008】本発明の目的は、情報提供要求を高速に処
理することが可能な技術を提供することにある。
【0009】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。
【0010】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。
【0011】(1)情報リソースを蓄積する低速蓄積手
段と、該低速蓄積手段に蓄積された蓄積情報を記憶し、
高速に読み書きを可能とする高速記憶手段と、該高速記
憶手段に蓄積された情報を高速で処理する高速処理手段
と、通信ネットワークを介してインターネット上の情報
リソースを収集し、該収集データを一時的に該低速蓄積
手段にするためのバッファ型ネットワークインタフェー
ス手段と、通信ネットワークを介して情報提供要求者か
らの情報提示要求に対して、キャッシュに蓄積されてい
る情報を高速で回答する高速回答型ネットワークインタ
フェース手段とを備えた負荷分散型情報回答装置であ
る。
【0012】(2)情報リソースを蓄積する低速蓄積手
段と、該低速蓄積手段に蓄積された蓄積情報を記憶し、
高速に読み書きを可能とする高速記憶手段と、該高速記
憶手段に蓄積された情報を高速で処理する高速処理手段
と、通信ネットワークを介してインターネット上の情報
リソースを収集し、該収集データを一時的に該低速蓄積
手段にするためのバッファ型ネットワークインタフェー
ス手段と、通信ネットワークを介して情報提供要求者か
らの情報提示要求に対して、キャッシュに蓄積されてい
る情報を高速で回答する高速回答型ネットワークインタ
フェース手段とを備えた負荷分散型情報回答装置であっ
て、共有型中速記憶手段と、該共有型中速記憶手段に逐
次蓄積された通信ネットワークを介してインターネット
からの情報提示要求を、負荷の最も少ない高速処理手段
又は低速側の処理手段が優先的に処理を行うように選択
設定手段とを備えた負荷分散型情報回答装置である。
【0013】(3)情報リソースを蓄積する低速蓄積手
段と、該低速蓄積手段に蓄積された蓄積情報を記憶し、
高速に読み書きを可能とする高速記憶手段と、該高速記
憶手段に蓄積された情報を高速で処理する高速処理手段
と、通信ネットワークを介してインターネット上の情報
リソースを収集し、該収集データを一時的に該低速蓄積
手段にするためのバッファ型ネットワークインタフェー
ス手段と、通信ネットワークを介して情報提供要求者か
らの情報提示要求に対して、キャッシュに蓄積されてい
る情報を情報提示要求に対して高速で回答する高速回答
型ネットワークインタフェース手段とを備えた負荷分散
型情報回答装置であって、前記蓄積情報を単語単位に分
割する蓄積情報単語単位分割手段と、該蓄積情報単語単
位分割手段の結果を入力し、単語と該当する蓄積情報の
関係を記憶する単語・蓄積情報関係記憶手段と、通信ネ
ットワークを介して情報提供要求者からの情報提示要求
に対して、単語単位に分割すると同時に、同じ単語が含
まれた蓄積情報を単語・蓄積情報関係記憶手段から抽出
する蓄積情報抽出手段と、前記情報提示要求に対する回
答として、前記蓄積情報抽出手段の結果である蓄積情報
を出力する蓄積情報出力手段とを備えた負荷分散型情報
回答装置である。
【0014】
【発明の実施の形態】以下、本発明の実施の形態(実施
例)について、図面を参照して詳細に説明する。
【0015】図1は本発明の一実施例の負荷分散型情報
回答装置の概略構成を示すブロック構成図である。図1
において、100はクライアント端末、200は通信ネ
ットワーク又はインターネット(以下、単にネットワー
クと呼ぶ)、300は負荷分散型情報回答装置、400
はデータベースが記憶されている外部記憶装置、500
はサーバである。
【0016】301は低速の蓄積情報を蓄積する低速蓄
積手段、302は高速に処理するための情報を記憶する
高速記憶手段、303は高速記憶手段302等に記憶さ
れた情報に対して必要な処理を行う高速処理手段、30
4はバッファ型ネットワークインタフェース手段であ
り、高速処理手段303の負荷に応じて、低速蓄積手段
301に、ネットワーク200上から蓄積した情報をバ
ッファリングする。
【0017】305は高速回答型ネットワークインタフ
ェース手段であり、外部からの情報提供要求に対して、
キャッシュした情報を用いて高速に回答を行う。
【0018】306は共有型中速記憶手段であり、複数
台の高速処理手段303をもった装置において、情報を
共有することができる記憶手段で、該記憶手段に蓄積さ
れている情報を、複数台の高速処理手段が自分の処理が
あいた時点で監視しにいき、必要な処理が可能な高速処
理手段303で処理を行う。
【0019】307はPCIバス、308はバスコント
ローラ、309はバス間コントローラ、310は低速側
処理手段である。
【0020】図2は本実施例のインターネット検索サー
チエンジン(インターネットサーチエンジン)での処理
部の概略構成を示すブロック構成である。図2におい
て、311は蓄積情報単語単位分割手段である。前記低
速蓄積手段301もしくは共有型中速記憶手段306も
しくは高速記憶手段302に蓄積された外部の情報リソ
ースの中で、テキスト情報だけを抽出し、テキスト情報
が日本語の場合、当該蓄積情報を単語単位に分割する。
【0021】312は単語・蓄積情報関係記憶手段であ
り、蓄積情報単語単位分割手段311の結果を入力と
し、単語と該当する蓄積情報の関係、例えば、ファイル
名、蓄積場所、蓄積者、管理者などの情報を蓄積する。
【0022】313は蓄積情報抽出手段であり、ネット
ワーク200上からの情報提示要求である日本語に対し
て、単語単位に分割すると同時に、同じ単語が含まれた
蓄積情報を前記単語・蓄積情報関係記憶手段312から
抽出する。
【0023】314は蓄積情報出力手段であり、情報提
示要求に対する回答として、前記蓄積情報抽出手段31
3の結果である蓄積情報を出力とする。
【0024】本実施例の負荷分散型情報回答装置は、図
1及び図2に示すように、情報リソースを蓄積する低速
蓄積手段301と、該低速蓄積手段に蓄積された蓄積情
報を記憶し、高速に読み書きを可能とする高速記憶手段
302と、該高速記憶手段に蓄積された情報を高速で処
理する高速処理手段303と、ネットワーク200を介
して情報リソースを収集し、該収集データを一時的に該
低速蓄積手段301に蓄積するためのバッファ型ネット
ワークインタフェース手段304と、ネットワーク20
0を介して情報提供要求者からの情報提示要求に対し
て、キャッシュに蓄積されている情報を情報提示要求に
対して高速で回答する高速回答型ネットワークインタフ
ェース手段305とを備えた負荷分散型情報回答装置で
あって、前記蓄積情報を単語単位に分割する蓄積情報単
語単位分割手段311と、該蓄積情報単語単位分割手段
311の結果を入力し、単語と該当する蓄積情報の関係
を記憶する単語・蓄積情報関係記憶手段312と、ネッ
トワーク200上からの情報提示要求に対して、単語単
位に分割すると同時に、同じ単語が含まれた蓄積情報を
単語・蓄積情報関係記憶手段312から抽出する蓄積情
報抽出手段313と、前記情報提示要求に対する回答と
して、前記蓄積情報抽出手段313の結果である蓄積情
報を出力する蓄積情報出力手段314とを備えている。
【0025】本実施例の負荷分散型情報回答装置300
では、収集するクローラ装置と検索回答装置を同一装置
内に備え、かつ、負荷に応じて、処理をバッファリング
することにより、最適な負荷分散を可能とする。
【0026】通常、クローラ装置の場合、httpプロ
トコルでの要求を種々のwebサーバーに対してネット
ワークを介して行い、各webサーバーからのレスポン
スを処理装置側で待ちの状態となる。
【0027】本実施例の負荷分散型情報回答装置300
では、定常運転の負荷バランステーブルにおいて、自動
的に負荷を分散させる。負荷バランステーブルとは、1
日の時間単位又は分単位で、負荷量を記述したテーブル
であり、負荷バランステーブルを参照し、負荷が多い時
間帯には、クローラ手段分を低速蓄積手段301内にバ
ッファリングすることにより、低速側のPCIバス30
7間だけで、ネットワーク200上の情報を蓄積でき、
高速処理手段303や高速記憶手段302を主処理であ
る検挙・回答機能のために集中できる。
【0028】具体的には、図1に示すように、収集すべ
き、データ名(ここでは、インターネットサーチエンジ
ンであるから、URL:ユニフォーム・リソース・ロケ
ータとする)を記述した、データ名リストに基づき、バ
ッファ型ネットワークインタフェース手段304がHT
TPプロトコルに基づき、情報を収集する。なお、デー
タ名リストはあらかじめ低速蓄積手段301内に入力し
て記憶させておくこととし、その対象はネットワーク
(インターネット)200に接続されている全てのUR
Lでもよく、また、その一部を指定して記憶させておく
形でもよい。
【0029】例えば、低速蓄積手段301内にあらかじ
め記憶させておいた収集すべき、URLの1つが以下の
場合、すなわち http://www.inagaki.ntt.co.jp/index.html の場合、これは、www.inagaki.ntt.co.jpという装置のi
ndex.htmlというファイル名を収集するということを意
味する。
【0030】HTTPにおける要求文は以下のようにな
る。 (例) GET http://www.inagaki.ntt.co.jp/index.html HTTP/
1.0 このように、HTTPプロトコルを利用して、webサ
ーバーからファイルを収集するのであるが、実際のネッ
トワーク(インターネット)200の世界では、レスポ
ンスは、非常に低速で、高速処理手段303を利用する
ほどの処理ではない。そこで、これらのHTTPレスポ
ンスを低速側処理手段310の制御によりバッファ型ネ
ットワークインタフェース手段304を介して直接低速
蓄積手段301に対して、転送する。パソコンの世界
で、使われているこの種の低速蓄積手段301への接続
は、PCIバス307と呼ばれているバスを使用する。
【0031】PCIバス307では、マスタとスレーブ
の概念で、送る側と受け取る側が指定される。そこで、
マスタには、バッファ型ネットワークインタフェース手
段304が対応し、スレーブには、低速蓄積手段301
が対応するように、低速側処理手段310の制御プログ
ラムにより制御する。バッファをもつマスタであるバッ
ファ型ネットワークインタフェース手段304は、TC
P/IPパケットを受信したのち、PCIバス307を
介してスレーブである低速蓄積手段301に受信した情
報を送信し蓄積する。そうすることにより、低速側のP
CIバス307間だけで、ネットワーク200を介して
情報リソースを蓄積することが可能となり、高速処理手
段303や高速記憶手段302の情報リソースを消費す
ることなく、情報収集処理を実行することが可能とな
る。
【0032】このように、バッファ型ネットワークイン
タフェース手段304と低速蓄積手段301において情
報収集処理を実行することにより、他の検索・回答処理
等の妨げをすることなく、複数の処理を同時に実行する
ことが可能となる。高速処理手段303は、自分の処理
時間があいた時に、低速蓄積手段301に蓄積された蓄
積情報に対して蓄積された情報の取り出しと取り出した
情報についての検索・回答処理を行うよう制御プログラ
ムにより制御する。
【0033】本実施例のインターネット検索エンジンで
の処理部は、図2に示すように、まず、蓄積情報単語単
位分割手段311では、収集情報を、単語単位に分割す
る処理である。単語単位の分割では、形態素解析という
手法を用い、分割を行う。
【0034】形態素解析では、入力された文字列を単語
辞書に対して、検索を行い、品詞情報(品詞)、文頭可
否情報(文頭可)、前方接続情報(前接)、後方接続情
報(後接)などの情報を取得する。通常の単語辞書で
は、TREI辞書構造という特別な辞書構造を行うこと
により高速な検索を行えるようになっている。
【0035】図3にTREI辞書構造の例を示す。辞書
項目として、“ああ”、“あいさつ”、“あい”、など
がある場合、それぞれの第一文字(ここでは、日本語で
あるので、C言語の文字であるアルファベットと異な
り、日本語文字2byteを指し示す)が同じもの、第
二文字目が同じものなど、それぞれ順次に、木構造的に
構成される。そして、最後の文字まで一致した場合に
は、その単語辞書項目に対する品詞情報(品詞)、文頭
可否情報(文頭可)、前方接続情報(前接)、後方接続
情報(後接)などの情報が記述される。
【0036】文頭可否情報とは、文頭にあってよいかど
うかを示すフラグである。文頭可であれば、文頭に存在
してもよいが、文頭否であれば、文頭にあることが許可
されない単語ということになる。
【0037】前方接続情報とは、前の単語の品詞または
属性が適正な場合だけ接続が許可され、前接で接続が許
可されない単語の場合、候補として削除される。同様に
後方接続情報も、後の単語の品詞または属性が適正な場
合だけ接続が許可され、後接で接続が許可されない単語
の場合、候補として削除される。
【0038】このような、品詞接続により、候補を選択
する。最尤候補は、コスト最小法とよぶ方法により選択
する。最小コスト法とは、最もコストが最小となる形態
素候補を最尤侯補とする処理方式である。形態素解析に
おいて利用されるコストは、以下の2種類のコストがあ
る。 ・披続コスト ・単語コスト 接続コストは、ある単語と単語を接続する場合に必要な
コストである。単語と単語であるため、単語+該活用に
対する接続コストは0となる。
【0039】単語コストとは、その単語に関するコスト
であり、例えば、使用頻度が高い単語は、コストが低く
なる。また、活用は単語ではないので、コストは0とな
る。
【0040】図4(a)、(b)に解析の例を示す。入力
が、“あいすることは,”という文があった場合、
“あ”という単語と“い”という単語、“する”という
単語、“こと”という単語、“は”と言う単語で構成さ
れるという解析を最初の候補は行っている。一方、2番
目の候補は、“あい(する)”,“こと”、“は”の3
単語から構成されている。それぞれの候補のコストを計
算すると最初の侯補が、97点、2番目の候補が、37
点ということになり、2番目の候補が、最小コストの候
補(最尤候補)ということになる。
【0041】同様にして、入力された、蓄積情報をすべ
て、単語単位に分割する。
【0042】単語・蓄積情報関係記憶手段312では、
前記単語単位に分割された情報と、そのもととなった蓄
積情報の関係を蓄積する部分である。
【0043】例えば、先の例では、以下のような単語と
単語に対応する蓄積情報識別子のペアからなる単語・蓄
積情報関係テーブルを記憶しているとする。
【0044】但し、蓄積情報抽出手段313では、非常
に多くの単語を検索する必要があるため、各単語は、先
の形態素解析処理で辞書構造として定義されたTREI
構造になる。形態素解析においては、対応する単語がマ
ッチした場合、単語の品詞等の文法情報が取得できた
が、蓄積情報抽出手段313の例では、対応する蓄積情
報識別子が取得できる。図5にTREI構造の例を示
す。
【0045】 (例)単語・蓄積情報聞係テーブル 単語 対応する蓄積情報識別子 “あい(する)”−>“あいすることは、、、、、”という文書に含まれている 単語である。 “する” −>“あいすることは、、、、、”という文書に含まれている 単語である。 “こと” −>“あいすることは、、、、、”という文書に含まれている 単語である。 “あいすることは、、、、、”という文書の蓄積情報識別子として、 URL:http://www.inagaki.ntt.co.jp/aisuru.htmlとすると。
【0046】 (例)単語・蓄積情報関係テーブル 単語 対応する蓄積情報識別子 “あい(する)” −>URL:http://www.inagaki.ntt.co.jp/aisuru.html “する” −>URL:http://www.inagaki.ntt.co.jp/aisuru.html “こと” −>URL:http://www.inagaki.ntt.co.jp/aisuru.html となる。
【0047】対応する蓄積情報は、例えば、ファイル
名、であるとか、HTMLファイルであれば、URLで
あったりする。
【0048】受付情報単語単位分割手段315では、使
用者が、蓄積している文書に対して、検索したいキーワ
ードを入力する。
【0049】(例)“あい”に関係する情報を検索した
いと思った場合、以下の入力をする。 “あい” 受付情報単語単位分割手段315では、入力された、
“あい”という単語に対して、蓄積情報単語単位分割手
段311と同様な形態素解析を行い単語単位に分割す
る。
【0050】すると、蓄積情報単語単位分割手段311
の例と同様な図6(a)、(b)に示すような解析木ができ
る。ここでの最尤侯補は、“あい”である。
【0051】蓄積情報検索手段313では、受付情報単
語単位分割手段315の形態素解析結果に基づき、単語
・蓄積情報関係記憶手段312に蓄積してある単語・蓄
積情報関係テーブル(TREI構造)のデータを検査
し、適合する蓄積情報識別子を取得する。図5の例で
は、“あ”“い”のTREI構造に合致し、適合するU
RL Http://www.inagaki.ntt.co.jp/aisuru.htmlを取
得することができる。これは、“あい”という検索入力
に適合した蓄積情報識別子がHttp://www.inagaki.ntt.c
o.jp/aisuru.htmlであることを意味する。単語・蓄積情
報関係記憶手段312では、蓄積する情報が更新された
かどうかを示す更新日時のタイムスタンプをもつ。単語
・蓄積情報関係テーブルが更新されている場合、更新日
時のタイムスタンプを記録する。と同時に、高速回答型
ネットワークインタフェース手段305に対して、前記
単語・蓄積情報関係テーブルが更新されたことを通知す
る。
【0052】蓄積情報出力手段314では、前記蓄積情
報検索手段313の検索結果を適切な表示形式に編集し
て出力する。
【0053】高速回答型ネットワークインタフェース手
段305では、外部からの情報提供要求に対してキャッ
シュした情報を用いて高速に回答を行う。キャッシュの
情報は、単語・蓄積情報関係記憶手段312の単語・蓄
積情報関係テーブル(TREI構造)の構造をとる。た
だし、高速回答型ネットワークインタフェース手段30
5では、すべての単語・蓄積情報関係テーブル(TRE
I構造)をもつわけではなく、外部からの情報提供要求
があったものについて、まず、高速記憶手段302で記
憶している単語・蓄積情報関係テーブル(TREI構
造)を参照して、情報要求に対する回答を行い、該回答
情報を高速回答型ネットワークインタフェース手段30
5でも、単語・蓄積情報関係テーブル(TREI構造)
として蓄積する。
【0054】つまり、インターネットサーチエンジンな
どの例では、ユーザがある検索したい単語を入力する。
まず、キャッシュに同様な単語をもつ単語・蓄積情報関
係テーブル(TREI構造)があるかどうかを調べる。
もし、あれば、キャッシュに蓄積されている単語・蓄積
情報関係テーブル(TREI構造)を用いて、適切な回
答を行う。対応する、単語・蓄積情報関係テーブル(T
REI構造)がなければ、高速記憶手段302で記憶し
ている単語・蓄積情報関係テーブル(TREI構造)を
参照して、情報要求に対する回答を行い、該回答情報を
高速回答型ネットワークインタフェース手段305で
も、単語・蓄積情報関係テーブル(TREI構造)とし
て蓄積する。
【0055】単語・蓄積情報関係記憶手段312からの
更新通知がきた場合、対応する単語・蓄積情報関係をキ
ャッシュから削除する。
【0056】前記共有型中速記憶手段306は、記憶手
段同志で、自立的に、同じ記憶データを蓄積するように
する装置である。これは、お互いを接続するネットワー
クにより、通信しあいながら、お互い同じ記憶手段をも
つ。共有型中速記憶手段同志で、同じ記憶データを蓄積
するため、高速記憶手段302にデータを記録したり、
高速処理手段303に対して、処理を要求する必要がな
い。つまり、負荷をかけることはない。共有型中速記憶
手段306は、バッファ型ネットワークインタフェース
手段304が蓄積した情報を、高速処理手段303が処
理できるような形式に変換して、記憶する手段である。
【0057】バッファ型ネットワークインタフェース手
段304が、一連のTCP/IPパケットすべてを入手
したかどうかを示すEOF(End of File)フラグを
もち、EOFフラグが立つ(すべてのTCP/IPパケ
ットをネットワークから取得し、1つのファイルとして
蓄積する)まで、必要な処理を高速処理手段303は行
わない。EOFフラグが立ったら、高速処理手段303
の負荷が少なければ、コンテキスト切り替えを行い、必
要な処理を行う。高速処理手段303では、処理の負荷
状態に応じて、EOFフラグを検査にいく間隔を自動的
に調整する。負荷が高ければ、EOFフラグに検査にい
く間隔を伸ばし、負荷が低ければ、EOFフラグを頻繁
に見に行く。
【0058】以下に本実施例のインターネット検索エン
ジンについて図7及び図8を用いて説明する。
【0059】通常は、インターネット検索エンジンなど
で、形態素解析等の自然言語処理を用いてwebの情報
を検索するエンジンでは、図8に示すような処理の流れ
となる。まず、蓄積情報単語単位分割手段311では、
収集情報を、単語単位に分割する処理である。
【0060】単語・蓄積情報関係記憶手段312では、
前記単語単位に分割された情報と、そのもととなった蓄
積情報の関係を蓄積する部分である。
【0061】例えば、先の例では、以下のような単語と
単語に対応する蓄積情報識別子のペアからなる単語・蓄
積情報関係テーブルを記憶しているとする。
【0062】受付情報単語単位分割手段315では、入
力された、“あい”という単語に対して、蓄積情報単語
単位分割手段311と同様な形態素解析を行い単語単位
に分割する。
【0063】蓄積情報検索手段316では、受付情報単
語単位分割手段315の形態素解析結果に基づき、単語
・蓄積情報関係記憶手段312に蓄積してある単語・蓄
積情報聞係テーブル(TREI構造)のデータを検査
し、適合する蓄積情報識別子を取得する。
【0064】蓄積情報出力手段314では、前記蓄積情
報検索手段316の検索結果を適切な表示形式に編集
し、出力する。
【0065】しかし、この場合、受付情報単語単位分割
手段315と、蓄積情報検索手段316では、受付情報
単語単位分割手段315の形態素解析結果に基づき、単
語・蓄積情報関係記憶手段312に蓄積してある単語・
蓄積情報関係テーブル(TREI構造)のデータを検査
し、適合する蓄積情報識別子を取得するため、2度同じ
単語・蓄積情報関係テーブル(TREI構造)を参照す
ることになる。
【0066】そこで、本実施例では、図2のブロック構
成図に示すように、受付情報単語単位分割手段315と
蓄積情報検索手段316を結合した蓄積情報抽出手段3
13(図2)が、前記受付情報単語単位分割手段315
と蓄積情報検索手段316と同様な処理を行う。つま
り、受付情報を単語単位に分割すると同時に、単語・蓄
積情報関係記憶手段312に蓄積している情報も同時に
検索する形態素・蓄積情報関係テーブル(TREI構
造)をもつ。図7にその形態素・蓄積情報関係テーブル
(TREI構造)の例を示す。通常のTREI構造であ
れば、図3のような構造となっている、一方、単語・蓄
積情報関係記憶テーブル(TREI構造)は、図5のよ
うになっている。
【0067】本実施例の変形例における形態素・蓄積情
報関係テーブル(TREI構造)では、形態素解析に必
要な文法情報をTREI構造に蓄積すると同時に、単語
・蓄積情報関係テーブルを蓄積する。蓄積情報抽出手段
313(図2)により、より短時間で、高速に情報を回
答することができる。
【0068】各単語の終端に、形態素解析に必要な文法
情報と、該単語が受付情報として入力された場合の蓄積
関係情報を示すURLを記述している。蓄積情報抽出手
段313では、まず、形態素解析で必要な文法情報を用
い、コスト最小法により、最尤形態素候補を抽出した
後、最尤形態素候補にリンクしている蓄積関係情報を参
照することにより、受付けた情報に対する回答を即時行
う。蓄積関係情報として、”HTTP://”だけが記
述している情報は、形態素解析における品詞情報はある
が、蓄積関係情報であるURLの情報が付与されていな
い例である。
【0069】以上、本発明を実施例に基づき具体的に説
明したが、本発明は前記実施例に限定されるものではな
く、その要旨を逸脱しない範囲において種々変更し得る
ことはいうまでもない。
【0070】
【発明の効果】以上説明したように、本発明によれば、
所望の情報提供要求があるたびごとに、時分割で決まっ
た時間単位ごとにコンテキストを切り替える時分割処理
ではできなかった高速情報提供要求を、情報蓄積を行っ
ているプロセスと相互に協力しあいながら、情報提供要
求が輻輳している場合、情報蓄積の処理をバッファリン
グし、情報提供要求を即時に処理できるように、優先処
理するとともに、情報提供要求をキャッシングすること
により、高速処理手段ではなく、高速回答型ネットワー
クインタフェース手段で、情報回答を行うので、情報提
供要求を高速化することができる。
【図面の簡単な説明】
【図1】本発明の一実施例の負荷分散型情報回答装置の
概略構成を示すブロック構成図である。
【図2】本実施例のインターネット検索エンジンでの処
理部の概略構成を示すブロック構成である。
【図3】本実施例のTREI辞書構造の例を示す図であ
る。
【図4】本実施例の入力文の形態素解析の例を示す図で
ある。
【図5】本実施例の別のTREI辞書構造の例を示す図
である。
【図6】本実施例の入力文の形態素解析の例を示す図で
ある。
【図7】本実施例の別のTREI辞書構造の例を示す図
である。
【図8】本実施例に係る通常のインターネット検索エン
ジンでの処理部の概略構成を示すブロック構成である。
【図9】従来の情報回答検索装置の概略構成を示すブロ
ック構成図である。
【符号の説明】
100…クライアント端末、200…通信ネットワーク
又はインターネット、300…負荷分散型情報回答装
置、400…外部記憶装置、500…サーバ、301…
低速蓄積手段、302…高速記憶手段、303…高速処
理手段、304…バッファ型ネットワークインタフェー
ス手段、305…高速回答型ネットワークインタフェー
ス手段、306…共有型中速記憶手段、307…PCI
バス、308…バスコントローラ、309…バス間コン
トローラ、310…低速側処理手段、311…蓄積情報
単語単位分割手段、312…単語・蓄積情報関係記憶手
段、313…蓄積情報抽出手段、314…蓄積情報出力
手段、315…受付情報単語単位分割手段、316…蓄
積情報検索手段。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 情報リソースを蓄積する低速蓄積手段
    と、該低速蓄積手段に蓄積された蓄積情報を記憶し、高
    速に読み書きを可能とする高速記憶手段と、該高速記憶
    手段に蓄積された情報を高速で処理する高速処理手段
    と、通信ネットワークを介してインターネット上の情報
    リソースを収集し、該収集データを一時的に該低速蓄積
    手段にするためのバッファ型ネットワークインタフェー
    ス手段と、通信ネットワークを介して情報提供要求者か
    らの情報提示要求に対して、キャッシュに蓄積されてい
    る情報を情報提示要求に対して高速で回答する高速回答
    型ネットワークインタフェース手段とを備えたことを特
    徴とする負荷分散型情報回答装置。
  2. 【請求項2】 情報リソースを蓄積する低速蓄積手段
    と、該低速蓄積手段に蓄積された蓄積情報を記憶し、高
    速に読み書きを可能とする高速記憶手段と、該高速記憶
    手段に蓄積された情報を高速で処理する高速処理手段
    と、通信ネットワークを介してインターネット上の情報
    リソースを収集し、該収集データを一時的に該低速蓄積
    手段にするためのバッファ型ネットワークインタフェー
    ス手段と、通信ネットワークを介して情報提供要求者か
    らの情報提示要求に対して、キャッシュに蓄積されてい
    る情報を情報提示要求に対して高速で回答する高速回答
    型ネットワークインタフェース手段とを備えた負荷分散
    型情報回答装置であって、共有型中速記憶手段と、該共
    有型中速記憶手段に逐次蓄積された通信ネットワークを
    介してインターネットからの情報提示要求を、負荷の最
    も少ない高速処理手段又は低速側の処理手段が優先的に
    処理を行うように選択設定手段とを備えたことを特徴と
    する負荷分散型情報回答装置。
  3. 【請求項3】 情報リソースを蓄積する低速蓄積手段
    と、該低速蓄積手段に蓄積された蓄積情報を記憶し、高
    速に読み書きを可能とする高速記憶手段と、該高速記憶
    手段に蓄積された情報を高速で処理する高速処理手段
    と、通信ネットワークを介してインターネット上の情報
    リソースを収集し、該収集データを一時的に該低速蓄積
    手段にするためのバッファ型ネットワークインタフェー
    ス手段と、通信ネットワークを介して情報提供要求者か
    らの情報提示要求に対して、キャッシュに蓄積されてい
    る情報を情報提示要求に対して高速で回答する高速回答
    型ネットワークインタフェース手段とを備えた負荷分散
    型情報回答装置であって、前記蓄積情報を単語単位に分
    割する蓄積情報単語単位分割手段と、該蓄積情報単語単
    位分割手段の結果を入力し、単語と該当する蓄積情報の
    関係を記憶する単語・蓄積情報関係記憶手段と、通信ネ
    ットワークを介して情報提供要求者上からの情報提示要
    求に対して、単語単位に分割すると同時に、同じ単語が
    含まれた蓄積情報を単語・蓄積情報関係記憶手段から抽
    出する蓄積情報抽出手段と、前記情報提示要求に対する
    回答として、前記蓄積情報抽出手段の結果である蓄積情
    報を出力する蓄積情報出力手段とを備えたことを特徴と
    する負荷分散型情報回答装置。
JP10149429A 1998-05-29 1998-05-29 負荷分散型情報回答装置 Pending JPH11338835A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10149429A JPH11338835A (ja) 1998-05-29 1998-05-29 負荷分散型情報回答装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10149429A JPH11338835A (ja) 1998-05-29 1998-05-29 負荷分散型情報回答装置

Publications (1)

Publication Number Publication Date
JPH11338835A true JPH11338835A (ja) 1999-12-10

Family

ID=15474926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10149429A Pending JPH11338835A (ja) 1998-05-29 1998-05-29 負荷分散型情報回答装置

Country Status (1)

Country Link
JP (1) JPH11338835A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0660043A (ja) * 1992-08-11 1994-03-04 Nec Corp 負荷分散制御方式
JPH1091638A (ja) * 1996-09-17 1998-04-10 Toshiba Corp 検索システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0660043A (ja) * 1992-08-11 1994-03-04 Nec Corp 負荷分散制御方式
JPH1091638A (ja) * 1996-09-17 1998-04-10 Toshiba Corp 検索システム

Similar Documents

Publication Publication Date Title
US7809819B2 (en) Policy-based packet classification
US6789076B1 (en) System, method and program for augmenting information retrieval in a client/server network using client-side searching
US8359371B2 (en) Input candidate providing device, input candidate providing system, input candidate providing method, and input candidate providing program
US7707142B1 (en) Methods and systems for performing an offline search
US20030018621A1 (en) Distributed information search in a networked environment
US20050223027A1 (en) Methods and systems for structuring event data in a database for location and retrieval
EP2045738A1 (en) Intelligently sorted search results
JPH1091638A (ja) 検索システム
JP2001510607A (ja) 増殖概念による索引付け手法を用いたインテリジェントネットワークブラウザ
JP2004062479A (ja) 情報収集装置、方法及びプログラム
SE520531C2 (sv) Multimediapresentation
Schonfeld et al. Sitemaps: above and beyond the crawl of duty
JP3521176B2 (ja) 検索方法および検索装置
JP3588507B2 (ja) 情報フィルタリング装置
US20020092012A1 (en) Smart-caching system and method
JPH11338835A (ja) 負荷分散型情報回答装置
WO2000008570A1 (en) Information access
JPH10134087A (ja) 文書要求装置および関連文書の先取り方法
JP2002215675A (ja) 情報検索システム
JP2001337965A (ja) 時系列データのwww検索システム
JP2004178070A (ja) 情報検索方法及び情報検索装置並びにプログラム
CN113094391B (zh) 一种支持缓存的数据汇总的计算方法、装置及设备
JP2965196B2 (ja) データストリームの検索方法
JP7351469B1 (ja) ウェブページ提供システム、ウェブページ提供方法、およびコンピュータプログラム
JP2001125821A (ja) データ通信方法およびサーバ装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050524