JPH0810453B2

JPH0810453B2 - 入れ子型トークン列の検索装置

Info

Publication number: JPH0810453B2
Application number: JP1340102A
Authority: JP
Inventors: 恒介高橋; 哲矢山崎; 隆一高橋
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1989-12-27
Filing date: 1989-12-27
Publication date: 1996-01-31
Anticipated expiration: 2011-01-31
Also published as: DE69032759D1; US5293634A; EP0435260B1; EP0435260A2; EP0435260A3; JPH03198155A; DE69032759T2

Description

【発明の詳細な説明】（産業上の利用分野）本発明は各種情報機器間で通信されるマルチメディア
情報または各種記憶媒体に記憶されつマルチメディア情
報を構成する入れ子型トークン列の検索を高速化する装
置に関するものである。

（従来の技術）上記トークン（字句）列の検索装置は異機種情報機器
間のプロトコル（コード取り決め）変換や解析処理や、
ハイパーテキストサーチやマルチメディアデータベース
検索に使われる。ネットワークを介した各種情報機器間
のマルチメディア情報の通信と検索に欠かせないもので
ある。ここに、トークンが入れ子（ネスト）型であると
いう事は検索される情報が世界標準のOSI階層プロトコ
ルに基づいて表現されている事を意味する。

従来の入れ子型トークン列での特定トークンの検索は
メッセージを受信する情報機器に含まれるコンピュータ
によって、トークン列の順次読み出しとヘッダ部の解読
の済んだ後で行われた。すなわち、送られてきたメッセ
ージを一旦主記憶に格納し、トークン毎のヘッダー部の
解読によってネストレベルの判別処理を行い、その後で
ネストレベルの照合を行った。ここに、ネストレベルと
はメッセージに入れ子（ネストと呼ぶ）構造で含まれる
多数のトークンの入れ子の深さである。ソフトウェアに
よる処理ではネストレベルが深くなるようにつれてネス
トレベル判別までの処理時間が増加した。ネストレベル
が判明した後でないと、指定のネストレベルNLとIDコー
ドを持ったトークンのサーチを行えなかった。そのため
に特定トークンのテキストデータの選択や特定トークン
のプロトコル変換処理に時間がかかった。この問題をも
う少し詳しく説明するために、始めに、ネストレベル検
出のプロセスを第２図を用いて説明する。

第２図はOSIの階層プロトコルに従ってメッセージの
取扱方式（MHS）の構文規則によって作成されたトーク
ン列の１例である。この図においては、トークン列250
の各トークンはヘッダー部241とボディー部242から成
る。ボディー部242がさらにヘッダー部231とボディー部
232から成るトークン（入れ子なし）とヘッダー233とボ
ディー部234からなるトークン（入れ子あり）を含むこ
とが出来る。従って、ボディー部234はヘッダー部221、
223とボディー部222、224を持つ入れ子なしトークン列
とヘッダー部225とボディー部226を持つ入れ子ありトー
クンを含み、ボディー部226はさらにヘッダー部211とボ
ディー部212の入れ子なしトークンとヘッダー部213とボ
ディー部214の入れ子ありトークンを持つ。

故に、ネストレベルNL＝１のトークン250のボディー
部242がネストレベルNL＝２の２つのトークン列を含
み、第１のトークン（231、232）はNL＝２止まりである
が、第２トークンのボディー部234がさらにNL＝３のト
ークン（221、222）（223、224）（225、226）を含むと
言う入れ子構造のトークン列が存在する。第２図の場
合、さらに、トークン（225、226）のボディー部226がN
L＝４のトークン（211、212）（213、214）を含むこと
までが示されている。

入れ子でトークンを含むか否かは各トークンのヘッダ
ー部のIDコードの６ビット目（ネストビット）が１か０
で判定される。その事をこの図においてはIDコードの＊
印で示している。入れ子を含まないトークン列は先頭位
置が指定されると各トークンのヘッドー部に含まれるLL
コード（短形式）やＬコード（長形式）からボディー部
の長さと次のトークンの終わり位置あるいは始まり位置
がわかる。トークンの終わりの後に次のトークンのヘッ
ダー部があると約束されていることから、各トークンの
先頭のIDコードを見つけることが簡単となる。

トークン毎のIDコードとネストレベルがわかった後で
はじめて、それらを使ったトークンの選択が可能にな
り、選択されたトークンのプロトコル変換や内容検索が
可能になる。ネストレベルが常にトークンの先頭読みだ
し位置でわかっている場合には、IDコード読み出しと共
にそのトークンのヘッダ検索が可能になり、検索条件と
して与えられたネストレベルとIDコードと照合され、マ
ッチされたトークンは読みだしを続け、ミスマッチな
ら、読み飛ばしを行えるが、これまでは、ネストレベル
の判定に時間が掛かって、トークンの選択処理も遅くな
っていた。

（発明が解決しようとする課題）従って、本発明の目的はホストコンピュータの主記憶
に格納されたトークン列を先頭から読みだしする時に各
トークンの処理機能（IDコード）とネストレベルの検出
と同時に検索条件にマッチしているか否かの判定を可能
にすることにある。

この検索処理の難しさは各トークンの始めと終わりが
陽に指示されていない事、IDコードやLLコードがデータ
コードと区別できないコード（オクテット）であるため
に次のトークンの読みだし位置の計算抜きでは識別され
ない事、また、各トークンの階層（ネスト）レベルがビ
ットパターンとして与えられていない事にある。

ソフトウェアによるトークン列の検索に際しては、ト
ークン列をコンピュータの主記憶に格納してから、順に
読み出してヘッダー位置や処理機能やネストレベルを解
読した。ネストレベルの追跡を行う時にネストレベルの
深さが増すと共に処理付加が大きくなった。ソフトウェ
アではネストレベル毎のトークン長さの比較が並列でな
く順に行われるからである。トークンの検索はネストレ
ベルが判定した後で行われるために、ヘッダ検索処理速
度はネストレベル検索処理速度よりさらに遅くなった。
本発明はヘッダ検索処理速度をトークンの主記憶からの
読みだし速度以上にする。

（課題を解決するための手段）従って、本発明は次のように構成される。第１の発明
にトークン列のヘッダ検索装置は、トークン列の記憶手
段と、検索条件保持手段と、前記記憶手段をアクセスす
るために開始アドレスにトークンの読み出し位置アドレ
スを加算して出力する外部アドレス発生手段と、各トー
クンの先頭のIDコードや長さコードを検出して保持する
ヘッダ保持手段と、IDコードからのネストビット検出手
段と、IDコードやネストレベルなどの属性照合手段と、
照合結果と長さコードと長さコード読みだし位置によっ
て次に読み出されるトークンの読み出し位置を決め、ア
ドレス発生手段に与えるトークン列の読み出し位置アド
レス計算手段と、長さコードとそのコードの読み出し位
置を使って、各トークンのエンドアドレスを計算するエ
ンドアドレス計算手段と、エンドアドレスをネストレベ
ル別に記憶するエンドアドレス保持手段と、前記トーク
ン列の読み出し位置と前記エンドアドレスとアドレス比
較手段と、ネストビットによってシフトアップされ、ア
ドレス比較手段のマッチ出力によってリセットされ、シ
フトダウンするフラグビット保持手段と、複数個のフラ
グビット保持手段につながるネストレベルエンコード手
段とネストレベル出力レジスタとを備えることを特徴と
する。

第２の発明は、トークン列の記憶手段と、検索条件保
持手段と、前記記憶手段をアクセスするために開始アド
レスにトークンの読み出し位置アドレスを加算して出力
する外部アドレス発生手段と、各トークンの先頭のIDコ
ードや長さコードを検出して保持するヘッダ保持手段
と、IDコードっからのネストビット検出手段と、IDコー
ドやネストレベルなどの属性照合手段と、長さコードと
長さコード読みだし位置の加算によってトークンのエン
ドアドレスを計算するエンドアドレス計算手段と、エン
ドアドレスをネストレベル別に記憶するエンドアドレス
保持手段と、前記トークン列の読み出し位置と前記エン
ドアドレスとアドレス比較手段と、IDコードを受信した
ヘッダ保持手段の出力するネストビットによってシフト
アップされ、アドレス比較手段の出力によってリセット
され、シフトダウンするフラグビット保持手段と、複数
個のフラグビット保持手段につながるネストレベルエン
コード手段とネストレベル出力レジスタと、属性照合手
段がミスマッチを出し、ネストビットが０である時には
エンドアドレスに１を加え、そうでないときは、現在の
読みだし位置アドレス１を加えて、アドレス発生手段に
与えるトークン列の読みだしアドレス発生手段とを備え
ることを特徴とする。

第３の発明は、第１の発明において、トークン列の読
み出し位置アドレス計算手段が現在の出力に１と長さコ
ードを加算する３入力加算器で実現され、属性照合手段
の出力がミスマッチでかつネストビットが０の時以外は
長さコードの代わりに０を与える事を特徴とする。

第４の発明は、第１の発明において、トークン列の読
み出し位置アドレス計算手段が、現在の出力に長さコー
ドを加算する加算器であって、キャリー信号によって１
が加算されることを特徴とする。

第５の発明は、トークン列の記憶手段と、前記記憶手
段をアクセスするために開始アドレスを相対的なトーク
ン読み出し位置アドレスを加算するアドレス発生手段
と、検索条件保持手段と、外部クロックに従ってタイミ
ングシーケンスを発生する順序制御手段と、前記タイミ
ングシーケンスによって各トークンの先頭のIDコードや
長さを検出して保持するヘッダ保持手段と、IDコードか
らのネストビット判定手段と、前記検索条件保持手段の
内容に従って比較内容を限定するトークンの属性照合手
段と、長さコードと長さコードの読みだし位置の加算に
よってトークンのエンドアドレスを計算するエンドアド
レス計算手段と、エンドアドレスをネストレベル別に記
憶するエンドアドレス記憶手段と、全エンドアドレスと
現在のトークンの読み出し位置アドレスとの並列比較結
果とネストビットから次のトークンのネストレベルを判
定するネストレベル判定手段と、ネストレベル出力レジ
スタと、属性照合手段のミスマッチ信号と０のネストビ
ット信号の時にはトークン列の読みだし位置に１と長さ
コードを加算し、それ以外の時には１だけを加算するト
ークン列の読み出し位置アドレス手段とを備えることを
特徴とする。

第６の発明は、第１、第２、第５の発明において、検索
条件保持手段がIDコードとネストレベルとボディーサイ
ズとトークン列記憶手段の検索開始アドレスと検索され
るトークン列のサイズと検索コマンドのいずれかを保持
するレジスタから成り、検索コマンドが比較の対象にし
ない項目を指示するビットパターンである事を特徴とす
る。

以下、図面を用いて本発明の更に詳細な説明を行う。

第１図（ａ）が請求項１に、第１図（ｂ）が請求項２
に対応する。第２図は入れ子型トークン列の説明図、第
３図はネストレベルの計算方法を、第４図はネストレベ
ル判別回路の構成図を、第５図は入れ子型トークン列の
検索例を、第６図は読み出し位置アドレス発生回路の説
明図であり、（ａ）が請求項３に、（ｂ）が請求項５に
対応する。第６図（ｃ）は請求項２に含まれる実施例で
ある。第７図は各トークンのオクテットの順次見出しと
スキップのための順次制御回路の実施例であり、請求項
５に対応する。第８図は検索条件保持手段の実施例であ
り、請求項６に相当する。

（実施例）第１図（ａ），（ｂ）は本発明の第１の実施例であ
る。いずれもトークン列はトークン列メモリ100から読
みだされる。外部アトレス発生手段110がトークンメモ
リ100に格納されたトークン列の読み出し位置アドレス
を発生する。読みだし開始アドレスとサイズが検索条件
レジスタ105に格納されるため、アドレス発生手段110か
ら外部へ発生されるアドレスは開始アドレスにトークン
の先頭から数えたオクテット数を示す相対アドレスを加
算したものである。

各トークンの先頭にあるヘッダー部はボディー部（テ
キストデータ）に対する処理機能を示すIDコードとボデ
ィー部の長さを示すLLコードやＬコードからなる。これ
らは順次に読みだされ、検出される都度、ヘッダー保持
手段120のIDコードレジスタ121と長さコードレジスタ12
2に貯えられる。IDコードレジスタと６ビット目はネス
トビットNbとして次のトークンの始まりまで、ネストビ
ットレジスタ125に保持される。

長さコードについては、OSIのMHS（メッセージハンド
リングシステム）では短形式と長形式があり、先頭のLL
コードと７ビット目が０なら短形式、１なら長形式であ
ると定義されている。短形式の場合にはLLコードがボデ
ィー長さを示すが、長形式の場合にはLLコードがその後
に続くＬコードの長さを示し、複数のＬコードがボディ
ー長さを示す。いずれにおいても、ボディー長さコード
がヘッダー保持手段120に格納される。

入れ子構造のトークン列は第２図に示したようにネス
トレベル１のトークン内にネストレベル２のトークンが
含まれ、ネストレベル２のトークンの中にまたもやネス
トレベル３のトークンが含まれる、と言うように、いく
つものネストレベルのトークンが内部に含まれる。入れ
子のトークンを含むか含まないかはIDコードの６ビット
目（ネストビット）が１であるか０であるかに指示され
る。ネストビットレジスタ125から出力されるネストビ
ットが１であれば、現在のトークンの中に含まれるトー
クンのネストレベルが現在のトークンのネストレベルよ
り１ステップ高くなる。このネストレベルの高さは、第
１図では、ネストレベル数に比例した長さのフラグビッ
トレジスタ160とエンコーダ170を備えたネストレベル判
別回路190で判定される。

上昇したネストレベルのトークンが元のネストレベル
に戻るのは読み取りアドレスがトークンの最終オクテッ
トに達したときである。そこで、長さコードが判明した
時に、長さコードの読みだし位置と長さコードの和を求
めるトークンの最終オクテットの位置を示す。EA（エン
ドアドレス）の計算手段130を設けておき、EAスイッチ1
45を介してEAをネストレベル別のEAレジスタ140に保持
しておく事とした。そして、トークンの読みだし位置ア
ドレスＡと全EAレジスタの内容をアドレス比較器150で
並列に比較し、アドレス比較器がマッチ信号を発生する
時に、フラグビットレジスタ160の該当する位置のレジ
スタを０にリセットする。

このフラグビットレジスタ160の後にANDゲート165を
使うことで、１と０との境目が判別し、その位置からネ
ストレベルがどこまで下がるかをネストレベルエンコー
ダ170で識別できる。その出力はNL出力レジスタ175に保
持され、デコーダ145の制御や属性照合に使われる。

属性照合は要求IDレジスタや要求NLレジスタを含む検
索条件メモリ106ヘッダー保持手段120とNL出力レジスタ
170に接続された属性比較器135で行われる。この時にミ
スマッチトークンの読み飛ばしを行うことが出来る。

ミスマッチトークンのボディ部の読み飛ばしに際して
は２つのやり方がある。第１図（ａ）はミスマッチ検出
時に、長さコード読みだし位置Ａに長さコードＢと１を
加えて、次のトークンのヘッダアドレスを決定する内部
アドレス発生回路135を使う。ミスマッチでないときに
はＢを０とする。

第１図（ｂ）はミスマッチ検出時に、エンドアドレス
EAにＡを加算して次のトークンを読みだし位置アドレス
を発生し、マッチの時はEAの代わりに現在の読みだし位
置アドレスＡに１を加えてオクテットの読みだし位置ア
ドレスを発生する読みだし位置アドレス発生回路を使
う。この場合には使用する加算器の数が少なくなる。

検索処理条件の指定は検索条件メモリ106の中の開始
アドレスレジスタ101やサイズレジスタ102や要求IDコー
ドレジスタ103や要求ネストレベルレジスタ104やコマン
ドレジスタ105によって設定される。コマンドレジスタ1
05にビットパターンを設定する事によって検索結果の出
力形式が決められる。たとえば、マッチしたトークンの
ヘッダアドレスを出力するか、マッチしたトークンのボ
ディ部を出力するか、トークンの検索処理毎でスタート
パルス待ちになって停止するか全トークン列の終わりま
で連続的にサーチを行うか、IDマッチを使うか、ネスト
レベルNLマッチを使うかなどの検索条件をコマンドレジ
スタ105上のビットパターンで記憶する。

以下では、第１図（ａ），（ｂ）でのネストレベル判
別とヘッダ検索の動作をもう少し詳しく説明する。

まず始めに、トークンのネストレベルNLが１（“0
0"）とする。故に、フラグビットレジスタ160は左端の
レジスタ以外全て“0"にリセットされ、出力レジスタ17
0は“00"を示し、それによって制御されたEAスイッチ14
5はEA計算手段130の出力を０番目のEAレジスタに接続し
ている。

外部アドレス発生回路110が主記憶に格納されたトー
クン列を先頭から順に読みだすべくアドレスを発生する
と、トークン列が主記憶から送られて来る。その先頭を
見て、ネストビットNbを含むIDコードやボディーの長さ
コードがヘッダ保持手段120とネストビットレジスタ125
にラッチされる。長さコードの示すボデイー長さをB1と
すると、トークンのエンドアドレスEAは、 EA1＝Ａ＋B1 （１）から計算される。これがEA計算回路130で求められる。
トークンの読みだし位置アドレスＡは常にアドレス比較
器150にも送られる。

ヘッダ保持手段120においてネストビットNbが１なら
ば、ヘッダ部の後にNL＝２のトークンが続くので、NL＝
２を示すように、フラグビット（FB）レジスタ160を上
から２番目まで１にする。斜線の施された最上段のフラ
グビットレジスタ160は常に“1"を保持するとしてい
る。次段のフラグビットレジスタ160が“1"で、その下
の段がすべて“0"となる。“1"と“0"の境目をエンコー
ダ170とANDゲート165が検出し、ネストレベルをコード
“01"として発生し、出力レジスタ175に送る。

NL＝２のトークンのヘッダー部保持手段120への設定
後、再び、そのトークンのボディーの長さBL2とその時
の内部アドレスＡと１の加算結果EA2がEAレジスタ140の
２番目に格納される。Ａはトークンのオクテッドを１つ
読み取る都度、１つづつ大きくなる。いま、NL＝２のト
ークンのNbが０であると、そのトークンはプリミティブ
と呼ばれ、ヘッダー部の後にボディー部が続く。

アドレスＡとトークンの内容を順に読み取って行くに
つれて増加し、比較器150で全てのEAレジスタの内容と
比較される。もしＡがEA2に等しくなると、ＡがNL＝２
のトークンの終わりに到達したこと意味し、NLを１に戻
さなければならない。その事を実行するために、比較器
150の出力が１の時に上から２番目のフラグビットレジ
スタ160を０にリセットする。その結果、フラグビット
レジスタの１番目が１で、それ以下は０になる。エンコ
ーダ170はこれを検出してネストレベルNL＝１（“00"）
を出力する。

このように、トークンの先頭読みだし位置でIDコード
とネストレベルNLコードが求まると、要求IDと要求NLレ
ジスタ115の内容の比較結果が属性比較器135から直ちに
求まる。これは現在のトークンが検索条件にマッチした
か否かを示している。マッチしていれば、読み出しアド
レスＡに１を加えながら、現在のトークンのボディー部
を順次読み出せばよい。

ミスマッチならば現在のトークンのボディー部を読み
出す必要が無い。その場合には、次のトークンのヘッダ
アドレスHAを計算して、その結果をアドレス発生手段11
0に送る必要がある。ネストビットNbが“1"の時はすぐ
に入れ子のトークンのヘッダ部が続くので、長さコード
読み出し位置アドレスをＡとすると、次のトークンのヘ
ッダアドレスは、HA＝Ａ＋１から計算される。Nbが０の
時には、ミスマッチのトークンのボディー部の長さＢが
わかった時点で次のトークンのヘッダアドレスはHA＝Ａ
＋Ｂ＋１から計算される。これらが内部アドレス計算回
路135で求められ、その結果が外部アドレス発生回路110
に与えられる。

第３図はトークン列のネストレベル計算例を示してい
る。第３図（ａ）はトークン列の一例を、第３図（ｂ）
はこれに対応したネストレベルの出力結果である。第３
図（ａ）は図面の関係で入れ子の深さが４までしか示し
ていないが、数10に及んでも同じ様な構造が繰り返され
るだけである。始めのトークンのネストレベルは常に１
番目である。

第３図（ａ）に示しトークンのヘッダー部はIDコード
^*印の有無とLLコードの数字がそれぞれ、ネストビット
が“1"であるか否かとそのトークンのボディ部の長さを
示しているとする。すなわち、第１のトークンはコンス
トラクタであって、入れ子を持つこととボディ長さが64
（オクテット）であることがわかる。ヘッダー長さを２
とすると、このトークンの全長は66となる。すなわち、
位置アトレスが64に達するとネストレベルが必ず１に戻
ることを示す。トークンの下側の数字は位置アドレスで
あり、まるで囲まれた数字はプリミティブトークンのエ
ンドアドレスである。ネストレベルは３オクテット目で
１から２へ、17オクテット目で２から３へ、29オクテッ
ト目で３から４へ変わる場合が示されている。

第３図（ｂ）は横軸301でトークンのオクテット数
を、縦軸302でネストレベルを示している。これが第３
図（ａ）のトークン列に対するネストレベル検出装置の
出力するネストレベルの該当する。第１番目のヘッダー
を読み取った第２オクテット目でこのネストレベルのト
ークンの終わりが66オクテット目であることがわかる。
それをエンドアドレスレジスタに設定した後、ネストレ
ベルを上げる。第２ネストレベルのプリミティブトーク
ンが３オクテット目から始まり、４オクテット目でその
トークンが14オクテット目迄続くとわかる。それを２番
目のエンドアドレスレジスタに設定する。５オクテット
目から14オクテットまではトークンを順に読む。オクテ
ット数が14に達すると２番目のエンドアドレスレジスタ
をリセットする。それまでの間、ネストレベルは２のま
まである。66オクテット目になるまでネストレベルは１
に戻らないためである。

15オクテット目で次の第２ネストレベルのトークンが
始まる。IDコードに^*印がある。16オクテット目のLLコ
ードの数字50からこのネストレベルのトークンの終わり
が（16＋50）＝66オクテット目であると計算され、２番
目のエンドアドレスレジスタに設定される。この後、ネ
ストレベルが１つ増える。17オクテット目のIDコードに
は^*印が付いていないので、18オクテット目のLLのプリ
ミティブトークンのボディー部の長さ８を示す。故に、
18＋８＝26オクテット目がエンドアドレスになる。オク
テット数が26に達すると、このトークンが終わるが、こ
の後に、再び第３ネストレベルのトークンが続く。すな
わち、27オクテット目のIDコードに^*印があるので、28
オクテット目のLLコードの数字38から第３ネストレベル
のトークンの終わりを28＋38＝66オクテット目と計算
し、３番目のエンドアドレスレジスタに設定する。その
後ネストレベルを３から４に上げる。29オクテット目に
読むIDコードには^*印が無いので、30オクテット目のLL
コードはプリミティブトークンのボディー部の長さ36を
示す。故に、31オクテット目から後は66オクテット目ま
でネストレベル４のままとなる。その後で、ネストレベ
ルは１に戻る。

第４図はネストレベル検出回路の１構成例を示してい
る。この回路は第１図のネストレベル判別回路190の中
のフラグビットレジスタ160とエンコーダ170と接続部に
対応する。フラグビットレジスタFBRを左側からFBR₁，F
BR²，FBR₃，…と呼ぶ。ネストレベルが１の時はFBR₁の
みが“1"で、他は“0"であるとする。^*印付きIDコード
を持つトークンがくると、ネストビットが“1"であるか
ら、ネストビットレジスタ125からNb＝１が端子401から
与えられる。LLコード読み出し時のタイミングで端子40
2からクロックCLKが与えられる。それによって、ゲート
165を介してFBR²にも“1"が設定される。

その結果、ゲート175は左から２番目のホットにな
り、エンコーダ170から出力されるネストレベルが１番
目（“00"）から２番目（“01"）に上がる。これがネス
トビットの上昇ケースである。さらにネストビット“1"
のトークンがくると、ネストレベルはさらに高くなる。
その時に、FBR₁，FBR²，FBR₃が次々と“1"になって行
く。一般に、FBR_iが“1"でFBR_i+1が“0"のときに、エン
コーダはｉ番目のネストレベルを出力する。ただし、ｉ
は1,2,3,…である。

FBR_iが“1"の時に比較器150がエンドアトレスとトー
クン読みだし位置との比較結果（マッチ信号）を出力し
た時に、“0"にもどる。その時にFBR_i-1が“1"のままで
あれば、エンコーダの出力するネストレベルはｉ−１番
目となる。

同時に、FBR_iとFBR_i-1が比較器150の出力するマッチ
信号によって“0"になった場合には、ネストレベルはｉ
−２番目まで下がる。FBR_iからFBR²迄がすべて“0"にな
った場合には、ネストレベルは当然、１番目に戻る。な
お、戻りのタイミングは、IDコードの直前のオクテット
の読み出し時とする。

入れ子ありトークンが連続する場合には、ネストレベ
ルが階段状に上昇し、上昇の都度、ネストレベル毎に割
り当てられたエンドアドレスレジスト140にエンドアド
レス（EA）が書き込まれる。そして、アドレス比較器15
0がマッチ信号を発信するときは、入れ子なしトークン
の最後のオクテット入力時であって、その時にフラグビ
ットレジスタ160がリセットされる。

第５図は入れ子型トークン列の検索動作の説明図であ
る。第３図（ａ）のトークンの列の中の検索条件にあっ
たトークンを読み出す検索動作を示している。トークン
を読み出す場合の内部アドレス発生回路135の発生する
トークン読み出し位置アドレスＡが横軸510で示され、
検索条件にあったトークンの読み出しのためのアクセス
回数が縦軸520で示されている。いくつかの検索例によ
って、トークンの属性比較でミスマッチのトークンがヘ
ッダ部以外で読み飛ばされ、アクセス回数が少なくて、
検索条件にマッチしたトークンだけが速く読み出される
ことが示される。

第５図（ａ）は検索条件としてネストレベルNL＝４と
IDコートのID6が与えられた場合の検索動作を示してい
る。この図からわかるように、読み出しアドレスＡは1,
2,3,4の後15,16,17,18,27,28,29,30と変化し、Ａが29の
時に始めて、IDとNLのマッチ信号が発生する。従って、
Ａが30から66まではマッチしたトークンの順次読み出し
のために発生される。これに合わせ、出力端子501から
バリッド信号が出る。これを見て、主記憶100から読み
出されるトークンが外部でブロトコル変換や内容検索な
どに利用されている。アクセス回数は48回である。全部
読み出す場合（66回）の約2/3である。不要なトークン
のボディー部が短い時には読み飛ばしの効果が少ない
が、長くなるにつれ、効果が大きくなる。

第５図（ｂ）は第３図（ａ）のトークンの中のヘッダ
部のみサーチの例である。検索条件としてヘッダ部のみ
の検索要求とIDコードのID6が与えられているとする。
故に、Ａは1,2,3,4,15,16,17,18,27,28,29,30となる。
Ａが29の時に、マッチ信号が出るが、Ａ＝31の時には、
出力端子502からバリッド信号が出力される。この時の
アドレス発生手段110の出力かマッチトークンのボディ
ー部アドレスを示すからである。これはプロトコル解析
やコンフォーマンステスト等に使われる。この時のトー
タルアクセス回数は12回であって、全体の約1/5とな
る。ボディー部の長いトークンの列の解析に有効とな
る。

第５図（ｃ）はネストレベルのみの指定によるトーク
ン列の検索例である。ネストレベルNLを３として検索す
る場合、NLが1,2,4のトークンについてはヘッダー部し
かサーチしない。すなわち、Ａは1,2,3,4,15,16,17と進
んだあとで、NLマッチが発生し、Ａが18から28までは１
つづつ増加する。その後はＡが30まで進んで、検索が終
了する。このような検索はマルチメディア文書データの
中のテキストデータのみを抜き出して検索するときとか
画像データのみを抜きだして表示するときとか、数値デ
ータのみを抜き出してソートする時などに使われる。ト
ータルアクセス回数は20回であって、全体の約4/13とな
る。

第５図（ｄ）はネストレベルのレンジ指定によるトー
クン列の検索例である。ネストレベル２以下のトークン
を検索する場合は、NLが１と２のトークンのヘッダ部を
サーチする。NLが２の入れ子ありトークンについてはそ
のトークンのボディ部がネストレベル３以上になると判
断し、ミスマッチと判定し、そのトークンをスキップす
ると。すなわち、Ａは1,2,3,4から15,16まで進むと、Ａ
は16に長さコードの値50と１を加えた67へスキップす
る。このような検索は文書情報の表題名や出版社名など
の上位概念で検索範囲を絞るときに使える。この場合の
トータルアクセス回数は16回であり、全体の約1/11と小
さくなる。これはハイパーテキストサーチにも有効であ
る。

第６図はトークンの列の読みだし位置アレス発生回路
の１構成例を示している。一般に、この部分はトークン
を構成するオクテットを順次に読み取り相対アドレスを
発生するためだけであれば、クロック信号の計数器（カ
ウンタ）によって実現される。本発明では、トークンの
ヘッダ部の解読でわかる属性を検索条件として指定され
た属性と比較して、ミスマッチであればそのトークンの
ボディ部をスキップするようにアドレスを発生する。す
なわち、長さコードが求まったときの読み出し位置アド
レスＡに１と長さコードを示す値Ｂを加えて、次のトー
クンの先頭アドレスを計算する。

第６図（ａ）は上記Ａと１とＢの加算を２個の２入力
加算器から成る３入力加算器で実現する場合を示してい
る。ネストビットNb＝１とか属性比較結果のZbがマッチ
（“1"）の時にはＢ＝０とする。そのためにスイッチ60
3が加算器601の入力側に入れられている。加算器602は
常に加算器601の出力に１を加算するだけである。その
ために＋１のホルダー回路が使われている。加算結果は
レジスタ604に保持され、加算器601にフィードバックさ
れると共に、端子608から出力される。

このような計算は最も単純な方法であるが、アドレス
信号が32ビット以上に及ぶと、加算器が500ゲート以上
となり、大きな面積を占めるだけでなく遅延時間も大き
くなるので、LSIチップとして実現するには最適と言え
ない。外部アドレス発生器やエンドアドレス計算回路の
所でも同じ加算器を使うので、加算器の個数を減らした
方が処理速度が上がり、チップコストが下がる。

第６図（ｂ）は加算器を１個だけで実現するトークン
列読みだし位置アドレス発生回路である。Ａ＋Ｂ＋１を
計算するに際し、１を端子609からキャリー信号として
受け付ける２入力加算器605を使う。前段のゲート603は
属性照合結果がマッチなら、Ｂを０とし、そうでなけれ
ばＢのままで受け付けるスイッチである。当然ながら、
加算器605の出力はレジスタ604にラッチされ、加算器60
5の入力にフィードバックされ、端子608から出力され
る。これによって属性マッチの時には次のオクテットが
アクセスされ、ミスマッチの時には現トークンのボディ
部の後のトークンの先頭がアクセスされる。

第６図（ｃ）のエンドアトレス計算回路を利用したト
ークン列の読みだし位置アドレス発生回路例である。Ａ
＋Ｂはヘッダ部の読み取りが終わるときに別のEA計算用
加算器607で必ず計算される。この加算器607の内容がデ
コーダ145を介してEAレジスタに設定される事に着目
し、デコーダ145がEAレジスタへ加算器607の内容を設定
した後、端子609から与えられるキャリー信号を使って
加算器607の値をインクリメントし、アドレスレジスタ6
04に設定する。それが次のオクテットの読みだし位置ア
ドレスになる。

すなわち、加算器607の出力をEAレジスタ140に設定す
る期間には、加算器606の入力段のゲート603はボディ長
さレジスタの値Ｂとアドレスレジスタ604の出力を加算
器に伝達する。EAレジスタへのEAの設定後は、デコーダ
145が切り替わり、スイッチ603は、属性照合結果がミス
マッチなら閉じられて、Ｂがそのまま加算器607に入力
される。マッチの時にはスイッチ603がオープンとな
り、Ｂ＝０が加算器607に入力される。このスイッチと
同じタイミングでキャリー信号１が加算器に入力され、
加算器607の出力は次のトークンの読みだし前にアドレ
スレジスタ604に設定される。

結果としての回路構成は第６図（ｂ）と余り変わらな
いが、エンドアドレス計算用の加算器を使わない分、加
算器の使用数が１つ減る。第６図（ａ）ではアドレス発
生に関係して少なくとも４個の加算器を使うが、第６図
（ｂ）では３個、第６図（ｃ）では２個を使うだけで良
くなる。

第７図はトークンの読みだしの順序制御回路の実施例
の説明である。第７図（ａ）が順序制御回路の状態遷移
図を示し、第７図（ｂ）がそれを実現する回路図を示
す。

第７図（ａ）においては、トークンの読みだしに伴う
状態変化が示されている。丸750は状態ノードを示し、
それらを結ぶ矢印線755は状態遷移パスを示す。状態ノ
ード間の状態遷移は矢印線755に沿って記入された条件
式が満足されたときに、矢印の方向への状態遷移が起こ
る。最初の状態はS0である。この状態になるとトークン
の先頭オクテットの読みだし位置アドレスが発生され、
第１オクテットのIDコードが読み出される。それを読み
取ると、状態はS1のS2の２通りがある。状態S1はIDコー
ドのネストビットNbが０の時であり、S2はNbが１の時で
ある。

次に、S1またはS2の状態ではトークンの第２オクテッ
トを読み出すアドレスが発生され、LLコードが読み出さ
れる。LLコードが読み出され、７ビット目の短形式か長
形式を示すLbと属性照合結果のZbが受けられると、状態
はノードS1やS2からS0に戻る以外にS3,S4,S5の３状態へ
の遷移が考えられる。S1からS0やS2からS0への遷移はLL
コード７ビット目が“0"で短形式であり属性照合がミス
マッチの時に起こり、S1からS3への状態遷移は短形式で
属性マッチの時に起こる。長形式のときには、S1からS4
への遷移とS2からS5への遷移が起こる。長形式の後Ｌコ
ードがＤ個続くとき、（Ｄ−１）回のＬコード受付が終
わるまでS4やS5の状態はそこに留まる。Ｄ回目のＬコー
ド受付時に状態はS4からS6へ、S5からはS0へ進む。状態
S6はボディ部データ受付の状態であり、ボディ部の長さ
をＢとると、（Ｂ−１）回のデータ読み出し迄は状態が
S6にとどめられる。Ｂ回目のデータ読み出しで、状態が
S6からS0へ戻る。状態S5ではデータが来ないので、長さ
Ｂが求まるとS0に戻ってしまう。

第７図（ｂ）はネストビット信号Nb、長さの形式信号
Lb、属性マッチ信号Zbの３レジスタ701,702,703と、状
態ノードS0から遷移先状態ノードまでの距離の計数器70
5と、状態ノードのデコーダ707とデコーダ707の出力に
したがうクロック信号の制御ゲート709とから構成され
る順序制御回路710の説明図である。この中のゲート709
の出力が第１図で示した回路を含む被制御回路730に送
られる。クロック信号は端子722から与えられるが、AND
ゲート725で制御される。すなわち、ビジーフラグレジ
スタ7120が端子721から与えられたスタート信号によっ
て“1"にセットされていれば、クロック信号を通過させ
るが、“0"へリセットされた後では通過されない。リセ
ット信号は１連の検索動作が終わったときに、被制御回
路730から発せられる。エンドアドレスレジスタやアド
レスレジスタの内容は保持したままで、状態をノードS0
に戻すことである。このリセット信号はトークン毎に発
生される場合もあり得る。

被制御回路730の中のヘッダ保持手段120ではそこに含
まれる各種レジスタへのデータの設定やＬコードやボデ
ィ長さのカウンタの更新タイミングパルスが順序制御回
路710から与えられる。

距離計数器705は被制御回路での１クロック分の動作
が終わると、終了の信号（状態遷移信号）をORゲート70
6を介して受付けて、計数値のカウントアップを行う。
また、被制御回路730での一連の動作が終わると、そこ
からリセット信号を受ける。それによって初期状態に戻
る。状態ノードの遷移信号をORゲート706を介して受け
付ける。ORゲート706の使用の理由は、状態ノードが分
岐している事による。

例えば、レジスタ701から703がすべて０で、距離計数
器705も00の時は状態がS0であり、デコーダ707が第１番
がホットになる。したがって、クロック信号はゲート70
9を通して第１番目から出力される。それが被制御回路7
30とORゲート706を介して距離計数器705を01に変化させ
る。これと共に、IDコードら読み出されたNbが変わる。
それによっ選択されたデコーダ707とゲート709から２番
目のクロック信号が出力され、第２オクテットのLLカウ
ンタとＬコードレジスタへの設定を実行し、かつ、ORゲ
ート706を介して距離計数器705をカウントアップする。
状態遷移図に従って、次々と、デコーダの入力と出力が
変化する。

第８図は属性照合手段の回路構成図の一例を示してい
る。属性照合手段は検索条件メモリ106から与えられる
検索要求とヘッダ保持手段120やNL出力レジスタ175から
与えられる属性データとの比較を行う部分であって、第
１図では属性比較器115によって実現されると説明され
たが、ここでは、もう少し詳細を説明する。

検索条件はIDコードやネストレベル（NLコード）で与
えらるが、その他に、トークン列の検索がヘッダ部に限
られること示すヘッダ要求信号のレジスタ801で与えら
れるとする。これは第５図（ｂ）に示されるようなトー
クン列検索で使われる。従って、属性データもIDレジス
タ121やNL出力レジスタ175から与えられる他に、読み出
されているオクテットがヘッダ部に属している事を示す
ヘッダ信号の検出器802から与えられるとする。

故に、属性検出手段では、少なくとも３つの比較器81
0が使われる。すなわち、第１がヘッダ要求信号とヘッ
ダ信号の比較器であり、第２が要求IDコードとIDコード
の比較器であり、第３が要求NLコードとNL出力コードの
比較器である。

属性のマッチ信号Zbは常に３つの比較器の出力論理積
とは限らない。第５図で示したように、検索条としてNL
コードのみとか、IDコードのみを指定する。あるいは、
IDやNLコードを指定しないで、ヘッダ部全ての検索を指
定する場合がある。そこで、マスクビットパターンを記
憶するコマンドレジスタ105を使い、検索条件に含めな
い比較器810の出力をマスクする。

いま、ｉ番目の比較器810の出力信号をy_iとし、コマ
ンドレジスタ105から与えられるｉ番目のマスクビット
をm_iとすると、属性のマッチ信号Zbは次式化で与えられ
る。

Zb＝（yi＋mi）（２）ここに、＋は論理和を表すとする。

従って、マッチ信号Zbは比較器810につながるORゲート8
20と全てのORゲートの出力の論理積を求めるANDゲート8
25から出力される。

この実施例の中では、NLのレンジサーチの場合を示し
ていないが、要求NLとNLの出力信号の比較器810の出力
を比較の完全一致の端子からでなく大小比較の端子から
切り替えるだけで、要求NL以下のNLを持つトークンを選
択するように出来る。さらに、比較器810を増やして
も、もっと色々な属性の比較結果を出せるようにするこ
とも可能であり、以上の記述だけで検索条件の設定範囲
が制限されるものではない。

（発明の効果）以上に説明したように、本発明は、主記憶に格納され
たトークン列のネストレベルやIDコード等の属性をトー
クン毎に解読してから、属性を使ってトークン列を検索
する２重手間によってトークン列の検索処理速度を遅く
なる欠陥を容易に解決するとわかる。すなわち、トーク
ン列のヘッダ部の解読と検索を行うことによって、ヘッ
ダ部でミスマッチとなったトークンのボディ部の読み飛
ばしを行え、検索条件にマッチするトークンの読みだし
のための主記憶アクセス回数が全トークン列読み出しの
アクセス回数の数分の１に減る。この事が検索時間を短
縮させる。

情報処理機器のホストコンピュータ側でのソフトウエ
アでネストレベル検出を行わせる時には処理速度が1MB/
secであっても、ネストが64レベルになると、ワースト
ケースであるが、処理速度が16KB/secに下がる。しか
し、ネストレベルを常に判別するハードウエアを内蔵さ
せたことで、ネストレベルが常に出力され、それによっ
て、トークンの検索がトークンの入力と同時に達成され
る。すなわち、1MB/secの検索処理速度が確保される。
それだけでなく、不要トークンの読み出しをスキップす
るために、実質の検索処理速度は数MB/s以上に上がる。
しかも、この装置はネストレベルが32から64に及んでも
２万ゲート以下のゲートアレイで設計できるので、現在
のLSI技術レベルでも、容易に１個のLSIチップで実現さ
れる。

【図面の簡単な説明】

第１図（ａ），（ｂ）は本発明の実施例の装置構成図、
第２図は入れ子（ネスト）構造のトークン列の説明図、
第３図はネストレベルの計算プロセスの説明図、第４図
はネストレベル判別回路の１実施例を示す図である。第
５図はトークン列の検索動作の説明図、第６図は読み出
し位置アドレス発生回路の１実施例を示す図、第７図
（ａ），（ｂ）各々トークン読み出しの順序制御回路の
状態遷移図と、それを実現する回路図、第８図は属性照
合手段の１例を示す図である。図において、100…トークン列バッファメモリ、101…開
始アドレスレジスタ、102…サイズレジスタ、103…要求
IDレジスタ、104…要求NLレジスタ、105…コマンドレジ
スタ、106…検索条件メモリ、110…外部アドレス発生
器、115…属性比較器、120…ヘッダ保持手段、121…ID
コードレジスタ、122…長さコードレジスタ、125…ネス
トビットレジスタ、130…エンドアドレス計算回路、135
…内部アドレス発生回路、140…エンドアドレスレジス
タ、145…デコーダ、150…アドレス比較器、160…フラ
グビットレジスタ、162,165…ANDゲート、170…エンコ
ーダ、175…NL出力レジスタ、190…ネストレベル判別回
路。

フロントページの続き (56)参考文献電子情報通信学会技術研究報告ＣＰＳＹ 90−91（1991−１−25）Ｐ．17〜24 情報処理学会第40回（平成２年前記）全国大会講演論文集Ｐ．1245−1246

Claims

【特許請求の範囲】

【請求項１】トークン列の記憶手段と、検索条件保持手
段と、前記記憶手段をアクセスするために初期アドレス
にトークンの読み出し位置アドレスを加算して出力する
外部アドレス発生手段と、各トークンの先頭のIDコード
や長さコードを検出して保持するヘッダ保持手段と、ID
コードからのネストビット検出手段と、IDコードやネス
トレベルなどの属性照合手段と、照合結果と長さコード
と長さコード読みだし位置によって次に読み出されるト
ークンの読み出し位置を決め、アドレス発生手段に与え
るトークン列の読み出し位置アドレス計算手段と、長さ
コードとそのコードの読み出し位置を使って、各トーク
ンのエンドアドレスを計算するエンドアドレス計算手段
と、エンドアドレスをネストレベル別に記憶するエンド
アドレス保持手段と、前記トークン列の読み出し位置と
前記エンドアドレスとアドレス比較手段と、ネストビッ
トによってシフトアップされ、アドレス比較手段のマッ
チ出力によってリセットされ、シフトダウンするフラグ
ビット保持手段と、複数個のフラグビット保持手段につ
ながるネストレベルエンコード手段とネストレベル出力
レジスタとを備えることを特徴とする入れ子型トークン
列の検索装置。
【請求項２】トークン列の記憶手段と、検索条件保持手
段と、前記記憶手段をアクセスするために初期アドレス
にトークンの読み出し位置アドレスを加算して出力する
外部アドレス発生手段と、各トークンの先頭のIDコード
や長さコードを検出して保持するヘッダ保持手段と、ID
コードからのネストビット検出手段と、IDコードやネス
トレベルなどの属性照合手段と、長さコードと長さコー
ド読みだし位置の加算によってトークンのエンドアドレ
スを計算するエンドアドレス計算手段と、エンドアドレ
スをネストレベル別に記憶するエンドアドレス保持手段
と、前記トークン列の読み出し位置と前記エンドアドレ
スとアドレス比較手段と、IDコードを受信したヘッダ保
持手段の出力するネストビットによってシフトアップさ
れ、アドレス比較手段の出力によってリセットされ、シ
フトダウンするフラグビット保持手段と、複数個のフラ
グビット保持手段につながるネストレベルエンコード手
段とネストレベル出力レジスタと、属性照合手段がミス
マッチを出し、ネストビットが０てある時にはエンドア
ドレスに１を加え、そうでないときは、現在の読みだし
位置アドレスに１を加えて、アドレス発生手段に与える
トークン列の読みだしアドレス発生手段とを備えること
を特徴とする入れ子型トークン列の検索装置。
【請求項３】トークン列の読み出し位置アドレス計算手
段が現在の出力に１と長さコードを加算する３入力加算
器で実現され、属性照合手段の出力がミスマッチでかつ
ネストビットが０の時以外は長さコードの代わりに０を
与える事を特徴とする請求項１に記載の入れ子型トーク
ン列の検索装置。
【請求項４】トークン列の読み出し位置アドレス計算手
段が、現在の出力に長さコードを加算する加算器であっ
て、キャリー信号によって１が加算されることを特徴と
する請求項１に記載の入れ子型トークン列の検索装置。
【請求項５】トークン列の記憶手段と、前記記憶手段を
アクセスするために初期アドレスと相対的なトークン読
み出し位置アドレスを加算するアドレス発生手段と、検
索条件保持手段と、外部クロックに従ってタイミングシ
ーケンスを発生する順序制御手段と、前記タイミングシ
ーケンスによって各トークンの先頭のIDコードや長さを
検出して保持するヘッダ保持手段と、IDコードからのネ
ストビット判定手段と、前記検索条件保持手段の内容に
従って比較内容を限定するトークンの属性照合手段と、
長さコードと長さコードの読みだし位置の加算によって
トークンのエンドアドレスを計算するエンドアドレス計
算手段と、エンドアドレスをネストレベル別に記憶する
エンドアドレス記憶手段と、全エンドアドレスと現在の
トークンの読み出し位置アドレスとの並列比較結果とネ
ストビットから次のトークンのネストレベルを判定する
ネストレベル判定手段と、ネストレベル出力レジスタ
と、属性照合手段のミスマッチ信号と０のネストビット
信号の時にはトークン列の読み出し位置に１と長さコー
ドを加算し、それ以外の時には１だけを加算するトーク
ン列の読みだし位置アドレス手段とを備えることを特徴
とする入れ子型トークン列の検索装置。
【請求項６】検索条件保持手段がIDコードとネストレベ
ルとボディーサイズとトークン列記憶手段の検索開始ア
ドレスと検索されるトークン列のサイズと検索コマンド
のいずれかを保持するレジスタから成り、検索コマンド
が比較の対象にしない項目を指示するビットパターンで
ある事を特徴とする請求項1,2または５に記載の入れ子
型トークン列の検索装置。