JPH05181719A - 可変長データの格納および参照システム - Google Patents

Abstract

(57)【要約】 【目的】 可変長データの格納および参照において、高
速のアクセスを可能にするとともに、データの容量を小
さくする。 【構成】 可変長データＤ１を格納部１６に順次格納す
るとともに、ＩＤ割当部１２においてそれぞれのデータ
のＩＤを割り当て、ＩＤ格納位置対応表１４にデータの
ＩＤとその格納位置を対応させて格納する。参照時に
は、ＩＤ割当部１２からデータのＩＤを送ってＩＤ格納
位置対応表１４によりデータの格納位置を求め、データ
をデータ格納部１６から読み出す。データの格納位置を
即座に求めることができるから、高速でアクセス可能で
ある。また、データを可変長のまま記憶できるから、ダ
ミーデータの付加によるデータ容量の増加を防ぐことが
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、可変長データの格納お
よび参照システムに関し、特にデータベースから必要な
情報を取り出すためのデータベース検索システムにおい
て検索されるデータが可変長データである場合のそのデ
ータの格納および参照システムに関する。

【０００２】

【従来の技術】従来、データベースへのデータの格納お
よび参照（アクセス）の高速化を図るものとしては、全
レコードを固定サイズ、たとえばＬバイトの長さとする
方法が知られている。この方法によれば、たとえばｎ番
目のレコードにアクセスするときには、ファイルの先頭
からｎ×Ｌバイトの位置を読み出しにいけばよいから、
格納位置の指定を高速で行うことができる。しかしなが
ら、この方法では、レコードサイズを一定にするため、
所定のサイズに満たないデータについては無意味なダミ
ーの文字を加える必要があり、一般にデータサイズが大
きくなってしまうという欠点がある。

【０００３】これに対して、可変長データを連続して記
憶媒体に書き込んでゆく方法によれば、上記のように無
意味なダミーの文字を加える必要はなく、データサイズ
が膨らんでしまうことはない。しかし、この方法によれ
ばデータのサイズがそれぞれ異なるため、アクセス時に
は順番にレコードを参照しなければならず、参照（格
納）位置を即座に得ることができない。したがって、ア
クセス速度が遅くなるという欠点がある。

【０００４】

【発明が解決しようとする課題】上記のように、従来の
可変長データの格納および参照方法は、データサイズが
大きくなるか、またはアクセス速度が遅くなるというい
ずれかの欠点を有していた。

【０００５】本発明は、上記のような従来の欠点を解消
し、データサイズを小さくし、しかもアクセス速度を高
速にすることのできる可変長データの格納および参照シ
ステムを提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明の可変長データの
格納および参照システムは、可変長データを順次記憶す
る記憶手段と、記憶手段に記憶される可変長データにＩ
Ｄ番号を割り当てるＩＤ割当手段と、可変長データの記
憶手段における格納位置を、ＩＤ割当手段により割り当
てられたＩＤ番号に対応させて記憶する格納位置記憶手
段とを具備する。

【０００７】

【作用】本発明によれば、データの格納時には記憶され
るデータのＩＤ番号および格納位置を格納位置記憶手段
に記憶し、データの参照時には格納位置記憶手段からデ
ータの格納位置を読み出して記憶手段にアクセスする。
したがって、データの格納位置を即座に得ることができ
るから、記憶手段に高速でアクセスすることができる。
また、データを固定長にするためにダミーデータを付け
る必要がないから、記憶されるデータの量を少なくし、
記憶媒体の容量を小さくできる。

【０００８】

【実施例】図１には、本発明によるシステムの一実施例
が示されている。同図に示すように、可変長データの格
納時には、データＤ１は記憶媒体のデータ格納部１６
に、データＡ、データＢ、データＣの順に書き込まれ
る。図１に示す例では、データＡ、データＢの長さは１
００、４０である。したがって、ＩＤ格納位置対応表１
４に示すように、データＡは格納位置０、データＢは格
納位置１００、データＣは格納位置１４０に、それぞれ
書き込まれ、その書き込まれた位置がＩＤ格納位置対応
表１４に記憶される。

【０００９】データＤ１はまた、ＩＤ割当部１２に送ら
れ、データの通番（ＩＤ）が割り当てられる。データの
通番（ＩＤ）は、ＩＤ格納位置対応表１４に示すよう
に、データごとに与えられる通番である。本例では、デ
ータＡ、データＢ、データＣに１、２、３がそれぞれＩ
Ｄとして与えられる。割り当てられたデータのＩＤはＩ
Ｄ格納位置対応表１４に送られ記憶される。

【００１０】このようにしてデータＤ１の格納時にはデ
ータＤ１がデータ格納部１６に格納されるとともに、デ
ータＩＤおよびそのデータの格納位置がＩＤ格納位置対
応表１４に記憶される。

【００１１】可変長データの参照（読み出し）時には、
参照要求のあったデータまたはそのＩＤがＩＤ割当部１
２に送られ、ＩＤ割当部１２からこのデータのＩＤが出
力される。データのＩＤはＩＤ格納位置対応表１４に送
られ、ＩＤ格納位置対応表１４から格納位置が出力され
る。出力された格納位置に基づき、データ格納部１６か
らデータが読み出され、データ一時格納部１８に格納さ
れる。データ一時格納部１８に格納されたデータは、操
作者の要求に応じてＣＲＴなどの出力部に出力され、参
照される。

【００１２】ＩＤ割当部１２およびデータ一時格納部１
８は高速でアクセス可能な記憶媒体によって構成され、
ＩＤ格納位置対応表１４およびデータ格納部１６は低速
でアクセス可能な記憶媒体によって構成される。したが
って、データが記憶されるデータ格納部１６は低速でア
クセスする安価な記憶媒体によって構成されているか
ら、データ格納部１６の容量を充分大きくすることがで
きる。また、ＩＤ割当部１２およびデータ一時格納部１
８は高速でアクセス可能な記憶媒体によって構成されて
いるから、データの記憶時におけるＩＤの割り当て、お
よびデータ格納部１６から読み出されデータ一時格納部
１８に格納されたデータの参照は高速で行うことができ
る。

【００１３】本実施例によれば、上記のように可変長デ
ータの格納時には、データＤ１がデータ格納部１６に格
納されるとともに、それぞれのデータに割り当てられた
ＩＤおよびそのデータの格納位置がＩＤ格納位置対応表
１４に記憶される。参照（読み出し）時には、参照要求
のあったデータがＩＤ割当部１２に送られ、ＩＤ割当部
１２からこのデータのＩＤが出力されてＩＤ格納位置対
応表１４に送られ、ＩＤ格納位置対応表１４から格納位
置が出力され、出力された格納位置に基づき、データ格
納部１６からデータが読み出される。

【００１４】したがって、ＩＤ格納位置対応表１４に記
憶されたデータＩＤとデータの格納位置との対応を用い
てデータの格納位置を読み出すから、レコードへのアク
セス位置を即座に得ることができ、データの読み出し
（検索）を高速で行うことができる。

【００１５】また、データの記憶時にレコードサイズを
一定にする必要がなく、データにダミーデータを加える
ことがないため、記憶されるデータの量が大きくなる欠
点もない。

【００１６】本発明による可変長データの格納および参
照システムは、各種の可変長データの格納および参照に
適用できる。たとえば次のようなデータ検索システムに
おけるデータの格納および参照に適用できる。

【００１７】図２は、本発明が適用される一実施例を示
す近傍特徴量によるパターン検索システムのデータフロ
ー図である。この検索システムでは、予め全対象物件か
ら事象（情報）の位相情報を全て捨象した近傍特徴量を
作成し、そのデータ群に対して全物件検索を行なう。検
索のアルゴリズムは、学習ステップと検索ステップとか
らなる。学習ステップでは、物件毎に近傍特徴量行列が
作成される。検索ステップでは、検索キーと近傍特徴量
行列とのマッチング演算が行なわれ、物件ごとにマッチ
ング度（類似度）を示す評価結果を得る。以下、各ステ
ップについて説明する。

【００１８】（１）、学習ステップ 図２に於いて、検索対象１０は、例えば日本語、英語、
ドイツ語、フランス語、ヘブライ語、ロシア語などの文
書データ、或いは量子化された波形数値データ、化学構
造式、遺伝子情報などである。このような検索対象に対
して、まず正規化手段Ｓ１により正規化の処理を行な
う。一般に検索対象は、情報の最小単位（文書であれば
アルファベットなどの文字、数値チャートであれば、あ
る時刻における実数値など）の列で表現されている。そ
れをなんらかの方法でｎ階調の整数列に変換する。これ
をデータの正規化と呼ぶ。

【００１９】例えば、英文書データの場合、ＡＳＣＩＩ
コード表をそのまま用いることにより、次のような２５
６階調の数値表現として実現される。 …… This is a pen. …… 84｜104 ｜105 ｜115 ｜32｜105 ｜115 ｜32｜97｜32｜
112 ｜101 ｜110 ｜46｜

【００２０】上記のコードにおいては、Ｔが84、ｈが10
4 ．．と対応している。

【００２１】正規化されたデータ２０は、次に学習手段
Ｓ２により近傍特徴量行列３０の形式に畳込まれる。こ
こで近傍特徴量をとる演算式は種々考えられる。この演
算式は検索の鋭さ（過検出の少なさ）にも影響を与え
る。

【００２２】今、ｉ番目の物件（文書）のｊ番目のデー
タ（文字）をＣ_i,j とし、Ｃ_i,j に関する量子化量ｘと
Ｃ_i,j の前方ｋ近傍に関する量子化量ｙを次のようにし
て求める。ここでは、検索される対象物件（文書）がｎ
個あるとし、そのうちのｉ番目の物件の量子化について
説明する。ｉ番目の物件において、図３に示すように正
規化された数値列135,64,37,71,101,...が並んでいると
すると、Ｃ_i,j に関する量子化量ｘは、 ｘ＝f(Ｃ_i,j ） Ｃ_i,j の前方ｋ近傍に関する量子化量ｙは ｙ＝g(Ｃ_i,j , Ｃ_i,j+1,Ｃ_i,j+2,...., Ｃ_i,j+k ) で求められる。

【００２３】ここで、f(Ｃ_i,j ）はＣ_i,j に関するｎ段
階量子化関数である。すなわち、ｉ番目の物件のｊ番目
のデータＣ_i,j について所定の演算を行って得られる値
であり、１〜ｎのいずれかの整数で表される。したがっ
て、得られたｘの値によって図４に示す行列（座標）に
おいてｘ軸方向の位置が１〜ｎの範囲で定まる。

【００２４】また、g(Ｃ_i,j , Ｃ_i,j+1,Ｃ_i,j+2,....,
Ｃ_i,j+k ) は、Ｃ_i,j の前方ｋ近傍に関するｍ段階量子
化関数である。すなわち、ｉ番目の物件のｊ番目のデー
タＣ_i,j とそのデータの近傍の所定の数のデータについ
て所定の演算を行って得られる値であり、１〜ｍのいず
れかの整数で表される。たとえば図３に示すようにｊ番
目のデータＣ_i,j が１３５であり、ｋが３の場合には、
Ｃ_i,j+1,Ｃ_i,j+2,Ｃ_i,j+3 としてデータ１３５に続くデ
ータ６４、３７、７１を抽出し、これらのデータとデー
タ１３５との相関について所定の演算を行う。ｊ番目の
データＣ_i,j が次の６４の場合には、Ｃ_i,j+1,Ｃ_i,j+2,
Ｃ_i,j+3 としてデータ６４に続くデータ３７、７１、１
０１を抽出し、これらのデータとデータ６４との相関に
ついて所定の演算を行う。

【００２５】このようにして得られたｙの値によって、
図４に示す行列（座標）におけるｙ軸方向の位置が１〜
ｍの範囲で定まる。したがって、上記のようにｘ、ｙを
求めることによって図４に示す行列（座標）における位
置が定まる。

【００２６】本システムでは、各物件情報は、上記のよ
うにして求めたｘ、ｙに対して物件の通番ｉと重みｗ
（x,y,i)の組として記憶される。重みｗ（x,y,i)は、デ
ータｘ、ｙ、ｉから所定の演算によって求められるが、
通常は重みｗ（x,y,i)の値は１に固定される。

【００２７】上記のようにして求められたデータＣ_i,j
ごとにｘ、ｙの値に基づき図４に棒によって示されるよ
うに、データを記憶する。すなわち、データＣ_i,j の
ｘ、ｙの値によって定められる座標の位置に、その物件
の通番ｉとその重みｗ（x,y,i)を組みとしたデータを記
憶する。同図ではこのようなデータが記憶されるごとに
棒の長さが延びるように表されている。通常は重みｗ
（x,y,i)は１とされるから、物件の通番ｉのデータのみ
がｘ、ｙの値によって定められる座標の位置に記憶され
てゆく。

【００２８】この様にして作成された近傍特徴量行列に
物件の識別番号を付加して構造ファイル４０として保存
する。

【００２９】（２）、検索ステップ まず検索キー５０を入力する。例えば、"This is a pe
n."を検索キーとする。この検索キー５０に対して学習
ステップと同一の正規化方法に基づく正規化手段Ｓ３に
よりキー情報を整数列に正規化する。 84｜104 ｜105 ｜115 ｜32｜105 ｜115 ｜32｜97｜32｜
112 ｜101 ｜110 ｜46｜

【００３０】次に、検索手段Ｓ４において、学習ステッ
プと同一の近傍特徴量抽出式f() 、g() を用いて各物件
に対応する正規化された数値列の先頭からｘ、ｙの組の
系列を作成する。次に、このｘ、ｙの組の系列に基づい
て、物件ｋに対する検索キーの含有度数ω_k として、Ｖ
（ｘ_j,ｙ_j,ｋ）をｊ＝１〜ｍについて合計することによ
り算出する。

【００３１】ただし、Ｖ（ｘ_j,ｙ_j,ｋ）は、物件情報リ
ストが物件ｉについての重みを持つ場合、はその重みに
等しく、持たない場合には０と定める。

【００３２】したがって、検索すべき数値列のｘ、ｙの
組に対応する図４のｘ、ｙの位置にデータがある場合
（棒がある場合）には、別に設けられた記憶手段のその
データに示される物件の通番ｉの格納箇所にその重みの
値を記憶させる。

【００３３】次に、評価結果出力手段Ｓ５において、物
件毎に得られた構造評価値score （合致度）を完全一致
の場合の評価値（この場合は、検索キー情報の文字数−
ｋ）で割って、検索キーの含有確率を求め、評価結果の
リスト７０を得る。更にソート手段Ｓ６において、この
リスト７０を含有確率の降順にソートしソート済みリス
ト８０を得る。

【００３４】このソート済みリスト８０が検索結果であ
り、その上位物件を参照することにより、検索キーが物
件中に含まれている確率が高い物件名を知ることができ
る。含有確率は、完全一致及び不完全一致の全てについ
て求まるから、あいまい一致検索を行なうことができ
る。

【００３５】また、検索キーの全情報についての全物件
探索であるから、検索もれが発生する確率は、本質的に
零であると言う特徴がある。

【００３６】また、１つの物件に対する検索キーの評価
時間は、キーの文字数のみに依存し、物件の大きさには
依存しない。従って、非常に高速に検索を行なうことが
できる。

【００３７】このようなデータ検索システムにおいて、
上記のような可変長データの格納および参照方法を用い
ることにより、データへのアクセスを高速で行うことが
できるとともに、記憶容量を節約することができる。

【００３８】また検索結果のリストどうしの論理演算を
行うことにより、検索条件に対するＡＮＤ、ＯＲなどの
検索演算処理も高速に実行できる。式（１）の近傍特徴
量抽出式は上述の例の他に種々考えることができる。例
えば、 f: x→x g: (x,y)→x-y （または｜x-y ｜） とすれば、隣接文字及び一つ置きの文字の差分（または
差分の絶対値）を近傍特徴量として近傍特徴量行列を作
ることができる。また幾つかの文字列の個々の文字整数
値に対し四則演算を施すことにより近傍特徴量を取り出
してもよい。

【００３９】自己相関情報は、各物件の全データを対象
とし取り出さなくてもよい。例えば、物件データ中の特
定の一つまたは一つ以上の整数値、特定の範囲の整数
値、或いはデータ列を構成する各バイト中の特定の１つ
または一つ以上のビットを除外して近傍特徴量を作成
（抽出）してもよい。また日本語文書のように２バイト
文字で構成されている場合には、例えば上位バイトを除
外して下位バイトを対象として自己相関情報を取り出し
てもよい。

【００４０】上述の例では、近傍特徴量行列は、２５６
次のビット行列であり、これは８Kバイトに相当する。
従って、１物件のデータが１K バイト程度であるデータ
ベースでは、効率のよいシステムであるとは言えない。
そこで上記のようなデータ圧縮手段Ｓ７を設けてデータ
圧縮を行なって構造ファイル４０の容量を減らすのがよ
い。

【００４１】図５にデータ圧縮法の一例を示す。この例
では、２５６次の自己相関行列の各要素毎に要素値が１
である物件名４０ａ（識別コード）を１バイト／件のデ
ータ列として蓄積する。従って、要素値が０である物件
名は不要データとして除外する。

【００４２】物件数が２５５個以上ある場合には、物件
名４０ａは１バイトで表せないので、下位の１バイトの
みを蓄積する。例えば、物件数が１万件の場合、物件名
は２バイトで表されるが、そのうちの下位１バイトを使
用する。そして物件名コードが２５５を越える毎にデー
タ列にマーカ４０ｂを挿入する。

【００４３】検索時には、検索キーの近傍特徴量の各々
に該当する構造ファイルのデータ列を取り出し、物件名
毎の出現度数テーブルを作成する。この際、マーカ４０
ｂを越える毎に物件名コードに２５５を加える。このよ
うにして作成した出現度数テーブルに基づいて図２の評
価結果リスト７０が得られる。

【００４４】なお物件名コードのデータ列が例えば全物
件中の半分以上ある場合には、その近傍特徴量行列要素
は各物件について共通であると見なして、その要素を削
除してもよい。

【００４５】上述の実施例において，正規化手段Ｓ１、
学習手段Ｓ２、正規化手段Ｓ３、検索手段Ｓ４、評価結
果出力手段Ｓ５、ソート手段Ｓ６、データ圧縮手段Ｓ７
は、コンピュータプログラムによって構成することがで
きるが、論理回路素子を用いて専用のハードウエアを構
成してもよい。

【００４６】

【発明の効果】本発明のシステムによれば、データの格
納位置を即座に求めることができるから、記憶されたデ
ータに高速でアクセスすることができる。また、データ
を固定長のブロックにする必要がないのでダミーデータ
が不要となり、記憶容量を小さくすることができる。

【図面の簡単な説明】

【図１】本発明による可変長データの格納および参照シ
ステムの一実施例のデータフロー図である。

【図２】本発明による格納および参照システムを適用す
るデータベース検索システムのデータフロー図である。

【図３】近傍情報の量子化を示す図である。

【図４】記憶される情報構造を示す図である。

【図５】圧縮された近傍特徴量のデータ構成図である。

【符号の説明】

１０ 検索対象 １２ ＩＤ割当部 １４ ＩＤ格納位置対応表 １６ データ格納部 １８ データ一時格納部 ２０ 正規化データ ３０ 自己相関行列 ４０ 構造ファイル ５０ 検索キー ６０ 正規化キー ７０ 評価結果リスト ８０ ソート済みリスト Ｓ１ 正規化手段 Ｓ２ 学習手段 Ｓ３ 正規化手段 Ｓ４ 検索手段 Ｓ５ 評価結果出力手段 Ｓ６ ソート手段 Ｓ７ データ圧縮手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 可変長データの格納および参照システム
   において、 可変長データを順次記憶する記憶手段と、 前記記憶手段に記憶される可変長データにＩＤ番号を割
   り当てるＩＤ割当手段と、 前記可変長データの前記記憶手段における格納位置を、
   前記ＩＤ割当手段により割り当てられた前記ＩＤ番号に
   対応させて記憶する格納位置記憶手段とを具備し、 データの格納時には記憶されるデータの前記ＩＤ番号お
   よび格納位置を前記格納位置記憶手段に記憶し、データ
   の参照時には前記格納位置記憶手段からデータの格納位
   置を読み出して前記記憶手段にアクセスすることを特徴
   とする可変長データの格納および参照システム。
2. 【請求項２】 前記システムはさらに、前記記憶手段か
   ら読み出されたデータを一時的に格納する一時格納手段
   を具備することを特徴とする請求項１の可変長データの
   格納および参照システム。
3. 【請求項３】 検索対象の物件毎にその自己相関情報を
   記憶した記憶手段と、 検索キーの近傍特徴量と検索対象の上記近傍特徴量との
   合致度を物件毎に求め、物件番号を合致度の降順に出力
   する検索手段とを具備するデータベース検索に用いられ
   ることを特徴とする請求項１の可変長データの格納およ
   び参照システム。
4. 【請求項４】 検索対象のｉ番目の物件のｊ番目のデー
   タ列Ｃ_i,j に関する量子化量ｘとその近傍のｋ個のデー
   タ列Ｃ_i,j+1,Ｃ_i,j+2,...., Ｃ_i,j+k に関する量子化量
   ｙとを ｘ＝f(Ｃ_i,j ） ｙ＝g(Ｃ_i,j , Ｃ_i,j+1,Ｃ_i,j+2,...., Ｃ_i,j+k ) によって求め、得られたｘ、ｙの値に基づいて定められ
   る記憶手段の位置にその物件の通番ｉを記憶するデータ
   ベース検索に用いられることを特徴とする請求項３の可
   変長データの格納および参照システム。