JP5499369B2

JP5499369B2 - 情報検索装置、情報検索方法及び情報検索プログラム

Info

Publication number: JP5499369B2
Application number: JP2011022790A
Authority: JP
Inventors: 武井上; 浩史佐藤; 敬広山崎; 博之森川; 潤一郎高木; 超高
Original assignee: Nippon Telegraph and Telephone Corp; University of Tokyo NUC
Current assignee: Nippon Telegraph and Telephone Corp; University of Tokyo NUC
Priority date: 2011-02-04
Filing date: 2011-02-04
Publication date: 2014-05-21
Anticipated expiration: 2031-02-04
Also published as: JP2012164063A

Description

本発明は、データベースに蓄積された情報を効率よく検索する情報検索装置、情報検索方法及び情報検索プログラムに関する。

近年の計算機の進歩により、数値の検査・比較演算は非常に高速化されている。一方、ハードディスクなどの記憶装置から情報を読み取る読み取り速度は、演算速度に比べると大きく劣るため、データベースシステムにおいては、大量のデータを読み取ることが必須である処理を実行するためには、多大な処理時間を必要とするのが現状である。記憶装置から読み取るデータ量を削減することができれば、大量のデータを読み取る必要があるデータベースシステムにおいて、データ検索の処理時間を短縮することができる。

しかしながら、従来手法には以下に述べる問題がある。例えば、図８に示すような周波数と信号強度の数値データを対象とした無線通信におけるホワイトスペース検索においては、空き周波数帯を再利用するために、信号レベルが閾値以下である周波数帯を検索する必要がある。このような連続した数値列から閾値以下（あるいは以上）の領域を検索する際に、最も単純な方法として、図９に示すように、条件を満たす領域を発見するまで、領域をスライドさせながら繰り返し検査を行う方法がある。この方法では、最悪の場合、すべての数値データを記憶装置から読み取らなければならないため、検索時間は長くなるという問題がある。このような問題を解決するために、事前にデータ変換を行っておくことによって、検索時間を短縮する方法がいくつか提案されている（例えば、非特許文献１、２、３参照）。

Keogh, E., Smyth, P. 1997. A probabilistic approach to fast pattern matching in time series databases. In: Proceedings of the Third International Conference on Knowledge Discovery and Data Mining (KDD), pp. 24-30. Huanmei Wu, Betty Salzberg, Donghui Zhang. Online Event-driven Subsequence Matching over Financial Data Streams. ACM SIGMOD Conference 2004. Popivanov I, Muller RJ. Similarity search over time-series data using wavelets. Proc. of the 18th ICDE 2002.

しかしながら、特許文献１〜３に記載の検索方法にあっては、予め前処理を実行しておる必要があるため、生成されたデータを即時に検索する必要がある場合には適用できないという問題がある。

本発明は、このような事情に鑑みてなされたもので、検索時間を大幅に短縮することができ、リアルタイムの検索を行うことができる情報検索装置、情報検索方法及び情報検索プログラムを提供することを目的とする。

本発明は、検索対象の数値データが記憶された記憶手段と、前記記憶手段から全数値データの一部を抽出する手段と、前記抽出した数値データから最も第１の所定条件を満たす数値データを１つ検出する手段と、前記記憶手段から、前記検出した数値データの近傍領域の数値データの一部を抽出する手段と、前記近傍領域の数値データから最も前記第１の所定条件を満たす数値データを１つ検出する手段と、前記近傍領域より狭い領域を近傍領域に設定し、前記近傍領域が第２の所定条件を満たすまで検出処理を繰り返す手段とを備えたことを特徴とする。

本発明は、前記記憶手段から前記数値データを読み出す際に、近傍の複数の数値データに基づき前記数値データの異常値を取り除いて検出処理を行うことを特徴とする。

本発明は、前記数値データは、連続性を持って変化する特性を有していることを特徴とする。

本発明は、検索対象の数値データが記憶された記憶手段と、演算部とを備えた情報検索装置における情報検索方法であって、前記演算部が、前記記憶手段から全数値データの一部を抽出するステップと、前記抽出した数値データから最も第１の所定条件を満たす数値データを１つ検出するステップと、前記記憶手段から、前記検出した数値データの近傍領域の数値データの一部を抽出するステップと、前記近傍領域の数値データから最も前記第１の所定条件を満たす数値データを１つ検出するステップと、前記近傍領域より狭い領域を近傍領域に設定し、前記近傍領域が第２の所定条件を満たすまで検出処理を繰り返すステップとを有することを特徴とする。

本発明は、検索対象の数値データが記憶された記憶手段を備えた情報検索装置上のコンピュータに情報検索を行わせるコンピュータプログラムであって、前記記憶手段から全数値データの一部を抽出するステップと、前記抽出した数値データから最も第１の所定条件を満たす数値データを１つ検出するステップと、前記記憶手段から、前記検出した数値データの近傍領域の数値データの一部を抽出するステップと、前記近傍領域の数値データから最も前記第１の所定条件を満たす数値データを１つ検出するステップと、前記近傍領域より狭い領域を近傍領域に設定し、前記近傍領域が第２の所定条件を満たすまで検出処理を繰り返すステップとを前記コンピュータ行わせることを特徴とする。

本発明によれば、検索時間が大幅に短縮できるとともに、リアルタイム検索も可能になるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。図１に示す装置の動作を示すシーケンス図である。図１に示す記憶部２から読み出したデータの一例を示す説明図である。図１に示す記憶部２から読み出したデータの一例を示す説明図である。一連の検索過程を模式化した説明図である。図１に示す装置の動作を示すシーケンス図である。図１に示す記憶部２から読み出したデータの一例を示す説明図である。検索対象のデータ構造を示す説明図である。従来技術による検索過程を模式化した説明図である。

以下、図面を参照して、本発明の一実施形態による情報検索装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、コンピュータ装置から構成する情報検索装置である。符号２は、検索対象のデータが記憶された記憶部である。記憶部２は、必ずしも情報検索装置１内に備えている必要はなく、他の装置内に備えられており、通信手段を介して、記憶部２から検索対象のデータを読み出すことができる構成となっていてよい。符号３は、データ検索処理を実行する演算部である。符号４は、ユーザが操作を行ってデータ検索の条件を入力する入力部であり、マウスやキーボード等から構成する。符号５は、検索結果を表示する表示部であり、ディスプレイ装置等から構成する。検索結果は、必ずしも表示部５に表示する必要はなく、他の装置に対して出力する構成であってもよい。

次に、図２を参照して、図１に示す情報検索装置１の動作を説明する。図２は、図１に示す情報検索装置１の動作を示すシーケンス図である。ここでは、図１に示す記憶部２には、図８に示す周波数毎の信号強度の数値データが１００００個記憶されており、これらの数値データから、周波数の幅が１００以上で、信号強度が５０以下の領域を検索するものとする。図８に示す数値データは、図９に示すようにある程度の連続性を持って変化するという特性を有しているため、情報検索装置１は、この特性を利用して、すべてのデータを読み込むことなく、所望の領域を検索する。

まず、ユーザは、入力部４を操作して、検索条件（周波数幅１００以上、信号強度５０以下）を入力する（ステップＳ０）。この検索条件を受けて、演算部３は、記憶部２から一部の信号強度データを読み出す（ステップＳ１）。ここでは１００個に１個の割合で数値を読み出すものとする。図８に示す数値データは全部で１００００個あるため、図３に示すように１００個を読み出すことになる。これは等間隔に読み出してもよいし、図３のようにランダムサンプリング（乱択）を行ってもよい。なお、ランダムサンプリングを行うときには、例えば次のようにして読み取りデータ数を決定する。対象データ数をＮ個（この例では１００００）としたとき、Ｌ個から１つのデータを確率ｐで取得するためには、ｎ＝ｌｏｇ（１−ｐ）／ｌｏｇ（１−Ｌ／Ｎ）個のデータを読み取ればよい。この結果、周波数７１０３の信号強度が最小（４３）であったとすると、次は周波数７１０３を中心とする幅１０００の領域（６６０３−７６０２）から、１００個の点を読み出す（１０個に１個の割合となる）。

なお、ここでは単純に最小の信号強度を持つ周波数を中心として幅１０００の領域を決定したが、いくつかの値の平均値を用いても構わない。例えば、周波数帯を１０００ずつに区切り、それぞれの領域で得られている数値の平均を計算し、平均値が最小になる領域を選択してもよい。また、ここでは幅１０００の値（全データの１／１０）としたが、この値はデータの特性などによって調整してもよい。ここでは唯一の領域のみを選択したが、検索条件（この例では信号強度５０以下）を満たす領域が複数あれば、それらすべてを選択し、以下の処理を行ってもよい。これは、条件を満たす領域を一つだけ求めればいい場合と、なるべく多く求めたい場合で異なる。

次に、演算部３は、得られた幅１０００の領域から、１００個の点を読み出し（ここでは１０個に１個の割合となる）、同様にして信号強度（あるいは平均値）の小さな周波数を求める（ステップＳ２）。この結果、図４に示すように、周波数７０８４の信号強度が最小（３９）であったとすると、ここでも同様に、単純に最小の信号強度をのみを用いて幅１００の領域を決定してもよいし、いくつかの値の平均値を用いても構わない。そして、演算部３は、周波数７０８４を中心とする幅１００の領域（ここでは７０３４−７１３３）の情報を検索結果として表示部５に表示する（ステップＳ３）。

一連の検索過程は、図５に示すように、まずは粗い粒度で検索を行い、徐々に範囲を狭めながら粒度を細かくしていくことで、読み取るデータ量を削減する。従来の単純な手法では、最悪の場合１００００個のすべての数値を記憶部から読み出さなければならなかったが、前述した手法では１００個の数値を２回読み出すだけでよい。この結果、検索時間を大きく短縮することができる。また、検索のための前処理は不要であり、数値データが記憶部２に書き込まれた後に、即時に（リアルタイムに）検索を実行することが可能となる。

次に、図６を参照して、図２に示す処理動作の変形例を説明する。図６は、図１に示す情報検索装置１の動作を示すシーケンス図である。図６に示す処理動作が、図２に示す処理動作と異なる点は、ステップＳ２とＳ３の間に新たにステップＳ４、Ｓ５を設けた点である。ステップＳ０〜Ｓ２と、ステップＳ３は、図２に示す処理動作と同様であるので、ステップＳ０〜Ｓ２と、ステップＳ３の処理動作は簡単に説明する。

まず、ユーザは、入力部４を操作して、検索条件（周波数幅１００以上、信号強度５０以下）を入力する（ステップＳ０）。この検索条件を受けて、演算部３は、記憶部２から一部の信号強度データを読み出す（ステップＳ１）。次に、演算部３は、得られた幅１０００の領域から、１００個の点を読み出し（ここでは１０個に１個の割合となる）、同様にして信号強度（あるいは平均値）の小さな周波数を求める（ステップＳ２）。

次に、演算部３は、目的領域の信号強度データすべて（７０３４−７１３３）を読み出し（ステップＳ４）、読み出した信号強度データが検索条件を満たしているか（すべて５０以下であるか）否かを判定する（ステップＳ５）。この判定の結果、検索条件を満たしていれば、演算部３は、周波数７０８４を中心とする幅１００の領域（ここでは７０３４−７１３３）の情報を検索結果として表示部５に表示する（ステップＳ３）。一方、検索条件を満たしていなければ、ステップＳ１に戻って最初から検索をやり直すか（ランダムサンプリングであれば、異なる結果を得る可能性がある）、またはエラーメッセージを表示部５に表示する。この方法では、図２に示す処理動作と比べて、さらに１００個の数値データを読み出すことになるが、それでも１００００個に比べれば大幅に少なくすることができる。

信号強度を検出するセンサによっては、大きく外れた誤った異常値を検出することがあり、この異常値が記憶部２に記憶されることがある（図７に示す信号強度９９９など）。信号強度データを読み出すときにこのような異常値を選択してしまうと、数値データの傾向から大きく外れているため、正しく検索を行うことができない。このような問題を避けるために、近傍の値をいくつか読み出し（図７に示す例では、信号強度１６３と、信号強度１６４）、その中央値（図７に示す例では中央値１６４）、あるいは最大最小を除いた平均値などを代わりに用いるようにしてもよい。図７に示す例では、３つずつの連続した値を取得し、その中央値を用いている。このようにすることで、センサの異常値の影響を抑制することができる。この方法では数倍の数値を読み出すことになるが、それでも１００００個に比べれば大幅に少なくすることができる。

無線通信におけるホワイトスペースを検索するような際に、連続した数値列から閾値以下（あるいは以上）の領域を検索する必要があるが、従来は、すべての数値を検査するような効率に劣る手法や、効率を高めるためにデータ変換などの前処理を要する手法が用いられてきた。本発明は、以上説明したように、連続的に変化する数値データを対象とした、ランダムサンプリングによる効率的な検索手法を用いたため、従来手法のようにすべての数値を検査することがなく、検索効率が高い。また、データ変換などの前処理は不要であるため、データ取得後、即時にデータ検索を開始することができる。

なお、図１に示す演算部３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報検索処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

無線通信におけるホワイトスペースを検索するように、検索対象のデータにある程度の連続性を持って変化するという特性を有しているデータから、すべてのデータを読み込むことなく、所望の領域を検索することが不可欠な用途に適用できる。

１・・・情報検索装置、２・・・記憶部、３・・・演算部、４・・・入力部、５・・・表示部

Claims

検索対象の数値データが記憶された記憶手段と、
前記記憶手段から全数値データの一部を抽出する手段と、
前記抽出した数値データから最も第１の所定条件を満たす数値データを１つ検出する手段と、
前記記憶手段から、前記検出した数値データの近傍領域の数値データの一部を抽出する手段と、
前記近傍領域の数値データから最も前記第１の所定条件を満たす数値データを１つ検出する手段と、
前記近傍領域より狭い領域を近傍領域に設定し、前記近傍領域が第２の所定条件を満たすまで検出処理を繰り返す手段と
を備えたことを特徴とする情報検索装置。
前記記憶手段から前記数値データを読み出す際に、近傍の複数の数値データに基づき前記数値データの異常値を取り除いて検出処理を行うことを特徴とする請求項１に記載の情報検索装置。
前記数値データは、連続性を持って変化する特性を有していることを特徴とする請求項１または２に記載の情報検索装置。
検索対象の数値データが記憶された記憶手段と、演算部とを備えた情報検索装置における情報検索方法であって、
前記演算部が、
前記記憶手段から全数値データの一部を抽出するステップと、
前記抽出した数値データから最も第１の所定条件を満たす数値データを１つ検出するステップと、
前記記憶手段から、前記検出した数値データの近傍領域の数値データの一部を抽出するステップと、
前記近傍領域の数値データから最も前記第１の所定条件を満たす数値データを１つ検出するステップと、
前記近傍領域より狭い領域を近傍領域に設定し、前記近傍領域が第２の所定条件を満たすまで検出処理を繰り返すステップと
を有することを特徴とする情報検索方法。
前記記憶手段から前記数値データを読み出す際に、近傍の複数の数値データに基づき前記数値データの異常値を取り除いて検出処理を行うことを特徴とする請求項４に記載の情報検索方法。
前記数値データは、連続性を持って変化する特性を有していることを特徴とする請求項４または５に記載の情報検索方法。
検索対象の数値データが記憶された記憶手段を備えた情報検索装置上のコンピュータに情報検索を行わせるコンピュータプログラムであって、
前記記憶手段から全数値データの一部を抽出するステップと、
前記抽出した数値データから最も第１の所定条件を満たす数値データを１つ検出するステップと、
前記記憶手段から、前記検出した数値データの近傍領域の数値データの一部を抽出するステップと、
前記近傍領域の数値データから最も前記第１の所定条件を満たす数値データを１つ検出するステップと、
前記近傍領域より狭い領域を近傍領域に設定し、前記近傍領域が第２の所定条件を満たすまで検出処理を繰り返すステップと
を前記コンピュータ行わせることを特徴とする情報検索プログラム。