JP3916007B2 - 意味情報処理方法及びその装置 - Google Patents

意味情報処理方法及びその装置 Download PDF

Info

Publication number
JP3916007B2
JP3916007B2 JP20347296A JP20347296A JP3916007B2 JP 3916007 B2 JP3916007 B2 JP 3916007B2 JP 20347296 A JP20347296 A JP 20347296A JP 20347296 A JP20347296 A JP 20347296A JP 3916007 B2 JP3916007 B2 JP 3916007B2
Authority
JP
Japan
Prior art keywords
word
vector
group
semantic
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP20347296A
Other languages
English (en)
Other versions
JPH1049541A (ja
Inventor
高嗣 北川
康 清木
Original Assignee
高嗣 北川
康 清木
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高嗣 北川, 康 清木 filed Critical 高嗣 北川
Priority to JP20347296A priority Critical patent/JP3916007B2/ja
Priority to EP97305783A priority patent/EP0822506A3/en
Priority to EP08158985A priority patent/EP2026218A1/en
Priority to US08/904,149 priority patent/US6138116A/en
Publication of JPH1049541A publication Critical patent/JPH1049541A/ja
Application granted granted Critical
Publication of JP3916007B2 publication Critical patent/JP3916007B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/912Applications of a database
    • Y10S707/913Multimedia
    • Y10S707/915Image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99935Query augmenting and refining, e.g. inexact access

Description

【0001】
【発明の属する技術分野】
本発明は、意味情報処理方法及びその装置に関し、特にデータベースシステム、あるいはデータベースシステムと検索者とのインターフェースシステム及びその検索方法に関するものである。
【0002】
【従来の技術】
データベース・システムにおける情報検索のための主要な基本操作は連想検索である。一般的なデータベース・システムにおける連想検索は、パターン・マッチングによる検索である。
また、データ間の意味的な関係の扱いについては、データ間の関係を静的かつ明示的に記述し、同一性、相異性を判定する方法が広く用いられてきた。
【0003】
【発明が解決しようとする課題】
しかしながら、パターン・マッチングによる検索では、異なる表現形態であるが同一の意味を持つデータや近い意味をもつデータの検索を行うことができない。更に、同一のデータが持つ多義性を取り扱うことはできない。
また、静的に与えられた関係を用いて、同一性、相異性を判定する方法では、その判定は、曖昧性を含んで行われる。例えば、シソーラスを用いて同義語を照会する方法があるが、その同義語は、シソーラスの設計時に静的に決定され、また、同義であることの定義には曖昧性を含んでいる。
【0004】
ところが、データ間の意味的な同一性、相異性は、文脈や状況に応じて動的に変化すると考えられる。そのため、上述した静的に与えられた関係のみを用いた同一性、相異性の判定では、曖昧性を排除することができなかった。
【0005】
【課題を解決するための手段】
本発明によれば、意味情報処理装置、検索語と、各文脈語が第1の演算子として否定演算子を含むことが可能な文脈語群を入力するための第1の入力手段と、該第1の入力手段より入力された検索語を、所定の特徴語群に対応する要素を有し、当該検索語の意味を表す、検索語ベクトルに変換する第1の変換手段と、前記第1の入力手段より入力された文脈語群の各単語を、所定の特徴語群に対応する要素を有し、当該単語の意味を表すベクトルに変換するとともに、該単語が前記否定演算子を含む場合は当該単語の意味を表すベクトルと直交するベクトルに変換することにより、前記文脈語群を文脈語ベクトル群に変換する第2の変換手段と、所定の空間生成語群の各空間生成語を、前記所定の特徴語群に対応する要素を有し、当該空間生成後の意味を表す空間生成ベクトルに変換することにより、前記空間生成語群を空間生成ベクトル群に変換し、該空間生成ベクトル群に基づいて意味空間を生成する意味空間生成手段と、前記意味空間における前記空間生成ベクトル群の平均ベクトルを求め、該平均ベクトルの各要素の絶対値の大きい方から順にある順位までの要素に対応する軸を、当該意味空間の主軸として決定する主軸決定手段と、前記文脈語ベクトル群の意味重心を計算し、前記意味空間において、当該意味重心の各要素のうち絶対値が所定値より大きい要素に対応する軸であって、前記主軸に含まれない軸で張られる部分空間ヘの射影子を生成する射影子生成手段と、比較対象語群を入力する第2の入力手段と、該第2の入力手段より入力された比較対象語群の各単語を、前記所定の特徴語群に対応する要素を有し、当該単語の意味を表すベクトルに変換することにより、前記比較対象語群を比較対象ベクトル群に変換する第3の変換手段と、前記検索語ベクトルと前記比較対象ベクトル群とを、前記射影子生成手段により生成された射影子により前記部分空間に射影する射影手段と、該射影手段により射影された前記比較対象ベクトル群の各ベクトルと前記検索語ベクトルとの相関量を計算する計算手段と、該計算手段により計算された相関量に基づいて、前記比較対象語群より少なくとも1つの単語を選出する選出手段とを有する。
【0006】
又、本発明によれば、意味情報処理方法は、検索語と、各文脈語が第1の演算子として否定演算子を含むことが可能な文脈語群を入力するための第1の入力手段と、比較対象語群を入力するための第2の入力手段と、プログラムに基づいて各種処理を実行する処理手段とを備えた情報処理装置において、入力された検索語及び文脈語群に相関する少なくとも1つの比較対象語を選出する意味情報処理方法であって、前記処理手段が、前記第1の入力手段を介して検索語検索語と、各文脈語が否定演算子を伴うことが可能な文脈語群との入力を受け付ける第1の入力工程と、前記処理手段が、該第1の入力工程において受け付けた検索語を、所定の特徴語群に対応する要素を有し、当該検索語の意味を表す検索語ベクトルに変換する第1の変換工程と、前記処理手段が、前記第1の入力工程において受け付けた文脈語群の各単語を、所定の特徴語群に対応する要素を有し、当該単語の意味を表すベクトルに変換するとともに、該単語が前記否定演算子を含む場合は当該単語の意味を表すベクトルと直交するベクトルに変換することにより、前記文脈語群を文脈語ベクトル群に変換する第2の変換工程と、前記処理手段が、予め準備された空間生成語群の各空間生成語を、前記所定の特徴語群に対応する要素を有し、当該空間生成後の意味を表す空間生成ベクトルに変換することにより、前記空間生成語群を空間生成ベクトル群に変換し、該空間生成ベクトル群に基づいて意味空間を生成する意味空間生成工程と、前記処理手段が、前記意味空間における前記空間生成ベクトル群の平均ベクトルを求め、該平均ベクトルの各要素の絶対値の大きい方から順にある順位までの要素に対応する軸を、当該意味空間の主軸として決定する主軸決定工程と、前記処理手段が、前記文脈語ベクトル群の意味重心を計算し、前記意味空間において、当該意味重心の各要素のうち絶対値が所定値より大きい要素に対応する軸であって、前記主軸に含まれない軸で張られる部分空間ヘの射影子を生成する射影子生成工程と、前記処理手段が、前記第2の入力手段を介して比較対象語群の入力を受け付ける第2の入力工程と、前記処理手段が、該第2の入力工程において受け付けた比較対象語群の各比較対象語を、前記所定の特徴語群に対応する要素を有し、当該比較対象後の意味を表す比較対象ベクトルに変換することにより、前記比較対象語群を比較対象ベクトル群に変換する第3の変換工程と、前記処理手段が、前記検索語ベクトルと前記比較対象ベクトル群とを、前記射影子生成工程により生成された射影子により前記部分空間に射影する射影工程と、前記処理手段が、該射影工程により射影された比較対象ベクトル群の各ベクトルと、前記検索語ベクトルとの相関量を計算する計算工程と、前記処理手段が、該計算工程により計算された相関量に基づいて、前記比較対象語群より少なくとも1つの単語を選出する選出工程とを有する。
【0007】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明に係る好適な実施形態を詳細に説明する。
[実施形態1]
図1は、本発明の実施形態1である情報処理装置の機能構成を表す図である。装置の各部は、以下に説明する機能を実現するものであれば、それぞれが専用のプログラムメモリやプロセッサを含む機器であってもよいし、複数の機能部を、同一のCPUがROMやディスクメモリ等に記憶された各機能プログラムを実行することにより、あるいは各機能に対応する特定のハードウェアを制御する制御プログラムを実行することにより実行してもよい。
【0008】
<通信装置101>
図1において、通信装置101は、通信回線を介して情報処理装置と外部装置とを接続し、両者の間でのデータの入出力を制御する装置である。例えば、通信回線を介してユーザ側装置から送信された文脈語群を射影変換生成部104へ、検索語群を基本処理部103へ振り分ける。また、基本処理部103から出力された検索候補語群を通信回線を介してユーザ側装置あるいはデータベースへ出力する。
【0009】
図2は、本実施形態のシステムの処理手順を示すフローチャートである。
まず、入出力装置102から入力があると、ステップS201からステップS202に進み、入力データが空間生成語群であれば、図4につき後述する意味空間生成部106の処理を実行する(ステップS202〜203)。また、入力データが比較対象語群であれば、図16につき後述する比較対象語群写像部107の処理を実行する(ステップS204〜205)。それ以外の入力データの場合は、エラーコードを1にセットし、図19につき後述するエラー処理を実行する(ステップS206〜207)。
【0010】
一方、通信装置101から入力があると、ステップS209で、新規ユーザからのアクセスかどうかを判断する。ここで新規ユーザとは、現在検索処理を行っているユーザ以外のユーザを指す。新規ユーザであれば、ステップS210で、記憶装置105に当該ユーザ用のデータ領域を確保して、ステップS201に戻る。
【0011】
ステップS209で、新規ユーザでなければ、ステップS211で、アクセスを切断するためのコマンドかどうかを判断し、そうであれば、ステップS212で、該当ユーザ用のデータ領域を開放し、ステップS201に戻る。また、既存ユーザからアクセス切断以外のコマンドが送信された場合は、ステップS213で、当該ユーザのデータ領域にデータポインタを設定する。
【0012】
そして、入力データが文脈語群であれば、図4につき後述する射影変換生成部104の処理を実行する(ステップS214〜215)。また、入力データが検索語群であれば、図18につき後述する基本処理部103の処理を実行する(ステップS216〜217)。それ以外の入力データの場合は、エラーコードを2にセットし、図19につき後述するエラー処理を実行する(ステップS218、S207)。
【0013】
以下に、本実施形態のシステムの各部の構成と処理手順を順に説明する。
<入出力装置102>
入出力装置102は、情報処理装置への直接の入出力を実行するための装置である。例えば、空間生成語群を意味空間生成部106へ、比較対象語群を比較対象写像部107へ入力したり、命令の実行を指示するためのキーボードやマウス、あるいは、各構成部からのエラーメッセージ等を表示するディスプレイを含む。
【0014】
<記憶装置105>
記憶装置105は、各種処理の過程で生成されるデータや、補助記憶媒体から読み出されたプログラムやデータを一時記憶するためのRAM、固定的な制御プログラムやデータを記憶するROM、及び補助記憶媒体としてHDやFDなどを用いてプログラムやデータを不揮発に記憶する補助記憶装置などを含み、フローチャートにつき後述する各種処理手順に対応するプログラムも、この記憶装置105に記憶されている。
【0015】
<意味空間生成部106>
図3に、意味空間生成部106の構成を示す。意味空間生成部106は、入出力装置102から入力された空間生成語群の集合から、英英辞典108を用いて、空間生成語変換部311及びデータ行列生成部312が、それぞれ後述の文字列−ベクトル対応表及びデータ行列を算出し、記憶装置105に格納する。更に、意味空間変換行列生成部313が、そのデータ行列に、正規化、特異値分解等の手続きを用いて意味空間変換行列を算出し、記憶装置105に格納する。
【0016】
以下、文字列−ベクトル対応表、データ行列、意味空間変換行列の算出方式を図4のフローチャートを参照して詳述する。
ステップS401で、入出力装置102より空間生成語群を入力する。M個の文字列として入力される空間生成語群は、設計対象とするデータベースで使用することが予想される単語の集合である。空間生成語wは、計算機での処理に適した形式(以下、生成語指示ベクトルと称する)に変換される。
【0017】
空間生成語wから生成語指示ベクトルw’ヘの変換は、例えば、以下のように実現する。仮にw=“aback ”という文字列が、英英辞典の見出し語として、M個の空間生成語群中で8番目に出てくるとすると、8番目の要素だけが1でその他が0であるようなM次元ベクトル(000000010…0)T を生成語指示ベクトルw’とする。空間生成語を表す文字列を生成語指示ベクトルとの対応表(以下、LUTと略す)を作成し、記憶装置105に格納する。
【0018】
ステップS402で、英英辞典108からデータ行列を作成する(図7参照)。ここでいうデータ行列とは、M個の生成語指示ベクトルw'j(M次元ベクトル)と、それに対応する基本特徴表現w"j(N次元ベクトル)との外積を用いて、次式のA(M行N列の行列)で定義される:
【0019】
【数1】
Figure 0003916007
あるいは
w'j=(w'j,1 w'j,2 … w'j,M)T
w"j=(w'j,1 w"j,2 … w"j,N)Tとすると、
【0020】
【数2】
Figure 0003916007
(2) 式の計算は、図7に示すように、外積w'1w"1 T ,w'2w"2 T ,…,
w'j-1w"j-1 T の和をAとし、新たに求めた外積w'jw"j T をAに加えることでAを更新する処理をj=M まで繰り返せばよい。
図5を参照して、データ行列の作成手順を説明する。
【0021】
まず、ステップS501で、空間生成語の数を数え、その個数をM個とする。ステップS502で、記憶装置105にLUTの格納場所を確保する。ステップS503で、記憶装置105にデータ行列の格納場所を確保する。ステップS504で、確保した格納場所におけるデータ行列の全ての要素の値を0に初期化する。ステップS505で、j←1に設定する。ステップS506で、j番目の空間生成語と生成語指示ベクトルとの対応をLUTに追加する。ステップS507で、j番目の空間生成語の基本特徴表現を図6につき後述する手順で生成する。ステップS508で、現在のデータ行列(j−1行N列の行列)のj行目としてj番目の基本特徴表現を追加し、新しいデータ行列(j行N列の行列)を得る。ステップS509で、j←j+1に設定する。ステップS510で、j>Mであるかを判定し、そうであれば終了し、そうでなければステップS506に戻る。
【0022】
ここで、空間生成語を見出し語として含み、比較的小数の単語の集合でそれら全ての見出し語が説明されている辞書、例えば、Longman Dictionary of Contem-porary English (以下、LDCEと略す)、The General Basic English Dict-ionary (以下、GBEDと略す)等で基本語として採用されている約2000語(LDCEの場合)あるいは約850語(GBEDの場合)が基本特徴群であり、生成語指示ベクトルの基本特徴群による表現を基本特徴表現(空間生成ベクトル)と定義する。基本特徴群の選択はキーワードの表現能力とシステムの規模とのトレードオフで決定される。すなわち、基本特徴群の語数が大きければ表現できる意味の種類を多くなるが、反面、システムが要求するメモリ容量が大きくなり、更に計算時間も多く費やされる。
【0023】
生成語指示ベクトルw'jに対する基本特徴表現w"jは、例えば、図6のフローチャートに示す手順により作成する:
まず、ステップS601で、生成語指示ベクトルw'jに対応する見出し語と本文を辞書から抜き出す。ステップS602では、ステップS601で抜き出した文字列から、不要な記号、たとえば品詞を表すn、vi等、区切りを表すカンマ、セミコロン等を削除する。ステップS603で、大文字を小文字に修正する。ステップS604で、合成語を分解する。例えば"hardworking" を"hard"と"working" に分解する。ステップS605で、不要な単語を削除する。図6では "of"である。ステップS606で、活用を原形に修正する。図6では、"working" を"work ”に修正する。
【0024】
以上のようにして、見出し語、すなわち生成語指示ベクトルw'jが、基本特徴語の組み合わせとして記述できた。ステップS607で、この記述に基づいて、n番目の基本語が見出し語w'jに対応する基本特徴語の組み合わせの本文に含まれているとき、基本特徴表現w"jのn番目の要素w"j,nを1にする。以後、上記手順を、データ行列作成手順と称する。更に正確なデータ行列を作成するための処理例を図8〜9に示す。
【0025】
ステップS801で、空間生成語の数を数え、その個数をM個とする。ステップS802で、記憶装置105に空間生成語群を格納する。空間生成語の順番をそのままインデクスとして用いれば、記憶装置105に格納したデータは、LUTと見なすことができる。ステップS803で、記憶装置105にデータ行列の格納場所を確保する。ステップS804で、j←1に設定する。ステップS805で、j番目の空間生成語の基本特徴表現を図6の手順で生成する。ステップS806で、現在のデータ行列(j−1行N列の行列)のj行目としてj番目の基本特徴表現を追加し、新しいデータ行列(j行N列の行列)を得る。ステップS807で、j←j+1に設定する。j>Mならば終了し、そうでなければステップS805に戻る。
【0026】
以上のようにして、ステップS402のデータ行列の生成が終了すると、ステップS403で、データ行列Aを、基本特徴の自己相関が最大値を取るように、行に関する2ノルムで正規化する:
【0027】
【数3】
Figure 0003916007
ここでam.n はデータ行列Aのm行n列要素である。データ行列は記憶装置105に格納される。
ステップS404では、まず、データ行列Aから相関行列AT Aを作る。そして、相関行列AT Aを固有値分解する。例えば、AT Aを特異値分解することによって、AT Aの固有値と固有ベクトルを得ることができる:
T A=Qdiag(λ)QT (4)
ここでdiag(x)はベクトルxを対角要素として持つ対角行列、またベクトルλおよび行列Qは、固有値λ12,…, λN と、対応する固有ベクトルq1,q2,…, qN とを用いて次式で与えられる:
λ=(λ1 λ2 … λNT (5)
Q=(q1,q2,…, qN ) (6)
相関行列は対称行列であるから、その固有値λ12,…, λN は全て実数であり、対応する固有ベクトルq1,q2,…, qN は互いに直交する。
【0028】
ステップS405で、零でない固有値(v(≦N)個あるとする)に対応する各固有ベクトルが張る線型空間を意味空間とし、行列Qから、固有値0に対応する固有ベクトルを削除して、それを新たにQとし、これを意味空間変換行列と呼ぶ:
Q=(q1,q2,…, qV ) (7)
意味空間変換行列を記憶装置105に格納する。ちなみに、基本特徴群を構成するj番目の基本特徴の意味空間での表現<f>jは、j番目の要素だけが1で他の要素が全て0であるようなベクトルF(j) を用いて、次式で与えられる:
<f>j = QT F (j) (8)
ステップS406で、全ての基本特徴の意味空間での表現<f>j (j=1,2,…,N) を、記憶装置105に格納する。以上のように作成される意味空間は1つのアプリケーションに1つ用意されていればよいので、上記処理はオフラインで行ってよい。あるいは、他の装置において、このようにして決定されるデータを、通信回線や記憶媒体を介して受け取って記憶するようにしてもよい。
【0029】
ステップS407で、意味空間生成部106では、図10のフローチャートにつき以下に説明する処理を行うことによって、主軸インデクス集合を算出し、記憶装置105に格納する。
ステップS1001で、記憶装置105からデータ行列Aと意味空間変換行列Qを読み出す。ステップS1002で、生成語指示ベクトルw'jを意味空間での記述 <w>jに変換する:
<w>j =(AQ)T w'j (9)
ステップS1003で、空間生成語の意味空間での表現 <w>j (j=1,2,…,M) の和
【0030】
【数4】
Figure 0003916007
を計算する。
ここで、ベクトル <W> の要素のうち、t番目に絶対値の大きな要素の添え字を求める関数をAMAX(<W> , t)とする。
図11に関数AMAXの処理手順を示す。ステップS1101で、引数としてベクトルWと性整数tを受け取り、ステップS1102で、ベクトルWの要素のうち、絶対値がt番目に大きい要素を決定し、ステップS1103で、決定された要素の番号(何番目の要素か)を出力する。
【0031】
このとき、あらかじめ設定した整数e2に対する添え字集合Λ(e2)を次のように求める。
ステップS1004で、添え字集合Λ(e2)を空集合に初期化する。ステップS1005で、t←1に設定する。ステップS1006〜7で、添え字変数kの値をAMAX( <W> , t)とし、添え字変数hの値をAMAX( <W> , t+1)とする。ステップS1008で、log(|<W>k|/| <W>h| )<e2ならば終了。ステップS1009で、添え字集合Λ(e2)に添え字変数kの値を加える。ステップS1010で、t←t+1に設定する。ステップS1011で、t≦vならステップS1006へ戻り、そうでなければ終了する。
【0032】
以上で得られた添え字集合Λ(e2)を主軸インデクス集合と定義し、記憶装置105に格納する。
<射影変換生成部104>
図12は、射影変換生成部104の処理を説明する図である。射影変換生成部104は、通信装置101から入力された文脈語群を、文脈語群写像部1201により意味空間へ写像し、意味重心算出部1202により意味重心を算出し、射影作用素選択部1203によって意味識別射影作用素を選択して、記憶装置105に格納する。
【0033】
以下、図13のフローチャートを参照しながら、この意味識別射影作用素の作成手順を説明する。
まず、ステップS1301で、入出力装置102に文脈語群Sk =(ξ1,u12,u2,…, ξk,uk )が入力される。ここで、uj は文脈語であり、論理演算子としての否定を含んでもよい。ξj はuj に対する論理演算子(例えば、論理積、論理和)である。ステップS1302では、文脈語uk (k=1,2, …, K)をLUTで文脈ベクトルu’k (k=1,2,…, K)に変換する。
【0034】
ステップS1303で、文脈語に定演算子が作用しているかを判定し、文脈語uj が否定を含んでいる場合、すなわち、uj が文脈語vj の否定と指定されている時には、ステップS1304で、否定の処理を施す。例えば、図14に示すように、ステップS1402で、uj をvj に直交するように変換し、ステップS1403で、変換されたベクトルをノルムが1となるように正規化する。
【0035】
図13に戻り、ステップS1305で、文脈ベクトル群s'k=(u'1, u'2, …, u'k)は、データ行列Aと意味空間変換行列Qで意味空間での記述<S>k =(<u>1,<u>2,…, <u>k )に変換される:
u"j=(AQ)T U'j (10)
ステップS1306で、文脈ベクトル群の意味重心G(S"k)を次式で算出する:
【0036】
【数5】
Figure 0003916007
は無限大ノルムを表す。また、ηj() はξj に対応する処理を表し、例えばηj() が論理積ならば、(<u>1 )η2 (<u>2 )…ηj-1 (<u>j-1 )の結果得られたベクトルと、<u>j との要素毎の乗算を行ない、ηj() が論理和ならば、(<u>1 )η2 (<u>2 )…ηj-1 (<u>j-1 )の結果得られたベクトルと、<u>j との要素毎の加算を行なう。
【0037】
以上のようにして算出された意味重心G(<s>k) のj番目の要素の値をgj と書く。ステップS1306に戻り、意味重心G(<s>k) を記憶装置105に格納する。ステップS1307では、全意味空間を意味空間のj番目の軸(固有ベクトルqj )に射影する作用素をPj と書く。
あらかじめ設定しておいた整数e1と、意味重心G(<s>k) の各要素(G(<s>k) j , j=1,2,…,vとを比較し、
|( G(<s>k)j|>e1 (12)
なるjの集合をΛ(e1)とする。ただし|・|は絶対値を表す。
【0038】
意味射影作用素Pe1 (<s>k) を次式で定義する:
【0039】
【数6】
Figure 0003916007
ステップS1308で、意味識別射影作用素De2 (<s>k) を、記憶装置105に格納されている主軸インデクス集合Λ(e2)を用いて、次式で算出して、記憶装置105に格納する:
【0040】
【数7】
Figure 0003916007
ただし、Λ( e1)\Λ( e2)は、集合Λ( e1)の要素のうち、Λ( e2)に含まれないものの全体を表している。 意味識別射影作用素De2 (<s>k) による作用の実現方法を以下に示す。
1)ベクトルを射影すべき部分空間を構成する軸に対応する要素が1、それ以外の要素が0となるベクトルをdとすれば、dを対角成分とする行列として与えられる。例えば、v次元意味空間に対して、部分空間が意味空間の1番目と3番目の軸で張られるとすれば、ベクトルdは
d=(101…0) (15)
であり、意味識別射影作用素は、それを対角成分とする行列であるから、
【0041】
【数8】
Figure 0003916007
となる。従ってベクトルwヘの意味識別射影作用素の作用は、行列演算で達成される。
2)上述のベクトルdを直接利用することもできる。即ち、射影されるべきベクトルwとベクトルdとの要素毎の乗算を行えばよい。
3)意味識別射影作用素を、部分空間を構成する軸の番号として表現する。例えば、意味空間の1番目と3番目の軸によって部分空間が構成されるなら、1と3を意味識別射影作用素として記憶しておく。ベクトルを射影する時には、対象となるベクトルと、部分空間を構成する軸の番号を入力すれば、ベクトルの要素のうち、指定された番号の軸以外の要素を零とするような関数を容易しておけばよい。
【0042】
意味射影変換生成部104への入力となる文脈語群は、通信装置101から逐次与えられるものであり、従って、上述の意味射影作用素Pe1 (<s>k) 、更に意味識別射影作用素De2 (<s>k) は逐次計算される。
<比較対象語群写像部107>
図15は、比較対象語群写像部107の構成を示している。入出力装置102から比較対象語群(L個の比較対象語の組)が入力されると、それを比較対象群写像部1501により比較対象ベクトル群に変換し、記憶装置105に格納する。以下、図16のフローチャートを参照して、その処理を説明する。
【0043】
まず、ステップS1601で、比較対象語cj を、LUTを用いて比較対象ベクトルc'jに変換する。ステップS1602で、比較対象ベクトルに、データ行列Aと意味空間変換行列Qを作用させることにより、比較対象ベクトルの意味空間での記述<C>j を得る。:
<C>j =(AQ)T C'j (17)
ステップS1603で、<C>j を、記憶装置105に格納されている意味識別射影作用素De2(s<s>K)で部分空間へ射影する:
[c]j =De2(s<s>K) <C>j (18)
比較対象ベクトルの部分空間での記述 [c]jを記憶像値105に格納する。上記処理をL個の比較対象語全てについて行う。
【0044】
<基本処理部103>
図17は、基本処理部103の構成例を示している。意味重心から決まる動的な計量(距離、ノルム等)を用いて、基本特徴群修正部1701により検索語の基本特徴群を修正し、検索語と比較対象語群とを、それぞれ検索語射影部1702、比較対象群射影部1704によって意味識別射影作用素を用いて部分空間へ射影して、検索語と比較対象語群との関係を、距離計算部1703により部分空間上で計算する。以下、図18のフローチャートを参照して、計量の計算方法の例を説明する。
【0045】
ステップS1801で、通信装置101に送信されてきた検索語rが、基本処理部103に入力される。
ステップS1802で、検索語rを、LUT、データ行列Aを用いて検索語rの基本特徴表現r”= (r12 …rN)T を算出する:
r”= AT r’ (19)
ステップS1803で、j番目の基本特徴の意味空間での記述<f>j, j=1,2,…,Nのk番目の要素<f>j,kと意味重心Gのk番目の要素gkとが異符号のときは、例えば以下のように処理する。異符号すなわち両者の積が負のときには、<f>j,kを0に設定し直す。このようにして修正された基本特徴と意味空間での記述<fm>j を用いて次の変換行列を構成する:
R= (<fm>1 <fm>2 … <fm>N ) (20)
ステップS1804で、検索ベクトルr’をデータ行列Aと上記Rを用いて変換する:
[rm ]=(AR)T r’ (21)
上記 [rm]を検索語の修正意味空間表現と呼ぶ。
【0046】
ステップS1805で、 [rm]と、記憶装置105に格納されている比較対象ベクトル群([c]1,[c]2,…,[c]L)との距離を次式で計算する:
【0047】
【数9】
Figure 0003916007
以上のようにして計算された距離をもとにして、検索語ベクトル群を距離の小さい順(比較対象ベクトルに近い順)に並び替えて記憶装置105に格納する。ステップS1806で、ユーザに指定された出力形式に従って、検索語ベクトルを出力する。このとき、検索語ベクトルを、意味空間変換行列やデータ行列、およびLUTを利用して文字列に逆変換することもできる。
【0048】
次に、図19のフローチャートにつき、図2のステップS207のエラー処理の詳細について説明する。
ステップS1901〜2で、エラーコードが1であるか2であるかを判定する。エラーコードが1の時は、ステップS1904で、エラーメッセージを出力すべき出力装置として入出力装置102を指定する。一方、エラーコードが2の時は、ステップS1903で、エラーメッセージを出力すべき出力装置として通信装置101を指定する。ステップS1905で、指定された出力装置に対して、エラーメッセージを出力する。
【0049】
[実施形態2]
図20に本発明の実施形態2の構成図を示す。
実施形態2は、実施形態1を従来のパターンマッチング型データベースと組み合わせたシステムであり、ユーザ端末201、通信回線202、意味検索エンジン203、パターンマッチングエンジン204、全文データベース205より構成される。本実施形態では、文脈語群や検索語群は、ユーザ端末201から通信回線202を介して意味検索エンジン203(詳細は後述する)に送信される。
【0050】
意味検索エンジン203によって得られた最適検索語をパターンマッチングエンジン204に送信し、パターンマッチングエンジン204では、処理の結果得られたデータ(検索結果)を全文データベース205から読み出して意味検索エンジン203に返送する。意味検索エンジン203は検索結果を通信回線202を介してユーザ端末201に返送する。
【0051】
図21は実施形態2のシステムの処理のフローチャートを示している。
まず、ステップS2101で、システムの更新か否かを判定し、更新の場合、ステップS2102で、図22のフローチャートに示す意味検索エンジン203の初期化を実行する:
ステップS2201で、実施形態1の図4に示した意味空間生成処理を行う。ステップS2202〜3で、全文データベース205で使用されている単語(キーワード)を全て集めて、比較対象語とする。ステップS2204で、実施形態1の図16に示した比較対象語写像処理を行う。
【0052】
システムの更新以外のときには、システムは通常処理を行う:
ステップS2103で、通信回線202を介しての入力を待つ。入力があった時、ステップS2104で、新規ユーザからのアクセスかどうかを判断する。ここで新規ユーザとは、現在検索処理を行っているユーザ以外のユーザを指す。新規ユーザであれば、ステップS2105で、意味検索エンジン内の記憶装置に該ユーザ用のデータ領域を確保して、ステップS2101に戻る。
【0053】
ステップS2104で、新規ユーザでなければ、ステップS2106で、アクセスを切断するためのコマンドかどうかを判断し、そうであれば、ステップS2107で、該当ユーザ用のデータ領域を開放し、ステップS2101に戻る。
また、既存ユーザからアクセス切断以外のコマンドが送信された場合は、ステップS2108で、該ユーザのデータ領域にデータポインタを設定し、ステップS2109で、図23につき後述する意味検索エンジンの処理、パターンマッチングエンジンの処理を行い、検索結果を出力し、ステップS2101に戻る。
【0054】
図23は、意味検索エンジンの処理手順を示すフローチャートである。
まず、ステップS2301で、入力データが文脈語群かどうかを判定し、そうであれば、ステップS2302で、実施形態1の図14に示した射影変換生成部104の処理を行い終了する。そうでなければ次に進む。ステップS2303で、入力データがパラメタ設定コマンドかどうかを判定し、そうであれば、ステップS2304で、指定されたパラメタをデータ領域に記憶して出力書式を変更し、終了する。そうでなければ次に進む。ステップS2305で、入力データが検索結果出力コマンドかどうかを判定し、そうであれば、ステップS2306で、検索結果を出力書式に従って出力し終了する。そうでなければ次に進む。
【0055】
ステップS2307で、入力データが検索語かどうかを判定し、そうでなければエラー処理を実行して終了する。検索語であれば次に進む。ステップS2309で、実施形態1の図18で説明した基本処理部の処理を実行し、ユーザが入力した検索語に最も近い比較対象語(最適検索語)を得る。ステップS2310で、上記キーワードをパターンマッチングエンジンに送信し、後述するパターンマッチングエンジンの処理を実行する。ステップS2311で、パターンマッチングエンジン204から送信されたデータ集合を記憶装置105に記憶して終了する。
【0056】
図24を参照して、パターンマッチングエンジン204の処理を説明する。
ステップS2401で、意味検索エンジン203から、最適検索語と検索記号によって記述された検索式を入力する。ステップS2402で、検索結果としてのデータ集合を空集合に初期化し、ステップS2403で、検索式のポインタを1に初期化する。ステップS2404で、現在のポインタの位置から検索記号及び検索語、あるいは検索語のみを読み込み、ポインタを、読み込んだ検索記号及び検索語の次の位置に設定する。ステップS2405で、読み込んだ検索記号及び検索語に基づいたパターンマッチングによる検索操作により、データ集合を更新する。
【0057】
ステップS2406で、検索式のポインタが検索式の最後を指しているかを判定し、そうであれば、ステップS2407で、データ集合を意味検索エンジンに返送して終了し、そうでなければステップS2404に戻る。
なお、ここでいうデータ集合とは、たとえば、全文データベース205に格納されたデータにつけられた連番を要素としてもいいし、データそのものを要素としてもよい。
【0058】
[実施形態3]
図25に実施形態3のシステム構成図を、図26に処理のフローチャートを示す。実施形態3は、実施形態1の画像データベース検索システムへの応用例である。
実施形態3のシステムは、図25に示すように、ユーザ端末301、通信回線302、意味検索エンジン303、パターンマッチングエンジン304、画像データベース305から構成される。
【0059】
図26を参照して、本システムの処理を説明する。
まず、ステップS2601で、システムの更新であるかを判断し、システム更新の場合のみ、ステップS2602で、意味検索エンジン303の初期化を行う。
この意味検索エンジン303の初期化の手順を、図27を参照して説明する。
【0060】
まず、ステップS2701で、実施形態1で図4につき説明した意味空間生成部106の処理を行い、LUT、データ行列、意味空間変換行列、主軸インデクス集合を算出し、記憶装置105に記憶する。ステップS2702で、j←1に初期化し、ステップS2703で、画像データベース305のj番目に格納されている画像データを説明する単語群(K個あるとする){wj k}を読み出す。ステップS2704で、LUTとデータ行列によって、{wj k}を基本特徴表現{w"j k }に変換する。ただし、w"j k =(w"j k,1 w"j k,2 … w"j k,NT である。
【0061】
ステップS2705で、{w"J K }を次式で合成する:
w"J=(w"J ABMAX(1),1 w"J ABMAX(2),2… w"J ABMAX(N),NT (23)
ただし、ABMAX(1)は、w"j k,1 (k=1,…,K)のうち、絶対値が最大となるkを表す。w"jを、j番目の画像データのベクトル表現と呼ぶ。
ステップS2706で、画像データのベクトル表現を比較対象ベクトルとして記憶する。ステップS2707で、j←j+1に設定する。ステップS2708で、j>Kなら終了、そうでなければステップS2702に戻る。
【0062】
図26に戻って、システム更新時以外は、以下の処理を実行する(図28参照):
ステップS2603で、通信回線302を介しての入力を待つ。ステップS2604で、新規ユーザからのアクセスかどうかを判断する。ここで新規ユーザとは、現在検索処理を行っているユーザ以外のユーザを指す。新規ユーザであれば、意味検索エンジン内の記憶装置に該ユーザ用のデータ領域を確保して、ステップS2601に戻る。ステップS2603で、新規ユーザでなければ、アクセスを切断するためのコマンドかどうかを判断し、そうであればステップS2607で、該ユーザ用のデータ領域を開放し、ステップS2601に戻る。
【0063】
既存ユーザからアクセス切断以外のコマンドが送信された場合は、ステップS2608で、該当ユーザのデータ領域にデータポインタを設定し、意味検索エンジンの処理、パターンマッチングエンジンの処理を行い、検索結果を出力し、ステップS2601に戻る。意味検索エンジン303は、以下の処理を行う。
図28にフローチャートを示す。
【0064】
ステップS2801で、入力データが文脈語ベクトル群かどうかを判定し、そうであれば、ステップS2802で、図29に示す射影変換生成部104の処理を行い終了する。そうでなければ次に進む。ここで、文脈語ベクトルとは、いくつかの属性に関する文脈語の組であり、文脈語ベクトル群とは文脈語ベクトルの集合である。文脈語の属性は、データベースに依存するが、画像データに対する説明キーワードの属性としては、例えば画像に含まれる物体の名前、画像に含まれる物体の動作、画像の印象等が考えられる。
【0065】
ステップS2803で、入力データがパラメタ設定コマンドかどうかを判定し、そうであれば、ステップS2804で、指定されたパラメタをデータ領域に記憶して終了する。そうでなければ次に進む。ステップS2805で、入力データが検索結果出力コマンドかどうかを判定し、そうであれば、ステップS2806で、検索結果を出力書式に従って出力し終了する。そうでなければ次に進む。ステップS2807で、入力データが検索語ベクトルかどうかを判定し、そうでなければステップS2808で、エラー処理を実行して終了する。検索語ベクトルであれば、次に進む。ここで言う検索語ベクトルは上記文脈ベクトルと同様のものである。ステップS2809で、図30につき後述する基本処理部の処理を実行し、ユーザが入力した検索語に最も近い検索語ベクトルを得る。
【0066】
ステップS2810で、上記検索語をパターンマッチングエンジン304に送信し、パターンマッチングエンジン304の処理を実行する。ステップS2811で、パターンマッチングエンジン304から送信されたデータ集合を記憶装置に記憶して終了する。基本処理部の処理で出力された最適検索語ベクトル群は、パターンマッチングエンジン304に送信される。
【0067】
射影変換生成部の処理は以下の通りである(図29):
まず、ステップS2901で、文脈語ベクトル群をそれぞれの属性毎の文脈語群に分解する。そして、ステップS2902で、それぞれの文脈語群に対して、実施形態1で図14につき説明した射影変換生成部の処理を実行する。
また、基本処理部の処理は以下の通りである(図30参照):
まず、ステップS3001で、検索語ベクトルをそれぞれの属性毎に分解する。そして、ステップS3002で、それぞれの検索語に対して、実施形態1で図18につき説明した基本処理部103の処理を実行し、それぞれの属性に関する最適検索語を得る。
【0068】
パターンマッチングエンジン304は以下の処理を行う(図31参照):
ステップS3101で、最適検索語ベクトル群と検索記号より構成される検索式を入力する。ステップS3102で、与えられた検索式を、それぞれの属性毎に分解する。ステップS3103では、データ集合を抽出するために、以下の1から5までの処理は、各属性(物体、動作、印象、…)毎に独立に行う。
【0069】
なお、ここでいうデータ集合とは、例えば、データベースに格納された画像データにつけられた連番(インデクス)を要素とする。
1.検索結果としてのデータ集合を空集合に初期化する。
2.検索式のポインタを1に初期化する。
3.検索記号及び検索語を読み込み、ポインタを読み込んだ検索記号及び検索語の次の位置に設定する。
4.読み込んだ検索記号及び検索語に基づいたパターンマッチングによる検索操作により、データ集合を更新する。
5.検索式のポインタが検索式の最後を指しているかを判定し、そうであればステップS3104へ進む。そうでなければ3に戻る。
【0070】
ステップS3104では、それぞれの属性に関するデータ集合の集合積を実行し、ステップS3105で、結果として得られた集合、あるいは集合に属する画像データの集合を意味検索エンジン303に返送する。
ところで、異なる検索者間では、文脈による画像の内容や印象の表現においては、同じ表現であっても、抽出が期待される画像が異なることがある。また、同じイメージを表現する場合に、検索者毎に異なる表現を行う場合がある。そのため、個々の検索者について、正しい検索を行うことができるように、個人差を扱う機構が必要となる。本実施形態では、このための学習機能を提供する。
【0071】
これらの個人差は、画像から受ける印象が検索者毎に異なるため、あるいは、画像の内容や印象を表現するときに用いる検索語についての認識が検索者毎に異なるために生じることに起因すると考えられる。本実施形態においては、前者は画像ベクトルに、後者は検索語ベクトルに個人差があることに対応する。以下で説明する学習機構では、画像のメタデータは、複数の検索者が利用する正しく定義された共有資源であると考え、検索者の印象や画像の内容を表す文脈を構成する際に検索者が利用する検索語群に対応する検索語ベクトルを、検索者毎に修正する。
【0072】
以上の学習機構を、意味重心の移動、および、その移動量の検索語への反映の2段階の処理によって実現する。
検索者の印象や画像の内容を示す文脈を表す検索語列sL とその文脈と最も相関が強くなるべき画像Pt に対応する画像ベクトルpが与えられたとき、検索語列sL の表す文脈と画像Pt の相関が最も強くなるように意味重心Gの移動を行う。図32〜33のフローチャートを参照して説明する。
【0073】
まず、ステップS3201で、データベースから画像データを説明するためのキーワード群を読み出し、δを適当な正数に設定する。
ステップS3202で、検索語列sL に対する意味重心G(sL )を計算する。ステップS3203で、読み出されたキーワード群を意味空間に写像する。ステップS3204で、2つの変数ベクトルs、tを、s←p、t←G(SL)に初期化する。ステップS3205で、sとtのなす角θが設定したδより小さければ終了する。ここでθは次式で計算する:
θ=cos-1(<s>T<t>) (24)
ただし、<s>はベクトルsを正規化したベクトルを表す。
【0074】
角θが設定したδより小さくなければ、ステップS3206で、新しい意味重心の候補G(sL)NEW を次式で計算する:
【0075】
【数10】
Figure 0003916007
ここで‖・‖はノルムであり、意味重心を求めるときに用いたノルムと同じ種類のノルム(無限大ノルム)を用いる。ステップS3207で、新しい意味重心候補G(SL)NEW をもとに、意味識別射影作用素Dを選択する。
ステップS3208で、比較対象となる全ての画像ベクトル<c>j (目的とする画像ベクトルを含む)を意味識別射影作用素Dで射影する:
[c]j=D<c>j , (j=1,2, …,L) (26)
ステップS3209で、目的とする画像ベクトルpのDによる射影 [p] を計算する。ステップS3210で、 [p] ≧ [c]j,∀jであるかを判定し、そうならば、ステップS3211に進み、s←G(sL)NEW とし、そうでなければ、ステップS3212に進み、t←G(sL)NEW とし、ステップS3205に戻る。
【0076】
次に、L個の検索語より構成される検索語列sL により定まる意味重心が、新しい意味重心G(sL)NEW になるように、検索語列sL を構成している検索ベクトルを修正する方法を図34のフローチャートを参照して説明する。
まず、ステップS3401で、検索語列sL により求められた元の意味重心G(sL)= (g12 …gp )から、前述の方法で計算した新しい意味重心G(sL)NEW = (gn1n2…gnp)への移動ベクトルΔGを計算する:
ΔG(sL)=G(sL)NEW −G(sL) (27)
そして、ステップS3402で、検索語ベクトルrj の移動量Δrj を次式で計算する:
【0077】
【数11】
Figure 0003916007
ここで‖・‖は無限大ノルムである。以下の方法も有効である。
検索語ベクトルの各成分の大きさに応じて、移動量を配分する。すなわち、
Δrj,k =ηj,k ‖G(sL)‖(ΔG(sL ))k (29)
ただし、
【0078】
【数12】
Figure 0003916007
なお、本発明は、複数の機器(例えばホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用されても、一つの機器からなる装置に適用されてもよい。
また、本発明の目的は、実施の形態の最初でも述べた如く、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0079】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0080】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0081】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【0082】
【発明の効果】
以上説明したように、本発明によれば、文脈や状況に応じて動的に変化すると考えられるデータ間の意味的な同一性、相違性の判定が容易にできる。
また、データベースで使用されている検索語の集合をユーザが知らなくても、ユーザが任意の検索語を指定でき、データベースで使用されている検索語の集合の中で、ユーザが指定した検索語に意味的に最も近い検索語が選択され、それをもとにデータベースの検索を行うことができる。
【0083】
また、ユーザの指定した検索語に近い検索語の候補を選択する際に、意味空間の部分空間に射影して探索することによって、処理対象となる検索語の候補を劇的に減少させることができ、その結果、処理速度を飛躍的に向上させることができる。
加えて、各文脈語が否定演算子を含むことが可能であり、文脈語が否定子を含む場合は当該文脈語の意味を表すベクトルと直交するベクトルに変換するため、検索語に対して文脈における関連の強い単語をより正確に選出できる。
【図面の簡単な説明】
【図1】実施形態1の構成図である。
【図2】実施形態1の処理のフローチャートである。
【図3】意味空間生成部の構成図である。
【図4】意味空間生成部の処理のフローチャートである。
【図5】データ行列生成処理のフローチャートである。
【図6】基本特徴表現の生成手順の例を説明する図である。
【図7】データ行列の更新処理の例を説明する図である。
【図8】データ行列生成処理のフローチャートである。
【図9】データ行列の更新処理の例を説明する図である。
【図10】主軸インデクス集合の生成処理のフローチャートである。
【図11】関数AMAX処理のフローチャートである。
【図12】射影処理のフローチャートである。
【図13】射影変換生成部の処理のフローチャートである。
【図14】文脈ベクトルの否定処理のフローチャートである。
【図15】比較対象語群写像部の構成図である。
【図16】比較対象語群者図部の処理のフローチャートである。
【図17】基本処理部の構成図である。
【図18】基本処理部の処理フローチャートである。
【図19】エラー処理のフローチャートである。
【図20】実施形態2の構成図である。
【図21】実施形態2の処理のフローチャートである。
【図22】意味検索エンジンの初期化処理のフローチャートである。
【図23】意味検索エンジンの処理のフローチャートである。
【図24】パターンマッチングエンジンの処理のフローチャートである。
【図25】実施形態3の構成図である。
【図26】実施形態3の処理のフローチャートである。
【図27】意味検索エンジンの初期化処理のフローチャートである。
【図28】意味検索エンジンの処理のフローチャートである。
【図29】射影変換生成部の処理のフローチャートである。
【図30】基本処理部の処理のフローチャートである。
【図31】パターンマッチングエンジンの処理のフローチャートである。
【図32】学習機構の意味重心の移動量算出処理のフローチャートである。
【図33】学習機構の意味重心の移動量算出処理のフローチャートである。
【図34】学習機構の検索ベクトル修正処理のフローチャートである。
【符号の説明】
101 通信装置
102 入出力装置
103 基本処理部
104 射影変換生成部
105 記憶装置
106 意味空間生成部
107 比較対象語群写像部
108 英英辞典
201,301 ユーザ端末
202,302 通信回線
203,303 意味検索エンジン
204,304 パターンマッチングエンジン
205 全文データベース
305 画像データベース
311 空間生成語変換部
312 データ行列生成部
313 意味空間変換行列生成部
1201 文脈語群写像部
1202 意味重心算出部
1203 射影作用素選択部
1501 比較対象群写像部
1701 基本特徴群修正部
1702 検索語射影部
1703 距離計算部
1704 比較対象群射影部

Claims (26)

  1. 検索語と、各文脈語が第1の演算子として否定演算子を含むことが可能な文脈語群を入力するための第1の入力手段と、
    該第1の入力手段より入力された検索語を、所定の特徴語群に対応する要素を有し、当該検索語の意味を表す、検索語ベクトルに変換する第1の変換手段と、
    前記第1の入力手段より入力された文脈語群の各単語を、所定の特徴語群に対応する要素を有し、当該単語の意味を表すベクトルに変換するとともに、該単語が前記否定演算子を含む場合は当該単語の意味を表すベクトルと直交するベクトルに変換することにより、前記文脈語群を文脈語ベクトル群に変換する第2の変換手段と、
    所定の空間生成語群の各空間生成語を、前記所定の特徴語群に対応する要素を有し、当該空間生成後の意味を表す空間生成ベクトルに変換することにより、前記空間生成語群を空間生成ベクトル群に変換し、該空間生成ベクトル群に基づいて意味空間を生成する意味空間生成手段と、
    前記意味空間における前記空間生成ベクトル群の平均ベクトルを求め、該平均ベクトルの各要素の絶対値の大きい方から順にある順位までの要素に対応する軸を、当該意味空間の主軸として決定する主軸決定手段と、
    前記文脈語ベクトル群の意味重心を計算し、前記意味空間において、当該意味重心の各要素のうち絶対値が所定値より大きい要素に対応する軸であって、前記主軸に含まれない軸で張られる部分空間ヘの射影子を生成する射影子生成手段と、
    比較対象語群を入力する第2の入力手段と、
    該第2の入力手段より入力された比較対象語群の各単語を、前記所定の特徴語群に対応する要素を有し、当該単語の意味を表すベクトルに変換することにより、前記比較対象語群を比較対象ベクトル群に変換する第3の変換手段と、
    前記検索語ベクトルと前記比較対象ベクトル群とを、前記射影子生成手段により生成された射影子により前記部分空間に射影する射影手段と、
    該射影手段により射影された前記比較対象ベクトル群の各ベクトルと前記検索語ベクトルとの相関量を計算する計算手段と、
    該計算手段により計算された相関量に基づいて、前記比較対象語群より少なくとも1つの単語を選出する選出手段とを有することを特徴とする意味情報処理装置。
  2. 前記選出手段は、前記比較対象語群中の単語を、各単語に関わる前記相関量の順に並べ替えて出力することを特徴とする請求項1に記載の意味情報処理装置。
  3. 前記相関量は距離であり、前記選出手段は、前記比較対象語群より、各単語に関わる前記距離が最小となる単語を選出することを特徴とする請求項1に記載の意味情報処理装置。
  4. 前記第1、第2及び第3の変換手段が、前記所定の特徴語群を用いて単語の意味を記述した辞書を参照して、各単語を、当該単語の意味を記述するために使用される単語の組み合わせに対応するベクトルに変換することを特徴とする請求項1に記載の意味情報処理装置。
  5. 前記意味空間生成手段が、前記所定の特徴語群を用いて単語の意味を記述した辞書を参照して、各単語を、当該単語の意味を記述するために使用される単語の組み合わせに対応するベクトルに変換することを特徴とする請求項に記載の意味情報処理装置。
  6. 前記意味空間生成手段が、前記空間生成ベクトル群から相関行列を生成し、該相関行列を特異値分解して意味空間変換行列を作成し、
    前記第1乃至第3の変換手段が、前記意味空間変換行列を利用して前記意味空間上のベクトルへ変換することを特徴とする請求項に記載の意味情報処理装置。
  7. 前記射影子生成手段が、前記文脈語ベクトル群の合成ベクトルを計算する合成ベクトル計算手段を有し、該合成ベクトルに基づいて前記意味重心計算することを特徴とする請求項1に記載の意味情報処理装置。
  8. 前記合成ベクトル計算手段は、前記合成ベクトルとして、前記文脈語ベクトル群の正規化された平均ベクトルを計算することを特徴とする請求項に記載の意味情報処理装置。
  9. 前記文脈語群が、文脈語の対に作用する第2の演算子を伴い、前記第2の演算子が前記合成ベクトル計算手段による合成ベクトルの計算時に作用することを特徴とする請求項7に記載の意味情報処理装置。
  10. 前記比較対象語群をキーワードとして利用可能なデータベースと、
    前記選出手段により選出された比較対象語をキーワードとして前記データベースを検索する検索手段とを更に有することを特徴とする請求項1に記載の意味情報処理装置。
  11. 前記データベースが、画像を該画像の内容あるいは印象を表す1つ以上のキーワードと対応付けて記憶していることを特徴とする請求項10に記載の意味情報処理装置。
  12. 前記第1の入力手段を介し、ユーザが所望の画像に対応して入力した検索語群を、ユーザに応じて修正する修正手段を更に有することを特徴とする請求項11に記載の意味情報処理装置。
  13. 前記データベースより与えられた画像と、該画像に対してユーザの選んだ検索語群とに基づいて、前記修正手段の修正量を算出する修正量算出手段を更に有することを特徴とする請求項12に記載の意味情報処理装置。
  14. 検索語と、各文脈語が第1の演算子として否定演算子を含むことが可能な文脈語群を入力するための第1の入力手段と、比較対象語群を入力するための第2の入力手段と、プログラムに基づいて各種処理を実行する処理手段とを備えた情報処理装置において、入力された検索語及び文脈語群に相関する少なくとも1つの比較対象語を選出する意味情報処理方法であって、
    前記処理手段が、前記第1の入力手段を介して検索語検索語と、各文脈語が否定演算子を伴うことが可能な文脈語群との入力を受け付ける第1の入力工程と、
    前記処理手段が、該第1の入力工程において受け付けた検索語を、所定の特徴語群に対応する要素を有し、当該検索語の意味を表す検索語ベクトルに変換する第1の変換工程と、
    前記処理手段が、前記第1の入力工程において受け付けた文脈語群の各単語を、所定の特徴語群に対応する要素を有し、当該単語の意味を表すベクトルに変換するとともに、該単語が前記否定演算子を含む場合は当該単語の意味を表すベクトルと直交するベクトルに変換することにより、前記文脈語群を文脈語ベクトル群に変換する第2の変換工程と、
    前記処理手段が、予め準備された空間生成語群の各空間生成語を、前記所定の特徴語群に対応する要素を有し、当該空間生成後の意味を表す空間生成ベクトルに変換することにより、前記空間生成語群を空間生成ベクトル群に変換し、該空間生成ベクトル群に基づいて意味空間を生成する意味空間生成工程と、
    前記処理手段が、前記意味空間における前記空間生成ベクトル群の平均ベクトルを求め、該平均ベクトルの各要素の絶対値の大きい方から順にある順位までの要素に対応する軸を、当該意味空間の主軸として決定する主軸決定工程と、
    前記処理手段が、前記文脈語ベクトル群の意味重心を計算し、前記意味空間において、当該意味重心の各要素のうち絶対値が所定値より大きい要素に対応する軸であって、前記主軸に含まれない軸で張られる部分空間ヘの射影子を生成する射影子生成工程と、
    前記処理手段が、前記第2の入力手段を介して比較対象語群の入力を受け付ける第2の入力工程と、
    前記処理手段が、該第2の入力工程において受け付けた比較対象語群の各比較対象語を、前記所定の特徴語群に対応する要素を有し、当該比較対象後の意味を表す比較対象ベクトルに変換することにより、前記比較対象語群を比較対象ベクトル群に変換する第3の変換工程と、
    前記処理手段が、前記検索語ベクトルと前記比較対象ベクトル群とを、前記射影子生成工程により生成された射影子により前記部分空間に射影する射影工程と、
    前記処理手段が、該射影工程により射影された比較対象ベクトル群の各ベクトルと、前記検索語ベクトルとの相関量を計算する計算工程と、
    前記処理手段が、該計算工程により計算された相関量に基づいて、前記比較対象語群より少なくとも1つの単語を選出する選出工程とを有することを特徴とする意味情報処理方法。
  15. 前記選出工程では、前記比較対象語群中の単語を、各単語に関わる前記相関量の順に並べ換えて出力することを特徴とする請求項14に記載の意味情報処理方法。
  16. 前記相関量は距離であり、前記選出工程では、前記比較対象語群より、各単語に関わる前記距離が最小となる単語を選出することを特徴とする請求項14に記載の意味情報処理方法。
  17. 前記第1及び第2の変換工程では、前記所定の特徴語群を用いて単語の意味を記述した辞書を参照して、各単語を、当該単語の意味を記述するために使用される単語の組み合わせに対応するベクトルに変換することを特徴とする請求項14に記載の意味情報処理方法。
  18. 前記意味空間生成工程では、前記所定の特徴語群を用いて単語の意味を記述した辞書を参照して、各単語を、当該単語の意味を記述するために使用される単語の組み合わせに対応するベクトルに変換することを特徴とする請求項14に記載の意味情報処理方法。
  19. 前記意味空間生成工程では、前記空間生成ベクトル群から相関行列を生成し、該相関行列を特異値分解して意味空間変換行列を作成し、
    前記第1乃至第3の変換工程において、前記意味空間変換行列を利用して前記意味空間上のベクトルへ変換することを特徴とする請求項14に記載の意味情報処理方法。
  20. 前記射影子生成工程が、前記文脈語ベクトル群の合成ベクトルを計算する合成ベクトル計算工程を含み、該合成ベクトルに基づいて前記意味重心計算することを特徴とする請求項14に記載の意味情報処理方法。
  21. 前記合成ベクトル計算工程では、前記合成ベクトルとして、前記文脈語ベクトル群の正規化された平均ベクトルを計算することを特徴とする請求項20に記載の意味情報処理方法。
  22. 前記文脈語群が、文脈語の対に作用する第2の演算子を伴い、前記第2の演算子が前記合成ベクトル計算工程による合成ベクトルの計算時に作用することを特徴とする請求項20記載の意味情報処理方法。
  23. 前記第2の入力工程において、前記比較対象語群として所定のデータベースで利用可能なキーワードを受け付け
    前記処理手段が、前記選出工程により選出された比較対象語をキーワードとして前記所定のデータベースを検索する検索工程を更に有することを特徴とする請求項14に記載の意味情報処理方法。
  24. 前記所定のデータベースが、画像を該画像の内容あるいは印象を表す1つ以上のキーワードと対応付けて記憶しているデータベースであることを特徴とする請求項23に記載の意味情報処理方法。
  25. 前記処理手段が、前記第1の入力工程ユーザから所望の画像に対応して受け付けた検索語群を、ユーザに応じて修正する修正工程を更に有することを特徴とする請求項24に記載の意味情報処理方法。
  26. 前記処理手段が、前記データベースより与えられた画像と、該画像に対してユーザの選んだ検索語群とに基づいて、前記修正工程の修正量を算出する修正量算出工程を更に有することを特徴とする請求項25に記載の意味情報処理方法。
JP20347296A 1996-08-01 1996-08-01 意味情報処理方法及びその装置 Expired - Lifetime JP3916007B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP20347296A JP3916007B2 (ja) 1996-08-01 1996-08-01 意味情報処理方法及びその装置
EP97305783A EP0822506A3 (en) 1996-08-01 1997-07-31 Method and apparatus for retrieving data
EP08158985A EP2026218A1 (en) 1996-08-01 1997-07-31 Method and apparatus for retrieving data
US08/904,149 US6138116A (en) 1996-08-01 1997-07-31 Method and apparatus for retrieving data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20347296A JP3916007B2 (ja) 1996-08-01 1996-08-01 意味情報処理方法及びその装置

Publications (2)

Publication Number Publication Date
JPH1049541A JPH1049541A (ja) 1998-02-20
JP3916007B2 true JP3916007B2 (ja) 2007-05-16

Family

ID=16474716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20347296A Expired - Lifetime JP3916007B2 (ja) 1996-08-01 1996-08-01 意味情報処理方法及びその装置

Country Status (3)

Country Link
US (1) US6138116A (ja)
EP (2) EP0822506A3 (ja)
JP (1) JP3916007B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480841B1 (en) * 1997-09-22 2002-11-12 Minolta Co., Ltd. Information processing apparatus capable of automatically setting degree of relevance between keywords, keyword attaching method and keyword auto-attaching apparatus
US6424969B1 (en) * 1999-07-20 2002-07-23 Inmentia, Inc. System and method for organizing data
JP3335602B2 (ja) * 1999-11-26 2002-10-21 株式会社クリエイティブ・ブレインズ 思考系の解析方法および解析装置
US6751621B1 (en) * 2000-01-27 2004-06-15 Manning & Napier Information Services, Llc. Construction of trainable semantic vectors and clustering, classification, and searching using trainable semantic vectors
WO2001067326A1 (fr) * 2000-03-09 2001-09-13 Kitagawa, Yoshiko Appareil de traitement de l'information equipe d'un lecteur de donnees optiques, serveurs et procede de commerce electronique
US7912868B2 (en) * 2000-05-02 2011-03-22 Textwise Llc Advertisement placement method and system using semantic analysis
US6687689B1 (en) * 2000-06-16 2004-02-03 Nusuara Technologies Sdn. Bhd. System and methods for document retrieval using natural language-based queries
JP3573688B2 (ja) * 2000-06-28 2004-10-06 松下電器産業株式会社 類似文書検索装置及び関連キーワード抽出装置
US6687696B2 (en) * 2000-07-26 2004-02-03 Recommind Inc. System and method for personalized search, information filtering, and for generating recommendations utilizing statistical latent class models
US6807536B2 (en) * 2000-11-16 2004-10-19 Microsoft Corporation Methods and systems for computing singular value decompositions of matrices and low rank approximations of matrices
US6944619B2 (en) 2001-04-12 2005-09-13 Primentia, Inc. System and method for organizing data
US7043689B2 (en) * 2002-02-26 2006-05-09 Adobe Systems Incorporated Managing zero-width markers
US6847966B1 (en) 2002-04-24 2005-01-25 Engenium Corporation Method and system for optimally searching a document database using a representative semantic space
JP2004013504A (ja) * 2002-06-06 2004-01-15 Univ Hiroshima パターン認識システム、このシステムに用いられる連想メモリ装置及びパターン認識処理方法
US7181451B2 (en) * 2002-07-03 2007-02-20 Word Data Corp. Processing input text to generate the selectivity value of a word or word group in a library of texts in a field is related to the frequency of occurrence of that word or word group in library
JP3974511B2 (ja) * 2002-12-19 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報検索のためのデータ構造を生成するコンピュータ・システム、そのための方法、情報検索のためのデータ構造を生成するコンピュータ実行可能なプログラム、情報検索のためのデータ構造を生成するコンピュータ実行可能なプログラムを記憶したコンピュータ可読な記憶媒体、情報検索システム、およびグラフィカル・ユーザ・インタフェイス・システム
US20040158561A1 (en) * 2003-02-04 2004-08-12 Gruenwald Bjorn J. System and method for translating languages using an intermediate content space
US8244726B1 (en) 2004-08-31 2012-08-14 Bruce Matesso Computer-aided extraction of semantics from keywords to confirm match of buyer offers to seller bids
US7415449B2 (en) * 2006-01-30 2008-08-19 Xerox Corporation Solution recommendation based on incomplete data sets
US8037003B2 (en) * 2006-01-30 2011-10-11 Xerox Corporation Solution recommendation based on incomplete data sets
US8112402B2 (en) * 2007-02-26 2012-02-07 Microsoft Corporation Automatic disambiguation based on a reference resource
US7921094B2 (en) * 2007-02-28 2011-04-05 Brother Kogyo Kabushiki Kaisha Network system and communication device
WO2009019860A1 (ja) * 2007-08-09 2009-02-12 Panasonic Corporation コンテンツ検索装置
US9311391B2 (en) * 2008-12-30 2016-04-12 Telecom Italia S.P.A. Method and system of content recommendation
US10339214B2 (en) * 2011-11-04 2019-07-02 International Business Machines Corporation Structured term recognition
CN105912630B (zh) * 2016-04-07 2020-01-31 北京搜狗信息服务有限公司 一种信息扩展方法及装置
US11095590B2 (en) * 2016-09-28 2021-08-17 International Business Machines Corporation System and method for enhanced chatflow application
US11106712B2 (en) * 2016-10-24 2021-08-31 Google Llc Systems and methods for measuring the semantic relevance of keywords
CN107818781B (zh) * 2017-09-11 2021-08-10 远光软件股份有限公司 智能交互方法、设备及存储介质
US11126795B2 (en) 2017-11-01 2021-09-21 monogoto, Inc. Systems and methods for analyzing human thought
CN108038105B (zh) * 2017-12-22 2020-06-05 中科鼎富(北京)科技发展有限公司 一种对未登录词生成仿真词向量的方法及装置
JP7058574B2 (ja) * 2018-09-10 2022-04-22 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4849898A (en) * 1988-05-18 1989-07-18 Management Information Technologies, Inc. Method and apparatus to identify the relation of meaning between words in text expressions
US4839853A (en) * 1988-09-15 1989-06-13 Bell Communications Research, Inc. Computer information retrieval using latent semantic structure
NL8900587A (nl) * 1989-03-10 1990-10-01 Bso Buro Voor Systeemontwikkel Werkwijze voor het bepalen van de semantische verwantheid van lexicale componenten in een tekst.
US5559940A (en) * 1990-12-14 1996-09-24 Hutson; William H. Method and system for real-time information analysis of textual material
US5263120A (en) * 1991-04-29 1993-11-16 Bickel Michael A Adaptive fast fuzzy clustering system
DE69426541T2 (de) * 1993-03-12 2001-06-13 Toshiba Kawasaki Kk Dokumentdetektionssystem mit Darstellung des Detektionsresultats zur Erleichterung des Verständnis des Benutzers
US5544352A (en) * 1993-06-14 1996-08-06 Libertech, Inc. Method and apparatus for indexing, searching and displaying data
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US5873056A (en) * 1993-10-12 1999-02-16 The Syracuse University Natural language processing system for semantic vector representation which accounts for lexical ambiguity
US5630125A (en) * 1994-05-23 1997-05-13 Zellweger; Paul Method and apparatus for information management using an open hierarchical data structure
US5778362A (en) * 1996-06-21 1998-07-07 Kdl Technologies Limted Method and system for revealing information structures in collections of data items

Also Published As

Publication number Publication date
EP0822506A2 (en) 1998-02-04
EP2026218A1 (en) 2009-02-18
JPH1049541A (ja) 1998-02-20
US6138116A (en) 2000-10-24
EP0822506A3 (en) 1999-01-20

Similar Documents

Publication Publication Date Title
JP3916007B2 (ja) 意味情報処理方法及びその装置
US5619709A (en) System and method of context vector generation and retrieval
Morrison et al. Fast multidimensional scaling through sampling, springs and interpolation
Wilkinson et al. Using the cosine measure in a neural network for document retrieval
US20040088308A1 (en) Information analysing apparatus
US20050108200A1 (en) Category based, extensible and interactive system for document retrieval
US20070106491A1 (en) Method and mechanism for the creation, maintenance, and comparison of semantic abstracts
KR20010042377A (ko) 언어 모델을 근거로 하는 정보 검색 및 음성 인식
Pečenovió et al. Integrated browsing and searching of large image collections
US7333997B2 (en) Knowledge discovery method with utility functions and feedback loops
KR20220114495A (ko) 탐색, 검색 및 순위화를 위한 상호작용 계층 신경망
US5899989A (en) On-demand interface device
JP2006072744A (ja) 文書処理装置、その制御方法、プログラム、及び記憶媒体
US5742706A (en) Method and apparatus for comparison of data strings
EP0872803B1 (en) Image processing method and control method therefor
Retsinas et al. Compact deep descriptors for keyword spotting
US20220358158A1 (en) Methods for searching images and for indexing images, and electronic device
Bertolotti et al. CombTransformers: Statement-Wise Transformers for Statement-Wise Representations
Kohonen Self-organizing maps of massive document collections
Barnard et al. Exploiting text and image feature co-occurrence statistics in large datasets
RU2707917C1 (ru) Способ поиска методов разрешения технических противоречий и система на основе обучаемой нейронной сети для его осуществления
Nkwenti‐Azeh New trends in terminology processing and implications for practical translation
Crouch Language relations in a generalized information storage and retrieval system
JP2010003266A (ja) クエリ生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体
Rosenthal Applying artificial intelligence to astronomical databases-a surveyof applicable technology.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 7

EXPY Cancellation because of completion of term