JP3614765B2 - 概念辞書拡張装置 - Google Patents
概念辞書拡張装置 Download PDFInfo
- Publication number
- JP3614765B2 JP3614765B2 JP2000278108A JP2000278108A JP3614765B2 JP 3614765 B2 JP3614765 B2 JP 3614765B2 JP 2000278108 A JP2000278108 A JP 2000278108A JP 2000278108 A JP2000278108 A JP 2000278108A JP 3614765 B2 JP3614765 B2 JP 3614765B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- vector
- database
- attribute
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ上で、自然言語文の意味処理を行うために用いる概念辞書に新しい語を追加する概念辞書拡張装置に関する。
【０００２】
【従来の技術】
近年のインターネットの発達などにより、電子化された文書が多数存在するようになり、それらを検索、分類したいという要望が高まっている。電子化された文書を検索、分類する手法には、単語の出現頻度に基づく文書ベクトルを利用する方法や、単語の意味を属性ベクトルで表現した概念辞書を用いて、文書内に出現する各単語の属性ベクトルの和により表現した文書ベクトルを利用する方法などがある。
【０００３】
単語の出現頻度を利用するものは、特に辞書を必要としないという利点はあるが、表記にのみ依存するので、表記の違う単語同士は、全く別の語として取り扱われてしまうため、単語間の意味の近さを表現できないという欠点がある。これに対して、概念辞書を用いる方法は、概念辞書中の属性ベクトルの近い語は類似の語として判断することが可能なので、単語間の意味の類似性を取り扱うことができる。
【０００４】
概念辞書を作成する手法としては、既存の国語辞書などを利用し、見出し語の単語を、その後の語義文中に出現する単語を属性とし、その出現回数をその属性の値として、属性ベクトルを定義するという方法がある。
【０００５】
【発明が解決しようとする課題】
しかしながら、辞書の語義文を利用する方法では、辞書に掲載されている以外の語の属性ベクトルを定義することはできない。このため、インターネット上のＷＷＷページなどに出現する固有名詞や新語を取り扱うことができないという問題がある。
【０００６】
本発明の目的は、概念辞書中に存在しない固有名詞や新語の属性ベクトルを計算し、概念辞書に追加し、概念辞書を拡張する概念辞書拡張装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の概念辞書拡張装置は概念辞書と検索ログデータベースと関連語データベースと新語リストと一時保存ベクトルデータベースと新語辞書と関連度計算部と新語ベクトル計算部を有する。
【０００８】
関連度計算部は、検索ログから得られる、検索ユーザが使用した各２つの検索語の使用された時間間隔の情報を用いて両検索語間の関連度を算出し、検索語とその関連度を含む関連語データを作成する。
【０００９】
新語ベクトル計算部は、属性ベクトルを追加する新語のリストである新語リストから単語を１つ読み込み、関連語データベースから、その単語に関する関連語を関連度ともに受け取る。
【００１０】
次に、関連語の中で概念辞書に既に存在するものについて、属性ベクトルを概念辞書から取得し、それを関連度で重みづけした上で足し合わせて、新語の属性ベクトルとする。これを新語リストの各単語について行い、結果を一時保存ベクトルデータベースへ保存する。
【００１１】
次に、新語ベクトル計算部は、再び新語リストから単語を１つ読み込み、先程と同様に、関連語とその関連度を関連語データベースから取得する。
【００１２】
関連語の中で概念辞書に存在するものは、概念辞書から、一時保存ベクトルデータベースに存在するものに関しては、一時保存ベクトルデータベースから属性ベクトルを取得し、関連度で重みづけした上で足し合わせて、新語の新たな属性ベクトルとし、一時保存ベクトルデータベースに記録する。
【００１３】
関連語データを取得し、概念辞書と一時保存ベクトルデータベース中の属性ベクトルデータを利用して、新たな属性ベクトルを計算するという動作を、予め定められた回数、あるいは前回の属性ベクトルと新たな属性ベクトルの差分の総和が予め定められた閾値を下回るまで繰り返し、最終的に得られた結果を新語辞書に出力する。
【００１４】
以上のように、検索ログと概念辞書より新たな語の属性ベクトルを算出し、新語辞書を概念辞書に加えることにより、概念辞書の拡張を行うことができる。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
図１を参照すると、本発明の一実施形態の概念辞書拡張装置は新語リスト１と概念辞書２と検索ログデータベース３と関連度計算部４と関連語データベース５と新語ベクトル計算部６と一時保存ベクトルデータベース７と新語辞書８で構成されている。
【００１７】
新語リスト１は属性ベクトルを追加する単語のリストを保存している。概念辞書２は語の意味を属性ベクトルで表現した辞書である。検索ログデータベース３はＷＷＷの検索エンジンの検索ログまたはデータベースの検索ログを保存している。関連度計算部４は検索ログデータベース３中の検索ログから、ユーザＩＤ（または端末ＩＤ）、検索語、検索時刻の情報を取得し、検索語間の関連度を計算し、関連語データベース５に検索語と関連度を含む関連語データを出力する。関連語データベース５は関連度計算部４が出力した関連語データを保存する。新語ベクトル計算部６は新語リスト１から読み込んだ単語に関する関連語データを関連語データベース５より取得し、それに基づき概念辞書２および一時保存ベクトルデータベース７内の語の属性ベクトル情報を利用して、新語の属性ベクトルを計算し、一時保存ベクトルデータベース７や新語辞書８に出力する。一時保存ベクトルデータベース７は新語ベクトル計算部６が算出した、新語の属性ベクトルの途中結果を一時的に保存する。新語辞書８は新語ベクトル計算部６が算出した最終的な新語の属性ベクトルを保存する。
【００１８】
図２は、新語リスト１中の単語リストの例である。概念辞書２に新たに追加したい語を１行に１単語記述したものである。
【００１９】
表１は、概念辞書２中の辞書データの例である。図中の「電話」「レストラン」「グラフ」などが単語であり、「Ａ」「Ｂ」「Ｃ」・・・・「ＺＺＺ」が属性名である。各語について、各属性の値を定義してあり、これにより単語が属性ベクトルとして表現されている。これは、予め作成して与えておく。なお、一時保存ベクトルデータベース７、新語辞書８中のデータも同様の形式である。
【００２０】
【表１】
【００２１】
表２は、検索ログデータベース３中の検索ログの例である。ユーザまたは端末を表すユーザＩＤとそのユーザが入力した単語とその単語が入力された時刻が記述してある。
【００２２】
【表２】
【００２３】
この例では、時刻はある時点を起点として、そこからの秒数で表現してある。ログの表現形式は一例であり、ユーザＩＤ、検索時刻、検索語の情報が含まれていれば、形式に制限はない。
【００２４】
図３は、関連語データベース５中の関連語データの例である。２つの語と、その関連度が記述されている。この値が大きいほど、２つの語の関連度が高いことを示している。
【００２５】
次に、本概念辞書拡張装置の動作について、図４に示すフローチャートをもとに説明する。
【００２６】
ステップ１０１に、関連度計算部４は検索ログデータベース３中の検索ログを読み込み、関連度を計算し、関連語と関連度を含む関連語データを作成し、関連語データベース５に保存する。検索語ｗｊとｗｋの関連度Ｖｊｋは例えば以下の式で求める。
【００２７】
【数１】
【００２８】
ここで、ｉは、検索語ｗｊとｗｋの両方の語を使用したユーザを表し、
【００２９】
【外１】
【００３０】
は、以下で与えられるものとする。
【００３１】
【数２】
【００３２】
ただし、ｔｉｊは、ユーザｉが検索語ｗｊを使用した時刻とする。
【００３３】
また、関数ｆ（ｘ）は、ｘの値が大きいほど、小さい値を与える関数とする。
【００３４】
検索語ｗｊとｗｋの関連度は、あるユーザｉがｗｊとｗｋを使用した時間間隔が小さいほど大きくなり、また、ｗｊとｗｋの両方を使用したユーザの数が大きいほど大きくなる。
【００３５】
上記の方法で、全ての検索語の組み合わせについて、関連度を計算し、図３に示すような形式の関連語データを作成し、関連語データベース５に保存する。
【００３６】
ステップ１０２に、新語ベクトル計算部６は、新語リスト１中のリストＬから単語ｔを取り出す。
【００３７】
ステップ１０３に、新語ベクトル計算部６は関連語データベース５から単語ｔの関連語データＲを取得する。関連語データＲは、単語ｔの関連語ｒｉと、単語ｔの関連語ｒｉの関連度ｖｉの組（ｒｉ，ｖｉ）の集合である。ここで、ｉは関連語の番号である。
【００３８】
ステップ１０４に、新語ベクトル計算部６は、関連語データＲ中の関連語ｒｉのうちで、概念辞書２中に存在する語に関して、概念辞書２より各関連語ｒｉの属性ベクトル
【００３９】
【外２】
【００４０】
を取得する。
【００４１】
ステップ１０５に、新語ベクトル計算部６は、関連語データＲ中の語ｒのうちで、一時保存ベクトルデータベース７中に存在する語に関して、一時保存データベース７よりその属性ベクトル
【００４２】
【外３】
【００４３】
を取得する。なお、初期状態では、一時保存ベクトルデータベース７中にはデータはない。
【００４４】
ステップ１０６に、新語ベクトル計算部６は、関連度の高い語同士は意味的な関連も深いと仮定し、ステップ１０４または１０５で取得した属性ベクトルデータ
【００４５】
【外４】
【００４６】
とステップ１０３で求めた関連度の値ｖｉを用いて、単語ｔの属性ベクトル
【００４７】
【外５】
【００４８】
を次式により計算
【００４９】
【数３】
【００５０】
する。
【００５１】
ここで、添字１は単語ｔの属性ベクトルの１回目の計算結果であることを表す。一般に単語ｔの属性ベクトルのｎ回目の計算結果を
【００５２】
【外６】
【００５３】
で表す。
【００５４】
ステップ１０７に、新語リストＬ中に未処理の単語が存在するかどうか判定する。存在する場合は、ステップ１０２へ、全ての単語について処理を終えた場合は、ステップ１０８へ進む。この時点で、新語リストＬ中の各語についての属性ベクトルの計算が１回、終了したことになる。
【００５５】
ステップ１０８に、新語ベクトル計算部６は、終了条件を判定する。終了条件としては、予め設定した計算回数に達したか否かや、各単語の属性ベクトルの前回の計算結果との差分の総和Ｄが、予め設定した閾値より小さいか否かなどが考えられる。Ｄは次式で定義される。
【００５６】
【数４】
【００５７】
終了条件が満たされている場合は、ステップ１１０へ、満たされていない場合は、ステップ１０９へ進む。
【００５８】
ステップ１０９に、新語ベクトル計算部６は、今回計算した各語の属性ベクトルで、一時保存ベクトルデータベース７を書き換え、ステップ１０２へ戻る。
【００５９】
ステップ１１０に、新語ベクトル計算部６は、今回計算した各語の属性ベクトルを新語辞書８へ書き出す。
【００６０】
本実施形態によれば、既存の概念辞書２と検索ログを用意するだけで、自動的に新語の属性ベクトルを算出することが可能となる。
【００６１】
なお、以上説明した図４の処理は概念辞書拡張プログラムとして、フロッピィディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどの記録媒体に記録しておき、パソコンなどのコンピュータ上で実行することができる。
【００６２】
【発明の効果】
以上説明したように、本発明は、インターネットの検索エンジンやデータベースの検索ログから、検索語、検索語が使用された時刻、検索語の使用者あるいは使用端末のＩＤ情報を獲得し、これらに基づき検索語間の関連の程度を表す関連度を算出し、この関連度と概念辞書に定義された単語の属性ベクトルを用い、新語の属性ベクトルを自動的に算出することにより、新語や固有名詞に対応した概念辞書を容易に構築できるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態の概念辞書拡張装置のブロック図である。
【図２】図１に示した新語リスト１中の単語リストの例の一部である。
【図３】図１に示した関連度計算部４が生成し、関連語データベース５に保存される関連語データの例の一部である。
【図４】図１の概念辞書拡張装置の動作を示すフローチャートである。
【符号の説明】
１ 新語リスト
２ 概念辞書
３ 検索ログデータベース
４ 関連度計算部
５ 関連語データベース
６ 新語ベクトル計算部
７ 一時保存ベクトルデータベース
８ 新語辞書
１０１〜１１０ ステップ
【発明の属する技術分野】
本発明は、コンピュータ上で、自然言語文の意味処理を行うために用いる概念辞書に新しい語を追加する概念辞書拡張装置に関する。
【０００２】
【従来の技術】
近年のインターネットの発達などにより、電子化された文書が多数存在するようになり、それらを検索、分類したいという要望が高まっている。電子化された文書を検索、分類する手法には、単語の出現頻度に基づく文書ベクトルを利用する方法や、単語の意味を属性ベクトルで表現した概念辞書を用いて、文書内に出現する各単語の属性ベクトルの和により表現した文書ベクトルを利用する方法などがある。
【０００３】
単語の出現頻度を利用するものは、特に辞書を必要としないという利点はあるが、表記にのみ依存するので、表記の違う単語同士は、全く別の語として取り扱われてしまうため、単語間の意味の近さを表現できないという欠点がある。これに対して、概念辞書を用いる方法は、概念辞書中の属性ベクトルの近い語は類似の語として判断することが可能なので、単語間の意味の類似性を取り扱うことができる。
【０００４】
概念辞書を作成する手法としては、既存の国語辞書などを利用し、見出し語の単語を、その後の語義文中に出現する単語を属性とし、その出現回数をその属性の値として、属性ベクトルを定義するという方法がある。
【０００５】
【発明が解決しようとする課題】
しかしながら、辞書の語義文を利用する方法では、辞書に掲載されている以外の語の属性ベクトルを定義することはできない。このため、インターネット上のＷＷＷページなどに出現する固有名詞や新語を取り扱うことができないという問題がある。
【０００６】
本発明の目的は、概念辞書中に存在しない固有名詞や新語の属性ベクトルを計算し、概念辞書に追加し、概念辞書を拡張する概念辞書拡張装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の概念辞書拡張装置は概念辞書と検索ログデータベースと関連語データベースと新語リストと一時保存ベクトルデータベースと新語辞書と関連度計算部と新語ベクトル計算部を有する。
【０００８】
関連度計算部は、検索ログから得られる、検索ユーザが使用した各２つの検索語の使用された時間間隔の情報を用いて両検索語間の関連度を算出し、検索語とその関連度を含む関連語データを作成する。
【０００９】
新語ベクトル計算部は、属性ベクトルを追加する新語のリストである新語リストから単語を１つ読み込み、関連語データベースから、その単語に関する関連語を関連度ともに受け取る。
【００１０】
次に、関連語の中で概念辞書に既に存在するものについて、属性ベクトルを概念辞書から取得し、それを関連度で重みづけした上で足し合わせて、新語の属性ベクトルとする。これを新語リストの各単語について行い、結果を一時保存ベクトルデータベースへ保存する。
【００１１】
次に、新語ベクトル計算部は、再び新語リストから単語を１つ読み込み、先程と同様に、関連語とその関連度を関連語データベースから取得する。
【００１２】
関連語の中で概念辞書に存在するものは、概念辞書から、一時保存ベクトルデータベースに存在するものに関しては、一時保存ベクトルデータベースから属性ベクトルを取得し、関連度で重みづけした上で足し合わせて、新語の新たな属性ベクトルとし、一時保存ベクトルデータベースに記録する。
【００１３】
関連語データを取得し、概念辞書と一時保存ベクトルデータベース中の属性ベクトルデータを利用して、新たな属性ベクトルを計算するという動作を、予め定められた回数、あるいは前回の属性ベクトルと新たな属性ベクトルの差分の総和が予め定められた閾値を下回るまで繰り返し、最終的に得られた結果を新語辞書に出力する。
【００１４】
以上のように、検索ログと概念辞書より新たな語の属性ベクトルを算出し、新語辞書を概念辞書に加えることにより、概念辞書の拡張を行うことができる。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
図１を参照すると、本発明の一実施形態の概念辞書拡張装置は新語リスト１と概念辞書２と検索ログデータベース３と関連度計算部４と関連語データベース５と新語ベクトル計算部６と一時保存ベクトルデータベース７と新語辞書８で構成されている。
【００１７】
新語リスト１は属性ベクトルを追加する単語のリストを保存している。概念辞書２は語の意味を属性ベクトルで表現した辞書である。検索ログデータベース３はＷＷＷの検索エンジンの検索ログまたはデータベースの検索ログを保存している。関連度計算部４は検索ログデータベース３中の検索ログから、ユーザＩＤ（または端末ＩＤ）、検索語、検索時刻の情報を取得し、検索語間の関連度を計算し、関連語データベース５に検索語と関連度を含む関連語データを出力する。関連語データベース５は関連度計算部４が出力した関連語データを保存する。新語ベクトル計算部６は新語リスト１から読み込んだ単語に関する関連語データを関連語データベース５より取得し、それに基づき概念辞書２および一時保存ベクトルデータベース７内の語の属性ベクトル情報を利用して、新語の属性ベクトルを計算し、一時保存ベクトルデータベース７や新語辞書８に出力する。一時保存ベクトルデータベース７は新語ベクトル計算部６が算出した、新語の属性ベクトルの途中結果を一時的に保存する。新語辞書８は新語ベクトル計算部６が算出した最終的な新語の属性ベクトルを保存する。
【００１８】
図２は、新語リスト１中の単語リストの例である。概念辞書２に新たに追加したい語を１行に１単語記述したものである。
【００１９】
表１は、概念辞書２中の辞書データの例である。図中の「電話」「レストラン」「グラフ」などが単語であり、「Ａ」「Ｂ」「Ｃ」・・・・「ＺＺＺ」が属性名である。各語について、各属性の値を定義してあり、これにより単語が属性ベクトルとして表現されている。これは、予め作成して与えておく。なお、一時保存ベクトルデータベース７、新語辞書８中のデータも同様の形式である。
【００２０】
【表１】
表２は、検索ログデータベース３中の検索ログの例である。ユーザまたは端末を表すユーザＩＤとそのユーザが入力した単語とその単語が入力された時刻が記述してある。
【００２２】
【表２】
この例では、時刻はある時点を起点として、そこからの秒数で表現してある。ログの表現形式は一例であり、ユーザＩＤ、検索時刻、検索語の情報が含まれていれば、形式に制限はない。
【００２４】
図３は、関連語データベース５中の関連語データの例である。２つの語と、その関連度が記述されている。この値が大きいほど、２つの語の関連度が高いことを示している。
【００２５】
次に、本概念辞書拡張装置の動作について、図４に示すフローチャートをもとに説明する。
【００２６】
ステップ１０１に、関連度計算部４は検索ログデータベース３中の検索ログを読み込み、関連度を計算し、関連語と関連度を含む関連語データを作成し、関連語データベース５に保存する。検索語ｗｊとｗｋの関連度Ｖｊｋは例えば以下の式で求める。
【００２７】
【数１】
ここで、ｉは、検索語ｗｊとｗｋの両方の語を使用したユーザを表し、
【００２９】
【外１】
は、以下で与えられるものとする。
【００３１】
【数２】
ただし、ｔｉｊは、ユーザｉが検索語ｗｊを使用した時刻とする。
【００３３】
また、関数ｆ（ｘ）は、ｘの値が大きいほど、小さい値を与える関数とする。
【００３４】
検索語ｗｊとｗｋの関連度は、あるユーザｉがｗｊとｗｋを使用した時間間隔が小さいほど大きくなり、また、ｗｊとｗｋの両方を使用したユーザの数が大きいほど大きくなる。
【００３５】
上記の方法で、全ての検索語の組み合わせについて、関連度を計算し、図３に示すような形式の関連語データを作成し、関連語データベース５に保存する。
【００３６】
ステップ１０２に、新語ベクトル計算部６は、新語リスト１中のリストＬから単語ｔを取り出す。
【００３７】
ステップ１０３に、新語ベクトル計算部６は関連語データベース５から単語ｔの関連語データＲを取得する。関連語データＲは、単語ｔの関連語ｒｉと、単語ｔの関連語ｒｉの関連度ｖｉの組（ｒｉ，ｖｉ）の集合である。ここで、ｉは関連語の番号である。
【００３８】
ステップ１０４に、新語ベクトル計算部６は、関連語データＲ中の関連語ｒｉのうちで、概念辞書２中に存在する語に関して、概念辞書２より各関連語ｒｉの属性ベクトル
【００３９】
【外２】
を取得する。
【００４１】
ステップ１０５に、新語ベクトル計算部６は、関連語データＲ中の語ｒのうちで、一時保存ベクトルデータベース７中に存在する語に関して、一時保存データベース７よりその属性ベクトル
【００４２】
【外３】
を取得する。なお、初期状態では、一時保存ベクトルデータベース７中にはデータはない。
【００４４】
ステップ１０６に、新語ベクトル計算部６は、関連度の高い語同士は意味的な関連も深いと仮定し、ステップ１０４または１０５で取得した属性ベクトルデータ
【００４５】
【外４】
とステップ１０３で求めた関連度の値ｖｉを用いて、単語ｔの属性ベクトル
【００４７】
【外５】
を次式により計算
【００４９】
【数３】
する。
【００５１】
ここで、添字１は単語ｔの属性ベクトルの１回目の計算結果であることを表す。一般に単語ｔの属性ベクトルのｎ回目の計算結果を
【００５２】
【外６】
で表す。
【００５４】
ステップ１０７に、新語リストＬ中に未処理の単語が存在するかどうか判定する。存在する場合は、ステップ１０２へ、全ての単語について処理を終えた場合は、ステップ１０８へ進む。この時点で、新語リストＬ中の各語についての属性ベクトルの計算が１回、終了したことになる。
【００５５】
ステップ１０８に、新語ベクトル計算部６は、終了条件を判定する。終了条件としては、予め設定した計算回数に達したか否かや、各単語の属性ベクトルの前回の計算結果との差分の総和Ｄが、予め設定した閾値より小さいか否かなどが考えられる。Ｄは次式で定義される。
【００５６】
【数４】
終了条件が満たされている場合は、ステップ１１０へ、満たされていない場合は、ステップ１０９へ進む。
【００５８】
ステップ１０９に、新語ベクトル計算部６は、今回計算した各語の属性ベクトルで、一時保存ベクトルデータベース７を書き換え、ステップ１０２へ戻る。
【００５９】
ステップ１１０に、新語ベクトル計算部６は、今回計算した各語の属性ベクトルを新語辞書８へ書き出す。
【００６０】
本実施形態によれば、既存の概念辞書２と検索ログを用意するだけで、自動的に新語の属性ベクトルを算出することが可能となる。
【００６１】
なお、以上説明した図４の処理は概念辞書拡張プログラムとして、フロッピィディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどの記録媒体に記録しておき、パソコンなどのコンピュータ上で実行することができる。
【００６２】
【発明の効果】
以上説明したように、本発明は、インターネットの検索エンジンやデータベースの検索ログから、検索語、検索語が使用された時刻、検索語の使用者あるいは使用端末のＩＤ情報を獲得し、これらに基づき検索語間の関連の程度を表す関連度を算出し、この関連度と概念辞書に定義された単語の属性ベクトルを用い、新語の属性ベクトルを自動的に算出することにより、新語や固有名詞に対応した概念辞書を容易に構築できるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態の概念辞書拡張装置のブロック図である。
【図２】図１に示した新語リスト１中の単語リストの例の一部である。
【図３】図１に示した関連度計算部４が生成し、関連語データベース５に保存される関連語データの例の一部である。
【図４】図１の概念辞書拡張装置の動作を示すフローチャートである。
【符号の説明】
１ 新語リスト
２ 概念辞書
３ 検索ログデータベース
４ 関連度計算部
５ 関連語データベース
６ 新語ベクトル計算部
７ 一時保存ベクトルデータベース
８ 新語辞書
１０１〜１１０ ステップ
Claims (3)
- 語の意味をベクトル表現した概念辞書と、
ユーザの検索を記録した検索ログを保持する検索ログデータベースと、
検索語とその関連度を含む関連語データを一時保存する関連語データベースと
、
新たに属性ベクトルを追加する新語のリストである新語リストと、
属性ベクトルを一時保存する一時保存ベクトルデータベースと、
最終的な新語の属性ベクトルの計算結果を保持する新語辞書と、
前記検索ログデータベース中の検索ログを読み込み、検索ログから得られる、検索ユーザが使用した各２つの検索語の使用された時間間隔の情報を用いて両検索語間の関連度を算出し、検索語とその関連度を含む関連語データを前記関連語データベースに保存する関連度計算部と、
前記新語リスト中の各単語について、前記関連語データベースから、その単語に関する関連語を関連度とともに取得し、取得した関連語の中で前記概念辞書に既に存在するものについて、属性ベクトルを前記概念辞書から取得し、取得した関連語の中で前記一時保存ベクトルデータベースに存在するものについて、属性ベクトルを前記一時保存ベクトルデータベースから取得し、前記の取得した属性ベクトルを前記関連度で重みづけした上で足し合わせて前記単語の属性ベクトルを計算し、所定の終了条件が満たされたかどうか判定し、満たされていない場合、今回計算した各語の属性ベクトルで前記一時保存ベクトルデータベースを書き換え、前記の単語の属性ベクトルの計算に戻り、満たされていた場合、今回計算した各語の属性ベクトルを前記新語辞書へ書き出す新語ベクトル計算部を有する概念辞書拡張装置。 - 前記終了条件が、計算回数が予め設定された計算回数に達したか否かである、請求項１に記載の装置。
- 前記終了条件が、各単語の属性ベクトルの前回の計算結果との差分の総和が、予め設定された閾値よりも小さいか否かである、請求項１に記載の装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000278108A JP3614765B2 (ja) | 2000-09-13 | 2000-09-13 | 概念辞書拡張装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000278108A JP3614765B2 (ja) | 2000-09-13 | 2000-09-13 | 概念辞書拡張装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002092017A JP2002092017A (ja) | 2002-03-29 |
| JP3614765B2 true JP3614765B2 (ja) | 2005-01-26 |
Family
ID=18763319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000278108A Expired - Fee Related JP3614765B2 (ja) | 2000-09-13 | 2000-09-13 | 概念辞書拡張装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3614765B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005316699A (ja) * | 2004-04-28 | 2005-11-10 | Hitachi Ltd | コンテンツ公開システム、コンテンツ公開方法、及びコンテンツ公開プログラム |
| WO2008139568A1 (ja) | 2007-05-08 | 2008-11-20 | Fujitsu Limited | キーワード出力プログラム、キーワード出力装置およびキーワード出力方法 |
| JP5547030B2 (ja) * | 2010-10-18 | 2014-07-09 | 日本電信電話株式会社 | 情報分析装置及び方法及びプログラム |
| CN104573003B (zh) * | 2015-01-08 | 2017-11-10 | 浙江大学 | 基于新闻主题信息检索的金融时间序列预测方法 |
| US10846319B2 (en) * | 2018-03-19 | 2020-11-24 | Adobe Inc. | Online dictionary extension of word vectors |
| CN110321552A (zh) * | 2019-05-30 | 2019-10-11 | 泰康保险集团股份有限公司 | 词向量构建方法、装置、介质及电子设备 |
-
2000
- 2000-09-13 JP JP2000278108A patent/JP3614765B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002092017A (ja) | 2002-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4173774B2 (ja) | 重み付き編集距離に基づく例文の自動検索用システムおよび方法 | |
| US6199103B1 (en) | Electronic mail determination method and system and storage medium | |
| JP3719415B2 (ja) | 情報検索方法、情報検索システム、およびプログラム | |
| JP4664423B2 (ja) | 適合性のある情報を検索する方法 | |
| JP2005174336A (ja) | 情報抽出のための一般化文字列パターンの学習および使用 | |
| JP2019082931A (ja) | 検索装置、類似度算出方法、およびプログラム | |
| JP3614765B2 (ja) | 概念辞書拡張装置 | |
| KR20000069633A (ko) | 파일 처리 방법, 데이터 처리 장치 및 기억 매체 | |
| JPH1049543A (ja) | 文書検索装置 | |
| JP4065346B2 (ja) | 単語間の共起性を用いたキーワードの拡張方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH09282331A (ja) | 文書類似判定装置および文書類似判定方法 | |
| JP3472032B2 (ja) | 情報フィルタ装置及び情報フィルタ方法 | |
| JP3178406B2 (ja) | 階層型文章分類装置およびプログラムを記録した機械読み取り可能な記録媒体 | |
| JP2001265774A (ja) | 情報検索方法、装置、および情報検索プログラムを記録した記録媒体、ハイパーテキスト情報検索システム | |
| JP6805927B2 (ja) | インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法 | |
| JP2894301B2 (ja) | 文脈情報を用いた文書検索方法および装置 | |
| JP2003108571A (ja) | 文書要約装置、文書要約装置の制御方法、文書要約装置の制御プログラムおよび記録媒体 | |
| JP3836607B2 (ja) | 音声認識のための統計的言語モデル作成装置 | |
| JP3862059B2 (ja) | 検索式拡張方法および検索システム | |
| JP3558854B2 (ja) | データ検索装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2001101184A (ja) | 構造化文書生成方法及び装置及び構造化文書生成プログラムを格納した記憶媒体 | |
| JP2002108888A (ja) | ディジタルコンテンツのキーワード抽出装置、方法及びコンピュータ読み取り可能な記録媒体 | |
| JP3500698B2 (ja) | キーワード抽出装置及びキーワード抽出方法 | |
| JPH1145254A (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2007149022A (ja) | 文書特徴抽出装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040721 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040913 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040913 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041027 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |