JP4156279B2 - 情報処理装置、情報処理方法、情報処理プログラム、及びデータ検索装置 - Google Patents

情報処理装置、情報処理方法、情報処理プログラム、及びデータ検索装置 Download PDF

Info

Publication number
JP4156279B2
JP4156279B2 JP2002168133A JP2002168133A JP4156279B2 JP 4156279 B2 JP4156279 B2 JP 4156279B2 JP 2002168133 A JP2002168133 A JP 2002168133A JP 2002168133 A JP2002168133 A JP 2002168133A JP 4156279 B2 JP4156279 B2 JP 4156279B2
Authority
JP
Japan
Prior art keywords
word
impression
coordinate
subjective
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002168133A
Other languages
English (en)
Other versions
JP2004013653A (ja
Inventor
かほ里 増田
真 佐野
Original Assignee
株式会社ジャストシステム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジャストシステム filed Critical 株式会社ジャストシステム
Priority to JP2002168133A priority Critical patent/JP4156279B2/ja
Publication of JP2004013653A publication Critical patent/JP2004013653A/ja
Application granted granted Critical
Publication of JP4156279B2 publication Critical patent/JP4156279B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置、データ検索装置などに関し、例えば、イメージ情報の検索に利用する情報処理装置やデータ検索装置などに関する。
【0002】
【従来の技術】
静止画や動画、又はそれらを含むコンテンツなどのイメージ情報を、「やわらかい」、「クリアな」などの印象表現語によって検索する手法は従来から種々提案されている。このようなデータ検索を行うデータ検索装置として、例えば特開2001−101222号公報のデータ検索装置がある。まず、このデータ検索装置の概要について説明する。
このデータ検索装置は、主観的特徴要素を座標軸とする座標空間に、検索対象となるイメージ情報に対する印象データが布置された主観評価情報辞書群5(図1、図6参照)を保持している。主観評価情報辞書群5は、カテゴリごとの主観評価情報辞書から構成されている。
【0003】
また、このデータ検索装置は、主観的特徴要素を座標軸とする座標空間に、検索キーとなる印象表現語の印象データが布置された主観評価表現辞書群4(図1、図3参照)を保持している。主観評価表現辞書群4は、カテゴリごとの主観評価表現辞書から構成されている。
主観評価表現辞書の印象データには各座軸に対する座標値と、座標値を中心として各座標軸上での範囲を指定する範囲データを備えている(図4参照)。
【0004】
そして、検索条件として、自然言語により主観的に表現された検索条件文から自然言語処理によりカテゴリと印象表現語を抽出し、当該カテゴリの主観評価表現辞書から対応する印象データを抽出する。印象表現語が複数存在する場合には、統合処理により統合した1又は複数の印象データを検索印象データとして生成する。
そして、主観的特徴要素を座標軸とする座標空間において、各検索印象データとのユークリッド距離が最も近い印象データを有するイメージ情報を検索結果として出力する。
【0005】
一方、新たなイメージ情報を追加する場合には、追加するイメージ情報に付加される説明文などの文書データ(テキストデータ)から印象表現語を抽出し、統合化処理によって1つの印象データに統合する。その印象データから範囲データを除いた座標値からなる印象データを追加するイメージ情報の印象データとして主観評価情報辞書に登録する。
【0006】
また、イメージ情報検索、イメージ情報追加の処理過程で主観評価表現辞書に未登録の印象表現語が抽出された場合、同処理で使用される文章や文書データに含まれる他の印象表現語の印象データを統合することで1つの印象データを生成し、当該印象表現語の印象データとして主観評価表現辞書に登録する。
【0007】
ところで、上記のように構成されている主観評価表現辞書群4で新たなカテゴリを生成して追加する場合、あるいは、新規の主観評価表現辞書を生成する場合、新たに登録する印象表現語の集合に対し、各主観的特徴要素への値(レベル値)を付与する必要がある。
従来行っていたこの作業を、ビールコンテンツで収集した印象表現語に対し各主観的特徴要素に対するレベル値を設定する場合を例にとり説明する。
【0008】
まず、イメージ情報に付属する文書データ(画像データや音声データに付属する説明文など)から印象表現語を収集し、これらを新規に生成する主観評価表現辞書に登録する。
図20(a)は、新規の主観評価表現辞書に登録した印象表現語の一例を示したものである。図に示したように、「まったりとした」、「新鮮な」、「パワフルな」、「爽やかな」、「はっきりとした」、・・・、などの印象表現語が登録されている。
【0009】
次に、新規の主観評価表現辞書に登録した各印象表現語に対し、主観的特徴要素を手動で設定し、当該主観的特徴要素へのレベル値を手動で設定する。
図20(b)は、手動で設定したレベル値の一例を示している。主観的特徴要素として、「コク」、「キレ」、「うまみ」、「爽快感」が設定されている。
そして、印象表現語「まったりとした」に関しては、「コク」に対するレベル値が3.0、同様に「キレ」に対するレベル値が0、「うまみ」に対するレベル値が3.5、「爽快感」に対するレベル値が0に設定されている。
【0010】
既存の主観評価表現辞書に印象表現語を追加する場合は、既に登録されている複数の印象表現語を引用して、それらのレベル値を合成することにより、新たなレベル値を自動生成することができる(方法1とする)。
図20(c)は、印象表現語「軽快な」を更に登録した場合の一例を示している。この場合、既に登録されている「爽やかな」と「はっきりした」のレベル値を引用している。
即ち、主観的特徴要素「コク」、「キレ」に関しては印象表現語「はっきりとした」のレベル値を用い、主観的特徴要素「うまみ」、「爽快感」に関しては印象表現語「爽やかな」のレベル値を用いている。
【0011】
又は、別の方法として、文書データを入力データとして自動的に印象表現語を抽出し、未登録の印象表現語について、同じ文書データ内にある既に登録されている印象表現語のレベル値を、設定するレベル値として追加登録することも可能である(方法2とする)。
図20(d)は、文書データ「爽やかで軽快な」から「軽快な」を新規登録する場合を示している。新規登録語である「軽快な」のレベル値は既に登録されている「爽やかな」のレベル値を用いている。
【0012】
【発明が解決しようとする課題】
ところが、以上の方法で新規カテゴリに関する主観評価表現辞書を生成する場合、ある程度の印象表現語を主観評価表現辞書に登録し、手動でレベル値を付与するステップが必要となる。
【0013】
上記方法1の場合、引用する印象表現語も手動で判定する必要があり、生成コストが高くなるという問題があった。
上記方法2の場合、登録してある印象表現語が少ないと、本来引用すべき印象表現語が辞書に登録されておらず、レベル値が付与できない(この場合レベル値が0となる)という問題があった。
【0014】
また、何れの方法にしろ、各印象表現語に対して各主観的特徴要素に適切なレベル値が付与されていないと、イメージ情報検索結果の精度に影響を及ぼすことも考えられる。イメージ情報検索の精度を向上させるためには、手動でレベル値を付与する印象表現語の数を増やすことが望ましかった。
また、主観評価表現辞書では、各印象表現語に数値の組(座標値)が対応付けられて格納されているが、従来は、これらの数値を再帰的に利用して新たな数値化情報を生成する(例えば、新規に主観評価表現辞書を生成し、この生成した主観評価表現辞書を更に新規の主観評価表現辞書の生成に利用するなど)ことは行われていなかった。
【0015】
そこで、本発明の目的は、過去に作成されている主観評価表現辞書を資産として再利用することができる情報処理装置や、当該情報処理装置を備えたデータ検索装置などを提供することである。
【0016】
【課題を解決するための手段】
本発明は、前記目的を達成するために、請求項1に記載の発明では、所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する情報処理装置において、前記新規の対応情報における前記座標値に対応させる語である登録語を取得する登録語取得手段と、前記新規の対応情報における前記座標系の座標軸を規定する語である規定語を設定する規定語設定手段と、前記取得した登録語と前記設定した規定語の、前記既存の対応情報における前記座標系でのユークリッド距離を取得する距離取得手段と、前記新規の対応情報による座標系における前記登録語の座標値を、前記取得したユークリッド距離を用いて設定する座標値設定手段と、前記設定した座標値を出力する出力手段と、を具備したことを特徴とする情報処理装置を提供する。
請求項2に記載の発明では、前記座標値設定手段は、前記取得した前記規定語と前記登録語のユークリッド距離が短いほど、当該規定語で規定された座標軸における座標値を大きく設定することを特徴とする請求項1に記載の情報処理装置を提供する。
請求項3に記載の発明では、前記既存の対応情報は複数あり、前記取得した登録語と、前記既存の対応情報における語との一致の程度を取得する一致程度取得手段と、前記取得した一致の程度を用いて、複数の前記既存の対応情報から特定の対応情報を選択する選択手段と、を更に具備したことを特徴とする請求項1、又は請求項2に記載の情報処理装置を提供する。
請求項4に記載の発明では、前記選択手段は、2つ以上の既存の対応情報を、前記取得した一致の程度を用いて順位を付けて選択することを特徴とする請求項3に記載の情報処理装置を提供する。
請求項5に記載の発明では、前記座標値設定手段は、前記選択手段で順位が最上位となった既存の対応情報を用いて前記登録語の座標値を設定した結果、何れの登録語に対しても座標値が定まらない座標軸があった場合は、更に下位の順位の既存の対応情報を用いて、当該座標軸における各登録語の座標値を設定することを特徴とする請求項3又は請求項4に記載の情報処理装置を提供する。
請求項6に記載の発明では、前記語は、形容詞、形容動詞、あるいは印象の要因と結びついた名詞などの、事象の印象を表すのに用いられる印象表現語であることを特徴とする請求項1から請求項5までのうちの何れか1の請求項に記載の情報処理装置を提供する。
請求項7に記載の発明では、登録語取得手段と、規定語設定手段と、距離取得手段と、座標値設定手段と、出力手段と、を備えたコンピュータにおいて、所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する情報処理方法であって、前記登録語取得手段で、前記新規の対応情報における前記座標値に対応させる語である登録語を取得する登録語取得ステップと、前記規定語設定手段で、前記新規の対応情報における前記座標系の座標軸を規定する語である規定語を設定する規定語設定ステップと、前記距離取得手段で、前記取得した登録語と前記設定した規定語の、前記既存の対応情報における前記座標系でのユークリッド距離を取得する距離取得ステップと、前記座標値設定手段で、前記新規の対応情報による座標系における前記登録語の座標値を、前記取得したユークリッド距離を用いて設定する座標値設定ステップと、前記出力手段で、前記設定した座標値を出力する出力ステップと、から構成されたことを特徴とする情報処理方法を提供する。
請求項8に記載の発明では、所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する機能をコンピュータに発揮させる情報処理プログラムであって、所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する情報処理装置において、前記新規の対応情報における前記座標値に対応させる語である登録語を取得する登録語取得機能と、前記新規の対応情報における前記座標系の座標軸を規定する語である規定語を設定する規定語設定機能と、前記取得した登録語と前記設定した規定語の、前記既存の対応情報における前記座標系でのユークリッド距離を取得する距離取得機能と、前記新規の対応情報による座標系における前記登録語の座標値を、前記取得したユークリッド距離を用いて設定する座標値設定機能と、前記設定した座標値を出力する出力機能と、をコンピュータに発揮させることを特徴とする情報処理プログラムを提供する。
また、所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する機能をコンピュータに発揮させる情報処理プログラムであって、所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する情報処理装置において、前記新規の対応情報における前記座標値に対応させる語である登録語を取得する登録語取得機能と、前記新規の対応情報における前記座標系の座標軸を規定する語である規定語を設定する規定語設定機能と、前記取得した登録語と前記設定した規定語の、前記既存の対応情報における前記座標系でのユークリッド距離を取得する距離取得機能と、前記新規の対応情報による座標系における前記登録語の座標値を、前記取得したユークリッド距離を用いて設定する座標値設定機能と、前記設定した座標値を出力する出力機能と、をコンピュータに発揮させることを特徴とする情報処理プログラムを記憶したコンピュータが読取り可能な記憶媒体を提供することもできる。
請求項9に記載の発明では、所定の座標系における座標値に検索対象を対応させた検索対象情報と、前記所定の座標系における座標値に語を対応させた対応情報と、検索条件文を取得する検索条件文取得手段と、前記取得した検索条件文から検索語を抽出する抽出手段と、前記抽出した検索語を前記対応情報で検索し、当該検索語の前記所定の座標系における座標値を取得する座標値取得手段と、前記取得した座標値と、前記検索対象に対応付けられた座標値を用いて検索対象を特定する特定手段と、前記特定した検索対象を出力する出力手段と、前記対応情報を新規に生成する請求項1から請求項6までのうちの何れか1の請求項に記載の情報処理装置と、を具備したことを特徴とするデータ検索装置を提供する。
【0017】
【発明の実施の形態】
以下、本発明のデータ検索装置、情報処理装置などにおける好適な実施の形態について説明する。
(1)実施の形態の概要
図7は、本実施の形態の情報処理装置10(図1)の構成を示したブロック図である。
情報処理装置10は、既存の主観評価表現辞書を用いて、新規の主観評価表現辞書を自動的に生成する装置である。
【0018】
例えば、ワインコンテンツに関する新規の主観評価表現辞書を生成するものとする。
まず、入力手段52から、ワインコンテンツから収集した文書データ1、2、3、・・・、を入力する。入力手段52は、これら文書データ1、2、3、・・・、を1つのファイルにマージ(統合)した後、このファイルから印象表現語を抽出する。
【0019】
主観的特徴要素設定手段54は、新規の主観評価表現辞書の座標軸に対応させる印象表現語を選択し、これらを主観的特徴要素とする。
主観評価表現辞書選択手段56は、既存の主観評価表現辞書群4(ビールコンテンツ用、日本酒コンテンツ用などカテゴリごとの主観評価表現辞書から構成されている)から、新規の主観評価表現辞書を生成するための基礎となる主観評価表現辞書をカテゴリの類似度などにより優先順位付けして選択する。
【0020】
関連度取得手段58は、主観評価表現辞書選択手段56で選択された主観評価表現辞書における、入力手段52で抽出した各印象表現語と、主観的特徴要素設定手段54で設定した各主観的特徴要素とのユークリッド距離を抽出し、これを用いてこれら各印象表現語と主観的特徴要素との関連度を求める。
【0021】
レベル値設定手段60は、関連度取得手段58で求めた関連度を印象表現語の主観的特徴要素に対するレベル値として設定する。
判断手段61は、印象表現語のレベル値が全く設定されていない主観的特徴要素が無いか否かを判断する。そして、レベル値が全く設定されていない主観的特徴要素が無かった場合は、主観的特徴要素と各印象表現語に付与したレベル値を出力し、処理を終了する。
【0022】
レベル値が全く設定されていない主観的特徴要素があった場合は、主観評価表現辞書選択手段56で下位の優先順位にて選択された主観評価表現辞書を用いて、更に印象表現語へのレベル値付与を試みる。
【0023】
(2)実施の形態の詳細
図1は本実施の形態のデータ検索装置の構成を概念的に表したものである。
この概念構成図に示されるように、データ検索装置は、入力手段1、検索条件文取得手段2、検索印象データ生成手段3、主観評価表現辞書群4、主観評価情報辞書群5、イメージ情報検索手段6、出力手段7、イメージ情報追加手段8、印象表現語追加手段9、情報処理装置10を備えている。
【0024】
入力手段1は、ユーザが希望する自然言語による検索条件文を入力するためのもので、キーボードや、音声認識装置が使用される。
【0025】
検索条件文取得手段2は、入力手段1から入力された検索条件文を取得する。又は、有線接続や無線接続された外部装置から送信される検索条件文を通信手段を使用して取得しても良い。外部装置としては、LAN接続された他のパーソナルコンピュータや、ワールド・ワイド・ウェブ(WWW)によりインターネットに接続された外部のパーソナルコンピュータなどが該当し、検索条件文取得手段2は、これら外部装置からも検索条件文を取得可能に構成されている。
【0026】
検索印象データ生成手段3は、検索条件文取得手段2で取得した検索条件文から、カテゴリや印象表現語などの抽出を行う。そして、抽出したカテゴリと印象表現語に対応する印象データを主観評価表現辞書群4内の当該カテゴリの主観評価表現辞書から抽出し、検索印象データの生成を行う。このように、検索印象データ生成手段3は、検索語を抽出する抽出手段と、当該検索語の座標値(印象データ)を取得する座標値取得手段を構成している。
【0027】
主観評価表現辞書群4は、各カテゴリごとの主観評価表現辞書を格納した辞書群である。例えば、ビールコンテンツについての検索を行う場合に、希望するビールについてのイメージや感覚などの印象を自然言語で表現する場合に使用される印象表現語を格納したビールコンテンツ用の主観評価表現辞書などが含まれる。
ここで印象表現語とは、検索対象となるイメージ情報の物理的な特徴ではなく、直感的な印象を「やわらかい」、「クリアな」などの形容詞や形容動詞によって表現する言葉(感性語)である。
【0028】
ここで検索対象となるイメージ情報として取り扱えるのは、主観的類似性によってその相対関係を表現できるデータ形式全てであり、例えば、動画、静止画などの画像の他に、音楽データや、音声データ、出版物などの文書データそのもの、その他の信号データ、また、これらを要素とするコンテンツも含まれる。
【0029】
図2は主観評価表現辞書群4の内容を概念的に表したものである。
この図2に示されるように、主観評価表現辞書群4は、ビール、ワイン、日本酒、映画、テレビ番組情報、Web上の旅行情報、オンラインショッピングなどの、検索対象となるイメージ情報に対する各種カテゴリごとの主観評価表現辞書から構成されている。
【0030】
より詳細に述べると、主観評価表現辞書群4は、ビールコンテンツ用の主観評価表現辞書、ワインコンテンツ用の主観評価表現辞書、日本酒コンテンツ用の主観評価表現辞書などの、各カテゴリごとの主観評価表現辞書から構成されており、検索対象に応じてカテゴリを選択する(即ち検索に使用する主観評価表現辞書を選択する)ようになっている。
【0031】
そして、各カテゴリに属するイメージ情報の印象を表すのに用いられる印象表現語、具体的には形容詞・形容動詞に代表される表現語と程度副詞(「やや」「かなり」などの程度を指し示す副詞)、更に印象の要因と強く結びついている名詞・固有名詞などが予め各カテゴリごとに収集され、それぞれ主観評価表現辞書として主観評価表現辞書群4に格納される。
【0032】
一方、各カテゴリに属するイメージ情報に対して、主観的な類似性を表す要素(主観的特徴要素)が設定されている。例えば、対象とするイメージ情報のカテゴリを映画とすると、作品の性質を「スリル度」、「感動度」、「コメディ度」などの主観的特徴要素が設定されている。また、カテゴリ「ビール」に対しては、図2に示されるように、「コク」「キレ」「うまみ」「のどごし」「爽快感」などの主観的特徴要素が設定されている。
【0033】
そして、各印象表現語に対して主観的特徴要素の強さ(レベル値)を指定することで、各印象表現語に対する印象データ(主観的特徴要素)を座標軸とする座標空間に布置される、多次元の座標値(ベクトル)が決定されている。
即ち、収集した印象表現語に対して、個々の表現が主観的な特徴要素の強さを指定する、即ち印象データ空間の特定の範囲を指し示すという仮説に基づいて、各特徴要素の相対的なレベル値が与えられている。
【0034】
例えば、図2に示されるように、カテゴリ「ビール」に対する印象表現語「コクのある」には、主観的特徴要素「コク」の相対値が3、主観的特徴要素「キレ」の相対値が0、・・・という印象データが与えられている。
このように、主観評価表現辞書は、所定の座標系の座標値に印象表現語を対応させた対応情報と言える。
【0035】
換言すれば、主観評価表現辞書の論理的な構成は、座標軸に主観的特徴要素を対応させたN次元のユークリッド空間において、当該空間内の点に印象表現語を対応させたものとなっている。ここでNは主観的特徴要素の数である。
もっとも、本実施の形態では、主観評価表現辞書の論理的な構造を簡単にするため、座標軸上に主観的特徴要素がのっており、座標軸の定性的側面(軸の方向)と定量的な側面(軸上の目盛りの間隔)を規定しているが、必ずしも座標軸上に主観的特徴要素がのっている必要は無い。
【0036】
この座標空間に布置された2つの印象表現語があった場合、布置された座標のユークリッド距離が短いほどこれら2つの印象表現語はユーザに与える印象が類似している。
ここで、ユークリッド空間では、点(x1、x2、・・・、xn)と点(y1、y2、・・・、yn)のユークリッド距離は次式で定義される。
【0037】
{(x1−y1)2+(x2−y2)2+・・・+(xn−yn)21/2
【0038】
また、この座標系により生成される空間を、主観的特徴要素を基本ベクトルとするN次元のベクトル空間ととらえると、印象表現語はこの空間でベクトルとして表されると考えることもできる。。
【0039】
更に換言すれば、主観評価表現辞書では、重み付けした特定の印象表現語の組(主観的特徴要素の組)と、各印象表現語を対応付けたものと見ることもできる。例えば、印象表現語「ドライな」は、主観的特徴要素「コク」「キレ」「うまみ」・・・を(3、4、2、3.5、3.5、・・・)と重み付けした組に対応付けられている。
【0040】
図3は、主観的特徴要素を座標軸とする座標空間(X軸に「コク」、Y軸に「キレ」、Z軸に「うまみ」を対応させている)と、この座標空間に布置された各印象表現語に対する印象データを例示したものである。
図3では、ビールの座標空間を、コク、キレ、うまみの主観的特徴要素3要素を座標軸として表現し、印象表現語「クリーミーな」「まろやかな」「ドライな」に対する印象データを布置したものである。
【0041】
この図3に示されるように、各印象表現語は、そのカテゴリに属するイメージ情報に対して抽出される主観的特徴要素を座標軸とし、各座標値を要素とする印象データ(ベクトル)で表現される。
【0042】
なお、図2に例示されるように、実際の印象表現語は、各主観的特徴要素の相対値を示す座標値の他に、印象表現語に含まれる範囲を示す範囲データが付属している。従って印象表現語は、各主観的特徴要素の座標値を中心とする範囲(座標値を中心とする一定の範囲)で囲まれる印象データ空間で指定されるようになっている。
【0043】
図4は、印象表現語の印象データ空間を2次元の座標で表したものである。
この図4に例示されるように、例えば、カテゴリ「ビール」の印象表現語「クリーミーな」は、主観的特徴要素「コク」に対して座標値4を中心とするプラスマイナス2の範囲、即ち2〜6の範囲で指定され、また、主観的特徴要素「キレ」に対して座標値−2を中心としてプラスマイナス2の範囲、即ち−4〜0の範囲で指定される。
【0044】
このように、印象表現語の印象データは各座標軸(主観的特徴要素)に対して一定の範囲を有することで、座標空間上の点で表されるのではなく、座標空間上の一定空間(容積)で表すことができ、この印象表現語の印象データ空間内に含まれるイメージ情報を検索候補のイメージ情報としてリストアップすることができる。
【0045】
このように印象表現語の印象データ空間内のイメージ情報をリストアップすることで、全イメージ情報に対する印象データとの類似度を判断する(ユークリッド距離を計算する)必要がなくなり、リストアップしたイメージ情報に対する印象データとの類似性を判断すればよく、判断を高速化することができる。
【0046】
主観評価情報辞書群5は、カテゴリごとに用意された、検索対象に関するデータを格納した主観評価情報辞書から構成されており、各イメージ情報に対する印象データと付属情報が、カテゴリごとに分類され格納されている。
主観評価情報辞書群5におけるカテゴリは、主観評価表現辞書群4におけるカテゴリと同一であり、同一カテゴリの範囲で検索が行われるようになっている。
【0047】
図5は主観評価情報辞書群5の内容を概念的に表したものである。
この図5に例示されるように、各イメージ情報に対する印象データは、印象表現語に対する印象データと同様に、共通の主観的特徴要素からなる座標軸上の値を要素とするベクトルで表現される。
このように、主観評価情報辞書は、所定の座標系における座標値に検索対象(印象データ)を対応させた検索対象情報を構成している。
【0048】
即ち、イメージ情報「アサヒスーパードライ」の印象データは、主観的特徴要素「コク」「キレ」「うまみ」…の各座標値を要素としてベクトル(3、4、2、3.5、3.5、…)で表現される。
同様に、「アサヒ黒生」「アサヒファーストレディー」「アサヒスーパープレミアム」「アサヒ生ビールダンク」(何れも、アサヒビール株式会社の登録商標又は商標)、「キリンラガービール」「キリン一番絞り〈生〉ビール」「キリン一番絞り 黒生ビール」「キリンビール工場 〈生〉」「キリンブラウマイスター」(何れも麒麟麦酒株式会社の登録商標又は商標)も、各主観的特徴要素の値を要素とするベクトルで表現される。
【0049】
なお、イメージ情報に対する印象データの各座標値には、印象表現語の場合と異なり、範囲データが付属していない。
従って、主観的特徴要素を座標軸とする多次元座標空間にイメージ情報が布置されており、座標空間の中である幅を持った領域(印象データ空間)を指定することで、その印象データ空間内に布置されているイメージ情報を検索(リストアップ)することができる。
【0050】
図6は、主観的特徴要素を座標軸とする座標空間(X軸に「コク」、Y軸に「キレ」、Z軸に「うまみ」を対応させている)と、この座標空間に布置された各イメージ情報に対する印象データを例示したものである。この図6では、ビールの座標空間を、コク、キレ、うまみの主観的特徴要素3要素を座標軸として表現し、イメージ情報「アサヒスーパードライ」、「アサヒ黒生」、「キリンラガービール」、「キリンブラウマイスター」に対する印象データを布置したものである。
【0051】
一方、付属情報としては、数値データなどの客観的特徴条件、対象の画像データ、説明文などの文書データが各イメージ情報ごとに格納されている。付属情報には、その他イメージ情報を印象する要因となる各種データが様々な形で関連情報として格納される。
【0052】
付属情報として主観評価情報辞書に格納される客観的特徴条件は、イメージ情報の物理的な特徴データを意味し、定量的で計測可能な数値データのことをいう。また、イメージ情報をその性質・用途などによって分類したカテゴリ情報も客観的特徴条件に該当する。
【0053】
例えば、画像をイメージ情報とした場合、色・形などが該当し、乗用車をイメージ情報とした場合、排気量、燃費、重量などが該当する。
客観的特徴条件は、イメージ情報の検索の際に、制約条件としてイメージ情報を絞り込むために使用される。
【0054】
イメージ情報を印象する要因となる各種データとしては、人名や商品名などで、それ自体がある種の強い印象を持っているものや、画像の構成要素であるプリミティブな図形の印象データなどが該当する。
【0055】
例えば映画作品をイメージ情報とする場合、作品自体の印象よりも主演俳優の印象がより支配的であることがあり、このような場合に、映作品の解説文から抽出された印象表現語や、シーン画像から推定された印象データよりも、主演俳優などに付与された印象データを引用して、作品の印象データを生成する方が主観的な類似性をより反映したものとなる場合があるため、主演俳優名などが付属情報として格納される。
【0056】
また図2及び図5に示されるように、主観評価表現辞書及び主観評価情報辞書には、各カテゴリに含まれる名詞などのカテゴリ分類情報が格納されている。 例えば、カテゴリ「ビール」を判断するためのカテゴリ分類情報として「ビール」が格納され、カテゴリ「ワイン」のカテゴリ分類情報として「ワイン」が格納されている。
【0057】
各カテゴリを示す名詞そのものがカテゴリ分類情報として格納される他、例えば、カテゴリ「ワイン」に対して「ボルドー」や「ボージョレ・ヌーボー」などの関連語や、「(ぶどう+ブドウ+葡萄)×醸造」といった条件式などもカテゴリ分類語として格納されている。他のカテゴリに対しても関連語や条件式がカテゴリ分類情報として格納されている。
【0058】
このように、カテゴリ分類情報を主観評価表現辞書に格納することで、検索処理、イメージ情報追加処理、印象表現語追加処理において、一致する(又は条件式を満たす)名詞などが文書データ中に含まれる場合に、対応するカテゴリに自動的に分類することができる。
【0059】
イメージ情報検索手段6(図1)は、検索印象データ生成手段3で生成された検索印象データ(主観的特徴要素のレベル値のセット)と客観的特徴条件を検索キーとして、主観評価情報辞書に格納されている各種イメージ情報を検索する。
【0060】
即ち、主観評価情報辞書に登録されているイメージ情報を客観的な特徴条件を制約条件として絞り込んで、その中でレベル値セットの示す範囲にあるイメージ情報を抽出し、レベル値とイメージ情報の印象データの類似性判断を行い、より類似性の高いイメージ情報順に検索結果として出力するようになっている。
このように、イメージ情報検索手段6は、検索対象を特定する特定手段を構成している。
【0061】
出力手段7は、イメージ情報検索手段6で検索された検索結果を出力する。出力手段7による検索結果の出力は、検索されたイメージ情報を表示装置に出力し、印刷装置に印刷出力することにより行われる。
【0062】
イメージ情報追加手段8は、新たなイメージ情報に対して、その印象データを生成し付属情報と共に主観評価情報辞書に格納する。新たなイメージ情報の印象データは、そのイメージ情報に付属する文書データから、主観評価表現辞書に格納されている印象表現語を抽出し、その印象表現語の印象データを使用して生成する。
【0063】
また。主観評価情報辞書に登録されているイメージ情報の客観的特徴条件と、新たなイメージ情報に対する客観的特徴条件とから、既登録イメージ情報の印象データを生成するようになっている。
このように、イメージ情報追加手段8により、文書データや客観的特徴条件からイメージ情報を新たに追加できるので、主観評価情報辞書群5を容易に充実させることができる。
【0064】
印象表現語追加手段9は、未登録の印象表現語について、その印象データを生成して主観評価表現辞書に追加登録する。印象表現語追加手段9による新たな印象表現語の追加は、イメージ情報の検索の際に入力された自然言語による文章中や、イメージ情報追加手段8において未登録の印象表現語がイメージ情報に対する文書データ中に未登録の印象表現語が存在した場合に行われるようになっている。
【0065】
このように、印象表現語追加手段9により自動的に新たな印象表現語が主観評価表現辞書に登録されるので、データ検索装置が使用されればされるほど充実した主観評価表現辞書群4になる。特に、ユーザのイメージ情報に対する感じ方や感性、更にそれを表現した文章も多種多様であるため、検索過程で新たな印象表現語を収集し追加することで、より多くのユーザの感性や表現に対応可能な主観評価表現辞書群4とすることができる。
【0066】
次に、情報処理装置10について説明する。情報処理装置10は、既存の主観評価表現辞書に登録されている印象表現語のレベル値などを用いて数値演算し、新たな主観的特徴要素やレベル値などの情報を自動生成する装置である。自動生成した情報は、更に新規の情報を生成するために利用することができる。このように、情報処理装置10は、生成した情報を再帰的に再利用することができる。
【0067】
本実施の形態では、この主観的特徴要素やレベル値を再帰的に自動生成する機能の一例として、既存の主観評価表現辞書から新たな主観評価表現辞書を生成する場合について説明する。
これは、情報処理装置10が生成する情報を主観評価表現辞書に限定するものではなく、他の用途に使用される情報を生成するようにしてもよい。
【0068】
図7は、情報処理装置10の構成を示したブロック図である。
情報処理装置10は、既存の主観評価表現辞書を用いて、新たなカテゴリに関する主観評価表現辞書を自動生成することができる。
情報処理装置10は、入力手段52、主観的特徴要素設定手段54、主観評価表現辞書選択手段56、関連度取得手段58、レベル値設定手段60、判断手段61、出力手段62などを備えている。
【0069】
入力手段52は、新規コンテンツ内の文書データ(イメージ情報に付属する文書データ)を1つのファイルにマージ(統合)した後、このファイルから印象表現語の抽出を行う。
また、後に主観的特徴要素を決めるために、印象表現語の抽出の際に当該印象表現語と強く結びついた名詞句を印象表現語とセットで抽出する。
【0070】
そして、入力手段52は、抽出した印象表現語を新規の主観評価表現辞書(以下新規表現辞書)に収録する印象表現語として当該新規表現辞書に登録する。
コンテンツ内の文書データのデータ量が大きい場合は、データ量の1割などの一部分を抽出してマージするように構成してもよい。
入力手段52は、新規表現辞書に登録する印象表現語(登録語)を取得する登録語取得手段を構成している。
【0071】
主観的特徴要素設定手段54は、入力手段52で収集した印象表現語のうち、主観的特徴要素として設定するものを次のステップ1〜ステップ5の手順にて選択する。
ここで、選択される印象表現語は、新規表現辞書で規定される座標空間で座標軸を規定することとなる。
【0072】
(ステップ1)
主観的特徴要素設定手段54は、マージしたファイルから「まろやかな/味」、「品のある/感じ」、・・・、などの印象表現語と当該印象表現語と強く結びついた名詞句のセットを抽出する。
そして、抽出した印象表現語に関しては、終止形に統制した後、カタカナ表記、平仮名表記を所定の漢字表記に変換するなどの正規化を行う。
抽出した名詞句に関しては、上位語がある場合は上位語に変換し、同義語がある場合は正規表記へ変換するなどして統制する。
【0073】
(ステップ2)
次に、主観的特徴要素設定手段54は、統制後の印象表現語と名詞句の各セットについて先のマージしたファイルでの出現頻度を数える。そして、出現頻度が高いセットに含まれる印象表現語を主観的特徴要素の候補として選択する。
【0074】
(ステップ3)
次に、主観的特徴要素設定手段54は、先の新規コンテンツ内の文書データ(文書データ1、文書データ2、・・・、などから構成されているものとする)ごとに印象表現語と当該印象表現語と強く結びついた名詞句をセットで抽出する。そして、抽出した印象表現語と名詞句をステップ1と同様に統制、正規化する。
【0075】
(ステップ4)
次に、主観的特徴要素設定手段54は、ステップ2で取得した印象表現語と名詞句のセットと、ステップ3で取得した印象表現語と名詞句のセットを各文書データごとにマッチングし、マッチングした頻度を各文書データごとに取得する。図8(a)は、マッチング結果の一例を示した図である。例えば、印象表現語と名詞句のセット「まろやかな/味」は、文書データ1では7回マッチし、文書データ2では5回マッチしている。
【0076】
(ステップ5)
ステップ2で選択した印象表現語と名詞句のセットについて、各文書データごとにマッチした頻度を分析データとして主成分分析を行う。この結果により、例えば、主成分ごとに主成分負荷量が最も大きい候補上位数件(例えば上位5件)を主観的特徴要素として採用する。
【0077】
図8(b)は、主成分分析結果の一例を示している。主成分分析の結果、第1主成分に関しては、「まろやかな/味」の負荷量は0.91であり、「品のある/感じ」の負荷量は0.12であり、「軽い/後味」の負荷量は0.71である。
また、第2主成分に関しては、「まろやかな/味」の負荷量は0.21であり、「品のある/感じ」の負荷量は0.83であり、「軽い/後味」の負荷量は0.15である。
【0078】
このようにして、各印象表現語と名詞句のセットに関して主成分分析した結果から、各主成分ごとに最も負荷量が大きいものを主観的特徴要素として設定するとすると、第1主成分で最も負荷量が大きかったものが「まろやかな/味」であった場合は、印象表現語「まろやかな」が主観的特徴要素として設定される。
同様に第2主成分で最も負荷量が大きかったものが「品のある/感じ」であった場合、印象表現語「品のある」が主観的特徴要素として設定される。
【0079】
同様にして図8(c)に示したように、主観的特徴要素として、例えば「まろやかな」、「品のある」、「軽い」、・・・、などが設定される。
以上のようにして主観的特徴要素設定手段54は、所定の印象表現語を主観的特徴要素として設定することができる。
このように、主観的特徴要素設定手段54は、新規表現辞書の座標軸を規定する主観的特徴要素(規定語)を設定する規定語設定手段を構成している。
【0080】
図7に戻り、主観評価表現辞書選択手段56は、既存の主観評価表現辞書の中から、これから作成する新規表現辞書に最も近い印象表現語や意味空間(主観的特徴要素を座標軸とする空間)を持つものを選択する。
本実施の形態の場合は、主観評価表現辞書群4の中から、新規表現辞書の意味空間に最も類似するカテゴリの主観評価表現辞書を選択する。
【0081】
本実施の形態では、新規表現辞書との類似度に応じて、既存の主観評価表現辞書を優先順位付けして複数選択する。
選択された主観評価表現辞書は、新規表現辞書を作成するための基礎とされる。
【0082】
主観評価表現辞書選択手段56が、新規表現辞書を作成する基礎となる主観評価表現辞書を主観評価表現辞書群4から選択する手順について説明する。
また、先に説明したように、主観評価表現辞書群4は、各カテゴリごとに設けられた主観評価表現辞書から構成されている。
以下では、例えば主観評価表現辞書群4のうち、ビールカテゴリに関してはビール表現辞書、日本酒カテゴリに関しては日本酒表現辞書などと、カテゴリ名に辞書を付してこれらを表すことにする。
【0083】
まず、主観評価表現辞書選択手段56は、過去に作成されている主観評価表現辞書群4の各主観評価表現辞書(各カテゴリのこと)から登録されている印象表現語を抽出する。
【0084】
次に、主観評価表現辞書選択手段56は、各主観評価表現辞書から抽出した印象表現語と入力手段52が抽出した印象表現語との差分を各主観評価表現辞書ごとに抽出する。
そして、新規表現辞書に登録した印象表現語と各主観評価表現辞書に登録してある印象表現語でマッチした数を重みとして抽出する。
【0085】
主観評価表現辞書選択手段56は、抽出された重みを用いて、新規表現辞書作成の基礎とする主観評価表現辞書を選択する。
この選択基準は、各種のものが考えられるが、例えば、新規表現辞書において重要性が高い印象表現語に高い重みが付いているかどうかを基準とすることができる。
新規表現辞書において重要性が高い印象表現語に高い重みが付いている場合は、新規表現辞書と当該既存の主観評価表現辞書の意味空間が類似していることを示している。
【0086】
この他に、例えば、各主観評価表現辞書ごとに重みの合計値を計算し、算出された合計値が最も大きい主観評価表現辞書を、新規表現辞書作成の基礎とする辞書として特定することも考えられる。
【0087】
このように、主観評価表現辞書選択手段56は、既存の対応情報(主観評価表現辞書)に登録してある印象表現語と、新規の対応情報に登録する印象表現語の一致の程度を取得する一致程度取得手段を構成している他、既存の対応情報から特定の対応情報を選択する選択手段も構成している。
【0088】
図9(a)は、ワインをカテゴリとする新規表現辞書を生成する場合に、主観評価表現辞書群4から基礎とする主観評価表現辞書を選択する場合を説明するための図である。
既存の主観評価表現辞書としては、一例として主観評価表現辞書群4に格納されている各主観評価表現辞書のうちのビール表現辞書と、日本酒表現辞書を用いている。
【0089】
差分をとる印象表現語として「まろやかな」、「よい」、「さっぱりした」、「多い」がリストアップされている。これらは、新規表現辞書、ビール表現辞書、日本酒表現辞書の少なくとも何れか1つに登録されている印象表現語である。図中の〇印は、当該辞書に当該印象表現語が登録されていることを意味し、×印は登録されていないことを意味する。
【0090】
この図から、印象表現語「まろやかな」は、新規表現辞書、ビール表現辞書、日本酒表現辞書に何れにも登録されており、ビール表現辞書での重みと日本酒表現辞書での重みが共に12であることがわかる。
また、印象表現語「よい」は、新規表現辞書には登録されているが、ビール表現辞書、日本酒表現辞書には登録されていない。
【0091】
印象表現語「さっぱりした」は、新規表現辞書とビール表現辞書には登録されているが、日本酒表現辞書には登録されていない。また、ビール表現辞書における印象表現語「さっぱりした」の重みは10である。
以上のようにして主観評価表現辞書選択手段56は、各主観評価表現辞書ごとに差分をとって、重みを計算し、その結果から新規表現辞書生成の基礎とする主観評価表現辞書を選択する。
【0092】
新規表現辞書生成の基礎とする主観評価表現辞書は1つでも良いが、本実施の形態では、選択する主観評価表現辞書は1つに限らず、複数の主観評価表現辞書を優先順位を持たせて選択する。この優先順位は、後に新規表現辞書で印象表現語のレベル値を決める際に基礎とする主観評価表現辞書の優先順位として利用される。
【0093】
この優先順位は、例えば、先に求めた重みの合計値を用いて決めることができる。
この場合、ビール表現辞書の重みの合計値が、日本酒表現辞書の重みの合計値よりも大きいときは、図9(b)に示したように、ビール表現辞書が1位となり、日本酒表現辞書が2位となる。
以上のようにして、主観評価表現辞書選択手段56は、新規表現辞書を生成する際に基礎とする既存の主観評価表現辞書を優先順位付けして特定することができる。
【0094】
なお、新規表現辞書に近い主観評価表現辞書の選択方法は、上の方法に限らず、他の方法を採用してもよい。
例えば、上記のマッチングで行っている処理について、印象表現語を対象とするのではなく、印象表現語の対象となっている被修飾名詞句部分を対象として判定することもできる。
【0095】
あるいは、イメージ情報に付属する文書データを検索キーとして外部類似文書検索エンジンを用いて過去に作成したコンテンツ内データ(イメージ情報に付属する文書データをマージしたデータ)を検索し、類似性のあるデータの抽出結果で判定する手法なども可能である。
【0096】
図7に戻り、関連度取得手段58について説明する。
関連度取得手段58は、主観評価表現語辞書選択手段56で選択した主観評価表現辞書において、新規表現辞書で設定されている主観的特徴要素をキーとして各印象表現語及び検索キーとの関連度を抽出する。
【0097】
この処理は、次の手順により行われる。
まず、選択した主観評価表現辞書で設定されている座標空間で、新規表現辞書用に設定された主観的特徴要素と、新規主観評価表現辞書に登録する印象表現語のユークリッド距離を求める。
このように、関連度取得手段58は、新規表現辞書用に設定された主観的特徴要素(規定語)と、新規主観評価表現辞書に登録する印象表現語(登録語)のユークリッド距離を取得する距離取得手段を構成している。
【0098】
次に、求めたユークリッド距離を、ユークリッド距離の最高値(主観評価表現辞書生成時に予め設定してあり、ここでは5.0とする)から引く。
その結果得られた値を関連度とする。
即ち、主観的特徴要素と印象表現語のユークリッド距離が小さいほど、両者の関連度が大きくなる。
【0099】
ユークリッド距離が小さいということは、主観的特徴要素と印象表現語がユーザに与える印象がより類似しているということを意味している。そのため、以上の方法によって関連度を設定すると、主観的特徴要素と印象表現語が類似しているほど関連度が大きくなり、その値は5.0に近づく。
以上の手順により、関連度取得手段58は、各主観的特徴要素に対する関連度を既存の主観評価表現辞書を用いて抽出する。
【0100】
図10(a)は、新規表現辞書で主観的特徴要素に設定されている「まろやかな」を検索キーとして、ビール表現辞書での各印象表現語の空間的距離を求めたところを模式的に示した図である。
例えば、主観的特徴要素「まろやかな」と印象表現語「クリーミーな」のユークリッド距離は0.5であり、主観的特徴要素「まろやかな」と「コクのある」のユークリッド距離は1.0である。
【0101】
図10(b)は、主観的特徴要素「まろやかな」に対する各印象表現語の関連度を示した図である。
図に示したように印象表現語「クリーミーな」の関連度は4.5であり、印象表現語「コクのある」の関連度は4.0であり、これは、取り得るユークリッド距離の最高値5.0からビール表現辞書における「まろやかな」と「クリーミーな」のユークリッド距離0.5を引いたものである。このように、主観評価表現辞書選択手段56で選択した主観評価表現辞書における座標空間で、ユークリッド距離が小さいものほど関連度が5.0に近づく。
【0102】
関連度取得手段58は、以上の手順により、新規表現辞書に登録する印象表現語全てについて、新規表現辞書で座標軸に設定された主観的特徴要素のそれぞれに対する関連度を求める。
例えば、新規表現辞書に設定された主観的特徴要素が「まろやかな」、「品のある」、「軽い」であった場合、新規表現辞書に登録する印象表現語、例えば「豊かな」について、ビール表現辞書における「豊かな」−「まろやかな」間、「豊か」−「品位のある」間、「豊か」−「軽い」間のユークリッド距離を求める。この処理を新規表現辞書に登録する全ての印象表現語について行う。
【0103】
図7に戻り、次にレベル値設定手段60について説明する。
レベル値設定手段60は、新規表現辞書に登録する印象表現語に、関連度取得手段58で求めた関連度を主観的特徴要素に対するレベル値として付与する。
【0104】
なお、本実施の形態では、関連度をそのままレベル値として付与しているがこれに限定するものではなく、関連度を適当な関数によって演算した結果をレベル値としたりなど、関連度を適当に処理した結果をレベル値としてもよい。
このように、レベル値設定手段60は、ユークリッド距離を用いて新規表現辞書に登録する印象表現語(登録語)レベル値、即ち座標値を設定する座標値設定手段を構成している。
【0105】
図11は、各印象表現語の主観的特徴要素「まろやかな」に対するレベル値の一例を示した図である。
図に示したように、印象表現語「クリーミーな」の主観的特徴要素「まろやかな」に対するレベル値は4.5となり、印象表現語「コクのある」のレベル値は4.0となる。図10(b)と比較すると分かるように各レベル値は、関連度取得手段58で求めた関連度が用いられている。また、図示しないが、他の主観的特徴要素に対するレベル値も同様にして得られる。
【0106】
図12(a)は、ビール表現辞書を用いて、以上の手順により求めた新規表現辞書(ワイン表現辞書)での各印象表現語のレベル値の一例を示した図である。新規表現辞書では、主観的特徴要素として「強い」、「しっかりした」、「すっきりした」、「品のある」、「まろやかな」、「軽い」が設定されている。
印象表現語「クリーミーな」の、各主観的特徴要素に対するレベル値は、(強い、しっかりした、すっきりした、品のある、まろやかな、軽い)=(3.5、3.4、−3.0、0、4.5、−3.0)である。
【0107】
なお、関連度取得手段58で、検索キーが検索できなかった場合、又は関連度が抽出されなかった印象表現語については、レベル値が全て0になるように設定されている。図12(a)では、主観的特徴要素「品のある」に関する各印象表現語のレベル値が全て0となっている。
これは、主観的特徴要素がベースとなる主観評価表現辞書に登録されていない場合、もしくは、検索した範囲内に新規表現辞書に登録されている印象表現語が無かった場合が考えられる。
【0108】
レベル値が全く付与されなかった主観的特徴要素について、主観評価表現辞書選択手段56で2位以下の優先順位にて選択された主観評価表現辞書を用いて再度検索を行い、レベル値を追加付与して補うことが可能である。
本実施の形態では、ビール表現辞書が第1位、日本酒表現辞書が第2位として選択されているので、レベル値が設定されなかった主観的特徴要素に関しては、更に日本酒表現辞書を用いて各印象表現語のレベル値を付与する。
【0109】
図12(b)は、優先順位2位の日本酒表現辞書を用いて主観的特徴要素「品のある」に対する各印象表現語のレベル値を付与したものを表している。
日本酒表現辞書を用いて、主観的特徴要素「品のある」に対する各印象表現語のレベル値を付与した結果、主観的特徴要素「品のある」について印象表現語「クリーミーな」、「ふくよかな」にレベル値(それぞれ4.0、2.0)が付与されている。
【0110】
また、優先順位2位の主観評価表現辞書を用いても、レベル値が全く付与されなかった主観的特徴要素があった場合、更に優先順位3位以下の主観評価表現辞書を用いてレベル値を付与することが可能である。
このように、優先順位を付けて複数の主観評価表現辞書を選択しておき、全ての主観的特徴要素で各印象表現語のレベル値が付与されるまで、上記の処理を繰り返し行うように構成することができる。
【0111】
次に、図13の模式図を用いて、新規の主観評価表現辞書におけるレベル値付与方法について更に説明する。
図13(a)は、新規表現辞書での座標空間71を表し、図13(b)は、ビール表現辞書での座標空間72を表している。
【0112】
新規表現辞書では、「まろやかな」、「品のある」、「軽い」を主観的特徴要素とする座標軸が図のように設定されているものとする。
即ち、X軸に「まろやかな」を対応させ、Y軸に「品のある」を対応させ、Z軸に「軽い」を対応させている。
【0113】
一方、ビール表現辞書では、「コク」、「キレ」、「うまみ」を主観的特徴要素とする座標軸が図のように設定されているものとする。
即ち、X軸に「コク」を対応させ、Y軸に「キレ」を対応させ、Z軸に「うまみ」を対応させている。
【0114】
このように形成された座標空間71において、新規表現辞書に登録する印象表現語「豊かな」のレベル値(各座標軸に対する成分)を、ビール表現辞書を基礎として付与する場合について考える。
【0115】
まず、ビール表現辞書の座標空間72で、印象表現語「豊かな」と、新規表現辞書での主観的特徴要素「まろやかな」、「品のある」、「軽い」とのユークリッド距離を求める。
【0116】
座標空間72では、「豊かな」、「まろやかな」、「品のある」、「軽い」に所定の座標値が対応させてあるものとする。
即ち、主観的特徴要素「コク」、「キレ」、「うまみ」を座標軸とする座標空間に、印象表現語「豊かな」、「まろやかな」、「品のある」、「軽い」が布置されている。
【0117】
「まろやかな」、「品のある」、「軽い」は、新規表現辞書では、座標空間71を規定する主観的特徴要素として設定されているが、ビール表現辞書では、座標空間72に布置された印象表現語となる。
【0118】
次に、座標空間72におして、レベル値付与の対象である印象表現語(ここでは「豊かな」)と、新規表現辞書での主観的特徴要素(ここでは「まろやかな」、「品のある」、「軽い」)とのユークリッド距離を求める。
【0119】
この結果、「豊かな」−「まろやかな」間のユークリッド距離が2.0、「豊かな」−「品のある」間のユークリッド距離が1.0、「豊かな」−「軽い」間のユークリッド距離が4.0であったとする。
【0120】
次に、各主観評価表現辞書で設定されているユークリッド距離の最高値5.0から、これら求めたユークリッド距離を引いたものを関連度とし、この関連度をそのまま、レベル値として付与する。
【0121】
例えば、「豊かな」の主観的特徴要素「まろやかな」に対するレベル値は、5.0−2.0=3.0となる。同様に、「豊かな」の主観的特徴要素「品のある」、「軽い」に対するレベル値は、それぞれ4.0、1.0となる。
この結果、印象表現語「豊かな」は、座標空間71において座標値(3.0、4.0、1.0)に対応させられる。
【0122】
図7に戻り、判断手段61は、新規表現辞書の主観的特徴要素のうち、何れの印象表現語に対するレベル値も設定されていないものがあるか否かを判断する。何れのレベル値も設定されていない主観的特徴要素があった場合は、情報処理装置10は、更に、優先順位が下位の主観評価表現辞書を用いて当該主観的特徴要素に対するレベル値の付与を行う。
レベル値が設定されていない主観的特徴要素が無かった場合は、出力手段62が、新規表現辞書で設定した主観的特徴要素と、各印象表現語のレベル値を出力する。
【0123】
以上の処理により、情報処理装置10により新規に生成された主観評価表現辞書は、主観評価表現辞書群4に新規カテゴリの主観評価表現辞書として追加される。
本実施の形態では、情報処理装置10は、データ検索装置の構成要素となっているが、これに限定するものではなく、主観評価表現辞書から新たな情報を生成する装置として単体で活用することもできる。
【0124】
なお、情報処理装置10で新規に生成した主観評価表現辞書は、従来からある主観評価表現辞書群4に追加する新規カテゴリのものとしてもよいし、更に新規のカテゴリに関する主観評価表現辞書を生成するのに利用することができる。このように、情報処理装置10は、主観評価表現辞書を再帰的に用いて新たな情報を生成することができる。
【0125】
図14は、このように構成されたデータ検索装置の、具体的なシステム構成を表したものである。
図14に示されるように、データ検索装置はパーソナルコンピュータやワードプロセッサなどを含むコンピュータシステムによって構成される。
【0126】
データ検索装置は、図14に示すようにシステム全体を制御するための制御部11を備えている。この制御部11には、データバスなどのバスラインを介して、入力装置としてのキーボード12やマウス13、表示装置14、印刷装置15、記憶装置16、記憶媒体駆動装置17、通信制御装置18、入出力I/F19、及び文字認識装置20、音声認識装置21が接続されている。
【0127】
制御部11は、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、RAM(Random Access Memory)113を備えている。
ROM112は、CPU111が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。
【0128】
RAM113は、CPU111にワーキングメモリとして使用されるランダムアクセスメモリである。このRAM113には、本実施の形態によるデータ検索処理、イメージ情報追加処理、印象表現語追加処理、新規表現辞書生成処理などの各種処理を行うための各種エリアが確保可能になっている。
【0129】
キーボード12は、自装置内で自然言語による検索条件文を入力する場合の入力手段1及び検索条件文取得手段2を構成し、仮名文字を入力するための仮名キーやテンキー、各種機能を実行するための機能キー、カーソルキー、などの各種キーが配置されている。
マウス13は、ポインティングデバイスであり、表示装置14に表示されたキーやアイコンなどを左クリックすることで対応する機能の指定を行う入力装置である。
【0130】
表示装置14は、例えばCRTや液晶ディスプレイなどが使用される。この表示装置には、キーボード12やマウス13による入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。
印刷装置15は、表示装置14に表示された検索条件文や、検索結果であるイメージ情報などの印刷を行うためのものである。この印刷装置としては、レーザプリンタ、ドットプリンタ、インクジェットプリンタ、ページプリンタ、感熱式プリンタ、熱転写式プリンタ、などの各種印刷装置が使用される。
【0131】
記憶装置16は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置で構成されている。この記憶装置16に使用される記憶媒体としては、主としてハードディスクが使用されるが、後述の記憶媒体駆動装置17で使用される各種記憶媒体のうちの読み書き可能な記憶媒体を使用するようにしてもよい。
【0132】
記憶装置16は、仮名漢字変換辞書161、プログラム格納部162、データ格納部163、主観評価情報辞書群5、主観評価表現辞書群4、図示しないその他の格納部(例えば、この記憶装置16内に格納されているプログラムやデータなどをバックアップするための格納部)などを有している。
【0133】
プログラム格納部162には、本実施の形態におけるイメージ情報検索処理プログラム、イメージ情報追加処理プログラム、印象表現語追加処理プログラム、新規表現辞書の生成などを行う情報処理プログラムなどの各種プログラムの他、仮名漢字変換辞書161を使用して入力された仮名文字列を漢字混り文に変換する仮名漢字変換プログラムなどの各種プログラムが格納されている。
イメージ情報検索プログラムをCPU111で実行することにより、図1に示したデータ検索装置が構成される。即ち、検索条件文取得手段2、検索印象データ生成手段3、イメージ情報検索手段6などがソフトウェア的に生成され、情報検索が可能となる。
また、情報処理プログラムをCPU111で実行することにより、情報処理装置10(図7)がソフトウェア的に構成され、主観評価表現辞書を用いた新規の主観評価表現辞書の生成が可能となる。
データ格納部163には、ユーザに関するデータなどの、システムが必要とする各種データが格納されている。
【0134】
記憶媒体駆動装置17は、CPU111が外部の記憶媒体からコンピュータプログラムや文書を含むデータなどを読み込むための駆動装置である。記憶媒体に記憶されているコンピュータプログラムなどには、本実施の形態のデータ検索装置により実行されるイメージ情報検索処理などの各種処理プログラム、及び、そこで使用される辞書、データなども含まれる。
【0135】
ここで、記憶媒体とは、コンピュータプログラムやデータなどが記憶される記憶媒体をいい、具体的には、フレキシブルディスク、ハードディスク、磁気テープなどの磁気記憶媒体、メモリチップやICカードなどの半導体記憶媒体、CD−ROMやMO、PD(相変化書換型光ディスク)などの光学的に情報が読み取られる記憶媒体、紙カードや紙テープなどの用紙(及び、用紙に相当する機能を持った媒体)を用いた記憶媒体、その他各種方法でコンピュータプログラムなどが記憶される記憶媒体が含まれる。
【0136】
本実施の形態のデータ検索装置において使用される記憶媒体としては、主として、CD−ROMやフレキシブルディスクなどの記憶媒体が使用される。
記憶媒体駆動装置17は、これらの各種記憶媒体からコンピュータプログラムを読み込む他に、フレキシブルディスクのような書き込み可能な記憶媒体に対してRAM113や記憶装置16に格納されているデータなどを書き込むことが可能である。
【0137】
なお、フレキシブルディスクやメモリチップ、ICカードなどに格納された検索条件文を記憶媒体駆動装置17を介して読み込んで、本実施の形態によるイメージ情報検索を行う場合、記憶媒体駆動装置17は検索条件文取得手段2として機能する。また、イメージ情報追加処理において追加するイメージ情報の文書データを記憶媒体駆動装置17を使用して所定の記憶媒体から取得する場合の記憶媒体駆動装置17はイメージ情報追加手段8の一部として機能する。
【0138】
本実施の形態のデータ検索装置では、制御部11のCPU111が、記憶媒体駆動装置17にセットされた外部の記憶媒体からコンピュータプログラムを読み込んで、記憶装置16の各部に格納(インストール)する。そして、本実施の形態によるイメージ情報検索処理などの各種処理を実行する場合、記憶装置16から該当プログラムをRAM113に読み込み、実行するようになっている。
【0139】
但し、記憶装置16からではなく、記憶媒体駆動装置17により外部の記憶媒体から直接RAM113にプログラムを読み込んで実行することも可能である。また、データ検索装置によっては、本実施の形態のイメージ情報検索処理プログラムなどを予めROM112に記憶させておき、これをCPU111が実行するようにしてもよい。
【0140】
更に、本実施の形態のイメージ情報検索処理プログラムや情報処理プログラムなどの各種プログラムやデータを、通信制御装置18を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。
【0141】
通信制御装置18は、データ検索装置と他のパーソナルコンピュータやワードプロセッサなどの各種外部電子機器との間をネットワーク接続するための制御装置である。
通信制御装置18は、これら各種外部電子機器からデータ検索装置にアクセスすることが可能になっており、外部電子機器から検索条件文を入力することができる。
【0142】
この場合の通信制御装置18は検索条件文取得手段2として機能する。また、通信制御装置18を介して外部電子機器からイメージ情報に対する文書データや客観的特徴条件を取得して当該イメージ情報を主観評価情報辞書に新たに登録する場合の通信制御装置18は、イメージ情報追加手段8の一部として機能する。
【0143】
入出力I/F19は、音声や音楽などの出力を行うスピーカなどの各種機器を接続するためのインターフェースである。
文字認識装置20は、用紙などに記載された文字をテキスト形式やHTMLなどの各種形式で認識する装置であり、イメージスキャナや文字認識プログラムなどで構成されている。この文字認識装置20は、検索条件文取得手段2として機能し、またイメージ情報追加手段8の一部として機能する。
【0144】
音声認識装置21には音声を取り込む音声取り込み手段として機能する図示しないマイクが接続されており、このマイクから取り込んだ音声を認識して文書データに変換するようになっている。マイクから入力される検索条件文を認識する場合の音声認識装置21は、検索条件文取得手段2として機能する。
【0145】
本実施の形態のデータ検索装置は、パーソナルコンピュータやワードプロセッサなどを含むコンピュータシステムで構成するだけでなく、LAN(ローカル・エリア・ネットワーク)のサーバ、コンピュータ(パソコン)通信のホスト、インターネット上に接続されたコンピュータシステムなどによって構成することも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でデータ検索装置を構成することも可能である。
【0146】
図15は、このようなネットワークによりデータ検索装置を構成した場合のシステム構成図を表したものである。
図15に示すように、データ検索装置はイメージ情報の検索や追加、印象表現語の追加などを行うホスト装置30と、検索条件文の入力と送信を行いホスト装置30に送信する複数のクライアントPC50と、ホスト装置30と各クライアントPCとを接続するネットワーク40とから構成されている。
【0147】
ネットワーク40としては主としてインターネットに接続されるが、LAN(ローカル・エリア・ネットワーク)や、コンピュータネットワークなどの各種ネットワーク40と接続可能になっている。
ネットワーク40にはパーソナルコンピュータなどのクライアントPC50が適宜接続されるようになっており、適時複数のクライアントPC50がホスト装置30にアクセス可能になっている。
【0148】
クライアントPC50は、パーソナルコンピュータなどのいわゆるパソコンシステムにより構成され、ワールド・ワイド・ウェブのブラウザ(browser)ソフトによりネットワーク40(インターネット)に接続可能になっている。
【0149】
一方、クライアントPC50は制御部、表示部、入力部、出力部、通信制御部、記憶部、その他の機器を備えている。クライアントPC50の制御部は、装置全体を所定のプログラムに従って処理、制御するようになっており、入力部から入力された検索条件文を、通信制御部及びネットワーク40を介してホスト装置30に送信すると共に、ホスト装置30で検索されたイメージ情報を受信して表示部に表示し、記憶部に格納し、又は出力部から印刷出力するようになっている。
【0150】
一方、ホスト装置30は、制御部31を備えておりデータバスなどのバスライン32を介して表示部33、入出力部34、通信制御部35、記憶部36、図示しないその他の機器が接続されている。
これらの各部31〜36の基本的構成は、図14に示したデータ検索装置と同様であるため、特に異なる点を中心に説明する。
【0151】
本実施の形態における制御部31は、WWWサーバとして機能し、図14に示したデータ検索装置の制御部11や、クライアントPC50の制御部11に比べ高速処理が可能であると共に、複数のクライアントPC50からのアクセスに対応するために並列処理が可能になっている。
同様に通信制御部35も複数のISDN回線との接続が可能であると共に、クライアントPC50のそれよりも高速処理が可能になっている。
【0152】
以上のように構成されたデータ検索装置による処理動作について次に説明する。
図16は、データ検索装置によるイメージ情報検索処理動作を表したフローチャートである。
データ検索装置によるイメージ情報検索は、ユーザが自然言語による検索条件文を入力することで開始される。ユーザは検索条件文に代えて、又は検索条件文と共に、客観的特徴条件などの制約条件を入力することもできる。
【0153】
入力する条件検索文としては、例えば「上品でさわやかなビールを探してほしい。」、「コクがあるが苦みの少ないビールを知りたい。」、「アルバータの明るいスーツ」、「アクションたっぷりで、ハッピイエンドの映画はなに?」というように、ユーザが検索したいイメージ情報に対する印象や感性を自由に表現した文章を入力する。
【0154】
また、印象を適切に表現できないユーザは「上品 さわやか ビール」というような単語の羅列により検索条件文を入力することも可能である。更に、検索条件文中に客観的特徴条件などを含めて表現することも可能である。
ユーザによって入力された検索条件文は、検索条件文取得手段2によって取得される(ステップ11)。
【0155】
次に取得された検索条件文中から印象表現語、程度副詞、客観的特徴条件、及びカテゴリ分類情報を検索印象データ生成手段3により抽出する(ステップ13)。例えば、検索条件文「上品でさわやかなビールを探してほしい。」からは、印象表現語「上品な」「さわやかな」が抽出され、カテゴリ分類情報「ビール」が抽出される。
【0156】
そして、検索条件文中にカテゴリ分類情報が存在するか否かを確認し(ステップ15)、存在しない場合には(ステップ15;N)カテゴリ入力画面を表示する(ステップ17)。即ち、検索印象データ生成手段3は、主観評価表現辞書群4に登録されている各カテゴリ名をリスト表示し、ユーザにカテゴリの選択を促す。
【0157】
検索印象データ生成手段3は、このカテゴリ入力画面で選択されたカテゴリを特定し、また、検索条件文にカテゴリ分類情報が含まれている場合には(ステップ15;Y)そのカテゴリ分類情報に対応するカテゴリを特定する(ステップ19)。
【0158】
次に、検索印象データ生成手段3は、抽出した印象表現語の印象データを主観評価表現辞書群4の当該カテゴリの主観評価表現辞書から抽出する(ステップ21)。即ち、各主観的特徴要素に対するレベル値と範囲のデータを各印象表現語について主観評価表現辞書群4の当該カテゴリの主観評価表現辞書から取り出す。なお、検索条件文から抽出した印象表現語の中に、主観評価表現辞書群4に未登録の印象表現語が存在する場合には印象表現語追加処理が実行される。
【0159】
そして、検索条件文中に程度副詞が存在する場合には(ステップ23;Y)、該当する印象表現語の印象データを程度副詞によって、要求程度に合うように補正する(ステップ25)。程度副詞による印象データの補正は、印象データのレベル値の絶対値が変化するように変更することによる。
【0160】
例えば、検索条件文が「かなりあっさりとした…」である場合、印象表現語「あっさりとした」の主観的特徴要素「コク」に対するレベル値が「−3」から、その絶対値が増加する「−3.5」に補正される。
なお、程度副詞によるレベル値補正は、「とても」「かなり」「めちゃくちゃ」「超」などの強調語の場合には絶対値が増加するように補正し、「やや」「少し」「ちょっと」などの語調を弱める語の場合には絶対値が減少するように補正する。
【0161】
本実施の形態における補正値としては本願発明の場合一律0.5だけ変化させるようになっているが、各程度副詞に応じて変化値(補正幅)を代えるようにしてもよい。この場合、各程度副詞と変化値の対応表が主観評価表現辞書に格納される。
【0162】
次に検索印象データ生成手段3は、各印象表現語の印象データ(補正された場合には補正後の印象データ)から、統合処理によって検索印象データを生成する(ステップ27)。
本イメージ情報検索処理動作における統合処理では、統合対象となる複数の印象データが1又は複数(統合対象数以下)の印象データに集約され、これらが検索印象データとして得られる。
【0163】
検索印象データが生成されると、次に、イメージ情報検索手段6によるイメージ情報候補の抽出と絞り込みによるイメージ情報の検索が行われる。
即ち、イメージ情報検索手段6は、主観的特徴要素を座標軸とする座標空間の中で、生成した全ての検索印象データが占める印象データ空間内に含まれるイメージ情報の候補を当該カテゴリの主観評価情報辞書から抽出する(ステップ29)。
【0164】
このように、検索印象データを各主観的特徴要素のレベル値で指定される点で表現するだけでなく、レベル値に付与された範囲からなる印象データ空間を使用することで、検索対象となる候補を予め絞り込むことができ、この後の類似度の算出対象を減らすことができ、検索を高速化することが可能になる。
【0165】
次にイメージ情報検索手段6は、検索条件文取得手段2で取得した条件検索文中に客観的特徴条件が存在するか否かを判断する(ステップ31)。客観的特徴条件が存在する場合には(ステップ31;Y)、抽出したイメージ情報候補の中から、客観的特徴条件を制約条件としてこれを満たすイメージ情報候補に絞り込む(ステップ33)。
例えば、ビールの場合、「350mlで単価150円以下」との客観的特徴条件があれば、抽出済みのイメージ情報候補の付属情報を参照して、この条件を満たすイメージ情報候補に絞り込む。
【0166】
そして主観評価情報辞書を用いて、各イメージ情報候補の印象データと、検索印象データのレベル値とから類似性判断を行う。即ち、主観評価情報辞書を用いて、全検索印象データのうちの範囲のデータを除いた主観的特徴要素のレベル値(ベクトル)と、各イメージ情報候補の印象データ(ベクトル)との、ユークリッド距離から両ベクトルの類似度Sを算出する(ステップ35)。
【0167】
主観評価情報辞書は、算出した検索印象データに対する類似度Sが最も大きいイメージ情報を検索結果とし、出力手段7により表示する(ステップ37)。 なお、類似度Sが最も大きいイメージ情報のみを表示する場合の他に、類似度が高いイメージ情報順に複数のイメージ情報を出力するようにしてもよい。
また、類似度Sが最も大きいイメージ情報のみを表示し、ユーザが他のイメージ情報候補の表示を選択できるようにしてもよい。
【0168】
表示装置に表示された検索結果を見て、ユーザは検索されたイメージ情報について、追加入力によって改善要求を与えることができる。例えば「もう少しダイナミックに」などの比較を表す程度副詞と印象表現語を入力する。
この修正要求があった場合(ステップ39;Y)、検索条件文取得手段2で修正要求文を取得し(ステップ41)、検索印象データ生成手段3で程度副詞を抽出する(ステップ43)。
【0169】
その後、ステップ25に戻り、程度副詞による印象データの補正をして再検索を行う。このように、修正文による再検索を繰り返すことでユーザが求めるイメージ情報にたどり着くことができる。
一方、出力したイメージ情報に対して修正要求が無い場合(ステップ39;N)には、イメージ情報検索処理を終了する。
【0170】
次に、情報処理装置10が新規表現辞書を生成する処理動作について説明する。
図17は、情報処理装置10による新規表現辞書生成処理動作を表したフローチャートである。
まず、入力手段52は、イメージデータに付属する文書データをマージする(ステップ50)。
【0171】
ここで、マージする文書データは、例えばワインコンテンツ、ビールコンテンツ、温泉旅館コンテンツなど、新規表現辞書を生成しようとする特定のカテゴリに属するものである。又は、例えば飲み物系など更に広いカテゴリの範囲を設定することもできる。カテゴリの範囲が広いほど、汎用的な主観評価表現辞書となる。
【0172】
次に、入力手段52は、マージしたファイルから印象表現語と当該印象表現語に強く結びついている名詞句のセットを抽出する(ステップ55)。
本実施の形態では、印象表現語と名詞句のセットを用いて主観的特徴要素を設定する方法を採用したため、印象表現語と共にこれと強く結びつく名詞句をセットで抽出した。印象表現語のみ抽出して他の方法で主観的特徴要素を設定することも可能である。
【0173】
次に、主観的特徴要素設定手段54が、主成分分析などを行い、抽出した印象表現語の中から特定のものを主観的特徴要素として設定する(ステップ60)。本実施の形態では、設定する主観的特徴要素の数は予めデフォルト値が与えられている。これは、ユーザが設定するように構成してもよい。
【0174】
次に、主観評価表現辞書選択手段56が、主観評価表現辞書群4に含まれる主観評価表現辞書のうち、ステップ55で抽出した印象表現語に印象空間が近いものを優先順位を付けて複数選択する。
主観評価表現辞書選択手段56は、これら複数の主観評価表現辞書のうち、新規表現辞書を生成するための基礎となる主観評価表現辞書を優先順位に従って選択する(ステップ65)。
【0175】
つまり、初回は、優先順位第1位の主観評価表現辞書を、新規表現辞書を生成するための基礎として特定し、2回目(何れの印象表現語に対してもレベル値の設定されていない主観的特徴要素がある場合)は、優先順位第2位の主観評価表現辞書を新規表現辞書を生成するための基礎として特定する。下位の優先順位の表現辞書に関しても同様である。
【0176】
次に、関連度取得手段58がステップ65で選択した主観評価表現辞書において、全ての印象表現語について、当該印象表現語と各主観的特徴要素とのユークリッド距離を抽出する(ステップ70)。
そして、関連度取得手段58は、所定の値(本実施の形態では5.0)からステップ70で求めたユークリッド距離を引いて関連度を求める(ステップ75)。
【0177】
次に、レベル値設定手段60が、印象表現語にステップ75で求めた関連度をレベル値として付与する(ステップ80)。
次に、判断手段61が、各主観的特徴要素について、レベル値が全て0であるものがあるどうかを確認する(ステップ85)。即ち、全ての主観的特徴要素においてレベル値が設定され、まだ、何れの印象表現語に対してもレベル値が設定されていない主観的特徴要素があるか否かを判断する。
【0178】
全ての主観的特徴要素において、各印象表現語のレベル値が設定されている場合は(ステップ85;Y)、出力手段62が新規の主観評価表現辞書を出力し、処理を終える。
まだ、何れの印象表現語に対してもレベル値が設定されていない主観的特徴要素がある場合は(ステップ85;N)、ステップ65に戻り、優先順位が下位の主観評価表現辞書を用いて更にレベル値の付与を行う。
【0179】
以上の情報処理装置10を用いることにより、次の様な効果が得られる。
手動などにより作成した既存の主観評価表現辞書があれば、これとは別に新しい主観評価表現辞書を作成しようとした場合に、それが既存の主観評価表現辞書と類似する分野であれば、新規の主観評価表現辞書のレベル値の付与を完全自動化することができる。
【0180】
例えば、既存の主観評価表現辞書として飲み物系全般の評価に用いられる印象表現語を登録した汎用的な主観評価表現辞書が予めあったとする。
この飲み物系全般の主観評価表現辞書を利用して、ワインに特化した主観評価表現辞書やペットボトル茶に特化した主観評価表現辞書を新規に作成し、そのレベル値を自動的に付与することができる。
【0181】
また、ホテルや温泉旅館などの宿泊施設の評価に用いられる印象表現語を登録した汎用的な主観評価表現辞書が予めあったとする。
この宿泊施設用の主観評価表現辞書を用いて、リゾートホテルに特化した主観評価表現辞書を新規に作成し、そのレベル値を自動的に付与することができる。
【0182】
更に、新規で作成しようとしている主観評価表現辞書について、そのジャンルが既存の主観評価表現辞書との類似性に関して、さほど高くなかった場合でも、既存の主観評価表現辞書を複数利用して、新規の主観評価表現辞書のレベル値付与を行うこともできる。
【0183】
例えば、シャンプー・リンスに特化した主観評価表現辞書を作成したい場合などは、「高い」、「安い」、「きれい」、「便利」、「不便」といった評価側面に類するような印象表現語のレベル値は、宿泊施設系全般の既存の主観評価表現辞書を利用して、そこに登録されている印象表現語のレベル値を元に、新規の主観評価表現辞書での印象表現語のレベル値を自動的に付与することができる。
【0184】
一方、「さっぱりした」、「やわらかい」、「やさしい」といった評価側面に類する印象表現語のレベル値は、飲み物系全般の既存の主観評価表現辞書を利用して、同様に印象表現語のレベル値を設定することができる。
【0185】
このように、ある側面において、ある程度類似性がある分野の既存の主観評価表現辞書が存在すれば、これらを複数利用することで、新規の主観評価表現辞書のレベル値付与を自動的に行うことができる。
また、ここで作成された新規の主観評価表現辞書は、次に新たに主観評価表現辞書を作成する局面では、既存の主観評価表現辞書として利用することができる。
【0186】
このように、新規主観評価表現辞書でのレベル値付与、必要であればレベル値の修正を経て、新規の主観評価表現辞書を生成し、更に、この辞書を既存の主観評価表現辞書として次回再利用するというプロセスを再帰的に繰り返すことができる。
このようにして、主観評価表現辞書のラインナップを増やしていくことで、語彙資産が効率よく形成することができる。
即ち、情報処理装置10を用いることで、再帰的に語彙資産を形成することができる。
【0187】
以上のように構成されたデータ検索装置、及び情報処理装置10では、以下の様な効果が得られる。
新規の主観評価表現辞書を作成するにあたり、登録する印象表現語の収集、主観的特徴要素の設定、印象表現語のレベル値の付与を、既存の主観評価表現辞書を用いて自動的に行うため、主観評価表現辞書の生産性を向上させることができると共に、製作コストを低減することができる。
【0188】
収集した印象表現語に対し、主観的特徴要素ごとにレベル値を付与するにあたり、過去に作成した主観評価表現辞書を参照し、利用することができる。
過去に作成した主観評価表現辞書が複数ある場合はコンテンツの内容が類似している方を選択することによって、より適切なレベル値を付与することができる。このとき、複数の主観評価表現辞書を優先順位付きで選択することも可能である。
【0189】
各主観的特徴要素を検索キーとして主観評価表現辞書を用いて検索を行い、得られた検索結果(印象表現語)との関連度からレベル値を取得することができる。
新規に作成された主観評価表現辞書も更に新規の主観評価表現辞書を作成する際の資産として再帰的に再利用することができる。
【0190】
(変形例)
以上に説明した情報処理装置10は主観評価表現辞書を処理対象としたが、情報処理装置10の処理対象を辞書以外のもの、例えばRDB(リレーショナルデータベース)に登録できるようなもの全般に拡張することも可能である。
【0191】
RDBは、テーブルと呼ばれる2次元の表と表の間の関係を使ってデータを表現するデータベースである。テーブルはレコード(横の列)とカラム(縦の列、フィールドとも言う)から構成されている。
RDBが主観的な類似性を数値で表現したカラムを持つ場合、このRDBを情報処理装置10の処理対象とすることができる。
【0192】
例えば、RDBのカラム(軸)が、RDBのレコードから選ばれた代表例との主観的な類似性を数値で表すものを含んでいる場合、情報処理装置10は、これら数値を再帰的に処理し、新たなRDBを生成することができる。
このような場合の具体的なRDBデータの例は、後で具体例1として説明する。
【0193】
このようなRDBを情報処理装置10の処理対象とすることで、例えば、次のような処理が可能となる。
ある製品(商品)の構成要素を対象として、その組み合わせでどのような製品イメージができあがるかといったことを調べるために、構成要素と各製品の主観的特徴要素を登録した初期RDBが存在するとすれば、このRDBを情報処理装置10に入力し、この軸になる構成要素を自由に変えることができる。
【0194】
また構成要素を軸とするだけでなく各製品を軸とすることもできる。このような場合の具体的な処理例は、後で具体例2として説明する。
このように、初期RDBを入力として情報処理装置10を利用することにより、主観的な類似性に基づく製品の数値クラスタリングのための分類軸を生成することが可能となる。これにより、初期RDBで軸となる構成要素が予め決められている場合でも、これら軸を他の構成要素や具体的な製品へと自由に変換することができる。
【0195】
またあるサービスへの登録ユーザRDBを対象した次の様な適用例も考えることができる。
まず、ある典型的なユーザを幾人か選んでおき、そのユーザと残りのユーザの主観的類似度を予め人が評価して、データをカラムとして登録しておく。
これを情報処理装置10で処理することにより、初期RDBとは異なるユーザを軸とするRDBを生成することができる。このような場合の具体的な処理例は、後で具体例3として説明する。
【0196】
このように処理して生成したRDBは、例えば、登録ユーザの購入履歴から商品レコメンデーションを実施するのに利用することが考えられる。即ち、初期状態の典型的なユーザを軸とする登録ユーザ初期RDBにおいて、典型ユーザの購買履歴に含まれる商品を、このユーザを表す軸に値を持つ他のユーザに勧めるといった仕組みが構成できる。
【0197】
(具体例1)
この具体例では、数値化の対象を印象表現語以外にも広げることを試みる。例えば印象に関わるような名詞句であっても対象とすることができることをワインコンテンツを例にとり説明する。
【0198】
ワインコンテンツにおいては、「赤」、「白」、「スパークリング」、「スティル」、「リースリング」、「ボルドー」、「ブルゴーニュ」といった名詞句に類するものでも、ある種の主観的特徴を内包しており、印象表現語と同様に処理することができる。
【0199】
ここで「赤」、「白」とはそれぞれ赤ワイン、白ワインを意味する。また、「スパークリング」は、発砲性ワインを意味し、「スティル」は非発泡性ワインを意味する。「リースリング」は、リースリングと呼ばれるドイツ産の葡萄を用いて製造された白ワインの総称であり、「ボルドー」、「ブルゴーニュ」は、それぞれフランスのボルドー地方、ブルゴーニュ地方で生産されるワインの総称である。
【0200】
また、これら名詞句に類するものとして、「Aワイン」、「Bワイン」といった具体的なワイン銘柄を対象とすることもできる。この場合、具体的なワイン銘柄をラベルとするRDBも処理の対象に含めることができる。
【0201】
図18(a)は、一般的なRDBデータの構成を模式的に示した図である。図に示したように、通常のRDBデータは、ラベルと共に属性カラムを有している。図の例では、ラベルは、具体的なワインの銘柄であり、属性は、製造年、色、種別などから構成されいる。
【0202】
このRDBデータに、図18(b)に示したように、商品の構成要素を表す名詞句のカラムを追加して、このカラムの構成要素を主観的特徴要素とする。そしてこれら主観的特徴要素とラベルの銘柄との主観的類似性をレベル値(例えば−5〜+5)で表して登録する。
【0203】
図の例では、主観的特徴要素として「リースリング」、「ボルドー」が採用されている。そして、「ワインA」の場合は、「リースリング」のレベル値として+4が付与されており、「ボルドー」のレベル値として0が付与されている。
このように、従来のRDBデータに新たに主観的特徴要素と、各ラベルのこれら主観的特徴要素に対するレベル値を設定することにより、従来のRDBを情報処理装置10で再帰的に処理することが可能となる。
【0204】
(具体例2)
以上のように主観的特徴要素とレベル値を設定したRDBを情報処理装置10で処理することにより、特定の銘柄を主観的特徴要素としたRDBを生成することができる。例えば、図18(c)に示したように、「リースリング」、「ボルドー」などに対する数値情報を利用して、「ワインE」、「ワインF」などのラベルをワイン評価の軸とするRDBを生成することができる。即ち、予め決められている主観的特徴要素の他に、具体的なラベル(ここではワインの銘柄)に評価軸を変換することができる。
【0205】
図18(c)では、「Eワイン」、「Fワイン」を新たな主観的特長要素として他のワインが評価されている。このようにして別の角度から各ワインを評価することができる他、別の角度からの主観的特徴によるワイン銘柄の数値階層クラスタリングを実現することもできる。
【0206】
これにより、例えば、「リースリング」及び「ボルドー」のカラムの数値情報を利用してワイン銘柄を数値階層クラスタリングし、主観的特徴が類似するワイン銘柄をグルーピングするようなことが用途として考えられる(数値クラスタリングの例は省略する)。
【0207】
(具体例3)
この例では、RDBデータを商品レコメンデーションへ利用する例について説明する。
図19(a)に示したような、あるサービスへの登録ユーザRDBが存在するものとする。
【0208】
この登録ユーザRDBは、ラベルの値としてユーザ名を用い、属性情報としてユーザの所在場所の市区町村名と性別を用いている。
これらの情報に更に典型的ユーザを表す主観的特徴要素のカラムを追加して、この典型的ユーザとラベルとして登録された各ユーザとの主観的類似性のレベル値を設定する。
【0209】
図の例では、主観的特徴要素として「30代首都圏主婦」と「40代地方サラリーマン」を用いている。例えばAさんは、横浜市在住の男性で、「30代首都圏主婦」のレベル値が0、「40代地方サラリーマン」のレベル値が+2である。このように、各登録ユーザを、主観的特徴要素に対するレベル値と共に登録することにより、このRDBを情報処理装置10の処理対象とすることができる。
【0210】
また、このように主観的特徴要素に対するレベル値を設定した登録ユーザRDBは、例えば「30代首都圏主婦」及び「40代地方サラリーマン」のレベル値が閾値以上(例えば+3)のユーザに対して、この典型的ユーザの購買履歴に存在する商品をレコメンデーションするといったことが用途として考えられる。
【0211】
このRDBを情報処理装置10で処理すると、主観的特徴要素を、例えば、予め決められている典型的ユーザだけでなく、別の登録ユーザとすることも可能になる。
これにより、図19(b)に示したように、「Aさん」、「Bさん」を主観的特徴要素として、他の登録ユーザのレベル値を求めることで、「Aさん」、「Bさん」の購買履歴などの、別の角度からの主観的特徴によるレコメンデーションを実現することができる(具体的なレコメンデーションの例は省略する)。
【0212】
以上の変形例で説明したように、情報処理装置10が行う再帰的な数値処理は、対象を辞書類に限定するものではなく、RDBなどのデータベースを対象とすることもできる。
RDBに、主観的特徴要素と、各ラベルの当該主観的特徴要素に対するレベル値を一度設定すると、これらレベル値を再帰的に用いて新たな主観的特徴要素とレベル値を持ったRDBを生成することができる。
これによって、RDBデータを様々な角度から分析することが可能となる。
【0213】
以上、本発明の1実施の形態及び変形例について説明したが、本発明は説明した実施の形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
【0214】
【発明の効果】
本発明によれば、過去に作成されている言語情報を資産として再利用することができる。
【図面の簡単な説明】
【図1】本実施の形態のデータ検索装置の構成を概念的に表したものである。
【図2】主観評価表現辞書群の内容を概念的に表したものである。
【図3】主観的特徴要素を座標軸とする座標空間と、この座標空間に布置された各印象表現語に対する印象データを例示したものである。
【図4】印象表現語の印象データ空間を2次元の座標で表したものである。
【図5】主観評価情報辞書の内容を概念的に表したものである。
【図6】主観的特徴要素を座標軸とする座標空間と、この座標空間に各イメージ情報に対する印象データが布置されたところを概念的に示した図である。
【図7】情報処理装置の構成を示したブロック図である。
【図8】(a)は、マッチング結果の一例を示した図であり、(b)は、主成分分析結果の一例を示した図であり、(c)は、設定された主観的特徴要素の一例を示した図である。
【図9】(a)は、新規表現辞書を生成するベースとなる主観評価表現辞書を選択する場合を説明するための図であり、(b)は、選択された主観評価表現辞書の優先順位の一例を示した図である。
【図10】(a)は、「まろやかな」を検索キーとして各印象表現語の空間的距離を求めたところを示した図であり、(b)は、「まろやかな」に対する各印象表現語の関連度を示した図である。
【図11】各印象表現語の主観的特徴要素「まろやかな」に対するレベル値の一例を示した図である。
【図12】(a)は、新規表現辞書での各印象表現語のレベル値の一例を示した図であり、(b)は、主観的特徴要素「品のある」に付与した各印象表現語のレベル値を示した図である。
【図13】レベル値付与の方法を説明するための模式図である。
【図14】データ検索装置の具体的なシステム構成を表した図である。
【図15】ネットワークによりデータ検索装置を構成した場合のシステム構成図を表した図である。
【図16】イメージ情報検索処理動作を表したフローチャートである。
【図17】新規表現辞書生成処理動作を表したフローチャートである。
【図18】(a)は、一般的なRDBデータの構成を模式的に示した図であり、(b)は、主観的特徴要素を表すカラムを追加したところを示した図であり、(c)は、主観的特徴要素を具体的なワイン銘柄に変換したとろこを示している。
【図19】(a)は、サービスへの登録ユーザRDBデータの構成を模式的に示した図であり、(b)は、主観的特徴要素を特定の登録ユーザに変換したところを示している。
【図20】(a)は、従来例における新規の主観評価表現辞書に登録した印象表現語の一例を示した図であり、(b)は、従来例で手動で設定したレベル値の一例を示した図であり、(c)は、従来例で、印象表現語「軽快な」を更に登録した場合の一例を示してた図であり、(d)は、従来例で、文書データ「爽やかで軽快な」から「軽快な」を新規登録する場合を示した図である。
【符号の説明】
1 入力手段
2 検索条件文取得手段
3 検索印象データ生成手段
4 主観評価表現辞書群
5 主観評価情報辞書群
6 イメージ情報検索手段
7 出力手段
8 イメージ情報追加手段
9 印象表現語追加手段
10 情報処理装置
11 制御部
12 キーボード
13 マウス
14 表示装置
15 印刷装置
16 記憶装置
17 記憶媒体駆動装置
18 通信制御装置
19 入出力I/F
20 文字認識装置
21 音声認識装置
30 ホスト装置
31 制御部
32 バスライン
33 表示部
34 入出力部
35 通信制御部
40 ネットワーク
52 入力手段
54 主観的特徴要素設定手段
56 主観評価表現辞書選択手段
58 関連度取得手段
60 レベル値設定手段
61 判断手段
62 出力手段
71 座標空間
72 座標空間
111 CPU
112 ROM
113 RAM
161 仮名漢字変換辞書
162 プログラム格納部
163 データ格納部
361 その他のデータ

Claims (9)

  1. 所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する情報処理装置において、
    前記新規の対応情報における前記座標値に対応させる語である登録語を取得する登録語取得手段と、
    前記新規の対応情報における前記座標系の座標軸を規定する語である規定語を設定する規定語設定手段と、
    前記取得した登録語と前記設定した規定語の、前記既存の対応情報における前記座標系でのユークリッド距離を取得する距離取得手段と、
    前記新規の対応情報による座標系における前記登録語の座標値を、前記取得したユークリッド距離を用いて設定する座標値設定手段と、
    前記設定した座標値を出力する出力手段と、
    を具備したことを特徴とする情報処理装置。
  2. 前記座標値設定手段は、前記取得した前記規定語と前記登録語のユークリッド距離が短いほど、当該規定語で規定された座標軸における座標値を大きく設定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記既存の対応情報は複数あり、
    前記取得した登録語と、前記既存の対応情報における語との一致の程度を取得する一致程度取得手段と、
    前記取得した一致の程度を用いて、複数の前記既存の対応情報から特定の対応情報を選択する選択手段と、
    を更に具備したことを特徴とする請求項1、又は請求項2に記載の情報処理装置。
  4. 前記選択手段は、2つ以上の既存の対応情報を、前記取得した一致の程度を用いて順位を付けて選択することを特徴とする請求項3に記載の情報処理装置。
  5. 前記座標値設定手段は、前記選択手段で順位が最上位となった既存の対応情報を用いて前記登録語の座標値を設定した結果、何れの登録語に対しても座標値が定まらない座標軸があった場合は、更に下位の順位の既存の対応情報を用いて、当該座標軸における各登録語の座標値を設定することを特徴とする請求項3又は請求項4に記載の情報処理装置。
  6. 前記語は、形容詞、形容動詞、あるいは印象の要因と結びついた名詞などの、事象の印象を表すのに用いられる印象表現語であることを特徴とする請求項1から請求項5までのうちの何れか1の請求項に記載の情報処理装置。
  7. 登録語取得手段と、規定語設定手段と、距離取得手段と、座標値設定手段と、出力手段と、を備えたコンピュータにおいて、所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する情報処理方法であって、
    前記登録語取得手段で、前記新規の対応情報における前記座標値に対応させる語である登録語を取得する登録語取得ステップと、
    前記規定語設定手段で、前記新規の対応情報における前記座標系の座標軸を規定する語である規定語を設定する規定語設定ステップと、
    前記距離取得手段で、前記取得した登録語と前記設定した規定語の、前記既存の対応情報における前記座標系でのユークリッド距離を取得する距離取得ステップと、
    前記座標値設定手段で、前記新規の対応情報による座標系における前記登録語の座標値を、前記取得したユークリッド距離を用いて設定する座標値設定ステップと、
    前記出力手段で、前記設定した座標値を出力する出力ステップと、
    から構成されたことを特徴とする情報処理方法。
  8. 所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する機能をコンピュータに発揮させる情報処理プログラムであって、
    所定の座標系における座標値を語に対応させた既存の対応情報を用いて、所定の座標系における座標値を語に対応させた新規の対応情報を生成する情報処理装置において、
    前記新規の対応情報における前記座標値に対応させる語である登録語を取得する登録語取得機能と、
    前記新規の対応情報における前記座標系の座標軸を規定する語である規定語を設定する規定語設定機能と、
    前記取得した登録語と前記設定した規定語の、前記既存の対応情報における前記座標系でのユークリッド距離を取得する距離取得機能と、
    前記新規の対応情報による座標系における前記登録語の座標値を、前記取得したユークリッド距離を用いて設定する座標値設定機能と、
    前記設定した座標値を出力する出力機能と、
    をコンピュータに発揮させることを特徴とする情報処理プログラム。
  9. 所定の座標系における座標値に検索対象を対応させた検索対象情報と、
    前記所定の座標系における座標値に語を対応させた対応情報と、
    検索条件文を取得する検索条件文取得手段と、
    前記取得した検索条件文から検索語を抽出する抽出手段と、
    前記抽出した検索語を前記対応情報で検索し、当該検索語の前記所定の座標系における座標値を取得する座標値取得手段と、
    前記取得した座標値と、前記検索対象に対応付けられた座標値を用いて検索対象を特定する特定手段と、
    前記特定した検索対象を出力する出力手段と、
    前記対応情報を新規に生成する請求項1から請求項6までのうちの何れか1の請求項に記載の情報処理装置と、
    を具備したことを特徴とするデータ検索装置。
JP2002168133A 2002-06-10 2002-06-10 情報処理装置、情報処理方法、情報処理プログラム、及びデータ検索装置 Expired - Fee Related JP4156279B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002168133A JP4156279B2 (ja) 2002-06-10 2002-06-10 情報処理装置、情報処理方法、情報処理プログラム、及びデータ検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002168133A JP4156279B2 (ja) 2002-06-10 2002-06-10 情報処理装置、情報処理方法、情報処理プログラム、及びデータ検索装置

Publications (2)

Publication Number Publication Date
JP2004013653A JP2004013653A (ja) 2004-01-15
JP4156279B2 true JP4156279B2 (ja) 2008-09-24

Family

ID=30435121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002168133A Expired - Fee Related JP4156279B2 (ja) 2002-06-10 2002-06-10 情報処理装置、情報処理方法、情報処理プログラム、及びデータ検索装置

Country Status (1)

Country Link
JP (1) JP4156279B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6649232B2 (ja) * 2016-11-18 2020-02-19 株式会社東芝 検索装置、表示装置および検索方法

Also Published As

Publication number Publication date
JP2004013653A (ja) 2004-01-15

Similar Documents

Publication Publication Date Title
US7930302B2 (en) Method and system for analyzing user-generated content
US20190130285A1 (en) Artificial intelligence system for real-time visual feedback-based refinement of query results
CN103870973B (zh) 基于电子信息的关键词提取的信息推送、搜索方法及装置
JP4622589B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
Chehal et al. Implementation and comparison of topic modeling techniques based on user reviews in e-commerce recommendations
US20170371965A1 (en) Method and system for dynamically personalizing profiles in a social network
AU2005201758A1 (en) Method of learning associations between documents and data sets
WO2016135905A1 (ja) 情報処理システム及び情報処理方法
JP7400334B2 (ja) 生成装置、及び生成プログラム
US20090055247A1 (en) System and method for classification of beverages
JP3408998B2 (ja) データ検索装置、及びデータ検索用プログラムが記憶された記憶媒体
JP4067603B2 (ja) 文書分類装置、文書分類プログラムが記憶された記憶媒体、及び文書分類方法
JP4787955B2 (ja) 対象文書からキーワードを抽出する方法、システムおよびプログラム
JPH1153394A (ja) 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法
JP4129132B2 (ja) 検索結果提示装置、検索結果提示方法、及び検索結果提示プログラム
JP4156279B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及びデータ検索装置
JP2009086774A (ja) 検索サービス装置
JP3787318B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2017037577A (ja) 装置、方法、および、プログラム
JP7427510B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4712221B2 (ja) 主観的特徴要素生成装置、主観的特徴要素生成方法、及び主観的特徴要素生成プログラム
JP2009086771A (ja) 検索サービス装置
JP5149581B2 (ja) 検索サービス装置
JP5787073B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP4657430B2 (ja) データ検索装置、及びデータ検索用プログラムが記憶された記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees