JP4086377B2 - 情報検索装置及び方法 - Google Patents
情報検索装置及び方法 Download PDFInfo
- Publication number
- JP4086377B2 JP4086377B2 JP27872298A JP27872298A JP4086377B2 JP 4086377 B2 JP4086377 B2 JP 4086377B2 JP 27872298 A JP27872298 A JP 27872298A JP 27872298 A JP27872298 A JP 27872298A JP 4086377 B2 JP4086377 B2 JP 4086377B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- search
- image
- associative
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、与えられた検索語に基づいて情報を検索する情報検索装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、マルチメディア情報、例えば画像情報を検索する情報検索装置では、検索対象となる各画像に対する一人または複数の人による主観評価から導き出したデータ（キーワード）、または各画像から取り出した物理的な画像特徴等を用いて検索を行っていた。
【０００３】
例えば、人間が画像を見て受けた印象や印象に結びつくキー情報を画像管理情報に付加し、検索に利用する手法がある。キー情報には、例えば、「暖かい感じ」「冷たい感じ」の様に、画像から受けた印象を表す言葉や、「子猫」「海」「山」の様に、画像に描かれているものを表す言葉をキーワードとして付加したものがある。また、画像に描かれている一部の画像特徴的な要素を主観的に評価し、キー情報として付加する場合もある。例えば、「赤い」「青い」等の色に関する情報や、「丸い」「三角」「尖った」等の形状に関する情報、「ざらざらした感じ」「つるつるした感じ」等のテクスチャに関する情報を、言葉やアイコンを使って表現し、キー情報として画像に付加し、検索に利用するものがある。
【０００４】
一方、画像から物理的な画像特徴量を抽出し、画像検索に利用するシステムもある。画像特徴には、例えば画像に描かれている一部の色や全体の色調、画像に描かれているものの形状、構図、テクスチャ、等がある。画像特徴量は、例えば画像全体を色情報をもとに領域分割したり、一定面積毎のブロックに分割するなどして得られた分割領域・ブロックから抽出されたり、画像全体から抽出されたりする。物理的な画像特徴には、例えば、色情報、画像の濃淡分布、テクスチャ、エッジ、領域、面積、位置、周波数分布等がある。
【０００５】
【発明が解決しようとする課題】
しかしながら上記従来例では、入力した検索語に一致したキーワードを含む画像を検索した場合に、検索者の検索要求にそぐわない画像が得られてしまう場合があった。特に、「さわやかな」画像といった抽象的な検索語で画像検索を行なった場合、検索される画像が著しく限られてしまう。これを解決するために、この「さわやか」という検索語から連想されるキーワードへ展開して検索を行なうことも提案されているが、このような手法を用いれば、さわやかでない画像が検索結果に混入してしまう可能性がある。
【０００６】
また、検索語の代わりに、検索画像を与え、その特徴量を用いて検索を行なうことも提案されているが、この場合には、検索者の意図を反映した検索画像を用意する必要があり、検索画像の選択が困難である等、操作性が悪い。
【０００７】
本発明は、上記の問題に鑑みてなされたものであり、与えられた検索語に対して、目的とする情報を精度良く取り出すことを可能とする情報検索方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による情報検索装置は、たとえば以下の構成を備える。すなわち、
入力された検索語に基づいて画像を検索する情報検索装置であって、
画像及び該画像の内容を表す画像内容語とを対応付けて記憶する画像記憶手段と、
見出し語、該見出し語に関連する連想語及び該連想語の連想に関係する連想観点とを対応付けて登録した連想語辞書と、見出し語、該見出し語に関係する検索観点及び検索観点毎の、見出し語と反対の意味をもつ反意概念とを対応付けて登録した概念判別辞書と、見出し語と、画像の色彩的特徴量を表す複数の感性パターンを識別する感性パターンＩＤとを対応付けて登録した感性パターン辞書とを記憶する辞書記憶手段と、
入力された検索語及び検索観点を取得する取得手段と、
前記連想語辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた連想語を取得する連想語取得手段と、
前記概念判別辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた反意概念であって、前記取得手段で取得した検索観点と一致する検索観点が対応付けられた反意概念を取得する反意概念取得手段と、
前記連想語辞書から、前記反意概念取得手段で取得した反意概念と一致する見出し語に対応付けられた連想語を反意連想語として取得する反意連想語取得手段と、
前記取得手段で取得した検索語、前記連想語取得手段で取得した連想語及び前記反意連想語取得手段で取得した反意連想語と、前記画像記憶手段に記憶された画像内容語とを比較することで第１の検索適合度を算出する算出手段であって、前記画像内容語が前記検索語、前記連想語と一致した場合に該第１の検索適合度を増加させ、前記反意連想語と一致した場合には該第１の検索適合度を低減する第１の算出手段と、
前記感性パターン辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた感性パターンを取得する感性パターン取得手段と、
前記感性パターン取得手段で取得した感性パターンと、前記画像記憶手段に記憶された画像とを比較することで第２の検索適合度を算出する第２の算出手段と、
前記第１の検索適合度及び前記第２の検索適合度を統合する統合手段とを備えることを特徴とする情報検索装置。
【０００９】
また、上記の目的を達成するための本発明の他の態様による情報検索方法は、たとえば以下の工程を備える。すなわち、
入力された検索語に基づいて画像を検索する情報検索装置を制御する情報検索方法であって、
取得手段が、入力された検索語及び検索観点を取得する取得工程と、
連想語取得手段が、見出し語、該見出し語に関連する連想語及び該連想語の連想に関係する連想観点とを対応付けて登録した連想語辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた連想語を取得する連想語取得工程と、
反意概念取得手段が、見出し語、該見出し語に関係する検索観点及び検索観点毎の、見出し語と反対の意味をもつ反意概念とを対応付けて登録した概念判別辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた反意概念であって、前記取得工程で取得した検索観点と一致する検索観点が対応付けられた反意概念を取得する反意概念取得工程と、
反意連想語取得手段が、前記連想語辞書から、前記反意概念取得工程で取得した反意概念と一致する見出し語に対応付けられた連想語を反意連想語として取得する反意連想語取得工程と、
第１の算出手段が、前記取得工程で取得した検索語、前記連想語取得工程で取得した連想語及び前記反意連想語取得工程で取得した反意連想語と、画像及び該画像の内容を表す画像内容語とを対応付けて記憶する画像記憶手段に記憶された画像内容語とを比較することで第１の検索適合度を算出する算出処理を実行し、前記算出処理において、前記画像内容語が前記検索語、前記連想語と一致した場合に該第１の検索適合度を増加させ、前記反意連想語と一致した場合には該第１の検索適合度を低減する第１の算出工程と、
感性パターン取得手段が、見出し語と、画像の色彩的特徴量を表す複数の感性パターンを識別する感性パターンＩＤとを対応付けて登録した感性パターン辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた感性パターンを取得する感性パターン取得工程と、
第２の算出手段が、前記感性パターン取得工程で取得した感性パターンと、前記画像記憶手段に記憶された画像とを比較することで第２の検索適合度を算出する第２の算出工程と、
統合手段が、前記第１の検索適合度及び前記第２の検索適合度を統合する統合工程とを備えることを特徴とする情報検索方法。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を詳細に説明する。
【００１１】
図１は、本実施形態の画像検索装置を構成するための情報処理装置の構成例を示す図である。
【００１２】
図１において、１１はマイクロプロセッサ（以下、ＣＰＵ）であり、制御プログラムに従って画像情報検索のための演算、論理判断等を行なうと共に、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。アドレスバスＡＢはＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはＣＰＵ１１の制御の対象とする各構成要素へのコントロール信号を転送する。データバスＤＢは各構成機器相互間のデータ転送を行なう。
【００１３】
１２は読出し専用の固定メモリ（以下、ＲＯＭ）であり、当該装置の起動時にＣＰＵ１１によって実行されるブート処理プログラム等を格納する。また、１３は１ワード１６ビットで構成される書込み可能なランダムアクセスメモリ（以下、ＲＡＭ）であって、各構成要素からの各種データの一時記憶に用いられる。特に本実施形態では、ＲＡＭ１３は、図２において後述する検索語保持部２０２、検索観点保持部２０３、検索重み保持部２０４、決定重み保持部２０７、展開連想語保持部２０９、展開感性パターン保持部２１３、検索結果保持部２１６といった各種データ保持部を提供する。
【００１４】
１４は外部メモリ（ＤＩＳＫ）であり、図２において後述する概念判別辞書２０５及び連想語辞書２１１を格納すると共に、イメージ語と感性パターンの対応保持部２１５、画像内容語保持部２１９、画像保持部２１８、感性パターン保持部２２０、画像特徴量保持部２２２、画像特徴量及び感性パターンの対応保持部２２３といったデータ保持部を提供する。なお、外部メモリ１４の記録媒体としては、ＲＯＭ、フロッピーディスク、ＣＤ−ＲＯＭ、メモリカード、光磁気ディスクなどが用いられ得る。
【００１５】
また、外部メモリ１４は、図２等において後述する検索要求入力処理２０１、重み判定処理２０６、連想語展開処理２０８、連想語による画像内容語検索処理２１０、感性パターン展開処理２１２、感性パターン検索処理２１４、検索結果統合処理２１７、画像特徴抽出処理２２１、感性パターン判定処理２２４の各処理を実行するプログラムが格納される。
【００１６】
１５はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キーの他に、検索を指示するための検索キー（一般的なキーボードのファンクションキーで代用しても良い）及びカーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。また、図示していないが、マウス等のポインティングデバイスが接続されてもよい。
【００１７】
１６は表示用ビデオメモリ（以下、ＶＲＡＭ）であり、表示すべきデータのパターンを格納する。１７はＣＲＴコントローラ（以下、ＣＲＴＣ）であり、ＶＲＡＭ１６に蓄えられた内容をＣＲＴ１８に表示する役割を担う。１８は陰極線管等を用いた表示装置（ＣＲＴ）であり、ＣＲＴ１８におけるドット構成の表示パターンおよびカーソルの表示がＣＲＴＣ１７で制御される。なお、表示装置としては、液晶等、各種表示器を用いることができることはいうまでもない。１９はネットワークインターフェースカード（ＮＩＣ）であり、本画像検索装置をEthernetなどのネットワークに接続する役割を担う。
【００１８】
以上の各構成要素からなる本実施形態の画像検索装置は、キーボード１５からの各種入力、及びネットワークコントローラから供給されるネットワーク経由の各種入力に応じて動作する。キーボード１５からの入力、或いはネットワークコントローラ１９からの入力があると、インタラプト信号がＣＰＵ１１に送られる。このインタラプト信号を受けたＣＰＵ１１は、外部メモリ１４内に記憶してある各種の制御データを読み出し、それら制御データに従って、各種の制御を実行する。なお、本実施形態において規定する処理を実現するための制御プログラムを格納した記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、当該記録媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。
【００１９】
図２は本実施形態の画像検索装置における処理構成を図式化したブロック図である。
【００２０】
図２において、２０１は検索要求入力処理であり、所望の検索対象に関する要求事項（ここでは、検索語、検索観点、検索重みであり、詳細は後述する）を入力する。２０２は検索語保持部であり、検索要求入力処理２０１によって入力された検索語を記憶する。２０３は検索観点保持部であり、検索要求入力処理２０１によって入力された検索観点を記憶する。２０４は検索重み保持部であり、検索要求入力処理２０１によって入力された検索重みを記憶する。
【００２１】
２０５は概念判別辞書であり、図８に示すように、検索対象となる概念に関係する検索観点、検索対象となる概念とは反対の意味を持つ反意概念、概念を検索する際の重み判定のための２種類の係数（連想重みと感性パターン重み）を有する。なお、概念判別辞書２０５の詳細については、図８を参照して後述する。２０６は重み判定処理であり、検索語保持部２０２に記憶された検索語を検索する際に、連想語（連想語展開処理２０８によって得られる）と感性パターン（感性パターン展開処理２１２によって得られる）のいずれを重視して検索すべきかを示す重み（連想重み、感性パターン重み）を与える。２０７は決定重み保持部であり、重み判定処理２０６で決定された検索重みを記憶する。
【００２２】
２０８は連想語展開処理であり、検索語保持部２０２に記憶された検索語を連想語辞書２１１を参照して連想語に展開するとともに、その検索語に対する反意概念を概念判別辞書２０５から獲得し、連想語辞書２１１を参照して、得られた反意概念を連想語に展開する。２０９は展開連想語保持部であり、連想語展開処理２０８によって展開された連想語（反意概念の連想語を含む）を格納する。２１０は連想語による画像内容語検索処理（以下、画像内容語検索処理２１０という）であり、展開連想語保持部２０９を参照し、画像内容語保持部２１９に格納された画像内容語のうち展開された連想語と合致するものを検索する。２１１は連想語辞書であり、見出しとなる概念ごとに連想される語を連想観点と対応させて格納してある（詳細は図９により後述する）。
【００２３】
２１２は感性パターン展開処理であり、検索語保持部２０２に記憶された検索語をイメージ語−感性パターン対応保持部２１５を参照して感性パターンに展開すると共に、当該検索語の反意概念を概念判別辞書２０５から得て、得られた反意概念を、イメージ語−感性パターン対応保持部２１５を参照して、感性パターンに展開する。
【００２４】
２１３は展開感性パターン保持部であり、感性パターン展開処理２１２で展開した感性パターンを一時的に保存する。展開感性パターン保持部２１３におけるデータの格納については図１１を参照して後述する。２１４は感性パターン検索処理であり、展開感性パターン保持部２１３を参照して、感性パターン保持部２２０に格納されている感性パターンのうち展開された感性パターンと類似するものを検索する。
【００２５】
２１５はイメージ語−感性パターン対応保持部であり、イメージ語とそのイメージ語に関連づけられた各連想語の組に対応する感性パターンＩＤを記憶することにより、イメージ語と感性パターンの対応を格納する。なお、イメージ語−感性パターン対応保持部２１５の詳細は図１２を参照して後述する。
【００２６】
２１６は検索結果保持部であり、画像内容語検索処理２１０と感性パターン検索処理２１４によって検索された画像ＩＤを格納する。２１７は検索結果統合処理であり、検索結果保持部２１６に記憶された連想語による画像内容語の検索結果と感性パターンの検索結果とを、重み判定処理２０６によって得られ、決定重み保持部２０７内に格納された決定重みに基づいて統合する。
【００２７】
２１８は画像保持部であり、検索対象となる画像情報を格納する。２１９は画像内容語保持部であり、画像保持部２１８に格納された画像の内容を描写すべく付与されている概念を言語で記述し格納したものである。２２０は感性パターン保持部であり、画像保持部２１８に格納された各画像の画像情報と感性パターンとの適合度を格納する。すなわち、感性パターン保持部２２０には、画像ＩＤごとに各感性パターンとの適合度が記憶されている。感性パターン保持部２２０のデータ内容については、図１３を参照して後述する。
【００２８】
２２１は画像特徴抽出処理であり、画像保持部２１８に格納された各画像情報から物理的な画像特徴量を抽出する。物理的な画像特徴量は、色情報をもとに分割された領域や、一定面積で分けられたブロック、または画像全体から抽出される視覚的な特徴である。例えば、画像特徴は、画像の色分布やヒストグラム、画像の濃淡分布、テクスチャ、エッジ、周波数分布等の数値化された情報である。なお、画像特徴量の詳細は図１４を参照して後述する。
【００２９】
２２２は画像特徴量保持部であり、画像特徴抽出処理２２１によって得られた各画像の画像特徴量を格納する。また、２２３は画像特徴量−感性パターン対応保持部であり、画像特徴量と感性パターンの対応をとって記憶する。画像特徴量−感性パターン対応保持部２２３には、感性パターンＩＤと各ＩＤに対応した画像特徴量データが記憶されている。なお、画像特徴量−感性パターン対応保持部２２３のデータ構成については図１７を参照して後述する。
【００３０】
２２４は感性パターン判定処理であり、画像特徴量保持部２２２と画像特徴量−感性パターン対応保持部２２３とを参照して、感性パターンから抽出した画像特徴量と画像情報から抽出した画像特徴量とを比較・照合して、その適合度を求め、上述の感性パターン保持部２２０にその結果を登録する。
【００３１】
図３は検索要求入力処理２０１において入力された検索要求語について、関連する検索観点を表示した例を示す図である。検索語が例えばキーボード１５を操作することにより入力されると、図８のごとき概念判別辞書２０５が検索され、検索語を見出し語として、対応する検索観点が抽出される。図３においては、検索要求語「渋い」に対して、「色調」「味」「雰囲気一般」の３つの検索観点が存在し、ここでは、網掛け表示されている「色調」が選択されていることを示している。この状態でＯＫボタンを押下（クリック）すると、検索観点「色調」が選択され、検索観点保持部２０３に保持される。
【００３２】
なお、キーボード１５上のカーソル移動キーを押下することにより、網掛け表示部は「色調」から「味」または「雰囲気一般」というように遷移するので、所望の検索観点を選択することができる。なお、検索要求語である「渋い」は検索語保持部２０２に、選択された検索観点は検索観点保持部２０３にそれぞれ保持されることになる。
【００３３】
図４は検索要求入力処理２０１における、連想語による検索重みと、感性パターンによる検索重みを指示するための、重み指定操作パネルの表示例を示す図である。上述のように、本実施形態では、連想語による検索と、検索語に基づくイメージ（感性パターン）の特徴量による検索とを行ない、両検索結果を統合するが、この統合処理においては両検索結果に重み付けが行なわれる。重み指定操作パネルにおいて、これら、連想語による検索重みと、感性パターンによる検索重みを指定することができる。すなわち連想語による検索と感性パターンによる検索のどちらを重視して検索するかを指定することができる。
【００３４】
図４において、スライダーボタン４１を左方向にスライドさせると、連想語による検索を重視するような指示が行われ、右方向にスライドさせると感性パターンによる検索を重視する指示が行われる。スライダーボタン４１で重みを指定した後、ＯＫボタン４３を押下することで、重みの設定指示が行われる。なお、ボタン４２は重みを明示的に指定しない場合に押下する。ボタン４２が選択された場合には、所定の重みの値（これは、概念判別辞書２０５の連想重み８３と感性パターン重み８４から得られる）が用いられる。こうして設定された重みは、検索重み保持部２０４に格納される。なお、重み指定操作パネルの各ボタン４１〜４３の押下は、不図示のポインティングデバイスによるクリック操作であっても良いことは明らかである。
【００３５】
図５は、画像ＩＤと画像ファイル格納パスを対応づけた画像保持部２１８のデータ構成を示す図である。図５において、５１は画像ＩＤを示し、当該画像データベースにおいて、１つの画像ファイルにつき一意に付与された識別番号である。５２は画像ＩＤに対応する画像ファイルの外部メモリ１４における格納先を示すファイルパスであり、ＭＳ−ＤＳのディレクトリとファイル名に相当する。
【００３６】
図示は省略するが、各画像ファイルは、周知のように、ヘッダ部と画像データ部に分けられる。ヘッダ部にはその画像ファイルからデータを読み取るときに必要な情報や、画像の内容を説明する付帯的な情報が格納され、その画像フォーマット名を示す画像フォーマット識別子、ファイルサイズ、画像の幅・高さ・深さ、圧縮の有無、カラーパレットの情報、解像度、画像データの格納位置へのオフセットなどの情報が格納される。また、画像データ部は画像データを順次格納している部分である。本実施形態においては、このような画像フォーマットとしてMicrosoft社のＢＭＰフォーマットを用いるものとするが、ＧＩＦフォーマットあるいはＪＰＥＧ、Flash Pixといった、その他の圧縮フォーマットを用いても同様の構成をなすことができる。
【００３７】
図６は、画像ＩＤと画像内容語とを対応づけた画像内容語保持部２１９のデータ構成例を示す図である。図６において、６１は画像ＩＤであり、図５の画像ＩＤ５１と対応する。６２は画像内容語であり、画像ＩＤ６１で表される各画像を描写するための語を格納する。画像内容語は画像に描写されている画像特徴を言葉にしたキーワードであり、文字コード（例えばunicode）で格納される。キーワードは１つの画像について複数個格納してもよく、画像内容語保持部２１９は画像ＩＤ６１をキーとする画像内容語６２のリストで構成される。
【００３８】
図７は図６に示す画像内容語保持部のデータを、画像内容語をキーとして画像ＩＤのリストで格納したテーブルを示す図である。図７において、画像内容語７１の各語をキーワードとして含むすべての画像ＩＤが画像ＩＤ７２に格納される。なお、図６は画像ＩＤによる分類を、図７は画像内容語による分類を示したものであり、図６と図７は内容的には同じものなので両方を保持しておく必要は無い。
【００３９】
図８は概念判別辞書２０５のデータ構成例を示した図である。概念判別辞書２０５は、検索要求となる検索語に関する情報を提供するものであり、検率語に対応する見出し語８０、見出し語に関係する検索観点８１、検索観点毎の、見出し語と反対の意味をもつ反意概念８２、見出し語を検索する際の連想語の重み８３、見出し語を検索する際の感性パターンの重み８４とを対応させて格納したテーブルである。
【００４０】
図９は連想語辞書２１１のデータ構成例を示す図である。連想語辞書２１１は見出し語に対する連想語の一組を一意に番号付ける連想ＩＤ９０と、連想の起点となる見出し語９１、見出し語９１から連想される連想語９２、連想語９２の連想に関係する連想観点９３、見出し語９１と連想語９２との間の連想の強さを示す連想強度９４とから構成される。
【００４１】
なお、本例では、連想強度９４は０〜１０の絶対値をとり、符号が連想語の適用状態をあらわす。すなわち、連想強度が正数である場合は、連想強度数値が大きいほど連想関係による結びつきが強い（共起性が高い）ことを示し、逆に連想強度が負数である場合は、連想強度が大きいほど連想関係が成り立たないことを示す。例えば、図９において、連想ＩＤ＝１２６５３３の連想データにおいて、見出し語「素朴」に対応する連想語「民芸品」は「６」の強さで連想が可能な言葉であるが、連想ＩＤ＝１２６５３６の連想データ「シャンデリア」は連想強度が負数であるので「９」の強さで連想できない言葉である。
【００４２】
図１０は、検索結果保持部２１６におけるデータ保持形態を説明する図である。上述したように、検索結果保持部２１６は、連想語による画像内容語検索処理２１０と感性パターン検索処理２１４によって検索された画像ＩＤを格納するものである。
【００４３】
図１０において、１００は検索された画像ＩＤを格納し、１０１は、画像内容語検索処理２１７で一致した、連想強度が正数である連想語の数を格納する。また、連想語ＩＤリスト１０２は、一致した連想語の連想語辞書２１１における連想語ＩＤ９０（図９）を最大２０個まで格納する。連想語一致数１０１がゼロである場合は、連想語ＩＤリスト１０２にはヌルコードが埋められる。１０３は、画像ＩＤ１００に対する連想語による連想一致度を格納する。連想語一致数１０１がゼロである場合は、連想一致度１０３にもゼロが格納される。
【００４４】
１０４は、感性パターン検索処理２２３で検索された類似度の最も高い感性パターンの数を格納する。１０５は感性パターンＩＤリストであり、一致した感性パターンの感性パターンＩＤを最大２０個まで格納する。感性パターン一致数１０４がゼロである場合は、感性パターンＩＤリスト１０５にはヌルコードが埋められる。１０６は画像ＩＤ１００に対する感性パターン検索による感性パターン一致度を格納する。感性パターン一致数１０４がゼロである場合は、感性パターン一致度１０６にはゼロが格納される。１０７には、連想一致度１０３と感性パターン一致度１０６とをパラメータとして求めた、検索要求に対する画像ＩＤ１００の統合一致度（検索結果統合処理２１７による）が格納される。
【００４５】
図１１は図２の展開感性パターン保持部２１３のデータ構成例を説明する図である。図１１において、１１０は、この感性パターンの展開元であるイメージ語で、検索語保持部２０２に格納されているのと同じイメージ語が格納されている。本例では、「さわやかな」という文字列が格納されており、文字列はＮＵＬＬコードで終了する。１１１は、イメージ語１１０をイメージ語−感性パターン対応保持部２１５を参照して展開して得られた感性パターンの数である。たとえば、イメージ語−感性パターン対応保持部２１５の内容が図１２のようであった場合、「さわやかな」というイメージ語から展開された感性パターンの数は７となる。１１２は、「さわやかな」というイメージ語を実際に展開したデータの格納先の領域を示すアドレスである。図１１に示した例では、この格納先アドレス１１２は、同図の１１５で示されるデータにリンクしている。
【００４６】
データ１１５においては、「さわやかな」から実際に展開された展開データ、すなわち連想語と感性パターンの組が、感性パターン数１１１に示される個数分格納されている。本例では、データ１１５として、連想語と感性パターンの組が７組格納されることになる。たとえば、１１４は、「さわやかな」というイメージ語の連想語で、本例では、「森林」という文字列が格納されており、文字列はＮＵＬＬコードで終了する。そして、１１３は、イメージ語「さわやかな」と「さわやかな」の連想語「森林」に対応した感性パターンＩＤであり、本例では、５が格納されている。他の連想語と感性パターンの組についても同様である。
【００４７】
図１２は図２におけるイメージ語−感性パターン対応保持部２１５のデータ構成例を示す図である。図１２において、１２０は、この感性パターンの展開元となるイメージ語である。図では、「さわやかな」「トロピカルな」等の文字列が格納されており、文字列はＮＵＬＬコードで終了する。１２１は、１２０の各イメージ語から展開された連想語である。本例では、「さわやかな」に対して「森林」「高原」「青空」などの連想語が記憶されており、文字列はＮＵＬＬコードで終了する。この１２１の部分に文字列が格納されていない場合、即ちＮＵＬＬコードのみの場合は、この感性パターンが、「さわやかな」というイメージ語全てに適応でき、特に連想語が指定されていないことを表している。
【００４８】
１２２は、１２０のイメージ語と１２１の連想語に対応した感性パターンＩＤである。本例では、イメージ語「さわやかな」とその連想語「森林」に対する感性パターンＩＤとして、００５，００６が格納されている。また、「さわやかな」に対する反意概念として「さわやかでない」に対する感性パターンも記憶されている。本例では、「さわやかでない」には、特に連想語はなく、感性パターンＩＤとして００１と０１０が登録されている。
【００４９】
図１３は図２における感性パターン保持部２２０のデータ構成を示す図である。図１３において、１３１は、登録する画像を識別するための画像ＩＤである。画像ＩＤ１３１は、画像保持部２１８に記憶されている番号と同じものが使用され、このシステムにおいて画像を一意に定義付けている。１３２には、感性パターンＩＤが格納されている。本実施形態では、それぞれの画像について、画像特徴量−感性パターン対応保持部２２３に記憶されているすべての感性パターンに対する適合度が求められるため、全ての感性パターンＩＤ（１〜ｍ）が格納されている。１３３は、各画像と各感性パターンとの適合度を示す数値である。適合度は０から１までの数で、０はこの画像が感性パターンにまったく適合しなかったことを示しており、１に近いほど適合性が高いことを示している。例えば、本実施形態では、画像ＩＤ００１の画像に対して、感性パターン１との適合度は０．１０、感性パターン２との適合度は０である。
【００５０】
図１４は画像特徴量抽出処理によって一枚の画像から画像特徴量を抽出した際に得られるデータ例を示す図である。図１４において、画像特徴をＸ1，Ｘ2，Ｘ3，…，Ｘn、画像特徴量を抽出する領域・ブロックをＢ1，Ｂ2，…，Ｂm、各領域・ブロックから抽出された特徴量をｘ11〜ｘmnで表している。すなわち、各領域・ブロック毎に、Ｘ1〜Ｘnの物理的画像特徴に関する特徴量が得られる。
【００５１】
図１５は、特に色彩的画像特徴量を抽出した場合の例を示す図である。これは、画像の領域或いはブロックごとに代表的な色を抽出したものである。図１５によれば、物理的画像特徴は「代表色」と「特徴量」で表され、領域或いはブロックＢ1，Ｂ2，…，Ｂnから抽出された代表色はＣ1（Ｒ1，Ｇ1，Ｂ1）、Ｃ2（Ｒ2，Ｇ2，Ｂ2），…，Ｃn（Ｒn，Ｇn，Ｂn）で、それぞれの特徴量はｃ1〜ｃnである。
【００５２】
図１６は図２における画像特徴量保持部２２２の記憶例を示す図である。図１６において、１６１は、登録する画像を識別するための画像ＩＤである。画像ＩＤ１６１は、画像保持部２１８に記憶されているＩＤ番号と同じものが使用されている。１６２は、画像特徴量を抽出したブロックまたは領域を示す番号で、本例では各領域或いはブロックの番号をＢ1，Ｂ2，…，Ｂmで表している。１６３は、１６２に示す各領域或いはブロック（Ｂ1，Ｂ2，…，Ｂm）から抽出された画像特徴を表す情報（本例では代表色を用いる）である。本例は、色彩的画像特徴を抽出した場合の例で、例えば、色彩を表す情報Ｃ11（Ｒ11，Ｇ11，Ｂ11），…，Ｃn1（Ｒn1，Ｇn1，Ｂn1）が格納されている。１６４は、各領域或いはブロックから抽出された画像特徴の特徴量を示している。本例では、Ｃ11（Ｒ11，Ｇ11，Ｂ11），…，Ｃn1（Ｒn1，Ｇn1，Ｂn1）の特徴量としてｃ11，…，Ｃn1が格納されている。
【００５３】
図１７は図２における画像特徴量−感性パターン対応保持部２２３のデータ格納例を示す図である。図１７において、１７１は感性パターンＩＤで、感性パターンを一意に識別する番号である。１７２は、各感性パターンＩＤに対応付けられた画像特徴量データである。本実施形態では、感性パターンを色彩的特徴量で表現しており、各感性パターンＩＤに対する色成分（ＲＧＢやＨＶＣなどの色空間における値）の組み合わせが記憶されている。本例では、色成分としてＲＧＢ色空間における値が登録されいてる。ＲＧＢ値は、０〜２５５までの整数である。各パターンに対応付けられた色の数は、最大ｍ個である。
【００５４】
感性パターン判定処理２２４は、以上の画像特徴量保持部２２２と画像特徴量−感性パターン対応保持部２２３を用いて、画像保持部２１８に登録されている各画像データ毎に、各感性パターンとの適合度を求め、感性パターン保持部２２０に登録する（図２２のステップＳ８７で後述する）。
【００５５】
以上のような構成を供えた本実施形態の画像検索装置における処理について以下に説明する。
【００５６】
図１８は本実施形態の画像検索処理の動作を説明したフローチャートである。図１８において、ステップＳ１は、図２における検索要求処理２０１を実行する処理モジュールであり、検索要求の入力を行う。なお、処理の詳細は、図１９を用いて後述する。
【００５７】
ステップＳ２は、図２の重み判定処理２０６を実行する処理モジュールであり、ステップＳ１における検索要求入力処理によって検索重み保持部２０４に格納された検索重みを参照し、もし重みが指定されていれば、その値を決定重み保持部２０７に格納する。もし検索重み保持部２０４に重みが指定されていなければ、概念判別辞書２０５（図８）を参照し、検索語保持部２０２に格納された検索語を見出し語８０から検索し、対応する連想重み８３、感性パターン重み８４を読み出し、決定重み保持部２０７に格納する。また、見出し語８０に、検索語保持部２０２に一致する語が存在しない場合は、連想重み、感性パターン重みの既定値として（ともに５）を決定重み保持部２０７に格納するものとする。
【００５８】
ステップＳ３は決定重み保持部２０７を参照し、連想重みが０であるかどうか判定する。もし連想重みが０であるならば、連想語による検索は不要であるので、ステップＳ５の処理へ分岐し、０でなければステップＳ４の処理を行う。ステップＳ４は図２における連想語展開処理２０８、連想語による画像内容語検索処理２１０を行う処理モジュールであり、その処理の詳細は図２０を参照して後述する。
【００５９】
ステップＳ５では、決定重み保持部２０７を参照し、感性パターン重みが０であるかどうかを判定する。もし、感性パターン重みが０であるならば、感性パターンによる検索は不要であるので、ステップＳ７の処理へ分岐し、そうでなければステップＳ６の処理を行う。ステップＳ６は図２における感性パターン展開処理２１２、感性パターン検索処理２１４を行う処理モジュールであり、図２１により後述する。
【００６０】
ステップＳ７は図２における検索結果統合処理２１７を行うための処理モジュールであり、その処理の詳細は、図２２により後述する。
【００６１】
ステップＳ８はステップＳ７によって得られた検索結果として検索結果保持部２１６に格納されている画像ＩＤに対応する画像ファイルを画像保持部２１８より取り出して表示する。なお、ステップＳ８による検索結果の表示は、同種の検索装置において広く行われている公知の処理である。
【００６２】
図１９は、検索要求入力処理２０１（図１８のステップＳ１）の詳細を示すフローチャートである。ステップＳ２１において検索要求となる検索語を入力する。検索語入力はＫＢ１５から入力された文字コードをＲＡＭ１３上の検索語保持部２０２に格納することにより行われる。
【００６３】
次にステップＳ２２において、検索語保持部２０２に格納された検索語を検索要求として、この検索要求に関連する検索観点を概念判別辞書２０５から取り出す。検索語保持部２０２の検索語と一致する見出し語８０（図８）に対する検索観点８１をすべて取り出す。例えば、検索語が「渋い」である場合、検索観点として「色調」，「味」，「雰囲気一般」の３つを得ることができる。
【００６４】
次に、ステップＳ２３において、上記ステップＳ２２の検索観点抽出により検索観点が見つかったかどうか判定し、検索観点が見つかった場合はステップＳ２４の処理へ、見つからなければステップＳ２６の処理へ分岐する。
【００６５】
ステップＳ２２において検索観点が見つかったならば、ステップＳ２４において図３に示すように検索観点を当該検索語とともに表示する。ステップＳ２５では、表示された検索観点から、図３で説明したユーザインターフェースを用いて、所望の検索観点を選択する。こうして選択指示された検索観点は、検索観点保持部２０３に格納される。
【００６６】
ステップＳ２６は検索要求に対する検索処理方法に関し、連想語による検索と感性パターンによる検索のいずれを重視して検索を行うかを指示する検索重みを入力する。本実施形態では、図４に示すごときユーザインターフェースを用いて重みの設定を行なう。ユーザは、図４に示すスライダーバーを操作し、スライダーの左右のバーの長さ（ボタン４１の位置）で連想語を重視する割合、感性パターンを重視する割合（所望の検索重み）を指定する。なお、重みを指定しない場合は、図４の重みの既定値の使用を指定する。
【００６７】
ステップＳ２７において、ステップＳ２６で重みの指定があったかどうか判定する。そして、重みの既定値を使用する旨が指示された場合は本処理を終了する。一方、検索重みが指定されていればステップＳ２８へ進み、ステップＳ２６で指定された連想語による検索の重み、感性パターンによる検索の重みを検索重み保持部２０４に格納して、本処理を終了する。
【００６８】
図２０は、連想語展開処理２０８及び連想語による画像内容語検索処理２１０（図１８のステップＳ４）の詳細を示すフローチャートである。
【００６９】
図２０において、ステップＳ４１は検索語保持部２０２に格納されている検索語で連想語辞書２１１を検索し連想語データを得る。すなわち、検索語と一致する連想語辞書２１１の見出し語９１（図９）を検索し、登録されている連想語データを抽出する。見出し語９１内に検索語に一致する語が存在すれば、その連想ＩＤをすべて展開連想語保持部２０９に格納する。
【００７０】
次にステップＳ４２において、概念判別辞書２０５を検索し、検索語２０２と一致する見出し語が存在すれば、その見出し語に対応する検索観点８１（図８）を取り出す。そして、取り出された検索観点と、上述のステップＳ２５で検索観点保持部２０３に格納された検索観点とを比較し、両者が一致していれば、この見出し語に対応する反意概念８２を取り出す。検索観点が一致しなければ、引き続き検索語と見出し語の一致するデータの検索を行う。こうして、抽出したすべての検索観点について上記のチェックを終えると、ステップＳ４３へ進む。
【００７１】
ステップＳ４３では、ステップＳ４２で見つかった反意概念と一致する見出し語を持つ連想語を連想語辞書２１１から検索する。反意概念に一致する見出し語が存在すれば、その連想ＩＤを反意概念であることを示す状態符号を付与して、展開連想語保持部２０９に格納する。
【００７２】
次に、ステップＳ４４で展開連想語保持部２０９に格納された連想ＩＤから連想語を取り出し、連想語と一致する画像内容語を画像内容語保持部２１９から検索し、結果を検索結果保持部２１６に格納する。
【００７３】
ここでは、まず、展開連想語保持部２０９に格納されている連想ＩＤを取り出し、連想語辞書２１１を参照して、対応する連想データを抽出する。そして、抽出した連想データの連想強度９４を取り出し、ＲＡＭ１３上のワークメモリＡＳＣＦ（不図示）にセットする。ここで、もし、展開連想語保持部２０９より取り出した連想ＩＤに反意概念の状態符号が付与されていたら、連想強度の符号を反転して負数となるようにする。ただし、連想強度がすでに負数であったら、その連想データは破棄して次の連想データをチェックする。
【００７４】
次に連想ＩＤに対応する連想観点を取り出し、検索観点保持部２０３に格納された検索観点と比較し、一致すれば所定値αをＲＡＭ１３上に確保されたワークメモリＶＰＦ（不図示）にセットし、一致しなければα×０．１の値をワークメモリＶＰＦにセットする。
【００７５】
次に連想ＩＤに対応する連想語と一致する画像内容語を画像内容語保持部２１９から検索し、見つかれば、その画像内容語に対応する画像ＩＤを画像ＩＤ７２（図７）より獲得し、検索結果保持部２１６の検索された画像ＩＤ１００（図１０）にセットする。そして、連想語一致数１０１に１をセットし、連想語ＩＤ１０２に検索対象となっている連想ＩＤをセットする。そして、連想一致度１０３に、連想語一致によるスコアの所定値βにワークメモリＡＳＣＦの値とＶＰＦの値を乗じた値を連想一致度として格納する。すでに同じ画像ＩＤが格納されている場合は、連想語一致数１０１の値を＋１し、連想語ＩＤ１０２に新たな連想語ＩＤを加え、格納済の連想一致度１０３の値に、求めた連想一致度を加えて新しい連想一致度として値を更新する。
【００７６】
図２１は、感性パターン展開処理２１２、感性パターン検索処理２１４及び検索結果統合処理２１７の詳細を示すフローチャートである。
【００７７】
上述のように、検索要求入力処理２０１で、利用者から画像を検索するための検索要求が入力される。検索要求には、１つまたは複数の検索語、検索範囲、等が含まれる。本実施形態で入力される検索語は、「さわやかな」感じ、「あたたかい」感じ、等の画像の印象を表す抽象的なイメージ語である。入力された検索指示語は、検索語保持部２０２に格納される。ここでは、「さわやかな」というイメージ語が格納されているものとして説明する。
【００７８】
ステップＳ６１及びステップＳ６２は、感性パターン展開処理２１２で実行される処理である。ステップＳ６１では、イメージ語−感性パターン対応保持部２１５を参照して、検索語保持部２０２に保持されているイメージ語を感性パターンに展開する。本実施形態では、検索語保持部２０２にイメージ語「さわやかな」が、また展開連想語保持部２０９には「さわやかな」から展開された連想語「森林」「高原」「青空」、etcが保持されており、２１５を参照してそれぞれに対応する感性パターンＩＤに展開する。例えば、イメージ語「さわやかな」−連想語「森林」に対する感性パターンＩＤとして、００５，００６を、また、イメージ語「さわやかな」−連想語「高原」に対する感性パターンＩＤとして００７を取得する。
【００７９】
次にステップＳ６２に進み、ステップＳ６１で展開された感性パターンＩＤとイメージ語・連想語の組を展開感性パターン保持部２１３に格納する。展開感性パターン保持部２１３におけるデータの格納については、図１１により上述したとおりである。
【００８０】
次にステップＳ６３に進む。ステップＳ６３及びステップＳ６４は、感性パターン検索処理２１４で実行される処理である。まず、ステップＳ６３において、感性パターン保持部２２０を参照して、展開感性パターン保持部２１３に格納されている感性パターンＩＤに対する適合度が０より大きい画像の画像ＩＤを全て取得する。この処理は、展開感性パターン保持部２１３に保持されているすべての感性パターンについて行う。なお、感性パターン検索処理２１４では、検索語及び反意概念の各々から展開された感性パターンＩＤに対する適合度が０より大きい画像ＩＤを取得する。
【００８１】
次にステップＳ６４において、ステップＳ６３で取得した感性パターンＩＤと、画像ＩＤ、及びその適合度の組を検索結果保持部２１６に格納する。
【００８２】
次に、ステップＳ６５に進む。ステップＳ６５〜Ｓ６９の処理は、検索結果統合処理２１７によって実行される処理を示している。すなわち、検索結果保持部２１６に保持されている、連想語による画像内容語検索結果と感性パターン検索結果とを参照し、決定重み保持部２０７に保持されている重みをもとに、両検索結果を一つの検索結果として統合する。なお、感性パターン検索結果に関し、検索語に対する反意概念に基づく感性パターンがある場合には、当該画像を統合結果から除外する。或いは、そのような反意概念の感性パターンを含む画像の感性パターン一致度を、統合処理時において低下させてもよい。
【００８３】
統合処理は、各連想語毎に両検索結果の共通要素をとる（検索結果のアンドをとる）方法や、各検索に対する重みから統合適合度を求め、適合度が上位のものから適切な検索結果とする方法などがある。本実施形態では、統合適合度を求める方法を例に統合処理について説明する。
【００８４】
検索結果保持部２１６に記憶されている、たとえば連想語「森林」と一致した画像の連想適合度をＡ、連想語「森林」に対応した感性パターンＩＤ００５に適合した画像の感性適合度をＢ、決定重み保持部２０７に保持されたそれぞれの検索の重みをｗ1、ｗ2（ｗ1＋ｗ2＝１）としたとき、統合適合度は、
統合適合度＝ｗ1×Ａ＋ｗ2×Ｂ
または、統合適合度＝（ｗ1×Ａ^2＋ｗ2×Ｂ^2）^1/2
で求めることができる。ただし、Ｘ^YはXのY乗を表す。統合適合度を全ての連想語の全感性パターンについて求める。一つの画像ＩＤが複数の感性パターンＩＤに対して０より大きい適合度を持つ場合は、一つの画像に対して複数の統合適合度が得られるが、この場合は最も大きい適合度を検索結果として採用する（ステップＳ６５）。
【００８５】
この処理を、どちらかの検索結果が０よりも大きい全ての画像について行い、統合適合度が閾値よりも高い画像を統合した検索結果とする（ステップＳ６６、Ｓ６７、Ｓ６８）。
【００８６】
ステップＳ６９において画像ＩＤとその適合度の組を検索結果保持部２１６に格納することにより検索処理を終了する。
【００８７】
図２２は、画像登録時に行われる検索の前処理の一例を示すフローチャートである。この処理は、ＤＩＳＫ１４に格納されている処理プログラムに従って制御される。
【００８８】
まず、ステップＳ８１で、ユーザから登録する画像が指示される。登録する画像は、ＤＩＳＫ１４や図示外の外部記憶装置、画像入力装置、またはこの画像処理装置に接続された画像データベース・サーバ等に格納されている画像の中から指定される。本実施形態では、検索の対象となる画像があらかじめ記憶されており、この中から画像が選択されるものとする。
【００８９】
次にステップＳ８２に進む。ステップＳ８２では、指定された画像ファイル名に対応した画像ＩＤ、および登録するために必要となる各種画像情報を取得し、画像特徴抽出処理２２１に与える。画像ＩＤは、画像を管理するために、画像ファイル名に対応付けられて記憶されているＩＤで、画像ファイル名から画像保持部２１８のデータを検索して取得する。画像の各種情報とは、例えばこの画像のファイルフォーマットがビットマップ形式の場合は、画像の幅及び高さのピクセル値、１ピクセル当たりのビット数、画像のサイズ（バイト単位）、ビットマップイメージが実際に格納されている領域のアドレスなどである。これらの情報は、画像ファイルのヘッダ部分に格納されているので、ヘッダ部を参照することにより取得できる。画像のファイルフォーマットがビットマップ形式ではなく、ＪＦＩＦやFlash Pixの場合も、同様にファイルのヘッダ部から必要な情報を得ることができる。また、画像保持部２１８にこれらの情報を格納しておき、登録時に参照することにより情報を取得してもよい。
【００９０】
次に、ステップＳ８３に進む。ステップＳ８３は、画像特徴量抽出処理２２１で行う処理で、指定された画像ＩＤに対する画像情報を解析し、物理的な画像特徴量を抽出するステップである。上述の図１５は、本実施形態における画像特徴量の例で、画像の領域またはブロックごとに代表的な色を抽出したものである。代表色は、与えられた画像の各種情報を用いて、画像の実際のビットイメージを１ピクセルずつ解析し、各領域或いはブロックで使用されている色成分（ＲＧＢやＨＶＣなどの色空間における値）の平均値や最も出現頻度の高い色成分を求め、代表色とする手法などが用いられる。
【００９１】
次に、ステップＳ８４に進む。このステップＳ８４では、ステップＳ８３で抽出された画像特徴量ｃ1〜ｃnとこの画像の画像ＩＤとを対応づけて、画像特徴量保持部２２２に記憶する。この場合のデータの格納形態は、図１６で上述したとおりである。
【００９２】
次に、ステップＳ８５に進み、画像特徴量−感性パターン対応保持部２２３を参照して、画像特徴量−感性パターン対応保持部２２３に記憶されているすべての感性パターンＩＤとその感性パターンに対応づけられた画像特徴量を取得する。本実施形態では、図１７で説明した様に各感性パターンに色彩的特徴量が対応付けられている。
【００９３】
次に、ステップＳ８６に進み、ステップＳ８５で取得した感性パターンと、この画像に対する画像特徴量との適合度を求める。これは、感性パターン判定処理２２４で行われる処理で、ステップＳ８５で取得した感性パターンそれぞれについて、感性パターンに対応付けられた色彩的特徴量とステップＳ８３で抽出された画像特徴量とを比較・照合し、その適合度を求める。適合度は、画像特徴量−感性パターン対応保持部２２３に記憶されているすべての感性パターンについて求める。適合度を算出するには、余弦測度を用いたベクトル演算や統計処理などの手法が用いられる。
【００９４】
次に、ステップＳ８７に進む。ステップＳ８７では、ステップＳ８６で求められたすべての感性パターンと画像の適合度を、この画像の画像ＩＤに対応づけて感性パターン保持部２２０に記憶する。感性パターン保持部２２０における画像の記憶例は図１３で上述したとおりである。
【００９５】
以上の処理を、登録するすべての画像に対して行う。
【００９６】
以上説明したように、本実施形態によれば、検索語に関連づけられた連想語に基づいて、マルチメディア情報そのものの特徴量データを用いた検索と、マルチメディア情報に付与された内容語を用いた検索を行ない、両検索の結果から最終的な検索結果を得ることが可能となる。このため、目的とする所望の画像情報を精度良く取り出すことが可能になる。
【００９７】
例えば、従来は、「さわやかな」という検索語に対して関連する語として「海」が得られると、「荒れた海」が検索される可能性があったが、本願では、「さわやか」−「海」という組み合わせから得られる感性パターンによる検索結果と統合する際に排除される。
【００９８】
以上の実施形態において、検索対象となる蓄積情報として画像情報を用いて説明したが、画像情報以外のマルチメディア情報（たとえば、オーディオ情報）についても、情報特徴量抽出を行い、特徴量と感性パターンとを対応づけることによって、同様に扱うことができる。
【００９９】
また、以上の説明において、検索対象となる画像保持部２１８、画像内容語保持部２１９、感性パターン保持部２２０は単一の装置を構成するＤＩＳＫ１４に配置するものとして説明したが、これらの構成要件を異なる装置に分散配置し、ＮＩＣ１９を介してネットワーク上で検索処理を行うようにすることも可能である。
【０１００】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【０１０１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１０２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１０４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０６】
【発明の効果】
以上説明したように、本発明によれば、検索語に基づいて、検索対象の情報の特徴量データを用いた検索と、検索対象の情報に付与された内容語を用いた検索を行なって検索結果を得るので、与えられた検索語に対して、目的とする情報を精度良く取り出すことが可能となる。
【０１０７】
【図面の簡単な説明】
【図１】本実施形態の画像検索装置を構成するための情報処理装置の構成例を示す図である。
【図２】本実施形態の画像検索装置における処理構成を図式化したブロック図である。
【図３】検索要求入力処理２０１において入力された検索要求語について、関連する検索観点を表示した例を示す図である。
【図４】検索要求入力処理２０１における、連想語による検索重みと、感性パターンによる検索重みを指示するための、重み指定操作パネルの表示例を示す図である。
【図５】画像ＩＤと画像ファイル格納パスを対応づけた画像保持部２１８のデータ構成を示す図である。
【図６】画像ＩＤと画像内容語とを対応づけた画像内容語保持部２１９のデータ構成例を示す図である。
【図７】図６に示す画像内容語保持部のデータを、画像内容語をキーとして画像ＩＤのリストで格納したテーブルを示す図である。
【図８】概念判別辞書２０５のデータ構成例を示した図である。
【図９】連想語辞書２１１のデータ構成例を示す図である。
【図１０】検索結果保持部２１６におけるデータ保持形態を説明する図である。
【図１１】図２の展開感性パターン保持部２１３のデータ構成例を説明する図である。
【図１２】図２におけるイメージ語−感性パターン対応保持部２１５のデータ構成例を示す図である。
【図１３】図２における感性パターン保持部２２０のデータ構成を示す図である。
【図１４】画像特徴量抽出処理によって一枚の画像から画像特徴量を抽出した際に得られるデータ例を示す図である。
【図１５】本実施形態における画像特徴量の例で、画像の領域またはブロックごとに代表的な色を抽出したものである。
【図１６】図２における画像特徴量保持部２２２の記憶例を示す図である。
【図１７】図２における画像特徴量−感性パターンの対応保持部２２３のデータ格納例を示す図である。
【図１８】本発明の動作を説明したフローチャートである。
【図１９】検索要求入力処理２０１（図１８のステップＳ１）の詳細を示すフローチャートである。
【図２０】連想語展開処理２０８及び連想語による画像内容語検索処理２１０（図１８のステップＳ４）の詳細を示すフローチャートである。
【図２１】感性パターン展開処理２１２、感性パターン検索処理２１４及び検索結果統合処理２１７の詳細を示すフローチャートである。
【図２２】画像登録時に行われる検索の前処理の一例を示すフローチャートである。
【発明の属する技術分野】
本発明は、与えられた検索語に基づいて情報を検索する情報検索装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、マルチメディア情報、例えば画像情報を検索する情報検索装置では、検索対象となる各画像に対する一人または複数の人による主観評価から導き出したデータ（キーワード）、または各画像から取り出した物理的な画像特徴等を用いて検索を行っていた。
【０００３】
例えば、人間が画像を見て受けた印象や印象に結びつくキー情報を画像管理情報に付加し、検索に利用する手法がある。キー情報には、例えば、「暖かい感じ」「冷たい感じ」の様に、画像から受けた印象を表す言葉や、「子猫」「海」「山」の様に、画像に描かれているものを表す言葉をキーワードとして付加したものがある。また、画像に描かれている一部の画像特徴的な要素を主観的に評価し、キー情報として付加する場合もある。例えば、「赤い」「青い」等の色に関する情報や、「丸い」「三角」「尖った」等の形状に関する情報、「ざらざらした感じ」「つるつるした感じ」等のテクスチャに関する情報を、言葉やアイコンを使って表現し、キー情報として画像に付加し、検索に利用するものがある。
【０００４】
一方、画像から物理的な画像特徴量を抽出し、画像検索に利用するシステムもある。画像特徴には、例えば画像に描かれている一部の色や全体の色調、画像に描かれているものの形状、構図、テクスチャ、等がある。画像特徴量は、例えば画像全体を色情報をもとに領域分割したり、一定面積毎のブロックに分割するなどして得られた分割領域・ブロックから抽出されたり、画像全体から抽出されたりする。物理的な画像特徴には、例えば、色情報、画像の濃淡分布、テクスチャ、エッジ、領域、面積、位置、周波数分布等がある。
【０００５】
【発明が解決しようとする課題】
しかしながら上記従来例では、入力した検索語に一致したキーワードを含む画像を検索した場合に、検索者の検索要求にそぐわない画像が得られてしまう場合があった。特に、「さわやかな」画像といった抽象的な検索語で画像検索を行なった場合、検索される画像が著しく限られてしまう。これを解決するために、この「さわやか」という検索語から連想されるキーワードへ展開して検索を行なうことも提案されているが、このような手法を用いれば、さわやかでない画像が検索結果に混入してしまう可能性がある。
【０００６】
また、検索語の代わりに、検索画像を与え、その特徴量を用いて検索を行なうことも提案されているが、この場合には、検索者の意図を反映した検索画像を用意する必要があり、検索画像の選択が困難である等、操作性が悪い。
【０００７】
本発明は、上記の問題に鑑みてなされたものであり、与えられた検索語に対して、目的とする情報を精度良く取り出すことを可能とする情報検索方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による情報検索装置は、たとえば以下の構成を備える。すなわち、
入力された検索語に基づいて画像を検索する情報検索装置であって、
画像及び該画像の内容を表す画像内容語とを対応付けて記憶する画像記憶手段と、
見出し語、該見出し語に関連する連想語及び該連想語の連想に関係する連想観点とを対応付けて登録した連想語辞書と、見出し語、該見出し語に関係する検索観点及び検索観点毎の、見出し語と反対の意味をもつ反意概念とを対応付けて登録した概念判別辞書と、見出し語と、画像の色彩的特徴量を表す複数の感性パターンを識別する感性パターンＩＤとを対応付けて登録した感性パターン辞書とを記憶する辞書記憶手段と、
入力された検索語及び検索観点を取得する取得手段と、
前記連想語辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた連想語を取得する連想語取得手段と、
前記概念判別辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた反意概念であって、前記取得手段で取得した検索観点と一致する検索観点が対応付けられた反意概念を取得する反意概念取得手段と、
前記連想語辞書から、前記反意概念取得手段で取得した反意概念と一致する見出し語に対応付けられた連想語を反意連想語として取得する反意連想語取得手段と、
前記取得手段で取得した検索語、前記連想語取得手段で取得した連想語及び前記反意連想語取得手段で取得した反意連想語と、前記画像記憶手段に記憶された画像内容語とを比較することで第１の検索適合度を算出する算出手段であって、前記画像内容語が前記検索語、前記連想語と一致した場合に該第１の検索適合度を増加させ、前記反意連想語と一致した場合には該第１の検索適合度を低減する第１の算出手段と、
前記感性パターン辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた感性パターンを取得する感性パターン取得手段と、
前記感性パターン取得手段で取得した感性パターンと、前記画像記憶手段に記憶された画像とを比較することで第２の検索適合度を算出する第２の算出手段と、
前記第１の検索適合度及び前記第２の検索適合度を統合する統合手段とを備えることを特徴とする情報検索装置。
【０００９】
また、上記の目的を達成するための本発明の他の態様による情報検索方法は、たとえば以下の工程を備える。すなわち、
入力された検索語に基づいて画像を検索する情報検索装置を制御する情報検索方法であって、
取得手段が、入力された検索語及び検索観点を取得する取得工程と、
連想語取得手段が、見出し語、該見出し語に関連する連想語及び該連想語の連想に関係する連想観点とを対応付けて登録した連想語辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた連想語を取得する連想語取得工程と、
反意概念取得手段が、見出し語、該見出し語に関係する検索観点及び検索観点毎の、見出し語と反対の意味をもつ反意概念とを対応付けて登録した概念判別辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた反意概念であって、前記取得工程で取得した検索観点と一致する検索観点が対応付けられた反意概念を取得する反意概念取得工程と、
反意連想語取得手段が、前記連想語辞書から、前記反意概念取得工程で取得した反意概念と一致する見出し語に対応付けられた連想語を反意連想語として取得する反意連想語取得工程と、
第１の算出手段が、前記取得工程で取得した検索語、前記連想語取得工程で取得した連想語及び前記反意連想語取得工程で取得した反意連想語と、画像及び該画像の内容を表す画像内容語とを対応付けて記憶する画像記憶手段に記憶された画像内容語とを比較することで第１の検索適合度を算出する算出処理を実行し、前記算出処理において、前記画像内容語が前記検索語、前記連想語と一致した場合に該第１の検索適合度を増加させ、前記反意連想語と一致した場合には該第１の検索適合度を低減する第１の算出工程と、
感性パターン取得手段が、見出し語と、画像の色彩的特徴量を表す複数の感性パターンを識別する感性パターンＩＤとを対応付けて登録した感性パターン辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた感性パターンを取得する感性パターン取得工程と、
第２の算出手段が、前記感性パターン取得工程で取得した感性パターンと、前記画像記憶手段に記憶された画像とを比較することで第２の検索適合度を算出する第２の算出工程と、
統合手段が、前記第１の検索適合度及び前記第２の検索適合度を統合する統合工程とを備えることを特徴とする情報検索方法。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を詳細に説明する。
【００１１】
図１は、本実施形態の画像検索装置を構成するための情報処理装置の構成例を示す図である。
【００１２】
図１において、１１はマイクロプロセッサ（以下、ＣＰＵ）であり、制御プログラムに従って画像情報検索のための演算、論理判断等を行なうと共に、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。アドレスバスＡＢはＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはＣＰＵ１１の制御の対象とする各構成要素へのコントロール信号を転送する。データバスＤＢは各構成機器相互間のデータ転送を行なう。
【００１３】
１２は読出し専用の固定メモリ（以下、ＲＯＭ）であり、当該装置の起動時にＣＰＵ１１によって実行されるブート処理プログラム等を格納する。また、１３は１ワード１６ビットで構成される書込み可能なランダムアクセスメモリ（以下、ＲＡＭ）であって、各構成要素からの各種データの一時記憶に用いられる。特に本実施形態では、ＲＡＭ１３は、図２において後述する検索語保持部２０２、検索観点保持部２０３、検索重み保持部２０４、決定重み保持部２０７、展開連想語保持部２０９、展開感性パターン保持部２１３、検索結果保持部２１６といった各種データ保持部を提供する。
【００１４】
１４は外部メモリ（ＤＩＳＫ）であり、図２において後述する概念判別辞書２０５及び連想語辞書２１１を格納すると共に、イメージ語と感性パターンの対応保持部２１５、画像内容語保持部２１９、画像保持部２１８、感性パターン保持部２２０、画像特徴量保持部２２２、画像特徴量及び感性パターンの対応保持部２２３といったデータ保持部を提供する。なお、外部メモリ１４の記録媒体としては、ＲＯＭ、フロッピーディスク、ＣＤ−ＲＯＭ、メモリカード、光磁気ディスクなどが用いられ得る。
【００１５】
また、外部メモリ１４は、図２等において後述する検索要求入力処理２０１、重み判定処理２０６、連想語展開処理２０８、連想語による画像内容語検索処理２１０、感性パターン展開処理２１２、感性パターン検索処理２１４、検索結果統合処理２１７、画像特徴抽出処理２２１、感性パターン判定処理２２４の各処理を実行するプログラムが格納される。
【００１６】
１５はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キーの他に、検索を指示するための検索キー（一般的なキーボードのファンクションキーで代用しても良い）及びカーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。また、図示していないが、マウス等のポインティングデバイスが接続されてもよい。
【００１７】
１６は表示用ビデオメモリ（以下、ＶＲＡＭ）であり、表示すべきデータのパターンを格納する。１７はＣＲＴコントローラ（以下、ＣＲＴＣ）であり、ＶＲＡＭ１６に蓄えられた内容をＣＲＴ１８に表示する役割を担う。１８は陰極線管等を用いた表示装置（ＣＲＴ）であり、ＣＲＴ１８におけるドット構成の表示パターンおよびカーソルの表示がＣＲＴＣ１７で制御される。なお、表示装置としては、液晶等、各種表示器を用いることができることはいうまでもない。１９はネットワークインターフェースカード（ＮＩＣ）であり、本画像検索装置をEthernetなどのネットワークに接続する役割を担う。
【００１８】
以上の各構成要素からなる本実施形態の画像検索装置は、キーボード１５からの各種入力、及びネットワークコントローラから供給されるネットワーク経由の各種入力に応じて動作する。キーボード１５からの入力、或いはネットワークコントローラ１９からの入力があると、インタラプト信号がＣＰＵ１１に送られる。このインタラプト信号を受けたＣＰＵ１１は、外部メモリ１４内に記憶してある各種の制御データを読み出し、それら制御データに従って、各種の制御を実行する。なお、本実施形態において規定する処理を実現するための制御プログラムを格納した記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、当該記録媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。
【００１９】
図２は本実施形態の画像検索装置における処理構成を図式化したブロック図である。
【００２０】
図２において、２０１は検索要求入力処理であり、所望の検索対象に関する要求事項（ここでは、検索語、検索観点、検索重みであり、詳細は後述する）を入力する。２０２は検索語保持部であり、検索要求入力処理２０１によって入力された検索語を記憶する。２０３は検索観点保持部であり、検索要求入力処理２０１によって入力された検索観点を記憶する。２０４は検索重み保持部であり、検索要求入力処理２０１によって入力された検索重みを記憶する。
【００２１】
２０５は概念判別辞書であり、図８に示すように、検索対象となる概念に関係する検索観点、検索対象となる概念とは反対の意味を持つ反意概念、概念を検索する際の重み判定のための２種類の係数（連想重みと感性パターン重み）を有する。なお、概念判別辞書２０５の詳細については、図８を参照して後述する。２０６は重み判定処理であり、検索語保持部２０２に記憶された検索語を検索する際に、連想語（連想語展開処理２０８によって得られる）と感性パターン（感性パターン展開処理２１２によって得られる）のいずれを重視して検索すべきかを示す重み（連想重み、感性パターン重み）を与える。２０７は決定重み保持部であり、重み判定処理２０６で決定された検索重みを記憶する。
【００２２】
２０８は連想語展開処理であり、検索語保持部２０２に記憶された検索語を連想語辞書２１１を参照して連想語に展開するとともに、その検索語に対する反意概念を概念判別辞書２０５から獲得し、連想語辞書２１１を参照して、得られた反意概念を連想語に展開する。２０９は展開連想語保持部であり、連想語展開処理２０８によって展開された連想語（反意概念の連想語を含む）を格納する。２１０は連想語による画像内容語検索処理（以下、画像内容語検索処理２１０という）であり、展開連想語保持部２０９を参照し、画像内容語保持部２１９に格納された画像内容語のうち展開された連想語と合致するものを検索する。２１１は連想語辞書であり、見出しとなる概念ごとに連想される語を連想観点と対応させて格納してある（詳細は図９により後述する）。
【００２３】
２１２は感性パターン展開処理であり、検索語保持部２０２に記憶された検索語をイメージ語−感性パターン対応保持部２１５を参照して感性パターンに展開すると共に、当該検索語の反意概念を概念判別辞書２０５から得て、得られた反意概念を、イメージ語−感性パターン対応保持部２１５を参照して、感性パターンに展開する。
【００２４】
２１３は展開感性パターン保持部であり、感性パターン展開処理２１２で展開した感性パターンを一時的に保存する。展開感性パターン保持部２１３におけるデータの格納については図１１を参照して後述する。２１４は感性パターン検索処理であり、展開感性パターン保持部２１３を参照して、感性パターン保持部２２０に格納されている感性パターンのうち展開された感性パターンと類似するものを検索する。
【００２５】
２１５はイメージ語−感性パターン対応保持部であり、イメージ語とそのイメージ語に関連づけられた各連想語の組に対応する感性パターンＩＤを記憶することにより、イメージ語と感性パターンの対応を格納する。なお、イメージ語−感性パターン対応保持部２１５の詳細は図１２を参照して後述する。
【００２６】
２１６は検索結果保持部であり、画像内容語検索処理２１０と感性パターン検索処理２１４によって検索された画像ＩＤを格納する。２１７は検索結果統合処理であり、検索結果保持部２１６に記憶された連想語による画像内容語の検索結果と感性パターンの検索結果とを、重み判定処理２０６によって得られ、決定重み保持部２０７内に格納された決定重みに基づいて統合する。
【００２７】
２１８は画像保持部であり、検索対象となる画像情報を格納する。２１９は画像内容語保持部であり、画像保持部２１８に格納された画像の内容を描写すべく付与されている概念を言語で記述し格納したものである。２２０は感性パターン保持部であり、画像保持部２１８に格納された各画像の画像情報と感性パターンとの適合度を格納する。すなわち、感性パターン保持部２２０には、画像ＩＤごとに各感性パターンとの適合度が記憶されている。感性パターン保持部２２０のデータ内容については、図１３を参照して後述する。
【００２８】
２２１は画像特徴抽出処理であり、画像保持部２１８に格納された各画像情報から物理的な画像特徴量を抽出する。物理的な画像特徴量は、色情報をもとに分割された領域や、一定面積で分けられたブロック、または画像全体から抽出される視覚的な特徴である。例えば、画像特徴は、画像の色分布やヒストグラム、画像の濃淡分布、テクスチャ、エッジ、周波数分布等の数値化された情報である。なお、画像特徴量の詳細は図１４を参照して後述する。
【００２９】
２２２は画像特徴量保持部であり、画像特徴抽出処理２２１によって得られた各画像の画像特徴量を格納する。また、２２３は画像特徴量−感性パターン対応保持部であり、画像特徴量と感性パターンの対応をとって記憶する。画像特徴量−感性パターン対応保持部２２３には、感性パターンＩＤと各ＩＤに対応した画像特徴量データが記憶されている。なお、画像特徴量−感性パターン対応保持部２２３のデータ構成については図１７を参照して後述する。
【００３０】
２２４は感性パターン判定処理であり、画像特徴量保持部２２２と画像特徴量−感性パターン対応保持部２２３とを参照して、感性パターンから抽出した画像特徴量と画像情報から抽出した画像特徴量とを比較・照合して、その適合度を求め、上述の感性パターン保持部２２０にその結果を登録する。
【００３１】
図３は検索要求入力処理２０１において入力された検索要求語について、関連する検索観点を表示した例を示す図である。検索語が例えばキーボード１５を操作することにより入力されると、図８のごとき概念判別辞書２０５が検索され、検索語を見出し語として、対応する検索観点が抽出される。図３においては、検索要求語「渋い」に対して、「色調」「味」「雰囲気一般」の３つの検索観点が存在し、ここでは、網掛け表示されている「色調」が選択されていることを示している。この状態でＯＫボタンを押下（クリック）すると、検索観点「色調」が選択され、検索観点保持部２０３に保持される。
【００３２】
なお、キーボード１５上のカーソル移動キーを押下することにより、網掛け表示部は「色調」から「味」または「雰囲気一般」というように遷移するので、所望の検索観点を選択することができる。なお、検索要求語である「渋い」は検索語保持部２０２に、選択された検索観点は検索観点保持部２０３にそれぞれ保持されることになる。
【００３３】
図４は検索要求入力処理２０１における、連想語による検索重みと、感性パターンによる検索重みを指示するための、重み指定操作パネルの表示例を示す図である。上述のように、本実施形態では、連想語による検索と、検索語に基づくイメージ（感性パターン）の特徴量による検索とを行ない、両検索結果を統合するが、この統合処理においては両検索結果に重み付けが行なわれる。重み指定操作パネルにおいて、これら、連想語による検索重みと、感性パターンによる検索重みを指定することができる。すなわち連想語による検索と感性パターンによる検索のどちらを重視して検索するかを指定することができる。
【００３４】
図４において、スライダーボタン４１を左方向にスライドさせると、連想語による検索を重視するような指示が行われ、右方向にスライドさせると感性パターンによる検索を重視する指示が行われる。スライダーボタン４１で重みを指定した後、ＯＫボタン４３を押下することで、重みの設定指示が行われる。なお、ボタン４２は重みを明示的に指定しない場合に押下する。ボタン４２が選択された場合には、所定の重みの値（これは、概念判別辞書２０５の連想重み８３と感性パターン重み８４から得られる）が用いられる。こうして設定された重みは、検索重み保持部２０４に格納される。なお、重み指定操作パネルの各ボタン４１〜４３の押下は、不図示のポインティングデバイスによるクリック操作であっても良いことは明らかである。
【００３５】
図５は、画像ＩＤと画像ファイル格納パスを対応づけた画像保持部２１８のデータ構成を示す図である。図５において、５１は画像ＩＤを示し、当該画像データベースにおいて、１つの画像ファイルにつき一意に付与された識別番号である。５２は画像ＩＤに対応する画像ファイルの外部メモリ１４における格納先を示すファイルパスであり、ＭＳ−ＤＳのディレクトリとファイル名に相当する。
【００３６】
図示は省略するが、各画像ファイルは、周知のように、ヘッダ部と画像データ部に分けられる。ヘッダ部にはその画像ファイルからデータを読み取るときに必要な情報や、画像の内容を説明する付帯的な情報が格納され、その画像フォーマット名を示す画像フォーマット識別子、ファイルサイズ、画像の幅・高さ・深さ、圧縮の有無、カラーパレットの情報、解像度、画像データの格納位置へのオフセットなどの情報が格納される。また、画像データ部は画像データを順次格納している部分である。本実施形態においては、このような画像フォーマットとしてMicrosoft社のＢＭＰフォーマットを用いるものとするが、ＧＩＦフォーマットあるいはＪＰＥＧ、Flash Pixといった、その他の圧縮フォーマットを用いても同様の構成をなすことができる。
【００３７】
図６は、画像ＩＤと画像内容語とを対応づけた画像内容語保持部２１９のデータ構成例を示す図である。図６において、６１は画像ＩＤであり、図５の画像ＩＤ５１と対応する。６２は画像内容語であり、画像ＩＤ６１で表される各画像を描写するための語を格納する。画像内容語は画像に描写されている画像特徴を言葉にしたキーワードであり、文字コード（例えばunicode）で格納される。キーワードは１つの画像について複数個格納してもよく、画像内容語保持部２１９は画像ＩＤ６１をキーとする画像内容語６２のリストで構成される。
【００３８】
図７は図６に示す画像内容語保持部のデータを、画像内容語をキーとして画像ＩＤのリストで格納したテーブルを示す図である。図７において、画像内容語７１の各語をキーワードとして含むすべての画像ＩＤが画像ＩＤ７２に格納される。なお、図６は画像ＩＤによる分類を、図７は画像内容語による分類を示したものであり、図６と図７は内容的には同じものなので両方を保持しておく必要は無い。
【００３９】
図８は概念判別辞書２０５のデータ構成例を示した図である。概念判別辞書２０５は、検索要求となる検索語に関する情報を提供するものであり、検率語に対応する見出し語８０、見出し語に関係する検索観点８１、検索観点毎の、見出し語と反対の意味をもつ反意概念８２、見出し語を検索する際の連想語の重み８３、見出し語を検索する際の感性パターンの重み８４とを対応させて格納したテーブルである。
【００４０】
図９は連想語辞書２１１のデータ構成例を示す図である。連想語辞書２１１は見出し語に対する連想語の一組を一意に番号付ける連想ＩＤ９０と、連想の起点となる見出し語９１、見出し語９１から連想される連想語９２、連想語９２の連想に関係する連想観点９３、見出し語９１と連想語９２との間の連想の強さを示す連想強度９４とから構成される。
【００４１】
なお、本例では、連想強度９４は０〜１０の絶対値をとり、符号が連想語の適用状態をあらわす。すなわち、連想強度が正数である場合は、連想強度数値が大きいほど連想関係による結びつきが強い（共起性が高い）ことを示し、逆に連想強度が負数である場合は、連想強度が大きいほど連想関係が成り立たないことを示す。例えば、図９において、連想ＩＤ＝１２６５３３の連想データにおいて、見出し語「素朴」に対応する連想語「民芸品」は「６」の強さで連想が可能な言葉であるが、連想ＩＤ＝１２６５３６の連想データ「シャンデリア」は連想強度が負数であるので「９」の強さで連想できない言葉である。
【００４２】
図１０は、検索結果保持部２１６におけるデータ保持形態を説明する図である。上述したように、検索結果保持部２１６は、連想語による画像内容語検索処理２１０と感性パターン検索処理２１４によって検索された画像ＩＤを格納するものである。
【００４３】
図１０において、１００は検索された画像ＩＤを格納し、１０１は、画像内容語検索処理２１７で一致した、連想強度が正数である連想語の数を格納する。また、連想語ＩＤリスト１０２は、一致した連想語の連想語辞書２１１における連想語ＩＤ９０（図９）を最大２０個まで格納する。連想語一致数１０１がゼロである場合は、連想語ＩＤリスト１０２にはヌルコードが埋められる。１０３は、画像ＩＤ１００に対する連想語による連想一致度を格納する。連想語一致数１０１がゼロである場合は、連想一致度１０３にもゼロが格納される。
【００４４】
１０４は、感性パターン検索処理２２３で検索された類似度の最も高い感性パターンの数を格納する。１０５は感性パターンＩＤリストであり、一致した感性パターンの感性パターンＩＤを最大２０個まで格納する。感性パターン一致数１０４がゼロである場合は、感性パターンＩＤリスト１０５にはヌルコードが埋められる。１０６は画像ＩＤ１００に対する感性パターン検索による感性パターン一致度を格納する。感性パターン一致数１０４がゼロである場合は、感性パターン一致度１０６にはゼロが格納される。１０７には、連想一致度１０３と感性パターン一致度１０６とをパラメータとして求めた、検索要求に対する画像ＩＤ１００の統合一致度（検索結果統合処理２１７による）が格納される。
【００４５】
図１１は図２の展開感性パターン保持部２１３のデータ構成例を説明する図である。図１１において、１１０は、この感性パターンの展開元であるイメージ語で、検索語保持部２０２に格納されているのと同じイメージ語が格納されている。本例では、「さわやかな」という文字列が格納されており、文字列はＮＵＬＬコードで終了する。１１１は、イメージ語１１０をイメージ語−感性パターン対応保持部２１５を参照して展開して得られた感性パターンの数である。たとえば、イメージ語−感性パターン対応保持部２１５の内容が図１２のようであった場合、「さわやかな」というイメージ語から展開された感性パターンの数は７となる。１１２は、「さわやかな」というイメージ語を実際に展開したデータの格納先の領域を示すアドレスである。図１１に示した例では、この格納先アドレス１１２は、同図の１１５で示されるデータにリンクしている。
【００４６】
データ１１５においては、「さわやかな」から実際に展開された展開データ、すなわち連想語と感性パターンの組が、感性パターン数１１１に示される個数分格納されている。本例では、データ１１５として、連想語と感性パターンの組が７組格納されることになる。たとえば、１１４は、「さわやかな」というイメージ語の連想語で、本例では、「森林」という文字列が格納されており、文字列はＮＵＬＬコードで終了する。そして、１１３は、イメージ語「さわやかな」と「さわやかな」の連想語「森林」に対応した感性パターンＩＤであり、本例では、５が格納されている。他の連想語と感性パターンの組についても同様である。
【００４７】
図１２は図２におけるイメージ語−感性パターン対応保持部２１５のデータ構成例を示す図である。図１２において、１２０は、この感性パターンの展開元となるイメージ語である。図では、「さわやかな」「トロピカルな」等の文字列が格納されており、文字列はＮＵＬＬコードで終了する。１２１は、１２０の各イメージ語から展開された連想語である。本例では、「さわやかな」に対して「森林」「高原」「青空」などの連想語が記憶されており、文字列はＮＵＬＬコードで終了する。この１２１の部分に文字列が格納されていない場合、即ちＮＵＬＬコードのみの場合は、この感性パターンが、「さわやかな」というイメージ語全てに適応でき、特に連想語が指定されていないことを表している。
【００４８】
１２２は、１２０のイメージ語と１２１の連想語に対応した感性パターンＩＤである。本例では、イメージ語「さわやかな」とその連想語「森林」に対する感性パターンＩＤとして、００５，００６が格納されている。また、「さわやかな」に対する反意概念として「さわやかでない」に対する感性パターンも記憶されている。本例では、「さわやかでない」には、特に連想語はなく、感性パターンＩＤとして００１と０１０が登録されている。
【００４９】
図１３は図２における感性パターン保持部２２０のデータ構成を示す図である。図１３において、１３１は、登録する画像を識別するための画像ＩＤである。画像ＩＤ１３１は、画像保持部２１８に記憶されている番号と同じものが使用され、このシステムにおいて画像を一意に定義付けている。１３２には、感性パターンＩＤが格納されている。本実施形態では、それぞれの画像について、画像特徴量−感性パターン対応保持部２２３に記憶されているすべての感性パターンに対する適合度が求められるため、全ての感性パターンＩＤ（１〜ｍ）が格納されている。１３３は、各画像と各感性パターンとの適合度を示す数値である。適合度は０から１までの数で、０はこの画像が感性パターンにまったく適合しなかったことを示しており、１に近いほど適合性が高いことを示している。例えば、本実施形態では、画像ＩＤ００１の画像に対して、感性パターン１との適合度は０．１０、感性パターン２との適合度は０である。
【００５０】
図１４は画像特徴量抽出処理によって一枚の画像から画像特徴量を抽出した際に得られるデータ例を示す図である。図１４において、画像特徴をＸ1，Ｘ2，Ｘ3，…，Ｘn、画像特徴量を抽出する領域・ブロックをＢ1，Ｂ2，…，Ｂm、各領域・ブロックから抽出された特徴量をｘ11〜ｘmnで表している。すなわち、各領域・ブロック毎に、Ｘ1〜Ｘnの物理的画像特徴に関する特徴量が得られる。
【００５１】
図１５は、特に色彩的画像特徴量を抽出した場合の例を示す図である。これは、画像の領域或いはブロックごとに代表的な色を抽出したものである。図１５によれば、物理的画像特徴は「代表色」と「特徴量」で表され、領域或いはブロックＢ1，Ｂ2，…，Ｂnから抽出された代表色はＣ1（Ｒ1，Ｇ1，Ｂ1）、Ｃ2（Ｒ2，Ｇ2，Ｂ2），…，Ｃn（Ｒn，Ｇn，Ｂn）で、それぞれの特徴量はｃ1〜ｃnである。
【００５２】
図１６は図２における画像特徴量保持部２２２の記憶例を示す図である。図１６において、１６１は、登録する画像を識別するための画像ＩＤである。画像ＩＤ１６１は、画像保持部２１８に記憶されているＩＤ番号と同じものが使用されている。１６２は、画像特徴量を抽出したブロックまたは領域を示す番号で、本例では各領域或いはブロックの番号をＢ1，Ｂ2，…，Ｂmで表している。１６３は、１６２に示す各領域或いはブロック（Ｂ1，Ｂ2，…，Ｂm）から抽出された画像特徴を表す情報（本例では代表色を用いる）である。本例は、色彩的画像特徴を抽出した場合の例で、例えば、色彩を表す情報Ｃ11（Ｒ11，Ｇ11，Ｂ11），…，Ｃn1（Ｒn1，Ｇn1，Ｂn1）が格納されている。１６４は、各領域或いはブロックから抽出された画像特徴の特徴量を示している。本例では、Ｃ11（Ｒ11，Ｇ11，Ｂ11），…，Ｃn1（Ｒn1，Ｇn1，Ｂn1）の特徴量としてｃ11，…，Ｃn1が格納されている。
【００５３】
図１７は図２における画像特徴量−感性パターン対応保持部２２３のデータ格納例を示す図である。図１７において、１７１は感性パターンＩＤで、感性パターンを一意に識別する番号である。１７２は、各感性パターンＩＤに対応付けられた画像特徴量データである。本実施形態では、感性パターンを色彩的特徴量で表現しており、各感性パターンＩＤに対する色成分（ＲＧＢやＨＶＣなどの色空間における値）の組み合わせが記憶されている。本例では、色成分としてＲＧＢ色空間における値が登録されいてる。ＲＧＢ値は、０〜２５５までの整数である。各パターンに対応付けられた色の数は、最大ｍ個である。
【００５４】
感性パターン判定処理２２４は、以上の画像特徴量保持部２２２と画像特徴量−感性パターン対応保持部２２３を用いて、画像保持部２１８に登録されている各画像データ毎に、各感性パターンとの適合度を求め、感性パターン保持部２２０に登録する（図２２のステップＳ８７で後述する）。
【００５５】
以上のような構成を供えた本実施形態の画像検索装置における処理について以下に説明する。
【００５６】
図１８は本実施形態の画像検索処理の動作を説明したフローチャートである。図１８において、ステップＳ１は、図２における検索要求処理２０１を実行する処理モジュールであり、検索要求の入力を行う。なお、処理の詳細は、図１９を用いて後述する。
【００５７】
ステップＳ２は、図２の重み判定処理２０６を実行する処理モジュールであり、ステップＳ１における検索要求入力処理によって検索重み保持部２０４に格納された検索重みを参照し、もし重みが指定されていれば、その値を決定重み保持部２０７に格納する。もし検索重み保持部２０４に重みが指定されていなければ、概念判別辞書２０５（図８）を参照し、検索語保持部２０２に格納された検索語を見出し語８０から検索し、対応する連想重み８３、感性パターン重み８４を読み出し、決定重み保持部２０７に格納する。また、見出し語８０に、検索語保持部２０２に一致する語が存在しない場合は、連想重み、感性パターン重みの既定値として（ともに５）を決定重み保持部２０７に格納するものとする。
【００５８】
ステップＳ３は決定重み保持部２０７を参照し、連想重みが０であるかどうか判定する。もし連想重みが０であるならば、連想語による検索は不要であるので、ステップＳ５の処理へ分岐し、０でなければステップＳ４の処理を行う。ステップＳ４は図２における連想語展開処理２０８、連想語による画像内容語検索処理２１０を行う処理モジュールであり、その処理の詳細は図２０を参照して後述する。
【００５９】
ステップＳ５では、決定重み保持部２０７を参照し、感性パターン重みが０であるかどうかを判定する。もし、感性パターン重みが０であるならば、感性パターンによる検索は不要であるので、ステップＳ７の処理へ分岐し、そうでなければステップＳ６の処理を行う。ステップＳ６は図２における感性パターン展開処理２１２、感性パターン検索処理２１４を行う処理モジュールであり、図２１により後述する。
【００６０】
ステップＳ７は図２における検索結果統合処理２１７を行うための処理モジュールであり、その処理の詳細は、図２２により後述する。
【００６１】
ステップＳ８はステップＳ７によって得られた検索結果として検索結果保持部２１６に格納されている画像ＩＤに対応する画像ファイルを画像保持部２１８より取り出して表示する。なお、ステップＳ８による検索結果の表示は、同種の検索装置において広く行われている公知の処理である。
【００６２】
図１９は、検索要求入力処理２０１（図１８のステップＳ１）の詳細を示すフローチャートである。ステップＳ２１において検索要求となる検索語を入力する。検索語入力はＫＢ１５から入力された文字コードをＲＡＭ１３上の検索語保持部２０２に格納することにより行われる。
【００６３】
次にステップＳ２２において、検索語保持部２０２に格納された検索語を検索要求として、この検索要求に関連する検索観点を概念判別辞書２０５から取り出す。検索語保持部２０２の検索語と一致する見出し語８０（図８）に対する検索観点８１をすべて取り出す。例えば、検索語が「渋い」である場合、検索観点として「色調」，「味」，「雰囲気一般」の３つを得ることができる。
【００６４】
次に、ステップＳ２３において、上記ステップＳ２２の検索観点抽出により検索観点が見つかったかどうか判定し、検索観点が見つかった場合はステップＳ２４の処理へ、見つからなければステップＳ２６の処理へ分岐する。
【００６５】
ステップＳ２２において検索観点が見つかったならば、ステップＳ２４において図３に示すように検索観点を当該検索語とともに表示する。ステップＳ２５では、表示された検索観点から、図３で説明したユーザインターフェースを用いて、所望の検索観点を選択する。こうして選択指示された検索観点は、検索観点保持部２０３に格納される。
【００６６】
ステップＳ２６は検索要求に対する検索処理方法に関し、連想語による検索と感性パターンによる検索のいずれを重視して検索を行うかを指示する検索重みを入力する。本実施形態では、図４に示すごときユーザインターフェースを用いて重みの設定を行なう。ユーザは、図４に示すスライダーバーを操作し、スライダーの左右のバーの長さ（ボタン４１の位置）で連想語を重視する割合、感性パターンを重視する割合（所望の検索重み）を指定する。なお、重みを指定しない場合は、図４の重みの既定値の使用を指定する。
【００６７】
ステップＳ２７において、ステップＳ２６で重みの指定があったかどうか判定する。そして、重みの既定値を使用する旨が指示された場合は本処理を終了する。一方、検索重みが指定されていればステップＳ２８へ進み、ステップＳ２６で指定された連想語による検索の重み、感性パターンによる検索の重みを検索重み保持部２０４に格納して、本処理を終了する。
【００６８】
図２０は、連想語展開処理２０８及び連想語による画像内容語検索処理２１０（図１８のステップＳ４）の詳細を示すフローチャートである。
【００６９】
図２０において、ステップＳ４１は検索語保持部２０２に格納されている検索語で連想語辞書２１１を検索し連想語データを得る。すなわち、検索語と一致する連想語辞書２１１の見出し語９１（図９）を検索し、登録されている連想語データを抽出する。見出し語９１内に検索語に一致する語が存在すれば、その連想ＩＤをすべて展開連想語保持部２０９に格納する。
【００７０】
次にステップＳ４２において、概念判別辞書２０５を検索し、検索語２０２と一致する見出し語が存在すれば、その見出し語に対応する検索観点８１（図８）を取り出す。そして、取り出された検索観点と、上述のステップＳ２５で検索観点保持部２０３に格納された検索観点とを比較し、両者が一致していれば、この見出し語に対応する反意概念８２を取り出す。検索観点が一致しなければ、引き続き検索語と見出し語の一致するデータの検索を行う。こうして、抽出したすべての検索観点について上記のチェックを終えると、ステップＳ４３へ進む。
【００７１】
ステップＳ４３では、ステップＳ４２で見つかった反意概念と一致する見出し語を持つ連想語を連想語辞書２１１から検索する。反意概念に一致する見出し語が存在すれば、その連想ＩＤを反意概念であることを示す状態符号を付与して、展開連想語保持部２０９に格納する。
【００７２】
次に、ステップＳ４４で展開連想語保持部２０９に格納された連想ＩＤから連想語を取り出し、連想語と一致する画像内容語を画像内容語保持部２１９から検索し、結果を検索結果保持部２１６に格納する。
【００７３】
ここでは、まず、展開連想語保持部２０９に格納されている連想ＩＤを取り出し、連想語辞書２１１を参照して、対応する連想データを抽出する。そして、抽出した連想データの連想強度９４を取り出し、ＲＡＭ１３上のワークメモリＡＳＣＦ（不図示）にセットする。ここで、もし、展開連想語保持部２０９より取り出した連想ＩＤに反意概念の状態符号が付与されていたら、連想強度の符号を反転して負数となるようにする。ただし、連想強度がすでに負数であったら、その連想データは破棄して次の連想データをチェックする。
【００７４】
次に連想ＩＤに対応する連想観点を取り出し、検索観点保持部２０３に格納された検索観点と比較し、一致すれば所定値αをＲＡＭ１３上に確保されたワークメモリＶＰＦ（不図示）にセットし、一致しなければα×０．１の値をワークメモリＶＰＦにセットする。
【００７５】
次に連想ＩＤに対応する連想語と一致する画像内容語を画像内容語保持部２１９から検索し、見つかれば、その画像内容語に対応する画像ＩＤを画像ＩＤ７２（図７）より獲得し、検索結果保持部２１６の検索された画像ＩＤ１００（図１０）にセットする。そして、連想語一致数１０１に１をセットし、連想語ＩＤ１０２に検索対象となっている連想ＩＤをセットする。そして、連想一致度１０３に、連想語一致によるスコアの所定値βにワークメモリＡＳＣＦの値とＶＰＦの値を乗じた値を連想一致度として格納する。すでに同じ画像ＩＤが格納されている場合は、連想語一致数１０１の値を＋１し、連想語ＩＤ１０２に新たな連想語ＩＤを加え、格納済の連想一致度１０３の値に、求めた連想一致度を加えて新しい連想一致度として値を更新する。
【００７６】
図２１は、感性パターン展開処理２１２、感性パターン検索処理２１４及び検索結果統合処理２１７の詳細を示すフローチャートである。
【００７７】
上述のように、検索要求入力処理２０１で、利用者から画像を検索するための検索要求が入力される。検索要求には、１つまたは複数の検索語、検索範囲、等が含まれる。本実施形態で入力される検索語は、「さわやかな」感じ、「あたたかい」感じ、等の画像の印象を表す抽象的なイメージ語である。入力された検索指示語は、検索語保持部２０２に格納される。ここでは、「さわやかな」というイメージ語が格納されているものとして説明する。
【００７８】
ステップＳ６１及びステップＳ６２は、感性パターン展開処理２１２で実行される処理である。ステップＳ６１では、イメージ語−感性パターン対応保持部２１５を参照して、検索語保持部２０２に保持されているイメージ語を感性パターンに展開する。本実施形態では、検索語保持部２０２にイメージ語「さわやかな」が、また展開連想語保持部２０９には「さわやかな」から展開された連想語「森林」「高原」「青空」、etcが保持されており、２１５を参照してそれぞれに対応する感性パターンＩＤに展開する。例えば、イメージ語「さわやかな」−連想語「森林」に対する感性パターンＩＤとして、００５，００６を、また、イメージ語「さわやかな」−連想語「高原」に対する感性パターンＩＤとして００７を取得する。
【００７９】
次にステップＳ６２に進み、ステップＳ６１で展開された感性パターンＩＤとイメージ語・連想語の組を展開感性パターン保持部２１３に格納する。展開感性パターン保持部２１３におけるデータの格納については、図１１により上述したとおりである。
【００８０】
次にステップＳ６３に進む。ステップＳ６３及びステップＳ６４は、感性パターン検索処理２１４で実行される処理である。まず、ステップＳ６３において、感性パターン保持部２２０を参照して、展開感性パターン保持部２１３に格納されている感性パターンＩＤに対する適合度が０より大きい画像の画像ＩＤを全て取得する。この処理は、展開感性パターン保持部２１３に保持されているすべての感性パターンについて行う。なお、感性パターン検索処理２１４では、検索語及び反意概念の各々から展開された感性パターンＩＤに対する適合度が０より大きい画像ＩＤを取得する。
【００８１】
次にステップＳ６４において、ステップＳ６３で取得した感性パターンＩＤと、画像ＩＤ、及びその適合度の組を検索結果保持部２１６に格納する。
【００８２】
次に、ステップＳ６５に進む。ステップＳ６５〜Ｓ６９の処理は、検索結果統合処理２１７によって実行される処理を示している。すなわち、検索結果保持部２１６に保持されている、連想語による画像内容語検索結果と感性パターン検索結果とを参照し、決定重み保持部２０７に保持されている重みをもとに、両検索結果を一つの検索結果として統合する。なお、感性パターン検索結果に関し、検索語に対する反意概念に基づく感性パターンがある場合には、当該画像を統合結果から除外する。或いは、そのような反意概念の感性パターンを含む画像の感性パターン一致度を、統合処理時において低下させてもよい。
【００８３】
統合処理は、各連想語毎に両検索結果の共通要素をとる（検索結果のアンドをとる）方法や、各検索に対する重みから統合適合度を求め、適合度が上位のものから適切な検索結果とする方法などがある。本実施形態では、統合適合度を求める方法を例に統合処理について説明する。
【００８４】
検索結果保持部２１６に記憶されている、たとえば連想語「森林」と一致した画像の連想適合度をＡ、連想語「森林」に対応した感性パターンＩＤ００５に適合した画像の感性適合度をＢ、決定重み保持部２０７に保持されたそれぞれの検索の重みをｗ1、ｗ2（ｗ1＋ｗ2＝１）としたとき、統合適合度は、
統合適合度＝ｗ1×Ａ＋ｗ2×Ｂ
または、統合適合度＝（ｗ1×Ａ^2＋ｗ2×Ｂ^2）^1/2
で求めることができる。ただし、Ｘ^YはXのY乗を表す。統合適合度を全ての連想語の全感性パターンについて求める。一つの画像ＩＤが複数の感性パターンＩＤに対して０より大きい適合度を持つ場合は、一つの画像に対して複数の統合適合度が得られるが、この場合は最も大きい適合度を検索結果として採用する（ステップＳ６５）。
【００８５】
この処理を、どちらかの検索結果が０よりも大きい全ての画像について行い、統合適合度が閾値よりも高い画像を統合した検索結果とする（ステップＳ６６、Ｓ６７、Ｓ６８）。
【００８６】
ステップＳ６９において画像ＩＤとその適合度の組を検索結果保持部２１６に格納することにより検索処理を終了する。
【００８７】
図２２は、画像登録時に行われる検索の前処理の一例を示すフローチャートである。この処理は、ＤＩＳＫ１４に格納されている処理プログラムに従って制御される。
【００８８】
まず、ステップＳ８１で、ユーザから登録する画像が指示される。登録する画像は、ＤＩＳＫ１４や図示外の外部記憶装置、画像入力装置、またはこの画像処理装置に接続された画像データベース・サーバ等に格納されている画像の中から指定される。本実施形態では、検索の対象となる画像があらかじめ記憶されており、この中から画像が選択されるものとする。
【００８９】
次にステップＳ８２に進む。ステップＳ８２では、指定された画像ファイル名に対応した画像ＩＤ、および登録するために必要となる各種画像情報を取得し、画像特徴抽出処理２２１に与える。画像ＩＤは、画像を管理するために、画像ファイル名に対応付けられて記憶されているＩＤで、画像ファイル名から画像保持部２１８のデータを検索して取得する。画像の各種情報とは、例えばこの画像のファイルフォーマットがビットマップ形式の場合は、画像の幅及び高さのピクセル値、１ピクセル当たりのビット数、画像のサイズ（バイト単位）、ビットマップイメージが実際に格納されている領域のアドレスなどである。これらの情報は、画像ファイルのヘッダ部分に格納されているので、ヘッダ部を参照することにより取得できる。画像のファイルフォーマットがビットマップ形式ではなく、ＪＦＩＦやFlash Pixの場合も、同様にファイルのヘッダ部から必要な情報を得ることができる。また、画像保持部２１８にこれらの情報を格納しておき、登録時に参照することにより情報を取得してもよい。
【００９０】
次に、ステップＳ８３に進む。ステップＳ８３は、画像特徴量抽出処理２２１で行う処理で、指定された画像ＩＤに対する画像情報を解析し、物理的な画像特徴量を抽出するステップである。上述の図１５は、本実施形態における画像特徴量の例で、画像の領域またはブロックごとに代表的な色を抽出したものである。代表色は、与えられた画像の各種情報を用いて、画像の実際のビットイメージを１ピクセルずつ解析し、各領域或いはブロックで使用されている色成分（ＲＧＢやＨＶＣなどの色空間における値）の平均値や最も出現頻度の高い色成分を求め、代表色とする手法などが用いられる。
【００９１】
次に、ステップＳ８４に進む。このステップＳ８４では、ステップＳ８３で抽出された画像特徴量ｃ1〜ｃnとこの画像の画像ＩＤとを対応づけて、画像特徴量保持部２２２に記憶する。この場合のデータの格納形態は、図１６で上述したとおりである。
【００９２】
次に、ステップＳ８５に進み、画像特徴量−感性パターン対応保持部２２３を参照して、画像特徴量−感性パターン対応保持部２２３に記憶されているすべての感性パターンＩＤとその感性パターンに対応づけられた画像特徴量を取得する。本実施形態では、図１７で説明した様に各感性パターンに色彩的特徴量が対応付けられている。
【００９３】
次に、ステップＳ８６に進み、ステップＳ８５で取得した感性パターンと、この画像に対する画像特徴量との適合度を求める。これは、感性パターン判定処理２２４で行われる処理で、ステップＳ８５で取得した感性パターンそれぞれについて、感性パターンに対応付けられた色彩的特徴量とステップＳ８３で抽出された画像特徴量とを比較・照合し、その適合度を求める。適合度は、画像特徴量−感性パターン対応保持部２２３に記憶されているすべての感性パターンについて求める。適合度を算出するには、余弦測度を用いたベクトル演算や統計処理などの手法が用いられる。
【００９４】
次に、ステップＳ８７に進む。ステップＳ８７では、ステップＳ８６で求められたすべての感性パターンと画像の適合度を、この画像の画像ＩＤに対応づけて感性パターン保持部２２０に記憶する。感性パターン保持部２２０における画像の記憶例は図１３で上述したとおりである。
【００９５】
以上の処理を、登録するすべての画像に対して行う。
【００９６】
以上説明したように、本実施形態によれば、検索語に関連づけられた連想語に基づいて、マルチメディア情報そのものの特徴量データを用いた検索と、マルチメディア情報に付与された内容語を用いた検索を行ない、両検索の結果から最終的な検索結果を得ることが可能となる。このため、目的とする所望の画像情報を精度良く取り出すことが可能になる。
【００９７】
例えば、従来は、「さわやかな」という検索語に対して関連する語として「海」が得られると、「荒れた海」が検索される可能性があったが、本願では、「さわやか」−「海」という組み合わせから得られる感性パターンによる検索結果と統合する際に排除される。
【００９８】
以上の実施形態において、検索対象となる蓄積情報として画像情報を用いて説明したが、画像情報以外のマルチメディア情報（たとえば、オーディオ情報）についても、情報特徴量抽出を行い、特徴量と感性パターンとを対応づけることによって、同様に扱うことができる。
【００９９】
また、以上の説明において、検索対象となる画像保持部２１８、画像内容語保持部２１９、感性パターン保持部２２０は単一の装置を構成するＤＩＳＫ１４に配置するものとして説明したが、これらの構成要件を異なる装置に分散配置し、ＮＩＣ１９を介してネットワーク上で検索処理を行うようにすることも可能である。
【０１００】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【０１０１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１０２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１０４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０６】
【発明の効果】
以上説明したように、本発明によれば、検索語に基づいて、検索対象の情報の特徴量データを用いた検索と、検索対象の情報に付与された内容語を用いた検索を行なって検索結果を得るので、与えられた検索語に対して、目的とする情報を精度良く取り出すことが可能となる。
【０１０７】
【図面の簡単な説明】
【図１】本実施形態の画像検索装置を構成するための情報処理装置の構成例を示す図である。
【図２】本実施形態の画像検索装置における処理構成を図式化したブロック図である。
【図３】検索要求入力処理２０１において入力された検索要求語について、関連する検索観点を表示した例を示す図である。
【図４】検索要求入力処理２０１における、連想語による検索重みと、感性パターンによる検索重みを指示するための、重み指定操作パネルの表示例を示す図である。
【図５】画像ＩＤと画像ファイル格納パスを対応づけた画像保持部２１８のデータ構成を示す図である。
【図６】画像ＩＤと画像内容語とを対応づけた画像内容語保持部２１９のデータ構成例を示す図である。
【図７】図６に示す画像内容語保持部のデータを、画像内容語をキーとして画像ＩＤのリストで格納したテーブルを示す図である。
【図８】概念判別辞書２０５のデータ構成例を示した図である。
【図９】連想語辞書２１１のデータ構成例を示す図である。
【図１０】検索結果保持部２１６におけるデータ保持形態を説明する図である。
【図１１】図２の展開感性パターン保持部２１３のデータ構成例を説明する図である。
【図１２】図２におけるイメージ語−感性パターン対応保持部２１５のデータ構成例を示す図である。
【図１３】図２における感性パターン保持部２２０のデータ構成を示す図である。
【図１４】画像特徴量抽出処理によって一枚の画像から画像特徴量を抽出した際に得られるデータ例を示す図である。
【図１５】本実施形態における画像特徴量の例で、画像の領域またはブロックごとに代表的な色を抽出したものである。
【図１６】図２における画像特徴量保持部２２２の記憶例を示す図である。
【図１７】図２における画像特徴量−感性パターンの対応保持部２２３のデータ格納例を示す図である。
【図１８】本発明の動作を説明したフローチャートである。
【図１９】検索要求入力処理２０１（図１８のステップＳ１）の詳細を示すフローチャートである。
【図２０】連想語展開処理２０８及び連想語による画像内容語検索処理２１０（図１８のステップＳ４）の詳細を示すフローチャートである。
【図２１】感性パターン展開処理２１２、感性パターン検索処理２１４及び検索結果統合処理２１７の詳細を示すフローチャートである。
【図２２】画像登録時に行われる検索の前処理の一例を示すフローチャートである。
Claims (5)
- 入力された検索語に基づいて画像を検索する情報検索装置であって、
画像及び該画像の内容を表す画像内容語とを対応付けて記憶する画像記憶手段と、
見出し語、該見出し語に関連する連想語及び該連想語の連想に関係する連想観点とを対応付けて登録した連想語辞書と、見出し語、該見出し語に関係する検索観点及び検索観点毎の、見出し語と反対の意味をもつ反意概念とを対応付けて登録した概念判別辞書と、見出し語と、画像の色彩的特徴量を表す複数の感性パターンを識別する感性パターンＩＤとを対応付けて登録した感性パターン辞書とを記憶する辞書記憶手段と、
入力された検索語及び検索観点を取得する取得手段と、
前記連想語辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた連想語を取得する連想語取得手段と、
前記概念判別辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた反意概念であって、前記取得手段で取得した検索観点と一致する検索観点が対応付けられた反意概念を取得する反意概念取得手段と、
前記連想語辞書から、前記反意概念取得手段で取得した反意概念と一致する見出し語に対応付けられた連想語を反意連想語として取得する反意連想語取得手段と、
前記取得手段で取得した検索語、前記連想語取得手段で取得した連想語及び前記反意連想語取得手段で取得した反意連想語と、前記画像記憶手段に記憶された画像内容語とを比較することで第１の検索適合度を算出する算出手段であって、前記画像内容語が前記検索語、前記連想語と一致した場合に該第１の検索適合度を増加させ、前記反意連想語と一致した場合には該第１の検索適合度を低減する第１の算出手段と、
前記感性パターン辞書から、前記取得手段で取得した検索語と一致する見出し語に対応付けられた感性パターンを取得する感性パターン取得手段と、
前記感性パターン取得手段で取得した感性パターンと、前記画像記憶手段に記憶された画像とを比較することで第２の検索適合度を算出する第２の算出手段と、
前記第１の検索適合度及び前記第２の検索適合度を統合する統合手段とを備えることを特徴とする情報検索装置。 - 前記連想語辞書には、各連想語と見出し語との間に連想関係の強さを示す連想強度が登録されており、
前記第１の算出手段は、各連想語の連想強度に基づいて、各検索された情報の検索適合度を算出することを特徴とする請求項１に記載の情報検索装置。 - 入力された検索語に基づいて画像を検索する情報検索装置を制御する情報検索方法であって、
取得手段が、入力された検索語及び検索観点を取得する取得工程と、
連想語取得手段が、見出し語、該見出し語に関連する連想語及び該連想語の連想に関係する連想観点とを対応付けて登録した連想語辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた連想語を取得する連想語取得工程と、
反意概念取得手段が、見出し語、該見出し語に関係する検索観点及び検索観点毎の、見出し語と反対の意味をもつ反意概念とを対応付けて登録した概念判別辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた反意概念であって、前記取得工程で取得した検索観点と一致する検索観点が対応付けられた反意概念を取得する反意概念取得工程と、
反意連想語取得手段が、前記連想語辞書から、前記反意概念取得工程で取得した反意概念と一致する見出し語に対応付けられた連想語を反意連想語として取得する反意連想語取得工程と、
第１の算出手段が、前記取得工程で取得した検索語、前記連想語取得工程で取得した連想語及び前記反意連想語取得工程で取得した反意連想語と、画像及び該画像の内容を表す画像内容語とを対応付けて記憶する画像記憶手段に記憶された画像内容語とを比較することで第１の検索適合度を算出する算出処理を実行し、前記算出処理において、前記画像内容語が前記検索語、前記連想語と一致した場合に該第１の検索適合度を増加させ、前記反 意連想語と一致した場合には該第１の検索適合度を低減する第１の算出工程と、
感性パターン取得手段が、見出し語と、画像の色彩的特徴量を表す複数の感性パターンを識別する感性パターンＩＤとを対応付けて登録した感性パターン辞書から、前記取得工程で取得した検索語と一致する見出し語に対応付けられた感性パターンを取得する感性パターン取得工程と、
第２の算出手段が、前記感性パターン取得工程で取得した感性パターンと、前記画像記憶手段に記憶された画像とを比較することで第２の検索適合度を算出する第２の算出工程と、
統合手段が、前記第１の検索適合度及び前記第２の検索適合度を統合する統合工程とを備えることを特徴とする情報検索方法。 - 前記連想語辞書には、各連想語と見出し語との間に連想関係の強さを示す連想強度が登録されており、
前記第１の算出工程は、各連想語の連想強度に基づいて、各検索された情報の検索適合度を算出することを特徴とする請求項３に記載の情報検索方法。 - 請求項３又は４に記載の情報検索方法をコンピュータに実行させるためのプログラムを格納したコンピュータ読取可能な記憶媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27872298A JP4086377B2 (ja) | 1998-09-30 | 1998-09-30 | 情報検索装置及び方法 |
| US09/409,056 US6493705B1 (en) | 1998-09-30 | 1999-09-30 | Information search apparatus and method, and computer readable memory |
| US10/234,185 US6856987B2 (en) | 1998-09-30 | 2002-09-05 | Information search apparatus and method, and computer readable memory |
| US10/962,398 US7054861B2 (en) | 1998-09-30 | 2004-10-13 | Information search apparatus and method, and computer readable memory |
| US11/329,182 US7664803B2 (en) | 1998-09-30 | 2006-01-11 | Information search apparatus and method, and computer readable memory |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27872298A JP4086377B2 (ja) | 1998-09-30 | 1998-09-30 | 情報検索装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000112956A JP2000112956A (ja) | 2000-04-21 |
| JP4086377B2 true JP4086377B2 (ja) | 2008-05-14 |
Family
ID=17601296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27872298A Expired - Fee Related JP4086377B2 (ja) | 1998-09-30 | 1998-09-30 | 情報検索装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4086377B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175328A (ja) * | 2000-12-06 | 2002-06-21 | Canon Inc | 情報検索方法及び装置並びに記憶媒体 |
| JP4814039B2 (ja) * | 2005-10-27 | 2011-11-09 | 株式会社リコー | 画像処理装置、画像処理プログラムおよび記録媒体 |
| US7755646B2 (en) * | 2006-10-17 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Image management through lexical representations |
| JP5234730B2 (ja) * | 2007-11-05 | 2013-07-10 | シャープ株式会社 | 電子機器、その制御方法およびコンピュータプログラム |
-
1998
- 1998-09-30 JP JP27872298A patent/JP4086377B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000112956A (ja) | 2000-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6526400B1 (en) | Information search apparatus and method | |
| US6493705B1 (en) | Information search apparatus and method, and computer readable memory | |
| US6493692B1 (en) | Information search apparatus and method, and computer readable memory | |
| US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
| US5987448A (en) | Methodology for displaying search results using character recognition | |
| JPH07160731A (ja) | 画像検索方法及びその装置 | |
| JP4374902B2 (ja) | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム | |
| JP4065470B2 (ja) | 情報検索装置及びその制御方法 | |
| JP4054428B2 (ja) | 画像検索装置及びその方法、コンピュータ可読メモリ | |
| JP4086377B2 (ja) | 情報検索装置及び方法 | |
| JP2007140897A (ja) | 画像検索装置および方法並びにプログラム | |
| JPH0773197A (ja) | 異表記語辞書作成支援装置 | |
| JPH08263522A (ja) | 画像検索方法 | |
| JP3674430B2 (ja) | 情報提供サーバ及び情報提供方法 | |
| JPH08335223A (ja) | 画像検索システム | |
| JP2000112958A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JPH11110395A (ja) | 類似文書検索装置および類似文書検索方法 | |
| JPH0981591A (ja) | 画像データベースの検索キー登録方法 | |
| JP2002117071A (ja) | 情報検索方法及び装置並びに記憶媒体 | |
| JP4388142B2 (ja) | 情報処理システム及びこのシステムでの処理をコンピュータに行なわせるためのプログラムを格納した記録媒体 | |
| JP2005056438A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JP2000112961A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JP2002175328A (ja) | 情報検索方法及び装置並びに記憶媒体 | |
| JP2000112957A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JP2000194704A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040604 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040604 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080219 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |