JPH07219969A - 画像部品を検索する装置及びその方法 - Google Patents

Abstract

(57)【要約】 【目的】 使用者の検索意図が検索結果に反映され、所
望の画像が容易に編集合成できる画像検索装置を提供す
ることである。 【構成】 自然言語文に応じて、画像部品を検索する装
置であって、自然言語文を受け取る入力部２００と、言
語解析辞書２０６を参照して、自然言語文を解析するこ
とにより、自然言語文の構文構造を得る言語解析部２０
１と、状況要素分割辞書２１０を参照して、自然言語文
の構文構造を意味構造に変換し、自然言語文の意味構造
によって表される状況を少なくとも１つの状況要素に分
割する状況要素分割部２０５と、状況要素に対応する画
像部品を格納する画像データベース２１２と、状況要素
を画像検索キーとして用いて、画像データベース２１２
から画像部品を検索する画像検索部２１１とを備えた装
置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データベースに蓄
積する画像部品を自然言語を用いて検索する装置及び方
法に関する。特に、ワードプロセッサやＤＴＰ（Ｄｅｓ
ｋ ＴｏｐＰｕｂｌｉｓｈｉｎｇ、ディスク・トップ・
パブリッシング）などの文書作成装置を用いて、パンフ
レットやマニュアル等の文書を作成する際に、前記文書
の内容に関連する画像を容易に検索する装置及び方法に
関する。

【０００２】

【従来の技術】画像の持つ情報は、言語に比べて具体性
が高くかつ情報量も多いため、パンフレット、雑誌、テ
レビのニュースなど日常生活の様々な部分においてに使
われている。このため、大量に画像の蓄積されたデータ
ベースから目的の画像を誰にでも容易に検索できるシス
テムの必要性が高まっている。これに対して、従来、開
発されてきた画像検索方法として、例えば以下のような
ものがある。

【０００３】（１）キーワードを用いる方法 蓄えているそれぞれの画像に対してあらかじめ幾つかの
キーワードを割り当てておき、利用者が所望の画像に関
連のある幾つかのキーワードを入力すると、入力キーワ
ードと各画像に割り当てられているキーワードとの類似
度を例えばキーワードベクトル間の距離を用いて計算
し、類似度の高いものから順に利用者に提示する方法で
ある。キーワードベクトルの使用は、例えば、文献 [柴
田、中須、"画像データベースの連想検索方式"、電子情
報通信学会論文誌、D-II、Vol.J73-D-II、No.4、pp.526
-534、1990年] に開示されている。

【０００４】（２）類似画像をたどる方法 最初に検索の手がかりとなる画像を幾つか利用者に表示
する。ただし（１）と同様に蓄えているそれぞれの画像
に対してはあらかじめ幾つかのキーワードを割り当てて
おく。利用者は表示画像の中から所望の画像に最も類似
しているものを選択すると、装置は、選択された画像に
類似している画像を例えば（１）と同様にキーワードベ
クトル間の距離を用いて計算し、類似しているものから
順に幾つかを表示する。このサイクルを繰り返し、最終
的に利用者が所望の画像を得る方法である。

【０００５】（３）手描き略画を用いる方法 所望の画像内容を、利用者が覚えている範囲で手描きや
略画作成ツールなどを用いて描くと、描かれた略画と各
画像との類似度を例えば各画素の色彩の一致度によって
計算し、類似度の高いものから順に利用者に提示する方
法である。

【０００６】以下、上記の３種類の画像検索の特徴につ
いて説明する。

【０００７】まず、１番目のキーワードによる方法で
は、装置が予め用意しているキーワード辞書に登録され
ているキーワードであればどれでも検索に使えること、
また、登録されていないキーワードがあっても、それを
新たに辞書に登録することが容易であること、キーワー
ド間に上位−下位などの簡単な関係を付けるだけでも比
較的質の良い検索が行なえること、などのメリットがあ
るため、文書データベースなどでは良く利用されている
方法である。

【０００８】しかしながら、このキーワードによる検索
方法を画像検索に適用した場合には、必ずしも利用者の
意図に応じた検索結果が得られない場合がある。すなわ
ち、キーワードだけでは画像の表す意味（例えば画像の
状況を文章にして示したもの）を定量的に表現できない
ために、画像の登録作業を行なう人の主観によって割り
当てられるキーワードが、必ずしも利用者にとっての最
適はキーワードとはなりえないということが問題とな
る。

【０００９】次に、２番目の類似画像による方法では、
所望の画像を、提示された画像を見ながら検索すること
ができるため、上記のキーワードによる方法に対して、
検索の状況を捉え易いというメリットがある。

【００１０】しかしながらこの方法でも、キーワードの
場合と同様の問題を持ち合わせている。すなわちこの方
法では、利用者が選択した１枚の画像に対して、装置
は、蓄えられている全ての画像に対して選択された画像
との類似度を計算するが、この類似度の計算において、
あらかじめ画像に割り当てられているキーワードを用い
ているため、やはり、１番目のキーワードによる方法の
場合と同様に、必ずしも利用者の意図に応じた検索結果
が得られない場合が生じることが問題となる。

【００１１】以上で述べたように、１番目と２番目の手
法での問題は、画像の内容をいくつかのキーワードを用
いて表現しているが、このキーワードと画像との対応関
係が利用者によってまちまちであるために、必ずしも利
用者が所望の画像を得られるわけではないという点にあ
った。

【００１２】上記の問題を解決するために、画像そのも
のを装置に提示することによって検索する方法が３番目
の手描き略画を用いる方法である。この方法では、例え
ばマウスを用いた作画プロセッサを用いて所望の画像の
略画を描く。略画は２値の線画のみではなく色彩情報を
入力することが可能な場合もある。作成された略画は、
ただちに蓄積されている画像との類似度を計算するため
にデータ変換が施される。続いて、略画の線情報や色彩
情報などを用いて類似度が計算され、入力された略画と
類似度の高いものから順に提示される。

【００１３】この方法は、画像の輪郭情報や色彩情報と
いったあらかじめ定量化された情報を類似度の計算に用
いているため、キーワード検索において問い合わせ用キ
ーワードを辞書から探し求めるといった思考作業が必要
でなくなり、使用者は所望の画像の内容を知っているだ
けで検索が行なえるという点にメリットがある。

【００１４】しかしながら、上記に示した画像を提示す
る画像検索手法では、使用者が所望の画像の内容を知ら
ない場合には略画を描くことができないため、この方法
では必ずしも所望の画像を検索することはできない。ま
た、画像の輪郭や色彩などを類似度を計算する際の情報
として用いているため、類似度の計算コストが大きくな
り、大規模なデータベースでは検索に多大な時間を要し
てしまう。

【００１５】さらに、上記の３種類の方法においては、
もし、所望の画像がデータベースに存在しない場合は、
所望の画像を複数の画像の編集合成作業によって得る方
法が一般的であり、まず所望の画像合成するのに必要な
対象を含む画像をすべて検索し、必要な対象部分の切り
出しや、切り出した対象部分と背景画像との合成を行な
って所望の画像を得るという作業が必要となる。この場
合、作業に非常に手間がかかることが問題であった。

【００１６】なお、上記１番目のキーワードを用いる方
法、２番目の類似画像をたどる方法を組み合わせた画像
検索の方法として、例えば、文献 [井上、柴田、中
須、"画像合成のための部品画像ファイルシステム"、電
子情報通信学会論文誌、Vol.J72-D-II、No.11、pp.1824
-1832、1989年11月] に開示の方法がある。また、上記
３の画像検索の方法として、例えば、特開平２−５１７
７５号公報に開示の方法がある。

【００１７】

【発明が解決しようとする課題】このような従来の画像
検索技術においては、使用者が所望の画像を検索する際
に、問い合わせにキーワードを用いた場合には画像の意
味を定量的に表現できないために、使用者の検索意図が
検索結果に反映されるとは限らないこと、また、問い合
わせに略画を用いた場合には使用者の検索意図を装置に
正確に伝える手段はあっても、使用者が所望の画像のイ
メージを知らない場合には検索が不可能なことが問題で
あった。

【００１８】さらに従来の画像検索装置では、使用者の
所望の画像が画像データベースに存在しないときは、所
望の画像を編集合成作業によって作成することになる
が、編集合成作業をすべて人手によって行なわければな
らなかったため、多大な手間がかかることが問題であっ
た。

【００１９】本発明は、上記問題点を解決するものであ
り、所望の画像のイメージを知らずとも所望の画像内容
を正確に装置に伝え、かつ、所望の画像が画像データベ
ースに存在しない場合でも、使用者の検索意図が検索結
果に反映され、所望の画像が容易に編集合成できる画像
検索装置を提供することを目的とする。

【００２０】

【課題を解決するための手段】本発明の装置は、自然言
語文に応じて、画像部品を検索する装置であって、自然
言語文を受け取る入力手段と、言語解析辞書を参照し
て、該自然言語文を解析することにより、該自然言語文
の構文構造を得る言語解析手段と、状況要素分割辞書を
参照して、該自然言語文の該構文構造を意味構造に変換
し、該自然言語文の該意味構造によって表される状況を
少なくとも１つの状況要素に分割する状況要素分割手段
と、該状況要素に対応する画像部品を格納する画像デー
タベースと、該状況要素を画像検索キーとして用いて、
該画像データベースから該画像部品を検索する検索手段
とを備えており、これにより、上記目的が達成される。

【００２１】前記画像部品は、画像に含まれる少なくと
も１つの領域に関連する画像属性データを含んでおり、
前記検索手段は、該画像属性データに応じて該画像デー
タベースから得られた画像部品をさらに絞り込んでもよ
い。

【００２２】前記画像属性データは、前記画像に含まれ
る少なくとも１つの領域を定義する領域データと該少な
くとも１つの領域の意味を表す情報とを含んでいてもよ
い。前記情報は、自然言語文によって表されていてもよ
い。

【００２３】前記検索手段は、前記画像検索キーと前記
画像属性データとの類似度を計算する手段と、該類似度
に応じて、前記画像属性データの利用の可／不可を規定
する領域利用情報を提供する手段とを備えていてもよ
い。

【００２４】前記装置は、前記領域利用情報に基づい
て、前記検索手段によって検索された画像部品のうち少
なくとも一部を表示する表示手段をさらに備えていても
よい。前記状況要素分割辞書は、前記自然言語文の意味
を定義するための複数の格フレームを含んでおり、該複
数の格フレームのそれぞれは、前記自然言語文において
述語となりうる単語と、該単語に関連する格要素の名称
と該格要素が満たすべき制約条件との組を記述するスロ
ットと、前記状況を少なくとも１つの状況要素に分割す
るための知識を記述する状況分割データとを含んでいて
もよい。

【００２５】前記状況要素分割手段は、前記格フレーム
の前記状況分割データに基づいて、前記少なくとも１つ
の状況要素を背景に関連するグループと前景に関連する
グループとに分類してもよい。

【００２６】前記言語解析辞書は、前記自然言語文から
画像検索に必要とされない単語を削除するためのルール
を含んでおり、前記言語解析手段は、該ルールに従って
前記自然言語文から単語を削除する画像検索前処理手段
を備えていてもよい。

【００２７】本発明の他の装置は、自然言語文に応じ
て、画像部品を検索する装置であって、複数の画像部品
を格納する画像データベースであって、該複数の画像部
品のそれぞれは、画像に含まれる領域の意味を表す画像
属性データと該領域に対応する画素データとを含む画像
データベースと、自然言語文を受け取る入力手段と、該
自然言語文を解析することにより、少なくとも１つの要
素を含む解析フレームであって、該自然言語文の意味を
表す解析フレームを得る解析手段と、該解析フレームに
含まれる該少なくとも１つの要素を互いに対応付けるこ
とにより、該自然言語文の部分的な意味を表す画像検索
キーを定義する対応付け手段と、該画像検索キーと該画
像属性データとの意味における類似度に基づいて、該画
像データベースから画像部品を検索する検索手段とを備
えており、これにより、上記目的が達成される。

【００２８】前記解析フレームは、述語と該述語に関連
する格要素と該格要素の値とを含んでいてもよい。

【００２９】前記対応付け手段は、該自然言語文の部分
的な意味に応じて、背景に関連する画像検索キーと前景
に関連する画像検索キーとのうち一方を定義してもよ
い。

【００３０】本発明の方法は、自然言語文に応じて、画
像データベースから画像部品を検索する方法であって、
該画像データベースは複数の画像部品を格納し、該複数
の画像部品のそれぞれは、画像に含まれる領域の意味を
表す画像属性データと該領域に対応する画素データとを
含んでおり、該方法は、ａ）自然言語文を受け取るステ
ップと、ｂ）該自然言語文を解析することにより、少な
くとも１つの要素を含む解析フレームであって、該自然
言語文の意味を表す解析フレームを得るステップと、
ｃ）該解析フレームに含まれる該少なくとも１つの要素
を互いに対応付けることにより、該自然言語文の部分的
な意味を表す画像検索キーを定義するステップと、ｄ）
該画像検索キーと該画像属性データとの意味における類
似度に基づいて、該画像データベースから画像部品を検
索するステップとを包含しており、これにより、上記目
的が達成される。

【００３１】前記解析フレームは、述語と該述語に関連
する格要素と該格要素の値とを含んでいてもよい。

【００３２】前記ステップｃ）は、該自然言語文の部分
的な意味に応じて、背景に関連する画像検索キーと前景
に関連する画像検索キーとのうち一方を定義するステッ
プを包含していてもよい。

【００３３】

【作用】本発明では、画像部品を画像データベースに登
録する際に、あらかじめ、画像の構成要素となる対象の
領域を示す領域データを作成し、さらに、領域と領域の
内容を表す画像内容情報との組を、画像部品の画像属性
データとして記述しておく。

【００３４】本発明による画像検索装置では、所望の画
像の内容を表す自然言語文が入力部を介して入力され
る。言語解析部によって入力された自然言語文の構文構
造が解析される。状況要素分割部によって自然言語文の
構文構造が意味構造に変換される。すなわち、入力され
た自然言語文の表す状況は、それを構成する部分的な状
況要素に分割され、分割されたそれぞれの状況要素に対
応する画像検索キーが生成される。ここで、状況要素と
は、状況を表す最小単位の文章のことである。

【００３５】画像検索部では、分割された状況要素毎
に、状況要素と関連のある画像部品が検索される。さら
に、検索された画像部品を絞り込んでもよい。

【００３６】入力文の意味構造と検索された画像部品の
意味構造とが完全に一致した場合には、所望の画像部品
が見つかったことを意味する。従って、表示部は、検索
された画像部品を表示する。それらが完全に一致しない
場合には、表示部は、入力文の意味構造を表すために必
要な画像部品を、背景と前景とに分けて表示する。ま
た、必要に応じて表示画像部品の編集も可能である。

【００３７】

【実施例】以下、図面を参照して本発明を実施例につい
て説明する。

【００３８】図１（ａ）は、画像データベースに格納さ
れる画像の例を示す。この画像は、「木の生い茂る○○
公園で、Ｂさんが自転車に乗って、Ａ選手のコーチをし
ている」というシーンを表している。このように画像は
特定の意味を有している。さらに、画像に含まれる個々
の領域は、画像全体とは異なる意味を有していると解釈
することができる。例えば、「Ｂさんが自転車に乗っ
て、Ａ選手のコーチをしている」というシーンを画像に
含まれる領域ごとに個々に解釈すれば、「Ｂさんが自転
車に乗っている」と「Ａ選手が走っている」と解釈でき
る。また、「並木」というシーンを画像に含まれる領域
ごと個々に解釈すれば、３本の「木」であると解釈する
こともできる。

【００３９】本発明は、このような画像全体又は画像の
一部の意味に基づいて、画像データベースを検索する装
置を提供する。画像データベースに格納される画像は、
他の画像を合成するために使用され得る。この意味で、
本明細書では、画像データベースに格納された画像のこ
とを「画像部品」という。画像部品は、画素データと領
域データと画像属性データとを含む。画素データは、ピ
クセル値の集合である。例えば、６４０×４８０ドット
の画像の場合、画素データは６４０×４８０個のピクセ
ル値の集合である。領域データは、画像に含まれる少な
くとも１つの領域の位置を特定するデータである。例え
ば、領域データは、領域の輪郭線を規定する座標の集合
である。画素データと領域データとは、公知の方法で画
像データベースに格納され得る。画像属性データは、画
素データの表す意味と領域との関係を規定する。画素デ
ータの表す意味は１つの領域に対応するかもしれない
し、複数の領域に対応するかもしれない。

【００４０】図１（ｂ）は、図１（ａ）の画像に含まれ
る領域の例を示す。図１（ａ）の画像には、領域Ｘ１〜
Ｘ５が含まれている。領域データは、領域Ｘ１〜Ｘ５の
位置を特定する。

【００４１】図１（ｃ）は、図１（ａ）の画像に対応す
る画像属性データの構造を示す。画像属性データは、画
素データの全体又は一部の意味を示す情報１０１と画素
データの全体又は一部の意味に関連する領域１０２とを
含む。情報１０１は、例えば、自然言語文で記述され
る。自然言語文は、検索可能な他の任意の言語に置き換
えられ得る。例えば、画素データの全体又は一部の意味
は、自然言語の単語列によって表されてもよい。

【００４２】図１（ｃ）において、画像属性データ１０
３は、領域Ｘ１に対応する画素データの意味が「Ａ選手
が走っている」であることを規定している。画像属性デ
ータ１０４は、領域Ｘ２に対応する画素データの意味が
「Ｂさんが自転車に乗っている」であることを規定して
いる。画像属性データ１０３及び１０４は、１つの領域
と１つの画素データの意味とが対応している例である。
しかし、２以上の領域と１つの画素データの意味とが対
応していてもよい。例えば、画像属性データ１０５は、
領域Ｘ１及びＸ２とからなる領域に対応する画素データ
の意味が「Ｂさんが自転車でＡ選手をコーチしている」
であることを規定している。画像属性データ１０６は、
領域Ｘ３〜Ｘ５からなる領域に対応する画素の意味が
「並木」であることを規定している。このように、画像
属性データは、複数の領域の組み合わせに対応する画素
データの意味が、個々の領域に対応する画素データの意
味と異なるように規定される。

【００４３】画像属性データ１０７では、画素データの
意味に対応する領域が規定されていない。これは、その
画素データの意味に対応する領域を省略した表現であ
る。この省略表現は、その画素データの意味が図１
（ｂ）に示す領域Ｘ１〜Ｘ５を含めた全体の領域（すな
わち、画像の背景領域）に関連していることを意味す
る。従って、画像属性データ１０７は、画像の背景領域
に対応する画素データの意味が「○○公園」であること
を規定している。このように、画像属性データにおいて
画素データの意味に対応する領域が規定されている場合
には、その画素データの意味は画像の前景領域に関連
し、画像属性データにおいて画素データの意味に対応す
る領域が規定されてない場合には、その画素データの意
味は画像の背景領域に関連する。従って、画像属性デー
タにおいて画素データの意味に対応する領域が規定され
ているか否かをチェックすることによって、その画素デ
ータの意味が画像の前景領域と背景領域のうちのいずれ
に関連しているかを判定することができる。

【００４４】図２は、本発明による画像検索装置の実施
例の構成を示す。画像検索装置は、自然言語文を入力す
るための入力部２００と、言語解析辞書２０６を参照し
て自然言語文の構文構造を解析する言語解析部２０１
と、状況要素分割辞書２１０を参照して自然言語文の構
文構造を意味構造に変換し、自然言語文の意味構造によ
って表される状況を少なくとも１つの状況要素に分割
し、分割された状況要素にそれぞれ対応する画像検索キ
ーを生成する状況要素分割部２０５と、画像検索キーに
基づいて画像データベース２１２から画像部品を検索す
る画像検索部２１１と、検索された画像部品を表示し、
必要に応じてその画像部品を編集する表示部２１５とを
含んでいる。

【００４５】画像データベース２１２は、画像部品を検
索するための画像部品検索辞書２１３と、画像部品を格
納する画像部品データベース２１４とを含んでいる。

【００４６】図３は、画像部品検索辞書２１３の構造を
示す。画像部品検索辞書２１３は、複数の画像部品検索
データを含んでいる。図３では、画像部品検索データの
それぞれは、画像部品検索辞書２１３の各行に対応して
いる。画像部品検索データは、画像部品の内容を表すキ
ーワード３０１と、この画像部品検索データ自身に関連
する他の画像部品検索データへのポインタ３０２と、キ
ーワード３０１に関連する画像部品へのポインタ３０３
とを含んでいる。図３に示されるように、キーワード３
０１とポインタ３０２とポインタ３０３とは、２重の縦
線によって区切られている。

【００４７】例えば、画像部品検索データの一例として
図３の第１行に示される画像部品検索データ３０４を説
明する。画像部品検索データ３０４は、キ−ワード３０
１として「Ａ選手」を有しており、ポインタ３０２とし
て少なくとも「人物（上位）」を有しており、ポインタ
３０３として少なくとも「画像１」と「画像２」とを有
している。「人物（上位）」は、キーワード３０１とし
て「人物」を有する画像部品検索データが画像部品検索
データ３０４に対して「上位」の関係で位置付けられる
ことを示している。「画像１」と「画像２」は、「Ａ選
手」に関連する画像部品へのポインタを画像部品の番号
によって示したものである。「画像１」と「画像２」
は、「Ａ選手」に関連する画像部品として画像１と画像
２とが画像部品データベース２１４に格納されているこ
とを示している。

【００４８】図２を再び参照して、言語解析部２０１
は、言語解析辞書２０６を参照して入力された自然言語
文の構文構造を解析する。言語解析辞書２０６は、画像
検索前処理知識ベース２０７と単語辞書２０８と文法辞
書２０９とを含む。言語解析部２０１は、単語辞書２０
８を参照して形態素解析を行う形態素解析部２０２と、
画像検索前処理知識ベース２０７を参照して入力された
自然言語文に含まれる単語のうち不要な単語の削除と単
語の修正を必要であれば行う画像検索前処理部２０３
と、文法辞書２０９を参照して画像検索前処理部２０３
によって処理された自然言語文の構文構造を解析する構
文解析部２０４とを含んでいる。構文解析部２０４にお
ける構文解析の手法は、自然言語処理の分野における公
知の技術である。例えば、形態素解析部２０２、単語辞
書２０８、構文解析部２０４、文法辞書２０９の実現方
法は、野村浩郷著、「自然言語処理の基礎技術」、電子
情報通信学会、１９８８年に記載されている。本発明に
よる画像検索装置における構文解析部２０４は、入力さ
れた自然言語文の構文解析の結果が構文解析部２０４か
ら正しく出力される限り、任意の構文解析の手法を採用
し得る。

【００４９】以下、下記の自然言語文（１）が入力部２
００によって画像検索装置に入力された場合を例にと
り、言語解析部２０１における処理を簡単に説明する。

【００５０】 「Ａ選手とＣ選手が××マラソンでトップを走っている」 （１） 入力部２００によって入力された自然言語文（１）は、
まず、形態素解析部２０２によって、単語辞書２０８を
用いて文を構成する最小単位である形態素に分解され
る。形態素への分解結果は、例えば次のごとくとなる。

【００５１】「Ｃ選手」「が」「Ａ選手」「と」「××
マラソン」「で」「トップ」「を」「走って」「いる」 画像検索前処理部２０３は、このような形態素列から画
像の表現に不必要な単語を除去、修正する。例えば、接
頭語や法情報、敬語表現などを表す形態素の除去、基本
形以外の用言の基本形への変換などの画像検索前処理が
画像検索前処理部２０３によって実行される。画像検索
前処理は、画像検索前処理知識ベース２０７に格納され
る画像検索前処理知識を参照して実行される。

【００５２】画像検索前処理知識は、自然言語の文章で
記述すると、例えば、「動詞連用形の次に動詞性接尾辞
『いる』もしくはその活用形が接続し文が終了する場合
は、動詞連用形を基本形に変更し、動詞性接尾辞『い
る』もしくはその活用形を取り除く。」というルールを
含む。このルールは、入力された自然言語文が進行形と
いう法情報を含んでいる場合には、進行形を表現してい
る部分を除去し現在形に変更するという処理を行うこと
を規定したものである。例えば、上記の形態素解析の結
果の例では、最後の２つの形態素「走って」と「いる」
に着目すると、動詞の連用形「走って」に、動詞性接尾
辞「いる」が接続しているため、最後の形態素である
「いる」が除去され、「走って」は基本形「走る」に変
更される。すなわち、本処理によって上記の形態素解析
の結果は以下の自然言語文（１’）に変更される。

【００５３】 「Ｃ選手」「が」「Ａ選手」「と」「××マラソン」「で」「トップ」「を」 「走る」 （１’） 画像検索前処理部２０３による処理により、活用形を考
慮した文法規則や接頭語を含む文法規則などを文法辞書
２０９に記述する必要がないので、文法辞書２０９の文
法規則の数を削減することができる。このことにより、
構文解析部２０４における処理を高速化することが可能
となる。しかしながら、画像検索前処理部２０３は省略
されてもよい。その理由は、活用形などを考慮した方が
より正確な画像検索を行える場合もあるからである。

【００５４】画像検索前処理知識は、通常、プログラミ
ング言語を用いて画像検索装置に組み込まれる。例え
ば、そのプログラミング言語が手続き型言語である場合
には、画像検索前処理知識をif-then形式の条件分岐を
用いて容易に表現することができる。上述のルールは例
えば以下のように表現され得る。

【００５５】if（動詞連用形の次に動詞性接尾辞『い
る』もしくはその活用形が接続し文が終了する） then｛ ・動詞連用形を基本形に変形する。

【００５６】・動詞性接尾辞『いる』もしくはその活用
形を取り除く。

【００５７】｝ 複数個の画像検索前処理知識は、複数個のif-then形式
の条件分岐を列挙することによって以下のように表現さ
れ得る。これらのif-then形式の条件分岐は、画像検索
前処理部２０３によって逐次処理される。

【００５８】if（画像検索前処理を実行するための条
件） then｛ ・画像検索前処理を実行する。

【００５９】｝ ： ： if（画像検索前処理を実行するための条件） then｛ ・画像検索前処理を実行する。

【００６０】｝ 構文解析部２０４は、文法辞書２０９を参照して自然言
語文の構文構造を解析する。文法辞書２０９は、例え
ば、以下に示す日本語の文法に関するルールＪＲ１）〜
ＪＲ６）を含んでいる。

【００６１】 ＪＲ１） 文 → 動詞句 ＪＲ２） 動詞句 → 副詞句 動詞句 ＪＲ３） 動詞句 → 動詞 ＪＲ４） 副詞句 → 名詞句 格助詞 ＪＲ５） 副詞句 → 副詞 ＪＲ６） 名詞句 → 名詞 各ルールは、「『→』 の左側の標識は、『→』 の右側
の標識の列がその順に並んだものである」であることを
規定する。例えば、ルールＪＲ４）は、「副詞句は、名
詞句と格助詞がこの順に並んだものである」ことを規定
している。

【００６２】図４は、上記の形態素解析の結果を構文解
析部２０４によって構文解析した結果を構文木の形式で
示したものである。構文木は、複数のノードを階層的に
結合した構造を有している。あるノードを生成するため
に、ルールＪＲ１）〜ＪＲ６）のうちのいずれか１つが
適用される。例えば、図４の最上位のノード「文」に
は、ルールＪＲ１）が適用される。これは、ノード
「文」がルールＪＲ１）の「→」の左側の標識「文」に
一致し、ノード「文」の下位のノードの並びがルールＪ
Ｒ１）の「→」の右側の標識の列の並びに一致するから
である。その結果、ノード「文」の下位ノードとしてノ
ード「動詞句」が生成される。

【００６３】状況要素分割部２０５は、状況要素分割辞
書２１０を参照して、自然言語文の構文構造を意味構造
に変換し、自然言語文の意味構造によって表される状況
を少なくとも１つの状況要素に分割し、分割された状況
要素にそれぞれ対応する画像検索キーを生成する。状況
要素分割辞書２１０は、複数の格フレームを含んでい
る。格フレームは、自然言語文の意味構造を規定するた
めに使用される。

【００６４】図５は、状況要素分割辞書２１０に含まれ
る１つの格フレームの構造を示す。この格フレームは述
語「走る」に関するものである。図５に示されるよう
に、格フレームは、自然言語文の述語となりうる単語５
０１と、その単語に関連する格要素の名称とその格要素
が満たすべき制約条件との組を記述するスロット５０２
と、自然言語文の意味構造によって表される状況を少な
くとも１つの状況要素に分割するための知識を記述する
状況分割データ５０３とを含んでいる。自然言語文の述
語の種類としては、例えば、述語動詞、述語形容詞、及
び述語形容動詞などがある。

【００６５】述語「走る」の格フレームは、動作主体を
表す動作主体格（AGENT）、動作の受け手を表す受け手
格（PARTICIPANT）、動作が行われる場所を表す場所格
（LOCATIVE）、動作が行われる目的を表す目的格（PURP
OSE）の４つの格要素に対応するスロットを少なくとも
有している。このことは、述語として「走る」を有する
自然言語文は、「走る」という動作に対する動作主体、
受け手、目的、場所をそれぞれ表す名詞句と格助詞から
なる副詞句を含むことが可能であることを意味してい
る。これらの４つのスロットの格要素が満たすべき制約
条件は以下のとおりである。

【００６６】・動作主体格（AGENT）は、動物（ANIMAT
E）を表す名詞句と格助詞「は」又は「が」とからなる
副詞句でなければならない。

【００６７】・受け手格（PARTICIPANT）は、動物（ANI
MATE）を表す名詞句と格助詞「と」とからなる副詞句で
なければならない。

【００６８】・場所格（LOCATIVE）は、場所（LOC）又
はレース（RACE）を表す名詞句と格助詞「で」とからな
る副詞句でなければならない。

【００６９】・目的格（PURPOSE）は、任意の名詞句と
格助詞「を」とからなる副詞句でなければならない。
（図５の格フレームにおいて「＊」は、任意の名詞句で
よいことを示す。） 図５に示される格フレームを用いて、図４に示される自
然言語文の構文構造を意味構造に変換する処理を説明す
る。この処理は、状況要素分割部２０５によって実行さ
れる。

【００７０】はじめに、構文解析の結果に基づいて、図
４の構文木から名詞句と格助詞からなる副詞句が抽出さ
れる。この副詞句を名詞句と格助詞とに分解し、名詞句
と格助詞のそれぞれに対応する単語を「＋」で連結する
記号を用いて、副詞句に対応する単語列を表すとする
と、図４の構文木に含まれる副詞句は、「Ｃ選手＋
が」、「Ａ選手＋と」、「××マラソン＋で」、「トッ
プ＋を」の４つであることが分かる。

【００７１】次に、このようにして抽出された名詞句と
格助詞とからなる副詞句が格フレームどのスロットの制
約条件を満たすかが判定される。例えば、副詞句「Ｃ選
手＋が」が述語として「走る」を有する格フレーム（図
５）の動作主体格に対応するスロットの制約条件「動作
主体格は動物（ANIMATE）でなければならない」を満た
すか否かは、以下のようにして判定される。上述した画
像部品検索辞書２１３を参照して「Ｃ選手」と「動物」
とが一致するか否かが判定される。「Ｃ選手」と「動
物」とは文字列レベルで一致しないので、「動物」が
「Ｃ選手」に対して「上位」の関係を有するか否かが以
下のようにして判定される。

【００７２】「Ｃ選手」をキーワードとして画像部品検
索辞書２１３を検索することにより、「Ｃ選手」に関す
る画像部品検索データが得られる。その画像部品検索デ
ータに対して「上位」の関係を有する他の画像部品検索
データへのポインタをたどることにより、「Ｃ選手」に
対して「上位」の関係を有する画像部品検索データが得
られる。このようにして得られた画像部品検索データが
「動物」に関するものであれば、「Ｃ選手」は「動物」
に属するので、上述の制約条件を満たすこととなる。ま
た、他の画像部品検索データへのポインタを一度だけた
どることにより「動物」に関する画像部品検索データが
見つからない場合であっても、ポインタを繰り返したど
ることにより「動物」に関する画像部品検索データが見
つかれば、やはり「Ｃ選手」は「動物」に属するので、
上述の制約条件を満たすこととなる。さらに、ある画像
部品検索データがその画像部品検索データに対して「上
位」の関係を有する他の画像部品検索データへのポイン
タを２個以上有している場合に、一方のポインタを繰り
返したどっても「動物」に関する画像部品検索データが
見つからない場合には、ひとまずその画像部品検索デー
タまで戻って、まだたどっていない他方のポインタを繰
り返したどればよい。こうして「Ｃ選手」に関する画像
部品検索データからたどることの可能な画像部品検索デ
ータをすべて調べても、「動物」に関する画像部品検索
データが見つからなかった場合にのみ、「Ｃ選手」は
「動物」に属さないと判断される。すなわち、「Ｃ選
手」は上述の制約条件を満足しないと判断される。例え
ば、図３には示されていないが、「Ｃ選手」の「上位」
の関係に「人間」があり、「人間」の「上位」の関係に
「動物」があると仮定する。この場合、「Ｃ選手」から
２度「上位」の関係をたどることによって「動物」にた
どりつく。従って、「Ｃ選手」は、動作主体格に対応す
るスロットの制約条件「動作主体格は動物でなければな
らない」を満たす。

【００７３】次に「Ｃ選手」に接続する格助詞を調べる
と、「が」であり、「動作主体に対応する名詞句に接続
する格助詞は『は』又は『が』である」という条件を満
たしている。従って、副詞句「Ｃ選手＋が」は、述語
「走る」の動作主体格に対応するスロットの制約条件を
満たすので、副詞句「Ｃ選手＋が」は、述語「走る」の
動作主体格であることが確定する。同様に、「Ａ選手＋
と」、「××マラソン＋で」、「トップ＋を」のそれぞ
れの副詞句が、どのスロットの条件を満たすかを調べる
と、「Ａ選手＋と」が受け手格、「××マラソン＋で」
が場所格、「トップ＋を」が目的格にそれぞれ対応する
スロットの制約条件を満たす。その結果、副詞句の格が
それぞれ確定する。

【００７４】以上のようにして、自然言語文（１’）の
意味構造を表す格フレームの構造が、図６に示されるよ
うに確定する。

【００７５】図５を再び参照して、状況分割データ５０
３は、格フレームの構造によって表される状況を少なく
とも１つの状況要素に分割するための知識を記述するも
のである。ここで、状況要素とは、状況を表す最小単位
の文章のことである。状況分割データ５０３におけるラ
ベルＰ１、Ｐ２、ＢＧ１、ＢＧ２は、述語として「走
る」を有する格フレームによって表される状況が、前景
に対応する２種類の状況要素と背景に対応する２種類の
状況要素とに少なくとも分割可能であることを示してい
る。ラベルＰ１とＰ２とは前景に対応し、ラベルＢＧ１
とＢＧ２とは背景に対応する。また、状況分割データ５
０３におけるラベルＰ１、Ｐ２、ＢＧ１、ＢＧ２の下に
示される「○」は、述語とその述語に関連する少なくと
も１つの格要素との間の対応づけを規定する。

【００７６】例えば、ラベルＰ１の下に示される２つの
「○」は、述語「走る」と格要素「AGENT」の組み合わ
せが前景に対応する状況要素を規定することを示す。こ
のことは、格要素「AGENT」が「走る」という動作をし
ているというシーンを状況要素とみなすという知識に基
づいている。ラベルＰ２の下に示される２つの「○」
は、述語「走る」と格要素「PARTICIPANT」との組み合
わせが前景に対応する状況要素を規定することを示す。
このことは、格要素「PARTICIPANT」が「走る」という
動作をしているというシーンを状況要素とみなすという
知識に基づいている。ラベルＢＧ１の下に示される１つ
の「○」は、格要素「LOCATIVE」が背景に対応する状況
要素を規定することを示す。このことは、場所を表すシ
ーンを状況要素とみなすという知識に基づいている。ラ
ベルＢＧ２の下に示される１つの「○」は、格要素「PU
RPOSE」が背景に対応する状況要素を規定することを示
す。このことは、目的を表すシーンを状況要素とみなす
という知識に基づいている。

【００７７】このように、状況分割データ５０３によれ
ば、１つの格フレームにおいて、述語とその述語に関連
する少なくとも１つの格要素とが互いに対応づけられ
る。単独の格要素、もしくは格要素の組み合わせは、状
況要素を定義する。さらに状況要素は、Ｐ１、Ｐ２、Ｂ
Ｇ１、ＢＧ２などのラベルにより、前景に対応する状況
要素と背景に対応する状況要素とに分類される。

【００７８】次に、状況分割データ５０３を参照して、
自然言語文の意味構造によって表される状況を少なくと
も１つの状況要素に分割し、状況要素に対応する画像検
索キーを生成する処理を説明する。この処理は、状況要
素分割部２０５によって実行される。上述したように、
自然言語文の意味構造は格フレームによって表現され
る。以下、自然言語文（１’）の意味構造を表現する図
６の格フレームを例にとり、この処理を説明する。説明
の簡略化のため、図５に示される格フレームを辞書フレ
ームといい、図６に示される格フレームを解析フレーム
という。辞書フレームは、状況要素分割辞書２１０に格
納される。

【００７９】上述したように、解析フレームにおいて
は、格要素「AGENT」の値は「Ｃ選手」であると確定
し、格要素「PARTICIPANT」の値は「Ａ選手」であると
確定し、格要素「LOCATIVE」の値は「××マラソン」で
あると確定し、格要素「PURPOSE」の値は「トップ」で
あると確定している。このように、解析フレームは、述
語と、その述語に関連する格要素と、その格要素の確定
された値とを有している。解析フレームは、自然言語文
（１’）の意味を表す。解析フレームに対応する状況要
素を定義するためには、図６の辞書フレームの状況分割
データ５０３を参照して、述語「走る」とその述語「走
る」に関連する格要素たちを互いに対応づけてやればよ
い。例えば、状況分割データ５０３のラベルＰ１に関連
して、「走る」と「Ｃ選手」との組み合わせである「Ｃ
選手が走る」が前景に対応する状況要素として定義され
る。状況分割データ５０３のラベルＰ２に関連して、
「走る」と「Ａ選手」との組み合わせである「Ａ選手が
走る」が前景に対応する状況要素として定義される。同
様にして、状況分割データ５０３のラベルＢＧ１に関連
して、「××マラソン」が背景に対応する状況要素とし
て定義される。状況分割データ５０３のラベルＢＧ２に
関連して、「トップ」が背景に対応する状況要素として
定義される。

【００８０】このようにして、図６の解析フレームによ
って表される状況が４つの状況要素に分割される。状況
要素は、辞書フレームの構造や解析フレームの構造とは
異なる意味構造を有している。状況要素の意味構造は、
以下の書式で表現される。

【００８１】 （（格要素（格要素の値）、…、格要素（格要素の
値））、"背景"または"前景"） もしくは、 （（述語、格要素（格要素の値）、…、格要素（格要素
の値））、"背景"または"前景"） 本明細書では、上述の書式で表現された状況要素を特に
「画像検索キー」という。画像検索キーは、入力された
自然言語文の部分的な意味を表す。画像検索キーは、後
述するように、画像データベース２１２から画像部品を
検索するために使用される。例えば、図６の解析フレー
ムから得られる画像検索キーは、以下に示す(2-1)〜(2-
4)の４つである。以下、画像検索キーにおいて、「格要
素（格要素の値）」の形式のデータを格要素データと呼
ぶことにする。

【００８２】 （（走る、AGENT（Ｃ選手））、"前景"） (2-1) （（走る、PARTICIPANT（Ａ選手））、"前景"） (2-2) （RACE（××マラソン）、"背景"） (2-3) （＊（トップ）、"背景"） (2-4) 画像検索部２１１は、画像検索キーに関連する画像部品
を画像データベース２１２から検索する。

【００８３】図７は、画像検索キーに関連する画像部品
を画像データベース２１２から検索する処理の手順を示
す。この検索処理は、画像検索部２１１によって実行さ
れる。以下、図７を参照して、この検索処理をステップ
ごとに説明する。

【００８４】ステップ７０１：状況要素分割部２０５に
よって生成された画像検索キーを画像検索部２１１に入
力する。入力されたすべての画像検索キーに対して、画
像部品検索ルーチンを実行する。画像部品検索ルーチン
については後述する。

【００８５】ステップ７０２：画像検索キーと画像部品
検索ルーチンによって得られた１以上の画像部品との組
を画像部品選択ルーチンに入力する。入力されたすべて
の組に対して、画像部品選択ルーチンを実行する。画像
部品選択ルーチンについては後述する。

【００８６】ステップ７０３：背景グループに含まれる
画像部品のうち、最も多くの組に含まれる画像部品を選
択する。

【００８７】ステップ７０４：前景グループに含まれる
画像部品のうち、最も多くの組に含まれる画像部品を選
択する。

【００８８】ステップ７０５：ステップ７０３において
選択された画像部品を背景に対応する画像部品として出
力する。ステップ７０４において選択された画像部品を
前景に対応する画像部品として出力する。

【００８９】［画像部品検索ルーチン］図８は、画像部
品検索ルーチンにおける処理の手順を示す。画像部品検
索ルーチンは、画像検索キーを受け取り、その画像検索
キーに関連する１以上の画像部品を画像データベース２
１２から得るためのルーチンである。以下、図８を参照
して、この処理をステップごとに説明する。

【００９０】ステップ８０１：画像検索キーを画像部品
検索ルーチンに入力する。

【００９１】ステップ８０２：入力された画像検索キー
に格要素の動作を表す述語が記述されているか否かを判
定する。

【００９２】ステップ８０３：もし、入力された画像検
索キーに述語が記述されているならば、その述語をキー
ワードとして有する画像部品検索データを画像部品検索
辞書２１３から得る。得られた画像部品検索データのポ
インタによって指された１以上の画像部品を得る。も
し、入力された画像検索キーに述語が記述されていない
ならば、このステップ８０３はスキップされる。

【００９３】ステップ８０４：入力された画像検索キー
に含まれる格要素データのうちの１つを取り出す。その
格要素データの格要素の値をキーワードとして有する画
像部品検索データを画像部品検索辞書２１３から得る。
得られた画像部品検索データのポインタによって指され
た１以上の画像部品を得る。

【００９４】ステップ８０５：入力された画像検索キー
に含まれるすべての格要素データについて、画像部品の
検索がなされたか否かを判定する。もし、Noであれば、
ステップ８０２に戻る。もし、Yesであれば、ステップ
８０６に進む。

【００９５】ステップ８０６：述語に基づいて得られた
画像部品と、各格要素データに基づいて得られた画像部
品との両方に共通する１以上の画像部品を選択する。選
択された１以上の画像部品を画像部品検索ルーチンの検
索結果として返す。

【００９６】［画像部品選択ルーチン］図９は、画像部
品選択ルーチンにおける処理の手順を示す。画像部品選
択ルーチンは、画像部品検索ルーチンによって選択され
た１以上の画像部品をさらに絞り込むためのルーチンで
ある。以下、図９を参照して、この処理をステップごと
に説明する。

【００９７】ステップ９０１：画像検索キーと、画像検
索キーに対して画像部品検索ルーチンによって選択され
た１以上の画像部品との組を画像部品選択ルーチンに入
力する。その組は、入力された画像検索キーに含まれる
最後の項（”背景”又は”前景”）に応じて、背景グル
ープと前景グループのいずれかに分類される。

【００９８】ステップ９０２：その組に含まれる１以上
の画像部品のそれぞれについて、その画像部品の画像属
性データに含まれる情報であって、画素データの全体又
は一部の意味を表す情報１０１を得る。図１（ｃ）を参
照して既に述べたように、画像属性データにおいて、情
報１０１は自然言語文によって表されている。その画像
属性データに含まれる自然言語文は、言語解析部２０１
と状況要素分割部２０５によって、画像検索キーに変換
される。この変換は、画像検索処理装置に入力された自
然言語文を画像検索キーに変換する処理と同一の処理を
実行することによって達成される。

【００９９】この変換の効率を向上させるために、その
組が属するグループと同一のグループに属する画像属性
データの自然言語文のみを画像検索キーに変換すること
が好ましい。すなわち、その組が背景グループに属する
場合には、背景グループに属する画像属性データの自然
言語文のみを画像検索キーに変換し、その組が前景グル
ープに属する場合には、前景グループに属する画像属性
データの自然言語文のみを画像検索キーに変換すること
が好ましい。ある画像属性データが背景グループと前景
グループのうちのいずれに属するかは、その画像属性デ
ータの領域１０２に領域データが記載されているか否か
に依存する。その画像属性データの領域１０２に領域デ
ータが記載されている場合には、その画像属性データは
前景グループに属し、その画像属性データの領域１０２
に領域データが記載されていない場合には、その画像属
性データは背景グループに属する。

【０１００】さらに、この変換の効率を向上させるため
には、画像検索データを画像部品データベース２１４に
登録する際に、その画像検索データに含まれる自然言語
文を画像検索キーに変換しておくことが好ましい。この
場合には、画像部品検索ルーチンによって選択された画
像部品の画像属性データは、予め変換された画像検索キ
ーを有することとなる。従って、ステップ９０２におけ
る上記変換処理を省略することができる。その結果、検
索処理が高速化される。

【０１０１】ステップ９０３：画像属性データから得ら
れた画像検索キーのそれぞれと、入力された画像検索キ
ーとの類似度を計算する。この計算は、例えば、以下の
画像検索キー類似度計算アルゴリズムに従ってなされ
る。しかし、他のアルゴリスムを採用することも可能で
ある。

【０１０２】［画像検索キー類似度計算アルゴリズム］ ・類似度を計算する前に、類似度を表す得点を０ポイン
トに初期化する。

【０１０３】・双方の画像検索キーの述語が一致すれば
得点に１ポイントを加算する。

【０１０４】・双方の画像検索キーの格要素データで一
致するものが見つかれば得点に１ポイントを加算する。

【０１０５】・双方の画像検索キーに含まれる格要素デ
ータの数がどちらも１つのみの場合には、格要素データ
の格要素の値のみが一致すれば得点に１ポイントを加算
する。

【０１０６】なお、上記アルゴリズムにおいて、双方の
画像検索キーの述語や格要素データが完全に一致しない
場合でも、上位−下位の関係や類義の関係にある場合に
は、その関係に相当するポイントを加算するようにすれ
ば、より正確な類似度を計算することができる。上位−
下位の関係や類義の関係にあるか否かは、図３を参照し
て既に説明したように、画像部品検索データに関連する
他の画像部品検索データへのポインタをたどることによ
り、容易に求めることが可能である。

【０１０７】ステップ９０４：所定の得点以上の得点を
得た画像検索キーに対応する画像属性データの領域利用
情報を利用可とし、それ以外の画像検索キーに対応する
画像属性データの領域利用情報を利用不可とする。

【０１０８】ステップ９０５：入力されたすべての組に
ついて、上述のステップ９０２〜９０４の処理が終わっ
ているか否かを判定する。もし、Noであれば、ステップ
９０２に戻る。もし、Yesであれば、画像属性データを
含む画像部品を画像部品選択ルーチンの結果として返
し、本ルーチンを終了する。

【０１０９】表示部２１５は、画像検索部２１１によっ
て得られた画像部品を、必要な場合には領域データを用
いて表示する。また、表示部２１５は、画像部品を編集
するのに必要な機能を有する。

【０１１０】図１０は、画像検索部２１１によって得ら
れた画像部品を受け取り、その画像部品の画素データの
うち必要な部分を表示する処理の手順を示す。この処理
は、表示部２１５によって実行される。以下、図１０を
参照して、この処理をステップごとに説明する。

【０１１１】ステップ１００１：入力された画像部品が
複数個存在するか否かを調べる。もし、Yesであれば、
それぞれの画像部品について以下のステップ１００３〜
１００７に従ってそれぞれの画像部品を表示する。も
し、Noであれば、ステップ１００２へ進む。

【０１１２】ステップ１００２：入力された画像部品の
画素データ全体を表示する。その後、ステップ１００９
に進む。

【０１１３】ステップ１００３：複数の画像部品のうち
未だ表示されていない画像部品を１つ選択する。選択さ
れた画像部品の画像属性データの領域利用情報を参照す
ることによって、表示が可能である画像属性データを得
る。

【０１１４】ステップ１００４：画像属性データの領域
部１０２を参照することにより、領域データを得る。

【０１１５】ステップ１００５：もし、画像属性データ
の領域部１０２に領域データが記述されていなければ、
その画像部品は背景に関連すると判断される。その後、
ステップ１００６に進む。もし、画像属性データの領域
部１０２に領域データが記述されていれば、その画像部
品は前景に関連すると判断される。その後、ステップ１
００７に進む。

【０１１６】ステップ１００６：その画像部品の画素デ
ータ全体を背景として表示する。

【０１１７】ステップ１００７：その画像部品の画素デ
ータのうち、画像属性データの領域データに対応した画
素データのみを前景として表示する。

【０１１８】ステップ１００８：入力されたすべての画
像部品についての処理が終了したか否かを判定する。も
し、Noであれば、ステップ１００３に戻る。もし、Yes
であれば、ステップ１００９に進む。

【０１１９】ステップ１００９：必要に応じて、表示さ
れた画像部品を編集する。その後、処理を終了する。

【０１２０】次に、本発明による画像検索装置を用い
て、画像部品を検索する処理の手順をより具体的に説明
する。以下、上述した自然言語文（１）が画像検索装置
に入力されると仮定する。また、検索処理の説明におい
て、以下の「画像１」と「画像２」とを画像部品の例と
して使用する。

【０１２１】画像１：図１（ａ）、（ｂ）、（ｃ）に対
応する画像。

【０１２２】画像２：図１１（ａ）、（ｂ）、（ｃ）に
対応する画像。

【０１２３】自然言語文（１）は、入力部２００によっ
て画像検索装置に入力される。入力部２００としては、
典型的にはキーボードが使用される。しかし、キーボー
ドの代わりにタブレットなどを使用することも可能であ
る。

【０１２４】言語解析部２０１は、入力された自然言語
文（１）の構文構造を解析する。言語解析部２０１にお
ける処理の詳細については、すでに説明したので、ここ
では省略する。言語解析部２０１による構文解析の結果
は、例えば、図４に示されるように、構文木の形式で表
される。

【０１２５】状況要素分割部２０５は、自然言語文の構
文構造を意味構造に変換し、自然言語文の意味構造によ
って表される状況を少なくとも１つの状況要素に分割
し、状況要素に対応する画像検索キーを生成する。状況
要素分割部２０５における処理の詳細についても、すで
に説明したので、ここでは省略する。状況要素分割部２
０５による意味解析の結果は、例えば、図６に示される
解析フレームによって表される。図６の解析フレームに
基づいて、４つの画像検索キー(2-1)〜(2-4)が得られ
る。画像検索キーは、状況要素の意味構造をそれぞれ表
している。

【０１２６】画像検索部２１１は、画像検索キーに基づ
いて画像データベース２１２から画像部品を検索する。
この検索処理は、画像部品検索ルーチンによる処理と画
像部品選択ルーチンによる処理とを含む。画像部品検索
ルーチンは、画像検索キー(2-1)〜(2-4)を用いて、自然
言語文（１）に関連する画像部品を画像データベース２
１２から得る。画像部品選択ルーチンは、画像検索キー
と、画像部品検索ルーチンによって得られた画像部品の
画像属性データとに基づいて検索された画像部品をさら
に絞り込む。

【０１２７】はじめに、上述した画像検索キー(2-1)が
画像部品検索ルーチンに入力された場合を例にとり、画
像部品検索ルーチンの処理を説明する。

【０１２８】画像検索キー(2-1)は述語「走る」を含む
ので、図８のステップ８０３に従って、述語「走る」を
キーワードとして有する画像部品検索データが図３の画
像部品検索辞書２１３から得られる。この画像部品検索
データは、図３に示されるように、関連する画像部品へ
のポインタとして「画像１」と「画像２」とを有してい
る。以下、本明細書では、説明を簡単にするために、画
像部品検索ルーチンによって選択され得る画像部品は、
図３に明示的に示されている画像部品に限られると仮定
する。従って、これらのポインタをたどることにより、
「画像１」と「画像２」とが得られる。

【０１２９】画像検索キー(2-1)は格要素データ「AGENT
（Ｃ選手）」を含むので、図８のステップ８０４に従っ
て、格要素データの値「Ｃ選手」をキーワードとして有
する画像部品検索データが図３の画像部品検索辞書２１
３から得られる。この画像部品検索データは、図３に示
されるように、関連する画像部品へのポインタとして
「画像２」と「画像９」とを有している。従って、これ
らのポインタをたどることにより、「画像２」と「画像
９」とが得られる。

【０１３０】次に、図８のステップ８０６に従って、述
語「走る」に基づいて得られた画像部品（「画像１」と
「画像２」）と格要素データ「AGENT（Ｃ選手）」に基
づいて得られた画像部品（「画像２」と「画像９」）と
に共通する画像部品を選択する。このようにして、共通
する画像部品として、「画像２」が選択される。この選
択結果は、画像部品検索ルーチンの結果として出力され
る。

【０１３１】同様にして、画像検索キー(2-2)〜(2-4)も
また、画像部品検索ルーチンに逐次入力される。その結
果、入力される画像検索キーに応じて、画像部品検索ル
ーチンによって以下に示す画像部品が選択される。

【０１３２】画像検索キー(2-1)：「画像２」 画像検索キー(2-2)：「画像１」「画像２」 画像検索キー(2-3)：「画像２」「画像１０」 画像検索キー(2-4)：「画像２」「画像１２」 次に、画像部品検索ルーチンの処理を説明する。

【０１３３】上述したように、画像検索キー(2-1)に対
して「画像２」が選択されので、画像検索キー(2-1)と
画像部品「画像２」との組が画像部品検索ルーチンに入
力される。画像検索キー(2-1)の最後の項は、”前景”
である。従って、図９のステップ９０１に従って、画像
検索キー(2-1)と画像部品「画像２」との組は、前景グ
ループに分類される。

【０１３４】同様にして、画像検索キーと画像部品との
組は、以下のように前景グループと背景グループとに分
類される。

【０１３５】 前景グループ 画像検索キー(2-1)と画像部品「画像２」との組。 (3-1) 画像検索キー(2-2)と画像部品「画像１」、「画像２」との組。
（３−２） 背景グループ 画像検索キー（２−３）と画像部品「画像２」、「画像１０」との組。
(3-3) 画像検索キー(2-4)と画像部品「画像２」、「画像１２」との組。 (3-4) 画像検索キー(2-1)と画像部品「画像２」との組(3-1)
は、前景グループに属する。また、画像部品「画像２」
は、図１１（ｃ）に示す構造を有する画像属性データを
有する。図９のステップ９０２に従って、画像部品「画
像２」の画像属性データのうち前景に対応する画像属性
データの３つの自然言語文（「Ａ選手が走っている」と
「Ｃ選手が走っている」と「Ｃ選手はＡ選手と競争して
いる」）のみが画像検索キーに変換される。その結果、
以下の３つの画像検索キーが得られる。

【０１３６】 （（走る、AGENT（Ａ選手））、"前景"） (4-1) （（走る、PARTICIPANT（Ｃ選手））、"前景"） (4-2) （（競争する、AGENT（Ｃ選手）、PARTICIPANT（Ａ選手））、"前景"）(4-3) 画像検索キー(2-1)と３つの画像検索キー(4-1)〜(4-3)
のそれぞれとの類似度が図９のステップ９０３に従って
計算される。例えば、上述した［画像検索キー類似度計
算アルゴリズム］に従って類似度を計算すると、以下の
ようになる。

【０１３７】画像検索キー(2-1)と画像検索キー(4-1)と
の類似度：１ポイント。双方の画像検索キーの述語が一
致するからである。

【０１３８】画像検索キー(2-1)と画像検索キー(4-2)と
の類似度：２ポイント。双方の画像検索キーの述語が一
致し、双方の画像検索キーの格要素データの数が１であ
り、かつ、格要素データの値が一致するからである。

【０１３９】画像検索キー(2-1)と画像検索キー(4-3)と
の類似度：０ポイント。

【０１４０】ここで、０ポイント以外の得点を得た画像
検索キーに対応する画像属性データの領域利用情報を利
用可とすると仮定する。この場合、図９のステップ９０
４に従って、画像検索キー(4-1)に対応する画像属性デ
ータ（すなわち、図１１（ｃ）の１行目の画像属性デー
タ）の領域利用情報と、画像検索キー(4-2)に対応する
画像属性データ（すなわち、図１１（ｃ）の２行目の画
像属性データ）の領域利用情報とが利用可とされる。

【０１４１】図９のステップ９０２〜９０４の処理を、
組(3-2)と組(3-3)と組(3-4)に対しても行う。画像部品
「画像２」は全ての組(3-1)〜(3-4)に含まれている。画
像部品「画像２」の画像属性データのうち、領域利用情
報が利用可である画像属性データを類似度を示す得点の
高い順に並べると以下のようになる。ここで、括弧内の
１番目の項は、図１１（ｃ）における画像属性データに
対応する行の番号を示し、括弧内の２番目の項は、類似
度を示す得点のポイント数を示す。

【０１４２】前景グループ 画像検索キー(2-1)：（２、２）、（１、１） 画像検索キー(2-2)：（１、２）、（２、１） 背景グループ 画像検索キー(2-3)：（４、１） 画像検索キー(2-4)：（４、１） 同様に、各組に含まれる画像部品「画像２」以外の画像
部品についても類似度を計算する。ここでは、簡単のた
め、各組に含まれる画像部品「画像２」以外の画像部品
について類似度はいずれも０ポイントであったと仮定す
る。

【０１４３】図７のステップ７０３に従って、背景グル
ープに含まれる画像部品のうち、最も多くの組に含まれ
る画像部品が選択される。この例では、画像部品「画像
２」が背景グループに含まれる画像部品のうち、最も多
くの組に含まれる画像部品である。画像部品「画像２」
は、背景グループに含まれる組(3-3)と組(3-4)との両方
に含まれているからである。従って、図７のステップ７
０３では、画像部品「画像２」が選択される。

【０１４４】図７のステップ７０４に従って、前景グル
ープに含まれる画像部品のうち、最も多くの組に含まれ
る画像部品が選択される。この例では、画像部品「画像
２」が前景グループに含まれる画像部品のうち、最も多
くの組に含まれる画像部品である。画像部品「画像２」
は、前景グループに含まれる組(3-1)と組(3-2)との両方
に含まれているからである。従って、図７のステップ７
０４では、画像部品「画像２」が選択される。

【０１４５】図７のステップ７０５に従って、画像部品
「画像２」が背景に対応する画像部品として出力され、
画像部品「画像２」が前景に対応する画像部品として出
力される。これらの出力が、画像検索キー(2-1)〜(2-4)
に対する画像検索部２１１による検索結果である。

【０１４６】表示部２１５は、画像検索部２１１によっ
て検索された画像部品を表示する。この例では、画像検
索部２１１によって検索された画像部品は「画像２」の
１つだけである。従って、図１０のステップ１００１と
１００２とに従って、「画像２」の画素データ全体（す
なわち図１１（ａ）の画素データ）が表示部２１５によ
って表示される。

【０１４７】上述した画像検索処理は、入力された自然
言語文の内容に完全に一致した画像部品が見つかった場
合の例である。しかし、本発明による画像検索処理によ
れば、入力された自然言語文の内容に完全に一致する画
像部品が見つからない場合でも、入力された自然言語文
の内容を表すために必要な複数個の画像部品を検索する
ことが可能である。例えば、以下の自然言語文（５）に
基づいて、画像データベース２１２から画像部品を検索
する場合を説明する。

【０１４８】 「○○公園でＡ選手がＣ選手と走っている」 （５） 自然言語文（５）は、入力部２００によって画像検索装
置に入力される。言語解析部２０１と状況要素分割部２
０５とによって、入力された自然言語文（５）の意味構
造を表す解析フレーム（図１２）が得られる。次に、状
況要素分割部２０５によって解析フレーム（図１２）に
よって表される状況が３つの状況要素に分割され、３つ
の状況要素に対応する画像検索キーが以下のように生成
される。 （（走る、AGENT（Ａ選手））、"前景"） (6-1) （（走る、PARTICIPANT（Ｃ選手））、"前景"） (6-2) （LOCATIVE（○○公園）、"背景"） (6-3) 画像検索部２１１は、画像部品検索ルーチンと画像部品
選択ルーチンとを用いて、画像検索処理を実行する。画
像部品検索ルーチンでは、画像検索キー(6-1)〜(6-3)に
基づいて、入力された自然言語文（５）に関連する画像
部品が画像データベース２１２から得られる。画像部品
選択ルーチンでは、画像検索キーと画像部品との組が背
景グループと前景グループのいずれかに分類される。そ
の結果は例えば次のようになる。

【０１４９】 前景グループ 画像検索キー(6-1)と画像部品「画像１」、「画像２」との組。 (7-1) 画像検索キー(6-2)と画像部品「画像２」、「画像９」との組。 (7-2) 背景グループ 画像検索キー(6-3)と画像部品「画像１」、「画像６」との組。 (7-3) 上述した類似度の計算の結果、画像部品「画像１」で
は、画像検索キー(6-1)に対応する図１（ｃ）の１行目
の画像属性データ１０３の領域利用情報の値が利用可と
され、画像検索キー(6-3)に対応する図１（ｃ）の８行
目の画像属性データ１０７の領域利用情報の値が利用可
とされると仮定する。また、画像部品「画像２」では、
画像検索キー(6-2)に対応する図１１（ｃ）の２行目の
画像属性データの領域利用情報の値が利用可とされると
仮定する。その他の画像属性データの領域利用情報の値
は利用不可とされると仮定する。

【０１５０】図７のステップ７０３では画像部品「画像
１」と「画像６」とが背景として選択され、図７のステ
ップ７０４では画像部品「画像２」が前景として選択さ
れる。図７のステップ７０５に従って、画像部品「画像
１」と「画像６」とが背景に対応する画像部品として出
力され、画像部品「画像２」が前景に対応する画像部品
として出力される。これらの出力が、画像検索キー(6-
1)〜(6-3)に対する画像検索部２１１による検索結果で
ある。

【０１５１】画像検索部２１１によって検索された画像
部品は「画像１」と「画像６」と「画像２」の３つであ
る。図１０のステップ１００５と１００６とに従って、
画像部品「画像１」の画素データ全体（すなわち図１
（ａ）の画素データ）が表示部２１５によって表示され
る。また、図１０のステップ１００５と１００７とに従
って、画像部品「画像２」の図１１（ｃ）の２行目の画
像属性データに対応する領域Ｘ２の画素データ（すなわ
ち図１１（ｂ）の領域Ｘ２の画素データ）が表示部２１
５によって表示される。画像部品「画像６」に含まれる
画像属性データの領域利用情報はすべて利用不可であ
る。従って、画像部品「画像６」の表示部２１５への入
力は省略されてもよい。

【０１５２】表示部２１５によって表示される画像部品
は、必要に応じて編集される。例えば、画素データと画
素データの合成は典型的な編集の一例である。

【０１５３】図１３は、図１（ａ）の画素データと図１
１（ｂ）の領域Ｘ２の画素データとの合成結果を示す例
である。

【０１５４】

【発明の効果】本発明による画像検索装置は、従来のキ
ーワードによる検索と異なり、画像データベースに対す
る問い合わせ言語として自然言語を用いている。このこ
とは、所望の画像の意味を画像検索装置に正確に伝える
ことを可能にする。特に、操作者が所望の画像の内容を
知らない場合であっても、その所望の画像の意味を画像
検索装置に伝えることによって、その画像を画像データ
ベースから検索可能とする点に本発明の大きな意義があ
る。

【０１５５】また、各画像部品は、画像全体又は画像の
一部の意味を表す意味構造を有している。画像全体の意
味は、画像全体によって表現される状況に相当する。画
像の一部（すなわち画像に含まれる領域）の意味は、そ
の状況を構成する状況要素のうちの１つに相当する。検
索処理においては、入力された自然言語文の構文構造は
意味構造に変換される。自然言語文の意味構造によって
表される状況は、少なくとも１つの状況要素に分割さ
れ、分割されたそれぞれの状況要素に対応する画像検索
キーが定義される。画像検索キーに基づいて、画像部品
に対応する各状況要素を参照することにより、画像検索
キーの意味に最も類似した意味を有する画像部品が画像
部品データベースから検索される。従って、入力された
自然言語文の意味に完全に一致した画像部品が画像部品
データベースに存在しない場合であっても、入力された
自然言語文の部分的な意味を示す状況要素毎に画像部品
を検索することができる。このことは、画像部品を組み
合わせて表示、編集することを容易にする。その結果、
利用者は所望の画像を至極容易に得ることができる。

【図面の簡単な説明】

【図１】（ａ）は、画像データベースに格納される画像
の例を示す図、（ｂ）は、（ａ）の画像に含まれる領域
の例を示す図、（ｃ）は、（ａ）の画像に対応する画像
属性データの構造を示す図である。

【図２】本発明による画像検索装置の実施例の構成を示
すブロック図である。

【図３】画像部品検索辞書の構造を示す図である。

【図４】構文構造の解析結果を木構造で示した例を示す
図である。

【図５】状況要素分割辞書に含まれる１つの格フレーム
の構造を示す図である。

【図６】自然言語文の意味構造を表す格フレームの構造
を示す図である。

【図７】本発明による画像検索処理の手順を示すフロー
チャートである。

【図８】本発明による画像検索処理における画像部品検
索ルーチンの処理の手順を示すフローチャートである。

【図９】本発明による画像検索処理における画像部品選
択ルーチンの処理の手順を示すフローチャートである。

【図１０】表示部での処理の手順を示すフローチャート
である。

【図１１】（ａ）は、画像データベースに格納される画
像の例を示す図、（ｂ）は、（ａ）の画像に含まれる領
域の例を示す図、（ｃ）は、（ａ）の画像に対応する画
像属性データの構造を示す図である。

【図１２】自然言語文の意味構造を表す格フレームの構
造を示す図である。

【図１３】検索された画像部品を編集した結果を示す図
である。

【符号の説明】

２００ 入力部 ２０１ 言語解析部 ２０２ 形態素解析部 ２０３ 画像検索前処理部 ２０４ 構文解析部 ２０５ 状況要素分割部 ２０６ 言語解析辞書 ２０７ 画像検索前処理知識ベース ２０８ 単語辞書 ２０９ 文法辞書 ２１０ 状況要素分割辞書 ２１１ 画像検索部 ２１２ 画像データベース ２１３ 画像部品検索辞書 ２１４ 画像部品データベース ２１５ 表示部

Claims (15)

【特許請求の範囲】
1. 【請求項１】 自然言語文に応じて、画像部品を検索す
   る装置であって、 自然言語文を受け取る入力手段と、 言語解析辞書を参照して、該自然言語文を解析すること
   により、該自然言語文の構文構造を得る言語解析手段
   と、 状況要素分割辞書を参照して、該自然言語文の該構文構
   造を意味構造に変換し、該自然言語文の該意味構造によ
   って表される状況を少なくとも１つの状況要素に分割す
   る状況要素分割手段と、 該状況要素に対応する画像部品を格納する画像データベ
   ースと、 該状況要素を画像検索キーとして用いて、該画像データ
   ベースから該画像部品を検索する検索手段とを備えた装
   置。
2. 【請求項２】 前記画像部品は、画像に含まれる少なく
   とも１つの領域に関連する画像属性データを含んでお
   り、前記検索手段は、該画像属性データに応じて該画像
   データベースから得られた画像部品をさらに絞り込む、
   請求項１に記載の装置。
3. 【請求項３】 前記画像属性データは、前記画像に含ま
   れる少なくとも１つの領域を定義する領域データと該少
   なくとも１つの領域の意味を表す情報とを含んでいる、
   請求項２に記載の装置。
4. 【請求項４】 前記情報は、自然言語文によって表され
   る、請求項３に記載の装置。
5. 【請求項５】 前記検索手段は、 前記画像検索キーと前記画像属性データとの類似度を計
   算する手段と、 該類似度に応じて、前記画像属性データの利用の可／不
   可を規定する領域利用情報を提供する手段とを備えてい
   る、請求項２に記載の装置。
6. 【請求項６】 前記装置は、前記領域利用情報に基づい
   て、前記検索手段によって検索された画像部品のうち少
   なくとも一部を表示する表示手段をさらに備えている、
   請求項５に記載の装置。
7. 【請求項７】 前記状況要素分割辞書は、前記自然言語
   文の意味を定義するための複数の格フレームを含んでお
   り、該複数の格フレームのそれぞれは、 前記自然言語文において述語となりうる単語と、 該単語に関連する格要素の名称と該格要素が満たすべき
   制約条件との組を記述するスロットと、 前記状況を少なくとも１つの状況要素に分割するための
   知識を記述する状況分割データとを含んでいる、請求項
   １に記載の装置。
8. 【請求項８】 前記状況要素分割手段は、前記格フレー
   ムの前記状況分割データに基づいて、前記少なくとも１
   つの状況要素を背景に関連するグループと前景に関連す
   るグループとに分類する、請求項１に記載の装置。
9. 【請求項９】 前記言語解析辞書は、前記自然言語文か
   ら画像検索に必要とされない単語を削除するためのルー
   ルを含んでおり、前記言語解析手段は、該ルールに従っ
   て前記自然言語文から単語を削除する画像検索前処理手
   段を備えている、請求項１に記載の装置。
10. 【請求項１０】 自然言語文に応じて、画像部品を検索
    する装置であって、 複数の画像部品を格納する画像データベースであって、
    該複数の画像部品のそれぞれは、画像に含まれる領域の
    意味を表す画像属性データと該領域に対応する画素デー
    タとを含む画像データベースと、 自然言語文を受け取る入力手段と、 該自然言語文を解析することにより、少なくとも１つの
    要素を含む解析フレームであって、該自然言語文の意味
    を表す解析フレームを得る解析手段と、 該解析フレームに含まれる該少なくとも１つの要素を互
    いに対応付けることにより、該自然言語文の部分的な意
    味を表す画像検索キーを定義する対応付け手段と、 該画像検索キーと該画像属性データとの意味における類
    似度に基づいて、該画像データベースから画像部品を検
    索する検索手段とを備えた装置。
11. 【請求項１１】 前記解析フレームは、述語と該述語に
    関連する格要素と該格要素の値とを含む、請求項１０に
    記載の装置。
12. 【請求項１２】 前記対応付け手段は、該自然言語文の
    部分的な意味に応じて、背景に関連する画像検索キーと
    前景に関連する画像検索キーとのうち一方を定義する、
    請求項１０に記載の装置。
13. 【請求項１３】 自然言語文に応じて、画像データベー
    スから画像部品を検索する方法であって、該画像データ
    ベースは複数の画像部品を格納し、該複数の画像部品の
    それぞれは、画像に含まれる領域の意味を表す画像属性
    データと該領域に対応する画素データとを含んでおり、
    該方法は、 ａ）自然言語文を受け取るステップと、 ｂ）該自然言語文を解析することにより、少なくとも１
    つの要素を含む解析フレームであって、該自然言語文の
    意味を表す解析フレームを得るステップと、 ｃ）該解析フレームに含まれる該少なくとも１つの要素
    を互いに対応付けることにより、該自然言語文の部分的
    な意味を表す画像検索キーを定義するステップと、 ｄ）該画像検索キーと該画像属性データとの意味におけ
    る類似度に基づいて、該画像データベースから画像部品
    を検索するステップとを包含する方法。
14. 【請求項１４】 前記解析フレームは、述語と該述語に
    関連する格要素と該格要素の値とを含む、請求項１３に
    記載の方法。
15. 【請求項１５】 前記ステップｃ）は、該自然言語文の
    部分的な意味に応じて、背景に関連する画像検索キーと
    前景に関連する画像検索キーとのうち一方を定義するス
    テップを包含する、請求項１３に記載の方法。