JP4585742B2 - 画像表示装置、画像表示方法、プログラム及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータや情報処理機器等において、静止画像や動画像等を検索し、検索された画像中の所望の領域を選択する画像検索技術に関する。
【０００２】
【従来の技術】
近年、さまざまな情報がデジタル化され、デジタル化された情報がコンピュータや情報処理機器等によって管理されている。例えば、ＪＰＥＧやＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４の出現により、静止画像や動画像等の画像コンテンツが、デジタル化された情報として、効率よく圧縮符号化できるようになった。そして、それらの画像コンテンツは、ハードディスクの大容量化と低価格化に伴って、コンピュータや情報処理機器のハードディスク上に大量に蓄積され、管理されるようになってきている。そこで、このように大量の画像コンテンツがハードディスク等に蓄積された場合、大量の画像コンテンツの中から所望の画像を探し出すための検索をどのように実現するかが問題になってくる。
【０００３】
一般に、大量に蓄積された画像コンテンツの中から所望の画像を検索するための手法として、個々の画像コンテンツに予めキーワードを付与しておき、画像に付与されたキーワードを検索することによって、対応する画像を検索結果としてモニタ等に表示し、オペレータが表示された画像の中から所望の画像を目視で捜し出すという手法が用いられている。
【０００４】
このようなキーワードを用いた検索手法は、インターネットが普及した現在においては、大量の画像コンテンツを有するコンテンツプロバイダーが、消費者に画像を配信するために用意したインターネット上の画像検索システムにおいても、一般的に行われている。
【０００５】
また、同様に、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）の検索システムが提供するＷＷＷの各ページに存在する画像の検索システムにおいても、ＨＴＭＬファイル中のｉｍｇタグのｓｒｃ属性のファイル名や、ａｌｔ属性の値の文字列等から求めたキーワードを、ｓｒｃ属性のファイル名が示す画像と対応付けることによって、同様の手法で画像を検索する手段を提供している。
【０００６】
図７は、従来の画像検索システムにおける検索操作画面の一例を示す図である。図７に示すように、画像検索ウィンドウ７０１は、大きく分けて、検索指示エリア７０２と検索結果表示エリア７０５から構成されている。検索指示エリア７０２の中には、キーワードを入力するためのキーワード入力エリア７０３と検索の指示を出すための検索ボタン７０４が表示されている。そして、オペレータは、キーワード入力エリア７０３に対してキーボードを用いてキーワードを入力し、マウスで検索ボタン７０４をクリックする。このような操作によって、キーワード入力エリア７０３に入力された文字列と同じキーワードと対応付けられた画像が検索され、検索結果表示エリア７０５中に検索した結果得られた画像のサムネイル（縮小画像）が、サムネイル画像７０６、７０７からサムネイル画像７０８の順に一覧表示される。
【０００７】
上述したようなキーワードを用いた検索方法は、一般的に行われているものの、キーワードを毎回入力しなければならいというわずらわしさがある。この問題を解決するために、画像中のキーワードの対象となる領域を示す情報とキーワードとを対応付けて記憶しておき、この画像を画面に表示した状態でマウス等を用いて領域を選択する。そして、領域に対応付けられたキーワードを用いて、画像に対応付けられたキーワードを検索することにより、キーワード入力を行わないで画像を検索するという方法が開示されている（例えば、特許文献１参照）。
【０００８】
【特許文献１】
特開平１−２３３６７０号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上記特許文献１で開示されている方法では、画像中に設定できる領域として１階層しか想定しておらず、単純に設定された領域内のいずれかの位置をマウスでクリックして画像中のある領域を選択する手法しか示されていない。図８は、画像データベースに登録されている静止画像の一例を示す図である。例えば、図８に示される画像の中では、符号８０１で示す「木」や、「家」８０２や「車」８０３をそれぞれ領域として設定し、これらのいずれかの領域内の一部をマウスでクリックして選択する。これによって、選択された領域に対応付けられたキーワードを用いて所望の画像を検索することができる。
【００１０】
しかしながら、キーワードが付与される領域は、物体或いはオブジェクトであることが多く、通常、オブジェクトは複数の領域や複数のオブジェクトから構成されることが多い。そのため、上記従来例では、一番大きな単位でのオブジェクトを選択し、選択されたオブジェクトに対応付けられたキーワード検索が可能であるが、そのオブジェクトを構成する単位のオブジェクトを選択することができず、また、検索を行うこともできないという欠点があった。
【００１１】
例えば、図８に示すように、「家」８０２は、さらに、「屋根」と「壁」から構成され、「壁」の中にはさらに「窓」が含まれている。したがって、上記従来例では、「家」８０２を選択して「家」を検索することはできるが、「家」を構成する単位の「屋根」や「壁」や「窓」を選択することはできない。これにより、この画像を用いた「屋根」や「壁」や「窓」の検索を行うことができない。
【００１２】
仮に、従来技術を用いて１階層で全ての領域を扱おうとすると、オペレータが階層中のどの階層の領域を意図して指定しているのかを判定できないという場合が生じるという問題があった。例えば、「家」８０２の場合、「屋根」や「壁」や「窓」も領域として登録されることになるが、「屋根」の領域をマウスでクリックした場合に、それが「家」の選択を意図したものなのか、「屋根」の選択を意図したものかは自動的に判定はできず、オペレータにしかわからない。従って、いずれが選択されたのかを装置側で勝手に判定してしまうと、オペレータの予期しない処理が行われてしまう可能性がある。
【００１３】
これまでに、例えば、マイクロソフト社のＷｏｒｄ２０００に付属する描画機能には、領域若しくは描画のパーツを選択する機能が備えられている。しかし、その階層関係はグループ化という機能によって実現されており、グループ化された領域（描画パーツ）を選択しようとすると、目的の領域（描画パーツ）にたどり着くまで、グループ化を解除する操作を階層数分実行することによって目的の領域（描画パーツ）を選択する操作を行わなければならず、操作が非常に煩雑であるという欠点があった。
【００１４】
一方、動画像の検索においても、動画像のシーンの変わり目で分割し、各シーンの代表画像の静止画像を上述したような方法と同様に検索することで、所望の動画像のシーンの検索が行われている。
【００１５】
しかしながら、このような画像検索方法では、画像全体にキーワードが付与されているので、検索結果として出力される画像候補が非常に多くなってしまう。特に、検索したい画像の構図が検索者の頭の中にある場合は、この構図にマッチしない大量の画像候補の中に所望の画像が埋もれてしまい、検索の効率が悪いという問題がある。
【００１６】
この問題を解決するために、特開平８−３３５２２３号公報では、次のような方法が開示されている。すなわち、画像内の領域を示す情報とキーワードとを対応付けて画像データベースに格納する。そこで、検索者は、検索の構図の条件を入力するための表示エリアの所望の位置に所望の大きさや形の条件を閉領域として入力する。そして、この閉領域と対応付けたキーワードを入力し、マッチングを行って、キーワードと入力された領域の位置や面積を比較することによって、検索条件に類似する画像を求めている。
【００１７】
また、画像を色やエッジやテクスチャ等の情報を用いて、領域に分割してオブジェクトを抽出し、オブジェクトの色や形等の特徴量をインデックスとして、画像に対応付けてデータベースに格納する。そして、検索時に、上記インデックスに対応したオブジェクトの部分画像を選択することで、オブジェクトの特徴量を比較して類似度を求めている。そして、類似度の高いオブジェクトに対応した画像から順に、前述した方法と同様にして、検索結果表示エリア７０５の中に検索結果の画像のサムネイル（縮小画像）を、７０６、７０７から７０８へ示されるように一覧表示することも行われている。
【００１８】
ところで、特開平８−３３５２２３号公報で開示されている方法では、閉領域の指定として矩形の入力方法も開示されているが、多角形の項点を入力する方法も示されている。ここで、矩形領域を指定した場合は、閉領域の指定方法としては容易ではあるが、オブジェクトの形状を類似度の算出に用いる場合に、類似度が下がってしまうので、検索の条件の精度が低いという欠点がある。一方、多角形の頂点を入力する場合は、オブジェクトの形状を正確に表せるのでオブジェクトの形状の類似度の信頼性が高くなり、検索の条件の精度が向上するが、閉領域の指定の仕方が複雑になるという欠点がある。
【００１９】
本発明は、上記課題を解決するためになされたものであり、画像内の領域が階層的に構成されている場合に、より簡単な操作で所望の階層の領域を選択することができる技術を提供することを目的とする。また、画像内の選択された領域を用いてより簡易にかつ精度よく画像を検索することができる技術を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像表示装置は、画像データを表示装置上に表示するよう制御する表示制御手段と、前記画像データ内の一部の領域であるオブジェクト領域を下位領域とし、前記画像データ内の一部の領域であるオブジェクト領域であって該下位領域を表示上包含する領域を上位領域として、前記画像データ内に含まれるオブジェクト領域に関する下位領域と上位領域との階層関係を階層データとして記憶する階層データ記憶手段と、前記画像データ内の特定のオブジェクト領域を強調表示するよう前記表示制御手段を制御する強調表示制御手段と、前記強調表示制御手段によって強調表示する第１のオブジェクト領域を決定する第１の領域決定手段と、前記表示制御手段によって表示された前記画像データ内に対する位置の指定をユーザから受け付ける受付手段と、前記受付手段によって受け付けた指定位置が前記強調表示制御手段によって強調表示されている前記第１のオブジェクト領域であるか否かを判定する判定手段と、前記判定手段により前記指定位置が前記第１のオブジェクト領域内であると判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、前記第１のオブジェクト領域の下位領域であって前記指定位置を含む第２のオブジェクト領域に決定する第２の領域決定手段と、前記判定手段により前記指定位置が前記第１のオブジェクト領域ではないと判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、第１のオブジェクト領域の上位領域であって前記指定位置を含む第３のオブジェクト領域に決定する第３の領域決定手段を有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００２２】
＜第１の実施形態＞
まず、本発明の第１の実施形態に係る画像検索装置の概要について説明する。
図１は、本発明の第１の実施形態に係る画像検索装置の概念図である。図１において、画像記憶部１０１には、選択・検索処理の対象となる画像データが格納されている。尚、画像記憶部１０１において個々の画像データは、それぞれの画像データに対応するファイル名等とともに記憶されている。画像記憶部１０１は、領域情報記憶部１０２と画像表示部１０３に接続されている。
【００２３】
領域情報記憶部１０２は、画像記憶部１０１に格納された個々の画像中の特定の領域を示す情報が格納されている。領域情報記憶部１０２は、さらに画像表示部１０３と領域選択部１０５と領域階層記憶部１０７に接続されている。
【００２４】
画像表示部１０３は、画像記憶部１０１に記憶された画像等を表示する。画像表示部１０３は、さらに領域選択部１０５と選択領域記憶部１０６に接続されている。
【００２５】
一方、画像位置指定部１０４は、領域選択部１０５に接続されており、画像表示部１０３によって表示された画像においてオペレータ等が所望する位置を指定する。そして、領域選択部１０５は、画像位置指定部１０４によって指定された位置から領域情報記憶部１０２に記憶されている領域を検索し、指定された位置を含む領域を選択する。領域選択部１０５は、さらに選択領域記憶部１０６と領域階層記憶部１０７に接続されている。
【００２６】
尚、選択領域記憶部１０６は、領域選択部１０５によって選択された領域を記憶する。また、領域階層記憶部１０７は、領域情報記憶部１０２に記憶されている領域間の階層関係を記憶する。これによって、領域選択部１０５は、選択領域記憶部１０６に記憶されている領域の内部が画像位置指定部１０４によって指定された場合、領域階層記憶部１０７を用いてその領域の子供の領域のみを検索して、指定された位置を含む領域を選択することが可能となる。
【００２７】
一方、領域選択部１０５は、選択領域記憶部１０６に記憶されている領域の外部が画像位置指定部１０４によって指定された場合、領域階層記憶部１０７を用いてその領域の親の領域を階層の下から検索し、最初に見つかった指定された位置を含む親の領域を選択する。
【００２８】
また、領域選択部１０５は、画像位置指定部１０４によって選択領域記憶部１０６に記憶されている領域の外部が指定された場合であって、親の領域を見つけることができなかった場合は、領域階層記憶部１０７に記憶されている指定された領域のルートの直下の第一階層の領域のみを検索し、指定された位置を含むその領域を選択する。
【００２９】
また、図１に示す画像検索装置から画像位置指定部１０４を除いた実施形態であってもよい。この場合、領域選択部１０５は、領域情報記憶部１０２に記憶されている領域の中から所望の領域を選択する。また、画像表示部１０３は、領域情報記憶部１０２と領域階層記憶部１０７を用いて、領域情報記憶部１０２に記憶されている領域の画像を階層的に表示する。そして、領域選択部１０５は、画像表示部１０３によって表示されている領域を選択する。尚、画像表示部１０３は、各領域の大きさが同じ若しくはほぼ同じ大きさになるようにそれらの領域を表示する。
【００３０】
また、領域情報記憶部１０２に記憶されている領域と対応付けて領域を言語で表すキーワードを記憶するキーワード記憶部を備え、画像表示部１０３は、領域情報記憶部１０２に記憶されている領域と対応させて、キーワード記憶部に記憶されているキーワードを表示するようにすることもできる。
【００３１】
さらに、次に示すような画像検索装置であってもよい。すなわち、画像記憶部１０１は、複数の画像が記憶可能であり、領域情報記憶部１０２によって記憶されている領域の特徴を該領域と対応付けて記憶する領域特徴記憶部１０８をさらに備えている。そして、選択領域記憶部１０６によって記憶されている領域に対応した領域特徴記憶部１０８によって記憶されている特徴と、領域特徴記憶部１０８によって記憶されている他の特徴を比較し、比較された特徴が一致若しくは類似している領域を含む画像記憶部１０１に記憶された画像を検索する画像検索部１０９とを備える。
【００３２】
以下、本実施形態の画像検索装置について詳細に説明する。
【００３３】
図２は、第１の実施形態による画像検索装置を実現するための各種機器の接続構成を示すブロック図である。図２において、ＣＰＵ２０１は、ＲＯＭ２０２或いはＲＡＭ２０３に格納された制御プログラムを実行することにより、以下で説明する処理を含む本装置における各種制御を実現する。図４は、図２におけるＲＯＭ２０２内に記憶されているデータ構成の一例を説明するための図である。ＲＯＭ２０２には、図４に示されるように、制御手順プログラム４０１が格納されている。一方、図６は、処理プログラム実行時におけるＲＡＭ２０３上のデータ構成の一例を説明するための図である。ＲＡＭ２０３には、図６に示されるように、画像登録プログラム６０３、画像検索プログラム６０４、画像データベース６０５、領域データベース６０６、検索条件リスト６０７、領域比較バッファ６０８及び検索結果リスト６０９等が格納されている。
【００３４】
図２において、ＣＤ−ＲＯＭドライブ２０４は、ＣＤ−ＲＯＭ２０５に記憶されている制御プログラムや各種データを読み取り、本画像検索装置に提供する。図３は、ＣＤ−ＲＯＭ２０５から制御プログラム等がコンピュータシステムに供給されることを示す概念図である。また、図５は、可搬記録媒体であるＣＤ−ＲＯＭ２０５に記憶された画像登録プログラム５０１及び画像検索プログラム５０２等のデータ構成を示す図である。
【００３５】
ＣＤ−ＲＯＭドライブ２０４を介してＣＤ−ＲＯＭ２０５から画像登録プログラム５０１及び画像検索プログラム５０２がＲＡＭ２０３にロードされることによって、ＣＰＵ２０１による実行が可能となる。すなわち、図６に示されたＲＡＭ２０３上のデータ構成は、ＣＤ−ＲＯＭ２０５に格納されている画像登録プログラム５０１及び画像検索プログラム５０２がＲＡＭ２０３にロードされ実行可能となった状態のメモリマップを示している。
【００３６】
尚、実行可能となった状態では、画像登録プログラム５０１（メモリマップ上では画像登録プログラム６０３）及び画像検索プログラム５０２（メモリマップ上では画像検索プログラム６０４）以外に、メモリマップ上には、画像データベース６０５及び領域データベース６０６等が、ハードディスクドライブ２０６よりロードされ初期化される。
【００３７】
図２においてハードディスクドライブ２０６は、本画像検索装置内において大容量の記憶領域を提供している。従って、上述したＣＤ−ＲＯＭ２０５に格納されている制御プログラムは、ハードディスクドライブ２０６にインストールされて、必要に応じてＲＡＭ２０３へロードされるという形態を用いてもよい。また、キーボード２０７、ディスプレイ２０８、マウス２０９、ネットワークカード２１０がシステムバス２１１を介して上述した各構成を相互に通信可能に接続している。また、本画像検索装置は、ネットワークカード２１０経由でネットワーク２１２に接続され、ネットワーク２１２に接続されている他のコンピュータ機器２１３等と通信することが可能である。
【００３８】
次に、上述した構成の画像検索装置の動作手順について説明する。図１４は、第１の実施形態に係る画像検索装置の全体の動作手順を説明するためのフローチャートである。
【００３９】
まず、ＣＤ−ＲＯＭ２０５に格納された画像登録プログラム５０１及び画像検索プログラム５０２等をＣＤ−ＲＯＭドライブ２０４からＲＡＭ２０３にロードし、さらに、ハードディスクドライブ２０６から画像データベース６０５及び領域データベース６０６等をＲＡＭ２０３にロードし、必要な初期化を行う。（ステップＳ１０１）。
【００４０】
次に、オペレータからのキーボード２０７又はマウス２０９による指示によって処理を分岐させる（ステップＳ１０２）。その結果、「画像登録」の指示が行われた場合は、ステップＳ１０３へ分岐し、「画像検索」の指示が行われた場合はステップＳ１０４へ分岐し、他の指示が行われた場合はステップＳ１０５へ分岐する。
【００４１】
ステップＳ１０３では、画像登録プログラム６０３が起動され、画像データベース６０５に画像の登録が行われる。さらに、登録された画像中の領域の情報が領域データベース６０６に登録される。尚、ステップＳ１０３の詳細な処理手順については図１５を用いて後述する。
【００４２】
また、ステップＳ１０４では、画像の検索を行う画像検索プログラム６０４が起動され、オペレータの操作によって領域データベース６０６を参照して、画像データベース６０５に登録されている画像の検索が行われる。尚、ステップＳ１０５の詳細な処理手順については図１７を用いて後述する。
【００４３】
さらに、ステップＳ１０５は、画像登録及び画像検索以外の処理を行うステップであり、本発明に係る実施形態とは直接には関係がない部分である。
【００４４】
ここで、ステップＳ１０３で実行される画像登録プログラム５０１（メモリマップ上では画像登録プログラム６０３）による処理について説明する。図１５は、第１の実施形態に係る画像登録プログラムの詳細な処理手順を説明するためのフローチャートである。
【００４５】
図１５に示すように、まず、画像データベース６０５に対してオペレータが指定した画像を登録する（ステップＳ２０１）。図９は、画像データベース６０５におけるデータ構成の一例を示す図である。図９に示すように、画像データベース６０５には、各画像に関する情報（以降、「画像情報」と称す。）として、画像を識別するための「画像ＩＤ」、画像データを格納しているファイルを示す「ファイル名」、画像の横方向の画素数を指し示す「横サイズ」、画像の縦方向の画素数を示す「縦サイズ」が、それぞれ対応して格納されている。また、各画像情報は、画像ＩＤによって昇順にソートされているものとする。
【００４６】
例えば、図９に示される画像データベース６０５には、横サイズが１２００、縦サイズが９００、ファイル名がＩｍｇ１００．ｊｐｇという画像が、画像ＩＤの値が１００として格納されている。
【００４７】
そこで、ステップＳ２０１では、オペレータが、登録する画像のファイル名を指定し、指定されたファイル名から得られる画像データから横サイズと縦サイズを求めて、未使用の画像ＩＤの値を画像ＩＤとして生成する。そして、これらの画像情報を画像ＩＤによって昇順に並ぶように画像データベース６０５に追加される。尚、このような処理手順は、同種の画像データベースを扱う情報検索装置等において一般に行われている処理であり、公知であるので、これ以上の詳細な説明は省略する。
【００４８】
図１５において、ステップＳ２０２からステップＳ２１１までの処理は、ステップＳ２０１で登録した画像中の領域に関する情報を領域データベース６０６へ登録する処理である。図１０は、領域データベース６０６におけるデータ構成の一例を示す図である。図１０に示すように、領域データベース６０６には、各領域に関する情報（以降、「領域情報」と称す。）として、領域を識別するための「領域ＩＤ」、領域が属する画像を示すための「画像ＩＤ」、画像中の領域の場所を表すための「領域座標」、対象となる領域が属する親の領域を示す「親領域」、領域の内容を言葉で表現した「キーワード」及び領域の色の特徴を表す「色特徴量」が、それぞれ対応して格納されている。また、各領域情報は、領域ＩＤによって昇順にソートされているものとする。
【００４９】
ここで、本実施形態では「領域ＩＤ」として、同一画像の中での領域を識別するための３桁の値を下３桁とし、上位の桁には、領域が属する画像の画像ＩＤの値を組み合わせた値を用いた。これによって、同じ画像に対する領域情報は、図１０に示されるように、領域データベース６０６中で、一つにまとめられることになる。
【００５０】
また、「領域座標」は、対象となる領域を多角形とみなし、多角形の頂点の座標のリストで対象となる領域を表現するものである。各座標は、対象となる画像の左上を原点とし、右方向にｘ座標軸、下方向にｙ座標軸を取った座標系で表現する。例えば、図８における「車」に対応する部分画像８０３の領域座標は、図１０に示される領域ＩＤが１００００１の領域情報の中で、（（７８０，７２０），（７８０，７２０），．．）のように示されている。ここで、図８に示される部分画像８０３の頂点８０４に対応する座標は（７８０，７２０）であり、頂点８０５に対応する座標は（７８０，７２０）に対応している。
【００５１】
また、例えば、ある画像において犬の前に人が立っているために、犬の領域が２つの領域に分断される場合のように、本来、一つであるべき領域が、他の領域によって分断される場合に対応するために、本実施形態では、座標領域には、複数の領域を格納することが可能である。例えば、図１０に示されるように、領域ＩＤが１０１００１に対応した領域座標には、（（３００，４２０），．．），（（２４０，３６０），．．）と示されているが、これは、この領域が、（（３００，４２０），．．）の領域と（（２４０，３６０），．．）の領域の２つの領域から構成されていることを示している。
【００５２】
一方、図１０に示される「親領域」は、領域間の親子関係又は包含関係を示すためのものである。例えば、図８に示される画像の中で、「家」に対応する部分画像８０２の領域は、「屋根」及び「壁」に対応する部分画像８０６と「窓」に対応する部分画像８０７の２つの領域から構成されている。また、「窓」に対応する部分画像８０７の領域は、「壁」に対応する部分画像８０６の領域に含まれている。これらの関係を言い換えると、「窓」に対応する部分画像８０７の領域の親は「壁」に対応する部分画像８０６の領域に含まれ、「屋根」及び「壁」に対応する部分画像８０６の領域の親は、「家」に対応する部分画像８０２の領域である。図１０に示される領域データベース６０６では、これらの関係が「親領域」において示されている。
【００５３】
例えば、領域ＩＤ「１００００６」によって示される「窓」に対応する部分画像８０７の親領域には、「壁」に対応する部分画像８０６に対応した領域ＩＤ「１００００５」が格納されており、さらに、領域ＩＤ「１００００５」によって示される「壁」に対応する部分画像８０６の親領域には、「家」に対応する部分画像８０２に対応した領域ＩＤ「１００００２」が格納されている。尚、「家」に対応する部分画像８０２の親領域は存在しないので、それに対応する領域ＩＤ「１００００２」に対する親領域には、領域ＩＤとしての無効値「−１」が格納されている。
【００５４】
また、「キーワード」には、対象となる領域の内容を表現するキーワード等の文字列が格納される。これらの文字列は１単語で構成される必要はなく、自然な文章で表現することも可能である。「キーワード」には、複数の内容を格納することが可能であり、その場合は、内容を表現する文字列を「，」によって区切ることにより、内容を切り分けることができる。
【００５５】
さらに、「色特徴量」には、「領域座標」によって示される領域の色の特徴量として、色のヒストグラムが格納される。色のヒストグラムは、ＲＧＢ色空間を各色３ビットで均等に量子化した結果得られる量子箱に、「領域座標」によって示される領域に含まれる各画素の色を集計し、さらに、ヒストグラムの度数の合計が１０００になるように正規化して求めることができる。そして、「色特徴量」には、この結果得られたヒストグラムの各量子箱の値を、所定の順番で「，」で区切って並べて格納されている。
【００５６】
以上説明した領域データベース６０６に、ステップＳ２０１で登録した画像中の領域を登録する手順をステップＳ２０２からステップＳ２１１に沿って、以下に説明する。
【００５７】
まず、領域データベース６０６に登録する領域が設定される（ステップＳ２０２）。この領域設定処理は、ステップＳ２０１で登録した画像をディスプレイ２０８中のウィンドウに表示し、ウィンドウ中の画像上で、オペレータがマウス２０９を用いて、登録する領域の頂点にマウスカーソルを合わせて、一つ一つ順番にクリックすることによって多角形の頂点を指定し、最後に、最初に指定した頂点をクリックすることにより、一つの領域の多角形を指定することができる。また、複数の領域を指定する場合は、同様の操作を行うことによって、別の領域の多角形を指定することができる。ここで設定した座標のリストは、図１０における領域情報の「領域座標」に格納される内容になる。そして、オペレータが登録する領域を設定し終えると、オペレータの設定終了の指示により、ステップＳ２０３へ進む。
【００５８】
ステップＳ２０３は、ステップＳ２０２で設定された領域に対して、領域情報の「キーワード」に格納する内容を設定する処理である。このキーワード設定処理は、キーボード２０７から、「キーワード」に格納する文字列を入力していく。設定する内容が複数ある場合は、キーボード２０７から、「，」を入力することにより、複数の内容を切り分けて入力することが可能である。設定が終わると、オペレータの設定終了の指示により、ステップＳ２０４へ進む。
【００５９】
ステップＳ２０４は、ステップＳ２０２で設定された領域に対して、領域情報の「色特徴量」に格納する内容を設定する処理である。「色特徴量」に格納する内容の求め方は、図１０を用いた領域データベース６０６の説明ですでに述べた通りであり、オペレータが介在しなくても自動的に求めることができる。そして、この特徴量設定処理を終えるとステップＳ２０５へ進む。
【００６０】
ステップＳ２０５では、ステップＳ２０２で設定した領域に対する親領域が存在するかどうかによって次の処理を分岐する。すなわち、親領域が存在しないとオペレータが判断した場合（Ｎｏ）、ステップＳ２０６へ進む。一方、親領域が存在するとオペレータが判断した場合（Ｙｅｓ）、ステップＳ２０７へ進む。通常、領域を登録し始めた段階では、親となる領域が登録されていない場合が多いので、そのような場合は、ステップＳ２０６へ進み、すでに親の領域が登録されている場合には、ステップＳ２０７へ進む。このような領域の登録方法を用いるためには、子の領域よりも先に親の領域を登録しておく必要がある。
【００６１】
ステップＳ２０６は、親の領域が存在しない場合の処理であり、図１０に示すように領域情報の「親領域」の値として、「−１」を設定する。そして、処理を終えると、ステップＳ２１０へ進む。
【００６２】
一方、ステップＳ２０７は、ステップＳ２０８において親の領域を選択するために、領域を選択するための領域選択ウィンドウをディスプレイ２０８に表示し、この領域選択ウィンドウ中にステップＳ２０１で登録された画像を表示する。
そして、処理を終えると、ステップＳ２０８へ進む。
【００６３】
ステップＳ２０８は、領域データベース６０６にすでに登録されている親となる領域を選択する領域選択処理である。そして、選択された親領域の領域情報から、親領域の領域ＩＤを求めることができる。尚、領域選択処理の詳細については、図１６を用いて後述する。そして、処理を終えるとステップＳ２０９へ進む。
【００６４】
ステップＳ２０９において、ステップＳ２０８で求めた親の領域の領域ＩＤを領域情報の「親領域」の値として設定する。そして、処理を終えるとステップＳ２１０へ進む。
【００６５】
ステップＳ２１０は、ステップＳ２０２からステップＳ２０９において設定した領域情報に基づいて、設定された領域を領域データベース６０６へ登録する処理である。上述したステップＳ２０２からステップＳ２０９までの処理によって、「領域座標」、「キーワード」、「色特徴量」及び「親領域」が設定される。そこで、領域情報の「画像ＩＤ」には、ステップＳ２０１で画像を画像データベース６０５に登録する際に得られた画像ＩＤの値を用いる。また、「領域ＩＤ」には、この画像ＩＤを用いて、領域データベース６０６に登録されている領域情報の領域ＩＤに使用されていない値を生成して設定する。そして、得られた領域情報を、図１０に示すように、領域ＩＤの値が領域データベース６０６の中で昇順に並ぶように登録する。ステップＳ２１０における処理を終えると、ステップＳ２１１へ進む。
【００６６】
ステップＳ２１１では、続けて領域を登録するかどうかによって次の処理を分岐する。すなわち、領域を続けて登録する場合（Ｎｏ）、ステップＳ２０２へ戻って上述した各処理を行い、領域の登録を終える場合（Ｙｅｓ）、画像登録プログラムを終了する。
【００６７】
続いて、図１６と図２３を用いて、図１５におけるステップＳ２０８及び後述する図１８におけるステップＳ５０４で行われる「領域選択処理」の詳細について説明する。ここで、領域データベースの状態は、図１０に示されるような状態であるとする。図１６は、画像検索プログラム及び検索条件指定処理における領域選択処理の手順を説明するためのフローチャートである。また、図２３は、領域選択処理を説明するための画面表示例を示す図である。
【００６８】
領域選択処理では、図２３（ａ）に示されるような領域選択ウィンドウ２３００に対して、マウス２０９を用いて領域を選択する。図２３（ａ）に示される領域選択ウィンドウ２３００には、領域選択の対象となる画像２３０１が表示されている。ここで、図１５に示されるフローチャートのステップＳ２０８における領域選択ウィンドウ２３００は、ステップＳ２０７で表示したウィンドウであり、ステップＳ５０４における領域選択ウィンドウ２３００は、ステップＳ５０３において強調されたウィンドウである。
【００６９】
まず、図６に示される選択した領域の領域データベース６０６中の領域ＩＤを格納することによって、選択した領域を示す「選択領域」に、初期値として「−１」を格納する（ステップＳ３０１）。すなわち、「選択領域」に「−１」が格納されている場合は、画像全体が選択されているものとみなす。
【００７０】
次に、領域選択ウィンドウ２３００の表示を更新する（ステップＳ３０２）。すなわち、「選択領域」によって示される領域が目視で確認できるようにするために、例えば、図８における「家」の領域８０２が選択されている場合には、図２３（ｂ）の符号２３０３に示されるように、選択された領域の輪郭を太線で表示する。また、別の方法として、図２３（ｆ）の符号２３１１に示されるように、選択された領域は通常通り表示し、選択された領域以外の領域の表示について、表示する画像の画素を１ドットおきに黒で置換して間引いて表示する等、選択された領域と選択されていない領域とで表示形態を変えて表示したりすることも可能である。
【００７１】
選択された領域の輪郭や、選択された領域と選択されていない領域との境界は、ステップＳ２０８における領域選択の場合は領域データベース６０６の「領域座標」を、また、ステップ５０４における領域選択の場合は検索結果リスト６０９の「領域座標」中の領域の座標を直線で結ぶことによって、容易に求めることが可能である。また、「選択領域」に「−１」が格納されている場合には、画像全体が選択されていることになるので、図２３（ａ）の符号２３０１に示されるように、画像の外枠が太線で表示される。
【００７２】
次に、ステップＳ３０３において、マウス２０９によって選択領域ウィンドウ中のマウスカーソルが示す１点がクリックされたかどうかによって以降の処理を分岐する。すなわち、クリックされた場合（Ｙｅｓ）、ステップＳ３０４へ進み、クリックされていない場合（Ｎｏ）、ステップＳ３１６へ進む。
【００７３】
また、ステップＳ３０４において、クリックされたマウスカーソルが示す位置が領域選択ウィンドウ中の図２３（ａ）の符号２３０１に示されるような画像の内側であるかどうかによって以降の処理をさらに分岐する。すなわち、マウスカーソルが示す位置が画像の内側の場合（Ｙｅｓ）、ステップＳ３０５へ進む。一方、図２３（ｆ）の符号２３１２に示されるように、マウスカーソルの位置が画像の外側の場合（Ｎｏ）、ステップＳ３０１へ戻って画像全体を選択した状態に移行する。例えば、図２３（ｂ）の状態で、画像の外側が選択された場合は、ステップＳ３０１及びステップＳ３０２の処理を経て、図２３（ａ）の状態になる。
【００７４】
さらに、ステップＳ３０５において、「選択領域」の値によって以降の処理を分岐する。すなわち、「選択領域」の値が−１の場合（Ｙｅｓ）、画像全体が選択されているものとしてステップＳ３０６へ進む。一方、「選択領域」の値が−１でない場合（Ｎｏ）、特定の領域が選択されているものとしてステップＳ３０９へ進む。
【００７５】
ステップＳ３０６では、領域選択の対象となる画像２３０１の中で、ステップＳ３０３においてクリックされた位置を含む、親領域を持たない領域が検索される。検索の範囲となる画像の画像ＩＤは、領域選択処理がステップＳ２０８の場合は、ステップＳ２０１において登録された画像の画像ＩＤであり、領域選択処理がステップＳ５０４の場合は、ステップＳ５０３で強調された画像に対する画像ＩＤである。ステップＳ５０３で強調された画像に対する画像ＩＤは、後述する検索結果リスト６０９から求めることができる。そして、領域データベース６０６の中から、この画像ＩＤを持ち、クリックされた位置（座標）を含む「領域座標」に格納された多角形領域を持ち、かつ、「親領域」の値が−１である領域ＩＤを検索する。
【００７６】
ここで、領域ＩＤに対応した「領域座標」が、クリックされた位置（座標）を含むかどうかは、領域選択処理がステップＳ２０８の場合、若しくは、ステップＳ５０３において切替ボタン２１１０により画像全体が表示されている場合は、領域データベース６０６を検索し、「領域座標」を用いることにより確認できる。また、ステップＳ５０３において、ステップＳ４０６で作成されたサムネイル画像を表示している場合は、検索結果リスト６０９を検索し、「領域座標」を用いることにより確認でき、対応する領域ＩＤを求めることができる。
【００７７】
ステップＳ３０７では、ステップＳ３０６において検索した領域が見つかったかどうかによって以降の処理を分岐する。すなわち、領域が見つかった場合（Ｙｅｓ）、ステップＳ３０８へ進む。一方、領域が見つからなかった場合（Ｎｏ）、ステップＳ３０２へ戻る。
【００７８】
そして、ステップＳ３０８において、「選択領域」にステップＳ３０６で見つかった領域に対する領域ＩＤの値を格納し、処理を終えるとステップＳ３０２へ進む。
【００７９】
例えば、ステップＳ３０２における処理の後、図２３（ａ）の状態で符号２３０２で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４及びステップＳ３０５の処理を経て、ステップＳ３０６へ進む。そして、ステップＳ３０６において、図１０に示される領域データベース６０６を検索した結果、領域ＩＤ「１００００４」の屋根ではなく、領域ＩＤ「１００００２」の家が選択される。次いで、ステップＳ３０７、ステップＳ３０８及びステップＳ３０２を経て図２３（ｂ）の状態になり、符号２３０３に示されるように、家の輪郭が太線で表示されるようになる。
【００８０】
一方、ステップＳ３０９では、クリックされたマウスカーソルが示す位置（座標）が、「選択領域」に格納されている領域ＩＤに対応した領域に含まれているかどうかによって以降の処理を分岐する。ここで、クリックされたマウスカーソルが示す位置（座標）が、「選択領域」に格納されている領域ＩＤに対応した領域に含まれているかどうかは、領域選択処理がステップＳ２０８の場合、若しくは、ステップＳ５０３において切替ボタン２１１０により画像全体が表示されている場合は、この領域ＩＤに対応した領域データベース６０６の「領域座標」に格納された多角形の座標と比較することにより、容易に判定することができる。また、ステップＳ５０３において、ステップＳ４０６で作成されたサムネイル画像を表示している場合は、検索結果リスト６０９の「領域座標」に格納された対象の領域ＩＤに対応した多角形の座標と比較することにより、容易に判定することができる。その結果、選択領域に含まれている場合（Ｙｅｓ）、ステップＳ３１０へ進み、含まれていない場合（Ｎｏ）、ステップＳ３１３へ進む。
【００８１】
ステップＳ３１０では、領域データベース６０６中で、ステップＳ３０３においてクリックされた位置を含み、かつ、「選択領域」に格納されている領域ＩＤに対応する領域の子の領域を検索する。検索の範囲となる領域情報は、領域データベース６０６中で、「親領域」に「選択領域」に等しい領域ＩＤを持つ領域情報である。そして、領域データベース６０６の中のこれらの領域情報の中から、クリックされた位置（座標）を含む「領域座標」に格納された多角形領域を持つ領域情報を検索する。
【００８２】
また、クリックされた位置（座標）を含むかどうかを判定する前に、ステップＳ５０３においてステップＳ４０６で作成されたサムネイル画像を表示している場合は、「選択領域」に格納されている領域ＩＤに対応した検索結果リスト６０９の「領域座標」中の多角形の座標と、この領域ＩＤの領域データベース６０６の「領域座標」の関係から、ステップＳ３０３においてクリックされた座標を、画像データベース６０５に格納された画像上の座標に変換する。そして、クリックされた位置（座標）を含むかどうかは、クリックされた座標と、領域データベース６０６の「領域座標」に格納された多角形の座標と比較することにより、容易に判定することができる。
【００８３】
ステップＳ３１１では、ステップＳ３１０において検索した領域情報が見つかったかどうかによって次の処理を分岐する。すなわち、領域情報が見つかった場合（Ｙｅｓ）、ステップＳ３１２へ進み、領域情報が見つからなかった場合（Ｎｏ）、ステップＳ３０２へ進む。
【００８４】
そして、ステップＳ３１２において、「選択領域」にステップＳ３１０で見つかった「選択領域」の子の領域に対する領域情報の「領域ＩＤ」の値を格納し、処理を終えるとステップＳ３０２へ戻る。
【００８５】
例えば、ステップＳ３０２の後、図２３（ｂ）の状態で符号２３０４で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５及びステップＳ３０９を経て、ステップＳ３１０へ進む。そして、ステップＳ３１０において、図１０に示される領域データベース６０６を検索した結果、領域ＩＤ「１００００６」の窓ではなく、領域ＩＤ「１００００５」の壁が選択される。さらに、ステップＳ３１１、ステップＳ３１２及びステップＳ３０２を経て、図２３（ｃ）の状態になり、符号２３０５に示されるように、壁の輪郭が太線で表示される。
【００８６】
また、ステップＳ３１３では、「選択領域」に格納されている領域ＩＤに対応する領域の親の領域を辿っていき、ステップＳ３０３においてクリックされた位置を含む親領域を検索する。そして、検索を行う前に、ステップＳ５０３においてステップＳ４０６で作成されたサムネイル画像を表示している場合は、「選択領域」に格納されている領域ＩＤに対応した検索結果リスト６０９の「領域座標」中の多角形の座標と、この領域ＩＤの領域データベース６０６の「領域座標」の関係から、ステップＳ３０３においてクリックされた座標を、画像データベース６０５に格納された画像上の座標に変換する。
【００８７】
その後、領域データベース６０６中で、「選択領域」に格納された値に等しい領域ＩＤを持つ領域情報の「親領域」を対象の親領域とし、その値を「領域ＩＤ」とする領域情報の「領域座標」に格納された多角形領域が、クリックされた座標を含むかどうかを判定する。その結果、対象の親領域に含まれず、対象の親領域がさらに親領域を持っている場合、すなわち、対象の親領域の領域情報の「親領域」が「−１」でない場合は、対象の親領域の領域情報の「親領域」を対象の親領域とし、親領域がなくなるまで、クリックされた座標を含む親領域を検索する。
【００８８】
ステップＳ３１４では、ステップＳ３１３において検索した結果によって以降の処理を分岐する。すなわち、クリックされた位置を含む親領域が見つかった場合（Ｙｅｓ）、ステップＳ３１５へ進み、親領域が見つからなかった場合（Ｎｏ）、ステップＳ３０６へ進む。
【００８９】
例えば、ステップＳ３０２の後、図２３（ｄ）の状態で符号２３０９で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５及びステップＳ３０９を経て、ステップＳ３１３へ進む。そして、ステップＳ３１３において、親領域が見つからないと判定され、ステップＳ３１４を経てステップＳ３０６へ進む。さらに、ステップＳ３０６において、図１０に示される領域データベース６０６を検索した結果、領域ＩＤ「１００００３」の木が選択される。その後、ステップＳ３１１、ステップＳ３１２及びステップＳ３０２を経て、図２３（ｅ）の状態になり、符号２３１０に示されるように、木の輪郭が太線で表示される。
【００９０】
ステップＳ３１５では、「選択領域」に、ステップＳ３１３で見つかった親領域の領域情報の「領域ＩＤ」の値を格納する。そして、処理を終えるとステップＳ３０２へ進む。
【００９１】
例えば、ステップＳ３０２の後、図２３（ｄ）の状態で符号２３０８で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５及びステップＳ３０９を経て、ステップＳ３１３へ進む。そして、ステップＳ３１３において、親領域として領域ＩＤ「１００００２」の家が検索される。さらに、ステップＳ３１４、ステップＳ３１５及びステップＳ３０２を経て、図２３（ｂ）の状態になり、符号２３０３に示されるように、家の輪郭が太線で表示される。
【００９２】
一方、ステップＳ３１６においては、「選択領域」に対応した領域にマウスカーソルが置かれ、マウス２０９を用いて、「選択領域」に対応した領域が領域選択ウィンドウの外側にドラッグされたかどうかによって以降の処理が分岐する。すなわち、ドラッグされた場合（Ｙｅｓ）、領域選択処理を終了し、そうでなければ（Ｎｏ）、ステップＳ３１７へ進む。
【００９３】
ステップＳ３１７では、オペレータの指示により、領域選択処理を終了するかどうかによって以降の処理を分岐する。すなわち、領域選択処理を続行する場合（Ｎｏ）、ステップＳ３０３へ戻り、領域選択処理の終了が指示された場合（Ｙｅｓ）、領域選択処理を終了する。
【００９４】
すなわち、本発明に係る画像検索装置は、画像データを画面上に表示し、表示された画像データ内の任意の部分を指定し、画像データ内の所定のオブジェクト領域を下位領域とし、その下位領域を含む所定領域を上位領域として、画像データ内に含まれるオブジェクト領域に関する下位領域と上位領域との階層関係を示す階層データを用いて、指定された部分を含む第１のオブジェクト領域を決定し、決定された第１のオブジェクト領域を強調表示する。そして、強調表示された第１のオブジェクト領域内の任意の部分を指定し、階層データを用いて、第１のオブジェクト領域の下位領域であって、指定された部分を含む第２のオブジェクト領域を決定し、第１のオブジェクト領域に代えて第２のオブジェクト領域を強調表示することを特徴とする。
【００９５】
また、本発明に係る画像検索装置は、強調表示された第２のオブジェクト領域外の任意の部分を指定し、階層データを用いて、第２のオブジェクト領域の上位領域であって、指定された部分を含む第３のオブジェクト領域を決定し、第２のオブジェクト領域に代えて第３のオブジェクト領域を強調表示することを特徴とする。
【００９６】
さらに、本発明に係る画像検索装置は、画像データを記憶する画像記憶部１０１と、画像データに含まれるオブジェクト領域に関する情報を記憶する領域情報記憶部１０２と、オブジェクト領域とその下位領域又は上位領域との階層関係を階層データとして記憶する領域階層記憶部１０７と、画像データを表示する画像表示部１０３とを備える。そして、表示された画像データ内の任意の位置を指定し、領域情報記憶部１０７に記憶されたオブジェクト領域に関する情報の中から、指定された位置を含む第１のオブジェクト領域を決定し、決定された第１のオブジェクト領域を強調表示する。さらに、第１のオブジェクト領域の内部の任意の位置を指定し、階層データに基づいて、領域情報記憶部１０２から第１のオブジェクト領域の下位領域であって指定された位置を含む第２のオブジェクト領域を決定し、決定された第２のオブジェクト領域を強調表示することを特徴とする。
【００９７】
さらにまた、本発明に係る画像検索装置は、第２のオブジェクト領域の外部の任意の位置を指定し、階層データに基づいて、第２のオブジェクト領域の上位領域であって指定された位置を含む第３のオブジェクト領域を決定し、決定された第３のオブジェクト領域を強調表示することを特徴とする。
【００９８】
さらにまた、本発明に係る画像検索装置は、第１のオブジェクト領域の上位領域であって指定された位置を含む領域がない場合、そのオブジェクト領域についての最上位領域を第３のオブジェクト領域として決定することを特徴とする。
【００９９】
さらにまた、本発明に係る画像検索装置は、強調表示が、決定されたオブジェクト領域の輪郭を強調することである。或いは、強調表示が、画像データにおいて決定されたオブジェクト領域以外の部分について所定パターンを用いて塗りつぶすことである。
【０１００】
次に、図１４のステップＳ１０４における画像検索プログラム（図５における画像検索プログラム５０２、図６における画像検索プログラム６０４）による処理について説明する。
【０１０１】
図２１は、図１４のステップＳ１０４の画像検索において表示されるディスプレイ２０８の画面表示例を示す図である。図２１において、符号２１０２で示されるエリアは、検索の様々な指示を行う検索指示エリアであり、符号２１０３で示されるエリアは、検索結果を表示する検索結果表示エリアである。
【０１０２】
検索指示エリア２１０２中には、所望の画像の特徴を設定する画像条件エリア２１０４、所望の画像のキーワードを設定するキーワードエリア２１０６、画像条件エリア２１０４に手書で画像の特徴を入力するための指示を行う手書ボタン２１０５、検索条件エリア２１０４とキーワードエリア２１０６に入力された条件を満たす画像の検索を指示する検索ボタン２１０７、検索結果表示エリア２１０３に表示される検索結果の表示形態を切り替える切替ボタン２１１０が表示されている。
【０１０３】
一方、検索結果表示エリア２１０３中には、符号２００８及び符号２００９に示されるように、検索された結果の画像のサムネイルの一覧が表示される。尚、サムネイル２００８、２００９は、それぞれ、検索された結果の画像のサムネイルである。
【０１０４】
図１７は、図１４のステップＳ１０４における画像検索プログラムの動作を詳細に説明するためのフローチャートである。まず、所望の画像を検索するための条件の設定を行う検索条件設定処理が行われる（ステップＳ４０１）。本処理により、図６に示される検索条件リスト６０７が作成される。尚、本検索条件設定処理及び検索条件リスト６０７の詳細については、図１８及び図１１を用いて後述する。
【０１０５】
次に、画像データベース６０５の中から、ステップＳ４０１で設定された検索条件と比較するための対象となる画像を一つ一つ取り出す（ステップＳ４０２）。具体的には、画像データベース６０５の先頭から「画像ＩＤ」を、一つ一つ順番に取り出していく。対象となる画像を取り出せた場合はステップＳ４０３においてステップＳ４０４へ進み、全ての画像を取り出し終えた場合は、ステップＳ４０３を経てステップＳ４０８へ進む。
【０１０６】
ステップＳ４０４は、ステップＳ４０２で取り出した画像に対して、ステップＳ４０１で設定した検索条件との類似度を算出する類似度算出処理である。本処理により、ステップＳ４０２で取り出した画像ＩＤを基に、領域データベース６０６を参照し、検索条件リスト６０７と照らし合わせて演算を行うことにより、領域比較バッファ６０８が作成され、ステップＳ４０２で取り出した画像の類似度が求まる。尚、本類似度算出に係る処理の詳細は図１９を用いて後述する。
【０１０７】
また、ステップＳ４０５においては、ステップＳ４０４で求めた類似度が所定のしきい値よりも高いかどうかによって以降の処理を分岐する。すなわち、類似度が所定のしきい値よりも高い場合（Ｙｅｓ）、ステップＳ４０２で取り出した画像は、ステップＳ４０１で設定した検索条件を満たしたものとして、ステップＳ４０６へ進む。一方、類似度が所定のしきい値よりも低い場合（Ｎｏ）、ステップＳ４０２で取り出した画像は、ステップＳ４０１で設定した検索条件を満たさないものとして、ステップＳ４０２へ進む。
【０１０８】
ステップＳ４０６では、検索結果表示エリア２１０３に表示する検索結果の画像のサムネイル画像を作成するサムネイル作成処理が行われる。本処理では、画像データベース６０５、領域データベース６０６及び領域比較バッファ６０８を用いてサムネイル画像を作成し、さらに、検索条件リスト６０７中の各条件に対応したサムネイル画像中の各領域を表すための「領域座標」が求められる。本処理の詳細については図２０を用いて後述する。
【０１０９】
また、ステップＳ４０７は、ステップＳ４０１で設定した条件を満たした画像に関する情報を、検索結果リスト６０９へ追加する処理である。ここで、図１３は、検索結果リストのデータ構成例を示す図である。図１３に示すように、本実施形態においては、ステップＳ４０１で設定された条件を満たす画像に関する情報（以降、「検索結果情報」と称す。）は、「画像ＩＤ」、「領域ＩＤ」、「条件番号」、「サムネイル画像」、「領域座標」及び「類似度」から構成される。
【０１１０】
まず、「画像ＩＤ」は、ステップＳ４０２で取り出した画像の画像ＩＤである。次に、「領域ＩＤ」は、検索条件リスト６０７の各条件を満たす画像中の領域に対する領域データベース６０６中の領域ＩＤであり、ステップＳ４０４において作成した領域比較バッファ６０８に格納されている領域ＩＤから求めることができる。尚、複数の領域ＩＤが存在する場合は、基本的に、領域比較バッファ６０８に格納された順番で、「，」で区切って格納される。また、領域比較バッファ６０８に複数の同一の領域が存在する場合には、一つのみが格納され、その領域に対応する条件番号は個別条件類似度が最も高い条件番号が選ばれる。
【０１１１】
また、「条件番号」には、「領域ＩＤ」が満たしている条件の番号が格納され、領域比較バッファ６０８から求めることができる。さらに、「サムネイル画像」には、ステップＳ４０６で作成したサムネイル画像のファイル名が格納される。さらにまた、「領域座標」には、ステップＳ４０６で作成したサムネイル画像中で「領域ＩＤ」に格納された領域を示す多角形の頂点の座標が格納される。
【０１１２】
「領域座標」中の一つの領域に対する表現は、領域データベース６０６の領域座標と同じように表現される。一方、検索結果リスト６０９の「領域座標」には、複数の領域ＩＤに対応した領域が格納されるので、各領域ＩＤに対応した領域に関する情報は、「，」で区切って格納され、「領域ＩＤ」に格納された領域ＩＤと同じ順番で格納される。そして、「類似度」には、ステップＳ４０４で求めた類似度が格納される。ステップＳ４０７では、これらの検索結果情報が、検索結果リスト６０９の末尾に追加される。上述した処理を終えるとステップＳ４０２へ進む。
【０１１３】
ステップＳ４０８は、検索結果をディスプレイ２０８へ表示する処理である。
図２１における検索結果表示エリア２１０３には、検索結果リスト６０９の先頭から順番に、「サムネイル画像」で示される画像を左上から右と順番に表示される。また、検索指示エリア２１０２中のキーワードエリア２１０６に表示されているキーワードの色の変更を行う。後述するように、ステップＳ４０６のサムネイル作成処理において、ステップＳ４０１で作成した検索条件リスト６０７の各条件を満たす各領域の輪郭は、条件番号毎に決められた異なる色の太線で縁取られているようにする。ここで、図２１の符号２１０９で示されるサムネイル画像中では、色ではなく「点で輪郭強調」、「輪郭強調なし」、「太線で輪郭強調」によって表現しているが、このような表現であってもよい。
【０１１４】
また、キーワードエリア２１０６に表示されているキーワードの文字の色も、これと同様に、条件番号毎に決められた色で表示する。或いは、キーワード文字列の周りを条件番号毎に決められた異なる色の太線で縁取ってもよい。また、検索指示エリア２１０２中の画像条件エリア２１０４に表示されている各領域の縁取りの太線の色の変更又は追加を行う。この場合もキーワードの場合と同じように、条件番号毎に決められた色で、画像条件エリア２１０４に表示されている各領域を太線で縁取る。
【０１１５】
後述するように、すでに、画像条件エリア２１０４に表示されている領域には、すでに特定の色で縁取られている場合がある。その場合には、縁取りの太線の色は変更になり、そうでなければ、縁取りの太線が追加されることになる。このようにすることによって、個々の画像の特徴としての条件と、キーワードとしての条件と、検索結果中の領域が満たした条件との対応関係が容易に把握できるようになるので、ユーザは検索結果の確認を簡単に行うことができるようになる。
そして、処理を終えると、ステップＳ４０９へ進む。
【０１１６】
ステップＳ４０９は、検索結果の確認を行うために表示を切り替える処理である。図２１の切替ボタン２１１０をマウス２０９でクリックすることによって、検索結果表示エリア２１０３に表示されているサムネイルを、検索結果リスト６０９の「サムネイル画像」が示す画像から、画像データベース６０５の「ファイル名」が示す画像の縮小画像の表示に切り替えられる。さらに、切替ボタン２１１０をクリックすることによって、再び、検索結果表示エリア２１０３に表示されているサムネイルを、検索結果リスト６０９の「サムネイル画像」が示す画像の表示に戻す。
【０１１７】
そして、続いて領域比較バッファ６０８内の条件番号１に対する領域の太線をブリンク（ｂｌｉｎｋ）させ、また、検索指示エリア２１０２の中で、検索条件リスト６０７の条件番号１に対する画像条件エリア２１０４中の領域の太線、及び、キーワードエリア２１０６中のキーワードの文字列をブリンクさせる。ここで「条件番号」とは、個々の条件情報を識別するための番号であり、検索条件リスト６０７の先頭の条件情報の条件番号を１とする連番になっているものである。この検索条件リスト６０７については後述する。
【０１１８】
さらに、切替ボタン２１１０のクリックを繰り返すと、同様の処理を検索条件リスト６０７の条件番号２、条件番号３へと順次繰り返していき、ブリンクさせる条件に対応した領域及びキーワードを切り替えていく。そして、検索条件リスト６０７の全ての検索条件に対しての処理を終えると、最初に切替ボタン２１１０をクリックする前の状態、すなわち、ステップＳ４０８の処理を終えた直後の状態に戻る。尚、ブリンクさせる対象の太線は、検索結果リスト６０９及び検索条件リスト６０７の「領域座標」を用いて、容易に求めることができる。
【０１１９】
また、切替ボタン２１１０をクリックしない場合は、キーワードエリア２１０６に表示されているキーワード、若しくは、画像条件エリア２１０４に表示されている領域をマウス２０９でクリックする。これによって、クリックされたマウスカーソルが示す座標から、対象となるキーワード文字列、若しくは、領域を検索条件リスト６０７を検索して求め、それに対応する条件番号を求めることによって、条件番号に対応した画像条件エリア２１０４中の領域の太線、及び、キーワードエリア２１０６中のキーワードの文字列をブリンクすることができる。さらに、検索結果表示エリア２１０３に表示されているサムネイル中の条件番号に対する領域比較バッファ６０８内の領域に対応した太線をブリンクする。
【０１２０】
ステップＳ４１０は、オペレータの指示によって処理の終了の実行を分岐する。すなわち、マウス２０９によって終了ボタン２１１２がクリックされた場合（Ｙｅｓ）、画像検索処理の終了が指示されたものとみなして画像検索処理を終了する。一方、クリアボタン２１１１がクリックされた場合（Ｎｏ）、再度画像検索を行うものとみなして画像条件エリア２１０４の表示とキーワードエリア２１０６の表示をクリアし、検索条件リスト６０７を初期化して、ステップＳ４０１へ進む。
【０１２１】
次に、ステップＳ４０１における検索条件指定処理について、図１１と図１８を用いて説明する。この検索条件指定処理によって、検索条件リスト６０７に画像を検索するための検索条件が格納される。
【０１２２】
図１１は、第１の実施形態における検索条件リスト６０７のデータ構成例を示す図である。図１１において、各行は、所望の画像を検索するための一つ一つの条件を示しており、個々の条件に関する各行の情報を以降では「条件情報」と称す。本実施形態における条件情報は、図１１に示されるように、「条件番号」、「領域座標」、「キーワード」、「色特徴量」及び「親領域」から構成される。
【０１２３】
まず、「条件番号」は、個々の条件情報を識別するための番号であり、検索条件リスト６０７の先頭の条件情報の条件番号を１とする連番である。また、「領域座標」は、画像条件エリア２１０４において、検索の条件となる部分画像、すなわち、領域を入力した場合に、その領域を多角形の頂点で表現したものであり、頂点の座標のリストを格納する。その表現方法は、領域データベース６０６の領域座標と同じである。図１１における条件番号１に対する条件情報におけるように、検索の条件となる画像が指定されない場合は、「領域座標」には何も格納されない。
【０１２４】
一方、「キーワード」には、キーワードエリア２１０６において、検索の条件となる内容を表現するキーワード等の言葉が入力された場合に，これらの言葉の文字列が格納される。これらの文字列は、１単語で構成される必要はなく、自然な文章で表現することも可能である。「キーワード」には、複数の内容を格納することが可能であり、その場合は、内容を表現する文字列を「，」によって区切ることにより、内容を切り分けることができる。図１１における条件番号３に対する条件情報のように、検索の条件となるキーワードが指定されない場合は、「キーワード」には何も格納されない。
【０１２５】
また、「色特徴量」には、画像条件エリア２１０４において、検索の条件となる部分画像、すなわち、領域を入力した場合に、その領域の色特徴量が格納される。その表現方法は、領域データベース６０６の色特徴量と同じである。図１１における条件番号１に対する条件情報のように、検索の条件となる画像が指定されない場合は、「色特徴量」には何も格納されない。
【０１２６】
さらに、「親領域」には、後述するように、検索結果表示エリア２１０３に表示されているサムネイル中の領域情報が、画像条件エリア２１０４にコピーされた場合の有効な値が格納される。後述するように、コピーされる領域が領域データベース６０６の中で、子の領域を持つ場合は、子孫の領域も辿って、それらの領域の情報もコピーされる。このような場合は、親の領域を持つ検索情報の「親領域」には、親の検索情報の「条件番号」が格納される。親の領域を持たない条件情報の「親領域」には、無効値である「−１」が格納される。
【０１２７】
図１８は、図１７の画像検索プログラムの処理におけるステップＳ４０１の検索条件指定処理の手順を詳細に説明するためのフローチャートである。まず、オペレータの操作によって以降の処理を分岐する（ステップＳ５０１）。すなわち、図２１における手書ボタン２１０５がマウス２０９によってクリックされるとステップＳ５０２へ進む。また、検索結果表示エリア２１０３に表示されているサムネイル画像がマウス２０９によってクリックされるとステップＳ５０３へ進む。さらに、画像エリア２１０４がマウス２０９によってクリックされるとステップＳ５０６へ進む。さらにまた、キーワードエリア２１０６がマウス２０９によってクリックされるとステップＳ５０８へ進む。そして、検索ボタン２１０７がマウス２０９によってクリックされると検索条件指定処理が終了する。
【０１２８】
ステップＳ５０２は、手書ボタン２１０５がマウス２０９によってクリックされた場合の処理であり、マウス２０９を用いた手書入力によって画像条件エリア２１０４に検索の条件となる図形等の部分画像が入力される。そして、入力された部分画像、すなわち、領域に対して「領域座標」を取り出し、また、この領域の「色特徴量」を取り出す。マウスを用いた図形の入力に関する技術は、例えば、マイクロソフト社のＷｏｒｄ２０００の中の描画アプリケーション等で一般的に行われている処理であり、公知であるので詳細な説明は省略する。
【０１２９】
ここで、入力された領域の「領域座標」は、入力された領域に外接する多角形を求めることによって、多角形の頂点を求めることができる。また、領域の「特徴量」の求め方は、前述した方法と同様の方法を用いる。このようにして求められた「領域座標」と「色特徴量」は、検索条件リスト６０７に格納されている有効な条件情報の直後に追加される。これによって、「条件番号」も自動的に算出されて格納される。この結果、「キーワード」がクリアされ、「親領域」には「−１」が格納される。そして、処理を終えると、ステップＳ５０１へ進む。例えば、ステップＳ５０２を終えた状態では、図１１の条件番号３に対する条件情報のようになる。
【０１３０】
また、ステップＳ５０３は、検索結果表示エリア２１０３に表示されているサムネイルがマウス２０９によってクリックされた場合の処理である。サムネイルがクリックされると、クリックされたサムネイルを表示する領域が太線で縁取られて強調される。また、検索結果表示エリア２１０３に表示されているサムネイル画像の中の領域が太線で縁取られている場合は、その縁取りは取り除かれる。
【０１３１】
例えば、図２１におけるサムネイル２１０９をクリックすると、図２２に示される検索結果表示エリア２１０３の符号２２０１で示されるようになる。図２２は、画像検索プログラムにおいて領域選択処理を行うために、検索結果表示エリアの画像を選択した状態を説明するための画面表示例を示す図である。そして、処理を終えると、ステップＳ５０４へ進む。
【０１３２】
ステップＳ５０４は、ステップＳ５０４で強調されたサムネイル画像の中から、領域を選択する領域選択処理である。本処理の詳細については、図１６を用いて上述した通りである。本処理の中で領域を選択し、マウス２０９を用いて選択した領域をドラッグし、画像条件エリア２１０４の所望の位置にドロップすることによってステップＳ５０５へ進む。
【０１３３】
ステップＳ５０５では、ステップＳ５０４で選択した領域並びにその領域の子孫の領域を、画像条件エリア２１０４の中のドロップされた位置に表示する。さらに、ステップＳ５０５は、ステップＳ５０４で選択した領域に関する情報及びその領域の全ての子孫の領域に関する情報に基づいて、検索条件リスト６０７の検索条件として追加する処理である。
【０１３４】
ここで、ステップＳ５０４で選択した領域の領域ＩＤが、検索結果リスト６０９に存在しない場合は、領域データベース６０５の「親領域」を辿っていき、検索結果リスト６０９に存在する親領域の領域ＩＤを求める。この領域ＩＤ、若しくは、ステップＳ５０４で選択した領域の領域ＩＤの検索結果リスト６０９の「領域座標」に格納された対応する多角形の座標と、領域データベース６０６の中の「領域座標」の多角形の座標の関係から、検索結果リスト６０９中の多角形の領域と領域データベース６０６の多角形の領域の縮小率を求めることができる。
【０１３５】
この縮小率に基づいて、ステップＳ５０４で選択した領域並びにその領域の子孫の領域の多角形の座標を、それぞれ縮小した座標に変換する。また、ステップＳ５０４で選択した領域の画像条件エリア２１０４の中のドロップされた位置の多角形の座標と、前述したようにして求められた縮小された多角形の座標の関係から、領域の移動量を求めることができる。そこで、ステップＳ５０４で選択した領域並びにその領域の子孫の領域の多角形の縮小座標を、画像条件エリア２１０４の中の座標にシフトする。このようにして得られた縮小された領域座標を検索条件リスト６０７の「領域座標」に、ステップＳ５０４で選択した領域から順番に、順次、個別の条件として追加していく。
【０１３６】
検索条件リスト６０７の「キーワード」と「色特徴量」は、領域データベース６０６の各領域に対応した「キーワード」と「色特徴量」をそれぞれコピーする。検索条件リスト６０７の「親領域」には、ステップＳ５０４で選択した領域に対しては、「−１」を格納し、それ以外の領域に対しては、領域データベース６０６の「親領域」の値を参照し、検索条件リスト６０７の「条件番号」を用いて、同じ親子関係が維持されるように格納する。
【０１３７】
例えば、図２３（ｃ）の状態で、壁２３０５をドラッグして、画像条件エリア２１０４へドロップすると、図１１の検索条件リスト６０７の条件番号４、５に示されるように、壁の領域だけでなく、窓の領域の情報も条件として登録される。また、ステップＳ５０４において、画像全体を選択すると、ステップＳ５０５において、選択された画像に含まれる全ての領域の情報が、検索条件リスト６０７へ追加される。
【０１３８】
検索条件リスト６０７へ検索情報を追加した後、画像条件エリア２１０４のドロップされた位置に、ステップＳ５０４で選択した領域を表示し、また、キーワードエリア２１０６に、今回追加された検索条件の「キーワード」に格納された文字列を表示する。その際、個々の検索条件ごとに改行を行って表示を行う。そして、処理を終えると、ステップＳ５０１へ進む。
【０１３９】
ステップＳ５０６は、マウス２０９によって、画像条件エリア２１０４がクリックされた場合の処理である。すなわち、マウス２０９を用いて、画像条件エリア２１０４に表示されている領域を選択する処理である。ここでは、検索条件リスト６０７の「条件番号」、「座標領域」及び「親領域」を参照して、ステップＳ２０８と同じようにして、領域の選択を行う。この場合、親子関係は、領域ＩＤの代わりに条件番号を用いて把握する。選択された領域は、画像条件エリア２１０４の中では、ステップＳ２０８と同じように、太線で輪郭が縁取りされて表示される。また、検索条件リスト６０７の中で、選択された領域に対するキーワードが存在する場合は、キーワードエリア２１０６に表示されるキーワードが、他のキーワードとは異なる色で表示される。そして、処理を終えると、ステップＳ５０７へ進む。
【０１４０】
ステップＳ５０７は、必要に応じて、ステップＳ５０６で選択した領域のサイズや位置や色を変更する処理である。ここで、マウスを用いた図形（領域）のサイズや位置や色の変更は、マイクロソフト社のＷｏｒｄ ２０００の中の描画アプリケーションで一般的に行われている処理であり、公知であるので詳細な説明は省略する。これらの変更にしたがって、検索条件リスト６０７中の「領域座標」と「色特徴量」の値が変更される。また、選択された領域が子の領域を持つ場合は、その子孫を辿って、同様の変更が行われる。そして、処理を終えるとステップＳ５０１へ進む。
【０１４１】
ステップＳ５０８は、キーワードエリア２１０６がクリックされたときの処理であり、キーワードの入力又は編集を行う。画像条件エリア２１０４に何も入力されていない場合、或いは、画像条件エリア２１０４の中の領域が選択されていない場合、或いは、画像条件エリア２１０４全体が選択されている場合は、画像条件エリア２１０４中の領域とは無関係に、キーワードを入力することができる。そして、キーワードエリア２１０６に表示されている文字列が存在している場合は、これらの文字列を黒色で表示する。さらに、キーワードエリア２１０６に表示されている末尾の文字列の行を改行し、新たな末尾の行の先頭にカーソルを表示する。
【０１４２】
また、キーワードをキーボード２０７から入力すると、入力された文字列は赤色で表示される。マウス２０９でキーワードエリア２１０６以外の場所をクリックすると、キーワード入力が終了し、赤色で新たに入力されたキーワードが検索条件リスト６０７へ格納される。例えば、図１１の条件番号１に示すように、この場合は、「領域座標」や「色特徴量」はクリアされ、「親領域」に「−１」を格納する。画像条件エリア２１０４の中の領域が選択されており、その領域に対する検索条件リスト６０７の「キーワード」に文字列が格納されている場合は、対応するキーワードエリア２１０６中の文字列の色を赤色で表示し、他の文字列を黒色で表示して両者の識別ができるようにし、これらの文字列の先頭にカーソルを表示し、これらの文字列の編集及び新たなキーワードの入力が行えるようになる。新たに入力される文字列は、例えば赤色で表示される。
【０１４３】
画像条件エリア２１０４の中の領域が選択されており、その領域に対する検索条件リスト６０７の「キーワード」に文字列が格納されていない場合は、キーワードエリア２１０６に表示されている文字列を黒色で表示する。また、キーワードエリア２１０６に表示されている末尾の文字列の行を改行し、新たな末尾の行の先頭にカーソルを表示する。これによって、新たなキーワードの入力が行えるようになる。尚、新たに入力される文字列は、例えば赤色で表示される。
【０１４４】
また、マウス２０９でキーワードエリア２１０６以外の場所をクリックすると、キーワードの入力／編集が終了し、赤色で入力／編集されたキーワードが、画像条件エリア２１０４の中の選択されている領域に対する検索条件リスト６０７中の条件情報の「キーワード」へ格納される。そして、処理を終えるとステップＳ５０１へ進む。尚、キーワードの内容が複数ある場合は、内容を表現する文字列を「，」によって区切って入力を行う。尚、上述した実施形態では、一例として赤と黒を用いているが、本発明の適用はこの色の組み合わせ以外であってもよい。また、色の異同に関わらず、通常の文字と下線付きの文字や影付文字等の区別を用いてもよい。
【０１４５】
次いで、ステップＳ４０４における類似度算出処理について、図１２と図１９を用いて説明する。
【０１４６】
図１２は、ステップＳ４０２で取り出した画像中の領域に対して、ステップＳ４０１で指定した検索条件と比較した結果を格納する領域比較バッファ６０８のデータ構成例を示す図である。図１２に示されるように、検索条件リスト６０７の各条件情報に対して類似度が最も高い領域の領域ＩＤが「領域ＩＤ」に格納され、その類似度が「個別条件類似度」に格納され、条件情報の条件番号が「条件番号」に格納されている。
【０１４７】
一方、図１９は、ステップＳ４０４における類似度算出処理を説明するためのフローチャートである。まず、検索条件リスト６０７とステップＳ４０２で取り出した画像の類似度を格納する「類似度」の値に「０」を格納し初期化する（ステップＳ６０１）。また、領域バッファ６０８の内容についてもクリアして初期化する。
【０１４８】
次に、検索条件リスト６０７中の条件情報とステップＳ４０２で取り出した画像中の領域の類似度を格納する「個別類似度」の値に「０」を格納して初期化し、検索条件リスト６０７の先頭から一つずつ条件情報を取り出す（ステップＳ６０２）。そして、条件情報が取り出せたかどうかによって以降の処理を分岐する（ステップＳ６０３）。その結果、条件情報を取り出すことができた場合（Ｙｅｓ）、ステップＳ６０４へ進む。一方、検索条件リスト６０７から全ての条件情報を取り出し終えた場合（Ｎｏ）、ステップＳ６０９へ進む。
【０１４９】
ステップＳ６０４では、領域データベース６０６の中からステップＳ４０２で取り出した画像に対する領域情報を一つずつ順番に取り出す。そして、ステップＳ６０５において、領域情報が取り出せた場合（Ｎｏ）、ステップＳ６０６へ進む。一方、ステップＳ４０２で取り出した画像に対する領域情報を全て取り出し終えた場合（Ｙｅｓ）、ステップＳ６０７へ進む。
【０１５０】
ステップＳ６０６は、ステップＳ６０２において取り出した条件情報と、ステップＳ６０４で取り出した領域情報の類似度Ｓｉｍを算出し、算出された類似度Ｓｉｍの値が「個別類似度」に格納されている値よりも大きかった場合は、算出された類似度Ｓｉｍの値で「個別類似度」の値を置き換える。尚、「個別類似度」を置き換える際に、ステップＳ６０４で取り出した領域情報の領域ＩＤを「領域候補」として記憶しておく。
【０１５１】
ここで、類似度Ｓｉｍの算出方法として、ステップＳ６０２において取り出した条件情報に格納されているタイプにしたがって、以下の３つの場合に分けて算出する。
【０１５２】
（１）全ての情報が格納されている場合
Ｓｉｍ ＝ （（ｗ１×Ｓ１）＋（ｗ２×Ｓ２）＋（ｗ３×Ｓ３）＋（ｗ４×Ｓ４））／（ｗ１＋ｗ２＋ｗ３＋ｗ４）
（２）「キーワード」の情報が格納されていない場合
Ｓｉｍ ＝ （（ｗ２×Ｓ２）＋（ｗ３×Ｓ３）＋（ｗ４×Ｓ４））／（ｗ２＋ｗ３＋ｗ４）
（３）「領域座標」の情報が格納されていない場合
Ｓｉｍ ＝ Ｓ１
ここで、Ｓ１、Ｓ２、Ｓ３、Ｓ４は、それぞれ、キーワード類似度、色特徴量類似度、サイズ類似度、位置類似度であり、ｗ１、ｗ２、ｗ３、ｗ４は、それぞれの類似度に対する重みである。
【０１５３】
キーワード類似度Ｓ１は、ステップＳ６０２において取り出した条件情報中の「キーワード」とステップＳ６０４で取り出した領域情報中の「キーワード」から算出する。それぞれ、「，」によって、複数の文字列が格納されているので、全ての組み合わせを比較する。その結果、完全に一致する文字列があれば、Ｓ１の値を「１．０」とする。また、自然な文章で文字列が構成されている場合があるので、完全に一致する文字列が見つからない場合は、文字列に形態素解析を行い、文字列を単語に分割し、名詞と形容詞と動詞の単語のみを取り出し、これらの単語の文字列を比較する。このようにして比較して一致する単語の個数を比較するために使用した単語の個数で割った値をＳ１の値とする。
【０１５４】
また、色特徴量類似度Ｓ２は、ステップＳ６０２において取り出した条件情報中の「色特徴量」とステップＳ６０４で取り出した領域情報中の「色特徴量」から算出する。ヒストグラムの合計の度数が１０００で正規化されているので、色特徴量類似度Ｓ２を以下の式に示すように、各「色特徴量」の要素の差の絶対値の和から求めることができる。
【０１５５】
Ｓ２＝１−（Σ｜ｈ１ｉ−ｈ２ｉ｜）／２０００
ここで、ｈ１ｉは、ステップＳ６０２において取り出した条件情報中の「色特徴量」のｉ番目の要素、ｈ２ｉは、ステップＳ６０４で取り出した領域情報中の「色特徴量」のｉ番目の要素である。
【０１５６】
さらに、サイズ類似度Ｓ３は、ステップＳ６０２において取り出した条件情報中の「領域座標」とステップＳ６０４で取り出した領域情報中の「領域座標」から算出する。サイズの類似度を算出するために、領域の多角形の面積から算出する方法も公知技術として挙げられるが、ここでは簡単のため、領域の外接矩形を求め、外接矩形の面積から算出する方法で行う。
【０１５７】
外接矩形を求めるためには、それぞれの「領域座標」の中から、最小、最大のｘ座標、ｙ座標を求めることによって、簡単に求めることができる。ステップＳ６０２において取り出した条件情報中の「領域座標」は、画像条件エリア２１０４の中での座標であり、画像データベース６０５に格納されている画像とはスケールが異なるので、画像条件エリア２１０４の縦と横の画素数をそれぞれ、１２０とすると、領域情報の面積を以下のようにしてスケールを合わせる。
【０１５８】
（領域情報の面積） ← （領域情報の面積）×（（１２０×１２０）／（（画像の縦サイズ）×（画像の横サイズ）））
画像の縦サイズと画像の横サイズは、画像データベース６０５から求めることができる。
【０１５９】
その後、サイズ類似度Ｓ３を以下のようにして算出することができる。
【０１６０】
（１）領域情報の面積のほうが条件情報の面積よりも大きい場合
Ｓ３＝１−（（条件情報の面積）／（領域情報の面積））
（２）領域情報の面積のほうが条件情報の面積よりも小さい場合
Ｓ３＝１−（（領域情報の面積）／（条件情報の面積））
さらにまた、位置類似度Ｓ４も、ステップＳ６０２において取り出した条件情報中の「領域座標」とステップＳ６０４で取り出した領域情報中の「領域座標」から算出する。位置類似度Ｓ４を算出するために、領域の多角形の重心から算出する方法も公知技術として挙げられるが、ここでも簡単のために、領域の外接矩形を求め、外接矩形の重心から算出する方法で行う。
【０１６１】
外接矩形は、前述のように簡単に求めることができる。サイズ類似度を求めたときと同様に、スケールを合わせるために、領域情報の重心の座標を以下のように補正する。
【０１６２】
（領域情報のｘ座標） ← （領域情報のｘ座標）×（１２０ ／（画像の横サイズ））
（領域情報のｙ座標） ← （領域情報のｙ座標）×（１２０ ／（画像の縦サイズ））
その後、位置類似度Ｓ４を以下のようにして算出することができる。
【０１６３】
Ｓ４＝ １− （（条件情報と領域情報の重心の距離）／ （１２０×√２））
ステップＳ６０６の処理を終えるとステップＳ６０４へ進む。
【０１６４】
ステップＳ６０７は、ステップＳ６０４からステップＳ６０６までにおいて比較した結果を領域比較バッファ６０８へ登録する処理である。すなわち、「個別類似度」の値が０でなければ、ステップＳ６０２で取り出した条件情報の条件番号の値を「条件番号」に、「領域候補」の値を「領域ＩＤ」に、「個別類似度」の値を「個別条件類似度」にそれぞれ格納する。一方、「個別類似度」の値が０であれば、領域比較バッファ６０８への登録は行わない。そして、処理を終えるとステップＳ６０８へ進む。ステップＳ６０８では、「類似度」に「個別類似度」の値を加算し、ステップＳ６０２へ進む。
【０１６５】
一方、ステップＳ６０９では、「類似度」に格納された値を、検索条件リスト６０７に格納された条件情報の個数で正規化する処理である。ここでは、「類似度」に格納された値を条件上のほうの個数で割った値で、「類似度」の値を置き換える。処理を終えると類似度算出処理を終了する。
【０１６６】
次いで、ステップＳ４０６におけるサムネイル作成処理について、図２０を用いて説明する。図２０は、ステップＳ４０６におけるサムネイル作成処理の詳細を説明するためのフローチャートである。
【０１６７】
まず、ステップＳ４０２で取り出した画像上で、領域比較バッファ６０８に格納された領域の中から、検索条件リスト６０７の中で親領域を持たない領域を取り囲む矩形領域を作成する（ステップＳ７０１）。具体的には、領域比較バッファ６０８に格納された領域ＩＤを一つずつ取り出し、対応する条件番号をもとに、検索条件リスト６０７の対応する「親領域」の値が「−１」である領域に対してのみ、領域データベース６０６中の対応するの領域座標から、最小のｘ座標、ｙ座標、並びに、最大のｘ座標、ｙ座標を求めることによって、領域に外接する矩形領域を求めることができる。ここで、矩形領域を合成してサムネイルを作成する関係上、外接する矩形領域よりも大きい矩形領域を作成する。そのためには、最小のｘ座標、ｙ座標の値から所定の値を引き、最大のｘ座標、ｙ座標に所定の値を加えることによって、目的の矩形領域を作成することができる。これらの計算により、座標の値が画像内の値に収まるようにすることは言うまでもない。
【０１６８】
例えば、図８に示される画像に対して、領域比較バッファ６０８の中に、領域ＩＤ１００００１、１００００２の領域が存在する場合は、図１０に示される領域データベース６０６から、図２４（ａ）に示されるように、車と家を取り囲む矩形領域を求めることができる。図２４は、サムネイル作成処理の一実施形態の様子を説明するための図である。同様に、領域比較バッファ６０８の中に、領域ＩＤ１００００１、１００００３の領域が存在する場合は、図２５（ａ）に示されるように、車と木を取り囲む矩形領域を求めることができる。また、図２５は、サムネイル作成処理の別の実施形態の様子を説明するための図である。
【０１６９】
ステップＳ７０２においては、ステップＳ７０１で求めた矩形領域が重なっているものに対して、矩形領域を統合する。２つの矩形領域が重なっているかどうかは、２つの矩形領域の最小のｘ座標、ｙ座標、並びに、最大のｘ座標、ｙ座標を比較することによって、容易に判定できる。２つの矩形領域が重なっている場合は、２つの最小のｘ座標、ｙ座標のうち小さいほうの値を、それぞれ新たな矩形領域の最小のｘ座標、ｙ座標とし、同様に、２つの最大のｘ座標、ｙ座標のうち大きいほうの値を、それぞれ新たな矩形領域の最大のｘ座標、ｙ座標とすればよい。
【０１７０】
このようにして、２つの領域を比較を繰り返すことによって、領域の統合を進めていく。領域の統合ができなくなれば、ステップＳ７０３へ進む。例えば、図２４（ａ）に示される２つの矩形領域が存在する場合は、統合された結果、図２４（ｂ）に示される矩形領域が作成される。
【０１７１】
ステップＳ７０３において、ステップＳ７０２までにおいて求められた各矩形領域のサムネイル画像上での配置位置を決定する。最も簡単な方法としては、ステップＳ７０２までにおいて求められた全ての矩形領域を包含する最小の矩形領域を求め、それをサムネイル画像とすることである。このような矩形領域を求めるためには、各矩形領域の中から、最小のｘ座標、ｙ座標を求め、これを矩形領域の左上の座標とし、最大のｘ座標、ｙ座標を求め、これを矩形領域の右下の座標とすればよい。
【０１７２】
本実施形態では、サムネイル画像の最大の横サイズと縦サイズは、それぞれ、１２０画素としているので、この矩形領域の縦横どちらかが長いほうのサイズが１２０画素となるように、矩形領域を縮小或いは拡大すればよい。これによって、サムネイル画像上では、全てを包含する矩形領域の左上の座標の値がｘ、ｙともに０になり、右下の座標のｘ、ｙのどちらか、或いは、両方が１２０になる。このような処理により、例えば、ステップＳ７０２で、図２４（ｂ）に示される矩形領域が得られた場合は、サムネイル画像での矩形領域の配置は図２４（ｃ）のようになり、図２５（ａ）に示される矩形領域が得られた場合は、サムネイル画像での矩形領域の配置は図２７のようになる。処理を終えると、ステップＳ７０４へ進む。図２７は、サムネイル作成処理によるサムネイル画像の作成結果を説明するための図である。
【０１７３】
ステップＳ７０４では、サムネイル画像上での領域比較バッファ６０８に格納された領域を表す座標を、領域データベース６０６に格納された領域座標を変換することによって求める。ステップＳ７０３で得られた全ての矩形領域を包含する最小の矩形領域が、横長である場合、この矩形領域の左上のｘ座標の値をｘ０、ｙ座標の値をｙ０とし、横サイズをｘ１とし、領域データベース６０６に格納された領域座標のｘ座標をｘ、ｙ座標をｙとすると、変換後のサムネイル上での領域座標のｘ座標ｘ'、ｙ座標ｙ'は、以下の式によって求めることができる。
【０１７４】
ｘ'＝ （１２０／ｘ１）ｘ − ｘ０
ｙ'＝ （１２０／ｘ１）ｙ − ｙ０
縦長である場合も、同様にして変換することができる。ここで求めた領域座標の値は、検索結果リスト６０９の「領域座標」に格納される。処理を終えるとステップＳ７０５へ進む。
【０１７５】
ステップＳ７０５では、サムネイル画像を合成する処理である。上述した矩形領域の配置方法では、全ての矩形領域を包含する最小の矩形領域そのものがサムネイル画像になる。さらに、ステップＳ７０４で求めたサムネイル画像上での各領域の「領域座標」をもとにして、領域比較バッファ６０８に格納された領域に対して、検索番号によって決められた色の太線で、サムネイル画像上で各領域の輪郭を縁取る。
【０１７６】
例えば、図２４（ｃ）では、車に対しては実線で縁取り、家に対しては点線で縁取っているが、これは、色が異なっていることを意味している。もちろん、条件番号毎に色を変えるのではなく、実線や点線や二重線のように、線の種類を変えて縁取ることも可能であり、条件番号毎に対応した領域の区別が付けられるように領域の表示の形態を変えれば、同じ効果が得られる。処理を終えるとサムネイル作成処理を終了する。
【０１７７】
以上述べたサムネイル作成方法では、例えば図２７に示すように、領域比較バッファ６０８に格納された領域が両端に存在する場合は、検索結果として表示されるサムネイル画像においても、検索の条件を満たした領域が小さく表示されるという場合がある。このような場合を改善するための別のサムネイル作成方法を以下に述べる。
【０１７８】
基本的には、図２０に示されるフローチャートと同じ手順をとるが、ステップＳ７０３においてステップＳ７０１で作成した矩形領域の配置を決定する際、矩形領域によって使用されていないｘ座標、ｙ座標の値に対応した領域を取り除いて、矩形領域を配置する。矩形領域によって使用されていないｘ座標、ｙ座標の値を求めるためには、全ての矩形領域をｘ軸、ｙ軸に射影し、矩形領域のｘ軸、ｙ軸上での包含関係を考慮することによって、容易に求めることができる。
【０１７９】
例えば、ステップＳ７０１において、図２４（ａ）に示す矩形領域が作成された場合では、図２４（ｂ）のドット表示を用いて表示されている領域が、矩形領域によって使用されていないｘ座標、ｙ座標の値に対応した領域である。このような領域を取り除いて矩形領域を配置すると、図２４（ｃ）に示されるように配置される。ステップＳ７０４の領域座標変換処理では、サムネイル画像上における各矩形領域の左上の座標がわかるので、前述の説明と同じようにして、簡単に領域座標を変換することができる。
【０１８０】
ステップＳ７０５のサムネイル画像合成処理は、ステップＳ７０３で決定した各矩形領域の配置を元に、サムネイル画像上に矩形領域を配置し、また、矩形領域以外で、ステップＳ７０３において取り除かれなかった領域も同様にしてサムネイル画像上に配置して合成を行う。例えば、図２４（ａ）の画像は、サムネイル画像として、図２４（ｃ）のようになる。
【０１８１】
以上述べたサムネイル作成方法では、領域比較バッファ６０８に格納された領域のサイズが差異が大きいと、小さい領域に対しては、大きく表示されないので、目視で確認しにくいという場合がある。このような場合を改善するための別のサムネイル作成方法を以下に述べる。
【０１８２】
基本的には、図２０に示されるフローチャートと同じ手順をとるが、ステップＳ７０１で領域比較バッファ６０８に格納された領域を取り囲む矩形領域を作成した後、矩形領域が複数存在する場合は、ステップＳ７０２における矩形領域の統合は行わずに、代わりに、各矩形領域の面積が同じになるように、矩形領域の拡大又は縮小を行う。
【０１８３】
例えば、一番大きい矩形領域の面積を求めて、他の矩形領域の面積が同じになるように拡大する。この際、各矩形領域に含まれる多角形の領域の頂点の座標に対して、領域データベース６０６に格納されている「領域座標」の値を、各矩形領域の左上を原点とする座標に変換しておく。これは、前述のステップＳ７０４において述べた方法と同様の方法をとることによって実現できる。もちろん、矩形領域の面積が同じ大きさになるようにするのではなく、対象となる各領域自体の面積が同じになるようにしてもよいことは言うまでもない。
【０１８４】
その後、ステップＳ７０３と同様に、サムネイル画像における矩形領域の配置を決定する。ステップＳ７０１で作成した矩形領域の左上の頂点の座標のｘ座標、ｙ座標の値が小さい矩形領域から順番に面積を同じにした矩形領域を取り出し、合成する画像の左上から順番に、最終的に出来上がる合成画像の面積ができるだけ小さくなるように配置していく。
【０１８５】
例えば、一番最初の矩形領域を配置した後、２番目以降の矩形領域は、すでに配置済みの矩形領域によって合成された多角形の左上の点を原点とし、原点以外でｘ座標の値が０の頂点からｙ座標の値が０の頂点までを探索し、これから配置しようとする矩形領域の左上、右上、左下を探索している頂点に合わせていき、配置しようとする矩形の頂点の座標の値が０以上の値をとり、かつ、すでに配置済みの矩形領域によって合成された多角形と重複せず、配置後に合成される多角形に外接する矩形の面積が最小になる配置位置を求める。
【０１８６】
例えば、図２５（ａ）に示される木と車の矩形領域は、図２６に示されるように面積をそろえて配置される。図２６は、複数の矩形領域の面積を揃えた場合のサムネイル画像作成処理の様子を説明するための図である。このようにして配置された矩形領域を外接する矩形がサムネイル画像の元となり、外接する矩形の長い辺の長さが１２０画素になるように、画像を縮小又は拡大することによって、サムネイル画像が出来上がる。
【０１８７】
続いて、ステップ７０４において、領域比較バッファ６０８に格納された領域を表す座標を、ステップＳ７０１で求めた矩形の中での領域の領域座標を元に求める。このように各領域を取り囲む矩形領域のサムネイル画像上における左上の頂点の座標を簡単に求めることができるので、前述のステップＳ７０４で述べた方法と同じようにして、簡単に求めることができる。その後、前述のステップＳ７０５で述べた方法と同じようにして、サムネイル画像を合成していく。
【０１８８】
以上述べたサムネイル作成方法では、領域比較バッファ６０８に格納された領域のみが表示され、画像全体が表示されないため、画像全体のイメージがつかめない場合がある。例えば、図２４（ｃ）のようなサムネイルが作成されると、図２４（ａ）からわかるように木が表示されなくなる。また、図２６に示されるサムネイルが作成されると、家が表示されなくなる。このような問題を改善するための別のサムネイル作成方法を以下に述べる。
【０１８９】
従来、作成されるサムネイル画像が一つだけであったのに対し、ここでは複数のサムネイル画像を作成する。一つのサムネイル画像は、画像データベース６０５中の画像を縮小した画像であり、縦サイズ、横サイズのとどちらか長い辺のサイズが１２０画素になるように縮小する。ステップＳ７０４と同様に、領域比較バッファ６０８に格納された領域に対して、検索番号によって決められた色の太線で、サムネイル画像上で各領域の輪郭を縁取る。他のサムネイル画像として、領域比較バッファ６０８に格納された領域の中から、検索条件リスト６０７の中で親領域を持たない領域に対して、一つずつサムネイル画像を作成する。これらのサムネイル画像の作成方法は、基本的には、図２０に示されるフローチャートと同じ手順をとるが、ステップＳ７０２の矩形領域の統合を行なう必要はない。
【０１９０】
ステップＳ７０３の矩形領域配置決定処理において、作成されるサムネイル画像の縦横のアスペクト比は、画像データベース６０５中の画像と同じになるようにする。このサムネイル画像の矩形の縦、横どちらかの両辺が、ステップＳ７０１で作成した矩形領域の対応する両辺と重なるように配置する。ただし、この位置関係によるサムネイル画像の矩形でデータベース６０５中の画像を切り出したときに、データベース６０５中の画像の外側を切り出す場合は、内側に収まるようにサムネイル画像の矩形の位置と、ステップＳ７０１で作成した矩形領域の位置をずらして補正する。
【０１９１】
ステップＳ７０４では、前述と同様にして、矩形領域の座標を変換することができる。ステップＳ７０５では、データベース６０５中の画像上において、ステップＳ７０１で作成した矩形領域とステップＳ７０３で決定したサムネイル画像の矩形との位置関係を用いて、データベース６０５中の画像からサムネイル画像を切り出し、縦横どちらか長い辺のサイズが１２０になるように縮小する。そして、前述述べたように、検索番号によって決められた色の太線で、サムネイル画像上で領域の輪郭を縁取る。
【０１９２】
例えば、図８に示される画像に対して、領域比較バッファ６０８の中に、領域ＩＤ１００００１、１００００３の領域が存在する場合は、画像データベース６０５中の画像を縮小したサムネイル画像は図２８（ａ）のようになる。図２８は、一画像に対して複数のサムネイルを作成するサムネイル作成処理の実施形態を説明するための図である。また、領域ＩＤ「１００００１」に対するサムネイル画像は、図２８（ｂ）のようになり、領域ＩＤ「１００００３」に対するサムネイル画像は、図２８（ｃ）のようになる。
【０１９３】
このようにして、一つの画像に対して複数のサムネイル画像を作成する場合は、検索結果リスト６０９の「サムネイル画像」に、複数のサムネイル画像が作成されるように拡張する。例えば、ファイル名を「”」ではさみ、「”」ではさまれたファイル名を、「，」で区切ることによって、複数のサムネイル画像を格納することができる。「サムネイル画像」の中でのファイル名の順番は、画像データベース６０５中の画像を縮小したサムネイル画像を先頭にし、続いて、領域比較バッファ６０８中の先頭の領域ＩＤに対応するサムネイル画像から順番に格納していく。
【０１９４】
ここで、ステップＳ４０８において、サムネイル画像を検索結果表示エリア２１０３に表示する際に、スライドショーのように複数のサムネイル画像を自動的に順次表示を切り替えるようにしてもよい。また、ステップＳ４０９において、マウス２０９による切替ボタン２１１０のクリックが繰り返された場合、検索指示エリア２１０３の表示は前述のステップＳ４０９の説明で述べた表示方法と同じである。ここで、検索結果表示エリア２１０３に表示するサムネイルは、自動的に表示を切り替えることを中止し、最初は画像データベース６０５中の画像を縮小したサムネイル画像を表示し、切替ボタン２１１０のクリックされる毎に、対象となっている条件番号に対応した領域比較バッファ６０８中の領域ＩＤが示す領域を含むサムネイルを表示し、同様に領域の太線をブリンクする。全ての条件番号に対するサムネイル画像の表示の切り替えが終了した場合は、また、サムネイル画像を自動的に順次表示切り替えする状態に復帰する。
【０１９５】
尚、このようにして、一つの画像に対して複数のサムネイル画像を作成する場合は、検索結果表示エリア２１０３に、これらのサムネイル画像を同時に隣り合わせて表示するようにしてもよい。この場合は、同じ画像に対するサムネイルであることがわかるように、隣り合わせたサムネイル画像の周りを太線で囲むようにする必要がある。
【０１９６】
尚、本実施形態では、外部記憶装置としてＣＤ−ＲＯＭから画像登録プログラムと画像検索プログラムを直接ＲＡＭ２０３にロードして実行させる例を示したが、この他に、ＣＤ−ＲＯＭから画像登録プログラムと画像検索プログラムをいったんハードディスクドライブ２０６に格納（インストール）しておき、画像登録プログラムと画像検索プログラムを動作させる時点で、ハードディスクドライブ２０６からＲＡＭ２０３にロードするようにしてもよい。
【０１９７】
また、画像登録プログラムと画像検索プログラムを記録する媒体は、ＣＤ−ＲＯＭ以外にＦＤ（フレキシブルディスク）、ＩＣメモリカード等であってもよい。
【０１９８】
更に、画像登録プログラムと画像検索プログラムを、ＲＯＭ２０２に記録しておき、これをメモリマップの一部となるように構成し、直接ＣＰＵ２０１で実行することも可能である。
【０１９９】
更に、画像登録プログラムと画像検索プログラムを、ネットワーク上のサーバに記憶しておき、必要に応じて、ネットワークカード２１０を介してネットワーク上のサーバからＲＡＭ２０３にダウンロードするようにしてもよい。
【０２００】
また、本実施形態では、画像データベース６０５に格納された静止画像を検索する実施形態を示したが、画像データベース６０５以外に、動画像データベースを用意し、各動画像データに対して、複数のキーフレームの静止画像を対応付け、この静止画像を画像データベース６０５に格納することにより、前述で述べた方法により画像データベース６０５に格納されたキーフレームを検索することで、対応する動画像を検索するようにしてもよい。この場合、動画像データベースには、キーフレームと共に、キーフレームに対応した動画像の先頭からの時間軸上の位置を格納しておき、キーフレームを検索した後に対応する時間軸上の位置から動画像を再生するようにしてもよい。
【０２０１】
また、本実施形態では、領域の画像特徴として、色と領域のサイズと位置を用いて、検索の条件との類似度を算出していたが、領域データベース６０６に格納されている領域座標自体が領域の形状を表しているので、領域の形状を検索の条件との類似度の算出に用いてもよい。
【０２０２】
また、本実施形態では、領域データベース６０６の領域座標に、領域の輪郭を多角形で表現し、多角形の頂点の座標を格納していたが、領域に外接する矩形で領域を示し、領域に外接する矩形の左上の座標と右下の座標のみを格納するようにしてもよい。このようにすることにより、領域データベース６０６の領域座標の記憶容量を削減することが可能になる。
【０２０３】
また、本実施形態では、領域データベース６０６中の領域情報の中に、領域の内容を表現するために「キーワード」を格納していたが、キーワードに代えて領域の内容に対応した概念コードを格納するようにしてもよい。ここで、概念コードとは、例えば、概念の体系をツリー構造で表したシソーラス辞書における各ノードに割り振られたユニークな番号である。
【０２０４】
すなわち、ステップＳ２０３のキーワード設定の処理において、シソーラス辞書のノード（概念）の一覧を表示し、所望の概念を選択することによって、領域データベース６０６に格納する。或いは、ステップＳ２０３のキーワード設定の処理において入力されたキーワードをキーとしてシソーラス辞書を検索し、キーワードに対応した概念コードを求めて領域データベース６０６に格納してもよい。そして、検索条件リスト６０７の条件情報のキーワードの代わりに、概念コードを格納するようにする。ステップＳ５０８において入力又は編集されたキーワードも、前述と同様にして概念コードに置き換え、検索条件リスト６０７に格納することができる。そして、ステップＳ６０６において類似度Ｓｉｍを算出する場合は、キーワード類似度の代わりに、概念コード類似度を使用する。概念コードが一致すれば、概念コード類似度の値を「１．０」とする。
【０２０５】
すなわち、本発明に係る画像検索装置では、領域特徴として、領域の画像から得られる概念を表現した概念情報、概念を言語によって表現した言語情報、領域の画像の特徴を表現した画像特徴、又は、概念情報と言語情報と画像特徴の組み合わせを特徴としてもよい。
【０２０６】
また、本実施形態では、基本的に、常に、ステップＳ４０２で取り出した画像に対するサムネイルとして、その画像を単純に縮小した画像ではなく、その画像の部分画像、或いは、領域を合成した画像をサムネイル画像として作成していた。そこで、その画像の面積に対して、領域比較バッファ６０８に格納された領域の面積が所定の割合以上であれば、その画像を単純に縮小した画像をサムネイル画像としてもよい。
【０２０７】
また、本実施形態では、ステップＳ７０５において、対象となる画像に対して、領域に外接する矩形の部分画像を用いてサムネイル画像を合成することにより、領域の外側の部分画像もサムネイル画像に含まれていた。そこで、領域内の画像のみを用い、領域の外側の部分画像を用いずサムネイル画像を合成するようにしてもよい。
【０２０８】
また、本実施形態では、ステップＳ４０６において、サムネイル画像を作成していたが、複雑な領域の合成を行わない場合は、対象となる画像に対して、検索結果表示エリア２１０３に表示する矩形領域の座標のみを記憶しておき、ステップＳ４０８において検索結果表示エリア２１０３にサムネイル画像を表示する時に、その座標に基づいて対象となる画像の部分画像のみを表示するようにしてもよい。
【０２０９】
また、本実施形態では、ステップＳ４０６において、サムネイル画像を作成していたが、ステップＳ２１１を終えて、画像登録プログラムを終了する前に、登録された全ての領域の組み合わせに対して、サムネイル画像をあらかじめ作成しておき、ステップＳ４０６の代わりに、領域比較バッファ６０８に格納されている領域に対するサムネイル画像を検索して求めるようにしてもよい。
【０２１０】
また、上記実施形態では、領域比較バッファ６０８には、検索条件リスト６０７の各条件情報に対して類似度が最も高い領域を、それぞれ、一つだけしか登録できない例を示したが、一つの条件情報に対して、特定のしきい値以上の領域を複数登録できるようにしてもよい。このようにするためには、ステップＳ４０４における類似度算出処理において用いた、「個別類似度」と「領域候補」を配列として複数持てるようにし、ステップＳ６０６において算出した類似度Ｓｉｍの値が、特定のしきい値よりも大きければ、「個別類似度」と「領域候補」の配列に、Ｓｉｍの値と領域ＩＤを格納するようにする。そして、ステップＳ６０７において、「個別類似度」と「領域候補」の配列に、格納されている情報を領域比較バッファ６０８に登録すればよい。
【０２１１】
＜第２の実施形態＞
上述したように、本実施形態では、画像記憶部１０１を画像データベース６０５及びファイルシステムを用いて実現し、領域情報記憶部１０２と領域階層記憶部１０７とを領域データベース６０６を用いて実現し、複数の画像データの中から所望の画像データを検索する画像検索装置の例について示したが、単一の画像データを扱うことも可能である。
【０２１２】
すなわち、基本的には上述した画像検索装置と同じであるが、画像記憶部１０１をファイルシステム中の画像ファイルとして実現し、領域データベース６０６に格納されている領域情報のうち、一つの画像に対する領域情報のみを、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述したファイルとして、領域情報記憶部１０２と領域階層記憶部１０７とを実現する。この場合、画像ＩＤの代わりにＵＲＩ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）を用いて、対象となる画像を特定するようにしてもよい。或いは、このＸＭＬで記述した領域情報記憶部１０２と領域階層記憶部１０７とを、画像ファイルの中に格納するようにしてもよい。
【０２１３】
このような実施形態では、例えば、画像の編集を行うプログラム等において画像ファイルを読み込む場合に、領域情報記憶部１０２と領域階層記憶部１０７を実現したＸＭＬのデータを、領域データベース６０６の形式に変換して読み込むことにより、図１６に示すフローチャートによる領域選択処理を行うことができる。このような画像編集プログラム等においては、ステップＳ３１６のドラッグの代わりに、キーボードからコピーボタンが押された場合、いわゆるクリップボードに選択された領域に対する画像データを記憶し、クリップボード経由で画像内の他の場所に貼り付けを行ったり、別のアプリケーションで選択された領域の画像データを再利用したりすることが可能である。
【０２１４】
また、図１６と図１８には図示していないが、ステップＳ３１６の後、領域がダブルクリックされたかどうかを判定し、ダブルクリックされた場合は、ステップＳ５０４を終了し、ステップＳ５０５と同様に、選択された領域及びその子孫に対応した領域の領域情報を領域データベース６０６及び検索結果リスト６０９から求めて、検索条件リスト６０７に必要な情報を格納し、ステップＳ４０１の検索条件設定処理を終了し、画像の検索を行うようにしてもよい。
【０２１５】
ステップＳ５０５と異なる部分は、ステップＳ５０５が検索条件リスト６０７に検索条件を追加することであるのに対して、この場合は、検索条件リスト６０７の内容をクリアしてから検索条件を格納することである。これにより、選択された領域及びその子孫の領域のみが検索の条件として設定されることになる。
【０２１６】
また、図１６及び図２３を用いて説明した領域選択処理の別の実施形態として、図２９に示されるように、領域データベース６０６若しくは検索結果リスト６０９に基づいて、領域データベース６０６に格納されている画像の領域の親子関係（階層関係）をツリー構造を示す形で表示し、表示された領域をマウスを用いて選択するようにしてもよい。
【０２１７】
図２９は、図１０に示される図８の静止画像に関する領域データベース６０６の例に基づいて図８の静止画像に含まれる領域を階層的に表示した図である。図２９において、符号２９０１はツリーのルートである図８に示される静止画像を示している。また、２９０２及び２９０６は、それぞれツリーの各ノードの子供の階層の表示／非表示の切り替えを指示するためのスイッチである。そして、マウス２０９でスイッチ２９０２、２９０６をクリックする毎に、子供の階層の表示／非表示が切り替えられる。
【０２１８】
図２９において、スイッチ２９０２の「−」は表示状態にあることを示しており、スイッチ２９０６の「＋」は、非表示状態にあることを示している。スイッチ２９０２が表示状態であるので、画像全体の直下にある領域２９０３の「木」、２９０４の「家」、２９０５の「車」が表示されている。また、表示されているそれぞれの領域の横には、領域データベース６０６の「キーワード」に格納されている文字列が表示される。
【０２１９】
また、表示される各領域は、ほぼ同じ大きさになるように表示される。例えば、表示する領域の縦と横の最大の長さを決めておき、領域の縦又は横のどちらかの長さがこの最大長と等しくなるように表示する。これにより、小さい領域であっても、その領域が何であるのかが用意に把握することができ、細部まで確認できるようになる。そして、マウス２０９で表示されている領域をクリックすることによって領域を選択することができる。選択された領域は、符号２９０７に示されるように太線で輪郭を縁取って、他の領域と区別できるようにする。
【０２２０】
すなわち、本発明は、画像記憶部１０１が複数の画像データを記憶する画像検索装置である。そして、複数の画像データに含まれるオブジェクト領域に関する特徴をオブジェクト領域と対応付けて記憶する領域特徴記憶部と、決定された領域に関する特徴と領域特徴記憶部に記憶された他の画像データに含まれるオブジェクト領域に関する特徴とを比較して、比較された特徴が一致するオブジェクト領域を含む画像データを検索する画像検索部とを備えることを特徴とする。
【０２２１】
また、本発明に係る画像検索装置では、画像検索部が、決定された領域に関する特徴と領域特徴記憶部に記憶された他の画像データに含まれるオブジェクト領域に関する特徴とを比較して、比較された特徴が類似するオブジェクト領域を含む画像データを検索することを特徴とする。
【０２２２】
さらに、本発明に係る画像検索装置は、画像データを記憶する画像記憶部１０１と、画像データに含まれるオブジェクト領域に関する情報を記憶する領域情報記憶部１０２と、オブジェクト領域とその下位領域又は上位領域との階層関係を階層データとして記憶する領域階層記憶部１０７と、領域情報記憶部１０２に記憶されたオブジェクト領域に関する情報と階層データとに基づいて、画像データに含まれるオブジェクト領域の下位領域又は上位領域に関する画像を階層的に表示する画像表示部１０３とを備える。そして、画像表示部１０３に階層的に表示されたオブジェクト領域の下位領域又は上位領域の画像の中から一の領域が決定される。
【０２２３】
さらにまた、本発明に係る画像検索装置は、画像表示部１０３に階層的に表示される領域の画像が所定の大きさに統一されたことを特徴とする。
【０２２４】
さらにまた、本発明に係る画像検索装置は、オブジェクト領域の下位領域又は上位領域に対応付けられたキーワードを記憶するキーワード記憶部をさらに備える。そして、画像表示部１０３が、オブジェクト領域の下位領域又は上位領域の画像と前記キーワード記憶部に記憶されているキーワードとを対応させて表示させてもよい。
【０２２５】
本実施形態によれば、領域選択部１０５は、画像位置指定部１０４によって選択領域記憶部１０６に記憶されている領域の内部が指定された場合は、領域階層記憶部１０７を用いて、該領域の子供の領域のみを検索して指定された位置を含む領域を選択した。また、選択領域記憶部１０６に記憶されている領域の外部が指定された場合は、領域階層記憶部１０７を用いて、該領域の先祖の領域を階層の下から検索し、最初に見つかった該位置を含む先祖の領域を選択し、見つからなかった場合は、領域階層記憶部１０７のルートの直下の第一階層の領域のみを検索した。さらに、画像表示部１０３は、選択領域記憶部１０６に記憶されている領域の表示形態を変えることによって現在選択されている領域を識別することができるので、画像内の領域が階層的に構成されている場合でも、直感的にわかりやすい操作で容易に所望の領域を選択できるようになった。
【０２２６】
また、画像表示部１０３は、領域情報記憶部１０２と領域階層記憶部１０７を用いて、領域情報記憶部１０２に記憶されている領域の画像を階層的に表示する。そして、領域選択部１０５は、画像表示部１０３によって表示されている領域を選択するので、画像内の領域が階層的に構成されている場合でも、直感的にわかりやすい操作で容易に所望の領域を選択できるようになった。
【０２２７】
さらに、画像記憶部１０１は、複数の画像を記憶可能で、領域情報記憶部１０２によって記憶されている領域の特徴を該領域と対応付けて記憶する領域特徴記憶部を備え、選択領域記憶部１０６によって記憶されている領域に対応した前記領域特徴記憶部によって記憶されている特徴と、該領域特徴記憶部によって記憶されているほかの特徴を比較し、比較された特徴が一致若しくは類似している領域を含む画像記憶部に記憶された画像を検索する画像検索部を備えているので、選択された領域を用いて検索することができる。従って、選択された領域を用いて検索できることにより、キーワードを必要としない簡単な画像検索を実現することができる。
【０２２８】
＜第３の実施形態＞
図３０は、本発明の第３の実施形態に係る画像検索装置の概念図である。図３０において、画像記憶部１１０１には、画像検索の対象となる個々の画像データ及びそれぞれの画像データに対応するファイル名等が記憶される。領域情報記憶部１１０２は、画像記憶部１１０１に格納された個々の画像データ中の特定の領域を示す情報と、画像記憶部１１０１に格納された画像データが対応付けて格納される。
【０２２９】
領域特徴記憶部１１０３は、領域情報記憶部１１０２に格納された領域の特徴が格納される。そして、領域特徴記憶部１１０３では、領域の特徴と領域情報記憶部１１０２に格納された領域を示す情報とが対応付けて格納される。ここで、領域の特徴としては、領域に対応したオブジェクトを表すキーワード等の言語情報や、領域の色や形状や位置等の画像特徴情報等が挙げられる。
【０２３０】
画像特徴入力部１１０４は、検索したい画像の特徴を入力する。入力する特徴としては、キーワード等の言語、情報や、画像中の特定の領域の色や形状や位置等の画像特徴情報等が挙げられる。
【０２３１】
また、画像特徴表示部１０５は画像特徴入力部１０４によって入力された画像の特徴を特徴表示領域に表示する。そして、候補画像決定部１０６は、画像特徴入力部１０４で入力された特徴と領域特徴記憶部１０３に格納された特徴とを比較し、両特徴が一致若しくは類似している特徴に対応した領域を含む画像を検索結果の候補画像として決定する。さらに、画像表示部１０７は、画像記憶部１０１に記憶された画像を表示する。
【０２３２】
領域選択部１０８は、領域情報記憶部１０２に記憶されている領域の中から前記画像表示部１０７によって表示されている画像中の所望の領域を選択する。そして、画像特徴入力部１０４は、領域選択部１０８によって選択された領域に対応付けられた該領域の特徴を領域特徴記憶部１０３から求め、画像特徴表示部１０５の特徴表示領域の所望の場所に複写することで画像の特徴の入力を行う。
【０２３３】
また、図３０には示されていないが、領域情報記憶部１１０２に記憶されている領域聞の階層関係を記憶する領域階層記憶部を備える場合について説明する。この場合、画像特徴入力部１１０４は、領域階層記憶部を用いて領域選択部１１０８によって選択された領域の全ての子孫の領域を求め、選択された領域を含めた該領域に対応付けられた特徴を領域特徴記憶部１１０３から求める。そして、画像特徴表示部１１０５の特徴表示領域の所望の場所に複写することで画像の特徴の入力を行うようにしてもよい。また、画像特徴入力部１１０４は、前記複写された画像の特徴を編集することができる。
【０２３４】
第３の実施形態に係る画像検索装置のその他の部分の動作等については、第１及び第２の実施形態で述べた通りである。
【０２３５】
すなわち、本発明に係る画像検索装置は、複数の画像データを記憶する画像記憶部１１０１と、画像記憶部１１０１に記憶された画像データ内の所定のオブジェクト領域に関する情報を画像データと対応付けて記憶する領域情報記憶部１１０２と、領域情報記憶部１１０２に記憶されたオブジェクト領域の特徴をオブジェクト領域と対応付けて記憶する領域特徴記憶部１１０３と、検索対象となる画像データの特徴を入力する画像特徴入力部１１０４と、入力された特徴と領域特徴記憶部１１０３に記憶されたオブジェクト領域の特徴とが一致する場合、画像記憶部１１０１に記憶された画像データのうちオブジェクト領域を含む画像データを検索候補画像として決定する候補画像決定部１１０６と、画像記憶部１１０１に記憶された画像データを表示する画像表示部１１０７とを備える。そして、画像表示部１１０７で表示された画像データ上の任意の部分が指定されると、指定された部分を含むオブジェクト領域の特徴が検索対象となる画像データの特徴として入力される。
【０２３６】
また、本発明に係る画像検索装置は、オブジェクト領域とその下位領域又は上位領域との階層関係を階層データとして記憶する領域階層記憶部をさらに備えている。そして、階層データを用いて、指定された部分を含むオブジェクト領域に関する全ての下位領域の特徴が検索対象となる画像データの特徴として入力される。
【０２３７】
さらに、本発明に係る画像検索装置は、画像特徴入力部１１０４が、検索対象となる画像データの特徴を編集可能であることを特徴とする。
【０２３８】
以上に説明したように、第３の実施形態によれば、検索条件である領域の指定が容易になると同時に、領域の特徴をオペレータが直接入力せずに、精度の高い領域の特徴を検索の条件として指定することができ、検索の精度を向上させることができる。
【０２３９】
また、画像の特徴の入力を行うので、検索の条件である領域の指定が容易になると同時に、領域の特徴をオペレータが直接入力せずに、選択された領域の子孫の領域の特徴も利用するので、精度の高い領域の特徴を検索の条件として指定することができ、検索の精度を向上させることができる。
【０２４０】
さらに、画像特徴入力部１１０４は、前記複写された画像の特徴を編集することができるので、検索の条件となる領域の特徴を、より所望の特徴に変更することができるので、検索の精度を向上させることができる。
【０２４１】
＜その他の実施形態＞
また、上記実施形態では、スタンド・アローンの形態で実現していたが、ネットワーク上のサーバのサービスとして本発明を実施し、クライアント・マシーンで本発明の機能を利用する形態にすることも可能である。
【０２４２】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０２４３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２４４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０２４５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２４６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２８２】
【発明の効果】
以上説明したように、本発明によれば、画像内の領域が階層的に構成されている場合に、より簡単な操作で所望の階層の領域を選択することができる。また、画像内の選択された領域を用いてより簡易にかつ精度よく画像を検索することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像検索装置の概念図である。
【図２】第１の実施形態による画像検索装置を実現するための各種機器の接続構成を示すブロック図である。
【図３】ＣＤ−ＲＯＭ２０５から制御プログラム等がコンピュータシステムに供給されることを示す概念図である。
【図４】図２におけるＲＯＭ２０２内に記憶されているデータ構成の一例を説明するための図である。
【図５】可搬記録媒体であるＣＤ−ＲＯＭ２０５に記憶された画像登録プログラム５０１及び画像検索プログラム５０２等のデータ構成を示す図である。
【図６】処理プログラム実行時におけるＲＡＭ２０３上のデータ構成の一例を説明するための図である。
【図７】従来の画像検索システムにおける検索操作画面の一例を示す図である。
【図８】画像データベースに登録されている静止画像の一例を示す図である。
【図９】画像データベース６０５におけるデータ構成の一例を示す図である。
【図１０】領域データベース６０６におけるデータ構成の一例を示す図である。
【図１１】第１の実施形態における検索条件リスト６０７のデータ構成例を示す図である。
【図１２】ステップＳ４０２で取り出した画像中の領域に対して、ステップＳ４０１で指定した検索条件と比較した結果を格納する領域比較バッファ６０８のデータ構成例を示す図である。
【図１３】検索結果リストのデータ構成例を示す図である。
【図１４】第１の実施形態に係る画像検索装置の全体の動作手順を詳細に説明するためのフローチャートである。
【図１５】第１の実施形態に係る画像登録プログラムの詳細な処理手順を説明するためのフローチャートである。
【図１６】画像検索プログラム及び検索条件指定処理における領域選択処理の手順を説明するためのフローチャートである。
【図１７】図１４のステップＳ１０４における画像検索プログラムの動作を説明するためのフローチャートである。
【図１８】図１７の画像検索プログラムの処理におけるステップＳ４０１の検索条件指定処理の手順を詳細に説明するためのフローチャートである。
【図１９】ステップＳ４０４における類似度算出処理を説明するためのフローチャートである。
【図２０】ステップＳ４０６におけるサムネイル作成処理の詳細を説明するためのフローチャートである。
【図２１】図１４のステップＳ１０４の画像検索において表示されるディスプレイ２０８の画面表示例を示す図である。
【図２２】画像検索プログラムにおいて領域選択処理を行うために、検索結果表示エリアの画像を選択した状態を説明するための画面表示例を示す図である。
【図２３】領域選択処理を説明するための画面表示例を示す図である。
【図２４】図２４は、サムネイル作成処理の一実施形態の様子を説明するための図である。
【図２５】サムネイル作成処理の別の実施形態の様子を説明するための図である。
【図２６】複数の矩形領域の面積を揃えた場合のサムネイル画像作成処理の様子を説明するための図である。
【図２７】サムネイル作成処理によるサムネイル画像の作成結果を説明するための図である。
【図２８】一画像に対して複数のサムネイルを作成するサムネイル作成処理の実施形態を説明するための図である。
【図２９】図１０に示される図８の静止画像に関する領域データベース６０６の例に基づいて図８の静止画像に含まれる領域を階層的に表示した図である。
【図３０】本発明の第３の実施形態に係る画像検索装置の概念図である。
【符号の説明】
１０１、１１０１ 画像記憶部
１０２、１１０２ 領域情報記憶部
１０３、１１０７ 画像表示部
１０４ 画像位置指定部
１０５、１１０８ 領域選択部
１０６ 選択領域記憶部
１０７ 領域階層記憶部
１１０３ 領域特徴記憶部
１１０４ 画像特徴入力部
１１０５ 画像特徴表示部
１１０６ 候補画像決定部

Claims (5)

1. 画像データを表示装置上に表示するよう制御する表示制御手段と、
   前記画像データ内の一部の領域であるオブジェクト領域を下位領域とし、前記画像データ内の一部の領域であるオブジェクト領域であって該下位領域を表示上包含する領域を上位領域として、前記画像データ内に含まれるオブジェクト領域に関する下位領域と上位領域との階層関係を階層データとして記憶する階層データ記憶手段と、
   前記画像データ内の特定のオブジェクト領域を強調表示するよう前記表示制御手段を制御する強調表示制御手段と、
   前記強調表示制御手段によって強調表示する第１のオブジェクト領域を決定する第１の領域決定手段と、
   前記表示制御手段によって表示された前記画像データ内に対する位置の指定をユーザから受け付ける受付手段と、
   前記受付手段によって受け付けた指定位置が前記強調表示制御手段によって強調表示されている前記第１のオブジェクト領域であるか否かを判定する判定手段と、
   前記判定手段により前記指定位置が前記第１のオブジェクト領域内であると判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、前記第１のオブジェクト領域の下位領域であって前記指定位置を含む第２のオブジェクト領域に決定する第２の領域決定手段と、
   前記判定手段により前記指定位置が前記第１のオブジェクト領域ではないと判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、第１のオブジェクト領域の上位領域であって前記指定位置を含む第３のオブジェクト領域に決定する第３の領域決定手段を有することを特徴とする画像表示装置。
2. 前記第３の領域決定手段は、前記第１のオブジェクト領域の上位領域であって前記指定位置を含む領域がない場合、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、前記指定位置を含むオブジェクト領域のうち最上位のオブジェクト領域に決定することを特徴とする請求項１記載の画像表示装置。
3. 画像表示装置の画像表示方法であって、
   前記画像表示装置の表示制御手段が、画像データを表示装置上に表示するよう制御する表示制御ステップと、
   前記画像表示装置の階層データ記憶手段が、前記画像データ内の一部の領域であるオブジェクト領域を下位領域とし、前記画像データ内の一部の領域であるオブジェクト領域であって該下位領域を表示上包含する領域を上位領域として、前記画像データ内に含まれるオブジェクト領域に関する下位領域と上位領域との階層関係を階層データとして記憶する階層データ記憶ステップと、
   前記画像表示装置の強調表示制御手段が、前記画像データ内の特定のオブジェクト領域を強調表示するよう前記表示制御手段を制御する強調表示制御ステップと、
   前記画像表示装置の第１の領域決定手段が、前記強調表示制御ステップによって強調表示する第１のオブジェクト領域を決定する第１の領域決定ステップと、
   前記画像表示装置の受付手段が、前記表示制御ステップによって表示された前記画像データ内に対する位置の指定をユーザから受け付ける受付ステップと、
   前記画像表示装置の判定手段が、前記受付ステップによって受け付けた指定位置が前記強調表示制御ステップによって強調表示されている前記第１のオブジェクト領域であるか否かを判定する判定ステップと、
   前記画像表示装置の第２の領域決定手段が、前記判定ステップにより前記指定位置が前記第１のオブジェクト領域内であると判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御ステップによって強調表示するオブジェクト領域を、前記階層データを用いて、前記第１のオブジェクト領域の下位領域であって前記指定位置を含む第２のオブジェクト領域に決定する第２の領域決定ステップと、
   前記画像表示装置の第３の領域決定手段が、前記判定ステップにより前記指定位置が前記第１のオブジェクト領域ではないと判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御ステップによって強調表示するオブジェクト領域を、前記階層データを用いて、第１のオブジェクト領域の上位領域であって前記指定位置を含む第３のオブジェクト領域に決定する第３の領域決定ステップを有することを特徴とする画像表示方法。
4. コンピュータを、
   画像データを表示装置上に表示するよう制御する表示制御手段、
   前記画像データ内の一部の領域であるオブジェクト領域を下位領域とし、前記画像データ内の一部の領域であるオブジェクト領域であって該下位領域を表示上包含する領域を上位領域として、前記画像データ内に含まれるオブジェクト領域に関する下位領域と上位領域との階層関係を階層データとして記憶する階層データ記憶手段、
   前記画像データ内の特定のオブジェクト領域を強調表示するよう前記表示制御手段を制御する強調表示制御手段、
   前記強調表示制御手段によって強調表示する第１のオブジェクト領域を決定する第１の領域決定手段、
   前記表示制御手段によって表示された前記画像データ内に対する位置の指定をユーザから受け付ける受付手段、
   前記受付手段によって受け付けた指定位置が前記強調表示制御手段によって強調表示されている前記第１のオブジェクト領域であるか否かを判定する判定手段、
   前記判定手段により前記指定位置が前記第１のオブジェクト領域内であると判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、前記第１のオブジェクト領域の下位領域であって前記指定位置を含む第２のオブジェクト領域に決定する第２の領域決定手段、
   前記判定手段により前記指定位置が前記第１のオブジェクト領域ではないと判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、第１のオブジェクト領域の上位領域であって前記指定位置を含む第３のオブジェクト領域に決定する第３の領域決定手段
   として機能させるためのプログラム。
5. コンピュータを、
   画像データを表示装置上に表示するよう制御する表示制御手段、
   前記画像データ内の一部の領域であるオブジェクト領域を下位領域とし、前記画像データ内の一部の領域であるオブジェクト領域であって該下位領域を表示上包含する領域を上位領域として、前記画像データ内に含まれるオブジェクト領域に関する下位領域と上位領域との階層関係を階層データとして記憶する階層データ記憶手段、
   前記画像データ内の特定のオブジェクト領域を強調表示するよう前記表示制御手段を制御する強調表示制御手段、
   前記強調表示制御手段によって強調表示する第１のオブジェクト領域を決定する第１の領域決定手段、
   前記表示制御手段によって表示された前記画像データ内に対する位置の指定をユーザから受け付ける受付手段、
   前記受付手段によって受け付けた指定位置が前記強調表示制御手段によって強調表示されている前記第１のオブジェクト領域であるか否かを判定する判定手段、
   前記判定手段により前記指定位置が前記第１のオブジェクト領域内であると判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、前記第１のオブジェクト領域の下位領域であって前記指定位置を含む第２のオブジェクト領域に決定する第２の領域決定手段、
   前記判定手段により前記指定位置が前記第１のオブジェクト領域ではないと判定された場合に、前記第１のオブジェクト領域に代えて前記強調表示制御手段によって強調表示するオブジェクト領域を、前記階層データを用いて、第１のオブジェクト領域の上位領域であって前記指定位置を含む第３のオブジェクト領域に決定する第３の領域決定手段
   として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images