JP3284168B2

JP3284168B2 - 画像検索装置

Info

Publication number: JP3284168B2
Application number: JP29526095A
Authority: JP
Inventors: 正夫坂内; 洋樹 ▲高▼羽
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-11-14
Filing date: 1995-11-14
Publication date: 2002-05-20
Anticipated expiration: 2015-11-14
Also published as: JPH09138804A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像検索装置に関
し、より詳細には、ネットワーク上の資源探索などにお
ける画像データベースの画像検索装置に関する。

【０００２】

【従来の技術】従来のネットワーク上の検索装置として
は、例えば、インターネット上のカテゴリ分類サービス
がある。これはタイトルの内容や人手により、各ホーム
ページをカテゴリに分類する。これによりユーザは、所
望の情報のネットワークアドレスを得ることができる。
しかし、画像の内容や特徴をその検索手段として用いて
いるものは現在の所知られていない。画像を検索する装
置としては、データベース作成時に各画像に人手で付与
したキーワードを付与し、これを用いて検索を行なう装
置が知られている。しかし、データベース作成の労力が
膨大であるなどの理由から、画像特徴量などを用いた検
索を行なうものとして、例えばデータベース作成時に数
種の画像特徴量を抽出して指定画像と特徴量が類似して
いる画像の検索を行なう特開平２−４８７７２や、個々
の使用者がサンプル画像に対して、「明るい」などの感
覚データを付与することにより画像特徴量と関連づけ、
個々の感覚による検索を行う特開平５−１２０３５３な
どが知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来技術においては、ネットワーク上の検索装置として用
いるには下記のような問題点をそれぞれ有している。

【０００４】まず、例えば上記特開平２−４８７７２で
は、データベース作成時に数種の画像特徴量を抽出し、
指定画像と特徴量が類似している画像の検索を行なう。
このため、データベース作成後に、検索使用者側が新た
な尺度で類似検索を行なうことができない、という問題
点を有している。

【０００５】また、上記特開平５−１２０３５３では、
個々の使用者がサンプル画像に対して、「明るい」など
の感覚データを付与することにより画像特徴量と関連づ
け、個々の感覚による検索を可能としている。このた
め、サンプル画像が適正に選ばれている必要があると共
に、サンプル画像での個々の使用者の感覚データから画
像特徴量への写像が用いられ、使用者の感覚の変化に対
応できない、という問題点を有している。

【０００６】本発明はこのような実情に鑑みてなされた
もので、ネットワーク上に散在した画像より、自動的に
画像データベースを構築し、画像を通じてのネットワー
クへのアクセスを可能にし、画像検索においては、大量
のユーザの多様な価値観に基づいた検索要求に対応し、
更に個々の使用者が検索結果などを考慮して検索システ
ムの拡張を行ない、他の使用者もそれを利用することの
できるネットワーク上の画像データ検索装置を提供する
ことにある。

【０００７】

【課題を解決するための手段】本発明は、請求項１によ
れば、ネットワーク上の画像データを検索する装置にお
いて、ネットワーク上の画像データおよびそれに付随す
る補助情報を収集する画像情報入力手段と、前記画像デ
ータを記憶する画像データ記憶手段と、前記画像補助情
報を記憶する画像補助情報記憶手段と、前記画像データ
記憶手段に記憶された画像データより画像の特徴を抽出
する画像特徴抽出手段と、前記画像特徴抽出手段により
得られた画像特徴を記憶する画像特徴記憶手段と、前記
画像特徴記憶手段に記憶された画像の特徴より画像カテ
ゴリを得る画像カテゴリ獲得手段と、該画像カテゴリ獲
得手段により得られた画像カテゴリを記憶する画像カテ
ゴリ記憶手段と、該画像カテゴリ記憶手段により記憶さ
れた画像カテゴリを読み出す画像カテゴリ読出手段と、
前記画像特徴に対する検索値を設定する検索画像特徴設
定手段と、前記画像カテゴリに対する検索値を設定する
検索画像カテゴリ設定手段と、前記画像補助情報に対す
る検索値を設定する検索画像補助情報設定手段と、前記
設定された画像特徴に対する検索値、または前記画像カ
テゴリに対する検索値、または前記画像補助情報に対す
る検索値に基づいて検索を行なう検索手段と、前記検索
手段による検索結果を表示する表示手段とを備えること
を特徴とする画像検索装置である。

【０００８】このように構成すれば、画像情報入力手段
によってネットワーク上の画像データおよびそれに付随
する補助情報を収集し、画像特徴抽出手段により画像デ
ータより画像特徴が得られ、画像カテゴリ検出手段によ
り、画像特徴より画像カテゴリが得られる。これによ
り、ネットワーク上に散在する画像データから自動的に
画像データベースを構築できる。さらに、検索値設定手
段により、画像特徴、画像カテゴリおよび画像補助情報
に対する検索範囲を設定し、検索手段により、設定され
た検索値に対して検索を行ない、表示手段により検索結
果をユーザに表示することができ、ユーザは所望の画像
データを得ることができる。

【０００９】また、請求項２によれば、本発明の画像検
索装置に、各画像カテゴリの検索方法を複数記憶する画
像カテゴリ検索方法記憶手段を設け、該記憶された検索
方法にもとづいて複数の画像データを検索できる。

【００１０】このように構成すると、画像カテゴリの検
索方法を記憶し、記憶された各画像カテゴリの検索方法
の読み出しを行なうことができ、複数の画像カテゴリ検
索方法を、追加登録または変更を行ないながら用いるこ
とができる。

【００１１】また、請求項３によれば、本発明の画像検
索装置に、画像カテゴリの検索方法を登録する画像カテ
ゴリ検索方法登録手段を設け、任意に画像カテゴリの検
索方法を登録できる。

【００１２】このように構成すれば、ユーザが画像カテ
ゴリ検索方法を登録することができる。

【００１３】また、請求項４によれば、本発明の画像検
索装置に、使用された検索方法を登録する使用済検索方
法登録手段と、該使用済検索方法登録手段に登録された
使用済みの検索方法を読み出す使用済検索方法読出手段
を設ける。

【００１４】このように構成すれば、使用された検索方
法が登録され、使用検索方法記憶手段により、登録され
た検索方法を記憶し、検索方法読出手段により、記憶さ
れた検索方法を読み出すことができ、検索方法の履歴を
参照することができる。

【００１５】また、請求項５によれば、本発明の画像検
索装置に、検索方法に画像カテゴリ名を登録する画像カ
テゴリ名登録手段と、該画像カテゴリ名登録手段により
得られた画像カテゴリとその検索方法を登録する画像カ
テゴリ検索方法登録手段を設ける。

【００１６】このように構成すれば、検索方法に画像カ
テゴリ名を登録し、画像カテゴリ名と検索方法が登録さ
れるため、結果が望ましい検索方法を画像カテゴリとし
て新規登録できる。

【００１７】また、請求項６によれば、本発明の画像検
索装置に、各画像特徴の画像特徴抽出方法を記憶する画
像特徴抽出方法記憶手段と、画像特徴抽出方法記憶手段
より各画像特徴抽出方法の読み出しを行なう画像特徴抽
出方読出手段を設ける。

【００１８】このように構成すれば、各画像特徴の画像
特徴抽出方法を記憶し、各画像特徴抽出方法の読み出し
を行なうことができ、複数の画像特徴抽出方法を、追加
登録または変更を行ないながら、用いることがができ
る。

【００１９】また、請求項７によれば、本発明の画像検
索装置に、画像特徴の抽出方法を登録する画像特徴抽出
方法登録手段を備え、任意に画像カテゴリの抽出方法を
登録できる。

【００２０】このように構成すれば、ユーザが画像特徴
の抽出方法を登録することができる。また、請求項８
によれば、本発明の画像検索装置に、検索された画像デ
ータを画像情報と関連づける画像情報リンク手段を備
え、検索された画像データに対応する画像情報を前記表
示手段に表示する。

【００２１】このように構成すれば、検索された画像デ
ータを画像情報と関連づけ、画像情報を表示することが
でき、画像を検索すると同時に付随する画像情報を得る
ことができる。

【００２２】更に、請求項９によれば、本発明の画像検
索装置に、検索された画像データと各画像データとの類
似度計測手段と、該類似度計測手段により得られた類似
度より類似検索を行なう類似検索手段を設ける。

【００２３】このように構成すれば、検索された画像デ
ータと各画像データとの類似度が得られ、類似の画像が
得られる。

【００２４】

【発明の実施の形態】以下図面に示す実施の形態にもと
づいて本発明を詳述する。なお本発明はこれによって限
定されるものではない。

【００２５】図１は本発明によるネットワーク上の画像
データ検索装置の一実施形態を説明するためのブロック
構成図である。１は画像情報入力部であり、２のネット
ワークアドレスを記憶したネットワークアドレスメモリ
を読みだし、３のデータ転送部によりネットワーク上の
画像データおよびその補助情報の収集入力を行なう。４
は画像データベース構築部であり、検索用の画像データ
ベースを構築する。５は画像補助情報メモリであり、入
力された画像補助情報を記憶する。６は画像データメモ
リであり、入力された画像データを記憶する。８は画像
特徴抽出部であり、９の画像特徴抽出方法記述メモリに
記憶された方法に基づき、画像特徴を抽出する。７は画
像特徴量メモリであり、画像特徴抽出部８で抽出された
画像特徴を記憶する。１１は画像カテゴリ検出部であ
り、１２の画像カテゴリ検出方法記述メモリに記憶され
た方法に基づき、画像カテゴリを検出する。１０は画像
カテゴリメモリであり、画像カテゴリ検出部で検出され
た画像カテゴリを記憶する。１３はインデックスメモリ
であり、各画像情報の５、６、７および１０のメモリに
おけるアドレスを記憶する。

【００２６】１４は画像検索部であり、画像データの検
索を行なう。１５は適合画像検索部であり、後述する検
索範囲に適合する画像データをデータベースより抽出す
る。１６は適合画像メモリであり、適合画像検索部１５
で抽出された画像データを記憶する。１７は使用検索方
法記述メモリであり、使用された検索方法および検索値
を記憶する。１８は画像特徴検索設定部であり、画像特
徴の検索範囲を設定する。１９は画像カテゴリ検索設定
部であり、画像カテゴリの検索範囲を設定する。２０は
画像補助情報検索設定部であり、画像補助情報の検索範
囲を設定する。２１は類似画像検索設定部であり、与え
られた画像に対する類似検索範囲を設定する。２２は画
像情報リンク部であり、適合画像メモリ１６内の各画像
の画像情報をデータベースより抽出する。

【００２７】２３はユーザインターフェース部であり、
検索の入出力や種々の登録を行なう。２４〜２８はユー
ザ入力部である。ユーザ入力部２４は画像カテゴリ検出
方法の登録入力を行なう。ユーザ入力部２５は画像特徴
検索の入力を行なう。ユーザ入力部２６は画像カテゴリ
検索の入力を行なう。ユーザ入力部２７は画像補助情報
検索の入力を行なう。ユーザ入力部２８は画像特徴抽出
方法の登録入力を行なう。２９は画像表示部であり、適
合画像メモリ１６内の各画像を表示する。３０は画像選
択部であり、画像表示部２９より画像を選択する。３２
は処理選択部であり、画像選択部３０で選択した画像に
対する処理を選択する。画像情報表示部２９は、画像選
択部３０で選択した画像に対して、画像情報リンク部２
２で得られた画像情報を表示する。

【００２８】３３は分類方法登録部であり、画像データ
の分類方法の登録を行なう。３４は画像特徴抽出方法登
録部であり、画像特徴抽出方法記述メモリ９に画像特徴
抽出方法の登録を行なう。３５は画像カテゴリ検出方法
登録部であり、画像カテゴリ検出方法記述メモリ１２に
画像カテゴリ検出方法の登録を行なう。

【００２９】ここで、ネットワーク上の画像データ収集
方法の一例として、インターネット上のＷｏｒｌｄ
ＷｉｄｅＷｅｂの説明を行う。ＷｏｒｌｄＷｉｄ
ｅＷｅｂにおいてはＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ
ＭａｒｋｕｐＬａｎｇｕａｇｅ）と呼ばれる言語で
記述されたハイパーテキスト（以下、ＨＴＭＬファイ
ル）により文書表現を行うと共に、図１１のようにＵＲ
Ｎ（ＵｎｉｖｅｒｓａｌＲｅｓｏｕｃｅＬｏｃａｔ
ｏｒ）と呼ばれるネットワークアドレスに位置する他の
ＨＴＭＬファイルや画像データとのリンクを形成してい
る。また、ＵＲＬを指定する事によりそこに位置するデ
ータを転送する機能がｈｔｔｐ（ＨｙｐｅｒＴｅｘｔ
ＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）によって提供
されている。各データとＵＲＬとの対応表を作成し、こ
れに基づきｈｔｔｐにより転送を行えば、データを収集
する事ができる。対応表は、手作業や既存のＵＲＬの取
得を行う探索プログラムなどを用いて得られる。

【００３０】以下、各ステップに従い本発明の実施形態
を説明する。

【００３１】図２は画像情報入力部１の各処理を説明す
るためのフローチャートである。ステップ（以下、単に
「ｓ」という）２０１〜２０７はネットワーク上から画
像情報を収集する処理である。

【００３２】まず、各画像データｉｍａｇｅ［ｉ］
｛ｉ：１，．．．，Ｎ｝の画像番号ｉとその画像のネッ
トワークアドレスａｄｄ１［ｉ］およびａｄｄ１［ｉ］
が記載されたＨＴＭＬファイルのネットワークアドレス
ａｄｄ［２］の、図１２のような対応表をネットワーク
アドレスメモリ２にあらかじめ記憶しておく（ｓ２０
１）。次に、ｉ＝１に初期化した後（ｓ２０２）、デー
タ転送部２において、ｈｔｔｐによるａｄｄ１［ｉ］か
ら本装置への画像データの転送を行い（ｓ２０３）、画
像データを画像データメモリ４に（ｓ２０４）保存す
る。

【００３３】次にデータ転送部２において、ｈｔｔｐに
よるａｄｄ２［ｉ］からのＨＴＭＬファイルの本装置へ
の転送を行い（ｓ２０５）、画像補助情報を画像補助情
報メモリ３に（ｓ２０６）追加保存する。画像データメ
モリ４に記憶される画像データとは、縦方向と横方向の
画素数と赤（Ｒ）緑（Ｇ）青（Ｂ）の各要素が８ビット
（０〜２５５までの２５６階調）のディジタルデータ表
現されたフルカラー画像であり、画像補助情報とは、画
像データのＵＲＬ、およびそれが記載されたＨＴＭＬフ
ァイルのＵＲＬと、ＨＴＭＬファイルに記述されたタイ
トルであり、図１３中に示されるように格納される。

【００３４】画像番号ｉをＮと比較し（ｓ２０７）、異
なればｉを１増加し画像情報入力を継続（ｓ２０８）、
等しければ画像情報入力を終了し、画像特徴抽出へ移行
する。図３は画像データベース構築部４の各処理を説
明するためのフローチャートである。s３３１〜３０９
は画像データより画像特徴を抽出する処理である。

【００３５】まず、画像特徴抽出部８において、ｉ＝１
に初期化した後（ｓ３０１）、ｉｍａｇｅ［ｉ］を画像
データメモリ６より読み込む（ｓ３０２）。次に、ｊ＝
１に初期化した後（ｓ３０３）、画像特徴抽出方法を記
述したプログラムＦ［ｊ］｛ｊ＝１，．．．，ｍ｝を画
像特徴抽出方法記述メモリ６より読み込み（ｓ３０
４）、それを実行することによりｉｍａｇｅ［ｉ］より
特徴を抽出した後、画像特徴量メモリ７に追加保存する
（ｓ３０５）。

【００３６】この画像特徴抽出方法記述メモリ６に格納
された画像特徴抽出方法を記述したプログラムＦ［ｊ］
｛ｊ＝１，．．．，ｍ｝とは、例えば、図１５のような
面積抽出、縦横比抽出、彩度抽出、明度抽出、エッジ抽
出および代表色の算出を行う各プログラムである。画像
面積および画像縦横比は画像データメモリ６より横方向
と縦方向の画素数を読み込み、その積と商を算出する。
彩度抽出、明度抽出およびエッジ抽出は、画像データメ
モリ６より全画素のＲＧＢ値を読み込み、全画素での彩
度、明度およびエッジ画素数の平均として０．０〜１．
０の範囲の値を算出する。代表色抽出は、全画素のＲＧ
Ｂ値を読み込み、色に関するヒストグラムを作成し、最
頻度の色とその頻度を算出する。この時、頻度は全画素
数を１とした０．０〜１．０の範囲の値して算出する。
例えば、図１３のように、横方向６４画素、縦方向３２
画素の画像データより得られた画像特徴量（例として面
積２０４８、縦横比２．０、彩度０．８、明度０．４、
エッジ０．３、代表色ｒｅｄ、およびその占有率０．６
等）を画像特徴メモリ７に保存する。

【００３７】画像特徴量を画像特徴量メモリ７に保存
後、画像特徴抽出方法番号ｊをｍと比較し（ｓ３０
６）、異なればｊを１増加しｉｍａｇｅ［ｉ］の画像特
徴抽出を継続し（ｓ３０７）、等しければｉｍａｇｅ
［ｉ］の画像特徴抽出を終了し、画像番号ｉとＮとの比
較を行なう（ｓ３０８）。異なればｉを１増加し次の画
像に対して画像特徴抽出を行ない（ｓ３０９）、等しけ
れば画像特徴抽出を終了し、画像カテゴリ検出に移行す
る。

【００３８】図４は画像カテゴリ検出部１１の各処理を
説明するためのフローチャートである。s４０１〜４０
９は画像特徴より画像カテゴリを検出する処理である。

【００３９】画像カテゴリ検出部１１において、ｉ＝１
に初期化した後（ｓ４０１）、ｉｍａｇｅ［ｉ］の画像
特徴を画像特徴メモリ７より読み込む（ｓ４０２）。次
に、ｊ＝１に初期化した後（ｓ４０３）、画像カテゴリ
検出方法Ｃ［ｊ］｛ｊ＝１，．．．，ｎ｝を画像カテゴ
リ検出方法記述メモリ１２より読み込み（ｓ４０４）、
ｉｍａｇｅ［ｉ］の特徴量より画像カテゴリ、例えばＣ
Ｇ、写真、アイコンなどの意味的なラベリング等を検出
した後、画像カテゴリメモリ１０に追加保存する（ｓ４
０５）。

【００４０】このカテゴリ検出方法記述メモリ１２に格
納された画像カテゴリ検出方法Ｃ［ｊ］｛ｊ＝
１，．．．，ｎ｝とは、各カテゴリと対応した各画像特
徴量の値域と、対象となる画像の特徴量がその値域に存
在するかどうかを判定するプログラムである。例えば、
図１３の画像特徴量メモリの特徴量に対しては、各カテ
ゴリ毎に図１４の対応表で示される各画像特徴量の値域
との比較を行ない、ＣＧとアイコンがカテゴリとして得
られ、図１３のように画像カテゴリメモリに格納され
る。

【００４１】また、以上の処理で得られる各画像の画像
データ、特徴量、カテゴリおよび補助情報の各メモリ上
へ記憶する際には、そのアドレスを図１３のように、イ
ンデックスメモリに格納し、後述する検索や表示などの
処理を行なう際に使用する。

【００４２】画像カテゴリを画像カテゴリメモリ１０に
保存後、画像カテゴリ検出方法番号ｊをｎと比較し（ｓ
４０６）、異なればｊを１増加しｉｍａｇｅ［ｉ］の画
像カテゴリ検出を継続し（ｓ４０７）、等しければｉｍ
ａｇｅ［ｉ］の画像カテゴリ検出を終了し、画像番号ｉ
とＮと比較を行なう（ｓ４０８）。異なればｉを１増加
し次の画像に対して画像カテゴリ検出を行ない（ｓ４０
９）、等しければ画像カテゴリ抽出を終了し、画像デー
タベース構築を終了する（ｓ４１０）。

【００４３】図５は画像検索部１４の処理動作を説明す
るためのフローチャートで、s５０１〜s５０７は各デー
タに対する検索範囲を設定する処理である。

【００４４】まず、ユーザ入力部２５において、画像特
徴検索を行なうかどうかを選択する（ｓ５０１）。画像
特徴検索を行なう場合は、画像特徴検索設定部１５にお
いて検索する特徴量の値域を設定する（ｓ５０２）。次
に、ユーザ入力部２６において、画像カテゴリ検索を行
なうかどうかを選択する（ｓ５０３）。画像カテゴリ検
索を行なう場合は、画像カテゴリ検索設定部１９におい
て検索するカテゴリの種類を設定する（ｓ５０４）。次
に、ユーザ入力部２７において、画像補助情報検索を行
なうかどうかを選択する（ｓ５０５）。画像補助情報検
索を行なう場合は、画像補助情報検索設定部２０におい
て検索要求を設定する（ｓ５０６）。それぞれの検索の
決定順序は検索方法に影響を与えるものでなく、上記は
一例である。検索方法およびその検索内容を使用検索方
法記述メモリ１７に追加保存し（ｓ５０７）、検索処理
に移行する。

【００４５】図６は適合画像検索部１５の処理動作を説
明するためのフローチャートで、s６０１〜s６０９は各
データに対する検索処理である。

【００４６】適合画像検索部１５において、まずｉ＝１
に初期化した後（ｓ６０１）、画像ｉｍａｇｅ［ｉ］の
画像カテゴリを画像カテゴリメモリ１０より読み込み
（ｓ６０２）、画像特徴を画像特徴メモリ７より読み込
み（ｓ６０３）、画像補助情報を画像補助情報メモリを
１０より読み込む（ｓ６０４）。読み込まれたデータが
検索条件に適合するかどうかを判定し（ｓ６０５）、適
合する場合は、画像データｉｍａｇｅ［ｉ］を画像デー
タメモリ６より読み込み、適合画像メモリ１６に追加保
存する（ｓ６０６）。なお、s６０２〜６０４の読み込
み処理では、s５０１〜s５０６で設定されていない項目
については省略できる。次に、画像番号ｉとＮと比較を
行ない（ｓ６０７）、異なればｉを１増加し次の画像に
対して検索を行ない（ｓ６０８）、等しければ検索を終
了し、適合画像メモリ１内の適合画像を画像表示部２９
に表示する（ｓ６０９）。

【００４７】図７は、画像選択部３０の処理動作を説明
するためのフローチャートで、s７０１〜７０２は検索
適合画像表示、s７０３は画像選択、s７０４は類似検索
選択、s７０５〜７０７は画像情報表示、s７０８は処理
継続選択の処理である。

【００４８】まず、適合画像メモリ内のＭ個の適合画像
ｉｍａｇｅ［ｉ］｛ｉ＝１，．．．，Ｍ｝を読出し（ｓ
７０１）、画像表示部２９に表示する（ｓ７０２）。

【００４９】次に、画像選択部３０において、表示され
ているＭ個の画像から画像ｉｍａｇｅ［ｔ］を選択す
る。この選択方法としては、例えば、適合度による判定
やユーザの任意選択などによる。次に処理選択部３２に
おいて、ｉｍａｇｅ［ｔ］に対する処理選択を行なう。
類似画像検索を選択すれば（ｓ７０４）、類似画像検索
設定部１８へ移行する。画像情報表示を選択すれば（ｓ
７０５）、画像情報リンク部２２においてインデックス
メモリ１３のアドレスよりｉｍａｇｅ［ｔ］の画像情報
を読みだし（ｓ７０６）、画像情報表示部２８に図１８
のように表示する（ｓ７０７）。選択処理を継続するな
らばs７０３に戻り、終了するならば検索結果に対する
処理を終了する（ｓ７０８）。

【００５０】次に、図８のフローチャートにもとづき類
似画像検索部２１の各処理を説明する。

【００５１】まず、類似度計測方法とその値域を設定す
る（ｓ８０１）。次に、適合画像情報メモリを初期化し
（ｓ８０２）、ｉ＝１に初期化した後（ｓ８０３）、ｉ
ｍａｇｅ［ｉ］の類似度計測に関する画像情報を読み込
む（ｓ８０４）。検索条件に適合するかどうかを判定し
（ｓ８０５）、適合する場合はｉｍａｇｅ［ｉ］の画像
情報を適合画像情報メモリへ保存する（ｓ８０６）。次
に、画像番号ｉとＮと比較を行ない（ｓ８０７）、異な
ればｉを１増加し次の画像に対して検索を行ない（ｓ８
０８）、等しければ検索を終了し、画像表示部２９に表
示する（ｓ８０９）。

【００５２】ユーザインターフェース部２３は、例えば
図１７のようなＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒ
Ｉｎｔｅｒｆａｃｅ）によるメニュー画面により、各
検索方法をアイコンとして表示させ、その値域とあわせ
て選択入力することにより、使用者の操作性の向上を図
ることも可能である。図１７では四角でかこまれた項目
が選択されていることを示しており、彩度０．２〜０．
５、明度１００〜４００の値域による画像特徴検索とア
イコンカテゴリによるカテゴリ検索が選択されている。
この検索内容が図１６のように検索方法記述メモリに格
納される。また、図１８は画像表示部２９、画像選択部
３０および画像情報表示部３１を、ＧＵＩによるメニュ
ー画面で表示した一例である。図１８では、画面の上半
分に表示された４画像より右端の画像を選択し、画面の
下半分に選択画像の情報を表示した例である。

【００５３】また、図１９は画像表示部２９、画像選択
部３０および類似画像検索設定部２１を、ＧＵＩによる
メニュー画面で表示した一例である。図１８では、画面
の上半分に表示された４画像より右端の画像を選択し、
画面の下半分に類似画像の検索内容設定を表示した例で
ある。

【００５４】図９は画像カテゴリ検出方法登録部３５の
処理動作を説明するためのフローチャートである。

【００５５】まず、使用検索方法記述メモリ１４より使
用した検索方法を読み込み（ｓ９０１）、登録する検索
方法を選択する（ｓ９０２）。この検索方法の選択とし
ては、例えば、ユーザの任意選択の他にも検索結果の適
合度判定などがあげられる。ユーザ入力部２４におい
て、選択した検索方法に画像カテゴリ名を付与し（ｓ９
０３）。画像カテゴリ名と検索方法を画像カテゴリ検出
方法登録部３５において、画像カテゴリ検出方法記述メ
モリ９に登録する（ｓ９０４）。他の検索方法を登録す
る場合はs９０３に戻り、登録しない場合は登録作業を
終了する。例えば、図１９においては、使用検索方法記
述メモリ１４より、検索番号１番に記憶されている検索
内容を表示し、カテゴリ名ｉｃｏｎ−ｊｉｍｉ１をユー
ザが入力した例である。入力後、登録ボタンを押すこと
により、画像カテゴリ検出方法記述メモリに、カテゴリ
名とその検索内容が記憶される。

【００５６】図１０は、画像特徴抽出方法登録部３４の
処理動作を説明するためのフローチャートである。

【００５７】画像特徴抽出方法記述メモリ６に存在する
方法を組み合わせるか、もしくは新規に作成した、例え
ば画像からのテクスチャの抽出方法を記述したプログラ
ムをあらかじめ用意する（ｓ１００１）。

【００５８】次に図２０のようなユーザ入力部２８にお
いて、プログラムのネットワークアドレスと画像特徴量
名を入力し（ｓ１００２）、画像特徴抽出方法登録部３
４において、ｈｔｔｐによるプログラムの本装置への転
送を行ない、図１５のような画像特徴抽出方法記述メモ
リ６に登録する（ｓ１００３）。他の抽出方法を登録す
る場合はs１００１に戻り、登録しない場合は登録作業
を終了する。

【００５９】

【発明の効果】本発明によれば、ネットワーク上の画像
データおよびそれに付随する補助情報を収集し、画像デ
ータより画像特徴を、画像特徴より画像カテゴリが得ら
れる。これにより、ネットワーク上の散在する画像デー
タから、膨大な時間と人手をかけずに、自動的に画像デ
ータベースが得られる。さらに、画像特徴、画像カテゴ
リおよび画像補助情報に対する検索値を設定し、検索を
行ない、検索結果を表示することにより、ユーザは所望
の画像データを得ることができる。

【００６０】また、画像カテゴリの検出方法を記憶し、
読み出しを行なうことにより、複数の画像カテゴリ検出
方法を、追加登録または変更を行ないながら、用いるこ
とがができ、柔軟な装置の拡張を行なうことができる。

【００６１】また、ユーザが画像カテゴリ検出方法を登
録することができる。これにより、個々のユーザが、そ
れぞれに使いやすい検索装置として拡張することができ
る。また、使用された検索方法を登録、記憶、読み出す
ことにより、検索方法の履歴を参照することができ、ユ
ーザの入力作業を軽減することができる。

【００６２】また、検索方法に画像カテゴリー名を付与
し、画像カテゴリ名と検索方法が登録される。これによ
り、望ましい結果を示した検索方法を画像カテゴリとし
て新規登録でき、検索装置の性能を向上することができ
る。

【００６３】また、各画像特徴の画像特徴抽出方法を記
憶し、読み出しを行なうことにより、複数の画像特徴抽
出方法を、追加登録または変更を行ないながら、用いる
ことがができ、柔軟な装置の拡張を行なうことができ
る。

【００６４】また、画像特徴の抽出方法を登録すること
ができる。これにより、個々のユーザが、それぞれに使
いやすい検索装置として拡張することができる。

【００６５】また、検索された画像データを画像情報と
関連づけ、画像情報を表示することにより、画像を検索
すると同時に付随する画像情報が得られる。これによ
り、ユーザは画像を通じて、ネットワーク上のアドレス
やタイトル名などが得られる。更に、検索された画像デ
ータと各画像データとの類似度が得られ、類似検索手段
により、類似の画像が得られる。これにより、ユーザの
直観に近い検索ができる。

【図面の簡単な説明】

【図１】本発明の画像検索装置の一実施形態を説明する
ブロック構成図である。

【図２】本発明の画像情報入力部１の処理動作を説明す
るフローチャートである。

【図３】本発明の画像データベース構築部４の処理動作
を説明するフローチャートである。

【図４】本発明の画像カテゴリ検出部１１の処理動作を
説明するフローチャートである。

【図５】本発明の画像検索部１４の処理動作を説明する
フローチャートである。

【図６】本発明の適合画像検索部１５の処理動作を説明
するフローチャートである。

【図７】本発明の画像選択部３０の処理動作を説明する
フローチャートである。

【図８】本発明の類似画像検索部２１の処理動作を説明
するフローチャートである。

【図９】本発明の画像カテゴリ検出方法登録部３５の処
理動作を説明するフローチャートである。

【図１０】本発明の画像抽出方法登録部３４の処理動作
を説明するフローチャートである。

【図１１】ＷｏｒｌｄＷｉｄｅＷｅｂを例とした
ネットワーク環境を説明した図である。

【図１２】本発明の画像情報入力部１のネットワークア
ドレスメモリ２に記憶される内容を説明した図であ
る。。

【図１３】本発明の画像データベース構築部４で得られ
るインデックスメモリ１３とそれに関連する各メモリに
記憶される内容を説明した図である。

【図１４】本発明の画像カテゴリとその検出に用いられ
る画像特徴量との対応関係を説明した図である。

【図１５】本発明の画像特徴抽出方法記述メモリ９に保
持される内容を説明する図である。

【図１６】本発明の使用検索方法記述メモリ１７に記憶
される内容を説明するための図である。

【図１７】本発明の検索設定画面の一例の図である。

【図１８】本発明の検索結果表示画面および補助情報表
示画面の一例の図である。

【図１９】本発明の検索結果表示画面および類似画像検
索設定画面の一例の図である。

【図２０】本発明の画像カテゴリ登録画面の一例の図で
ある。

【図２１】本発明の画像特徴抽出方法登録画面の一例の
図である。

【符号の説明】

１画像情報入力部２ネットワークアドレスメモリ４画像データベース構築部９画像特徴抽出方法記述メモリ１１画像カテゴリ検出部１３インデックスメモリ１４画像検索部１５適合画像検索部１７使用検索方法記述メモリ２１類似画像検索部２３ユーザーインターフェイス部３０画像選択部３３分類方法登録部３４画像抽出方法登録部３５画像カテゴリ検出方法登録部

フロントページの続き (56)参考文献特開平３−292570（ＪＰ，Ａ) 高羽洋樹坂内正夫谷田部智之佐藤隆，ＷｏｒｌｄＷｉｄｅＷｅｂ上の公開型画像検索システムＧＩＲＬＳ，テレビジョン学会技術研究報告，日本，社団法人テレビジョン学会，1995年 11月16日，ＶＯＬ．19 Ｎｏ．61，第１頁乃至第８頁，ＣＳＮＧ−1998−1121− １林良彦菊井玄一郎鷲崎誠司砂場倫太郎，ＷＷＷ情報空間におけるＲｅｓｏｕｒｃｅ，電子情報通信学会技術報告，日本，社団法人電子情報通信学会, 1995年９月28日，ＶＯＬ．95 ＮＯ. 265，第71頁乃至第78頁，ＣＳＮＧ− 1999−982−010 岩爪道昭武田英明西田豊明，弱構造化オントロジーを用いたインターネットからの情報獲得，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，1995年９月28日，ＶＯＬ. 95 Ｎｏ．265，第79頁乃至第86頁，ＣＳＮＧ−1999−982−011 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 G06F 13/00 ＷＰＩ／Ｌ（ＱＵＥＳＴＥＬ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】ネットワーク上の画像データを検索する
装置において、ネットワーク上の画像データおよびそれに付随する補助
情報を収集する画像情報入力手段と、前記画像データを記憶する画像データ記憶手段と、前記画像補助情報を記憶する画像補助情報記憶手段と、前記画像データ記憶手段に記憶された画像データより画
像の特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により得られた画像特徴を記憶す
る画像特徴記憶手段と、前記画像特徴記憶手段に記憶
された画像の特徴より画像カテゴリを得る画像カテゴリ
獲得手段と、該画像カテゴリ獲得手段により得られた画像カテゴリを
記憶する画像カテゴリ記憶手段と、該画像カテゴリ記憶手段により記憶された画像カテゴリ
を読み出す画像カテゴリ読出手段と、前記画像特徴に対する検索値を設定する検索画像特徴設
定手段と、前記画像カテゴリに対する検索値を設定する検索画像カ
テゴリ設定手段と、前記画像補助情報に対する検索値を設定する検索画像補
助情報設定手段と、前記設定された画像特徴に対する検索値、または前記画
像カテゴリに対する検索値、または前記画像補助情報に
対する検索値に基づいて検索を行なう検索手段と、前記検索手段による検索結果を表示する表示手段とを備
えることを特徴とする画像検索装置。
【請求項２】各画像カテゴリの検索方法を複数記憶す
る画像カテゴリ検索方法記憶手段を備え、該記憶された
検索方法にもとづいて複数の画像データを検索すること
を特徴とする請求項１記載の画像検索装置。
【請求項３】画像カテゴリの検索方法を登録する画像
カテゴリ検索方法登録手段を備え、任意に画像カテゴリ
の検索方法を登録できることを特徴とする請求項１およ
び請求項２記載の画像検索装置。
【請求項４】使用された検索方法を登録する使用済検
索方法登録手段と、該使用済検索方法登録手段に登録さ
れた使用済みの検索方法を読み出す使用済検索方法読出
手段とを備えることを特徴とする請求項１記載の画像検
索装置。
【請求項５】検索方法に画像カテゴリ名を登録する画
像カテゴリ名登録手段と、該画像カテゴリ名登録手段に
より得られた画像カテゴリとその検索方法を登録する画
像カテゴリ検索方法登録手段とを備えることを特徴とす
る請求項１、３および４記載の画像検索装置。
【請求項６】各画像特徴の画像特徴抽出方法を記憶す
る画像特徴抽出方法記憶手段と、画像特徴抽出方法記憶
手段より各画像特徴抽出方法の読み出しを行なう画像特
徴抽出方読出手段とを備えることを特徴とする請求項１
記載の画像検索装置。
【請求項７】画像特徴の抽出方法を登録する画像特徴
抽出方法登録手段を備え、任意に画像カテゴリの抽出方
法を登録できることを特徴とする請求項１および６記載
の画像検索装置。
【請求項８】検索された画像データを画像情報と関連
づける画像情報リンク手段を備え、検索された画像デー
タに対応する画像情報を前記表示手段に表示することを
特徴とする請求項１記載の画像検索装置。
【請求項９】検索された画像データと各画像データと
の類似度計測手段と、該類似度計測手段により得られた
類似度より類似検索を行なう類似検索手段とを備えるこ
とを特徴とする請求項１、５および７記載の画像検索装
置。