JPH10254901A - 画像検索方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 未知の対象画像からその対象に関する情報を
自動的かつ効率良く取得することができる画像検索方法
および装置を提供する。 【解決手段】 カメラ部（１）で撮像した未知の画像の
特徴部分をペン入力部（４）で指定し、その属性情報を
属性情報入力部（７）で入力し、ペン入力部（４）で指
定した対象画像と属性情報に対応して画像データベース
（１１）に蓄積されている部分画像とを比較することに
より画像データベース（１１）からの未知画像の検索を
行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像検索方法お
よび装置に関し、特に、未知の対象を撮影することで、
その撮像画像から対象に関する情報を自動的に得ること
ができる画像検索方法および装置に関する。

【０００２】

【従来の技術】従来、所望の画像を画像データベースか
ら検索する場合、入力した画像と画像データベース中の
画像という２つの画像データの一致度により所望の画像
を得るという方法が知られている。

【０００３】また、入力した画像データには、背景など
のような対象とは直接関係のない画像データもふくまれ
ているので、この入力した画像データを用いて画像デー
タベースを検索するには、必要なオブジェクトのみを切
り出す必要があるが、その方法としては、線画情報から
オブジェクトの輪郭を抽出するということが従来から行
われている。

【０００４】

【発明が解決しようとする課題】しかしながら、入力し
た画像と画像データベース中の画像という２つの画像デ
ータの一致度により所望の画像を得るという方法におい
ては、対象の全体画像を使って検索するというだけで類
似のものが多数候補として考えられてしまい、対象の絞
り込みがうまくいかないという問題点があった。

【０００５】また、必要なオブジェクトを切り出すため
に線画情報からオブジェクトの輪郭を抽出する方法にお
いては、オブジェクトの属性に関する情報を得ることが
できないため、検索のための情報が不足し、期待される
ような検索結果がなかなか得られないという問題点があ
った。

【０００６】そこで、この発明は、未知の対象画像から
その対象に関する情報を自動的かつ効率良く取得するこ
とができる画像検索方法および装置を提供することを目
的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、検索対象画像に基づき画像デー
タベースを検索して該検索対象画像に関する情報を取得
する画像検索方法において、上記検索対象画像とともに
該検索対象画像の属性情報を入力し、上記検索対象画像
および上記属性情報に基づき上記画像データベースを検
索することを特徴とする。

【０００８】また、請求項２の発明は、請求項１の発明
において、上記検索対象画像は、撮像手段により撮像さ
れた画像であることを特徴とする。

【０００９】また、請求項３の発明は、請求項１の発明
において、上記属性情報は、上記検索対象画像から指定
された一部の画像の識別情報であり、上記画像データベ
ースの検索は、上記指定された一部の画像に基づき行わ
れることを特徴とする。

【００１０】また、請求項４の発明は、請求項１の発明
において、上記属性情報は、上記検索対象画像の色情報
であり、上記画像データベースの検索は、上記指定され
た色情報に基づき行われることを特徴とする。

【００１１】また、請求項５の発明は、請求項１の発明
において、上記画像データベースの検索は、上記検索対
象画像を２値化した対象２値画像と上記画像データベー
スに予め格納された画像データを２値化したデータ２値
画像との類似度を判別することにより行われることを特
徴とする。

【００１２】また、請求項６の発明は、請求項１の発明
において、上記属性情報は、上記検索対象画像から指定
された一部の画像の識別情報であり、上記一部の画像の
指定は、それぞれ優先順位を有する複数の部分の画像を
指定することにより行われ、上記画像データベースの検
索は、上記優先順位を有する複数の部分の画像に基づき
行われることを特徴とする。

【００１３】また、請求項７の発明は、請求項１の発明
において、上記属性情報は、上記検索対象画像から指定
された色情報であり、上記色情報の指定は、それぞれ優
先順位を有する複数の色情報を指定することにより行わ
れ、上記画像データベースの検索は、上記優先順位を有
する複数の色情報に基づき行われることを特徴とする。

【００１４】また、請求項８の発明は、検索対象画像に
基づき画像データベースを検索して該検索対象画像に関
する情報を取得する画像検索装置において、上記検索対
象画像を入力する検索対象画像入力手段と、上記検索対
象画像入力手段により入力された検索対象画像の属性情
報を入力する属性情報入力手段と、上記検索対象画像お
よび上記属性情報に基づき上記画像データベースを検索
する検索手段と、を具備することを特徴とする。

【００１５】また、請求項９の発明は、請求項８の発明
において、上記検索対象画像入力手段は、対象画像を撮
像する撮像手段であることを特徴とする。

【００１６】また、請求項１０の発明は、請求項８の発
明において、上記属性情報入力手段は、上記検索対象画
像の一部の領域を指定する領域指定手段、を具備し、上
記画像データベースは、上記識別情報を鍵として所定の
画像情報を格納し、上記検索手段は、上記領域指定手段
により指定された上記検索対象画像の一部の領域の画像
に基づき行われることを特徴とする。

【００１７】また、請求項１１の発明は、請求項８の発
明において、上記属性情報入力手段は、上記検索対象画
像の色情報を指定する色情報指定手段、を具備し、上記
画像データベースは、上記色情報を鍵として所定の画像
情報を格納し、上記検索手段は、上記色情報指定手段に
より指定された上記色情報に基づき行われることを特徴
とする。

【００１８】また、請求項１２の発明は、請求項８の発
明において、上記検索手段は、上記検索対象画像から特
徴画像を抽出する画像抽出手段と、上記画像抽出手段で
抽出した特徴画像を２値化して対象２値画像に変換する
対象画像変換手段と、上記画像データベースに予め格納
された画像データを２値化してデータ２値画像に変換す
るデータ画像変換手段と、上記対象２値画像と上記デー
タ２値画像とを比較してその類似度を判別する画像比較
手段と、を具備することを特徴とする。

【００１９】また、請求項１３の発明は、請求項８の発
明において、上記属性情報入力手段は、それぞれ優先順
位を有する複数の属性情報を入力し、上記検索手段は、
上記属性情報入力手段により入力された複数の属性情報
にそれぞれ付された優先度情報に基づき上記検索を行な
うことを特徴とする。

【００２０】

【発明の実施の形態】以下、この発明の実施の形態につ
いて添付図面を参照して詳細に説明する。

【００２１】図１は、この発明に係わる画像検索方法お
よび装置を適用して構成した画像検索システムの一実施
の形態を概略ブロック図で示したものである。

【００２２】図１において、カメラ部１は、例えばＣＣ
Ｄを用いた小型カメラ部で、使用者が情報を知りたい対
象を含む画像を撮影する。

【００２３】画像蓄積部２は、画像データを蓄積するメ
モリである。カメラ部１は使用者の指示に応じて撮影を
開始し、使用者が撮影方向及び撮影範囲を調整し、操作
する事で対象を含む画像を撮影画像として画像蓄積部２
に取り込む。

【００２４】表示部１４は、例えば、ＬＣＤを用いた表
示装置から構成され、画像蓄積部２に蓄積された画像デ
ータや付加情報を表示することで、使用者に対し各種情
報を提供する。

【００２５】構図変更部３は、カメラ部１が取り込んだ
画像蓄積部２内の撮影画像から対象の構図を判断し、対
象の画像を拡大・移動・回転し、画像データベース１１
上の画像データと最も比較しやすい構図となる最適構図
画像に変換する。

【００２６】ペン入力部４は、表示部１４の表示画面上
に装着したタッチパネル及びペン型のポインティングデ
バイスから構成する。

【００２７】画像抽出部５は、構図変更部３で変換した
最適構図画像とペン入力部４で指定した画像上の座標を
用いて対象の画像の注目する部分を切り出し、背景を取
り除いた対象画像を抽出する。

【００２８】対象画像変換部６は、対象画像データを２
値化することにより対象２値画像を生成する。

【００２９】画像データベース１１は、対象を検索する
ために必要な複数のデータ画像を蓄積している。蓄積す
る画像は自然画像であり、それぞれの画像に関連する付
加情報も同時に蓄積する。

【００３０】データ画像変換部１２は、画像データベー
ス１１に蓄積した画像を対象画像変換部６と同様の手法
でデータ２値画像に変換する。

【００３１】画像比較部１０は、使用者が対象を撮影し
た画像から生成した対象２値画像と画像データベース１
１中の画像を変換したデータ２値画像とを比較し、類似
度を算出する。

【００３２】結果表示制御部１３は、検索結果に対応す
る画像データベース１１上の付加情報を引き出し、表示
部１４に出力する。

【００３３】制御部１００は、各部を接続し、データを
転送したり処理の連携をとる。

【００３４】属性名入力部７は、使用者が注目する部分
の属性名を入力し、色情報入力部８は、使用者が注目す
る部分の色情報を入力し、優先順位入力部９は、使用者
が複数の注目する部分の優先順位を入力する。

【００３５】次に、上記図１に示した画像検索システム
の動作を図２を用いて説明する。

【００３６】図２は、図１に示した画像検索システムの
処理の流れを示す流れ図である。

【００３７】まず、使用者の操作でカメラ部１が撮影を
開始する。このカメラ部１で撮影している範囲の画像は
表示部１４に表示される。これにより、使用者は知りた
いと思う対象が撮影範囲に入っているかを容易に判断す
ることができる。

【００３８】使用者は、表示部１４に表示される画像を
見て、カメラ部１の撮影画像が対象範囲にある時、ボタ
ンを押すことで表示部１４に表示していた静止画像、す
なわちカメラ部１の撮影画像を画像蓄積部２内に取り込
む。この時のカメラ部１の撮影画像の一例を図３に示
す。

【００３９】次に、画像蓄積部２上の撮影画像から構図
変更部３が構図を判断し、その変更を行う。

【００４０】すなわち、カメラ部１で撮像された対象の
画像であるオブジェクトが画面中央にない場合は、その
オブジェクトを画面中央に移動させる構図変更を行な
う。

【００４１】また、カメラ部１で撮像された対象の画像
であるオブジェクトが画面全体の大きさと比較して小さ
い場合は、画面の大きさに収まるようにオブジェクトを
拡大する構図変更を行なう。

【００４２】構図変更部３は、このような処理を画像蓄
積部２内の画像に対して行い、最適構図画像を生成す
る。この構図変更部３で生成された最適構図画像の一例
を図４に示す。

【００４３】構図変更部３により変更された最適構図画
像を表示部１４に表示させる。使用者はこの表示部１４
に表示された最適構図画像を見ながら自分が知りたい対
象の注目する部分の座標をテンキー等を用いて入力し指
定する。例えば、対象が植物の場合なら、花や葉などで
ある。

【００４４】ここで、ペン入力部４が、ペン型入力デバ
イスである場合は、このペン型入力デバイスは、表示部
１４の表示画面（ＬＣＤ）の上に装着されたタッチパネ
ルを具備して構成され、このペン型入力デバイスによっ
てタッチパネルに圧力を加えることで注目する部分の位
置情報を入力することができる。このときペンが通過し
た軌跡は表示部１４の画面上にインポーズされ、使用者
に分かり易く表示される。

【００４５】ここで、対象を囲む線は連続していなくて
もよく、途切れている場合は最も近い端点をつなげた線
を仮想的に想定する。このときの入力例を図５に示す。

【００４６】画像抽出部５では、ペン入力部４によって
入力した対象の輪郭情報を利用し、背景となる部分の画
像を排除した対象のみの画像を抽出する。この処理は画
像蓄積部２上で行い、得られる画像が注目対象画像とな
る。この画像抽出部５で抽出された注目対象画像の一例
を図６に示す。

【００４７】対象画像変換部６では、画像抽出部５で抽
出された注目対象画像を明度による基準値を設けて２値
画像に変換する。この２値画像を注目対象２値画像と呼
び、この注目対象２値画像の一例を図７に示す。この画
像検索システムにおいてはこの注目対象２値画像を検索
のキーとして利用する。

【００４８】すなわち、画像データベース１１は、対象
となる植物や動物の自然画像及び対象を特定の意味のあ
るバーツに分割したデータ画像（以下「分割データ画
像」という）を蓄積している。具体的には、「花の部分
のみ」の画像データや、「葉の部分のみ」の画像データ
といったものである。この画像データベース１１に蓄積
された分割データ画像の一例を図８に示す。

【００４９】このような構成によると、例えば、撮影時
の条件などのために、対象の花の部分しか対象画像とし
て得られなかった場合でも、画像データベース１１に花
の部分の分割データ画像が蓄積していれば、容易にその
検索が可能となる。

【００５０】画像比較部１０に入力される対象の画像は
２値画像である。そこで、画像比較部１０における比較
を行うために画像データベース１１上の分割データ画像
を２値画像に変更する必要がある。

【００５１】画像データベース１１上の分割データ画像
の２値画像への変換はデータ画像変換部１２で行う。デ
ータ画像変換部１２は、対象画像変換部６が行うのと同
様の画像処理を分割データ画像に対して行い、分割デー
タ２値画像を得る。データ画像変換部１２で変換された
分割データ２値画像の一例を図９に示す。

【００５２】データ画像変換部１２で変換された分割デ
ータ２値画像は、順次、画像比較部１０に送られ、対象
画像変換部６で変換された注目対象２値画像と比較され
る。この比較は２つの２値画像を重ねて、データに一致
する割合で判定する。

【００５３】この処理は、画像データベース１１上の検
索対象となる画像に対して順次同様に行われ、その結果
に基づき求める画像を決定する。

【００５４】結果表示制御部１３は、分割データ２値画
像の元となる自然画像（データ）を画像データベース１
１から引き出し、表示部１４に表示する。

【００５５】ここで、対象の分割データ画像と全体を表
すデータ画像間の関係情報によって、分割データ画像に
よって検索した場合でも全体を表すデータ画像を得るこ
とができる。

【００５６】このようにして、使用者は未知の対象を撮
影することで、自動的に図鑑を調べるように、対象に対
する情報を容易にまた瞬時に検索することができる。

【００５７】ここで、注目する部分を指定する際に、属
性名入力部７より「花」や「葉」といったような、その
注目する部分の属性部名を使用者が入力してもよい。こ
の場合は画像データベース中の各分割データ画像にも属
性名が情報として保持されており、画像情報とともに、
この属性名情報が検索時に利用される。

【００５８】同様に、注目する部分の色情報を色情報入
力部８により使用者が入力してもよい。この場合は画像
データベース１１中の各分割データ画像の色情報が保持
されており、画像情報とともに、この情報が検索時に利
用される。

【００５９】注目する部分の指定は、複数領域指定して
もよい。この場合は、それぞれの検索結果を類似度とし
て求めておき、その個々の検索結果を総合して最終的な
検索結果を求める。

【００６０】また、このような画像データベース１１中
に複数の分割データ画像を蓄積している場合、各分割デ
ータ画像に優先順位情報を与えておくことで効率的な検
索が可能となる。

【００６１】例えば、Ａという植物は花の形に特徴があ
り、Ｂという植物では葉の形に特徴があるとする。この
場合、Ａについては花の分割データ画像において優先順
位を高く、Ｂについては、葉の分割データ画像の優先順
位を高く設定しておく。そして、検索時には、この優先
順位に従って検索が行われる。

【００６２】また、注目する部分を使用者が複数指定す
る場合に、優先順位入力部９によって使用者がその検索
の優先順位を指定してもよい。この場合は、使用者が指
定した優先順位に従って検索が行われる。

【００６３】次に、図１０乃至図１４を参照して図１に
示した画像データベース１１の詳細構成例について説明
する。

【００６４】図１０は、図１に示した画像データベース
１１の全体構造の具体例を示したものである。

【００６５】図１０に示すように、画像データベース１
１は、検索時のタグとして利用する属性フィード１００
１と色情報フィールド１００２と実際のデータが入って
いるデータフィールド１００３から構成され、データフ
ィールド１００３は、名称や解説文などが入っているテ
キスト情報エリア１００３ａと画像が入っている画像情
報エリア１００３ｂに別れている。

【００６６】ここで、属性フィード１００１の具体的構
造は図１１に示すようように、 １）属性名 ２）先頭ＩＤ から構成されている。

【００６７】また、色情報フィールド１００２の具体的
構造は図１２に示すようように、 １）色情報 ２）先頭ＩＤ から構成されている。

【００６８】また、データフィールド１００３のテキス
ト情報エリア１００３ａの具体的構造は図１３に示すよ
うように、 １）ＩＤ ２）属性名 ３）属性次候補ＩＤ ４）色情報 ５）色情報次候補ＩＤ ６）分割データ画像ＩＤ ７）全体データ画像ＩＤ ８）名称 ９）解説 から構成されている。

【００６９】また、データフィールド１００３の画像情
報エリア１００３ｂの具体的構造は図１４に示すようよ
うに、 １）画像ＩＤ ２）画像データ から構成されている。

【００７０】ここで、例えば、使用者がチューリップを
撮影し、花の部分をマークし 属性名として「花」と入
力した場合について考えてみると、まず属性フィールド
１００１に「花」が登録されているかを検索する。

【００７１】ここで、画像データベース１１の属性フィ
ールド１００１には、図１１に示すように「花」は登録
されており、その先頭データのＩＤは、「０１０」であ
ることがわかる。

【００７２】次に、データフィールド１００３のテキス
ト情報エリア１００３ａでＩＤ「０１０」を検索する。
ここで、データフィールド１００３のテキスト情報エリ
ア１００３ａには、図１３で示すようにその候補、すな
わち、ＩＤ「０１０」が見つかる。そこで分割データ画
像ＩＤを見ると「Ｐ０２１」となっているので、次に、
データフィールド１００３の画像情報エリア１００３ｂ
から画像ＩＤ「Ｐ０２１」を検索する。これによりチュ
ーリップの「花」の画像データを得ることができる。そ
して、上述した画像処理により類似した画像かどうかを
判断する。

【００７３】ここで、次の候補は、データフィールド１
００３のテキスト情報エリア１００３ａの属性次候補Ｉ
Ｄを見ると「１５５」とあるので、このテキスト情報エ
リア１００３ａで「ＩＤ１５５」を検索して同様に処理
する。色情報の場合も同様である。

【００７４】このようにして、最終的に結果がでたら、
データフィールド１００３のテキスト情報エリア１００
３ａのＩＤから、名称や解説文など必要な情報を得るこ
とができる。

【００７５】次に、図１５乃至図１８のフローチャート
を参照して上記検索処理を更に詳細に説明する。

【００７６】図１５は、この画像検索システムにおいて
対象の注目する部分を指定する場合の検索処理の詳細を
フローチャートで示したものである。

【００７７】図１５において、まず対象を撮像する（ス
テップ１０１）。この対象の撮像は、図１に示したカメ
ラ部１を用いて行われる。

【００７８】次に、カメラ部１で撮像した画像の構図が
最適かを調べ（ステップ１０２）、最適でない場合は、
構図の最適化を行なう（ステップ１０３）。この処理は
図１に示した構図変更部３により行われる。

【００７９】次に、対象の注目する部分を指定し（ステ
ップ１０４）、指定された部分の画像の切り出しが行わ
れる（ステップ１０５）。この処理は図１に示したペン
入力部４の入力に基づき画像抽出部６により行われる。

【００８０】そして、ステップ１０５で切り出された注
目対象画像を２値画像に変換する（ステップ１０６）。
この処理は図１に示した対象画像画素変換部６で行われ
る。

【００８１】次に、注目対象画像と比較する分割データ
画像を図１に示した画像データベース１１から抽出し
（ステップ１０７）、この分割データ画像を２値画像に
変換する（ステップ１０８）。この処理は図１に示した
データ画像変換部１２により行われる。

【００８２】そして、注目対象画像と分割データ画像と
の比較が行われ（ステップ１０９）、この比較の結果か
らこの注目対象画像と分割データ画像との類似度が算出
される（ステップ１１０）。この比較は、注目対象画像
を２値画像に変換した対象２値画像と分割データ画像を
２値画像に変換したデータ２値画像との間で図１に示し
た比較部１０により行われ、その一致画素数に基づき注
目対象画像と分割データ画像との類似度が算出される。

【００８３】次に、このステップ１１０で算出した類似
度がすでに検索した結果より高いかが調べられ（ステッ
プ１１１）、高い場合はその結果を記録し（ステップ１
１２）、次に、すべてのデータ画像の検索が終了したか
を調べる（ステップ１１３）。ここで、すべてのデータ
画像の検索が終了していない場合はステップ１０７に戻
り、すべてのデータ画像の検索が終了した場合はステッ
プ１１２で記録されている結果を最終結果としてこの処
理を終了する（ステップ１１４）。

【００８４】図１６は、この画像検索システムにおいて
属性名を入力する場合の検索処理の詳細をフローチャー
トで示したものである。

【００８５】この図１６の処理は、ステップ２０２、２
０５、２０６、２０７、２１４の処理が図１５に示した
ものと異なるだけで、あとの処理図１５に示したものと
同一である。

【００８６】すなわち、図１６において、まず、対象の
注目する部分を指定し（ステップ２０１）、次に、対象
の属性名を入力する（ステップ２０２）。この対象の属
性名の入力は、図１に示した属性名入力部７により行わ
れる。

【００８７】次に、ステップ２０１で指定された部分の
画像の切り出しが行われ（ステップ２０３）、この注目
対象画像が２値画像に変換される（ステップ２０４）。

【００８８】次に、画像データベース１１の注目属性名
フィールドをチェックし（ステップ２０５）、属性名が
一致するかを調べる（ステップ２０６）。

【００８９】ここで、属性名が一致しないと次の属性名
フィールドをチェックし（ステップ２０７）、ステップ
２０６に戻る。

【００９０】ステップ２０６で、属性名が一致すると判
断されると、注目対象画像と比較する分割データ画像を
画像データベースから抽出し（ステップ２０８）、この
分割データ画像を２値画像に変換し（ステップ２０
９）、注目対象画像と分割データ画像とを比較する（ス
テップ２１０）。そして、この比較の結果から類似度を
算出し（ステップ２１１）、次に、この算出した類似度
がすでに検索した結果より高いかを調べ（ステップ２１
２）、高い場合はその結果を記録し（ステップ２１
３）、次に、すべてのデータ画像の検索が終了したかを
調べる（ステップ２１４）。ここで、すべてのデータ画
像の検索が終了していない場合はステップ２０８に戻
り、すべてのデータ画像の検索が終了した場合はステッ
プ２１３で記録されている結果を最終結果としてこの処
理を終了する（ステップ２１５）。

【００９１】図１７は、この画像検索システムにおいて
色情報を入力する場合の検索処理の詳細をフローチャー
トで示したものである。

【００９２】この図１７の処理は、ステップ３０２、３
０５、３０６、３０７、３１４の処理が図１５に示した
ものと異なるだけで、あとの処理は図１５に示したもの
と同一である。

【００９３】すなわち、図１７において、まず、対象の
注目する部分を指定し（ステップ３０１）、次に、対象
の色情報を入力する（ステップ３０２）。この対象の色
情報の入力は、図１に示した色情報入力部８により行わ
れる。

【００９４】次に、ステップ３０１で指定された部分の
画像の切り出しが行われ（ステップ３０３）、この注目
対象画像が２値画像に変換される（ステップ３０４）。

【００９５】次に、画像データベース１１の注目色情報
フィールドをチェックし（ステップ３０５）、色情報が
一致するかを調べる（ステップ３０６）。

【００９６】ここで、色情報が一致しないと次の色情報
フィールドをチェックし（ステップ３０７）、ステップ
３０６に戻る。

【００９７】ステップ３０６で、色情報が一致すると判
断されると、注目対象画像と比較する分割データ画像を
画像データベースから抽出し（ステップ３０８）、この
分割データ画像を２値画像に変換し（ステップ３０
９）、注目対象画像と分割データ画像とを比較する（ス
テップ３１０）。そして、この比較の結果から類似度を
算出し（ステップ３１１）、次に、この算出した類似度
がすでに検索した結果より高いかを調べ（ステップ３１
２）、高い場合はその結果を記録し（ステップ３１
３）、次に、すべてのデータ画像の検索が終了したかを
調べる（ステップ３１４）。ここで、すべてのデータ画
像の検索が終了していない場合はステップ３０８に戻
り、すべてのデータ画像の検索が終了した場合はステッ
プ３１３で記録されている結果を最終結果としてこの処
理を終了する（ステップ３１５）。

【００９８】図１８は、この画像検索システムにおいて
入力された属性名が見つからなかった場合の検索処理の
詳細をフローチャートで示したものである。

【００９９】図１８において、対象の属性名を入力し
（ステップ４０１）、画像データベース１１の属性名フ
ィールドをチェックし（ステップ４０２）、属性名の候
補が残っているかを調べる（ステップ４０３）。

【０１００】ここで、属性名の候補が残っていると、次
に属性名が一致するかが調べられ（ステップ４０４）、
一致すると、その属性名をもつデータから検索する。

【０１０１】また、一致しないと次の属性名フィールド
をチェックし（ステップ４０５）、ステップ４０３に戻
る。

【０１０２】また、ステップ４０３で、属性名の候補が
残っていないと判断されると、入力された属性名が存在
しないことを表示し（ステップ４０７）、次に新たな属
性名が入力されたかを調べ（ステップ４０８）、新たな
属性名が入力された場合は、全データからの検索を行
い、新たな属性名が入力されていない場合は、ステップ
４０２に戻る。

【０１０３】すなわち、属性名を入力した場合、それが
登録されていなかった場合が考えられるが、その場合
は、まず使用者に候補がなかったことを知らせ、もし新
たに入力された場合はもう一度、登録されているか検索
し、入力がなかった場合は、データベース上の全データ
を検索の対象とするという処理を行なう。

【０１０４】なお、図１８においては、属性名を入力し
たがそれが登録されていなかった場合の処理について示
したが、色情報を入力したがそれが登録されていなかっ
た場合の処理も同様である。

【０１０５】なお、上記実施形態においては、入力対象
画像が植物の場合について説明したが、この発明はこれ
に限定されず、検索を必要とする他の画像を対象にする
場合においても同様に適用することができるのは勿論で
ある。

【０１０６】

【発明の効果】以上説明したようにこの発明によれば、
以下のように示すような効果がある。

【０１０７】１）使用者がペン型のポインティングデバ
イスなどを用いて対象画像の注目する部分を指定し、さ
らにその属性を指定できるようにしたため、その情報を
利用することで検索結果の精度を上げることができる。

【０１０８】２）また、指定した部分に関する類似度も
求めることができるようにしたため最終的な検索結果の
精度を上げることができる。

【０１０９】３）また、注目する部分に優先順位を指定
することにより、優先度の高い注目部分による結果を最
終的な検索結果とすることで、検索結果の精度を上げる
ことができる。

【０１１０】４）また、対象画像の一部が隠れてしまっ
ている場合でも、画像データベースにおいて対象を特定
のパーツに分解したデータ画像を蓄積しているのでパー
ツごとの検索が可能となり、検索結果の精度を上げるこ
とができる。

【０１１１】５）また、パーツ毎に類似度を求めたり、
優先順位を指定することにより、最終的な検索結果の精
度を上げることができる。

【図面の簡単な説明】

【図１】この発明に係わる画像検索方法および装置を適
用して構成した画像検索システムの一実施の形態を示す
概略ブロック図。

【図２】図１に示した画像検索システムの処理の流れを
示す流れ図。

【図３】図１に示したカメラ部の撮影画像の一例を示す
図。

【図４】図１に示した構図変更部で生成された最適構図
の一例を示す図。

【図５】図１に示したペン入力部で注目部分を指定した
状態を示す図。

【図６】図１に示した画像抽出部で抽出された注目対象
画像の一例を示す図。

【図７】図１に示した対象画像変換部で変換された注目
対象２値画像の一例を示す図。

【図８】図１に示した画像データベースに蓄積された分
割データ画像の一例を示す図。

【図９】図１に示したデータ画像変換部で変換された分
割データ２値画像の一例を示す図。

【図１０】図１に示した画像データベースの全体構造の
具体例を示した図。

【図１１】図１０に示した属性フィードの具体的構造を
示す図。

【図１２】図１０に示した色情報フィードの具体的構造
を示す図。

【図１３】図１０に示したデータフィールドのテキスト
情報エリアの具体的構造を示す図。

【図１４】図１０に示したデータフィールドの画像情報
エリアの具体的構造を示す図。

【図１５】この画像検索システムにおいて対象の注目す
る部分を指定する場合の検索処理の詳細を示すフローチ
ャート

【図１６】この画像検索システムにおいて属性名を入力
する場合の検索処理の詳細を示すフローチャート

【図１７】この画像検索システムにおいて色情報を入力
する場合の検索処理の詳細を示すフローチャート

【図１８】この画像検索システムにおいて入力された属
性名が見つからなかった場合の検索処理の詳細を示すフ
ローチャート

【符号の説明】

１ カメラ部 ２ 画像蓄積部 ３ 構図変更部 ４ ペン入力部 ５ 画像抽出部 ６ 対象画像変換部 ７ 属性名入力部 ８ 色情報入力部 ９ 優先順位入力部 １０ 画像比較部 １１ 画像データベース １２ データ画像変換部 １３ 結果表示制御部 １４ 表示部 １００ 制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岩岡 俊行 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内

Claims (13)

【特許請求の範囲】
1. 【請求項１】 検索対象画像に基づき画像データベース
   を検索して該検索対象画像に関する情報を取得する画像
   検索方法において、 上記検索対象画像とともに該検索対象画像の属性情報を
   入力し、上記検索対象画像および上記属性情報に基づき
   上記画像データベースを検索することを特徴とする画像
   検索方法。
2. 【請求項２】 上記検索対象画像は、 撮像手段により撮像された画像であることを特徴とする
   請求項１記載の画像検索方法。
3. 【請求項３】 上記属性情報は、 上記検索対象画像から指定された一部の画像の識別情報
   であり、 上記画像データベースの検索は、 上記指定された一部の画像に基づき行われることを特徴
   とする請求項１記載の画像検索方法。
4. 【請求項４】 上記属性情報は、 上記検索対象画像の色情報であり、 上記画像データベースの検索は、 上記指定された色情報に基づき行われることを特徴とす
   る請求項１記載の画像検索方法。
5. 【請求項５】 上記画像データベースの検索は、 上記検索対象画像を２値化した対象２値画像と上記画像
   データベースに予め格納された画像データを２値化した
   データ２値画像との類似度を判別することにより行われ
   ることを特徴とする請求項１記載の画像検索方法。
6. 【請求項６】 上記属性情報は、 上記検索対象画像から指定された一部の画像の識別情報
   であり、 上記一部の画像の指定は、 それぞれ優先順位を有する複数の部分の画像を指定する
   ことにより行われ、 上記画像データベースの検索は、 上記優先順位を有する複数の部分の画像に基づき行われ
   ることを特徴とする請求項１記載の画像検索方法。
7. 【請求項７】 上記属性情報は、 上記検索対象画像から指定された色情報であり、 上記色情報の指定は、 それぞれ優先順位を有する複数の色情報を指定すること
   により行われ、 上記画像データベースの検索は、 上記優先順位を有する複数の色情報に基づき行われるこ
   とを特徴とする請求項１記載の画像検索方法。
8. 【請求項８】 検索対象画像に基づき画像データベース
   を検索して該検索対象画像に関する情報を取得する画像
   検索装置において、 上記検索対象画像を入力する検索対象画像入力手段と、 上記検索対象画像入力手段により入力された検索対象画
   像の属性情報を入力する属性情報入力手段と、 上記検索対象画像および上記属性情報に基づき上記画像
   データベースを検索する検索手段と、 を具備することを特徴とする画像検索装置。
9. 【請求項９】 上記検索対象画像入力手段は、 対象画像を撮像する撮像手段であることを特徴とする請
   求項８記載の画像検索装置。
10. 【請求項１０】 上記属性情報入力手段は、 上記検索対象画像の一部の領域を指定する領域指定手
    段、 を具備し、 上記画像データベースは、 上記識別情報を鍵として所定の画像情報を格納し、 上記検索手段は、 上記領域指定手段により指定された上記検索対象画像の
    一部の領域の画像に基づき行われることを特徴とする請
    求項８記載の画像検索装置。
11. 【請求項１１】 上記属性情報入力手段は、 上記検索対象画像の色情報を指定する色情報指定手段、 を具備し、 上記画像データベースは、 上記色情報を鍵として所定の画像情報を格納し、 上記検索手段は、 上記色情報指定手段により指定された上記色情報に基づ
    き行われることを特徴とする請求項８記載の画像検索装
    置。
12. 【請求項１２】 上記検索手段は、 上記検索対象画像から特徴画像を抽出する画像抽出手段
    と、 上記画像抽出手段で抽出した特徴画像を２値化して対象
    ２値画像に変換する対象画像変換手段と、 上記画像データベースに予め格納された画像データを２
    値化してデータ２値画像に変換するデータ画像変換手段
    と、 上記対象２値画像と上記データ２値画像とを比較してそ
    の類似度を判別する画像比較手段と、 を具備することを特徴とする請求項８記載の画像検索装
    置。
13. 【請求項１３】 上記属性情報入力手段は、 それぞれ優先順位を有する複数の属性情報を入力し、 上記検索手段は、 上記属性情報入力手段により入力された複数の属性情報
    にそれぞれ付された優先度情報に基づき上記検索を行な
    うことを特徴とする請求項１記載の画像検索装置。