JP5233306B2 - 画像検索装置、画像検索方法、及び画像検索プログラム - Google Patents

Description

本発明は、蓄積された画像データの中から所望の画像データを検索する技術に関する。

従来、検索対象の画像を手書き入力し、手書き入力された描画画像の例えば輪郭特徴や
輪郭内部の色彩、配置等の特徴要素と、蓄積されている各画像の特徴要素との比較（いわ
ゆるパターンマッチング）により、各画像の中から特徴要素の一致度の高い画像を幾つか
抽出して表示し、これらの画像の中からユーザが手書き入力時に思い描いた画像を選択可
能にした技術が知られている（例えば、特許文献１参照）。

また、手書き入力された描画画像を構成するシンボルのうちユーザが最も重要視するシ
ンボルに対し、線の太さや、種類、色、本数等の検索の優先度を示す付加情報をユーザが
付与可能に構成し、画像検索時に、付加情報が付与されたシンボルを検索条件として優先
させることで、単なるパターンマッチングによる検索よりも、迅速かつ確実に、所望の画
像を検索可能にした技術も知られている（例えば、特許文献２参照）。
特開２０００−７６３０２号公報 特開平１１−３９３１６号公報

しかしながら、特許文献１に記載の技術においては、ユーザが手書き入力時に所望の画
像の全体を、その特徴要素を含めて描画しなければ所望の画像が抽出されないため、ユー
ザが所望の画像全体の詳細を正確に覚えていない場合には検索が困難になる、という問題
がある。

また、特許文献２に記載の技術においては、パターンマッチングに加えて付加情報によ
る検索が行われるため、手書き入力された描画画像が多少不正確であっても検索精度が高
められるものの、画像の手書き入力後に付加情報を付与する操作が必要となり検索操作が
煩雑である。さらに、付加情報を付与するためのＵＩ（User Interface）を要するため、
例えば携帯型のマルチメディアプレイヤー（動画像再生装置）のような携帯型の電子機器
においては、狭い表示領域に、手書き入力のための領域と、付加情報を付与するためのＵ
Ｉとを併存させることが困難である。

本発明は、上述した事情に鑑みてなされたものであり、所望の画像の詳細を正確に覚え
ていなくとも簡単な操作で画像データの検索を行うことができる画像検索装置、画像検索
方法、及び画像検索プログラムを提供することを目的とする。

〔形態１〕 上記目的を達成するために、形態１の画像検索装置は、複数の画像の中から所望の画像を検索する画像検索装置であって、前記画像に含まれるオブジェクトを第１オブジェクトとして、該第１オブジェクトの画像を予め記憶するオブジェクト画像記憶手段、前記オブジェクト画像記憶手段に記憶されている第１オブジェクトの輪郭線形状に相当する図形を第１図形として、予め記憶する第１図形記憶手段、前記所望の画像に含まれているオブジェクトが手書き入力された画像を取得する手書き画像取得手段、前記手書き画像取得手段により取得された前記画像に示されたオブジェクトを第２オブジェクトとして、該第２オブジェクトの輪郭線形状に相当する図形を第２図形として取得し、取得した該第２図形と第１図形記憶手段に記憶されている第１図形とを比較することで、該第２オブジェクトの輪郭線形状に相当する第１図形を取得する第１図形取得手段、前記第１図形抽出手段によって取得された前記図形が第１図形として第１図形記憶手段に記憶されている第１オブジェクトの画像をオブジェクト画像記憶手段から抽出し、表示するオブジェクト候補提示手段、前記所望の画像に含まれているオブジェクトを、前記表示されたオブジェクト画像の中から選択させるオブジェクト選択手段、前記オブジェクト選択手段によって選択されたオブジェクトを検索キーに設定する検索キー設定手段、前記検索キー設定手段により設定された検索キーに基づいて前記所望の画像を検索する画像検索手段、を有することを特徴とする。

このような構成によれば、ユーザが所望の画像に含まれているオブジェクトを手書き入
力すると、手書きした画像に類似するオブジェクトの画像が表示され、それらの中から意
図したオブジェクトの画像を選択するだけで検索キーが設定されて検索が可能になる。
これにより、所望の画像の詳細を正確に覚えていなくとも、その画像に含まれているオ
ブジェクト（いわゆるパーツ）を手書き入力するだけで検索が可能になる。
さらに、手書き入力した画像にマッチングする画像を検索するのではなく、手書き入力
した画像に類似のオブジェクトの画像の中から選択されたオブジェクトによって検索キー
を設定する構成としたため、手書き入力した画像の形状が検索結果に与える影響を少なく
して精度の高い検索が可能になる。また、ユーザは、オブジェクトの画像を選択するだけ
で簡単に明確な検索キーが設定可能となる。

また、この構成によれば、オブジェクトの形状を表す主要な輪郭線を抽出してなる形状との比較により、手書き画像に類似するオブジェクトの画像を抽出するため、比較的簡単な形状
の手書き画像が入力された場合であっても、複雑な形状のオブジェクトの画像を表示して
ユーザが選択することができる。

〔形態２〕 形態２の画像検索装置は、形態１の画像検索装置において、前記オブジェクト候補提示手段は、抽出したオブジェクト画像の中に、同一のカテゴリに属する複数のオブジェクト画像が含まれている場合、前記カテゴリごとに代表のオブジェクト画像を表示することを特徴とする。

この構成によれば、同一のカテゴリに属するオブジェクトの画像が１枚の画像で代表さ
れて表示されるため、表示領域が狭くとも、ユーザが意図するオブジェクトの画像をより
多く表示することができる。

〔形態３〕 形態３の画像検索装置は、形態１乃至２の画像検索装置において、前記オブジェクト候補提示手段は、前記手書き画像に類似するオブジェクトを表す画像を表示したときに、前記手書きして入力した画像に線を手書き追加可能に構成し、前記手書きの画像に線が追加された場合、追加後の手書き画像に基づいて、前記オブジェクト画像記憶手段に記憶されているオブジェクト画像の中からオブジェクトを表すオブジェクト画像を再抽出して表示することを特徴とする。

この構成によれば、手書き画像の入力の結果、意図するオブジェクトの画像が表示装置
に表示されなかった場合に、ユーザは、新たに手書き画像を書き直さなくとも、先に描い
た手書き画像に追記するだけで、再度、オブジェクトの画像を表示させ、意図したオブジ
ェクトの画像を選択することができる。

〔形態４〕 形態４の画像検索装置は、形態１乃至３のいずれかに記載の画像検索装置において、前記検索キー設定手段は、前記オブジェクトを表す画像にオブジェクトと共に含まれたキーワード生成可能な情報から得られる語句を前記検索キーに設定可能であることを特徴とする。
この構成によれば、オブジェクトの画像に、例えば他のオブジェクトが含まれていたり、オブジェクトが特徴的な態様で描かれている場合に、これらの情報をキーワードとして設定することで、オブジェクトの画像に即した画像検索を実行することができる。

〔形態５〕 形態５の電子機器は、形態１乃至３のいずれか１の画像検索装置を備えたことを特徴とする。
この構成によれば、形態１の画像検索装置と同等の効果が得られる。
ここで、電子機器とは、パーソナルコンピュータ、デジタルカメラ、スキャナ、プロジェクタ、プリンタ、携帯電話機、ＰＤＡ、タブレットＰＣ等、あらゆる電子機器を想定することができる。

〔形態６〕
上記目的を達成するために、形態６の画像検索方法は、複数の画像を記憶している画像記憶装置と、前記画像記憶装置に記憶されている画像に含まれるオブジェクトの画像を記憶している第１画像記憶部と、前記オブジェクトの輪郭線形状に相当する図形が記憶している第２画像記憶部とを備え、画像検索において各装置を制御し画像検索を行う画像検索装置と、座標情報を入力可能な入力装置と、画像検索における各種情報を表示する表示装置によって構成される画像検索システムにおいて、複数の画像の中から所望の画像を検索する画像検索方法であって、前記画像検索装置が、前記入力装置により前記所望の画像に含まれているオブジェクトが手書き入力された画像を取得する手書き画像取得ステップと、前記画像検索装置が、前記手書き画像取得ステップにより取得された前記画像に示されたオブジェクトを第２オブジェクトとして、該第２オブジェクトの輪郭線形状に相当する図形を第２図形として取得し、取得した該第２図形と前記画像記憶手段が有する第２画像記憶部に記憶されている第１図形とを比較することで、該第２オブジェクトの輪郭線形状に相当する第１図形を取得する第１図形取得ステップと、前記画像検索装置が、前記第１図形取得ステップによって取得された前記図形が第１図形として前記第２画像記憶部に記憶されている第１オブジェクトの画像を前記第１画像記憶部から抽出し、前記表示装置に表示するオブジェクト候補提示ステップと、前記画像検索装置が、前記所望の画像に含まれているオブジェクトを、前記表示されたオブジェクト画像の中から選択させるオブジェクト画像選択ステップと、前記画像検索装置が、前記オブジェクト画像選択ステップによって選択されたオブジェクトを検索キーに設定する検索キー設定ステップと、前記画像検索装置が、前記検索キー設定ステップにより設定された検索キーに基づいて前記所望の画像を検索する画像検索ステップと、を有することを特徴とする。
この画像検索方法によれば、形態１の画像検索装置と同等の効果が得られる。

〔形態７〕 上記目的を達成するために、形態７のプログラムは、コンピュータを、複数の画像の中から所望の画像を検索する手段として機能させる画像検索プログラムであって、前記画像に含まれるオブジェクトを第１オブジェクトとして、該第１オブジェクトの画像を予め記憶するオブジェクト画像記憶手段と、前記オブジェクト画像記憶手段に記憶されている第１オブジェクトの輪郭線形状に相当する図形を第１図形として、予め記憶する第１図形記憶手段と、前記所望の画像に含まれているオブジェクトが手書き入力された画像を取得する手書き画像取得手段と、前記手書き画像取得手段により取得された前記画像に示されたオブジェクトを第２オブジェクトとして、該第２オブジェクトの輪郭線形状に相当する図形を第２図形として取得し、取得した該第２図形と第１図形記憶手段に記憶されている第１図形とを比較することで、該第２オブジェクトの輪郭線形状に相当する第１図形を取得する第１図形取得手段と、前記第１図形抽出手段によって取得された前記図形が第１図形として第１図形記憶手段に記憶されている第１オブジェクトの画像をオブジェクト画像記憶手段から抽出し、表示するオブジェクト候補提示手段と、前記所望の画像に含まれているオブジェクトを、前記表示されたオブジェクト画像の中から選択させるオブジェクト選択手段と、前記オブジェクト選択手段によって選択されたオブジェクトを検索キーに設定する検索キー設定手段と、前記検索キー設定手段により設定された検索キーに基づいて前記所望の画像を検索する画像検索手段として機能させることを特徴とする。
この画像検索プログラムによれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の画像検索装置と同等の作用及び効果が得られる。

〔形態８〕 上記目的を達成するために、形態８の記録媒体は、コンピュータを、複数の画像の中から所望の画像を検索する手段として機能させる画像検索プログラムであって、前記画像に含まれるオブジェクトを第１オブジェクトとして、該第１オブジェクトの画像を予め記憶するオブジェクト画像記憶手段と、前記オブジェクト画像記憶手段に記憶されている第１オブジェクトの輪郭線形状に相当する図形を第１図形として、予め記憶する第１図形記憶手段と、前記所望の画像に含まれているオブジェクトが手書き入力された画像を取得する手書き画像取得手段と、前記手書き画像取得手段により取得された前記画像に示されたオブジェクトを第２オブジェクトとして、該第２オブジェクトの輪郭線形状に相当する図形を第２図形として取得し、取得した該第２図形と第１図形記憶手段に記憶されている第１図形とを比較することで、該第２オブジェクトの輪郭線形状に相当する第１図形を取得する第１図形取得手段と、前記第１図形抽出手段によって取得された前記図形が第１図形として第１図形記憶手段に記憶されている第１オブジェクトの画像をオブジェクト画像記憶手段から抽出し、表示するオブジェクト候補提示手段と、前記所望の画像に含まれているオブジェクトを、前記表示されたオブジェクト画像の中から選択させるオブジェクト選択手段と、前記オブジェクト選択手段によって選択されたオブジェクトを検索キーに設定する検索キー設定手段と、前記検索キー設定手段により設定された検索キーに基づいて前記所望の画像を検索する画像検索手段として機能させる画像検索プログラムを記録したコンピュータ読取可能な記録媒体であることを特徴とする。
この記録媒体によれば、コンピュータによってプログラムが記録媒体から読み取られ、読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の画像検索装置と同等の作用及び効果が得られる。
ここで、記録媒体とは、ＲＡＭ、ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記録型／光学的読取方式記録媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記録媒体であれば、どのような記録媒体であってもよい。

以下、図面を参照して本発明の実施形態について説明する。
＜第１実施形態＞
図１は画像検索システム１の構成の模式図である。
画像検索システム１は、図１に示すように、多数の画像データ４を蓄積可能な画像蓄積
装置６と、画像蓄積装置６に蓄積された画像を検索する画像検索装置２と、画像検索画面
５０や検索結果等の各種情報を表示する表示装置８と、画像検索装置２に対して指やタッ
チペン等での入力を可能にする入力装置としてのタブレット装置１０とを備えている。

画像蓄積装置６は、デジタルカメラ等で撮影された画像やスキャナを用いてデータ化し
た画像等の各種の画像（静止画像）の画像データ４を蓄積する。この画像蓄積装置６は、
画像検索装置２に有線又は無線により外部接続された例えばハードディスクドライブ等の
外部接続型の記憶装置や、画像検索装置２に有線ＬＡＮや無線ＬＡＮ、インターネット等
の電気通信回線を介して通信可能に接続されたコンピュータ端末の記憶装置により構成さ
れている。なお、画像検索装置２に内蔵されたメモリ又は着脱自在な半導体メモリにより
画像蓄積装置６を構成しても良い。

表示装置８は、画像検索装置２に接続された外部ディスプレイである。なお、画像検索
装置２にフラットパネルディスプレイを配設して表示装置８を画像検索装置２と一体に構
成しても良い。
タブレット装置１０は、平面状の入力面を有し、指やタッチペン等の位置指示可能な検
知対称物の入力面に対する指示位置の座標値を検出し有線又は無線により画像検索装置２
に順次出力する。画像検索装置２は、タブレット装置１０から順次出力される座標値のデ
ータに基づいて、指やタッチペン等によってタブレット装置１０の入力面に手書き描画さ
れた画像の手書き画像データを生成して取得する。なお、タブレット装置１０を、その入
力面が表示装置８の表示面の前面又は背面に配置されてなるタッチパネル装置により構成
しても良い。さらに、当該タッチパネル装置を画像検索装置２に配設して表示装置８及び
タブレット装置１０を画像検索装置２と一体に構成しても良い。なお、入力装置はタブレ
ット装置に限られるものではなく、ユーザが座標情報を入力できるものであれば、マウス
などの他のポインティングデバイスを用いても良い。

図２は、画像検索画面の一例を示す模式図である。
表示装置８には、画像検索の際に用いられるＧＵＩとしての画像検索画面５０が表示さ
れ、図２に示すように、この画像検索画面５０には、手書き入力領域５１と、手書き入力
完了ボタン５２と、検索開始ボタン５３とが設けられている。
手書き入力領域５１は、上記タブレット装置１０を用いてユーザが画像を手書き入力す
る領域である。この手書き入力領域５１には、ユーザが検索しようとする所望の画像に含
まれている（描かれている）オブジェクトが手書き入力される。
本実施形態において「オブジェクト」とは、画像の中に描かれた動物或いは静物の何ら
かの物体であり、例えば、図３に示すように、「海」や「草原」、「山」、「ピラミッド
」、「塔」、「三角定規」等がオブジェクトとして挙げられる。

手書き入力完了ボタン５２は、手書き入力の完了を画像検索装置２に対して指示する操
作ボタンであり、また、検索開始ボタン５３は、画像検索装置２に対して検索開始を指示
する操作ボタンである。
これらの手書き入力完了ボタン５２及び検索開始ボタン５３は、タブレット装置１０を
用いて選択操作可能に表示装置８に表示された表示アイテムである。なお、図示を省略す
るが、画像検索画面５０には、書き間違いの線を削除するためのクリアボタンといった、
画像を手書き入力する際に有用となる操作ボタンが表示アイテムとして設けられている。
なお、上記表示アイテムは画像検索画面５０に常時表示しなくとも良い。例えば、タブ
レット装置１０によって画面の端部など特定の部分がタッチされた時にのみ、表示アイテ
ムを表示するようにしても良い。これにより、手書き入力領域５１に対してより大きな面
積を割り当てることができるため、画像の手書き入力操作がおこないやすくなる。

画像検索装置２は、画像検索画面５０の手書き入力領域５１からオブジェクトの手書き
画像が入力された場合、その手書き画像に類似した１又は複数のオブジェクトの画像を表
示装置８に表示して、ユーザが手書き入力したオブジェクトの画像を選択させることで、
ユーザが手書きしたオブジェクトが何であるかを特定し、このオブジェクトを含む画像デ
ータ４を検索する。
以下、かかる画像検索装置２の構成を説明する。

画像検索装置２は、プログラムを実行し各種の処理手段及び制御手段として機能するＣ
ＰＵ、プログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして機能するＲＡＭを備え
た例えばパーソナルコンピュータ等の情報処理装置、或いは、マイクロプロセッサを備え
るマイクロコンピュータによって構成されており、図１に示すように、プログラムを実行
することで各部を制御する制御部２０と、この制御部２０が実行するプログラムを格納す
るプログラム格納部２１とを備えている。
プログラム格納部２１に格納されるプログラムは、ＣＤやＤＶＤ、磁気ディスク等の記
録媒体１４に記録されているプログラム、或いは、電気通信回線を通じて送信可能なプロ
グラムがインストールされたものである。

また、画像検索装置２は、上記制御部２０及びプログラム格納部２１の他にも、図１に
示すように、画像蓄積装置６との間での画像データ４の入出力インタフェースとして機能
する画像蓄積装置Ｉ／Ｆ部２２と、表示装置８との間のインタフェースとして機能する表
示Ｉ／Ｆ部２３と、タブレット装置１０との間のインタフェースとして機能するタブレッ
トＩ／Ｆ部２４とを有し、さらに、オブジェクト画像格納部２５と、オブジェクト画像デ
ータベース２６とを備えている。

オブジェクト画像格納部２５は、多数のオブジェクト画像データ２７を予め記憶するオ
ブジェクト画像記憶手段を構成するものであり、オブジェクト画像データベース２６は、
これらのオブジェクト画像データ２７を管理するものである。
オブジェクト画像データ２７は、オブジェクトの画像（以下、「オブジェクト画像」と
言う）をデータ化したものであり、各オブジェクト画像データ２７にファイル名（識別子
）が付されて上記オブジェクト画像格納部２５に予め記憶されている。

上記制御部２０は、図１に示すように、画像検索の際の検索キーを設定し、検索実行部
３２に出力する検索キー設定部３０と、検索キーに基づいて画像蓄積装置６の画像データ
４を検索し、該当する画像データ４を抽出して表示装置８に表示する検索実行部３２とを
備えている。
本実施形態では、検索キーの設定を、上記オブジェクト画像の選択に基づいて行うこと
としており、これを実現するために、検索キー設定部３０は、手書き画像生成部４０と、
オブジェクト候補提示部４２と、検索キー特定部４４とを有している。

手書き画像生成部４０は、タブレット装置１０からの入力に基づいて、ユーザがタブレ
ット装置１０に手書き入力したオブジェクトの画像の手書き画像データを生成し、オブジ
ェクト候補提示部４２に出力する。
オブジェクト候補提示部４２は、手書き画像データの手書き画像に類似する１又は複数
のオブジェクトをオブジェクト画像格納部２５のオブジェクト画像データ２７から抽出し
、それらのオブジェクト画像を選択可能に表示装置８に表示する。
これにより、ユーザが所望の画像に含まれるオブジェクトを手書き入力することで、そ
の画像に類似するオブジェクト画像が選択可能に表示装置８に表示され、手書き入力した
オブジェクトが実際何であるかを表示装置８に表示されたオブジェクト画像から選択する
ことにより画像検索装置２に入力される。
検索キー特定部４４は、表示装置８に表示したオブジェクト画像のいずれかが選択され
た場合、そのオブジェクト画像に対応する検索キーを設定し、検索実行部３２に出力する
。
オブジェクト画像と検索キーとの対応は、上記オブジェクト画像データベース２６に記
録されており、検索キー特定部４４は、オブジェクト画像データベース２６を参照してオ
ブジェクト画像に応じた検索キーを設定する。

図４は、オブジェクト画像データベース２６の一例を模式的に示す図である。
この図に示すように、オブジェクト画像データベース２６の１件のレコードには、ＩＤ
、ファイル名、輪郭形状特性、オブジェクト検索キー、及び、付随オブジェクト検索キー
の項目が含まれている。
ＩＤの項目には各レコードを一意に特定するための識別情報が格納され、ファイル名の
項目にはオブジェクト画像データ２７を特定するための識別情報たるファイル名が格納さ
れる。なお、このファイル名の項目に、オブジェクト画像データ２７を直接格納しても良
い。

輪郭形状特性の項目は、手書き画像がタブレット装置１０から入力された場合、この手
書き画像に類似するオブジェクトを特定するために参照されるものであり、この輪郭形状
特性の項目には、オブジェクトの多数の輪郭線のうち、このオブジェクトの形状を表す主
要な輪郭線の形状が格納される。この主要な輪郭線の形状としては、極力線数の少ない簡
易な図形（例えば、１本の直線、１本の曲線、或いは、三角形や四角形等の多角形）、或
いは、この簡易な図形の組み合わせからなる図形（例えば円及び放物線からなる図形）が
好ましく、これにより、手書き入力しなければならないオブジェクトを簡易な図形で入力
することができる。
例えば、図３に示すように、オブジェクトが「海」や「草原」である場合、それらの主
要な輪郭線である水平線や地平線の形状である「横一直線」が輪郭形状特性として格納さ
れる。また、オブジェクトが「山」、「ピラミッド」、「塔」或いは「三角定規」である
場合、これらのオブジェクトの主要な輪郭線である「三角形」が輪郭形状特性として格納
される。さらにまた、オブジェクトが「人の顔」や「太陽」、「ボール」或いは「タイヤ
」の場合には、これらのオブジェクトの主要な輪郭線である円又は楕円が輪郭形状特性と
して格納される。
なお、オブジェクトの外形を構成する輪郭線の形状を輪郭形状特性とする場合に限らず
、例えば、オブジェクトが「サッカーボール」であれば「円の内側に六角形を含む形状」
、オブジェクトが「タイヤホイール」であれば「複数の略同心円からなる形状」を輪郭形
状特性として格納しても良い。さらに、１つのオブジェクトに対して、「円」又は「楕円
」などの２つの輪郭形状特性を割り当てても良い。

オブジェクト検索キー及び付随オブジェクト検索キーの項目は、オブジェクト画像に対
応する検索キーを格納するものである。すなわち、オブジェクト検索キーの項目にはオブ
ジェクト画像データ２７のオブジェクトの名称が格納されており、例えば、オブジェクト
が「海」の場合には「海」が格納され、オブジェクトが「草原」である場合には「草原」
が格納される。
また付随オブジェクト検索キーの項目には、オブジェクト画像として予め用意された画
像の中にオブジェクト以外に付随的に含まれたキーワード生成可能な情報（例えば一緒に
含まれる他のオブジェクトや、オブジェクトの撮影時の状況又は態様、オブジェクトの中
の細かな分類等の情報）から得られた語句が格納される。
例えば、図３に示す「海」のオブジェクト画像には、「海」と共に「青空」及び「雲」
とった他のオブジェクトが付随し、これら「青空」及び「雲」が付随オブジェクト検索キ
ーに格納される。また例えば、図３に示す「山」のオブジェクト画像には、山の実例とし
て山の頂に「雪」が積った「富士山」が描かれることで「山」の他に「雪」及び「富士山
」という情報が付随して含まれ、これら「雪」及び「富士山」が付随オブジェクトキーに
格納される。

このように付随オブジェクト検索キーを検索キーとして使用することで、例えばオブジ
ェクトが「雪原」であっても「青空の下の雪原」と「夕焼け空の下の雪原」とを区別し、
また、オブジェクトが「ボール」であっても「サッカーボール」と「バスケットボール」
とを区別して画像検索することが可能となり、オブジェクト画像に表現されているイメー
ジに則した画像が検索可能になる。
また、この付随オブジェクト検索キーを、オブジェクト検索キーと分けて管理すること
で、例えば、検索キーに付随オブジェクト検索キーを使用しないようにすることも簡単に
できる。

図５は、画像検索装置２による画像検索処理のフローチャートである。
画像検索装置２は、画像検索を行う際、表示装置８に上記画像検索画面５０を表示し、
タブレット装置１０からのタッチ操作による入力を待ち受ける（ステップＳ１）。そして
、タッチ操作による入力があった場合（ステップＳ１：ＹＥＳ）、画像検索装置２は、そ
のタッチ操作が手書き入力領域５１への「手書き入力」であるか、又は、検索開始ボタン
５３等の操作ボタン、或いは、オブジェクト画像といった表示装置８に表示した選択可能
な表示アイテムを選択する「表示アイテム選択」であるかを判断する（ステップＳ２）。

タッチ操作が「手書き入力」である場合（ステップＳ２：手書き入力）、画像検索装置
２は、タブレット装置１０からの入力に基づいて、手書き画像データを生成する（ステッ
プＳ３）。この生成処理をタブレット装置１０からのタッチ操作が完了するまで実行する
（ステップＳ４：ＮＯ）。
次に、タッチ操作が「表示アイテム選択」である場合（ステップＳ２：表示アイテム選
択）、画像検索装置２は、タッチ操作により選択された表示アイテムが何であるか、すな
わち、オブジェクト画像又は手書き入力完了ボタン５２又は検索開始ボタン５３のいずれ
かであるかを判断する（ステップＳ５）。選択された表示アイテムが手書き入力完了ボタ
ン５２であった場合（ステップＳ５：手書き入力完了ボタン）、画像検索装置２は、手書
き画像データに基づいて、手書き画像の形状を解析し、その輪郭形状特性を取得する（ス
テップＳ６）。

そして、画像検索装置２は、手書き画像の輪郭形状特性にマッチする輪郭形状特性を有
したオブジェクト画像を、オブジェクト画像データベース２６に基づいて検索し（ステッ
プＳ７）、該当するオブジェクト画像のオブジェクト画像データ２７をオブジェクト画像
格納部２５から読み出して表示装置８に表示する（ステップＳ８）。その後、画像検索装
置２は、ユーザによるオブジェクト画像の選択操作を待ち受けるべく、処理手順をステッ
プＳ１に戻す。

ステップＳ６の開始条件は、「手書き入力完了ボタン５２が選択された場合」に限らず
、本実施形態では、「タッチ操作による手書き入力が完了してから一定時間が経過した場
合」にも行うこととしている。すなわち、タッチ操作がなされていない場合（ステップＳ
１：ＮＯ）、画像検索装置２は、手書き入力が完了しており（ステップＳ９：ＹＥＳ）、
なおかつ、タッチ操作がなされていない時間が一定時間経過している場合に（ステップＳ
１０：ＹＥＳ）、ステップＳ６の処理を開始する。これによると、ユーザが手書き入力を
おこなった際に、その都度手書き入力完了ボタン５２を操作せずとも、自動的にオブジェ
クト画像が表示されるため、ユーザはよりテンポよく画像検索をおこなうことができる。

これらステップＳ１〜Ｓ１０の処理により、図６に示すように、例えばユーザが画像検
索画面５０の手書き入力領域５１に、オブジェクトとして横に延びた線の画像を手書き入
力すると、この手書き画像の輪郭形状特性として「横一直線」が取得される。そして、オ
ブジェクト画像データベース２６において、輪郭形状特性が「横一直線」であるレコード
が検索される。図３に示したオブジェクト画像データベース２６の例では、ＩＤが「１」
〜「４」のレコードが検索に該当し、これらのレコードに登録された「海」、「草原」及
び「雪原」の４つのオブジェクト画像データ２７がオブジェクト画像格納部２５から読み
出される。そして、このようにして読み出されたオブジェクト画像データ２７のオブジェ
クト画像が図６に示すように表示装置８にオブジェクト画像選択画面として表示される。

図５に戻り、ステップＳ１及びＳ２により、タッチ操作による「表示アイテム選択」が
なされたと判断した場合（ステップＳ１：ＹＥＳ、ステップＳ２：表示アイテム選択）、
画像検索装置２は、上述したように、タッチ操作により選択された表示アイテムがオブジ
ェクト画像又は手書き入力完了ボタン５２又は検索開始ボタン５３のいずれかであるかを
判断する（ステップＳ５）。
オブジェクト画像が選択された場合（ステップＳ５：オブジェクト画像）、画像検索装
置２は、選択されたオブジェクト画像に対するオブジェクト検索キー及び／又は付随オブ
ジェクト検索キーをオブジェクト画像データベース２６に基づいて検索キーに設定する（
ステップＳ１１）。そして、画像検索装置２は、追加のオブジェクトの手書き入力、或い
は、検索開始指示を待ち受けるべく、処理手順をステップＳ１に戻す。

これらの処理により、ユーザが手書き入力領域５１にオブジェクトの画像を手書き入力
するごとに、その手書き画像に類似したオブジェクト画像がオブジェクト画像選択画面に
表示され、手書き入力したオブジェクトに対応するオブジェクト画像を選択することで、
検索キーが順次設定される。
例えば図６に示すように、オブジェクト画像選択画面に表示された「海」、「草原」及
び「雪原」の４つのオブジェクト画像の中からユーザが「草原」のオブジェクト画像を選
択すると、検索キーに「草原」が設定され、そして、表示画面が画像検索画面５０に切り
換えられる。
同様にして、ユーザが手書き入力領域５１に第２、第３のオブジェクトとして「三角形
」、「円」を加筆して入力し、それぞれのオブジェクトの入力ごとにオブジェクト画像選
択画面に表示されたオブジェクト画像を選択することで、「山」、「太陽」とったオブジ
ェクト検索キーが順次検索キーに追加される。
なお、図６に示す例では、オブジェクト検索キーのみを検索キーに設定する場合を示す
が、付随オブジェクト検索キーも併せて設定しても良い。

図５に戻り、ステップＳ１、Ｓ２及びＳ５の処理により、タッチ操作により検索開始ボ
タン５３が選択されたと判断した場合（ステップＳ１：ＹＥＳ、ステップＳ２：表示アイ
テム選択、ステップＳ５：検索開始ボタン）、画像検索装置２は、ステップＳ１１の処理
で設定された検索キーに基づいて、画像蓄積装置６に蓄積されている画像データ４の中か
ら該当する画像データ４、すなわち、検索キーに設定されたオブジェクトを含む画像デー
タ４を検索し（ステップＳ１２）、検索に該当した画像データ４の画像を表示装置８に表
示し（ステップＳ１３）、画像検索処理を終了する。
これにより、例えば図６に示すように、「草原」、「山」及び「太陽」が検索キーとし
て設定されると、これらの検索キーのオブジェクトを全て含む画像の画像データ４が画像
蓄積装置６から検索され、該当する画像が画像結果表示画面に表示される。

このように、本実施形態によれば、ユーザが所望の画像に含まれているオブジェクト（
パーツ）を手書き入力すると、手書きした画像に類似するオブジェクトの画像が表示され
、それらの中から意図したオブジェクトの画像を選択するだけで検索キーが設定されて検
索が可能になる。
これにより、ユーザは、所望の画像の詳細を正確に覚えていなくとも、その画像に含ま
れているオブジェクトを手書き入力するだけで検索することができる。
また、画像検索装置２は、手書き入力した画像にマッチングする画像を検索するのでは
なく、手書き入力した画像に類似のオブジェクトの画像の中から選択されたオブジェクト
によって検索キーを設定する構成としたため、手書き入力した画像の形状が検索結果に与
える影響を少なくして精度の高い検索が可能になる。また、ユーザは、オブジェクトの画
像を選択するだけで簡単に明確な検索キーが設定可能となる。

また、本実施形態によれば、オブジェクトの形状を表す主要な輪郭線を抽出してなる形
状をオブジェクトの輪郭線形状特性として予め規定し、この輪郭線形状との比較により、
手書き画像に類似するオブジェクトの画像を抽出するため、比較的簡単な形状の手書き画
像であっても、複雑な形状のオブジェクト画像を表示してユーザに選択させることができ
る。
例えば、エッフェル塔等の輪郭線が複雑なオブジェクトであっても、その形状を表す主
要な輪郭線として、外形線からなる三角形を輪郭線形状とすることで、外形の三角形を手
書き入力しただけで、エッフェル塔等の各種の塔をオブジェクト画像に表示させることが
できる。

また本実施形態によれば、オブジェクト画像に、例えば他のオブジェクトが含まれてい
たり、オブジェクトが特徴的な態様で描かれている場合に、これらの付随的な情報を付随
オブジェクト検索キーとして設定可能とすることで、ユーザに提示したオブジェクト画像
に近い画像を検索させることができる。

＜第２実施形態＞
第１実施形態では、例えば図４に示すように、「雪原」といった同一のオブジェクトで
あっても、オブジェクト画像に付随する情報が異なる場合には、同一のオブジェクトを示
す複数のオブジェクト画像を同列に取り扱っている。したがって、そのオブジェクトの輪
郭形状特性にマッチする手書き画像が入力された場合には、それらの同一のオブジェクト
を示す複数のオブジェクト画像が一度に表示される。
これに対して、本実施形態では、カテゴリが同一のオブジェクトを示す複数のオブジェ
クト画像がある場合には、これらのオブジェクト画像を階層化して表示する構成としてい
る。

すなわち、本実施形態では、例えば手書き画像として「円」が入力された場合、輪郭形
状特性が「円」のオブジェクト画像がオブジェクト画像選択画面に表示される。このとき
、例えば図７に示すように、輪郭形状特性が「円」のオブジェクトとして、「サッカーボ
ール」、「バスケットボール」、「テニスボール」及び「野球ボール」等の各種の「ボー
ル」がオブジェクト画像として予め用意されている場合には、これらの「ボール」のカテ
ゴリに属する各オブジェクト画像を代表する画像を１つだけオブジェクト画像選択画面に
表示する。
そして、オブジェクト画像選択画面において、オブジェクト画像が長押し操作等の他の
選択操作と区別される操作がなされた場合に、そのオブジェクト画像が代表の画像である
「ボール」のときには、その「ボール」のカテゴリに属する「サッカーボール」、「バス
ケットボール」、「テニスボール」及び「野球ボール」の各々のオブジェクト画像を表示
して選択可能にする。

かかる動作について、図８に示す画像検索処理のフローチャートを参照してより詳細に
説明する。なお、この図において、図５に示した処理ステップと同じものには同一の符号
を付している。
この図に示すように、本実施形態においては、ステップＳ７において、手書き画像の輪
郭形状特性にマッチするオブジェクト画像を検索して抽出した後、これらのオブジェクト
画像を表示するのに先立って（ステップＳ８）、画像検索装置２は、検索に該当（ヒット
）したオブジェクト画像の数が表示装置８のオブジェクト画像選択画面に表示可能な枚数
より多いか否かを判断する（ステップＳ２０）。この表示可能な枚数は、オブジェクト画
像選択画面のサイズと、表示時のオブジェクト画像のサイズとによって規定される。

検索に該当したオブジェクト画像の数が表示可能な枚数以内である場合（ステップＳ２
０：ＮＯ）、画像検索装置２は、検索に該当したオブジェクト画像を全て表示装置８に表
示する（ステップＳ８）。
一方、検索に該当したオブジェクト画像の数が表示可能な枚数より多い場合（ステップ
Ｓ２０：ＹＥＳ）、画像検索装置２は、それらのオブジェクト画像のうち、同一のカテゴ
リに属するオブジェクトの複数のオブジェクト画像ごとに、オブジェクト画像選択画面に
表示する代表画像を選択して、そのカテゴリのオブジェクト画像として設定する（ステッ
プＳ２１）。これにより、ステップＳ８でオブジェクト画像をオブジェクト画像選択画面
に表示した際には、同一のカテゴリに属する複数のオブジェクト画像に代えて代表画像が
表示されることとなる。
この際、代表画像上にアイコン画像を表示したり、代表画像の周囲に枠線を表示するな
どして、表示されたオブジェクト画像が代表画像であることを明示的に示すための表示手
法を用いても良い。
なお、オブジェクト画像同士が同一のカテゴリに属するか否かは、オブジェクト検索キ
ー（オブジェクトの名称）が同一であるか否かに基づいて判断しても良く、また、同一カ
テゴリに属するオブジェクトのオブジェクト画像ごとに予めフラグを付して判別可能にし
ても良い。

そして、このオブジェクト画像選択画面でオブジェクト画像が選択された際には（ステ
ップＳ５：オブジェクト画像）、画像検索装置２は、その選択操作が長押し操作であり（
ステップＳ２２：ＹＥＳ）、さらに、長押し操作されたオブジェクト画像が代表画像であ
る場合には（ステップＳ２３：ＹＥＳ）、その代表画像のオブジェクトのカテゴリに属す
るオブジェクト画像を全て抽出し、それらのオブジェクト画像をオブジェクト画像選択画
面に表示する（ステップＳ８）。この結果、オブジェクト画像選択画面には、カテゴリが
同一であって種類等の異なる各種のオブジェクト画像が表示される。

このように、本実施形態によれば、同一のカテゴリに属するオブジェクトの画像が１枚
の画像で代表されて表示されるため、例えば携帯型のマルチメディアプレイヤー等の携帯
型電子機器のように表示領域が狭い機器であっても、複数のカテゴリのオブジェクトのオ
ブジェクト画像を一度により多く表示することができる。

＜第３実施形態＞
第１実施形態では、例えば図６に示すように、オブジェクトを手書き入力した場合に、
入力された手書き画像に基づいてオブジェクト画像が抽出され、オブジェクト画像選択画
面に表示される。このとき、ユーザが意図したオブジェクトが必ずしもオブジェクト画像
選択画面に表示されるとは限らない。
例えば、手書き画像として円だけを入力したときには、図９に示すように、輪郭形状特
性が「円」である「人の顔」、「太陽」、「ボール」及び「タイヤ」のオブジェクト画像
が抽出されるものの、実際に検索したい画像（入力したいオブジェクト）は、単なる「円
」よりも複雑な形状の輪郭形状特性を有する花や動物の顔である場合がある。
そこで、本実施形態では、オブジェクト画像選択画面に、インクリメンタルサーチボタ
ンを設け、オブジェクト画像選択画面において、オブジェクト画像ではなく、インクリメ
ンタルサーチボタンが操作された場合には、オブジェクト画像の選択（検索キーの設定）
を行わずに画像検索画面に戻る構成としている。

これにより、ユーザは、画像検索画面において、例えば、先に描いた「円」の周りに波
線を追加して「花」のオブジェクトにより近付けた画像を再入力したり、先に描いた「円
」の上部に上に凸な放物線を２つ追加して「動物の顔」により近付けた画像を再入力した
りできる。そして、このように画像が再入力された場合には、画像検索装置２は、先に描
かれた「円」と、追加された形状との両方を含む輪郭形状特性のオブジェクト画像を抽出
してオブジェクト画像選択画面に表示する。

このように、本実施形態によれば、手書き画像の入力の結果、意図するオブジェクト画
像が表示装置８に表示されなかった場合でも、ユーザは、新たに手書き画像を書き直す必
要はなく、先に描いた手書き画像に追記するだけで、再度、オブジェクト画像を表示させ
、意図したオブジェクト画像を選択することができる。

なお、上述した各実施形態は、あくまでも本発明の一態様を示すものであり、本発明の
範囲内で任意に変形および応用が可能である。
例えば、上述した各実施形態において、オブジェクト画像データ２７は、画像に含まれ
る可能性のあるオブジェクトが予め選定されて用意されたものであっても良く、また、画
像蓄積装置６に蓄積されている画像データ４を解析して、各画像データ４の画像に含まれ
ているオブジェクトを抽出して生成したものであっても良い。

また、各実施形態に係る画像検索装置をパーソナルコンピュータ、デジタルカメラ、ス
キャナ、プロジェクタ、プリンタ、携帯電話機、ＰＤＡ、タブレットＰＣ等のあらゆる電
子機器が備える形態で実施することも可能である。

本発明の第１実施形態の画像検索システムの構成の模式図である。 画像検索画面の一例を示す模式図である。 オブジェクト、オブジェクト画像及び輪郭形状特性の一例を示す図である。 オブジェクト画像データベースの模式図である。 画像検索処理のフローチャートである。 画像検索の流れを示す動作説明図である。 第２実施形態に係る画像検索の流れを示す動作説明図である。 画像検索処理のフローチャートである。 第３実施形態に係る画像検索の流れを示す動作説明図である。

符号の説明

１…画像検索システム、２…画像検索装置、４…画像データ、８…表示装置（表示手段
）、１０…タブレット装置、２０…制御部（オブジェクト選択手段）、２５…オブジェク
ト画像格納部（オブジェクト画像記憶手段）、２７…オブジェクト画像データ、３０…検
索キー設定部（検索キー設定手段）、３２…検索実行部、４０…手書き画像生成部（手書
き画像取得手段）、４２…オブジェクト候補提示部（オブジェクト候補提示手段）、４４
…検索キー特定部、５０…画像検索画面。

Claims (6)

1. 複数の画像の中から所望の画像を検索する画像検索装置であって、
   前記画像に含まれるオブジェクトを第１オブジェクトとして、該第１オブジェクトの画像を予め記憶するオブジェクト画像記憶手段と、
   前記オブジェクト画像記憶手段に記憶されている第１オブジェクトの輪郭線形状に相当する図形を第１図形として、予め記憶する第１図形記憶手段と、
   前記所望の画像に含まれているオブジェクトが手書き入力された画像を取得する手書き画像取得手段と、
   前記手書き画像取得手段により取得された前記画像に示されたオブジェクトを第２オブジェクトとして、該第２オブジェクトの輪郭線形状に相当する図形を第２図形として取得し、取得した該第２図形と第１図形記憶手段に記憶されている第１図形とを比較することで、該第２オブジェクトの輪郭線形状に相当する第１図形を取得する第１図形取得手段と、
   前記第１図形抽出手段によって取得された前記図形が第１図形として第１図形記憶手段に記憶されている第１オブジェクトの画像をオブジェクト画像記憶手段から抽出し、表示するオブジェクト候補提示手段と、
   前記所望の画像に含まれているオブジェクトを、前記表示されたオブジェクト画像の中から選択させるオブジェクト選択手段と、
   前記オブジェクト選択手段によって選択されたオブジェクトを検索キーに設定する検索キー設定手段と、
   前記検索キー設定手段により設定された検索キーに基づいて前記所望の画像を検索する画像検索手段と、
   を有することを特徴とする画像検索装置。
2. 請求項１に記載の画像検索装置において
   前記オブジェクト候補提示手段は、
   抽出したオブジェクト画像の中に、同一カテゴリに属する複数のオブジェクト画像が含まれている場合、前記カテゴリごとに代表のオブジェクト画像を表示する
   ことを特徴とする画像検索装置。
3. 請求項１又は２に記載の画像検索装置において、
   前記オブジェクト候補提示手段は、前記手書き画像に類似するオブジェクトを表す画像を表示したときに、前記手書き入力した画像に線を手書き追加可能に構成し、前記手書き画像に線が追加された場合、追加後の手書き画像に基づいて、前記オブジェクト画像記憶手段に記憶されているオブジェクト画像の中からオブジェクトを表すオブジェクト画像を再抽出して表示する
   ことを特徴とする画像検索装置。
4. 請求項１乃至３のいずれかに記載の画像検索装置において、
   前記検索キー設定手段は、前記オブジェクトを表す画像にオブジェクトと共に含まれたキーワード生成可能な情報から得られる語句を前記検索キーに設定可能である
   ことを特徴とする画像検索装置。
5. 複数の画像を記憶している画像記憶装置と、前記画像記憶装置に記憶されている画像に含まれるオブジェクトの画像を記憶している第１画像記憶部と、前記オブジェクトの輪郭線形状に相当する図形が記憶している第２画像記憶部とを備え、画像検索において各装置を制御し画像検索を行う画像検索装置と、座標情報を入力可能な入力装置と、画像検索における各種情報を表示する表示装置によって構成される画像検索システムにおいて、複数の画像の中から所望の画像を検索する画像検索方法であって、
   前記画像検索装置が、前記入力装置により前記所望の画像に含まれているオブジェクトが手書き入力された画像を取得する手書き画像取得ステップと、
   前記画像検索装置が、前記手書き画像取得ステップにより取得された前記画像に示されたオブジェクトを第２オブジェクトとして、該第２オブジェクトの輪郭線形状に相当する図形を第２図形として取得し、取得した該第２図形と前記画像記憶手段が有する第２画像記憶部に記憶されている第１図形とを比較することで、該第２オブジェクトの輪郭線形状に相当する第１図形を取得する第１図形取得ステップと、
   前記画像検索装置が、前記第１図形取得ステップによって取得された前記図形が第１図形として前記第２画像記憶部に記憶されている第１オブジェクトの画像を前記第１画像記憶部から抽出し、前記表示装置に表示するオブジェクト候補提示ステップと、
   前記画像検索装置が、前記所望の画像に含まれているオブジェクトを、前記表示されたオブジェクト画像の中から選択させるオブジェクト画像選択ステップと、
   前記画像検索装置が、前記オブジェクト画像選択ステップによって選択されたオブジェクトを検索キーに設定する検索キー設定ステップと、
   前記画像検索装置が、前記検索キー設定ステップにより設定された検索キーに基づいて前記所望の画像を検索する画像検索ステップと、
   を有することを特徴とする画像検索方法。
6. コンピュータを、複数の画像の中から所望の画像を検索する手段として機能させる画像検索プログラムであって、
   前記画像に含まれるオブジェクトを第１オブジェクトとして、該第１オブジェクトの画像を予め記憶するオブジェクト画像記憶手段、
   前記オブジェクト画像記憶手段に記憶されている第１オブジェクトの輪郭線形状に相当する図形を第１図形として、予め記憶する第１図形記憶手段、
   前記所望の画像に含まれているオブジェクトが手書き入力された画像を取得する手書き画像取得手段、
   前記手書き画像取得手段により取得された前記画像に示されたオブジェクトを第２オブジェクトとして、該第２オブジェクトの輪郭線形状に相当する図形を第２図形として取得し、取得した該第２図形と第１図形記憶手段に記憶されている第１図形とを比較することで、該第２オブジェクトの輪郭線形状に相当する第１図形を取得する第１図形取得手段、
   前記第１図形抽出手段によって取得された前記図形が第１図形として第１図形記憶手段に記憶されている第１オブジェクトの画像をオブジェクト画像記憶手段から抽出し、表示するオブジェクト候補提示手段、
   前記所望の画像に含まれているオブジェクトを、前記表示されたオブジェクト画像の中から選択させるオブジェクト選択手段、
   前記オブジェクト選択手段によって選択されたオブジェクトを検索キーに設定する検索キー設定手段、
   前記検索キー設定手段により設定された検索キーに基づいて前記所望の画像を検索する画像検索手段、
   として機能させることを特徴とする画像検索プログラム。