JP5660067B2 - 画像検索システム、画像検索装置、画像検索方法、及びプログラム - Google Patents

画像検索システム、画像検索装置、画像検索方法、及びプログラム Download PDF

Info

Publication number
JP5660067B2
JP5660067B2 JP2012063791A JP2012063791A JP5660067B2 JP 5660067 B2 JP5660067 B2 JP 5660067B2 JP 2012063791 A JP2012063791 A JP 2012063791A JP 2012063791 A JP2012063791 A JP 2012063791A JP 5660067 B2 JP5660067 B2 JP 5660067B2
Authority
JP
Japan
Prior art keywords
image
images
sample
candidate
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012063791A
Other languages
English (en)
Other versions
JP2013196458A (ja
Inventor
浩一 中込
浩一 中込
雅行 広浜
雅行 広浜
松永　和久
和久 松永
道大 二瓶
道大 二瓶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012063791A priority Critical patent/JP5660067B2/ja
Priority to US13/831,293 priority patent/US9002071B2/en
Priority to CN201310089244.7A priority patent/CN103324655B/zh
Publication of JP2013196458A publication Critical patent/JP2013196458A/ja
Application granted granted Critical
Publication of JP5660067B2 publication Critical patent/JP5660067B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、花等を撮影してその花を同定するための画像検索システム、画像検索装置、画像検索方法、及びプログラムに関する。
野山や道端で見かけた花の名前を知りたくなることがある。そこで、花を撮影し、撮影した花などの対象植物からその特徴量を抽出し、全国の野草の名前や科、前記特徴量に対応する特徴量情報、および植物のサンプル画像を納めたデータベースから対象植物の検索を行う技術が提案されている（例えば、特許文献１参照）。
また、花と葉のディジタル画像より、クラスタリング法を用いて対象物である花と葉の画像を抽出し、その抽出された花と葉の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば、特許文献２参照）。
また、花などの主要被写体を含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて花の領域と背景画像の領域とに分割する技術は、例えば特許文献３に提案されている。
特開２００７−１３３８１６号公報 特開２００２−２０３２４２号公報 特開２０１１−３５６３６号公報
しかしながら、特許文献１、２に示されている技術では、認識率が５５％程度であって、どうしても人間の目による選択工程が不可欠である。従来の技術では、人間に選択させるためのユーザーインターフェースの使い勝手が必ずしも良くないという課題があった。
本発明は、このような課題に鑑みてなされたものであり、撮影した花などの植物（撮影して検索する対象物をオブジェクトという）を同定するための、効果的かつ使い勝手の良いユーザーインターフェースを有した画像検索システム、画像検索装置、画像検索方法、及びプログラムを提供することを目的とする。
前記課題を解決するため、本発明の一態様は、撮影されたオブジェクトの画像を、データベースを検索することによって同定するための画像検索装置であって、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースと、前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、前記撮影されたオブジェクトの画像とともに、前記抽出された複数のオブジェクトの見本画像である候補画像と、前記候補画像と対応するオブジェクトの名前と、を表示部に並べて表示させる第１の表示制御手段と、前記表示部に表示されている複数の候補画像を、対応するそれぞれの前記オブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、備えることを特徴とする画像検索装置である。
また、本発明の他の態様は、撮影されたオブジェクトの画像を、データベースを検索することによって同定するための画像検索システムであって、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースと、前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、前記撮影されたオブジェクトの画像とともに、前記抽出された複数のオブジェクトの見本画像である候補画像と、前記候補画像と対応するオブジェクトの名前と、を表示部に並べて表示させる第１の表示制御手段と、前記表示部に表示されている複数の候補画像を、対応するそれぞれの前記オブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、通信端末と、該通信端末とネットワークを介して接続されるサーバーとを備え、前記表示部は前記通信端末に備えられ、前記データベースは前記サーバーに備えられていることを特徴とする画像検索システムである。
また、本発明の他の態様は、撮像部で撮影されたオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するための画像検索装置のコンピュータを、前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、前記撮影されたオブジェクトの画像とともに、前記抽出された複数のオブジェクトの見本画像である候補画像と、前記候補画像と対応するオブジェクトの名前と、を表示部に並べて表示させる第１の表示制御手段と、前記表示部に表示されている複数の候補画像を、対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、して機能させることを特徴とする画像検索プログラムである。
また、本発明の他の態様は、撮像部と表示部を備えた通信端末のコンピュータを、オブジェクトの画像を撮影する撮像手段と、前記撮影されたオブジェクトの画像を、ネットワークを介してサーバーへ送信する送信手段と、前記サーバーから送られてくる、前記撮影されたオブジェクトの画像に類似度が高い複数のオブジェクトの見本画像である候補画像と、前記候補画像に対応するオブジェクトの名前と、前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像と、を受信する受信手段と、前記撮影されたオブジェクトの画像とともに、受信した前記撮影されたオブジェクトの画像に類似度が高い複数のオブジェクトの見本画像である候補画像と、前記候補画像と対応するオブジェクトの名前と、を表示部に並べて表示させる第１の表示制御手段と、前記表示部に表示されている複数の候補画像を、前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、して機能させることを特徴とする画像検索プログラムである。
また、本発明の他の態様は、外部の通信端末からネットワークを介して送られてくるオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するためのサーバーのコンピュータを、前記通信端末から送られてくるオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、前記抽出された複数のオブジェクトの見本画像である候補画像と、前記候補画像と対応するオブジェクトの名前と、前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像と、を前記データベースから読み出して前記通信端末に送信する第１の送信手段と、前記第１の送信手段により送信した複数の候補画像を、前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記通信端末に送信する第２の表示制御手段と、前記通信端末側で前記候補画像の一つが選択されると、その選択情報を受信して前記送られてきたオブジェクトの画像に対応するオブジェクトの名前を同定する同定手段と、して機能させることを特徴とする画像検索プログラムである。
また、本発明の他の態様は、撮像部で撮影されたオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するための画像検索方法であって、コンピュータが、前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出ステップと、前記撮影されたオブジェクトの画像とともに、前記抽出された複数のオブジェクトの見本画像である候補画像と、前記候補画像と対応するオブジェクトの名前と、を表示部に並べて表示させる第１の表示制御ステップと、前記表示部に表示されている複数の候補画像を、対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御ステップと、を含むことを特徴とする画像検索方法である。
本発明によれば、撮影した花等のオブジェクトを簡単な操作で迅速に検索することができる。
本発明の実施形態であるネットワークシステムの全体構成を説明する図である。 本実施形態のデータベースの構成を示す図である。 本実施形態の表示部１２の表示状態の変化を説明するための図である。 本実施形態の表示部１２の表示状態の変化を説明するための図である。 本実施形態の表示部１２の表示状態の変化を説明するための図である。 本実施形態の花検索システムの全体の動作を示すフローチャートである。 本実施形態の花検索プログラムを示すフローチャートである。 第２の実施形態の花領域抽出処理の概略を示す図である。 第２の実施形態の花領域抽出処理の詳細を示すフローチャートである。 第２の実施形態の顕著性マップ抽出処理の一例を示すフローチャートである。 第２の実施形態の特徴量マップ作成処理の一例を示すフローチャートである。 第２の実施形態の特徴量マップ作成処理の他の例を示すフローチャートである。
＜第１の実施形態＞
以下、本発明の実施形態について説明する。
図１は、本発明の一実施形態であるネットワークシステムの全体構成を説明する図である。
１０はスマートフォンのような通信端末であり、画像を撮影するための撮像部１１、撮影した花の画像や候補画像などを表示する表示部１２、ワークメモリとして機能する記憶部１３、画像選択や注目点のデータ入力などを行うための操作部１４、及び通信端末全体を制御する制御部１５、メモリカード１６を装着する装着部１７を備えている。撮像部１１は静止画像と連写若しくは動画像を撮影する機能を有するものであり、本明細書において連写と動画は同意として扱う。記憶部１３は撮影した複数の画像を保存しておく保存部１３Ａを備えている。制御部１５はＣＰＵ７を備え、花検索のための通信端末１０で実行する各種プログラムを記憶するプログラム記憶部８、所定のアルゴリズムに沿ったプログラムを実行することにより花検索を行って候補画像を抽出する抽出部９を含んでいる。
この通信端末１０は携帯電話回線や無線ＬＡＮなどによりインターネット５００を介してサーバー１００と接続する。
サーバー１００は、前記通信端末１０の撮像部１１で撮影された花の画像を同定するための特徴情報とともに花の見本画像、花の名前、葉の見本画像、及び花の名前を絞り込むための注目点を指示する画像を対応づけて記憶しているデータベース１１０を備えている。
１３０はワークメモリとして機能する記憶部であり、１５０はサーバー全体を制御する制御部である。制御部１５０はＣＰＵ７０を備えるとともに、花検索のためのＣＰＵ７０で実行する各種プログラムを記憶するプログラム記憶部８０を記憶している。制御部１５０は更に所定のアルゴリズムに沿ったプログラムを実行することにより花検索を行って候補画像を抽出する抽出部９０を含んでいる。従って、通信端末１０側に抽出部９を備えていなくても、サーバー１００に送って抽出部９０により花検索を行うことができる。また、記憶部１３０は複数のユーザから送られてきた（投稿された）花の画像を記憶する保存部１３０Ａを備えている。
図２は、データベース１１０の構成を示す図である。
データベース１１０は特徴情報Ｄ２とともに花の見本画像Ｄ３、花の名前Ｄ１、葉の見本画像Ｄ４、及び花の名前を絞り込むための注目点を指示する画像Ｄ５を対応づけて記憶している。また、その花の注目点である開花時期、花の大きさ、花弁の色、葉の形、背丈、生育地域、・・・等を、花の候補を絞り込むための注目点情報Ｄ６として記憶している。更に、その花の種子から、芽、成長、つぼみ、開花などの育成ガイドや、肥料や水の与え方などの手入れガイドを含むガイド情報Ｄ７を記憶している。このガイド情報Ｄ７は表示データでも音声データでもよい。花の名前Ｄ１をインデックスとして花の見本画像Ｄ３、葉の見本画像Ｄ４などを記憶しているが、容量の許す範囲で１つの花の名前に対して複数の花の状態、例えば開花前、蕾の時期、開花中、結実中などの画像を記憶させることもできる。
次に、実際に通信端末１０で花を撮影して花検索を実行する手順について説明する。
図３乃至図５は、本実施形態の表示部１２の表示状態の変化を説明するための図である。
通信端末１０の撮像部１１で花を撮影したとする。そのとき、表示部１２には、図３（Ａ）に示すように、撮影画像Ｇが表示されている。撮影画像Ｇには主要被写体である花の画像Ｆと、背景Ｂが一緒に写り込んでいる。このとき、既に撮影され記憶部１３若しくはメモリカード１６に保存されている画像を選択してもよい。Ｄ６は、開花時期や花の大きさ、背丈、葉の形など分かっている情報から候補を絞り込むための注目点情報の表示である。
そして、通信端末１０の操作部１４の操作により、撮影画像Ｇを選択し、制御部１５により図６で後述する花検索プログラムを実行させる。
制御部１５は、抽出部９の動作により撮影された花の画像Ｆの特徴情報とデータベース１１０に記憶されている特徴情報Ｄ２と比較することによって、撮影された花の画像Ｆに類似度が高い花の見本画像Ｄ３を候補画像として複数抽出する。このときの表示部１２の表示例を図３（Ｂ）に示す。すなわち、花の画像Ｆを含む撮影画像Ｇと、候補画像として抽出された複数の花の見本画像Ｄ３と、それぞれの花の名前Ｄ１が並べて表示され、更に花の候補を絞り込むための注目点情報Ｄ６が並べて表示されている。複数の花の候補画像Ｄ３は類似度の高い順に並べるものとする。
この状態で、ユーザが、撮影した花の画像Ｇと表示されている花の見本画像Ｄ３の一致を特定できないとき、操作部１４の所定の操作により、図４（Ａ）に示すように花の見本画像Ｄ３が表示されていた位置に、その花に対応する葉の画像Ｄ４に一斉に変更して表示する。これによりユーザは花の形だけでなく葉の形も対比して比較することができる。
これでも判断がつかないときは、操作部１４の所定の操作により、図４（Ｂ）に示すように、花の名前を絞り込むための注目点を指示する画像Ｄ５を表示させる。この注目点を指示する画像Ｄ５には、注目点が矢印で記入してあるので、ユーザがその注目点を注意深く比較するか、注目点情報Ｄ６において注目点となっている花の大きさ、花の色、生育時期、背丈などを指定すると、花を絞り込むことができる。
なお、図５（Ａ）に示すように葉の見本画像Ｄ３の代わりに全体画像Ｄ８を表示することもできる。所定閾値以上類似度が高い花の名前が発見されない時は、図５（Ｂ）に示すように「条件に合致する花はありません」という案内表示Ｄ９を行う。
この動作をフローチャートを使用して説明する。
図６は、本実施形態の花検索システムの全体の動作を示すフローチャートであり、前述した表示を実現するものである。すなわち、制御部１５のプログラム記憶部８に記憶されている花検出プログラムをスタートさせると、表示部１２に最初に所定のメニュー画面が表示される（ステップＳ１）。ここで、花を撮影するか、既に撮影して記憶部１３の保存部１３Ａに保存されている撮影画像を選択する（ステップＳ２）。すると、図３（Ａ）に示した基本画面を表示する（ステップＳ３）。この状態で操作部１４により色々な操作が可能であるが、検索指示を行うとステップＳ５へ進み、インターネット５００などのネットワークを介してサーバー１００のデータベース１１０にアクセスし、花の候補画像を検索し抽出する（ステップＳ５）。この詳細については図９で後述する。
その抽出結果を基に、図３（Ｂ）に示す花の見本画像表示を行う（ステップＳ６）。花の見本画像Ｄ３は、類似度の高い順に左上から順に花の名前Ｄ１とともに並列表示されている。この状態でユーザが撮影した花の名前を特定することができれば、このまま完了してもよいが、似た花が複数あって絞りきれない場合、「葉」を指定する操作を行うと、ステップＳ４からステップＳ７に進み、図３（Ｂ）で表示している花の見本画像に変えて、図４（Ａ）に示すように、その花に対応するデータベース１１０に記憶されている葉の見本画像Ｄ４を読み出し、その花の見本画像が表示されていた領域に花の見本画像に代えて葉の見本画像を表示する（ステップＳ８）。従って、葉の類似度が高い順に葉の候補画像を並べるのでなく、花の見本画像の類似度が高い順に葉の見本画像が並んでいることになる。その方が、常に類似度が最も高いものを先頭に表示させるより、ユーザに混乱を与えない。また、検索ステップＳ７では、ステップＳ５のように画像認識処理は行わず、データベース１１０から対応する葉の見本画像Ｄ４を抽出してくるものである。「葉」を指定する操作は「葉」というボタンがあってもよいし、表示されている撮影画像Ｇの葉の部分をクリックするようにしてもよい。
それでもユーザが花の名前を特定できない時は、所定の操作によりステップＳ９、Ｓ１０へ進み、図４（Ｂ）に示すように、前述したように花の名前を絞り込むための注目点を指示する画像Ｄ５を表示させる。この注目点を指示する画像Ｄ５には、注目点が矢印で記入してあるので、ユーザがその注目点を注意深く比較するか、注目点情報Ｄ６において注目点となっている花の大きさ、花の色、生育時期、背丈などを指定すると、花を絞り込むことができる。
花を検索する前に注目点情報を指定するとステップＳ１１へ進む。例えば、注目点である花の大きさ、花の色、生育時期、背丈などを指定すると、データベース１１０の注目点情報Ｄ６を検索して条件に当てはまらない花を候補から除外する。これにより、ステップＳ５と同様の検索処理を行う際に、検索対象を絞り込むことができるので、検索時間が短くなる。表示部１２の表示態様は図３（Ｂ）と同様である。
ユーザが撮影した花の名前を特定することができれば、終了操作によりフローを終了する（ステップＳ１３）。
なお、葉の見本画像Ｄ４だけでなく全体の見本画像Ｄ８を用意しておいてもよい（図５（Ａ））。
ステップＳ５の検索の結果、類似する花の見本画像が抽出できなかったときは、図５（Ｂ）に示すように、「条件に合致する花はありません」という案内表示Ｄ９を行う。
図７は、図６のステップＳ５の花を検索し候補画像を抽出する動作を示すフローチャートである。画像データを対象とした特徴量の類似度計算手法自体は公知であるので詳述はしない（例えば、電子情報通信学会 データ工学ワークショップＤＥＷＳ２００３の論文「画像データを対象とした類似度計量系によるメタデータ自動生成方式の実現」（慶応技術大学 加藤絢一郎、佐々木秀康、清水康、水野貴夫）参照）。また被写体の切抜き手法としては、Ｇｒａｐｈ Ｃｕｔｓ法（グラフカット法）を採用しており、グラフカット法の具体的な手法の一例は第２の実施形態で詳述するのでここでは詳述はしない。
まず、撮影画像Ｇから、主要被写体である花の画像Ｆを切り抜く処理をする（ステップＳ５１）。また、切り抜いた花の領域から特徴情報を抽出する（ステップＳ５２）。
そして、データベース１１０に記憶されている特徴情報Ｄ２と比較する（ステップＳ５３）。
比較したデータベース１１０の特徴情報と花の領域から抽出された特徴情報との類似度を計算し（ステップＳ５４）、類似度の高い順に花の見本画像を例えば６個抽出して（ステップＳ５５）、図３（Ａ）に示すように、花の見本画像を類似度順に並べて表示する（図６のステップＳ６）。
＜第２の実施形態＞
次に、第２の実施形態を説明する。本実施形態は、被写体を動画で撮影した場合に対応しており、図７における「花の領域切り抜き」（ステップＳ５１）の具体的な手法を例示するものである。この手法によれば、静止画像のみならず、動画像から花の領域を抽出することができる。なお、前記実施形態と共通部分は共通の符号を付し説明は省略している。
第２の実施形態における画像抽出処理では、Ｇｒａｐｈ Ｃｕｔｓ法（グラフカット法）が適用されている。Ｇｒａｐｈ Ｃｕｔｓ法とは、セグメンテーション（画像の領域分割）問題をエネルギー最小化問題として解く手法のひとつである。Ｇｒａｐｈ Ｃｕｔｓ法は、各領域から定義したエネルギー関数の大域解を求めることが可能であり、その結果、領域と境界の両方の特性を用いたセグメンテーションが実現できるという利点がある。
図８の例では、処理対象画像６１（→撮影画像Ｇに対応）について、次のような動画像抽出処理が実行される。
ステップＳａにおいて、ＣＰＵ７は、顕著性マップ抽出処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ７は、処理対象画像６１に対応するフレーム画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成する。なお、以下、このような複数種類のうち所定の１種類の特徴量マップを作成するまでの一連の処理を、特徴量マップ作成処理と称する。各特徴量マップ作成処理の詳細例については、図１１や図１２を参照して後述する。
例えば図８の例では、後述する図１２（Ａ）のマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップＦｃが作成されている。また、後述する図１２（Ｂ）のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップＦｈが作成されている。また、図１２（Ｃ）の色空間分布の特徴量マップ作成処理の結果、特徴量マップＦｓが作成されている。
次に、ＣＰＵ７は、複数種類の特徴量マップを統合することで、顕著性マップを求める。例えば図８の例では、特徴量マップＦｃ，Ｆｈ，Ｆｓが統合されて、顕著性マップＳが求められている。
ステップＳａの処理は、後述する図９のステップＳ２２の処理に対応する。
ステップＳｂにおいて、ＣＰＵ７は、顕著性マップを用いて、処理対象画像の中から、人間の視覚的注意を引く可能性の高い画像領域（以下、注目点領域と称する）を推定する。例えば図８の例では、顕著性マップＳを用いて処理対象画像６１から、複数段階の注目点領域６２−１乃至６２−Ｎ（Ｎは１以上の整数値であって、図８の例では少なくとも４以上の整数値）が推定されている。
注目点領域６２−ｒ（ｒは、１乃至Ｎのうちのいずれかの整数値）は、顕著性マップＳを所定の閾値Ｓｔｈ-ｒを用いて２値化した場合における、閾値Ｓｔｈ−ｒよりも高い値を有する領域である。具体的には例えば図６の例では、注目点領域６２−１の推定に用いられた閾値Ｓｔｈ−１は７０とされている。注目点領域６２−２の推定に用いられた閾値Ｓｔｈ−２は９０とされている。注目点領域６２−（Ｎ−１）の推定に用いられた閾値Ｓｔｈ−（Ｎ−１）は１５０とされている。注目点領域６２−Ｎの推定に用いられた閾値Ｓｔｈ−Ｎは１７０とされている。
ステップＳｂの処理は、後述する図９のステップＳ２４の処理に対応する。
ステップＳｆのＧｒａｐｈ Ｃｕｔｓ法による領域分割処理においては、処理対象画像６１は、主要被写体の領域と背景領域とにセグメンテーション（分割）される。かかる領域分割処理を実現するためには、主要被写体の領域と背景領域との見本となるラベルや種（ｓｅｅｄ）が必要になる。このため、次のようなステップＳｃ，Ｓｄの処理が実行される。
ステップＳｃにおいて、ＣＰＵ７は、コア領域抽出処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ７は、複数段階の注目点領域６２−１乃至６２−Ｎを用いて、注目点領域のコア領域を抽出する。例えは、複数段階の注目点領域６２−１乃至６２−Ｎの変化が少ない領域や、複数段階の注目点領域６２−１乃至６２−Ｎの重複領域などに基づいて、注目点領域のコア領域が抽出される。具体的には例えば図８の例では、注目点領域のコア領域６３−１，６３−２が抽出されている。
ステップＳｃの処理は、後述する図９のステップＳ２５の処理に対応する。
ステップＳｄにおいて、ＣＰＵ７は、種（ｓｅｅｄ）設定処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ７は、例えば注目点領域のコア領域に基づいて、主要被写体の領域の種と、背景領域の種とをそれぞれ設定する。
なお、設定手法自体は特に限定されない。例えば、注目点領域のコア領域をそのまま、主要被写体の領域の種に設定するという手法を採用することができる。また例えば、注目点領域のコア領域に内接若しくは外接する矩形領域、又は、注目点領域の重心若しくは骨格線などを、主要被写体の領域の種に設定するという手法を採用することができる。また例えば、顕著性が低いコア領域、注目点領域以外の矩形領域、又は、注目点領域以外の領域の重心や骨格線を、背景領域の種に設定するという手法を採用することができる。
例えば図８の例では、主要被写体の領域の種６４−１，６４−２、及び、背景領域の種６５−１，６５−２が設定されている。
ステップＳｄの処理は、後述する図９のステップＳ２６の処理に対応する。
また、ステップＳｆのＧｒａｐｈ Ｃｕｔｓ法による領域分割処理を実現するためには、主要被写体の事前確率Ｐｒ（Ｏ）と、背景領域の事前確率Ｐｒ（Ｂ）とが必要になる。
そこで、ステップＳｅにおいて、ＣＰＵ７は、事前確率演算処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ７は、顕著性マップＳの値（ただし、顕著性マップ値を０乃至１の範囲内に正規化した値）を、主要被写体領域の事前確率Ｐｒ（Ｏ）として演算する。また、ＣＰＵ７は、顕著性マップＳを反転した値（１−顕著性マップＳの値）、すなわち１−Ｐｒ（Ｏ）を、背景領域の事前確率Ｐｒ（Ｏ）として演算する。例えば図３の例では、同図に示される顕著性マップＳから、同図に示される主要被写体の事前確率Ｐｒ（Ｏ）と背景領域の事前確率Ｐｒ（Ｂ）とが得られている。
ステップＳｅの処理は、後述する図９のステップＳ２３の処理に対応する。
次に、ステップＳｆにおいて、ＣＰＵ７は、Ｇｒａｐｈ Ｃｕｔｓ法による領域分割処理を実行する。
ここで、従来のＧｒａｐｈ Ｃｕｔｓ法では物体と背景の学習のために、物体領域（主要被写体領域）と背景領域の見本となるラベルや種は手動で与えられていた。これに対して、本実施形態では、ステップＳｄの処理で自動的に設定された主要被写体の種及び背景領域の種を利用することができる。その結果、従来のようにユーザが手動で種を入力する必要が無くなり、また、学習の必要も無くなる。
また、ステップＳｅの処理で演算された主要被写体の事前確率Ｐｒ（Ｏ）及び背景領域の事前確率Ｐｒ（Ｂ）は、顕著性マップＳに基づくものであり、Ｇｒａｐｈ Ｃｕｔｓ法のｔ−ｌｉｎｋの事前確率として採用することが可能である。その結果、主要被写体領域の適切な空間情報が得られることになる。
ステップＳｆのＧｒａｐｈ Ｃｕｔｓ法による領域分割処理の結果、上述したように、処理対象画像６１は、主要被写体の領域と背景領域に分割される。
ステップＳｆの処理は、後述する図９のステップＳ２７の処理に対応する。
その後、主要被写体の領域のデータが「動画像部分」の画像データとして抽出される（後述する図９ステップＳ２８参照）。なお、この抽出手法は、特に限定されず、いわゆる切り抜き抽出であっても良いし、いわゆるアルファチャネル抽出であっても良い。
このようなステップＳａ乃至Ｓｆの処理が、複数のフレーム画像データ毎に繰り返し実行されることで、「動画像部分」の動画像データなどが抽出される。
図９は、動画像抽出処理の流れの詳細例を示すフローチャートである。
ステップＳ２１において、ＣＰＵ７は、図６のステップＳ５乃至Ｓ８のループ処理の結果得られた動画像データなどの中から、所定の撮影画像データ（フレーム画像データ）を処理対象画像データとして設定する。
ステップＳ２２において、ＣＰＵ７は、顕著性マップ抽出処理を実行することで、顕著性マップを求める。顕著性マップ抽出処理については、その概略は図８のステップＳａの処理として上述した通りであり、その詳細は図１０を参照して後述する。
ステップＳ２３において、ＣＰＵ７は、事前確率演算処理を実行する。これにより、図８のステップＳｅの処理として上述した通り、主要被写体の事前確率Ｐｒ（Ｏ）と背景領域の事前確率Ｐｒ（Ｂ）とが得られる。
ステップＳ２４において、ＣＰＵ７は、顕著性マップを用いて、注目点領域を推定する。これにより、図８のステップＳｂの処理として上述した通り、複数段階の注目点領域が推定される。
ステップＳ２５において、ＣＰＵ７は、複数段階の注目点領域を用いて、コア領域抽出処理を実行する。これにより、図８のステップＳｃの処理として上述した通り、注目点領域のコア領域が抽出される。
ステップＳ２６において、ＣＰＵ７は、注目点領域のコア領域を用いて、種（ｓｅｅｄ）設定処理を実行する。これにより、図８のステップＳｄの処理として上述した通り、主要被写体の領域の種と、背景領域の種とがそれぞれ設定される。
ステップＳ２７において、ＣＰＵ７は、主要被写体の事前確率Ｐｒ（Ｏ）及び背景領域の事前確率Ｐｒ（Ｂ）、並びに、主要被写体の領域の種及び背景領域の種を用いて、Ｇｒａｐｈ Ｃｕｔｓ法による領域分割処理を実行する。これにより、図８のステップＳｆの処理として上述した通り、処理対象画像データに対応するフレーム画像は、主要被写体の領域と背景領域とにセグメンテーション（分割）される。そこで、ステップＳ２８において、ＣＰＵ７は、分割後の主要被写体の領域に対応するデータを、「動画像」の画像データとして記憶部１３などに一時的に保持する。
ステップＳ２９において、ＣＰＵ７は、処理対象画像データが最後の撮影画像データ（フレーム画像データ）か否かを判定する。処理対象画像データが最後の撮影画像データでない場合、ステップＳ２９においてＮＯであると判定されて処理はステップＳ２１に戻される。すなわち、動画像データなどを構成する複数の撮影画像データ毎に、ステップＳ２１乃至Ｓ２９のループ処理が繰り返し実行されることで、「動画像」の画像データが順次抽出されていく。
その後、最後の撮影画像データが処理対象画像データに設定されて、ステップＳ２２乃至Ｓ２８の処理が実行されると、次のステップＳ２９においてＹＥＳであると判定されて、動画像抽出処理は終了となる。その結果、複数の撮影画像データのそれぞれから抽出された複数の「動画像」の画像データにより、「動画像」の動画像データなどが構成される。このため、動画像抽出処理が終了すると、すなわち、図６のステップＳ９の処理が終了すると、上述したように、ステップＳ１０，Ｓ１１の処理で、「動画像」の動画像データなどが圧縮符号化され、その結果得られる符号化画像データがメモリカード１６などに記録される。
次に、動画像抽出処理のうち、ステップＳ２２（図８のステップＳａ）の注目点領域処理の詳細例について説明する。
上述したように、注目点領域推定処理では、注目点領域の推定のために、顕著性マップが作成される。したがって、注目点領域推定処理に対して、例えば、Ｔｒｅｉｓｍａｎの特徴統合理論や、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用することができる。
図１０は、Ｔｒｅｉｓｍａｎの特徴統合理論やＮｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用した場合における、注目点領域推定処理の流れの詳細例を示すフローチャートである。
ステップＳ４１において、ＣＰＵ７は、スルー撮像により得られたフレーム画像データを、処理対象画像データとして取得する。
ステップＳ４２において、ＣＰＵ７は、ガウシアン解像度ピラミット（Ｇａｕｓｓｉａｎ Ｒｅｓｏｌｕｔｉｏｎ Ｐｙｒａｍｉｄ）を作成する。具体的には例えば、ＣＰＵ７は、処理対象画像データ｛（ｘ，ｙ）の位置の画素データ｝をＩ（０）＝Ｉ（ｘ，ｙ）として、ガウシアンフィルタ処理とダウンサンプリング処理とを順次繰り返し実行する。その結果として、階層型のスケール画像データＩ（Ｌ）（例えばＬ∈｛０・・・８｝）の組が生成される。この階層型のスケール画像データＩ（Ｌ）の組が、ガウシアン解像度ピラミッドと称されている。ここで、スケールＬ＝ｋ（ここではｋは１乃至８のうちのいずれかの整数値）の場合、スケール画像データＩ（ｋ）は、１／２ｋの縮小画像（ｋ＝０の場合は原画像）を示す。
ステップＳ４３において、ＣＰＵ７は、各特徴量マップ作成処理を開始する。各特徴量マップ作成処理の詳細例については、図１１や図１２を参照して後述する。
ステップＳ４４において、ＣＰＵ７は、全ての特徴量マップ作成処理が終了したか否かを判定する。各特徴量マップ作成処理のうち１つでも処理が終了していない場合、ステップＳ４４において、ＮＯであると判定されて、処理はステップＳ４４に再び戻される。すなわち、各特徴量マップ作成処理の全処理が終了するまでの間、ステップＳ４４の判定処理が繰り返し実行される。そして、各特徴量マップ作成処理の全処理が終了して、全ての特徴量マップが作成されると、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。
ステップＳ４５において、ＣＰＵ７は、各特徴量マップを線形和で結合して、顕著性マップＳ（Ｓａｌｉｅｎｃｙ Ｍａｐ）を求める。このようにして、顕著性マップＳが求められると、顕著性マップ抽出処理は終了する。すなわち、図９のステップＳ２２の処理は終了し、処理はステップＳ２３に進む。図８の例でいえば、ステップＳａの処理は終了し、処理はステップＳｂに進む。
次に、各特徴量マップ作成処理の具体例について説明する。
図１１は、輝度、色、及び、方向性の特徴量マップ作成処理の流れの一例を示すフローチャートである。
図１１（Ａ）は、輝度の特徴量マップ作成処理の一例を示している。
ステップＳ６１において、ＣＰＵ７は、処理対象画像データに対応する各スケール画像から、各注目画素を設定する。例えば各注目画素ｃ∈｛２，３，４｝が設定されたとして、以下の説明を行う。各注目画素ｃ∈｛２，３，４｝とは、スケールｃ∈｛２，３，４｝のスケール画像データＩ（ｃ）上の演算対象として設定された画素をいう。
ステップＳ６２において、ＣＰＵ７は、各注目画素ｃ∈｛２，３，４｝の各スケール画像の輝度成分を求める。
ステップＳ６３において、ＣＰＵ７は、各注目画素の周辺画素ｓ＝ｃ＋δの各スケール画像の輝度成分を求める。各注目画素の周辺画素ｓ＝ｃ＋δとは、例えばδ∈｛３，４｝とすると、スケールｓ＝ｃ＋δのスケール画像Ｉ（ｓ）上の、注目画素（対応点）の周辺に存在する画素をいう。
ステップＳ６４において、ＣＰＵ７は、各スケール画像について、各注目画素ｃ∈｛２，３，４｝における輝度コントラストを求める。例えば、ＣＰＵ７は、各注目画素ｃ∈｛２，３，４｝と、各注目画素の周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）のスケール間差分を求める。ここで、注目画素ｃをＣｅｎｔｅｒと呼称し、注目画素の周辺画素ｓをＳｕｒｒｏｕｎｄと呼称すると、求められたスケール間差分は、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分と呼称することができる。この輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、注目画素ｃが白で周辺画素ｓが黒の場合又はその逆の場合には大きな値をとるという性質がある。したがって、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、輝度コントラストを表わすことになる。なお、以下、かかる輝度コントラストをＩ（ｃ，ｓ）と記述する。
ステップＳ６５において、ＣＰＵ７は、処理対象画像データに対応する各スケール画像において、注目画素に設定されていない画素が存在するか否かを判定する。そのような画素が存在する場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。
すなわち、処理対象画像データに対応する各スケール画像の各画素に対して、ステップＳ６１乃至Ｓ６５の処理がそれぞれ施されて、各画素の輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、各注目画素ｃ∈｛２，３，４｝、及び、周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）が設定される場合、ステップＳ６１乃至Ｓ６５の１回の処理で、（注目画素ｃの３通り）×（周辺画素ｓの２通り）＝６通りの輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、所定のｃと所定のｓについて求められた輝度コントラストＩ（ｃ，ｓ）の画像全体の集合体を、以下、輝度コントラストＩの特徴量マップと称する。輝度コントラストＩの特徴量マップは、ステップＳ６１乃至Ｓ６５のループ処理の繰り返しの結果、６通り求められることになる。このようにして、６通りの輝度コントラストＩの特徴量マップが求められると、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６６に進む。
ステップＳ６６において、ＣＰＵ７は、輝度コントラストＩの各特徴量マップを正規化した上で結合することで、輝度の特徴量マップを作成する。これにより、輝度の特徴量マップ作成処理は終了する。なお、以下、輝度の特徴量マップを、他の特徴量マップと区別すべく、ＦＩと記述する。
図１１（Ｂ）は、色の特徴量マップ作成処理の一例を示している。
図１１（Ｂ）の色の特徴量マップ作成処理は、図１１（Ａ）の輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図１１（Ｂ）のステップＳ８１乃至Ｓ８６のそれぞれの処理は、図１１（Ａ）のステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図１１（Ａ）とは異なるだけである。したがって、図１１（Ｂ）の色の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。
すなわち、図１１（Ａ）のステップＳ６２とＳ６３の処理対象は、輝度成分であったのに対して、図１１（Ｂ）のステップＳ８２とＳ８３の処理対象は、色成分である。
また、図１１（Ａ）のステップＳ６４の処理では、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、輝度コントラストＩ（ｃ，ｓ）として求められた。これに対して、図１１（Ｂ）のステップＳ８４の処理では、色相（Ｒ／Ｇ，Ｂ／Ｙ）のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、色相コントラストとして求められる。なお、色成分のうち、赤の成分がＲで示され、緑の成分がＧで示され、青の成分がＢで示され、黄の成分がＹで示されている。また、以下、色相Ｒ／Ｇについての色相コントラストを、ＲＧ（ｃ，ｓ）と記述し、色相Ｂ／Ｙについての色相コントラストを、ＢＹ（ｃ，ｓ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、図１１（Ａ）のステップＳ６１乃至Ｓ６５のループ処理の結果、６通りの輝度コントラストＩの特徴量マップが求められた。これに対して、図１１（Ｂ）のステップＳ８１乃至Ｓ８５のループ処理の結果、６通りの色相コントラストＲＧの特徴量マップと、６通りの色相コントラストＢＹの特徴量マップとが求められる。
最終的に、図１１（Ａ）のステップＳ６６の処理で、輝度の特徴量マップＦＩが求められた。
これに対して、図１１（Ｂ）のステップＳ８６の処理で、色の特徴量マップが求められる。なお、以下、色の特徴量マップを、他の特徴量マップと区別すべく、ＦＣと記述する。
図１１（Ｃ）は、方向性の特徴量マップ作成処理の一例を示している。
図１１（Ｃ）の方向性の特徴量マップ作成処理は、図１１（Ａ）の輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図１１（Ｃ）のステップＳ１０１乃至Ｓ１０６のそれぞれの処理は、図１１（Ａ）のステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図１１（Ａ）とは異なるだけである。したがって、図１１（Ｃ）の方向性の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。
すなわち、ステップＳ１０２とＳ１０２３の処理対象は、方向成分である。ここで、方向成分とは、輝度成分に対してガウスフィルタφを畳み込んだ結果得られる各方向の振幅成分をいう。ここでいう方向とは、ガウスフィルタφのパラメターとして存在する回転角θにより示される方向をいう。例えば回転角θとしては、０°，４５°，９０°，１３５°の４方向を採用することができる。
また、ステップＳ１０４の処理では、方向性のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、方向性コントラストとして求められる。なお、以下、方向性コントラストを、Ｏ（ｃ，ｓ，θ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、ステップＳ１０１乃至Ｓ１０５のループ処理の結果、回転角θ毎に、６通りの方向性コントラストＯの特徴量マップが求められる。例えば回転角θとして、０°，４５°，９０°，１３５°の４方向が採用されている場合には、２４通り（＝６×４通り）の方向性コントラストＯの特徴量マップが求められる。
最終的に、ステップＳ１０６の処理で、方向性の特徴量マップが求められる。なお、以下、方向性の特徴量マップを、他の特徴量マップと区別すべく、ＦＯと記述する。
なお、特徴量マップ作成処理は、図１１の例に特に限定されない。例えば、特徴量マップ作成処理として、明度、彩度、色相、及びモーションの各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。
また例えば、特徴量マップ作成処理として、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。
図１２は、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の特徴量マップ作成処理の一例を示すフローチャートである。
図１２（Ａ）は、マルチスケールのコントラストの特徴量マップ作成処理の一例を示している。
ステップＳ１２１において、ＣＰＵ７は、マルチスケールのコントラストの特徴量マップを求める。これにより、マルチスケールのコントラストの特徴量マップ作成処理は終了となる。
なお、以下、マルチスケールのコントラストの特徴量マップを、他の特徴量マップと区別すべく、Ｆｃと記述する。
図１２（Ｂ）は、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の一例を示している。
ステップＳ１４１において、ＣＰＵ７は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとを求める。アスペクト比自体は、特に限定されず、例えば｛０．５，０．７５，１．０，１．５，２．０｝などを採用することができる。
ステップＳ１４２において、ＣＰＵ７は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとのカイ２乗距離を求める。ステップＳ１４３において、ＣＰＵ７は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを求める。
ステップＳ１４４において、ＣＰＵ７は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを用いて、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを作成する。これにより、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理は終了となる。
なお、以下、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを、他の特徴量マップと区別すべく、Ｆｈと記述する。
図１２（Ｃ）は、色空間分布の特徴量マップ作成処理の一例を示している。
ステップＳ１６１において、ＣＰＵ７は、色空間分布について、水平方向の分散を計算する。また、ステップＳ１６２において、ＣＰＵ７は、色空間分布について、垂直方向の分散を計算する。そして、ステップＳ１６３において、ＣＰＵ７は、水平方向の分散と垂直方向の分散とを用いて、色の空間的な分散を求める。
ステップＳ１６４において、ＣＰＵ７は、色の空間的な分散を用いて、色空間分布の特徴量マップを作成する。これにより、色空間分布の特徴量マップ作成処理は終了となる。
なお、色空間分布の特徴量マップを、他の特徴量マップと区別すべく、Ｆｓと記述している。
＜第３の実施形態＞
第３の実施形態は、通信端末１０の保存部１３Ａ若しくはサーバー１００の保存部１３０Ａに既に撮影され保存されている撮影された花の画像と、新たに撮影した花の画像が一致するか否かを判定するものである。すなわち、同じ花を２度撮影したものであるかどうかを判定する。これは、ユーザが自分で花の種をまいたり株を植えたりして育てる場合に有用な実施形態である。なお、実施形態と共通部分は共通の符号を付し説明は省略している。
花は成長するので、保存されている花の画像と撮影した花の画像とでは、画像的には花の開き具合、背丈などが異なっている可能性が高いが、本発明に係る花検索システムでは、同じ花の名前であると同定することができる。同定されたその花の名前と対応してデータベース１１０には花を育てるためのガイド情報が記憶されている。すなわち、水のやり方、季節ごとの手入れ方法、肥料のやり方、日当たり、などのガイド情報を表示部１２に表示するようになっている。従って、同じ花を定期的に撮影していくと、時期、気候、生育状況などを判断して、適切なアドバイスを案内するようになっている。
＜第４の実施形態＞
前述したように、第１の実施形態では花の撮像画像として静止画を撮影するようにした。本実施形態では、動画若しくは連写撮影するようにしたものである。本実施形態では、撮像部１１の動画像撮影機能により、花の画像Ｆを動画（連写）撮影することによって、複数フレームの花の画像を得る。複数フレームの花の画像から花の領域を抽出するアルゴリズムは、第２の実施形態で説明したアルゴリズムを適用できる。
撮影した花の画像から花の領域を抽出する場合、複数枚撮影した方が抽出精度を高めることができる。撮影時の花の撮影角度とデータベース１１０に記憶されている比較対象となる花の見本画像の角度が一致するとは限らないので、異なる角度から撮影した花の画像もあった方が検索できる確率が高くなる。しかし、その分画像処理時間も長くなりＣＰＵへの負担も大きくなるので、本実施の形態は、最初は静止画像を撮影し、花検索プログラムの実行により所定の類似度以上の花の名前を抽出できなかったとき、すなわち図５（Ｂ）に示すような状態となったときは、表示部１２に「動画でもう一度撮影してください」というような表示をしたり、または図示しないスピーカから音声で案内したりするようにしたものである。なお前記実施形態と共通部分は共通の符号を付し説明は省略している。
実施形態では通信端末がインターネットを介してサーバーと接続されるシステムを例にとって説明したが、すべての構成を１つの筐体に収めたスタンドアローンの画像検索システムとしても実現できる。
また、実施形態では通信端末は携帯電話回線や無線ＬＡＮなどによりインターネットを介してサーバーと接続するシステムを例にとって説明したが、通信端末とサーバーが近距離にある場合は赤外線通信やブルートゥース（登録商標）で接続してもよい。
また、実施形態では通信端末が撮像部を備え、撮像部で撮影した花の画像を検索するシステムを例にとって説明したが、既に撮影されている花の画像を、メモリカードなどを介して得て検索することもできる。
また、撮影された花の画像を同定するための特徴情報とともに花の見本画像、花の名前、葉の見本画像、及び前記花の名前を絞り込むための注目点を指示する画像を対応づけて記憶しているデータベースをはじめ主要な構成をすべてサーバーに置き、通信端末は撮像部、表示部及び操作部を備え、通信端末で撮影した花の画像をサーバーへ送り、花の画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影された花の画像に類似度が高い花の見本画像を候補画像として複数抽出する処理、ａ）前記抽出された複数の花の見本画像である候補画像、ｂ）前記候補画像と対応する花の名前、ｃ）前記候補画像を絞り込むための注目点、ｄ）前記候補画像に対応するそれぞれの葉の見本画像、ｅ）前記候補画像に対応するそれぞれの注目点を指示する画像、を前記データベースから読み出して前記通信端末に送信する処理、前記通信端末側で前記候補画像の一つが選択されると、その選択情報を受信して前記送られてきた花の画像に対応する花の名前を同定する処理、をすべてサーバー側で行う花画像検索システムとしても実現できる。
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本出願の特許請求の範囲に記載された発明を付記する。
［請求項１］
撮影されたオブジェクトの画像を、データベースを検索することによって同定するための画像検索システムであって、
特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースと、
前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、
前記撮影されたオブジェクトの画像とともに、
ａ）前記抽出された複数のオブジェクトの見本画像である候補画像、
ｂ）前記候補画像と対応するオブジェクトの名前、
を表示部に並べて表示させる第１の表示制御手段と、
前記表示部に表示されている複数の候補画像を、対応するそれぞれの前記オブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、
を備えることを特徴とする画像検索システム。
これにより、撮影したオブジェクトの候補として得られた見本画像と比較しただけではユーザが同定しにくくても、並べて表示している各見本画像をそれぞれ他の部位の見本画像の表示に変更することができるので、オブジェクトとは違う観点からオブジェクトの同定を試みることができる。
［請求項２］
更に、前記表示部に表示されている前記候補画像の一つを選択すると、選択された候補画像に対応するオブジェクトの名前を前記撮影されたオブジェクトであると同定する同定手段を備えることを特徴とする請求項１に記載の画像検索システム。
これにより、コンピュータの画像認識の精度がそれほど高くなくても、見やすい表示画面と簡単な操作でユーザは撮影したオブジェクトを同定することができる。
［請求項３］
前記第１の表示制御手段は、前記複数のオブジェクトの見本画像である候補画像を、前記類似度が高い順に配置するとともに、
前記第２の表示制御手段は、前記第１の表示制御手段が配置した複数のオブジェクトの見本画像である候補画像と同じ位置に、対応するそれぞれのオブジェクトの他の部位の見本画像を候補画像として配置することを特徴とする請求項１に記載の画像検索システム。
これにより、オブジェクトの見本画像は類似度の高い順に表示されるが、他の部位の見本画像は類似度の高い順ではなく、オブジェクトの見本画像が表示されていたその位置に表示されるので、ユーザの無用な混乱を防ぐことができる。
［請求項４］
更に、前記第１の表示制御手段は、前記表示部に表示されている複数の候補画像を、対応するそれぞれの注目点を指示する画像に変更して、前記表示部に表示させる第３の表示制御手段を備えることを特徴とする請求項１に記載の画像検索システム。
これにより、それでも区別がつきにくいときは、各候補画像を対応するそれぞれの注目点を指示する画像に変更することができるので、どこに注目すれば撮影したオブジェクトの特徴をとらえやすいかがわかり、絞り込みがしやすいという効果がある。従って、簡単な操作で、似たオブジェクトの中から撮影したオブジェクトの同定を試みることができる。
［請求項５］
前記抽出手段は、
前記注目点により前記候補画像を絞り込む絞り込み手段を含むことを特徴とする請求項１に記載の画像検索システム。
これにより、検索の候補を絞り込むことができるので、検索時間を短縮することができる。
［請求項６］
前記抽出手段は、
撮影されたオブジェクトの画像の特徴情報に基づく顕著性マップを用いて、注目点領域を推定する推定部と、
前記推定部により推定された前記注目点領域を用いて、前記撮影されたオブジェクトの画像を前記主要被写体であるオブジェクトの領域と背景領域とに分割する分割部と、
前記撮影されたオブジェクトの画像から、前記分割部により分割された前記主要被写体の領域を抽出する抽出部と、
を含むことを特徴とする請求項１に記載の画像検索システム。
これにより、静止画像撮影であっても動画像撮影であっても、ユーザ自身でオブジェクトの部分を切り抜いたり、一色の背景の前にオブジェクトを置いて撮影したりするなどの手間をかけなくても、撮影画像から主要被写体であるオブジェクトの領域と背景領域を分割することができる。
［請求項７］
前記分割部は、前記注目点領域を含む所定領域から定義したエネルギー関数を用いる所定のアルゴリズムにしたがって、前記撮影されたオブジェクトの画像を前記主要被写体の領域と前記背景領域とに分割することを特徴とする請求項６に記載の画像検索システム。
オブジェクトの領域と背景領域を分割する際には、適切なアルゴリズムを選択することができる。
［請求項８］
前記所定のアルゴリズムは、Ｇｒａｐｈ Ｃｕｔｓ法であることを特徴とする請求項６に記載の画像検索システム。
汎用的なＧｒａｐｈ Ｃｕｔｓ法を用いるので、プログラムの設計が比較的容易である。
［請求項９］
前記撮影されたオブジェクトの画像から輪郭線若しくはエッジ形状を抽出する輪郭線抽出部を更に備え、
前記分割部は、前記輪郭線抽出部により抽出された前記輪郭線又は前記エッジ形状により特定される輪郭線のうち、前記注目点領域と重なる輪郭線の内側領域を前記主要被写体の領域とし、当該輪郭線の外側領域を前記背景領域とすることで、前記撮影されたオブジェクトの画像を前記主要被写体の領域と前記背景領域とに分割することを特徴とする請求項６に記載の画像検索システム。
これにより、主要被写体の検出精度を向上することができる。
［請求項１０］
当該画像検索システムは通信端末と該通信端末とネットワークを介して接続されるサーバーを含み、
前記表示部は前記通信端末に備えられ、前記データベースは前記サーバーに備えられていることを特徴とする請求項１に記載の画像検索システム。
これにより、データベースがサーバーに備えられているので、データベースの容量を大きくすることが可能であり、更に蓄積されたデータベースの追加やメンテナンスが容易であるという効果を奏する。
［請求項１１］
更に、前記第１、第２及び第３の表示制御手段は前記通信端末に備えられ、前記抽出手段は前記サーバーに備えられていることを特徴とする請求項９に記載の画像検索システム。
これにより、抽出アルゴリズムをサーバーのＣＰＵで実行するので、通信端末の負担を軽くすることができる。
［請求項１２］
更に、前記第１、第２及び第３の表示制御手段は前記サーバーに備えられていることを特徴とする請求項９に記載の画像検索システム。
これにより、表示制御をサーバーのＣＰＵで実行するので、格別のオブジェクト検索用制御手段を備えていない通信端末でもオブジェクト検索を実行することができる。
［請求項１３］
更に、前記前記撮影されたオブジェクトの画像を保存する保存手段と、
前記撮像部により撮影したオブジェクトの画像の名前が前記保存手段に保存されているオブジェクトの画像の名前と一致するか否かを判定する判定手段と
を備えることを特徴とする請求項１に記載の画像検索システム。
これにより、一度撮影したことのあるオブジェクトを再度撮影したとき、前回撮影したオブジェクトと同じオブジェクトであることを判定できる。
［請求項１４］
前記データベースは、
更に前記オブジェクトの名前と対応づけてオブジェクトのガイド情報を記憶し、
前記判定手段により、撮影したオブジェクトの画像の名前が前記保存手段に保存されているオブジェクトの画像の名前と一致すると判定されたとき、前記同定手段により同定されたオブジェクトの名前に対応するガイド情報を案内する第１の案内手段を更に備えることを特徴とする請求項１３に記載の画像検索システム。
これにより、オブジェクトのガイド情報を参考にすることができる。
［請求項１５］
更に動画像を撮影する動画像撮像手段を含み、
前記抽出手段は、前記動画像撮像手段により撮影された動画像から主要被写体の領域を抽出することを特徴とする請求項６に記載の画像検索システム。
これにより、１つのオブジェクトの撮影画像が複数枚得られるので、より精度よくオブジェクト検索を行うことができる。
［請求項１６］
前記抽出手段が、前記撮影されたオブジェクトの画像に対し前記類似度が高いオブジェクトの見本画像の抽出ができなかったとき、前記動画像撮像手段の起動を要求する第２の案内手段を更に備えることを特徴とする請求項１５に記載の画像検索システム。
これにより、最初は静止画像でオブジェクトを撮影し、十分な検索結果が得られなかったときは、動画像でオブジェクトを撮影するように案内するので、ユーザは改めて動画像でオブジェクトを撮影し、オブジェクト検索を行うことができる。
［請求項１７］
前記オブジェクトは、
花であり、
前記データベースは、
特徴情報とともに花の見本画像、花の名前、葉の見本画像、及び前記花の名前を絞り込むための注目点を指示する画像を対応づけて記憶する
ことを特徴とする請求項１乃至１６に記載の画像検索システム。
これにより、撮影した花の候補として得られた見本花画像と比較しただけではユーザが同定しにくくても、並べて表示している各見本花画像をそれぞれ葉の見本画像の表示に変更することができるので、花とは違う観点から花の同定を試みることができる。
［請求項１８］
撮像部で撮影されたオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するための画像検索装置のコンピュータを、
前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、
前記撮影されたオブジェクトの画像とともに、
ａ）前記抽出された複数のオブジェクトの見本画像である候補画像、
ｂ）前記候補画像と対応するオブジェクトの名前、
を表示部に並べて表示させる第１の表示制御手段と、
前記表示部に表示されている複数の候補画像を、対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、
して機能させることを特徴とする画像検索プログラム。
これにより、撮影したオブジェクトを簡単な操作で迅速に検索することができる画像検索システムのプログラムを得ることができる。
［請求項１９］
撮像部と表示部を備えた通信端末のコンピュータを、
オブジェクトの画像を撮影する撮像手段と、
前記撮影されたオブジェクトの画像を、ネットワークを介してサーバーへ送信する送信手段と、
前記サーバーから送られてくる、
ａ）前記撮影されたオブジェクトの画像に類似度が高い複数のオブジェクトの見本画像である候補画像、
ｂ）前記候補画像に対応するオブジェクトの名前、
ｄ）前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像、
を受信する受信手段と、
前記撮影されたオブジェクトの画像とともに、受信した
ａ）前記抽出された複数のオブジェクトの見本画像である候補画像、
ｂ）前記候補画像と対応するオブジェクトの名前、
を表示部に並べて表示させる第１の表示制御手段と、
前記表示部に表示されている複数の候補画像を、前記ｄ）候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、
して機能させることを特徴とする画像検索プログラム。
これにより、撮影したオブジェクトを簡単な操作で迅速に検索することができる通信端末のプログラムを得ることができる。
［請求項２０］
外部の通信端末からネットワークを介して送られてくるオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するためのサーバーのコンピュータを、
前記通信端末から送られてくるオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、
ａ）前記抽出された複数のオブジェクトの見本画像である候補画像、
ｂ）前記候補画像と対応するオブジェクトの名前、
ｄ）前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像、
を前記データベースから読み出して前記通信端末に送信する手段と、
前記通信端末側で前記候補画像の一つが選択されると、その選択情報を受信して前記送られてきたオブジェクトの画像に対応するオブジェクトの名前を同定する同定手段と、
して機能させることを特徴とする画像検索プログラム。
これにより、撮影したオブジェクトを簡単な操作で迅速に検索することができるサーバーのプログラムを得ることができる。
７ ＣＰＵ
８ プログラム記憶部
９ 抽出部
１０ 通信端末
１１ 撮像部
１２ 表示部
１３ 記憶部
１３Ａ 保存部
１４ 操作部
１５ 制御部
１６ メモリカード
１７ 装着部
６１ 撮影画像（処理対象画像）
７０ ＣＰＵ
８０ プログラム記憶部
９０ 抽出部
１００サーバー
１１０ データベース
１３０ 記憶部
１３０Ａ 保存部
１５０ 制御部
Ｂ 背景画像
Ｆ 花の画像
Ｇ 撮影画像
Ｄ１ 花の名前
Ｄ２ 特徴情報
Ｄ３ 花の見本画像
Ｄ４ 葉の見本画像
Ｄ５ 注目点を指示する画像
Ｄ６ 注目点情報
Ｄ７ ガイド情報
Ｄ８ 花の葉や茎を含む全体の見本画像

Claims (21)

  1. 撮影されたオブジェクトの画像を、データベースを検索することによって同定するための画像検索装置であって、
    特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースと、
    前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、
    前記撮影されたオブジェクトの画像とともに、
    前記抽出された複数のオブジェクトの見本画像である候補画像と、
    前記候補画像と対応するオブジェクトの名前と、
    を表示部に並べて表示させる第１の表示制御手段と、
    前記表示部に表示されている複数の候補画像を、対応するそれぞれの前記オブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、
    を備えることを特徴とする画像検索装置。
  2. 更に、前記表示部に表示されている前記候補画像の一つを選択すると、選択された候補画像に対応するオブジェクトの名前を前記撮影されたオブジェクトであると同定する同定手段を備えることを特徴とする請求項１に記載の画像検索装置。
  3. 前記第１の表示制御手段は、前記複数のオブジェクトの見本画像である候補画像を、前記類似度が高い順に配置するとともに、
    前記第２の表示制御手段は、前記第１の表示制御手段が配置した複数のオブジェクトの見本画像である候補画像と同じ位置に、対応するそれぞれのオブジェクトの他の部位の見本画像を候補画像として配置することを特徴とする請求項１または２に記載の画像検索装置。
  4. 更に、前記第１の表示制御手段は、前記表示部に表示されている複数の候補画像を、対応するそれぞれの注目点を指示する画像に変更して、前記表示部に表示させる第３の表示制御手段を備えることを特徴とする請求項１ないし３のいずれかに記載の画像検索装置。
  5. 前記抽出手段は、
    前記注目点により前記候補画像を絞り込む絞り込み手段を含むことを特徴とする請求項４に記載の画像検索装置。
  6. 前記抽出手段は、
    撮影されたオブジェクトの画像の特徴情報に基づく顕著性マップを用いて、注目点領域を推定する推定部と、
    前記推定部により推定された前記注目点領域を用いて、前記撮影されたオブジェクトの画像を主要被写体であるオブジェクトの領域と背景領域とに分割する分割部と、
    前記撮影されたオブジェクトの画像から、前記分割部により分割された前記主要被写体の領域を抽出する抽出部と、
    を含むことを特徴とする請求項１ないし５のいずれかに記載の画像検索装置。
  7. 前記分割部は、前記注目点領域を含む所定領域から定義したエネルギー関数を用いる所定のアルゴリズムにしたがって、前記撮影されたオブジェクトの画像を前記主要被写体の領域と前記背景領域とに分割することを特徴とする請求項６に記載の画像検索装置。
  8. 前記所定のアルゴリズムは、Ｇｒａｐｈ Ｃｕｔｓ法であることを特徴とする請求項７に記載の画像検索装置。
  9. 前記撮影されたオブジェクトの画像から輪郭線若しくはエッジ形状を抽出する輪郭線抽出部を更に備え、
    前記分割部は、前記輪郭線抽出部により抽出された前記輪郭線又は前記エッジ形状により特定される輪郭線のうち、前記注目点領域と重なる輪郭線の内側領域を前記主要被写体の領域とし、当該輪郭線の外側領域を前記背景領域とすることで、前記撮影されたオブジェクトの画像を前記主要被写体の領域と前記背景領域とに分割することを特徴とする請求項６に記載の画像検索装置。
  10. 撮影されたオブジェクトの画像を、データベースを検索することによって同定するための画像検索システムであって、
    特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースと、
    前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、
    前記撮影されたオブジェクトの画像とともに、
    前記抽出された複数のオブジェクトの見本画像である候補画像と、
    前記候補画像と対応するオブジェクトの名前と、
    を表示部に並べて表示させる第１の表示制御手段と、
    前記表示部に表示されている複数の候補画像を、対応するそれぞれの前記オブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、
    通信端末と、
    該通信端末とネットワークを介して接続されるサーバーとを備え、
    前記表示部は前記通信端末に備えられ、前記データベースは前記サーバーに備えられていることを特徴とする画像検索システム。
  11. 更に、前記第１及び第２の表示制御手段は前記通信端末に備えられ、前記抽出手段は前記サーバーに備えられていることを特徴とする請求項１０に記載の画像検索システム。
  12. 更に、前記第１及び第２の表示制御手段は前記サーバーに備えられていることを特徴とする請求項１０に記載の画像検索システム。
  13. 更に、前記撮影されたオブジェクトの画像を保存する保存手段と、
    前記撮影されたオブジェクトの画像の名前が前記保存手段に保存されているオブジェクトの画像の名前と一致するか否かを判定する判定手段と
    を備えることを特徴とする請求項１０ないし１２のいずれかに記載の画像検索システム。
  14. 更に、前記表示部に表示されている複数の候補画像の一つを選択すると、選択された候補画像に対応するオブジェクトの名前を前記撮影されたオブジェクトであると同定する同定手段を備え、
    前記データベースは、
    更に前記オブジェクトの名前と対応づけてオブジェクトのガイド情報を記憶し、
    前記判定手段により、撮影したオブジェクトの画像の名前が前記保存手段に保存されているオブジェクトの画像の名前と一致すると判定されたとき、前記同定手段により同定されたオブジェクトの名前に対応するガイド情報を案内する第１の案内手段を更に備えることを特徴とする請求項１３に記載の画像検索システム。
  15. 更に動画像を撮影する動画像撮像手段を含み、
    前記抽出手段は、
    前記動画像撮像手段により撮影された動画像から主要被写体の領域を抽出することを特徴とする請求項６に記載の画像検索装置。
  16. 前記抽出手段が、前記撮影されたオブジェクトの画像に対し前記類似度が高いオブジェクトの見本画像の抽出ができなかったとき、前記動画像撮像手段の起動を要求する第２の案内手段を更に備えることを特徴とする請求項１５に記載の画像検索装置。
  17. 前記オブジェクトは、
    花であり、
    前記データベースは、
    特徴情報とともに花の見本画像、花の名前、葉の見本画像、及び前記花の名前を絞り込むための注目点を指示する画像を対応づけて記憶する
    ことを特徴とする請求項１乃至９のいずれか、または１５、または１６に記載の画像検索装置。
  18. 撮像部で撮影されたオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するための画像検索装置のコンピュータを、
    前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、
    前記撮影されたオブジェクトの画像とともに、
    前記抽出された複数のオブジェクトの見本画像である候補画像と、
    前記候補画像と対応するオブジェクトの名前と、
    を表示部に並べて表示させる第１の表示制御手段と、
    前記表示部に表示されている複数の候補画像を、対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、
    して機能させることを特徴とする画像検索プログラム。
  19. 撮像部と表示部を備えた通信端末のコンピュータを、
    オブジェクトの画像を撮影する撮像手段と、
    前記撮影されたオブジェクトの画像を、ネットワークを介してサーバーへ送信する送信手段と、
    前記サーバーから送られてくる、
    前記撮影されたオブジェクトの画像に類似度が高い複数のオブジェクトの見本画像である候補画像と、
    前記候補画像に対応するオブジェクトの名前と、
    前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像と、
    を受信する受信手段と、
    前記撮影されたオブジェクトの画像とともに、受信した
    前記撮影されたオブジェクトの画像に類似度が高い複数のオブジェクトの見本画像である候補画像と、
    前記候補画像と対応するオブジェクトの名前と、
    を表示部に並べて表示させる第１の表示制御手段と、
    前記表示部に表示されている複数の候補画像を、前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御手段と、
    して機能させることを特徴とする画像検索プログラム。
  20. 外部の通信端末からネットワークを介して送られてくるオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するためのサーバーのコンピュータを、
    前記通信端末から送られてくるオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出手段と、
    前記抽出された複数のオブジェクトの見本画像である候補画像と、
    前記候補画像と対応するオブジェクトの名前と、
    前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像と、
    を前記データベースから読み出して前記通信端末に送信する第１の送信手段と、
    前記第１の送信手段により送信した複数の候補画像を、前記候補画像に対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記通信端末に送信する第２の表示制御手段と、
    前記通信端末側で前記候補画像の一つが選択されると、その選択情報を受信して前記送られてきたオブジェクトの画像に対応するオブジェクトの名前を同定する同定手段と、
    して機能させることを特徴とする画像検索プログラム。
  21. 撮像部で撮影されたオブジェクトの画像を、特徴情報とともにオブジェクトの見本画像、オブジェクトの名前、オブジェクトの他の部位の見本画像を対応づけて記憶しているデータベースを検索することによって同定するための画像検索方法であって、コンピュータが、
    前記撮影されたオブジェクトの画像の特徴情報と前記データベースに記憶されている特徴情報と比較することによって、前記撮影されたオブジェクトの画像に類似度が高いオブジェクトの見本画像を候補画像として複数抽出する抽出ステップと、
    前記撮影されたオブジェクトの画像とともに、
    前記抽出された複数のオブジェクトの見本画像である候補画像と、
    前記候補画像と対応するオブジェクトの名前と、
    を表示部に並べて表示させる第１の表示制御ステップと、
    前記表示部に表示されている複数の候補画像を、対応するそれぞれのオブジェクトの他の部位の見本画像に変更して、前記表示部に表示させる第２の表示制御ステップと、
    を含むことを特徴とする画像検索方法。
JP2012063791A 2012-03-21 2012-03-21 画像検索システム、画像検索装置、画像検索方法、及びプログラム Active JP5660067B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012063791A JP5660067B2 (ja) 2012-03-21 2012-03-21 画像検索システム、画像検索装置、画像検索方法、及びプログラム
US13/831,293 US9002071B2 (en) 2012-03-21 2013-03-14 Image search system, image search apparatus, image search method and computer-readable storage medium
CN201310089244.7A CN103324655B (zh) 2012-03-21 2013-03-20 图像检索系统、图像检索装置以及图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012063791A JP5660067B2 (ja) 2012-03-21 2012-03-21 画像検索システム、画像検索装置、画像検索方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013196458A JP2013196458A (ja) 2013-09-30
JP5660067B2 true JP5660067B2 (ja) 2015-01-28

Family

ID=49193402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012063791A Active JP5660067B2 (ja) 2012-03-21 2012-03-21 画像検索システム、画像検索装置、画像検索方法、及びプログラム

Country Status (3)

Country Link
US (1) US9002071B2 (ja)
JP (1) JP5660067B2 (ja)
CN (1) CN103324655B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923626B1 (en) 2012-06-25 2014-12-30 Google Inc. Image retrieval
JP6064392B2 (ja) * 2012-06-29 2017-01-25 株式会社リコー 検索装置、検索方法、検索プログラムおよび検索システム
KR102260805B1 (ko) 2014-08-06 2021-06-07 삼성전자주식회사 이미지 검색 장치 및 그 방법
JP2016045645A (ja) * 2014-08-21 2016-04-04 アシストシステムズ株式会社 サーバ装置、データベースシステム、及び検索プログラム
CN104239584B (zh) * 2014-10-15 2017-10-20 江南大学 基于Android的蕾丝面料检索系统及检索方法
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6529315B2 (ja) * 2015-04-09 2019-06-12 キヤノン株式会社 主被写体検出方法、主被写体検出装置及びプログラム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
EP3349184A1 (en) * 2017-01-16 2018-07-18 Keygene N.V. Monitoring plants
JP6818000B2 (ja) * 2018-11-30 2021-01-20 アシストシステムズ株式会社 サーバ装置、データベースシステム、及び検索プログラム
US10557105B1 (en) 2019-08-09 2020-02-11 Bao Tran Extraction systems and methods
CN116701695B (zh) * 2023-06-01 2024-01-30 中国石油大学(华东) 一种级联角点特征与孪生网络的图像检索方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2375212B (en) * 1999-04-29 2003-06-11 Mitsubishi Electric Inf Tech Method and apparatus for searching for an object using shape
JP2001014333A (ja) * 1999-06-30 2001-01-19 Telecommunication Advancement Organization Of Japan 画像検索システムおよび画像データベース管理装置
JP3918143B2 (ja) 2000-12-28 2007-05-23 独立行政法人科学技術振興機構 植物認識システム
JP2004062804A (ja) * 2002-07-31 2004-02-26 Ricoh Co Ltd 画像の分類方法、画像特徴量空間表示方法、プログラムおよび記録媒体
JP2004240750A (ja) * 2003-02-06 2004-08-26 Canon Inc 画像検索装置
US20050076004A1 (en) * 2003-09-30 2005-04-07 Hiroyuki Yanagisawa Computer, database generating method for electronic picture book service, photographed subject information providing method, recording medium, and computer data signal
JP2005117182A (ja) * 2003-10-03 2005-04-28 Canon Inc 画像表示装置、画像表示方法、プログラム及び記録媒体
US7822233B2 (en) * 2003-11-14 2010-10-26 Fujifilm Corporation Method and apparatus for organizing digital media based on face recognition
WO2005058018A2 (en) * 2003-12-16 2005-06-30 Aerulean Plant Identification Systems, Inc. System and method for plant identification
US8301389B2 (en) * 2003-12-16 2012-10-30 Dunlap Susan C System and method for plant selection
JP2007133816A (ja) 2005-11-14 2007-05-31 Nikon Corp 植物同定システム、及び生物同定システム
JP4831314B2 (ja) * 2006-01-26 2011-12-07 株式会社ニコン 対象物認識システム
JP2007286767A (ja) * 2006-04-13 2007-11-01 Canon Inc 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2008015599A (ja) * 2006-07-03 2008-01-24 Nikon Corp 電子機器および検索補助プログラム
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
JP5194826B2 (ja) * 2008-01-18 2013-05-08 株式会社リコー 情報検索装置、情報検索方法及び制御プログラム
JP2010279022A (ja) * 2009-04-30 2010-12-09 Sanyo Electric Co Ltd 撮像装置
US8542950B2 (en) * 2009-06-02 2013-09-24 Yahoo! Inc. Finding iconic images
JP2011035636A (ja) 2009-07-31 2011-02-17 Casio Computer Co Ltd 画像処理装置及び方法
JP5438436B2 (ja) * 2009-08-27 2014-03-12 株式会社日立国際電気 画像検索装置
US8352465B1 (en) * 2009-09-03 2013-01-08 Google Inc. Grouping of image search results
JP2012221211A (ja) * 2011-04-08 2012-11-12 Nintendo Co Ltd 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
JP5714452B2 (ja) * 2011-08-29 2015-05-07 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム

Also Published As

Publication number Publication date
CN103324655A (zh) 2013-09-25
JP2013196458A (ja) 2013-09-30
CN103324655B (zh) 2017-04-12
US9002071B2 (en) 2015-04-07
US20130251266A1 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
JP5660067B2 (ja) 画像検索システム、画像検索装置、画像検索方法、及びプログラム
US11822600B2 (en) Content tagging
US8908976B2 (en) Image information processing apparatus
US20140254922A1 (en) Salient Object Detection in Images via Saliency
US20220383053A1 (en) Ephemeral content management
CN111259846B (zh) 文本定位方法和系统以及文本定位模型训练方法和系统
JP5018614B2 (ja) 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
US8320609B2 (en) Device and method for attaching additional information
AU2018202767A1 (en) Data structure and algorithm for tag less search and svg retrieval
CN113887545B (zh) 一种基于目标检测模型的腹腔镜手术器械识别方法及装置
CN115331071A (zh) 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统
CN113763415B (zh) 目标跟踪方法、装置、电子设备及存储介质
Hofmann et al. Efficiently annotating object images with absolute size information using mobile devices
US20230245495A1 (en) Face recognition systems data collection process
JP2014063377A (ja) 画像処理装置およびプログラム
US20230326012A1 (en) Automated plant grouping and tracking using image data
JP7370759B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7230716B2 (ja) 情報処理装置及び指標値算出方法
WO2020139662A1 (en) Method and apparatus for measuring plant trichomes
Collazos et al. A photogrammetric system for dendrometric feature estimation of individual trees
KR102439122B1 (ko) 메타버스 환경 내 사용자 위치분석 모니터링 시스템
CN104615614B (zh) 获取可伸缩全局特征描述子的方法
CN117079060B (zh) 一种基于光合信号的叶片智能分类方法和系统
US12001475B2 (en) Mobile image search system
JP2006209492A (ja) オブジェクト情報提供サーバ、オブジェクト情報提供システム、オブジェクト情報提供方法、及びオブジェクト情報提供プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141117

R150 Certificate of patent or registration of utility model

Ref document number: 5660067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150