JP5009577B2 - 画像検索装置および方法並びにプログラム - Google Patents

画像検索装置および方法並びにプログラム Download PDF

Info

Publication number
JP5009577B2
JP5009577B2 JP2006255163A JP2006255163A JP5009577B2 JP 5009577 B2 JP5009577 B2 JP 5009577B2 JP 2006255163 A JP2006255163 A JP 2006255163A JP 2006255163 A JP2006255163 A JP 2006255163A JP 5009577 B2 JP5009577 B2 JP 5009577B2
Authority
JP
Japan
Prior art keywords
image
search
images
representative
search condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006255163A
Other languages
English (en)
Other versions
JP2007122694A (ja
Inventor
一学 三野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005286779 priority Critical
Priority to JP2005286779 priority
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2006255163A priority patent/JP5009577B2/ja
Publication of JP2007122694A publication Critical patent/JP2007122694A/ja
Application granted granted Critical
Publication of JP5009577B2 publication Critical patent/JP5009577B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image

Description

本発明は、複数の画像から抽出された代表画像を用いて、前記複数の画像の中から画像を検索する画像検索装置および方法並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。
銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるPC(パーソナルコンピュータ)のハードディスクやCD−R等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像と不要な画像が混在し、さらにそれらは未整理のままとなっていることが多い。ここで、必要な画像とは、写りの良い画像等であり、不要な画像とは失敗写真や重複して撮影された画像等である。
このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。
そのうち、画像検索をサポートするものとしては、例えば、特許文献1に、ユーザが所望の画像に似せて描画したイラストを検索元画像とし、その検索元画像の特徴量を計算し、算出された特徴量に基づき類似画像を検索し、検索により得られた類似画像を表示する旨が開示されている。
また、特許文献2には、画像を構成する複数の個別パーツを定義し、各個別パーツに複数のバリエーションを用意しておき、画像データベースに登録される画像は、個別パーツ毎に、複数のバリエーションの中からパーツを選択することによって構成されるようにし、画像検索の際には、各個別パーツを選択することによって検索条件を設定する旨が開示されている。
特開2001−134765号公報 特開2002−108913号公報
ところで、上記のようにストックされた膨大な画像からユーザが所望する画像を検索する場合、ユーザは、画像の部分的な記憶に基づいて検索条件を設定することになる。
このように、ユーザが記憶の断片を頼りに検索を行うことに鑑みると、特許文献1に記載のように、ユーザが検索したい画像全体のイラストを描画することは非常に困難と考えられる。また、イラストは個人による巧拙があり、ユーザ・インターフェースとしては抵抗を感じるユーザも少なくない。
さらに、特許文献2に記載のように、予め準備されたパーツの選択によって検索条件を設定する場合には、ユーザが記憶している実際の画像の一部分とはうまくフィットしないことが考えられる。
本発明は、上記事情に鑑みてなされたものであり、ユーザの画像に関する断片的な記憶に基づく画像検索をより容易に、より正確に行わせることを可能にする画像検索装置等を提供することを目的とする。
本発明による画像検索装置は、複数の画像からなる画像群から抽出された1または複数の代表画像を表示させる表示手段と、前記1または複数の代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定する検索条件設定手段と、前記画像群に対して、設定された前記検索条件と合致する画像の検索を行う検索手段とを備えたことを特徴とするものである。
前記検索条件設定手段は、前記一部の画像中の位置を前記検索条件の一つとして設定するようにしてもよい。
前記画像の一部または全部を選択する際の選択候補として、前記1または複数の代表画像から主要被写体領域および/または背景領域を抽出して、抽出された該領域を選択可能な状態にする領域抽出手段をさらに備えるようにしてもよい。
また、前記検索条件設定手段は、選択された前記画像の一部または全部に画像処理を施す機能を有し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであってもよい。
さらに、前記検索条件設定手段は、選択された前記画像の一部または全部に前記検索条件の一つとして検索の優先度を付与するものであってもよい。
本発明による画像検索方法は、複数の画像からなる画像群から抽出された1または複数の代表画像を表示し、前記1または複数の代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定し、前記画像群に対して、設定された前記検索条件と合致する画像の検索を行うことを特徴とするものである。
ここで、「代表画像」とは、イベントの種類や主要被写体を最もよく表す画像であり、例えば、最も画質がよいと判定された画像や、特徴量の分布に基づくグルーピングを行った際にグループ毎に画質が最もよいと判断された画像、シーン判定の結果により最も判定結果が高かった画像、最も出現頻度が高かったシーンの画像、平均画像、それに最も近い画像、特徴量の分布に基づくグルーピングを行った際のグループの重心となる画像、それに最も近い画像などが挙げられる。また、特定の人物が最も大きく写っている画像、特定の人物が最も小さく写っている画像、背景の場所の特定を容易にするという意味で人物が最も小さい顔で写っている画像なども代表画像になりうる。
ここで、「画像の一部」とは、例えば、人物、顔、服装、動物、植物、静物、乗り物、建築物、山等の主要被写体領域や背景領域である。この「画像の一部」は、予め抽出しておいてもよいし、ユーザに手動でその境界も含めて領域を選択させてもよい。ユーザに手動で領域の一部を選択させた後、選択された領域を抽出するようにしてもよい。または、ユーザに主要被写体領域や背景領域を含む概略的な領域を手動で選択させた後、選択された領域中の主要被写体領域や背景領域を抽出してもよい。
なお、本発明による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明の画像検索装置および画像検索方法によれば、画像群から抽出した代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定する。記憶の断片に基づいて画像を探す場合、記憶の断片は、探したい画像群の中に存在し、もっと言えば、頻繁に存在する可能性が高く、画像群の中のリアルなパーツの組合せである可能性が高い。このため、一般的なパーツではユーザが記憶している実際の画像の一部分とはうまくフィットしないことが考えられ、一般的なパーツを用いた検索では非効率的である。これに対し、本発明では、代表画像の一部または全部を検索用パーツとして用いて検索できるため、ユーザの画像に関する断片的な記憶に基づいて、より容易に、より正確に画像検索を行うことができる。
ここで、前記一部の画像中の位置を検索条件の一つとして設定すれば、主要被写体等の位置、すなわち画像中の構図に関する記憶も検索条件として設定可能になり、より詳細な条件での画像検索を行うことができる。
また、前記画像の一部または全部を選択する際の選択候補として、前記1または複数の代表画像から主要被写体領域および/または背景領域を抽出して、抽出された該領域を選択可能な状態にする領域抽出手段をさらに備えれば、ユーザは抽出済みの領域を選択すればよいため、より操作が単純なユーザ・インターフェースにより検索条件の設定が可能になる。これは店頭に設置される一般消費者向けの端末等に適用する場合には特に有効である。
さらに、前記検索条件設定手段は、選択された前記画像の一部または全部に画像処理を施す機能を有し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであれば、検索条件に検索の意図をより明確に反映させることができる。
あるいは、前記検索条件設定手段は、選択された前記画像の一部または全部に前記検索条件の一つとして検索の優先度を付与するものであれば、特定の人物のみ優先して検索すること等が可能になり、記憶されている程度を検索に反映させることができる。
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による画像検索装置の外観斜視図であり、図2は該画像検索装置の構成を示す概略ブロック図である。図1に示すように、本実施形態による画像検索装置1は、ユーザによる画像の検索や画像のプリント注文のために写真店等の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード2を装填し、メモリカード2から画像を読み出したり、メモリカード2に画像を記録したりするための複数種類のカードスロット4と、画像検索やプリント注文のための各種表示を行う液晶モニタ等からなる表示部6と、種々の指示を画像検索装置1に対して行うためのマウスからなる入力部7とを備え、写真店に設置されたプリンタ8と、画像処理やプリント注文の管理を行うことができるコンピュータからなるコントローラ10と接続されている。
図2に示すように、画像検索装置1は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、画像検索装置1を構成する各部の制御を行うCPU12と、画像検索装置1を動作させるための基本的なプログラムおよび各種定数が記録されているROM並びにCPU12が処理を実行する際の作業領域となるRAMにより構成されるシステムメモリ14と、上述した入力部7および表示部6とを備える。
また、画像検索装置1は、上述したカードスロット4と、画像データをJPEGに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部22と、メモリカード2から読み出した画像データ、代表画像の抽出および画像の検索のプログラム等のCPU12が実行する各種プログラム等を記録するハードディスク24と、システムメモリ14、カードスロット4およびハードディスク24を制御するメモリ制御部26と、表示部6の表示を制御する表示制御部(表示手段)28と、プリンタ8やコントローラ10を画像検索装置1に接続するためのネットワークインターフェース30とを備える。
なお、カードスロット4はメモリカード2の種類に応じて複数用意されているが、図2においては1つのカードスロット4のみを示している。
また、画像検索装置1は、後述するように代表画像を抽出する代表画像抽出部32と、画像検索の検索条件を設定する検索条件設定部(検索条件設定手段)34と、設定された検索条件で画像検索を行う検索部(検索手段)36とを備える。
以下、代表画像抽出部32、検索条件設定部34および検索部36の機能について、本実施形態において行われる処理と併せて説明する。
図3は本実施形態において行われる画像検索処理を示すフローチャートである。ユーザが持参したメモリカード2には複数の画像からなる画像群の画像データが記憶されている。ユーザがカードスロット4に、メモリカード2を装填すると、画像検索装置1はメモリカード2に記憶された画像群の画像データを読み込み(ステップST1)、画像データをシステムメモリ14のRAMまたはハードディスク24に一時的に記憶する。
さらに、画像検索装置1は、CPU12の処理により、表示部6に画像検索やプリント等の各種サービスを選択させるメニュー画面を表示し、ユーザに希望のサービスを選択させる(ステップST2)。ユーザが画像検索以外のサービスを選択した場合には、画像検索装置1はその選択されたサービスの処理を行う(ステップST3)。ユーザが画像検索のサービスを選択した場合には、代表画像抽出部32が、読み込んだ画像から1または複数の代表画像を自動的に抽出する(ステップST4)。
代表画像とは、イベントの種類や主要被写体を最もよく表す画像である。代表画像を抽出する方法は、例えば、特開2003−330941号公報、特開2005−049968号公報に記載された色、形状、大きさ等を表す特徴ベクトルを用いて画像中の人物等の主要被写体や背景等のシーンが類似するものをグルーピングし、各グループの各画像のエッジ情報や濃淡情報を用いて画質を判定し、最も画質がよいと判定された画像を各グループの代表画像として選出する方法等、既知の方法を採用することができる。
代表画像抽出後、表示制御部28が検索画面を表示部6に表示する(ステップST5)。図4は、検索画面の例を示す図である。図4に示すように検索画面40には、複数の代表画像41の一覧を表示する代表画像エリア42と、検索用画像を表示する入力エリア43と、検索を実行するための検索実行ボタン44と、入力データをクリアするためのクリアボタン45とが表示されている。なお、図4では、複数の代表画像をまとめて41の符号を付し、そのうちの2つの代表画像にそれぞれ41A、41Bの符号を付している。
ユーザが、一覧表示されている代表画像41の中から検索対象が含まれる代表画像を選択し、検索対象の領域である選択した代表画像の一部または全部を選択して、これを入力エリア43に貼り付けて検索用画像を作成し、検索条件設定部34がこの検索用画像を検索条件として設定する(ステップST6)。すなわち、選択された代表画像の一部または全部は検索用パーツとして機能する。検索用画像の作成は、具体的には例えば以下のように行う。
検索対象が人物や動物、建築物等の主要被写体のときは、ユーザは、検索対象が含まれる代表画像の中で、その検索対象が含まれるように入力部7を用いてドラッグ操作して領域を選択し、右クリック操作で表示されるメニューで「主要被写体として選択」を選択する。さらに選択した領域をドラッグドロップ操作で入力エリア43内に貼り付ける。このとき、ユーザは、選択した領域の検索用画像中における位置を指定して貼り付けることができる。さらに、ユーザは、選択した領域の検索用画像中における大きさを調整することができる。
「主要被写体として選択」が選択されたら、エッジ検出等の公知の手法により、ドラッグ操作により選択した領域から主要被写体の領域を主要被写体の輪郭に沿って検出し、検出された主要被写体領域のみを入力エリア43に貼り付けるようにすることが好ましい。または、このような輪郭に沿った主要被写体の抽出は、ユーザが入力部7を用いて手動で行ってもよいし、あるいは、ユーザが主要被写体をクリックしたら画像検索装置1がエッジ検出等の方法を用いて自動的に抽出するようにしてもよい。なお、ユーザが選択できる主要被写体は、人物全体に限らず、人物の顔、服装等、部分的なものでもよい。
検索対象が背景のときには、ユーザは、検索対象が含まれる代表画像の中で、その検索対象である背景の領域をクリックまたはドラッグ操作によって選択し、右クリック操作で表示されるメニューで「背景として選択」を選択する。さらに入力エリア43で、ドラッグ操作によって背景としたい領域を選択し、右クリック操作で「選択した背景の貼り付け」を選択すると、入力エリア43内の選択された領域に選択された背景が貼り付けられる。背景についても、ユーザは、検索用画像中における位置、大きさを指定することができる。なお、検索対象が、ある1つの代表画像全部であるときも同様に、代表画像全部をクリックまたはドラッグ操作によって選択し、右クリック操作で表示されるメニューで「背景として選択」を選択して、入力エリア43全体を選択して、入力エリア43に貼り付ける。
検索対象によっては、木や山など、主要被写体、背景のどちらにもなりうるものがある。このようなものは主要被写体、背景のいずれとして選択してもよいが、背景として選択された検索対象は主要被写体より背面に貼り付けられるように予め設定されているため、適宜使い分けることが好ましい。また、一旦入力エリア43に貼り付けても不要なものはクリアボタン45をクリックすることにより取り消しできる。
検索用パーツとなる領域は、1つに限らず、複数でもよく、複数の主要被写体の組合せ、複数の背景の組合せ、主要被写体と背景の組合せ等による検索条件の設定が可能である。図4の入力エリア43に、代表画像41Aの左側の人物を主要被写体Aとして選択して画面中央より右側に配置し、代表画像41Bの背景を背景Bとして選択して作成した検索用画像の例を示す。このように、代表画像の一部または全部を検索用パーツとして用いて、各検索用パーツを画像中の所望の位置に、所望の大きさで配置させて検索用画像を作成できるため、ユーザの断片的な記憶を忠実にかつ容易に具現化することが可能である。
検索用画像作成後、ユーザが検索実行ボタン44をクリックすると、検索部36によりメモリカード2から読み込んだ画像群に対して、検索条件と合致する画像の検索が実行される(ステップST7)。検索用画像が主要被写体を含む場合には、検索部36は、この主要被写体を含む画像を、画像群の中から検索する。例えば、主要被写体が人物の場合には、顔の輪郭や目、鼻、口、耳等のパーツの特徴量のマッチング等の公知の手法を用いる。このとき、検索された画像中の主要被写体の位置を判定し、検索用画像中の主要被写体の位置との一致度の高いものを検索する。
検索用画像が背景を含む場合には、検索部36は、この背景の色とメモリカード2から読み込んだ画像の背景の色とを比較し、一致度の高いものを検索する。検索用画像中の背景領域が複数の領域に分割されている場合、すなわち、複数の背景が貼り付けられている場合には、分割された領域毎に比較を行う。
検索用画像が主要被写体と背景の両方を含む場合には、検索部36は、まず、主要被写体について上記と同様に検索作業を行った後、背景について上記と同様に検索作業を行う。
検索が終了したら、表示制御部28が検索結果を表示部6に表示する(ステップST8)。図5は、検索結果の画面の例を示す図である。図5に示すように検索結果の画面50には、検索の結果抽出され、検索用画像との一致度の高い順に配列された画像51の一覧と、プリント画面への移行を誘導するプリントボタン52と、検索をやり直すための検索やり直しボタン53と、検索処理を終了させて初期画面へ移行するための終了ボタン54とが表示されている。なお、図5では、複数の画像をまとめて51の符号を付している。
ユーザは所望の処理を実行させるボタンを選択してクリックする。ユーザがプリントボタン52を選択すると、表示部6にプリント対象を選択させる画面が表示され、ユーザがプリントしたい画像を選択すると、CPU12がプリント指示を出し、プリント対象の画像データをコントローラ10に送信する。コントローラ10は、画質改善のための画像処理を行い、処理済の画像データがプリンタ8に送信され、プリンタ8にて写真プリント出力される。
ユーザが検索やり直しボタン53を選択すると、表示部6に検索画面40が表示され、検索をやり直すことができる。ユーザが終了ボタン54を選択すると、表示部6にメニュー画面が表示される。
このように、本実施形態においては、代表画像の一部または全部を用いて検索するため、ユーザの断片的な記憶に基づいて、より容易により正確に画像検索を行うことができる。さらに主要被写体や背景の位置も検索条件として設定可能であるため、構図的要素も取り入れて検索でき、より詳細な条件での画像検索を行うことができる。
なお、図1および上記説明では、入力部7としてマウスを用いた例を示したが、入力方法を工夫することにより、入力部7はペンタブレット等の他のポインティングデバイスや、キーボード、タッチパネル等で構成することも可能である。
次いで、本発明の第2の実施形態について説明する。図6は本実施形態による画像検索装置1’の構成を示す概略ブロック図である。なお、第2の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第2の実施形態による画像検索装置1’は、第1の実施形態の画像検索装置1に、領域抽出部(領域抽出手段)38を追加した点が第1の実施形態と異なる。以下、領域抽出部38の機能について、本実施形態において行われる処理と併せて説明する。
図7は本実施形態において行われる画像検索処理を示すフローチャートである。本実施形態のステップST11からステップST14までの処理は、第1の実施形態のステップST1からステップST4までの処理と全く同じであるため、その説明は省略する。
ステップST14の処理である代表画像抽出後、領域抽出部38は代表画像から主要被写体領域および/または背景領域を、該画像の一部または全部をユーザが選択する際の選択候補として抽出し(ステップST15)、抽出された該領域を選択可能な状態にするとともに保存しておく。領域の抽出は例えばエッジ検出等の公知の手法により行うことができる。なお、選択可能な状態にするとは、例えば、抽出された領域を表示部6に示したり、抽出された領域に縁取りやマーキング、領域の種類等を付けて表示部6に示したりすることである。なおここで、領域の種類とは、人物、背景、オブジェクト(人物と風景以外の領域)等である。図8は、表示部6に表示させる抽出された領域の一覧を示す例である。図9は、代表画像61cの人物66を主要被写体領域として抽出し、その周囲に縁取り66aと、領域の種類を示す小ウインドウ66bとを付けて代表画像61cの中に表示させる例を示す図である。このように表示することにより、抽出されている領域を確認するのが容易になる。
その後、表示制御部28が検索画面を表示部6に表示する(ステップST16)。図10は、検索画面の例を示す図である。図10に示すように検索画面60には、代表画像61の一覧を表示する代表画像エリア62と、選択された領域を表示する入力エリア63が表示され、入力エリア63には検索を実行するための検索実行ボタン64と、入力データをクリアするためのクリアボタン65も表示されている。なお、図10では、複数の代表画像をまとめて61の符号を付し、そのうちの個々の2つの代表画像に61A、61Bの符号を付している。
ユーザは、一覧表示されている代表画像61の中から検索対象が含まれる代表画像を選択し、検索対象の領域である、予め抽出された主要被写体領域または背景領域を選択すると、検索条件設定部34が選択された領域を検索条件として設定する(ステップST17)。本実施形態においても、選択された代表画像の一部または全部は検索用パーツとして機能する。領域の選択は、具体的には例えば以下のように行う。
ユーザが検索画面60において代表画像を選択すると、サブメニューが表示され、選択された代表画像の主要被写体と背景のどちらを検索条件に採用するかをユーザに選択させる。背景を選択した場合には、入力エリア63には、その背景が表示される。主要被写体を選択し、1つの代表画像に複数の主要被写体が含まれる場合は、さらに検索対象となる主要被写体を選択させる画面が表示され、入力エリア63には、選択された主要被写体が表示される。ユーザはこの選択動作を繰り返すことにより、複数の領域を選択でき、選択された全ての領域が入力エリア63に表示される。図10の入力エリア63に、代表画像61Aの左側の人物を主要被写体Aとして選択し、代表画像61Bの背景を背景Bとして選択した例を示す。なお、一旦入力エリア63に入力しても不要なものはクリアボタン65をクリックすることにより取り消しできる。
ユーザが検索実行ボタン64をクリックすると、検索部36により検索条件と合致する画像の検索が実行される(ステップST18)。ここでの画像検索は、第1の実施形態とほぼ同様であるが、本実施形態では主要被写体および背景のマッチングのみ行い、これらの位置については考慮しない点が第1の実施形態と異なる。
検索が終了したら、表示制御部28が検索結果を表示部6に表示する(ステップST19)。以降の処理は第1の実施形態のST8以降の処理と同様である。
このように、本実施形態では、代表画像の一部の領域を予め抽出しておき、それをユーザに選択させるようにしているため、第1の実施形態の領域選択のためのドラッグ操作や、貼り付けのためのドラッグドロップ操作が不要になり、ユーザは簡単な操作だけで画像検索できる。また、このため、本実施形態の入力部は、必ずしもマウスやペンタブレットを用いる必要はなく、タッチパネル式の入力部だけで構成可能となる。
なお、本実施形態の領域抽出部38を第1の実施形態に適用して、第1の実施形態において代表画像の一部の領域を予め抽出しておき、ユーザがその領域を選択することにより検索用画像を作成して画像検索するようにしてもよい。
次いで、本発明の変形例について説明する。本変形例の装置構成は第2の実施形態と同様であるが、本変形例では検索用パーツとなる領域を1つ検索条件として設定する度に画像検索を実行し、逐次検索結果を表示する点が第2の実施形態と異なる。以下の説明では第2の実施形態との相違点に注目して説明し、第2の実施形態と同様の構成、処理については重複説明を一部省略する。
図11は、本変形例における検索画面の例を示す図である。図11に示すように検索画面70には、代表画像71の一覧を表示する代表画像エリア72と、選択された領域を表示する入力エリア73と、検索結果を表示するための検索結果エリア74とが表示されている。入力エリア73には入力データをクリアするためのクリアボタン76が表示され、検索結果エリア74には検索結果の画像枚数を表示する枚数表示部77と、検索結果の画像を表示させるための画像表示ボタン78が表示されている。
ユーザが検索用パーツとなる主要被写体領域または背景領域を1つ選択して入力エリア73にこの領域が表示されると、検索条件設定部34がこの領域を検索条件として自動的に設定し、検索部36が画像検索を自動的に実行する。画像検索後、表示制御部28が検索結果エリア74の枚数表示部77に検索されて抽出された画像の枚数を自動的に表示する。ここで、ユーザが画像表示ボタン78をクリックすると、抽出された画像の一覧が表示部6に表示される。
上記の領域の選択から検索結果の枚数表示までの一連の処理は、1つの領域の選択ごとに行われる。例えば、まず、ユーザが代表画像71Aの左側の人物を主要被写体Aとして選択すると、主要被写体Aを含む画像が検索され、その枚数が枚数表示部77に表示される。さらに、ユーザが代表画像41Bの背景を背景Bとして選択すると、主要被写体Aを含む画像検索で得られた画像の中で背景Bを含む画像が検索され、その枚数が枚数表示部77に表示される。
このように、本変形例によれば、ユーザは逐次表示される検索結果を見ながら検索用パーツとなる領域を選択できるため、効率的な絞り込み検索が可能である。
なお、図11に示す例では、検索結果として画像枚数のみを表示しているが、検索結果の画像のサムネイル表示や、このサムネイル表示と画像枚数の両方の表示をするようにしてもよい。また、上記説明では第2の実施形態の変形例として記述したが、第1の実施形態においても、検索用パーツとなる領域を1つ選択するたびに上記のように検索、結果表示を逐次行うようにしてもよい。また、検索結果の画像上で、検索にヒットした領域を縁取りなどで表示するようにしてもよい。これにより、どの領域がヒットしたのかを確認するのが容易になる。
上記で説明した実施形態および変形例において、検索条件設定部34に上記以外の機能を持たせて、検索条件を設定するようにしてもよい。以下、この場合の2つの例について説明する。
第1の例は、検索条件設定部34が、検索用パーツとなる選択された代表画像の一部または全部に画像処理を施す機能を有し、画像処理が施された代表画像の一部または全部を用いて前記検索条件を設定する場合である。施す画像処理としては、サイズの変更、回転、変形、色の変更、ぼかし、色補正、赤目補正、美肌補正、手ぶれ補正等、様々な処理が考えられる。例えば、明確に覚えているものとうろ覚えのものがあったとき、うろ覚えのものをぼかすことで、ユーザの断片的な記憶により近い検索条件を設定することができる。また、所定人物の服装やオブジェクト等を記憶に近い状態の色やテクスチャに変更してもよく、この場合もユーザの記憶により近い検索条件を設定することができる。
画像処理は、例えば、検索用パーツ選択後に、ユーザの指示により行うようにしてもよし、あるいは、検索用パーツ選択前に画像処理を行うようにしてもよい。画像処理を施すか否かをユーザに選択させるようにしてもよい。
上記のように画像処理を施す機能を持たせることで、検索したい画像の内容について、検索しようとしているパーツの状態をより的確に検索に反映させることができる。
第2の例は、検索条件設定部34が、検索用パーツとなる選択された前記画像の一部または全部に検索条件の一つとして検索の優先度を付与する機能を有する場合である。例えば、検索用パーツの中でも人物を優先する、人物の中でも特定の人物を優先する、オブジェクト(人物と風景以外の検索用パーツ)を優先する、オブジェクトの中でも特定のオブジェクトを優先する、風景を優先する等、優先するものに応じて優先度を付与する。一般に、検索用パーツごとに検索の優先度は異なるため、優先度を付与することで、検索の意図や記憶の程度を検索に反映させることができる。具体的な手法としては、検索用パーツごとに優先度に基づいた重み付けを行い、これを検索条件の一つして設定して検索を行い、検索結果に反映させる。
優先度の付与にはいくつかの方法が考えられる。例えば、ユーザが検索用パーツ毎に数値で入力してもよい。図12に一例を示す。図12に示す例では、入力エリア83に貼り付けられた右側の人物、風景、建物、左側の人物はそれぞれ、検索用パーツA、B、C、Dとして設定されたものである。入力エリア83内の各検索用パーツ上でクリックすると、優先度を入力するための小ウインドウ84が表示されるので、ユーザはキーボード等の入力手段から優先度を表す数字を入力する。
優先度は、全検索用パーツの優先度の合計が100となるように付与してもよく、この場合は、例えば図13に例示するような優先度設定ウインドウ86を画面上に表示させて使用することができる。図13の優先度設定ウインドウ86において、A、B、C、Dはそれぞれ検索用パーツA、B、C、Dを意味し、A、B、C、Dの上の各数字50、30、10、10が各検索用パーツA、B、C、Dに設定された優先度である。これらの数字は、ユーザがスライドバー87を画面の左右方向に移動させることにより変更可能であり、これらの合計は必ず100になるように設定されている。なお、優先度は、例えば3:3:2:1のような比率で付与するようにしてもよい。このように、優先度を数値で与えることにより、細かい設定が可能となる。
または、ユーザには優先順位のみ指示させるようにし、あらかじめ決めておいた優先順位ごとの比率により優先度を設定するようにしてもよい。このとき、優先順位ごとの比率は、変更可能なことが好ましい。個々の検索用パーツに、比率等の細かい数値を付与するのが困難で煩雑な場合は、順位付けだけでよいため、優先度を容易に設定でき、ユーザの負担を軽減できる。
あるいは、あらかじめ、人物優先モード・風景優先モード等のモードを設けておき、優先したい検索用パーツの優先度が高くなるようなモードをユーザが選択できるようにしてもよい。このようなモードを設けることで、優先度設定の容易さが向上する。
また、検索用パーツの状態に応じて優先順位を設定するようにしてもよい。例えば大きいものほど優先順位が高い、ボケ度合いが少ないものほど優先順位が高い、検索用パーツが入力エリア内に配置されたときに前面にくるものほど優先順位が高い、代表画像中における検索用パーツの占有率が大きいほど優先順位が高い等のようにしてもよい。このような設定を採用することで、操作性が向上し、より感覚的な設定が可能になる。
なお、上記の第1の例として説明した画像処理を施す機能と、第2の例として説明した優先度を付与する機能を併用してもよい。例えば、画像処理機能により所定の検索用パーツにぼかしを施し、優先度を付与するときに、ボケ度合いが少ないものほど優先順位が高いように設定してもよい。または、画像処理機能により所定の検索用パーツのサイズを大きくし、優先度を付与するときに、大きいものほど優先順位が高いように設定してもよい。
なお、本発明は上記で説明した実施形態および変形例以外にも各種の変形例が可能である。例えば、上記実施形態では検索結果は、全ての検索用パーツについて一致度の高い順に表示するようにしたが、個々の検索用パーツごとに一致度の高い順に表示するようにしてもよい。図14にこの一例を示す。図14に例示する検索結果を表す画面90では、左端縦列に検索用パーツA、B、C、Dを表示し、各検索用パーツごとにその右側行方向に一致度の高い順に配列された検索結果の画像91を表示している。
また、上記実施形態では、検索結果として得られた画像を印刷する場合について説明したが、検索結果の用途は印刷だけに限定されず、検索結果として得られた画像データを所望の場所へ送信するようにしてもよく、あるいは所望の記憶媒体に書き込むようにしてもよい。
代表画像を抽出するときには、各画像が保持している撮影日時等の情報に基づいて各画像を日付で分類し、この分類ごとに、イベントの種類や主要被写体を最もよく表す画像を代表画像として抽出するようにしてもよい。または、過去の検索や印刷等のアクセスの履歴を記憶しておき、過去の検索結果で上位になった頻度の高い画像、印刷された頻度の高い画像を代表画像として抽出するようにしてもよい。
なお、検索の際に、検索用パーツを抽出した代表画像は、検索におけるヒット率が非常に高くなる可能性があるので、優先度を下げたり検索対象から外したりするようにしてもよい。
以上、本発明の実施形態および変形例に係る装置について説明したが、コンピュータを、上記の代表画像抽出部32、検索条件設定部34、検索部36、領域抽出部38に対応する手段として機能させ、図3、7に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
本発明の第1の実施形態による画像検索装置の外観斜視図 本発明の第1の実施形態による画像検索装置の構成を示す概略ブロック図 本発明の第1の実施形態において行われる処理を示すフローチャート 検索画面の例を示す図 検索結果の画面の例を示す図 本発明の第2の実施形態による画像検索装置の構成を示す概略ブロック図 本発明の第2の実施形態において行われる処理を示すフローチャート 抽出された領域の例を示す図 抽出した領域に縁取りと種類を付けて代表画像の中に表示する例を示す図 検索画面の例を示す図 検索画面の例を示す図 検索画面の例を示す図 優先度設定ウインドウの例を示す図 検索結果の画面の例を示す図
符号の説明
1 画像検索装置
2 メモリカード
4 カードスロット
6 表示部
7 入力部
8 プリンタ
10 コントローラ
12 CPU
14 システムメモリ
22 圧縮解凍部
24 ハードディスク
26 メモリ制御部
28 表示制御部
30 ネットワークインターフェース
32 代表画像抽出部
34 検索条件設定部
36 検索部
38 領域抽出部
40 検索画面
41 代表画像

Claims (7)

  1. 複数の画像からなる画像群から抽出された1または複数の代表画像を表示させる表示手段と、
    前記1または複数の代表画像の中から選択された該画像の一部または全部の組合せを用いて作成された検索用画像を検索条件として設定するものであり、前記1または複数の代表画像の一部が前記検索用画像に用いられている場合には、当該一部の検索用画像中における位置を指定可能な検索条件設定手段と、
    前記画像群に対して、設定された前記検索条件と合致する画像の検索を行う検索手段とを備え、
    前記検索条件設定手段は、選択された前記画像の一部または全部に画像処理を施し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであり、さらに、前記検索条件設定手段は、選択された前記画像一部または全部に施された画像処理の度合いに応じて、当該選択された前記画像の一部または全部に対して前記検索条件の1つとして検索の優先度を付与するものであることを特徴とする画像検索装置。
  2. 前記画像の一部または全部を選択する際の選択候補として、前記1または複数の代表画像から主要被写体領域および/または背景領域を抽出して、抽出された該領域を選択可能な状態にする領域抽出手段をさらに備えたことを特徴とする請求項1記載の画像検索装置。
  3. 前記検索条件設定手段は、代表画像の中から選択された該画像の一部または全部の、前記検索用画像中における大きさを前記検索条件の一つとして設定することを特徴とする請求項1または2記載の画像検索装置。
  4. 前記画像群の各画像の特徴に基づき該画像の画質を判定し、最も画質が良いと判定された画像を前記代表画像として前記画像群から自動的に抽出する代表画像抽出部をさらに備えることを特徴とする請求項1からのいずれか1項に記載の画像検索装置。
  5. 前記表示手段が前記検索手段による検索結果を表示するものであり、前記検索用画像作成のために選択された該画像の一部または全部ごとに、一致度の高い順に検索結果を表示することを特徴とする請求項1からのいずれか1項に記載の画像検索装置。
  6. 画像検索装置によって実行される画像検索方法であって、
    表示手段において、複数の画像からなる画像群から抽出された1または複数の代表画像を表示し、
    検索条件設定手段において、前記1または複数の代表画像の中から選択された該画像の一部または全部の組合せを用いて作成された検索用画像を検索条件をとして設定し、前記1または複数の代表画像の一部が前記検索用画像に用いられている場合には、当該一部の検索用画像中における位置を指定し、
    画像検索手段において、前記画像群に対して、設定された前記検索条件と合致する画像の検索を行い、
    前記検索条件設定手段において、選択された前記画像の一部または全部に画像処理を施し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであり、さらに、前記検索条件設定手段は、選択された前記画像一部または全部に施された画像処理の度合いに応じて、当該選択された前記画像の一部または全部に対して前記検索条件の1つとして検索の優先度を付与するものであることを特徴とする画像検索方法。
  7. コンピュータを、
    複数の画像からなる画像群から抽出された1または複数の代表画像を表示する表示手段と、
    前記1または複数の代表画像の中から選択された該画像の一部または全部の組合せを用いて作成された検索用画像を検索条件として設定するものであり、前記1または複数の代表画像の一部が前記検索用画像に用いられている場合には、当該一部の検索用画像中における位置を指定可能な検索条件設定手段と、
    前記画像群に対して、設定された前記検索条件と合致する画像の検索を行う検索手段として機能させ
    前記検索条件設定手段は、選択された前記画像の一部または全部に画像処理を施し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであり、さらに、前記検索条件設定手段は、選択された前記画像一部または全部に施された画像処理の度合いに応じて、当該選択された前記画像の一部または全部に対して前記検索条件の1つとして検索の優先度を付与するものであることを特徴とするプログラム。
JP2006255163A 2005-09-30 2006-09-21 画像検索装置および方法並びにプログラム Active JP5009577B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005286779 2005-09-30
JP2005286779 2005-09-30
JP2006255163A JP5009577B2 (ja) 2005-09-30 2006-09-21 画像検索装置および方法並びにプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2006255163A JP5009577B2 (ja) 2005-09-30 2006-09-21 画像検索装置および方法並びにプログラム
US11/540,555 US8358902B2 (en) 2005-09-30 2006-10-02 Apparatus, method and program for image search
US13/710,184 US9245195B2 (en) 2005-09-30 2012-12-10 Apparatus, method and program for image search
US14/970,381 US9881229B2 (en) 2005-09-30 2015-12-15 Apparatus, method and program for image search
US15/860,517 US10810454B2 (en) 2005-09-30 2018-01-02 Apparatus, method and program for image search

Publications (2)

Publication Number Publication Date
JP2007122694A JP2007122694A (ja) 2007-05-17
JP5009577B2 true JP5009577B2 (ja) 2012-08-22

Family

ID=37902044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006255163A Active JP5009577B2 (ja) 2005-09-30 2006-09-21 画像検索装置および方法並びにプログラム

Country Status (2)

Country Link
US (4) US8358902B2 (ja)
JP (1) JP5009577B2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370269B2 (en) 2004-06-02 2013-02-05 Overstock.Com, Inc. System and methods for electronic commerce using personal and business networks
JP2007101573A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp プリント注文受付装置
JP5009577B2 (ja) 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
JP5062884B2 (ja) * 2007-08-24 2012-10-31 株式会社リコー 画像検索装置、画像検索方法及びプログラム
JP2009054018A (ja) * 2007-08-28 2009-03-12 Ricoh Co Ltd 画像検索装置、画像検索方法及びプログラム
US8583480B2 (en) 2007-12-21 2013-11-12 Overstock.Com, Inc. System, program product, and methods for social network advertising and incentives for same
JP2009271577A (ja) * 2008-04-30 2009-11-19 Panasonic Corp 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
JP5063527B2 (ja) * 2008-08-21 2012-10-31 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム
JP5237037B2 (ja) * 2008-10-01 2013-07-17 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP4949354B2 (ja) * 2008-11-07 2012-06-06 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム
US9747622B1 (en) 2009-03-24 2017-08-29 Overstock.Com, Inc. Point-and-shoot product lister
JP5590945B2 (ja) * 2009-03-31 2014-09-17 綜合警備保障株式会社 人物検索装置、人物検索方法、及び人物検索プログラム
JP5025782B2 (ja) * 2010-02-17 2012-09-12 キヤノン株式会社 画像検索装置及び画像検索方法
CN102193934B (zh) * 2010-03-11 2013-05-29 株式会社理光 用于寻找图像集合中的代表性图像的系统和方法
JP5683291B2 (ja) * 2010-05-07 2015-03-11 キヤノン株式会社 動画再生装置、方法及びプログラム並びに記録媒体
US9679404B2 (en) 2010-12-23 2017-06-13 Microsoft Technology Licensing, Llc Techniques for dynamic layout of presentation tiles on a grid
US9436685B2 (en) 2010-12-23 2016-09-06 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
US20120166953A1 (en) * 2010-12-23 2012-06-28 Microsoft Corporation Techniques for electronic aggregation of information
JP2012190349A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、画像処理方法および制御プログラム
US9047642B2 (en) 2011-03-24 2015-06-02 Overstock.Com, Inc. Social choice engine
US9715485B2 (en) 2011-03-28 2017-07-25 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
US20130097194A1 (en) * 2011-08-05 2013-04-18 New York University Apparatus, method, and computer-accessible medium for displaying visual information
WO2013075316A1 (en) 2011-11-24 2013-05-30 Microsoft Corporation Interactive multi-modal image search
US9035965B2 (en) 2011-12-06 2015-05-19 Dolby Laboratories Licensing Corporation Metadata for use in color grading
JP5677348B2 (ja) * 2012-03-23 2015-02-25 富士フイルム株式会社 症例検索装置、症例検索方法及びプログラム
US10546262B2 (en) 2012-10-19 2020-01-28 Overstock.Com, Inc. Supply chain management system
KR20140112333A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10810654B1 (en) 2013-05-06 2020-10-20 Overstock.Com, Inc. System and method of mapping product attributes between different schemas
JP5586736B2 (ja) * 2013-05-09 2014-09-10 パナソニック株式会社 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
US9483788B2 (en) * 2013-06-25 2016-11-01 Overstock.Com, Inc. System and method for graphically building weighted search queries
US10929890B2 (en) 2013-08-15 2021-02-23 Overstock.Com, Inc. System and method of personalizing online marketing campaigns
US9443307B2 (en) 2013-09-13 2016-09-13 Intel Corporation Processing of images of a subject individual
KR102065416B1 (ko) * 2013-09-23 2020-01-13 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6190887B2 (ja) * 2013-10-02 2017-08-30 株式会社日立製作所 画像検索システムおよび情報記録媒体
US10872350B1 (en) 2013-12-06 2020-12-22 Overstock.Com, Inc. System and method for optimizing online marketing based upon relative advertisement placement
US10885095B2 (en) * 2014-03-17 2021-01-05 Verizon Media Inc. Personalized criteria-based media organization
US20160353064A1 (en) * 2014-06-06 2016-12-01 Mitsubishi Electric Corporation Video monitoring system and video monitoring method
TWI559772B (zh) * 2014-07-11 2016-11-21 聯詠科技股份有限公司 檔案搜尋方法及其影像處理裝置
US10152491B2 (en) * 2014-07-11 2018-12-11 Novatek Microelectronics Corp. File searching method and image processing device thereof
US10796323B2 (en) * 2014-09-22 2020-10-06 Ebay Inc. Machine generated recommendation and notification models
JP6615225B2 (ja) 2015-12-17 2019-12-04 株式会社日立製作所 画像処理装置、画像検索インタフェース表示装置、及び画像検索インタフェースの表示方法
US10891019B2 (en) * 2016-02-29 2021-01-12 Huawei Technologies Co., Ltd. Dynamic thumbnail selection for search results
US10534845B2 (en) 2016-05-11 2020-01-14 Overstock.Com, Inc. System and method for optimizing electronic document layouts
JP6779683B2 (ja) * 2016-07-06 2020-11-04 オリンパス株式会社 画像検索装置、画像検索方法及びプログラム
WO2018109796A1 (ja) * 2016-12-12 2018-06-21 株式会社オプティム 遠隔制御システム、遠隔制御方法、およびプログラム
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
US10970769B2 (en) 2017-03-02 2021-04-06 Overstock.Com, Inc. Method and system for optimizing website searching with user pathing

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US7251637B1 (en) * 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
JP3284528B2 (ja) * 1995-03-15 2002-05-20 オムロン株式会社 画像検索方法及び装置
US5913205A (en) * 1996-03-29 1999-06-15 Virage, Inc. Query optimization for visual information retrieval system
US5915250A (en) * 1996-03-29 1999-06-22 Virage, Inc. Threshold-based comparison
US6819783B2 (en) * 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
US5852823A (en) * 1996-10-16 1998-12-22 Microsoft Image classification and retrieval system using a query-by-example paradigm
US5819288A (en) * 1996-10-16 1998-10-06 Microsoft Corporation Statistically based image group descriptor particularly suited for use in an image classification and retrieval system
US6012069A (en) * 1997-01-28 2000-01-04 Dainippon Screen Mfg. Co., Ltd. Method and apparatus for retrieving a desired image from an image database using keywords
JPH10289251A (ja) * 1997-02-17 1998-10-27 Dainippon Screen Mfg Co Ltd データ検索方法およびその処理を実行するためのプログラムを記録した記録媒体
JPH10340272A (ja) * 1997-06-09 1998-12-22 Toshiba Corp 類似画像検索装置及び方法
EP1025517A1 (en) * 1997-10-27 2000-08-09 Massachusetts Institute Of Technology Image search and retrieval system
US5987456A (en) * 1997-10-28 1999-11-16 University Of Masschusetts Image retrieval by syntactic characterization of appearance
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US6415282B1 (en) * 1998-04-22 2002-07-02 Nec Usa, Inc. Method and apparatus for query refinement
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6240423B1 (en) * 1998-04-22 2001-05-29 Nec Usa Inc. Method and system for image querying using region based and boundary based image matching
US6567551B2 (en) * 1998-04-27 2003-05-20 Canon Kabushiki Kaisha Image search apparatus and method, and computer readable memory
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6411953B1 (en) * 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
US6728752B1 (en) * 1999-01-26 2004-04-27 Xerox Corporation System and method for information browsing using multi-modal features
JP2000331179A (ja) * 1999-05-17 2000-11-30 Fuji Photo Film Co Ltd 画像処理装置の表示画像変倍方法
US6408293B1 (en) * 1999-06-09 2002-06-18 International Business Machines Corporation Interactive framework for understanding user's perception of multimedia data
US6999636B1 (en) 1999-11-09 2006-02-14 Canon Kabushiki Kaisha Image search method and apparatus
JP2001134765A (ja) * 1999-11-09 2001-05-18 Canon Inc 画像検索方法及び装置
KR100353798B1 (ko) * 1999-12-01 2002-09-26 주식회사 코난테크놀로지 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
US6574616B1 (en) * 2000-02-16 2003-06-03 Index Stock Imagery, Inc. Stochastic visually based image query and retrieval system
JP2002010056A (ja) * 2000-06-19 2002-01-11 Fuji Photo Film Co Ltd 画像合成装置
JP2002108913A (ja) 2000-09-28 2002-04-12 Dokyun.Com:Kk 画像データの入力方法及び画像データの検索方法
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
KR100516289B1 (ko) * 2000-11-02 2005-09-21 주식회사 케이티 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법
JP2002207741A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像データ検索装置、画像データ検索方法、画像データ検索プログラムおよび画像データ検索プログラムを記録したコンピュータ読み取り可能な記録媒体
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
TW501035B (en) * 2001-03-20 2002-09-01 Ulead Systems Inc Interactive image searching method based on local object
US6976016B2 (en) * 2001-04-02 2005-12-13 Vima Technologies, Inc. Maximizing expected generalization for learning complex query concepts
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique METHOD OF AUTOMATICALLY CREATING AN IMAGE DATABASE INTERROGEABLE BY ITS SEMANTIC CONTENT
KR100516638B1 (ko) * 2001-09-26 2005-09-22 엘지전자 주식회사 화상 통신 시스템
US7343365B2 (en) * 2002-02-20 2008-03-11 Microsoft Corporation Computer system architecture for automatic context associations
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US7454061B2 (en) * 2003-06-27 2008-11-18 Ricoh Company, Ltd. System, apparatus, and method for providing illegal use research service for image data, and system, apparatus, and method for providing proper use research service for image data
JP4305079B2 (ja) * 2003-07-30 2009-07-29 セイコーエプソン株式会社 画像管理装置
US7003140B2 (en) * 2003-11-13 2006-02-21 Iq Biometrix System and method of searching for image data in a storage medium
US7624123B2 (en) * 2004-02-26 2009-11-24 Ati Technologies, Inc. Image processing system and method
CA2464591A1 (en) * 2004-04-14 2005-10-14 Inventi Limited Partnership Puzzle machine and method of operating same
EP1624392A1 (en) * 2004-07-02 2006-02-08 Canon Kabushiki Kaisha Method, apparatus, and program for retrieving data
JP2006079220A (ja) * 2004-09-08 2006-03-23 Fuji Photo Film Co Ltd 画像検索装置および方法
US7333963B2 (en) * 2004-10-07 2008-02-19 Bernard Widrow Cognitive memory and auto-associative neural network based search engine for computer and network located images and photographs
US7966327B2 (en) * 2004-11-08 2011-06-21 The Trustees Of Princeton University Similarity search system with compact data structures
JP3674633B2 (ja) * 2004-11-17 2005-07-20 カシオ計算機株式会社 画像検索装置、電子スチルカメラ、および画像検索方法
US20060122997A1 (en) * 2004-12-02 2006-06-08 Dah-Chih Lin System and method for text searching using weighted keywords
US7765231B2 (en) * 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
US20070133947A1 (en) * 2005-10-28 2007-06-14 William Armitage Systems and methods for image search
US7716157B1 (en) * 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US7978936B1 (en) * 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US20070288453A1 (en) * 2006-06-12 2007-12-13 D&S Consultants, Inc. System and Method for Searching Multimedia using Exemplar Images
US7684651B2 (en) * 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
CN102016882B (zh) * 2007-12-31 2015-05-27 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
US8447752B2 (en) * 2010-09-16 2013-05-21 Microsoft Corporation Image search by interactive sketching and tagging
WO2013075316A1 (en) * 2011-11-24 2013-05-30 Microsoft Corporation Interactive multi-modal image search

Also Published As

Publication number Publication date
US10810454B2 (en) 2020-10-20
US20070077025A1 (en) 2007-04-05
US20180129898A1 (en) 2018-05-10
US9245195B2 (en) 2016-01-26
US9881229B2 (en) 2018-01-30
US20160098613A1 (en) 2016-04-07
US8358902B2 (en) 2013-01-22
JP2007122694A (ja) 2007-05-17
US20130101218A1 (en) 2013-04-25

Similar Documents

Publication Publication Date Title
US9311961B2 (en) Image extracting device, image extracting method, and recording medium
US9507506B2 (en) Automatic target box in methods and systems for editing content-rich layouts in media-based projects
US9538019B2 (en) Proactive creation of photo products
US8897597B2 (en) Proactive creation of image-based products
US9336443B2 (en) Method and apparatus for organizing digital media based on face recognition
US8285084B2 (en) Image organizing device and method, and computer-readable recording medium storing image organizing program
US10049308B1 (en) Synthesizing training data
EP2797053B1 (en) Image compositing device and image compositing method
US7325198B2 (en) Calendar-based interfaces for browsing and manipulation of digital images
US9077823B1 (en) Systems and methods for automatically generating a photo-based project having a flush photo montage on the front cover
US10055640B2 (en) Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof
US8306286B1 (en) Method and apparatus for determining facial characteristics
US7969591B2 (en) Apparatus, method, and program for editing images for a photo album
JP4998995B2 (ja) アルバム作成装置および方法ならびにプログラム
US7433518B2 (en) Image selection support system for supporting selection of well-photographed image from plural images
US7515294B2 (en) Image extracting method, image extracting apparatus, and program for implementing the method
CN102804759B (zh) 图像相册创建
RU2369897C2 (ru) Графический пользовательский интерфейс для трехмерного представления коллекции данных на основе атрибута данных
US7716157B1 (en) Searching images with extracted objects
US8600191B2 (en) Composite imaging method and system
US20150277686A1 (en) Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
US8799756B2 (en) Systems and methods for generating autoflow of content based on image and user analysis as well as use case data for a media-based printable product
US8290281B2 (en) Selective presentation of images
JP5956860B2 (ja) 画像処理装置、画像処理方法、プログラム
US8300064B2 (en) Apparatus and method for forming a combined image by combining images in a template

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111024

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120531

R150 Certificate of patent or registration of utility model

Ref document number: 5009577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150608

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250