JP5764094B2 - 画像検索装置、画像検索方法、及び画像検索プログラム - Google Patents

画像検索装置、画像検索方法、及び画像検索プログラム Download PDF

Info

Publication number
JP5764094B2
JP5764094B2 JP2012129769A JP2012129769A JP5764094B2 JP 5764094 B2 JP5764094 B2 JP 5764094B2 JP 2012129769 A JP2012129769 A JP 2012129769A JP 2012129769 A JP2012129769 A JP 2012129769A JP 5764094 B2 JP5764094 B2 JP 5764094B2
Authority
JP
Japan
Prior art keywords
image
region
similarity
regions
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012129769A
Other languages
English (en)
Other versions
JP2013254367A (ja
Inventor
和彦 村崎
和彦 村崎
行信 谷口
行信 谷口
数藤 恭子
恭子 数藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012129769A priority Critical patent/JP5764094B2/ja
Publication of JP2013254367A publication Critical patent/JP2013254367A/ja
Application granted granted Critical
Publication of JP5764094B2 publication Critical patent/JP5764094B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像集合から任意のクエリ画像に類似した画像を検索する技術に関し、それぞれの画像をいくつかの領域に分割し、分割した領域間の対応関係に基づいてクエリ画像と画像集合に含まれる画像との類似度を評価する、画像検索装置、画像検索方法、及び画像検索プログラムに関する。
検索者に指定された画像であって検索の基準になる画像であるクエリ画像に類似する画像を、複数の画像を含む画像集合から検索する技術として、画像全体に関する画像特徴を用いる第1の手法と、画像内の一部の領域に着目して類似度を評価する第2の手法とがある。
第2の手法は、事前処理として、各画像において領域の抽出や、領域間の対応関係を推定する手間を必要とする一方で、注目物体に関する類似度を評価するので第1の手法に比べて人の感じる類似画像により近い結果を得ることができる。
しかし、クエリ画像からどの領域が人にとって注目物体なのかを検知することは難しく、想定外の検索結果が得られることも多い。非特許文献1には、人が検索結果を評価することで注目すべき評価基準を推定することにより、注目物体を検知する精度を改善している。
また、第2の手法では、対応領域間の類似性だけでなく、画像内における複数の領域の配置関係も考慮することができる。画像内での物体の配置関係は、その画像の意味を示す重要な要因であり、配置関係の考慮によってより人の感覚に近い検索結果を得られることが期待できる。非特許文献2では、領域の配置関係を考慮した領域マッチングの手法が提案されている。
馬場口登、「マルチメディア検索の技術動向」、映像情報メディア学会誌2010年1月号、p.58−63 山本、小早川、星、大森、「構図に基づく類似画像検索のための類似度」、情報処理学会論文誌:データベース、Vol.48、No.SIG14(TOD35)、2007年9月、p.82−90
しかしながら、上述したように、第2の手法では、画像において注目物体が含まれる領域である注目領域の検出が難しく、検索者が意図しない領域に対する類似性によって評価された結果が得られることがある。この場合、評価結果に基づいて画像集合から画像を検索すると、検索者が意図しない画像が検索結果となってしまう問題がある。
本発明は、上記問題を解決すべくなされたもので、その目的は、検索者が指定したクエリ画像に類似する画像を画像集合から検索する精度を向上させることができる画像検索装置、画像検索方法、及び画像検索プログラムを提供することにある。
上記問題を解決するために、本発明は、画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置であって、前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す領域類似度を算出する領域類似度算出部と、前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の重要度を算出する領域重要度算出部と、前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出部とを備えることを特徴とする画像検索装置である。
また、上記問題を解決するために、本発明は、画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置が行う画像検索方法であって、前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す領域類似度を算出する領域類似度算出ステップと、前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の重要度を算出する領域重要度算出ステップと、前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出ステップとを有することを特徴とする画像検索方法である。
また、上記問題を解決するために、本発明は、上述の画像検索装置としてコンピュータを機能させるための画像検索プログラムである。
この発明によれば、検索対象画像における各領域とクエリ画像における各領域との全ての組み合わせに対して領域類似度を算出することにより網羅的に類似性を検討し、画像の検索において注目される領域を示す重要度を領域類似度に基づいて算出して、画像類似度に反映させる。このように、各領域の組み合わせに対する領域類似度を算出して比較する統計的手法を用いることにより、検索者が意図する領域に基づいた類似性の比較を行うことができ、クエリ画像に類似する画像の検索の精度を向上させることができる。
本実施形態における画像検索装置1の構成を示す概略ブロック図である。 画像領域分割部111による画像の領域分割の一例を示す図である。 本実施形態における画像検索装置1が行う画像検索処理を示すフローチャートである。
以下、図面を参照して、本発明に係る一実施形態における画像検索装置、画像検索方法、及び画像検索プログラムを説明する。
図1は、本実施形態における画像検索装置1の構成を示す概略ブロック図である。画像検索装置1は、同図に示されるように、領域情報抽出部11と、特徴付画像記憶部12と、領域情報抽出部13と、類似度評価部14とを具備している。画像検索装置1は、検索者が指定するクエリ画像を受け付けて、画像記憶装置2に記憶されている複数の画像を含む画像集合からクエリ画像に類似する画像を検索し、検索結果を出力する装置である。
領域情報抽出部11は、画像領域分割部111と、特徴抽出部112とを備えている。画像領域分割部111は、画像記憶装置2に記憶されている各画像において、画像内の領域を当該画像に応じていくつかの領域に分割する。画像領域分割部111は、分割した領域を示す情報と、領域を分割した画像とを特徴抽出部112に出力する。画像領域分割部111は、公知の手法、例えばMeanShift法などの事前知識を用いずに画像内の領域を分割する手法を用いて、画像内の領域を分割する。
図2は、画像領域分割部111による画像の領域分割の一例を示す図である。図2(A)には領域分割の対象となる画像が示されている。図2(B)には図2(A)に示された画像の領域分割の結果が示されている。
図1に戻って画像検索装置1の構成について説明する。
特徴抽出部112は、画像領域分割部111が複数の領域に分割した画像の各領域について画像特徴を抽出する。ここで、画像特徴は、領域ごとの色、画像における位置、及び形と、領域間の配置関係とに基づく情報である。画像特徴における、色として領域内の平均輝度など、位置として正規化された領域の重心のXY座標など、形として領域の離心率や、X方向の長さに対するY方向の長さの比などを用いることができる。画像特徴における配置関係として、2つの領域間の重心を結ぶベクトルや、一方の領域の中心点から見た他方の領域がしめる角度の範囲などを用いることができる。
特徴抽出部112は、画像領域分割部111により分割された領域ごとに抽出した画像特徴を画像に付加し、画像特徴を付加した画像を特徴付画像記憶部12に記憶させる。すなわち、領域情報抽出部11は、画像記憶装置2に記憶されている各画像に対して、画像内を複数の領域に分割し、各領域の画像特徴を抽出し、抽出した画像特徴と各領域を示す情報とを画像に付加して特徴付画像記憶部12に記憶させる。
特徴付画像記憶部12は、画像記憶装置2に記憶されている画像であって、領域情報抽出部11が抽出する画像特徴を付加された画像を記憶する。
領域情報抽出部13は、画像領域分割部131と、特徴抽出部132とを備えている。画像領域分割部131は、領域情報抽出部11に備えられている画像領域分割部111と同じ処理を行う。なお、画像領域分割部131は、検索者が指定するクエリ画像を処理の対象としている点が画像領域分割部111と異なる。画像領域分割部131は、分割した各領域を示す情報と、領域を分割した画像とを特徴抽出部132に出力する。
特徴抽出部132は、領域情報抽出部11に備えられている特徴抽出部112と同じ処理を行う。なお、特徴抽出部132は、画像領域分割部131から入力される画像を処理の対象としている点が特徴抽出部112と異なる。特徴抽出部112は、抽出した画像特徴と各領域を示す情報とを画像に付加して類似度評価部14に出力する。
類似度評価部14は、領域類似度算出部141と、領域重要度算出部142と、画像類似度算出部143とを備えている。領域類似度算出部141は、領域情報抽出部13から入力されるクエリ画像及びクエリ画像の各領域の画像特徴に基づいて、特徴付画像記憶部12に記憶されている各画像の領域との領域類似度を算出し、算出した領域類似度から対応確率を算出する。対応確率は、クエリ画像の領域と、特徴付画像記憶部12に記憶されている画像(以下、検索対象画像という。)の領域とが対応する確率である。
領域類似度算出部141が領域類似度を算出する処理について具体的に説明する。領域類似度算出部141は、クエリ画像の各領域(r;1≦i≦N)と、検索対象画像の各領域(r’;1≦k≦M)との全ての組み合わせに対して領域間の領域類似度Sを、次式(1)を用いて算出する。なお、Nはクエリ画像における領域の数であり、Mは検索対象画像における領域の数である。
式(1)において、Sは色の類似度を示し、Sは形の類似度を示し、Sは位置の類似度を示す。w、w、wはそれぞれの重要度を調節するパラメータであり、その値は予め定められる。各類似度S、S、Sは、次式(2)〜式(4)により算出される。
式(2)〜式(4)におけるベクトルc、e、oは色、形状、位置の特徴ベクトルである。ベクトルc、e、oは、特徴抽出部112及び特徴抽出部132において定められる。例えば、ベクトルcは上述したように領域における色を表すパラメータを組み合わせて得られるベクトルである。また、ベクトルeは領域の形状を表すパラメータを組み合わせて得られるベクトルである。同様に、ベクトルoは領域の位置を表すパラメータを組み合わせて得られるベクトルである。また、σ、σ、σは特徴ベクトルの差分による類似度変化の度合いを調整するパラメータである。
次に、領域類似度算出部141は、クエリ画像における領域(r,r;1≦i,j≦N ただしi≠j)間の配置関係と、検索対象画像における領域(r’,r’;1≦k,l≦M ただしk≠l)の配置関係とに対する領域類似度Sを、次式(5)を用いて算出する。
式(5)における、Sは2領域配置の類似度であり、Sは2領域のサイズ比の類似度である。また、w、wはそれぞれの重要度を調節するパラメータであり、その値は予め定められる。各類似度S、Sは次式(6)及び式(7)により算出される。
式(7)におけるρ等は画像全体に対する領域rの面積比である。
領域類似度算出部141は、クエリ画像の全ての領域(r;1≦i≦N)と、検索対象画像の全ての領域(r’;1≦k≦M)とについて領域類似度S(r,r’)を算出する。また、領域類似度算出部141は、クエリ画像の領域のペア(r,r;1≦i,j≦N ただしi≠j)と、検索対象画像の領域のペア(r’,r’;1≦k,l≦M ただしk≠l)についての領域類似度S(r,r,r’,r’)を算出する。
領域類似度算出部141は、算出した領域類似度Sと領域類似度Sとを用いて、各領域が対応している確率である対応確率pikを推定する。対応確率pikは、次式(8)及び式(9)を用いて算出される。
領域類似度算出部141は、式(9)に示されるように、領域rそれぞれについて正規化した対応確率pikを算出する。
領域重要度算出部142は、領域類似度算出部141が算出した領域類似度S及び領域類似度Sから、領域重要度gと配置重要度hi,jとを算出する。領域重要度算出部142は、検索対象画像ごとにN次元の類似ベクトルxを設定する。類似ベクトルの要素x(1≦i≦N)は次式(10)で定められる。
領域重要度算出部142は、類似ベクトルxの集合に対して次元削減の手法を適用し、判別能力の高い成分を求めることで、得られた成分ベクトルを各領域に対する領域重要度gとする。次元削減の手法には、公知の手法、例えば主成分分析や、局所性保存射影、1−Class SVMなどを適用することができる。
また、領域重要度算出部142は、配置重要度hi,jについても、領域のペア(r,r)に関する類似ベクトルyを設定し、次元削減を行うことで配置重要度hi,jを算出する。類似ベクトルyは(N(N−1)/2)次元であり、その要素y(i,j)(1≦i,j≦N ただしi≠j)は次式(11)で定められる。
画像類似度算出部143は、領域類似度算出部141が算出した領域類似度S、領域類似度S及び対応確率pikと、領域重要度算出部142が算出した領域重要度g及び配置重要度hi,jとから、検索対象画像ごとに画像類似度(Similarity)を算出する。具体的には、画像類似度算出部143は、次式(12)を用いて、画像類似度を算出する。
画像類似度算出部143は、算出した画像類似度の高い順に検索対象画像を出力する。すなわち、画像類似度の高い順にソートされた検索対象画像が、検索結果として出力される。
図3は、本実施形態における画像検索装置1が行う画像検索処理を示すフローチャートである。なお、画像検索装置1は、画像記憶装置2に記憶されている各画像(検索対象画像)に対する領域の分割と画像特徴の抽出とを行い、画像特徴を付加した検索対象画像を特徴付画像記憶部12に記憶させる事前処理を終えているものとする。
画像検索装置1において、検索者の操作を受け付けてクエリ画像が入力されると(ステップS101)、画像領域分割部131がクエリ画像内を複数の領域に分割する(ステップS102)。
特徴抽出部132は、クエリ画像の各領域に対して画像特徴を抽出し、各領域を示す情報と、抽出した画像特徴とを類似度評価部14に出力する(ステップS103)。
領域類似度算出部141は、クエリ画像における各領域の画像特徴と、特徴付画像記憶部12に記憶されている検索対象画像における各領域の画像特徴とから、領域類似度S及び領域類似度Sを算出する。続いて、領域類似度算出部141は、算出した領域類似度S及び領域類似度Sから対応確率pikを算出する(ステップS104)。
領域重要度算出部142は、ステップS104において算出された領域類似度S及び領域類似度Sに基づいて、領域重要度gと配置重要度hi,jとを算出する(ステップS105)。
画像類似度算出部143は、ステップS104において算出された領域類似度S及び領域類似度S2、並びに対応確率pikと、ステップS106において算出された領域重要度g及び配置重要度hi,jとに基づいて、検索対象画像ごとに画像類似度を算出する(ステップS106)。
画像類似度算出部143は、算出した画像類似度が予め定められた閾値以上の画像類似度に対応する検索対象画像を画像類似度の高い順にソートし、ソートされた検索対象画像を検索結果として出力し(ステップS107)、画像検索処理を終了する。
上述のように、画像検索装置1は、検索対象画像に対する事前処理と、クエリ画像が入力されてから行われる画像検索処理との2つの処理により、クエリ画像に類似する画像を検索する処理を実施する。画像検索装置1では、クエリ画像及び検索対象画像を複数の領域に分割し、各領域の画像特徴に基づいた領域の類似度と対応確率とを算出し、算出した領域の類似度と対応確率とに基づいて、検索対象画像からクエリ画像に類似する画像を検索する。このように、検索対象画像の各領域とクエリ画像の各領域との全ての組み合わせに対して領域類似度を算出することにより網羅的に類似性を検討する統計的手法を用いて対応する領域、すなわち着目する領域を推定することにより、クエリ画像に類似する画像の検索の精度を向上させることができる。
また、画像検索装置1では、クエリ画像における各領域に対する領域重要度gと配置重要度hi,jとを領域重要度算出部142が算出して、画像類似度算出部143が画像類似度に反映させている。これにより、クエリ画像において特徴的な領域、及び領域間の特徴的な配置関係に対する重み(重要度)を高く設定することができるので、クエリ画像に類似する画像の検索の精度を向上させることができる。
また、画像検索装置1は、クエリ画像に類似する画像の検索において、検索者等による検索結果に対する適合性についてフィードバックを受けずとも画像の検索の精度を向上させることができるため、検索者によるフィードバックのばらつきの影響を受けずに安定した検索結果を得ることができる。
なお、上述の実施形態においては、検索対象画像の画像特徴を算出する領域情報抽出部11と、クエリ画像の画像特徴を算出する領域情報抽出部13とを個別に画像検索装置1が具備する構成について説明した。しかし、これに限ることなく、領域情報抽出部13を具備せずに領域情報抽出部11がクエリ画像の画像特徴を算出するようにしてもよいし、逆に領域情報抽出部11を具備せずに領域情報抽出部13が検索対象画像の画像特徴を算出するようにしてもよい。
また、上述の実施形態においては、画像検索装置1が画像類似度の高い順にソートされた検索対象画像を出力する構成について説明したが、これに限ることなく、各検索対象画像の画像類似度を出力するようにしてもよいし、画像類似度が予め定められた閾値以上の検索対象画像を出力するようにしてもよい。
また、上述の実施形態においては、画像検索装置1が各検索対象画像における領域の画像特徴を算出する構成を説明した。しかし、これに限ることなく、各領域の画像特徴を付加された検索対象画像が予め用意されている場合、画像検索装置1は、画像特徴を付加された検索対象画像とクエリ画像とを入力とし、領域情報抽出部13と類似度評価部14とを具備する構成としてもよい。更には、各領域の画像特徴を付加されたクエリ画像が予め用意されている場合、画像検索装置1は、画像特徴を付加された検索対象画像及びクエリ画像を入力とし、類似度評価部14を具備する構成としてもよい。
また、画像検索装置1は、領域類似度S、Sを算出する際に用いる重み係数(w,w,w,w,w)の組み合わせを複数記憶しておき、重み計数の組み合わせごとに検索結果を出力するようにしてもよい。例えば、領域類似度Sの算出において、領域の色に対する重みを高くした場合と、領域の形状に対する重みを高くした場合との2種類の検索結果を出力するようにしてもよい。重み係数の複数の組み合わせを用いた検索結果を検索者に提示することで、より検索の精度を向上させることができる。
また、画像記憶装置2に記憶させておく画像(検索対象画像)をキーワード検索などによって、特定のカテゴリに属する画像に絞り込んでおくようにしてもよい。予め特定のカテゴリに絞り込まれた画像を検索対象とすることにより、領域(注目物体)に関する類似性、及び注目物体の配置関係の類似性を高くすることができ、更に検索の精度を向上させることができる。
なお、本発明における画像検索装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像検索処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
複数の画像からユーザの指定したクエリ画像に類似する画像を検索することが不可欠な用途に適用できる。
1…画像検索装置
2…画像記憶装置
11,13…領域情報抽出部
12…特徴付画像記憶部
14…類似度評価部
111,131…画像領域分割部
112,132…特徴抽出部
141…領域類似度算出部
142…領域重要度算出部
143…画像類似度算出部

Claims (5)

  1. 画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置であって、
    前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す第1の領域類似度を算出する第1の領域類似度算出部と、
    前記検索対象画像における前記複数の領域のうちの2つの領域と、前記クエリ画像における前記複数の領域のうちの2つの領域との組み合わせごとに、配置の類似性を示す第2の領域類似度を算出する第2の領域類似度算出部と、
    前記クエリ画像における前記領域ごとに、該領域に対応する前記第1の領域類似度に基づいて、該領域の領域重要度を算出する第1の領域重要度算出部と、
    前記クエリ画像における前記複数の領域のうち2つの領域ごとに、該2つの領域の組み合わせに対応する前記第2の領域類似度に基づいて、該2つの領域の組み合わせの配置重要度を算出する第2の領域重要度算出部と、
    前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記第1の領域類似度及び前記領域重要度と、該検索対象画像における前記複数の領域のうちの2つの領域と前記クエリ画像における前記複数の領域のうちの2つの領域との組み合わせに対応する前記第2の領域類似度及び前記配置重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出部と
    を備えることを特徴とする画像検索装置。
  2. 画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置であって、
    前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、色の類似性と形の類似性と位置の類似性とから領域の類似性を示す領域類似度を算出する領域類似度算出部と、
    前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の領域重要度を算出する領域重要度算出部と、
    前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記領域重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出部と
    を備えることを特徴とする画像検索装置。
  3. 画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置が行う画像検索方法であって、
    前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す第1の領域類似度を算出する第1の領域類似度算出ステップと、
    前記検索対象画像における前記複数の領域のうちの2つの領域と、前記クエリ画像における前記複数の領域のうちの2つの領域との組み合わせごとに、配置の類似性を示す第2の領域類似度を算出する第2の領域類似度算出ステップと、
    前記クエリ画像における前記領域ごとに、該領域に対応する前記第1の領域類似度に基づいて、該領域の領域重要度を算出する第1の領域重要度算出ステップと、
    前記クエリ画像における前記複数の領域のうち2つの領域ごとに、該2つの領域の組み合わせに対応する前記第2の領域類似度に基づいて、該2つの領域の組み合わせの配置重要度を算出する第2の領域重要度算出ステップと、
    前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記第1の領域類似度及び前記領域重要度と、該検索対象画像における前記複数の領域のうちの2つの領域と前記クエリ画像における前記複数の領域のうちの2つの領域との組み合わせに対応する前記第2の領域類似度及び前記配置重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出ステップと
    を有することを特徴とする画像検索方法。
  4. 画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置が行う画像検索方法であって、
    前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、色の類似性と形の類似性と位置の類似性とから領域の類似性を示す領域類似度を算出する領域類似度算出ステップと、
    前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の領域重要度を算出する領域重要度算出ステップと、
    前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記領域重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出ステップと
    を有することを特徴とする画像検索方法。
  5. 請求項1又は請求項2のいずれか一項に記載の画像検索装置としてコンピュータを機能させるための画像検索プログラム。
JP2012129769A 2012-06-07 2012-06-07 画像検索装置、画像検索方法、及び画像検索プログラム Expired - Fee Related JP5764094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012129769A JP5764094B2 (ja) 2012-06-07 2012-06-07 画像検索装置、画像検索方法、及び画像検索プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012129769A JP5764094B2 (ja) 2012-06-07 2012-06-07 画像検索装置、画像検索方法、及び画像検索プログラム

Publications (2)

Publication Number Publication Date
JP2013254367A JP2013254367A (ja) 2013-12-19
JP5764094B2 true JP5764094B2 (ja) 2015-08-12

Family

ID=49951818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012129769A Expired - Fee Related JP5764094B2 (ja) 2012-06-07 2012-06-07 画像検索装置、画像検索方法、及び画像検索プログラム

Country Status (1)

Country Link
JP (1) JP5764094B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481431B2 (en) 2019-10-18 2022-10-25 Fujifilm Business Innovation Corp. Search criterion determination system, search system, and computer readable medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448036B2 (ja) * 2015-09-03 2019-01-09 日本電信電話株式会社 物体領域特定方法、装置、及びプログラム
CN111291765A (zh) * 2018-12-07 2020-06-16 北京京东尚科信息技术有限公司 用于确定相似图片的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167642A (ja) * 1997-12-03 1999-06-22 Omron Corp 画像の特徴抽出方法、画像の特徴抽出装置、画像検索方法および画像検索装置
JP2004021430A (ja) * 2002-06-13 2004-01-22 Fuji Xerox Co Ltd 画像検索装置、画像検索方法及び画像検索プログラム
FR2857130A1 (fr) * 2003-07-01 2005-01-07 Thomson Licensing Sa Procede et dispositif de mesure de similarite visuelle
JP4685711B2 (ja) * 2006-05-25 2011-05-18 日本電信電話株式会社 画像処理方法及び装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481431B2 (en) 2019-10-18 2022-10-25 Fujifilm Business Innovation Corp. Search criterion determination system, search system, and computer readable medium

Also Published As

Publication number Publication date
JP2013254367A (ja) 2013-12-19

Similar Documents

Publication Publication Date Title
US11182422B2 (en) Media unit retrieval and related processes
JP4813744B2 (ja) Web利用状況の解析によるユーザープロフィールの分類方法
US9436707B2 (en) Content-based image ranking
JP6004016B2 (ja) 情報変換方法、情報変換装置および情報変換プログラム
CN108985190B (zh) 目标识别方法和装置、电子设备、存储介质
CN107590505B (zh) 联合低秩表示和稀疏回归的学习方法
US10346861B2 (en) Adaptive sampling scheme for imbalanced large scale data
US9081822B2 (en) Discriminative distance weighting for content-based retrieval of digital pathology images
WO2020168992A1 (zh) 一种商品推荐方法、装置、设备以及存储介质
US9223804B2 (en) Determining capacity of search structures
JP5764094B2 (ja) 画像検索装置、画像検索方法、及び画像検索プログラム
JPWO2009060722A1 (ja) 類似画像検索装置
JP5676692B2 (ja) 機械学習装置、機械学習方法、およびプログラム
CN112417845A (zh) 一种文本评价方法、装置、电子设备及存储介质
CN111597220B (zh) 数据挖掘方法和装置
JP6453618B2 (ja) 算出装置、方法及びプログラム
EP3139284A1 (en) Media unit retrieval and related processes
EP3139282A1 (en) Media unit retrieval and related processes
Syafie et al. Missing data handling using the naive bayes logarithm (NBL) formula
EP3139281A1 (en) Media unit retrieval and related processes
EP3139279A1 (en) Media unit retrieval and related processes
JP4333902B2 (ja) 情報検索装置、情報検索方法、及び情報検索プログラム
CN117472266A (zh) 用于处理图像的方法、设备和计算机程序产品
JP2020123294A (ja) 評価装置、評価方法及びプログラム
Ye et al. A local method for canonical correlation analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150612

R150 Certificate of patent or registration of utility model

Ref document number: 5764094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees