JP5862243B2 - 情報処理装置、及びその制御方法、プログラム - Google Patents

情報処理装置、及びその制御方法、プログラム Download PDF

Info

Publication number
JP5862243B2
JP5862243B2 JP2011262567A JP2011262567A JP5862243B2 JP 5862243 B2 JP5862243 B2 JP 5862243B2 JP 2011262567 A JP2011262567 A JP 2011262567A JP 2011262567 A JP2011262567 A JP 2011262567A JP 5862243 B2 JP5862243 B2 JP 5862243B2
Authority
JP
Japan
Prior art keywords
image
search
search target
target image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011262567A
Other languages
English (en)
Other versions
JP2013114597A (ja
Inventor
泰洋 田中
泰洋 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2011262567A priority Critical patent/JP5862243B2/ja
Publication of JP2013114597A publication Critical patent/JP2013114597A/ja
Application granted granted Critical
Publication of JP5862243B2 publication Critical patent/JP5862243B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、近似画像検索技術に関するものである。
インターネット上から文書情報を探し出すためにキーワード(文字情報)を元にした検索システム(全文検索システムと呼ばれる)は、既に広く一般的に使われており、その基本的な技術に関しては、確立、成熟しているといえる。それに対して文字列情報ではない画像情報に関しては、その検索手法は全文検索システムほど確立しておらず、様々な手法が研究されている段階にある。
現在普及している手法としては、画像に付帯させた文字列情報(キーワードやタグと呼ばれる)を元に全文検索システムと同じ手法で検索するものがある。また、近年では、探したい画像の元となる画像(クエリー画像と呼ばれる)を提示し、このクエリー画像に近い画像を検索する仕組みが提供されるようになってきた。このシステムでは、クエリー画像の特徴量と類似する特徴量をもつ画像を検索する。
また、一般にキーワードによる検索システムでは、文書が単に検索文字列(クエリーキーワード)そのもの、または同義語、もしくは類義語を、含むか否かを検索結果の妥当性の指標として用いることができる。これに対して画像を元に類似画像を探す類似画像検索システムの場合は、どのような指標(画像のどの特徴量)に基づいてクエリー画像と検索対象の画像が類似すると判定していいのか、を一意に決定することが困難である。
たとえば、ある利用者がAという写真を元に検索する場合は、該利用者はAの風景と同じような風景が写っている写真を結果として期待しているケースが考えられる。また、別の利用者は同じAという写真を元にして写真に写っているオブジェクト(例えば椅子)と同じようなオブジェクトが写っている写真を結果として期待しているケースも考えられる。このようにあるクエリー画像から利用者が期待する結果を一意に決定すること、つまりクエリー画像のどの特徴に着目して類似性を判断すればよいのかを決定することが難しい。
特許文献1の画像検索システムでは、検索に利用する特徴量として複数の種類を組み合わせて利用することができるようになっている。また、複数の特徴量を用いて検索する場合は、それらの重みを利用者が指定することができるようになっている。さらに、検索結果を利用者が把握し易くするために、検索結果となった画像を3次元上に配置して表示することができる。各次元には検索に使用した特徴量を対応させている。
特開平11−175556号公報
しかしながら、上記特許文献1では、利用者が明示的に検索に利用する特徴量の種別を指定しなければならない。
そのため、利用者は、自身がクエリー画像に着目している特徴についての特徴量の種別を認識し、その種別を指定しなければならないばかりでなく、検索に利用する各特徴量の配分(重み)についても指定しなければならず、その確認作業、及び、その指定が煩雑であった。また、適切に、特徴量の種別、及び重みを指定しなければ類似する画像を検索することはできず、利用者は、一目で直感的に画像を検索することが困難であった。
さらに、上記特許文献1では、検索結果の表示画面において利用することができる特徴量は3つまでに制限されている。これは、X,Y,Zの最大3つの軸でしか表示することが出来ない為、特徴量の座標軸は3つまでに制限されてしまっている。
そのため、4つ目以上の特徴量については表示画面に表すことができず、クエリー画像に類似した画像を見落としてしまうおそれも考えられる。
本発明の目的は、利用者の操作による、2つの座標軸で構成される2次元のマップ上に表示される複数の検索対象画像の位置の変更を複数受け付け、複数の検索対象画像についての変更後の座標を各成分の値とする行列と、変更を受け付けた複数の検索対象画像と検索画像との各近似度をそれぞれ各成分の値とする行列の逆行列との積を算出して、新たな変換行列を生成することで、検索に用いられる変換行列を適切に変更し、類似の検索対象画像を検索する仕組みを提供することである。
本発明は、検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置であって、前記複数の検索対象画像を記憶する記憶手段と、ユーザによる検索画像の入力を受け付ける受付手段と、前記記憶手段に記憶されている検索対象画像ごとに、前記受付手段により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出手段と、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成手段と、複数の検索対象画像について前記生成手段によりそれぞれ生成され前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示手段と、前記表示手段により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付手段と、前記変更受付手段により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付手段により変更を受け付けた複数の検索対象画像について前記算出手段により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成手段と、を備え、前記生成手段は、更に、前記変換行列生成手段により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする。
また、本発明は、数の検索対象画像を記憶する記憶手段を備え、検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置における制御方法であって、前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、前記情報処理装置の算出手段が、前記記憶手段に記憶されている検索対象画像ごとに、前記受付工程により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出工程と、前記情報処理装置の生成手段が、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出工程により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成工程と、前記情報処理装置の表示手段が、複数の検索対象画像について前記生成工程によりそれぞれ生成され前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示工程と、前記情報処理装置の変更受付手段が、前記表示工程により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付工程と、前記情報処理装置の変換行列生成手段が、前記変更受付工程により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付工程により変更を受け付けた複数の検索対象画像について前記算出工程により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成工程と、を備え、前記生成工程は、更に、前記変換行列生成工程により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする。
また、本発明は、数の検索対象画像を記憶する記憶手段を備え、検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置が読み取り実行可能なプログラムであって、前記情報処理装置を、ユーザによる検索画像の入力を受け付ける受付手段と、前記記憶手段に記憶されている検索対象画像ごとに、前記受付手段により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出手段と、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成手段と、複数の検索対象画像について前記生成手段によりそれぞれ生成され前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示手段と、前記表示手段により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付手段と、前記変更受付手段により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付手段により変更を受け付けた複数の検索対象画像について前記算出手段により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成手段として機能させ、前記生成手段は、更に、前記変換行列生成手段により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする。
本発明によれば、利用者の操作による、2つの座標軸で構成される2次元のマップ上に表示される複数の検索対象画像の位置の変更を複数受け付け、複数の検索対象画像についての変更後の座標を各成分の値とする行列と、変更を受け付けた複数の検索対象画像と検索画像との各近似度をそれぞれ各成分の値とする行列の逆行列との積を算出して、新たな変換行列を生成することで、検索に用いられる変換行列を適切に変更し、類似の検索対象画像を検索することが可能になる。


本発明の画像検索システムの構成の一例を示すシステム構成図である。 図1に示した利用者端末101,画像検索装置102に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 図1に示した利用者端末101、画像検索装置102の機能ブロックの構成を表す図である。 図3に示した特徴量抽出部503の内部の機能ブロックを表す図である。 図3に示した特徴量データベース505における特徴量テーブルの一例を示す図である。 本発明における画像検索システムにおける検索対象画像の登録手順の一例を示すフローチャートである。 本発明における画像検索システムにおける検索処理の手順を示すフローチャートである。 本発明における画像検索システムにおける検索結果の更新処理の手順を示すフローチャートである。 本発明における画像検索システムにおける検索結果の利用者端末101のマップ表示部302における表示画面の一例を示す図である。 本発明における画像検索システムにおける検索結果の利用者端末101のマップ表示部302における表示画面の一例を示す図である。 本発明における画像検索システムにおける検索結果の利用者端末101のマップ表示部302における表示画面の一例を示す図である。 本発明における画像検索システムにおける類似画像の近似度ベクトルを座標ベクトルへ変換する式の一例を示す図である。 本発明における画像検索システムにおける類似画像の座標ベクトルを元に変換行列を求めるための式の一例を示す図である。 本発明における画像検索システムにおける類似画像の座標ベクトルを元に変換行列を求めるための式の一例を示す図である。 本発明の画像検索システムの構成の一例を示すシステム構成図である。
<第1の実施形態>
図1は、本発明の画像検索システムの構成の一例を示すシステム構成図である。
図1は、ひとつ又は複数の利用者端末101と、画像検索装置102とがローカルエリアネットワーク(LAN)103を介して相互に通信可能に接続される構成となっている。
利用者端末101は、画像の検索を行う利用者が使用する情報処理装置であって、検索要求を発信する機能と検索結果を受信して表示する機能を有する。
画像検索装置102は、検索の対象となる複数の画像を記憶しており、利用者端末101からの検索要求を受け付け、画像の検索処理を行い、検索結果を応答する機能を有する。また、外部から検索対象とする画像を入力する手段を備えている。画像検索装置102は、本発明の情報処理装置の適用例である。
以下、図2を用いて、図1に示した利用者端末101,画像検索装置102に適用可能な情報処理装置のハードウェア構成について説明する。
図2は、図1に示した利用者端末101,画像検索装置102に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
図2において、201はCPUであり、RAM202やROM203に格納されているプログラムやデータを用いて情報処理装置全体の制御を行うと共に、情報処理装置行う後述の各処理を実行する。
202はRAMであり、HDD204や記録媒体ドライブ206からロードされたプログラムやデータ、ネットワークI/F(インターフェース)205を介して受信したデータを一時的に記憶するためのエリアを備えると共に、CPU201が各種の処理を実行する際に使用するワークエリーアを備える。
203はROMであり、情報処理装置の設定データやブートプログラムなどを格納する。
204はHDDであり、ここにOS(オペレーティングシステム)や、情報処理装置が行う後述の各処理をCPU201に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータの一部もしくは全部はCPU201による制御に従ってRAM202にロードされ、これを用いてCPU201が処理を行うことで、情報処理装置は以下説明する各処理を実行することになる。
205はネットワークI/Fで、情報処理装置をネットワーク103に接続するためのものであり、このネットワークI/F205を介して情報処理装置は外部機器とデータ通信を行うことができる。
206は記録媒体ドライブであり、CD−ROM、CD−R/RW、DVD―ROM、DVD−R/RW、DVD−RAM等の記憶媒体に記録されたプログラムやデータを読み出し、RAM202に出力する。この読み出し動作はCPU201によって制御される。
207はキーボードであり、各種の指示をCPU201に対して入力することができる。208はマウス等のポインティングデバイスであり、各種の指示をCPU201に対して入力することができる。
209はビデオI/F(インターフェース)であり、ディスプレイ装置210に表示すべき画像を信号としてディスプレイ装置210に供給するためのI/Fとして機能するものである。
210はディスプレイ装置であり、CRTや液晶画面等により構成されており、CPU201による処理結果を画像や文字等でもって表示することができる。
211は周辺機器I/Fであり、USBポートやIEEE1394ポート等によって構成されており、この周辺機器I/F211を介して周辺機器との接続することが可能である。周辺機器との接続形態は有線/無線を問わない。212は上述の各部を繋ぐバスである。
次に、図3を用いて、本発明の画像検索システムの機能ブロックの構成について説明する。
画像検索システムは、利用者端末101と画像検索装置102と画像ソース600から構成される。利用者端末101と画像検索装置102と画像ソース600とはそれぞれネットワークを介して相互に通信可能に接続されている。
利用者端末101は、画像検索装置102に対して、画像の検索要求を送り、また検索結果を受信し表示するための情報処理装置である。利用者端末101は、検索クエリー部301と、マップ表示部302と、配置指示部303と、から構成される。
検索クエリー部301は、利用者から検索要求としてのクエリー画像を受け付ける入力手段を有し、当該クエリー画像を、ネットワークを通じて、画像検索装置102の検索処理部503へ送信する手段をもつ機能処理部である。
マップ表示部302は、画像検索装置102から応答される検索結果を受信する手段と、該検索結果を表示する手段を有する機能処理部である。図9、図10、図11に表示画面の例を示す。
配置指示部303は、マップ表示部302に検索結果として表示された座標平面上の類似画像の配置を、利用者がマウス等のデバイスを使用して変更した際の該変更情報を収集する手段と、該変更情報を画像検索装置102の変換行列計算部507へ送信する手段を有する機能処理部である。
画像検索装置102は、利用者端末101から、画像の検索要求を受信し、蓄積された画像に対して要求された検索処理を実行し、検索結果情報を利用者端末101へ送信する情報処理装置である。画像検索装置102は、画像登録部501と、特徴量抽出部502と、検索処理部503と、特徴量近似度計算部504と、次元圧縮部505と、マップ生成部506と、変換行列計算部507と、画像データベース508と、特徴量データベース509と、から構成される。
画像登録部501は、検索対象となる画像を本システムへ登録する機能処理部である。画像ソース600で指示されるシステムの外部のアクターから、検索対象とする画像データを受信または取得し、当該画像データの特徴量を特徴量データベース509へ保存し、当該画像データ自体を画像データベース508へ保存する機能を有する。
特徴量抽出部502は、画像データを入力として受け取り、該画像データの各種特徴量を抽出する機能処理部である。図4は、特徴量抽出部502の内部の機能ブロックの一例を示す図である。図4で示されるように、特徴量抽出部502は、複数の特徴量抽出部から構成される。図4の5021から5024で指示される特徴量抽出部は、各々異なる種類の画像特徴量を抽出する機能処理部である。例えば、スケーラブルカラー特徴量(画像全体における色の分布状態を表す特徴量)、カラーレイアウト特徴量(画像の領域毎の色の分布状態を表す特徴量)、エッジヒストグラム特徴量(画像中の境界線に関する特徴量)、SIFT(Scale Invariant Feature Transform)特徴量(局所的な領域の濃度変化特徴を表す特徴量)などの特徴量を抽出する実装をそれぞれに当てはめることが考えられる。また、個別特徴量抽出部の個数は図4では4つであるが特に制限されるものではなく、利用する画像特徴量の数だけ実装されればよい。
すなわち、画像の特徴量としては、例えば、色(色相、彩度、明度等から構成される)に関する統計量、模様(テクスチャー)、局所的な領域の濃度変化特徴、写っているオブジェクトの形状、撮影日時、撮影場所などの様々の種類のものがあるため、このような種々の特徴量を、特徴量抽出部502は、抽出するように実装することもできる。
検索処理部503は、検索要求としてクエリー画像の受け付け、当該画像データの特徴量抽出処理を特徴量抽出部502へ指示し、その結果として受け取る特徴量情報を、特徴量近似度計算部504へ渡し、蓄積された画像との近似度ベクトルの算出を指示し、その近似度ベクトルデータを次元圧縮部505へ渡し、位置ベクトル群の生成を指示する、機能処理部である。
特徴量近似度計算部504は、検索処理部503からある画像に関する複数種類の画像特徴量を受け取り、当該画像特徴量と特徴量データベース509の中に保存されている特徴量を比較して各々との近似度を計算し近似度ベクトルを生成する機能処理部である。
次元圧縮部505は、検索処理部503から検索結果となる画像群の近似度ベクトルデータを受け取り、該データへ主成分分析を適用し、該データ(近似度ベクトル)をマップ生成部506で表現可能な次元数へ次元縮小した位置ベクトル(配置情報)を生成する機能処理部である。
マップ生成部506は、検索結果である画像群の配置情報を受け取り、それを2次元座標平面上に配置し視覚化したイメージ情報(検索結果マップ情報)を生成し、利用者端末101のマップ表示部302へ送信する機能処理部である。
すなわち、画像検索装置102は、クエリー画像(検索画像)と共に、クエリー画像(検索画像)に基づき検索される対象の画像である複数の検索対象画像の近似の関係を示すマップ(図9、図10、図11)(検索結果マップ情報)上に検索対象画像を表示する。
変換行列計算部507は、利用者端末101の配置指示部303から、画像の配置情報の変更情報(配置変更情報)を受け付け、該配置変更情報を反映する変換行列(近似度ベクトルから位置ベクトルを算出する関数)を算出する機能処理部である。
画像データベース508は、検索対象となる画像データ(検索対象画像)群を保存する記憶領域である。保存された画像データはID(識別子)によって直接アクセスできる手段を有する。画像データベース508は、複数の検索対象画像を記憶する記憶手段の適用例である。
特徴量データベース509は、検索対象となる画像データの各種特徴量のデータ(図5)を保存する記憶領域である。その特徴量データは図5で例示されるテーブルで管理されている。
図5のテーブルは、1行が画像データベース508に蓄えられている1つの画像データを表し、画像データのID(識別子)(画像NOとも言う)とともに特徴量Aから特徴量Dの列名で指示されるカラムに、当該画像のそれぞれの特徴量データが保存されていることを表している。
画像ソース600は、本画像検索システムにおける検索対象画像の出所(入力ソース)を表す外部アクターである。例えば、インターネット上のFlickrやFacebook等の写真共有機能を有するサイトであったり、直接写真データを提供する利用者そのもの、各種カメラやスキャナー等の映像入力機器なども考えられる。
次に、図6を用いて、検索対象となる画像データを本画像検索システムへ登録する処理を説明する。
図6に示す各ステップは、画像検索装置102のCPU201により実行される。
以下で説明する画像ソース600(外部装置)は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの管理者が操作する管理者端末とした場合の例で説明する。
ステップS601では、画像登録部501は、画像ソース600で表わされるシステム管理者が操作する管理者端末から検索対象となる画像データを受信する。
ステップS602では、画像登録部501は、前記受信した画像データを、特徴量抽出部502へ入力する。特徴量抽出部502は、前記画像データを解析して、図4の5021から5024で例示される各個別の特徴量抽出部にかけて当該画像データのAからDの特徴量を算出する。通常これらの特徴量は一次元数値ベクトルとして表現される。特徴量抽出部502は、抽出した前記特徴量データ(AからDの4つ)を、画像登録部501へ入力する。
ステップS603では、画像登録部501は、ステップS602で取得した特徴量データを、特徴量データベース509へ登録する。特徴量データは、図5で例示されるようなテーブル構造で保存される。
図5を用いて特徴量データを保存するテーブル構造(特徴量データベース509)を説明する。
既に説明したように、ある1つの画像に対して、複数種類の特徴量が抽出される。各種特徴量は数値(整数や浮動小数点)の多次元ベクトルで表現される。例えば、局所特徴量の1つであるSIFT特徴量は、浮動小数点の128次元ベクトルとして表現されている。この実施例で説明する画像検索システムでは、図4で示しているように特徴量Aから特徴量Dまでの4つの種類の画像特徴量を取得するものとする。図5のテーブルは、1つの行が1つの検索対象画像に関する特徴量データを格納している。列名が特徴量Aから特徴量Dまでの各々のカラムに各特徴量データが格納されている。それぞれの特徴量は、次元数や数値の型が特徴量の種類によって異なっているが、基本的には数値の多次元ベクトルデータとして保存されている。
ステップS604では、画像登録部501は、前記受信した画像データを画像データベース508に保存する。
以上で、画像登録の処理は終了する。
次に、図7を用いて、画像検索における処理のフローを説明する。
ステップS701では、検索処理部503は、利用者端末101の検索クエリー部301から送信されるクエリー画像を受信する。
すなわち、ステップS701では、利用者端末101を操作する利用者(ユーザ)による操作により、クエリー画像(検索画像)の入力を受け付ける(受付手段)。ここでは、クエリー画像自体を利用者端末101から受信して入力を受け付けても良いし、画像データベース508に記憶されている画像から、クエリー画像としてユーザに選択されたクエリー画像の入力を受け付けてもよい。
ステップS702では、検索処理部503は、クエリー画像データを解析して、特徴量抽出部502へ入力し、該画像の特徴量データ(この実施例では4つの特徴量ベクトル)を取得する。
ステップS703では、検索処理部503は、ステップS702で取得した特徴量データを、特徴量近似度計算部504に入力する。特徴量近似度計算部504は受け取った特徴量データを、特徴量データベース509に保存されている全ての特徴量データ群とそれぞれ比較して、それぞれとの近似度を算出する。1つの特徴量に関する近似度は、例えば数値ベクトル間のユーグリッド距離で表現される。検索対象画像1つに対するクエリー画像の近似度は、特徴量種類(この実施例ではAからD)毎のユーグリッド距離の配列、つまり多次元数値ベクトルとして表現される。特徴量近似度計算部504は、検索対象画像全てに対してクエリー画像との近似度を表す多次元数値ベクトル(以降近似度ベクトルと呼ぶ)を生成し、該近似度ベクトル群を検索処理部503へ応答する。
すなわち、ステップS703では、ステップS701で受け付けたクエリー画像の複数の特徴量と、画像データベース508に記憶されている各画像の複数の特徴量との近似度をそれぞれ算出する(算出手段)。
ステップS704では、検索処理部503は、ステップS703で取得した近似度ベクトル群を、次元圧縮部505へ入力する。次元圧縮部505は、前記近似度ベクトル群に対して主成分分析処理を行い、近似度ベクトル群のそれぞれの次元を2次元に圧縮する。2次元化した近似度ベクトルを以降配置情報と呼ぶ。
すなわち、ステップS704では、ステップS703で算出された各近似度を図12の1203に代入し、図12の変換行列1202(初期値)と演算して、配置情報1201を算出して生成する。ここで、図12の変換行列1202は、本発明における重み情報の適用例であって、複数種類の特徴量における各近似度を合成すると共に複数種類の特徴量に対する重みを示す情報である。また、ここで生成される配置情報は、算出された各近似度が算出された検索対象画像をマップ上に表示する位置を示す情報である。
このように、ステップS704では、算出された複数種類の特徴量における各近似度を合成して、当該複数の特徴量の種類よりも少ない数の次元のマップ上に表示する位置を示す配置情報を生成する。
(次元圧縮の手段について)
図12にこの次元圧縮を行うベクトル変換の式を示す。1203で指示されるベクトルがクエリー画像と検索対象画像との近似度ベクトルを表す。F0、F1、F2、F3の値はそれぞれ特徴量Aから特徴量Dに関するクエリー画像と検索対象画像との距離(差)を表している。1202で指示される行列は、上記の主成分分析処理において算出されるもので、変換行列(次元圧縮関数)を表す。この変換行列の1行目(T00、T01、T02、T03)の値は第1主成分を表し、2行目(T10、T11、T12、T13)の値は第2主成分を表している。1201で指示されるベクトルは近似度ベクトルが2次元化された配置情報(位置ベクトル)を表している。1201のX、Yの値はどちらも、複数の(この実施例ではF0からF3の)画像特徴量の距離の線形合成になっている。
複数の特徴量の近似度からなる多次元数値ベクトルデータ(近似度ベクトル)を主成分分析により2次元化することによって、類似性が高い検索対象画像の集合(近似度ベクトル空間において原点に近い画像セット)を、それらの特徴が効率良く表現された配置で(情報量がなるべく落ちないように次元削減された表現で)視覚化することができる。2次元データのそれぞれの成分は各種特徴量の近似度を結合した値を表すが、各成分は互いに独立した類似度表現を表す尺度になっている。
ステップS705では、次元圧縮部505は、ステップS704で算出した配置情報群を、マップ生成部506へ入力する。マップ生成部506は、配置情報群のうち原点から一定の範囲内の距離にある配置情報を対象に、その配置情報に対応する画像のサムネイル画像(類似画像のサムネイル)を2次元座標平面上に配置した視覚化情報(マップとも言う)を作成する。この視覚化情報は図9の900で指示される領域で例示される。以降、この視覚化情報を類似画像マップと呼び、2次元座標平面上に表示された画像を類似画像と呼ぶ。
ステップS705において、マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみをマップ上に配置するため、ステップS706では、マップ上の所定の範囲内の位置を示す配置情報の検索対象画像のみをマップ上に表示するべく出力する。
ステップS706では、マップ生成部506は作成された類似画像マップを、利用者端末101のマップ表示部302へ送信する。
すなわち、ステップS706では、生成された配置情報に示される類似画像マップ(単にマップとも言う)上の位置に該検索対象画像を表示するべく出力する。
以上で、利用者が検索要求を発信してから検索結果が応答されるまでの処理を説明した。
次に、図8を用いて利用者の指示によって検索結果を改善する処理のフローを説明する。
ステップS801では、S706においてマップ生成部506から送信された類似画像マップを、利用者端末101のマップ表示部302において受信する。
ステップS802では、類似画像マップをマップ表示部302において表示する。
(図9の説明)
図9は、類似画像マップを表示しているマップ表示部302の画面例である。900で指示される領域に類似画像マップが表示されている。類似画像マップは2次元座標平面上にクエリー画像と類似すると計算された画像(類似画像)のサムネイルが配置されたものである。901で指示しているオブジェクトはクエリー画像のサムネイルを表しており、座標平面の原点に配置されている。904から909で指示されるオブジェクトは類似画像のサムネイルを表しており、ステップS704で算出された配置情報の座標に表示されている。
類似画像の配置場所はクエリー画像と各々の類似画像との各種特徴量の距離(差)を2次元座標化したものであるので、クエリー画像と類似性が高い類似画像ほど原点の近くに配置される。
902は、利用者が類似画像の位置をドラッグするなどして変更した場合に、その更新内容を含む更新情報を、画像検索装置102へ送出するためのボタンを表している。また、903は、利用者が類似画像の配置に関して、これ以上変更の余地はないことを画像検索装置102へ通知するためのボタンを表している。
(類似画像の配置の変更について)
利用者は、ステップS802の後、利用者端末101のマップ表示部302に表示された類似画像マップを視認し、904から909で指示されるようなサムネイルを、901のクエリー画像のサムネイルと見比べて、該サムネイルの配置場所をマウスでドラッグするなどの操作で変更する。
すなわち、901のクエリー画像のサムネイルと類似していると利用者が判断した検索対象画像のサムネイルの配置場所を、利用者がマウスでドラッグするなどの操作を行い、類似していると判断した検索対象画像のサムネイルの配置場所を変更する。具体的には、類似していると判断する検索対象画像のサムネイルの配置場所を、マップの中心(クエリー画像のサムネイルが配置されている2つの座標軸の原点)に近くなるように、近似している判断する度合に応じた距離を移動する。一方、類似していないと判断する検索対象画像のサムネイルの配置場所を、マップの中心(クエリー画像のサムネイルが配置されている2つの座標軸の原点)から離れるように、近似していない判断する度合に応じた距離を移動する。
このように、利用者端末101は、ユーザの操作により、マップ上に表示された検索対象画像の位置の変更を受け付ける(変更受付手段)。
上述したようにサムネイルの配置の各軸は、各特徴量に関する距離成分の線形合成された値を表すものである。前記線形合成のパラメータ(図12の変換行列1202)の初期値は、主成分分析によって導出され、次元圧縮に際してできるだけ情報量が減らないように決定されるようにする。すなわち、ステップS703で算出された各近似度ベクトル(本実施例では、5021、5022、5023、5024のそれぞれの部で抽出された特徴量A、特徴量B、特徴量C、特徴量Dについての近似度ベクトル)について、主成分分析を行い、各近似度ベクトル(本実施例では4つの近似度ベクトル)を2つの成分(次元)になるよう合成して図12の変換行列1202(初期値)を算出して生成する。ここで、主成分分析による2次元への次元圧縮では、近似度ベクトル群の情報量をできるだけ落とさないように成分(次元)が2つ選択される。
このようにして決定された座標系上の類似画像群に対して、利用者はそれらの相対的位置関係と原点からの距離を考慮して、位置調整を実施する。この結果、線形合成のパラメータが、利用者が画像の類似性に期待する各種特徴量の重みを近づくものと考えられる。
配置の変更手段に関しては、各類似画像を利用者が画像を確認し易くするため904から909のサムネイルをクリックするとより大きなサイズの画像がその場で表示されるといった工夫があってもよい。
サムネイルの配置位置を更新したマップ表示部302の例を図10に示す。
図10では、利用者が、画像Bを905で指示される場所(配置位置)から910で指示される場所(配置位置)へ移動し、画像Cを906で指示される場所(配置位置)から911で指示される場所(配置位置)へ移動し、画像Eを908で指示される場所(配置位置)から912で指示される場所(配置位置)へ移動し、画像Fを909で指示される場所(配置位置)から913で指示される場所(配置位置)へ移動したことを表している。
ステップS803では、マップ表示部302が利用者によって903で指示される更新なしボタン903が押下されたことを検知した場合は処理を終了する。マップ表示部302が902で指示される更新ボタン902の押下を検知した場合はステップS804へ進む。
ステップS804では、配置指示部303は、マップ表示部302で変更されたサムネイル画像の位置を示す変更情報(配置変更情報)を203で指示されるRAMの中に蓄積させる。上記の例で説明すると、画像B、画像C、画像E、画像Fの新しい位置情報を位置ベクトルデータとしてRAM202の中に保存する。
ステップS805では、配置指示部303は、ステップS804で保存した複数の位置ベクトルデータ(配置変更情報)を、画像検索装置102の変換行列計算部507へ送信する。
ステップS806では、画像検索装置102の変換行列計算部507は、ステップS805で送信された位置ベクトルデータ(配置変更情報)を受信する。
すなわち、画像検索装置102は、ユーザの操作により、マップ上に表示された検索対象画像の位置が変更された内容として配置変更情報を受け付ける。配置変更情報は、変更された検索対象画像の位置を示す配置情報である。
(位置更新情報からの変換行列の計算)
ステップS807では、変換行列計算部507は、位置ベクトルデータ(配置変更情報)を入力して次元圧縮行列を計算する。これは、ステップS704の処理を説明した際に出てきた図12の1202で指示される変換行列を、1201の位置ベクトルと1203の近似度ベクトルを元にして、求める処理となる。例えば、位置ベクトルデータが4つあった場合には、それらと新しい変換行列T’の関係は、図13の式で表わされる。これは4つの配置情報の変換式を1つにまとめた式である。
図13において1301から1304の部分は、それぞれが利用者が移動した類似画像の配置情報(位置ベクトルデータ)を表している。また、1305から1308の部分は、1301から1304に対応する画像の前記クエリー画像との近似度ベクトル(ステップS703において生成されている値)を表している。例えば、1301で指示された部分は図10において利用者が移動したBの画像の新しい位置(910)のデータ(配置情報(位置ベクトル))を表し、その時の1305で指示される部分は1301に対応する画像Bの近似度ベクトルを表している。1302から1304と1305から1308も同様にぞれぞれ新しい位置ベクトルデータとそれに対応する画像の近似度ベクトルデータを表している。
この式を変形してT’について解くことによって、変換行列T’を算出できる。図13の式の両辺の右から、1310で指示される行列の逆行列を掛けることによって、図14で表わされる式に変形し、T’を計算する。この場合、1301から1304までの位置ベクトルデータは、必ずしも利用者が位置を変更した画像のものでなくてよい。位置を変更した画像に加え、位置を変更しなかった画像でも利用者がその位置を重視することを示している画像の位置ベクトルデータをこの式に利用すればよい。
上記のように計算されたT’は、利用者がクエリー画像と検索対象画像群との類似度の計算に、どの特徴量をどれ位重み付けするかが表現されたもの(特徴量重み付け行列)になっている。
このように、ステップS807では、変更された検索対象画像の位置を示す配置情報と、ステップS703で算出された近似度とに従って、変換行列(重み情報)を生成する(重み情報生成手段)。
ステップS808では、変換行列生成部507は、図12に示す式を用いて、ステップS703において生成していた近似度ベクトル群のそれぞれに対して、ステップS807で生成した変換行列を適用して、新たな位置ベクトル群(配置情報)をそれぞれ生成する。
すなわち、ステップS808では、ステップS703で算出された近似度と、ステップS807で生成された変換行列とに従って、該近似度が算出された検索対象画像の配置情報を生成する。
具体的には、ステップS703で算出される近似度ベクトルは、クエリー画像の特徴量データと、特徴量データベース509に保存されている全ての特徴量データ群とそれぞれ比較して、それぞれ算出されたものであり、これら全ての近似度ベクトルのそれぞれを1203に代入し、更に、ステップS807で生成した変換行列を1202に代入し、画像データベース508に記憶されている画像全てについての新たな配置情報(位置ベクトル)1201を算出する。
この新たな位置ベクトルは、利用者が期待する各検索対象画像の類似度をより正確に2次元座標空間上に表現するものとなっている。
すなわち、ここでは、ユーザの操作(画像の配置位置の変更指示)により、どの特徴量についてどれ位重み付けするかを示す値が加味された配置情報が生成される。
ステップS809では、変換行列生成部507は、ステップS808で算出した各検索対象画像の配置情報を、マップ生成部506へ入力する。マップ生成部506では、原点から一定の範囲内の距離にある画像を対象にして、それらの画像のサムネイル画像を2次元座標平面上に配置した新しい類似画像マップを作成する。
(更新された類似画像マップの説明)
図11で例示されている類似画像マップを使って、更新された検索結果について説明する。図10において示されているように、場所を変更した画像は、B、C、E、Fである。これら4つの画像に関しては、図11においてほぼ変更した場所に近い位置に配置されている。ただし、画像Eに関しては領域外へ移動されている。また、変換行列を算出する際に勘案されなかった画像、例えば画像Aについては図11では領域に表示されていない。これは画像Aの近似度ベクトルへ新しい変換行列を適用した後の位置が原点に対して一定距離の中に出現しなったことを意味する。また、画像Dに関しては、図10の時点の位置より原点に近づいている。さらに、図11の座標平面では、新しい画像Gと画像Hが領域内に出現している。どちらも新しい変換行列によって各種特徴量毎の近似度への重みが変更された結果、よりクエリー画像に近いと判定された結果を示している。
上記のS807で説明したような逆行列を使って変換行列を算出した場合には、計算に使用した新しい位置は変更位置と厳密に一致するように計算されるが、必ずしもそうする必要はなく、新しいパラメータを乱数などを用いて複数回試行し、複数の位置の変更が最もバランスよく実現されるものを選択するなどの異なる手法をとってもよい。図11では、このような計算によって算出された場合の結果を表している。
ステップS810では、マップ生成部506は前記類似画像マップを、利用者端末101のマップ表示部302へ送信する。
ステップS810の後は、利用者端末101においてステップS801の処理へ続く。
以上図8を用いて説明したように、2次元座標平面上に表示される類似画像に対して、利用者が自らの意図を反映するよう位置の変更を繰り返すことによって、利用者が期待する特徴を備えたクエリー画像と類似する画像を取得することが可能となる。
このようにして、一度、マップ上に表示された画像の配置位置を変更することで、類似の画像を、画像データベース508に記憶されている画像の中から絞り込んで検索することが可能となる。
以上、図8を用いて説明した手順により、視覚的に表現された各検索対象画像の類似度を、利用者の指示で更新することにより、各種特徴量の近似度を合成する時のパラメータ(変換行列)を逆算し、これにより利用者がより自分の期待する近似度表現を生成することが可能となる。
すなわち、上述のように、類似していると判断する検索対象画像のサムネイルの配置場所を、マップの中心(クエリー画像のサムネイルが配置されている2つの座標軸の原点)に近くなるように、近似している判断する度合に応じた距離だけ移動し、また、類似していないと判断する検索対象画像のサムネイルの配置場所を、マップの中心(クエリー画像のサムネイルが配置されている2つの座標軸の原点)から離れるように、近似していない判断する度合に応じた距離だけ移動し、再度、検索を行うことで、移動された検索対象画像のサムネイルの配置場所(配置位置)に応じて、クエリー画像のどの特徴に着目して類似性を判断すればよいのかを自動的に判断して、その判断結果を反映するように、各特徴量の重み(変換行列)を自動的に最適化して、類似の画像を再検索するため、煩雑な操作を軽減することが可能となる。
<第2の実施形態>
本発明の第2の実施形態について説明する。
図15に実施例2の画像検索システムの機能ブロック図を示す。図15は図3で示される第1の実施形態の構成に510で指示される変換行列蓄積部を追加したものである。
変換行列蓄積部510は、クエリー画像の各種特徴量データと変換行列の値とを対で保存する記憶部である。
変換行列蓄積部510は、本発明の情報記憶手段の適用例である。すなわち、変換行列蓄積部510は、ステップS807で生成された変換行列(重み情報)と、ステップS701で受け付けた検索画像の複数の特徴量とを関連付けて記憶する記憶部である。
第2の実施形態では、第1の実施形態と異なる処理のみを下記に説明する。すなわち、第2の実施形態では、第1の実施形態と同様の構成については、説明を省略する。
(クエリー画像の特徴量データと変換行列の蓄積処理)
図8のフローチャートのステップS803において、更新なしの指示が利用者からあった場合に、配置指示部303は変換行列が確定したことを画像検索装置102の変換行列計算部507へ通知し、変換行列計算部507は、クエリー画像の各種特徴量データと、ステップS807で最終的に算出された変換行列のデータを、変換行列蓄積部510へ保存する。
(変換行列の初期値の算出)
第2の実施形態では、図7のフローチャートのステップS704において、第1の実施形態で主成分分析によって変換行列を求めている処理を、前述した変換行列蓄積部510に保存されている変換行列の値を利用するように変更する。
具体的には、次元圧縮部505は、クエリー画像の各種特徴量データセット(各特徴量)と最も近い特徴量データセットをもつエントリを変換行列蓄積部510から検索し、該エントリの変換行列のデータを用いて配置情報の生成処理を実施する。
すなわち、ステップS704では、ステップS701で新たに受け付けた検索画像から取得された複数の特徴量に最も類似(近似)する複数の特徴量に関連付けられて変換行列蓄積部510により記憶されている変換行列(重み情報)を特定する(特定手段)。変換行列蓄積部510には、前回(過去)に検索を行った際に用いられた、前回(過去)のクエリー画像の各種特徴量データと、前回(過去)のステップS807で最終的に算出された変換行列のデータとが関連付けられて記憶されているため、ステップS701で新たにクエリー画像(検索画像)を受け付けた際には、該検索画像から取得された複数の特徴量に最も類似(近似)する複数の特徴量に関連付けられて変換行列蓄積部510により記憶されている変換行列(重み情報)を特定することができる。
そして、ステップS703で算出された近似度と、当該特定された重み情報とを、それぞれ図12の1203、1202に代入することで、検索対象画像をマップ上に表示する位置を示す配置情報を生成する(ステップS704)。
ただし、クエリー画像の各種特徴量データセットに対して距離がある範囲内にあるエントリがなかった場合は、第1の実施形態と同様に主成分分析によって変換行列を算出するものとする。
すなわち、ステップS704により生成された配置情報に従って、マップ上の所定の範囲内に所定数の検索対象画像があるか否かを判定し(画像数判定手段)、あると判定された場合には、ステップS703で算出された近似度と、ステップS704で特定された変換行列を、それぞれ図12の1203、1202に代入することで、検索対象画像をマップ上に表示する位置を示す配置情報を生成する。
一方、マップ上の所定の範囲内に所定数の検索対象画像がないと判定された場合には、第1の実施形態で説明した通り、ステップS703で算出された近似度と、初期値の変換行列(重み情報)とをそれぞれ図12の1203、1202に代入することで、配置情報を生成する。
ここで、初期値の変換行列(重み情報)は、上述した通り、主成分分析を行うことで得られる変換行列であって、ステップS703で算出された複数の特徴量についての近似度に従って、当該複数の特徴量に対する重みを示す変換行列(重み情報)を決定した(決定手段)ものである。
以上の変更を加えることによって、過去に同じような特徴量を有するクエリー画像の検索があった場合は、その際に作成された変換行列を再利用することによって、利用者の配置変更作業の負担を省略することができ、効率的に類似画像を見つけることができる。
すなわち、クエリー画像の特徴量と、該クエリー画像に類似した画像を検索するために適した変換行列とを学習することで、効率的に、且つ迅速に類似画像を見つけることが可能となる。
<第3の実施形態>
第1の実施形態、及び、第2の実施形態では、利用者端末101と画像検索装置102とを別々の筐体で記載しているが、これらを合体して1つの情報処理装置として構成することが可能である。すなわち、後述する利用者端末101が備える検索クエリー部301と、配置指示部303と、マップ表示部302とが、画像検索装置102内に含めて、画像検索装置102を1つの情報処理装置として構成することができる。
以上、本発明によれば、利用者の操作による、マップ上に表示される画像の位置の変更を受け付けることで、検索に用いられる各特徴量の重みを適切に変更し、類似の画像を検索することが可能になる。
また、本発明によれば、利用者が明示的に検索に利用する特徴量を指定することなく、検索された画像を確認して、直感的に、その画像の位置を移動するだけで、各特徴量の重みを自動的に最適化して、類似の画像を検索するため、煩雑な操作を軽減することが可能となる。
また、本発明によれば、結果表示に利用される特徴量は3つに制限されることなく、4つ目以上の特徴量についても考慮された座標軸(複数の特徴量の重みを織り込まれている2次元の座標軸)を含むマップに、検索された結果、得られた画像が表示されるため、クエリー画像に類似した画像を見落としてしまうおそれも低減可能となる。
また、本発明によれば、類似性の指標を利用者が明示的に指定することなく、また複数の指標を用いる場合においても、利用者との相互作用を通じて、各指標の重みを自動的に最適化することが可能な画像検索の仕組みを提供することである。
また、本発明によれば、大量の画像の中から、利用者が所望する特徴を備えた画像を、迅速に、効率的に、検索し、発見することが可能になる。
以上、本発明の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、装置で読み取り実行可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。上述した実施例では、利用者端末101と、画像検索装置102とをそれぞれ別の筐体として説明したが、利用者端末101と、画像検索装置102と組み合わせて1つの情報処理装置とすることができる。すなわち、このように、利用者端末101と、画像検索装置102と組み合わせて1つの情報処理装置とした場合でも、本発明の範囲内にあることは言うまでもない。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のカード、ROM等を用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
101 利用者端末
102 画像検索装置
103 LAN
301 検索クエリー部
302 マップ表示部
303 配置指示部
501 画像登録部
502 特徴量抽出部
503 検索処理部
504 特徴量近似度計算部
505 次元圧縮部
506 マップ生成部
507 変換行列計算部
508 画像データベース
509 特徴量データベース
510 変換行列蓄積部
600 画像ソース

Claims (8)

  1. 検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置であって、
    前記複数の検索対象画像を記憶する記憶手段と、
    ユーザによる検索画像の入力を受け付ける受付手段と、
    前記記憶手段に記憶されている検索対象画像ごとに、前記受付手段により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出手段と、
    前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成手段と、
    複数の検索対象画像について前記生成手段によりそれぞれ生成され前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示手段と、
    前記表示手段により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付手段と、
    前記変更受付手段により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付手段により変更を受け付けた複数の検索対象画像について前記算出手段により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成手段と、
    を備え、
    前記生成手段は、更に、前記変換行列生成手段により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする情報処理装置。
  2. 記生成手段は、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出され複数種類近似度をそれぞれ各成分の値とする前記第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出することで前記第1行列の各成分の値を合成して、前記第1行列の各成分の数よりも少ない数である2次元の前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示手段により表示された前記マップを更新する更新指示を受け付ける更新受付手段を更に備え、
    前記変換行列生成手段は、前記更新受付手段により更新指示を受け付けた場合に、前記変換行列生成手段による変換行列生成処理を実行することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記変換行列生成手段により生成された前記第2変換行列と、前記受付手段により受け付けた検索画像の複数種類の特徴量とを関連付けて記憶する情報記憶手段と、
    前記受付手段によ新たに受け付けた検索画像の複数種類の特徴量に類似する複数種類の特徴量に関連付けられて前記情報記憶手段により記憶されている前記第2変換行列を特定する特定手段と、
    を更に備え、
    前記生成手段は、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする前記第1行列と、前記特定手段により特定された前記第2変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を生成することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記生成手段により、前記特定手段により特定された前記第2変換行列を用いて算出された、前記マップ上の所定の範囲内の座標に配置される検索対象画像が所定あるか否かを判定する画像数判定手段
    記画像数判定手段により、前記特定手段により特定された前記第2変換行列を用いて算出された、前記マップ上の所定の範囲内の座標配置される検索対象画像が所定あると判定された場合には、前記表示手段により、前記特定手段により特定された前記第2変換行列を用いて前記生成手段で算出された座標の位置に検索対象画像を表示するように制御し、一方、前記画像数判定手段により、前記特定手段により特定された前記第2変換行列を用いて算出された、前記マップ上の所定の範囲内の座標に配置される検索対象画像が所定数ないと判定された場合には、前記生成手段により、前記第1変換行列を用いて、前記マップ上に配置する当該検索対象画像の座標を算出し、前記表示手段により、当該算出された座標の位置に検索対象画像を表示するように制御する制御手段と、
    を更に備えることを特徴とする請求項に記載の情報処理装置。
  6. 前記算出手段により複数の前記検索対象画像についてそれぞれ算出され前記複数種類の特徴量ごとの各近似度に対して主成分分析を行い、前記第1変換行列を決定する決定手段を更に備えることを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 数の検索対象画像を記憶する記憶手段を備え、検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置における制御方法であって、
    前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、
    前記情報処理装置の算出手段が、前記記憶手段に記憶されている検索対象画像ごとに、前記受付工程により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出工程と、
    前記情報処理装置の生成手段が、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出工程により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成工程と、
    前記情報処理装置の表示手段が、複数の検索対象画像について前記生成工程によりそれぞれ生成され前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示工程と、
    前記情報処理装置の変更受付手段が、前記表示工程により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付工程と、
    前記情報処理装置の変換行列生成手段が、前記変更受付工程により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付工程により変更を受け付けた複数の検索対象画像について前記算出工程により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成工程と、
    を備え、
    前記生成工程は、更に、前記変換行列生成工程により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする制御方法。
  8. 数の検索対象画像を記憶する記憶手段を備え、検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像の関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置が読み取り実行可能なプログラムであって、
    前記情報処理装置を、
    ユーザによる検索画像の入力を受け付ける受付手段と、
    前記記憶手段に記憶されている検索対象画像ごとに、前記受付手段により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出手段と、
    前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成手段と、
    複数の検索対象画像について前記生成手段によりそれぞれ生成され前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示手段と、
    前記表示手段により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付手段と、
    前記変更受付手段により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付手段により変更を受け付けた複数の検索対象画像について前記算出手段により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成手段として機能させ、
    前記生成手段は、更に、前記変換行列生成手段により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とするプログラム。
JP2011262567A 2011-11-30 2011-11-30 情報処理装置、及びその制御方法、プログラム Expired - Fee Related JP5862243B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011262567A JP5862243B2 (ja) 2011-11-30 2011-11-30 情報処理装置、及びその制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011262567A JP5862243B2 (ja) 2011-11-30 2011-11-30 情報処理装置、及びその制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2013114597A JP2013114597A (ja) 2013-06-10
JP5862243B2 true JP5862243B2 (ja) 2016-02-16

Family

ID=48710060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011262567A Expired - Fee Related JP5862243B2 (ja) 2011-11-30 2011-11-30 情報処理装置、及びその制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP5862243B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5952226B2 (ja) * 2013-06-26 2016-07-13 日本電信電話株式会社 情報処理装置、特徴量変換システム、変換ルール生成方法及び変換ルール生成プログラム
JP6336827B2 (ja) * 2014-06-05 2018-06-06 株式会社日立製作所 画像検索装置、画像検索方法および検索システム
JP6460926B2 (ja) * 2015-06-25 2019-01-30 Kddi株式会社 撮影画像に写る物体を検索するシステム及び方法
JP7093021B2 (ja) * 2020-01-29 2022-06-29 ダイキン工業株式会社 ノード処理装置、ノード処理方法及びプログラム
WO2024062912A1 (ja) * 2022-09-20 2024-03-28 富士フイルム株式会社 表示制御装置、表示制御装置の作動方法、および表示制御装置の作動プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3929418B2 (ja) * 2003-05-19 2007-06-13 アルトリサーチ株式会社 情報探索プログラム及び情報探索プログラムを記録した媒体
JP2008052665A (ja) * 2006-08-28 2008-03-06 Sony Computer Entertainment Inc コンテンツ表示装置およびコンテンツ表示方法
US8700675B2 (en) * 2007-02-19 2014-04-15 Sony Corporation Contents space forming apparatus, method of the same, computer, program, and storage media
JP2009294993A (ja) * 2008-06-06 2009-12-17 Konica Minolta Holdings Inc 関連文書抽出方法、関連文書抽出システム、及び関連文書抽出プログラム
WO2010053160A1 (ja) * 2008-11-07 2010-05-14 国立大学法人 北海道大学 コンテンツ検索装置およびコンテンツ検索プログラム

Also Published As

Publication number Publication date
JP2013114597A (ja) 2013-06-10

Similar Documents

Publication Publication Date Title
US7188103B2 (en) Similarity search of three-dimensional model using two-dimensional image as search key
US7840076B2 (en) Methods and apparatus for retrieving images from a large collection of images
JP4785598B2 (ja) 類似形状検索装置
US8606774B1 (en) Methods and systems for 3D shape retrieval
Wang et al. Affective image adjustment with a single word
WO2013145654A1 (en) Information processing method to calculate a similarity between a posture model and posture data
JP5862243B2 (ja) 情報処理装置、及びその制御方法、プログラム
US20210141826A1 (en) Shape-based graphics search
US20090052787A1 (en) Image search apparatus, image search method, and storage medium storing a program for causing a search apparatus to execute a search method
JP2007109136A (ja) 画像表示制御装置
JP4948607B2 (ja) 画像検索装置、画像分類装置及び方法並びにプログラム
US20210224322A1 (en) Image search system, image search method and storage medium
JP2011053781A (ja) 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法
JP2008102594A (ja) コンテンツの検索方法及び検索装置
JP5408241B2 (ja) 情報処理装置、情報処理方法、プログラム
Gao et al. Pose detection of parallel robot based on improved RANSAC algorithm
JP5094682B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101768914B1 (ko) 지오 태깅 방법, 지오 태깅 장치 및 이를 수행하는 프로그램을 기록하는 기록매체
JP2014010640A (ja) 画像検索装置、情報処理方法、プログラム
US20220414738A1 (en) Information processing device, information processing method, and non-transitory computer readable storage medium
JP2010250634A (ja) 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法
KR20190106107A (ko) 위치정보와 촬영자세를 이용한 스마트 영상의 가상현실 서비스 기술
WO2021145030A1 (ja) 映像検索システム、映像検索方法、及びコンピュータプログラム
KR101530355B1 (ko) 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템
JP6341843B2 (ja) 画像検索装置、及び画像検索システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141128

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5862243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees