JP5862243B2 - 情報処理装置、及びその制御方法、プログラム - Google Patents
情報処理装置、及びその制御方法、プログラム Download PDFInfo
- Publication number
- JP5862243B2 JP5862243B2 JP2011262567A JP2011262567A JP5862243B2 JP 5862243 B2 JP5862243 B2 JP 5862243B2 JP 2011262567 A JP2011262567 A JP 2011262567A JP 2011262567 A JP2011262567 A JP 2011262567A JP 5862243 B2 JP5862243 B2 JP 5862243B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- search target
- target image
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
そのため、利用者は、自身がクエリー画像に着目している特徴についての特徴量の種別を認識し、その種別を指定しなければならないばかりでなく、検索に利用する各特徴量の配分(重み)についても指定しなければならず、その確認作業、及び、その指定が煩雑であった。また、適切に、特徴量の種別、及び重みを指定しなければ類似する画像を検索することはできず、利用者は、一目で直感的に画像を検索することが困難であった。
図1は、本発明の画像検索システムの構成の一例を示すシステム構成図である。
図12にこの次元圧縮を行うベクトル変換の式を示す。1203で指示されるベクトルがクエリー画像と検索対象画像との近似度ベクトルを表す。F0、F1、F2、F3の値はそれぞれ特徴量Aから特徴量Dに関するクエリー画像と検索対象画像との距離(差)を表している。1202で指示される行列は、上記の主成分分析処理において算出されるもので、変換行列(次元圧縮関数)を表す。この変換行列の1行目(T00、T01、T02、T03)の値は第1主成分を表し、2行目(T10、T11、T12、T13)の値は第2主成分を表している。1201で指示されるベクトルは近似度ベクトルが2次元化された配置情報(位置ベクトル)を表している。1201のX、Yの値はどちらも、複数の(この実施例ではF0からF3の)画像特徴量の距離の線形合成になっている。
図9は、類似画像マップを表示しているマップ表示部302の画面例である。900で指示される領域に類似画像マップが表示されている。類似画像マップは2次元座標平面上にクエリー画像と類似すると計算された画像(類似画像)のサムネイルが配置されたものである。901で指示しているオブジェクトはクエリー画像のサムネイルを表しており、座標平面の原点に配置されている。904から909で指示されるオブジェクトは類似画像のサムネイルを表しており、ステップS704で算出された配置情報の座標に表示されている。
利用者は、ステップS802の後、利用者端末101のマップ表示部302に表示された類似画像マップを視認し、904から909で指示されるようなサムネイルを、901のクエリー画像のサムネイルと見比べて、該サムネイルの配置場所をマウスでドラッグするなどの操作で変更する。
ステップS807では、変換行列計算部507は、位置ベクトルデータ(配置変更情報)を入力して次元圧縮行列を計算する。これは、ステップS704の処理を説明した際に出てきた図12の1202で指示される変換行列を、1201の位置ベクトルと1203の近似度ベクトルを元にして、求める処理となる。例えば、位置ベクトルデータが4つあった場合には、それらと新しい変換行列T’の関係は、図13の式で表わされる。これは4つの配置情報の変換式を1つにまとめた式である。
図11で例示されている類似画像マップを使って、更新された検索結果について説明する。図10において示されているように、場所を変更した画像は、B、C、E、Fである。これら4つの画像に関しては、図11においてほぼ変更した場所に近い位置に配置されている。ただし、画像Eに関しては領域外へ移動されている。また、変換行列を算出する際に勘案されなかった画像、例えば画像Aについては図11では領域に表示されていない。これは画像Aの近似度ベクトルへ新しい変換行列を適用した後の位置が原点に対して一定距離の中に出現しなったことを意味する。また、画像Dに関しては、図10の時点の位置より原点に近づいている。さらに、図11の座標平面では、新しい画像Gと画像Hが領域内に出現している。どちらも新しい変換行列によって各種特徴量毎の近似度への重みが変更された結果、よりクエリー画像に近いと判定された結果を示している。
本発明の第2の実施形態について説明する。
図8のフローチャートのステップS803において、更新なしの指示が利用者からあった場合に、配置指示部303は変換行列が確定したことを画像検索装置102の変換行列計算部507へ通知し、変換行列計算部507は、クエリー画像の各種特徴量データと、ステップS807で最終的に算出された変換行列のデータを、変換行列蓄積部510へ保存する。
第2の実施形態では、図7のフローチャートのステップS704において、第1の実施形態で主成分分析によって変換行列を求めている処理を、前述した変換行列蓄積部510に保存されている変換行列の値を利用するように変更する。
すなわち、ステップS704により生成された配置情報に従って、マップ上の所定の範囲内に所定数の検索対象画像があるか否かを判定し(画像数判定手段)、あると判定された場合には、ステップS703で算出された近似度と、ステップS704で特定された変換行列を、それぞれ図12の1203、1202に代入することで、検索対象画像をマップ上に表示する位置を示す配置情報を生成する。
第1の実施形態、及び、第2の実施形態では、利用者端末101と画像検索装置102とを別々の筐体で記載しているが、これらを合体して1つの情報処理装置として構成することが可能である。すなわち、後述する利用者端末101が備える検索クエリー部301と、配置指示部303と、マップ表示部302とが、画像検索装置102内に含めて、画像検索装置102を1つの情報処理装置として構成することができる。
102 画像検索装置
103 LAN
301 検索クエリー部
302 マップ表示部
303 配置指示部
501 画像登録部
502 特徴量抽出部
503 検索処理部
504 特徴量近似度計算部
505 次元圧縮部
506 マップ生成部
507 変換行列計算部
508 画像データベース
509 特徴量データベース
510 変換行列蓄積部
600 画像ソース
Claims (8)
- 検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像との関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置であって、
前記複数の検索対象画像を記憶する記憶手段と、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記記憶手段に記憶されている検索対象画像ごとに、前記受付手段により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出手段と、
前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成手段と、
複数の検索対象画像について前記生成手段によりそれぞれ生成された前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示手段と、
前記表示手段により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付手段と、
前記変更受付手段により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付手段により変更を受け付けた複数の検索対象画像について前記算出手段により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成手段と、
を備え、
前記生成手段は、更に、前記変換行列生成手段により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする情報処理装置。 - 前記生成手段は、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする前記第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出することで前記第1行列の各成分の値を合成して、前記第1行列の各成分の数よりも少ない数である2次元の前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする請求項1に記載の情報処理装置。
- 前記表示手段により表示された前記マップを更新する更新指示を受け付ける更新受付手段を更に備え、
前記変換行列生成手段は、前記更新受付手段により更新指示を受け付けた場合に、前記変換行列生成手段による変換行列生成処理を実行することを特徴とする請求項1又は2に記載の情報処理装置。 - 前記変換行列生成手段により生成された前記第2変換行列と、前記受付手段により受け付けた検索画像の複数種類の特徴量とを関連付けて記憶する情報記憶手段と、
前記受付手段により新たに受け付けた検索画像の複数種類の特徴量に類似する複数種類の特徴量に関連付けられて前記情報記憶手段により記憶されている前記第2変換行列を特定する特定手段と、
を更に備え、
前記生成手段は、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする前記第1行列と、前記特定手段により特定された前記第2変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を生成することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 - 前記生成手段により、前記特定手段により特定された前記第2変換行列を用いて算出された、前記マップ上の所定の範囲内の座標に配置される検索対象画像が所定数あるか否かを判定する画像数判定手段と、
前記画像数判定手段により、前記特定手段により特定された前記第2変換行列を用いて算出された、前記マップ上の所定の範囲内の座標に配置される検索対象画像が所定数あると判定された場合には、前記表示手段により、前記特定手段により特定された前記第2変換行列を用いて前記生成手段で算出された座標の位置に検索対象画像を表示するように制御し、一方、前記画像数判定手段により、前記特定手段により特定された前記第2変換行列を用いて算出された、前記マップ上の所定の範囲内の座標に配置される検索対象画像が所定数ないと判定された場合には、前記生成手段により、前記第1変換行列を用いて、前記マップ上に配置する当該検索対象画像の座標を算出し、前記表示手段により、当該算出された座標の位置に検索対象画像を表示するように制御する制御手段と、
を更に備えることを特徴とする請求項4に記載の情報処理装置。 - 前記算出手段により複数の前記検索対象画像についてそれぞれ算出された前記複数種類の特徴量ごとの各近似度に対して主成分分析を行い、前記第1変換行列を決定する決定手段を更に備えることを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
- 複数の検索対象画像を記憶する記憶手段を備え、検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像との関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置における制御方法であって、
前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、
前記情報処理装置の算出手段が、前記記憶手段に記憶されている検索対象画像ごとに、前記受付工程により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出工程と、
前記情報処理装置の生成手段が、前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出工程により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成工程と、
前記情報処理装置の表示手段が、複数の検索対象画像について前記生成工程によりそれぞれ生成された前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示工程と、
前記情報処理装置の変更受付手段が、前記表示工程により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付工程と、
前記情報処理装置の変換行列生成手段が、前記変更受付工程により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付工程により変更を受け付けた複数の検索対象画像について前記算出工程により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成工程と、
を備え、
前記生成工程は、更に、前記変換行列生成工程により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とする制御方法。 - 複数の検索対象画像を記憶する記憶手段を備え、検索画像と、当該検索画像に基づき検索される対象の画像である複数の検索対象画像との関係を示すために、2つの座標軸で構成される2次元のマップ上に、当該検索画像に基づき検索された検索対象画像を表示するための情報処理装置が読み取り実行可能なプログラムであって、
前記情報処理装置を、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記記憶手段に記憶されている検索対象画像ごとに、前記受付手段により受け付けた検索画像の複数種類の特徴量と、当該検索対象画像の複数種類の特徴量との、同一種類の特徴ごとの近似度をそれぞれ算出する算出手段と、
前記記憶手段に記憶されている検索対象画像ごとに、当該検索対象画像について前記算出手段により算出された複数種類の近似度をそれぞれ各成分の値とする第1行列と、当該第1行列の各成分の値のそれぞれに対する重み情報としての第1変換行列との積を算出して、前記マップ上に配置する当該検索対象画像の座標を算出する生成手段と、
複数の検索対象画像について前記生成手段によりそれぞれ生成された前記マップ上の座標の位置に、それぞれ当該検索対象画像を表示するべく出力する表示手段と、
前記表示手段により表示された前記マップを介して、ユーザの操作により、複数の検索対象画像の位置の変更を受け付ける変更受付手段と、
前記変更受付手段により変更を受け付けた複数の検索対象画像の変更後の座標を各成分の値とする第2行列と、前記変更受付手段により変更を受け付けた複数の検索対象画像について前記算出手段により算出された前記検索画像との各近似度をそれぞれ各成分の値とする第3行列の逆行列との積を算出して、新たな第2変換行列を生成する変換行列生成手段として機能させ、
前記生成手段は、更に、前記変換行列生成手段により生成された前記第2変換行列を用いて、前記記憶手段に記憶されている検索対象画像ごとに、前記マップ上に配置する当該検索対象画像の座標を算出することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011262567A JP5862243B2 (ja) | 2011-11-30 | 2011-11-30 | 情報処理装置、及びその制御方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011262567A JP5862243B2 (ja) | 2011-11-30 | 2011-11-30 | 情報処理装置、及びその制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013114597A JP2013114597A (ja) | 2013-06-10 |
JP5862243B2 true JP5862243B2 (ja) | 2016-02-16 |
Family
ID=48710060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011262567A Expired - Fee Related JP5862243B2 (ja) | 2011-11-30 | 2011-11-30 | 情報処理装置、及びその制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5862243B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5952226B2 (ja) * | 2013-06-26 | 2016-07-13 | 日本電信電話株式会社 | 情報処理装置、特徴量変換システム、変換ルール生成方法及び変換ルール生成プログラム |
JP6336827B2 (ja) * | 2014-06-05 | 2018-06-06 | 株式会社日立製作所 | 画像検索装置、画像検索方法および検索システム |
JP6460926B2 (ja) * | 2015-06-25 | 2019-01-30 | Kddi株式会社 | 撮影画像に写る物体を検索するシステム及び方法 |
JP7093021B2 (ja) * | 2020-01-29 | 2022-06-29 | ダイキン工業株式会社 | ノード処理装置、ノード処理方法及びプログラム |
WO2024062912A1 (ja) * | 2022-09-20 | 2024-03-28 | 富士フイルム株式会社 | 表示制御装置、表示制御装置の作動方法、および表示制御装置の作動プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3929418B2 (ja) * | 2003-05-19 | 2007-06-13 | アルトリサーチ株式会社 | 情報探索プログラム及び情報探索プログラムを記録した媒体 |
JP2008052665A (ja) * | 2006-08-28 | 2008-03-06 | Sony Computer Entertainment Inc | コンテンツ表示装置およびコンテンツ表示方法 |
US8700675B2 (en) * | 2007-02-19 | 2014-04-15 | Sony Corporation | Contents space forming apparatus, method of the same, computer, program, and storage media |
JP2009294993A (ja) * | 2008-06-06 | 2009-12-17 | Konica Minolta Holdings Inc | 関連文書抽出方法、関連文書抽出システム、及び関連文書抽出プログラム |
WO2010053160A1 (ja) * | 2008-11-07 | 2010-05-14 | 国立大学法人 北海道大学 | コンテンツ検索装置およびコンテンツ検索プログラム |
-
2011
- 2011-11-30 JP JP2011262567A patent/JP5862243B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013114597A (ja) | 2013-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7188103B2 (en) | Similarity search of three-dimensional model using two-dimensional image as search key | |
US7840076B2 (en) | Methods and apparatus for retrieving images from a large collection of images | |
JP4785598B2 (ja) | 類似形状検索装置 | |
US8606774B1 (en) | Methods and systems for 3D shape retrieval | |
Wang et al. | Affective image adjustment with a single word | |
WO2013145654A1 (en) | Information processing method to calculate a similarity between a posture model and posture data | |
JP5862243B2 (ja) | 情報処理装置、及びその制御方法、プログラム | |
US20210141826A1 (en) | Shape-based graphics search | |
US20090052787A1 (en) | Image search apparatus, image search method, and storage medium storing a program for causing a search apparatus to execute a search method | |
JP2007109136A (ja) | 画像表示制御装置 | |
JP4948607B2 (ja) | 画像検索装置、画像分類装置及び方法並びにプログラム | |
US20210224322A1 (en) | Image search system, image search method and storage medium | |
JP2011053781A (ja) | 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法 | |
JP2008102594A (ja) | コンテンツの検索方法及び検索装置 | |
JP5408241B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
Gao et al. | Pose detection of parallel robot based on improved RANSAC algorithm | |
JP5094682B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101768914B1 (ko) | 지오 태깅 방법, 지오 태깅 장치 및 이를 수행하는 프로그램을 기록하는 기록매체 | |
JP2014010640A (ja) | 画像検索装置、情報処理方法、プログラム | |
US20220414738A1 (en) | Information processing device, information processing method, and non-transitory computer readable storage medium | |
JP2010250634A (ja) | 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法 | |
KR20190106107A (ko) | 위치정보와 촬영자세를 이용한 스마트 영상의 가상현실 서비스 기술 | |
WO2021145030A1 (ja) | 映像検索システム、映像検索方法、及びコンピュータプログラム | |
KR101530355B1 (ko) | 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 | |
JP6341843B2 (ja) | 画像検索装置、及び画像検索システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141128 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5862243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |