JP6637221B1 - 検索システム、検索方法、及びプログラム - Google Patents
検索システム、検索方法、及びプログラム Download PDFInfo
- Publication number
- JP6637221B1 JP6637221B1 JP2019528789A JP2019528789A JP6637221B1 JP 6637221 B1 JP6637221 B1 JP 6637221B1 JP 2019528789 A JP2019528789 A JP 2019528789A JP 2019528789 A JP2019528789 A JP 2019528789A JP 6637221 B1 JP6637221 B1 JP 6637221B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- search
- searched
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、本発明に関わる検索システムの実施形態の例を説明する。
図1は、検索システムの全体構成を示す図である。図1に示すように、検索システム1は、サーバ10とユーザ端末20とを含む。サーバ10とユーザ端末20とは、それぞれインターネットなどのネットワークに接続可能である。なお、図1では、サーバ10とユーザ端末20とをそれぞれ1台ずつ示しているが、これらは複数台ずつあってもよい。
本実施形態の検索システム1は、入力された情報を分類するための学習器を記憶し、学習器に入力された入力情報の分類結果に基づいて、複数の被検索情報の中から、入力情報と類似する情報を検索する。
図2は、検索システム1において実現される機能の一例を示す機能ブロック図である。図2に示すように、検索システム1では、データ記憶部100、学習部101、格納部102、入力部103、検索部104、及び表示制御部105が実現される場合を説明する。なお、本実施形態では、検索に係る主な機能がサーバ10で実現される場合を説明するが、後述する変形例のように、サーバ10とユーザ端末20との間で機能が分担されてもよい。
データ記憶部100は、記憶部12を主として実現される。データ記憶部100は、類似画像検索を実行するために必要なデータを記憶する。ここでは、データ記憶部100が、学習器Lと、データベース群と、を記憶する場合を説明する。
学習器Lは、入力された情報の特徴量を計算し、当該特徴量に基づいて、当該情報の分類結果を出力する。本実施形態では、被検索情報が被検索画像であり、入力情報が入力画像なので、学習器Lは、入力された画像の特徴量を計算し、当該画像に含まれるオブジェクトの分類結果を出力する。学習器Lには、入力画像と被検索画像の両方が入力されるので、上記入力された画像とは、入力画像を意味することもあるし、被検索画像を意味することもある。
データベース群は、分類ごとに、当該分類の被検索画像の特徴ベクトルが格納されたデータベースDBを含む。分類とデータベースDBとは、1対1の関係にあり、分類の数だけデータベースDBが存在する。別の言い方をすれば、本実施形態では、複数の分類が1つのデータベースDBにまとめられているのではなく、分類ごとにデータベースDBが分割されている。本実施形態では、学習器Lにm種類の分類が学習されているので、データベースDBもm個存在することになる。
学習部101は、制御部11を主として実現される。学習部101は、教師データに基づいて、複数の分類の各々に属する情報の特徴を学習器Lに学習させる。本実施形態では、類似画像検索が実行されるので、学習部101は、教師データに基づいて、複数の分類の各々に属するオブジェクトの特徴を学習器Lに学習させることになる。
格納部102は、制御部11を主として実現される。格納部102は、分類ごとに用意されたデータベースDBのうち、学習器Lに入力済みの被検索画像の分類に応じたデータベースDBに、当該被検索画像の特徴ベクトル及びスコアの少なくとも一方を格納する。
入力部103は、制御部11を主として実現される。入力部103は、学習器Lに対し、入力画像を入力する。入力画像は、ユーザ端末20からサーバ10に送信されるので、サーバ10がユーザ端末20から入力画像を受信すると、入力部103は、当該入力画像を学習器Lに入力する。本実施形態では、学習器Lの一例として、畳み込みニューラルネットワークを説明するので、入力部103は、学習器Lの入力層に対し、入力画像を入力することになる。
検索部104は、制御部11を主として実現される。検索部104は、分類ごとに用意されたデータベースDBのうち、学習器Lから出力された入力情報の分類結果に応じたデータベースDBに基づいて、特徴ベクトル及びスコアの少なくとも一方が入力情報と類似する被検索情報を検索する。本実施形態では、類似画像検索が実行されるので、検索部104は、特徴ベクトル及びスコアの少なくとも一方が入力画像と類似する被検索画像を検索することになる。
表示制御部105は、制御部11を主として実現される。表示制御部105は、検索部104により検索された被検索画像に関連付けて、当該被検索画像のボックス情報を表示させる。本実施形態では、サーバ10によって表示制御部105が実現されるので、例えば、表示制御部105は、検索部104により検索された被検索画像の画像データをユーザ端末20に送信することによって、被検索画像をユーザ端末20の表示部25に表示させる。
図8は、検索システム1において実行される処理の一例を示すフロー図である。図8に示す処理は、制御部11が記憶部12に記憶されたプログラムに従って動作し、制御部21が記憶部22に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図2に示す機能ブロックにより実行される処理の一例である。
なお、実施形態1に係る発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
次に、検索システム1の別実施形態を説明する。実施形態1では、ボックス情報は、検索結果画面G2においてバウンディングボックスを表示させるために用いられたが、ボックス情報は、類似画像検索で用いられてもよい。
実施形態2の機能ブロックは、実施形態1と同様である。ただし、各機能の詳細は、実施形態1と異なる部分を含む。
実施形態2のデータ記憶部100は、実施形態1で説明したデータ記憶部100と同様であってもよい。例えば、データ記憶部100は、学習器Lと、データベース群と、を記憶する。なお、実施形態2では、分類ごとにデータベースDBを用意する構成(分類に応じてデータベースDBを分割する構成)は採用しなくてもよく、複数の分類で1つのデータベースDBとしてもよい。このため、実施形態2では、複数の分類の各々の被検索画像の特徴ベクトル等が、1つのデータベースDBに格納されていてもよい。この場合、検索部104が、入力画像の分類に応じたデータベースDBを参照する処理は省略される。
実施形態2の学習部101は、実施形態1で説明した学習部101と同様であってもよい。例えば、教師データには、情報と、第1の分析結果及び第2の分析結果の各々の正解と、の関係が定義されており、学習部101は、教師データに基づいて、学習器Lを学習させる。例えば、学習部101は、教師データが示す第1の分析結果の正解を得るように、第1の出力層の第1の計算式の係数を調整し、教師データが示す第2の分析結果の正解を得るように、第2の出力層の第2の計算式の係数を調整する。
実施形態2の格納部102は、実施形態1で説明した格納部102と同様であってもよく、学習器Lに入力済みの被検索画像の特徴ベクトルをデータベースDBに格納する。なお、先述したように、実施形態2では、データベースDBは分類ごとに分割されていなくてもよいので、この場合、特徴ベクトルを格納するデータベースDBを決定する処理は省略される。
実施形態2の入力部103は、実施形態1で説明したデータ記憶部100と同様であってよく、学習器Lに対し、入力画像を入力する。
実施形態2の検索部104は、データベースDBに基づいて、特徴ベクトルが入力情報と類似する被検索情報を検索する。実施形態2では、類似画像検索が実行されるので、検索部104は、特徴ベクトルが入力画像と類似する被検索画像を検索することになる。
実施形態2の表示制御部105は、実施形態1で説明した表示制御部105と同様であってもよい。例えば、表示制御部105は、検索部104により検索された被検索画像に関連付けて、当該被検索画像のボックス情報を表示させてもよい。また例えば、表示制御部105は、入力画像に関連付けて、入力画像の位置情報を表示させてもよい。これらの処理は、実施形態1で説明した通りである。
図12は、検索システム1において実行される処理の一例を示すフロー図である。図12に示す処理は、制御部11が記憶部12に記憶されたプログラムに従って動作し、制御部21が記憶部22に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図12に示す機能ブロックにより実行される処理の一例である。
なお、実施形態2に係る発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
Claims (29)
- 入力された情報の特徴量を計算し、当該特徴量に基づいて、第1の観点における当該情報の第1の分析結果と、第2の観点における当該情報の第2の分析結果と、を出力する学習器と、
前記学習器に入力済みの被検索情報の前記特徴量をデータベースに格納する格納手段と、
前記学習器に対し、入力情報を入力する入力手段と、
前記データベースに基づいて、前記第1の分析結果が前記入力情報と類似する被検索情報を検索し、当該検索した被検索情報の中から、前記特徴量が前記入力情報と類似する被検索情報を検索する検索手段と、
を含むことを特徴とする検索システム。 - 前記学習器は、中間層、第1の出力層、及び第2の出力層を含み、
前記中間層は、前記第1の出力層と前記第2の出力層とに分岐する前に配置され、前記特徴量を計算し、
前記第1の出力層は、分岐前の前記中間層により計算された前記特徴量に基づいて、前記第1の分析結果を出力し、
前記第2出力層は、分岐前の前記中間層により計算された前記特徴量に基づいて、前記第2の分析結果を出力する、
ことを特徴とする請求項1に記載の検索システム。 - 前記検索手段は、前記第1の分析結果が前記入力情報と類似する被検索情報の中から、前記第2の分析結果が前記入力情報と類似する被検索情報を検索し、当該検索した被検索情報の中から、前記特徴量が前記入力情報と類似する被検索情報を検索する、
ことを特徴とする請求項1又は2に記載の検索システム。 - 入力された情報の特徴量を計算し、当該特徴量に基づいて、第1の観点における当該情報の分類結果である第1の分析結果と、第2の観点における当該情報の第2の分析結果と、を出力する学習器と、
分類ごとに用意されたデータベースのうち、前記学習器に入力済みの被検索情報の分類に応じたデータベースに、当該被検索情報の前記特徴量をデータベースに格納する格納手段と、
前記学習器に対し、入力情報を入力する入力手段と、
分類ごとに用意された前記データベースのうち、前記入力情報の分類結果に応じたデータベースに基づいて、前記特徴量が前記入力情報と類似する被検索情報を検索する検索手段と、
を含むことを特徴とする検索システム。 - 前記学習器は、前記特徴量として、特徴ベクトルを計算し、
前記検索手段は、前記データベースに格納された被検索情報の特徴ベクトルと、前記入力情報の特徴ベクトルと、の距離に基づいて検索を行う、
ことを特徴とする請求項1〜4の何れかに記載の検索システム。 - 前記格納手段は、前記学習器から出力された前記被検索情報の分類結果に応じたデータベースに、当該被検索情報を格納する、
ことを特徴とする請求項4に記載の検索システム。 - 前記学習器は、前記分類結果として、分類ごとの蓋然性を出力し、
前記格納手段は、前記学習器から出力された前記被検索情報の蓋然性が閾値以上である分類のデータベースに、前記被検索画像を格納する、
ことを特徴とする請求項6に記載の検索システム。 - 前記学習器は、前記分類結果として、分類ごとの蓋然性を出力し、
前記検索手段は、前記学習器から出力された前記入力情報の蓋然性が閾値以上である分類のデータベースに基づいて検索を行う、
ことを特徴とする請求項4、6、又は7に記載の検索システム。 - 前記検索手段は、前記入力情報の分類結果に応じたデータベースが複数ある場合に、当該複数のデータベースの各々に基づいて、前記特徴量が前記入力情報と類似する被検索情報の候補を検索し、当該候補の中から絞り込みを行う、
ことを特徴とする請求項4、6、7、又は8に記載の検索システム。 - 前記検索システムは、
前記入力情報の前記特徴量と、前記検索手段により検索された被検索情報の前記特徴量と、に基づく類似度を取得する類似度取得手段と、
前記検索手段により検索された被検索情報に関連付けて、前記類似度を表示させる表示制御手段と、
を更に含むことを特徴とする請求項1〜9の何れかに記載の検索システム。 - 入力された画像の特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器と、
前記学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納手段と、
前記学習器に対し、入力画像を入力する入力手段と、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段と、
を含み、
前記学習器は、前記入力画像に含まれるオブジェクトを示す領域の前記特徴量を計算し、当該領域の前記第1の分析結果と前記第2の分析結果とを出力し、
前記学習器は、互いに重複する複数の前記領域が前記入力画像に含まれる場合には、前記第1の分析結果及び前記第2の分析結果の少なくとも一方の蓋然性が最も高い領域の前記特徴量に基づいて、当該領域の前記第1の分析結果と前記第2の分析結果とを出力する、
ことを特徴とする検索システム。 - 入力された画像の特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器と、
前記学習器に入力済みの被検索画像に含まれるオブジェクトを示す領域の前記特徴量をデータベースに格納する格納手段と、
前記学習器に対し、入力画像を入力する入力手段と、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段と、
を含み、
前記格納手段は、互いに重複する複数の前記領域が前記被検索画像に含まれる場合には、前記第1の分析結果及び前記第2の分析結果の少なくとも一方の蓋然性が最も高い領域の前記特徴量を格納する、
ことを特徴とする検索システム。 - 入力された画像の特徴量を計算し、当該画像に含まれるオブジェクトの分類結果である第1の分析結果と、当該オブジェクトの位置に関する位置情報である第2の分析結果と、を出力する学習器と、
前記学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納手段と、
前記学習器に対し、入力画像を入力する入力手段と、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段と、
前記検索手段により検索された被検索画像に関連付けて、当該被検索画像の前記位置情報を表示させる表示制御手段と、
を含むことを特徴とする検索システム。 - 入力された画像の特徴量を計算し、当該画像に含まれるオブジェクトの分類結果である第1の分析結果と、当該オブジェクトの位置に関する位置情報である第2の分析結果と、を出力する学習器と、
前記学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納手段と、
前記学習器に対し、入力画像を入力する入力手段と、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段と、
前記入力画像に関連付けて、前記入力画像の前記位置情報を表示させる表示制御手段と、
を含むことを特徴とする検索システム。 - 入力された画像に複数のオブジェクトが含まれる場合に、オブジェクトごとに、特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器と、
前記学習器に入力済みの被検索画像であって、複数のオブジェクトを含む被検索画像の前記特徴量をデータベースに格納する格納手段と、
前記学習器に対し、複数のオブジェクトを含む入力画像を入力する入力手段と、
前記データベースに基づいて、一部のオブジェクトの前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段と、
を含むことを特徴とする検索システム。 - コンピュータが、
入力された情報の特徴量を計算し、当該特徴量に基づいて、第1の観点における当該情報の第1の分析結果と、第2の観点における当該情報の第2の分析結果と、を出力する学習器に入力済みの被検索情報の前記特徴量をデータベースに格納する格納ステップと、
前記学習器に対し、入力情報を入力する入力ステップと、
前記データベースに基づいて、前記第1の分析結果が前記入力情報と類似する被検索情報を検索し、当該検索した被検索情報の中から、前記特徴量が前記入力情報と類似する被検索情報を検索する検索ステップと、
を実行することを特徴とする検索方法。 - 入力された情報の特徴量を計算し、当該特徴量に基づいて、第1の観点における当該情報の分類結果である第1の分析結果と、第2の観点における当該情報の第2の分析結果と、を出力する学習器を利用した検索方法であって、コンピュータが、
分類ごとに用意されたデータベースのうち、前記学習器に入力済みの被検索情報の分類に応じたデータベースに、当該被検索情報の前記特徴量をデータベースに格納する格納ステップと、
前記学習器に対し、入力情報を入力する入力ステップと、
分類ごとに用意された前記データベースのうち、前記入力情報の分類結果に応じたデータベースに基づいて、前記特徴量が前記入力情報と類似する被検索情報を検索する検索ステップと、
を実行することを特徴とする検索方法。 - コンピュータが、
入力された画像の特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納ステップと、
前記学習器に対し、入力画像を入力する入力ステップと、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索ステップと、
を実行し、
前記学習器は、前記入力画像に含まれるオブジェクトを示す領域の前記特徴量を計算し、当該領域の前記第1の分析結果と前記第2の分析結果とを出力し、
前記学習器は、互いに重複する複数の前記領域が前記入力画像に含まれる場合には、前記第1の分析結果及び前記第2の分析結果の少なくとも一方の蓋然性が最も高い領域の前記特徴量に基づいて、当該領域の前記第1の分析結果と前記第2の分析結果とを出力する、
ことを特徴とする検索方法。 - コンピュータが、
入力された画像の特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器に入力済みの被検索画像に含まれるオブジェクトを示す領域の前記特徴量をデータベースに格納する格納ステップと、
前記学習器に対し、入力画像を入力する入力ステップと、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索ステップと、
を実行し、
前記格納ステップは、互いに重複する複数の前記領域が前記被検索画像に含まれる場合には、前記第1の分析結果及び前記第2の分析結果の少なくとも一方の蓋然性が最も高い領域の前記特徴量を格納する、
ことを特徴とする検索方法。 - コンピュータが、
入力された画像の特徴量を計算し、当該画像に含まれるオブジェクトの分類結果である第1の分析結果と、当該オブジェクトの位置に関する位置情報である第2の分析結果と、を出力する学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納ステップと、
前記学習器に対し、入力画像を入力する入力ステップと、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索ステップと、
前記検索ステップにより検索された被検索画像に関連付けて、当該被検索画像の前記位置情報を表示させる表示制御ステップと、
を実行することを特徴とする検索方法。 - コンピュータが、
入力された画像の特徴量を計算し、当該画像に含まれるオブジェクトの分類結果である第1の分析結果と、当該オブジェクトの位置に関する位置情報である第2の分析結果と、を出力する学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納ステップと、
前記学習器に対し、入力画像を入力する入力ステップと、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索ステップと、
前記入力画像に関連付けて、前記入力画像の前記位置情報を表示させる表示制御ステップと、
を実行することを特徴とする検索方法。 - コンピュータが、
入力された画像に複数のオブジェクトが含まれる場合に、オブジェクトごとに、特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器に入力済みの被検索画像であって、複数のオブジェクトを含む被検索画像の前記特徴量をデータベースに格納する格納ステップと、
前記学習器に対し、複数のオブジェクトを含む入力画像を入力する入力ステップと、
前記データベースに基づいて、一部のオブジェクトの前記特徴量が前記入力画像と類似する被検索画像を検索する検索ステップと、
を実行することを特徴とする検索方法。 - 入力された情報の特徴量を計算し、当該特徴量に基づいて、第1の観点における当該情報の第1の分析結果と、第2の観点における当該情報の第2の分析結果と、を出力する学習器に入力済みの被検索情報の前記特徴量をデータベースに格納する格納手段、
前記学習器に対し、入力情報を入力する入力手段、
前記データベースに基づいて、前記第1の分析結果が前記入力情報と類似する被検索情報を検索し、当該検索した被検索情報の中から、前記特徴量が前記入力情報と類似する被検索情報を検索する検索手段、
としてコンピュータを機能させるためのプログラム。 - 入力された情報の特徴量を計算し、当該特徴量に基づいて、第1の観点における当該情報の分類結果である第1の分析結果と、第2の観点における当該情報の第2の分析結果と、を出力する学習器を利用可能なコンピュータを、
分類ごとに用意されたデータベースのうち、前記学習器に入力済みの被検索情報の分類に応じたデータベースに、当該被検索情報の前記特徴量をデータベースに格納する格納手段、
前記学習器に対し、入力情報を入力する入力手段、
分類ごとに用意された前記データベースのうち、前記入力情報の分類結果に応じたデータベースに基づいて、前記特徴量が前記入力情報と類似する被検索情報を検索する検索手段、
として機能させるためのプログラム。 - 入力された画像の特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納手段、
前記学習器に対し、入力画像を入力する入力手段、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段、
としてコンピュータを機能させるためのプログラムであって、
前記学習器は、前記入力画像に含まれるオブジェクトを示す領域の前記特徴量を計算し、当該領域の前記第1の分析結果と前記第2の分析結果とを出力し、
前記学習器は、互いに重複する複数の前記領域が前記入力画像に含まれる場合には、前記第1の分析結果及び前記第2の分析結果の少なくとも一方の蓋然性が最も高い領域の前記特徴量に基づいて、当該領域の前記第1の分析結果と前記第2の分析結果とを出力する、
プログラム。 - 入力された画像の特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器に入力済みの被検索画像に含まれるオブジェクトを示す領域の前記特徴量をデータベースに格納する格納手段、
前記学習器に対し、入力画像を入力する入力手段、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段、
としてコンピュータを機能させるためのプログラムであって、
前記格納手段は、互いに重複する複数の前記領域が前記被検索画像に含まれる場合には、前記第1の分析結果及び前記第2の分析結果の少なくとも一方の蓋然性が最も高い領域の前記特徴量を格納する、
プログラム。 - 入力された画像の特徴量を計算し、当該画像に含まれるオブジェクトの分類結果である第1の分析結果と、当該オブジェクトの位置に関する位置情報である第2の分析結果と、を出力する学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納手段、
前記学習器に対し、入力画像を入力する入力手段、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段、
前記検索手段により検索された被検索画像に関連付けて、当該被検索画像の前記位置情報を表示させる表示制御手段、
としてコンピュータを機能させるためのプログラム。 - 入力された画像の特徴量を計算し、当該画像に含まれるオブジェクトの分類結果である第1の分析結果と、当該オブジェクトの位置に関する位置情報である第2の分析結果と、を出力する学習器に入力済みの被検索画像の前記特徴量をデータベースに格納する格納手段、
前記学習器に対し、入力画像を入力する入力手段、
前記データベースに基づいて、前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段、
前記入力画像に関連付けて、前記入力画像の前記位置情報を表示させる表示制御手段、
としてコンピュータを機能させるためのプログラム。 - 入力された画像に複数のオブジェクトが含まれる場合に、オブジェクトごとに、特徴量を計算し、第1の観点で当該画像の特徴を分析した第1の分析結果と、第2の観点で当該画像の特徴を分析した第2の分析結果と、を出力する学習器に入力済みの被検索画像であって、複数のオブジェクトを含む被検索画像の前記特徴量をデータベースに格納する格納手段、
前記学習器に対し、複数のオブジェクトを含む入力画像を入力する入力手段、
前記データベースに基づいて、一部のオブジェクトの前記特徴量が前記入力画像と類似する被検索画像を検索する検索手段、
としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/023458 WO2019244277A1 (ja) | 2018-06-20 | 2018-06-20 | 検索システム、検索方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6637221B1 true JP6637221B1 (ja) | 2020-01-29 |
JPWO2019244277A1 JPWO2019244277A1 (ja) | 2020-06-25 |
Family
ID=68982854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019528789A Active JP6637221B1 (ja) | 2018-06-20 | 2018-06-20 | 検索システム、検索方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11899722B2 (ja) |
EP (1) | EP3751424A4 (ja) |
JP (1) | JP6637221B1 (ja) |
WO (1) | WO2019244277A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11947593B2 (en) * | 2018-09-28 | 2024-04-02 | Sony Interactive Entertainment Inc. | Sound categorization system |
US11100145B2 (en) * | 2019-09-11 | 2021-08-24 | International Business Machines Corporation | Dialog-based image retrieval with contextual information |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256427A (ja) * | 2002-02-27 | 2003-09-12 | Fuji Xerox Co Ltd | 画像検索装置 |
WO2004084096A1 (ja) * | 2003-03-19 | 2004-09-30 | Fujitsu Limited | 事例分類装置および方法 |
JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
WO2011070832A1 (ja) * | 2009-12-09 | 2011-06-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 検索キーワードから文書データを検索する方法、並びにそのコンピュータ・システム及びコンピュータ・プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101582142B1 (ko) | 2008-06-06 | 2016-01-05 | 톰슨 라이센싱 | 이미지들의 유사성 검색을 위한 시스템 및 방법 |
US8352494B1 (en) | 2009-12-07 | 2013-01-08 | Google Inc. | Distributed image search |
GB2532075A (en) * | 2014-11-10 | 2016-05-11 | Lego As | System and method for toy recognition and detection based on convolutional neural networks |
WO2017101036A1 (en) * | 2015-12-16 | 2017-06-22 | Intel Corporation | Fully convolutional pyramid networks for pedestrian detection |
JP6638484B2 (ja) * | 2016-03-10 | 2020-01-29 | 富士通株式会社 | 情報処理装置、類似検索プログラム、及び類似検索方法 |
CN106469299B (zh) * | 2016-08-31 | 2019-07-19 | 北京邮电大学 | 一种车辆搜索方法及装置 |
EP3300002A1 (en) * | 2016-09-22 | 2018-03-28 | Styria medijski servisi d.o.o. | Method for determining the similarity of digital images |
US11537719B2 (en) * | 2018-05-18 | 2022-12-27 | Deepmind Technologies Limited | Deep neural network system for similarity-based graph representations |
US11176403B1 (en) * | 2018-09-06 | 2021-11-16 | Amazon Technologies, Inc. | Filtering detected objects from an object recognition index according to extracted features |
-
2018
- 2018-06-20 JP JP2019528789A patent/JP6637221B1/ja active Active
- 2018-06-20 US US16/971,292 patent/US11899722B2/en active Active
- 2018-06-20 WO PCT/JP2018/023458 patent/WO2019244277A1/ja active Application Filing
- 2018-06-20 EP EP18923590.6A patent/EP3751424A4/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256427A (ja) * | 2002-02-27 | 2003-09-12 | Fuji Xerox Co Ltd | 画像検索装置 |
WO2004084096A1 (ja) * | 2003-03-19 | 2004-09-30 | Fujitsu Limited | 事例分類装置および方法 |
JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
WO2011070832A1 (ja) * | 2009-12-09 | 2011-06-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 検索キーワードから文書データを検索する方法、並びにそのコンピュータ・システム及びコンピュータ・プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019244277A1 (ja) | 2020-06-25 |
EP3751424A4 (en) | 2021-05-05 |
US11899722B2 (en) | 2024-02-13 |
US20200394447A1 (en) | 2020-12-17 |
EP3751424A1 (en) | 2020-12-16 |
WO2019244277A1 (ja) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105144239B (zh) | 图像处理装置、图像处理方法 | |
CN102483767B (zh) | 对象关联装置、对象关联方法、程序及记录介质 | |
CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
Subramaniyaswamy et al. | Intelligent travel recommendation system by mining attributes from community contributed photos | |
KR102177412B1 (ko) | 이미지와 텍스트간 유사도 매칭 시스템 및 방법 | |
JP6764992B2 (ja) | 検索システム、検索方法、及びプログラム | |
CN102054178A (zh) | 一种基于局部语义概念的国画图像识别方法 | |
JP6639743B1 (ja) | 検索システム、検索方法、及びプログラム | |
CN106845513B (zh) | 基于条件随机森林的人手检测器及方法 | |
Wang et al. | CLARE: A joint approach to label classification and tag recommendation | |
Sumbul et al. | Informative and representative triplet selection for multilabel remote sensing image retrieval | |
JP2014093058A (ja) | 画像管理装置、画像管理方法、プログラム及び集積回路 | |
JP5671224B2 (ja) | 画像処理装置、画像処理方法 | |
JP6637221B1 (ja) | 検索システム、検索方法、及びプログラム | |
Feng et al. | Urban zoning using higher-order markov random fields on multi-view imagery data | |
Ko et al. | Human action recognition in still images using action poselets and a two-layer classification model | |
CN114708449B (zh) | 相似视频的确定方法、实例表征模型的训练方法及设备 | |
Sassi et al. | Neural approach for context scene image classification based on geometric, texture and color information | |
Meena et al. | Hybrid neural network architecture for multi-label object recognition using feature fusion | |
Pang et al. | Fall event detection with global and temporal local information in real-world videos | |
CN112348117B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
Srivastava | Mapping of urban landuse and landcover with multiple sensors: Joining close and remote sensing with deep learning | |
CN117156078B (zh) | 一种视频数据处理方法、装置、电子设备及存储介质 | |
Juliet | Image-Based Bird Species Identification Using Machine Learning | |
EP4290478A1 (en) | Method for processing image acquired from imaging device linked with computing device, and system using same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190528 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190528 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6637221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |