JP6904430B2 - 情報処理装置、制御方法、及びプログラム - Google Patents
情報処理装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6904430B2 JP6904430B2 JP2019551783A JP2019551783A JP6904430B2 JP 6904430 B2 JP6904430 B2 JP 6904430B2 JP 2019551783 A JP2019551783 A JP 2019551783A JP 2019551783 A JP2019551783 A JP 2019551783A JP 6904430 B2 JP6904430 B2 JP 6904430B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- feature
- query image
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
<情報処理装置2000の動作の概要>
図1から図5は、実施形態1に係る情報処理装置(後述する図2などに示す情報処理装置2000)の動作を概念的に説明するための図である。なお図1から図5は、情報処理装置2000の動作の理解を容易にすることを目的とする例示のための図であり、情報処理装置2000の動作は図1によって何ら限定されない。
本実施形態の情報処理装置2000によれば、クエリ画像10内の各特徴点40について、その特徴点40を含むと推定されるオブジェクト画像が特定される。さらに、特徴点40とオブジェクト画像との対応関係に基づいて、クエリ画像10から、オブジェクトを含むと推定されるオブジェクト領域が、そのオブジェクト領域に含まれると推定されるオブジェクトのオブジェクト画像に対応づけて特定される。そして、オブジェクト領域と、そのオブジェクト領域に対応づけられたオブジェクト画像とを照合することにより、オブジェクト領域に含まれるオブジェクトが特定される。
図6は、実施形態1に係る情報処理装置2000の機能構成の例を示すブロック図である。情報処理装置2000は、特徴点検出部2020、特定部2040、抽出部2060、及び照合部2080を有する。特徴点検出部2020は、クエリ画像10から複数の特徴点40を検出する。特定部2040は、特徴点40ごとに、その特徴点40を含むと推定される1つ以上のオブジェクト画像を特定する。抽出部2060は、上記特定の結果に基づき、オブジェクト領域50を、そのオブジェクト領域50に含まれると推定されるオブジェクトのオブジェクト画像と対応づけて抽出する。照合部2080は、オブジェクト領域50と、そのオブジェクト領域50に対応付けられたオブジェクト画像とを照合することで、そのオブジェクト領域50に含まれるオブジェクトを特定する。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
情報処理装置2000は、「カメラによって複数のオブジェクトを同時に撮像し、その撮像によって得られた撮像画像(クエリ画像10)を画像解析することで各オブジェクトを特定する」ということが有用な場面で利用ができる。以下、情報処理装置2000の利用例をいくつか例示する。
一般に、コンビニエンスストアやスーパーマーケットなどの店舗で顧客が商品を購入する際、レジ端末(POS 端末)がその商品を認識して、その商品を精算対象として登録する。ここで、商品を認識する手法の一つとして、レジ端末に設けられたカメラで商品を撮像し、生成された撮像画像を解析することで、撮像画像に含まれる商品を特定するという手法がある。
店舗では、商品棚などの陳列場所に商品が陳列される。一般に、陳列場所における商品の陳列は、一定のルールに従って行われる。ところが、商品を陳列する作業を行う人が誤った場所に商品を陳列したり、顧客によって商品が動かされたりすることで、商品の陳列状況がルールに従っていない事態が生じうる。
物流の現場などで商品の出荷を行う際、商品の検品が行われる。例えば、出荷しようとしている商品が出荷対象の商品と一致しているか否か、及びその商品の数が出荷すべき数に一致しているか否かのチェックが行われる。なお、商品の納入の際にも同様のチェックが行われうる。
図8は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。特徴点検出部2020は、クエリ画像10を取得する(S102)。特徴点検出部2020は、クエリ画像10から複数の特徴点を検出する(S104)。特定部2040は、特徴点40ごとに、その特徴点40を含むと推定される1つ以上のオブジェクト画像を特定する(S106)。抽出部2060は、上記特定の結果に基づき、オブジェクト領域50を、そのオブジェクト領域50に含まれると推定されるオブジェクトのオブジェクト画像と対応づけて抽出する(S108)。照合部2080は、オブジェクト領域50と、そのオブジェクト領域50に対応付けられたオブジェクト画像とを照合することで、そのオブジェクト領域50に含まれるオブジェクトを特定する(S110)。
特徴点検出部2020はクエリ画像10を取得する。クエリ画像10は、複数のオブジェクトをカメラで撮像することで生成される画像である。なお、クエリ画像10を生成するカメラは、静止画を生成するスチルカメラであってもよいし、動画を生成するビデオカメラであってもよい。後者の場合、クエリ画像10は、ビデオカメラによって生成される動画を構成する動画フレームのうちの1つである。
特徴点検出部2020はクエリ画像10から複数の特徴点40を算出する。この際、特徴点検出部2020は、各特徴点40について局所特徴量を算出する。ここで、画像から特徴点を検出する手法、及び特徴点の局所特徴量を算出する手法には、既存の手法を利用することができる。
特定部2040は特徴点40ごとに、その特徴点40が含まれると推定される1つ以上のオブジェクト画像を特定する(S106)。特徴点40を含むと推定されるオブジェクト画像の特定には、特徴点40の局所特徴量と、オブジェクト画像内の特徴点の局所特徴量とが利用される。前述したように、オブジェクト画像内の各特徴点の局所特徴量は、オブジェクト情報に示されている。
例えば特定部2040は、近似最近傍探索(Approximate Nearest Neighbor Search)を利用する。近似最近傍探索を実現する方法には、例えば、階層的なクラスタリング及び逆インデックスを利用する手法や、LSH(Locality Sensitive Hashing)などを利用する方法がある。これらの手法は既知の手法であるため、その具体的な手法の説明は省略する。以下では、単純なインデックステーブルを利用する例を挙げて、特徴点40を含むと推定されるオブジェクト画像を特定する方法を説明する。
特定部2040は、特徴点40の局所特徴量と、オブジェクト情報が示す局所特徴量(各オブジェクト画像の局所特徴量)とを比較する。この際、特定部2040は、特徴点40の局所特徴量と、オブジェクト情報が示す局所特徴量とを完全に比較するのではなく、ある程度簡略化して比較を行う。
抽出部2060は、オブジェクト領域50を、そのオブジェクト領域50に含まれると推定されるオブジェクトのオブジェクト画像と対応づけて抽出する(S108)。そのために、抽出部2060は、特徴点40に対応するオブジェクト画像(特徴点40を含むと推定されたオブジェクト画像)の画像識別子を、特徴点40に対応するクエリ画像10上の画像位置に対応づける。以下、オブジェクト画像の画像識別子をクエリ画像10上の画像位置に対応づけることを、「投票する」とも表記する。また、画像識別子が投票される、特徴点40に対応するクエリ画像10上の画像位置を、「特徴点40に対応する投票位置」とも表記する。
抽出部2060は、空間的クラスタリングを利用して、投票位置を画像識別子ごとにクラスタリングする。その結果、抽出部2060は、クエリ画像10から、「画像識別子、その画像識別子が投票された各投票位置を含む画像領域(以下、クラスタ領域)、投票数」という組み合わせを画像識別子ごとに得ることができる。なお、同一の画像識別子が離れた位置に投票されている場合、これらは別のクラスタとしてクラスタリングされる。すなわち、1つの画像識別子について、複数のクラスタが作成されうる。
投票位置の重みについて説明する。抽出部2060は、特徴点40に対応する投票位置に対してオブジェクト画像の画像識別子を投票する際に、その投票位置に対するその画像識別子の重みを定めてもよい。特徴点40に対応する投票位置における画像識別子の重みには、その画像識別子を持つオブジェクト画像にその特徴点40が含まれる確度が反映されるようにする。
抽出部2060は、クエリ画像10を複数のブロックに分割し、そのブロックを利用してオブジェクト領域50の抽出を行う。具体的には抽出部2060は、各ブロックに含まれる投票位置に基づいて、各ブロックの投票数を算出する。例えば抽出部2060は、或るブロック内に存在する投票位置の数を、そのブロックの投票数とする。その他にも例えば、前述した方法で投票位置に重みを付す場合、抽出部2060は、ブロック内に存在する各投票位置の重みの合計値を、そのブロックの投票数としてもよい。ここで、投票数は画像識別子ごとに算出される。
前述したように、抽出部2060は、「特徴点40と所定の関係にある他の位置」を特徴点40に対応する投票位置として扱ってもよい。例えば抽出部2060は、特徴点40に対応する投票位置を、その特徴点40を含むと推定されるオブジェクト画像で定められている参照位置に基づいて決定する。
照合部2080は、オブジェクト領域50を1つ以上のオブジェクト画像と照合することで、オブジェクト領域50に含まれるオブジェクトを特定する。ここで、オブジェクト領域50との照合に利用するオブジェクト画像は、そのオブジェクト領域50に対応づけられた画像識別子を持つオブジェクト画像である。なお、オブジェクト領域50とオブジェクト画像との照合は、オブジェクト領域50に含まれる各特徴点40の局所特徴量と、対応するオブジェクト画像に含まれる各特徴点の局所特徴量とを比較することで行われる。なお、局所特徴量を比較して画像を照合する技術には、既存の技術を利用することができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
複数のオブジェクトが含まれるクエリ画像を取得し、前記取得したクエリ画像から複数の特徴点を検出する特徴点検出手段と、
前記特徴点ごとに、その特徴点を含むと推定される1つ以上のオブジェクト画像を特定する特定手段と、
前記特定の結果に基づき、前記クエリ画像においてオブジェクトが含まれると推定されるオブジェクト領域を、そのオブジェクト領域に含まれると推定されるオブジェクトのオブジェクト画像と対応づけて抽出する抽出手段と、
前記オブジェクト領域と、そのオブジェクト領域と対応づけられた前記オブジェクト画像とを照合して、前記オブジェクト領域に含まれるオブジェクトを特定する照合手段と、
を有する情報処理装置。
2.
前記特定手段は、或る前記オブジェクト画像に含まれる特徴点の局所特徴量が、前記クエリ画像内の特徴点の局所特徴量と近似する場合に、そのオブジェクト画像を、前記クエリ画像内のその特徴点を含むと推定されるオブジェクト画像として特定する、1.に記載の情報処理装置。
3.
前記特定手段は、前記オブジェクト画像に含まれる特徴点のうちの一部について、その特徴点の局所特徴量と、前記クエリ画像内の特徴点の局所特徴量との近似度合いを算出する、2.に記載の情報処理装置。
4.
前記特定手段は、前記オブジェクト画像に含まれる特徴点の局所特徴量を構成するベクトルの一部と、前記クエリ画像内の特徴点の局所特徴量を構成するベクトルの一部との距離値を前記近似度合いとして算出する、3.に記載の情報処理装置。
5.
各前記オブジェクト画像の画像識別子は、そのオブジェクト画像に含まれる各特徴点の局所特徴量を用いて算出されたインデックス値と対応づけられて記憶装置に記憶されており、
前記特定手段は、前記クエリ画像内の特徴点の局所特徴量からインデックス値を算出し、そのインデックス値と対応づけて記憶されている前記画像識別子を持つオブジェクト画像を、その特徴点を含むと推定される前記オブジェクト画像として特定する、1.又は2.に記載の情報処理装置。
6.
前記抽出手段は、前記クエリ画像内の前記特徴点に対応する画像位置をその特徴点の投票位置として、その投票位置に対し、その特徴点を含むと推定された前記オブジェクト画像を対応付け、同一の前記オブジェクト画像が対応づけられた投票位置を所定数以上含む前記クエリ画像内の画像領域を、そのオブジェクトに対応する前記オブジェクト領域として抽出する、1.乃至5.いずれか一つに記載の情報処理装置。
7.
前記抽出手段は、前記クエリ画像内の前記特徴点に対応する画像位置を投票位置として、その投票位置に対し、その特徴点を含むと推定された前記オブジェクト画像を、重みを付して対応付け、同一の前記オブジェクト画像が対応づけられた投票位置に付された重みの合計が所定値以上となる前記クエリ画像内の画像領域を、そのオブジェクトに対応する前記オブジェクト領域として抽出する、1.乃至5.いずれか一つに記載の情報処理装置。
8.
前記特徴点の投票位置は、その特徴点の画像位置である、6.又は7.に記載の情報処理装置。
9.
前記オブジェクト画像において、
参照点の位置を始点とする参照ベクトルが定められており、
特徴点の位置、その特徴点の局所特徴量のオリエンテーション、その特徴点の局所特徴量のスケールをそれぞれ始点、向き、大きさとする特徴ベクトルが定められており、
前記抽出手段は、
前記クエリ画像内の特徴点について、その特徴点の位置、その特徴点の局所特徴量のオリエンテーション、その特徴点の局所特徴量のスケールをそれぞれ始点、向き、大きさとする特徴ベクトルを算出し、
前記クエリ画像内の特徴点を含むと推定された前記オブジェクト画像においてその特徴点に相当する特徴点の特徴ベクトルを前記参照ベクトルに変換する変換式を、前記クエリ画像内のその特徴点の特徴ベクトルに適用することで、その特徴ベクトルを変換し、前記変換後のそのベクトルの始点を、前記クエリ画像内のその特徴点の投票位置とする、画像位置とする、6.又は7.に記載の情報処理装置。
10.
コンピュータによって実行される制御方法であって、
複数のオブジェクトが含まれるクエリ画像を取得し、前記取得したクエリ画像から複数の特徴点を検出する特徴点検出ステップと、
前記特徴点ごとに、その特徴点を含むと推定される1つ以上のオブジェクト画像を特定する特定ステップと、
前記特定の結果に基づき、前記クエリ画像においてオブジェクトが含まれると推定されるオブジェクト領域を、そのオブジェクト領域に含まれると推定されるオブジェクトのオブジェクト画像と対応づけて抽出する抽出ステップと、
前記オブジェクト領域と、そのオブジェクト領域と対応づけられた前記オブジェクト画像とを照合して、前記オブジェクト領域に含まれるオブジェクトを特定する照合ステップと、
を有する制御方法。
11.
前記特定ステップにおいて、或る前記オブジェクト画像に含まれる特徴点の局所特徴量が、前記クエリ画像内の特徴点の局所特徴量と近似する場合に、そのオブジェクト画像を、前記クエリ画像内のその特徴点を含むと推定されるオブジェクト画像として特定する、10.に記載の制御方法。
12.
前記特定ステップにおいて、前記オブジェクト画像に含まれる特徴点のうちの一部について、その特徴点の局所特徴量と、前記クエリ画像内の特徴点の局所特徴量との近似度合いを算出する、11.に記載の制御方法。
13.
前記特定ステップにおいて、前記オブジェクト画像に含まれる特徴点の局所特徴量を構成するベクトルの一部と、前記クエリ画像内の特徴点の局所特徴量を構成するベクトルの一部との距離値を前記近似度合いとして算出する、12.に記載の制御方法。
14.
各前記オブジェクト画像の画像識別子は、そのオブジェクト画像に含まれる各特徴点の局所特徴量を用いて算出されたインデックス値と対応づけられて記憶装置に記憶されており、
前記特定ステップにおいて、前記クエリ画像内の特徴点の局所特徴量からインデックス値を算出し、そのインデックス値と対応づけて記憶されている前記画像識別子を持つオブジェクト画像を、その特徴点を含むと推定される前記オブジェクト画像として特定する、10.又は11.に記載の制御方法。
15.
前記抽出ステップにおいて、前記クエリ画像内の前記特徴点に対応する画像位置をその特徴点の投票位置として、その投票位置に対し、その特徴点を含むと推定された前記オブジェクト画像を対応付け、同一の前記オブジェクト画像が対応づけられた投票位置を所定数以上含む前記クエリ画像内の画像領域を、そのオブジェクトに対応する前記オブジェクト領域として抽出する、10.乃至14.いずれか一つに記載の制御方法。
16.
前記抽出ステップにおいて、前記クエリ画像内の前記特徴点に対応する画像位置を投票位置として、その投票位置に対し、その特徴点を含むと推定された前記オブジェクト画像を、重みを付して対応付け、同一の前記オブジェクト画像が対応づけられた投票位置に付された重みの合計が所定値以上となる前記クエリ画像内の画像領域を、そのオブジェクトに対応する前記オブジェクト領域として抽出する、10.乃至14.いずれか一つに記載の制御方法。
17.
前記特徴点の投票位置は、その特徴点の画像位置である、15.又は16.に記載の制御方法。
18.
前記オブジェクト画像において、
参照点の位置を始点とする参照ベクトルが定められており、
特徴点の位置、その特徴点の局所特徴量のオリエンテーション、その特徴点の局所特徴量のスケールをそれぞれ始点、向き、大きさとする特徴ベクトルが定められており、
前記抽出ステップにおいて、
前記クエリ画像内の特徴点について、その特徴点の位置、その特徴点の局所特徴量のオリエンテーション、その特徴点の局所特徴量のスケールをそれぞれ始点、向き、大きさとする特徴ベクトルを算出し、
前記クエリ画像内の特徴点を含むと推定された前記オブジェクト画像においてその特徴点に相当する特徴点の特徴ベクトルを前記参照ベクトルに変換する変換式を、前記クエリ画像内のその特徴点の特徴ベクトルに適用することで、その特徴ベクトルを変換し、前記変換後のそのベクトルの始点を、前記クエリ画像内のその特徴点の投票位置とする、画像位置とする、15.又は16.に記載の制御方法。
19.
10.乃至18.いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Claims (11)
- 複数のオブジェクトが含まれるクエリ画像を取得し、前記取得したクエリ画像から複数の特徴点を検出する特徴点検出手段と、
前記特徴点ごとに、その特徴点を含むと推定される1つ以上のオブジェクト画像を特定する特定手段と、
前記特定の結果に基づき、前記クエリ画像においてオブジェクトが含まれると推定されるオブジェクト領域を、そのオブジェクト領域に含まれると推定されるオブジェクトのオブジェクト画像と対応づけて抽出する抽出手段と、
前記オブジェクト領域と、そのオブジェクト領域と対応づけられた前記オブジェクト画像とを照合して、前記オブジェクト領域に含まれるオブジェクトを特定する照合手段と、
を有する情報処理装置。 - 前記特定手段は、或る前記オブジェクト画像に含まれる特徴点の局所特徴量が、前記クエリ画像内の特徴点の局所特徴量と近似する場合に、そのオブジェクト画像を、前記クエリ画像内のその特徴点を含むと推定されるオブジェクト画像として特定する、請求項1に記載の情報処理装置。
- 前記特定手段は、前記オブジェクト画像に含まれる特徴点のうちの一部について、その特徴点の局所特徴量と、前記クエリ画像内の特徴点の局所特徴量との近似度合いを算出する、請求項2に記載の情報処理装置。
- 前記特定手段は、前記オブジェクト画像に含まれる特徴点の局所特徴量を構成するベクトルの一部と、前記クエリ画像内の特徴点の局所特徴量を構成するベクトルの一部との距離値を前記近似度合いとして算出する、請求項3に記載の情報処理装置。
- 各前記オブジェクト画像の画像識別子は、そのオブジェクト画像に含まれる各特徴点の局所特徴量を用いて算出されたインデックス値と対応づけられて記憶装置に記憶されており、
前記特定手段は、前記クエリ画像内の特徴点の局所特徴量からインデックス値を算出し、そのインデックス値と対応づけて記憶されている前記画像識別子を持つオブジェクト画像を、その特徴点を含むと推定される前記オブジェクト画像として特定する、請求項1又は2に記載の情報処理装置。 - 前記抽出手段は、前記クエリ画像内の前記特徴点に対応する画像位置をその特徴点の投票位置として、その投票位置に対し、その特徴点を含むと推定された前記オブジェクト画像を対応付け、同一の前記オブジェクト画像が対応づけられた投票位置を所定数以上含む前記クエリ画像内の画像領域を、そのオブジェクトに対応する前記オブジェクト領域として抽出する、請求項1乃至5いずれか一項に記載の情報処理装置。
- 前記抽出手段は、前記クエリ画像内の前記特徴点に対応する画像位置を投票位置として、その投票位置に対し、その特徴点を含むと推定された前記オブジェクト画像を、重みを付して対応付け、同一の前記オブジェクト画像が対応づけられた投票位置に付された重みの合計が所定値以上となる前記クエリ画像内の画像領域を、そのオブジェクトに対応する前記オブジェクト領域として抽出する、請求項1乃至5いずれか一項に記載の情報処理装置。
- 前記特徴点の投票位置は、その特徴点の画像位置である、請求項6又は7に記載の情報処理装置。
- 前記オブジェクト画像において、
参照点の位置を始点とする参照ベクトルが定められており、
特徴点の位置、その特徴点の局所特徴量のオリエンテーション、その特徴点の局所特徴量のスケールをそれぞれ始点、向き、大きさとする特徴ベクトルが定められており、
前記抽出手段は、
前記クエリ画像内の特徴点について、その特徴点の位置、その特徴点の局所特徴量のオリエンテーション、その特徴点の局所特徴量のスケールをそれぞれ始点、向き、大きさとする特徴ベクトルを算出し、
前記クエリ画像内の特徴点を含むと推定された前記オブジェクト画像においてその特徴点に相当する特徴点の特徴ベクトルを前記参照ベクトルに変換する変換式を、前記クエリ画像内のその特徴点の特徴ベクトルに適用することで、その特徴ベクトルを変換し、前記変換後のそのベクトルの始点を、前記クエリ画像内のその特徴点の投票位置とする、画像位置とする、請求項6又は7に記載の情報処理装置。 - コンピュータによって実行される制御方法であって、
複数のオブジェクトが含まれるクエリ画像を取得し、前記取得したクエリ画像から複数の特徴点を検出する特徴点検出ステップと、
前記特徴点ごとに、その特徴点を含むと推定される1つ以上のオブジェクト画像を特定する特定ステップと、
前記特定の結果に基づき、前記クエリ画像においてオブジェクトが含まれると推定されるオブジェクト領域を、そのオブジェクト領域に含まれると推定されるオブジェクトのオブジェクト画像と対応づけて抽出する抽出ステップと、
前記オブジェクト領域と、そのオブジェクト領域と対応づけられた前記オブジェクト画像とを照合して、前記オブジェクト領域に含まれるオブジェクトを特定する照合ステップと、
を有する制御方法。 - 請求項10に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/040082 WO2019092782A1 (ja) | 2017-11-07 | 2017-11-07 | 情報処理装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019092782A1 JPWO2019092782A1 (ja) | 2020-11-12 |
JP6904430B2 true JP6904430B2 (ja) | 2021-07-14 |
Family
ID=66438768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019551783A Active JP6904430B2 (ja) | 2017-11-07 | 2017-11-07 | 情報処理装置、制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11580721B2 (ja) |
JP (1) | JP6904430B2 (ja) |
WO (1) | WO2019092782A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6958719B2 (ja) * | 2018-03-05 | 2021-11-02 | 日本電気株式会社 | 画像解析装置、画像解析方法および画像解析プログラム |
CN114128340B (zh) * | 2019-05-17 | 2023-12-26 | 株式会社Ntt都科摩 | 用户终端以及无线通信方法 |
TWI768548B (zh) * | 2020-11-19 | 2022-06-21 | 財團法人資訊工業策進會 | 定位用基礎資訊產生系統與方法以及自身定位判斷裝置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4492036B2 (ja) * | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
JP4196302B2 (ja) * | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP5139716B2 (ja) | 2007-05-16 | 2013-02-06 | キヤノン株式会社 | 画像検索装置及び画像検索方法 |
US10540566B2 (en) | 2012-06-29 | 2020-01-21 | Nec Corporation | Image processing apparatus, image processing method, and program |
JP2014102810A (ja) * | 2012-10-22 | 2014-06-05 | Nippon Telegr & Teleph Corp <Ntt> | 被写体認識装置、被写体認識方法および被写体認識プログラム |
JP6280382B2 (ja) | 2013-03-08 | 2018-02-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2015136714A1 (ja) * | 2014-03-14 | 2015-09-17 | オムロン株式会社 | 画像識別装置、画像センサ、画像識別方法 |
JP2015204561A (ja) * | 2014-04-15 | 2015-11-16 | 株式会社デンソー | 情報提示システム、及び、提示装置 |
US9824434B2 (en) * | 2015-08-18 | 2017-11-21 | Industrial Technology Research Institute | System and method for object recognition |
-
2017
- 2017-11-07 US US16/759,164 patent/US11580721B2/en active Active
- 2017-11-07 JP JP2019551783A patent/JP6904430B2/ja active Active
- 2017-11-07 WO PCT/JP2017/040082 patent/WO2019092782A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US11580721B2 (en) | 2023-02-14 |
WO2019092782A1 (ja) | 2019-05-16 |
US20210174129A1 (en) | 2021-06-10 |
JPWO2019092782A1 (ja) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101856120B1 (ko) | 이미지로부터 상가 발견 | |
CN105027162B (zh) | 图像解析装置、图像解析系统、图像解析方法 | |
US20110286628A1 (en) | Systems and methods for object recognition using a large database | |
US20150127592A1 (en) | Interactive clothes searching in online stores | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
JP6904430B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2013109773A (ja) | 特徴マッチング方法及び商品認識システム | |
CN111639970A (zh) | 基于图像识别的物品价格确定方法及相关设备 | |
WO2020134411A1 (zh) | 一种商品类别识别方法、装置及电子设备 | |
KR20190018274A (ko) | 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법 | |
CN111488479A (zh) | 超图构建方法、装置以及计算机系统和介质 | |
KR101901645B1 (ko) | 이미지를 검색하는 방법, 장치, 시스템 및 컴퓨터 프로그램 | |
US20190156442A1 (en) | Generating missing attributes for deduplication process | |
CN111222558B (zh) | 图像处理方法及存储介质 | |
CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
JP2019083532A (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
US20190155917A1 (en) | Image-based deduplication process for digital content | |
CN114360057A (zh) | 数据处理方法及相关装置 | |
Paracchini et al. | Embedded real-time visual search with visual distance estimation | |
JP2015187770A (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP6399651B2 (ja) | 登録装置及び検索装置並びに方法及びプログラム | |
US11756036B1 (en) | Utilizing sensor data for automated user identification | |
JP6904619B1 (ja) | 検索方法 | |
CN117173731B (zh) | 一种模型训练的方法、图像处理的方法以及相关装置 | |
JP7342943B2 (ja) | 販売管理システム、店舗装置、販売管理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200423 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904430 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |