JP6982035B2 - 検索装置、検索方法及び検索プログラム - Google Patents
検索装置、検索方法及び検索プログラム Download PDFInfo
- Publication number
- JP6982035B2 JP6982035B2 JP2019169864A JP2019169864A JP6982035B2 JP 6982035 B2 JP6982035 B2 JP 6982035B2 JP 2019169864 A JP2019169864 A JP 2019169864A JP 2019169864 A JP2019169864 A JP 2019169864A JP 6982035 B2 JP6982035 B2 JP 6982035B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- target area
- query
- image
- aspect ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000004364 calculation method Methods 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本実施形態に係る検索処理の前提として、モデルを用いて画像の特徴量を算出する処理について、図1を用いて説明する。図1は、画像の特徴量を算出する処理の一例を示す図である。
次に、図5を用いて、情報提供装置10の構成について説明する。図5は、実施形態に係る情報提供装置の構成例を示す図である。図5に示すように、情報提供装置10は、通信部20と、記憶部30と、制御部40とを有する。
通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、端末装置100等との間で情報の送受信を行う。
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図5に示すように、記憶部30は、学習データベース31と、検索対象データベース32とを有する。
学習データベース31は、画像の特徴量を算出するモデル(算出モデルや、第1モデル、第2モデル等)の学習に用いられる画像に関する情報を記憶する。ここで、図6を用いて、学習データベース31が記憶する情報の一例を説明する。図6は、実施形態に係る画像データベースの一例を示す図である。図6の例では、学習データベース31は、「画像ID」、「画像情報」、「正規化画像情報」、「縦横比情報」、「類似情報」といった項目を有する。
検索対象データベース32は、利用者の検索対象(例えば、電子商店街における取引対象)を撮影対象に含む画像である検索対象画像に関する情報を記憶する。ここで、図7を用いて、検索対象データベース32が記憶する情報の一例を説明する。図7は、実施形態に係る検索対象データベースの一例を示す図である。図7の例では、検索対象データベース32は、「検索対象ID」、「検索対象画像情報」、「検索対象領域」、「縦横比情報」、「インデックス情報」といった項目を有する。
制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報提供装置10内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部40は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。実施形態に係る制御部40は、図5に示すように、特定部41と、算出部42と、検索部43と、提供部44とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
特定部41は、クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する。例えば、図2の例において、特定部41は、各種の画像認識技術を用いて、検索対象画像のうち、取引対象が含まれる範囲を検索対象領域として特定する。そして、検索対象領域のうち、利用者Uが選択した検索対象領域をクエリ対象領域として特定する。
算出部42は、類似する撮影対象が撮影された複数の画像であって当該撮影対象が含まれる領域の縦横比が類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて、検索対象画像から特徴量を算出する。例えば、図2の例において、算出部42は、類似する取引対象が撮影された複数の画像について、当該取引対象が含まれる領域の縦横比を示す情報を入力した際に、類似する特徴量を算出するように学習が行われた第2モデルを用いて、検索対象領域から特徴量を算出する。
検索部43は、検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に基づいて、クエリ画像と類似する検索対象画像を検索する。例えば、検索部43は、検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性を、各種の画像認識技術を用いて算出し、算出した類似性に基づいて、クエリ画像と類似する検索対象画像を検索する。
提供部44は、検索部43が検索した検索対象画像を提供する。例えば、図2の例において、提供部44は、検索部43が検索した検索対象領域を含む検索対象画像であって、当該検索対象領域を強調した検索対象画像を強調画像として生成し、端末装置100に提供する。
ここで、図8を用いて、実施形態に係る情報提供装置10の検索処理の手順について説明する。図8は、実施形態に係る検索処理の手順の一例を示すフローチャートである。
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
上述の実施形態において、情報提供装置10による検索処理の対象となる画像が、鞄や衣服を撮影対象として含む例を示したが、撮影対象はこのような例に限定されず、情報提供装置10は縦横比によって他の物体と区別可能な物体であれば、任意の対象に対し検索処理を行ってもよい。例えば、情報提供装置10は、人の姿勢を対象として検索処理を行ってもよい。また、例えば、情報提供装置10の機能は、自動運転車両における周辺の人や物体の認識において用いられてもよい。
上述の実施形態において、検索部43が、検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に基づいて、クエリ画像と類似する検索対象画像を検索する例を示したが、検索部43の機能はこのような例に限定されない。例えば、検索部43は、電子商店街に関するサービスにおける利用者の設定に応じて、クエリ画像と類似する検索対象画像を検索してよい。具体例を挙げると、縦横比の類似性に基づく画像の検索を希望しない旨の設定を利用者が行った場合、検索部43は、検索対象領域の特徴量とクエリ対象領域の特徴量との類似性のみに基づいて、クエリ画像と類似する検索対象画像を検索する。また、縦横比の類似性を重視する旨の設定を利用者が行った場合、検索部43は、検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に所定の重みを適用して、クエリ画像と類似する検索対象画像を検索する。
上述してきたように、実施形態に係る情報提供装置10は、特定部41と、算出部42と、検索部43と、提供部44とを有する。特定部41は、クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する。算出部42は、類似する撮影対象が撮影された複数の画像であって当該撮影対象が含まれる領域の縦横比が類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて、検索対象画像から特徴量を算出する。検索部43は、検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に基づいて、クエリ画像と類似する検索対象画像を検索する。また、検索部43は、モデルを用いてクエリ対象領域から特徴量を算出し、検索対象画像のうち、算出部が検索対象領域から算出した特徴量がクエリ対象領域から算出した特徴量と類似する画像を検索する。提供部44は、検索部43が検索した検索対象画像を提供する。
また、上述してきた各実施形態に係る情報提供装置10は、例えば、図9に示すような構成のコンピュータ1000によって実現される。以下、情報提供装置10を例に挙げて説明する。図9は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、ROM1200、RAM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
20 通信部
30 記憶部
31 学習データベース
32 検索対象データベース
40 制御部
41 特定部
42 算出部
43 検索部
44 提供部
100 端末装置
Claims (11)
- クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する特定部と、
検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似性に基づいて、前記クエリ画像と類似する検索対象画像を検索する検索部と
を有することを特徴とする検索装置。 - 類似する撮影対象が撮影された複数の画像であって当該撮影対象が含まれる領域の縦横比が類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて、前記検索対象画像から特徴量を算出する算出部
を有し、
前記検索部は、
前記モデルを用いて前記クエリ対象領域から特徴量を算出し、前記検索対象画像のうち、前記算出部が前記検索対象領域から算出した特徴量が前記クエリ対象領域から算出した特徴量と類似する画像を検索する
ことを特徴とする請求項1に記載の検索装置。 - 前記算出部は、
類似する撮影対象が撮影された複数の画像について、前記撮影対象が含まれる領域の縦横比を所定の縦横比に変換した画像と、当該撮影対象が含まれる領域の縦横比を示す情報とを入力した際に、類似する特徴量を出力するように学習が行われたモデルを用いる
ことを特徴とする請求項2に記載の検索装置。 - 前記算出部は、
前記検索対象領域の縦横比を前記所定の縦横比に変換した画像と、当該検索対象領域の縦横比を示す情報とを前記モデルに入力して、当該検索対象領域の特徴量を算出し、
前記検索部は、
前記クエリ対象領域の縦横比を前記所定の縦横比に変換した画像と、当該クエリ対象領域の縦横比を示す情報とを前記モデルに入力して、当該クエリ対象領域の特徴量を算出する
ことを特徴とする請求項3に記載の検索装置。 - 類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて前記検索対象領域から算出された特徴量と、当該検索対象領域の縦横比を示すベクトルとに応じた検索情報を算出する算出部
を有し、
前記検索部は、
前記検索対象画像のうち、前記モデルを用いて前記クエリ対象領域から算出された特徴量と当該クエリ対象領域の縦横比を示すベクトルとに応じたクエリ情報と前記検索情報が類似する画像を検索する
ことを特徴とする請求項1に記載の検索装置。 - 前記特定部は、
前記撮影対象の種別をさらに特定し、
前記検索部は、
前記種別が予め定められた所定の種別である場合は、検索対象画像のうち、撮影対象が含まれる検索対象領域の特徴量が前記クエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比が前記クエリ対象領域の縦横比と類似する画像を検索する
ことを特徴とする請求項1〜5のうちいずれか1つに記載の検索装置。 - 前記検索部は、
前記種別が予め定められた所定の種別ではない場合は、検索対象画像のうち撮影対象が含まれる検索対象領域の縦横比が所定の値を有するものとして、当該検索対象領域の特徴量が前記クエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比が前記クエリ対象領域の縦横比と類似する画像を検索する
ことを特徴とする請求項6に記載の検索装置。 - 前記特定部は、
前記撮影対象の種別をさらに特定し、
前記検索部は、
前記検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似度に基づく第1スコアと、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似度に、前記種別に応じた重みを適用した第2スコアとに基づいて、前記クエリ画像と類似する検索対象画像を検索する
ことを特徴とする請求項1〜5のうちいずれか1つに記載の検索装置。 - 前記特定部は、
前記撮影対象として電子商取引の対象となる取引対象が含まれる範囲をクエリ対象領域として特定し、
前記検索部は、
前記クエリ対象領域に含まれる取引対象と類似する取引対象が含まれる検索対象領域を含む検索対象画像を、前記クエリ画像と類似する検索対象画像として検索する
ことを特徴とする請求項1〜8のうちいずれか1つに記載の検索装置。 - 検索装置が実行する検索方法であって、
クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する特定工程と、
検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似性に基づいて、前記クエリ画像と類似する検索対象画像を検索する検索工程と
を含むことを特徴とする検索方法。 - クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する特定手順と、
検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似性に基づいて、前記クエリ画像と類似する検索対象画像を検索する検索手順と
をコンピュータに実行させるための検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169864A JP6982035B2 (ja) | 2019-09-18 | 2019-09-18 | 検索装置、検索方法及び検索プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169864A JP6982035B2 (ja) | 2019-09-18 | 2019-09-18 | 検索装置、検索方法及び検索プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021047651A JP2021047651A (ja) | 2021-03-25 |
JP6982035B2 true JP6982035B2 (ja) | 2021-12-17 |
Family
ID=74876361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019169864A Active JP6982035B2 (ja) | 2019-09-18 | 2019-09-18 | 検索装置、検索方法及び検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6982035B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007299144A (ja) * | 2006-04-28 | 2007-11-15 | Mitsubishi Heavy Ind Ltd | ロゴ判別装置および方法ならびにプログラム |
JP2015179431A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社東芝 | 検索装置、検索方法、及びプログラム |
JP6831769B2 (ja) * | 2017-11-13 | 2021-02-17 | 株式会社日立製作所 | 画像検索装置、画像検索方法、及び、それに用いる設定画面 |
-
2019
- 2019-09-18 JP JP2019169864A patent/JP6982035B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021047651A (ja) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11250487B2 (en) | Computer vision and image characteristic search | |
US10824942B1 (en) | Visual similarity and attribute manipulation using deep neural networks | |
US10956007B2 (en) | Electronic device and method for providing search result thereof | |
US11074434B2 (en) | Detection of near-duplicate images in profiles for detection of fake-profile accounts | |
US9875258B1 (en) | Generating search strings and refinements from an image | |
US10380461B1 (en) | Object recognition | |
CN112000819B (zh) | 多媒体资源推荐方法、装置、电子设备及存储介质 | |
US11921777B2 (en) | Machine learning for digital image selection across object variations | |
JP5808371B2 (ja) | 画像認識装置、画像認識方法及び画像認識プログラム | |
JP6310599B1 (ja) | 検索装置、検索方法および検索プログラム | |
US11605176B2 (en) | Retrieving images that correspond to a target body type and pose | |
CN110998507B (zh) | 电子装置及其用于提供搜索结果的方法 | |
JP6365024B2 (ja) | サービス提供装置、方法、及びプログラム | |
CN109564636B (zh) | 使用一个神经网络来训练另一个神经网络 | |
CN111695971B (zh) | 物品推荐方法、装置和设备及计算机存储介质 | |
JP6353118B1 (ja) | 表示プログラム、情報提供装置、表示装置、表示方法、情報提供方法および情報提供プログラム | |
JP6982035B2 (ja) | 検索装置、検索方法及び検索プログラム | |
US20230177580A1 (en) | Design-Aware Image Search | |
KR102466020B1 (ko) | 인공지능 기반 명품 정보 및 셀러의 자동 매칭 방법, 장치 및 시스템 | |
JP7109414B2 (ja) | 識別装置、識別方法及び識別プログラム | |
JP7179705B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2023062668A1 (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
Fernandes et al. | Sparse representation based face recognition under varying illumination conditions | |
JP6974222B2 (ja) | 検索装置、検索方法および検索プログラム | |
JP2018018384A (ja) | 推定装置、推定方法、及び推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20191018 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6982035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |