JP7091055B2 - 検索装置、検索方法および検索プログラム - Google Patents
検索装置、検索方法および検索プログラム Download PDFInfo
- Publication number
- JP7091055B2 JP7091055B2 JP2017222593A JP2017222593A JP7091055B2 JP 7091055 B2 JP7091055 B2 JP 7091055B2 JP 2017222593 A JP2017222593 A JP 2017222593A JP 2017222593 A JP2017222593 A JP 2017222593A JP 7091055 B2 JP7091055 B2 JP 7091055B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- similar
- feature
- feature quantities
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 182
- 230000008569 process Effects 0.000 claims description 159
- 230000008859 change Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 49
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 27
- 230000009466 transformation Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
まず、図1を用いて、検索装置の一例である情報提供装置が実行する検索処理の一例について説明する。図1は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
ここで、クエリコンテンツと類似するコンテンツを検索する手法として、各コンテンツが有する特徴量を用いる技術が知られている。例えば、クエリコンテンツの特徴量と、検索対象となるコンテンツの特徴量とを比較し、特徴量が類似するか否かに基づいて、クエリコンテンツと類似するコンテンツを特定する技術が知られている。
次に、図1を用いて、情報提供装置10が実行する検索処理の流れの一例について説明する。例えば、情報提供装置10は、検索対象となる対象画像の局所特徴量をあらかじめ抽出する(ステップS1)。例えば、情報提供装置10は、対象画像T1の中から自動的に選択された複数の特徴点P1、P2・・・ごとに、特徴点からそれぞれ自動的に決定された方向の、自動的に決定された範囲内(例えば、半径が数十ピクセルの範囲内)に含まれる画素の特徴量を局所特徴量FP1、FP2・・・として取得する。このように、各画像から特徴点を自動的に抽出した場合、同一物体を撮影した2画像から物体上の同じ位置が特徴点として抽出されるので、座標照合が可能となる。
ここで、上述した説明では、情報提供装置10は、各照合処理を順番に実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、クエリ画像が有する複数の局所特徴量と、対象画像が有する複数の局所特徴量のうち一部の局所特徴量とが類似すると判定された場合は、クエリ画像が有する全ての局所特徴量と、対象画像が有する全ての局所特徴量とを比較し、比較結果に基づいて、クエリ画像と類似する対象画像を検索してもよい。
ここで、上述した例では、情報提供装置10は、クエリ画像と類似する対象画像の検索を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、文章や音楽等、任意のコンテンツについて、上述した検索処理を適用可能である。
以下、上記した検索処理を実現する情報提供装置10が有する機能構成の一例について説明する。図4は、実施形態に係る情報提供装置の構成例を示す図である。図4に示すように、情報提供装置10は、通信部20、記憶部30、および制御部40を有する。
続いて、図6を用いて、情報提供装置10が実行する処理の流れの一例を説明する。図6は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。なお、図6に示す例では、検索処理の対象として、図2に示す第4処理形態でクエリ画像と類似する対象画像を検索する処理の流れの一例について記載した。
上記では、情報提供装置10および端末装置100による提供処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理や表示処理のバリエーションについて説明する。
上述した例では、情報提供装置10は、クエリ情報の局所特徴量と、対象情報のクエリ特徴量とを比較した。ここで、情報提供装置10は、任意の情報が有する特徴量を局所特徴量としてもよい。例えば、情報提供装置10は、検索対象が画像である場合、特徴点の周囲の画素の彩度や明度の平均値等を特徴量としてもよく、検索対象が音声である場合、特徴点の周囲数秒の周囲の周波数特性を特徴量としてもよい。また、上述した処理以外にも、情報提供装置10は、任意の特徴量比較技術を併用してもよい。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上述した実施形態に係る情報提供装置10および端末装置100は、例えば図7に示すような構成のコンピュータ1000によって実現される。図7は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
上述したように、情報提供装置10は、クエリ情報が有する複数の特徴量と、検索対象となる対象情報が有する複数の特徴量のうち一部の特徴量とが類似するか否かを判定する。また、情報提供装置10は、判定結果が所定の条件を満たす場合は、クエリ情報が有する全ての特徴量と、対象情報が有する全ての特徴量とを比較する。そして、情報提供装置10は、比較結果に基づいて、クエリ情報と類似する対象情報を検索する。すなわち、情報提供装置10は、部分特徴量照合処理や部分特徴点座標照合処理により検出された候補情報について、全体特徴量照合処理を実行する。このため、情報提供装置10は、類似検索の精度を向上させることができる。
20 通信部
30 記憶部
31 検索対象データベース
40 制御部
41 判定部
42 比較部
43 検索部
44 提供部
100 端末装置
Claims (13)
- 検索対象となる複数の対象情報のそれぞれが有する複数の特徴量のうち、クエリ情報が有する複数の特徴量と類似する特徴量を判定し、クエリ情報が有する複数の特徴量と類似する特徴量の数が所定の条件を満たす対象情報を検索結果の候補である候補情報とする判定部と、
前記候補情報ごとに、当該候補情報が有する全ての特徴量と、前記クエリ情報が有する全ての特徴量とを比較する比較部と、
前記候補情報が有する特徴量のうち、前記クエリ情報が有するいずれかの特徴量と類似する特徴量の数が所定の条件を満たす場合は、当該候補情報を前記クエリ情報と類似する対象情報とすることで、前記クエリ情報と類似する対応情報を検索する検索部と
を有することを特徴とする検索装置。 - 前記判定部は、前記クエリ情報が部分的に有する特徴量と、前記対象情報が部分的に有する特徴量とが類似するか否かを判定する
ことを特徴とする請求項1に記載の検索装置。 - 前記比較部は、前記クエリ情報が有する複数の特徴量と、前記対象情報が有する複数の特徴量のうち一部の特徴量とが類似すると判定された場合は、前記クエリ情報が有する全ての特徴量と、対象情報が有する全ての特徴量とを比較する
ことを特徴とする請求項1または2に記載の検索装置。 - 前記判定部は、前記クエリ情報が有する複数の特徴量と、前記対象情報が有する複数の特徴量のうち一部の特徴量とが類似する場合は、当該クエリ情報が有する複数の特徴量の座標関係と、当該対象情報が有する一部の特徴量の座標関係とが類似するか否かを判定し、
前記比較部は、前記クエリ情報が有する複数の特徴量の座標関係と、前記対象情報が有する一部の特徴量の座標関係とが類似すると判定された場合は、前記クエリ情報が有する全ての特徴量と、前記対象情報が有する全ての特徴量とを比較する
ことを特徴とする請求項1~3のうちいずれか1つに記載の検索装置。 - 前記比較部は、前記クエリ情報が有する特徴量のうち複数の特徴量が、前記対象情報が有する特徴量のいずれかと類似する場合は、当該複数の特徴量同士の座標関係と、前記対象情報が有する特徴量のうち前記複数の特徴量と類似する特徴量同士の座標関係とを比較する
ことを特徴とする請求項4に記載の検索装置。 - 前記判定部は、前記対象情報の数が第1閾値を超える場合は、前記クエリ情報が有する複数の特徴量の座標関係と、前記対象情報が有する一部の特徴量の座標関係とが類似するか否かを判定する
ことを特徴とする請求項4または5に記載の検索装置。 - 前記比較部は、前記対象情報の数が第2閾値を超える場合は、前記複数の特徴量同士の座標関係と、前記対象情報が有する特徴量のうち前記複数の特徴量と類似する特徴量同士の座標関係とを比較する
ことを特徴とする請求項4~6のうちいずれか1つに記載の検索装置。 - 前記判定部は、前記クエリ情報が有する複数の特徴量の座標関係と、当該対象情報が有する一部の特徴量の座標関係との類似性を示すパラメータを前記対象情報ごとに算出し、
前記比較部は、前記パラメータの変化が所定の条件を満たす場合は、前記クエリ情報が有する全ての特徴量と、前記対象情報が有する全ての特徴量とを比較する
ことを特徴とする請求項4~7のうちいずれか1つに記載の検索装置。 - 前記比較部は、前記パラメータが指数関数的に変化する場合は、前記クエリ情報が有する全ての特徴量と、前記対象情報が有する全ての特徴量とを比較する
ことを特徴とする請求項8に記載の検索装置。 - 前記判定部は、前記パラメータとして、前記クエリ情報が有する複数の特徴量に対応する特徴点の座標をアフィン変換した座標が当該対象情報が有する一部の特徴量に対応する特徴点の座標と類似する確度を算出する
ことを特徴とする請求項8または9に記載の検索装置。 - 前記判定部は、クエリ情報となる画像が有する複数の特徴量と、検索対象となる画像が有する複数の特徴量のうち一部の特徴量とが類似するか否かを判定する
ことを特徴とする請求項1~10のうちいずれか1つに記載の検索装置。 - 検索装置が実行する検索方法であって、
検索対象となる複数の対象情報のそれぞれが有する複数の特徴量のうち、クエリ情報が有する複数の特徴量と類似する特徴量を判定し、クエリ情報が有する複数の特徴量と類似する特徴量の数が所定の条件を満たす対象情報を検索結果の候補である候補情報とする判定工程と、
前記候補情報ごとに、当該候補情報が有する全ての特徴量と、前記クエリ情報が有する全ての特徴量とを比較する比較工程と、
前記候補情報が有する特徴量のうち、前記クエリ情報が有するいずれかの特徴量と類似する特徴量の数が所定の条件を満たす場合は、当該候補情報を前記クエリ情報と類似する対象情報とすることで、前記クエリ情報と類似する対応情報を検索する検索工程と
を含むことを特徴とする検索方法。 - 検索対象となる複数の対象情報のそれぞれが有する複数の特徴量のうち、クエリ情報が有する複数の特徴量と類似する特徴量を判定し、クエリ情報が有する複数の特徴量と類似する特徴量の数が所定の条件を満たす対象情報を検索結果の候補である候補情報とする判定手順と、
前記候補情報ごとに、当該候補情報が有する全ての特徴量と、前記クエリ情報が有する全ての特徴量とを比較する比較手順と、
前記候補情報が有する特徴量のうち、前記クエリ情報が有するいずれかの特徴量と類似する特徴量の数が所定の条件を満たす場合は、当該候補情報を前記クエリ情報と類似する対象情報とすることで、前記クエリ情報と類似する対応情報を検索する検索手順と
をコンピュータに実行させるための検索プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017179475 | 2017-09-19 | ||
JP2017179475 | 2017-09-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019057260A JP2019057260A (ja) | 2019-04-11 |
JP7091055B2 true JP7091055B2 (ja) | 2022-06-27 |
Family
ID=66107536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017222593A Active JP7091055B2 (ja) | 2017-09-19 | 2017-11-20 | 検索装置、検索方法および検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7091055B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014134860A (ja) | 2013-01-08 | 2014-07-24 | Canon Inc | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム |
JP2016014914A (ja) | 2014-06-30 | 2016-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017010468A (ja) | 2015-06-25 | 2017-01-12 | Kddi株式会社 | 撮影画像に写る物体を検索するシステム及び方法 |
JP2017138744A (ja) | 2016-02-02 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-11-20 JP JP2017222593A patent/JP7091055B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014134860A (ja) | 2013-01-08 | 2014-07-24 | Canon Inc | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム |
JP2016014914A (ja) | 2014-06-30 | 2016-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017010468A (ja) | 2015-06-25 | 2017-01-12 | Kddi株式会社 | 撮影画像に写る物体を検索するシステム及び方法 |
JP2017138744A (ja) | 2016-02-02 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019057260A (ja) | 2019-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11605019B2 (en) | Visually guided machine-learning language model | |
KR100353798B1 (ko) | 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법 | |
JP5749279B2 (ja) | アイテム関連付けのための結合埋込 | |
US9424466B2 (en) | Shoe image retrieval apparatus and method using matching pair | |
WO2019136897A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US10614312B2 (en) | Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor | |
JP6767342B2 (ja) | 検索装置、検索方法および検索プログラム | |
JP2013045122A (ja) | 画像検索装置、画像検索方法、およびプログラム | |
JP2017219984A (ja) | 画像検索システム、画像辞書生成システム、画像処理システム及びプログラム | |
JP6997656B2 (ja) | 検索装置、検索方法および検索プログラム | |
JP7091055B2 (ja) | 検索装置、検索方法および検索プログラム | |
CN117009599A (zh) | 数据检索方法、装置、处理器及电子设备 | |
JP6705763B2 (ja) | 生成装置、生成方法および生成プログラム | |
Dourado et al. | Event prediction based on unsupervised graph-based rank-fusion models | |
JP7088665B2 (ja) | 検索装置、検索方法および検索プログラム | |
JP7044677B2 (ja) | 判定装置、判定方法および判定プログラム | |
JP6974222B2 (ja) | 検索装置、検索方法および検索プログラム | |
JP6756648B2 (ja) | 生成装置、生成方法および生成プログラム | |
JP7161002B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7212728B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
KR20200101643A (ko) | 인공지능 기반의 유사 디자인 검색 장치 | |
Pardede et al. | SVM Relevance Feedback in HSV Quantization for CBIR. | |
JP7179705B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7077464B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
Pushpalatha et al. | An information theoretic similarity measure for unified multimedia document retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7091055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |