JP7095338B2 - Image search device, information processing system and image search method - Google Patents

Image search device, information processing system and image search method Download PDF

Info

Publication number
JP7095338B2
JP7095338B2 JP2018051754A JP2018051754A JP7095338B2 JP 7095338 B2 JP7095338 B2 JP 7095338B2 JP 2018051754 A JP2018051754 A JP 2018051754A JP 2018051754 A JP2018051754 A JP 2018051754A JP 7095338 B2 JP7095338 B2 JP 7095338B2
Authority
JP
Japan
Prior art keywords
image
search
registration
priority
image search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018051754A
Other languages
Japanese (ja)
Other versions
JP2019164555A (en
Inventor
誠英 堀内
聡樹 山西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018051754A priority Critical patent/JP7095338B2/en
Publication of JP2019164555A publication Critical patent/JP2019164555A/en
Application granted granted Critical
Publication of JP7095338B2 publication Critical patent/JP7095338B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像検索装置、情報処理システムおよび画像検索方法に関する。 The present invention relates to an image search device , an information processing system , and an image search method.

例えばカメラで撮像して得た撮像画像から特徴点を抽出して、予め登録された画像群から類似した特徴点を多く持つ画像を検索する画像検索技術が知られている。この画像検索技術を利用して、特定の写真や印刷物の画像を様々な電子データと関連付けて画像検索用データベース（ＤＢ）に登録し、これら写真や印刷物を撮像した撮像画像を用いてこの画像検索用ＤＢから類似画像を検索して、類似画像に関連付けられた電子データを提示する画像検索システムが知られている（例えば特許文献１）。 For example, there is known an image search technique for extracting feature points from an image captured by a camera and searching for an image having many similar feature points from a pre-registered image group. Using this image search technology, an image of a specific photo or printed matter is associated with various electronic data and registered in an image search database (DB), and this image search is performed using the captured image obtained by capturing these photos or printed matter. There is known an image search system that searches for similar images from the DB and presents electronic data associated with the similar images (for example, Patent Document 1).

例えば、商品を販売する事業者が、商品の画像を含む被写体を用意すると共に、画像検索用ＤＢに対し、当該商品の画像とこの画像に関連付けた連携情報とを登録しておく。ユーザにより、当該被写体を撮像した撮像画像が画像検索システムに送信されると、画像検索システムは、撮像画像に基づく画像検索により当該画像に関連付けられた連携情報を取得し、取得した連携情報を、ユーザに返す。事業者は、商品の画像に基づき連携情報に示される情報をユーザに提供できる。 For example, a business operator who sells a product prepares a subject including an image of the product, and registers the image of the product and the cooperation information associated with the image in the image search DB. When the captured image of the subject is transmitted to the image search system by the user, the image search system acquires the linkage information associated with the image by the image search based on the captured image, and obtains the acquired linkage information. Return to the user. The business operator can provide the user with the information shown in the cooperation information based on the image of the product.

また、特許文献２には、類似度に基づき画像を検索する技術が開示されている。特許文献２によれば、画像を検索する際に、予め定めているソート順に従って検索結果を表示し、ユーザは、検索結果の表示に基づき所望の画像を選択することができる。 Further, Patent Document 2 discloses a technique for searching an image based on the degree of similarity. According to Patent Document 2, when searching for an image, the search result is displayed according to a predetermined sort order, and the user can select a desired image based on the display of the search result.

ところが、従来の画像検索システムにおいては、撮像画像に含まれる画像と類似する複数の画像が画像検索用ＤＢに登録されている場合に、事業者が意図していない画像が高い確率で検索されてしまう場合があるという問題点があった。 However, in the conventional image search system, when a plurality of images similar to the images included in the captured image are registered in the image search DB, an image not intended by the business operator is searched with a high probability. There was a problem that it might end up.

この問題に対し、例えば意図せず検索されてしまう画像を画像検索用ＤＢから削除する方法が考えられる。しかしながら、当該画像が別の画像検索に用いられる場合があり、この場合には当該画像を画像検索用ＤＢから削除できないことになる。また、画像検索用ＤＢの管理方法によっては、画像検索用ＤＢからの画像の削除を、例えば１日に１回の特定の時刻でなければ実行できないなど、時間などによる制限が存在する場合もある。 To solve this problem, for example, a method of deleting an image that is unintentionally searched from the image search DB can be considered. However, the image may be used for another image search, and in this case, the image cannot be deleted from the image search DB. Further, depending on the management method of the image search DB, there may be a time limit such that the image can be deleted from the image search DB only at a specific time once a day. ..

また例えば、上述の問題に対し、撮像画像に基づき類似の画像を複数検索してユーザに提示し、ユーザに選択を促す方法も考えられる。しかしながら、この方法では、用意した画像に対して意図した検索結果を提示させたいと考える事業者の要求と相容れないという問題点があった。 Further, for example, for the above-mentioned problem, a method of searching a plurality of similar images based on the captured image and presenting them to the user to urge the user to make a selection is also conceivable. However, this method has a problem that it is incompatible with the request of the business operator who wants to present the intended search result for the prepared image.

本発明は、上記に鑑みてなされたものであって、特定の画像に対する意図しない検索結果の出力を抑制可能とすることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to make it possible to suppress the output of an unintended search result for a specific image.

上述した課題を解決し、目的を達成するために、本発明は、画像を類似度に基づき検索する画像検索装置であって、検索要求に応じて、画像と登録された画像との類似度に基づき検索を行う画像検索手段と、検索要求の検索結果として応答される第１の画像を登録する第１の登録手段と、検索結果として応答された第１の画像を検証するための第２の画像を登録する第２の登録手段と、画像検索手段により類似する複数の第１の画像が検索された場合に、第２の画像を用いて、類似する複数の第１の画像の中から検索結果として応答する一つの画像を判定する判定手段と、を有する。 In order to solve the above-mentioned problems and achieve the object, the present invention is an image search device that searches for images based on the degree of similarity, and in response to a search request, the degree of similarity between the image and the registered image is increased. An image search means for performing a search based on, a first registration means for registering a first image responded as a search result of a search request, and a second image for verifying the first image responded as a search result. When a plurality of similar first images are searched by the second registration means for registering images and the image search means, the second image is used to search among the plurality of similar first images. It has a determination means for determining one image that responds as a result.

本発明によれば、特定の画像に対する意図しない検索結果の出力が抑制可能となるという効果を奏する。 According to the present invention, it is possible to suppress the output of an unintended search result for a specific image.

図１は、実施形態に適用可能な情報処理システムの一例の構成を示す図である。FIG. 1 is a diagram showing a configuration of an example of an information processing system applicable to an embodiment. 図２は、実施形態に係る画像検索システムのシステム構成の例を示すブロック図である。FIG. 2 is a block diagram showing an example of a system configuration of an image search system according to an embodiment. 図３は、既存技術に係る画像検索を説明するための図である。FIG. 3 is a diagram for explaining an image search according to an existing technique. 図４は、実施形態に係る、画像検索システムに含まれる画像検索用ＤＢの一例の構成を示すブロック図である。FIG. 4 is a block diagram showing a configuration of an example of an image search DB included in an image search system according to an embodiment. 図５は、実施形態に適用可能な画像検索サーバの一例の構成を示すブロック図である。FIG. 5 is a block diagram showing a configuration of an example of an image search server applicable to the embodiment. 図６は、実施形態に係る画像検索サーバの機能を説明するための一例の機能ブロック図である。FIG. 6 is a functional block diagram of an example for explaining the function of the image search server according to the embodiment. 図７は、実施形態に適用可能な登録端末の一例のハードウェア構成を示すブロック図である。FIG. 7 is a block diagram showing a hardware configuration of an example of a registered terminal applicable to the embodiment. 図８は、実施形態に適用可能な登録端末の機能を説明するための一例の機能ブロック図である。FIG. 8 is a functional block diagram of an example for explaining the functions of the registered terminal applicable to the embodiment. 図９は、実施形態に適用可能な登録画面の例を示す図である。FIG. 9 is a diagram showing an example of a registration screen applicable to the embodiment. 図１０は、実施形態に適用可能な、登録ツールにより表示される連携情報設定画面の例を示す図である。FIG. 10 is a diagram showing an example of a linkage information setting screen displayed by the registration tool, which is applicable to the embodiment. 図１１は、実施形態に適用可能な、対象領域が指定された場合に登録ツールにより表示される優先画像公開期限設定画面の例を示す図である。FIG. 11 is a diagram showing an example of a priority image publication deadline setting screen displayed by the registration tool when a target area is specified, which is applicable to the embodiment. 図１２は、実施形態に係る、対象領域の画像を画像検索用ＤＢに登録する登録処理を示す一例のフローチャートである。FIG. 12 is an example flowchart showing a registration process for registering an image of a target area in an image search DB according to an embodiment. 図１３は、実施形態に係る検索処理の第１の例について説明するための図である。FIG. 13 is a diagram for explaining a first example of the search process according to the embodiment. 図１４は、実施形態に係る検索処理の第１の例について説明するための図である。FIG. 14 is a diagram for explaining a first example of the search process according to the embodiment. 図１５は、実施形態に係る検索処理の第２の例について説明するための図である。FIG. 15 is a diagram for explaining a second example of the search process according to the embodiment. 図１６は、実施形態に係る検索処理の第２の例について説明するための図である。FIG. 16 is a diagram for explaining a second example of the search process according to the embodiment. 図１７は、実施形態に係る検索処理を示す一例のフローチャートである。FIG. 17 is an example flowchart showing the search process according to the embodiment.

以下に添付図面を参照して、画像検索装置、情報処理システムおよび画像検索方法の実施形態を詳細に説明する。図１は、実施形態に適用可能な情報処理システムの一例の構成を示す図である。図１において、情報処理システム３は、それぞれネットワーク２を介して接続される、検索端末３０と、実施形態に係る画像検索システム１と、を含む。 Hereinafter, embodiments of an image search device , an information processing system , and an image search method will be described in detail with reference to the accompanying drawings. FIG. 1 is a diagram showing a configuration of an example of an information processing system applicable to an embodiment. In FIG. 1, the information processing system 3 includes a search terminal 30 and an image search system 1 according to an embodiment, each of which is connected via a network 2.

画像検索システム１は、画像検索サーバ１０と、登録サーバ２０と、登録端末４０と、メンテナンス用端末５０と、を含む。これらのうち、登録サーバ２０および登録端末４０は、この画像検索システム１を運営するサービス提供者と、当該サービス提供者と所定の契約を交わした者（事業者と呼ぶ）と、に限定して利用可能とされている。また、画像検索サーバ１０は、一般ユーザおよび事業者が利用可能とされている。さらに、メンテナンス用端末５０は、サービス提供者に限定して利用可能とされている。 The image search system 1 includes an image search server 10, a registration server 20, a registration terminal 40, and a maintenance terminal 50. Of these, the registration server 20 and the registration terminal 40 are limited to the service provider who operates the image search system 1 and the person (referred to as a business operator) who has a predetermined contract with the service provider. It is said to be available. Further, the image search server 10 can be used by general users and businesses. Further, the maintenance terminal 50 can be used only by the service provider.

画像検索サーバ１０は、画像と連携情報とが関連付けられて格納される画像検索用データベース（ＤＢ）と、画像検索部とを含む。画像検索サーバ１０は、ネットワーク２を介して受信した画像に基づき画像検索を行い、画像に対応する連携情報を検索結果として出力する。画像検索サーバ１０は、検索結果として取得した連携情報を、当該画像の送信元に返す。 The image search server 10 includes an image search database (DB) in which images and linked information are associated and stored, and an image search unit. The image search server 10 performs an image search based on an image received via the network 2, and outputs cooperation information corresponding to the image as a search result. The image search server 10 returns the cooperation information acquired as a search result to the sender of the image.

例えば、一般ユーザは、特定の画像を含む被写体３１を検索端末３０により撮像する。検索端末３０は、被写体３１を撮像した撮像画像をネットワーク２を介して画像検索システム１に送信する。当該撮像画像は、画像検索システム１において、画像検索サーバ１０に渡される。画像検索サーバ１０は、検索端末３０から送信された撮像画像に基づき画像検索を行い、例えば被写体３１に含まれる特定の画像に類似した画像を、画像検索用ＤＢから検索する。画像検索サーバ１０は、検索された画像に関連付けられた連携情報を、検索端末３０に返す。 For example, a general user captures a subject 31 including a specific image by a search terminal 30. The search terminal 30 transmits the captured image of the subject 31 to the image search system 1 via the network 2. The captured image is passed to the image search server 10 in the image search system 1. The image search server 10 performs an image search based on the captured image transmitted from the search terminal 30, and searches, for example, an image similar to a specific image included in the subject 31 from the image search DB. The image search server 10 returns the cooperation information associated with the searched image to the search terminal 30.

連携情報が例えばＷｅｂサイト６０のＵＲＬ(Uniform Resource Locator)であれば、一般ユーザは、この連携情報に基づき、Ｗｅｂサイト６０にアクセスして、特定のコンテンツを取得することができる。例えば、コンテンツを提供するためのＷｅｂサイト６０を運営する事業者を考え、当該事業者は、特定の画像を含む被写体３１を用意すると共に、当該特定の画像を画像検索用ＤＢに登録しておく。こうすることで、当該事業者は、当該被写体３１を撮像させることで一般ユーザをＷｅｂサイト６０にアクセスさせ、当該一般ユーザにコンテンツを提供することができる。 If the linkage information is, for example, the URL (Uniform Resource Locator) of the website 60, a general user can access the website 60 and acquire specific content based on the linkage information. For example, consider a business operator that operates a website 60 for providing content, and the business operator prepares a subject 31 including a specific image and registers the specific image in an image search DB. .. By doing so, the business operator can make the general user access the website 60 by imaging the subject 31, and provide the content to the general user.

登録サーバ２０は、画像検索サーバ１０と同等の構成を含み、ネットワーク２を介して受信した画像に基づく画像検索を行い、画像に対応する連携情報を検索結果として出力する。事業者は、登録端末４０を用いて登録サーバ２０に画像を登録し、検索端末３０から登録サーバ２０にアクセスして、当該画像に係る検索をテストすることができる。例えば、サービス提供者は、事業者による登録画像のテストが完了すると、メンテナンス用端末５０を用いて、登録サーバ２０における画像検索用ＤＢの内容を画像検索サーバ１０における画像検索用ＤＢに反映させる。 The registration server 20 includes the same configuration as the image search server 10, performs an image search based on an image received via the network 2, and outputs cooperation information corresponding to the image as a search result. The business operator can register an image in the registration server 20 using the registration terminal 40, access the registration server 20 from the search terminal 30, and test the search related to the image. For example, when the test of the registered image by the business operator is completed, the service provider uses the maintenance terminal 50 to reflect the contents of the image search DB in the registration server 20 in the image search DB in the image search server 10.

図２は、実施形態に係る画像検索システム１のシステム構成の例を示すブロック図である。なお、図２において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。 FIG. 2 is a block diagram showing an example of the system configuration of the image search system 1 according to the embodiment. In FIG. 2, the same reference numerals are given to the portions common to those in FIG. 1 described above, and detailed description thereof will be omitted.

画像検索システム１において、画像検索サーバ１０は、上述したように、一般ユーザからの検索要求に応じて参照される、公開用の画像検索用ＤＢを含む。一方、画像検索システム１において、登録サーバ２０は、事業者が画像および連携情報を公開用の画像検索用ＤＢに登録する前に、試用にて画像および連携情報を登録する、試用の画像検索用ＤＢを含む。試用の画像検索用ＤＢに登録された画像および連携情報は、サービス提供者により、公開用の画像検索用ＤＢにアップロードされる。 In the image search system 1, as described above, the image search server 10 includes a public image search DB that is referred to in response to a search request from a general user. On the other hand, in the image search system 1, the registration server 20 registers the image and the cooperation information in the trial before the business operator registers the image and the cooperation information in the public image search DB, for the trial image search. Includes DB. The images and cooperation information registered in the trial image search DB are uploaded to the public image search DB by the service provider.

画像検索サーバ１０は、当該画像検索サーバ１０で動作するモジュールとして、画像検索サービス１００と、ＤＢ管理サービス１０１と、画像検索用ＤＢ１０２と、インタフェース部１０３と、ログ収集サービス１０４と、を含む。 The image search server 10 includes an image search service 100, a DB management service 101, an image search DB 102, an interface unit 103, and a log collection service 104 as modules that operate on the image search server 10.

インタフェース部１０３は、画像検索サーバ１０の各部、および、登録サーバ２０とに対するインタフェースである。インタフェース部１０３は、Ｗｅｂアプリに対するインタフェースを含み、例えば検索端末３０に搭載される、この画像検索システム１による画像検索機能を利用するための、Ｗｅｂアプリとして構成される検索アプリと協働して、検索端末３０と画像検索サービス１００およびＤＢ管理サービス１０１との間の通信を行う。 The interface unit 103 is an interface to each unit of the image search server 10 and the registration server 20. The interface unit 103 includes an interface for a Web application, and cooperates with a search application configured as a Web application for using the image search function by the image search system 1 mounted on the search terminal 30, for example. Communication is performed between the search terminal 30 and the image search service 100 and the DB management service 101.

画像検索用ＤＢ１０２は、上述した公開用の画像検索用ＤＢであって、画像と、連携情報とが関連付けられて登録される。画像検索用ＤＢ１０２は、画像を、例えば、画像の特徴を抽出した特徴情報として登録する。連携情報は、例えばＵＲＬである。 The image search DB 102 is the above-mentioned public image search DB, and the image and the cooperation information are associated and registered. The image search DB 102 registers an image as, for example, feature information from which features of the image have been extracted. The cooperation information is, for example, a URL.

ＤＢ管理サービス１０１は、画像検索用ＤＢ１０２に登録される特徴情報および連携情報の管理を行う。ＤＢ管理サービス１０１は、例えば、後述するインタフェース部１０３からの要求に応じて、画像検索用ＤＢ１０２に登録される特徴情報および連携情報を更新する。また、ＤＢ管理サービス１０１は、ＤＢ管理用アプリケーションにより、後述する画像検索サービス１００の要求に応じて、画像検索用ＤＢ１０２に登録される特徴情報を参照して、画像検索サービス１００に返す。 The DB management service 101 manages the feature information and the cooperation information registered in the image search DB 102. The DB management service 101 updates the feature information and the cooperation information registered in the image search DB 102, for example, in response to a request from the interface unit 103 described later. Further, the DB management service 101 refers to the feature information registered in the image search DB 102 and returns it to the image search service 100 in response to a request from the image search service 100, which will be described later, by the DB management application.

画像検索サービス１００は、検索端末３０により被写体３１が撮像された撮像画像と、この撮像画像に基づく画像検索を要求する検索要求とがインタフェース部１０３を介して渡される。画像検索サービス１００は、インタフェース部１０３から渡された検索要求に従い、撮像画像を解析して特徴情報を抽出する。画像検索サービス１００は、抽出した特徴情報に基づき、ＤＢ管理サービス１０１に対して画像検索用ＤＢ１０２に登録される特徴情報の参照を要求し、当該登録される特徴情報から、抽出した特徴情報に対する類似度が高い特徴情報を検索する。 In the image search service 100, an image captured by the subject 31 by the search terminal 30 and a search request requesting an image search based on the captured image are passed via the interface unit 103. The image search service 100 analyzes the captured image and extracts the feature information according to the search request passed from the interface unit 103. The image search service 100 requests the DB management service 101 to refer to the feature information registered in the image search DB 102 based on the extracted feature information, and is similar to the feature information extracted from the registered feature information. Search for feature information with a high degree.

画像検索サービス１００は、ＤＢ管理サービス１０１に対して、検索結果の特徴情報に関連付けられて画像検索用ＤＢ１０２に登録される連携情報を要求する。ＤＢ管理サービス１０１は、この要求に応じて画像検索用ＤＢ１０２から連携情報を取り出し、画像検索サービス１００に渡す。画像検索サービス１００は、ＤＢ管理サービス１０１から渡された連携情報を、インタフェース部１０３から検索端末３０に返す。 The image search service 100 requests the DB management service 101 for cooperation information associated with the feature information of the search result and registered in the image search DB 102. The DB management service 101 takes out the cooperation information from the image search DB 102 in response to this request and passes it to the image search service 100. The image search service 100 returns the cooperation information passed from the DB management service 101 from the interface unit 103 to the search terminal 30.

ログ収集サービス１０４は、例えば検索端末３０からインタフェース部１０３へのアクセスに応じたログ情報を収集し、収集したログ情報を後述するステータスＤＢ２１４に登録する。 The log collection service 104 collects log information according to access to the interface unit 103 from, for example, the search terminal 30, and registers the collected log information in the status DB 214 described later.

登録サーバ２０は、画像検索サービス２００と、ＤＢ管理サービス２０１と、画像検索用ＤＢ２０２と、インタフェース部２０３と、を含む。これら画像検索サービス２００、ＤＢ管理サービス２０１および画像検索用ＤＢ２０２は、画像検索サーバ１０に含まれる画像検索サービス１００、ＤＢ管理サービス１０１および画像検索用ＤＢ１０２と同等の機能を有する。ここで、画像検索用ＤＢ２０２は、上述した試用の画像検索用ＤＢである。 The registration server 20 includes an image search service 200, a DB management service 201, an image search DB 202, and an interface unit 203. The image search service 200, the DB management service 201, and the image search DB 202 have the same functions as the image search service 100, the DB management service 101, and the image search DB 102 included in the image search server 10. Here, the image search DB 202 is the above-mentioned trial image search DB.

例えば、ＤＢ管理サービス２０１は、上述したＤＢ管理サービス１０１と同等の機能を有し、画像検索用ＤＢ２０２に登録される画像（特徴情報）および連携情報の管理を行う。 For example, the DB management service 201 has the same function as the above-mentioned DB management service 101, and manages images (feature information) and cooperation information registered in the image search DB 202.

事業者は、検索端末３０を用いて被写体３１を撮像し、撮像画像および検索要求をインタフェース部２０３に送信する。これにより、事業者は、画像検索用ＤＢ２０２に登録された画像を撮像画像に基づき参照し、当該画像に関連付けられて画像検索用ＤＢ２０２に登録された連携情報を取得し、画像検索用ＤＢ２０２に登録された画像および連携情報を確認することができる。 The business operator uses the search terminal 30 to image the subject 31, and transmits the captured image and the search request to the interface unit 203. As a result, the business operator refers to the image registered in the image search DB 202 based on the captured image, acquires the cooperation information associated with the image and registered in the image search DB 202, and registers it in the image search DB 202. You can check the images and cooperation information that have been created.

登録サーバ２０は、さらに、インタフェース部２１０と、ユーザ管理サービス２１１と、ユーザＤＢ２１２と、ログ管理サービス２１３と、ステータスＤＢ２１４と、を含む。ユーザ管理サービス２１１は、ユーザＤＢ２１２に登録されるユーザ情報を管理する。ログ管理サービス２１３は、ステータスＤＢ２１４に格納されるログ情報を管理する。 The registration server 20 further includes an interface unit 210, a user management service 211, a user DB 212, a log management service 213, and a status DB 214. The user management service 211 manages the user information registered in the user DB 212. The log management service 213 manages the log information stored in the status DB 214.

インタフェース部２０３および２１０は、Ｗｅｂアプリに対応するインタフェースを含む。インタフェース部２０３は、例えば登録端末４０に搭載される、提供者が画像検索用ＤＢ２０２に対する画像（特徴情報）の登録、当該画像に関連付けられる連携情報の設定などを行うための、Ｗｅｂアプリとして構成される登録ツール４１と協働して、登録端末４０と画像検索サービス２００およびＤＢ管理サービス２０１との間の通信を行う。 The interface units 203 and 210 include an interface corresponding to the Web application. The interface unit 203 is configured as a Web application mounted on the registration terminal 40, for example, for the provider to register an image (feature information) in the image search DB 202, set cooperation information associated with the image, and the like. Communication between the registration terminal 40 and the image search service 200 and the DB management service 201 is performed in cooperation with the registration tool 41.

インタフェース部２１０は、登録端末４０に搭載される、提供者がユーザ管理サービス２１１によるユーザ情報の管理を行うための、Ｗｅｂアプリとして構成される管理ツールと協働して、登録端末４０とユーザ管理サービス２１１との間の通信を行う。なお、登録端末４０は、ログ管理サービス２１３とは、直接的に通信を行い、ステータスＤＢ２１４に格納されるログ情報を閲覧することが可能である。 The interface unit 210 cooperates with a management tool configured as a Web application for the provider to manage user information by the user management service 211 mounted on the registration terminal 40, and manages the registration terminal 40 and the user. Communicate with service 211. The registration terminal 40 can directly communicate with the log management service 213 and browse the log information stored in the status DB 214.

メンテナンス用端末５０は、画像検索用ＤＢ１０２に登録される画像（特徴情報）および連携情報のメンテナンスを行う。また、メンテナンス用端末５０は、画像検索用ＤＢ２０２に登録される画像（特徴情報）および連携情報を、画像検索サーバ１０内の画像検索用ＤＢ１０２にアップロードする。この、メンテナンス用端末５０による画像および連携情報のアップロードは、例えば、バッチ処理により、開始時間を夜間に指定して実行される。 The maintenance terminal 50 maintains the image (feature information) and cooperation information registered in the image search DB 102. Further, the maintenance terminal 50 uploads the image (feature information) and the cooperation information registered in the image search DB 202 to the image search DB 102 in the image search server 10. The uploading of the image and the cooperation information by the maintenance terminal 50 is executed, for example, by batch processing with the start time specified at night.

［既存技術に係る画像検索］
ここで、上述した画像検索システム１における、既存技術に係る画像検索について、概略的に説明する。図３は、既存技術に係る画像検索を説明するための図である。画像検索システム１において、図３（ｂ）に示す画像３０１ａ、３０１ｂおよび３０１ｃは、画像検索サーバ１０が有する画像検索用ＤＢに登録される、検索対象の画像である。理解を容易とするために、画像３０１ａは、果実の「ミカン」の画像、画像３０１ｂは、果実の「オレンジ」の画像、画像３０１ｃは、果実の「オレンジ」を含む複数の果実を含んだ画像であるものとする。また、事業者は、画像３０１ｂを含む被写体３１を用意し、画像３０１ｂに対して、当該事業者が運営するＷｅｂサイトのＵＲＬを連携情報として関連付けているものとする。 [Image search related to existing technology]
Here, the image search according to the existing technique in the image search system 1 described above will be schematically described. FIG. 3 is a diagram for explaining an image search according to an existing technique. In the image search system 1, the images 301a, 301b and 301c shown in FIG. 3B are images to be searched, which are registered in the image search DB of the image search server 10. For ease of understanding, image 301a is an image of a fruit "orange", image 301b is an image of a fruit "orange", and image 301c is an image containing a plurality of fruits including the fruit "orange". It shall be. Further, it is assumed that the business operator prepares the subject 31 including the image 301b and associates the URL of the website operated by the business operator with the image 301b as cooperation information.

一般ユーザは、検索端末３０を用いて被写体３１を撮像し、撮像画像を、検索を行う検索画像として、検索要求と共に画像検索サーバ１０に送信する。図３（ａ）は、この検索画像３００の例を示す。検索画像３００は、例えば検索端末３０のカメラと被写体３１との位置関係、露光や被写体３１に対する外光の反射など様々な影響により、元の画像３０１ｂと完全に一致した画像とはならないことが多い。 A general user uses a search terminal 30 to image a subject 31, and transmits the captured image to the image search server 10 together with a search request as a search image for searching. FIG. 3A shows an example of the search image 300. The search image 300 often does not completely match the original image 301b due to various influences such as the positional relationship between the camera of the search terminal 30 and the subject 31, exposure, and reflection of external light on the subject 31. ..

画像検索サーバ１０は、画像検索用ＤＢに登録される画像３０１ａ、３０１ｂおよび３０１ｃと、検索画像３００と、の類似度をそれぞれ求める。以下では、類似度をスコアの値で表し、検索画像と登録画像とが完全に一致した場合にスコアが値「１００」、全く類似点が無い場合にスコアが値「０」とし、スコアの値が大きいほど、高い類似度を示すものとする。 The image search server 10 obtains the degree of similarity between the images 301a, 301b and 301c registered in the image search DB and the search image 300, respectively. In the following, the degree of similarity is expressed by the value of the score, the score is set to the value "100" when the search image and the registered image are completely matched, and the score is set to the value "0" when there is no similarity at all. The larger the value, the higher the similarity.

検索画像３００に基づく検索の結果、図３（ｂ）に例示されるように、画像３０１ａ、３０１ｂおよび３０１ｃについて、それぞれスコアの値「７０」、「６０」および「３０」が得られたものとする。画像検索サーバ１０が、画像検索により得られた各スコア値のうち最も値の大きなスコア値に従い検索結果を採用する場合、図３（ｂ）の例では、被写体３１を用意した事業者が意図した画像３０１ｂとは異なる、画像３０１ａが検索結果として採用され、当該画像３０１ａに関連付けられた連携情報が、一般ユーザの検索端末３０に送信される。したがって、当該事業者は、意図した結果を得られないことになる。 As a result of the search based on the search image 300, the score values "70", "60" and "30" were obtained for the images 301a, 301b and 301c, respectively, as illustrated in FIG. 3B. do. When the image search server 10 adopts the search result according to the score value having the largest value among the score values obtained by the image search, in the example of FIG. 3B, the business operator who prepared the subject 31 intended. The image 301a, which is different from the image 301b, is adopted as the search result, and the cooperation information associated with the image 301a is transmitted to the search terminal 30 of a general user. Therefore, the business operator cannot obtain the intended result.

実施形態では、この点を解消するために、画像検索用ＤＢにおいて、検索要求の検索結果として応答される画像３０１ａ、３０１ｂおよび３０１ｃを登録するためのＤＢ（通常ＤＢと呼ぶ）と、検索結果として優先して採用させたい画像３０１ｂを登録するためのＤＢ（優先ＤＢと呼ぶ）と、を設ける。以下、適宜、通常ＤＢに登録される画像を通常画像（第１の画像）と呼び、優先ＤＢに登録される画像を優先画像（第２の画像）と呼ぶ。実施形態では、通常画像に対する検索結果を、優先画像を用いて検証する。 In the embodiment, in order to solve this problem, in the image search DB, a DB (referred to as a normal DB) for registering the images 301a, 301b and 301c to be responded as the search result of the search request and as a search result. A DB (referred to as a priority DB) for registering the image 301b to be preferentially adopted is provided. Hereinafter, the image registered in the normal DB is referred to as a normal image (first image), and the image registered in the priority DB is referred to as a priority image (second image). In the embodiment, the search result for the normal image is verified by using the priority image.

画像検索サーバ１０は、検索端末３０から送信された、画像３０１ｂを含む被写体３１を撮像した撮像画像を検索画像３００として、先ず、通常ＤＢおよび優先ＤＢを対象として第１の画像検索を行う。次に、第１の画像検索の検索結果に応じて、優先ＤＢに登録される優先画像（この例では画像３０１ｂ）を検索画像３００として用いて、通常ＤＢを対象として第２の画像検索を行う。画像検索サーバ１０は、第１の検索結果において最も類似度の高い画像の、第２の画像検索の検索結果における優先度の順位に基づき、検索端末３０からの検索要求に応じた最終的な検索結果を決定する。 The image search server 10 uses the captured image of the subject 31 including the image 301b transmitted from the search terminal 30 as the search image 300, and first performs a first image search on the normal DB and the priority DB. Next, according to the search result of the first image search, the priority image (image 301b in this example) registered in the priority DB is used as the search image 300, and the second image search is performed on the normal DB. .. The image search server 10 makes a final search in response to a search request from the search terminal 30 based on the priority order of the images having the highest similarity in the first search result in the search result of the second image search. Determine the result.

このように、実施形態では、事業者の意図する画像３０１ｂを含む被写体３１を撮像した撮像画像に基づき通常ＤＢおよび優先ＤＢを対象として第１の画像検索を行い、優先ＤＢに登録される優先画像に基づき第２の画像検索を行う。そして、第２の画像検索の結果に基づき第１の画像検索の検索結果を評価する。これにより、被写体３１を撮像した撮像画像に基づく画像検索の検索結果を、より正確に取得することができる。 As described above, in the embodiment, the first image search is performed on the normal DB and the priority DB based on the captured image of the subject 31 including the image 301b intended by the business operator, and the priority image registered in the priority DB is registered. A second image search is performed based on. Then, the search result of the first image search is evaluated based on the result of the second image search. As a result, it is possible to more accurately acquire the search result of the image search based on the captured image obtained by capturing the subject 31.

［実施形態に係る画像検索システムのより詳細な構成］
次に、実施形態に係る画像検索システム１のより詳細な構成について説明する。図４は、実施形態に係る、画像検索システム１に含まれる画像検索用ＤＢの一例の構成を示すブロック図である。図４（ａ）は、画像検索サーバ１０に含まれる画像検索用ＤＢ１０２の構成例を示し、図４（ｂ）は、登録サーバ２０に含まれる画像検索用ＤＢ２０２の構成例を示す。 [More detailed configuration of the image search system according to the embodiment]
Next, a more detailed configuration of the image search system 1 according to the embodiment will be described. FIG. 4 is a block diagram showing a configuration of an example of an image search DB included in the image search system 1 according to the embodiment. FIG. 4A shows a configuration example of the image search DB 102 included in the image search server 10, and FIG. 4B shows a configuration example of the image search DB 202 included in the registration server 20.

図４（ａ）において、画像検索用ＤＢ１０２は、通常ＤＢ１０２ａと、優先ＤＢ１０２ｂと、を含む。通常ＤＢ１０２ａは、画像ＤＢ１０２０ａと、連携情報ＤＢ１０２１ａと、を含む。画像ＤＢ１０２０ａは、上述した、検索要求に対する検索結果として応答させる画像（通常画像）が登録され、連携情報ＤＢ１０２１ａは、画像ＤＢ１０２０ａに登録される通常画像に関連付けられた連携情報が登録される。 In FIG. 4A, the image search DB 102 usually includes a DB 102a and a priority DB 102b. Normally, the DB 102a includes an image DB 1020a and a cooperation information DB 1021a. In the image DB 1020a, an image (normal image) to be responded as a search result to the above-mentioned search request is registered, and in the cooperation information DB 1021a, the cooperation information associated with the normal image registered in the image DB 1020a is registered.

優先ＤＢ１０２ｂも同様に、画像ＤＢ１０２０ｂと、連携情報ＤＢ１０２１ｂと、を含む。画像ＤＢ１０２０ｂは、検索結果として優先して採用させたい画像（優先画像）が登録され、連携情報ＤＢ１０２１ｂは、画像ＤＢ１０２０ｂに登録される優先画像に関連付けられた連携情報が登録される。 The priority DB 102b also includes the image DB 1020b and the cooperation information DB 1021b. In the image DB 1020b, an image (priority image) to be preferentially adopted as a search result is registered, and in the cooperation information DB 1021b, cooperation information associated with the priority image registered in the image DB 1020b is registered.

図４（ｂ）に例示される画像検索用ＤＢ２０２は、図４（ａ）の画像検索用ＤＢ１０２と同等の構成を有する。すなわち、図４（ｂ）において、通常ＤＢ２０２ａは、図４（ａ）の通常ＤＢ１０２ａと対応し、通常ＤＢ２０２ａに含まれる画像ＤＢ２０２０ａおよび連携情報ＤＢ２０２１ａは、それぞれ、画像ＤＢ１０２０ａおよび連携情報ＤＢ１０２１ａに対応する。同様に、図４（ｂ）において、優先ＤＢ２０２ｂは、図４（ａ）の優先ＤＢ１０２ｂと対応し、優先ＤＢ２０２ｂに含まれる画像ＤＢ２０２０ｂおよび連携情報ＤＢ２０２１ｂは、それぞれ、画像ＤＢ１０２０ｂおよび連携情報ＤＢ１０２１ｂに対応する。 The image search DB 202 exemplified in FIG. 4 (b) has the same configuration as the image search DB 102 in FIG. 4 (a). That is, in FIG. 4B, the normal DB 202a corresponds to the normal DB 102a of FIG. 4 (a), and the image DB 2020a and the cooperation information DB 2021a included in the normal DB 202a correspond to the image DB 1020a and the cooperation information DB 1021a, respectively. Similarly, in FIG. 4B, the priority DB 202b corresponds to the priority DB 102b of FIG. 4A, and the image DB 2020b and the linkage information DB 2021b included in the priority DB 202b correspond to the image DB 1020b and the linkage information DB 1021b, respectively. ..

この優先ＤＢ１０２ｂおよび２０２ｂへの優先画像および連携情報の登録は、例えば、当該画像検索システム１を利用可能な事業者のうち、この画像検索システム１のサービス提供者に対して優先画像の登録に関する特定の契約をさらに交わした者が限定的に利用できるものとし、通常ＤＢ１０２ａおよび２０２ａへの通常画像および連携情報の登録と区別する。 The registration of the priority image and the cooperation information in the priority DBs 102b and 202b is, for example, specific to the service provider of the image search system 1 regarding the registration of the priority image among the businesses that can use the image search system 1. The registration of the normal image and the cooperation information in the normal DB 102a and 202a shall be distinguished from the registration of the normal image and the cooperation information in the normal DB 102a and 202a.

図５は、実施形態に適用可能な画像検索サーバ１０の一例の構成を示すブロック図である。なお、図５の構成は、登録サーバ２０にも適用可能である。 FIG. 5 is a block diagram showing a configuration of an example of the image search server 10 applicable to the embodiment. The configuration of FIG. 5 is also applicable to the registration server 20.

図５において、画像検索サーバ１０は、それぞれバス１００５に接続される、ＣＰＵ(Central Processing Unit)１０００と、ＲＯＭ(Read Only Memory)１００１と、ＲＡＭ(Random Access Memory)１００２と、ストレージ１００３と、通信インタフェース（Ｉ／Ｆ）１００４と、を含む。ストレージ１００３は、不揮発にデータを記憶可能な記憶媒体であって、ハードディスクドライブや、フラッシュメモリを適用することができる。 In FIG. 5, the image search server 10 communicates with a CPU (Central Processing Unit) 1000, a ROM (Read Only Memory) 1001, a RAM (Random Access Memory) 1002, and a storage 1003, which are connected to the bus 1005, respectively. Includes interface (I / F) 1004 and. The storage 1003 is a storage medium capable of non-volatilely storing data, and a hard disk drive or a flash memory can be applied.

ＣＰＵ１０００は、ＲＯＭ１００１およびストレージ１００３に記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この画像検索サーバ１０の全体の動作を制御する。通信Ｉ／Ｆ１００４は、ネットワーク２を介した通信や、登録サーバ２０との通信を制御する。 The CPU 1000 controls the overall operation of the image search server 10 by using the RAM 1002 as a work memory according to the programs stored in the ROM 1001 and the storage 1003. The communication I / F 1004 controls communication via the network 2 and communication with the registration server 20.

図６は、実施形態に係る画像検索サーバ１０の機能を説明するための一例の機能ブロック図である。なお、図６に示される機能構成は、登録サーバ２０にも同様に適用可能である。 FIG. 6 is a functional block diagram of an example for explaining the function of the image search server 10 according to the embodiment. The functional configuration shown in FIG. 6 can be similarly applied to the registration server 20.

図６において、画像検索サーバ１０は、通信部１０１０と、制御部１０１１と、画像検索部１０１２と、登録部１０１３と、判定部１０１４と、削除部１０１５と、を含む。また、登録部１０１３は、通常ＤＢ登録部１０１３ａと、優先ＤＢ登録部１０１３ｂと、を含む。 In FIG. 6, the image search server 10 includes a communication unit 1010, a control unit 1011, an image search unit 1012, a registration unit 1013, a determination unit 1014, and a deletion unit 1015. Further, the registration unit 1013 includes a normal DB registration unit 1013a and a priority DB registration unit 1013b.

これら通信部１０１０、制御部１０１１、画像検索部１０１２、登録部１０１３（通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂ）、判定部１０１４および削除部１０１５は、ＣＰＵ１０００上で実施形態に係る画像検索プログラムが動作することで実現される。これに限らず、通信部１０１０、制御部１０１１、画像検索部１０１２、登録部１０１３（通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂ）、判定部１０１４および削除部１０１５の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。 The communication unit 1010, the control unit 1011, the image search unit 1012, the registration unit 1013 (normal DB registration unit 1013a and the priority DB registration unit 1013b), the determination unit 1014, and the deletion unit 1015 are the image search programs according to the embodiment on the CPU 1000. Is realized by the operation of. Not limited to this, a part or all of the communication unit 1010, the control unit 1011, the image search unit 1012, the registration unit 1013 (normal DB registration unit 1013a and the priority DB registration unit 1013b), the determination unit 1014, and the deletion unit 1015 can be used with each other. It may be configured by a hardware circuit that operates in cooperation.

通信部１０１０は、通信Ｉ／Ｆ１００４を制御して、ネットワーク２を介した通信を行う。また、通信部１０１０は、図６が画像検索サーバ１０の機能を示す場合には、登録サーバ２０との通信を行い、登録サーバ２０の機能を示す場合には、画像検索サーバ１０との通信を行う。制御部１０１１は、この画像検索サーバ１０（登録サーバ２０）の全体の動作を制御する。 The communication unit 1010 controls the communication I / F 1004 to perform communication via the network 2. Further, the communication unit 1010 communicates with the registration server 20 when FIG. 6 shows the function of the image search server 10, and communicates with the image search server 10 when the function of the registration server 20 is shown. conduct. The control unit 1011 controls the overall operation of the image search server 10 (registration server 20).

画像検索部１０１２は、検索要求に応じて、画像検索用ＤＢ１０２に登録される画像を対象画像として、検索画像の検索を行う。すなわち、画像検索部１０１２は、例えば通信部１０１０から受け取った検索画像を解析して特徴情報を抽出し、抽出した特徴情報に基づき、画像検索用ＤＢ１０２に登録された各画像の、検索画像に対する類似度を求める。画像検索部１０１２は、求めた類似度に応じて「０」乃至「１００」の値を取るスコアを出力する。 The image search unit 1012 searches for a search image using an image registered in the image search DB 102 as a target image in response to a search request. That is, the image search unit 1012 analyzes, for example, the search image received from the communication unit 1010 to extract feature information, and based on the extracted feature information, each image registered in the image search DB 102 is similar to the search image. Find the degree. The image search unit 1012 outputs a score that takes a value of "0" to "100" according to the obtained similarity.

登録部１０１３は、画像検索用ＤＢ１０２に対して画像および連携情報の登録を行う。より詳細には、登録部１０１３において、通常ＤＢ登録部１０１３ａは、通常ＤＢ１０２ａに含まれる画像ＤＢ１０２０ａおよび連携情報ＤＢ１０２１ａに、通常画像および連携情報を登録する（第１の登録手段）。同様に、登録部１０１３において、優先ＤＢ登録部１０１３ｂは、優先ＤＢ１０２ｂに含まれる画像ＤＢ１０２０ｂおよび連携情報ＤＢ１０２１ｂに、優先画像および連携情報を登録する（第２の登録手段）。 The registration unit 1013 registers the image and the cooperation information in the image search DB 102. More specifically, in the registration unit 1013, the normal DB registration unit 1013a registers the normal image and the cooperation information in the image DB 1020a and the cooperation information DB 1021a included in the normal DB 102a (first registration means). Similarly, in the registration unit 1013, the priority DB registration unit 1013b registers the priority image and the cooperation information in the image DB 1020b and the cooperation information DB 1021b included in the priority DB 102b (second registration means).

判定部１０１４は、上述した第１の画像検索および第２の画像検索に応じた、類似画像の判定処理を行う。削除部１０１５は、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂに登録される画像および連携情報を削除する。 The determination unit 1014 performs determination processing of similar images according to the above-mentioned first image search and second image search. The deletion unit 1015 deletes the images and linkage information normally registered in the DB 102a and the priority DB 102b.

図７は、実施形態に適用可能な登録端末４０の一例のハードウェア構成を示すブロック図である。図７に示される登録端末４０において、バス４０１０に対してＣＰＵ４０００、ＲＯＭ４００１、ＲＡＭ４００２およびグラフィクスＩ／Ｆ４００３が接続される。また、バス４０１０に対して、ストレージ４００４、データＩ／Ｆ４００５、入力デバイス４００６、通信Ｉ／Ｆ４００７が接続される。 FIG. 7 is a block diagram showing a hardware configuration of an example of the registration terminal 40 applicable to the embodiment. In the registration terminal 40 shown in FIG. 7, the CPU 4000, ROM 4001, RAM 4002 and graphics I / F 4003 are connected to the bus 4010. Further, the storage 4004, the data I / F 4005, the input device 4006, and the communication I / F 4007 are connected to the bus 4010.

ストレージ４００４は、データを不揮発に記憶することが可能な記憶媒体であって、ハードディスクドライブやフラッシュメモリを適用することができる。ストレージ４００４は、ＣＰＵ４０００が実行するためのプログラムや各種データが格納される。ＣＰＵ４０００は、ＲＯＭ４００１およびストレージ４００４に記憶されるプログラムに従い、ＲＡＭ４００２をワークメモリとして用いて、この登録端末４０の全体を制御する。グラフィクスＩ／Ｆ４００３は、ＣＰＵ４０００により生成された表示制御信号を、ディスプレイ４００８が表示可能な信号に変換して出力する。 The storage 4004 is a storage medium capable of storing data non-volatilely, and a hard disk drive or a flash memory can be applied. The storage 4004 stores programs and various data for execution by the CPU 4000. The CPU 4000 uses the RAM 4002 as a work memory according to the programs stored in the ROM 4001 and the storage 4004, and controls the entire registration terminal 40. The graphics I / F 4003 converts the display control signal generated by the CPU 4000 into a signal that can be displayed by the display 4008 and outputs the signal.

データＩ／Ｆ４００５は、外部機器との間でデータの入出力を行う。データＩ／Ｆ４００５としては、例えば、ＵＳＢ(Universal Serial Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）といったインタフェースを適用することができる。入力デバイス４００６は、マウスやタブレットといったポインティングデバイスや、キーボードであって、ユーザ入力を受け付ける。ユーザは、例えばディスプレイ４００８の表示に応じて入力デバイス４００６を操作することで、登録端末４０に対して指示を出すことができる。通信Ｉ／Ｆ４００７は、ＣＰＵ４０００の制御に従いネットワーク２を介した通信を行う。 The data I / F 4005 inputs / outputs data to / from an external device. As the data I / F 4005, for example, an interface such as USB (Universal Serial Bus) or Bluetooth (registered trademark) can be applied. The input device 4006 is a pointing device such as a mouse or a tablet, or a keyboard, and accepts user input. The user can issue an instruction to the registration terminal 40, for example, by operating the input device 4006 according to the display of the display 4008. The communication I / F 4007 communicates via the network 2 under the control of the CPU 4000.

なお、図１に示したメンテナンス用端末５０は、この図７と同様の構成で実現可能であるので、ここでの説明を省略する。 Since the maintenance terminal 50 shown in FIG. 1 can be realized with the same configuration as that of FIG. 7, the description thereof is omitted here.

図８は、実施形態に適用可能な登録端末４０の機能を説明するための一例の機能ブロック図である。図８において、登録端末４０は、登録ツール４１を含み、登録ツール４１は、通信部４１０と、設定部４１１と、入力部４１２と、表示部４１３と、取得部４１４と、を含む。 FIG. 8 is a functional block diagram of an example for explaining the functions of the registration terminal 40 applicable to the embodiment. In FIG. 8, the registration terminal 40 includes a registration tool 41, and the registration tool 41 includes a communication unit 410, a setting unit 411, an input unit 412, a display unit 413, and an acquisition unit 414.

通信部４１０は、通信Ｉ／Ｆ４００７を制御して、ネットワーク２を介した通信を行う。入力部４１２は、入力デバイス４００６に対する入力操作で入力された情報を受け付ける。設定部４１１は、登録対象の画像に対して連携情報の設定を行う。表示部４１３は、ディスプレイ４００８に表示させるための表示情報を生成する。 The communication unit 410 controls the communication I / F 4007 to perform communication via the network 2. The input unit 412 receives the information input by the input operation for the input device 4006. The setting unit 411 sets the cooperation information for the image to be registered. The display unit 413 generates display information for displaying on the display 4008.

取得部４１４は、登録端末４０の外部から画像を取得する。取得部４１４は、他の機器からネットワーク２を介して送信された画像を取得してもよいし、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)といった記録媒体を介して画像を受け取ってもよい。さらに、取得部４１４は、紙などの印刷媒体から画像を取得してもよい。また、取得部４１４は、例えば入力部４１２に受け付けられた情報に従い、画像に関連付ける連携情報のための情報を取得する。 The acquisition unit 414 acquires an image from the outside of the registration terminal 40. The acquisition unit 414 may acquire an image transmitted from another device via the network 2, or may receive the image via a recording medium such as a CD (Compact Disk) or a DVD (Digital Versatile Disk). .. Further, the acquisition unit 414 may acquire an image from a print medium such as paper. Further, the acquisition unit 414 acquires information for cooperation information associated with the image according to, for example, the information received by the input unit 412.

登録端末４０に含まれる登録ツール４１の各部（通信部４１０、設定部４１１、入力部４１２、表示部４１３および取得部４１４）は、Ｗｅｂアプリとして構成され、登録端末４０が登録サーバ２０とアクセスすることにより登録サーバ２０から読み込まれ、ＣＰＵ４０００上で動作するプログラムにより実現される。 Each part (communication unit 410, setting unit 411, input unit 412, display unit 413 and acquisition unit 414) of the registration tool 41 included in the registration terminal 40 is configured as a Web application, and the registration terminal 40 accesses the registration server 20. This is realized by a program that is read from the registration server 20 and runs on the CPU 4000.

より具体的には、登録端末４０は、一般的なコンピュータに搭載されるものと同等のブラウザアプリケーション（以下、ブラウザ）が搭載される。ブラウザは、ＣＰＵ４０００上で動作して、例えばＨＴＭＬ(HyperText Markup Language)に従い記述されたファイルを読み込み、所定の動作を行う。 More specifically, the registration terminal 40 is equipped with a browser application (hereinafter referred to as a browser) equivalent to that installed in a general computer. The browser operates on the CPU 4000, reads a file described according to, for example, HTML (HyperText Markup Language), and performs a predetermined operation.

例えば、画像検索システム１において登録サーバ２０は、登録端末４０において登録ツール４１を構成するためのプログラムを、登録サーバ２０が有するストレージなどに予め記憶しておく。登録端末４０において、ブラウザを用いて登録サーバ２０のインタフェース部２０３にアクセスし、登録サーバ２０が有する当該プログラムを読み込む。ブラウザに読み込まれた当該プログラムにより、登録端末４０上に、Ｗｅｂアプリとしての登録ツール４１が形成される。これに限らず、当該プログラムを記憶するサーバを別途、設けてもよい。 For example, in the image search system 1, the registration server 20 stores in advance a program for configuring the registration tool 41 in the registration terminal 40 in a storage or the like of the registration server 20. In the registration terminal 40, the interface unit 203 of the registration server 20 is accessed by using a browser, and the program of the registration server 20 is read. The program loaded in the browser forms a registration tool 41 as a Web application on the registration terminal 40. Not limited to this, a server for storing the program may be provided separately.

図９～図１１を用いて、登録端末４０において登録ツール４１により表示される登録画面の例について説明する。図９～図１１に示される各画面は、登録端末４０に搭載されるブラウザに例えば画像検索システム１から読み込まれたプログラムに従い、登録端末４０のディスプレイ４００８に表示される。 An example of a registration screen displayed by the registration tool 41 on the registration terminal 40 will be described with reference to FIGS. 9 to 11. Each screen shown in FIGS. 9 to 11 is displayed on the display 4008 of the registration terminal 40 according to a program read from, for example, the image search system 1 in the browser mounted on the registration terminal 40.

図９は、実施形態に適用可能な登録画面の例を示す図である。図９において、登録画面４８０は、ヘッダ領域４８１と、サムネイル表示領域４８３と、ページ編集領域４８４と、プレビュー領域４８５と、対象領域一覧領域４８６と、ツールバー４８８とを含む。 FIG. 9 is a diagram showing an example of a registration screen applicable to the embodiment. In FIG. 9, the registration screen 480 includes a header area 481, a thumbnail display area 483, a page editing area 484, a preview area 485, a target area list area 486, and a toolbar 488.

ヘッダ領域４８１は、この登録画面４８０の登録対象となるキャンペーンの名前が左端に表示され、右端には、登録端末４０にログインしているユーザの権限で利用できるメニューが表示されるユーザメニュー表示部４８２が配置される。なお、キャンペーンは、ここでは、事業者が、画像検索システム１を利用して、自身のＷｅｂサイト（例えばＷｅｂサイト６０）により一般ユーザに対してコンテンツを提供する一連の処理を含む。 In the header area 481, the name of the campaign to be registered on the registration screen 480 is displayed at the left end, and the menu that can be used with the authority of the user logged in to the registration terminal 40 is displayed at the right end. 482 is placed. The campaign includes, here, a series of processes in which the business operator uses the image search system 1 to provide content to a general user through his / her own website (for example, website 60).

サムネイル表示領域４８３は、キャンペーンに係る各画像を縮小したサムネイル画像４８３０1、４８３０2、４８３０3、…が表示されている。なお、顧客は、キャンペーンに係る画像を、予め登録端末４０に読み込ませ例えばストレージ４００４に保存しておく。登録端末４０に当該画像が保存されていない場合、サムネイル表示領域４８３は、空欄の表示となる。 In the thumbnail display area 483, thumbnail images 4830 1 , 4830 2 , 4830 3 , ..., Which are reduced versions of each image related to the campaign, are displayed. The customer loads the image related to the campaign into the registration terminal 40 in advance and saves it in the storage 4004, for example. If the image is not saved in the registration terminal 40, the thumbnail display area 483 is blank.

ページ編集領域４８４は、キャンペーンに含まれる各画像のうち、編集対象となる画像４８４０が表示される。例えば、登録ツール４１は、サムネイル表示領域４８３に表示される各サムネイル画像４８３０1、４８３０2、４８３０3、…から選択したサムネイル画像の元画像を、画像４８４０としてページ編集領域４８４に表示させる。 In the page editing area 484, among the images included in the campaign, the image 4840 to be edited is displayed. For example, the registration tool 41 displays the original image of the thumbnail image selected from the thumbnail images 4830 1 , 4830 2 , 4830 3 , ... Displayed in the thumbnail display area 483 in the page editing area 484 as the image 4840.

登録ツール４１は、ページ編集領域４８４に表示される画像４８４０に対して、例えばユーザによる入力デバイス４００６の操作に応じて範囲が指定された場合、指定された範囲を対象領域として設定することができる。図９の例では、ページ編集領域４８４の画像４８４０に対して矩形の範囲により対象領域４８４１ａおよび４８４１ｂがそれぞれ設定されている。登録ツール４１は、設定された各対象領域４８４１ａおよび４８４１ｂを識別する識別情報を生成し、各対象領域４８４１ａおよび４８４１ｂに関連付ける。 When a range is specified for the image 4840 displayed in the page edit area 484 according to, for example, an operation of the input device 4006 by the user, the registration tool 41 can set the specified range as the target area. .. In the example of FIG. 9, the target areas 4841a and 4841b are set for the image 4840 of the page editing area 484 by the rectangular range, respectively. The registration tool 41 generates identification information that identifies each set target area 4841a and 4841b and associates it with each target area 4841a and 4841b.

プレビュー領域４８５は、ページ編集領域４８４において編集中の画像が検索端末３０に表示される画面をエミュレートしたプレビュー画面４８５０を表示する。 The preview area 485 displays a preview screen 4850 that emulates a screen in which the image being edited in the page editing area 484 is displayed on the search terminal 30.

対象領域一覧領域４８６は、編集対象のキャンペーンに含まれる各画像に設定された各対象領域に付加されている連携情報の一覧が、各対象領域を示すボタン４９０1、４９０2、４９０3、…により一覧で表示される。また、対象領域は、複数の連携情報を含むことができ、この場合、例えばボタン４９０3に含むアイコン４９１、４９１、…のように示される。ボタン４９０1、４９０2、…を指定することで、連携情報設定画面が表示される。 In the target area list area 486, a list of cooperation information added to each target area set for each image included in the campaign to be edited has buttons 490 1 , 490 2 , 490 3 , ... It is displayed in a list by. Further, the target area can include a plurality of cooperation information, and in this case, it is indicated as, for example, icons 491, 491, ... Included in the button 490 3 . By specifying the buttons 490 1 , 490 2 , ..., The cooperation information setting screen is displayed.

図１０は、実施形態に適用可能な、ボタン４９０1、４９０2、…が指定された場合に登録ツール４１により表示される連携情報設定画面の例を示す図である。図１０において、連携情報設定画面４９００（図ではリンク設定画面として示す）は、入力領域４９０１および４９０２と、ボタン４９０３および４９０４とを含む。入力領域４９０１は、この連携情報設定画面４９００において設定される連携情報のタイトルを入力するための領域である。入力領域４９０２は、連携情報を入力するための領域である。ここでは、入力領域４９０２は、連携情報として、ネットワーク２上の情報資源に対するリンクを示すリンク情報である例えばＵＲＬが入力される。 FIG. 10 is a diagram showing an example of a linkage information setting screen displayed by the registration tool 41 when buttons 490 1 , 490 2 , ..., Applicable to the embodiment, are specified. In FIG. 10, the linkage information setting screen 4900 (shown as a link setting screen in the figure) includes input areas 4901 and 4902 and buttons 4903 and 4904. The input area 4901 is an area for inputting the title of the cooperation information set on the cooperation information setting screen 4900. The input area 4902 is an area for inputting cooperation information. Here, in the input area 4902, for example, a URL, which is link information indicating a link to an information resource on the network 2, is input as cooperation information.

ボタン４９０３は、入力領域４９０１および４９０２の入力内容を確定するためのボタンであって、登録ツール４１は、当該ボタン４９０３の操作に応じて入力領域４９０１および４９０２の入力内容を記憶する。また、ボタン４９０４は、この連携情報設定画面４９００による処理をキャンセルするためのボタンであって、登録ツール４１は、当該ボタン４９０４の操作に応じて入力領域４９０１および４９０２の入力内容を例えば破棄する。 The button 4903 is a button for confirming the input contents of the input areas 4901 and 4902, and the registration tool 41 stores the input contents of the input areas 4901 and 4902 according to the operation of the button 4903. Further, the button 4904 is a button for canceling the processing by the cooperation information setting screen 4900, and the registration tool 41 discards, for example, the input contents of the input areas 4901 and 4902 according to the operation of the button 4904.

なお、ここでは、連携情報としてＵＲＬを設定するものとして説明しているが、連携情報として設定可能な情報は、ＵＲＬに限定されない。連携情報としては、ＵＲＬ以外にも、電話番号、位置情報（緯度、経度）、など、検索端末３０上で利用可能な他の情報を用いることができる。 Although it is described here that the URL is set as the cooperation information, the information that can be set as the cooperation information is not limited to the URL. As the cooperation information, other information available on the search terminal 30, such as a telephone number and location information (latitude, longitude), can be used in addition to the URL.

説明は図９に戻り、ツールバー４８８には、ページ編集領域４８４に表示されるページ（画像）を指定するページ指定部４８８０と、登録ツール４１が備える様々な機能を実行させるためのボタンまたはボタン群４８８１～４８８５、４８８７および４８８９と、優先画像の設定を行うためのボタン４９５と、が配置される。これらのうち、ボタン４８８１は、登録画面４８０から直前の画面に戻るためのボタンである。 The explanation returns to FIG. 9, and the toolbar 488 has a page designation unit 4880 for designating a page (image) displayed in the page edit area 484, and a button or a group of buttons for executing various functions provided in the registration tool 41. 4881 to 4885, 4887 and 4889, and a button 495 for setting a priority image are arranged. Of these, the button 4881 is a button for returning from the registration screen 480 to the immediately preceding screen.

ボタン４８８２は、登録端末４０から画像検索システム１に対して画像をアップロードするためのボタンである。ボタン４８８２が操作されると、登録ツール４１は、表示部４１３により、ファイル選択画面の表示を行う。ファイル選択画面は、例えば登録端末４０のＣＰＵ４０００上で動作するＯＳにより提供される、標準のファイル選択画面を適用することができる。 The button 4882 is a button for uploading an image from the registration terminal 40 to the image search system 1. When the button 4882 is operated, the registration tool 41 displays the file selection screen by the display unit 413. As the file selection screen, for example, a standard file selection screen provided by an OS running on the CPU 4000 of the registration terminal 40 can be applied.

ファイル選択画面において所望の画像のファイルを選択して所定の操作を行うことで、登録端末４０は、選択された画像のファイルを登録サーバ２０に送信する。登録サーバ２０は、登録端末４０から送信された画像のファイルを、例えば、登録サーバ２０が有するストレージやメモリなどに記憶する。 By selecting a file of a desired image on the file selection screen and performing a predetermined operation, the registration terminal 40 transmits the file of the selected image to the registration server 20. The registration server 20 stores an image file transmitted from the registration terminal 40 in, for example, a storage or a memory of the registration server 20.

ボタン群４８８３は、ページ編集領域４８４に表示される画像４８４０の表示サイズを調整するための２つのボタンを含む。ボタン４８８４は、ページ編集領域４８４内に領域を設定する領域設定モードを、対象領域の設定を行う対象領域設定モードに切り替えるためのボタンである。登録ツール４１は、このボタン４８８４が操作され編集モードが対象領域設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域を対象領域に設定する。 The button group 4883 includes two buttons for adjusting the display size of the image 4840 displayed in the page edit area 484. The button 4884 is a button for switching the area setting mode for setting the area in the page edit area 484 to the target area setting mode for setting the target area. When the button 4884 is operated to switch the edit mode to the target area setting mode and the area is specified on the image 4840 displayed in the page edit area 484, the registration tool 41 sets the area as the target area. Set to.

ボタン４８８５は、ページ編集領域４８４内に領域を指定する領域設定モードを、画像検索サーバ１０による特徴情報の抽出の対象としないマスク領域を指定するマスク設定モードに切り替えるためのボタンである。登録ツール４１は、このボタン４８８５が操作され編集モードがマスク設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域をマスク領域に設定する。 The button 4885 is a button for switching the area setting mode for designating an area in the page edit area 484 to the mask setting mode for designating a mask area that is not the target of extraction of feature information by the image search server 10. When the button 4885 is operated to switch the editing mode to the mask setting mode and an area is specified on the image 4840 displayed in the page editing area 484, the registration tool 41 sets the area as the mask area. Set.

実施形態では、指定された対象領域に含まれる画像を、優先画像に設定することができる。一例として、登録画面４８０おいて、優先画像に関する設定を行うためのボタン４９５を設けることができる。例えば、優先画像として登録したい画像を含む対象領域（例えば対象領域４８４１ａ）を指定し、ボタン４９５を操作することで、当該対象領域４８４１ａに含まれる画像を優先画像に設定することができる。 In the embodiment, the image included in the designated target area can be set as the priority image. As an example, on the registration screen 480, a button 495 for setting the priority image can be provided. For example, by designating a target area (for example, target area 4841a) including an image to be registered as a priority image and operating the button 495, the image included in the target area 4841a can be set as the priority image.

また、実施形態においては、当該優先画像に期限を設けることが可能である。例えば、対象領域（例えば対象領域４８４１ａ）を指定し、ボタン４９５を操作することで、優先画像公開期限設定画面が表示される。図１１は、実施形態に適用可能な、対象領域が指定され、ボタン４９５が操作された場合に登録ツール４１により表示される優先画像公開期限設定画面の例を示す図である。 Further, in the embodiment, it is possible to set a deadline for the priority image. For example, by designating a target area (for example, target area 4841a) and operating the button 495, the priority image publication deadline setting screen is displayed. FIG. 11 is a diagram showing an example of a priority image publication deadline setting screen displayed by the registration tool 41 when a target area is designated and the button 495 is operated, which is applicable to the embodiment.

図１１において、優先画像公開期限設定画面４９５０は、入力領域４９５１と、ボタン４９５３および４９５４と、を含む。入力領域４９５１は、登録画面４８０においてボタン４９５の操作に応じて設定された優先画像の、画像検索サーバ１０により一般ユーザに対して公開される期限すなわち公開の終了日時を入力するための領域である。入力領域４９５１が空欄の場合には、優先画像の公開期限が無期限に設定される。 In FIG. 11, the priority image publication deadline setting screen 4950 includes an input area 4951 and buttons 4953 and 4954. The input area 4951 is an area for inputting the deadline for the priority image set in response to the operation of the button 495 on the registration screen 480 to be released to general users by the image search server 10, that is, the end date and time of publication. .. If the input area 4951 is blank, the priority image publication deadline is set to indefinite.

ボタン４９５３は、上述のボタン４９５の操作に応じて指定された対象領域に対する優先画像の設定を確定するためのボタンである。登録ツール４１は、当該ボタン４９５３の操作に応じて、当該対象領域（例えば対象領域４８４１ａ）を優先画像として設定すると共に、入力領域４９５１の入力内容を記憶する。また、ボタン４９５４は、当該指定された対象領域に対する優先画像の設定をキャンセルするためのボタンである。登録ツール４１は、当該ボタン４９５４の操作に応じて、対象領域に対する優先画像の指定を破棄する。 The button 4953 is a button for confirming the setting of the priority image for the target area designated according to the operation of the button 495 described above. The registration tool 41 sets the target area (for example, the target area 4841a) as a priority image in response to the operation of the button 4953, and stores the input contents of the input area 4951. Further, the button 4954 is a button for canceling the setting of the priority image for the designated target area. The registration tool 41 discards the designation of the priority image for the target area in response to the operation of the button 4954.

ボタン群４８８７は、情報のコピー、ペーストおよび削除をそれぞれ実行するための３つのボタンを含む。ボタン４８８９は、登録画面４８０において編集中のキャンペーンの保存を、登録サーバ２０に指示する。このボタン４８８９の操作に応じて、登録端末４０からアップロードされた画像と、当該画像に対応する連携情報とが関連付けられて登録サーバ２０が有する画像検索用ＤＢ２０２に保存され、登録される。 The button group 4887 includes three buttons for copying, pasting, and deleting information, respectively. Button 4889 instructs the registration server 20 to save the campaign being edited on the registration screen 480. In response to the operation of the button 4889, the image uploaded from the registration terminal 40 and the cooperation information corresponding to the image are associated with each other and stored in the image search DB 202 of the registration server 20 and registered.

図１２は、実施形態に係る、ボタン４８８９の操作に応じて対象領域の画像を画像検索用ＤＢ２０２に登録する登録処理を示す一例のフローチャートである。図１２のフローチャートによる処理は、例えば、１回のボタン４８８９の操作に応じて、登録画面４８０において対象としているキャンペーンに指定された各対象領域について実行される。 FIG. 12 is an example flowchart showing a registration process for registering an image of a target area in the image search DB 202 according to the operation of the button 4889 according to the embodiment. The process according to the flowchart of FIG. 12 is executed for each target area designated for the target campaign on the registration screen 480, for example, in response to one operation of the button 4889.

なお、図１２のフローチャートによる処理は、図６に示す画像検索サーバ１０における登録部１０１３（通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂ）に対応する、登録サーバ２０の機能により実行される。図１２のフローチャートの説明において、登録部１０１３、通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂは、登録サーバ２０における機能であるものとする。 The process according to the flowchart of FIG. 12 is executed by the function of the registration server 20 corresponding to the registration unit 1013 (normal DB registration unit 1013a and priority DB registration unit 1013b) in the image search server 10 shown in FIG. In the description of the flowchart of FIG. 12, it is assumed that the registration unit 1013, the normal DB registration unit 1013a, and the priority DB registration unit 1013b are functions in the registration server 20.

ステップＳ２００で、登録部１０１３は、登録ツール４１により指定された対象領域の画像を取得する。次のステップＳ２０１で、登録部１０１３は、ステップＳ２００で取得された対象領域の画像が、優先画像として設定された画像であるか否かを判定する。登録部１０１３は、当該対象領域の画像が優先画像として設定された画像であると判定した場合（ステップＳ２０１、「Ｙｅｓ」）、処理をステップＳ２０２に移行する。 In step S200, the registration unit 1013 acquires an image of the target area designated by the registration tool 41. In the next step S201, the registration unit 1013 determines whether or not the image of the target area acquired in step S200 is an image set as the priority image. When the registration unit 1013 determines that the image in the target area is an image set as the priority image (step S201, “Yes”), the registration unit 1013 shifts the process to step S202.

ステップＳ２０２で、登録部１０１３は、優先ＤＢ登録部１０１３ｂにより、当該優先画像を、画像検索用ＤＢ２０２における優先ＤＢ２０２ｂの画像ＤＢ２０２０ｂに登録する。また、登録部１０１３は、優先ＤＢ登録部１０１３ｂにより、当該優先画像に関連付けられる公開期限と連携情報とを、画像検索用ＤＢ２０２における優先ＤＢ２０２ｂの連携情報ＤＢ２０２１ｂに登録する。 In step S202, the registration unit 1013 registers the priority image in the image DB 2020b of the priority DB 202b in the image search DB 202 by the priority DB registration unit 1013b. Further, the registration unit 1013 registers the publication deadline and the cooperation information associated with the priority image in the cooperation information DB 2021b of the priority DB 202b in the image search DB 202 by the priority DB registration unit 1013b.

登録部１０１３は、上述したステップＳ２０１で、当該対象領域の画像が優先画像として設定されていない、すなわち、通常画像として設定されていると判定した場合（ステップＳ２０１、「Ｎｏ」）、処理をステップＳ２１０に移行させる。ステップＳ２１０で、登録部１０１３は、通常ＤＢ登録部１０１３ａにより、当該通常画像を、画像検索用ＤＢ２０２における通常ＤＢ２０２ａの画像ＤＢ２０２０ａに登録する。また、登録部１０１３は、通常ＤＢ登録部１０１３ａにより、当該通常画像に関連付けられる連携情報を、画像検索用ＤＢ２０２における通常ＤＢ２０２ａの連携情報ＤＢ２０２１ａに登録する。 When the registration unit 1013 determines in step S201 described above that the image in the target area is not set as a priority image, that is, is set as a normal image (step S201, "No"), the process is stepped. Move to S210. In step S210, the registration unit 1013 registers the normal image in the image DB 2020a of the normal DB 202a in the image search DB 202 by the normal DB registration unit 1013a. Further, the registration unit 1013 registers the cooperation information associated with the normal image in the cooperation information DB 2021a of the normal DB 202a in the image search DB 202 by the normal DB registration unit 1013a.

ステップＳ２０３またはステップＳ２１０による登録が完了すると、図１２のフローチャートによる一連の処理が終了される。 When the registration in step S203 or step S210 is completed, a series of processes according to the flowchart of FIG. 12 is completed.

このように、登録サーバ２０が有する画像検索用ＤＢ２０２に対して、優先画像および通常画像が登録されることで、例えば事業者は、検索端末３０から登録サーバ２０にアクセスして、画像検索用ＤＢ２０２に登録された優先画像および通常画像に基づく画像検索を実行できる。事業者は、例えば、この登録サーバ２０に登録された優先画像および通常画像に基づく画像検索の結果に応じて、画像検索システム１のサービス提供者に対して、登録サーバ２０に登録される優先画像および通常画像、ならびに、これらに関連付けられた連携情報を画像検索サーバ１０の画像検索用ＤＢ１０２に反映させるよう依頼する。 By registering the priority image and the normal image in the image search DB 202 of the registration server 20 in this way, for example, the business operator accesses the registration server 20 from the search terminal 30 to access the image search DB 202. Image search based on priority images and normal images registered in is possible. For example, the business operator gives the service provider of the image search system 1 the priority image registered in the registration server 20 according to the priority image registered in the registration server 20 and the result of the image search based on the normal image. And normal images, and the cooperation information associated with them are requested to be reflected in the image search DB 102 of the image search server 10.

サービス提供者は、例えば、メンテナンス用端末５０によるバッチ処理により、登録サーバ２０における画像検索用ＤＢ２０２の登録内容を、画像検索サーバ１０における画像検索用ＤＢ１０２に反映させる。 For example, the service provider reflects the registered contents of the image search DB 202 in the registration server 20 in the image search DB 102 in the image search server 10 by batch processing by the maintenance terminal 50.

バッチ処理により、例えば、画像検索用ＤＢ２０２における通常ＤＢ２０２ａの画像ＤＢ２０２０ａおよび連携情報ＤＢ２０２１ａの登録内容が、画像検索サーバ１０に送信される。画像検索サーバ１０において、登録部１０１３は、通常ＤＢ登録部１０１３ａにより、登録サーバ２０から送信された通常ＤＢ２０２ａの画像ＤＢ２０２０ａおよび連携情報ＤＢ２０２１ａの登録内容を、通常ＤＢ１０２ａの画像ＤＢ１０２０ａおよび連携情報ＤＢ１０２１ａに登録する。 By batch processing, for example, the registered contents of the image DB 2020a of the normal DB 202a and the cooperation information DB 2021a in the image search DB 202 are transmitted to the image search server 10. In the image search server 10, the registration unit 1013 registers the registered contents of the image DB 2020a of the normal DB 202a and the cooperation information DB 2021a transmitted from the registration server 20 in the image DB 1020a and the cooperation information DB 1021a of the normal DB 102a by the normal DB registration unit 1013a. do.

同様に、画像検索用ＤＢ２０２における優先ＤＢ２０２ｂの画像ＤＢ２０２０ｂおよび連携情報ＤＢ２０２１ｂの登録内容が、画像検索サーバ１０に送信される。画像検索サーバ１０において、登録部１０１３は、優先ＤＢ登録部１０１３ｂにより、登録サーバ２０から送信された優先ＤＢ２０２ｂの画像ＤＢ２０２０ｂおよび連携情報ＤＢ２０２１ｂの登録内容を、優先ＤＢ１０２ｂの画像ＤＢ１０２０ｂおよび連携情報ＤＢ１０２１ｂに登録する。 Similarly, the registered contents of the image DB 2020b and the cooperation information DB 2021b of the priority DB 202b in the image search DB 202 are transmitted to the image search server 10. In the image search server 10, the registration unit 1013 registers the registered contents of the image DB 2020b and the cooperation information DB 2021b of the priority DB 202b transmitted from the registration server 20 in the image DB 1020b and the cooperation information DB 1021b of the priority DB 102b by the priority DB registration unit 1013b. do.

これにより、優先画像および通常画像、ならびに、連携情報が公開され、一般ユーザによる、画像検索システム１が提供する画像検索の利用が可能となる。 As a result, the priority image, the normal image, and the cooperation information are disclosed, and the general user can use the image search provided by the image search system 1.

［実施形態に係る検索処理の詳細］
次に、実施形態に係る検索処理について、より詳細に説明する。図１３および図１４は、実施形態に係る検索処理の第１の例について説明するための図である。なお、図１３および図１４において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。また、以下では、画像検索サーバ１０における処理について説明する。以下に説明する処理は、登録サーバ２０に対しても同様に適用可能である。 [Details of search processing according to the embodiment]
Next, the search process according to the embodiment will be described in more detail. 13 and 14 are diagrams for explaining a first example of the search process according to the embodiment. In FIGS. 13 and 14, the same reference numerals are given to the parts common to those in FIG. 3 described above, and detailed description thereof will be omitted. Further, the processing in the image search server 10 will be described below. The process described below can be similarly applied to the registration server 20.

上述したように、実施形態では、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを対象とする第１の画像検索と、第１の画像検索の検索結果に応じた、通常ＤＢ１０２ａを対象とする第２の画像検索と、を実行する。 As described above, in the embodiment, the first image search targeting the normal DB 102a and the priority DB 102b, the second image search targeting the normal DB 102a according to the search result of the first image search, and the second image search. To execute.

図１３は、実施形態に係る、第１の検索処理を説明するための図である。図１３（ｂ）に例示されるように、通常ＤＢ１０２ａに、通常画像として画像３０１ａ、３０１ｂおよび３０１ｃが登録されているものとする。図１３（ｂ）において、画像３０１ｂは、果実の「オレンジ」の画像を含み、画像３０１ａは、果実の「ミカン」の画像を含み、画像３０１ｃは、果実の「オレンジ」を含む複数の果実を含んだ画像であるものとする。また、事業者は、画像３０１ｂを含む被写体３１を用意する。事業者は、画像３０１ｂと同一の画像である画像３０２を、優先画像として優先ＤＢ１０２ｂに登録する。 FIG. 13 is a diagram for explaining the first search process according to the embodiment. As illustrated in FIG. 13B, it is assumed that the images 301a, 301b and 301c are registered as normal images in the normal DB 102a. In FIG. 13 (b), image 301b includes an image of a fruit "orange", image 301a contains an image of a fruit "orange", and image 301c contains a plurality of fruits containing the fruit "orange". It is assumed that the image is included. Further, the business operator prepares the subject 31 including the image 301b. The business operator registers the image 302, which is the same image as the image 301b, in the priority DB 102b as a priority image.

検索端末３０により、画像３０１ｂを含む被写体３１が撮像された撮像画像が、検索画像３００（図１３（ａ）参照）として検索端末３０から画像検索サーバ１０に送信されるものとする。 It is assumed that the captured image in which the subject 31 including the image 301b is captured by the search terminal 30 is transmitted from the search terminal 30 to the image search server 10 as the search image 300 (see FIG. 13A).

画像検索サーバ１０において、画像検索部１０１２は、検索画像３００に基づき通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを検索対象として検索を行う。画像検索部１０１２は、この検索の結果、検索画像３００に対する各画像３０２、ならびに、画像３０１ａ、３０１ｂおよび３０１ｃの類似度を、それぞれスコアの値「６０」、「７０」、「６０」および「３０」として得ている。すなわち、画像３０１ａの類似度が最も高く、事業者が期待する画像３０１ｂが次に類似度の高い検索結果となっている。 In the image search server 10, the image search unit 1012 performs a search based on the search image 300 using the normal DB 102a and the priority DB 102b as search targets. As a result of this search, the image search unit 1012 determines the similarity of each image 302 and the images 301a, 301b, and 301c with respect to the search image 300 by the score values "60", "70", "60", and "30", respectively. I'm getting it as. That is, the image 301a has the highest degree of similarity, and the image 301b expected by the business operator has the next highest degree of similarity.

なお、画像検索部１０１２は、スコアの値に閾値を定め、画像に対して求めたスコアの値が閾値以下の場合に、当該画像は、検索画像３００と類似していないと判定する。閾値を例えばスコア値「３０」とした場合、図１３（ｂ）の各画像３０２、ならびに、画像３０１ａ、３０１ｂおよび３０１ｃは、それぞれスコアの値が「３０」以上であって、検索画像と類似している画像であると判定される。 The image search unit 1012 sets a threshold value for the score value, and when the score value obtained for the image is equal to or less than the threshold value, the image search unit 1012 determines that the image is not similar to the search image 300. When the threshold value is, for example, the score value "30", each image 302 in FIG. 13B and the images 301a, 301b and 301c have a score value of "30" or more and are similar to the search image. It is determined that the image is displayed.

次に、画像検索部１０１２は、第２の画像検索を実行する。図１４は、実施形態に係る第２の画像検索を説明するための図である。図１４（ａ）に示されるように、画像検索部１０１２は、優先ＤＢ１０２ｂに登録される画像３０２を新たな検索画像として、図１４（ｂ）に示されるように、通常ＤＢ１０２ａのみを検索対象として検索を行う。 Next, the image search unit 1012 executes a second image search. FIG. 14 is a diagram for explaining the second image search according to the embodiment. As shown in FIG. 14 (a), the image search unit 1012 usually uses only the DB 102a as a search target, as shown in FIG. 14 (b), with the image 302 registered in the priority DB 102 b as a new search image. Do a search.

この場合、通常ＤＢ１０２ａに登録される画像３０１ｂは、新たな検索画像として用いられている画像３０２と同一の画像である。したがって、画像３０１ｂは、スコアの値が画像の一致を示す値「１００」となる。一方、上述した第１の画像検索において最も類似度が高いとされた画像３０１ａは、新たな検索画像としての画像３０２に対するスコアが値「５０」とされ、通常ＤＢ１０２ａ内での類似度の順位が２位となっている。換言すれば、画像３０１ａは、通常ＤＢ１０２ａにおいてスコアが値「１００」の画像３０１ｂに対して次の順位の類似度の画像となる。 In this case, the image 301b normally registered in the DB 102a is the same image as the image 302 used as a new search image. Therefore, in the image 301b, the score value is a value "100" indicating a match between the images. On the other hand, the image 301a having the highest similarity in the above-mentioned first image search has a score of "50" for the image 302 as a new search image, and usually has a ranking of similarity in the DB 102a. It is in second place. In other words, the image 301a is usually an image having the following degree of similarity to the image 301b having a score of "100" in the DB 102a.

なお、上述の第１の画像検索において最も類似度が低いとされた画像３０１ｃは（図１３（ｂ）参照）、第２の画像検索においてスコアが値「２０」であり（図１４（ｂ）参照）最も類似度が低いままである。 The image 301c having the lowest similarity in the first image search described above (see FIG. 13 (b)) has a score of “20” in the second image search (FIG. 14 (b)). See) Remains the lowest similarity.

この場合、実施形態に係る画像検索サーバ１０において、判定部１０１４は、第１の画像検索において優先度が最も高い、すなわち、優先度が１位の画像３０１ａの優先度が、第２の画像検索において２位以上となったため、優先画像である画像３０２を検索結果として採用することができると判定する。 In this case, in the image search server 10 according to the embodiment, the determination unit 1014 has the highest priority in the first image search, that is, the priority of the image 301a having the highest priority is the second image search. Since it was ranked second or higher in the above, it is determined that the image 302, which is a priority image, can be adopted as the search result.

すなわち、第２の画像検索の結果によれば、画像３０１ａは、優先画像である画像３０２とは異なるが、画像３０２自身を除けば通常ＤＢ１０２ａにおいて検索画像である画像３０２に対して最も類似度が高い画像であるとされる。一方、第１の画像検索の結果によれば、画像３０１ｂに基づく撮像画像による検索画像３００に対して、優先ＤＢ１０２ｂおよび通常ＤＢ１０２ａを含めて、画像３０１ａの類似度が最も高い。 That is, according to the result of the second image search, the image 301a is different from the image 302 which is the priority image, but has the highest degree of similarity to the image 302 which is a search image in the normal DB 102a except for the image 302 itself. It is said to be a high image. On the other hand, according to the result of the first image search, the similarity of the image 301a is the highest, including the priority DB 102b and the normal DB 102a, with respect to the search image 300 based on the captured image based on the image 301b.

これらの結果から、画像３０１ａは、画像３０１ｂに基づく検索画像３００に対する類似度が高く、且つ、優先画像と同一の画像３０１ｂに対する類似度が高いことが分かる。したがって、優先画像である画像３０２（画像３０１ｂ）を、検索画像３００に対する検索結果として採用して良いと判定できる。判定部１０１４は、この画像３０２に対応する画像３０１ｂを、検索結果として採用する。 From these results, it can be seen that the image 301a has a high degree of similarity to the search image 300 based on the image 301b and a high degree of similarity to the same image 301b as the priority image. Therefore, it can be determined that the image 302 (image 301b), which is a priority image, may be adopted as the search result for the search image 300. The determination unit 1014 adopts the image 301b corresponding to the image 302 as a search result.

次に、優先画像を検索結果として判定することが好ましくない例について、図１５および図１６を用いて説明する。図１５および図１６は、実施形態に係る検索処理の第２の例について説明するための図である。なお、図１５および図１６において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。 Next, an example in which it is not preferable to determine the priority image as a search result will be described with reference to FIGS. 15 and 16. 15 and 16 are diagrams for explaining a second example of the search process according to the embodiment. In FIGS. 15 and 16, the same reference numerals are given to the parts common to those in FIG. 3 described above, and detailed description thereof will be omitted.

図１５は、上述の図１３と同様に、実施形態に係る第１の検索処理を説明するための図である。図１３（ｂ）と同様に、通常ＤＢ１０２ａには、通常画像として画像３０１ａ、３０１ｂおよび３０１ｃが登録され、優先ＤＢ１０２ｂに、優先画像として、画像３０１ｂと同一の画像３０２が登録されているものとする。 FIG. 15 is a diagram for explaining the first search process according to the embodiment, similarly to FIG. 13 described above. Similar to FIG. 13B, it is assumed that the images 301a, 301b and 301c are registered as normal images in the normal DB 102a, and the same image 302 as the image 301b is registered as the priority image in the priority DB 102b. ..

この例では、例えば画像３０１ｂを含む被写体３１が撮像された撮像画像が、検索画像３０３として（図１５（ａ）参照）検索端末３０から画像検索サーバ１０に送信されるものとする。ここで、被写体３１に含まれる画像は、例えば画像３０１ｃであって、この被写体３１の一部を拡大して撮像した撮像画像が検索画像３０３として用いられるものとする。この場合、検索画像３０３は、画像３０１ｂ（果実のオレンジ）を含むが、他の果実の画像も含まれた画像となっている。 In this example, for example, it is assumed that the captured image captured by the subject 31 including the image 301b is transmitted from the search terminal 30 to the image search server 10 as the search image 303 (see FIG. 15A). Here, the image included in the subject 31 is, for example, the image 301c, and the captured image obtained by enlarging a part of the subject 31 is used as the search image 303. In this case, the search image 303 is an image that includes image 301b (orange of fruit), but also includes images of other fruits.

画像検索サーバ１０において、画像検索部１０１２は、第１の画像検索により、検索画像３０３に基づき通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを検索対象として検索を行う。画像検索部１０１２は、この検索の結果、検索画像３０３に対する各画像３０２、ならびに、画像３０１ｃ、３０１ｂおよび３０１ａの類似度を、それぞれスコアの値「３０」、「５０」、「３０」および「２０」として得ている。すなわち、画像３０１ｃの類似度が最も高くなっている。また、画像３０１ａは、スコアが値「２０」とされ、閾値より低いため、類似していないと判定される。 In the image search server 10, the image search unit 1012 searches the normal DB 102a and the priority DB 102b based on the search image 303 by the first image search. As a result of this search, the image search unit 1012 determines the similarity of each image 302 and the images 301c, 301b, and 301a with respect to the search image 303 by the score values "30", "50", "30", and "20", respectively. I'm getting it as. That is, the similarity of the image 301c is the highest. Further, since the score of the image 301a is set to the value "20" and is lower than the threshold value, it is determined that the images 301a are not similar.

次に、画像検索部１０１２は、第２の画像検索を実行する。図１６は、上述の図１４と同様に、実施形態に係る第２の画像検索を説明するための図である。図１６（ａ）に示されるように、画像検索部１０１２は、優先ＤＢ１０２ｂに登録される画像３０２を新たな検索画像として、図１６（ｂ）に示されるように、通常ＤＢ１０２ａのみを検索対象として検索を行う。 Next, the image search unit 1012 executes a second image search. FIG. 16 is a diagram for explaining a second image search according to an embodiment, similar to FIG. 14 described above. As shown in FIG. 16A, the image search unit 1012 usually uses only the DB 102a as a search target, as shown in FIG. 16B, with the image 302 registered in the priority DB 102b as a new search image. Do a search.

この場合、通常ＤＢ１０２ａに登録される画像３０１ｂは、新たな検索画像として用いられている画像３０２と同一の画像である。したがって、画像３０１ｂは、スコアの値が画像の一致を示す値「１００」となる。一方、上述した第１の画像検索において最も類似度が高いとされた画像３０１ｃは、新たな検索画像としての画像３０２に対するスコアが値「２０」とされ、通常ＤＢ１０２ａ内での類似度の順位が３位となっている。また、第１の画像検索において最も類似度が低いとされた画像３０１ａの画像３０２に対するスコアが値「５０」とされ、通常ＤＢ１０２ａ内での類似度の順位が２位となっている。換言すれば、画像３０１ｃの類似度は、第１の検索結果における順位（１位）から、３位以下の順位に下がっている。これは、画像３０１ｃの順位が、通常ＤＢ１０２ａにおいて、スコアが値「１００」の画像３０１ｂに対して次の順位のさらに次の順位となったことを意味する。 In this case, the image 301b normally registered in the DB 102a is the same image as the image 302 used as a new search image. Therefore, in the image 301b, the score value is a value “100” indicating a match between the images. On the other hand, the image 301c having the highest similarity in the above-mentioned first image search has a score of "20" for the image 302 as a new search image, and the ranking of the similarity in the DB 102a is usually high. It is in 3rd place. Further, the score of the image 301a, which is considered to have the lowest similarity in the first image search, is set to a value of "50", and the ranking of the similarity in the DB 102a is usually second. In other words, the similarity of the image 301c is lowered from the rank (1st place) in the first search result to the rank of 3rd place or lower. This means that the rank of the image 301c is usually the next rank after the next rank with respect to the image 301b having a score of "100" in the DB 102a.

この場合、実施形態に係る画像検索サーバ１０において、判定部１０１４は、第１の画像検索において優先度が最も高い、すなわち、優先度が１位の画像３０１ｃが、第２の画像検索において優先度が３位以下となったため、優先画像である画像３０２を検索結果として採用することが好ましくないと判定する。 In this case, in the image search server 10 according to the embodiment, the determination unit 1014 has the highest priority in the first image search, that is, the image 301c having the highest priority has the highest priority in the second image search. Is ranked 3rd or lower, so it is determined that it is not preferable to adopt the image 302, which is a priority image, as the search result.

すなわち、第２の画像検索の結果によれば、画像３０１ｃは、優先画像である画像３０２とは異なり、且つ、通常ＤＢ１０２ａにおいて、当該画像３０２自身を除き、検索画像である画像３０２に対する類似度が当該画像３０１ｃより高い画像（この例では画像３０１ａ）が存在するとされる。一方、第１の画像検索の結果によれば、画像３０１ｃが拡大され画像３０１ｂを一部に含む撮像画像による検索画像３０３に対して、優先ＤＢ１０２ｂおよび通常ＤＢ１０２ａを含めて、画像３０１ｃの類似度が最も高い。 That is, according to the result of the second image search, the image 301c is different from the image 302 which is the priority image, and the similarity with the image 302 which is the search image is usually in the DB 102a except for the image 302 itself. It is assumed that there is an image higher than the image 301c (image 301a in this example). On the other hand, according to the result of the first image search, the similarity of the image 301c including the priority DB 102b and the normal DB 102a with respect to the search image 303 by the captured image in which the image 301c is enlarged and includes the image 301b as a part thereof. highest.

これらの結果から、画像３０１ｃは、画像３０１ｂを一部に含む検索画像３０３に対する類似度が高い一方で、優先画像と同一の画像３０１ｂに対する類似度が低い。したがって、優先画像である画像３０２（画像３０１ｂ）を、検索画像３０３に対する検索結果として採用することが好ましくないと判定できる。この場合には、第１の画像検索の結果に従い、画像３０１ｃを、検索画像３０３に対する検索結果として採用する。 From these results, the image 301c has a high degree of similarity to the search image 303 including the image 301b as a part, while has a low degree of similarity to the same image 301b as the priority image. Therefore, it can be determined that it is not preferable to adopt the image 302 (image 301b), which is the priority image, as the search result for the search image 303. In this case, the image 301c is adopted as the search result for the search image 303 according to the result of the first image search.

なお、通常ＤＢ１０２ａには、検索対象となる画像が３以上、登録されていることが好ましい。 Normally, it is preferable that three or more images to be searched are registered in the DB 102a.

図１３～図１６を用いて説明したように、実施形態では、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを対象とする画像検索に対して、優先画像を検索画像として用いて通常ＤＢ１０２ａを対象として再検索を行うと、検索画像に対して類似度の低い画像は、再検索の検索結果において類似度の順位が２位以上にならないことが分かる。したがって、実施形態に係る検索方法によれば、特定の画像に対して意図しない検索結果が出力されることを抑制可能となる。 As described with reference to FIGS. 13 to 16, in the embodiment, the image search targeting the normal DB 102a and the priority DB 102b is re-searched by using the priority image as the search image and targeting the normal DB 102a. It can be seen that the image having a low degree of similarity to the search image does not rank second or higher in the search result of the re-search. Therefore, according to the search method according to the embodiment, it is possible to suppress the output of an unintended search result for a specific image.

図１７は、実施形態に係る検索処理を示す一例のフローチャートである。この図１７のフローチャートによる各処理は、画像検索サーバ１０において実行される。また、図１７のフローチャートによる各処理は、登録サーバ２０においても同様に実行できる。 FIG. 17 is an example flowchart showing the search process according to the embodiment. Each process according to the flowchart of FIG. 17 is executed by the image search server 10. Further, each process according to the flowchart of FIG. 17 can be similarly executed on the registration server 20.

図１７において、ステップＳ３００で、画像検索サーバ１０は、検索端末３０から送信された、撮像画像と、この撮像画像に基づく検索を要求する検索要求とを取得する。次のステップＳ３０１で、画像検索サーバ１０は、画像検索部１０１２により、ステップＳ３００で取得された撮像画像を検索画像として、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂにそれぞれ登録される画像を検索対象として第１の画像検索を実行する。 In FIG. 17, in step S300, the image search server 10 acquires a captured image transmitted from the search terminal 30 and a search request requesting a search based on the captured image. In the next step S301, the image search server 10 uses the image search unit 1012 as a search image for the captured image acquired in step S300, and sets the image registered in the normal DB 102a and the priority DB 102b as a search target for the first image. Perform a search.

次のステップＳ３０２で、判定部１０１４は、通常ＤＢ１０２ａにおいて第１の画像検索により検索画像に対してヒットした、すなわち、検索画像に対して類似度が閾値以上の画像が存在したか否かを判定する。判定部１０１４は、ヒットしたと判定した場合（ステップＳ３０２、「Ｙｅｓ」）、処理をステップＳ３０３に移行させる。ステップＳ３０３で、判定部１０１４は、優先ＤＢ１０２ｂにおいて当該検索画像に対してヒットしたか否かを判定する。ヒットしたと判定した場合（ステップＳ３０３、「Ｙｅｓ」）、処理をステップＳ３０４に移行させる。 In the next step S302, the determination unit 1014 determines whether or not there is an image that hits the search image by the first image search in the normal DB 102a, that is, an image having a similarity equal to or higher than the threshold value with respect to the search image. do. When the determination unit 1014 determines that a hit has been made (step S302, "Yes"), the determination unit 1014 shifts the process to step S303. In step S303, the determination unit 1014 determines whether or not the search image is hit in the priority DB 102b. If it is determined that a hit has been made (step S303, "Yes"), the process is shifted to step S304.

ステップＳ３０４で、判定部１０１４は、優先ＤＢ１０２ｂに登録される優先画像を検索画像として用いて、通常ＤＢ１０２ａに登録される画像を検索対象として、第２の画像検索を実行する検索要求を、画像検索部１０１２に対して通知する。画像検索部１０１２は、この検索要求に応じて、当該第２の画像検索を実行する。 In step S304, the determination unit 1014 uses the priority image registered in the priority DB 102b as a search image, and uses the image normally registered in the DB 102a as a search target to perform an image search for a search request for executing a second image search. Notify unit 1012. The image search unit 1012 executes the second image search in response to this search request.

ステップＳ３０５で、判定部１０１４は、ステップＳ３０１およびステップＳ３０４での第２の画像検索の結果に基づき、ステップＳ３０１で実行された画像検索によりスコアが１位の画像のスコアの順位が、ステップＳ３０４の画像検索の結果、何位に変動したかを判定する。 In step S305, the determination unit 1014 sets the ranking of the score of the image having the highest score by the image search executed in step S301 based on the result of the second image search in step S301 and step S304 in step S304. As a result of the image search, it is determined how much the image has changed.

判定部１０１４は、ステップＳ３０５で、第１の画像検索においてスコアの順位が１位の画像について、第２の画像検索によりスコアの順位が２位以上になったと判定した場合（ステップＳ３０５、「２位以上」）、処理をステップＳ３０６に移行させる。ステップＳ３０６で、判定部１０１４は、検索要求に応じた画像検索の検索結果として、優先画像を採用する。 When the determination unit 1014 determines in step S305 that the image having the first score in the first image search has the second or higher score in the second image search (step S305, "2". "More than one place"), the process is shifted to step S306. In step S306, the determination unit 1014 adopts the priority image as the search result of the image search according to the search request.

一方、判定部１０１４は、ステップＳ３０５で、第１の画像検索においてスコアの順位が１位の画像について、第２の画像検索によりスコアの順位が３位以下になったと判定した場合（ステップＳ３０５、「３位以下」）、処理をステップＳ３０７に移行させる。ステップＳ３０７で、判定部１０１４は、ステップＳ３０４で実行された通常ＤＢ１０２ａに対する画像検索において優先度が１位の画像を、検索要求に応じた画像検索の検索結果として採用する。 On the other hand, when the determination unit 1014 determines in step S305 that the image having the highest score ranking in the first image search has a score ranking of 3rd or lower in the second image search (step S305, "3rd place or less"), the process is shifted to step S307. In step S307, the determination unit 1014 adopts the image having the highest priority in the image search for the normal DB 102a executed in step S304 as the search result of the image search according to the search request.

上述したステップＳ３０２で、判定部１０１４は、通常ＤＢ１０２ａにおいて第１の画像検索により検索画像に対してヒットしなかったと判定した場合（ステップＳ３０２、「Ｎｏ」）、処理をステップＳ３１０に移行させる。ステップＳ３１０で、判定部１０１４は、優先ＤＢ１０２ｂにおいて当該検索画像に対してヒットしたか否かを判定する。ヒットしたと判定した場合（ステップＳ３１０、「Ｙｅｓ」）、判定部１０１４は、処理をステップＳ３０６に移行させる。ステップＳ３０６で、判定部１０１４は、検索要求に応じた画像検索の検索結果として、優先画像を採用する。 In step S302 described above, when the determination unit 1014 normally determines in the DB 102a that the search image is not hit by the first image search (step S302, "No"), the process shifts to step S310. In step S310, the determination unit 1014 determines whether or not the search image is hit in the priority DB 102b. If it is determined that a hit has been made (step S310, "Yes"), the determination unit 1014 shifts the process to step S306. In step S306, the determination unit 1014 adopts the priority image as the search result of the image search according to the search request.

一方、判定部１０１４は、ヒットしなかったと判定した場合（ステップＳ３１０、「Ｎｏ」）、検索画像に対応する画像が通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂの何れにも登録されていなかったとして、図１７のフローチャートによる一連の処理を終了させる。 On the other hand, when the determination unit 1014 determines that no hit has occurred (step S310, "No"), it is assumed that the image corresponding to the search image is not registered in either the normal DB 102a or the priority DB 102b, and the flowchart of FIG. 17 Ends a series of processes by.

また、判定部１０１４は、上述したステップＳ３０３で、優先ＤＢ１０２ｂにおいて当該検索画像に対してヒットしなかったと判定した場合（ステップＳ３０３、「Ｎｏ」）、処理をステップＳ３０７に移行させる。ステップＳ３０７で、判定部１０１４は、ステップＳ３０１で実行された通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂに対する画像検索のうち、通常ＤＢ１０２ａにおいて優先度が１位の画像を、検索要求に応じた画像検索の検索結果として採用する。 Further, when the determination unit 1014 determines in step S303 described above that the search image is not hit in the priority DB 102b (step S303, "No"), the process shifts to step S307. In step S307, the determination unit 1014 adopts the image having the highest priority in the normal DB 102a among the image searches for the normal DB 102a and the priority DB 102b executed in step S301 as the search result of the image search according to the search request. do.

ステップＳ３０６またはステップＳ３０７による検索結果の採用が行われると、図１７のフローチャートによる一連の処理が終了される。 When the search result is adopted in step S306 or step S307, a series of processes according to the flowchart of FIG. 17 is completed.

なお、上述したステップＳ３０２において、通常ＤＢ１０２ａでヒットした画像が１の画像のみであった場合に、以降の処理を省略して、このヒットした１の画像を検索結果として採用することができる。 In step S302 described above, when the image hit by the DB 102a is usually only the image of 1, the subsequent processing can be omitted and the image of the hit 1 can be adopted as the search result.

なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。 It should be noted that each of the above-described embodiments is, but is not limited to, a preferred embodiment of the present invention, and can be carried out by various modifications without departing from the gist of the present invention.

１ 画像検索システム
２ ネットワーク
３ 情報処理システム
１０ 画像検索サーバ
２０ 登録サーバ
３０ 検索端末
３１ 被写体
４０ 登録端末
４１ 登録ツール
５０ メンテナンス用端末
１０２，２０２ 画像検索用ＤＢ
１０２ａ，２０２ａ 通常ＤＢ
１０２ｂ，２０２ｂ 優先ＤＢ
３００，３０３ 検索画像
３０１ａ，３０１ｂ，３０１ｃ，３０２ 画像
４８０ 登録画面
４９５ ボタン
１０１２ 画像検索部
１０１３ 登録部
１０１３ａ 通常ＤＢ登録部
１０１３ｂ 優先ＤＢ登録部
１０１４ 判定部
１０２０ａ，１０２０ｂ，２０２０ａ，２０２０ｂ 画像ＤＢ
１０２１ａ，１０２１ｂ，２０２１ａ，２０２１ｂ 連携情報ＤＢ
４８４１ａ，４８４１ｂ 対象領域
４９００ 連携情報設定画面
４９５０ 優先画像公開期限設定画面 1 Image search system 2 Network 3 Information system 10 Image search server 20 Registration server 30 Search terminal 31 Subject 40 Registration terminal 41 Registration tool 50 Maintenance terminal 102, 202 Image search DB
102a, 202a Normal DB
102b, 202b Priority DB
300, 303 Search image 301a, 301b, 301c, 302 Image 480 Registration screen 495 Button 1012 Image search unit 1013 Registration unit 1013a Normal DB registration unit 1013b Priority DB registration unit 1014 Judgment unit 1020a, 1020b, 2020a, 2020b Image DB
1021a, 1021b, 2021a, 2021b Linkage information DB
4841a, 4841b Target area 4900 Linkage information setting screen 4950 Priority image release deadline setting screen

特開２０１４－０１０７２３号公報Japanese Unexamined Patent Publication No. 2014-010723 特開２０１２－２４２８４５号公報Japanese Unexamined Patent Publication No. 2012-242845

Claims (7)

画像を類似度に基づき検索する画像検索装置であって、
検索要求に応じて、前記画像と登録された画像との類似度に基づき検索を行う画像検索手段と、
前記検索要求の検索結果として応答される第１の画像を登録する第１の登録手段と、
前記検索結果として応答された前記第１の画像を検証するための第２の画像を登録する第２の登録手段と、
前記画像検索手段により類似する複数の前記第１の画像が検索された場合に、前記第２の画像を用いて、類似する複数の前記第１の画像の中から検索結果として応答する一つの画像を判定する判定手段と、
を有する画像検索装置。 An image search device that searches for images based on similarity.
An image search means that searches based on the degree of similarity between the image and the registered image in response to a search request.
A first registration means for registering a first image to be responded to as a search result of the search request, and
A second registration means for registering a second image for verifying the first image returned as the search result, and a second registration means.
When a plurality of similar first images are searched by the image search means, one image that responds as a search result from among a plurality of similar first images using the second image. Judgment means to determine
Image search device with. 前記第２の登録手段には、
前記第１の登録手段に登録される前記第１の画像のうち検索結果として優先して採用させたい画像を、事業者が、前記第２の画像として登録可能である
請求項１に記載の画像検索装置。 The second registration means is
Among the first images registered in the first registration means, an image that is preferentially adopted as a search result can be registered by a business operator as the second image.
The image search device according to claim 1. 前記画像検索手段は、
前記検索要求に応じて前記第１の画像および前記第２の画像に対して第１の検索を行い、
前記判定手段は、
前記画像検索手段が前記第１の画像および前記第２の画像に対する前記第１の検索を行った前記検索結果が、類似度が閾値以上の前記第１の画像を含む場合に、前記画像検索手段に対して該第２の画像に基づき前記第１の画像に対する第２の検索を行うよう要求する前記検索要求を通知する
請求項１または請求項２に記載の画像検索装置。 The image search means is
The first search is performed on the first image and the second image in response to the search request.
The determination means is
When the search result of the first search for the first image and the second image by the image search means includes the first image having a similarity equal to or higher than a threshold value, the image search means. The image search device according to claim 1 or claim 2, which notifies the search request for requesting a second search for the first image based on the second image. 前記判定手段は、
前記第１の画像および前記第２の画像のうち前記第１の検索による検索結果での類似度が最も高いとされた画像の、前記第２の検索による検索結果での類似度に基づき、該第１の画像および該第２の画像のうち何れの画像を採用するかを判定する
請求項３に記載の画像検索装置。 The determination means is
Based on the similarity in the search results of the second search, the image having the highest similarity in the search results of the first search among the first image and the second image. The image search device according to claim 3, wherein it is determined which of the first image and the second image is to be adopted. 前記判定手段は、
前記第１の検索による検索結果での類似度が最も高いと判定された画像の、前記第２の検索による検索結果での類似度が、該第２の検索による該検索結果における全ての画像の類似度に対して２位以上の場合に前記第２の画像を採用し、３位以下の場合に前記第１の画像のうち最も類似度が高い画像を採用する
請求項４に記載の画像検索装置。 The determination means is
The degree of similarity in the search results of the second search of the images determined to have the highest similarity in the search results of the first search is that of all the images in the search results of the second search. The image search according to claim 4, wherein the second image is adopted when the similarity is second or higher, and the image having the highest similarity among the first images is adopted when the similarity is third or lower. Device. 画像を類似度に基づき検索する画像検索装置を検索端末と接続した情報処理システムであって、
検索要求に応じて、前記画像と登録された画像との類似度に基づき検索を行う画像検索手段と、
前記検索要求の検索結果として応答される第１の画像を登録する第１の登録手段と、
前記検索結果として応答された前記第１の画像を検証するための第２の画像を登録する第２の登録手段と、
前記画像検索手段により類似する複数の前記第１の画像が検索された場合に、前記第２の画像を用いて、類似する複数の前記第１の画像の中から検索結果として応答する一つの画像を判定する判定手段と、
を有する情報処理システム。 An information processing system in which an image search device that searches for images based on similarity is connected to a search terminal.
An image search means that searches based on the degree of similarity between the image and the registered image in response to a search request.
A first registration means for registering a first image to be responded to as a search result of the search request, and
A second registration means for registering a second image for verifying the first image returned as the search result, and a second registration means.
When a plurality of similar first images are searched by the image search means, one image that responds as a search result from among a plurality of similar first images using the second image. Judgment means to determine
Information processing system with. 画像を類似度に基づき検索する画像検索装置の画像検索方法であって、
検索要求に応じて、前記画像と登録された画像との類似度に基づき検索を行う画像検索ステップと、
前記検索要求の検索結果として応答される第１の画像を登録する第１の登録ステップと、
前記検索結果として応答された前記第１の画像を検証するための第２の画像を登録する第２の登録ステップと、
前記画像検索ステップにより類似する複数の前記第１の画像が検索された場合に、前記第２の画像を用いて、類似する複数の前記第１の画像の中から検索結果として応答する一つの画像を判定する判定ステップと、
を有する画像検索方法。 It is an image search method of an image search device that searches for images based on the degree of similarity.
An image search step that searches based on the degree of similarity between the image and the registered image in response to a search request.
The first registration step of registering the first image to be responded to as the search result of the search request, and
A second registration step for registering a second image for verifying the first image returned as the search result, and a second registration step.
When a plurality of similar first images are searched by the image search step, one image that responds as a search result from among a plurality of similar first images using the second image. Judgment step to determine
Image search method with.
JP2018051754A 2018-03-19 2018-03-19 Image search device, information processing system and image search method Active JP7095338B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018051754A JP7095338B2 (en) 2018-03-19 2018-03-19 Image search device, information processing system and image search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018051754A JP7095338B2 (en) 2018-03-19 2018-03-19 Image search device, information processing system and image search method

Publications (2)

Publication Number Publication Date
JP2019164555A JP2019164555A (en) 2019-09-26
JP7095338B2 true JP7095338B2 (en) 2022-07-05

Family

ID=68065644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018051754A Active JP7095338B2 (en) 2018-03-19 2018-03-19 Image search device, information processing system and image search method

Country Status (1)

Country Link
JP (1) JP7095338B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245315A (en) 2008-03-31 2009-10-22 Kddi Corp Similar image retrieval method and device
JP2011018238A (en) 2009-07-09 2011-01-27 Hitachi Ltd Image retrieval system and image retrieval method
JP2014010640A (en) 2012-06-29 2014-01-20 Canon Marketing Japan Inc Image search device, and information processing method and program
US20160179969A1 (en) 2014-12-22 2016-06-23 Microsoft Technology Licensing, Llc Task-oriented presentation of auxiliary content to increase user interaction performance
JP2017004252A (en) 2015-06-10 2017-01-05 株式会社ウイル・コーポレーション Image information processing system
JP2017138744A (en) 2016-02-02 2017-08-10 キヤノン株式会社 Image processing apparatus, image processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245315A (en) 2008-03-31 2009-10-22 Kddi Corp Similar image retrieval method and device
JP2011018238A (en) 2009-07-09 2011-01-27 Hitachi Ltd Image retrieval system and image retrieval method
JP2014010640A (en) 2012-06-29 2014-01-20 Canon Marketing Japan Inc Image search device, and information processing method and program
US20160179969A1 (en) 2014-12-22 2016-06-23 Microsoft Technology Licensing, Llc Task-oriented presentation of auxiliary content to increase user interaction performance
JP2017004252A (en) 2015-06-10 2017-01-05 株式会社ウイル・コーポレーション Image information processing system
JP2017138744A (en) 2016-02-02 2017-08-10 キヤノン株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2019164555A (en) 2019-09-26

Similar Documents

Publication Publication Date Title
CN112632942B (en) Document processing method, device, equipment and medium
US20160364415A1 (en) Information processing system, information processing apparatus, and information processing method
JP2003337699A (en) Information processing device and method, and storage medium with program stored therein
US9824447B2 (en) Information processing apparatus, information processing system, and information processing method
JP5627332B2 (en) Data retrieval apparatus, control method therefor, and computer program
US20090100023A1 (en) Information processing apparatus and computer readable information recording medium
JP7000727B2 (en) Information processing system, information processing method, information processing program and search terminal
US20220229638A1 (en) Content development device
JP2003196668A (en) Provision and browse of image through network
US9805471B2 (en) Information processing apparatus, information processing system, and information processing method
JP2017049733A (en) Case Evidence Management System and Case Evidence Management Method
US10242030B2 (en) Information processing system, information processing method, and information processing apparatus
JP7095338B2 (en) Image search device, information processing system and image search method
JP2010072763A (en) Digital content browsing device and digital content browsing management system
JP2006004062A (en) Image database creation device and image search method
JP2010176387A (en) Electronic scrap system, electronic scrap method, electronic scrap server,and user terminal
JP2009187401A (en) Document management system, document management apparatus, and document managing method and program
JP2005339580A (en) Document data management device and program
JP2021163447A (en) Information processing apparatus and control method for the same, and program
JP2009110506A (en) Information processing apparatus and information processing program
JP3725087B2 (en) Knowledge information collecting system and knowledge information collecting method
JP3725088B2 (en) Knowledge information collecting system and knowledge information collecting method
JP2017049732A (en) Case Evidence Management System and Case Evidence Management Method
US11838474B2 (en) Information processing apparatus, control method of information processing apparatus, and storage medium
JP2010218343A (en) Information providing method, information providing device, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151