JP6836147B2

JP6836147B2 - Image association device, image search device, image search system and program

Info

Publication number: JP6836147B2
Application number: JP2017001657A
Authority: JP
Inventors: 伊藤　直之; 直之伊藤
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2017-01-10
Filing date: 2017-01-10
Publication date: 2021-02-24
Anticipated expiration: 2037-01-10
Also published as: JP2018112806A

Description

本発明は、画像関連付け装置、画像検索装置、画像検索システム及びプログラムに関する。 The present invention relates to an image associated apparatus, images retrieval apparatus, an image retrieval system and a program.

従来、画像を分析して説明文を生成する技術が開示されている（例えば、非特許文献１，２）。 Conventionally, techniques for analyzing images to generate explanatory text have been disclosed (for example, Non-Patent Documents 1 and 2).

ＪｕｓｔｉｎＪｏｈｎｓｏｎ、ＡｎｄｒｅｊＫａｒｐａｔｈｙ、Ｆｅｉ−ＦｅｉＬｉ、“ＤｅｎｓｅＣａｐ：ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＬｏｃａｌｉｚａｔｉｏｎＮｅｔｗｏｒｋｓｆｏｒＤｅｎｓｅＣａｐｔｉｏｎｉｎｇ”、［ｏｎｌｉｎｅ］、ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＳｔａｎｆｏｒｄＵｎｉｖｅｒｓｉｔｙ、［平成２８年１１月２５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｃｓ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｐｅｏｐｌｅ／ｋａｒｐａｔｈｙ／ｄｅｎｓｅｃａｐ／〉Justin Johnson, Andrej Karpathy, Fei-Fei Li, "DenseCap: Fully Convolutional Localization Network Network For Defense Captioning", [online], Departercentent http: // cs. stanford. edu / people / carpathy / densnap /> “ＮｅｕｒａｌＴａｌｋ２”、［平成２８年１１月２５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｋａｒｐａｔｈｙ／ｎｅｕｒａｌｔａｌｋ２〉"NeuralTalk2", [Searched on November 25, 2016], Internet <URL: https: // github. com / karpathy / neutraltalk2>

非特許文献１，２に記載のような、画像を分析して説明文を生成する技術を使用すると、画像に関する説明文を取得できる。
また、画像からキーワードを抽出する技術として、Ｒ−ＣＮＮ（ＲｅｇｉｏｎｓｗｉｔｈＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）等がある。
しかし、これらの技術をそれぞれ単独で用いることは、学習用のデータ収集やアノテーションのコストが大幅に増大してしまい、さらにその２つのデータ間の整合性を取ることも難しくなる。
さらに、従来の抽出される単語と単純に紐付けられた画像検索では、画像から受ける印象に基づく検索や文章による検索が困難である。 By using a technique for analyzing an image and generating an explanatory text as described in Non-Patent Documents 1 and 2, the explanatory text regarding the image can be obtained.
Further, as a technique for extracting a keyword from an image, there is R-CNN (Regions with Convolutional Neural Network) and the like.
However, using each of these techniques independently increases the cost of data collection and annotation for learning, and further makes it difficult to maintain consistency between the two data.
Furthermore, in the conventional image search that is simply associated with the extracted words, it is difficult to search based on the impression received from the image or search by sentences.

そこで、本発明は、画像を分析して説明文を出力する技術を使用して検索を効率化するための画像関連付け装置、画像データベース、画像検索装置、画像検索システム及びプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide an image association device, an image database, an image search device, an image search system, and a program for streamlining a search by using a technique of analyzing an image and outputting a description. And.

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、画像を分析して前記画像の特徴を抽出し、前記特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、前記説明文生成手段により生成した説明文から複数の単語を抽出する単語抽出手段と、前記単語抽出手段により抽出した単語の一部をキーワードとして選定するキーワード選定手段と、前記キーワード選定手段によって選定したキーワードと、前記画像とを関連付ける関連付け手段と、を備える画像関連付け装置である。
第２の発明は、第１の発明の画像関連付け装置において、年代と、前記年代で除外する単語である除外語とを対応付けた除外語記憶部を備え、前記画像には、前記画像が示す年代が対応付けられており、前記キーワード選定手段は、前記除外語記憶部を参照し、前記画像の前記年代に対応する除外語を除いて、前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第３の発明は、第２の発明の画像関連付け装置において、前記除外語記憶部は、前記除外語に対応する置換語を記憶しており、前記キーワード選定手段は、前記除外語記憶部を参照し、前記画像の前記年代に対応する除外語を、置換語に置き換えて前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの画像関連付け装置において、前記キーワード選定手段は、前記単語抽出手段により抽出された単語の出現頻度に基づいて、前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第５の発明は、第１の発明から第４の発明までのいずれかの画像関連付け装置において、地域で用いる特定語と、前記特定語に対応した対象語とを対応付けた地域語記憶部を備え、前記画像には、前記画像が示す地域が対応付けられており、前記キーワード選定手段は、前記地域語記憶部を参照し、前記画像の前記対象語を、対応する特定語に置き換えて前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの画像関連付け装置において、前記説明文生成手段により生成された説明文、又は、前記単語抽出手段により抽出された単語を、関連付けられた他の言語に翻訳する翻訳手段を備えること、を特徴とする画像関連付け装置である。
第７の発明は、第１の発明から第６の発明までのいずれかの画像関連付け装置によって関連付けられた前記キーワードと、前記画像とを記憶した画像データベースである。
第８の発明は、第７の発明の画像データベース対して通信可能に接続された画像検索装置であって、検索語の入力を受け付ける検索語受付手段と、前記検索語受付手段が受け付けた検索語をキーワードに含む画像を、前記画像データベースから抽出する画像抽出手段と、前記画像抽出手段によって抽出された画像を出力する画像出力手段と、を備えること、を特徴とする画像検索装置である。
第９の発明は、第７の発明の画像データベースに対して通信可能に接続された画像検索装置であって、対象画像を受け付ける画像受付手段と、前記画像受付手段が受け付けた対象画像を分析して、前記対象画像の特徴を抽出し、前記特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、前記説明文生成手段により生成した説明文から複数の単語を抽出する単語抽出手段と、前記単語抽出手段により抽出した単語の一部をキーワードとして選定するキーワード選定手段と、前記キーワード選定手段によって選定したキーワードを含む画像を、前記画像データベースから抽出する画像抽出手段と、前記画像抽出手段によって抽出した画像を出力する画像出力手段と、を備えること、を特徴とする画像検索装置である。
第１０の発明は、第７の発明の画像データベースと、第８の発明又は第９の発明の画像検索装置と、を備える画像検索システムである。
第１１の発明は、第１の発明から第６の発明までのいずれかの画像関連付け装置としてコンピュータを機能させるためのプログラムである。
第１２の発明は、第８の発明又は第９の発明の画像検索装置としてコンピュータを機能させるためのプログラムである。 The present invention solves the above-mentioned problems by the following solutions.
The first invention is generated by an explanatory text generating means for analyzing an image to extract features of the image and generating an explanatory text by referring to words associated with each feature, and the explanatory text generating means. The word extraction means for extracting a plurality of words from the explanatory text, the keyword selection means for selecting a part of the words extracted by the word extraction means as a keyword, the keyword selected by the keyword selection means, and the image are associated with each other. An image association device including an association means.
The second invention includes an exclusion word storage unit that associates an age with an exclusion word that is a word excluded in the age in the image association device of the first invention, and the image shows the image. The image association is characterized in that the ages are associated with each other, and the keyword selection means refers to the exclusion word storage unit and selects the keywords by excluding the exclusion words corresponding to the ages in the image. It is a device.
According to the third invention, in the image association device of the second invention, the exclusion word storage unit stores a substitution word corresponding to the exclusion word, and the keyword selection means refers to the exclusion word storage unit. The image association device is characterized in that the exclusion word corresponding to the age of the image is replaced with a replacement word to select the keyword.
The fourth invention is in any of the image association devices from the first invention to the third invention, in which the keyword selection means uses the keyword based on the frequency of appearance of the word extracted by the word extraction means. It is an image association device characterized by selection.
The fifth invention is a regional word storage unit in which a specific word used in a region and a target word corresponding to the specific word are associated with each other in any of the image association devices from the first invention to the fourth invention. The image is associated with the area indicated by the image, and the keyword selection means refers to the area word storage unit and replaces the target word of the image with a corresponding specific word. It is an image association device characterized by selecting keywords.
In the sixth invention, in any of the image association devices from the first invention to the fifth invention, the explanatory text generated by the explanatory text generating means or the word extracted by the word extracting means is used. An image association device comprising a translation means for translating into another associated language.
The seventh invention is an image database that stores the keyword and the image associated with any of the image association devices from the first invention to the sixth invention.
The eighth invention is an image search device communicatively connected to the image database of the seventh invention, the search term receiving means for accepting the input of the search term, and the search term received by the search term receiving means. The image search apparatus is characterized by including an image extraction means for extracting an image containing the above as a keyword from the image database, and an image output means for outputting an image extracted by the image extraction means.
The ninth invention is an image search device communicatively connected to the image database of the seventh invention, and analyzes an image receiving means for receiving a target image and a target image received by the image receiving means. Then, the features of the target image are extracted, and a plurality of words are extracted from the description generation means for generating the explanation by referring to the words associated with each feature and the description generated by the description generation means. A word extraction means for selecting a word, a keyword selection means for selecting a part of the words extracted by the word extraction means as a keyword, and an image extraction means for extracting an image containing the keyword selected by the keyword selection means from the image database. An image search device comprising an image output means for outputting an image extracted by the image extraction means.
The tenth invention is an image search system including the image database of the seventh invention and the image search device of the eighth invention or the ninth invention.
The eleventh invention is a program for operating a computer as any of the image association devices from the first invention to the sixth invention.
The twelfth invention is a program for operating a computer as an image retrieval device of the eighth invention or the ninth invention.

本発明によれば、画像を分析して説明文を出力する技術を使用して検索を効率化するための画像関連付け装置、画像データベース、画像検索装置、画像検索システム及びプログラムを提供することができる。 According to the present invention, it is possible to provide an image association device, an image database, an image search device, an image search system and a program for streamlining a search by using a technique of analyzing an image and outputting a description. ..

第１実施形態に係る画像検索システムの全体概要図である。It is an overall schematic diagram of the image search system which concerns on 1st Embodiment. 第１実施形態に係る画像関連付け装置及び画像検索装置の機能ブロック図である。It is a functional block diagram of the image association device and the image search device which concerns on 1st Embodiment. 第１実施形態に係る画像関連付け装置の記憶部の例を示す図である。It is a figure which shows the example of the storage part of the image association apparatus which concerns on 1st Embodiment. 第１実施形態に係る画像関連付け装置のキーワード抽出処理を示すフローチャートである。It is a flowchart which shows the keyword extraction process of the image association apparatus which concerns on 1st Embodiment. 第１実施形態に係る画像関連付け装置によるキーワード抽出処理の具体例を示す図である。It is a figure which shows the specific example of the keyword extraction processing by the image association apparatus which concerns on 1st Embodiment. 第１実施形態に係る画像関連付け装置によるキーワード抽出処理の具体例を示す図である。It is a figure which shows the specific example of the keyword extraction processing by the image association apparatus which concerns on 1st Embodiment. 第１実施形態に係る画像検索装置の画像検索処理を示すフローチャートである。It is a flowchart which shows the image search process of the image search apparatus which concerns on 1st Embodiment. 第１実施形態に係る画像検索装置での表示例を示す図である。It is a figure which shows the display example in the image search apparatus which concerns on 1st Embodiment. 第２実施形態に係る画像検索システムの機能ブロック図である。It is a functional block diagram of the image search system which concerns on 2nd Embodiment. 第２実施形態に係る関連画像検索装置の画像検索処理を示すフローチャートである。It is a flowchart which shows the image search process of the related image search apparatus which concerns on 2nd Embodiment. 第２実施形態に係る関連画像検索装置での表示例を示す図である。It is a figure which shows the display example in the related image search apparatus which concerns on 2nd Embodiment.

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
＜画像検索システム１００＞
図１は、第１実施形態に係る画像検索システム１００の全体概要図である。
図２は、第１実施形態に係る画像関連付け装置１及び画像検索装置４の機能ブロック図である。
図３は、第１実施形態に係る画像関連付け装置１の記憶部２０の例を示す図である。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. It should be noted that this is only an example, and the technical scope of the present invention is not limited to this.
(First Embodiment)
<Image search system 100>
FIG. 1 is an overall schematic view of the image search system 100 according to the first embodiment.
FIG. 2 is a functional block diagram of the image association device 1 and the image search device 4 according to the first embodiment.
FIG. 3 is a diagram showing an example of the storage unit 20 of the image association device 1 according to the first embodiment.

図１に示す画像検索システム１００は、画像ＤＢ（データベース）３に記憶された画像データに、画像に関するキーワードを付与し、画像データの検索を、キーワードを用いて行うシステムである。
以下の説明では、画像ＤＢ３に記憶される画像データは、例えば、美術館や博物館で展示されている古い時代の絵画を、画像化したものであるとする。そして、画像データは、例えば、絵画の画家、絵画のモチーフの年代、絵画のモチーフの地域等のデータを、メタデータとして有するものとする。 The image search system 100 shown in FIG. 1 is a system in which a keyword related to an image is added to the image data stored in the image DB (database) 3 and the image data is searched by using the keyword.
In the following description, it is assumed that the image data stored in the image DB 3 is, for example, an image of an old-age painting exhibited in a museum or a museum. Then, the image data has, for example, data such as the painter of the painting, the age of the motif of the painting, and the area of the motif of the painting as metadata.

画像検索システム１００は、画像関連付け装置１と、画像ＤＢ３と、画像検索装置４とを備える。画像関連付け装置１と、画像ＤＢ３と、画像検索装置４とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。 The image search system 100 includes an image association device 1, an image DB 3, and an image search device 4. The image association device 1, the image DB 3, and the image search device 4 are communicably connected via the communication network N. The communication network N is, for example, an Internet line or the like, regardless of whether it is wired or wireless.

＜画像関連付け装置１＞
画像関連付け装置１は、画像ＤＢ３に記憶された画像データが示す画像を分析して、画像の内容を表すキーワード抽出する。そして、画像関連付け装置１は、抽出したキーワードを、画像データに関連付けて画像ＤＢ３に記憶させる。
画像関連付け装置１は、例えば、サーバである。画像関連付け装置１は、その他、パーソナルコンピュータ（ＰＣ）等であってもよい。
図２（Ａ）に示すように、画像関連付け装置１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。 <Image association device 1>
The image association device 1 analyzes the image indicated by the image data stored in the image DB 3 and extracts a keyword representing the content of the image. Then, the image association device 1 associates the extracted keyword with the image data and stores it in the image DB 3.
The image association device 1 is, for example, a server. The image association device 1 may also be a personal computer (PC) or the like.
As shown in FIG. 2A, the image association device 1 includes a control unit 10, a storage unit 20, and a communication interface unit 29.

制御部１０は、画像関連付け装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、画像受付部１１と、説明文生成部１２（説明文生成手段）と、翻訳処理部１３（翻訳手段）と、単語抽出部１５（単語抽出手段）と、キーワード選定部１６（キーワード選定手段）と、キーワード登録部１８（関連付け手段）とを備える。
画像受付部１１は、画像ＤＢ３からキーワードが関連付けられていない画像データを受け付ける。 The control unit 10 is a central processing unit (CPU) that controls the entire image association device 1. The control unit 10 appropriately reads and executes the operating system (OS) and the application program stored in the storage unit 20 to cooperate with the above-mentioned hardware and execute various functions.
The control unit 10 includes an image reception unit 11, an explanatory text generation unit 12 (explanatory text generation means), a translation processing unit 13 (translation means), a word extraction unit 15 (word extraction means), and a keyword selection unit 16 ( A keyword selection means) and a keyword registration unit 18 (association means) are provided.
The image receiving unit 11 receives image data from the image DB 3 to which no keyword is associated.

説明文生成部１２は、受け付けた画像データの説明文を生成する。画像データの説明文は、画像データが示す画像の内容に関するものである。説明文生成部１２は、公知の説明文生成ソフトウェアである、例えば、“ＤｅｎｓｅＣａｐ”を使用して、画像データに関する説明文を生成する。“ＤｅｎｓｅＣａｐ”を使用する場合、説明文生成部１２により生成した説明文は、英文である。なお、説明文生成部１２は、“ＤｅｎｓｅＣａｐ”の代わりに、公知の説明文生成ソフトウェアである“ＮｅｕｒａｌＴａｌｋ２”を用いてもよい。しかし、説明文を複数生成する“ＤｅｎｓｅＣａｐ”の方が、画像内の領域ごとに説明文を生成することから、画像に関する説明文から多くの名詞を得ることができるため望ましい。
なお、説明文生成部１２は、説明文として好ましくは名詞句を生成する。
ここで、“ＤｅｎｓｅＣａｐ”や“ＮｅｕｒａｌＴａｌｋ２”は、現在の画像データを使用して学習している。よって、学習結果として生成する説明文は、現在の物等を表すものになる。そのため、説明文生成部１２は、古い絵画の画像データのうち、例えば、宗教画等に多く描かれている「聖書」を、「タブレット」と認識して説明文を生成する。 The description generation unit 12 generates a description of the received image data. The description of the image data relates to the content of the image indicated by the image data. The explanatory text generation unit 12 uses known explanatory text generation software, for example, "DenseCap", to generate explanatory text regarding image data. When "DenseCap" is used, the explanatory text generated by the explanatory text generation unit 12 is in English. In addition, the explanatory text generation unit 12 may use "NeuralTalk2", which is known explanatory text generation software, instead of "DenseCap". However, "DenseCap", which generates a plurality of explanatory texts, is preferable because the explanatory texts are generated for each region in the image, and many nouns can be obtained from the explanatory texts related to the image.
The explanatory text generation unit 12 preferably generates a noun phrase as the explanatory text.
Here, "DenseCap" and "NeuralTalk2" are learned using the current image data. Therefore, the explanatory text generated as a learning result represents the current thing or the like. Therefore, the explanatory text generation unit 12 recognizes the "Bible", which is often drawn in religious paintings or the like among the image data of old paintings, as a "tablet" and generates an explanatory text.

翻訳処理部１３は、説明文生成部１２で生成した英文の説明文を、日本語に翻訳する。翻訳処理部１３は、例えば、公知の自動翻訳のソフトウェアを用いて、説明文を翻訳する。なお、その他として、翻訳処理部１３は、例えば、英語と日本語とが関連付いたデータベース（図示せず）を用いて、英語を日本語に翻訳してもよい。また、翻訳処理部１３は、通信ネットワークＮを介して接続されたウェブサービスを行うサーバに対して通信をして、翻訳してもよい。
単語抽出部１５は、説明文から複数の単語を抽出する。具体的には、単語抽出部１５は、例えば、説明文に対して形態素解析を行うことによって、説明文から複数の単語を抽出する。 The translation processing unit 13 translates the English explanation sentence generated by the explanation sentence generation unit 12 into Japanese. The translation processing unit 13 translates the explanatory text using, for example, known automatic translation software. In addition, the translation processing unit 13 may translate English into Japanese by using, for example, a database (not shown) in which English and Japanese are related. Further, the translation processing unit 13 may translate by communicating with a server that performs a web service connected via the communication network N.
The word extraction unit 15 extracts a plurality of words from the explanatory text. Specifically, the word extraction unit 15 extracts a plurality of words from the explanatory text, for example, by performing morphological analysis on the explanatory text.

キーワード選定部１６は、単語抽出部１５によって抽出された単語の一部を、キーワードとして選定する。
具体的には、キーワード選定部１６は、単語抽出部１５によって抽出された複数の単語から品詞をフィルタリングすることで、名詞を抽出する。そして、キーワード選定部１６は、抽出した名詞をフィルタリング及び置換して、キーワードを選定する。ここで、フィルタリングとしては、「彼」や「これ」等の代名詞や、「側」や「製」等の接尾名詞、「中」や「一部」等の副詞可能名詞を除外する。また、フィルタリング及び置換としては、例えば、名詞に含まれる除外語（後述する）を除外したり、他の語に置き換えたりする。上述したように、説明文生成部１２で生成した説明文には、例えば、「聖書」を「タブレット」と認識したものを含むため、「タブレット」を「聖書」に置き換える等の置換をする必要がある。
そして、キーワード選定部１６は、説明文に含まれる名詞の出現数に基づいて、出現数の多い名詞を優先的にキーワードとして選定する。
キーワード登録部１８は、キーワード選定部１６により選定されたキーワードを、画像ＤＢ３の対応する画像データに関連付けて記憶させる。 The keyword selection unit 16 selects a part of the words extracted by the word extraction unit 15 as keywords.
Specifically, the keyword selection unit 16 extracts nouns by filtering part of speech from a plurality of words extracted by the word extraction unit 15. Then, the keyword selection unit 16 filters and replaces the extracted nouns to select keywords. Here, as filtering, pronouns such as "he" and "kore", suffixes such as "side" and "made", and adverb count nouns such as "middle" and "part" are excluded. Further, as filtering and replacement, for example, an excluded word (described later) included in a noun is excluded or replaced with another word. As described above, since the explanatory text generated by the explanatory text generation unit 12 includes, for example, the one in which the "Bible" is recognized as the "tablet", it is necessary to replace the "tablet" with the "Bible". There is.
Then, the keyword selection unit 16 preferentially selects a noun having a large number of appearances as a keyword based on the number of appearances of the noun included in the explanatory text.
The keyword registration unit 18 stores the keyword selected by the keyword selection unit 16 in association with the corresponding image data of the image DB 3.

記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、除外語記憶部２２と、地域語記憶部２３とを備える。
プログラム記憶部２１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアの他、キーワード抽出プログラム２１ａを記憶している。キーワード抽出プログラム２１ａは、画像関連付け装置１の制御部１０が実行する各種機能を行うためのプログラムである。なお、キーワード抽出プログラム２１ａは、公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアを含むものであってもよい。 The storage unit 20 is a storage area for a hard disk, a semiconductor memory element, or the like for storing programs, data, and the like necessary for the control unit 10 to execute various processes.
The storage unit 20 includes a program storage unit 21, an exclusion word storage unit 22, and a regional word storage unit 23.
The program storage unit 21 is a storage area for storing various programs. The program storage unit 21 stores the keyword extraction program 21a in addition to the above-mentioned known explanation generation software and known automatic translation software. The keyword extraction program 21a is a program for performing various functions executed by the control unit 10 of the image association device 1. The keyword extraction program 21a may include known explanatory text generation software and known automatic translation software.

除外語記憶部２２は、年代ごとに、除外語を記憶する。ここで、除外語とは、画像データが示す絵画の制作年代や、モチーフの年代では、物等自体がなく、使用されることがない語をいう。
図３（Ａ）は、除外語記憶部２２の例を示す。除外語記憶部２２は、年代と、除外語と、代替語とを対応付けて記憶する。代替語は、除外語に代えて用いる名詞である。除外語記憶部２２は、例えば、画像データの画像が示す年代が１６００年代であれば、「ジーンズ」、「Ｔシャツ」等、その年代にはなかった物を示す語を、除外語として記憶する。また、代替語は、除外語に対応して代替可能な単語を記憶する。例えば、１６００年代であれば、「タブレット」は、「本」に代替する。また、画像データが示す画像が宗教画である場合には、例えば、「タブレット」や「パソコン」は、「聖書」に代替する。さらに、画像データが示す画像が示す年代が自動車のない年代であれば、「ホイール」や「タイヤ」は、「車輪」に代替する。 The exclusion word storage unit 22 stores the exclusion words for each age group. Here, the excluded word means a word that is not used because there is no object itself in the age of the painting or the age of the motif indicated by the image data.
FIG. 3A shows an example of the exclusion word storage unit 22. The exclusion word storage unit 22 stores the age, the exclusion word, and the alternative word in association with each other. Alternative words are nouns used in place of excluded words. For example, if the age indicated by the image of the image data is the 1600s, the exclusion word storage unit 22 stores words indicating things not in that age, such as "jeans" and "T-shirt", as exclusion words. .. In addition, the alternative word stores a word that can be substituted corresponding to the excluded word. For example, in the 1600s, "tablet" is replaced by "book". When the image indicated by the image data is a religious painting, for example, "tablet" or "computer" is replaced with "Bible". Further, if the age indicated by the image indicated by the image data is the age without an automobile, the "wheel" and "tire" are replaced with "wheel".

地域語記憶部２３は、地域ごとに、特定語を記憶する。ここで、特定語とは、その地域でのみ特有に存在する物等を示す語をいう。
図３（Ｂ）は、地域語記憶部２３の例を示す。地域語記憶部２３は、年代と、地域と、対象語と、特定語とを対応付けて記憶する。対象語は、特定語に対応する名詞であり、地域（国等）に関係なく広く用いられている語である。地域語記憶部２３は、例えば、画像データの画像が示す年代が１７００年代であれば、地域が「日本」である場合に、「ランプ」は、「灯篭」に置換する。その他、置換される特定語としては、「囲炉裏」や「敷布団」等がある。
図２（Ａ）に戻り、通信インタフェース部２９は、通信ネットワークＮを介して画像ＤＢ３との通信を行うためのインタフェース部である。 The regional word storage unit 23 stores a specific word for each region. Here, the specific word means a word indicating an object or the like that exists uniquely only in that area.
FIG. 3B shows an example of the regional language storage unit 23. The regional word storage unit 23 stores the age, the region, the target word, and the specific word in association with each other. The target word is a noun corresponding to a specific word, and is a word widely used regardless of the region (country, etc.). For example, if the age indicated by the image of the image data is the 1700s, the regional language storage unit 23 replaces the "lamp" with the "lantern" when the region is "Japan". Other specific words to be replaced include "hearth" and "mattress".
Returning to FIG. 2A, the communication interface unit 29 is an interface unit for communicating with the image DB 3 via the communication network N.

＜画像ＤＢ３＞
図１に戻り、画像ＤＢ３は、ハードディスク、半導体メモリ素子等の記憶領域を有する、例えば、データベースサーバである。画像ＤＢ３は、画像データと、キーワードとを関連付けて記憶する。画像ＤＢ３は、例えば、図示しない他の端末等が送信した画像データを記憶する。なお、画像ＤＢ３は、図示しないが、制御部、記憶部、通信インタフェース部等を備える。 <Image DB3>
Returning to FIG. 1, the image DB 3 is, for example, a database server having a storage area such as a hard disk and a semiconductor memory element. The image DB 3 stores the image data in association with the keyword. The image DB 3 stores, for example, image data transmitted by another terminal or the like (not shown). Although not shown, the image DB 3 includes a control unit, a storage unit, a communication interface unit, and the like.

＜画像検索装置４＞
画像検索装置４は、ユーザにより入力された検索語をキーワードとする画像データを、画像ＤＢ３から抽出して表示させる。画像検索装置４は、例えば、タブレットに代表されるコンピュータの機能を併せ持った携帯型の装置である。画像検索装置４は、その他、スマートフォンや携帯電話機等でもよいし、ＰＣ等であってもよい。
図２（Ｂ）に示すように、画像検索装置４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５７と、通信インタフェース部５９とを備える。 <Image search device 4>
The image search device 4 extracts and displays image data using a search term input by the user as a keyword from the image DB 3. The image search device 4 is, for example, a portable device having a computer function represented by a tablet. The image search device 4 may also be a smartphone, a mobile phone, or the like, or a PC or the like.
As shown in FIG. 2B, the image retrieval device 4 includes a control unit 40, a storage unit 50, a touch panel display 57, and a communication interface unit 59.

制御部４０は、画像検索装置４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、検索語受付部４１（検索語受付手段）と、画像抽出部４２（画像抽出手段）と、画像出力部４３（画像出力手段）とを備える。
検索語受付部４１は、ユーザにより入力された検索語を受け付ける。
画像抽出部４２は、検索語をキーワードに含む画像データを、画像ＤＢ３から抽出する。
画像出力部４３は、画像ＤＢ３から抽出された画像データを、タッチパネルディスプレイ５７に出力する。 The control unit 40 is a CPU that controls the entire image search device 4. The control unit 40 appropriately reads and executes the OS and application programs stored in the storage unit 50, thereby collaborating with the above-mentioned hardware to execute various functions.
The control unit 40 includes a search word reception unit 41 (search word reception means), an image extraction unit 42 (image extraction means), and an image output unit 43 (image output means).
The search term reception unit 41 receives the search term input by the user.
The image extraction unit 42 extracts image data including the search term as a keyword from the image DB 3.
The image output unit 43 outputs the image data extracted from the image DB 3 to the touch panel display 57.

記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。記憶部５０は、プログラム記憶部５１を備える。
プログラム記憶部５１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部５１は、画像検索プログラム５１ａを記憶している。画像検索プログラム５１ａは、制御部４０が実行する各種機能を行うためのプログラムである。画像検索プログラム５１ａは、例えば、図示しないアプリ配信サーバからダウンロード等することによって、予めプログラム記憶部５１に記憶されている。 The storage unit 50 is a storage area such as a semiconductor memory element for storing programs, data, and the like necessary for the control unit 40 to execute various processes. The storage unit 50 includes a program storage unit 51.
The program storage unit 51 is a storage area for storing various programs. The program storage unit 51 stores the image search program 51a. The image search program 51a is a program for performing various functions executed by the control unit 40. The image search program 51a is stored in the program storage unit 51 in advance, for example, by downloading from an application distribution server (not shown).

タッチパネルディスプレイ５７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部５９は、通信ネットワークＮを介して画像ＤＢ３との通信を行うためのインタフェース部である。 The touch panel display 57 has a function as a display unit composed of a liquid crystal panel or the like and a function as an input unit for detecting a touch input by a finger or the like from a user.
The communication interface unit 59 is an interface unit for communicating with the image DB 3 via the communication network N.

ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像関連付け装置１及び画像検索装置４は、各々制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。 Here, the computer means an information processing device provided with a control unit, a storage device, and the like, and the image association device 1 and the image retrieval device 4 are information processing devices provided with a control unit, a storage unit, and the like, respectively, and are computers. Included in the concept of.

＜画像関連付け装置１の処理＞
次に、画像関連付け装置１での処理について説明する。
図４は、第１実施形態に係る画像関連付け装置１のキーワード抽出処理を示すフローチャートである。
図５及び図６は、第１実施形態に係る画像関連付け装置１によるキーワード抽出処理の具体例を示す図である。 <Processing of image association device 1>
Next, the processing in the image association device 1 will be described.
FIG. 4 is a flowchart showing a keyword extraction process of the image association device 1 according to the first embodiment.
5 and 6 are diagrams showing a specific example of the keyword extraction process by the image association device 1 according to the first embodiment.

図４のステップＳ（以下、単に「Ｓ」という。）１０において、画像関連付け装置１の制御部１０（画像受付部１１）は、画像ＤＢ３から画像データを受け付ける。具体的には、制御部１０は、画像ＤＢ３に記憶された画像データのうち、キーワードが関連付けられていない画像データを１つ抽出する。
Ｓ１１において、制御部１０（説明文生成部１２）は、画像データが示す画像に関するキャプション（説明文）を生成する。
図５（Ａ）は、処理対象の画像データが示す画像６０の例である。
図５（Ｂ）は、画像６０に対して“ＤｅｎｓｅＣａｐ”を使用した場合の結果画像６１及びキャプション６２の例である。“ＤｅｎｓｅＣａｐ”では、画像６０の領域ごとに説明文を出力する。そして、結果画像６１が示すように、領域は、画像６０に複数生成されるので、説明文も複数生成される。なお、画像６０の画素数が６４０ｐｘ（ピクセル）である場合には、“ＤｅｎｓｅＣａｐ”は、約８０個のキャプションを生成する。 In step S (hereinafter, simply referred to as “S”) 10 of FIG. 4, the control unit 10 (image receiving unit 11) of the image association device 1 receives image data from the image DB 3. Specifically, the control unit 10 extracts one image data to which a keyword is not associated from the image data stored in the image DB 3.
In S11, the control unit 10 (explanatory text generation unit 12) generates a caption (explanatory text) related to the image indicated by the image data.
FIG. 5A is an example of the image 60 shown by the image data to be processed.
FIG. 5B is an example of the result image 61 and the caption 62 when "DenseCap" is used for the image 60. In "DenseCap", a description is output for each area of the image 60. Then, as the result image 61 shows, since a plurality of regions are generated in the image 60, a plurality of explanatory texts are also generated. When the number of pixels of the image 60 is 640 px (pixels), "DenseCap" generates about 80 captions.

図４に戻り、Ｓ１２において、制御部１０（翻訳処理部１３）は、キャプションを翻訳して、図５（Ｃ）に示す翻訳文（説明文）６３を取得する。なお、この画像検索システム１００を英語圏で使用する場合には、翻訳処理部１３による処理は、不要である。
Ｓ１３において、制御部１０（単語抽出部１５）は、翻訳文６３に対して形態素解析を行う。図６（Ａ）は、図５（Ｃ）に示す翻訳文６３に対して形態素解析をして得られた結果データ６４を示す。
図４に戻り、Ｓ１４において、制御部１０（単語抽出部１５）は、形態素解析を行った結果データから、品詞フィルタリングによって名詞を抽出する。次に、制御部１０は、抽出した名詞から、代名詞や接尾名詞を除外する。そして、制御部１０は、名詞の出現頻度を算出する。図６（Ｂ）は、名詞と、出現頻度とを対応付けた名詞頻度テーブル６５の例を示す。 Returning to FIG. 4, in S12, the control unit 10 (translation processing unit 13) translates the caption and acquires the translated sentence (explanatory sentence) 63 shown in FIG. 5 (C). When the image search system 100 is used in an English-speaking world, the processing by the translation processing unit 13 is unnecessary.
In S13, the control unit 10 (word extraction unit 15) performs morphological analysis on the translated sentence 63. FIG. 6A shows the result data 64 obtained by morphological analysis of the translated sentence 63 shown in FIG. 5C.
Returning to FIG. 4, in S14, the control unit 10 (word extraction unit 15) extracts nouns from the result data of the morphological analysis by part-speech filtering. Next, the control unit 10 excludes pronouns and suffixes from the extracted nouns. Then, the control unit 10 calculates the appearance frequency of the noun. FIG. 6B shows an example of a noun frequency table 65 in which nouns and frequency of occurrence are associated with each other.

図４に戻り、Ｓ１５において、制御部１０（キーワード選定部１６）は、フィルタリング及び置換処理を行って、キーワードを選定する。具体的には、制御部１０は、除外語記憶部２２を参照し、名詞頻度テーブル６５に含まれる除外語を削除する。この例の画像データの年代では、除外語記憶部２２の除外語に、例えば、「リンゴ」、「シャツ」、「ぬいぐるみ」、「スカート」、「玩具」が記憶されているとする。その場合、制御部１０は、図６（Ｂ）に示す名詞頻度テーブル６５にある名詞のうち、「リンゴ」、「シャツ」、「ぬいぐるみ」、「スカート」、「玩具」を削除する。
また、制御部１０は、地域語記憶部２３を参照し、名詞頻度テーブル６５に含まれる対象語を、特定語に変換する。
さらに、制御部１０は、出現頻度が上位の名詞を抽出する。制御部１０は、例えば、上位５件の名詞を抽出するようにしてもよいし、閾値を決めて、閾値以上の頻度のある名詞を抽出するようにしてもよい。図６（Ｃ）は、閾値を「５」として選定したキーワードが記憶されたキーワードテーブル６６の例を示す。 Returning to FIG. 4, in S15, the control unit 10 (keyword selection unit 16) performs filtering and replacement processing to select a keyword. Specifically, the control unit 10 refers to the exclusion word storage unit 22 and deletes the exclusion words included in the noun frequency table 65. In the age of the image data of this example, it is assumed that, for example, "apple", "shirt", "stuffed animal", "skirt", and "toy" are stored in the exclusion word of the exclusion word storage unit 22. In that case, the control unit 10 deletes "apple", "shirt", "stuffed animal", "skirt", and "toy" from the nouns in the noun frequency table 65 shown in FIG. 6 (B).
Further, the control unit 10 refers to the regional word storage unit 23 and converts the target word included in the noun frequency table 65 into a specific word.
Further, the control unit 10 extracts nouns having a higher frequency of appearance. For example, the control unit 10 may extract the top five nouns, or may determine a threshold value and extract nouns having a frequency equal to or higher than the threshold value. FIG. 6C shows an example of the keyword table 66 in which the keywords selected with the threshold value set to “5” are stored.

図４に戻り、Ｓ１６において、制御部１０（キーワード登録部１８）は、キーワードテーブル６６に記憶された名詞を、キーワードとして、画像ＤＢ３に登録する。制御部１０は、Ｓ１０の処理で受け付けた画像データに、抽出したキーワードを対応付けて画像ＤＢ３に記憶させる。
Ｓ１７において、制御部１０は、この処理を終了するか否かを判断する。制御部１０は、例えば、画像ＤＢ３の全ての画像データにキーワードが対応付けられているか否かによって、この処理を終了するか否かを判断する。この処理を終了する場合（Ｓ１７：ＹＥＳ）には、制御部１０は、本処理を終了する。他方、この処理を終了しない場合（Ｓ１７：ＮＯ）には、制御部１０は、処理をＳ１０に移して、キーワードが対応付けられていない他の画像データについて処理を行う。 Returning to FIG. 4, in S16, the control unit 10 (keyword registration unit 18) registers the noun stored in the keyword table 66 as a keyword in the image DB 3. The control unit 10 associates the extracted keyword with the image data received in the process of S10 and stores it in the image DB 3.
In S17, the control unit 10 determines whether or not to end this process. The control unit 10 determines whether or not to end this process, for example, depending on whether or not the keyword is associated with all the image data in the image DB 3. When ending this process (S17: YES), the control unit 10 ends this process. On the other hand, when this process is not completed (S17: NO), the control unit 10 shifts the process to S10 and performs the process on other image data to which the keyword is not associated.

このように、画像関連付け装置１は、画像の内容に関連する複数のキーワードを、画像の内容を表す説明文から抽出するので、精度の高いキーワードを簡単に抽出できる。
また、画像関連付け装置１は、画像の内容を示す複数のキーワードを、画像データに対応付けることができるため、画像検索等にキーワードを用いることができる。 In this way, the image association device 1 extracts a plurality of keywords related to the content of the image from the explanatory text representing the content of the image, so that the keywords with high accuracy can be easily extracted.
Further, since the image association device 1 can associate a plurality of keywords indicating the contents of the image with the image data, the keywords can be used for image search and the like.

＜画像検索装置４の処理＞
次に、画像検索装置４を使用した画像検索処理について説明する。
図７は、第１実施形態に係る画像検索装置４の画像検索処理を示すフローチャートである。
図８は、第１実施形態に係る画像検索装置４での表示例を示す図である。
ユーザが画像検索装置４を操作して、画像検索プログラム５１ａを起動させることで、画像検索装置４は、図７に示す画像検索処理を開始する。 <Processing of image search device 4>
Next, an image search process using the image search device 4 will be described.
FIG. 7 is a flowchart showing an image search process of the image search device 4 according to the first embodiment.
FIG. 8 is a diagram showing a display example in the image search device 4 according to the first embodiment.
When the user operates the image search device 4 to activate the image search program 51a, the image search device 4 starts the image search process shown in FIG. 7.

図７のＳ３０において、画像検索装置４の制御部４０は、図８（Ａ）に示す画像検索画面７０を、タッチパネルディスプレイ５７に表示させる。ユーザは、画像検索画面７０の語入力部７０ａに検索したい語（検索語）を手入力し、「検索」ボタンを選択する。ユーザが、例えば、「椅子」のある画像を検索したい場合には、ユーザは、検索語として、「椅子」を語入力部７０ａに手入力する。なお、検索語は、複数の語であってもよい。
画像検索画面７０に検索語が入力され、ユーザにより「検索」ボタンが選択されたことで、図７のＳ３１において、制御部４０（検索語受付部４１）は、検索語を受け付ける。 In S30 of FIG. 7, the control unit 40 of the image search device 4 displays the image search screen 70 shown in FIG. 8A on the touch panel display 57. The user manually inputs a word (search word) to be searched for in the word input unit 70a of the image search screen 70, and selects the "search" button. When the user wants to search for an image having "chair", for example, the user manually inputs "chair" into the word input unit 70a as a search term. The search term may be a plurality of terms.
When the search term is input to the image search screen 70 and the "search" button is selected by the user, the control unit 40 (search term receiving section 41) receives the search term in S31 of FIG. 7.

Ｓ３２において、制御部４０（画像抽出部４２）は、画像ＤＢ３を参照し、受け付けた検索語がキーワードとして関連付いた画像データを抽出する。ここで、制御部４０は、複数の画像データを抽出してもよい。
Ｓ３３において、制御部４０は、抽出した画像データに基づいて、画像検索結果画面７１を生成する。制御部４０は、例えば、抽出した画像データのサムネイルを生成する。そして、制御部４０は、画像検索結果画面７１に、キーワードによってヒットした画像データの数であるヒット数や、生成したサムネイルを配置する。 In S32, the control unit 40 (image extraction unit 42) refers to the image DB 3 and extracts image data associated with the received search term as a keyword. Here, the control unit 40 may extract a plurality of image data.
In S33, the control unit 40 generates an image search result screen 71 based on the extracted image data. The control unit 40 generates, for example, a thumbnail of the extracted image data. Then, the control unit 40 arranges the number of hits, which is the number of image data hit by the keyword, and the generated thumbnails on the image search result screen 71.

Ｓ３４において、制御部４０（画像出力部４３）は、生成した画像検索結果画面７１を、タッチパネルディスプレイ５７に表示させる。図８（Ｂ）は、画像データを検索結果として表示した画像検索結果画面７１の例である。図８（Ｂ）に示す画像検索結果画面７１は、抽出した３つの画像データのサムネイル７１ａ〜７１ｃを含む。なお、サムネイル７１ａ〜７１ｃのいずれかをユーザが選択することで、制御部４０は、対応する画像データを、別画面に出力してもよい。また、画像検索結果画面７１に、検索結果として出力する画像データの条件を入力できる構成を含むようにし、画像データの年代等の絞込を行うようにしてもよい。
その後、制御部４０は、本処理を終了する。 In S34, the control unit 40 (image output unit 43) displays the generated image search result screen 71 on the touch panel display 57. FIG. 8B is an example of an image search result screen 71 in which image data is displayed as a search result. The image search result screen 71 shown in FIG. 8B includes thumbnails 71a to 71c of the three extracted image data. When the user selects any of the thumbnails 71a to 71c, the control unit 40 may output the corresponding image data to another screen. Further, the image search result screen 71 may include a configuration in which conditions for image data to be output as a search result can be input, and the age of the image data may be narrowed down.
After that, the control unit 40 ends this process.

このように、第１実施形態の画像検索システム１００によれば、以下のような効果がある。
（１）画像関連付け装置１は、画像に関する説明文に形態素解析を行って、得られた単語から名詞を抽出してキーワードを選定するので、画像の内容を示す精度の高いキーワードを抽出できる。そして、画像検索装置４では、検索語をキーワードとする画像データを抽出して表示させるので、キーワードを画像データに対応付けることで、画像検索として使い勝手のよいものにできる。
（２）画像関連付け装置１は、既にオープンになっている公知の画像を分析して説明文を出力する技術を用いて、キーワードを選定するので、学習用のデータ収集やアノテーションのコストをかけることなく、簡単に画像の内容を示す精度の高いキーワードを抽出できる。 As described above, according to the image search system 100 of the first embodiment, there are the following effects.
(1) Since the image association device 1 performs morphological analysis on the explanatory text related to the image, extracts nouns from the obtained words, and selects keywords, it is possible to extract highly accurate keywords indicating the contents of the image. Then, since the image search device 4 extracts and displays image data using the search term as a keyword, it is possible to make the image search convenient by associating the keyword with the image data.
(2) Since the image association device 1 selects keywords by using a technique of analyzing an already open known image and outputting an explanatory text, it costs data collection for learning and annotation. You can easily extract highly accurate keywords that indicate the content of the image.

（３）画像関連付け装置１は、画像データが示す画像の年代では物自体のない語を除外語として、キーワードから除外するので、画像の年代にはふさわしくないキーワードを、画像データに対応付けることがない。よって、選定するキーワードを、画像データが示す画像の年代に適した語にすることができる。
（４）画像関連付け装置１は、画像データが示す画像の年代では除外する除外語に代えて、その年代の代替語を、キーワードにするので、その年代にふさわしいキーワードを、画像データに対応付けることができる。 (3) Since the image association device 1 excludes words that do not exist in the image age indicated by the image data as exclusion words from the keywords, keywords that are not suitable for the image age are not associated with the image data. .. Therefore, the keyword to be selected can be a word suitable for the age of the image indicated by the image data.
(4) Since the image association device 1 uses an alternative word of the age as a keyword instead of the excluded word excluded in the age of the image indicated by the image data, it is possible to associate a keyword suitable for the age with the image data. it can.

（５）画像関連付け装置１は、説明文から抽出した名詞の出現頻度に基づいて、キーワードを選定する。出現頻度が高い語の方が、出現頻度の低い語より画像データの内容をより表すものであると推定できるため、出現頻度の高い語を、キーワードとして選定できる。
（６）画像関連付け装置１は、画像データが示す国や地域に特有の語に置き換えてキーワードにするので、その地域にふさわしいキーワードを、画像データに対応付けることができる。 (5) The image association device 1 selects keywords based on the frequency of appearance of nouns extracted from the explanatory text. Since it can be estimated that a word having a high frequency of appearance represents the content of image data more than a word having a low frequency of appearance, a word having a high frequency of appearance can be selected as a keyword.
(6) Since the image association device 1 replaces the words indicated by the image data with words specific to the country or region and uses them as keywords, the keywords suitable for the region can be associated with the image data.

（７）画像関連付け装置１は、キーワードを、画像データに対応付けて画像ＤＢ３に登録するので、画像ＤＢ３を、画像検索に使用しやすいデータが記憶されたものにできる。
（８）画像検索装置４は、検索語がキーワードとして対応付けられた画像データを画像ＤＢ３から抽出するので、検索語が含まれる様々な画像を表示できる。よって、様々な画像をユーザに知らせるきっかけを作ることができる。 (7) Since the image association device 1 registers the keyword in the image DB 3 in association with the image data, the image DB 3 can be stored with data that is easy to use for image search.
(8) Since the image search device 4 extracts image data in which the search term is associated as a keyword from the image DB 3, various images including the search term can be displayed. Therefore, it is possible to create an opportunity to inform the user of various images.

（第２実施形態）
第２実施形態では、入力画像に関連する画像を検索する場合について説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。 (Second Embodiment)
In the second embodiment, a case of searching for an image related to the input image will be described. In the following description, the same reference numerals or the same reference numerals will be added to the parts that perform the same functions as those in the first embodiment described above, and duplicate description will be omitted as appropriate.

＜画像検索システム２００の全体構成＞
図９は、第２実施形態に係る画像検索システム２００の機能ブロック図である。
画像検索システム２００は、検索対象としてユーザにより入力された画像データ（対象画像）から、その画像データに関するキーワードを選定し、選定したキーワードを用いて画像ＤＢ３を参照して、類似の画像データを検索するシステムである。
画像検索システム２００は、関連画像検索装置２０１（画像検索装置）と、画像ＤＢ３とを備える。 <Overall configuration of image search system 200>
FIG. 9 is a functional block diagram of the image search system 200 according to the second embodiment.
The image search system 200 selects a keyword related to the image data from the image data (target image) input by the user as a search target, refers to the image DB3 using the selected keyword, and searches for similar image data. It is a system to do.
The image search system 200 includes a related image search device 201 (image search device) and an image DB 3.

＜関連画像検索装置２０１＞
関連画像検索装置２０１は、検索対象としてユーザにより入力された画像データである入力画像データの内容を示すキーワードを抽出する。そして、関連画像検索装置２０１は、抽出したキーワードに対応付けられた画像データを、画像ＤＢ３から抽出して表示させる。
関連画像検索装置２０１は、例えば、ＰＣ等である。関連画像検索装置２０１は、その他、タブレットに代表されるコンピュータの機能を併せ持った携帯型の装置等であってもよい。
関連画像検索装置２０１は、制御部２１０と、記憶部２２０と、入力部２２６と、表示部２２８と、通信インタフェース部２９とを備える。 <Related image search device 201>
The related image search device 201 extracts a keyword indicating the content of the input image data, which is the image data input by the user as the search target. Then, the related image search device 201 extracts the image data associated with the extracted keyword from the image DB 3 and displays it.
The related image search device 201 is, for example, a PC or the like. The related image search device 201 may also be a portable device or the like having a computer function represented by a tablet.
The related image search device 201 includes a control unit 210, a storage unit 220, an input unit 226, a display unit 228, and a communication interface unit 29.

制御部２１０は、画像受付部２１１（画像受付手段）と、説明文生成部１２と、翻訳処理部１３と、単語抽出部１５と、キーワード選定部１６と、画像抽出部２１７（画像抽出手段）と、画像出力部２１９（画像出力手段）とを備える。
画像受付部２１１は、ユーザが入力した画像データである、入力画像データを受け付ける。
画像抽出部２１７は、入力画像データに基づいて抽出されたキーワードを含む画像データを、画像ＤＢ３から抽出する。
画像出力部２１９は、画像ＤＢ３から抽出された画像データを、表示部２２８に出力する。 The control unit 210 includes an image reception unit 211 (image reception means), an explanatory text generation unit 12, a translation processing unit 13, a word extraction unit 15, a keyword selection unit 16, and an image extraction unit 217 (image extraction means). And an image output unit 219 (image output means).
The image receiving unit 211 receives the input image data, which is the image data input by the user.
The image extraction unit 217 extracts image data including keywords extracted based on the input image data from the image DB 3.
The image output unit 219 outputs the image data extracted from the image DB 3 to the display unit 228.

記憶部２２０は、プログラム記憶部２２１と、除外語記憶部２２と、地域語記憶部２３とを備える。
プログラム記憶部２２１は、関連画像検索装置２０１の制御部２１０が実行する各種機能を行うためのプログラムである画像検索プログラム２２１ｂを記憶している。画像検索プログラム２２１ｂは、例えば、図示しないアプリ配信サーバからダウンロード等することによって、予めプログラム記憶部２２１に記憶されている。
入力部２２６は、例えば、キーボードやマウス等の入力装置である。
表示部２２８は、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等の表示装置である。 The storage unit 220 includes a program storage unit 221, an exclusion word storage unit 22, and a regional word storage unit 23.
The program storage unit 221 stores the image search program 221b, which is a program for performing various functions executed by the control unit 210 of the related image search device 201. The image search program 221b is stored in the program storage unit 221 in advance, for example, by downloading from an application distribution server (not shown).
The input unit 226 is, for example, an input device such as a keyboard or a mouse.
The display unit 228 is, for example, a display device such as an LCD (Liquid Crystal Display).

＜関連画像検索装置２０１の処理＞
次に、関連画像検索装置２０１での処理について説明する。
図１０は、第２実施形態に係る関連画像検索装置２０１の画像検索処理を示すフローチャートである。
図１１は、第２実施形態に係る関連画像検索装置２０１での表示例を示す図である。
ユーザが関連画像検索装置２０１を操作して、画像検索プログラム２２１ｂを起動させることで、関連画像検索装置２０１は、画像検索処理を開始する。 <Processing of related image search device 201>
Next, the processing in the related image search device 201 will be described.
FIG. 10 is a flowchart showing an image search process of the related image search device 201 according to the second embodiment.
FIG. 11 is a diagram showing a display example in the related image search device 201 according to the second embodiment.
When the user operates the related image search device 201 to activate the image search program 221b, the related image search device 201 starts the image search process.

図１０のＳ２１０において、関連画像検索装置２０１の制御部２１０は、図１１（Ａ）に示す関連画像検索画面２７０を、表示部２２８に表示させる。ユーザは、例えば、関連画像検索画面２７０の「選択」ボタンを選択して、出力された図示しないフォルダ一覧から、記憶部２２０に記憶された検索対象にする入力画像データを指定する。
関連画像検索画面２７０に画像データが入力され、ユーザにより「検索」ボタンが選択されたことにより、Ｓ２１１において、制御部２１０（画像受付部２１１）は、入力画像データを受け付ける。
Ｓ２１２からＳ２１６までの処理は、第１実施形態（図４）のＳ１１からＳ１５までの処理と同様である。 In S210 of FIG. 10, the control unit 210 of the related image search device 201 causes the display unit 228 to display the related image search screen 270 shown in FIG. 11 (A). For example, the user selects the "select" button on the related image search screen 270, and specifies the input image data to be searched stored in the storage unit 220 from the output list of folders (not shown).
When the image data is input to the related image search screen 270 and the "search" button is selected by the user, the control unit 210 (image receiving unit 211) receives the input image data in S211.
The processes from S212 to S216 are the same as the processes from S11 to S15 of the first embodiment (FIG. 4).

Ｓ２１７において、制御部２１０（画像抽出部２１７）は、画像ＤＢ３を参照し、Ｓ２１６において選定したキーワードが対応付けられた画像データを抽出する。ここで、制御部２１０は、複数のキーワードを選定した場合に、キーワードごとに画像データを抽出する。また、制御部２１０は、複数の画像データを抽出してもよい。
Ｓ２１８において、制御部２１０は、抽出した画像データに基づいて、画像検索結果画面２７１を生成する。制御部２１０は、例えば、入力画像データと、抽出した画像データとのサムネイルを生成する。そして、制御部２１０は、画像検索結果画面２７１に、入力画像データのサムネイルを配置し、その周囲に、画像ＤＢ３から抽出した画像データのサムネイルを、キーワードと共に配置する。 In S217, the control unit 210 (image extraction unit 217) refers to the image DB3 and extracts image data associated with the keyword selected in S216. Here, when a plurality of keywords are selected, the control unit 210 extracts image data for each keyword. Further, the control unit 210 may extract a plurality of image data.
In S218, the control unit 210 generates an image search result screen 271 based on the extracted image data. The control unit 210 generates, for example, thumbnails of the input image data and the extracted image data. Then, the control unit 210 arranges a thumbnail of the input image data on the image search result screen 271, and arranges a thumbnail of the image data extracted from the image DB 3 together with the keyword around the thumbnail of the input image data.

Ｓ２１９において、制御部２１０（画像出力部２１９）は、生成した画像検索結果画面２７１を、表示部２２８に表示させる。図１１（Ｂ）は、画像検索結果画面２７１の例である。図１１（Ｂ）に示す画像検索結果画面２７１は、入力画像データのサムネイル２７１ａと、各キーワードに対応した抽出した４つの画像データのサムネイル２７１ｂ〜２７１ｅとを含む。なお、サムネイル２７１ａ〜２７１ｅのいずれかをユーザが選択することで、制御部２１０は、対応する画像データを、別画面に出力してもよい。また、画像検索結果画面２７１に、「次へ」のボタンを含むようにし、「次へ」のボタンの選択を受け付けた場合に、制御部２１０は、各キーワードの異なる画像データのサムネイルを出力するようにしてもよい。
その後、制御部２１０は、本処理を終了する。 In S219, the control unit 210 (image output unit 219) causes the display unit 228 to display the generated image search result screen 271. FIG. 11B is an example of the image search result screen 271. The image search result screen 271 shown in FIG. 11B includes thumbnails 271a of input image data and thumbnails 271b to 271e of four extracted image data corresponding to each keyword. When the user selects any of the thumbnails 271a to 271e, the control unit 210 may output the corresponding image data to another screen. Further, when the image search result screen 271 includes a "Next" button and the selection of the "Next" button is accepted, the control unit 210 outputs thumbnails of image data different for each keyword. You may do so.
After that, the control unit 210 ends this process.

このように、第２実施形態の画像検索システム２００によれば、以下のような効果がある。
（１）関連画像検索装置２０１は、入力画像データに関連する画像データを、入力画像データの画像に関する説明文に対して形態素解析を行って、得られた単語からキーワードを選定し、そのキーワードが対応付けられた画像データにする。よって、入力画像データに関連する画像データを、キーワードに基づいて多様な観点で抽出できる。つまり、例えば、入力画像から受ける印象に基づく検索結果として、関連画像検索装置２０１は、画像データを抽出できる。そして、関連画像検索装置２０１は、ユーザに、様々な画像データを示すことができ、知識がなくてもユーザが必要とする画像データを得ることができる。

（２）関連画像検索装置２０１は、入力画像データに関連する画像データを、キーワードと共に出力するので、ユーザに、入力画像データに関するキーワードを示すことができる。 As described above, according to the image search system 200 of the second embodiment, there are the following effects.
(1) The related image search device 201 performs morphological analysis on the image data related to the input image data with respect to the description related to the image of the input image data, selects a keyword from the obtained words, and the keyword is Make the associated image data. Therefore, the image data related to the input image data can be extracted from various viewpoints based on the keywords. That is, for example, the related image search device 201 can extract image data as a search result based on the impression received from the input image. Then, the related image search device 201 can show the user various image data, and can obtain the image data required by the user without any knowledge.

(2) Since the related image search device 201 outputs the image data related to the input image data together with the keyword, the user can be shown the keyword related to the input image data.

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments. Moreover, the effects described in the embodiments are merely a list of the most preferable effects arising from the present invention, and the effects according to the present invention are not limited to those described in the embodiments. The above-described embodiment and the modified form described later can be used in combination as appropriate, but detailed description thereof will be omitted.

（変形形態）
（１）各実施形態では、画像ＤＢは、通信ネットワークを介して接続されているものとして説明したが、これに限定されない。例えば、第１実施形態であれば、画像関連付け装置の記憶部に有していてもよい。
（２）各実施形態では、画像の説明文から得た名詞の出現頻度によって、フィルタリングするものを例に説明したが、これに限定されない。全ての名詞をキーワードとしてもよい。また、名詞をキーワードとして画像データに対応付けるものとして説明したが、キーワードの出現頻度や、全体の名詞に対するキーワードの出現度合いを、キーワードに対応付けてもよい。そのようにすることで、画像検索処理に、出現頻度や出現度合いを考慮することができる。 (Transformed form)
(1) In each embodiment, the image DB has been described as being connected via a communication network, but the present invention is not limited to this. For example, in the case of the first embodiment, it may be stored in the storage unit of the image association device.
(2) In each embodiment, filtering according to the frequency of appearance of nouns obtained from the description of the image has been described as an example, but the present invention is not limited to this. All nouns may be used as keywords. Further, although the description has been made assuming that the noun is associated with the image data as a keyword, the frequency of appearance of the keyword and the degree of appearance of the keyword for the entire noun may be associated with the keyword. By doing so, the frequency of appearance and the degree of appearance can be taken into consideration in the image search process.

（３）各実施形態では、年代ものの絵画の画像データを対象とした例を説明したが、これに限定されない。例えば、現代の画家による現代のものを描いた絵画を画像化したものを含んでもよい。その場合には、年代による名詞の削除や置換は不要である。
（４）第１実施形態では、１以上の語を検索語として入力することで、画像検索処理を行うものを例に説明したが、これに限定されない。入力は、例えば、文章等であってもよい。その場合には、入力された文章から単語を抽出した後に、画像検索処理を行えばよい。
（５）第２実施形態では、入力画像データに関連する画像データを、入力画像データから抽出されたキーワードに基づき表示させるものを例に説明したが、これに限定されない。例えば、入力画像データから抽出されたキーワードを表示させ、表示されたキーワードから１以上のキーワードをユーザが選択することで、受け付けたキーワードに対応付けられた画像データを表示させるようにしてもよい。 (3) In each embodiment, an example targeting image data of a period painting has been described, but the present invention is not limited to this. For example, it may include an image of a painting by a modern painter depicting a modern one. In that case, it is not necessary to delete or replace the noun by age.
(4) In the first embodiment, an image search process is performed by inputting one or more words as search terms, but the present invention is not limited to this. The input may be, for example, a sentence or the like. In that case, the image search process may be performed after extracting the word from the input sentence.
(5) In the second embodiment, the image data related to the input image data is displayed based on the keyword extracted from the input image data as an example, but the present invention is not limited to this. For example, the keywords extracted from the input image data may be displayed, and the user may select one or more keywords from the displayed keywords to display the image data associated with the accepted keywords.

１画像関連付け装置
３画像ＤＢ
４画像検索装置
１０，４０，２１０制御部
１１，２１１画像受付部
１２説明文生成部
１３翻訳処理部
１５単語抽出部
１６キーワード選定部
１８キーワード登録部
２０，５０，２２０記憶部
２１ａキーワード抽出プログラム
２２除外語記憶部
２３地域語記憶部
４１検索語受付部
４２，２１７画像抽出部
４３，２１９画像出力部
５１ａ，２２１ｂ画像検索プログラム
５７タッチパネルディスプレイ
１００，２００画像検索システム
２２８表示部 1 Image association device 3 Image DB
4 Image search device 10, 40, 210 Control unit 11,211 Image reception unit 12 Explanation generation unit 13 Translation processing unit 15 Word extraction unit 16 Keyword selection unit 18 Keyword registration unit 20, 50, 220 Storage unit 21a Keyword extraction program 22 Excluded word storage unit 23 Regional language storage unit 41 Search word reception unit 42,217 Image extraction unit 43,219 Image output unit 51a, 221b Image search program 57 Touch panel display 100,200 Image search system 228 Display unit

Claims

An exclusion word storage unit that associates an age with an exclusion word that is a word excluded in the age.
An explanatory text generation means that analyzes the image associated with the age indicated by the image, extracts the features of the image, and generates an explanatory text by referring to the words associated with each of the features.
A word extraction means for extracting a plurality of words from the explanation sentence generated by the explanation sentence generation means, and a word extraction means.
A keyword selection means that selects a part of the words extracted by the word extraction means as a keyword, and
An association means for associating the keyword selected by the keyword selection means with the image,
Equipped with a,
The keyword selection means refers to the exclusion word storage unit, and selects the keyword by excluding the exclusion word corresponding to the age of the image.
Image association device characterized.

In the image association device according to claim 1,
The exclusion word storage unit stores a substitution word corresponding to the exclusion word, and
The keyword selection means refers to the exclusion word storage unit, replaces the exclusion word corresponding to the age of the image with a substitution word, and selects the keyword.
An image association device characterized by.

A regional word storage unit that associates a specific word used in a region with a target word corresponding to the specific word.
An explanatory text generating means that analyzes the image to which the area indicated by the image is associated, extracts the features of the image, and generates an explanatory note by referring to the words associated with each of the features.
A word extraction means for extracting a plurality of words from the explanation sentence generated by the explanation sentence generation means, and a word extraction means.
A keyword selection means that selects a part of the words extracted by the word extraction means as a keyword, and
An association means for associating the keyword selected by the keyword selection means with the image,
Equipped with a,
The keyword selection means refers to the regional word storage unit, replaces the target word in the image with a corresponding specific word, and selects the keyword.
Image association device characterized.

In the image association device according to any one of claims 1 to 3.
The keyword selection means selects the keyword based on the frequency of occurrence of words extracted by the word extraction means.
An image association device characterized by.

In the image association device according to any one of claims 1 to 4.
Provided with a translation means for translating the explanatory text generated by the explanatory text generating means or the word extracted by the word extracting means into another associated language.
An image association device characterized by.

An image search device that is communicably connected to an image database that stores the keyword and the image associated with the image association device according to any one of claims 1 to 5.
Image receiving means for accepting target images and
An explanatory text generating means that analyzes a target image received by the image receiving means, extracts features of the target image, and generates an explanatory text by referring to words associated with each feature.
A word extraction means for extracting a plurality of words from the explanation sentence generated by the explanation sentence generation means, and a word extraction means.
A keyword selection means that selects a part of the words extracted by the word extraction means as a keyword, and
An image extraction means for extracting an image containing a keyword selected by the keyword selection means from the image database, and an image extraction means.
An image output means that outputs an image extracted by the image extraction means, and an image output means.
To prepare
An image search device characterized by.

An image search device communicatively connected to an image database that stores an image in association with a keyword related to the image.
Image receiving means for accepting target images and
An explanatory text generating means that analyzes a target image received by the image receiving means, extracts features of the target image, and generates an explanatory text by referring to words associated with each feature.
A word extraction means for extracting a plurality of words from the explanation sentence generated by the explanation sentence generation means, and a word extraction means.
A keyword selection means that selects a part of the words extracted by the word extraction means as a keyword, and
An image extraction means for extracting an image containing a keyword selected by the keyword selection means from the image database, and an image extraction means.
An image output means that outputs an image extracted by the image extraction means, and an image output means.
To prepare
An image search device characterized by.

The image search device according to claim 6 or 7.
With the image database
Image search system with.

A program for operating a computer as the image association device according to any one of claims 1 to 5.

A program for operating a computer as the image search device according to claim 6 or 7.