JP6578679B2

JP6578679B2 - Image processing apparatus and program

Info

Publication number: JP6578679B2
Application number: JP2015047686A
Authority: JP
Inventors: 真人藤垣
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2015-03-10
Filing date: 2015-03-10
Publication date: 2019-09-25
Anticipated expiration: 2035-03-10
Also published as: JP2016167236A

Description

本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and a program.

画像群の中から画像を検索する仕組みを実現するために、作業者が、画像の内容を表す画像属性情報（例えばキーワードやタグ情報）を予め画像に付与することがある。この場合、通常、作業者が個々の画像の内容を確認した上で、画像属性情報を決定して画像に付与している。 In order to realize a mechanism for searching for an image from a group of images, an operator may add image attribute information (for example, keyword or tag information) representing the content of the image to the image in advance. In this case, usually, the operator confirms the contents of each image, and then determines the image attribute information and assigns it to the image.

特許文献１に記載のシステムにおいては、キーワード付与対象画像と似た特徴を有する画像を含むｈｔｍｌページが検索され、そのｈｔｍｌページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される。 In the system described in Patent Document 1, an html page including an image having characteristics similar to the keyword assignment target image is searched, and a noun having a high appearance frequency is provided as a keyword candidate in a noun group included in the html page. Is done.

特開２０１１−５４００６号公報JP 2011-54006 A

作業者が画像属性情報を画像に付与する場合においては、対象となる画像の数が多くなるほど、当該画像の内容を表現する画像属性情報を決定して付与するための作業が増大し、作業者の負担が増大するという問題が生じ得る。また、画像内容を適切に表現する画像属性情報が画像に付与されない場合、画像の検索性が低下するという問題が生じ得る。 When an operator assigns image attribute information to an image, as the number of target images increases, the work for determining and assigning image attribute information representing the contents of the image increases. The problem that the burden of the increase increases may arise. In addition, when image attribute information that appropriately expresses the image content is not given to the image, there is a problem that the searchability of the image is deteriorated.

本発明の目的は、キーワード付与対象画像と似た特徴を有する画像を含むｈｔｍｌページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される場合と比較して、より当該画像の内容を適切に表現する画像属性情報の候補を提供することである。 An object of the present invention is to compare the image with a noun having a high appearance frequency among noun groups included in an html page including an image having characteristics similar to those of the keyword assignment target image as compared to a case where the noun group is provided as a keyword candidate. Is to provide candidates for image attribute information that appropriately represents the contents of the image.

請求項１に係る発明は、画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴と類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第１優先度を決定する第１優先度決定手段と、前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第１優先度を示す情報を出力する出力手段と、を有する画像処理装置である。 The invention according to claim 1 is an acquisition unit that acquires extraction target data including a similar image having a feature similar to a feature of an assignment target image that is an assignment target of image attribute information representing the content of the image; First priority determining means for extracting a noun group from a character string group represented in the data and determining a first priority of each noun based on a positional relationship with the similar image; And an output means for outputting information indicating the first priority as well as outputting the noun group as candidates for the image attribute information.

請求項２に係る発明は、前記第１優先度決定手段は、前記抽出対象データにおいて前記類似画像に近い位置に表された名詞ほど高い前記第１優先度を付与する、ことを特徴とする請求項１に記載の画像処理装置である。 The invention according to claim 2 is characterized in that the first priority determination means assigns the higher first priority to a noun represented at a position closer to the similar image in the extraction target data. The image processing apparatus according to Item 1.

請求項３に係る発明は、前記第１優先度は、前記抽出された名詞と前記類似画像との関連度を示す情報である、ことを特徴とする請求項１又は請求項２に記載の画像処理装置である。 The image according to claim 1, wherein the first priority is information indicating a degree of association between the extracted noun and the similar image. It is a processing device.

請求項４に係る発明は、前記抽出された名詞のフォントサイズに応じて、個々の名詞の優先度であって前記第１優先度とは異なる第２優先度を決定する第２優先度決定手段を更に有し、前記出力手段は、前記第２優先度を示す情報を更に出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置である。 According to a fourth aspect of the present invention, there is provided a second priority determining means for determining a second priority that is a priority of each noun and is different from the first priority according to the font size of the extracted noun. The image processing apparatus according to any one of claims 1 to 3, wherein the output unit further outputs information indicating the second priority.

請求項５に係る発明は、前記第２優先度決定手段は、前記抽出対象データ中の個々の名詞の出現回数とフォントサイズとに基づいて前記第２優先度を決定する、ことを特徴とする請求項４に記載の画像処理装置である。 The invention according to claim 5 is characterized in that the second priority determining means determines the second priority based on the number of appearances and font size of each noun in the extraction target data. An image processing apparatus according to claim 4.

請求項６に係る発明は、前記第２優先度決定手段は、フォントサイズが大きい名詞ほど高い前記第２優先度を付与する、ことを特徴とする請求項４又は請求項５に記載の画像処理装置である。 The invention according to claim 6 is the image processing according to claim 4 or 5, wherein the second priority determination means assigns the second priority higher for a noun having a larger font size. Device.

請求項７に係る発明は、前記抽出対象データは、ウェブページ、画像と文字列とを含むデータ、及び、画像データの中の少なくとも１つである、ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置である。 The invention according to claim 7 is characterized in that the extraction target data is at least one of a web page, data including an image and a character string, and image data. The image processing apparatus according to claim 6.

請求項８に係る発明は、コンピュータを、画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴に類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第１優先度を決定する第１優先度決定手段と、前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第１優先度を示す情報を出力する出力手段と、として機能させるプログラムである。 The invention according to claim 8 is an acquisition means for acquiring extraction target data including a similar image having a feature similar to a feature of an assignment target image to be an assignment target of image attribute information representing the content of the image; A first priority determining means for extracting a noun group from the character string group represented in the extraction target data and determining a first priority of each noun based on a positional relationship with the similar image; A program that outputs the extracted noun group as a candidate for the image attribute information and functions as an output unit that outputs information indicating the first priority.

請求項１，７，８に係る発明によると、キーワード付与対象画像と似た特徴を有する画像を含むｈｔｍｌページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される場合と比較して、より当該画像の内容を適切に表現する画像属性情報の候補が提供される。 According to the first, seventh, and eighth aspects of the invention, a noun having a high appearance frequency is provided as a keyword candidate in a noun group included in an html page including an image having characteristics similar to the keyword assignment target image. In comparison, candidates for image attribute information that more appropriately express the contents of the image are provided.

請求項２，３に係る発明によると、類似画像との関連性が高い名詞ほど高い優先度が付与される。 According to the invention which concerns on Claim 2, 3, a higher priority is provided to a noun with high relevance with a similar image.

請求項４−６に係る発明によると、より強調されている名詞に対してより高い優先度が付与される。 According to the invention which concerns on Claim 4-6, a higher priority is provided with respect to the noun emphasized more.

本発明の実施形態に係る画像属性情報付与システムを示すブロック図である。It is a block diagram which shows the image attribute information provision system which concerns on embodiment of this invention. 本実施形態に係るキーワード選定装置を示すブロック図である。It is a block diagram which shows the keyword selection apparatus which concerns on this embodiment. ウェブページの一例を示す図である。It is a figure which shows an example of a web page. ＨＴＭＬソースの一例を示す図である。It is a figure which shows an example of an HTML source. ウェブページの一例を示す図である。It is a figure which shows an example of a web page. キーワード候補リストの一例を示す図である。It is a figure which shows an example of a keyword candidate list. 本実施形態に係る処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which concerns on this embodiment.

図１には、本発明の実施形態に係る画像属性情報付与システムの一例が示されている。このシステムは、一例として、画像処理装置としてのキーワード選定装置１０と、複数のウェブサーバ３０と、端末装置４０とを含む。キーワード選定装置１０と個々のウェブサーバ３０とは、インターネット等の通信経路によって接続されており、キーワード選定装置１０と端末装置４０とは、インターネット等の通信経路によって接続されている。もちろん、端末装置４０と個々のウェブサーバ３０とが、インターネット等の通信経路によって接続されていてもよい。なお、図１に示す例では、複数のウェブサーバ３０が画像属性情報付与システムに含まれているが、これは一例に過ぎず、１つのウェブサーバ３０が画像属性情報付与システムに含まれていてもよい。また、複数の端末装置４０がキーワード選定装置１０に接続されていてもよい。 FIG. 1 shows an example of an image attribute information providing system according to an embodiment of the present invention. As an example, this system includes a keyword selection device 10 as an image processing device, a plurality of web servers 30, and a terminal device 40. The keyword selection device 10 and each web server 30 are connected by a communication path such as the Internet, and the keyword selection device 10 and the terminal device 40 are connected by a communication path such as the Internet. Of course, the terminal device 40 and each web server 30 may be connected by a communication path such as the Internet. In the example shown in FIG. 1, a plurality of web servers 30 are included in the image attribute information providing system. However, this is only an example, and one web server 30 is included in the image attribute information providing system. Also good. A plurality of terminal devices 40 may be connected to the keyword selection device 10.

本実施形態では、画像の内容を表す画像属性情報（例えばキーワードやタグ情報）の候補がキーワード選定装置１０によって選定され、端末装置４０に提供される。以下の説明では、画像属性情報の付与対象となる画像のことを、キーワード付与対象画像と称することとする。 In this embodiment, candidates for image attribute information (for example, keyword and tag information) representing the content of an image are selected by the keyword selection device 10 and provided to the terminal device 40. In the following description, an image to which image attribute information is to be assigned is referred to as a keyword assignment target image.

キーワード選定装置１０は、端末装置４０から提供された画像（キーワード付与対象画像）から特徴を抽出する機能、その特徴と類似する特徴を有する類似画像が含まれるウェブページ（ＨＴＭＬページ）のデータをウェブサーバ３０から取得する機能、及び、そのウェブページを解析することにより、キーワード付与対象画像に付与される画像属性情報の候補を選定し、その候補を端末装置４０に提供する機能、を備えている。また、キーワード選定装置１０は、外部装置との間でデータの送受信を行う機能を備えている。 The keyword selection device 10 has a function of extracting a feature from an image (keyword assignment target image) provided from the terminal device 40, and a web page (HTML page) data including a similar image having a feature similar to the feature. A function to acquire from the server 30, and a function to select a candidate of image attribute information to be given to the keyword assignment target image by analyzing the web page and to provide the candidate to the terminal device 40. . The keyword selection device 10 has a function of transmitting and receiving data to and from an external device.

各ウェブサーバ３０は、キーワード選定装置１０からの要求に応じて、上記類似画像が含まれるウェブページを検索してキーワード選定装置１０に提供する機能を備えている。また、ウェブサーバ３０は、外部装置との間でデータの送受信を行う機能を備えている。 Each web server 30 has a function of searching for a web page including the similar image and providing it to the keyword selection device 10 in response to a request from the keyword selection device 10. The web server 30 also has a function of transmitting / receiving data to / from an external device.

端末装置４０は、ＰＣ（パーソナルコンピュータ）、タブレットＰＣ、スマートフォン又は携帯電話等の装置であり、キーボードやマウスやタッチパネル等の操作部、ディスプレイとして機能する表示部、通信インターフェースとして機能する通信部、及び、ＣＰＵを含む制御部を備えている。端末装置４０は、外部装置との間でデータの送受信を行う機能を備えている。本実施形態では、ユーザによって指定されたキーワード付与対象画像が端末装置４０からキーワード選定装置１０に提供され、画像属性情報の候補がキーワード選定装置１０から端末装置４０に提供される。 The terminal device 40 is a device such as a PC (personal computer), a tablet PC, a smartphone, or a mobile phone, an operation unit such as a keyboard, a mouse, or a touch panel, a display unit that functions as a display, a communication unit that functions as a communication interface, and And a control unit including a CPU. The terminal device 40 has a function of transmitting / receiving data to / from an external device. In the present embodiment, the keyword assignment target image designated by the user is provided from the terminal device 40 to the keyword selection device 10, and image attribute information candidates are provided from the keyword selection device 10 to the terminal device 40.

図２には、キーワード選定装置１０の一例が示されている。 FIG. 2 shows an example of the keyword selection device 10.

通信部１２は通信インターフェースであり、外部装置からデータを受信する機能、及び、外部装置にデータを送信する機能を備えている。本実施形態では、通信部１２は、端末装置４０からキーワード付与対象画像のデータを受信し、ウェブサーバ３０からウェブページのデータを受信する。また、通信部１２は、画像属性情報の候補のデータを端末装置４０に送信する。 The communication unit 12 is a communication interface and has a function of receiving data from an external device and a function of transmitting data to the external device. In the present embodiment, the communication unit 12 receives the keyword assignment target image data from the terminal device 40 and the web server 30 from the web server 30. In addition, the communication unit 12 transmits image attribute information candidate data to the terminal device 40.

特徴抽出部１４は、端末装置４０からキーワード対象画像のデータを受け、そのキーワード付与対象画像から特徴を表す情報を抽出する機能を備えている。例えば、建物の画像、山の画像、空の画像、雲の画像、海の画像、川の画像、人物の画像、動物の画像、植物の画像、物品の画像等が、キーワード付与対象画像の特徴情報として抽出される。この抽出処理は、例えば、公知の画像解析プログラムを利用することにより実現される。 The feature extraction unit 14 has a function of receiving keyword target image data from the terminal device 40 and extracting information representing the feature from the keyword assignment target image. For example, building image, mountain image, sky image, cloud image, sea image, river image, person image, animal image, plant image, article image, etc. Extracted as information. This extraction process is realized, for example, by using a known image analysis program.

ウェブページ取得部１６は、キーワード付与対象画像から抽出された特徴と類似する特徴を有する類似画像が含まれるウェブページのデータ（抽出対象データ）を、各ウェブサーバ３０から取得する。本実施形態においては、類似という概念には、同一という概念も含まれるものとする。例えば、キーワード付与対象画像から山の画像が特徴情報として抽出された場合、形状が類似する山の画像を含むウェブページが各ウェブサーバ３０において検索されてキーワード選定装置１０に提供される。なお、ウェブページ取得部１６は、キーワード選定装置１０とは別の装置（例えば検索サーバ）に設けられていてもよい。 The web page acquisition unit 16 acquires data (extraction target data) of a web page including a similar image having a feature similar to the feature extracted from the keyword assignment target image from each web server 30. In the present embodiment, the concept of similarity includes the concept of the same. For example, when a mountain image is extracted as feature information from the keyword assignment target image, a web page including a mountain image having a similar shape is searched in each web server 30 and provided to the keyword selection device 10. The web page acquisition unit 16 may be provided in a device (for example, a search server) different from the keyword selection device 10.

キーワード候補選定部１８は、ウェブページ取得部１６によって取得されたウェブページの内容を解析することにより、キーワード付与対象画像に付与される画像属性情報（例えばキーワード）の候補を選定する。本実施形態では、キーワード候補選定部１８は、ウェブページに記述されている文字列群の中から名詞をキーワード候補として抽出する。このときに、個々の名詞（キーワード候補）に優先度が付与される。例えば、キーワード候補選定部１８は、ウェブページにおける類似画像との位置関係に基づいて、個々の名詞に第１優先度を付与する。第１優先度は、類似画像との関連性を示す情報である。例えば、類似画像に近い位置に記述された名詞ほど高い優先度（画像関連度）が付与される。また、キーワード候補選定部１８は、名詞のフォントサイズに基づいて、個々の名詞に、第１優先度とは異なる第２優先度を付与する。例えば、フォントサイズが大きい名詞ほど、高い優先度が付与される。また、キーワード候補選定部１８は、名詞のフォントサイズと出現回数とに基づいて、個々の名詞に第２優先度を付与してもよい。この場合、フォントサイズが大きく出現回数が多い名詞ほど、高い優先度が付与される。第１及び第２優先度が付与されたキーワード候補を示す情報は、キーワード選定装置１０から端末装置４０に送信される。なお、キーワード候補選定部１８は、文字列群の中に含まれる固有名詞（例えば、人物名、店舗名等）をキーワード候補から除外してもよい。固有名詞は個人情報等を表していると想定されるからである。例えば、除外対象となる固有名詞を示す情報を予めキーワード選定装置１０に記憶しておき、キーワード候補選定部１８は、その記憶されている固有名詞と一致する固有名詞をキーワード候補から除外する。 The keyword candidate selection unit 18 analyzes the contents of the web page acquired by the web page acquisition unit 16 to select image attribute information (for example, keyword) candidates to be added to the keyword assignment target image. In the present embodiment, the keyword candidate selection unit 18 extracts nouns as keyword candidates from the character string group described in the web page. At this time, priority is given to each noun (keyword candidate). For example, the keyword candidate selection unit 18 gives the first priority to each noun based on the positional relationship with the similar image on the web page. The first priority is information indicating a relationship with a similar image. For example, a noun described at a position closer to a similar image is given higher priority (image relevance). Moreover, the keyword candidate selection part 18 provides the 2nd priority different from a 1st priority to each noun based on the font size of a noun. For example, a higher priority is given to a noun with a larger font size. Moreover, the keyword candidate selection part 18 may give a 2nd priority to each noun based on the font size and appearance frequency of a noun. In this case, a higher priority is given to a noun having a larger font size and a larger number of appearances. Information indicating the keyword candidates assigned the first and second priorities is transmitted from the keyword selection device 10 to the terminal device 40. The keyword candidate selection unit 18 may exclude proper nouns (for example, person names, store names, etc.) included in the character string group from the keyword candidates. This is because proper nouns are assumed to represent personal information and the like. For example, information indicating proper nouns to be excluded is stored in the keyword selection device 10 in advance, and the keyword candidate selection unit 18 excludes proper nouns that match the stored proper nouns from the keyword candidates.

別の例として、キーワード候補選定部１８は、ウェブページ以外のデータ（抽出対象データ）を解析することにより、キーワード付与対象画像に付与される画像属性情報の候補を選定してもよい。抽出対象データとして、例えば、画像と文字列とが混在したデータ（例えば文書データ等）や、画像データ等がある。この場合、ウェブページ取得部１６は、抽出対象データが格納されている図示しない記憶装置から、類似画像が含まれる抽出対象データを取得する。画像と文字列とが混在している抽出対象データが解析対象となる場合、キーワード候補選定部１８は、その抽出対象データに含まれる文字列群の中から名詞をキーワード候補として抽出し、類似画像との位置関係に基づいて第１優先度を決定する。また、キーワード候補選定部１８は、抽出された名詞のフォントサイズと出現回数とに基づいて第２優先度を決定する。画像データ自体が抽出対象データとして解析される場合、キーワード候補選定部１８は、その画像データに対してＯＣＲ（optical character recognition）処理を適用することにより、その画像データから文字列群を抽出し、その文字列群から名詞をキーワード候補として抽出する。そして、キーワード候補選定部１８は、上記と同様に、第１及び第２優先度を決定する。このように、本実施形態では、解析対象のデータはウェブページに限定されるものではなく、画像と文字列とが混在するデータや、画像データ自体であってもよい。以下では、解析対象のデータとしてウェブページを用いる場合について説明する。 As another example, the keyword candidate selection unit 18 may select candidates for image attribute information to be assigned to the keyword assignment target image by analyzing data other than the web page (extraction target data). Examples of data to be extracted include data in which images and character strings are mixed (for example, document data), image data, and the like. In this case, the web page acquisition unit 16 acquires the extraction target data including the similar image from a storage device (not shown) in which the extraction target data is stored. When extraction target data in which an image and a character string are mixed is an analysis target, the keyword candidate selection unit 18 extracts nouns as keyword candidates from the character string group included in the extraction target data, and a similar image The first priority is determined based on the positional relationship between Moreover, the keyword candidate selection part 18 determines a 2nd priority based on the font size and appearance frequency of the extracted noun. When the image data itself is analyzed as the extraction target data, the keyword candidate selection unit 18 extracts a character string group from the image data by applying OCR (optical character recognition) processing to the image data, Nouns are extracted as keyword candidates from the character string group. And the keyword candidate selection part 18 determines the 1st and 2nd priority similarly to the above. Thus, in the present embodiment, the data to be analyzed is not limited to a web page, and may be data in which an image and a character string are mixed, or image data itself. Below, the case where a web page is used as data for analysis is explained.

制御部２０は、キーワード選定装置１０の各部の動作を制御する。 The control unit 20 controls the operation of each unit of the keyword selection device 10.

次に、キーワード選定装置１０による処理について具体例を挙げて説明する。以下の説明では、キーワード付与対象画像に「豆腐」が表されているものとする。この場合、特徴抽出部１４によって、「豆腐の画像」が特徴情報としてキーワード付与対象画像から抽出される。そして、各ウェブサーバ３０において、その「豆腐の画像」に類似する画像を含むウェブページが検索され、キーワード選定装置１０に提供される。 Next, processing by the keyword selection device 10 will be described with a specific example. In the following description, it is assumed that “tofu” is represented in the keyword assignment target image. In this case, the “tofu image” is extracted from the keyword assignment target image as feature information by the feature extraction unit 14. In each web server 30, a web page including an image similar to the “tofu image” is searched and provided to the keyword selection device 10.

まず、図３，４を参照して、第１優先度（画像関連度）の決定方法について説明する。図３には、ウェブサーバ３０から提供されたウェブページの一例が示されており、図４には、そのウェブページのＨＴＭＬソースの一例が示されている。このウェブページ１００には画像１１０が含まれている。画像１１０は豆腐を表す画像であり、キーワード付与対象画像の特徴に類似する画像であるものとする。このようなウェブページ１００のデータが検索されてウェブサーバ３０からキーワード選定装置１０に送信される。 First, a method for determining the first priority (image relevance) will be described with reference to FIGS. FIG. 3 shows an example of a web page provided from the web server 30, and FIG. 4 shows an example of an HTML source of the web page. This web page 100 includes an image 110. The image 110 is an image representing tofu, and is an image similar to the feature of the keyword assignment target image. Data of such a web page 100 is retrieved and transmitted from the web server 30 to the keyword selection device 10.

キーワード候補選定部１８は、ウェブページ１００に記述されている文字列群の中から名詞をキーワード候補として抽出する。例えば、キーワード候補選定部１８は、形態素解析を利用することにより、文字列を複数の単語に分割して名詞を抽出する。図３に示す例では、「豆腐」、「有限会社」、「ＡＡＡ（店舗名）」、「店」、「健康」等の名詞が、キーワード候補として抽出される。また、キーワード候補選定部１８は、類似画像としての画像１１０との位置関係に基づいて、個々の名詞に第１優先度（画像関連度）を付与する。例えば、キーワード候補選定部１８は、画像１１０に最も近い位置に記述されている文字列に含まれる名詞に最も高い画像関連度を付与し、画像１１０から遠い位置に記述されている文字列に含まれる名詞ほど、低い画像関連度を付与する。類似画像としての画像１１０に近い位置に記述されている名詞ほど、その画像１１０との関連性、つまり、キーワード付与対象画像の特徴との関連性が高いと想定されるからである。例えば、キーワード候補選定部１８は、画像１１０から予め決定された距離内に記述されている文字列に含まれる名詞の画像関連度を「高」とし、その距離外に記述されている文字列に含まれる名詞の画像関連度を「低」とする。ウェブページが解析対象のデータとして用いられる場合、キーワード候補選定部１８は、図４に示されているＨＴＭＬソースの階層構造を解析することにより、画像１１０と各文字列との位置関係を特定すればよい。図３に示す例では、文字列１２０が、画像１１０に最も近い位置に記述されている文字列である。それ故、文字列１２０に含まれる名詞「豆腐」、「有限会社」及び「ＡＡＡ（店舗名）」に、最も高い画像関連度が付与される。 The keyword candidate selection unit 18 extracts a noun from the character string group described on the web page 100 as a keyword candidate. For example, the keyword candidate selection unit 18 extracts a noun by dividing a character string into a plurality of words by using morphological analysis. In the example shown in FIG. 3, nouns such as “tofu”, “limited company”, “AAA (store name)”, “store”, “health” are extracted as keyword candidates. Moreover, the keyword candidate selection part 18 provides a 1st priority (image relevance degree) to each noun based on the positional relationship with the image 110 as a similar image. For example, the keyword candidate selection unit 18 gives the highest image relevance to the noun included in the character string described at the position closest to the image 110 and is included in the character string described at a position far from the image 110. The noun is given a lower image relevance. This is because it is assumed that a noun described at a position closer to the image 110 as a similar image has a higher relevance with the image 110, that is, with a feature of the keyword assignment target image. For example, the keyword candidate selection unit 18 sets the image relevance level of nouns included in a character string described within a predetermined distance from the image 110 to “high”, and sets the character string described outside that distance. The image relevance of the contained noun is set to “low”. When a web page is used as data to be analyzed, the keyword candidate selection unit 18 identifies the positional relationship between the image 110 and each character string by analyzing the hierarchical structure of the HTML source shown in FIG. That's fine. In the example illustrated in FIG. 3, the character string 120 is a character string described at a position closest to the image 110. Therefore, the highest image relevance is given to the nouns “tofu”, “limited company” and “AAA (store name)” included in the character string 120.

なお、類似画像以外の画像の周辺には、特徴情報とは関係のない内容の説明文が記述されていると想定されるので、類似画像以外の画像は、上記の処理対象にならない。 In addition, since it is assumed that the explanatory text of the content unrelated to feature information is described around the image other than the similar image, the image other than the similar image is not the processing target.

次に、図５を参照して、第２優先度の決定方法について説明する。図５には、ウェブサーバ３０から提供されたウェブページの一例が示されている。このウェブページ１００は、図３に示されているウェブページと同じものである。 Next, a method for determining the second priority will be described with reference to FIG. FIG. 5 shows an example of a web page provided from the web server 30. This web page 100 is the same as the web page shown in FIG.

キーワード候補選定部１８は、ウェブページ１００に記述されている各名詞のフォントサイズをウェブページ１００のデータから取得し、各名詞の平均フォントサイズを計算する。そして、キーワード候補選定部１８は、平均フォントサイズに対するフォントサイズの割合（フォントサイズ／平均フォントサイズ）を、重み係数として計算する。キーワード候補選定部１８は、同一名詞についてフォントサイズ毎に重み係数を計算する。そして、キーワード候補選定部１８は、同一名詞について、各フォントサイズの重み係数の総和を計算する。このとき、キーワード候補選定部１８は、同一フォントサイズを有する同一名詞の出現回数をカウントし、各フォントサイズの重み係数を、その出現回数分、加算する。このようにして計算された総和が、第２優先度としての出現スコアとして用いられる。 The keyword candidate selection unit 18 acquires the font size of each noun described in the web page 100 from the data of the web page 100, and calculates the average font size of each noun. Then, the keyword candidate selection unit 18 calculates a ratio of the font size to the average font size (font size / average font size) as a weighting coefficient. The keyword candidate selection unit 18 calculates a weighting factor for each font size for the same noun. And the keyword candidate selection part 18 calculates the sum total of the weighting coefficient of each font size about the same noun. At this time, the keyword candidate selection unit 18 counts the number of appearances of the same noun having the same font size, and adds the weighting coefficient of each font size by the number of appearances. The sum calculated in this way is used as an appearance score as the second priority.

ここで、名詞「豆腐」の出現スコア（第２優先度）について説明する。図５に示す例では、名詞２００〜２０８が名詞「豆腐」を示している。名詞２００〜２０８の平均フォントサイズを１００％とする。１００％を基準とした場合において、名詞２００のフォントサイズが１４０％であり、名詞２０２，２０４のフォントサイズが１００％であり、名詞２０６のフォントサイズが９０％であり、名詞２０８のフォントサイズが８０％であるものとする。 Here, the appearance score (second priority) of the noun “tofu” will be described. In the example illustrated in FIG. 5, the nouns 200 to 208 indicate the noun “tofu”. Let the average font size of nouns 200-208 be 100%. When 100% is used as a reference, the font size of the noun 200 is 140%, the font size of the nouns 202 and 204 is 100%, the font size of the noun 206 is 90%, and the font size of the noun 208 is It shall be 80%.

上記の例においては、名詞２００の重み係数は１．４となり、名詞２０２，２０４の重み係数は１．０となり、名詞２０６の重み係数は０．９となり、名詞２０８の重み係数は０．８となる。これらの総和（５．１）が、名詞「豆腐」の出現スコア（第２優先度）として用いられる。以下に、この出現スコアの計算例を示す。
（１４０／１００）＋（１００／１００）×２＋（９０／１００）＋（８０／１００）＝５．１
図５に示す例では、１００％のフォントサイズを有する２つの名詞（名詞２０２，２０４）がウェブページ１００に含まれているため、１００％のフォントサイズの重み係数については、２回分、加算されている。 In the above example, the weight coefficient of the noun 200 is 1.4, the weight coefficient of the nouns 202 and 204 is 1.0, the weight coefficient of the noun 206 is 0.9, and the weight coefficient of the noun 208 is 0.8. It becomes. These sums (5.1) are used as the appearance score (second priority) of the noun “tofu”. An example of calculating the appearance score is shown below.
(140/100) + (100/100) × 2 + (90/100) + (80/100) = 5.1
In the example shown in FIG. 5, since two nouns (nouns 202 and 204) having a font size of 100% are included in the web page 100, the weighting factor of 100% font size is added twice. ing.

以上のように、第１優先度（画像関連度）と第２優先度（出現スコア）とが求められると、キーワード候補選定部１８は、キーワード候補（ウェブページから抽出された名詞）と、画像関連度と、出現スコアと、を示すキーワード候補リストを作成する。制御部２０は、通信部１２を利用して、そのキーワード候補リストのデータを端末装置４０に送信する。端末装置４０の表示部には、そのキーワード候補リストが表示される。ユーザは、そのキーワード候補リストを参照することにより、キーワード付与対象画像に対してキーワードを付与する。これにより、キーワード付与対象画像に、画像属性情報としてのキーワードが対応付けられる。 As described above, when the first priority (image relevance) and the second priority (appearance score) are obtained, the keyword candidate selection unit 18 determines the keyword candidate (noun extracted from the web page), the image, A keyword candidate list indicating the relevance and the appearance score is created. The control unit 20 uses the communication unit 12 to transmit the keyword candidate list data to the terminal device 40. The keyword candidate list is displayed on the display unit of the terminal device 40. The user assigns a keyword to the keyword assignment target image by referring to the keyword candidate list. Thereby, the keyword as the image attribute information is associated with the keyword assignment target image.

図６には、キーワード候補リストの一例が示されている。キーワード候補リストにおいて、「名詞」は、ウェブページ１００からキーワード候補として抽出された情報である。一例として、「豆腐」、「有限会社」、「ＡＡＡ（店舗名）」、「店」、及び、「健康」等の名詞が、キーワード候補として抽出されている。なお、「ＡＡＡ（店舗名）」は固有名詞であるため、キーワード候補選定部１８は、「ＡＡＡ（店舗名）」をキーワード候補から除外してもよい。この場合、「ＡＡＡ（店舗名）」は、キーワード候補リストに掲載されない。 FIG. 6 shows an example of the keyword candidate list. In the keyword candidate list, “noun” is information extracted from the web page 100 as a keyword candidate. As an example, nouns such as “tofu”, “limited company”, “AAA (store name)”, “store”, and “health” are extracted as keyword candidates. Since “AAA (store name)” is a proper noun, the keyword candidate selection unit 18 may exclude “AAA (store name)” from the keyword candidates. In this case, “AAA (store name)” is not placed in the keyword candidate list.

「画像関連度」は、キーワード候補選定部１８によって決定された第１優先度である。「高」は、類似画像（画像１１０）との関連度が相対的に高いことを示しており、「低」は、類似画像との関連度が相対的に低いことを示している。類似画像（画像１１０）に対して相対的に近い位置に記述されている名詞には、画像関連度「高」が付与され、相対的に遠い位置に記述されている名詞には、画像関連度「低」が付与される。図６に示す例では、「豆腐」、「有限会社」、「ＡＡＡ（店舗名）」、及び、「店」に対して画像関連度「高」が付与されており、「健康」に対して画像関連度「低」が付与されている。 The “image relevance” is the first priority determined by the keyword candidate selection unit 18. “High” indicates that the degree of association with the similar image (image 110) is relatively high, and “Low” indicates that the degree of association with the similar image is relatively low. An image relevance “high” is given to a noun described at a position relatively close to the similar image (image 110), and an image relevance is given to a noun described at a relatively distant position. “Low” is given. In the example shown in FIG. 6, “high” is assigned to “tofu”, “limited company”, “AAA (store name)”, and “store”. The image relevance level is “low”.

「出現スコア」は、キーワード候補選定部１８によって計算された第２優先度である。個々の名詞毎に出現スコアが計算されてリストに含まれる。 The “appearance score” is the second priority calculated by the keyword candidate selection unit 18. The appearance score is calculated for each noun and included in the list.

図６に示されているリストが端末装置４０の表示部に表示され、ユーザはそのリストを参照することにより、キーワード付与対象画像に対応付けるキーワード（名詞）を決定することになる。このとき、キーワードを決定する上で、画像関連度や出現スコアが参考情報としてユーザによって参照されることが想定される。なお、端末装置４０においては、画像関連度が「高」に設定されている名詞が上位に表示され、画像関連度が「低」に設定されている名詞が下位に表示されてもよい。また、同一の画像関連度が設定されている名詞群の中において、出現スコアが大きい名詞ほど上位に表示されてもよい。図６に示す例では、名詞「豆腐」、「有限会社」、「ＡＡＡ（店舗名）」、及び、「店」に、画像関連度「高」が設定されているが、名詞「豆腐」の出現スコアがそれらの中で最も大きく、名詞「豆腐」以外の名詞の出現スコアは同一である。それ故、名詞「豆腐」の順位が１番となり、名詞「有限会社」、「ＡＡＡ（店舗名）」及び「店」の順位は同順位の２番となる。 The list shown in FIG. 6 is displayed on the display unit of the terminal device 40, and the user determines a keyword (noun) to be associated with the keyword assignment target image by referring to the list. At this time, in determining the keyword, it is assumed that the image relevance level and the appearance score are referred to by the user as reference information. Note that in the terminal device 40, nouns whose image relevance is set to “high” may be displayed at the top, and nouns whose image relevance is set to “low” may be displayed at the bottom. Moreover, in the noun group in which the same image relevance degree is set, a noun having a higher appearance score may be displayed at the top. In the example illustrated in FIG. 6, the noun “tofu”, “limited company”, “AAA (store name)”, and “store” are set with the image relevance “high”, but the noun “tofu” The appearance score is the largest among them, and the appearance scores of nouns other than the noun “tofu” are the same. Therefore, the rank of the noun “tofu” is No. 1, and the nouns “limited company”, “AAA (store name)” and “store” are No. 2 in the same rank.

次に、図７に示されているフローチャートを参照して、キーワード選定装置１０による処理について説明する。 Next, processing by the keyword selection device 10 will be described with reference to the flowchart shown in FIG.

まず、ユーザが端末装置４０を利用してキーワード付与対象画像を指定し、キーワード付与対象画像の送信指示とキーワード候補の取得指示を与える。これにより、端末装置４０からキーワード選定装置１０にキーワード付与対象画像が送信され、キーワード選定装置１０はキーワード付与対象画像を受信する（Ｓ０１）。キーワード選定装置１０においては、特徴抽出部１４が、キーワード付与対象画像から特徴情報を抽出する（Ｓ０２）。例えば、「豆腐の画像」が特徴情報として抽出される。次に、ウェブページ取得部１６が、抽出された特徴と類似する特徴を有する類似画像が含まれるウェブページをウェブサーバ３０から取得する（Ｓ０３）。具体的には、ウェブページ取得部１６は、類似画像が含まれるウェブページの検索命令を各ウェブサーバ３０に送信する。各ウェブサーバ３０においては、類似画像を含むウェブページの検索処理が実行され、そのウェブページのデータがキーワード選定装置１０に送信される。複数のウェブページが検索された場合、それら複数のウェブページのデータがキーワード選定装置１０に送信される。そして、キーワード候補選定部１８は、ウェブページに記述されている文字列群の中から名詞をキーワード候補として抽出する。次に、キーワード候補選定部１８は、ウェブページ内の画像を検索する（Ｓ０４）。検索された画像が類似画像に該当する場合（Ｓ０５，Ｙｅｓ）、キーワード候補選定部１８は、その類似画像との位置関係に基づいて、各名詞の画像関連度（第１優先度）を決定する（Ｓ０６）。例えば、類似画像に最も近い位置に記述されている文字列に含まれる名詞に対して高い画像関連度が付与される。それ以外の名詞には、低い画像関連度が付与される。検索された画像が類似画像に該当しない場合（Ｓ０５，Ｎｏ）、処理はステップＳ０７に移行する。そして、ウェブページ内で検索されていない画像が存在する場合（Ｓ０７，Ｎｏ）、処理はステップＳ０４に戻り、ステップＳ０４以降の処理が実行される。ウェブページ内の全画像の検索が完了した場合（Ｓ０７，Ｙｅｓ）、キーワード候補選定部１８は、各名詞のフォントサイズと出現回数とに基づいて、各名詞の出現スコア（第２優先度）を計算する（Ｓ０８）。取得された複数のウェブページの中でステップＳ０４以降の処理が実行されていないウェブページが存在する場合（Ｓ０９，Ｎｏ）、処理はステップＳ０４に戻り、未処理のウェブページを対象としてステップＳ０４以降の処理が実行される。全ウェブページについてステップＳ０４以降の処理が完了した場合（Ｓ０９，Ｙｅｓ）、キーワード候補選定部１８は、キーワード候補と画像関連度と出現スコアとを示すキーワード候補リストを作成する（Ｓ１０）。このキーワード候補リストのデータは、キーワード選定装置１０から端末装置４０に送信される。端末装置４０においては、キーワード候補リストが表示部に表示される。そのリストを参照することにより、キーワード付与対象画像に対応付けられるキーワードがユーザによって決定される。ウェブページ取得部１６によって複数のウェブページが取得された場合、各ウェブページに対して上記の処理が実行されてキーワード候補が選定される。 First, a user designates a keyword assignment target image using the terminal device 40, and gives a keyword assignment target image transmission instruction and a keyword candidate acquisition instruction. Thereby, the keyword assignment target image is transmitted from the terminal device 40 to the keyword selection device 10, and the keyword selection device 10 receives the keyword assignment target image (S01). In the keyword selection device 10, the feature extraction unit 14 extracts feature information from the keyword assignment target image (S02). For example, “an image of tofu” is extracted as the feature information. Next, the web page acquisition unit 16 acquires a web page including a similar image having a feature similar to the extracted feature from the web server 30 (S03). Specifically, the web page acquisition unit 16 transmits a search command for a web page including a similar image to each web server 30. In each web server 30, a web page search process including similar images is executed, and the web page data is transmitted to the keyword selection device 10. When a plurality of web pages are searched, the data of the plurality of web pages is transmitted to the keyword selection device 10. And the keyword candidate selection part 18 extracts a noun as a keyword candidate from the character string group described in the web page. Next, the keyword candidate selection unit 18 searches for an image in the web page (S04). When the searched image corresponds to a similar image (S05, Yes), the keyword candidate selection unit 18 determines the image relevance (first priority) of each noun based on the positional relationship with the similar image. (S06). For example, a high image relevance level is given to a noun included in a character string described at a position closest to a similar image. Other nouns are given a low degree of image relevance. If the retrieved image does not correspond to a similar image (S05, No), the process proceeds to step S07. If there is an image that has not been searched for in the web page (S07, No), the process returns to step S04, and the processes after step S04 are executed. When the search of all images in the web page is completed (S07, Yes), the keyword candidate selection unit 18 determines the appearance score (second priority) of each noun based on the font size and the number of appearances of each noun. Calculate (S08). If there is a web page that has not been subjected to the processing after step S04 among the plurality of obtained web pages (S09, No), the processing returns to step S04, and after step S04 for the unprocessed web page. The process is executed. When the processes after step S04 are completed for all web pages (S09, Yes), the keyword candidate selection unit 18 creates a keyword candidate list indicating the keyword candidates, the image relevance level, and the appearance score (S10). The keyword candidate list data is transmitted from the keyword selection device 10 to the terminal device 40. In the terminal device 40, the keyword candidate list is displayed on the display unit. By referring to the list, the keyword associated with the keyword assignment target image is determined by the user. When a plurality of web pages are acquired by the web page acquisition unit 16, the above processing is executed for each web page, and keyword candidates are selected.

以上のように、本実施形態では、類似画像との位置関係に基づいて画像関連度が決定されてユーザに提供される。ウェブページにおいて類似画像に近い位置ほど、類似画像との関連性、つまり、キーワード付与対象画像との関連性が高い内容の説明文が記述されていると想定される。それ故、位置関係に基づいて決定された画像関連度をユーザに提供することにより、キーワードを決定する上で有用となる情報がユーザに提供される。 As described above, in the present embodiment, the degree of image relevance is determined based on the positional relationship with similar images and provided to the user. It is assumed that a description closer to a similar image on the web page describes a description having a high relevance to the similar image, that is, a relevance to the keyword assignment target image. Therefore, providing the user with the degree of image relevance determined based on the positional relationship provides the user with information that is useful in determining keywords.

また、名詞のフォントサイズと出現回数とに基づいて出現スコアが決定されてユーザに提供される。ウェブページにおいて強調したい内容ほど、その内容を表す名詞のフォントサイズが大きくなり、その名詞の出現回数も増大することが想定される。それ故、出現スコアをユーザに提供することにより、キーワードを決定する上で有用となる情報がユーザに提供される。 An appearance score is determined based on the font size of the noun and the number of appearances and provided to the user. It is assumed that the content that the user wants to emphasize on the web page has a larger font size of the noun representing the content and the number of appearances of the noun. Therefore, providing the user with the appearance score provides the user with information that is useful in determining the keyword.

ユーザは、画像関連度や出現スコアを参考にしてキーワードを決定することが想定される。それ故、キーワード候補（名詞）のみを提供する場合と比べて、キーワード付与対象画像の内容を適切に表すキーワードの選択が容易となる。 It is assumed that the user determines a keyword with reference to the degree of image relevance and the appearance score. Therefore, it is easier to select a keyword that appropriately represents the content of the keyword assignment target image than when only the keyword candidates (nouns) are provided.

上述した実施形態では、キーワード候補選定部１８は、画像関連度及び出現スコアの両方を求めているが、画像関連度又は出現スコアのうちのいずれか一方のみを求めてもよい。この場合、画像関連度又は出現スコアのうちのいずれか一方が、キーワード候補とともに、端末装置４０に提供される。この場合であっても、キーワードを決定する上で有用となる情報がユーザに提供されることになる。 In the embodiment described above, the keyword candidate selection unit 18 obtains both the image relevance level and the appearance score, but may obtain only one of the image relevance level and the appearance score. In this case, either the image relevance level or the appearance score is provided to the terminal device 40 together with the keyword candidate. Even in this case, information useful for determining a keyword is provided to the user.

なお、キーワード候補選定部１８は、画像関連度が「高」に設定されている名詞のみを、キーワード候補として選定してもよい。これにより、キーワード付与対象画像の特徴との関連性が相対的に高い名詞が、キーワード候補として提供されることになる。別の例として、キーワード候補選定部１８は、出現スコアが予め設定された閾値以上となる名詞のみを、キーワード候補として選定してもよい。これにより、ウェブページにおいて強調されている名詞が、キーワード候補として提供されることになる。更に別の例として、キーワード候補選定部１８は、出現スコアが閾値以上となる名詞であって、画像関連度が「高」に設定されている名詞を、キーワード候補として選定してもよい。これにより、キーワード付与対象画像の特徴との関連性が相対的に高い名詞であって、ウェブページにおいて強調されている名詞が、キーワード候補として提供されることになる。これらの手法によると、キーワード付与対象画像の内容を適切に表すと想定されるキーワード候補が提供される。 Note that the keyword candidate selection unit 18 may select only nouns whose image relevance is set to “high” as keyword candidates. As a result, nouns having relatively high relevance to the characteristics of the keyword assignment target image are provided as keyword candidates. As another example, the keyword candidate selection unit 18 may select only nouns whose appearance score is equal to or higher than a preset threshold as keyword candidates. Thereby, the noun emphasized in the web page is provided as a keyword candidate. As yet another example, the keyword candidate selection unit 18 may select nouns whose appearance score is equal to or greater than a threshold and whose image relevance is set to “high” as keyword candidates. As a result, nouns that are relatively highly related to the characteristics of the keyword assignment target image and emphasized in the web page are provided as keyword candidates. According to these methods, keyword candidates that are assumed to appropriately represent the contents of the keyword assignment target image are provided.

上記のキーワード選定装置１０は、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、キーワード選定装置１０は、図示しないＣＰＵ等のプロセッサを備えている。当該プロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、キーワード選定装置１０の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。または、キーワード選定装置１０の各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。別の例として、キーワード選定装置１０の各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。 The keyword selection device 10 is realized by cooperation of hardware resources and software as an example. Specifically, the keyword selection device 10 includes a processor such as a CPU (not shown). The processor reads out and executes a program stored in a storage device (not shown), thereby realizing functions of each unit of the keyword selection device 10. The program is stored in the storage device via a recording medium such as a CD or DVD, or via a communication path such as a network. Or each part of the keyword selection apparatus 10 may be implement | achieved by hardware resources, such as a processor and an electronic circuit, for example. In the realization, a device such as a memory may be used. As another example, each unit of the keyword selection device 10 may be realized by a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or the like.

１０キーワード選定装置、１２通信部、１４特徴抽出部、１６ウェブページ取得部、１８キーワード候補選定部、２０制御部、３０ウェブサーバ、４０端末装置。 DESCRIPTION OF SYMBOLS 10 Keyword selection apparatus, 12 Communication part, 14 Feature extraction part, 16 Web page acquisition part, 18 Keyword candidate selection part, 20 Control part, 30 Web server, 40 Terminal device.

Claims

Acquisition means for acquiring extraction target data including a similar image having a feature similar to the feature of the assignment target image to be provided with image attribute information representing the content of the image;
A first priority determining means for extracting a noun group from the character string group represented in the extraction target data and determining a first priority of each noun based on a positional relationship with the similar image;
An output means for outputting the extracted noun group as a candidate for the image attribute information and outputting information indicating the first priority;
An image processing apparatus.

The first priority determination means gives the first priority higher for a noun represented at a position close to the similar image in the extraction target data.
The image processing apparatus according to claim 1.

The first priority is information indicating a degree of association between the extracted noun and the similar image.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

According to the font size of the extracted noun, it further includes a second priority determining means for determining a second priority that is a priority of each noun and is different from the first priority,
The output means further outputs information indicating the second priority;
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

The second priority determination means determines the second priority based on the number of appearances and font size of each noun in the extraction target data.
The image processing apparatus according to claim 4.

The second priority determination means gives the second priority higher for a noun having a larger font size.
The image processing apparatus according to claim 4, wherein the image processing apparatus is an image processing apparatus.

The extraction target data is at least one of a web page, data including an image and a character string, and image data.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

Computer
Acquisition means for acquiring extraction target data including a similar image having a feature similar to the feature of the target image to be provided with image attribute information representing the content of the image;
A first priority determining means for extracting a noun group from the character string group represented in the extraction target data and determining a first priority of each noun based on a positional relationship with the similar image;
An output means for outputting the extracted noun group as a candidate for the image attribute information and outputting information indicating the first priority;
Program to function as.