JP6578679B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP6578679B2 JP6578679B2 JP2015047686A JP2015047686A JP6578679B2 JP 6578679 B2 JP6578679 B2 JP 6578679B2 JP 2015047686 A JP2015047686 A JP 2015047686A JP 2015047686 A JP2015047686 A JP 2015047686A JP 6578679 B2 JP6578679 B2 JP 6578679B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- priority
- noun
- keyword
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and a program.
画像群の中から画像を検索する仕組みを実現するために、作業者が、画像の内容を表す画像属性情報(例えばキーワードやタグ情報)を予め画像に付与することがある。この場合、通常、作業者が個々の画像の内容を確認した上で、画像属性情報を決定して画像に付与している。 In order to realize a mechanism for searching for an image from a group of images, an operator may add image attribute information (for example, keyword or tag information) representing the content of the image to the image in advance. In this case, usually, the operator confirms the contents of each image, and then determines the image attribute information and assigns it to the image.
特許文献1に記載のシステムにおいては、キーワード付与対象画像と似た特徴を有する画像を含むhtmlページが検索され、そのhtmlページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される。
In the system described in
作業者が画像属性情報を画像に付与する場合においては、対象となる画像の数が多くなるほど、当該画像の内容を表現する画像属性情報を決定して付与するための作業が増大し、作業者の負担が増大するという問題が生じ得る。また、画像内容を適切に表現する画像属性情報が画像に付与されない場合、画像の検索性が低下するという問題が生じ得る。 When an operator assigns image attribute information to an image, as the number of target images increases, the work for determining and assigning image attribute information representing the contents of the image increases. The problem that the burden of the increase increases may arise. In addition, when image attribute information that appropriately expresses the image content is not given to the image, there is a problem that the searchability of the image is deteriorated.
本発明の目的は、キーワード付与対象画像と似た特徴を有する画像を含むhtmlページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される場合と比較して、より当該画像の内容を適切に表現する画像属性情報の候補を提供することである。 An object of the present invention is to compare the image with a noun having a high appearance frequency among noun groups included in an html page including an image having characteristics similar to those of the keyword assignment target image as compared to a case where the noun group is provided as a keyword candidate. Is to provide candidates for image attribute information that appropriately represents the contents of the image.
請求項1に係る発明は、画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴と類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、を有する画像処理装置である。
The invention according to
請求項2に係る発明は、前記第1優先度決定手段は、前記抽出対象データにおいて前記類似画像に近い位置に表された名詞ほど高い前記第1優先度を付与する、ことを特徴とする請求項1に記載の画像処理装置である。
The invention according to
請求項3に係る発明は、前記第1優先度は、前記抽出された名詞と前記類似画像との関連度を示す情報である、ことを特徴とする請求項1又は請求項2に記載の画像処理装置である。
The image according to
請求項4に係る発明は、前記抽出された名詞のフォントサイズに応じて、個々の名詞の優先度であって前記第1優先度とは異なる第2優先度を決定する第2優先度決定手段を更に有し、前記出力手段は、前記第2優先度を示す情報を更に出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置である。
According to a fourth aspect of the present invention, there is provided a second priority determining means for determining a second priority that is a priority of each noun and is different from the first priority according to the font size of the extracted noun. The image processing apparatus according to any one of
請求項5に係る発明は、前記第2優先度決定手段は、前記抽出対象データ中の個々の名詞の出現回数とフォントサイズとに基づいて前記第2優先度を決定する、ことを特徴とする請求項4に記載の画像処理装置である。
The invention according to
請求項6に係る発明は、前記第2優先度決定手段は、フォントサイズが大きい名詞ほど高い前記第2優先度を付与する、ことを特徴とする請求項4又は請求項5に記載の画像処理装置である。
The invention according to claim 6 is the image processing according to
請求項7に係る発明は、前記抽出対象データは、ウェブページ、画像と文字列とを含むデータ、及び、画像データの中の少なくとも1つである、ことを特徴とする請求項1から請求項6のいずれか一項に記載の画像処理装置である。 The invention according to claim 7 is characterized in that the extraction target data is at least one of a web page, data including an image and a character string, and image data. The image processing apparatus according to claim 6.
請求項8に係る発明は、コンピュータを、画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴に類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、として機能させるプログラムである。 The invention according to claim 8 is an acquisition means for acquiring extraction target data including a similar image having a feature similar to a feature of an assignment target image to be an assignment target of image attribute information representing the content of the image; A first priority determining means for extracting a noun group from the character string group represented in the extraction target data and determining a first priority of each noun based on a positional relationship with the similar image; A program that outputs the extracted noun group as a candidate for the image attribute information and functions as an output unit that outputs information indicating the first priority.
請求項1,7,8に係る発明によると、キーワード付与対象画像と似た特徴を有する画像を含むhtmlページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される場合と比較して、より当該画像の内容を適切に表現する画像属性情報の候補が提供される。 According to the first, seventh, and eighth aspects of the invention, a noun having a high appearance frequency is provided as a keyword candidate in a noun group included in an html page including an image having characteristics similar to the keyword assignment target image. In comparison, candidates for image attribute information that more appropriately express the contents of the image are provided.
請求項2,3に係る発明によると、類似画像との関連性が高い名詞ほど高い優先度が付与される。
According to the invention which concerns on
請求項4−6に係る発明によると、より強調されている名詞に対してより高い優先度が付与される。 According to the invention which concerns on Claim 4-6, a higher priority is provided with respect to the noun emphasized more.
図1には、本発明の実施形態に係る画像属性情報付与システムの一例が示されている。このシステムは、一例として、画像処理装置としてのキーワード選定装置10と、複数のウェブサーバ30と、端末装置40とを含む。キーワード選定装置10と個々のウェブサーバ30とは、インターネット等の通信経路によって接続されており、キーワード選定装置10と端末装置40とは、インターネット等の通信経路によって接続されている。もちろん、端末装置40と個々のウェブサーバ30とが、インターネット等の通信経路によって接続されていてもよい。なお、図1に示す例では、複数のウェブサーバ30が画像属性情報付与システムに含まれているが、これは一例に過ぎず、1つのウェブサーバ30が画像属性情報付与システムに含まれていてもよい。また、複数の端末装置40がキーワード選定装置10に接続されていてもよい。
FIG. 1 shows an example of an image attribute information providing system according to an embodiment of the present invention. As an example, this system includes a
本実施形態では、画像の内容を表す画像属性情報(例えばキーワードやタグ情報)の候補がキーワード選定装置10によって選定され、端末装置40に提供される。以下の説明では、画像属性情報の付与対象となる画像のことを、キーワード付与対象画像と称することとする。
In this embodiment, candidates for image attribute information (for example, keyword and tag information) representing the content of an image are selected by the
キーワード選定装置10は、端末装置40から提供された画像(キーワード付与対象画像)から特徴を抽出する機能、その特徴と類似する特徴を有する類似画像が含まれるウェブページ(HTMLページ)のデータをウェブサーバ30から取得する機能、及び、そのウェブページを解析することにより、キーワード付与対象画像に付与される画像属性情報の候補を選定し、その候補を端末装置40に提供する機能、を備えている。また、キーワード選定装置10は、外部装置との間でデータの送受信を行う機能を備えている。
The
各ウェブサーバ30は、キーワード選定装置10からの要求に応じて、上記類似画像が含まれるウェブページを検索してキーワード選定装置10に提供する機能を備えている。また、ウェブサーバ30は、外部装置との間でデータの送受信を行う機能を備えている。
Each
端末装置40は、PC(パーソナルコンピュータ)、タブレットPC、スマートフォン又は携帯電話等の装置であり、キーボードやマウスやタッチパネル等の操作部、ディスプレイとして機能する表示部、通信インターフェースとして機能する通信部、及び、CPUを含む制御部を備えている。端末装置40は、外部装置との間でデータの送受信を行う機能を備えている。本実施形態では、ユーザによって指定されたキーワード付与対象画像が端末装置40からキーワード選定装置10に提供され、画像属性情報の候補がキーワード選定装置10から端末装置40に提供される。
The
図2には、キーワード選定装置10の一例が示されている。
FIG. 2 shows an example of the
通信部12は通信インターフェースであり、外部装置からデータを受信する機能、及び、外部装置にデータを送信する機能を備えている。本実施形態では、通信部12は、端末装置40からキーワード付与対象画像のデータを受信し、ウェブサーバ30からウェブページのデータを受信する。また、通信部12は、画像属性情報の候補のデータを端末装置40に送信する。
The
特徴抽出部14は、端末装置40からキーワード対象画像のデータを受け、そのキーワード付与対象画像から特徴を表す情報を抽出する機能を備えている。例えば、建物の画像、山の画像、空の画像、雲の画像、海の画像、川の画像、人物の画像、動物の画像、植物の画像、物品の画像等が、キーワード付与対象画像の特徴情報として抽出される。この抽出処理は、例えば、公知の画像解析プログラムを利用することにより実現される。
The
ウェブページ取得部16は、キーワード付与対象画像から抽出された特徴と類似する特徴を有する類似画像が含まれるウェブページのデータ(抽出対象データ)を、各ウェブサーバ30から取得する。本実施形態においては、類似という概念には、同一という概念も含まれるものとする。例えば、キーワード付与対象画像から山の画像が特徴情報として抽出された場合、形状が類似する山の画像を含むウェブページが各ウェブサーバ30において検索されてキーワード選定装置10に提供される。なお、ウェブページ取得部16は、キーワード選定装置10とは別の装置(例えば検索サーバ)に設けられていてもよい。
The web
キーワード候補選定部18は、ウェブページ取得部16によって取得されたウェブページの内容を解析することにより、キーワード付与対象画像に付与される画像属性情報(例えばキーワード)の候補を選定する。本実施形態では、キーワード候補選定部18は、ウェブページに記述されている文字列群の中から名詞をキーワード候補として抽出する。このときに、個々の名詞(キーワード候補)に優先度が付与される。例えば、キーワード候補選定部18は、ウェブページにおける類似画像との位置関係に基づいて、個々の名詞に第1優先度を付与する。第1優先度は、類似画像との関連性を示す情報である。例えば、類似画像に近い位置に記述された名詞ほど高い優先度(画像関連度)が付与される。また、キーワード候補選定部18は、名詞のフォントサイズに基づいて、個々の名詞に、第1優先度とは異なる第2優先度を付与する。例えば、フォントサイズが大きい名詞ほど、高い優先度が付与される。また、キーワード候補選定部18は、名詞のフォントサイズと出現回数とに基づいて、個々の名詞に第2優先度を付与してもよい。この場合、フォントサイズが大きく出現回数が多い名詞ほど、高い優先度が付与される。第1及び第2優先度が付与されたキーワード候補を示す情報は、キーワード選定装置10から端末装置40に送信される。なお、キーワード候補選定部18は、文字列群の中に含まれる固有名詞(例えば、人物名、店舗名等)をキーワード候補から除外してもよい。固有名詞は個人情報等を表していると想定されるからである。例えば、除外対象となる固有名詞を示す情報を予めキーワード選定装置10に記憶しておき、キーワード候補選定部18は、その記憶されている固有名詞と一致する固有名詞をキーワード候補から除外する。
The keyword
別の例として、キーワード候補選定部18は、ウェブページ以外のデータ(抽出対象データ)を解析することにより、キーワード付与対象画像に付与される画像属性情報の候補を選定してもよい。抽出対象データとして、例えば、画像と文字列とが混在したデータ(例えば文書データ等)や、画像データ等がある。この場合、ウェブページ取得部16は、抽出対象データが格納されている図示しない記憶装置から、類似画像が含まれる抽出対象データを取得する。画像と文字列とが混在している抽出対象データが解析対象となる場合、キーワード候補選定部18は、その抽出対象データに含まれる文字列群の中から名詞をキーワード候補として抽出し、類似画像との位置関係に基づいて第1優先度を決定する。また、キーワード候補選定部18は、抽出された名詞のフォントサイズと出現回数とに基づいて第2優先度を決定する。画像データ自体が抽出対象データとして解析される場合、キーワード候補選定部18は、その画像データに対してOCR(optical character recognition)処理を適用することにより、その画像データから文字列群を抽出し、その文字列群から名詞をキーワード候補として抽出する。そして、キーワード候補選定部18は、上記と同様に、第1及び第2優先度を決定する。このように、本実施形態では、解析対象のデータはウェブページに限定されるものではなく、画像と文字列とが混在するデータや、画像データ自体であってもよい。以下では、解析対象のデータとしてウェブページを用いる場合について説明する。
As another example, the keyword
制御部20は、キーワード選定装置10の各部の動作を制御する。
The
次に、キーワード選定装置10による処理について具体例を挙げて説明する。以下の説明では、キーワード付与対象画像に「豆腐」が表されているものとする。この場合、特徴抽出部14によって、「豆腐の画像」が特徴情報としてキーワード付与対象画像から抽出される。そして、各ウェブサーバ30において、その「豆腐の画像」に類似する画像を含むウェブページが検索され、キーワード選定装置10に提供される。
Next, processing by the
まず、図3,4を参照して、第1優先度(画像関連度)の決定方法について説明する。図3には、ウェブサーバ30から提供されたウェブページの一例が示されており、図4には、そのウェブページのHTMLソースの一例が示されている。このウェブページ100には画像110が含まれている。画像110は豆腐を表す画像であり、キーワード付与対象画像の特徴に類似する画像であるものとする。このようなウェブページ100のデータが検索されてウェブサーバ30からキーワード選定装置10に送信される。
First, a method for determining the first priority (image relevance) will be described with reference to FIGS. FIG. 3 shows an example of a web page provided from the
キーワード候補選定部18は、ウェブページ100に記述されている文字列群の中から名詞をキーワード候補として抽出する。例えば、キーワード候補選定部18は、形態素解析を利用することにより、文字列を複数の単語に分割して名詞を抽出する。図3に示す例では、「豆腐」、「有限会社」、「AAA(店舗名)」、「店」、「健康」等の名詞が、キーワード候補として抽出される。また、キーワード候補選定部18は、類似画像としての画像110との位置関係に基づいて、個々の名詞に第1優先度(画像関連度)を付与する。例えば、キーワード候補選定部18は、画像110に最も近い位置に記述されている文字列に含まれる名詞に最も高い画像関連度を付与し、画像110から遠い位置に記述されている文字列に含まれる名詞ほど、低い画像関連度を付与する。類似画像としての画像110に近い位置に記述されている名詞ほど、その画像110との関連性、つまり、キーワード付与対象画像の特徴との関連性が高いと想定されるからである。例えば、キーワード候補選定部18は、画像110から予め決定された距離内に記述されている文字列に含まれる名詞の画像関連度を「高」とし、その距離外に記述されている文字列に含まれる名詞の画像関連度を「低」とする。ウェブページが解析対象のデータとして用いられる場合、キーワード候補選定部18は、図4に示されているHTMLソースの階層構造を解析することにより、画像110と各文字列との位置関係を特定すればよい。図3に示す例では、文字列120が、画像110に最も近い位置に記述されている文字列である。それ故、文字列120に含まれる名詞「豆腐」、「有限会社」及び「AAA(店舗名)」に、最も高い画像関連度が付与される。
The keyword
なお、類似画像以外の画像の周辺には、特徴情報とは関係のない内容の説明文が記述されていると想定されるので、類似画像以外の画像は、上記の処理対象にならない。 In addition, since it is assumed that the explanatory text of the content unrelated to feature information is described around the image other than the similar image, the image other than the similar image is not the processing target.
次に、図5を参照して、第2優先度の決定方法について説明する。図5には、ウェブサーバ30から提供されたウェブページの一例が示されている。このウェブページ100は、図3に示されているウェブページと同じものである。
Next, a method for determining the second priority will be described with reference to FIG. FIG. 5 shows an example of a web page provided from the
キーワード候補選定部18は、ウェブページ100に記述されている各名詞のフォントサイズをウェブページ100のデータから取得し、各名詞の平均フォントサイズを計算する。そして、キーワード候補選定部18は、平均フォントサイズに対するフォントサイズの割合(フォントサイズ/平均フォントサイズ)を、重み係数として計算する。キーワード候補選定部18は、同一名詞についてフォントサイズ毎に重み係数を計算する。そして、キーワード候補選定部18は、同一名詞について、各フォントサイズの重み係数の総和を計算する。このとき、キーワード候補選定部18は、同一フォントサイズを有する同一名詞の出現回数をカウントし、各フォントサイズの重み係数を、その出現回数分、加算する。このようにして計算された総和が、第2優先度としての出現スコアとして用いられる。
The keyword
ここで、名詞「豆腐」の出現スコア(第2優先度)について説明する。図5に示す例では、名詞200〜208が名詞「豆腐」を示している。名詞200〜208の平均フォントサイズを100%とする。100%を基準とした場合において、名詞200のフォントサイズが140%であり、名詞202,204のフォントサイズが100%であり、名詞206のフォントサイズが90%であり、名詞208のフォントサイズが80%であるものとする。
Here, the appearance score (second priority) of the noun “tofu” will be described. In the example illustrated in FIG. 5, the
上記の例においては、名詞200の重み係数は1.4となり、名詞202,204の重み係数は1.0となり、名詞206の重み係数は0.9となり、名詞208の重み係数は0.8となる。これらの総和(5.1)が、名詞「豆腐」の出現スコア(第2優先度)として用いられる。以下に、この出現スコアの計算例を示す。
(140/100)+(100/100)×2+(90/100)+(80/100)=5.1
図5に示す例では、100%のフォントサイズを有する2つの名詞(名詞202,204)がウェブページ100に含まれているため、100%のフォントサイズの重み係数については、2回分、加算されている。
In the above example, the weight coefficient of the
(140/100) + (100/100) × 2 + (90/100) + (80/100) = 5.1
In the example shown in FIG. 5, since two nouns (
以上のように、第1優先度(画像関連度)と第2優先度(出現スコア)とが求められると、キーワード候補選定部18は、キーワード候補(ウェブページから抽出された名詞)と、画像関連度と、出現スコアと、を示すキーワード候補リストを作成する。制御部20は、通信部12を利用して、そのキーワード候補リストのデータを端末装置40に送信する。端末装置40の表示部には、そのキーワード候補リストが表示される。ユーザは、そのキーワード候補リストを参照することにより、キーワード付与対象画像に対してキーワードを付与する。これにより、キーワード付与対象画像に、画像属性情報としてのキーワードが対応付けられる。
As described above, when the first priority (image relevance) and the second priority (appearance score) are obtained, the keyword
図6には、キーワード候補リストの一例が示されている。キーワード候補リストにおいて、「名詞」は、ウェブページ100からキーワード候補として抽出された情報である。一例として、「豆腐」、「有限会社」、「AAA(店舗名)」、「店」、及び、「健康」等の名詞が、キーワード候補として抽出されている。なお、「AAA(店舗名)」は固有名詞であるため、キーワード候補選定部18は、「AAA(店舗名)」をキーワード候補から除外してもよい。この場合、「AAA(店舗名)」は、キーワード候補リストに掲載されない。
FIG. 6 shows an example of the keyword candidate list. In the keyword candidate list, “noun” is information extracted from the
「画像関連度」は、キーワード候補選定部18によって決定された第1優先度である。「高」は、類似画像(画像110)との関連度が相対的に高いことを示しており、「低」は、類似画像との関連度が相対的に低いことを示している。類似画像(画像110)に対して相対的に近い位置に記述されている名詞には、画像関連度「高」が付与され、相対的に遠い位置に記述されている名詞には、画像関連度「低」が付与される。図6に示す例では、「豆腐」、「有限会社」、「AAA(店舗名)」、及び、「店」に対して画像関連度「高」が付与されており、「健康」に対して画像関連度「低」が付与されている。
The “image relevance” is the first priority determined by the keyword
「出現スコア」は、キーワード候補選定部18によって計算された第2優先度である。個々の名詞毎に出現スコアが計算されてリストに含まれる。
The “appearance score” is the second priority calculated by the keyword
図6に示されているリストが端末装置40の表示部に表示され、ユーザはそのリストを参照することにより、キーワード付与対象画像に対応付けるキーワード(名詞)を決定することになる。このとき、キーワードを決定する上で、画像関連度や出現スコアが参考情報としてユーザによって参照されることが想定される。なお、端末装置40においては、画像関連度が「高」に設定されている名詞が上位に表示され、画像関連度が「低」に設定されている名詞が下位に表示されてもよい。また、同一の画像関連度が設定されている名詞群の中において、出現スコアが大きい名詞ほど上位に表示されてもよい。図6に示す例では、名詞「豆腐」、「有限会社」、「AAA(店舗名)」、及び、「店」に、画像関連度「高」が設定されているが、名詞「豆腐」の出現スコアがそれらの中で最も大きく、名詞「豆腐」以外の名詞の出現スコアは同一である。それ故、名詞「豆腐」の順位が1番となり、名詞「有限会社」、「AAA(店舗名)」及び「店」の順位は同順位の2番となる。
The list shown in FIG. 6 is displayed on the display unit of the
次に、図7に示されているフローチャートを参照して、キーワード選定装置10による処理について説明する。
Next, processing by the
まず、ユーザが端末装置40を利用してキーワード付与対象画像を指定し、キーワード付与対象画像の送信指示とキーワード候補の取得指示を与える。これにより、端末装置40からキーワード選定装置10にキーワード付与対象画像が送信され、キーワード選定装置10はキーワード付与対象画像を受信する(S01)。キーワード選定装置10においては、特徴抽出部14が、キーワード付与対象画像から特徴情報を抽出する(S02)。例えば、「豆腐の画像」が特徴情報として抽出される。次に、ウェブページ取得部16が、抽出された特徴と類似する特徴を有する類似画像が含まれるウェブページをウェブサーバ30から取得する(S03)。具体的には、ウェブページ取得部16は、類似画像が含まれるウェブページの検索命令を各ウェブサーバ30に送信する。各ウェブサーバ30においては、類似画像を含むウェブページの検索処理が実行され、そのウェブページのデータがキーワード選定装置10に送信される。複数のウェブページが検索された場合、それら複数のウェブページのデータがキーワード選定装置10に送信される。そして、キーワード候補選定部18は、ウェブページに記述されている文字列群の中から名詞をキーワード候補として抽出する。次に、キーワード候補選定部18は、ウェブページ内の画像を検索する(S04)。検索された画像が類似画像に該当する場合(S05,Yes)、キーワード候補選定部18は、その類似画像との位置関係に基づいて、各名詞の画像関連度(第1優先度)を決定する(S06)。例えば、類似画像に最も近い位置に記述されている文字列に含まれる名詞に対して高い画像関連度が付与される。それ以外の名詞には、低い画像関連度が付与される。検索された画像が類似画像に該当しない場合(S05,No)、処理はステップS07に移行する。そして、ウェブページ内で検索されていない画像が存在する場合(S07,No)、処理はステップS04に戻り、ステップS04以降の処理が実行される。ウェブページ内の全画像の検索が完了した場合(S07,Yes)、キーワード候補選定部18は、各名詞のフォントサイズと出現回数とに基づいて、各名詞の出現スコア(第2優先度)を計算する(S08)。取得された複数のウェブページの中でステップS04以降の処理が実行されていないウェブページが存在する場合(S09,No)、処理はステップS04に戻り、未処理のウェブページを対象としてステップS04以降の処理が実行される。全ウェブページについてステップS04以降の処理が完了した場合(S09,Yes)、キーワード候補選定部18は、キーワード候補と画像関連度と出現スコアとを示すキーワード候補リストを作成する(S10)。このキーワード候補リストのデータは、キーワード選定装置10から端末装置40に送信される。端末装置40においては、キーワード候補リストが表示部に表示される。そのリストを参照することにより、キーワード付与対象画像に対応付けられるキーワードがユーザによって決定される。ウェブページ取得部16によって複数のウェブページが取得された場合、各ウェブページに対して上記の処理が実行されてキーワード候補が選定される。
First, a user designates a keyword assignment target image using the
以上のように、本実施形態では、類似画像との位置関係に基づいて画像関連度が決定されてユーザに提供される。ウェブページにおいて類似画像に近い位置ほど、類似画像との関連性、つまり、キーワード付与対象画像との関連性が高い内容の説明文が記述されていると想定される。それ故、位置関係に基づいて決定された画像関連度をユーザに提供することにより、キーワードを決定する上で有用となる情報がユーザに提供される。 As described above, in the present embodiment, the degree of image relevance is determined based on the positional relationship with similar images and provided to the user. It is assumed that a description closer to a similar image on the web page describes a description having a high relevance to the similar image, that is, a relevance to the keyword assignment target image. Therefore, providing the user with the degree of image relevance determined based on the positional relationship provides the user with information that is useful in determining keywords.
また、名詞のフォントサイズと出現回数とに基づいて出現スコアが決定されてユーザに提供される。ウェブページにおいて強調したい内容ほど、その内容を表す名詞のフォントサイズが大きくなり、その名詞の出現回数も増大することが想定される。それ故、出現スコアをユーザに提供することにより、キーワードを決定する上で有用となる情報がユーザに提供される。 An appearance score is determined based on the font size of the noun and the number of appearances and provided to the user. It is assumed that the content that the user wants to emphasize on the web page has a larger font size of the noun representing the content and the number of appearances of the noun. Therefore, providing the user with the appearance score provides the user with information that is useful in determining the keyword.
ユーザは、画像関連度や出現スコアを参考にしてキーワードを決定することが想定される。それ故、キーワード候補(名詞)のみを提供する場合と比べて、キーワード付与対象画像の内容を適切に表すキーワードの選択が容易となる。 It is assumed that the user determines a keyword with reference to the degree of image relevance and the appearance score. Therefore, it is easier to select a keyword that appropriately represents the content of the keyword assignment target image than when only the keyword candidates (nouns) are provided.
上述した実施形態では、キーワード候補選定部18は、画像関連度及び出現スコアの両方を求めているが、画像関連度又は出現スコアのうちのいずれか一方のみを求めてもよい。この場合、画像関連度又は出現スコアのうちのいずれか一方が、キーワード候補とともに、端末装置40に提供される。この場合であっても、キーワードを決定する上で有用となる情報がユーザに提供されることになる。
In the embodiment described above, the keyword
なお、キーワード候補選定部18は、画像関連度が「高」に設定されている名詞のみを、キーワード候補として選定してもよい。これにより、キーワード付与対象画像の特徴との関連性が相対的に高い名詞が、キーワード候補として提供されることになる。別の例として、キーワード候補選定部18は、出現スコアが予め設定された閾値以上となる名詞のみを、キーワード候補として選定してもよい。これにより、ウェブページにおいて強調されている名詞が、キーワード候補として提供されることになる。更に別の例として、キーワード候補選定部18は、出現スコアが閾値以上となる名詞であって、画像関連度が「高」に設定されている名詞を、キーワード候補として選定してもよい。これにより、キーワード付与対象画像の特徴との関連性が相対的に高い名詞であって、ウェブページにおいて強調されている名詞が、キーワード候補として提供されることになる。これらの手法によると、キーワード付与対象画像の内容を適切に表すと想定されるキーワード候補が提供される。
Note that the keyword
上記のキーワード選定装置10は、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、キーワード選定装置10は、図示しないCPU等のプロセッサを備えている。当該プロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、キーワード選定装置10の各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。または、キーワード選定装置10の各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。別の例として、キーワード選定装置10の各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。
The
10 キーワード選定装置、12 通信部、14 特徴抽出部、16 ウェブページ取得部、18 キーワード候補選定部、20 制御部、30 ウェブサーバ、40 端末装置。
DESCRIPTION OF
Claims (8)
前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、
前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、
を有する画像処理装置。 Acquisition means for acquiring extraction target data including a similar image having a feature similar to the feature of the assignment target image to be provided with image attribute information representing the content of the image;
A first priority determining means for extracting a noun group from the character string group represented in the extraction target data and determining a first priority of each noun based on a positional relationship with the similar image;
An output means for outputting the extracted noun group as a candidate for the image attribute information and outputting information indicating the first priority;
An image processing apparatus.
ことを特徴とする請求項1に記載の画像処理装置。 The first priority determination means gives the first priority higher for a noun represented at a position close to the similar image in the extraction target data.
The image processing apparatus according to claim 1.
ことを特徴とする請求項1又は請求項2に記載の画像処理装置。 The first priority is information indicating a degree of association between the extracted noun and the similar image.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記出力手段は、前記第2優先度を示す情報を更に出力する、
ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置。 According to the font size of the extracted noun, it further includes a second priority determining means for determining a second priority that is a priority of each noun and is different from the first priority,
The output means further outputs information indicating the second priority;
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項4に記載の画像処理装置。 The second priority determination means determines the second priority based on the number of appearances and font size of each noun in the extraction target data.
The image processing apparatus according to claim 4.
ことを特徴とする請求項4又は請求項5に記載の画像処理装置。 The second priority determination means gives the second priority higher for a noun having a larger font size.
The image processing apparatus according to claim 4, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項1から請求項6のいずれか一項に記載の画像処理装置。 The extraction target data is at least one of a web page, data including an image and a character string, and image data.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴に類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、
前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、
前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、
として機能させるプログラム。 Computer
Acquisition means for acquiring extraction target data including a similar image having a feature similar to the feature of the target image to be provided with image attribute information representing the content of the image;
A first priority determining means for extracting a noun group from the character string group represented in the extraction target data and determining a first priority of each noun based on a positional relationship with the similar image;
An output means for outputting the extracted noun group as a candidate for the image attribute information and outputting information indicating the first priority;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015047686A JP6578679B2 (en) | 2015-03-10 | 2015-03-10 | Image processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015047686A JP6578679B2 (en) | 2015-03-10 | 2015-03-10 | Image processing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016167236A JP2016167236A (en) | 2016-09-15 |
JP6578679B2 true JP6578679B2 (en) | 2019-09-25 |
Family
ID=56897536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015047686A Active JP6578679B2 (en) | 2015-03-10 | 2015-03-10 | Image processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6578679B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460206B (en) * | 2020-04-03 | 2023-06-23 | 百度在线网络技术(北京)有限公司 | Image processing method, apparatus, electronic device, and computer-readable storage medium |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217701A (en) * | 2007-03-07 | 2008-09-18 | Sharp Corp | Metadata providing device, metadata providing method, metadata providing program, and recording medium recording metadata providing program |
WO2008152805A1 (en) * | 2007-06-14 | 2008-12-18 | Panasonic Corporation | Image recognizing apparatus and image recognizing method |
JP2010205060A (en) * | 2009-03-04 | 2010-09-16 | Nomura Research Institute Ltd | Method for retrieving image in document, and system for retrieving image in document |
JP2011054006A (en) * | 2009-09-03 | 2011-03-17 | Fujifilm Corp | Image keyword determination system |
JP5435566B2 (en) * | 2009-11-24 | 2014-03-05 | Kddi株式会社 | Image search apparatus, image search method, and image search program |
JP5556262B2 (en) * | 2010-03-15 | 2014-07-23 | オムロン株式会社 | Image attribute discrimination device, attribute discrimination support device, image attribute discrimination method, control method for attribute discrimination support device, and control program |
JP2013054658A (en) * | 2011-09-06 | 2013-03-21 | Canon Inc | Information processor, control method, and program |
TW201421267A (en) * | 2012-11-21 | 2014-06-01 | Hon Hai Prec Ind Co Ltd | Searching system and method |
-
2015
- 2015-03-10 JP JP2015047686A patent/JP6578679B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016167236A (en) | 2016-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6278893B2 (en) | Interactive multi-mode image search | |
JP6321153B2 (en) | Mobile video search | |
KR102354716B1 (en) | Context-sensitive search using a deep learning model | |
JP4746439B2 (en) | Document search server and document search method | |
JPWO2008016102A1 (en) | Similarity calculation device and information retrieval device | |
US20150309988A1 (en) | Evaluating Crowd Sourced Information Using Crowd Sourced Metadata | |
US10002610B2 (en) | Presentation supporting device, presentation supporting method, and computer-readable recording medium | |
US9507805B1 (en) | Drawing based search queries | |
CN105550217B (en) | Scene music searching method and scene music searching device | |
JP2014056503A (en) | Computer packaging method, program, and system for specifying non-text element matching communication in multilingual environment | |
KR101931859B1 (en) | Method for selecting headword of electronic document, method for providing electronic document, and computing system performing the same | |
JP6662689B2 (en) | Word judgment device | |
KR101747532B1 (en) | Method and system for recommending course for travel related query | |
US10838995B2 (en) | Generating distinct entity names to facilitate entity disambiguation | |
JP6578679B2 (en) | Image processing apparatus and program | |
JP6640519B2 (en) | Information analysis device and information analysis method | |
JP2011165092A (en) | Providing device and acquisition system of document image relevant information | |
US20160004697A1 (en) | Bilingual Search Engine for Mobile Devices | |
JP6696344B2 (en) | Information processing device and program | |
JP2016045552A (en) | Feature extraction program, feature extraction method, and feature extraction device | |
JP5162215B2 (en) | Data processing apparatus, data processing method, and program | |
JP6676700B2 (en) | Information providing method and apparatus using degree of association between reserved word and attribute language | |
JP2021163477A (en) | Method, apparatus, electronic device, computer-readable storage medium, and computer program for image processing | |
CN110147488B (en) | Page content processing method, processing device, computing equipment and storage medium | |
JP5644558B2 (en) | Document relevance calculation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6578679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |