JP5413156B2 - Image processing program and image processing apparatus - Google Patents

Image processing program and image processing apparatus Download PDF

Info

Publication number
JP5413156B2
JP5413156B2 JP2009272853A JP2009272853A JP5413156B2 JP 5413156 B2 JP5413156 B2 JP 5413156B2 JP 2009272853 A JP2009272853 A JP 2009272853A JP 2009272853 A JP2009272853 A JP 2009272853A JP 5413156 B2 JP5413156 B2 JP 5413156B2
Authority
JP
Japan
Prior art keywords
image
partial image
partial
label
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009272853A
Other languages
Japanese (ja)
Other versions
JP2011118481A (en
Inventor
典司 加藤
基文 福井
文渊 戚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2009272853A priority Critical patent/JP5413156B2/en
Publication of JP2011118481A publication Critical patent/JP2011118481A/en
Application granted granted Critical
Publication of JP5413156B2 publication Critical patent/JP5413156B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像処理プログラム及び画像処理装置に関する。   The present invention relates to an image processing program and an image processing apparatus.

画像を複数の部分に分割して、識別器を用いて各部分が何を表しているかを特定して、その特定結果に基づいて、この画像に類似する画像を選択して出力する画像検索技術が存在する。   Image search technology that divides an image into a plurality of parts, identifies what each part represents by using a classifier, and selects and outputs an image similar to this image based on the identification result Exists.

また、画像を識別する技術が存在する。特許文献１には、画像の誤識別を防止しつつ識別処理の速度を向上させる技術が開示されている。   There is also a technique for identifying an image. Patent Document 1 discloses a technique for improving the speed of identification processing while preventing erroneous identification of images.

特開２００９−０４４２４９号公報JP 2009-044249 A

本発明は、本発明の構成を有しない場合と比較して、画像検索の精度が向上する画像処理プログラム及び画像処理装置を提供することを目的とする。   An object of the present invention is to provide an image processing program and an image processing apparatus in which the accuracy of image search is improved as compared with the case without the configuration of the present invention.

請求項１に記載の発明は、画像処理プログラムであって、受け付けた画像に含まれた画像要素の分布に基づいて、前記画像内における位置が互いに異なる複数の部分画像それぞれに関連付けられる標識の候補を特定する標識候補特定手段、前記各部分画像について、当該部分画像の特徴量に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段、複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段、としてコンピュータを機能させることとしたものである。   The invention according to claim 1 is an image processing program, which is a candidate for a marker associated with each of a plurality of partial images whose positions in the image are different from each other based on a distribution of image elements included in the received image. A label candidate specifying unit for specifying a label associated with the partial image from among candidate labels associated with the partial image based on the feature amount of the partial image. The computer is caused to function as image output means for outputting an image corresponding to a combination of signs obtained from storage means for storing a plurality of images and associated with the partial images.

請求項２に記載の発明は、請求項１に記載の画像処理プログラムであって、前記標識候補特定手段が、学習対象となる少なくとも１つの画像に基づいて特定される画像内における位置と当該位置に対応する標識の候補との関係に基づいて、前記標識の候補を特定することとしたものである。   Invention of Claim 2 is an image processing program of Claim 1, Comprising: The position in the image in which the said label | marker candidate specification means is specified based on the at least 1 image used as learning object, and the said position The label candidates are specified based on the relationship with the label candidates corresponding to.

請求項３に記載の発明は、請求項２に記載の画像処理プログラムであって、前記標識候補特定手段が、学習対象となる少なくとも１つの画像に基づいて画像の種類毎に特定される画像内における位置と当該位置に対応する標識の候補との関係に基づいて特定される、前記受け付けた画像の種類に基づいて、前記標識の候補を特定することとしたものである。   The invention according to claim 3 is the image processing program according to claim 2, wherein the marker candidate specifying means specifies an image in each image type based on at least one image to be learned. The candidate for the label is specified based on the type of the received image specified based on the relationship between the position at and the candidate for the label corresponding to the position.

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理プログラムであって、前記画像出力手段が、前記各部分画像に関連付けられる標識に対応する値と、前記記憶手段に記憶されている画像に関連付けられる標識に対応する値と、の比較結果に基づいて特定される画像を出力することとしたものである。   Invention of Claim 4 is an image processing program as described in any one of Claim 1 to 3, Comprising: The said image output means, The value corresponding to the label | marker linked | related with each said partial image, The image specified based on the comparison result between the value corresponding to the sign associated with the image stored in the storage means and the value is output.

請求項５に記載の発明は、画像処理装置であって、受け付けた画像に含まれた画像要素の分布に基づいて、前記画像内における位置が互いに異なる複数の部分画像それぞれに関連付けられる標識の候補を特定する標識候補特定手段と、前記各部分画像について、当該部分画像の特徴量に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段と、複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段と、を含むこととしたものである。   The invention according to claim 5 is an image processing apparatus, and based on the distribution of image elements included in the received image, candidate markers that are associated with each of the plurality of partial images having different positions in the image A label candidate specifying unit that specifies a label, and for each partial image, a label specification that specifies a label associated with the partial image from among candidate labels associated with the partial image based on the feature amount of the partial image Means and an image output means for outputting an image corresponding to a combination of signs associated with each partial image, obtained from a storage means for storing a plurality of images.

請求項１，５に記載の発明によれば、本発明の構成を有しない場合と比較して、画像検索の精度が向上する。   According to the first and fifth aspects of the present invention, the accuracy of the image search is improved as compared with the case where the configuration of the present invention is not provided.

請求項２に記載の発明によれば、画像内における位置が考慮された標識の候補の特定が行われる。   According to the second aspect of the present invention, the candidate for the sign in consideration of the position in the image is specified.

請求項３に記載の発明によれば、画像の種類及び画像内における位置が考慮された標識の候補の特定が行われる。   According to the third aspect of the present invention, the candidate for the sign is determined in consideration of the type of the image and the position in the image.

請求項４に記載の発明によれば、本発明の構成を有しない場合と比較して、出力の対象となる画像の特定が容易になる。   According to the fourth aspect of the present invention, it is easy to specify an image to be output as compared with a case where the configuration of the present invention is not provided.

本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the image processing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る画像処理装置により実現される機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function implement | achieved by the image processing apparatus which concerns on one Embodiment of this invention. 相関モデルデータの一例を示す図である。It is a figure which shows an example of correlation model data. 部分画像分類モデルデータの一例を示す図である。It is a figure which shows an example of partial image classification model data. 標識分布情報の一例を示す図である。It is a figure which shows an example of label | marker distribution information. 本実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。It is a flowchart which shows an example of the flow of the process performed with the image processing apparatus which concerns on this embodiment. 単位情報の一例を示す図である。It is a figure which shows an example of unit information. 学習用部分画像の一例を示す図である。It is a figure which shows an example of the partial image for learning.

以下、本発明の一実施形態について図面に基づき詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図１のハードウェア構成図に例示するように、本実施形態における画像処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、を含んでいる。これらの要素は、バスなどを介して接続される。制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、画像処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マイク、マウス、キーボードなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。   As illustrated in the hardware configuration diagram of FIG. 1, the image processing apparatus 10 according to the present embodiment includes, for example, a control unit 12, a storage unit 14, and a user interface (UI) unit 16. These elements are connected via a bus or the like. The control unit 12 is a program control device such as a CPU, and operates according to a program installed in the image processing apparatus 10. The storage unit 14 is a storage element such as a ROM or a RAM, a hard disk drive, or the like. The storage unit 14 stores a program executed by the control unit 12. The storage unit 14 also operates as a work memory for the control unit 12. The UI unit 16 is a display, a microphone, a mouse, a keyboard, and the like, and outputs the content of the operation performed by the user and the voice input by the user to the control unit 12. In addition, the UI unit 16 displays and outputs information according to an instruction input from the control unit 12.

図２は、本実施形態に係る画像処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、画像処理装置１０は、本実施形態では、例えば、画像記憶部２０、画像受付部２２、画像領域分割部２４、部分画像特徴抽出部２６、全体画像特徴抽出部２８、コードブック情報記憶部３０、画像種類特定部３２、標識候補特定部３４、モデルデータ記憶部３６、標識特定部３８、標識分布情報生成部４０、類似度算出部４２、画像出力部４４、を含むものとして機能する。画像記憶部２０、コードブック情報記憶部３０、モデルデータ記憶部３６は記憶部１４を主として実現される。その他の要素は制御部１２を主として実現される。   FIG. 2 is a functional block diagram illustrating an example of functions realized by the image processing apparatus 10 according to the present embodiment. As illustrated in FIG. 2, in this embodiment, the image processing apparatus 10 includes, for example, an image storage unit 20, an image receiving unit 22, an image region dividing unit 24, a partial image feature extracting unit 26, and an entire image feature extracting unit 28. A code book information storage unit 30, an image type identification unit 32, a marker candidate identification unit 34, a model data storage unit 36, a marker identification unit 38, a marker distribution information generation unit 40, a similarity calculation unit 42, and an image output unit 44. Functions as an inclusion. The image storage unit 20, the code book information storage unit 30, and the model data storage unit 36 are realized mainly by the storage unit 14. Other elements are realized mainly by the control unit 12.

これらの要素は、コンピュータである画像処理装置１０にインストールされたプログラムを、画像処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信手段を介して画像処理装置１０に供給される。   These elements are realized by executing a program installed in the image processing apparatus 10 that is a computer by the control unit 12 of the image processing apparatus 10. This program is supplied to the image processing apparatus 10 via a computer-readable information transmission medium such as a CD-ROM or DVD-ROM, or via communication means such as the Internet.

画像記憶部２０は、本実施形態では、例えば、検索対象となる複数の画像（検索対象画像）を記憶する。   In this embodiment, for example, the image storage unit 20 stores a plurality of images (search target images) to be searched.

画像受付部２２は、例えば、利用者から検索条件となる画像（検索条件画像）を受け付ける。検索条件画像は、例えば、データベースに保存されている画像、電子文書中の画像、検索条件であるキーワードに基づいて検索結果として特定された画像、デジタルカメラなどのカメラにより撮像された画像、などである。なお、検索条件画像の情報源は限定されない。   For example, the image receiving unit 22 receives an image (search condition image) serving as a search condition from a user. The search condition image is, for example, an image stored in a database, an image in an electronic document, an image specified as a search result based on a keyword that is a search condition, an image captured by a camera such as a digital camera, etc. is there. Note that the information source of the search condition image is not limited.

画像領域分割部２４は、例えば、画像を複数の領域に分割する。画像領域分割部２４は、例えば、検索条件画像を複数の領域に分割する。領域分割の方法は、例えば、検索条件画像を、予め定められた８×８画素の矩形領域に等分割する方法や、ｋ−ｍｅａｎｓ法などのクラスタリング手法により、互いに画像特徴（例えば、色など）が近い画像要素（例えば、画素）が結合された領域に分割する方法などが挙げられる。なお、各領域が互いに重なり合っても構わない。   For example, the image region dividing unit 24 divides an image into a plurality of regions. For example, the image region dividing unit 24 divides the search condition image into a plurality of regions. As the region dividing method, for example, the search condition image is equally divided into predetermined 8 × 8 pixel rectangular regions, or a clustering method such as the k-means method is used. And a method of dividing an image element (for example, a pixel) close to each other into a combined region. Each region may overlap each other.

部分画像特徴抽出部２６は、例えば、画像に含まれる画像要素（例えば、画素）の分布に基づいて、画像内における位置が互いに異なる複数の部分画像それぞれの特徴（部分画像特徴）を抽出する。部分画像特徴抽出部２６は、本実施形態では、例えば、検索条件画像に含まれる画素の分布に基づいて、検索条件画像内における位置が互いに異なる複数の部分画像（検索条件部分画像）それぞれの部分画像特徴を抽出する。検索条件部分画像は、例えば、画像領域分割部２４によって検索条件画像を分割した各領域内の画像に対応する。部分画像特徴抽出部２６は、例えば、検索条件部分画像内の画素のＲＧＢ色空間、Ｌａｂ色空間、ＹＢｒ色空間などにおける色成分の平均、あるいは、平均と分散の組合せなどを部分画像特徴として抽出する。なお、部分画像特徴抽出部２６は、例えば、検索条件部分画像内の画素の、３スケール、８方向のＧａｂｏｒフィルタなどによる演算結果の平均、あるいは、平均と分散の組合せなどを部分画像特徴として抽出してもよい。   For example, the partial image feature extraction unit 26 extracts features (partial image features) of a plurality of partial images whose positions in the image are different from each other based on the distribution of image elements (for example, pixels) included in the image. In the present embodiment, the partial image feature extraction unit 26, for example, based on the distribution of pixels included in the search condition image, each of a plurality of partial images (search condition partial images) having different positions in the search condition image. Extract image features. The search condition partial image corresponds to, for example, an image in each area obtained by dividing the search condition image by the image area dividing unit 24. The partial image feature extraction unit 26 extracts, for example, an average of color components in a RGB color space, a Lab color space, a YBr color space, or a combination of average and variance as a partial image feature in a search condition partial image. To do. Note that the partial image feature extraction unit 26 extracts, for example, the average of the calculation results of the pixels in the search condition partial image by the 3-scale, 8-direction Gabor filter, or a combination of average and variance as the partial image features. May be.

全体画像特徴抽出部２８は、例えば、画像（例えば、検索条件画像）に含まれる画像要素（例えば、画素）の分布に基づいて、画像全体に関わる画像特徴である全体画像特徴を抽出する。全体画像特徴抽出部２８は、例えば、まず、検索条件画像全体に含まれる各画素の画像特徴（例えば、ＲＧＢ色空間における色成分など）を特定する。そして、全体画像特徴抽出部２８は、各画素の画像特徴を、例えば、予めコードブック情報記憶部３０に記憶されているコードブック情報により量子化する。そして、全体画像特徴抽出部２８は、検索条件画像内の各画素についての量子化の結果のヒストグラムを全体画像特徴として抽出する。すなわち、全体画像特徴抽出部２８は、いわゆる、Ｂａｇ ｏｆ ｆｅａｔｕｒｅｓの特徴量を抽出する。なお、検索条件画像に含まれる各画素について特定される画像特徴として、上述の様々な色成分や、Ｇａｂｏｒフィルタの演算結果などを用いても構わない。   The overall image feature extraction unit 28 extracts, for example, an overall image feature that is an image feature related to the entire image based on the distribution of image elements (eg, pixels) included in the image (eg, search condition image). For example, the entire image feature extraction unit 28 first specifies image features (for example, color components in the RGB color space) of each pixel included in the entire search condition image. Then, the entire image feature extraction unit 28 quantizes the image feature of each pixel by, for example, codebook information stored in the codebook information storage unit 30 in advance. Then, the overall image feature extraction unit 28 extracts a histogram of the quantization result for each pixel in the search condition image as an overall image feature. That is, the entire image feature extraction unit 28 extracts so-called Bag of features feature values. Note that the above-described various color components, the calculation result of the Gabor filter, and the like may be used as the image features specified for each pixel included in the search condition image.

画像種類特定部３２は、例えば、検索条件画像から抽出された全体画像特徴に基づいて、この検索条件画像の種類（画像カテゴリ）を特定する。画像カテゴリの例としては、風景、屋内、人物、建物、動物などが挙げられる。画像種類特定部３２は、例えば、各画像カテゴリに関連づけられている画像特徴と、検索条件画像から抽出された全体画像特徴と、の比較結果に基づいて、検索条件画像の画像カテゴリを特定する。   The image type specifying unit 32 specifies the type (image category) of this search condition image based on, for example, the entire image feature extracted from the search condition image. Examples of image categories include landscape, indoor, person, building, animal and the like. For example, the image type specifying unit 32 specifies the image category of the search condition image based on the comparison result between the image feature associated with each image category and the entire image feature extracted from the search condition image.

標識候補特定部３４は、画像に含まれる画像要素の分布に基づいて、各部分画像に関連付けられる標識（ラベル）（以下、部分画像ラベルと呼ぶ。）の候補（以下、部分画像ラベル候補と呼ぶ。）を特定する。また、標識候補特定部３４は、画像に含まれる画像要素の分布に基づいて特定される画像の種類（画像カテゴリ）に基づいて、各部分画像に関連付けられる部分画像ラベル候補を特定してもよい。標識候補特定部３４は、例えば、検索条件画像の全体画像特徴に基づいて、各検索条件部分画像に関連づけられるラベルの候補（検索条件部分画像ラベル候補）を特定する。標識候補特定部３４は、例えば、画像カテゴリ−部分画像ラベル相関モデルを用いて、各検索条件部分画像に対応する検索条件部分画像ラベル候補を特定する。   The marker candidate specifying unit 34 is a candidate (hereinafter referred to as a partial image label candidate) of a marker (label) (hereinafter referred to as a partial image label) associated with each partial image based on the distribution of image elements included in the image. .) Further, the label candidate specifying unit 34 may specify the partial image label candidate associated with each partial image based on the type of image (image category) specified based on the distribution of the image elements included in the image. . The label candidate specifying unit 34 specifies, for example, label candidates (search condition partial image label candidates) associated with each search condition partial image based on the entire image feature of the search condition image. The marker candidate specifying unit 34 specifies a search condition partial image label candidate corresponding to each search condition partial image using, for example, an image category-partial image label correlation model.

図３は、画像カテゴリ−部分画像ラベル相関モデルを実現した具体的なデータの一例である相関モデルデータ４６の一例を示す図である。本実施形態では、相関モデルデータ４６は、予め、モデルデータ記憶部３６に記憶されている。   FIG. 3 is a diagram illustrating an example of correlation model data 46 that is an example of specific data that realizes the image category-partial image label correlation model. In the present embodiment, the correlation model data 46 is stored in the model data storage unit 36 in advance.

相関モデルデータ４６は、例えば、画像カテゴリと、部分画像ラベル名と、画像の画像カテゴリがＣであるという条件の下で、この画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ｜Ｃ）と、複数の相関モデルパラメータ（第１相関モデルパラメータ〜第Ｎ相関モデルパラメータ）と、を含む。図３に例示する相関モデルデータ４６では、例えば、画像カテゴリが風景である画像については、部分画像ラベル名が「山」である部分画像ラベルが８０％の確率で出現することが表されている。   The correlation model data 46 includes, for example, the probability P (L | C) that the partial image label L appears in this image under the condition that the image category, the partial image label name, and the image category of the image are C. ) And a plurality of correlation model parameters (first correlation model parameter to Nth correlation model parameter). In the correlation model data 46 illustrated in FIG. 3, for example, for an image whose image category is landscape, a partial image label whose partial image label name is “mountain” appears with a probability of 80%. .

相関モデルパラメータは、例えば、検索条件部分画像ラベルがＬであるという条件の下で、その検索条件部分画像ラベルが検索条件画像内の位置ｘに出現する確率Ｐ（ｘ｜Ｌ）を次式に例示する混合ガウス分布で表した際のパラメータの組合せ（第ｉ相関モデルパラメータについては、重みλｉ、平均μｉ、分散共分散行列Σｉの組合せ）を示すデータである。

Figure 0005413156
As the correlation model parameter, for example, the probability P (x | L) that the search condition partial image label appears at the position x in the search condition image under the condition that the search condition partial image label is L is expressed by the following equation. This is data indicating a combination of parameters (representing a combination of weight λ i , mean μ i , and variance-covariance matrix Σ i for the i-th correlation model parameter) when represented by a mixed Gaussian distribution.
Figure 0005413156

そして、標識候補特定部３４は、画像カテゴリが特定された検索条件画像について、相関モデルデータ４６に基づいて、次式に例示するように、各検索条件部分画像について、検索条件画像内の位置がｘであるという条件の下で、この位置にＬである検索条件部分画像ラベルが出現する確率Ｐ（Ｌ｜ｘ）を算出する。

Figure 0005413156
The label candidate specifying unit 34 then sets the position in the search condition image for each search condition partial image for the search condition image for which the image category is specified, as illustrated in the following formula based on the correlation model data 46. Under the condition of x, the probability P (L | x) that the search condition partial image label of L appears at this position is calculated.
Figure 0005413156

なお、標識候補特定部３４は、Ｐ（ｘ）を計算する必要はない。   The label candidate specifying unit 34 does not need to calculate P (x).

標識特定部３８は、例えば、各部分画像について、部分画像の特徴量（例えば、上述の部分画像特徴）に基づいて、部分画像ラベル候補のうちから、この部分画像に関連付けられる標識（部分画像ラベル）を特定する。標識特定部３８は、例えば、各検索条件部分画像について、検索条件部分画像の特徴量に基づいて、検索条件部分画像ラベル候補のうちから、この検索条件部分画像に関連付けられる検索条件部分画像ラベルを特定する。検索条件部分画像ラベルの例としては、例えば、山、海、太陽、机、人物、犬等が挙げられる。標識特定部３８は、特定された検索条件部分画像ラベルを検索条件部分画像に関連付ける。標識特定部３８は、例えば、部分画像分類モデルを表す部分画像分類モデルデータ４８（図４参照）に基づいて、検索条件部分画像ラベルの検索条件部分画像への関連づけを行う。図４は、部分画像分類モデルデータ４８の一例を示す図である。部分画像分類モデルデータ４８は、例えば、予め、モデルデータ記憶部３６に記憶されている。   For example, for each partial image, the sign specifying unit 38 selects a sign (partial image label) associated with the partial image from among the partial image label candidates based on the feature amount of the partial image (for example, the partial image feature described above). ). For example, for each search condition partial image, the sign specifying unit 38 selects a search condition partial image label associated with the search condition partial image from among the search condition partial image label candidates based on the feature amount of the search condition partial image. Identify. Examples of the search condition partial image label include a mountain, the sea, the sun, a desk, a person, and a dog. The sign specifying unit 38 associates the specified search condition partial image label with the search condition partial image. For example, the sign specifying unit 38 associates the search condition partial image label with the search condition partial image based on the partial image classification model data 48 (see FIG. 4) representing the partial image classification model. FIG. 4 is a diagram illustrating an example of the partial image classification model data 48. For example, the partial image classification model data 48 is stored in the model data storage unit 36 in advance.

図４に例示するように、部分画像分類モデルデータ４８は、例えば、部分画像ラベル名、画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ）、複数の部分画像分類モデルパラメータ（第１部分画像分類モデルパラメータ〜第Ｎ部分画像分類モデルパラメータ）、を含む。図４に例示する部分画像分類モデルデータ４８では、例えば、検索条件部分画像には、部分画像ラベル名が「山」である検索条件部分画像ラベルが７％の確率で出現することが表されている。   As illustrated in FIG. 4, the partial image classification model data 48 includes, for example, a partial image label name, a probability P (L) that a partial image label L appears in the image, and a plurality of partial image classification model parameters (first Partial image classification model parameters to Nth partial image classification model parameters). In the partial image classification model data 48 illustrated in FIG. 4, for example, the search condition partial image indicates that the search condition partial image label whose partial image label name is “mountain” appears with a probability of 7%. Yes.

部分画像分類モデルパラメータは、例えば、検索条件部分画像ラベルがＬであるという条件の下で、この検索条件部分画像ラベルに対応する検索条件部分画像の部分画像特徴がｙである確率Ｐ（ｙ｜Ｌ）を、次式の混合ガウス分布で表した際の確率分布を特徴付けるパラメータの組合せ（第ｉ部分画像分類モデルパラメータについては、重みλｉ、平均μｉ、分散共分散行列Σｉの組合せ）を示すデータである。

Figure 0005413156
The partial image classification model parameter includes, for example, the probability P (y |) that the partial image feature of the search condition partial image corresponding to the search condition partial image label is y under the condition that the search condition partial image label is L. L) is a combination of parameters that characterize a probability distribution when expressed by a mixed Gaussian distribution of the following equation (for the i-th partial image classification model parameter, a combination of weight λ i , mean μ i , and variance-covariance matrix Σ i ) It is data which shows.
Figure 0005413156

本実施形態では、例えば、標識候補特定部３４が、検索条件部分画像を代表する点（例えば、検索条件部分画像の中心の点や、検索条件部分画像の左上端の点など）の位置ｘにおける、Ｐ（Ｌ｜ｘ）の値を、各検索条件部分画像ラベルについて計算して、Ｐ（Ｌ｜ｘ）の値が大きなものから順にＮ個の検索条件部分画像ラベル候補（例えば、Ｌ１、Ｌ２・・・ＬＮ）を特定する。そして、標識特定部３８が、例えば、予め標識候補特定部３４により絞り込まれたこのＮ個の検索条件部分画像ラベル候補それぞれについて、Ｐ（ｙ｜Ｌ）の値を計算する。そして、標識特定部３８は、例えば、次式に基づいて、この検索条件部分画像に対応する検索条件部分画像ラベルｌａｂｅｌを特定する。標識候補特定部３４及び標識特定部３８は、例えば、上述の処理を各検索条件部分画像に対して実行する。

Figure 0005413156
In the present embodiment, for example, the marker candidate specifying unit 34 at the position x of a point representing the search condition partial image (for example, the center point of the search condition partial image or the upper left point of the search condition partial image). , P (L | x) is calculated for each search condition partial image label, and N search condition partial image label candidates (for example, L 1 , L 2 ... L N ) is specified. Then, the label specifying unit 38 calculates the value of P (y | L) for each of the N search condition partial image label candidates previously narrowed down by the label candidate specifying unit 34, for example. And the label | marker specific | specification part 38 specifies the search condition partial image label label corresponding to this search condition partial image based on following Formula, for example. For example, the marker candidate specifying unit 34 and the marker specifying unit 38 execute the above-described processing on each search condition partial image.
Figure 0005413156

標識分布情報生成部４０は、例えば、各部分画像について特定された部分画像ラベルｌａｂｅｌを集計した標識分布情報を生成する。   For example, the sign distribution information generation unit 40 generates sign distribution information obtained by tabulating the partial image labels label specified for each partial image.

標識分布情報生成部４０は、例えば、検索条件部分画像ラベルｌａｂｅｌを集計して、各検索条件部分画像ラベルが存在する個数を示すヒストグラムを表す標識分布情報５０（図５参照）を生成する。図５は、標識分布情報５０の一例を示す図である。そして、標識分布情報生成部４０は、生成された標識分布情報５０を検索条件画像に関連づける。   For example, the sign distribution information generation unit 40 aggregates the search condition partial image labels label, and generates sign distribution information 50 (see FIG. 5) representing a histogram indicating the number of each search condition partial image label. FIG. 5 is a diagram illustrating an example of the sign distribution information 50. Then, the marker distribution information generation unit 40 associates the generated marker distribution information 50 with the search condition image.

なお、本実施形態では、予め、上述と同様の方法により、画像記憶部２０に記憶されている各検索対象画像についても、検索対象画像に含まれる各部分画像（検索対象部分画像）に部分画像ラベル（検索対象部分画像ラベル）が関連づけられている。そして、標識分布情報生成部４０は、予め、各検索対象画像について、検索対象画像に含まれる各検索対象部分画像に関連づけられた検索対象部分画像ラベルに基づいて、標識分布情報５０を生成する。そして、標識分布情報生成部４０は、この標識分布情報５０を検索対象画像に関連づける。   In the present embodiment, the partial images included in the search target images (search target partial images) are also stored in advance for each search target image stored in the image storage unit 20 by the same method as described above. A label (search target partial image label) is associated. Then, the sign distribution information generation unit 40 generates the sign distribution information 50 in advance for each search target image based on the search target partial image label associated with each search target partial image included in the search target image. Then, the sign distribution information generation unit 40 associates the sign distribution information 50 with the search target image.

すなわち、本実施形態では、例えば、検索条件画像にも各検索対象画像にも、その画像に対応する標識分布情報５０が関連づけられていることとなる。   That is, in this embodiment, for example, the marker distribution information 50 corresponding to the search condition image and each search target image is associated with the image.

類似度算出部４２は、検索条件画像に関連づけられている標識分布情報５０と、各検索対象画像に関連づけられている標識分布情報５０と、の類似度を算出する。類似度算出部４２は、具体的には、例えば、検索条件画像に関連づけられている標識分布情報５０に対応するヒストグラムと、各検索対象情報に関連づけられている標識分布情報５０に対応するヒストグラムと、の距離を算出する。ヒストグラム間の距離とは、具体的には、例えば、ユークリッド距離やχ２乗距離などである。   The similarity calculation unit 42 calculates the similarity between the sign distribution information 50 associated with the search condition image and the sign distribution information 50 associated with each search target image. Specifically, for example, the similarity calculation unit 42 includes a histogram corresponding to the marker distribution information 50 associated with the search condition image, and a histogram corresponding to the marker distribution information 50 associated with each search target information. The distance is calculated. Specifically, the distance between histograms is, for example, a Euclidean distance or a χ 2 distance.

画像出力部４４は、類似度算出部４２により算出された類似度に基づいて特定される画像を出力する。画像出力部４４は、例えば、検索条件画像に対応するヒストグラムからの距離が小さいものから順にｎ個のヒストグラムを特定し、それぞれのヒストグラムに対応する検索対象画像をディスプレイなどのＵＩ部１６に表示出力する。なお、画像出力部４４は、類似度算出部４２により算出された類似度に基づいて特定される画像を記憶部１４に出力するようにしてもよい。   The image output unit 44 outputs an image specified based on the similarity calculated by the similarity calculation unit 42. For example, the image output unit 44 specifies n histograms in ascending order of distance from the histogram corresponding to the search condition image, and displays the search target image corresponding to each histogram on the UI unit 16 such as a display. To do. Note that the image output unit 44 may output an image specified based on the similarity calculated by the similarity calculation unit 42 to the storage unit 14.

ここで、本実施形態に係る画像処理装置１０で行われる処理の流れの一例を図６に示すフロー図を参照しながら説明する。   Here, an example of the flow of processing performed by the image processing apparatus 10 according to the present embodiment will be described with reference to the flowchart shown in FIG.

まず、画像受付部２２が、利用者から検索条件画像を受け付ける（Ｓ１０１）。そして、全体画像特徴抽出部２８が、Ｓ１０１に例示する処理により受け付けた検索条件画像に基づいて、この検索条件画像の全体画像特徴を抽出する（Ｓ１０２）。そして、画像種類特定部３２が、Ｓ１０２に例示する処理により抽出された全体画像特徴に基づいて、検索条件画像の画像カテゴリを特定する（Ｓ１０３）。そして、画像領域分割部２４が、検索条件画像の領域分割を行う（Ｓ１０４）。そして、部分画像特徴抽出部２６が、検索条件画像を分割した各領域に対応する検索条件部分画像の部分画像特徴を抽出する（Ｓ１０５）。そして、標識候補特定部３４が、各検索条件部分画像について、Ｓ１０３に例示する処理により特定された画像カテゴリと、検索条件部分画像内の代表点の位置と、に基づいて、検索条件部分画像に対応する検索条件部分画像ラベル候補を特定する（Ｓ１０６）。そして、標識特定部３８が、各検索条件部分画像について、Ｓ１０５に例示する処理により抽出された部分画像特徴に基づいて、Ｓ１０６に例示する処理で特定された検索条件部分画像ラベル候補のうちから、検索条件部分画像に対応する検索条件部分画像ラベルを特定して、この検索条件部分画像ラベルを検索条件部分画像に関連付ける（Ｓ１０７）。そして、標識分布情報生成部４０が、各検索条件部分画像に関連付けられた検索条件部分画像ラベルを集計して、ヒストグラムに対応する標識分布情報５０を生成して、この標識分布情報５０を検索条件画像に関連づける（Ｓ１０８）。そして、類似度算出部４２が、Ｓ１０８に例示する処理で生成された標識分布情報５０に対応するヒストグラムと、各検索対象画像に関連づけられているヒストグラムと、の距離を算出する（Ｓ１０９）。そして、画像出力部４４が、Ｓ１０９に例示する処理で算出された距離が小さなものから順にｎ個の検索対象画像を特定して、これらの画像をディスプレイなどのＵＩ部１６に表示出力する（Ｓ１１０）。   First, the image receiving unit 22 receives a search condition image from a user (S101). Then, the entire image feature extraction unit 28 extracts the entire image feature of the search condition image based on the search condition image received by the process exemplified in S101 (S102). Then, the image type identification unit 32 identifies the image category of the search condition image based on the entire image feature extracted by the process exemplified in S102 (S103). Then, the image area dividing unit 24 divides the search condition image (S104). Then, the partial image feature extraction unit 26 extracts a partial image feature of the search condition partial image corresponding to each area obtained by dividing the search condition image (S105). Then, the label candidate specifying unit 34 converts each search condition partial image into a search condition partial image based on the image category specified by the process exemplified in S103 and the position of the representative point in the search condition partial image. Corresponding search condition partial image label candidates are specified (S106). And the label | marker specific | specification part 38 is based on the partial image feature extracted by the process illustrated to S105 about each search condition partial image from the search condition partial image label candidates specified by the process illustrated to S106. A search condition partial image label corresponding to the search condition partial image is specified, and this search condition partial image label is associated with the search condition partial image (S107). Then, the sign distribution information generation unit 40 aggregates the search condition partial image labels associated with each search condition partial image, generates sign distribution information 50 corresponding to the histogram, and uses the sign distribution information 50 as the search condition. The image is associated (S108). Then, the similarity calculation unit 42 calculates the distance between the histogram corresponding to the marker distribution information 50 generated in the process exemplified in S108 and the histogram associated with each search target image (S109). Then, the image output unit 44 specifies n search target images in order from the smallest distance calculated in the process illustrated in S109, and displays and outputs these images on the UI unit 16 such as a display (S110). ).

なお、本実施形態に係る画像処理装置１０で行われる処理の流れは上述の処理例の処理の流れには限定されない。例えば、画像処理装置１０は、Ｓ１０２〜Ｓ１０３に例示する処理と、Ｓ１０４〜Ｓ１０５に例示する処理の順序を入れ替えて実行しても構わない。また、画像処理装置１０は、Ｓ１０２〜Ｓ１０３に例示する処理と、Ｓ１０４〜Ｓ１０５に例示する処理と、を並行して実行しても構わない。   Note that the flow of processing performed by the image processing apparatus 10 according to the present embodiment is not limited to the processing flow of the above-described processing example. For example, the image processing apparatus 10 may perform the processing illustrated in S102 to S103 and the processing illustrated in S104 to S105 by changing the order. Further, the image processing apparatus 10 may execute the processing exemplified in S102 to S103 and the processing exemplified in S104 to S105 in parallel.

なお、本発明は上述の実施形態に限定されるものではない。   In addition, this invention is not limited to the above-mentioned embodiment.

［コードブック情報の生成］
例えば、画像処理装置１０は、予め、コードブック情報の基礎となる複数の画像（以下、コードブック基礎画像と呼ぶ。）に基づいて、上述のコードブック情報を生成するようにしてもよい。具体的には、例えば、画像処理装置１０が、予め複数のコードブック基礎画像を取得して、各コードブック基礎画像について、コードブック基礎画像に含まれる各画素について抽出された画像特徴をｋ−ｍｅａｎｓ法などのクラスタリング手法により分類して、各分類の中心値を特定してもよい。そして、画像処理装置１０が、例えば、分類番号（分類ＩＤ）と、この分類番号（分類ＩＤ）に対応する分類の中心値との組合せを含むコードブック情報を生成して、コードブック情報記憶部３０に出力してもよい。そして、全体画像特徴抽出部２８が、検索条件画像に含まれる画素の画像特徴と各分類の中心値とを比較して、最も近い分類に対応する分類番号（分類ＩＤ）を量子化の結果として特定してもよい。なお、検索対象画像をコードブック基礎画像として用いても構わない。 [Generate Codebook Information]
For example, the image processing apparatus 10 may generate the above-described code book information based on a plurality of images (hereinafter referred to as code book basic images) that are the basis of the code book information in advance. Specifically, for example, the image processing apparatus 10 acquires a plurality of codebook basic images in advance, and k-decodes image features extracted for each pixel included in the codebook basic image for each codebook basic image. Classification may be performed by a clustering method such as a means method, and the center value of each classification may be specified. Then, for example, the image processing apparatus 10 generates codebook information including a combination of a classification number (classification ID) and a central value of a classification corresponding to the classification number (classification ID), and a codebook information storage unit 30 may be output. Then, the entire image feature extraction unit 28 compares the image feature of the pixel included in the search condition image with the central value of each classification, and the classification number (classification ID) corresponding to the closest classification is obtained as the quantization result. You may specify. Note that the search target image may be used as the codebook basic image.

［画像分類モデルの構築］
また、画像種類特定部３２は、例えば、サポートベクタマシン等の識別器を用いた学習により構築される画像分類モデルを用いて検索条件画像の画像カテゴリを特定してもよい。ここで、サポートベクタマシン等の識別器を用いた画像分類モデルの構築方法の一例について説明する。 [Building an image classification model]
Further, the image type identification unit 32 may identify the image category of the search condition image using an image classification model constructed by learning using a discriminator such as a support vector machine, for example. Here, an example of an image classification model construction method using a classifier such as a support vector machine will be described.

画像分類モデルの構築は、例えば、学習コーパスを用いて行われる。学習コーパスは、例えば、複数の単位情報５２を含んでいる（図７参照）。図７は、単位情報５２の一例を示す図である。図７に示すように、単位情報５２は、学習用画像５４と、学習用画像５４に関連付けられた画像カテゴリと、学習用画像５４内の一部の領域に関連付けられたラベルと、を含んでいる。   The construction of the image classification model is performed using a learning corpus, for example. The learning corpus includes, for example, a plurality of unit information 52 (see FIG. 7). FIG. 7 is a diagram illustrating an example of the unit information 52. As shown in FIG. 7, the unit information 52 includes a learning image 54, an image category associated with the learning image 54, and a label associated with a partial area in the learning image 54. Yes.

画像分類モデルの学習の際には、例えば、識別器は、学習用画像５４を、特定の画像カテゴリの画像とその他の画像カテゴリの画像とに分け、特定の画像カテゴリの画像から得られた全体画像特徴量を正例、その他のカテゴリの画像から得られた全体画像特徴量を負例として学習する。   When learning the image classification model, for example, the classifier divides the learning image 54 into an image of a specific image category and an image of another image category, and the whole obtained from the image of the specific image category. The image feature quantity is learned as a positive example, and the entire image feature quantity obtained from images in other categories is learned as a negative example.

なお、画像処理装置１０は、クラスタリング手法により画像分類モデルを構築してもよい。この場合は、学習用画像５４と画像カテゴリとが予め関連付けられている必要はない。   Note that the image processing apparatus 10 may construct an image classification model by a clustering method. In this case, the learning image 54 and the image category need not be associated in advance.

［相関モデルデータの生成］
また、相関モデルデータ４６は、例えば、予め、複数の学習用画像５４に基づいて生成され、モデルデータ記憶部３６に記憶されていてもよい。ここで、相関モデルデータ４６の生成方法の一例について説明する。 [Creation of correlation model data]
The correlation model data 46 may be generated in advance based on a plurality of learning images 54 and stored in the model data storage unit 36, for example. Here, an example of a method for generating the correlation model data 46 will be described.

例えば、画像処理装置１０が、ある画像カテゴリＣに関連づけられている複数の学習用画像５４を特定する。そして、画像領域分割部２４が、特定されたこれらの学習用画像５４それぞれについて、複数の領域に分割する。学習用画像５４が分割された各領域は、学習用画像５４の部分画像（以下、学習用部分画像５６と呼ぶ。）に対応する（図８参照）。図８は、図７に示す単位情報５２に含まれる学習用画像５４を複数の領域に分割することにより特定される、学習用部分画像５６の一例を示す図である。   For example, the image processing apparatus 10 specifies a plurality of learning images 54 associated with a certain image category C. Then, the image area dividing unit 24 divides each of the identified learning images 54 into a plurality of areas. Each region into which the learning image 54 is divided corresponds to a partial image of the learning image 54 (hereinafter referred to as a learning partial image 56) (see FIG. 8). FIG. 8 is a diagram illustrating an example of the learning partial image 56 identified by dividing the learning image 54 included in the unit information 52 illustrated in FIG. 7 into a plurality of regions.

そして、画像処理装置１０は、各学習用部分画像５６に対応するラベル（学習用部分画像ラベル）を特定する。画像処理装置１０は、具体的には、例えば、関連づけられている学習用部分画像５６内の領域の面積が最大であるラベルを、学習用部分画像５６に対応するラベルとして特定する。そして、画像処理装置１０は、特定された学習用部分画像ラベルを学習用部分画像５６に関連づける。   Then, the image processing apparatus 10 specifies a label (learning partial image label) corresponding to each learning partial image 56. Specifically, for example, the image processing apparatus 10 specifies a label having the largest area in the associated learning partial image 56 as a label corresponding to the learning partial image 56. Then, the image processing apparatus 10 associates the specified learning partial image label with the learning partial image 56.

そして、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について、各学習用部分画像ラベルが学習用部分画像５６に関連づけられている数を計算する。そして、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について計算される、学習用部分画像５６に関連づけられている各学習用部分画像ラベルの数の比率に基づいて、画像カテゴリがＣであるという条件の下で、この画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ｜Ｃ）を計算する。   Then, for each learning image 54 associated with the image category C, the image processing apparatus 10 calculates the number of each learning partial image label associated with the learning partial image 56. Then, the image processing apparatus 10 calculates, based on the ratio of the number of learning partial image labels associated with the learning partial image 56, calculated for each learning image 54 associated with the image category C. Under the condition that the image category is C, the probability P (L | C) that a partial image label of L appears in this image is calculated.

なお、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について、各学習用部分画像ラベルに関連づけられている学習用部分画像５６内の領域の面積を計算してもよい。そして、画像処理装置１０は、画像カテゴリＣに関連づけられている各学習用画像５４について計算される、各学習用部分画像ラベルに関連づけられている学習用部分画像５６内の領域の面積の合計の比率に基づいて、画像カテゴリがＣであるという条件の下で、この画像にＬである部分画像ラベルが出現する確率Ｐ（Ｌ｜Ｃ）を計算してもよい。   The image processing apparatus 10 may calculate the area of the region in the learning partial image 56 associated with each learning partial image label for each learning image 54 associated with the image category C. . Then, the image processing apparatus 10 calculates the total area of the regions in the learning partial image 56 associated with each learning partial image label calculated for each learning image 54 associated with the image category C. Based on the ratio, under the condition that the image category is C, the probability P (L | C) that a partial image label of L appears in this image may be calculated.

また、画像処理装置１０は、例えば、学習用画像５４内における位置に対するラベルの出現確率を、例えば、ある画像カテゴリＣに関連づけられる各学習用画像５４について、あるラベルが関連付けられた学習用部分画像を代表する点（例えば、学習用部分画像の中心の点や、学習用部分画像の左上端の点など）の位置ｘの集計結果であるサンプル集合｛ｘ１，ｘ２，・・・ｘＮ｝を、混合ガウス分布により近似することでモデル化する。画像処理装置１０は、例えば、次式で定義される対数尤度が最大となるλ、μ、Σを特定することで、学習用画像５４内における位置に対するラベルの出現確率をモデル化する。

Figure 0005413156
In addition, the image processing apparatus 10 uses, for example, a learning partial image in which a certain label is associated with the appearance probability of a label with respect to a position in the learning image 54 for each learning image 54 associated with a certain image category C, for example. A sample set {x 1 , x 2 ,..., X N that is a total result of the positions x of points representing the points (for example, the center point of the learning partial image or the upper left corner point of the learning partial image). } Is approximated by a mixed Gaussian distribution. The image processing apparatus 10 models the appearance probability of a label for a position in the learning image 54, for example, by specifying λ, μ, and Σ that maximize the log likelihood defined by the following equation.
Figure 0005413156

［部分画像分類モデルデータの生成］
また、部分画像分類モデルデータ４８は、例えば、予め、複数の学習用画像５４に基づいて生成され、モデルデータ記憶部３６に記憶されていてもよい。ここで、部分画像分類モデルデータ４８の生成方法の一例について説明する。 [Generation of partial image classification model data]
Further, the partial image classification model data 48 may be generated in advance based on a plurality of learning images 54 and stored in the model data storage unit 36, for example. Here, an example of a method for generating the partial image classification model data 48 will be described.

例えば、画像処理装置１０は、学習コーパスに含まれる各学習用画像５４に関連付けられているラベルの出現回数に基づいて、各ラベルが学習用画像５４に出現する確率（例えば、Ｌであるラベルが学習用画像５４に出現する確率Ｐ（Ｌ）など）を算出する。そして、画像処理装置１０は、学習用部分画像ラベルがＬであるという条件の下で、この学習用部分画像ラベルに対応する学習用部分画像の部分画像特徴がｙである確率Ｐ（ｙ｜Ｌ）を、学習コーパスに含まれる各学習用画像５４について、特定の学習用部分画像ラベルに関連付けられている、学習用部分画像５６の部分画像特徴（例えば、Ｌである部分画像ラベルに関連付けられている学習用画像５４内の部分画像の部分画像特徴）の集計結果｛ｙ１，ｙ２，・・・ｙＮ｝を、混合ガウス分布により近似することでモデル化する。画像処理装置１０は、例えば、次式で定義される対数尤度が最大となるλ、μ、Σを特定することで、学習用部分画像ラベルがＬであるという条件の下で、この学習用部分画像ラベルに対応する部分画像の部分画像特徴がｙである確率Ｐ（ｙ｜Ｌ）をモデル化する。

Figure 0005413156
For example, the image processing apparatus 10 determines the probability that each label appears in the learning image 54 based on the number of appearances of the label associated with each learning image 54 included in the learning corpus (for example, the label that is L is A probability P (L) appearing in the learning image 54) is calculated. Then, under the condition that the learning partial image label is L, the image processing apparatus 10 has a probability P (y | L that the partial image feature of the learning partial image corresponding to the learning partial image label is y. ) For each learning image 54 included in the learning corpus, associated with a partial image feature of the learning partial image 56 (for example, associated with the partial image label L). Modeling is performed by approximating the total result {y 1 , y 2 ,..., Y N } of the partial image features of the partial images in the learning image 54 that is present by a mixed Gaussian distribution. For example, the image processing apparatus 10 specifies the λ, μ, and Σ with which the logarithmic likelihood defined by the following equation is maximized, so that the learning partial image label is L. The probability P (y | L) that the partial image feature of the partial image corresponding to the partial image label is y is modeled.
Figure 0005413156

なお、上記の具体的な数値や文字列は例示であり、これらの数値や文字列には限定されない。   Note that the above specific numerical values and character strings are examples, and are not limited to these numerical values and character strings.

１０ 画像処理装置、１２ 制御部、１４ 記憶部、１６ ユーザインタフェース（ＵＩ）部、２０ 画像記憶部、２２ 画像受付部、２４ 画像領域分割部、２６ 部分画像特徴抽出部、２８ 全体画像特徴抽出部、３０ コードブック情報記憶部、３２ 画像種類特定部、３４ 標識候補特定部、３６ モデルデータ記憶部、３８ 標識特定部、４０ 標識分布情報生成部、４２ 類似度算出部、４４ 画像出力部、４６ 相関モデルデータ、４８ 部分画像分類モデルデータ、５０ 標識分布情報、５２ 単位情報、５４ 学習用画像、５６ 学習用部分画像。   DESCRIPTION OF SYMBOLS 10 Image processing apparatus, 12 Control part, 14 Storage part, 16 User interface (UI) part, 20 Image storage part, 22 Image reception part, 24 Image area division part, 26 Partial image feature extraction part, 28 Whole image feature extraction part , 30 Codebook information storage unit, 32 Image type identification unit, 34 Label candidate identification unit, 36 Model data storage unit, 38 Label identification unit, 40 Label distribution information generation unit, 42 Similarity calculation unit, 44 Image output unit, 46 Correlation model data, 48 partial image classification model data, 50 tag distribution information, 52 unit information, 54 learning image, 56 learning partial image.

Claims (3)

受け付けた画像に含まれた画像要素の分布に基づいて特定される画像の種類についての、標識、当該受け付けた画像が当該画像の種類であるという条件の下での当該受け付けた画像に当該標識が出現する確率、及び、当該受け付けた画像内における当該標識の出現確率の確率分布を表すパラメータ、が関連付けられた情報に基づいて、前記受け付けた画像内における位置が互いに異なる複数の部分画像それぞれについて、当該部分画像を代表する位置に出現する確率が上位であると計算される、当該部分画像に関連付けられる標識の候補を特定する標識候補特定手段、
前記各部分画像について、標識、当該部分画像に当該標識が出現する確率、及び、当該標識に対応する部分画像の特徴量がある値である確率の確率分布を表すパラメータ、が関連付けられた情報と、当該部分画像の特徴量と、に基づいて、前記標識の候補のそれぞれについての、当該標識の候補に対応する当該部分画像の特徴量がある値である確率を計算する計算手段、
前記各部分画像について、前記計算手段による計算結果に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段、
複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段、
としてコンピュータを機能させることを特徴とする画像処理プログラム。 A sign for an image type specified based on a distribution of image elements included in the received image, and the sign on the received image under the condition that the received image is the type of the image. probability of occurrence, and a parameter representing the probability distribution of the probability of occurrence of the label in the received in the image, based on the information associated, with the positions a plurality of different partial images with each other in the accepted in the image A label candidate specifying means for specifying a label candidate associated with the partial image, the probability of appearing at a position representative of the partial image being higher .
For each partial image, information associated with a sign, a probability that the sign appears in the partial image, and a parameter representing a probability distribution of a probability that the feature amount of the partial image corresponding to the sign is a certain value, and Calculating means for calculating a probability that the feature amount of the partial image corresponding to the marker candidate is a certain value for each of the marker candidates based on the feature amount of the partial image;
For each partial image , based on a calculation result by the calculation unit, a label identifying unit that identifies a label associated with the partial image from among candidate labels associated with the partial image,
Image output means for outputting an image corresponding to a combination of signs obtained from storage means for storing a plurality of images and associated with each partial image;
An image processing program for causing a computer to function as: 前記画像出力手段が、前記各部分画像に関連付けられる標識に対応する値と、前記記憶手段に記憶されている画像に関連付けられる標識に対応する値と、の比較結果に基づいて特定される画像を出力する、
ことを特徴とする請求項１に記載の画像処理プログラム。 An image specified by the image output means based on a comparison result between a value corresponding to the sign associated with each partial image and a value corresponding to the sign stored in the storage means. Output,
The image processing program according to claim 1 , wherein: 受け付けた画像に含まれた画像要素の分布に基づいて特定される画像の種類についての、標識、当該受け付けた画像が当該画像の種類であるという条件の下での当該受け付けた画像に当該標識が出現する確率、及び、当該受け付けた画像内における当該標識の出現確率の確率分布を表すパラメータ、が関連付けられた情報に基づいて、前記受け付けた画像内における位置が互いに異なる複数の部分画像それぞれについて、当該部分画像を代表する位置に出現する確率が上位であると計算される、当該部分画像に関連付けられる標識の候補を特定する標識候補特定手段と、
前記各部分画像について、標識、当該部分画像に当該標識が出現する確率、及び、当該標識に対応する部分画像の特徴量がある値である確率の確率分布を表すパラメータ、が関連付けられた情報と、当該部分画像の特徴量と、に基づいて、前記標識の候補のそれぞれについての、当該標識の候補に対応する当該部分画像の特徴量がある値である確率を計算する計算手段と、
前記各部分画像について、前記計算手段による計算結果に基づいて、当該部分画像に関連付けられる標識の候補のうちから、当該部分画像に関連付けられる標識を特定する標識特定手段と、
複数の画像を記憶する記憶手段から取得される、前記各部分画像に関連付けられる標識の組合せに応じた画像を出力する画像出力手段と、
を含むことを特徴とする画像処理装置。 A sign for an image type specified based on a distribution of image elements included in the received image, and the sign on the received image under the condition that the received image is the type of the image. probability of occurrence, and a parameter representing the probability distribution of the probability of occurrence of the label in the received in the image, based on the information associated, with the positions a plurality of different partial images with each other in the accepted in the image A label candidate specifying means for specifying a candidate for a label associated with the partial image, the probability of appearing at a position representing the partial image being higher ,
For each partial image, information associated with a sign, a probability that the sign appears in the partial image, and a parameter representing a probability distribution of a probability that the feature amount of the partial image corresponding to the sign is a certain value, and Calculating means for calculating the probability that the feature amount of the partial image corresponding to the marker candidate is a certain value for each of the marker candidates based on the feature amount of the partial image;
For each partial image , based on a calculation result by the calculation unit, a label identifying unit that identifies a label associated with the partial image from among candidate labels associated with the partial image;
Image output means for outputting an image according to a combination of signs obtained from storage means for storing a plurality of images and associated with each partial image;
An image processing apparatus comprising:
JP2009272853A 2009-11-30 2009-11-30 Image processing program and image processing apparatus Expired - Fee Related JP5413156B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009272853A JP5413156B2 (en) 2009-11-30 2009-11-30 Image processing program and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009272853A JP5413156B2 (en) 2009-11-30 2009-11-30 Image processing program and image processing apparatus

Publications (2)

Publication Number Publication Date
JP2011118481A JP2011118481A (en) 2011-06-16
JP5413156B2 true JP5413156B2 (en) 2014-02-12

Family

ID=44283767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009272853A Expired - Fee Related JP5413156B2 (en) 2009-11-30 2009-11-30 Image processing program and image processing apparatus

Country Status (1)

Country Link
JP (1) JP5413156B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419560B2 (en) * 2014-12-05 2018-11-07 株式会社東芝 Search device, method and program
JP6283308B2 (en) * 2014-12-24 2018-02-21 日本電信電話株式会社 Image dictionary construction method, image representation method, apparatus, and program
KR102594951B1 (en) * 2016-06-03 2023-10-27 삼성전자주식회사 Electronic apparatus and operating method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298001B2 (en) * 1998-04-30 2009-07-15 キヤノン株式会社 Image search apparatus and method
JP2000090239A (en) * 1998-09-10 2000-03-31 Matsushita Electric Ind Co Ltd Image retrieving device
JP2008033954A (en) * 2003-04-30 2008-02-14 Seiko Epson Corp Method and device for file management and method and device for annotation information generation
JP2009044249A (en) * 2007-08-06 2009-02-26 Seiko Epson Corp Image identification method, image identification device, and program

Also Published As

Publication number Publication date
JP2011118481A (en) 2011-06-16

Similar Documents

Publication Publication Date Title
Yang et al. Visual sentiment prediction based on automatic discovery of affective regions
US9978003B2 (en) Utilizing deep learning for automatic digital image segmentation and stylization
AU2014321165B2 (en) Image searching method and apparatus
US9349076B1 (en) Template-based target object detection in an image
US8009921B2 (en) Context dependent intelligent thumbnail images
US8594385B2 (en) Predicting the aesthetic value of an image
JP5202148B2 (en) Image processing apparatus, image processing method, and computer program
TW201926140A (en) Method, electronic device and non-transitory computer readable storage medium for image annotation
US9613296B1 (en) Selecting a set of exemplar images for use in an automated image object recognition system
JP2016134175A (en) Method and system for performing text-to-image queries with wildcards
JP2008159056A (en) Classification through generative model of feature occurring in image
CN104063683A (en) Expression input method and device based on face identification
WO2024051609A1 (en) Advertisement creative data selection method and apparatus, model training method and apparatus, and device and storage medium
CN113255557B (en) Deep learning-based video crowd emotion analysis method and system
CN105793867A (en) Image searching method and apparatus
CN106934055B (en) Semi-supervised webpage automatic classification method based on insufficient modal information
Bharath et al. Scalable scene understanding using saliency-guided object localization
JP2016103759A (en) Image processing apparatus, image processing method, and program
CN111553838A (en) Model parameter updating method, device, equipment and storage medium
CN116958957A (en) Training method of multi-mode feature extraction network and three-dimensional feature representation method
CN113642481A (en) Recognition method, training method, device, electronic equipment and storage medium
WO2022247403A1 (en) Keypoint detection method, electronic device, program, and storage medium
Iqbal et al. Classifier comparison for MSER-based text classification in scene images
JP5413156B2 (en) Image processing program and image processing apparatus
JP2013246732A (en) Handwritten character retrieval apparatus, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R150 Certificate of patent or registration of utility model

Ref document number: 5413156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees