WO2017006648A1 - 画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2017006648A1
WO2017006648A1 PCT/JP2016/065934 JP2016065934W WO2017006648A1 WO 2017006648 A1 WO2017006648 A1 WO 2017006648A1 JP 2016065934 W JP2016065934 W JP 2016065934W WO 2017006648 A1 WO2017006648 A1 WO 2017006648A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
index
subject
query image
color information
Prior art date
Application number
PCT/JP2016/065934
Other languages
English (en)
French (fr)
Inventor
雅高 水澤
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2017527120A priority Critical patent/JP6478301B2/ja
Publication of WO2017006648A1 publication Critical patent/WO2017006648A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image discriminating apparatus, an image discriminating method, and a computer-readable recording medium on which a program for realizing these is recorded, which discriminates an object in a query image.
  • the discrimination engine disclosed in Patent Document 1 first sets feature points on a query image, and based on the coordinates of the set feature points and the luminance values of pixels in a predetermined area, The feature amount is calculated. Next, the discrimination engine creates a vector quantization histogram for each of the local feature amount of the query image and the pre-calculated local feature amount of the reference image. Thereafter, the discrimination engine calculates the similarity between the query image and the reference image by comparing the vector quantization histograms.
  • the discrimination engine disclosed in Patent Document 1 it is necessary to calculate the local feature amount of the query image and perform the similarity determination using the local feature amount, and thus there is a problem that the processing time is long. Further, the discrimination engine disclosed in Patent Document 1 has a problem that it is necessary to calculate a local feature amount in advance for each of a large number of reference images, and it is expensive to construct an image database.
  • An example of the object of the present invention is to solve the above-described problems and improve the processing speed and reduce the cost for constructing a database in an image search. It is to provide a recording medium.
  • an image determination apparatus is an apparatus for determining a relationship between a query image and a reference image
  • An image acquisition unit that acquires a mask image that clearly indicates an outer edge of a subject in the query image
  • An index calculating unit that calculates a first index indicating the linearity and a second index indicating the symmetry of the subject in the query image from the mask image;
  • the first index and the second index calculated by the index calculation unit are compared with the first index and the second index of the subject in each of the reference images registered in advance, and compared
  • An image determination unit that determines a relationship between the query image and the reference image based on the result of It is characterized by having.
  • an image determination method is a method for determining a relationship between a query image and a reference image, (A) obtaining a mask image that clearly indicates an outer edge of a subject in the query image; (B) calculating a first index indicating the linearity and a second index indicating the symmetry of the subject in the query image from the mask image; (C) The first index and the second index calculated in the step (b), and the first index and the second index of the subject in each of the reference images registered in advance And determining a relationship between the query image and the reference image based on a comparison result; It is characterized by having.
  • a computer-readable recording medium is a recording medium in which a program for determining a relationship between a query image and a reference image is recorded by a computer,
  • a program for determining a relationship between a query image and a reference image is recorded by a computer
  • a program including an instruction for executing is recorded.
  • FIG. 1 is a block diagram showing a schematic configuration of an image discriminating apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration of the image discriminating apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of an image and a mask image used in the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of linearity and symmetry of a subject to be used in the embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of a color histogram created in the embodiment of the present invention.
  • FIG. 6 is a flowchart showing the operation of the image discriminating apparatus 10 according to the embodiment of the present invention.
  • FIG. 7 is a block diagram showing a specific configuration of a modification of the image discrimination device according to the embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating an example of a computer that implements the image discrimination device according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an image discriminating apparatus according to an embodiment of the present invention.
  • the image discriminating apparatus 10 in the present embodiment shown in FIG. 1 is an apparatus for discriminating the relationship between a query image and a reference image.
  • the image determination device 10 includes an image acquisition unit 11, an index calculation unit 12, and an image determination unit 13.
  • the image acquisition unit 11 acquires a mask image that clearly shows the outer edge of the subject in the query image.
  • the index calculation unit 12 uses a first index indicating the linearity of the subject in the query image from the mask image (hereinafter referred to as “linearity index”), and a second index indicating the symmetry ( Hereinafter, it is expressed as “symmetry index”).
  • the image discriminating unit 13 first compares the linearity index and the symmetry index calculated by the index calculating unit 12 with the linearity index and the symmetry index of the subject in each reference image registered in advance. Next, the image determination unit 13 determines the relationship between the query image and the reference image based on the comparison result.
  • the image discriminating apparatus 10 can discriminate the relationship between images based on the index calculated from the shape of the subject in the image. Therefore, if an image search system is constructed using the image discriminating apparatus 10, it is possible to improve the processing speed and reduce the cost for constructing the database.
  • FIG. 2 is a block diagram showing a specific configuration of the image discriminating apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of an image and a mask image used in the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of linearity and symmetry of a subject to be used in the embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of a color histogram created in the embodiment of the present invention.
  • the image discrimination device 10 constructs a search system 20 together with an image database 21 that stores reference images. Furthermore, the image discrimination device 10 is connected to a terminal device 30 of a user who uses the image search service via a network such as the Internet (not shown in FIG. 2).
  • the user transmits a query image used for image search from the terminal device 30 to the image discrimination device 10.
  • the user designates the outer edge of the subject to be searched while viewing the query image on the terminal device 30.
  • the terminal device 30 includes a touch panel as an input device, the user can specify the outer edge by tracing the outer edge of the subject on the query image displayed on the screen.
  • the terminal device 30 also displays information specifying the outer edge of the subject, specifically, a set of coordinates of the portion specified as the outer edge (hereinafter also referred to as “outer edge specifying information”). It transmits to the discriminating apparatus 10.
  • the image determination apparatus 10 includes an input reception unit 14, a color information generation unit 15, an output in addition to the image acquisition unit 11, the index calculation unit 12, and the image determination unit 13 described above. And a portion 16.
  • the input receiving unit 14 receives them.
  • the input receiving unit 14 passes the received query image and outer edge specifying information to the image acquisition unit 11.
  • the image acquisition unit 11 receives the query image and the outer edge specifying information, and uses them to generate a mask image that clearly indicates the outer edge of the subject of the query image. Specifically, the image acquisition unit 11 generates an image in which an outer region corresponding to the outer side of the outer edge and an inner region corresponding to the inner side of the outer edge are filled with different single colors, and this is used as a mask image. get.
  • the query image is a yellow swallowtail image shown in the upper part of FIG. 3 and an outer edge is designated as indicated by a dotted line in this image.
  • the image acquisition unit 11 generates a black and white image in which the silhouette of the swallowtail is represented by white as a mask image.
  • the image acquisition unit 11 passes the generated mask image to the index calculation unit 12 and transfers the generated mask image and query image to the color information creation unit 15.
  • the generation of the mask image may be performed by the terminal device 30.
  • the terminal device 30 transmits the query image and the corresponding mask image to the image determination device 10.
  • the index calculation unit 12 calculates a coefficient indicating the relationship between the length in the vertical direction and the length in the horizontal direction of the inner region in the mask image as the linearity index. Specifically, the index calculation unit 12 randomly sets n points on the inner region, substitutes the coordinates (x i , y i ) of the set points in the following Equation 1, and calculates the coefficient A This is calculated and used as a linearity index.
  • the obtained linearity index ranges from 0 to 1, and the closer to 1, the longer the subject is, and the closer to 0, the rounded the subject (is indefinite).
  • FIG. 4 is a two-dimensional scatter diagram obtained by plotting the index values of each subject with the horizontal axis as the linearity index and the vertical axis as the symmetry index.
  • each insect can be easily distinguished by combining a linearity index and a symmetry index. Therefore, when the subject of the query image is an insect, the relationship between the query image and the reference image can be determined with high accuracy by using the linearity index and the symmetry index.
  • the color information creation unit 15 creates color information of the subject of the query image for a region corresponding to the inside of the outer edge on the query image (hereinafter referred to as “color information creation region”). Specific examples of color information include a color histogram and a color correlogram.
  • the color information creation unit 15 assigns each pixel constituting the color information creation area to a preset group based on the color (in the example of FIG. 5, a group for each of 16 colors). Classify into: Then, the color information creation unit 15 calculates the ratio of the number of pixels belonging to the group for each group, and uses the color histogram shown in FIG. 5 as the bin value (vertical axis value) as the calculated ratio value. create.
  • the number of groups (number of colors) when creating a color histogram is not particularly limited.
  • the color information creation unit 15 when creating a color correlogram as color information, the color information creation unit 15 first identifies a combination of existing colors from each pixel in the color information creation area, and sets the co-occurrence frequency for each identified combination. calculate. Then, the color information creation unit 15 creates a color correlogram using the calculated co-occurrence frequency values as bin values.
  • the image database 21 stores a large number of reference images and also stores a linearity index, a symmetry index, tag information, and color information for each reference image.
  • the tag information includes information about the subject, for example, if the subject is an insect, the name, the distinction of the adult larvae, the habitat, the time when it becomes an adult, the plant as food, the place where it is easy to find, and the like.
  • the linearity index and the symmetry index of the reference image are calculated by generating a mask image of the subject of the reference image in advance, as in the case of the query image. Furthermore, the color information of the reference image is created for the color information creation area on the reference image, as in the case of the query image. Note that the linearity index and the symmetry index of the reference image may be calculated in advance by the index calculation unit 12 of the image determination device 10. The color information of the reference image may be calculated in advance by the color information creation unit 15 of the image determination device 10.
  • the image database 21 is constructed by a device (computer) different from the image discrimination device 10, but the present embodiment is not limited to this mode.
  • the image database 21 may be constructed inside the image discrimination device 10.
  • the image discriminating unit 13 compares the subject color information of the query image created by the color information creation unit 15 with the subject color information of each reference image registered in advance. Then, the image determination unit 13 determines the relationship between the query image and the reference image based on the comparison result of the color information and the comparison result of the linearity index and the symmetry index. In the present embodiment, the image determination unit 13 determines the relationship between the query image and the reference image by calculating the similarity.
  • the image discriminating unit 13 first plots the points of each reference image using the linearity index and the symmetry index for each reference image in the two-dimensional scatter diagram shown in FIG.
  • the image determination unit 13 also plots the points of the query image using the linearity index and the symmetry index of the query image in the two-dimensional scatter diagram shown in FIG.
  • the image determination unit 13 calculates the Euclidean distance from the query image point for each reference image, and the degree of similarity (hereinafter referred to as “shape similarity”) increases as the Euclidean distance decreases. Is calculated.
  • the image determination unit 13 acquires, for each reference image, the smaller value of the corresponding bin values from the color histogram and the color histogram of the query image, and the total value for all bins. Is calculated. Then, for each reference image, the image determination unit 13 calculates the similarity (hereinafter referred to as “color similarity”) with the query image so that the higher the total value obtained, the higher the value. .
  • the image determination unit 13 calculates the similarity by calculating the total value as described above. Since the color correlogram reflects the difference in the pattern of the image, when the color correlogram is created as the color information, the discrimination accuracy is improved.
  • the image determination unit 13 calculates a final similarity for each reference image using the shape similarity and the color similarity. Specifically, for example, the image determination unit 13 multiplies each of the shape similarity and the color similarity by a weighting coefficient (0 or more and 1 or less), and sums the obtained multiplication values to obtain a final similarity. Is calculated.
  • the value of the weighting factor is set as appropriate depending on the type of subject.
  • the image determination unit 13 specifies the top m (m: natural number) reference images having a large final similarity value, and determines the image data and tag information of the specified reference images. To the output unit 16. Accordingly, the output unit 16 transmits the received image data and tag information to the terminal device 30 as a search result.
  • insect image data similar to the query image insect and tag information are transmitted to the terminal device 30 as a search result. Therefore, the reference image, the name of the insect as tag information, and the like are displayed on the screen of the terminal device 30. In this case, the user can know what insect is the subject of the query image.
  • FIG. 6 is a flowchart showing the operation of the image discriminating apparatus 10 according to the embodiment of the present invention.
  • FIGS. 1 to 5 are referred to as appropriate.
  • the image discrimination method is implemented by operating the image discrimination device 10. Therefore, the description of the image determination method in the present embodiment is replaced with the following description of the operation of the image determination apparatus 10.
  • the input reception unit 14 receives them and transfers them to the image acquisition unit 11 ( Step A1).
  • the image acquisition unit 11 generates a mask image that clearly indicates the outer edge of the subject of the query image using the query image and the outer edge specifying information (step A2). Specifically, the image acquisition unit 11 generates a mask image in which the outer region and the inner region corresponding to the inner side of the outer edge are filled with different single colors.
  • the index calculation unit 12 calculates a linearity index and a symmetry index of the query image using the mask image generated in step A2 (step A3).
  • the color information creation unit 15 creates color information of the subject of the query image for the color information creation area on the query image (step A4).
  • the image determination unit 13 calculates the similarity between the query image and each reference image using the results of steps A3 and A4 (step A5). Specifically, the image determination unit 13 calculates the shape similarity using the linearity index and the symmetry index, calculates the color similarity using the color information, and further uses these to calculate the final similarity. Calculate similarity. Then, the image discriminating unit 13 passes the image data and tag information of the top m (m: natural number) reference images having a large final similarity value to the output unit 16.
  • the output unit 16 transmits the received image data and tag information to the terminal device 30 as a search result (step A6).
  • the reference image of the subject similar to the subject of the query image and the tag information are displayed on the screen of the terminal device 30.
  • the relationship between the query image and the reference image is determined by a relatively light calculation process, so that the processing speed can be improved. Further, in the construction of the image database 21, it is only necessary to obtain the linearity index, the symmetry index, and the color information for each reference image, so that the cost for constructing the image database 21 can be reduced.
  • the local feature amount used in Patent Document 1 expresses a feature on an image such as a change of a pixel by a vector and is not intuitively understood by a human. For this reason, there is a problem that it is difficult to adjust and set the discrimination criterion in the discrimination using the local feature amount.
  • a human intuitively understandable such as “elongate”, “round”, and “symmetric” is used as an index, adjustment and setting of a discrimination criterion becomes easy.
  • the image discriminating apparatus 10 is useful also in educational sites, agricultural sites, and the like.
  • the program in the present embodiment may be a program that causes a computer to execute steps A1 to A6 shown in FIG.
  • a CPU Central Processing Unit
  • the image discrimination device and the image discrimination method in the present embodiment can be realized.
  • a CPU Central Processing Unit
  • a CPU Central Processing Unit of the computer functions as an image acquisition unit 11, an index calculation unit 12, an image determination unit 13, an input reception unit 14, a color information creation unit 15, and an output unit 16, and performs processing.
  • FIG. 7 is a block diagram showing a specific configuration of a modification of the image discrimination device according to the embodiment of the present invention.
  • the image discriminating apparatus 10 includes a local feature amount calculation unit 17 in addition to the configuration shown in FIG.
  • the local feature amount calculation unit 17 calculates a local feature amount of the query image for a region (color information creation region) corresponding to the inside of the outer edge on the query image.
  • the local feature amount is a feature amount that is invariant to rotation and scale change.
  • the local feature amount calculation unit 17 specifies a feature point portion in the color information creation region, for example, a portion having a large change in shading, and extracts a pixel value or a differential value of the specified portion. And the local feature-value calculation part 17 produces
  • the local feature amount the known “SIFT” (see the following URLs (2) and (3)), “SURF” (see the following URLs (4) and (5)), “ “AKAZE” (see URLs (6) and (7) below), “Gabor” (see URLs (8) and (9) below), and the like can be used.
  • the image database 21 also stores local feature amounts (feature vectors) in addition to the linearity index, symmetry index, tag information, and color information for each reference image. Therefore, in this modification, the image determination unit 13 calculates the similarity (hereinafter referred to as “feature similarity”) between the feature vector and the feature vector of the query image for each reference image.
  • determination part 13 calculates a final similarity using a shape similarity, a color similarity, and a feature similarity for every reference image. Specifically, for example, the image determination unit 13 multiplies each of the obtained similarity by multiplying each of the shape similarity, the color similarity, and the feature similarity by a weight coefficient (0 or more and 1 or less), The final similarity is calculated. Also in this modification, the value of the weighting factor is set as appropriate depending on the type of subject.
  • the relationship between the query image and the reference image is determined using the local feature amount, so that the determination accuracy can be improved.
  • This modification is useful in fields that require high discrimination accuracy.
  • FIG. 8 is a block diagram illustrating an example of a computer that implements the image discrimination device according to the embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are connected to each other via a bus 121 so that data communication is possible.
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 includes a hard disk drive and a semiconductor storage device such as a flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic storage media such as a flexible disk, or CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic storage media such as a flexible disk
  • CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • the image discrimination device 10 can be realized not by using a computer in which a program is installed but also by using hardware corresponding to each unit. Further, part of the image processing apparatus 10 may be realized by a program, and the remaining part may be realized by hardware.
  • An apparatus for determining the relationship between a query image and a reference image An image acquisition unit that acquires a mask image that clearly indicates an outer edge of a subject in the query image; An index calculating unit that calculates a first index indicating the linearity and a second index indicating the symmetry of the subject in the query image from the mask image; The first index and the second index calculated by the index calculation unit are compared with the first index and the second index of the subject in each of the reference images registered in advance, and compared An image determination unit that determines a relationship between the query image and the reference image based on the result of An image discriminating apparatus characterized by comprising:
  • the image acquisition unit acquires, as the mask image, an image in which an outer region corresponding to the outer side of the outer edge and an inner region corresponding to the inner side of the outer edge are filled with different single colors
  • the index calculation unit calculates a coefficient indicating a relationship between a vertical length and a horizontal length of the inner region of the mask image as the first index, and the mask image as the second index. Calculating a coefficient representing the degree of point symmetry of the inner region at The image discrimination device according to appendix 1.
  • a color information creating unit for creating color information for specifying a color of a subject of the query image for a region corresponding to the inside of the outer edge on the query image;
  • the image determination unit further compares the color information of the subject of the query image created by the color information creation unit with the color information of the subject in each of the reference images registered in advance, and the color information Determining the relationship between the query image and the reference image based on the result of the comparison and the result of the comparison between the first index and the second index;
  • the image discrimination device according to appendix 1.
  • the color information creation unit creates a color histogram of the subject of the query image from the area corresponding to the inside of the outer edge on the query image as the color information;
  • the image discrimination device according to appendix 3.
  • the color information creation unit creates a color correlogram of the subject of the query image from a region corresponding to the inside of the outer edge on the query image as the color information.
  • the image discrimination device according to appendix 3.
  • (Appendix 6) A method for determining the relationship between a query image and a reference image, (A) obtaining a mask image that clearly indicates an outer edge of a subject in the query image; (B) calculating a first index indicating the linearity and a second index indicating the symmetry of the subject in the query image from the mask image; (C) The first index and the second index calculated in the step (b), and the first index and the second index of the subject in each of the reference images registered in advance And determining a relationship between the query image and the reference image based on a comparison result;
  • An image discrimination method characterized by comprising:
  • step (a) an image in which an outer region corresponding to the outer side of the outer edge and an inner region corresponding to the inner side of the outer edge are filled with different single colors is obtained as the mask image,
  • step (b) a coefficient indicating a relationship between a vertical length and a horizontal length of the inner region in the mask image is calculated as the first index, and the second index Calculating a coefficient representing the degree of point symmetry of the inner region in the mask image;
  • (Appendix 8) (D) further comprising a step of creating color information for specifying a color of a subject of the query image for a region corresponding to the inside of the outer edge on the query image;
  • the subject color information of the query image created in the step (d) is compared with the subject color information in each of the reference images registered in advance, Determining a relationship between the query image and the reference image based on a comparison result of the color information and a comparison result of the first index and the second index;
  • the image discrimination method according to appendix 6.
  • a recording medium that records a program for determining the relationship between a query image and a reference image by a computer, In the computer, (A) obtaining a mask image that clearly indicates an outer edge of a subject in the query image; (B) calculating a first index indicating the linearity and a second index indicating the symmetry of the subject in the query image from the mask image; (C) The first index and the second index calculated in the step (b), and the first index and the second index of the subject in each of the reference images registered in advance And determining a relationship between the query image and the reference image based on a comparison result; The computer-readable recording medium which recorded the program which performs.
  • step (a) an image in which an outer region corresponding to the outer side of the outer edge and an inner region corresponding to the inner side of the outer edge are filled with different single colors is obtained as the mask image,
  • step (b) a coefficient indicating a relationship between a vertical length and a horizontal length of the inner region in the mask image is calculated as the first index, and the second index Calculating a coefficient representing the degree of point symmetry of the inner region in the mask image;
  • step (d) a color histogram of the subject of the query image is created from the area corresponding to the inside of the outer edge on the query image as the color information.
  • step (d) as the color information, a color correlogram of the subject of the query image is created from a region corresponding to the inside of the outer edge on the query image.
  • the present invention it is possible to improve the processing speed and reduce the cost for database construction in image search.
  • the present invention is useful in the field of image retrieval.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

画像判別装置１０は、クエリ画像と参照画像との関係を判別するための装置である。画像判別装置１０は、クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部１１と、マスク画像から、クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部１２と、指標算出部によって算出された第１の指標及び第２の指標と、予め登録されている参照画像それぞれにおける被写体の第１の指標及び第２の指標とを比較し、比較の結果に基づいて、クエリ画像と参照画像との関係を判別する、画像判別部１３とを備えている。

Description

画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、クエリ画像中の対象物の判別を行なう、画像判別装置、画像判別方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、デジタルカメラの普及に伴い、ユーザが利用可能な画像データの量が著しく増加している。そして、このため、大量の参照画像の中から、クエリ画像と同一又は類似の画像を検索する画像検索システムの利用が増加している。また、画像検索システムにおいては、クエリ画像と参照画像との関係（同一、類似、又は非類似）を判別する判別エンジンの性能が重要であり、各種判別エンジンが提案されている（例えば、特許文献１参照。）。
　具体的には、特許文献１に開示された判別エンジンは、まず、クエリ画像上に特徴点を設定し、設定した特徴点の座標と、所定領域内の画素の輝度値とに基づいて、局所特徴量を算出する。次に、判別エンジンは、クエリ画像の局所特徴量と、参照画像の予め算出された局所特徴量とのそれぞれについて、ベクトル量子化ヒストグラムを作成する。その後、判別エンジンは、クエリ画像及び参照画像それぞれのベクトル量子化ヒストグラムを比較することによって、両者の類似度を算出する。
　このように特許文献１に開示された判別エンジンによれば、クエリ画像と参照画像との類似度を算出できるので、この判別エンジンを検索システムに用いれば、精度良く画像を検索することができると考えられる。
特開２０１３－５４５２９号公報
　しかしながら、特許文献１に開示された判別エンジンでは、クエリ画像の局所特徴量を算出し、局所特徴量を用いて類似判定をする必要があるので、処理にかかる時間が長いという問題点がある。また、特許文献１に開示された判別エンジンでは、大量の参照画像それぞれについて予め局所特徴量を算出する必要があり、画像のデータベースの構築にコストがかかるという問題がある。
　本発明の目的の一例は、上記問題を解消し、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図り得る、画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における画像判別装置は、クエリ画像と参照画像との関係を判別するための装置であって、
　前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
　前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
　前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
を備えている、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における画像判別方法は、クエリ画像と参照画像との関係を判別するための方法であって、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を有する、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
前記コンピュータに、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように、本発明によれば、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。
図１は、本発明の実施の形態における画像判別装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像判別装置の具体的構成を示すブロック図である。 図３は、本発明の実施の形態で用いられる画像及びマスク画像の一例を示す図である。 図４は、本発明の実施の形態で対象となる被写体の線形性及び対称性の一例を示す図である。 図５は、本発明の実施の形態で作成される色ヒストグラムの一例を示す図である。 図６は、本発明の実施の形態における画像判別装置１０の動作を示すフロー図である。 図７は、本発明の実施の形態における画像判別装置の変形例の具体的構成を示すブロック図である。 図８は、本発明の実施の形態における画像判別装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
　以下、本発明の実施の形態における、画像判別装置、画像判別方法、及びプログラムについて、図１～図８を参照しながら説明する。
［装置構成］
　最初に、本実施の形態における画像判別装置の概略構成について図１を用いて説明する。　図１は、本発明の実施の形態における画像判別装置の概略構成を示すブロック図である。
　図１に示す本実施の形態における画像判別装置１０は、クエリ画像と参照画像との関係を判別するための装置である。図１に示すように、画像判別装置１０は、画像取得部１１と、指標算出部１２と、画像判別部１３とを備えている。
　また、画像取得部１１は、クエリ画像中の被写体の外縁を明示するマスク画像を取得する。指標算出部１２は、マスク画像から、クエリ画像中の被写体について、その線形性を示す第１の指標（以下「線形性指標」と表記する。）、及びその対称性を示す第２の指標（以下「対称性指標」と表記する。）を算出する。
　画像判別部１３は、まず、指標算出部１２によって算出された線形性指標及び対称性指標と、予め登録されている参照画像それぞれにおける被写体の線形性指標及び対称性指標とを比較する。次に、画像判別部１３は、比較の結果に基づいて、クエリ画像と参照画像との関係を判別する。
　このように、画像判別装置１０では、画像中の被写体の形状から算出した指標によって、画像間の関係を判別することができる。従って、画像判別装置１０を用いて画像検索システムを構築すれば、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。
　ここで、本実施の形態における画像判別装置の構成について図２～図５を用いて更に具体的に説明する。図２は、本発明の実施の形態における画像判別装置の具体的構成を示すブロック図である。図３は、本発明の実施の形態で用いられる画像及びマスク画像の一例を示す図である。図４は、本発明の実施の形態で対象となる被写体の線形性及び対称性の一例を示す図である。図５は、本発明の実施の形態で作成される色ヒストグラムの一例を示す図である。
　図２に示すように、本実施の形態では、画像判別装置１０は、参照画像を蓄積する画像データベース２１と共に、検索システム２０を構築している。更に、画像判別装置１０は、画像検索サービスを利用するユーザの端末装置３０に、インターネット等のネットワーク（図２において図示せず）を介して接続されている。
　そして、この構成により、ユーザは、端末装置３０から画像判別装置１０へと、画像検索に用いるクエリ画像を送信する。また、本実施の形態では、ユーザは、端末装置３０上で、クエリ画像を視認しながら、検索対象となる被写体の外縁を指定する。例えば、端末装置３０が、入力デバイスとしてタッチパネルを備える場合であれば、ユーザは、画面に表示されたクエリ画像上で被写体の外縁をなぞることによって、外縁を指定することができる。外縁の指定が終了すると、端末装置３０は、被写体の外縁を特定する情報、具体的には、外縁に指定された部分の座標の集合（以下「外縁特定情報」と表記する。）も、画像判別装置１０へと送信する。
　また、図２に示すように、画像判別装置１０は、上述した、画像取得部１１、指標算出部１２及び画像判別部１３に加えて、入力受付部１４と、色情報作成部１５と、出力部１６とを更に備えている。
　入力受付部１４は、端末装置３０から、クエリ画像及び外縁特定情報が送信されてくると、これらを受け付ける。また、入力受付部１４は、受け付けたクエリ画像及び外縁特定情報を、画像取得部１１に受け渡す。
　画像取得部１１は、本実施の形態では、クエリ画像及び外縁特定情報を受け取り、これらを用いて、クエリ画像の被写体の外縁を明示するマスク画像を生成する。具体的には、画像取得部１１は、外縁の外側に相当する外側領域と外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を生成し、これをマスク画像として取得する。
　例えば、クエリ画像が、図３の上段に示すキアゲハの画像であり、この画像において、点線で示すように外縁が指定されているとする。この場合、画像取得部１１は、図３の下段に示すように、マスク画像として、キアゲハのシルエットが白抜きで表された白黒の画像を生成する。また、画像取得部１１は、生成したマスク画像を指標算出部１２に受け渡し、生成したマスク画像とクエリ画像とを色情報作成部１５に受け渡す。
　なお、本実施の形態においては、マスク画像の生成は、端末装置３０によって行なわれていても良い。この場合は、端末装置３０は、クエリ画像と対応するマスク画像とを、画像判別装置１０へと送信する。
　また、本実施の形態では、指標算出部１２は、線形性指標として、マスク画像における内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出する。具体的には、指標算出部１２は、内側領域上にｎ個の点をランダムに設定し、設定した点の座標（ｘｉ，ｙｉ）を下記の数１に代入して、係数Ａを算出し、これを線形性指標とする。得られた線形性指標は０から１の値をとり、１に近い程、被写体が細長いことを示し、０に近い程、被写体が丸いこと（不定形であること）を示している。
Figure JPOXMLDOC01-appb-M000001
　更に、指標算出部１２は、対称性指標として、マスク画像における内側領域の点対称の程度を表す係数を算出する。具体的には、まず、指標算出部１２は、内側領域を、その重心を中心に１８０度回転させ、回転前の内側領域と回転後の内側領域との重なり合う部分の面積ｓを算出する。次に、内側領域の面積Ｓと重なり合う部分の面積ｓとの比Ｂ（＝ｓ／Ｓ）を算出し、これを対称性指標とする。
　ここで、図４を用いて、被写体が昆虫である場合の線形性指標と対称性指標とについて説明する。図４は、横軸を線形性指標とし、縦軸を対称性指標として、各被写体の指標の値をプロットすることによって得られた２次元散布図である。図４に示すように、線形性指標と対称性指標とを組み合せれば、各昆虫を簡単に区別することができる。従って、クエリ画像の被写体が昆虫である場合は、線形性指標と対称性指標とを用いれば、クエリ画像と参照画像との関係を高精度に判定することができる。
　また、色情報作成部１５は、クエリ画像上の外縁の内側に相当する領域（以下「色情報作成領域」と表記する。）を対象にして、クエリ画像の被写体の色情報を作成する。色情報の具体例として、色ヒストグラム及び色コリログラムが挙げられる。
　ここで、色情報として色ヒストグラムが作成される場合について図５を用いて説明する。図５に示すように、色情報作成部１５は、色情報作成領域を構成する各画素を、その色に基づいて、予め設定されたグループ（図５の例では１６色の色毎のグループ）に分類する。そして、色情報作成部１５は、グループ毎に、グループに属する画素の数の割合を算出し、算出した割合の値をビンの値（縦軸の値）としては、図５に示す色ヒストグラムを作成する。なお、本実施の形態において、色ヒストグラムを作成する際のグループの数（色数）は特に限定されるものではない。
　また、色情報作成部１５は、色情報として色コリログラムを作成する場合は、まず、色情報作成領域の各画素から、存在する色の組合せを特定し、特定した組合せ毎に、共起頻度を算出する。そして、色情報作成部１５は、算出した各共起頻度の値をビンの値として、色コリログラムを作成する。
　画像データベース２１は、多数の参照画像を蓄積すると共に、参照画像毎に、線形性指標、対称性指標、タグ情報、及び色情報も蓄積している。このうち、タグ情報は、被写体についての情報、例えば、被写体が昆虫であるならば、名称、幼虫成虫の区別、生息地域、成虫となる時期、食料となる植物、発見しやすい場所等を含む。
　また、参照画像の線形性指標及び対称性指標は、クエリ画像の場合と同様に、予め、参照画像の被写体のマスク画像を生成することによって算出される。更に、参照画像の色情報は、クエリ画像の場合と同様に、参照画像上の色情報作成領域を対象にして作成される。なお、参照画像の線形性指標及び対称性指標は、画像判別装置１０の指標算出部１２によって予め算出されていても良い。参照画像の色情報は、画像判別装置１０の色情報作成部１５によって予め算出されていても良い。
　また、図２の例では、画像データベース２１は、画像判別装置１０とは別の装置（コンピュータ）によって構築されているが、本実施の形態は、この態様に限定されるものではない。画像データベース２１は、画像判別装置１０の内部に構築されていても良い。
　画像判別部１３は、本実施の形態では、色情報作成部１５によって作成された、クエリ画像の被写体の色情報と、予め登録されている参照画像それぞれにおける被写体の色情報とを比較する。そして、画像判別部１３は、色情報の比較の結果と、線形性指標及び対称性指標の比較の結果とに基づいて、クエリ画像と参照画像との関係を判別する。本実施の形態では、画像判別部１３は、クエリ画像と参照画像との類似度を算出することによって、両者の関係を判別する。
　具体的には、画像判別部１３は、まず、図４に示した２次元散布図に、参照画像毎に、その線形性指標と対称性指標とを用いて各参照画像の点をプロットする。次に、画像判別部１３は、図４に示した２次元散布図に、クエリ画像の線形性指標と対称性指標とを用いて、クエリ画像の点もプロットする。そして、画像判別部１３は、参照画像毎に、クエリ画像の点とのユークリッド距離を算出し、ユークリッド距離が小さい程値が高くなるように類似度（以下「形状類似度」と表記する。）を算出する。
　画像データベース２１に、色情報として、色ヒストグラムが蓄積されているとする。この場合、画像判別部１３は、参照画像毎に、その色ヒストグラムと、クエリ画像の色ヒストグラムとから、対応する各ビンの値のうち小さい方の値を取得し、すべてのビンについての合計値を算出する。そして、画像判別部１３は、参照画像毎に、得られた合計値が高い程、値が高くなるように、クエリ画像との類似度（以下「色類似度」と表記する。）を算出する。
　また、画像データベース２１に、色情報として、色コリログラムが蓄積されている場合も、画像判別部１３は、上記と同様に、合計値を算出することによって、類似度を算出する。なお、色コリログラムでは、画像の模様の相違が反映されることから、色情報として色コリログラムが作成される場合は、判別精度の向上が図られることになる。
　そして、画像判別部１３は、参照画像毎に、形状類似度と色類似度とを用いて、最終的な類似度を算出する。具体的には、画像判別部１３は、例えば、形状類似度及び色類似度それぞれに重み係数（０以上１以下）を乗算し、得られた各乗算値を合計して、最終的な類似度を算出する。なお、重み係数の値は、被写体の種類などによって適宜設定される。
　また、画像判別部１３は、本実施の形態では、最終的な類似度の値が大きい上位ｍ個（ｍ：自然数）の参照画像を特定し、特定した参照画像の画像データとタグ情報とを、出力部１６に受け渡す。これにより、出力部１６は、受け取った画像データとタグ情報とを、検索結果として、端末装置３０に送信する。
　これにより、例えば、ユーザが、クエリ画像として昆虫の画像を入力していたとすると、クエリ画像の昆虫に類似する昆虫の画像データとタグ情報とが、検索結果として、端末装置３０に送信される。よって、端末装置３０の画面には、参照画像と、タグ情報である昆虫の名称等が表示される。この場合、ユーザは、クエリ画像の被写体である昆虫が何であるかを知ることができる。
［装置動作］
　次に、本発明の実施の形態における画像判別装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における画像判別装置１０の動作を示すフロー図である。以下の説明においては、適宜図１～図５を参酌する。また、本実施の形態では、画像判別装置１０を動作させることによって、画像判別方法が実施される。よって、本実施の形態における画像判別方法の説明は、以下の画像判別装置１０の動作説明に代える。
　まず、前提として、画像データベースには、多数の参照画像が、それぞれ対応する、線形性指標、対称性指標、タグ情報、及び色情報と共に蓄積されているとする。そして、ユーザが、端末装置３０から、クエリ画像と外縁特定情報とを送信したとする。
　図６に示すように、最初に、画像判別装置１０において、入力受付部１４は、クエリ画像及び外縁特定情報が送信されてくると、これらを受け付けて、これらを画像取得部１１に受け渡す（ステップＡ１）。
　次に、画像取得部１１は、クエリ画像及び外縁特定情報を用いて、クエリ画像の被写体の外縁を明示するマスク画像を生成する（ステップＡ２）。具体的には、画像取得部１１は、外側領域と外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰されたマスク画像を生成する。
　次に、指標算出部１２は、ステップＡ２で生成されたマスク画像を用いて、クエリ画像の線形性指標と対称性指標とを算出する（ステップＡ３）。次に、色情報作成部１５は、クエリ画像上の色情報作成領域を対象にして、クエリ画像の被写体の色情報を作成する（ステップＡ４）。
　次に、画像判別部１３は、ステップＡ３及びＡ４の結果を用いて、クエリ画像と各参照画像との類似度を算出する（ステップＡ５）。具体的には、画像判別部１３は、線形性指標及び対称性指標を用いて形状類似度を算出し、色情報を用いて色類似度を算出し、更に、これらを用いて、最終的な類似度を算出する。そして、画像判別部１３は、最終的な類似度の値が大きい上位ｍ個（ｍ：自然数）の参照画像の画像データとタグ情報とを、出力部１６に受け渡す。
　次に、出力部１６は、受け取った画像データとタグ情報とを、検索結果として、端末装置３０に送信する（ステップＡ６）。これにより、端末装置３０の画面には、クエリ画像の被写体に類似した被写体の参照画像と、タグ情報とが表示される。
　以上のように、本実施の形態によれば、比較的軽い演算処理によって、クエリ画像と参照画像との関係が判別されるので、処理速度の向上が図られることになる。また、画像データベース２１の構築においては、参照画像毎に、線形性指標、対称性指標、及び色情報を求めておくだけで良いので、画像データベース２１の構築にかかるコストの低減化が図られる。
　また、上記特許文献１で用いられる局所特徴量は、画素の変化といった画像上の特徴をベクトルによって表現するものであり、ヒトが直感的に理解できるものではない。このため、局所特徴量を用いた判別においては、判別基準の調整及び設定が難しいという問題がある。これに対して、本実施の形態では、「細長い」、「丸い」、「対称的」といったヒトが直感的に理解できるものを指標として用いるため、判別基準の調整及び設定は容易となる。
　また、上述したように、本実施の形態によれば、ユーザは、それが何であるかを知りたいものの画像をクエリ画像として入力すれば、類似度が高い参照画像とその情報とを受け取ることができる。よって、本実施の形態における画像判別装置１０は、教育現場、農業現場等においても有用である。
［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像判別装置と画像判別方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、画像取得部１１、指標算出部１２、画像判別部１３、入力受付部１４、及び色情報作成部１５、及び出力部１６として機能し、処理を行なう。
（変形例）
　ここで、本発明の実施の形態における画像判別装置の変形例について説明する。図７は、本発明の実施の形態における画像判別装置の変形例の具体的構成を示すブロック図である。
　図７に示すように、本変形例では、画像判別装置１０は、図２に示した構成に加えて、局所特徴量算出部１７を備えている。局所特徴量算出部１７は、クエリ画像上の外縁の内側に相当する領域（色情報作成領域）を対象にして、クエリ画像の局所特徴量を算出する。局所特徴量は、回転及びスケールの変更に対して不変的な特徴量である。
　具体的には、局所特徴量算出部１７は、色情報作成領域における特徴点な部分、例えば、濃淡の変化が大きい部分等を特定し、特定した部分の画素値又は微分値等を抽出する。そして、局所特徴量算出部１７は、抽出した値を用いて、特徴ベクトルを生成する（下記のURL(1)参照）。なお、本変形例では、局所特徴量としては、既知の「ＳＩＦＴ」（下記のURL(2)、(3)参照）、「ＳＵＲＦ」（下記のURL(4)、(5)参照）、「ＡＫＡＺＥ」（下記のURL(6)、(7)参照）、「Ｇａｂｏｒ」（下記のURL(8)、(9)参照）等を利用することができる。
URL(1):http://dbsj.org/wp-content/uploads/journal/vol8/no1/dbsj-journal-08-01-119.pdf
URL(2):https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf
URL(3):http://www.hci.iis.u-tokyo.ac.jp/~ysato/class14/supplements/sift_tutorial-Fujiyoshi.pdf
URL(4):http://www.vision.ee.ethz.ch/~surf/eccv06.pdf
URL(5):http://www.topic.ad.jp/sice/papers/280/280-4.pdf
URL(6):http://www.robesafe.com/personal/pablo.alcantarilla/papers/Alcantarilla13bmvc.pdf
URL(7):http://poly.hatenablog.com/entry/2014/01/06/063012
URL(8):http://www.neuro-it.net/pdf_dateien/summer_2004/Jones%201987.pdf
URL(9):http://www.me.cs.scitec.kobe-u.ac.jp/~takigu/pdf/2010/OS8-2.pdf
　また、本変形例では、画像データベース２１は、参照画像毎に、線形性指標、対称性指標、タグ情報、及び色情報に加え、局所特徴量（特徴ベクトル）も蓄積している。よって、本変形例では、画像判別部１３は、参照画像毎に、その特徴ベクトルとクエリ画像の特徴ベクトルとの類似度（以下「特徴類似度」と表記する。）を算出する。
　そして、画像判別部１３は、参照画像毎に、形状類似度、色類似度、及び特徴類似度を用いて、最終的な類似度を算出する。具体的には、画像判別部１３は、例えば、形状類似度、色類似度、及び特徴類似度それぞれに重み係数（０以上１以下）を乗算し、得られた各乗算値を合計して、最終的な類似度を算出する。なお、本変形例においても、重み係数の値は、被写体の種類などによって適宜設定される。
　このように、本変形例では、局所特徴量も用いてクエリ画像と参照画像との関係が判別されるため、判別精度の向上を図ることができる。本変形例は、高い判別精度が必要となる分野に有用である。
（物理構成）
　ここで、本実施の形態におけるプログラムを実行することによって、画像判別装置１０を実現するコンピュータについて図８を用いて説明する。図８は、本発明の実施の形態における画像判別装置を実現するコンピュータの一例を示すブロック図である。
　図８に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
　なお、本実施の形態における画像判別装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　また、上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。　
　（付記１）
　クエリ画像と参照画像との関係を判別するための装置であって、
　前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
　前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
　前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
を備えている、ことを特徴とする画像判別装置。
　（付記２）
　前記画像取得部が、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
　前記指標算出部が、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記１に記載の画像判別装置。
　（付記３）
　前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、色情報作成部を更に備え、
　前記画像判別部は、更に、前記色情報作成部によって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記１に記載の画像判別装置。
　（付記４）
　前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記３に記載の画像判別装置。
　（付記５）
　前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記３に記載の画像判別装置。
　（付記６）
　クエリ画像と参照画像との関係を判別するための方法であって、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を有する、ことを特徴とする画像判別方法。
　（付記７）
　前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
　前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記６に記載の画像判別方法。
　（付記８）
　（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に有し、
　前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記６に記載の画像判別方法。
　（付記９）
　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記８に記載の画像判別方法。
　（付記１０）
　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記８に記載の画像判別方法。
　（付記１１）
　コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
前記コンピュータに、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を実行させる、プログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記１２）
　前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
　前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記１３）
前記コンピュータに、
（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に実行させ、
　前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記１４）
　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記１５）
　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年７月３日に出願された日本出願特願２０１５－１３４２７４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように、本発明によれば、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。本発明は、画像検索の分野に有用である。
　１０　画像判別装置
　１１　画像取得部
　１２　指標算出部
　１３　画像判別部
　１４　入力受付部
　１５　色情報作成部
　１６　出力部
　１７　局所特徴量算出部
　２０　検索システム
　２１　画像データベース
　３０　端末装置
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (15)

  1. 　クエリ画像と参照画像との関係を判別するための装置であって、
    　前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
    　前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
    　前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
    を備えている、ことを特徴とする画像判別装置。
  2. 　前記画像取得部が、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
    　前記指標算出部が、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
    請求項１に記載の画像判別装置。
  3. 　前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、色情報作成部を更に備え、
    　前記画像判別部は、更に、前記色情報作成部によって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
    請求項１または２に記載の画像判別装置。
  4. 　前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
    請求項３に記載の画像判別装置。
  5. 　前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
    請求項３に記載の画像判別装置。
  6. 　クエリ画像と参照画像との関係を判別するための方法であって、
    （ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
    （ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
    （ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
    を有する、ことを特徴とする画像判別方法。
  7. 　前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
    　前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
    請求項６に記載の画像判別方法。
  8. （ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に有し、
    　前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
    請求項６または７に記載の画像判別方法。
  9. 　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
    請求項８に記載の画像判別方法。
  10. 　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
    請求項８に記載の画像判別方法。
  11. 　コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
    前記コンピュータに、
    （ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
    （ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
    （ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
    を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 　前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
    　前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
    請求項１１に記載のコンピュータ読み取り可能な記録媒体。
  13. 前記コンピュータに、
    （ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に実行させ、
    　前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
    請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体。
  14. 　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
    請求項１３に記載のコンピュータ読み取り可能な記録媒体。
  15. 　前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
    請求項１３に記載のコンピュータ読み取り可能な記録媒体。
     
PCT/JP2016/065934 2015-07-03 2016-05-30 画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体 WO2017006648A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017527120A JP6478301B2 (ja) 2015-07-03 2016-05-30 画像判別装置、画像判別方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015134274 2015-07-03
JP2015-134274 2015-07-03

Publications (1)

Publication Number Publication Date
WO2017006648A1 true WO2017006648A1 (ja) 2017-01-12

Family

ID=57685360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065934 WO2017006648A1 (ja) 2015-07-03 2016-05-30 画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JP6478301B2 (ja)
WO (1) WO2017006648A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020525908A (ja) * 2017-09-27 2020-08-27 シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像検索方法、装置、機器および読み取り可能な記憶媒体
JPWO2022044923A1 (ja) * 2020-08-26 2022-03-03

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320930A (ja) * 1995-05-24 1996-12-03 Toshiba Corp テクスチャ解析処理装置
JP2001092835A (ja) * 1999-09-21 2001-04-06 Minolta Co Ltd 画像記録再生装置及び画像記録再生システム
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528273A (ja) * 1991-05-13 1993-02-05 Nikon Corp 画像処理方法および装置
JP2009080522A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320930A (ja) * 1995-05-24 1996-12-03 Toshiba Corp テクスチャ解析処理装置
JP2001092835A (ja) * 1999-09-21 2001-04-06 Minolta Co Ltd 画像記録再生装置及び画像記録再生システム
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020525908A (ja) * 2017-09-27 2020-08-27 シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像検索方法、装置、機器および読み取り可能な記憶媒体
US11256737B2 (en) 2017-09-27 2022-02-22 Shenzhen Sensetime Technology Co., Ltd. Image retrieval methods and apparatuses, devices, and readable storage media
JPWO2022044923A1 (ja) * 2020-08-26 2022-03-03
WO2022044923A1 (ja) * 2020-08-26 2022-03-03 株式会社Ｎｔｔドコモ 情報処理装置
JP7412575B2 (ja) 2020-08-26 2024-01-12 株式会社Ｎｔｔドコモ 情報処理装置

Also Published As

Publication number Publication date
JP6478301B2 (ja) 2019-03-06
JPWO2017006648A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
CN108140032B (zh) 用于自动视频概括的设备和方法
Ju et al. Depth-aware salient object detection using anisotropic center-surround difference
JP5782404B2 (ja) 画質評価
JP6267224B2 (ja) 最良の写真を検出及び選択する方法及びシステム
Gygli et al. The interestingness of images
Tao et al. Manifold ranking-based matrix factorization for saliency detection
JP6458394B2 (ja) 対象追跡方法及び対象追跡装置
JP5621897B2 (ja) 処理方法、コンピュータプログラム及び処理装置
JP5229744B2 (ja) 画像分類装置および画像分類プログラム
US8503767B2 (en) Textual attribute-based image categorization and search
CN110413816B (zh) 彩色草图图像搜索
US20080025647A1 (en) Image management methods, image management systems, and articles of manufacture
WO2011148562A1 (ja) 画像情報処理装置
US20120269425A1 (en) Predicting the aesthetic value of an image
US10032091B2 (en) Spatial organization of images based on emotion face clouds
US9025889B2 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
US20080159624A1 (en) Texture-based pornography detection
JP4772819B2 (ja) 画像検索装置および画像検索方法
JP6365024B2 (ja) サービス提供装置、方法、及びプログラム
JP6478301B2 (ja) 画像判別装置、画像判別方法、及びプログラム
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP6778625B2 (ja) 画像検索システム、画像検索方法及び画像検索プログラム
Zhou et al. On contrast combinations for visual saliency detection
CN106469437B (zh) 图像处理方法和图像处理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821119

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017527120

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16821119

Country of ref document: EP

Kind code of ref document: A1