WO2009147840A1 - 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム - Google Patents

画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム Download PDF

Info

Publication number
WO2009147840A1
WO2009147840A1 PCT/JP2009/002478 JP2009002478W WO2009147840A1 WO 2009147840 A1 WO2009147840 A1 WO 2009147840A1 JP 2009002478 W JP2009002478 W JP 2009002478W WO 2009147840 A1 WO2009147840 A1 WO 2009147840A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
input
feature amount
search target
Prior art date
Application number
PCT/JP2009/002478
Other languages
English (en)
French (fr)
Inventor
大橋剛介
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to JP2010515772A priority Critical patent/JP5283088B2/ja
Priority to US12/737,049 priority patent/US8542951B2/en
Publication of WO2009147840A1 publication Critical patent/WO2009147840A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Definitions

  • the present invention relates to an image search device for searching for a desired search target image from a storage device in which a plurality of search target images are stored based on an input image, and an image search computer program applied to the image search device.
  • Patent Literature 1 discloses an image of an input image and a search target image using a feature amount calculated based on an input image drawn by a user and a feature amount calculated in advance based on the search target image.
  • An image search apparatus is disclosed that measures an inter-distance and outputs a search target image having a short inter-image distance as an image similar to an input image. In this case, the R, G, B values of the input image and the search target image are used as the feature amount.
  • the search of the search target image with respect to the input image is performed using the feature amount based only on the R, G, B values of both images as a search key. For this reason, even when the user draws an input image close to the search target image intended by the user, the search target image intended by the user may not be accurately searched. There was a problem that the search accuracy itself was low.
  • the present invention has been made to deal with the above-described problem, and an object of the present invention is to provide an image search apparatus and an image search apparatus that can accurately search a search target image intended by a user for an input image in a short time.
  • the object is to provide a computer program for image retrieval to be applied.
  • a feature of the present invention described in claim 1 is that image input means for inputting an image, search target image storage means for storing a plurality of search target images to be searched,
  • the search target image storage means compares the input image feature quantity based on the attribute of the input image based on the attribute of the input image input by the image input means and the search target image feature quantity based on the attribute of the search target image.
  • An image search apparatus comprising: search target image extraction means for extracting a search target image that approximates an input image from stored search target images; and search result output means for outputting the extracted search target image as a search result.
  • the feature amount based on the attribute of the image includes other pixels present radially from the target pixel for each pixel obtained by extracting a plurality of pixels constituting the image according to a predetermined condition.
  • the first feature amount calculated by statistically processing the distribution state of the number of pixels counted for each predetermined direction, and for each of the plurality of extracted pixels, It is composed of a second feature amount calculated by statistically processing the presence / absence of two or less adjacent pixels adjacent to the target pixel into feature amount groups for each of three or five types of presence / absence states. It is in.
  • the feature amount group in the second feature amount includes, for example, two at least two pixels that are orthogonal to each other in the horizontal direction, the vertical direction, and the vertical direction. It is good to comprise including the positional relationship of the diagonal direction.
  • each of the plurality of pixels extracted according to the predetermined condition in the first feature quantity and the second feature quantity is, for example, an input image and a search target It may be a pixel that constitutes each contour portion of the image.
  • the image search device includes an input image feature amount based on an attribute of the input image and a search target image based on the attribute of the search target image that is a search target.
  • An image that is the same as or approximate to the input image is extracted by comparing the feature amount.
  • the feature quantities representing the input image and the search target image are the first feature quantities representing the overall relative positional relationship of the pixels constituting the image with respect to the pixels of the entire image, and the respective features constituting the image.
  • a second feature amount representing a local relative positional relationship with respect to a pixel adjacent to the pixel.
  • the search target image is determined from the global viewpoint (first feature amount) and the local viewpoint (second feature amount) with respect to the input image based on shape information irrespective of its size, arrangement position, and orientation. Can be specified.
  • the search target image intended by the user can be accurately searched for the input image in a short time.
  • the second feature amount is calculated by a statistical process of allocating to three or five types of feature amount groups depending on whether or not there is an adjacent pixel adjacent to the target pixel with respect to the target pixel.
  • the amount of information that must be stored in the second feature amount can be greatly reduced as compared with the case where the statistical processing is performed for each pattern of each positional relationship and the processing result is stored.
  • the amount of storage capacity used in the apparatus can be reduced.
  • the image input means inputs an image drawn by a user, and the image input means for searching for a search target image.
  • the constituent image storage means for storing the constituent images constituting the final input image finally input with respect to the search target image and the constituent images stored in the constituent image storage means are mutually connected in units of final input images.
  • a combination image generation unit that generates a combination image in combination, a past image feature amount calculation unit that calculates a past image feature amount that is the feature amount of the configuration image and the combination image, and a configuration image are input to the image input unit
  • a past image feature quantity calculation unit that calculates a past image feature amount that is the feature amount of the configuration image and the combination image
  • a configuration image are input to the image input unit
  • An approximate past image extraction unit that compares an image feature quantity and extracts an image that approximates the input image from the component image and the combination image as an approximate past image
  • the search result output unit includes the search target image extraction unit
  • the search target image associated with the approximate past image is output as a search result.
  • a constituent image of an image input in the past by a user for searching for a search target image is stored in association with the search target image. Then, the entire image drawn for each input of the image drawn by the user is compared with the component image and the combination image composed of the component image, and the component image or combination image approximating the whole image is extracted. . Then, a search target image associated with the extracted component image or combination image is output. That is, the input image drawn by the user for the same search target image may be more similar to the past image input by the same or different user in the past than the search target image that is the search target. Is extremely high.
  • the search target image intended by the user it is easier to extract the search target image intended by the user than to compare the input image drawn by the user with the search target image and to compare the input image with the past image. Also, in this case, the comparison between the final image input by the user and the final image input in the past, rather than the constituent image constituting the past image or the combination image combining the same configuration image according to the drawing of the image by the user.
  • the image to be searched can be searched more quickly when compared with. As a result, the search target image intended by the user can be searched for the input image drawn by the user in a short time with high accuracy.
  • the image search device further comprises search image specifying means for the user to specify a search target image from the search results, and the constituent image storage means When the search image is designated by the search image designating means, the constituent images constituting the final input image are stored in correspondence with the search image.
  • an input image drawn for extracting a search image is extracted by a user specifying an image to be searched from the search result.
  • the constituent images to be configured are stored in association with the search target image. Therefore, each time the search target image searched based on the input image is designated as an image that matches the user's intention, the number of component images and combination images associated with the search target image increases. As a result, a search target image is extracted from a wide range of input images, and the search accuracy of the search target image is further improved.
  • the approximate past image extraction means constitutes an input image input to the image input means for the same search target image.
  • the purpose is to extract approximate past images by comparing past image feature amounts corresponding to the number of component images corresponding to the number of images or combination images composed of the same component images with input image feature amounts.
  • the number of constituent images constituting the input image when comparing the input image input to the image input means with the constituent image or the combination image.
  • the same number of component images or combination images are compared with the input image.
  • comparison processing is performed on a configuration image or combination image having the same configuration as that of the input image, so that the search processing is more efficient and highly accurate than when comparison processing is performed on all configuration images and combination images. Can be executed.
  • the constituent image storage means stores the order in which the constituent images are input to the image input means together with the constituent images as a stroke order, and the same Of the combination images associated with the search target image and composed of two or more component images in which the stroke order is continuous, the frequency associated with the same search target image is higher than other combination images.
  • a high-frequency combination image storage unit that stores a high-combination image as a high-frequency combination image, and a configuration image that constitutes a high-frequency combination image from the most recent stroke order for the image input device each time the configuration image is input to the image input unit
  • a stroke order combination image generating means for generating a stroke order combination image composed of the component images included in the stroke order that is traced back by the number of strokes.
  • Approximate past images are extracted by executing comparison processing with a quantity in preference to other past image feature amounts and input image feature amount comparison processing. When an image is extracted as an approximate past image, a search target image associated with the extracted approximate past image is output.
  • the image search device is composed of two or more component images that are combined images associated with the same search target image and the stroke order is continuous.
  • a high-frequency combination image extracting unit that extracts a combination image having a higher frequency associated with the same search target image than the other combination images as a high-frequency combination image.
  • a high-frequency combination associated with the search target image at a high frequency from among the combination images associated with the same search target image. Images are automatically extracted.
  • the high-frequency combination image can be efficiently and reliably stored in the high-frequency combination image storage unit, and the search process for the search target image can be performed in a short time with high accuracy.
  • the high-frequency combination image extraction unit extracts a plurality of high-frequency combination images for the same search target image, and extracts the same.
  • the approximate past image extracting means extracts the approximate past image using the past image feature amount corresponding to the high frequency combination image in the descending order of the priority. There is.
  • a priority is added to each of a plurality of high-frequency combination images extracted for the same search target image, and a high-frequency combination according to the same priority is added.
  • the image is compared with the input image.
  • the search target image storage unit stores a search target image feature amount
  • the search target image extraction unit includes an approximate past image extraction unit.
  • the search target image feature value is compared with the input image feature value to extract a search target image approximate to the input image.
  • the input is performed when the approximate past image is not extracted in the comparison process.
  • the search target image is extracted by comparing the image with the search target image. That is, when comparing input images, the configuration image and the combination image having a configuration similar to the input image are preferentially compared. Thereby, it is possible to execute an efficient and highly accurate search process as compared with the case where the search target image is compared with the input image first.
  • another feature of the present invention according to claim 11 is that, in the image search apparatus, the constituent image is image information input with a single stroke to the image input means. According to this, since the search process of the search target image is executed for each stroke by the user, it is possible to provide an image search apparatus that is easy for the user to understand and has good operability.
  • the image search apparatus further includes a component image storage unit that stores a component image to be used for drawing an image on the image input unit.
  • the component image is input through the means. According to this, it is possible to draw an input image quickly and with high accuracy by preparing an image that is difficult to draw with an input device such as a mouse or a pen tablet or a frequently used image in the component image storage means in advance. As a result, the search accuracy of the search target image can be improved.
  • the stroke order according to claim 4 corresponds to the order of inputting the component images.
  • the present invention can be implemented not only as an invention of an image search apparatus but also as a computer program applied to the image search apparatus.
  • FIG. 1 is a block diagram showing a schematic configuration of an image search device according to first and second embodiments of the present invention.
  • FIG. It is explanatory drawing which shows typically the relationship between a search object image, a structure image, and a combination image.
  • 2 is a flowchart of a first image search program executed by the central processing unit shown in FIG.
  • It is explanatory drawing which shows the display state in the display apparatus shown in FIG. (a)-(e) is explanatory drawing for demonstrating the calculation process of the 1st feature-value in a feature-value.
  • It is explanatory drawing which shows 25 types of presence / absence aspect patterns used in the calculation process of the 2nd feature-value in a feature-value.
  • W1, W2, W3 ... window i ... target pixel, r ... adjacent pixel, 100 ... image search device, 101 ... central processing unit, 102 ... main storage device, 103 ... auxiliary storage device, 104 ... computer main body, 105 ... input Device, 105a ... keyboard, 105b ... mouse, 106 ... display device.
  • FIG. 1 is a block diagram showing a configuration of an image search apparatus 100 according to the present invention. Note that the drawings referred to in this specification are schematically shown by exaggerating some of the components in order to facilitate understanding of the present invention. For this reason, the dimension, ratio, etc. between each component may differ.
  • An image search apparatus 100 is a personal computer (so-called personal computer) configured by connecting an input device 105 and a display device 106 to a computer main body 104 having a central processing unit (CPU) 101, a main storage device 102, and an auxiliary storage device 103. It is.
  • the central processing unit 101 includes an arithmetic device and a control device (not shown), executes various arithmetic processes according to programs stored in the main storage device 102, and also includes a main storage device 102, an auxiliary storage device 103, an input device 105, and Each operation of the display device 106 is controlled.
  • the main storage device 102 includes a ROM and a RAM (not shown), and stores programs and data for operating the central processing unit 101 and various types of information necessary when the central processing unit 101 executes instructions. To do.
  • the auxiliary storage device 103 is composed of a hard disk device, and stores an OS (Operating System) and various application programs, specifically, a first image search program for realizing the present invention.
  • the auxiliary storage device 103 is used for temporarily or permanently storing various information necessary for executing the program and various images (image data) when the first image search program is executed.
  • the auxiliary storage device 103 stores a plurality of search target images and past sketch images.
  • the search target image is an image to be searched by executing the first image search program.
  • the past sketch image is an image used for searching for a search target image by executing the first image search program, and is composed of a constituent image and a combination image associated with at least one search target image.
  • the component image is an input image that is finally input in order to extract a search target image intended by the user when the search target image is searched by executing the first image search program in the past. It is an image constituting part or all of the image.
  • the combined image is one or more images obtained by combining a plurality of component images that constitute one input image.
  • FIG. 2 schematically shows an example of the relationship among these search target images, component images, and combination images.
  • the past sketch image 1 is associated with the search target images 1 and 2
  • the past sketch image 2 is associated with the search target image 3.
  • the input image that is finally input in order to extract the search target images 1 to 3 intended by the user is the combination image shown at the bottom of the drawing among the combination images.
  • the input device 105 includes a keyboard 105 a and a mouse 105 b as a pointing device, and inputs various commands and various data from the user to the central processing unit 101 via the main storage device 102. Specifically, a sketch image serving as a search condition for a search target image or an execution command for the first image search program is input to the central processing unit 101.
  • the display device 106 is composed of a liquid crystal display device, and displays the operating state of the central processing unit 101 and the execution state of various programs to the user. Specifically, when the first image search program is executed, a user interface for drawing a sketch image as a search condition for the search target image and a search target image as a search result are displayed.
  • the search target image to be searched by the first image search program is stored in the auxiliary storage device 103 in the image search device 100 based on the search target image. It is stored in advance in a predetermined storage area together with the calculated search target image feature amount. Further, in the auxiliary storage device 103, a past sketch image used for extraction of the search target image in the past in the search of the search target image by execution of the image search program is associated with the search target image in a predetermined storage area. It is remembered. In this case, the auxiliary storage device 103 stores the past image feature amount calculated based on the past sketch image together with the past sketch image. Note that the search target image feature amount and the past image feature amount will be described later.
  • the user turns on the image search apparatus 100.
  • the image search apparatus 100 enters a standby state in which a predetermined program such as an OS (not shown) is executed to wait for an instruction from the user.
  • the user starts an image search operation using the image search apparatus 100.
  • the user operates the input device 105 to instruct the image search device 100 (central processing unit 101) to start image search.
  • the image search device 100 (central processing unit 101) starts the first image search program shown in FIG. 3 in step S100, and activates the drawing tool in step S102.
  • the drawing tool is a user interface for inputting a sketch image composed of a line drawing using the mouse 105b in the input device 105, and executes a drawing tool program (not shown) prepared separately from the first image search program. It is realized by doing.
  • An example of the display state of the display device 106 during execution of the first image search program and the drawing tool program is shown in FIG.
  • a window W ⁇ b> 1 displayed on substantially the entire back surface in the depth direction of the display screen of the display device 106 is a basic operation screen of the first image search program.
  • a window W2 displayed on the left half of the display screen in front of the window W1 is an area for displaying a search target image
  • a window W3 displayed on the right half of the display screen is a drawing tool. .
  • These windows W1 to W3 can arbitrarily change the display scale, the mutual positional relationship, and the arrangement order in the depth direction by the operation of the mouse 105b by the user.
  • a drawing area W3a for drawing a sketch image is provided in the window W3. Therefore, the user keeps pressing a push button switch (not shown) of the mouse 105b while moving a cursor (not shown) displayed on the display screen of the display device 106 in the drawing area W3a by operating the mouse 105b.
  • an operation that is, a drag operation
  • an image composed of a diagram can be drawn in the operation drawing area W3a (a face is drawn in the figure).
  • a sketch image drawn by the drawing tool is represented by bitmap (raster) format image data.
  • step S104 the image search device 100 executes an end determination of the first image search program. Specifically, the image search apparatus 100 continues to make a “No” determination in this determination process until detecting an end command for the image search program by the user, and proceeds to step S106. On the other hand, when the image search apparatus 100 detects the input of the end instruction of the first image search program by the user, the image search apparatus 100 determines “Yes” in the determination process and proceeds to step S124.
  • step S106 the image search device 100 determines whether a search target image has been selected.
  • the determination process in step S106 is to detect whether or not the user has selected (designated) an image from among the search target images displayed as image search results in the window W2. Therefore, the image search apparatus 100 continues to determine “No” in this determination process until the user selects an image for the search target image displayed in the window W2, and proceeds to step S108. .
  • the image search device 100 determines “Yse” in this determination process and proceeds to step S118.
  • step S108 the image search apparatus 100 determines whether or not a sketch image has been input. Specifically, the image search apparatus 100 continues to determine “No” in this determination process, assuming that no sketch image is input until the input image is acquired via the drawing tool, in step S104. Return to. As a result, the image search apparatus 100 repeatedly executes the processes in steps S104 to S108 until an image is acquired via the drawing tool.
  • the image search apparatus 100 determines that the sketch image has been input, determines “Yes” in this determination process, and proceeds to step S110.
  • the acquisition of the input image by the drawing tool is performed by detecting the end of the drag operation of the cursor in the drawing area W3a by the user. That is, the input image is acquired every time the user performs a single stroke in the drawing area W3a.
  • the image search apparatus 100 stores the input sketch image in step S110.
  • the image search device 100 uses all the drawn images drawn in the drawing region W3a as one input image in addition to the drawing image of one stroke drawn most recently in the drawing region W3a. Temporarily store each.
  • the image search device 100 calculates a feature amount for the stored input image.
  • the feature amount is information obtained by quantifying the feature of the image based on the attribute of the image (for example, luminance information, color information, image frequency, histogram, shape), and includes the first feature amount and the second feature amount. And feature amount.
  • a feature quantity is calculated based on the shape of an image by applying the concept of LBP (Local Binary Binary Patterns) in texture analysis.
  • LBP Local Binary Binary Patterns
  • the image search device 100 searches for line pixels of an input image by raster scanning. This line pixel search processing is performed by each processing such as smoothing of the original image, edge (contour) detection, binarization, and thinning processing. Next, as shown in FIGS.
  • the image search apparatus 100 sets the total number c ix of line pixels existing in the direction x (direction 0 to direction 7), with the searched line pixel as the target pixel i. calculate.
  • threshold processing is executed using a value obtained by normalizing the total number c ix of line pixels in each direction with the total number of pixels. As a result, the feature amount does not change with the size of the image.
  • the image search apparatus 100 calculates the determination value S ix by substituting the total number c ix of line pixels into the following formula 1, and calculates f ix using the following formula 2 (FIG. 5C).
  • C is the total number of line pixels
  • Th is a threshold value for frequency determination.
  • the image search apparatus 100 considers each of the eight directions as an 8-bit binary number, and considers the binary number (f i7 , f i6 , Vote for a histogram of values d i (0 ⁇ d i ⁇ 255) obtained by converting f i5 , f i4 , f i3 , f i2 , f i1 , f i0 ) into decimal numbers.
  • the feature quantity is invariant to the position.
  • Each of these processes is executed for all C line pixels, and the relative positional relationship between the line pixels is collected into a histogram to form a 256-dimensional first feature amount.
  • voting on the histogram is performed for each pixel of interest i, and the relative position of the line pixels relative to all the line pixels is preserved. That is, the first feature amount based on only the shape information irrelevant to the size, position, and direction is calculated for the contours constituting the entire input image.
  • the second feature amount calculation process is calculated using a so-called higher-order local autocorrelation feature function.
  • the high-order local autocorrelation feature function means that if the luminance value at the pixel of interest i is f (i), the Nth-order autocorrelation function around it is N displacements (a 1 , a 2 ,..., a N ) is defined by the following equation (3).
  • the order N in Equation 3 is set to 2 and the displacements (a 1 , a 2 ,..., A N ) are 3 ⁇ 3 regions.
  • the presence / absence modes of the adjacent pixel r adjacent to the target pixel i with respect to the target pixel i are 25 types of presence / absence pattern as shown in FIG. Can be summarized.
  • the equivalent in terms of parallel movement means that in a 3 ⁇ 3 matrix centered on the target pixel i, the target pixel i and the adjacent pixel r existing adjacent to the target pixel i are relative to each other.
  • each pixel is shifted (translated) by one square in the horizontal direction, the vertical direction, and the left and right diagonal directions within a 3 ⁇ 3 matrix.
  • Each of the shifted pixel patterns SP 1 to SP 8 is as shown in FIG.
  • the shift pixel patterns SP 1 and SP 7 are the same as the other pixel patterns OP1 and OP 2 composed of two adjacent pixels r centered on the target pixel i. Therefore, the other pixel patterns OP 1 and OP 2 are grouped as pixel patterns having an equivalent relationship with respect to the pixel pattern GP.
  • these 25 types of presence / absence patterns are classified into 5 types of feature amount groups. Specifically, as shown in FIG. 8, the feature group 0, the target pixel i, and one or two adjacent pixels in a positional relationship in which the target pixel i and one or two adjacent pixels r exist in the horizontal direction.
  • Feature amount group 1 having a positional relationship in which pixels r exist in a vertical direction
  • feature amount group 2 in a positional relationship in which pixel of interest i and one or two adjacent pixels r exist in a diagonally right direction
  • pixel of interest i And a feature amount group 4 in which one or two adjacent pixels r exist in a diagonally leftward direction and a feature amount group 4 in a position relationship that does not belong to any of the feature amount groups 0 to 3 is there.
  • the feature amount group 4 includes a pattern in which no adjacent pixel r exists around the pixel of interest i. That is, the five feature quantity groups of the feature quantity group 0 to the feature quantity group 4 include the adjacent pixel r existing around the target pixel i including the case where no adjacent pixel r exists around the target pixel i.
  • the positional relationships with respect to the pixel of interest i are summarized for each of the five types of positional relationships.
  • the grouping based on such 25 types of presence / absence pattern is the result of the inventor of the present application performing a matching test on each pixel constituting the line pixel in the original image to the 25 types of presence / absence mode patterns. This is based on finding a tendency that the frequency distribution is biased with respect to the aspect pattern.
  • the image search apparatus 100 has the 25 types of presence / absence pattern in which the positional relationship between the adjacent pixel r adjacent to the target pixel i and the target pixel i in the searched line pixel (including the case where the adjacent pixel r does not exist) is 25 types.
  • a matching process is performed to identify which of the above.
  • the image search apparatus 100 classifies the pixel of interest i into one of the feature amount group 0 to the feature amount group 4 in the feature amount group based on the presence / absence pattern specified by the matching process.
  • the feature amount group classified with respect to the target pixel i shown in FIG. 5A has the target pixel i and two adjacent pixels r arranged in the horizontal direction. Become. For example, when there is only one adjacent pixel r directly below the target pixel i with respect to the target pixel i, one adjacent pixel r is directly above the target pixel i with respect to the target pixel i. Since it corresponds to the case where only the number exists, it becomes the feature amount group 1. Further, for example, in the feature amount group classified for the other pixel patterns OP 1 and OP 2 shown in FIG. 7, the other pixel patterns OP 1 and OP 2 are equivalent to the pixel pattern GP. Become group 3.
  • the pixel is classified into the feature amount group 4 that is in a positional relationship not belonging to any of the feature amount groups 0 to 3. Is done.
  • the thinning process is executed in the line pixel search process prior to the calculation process of the first feature quantity and the second feature quantity, there are three or more adjacent pixels r for the target pixel i. Such a case is rare, and the pixel i of interest having three or more adjacent pixels r has little influence on the subsequent processing.
  • the image search device 100 executes each of these processes for all the line pixels, collects the relative positional relationship between the line pixels in a histogram, and sets it as a five-dimensional second feature amount.
  • voting on the histogram is performed for each pixel of interest i, and the relative local positional relationship of the line pixel with respect to the adjacent pixel r is preserved. That is, the second feature amount based on only the shape information irrelevant to the size, position, and direction is calculated for the contours constituting the entire input image.
  • the image search apparatus 100 executes a statistical process for combining the calculated first feature quantity and the second feature quantity into one histogram and normalizes the statistical process result to obtain a feature quantity that does not change in size.
  • FIG. 9 shows an image of statistical processing in which the first feature value and the second feature value are combined into one histogram.
  • a feature amount of 1280 dimensions first feature amount 256 dimensions ⁇ second feature amount 5 dimensions
  • the image search device 100 calculates feature quantities for an image obtained by rotating the input image and a mirror image of the input image. Specifically, when the first feature amount is calculated for an image obtained by rotating the input image, the image search apparatus 100 rotates the binarized binary number shown in FIG. 5 (d) bit by bit. To calculate the first feature amount rotated in eight directions. Further, when calculating the second feature amount for the image obtained by rotating the input image, the image search apparatus 100 uses the presence / absence pattern obtained by rotating the adjacent pixels in the same direction as the rotated direction. A second feature amount is calculated.
  • the first feature value is calculated for the mirror image of the input image
  • the first binary value obtained by rearranging the binarized binary number shown in FIG. 5D into a binary number having a mirror image relationship is used.
  • the feature amount is calculated.
  • the second feature value is calculated by switching the feature value group 3 (right oblique line) and the feature value group 4 (left oblique line). .
  • the input image feature value which is a feature value for all input images, is calculated by the feature value calculation process in step S112. That is, the feature amount calculation processing in step S112 corresponds to the input image feature amount calculation means according to the present invention.
  • the search target image feature amount for the search target image and the past image feature amount for the past sketch image stored in the auxiliary storage device 103 of the image search device 100 are values calculated by executing the above-described processes.
  • the search target image is converted into bitmap format image data as described above, and then subjected to smoothing, edge (contour) detection, binarization, and thinning processing to calculate a feature amount. Is executed.
  • the image search device 100 executes search processing for a search target image. Specifically, the image search device 100 measures the inter-image distance between the search target image and the past sketch image (composition image and combination image) with respect to the input image, and arranges the search target image and the past sketch image in order of increasing distance.
  • the image search apparatus 100 uses the expression shown in the following Equation 4 to calculate the search target image feature quantity and the past image feature quantity in the 1280-dimensional space with respect to the input image feature quantity (Euclidean distance Di). The search target images and the past sketch images corresponding to the calculated vector distances in ascending order are arranged.
  • F s is an input image feature quantity
  • F i is a search target image feature quantity and a past image feature quantity
  • j represents each dimension of the feature quantity of 1280 dimensions.
  • the rotation process and the mirror image of the input image are also compared with the search target image and the past sketch image, and the search target image and the past sketch image are approximated (including the same) as the input image. Are arranged.
  • the search target image and the past sketch image arranged in the order similar to the input image by the search processing in step S114 correspond to the approximate past image according to the present invention. That is, the process of comparing and extracting the search target image with respect to the input image in step S114 corresponds to the search target image extracting unit according to the present invention, and the process of comparing and extracting the past sketch image with respect to the input image. This corresponds to the approximate past image extraction means according to the present invention.
  • the search target image and the past sketch image are respectively compared with the input image.
  • the input image is similar to the past sketch image drawn when the search image is searched from the search target image intended by the user. There are many. Therefore, when the user has searched for the same search target image in the past, the target search target image is easily extracted with high priority via the past sketch image.
  • the image search device 100 displays the search result on the display device 106 in step S116. Specifically, the image search device 100 displays the search target images on the window W2 in the order arranged in the search process of step S114. In this case, if the extracted image is a detection target image, the image search apparatus 100 displays the detection target image as it is, and if the extracted image is a past sketch image, the past sketch image is displayed. The search target image associated with the image is displayed on the display device 106. That is, the search result display processing in step 116 corresponds to the search result output means according to the present invention. Then, the image search device 100 displays the search result on the display device 106, and then returns to step S104.
  • the user visually confirms the search result displayed on the display device 106, and if the search target image intended by the user does not exist in the search result, the user continues to input the sketch image.
  • the search target image search process is executed, and the search result is displayed on the display device 106 while being updated for each drawing (one stroke) (steps S108 to S116).
  • the input image is the past drawn when the search target image is searched from the target search target image. Since it is often similar to a sketch image, the target search target image is searched when the image amount of the input image is smaller.
  • step S118 the image search device 100 enlarges and displays the search target image selected by the user.
  • the image search apparatus 100 generates a past sketch image in step S120. Specifically, the image search apparatus 100 determines the input image currently stored as a final image used for extraction of the search target image, and sets the image for each stroke constituting the input image as a constituent image. Are stored permanently in association with the search target image selected in step S106. Further, the image search device 100 calculates the feature amount of each component image and stores it as a past image feature amount.
  • the image search device 100 generates a combination image obtained by combining the component images constituting the input image determined as the final image, and permanently associates it with the search target image selected in step S106.
  • the image search apparatus 100 calculates the feature amount related to the combination image and stores it as the past image feature amount, like the component image.
  • Each process in step S120 corresponds to a component image storage unit, a combination image generation unit, and a past image feature amount calculation unit according to the present invention.
  • the image search apparatus 100 clears (erases) the image drawn in the drawing area W3a of the window W3, and then returns to step S104.
  • step S124 the image search apparatus 100 ends the execution of the drawing tool. Then, the image search device 100 ends the execution of this image search program in step S126. That is, when the image search program is terminated without selecting a search target image from the search results, the past sketch image generation process is not executed.
  • the image search apparatus 100 is configured to search the input image feature amount based on the attribute of the input image and the search target based on the attribute of the search target image that is the search target.
  • An image that is the same as or approximate to the input image is extracted by comparing the image feature quantity and the past image feature quantity based on the attribute of the past sketch image.
  • the feature amount representing each of the input image, the search target image, and the past sketch image constitutes the same image as the first feature amount representing the relative positional relationship of each pixel constituting the image with respect to the pixels of the entire image.
  • the search target image and the past sketch image are not related to the size, arrangement position, and orientation of the input image from the global viewpoint (first feature amount) and the local viewpoint (second feature amount). It can be specified based on the shape information.
  • the search target image intended by the user can be accurately searched for the input image in a short time.
  • the second feature amount is calculated by a statistical process of allocating to three or five types of feature amount groups depending on whether or not there is an adjacent pixel adjacent to the target pixel with respect to the target pixel.
  • the amount of information that must be stored in the second feature amount is much smaller than in the case where the statistical processing is performed for each of the 25 types of presence / absence patterns in the positional relationship and the result is stored,
  • the use amount of the storage capacity of the auxiliary storage device 103 in the image search device 100 can be suppressed.
  • the configuration image and the combination image of the image input in the past by the user for searching for the search target image are stored in association with the search target image, For each input of the rendered image, the entire input image drawn is compared with the component image and the combination image constituted by the component image, and a component image or combination image approximating the whole input image is extracted. Then, a search target image associated with the extracted component image or combination image is output. That is, the input image drawn by the user for the same search target image may be more similar to the past image input by the same or different user in the past than the search target image that is the search target. Is extremely high.
  • the search target image intended by the user it is easier to extract the search target image intended by the user than to compare the input image drawn by the user with the search target image and to compare the input image with the past image. Further, in this case, compared with the image finally input by the user and the final image input in the past, the constituent image constituting the past image or the combined image combining the same constituent image for each drawing of the image by the user, and The comparison target image can be searched more quickly when compared. As a result, the search target image intended by the user can be searched for the input image drawn by the user in a short time with high accuracy.
  • the combination image constituting the past sketch image is stored in the auxiliary storage device 103.
  • the combination image is configured by a combination of component images, it is not always necessary to generate and store a combination image. That is, at the time of the search processing of the search target image in step S114 of the first image search program, the combination image and the feature amount related to the combination image are calculated using the stored configuration image, and the search target image search processing is performed. You may make it perform. According to this, it is possible to save the storage area for storing the combination image and the feature amount related to the combination image, and the storage capacity of the auxiliary storage device 103 can be effectively used.
  • a past sketch image associated with the search target image is generated. It was configured as follows. However, the association between the past sketch image and the search target image is not necessarily the search target image extracted as the search result. In other words, a sketch image input to extract (search) a certain search target image may be used as a past image. In other words, even if a sketch image cannot be extracted as a search target image intended by the user, it can be used as a past sketch image if it is highly likely to be drawn to extract the search target image. . This also enables a search target image intended by the user to be accurately searched in a short time with respect to the input image drawn by the user.
  • the search target image and the past sketch image are compared with the input image without distinguishing them (step S114).
  • the past sketch image is an image used by the user in the past and is closer to the input image
  • the input image and the past sketch image may be compared in preference to the search target image.
  • a combination image composed of the same number of component images as that constituting the input image may be preferentially compared with the input image. According to these, the search target image can be searched more efficiently and accurately.
  • the search target image is searched based on the constituent image and the combination image of the image input by the user in the past. This is because the search target image is efficiently searched based on the sketch image handwritten by the user.
  • the search target image can be extracted only by the comparison process between the input image and the search target image without using the component image and the combination image.
  • searching for a search target image based on an image having an input form different from that of a sketch image for example, when directly acquiring digital image data from an image scanner, a digital camera, a video camera, or the Internet as an input image
  • the search target image can be extracted only by the comparison process between the input image and the search target image.
  • the image search device 100 calculates an input image feature amount for the input image captured in the image search device 100, and performs a search by comparing the calculated input image feature amount and the search target image feature amount. Extract the target image.
  • the calculation process of the input image feature amount in the input image may be executed on the external device side that provides the input image to the image search apparatus 100. That is, the input device and the input image feature amount corresponding to the input image may be output from the external device side to the image search apparatus 100.
  • the search target image feature amount stored in the auxiliary storage device 103 of the image search device 100 is similarly calculated on the external device side that provides the search target image to the auxiliary storage device 103 and stored in the auxiliary storage device 103. It is also possible to configure it. According to these, the configuration for calculating the input image feature amount and the search target image feature amount on the image search device 100 side becomes unnecessary, and therefore the configuration of the image search device 100 and various calculation processes can be simplified. .
  • the feature quantity group in the second feature quantity constituting the feature quantity has five types of presence / absence modes in which there are two or less adjacent pixels r adjacent to the pixel of interest i. Configured by pattern.
  • three to five types of feature amount groups that are formed by the presence or absence of two or less adjacent pixels r adjacent to the target pixel i can be used as the feature amount group.
  • the feature amount group 2 and the feature amount group 3 in the first embodiment may be combined into one feature amount group 2 for a total of four feature amount groups, or the feature amount group 4 in the first embodiment may be omitted.
  • a total of four feature quantity groups may be used.
  • the feature amount group 2 and the feature amount group 3 in the first embodiment are set as one feature amount group 2, and the feature amount group 4 in the first embodiment is omitted to make a total of three feature amount groups. Also good. According to these, since the amount of information that must be stored in the second feature amount is smaller than that in the above embodiment, the use amount of the storage capacity of the auxiliary storage device 103 in the image search device 100 is further suppressed. be able to.
  • a combination image that is frequently associated with the same search target image is given priority over other combination images. It is characterized by being used in the search process. Specifically, the frequency of association with the same search target image from among the combination images that are associated with the same search target image and are composed of two component images in which the stroke order is continuous. A combination image higher than the combination image is stored in the auxiliary storage device 103 as a high-frequency combination image separately from other combination images.
  • This high-frequency combination image focuses on the fact that there are two or more component images that tend to have a continuous stroke order when the user draws an input image with respect to the same search target image. And a combination image drawn in the same stroke order as a comparison target with the input image.
  • the stroke order may be different for each user. It was found that the stroke order of drawing “he” is common to many users. Further, it has been found that when a user draws a side view of a car, the tires before and after the car are drawn continuously, that is, two “o” s are written side by side.
  • the present invention has been completed by paying attention to the above empirical rules.
  • FIG. 10 schematically shows the relationship between the search target image, the past sketch image, and the high frequency combination image in the second embodiment.
  • images actually drawn on the drawing tool are omitted.
  • the search target image 1 is stored in the auxiliary storage device 103 in association with three past sketch images 1 to 3.
  • circled numbers “1” to “5” represent the number of component images constituting the component image and the combination image.
  • the search target image is stored together with the search target image feature amount in the auxiliary storage device 103 in the image search device 100, as in the first embodiment.
  • the past sketch image is stored in association with the search target image together with the past image feature amount.
  • the high-frequency combination image is stored separately from other combination images.
  • the user instructs the image search apparatus 100 to start image search through the same procedure as in the first embodiment.
  • the image search device 100 starts the second image search program shown in FIG. 11 in step S100.
  • the second image search program changes a part of the steps (step S110) of the first image search program in the first embodiment and adds new steps (step S111, step S121, steps S130 to S138). ). Therefore, in the description of the operation of the second image search program, the changed step and the newly added step will be described.
  • the image search apparatus 100 executes a sketch image storage process in step S110 '.
  • the image search device 100 temporarily stores the drawing image for one stroke drawn most recently in the drawing area W3a together with the stroke order of the drawing image.
  • the stroke order of the drawn images means the order in which the drawn images are drawn in the drawing area W3a.
  • the drawing order of the drawing image drawn with the first stroke in the drawing area W3a where nothing is drawn is “1”, and the drawing order of the drawing image drawn with the next stroke is “2”.
  • all the drawn images drawn in the drawing area W3a are temporarily stored as one input image, as in the first embodiment.
  • step S111 the image search device 100 determines whether or not the acquired drawing image for one stroke is an image drawn after the second stroke. In this case, if the drawing image for the most recent stroke obtained via the drawing tool is drawn in the first stroke, it is determined as “No” in this determination process, and the process proceeds to step S112.
  • Each process of step S116 is executed. That is, when the drawing image for one stroke is drawn by the first stroke, the feature amount of the input image is calculated and the search target image is searched as in the first embodiment. This is because the high-frequency combination image is composed of two component images. Therefore, when the high-frequency combination image is composed of three component images, the user needs to draw at least three strokes.
  • step S130 image search device 100 generates a two-stroke combined image.
  • the two-stroke combined image is a combined image of a drawing image for one stroke acquired most recently and a drawing image drawn one stroke before the drawing image.
  • the number of drawing images constituting the two-stroke combination image corresponds to the number of component images constituting the high-frequency combination image. That is, this two-stroke combination image corresponds to the stroke order combination image according to the present invention.
  • step S132 the image search device 100 calculates the feature amount of the generated two-stroke combined image. Since the two-stroke combination image feature amount, which is the feature amount of the two-stroke combination image, is composed of the first feature amount and the second feature amount calculated by the same calculation process as in the first embodiment. The description is omitted.
  • step S134 the image search device 100 executes a search process for the search target image.
  • the inter-image distance of the high-frequency combination image with respect to the two-stroke combination image is measured, and the high-frequency combination image whose distance between the images is equal to or less than a predetermined value is extracted.
  • the inter-image distance between both images is calculated using the two-stroke combined image feature amount and the past image feature amount corresponding to the high-frequency combination image. Since the calculation of the inter-image distance is the same as that in the first embodiment, description thereof is omitted.
  • the search processing of the search target image in step S134 is a combination of the most frequently drawn drawing images input via the drawing tool and two component images that tend to have a continuous stroke order.
  • a search target image intended by the user is extracted early and with high accuracy.
  • a plurality of high-frequency combination images with different detection target images may be extracted for one two-stroke combination image.
  • the image search apparatus 100 arranges and extracts the high-frequency combination images in order of increasing distance between images.
  • step S136 the image search device 100 determines whether or not a high-frequency combination image has been extracted by the search process for the search target image in step S134.
  • a high-frequency combination image is extracted by the search process of the search target image in step S134, it is determined as “Yes” in this determination process, and the process proceeds to step S138, and the search result is displayed in step S138. It is displayed on the device 106.
  • the image search device 100 causes the window W2 to display search target images associated with the high-frequency combination images in the order of short distance between images with respect to the two-stroke combination image. Then, the image search device 100 returns to step S104.
  • step S134 if the high-frequency combination image is not extracted by the search process of the search target image in step S134, it is determined as “No” in this determination process, and the process proceeds to step S112.
  • Each process of steps S114 to S116 is performed. Is executed. That is, when the high-frequency combination image is not extracted, the feature amount is calculated as in the first embodiment, and the search target image is searched.
  • the high-frequency combination image extraction process in step S121 is performed in steps S106, S118, and S120 when a specific search target image is selected by the user from the search results displayed on the display device 106. It is executed after processing. Then, the high-frequency combination image extraction processing is performed by combining the same search target image from among the combination images associated with the same search target image and composed of two component images in which the stroke order is continuous. A combination image that is associated with a higher frequency than other combination images is extracted as a high-frequency combination image.
  • a combination image associated with the same search target image is extracted for each past sketch image, and two composition images having a continuous stroke order are extracted from the extracted combination images for each past sketch.
  • Each composed combination image is extracted.
  • a combination image composed of two component images in which the stroke order is continuous is extracted for each past sketch image.
  • each extracted combination image is associated with the same search target image.
  • the number of combination images configured with the same image configuration in other words, the number of combination images overlapping between past sketch images is counted. Thereby, the combination image with high frequency matched with the same search target image can be specified.
  • a high-frequency combination image extraction process for input images (A) to (C) drawn in three strokes with respect to a search target image of a certain car is performed. think about. First, in each of the input images (A) to (C), combination images A1, A2, B1 to B4, and C1 to C3 composed of two component images in which the stroke order is continuous are generated. Next, as shown in FIG. 13 to FIG.
  • combination images A1, B4, and C3 are extracted as combination images similar to the combination image A1 in the input image (A).
  • the comparison processing of each combination image is performed using each feature amount in each combination image.
  • a combination image serving as a reference for extraction is set as a reference combination image
  • a combination image extracted with respect to the reference combination image is set as an extracted combination image.
  • the extracted combination image extracted with respect to the reference combination image is compared with the extracted combination image extracted when each extracted combination image is used as the reference combination image. Count the numbers (numbers in parentheses in the figure).
  • This count process is executed for all the extracted combination images, and the total value is calculated for each reference combination image (the rightmost number in the figure).
  • the number of overlapping combination images is counted for each of the input images (A) to (C). That is, the combination image having the largest count value is the combination image that most overlaps between the past sketch images, and is a combination image that is frequently associated with the same search target image.
  • the combination images A1, B4, and C3 are combination images that are more frequently associated with the same search target image than other combination images.
  • the combination image composed of the component images of the stroke order that are consecutive to each other is high.
  • a combination image that is frequently associated with the search target image is stored as a high-frequency combination image, and when the image drawn by the user is compared with the combination image, the high-frequency combination image from the most recent stroke order with respect to the image input device 100 is stored. Prioritize the comparison process between the input image and the high-frequency combination image that are composed of the component images included in the stroke order that is the number of the component images that make up the image. Running.
  • the order of comparison with respect to the input image is considered by preferentially comparing a combination image composed of two or more component images that tend to have a continuous stroke order empirically with the input image as a high-frequency combination image.
  • it is possible to execute an efficient and highly accurate search process as compared with the case where the comparison process is executed on all the component images and the combination images without performing the comparison process.
  • the high-frequency combination image associated with the search target image is automatically selected. It was configured to be extracted.
  • the configuration may be such that the user designates and stores as a high-frequency combination image from among the combination images associated with the same search object. That is, the high-frequency combination image does not necessarily have to be extracted by calculation processing by the image search device 100.
  • the method of extracting the high-frequency combination image is not limited to the second embodiment.
  • the high-frequency combination image is stored separately from other combination images by setting a flag on the combination image.
  • the method for distinguishing the high-frequency combination image from other combination images is not limited to the second embodiment.
  • the high-frequency combination image is extracted from the combination image composed of the constituent images drawn in two consecutive strokes.
  • the high-frequency combination image is not limited to the above-described embodiment as long as the high-frequency combination image is extracted from a combination image composed of two or more component images in which the stroke order is continuous. That is, a high-frequency combination image may be extracted from a combination image composed of constituent images drawn in three or four consecutive strokes. Also by these, the same effect as the second embodiment can be expected.
  • one high-frequency combination image (A1, B4, C3) is extracted from the combination images associated with the same search target image.
  • the number of high-frequency combination images to be extracted is not necessarily one, and two or more may be extracted.
  • a priority according to the frequency may be given to the plurality of extracted high-frequency combination images, and the comparison process may be executed from the high-frequency combination image having a high priority with respect to the two-stroke combination image. Also by this, the same effect as the second embodiment can be expected.
  • each feature amount such as an input image feature amount, a past image feature amount, a search target image feature amount, and a two-stroke combined image feature amount is calculated based on the shape of each image. did.
  • each feature amount is not limited to the second embodiment as long as it is calculated based on image attributes (for example, luminance information, color information, image frequency, histogram, shape). Also by this, the same effect as the second embodiment can be expected.
  • the user operates the mouse 105b to draw an input image as if it were handwritten.
  • a component image used for drawing an image is stored in advance in the auxiliary storage device 103, and the component image is appropriately used when drawing the input image. Drawing may be performed.
  • a component image an image that is difficult to draw with an input device such as a mouse or a pen tablet or an image that is frequently used can be considered.
  • facial components such as eyes, mouth, nose, eyebrows, and hairstyle are stored in advance as part images, and when drawing an input image, so-called “happy laughter” or An input image can be drawn as if creating a “montage photo”.
  • the stroke order when the input image is drawn by hand corresponds to the order in which the component image is selected and input to the input device. According to this, the workability of drawing the input image is improved and the search accuracy of the search target image is also improved.

Abstract

入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる画像検索装置を提供する。 画像検索装置１００は、検索の対象となる検索対象画像の属性に基づく検索対象画像特徴量と入力画像の属性に基づく入力画像特徴量とを比較して入力画像に近い画像を抽出する。この場合、各特徴量は、画像を構成する各画素の画像全体の画素に対する大局的な相対的位置関係を表す第１の特徴量と、同各画素に隣接する画素に対する局所的な相対的位置関係を表す第２の特徴量とによって構成される。また、画像検索装置１００は、ユーザが過去に入力した手書き入力画像を構成する構成画像と、同構成画像を組み合わせた組合せ画像とを検索対象画像に対応付けて記憶し、これらの各画像における特徴量と、ユーザによる一筆ごとの入力画像の特徴量とを比較して画像間距離が短い構成画像または組合せ画像に対応する検索対象画像を表示する。

Description

画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム
　本発明は、入力画像に基づいて、複数の検索対象画像が記憶された記憶装置から所望する検索対象画像を検索する画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラムに関する。
　従来から、入力画像に基づいて、複数の検索対象画像が記憶された記憶装置から所望する検索対象画像を検索する画像検索装置がある。例えば、下記特許文献１には、ユーザが描画する入力画像に基づいて算出される特徴量と、検索対象画像に基づいて予め算出される特徴量とを用いて入力画像と検索対象画像との画像間距離を測定し、同画像間距離が短い検索対象画像を入力画像に類似する画像として出力する画像検索装置が開示されている。この場合、特徴量は、入力画像および検索対象画像のＲ,Ｇ,Ｂ値を用いている。
特開２０００－７６２６９号公報
　しかしながら、上記したような画像検索装置においては、入力画像に対してユーザが意図する検索対象画像とは異なる検索対象画像が検索結果として出力されることが頻繁に生じる。これは、画像入力装置を構成するマウスやペンタブレットでは、ユーザが検索対象画像と同一または類似する入力画像を描画することが極めて困難であるためと考えられる。このため、この種の画像検索装置においては、入力画像に対する同一または近似する画像の検索精度が低いとともに画像の検索に時間が掛かるという問題があった。
　また、上記画像検索装置においては、入力画像に対する検索対象画像の検索は、両画像のＲ,Ｇ,Ｂ値のみに基づく特徴量を検索キーとして行なわれている。このため、ユーザが意図する検索対象画像に近い入力画像をユーザが描画した場合であっても、ユーザが意図する検索対象画像を正確に検索できないことがあり、入力画像に対する同一または近似する画像の検索精度自体が低いという問題があった。
　本発明は上記問題に対処するためなされたもので、その目的は、入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラムを提供することにある。
　上記目的を達成するため、請求項１に記載した本発明の特徴は、画像を入力する画像入力手段と、検索対象となる複数の検索対象画像をそれぞれ記憶する検索対象画像記憶手段と、画像の属性に基づく特徴量であって画像入力手段により入力された入力画像の属性に基づく入力画像特徴量と検索対象画像の属性に基づく検索対象画像特徴量とを比較して、検索対象画像記憶手段に記憶した検索対象画像の中から入力画像に近似する検索対象画像を抽出する検索対象画像抽出手段と、前記抽出された検索対象画像を検索結果として出力する検索結果出力手段とを備える画像検索装置において、前記画像の属性に基づく特徴量は、画像を構成する各画素を所定の条件に従って複数抽出した各画素ごとに、注目画素から放射状に存在する他の画素数を所定の方向ごとに計数するとともに同所定の方向ごとに計数した画素数の分布状態を統計処理することにより算出した第１の特徴量と、前記複数抽出した各画素ごとに、前記注目画素に対する同注目画素に隣接する２つ以下の隣接画素の存否の態様を３ないし５種類の存否の状態ごとの特徴量グループに統計処理することにより算出した第２の特徴量とで構成されていることにある。
　この場合、請求項２に示すように、前記画像検索装置において、前記第２の特徴量における前記特徴量グループは、例えば、前記少なくとも２つの画素が、水平方向、垂直方向および互いに直交する２つの斜め方向の位置関係を含んで構成されているとよい。
　この場合、請求項３に示すように、前記画像検索装置において、第１の特徴量および第２の特徴量における前記所定の条件に従ってそれぞれ抽出した複数の各画素は、例えば、入力画像および検索対象画像の各輪郭部を構成する画素であるとよい。
　このように構成した請求項１に記載した本発明の特徴によれば、画像検索装置は、入力画像の属性に基づく入力画像特徴量と、検索対象である検索対象画像の属性に基づく検索対象画像特徴量とを比較することにより入力画像と同一または近似する画像を抽出している。この場合、入力画像および検索対象画像をそれぞれ表す特徴量は、画像を構成する各画素の画像全体の画素に対する大局的な相対的位置関係を表す第１の特徴量と、同画像を構成する各画素の同各画素に隣接する画素に対する局所的な相対的位置関係を表す第２の特徴量とによって構成されている。これにより、入力画像に対して大局的観点（第１の特徴量）と局所的観点（第２の特徴量）とから検索対象画像をその大きさ、配置位置および向きに関わらない形状情報に基づいて特定することができる。この結果、入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。また、この場合、第２の特徴量は、注目画素に対する同注目画素に隣接する隣接画素の存否の態様に応じて３種類ないし５種類の特徴量グループに振り分ける統計処理によって算出される。これにより、第２の特徴量は、互いの位置関係の全てのパターンごとに統計処理してその処理結果を記憶する場合に比べて記憶しなければならない情報量を極めて少なくすることができ、コンピュータ装置における記憶容量の使用量を抑えることができる。
　また、請求項４に記載した本発明の他の特徴は、前記画像検索装置において、画像入力手段は、ユーザが描画する画像を入力するものであり、検索対象画像を検索するために画像入力手段に対して最終的に入力された最終入力画像を構成する構成画像を同検索対象画像に対応させて記憶する構成画像記憶手段と、構成画像記憶手段に記憶した構成画像を最終入力画像単位で互いに組み合わせて組合せ画像を生成する組合せ画像生成手段と、構成画像および組合せ画像に対する前記特徴量である過去画像特徴量をそれぞれ算出する過去画像特徴量算出手段と、画像入力手段に構成画像が入力されるごとに、入力された全ての構成画像を含む入力画像に対して入力画像特徴量をそれぞれ算出する入力画像特徴量算出手段と、過去画像特徴量と入力画像特徴量とを比較して、構成画像および組合せ画像の中から入力画像に近似する画像を近似過去画像として抽出する近似過去画像抽出手段とを備え、検索結果出力手段は、検索対象画像抽出手段によって抽出された検索対象画像に加えて、近似過去画像に対応付けられた検索対象画像を検索結果として出力することにある。
　このように構成した請求項４に係る本発明の他の特徴によれば、ユーザが検索対象画像を検索するために過去に入力した画像の構成画像を同検索対象画像に対応付けて記憶しておき、ユーザにより描画された画像の入力ごとに描画した全体画像と前記構成画像および同構成画像によって構成された組合せ画像とを比較して、同全体画像に近似する構成画像または組合せ画像を抽出する。そして、同抽出した構成画像または組合せ画像に対応付けられた検索対象画像を出力している。すなわち、同一の検索対象画像に対してユーザが描画した入力画像は、検索対象である検索対象画像より、同検索対象に対して同一または異なるユーザが過去に入力した過去画像に似ている可能性が極めて高い。このため、ユーザが描画した入力画像を検索対象画像と比較するより同入力画像を過去画像と比較した方が、ユーザが意図する検索対象画像を抽出し易い。また、この場合、ユーザが最終的に入力した画像と過去に入力した最終画像とを比較するより、ユーザによる画像の描画に応じて過去画像を構成する構成画像または同構成画像を組み合わせた組合せ画像と比較した方がより迅速に検索対象画像の検索を行うことができる。この結果、ユーザが描画した入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。
　また、請求項５に記載した本発明の他の特徴は、前記画像検索装置において、さらに、ユーザが検索結果の中から検索対象画像を指定するための検索画像指定手段を備え、構成画像記憶手段は、検索画像指定手段により検索画像が指定されたとき、最終入力画像を構成する構成画像を同検索画像に対応させて記憶することにある。
　このように構成した請求項５に係る本発明の他の特徴によれば、ユーザが検索結果の中から検索対象画像を指定する操作によって、同検索画像を抽出するために描画された入力画像を構成する構成画像が同検索対象画像に対応付けられて記憶される。したがって、入力画像に基づいて検索される検索対象画像がユーザの意図に合った画像であるとして指定されるごとに同検索対象画像と対応付けられた構成画像および組合せ画像が増加する。これにより、幅広い態様の入力画像に対して検索対象画像が抽出されるようになり検索対象画像の検索精度が一層向上する。
　また、請求項６に記載した本発明の他の特徴は、前記画像検索装置において、近似過去画像抽出手段は、同一の検索対象画像に対して画像入力手段に入力された入力画像を構成する構成画像の数に応じた数の構成画像または同構成画像で構成された組合せ画像に対応する過去画像特徴量と入力画像特徴量とを比較して近似過去画像を抽出することにある。
　このように構成した請求項６に係る本発明の他の特徴によれば、画像入力手段に入力された入力画像と構成画像または組合せ画像とを比較する際、入力画像を構成する構成画像の数と同じ数の構成画像または組合せ画像と入力画像とを比較している。これにより、入力画像と同じ構成の構成画像または組合せ画像に対して比較処理が行われるため、全ての構成画像および組合せ画像との比較処理を実行する場合に比べて効率的かつ高精度な検索処理を実行することができる。
　また、請求項７に係る本発明の他の特徴は、前記画像検索装置において、構成画像記憶手段は、構成画像とともに同構成画像が画像入力手段に入力された順番を筆順として記憶し、同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として記憶する高頻度組合せ画像記憶手段と、画像入力手段に構成画像が入力されるごとに、同画像入力装置に対する直近の筆順から高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される筆順組合せ画像を生成する筆順組合せ画像生成手段とを備え、入力画像特徴量算出手段は、筆順組合せ画像に対する前記特徴量である筆順組合せ画像特徴量を算出し、近似過去画像抽出手段は、過去画像特徴量のうち、高頻度組合せ画像に対応する過去画像特徴量と筆順組合せ画像特徴量との比較処理を他の過去画像特徴量および入力画像特徴量の比較処理に優先して実行することにより近似過去画像を抽出し、検索結果出力手段は、過去画像抽出手段にて高頻度組合せ画像が近似過去画像として抽出されたとき、同抽出された近似過去画像に対応付けられた検索対象画像を出力することにある。
　このように構成した請求項７に係る本発明の他の特徴によれば、入力画像を構成する構成画像を描画する筆順のうち、互いに連続する筆順の構成画像で構成された組合せ画像の中から高い頻度で検索対象画像に対応付けられる組合せ画像を高頻度組合せ画像として記憶しておき、画像入力手段に入力された入力画像と組合せ画像とを比較する際、画像入力装置に対する直近の筆順から高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される入力画像と高頻度組合せ画像との比較処理を他の組合せ画像と入力画像との比較処理に優先して実行している。これは、本発明者が実験により、ユーザが同一の検索対象画像に対して入力画像を描画する際、筆順が連続する傾向にある２つ以上の構成画像が存在することに気付いたことにある。したがって、経験的に筆順が連続する傾向にある２つ以上の構成画像で構成される組合せ画像を高頻度組合せ画像として優先的に入力画像と比較することにより、入力画像に対する比較の順番を考慮せずに全ての構成画像および組合せ画像に対して比較処理を実行する場合に比べて効率的かつ高精度な検索処理を実行することができる。
　また、請求項８に係る本発明の他の特徴は、前記画像検索装置において、同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として抽出する高頻度組合せ画像抽出手段を備えることにある。
　このように構成した請求項８に係る本発明の他の特徴によれば、同一の検索対象画像に対して対応付けられる組合せ画像の中から同検索対象画像に高い頻度で対応付けられる高頻度組合せ画像が自動的に抽出される。これにより、効率良く、かつ確実に高頻度組合せ画像記憶手段に高頻度組合せ画像を記憶させることができ、検索対象画像の検索処理を短時間に精度良く行うことができる。
　また、請求項９に係る本発明の他の特徴は、前記画像検索装置において、高頻度組合せ画像抽出手段は、同一の検索対象画像に対して複数の高頻度組合せ画像を抽出するとともに、同抽出した各高頻度組合せ画像における頻度に応じた優先度を算出し、近似過去画像抽出手段は、前記優先度の高い順に高頻度組合せ画像に対応する過去画像特徴量を用いて近似過去画像を抽出することにある。
　このように構成した請求項９に係る本発明の他の特徴によれば、同一の検索対象画像に対して複数抽出した高頻度組合せ画像にそれぞれ優先度を付加し、同優先度に従って高頻度組合せ画像と入力画像とを比較するようにしている。これにより、単一の高頻度組合せ画像のみを抽出して入力画像と比較する場合に比べて、幅広い高頻度組合せ画像との比較ができるようになり、ユーザが意図する検索対象画像を短時間に精度良く検索することができる。
　また、請求項１０に係る本発明の他の特徴は、前記画像検索装置において、検索対象画像記憶手段は、検索対象画像特徴量を記憶しており、検索対象画像抽出手段は、近似過去画像抽出手段により近似過去画像が抽出されなかったとき、検索対象画像特徴量と入力画像特徴量とを比較して、入力画像に近似する検索対象画像を抽出することにある。
　このように構成した請求項１０に係る本発明の他の特徴によれば、入力画像に対して構成画像および組合せ画像を比較した後、同比較処理において近似過去画像が抽出されなかったとき、入力画像と検索対象画像とを比較して検索対象画像を抽出するようにしている。すなわち、入力画像を比較する際、入力画像に似た構成の構成画像および組合せ画像を優先して比較している。これにより、入力画像に対して検索対象画像を先に比較する場合に比べて効率的かつ高精度な検索処理を実行することができる。
　また、請求項１１に係る本発明の他の特徴は、前記画像検索装置において、構成画像は、画像入力手段に一筆で入力された画像情報であることにある。これによれば、ユーザによる一筆ごとに検索対象画像の検索処理が実行されるため、ユーザにとって理解し易いとともに操作性の良い画像検索装置とすることができる。
　また、請求項１２に係る本発明の他の特徴は、前記画像検索装置において、画像入力手段に対する画像の描画に用いるための部品画像を記憶する部品画像記憶手段を備え、構成画像は、画像入力手段を介して入力された部品画像であることにある。これによれば、マウスやペンタブレットなどの入力装置では描画が困難な画像や使用頻度の高い画像を予め部品画像記憶手段に用意しておくことで、入力画像を迅速かつ高精度に描画することができ、結果として検索対象画像の検索精度を向上させることができる。なお、本請求項１２に係る発明を前記請求項７に係る発明に適用した場合、前記請求項４に係る筆順は、部品画像を入力する順番に対応する。
　また、本発明は画像検索装置の発明として実施できるばかりでなく、同画像検索装置に適用されるコンピュータプログラムとしても実施できるものである。
本発明の第1および第２実施形態に係る画像検索装置の概略構成を示すブロック図である。 検索対象画像、構成画像および組合せ画像の関係を模式的に示す説明図である。 図1に示す中央処理装置によって実行される第１の画像検索プログラムのフローチャートである。 図１に示す表示装置における表示状態を示す説明図である。 (ａ)～(ｅ)は、特徴量における第１の特徴量の算出過程を説明するための説明図である。 特徴量における第２の特徴量の算出過程で用いられる２５種類の存否態様パターンを示す説明図である。 ２５種類の存否態様パターンを特定する際における互いに等価な画素パターンを説明するための説明図である。 特徴量における第２の特徴量を構成する５種類の特徴量グループの存否態様パターンを示す説明図である。 特徴量の算出過程において第１の特徴量と第２の特徴量とを統計処理する過程のイメージを示す説明図である。 検索対象画像、過去スケッチ画像および高頻度組合せ画像の関係を模式的に示す説明図である。 図1に示す中央処理装置によって実行される第２の画像検索プログラムのフローチャートである。 高頻度組合せ画像を抽出する過程を説明するための説明図である。 高頻度組合せ画像を抽出する過程を説明するための説明図である。 高頻度組合せ画像を抽出する過程を説明するための説明図である。 高頻度組合せ画像を抽出する過程を説明するための説明図である。
Ｗ１，Ｗ２，Ｗ３…ウィンドウ、ｉ…注目画素、ｒ…隣接画素、１００…画像検索装置、１０１…中央処理装置、１０２…主記憶装置、１０３…補助記憶装置、１０４…コンピュータ本体、１０５…入力装置、１０５ａ…キーボード、１０５ｂ…マウス、１０６…表示装置。
（第１実施形態）
　以下、本発明に係る画像検索装置の第１実施形態について図面を参照しながら説明する。図１は、本発明に係る画像検索装置１００の構成を示すブロック図である。なお、本明細書において参照する図は、本発明の理解を容易にするために一部の構成要素を誇張して表わすなど模式的に表している。このため、各構成要素間の寸法や比率などは異なっていることがある。
（画像検索装置１００の構成）
　画像検索装置１００は、中央処理装置（ＣＰＵ）１０１、主記憶装置１０２および補助記憶装置１０３を備えるコンピュータ本体１０４に、入力装置１０５および表示装置１０６が接続されて構成されたパーソナルコンピュータ（所謂パソコン）である。中央処理装置１０１は、図示しない演算装置および制御装置を備えており、主記憶装置１０２に記憶されたプログラムに従って各種演算処理を実行するとともに、主記憶装置１０２、補助記憶装置１０３、入力装置１０５および表示装置１０６の作動をそれぞれ制御する。主記憶装置１０２は、図示しないＲＯＭおよびＲＡＭなどから構成されており、中央処理装置１０１を作動させるためのプログラムやデータ、および同中央処理装置１０１が命令を実行する際に必要な各種情報を記憶する。
　補助記憶装置１０３は、ハードディスク装置で構成されており、ＯＳ（オペレーティングシステム）や各種アプリケーションプログラム、具体的には、本発明を実現するための第１の画像検索プログラムなどをそれぞれ記憶している。この補助記憶装置１０３は、第１の画像検索プログラムの実行時においてプログラムの実行に必要な各種情報および各種画像（画像データ）の一時的または恒久的な保存に用いられる。具体的には、この補助記憶装置１０３には、複数の検索対象画像および過去スケッチ画像がそれぞれ記憶される。この場合、検索対象画像とは、第１の画像検索プログラムの実行により検索の対象となる画像である。
　一方、過去スケッチ画像とは、第１の画像検索プログラムの実行による検索対象画像の検索に用いる画像であり、少なくとも１つの検索対象画像に対応付けられた構成画像および組合せ画像により構成されている。ここで、構成画像とは、過去に第１の画像検索プログラムの実行により検索対象画像の検索を行った際に、ユーザが意図する検索対象画像を抽出するために最終的に入力した入力画像の一部または全部を構成する画像である。また、組合せ画像とは、１つの入力画像を構成する複数の構成画像を互いに組み合わせた１つ以上の画像である。図２は、これら検索対象画像、構成画像および組合せ画像の関係の一例を模式的に示している。図２においては、検索対象画像１，２に対して過去スケッチ画像１が対応付けられているとともに、検索対象画像３に対して過去スケッチ画像２が対応付けられている。過去スケッチ画像１，２において、ユーザが意図する検索対象画像１～３を抽出するために最終的に入力した入力画像は、組合せ画像のうち図示最下段に示した組合せ画像である。
　入力装置１０５は、キーボート１０５ａおよびポインティングデバイスとしてのマウス１０５ｂから構成されており、主記憶装置１０２を介して中央処理装置１０１にユーザからの各種命令や各種データを入力する。具体的には、中央処理装置１０１に対して第１の画像検索プログラムの実行命令や検索対象画像の検索の条件となるスケッチ画像を入力する。表示装置１０６は、液晶ディスプレイ装置で構成されており、中央処理装置１０１の作動状態および各種プログラムの実行状態をユーザに向けて表示する。具体的には、第１の画像検索プログラムの実行時において、検索対象画像の検索の条件となるスケッチ画像を描画するためのユーザインターフェースや、検索結果となる検索対象画像を表示する。
　（画像検索装置１００の作動）
　上記のように構成した画像検索装置１００の作動について説明する。この画像検索装置１００による検索対象画像の検索処理の前提として、画像検索装置１００における補助記憶装置１０３には、第１の画像検索プログラムによる検索対象となる検索対象画像が同検索対象画像に基づいて算出される検索対象画像特徴量とともに所定の記憶領域に予め記憶されている。また、補助記憶装置１０３には、過去に画像検索プログラムの実行による検索対象画像の検索において検索対象画像の抽出に用いられた過去スケッチ画像が同検索対象画像と対応付けられて所定の記憶領域に記憶されている。この場合、補助記憶装置１０３には、過去スケッチ画像とともに、同過去スケッチ画像に基づいて算出される過去画像特徴量も記憶されている。なお、検索対象画像特徴量および過去画像特徴量については後述する。
　まず、ユーザは、画像検索装置１００の電源を投入する。これにより、画像検索装置１００は、図示しないＯＳなどの所定のプログラムを実行してユーザからの指示を待つ待機状態となる。次に、ユーザは、画像検索装置１００を用いた画像の検索作業を開始する。具体的には、ユーザは、入力装置１０５を操作して画像検索の開始を画像検索装置１００（中央処理装置１０１）に指示する。この指示に応答して、画像検索装置１００（中央処理装置１０１）は、図３に示す第１の画像検索プログラムをステップＳ１００にて開始して、ステップＳ１０２にて、描画ツールを起動させる。
　描画ツールは、入力装置１０５におけるマウス１０５ｂを用いて線画からなるスケッチ画像を入力するためのユーザインターフェースであり、第１の画像検索プログラムとは別に用意された描画ツールプログラム（図示せず）を実行することにより実現される。第１の画像検索プログラムおよび描画ツールプログラムの実行時における表示装置１０６の表示状態の一例を図４に示す。図４において、表示装置１０６の表示画面の奥行方向最背面にて略全面に表示されているウィンドウＷ１が第１の画像検索プログラムの基本操作画面である。このウィンドウＷ１の前面における表示画面の左半分に重ねられて表示されているウィンドウＷ２が検索対象画像を表示させる領域であり、同表示画面の右半分に表示されているウィンドウＷ３が描画ツールである。これらのウィンドウＷ１～Ｗ３は、ユーザによるマウス１０５ｂの操作によって表示スケール、互いの位置関係および奥行方向の配置順序を任意に変更することができる。
　これらのうち、ウィンドウＷ３内には、スケッチ画像を描画するための描画領域Ｗ３ａが設けられている。したがって、ユーザは、表示装置１０６の表示画面に表示されるカーソル（図示せず）をマウス１０５ｂの操作により描画領域Ｗ３ａ内で移動させながらマウス１０５ｂの押しボタンスイッチ（図示せず）を押下し続ける操作、すなわち、ドラッグ操作することにより操作描画領域Ｗ３ａ内に線図からなる画像を描画することができる（図においては、顔面が描画されている）。この描画ツールによって描画されるスケッチ画像は、ビットマップ（ラスタ）形式の画像データで表される。
　次に、画像検索装置１００は、ステップＳ１０４にて、この第１の画像検索プログラムの終了判定を実行する。具体的には、画像検索装置１００は、ユーザによる画像検索プログラムの終了指令を検出するまでの間、この判定処理にて「Ｎｏ」と判定し続けてステップＳ１０６に進む。一方、画像検索装置１００は、ユーザによる第１の画像検索プログラムの終了指令の入力を検出したときには、同判定処理にて「Ｙｅｓ」と判定してステップＳ１２４に進む。
　次に、画像検索装置１００は、ステップＳ１０６にて、検索対象画像が選択されたか否かを判定する。このステップＳ１０６における判定処理は、前記ウィンドウＷ２内に画像の検索結果として表示される検索対象画像の中からユーザによる画像の選択（指定）の有無を検出するものである。したがって、画像検索装置１００は、ウィンドウＷ２内に表示される検索対象画像に対してユーザによる画像の選択がなされるまでの間、この判定処理にて「Ｎｏ」と判定し続けてステップＳ１０８に進む。一方、画像検索装置１００は、ウィンドウＷ２内に表示される検索対象画像に対してユーザによる画像の選択がなされたとき、この判定処理において「Ｙｓｅ」と判定してステップＳ１１８に進む。
　次に、画像検索装置１００は、ステップＳ１０８にて、スケッチ画像の入力の有無を判定する。具体的には、画像検索装置１００は、描画ツールを介して入力画像が取得されるまでの間、スケッチ画像の入力がないものとして、この判定処理にて「Ｎｏ」と判定し続けてステップＳ１０４に戻る。これにより、画像検索装置１００は、描画ツールを介して画像を取得するまで前記ステップＳ１０４～ステップＳ１０８の各処理を繰り返し実行する。
　一方、画像検索装置１００は、描画ツールを介して入力画像を取得した場合には、スケッチ画像の入力があったものとして、この判定処理にて「Ｙｅｓ」と判定してステップＳ１１０に進む。この場合、描画ツールによる入力画像の取得は、ユーザによる描画領域Ｗ３ａ内でのカーソルのドラッグ操作の終了を検出して行われる。すなわち、ユーザが描画領域Ｗ３ａ内で一筆書きを行うごとに入力画像の取得が行われる。
　次に、画像検索装置１００は、ステップＳ１１０にて、入力したスケッチ画像を記憶する。この場合、画像検索装置１００は、描画領域Ｗ３ａ内に直近に描画された一筆分の描画画像のほかに、描画領域Ｗ３ａ内に描画された全ての描画画像を１つの入力画像として補助記憶装置１０３にそれぞれ一時的に記憶する。
　次に、画像検索装置１００は、ステップＳ１１２にて、前記記憶した入力画像に対して特徴量を計算する。ここで、特徴量は、画像の属性（例えば、輝度情報、色彩情報、画像周波数、ヒストグラム、形状）に基づいてその画像の特徴を数値化した情報であり、第１の特徴量と第２の特徴量とから構成されている。本第１実施形態においては、テクスチャ解析におけるＬＢＰ（Local Binary patterns）の概念を応用して画像の形状に基づいて特徴量を算出する。
　まず、第１の特徴量の算出処理について説明する。この第１の特徴量の算出処理は既に公知であるので、簡単な説明に留めておく（詳しくは、「映像メディア学会誌Vol.56,No4,p.653-658(2002)」、社団法人映像情報メディア学会を参照）。画像検索装置１００は、まず、ラスタ走査により入力画像の線画素を探索する。この線画素の探索処理は、原画像の平滑化、エッジ（輪郭）検出、２値化および細線化処理などの各処理によって行われる。次に、画像検索装置１００は、図５（ａ），（ｂ）示すように、探索した線画素を注目画素ｉとして方向ｘ（方向０～方向７）に存在する線画素の総数ｃｉｘを計算する。この場合、ある画像における線画素の総数は、対象とする画像によってそれぞれ異なるため、各方向の線画素の総数ｃｉｘを全画素数で正規化した値を用いて閾値処理を実行する。これにより、画像の大きさに不変な特徴量となる。
　次に、画像検索装置１００は、線画素の総数ｃｉｘを下記数１に代入して判定値Ｓｉｘを算出するとともに下記数２を用いてｆｉｘを算出する（図５（ｃ））。なお、下記数１，数２において、Ｃは線画素の総数でありＴｈは頻度判定の閾値である。本第１実施形態においては、８方向に分割していることを考慮して１／８＝０.１２５、Ｔｈ＝０.１５とする。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　次に、画像検索装置１００は、図５（ｄ），（ｅ）に示すように、８方向それぞれを各ビットと考えた８ビットの２進数と考え、この２進数（ｆｉ７，ｆｉ６，ｆｉ５，ｆｉ４，ｆｉ３，ｆｉ２，ｆｉ１，ｆｉ０）を１０進数に変換した値ｄｉ（０≦ｄｉ≦２５５）のヒストグラムに投票する。これにより、位置に不変な特徴量になる。これらの各処理をＣ個の全ての線画素に対して実行し、線画素間の相対位置関係をヒストグラムにまとめて２５６次元の第１の特徴量とする。これにより、ヒストグラムへの投票が注目画素ｉごとに行われて線画素の全線画素に対する相対的で大局的な位置関係が保存される。すなわち、入力全画像を構成する輪郭について大きさ、位置、方向に無関係な形状情報のみに基づく第１の特徴量が算出される。
　次に、第２の特徴量の算出処理について説明する。この第２の特徴量は、所謂高次局所自己相関特徴関数を利用して算出される。ここで高次局所自己相関特徴関数とは、注目画素ｉでの輝度値をｆ（ｉ）とするとその周囲のＮ次自己相関関数は、注目画素ｉの周囲のＮ個の変位（ａ１，ａ２，・・・，ａＮ）に対して下記数３によって定義されるものである。
Figure JPOXMLDOC01-appb-M000003
　本発明においては、局所的な特徴を算出するため、上記数３における次数Ｎは２まで、変位（ａ１，ａ２，・・・，ａＮ）は３×３の領域としている。これによれば、平行移動に関して互いに等価なものを除くと、注目画素ｉに対して注目画素ｉに隣接する隣接画素ｒの存否の態様は、図６に示すように、２５種類の存否態様パターンにまとめることができる。ここで、平行移動に関して等価なものとは、注目画素ｉを中心とする３×３のマトリクスにおいて、注目画素ｉと同注目画素ｉに隣接して存在する隣接画素ｒとを各画素間の相対的な位置関係を維持した状態で３×３のマトリクス内で水平方向、垂直方向および左右の斜め方向に１マス分だけそれぞれシフト（平行移動）させた各シフト画素パターンに対して、注目画素ｉを中心とする隣接画素ｒの位置関係が同一となる他の画素パターンである。
　例えば、注目画素ｉを中心とする２つの隣接画素ｒからなる画素パターンＧＰの場合、３×３のマトリクス内で水平方向、垂直方向および左右の斜め方向に１マス分だけそれぞれシフト（平行移動）させた各シフト画素パターンＳＰ１～ＳＰ８は、図７に示すようになる。これらのシフト画素パターンＳＰ１～ＳＰ８のうち、シフト画素パターンＳＰ１，ＳＰ７は、注目画素ｉを中心とする２つの隣接画素ｒからなる他の画素パターンＯＰ１，ＯＰ２と同一である。したがって、画素パターンＧＰに対して他の画素パターンＯＰ１，ＯＰ２はそれぞれ等価な関係にある画素パターンとしてまとめられる。
　そして、本発明においては、この２５種類の存否態様パターンを５種類の特徴量グループに分類している。具体的には、図８に示すように、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに水平方向に存在する位置関係となる特徴量グループ０、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに垂直方向に存在する位置関係となる特徴量グループ１、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに右斜め方向に存在する位置関係となる特徴量グループ２、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに左斜め方向に存在する特徴量位置関係となるグループ３および特徴量グループ０～特徴量グループ３のいずれにも属さない位置関係となる特徴量グループ４である。
　この場合、特徴量グループ４には、注目画素ｉの周囲に隣接画素ｒが１つも存在しないパターンも含まれる。すなわち、特徴量グループ０～特徴量グループ４の５種類の特徴量グループは、注目画素ｉの周囲に隣接画素ｒが１つも存在しない場合を含めて注目画素ｉの周囲に存在する隣接画素ｒの注目画素ｉに対する位置関係を５種類の位置関係ごとにまとめたものである。このような２５種類の存否態様パターンによるグルーピングは、本願発明者が、原画像における線画素を構成する各画素に対して前記２５種類の存否態様パターンへのマッチングテストを行なった結果、特定の存否態様パターンに対して度数分布が偏る傾向を見出したことに基づいている。
　すなわち、画像検索装置１００は、前記探索した線画素における注目画素ｉに隣接する隣接画素ｒと注目画素ｉとの位置関係（隣接画素ｒが存在しない場合も含む）が前記２５種類の存否態様パターンのいずれに該当するかを特定するマッチング処理を実行する。そして、画像検索装置１００は、前記マッチング処理によって特定した存否態様パターンに基づいて注目画素ｉを前記特徴量グループにおける特徴量グループ０～特徴量グループ４のいずれかに分類する。
　例えば、図５（ａ）に示した注目画素ｉに対して分類される特徴量グループは、注目画素ｉおよび２つの隣接画素ｒが水平方向に沿って配置されているため、特徴量グループ０となる。また、例えば、注目画素ｉに対して隣接画素ｒが注目画素ｉの真下に１つだけ存在している場合には、注目画素ｉに対して隣接画素ｒが注目画素ｉの真上に１つだけ存在している場合に相当するため特徴量グループ１となる。また、例えば、図７に示した他の画素パターンＯＰ１，ＯＰ２に対して分類される特徴量グループは、他の画素パターンＯＰ１，ＯＰ２が画素パターンＧＰと等価であるため、特徴量グループ３となる。さらに、また、注目画素ｉに対して隣接画素ｒが３つ以上存在している場合には、特徴量グループ０～特徴量グループ３のいずれにも属さない位置関係となる特徴量グループ４に分類される。なお、第１の特徴量および第２の特徴量の算出処理に先立って線画素の探索処理において細線化処理を実行しているため、注目画素ｉに対して３つ以上の隣接画素ｒが存在するケースは稀であり、このような３つ以上の隣接画素ｒが存在する注目画素ｉが以後の処理に与える影響は少ない。
　画像検索装置１００は、これらの各処理を全ての線画素に対して実行し、線画素間の相対位置関係をヒストグラムにまとめて５次元の第２の特徴量とする。これにより、ヒストグラムへの投票が注目画素ｉごとに行われて線画素の隣接画素ｒに対する相対的で局所的な位置関係が保存される。すなわち、入力全画像を構成する輪郭について大きさ、位置、方向に無関係な形状情報のみに基づく第２の特徴量が算出される。
　そして、画像検索装置１００は、前記算出した第１の特徴量と第２の特徴量とを１つのヒストグラムにまとめる統計処理を実行するとともに統計処理結果を正規化して大きさに不変な特徴量とする。図９は、この第１の特徴量と第２の特徴量とを１つのヒストグラムにまとめる統計処理のイメージを示している。これらにより、輪郭について大きさ、位置、方向に無関係な形状情報のみに基づく１２８０次元（第１の特徴量２５６次元×第２の特徴量５次元）の特徴量が算出される。
　また、画像検索装置１００は、入力画像を回転させた画像および同入力画像の鏡像画像についても特徴量をそれぞれ算出する。具体的には、入力画像を回転させた画像について第１の特徴量を算出する場合には、画像検索装置１００は、図５（ｄ）示す２値化した２進数を１ビットずつローテートすることにより８方向について回転させた第１の特徴量を算出する。また、入力画像を回転させた画像について第２の特徴量を算出する場合には、画像検索装置１００は、前記ローテートさせた向きと同じ方向に隣接画素を回転させた存否態様パターンを用いることにより第２の特徴量を算出する。
　一方、入力画像の鏡像画像について第１の特徴量を算出する場合には、図５（ｄ）示す２値化した２進数を鏡像の関係になる２進数に並び替えた２進数によって第１の特徴量を算出する。また、入力画像の鏡像画像について第２の特徴量を算出する場合には、特徴量グループ３（右斜線）と特徴量グループ４（左斜線）とを入れ替えることにより第２の特徴量を算出する。これらにより、原画像を回転させたり鏡像画像を生成したりすることなく容易に入力画像を回転させた画像および同入力画像の鏡像画像について特徴量をそれぞれ算出することができる。このステップＳ１１２における特徴量の算出処理によって入力全画像に対する特徴量である入力画像特徴量が算出される。すなわち、このステップＳ１１２における特徴量の算出処理が、本発明に係る入力画像特徴量算出手段に相当する。
　なお、画像検索装置１００の補助記憶装置１０３に記憶されている検索対象画像に対する検索対象画像特徴量および過去スケッチ画像に対する過去画像特徴量は、上記した各処理の実行によって算出された値である。この場合、検索対象画像は、前記と同様に、ビットマップ形式の画像データに変換された後、平滑化、エッジ（輪郭）検出、２値化および細線化の各処理を経て特徴量の算出処理が実行される。
　次に、画像検索装置１００は、ステップＳ１１４にて、検索対象画像の検索処理を実行する。具体的には、画像検索装置１００は、入力画像に対する検索対象画像および過去スケッチ画像（構成画像および組合せ画像）の画像間距離を測定し、同距離が近い順に検索対象画像および過去スケッチ画像を配列させる。より具体的には、画像検索装置１００は、下記数４に示す式を用いて、入力画像特徴量に対する検索対象画像特徴量および過去画像特徴量の１２８０次元空間おけるベクトル距離（ユークリッド距離Ｄｉ）を算出し、算出したベクトル距離が短い順に対応する検索対象画像および過去スケッチ画像を配列させる。
Figure JPOXMLDOC01-appb-M000004
　上記数４において、Ｆｓは入力画像特徴量であり、Ｆｉは検索対象画像特徴量および過去画像特徴量であり、ｊは１２８０次元ある特徴量の各次元をそれぞれ表している。また、Ｋは、画像の回転と鏡像とに対応させるためのパターンの数であり、画像の回転と鏡像とを考慮しない通常の検索の場合にはＫ＝１、画像の回転を考慮した検索の場合にはＫ＝２、画像の鏡像を考慮した検索の場合にはＫ＝３、画像の回転と鏡像とを考慮した検索の場合にはＫ＝１６となる。これにより、入力画像の回転画像および鏡像画像についても検索対象画像および過去スケッチ画像に対して比較処理が実行され、入力画像に近似（同一も含む）している順番で検索対象画像および過去スケッチ画像が配列される。このステップＳ１１４の検索処理によって入力画像に似ている順番で配列された検索対象画像および過去スケッチ画像が、本発明に係る近似過去画像に相当する。すなわち、このステップＳ１１４における入力画像に対して検索対象画像を比較して抽出する処理が本発明に係る検索対象画像抽出手段に相当し、同入力画像に対する過去スケッチ画像を比較して抽出する処理が本発明に係る近似過去画像抽出手段に相当する。
　このステップＳ１１４における検索対象画像の検索処理においては、入力画像に対して検索対象画像および過去スケッチ画像がそれぞれ比較処理される。この場合、ユーザが同一の検索対象画像を過去に検索している場合には、入力画像は、ユーザが意図とする検索対象画像より同検索画像を検索した際に描画した過去スケッチ画像に似ていることが多い。したがって、ユーザが同一の検索対象画像を過去に検索している場合には、過去スケッチ画像を介して目的とする検索対象画像が高順位で抽出され易くなる。
　次に、画像検索装置１００は、ステップＳ１１６にて、検索結果を表示装置１０６に表示させる。具体的には、画像検索装置１００は、前記ステップＳ１１４の検索処理にて配列した順番で検索対象画像をウィンドウＷ２に表示させる。この場合、画像検索装置１００は、抽出された画像が検出対象画像である場合には、同検出対象画像をそのまま表示させ、同抽出された画像が過去スケッチ画像である場合には、同過去スケッチ画像に対応付けられた検索対象画像を表示装置１０６に表示させる。すなわち、このステップ１１６における検索結果の表示処理が、本発明に係る検索結果出力手段に相当する。そして、画像検索装置１００は、検索結果を表示装置１０６に表示させた後、ステップＳ１０４に戻る。
　これにより、ユーザは、表示装置１０６に表示された検索結果を目視により確認して、検索結果の中に自らが意図する検索対象画像が存在しなければスケッチ画像の入力を続行する。この場合、ユーザがスケッチ画像を一筆描画するごとに検索対象画像の検索処理が実行されて表示装置１０６に検索結果が描画（一筆）ごとに更新されながら表示される（ステップＳ１０８～ステップＳ１１６）。この場合においても、上記したように、ユーザが同一の検索対象画像を過去に検索している場合には、入力画像は目的とする検索対象画像より同検索対象画像を検索した際に描画した過去スケッチ画像に似ていることが多いため、入力画像の画像量がより少ない段階で目的とする検索対象画像が検索される。
　そして、表示装置１０６のウィンドウＷ２内にユーザが意図する検索対象画像が表示された場合には、ユーザはマウス１０５ｂを操作して自らが意図する検索対象画像を選択（クリック）する。これにより、第１の画像検索プログラムにおけるステップＳ１０６の判定処理において「Ｙｅｓ」と判定されてステップＳ１１８に進む。ステップＳ１１８にて、画像検索装置１００は、ユーザによって選択された検索対象画像を拡大表示させる。
　そして、画像検索装置１００は、ステップＳ１２０にて、過去スケッチ画像を生成する。具体的には、画像検索装置１００は、現時点において記憶している入力画像を検索対象画像の抽出に用いられた最終的な画像として確定し、同入力画像を構成する一筆ごとの画像を構成画像として前記ステップＳ１０６にて選択された検索対象画像に対応付けて恒久的にそれぞれ記憶する。また、画像検索装置１００は、各構成画像の特徴量を算出して過去画像特徴量として記憶する。
　さらに、画像検索装置１００は、最終的な画像として確定した入力画像を構成する各構成画像をそれぞれ組み合わせた組合せ画像を生成し前記ステップＳ１０６にて選択された検索対象画像に対応付けて恒久的に記憶する。この場合においても、画像検索装置１００は、構成画像と同様に、組合せ画像に関する特徴量を計算して過去画像特徴量として記憶する。このステップＳ１２０における各処理が、本発明に係る構成画像記憶手段、組合せ画像生成手段および過去画像特徴量算出手段にそれぞれ相当する。そして、画像検索装置１００は、ステップＳ１２２にて、ウィンドウＷ３の描画領域Ｗ３ａ内に描画されている画像をクリア（消去）した後、ステップＳ１０４に戻る。
　一方、表示装置１０６のウィンドウＷ２内に表示された検索結果の中にユーザが意図する検索対象画像が存在せず、検索対象画像の検索処理を終了する場合には、ユーザは、マウス１０５ｂを操作してウィンドウＷ１内に設けられている検索終了アイコン（図示せず）をクリックする。これにより、画像検索装置１００は、終了指令を入力することによりステップＳ１０４の判定処理にて「Ｙｅｓ」と判定してステップＳ１２４に進む。ステップＳ１２４において、画像検索装置１００は、描画ツールの実行を終了させる。そして、画像検索装置１００は、ステップＳ１２６にて、この画像検索プログラムの実行を終了する。すなわち、検索結果の中から検索対象画像を選択せずに画像検索プログラムを終了した場合には、過去スケッチ画像の生成処理は実行されない。
　上記作動説明からも理解できるように、上記第１実施形態によれば、画像検索装置１００は、入力画像の属性に基づく入力画像特徴量と、検索対象である検索対象画像の属性に基づく検索対象画像特徴量および過去スケッチ画像の属性に基づく過去画像特徴量とを比較することにより入力画像と同一または近似する画像を抽出している。この場合、入力画像、検索対象画像および過去スケッチ画像をそれぞれ表す特徴量は、画像を構成する各画素の画像全体の画素に対する相対的な位置関係を表す第１の特徴量と、同画像を構成する各画素の同各画素に隣接する画素に対する相対的な位置関係を表す第２の特徴量とによって構成されている。これにより、入力画像に対して大局的観点（第１の特徴量）と局所的観点（第２の特徴量）とから検索対象画像および過去スケッチ画像をその大きさ、配置位置および向きに関わらない形状情報に基づいて特定することができる。これらの結果、入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。また、この場合、第２の特徴量は、注目画素に対する同注目画素に隣接する隣接画素の存否の態様に応じて３種類ないし５種類の特徴量グループに振り分ける統計処理によって算出される。これにより、第２の特徴量は、互いの位置関係の２５種類の全ての存否態様パターンごとに統計処理してその結果を記憶する場合に比べて記憶しなければならない情報量が極めて少なくなり、画像検索装置１００における補助記憶装置１０３の記憶容量の使用量を抑えることができる。
　また、さらに、上記第１実施形態によれば、ユーザが検索対象画像を検索するために過去に入力した画像の構成画像および組合せ画像を同検索対象画像に対応付けて記憶しておき、ユーザにより描画された画像の入力ごとに描画した入力画像全体と前記構成画像および同構成画像によって構成された組合せ画像とを比較して、同入力画像全体に近似する構成画像または組合せ画像を抽出する。そして、同抽出した構成画像または組合せ画像に対応付けられた検索対象画像を出力している。すなわち、同一の検索対象画像に対してユーザが描画した入力画像は、検索対象である検索対象画像より、同検索対象に対して同一または異なるユーザが過去に入力した過去画像に似ている可能性が極めて高い。このため、ユーザが描画した入力画像を検索対象画像と比較するより同入力画像を過去画像と比較した方が、ユーザが意図する検索対象画像を抽出し易い。また、この場合、ユーザが最終的に入力した画像と過去に入力した最終画像とを比較するより、ユーザによる画像の描画ごとに過去画像を構成する構成画像または同構成画像を組み合わせた組合せ画像と比較した方がより迅速に検索対象画像の検索を行うことができる。この結果、ユーザが描画した入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。
　さらに、本発明の実施にあたっては、上記第１実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。
　例えば、上記第１実施形態においては、過去スケッチ画像を構成する組合せ画像を補助記憶装置１０３に記憶する構成とした。しかし、組合せ画像は、構成画像の組合せによって構成されているため、必ずしも組合せ画像を生成して記憶しておく必要はない。すなわち、第１の画像検索プログラムのステップＳ１１４における検索対象画像の検索処理時において、記憶している構成画像を用いて組合せ画像および同組合せ画像に関する特徴量を算出して検索対象画像の検索処理を実行するようにしてもよい。これによれば、組合せ画像、同組合せ画像に関する特徴量を記憶するための記憶領域を節約でき、補助記憶装置１０３の記憶容量を有効的に利用することができる。
　また、上記第１実施形態においては、表示装置１０６に表示された検索結果の中から特定の検索対象画像が選択されることにより、同検索対象画像に対応付けられた過去スケッチ画像が生成されるように構成した。しかし、過去スケッチ画像と検索対象画像との対応付けは、必ずしも、検索結果として抽出された検索対象画像である必要はない。すなわち、ある検索対象画像を抽出（検索）するために入力されたスケッチ画像を過去画像としてもよい。換言すれば、ユーザが意図する検索対象画像を抽出できないスケッチ画像であっても、同検索対象画像を抽出するために描画される可能性が高いスケッチ画像であれば過去スケッチ画像とし用いることができる。これによっても、ユーザが描画した入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。
　また、上記第１実施形態においては、入力画像に対して検索対象画像と過去スケッチ画像とを区別せずに一括して比較するように構成した（ステップＳ１１４）。しかし、過去スケッチ画像は、ユーザが過去に用いた画像であり入力画像により近い画像であるため、検索対象画像に優先して入力画像と過去スケッチ画像とを比較するように構成してもよい。また、この場合、入力画像を構成する構成画像の数と同じ数の構成画像で構成された組合せ画像を優先的に入力画像と比較するようにするとよい。これらによれば、より効率的かつ精度良く検索対象画像の検索を行うことができる。
　また、上記第１実施形態においては、ユーザが過去に入力した画像の構成画像および組合せ画像に基づいて検索対象画像を検索するように構成した。これは、ユーザの手書きによるスケッチ画像に基づいて検索対象画像を効率良く検索するためである。しかし、構成画像および組合せ画像を用いることなく、入力画像と検索対象画像との比較処理のみによって検索対象画像を抽出することもできる。また、スケッチ画像とは異なる入力形態の画像に基づいて検索対象画像を検索する場合、例えば、イメージスキャナ、デジタルカメラ、ビデオカメラまたはインターネット上などからのデジタル画像データを直接取り込んで入力画像とする場合においても入力画像と検索対象画像との比較処理のみによって検索対象画像を抽出することもできる。
　この場合、画像検索装置１００は、画像検索装置１００内に取り込んだ入力画像に対して入力画像特徴量を算出するとともに、同算出した入力画像特徴量と検索対象画像特徴量との比較処理によって検索対象画像を抽出する。また、この場合、入力画像における入力画像特徴量の算出処理も画像検索装置１００に入力画像を提供する外部機器側で実行するようにしてもよい。すなわち、外部機器側から入力画像と同入力画像に対応する入力画像特徴量とを画像検索装置１００に出力するように構成してもよい。さらに、画像検索装置１００の補助記憶装置１０３に記憶されている検索対象画像特徴量も、同様に、補助記憶装置１０３に検索対象画像を提供する外部機器側で算出して補助記憶装置１０３に記憶させるように構成することもできる。これらによれば、画像検索装置１００側に入力画像特徴量や検索対象画像特徴量を算出するための構成が不要となるため、画像検索装置１００の構成や各種計算処理を簡単にすることができる。
　また、上記第１実施形態においては、特徴量を構成する第２の特徴量にける特徴量グループは、注目画素ｉに隣接する２つ以下の隣接画素ｒの存否の態様を５種類の存否態様パターンによって構成した。しかし、本発明者による実験によれば、特徴量グループは、注目画素ｉに隣接する２つ以下の隣接画素ｒの存否の態様からなる３種類ないし５種類の特徴量グループを用いることができる。例えば、上記第１実施形態における特徴量グループ２と特徴量グループ３とを１つの特徴量グループ２として合計４つの特徴量グループとしてもよいし、上記第１実施形態における特徴量グループ４を省略して合計４つの特徴量グループとしてもよい。また、上記第１実施形態における特徴量グループ２と特徴量グループ３とを１つの特徴量グループ２とするとともに、上記第１実施形態における特徴量グループ４を省略して合計３つの特徴量グループとしてもよい。これらによれば、第２の特徴量は、上記実施形態に比して記憶しなければならない情報量が更に少なくなるため、画像検索装置１００における補助記憶装置１０３の記憶容量の使用量をより抑えることができる。
（第２実施形態）
　次に、本発明に係る画像検索装置の第２実施形態について図面を参照しながら説明する。この第２実施形態は、上記第１実施形態をベースにして検索対象画像の検索精度を更に向上させたものである。このため、上記第１実施形態と共通する部分の説明は省略して異なる部分についてのみ説明する。
　この第２実施形態は、上記第１実施形態における過去スケッチ画像を構成する組合せ画像のうち、同一の検索対象画像に対応付けられる頻度が高い組合せ画像を他の組合せ画像に優先して検索対象画像の検索処理に用いることに特徴がある。具体的には、同一の検索対象画像に対応付けられた組合せ画像で、かつ筆順が連続する２つの構成画像で構成された組合せ画像の中から、同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として他の組合せ画像とは区別して補助記憶装置１０３内に記憶しておく。
　この高頻度組合せ画像は、ユーザが同一の検索対象画像に対して入力画像を描画する際、筆順が連続する傾向にある２つ以上の構成画像が存在することに着目し、互いに同一の構成画像で構成され、かつ同一の筆順で描画された組合せ画像を入力画像との比較対象にしたものである。本発明者によれば、例えば、所謂「へのへのもへじ」を描画する際、ユーザごとにその筆順が異なることがあるが、そのような場合であっても「の」の次に「へ」を描画するという筆順は多くのユーザに共通していることを見出した。また、ユーザが自動車の側面図を描画する場合においては、自動車の前後のタイヤを連続して描画する、すなわち、「○」を連続して２つ並べて書く傾向が強いことを見出した。本発明は、上記したような経験則に着目して完成されたものである。
　図１０は、本第２実施形態における検索対象画像、過去スケッチ画像および高頻度組合せ画像の関係を模式的に示している。なお、図１０においては、描画ツールに実際に描画した画像は省略している。図において、検索対象画像１には、３つの過去スケッチ画像１～３が対応付けられて補助記憶装置１０３に記憶されている。各過去スケッチ画像１～３において丸付き数字「１」～「５」は、構成画像および組合せ画像を構成する構成画像の数を表している。そして、各過去スケッチ画像１～３における組合せ画像のうち２つの構成画像で構成された組合せ画像（丸付き数字「２」の行の組合せ画像）の中から、描画ツールに描画した際、連続した筆順で描画した２つの構成画像で構成された組合せ画像であって（図においてグレーのハッチングを施した組合せ画像）、同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い高頻度組合せ画像にフラグを立てて他の組合せ画像と区別して補助記憶装置１０３内に記憶しておく。
　（画像検索装置１００の作動）
　次に、本第２実施形態における画像検索装置１００の作動について説明する。この画像検索装置１００による検索対象画像の検索処理の前提として、画像検索装置１００における補助記憶装置１０３には、上記第１実施形態と同様に、検索対象画像が検索対象画像特徴量とともに記憶されているとともに、過去スケッチ画像が過去画像特徴量とともに検索対象画像に対応付けられて記憶されている。そして、この過去スケッチ画像における組合せ画像の中には、前記高頻度組合せ画像が他の組合せ画像と区別して記憶されている。
　ユーザは、上記第１実施形態と同様の手順を経て画像検索の開始を画像検索装置１００に指示する。この指示に応答して、画像検索装置１００は、図１１に示す第２の画像検索プログラムをステップＳ１００にて開始する。この第２の画像検索プログラムは、上記第１実施形態における第１の画像検索プログラムの一部のステップ（ステップＳ１１０）を変更するとともに、新たなステップ（ステップＳ１１１，ステップＳ１２１，ステップＳ１３０～ステップＳ１３８）を加えたものである。したがって、第２の画像検索プログラムの作動説明においては、変更したステップおよび新たに追加したステップについて説明する。
　画像検索装置１００は、描画ツールを介してユーザが描画した画像を取得した場合には、ステップＳ１１０’におけるスケッチ画像の記憶処理を実行する。この場合、画像検索装置１００は、描画領域Ｗ３ａ内に直近に描画された一筆分の描画画像を同描画画像の筆順とともに一時的に記憶する。ここで、描画画像の筆順とは、描画領域Ｗ３ａ内に描画画像が描画された順番を意味する。例えば、何も描画されていない描画領域Ｗ３ａ内に最初の一筆目で描画した描画画像の筆順は「１」であり、次の一筆で描画された描画画像の筆順は「２」である。なお、このステップＳ１１０’におけるスケッチ画像の記憶処理においては、上記第１実施形態と同様に、描画領域Ｗ３ａ内に描画された全ての描画画像を１つの入力画像として一時的に記憶する。
　次に、画像検索装置１００は、ステップＳ１１１にて、前記取得した一筆分の描画画像が２筆目以降に描画された画像であるか否かを判定する。この場合、描画ツールを介して取得した直近の一筆分の描画画像が１筆目に描画されたものである場合には、この判定処理において「Ｎｏ」と判定されてステップＳ１１２に進み、ステップＳ１１４～ステップＳ１１６の各処理が実行される。すなわち、一筆分の描画画像が１筆目に描画されたものである場合には、上記第１実施形態と同様に入力画像の特徴量が計算されて検索対象画の検索が行われる。これは、高頻度組合せ画像が２つの構成画像によって構成されていることに起因する。したがって、高頻度組合せ画像が3つの構成画像で構成されている場合には、ユーザにより最低３筆分の描画が行われる必要がある。
　一方、描画ツールを介して取得した直近の一筆分の描画画像が２筆目以降に描画されたものである場合には、この判定処理において「Ｙｅｓ」と判定されてステップＳ１３０に進む。ステップＳ１３０にて、画像検索装置１００は、２筆組合せ画像を生成する。２筆組合せ画像は、直近に取得した一筆分の描画画像と同描画画像の一筆分前に描画された描画画像との組合せ画像である。この２筆組合せ画像を構成する描画画像の数は、高頻度組合せ画像を構成する構成画像の数に対応している。すなわち、この２筆組合せ画像が、本発明に係る筆順組合せ画像に相当する。
　次に、画像検索装置１００は、ステップＳ１３２にて、前記生成した２筆組合せ画像の特徴量を算出する。この２筆組合せ画像の特徴量である２筆組合せ画像特徴量は、上記第１の実施形態と同様の計算処理によって算出された第１の特徴量および第２の特徴量によって構成されているため、その説明は省略する。
　次に、画像検索装置１００は、ステップＳ１３４にて、検索対象画像の検索処理を実行する。このステップＳ１３４における検索対象画像の検索処理は、２筆組合せ画像に対する高頻度組合せ画像の画像間距離を測定し、同画像間距離が所定値以下の高頻度組合せ画像を抽出するものである。この場合、両画像間における画像間距離は、前記２筆組合せ画像特徴量と高頻度組合せ画像に対応する過去画像特徴量を用いて算出される。この画像間距離の算出は、上記第１実施形態と同様であるため、その説明は省略する。すなわち、このステップＳ１３４における検索対象画像の検索処理は、描画ツールを介して入力された直近の２筆分の描画画像と、筆順が連続する傾向にある２つの構成画像で構成された高頻度組合せ画像とを比較することにより、ユーザが意図する検索対象画像を早期かつ高精度に抽出するものである。なお、検索処理の結果、１つの２筆組合せ画像に対して検出対象画像が異なる複数の高頻度組合せ画像が抽出される場合がある。この場合、画像検索装置１００は、画像間距離が短い順に高頻度組合せ画像を配列して抽出する。
　次に、画像検索装置１００は、ステップＳ１３６にて、前記ステップＳ１３４における検索対象画像の検索処理によって高頻度組合せ画像が抽出されたか否かを判定する。この場合、ステップＳ１３４における検索対象画像の検索処理によって高頻度組合せ画像が抽出された場合には、この判定処理にて「Ｙｅｓ」と判定されてステップＳ１３８に進み、ステップＳ１３８にて検索結果を表示装置１０６に表示させる。この場合、画像検索装置１００は、２筆組合せ画像に対して画像間距離が短い順に高頻度組合せ画像に対応付けられた検索対象画像をウィンドウＷ２に表示させる。そして、画像検索装置１００は、ステップＳ１０４に戻る。
　一方、ステップＳ１３４における検索対象画像の検索処理によって高頻度組合せ画像が抽出されなかった場合には、この判定処理にて「Ｎｏ」と判定されてステップＳ１１２に進み、ステップＳ１１４～ステップＳ１１６の各処理が実行される。すなわち、高頻度組合せ画像が抽出されなかった場合には、上記第１実施形態と同様に特徴量が計算されて検索対象画の検索が行われる。
　次に、ステップＳ１２１における高頻度組合せ画像の抽出処理について説明する。このステップＳ１２１における高頻度組合せ画像の抽出処理は、表示装置１０６上に表示された検索結果の中からユーザによって特定の検索対象画像が選択された場合に、ステップＳ１０６、ステップＳ１１８およびステップＳ１２０の各処理を経て実行される。そして、この高頻度組合せ画像の抽出処理は、同一の検索対象画像に対応付けられた組合せ画像で、かつ筆順が連続する２つの構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像が高頻度組合せ画像として抽出される。
　本第２実施形態においては、同一の検索対象画像に対応付けられた組合せ画像を過去スケッチ画像ごとに抽出し、同抽出した過去スケッチごとの組合せ画像の中から筆順が連続する２つの構成画像で構成された組合せ画像をそれぞれ抽出する。これにより、筆順が連続する２つの構成画像で構成された組合せ画像が過去スケッチ画像ごとに抽出される。この場合、抽出された各組合せ画像は、それぞれ同一の検索対象画像に対応付けられている。そして、これらの同一の検索対象画像に対応付けられた全ての組合せ画像において、同じ画像構成で構成された組合せ画像の数、換言すれば、過去スケッチ画像間において重複する組合せ画像の数を数える。これにより、同一検索対象画像に対応付けられる頻度が高い組合せ画像を特定することができる。
　例えば、図１２（Ａ）～（Ｃ）に示すように、ある自動車の検索対象画像に対して３通りの筆順で描画された入力画像（Ａ）～（Ｃ）に対する高頻度組合せ画像の抽出処理について考える。まず、各入力画像（Ａ）～（Ｃ）において、筆順が連続する２つの構成画像で構成された組合せ画像Ａ１，Ａ２、Ｂ１～Ｂ４、Ｃ１～Ｃ３を生成する。次に、図１３～図１５に示すように、各組合せ画像Ａ１，Ａ２、Ｂ１～Ｂ４、Ｃ１～Ｃ３に対して、各入力画像（Ａ）～（Ｃ）を構成する組合せ画像Ａ１，Ａ２、Ｂ１～Ｂ４、Ｃ１～Ｃ３の中から画像構成が最も似ている組合せ画像Ａ１，Ａ２、Ｂ１～Ｂ４、Ｃ１～Ｃ３を各入力画像（Ａ）～（Ｃ）ごとに１つだけ特定する。
　例えば、入力画像（Ａ）における組合せ画像Ａ１に似ている組合せ画像として、組合せ画像Ａ１，Ｂ４，Ｃ３が抽出される。この場合、各組合せ画像の比較処理は、各組合せ画像における各特徴量を用いて行う。ここで、抽出の基準となる組合せ画像を基準組合せ画像とし、基準組合せ画像に対して抽出された組合せ画像を抽出組合せ画像とする。次に、基準組合せ画像に対して抽出された抽出組合せ画像と、同各抽出組合せ画像を基準組合せ画像としたときに抽出された抽出組合せ画像とを比較して画像構成が同一の抽出組合せ画像の数を数える（図において括弧書きの数字）。
　この計数処理を全ての抽出組合せ画像に対して実行し、基準組合せ画像ごとに合計値を算出する（図において右端の数字）。これにより、入力画像（Ａ）～（Ｃ）ごとに重複する組合せ画像の数が計数される。すなわち、この計数値が最も大きい組合せ画像が、過去スケッチ画像間において最も重複する組合せ画像であり、同一検索対象画像に対応付けられる頻度が高い組合せ画像である。この例においては、組合せ画像Ａ１，Ｂ４，Ｃ３が同一検索対象画像に対応付けられる頻度が他の組合せ画像に比べて高い組合せ画像である。
　上記作動説明からも理解できるように、上記第２実施形態によれば、入力画像を構成する構成画像を描画する筆順のうち、互いに連続する筆順の構成画像で構成された組合せ画像の中から高い頻度で検索対象画像に対応付けられる組合せ画像を高頻度組合せ画像として記憶しておき、ユーザにより描画された画像と組合せ画像とを比較する際、画像入力装置１００に対する直近の筆順から高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される入力画像と高頻度組合せ画像との比較処理を他の組合せ画像と入力画像との比較処理に優先して実行している。このため、経験的に筆順が連続する傾向にある２つ以上の構成画像で構成される組合せ画像を高頻度組合せ画像として優先的に入力画像と比較することにより、入力画像に対する比較の順番を考慮せずに全ての構成画像および組合せ画像に対して比較処理を実行する場合に比べて効率的かつ高精度な検索処理を実行することができる。
　さらに、本発明の実施にあたっては、上記第２実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。なお、下記に示す各変形例は、上記第１実施形態に適用できることを排除するものでないことは当然である。
　例えば、上記第２実施形態においては、表示装置１０６に表示された検索結果の中から特定の検索対象画像が選択されることにより、同検索対象画像に対応付けられた高頻度組合せ画像を自動的に抽出するように構成した。しかし、同一の検索対象物に対応付けられる組合せ画像の中からユーザが高頻度組合せ画像として指定して記憶させる構成であってもよい。すなわち、高頻度組合せ画像は、必ずしも画像検索装置１００による計算処理によって抽出する必要はない。また、高頻度組合せ画像の抽出方法も本第２実施形態に限定されるものではないことは、当然である。
　また、上記第２実施形態においては、組合せ画像にフラグを立てることにより高頻度組合せ画像を他の組合せ画像と区別して記憶するように構成した。しかし、高頻度組合せ画像を他の組合せ画像と区別する方法は、当然、上記第２実施形態に限定されるものではない。例えば、同一の検索対象画像に対応付けられた組合せ画像の中から、高頻度組合せ画像として抽出した組合せ画像のみ集めたデータベースを生成するように構成してもよい。これによっても、上記第２実施形態と同様の効果が期待できる。
　また、上記第２実施形態においては、連続する２つの筆順で描画された構成画像からなる組合せ画像の中から高頻度組合せ画像を抽出するように構成した。しかし、高頻度組合せ画像は、筆順が連続する２つ以上の構成画像で構成された組合せ画像の中から抽出するようにすれば、上記実施形態に限定されるものではない。すなわち、連続する３つ、または４つの筆順で描画された構成画像で構成される組合せ画像の中から高頻度組合せ画像を抽出するようにしてもよい。これらによっても、上記第２実施形態と同様の効果が期待できる。
　また、上記第２実施形態においては、同一の検索対象画像に対応付けられた組合せ画像の中から１つの高頻度組合せ画像（Ａ１，Ｂ４，Ｃ３）を抽出するように構成した。しかし、高頻度組合せ画像を抽出する数は、必ずしも１つである必要はなく２つ以上抽出するように構成してもよい。この場合、抽出した複数の高頻度組合せ画像に対して頻度に応じた優先度を付し、２筆組合せ画像に対して優先度が高い高頻度組合せ画像から比較処理を実行するようにするとよい。これによっても、上記第２実施形態と同様の効果が期待できる。
　また、上記第２実施形態においては、入力画像特徴量、過去画像特徴量、検索対象画像特徴量および２筆組合せ画像特徴量などの各特徴量を各画像の形状に基づいて算出するように構成した。しかし、これらの各特徴量は、画像の属性（例えば、輝度情報、色彩情報、画像周波数、ヒストグラム、形状）に基づいて算出すれば、当然、上記第２実施形態に限定されるものではない。これによっても、上記第２実施形態と同様の効果が期待できる。
　また、上記第２実施形態においては、ユーザはマウス１０５ｂを操作して手書き感覚で入力画像を描画するように構成した。しかし、このような手書き感覚の描画形態に代えてまたは加えて、画像の描画に用いる部品画像を予め補助記憶装置１０３に記憶しておき、入力画像の描画の際に適宜、部品画像を用いて描画を行えるようにしてもよい。このような部品画像としては、マウスやペンタブレットなどの入力装置では描画が困難な画像や使用頻度の高い画像が考えられる。特に、人の顔画像は詳細に描き難いため、目、口、鼻、眉毛および髪型などの顔面の構成要素を予め部品画像として記憶しておき、入力画像の描画時には、所謂「福笑い」や「モンタージュ写真」を作成する感覚で入力画像を描画することができる。この場合、入力画像を手書きで描画した際における筆順は、部品画像を選択して入力装置に入力する順番に対応する。これによれば、入力画像の描画の作業性が向上するとともに、検索対象画像の検索精度も向上する。

Claims (14)

  1. 　画像を入力する画像入力手段と、
    　検索対象となる複数の検索対象画像をそれぞれ記憶する検索対象画像記憶手段と、
    　画像の属性に基づく特徴量であって前記画像入力手段により入力された入力画像の属性に基づく入力画像特徴量と前記検索対象画像の属性に基づく検索対象画像特徴量とを比較して、前記検索対象画像記憶手段に記憶した前記検索対象画像の中から前記入力画像に近似する前記検索対象画像を抽出する検索対象画像抽出手段と、
    　前記抽出された検索対象画像を検索結果として出力する検索結果出力手段とを備える画像検索装置において、
    　前記画像の属性に基づく特徴量は、
    　前記画像を構成する各画素を所定の条件に従って複数抽出した各画素ごとに、注目画素から放射状に存在する他の画素数を所定の方向ごとに計数するとともに同所定の方向ごとに計数した画素数の分布状態を統計処理することにより算出した第１の特徴量と、
    　前記複数抽出した各画素ごとに、前記注目画素に対する同注目画素に隣接する２つ以下の隣接画素の存否の態様を３ないし５種類の存否の状態ごとの特徴量グループに統計処理することにより算出した第２の特徴量とで構成されていることを特徴とする画像検索装置。
  2. 　請求項１に記載した画像検索装置において、
    　前記第２の特徴量における前記特徴量グループは、
    　前記少なくとも２つの画素が、水平方向、垂直方向および互いに直交する２つの斜め方向の位置関係を含んで構成されている画像検索装置。
  3. 　請求項１に記載した画像検索装置において、
    　前記第１の特徴量および前記第２の特徴量における前記所定の条件に従ってそれぞれ抽出した複数の各画素は、前記入力画像および前記検索対象画像の各輪郭部を構成する画素である画像検索装置。
  4. 　請求項１ないし請求項３のうちのいずれか１つに記載した画像検索装置において、
    　前記画像入力手段は、ユーザが描画する画像を入力するものであり、
    　前記検索対象画像を検索するために前記画像入力手段に対して最終的に入力された最終入力画像を構成する構成画像を同検索対象画像に対応させて記憶する構成画像記憶手段と、
    　前記構成画像記憶手段に記憶した前記構成画像を前記最終入力画像単位で互いに組み合わせて組合せ画像を生成する組合せ画像生成手段と、
    　前記構成画像および前記組合せ画像に対する前記特徴量である過去画像特徴量をそれぞれ算出する過去画像特徴量算出手段と、
    　前記画像入力手段に前記構成画像が入力されるごとに、入力された全ての構成画像を含む入力画像に対して前記入力画像特徴量をそれぞれ算出する入力画像特徴量算出手段と、
    　前記過去画像特徴量と前記入力画像特徴量とを比較して、前記構成画像および前記組合せ画像の中から前記入力画像に近似する画像を近似過去画像として抽出する近似過去画像抽出手段とを備え、
    　前記検索結果出力手段は、前記検索対象画像抽出手段によって抽出された前記検索対象画像に加えて、前記近似過去画像に対応付けられた前記検索対象画像を検索結果として出力することを特徴とする画像検索装置。
  5. 　請求項４に記載した画像検索装置において、さらに、
    　前記ユーザが前記検索結果の中から前記検索対象画像を指定するための検索画像指定手段を備え、
    　前記構成画像記憶手段は、前記検索画像指定手段により前記検索画像が指定されたとき、前記最終入力画像を構成する構成画像を同検索画像に対応させて記憶することを特徴とする画像検索装置。
  6. 　請求項４に記載した画像検索装置において、
    　前記近似過去画像抽出手段は、同一の検索対象画像に対して前記画像入力手段に入力された入力画像を構成する構成画像の数に応じた数の前記構成画像または同構成画像で構成された前記組合せ画像に対応する前記過去画像特徴量と前記入力画像特徴量とを比較して前記近似過去画像を抽出することを特徴とする画像検索装置。
  7. 　請求項４に記載した画像検索装置において、
    　前記構成画像記憶手段は、前記構成画像とともに同構成画像が前記画像入力手段に入力された順番を筆順として記憶し、
    　同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の前記構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として記憶する高頻度組合せ画像記憶手段と、
    　前記画像入力手段に前記構成画像が入力されるごとに、同画像入力装置に対する直近の筆順から前記高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される筆順組合せ画像を生成する筆順組合せ画像生成手段とを備え、
    　前記入力画像特徴量算出手段は、前記筆順組合せ画像に対する前記特徴量である筆順組合せ画像特徴量を算出し、
    　前記近似過去画像抽出手段は、前記過去画像特徴量のうち、前記高頻度組合せ画像に対応する過去画像特徴量と前記筆順組合せ画像特徴量との比較処理を他の過去画像特徴量および入力画像特徴量の比較処理に優先して実行することにより前記近似過去画像を抽出し、
    　前記検索結果出力手段は、前記過去画像抽出手段にて前記高頻度組合せ画像が前記近似過去画像として抽出されたとき、同抽出された近似過去画像に対応付けられた前記検索対象画像を出力することを特徴とする画像検索装置。
  8. 　請求項７に記載した画像検索装置において、
    　同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の前記構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として抽出する高頻度組合せ画像抽出手段を備えることを特徴とする画像検索装置。
  9. 　請求項７または請求項８に記載した画像検索装置において、
    　前記高頻度組合せ画像抽出手段は、同一の検索対象画像に対して複数の高頻度組合せ画像を抽出するとともに、同抽出した各高頻度組合せ画像における頻度に応じた優先度を算出し、
    　前記近似過去画像抽出手段は、前記優先度の高い順に前記高頻度組合せ画像に対応する過去画像特徴量を用いて前記近似過去画像を抽出することを特徴とする画像検索装置。
  10. 　請求項４に記載した画像検索装置において、
    　前記検索対象画像記憶手段は、前記検索対象画像特徴量を記憶しており、
    　前記検索対象画像抽出手段は、前記近似過去画像抽出手段により前記近似過去画像が抽出されなかったとき、前記検索対象画像特徴量と前記入力画像特徴量とを比較して、前記入力画像に近似する前記検索対象画像を抽出することを特徴とする画像検索装置。
  11. 　請求項４に記載した画像検索装置において、
    　前記構成画像は、前記画像入力手段に一筆で入力された画像情報であることを特徴とする画像検索装置。
  12. 　請求項４に記載した画像検索装置において、
    　前記画像入力手段に対する画像の描画に用いるための部品画像を記憶する部品画像記憶手段を備え、
    　前記構成画像は、前記画像入力手段を介して入力された前記部品画像であることを特徴とする画像検索装置。
  13. 　画像を入力する画像入力手段と、
    　検索対象となる複数の検索対象画像をそれぞれ記憶する検索対象画像記憶手段とを備えた画像検索装置の作動を制御するコンピュータ装置に、
    　画像の属性に基づく特徴量であって前記画像入力手段により入力された入力画像の属性に基づく入力画像特徴量と前記検索対象画像の属性に基づく検索対象画像特徴量とを比較して、前記検索対象画像記憶手段に記憶した前記検索対象画像の中から前記入力画像に近似する前記検索対象画像を抽出する検索対象画像抽出ステップと、
    　前記抽出された検索対象画像を検索結果として出力する検索結果出力ステップとを実行させることにより前記画像入力手段に入力された入力画像に基づいて前記検索対象画像記憶手段から前記検索対象画像を検索するための画像検索用コンピュータプログラムであって、
    　前記画像の属性に基づく特徴量は、
    　前記画像を構成する各画素を所定の条件に従って複数抽出した各画素ごとに、注目画素から放射状に存在する他の画素数を所定の方向ごとに計数するとともに同所定の方向ごとに計数した画素数の分布状態を統計処理することにより算出した第１の特徴量と、
    　前記複数抽出した各画素ごとに、前記注目画素に対する同注目画素に隣接する２つ以下の隣接画素の存否の態様を３ないし５種類の存否の状態ごとの特徴量グループに統計処理することにより算出した第２の特徴量とで構成されていることを特徴とする画像検索用コンピュータプログラム。
  14. 　請求項１３に記載した画像検索用コンピュータプログラムにおいて、
    　前記検索対象画像を検索するためにユーザが描画する画像を入力する前記画像入力手段に対して最終的に入力された最終入力画像を構成する構成画像を同検索対象画像に対応させて記憶する構成画像記憶ステップと、
    　前記構成画像記憶ステップにて記憶した前記構成画像を前記最終入力画像単位で互いに組み合わせて組合せ画像を生成する組合せ画像生成ステップと、
    　前記構成画像および前記組合せ画像に対する前記特徴量である過去画像特徴量をそれぞれ算出する過去画像特徴量算出ステップと、
    　前記画像入力手段に前記構成画像が入力されるごとに、入力された全ての構成画像を含む入力画像に対して前記入力画像特徴量をそれぞれ算出する入力画像特徴量算出ステップと、
    　前記過去画像特徴量と前記入力画像特徴量とを比較して、前記構成画像および前記組合せ画像の中から前記入力画像に近似する画像を近似過去画像として抽出する近似過去画像抽出ステップとを含み、
    　前記検索結果出力ステップは、前記検索対象画像抽出ステップに抽出された前記検索対象画像に加えて、前記近似過去画像に対応付けられた前記検索対象画像を検索結果として出力することを特徴とする画像検索用コンピュータプログラム。
PCT/JP2009/002478 2008-06-04 2009-06-02 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム WO2009147840A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010515772A JP5283088B2 (ja) 2008-06-04 2009-06-02 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム
US12/737,049 US8542951B2 (en) 2008-06-04 2009-06-02 Image retrieval device and computer program for image retrieval applicable to the image retrieval device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008147509 2008-06-04
JP2008-147509 2008-06-04

Publications (1)

Publication Number Publication Date
WO2009147840A1 true WO2009147840A1 (ja) 2009-12-10

Family

ID=41397923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002478 WO2009147840A1 (ja) 2008-06-04 2009-06-02 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム

Country Status (3)

Country Link
US (1) US8542951B2 (ja)
JP (1) JP5283088B2 (ja)
WO (1) WO2009147840A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142769A1 (en) * 2008-12-08 2010-06-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN101853297A (zh) * 2010-05-28 2010-10-06 英华达(南昌)科技有限公司 一种在电子设备中快速获得期望图像的方法
JP2015191545A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 物体検出装置、物体検出方法及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864817B2 (en) * 2012-01-28 2018-01-09 Microsoft Technology Licensing, Llc Determination of relationships between collections of disparate media types
US9183225B2 (en) 2014-02-21 2015-11-10 Siemens Energy, Inc. Computerized method for transforming an image from an image-searchable domain to a pixel-searchable domain
US10783127B2 (en) * 2015-06-17 2020-09-22 Disney Enterprises Inc. Componentized data storage
JP6702340B2 (ja) * 2016-01-28 2020-06-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US11615611B2 (en) * 2017-05-02 2023-03-28 Nippon Telegraph And Telephone Corporation Signal retrieval device, method, and program
CN111093759A (zh) * 2017-07-05 2020-05-01 心脏起搏器股份公司 基于优先级的医疗数据管理系统
US11068493B2 (en) * 2018-11-07 2021-07-20 Adobe Inc. Guided content discovery in visual search
US11915432B2 (en) * 2020-01-16 2024-02-27 Samsung Electronics Co., Ltd. Method and apparatus for tracking target

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381365B2 (en) * 1997-08-22 2002-04-30 Minolta Co., Ltd. Image data processing apparatus and image data processing method
JP2000076269A (ja) * 1998-08-31 2000-03-14 Canon Inc 画像検索装置及びその方法、コンピュータ可読メモリ
JP2005122351A (ja) * 2003-10-15 2005-05-12 Seiko Epson Corp 顔画像候補領域検索方法及び検索システム並びに検索プログラム
US7379627B2 (en) * 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOSUKE OHASHI ET AL.: "Tekigosei Feedback o Mochiita Sketch Gazo Kensaku System", JOURNAL OF JAPAN SOCIETY FOR FUZZY THEORY AND INTELLIGENT INFORMATICS, vol. 19, no. 5, October 2007 (2007-10-01), pages 537 - 545 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142769A1 (en) * 2008-12-08 2010-06-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US8917957B2 (en) * 2008-12-08 2014-12-23 Canon Kabushiki Kaisha Apparatus for adding data to editing target data and displaying data
CN101853297A (zh) * 2010-05-28 2010-10-06 英华达(南昌)科技有限公司 一种在电子设备中快速获得期望图像的方法
JP2015191545A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 物体検出装置、物体検出方法及びプログラム

Also Published As

Publication number Publication date
JPWO2009147840A1 (ja) 2011-10-27
US8542951B2 (en) 2013-09-24
JP5283088B2 (ja) 2013-09-04
US20110075950A1 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
JP5283088B2 (ja) 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム
JP6328761B2 (ja) 画像ベース検索
JP3857328B2 (ja) ディスプレイ編集システム
JP5916886B2 (ja) 画像特徴の類似性に基づく画像索引作成
JP4168940B2 (ja) 映像表示システム
JP5229744B2 (ja) 画像分類装置および画像分類プログラム
JP6046948B2 (ja) 物体検知装置及びその制御方法、プログラム、並びに記憶媒体
US11704357B2 (en) Shape-based graphics search
JP4757001B2 (ja) 画像処理装置、画像処理方法
EP2980755B1 (en) Method for partitioning area, and inspection device
JP5997545B2 (ja) 信号処理方法及び信号処理装置
JP2010507139A (ja) 顔に基づく画像クラスタリング
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
JP5717691B2 (ja) 手書き文字検索装置、方法及びプログラム
CN106909895B (zh) 一种基于随机投影多核学习的手势识别方法
JP2010531010A (ja) 画像と形状記述子とのマッチング
WO2021082168A1 (zh) 一种场景图像中特定目标对象的匹配方法
Zheng et al. Fusing shape and spatio-temporal features for depth-based dynamic hand gesture recognition
JP2002288687A (ja) 特徴量算出装置および方法
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
JP2005134966A (ja) 顔画像候補領域検索方法及び検索システム並びに検索プログラム
Úbeda et al. Pattern spotting in historical documents using convolutional models
JP6030172B2 (ja) 手書き文字検索装置、方法及びプログラム
JP7336268B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP3514085B2 (ja) 文字列入力方法及び装置、並びに、文字列入力プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09758107

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2010515772

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12737049

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09758107

Country of ref document: EP

Kind code of ref document: A1