WO2005096180A1 - 画像検索方法、装置及びプログラムを記録した記録媒体 - Google Patents

画像検索方法、装置及びプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2005096180A1
WO2005096180A1 PCT/JP2005/005649 JP2005005649W WO2005096180A1 WO 2005096180 A1 WO2005096180 A1 WO 2005096180A1 JP 2005005649 W JP2005005649 W JP 2005005649W WO 2005096180 A1 WO2005096180 A1 WO 2005096180A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search target
search
images
target images
Prior art date
Application number
PCT/JP2005/005649
Other languages
English (en)
French (fr)
Inventor
Takeshi Nakamura
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to US11/547,082 priority Critical patent/US20080235184A1/en
Priority to JP2006511629A priority patent/JP4465534B2/ja
Publication of WO2005096180A1 publication Critical patent/WO2005096180A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the present invention relates to a technique for searching for a desired image from a large number of images stored in a storage device such as a hard disk drive (HDD).
  • a storage device such as a hard disk drive (HDD).
  • Various image search methods have been conventionally proposed in order to efficiently search for an image desired by a user from a large number of still images or moving images stored in a large-capacity storage device such as an HDD.
  • feature amounts such as time information and color information are extracted from each of a large number of images to be searched, and a similarity measure between the images is calculated based on these feature amounts.
  • a database is constructed by associating images with each other based on the scale.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 9-125930
  • a large number of search target information is arranged in a two-dimensional or three-dimensional hierarchical space, and the search target information is three-dimensionally arranged.
  • a method of displaying information is adopted. Specifically, for each piece of search target information, features such as the color, shape, size, type, content, and keywords of the search target image are extracted.
  • a feature amount vector is generated from the feature amount, and a similarity measure between the pieces of search target information is calculated based on the feature amount vector.
  • a large number of pieces of search target information are arranged in a search space such that the closer to each other the closer the similarity scale is, the more the search target layer is formed.
  • Some search target information is obtained from this first search target layer.
  • a second upper search target layer is formed, and by extracting some search target information from the second search target layer, a third upper search target layer is formed.
  • the first to n-th (n is an integer equal to or greater than 2) search target layers are constructed by recursively executing such an operation of extracting the search target information.
  • the first to n-th search target layers are displayed in three dimensions.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 11-175535
  • Patent Document 2 Japanese Patent Application Laid-Open No. 11-175535
  • a main object of the present invention is to enable a user to efficiently and easily search for a desired image from a large number of images stored in a storage device such as an HDD. It is an object of the present invention to provide an image search method, an image search device, and a recording medium storing an image search program.
  • a first invention is an image search method, comprising: (a) extracting, from each of a plurality of search target images, at least one component common to the plurality of search target images; (b) the configuration Obtaining a feature amount characterizing each of the search target images based on an element; and (c) calculating a similarity measure between the search target images using the feature amount; Images within a certain range via a link And (d) searching for images while calculating the display link distance between the two search target images associated via N (N is an integer of 1 or more) links as N And characterized in that:
  • a second invention is an image search method, comprising: (a) extracting, from each of a plurality of search target images, at least one component common to the plurality of search target images; Obtaining a feature amount characterizing each of the search target images based on an element; and (c) calculating a similarity measure between the search target images using the feature amounts; (D) associating images having a scale within a predetermined range via a link, (d) constructing a lower hierarchy in the search target image group associated in step (c), (e) A group of images (M is an integer of 2 or more) associated with each other via the link is extracted from the lower hierarchy, and the extracted image group is assigned to a higher hierarchy than the lower hierarchy.
  • the group of search target images (F) in the upper hierarchy associating, through a link, images of which the similarity scale is within a predetermined range among the search target images, (g) N (N is Searching for images while calculating the display link distance between the two search target images associated with each other via the link (an integer of 1 or more) as N, wherein the steps (e) and ( It is characterized in that multiple layers are constructed by executing f) recursively.
  • a third invention is an image search device, comprising: a storage device for storing a plurality of search target images; and at least one component common to the plurality of search target images from each of the plurality of search target images. And a feature amount obtaining unit that obtains a feature amount characterizing each of the search target images based on the constituent elements, and the search pair using the feature amount.
  • a network construction unit that calculates a similarity measure between elephant images and associates the images having the similarity measure within a predetermined range among the search target images via a link, and N (N is an integer of 1 or more)
  • A) an image search unit that searches for an image while calculating a display link distance between the two search target images associated with each other via the link as N.
  • a fourth invention is an image search device, comprising: a storage device for storing a plurality of search target images; and at least one component common to the plurality of search target images from each of the plurality of search target images.
  • a feature amount obtaining unit that obtains a feature amount characterizing each of the search target images based on the constituent elements, and a similarity measure between the search target images is calculated using the feature amounts,
  • a network construction unit that, among the search target images, associates the images whose similarity scale is within a predetermined range with a link and builds a lower hierarchy in the search target image group that has been associated;
  • An image search unit that searches for images while calculating a display link distance between the two search target images associated with each other via the link (where N is one or more integers).
  • the network construction unit extracts M (M is an integer equal to or greater than 2) image groups associated with each other via the link from the lower hierarchy, and extracts the lower image group from the extracted image groups.
  • M is an integer equal to or greater than 2
  • a fifth invention is a recording medium on which an image search program is recorded, wherein a storage process for storing a plurality of search target images in a storage device, and the plurality of search target images are performed on the storage medium. Extracting at least one constituent element common to the number of search target images and obtaining a characteristic amount characterizing each of the search target images based on the constituent elements; and Calculating a similarity measure between the search target images, and correlating the images having the similarity measure within a predetermined range among the search target images via a link; and N (where N is 1 or more) And an image search process of searching for an image while calculating a display link distance between the two search target images associated with each other via the link of (n). I have.
  • a sixth invention is a recording medium on which an image search program is recorded, wherein a storage process for storing a plurality of search target images in a storage device, and from each of the plurality of search target images, A feature amount obtaining process of extracting at least one common constituent element and obtaining a feature amount characterizing each of the search target images based on the constituent elements; and A similarity measure is calculated, and among the search target images, images in which the similarity measure is within a predetermined range are associated with each other via a link, and a lower hierarchy is constructed from the search target image group in which the association is made.
  • An image hierarchy search process is performed while calculating the display link distance between the two search target images associated with each other through N links (N is an integer of 1 or more) as N.
  • a computer that performs image search processing, and extracts M (M is an integer of 2 or more) associated image groups from the lower hierarchy through the links, and extracts the extracted images.
  • M is an integer of 2 or more
  • a search target image group belonging to a higher hierarchy than the lower hierarchy is configured, and in the higher hierarchy, among the search target images, the images having the similarity scale within a predetermined range are linked via a link.
  • the feature is that multiple hierarchies are constructed by causing the computer to recursively execute the upper hierarchy construction process to associate them with each other. Yes.
  • FIG. 1 is a functional block diagram schematically illustrating a configuration of an image search device according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically showing a still image divided into four parts.
  • FIG. 3 is a diagram schematically showing a still image divided into five parts.
  • FIG. 4 is a diagram schematically showing a series of video shots
  • FIG. 5 is a diagram showing the correspondence between the search target image and the feature amount.
  • FIG. 6 is a diagram schematically showing a database topology (connection form).
  • FIG. 7 is a diagram schematically showing the data arrangement of the database
  • Fig. 8 is a flowchart showing the procedure of the network-type database construction process.
  • Fig. 9 (a) shows the data arrangement of the network before registering a new image.
  • Fig. 9 (b) shows the new image. It is a diagram showing a data array of the network after registration,
  • FIG. 10 is a flowchart showing a procedure of a search process using a database.
  • FIG. 11 is a flowchart showing a procedure of a list display process.
  • FIG. 12 is a diagram schematically showing an example of the display screen
  • FIG. 13 is a diagram schematically showing an example of the display screen
  • FIG. 14 is a diagram schematically showing an example of a database topology.
  • FIG. 15 is a diagram schematically showing an example of a display screen.
  • FIG. 16 is a diagram schematically showing an example of a display screen
  • FIG. 17 is a diagram schematically showing an example of the display screen
  • FIG. 18 is a diagram schematically showing an example of a display screen
  • FIG. 19 is a diagram schematically showing an example of the display screen
  • FIG. 20 is a flowchart schematically showing the procedure of the hierarchical processing.
  • FIG. 21 is a diagram illustrating an example of a topology for describing one layering procedure
  • FIG. 22 is a diagram illustrating an example of a topology for describing one layering procedure
  • FIG. It is a diagram schematically showing a hierarchical network type database
  • FIG. 24 is a flowchart showing the procedure of an image search process using a hierarchical network type database.
  • FIG. 25 is a flowchart showing the procedure of the process of moving between layers.
  • FIG. 26 is a diagram for explaining one procedure of the inter-tier movement processing.
  • FIG. 27 is a diagram for explaining one procedure of the inter-layer movement processing.
  • FIG. 1 is a functional block diagram schematically showing a configuration of an image search device 1 according to an embodiment of the present invention.
  • the image search device 1 includes a signal processing unit 10, a feature amount obtaining unit 11, a network construction unit 12, a main controller (image search unit) 13, an image synthesizing unit 14, an image database 19, and It has 20 network databases.
  • These functional blocks 10 to 14, 19, and 20 are mutually connected via a bus 21 that transmits control signals and data signals.
  • the main controller 13 is connected via a user interface 15 to an operation unit 16 to which user's instructions are input, and the image synthesizing unit 14 is connected to a display unit 18 via an output interface 17.
  • the display unit 18 is a display device having a resolution capable of displaying a still image or a moving image.
  • the operation unit 16 can give a user input instruction to the main controller 13 via the user interface 15, and specifically,
  • the display unit 18 includes a pointing device such as a mouse for detecting the coordinate position on the screen and a keyboard.
  • a touch screen that detects a position touched by a user's finger or the like on the screen of the display unit 18 and gives an instruction corresponding to the position to the main controller 13, or a voice generated by the user
  • a voice recognition device that recognizes the result and gives the result to the main controller 13 may be employed.
  • the main controller 13 has a function of controlling the operation of the functional blocks 10 to 14, 19, and 20.
  • the hierarchy selecting unit 13A, the image selecting unit 13B, and the display controlling unit 1 that execute various search processes are performed. It has 3C.
  • the main controller 13 may be composed of an integrated circuit having a microprocessor, ROM for storing control programs, a RAM, an internal bus, an input / output interface, and the like.
  • the hierarchy selection unit 13A, the image selection unit 13B, and the display control unit 13C may be configured by a program executed by a microprocessor or a series of instructions, or may be configured by hardware.
  • the feature amount acquisition unit 11 and the network construction unit 12 are respectively configured by independent hardware I / Rs, but instead, they are executed by the microprocessor of the main controller 13. It may be composed of a program or a series of instructions.
  • an image search program for executing a search process by the microprocessor by the feature amount acquisition unit 11, the network construction unit 12, and the main controller 13 is recorded on a recording medium such as an HDD, a non-volatile memory, an optical disk, or a magnetic tape. This may be used.
  • the signal processing unit 10 has a function of receiving an input image signal from the outside and transferring the input image signal to the image database 19 via the bus 21 at a predetermined timing. When an analog signal is input, the signal processing unit 10 performs AZD conversion on the input image signal, and then transfers the AZD signal to the image database 19.
  • JPEG Joint Still image coding methods such as Photographic Experts Group, GIF (Graphic Interchange Format) and bitmap, and Motion-J PEG, AVI (Audio Video Interleaving) and MPEG (Moving Picture Experts Group)
  • Sources of input image signals include, for example, wide-area networks such as movie cameras, digital cameras, television tuners, DVD players (Digital Versatile Disk Players), compact disk players, mini disk players, scanners, and the Internet.
  • the image database 19 is constructed in a large-capacity storage device such as an HDD, and records and manages still images and moving images (hereinafter, referred to as search target images) transferred via the bus 21 according to an existing file system. .
  • the feature amount acquiring unit 11 and the network constructing unit 12 construct a network-type database by associating a group of search target images recorded in the image database 19 with a mesh of a network. Record in the network database 20.
  • the feature amount acquisition unit 11 is a functional block that performs a process of acquiring feature amounts of a large number of search target images (feature amount acquisition process). More specifically, the feature amount acquiring unit 11 extracts, from a large number of search target images recorded in the image database 19, constituent elements common to these search target images, for example, a set of pixels constituting each pixel. Extract color components or metadata. As one set of color components, for example, a set of R (red), G (green) and B (blue) color components, and a set of Y (luminance), Cb (color difference) and CK color difference) color components are used. No.
  • the metadata includes information such as the attribute, semantic content, acquisition source or storage location added to the search target image.
  • title recording date and time (absolute time Z relative time), acquisition location (latitude / longitude / altitude), genre, performer, keyword, comment, price It can extract information such as case (yen ⁇ dollars z euros) and image size as metadata.
  • the feature amount obtaining unit 11 calculates a set of a plurality of feature values that characterize each of the search target images, that is, a feature amount, based on the components extracted from the search target image.
  • the network construction unit 12 calculates a similarity measure between the search target images using the feature amount calculated by the feature amount acquisition unit 11, and the similarity scale among the search target images is A network-type database is constructed by associating images within a predetermined range via links.
  • the feature amount acquiring unit 11 reads a still image from the image database 19 and divides the still image into M (M is an integer of 2 or more) blocks. For example, a still image 30 is divided into four blocks B1, B2, B3, and B4 as shown in FIG. 2, or a still image 30 is divided into five blocks B1, B2, B3, and B4 as shown in FIG. It can be divided into B4 and B5. Next, the average value of the R, G, and B components of each block, that is, the feature value, is calculated.
  • the i-th (i is an integer of 1 or more)
  • the R, G, and B components of are represented by n (k, m), gi (k, m), and b
  • the average value is expressed as KKk, m)>, gg (k, m)> and bb (k, m)>, and the total number of R, G, and B components contained in the block is denoted by N ,
  • the mean values r (k, m)>, ⁇ g (k, m)> and b (k, m)> is given by the following equation (1).
  • Equation (1) gives the arithmetic average of each of the R, G, and B components.
  • the geometric average of each of the R, G, and B components A harmonic average or a weighted average may be calculated.
  • the arithmetic mean is given by (a + b) 2 for two numbers a and b, and the geometric mean is given by (ab) 1/2 for two positive numbers a and b.
  • X k (x (k, l), x (k, 2), x (k, 3), '-, x (k, 3m-2), x (k, 3m-l), x (k , 3m),
  • the vector quantity X k is defined as one element in a metric space.
  • the Euclidean distance between the two search target images can be defined. That is, the Euclidean distance D (p, q) between the p-th (p is an integer of 1 or more) image and the q-th (q is an integer of 1 or more) image is defined by the following equation (3). . Nr
  • the feature quantity obtaining unit 11 regards the vector quantity x k as a unique feature quantity that characterizes the search target image, and calculates the Euclidean distance D (p, q) as a similarity measure.
  • the Euclidean distance becomes smaller as the two search target images become more similar to each other, and the similarity measure takes a smaller value.
  • the reciprocal of the Euclidean distance may be defined as a similarity measure, and the configuration may be changed so that the similarity measure takes a larger value as the two search target images are more similar to each other.
  • the Manhattan distance D ( P , q) is defined by the following equation (3A).
  • Nr 3M
  • the similarity measure is calculated when the search target image is a moving image composed of multiple frames and the components extracted from each frame are the R, G, and B color components.
  • the moving image data a series of video shots Si, S 2, ..., S Ns (Ns is an integer of 2 or more) which, each video shot is composed of a plurality of frames Shall be.
  • the feature amount acquisition unit 11 can identify each video shot by detecting each scene change Sc.
  • the feature quantity acquisition unit 11 sets M frames (M is the number of frames) of each video shot S k (k is an integer of 1 to Ns). Is divided into blocks B1, B2, ... For example, you can divide the frame into four parts as shown in Figure 4.
  • the feature amount obtaining unit 11 calculates an average value of each of the R component, the G component, and the B component of each block, and calculates a feature value by averaging these average values over a plurality of frames. Specifically, in the k-th video shot S k , the i-th R component, G component, and B component of the m-th block of the s-th (s is “!
  • N k is an integer of 1 or more) frame
  • the components are i, s; k, m), g (i, s; k, m) and b (i, s; k, m), respectively, m + which characterizes the k-th video shot S k
  • the feature values R (k, m)>, ⁇ G (k, m)>, and ⁇ B (k, m)> of the first block are given by the following equation (4).
  • x (3m-2), x (k, 3m-1), x (k, 3m) as shown in the above equation (4), the vector quantity given by the above equation (2) is obtained.
  • X k can be constructed.
  • the vector quantity X k is treated as an element in a metric space, and as shown in the above equation (3), the Euclidean distance D ( P , q) between two video shots is used as a similarity measure.
  • D ( P , q) between two video shots is used as a similarity measure.
  • a value that decreases with an increase in the Euclidean distance D (p, q), for example, a reciprocal may be defined as a similarity measure.
  • the feature amount obtaining unit 11 uses the metadata itself or information included in the metadata as a feature amount to compare the matching rate of the metadata between the search target images. It has a function of calculating an example or an inversely proportional value as the similarity scale. Specifically, when the metadata includes numerical information such as the date and time of shooting, the shooting location, and the price, the numerical information is treated as a feature amount X k , and the feature amount X P of the P-th image and the feature amount of the q-th image The difference from the quantity Xq can be calculated as the similarity measure D (p, q).
  • the metadata contains information that is difficult to express numerically, such as genre or keyword
  • the numerical value included in the genre or keyword is characterized by an objective index such as “90% fun level, 90% excitement level”.
  • adopted as the amount X k it is possible to calculate the difference between the feature quantity Xq feature quantity X p and q th image p th image as similarity measure D (p, q).
  • the metadata title, performer When a code string that cannot be expressed numerically, such as a commenter or a comment, is used, the code string is used as a feature X k and the character string X P of the Pth image and the character string Xq of the qth image are used.
  • D (p, q) can be set to ' ⁇ '.
  • set the similarity measure D (p, q) to ⁇ 2 '' if the two strings X p and Xq match completely, and if the two strings X p and Xq partially match, similarity measure D (p, q) "is set to, two strings Xp, it is if Xq do not match exactly the similarity measure D (p, q) 1 ⁇ " the 'I can be set to.
  • Characteristic amount obtaining section 1 1 is configured to calculate the feature quantity X k, stored in the network database 20 in association with the search target image the feature quantity X k.
  • FIG. 5 is a diagram schematically showing the correspondence between the k-th image to be searched and the feature amount X k .
  • Each search target image are denoted by the indenyl box number k, the feature quantity X k corresponding to the index number k is stored in Nettowa click database 20.
  • the network construction unit 12 calculates the similarity measure D (p, q) between the two search target images with reference to a correspondence table as shown in FIG.
  • the network construction unit 12 determines whether or not the similarity measure D (p, q) satisfies the relational expression shown in the following expression (5). It is determined that the image and the q-th image are similar to each other, and a network-type database is constructed by associating these search target images with each other, and this is stored in the network database 20.
  • Rth is a threshold value of the similarity measure. It is desirable that the threshold value Rth be set to a value that allows an average of about 5 to 10 images to be associated with each search target image. Further, the display link distances between the associated search target images are all set to the same value. In the present embodiment, the display link distance is set to “1”, but is not limited thereto.
  • FIG. 6 is a diagram schematically illustrating the topology (connection form) of the network database
  • FIG. 7 is a diagram schematically illustrating the data arrangement of the network database. Referring to FIG. 6, the search target images 1 1 2 ,... Are associated with each other via a link, 2 , C 1 i 4 ,.
  • the links C p and q are connection lines indicating an association between the two search target images I p and I q , and the distance (display link distance) of each link is set to “1”.
  • Search target image 1 1 2, ... is the link c ⁇ , c 1 i 4, but it may also be considered to be arranged in ... both end positions of the (nodal).
  • the display link distance between the two search target images is “N” when the links are associated via N (N is an integer of 1 or more) links.
  • the display link distance between the two search target images I p and Iq can be defined as the number of links of the shortest route among the routes from one search target image Ip to the other search target image Iq.
  • the search target image is
  • the data array of the network-type database has a double array structure of an image array PA and connection arrays CA 1, CA 2 ,.
  • Image array PA is connected sequence CAL CA 2, ... pointer '1' to '2', '3', a sequence for storing ..., connection sequence CA, CA 2, ..., the search target image 1 1 2, ... index number (hereinafter, referred to as the image number.) of an array of.
  • the image numbers are continuously arranged in ascending order in each array.
  • X is a symbol indicating the end of the image array or the connection array.
  • a procedure of a network-type database construction process will be described.
  • K is an integer greater than or equal to 0
  • the process of registering the K + 1st new image ⁇ ⁇ + 1 in the database will be described. I do.
  • the main controller 13 records the new image ⁇ + 1 input from the signal processing unit 10 in the image database 19 (step S 1), and stores the new image ⁇ + 1 in the network database 20. (Step S2). At this time, as shown in FIG. 9 (b), is secured connection sequence CA K + 1 of the area for Shinkiga image iota kappa + 1, wherein the image array PA pointer to the connection sequence CA K + 1 'K + 1 'is added.
  • the main controller 13 causes the feature amount acquiring unit 11 to calculate the feature amount ⁇ ⁇ + 1 of the new image I K + 1 (step S3).
  • the feature amount acquiring unit 11 extracts components such as R, G, R color components or metadata from the new image ⁇ ⁇ + 1 , and X K + 1 is calculated and recorded in the network database 20.
  • the feature amount acquiring unit 11 acquires the feature amount Xj of the j-th image Ij recorded in the image database 19 from the network database 20 (Step S5).
  • the feature amount Xj of the j-th image Ij may be newly calculated.
  • the network construction unit 12 calculates a similarity measure D (j, K + 1) between the j-th image Ij and the new image I K + 1 using the feature amounts Xj, X K + 1 (Step S6). Further, the network construction unit 12 determines whether or not the similarity measure D (j, K + 1) satisfies the relational expression (5) (Step S7), and determines the similarity measure D (j, K + 1). If it is determined that does not satisfy the relational expression (5), the process proceeds to step S9.
  • step S8 determines that the j-th image Ij and the new image I K + 1 Are determined to be similar to each other, and the two images Ij, ⁇ + 1 are associated (step S8). Specifically, as shown in FIG. 9 (b), the connection array CA K + 1 for the new image I K + 1 is added with the image number j of the first image Ij, and corresponds to the pointer j 'of the image array PA. New image ⁇ ⁇ + 1 image number K + 1 is added to the connection array CAj to be connected. Then, the network construction unit 12 records this data array in the network database 20. After that, the processing shifts to Step S9.
  • step S9 it is determined whether or not the processing has been completed for all the images ⁇ ⁇ of the main controller 13. If it is determined that the processing has not been completed, the image number j is incremented (step S12). ), The processing after step S5 is repeatedly executed. Meanwhile, Mei When it is determined that the processing has been completed for all the images ⁇ ⁇ (step S9), the controller 13 determines whether there is no image to be associated in step S8 (step S10). If it is determined in step S10 that there is at least one image to be associated, the above database construction processing ends.
  • step S10 determines that there is no image power to associate.
  • the network constructing unit 12 determines that the value of the similarity scale D (j, K + 1) with the new image ⁇ + 1 is the smallest.
  • the image Ij is associated with the new image ⁇ + 1 (step S 11).
  • the database construction processing ends.
  • FIG. 10 is a flowchart showing the procedure of the image search process
  • FIG. 11 is a flowchart showing the procedure of the list display process used in the flowchart of FIG.
  • the main controller 13 executes an image list display process (FIG. 11) (step S20).
  • the image selection unit 13 ⁇ sets the display link distance to the initial value Rd (step S30), and then refers to the network database 20 to display the display link with the main image.
  • An image whose distance is equal to or less than the initial value Rd is set as a sub-image (step S31).
  • the initial value Rd is set to a value registered in advance, for example, “5”, unless otherwise specified by a force that can be specified by the user via the operation unit 16.
  • the main image can be arbitrarily selected from a group of images registered in the network database 20. Unless otherwise specified, the image with the image number "1" is selected as the main image.
  • the display control unit 13C causes the display unit 18 to display the main image and the sub image selected in step S31 on a single screen in a list format (step S32).
  • the display control unit 13C Reads the main image and the sub image recorded in the image database 19 and transfers them to the image synthesizing unit 14 via the bus 21.
  • the image synthesizing unit 14 synthesizes a thumbnail-size image group obtained by converting the resolution of the transferred main image and sub-image, and outputs the synthesized image to the display unit 18 via the output interface 17.
  • the display order of the thumbnail images is the ascending order of the link distance to the main image, so that the sub-image having a higher similarity scale to the main image is preferentially displayed.
  • FIG. 12 is a diagram schematically showing a display screen 40 of the display unit 18.
  • the main image is displayed, the sub-image 1 2 to 1 25 similar to the main image I is displayed. If all the sub-images cannot be displayed on one screen, the user can specify the next-screen selection button 41 N by inputting the operation section 16 to list the remaining sub-images on the next screen. . Further, the user can specify the previous screen selection button 41B to return the display screen to the previous screen.
  • thumbnail images of the main image and the sub-image are generated in advance and stored in the image database 19, and the image synthesizing unit 14 converts the high-resolution main image and the sub-image from the image database 19. Instead of reading, a thumbnail image may be read.
  • the user can operate the operation unit 16 to specify a desired target image from the image group displayed on the screen 40. Alternatively, if the target image cannot be found, the user can perform an input operation on the operation unit 16 to specify a sub-image other than the target image as the next main image.
  • the image selection unit 13B determines whether or not the target image is specified by detecting an input instruction from the operation unit 16 (step S33). When the user specifies the target image, the image selection unit 13B determines that the target image has been specified and ends the above processing. On the other hand, when the user specifies a sub-image other than the target image as the next main image, the image selector 13B determines that the target image has not been specified (step S10). 33), the designated sub-image is set as the main image (step S34), and thereafter, the process returns to the main routine (FIG. 10).
  • step S21 of the main routine the image selecting unit 13B sets an image whose display link distance from the main image is equal to or less than the set value Rs as a sub image (step S21). Thereafter, the display control unit 13C causes the display unit 18 to display the main image and the sub image in a list format (step S22).
  • the user can appropriately change the set value Rs held by the main controller 13 by performing an input operation on the operation unit 16. For example, in the case of the database shown in Fig.
  • FIG. 13 is a diagram illustrating an example of the display screen 40 of the display unit 18. On the display screen 40, together with the main picture image 1 3 is displayed, the main image 1 3 and display link distances "1 J within subimages I, 1 2, 1 5, 1 6, 1 7 thumbnail size Are listed.
  • the user can perform an input operation on the operation unit 16 to specify a desired target image from the group of images displayed on the screen 40.
  • the image selection unit 13B determines whether or not the target image is specified by detecting an input instruction from the operation unit 16 (step S23). When the user specifies the target image, the image selection unit 13B determines that the target image has been specified, and ends the image search process.
  • the image selecting unit 13B determines that the target image has not been specified (step S23), and then proceeds to step S25 according to the type of the input instruction. Alternatively, the processing shifts to one of S26 (Step S24).
  • the input instruction is a "list display instruction”
  • the list display processing of step S25 (FIG. 11) is executed, and then the processing after step S21 is repeatedly executed.
  • the image selection unit 13B determines that there is a “continuation instruction” (step S24), The designated sub-image is set as the next main image (step S26). Thereafter, the processing after step S21 is repeatedly executed.
  • a user enters a continuation instruction sub-image 1 6 designated by the main image as shown in FIG. 1 4 is changed from the image 1 3 to the image 1 6, the display screen 40 in the image shown in FIG. 1 5 Change.
  • the main image 16 is displayed, and the sub-images I 3 , I 5 , I 10 , In, 1 with the display link distance to the main image 16 within “1” are displayed. 12 are listed in thumbnail size. If there is no sub image to be designated as the main image on the display screen 40, the user designates the main image by displaying a list of many thumbnail images as shown in FIG. 12 (step S25). The right image can be found quickly.
  • the user can efficiently and easily search for a desired target image. Further, since the image search process mainly uses only the link information of the database, it is possible to perform a high-speed search with a small amount of calculation without performing complicated processing.
  • the number of horizontal pixels of the display area across as compared to the main image 1 3 and for its vertical number of pixels is small lot
  • main image 1 3 is disposed above
  • ... are are arranged Te ⁇ Tsu horizontally.
  • the main image 16 has a smaller number of horizontal pixels and a larger number of vertical pixels than the entire display area, and thus the main image 16 is arranged on the right side.
  • main image 1 6 and overlapping area left of the display area in the sub-image 1 3 to be small, I 5 ,... Are arranged along the vertical direction.
  • the display control unit 13C can configure an optimal arrangement according to the image sizes of the main image and the sub image.
  • the other sequences shown in Figure 1 3 and 1 5, is also possible sequence shown in Figure 1. 6 to FIG. 1 9.
  • “M” indicates a main image
  • “S” indicates a sub-image.
  • the sub-image displayed on the display screen 40 is a group of images whose display link distance from the main image is equal to or less than the set value Rs.
  • the image whose distance is within the predetermined range centered on the set value Rs or the set value Rs may be set as the sub-image and displayed on the display screen 40.
  • the setting value Rs 3
  • only the image group whose display link distance from the main image is “3” may be displayed on the display screen 40, or the display link distance may be “2”, “ Only the image group of “3” and “4” may be displayed on the display screen 40.
  • the network construction unit 12 can construct a higher-layer network from the network constructed by the processing procedure shown in FIG. 8 (hereinafter referred to as a 0th-layer network). That is, the network constructing unit 12 extracts a group of search target images that are indirectly associated with each other through N (N is an integer equal to or greater than 1) search target images from the 0th hierarchical network. Then, an image group belonging to a higher layer in the extracted search target image group is formed. Further, the network constructing unit 12 associates the search target images that are indirectly associated with each other in the 0th hierarchy in the higher hierarchy, and determines a display link distance between the associated search target images. By setting to “1”, a primary layer network is constructed. By executing the above processing recursively, it is possible to construct a higher-layer network.
  • FIG. 20 is a flowchart schematically illustrating the procedure of the hierarchical processing.
  • the network construction unit 12 reads the network of the 0th layer from the network database 20 (step S40), and sets the layer number i to “1” to construct the network of the first layer (step S41). .
  • one origin image is selected from a plurality of images belonging to the 0th hierarchy (step S42).
  • An arbitrary image can be selected by the user via the operation unit 16 as the starting image, but unless otherwise specified, the image with the smallest image number is selected.
  • FIG. 21 is a diagram schematically showing the topology of the 0-th layer network. In FIG. 21, image I is selected as the starting image.
  • the network construction unit 12 sets the origin image as the representative image (step S43), and deletes all the images adjacent to the representative image, that is, the images whose display link distance from the representative image is “1” (Ste S44). For example, as shown in FIG. 21, images 1 2 adjacent to the representative image, 1 3, 1 4 is deleted. Thereafter, the network construction unit 12 determines whether or not all the images have been processed (step S45), and when it is determined that all of the images have been processed, the process proceeds to step S47, and the processing is performed on all of the images. If it is determined not to do so, the process proceeds to step S46.
  • step S46 an image adjacent to the image deleted in step S44 is selected as the next starting image (step S46).
  • the image with the smallest image number is selected from the plurality of target images as the starting image, and the previous starting image is not selected again.
  • the target image is the image I 5, I 6, I 7, is 1 8, of these image number is the smallest image 1 5 is selected as the starting point image.
  • the processing after step S43 is repeatedly executed until it is determined in step S45 that the processing has been completed for all the images.
  • images I, ⁇ 5 , ⁇ ,... surrounded by a thick frame are set as representative images. It is.
  • the network construction unit 12 configures an image group of the i-th higher-order layer in the representative image group (step S47). , ⁇ ⁇ ⁇ ⁇ —associate the two images with the display link distance of “2” in the primary hierarchy with each other, and set all the display link distances between the two linked images to “1” (step S48). As a result, an i-th layer network is constructed. In the example shown in FIG. 22, the link 5 between the representative image cross surrounded by a thick frame shown in FIG. 21, C 1 i 6, C ⁇ y, ... are formed.
  • the network construction unit 12 determines whether or not to terminate the hierarchical processing (step S49). If it is determined that the hierarchical processing is not to be terminated, the network constructing unit 12 increments the hierarchical number i (step S49). S50), the processing after step S42 is repeatedly executed. On the other hand, if it is determined that the hierarchical processing is to be terminated, the network constructing unit 12 terminates the hierarchical processing, and stores the constructed network of the first to the partial hierarchy (L is an integer of 1 or more) as a network data base. Record at 20. As a result, as shown in FIG. 23, and thus be the network 50 0-50 Shiga construction of the zero-order ⁇ Ji missing hierarchy.
  • step S44 the process of deleting the image adjacent to the representative image was performed. Instead, the display link distance from the representative image is set to “NJ (N is an integer of 2 or more) or less. May be deleted.
  • FIG. 24 is a flowchart schematically showing the procedure of an image search process by the main controller 13.
  • the hierarchy selection unit 13A (FIG. 1) stores the data in the network database 20. Select the network of the next highest layer from the stored networks of the 0th to the missing layer as the search target. Alternatively, the first search target may be selected by the user via the operation unit 16.
  • the display control unit 13C causes the display unit 18 to list the search target images belonging to the highest hierarchy by executing the image list display process shown in FIG. 11 (step S61). . That is, on the screen 40 of the display unit 18, the main image and the sub-image belonging to the highest hierarchy are displayed in a list format as shown in FIG.
  • the search process ends (step S33 in FIG. 11).
  • the target image cannot be found, the user can designate an image other than the target image as the next main image. In such a case, the specified image is set as the main image (Fig. 11, step S34).
  • the image selection unit 13B sets an image whose display link distance from the main image is equal to or less than the set value Rs as a sub image (step S62). Thereafter, the display control unit 13C causes the display unit 18 to display the main image and the sub-image in a list format (step S63). The user can perform an input operation on the operation unit 16 to specify a desired target image from a group of images displayed on the screen 40.
  • the image selection unit 13B determines whether or not the target image is specified by detecting an input instruction from the operation unit 16 (step S64). When the user specifies the target image, the image selection unit 13B determines that the target image has been specified, and ends the image search process.
  • step S64 determines that the target image has not been specified (step S64), and then proceeds to step S66 according to the type of the input instruction. The processing shifts to either S67 or S68.
  • the list display process of step S66 (FIG. 11) is executed, and then the processes after step S62 are repeatedly executed.
  • step S65 the user inputs an instruction to change one of the sub-images to the main image
  • step S68 the designated sub-image is set as the next main image (step S68). Thereafter, the processing after step S62 is repeatedly executed.
  • step S67 the process of moving between layers in step S67 is performed.
  • the procedure of the process of moving between layers by the layer selecting unit 13A will be described with reference to the flowchart of FIG.
  • the symbol C1 in the figure represents a connector.
  • the hierarchy selection unit 13A determines whether the user's input instruction is “summary search” or “detailed search” (step S70). If there is an input instruction of "detailed search", it is determined whether or not a network of a lower hierarchy than the current hierarchy exists (step S71). If there is no lower hierarchy, the processing shifts to the main routine (FIG. 24), and the processing after step S62 is repeatedly executed.
  • step S71 if it is determined in step S71 that there is a lower hierarchy, the hierarchy selection unit 13A selects a search target from the current hierarchy 50 k + 1 (k is an integer of 0 or more) as shown in FIG. switching to a lower hierarchy 50 k (step S72), the process returns to the main routine (FIG. 24). Thereafter, the processing after step S62 is repeatedly executed. As a result, the operation unit 1 6 display screen 40, for the main image and sub-image belonging to the lower hierarchy 5Q k is displayed, the user, while viewing a table ⁇ surface 40, a lower layer 50 k You can search for target images that may be present in your site.
  • step S70 When it is determined in step S70 that the input instruction power is “detailed search”, the hierarchy selection unit 13A determines whether there is a network of a higher hierarchy than the current hierarchy (step S73). . If there is no higher hierarchy, the processing shifts to the main routine (FIG. 24), and the processing after step S62 is repeatedly executed.
  • the layer selector 13A determines whether a main image exists in the higher layer 50k + 1 (step S74). As illustrated in FIG. 26, when the main image Ij exists in the current and higher layers 50 k and 50 k + 1 , the hierarchy selection unit 13A sets the search target to the upper layer from the current layer 50 k . Switch to the layer 50 k + 1 (step S75), and then shift the processing to the main routine (FIG. 24). On the other hand, as illustrated in FIG.
  • step S76 when the main image Ij that is present at the current layer 5C does not exist at the upper layer 50k + 1 , the layer selection unit 13A is adjacent to the main image Ij, that is, One of the sub-images I j + 1 having the shortest display link distance from the main image Ij and existing in the higher hierarchy is set as the next main image (step S76), and the search target is set to the current hierarchy. Switching from k to the upper layer 50 k + 1 (step S75), and thereafter, the process returns to the main routine (FIG. 24). Thereafter, the processing after step S62 is repeatedly executed.
  • the main image and the sub-image belonging to the higher hierarchy 50 k + 1 are displayed on the display screen 40 of the operation unit 16, so that the user can visually recognize the display screen 40 and A target image that may be at 50 k + 1 can be searched. In this way, the user can efficiently and easily search for a desired target image while moving between layers.
  • the image search process mainly uses only the hierarchical information and link information of the database, it is possible to perform a high-speed search with a small amount of computation without performing complicated processing.
  • the image search device has been described above.
  • the network topology shown in Fig. 6 is not displayed on the display unit 18, but when the user specifies the main image from which the target image has been searched, the topology is displayed on the display unit 18 in three dimensions. Is also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

ＨＤＤなどの記憶装置に蓄積されている多数の画像の中から、ユーザーが所望の画像を効率良く且つ簡便に検索し得る画像検索装置が開示される。この画像検索装置は、複数の検索対象画像を蓄積する記憶装置と、前記複数の検索対象画像の各々から、前記複数の検索対象画像に共通の単数または複数の構成要素を抽出するとともに、前記単数または複数の構成要素を用いて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記類似尺度が所定範囲内であれば前記検索対象画像間をリンクを介して相互に関連付けるネットワーク構築部と、Ｎ個（Ｎは１以上の整数）の前記リンクを介して関連付けられている２つの前記検索対象画像間の表示リンク距離をＮとして算出しつつ画像を検索する画像検索部と、を備える。

Description

明細書
次に示すように国際調査機関が作成した。
画像検索方法、 装置及びプログラムを記録した記録媒体
技術分野
本発明は、 HDD (ハードディスクドライブ)などの記憶装置に格納されている多数の 画像の中から所望の画像を検索する技術に関する。
背景技術
HDDなどの大容量記憶装置に蓄積されている多数の静止画像あるいは動画像の 中から、ユーザーが所望する画像を効率良く検索するために、従来から種々の画像 検索方法が提案されている。一般に、この種の方法では、検索対象となる多数の画 像の各々から時間情報や色情報などの特徴量を抽出し、これら特徴量に基づいて各 画像間の類似尺度を算出し、前記類似尺度を基準として画像を互いに関連付けるこ とによってデータベースが構築される。
たとえば、特許文献 1 (特開平 9一 2591 30号公報）に記載される情報探索方法で は、多数の検索対象情報を 2次元または 3次元の階層空間に配置し、それら検索対 象情報を立体的に表示する方法が採用されている。具体的には、検索対象情報の 各々について、検索対象画像の色，形，大きさ，種類， 内容およびキ一ワードなどの 特徴量が抽出される。前記特徴量から特徴量ベクトルが生成され、この特徴量べクト ルに基づいて各検索対象情報相互間の類似尺度が算出される。多数の検索対象情 報は、類似尺度が高くなる程に互いの距離が近くなるように探索空間内に配置され、 第 1の探索対象層を構成する。この第 1の探索対象層から幾つかの検索対象情報を 抽出することによって 1つ上位の第 2の探索対象層が構成され、さらに、第 2の探索対 象層から幾つかの検索対象情報を抽出することによって 1つ上位の第 3の探索対象 層が構成される。このような検索対象情報の抽出作業を再帰的に実行することにより 第 1〜第 n (nは 2以上の整数)の探索対象層が構築される。また、ユーザーが情報を 検索する際は、第 1〜第 nの探索対象層が立体的に表示される。
また、特許文献 2 (特開平 1 1 - 1 75535号公報)に記載される画像検索方法は、画 像の特徴量を統計処理して計算される多次元ベクトル空間から 1軸， 2軸または 3軸 を選択し、選択した軸の座標空間に画像を縮小して配置し、その結果を表示するもの である。
従来の画像検索方法では、検索対象となる多数の画像の特徴量を十分に活かした 検索処理が実行されているとは言い難《効率良く且つ簡便に検索したいというユー ザ一の要望に応え得る検索方法が求められていた。
発明の開示
以上の状況などに鑑みて本発明の主目的は、 HDDなどの記憶装置に蓄積されて いる多数の画像の中から、ユーザーが所望の画像を効率良く且つ簡便に検索するこ とを可能にする画像検索方法，画像検索装置および画像検索プログラムを記録した 記録媒体を提供することである。
第 1の発明は、画像検索方法であって、（a)複数の検索対象画像の各々から、前記 複数の検索対象画像に共通する少なくとも 1つの構成要素を抽出するステップと、 (b)前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る ステップと、（c)前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記 検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互 に関連付けるステップと、 (d) N個（Nは 1以上の整数）の前記リンクを介して関連付け られている 2つの前記検索対象画像間の表示リンク距離を Nとして算出しつつ画像を 検索するステップと、を備えることを特徴としている。
第 2の発明は、画像検索方法であって、（a)複数の検索対象画像の各々から、前記 複数の検索対象画像に共通する少なくとも 1つの構成要素を抽出するステップと、 (b)前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る ステップと、（c)前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、 前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して 相互に関連付けるステップと、（d)前記ステップ (c)で関連付けがなされた前記検索 対象画像群で下位の階層を構築するステップと、（e)前記下位の階層から、 M個（M は 2以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出さ れた前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を構 成するステップと、（f)前記上位の階層において、前記検索対象画像のうち、前記類 似尺度が所定範囲内にある画像をリンクを介して相互に関連付けるステップと、 (g) N 個（Nは 1以上の整数)の前記リンクを介して関連付けられている 2つの前記検索対象 画像間の表示リンク距離を Nとして算出しつつ画像を検索するステップと、を備え、前 記ステップ (e)および (f)を再帰的に実行することにより複数の階層を構築することを 特徴としている。
第 3の発明は、画像検索装置であって、複数の検索対象画像を蓄積する記憶装置 と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくと も 1つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像 の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対 象画像間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲 内にある画像をリンクを介して相互に関連付けるネットワーク構築部と、 N個（Nは 1以 上の整数）の前記リンクを介して関連付けられている 2つの前記検索対象画像間の表 示リンク距離を Nとして算出しつつ画像を検索する画像検索部と、を備えることを特徴 としている。
第 4の発明は、画像検索装置であって、複数の検索対象画像を蓄積する記憶装置 と、複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくと も 1つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像 の各々を特徴付ける特徴量を得る特徴量取得部と、前記特徴量を用いて前記検索対 象画像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定 範囲内にある画像をリンクを介して相互に関連付け且つ関連付けがなされた前記検 索対象画像群で下位の階層を構築するネットワーク構築部と、 N個（Nは 1以上の整 数）の前記リンクを介して関連付けられている 2つの前記検索対象画像間の表示リン ク距離を Nとして算出しつつ画像を検索する画像検索部と、を備え、前記ネットワーク 構築部は、前記下位の階層から、 M個（Mは 2以上の整数）の前記リンクを介して関 連付けられている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも 上位の階層に属する検索対象画像群を構成する処理と、前記上位の階層において、 前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して 相互に関連付ける処理とを再帰的に実行することにより複数の階層を構築する、こと を特徴としている。
第 5の発明は、画像検索プログラムを記録した記録媒体であって、複数の検索対象 画像を記憶装置に記憶させる記憶処理と、複数の検索対象画像の各々から、前記複 数の検索対象画像に共通する少なくとも 1つの構成要素を抽出するとともに、前記構 成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得 処理と、前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対 象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連 付けるネットワーク構築処理と、 N個（Nは 1以上の整数）の前記リンクを介して関連付 けられている 2つの前記検索対象画像間の表示リンク距離を Nとして算出しつつ画像 を検索する画像検索処理と、をコンピュータに実行させることを特徴としている。 第 6の発明は、画像検索プログラムを記録した記録媒体であって、複数の検索対象 画像を記憶装置に記憶させる記憶処理と、複数の検索対象画像の各々から、前記複 数の検索対象画像に共通する少なくとも 1つの構成要素を抽出するとともに、前記構 成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る特徴量取得 処理と、前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検 索対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に 関連付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築する下 位階層構築処理と、 N個（Nは 1以上の整数）の前記リンクを介して関連付けられてい る 2つの前記検索対象画像間の表示リンク距離を Nとして算出しつつ画像を検索する 画像検索処理と、をコンピュータに実行させるとともに、前記下位の階層から、 M個 (Mは 2以上の整数）の前記リンクを介して関連付けられている画像群を抽出し、抽出 された前記画像群で前記下位の階層よりも上位の階層に属する検索対象画像群を 構成するとともに、前記上位の階層において、前記検索対象画像のうち、前記類似尺 度が所定範囲内にある画像をリンクを介して相互に関連付ける上位階層構築処理を コンピュータに再帰的に実行させることにより複数の階層を構築することを特徴として いる。
図面の簡単な説明
図 1は、本発明に係る実施例の画像検索装置の構成を概略的に示す機能ブロック 図であり、
図 2は、 4分割された静止画像を模式的に示す図であり、
図 3は、 5分割された静止画像を模式的に示す図であり、
図 4は、一連の映像ショットを模式的に示す図であり、
図 5は、検索対象画像と特徴量との対応関係を示す図であり、
図 6は、データベースのトポロジー (接続形態）を概略的に示す図であり、
図 7は、データベースのデータ配列を模式的に示す図であり、
図 8は、ネットワーク型データベースの構築処理の手順を示すフローチャートであり、 図 9 (a)は、新規画像を登録する前のネットワークのデータ配列を示す図、図 9 (b) は、新規画像を登録した後のネットワークのデータ配列を示す図であり、
図 1 0は、データベースを用いた検索処理の手順を示すフローチャートであり、 図 1 1は、一覧表示処理の手順を示すフローチャートであり、
図 1 2は、表示画面の一例を概略的に示す図であり、
図 1 3は、表示画面の一例を概略的に示す図であり、
図 1 4は、データベースのトポロジーの一例を概略的に示す図であり、
図 1 5は、表示画面の一例を概略的に示す図であり、
図 1 6は、表示画面の一例を概略的に示す図であり、
図 1 7は、表示画面の一例を概略的に示す図であり、
図 1 8は、表示画面の一例を概略的に示す図であり、 図 1 9は、表示画面の一例を概略的に示す図であり、
図 20は、階層化処理の手順を概略的に示すフローチャートであり、
図 21は、階層化の一手順を説明するためのトポロジーの一例を示す図であり、 図 22は、階層化の一手順を説明するためのトポロジーの一例を示す図であり、 図 23は、階層化ネットワーク型データべ一スを模式的に示す図であり、
図 24は、階層化ネットワーク型データベースを用いた画像検索処理の手順を示す フローチャートであり、
図 25は、階層間移動処理の手順を示すフ口一チヤ一卜であリ、
図 26は、階層間移動処理の一手順を説明するための図であり、
図 27は、階層間移動処理の一手順を説明するための図である。
発明を実施するための形態
以下、図面を参照しつつ本発明に係る種々の実施例について説明する。
図 1は、本発明に係る実施例の画像検索装置 1の構成を概略的に示す機能ブロック 図である。画像検索装置 1は、信号処理部 1 0，特徴量取得部 1 1，ネットワーク構築 部 1 2，メインコントローラ（画像検索部） 1 3，画像合成部 1 4,画像データべ一ス 1 9お よびネットワークデータべ一ス 20を備えている。これら機能ブロック 1 0〜1 4， 1 9, 20 は、制御信号やデータ信号を伝達するバス 21を介して相互に接続されている。
また、メインコントローラ 1 3は、ユーザーの指示が入力される操作部 1 6とユーザー インターフェース 1 5を介して接続され、画像合成部 1 4は、出力インタ一フェース 1 7を 介して表示部 1 8と接続されている。表示部 1 8は、静止画像や動画像を表示し得る解 像度を持つディスプレイ装置である。操作部 1 6は、ユーザーの入力指示をユーザ一 インターフェース 1 5を介してメインコントローラ 1 3に与えることができ、具体的には、 表示部 1 8の画面上の座標位置を検出するマウスなどのポインティング'デバイスとキ —ボードとを備えている。操作部 1 6として、表示部 1 8の画面上でユーザーの指など が触れた位置を検知して当該位置に応じた指示をメインコントローラ 1 3に与えるタツ チスクリーン、あるいは、ユーザーが発した音声を認識してその結果をメインコント口 ーラ 1 3に与える音声認識装置を採用してもよい。
メインコントローラ 1 3は、機能ブロック 1 0〜 1 4， 1 9, 20の動作を制御する機能を 有し、各種検索処理を実行する階層選択部 1 3A，画像選択部 1 3Bおよび表示制御 部 1 3Cを備えている。メインコントローラ 1 3は、マイクロプロセッサ，制御プログラムな どを格納する ROM, RAM, 内部バスおよび入出力インタ一フェースなどを備えた集 積回路で構成されればよい。階層選択部 13A,画像選択部 1 3Bおよび表示制御部 1 3Cは、マイクロプロセッサで実行されるプログラムまたは一連の命令群で構成されて もよいし、ハードウヱァで構成されてもよい。また、本実施例では、前記特徴量取得部 1 1とネットワーク構築部 1 2はそれぞれ独立したハードウ Iァで構成されているが、こ の代わりに、メインコントローラ 1 3のマイクロプロセッサで実行されるプログラムまた は一連の命令群で構成されてもよい。
また、特徴量取得部 1 1 ，ネットワーク構築部 1 2およびメインコントローラ 1 3による 検索処理をマイクロプロセッサで実行する画像検索プログラムを、 HDD,不揮発性メ モリ，光ディスクまたは磁気テープなどの記録媒体に記録しこれを用いてもよい。 前記信号処理部 10は、外部からの入力画像信号を取り込み、これを所定のタイミン グでバス 21を介して画像データべ一ス 1 9に転送する機能を有する。アナログ信号が 入力した場合は、信号処理部 10は入力画像信号を AZD変換した後に画像データべ ース 1 9に転送する。入力画像信号の符号化方式としては、 J P E G ( Joint Photographic Experts Group) , GIF(Graphic Interchange Format)およぴビッ卜マ ップなどの静止画像符号化方式， 並びに、 Motion— J PEG, AVI (Audio Video Interleaving)および MPEG (Moving Picture Experts Group)などの動画像符号化 方式が挙げられる。入力画像信号の供給源としては、たとえば、ムービーカメラ，デジ タルカメラ，テレビチューナ， DVDプレーヤ（Digital Versatile Disk Player) ,コンパク トディスクプレーヤ，ミニディスクプレーヤ，スキャナ，インタ一ネットなどの広域ネット ワークが挙げられる。
画像データベース 1 9は、 HDDなどの大容量記憶装置において構築され、バス 21 を介して転送された静止画像および動画像（以下、検索対象画像と称する。）を既存 のファイルシステムに従って記録し管理する。後述するように、特徴量取得部 1 1とネ ットワーク構築部 1 2は、画像データベース 1 9に記録されている検索対象画像群を網 の目状に関連付けることによってネットワーク型データベースを構築しこれをネットヮ ークデータベース 20に記録する。
特徴量取得部 1 1は、多数の検索対象画像の各々の特徴量を取得する処理 (特徴 量取得処理)を行う機能ブロックである。具体的には、特徴量取得部 1 1は、画像デー タベース 1 9に記録されている多数の検索対象画像から、これら検索対象画像に共通 の構成要素、たとえば、各画素を構成する一組の色成分あるいはメタデータを抽出す る。一組の色成分としては、たとえば、 R (赤色）， G (緑色）および B (青色）の色成分 の組や、 Y (輝度）， Cb (色差）および CK色差）の色成分の組が挙げられる。メタデー タとしては、検索対象画像に付加されている属性，意味内容，取得先もしくは格納場 所などの情報が挙げられる。より具体的には、タイトル，記録日時（絶対時間 Z相対 時間），取得場所（緯度 経度 高度），ジャンル， 出演者，キーワード，コメント，価 格（円 κドル zユーロ）および画像サイズなどの情報をメタデータとして抽出すること 力《できる。
特徴量取得部 1 1は、検索対象画像から抽出した構成要素に基づいて、検索対象 画像の各々を特徴付ける複数の特徴値の組すなわち特徴量を算出する。ネットヮ一 ク構築部 1 2は、前記特徴量取得部 1 1で算出された特徴量を用いて前記検索対象画 像相互間の類似尺度を算出し、前記検索対象画像のうち、前記類似尺度が所定範囲 内にある画像をリンクを介して相互に関連付けることによってネットワーク型データべ ースを構築する。以下、検索対象画像が静止画像であって、静止画像から抽出され た構成要素が R, G, Bの色成分である場合の類似尺度の算出方法について説明す る。
特徴量取得部 1 1は、画像データベース 1 9から静止画像を読み出し、この静止画像 を M個（Mは 2以上の整数）のブロックに分割する。たとえば、図 2に示すように静止画 像 30を 4つのブロック B1， B2, B3, B4に分割したり、あるいは、図 3に示すように静 止画像 30を 5つのブロック B1 , B2, B3, B4, B5に分割したりすることができる。次 いで、各ブロックの R成分， G成分， B成分のそれぞれの平均値すなわち特徴値が算 出される。
画像データベース 1 9に格納されている k番目（kは 1以上の整数）の静止画像中の m + 1番目（mは 1以上の整数）のブロックにおいて、 i番目（iは 1以上の整数）の R成 分， G成分および B成分をそれぞれ n (k, m)， gi (k, m)および b|(k, m)で表し、 m番 目ブロックの R成分， G成分および B成分の平均値をそれぞれく Kk， m) >,く g(k， m) >およびく b (k, m) >で表し、当該ブロックに含まれる R成分， G成分および B成 分の各総数を Nで表すとすると、平均値く r(k， m) > , <g(k, m) >およびく b (k, m) >は次式（ 1 )で与えられる。
1 Λ
< r(k,m) >=—— > η(κ,ηι) = x(k, 3m - 2)
-1 N
< g{k,m) >=― ^ gt (k, m) = x(k, 3m一 1)
1 N
< b(k,m) >=一 > 6£ ( ,m) = x(k,3m)
上式（1)は、 R成分， G成分， B成分のそれぞれの算術平均値を与えるものである が、算術平均値の代わりに、 R成分， G成分， B成分のそれぞれの幾何平均値，調和 平均値または重みづけ平均値を算出してもよい。なお、算術平均値は、 2つの数 a， b に対して（a + b)ノ 2を与え、幾何平均値は、 2つの正数 a, bに対して (ab)1/2を与え、 調和平均値は、 2つの数 a， bに対して逆数の算術平均値の逆数（ = 2abZ(a + b)) を与え、そして重み付け平均値は、 2つの数 a, bに対して a, bそれぞれに係数 ， β を乗じて加算した値（= Qfa+ β b)を与える。
次に、上式（1)に示すように x(k, 3m— 2)， x(k, 3m— 1), x(k, 3m)を定義する と、次式（2)で与えられる 3 X M次元のベクトル量 Xkが構成される。
Xk = {x(k,l),x(k,2),x(k,3),'--,x(k,3m - 2),x(k,3m - l),x(k,3m),
…… yx(k,3M一 2),x(k,3M ~l),x(k,3M) } (2) 前記ベクトル量 Xkを距離空間（metric space)上の一要素として极ぅことによって、 2 つの検索対象画像間のユークリッド距離を定義することができる。すなわち、 p番目（p は 1以上の整数）の画像と q番目（qは 1以上の整数）の画像との間のユークリッド距離 D(p, q)は、次式（3)で定義される。 Nr
D(p,q) = \\XP ~ J = {X(P, j)一 x(q, j) ( 3 ) ここで、 Nr = 3M
特徴量取得部 1 1は、上記ベクトル量 xkを当該検索対象画像を特徴付ける固有の 特徴量であるとみなし、前記ユークリッド距離 D (p， q)を類似尺度として算出する。本 実施例では、 2つの検索対象画像が互いに類似するほどにユークリッド距離は小さく なり、類似尺度は小さな値をとることとなる。この代わりに、ユークリッド距離の逆数を 類似尺度として定義し、 2つの検索対象画像が互いに類似するほどに類似尺度が大 きな値をとるように構成を変更してもよい。
なお、上記ユークリッド距離の代わりにマンハッタン距離 (街路距離)を用いることも 可能である。マンハッタン距離 D (P, q)は、次式（3A)で定義される。
D(p,q) = \\Xp ~ Xq\\ ( 3 A)
Figure imgf000014_0001
ここで、 Nr = 3M 次に、検索対象画像が複数のフレームからなる動画像であって、各フレームから抽 出された構成要素が R, G, Bの色成分である場合の類似尺度の算出方法について 説明する。図 4に示すように、動画像データは、一連の映像ショット Si , S2，…， SNs (Nsは 2以上の整数）から構成されており、各映像ショットは複数のフレームで構成さ れるものとする。たとえば、最初の映像ショット は、連続する n枚（nは 2以上の整 数）のフレーム 302, ■■·, 30πで構成されている。連続する映像ショットと映像ショ ットとの間には、フレーム間の相関が著しく小さくなるカツ卜点（シーンチェンジ） Sc, Sc, …が発生する。特徴量取得部 1 1は、各シーンチェンジ Scを検出することで各映像シ ヨットを識別することができる。 特徴量取得部 1 1は、各映像ショット Sk(kは 1〜Nsの整数）のフレームを M個（Mは 2以上の整数）のブロック B1， B2,…に分割する。たとえば、図 4に示すようにフレー 厶を 4分割すればよし、。次いで、特徴量取得部 11は、各ブロックの R成分， G成分， B 成分それぞれの平均値を算出し、これら平均値を複数のフレームに亘つて平均化す ることで特徴値を算出する。具体的には、 k番目の映像ショット Skにおいて、 s番目（s は"!〜 Nk;Nkは 1以上の整数）のフレームの m番目ブロックの i番目の R成分， G成分 および B成分を、それぞれ、 i， s;k, m)， g(i, s;k， m)および b(i, s;k, m)としたと き、 k番目映像ショット Skを特徴付ける m +1番目ブロックの特徴値く R(k, m)>， < G(k， m)>, <B(k, m)>は次式（4)で与えられる。
Figure imgf000015_0001
< G(k,m) >=—— ^ _ ,3，' k,m~) =x{k, m -1) ( 4 )
< B(k,m) >=
Figure imgf000015_0002
次に、上式（4)に示すように x( 3m— 2)， x(k, 3m— 1), x(k, 3m)を定義する ことで、上式（2)で与えられるベクトル量 Xkを構成することができる。前記ベクトル量 X kを距離空間（metric space)上の要素として扱し、、上式（3)に示したように、 2つの映 像ショット間のユークリッド距離 D(P， q)を類似尺度として定義することができる。なお、 ユークリッド距離 D(p, q)の増加に対して減少する値，たとえば逆数，を類似尺度とし て定義してもよい。
次に、検索対象画像から抽出された構成要素がメタデータである場合の類似尺度 の算出方法について説明する。特徴量取得部 11は、メタデータ自体またはメタデータ に含まれる情報を特徴量として用いて、検索対象画像間のメタデータの一致率に比 例または反比例する値を上記類似尺度として算出する機能を有している。具体的に は、メタデータが撮影日時や撮影場所，価格などの数値情報を含む場合は、その数 値情報を特徴量 Xkとして扱い、 P番目画像の特徴量 XPと q番目画像の特徴量 Xqとの 間の差分を類似尺度 D (p, q)として算出することができる。 メタデータがジャンルもしくはキーワードなどの数値表現が難しい情報を含む場合は、 ジャンルやキーワードに含まれている数値，たとえば， 「面白さ度数 90%,興奮度 9 0%Jといった客観的な指数を特徴量 Xkとして採用し、 p番目画像の特徴量 Xpと q番目 画像の特徴量 Xqとの差分を類似尺度 D (p, q)として算出することができる。 また、メタデータがタイトル， 出演者もしくはコメントなどの数値表現が不可能な符号 列を含む場合は、その符号列を特徴量 Xkとして用いて、 P番目画像の文字列 XPと q番 目画像の文字列 Xqとの間の一致率または不一致率に比例する値を類似尺度 D (P， q )として算出することができる。たとえば、 2つの文字列 Xp, Xqがー致する場合は類 似尺度 D (p， q)を1 Tに設定し、 2つの文字列 Xp， Xqが不一致である場合は類似尺度
D (p， q)を' Ό' 'に設定することができる。あるいは、 2つの文字列 Xp, Xqが完全に一致 する場合は類似尺度 D (p， q)を'' 2"に設定し、 2つの文字列 Xp, Xqの一部が一致する 場合は類似尺度 D (p, q)を' Ί "に設定し、 2つの文字列 Xp, Xqが完全に一致しない場 合は類似尺度 D (p, q)を1 Ό"に設定することができる。
特徴量取得部 1 1は、上記特徴量 Xkを算出するとともに、当該特徴量 Xkを検索対象 画像と対応付けてネットワークデータベース 20に格納する。図 5は、 k番目の検索対 象画像と特徴量 Xkとの対応関係を概略的に示す図である。各検索対象画像はインデ ックス番号 kが付されており、このインデックス番号 kに対応する特徴量 Xkがネットヮー クデータベース 20に格納されている。ネットワーク構築部 1 2は、図 5に示されるような 対応テーブルを参照して 2つの検索対象画像間の類似尺度 D (p, q )を算出する。次 いで、ネットワーク構築部 1 2は、類似尺度 D (p, q)が次式（5)に示される関係式を満 たすか否かを判定し、下記関係式（5)を満たす場合に p番目画像と q番目画像とは相 互に類似していると判断し、これら検索対象画像を相互に関連付けることによってネ ットワーク型データベースを構築しこれをネットワークデータベース 20に格納する。
D(p,q)≤Rth ( 5 )
上式（5)中、 Rthは類似尺度の閾値である。閾値 Rthは、各検索対象画像について 平均して 5〜1 0個程度の画像を関連付け可能な値に設定されることが望ましい。ま た、関連付けられた検索対象画像間の表示リンク距離は全て等しい値に設定される。 本実施例では、表示リンク距離は「1」に設定されるが、それに限定されるものではな い。 図 6は、前記ネットワーク型データベースのトポロジー（接続形態）を概略的に示す 図であり、図 7は、当該ネットワーク型データベースのデータ配列を概略的に示す図で ある。図 6を参照すると、検索対象画像 1 12,…は，リンク , 2， C1 i 4, …を介して相互 に関連付けられている。リンク Cp， qは、 2つの検索対象画像 Ip， Iq間の関連付けを示す 接続線であり、各リンクの距離 (表示リンク距離）は「1」に設定されている。検索対象 画像 1 12, …は、リンク c^, c1 i 4, …の両端位置（節点）に配置されると考えてもよ い。
また、 2つの前記検索対象画像間の表示リンク距離は、 N個（Nは 1以上の整数）の リンクを介して関連付けられている場合は「N」である。さらに言えば、 2つの検索対象 画像 Ip, Iq間の表示リンク距離は、一方の検索対象画像 Ipから他方の検索対象画像 Iq へ迪る経路のうち最短経路のリンク数と定義され得る。たとえば、検索対象画像 は、
1個の画像 12を介して画像 15と間接的に関連付けられ、 2個の画像 12, 15を介して画像 19 と関連付けられているため、画像 と画像 15との間の表示リンク距離は「2」であり、画 像 Iと画像 I9との間の表示リンク距離は「3」である。
図 7を参照すると、上記ネットワーク型データベースのデータ配列は、画像配列 PAと 接続配列 CA , CA2,…との二重配列構造を有している。画像配列 PAは、接続配列 CAL CA2, …へのポインタ' 1 '， '2', '3',…を格納する配列であり、接続配列 CA , CA 2,…は、検索対象画像 1 12,…のインデックス番号 (以下、画像番号と呼ぶ。）の配列 である。画像番号は、各配列において昇順に連続的に並んでいる。 Xは、画像配列ま たは接続配列の終端を示す記号である。
次に、図 8を参照しつつ、ネットワーク型データベースの構築処理の手順を説明する。 以下、 K個（Kは 0以上の整数）の検索対象画像によって既にネットワーク型データべ ースが構築されており、 K + 1番目の新規画像 ΙΚ+1をデータベースに登録する処理に ついて説明する。このとき、図 9 (a)に示すように、新規画像 ΙΚ+1の登録前のデータ配 列は、接続配列 C^ CAKと、これら接続配列それぞれへのポインタ' 1 '， 'Ζ', '3', -' K'を有する画像配列 ΡΑとで構成されている。なお、 Κ = 0の場合は、新規データべ一 スを構築する場合に該当する。
図 8を参照すると、まず、メインコントローラ 1 3は、信号処理部 1 0から入力した新規 画像 Ικ+1を画像データベース 1 9に記録し（ステップ S 1 )、新規画像 Ικ+1をネットワーク データベース 20に追加する（ステップ S2)。このとき、図 9 (b)に示すように、新規画 像 ΙΚ+1用の接続配列 CAK+1の領域が確保され、画像配列 PAに前記接続配列 CAK+1 へのポインタ 'K+ 1 'が追加される。
次に、メインコントローラ 1 3は、特徴量取得部 1 1に新規画像 IK+1の特徴量 ΧΚ+1を算 出させる（ステップ S3)。このとき、特徴量取得部 1 1は、新規画像 ΙΚ+1から、 R, G, Β の色成分もしくはメタデータなどの構成要素を抽出し、前記構成要素を用いて特徴量 XK+1を算出してこれをネットワークデータベース 20に記録する。
続くステップ S4〜 S9で、登録済みの画像 〜ΙΚと新規画像 Ικ+1との間の関連付け処 理が実行される。すなわち、画像番号 jが初期値（= 1 )【こ設定される (ステップ S4)。 次いで、特徴量取得部 1 1は、ネットワークデータベース 20から、画像データベース 1 9に記録されている j番目画像 Ijの特徴量 Xjを取得する（ステップ S5)。ここで、特徴量 取得部 1 1がネットワークデータベース 20から特徴量 Xjを取得する代わりに、 j番目画 像 Ijの特徴量 Xjを新たに算出してもよい。
続いて、ネットワーク構築部 1 2は、特徴量 Xj, XK+1を用いて、 j番目画像 Ijと新規画像 IK+1との間の類似尺度 D (j， K+ 1 )を算出する（ステップ S6)。さらに、ネットワーク構 築部 1 2は、類似尺度 D (j, K + 1 )が上記関係式（5)を満たすか否かを判定し (ステツ プ S7)、類似尺度 D (j， K+ 1 )がその関係式（5)を満たさないと判定した場合は、ステ ップ S9に処理が移行する。
一方、前記ステップ S7において、類似尺度 D (j, K+ 1 )が関係式（5)を満たすと判 定した場合は、ネットワーク構築部 1 2は、 j番目画像 Ijと新規画像 IK+1とは互いに類似 すると判断し、両画像 Ij， Ικ+1を関連付ける（ステップ S8)。具体的には、図 9 (b)に示す ように、新規画像 IK+1用の接続配列 CAK+1 番目画像 Ijの画像番号 jが追加され、画 像配列 PAのポインダ j'に対応する接続配列 CAjに新規画像 Ικ+1の画像番号 K+ 1が 追加される。そして、ネットワーク構築部 1 2は、このデータ配列をネットワークデータ ベース 20に記録する。その後、ステップ S9に処理が移行する。
ステップ S9では、メインコントローラ 1 3力 全ての画像 ^〜 について処理が終了し たか否かを判定し、当該処理が終了しないと判定した場合は、画像番号 jをインクリメ ン卜して（ステップ S1 2)、上記ステップ S5以後の処理を繰り返し実行する。一方、メイ ンコントローラ 1 3は，全ての画像 ^〜 について処理が終了したと判定した場合（ステ ップ S9)、上記ステップ S8で関連付ける画像が 1つも無いか否かを判定する（ステツ プ S1 0)。前記ステップ S1 0で関連付ける画像が 1つでも存在したと判定された場合、 以上のデータベース構築処理は終了する。一方、前記ステップ S1 0で関連付ける画 像力 つも無いと判定された場合は、ネットワーク構築部 1 2は、新規画像 Ικ+1との類 似尺度 D (j， K+ 1 )の値が最も小さい画像 Ijを、新規画像 Ικ+1と関連付ける（ステップ S 1 1 )。以上でデータベース構築処理は終了する。
次に、図 1 0, 図 1 1を参照しつつ、上記ネットワーク型データベースを用いた検索処 理を以下に説明する。図 1 0は、画像検索処理の手順を示すフローチャートであり、図 1 1は、図 1 0のフローチャートで使用される一覧表示処理の手順を示すフローチヤ一 卜である。
まず、操作部 1 6からの入力指示に応じて、メインコントローラ 1 3は、画像の一覧表 示処理（図 1 1 )を実行する（ステップ S20)。図 1 1を参照すると、画像選択部 1 3Β (図 1 )は、表示リンク距離を初期値 Rdに設定し（ステップ S30)、その後、ネットワークデ —タベース 20を参照し、主画像との表示リンク距離が初期値 Rd以下となる画像を副 画像として設定する（ステップ S31 )。ここで、初期値 Rdは、操作部 1 6を介してユーザ —によって指定され得る力 特に指定が無い場合は、予め登録した値，たとえば「5」 に設定される。また、主画像は、ネットワークデータベース 20に登録されている画像 群の中から任意に選択され得る力 特に指定が無い場合は、画像番号「1」の画像 が主画像として選択される。
次に、表示制御部 1 3Cは、上記ステップ S31で選択した主画像と副画像とを表示部 1 8に一覧形式で 1画面に表示させる（ステップ S32)。具体的には、表示制御部 1 3C は、画像データベース 1 9に記録されている主画像と副画像を読み出し、これらをバス 21を介して画像合成部 1 4に転送する。画像合成部 1 4は、転送された主画像と副画 像の解像度を変換して得たサムネイルサイズの画像群を合成し、出力インターフエ一 ス 1 7を介して表示部 1 8に出力する。ここで、サムネイル画像の表示順を主画像との リンク距離の昇順とすることで主画像と類似尺度が高い副画像を優先して表示するの が好ましい。
図 1 2は、表示部 1 8の表示画面 40を概略的に示す図である。表示画面 40には、主 画像 が表示され、この主画像 Iに類似する副画像 12~125が表示されている。全ての 副画像を 1画面に表示できない場合、ユーザーは、操作部 1 6を入力操作することで 次画面選択ボタン 41 Nを指定して残る副画像群を次画面に一覧表示させることカで きる。また、ユーザ一は、前画面選択ポタン 41 Bを指定して表示画面を前画面に戻す ことも可能である。ここで、主画像と副画像のサムネイル画像を予め生成して画像デ ータベース 1 9に格納しておき、画像合成部 1 4が、高解像度の主画像と副画像とを画 像データベース 1 9から読み出す代わりに、サムネイル画像を読み出してもよい。 ユーザーは、目的画像を見つけた場合は、操作部 1 6を入力操作して画面 40に表 示された画像群の中から所望の目的画像を指定することができる。あるいは、目的画 像を発見できない場合、ユーザーは、操作部 1 6を入力操作して目的画像以外の副画 像を次の主画像として指定することもできる。画像選択部 1 3Bは、操作部 1 6からの 入力指示を検出することにより、目的画像の指定の有無を判定する（ステップ S33)。 ユーザーが目的画像を指定したとき、画像選択部 1 3Bは目的画像の指定有りと判定 して以上の処理を終了させる。一方、ユーザーが目的画像以外の副画像を次の主画 像として指定したとき、画像選択部 1 3Bは、目的画像の指定無しと判定し（ステップ S 33)、指定された副画像を主画像に設定し（ステップ S34)、その後、メインルーチン (図 1 0)へ処理を戻す。
メインルーチンのステップ S21では、画像選択部 1 3Bは、主画像との表示リンク距 離が設定値 Rs以下となる画像を副画像として設定する（ステップ S21 )。その後、表 示制御部 1 3Cは、主画像と副画像とを表示部 1 8に一覧形式で表示させる（ステップ S22)。ここで、ユーザーは、操作部 1 6を入力操作することでメインコントローラ 1 3が 保持する設定値 Rsを適宜変更することができる。たとえば、図 6ί.こ示したデータべ一 スの場合、主画像 Iに対して設定値 Rsを「1 Jに設定した場合、画像選択部 1 3Bは、 主画像 ^との表示リンク距離が「1」以下の画像 1 13, 14を副画像として設定し、設定値 Rsを「3」に設定した場合、画像選択部 1 3Bは、主画像 との表示リンク距離が「3」以 下の画像 In, Ιΐ2, Ι13を副画像として設定することとなる。 図 1 3は、表示部 1 8の表示画面 40の一例を示す図である。表示画面 40には、主画 像 13が表示されるとともに、主画像 13との表示リンク距離が「1 J以内の副画像 I , 12, 15， 16, 17がサムネイルサイズで一覧表示されている。
ユーザ一は、操作部 1 6を入力操作して、画面 40に表示された画像群から所望の 目的画像を指定することができる。画像選択部 1 3Bは、操作部 1 6からの入力指示を 検出することにより、目的画像の指定の有無を判定する（ステップ S23)。ユーザーが 目的画像を指定したとき、画像選択部 1 3Bは目的画像の指定有りと判定して画像検 索処理を終了させる。
一方、ユーザ一が目的画像を指定せず、その他の指示を入力した場合、画像選択 部 1 3Bは目的画像の指定無しと判定し (ステップ S23)、その後、入力指示の種類に 応じてステップ S25または S26のいずれか一方に処理が移行する（ステップ S24)。 ここで、入力指示が「一覧表示指示」である場合は、ステップ S25の一覧表示処理（図 1 1 )が実行され、その後、ステップ S21以後の処理が繰り返し実行される。一方、ュ 一ザ一が表示画面 40の中の副画像の 1つを主画像に変更する指示を入力した場合、 画像選択部 1 3Bは「継続指示」があったと判定し (ステップ S24)、指定された副画像 を次の主画像に設定する（ステップ S26)。その後、ステップ S21以後の処理が繰り 返し実行される。
たとえば、ユーザーが副画像 16指定して継続指示を入力した場合、図 1 4に示すよう に主画像は画像 13から画像 16に変更され、表示画面 40は図 1 5に示す画像に変化す る。図 1 5に示す表示画面 40には、主画像 16が表示されるとともに、主画像 16との表示 リンク距離が「1」以内の副画像 I3， I5, I10， In , 112がサムネイルサイズで一覧表示され ている。ユーザーは、表示画面 40に主画像に指定すべき副画像が存在しない場合 は、たとえば、図 1 2に示すように多数のサムネイル画像を一覧表示させることにより (ステップ S25)、主画像に指定すべき画像を素早く見つけることができる。
このように、ユーザ一は、所望の目的画像を効率良く且つ簡便に検索することがで きる。また、上記画像検索処理は、主にデータベースのリンク情報のみを使用してい るため、複雑な処理をせずに少ない演算量で高速に検索することが可能である。
ところで、図 1 3に示した画面 40では、表示領域全体と比べて主画像 13の水平画素 数は多く且つその垂直画素数は少ないため、主画像 13は上方に配置され、主画像 13と の重複面積が小さくなるように下方の表示領域に副画像 1 12,…が水平方向に沿つ て配列させられている。これに対し、図 1 5に示した画面 40では、表示領域全体と比 ベて主画像 16の水平画素数は少なく且つその垂直画素数が多いため、主画像 16は右 方に配置され、主画像 16との重複面積が小さくなるように左方の表示領域に副画像 13, I5, …が垂直方向に沿って配列させられている。このように、表示制御部 1 3Cは、主 画像と副画像の画像サイズに応じて最適な配列を構成することができる。図 1 3と図 1 5に示した配列の他に、図 1 6〜図 1 9に示す配列も可能である。図中、「M」は主画像 を示し、「S」は副画像を示している。
なお、上記の画像検索処理では、表示画面 40に表示される副画像は、主画像との 表示リンク距離が設定値 Rs以下の画像群であった力 この代わりに、主画像との表 示リンク距離が設定値 Rsあるいは設定値 Rsを中心とした所定範囲内の画像を副画 像として設定し表示画面 40に表示してもよし、。たとえば、設定値 Rs = 3の場合、主画 像との表示リンク距離が「3」の画像群のみを表示画面 40に表示してもよいし、あるい は表示リンク距離が「2」， 「3」， 「4」の画像群のみを表示画面 40に表示してもよい。 次に、上記ネットワーク型データベース（以下、「ネットワーク」と呼ぶ。）を用いた階 層化処理を説明する。ネットワーク構築部 1 2は、図 8に示した処理手順で構築したネ ットワーク（以下、 0次階層のネットワークと呼ぶ。）から、上位の階層のネットワークを 構築することができる。すなわち、ネットワーク構築部 1 2は、 0次階層のネットワーク から、 N個（Nは 1以上の整数）の検索対象画像を介して間接的に相互に関連付けら れている検索対象画像群を抽出し、抽出された検索対象画像群で上位の階層に属す る画像群を構成する。さらに、ネットワーク構築部 1 2は、前記上位の階層において、 前記 0次階層で間接的に相互に関連付けられていた検索対象画像間を関連付け、且 つ関連付けられた検索対象画像間の表示リンク距離を「1」に設定することにより、 1 次階層のネットワークを構築する。以上の処理を再帰的に実行することで、さらに上 位の階層のネットワークを構築することが可能である。
以下、図 20を参照しつつ、ネットワーク構築部 1 2による階層化処理の一実施例を 以下に説明する。図 20は、階層化処理の手順を概略的に示すフローチャートである。 まず、ネットワーク構築部 1 2は、ネットワークデータベース 20から 0次階層のネットヮ ークを読み込み（ステップ S40)、 1次階層のネットワークを構築すべく階層番号 iを 「1」に設定する（ステップ S41 )。その後、 0次階層に属する複数の画像のうち起点画 像が 1つ選択される（ステップ S42)。起点画像としては、操作部 1 6を介してユーザー により任意の画像が選択され得るが、特に指定が無い場合は、画像番号が最小の画 像が選択される。図 21は、 0次階層のネットワークのトポロジーを概略的に示す図で ある。この図 21では、画像 Iが起点画像として選択される。
次に、ネットワーク構築部 1 2は、起点画像を代表画像として設定し (ステップ S43)、 代表画像に隣接する画像，すなわち代表画像との表示リンク距離が「1」の画像を全 て削除する (ステップ S44)。たとえば、図 21に示すように、代表画像 に隣接する画 像 12, 13， 14が削除される。その後、ネットワーク構築部 1 2は、全画像について処理し たか否かを判定し (ステップ S45)、全画像について処理したと判定した場合は、ステ ップ S47に処理を移行し、全画像について処理しないと判定した場合は、ステップ S4 6に処理を移行する。
ステップ S46では、前記ステップ S44で削除された画像に隣接する画像が次の起 点画像として選択される（ステップ S46)。ここで、起点画像としては、複数の対象画像 のうち画像番号が最小の画像が選択され、前の起点画像は再び選択されない。図 2 1では、対象画像は、画像 I5, I6, I7, 18であり、これらのうち画像番号が最小の画像 15が 起点画像として選択される。続けて、上記ステップ S43以後の処理が、ステップ S45 で全画像について処理が終了したと判定される迄、繰り返し実行される。この結果、 図 21に例示されるように、太枠で囲まれた画像 I， Ι5, Ιιο,…が代表画像として設定さ れる。
上記ステップ S45で全ての画像について処理が終了したと判定した場合、ネットヮ —ク構築部 1 2は、代表画像群で上位の i次階層の画像群を構成し（ステップ S47 )、 代表画像のうち、 ί—1次階層において表示リンク距離が「2」の 2つの画像を互いに関 連付け、且つ関連付けられた 2つの画像間の表示リンク距離を全て「1」に設定する (ステップ S48)。この結果、 i次階層のネットワークが構築される。図 22に示す例では、 図 21に示した太枠で囲まれた代表画像相互間にリンク 5， C1 i 6, C^ y, …が形成さ れる。
次に、ネットワーク構築部 1 2は、階層化処理を終了するか否かを判定し (ステップ S 49)、階層化処理を終了しないと判定した場合は、階層番号 iをインクリメントして（ス テツプ S50)、上記ステップ S42以後の処理を繰り返し実行する。一方、階層化処理 を終了すると判定した場合、ネットワーク構築部 1 2は、階層化処理を終了し、構築し た 1次〜じ欠階層（Lは 1以上の整数）のネットワークをネットワークデータべ一ス 20に 記録する。この結果、図 23に示すように、 0次〜じ欠階層のネットワーク 500〜50しが 構築されることとなる。
なお、上記ステップ S44においては、代表画像に隣接する画像を削除する処理を実 行していたが、この代わりに、代表画像との表示リンク距離が「NJ (Nは 2以上の整 数）以下の画像を削除してもよい。
次に、図 24と図 25を参照しつつ、上記階層化ネットワークを用いた画像検索処理 を説明する。図 24は、メインコントローラ 1 3による画像検索処理の手順を概略的に 示すフローチヤ一卜である。
まず、ステップ S60では、階層選択部 1 3A (図 1 )は、ネットワークデータベース 20に 格納されている 0次〜じ欠階層のネットワークのうち最上位のし次階層のネットワーク を検索対象として選択する。この代わりに、最初の検索対象が操作部 1 6を介してュ 一ザ一によつて選択されてもよい。
次に、表示制御部 1 3Cは、図 1 1に示した画像の一覧表示処理を実行することによ リ、最上位階層に属する検索対象画像を表示部 1 8に一覧表示させる (ステップ S61 )。 すなわち、表示部 1 8の画面 40には、図 1 2に示したように最上位階層に属する主画 像と副画像とが一覧形式で表示される。ユーザ一は、目的画像を見つけたとき、操作 部 1 6を入力操作して目的画像を指定することができる。かかる場合、本検索処理は 終了する（図 1 1，ステップ S33)。目的画像を発見できないとき、ユーザーは、目的画 像以外の画像を次の主画像として指定することができる。かかる場合は、指定した画 像が主画像に設定される（図 1 1，ステップ S34)。
次のステップ S62では、画像選択部 1 3Bは、主画像との表示リンク距離が設定値 R s以下となる画像を副画像として設定する（ステップ S62)。その後、表示制御部 1 3C は、主画像と副画像とを表示部 1 8に一覧形式で表示させる（ステップ S63)。ユーザ 一は、操作部 1 6を入力操作して、画面 40に表示された画像群から所望の目的画像 を指定することができる。画像選択部 1 3Bは、操作部 1 6からの入力指示を検出する ことにより、目的画像の指定の有無を判定する（ステップ S64)。ユーザーが目的画像 を指定したとき、画像選択部 1 3Bは目的画像の指定有りと判定して画像検索処理を 終了させる。
—方、ユーザーが目的画像を指定せず、その他の指示を入力した場合、画像選択 部 1 3Bは目的画像の指定無しと判定し (ステップ S64)、その後、入力指示の種類に 応じてステップ S66, S67または S68のいずれかに処理が移行する。ここで、入力指 示が「一覧表示指示」である場合は、ステップ S66の一覧表示処理（図 1 1 )が実行さ れ、その後、ステップ S62以後の処理が繰り返し実行される。一方、ユーザーが副画 像の 1つを主画像に変更する指示を入力した場合、画像選択部 1 3Bは、現在の階層 で検索を続行する旨の「継続指示」があったと判定し（ステップ S65)、指定された副 画像を次の主画像に設定する（ステップ S68)。その後、ステップ S62以後の処理が 繰り返し実行される。
他方、前記入力指示が「概略 詳細検索指示」である場合は、ステップ S67の階層 間移動処理が実行される。以下、図 25のフローチヤ一卜を参照しつつ、階層選択部 1 3Aによる階層間移動処理の手順を説明する。なお、図中の符号 C1は、接続子を表 している。
まず、階層選択部 1 3Aは、ユーザーによる入力指示が「概略検索」または「詳細検 索」のいずれであるかを判定する（ステップ S70)。 Γ詳細検索」の入力指示があった 場合は、現在の階層よりも下位の階層のネットワークが存在するか否かを判定する (ステップ S71 )。下位の階層が存在しない場合は、メインルーチン（図 24)に処理が 移行し、ステップ S62以後の処理が繰り返し実行される。
—方、前記ステップ S71で下位の階層が存在すると判定した場合、階層選択部 1 3 Aは、図 26に示すように検索対象を現在の階層 50k+1 (kは 0以上の整数）から下位 の階層 50kへ切り換え（ステップ S72)、メインルーチン（図 24)に処理を戻す。その後、 ステップ S62以後の処理が繰り返し実行される。この結果、操作部 1 6の表示画面 40 には、下位の階層 5Qkに属する主画像と副画像とが表示されるため、ユーザーは、表 示画面 40を視認しつつ、下位の階層 50kに存在するかもしれない目的画像を検索す ることができる。 上記ステップ S70において、入力指示力「詳細検索」であると判定した場合、階層選 択部 1 3Aは、現在の階層よりも上位の階層のネットワークが存在するか否かを判定 する（ステップ S73)。上位の階層が存在しない場合は、メインルーチン（図 24)に処 理が移行し、ステップ S62以後の処理が繰り返し実行される。
—方、前記ステップ S73で上位の階層が存在すると判定した場合、階層選択部 1 3 Aは、上位の階層 50k+1に主画像が存在するか否かを判定する（ステップ S74)。図 2 6に例示するように、現在と上位の階層 50k， 50k+1に主画像 Ijが存在する場合は、階 層選択部 1 3Aは、検索対象を現在の階層 50kから上位の階層 50k+1に切り換え（ステ ップ S75)、その後、メインルーチン（図 24)に処理を移行させる。一方、図 27に例示 するように、現在の階層 5C ∑存在する主画像 Ijが上位の階層 50k+1に存在しない場 合は、階層選択部 1 3Aは、主画像 Ijと隣接する，すなわち主画像 Ijとの表示リンク距離 が最短で且つ上位の階層にも存在する副画像 Ij+1の 1つを次の主画像に設定し（ステ ップ S76)、検索対象を現在の階層 50kから上位の階層 50k+1に切り換え（ステップ S 75)、その後、メインルーチン（図 24)に処理を戻す。その後、ステップ S62以後の処 理が繰り返し実行される。この結果、操作部 1 6の表示画面 40には、上位の階層 50 k+1に属する主画像と副画像とが表示されるため、ユーザ一は、表示画面 40を視認し つつ、上位の階層 50k+1に存在するかもしれない目的画像を検索することができる。 このように、ユーザーは、階層間を移動しつつ、所望の目的画像を効率良く且つ簡 便に検索することができる。また上記画像検索処理は、主にデータベースの階層情報 とリンク情報のみを使用しているため、複雑な処理をせずに少ない演算量で高速に検 索することが可能である。
以上，本発明に係る実施例の画像検索装置について説明した。上記実施例では、 図 6に示すようなネットワークのトポロジーは表示部 1 8に表示されないが、ユーザー が目的画像を検索したリ主画像を指定したりする場合にそのトポロジーを表示部 1 8 に立体的に表示してもよい。
本出願は、日本国特許出願第 2004— 1 06037号公報に基づくものであり、当該 公報を援用することにより当該公報の開示内容を含むものである。

Claims

請求の範囲
1 .画像検索方法であって、
(a)複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なく とも 1つの構成要素を抽出するステップと、
(b)前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る ステップと、
(c)前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象 画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付 けるステップと、
(d) N個（Nは 1以上の整数)の前記リンクを介して関連付けられている 2つの前記検 索対象画像間の表示リンク距離を Nとして算出しつつ画像を検索するステップと、を備 えることを特徴とする画像検索方法。
2.請求項 1記載の画像検索方法であって、前記表示リンク距離は、 N個の前記リン クを介して関連付けられている 2つの前記検索対象画像のうちの一方の画像から他 方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画像 検索方法。
3.請求項 2記載の画像検索方法であって、前記ステップ (d)は、
(e)前記複数の検索対象画像のうち、少なくとも 1つの画像を主画像に設定し且つ 前記主画像を除く画像を副画像に設定するステップと、 (f)前記ステップ (e)の実行後に、前記表示リンク距離が設定範囲内にある前記主 画像と前記副画像とを同一画面に表示させるステップと、
を備えることを特徴とする画像検索方法。
4.画像検索方法であって、
(a)複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なく とも 1つの構成要素を抽出するステップと、
(b)前記構成要素に基づいて前記検索対象画像の各々を特徴付ける特徴量を得る ステップと、
(c)前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索 対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関 連付けるステップと、
(d)前記ステップ (c)で関連付けがなされた前記検索対象画像群で下位の階層を構 築するステップと、
(e)前記下位の階層から、 M個（Mは 2以上の整数）の前記リンクを介して関連付け られている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の 階層に属する検索対象画像群を構成するステップと、
(f)前記上位の階層において、前記検索対象画像のうち、前記類似尺度が所定範 囲内にある画像をリンクを介して相互に関連付けるステップと、
(g) N個（Nは 1以上の整数）の前記リンクを介して関連付けられている 2つの前記検 索対象画像間の表示リンク距離を Nとして算出しつつ画像を検索するステップと、を備 え、 前記ステップ (e)および (f)を再帰的に実行することにより複数の階層を構築するこ とを特徴とする画像検索方法。
5.請求項 4記載の画像検索方法であって、前記表示リンク距離は、 N個の前記リン クを介して関連付けられている 2つの前記検索対象画像のうちの一方の画像から他 方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画像 検索方法。
6.請求項 5記載の画像検索方法であって、前記ステップ (g)は、
(h)複数の前記階層の中から一の階層を検索対象として選択するステップと、
(i)前記ステップ (h)で選択された前記階層に属する複数の検索対象画像のうち、少 なくとも 1つの画像を主画像に設定し且つ前記主画像を除く画像を副画像に設定する ステップと、
(j)前記ステップ G)の実行後に、前記表示リンク距離が設定範囲内にある前記主画 像と前記副画像とを同一画面に表示させるステップと、
をさらに備えることを特徴とする画像検索方法。
7.請求項 4から請求項 6のうちのいずれ力、 1項に記載の画像検索方法であって、 (k)検索対象を下位の階層から上位の階層へ切り換えるステップと、
(m)前記上位の階層において前記主画像が存在しないときは、前記下位の階層に おいて前記主画像との前記表示リンク距離が最短で且つ前記上位の階層に存在す る検索対象画像を次の主画像として設定するステップと、 (n)前記ステップ (k)および（m)の実行後に、前記表示リンク距離が設定範囲内に ある前記主画像と前記副画像とを同一画面に表示させるステップと、を備えることを 特徴とする画像検索方法。
8.請求項 4から請求項 7のうちのいずれか 1項に記載の画像検索方法であって、 (o)検索対象を上位の階層から下位の階層へ切り換えるステップと、
(P)前記ステップ (o)の実行後に、前記下位の階層において前記表示リンク距離が 設定範囲内にある前記主画像と前記副画像とを同一画面に表示させるステップと、を さらに備えることを特徴とする画像検索方法。
9.請求項 1から請求項 8のうちのいずれか 1項に記載の画像検索方法であって、 前記ステップ (b)は、前記構成要素に基づいて前記検索対象画像の各々を特徴付 ける複数の特徴値を算出し、前記複数の特徴値の組を前記検索対象画像の距離空 間上のベクトル量として記憶するステップを含み、
前記ステップ (c)は、前記ベクトル量を前記特徴量として用いて前記検索対象画像 間の距離を前記類似尺度として算出するステップを含む、ことを特徴とする画像検索 方法。
1 0.請求項 9記載の画像検索方法であって、前記距離は、ユークリッド距離である ことを特徴とする画像検索方法。
1 1 .請求項 9記載の画像検索方法であって、各前記検索対象画像は静止画像であ り、前記ステップ (b)は、前記静止画像の各々を複数のブロックに分割し、各前記プロ ックから抽出された複数の構成要素に基づいて、前記ブロックの各々について前記複 数の特徴値を算出するステップを含む、ことを特徴とする画像検索方法。
1 2.請求項 1 1記載の画像検索方法であって、前記複数の構成要素は、各画素を 構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の 平均値であることを特徴とする画像検索方法。
1 3.請求項 9記載の画像検索方法であって、各前記検索対象画像は、連続する複 数のフレームからなる動画像であり、前記ステップ (b)は、各前記フレームを複数のブ ロックに分割し、各前記ブロックから抽出された複数の構成要素に基づいて前記複数 の特徴値を算出するステップを含む、ことを特徴とする画像検索方法。
1 4.請求項 1 3記載の画像検索方法であって、前記複数の構成要素は、各画素を 構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の 平均値を前記複数のフレームに亘つて平均化した値であることを特徴とする画像検索 方法。
1 5.請求項 1から請求項 8のうちのいずれか 1項に記載の画像検索方法であって、 前記ステップ (a)は、前記検索対象画像の各々からメタデータを前記構成要素として 抽出するステップを含むことを特徴とする画像検索方法。
1 6.請求項 1 5記載の画像検索方法であって、前記ステップ (c)は、前記メタデータ を前記特徴量として用いて、前記検索対象画像間の前記メタデータの一致率に比例 または反比例する値を前記類似尺度として算出するステップを含むことを特徴とする 画像検索方法。
1 7.画像検索装置であって、
複数の検索対象画像を蓄積する記憶装置と、
複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも 1つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の 各々を特徴付ける特徴量を得る特徴量取得部と、
前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画 像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける ネットワーク構築部と、
N個（Nは 1以上の整数）の前記リンクを介して関連付けられている 2つの前記検索 対象画像間の表示リンク距離を Nとして算出しつつ画像を検索する画像検索部と、 を備えることを特徴とする画像検索装置。
1 8.請求項 1 7記載の画像検索装置であって、前記表示リンク距離は、 N個の前記 リンクを介して関連付けられている 2つの前記検索対象画像のうちの一方の画像から 他方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画 像検索装置。
1 9.請求項 1 8記載の画像検索装置であって、前記画像検索部は、
前記複数の検索対象画像のうち、少なくとも 1つの画像を主画像に設定し且つ前記 主画像を除く画像を副画像に設定する画像選択部と、
前記主画像と前記副画像とが設定された後に、前記表示リンク距離が設定範囲内 にある前記主画像と前記副画像とを同一画面に表示させる表示制御部と、 を備えることを特徴とする画像検索装置。
20.画像検索装置であって、
複数の検索対象画像を蓄積する記憶装置と、
複数の検索対象画像の各々から、前記複数の検索対窣画像に共通する少なくとも 1つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の 各々を特徴付ける特徴量を得る特徴量取得部と、
前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対 象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連 付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築するネットヮ ーク構築部と、
N個（Nは 1以上の整数）の前記リンクを介して関連付けられている 2つの前記検索 対象画像間の表示リンク距離を Nとして算出しつつ画像を検索する画像検索部と、を 備え、
前記ネットワーク構築部は、前記下位の階層から、 M個（Mは 2以上の整数）の前記 リンクを介して関連付けられている画像群を抽出し、抽出された前記画像群で前記下 位の階層よりも上位の階層に属する検索対象画像群を構成する処理と、前記上位の 階層において、前記検索対象画像のうち、前記類似尺度が所定範囲内にある画像を リンクを介して相互に関連付ける処理とを再帰的に実行することにより複数の階層を 構築する、ことを特徴とする画像検索装置。
21 .請求項 20記載の画像検索装置であって、前記表示リンク距離は、 N個の前記 リンクを介して関連付けられている 2つの前記検索対象画像のうちの一方の画像から 他方の画像へ巡る経路のうち最短経路の前記リンクの数である、ことを特徴とする画 像検索装置。
22.請求項 21記載の画像検索装置であって、前記画像検索部は、
複数の前記階層の中から一の階層を検索対象として選択し、これに属する複数の 検索対象画像のうち、少なくとも 1つの画像を主画像に設定し且つ前記主画像を除く 画像を副画像に設定する画像選択部と、
前記主画像と前記副画像とが設定された後に、前記表示リンク距離が設定範囲内 にある前記主画像と前記副画像とを同一画面に表示させる表示制御部と、 を備えることを特徴とする画像検索装置。
23.請求項 20から請求項 22のうちのいずれ力、 1項に記載の画像検索装置であつ て、
前記画像検索部は、検索対象を下位の階層から上位の階層へ切り換える階層選択 部をさらに備え、
前記階層選択部は、前記上位の階層において前記主画像が存在しないときは、前 記下位の階層において前記主画像との前記表示リンク距離が最短で且つ前記上位 の階層に存在する検索対象画像を次の主画像として設定した後に前記検索対象を切 リ換え、
前記表示制御部は、前記階層選択部により前記検索対象が切り換えられた後に、 前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表 示させることを特徴とすることを特徴とする画像検索装置。
24.請求項 20から請求項 23のうちのいずれか 1項に記載の画像検索装置であつ て、
前記画像検索部は、検索対象を上位の階層から下位の階層へ切り換える階層選択 部をさらに備え、
前記表示制御部は、前記階層選択部により前記検索対象が切り換えられた後に、 前記表示リンク距離が設定範囲内にある前記主画像と前記副画像とを同一画面に表 示させることを特徴とする画像検索装置。
25.請求項 1 7から請求項 24のうちのいずれか 1項に記載の画像検索装置であつ て、
前記特徴量取得部は、前記複数の構成要素に基づいて前記検索対象画像の各々 を特徴付ける複数の特徴値を算出し、前記複数の特徴値の組を前記検索対象画像 の距離空間上のベクトル量として記憶し、
前記ネットワーク構築部は、前記ベクトル量を前記特徴量として用いて前記検索対 象画像相互間の距離を前記類似尺度として算出することを特徴とする画像検索装 置。
26.請求項 25記載の画像検索方法であって、前記距離は、ユークリッド距離であ ることを特徴とする画像検索方法。
27.請求項 25記載の画像検索装置であって、各前記検索対象画像は静止画像で あり、前記特徴量取得部は、前記静止画像の各々を複数のブロックに分割し、各前記 ブロックから抽出された複数の構成要素に基づいて、前記ブロックの各々について前 記複数の特徴値を算出することを特徴とする画像検索装置。
28.請求項 27記載の画像検索方法であって、前記複数の構成要素は、各画素を 構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の 平均値であることを特徴とする画像検索装置。
29.請求項 25記載の画像検索方法であって、各前記検索対象画像は、連続する 複数のフレームからなる動画像であり、前記特徴量取得部は、各前記フレームを複数 のブロックに分割し、各前記ブロックから抽出された複数の構成要素に基づいて前記 複数の特徴値を算出することを特徴とする画像検索方法。
30.請求項 29記載の画像検索方法であって、前記複数の構成要素は、各画素を 構成する一組の色成分からなり、前記特徴値は、各前記ブロック内の前記色成分の 平均値を前記複数のフレームに亘つて平均化した値であることを特徴とする画像検索 装置
31 .請求項 1 7から請求項 24のうちのいずれ力、 1項に記載の画像検索方法であつ て、前記特徴量取得部は、前記検索対象画像の各々からメタデータを前記構成要素 として抽出することを特徴とする画像検索装置。
32.請求項 31記載の画像検索方法であって、前記ネットワーク構築部は、前記メタ データを前記特徴量として用いて、前記検索対象画像間の前記メタデータの一致率 に比例または反比例する値を前記類似尺度として算出することを特徴とする画像検 索方法。
33.複数の検索対象画像を記憶装置に記憶させる記憶処理と、
複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少なくとも 1つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の 各々を特徴付ける特徴量を得る特徴量取得処理と、
前記特徴量を用いて前記検索対象画像間の類似尺度を算出し、前記検索対象画 像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連付ける ネットワーク構築処理と、
N個（Nは 1以上の整数）の前記リンクを介して関連付けられている 2つの前記検索 対象画像間の表示リンク距離を Nとして算出しつつ画像を検索する画像検索処理と、 をコンピュータに実行させることを特徴とする画像検索プログラムを記録した記録媒 体。
34.複数の検索対象画像を記憶装置に記憶させる記憶処理と、 複数の検索対象画像の各々から、前記複数の検索対象画像に共通する少な〈とも
1つの構成要素を抽出するとともに、前記構成要素に基づいて前記検索対象画像の 各々を特徴付ける特徴量を得る特徴量取得処理と、
前記特徴量を用いて前記検索対象画像相互間の類似尺度を算出し、前記検索対 象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関連 付け且つ関連付けがなされた前記検索対象画像群で下位の階層を構築する下位階 層構築処理と、
N個（Nは 1以上の整数）の前記リンクを介して関連付けられている 2つの前記検索 対象画像間の表示リンク距離を Nとして算出しつつ画像を検索する画像検索処理と、 をコンピュータに実行させるとともに、
前記下位の階層から、 M個（Mは 2以上の整数)の前記リンクを介して関連付けられ ている画像群を抽出し、抽出された前記画像群で前記下位の階層よりも上位の階層 に属する検索対象画像群を構成するとともに、前記上位の階層において、前記検索 対象画像のうち、前記類似尺度が所定範囲内にある画像をリンクを介して相互に関 連付ける上位階層構築処理をコンピュータに再帰的に実行させることにより複数の階 層を構築することを特徴とする画像検索プログラムを記録した記録媒体。
PCT/JP2005/005649 2004-03-31 2005-03-22 画像検索方法、装置及びプログラムを記録した記録媒体 WO2005096180A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/547,082 US20080235184A1 (en) 2004-03-31 2005-03-22 Image Search Method, Image Search Apparatus, and Recording Medium Having Image Search Program Code Thereon
JP2006511629A JP4465534B2 (ja) 2004-03-31 2005-03-22 画像検索方法、装置及びプログラムを記録した記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-106037 2004-03-31
JP2004106037 2004-03-31

Publications (1)

Publication Number Publication Date
WO2005096180A1 true WO2005096180A1 (ja) 2005-10-13

Family

ID=35063982

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/005649 WO2005096180A1 (ja) 2004-03-31 2005-03-22 画像検索方法、装置及びプログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US20080235184A1 (ja)
JP (1) JP4465534B2 (ja)
WO (1) WO2005096180A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256310A (ja) * 2006-03-20 2007-10-04 Seiko Epson Corp 画像表示システムおよびサーバ装置
JP2008129942A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd コンテンツ検索装置
JP2008134725A (ja) * 2006-11-27 2008-06-12 Sharp Corp コンテンツ再生装置
JP2010079871A (ja) * 2008-06-09 2010-04-08 Yahoo Japan Corp ベクトルデータ検索装置
JP2010250529A (ja) * 2009-04-15 2010-11-04 Yahoo Japan Corp 画像検索装置、画像検索方法及びプログラム
JP2012009084A (ja) * 2011-10-12 2012-01-12 Hitachi Ltd 情報出力装置
US8107690B2 (en) 2007-04-16 2012-01-31 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
KR20160085004A (ko) * 2015-01-07 2016-07-15 한화테크윈 주식회사 중복 이미지 파일 검색 방법 및 장치
JP2017505937A (ja) * 2013-12-02 2017-02-23 ラクテン ユーエスエー インコーポレイテッド オブジェクトネットワークをモデル化するシステム及び方法
JP6964372B1 (ja) * 2021-05-19 2021-11-10 忠久 片岡 コード生成方法、コード生成装置、プログラム、データ照合方法
JP7128555B1 (ja) * 2021-05-19 2022-08-31 忠久 片岡 データ照合方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1755067A1 (en) * 2005-08-15 2007-02-21 Mitsubishi Electric Information Technology Centre Europe B.V. Mutual-rank similarity-space for navigating, visualising and clustering in image databases
JP4296521B2 (ja) * 2007-02-13 2009-07-15 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US7941442B2 (en) * 2007-04-18 2011-05-10 Microsoft Corporation Object similarity search in high-dimensional vector spaces
US7870130B2 (en) * 2007-10-05 2011-01-11 International Business Machines Corporation Techniques for identifying a matching search term in an image of an electronic document
US8774526B2 (en) * 2010-02-08 2014-07-08 Microsoft Corporation Intelligent image search results summarization and browsing
WO2016098430A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
WO2017179258A1 (ja) * 2016-04-11 2017-10-19 ソニー株式会社 情報処理装置、及び情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124525A (ja) * 1996-10-23 1998-05-15 Matsushita Electric Ind Co Ltd 検索装置
JP2000112973A (ja) * 1998-10-02 2000-04-21 Ricoh Co Ltd 空間インデックス方法及び空間インデックス処理プログラムを格納した媒体
JP2001325294A (ja) * 2000-05-17 2001-11-22 Olympus Optical Co Ltd 類似画像検索方法および類似画像検索装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941321B2 (en) * 1999-01-26 2005-09-06 Xerox Corporation System and method for identifying similarities among objects in a collection
JP4078085B2 (ja) * 2001-03-26 2008-04-23 キヤノン株式会社 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124525A (ja) * 1996-10-23 1998-05-15 Matsushita Electric Ind Co Ltd 検索装置
JP2000112973A (ja) * 1998-10-02 2000-04-21 Ricoh Co Ltd 空間インデックス方法及び空間インデックス処理プログラムを格納した媒体
JP2001325294A (ja) * 2000-05-17 2001-11-22 Olympus Optical Co Ltd 類似画像検索方法および類似画像検索装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256310A (ja) * 2006-03-20 2007-10-04 Seiko Epson Corp 画像表示システムおよびサーバ装置
JP2008129942A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd コンテンツ検索装置
JP2008134725A (ja) * 2006-11-27 2008-06-12 Sharp Corp コンテンツ再生装置
US8107690B2 (en) 2007-04-16 2012-01-31 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
US8300901B2 (en) 2007-04-16 2012-10-30 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
JP2010079871A (ja) * 2008-06-09 2010-04-08 Yahoo Japan Corp ベクトルデータ検索装置
JP2010250529A (ja) * 2009-04-15 2010-11-04 Yahoo Japan Corp 画像検索装置、画像検索方法及びプログラム
JP2012009084A (ja) * 2011-10-12 2012-01-12 Hitachi Ltd 情報出力装置
JP2017505937A (ja) * 2013-12-02 2017-02-23 ラクテン ユーエスエー インコーポレイテッド オブジェクトネットワークをモデル化するシステム及び方法
KR20160085004A (ko) * 2015-01-07 2016-07-15 한화테크윈 주식회사 중복 이미지 파일 검색 방법 및 장치
KR102260631B1 (ko) * 2015-01-07 2021-06-07 한화테크윈 주식회사 중복 이미지 파일 검색 방법 및 장치
JP6964372B1 (ja) * 2021-05-19 2021-11-10 忠久 片岡 コード生成方法、コード生成装置、プログラム、データ照合方法
JP7128555B1 (ja) * 2021-05-19 2022-08-31 忠久 片岡 データ照合方法

Also Published As

Publication number Publication date
US20080235184A1 (en) 2008-09-25
JP4465534B2 (ja) 2010-05-19
JPWO2005096180A1 (ja) 2008-02-21

Similar Documents

Publication Publication Date Title
WO2005096180A1 (ja) 画像検索方法、装置及びプログラムを記録した記録媒体
TWI361619B (en) Image managing apparatus and image display apparatus
JP4507991B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20210160495A1 (en) Transferring system for huge and high quality images on network and method thereof
TWI395107B (zh) 內容管理裝置、影像顯示裝置、影像拾訊裝置、處理方法、及使電腦執行處理方法之程式
US8732149B2 (en) Content output device, content output method, program, program recording medium, and content output integrated circuit
US7764849B2 (en) User interface for navigating through images
CN1886740B (zh) 用于从信息源检索信息的方法和装置
JP4702743B2 (ja) コンテンツ表示制御装置およびコンテンツ表示制御方法
JP5517683B2 (ja) 画像処理装置及びその制御方法
JP2007041964A (ja) 画像処理装置
US20150139608A1 (en) Methods and devices for exploring digital video collections
JP2013105309A (ja) 情報処理装置、情報処理方法、及びプログラム
CN102014250A (zh) 图像控制装置以及图像控制方法
KR20140043359A (ko) 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램 제품
JP2007019963A (ja) 表示制御装置、カメラ、表示制御方法、プログラム、記録媒体
KR100644016B1 (ko) 동영상 검색 시스템 및 방법
JP2003076718A (ja) 文書情報コンテンツ閲覧システム及び文書情報コンテンツ閲覧方法及びプログラム及び記録媒体
JP4784656B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102003492B1 (ko) 검색 컨텍스트의 유지
WO2001082131A1 (fr) Dispositif d&#39;extraction d&#39;informations
Giang et al. Street navigation using visual information on mobile phones
CN110688492B (zh) 一种基于轻量级索引的知识图谱查询方法
JP3412748B2 (ja) 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006511629

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 11547082

Country of ref document: US

122 Ep: pct application non-entry in european phase