WO2013005262A1 - 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム - Google Patents

画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム Download PDF

Info

Publication number
WO2013005262A1
WO2013005262A1 PCT/JP2011/003897 JP2011003897W WO2013005262A1 WO 2013005262 A1 WO2013005262 A1 WO 2013005262A1 JP 2011003897 W JP2011003897 W JP 2011003897W WO 2013005262 A1 WO2013005262 A1 WO 2013005262A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
colors
designation
image extraction
Prior art date
Application number
PCT/JP2011/003897
Other languages
English (en)
French (fr)
Inventor
拓也 山田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2011/003897 priority Critical patent/WO2013005262A1/ja
Publication of WO2013005262A1 publication Critical patent/WO2013005262A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Definitions

  • the present invention relates to an image extraction method, an image extraction apparatus, an image extraction system, a server, a user terminal, a communication system, and a program for extracting a desired image from a plurality of images.
  • Non-Patent Document 1 can only narrow down in a single color. For this reason, when the number of images is large, sufficient narrowing down cannot be performed, and it is difficult to find a specific image from among them. In particular, in the case of applications such as “finding a target album from a large number of album artworks”, there are many cases where the representative color of an image cannot be specified as one color (for example, album artwork using raster colors, etc.). In the method of Document 1, it is expected that time and labor will be required until searching.
  • an object of the present invention is to provide an image extraction method, an image extraction apparatus, an image extraction system, a server, a user terminal, a communication system, and a program that can efficiently narrow down images.
  • the image extraction method of the present invention includes, for a plurality of images, a color information acquiring step for acquiring color information, a color specifying step for specifying two or more colors, and two or more specified from the plurality of images. And an image extraction step for extracting an image corresponding to the color.
  • the image extraction apparatus of the present invention includes a color information acquisition unit that acquires color information for a plurality of images, a designation information acquisition unit that acquires designation information that designates two or more colors, and a plurality of images. And an image extracting means for extracting an image corresponding to two or more colors based on the designation information.
  • color element may be designated as “color”.
  • the “color element” means “additional three colors (red, green, blue), subtractive three colors (cyan, magenta), as well as hue, brightness or luminance, and saturation, which are“ three attributes of color ”. , Yellow) and the like.
  • the “three color attributes” may indicate components of any color space (color system) such as an HLS color space or an HSV color space.
  • an image corresponding to two or more colors refers to an image specified based on two or more colors, and a method of specifying based on a logical operation expression such as an AND condition or an OR condition is considered. It is done. Further, a method of specifying based on a color obtained by mixing two or more colors (for example, “purple” when “red” and “blue” are designated) may be used.
  • the color designation step can designate a ratio of each color for two or more colors, and the image extraction step extracts an image corresponding to the designated two or more colors and the ratio of each color. It is characterized by that.
  • the ratio of each color is specified, it is possible to narrow down more efficiently. For example, it is possible to extract an image that matches the user's image, for example, by extracting “an image containing a lot of white and a little blue” from an abstract image such as “blue characters are contained in a white background”.
  • the color designation step can designate two or more colors from among N types (where N is an integer satisfying N ⁇ 3), and color information is included in each image.
  • the pixel is a spectrum value for each color obtained by calculating which color of the N types corresponds to the pixel, and the image extraction step is to extract an image having a spectrum value of a predetermined ratio or more for two or more designated colors.
  • N types of colors are displayed on the screen, and two or more colors can be designated from the displayed colors. According to this configuration, even when the name of the color is not known or the color image is not clear, the actual color can be confirmed and color designation can be performed.
  • the color designation step can designate two or more colors one by one, and the image extraction step gradually narrows down the image to be extracted for each designation by the color designation step. It is characterized by.
  • the color designation step can designate a range of the proportion as the proportion of each color, and the image extraction step extracts an image including each color by the proportion of the designated range. .
  • the image extraction step when the N types of colors include transparent colors, and the image extraction step includes transparent colors in the two or more designated colors, the spectral values for colors other than the transparent colors are determined. It is characterized in that images of a predetermined ratio or more are extracted.
  • the image extraction method of the present invention can be used even when only one color is floating as a color image. In this case, image extraction is performed based on only one color imaged by the user.
  • the color designation step includes a first image group in which N images corresponding to N types of colors are arranged in a first direction, and N images corresponding to N types of colors.
  • the second image group arranged so as to intersect the first image group is scrolled, and two colors located at the intersection are designated.
  • the image extraction step is characterized by extracting an image including at least a specified ratio of each color.
  • the image extraction step is characterized in that an image including at least a predetermined ratio of two or more colors is extracted.
  • the above image extracting apparatus is characterized by further comprising display control means for displaying on the display screen two or more colors based on the designation information and the extraction result of the image extracting means.
  • This configuration provides good operability because the user can visually confirm the color designation result and the image extraction result.
  • An image extraction system includes the above-described image extraction device, color designation means for designating two or more colors, and designation information output means for outputting designation information as a designation result of the color designation means to the image extraction device. And a color designation device.
  • the color designation device is configured as an independent device at low cost.
  • a plurality of color designation devices may be connected to one image extraction device (configured to be communicable).
  • the server of the present invention includes a color information acquisition unit that acquires color information of a plurality of images, a designation information acquisition unit that acquires designation information specifying two or more colors, and designation information from among the plurality of images. And an extraction result output means for outputting an extraction result of the image extraction means.
  • the user terminal of the present invention is used in connection with the server described above, a color designating unit that designates two or more colors, a designation information output unit that outputs designation information that is a designation result of the color designation unit, to the server, And a display screen for displaying the extraction result output from the server.
  • a communication system is used in connection with the above-described server, color designation means for designating two or more colors, and designation information output means for outputting designation information as a designation result of the color designation means to the server.
  • a user terminal having a display screen for displaying the extraction result output from the server.
  • the present invention can be realized by a server on the network.
  • the present invention can also be applied to cloud computing.
  • at least the user terminal includes a display screen, an operation unit, a communication unit for communicating with the server and / or the PC.
  • Other means color information acquisition means, designation information acquisition means, image extraction means may be provided separately in any one of the server, the PC, and the user terminal.
  • the program of the present invention causes a computer to execute each step in the above-described image extraction method.
  • PC It is a block diagram of PC concerning one Embodiment of this invention. It is a figure which shows the example of a screen display of a file music player (when "COLOR COMBINATE" is selected). It is a functional block diagram of PC. It is a flowchart which shows a color information acquisition process. It is a figure which shows the calculation formula used for the flowchart of FIG. It is explanatory drawing of the classification
  • FIG. 1 is a configuration diagram showing a schematic configuration of the PC 10 (image extraction apparatus).
  • the PC 10 includes a display unit 11, an operation unit 12, an external storage device interface unit (hereinafter referred to as an “external storage device I / F unit”) 13, a communication unit 14, a control unit 15, and a storage.
  • an external storage device I / F unit external storage device interface unit
  • the communication unit 14 a control unit 15, and a storage.
  • a bus 19 for connecting them is provided.
  • the display unit 11 displays an operation screen D0 (see FIG. 2) of the file music player on a display screen (not shown).
  • a large number of album artwork AAWs are displayed in the browser area E5 of the operation screen D0, and the album artwork AAW is narrowed down according to the “color” designated by the user, and narrowed down. Display the results.
  • the operation unit 12 includes a mouse, a keyboard, a touch pad, and the like, and is used for a user to perform various operations.
  • the external storage device I / F unit 13 inputs / outputs information between the PC 10 and the external storage device 30 such as reading music information from the external storage device 30.
  • the external storage device 30 refers to a storage device (such as an external hard disk device) locally connected to the PC 10 or a USB memory that can be read by a memory slot mounted on the PC 10.
  • the communication unit 14 communicates between the PC 10 and a device on the network NW, such as acquiring music information from a memory of a device (server) on the network NW via a network NW such as the Internet or an intranet.
  • the control unit 15 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and performs various arithmetic processes.
  • display control of the display unit 11 based on the operation of the operation unit 12, information input / output control via the external storage device I / F unit 13 and the communication unit 14, music editing processing (including mixing processing), music playback Control and so on.
  • the storage unit 16 includes a hard disk drive and the like, and stores a dedicated application 20 for realizing a file music player, and also stores music information and an image database.
  • the “image database” is a database of color information to be referred to when narrowing down images (described later).
  • music information a music file (or a music file path), music accompanying information, and the like are stored.
  • the music accompanying information includes music identification information (music ID), music title name, album name, artist name, genre name, composer name, remixer name, label name, album artwork AAW ID, and album artwork AAW image.
  • genre, BPM, tone of music, voice waveform data, presence / absence of musical tone, melody, harmony, rhythm, and the like are information obtained from the analysis result of the music file by the dedicated application 20. In addition, it may be set in advance in the music accompanying information or may be designated by the user. Also, the color information of the album artwork AAW and the song artwork TAW (hereinafter, the album artwork AAW and the song artwork TAW are collectively referred to as “artwork AW”) is acquired from the image file of the artwork AW by the dedicated application 20. Although it is information to be performed (details will be described later), it may be set in advance in the music accompanying information or may be designated by the user. Note that the music artwork TAW may be the same image as the album artwork AAW if not specifically set.
  • the reproduction processing unit 17 performs reproduction processing of the music file under the control of the control unit 15 and outputs the reproduction signal to the audio output unit 18.
  • the audio output unit 18 includes a DSP, an amplifier, a speaker, headphones, or the like, and outputs a reproduction signal to the outside. Note that an external device may be used as the audio output unit 18.
  • the operation screen D0 of the file music player includes a player unit Ea at the top of the screen and a browser unit Eb at the bottom of the screen.
  • the player section Ea is an area for displaying information related to the music being played back, and includes an artwork display area E1 for displaying the album artwork AAW of the music, music information of the music currently being played in the album, playback time, It has a reproduction information display area E2 for displaying an audio waveform and the like, and a button group display area E3 for performing various reproduction operations.
  • the browser section Eb is an area for the user to perform various operations and information confirmation, and includes a user operation area E4 for selecting operation contents and a browser area E5 for displaying a number of album artworks AAW.
  • the user operation area E4 includes an “ARTWORKS button” that displays a number of album artworks AAW arranged according to color elements, a “COLOR COMBINATE button” that displays the extraction results of album artworks AAW based on color designation, and an arbitrary database file ( “SELECT DB button” for selecting the external storage device 30, devices on the network NW, storage area of the storage unit 16, “IMPORT button” for importing music information, “PROPERTY button for displaying music information” ”Etc. are arranged.
  • the operation screen D0 in the same figure shows a state where the “COLOR COMBINATE button” is selected. The case where the “ARTWORKS button” is selected will be described later (see FIGS. 8 to 10).
  • the browser area E5 When the “COLOR COMBINATE button” is selected in the user operation area E4, the browser area E5 has a color designation area E5a for selecting (designating) “color” and album artwork AAW narrowed down according to the color designation.
  • An extraction result display area E5b for displaying hereinafter also referred to as “image”).
  • a partition line L1 is displayed at the boundary between the color designation area E5a and the extraction result display area E5b.
  • 16 color icons CI rounded rectangular images representing 16 types of colors are arranged vertically in the order following the hue circle.
  • a frame 44 is additionally displayed on the selected color icon CI, and a connection line L2 connecting the selected color icon CI and the partition line L1 is displayed.
  • the surrounding frame 44 and the connection line L2 are represented by the same color as the color icon CI.
  • the partition line L1 is represented by gradation using the color of the selected color icon CI.
  • the extraction result display area E5b displays an image including a predetermined percentage or more of the color corresponding to the selected color icon CI. Therefore, as the number of color icons CI to be selected increases, the number of displayed images decreases (images to be displayed are narrowed down).
  • the arrangement of the images in the extraction result display area E5b is based on a predetermined order such as the order in which the images are registered or the order based on the ID of the album artwork AAW.
  • the file music player uses various filtering conditions other than “color” (access history such as genre, album name, artist name, BPM, playback count and playback date, etc.) It has a narrowing function that narrows down by inputting the release date.
  • the image group displayed in the browser area E5 includes album artwork AAW of the artist's representative album, artwork AW of the playlist, song artwork TAW of the song, It is also possible to switch to the display of voice waveform data or the like. Details will be described later with reference to FIG. Furthermore, it has a jump function for jumping on the browser area E5 to album artwork AAW of the album including the designated music piece by the user specifying the music piece being reproduced or the music piece in the playlist.
  • album without album artwork AAW are not displayed.
  • an album without album artwork AAW can be searched by information (album name search, artist name search, etc.) other than album artwork AAW.
  • the browser area E5 displays albums having the same album artwork AAW.
  • the same album artwork AAW may be set for different albums in the music database, such as a plurality of sets of discs and compilation albums, but these are displayed as one album artwork AAW. This is because when the same album artwork AAW is displayed in the browser area E5, it is difficult to distinguish them. However, in order to distinguish each album artwork AAW, information other than album artwork AAW may be displayed on the browser area E5, but the user confirms the information in addition to the album artwork AAW. This would hinder intuitive browsing by the album artwork AAW. For this reason, when the album artwork AAW associated with a plurality of albums is selected, after the album artwork AAW is selected, another screen for selecting a target album is displayed. . In addition, since album artwork AAW displays the same album collectively, the substantial amount of information that can be displayed / recognized at the same scale increases, so that it is easier to find the target album artwork AAW. is there.
  • the PC 10 includes a color information acquisition unit 51, an image database generation unit 52, a color designation unit 53, an image extraction unit 54, and a display control unit 55 as main functional configurations. Each of these means is realized by the control of the control unit 15 using the dedicated application 20.
  • the color information acquisition unit 51 acquires the color information of the album artwork AAW (each image) of each song stored in the storage unit 16.
  • the “color information” is information obtained from the music information (music associated information) of each music, and each pixel included in the image has 16 types of colors (see the color designation area E5a in FIG. 2; It is also referred to as “color class”))), and indicates the spectrum value for each color obtained by counting the corresponding colors.
  • the image database generation unit 52 generates an image database in which the spectral values for each color acquired by the color information acquisition unit 51 are converted into a database. The generated image database is stored in the storage unit 16.
  • the spectral value for each color is obtained only for the added image, and the image database is updated. Further, when the processing speed of the PC 10 is sufficient, the spectral value for each color may be calculated in real time at the time of color designation without creating a database in advance. The image database generation process will be described later (see FIGS. 4 to 6).
  • the color designation means 53 designates one or more colors (color classes) from the color designation area E5a. In the present embodiment, even when only one color is designated, an image corresponding to that color is extracted. However, a narrowing process may be performed only when two or more colors are designated.
  • the image extracting unit 54 extracts an image including each color specified by the color specifying unit 53 at a predetermined ratio or more. That is, referring to the image database generated by the image database generating means 52, an image having a spectrum value of a predetermined ratio or more for two or more designated colors is extracted.
  • the display control means 55 displays the image extraction result (image to be extracted) by the image extraction means 54 in the extraction result display area E5b in the operation screen D0.
  • FIG. 4 is a flowchart showing a color information (color value for each color) acquisition process
  • FIG. 5 is a diagram showing a calculation formula used in the flowchart.
  • the PC 10 control unit 15
  • the PC 10 reads the image data of the album artwork AAW of all the songs stored in the storage unit 16 (S01), and initializes the spectral value for each color for each image. This is done (S02, see FIG. 5 (a)).
  • classification is performed as to which color class each pixel in each image corresponds to (S03). Specifically, the image data is scanned, and it is determined whether all the pixels are applicable to each color class.
  • the spectrum value (spectral value for each color) of that color class is incremented (see FIG. 5B). Thereafter, the spectral value for each color is normalized (S04, see FIG. 5C) and stored as the spectral value for each color of the image data read in S01 (S05).
  • An image database is generated by performing the above process on all images (album artwork AAW).
  • FIG. 6 is an explanatory diagram of S03 (each pixel classification step) in the flowchart of FIG.
  • FIG. 4A is a hue-saturation cross-sectional view in the HLS color space
  • FIG. 4B is a luminance-saturation cross-sectional view in the HLS color space.
  • a region on the HLS color space (three-dimensional color space) corresponding to each color class is defined, and pixels are classified by determining which region contains the color element of each pixel. .
  • all the regions are independent, but there may be an overlapping portion where two or more regions overlap. For example, since there are “colors that look like“ red ”and“ orange ””, it may be determined that such colors are included in both “red” and “orange”.
  • each pixel is classified in S03.
  • the image may be divided into regions, and the representative color and the designated color may be matched for each partial region.
  • a method for dividing an image into regions it is conceivable to use a well-known algorithm such as “division integration method”.
  • FIG. 7A three color icons CI are selected in the color designation area E5a (three colors of “pink”, “red”, and “green” shown in the surrounding frames 44a, 44b, and 44c are designated), The nine images (A1 to A9) as the extraction results are displayed in the extraction result display area E5b.
  • one color icon CI is additionally selected from the state of FIG. 9A (when “yellow” shown in the surrounding frame 44d is designated)
  • the image is narrowed down, and the color class of the nine images is selected.
  • Images corresponding to “yellow” four images A2, A7, A8, and A9 in the example in the figure) are displayed (see FIG. 5B).
  • the images are rearranged, and all the extracted images are collected in the central portion of the extraction result display area E5b. Further, when one more color icon CI is additionally selected (“blue” shown in the surrounding frame 44e is designated), the image is narrowed down again and corresponds to the color class “blue” of the four images. An image (two images A2 and A9 in the example in the figure) is displayed (see (c) in the figure).
  • the file music player (color designating unit 53) of the present embodiment can designate colors one by one, and narrows down images to be extracted for each color designation. With this configuration, it is possible to narrow down by specifying the color with the strongest user impression first and gradually adding conditions (colors) while checking the image extraction result.
  • the images to be extracted are rearranged for each additional selection of the color icon CI.
  • the images that are not to be extracted are excluded in the original arrangement without being rearranged.
  • the image extraction result may be shown.
  • the images when images are rearranged in accordance with the color designation, the images may be appropriately enlarged and displayed according to the extraction result display area E5b and the number of target images.
  • the images may be appropriately enlarged and displayed according to the extraction result display area E5b and the number of target images.
  • the extraction result display area E5b For example, in the example of FIG. 5B, there are only four target images, and non-arranged areas are generated in the extraction result display area E5b. The range in which all target images are within the extraction result display area E5b. You may enlarge the display with.
  • an image group corresponding to each music file in the selected database is based on three color elements (hues, luminance, and saturation of the HLS color space).
  • the image group is not necessarily arranged in the vertical and horizontal directions without a gap (as a complete matrix), and a smooth change can be obtained in all three color elements based on the representative colors of each image. It is arranged with priority. Accordingly, a blank area E00 in which no image is arranged is generated everywhere in the browser area E5. Further, both the X axis and the Y axis are constituted by looped endless shafts, and a seamless scroll operation in a two-dimensional direction is possible.
  • FIG. 9 is a diagram illustrating an arrangement example of the monochrome image group in the browser area E5.
  • each image is shown as a single color image.
  • a hue (H value) is assigned to the horizontal axis of the browser area E5.
  • luminance (L value) and saturation (S value) are assigned to the vertical axis (axis orthogonal to the horizontal axis) of the browser area E5.
  • each image is divided into an image group having a saturation greater than or equal to a threshold value ⁇ (predetermined saturation) and an image group having a saturation less than the threshold value ⁇ , and the former image group.
  • ⁇ predetermined saturation
  • the latter image group is arranged so that the luminance increases from the lower side to the central part in the figure.
  • FIG. 10 is a diagram showing a state in which each image is actually arranged based on the correspondence between the HLS color space and the two-dimensional coordinate space shown in FIG. In each image area, the representative HLS value of the image is shown. As shown in the figure, for the horizontal axis (X axis), the image group is arranged according to the hue (H value). On the vertical axis (Y-axis), an image group with saturation greater than or equal to the threshold ⁇ and an image group less than the threshold ⁇ are arranged so that the luminance (L value) increases along the arrow.
  • the hue, luminance, and saturation which are the three components of the HLS color space, are acquired from each image, and the image is based on the hue.
  • the arrangement in the Y-axis direction of the image is determined based on luminance and saturation.
  • the display position of the browser area E5 can be moved seamlessly in the X axis direction and the Y axis direction in accordance with the user's screen movement operation. it can. Accordingly, the user can perform an operation without considering whether the target red image is at the left end at the hue value “0 °” or the right end at the hue value “359 °”, for example. .
  • FIGS. 11 to 13 show display examples when the “ARTWORKS button” is selected in the user operation area E4, but the same display control is performed when the “COLOR COMBINATE button” is selected. Is possible.
  • FIG. 11 is an explanatory diagram of display control based on a user's parallel movement operation.
  • the operation unit 12 performs an operation for raising the display position by one line in the Y-axis direction from the state shown in FIG. 11A, the state shown in FIG. That is, parallel movement in the X-axis direction and the Y-axis direction is possible according to the user's screen movement operation.
  • the image located at the center of the screen is selected, and is displayed slightly larger than the other images or with a border. Further, the selected image may be displayed in more detail (higher quality) than other images that are not selected.
  • FIG. 12 is an explanatory diagram of display control based on a user screen enlargement / reduction operation.
  • FIG. 12A illustrates a zoomed-in state in which a screen enlargement operation has been performed from the state illustrated in FIG.
  • FIG. 12B shows a zoom-out state in which a screen reduction operation is performed from the state shown in FIG.
  • seamless zoom-in / zoom-out is possible in accordance with the user's screen enlargement / reduction operation.
  • each image is displayed with a representative color (hue, luminance, etc.) as shown in FIG. A color based on each representative value of saturation (see FIG.
  • FIG. 13 is an explanatory diagram of the image reading operation.
  • FIG. 13A shows a state immediately after the image G1 located in the approximate center of the browser area E5 is selected (designated) by the user. As shown in the figure, the image G1 selected by the user is highlighted. Specifically, the image frame is made thick, displayed slightly larger than the other images, or superimposed on the lower part of the “image body area” representing the album artwork AAW (translucently) “album name area” Add decorations such as If the user's selection operation is performed in a state where the image reading has not been completed, reading of the selected image G1 is started with the highest priority (in the example shown in the figure, before the image G1 is selected). This shows a state where two images have already been read).
  • FIG. 13A An image that has not yet been read is displayed as a single color image filled in with a representative color as shown in FIG. 13A, and an image that has been read but has not been resized (for example, as shown in FIG. 13A).
  • FIG. 13B shows a state after all images have been read (actually, a higher quality image is displayed).
  • the selected image G1 may be displayed in more detail (with more information added or in high image quality) than the other images, regardless of whether or not the image reading is completed.
  • the image that has been selected up to that time may be displayed in a simple manner, and the newly selected image may be displayed as a detailed image.
  • both the previously selected image and the newly selected image may be displayed as detailed images.
  • FIG. 14 is a diagram illustrating an example of a music selection screen D1 displayed when one image (album artwork AAW) is selected by the user (see FIG. 13A).
  • the music selection screen D1 is a pop-up screen superimposed on the browser area E5, and includes an artwork display area E11 that displays the selected album artwork AAW, a music information display area E12 that displays music information, and a selection A title list display area E13 that displays a list of titles of songs included in the album that has been recorded, and a scroll bar display area E14 that displays a scroll bar for scrolling the title list display area E13.
  • the scroll bar display area E14 may be configured to display only when the titles of all music pieces cannot be displayed in the title list display area E13, such as when the number of titles is large.
  • the album artwork AAW can select the same album (such as DISC1 / 2 of a two-disc CD) and cancel the album selection screen (FIGS. 2 and 8). You can return to
  • a target where the target album artwork AAW is located is determined based on the color. Subsequently, the target is moved in parallel (see FIG. 11) and zoomed in (see FIG. 12 (a)).
  • the target album artwork AAW is found, it is selected and determined by an operation such as a double click of the mouse, and the music selection screen D1 is opened. If there are a plurality of albums corresponding to the selected album artwork AAW, the switch button 61 is operated to select the target album. For example, when either the left or right switching button 61 is pressed in the state shown in FIG.
  • the state shown in FIG. In this case, as shown in the figure, although there is no change in the album artwork AAW displayed in the artwork display area E11, it can be seen that different albums are selected by the different album names. Naturally, the title name displayed in the title list display area E13 also changes. If there is only one album corresponding to the selected album artwork AAW, the switching button 61 is hidden or grayed out to clearly indicate to the user that no other corresponding album exists. Further, instead of the switching button 61, the album may be selected by the left and right keys of the keyboard. After selecting and determining the target album, the target music (title) is selected from the title list display area E13. After the title is selected, the button group display area E3 (see FIGS.
  • the operation screen D0 according to the modification is a screen obtained by adding a category selection area E21, a key selection area E23, and a keyword input area E22 to the operation screen D0 (see FIG. 2) shown in the above example. It has a configuration.
  • one of the items “album”, “artist”, “playlist”, and “title” can be selected.
  • the operation when “album” is selected is as shown in the above example.
  • a group of images for example, album artwork AAW of each artist's representative album
  • the artist name is displayed instead of the album name (see FIG. 13A).
  • an operation such as a double click of the mouse makes a transition to an album selection screen (not shown) having a screen configuration substantially similar to that of the music selection screen D1 (see FIG. 15).
  • the album selection screen In the artwork display area E11 of the album selection screen, not the artist but the album artwork AAW corresponding to each album is displayed. On the album selection screen, when there are a plurality of albums corresponding to the selected artist, the album group of the artist can be switched and displayed by operating the switching button 61.
  • the screen changes to a playlist selection screen (not shown) having a screen configuration substantially similar to that of the music selection screen D1 (see FIG. 15).
  • the music list in the playlist is displayed as in the music selection screen D1.
  • the playlist selection screen when there are a plurality of playlists corresponding to the same artwork AW, the playlist group can be switched and displayed by operating the switching button 61.
  • an image group of the music artwork TAW of each music is displayed in the browser area E5.
  • the music artwork TAW may be the same as the album artwork AAW.
  • the title name is displayed instead of the album name (see FIG. 13A).
  • the music information is displayed in the reproduction information display area E2 and the music artwork TAW is displayed in the artwork display area E1 by an operation such as a double click.
  • the music is reproduced by the reproduction operation of the button group display area E3 (see FIGS. 2 and 8) for performing various reproduction operations.
  • the image artwork TAW image group of each song is set by the user's operation, the horizontal axis (X axis) of the coordinate axis is KEY (musical tone), and the vertical axis ( It may be possible to switch to a display with BPM (music tempo) as the Y axis. Further, the image group of the music artwork TAW may be switched to an image group showing the sound waveform of each music and displayed by the user's operation.
  • key selection consisting of a plurality of layers is possible based on a genre, artist, album, BPM, playlist, and the like. That is, by specifying a key such as a genre, only the matching item (artwork AW) can be displayed in the browser area E5. For example, in the example shown in the figure, since “genre-jazz” is selected as the narrow-down key, only items whose genre is “jazz” are displayed.
  • the keyword input area E22 includes an input area and a search execution button.
  • An arbitrary keyword such as information related to music accompanying information is input in the input area, and a matching item (art) is selected by pressing the search execution button. Only the work AW) can be displayed in the browser area E5.
  • the keywords are album name, artist name, playlist name, genre name, composer name, remixer name, label name, release date, rate (evaluated by the user), BPM (Beats Per Minute), tone of the song (key) ), Database registration date, last update date of music file, etc., information related to music accompanying information, access history such as the number of playbacks and playback date, etc.
  • the input character string is included in the character string information If it is included, the matching item is displayed in the browser area E5.
  • the search based on the AND condition or OR condition.
  • the color designation area E5a may be provided on the operation screen D0 together with the keyword input area E22 and the key selection area E23. good.
  • the designation of the color icon CI is handled as if the filtering condition has been input.
  • two or more “colors” can be specified and efficient narrowing can be performed, and the narrowed images are arranged according to color elements, so that the target image can be found more quickly and easily. Can do.
  • FIG. 6A is a diagram showing a display example of the browser area E5 according to this modification. As shown in the figure, in the color designation region E5a, the display form of the color icon CI differs depending on the result of the ratio designation by the user. In this case, in the extraction result display area E5b, only an image including each color at a specified ratio or higher (an image having a color-specific spectral value for each color or higher) is displayed.
  • (B) of the figure shows a display pattern of the color icon CI according to the modification.
  • (a) is a display example showing a color designation result in an initial state where no color icon CI is designated. In this case, the image is not narrowed by the ratio of the designated color (color icon CI).
  • (A) is a display example showing a color designation result when the user places the mouse on the color icon CI and left-clicks only once. In this case, assuming that the first stage (“5%”) is designated as a ratio, an image with “spectral value by color ⁇ 5%” is targeted for narrowing down.
  • an image that matches the user's image can be extracted from an abstract image such as “album artwork AAW with blue letters on a white background” by extracting “an image that contains a lot of white and a little blue”. Is possible.
  • the ratio is specified using the mouse.
  • the ratio may be specified using a keyboard, a touch panel, or another input device.
  • the threshold value at each stage may be arbitrarily set by the user.
  • the ratio may be specified for a plurality of colors at once. That is, when a plurality of colors are specified and the ratio threshold is specified as 20%, an image including each of the plurality of colors of 20% or more can be extracted.
  • an image including at least a specified ratio for each color is selected as an extraction target, but a range of ratios may be specified.
  • narrowing down such as extracting an image including the first color by 10% or more and less than 20% and the second color by 50% or more and less than 10% is performed. Also in this case, it is possible to specify a range of ratios for several colors at once.
  • this modification can be applied not only when a plurality of colors are specified but also when only one color is specified. That is, the user can specify a ratio for an arbitrary color, and can extract an image including the “color” that exceeds the specified ratio, or an image including the “color” within a specified ratio range.
  • the color designation is performed by the color icon CI in the color designation area E5a.
  • the configuration of the user interface in the color designation area E5a is different.
  • the user interface according to this modification is configured with a first image group 71 in which 16 color marks CM corresponding to 16 types of colors are arranged in the left-right direction, and 16 colors.
  • not all color marks CM are displayed so as to be visible in each of the image groups 71 and 72.
  • the shape of the color mark CM differs depending on the position so that the color mark CM has a circular shape at the center and a flat circular shape toward the outside.
  • the image groups 71 and 72 are arranged in a cross shape so that the central portions thereof overlap, and can be scrolled independently. In this case, it is preferable that the image groups 71 and 72 can be scrolled seamlessly.
  • the arrangement of the color marks CM in each of the image groups 71 and 72 is an arrangement according to a hue circle, similarly to the arrangement of the color icons CI.
  • this modification it is possible to easily specify two colors only by scrolling the first image group 71 and the second image group 72.
  • a method of performing two operations for each color such as “color designation with cursor key + selection with confirmation key” can be considered.
  • a desired color is used as an intersection. Color designation can be performed only by performing a scroll operation so as to match (one operation for each color).
  • the types of color marks CM included in the first image group 71 and the second image group 72 may be different colors.
  • eight color marks CM corresponding to the first to eighth colors are included in the first image group 71
  • eight color marks CM corresponding to the ninth to sixteenth colors are included in the second image group.
  • a configuration included in 72 is conceivable.
  • the present invention is realized only by the PC 10.
  • the present invention is realized by the PC 120 and the hardware controller 110 connected to the PC 120.
  • the image extraction system SY includes a controller 110 (color specifying device) and a PC 120 (image extraction device) configured to be communicable with the controller 110.
  • the controller 110 is for realizing the color designation means 53 in the configuration of the PC 10 shown in FIG. 2, and a plurality of self-illuminating buttons 111 (LED or the like) corresponding to each color are mounted.
  • the controller 110 also includes designation information output means (not shown) that outputs designation information that is the designation result of the color designation means 53 to the PC 120.
  • the PC 120 realizes the color information acquisition means 51, the image database generation means 52, the image extraction means 54, and the display control means 55 in the configuration of the PC 10 shown in FIG. Further, there is provided designation information acquisition means (not shown) for acquiring the designation information output by the designation information output means of the controller 110. With these configurations, the PC 120 acquires the operation result of one or more self-illuminating buttons 111 by the controller 110 as designation information, extracts an image corresponding to each color of each operated self-illuminating button 111, and extracts the extraction result. It is displayed on the display unit 11.
  • controllers 110 may be connected to one PC 120.
  • the controller 110 is not configured to include only the self-illuminating button 111 as illustrated, but is realized by mounting the self-illuminating button 111 on a DJ device controller (a controller dedicated to DJ performance equipped with a jog dial or the like). You may do it.
  • the self-illuminating button 111 may not be realized by a physical operator, but may be realized by software such as displaying a color button on a touch panel.
  • designation information (operation result of one or more self-illuminating buttons 111) transmitted from the controller 110 to the PC 120 may be transmitted for each color. Although it is good, you may transmit as information which shows the combination of multiple colors. According to this configuration, even when many colors are designated, the image extraction process can be performed with one information transmission.
  • a plurality of “colors” are designated and images corresponding to those colors are extracted. Compared to the case where only a single color can be specified, more efficient narrowing down can be performed. In addition, since a plurality of “colors” can be specified as the and condition, pinpoints can be further narrowed down, and a target image can be quickly found even when the number of images is large.
  • the color designation is performed from the 16 representative colors extracted according to the hue circle, but “transparent color” may be added to the representative colors.
  • “transparent color” represents the color icon CI in a color close to the color designation area E5a, “gray”, or the like.
  • the image extracting means 54 extracts an image having a spectrum value of a predetermined ratio or more for colors other than “transparent color”. According to this configuration, the image extraction method of the present invention can be used even when only one color is floating as a color image. When only “transparent color” is designated, it is assumed that no color designation has been performed, and no image is narrowed down.
  • the “color” specified by the color specifying means 53 is not necessarily limited to the one specifying the representative color.
  • three colors of additive mixing (red, green, blue) and three colors of subtractive mixing (cyan, magenta, yellow) may be designated. That is, the display color of the color icon CI in the above embodiment may be changed to “red”, “green”, “blue”, and the like. In this case, since the color image is easy, the color icon CI is not displayed, but the characters “red”, “green”, and “blue” are displayed and each character is designated. good.
  • the representative color is defined based on the three components (hue, luminance, and saturation) of the HLS color space, but may be defined based on other color system components such as the HSV color space. good. That is, the color classification shown in FIG. 6 may be performed in another color space.
  • color element may be designated as “color”.
  • the “color element” is a concept including “additional mixed three colors” and “subtractive mixed three colors” in addition to “color three attributes” such as hue, brightness or luminance, and saturation.
  • “saturation” and “red” are specified as “color”, and a predetermined range in which the saturation is equal to or higher than the predetermined value (hue and luminance are not specified) and the hue is red (saturation and luminance are not specified) Extraction may be performed such as extracting an image including the color of (). Moreover, it is good also as a structure which extracts the image containing the red whose saturation is more than predetermined value based on the designation
  • an arbitrary value may be specified for “three attributes of color”.
  • designation means in addition to inputting numerical values directly with an input device such as a keyboard, it is adopted in general paint and photo retouching software such as a combination of RGB sliders, hue ring, brightness (luminance), saturation matrix, etc. You may use the method currently used.
  • the arrangement of the images in the extraction result display area E5b is based on a predetermined order such as the order in which the images are registered.
  • a predetermined order such as the order in which the images are registered.
  • an arrangement according to color elements may be used.
  • an arrangement based on a predetermined order an arrangement in which no blank area E00 is generated everywhere in the browser area E5 and an arrangement according to color elements may be switched by a user operation.
  • color designation when color designation is performed, designation is performed in a plurality of times for each color, but two or more colors may be designated at the same time (two or more color icons CI are selected simultaneously). You may).
  • some patterns of color combinations may be prepared in advance, and one of the patterns may be selected. For example, a raster color pattern and a tricolor color pattern are prepared, and when a raster color pattern is selected, an image including “red”, “yellow”, and “green” at a predetermined ratio or more is extracted, When a tricolor color pattern is selected, an image including “red”, “white”, and “blue” at a predetermined ratio or more may be extracted.
  • the image extracting unit 54 extracts an image including each designated color at a predetermined ratio or more as “an image corresponding to the designated color”. You may extract the image which contains the designated color more than a predetermined ratio. That is, the image to be extracted may be determined based on the or condition instead of the and condition. Alternatively, the identification method may be based on a color obtained by mixing two or more colors (for example, “orange” when “red” and “yellow” are designated). Furthermore, “color element” is designated as “color”, and bright “red” when two or more color elements are mixed (for example, “luminance (luminance greater than a predetermined value)” and “red” are designated. Etc.) may be used.
  • each function of the PC 10 shown in the above embodiment can be provided by being stored in various storage media (CD-ROM, flash memory, etc.). That is, a program for causing a computer to function as each function of the PC 10 and a storage medium storing the program are also included in the scope of rights of the present invention.
  • the present invention can also be applied to a playback apparatus or a search apparatus that plays content other than music (such as video content).
  • a playback apparatus or a search apparatus that plays content other than music (such as video content).
  • DJ devices that handle a large number of music files
  • VJ devices that handle a large number of video files
  • portable audio players such as compact discs
  • HDD components such as compact discs
  • image viewers PCs, digital cameras, applications that run on mobile terminals, browser plug-ins, etc.
  • the present invention is applicable to mail order / download sales sites that display a large number of product images.
  • each function of the PC 10 may be realized by a device (server) on the network NW.
  • a device on the network NW creates a browser (file music player screen in the above embodiment) for displaying the operation screen D0 (browser area E5), and is connected to the device (server) on the network NW. Will be sent to the user terminal.
  • the user terminal may have at least a display device and an operation device.
  • the present invention can also be applied to cloud computing.
  • the present invention may be realized by a system (communication system) including three or more components such as a server, a PC, and a user terminal.
  • At least the user terminal is provided with a communication unit (communication unit 14) for communicating with the operation unit 12, the display screen (display unit 11), the server and / or the PC in the configuration shown in FIG.
  • a communication unit communication unit 14
  • Other means may be provided as long as it is distributed among the server, the PC, and the user terminal, or each of them.
  • Other modifications can be made as appropriate without departing from the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　画像の絞込みを効率的に行い得る画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラムを提供することを目的とする。本発明のＰＣ１０は、複数の画像について、その色情報を取得する色情報取得手段５１と、取得した各画像の色情報をデータベース化した画像データベースを生成する画像データベース生成手段５２と、２以上の色を指定する色指定手段５３と、複数の画像の中から、指定された２以上の色に該当する画像を抽出する画像抽出手段５４と、画像抽出手段５４の抽出結果を表示する表示制御手段５５と、を備えたことを特徴とする。

Description

画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム
　複数の画像の中から、所望の画像を抽出する画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラムに関する。
　近年のファイルミュージックを扱うソフトウェアでは、アルバムアートワークを用いて視覚的な選曲を行うことができるようになっている。それは、ＤＪパフォーマンス用のＤＪ機器でも同様であるが、ＤＪ機器のように、比較的多くのファイルを扱う機器を想定した場合、既存製品のようにアルバムアートワークを単純にアルバム名やアーティスト名順に並べただけでは効率的に目的のアルバムを探し出すことができない。そこで、アルバムアートワークの色情報を頼りに、目的のアルバムを探し出すことが考えられる。最近では、このような色情報を用いて画像検索が可能な検索サイト（ポータルサイト）も知られている（例えば、非特許文献１）。当該非特許文献１の検索サイトでは、キーワード検索の結果得られた画像群を、指定した色で絞り込むことにより、効率的に所望の画像を探し出すことができるようになっている。
「英語版Googleイメージ検索」http://images.google.com/imghp?hl=en
　ところが、上記非特許文献１の検索サイトでは、単色での絞込みしかできない。このため画像数が多い場合、十分な絞込みを行うことができず、その中から特定の画像を探し出すことが困難である。特に、「多数のアルバムアートワークの中から目的のアルバムを探し出す」といった用途の場合、画像の代表色が一色に特定できないケースが多く（例えば、ラスタカラーを用いたアルバムアートワークなど）、非特許文献１の方法では、探し出すまでに時間と労力を要すると予想される。
　本発明は、上記の問題点に鑑み、画像の絞込みを効率的に行い得る画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラムを提供することを目的とする。
　本発明の画像抽出方法は、複数の画像について、その色情報を取得する色情報取得ステップと、２以上の色を指定する色指定ステップと、複数の画像の中から、指定された２以上の色に該当する画像を抽出する画像抽出ステップと、を備えたことを特徴とする。
　本発明の画像抽出装置は、複数の画像について、その色情報を取得する色情報取得手段と、２以上の色を指定した指定情報を取得する指定情報取得手段と、複数の画像の中から、指定情報に基づく２以上の色に該当する画像を抽出する画像抽出手段と、を備えたことを特徴とする。
　これらの構成によれば、複数の画像の中から、２以上の色に該当する画像を抽出するため、単色の指定しかできない場合と比較して、より効率的な絞込みを行うことができる。
　なお、「２以上の色を指定する」とは、同時に２以上の色を指定しても良いし、１色ずつ複数回に分けて指定しても良い。また、「色」として、「色要素」を指定しても良い。ここで「色要素」とは、「色の三属性」である色相、明度または輝度、彩度の他、加法混合の３色（赤、緑、青）、減法混色の３色（シアン、マゼンタ、イエロー）なども含む概念である。また、「色の三属性」は、ＨＬＳ色空間やＨＳＶ色空間など、どの色空間（表色系）の成分を指すものであっても良い。さらに、「色の三属性」の全ての要素を含む「色」を、代表色として幾つか用意しておき、その中からいずれかを指定する構成としても良い。
　また、「２以上の色に該当する画像」とは、２以上の色に基づいて特定される画像を指すものであり、ａｎｄ条件またはｏｒ条件などの論理演算式に基づいて特定する方法が考えられる。また、２以上の色を混合した色（例えば、「赤」と「青」を指定したときの「紫」など）に基づいて特定する方法でも良い。
　上記の画像抽出方法において、色指定ステップは、２以上の色について、各色の割合を指定可能であり、画像抽出ステップは、指定された２以上の色および各色の割合に該当する画像を抽出することを特徴とする。
　この構成によれば、各色の割合まで指定するため、より効率的な絞込みが可能となる。例えば「白地に青い文字が入っている」といった抽象的なイメージから、「白を多く含み、且つ青を少し含む画像」を抽出するなど、ユーザーのイメージに合致する画像の抽出が可能である。
　上記の画像抽出方法において、色指定ステップは、Ｎ種類（但し、ＮはＮ≧３となる整数）の色の中から２以上の色を指定可能であり、色情報は、画像に含まれる各画素が、Ｎ種類のうちどの色に該当するかを集計した色別のスペクトル値であり、画像抽出ステップは、指定された２以上の色についてスペクトル値が所定割合以上の画像を抽出することを特徴とする。
　この構成によれば、代表色として用意されたＮ種類の色のうち、どの色が所望の画像に含まれるかをイメージして色指定を行うことができる。
　なお、本構成の場合、Ｎ種類の色を画面上に表示し、表示された色の中から２以上の色を指定可能とすることが好ましい。この構成によれば、色の名前が分からない場合や、色のイメージがはっきりしない場合にも、実際の色を確認して色指定を行うことができる。
　上記の画像抽出方法において、色指定ステップは、２以上の色を、１色ずつ指定可能であり、画像抽出ステップは、色指定ステップによる指定ごとに抽出対象となる画像を徐々に絞り込んでいくことを特徴とする。
　この構成によれば、ユーザーの印象が最も強い色を最初に指定し、画像抽出結果を確認しながら、徐々に条件（色）を追加していく、といった絞込みが可能となる。これにより、画像数によっては、１色のみの指定で十分な絞込みが行われることもあり得るため、ユーザーの色指定の手間を極力軽減することができる。
　上記の画像抽出方法において、色指定ステップは、各色の割合として、割合の範囲を指定可能であり、画像抽出ステップは、各色を指定された範囲の割合だけ含む画像を抽出することを特徴とする。
　この構成によれば、例えばａｎｄ条件の場合、第１の色を１～２割含み、且つ第２の色を５～１０割含む画像を抽出する、などの絞込みが可能である。
　上記の画像抽出方法において、Ｎ種類の色には、透明色が含まれ、画像抽出ステップは、指定された２以上の色に透明色が含まれる場合、当該透明色以外の色についてスペクトル値が所定割合以上の画像を抽出することを特徴とする。
　この構成によれば、色のイメージとして１色のみしか浮かばない場合でも、本発明の画像抽出方法を用いることができる。この場合、ユーザーがイメージした１色のみに基づいて、画像抽出が行われる。
　上記の画像抽出方法において、色指定ステップは、Ｎ種類の色に対応するＮ個の画像が第１の方向に並んだ第１の画像群と、Ｎ種類の色に対応するＮ個の画像が第１画像群と交差するように並んだ第２の画像群とを、それぞれスクロールさせ、その交点に位置する２つの色を指定することを特徴とする。
　この構成によれば、第１の画像群および第２の画像群をスクロールする操作のみで、簡単に２つの色を指定することができる。例えば、その他の色指定方法として、「カーソルキーで色指定＋確定キーで選択」といった２回の操作を色ごとに行う方法が考えられるが、本構成によれば、所望の色を交点に合わせるようにスクロール操作を行うだけで（色ごとに１回の操作で）色指定を行うことができる。
　上記の画像抽出方法において、画像抽出ステップは、各色を指定された割合以上含む画像を抽出することを特徴とする。
　この構成によれば、例えばａｎｄ条件の場合、第１の色を２割以上含み、且つ第２の色を５割以上含む画像を抽出する、などの絞込みが可能である。
　上記の画像抽出方法において、画像抽出ステップは、２以上の色をそれぞれ所定割合以上含む画像を抽出することを特徴とする。
　この構成によれば、２以上の色をａｎｄ条件として指定できるため、よりピンポイントの絞込みが可能となる。これにより、画像数が多い場合でも、迅速に目的の画像を探し出すことができる。
　上記の画像抽出装置において、指定情報に基づく２以上の色、および画像抽出手段の抽出結果を表示画面に表示させる表示制御手段をさらに備えたことを特徴とする。
　この構成によれば、ユーザーが色指定結果および画像抽出結果を視覚的に確認できるため、操作性が良い。
　本発明の画像抽出システムは、上記の画像抽出装置と、２以上の色を指定する色指定手段、および色指定手段の指定結果である指定情報を画像抽出装置に出力する指定情報出力手段を備えた色指定装置と、から成ることを特徴とする。
　この構成によれば、色指定装置を独立した装置として安価に構成した画像抽出システムを実現できる。なお、色指定装置は、１の画像抽出装置に対し複数接続されても（通信可能に構成されても）良い。
　本発明のサーバーは、複数の画像について、その色情報を取得する色情報取得手段と、２以上の色を指定した指定情報を取得する指定情報取得手段と、複数の画像の中から、指定情報に基づく２以上の色に該当する画像を抽出する画像抽出手段と、画像抽出手段の抽出結果を出力する抽出結果出力手段と、を備えたことを特徴とする。
　本発明のユーザー端末は、上記のサーバーと接続されて用いられ、２以上の色を指定する色指定手段と、色指定手段の指定結果である指定情報をサーバーに出力する指定情報出力手段と、サーバーから出力された抽出結果を表示する表示画面と、を備えたことを特徴とする。
　本発明の通信システムは、上記のサーバーと、サーバーと接続されて用いられ、２以上の色を指定する色指定手段、色指定手段の指定結果である指定情報をサーバーに出力する指定情報出力手段、およびサーバーから出力された抽出結果を表示する表示画面を備えたユーザー端末と、が通信可能に構成されていることを特徴とする。
　これらの構成によれば、ネットワーク上のサーバーで、本発明を実現できる。また、クラウドコンピューティングにも、本発明を適用できる。さらに、サーバー、ＰＣ、ユーザー端末がネットワーク接続された構成に本発明を適用する場合は、最低限、ユーザー端末に、表示画面、操作手段、サーバーおよび／またはＰＣと通信するための通信手段を備えれば良く、他の手段（色情報取得手段、指定情報取得手段、画像抽出手段）については、サーバー、ＰＣ、ユーザー端末のいずれか、またはそれぞれに分散して備えられれば良い。
　本発明のプログラムは、コンピューターに、上記の画像抽出方法における各ステップを実行させることを特徴とする。
　このプログラムを実行することにより、画像の絞込みを効率的に行い得る画像抽出方法を実現できる。
本発明の一実施形態に係るＰＣの構成図である。 ファイルミュージックプレーヤの画面表示例（「COLOR　COMBINATE」選択時）を示す図である。 ＰＣの機能ブロック図である。 色情報取得処理を示すフローチャートである。 図４のフローチャートに用いられる計算式を示す図である。 図４のフローチャートにおける画素の分類の説明図である。 色指定に伴う画像の絞込み結果を示す図である。 ファイルミュージックプレーヤの画面表示例（「ARTWORKS」選択時）を示す図である。 単色画像群の２次元座標空間への配置例を示す図である。 各軸とＨＬＳ色空間の対応関係を示す図である。 ユーザーの平行移動操作に基づく表示制御の説明図である。 ユーザーの画面拡大／縮小操作に基づく表示制御の説明図である。 画像読み込み動作の説明図である。 楽曲選択画面の一例を示す図である。 楽曲選択の流れを説明するための、楽曲選択画面の一例を示す図である。 カテゴリー、キー、キーワードによる絞込みを説明するための、操作画面の一例を示す図である。 色指定方法の変形例を示す図である。 色指定方法の他の変形例を示す図である。 本発明を適用した画像抽出システムの簡易構成図である。
　以下、本発明の一実施形態に係る画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラムについて、添付図面を参照しながら詳細に説明する。本実施形態では、パーソナルコンピューター（以下、「ＰＣ」と表記する）上で動作する「ファイルミュージックプレーヤ」に、本発明を適用した場合について例示する。
　図１は、ＰＣ１０（画像抽出装置）の概略構成を示す構成図である。同図に示すように、ＰＣ１０は、表示部１１、操作部１２、外部記憶装置インターフェース部（以下、「外部記憶装置Ｉ／Ｆ部」と表記する）１３、通信部１４、制御部１５、記憶部１６、再生処理部１７、音声出力部１８の他、これらを接続するバス１９を備えている。
　表示部１１は、不図示の表示画面上に、ファイルミュージックプレーヤの操作画面Ｄ０（図２参照）などを表示する。特に本実施形態では、操作画面Ｄ０のブラウザ領域Ｅ５に、多数のアルバムアートワークＡＡＷを表示し、それらの中からユーザーが指定した「色」に応じてアルバムアートワークＡＡＷの絞込みを行い、その絞込み結果を表示する。操作部１２は、マウス、キーボード、タッチパッド等を有し、ユーザーが各種操作を行うために用いられる。
　外部記憶装置Ｉ／Ｆ部１３は、外部記憶装置３０から楽曲情報等を読み出すなど、ＰＣ１０と外部記憶装置３０との間で情報の入出力を行う。なお、外部記憶装置３０とは、ＰＣ１０にローカル接続された記憶デバイス（外付けハードディスク装置など）や、ＰＣ１０に搭載のメモリスロットで読み出し可能なＵＳＢメモリなどを指す。
　通信部１４は、インターネットやイントラネットなどのネットワークＮＷを介して、ネットワークＮＷ上の機器（サーバー）のメモリから楽曲情報等を取得するなど、ＰＣ１０とネットワークＮＷ上の機器との間で通信を行う。
　制御部１５は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）等から成り、各種演算処理を行う。また、操作部１２の操作に基づく表示部１１の表示制御、外部記憶装置Ｉ／Ｆ部１３および通信部１４を介した情報入出力制御、楽曲の編集処理（ミキシング処理を含む）、楽曲の再生制御等を行う。
　記憶部１６は、ハードディスクドライブ等から成り、ファイルミュージックプレーヤを実現するための専用アプリケーション２０を記憶すると共に、楽曲情報および画像データベースを記憶する。「画像データベース」とは、画像の絞込みを行う際に参照する色情報のデータベースである（後述する）。また、「楽曲情報」としては、楽曲ファイル（または楽曲ファイルのパス）および楽曲付随情報などを記憶する。楽曲付随情報は、楽曲の識別情報（楽曲ＩＤ）、楽曲タイトル名、アルバム名、アーティスト名、ジャンル名、作曲者名、リミキサー名、レーベル名、アルバムアートワークＡＡＷのＩＤ、アルバムアートワークＡＡＷの画像ファイル（または画像ファイルのパス）、アルバムアートワークＡＡＷの色情報、発売時期、楽曲アートワークＴＡＷのＩＤ、楽曲アートワークＴＡＷの画像ファイル（または画像ファイルのパス）、楽曲アートワークＴＡＷの色情報、レート（ユーザーによる評価）、ＢＰＭ（Beats　Per　Minute）、楽曲の調性（キー）、音声波形データ、楽音の有無、メロディ、ハーモニー、リズム、データベース登録日、楽曲ファイルの最終更新日、楽曲の長さ（再生時間）、再生回数や再生日時などのアクセス履歴、などである。
　なお、これらの情報のうち、ジャンル、ＢＰＭ、楽曲の調、音声波形データ、楽音の有無、メロディ、ハーモニー、リズムなどは、専用アプリケーション２０による楽曲ファイルの解析結果から得られる情報である。その他、予め楽曲付随情報内に設定されていてもよいし、ユーザーが指定するようにしてもよい。また、アルバムアートワークＡＡＷや楽曲アートワークＴＡＷ（以下、アルバムアートワークＡＡＷや楽曲アートワークＴＡＷを「アートワークＡＷ」と総称する）の色情報も、専用アプリケーション２０によってアートワークＡＷの画像ファイルから取得される情報である（詳細については後述する）が、予め楽曲付随情報内に設定されていても良く、ユーザーが指定するようにしても良い。なお、楽曲アートワークＴＡＷは、特に設定されていない場合、アルバムアートワークＡＡＷと同じ画像としても良い。
　再生処理部１７は、制御部１５の制御下で、楽曲ファイルの再生処理を行い、その再生信号を音声出力部１８に出力する。音声出力部１８は、ＤＳＰ、アンプ、スピーカーまたはヘッドフォン等から成り、再生信号を外部出力する。なお、音声出力部１８としては、外付けのものを用いても良い。
　次に、図２を参照し、ファイルミュージックプレーヤの操作画面Ｄ０について説明する。操作画面Ｄ０は、画面上部のプレーヤ部Ｅａと、画面下部のブラウザ部Ｅｂと、から成る。プレーヤ部Ｅａは、再生中の楽曲に関する情報を表示する領域であり、楽曲のアルバムアートワークＡＡＷを表示するアートワーク表示領域Ｅ１と、当該アルバム内の現在再生中の楽曲の楽曲情報、再生時間、音声波形等を表示する再生情報表示領域Ｅ２と、各種再生操作を行うためのボタン群表示領域Ｅ３と、を有している。
　一方、ブラウザ部Ｅｂは、ユーザーが各種操作および情報確認を行うための領域であり、操作内容を選択するためのユーザー操作領域Ｅ４と、多数のアルバムアートワークＡＡＷを表示するブラウザ領域Ｅ５と、を有している。ユーザー操作領域Ｅ４は、多数のアルバムアートワークＡＡＷを色要素にしたがって配列表示する「ARTWORKSボタン」、色指定に基づくアルバムアートワークＡＡＷの抽出結果を表示する「COLOR　COMBINATEボタン」、任意のデータベースファイル（外部記憶装置３０、ネットワークＮＷ上の機器、記憶部１６の記憶領域）を選択するための「SELECT　DBボタン」、楽曲情報を取り込むための「IMPORTボタン」、楽曲情報を表示させるための「PROPERTYボタン」などが配置されている。なお、同図の操作画面Ｄ０は、「COLOR　COMBINATEボタン」が選択されている状態を示している。「ARTWORKSボタン」が選択された場合については、後述する（図８～図１０参照）。
　ユーザー操作領域Ｅ４にて「COLOR　COMBINATEボタン」が選択された場合、ブラウザ領域Ｅ５は、「色」を選択（指定）するための色指定領域Ｅ５ａと、色指定にしたがって絞り込まれたアルバムアートワークＡＡＷ（以下、「画像」とも称する）を表示する抽出結果表示領域Ｅ５ｂと、を表示する。また、色指定領域Ｅ５ａと抽出結果表示領域Ｅ５ｂとの境界には、仕切り線Ｌ１が表示される。一方、色指定領域Ｅ５ａには、１６種類の色を表すカラーアイコンＣＩ（角丸矩形形状の画像）が、色相環に倣った順序で縦に１６個配列されている。また、任意のカラーアイコンＣＩが選択されると、選択されたカラーアイコンＣＩに囲み枠４４を付加表示すると共に、選択されたカラーアイコンＣＩと仕切り線Ｌ１とを結ぶ結線Ｌ２を表示する。当該囲み枠４４および結線Ｌ２は、カラーアイコンＣＩと同色で表す。また、仕切り線Ｌ１は、選択されたカラーアイコンＣＩの色を用いたグラデーションで表す。
　抽出結果表示領域Ｅ５ｂは、選択されたカラーアイコンＣＩに対応する色を所定割合以上含む画像を表示する。したがって、選択されるカラーアイコンＣＩの数が多くなるにしたがって、表示される画像数は減少する（表示対象となる画像が絞り込まれる）。また、抽出結果表示領域Ｅ５ｂにおける画像の配列は、画像が登録された順序や、アルバムアートワークＡＡＷのＩＤに基づく順序など、所定の順序に基づく。
　また、本実施形態のファイルミュージックプレーヤは、ブラウザ領域Ｅ５に表示する画像群を、「色」以外の各種フィルタリング条件（ジャンル、アルバム名、アーティスト名、ＢＰＭ、再生回数や再生日時などのアクセス履歴、発売時期など）の入力により絞込む絞込み機能を有している。また、ブラウザ領域Ｅ５に表示する画像群を、全てのアルバムアートワークＡＡＷを表示する他に、アーティストの代表アルバムのアルバムアートワークＡＡＷ、プレイリストのアートワークＡＷ、楽曲の楽曲アートワークＴＡＷ、楽曲の音声波形データなどの表示に切り替えることも可能である。詳細については、図１６を参照して後述する。さらに、ユーザーによる、再生中の楽曲またはプレイリスト内の楽曲の指定により、指定された楽曲を含むアルバムのアルバムアートワークＡＡＷに、ブラウザ領域Ｅ５上でジャンプするジャンプ機能も有している。
　なお、ブラウザ領域Ｅ５には、アルバムアートワークＡＡＷのないアルバムについては表示されない。但し、アルバムアートワークＡＡＷのないアルバムについては、アルバムアートワークＡＡＷ以外の情報（アルバム名検索、アーティスト名検索など）による検索が可能である。
　また、ブラウザ領域Ｅ５は、アルバムアートワークＡＡＷが同一のアルバムについて纏めて表示する。複数組みのディスクやコンピレーションアルバムなど、楽曲データベース上異なるアルバムに、同一のアルバムアートワークＡＡＷが設定される場合があるが、これらは１のアルバムアートワークＡＡＷとして表示する。これは、ブラウザ領域Ｅ５に同一のアルバムアートワークＡＡＷが複数表示されると、それらの区別が困難となるためである。もっとも、それぞれのアルバムアートワークＡＡＷを区別するために、ブラウザ領域Ｅ５上にアルバムアートワークＡＡＷ以外の情報を表示することも考えられるが、ユーザーは、アルバムアートワークＡＡＷに加えてそれらの情報を確認しなければならず、アルバムアートワークＡＡＷによる直感的なブラウズの妨げになってしまう。このため、複数のアルバムに紐付けられたアルバムアートワークＡＡＷが選択された場合は、アルバムアートワークＡＡＷが選択された後、目的のアルバムを選択するための別画面を表示する構成となっている。なお、アルバムアートワークＡＡＷが同一のアルバムを纏めて表示することにより、同じ縮尺で一度に表示・認識できる実質的な情報量が増えるため、目的のアルバムアートワークＡＡＷをより探し出しやすくなるといった利点もある。
　次に、図３を参照し、ＰＣ１０（ファイルミュージックプレーヤ）の機能構成について説明する。ＰＣ１０は、主な機能構成として、色情報取得手段５１、画像データベース生成手段５２、色指定手段５３、画像抽出手段５４および表示制御手段５５を備えている。なお、これらの各手段は、いずれも専用アプリケーション２０を用いた制御部１５の制御によって実現される。
　色情報取得手段５１は、記憶部１６に記憶されている各楽曲のアルバムアートワークＡＡＷ（各画像）の色情報を取得する。ここで「色情報」とは、各楽曲の楽曲情報（楽曲付随情報）から得られる情報であり、画像に含まれる各画素が、１６種類の色（図２の色指定領域Ｅ５ａ参照，以下、「色クラス」とも称する））のうちどの色に該当するかを集計した色別のスペクトル値を指す。また、画像データベース生成手段５２は、色情報取得手段５１により取得した、画像ごとの色別スペクトル値をデータベース化した画像データベースを生成する。生成した画像データベースは、記憶部１６内に記憶される。なお、画像が新たに追加された場合は、追加分の画像についてのみ色別スペクトル値を求め、画像データベースを更新する。また、ＰＣ１０の処理速度が十分である場合、予めデータベース化せず、色指定時にリアルタイムに色別スペクトル値を算出しても良い。なお、画像データベースの生成処理については後述する（図４～６参照）。
　色指定手段５３は、色指定領域Ｅ５ａの中から１以上の色（色クラス）を指定する。なお、本実施形態では、１色のみが指定された場合も、その色に該当する画像の抽出を行うが、２色以上指定された場合のみ絞込み処理が行われる構成としても良い。画像抽出手段５４は、色指定手段５３により指定された各色をそれぞれ所定割合以上含む画像を抽出する。つまり、画像データベース生成手段５２により生成された画像データベースを参照し、指定された２以上の色についてスペクトル値が所定割合以上の画像を抽出する。表示制御手段５５は、画像抽出手段５４による画像抽出結果（抽出対象となる画像）を、操作画面Ｄ０内の抽出結果表示領域Ｅ５ｂに表示する。
　次に、図４～図６を参照し、画像データベースの生成処理について説明する。図４は、色情報（色別スペクトル値）取得処理を示すフローチャートであり、図５は、当該フローチャートに用いられる計算式を示す図である。図４に示すように、ＰＣ１０（制御部１５）は、記憶部１６に記憶されている全楽曲のアルバムアートワークＡＡＷの画像データを読み込み（Ｓ０１）、各画像について色別スペクトル値の初期化を行う（Ｓ０２，図５（ａ）参照）。次に、各画像内の各画素が、どの色クラスに該当するかについて分類を行う（Ｓ０３）。具体的には、画像データを走査し、全ての画素について各色クラスに当てはまるか否かの判定を行う。ここで当てはまると判定した場合は、その色クラスのスペクトル値（色別スペクトル値）をインクリメントする（図５（ｂ）参照）。その後、色別スペクトル値の正規化を行い（Ｓ０４，図５（ｃ）参照）、Ｓ０１で読み込んだ画像データの色別スペクトル値として保存する（Ｓ０５）。以上の工程を全ての画像（アルバムアートワークＡＡＷ）に対して行うことで、画像データベースが生成される。
　図６は、図４のフローチャートにおけるＳ０３（各画素の分類工程）の説明図である。同図（ａ）は、ＨＬＳ色空間における色相－彩度断面図であり、同図（ｂ）は、ＨＬＳ色空間における輝度－彩度断面図である。両図に示すように、各色クラスに対応するＨＬＳ色空間（三次元色空間）上の領域を定義し、各画素の色要素がどの領域に含まれるかを判定することで画素の分類を行う。
　なお、同図の例では、各領域が全て独立しているが、２以上の領域が重なる重複部分があっても良い。例えば、「「赤」にも「橙」にも見える色」なども存在するため、そのような色については、「赤色」と「橙色」の両方に含まれると判定しても良い。
　また、上記の例では、Ｓ０３において、各画素の分類を行ったが、画像を領域分割し、各部分領域について代表色と指定色をマッチングさせても良い。画像を領域分割する方法としては、「分割統合法」等の周知のアルゴリズムを用いることが考えられる。
　次に、図７を参照し、色指定に伴う画像の絞込み処理について説明する。図７（ａ）は、色指定領域Ｅ５ａにおいて、３つのカラーアイコンＣＩが選択され（囲み枠４４ａ，４４ｂ，４４ｃに示す「ピンク」、「赤」、「緑」の３色が指定され）、その抽出結果である９つの画像（Ａ１～Ａ９）を抽出結果表示領域Ｅ５ｂに表示した状態を示している。同図（ａ）の状態から、さらに１つのカラーアイコンＣＩが追加選択されると（囲み枠４４ｄに示す「黄」が指定されると）、画像の絞込みを行い、９つの画像のうち色クラス「黄」に該当する画像（同図の例では、Ａ２，Ａ７，Ａ８，Ａ９の４つの画像）を表示する（同図（ｂ）参照）。このとき、画像の並び替えを行って、抽出された全画像を抽出結果表示領域Ｅ５ｂの中央部に集結させる。また、さらに１つのカラーアイコンＣＩが追加選択されると（囲み枠４４ｅに示す「青」が指定されると）、再度画像の絞込みを行い、４つの画像のうち色クラス「青」に該当する画像（同図の例では、Ａ２，Ａ９の２つの画像）を表示する（同図（ｃ）参照）。
　このように、本実施形態のファイルミュージックプレーヤ（色指定手段５３）は、１色ずつ色指定することが可能であり、色指定ごとに抽出対象となる画像を絞り込んでいく。この構成により、ユーザーの印象が最も強い色を最初に指定し、画像抽出結果を確認しながら、徐々に条件（色）を追加していく、といった絞込みが可能となる。
　なお、上記の例では、カラーアイコンＣＩの追加選択ごとに、抽出対象となる画像の並び替えを行ったが、並び替えを行わず、元の配置のまま抽出対象外の画像を排除していくことで画像抽出結果を示すようにしても良い。
　また、上記の例のように、色指定に伴って画像の並び替えを行う場合は、抽出結果表示領域Ｅ５ｂと、対象画像の数とに応じて、適宜画像の拡大表示を行っても良い。例えば、図５（ｂ）の例では、対象画像が４つのみであり、抽出結果表示領域Ｅ５ｂ内の上下左右に非配置領域が生じるため、全対象画像が抽出結果表示領域Ｅ５ｂ内に収まる範囲で拡大表示しても良い。
　次に、図８～図１０を参照し、ユーザー操作領域Ｅ４において、「ARTWORKSボタン」が選択された場合について説明する。この場合、図８に示すように、ブラウザ領域Ｅ５には、選択されたデータベース内の各楽曲ファイルに対応する画像群が、３つの色要素（ＨＬＳ色空間の色相、輝度、彩度）に基づいて、Ｘ軸方向（図示横方向）およびＹ軸方向（図示縦方向）に配列される。つまり、色要素の近い画像が近い場所に配置されるように（グラデーションになるように）、離散的な２次元空間に配置されている。なお、画像群は、必ずしも縦・横方向において間隙なく（完全なマトリクス状として）配置される訳ではなく、各画像の代表的な色に基づき、３つの色要素全てにおいて滑らかな変化が得られることを優先して配置される。したがって、ブラウザ領域Ｅ５の随所に、画像が配置されない空白領域Ｅ００が発生する。また、Ｘ軸およびＹ軸は、いずれもループした無端軸により構成され、２次元方向におけるシームレスなスクロール操作が可能となっている。
　次に、図９および図１０を参照し、ＨＬＳ色空間と２次元座標空間の対応関係について説明する。図９は、単色画像群のブラウザ領域Ｅ５への配置例を示す図である。ここでは、説明を分かりやすくするため、各画像を単色画像で示す。同図に示すように、ブラウザ領域Ｅ５の横軸には、色相（Ｈ値）を割り当てる。また、ブラウザ領域Ｅ５の縦軸（横軸に直交する軸）には、輝度（Ｌ値）および彩度（Ｓ値）を割り当てる。但し、縦軸方向の割り当ては、各画像を、閾値θ（所定の彩度）以上の彩度を有する画像群と、閾値θ未満の彩度を有する画像群とに分け、さらに前者の画像群については、図示上側から中央部に向かって輝度が高くなるように配置し、後者の画像群については、図示下側から中央部に向かって輝度が高くなるように配置している。
　図１０は、図９に示したＨＬＳ色空間と２次元座標空間の対応関係に基づいて、各画像を実際に配置した状態を示す図である。各画像領域内には、その画像の代表ＨＬＳ値を示している。同図に示すように、横軸（Ｘ軸）については、画像群が色相（Ｈ値）にしたがって配置される。また、縦軸（Ｙ軸）については、彩度が閾値θ以上の画像群および閾値θ未満の画像群が、それぞれ、矢印に沿って輝度（Ｌ値）が高くなるように配置されている。
　このように、ユーザー操作領域Ｅ４において「ARTWORKSボタン」が選択された場合は、各画像から、ＨＬＳ色空間の３つの成分である、色相、輝度、彩度を取得し、色相に基づいて画像のＸ軸方向の配置を決定すると共に、輝度および彩度に基づいて画像のＹ軸方向の配置を決定する。これにより、各画像を規則的且つ見栄え良く配置することができ、ひいては目的の画像を効率的に探し出すことができる。また、Ｘ軸およびＹ軸は、いずれもループ状の無端軸で構成されるため、ユーザーの画面移動操作にしたがってブラウザ領域Ｅ５の表示位置をＸ軸方向およびＹ軸方向にシームレスに移動させることができる。これにより、ユーザーは、例えば目的となる赤色の画像が、色相値「０°」で左端にあるのか、色相値「３５９°」で右端にあるのかなどを考慮することなく操作を行うことができる。
　次に、図１１～図１５を参照し、表示制御手段５５によるブラウザ領域Ｅ５の表示制御について説明する。なお、以下図１１～図１３では、ユーザー操作領域Ｅ４において「ARTWORKSボタン」が選択された場合の表示例を示しているが、「COLOR　COMBINATEボタン」が選択された場合も、同様の表示制御が可能である。図１１は、ユーザーの平行移動操作に基づく表示制御の説明図である。同図（ａ）に示す状態から、操作部１２により、表示位置をＹ軸方向に画像一行分上げる操作が行われると、同図（ｂ）に示す状態となる。つまり、ユーザーの画面移動操作にしたがって、Ｘ軸方向およびＹ軸方向の平行移動が可能である。
　なお、同図の例では、画面中央に位置する画像が選択された状態となっており、他の画像よりも若干大きく、または縁取られて表示される。また、選択された画像を、選択されていない他の画像よりも詳細に（高画質に）表示しても良い。
　また、上記の通り、「ARTWORKSボタン」が選択された場合は、Ｘ軸方向およびＹ軸方向におけるシームレスな移動が可能であるが、「COLOR　COMBINATEボタン」が選択された場合は、Ｘ軸方向およびＹ軸方向におけるシームレスな移動はできない。「COLOR　COMBINATEボタン」選択時においてＸ軸方向およびＹ軸方向において際限なく画像が配置されると、絞り込まれた画像数が分かりづらくなるためである。
　続いて、図１２は、ユーザーの画面拡大／縮小操作に基づく表示制御の説明図である。図１２（ａ）は、例えば図１１（ａ）に示した状態から、画面拡大操作が行われたズームイン状態を示している。また、図１２（ｂ）は、例えば図１１（ａ）に示した状態から、画面縮小操作が行われたズームアウト状態を示している。このように、ユーザーの画面拡大／縮小操作に伴って、シームレスなズームイン／ズームアウトが可能である。また、画像の表示サイズが小さすぎて識別できない、またはＰＣ１０のスペック上の要因で画像を表示しきれない場合は、図１２（ｂ）のように各画像を代表的な色（色相、輝度、彩度の各代表値に基づく色，図９参照）で塗り潰して（単色画像として）表示する。これにより、ユーザーは、「COLOR　COMBINATEボタン」選択時において、絞込み結果（抽出対象となった画像数）を瞬時に把握することができる。また「ARTWORKSボタン」選択時においては、ズームアウトによって全体を俯瞰した状態（図１２（ｂ）の状態）から、色の記憶を頼りに、目的の画像がある位置を容易に推定できる。また、目的の画像があると考えられるあたりに平行移動およびズームインすることにより、迅速に目的の画像を探し出すことができる。
　続いて、図１３は、画像読み込み動作の説明図である。図１３（ａ）は、ブラウザ領域Ｅ５の略中央に位置する画像Ｇ１が、ユーザーによって選択（指定）された直後の状態を示している。同図に示すように、ユーザーによって選択された画像Ｇ１は強調表示される。具体的には、画像枠を太枠にしたり、他の画像よりも若干大きく表示したり、アルバムアートワークＡＡＷを表す「画像本体領域」の下部に重ねて（半透明で）「アルバム名領域」を付加するなどの装飾を施す。また、画像の読み込みが完了していない状態で、ユーザーの選択操作が行われた場合は、選択された画像Ｇ１を最優先に読み込みを開始する（同図の例は、画像Ｇ１の選択前に、既に２つの画像の読み込みが行われていた状態を示している）。つまり、全ての画像が読み込まれていない状況でも、選択された画像Ｇ１のブラウズ動作を進行させつつ、バックグラウンドで必要な画像の読み込みとリサイズを行い、完了したものから逐次表示を更新していく。まだ読み込めていない画像については、図１３（ａ）に示すように代表的な色で塗り潰した単色画像で表示し、読み込めているがリサイズが完了していない画像（例えば、図１３（ａ）の画像Ｇ１参照）については、低画質だが高速な簡易リサイズの画像を表示しておき、その後逐次更新していく。なお、図１３（ｂ）は、全ての画像の読み込みが完了した後の状態を示している（実際には、より高画質な画像で表示される）。
　なお、画像の読み込みが完了しているか否かに拘らず、選択された画像Ｇ１を、他の画像よりも詳細に（より多くの情報を付加して、または高画質に）表示しても良い。この場合、他の画像は単色画像とするなど、簡易な表示とすることが好ましい。また、選択画像を変更した場合は、それまで選択されていた画像が簡易表示となり、新たに選択された画像が詳細な画像となるように表示しても良い。若しくは、選択画像を変更した場合、それまで選択されていた画像と、新たに選択された画像の両方が詳細な画像となるように表示しても良い。
　続いて、図１４は、ユーザーによって１の画像（アルバムアートワークＡＡＷ）が選択された場合（図１３（ａ）参照）に表示する楽曲選択画面Ｄ１の一例を示す図である。楽曲選択画面Ｄ１は、ブラウザ領域Ｅ５上に重畳表示されるポップアップ画面であり、選択されたアルバムアートワークＡＡＷを表示するアートワーク表示領域Ｅ１１と、楽曲情報を表示する楽曲情報表示領域Ｅ１２と、選択されたアルバムに含まれる楽曲のタイトル一覧を表示するタイトル一覧表示領域Ｅ１３と、タイトル一覧表示領域Ｅ１３のスクロール操作を行うためのスクロールバーを表示するスクロールバー表示領域Ｅ１４と、を有している。なお、スクロールバー表示領域Ｅ１４は、タイトル数が多い場合など、タイトル一覧表示領域Ｅ１３に全ての楽曲のタイトルを表示できない場合のみ表示する構成としても良い。当該楽曲選択画面Ｄ１では、選曲の他、アルバムアートワークＡＡＷが同一のアルバムの選択（２枚組みＣＤのＤＩＳＣ１／２など）ができると共に、キャンセルしてアルバム選択用の画面（図２，図８参照）に戻ることができる。
　次に、図１５を参照し、楽曲を選択する操作の流れについて説明する。まず、ブラウザ領域Ｅ５をズームアウトした状態で（図１２（ｂ）参照）、色を頼りに目的のアルバムアートワークＡＡＷがある場所の目標を定める。続いて、目標を定めた場所に平行移動し（図１１参照）、ズームインしていく（図１２（ａ）参照）。目的のアルバムアートワークＡＡＷを見つけたら選択し、マウスのダブルクリック等の操作により選択決定し、楽曲選択画面Ｄ１を開く。ここで、選択決定したアルバムアートワークＡＡＷに対応したアルバムが複数存在する場合は、切り替えボタン６１を操作して、目的のアルバムを選択する。例えば、同図（ａ）の状態で、左右いずれかの切り替えボタン６１が押下されると、同図（ｂ）に示す状態となる。この場合同図に示すように、アートワーク表示領域Ｅ１１に表示されるアルバムアートワークＡＡＷに変化はないが、アルバム名が異なることにより、異なるアルバムが選択されたことが分かる。当然、タイトル一覧表示領域Ｅ１３に表示されるタイトル名も変化する。なお、選択したアルバムアートワークＡＡＷに対応したアルバムが１つしかない場合は、切り替えボタン６１を非表示またはグレーアウト表示して、対応する他のアルバムが存在しないことをユーザーに明示する。また、切り替えボタン６１に代えて、キーボードの左右キー等によりアルバムの選択を行い得るようにしても良い。目的のアルバムを選択決定した後は、タイトル一覧表示領域Ｅ１３から目的の楽曲（タイトル）を選択する。タイトル選択後に、各種再生操作を行うためのボタン群表示領域Ｅ３（図２，図８参照）の再生操作、若しくは、タイトル一覧表示領域Ｅ１３から所望のタイトルをマウスのダブルクリック等の操作により選択決定し、楽曲を再生する。目的の楽曲がない場合や、次に再生する楽曲を探す場合、楽曲選択画面Ｄ１を閉じて、アルバム選択用の画面（図２，図８参照）に戻る。
　次に、図１６を参照し、アルバムアートワークＡＡＷ表示の変形例について説明する。上記の例では、ブラウザ領域Ｅ５にアルバムのアルバムアートワークＡＡＷを表示する場合を例示したが、ここではアルバム以外に、アーティストやプレイリストにアルバムアートワークＡＡＷを紐付け、アルバムと同様のブラウズを実現する変形例を説明する。同図に示すように、変形例に係る操作画面Ｄ０は、上記の例に示した操作画面Ｄ０（図２参照）に、カテゴリー選択領域Ｅ２１、キー選択領域Ｅ２３およびキーワード入力領域Ｅ２２を追加した画面構成となっている。
　カテゴリー選択領域Ｅ２１では、「アルバム」、「アーティスト」、「プレイリスト」、「タイトル」のうちいずれかの項目を選択可能である。「アルバム」選択時の動作は、上記の例に示した通りである。また、「アーティスト」選択時は、「アルバム」選択時と同様の画面（ブラウザ領域Ｅ５）において、各アーティストに結び付けられた画像群（例えば、各アーティストの代表アルバムのアルバムアートワークＡＡＷなど）を表示する。なお、いずれかの画像が選択された場合、アルバム名ではなくアーティスト名を表示する（図１３（ａ）参照）。また、マウスのダブルクリック等の操作で、楽曲選択画面Ｄ１（図１５参照）と略同様の画面構成を有するアルバム選択画面（図示省略）に遷移する。当該アルバム選択画面のアートワーク表示領域Ｅ１１には、アーティストではなく各アルバムに対応するアルバムアートワークＡＡＷを表示する。また、アルバム選択画面では、選択されたアーティストに対応するアルバムが複数存在する場合、切り替えボタン６１の操作により、そのアーティストのアルバム群を切り替えて表示させることができる。
　一方、カテゴリー選択領域Ｅ２１にて「プレイリスト」が選択された場合は、ブラウザ領域Ｅ５において、各プレイリストに結び付けられた画像群を表示する。いずれかの画像が選択された場合は、アルバム名ではなくプレイリスト名を表示する（図１３（ａ）参照）。また、ダブルクリック等の操作で、楽曲選択画面Ｄ１（図１５参照）と略同様の画面構成を有するプレイリスト選択画面（図示省略）に遷移する。プレイリスト選択画面のタイトル一覧表示領域Ｅ１３には、楽曲選択画面Ｄ１と同様に、プレイリスト内の楽曲リストを表示する。また、プレイリスト選択画面では、同じアートワークＡＷに対応するプレイリストが複数存在する場合、切り替えボタン６１の操作により、そのプレイリスト群を切り替えて表示させることができる。
　また、カテゴリー選択領域Ｅ２１にて「タイトル」が選択された場合は、ブラウザ領域Ｅ５において、各楽曲の楽曲アートワークＴＡＷの画像群を表示する。楽曲アートワークＴＡＷはアルバムアートワークＡＡＷと同一のものであっても良い。いずれかの画像が選択された場合は、アルバム名ではなくタイトル名を表示する（図１３（ａ）参照）。また、ダブルクリック等の操作で、再生情報表示領域Ｅ２に楽曲情報を表示し、アートワーク表示領域Ｅ１に楽曲アートワークＴＡＷを表示する。タイトル選択後に、各種再生操作を行うためのボタン群表示領域Ｅ３（図２，図８参照）の再生操作により、楽曲を再生する。なお、「タイトル」が選択された場合は、各楽曲の楽曲アートワークＴＡＷの画像群を、ユーザーの操作により、座標軸の横軸（Ｘ軸）をＫＥＹ（楽曲の調性）とし、縦軸（Ｙ軸）をＢＰＭ（楽曲のテンポ）とした表示に切り替え可能としても良い。さらに、ユーザーの操作により、楽曲アートワークＴＡＷの画像群を、各楽曲の音声波形を示す画像群に切り替えて表示可能としても良い。
　続いて、フィルタリング条件入力の例として、キーによる絞込みについて説明する。キー選択領域Ｅ２３は、図示のように、ジャンル、アーティスト、アルバム、ＢＰＭ、プレイリスト、などに基づき、複数階層から成るキー選択が可能である。つまり、ジャンルなどのキーを指定することで、合致するアイテム（アートワークＡＷ）のみをブラウザ領域Ｅ５に表示させることができる。例えば、同図の例では、絞込みキーとして「ジャンル－ジャズ」が選択されているため、ジャンルが「ジャズ」のアイテムのみが表示される。
　続いて、キーワードによる絞込みについて説明する。キーワード入力領域Ｅ２２は、入力領域および検索実行ボタンから成り、入力領域に、例えば楽曲付随情報に関連する情報などの任意のキーワードを入力し、検索実行ボタンを押下することで、合致するアイテム（アートワークＡＷ）のみをブラウザ領域Ｅ５に表示させることができる。キーワードとしては、アルバム名、アーティスト名、プレイリスト名、ジャンル名、作曲者名、リミキサー名、レーベル名、発売時期、レート（ユーザーによる評価）、ＢＰＭ（Beats　Per　Minute）、楽曲の調性（キー）、データベース登録日、楽曲ファイルの最終更新日、などの楽曲付随情報に関連する情報、再生回数や再生日時などのアクセス履歴を入力可能であり、入力された文字列がそれらの文字列情報内に含まれるか否かを判別し、含まれる場合、合致するアイテムをブラウザ領域Ｅ５に表示する。なお、入力領域に複数のキーワード入力があった場合、ａｎｄ条件またはｏｒ条件による検索が可能である。
　なお、図１６に示した変形例で、ユーザー操作領域Ｅ４において「ARTWORKSボタン」が選択された場合、色指定領域Ｅ５ａを、キーワード入力領域Ｅ２２およびキー選択領域Ｅ２３と共に、操作画面Ｄ０に設けても良い。この場合、カラーアイコンＣＩの指定を、フィルタリング条件が入力されたものとして扱うこととなる。これにより、２以上の「色」を指定して効率的な絞込みを行うことができ、しかも絞り込まれた画像が、色要素にしたがって配列されるため、目的の画像をより迅速且つ容易に探し出すことができる。
　次に、図１７を参照し、「COLOR　COMBINATEボタン」選択時における色指定方法の変形例について説明する。上記の実施形態では、色指定についてＯＮ／ＯＦＦの２値しか指定できなかったが、本変形例では、任意の割合で色指定が可能である。同図（ａ）は、本変形例に係るブラウザ領域Ｅ５の表示例を示す図である。同図に示すように、色指定領域Ｅ５ａでは、ユーザーによる割合指定結果に応じて、カラーアイコンＣＩの表示形態が異なる。この場合、抽出結果表示領域Ｅ５ｂには、各色を指定された割合以上含む画像（各色の色別スペクトル値が指定された値以上の画像）のみを表示する。
　同図（ｂ）は、変形例に係るカラーアイコンＣＩの表示パターンを示す図である。例えば、（ア）は、カラーアイコンＣＩが指定されていない初期状態の色指定結果を示す表示例である。この場合、指定色（カラーアイコンＣＩ）の割合による画像の絞り込みは行われない。また、（イ）は、ユーザーがカラーアイコンＣＩにマウスを当てて１回だけ左クリックした場合の色指定結果を示す表示例である。この場合、割合として第１段階（「５％」）が指定されたものとして、「色別スペクトル値≧５％」となる画像が絞り込み対象となる。同様に、（ウ）に示すように、２回左クリックされた場合は、割合として第２段階（「２０％」）が指定されたものとして、「色別スペクトル値≧２０％」となる画像が絞り込み対象となる。さらに、（エ）に示すように、３回左クリックされた場合は、割合として第３段階（「５０％」）が指定されたものとして、「色別スペクトル値≧５０％」となる画像が絞り込み対象となる。なお、カラーアイコンＣＩにマウスを当てて４回左クリックされると、そのカラーアイコンＣＩの指定が解除となり、（ア）の第０段階に戻る。
　このように本変形例によれば、各色の割合まで指定できるため、より効率的な絞込みを実現できる。例えば「白地に青い文字が入っているアルバムアートワークＡＡＷ」といった抽象的なイメージから、「白を多く含み、且つ青を少し含む画像」を抽出するなど、ユーザーのイメージに合致する画像の抽出が可能である。
　なお、上記の例では、マウスを用いて割合指定を行ったが、キーボードやタッチパネル、その他の入力デバイスを用いて割合指定を行っても良い。例えば、十字キーの上下キーで色指定を行い、十字キーの左右キーで割合指定を行う方法や、タッチパネルで目的の色をタッチしたまま左右にスライドすることで割合指定を行う方法などが考えられる。また、各段階の閾値を、ユーザーが任意に設定可能としても良い。
　また、割合の指定は、必ずしも色ごとに行う必要はなく、複数色に対し一括して割合指定を行っても良い。つまり、複数色を指定し、割合の閾値を２０％と指定した場合は、複数色をそれぞれ２０％以上含む画像を抽出させることができる。
　また、上記の例では、各色について指定された割合以上含む画像を抽出対象としたが、割合の範囲を指定しても良い。この場合、第１の色を１割以上２割未満だけ含み、且つ第２の色を５割以上１０割未満だけ含む画像を抽出する、などの絞込みを行う。この場合も、数色に対し、一括して割合の範囲を指定可能である。
　また、本変形例では、複数色が指定されたときのみならず、１色のみ指定された場合にも適用可能である。つまりユーザーは、任意の１色について割合を指定し、指定した割合以上その「色」を含む画像、または指定した割合の範囲だけその「色」を含む画像を抽出させることが可能である。
　次に、図１８を参照し、「COLOR　COMBINATEボタン」選択時における色指定方法の他の変形例について説明する。上記の実施形態では、色指定領域Ｅ５ａにおいて、カラーアイコンＣＩにより色指定を行ったが、本変形例では、色指定領域Ｅ５ａにおけるユーザーインターフェースの構成が異なる。同図（ａ）に示すように、本変形例に係るユーザーインターフェースは、１６種類の色に対応する１６個のカラーマークＣＭが左右方向に並ぶ第１の画像群７１と、同じく１６個のカラーマークＣＭが上下方向に並ぶ第２の画像群７２と、から成る。但し、各画像群７１，７２において全てのカラーマークＣＭが目視可能に表示されている訳ではない。また、カラーマークＣＭは、中央部分においては正円形状となり、外側に向かって扁平円形状となるように、位置によってその形状が異なる。各画像群７１，７２は、それぞれの中央部分が重なるように十字状に配置され、独立してスクロール可能となっている。この場合、各画像群７１，７２内では、シームレスにスクロールを行い得ることが好ましい。また、各画像群７１，７２におけるカラーマークＣＭの配列は、カラーアイコンＣＩの配列と同様に、色相環にしたがった配列であることが好ましい。
　同図（ａ）に示すように、最初（元）の状態では、各画像群７１，７２の交差部分に、「赤」と「水色」のカラーマークＣＭが配置されている。同図（ａ）の状態から、例えば十字キーの右キーが１回押下されると、第１の画像群７１がカラーマークＣＭ１つ分だけ右側に移動し、交差部分に「ピンク」のカラーマークＣＭが位置する。また、同図（ｂ）の状態から、例えば十字キーの下キーが１回押下されると、第２の画像群７２がカラーマークＣＭ１つ分だけ下側に移動し、交差部分に「緑」のカラーマークＣＭが位置する。このようにして、２色の色指定（「ピンク」と「緑」）を行うことができる。
　本変形例によれば、第１の画像群７１および第２の画像群７２をスクロールする操作のみで、簡単に２つの色を指定することができる。例えば、その他の色指定方法として、「カーソルキーで色指定＋確定キーで選択」といった２回の操作を色ごとに行う方法が考えられるが、本変形例によれば、所望の色を交点に合わせるようにスクロール操作を行うだけで（色ごとに１回の操作で）色指定を行うことができる。
　なお、図１８の変形例において、第１の画像群７１および第２の画像群７２に含めるカラーマークＣＭの種類を異なる色としても良い。例えば、第１～第８の色に対応する８個のカラーマークＣＭを第１の画像群７１に含め、第９～第１６の色に対応する８個のカラーマークＣＭを第２の画像群７２に含める構成などが考えられる。
　次に、図１９を参照し、本発明を２つの装置で実現する場合の変形例について説明する。上記の実施形態では、ＰＣ１０のみで本発明を実現したが、本変形例では、ＰＣ１２０と、当該ＰＣ１２０に接続されたハードウェアのコントローラ１１０により実現する。つまり、本変形例に係る画像抽出システムＳＹは、コントローラ１１０（色指定装置）と、当該コントローラ１１０と通信可能に構成されたＰＣ１２０（画像抽出装置）と、から成る。コントローラ１１０は、図２に示したＰＣ１０の構成のうち、色指定手段５３を実現するためのものであり、各色に対応した複数個の自照ボタン１１１（ＬＥＤなど）が搭載されている。同図の例では、「赤」、「橙」、「黄」、「緑」、「青」の５個の自照ボタン１１１を搭載した場合を例示しているが、その数および色の種類は任意である。また、コントローラ１１０は、色指定手段５３の指定結果である指定情報をＰＣ１２０に出力する指定情報出力手段（図示省略）を備えている。
　一方、ＰＣ１２０は、図２に示したＰＣ１０の構成のうち、色情報取得手段５１、画像データベース生成手段５２、画像抽出手段５４および表示制御手段５５を実現する。また、コントローラ１１０の指定情報出力手段により出力された指定情報を取得する指定情報取得手段（図示省略）を備えている。これらの構成により、ＰＣ１２０は、コントローラ１１０による１以上の自照ボタン１１１の操作結果を、指定情報として取得し、操作された各自照ボタン１１１の各色に該当する画像を抽出して、その抽出結果を表示部１１に表示する。このように、本変形例によれば、コントローラ１１０を独立した装置として安価に構成した画像抽出システムＳＹを実現できる。
　なお、コントローラ１１０は、１のＰＣ１２０に対し複数台接続された構成でも良い。また、コントローラ１１０は、図示のように、自照ボタン１１１のみを備えた構成ではなく、ＤＪ機器のコントローラ（ジョグダイヤルなどが搭載されたＤＪパフォーマンス専用のコントローラ）上に自照ボタン１１１を搭載することによって実現しても良い。さらに、自照ボタン１１１を、物理的な操作子によって実現するのではなく、例えばタッチパネル上にカラーボタンを表示するなどソフトウェアによって実現しても良い。
　また、本変形例のように、色指定手段５３を独立した装置とする場合、コントローラ１１０からＰＣ１２０に送信する指定情報（１以上の自照ボタン１１１の操作結果）は、色ごとに送信しても良いが、複数色の組み合わせを示す情報として送信しても良い。この構成によれば、多くの色が指定された場合であっても、１回の情報送信で、画像抽出処理を行うことができる。
　以上説明したとおり、本実施形態によれば、ユーザー操作領域Ｅ４にて「COLOR　COMBINATEボタン」が選択された場合、複数の「色」を指定し、それらの色に該当する画像を抽出するため、単色の指定しかできない場合と比較して、より効率的な絞込みを行うことができる。また、複数の「色」をａｎｄ条件として指定できるため、よりピンポイントの絞込みが可能となり、画像数が多い場合でも、迅速に目的の画像を探し出すことができる。
　また、代表色として用意された１６種類の色を、操作画面Ｄ０上に表示し、その中から色指定を行うことができるため、色の名前が分からない場合や、色のイメージがはっきりしない場合にも、実際の色を確認して色指定を行うことができる。また、各色の割合を指定可能な変形例では、指定された各色の割合に該当する画像を抽出できるため、より効率的な絞込みが可能となる。
　なお、上記の実施形態では、色相環にしたがって抽出した代表色１６色の中から色指定を行うものとしたが、代表色の中に「透明色」を加えても良い。この場合、「透明色」は、カラーアイコンＣＩを、色指定領域Ｅ５ａと近い色、若しくは「灰色」等で表す。また、画像抽出手段５４は、「透明色」以外の色についてスペクトル値が所定割合以上の画像を抽出する。この構成によれば、色のイメージとして１色のみしか浮かばない場合でも、本発明の画像抽出方法を用いることができる。なお、「透明色」のみ指定された場合は、全く色指定が行われなかったものとして画像の絞込みを行わないこととなる。
　また、色指定手段５３により指定する「色」は、必ずしも代表色を指定するものに限定されなくても良い。例えば、加法混合の３色（赤、緑、青）や、減法混色の３色（シアン、マゼンタ、イエロー）などを指定色としても良い。つまり、上記の実施形態におけるカラーアイコンＣＩの表示色を、「赤」、「緑」、「青」等に変えても良い。またこの場合、色のイメージが容易であるため、敢えてカラーアイコンＣＩを表示せず、「赤」、「緑」、「青」の文字を表示して、それらの各文字を指定する構成としても良い。また、代表色は、ＨＬＳ色空間の３つの成分（色相、輝度、彩度）に基づいて規定されるものとしたが、ＨＳＶ色空間など他の表色系の成分に基づいて規定しても良い。つまり、図６に示した色の分類を他の色空間上で行っても良い。
　また、「色」として、「色要素」を指定しても良い。ここで「色要素」とは、「色の三属性」である色相、明度または輝度、彩度の他、加法混合の３色および減法混色の３色なども含む概念である。つまり、「色」として「彩度」と「赤」を指定し、彩度が所定値以上（色相・輝度は未指定）の色と色相が赤を示す所定範囲（彩度・輝度は未指定）の色を含む画像を抽出する、といった抽出を行っても良い。また、同指定に基づいて、彩度が所定値以上の赤色を含む画像を抽出する構成としても良い。
　また、用意された代表色から選択するのではなく、「色の三属性」に任意の値を指定する形態であっても良い。具体的な指定手段としては、キーボード等の入力装置によって直接数値を入力する他、ＲＧＢのスライダーや色相環と明度（輝度）・彩度マトリクスの組み合わせ等、一般的なペイント・フォトレタッチソフトで採用されている方法を用いても良い。
　また、上記の実施形態では、ユーザー操作領域Ｅ４にて「COLOR　COMBINATEボタン」が選択された場合、抽出結果表示領域Ｅ５ｂにおける画像の配列は、画像が登録された順序など、所定の順序に基づくものとしたが、「ARTWORKSボタン」が選択された場合のように、色要素にしたがった配列としても良い。また、ユーザーの操作により、所定の順序に基づく配列（ブラウザ領域Ｅ５の随所に空白領域Ｅ００が発生しない配列）と、色要素にしたがった配列とを切替可能としても良い。
　また、上記の実施形態では、色指定を行う際、１色ずつ複数回に分けて指定を行うものとしたが、同時に２色以上を指定しても良い（２以上のカラーアイコンＣＩを同時選択しても良い）。また、予め色の組み合わせを何パターンか用意しておき、いずれかのパターンを選択可能としても良い。例えば、ラスタカラーのパターンとトリコロールカラーのパターンを用意しておき、ラスタカラーのパターンが選択された場合は、「赤」、「黄」、「緑」をそれぞれ所定割合以上含む画像を抽出し、トリコロールカラーのパターンが選択された場合は、「赤」、「白」、「青」をそれぞれ所定割合以上含む画像を抽出する、などが考えられる。
　また、画像抽出手段５４は、複数色が指定された場合「指定色に該当する画像」として、各指定色をそれぞれ所定割合以上含む画像を抽出したが、複数の指定色のうち、いずれかの指定色を所定割合以上含む画像を抽出しても良い。つまり、抽出対象となる画像を、ａｎｄ条件ではなく、ｏｒ条件に基づいて決定しても良い。また、２以上の色を混合した色（例えば、「赤」と「黄」を指定したときの「橙」など）に基づいて特定する方法でも良い。さらに、「色」として「色要素」を指定し、２以上の色要素を混合した色（例えば、「輝度（所定値以上の輝度）」と「赤」を指定したときの、明るい「赤」など）に基づいて特定する方法でも良い。
　また、上記の実施形態に示したＰＣ１０の各機能をプログラムとして提供することも可能である。また、そのプログラムを各種記憶媒体（ＣＤ－ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターをＰＣ１０の各機能として機能させるためのプログラム、およびそれを記録した記憶媒体も、本発明の権利範囲に含まれるものである。
　また、上記の実施形態では、本発明をＰＣ１０（ファイルミュージックプレーヤ）に適用した場合を例示したが、楽曲以外のコンテンツ（映像コンテンツなど）を再生する再生装置や、検索装置にも適用可能である。具体的には、多数の楽曲ファイルを扱うＤＪ機器、多数の映像ファイルを扱うＶＪ機器、ポータブルオーディオプレーヤー、ＨＤＤコンポ、画像ビューアー（ＰＣ、デジタルカメラ、携帯端末上で動作するアプリケーションやブラウザプラグインなど）、多数の商品画像を表示する通信販売・ダウンロード販売サイト、などに本発明を適用可能である。
　また、ＰＣ１０の各機能を、ネットワークＮＷ上の機器（サーバー）によって実現しても良い。この場合、ネットワークＮＷ上の機器が、操作画面Ｄ０（ブラウザ領域Ｅ５）を表示するためのブラウザ（上記実施形態におけるファイルミュージックプレーヤの画面）を作成し、ネットワークＮＷ上の機器（サーバ）に接続されたユーザー端末に送信することになる。その場合、ユーザー端末には最低限、表示装置と操作装置があればよい。また、クラウドコンピューティングにも、本発明を適用可能である。また、サーバー、ＰＣ、ユーザー端末など、３つ以上の構成部材から成るシステム（通信システム）によって本発明を実現しても良い。この場合、最低限、ユーザー端末に、図１に示した構成のうち、操作部１２、表示画面（表示部１１）、サーバーおよび／またはＰＣと通信するための通信手段（通信部１４）を備えればよく、他の手段については、サーバー、ＰＣ、ユーザー端末のいずれか、またはそれぞれに分散して備えられれば良い。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
　１０…ＰＣ　１１…表示部　１２…操作部　１６…記憶部　２０…専用アプリケーション　５１…色情報取得手段　５２…画像データベース生成手段　５３…色指定手段　５４…画像抽出手段　５５…表示制御手段　６１…切り替えボタン　１１０…コントローラ　１１１…自照ボタン　ＡＷ…アートワーク　ＣＩ…カラーアイコン　ＣＭ…カラーマーク　Ｄ０…操作画面　Ｄ１…楽曲選択画面　Ｅ１…アートワーク表示領域　Ｅ２…再生情報表示領域　Ｅ３…ボタン群表示領域　Ｅ４…ユーザー操作領域　Ｅ５…ブラウザ領域　Ｅ５ａ…色指定領域　Ｅ５ｂ…抽出結果表示領域　Ｅ００…空白領域　Ｅ２１…カテゴリー選択領域　Ｅ２２…キーワード入力領域　Ｅ２３…キー選択領域　Ｅａ…プレーヤ部　Ｅｂ…ブラウザ部　ＳＹ…画像抽出システム

Claims (16)

  1. 　複数の画像について、その色情報を取得する色情報取得ステップと、
    　２以上の色を指定する色指定ステップと、
    　前記複数の画像の中から、指定された前記２以上の色に該当する画像を抽出する画像抽出ステップと、を備えたことを特徴とする画像抽出方法。
  2. 　前記色指定ステップは、前記２以上の色について、各色の割合を指定可能であり、
    　前記画像抽出ステップは、指定された前記２以上の色および各色の割合に該当する画像を抽出することを特徴とする請求項１に記載の画像抽出方法。
  3. 　前記色指定ステップは、Ｎ種類（但し、ＮはＮ≧３となる整数）の色の中から２以上の色を指定可能であり、
    　前記色情報は、前記画像に含まれる各画素が、前記Ｎ種類のうちどの色に該当するかを集計した色別のスペクトル値であり、
    　前記画像抽出ステップは、指定された前記２以上の色について前記スペクトル値が所定割合以上の画像を抽出することを特徴とする請求項１に記載の画像抽出方法。
  4. 　前記色指定ステップは、前記２以上の色を、１色ずつ指定可能であり、
    　前記画像抽出ステップは、前記色指定ステップによる指定ごとに抽出対象となる画像を徐々に絞り込んでいくことを特徴とする請求項１に記載の画像抽出方法。
  5. 　前記色指定ステップは、前記各色の割合として、割合の範囲を指定可能であり、
    　前記画像抽出ステップは、各色を指定された範囲の割合だけ含む画像を抽出することを特徴とする請求項２に記載の画像抽出方法。
  6. 　前記Ｎ種類の色には、透明色が含まれ、
    　前記画像抽出ステップは、指定された前記２以上の色に前記透明色が含まれる場合、当該透明色以外の色について前記スペクトル値が所定割合以上の画像を抽出することを特徴とする請求項３に記載の画像抽出方法。
  7. 　前記色指定ステップは、前記Ｎ種類の色に対応するＮ個の画像が第１の方向に並んだ第１の画像群と、前記Ｎ種類の色に対応するＮ個の画像が前記第１画像群と交差するように並んだ第２の画像群とを、それぞれスクロールさせ、その交点に位置する２つの色を指定することを特徴とする請求項３に記載の画像抽出方法。
  8. 　前記画像抽出ステップは、各色を指定された割合以上含む画像を抽出することを特徴とする請求項２に記載の画像抽出方法。
  9. 　前記画像抽出ステップは、前記２以上の色をそれぞれ所定割合以上含む画像を抽出することを特徴とする請求項１に記載の画像抽出方法。
  10. 　複数の画像について、その色情報を取得する色情報取得手段と、
    　２以上の色を指定した指定情報を取得する指定情報取得手段と、
    　前記複数の画像の中から、前記指定情報に基づく前記２以上の色に該当する画像を抽出する画像抽出手段と、を備えたことを特徴とする画像抽出装置。
  11. 　前記指定情報に基づく前記２以上の色、および前記画像抽出手段の抽出結果を表示画面に表示させる表示制御手段をさらに備えたことを特徴とする請求項１０に記載の画像抽出装置。
  12. 　請求項１０または１１に記載の画像抽出装置と、
    　前記２以上の色を指定する色指定手段、および前記色指定手段の指定結果である前記指定情報を前記画像抽出装置に出力する指定情報出力手段を備えた色指定装置と、から成ることを特徴とする画像抽出システム。
  13. 　複数の画像について、その色情報を取得する色情報取得手段と、
    　２以上の色を指定した指定情報を取得する指定情報取得手段と、
    　前記複数の画像の中から、前記指定情報に基づく前記２以上の色に該当する画像を抽出する画像抽出手段と、
    　前記画像抽出手段の抽出結果を出力する抽出結果出力手段と、を備えたことを特徴とするサーバー。
  14. 　請求項１３に記載のサーバーと接続されて用いられ、
    　前記２以上の色を指定する色指定手段と、
    　前記色指定手段の指定結果である前記指定情報を前記サーバーに出力する指定情報出力手段と、
    　前記サーバーから出力された抽出結果を表示する表示画面と、を備えたことを特徴とするユーザー端末。
  15. 　請求項１３に記載のサーバーと、
    　前記サーバーと接続されて用いられ、前記２以上の色を指定する色指定手段、前記色指定手段の指定結果である前記指定情報を前記サーバーに出力する指定情報出力手段、および前記サーバーから出力された抽出結果を表示する表示画面を備えたユーザー端末と、が通信可能に構成されていることを特徴とする通信システム。
  16. 　コンピューターに、請求項１ないし９のいずれか１項に記載の画像抽出方法における各ステップを実行させるためのプログラム。
PCT/JP2011/003897 2011-07-07 2011-07-07 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム WO2013005262A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/003897 WO2013005262A1 (ja) 2011-07-07 2011-07-07 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/003897 WO2013005262A1 (ja) 2011-07-07 2011-07-07 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム

Publications (1)

Publication Number Publication Date
WO2013005262A1 true WO2013005262A1 (ja) 2013-01-10

Family

ID=47436638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003897 WO2013005262A1 (ja) 2011-07-07 2011-07-07 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム

Country Status (1)

Country Link
WO (1) WO2013005262A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050354A1 (ja) * 2018-09-05 2020-03-12 日本電気株式会社 画像検索システム、画像検索方法、およびプログラム
CN113379583A (zh) * 2021-05-31 2021-09-10 北京达佳互联信息技术有限公司 图像签名方法、装置、计算设备及存储介质
WO2022249491A1 (ja) * 2021-05-28 2022-12-01 日本電気株式会社 色判定装置、色判定方法及び非一時的なコンピュータ可読媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090239A (ja) * 1998-09-10 2000-03-31 Matsushita Electric Ind Co Ltd 画像検索装置
JP2007310610A (ja) * 2006-05-18 2007-11-29 Hitachi Software Eng Co Ltd 衛星画像処理システム
WO2011045920A1 (ja) * 2009-10-16 2011-04-21 日本電気株式会社 色彩解析装置、色彩解析方法、及び色彩解析プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090239A (ja) * 1998-09-10 2000-03-31 Matsushita Electric Ind Co Ltd 画像検索装置
JP2007310610A (ja) * 2006-05-18 2007-11-29 Hitachi Software Eng Co Ltd 衛星画像処理システム
WO2011045920A1 (ja) * 2009-10-16 2011-04-21 日本電気株式会社 色彩解析装置、色彩解析方法、及び色彩解析プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050354A1 (ja) * 2018-09-05 2020-03-12 日本電気株式会社 画像検索システム、画像検索方法、およびプログラム
US20210342390A1 (en) * 2018-09-05 2021-11-04 Nec Corporation Image search system, image search method, and program
JPWO2020050354A1 (ja) * 2018-09-05 2021-11-18 日本電気株式会社 画像検索システム、画像検索方法、およびプログラム
JP7264171B2 (ja) 2018-09-05 2023-04-25 日本電気株式会社 画像検索システム、画像検索方法、およびプログラム
US11989227B2 (en) 2018-09-05 2024-05-21 Nec Corporation Image search system, image search method, and program
WO2022249491A1 (ja) * 2021-05-28 2022-12-01 日本電気株式会社 色判定装置、色判定方法及び非一時的なコンピュータ可読媒体
CN113379583A (zh) * 2021-05-31 2021-09-10 北京达佳互联信息技术有限公司 图像签名方法、装置、计算设备及存储介质

Similar Documents

Publication Publication Date Title
US10417278B2 (en) Systems and methods to facilitate media search
US7650570B2 (en) Methods and apparatus for visualizing a music library
US8255428B2 (en) Graphical representation of assets stored on a portable media device
JP4683290B2 (ja) 表示装置、表示方法、表示プログラム
US9678625B2 (en) Multimedia player and menu screen display method
US8462175B2 (en) Image processing apparatus, image processing method, and computer program
EP2136305B1 (en) Information processing apparatus, information processing method and information processing program
US20090177301A1 (en) Scalable system and method for an integrated digital media catalog, management and reproduction system
JP2006039704A (ja) プレイリスト生成装置
KR100714727B1 (ko) 메타 데이터를 이용한 미디어 컨텐츠의 탐색 장치 및 방법
EP1784712A2 (en) Common user interface for accessing media
CN101073048A (zh) 内容管理接口
JP5050460B2 (ja) インタフェース装置、インタフェースプログラム、及びインタフェース方法
US20200341718A1 (en) Control system for audio production
Knees et al. Searching for audio by sketching mental images of sound: A brave new idea for audio retrieval in creative music production
WO2013005262A1 (ja) 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム
JP2002183152A (ja) 音楽検索装置及び方法並びに音楽検索用ソフトウェアを記録した記録媒体
JP2001175380A (ja) 情報インデックス表示方法とその装置
WO2013144993A1 (ja) 表示方法、選曲方法、表示装置、音響装置およびプログラム
JP5706960B2 (ja) 画像配置方法、ブラウズ方法、表示制御装置、サーバー、通信システム、画像配置システムおよびプログラム
JP6275504B2 (ja) 検索装置、検索装置の制御方法およびプログラム
WO2012117443A1 (ja) 対象物配置方法、ブラウズ方法、表示制御装置、サーバー、ユーザー端末、通信システム、対象物配置システムおよびプログラム
Soriano et al. Visualization of music collections based on structural content similarity
JP6223120B2 (ja) 楽曲検索装置および楽曲検索システム
US20140068474A1 (en) Content selection apparatus, content selection method, and computer readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11869160

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11869160

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP