WO2018100694A1 - 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム - Google Patents

画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム Download PDF

Info

Publication number
WO2018100694A1
WO2018100694A1 PCT/JP2016/085611 JP2016085611W WO2018100694A1 WO 2018100694 A1 WO2018100694 A1 WO 2018100694A1 JP 2016085611 W JP2016085611 W JP 2016085611W WO 2018100694 A1 WO2018100694 A1 WO 2018100694A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
fabric
histogram
pixel
Prior art date
Application number
PCT/JP2016/085611
Other languages
English (en)
French (fr)
Inventor
永男 蔡
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to JP2018515910A priority Critical patent/JP6342106B1/ja
Priority to PCT/JP2016/085611 priority patent/WO2018100694A1/ja
Priority to US16/348,541 priority patent/US10867378B2/en
Publication of WO2018100694A1 publication Critical patent/WO2018100694A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, a server, and a computer program.
  • Attribute information such as generation date / time, location, and camera parameters is generally added to images. At that time, subject information is extracted and added by image processing (see Patent Document 1).
  • An image processing apparatus corresponding to one of the embodiments of the invention for solving the above-described problem is An acquisition unit that acquires an image that is a processing target image including an image of clothes and includes hue, saturation, and brightness components; A difference between the processing target image and a plurality of shift images obtained by shifting the processing target image by at least one pixel or more in a predetermined direction in a unit of one pixel, and a plurality corresponding to the number of shifted pixels Difference calculation means for generating a difference image of Histogram generation means for generating a histogram of difference pixel values for each of the hue, saturation, and brightness components of the difference image; Determination means for determining fabric of the garment based on the characteristics of the histogram.
  • the flowchart which shows an example of the flow of the fabric determination process corresponding to embodiment of invention.
  • the block diagram which shows an example of the hardware constitutions of the client 501 corresponding to embodiment of invention.
  • the flowchart which shows another example of the flow of a fabric determination process corresponding to embodiment of invention.
  • the image processing apparatus corresponding to the first embodiment can be configured as a personal computer, for example. When configured as a personal computer, a process of analyzing an input image and determining a fabric of clothes included in the image is executed.
  • the image processing apparatus may be configured as an apparatus having an imaging function. In that case, the image processing apparatus can be configured as, for example, a digital camera, a digital video camera, a smartphone, or a tablet terminal. Moreover, you may comprise as a notebook personal computer with a camera.
  • FIG. 1 shows an example in which the image processing apparatus 10 is configured as a personal computer. Although omitted in FIG. 1, when the image processing apparatus 10 is configured as a digital camera or the like, it may be configured to include an imaging function for inputting an image, for example, an imaging sensor unit.
  • a CPU 100 includes application programs (including application programs for executing image processing corresponding to the present embodiment) stored in a hard disk device (hereinafter referred to as HD) 105, an operating system (OS), A control program or the like is executed, and control for temporarily storing information, files and the like necessary for executing the program in the RAM 102 is performed. Controls data transmission / reception with an external device via the interface 108, analyzes and processes data received from the external device, and generates data (including processing requests and data requests) to be transmitted to the external device. .
  • application programs including application programs for executing image processing corresponding to the present embodiment
  • HD hard disk device
  • OS operating system
  • a control program or the like is executed, and control for temporarily storing information, files and the like necessary for executing the program in the RAM 102 is performed. Controls data transmission / reception with an external device via the interface 108, analyzes and processes data received from the external device, and generates data (including processing requests and data requests) to be transmitted to the external device. .
  • the ROM 101 stores various data such as a basic I / O program and an application program for executing image processing corresponding to the present embodiment.
  • the RAM 102 temporarily stores various data and functions as a main memory, work area, and the like of the CPU 100.
  • the external storage drive 103 is an external storage drive for realizing access to the recording medium, and can load a program or the like stored in the medium (recording medium) 104 into the computer system.
  • the medium 104 is, for example, a floppy (registered trademark) disk (FD), CD-ROM, CD-R, CD-RW, PC card, DVD, Blu-ray (registered trademark), IC memory card, MO, memory, etc.
  • FD floppy (registered trademark) disk
  • CD-ROM compact disc-read only memory
  • CD-R compact disc
  • CD-RW Compact Disc
  • PC card digital versatile disc
  • DVD digital versatile disc
  • Blu-ray registered trademark
  • the external storage device 105 uses an HD (hard disk) that functions as a large-capacity memory.
  • the HD 105 stores application programs, OS, control programs, related programs, and the like.
  • a nonvolatile storage device such as a flash (registered trademark) memory may be used instead of the hard disk.
  • the instruction input device 106 corresponds to a keyboard, a pointing device (such as a mouse), a touch panel, or the like.
  • the output device 107 outputs a command input from the instruction input device 106, a response output of the image processing apparatus 10 in response thereto, and the like.
  • the output device 107 includes a display, a speaker, a headphone terminal, and the like.
  • a system bus 109 manages the flow of data in the image processing apparatus.
  • the interface (hereinafter referred to as I / F) 108 plays a role as a transmission device, a reception device, or a communication device that mediates exchange of data with an external device.
  • the I / F 108 can include a wireless communication module, which includes an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset.
  • Well-known circuitry including a subscriber identity module card, memory, and the like.
  • a wired communication module for wired connection can be included.
  • the wired communication module enables communication with other devices via one or more external ports. It can also include various software components that process the data.
  • the external port is coupled to another device directly via Ethernet, USB, IEEE1394, or indirectly via a network.
  • it can also be comprised as an alternative of a hardware apparatus with the software which implement
  • the database 110 is connected to the system bus 109 and stores and manages predetermined data under the control of the CPU 100.
  • the predetermined data includes a processed image associated with the fabric determination result.
  • the program may be loaded from the HD 105 in which the program is already installed into the RAM 102. It is also possible to record the program according to the present embodiment in the ROM 101, configure it as a part of the memory map, and execute it directly by the CPU 100. Furthermore, the corresponding program and related data can be directly loaded from the medium 104 into the RAM 102 and executed.
  • a process of determining a fabric of clothes (also referred to as a fabric, a woven fabric, or a cloth) in the image is performed from the image to be processed.
  • a fabric is specified based on a combination of a material and a weave. More specifically, fabric refers to materials such as cotton, wool, silk, polyester, nylon, and other synthetic fibers (for example, plain weave, twill weave, It is generated by Shukuori etc. Different fabrics are generated depending on the material used for each weave.
  • Plain weaving is a weaving method in which warp yarns and weft yarns are interwoven while weaving up and down alternately one by one.
  • the fold pattern is symmetrical.
  • Oxford and Broad used in shirts are made of this plain weave.
  • twill weave is widely used as a weaving method for denim fabric, but there are also gabardine, flannel, surge, dungary, tweed and the like.
  • Twill weave has a method called Three Aya and a method called Four Aya. In any of the weaving methods, the point that the warp floats appears as a diagonal line on the surface of the fabric.
  • a satin weave is a weaving method that uses 5 or more warps and wefts.
  • the weaving is configured by repeating a specific pattern, so that a pattern according to the weaving regularly appears on the surface of the fabric. The pattern changes depending on the type of weaving and the material used (material thickness), that is, the fabric.
  • changing the fabric used in clothes corresponds to changing the state of the object surface on which incident light is reflected, and different fabrics are equivalent to different light reflection conditions.
  • the difference in reflection conditions is reflected in the generated image. Therefore, in this embodiment, paying attention to the difference in the reflection conditions depending on the fabric, a fabric determination method based on the image characteristics of each fabric is established. By applying the method, it is possible to specify the fabric of clothes included in the image.
  • FIG. 2 is a flowchart of processing corresponding to this embodiment.
  • the processing corresponding to the flowchart can be realized, for example, by the CPU 100 executing a corresponding program (stored in the ROM 101, the HD 105, or the like) and controlling the operation of each functional block.
  • the CPU 100 acquires an image to be processed.
  • the image may be an image stored in the media 104 or the HD 105, or when the image processing apparatus 10 includes an image sensor unit, an image captured and generated by the image sensor unit may be input. good.
  • the image is an RGB image composed of pixel values in the RGB color space.
  • the resolution of the image acquired in S201 is not particularly limited. Also, the shooting conditions of the images need not be images taken in such a way that the texture of the clothes can be clearly seen by taking a close-up of the cloth of the clothes. For example, it may be an image taken so that the whole body, the upper body, or the lower body is within the angle of view while the model is wearing clothes.
  • the CPU 100 extracts a target region for which the fabric should be determined from the acquired processing target image.
  • Extraction of the determination target area may be performed based on, for example, the shape of clothes, may be performed by specifying a clothes area based on difference information from a predetermined background, or the user of the image processing apparatus 10 May be performed by designating a determination target region. In that case, the outline of the entire clothing may be designated, or a partial area of the clothing may be designated. Since the extraction process of the determination target area itself can use a known technique such as a segmentation technique, a more detailed description is omitted.
  • the area to be processed does not have to be the entire cloth constituting the clothes, and may be a part of the cloth. In general, since a predetermined cloth is used continuously for clothing, a specific weaving pattern is regularly repeated. Therefore, only a part, not all, can be processed.
  • the CPU 100 converts the pixel value constituting the determination target area extracted in S202 from the RGB color space to the pixel value of the HSV color space.
  • HSV is represented by hue (Hue), saturation (Saturation), and lightness (Value).
  • the conversion from RGB to HSV can be executed by a known conversion method.
  • FIG. 4A is a schematic diagram of the HSV space.
  • H represents a difference in color.
  • S saturated
  • V brightness
  • S saturated
  • V brightness
  • the CPU 100 determines differences in pixel values between images when the HSV image converted into the HSV color space in S203 is shifted (shifted) by a predetermined number of pixels in a predetermined direction.
  • a difference image is generated by calculating each of the values, and a histogram (a graph representing the frequency of each difference value in one image) of the pixel value (difference pixel value or difference value) of the difference image is generated.
  • the predetermined direction is shifted by one pixel, two pixels, three pixels, four pixels, and five pixels in two directions of the X-axis direction (horizontal direction) and the Y-axis direction (vertical direction).
  • the shifting direction and the number of pixels are not limited to this combination. For example, it may be shifted in an oblique direction.
  • the shift amount is adjusted in units of one pixel.
  • the unit shift amount may be a number of pixels larger than one pixel.
  • FIG. 3A shows a state where pixels are shifted in the X-axis direction (lateral direction) of the image.
  • a case where the pixel is shifted by one pixel and a case where the pixel is shifted by five pixels are shown.
  • the ratio of the size of one pixel to the size of the image is large, but this is for explanation, and the ratio of the width of one pixel to the entire image is shown in the figure. Smaller than that.
  • the case of shifting by 2 pixels, 3 pixels, and 4 pixels is omitted, in these cases as well, it is only necessary to shift by the number of pixels corresponding to the X-axis direction.
  • FIG. 3B shows a state in which pixels are shifted in the Y-axis direction (vertical direction) of the image.
  • a case where the pixel is shifted by one pixel and a case where the pixel is shifted by five pixels are shown.
  • the ratio of the size of one pixel to the size of the image is large, but for the sake of explanation, the ratio of the width of one pixel to the entire image is larger than that shown in the figure. It can be small.
  • the case of shifting by 2 pixels, 3 pixels, and 4 pixels is omitted, in these cases as well, it is only necessary to shift by the number of pixels corresponding to the Y-axis direction.
  • the difference between the pixels located at the same pixel address between the original image and the shifted image after shifting the original image by a predetermined number of pixels is calculated for each of the H, S, and V components. To do.
  • H n, m represents the pixel value of the nth component on the X axis and the mth component on the Y axis
  • S n, m and V n, m represent the S component and V at each position, respectively. It shall represent the pixel value of the component.
  • the initial values of n and m are each 1, and the origin position is the upper left of the image.
  • the difference of S (saturation) component pixels when shifting from 1 pixel to 5 pixels in the X-axis direction can be obtained as follows.
  • SD ⁇ Xp (n, m) represents the difference pixel value of the S component at the pixel address position (n, m) when shifted by p pixels in the X-axis direction.
  • p takes any value from 1 to 5
  • n and m have an initial value of 1
  • the maximum value corresponds to the maximum number of pixels in each row and column of pixels.
  • Each difference pixel value is calculated for all possible values of n and m.
  • S D-X1 (n, m) (S n, m ⁇ S n + 1, m )
  • S D ⁇ X2 (n, m) (S n, m ⁇ S n + 2, m )
  • S D ⁇ X3 (n, m) (S n, m ⁇ S n + 3, m )
  • S D-X4 (n, m ) (S n, m -S n + 4, m)
  • S D ⁇ X5 (n, m) (S n, m ⁇ S n + 5, m )
  • the difference pixel value of the S component pixel when shifting from 1 pixel to 5 pixels in the Y-axis direction can be obtained as follows.
  • SD ⁇ Yp (n, m) represents the difference pixel value of the S component at the pixel address position (n, m) when shifted by p pixels in the Y-axis direction.
  • p takes any value from 1 to 5
  • n and m have an initial value of 1
  • the maximum value corresponds to the maximum number of pixels in each row and column of pixels.
  • Each difference pixel value is calculated for all possible values of n and m.
  • S D-Y1 (n, m) (S n, m ⁇ S n, m + 1 )
  • S D ⁇ Y2 (n, m) (S n, m ⁇ S n, m + 2 )
  • S D-Y3 (n, m ) (S n, m -S n, m + 3)
  • S D ⁇ Y4 (n, m) (S n, m ⁇ S n, m + 4 )
  • S D-Y5 (n, m) (S n, m ⁇ S n, m + 5 )
  • the difference pixel value S D ⁇ Xp (n, m) and S D ⁇ Yp (n, m) are either 0 to 255.
  • the value of can be taken.
  • the histogram the number of appearances (frequency) of difference pixel values from 0 to 255 is obtained.
  • a histogram can be generated based on the difference pixel value for each shifted number of pixels.
  • An example of the histogram obtained at this time is as shown in FIG. 4B.
  • FIG. 4B shows a histogram obtained when one pixel is shifted in the X-axis direction, but a similar histogram is obtained according to the amount of pixel shift in each axial direction.
  • the horizontal axis indicates the difference pixel value, and takes 0 to 255 as described above. The side close to the origin is 0.
  • the vertical axis indicates the frequency of each difference pixel value.
  • the difference pixel value is biased to 0 side.
  • the difference in the histogram appears by changing the number of pixels to be shifted. come.
  • the method of changing the histogram according to the amount of deviation also has a method of changing corresponding to the characteristics of the fabric. In this embodiment, they are analyzed by a statistical method (for example, logistic regression analysis) to generate a determination table.
  • FIG. 5 shows a conceptual diagram of the judgment table.
  • FIG. 5 shows a classification result when a skirt is a fabric determination target.
  • a histogram is generated for each color component of HSV as described above, and images having similar histogram characteristics are grouped.
  • wool it can be classified into two categories: wool (coarse) and wool (fine).
  • the subgroups may be assigned to independent classifications, but they can be combined into one classification.
  • denim is sub-grouped into a plain type and a pattern with a different hue, but these are grouped into one category as denim.
  • images having similar or common feature amounts based on the histogram are grouped into groups and associated with the fabrics corresponding to the groups.
  • the feature amount based on the histogram associated with the fabric is, for example, the range that each component of the HSV can take for the fabric, the ratio of the frequency of each component of the HSV when the deviation amount is different, and the other, the histogram Values obtained by any method for defining the predetermined range can be included.
  • the fabric of the clothes included in the image to be determined is determined by determining which class the histogram belongs to based on the feature amount obtained from the histogram. Can be specified.
  • the CPU 100 compares the histogram with the feature quantity assigned to each fabric in the determination table stored in the database 110. Then, the fabric of the clothes included in the processing target image is determined based on which fabric the calculated histogram has the corresponding feature amount.
  • the determination result is compared with the actual fabric. Validity can be verified.
  • the actual fabric may be input in advance and associated with the image to be processed, or may be newly received at the determination timing in S206.
  • the input can be performed by displaying a display corresponding to the determination result on the display of the output device 107 and correcting the display result. If the determination result is valid, the display content on the display can be approved.
  • the CPU 100 updates the contents of the determination table in the database 110 based on the validity verification result. For example, if it is determined that the wool is wool in S205, but it is actually cotton, the contents of the determination table can be modified so that the set of histograms obtained in S204 is classified as cotton.
  • processing of S206 and S207 may be omitted depending on the embodiment. For example, when the user determines the fabric of clothes photographed using a smartphone, these steps may be omitted.
  • an image processing method for specifying a fabric of clothes included in an image based on a histogram of differences between images of H, S, and V color components obtained from a processing target image. can be provided.
  • the difference between the images is calculated by shifting the image in a predetermined direction in units of a predetermined pixel, and only the determination is performed based on the appearance frequency of the difference pixel value. High-load calculations are not necessary.
  • the image processing method corresponding to the present embodiment is executed on the apparatus, so that the fabric of the clothes can be obtained. Can be identified.
  • the information in the determination table necessary for the processing corresponding to the present embodiment is information related to a predetermined histogram range for specifying the fabric, an enormous amount of data is not required. Therefore, even when the present invention is implemented in a user terminal with a limited storage capacity, the burden on the storage capacity due to holding the determination table can be reduced.
  • Information on fabrics is generally registered at the time of product registration on an online shopping site, but input may be omitted.
  • products of a plurality of different fabrics of the same type there are cases where an image corresponding to each fabric is provided, but the fabric itself is not associated.
  • the texture differs depending on the weaving method, but there are cases where the input is simply wool regardless of the weaving method.
  • the criteria for fabric classification differ depending on the registrant, there may be variations in classification within the online shopping site. In such a case, even if the user searches for the product based on the fabric, the desired product cannot be smoothly reached, and the user accesses multiple pages or searches multiple times before finding the product. As a result, traffic may increase and the load on the online shopping site server may increase.
  • the fabric determination process of the present embodiment is executed, so that the fabric is determined by a unified image processing method at the time of registering the product, and the server is associated with the image. Can be registered.
  • FIG. 6A is a block diagram showing an example of the overall system configuration corresponding to the present embodiment when the system is constructed as an online shopping site.
  • the system is configured by connecting user terminals and servers to a network.
  • the server manages an online shopping site and manages store and customer user information in addition to image information of products sold on the site.
  • Clients 501a, 501b, and 501c are user terminals that can be serviced by the server after being operated by the user and receiving user authentication by the server. is there.
  • the service is mainly a store opening at an online shopping site, and more specifically includes a fabric specific service related to a clothing image at the time of registration of a product sold at the store.
  • the server 503 is a device that authenticates the user of the client 501 and provides the service to the client 501 used by the authenticated user.
  • the client 501 and the server 503 are each connected to the network 502 and can communicate with each other.
  • the network 502 can be constructed as, for example, the Internet, a local area network (LAN), or a wide area network (WAN).
  • the Internet is a network in which networks all over the world are connected to each other.
  • the network 502 may be a network that can be connected only within a specific organization, such as an intranet.
  • a user information database 504 and a content database 505 are connected to the server 503.
  • the client 501 can use a service provided by the server 503 by a user operation.
  • the service includes provision of image processing for specifying the fabric of clothes included in the photographed image.
  • the client 501 is a user terminal, an information processing apparatus, or a communication apparatus, and includes, for example, a notebook personal computer, a desktop personal computer, a portable information terminal, a mobile phone, a smartphone, a tablet terminal, and the like.
  • the client 501 is equipped with a camera for photographing a subject and generating an image.
  • the client 501 is connected to the network 502 by wireless data communication means such as wireless LAN and LTE.
  • the network 502 may be further configured to be accessible by a LAN including a network cable such as Ethernet (registered trademark).
  • the server 503 manages the user information database 504, holds registration information of each user of the client 501, and when each user wants to receive service provision, the server 503 has authority to receive the service provision. Whether or not it has can be determined.
  • the server 503 may also manage data stored in the content database 505 and update the data based on transmission information from the client 501.
  • the server 503 is connected to the user information database 504 and the content database 505 via a LAN, for example.
  • the user information database 504 and the content database 505 are information processing apparatuses in which predetermined database software is installed, and manage various data.
  • the user information database 504 manages registration information for each user. Specifically, a user identifier (user ID) for uniquely identifying a user, user registration information for determining whether or not the user is a registered user (for example, a set of a user name and a password, etc.) are stored in association with each other. To do.
  • a user identifier for uniquely identifying a user
  • user registration information for determining whether or not the user is a registered user (for example, a set of a user name and a password, etc.) are stored in association with each other. To do.
  • the content database 505 stores and manages content data provided from the server 503 to the client 501. Also, the content uploaded by the client 501 is stored and managed.
  • the content data includes data such as text, images, moving images, and sounds.
  • the image includes an image in which the fabric is determined by the fabric determination process corresponding to the present embodiment. The image stores fabric information in association with each other. These content data are assigned content IDs for uniquely identifying the content data.
  • the server 503, the user information database 504, and the content database 505 are described as being realized by physically independent information processing apparatuses, but embodiments of the present invention are not limited thereto. It is not limited. For example, these may be realized by a single information processing apparatus.
  • each device such as the server 503 may be configured redundantly or distributedly by a plurality of information processing devices.
  • the user information database 504 is described as being connected to the server 503 via a LAN or the like. However, for example, the user information database 504 may be configured to be able to communicate with the server 503 via the network 502 or an intranet (not shown). The same applies to the relationship between the server 503 and the content database 505. Further, user information managed by the user information database 504 and content-related data managed by the content database 505 may be managed integrally.
  • FIG. 6B is a block diagram illustrating an example of a hardware configuration of the client 501.
  • the user information database 504 and the content database 505 as the information processing apparatus described above may also be configured with the same or equivalent hardware configuration.
  • the functions and applications of the CPU 600, ROM 601, RAM 602, external storage drive 603, media 604, HD 605, instruction input device 606, output device 607, I / F 608, system bus 609, and their relationship are shown in FIG. It is the same as or equivalent to that described for the element having the same name.
  • the client 501 can further include a camera 610 in addition to the configuration of FIG.
  • the camera 610 can include a photographing optical system, an image sensor (such as a CMOS sensor), an A / D converter, and the like.
  • An image signal output from the camera 610 may be stored in the RAM 602, converted into, for example, a JPEG image by compression / encoding processing by the CPU 600, and stored in the media 604 or HD 605.
  • the database 110 corresponds to the user information database 504 and the content database 505.
  • the server 503 transmits a product image registration web page.
  • the client 501 displays the received web page on the display of the output device 507.
  • the user of the client 501 takes a photograph of the clothes to be registered according to the instructions on the displayed web page, transmits the photograph to the server 503, and acquires fabric information as a result of the determination process executed on the server 503 side. .
  • the photographed clothing image and the fabric information can be associated with each other and uploaded to the server 503.
  • FIG. 7 shows an example of a flowchart of the processing executed between the client 501 and the server 503.
  • the processing corresponding to the flowchart can be realized by, for example, executing the program corresponding to each CPU of the client 501 and the server 503 and controlling the operation of each functional block.
  • step S ⁇ b> 701 the CPU 600 of the client 501 transmits a product registration request corresponding to an operation from the user via the instruction input device 606 to the server 503 via the interface 608.
  • step S ⁇ b> 702 the CPU 100 of the server 503 detects that the product registration request transmitted from the client 501 has been received.
  • step S ⁇ b> 703 the CPU 100 on the server 503 side controls the interface 108 and transmits the image registration web page information to the client 501.
  • the web page includes information for uploading a photograph taken to the server.
  • step S ⁇ b> 704 when the client 501 receives a web page for image registration via the interface 608, the CPU 600 displays the web page on the display of the output device 607.
  • the client 501 captures a subject (for example, clothes worn by the model) with the camera 610 in accordance with an operation from the user via the instruction input device 606, and generates an image.
  • the CPU 600 displays the image captured in S705 on the display, accepts designation of the fabric determination target region from the user via the instruction input device 606, and extracts the designated region from the captured image. For example, when the garment that the user desires to determine the fabric is a skirt, an input that specifies the contour of the skirt or a part of the skirt can be accepted.
  • CPU 600 transmits the image of the area extracted in S 706 to server 503 via interface 608.
  • the entire image generated in S703 may be transmitted to the server 503 instead of the image of the area. In that case, information specifying the area can be attached to the transmission image and transmitted.
  • the CPU 100 of the server 503 receives the image transmitted by the client 501 in S707 via the interface 108.
  • the fabric determination process is executed for the image received by the CPU 100.
  • the CPU 100 executes processing corresponding to S203 to S205 in FIG.
  • the CPU 100 transmits the fabric determination result to the client 501 via the interface 108 in S710.
  • the CPU 600 of the client 501 receives the fabric determination result transmitted from the server 503 in S710 via the interface 608.
  • the CPU 600 controls the interface 608 to upload the fabric determination result received in S711 to the server 503 in association with the image captured in S705.
  • the CPU 100 of the server 503 receives the image uploaded from the client 501 in S712 via the interface 108 and registers it in the content database 505.
  • the processing in S712 can be performed not by transmitting an image but by transmitting an image registration request based on the determination result of the transmitted fabric.
  • the client 501 since both the registration target image and the fabric determination result are on the server 503 side, the client 501 only needs to transmit a request for registration in association with each other.
  • the fabric information can be specified and associated and registered in advance.
  • registration can be performed after specifying a fabric.
  • the processing can be completed only by the image, and the burden on the user can be reduced. it can.
  • the fabric determination processing corresponding to this embodiment has a low calculation load, there is an advantage that the processing load on the server side does not increase even when the determination is performed on the server 503 side.
  • the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the spirit and scope of the present invention. Therefore, in order to make the scope of the present invention public, the following claims are attached.
  • the information processing apparatus according to the present invention can also be realized by a computer program that causes one or more computers to function as the information processing apparatus.
  • the computer program can be provided / distributed by being recorded on a computer-readable recording medium or through a telecommunication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

演算負荷をかけずに、衣服の画像から当該衣服のファブリックを特定する技術を提供する。画像処理装置であって、衣服の画像を含む処理対象画像であって、色相、彩度、明度の各成分で構成される画像を取得する取得手段と、前記処理対象画像と、該処理対象画像を、所定方向に少なくとも１画素以上、１画素単位にシフトさせて得られる複数のシフト画像との差分を算出して、シフトさせた画素数に対応する複数の差分画像を生成する差分算出手段と、前記差分画像の前記色相、彩度、明度の各成分について差分画素値のヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラムの特徴に基づき、前記衣服のファブリックを判定する判定手段とを備える。

Description

画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム
　本願発明は、画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラムに関する。
　画像に対し、生成日時、場所、カメラパラメータ等の属性情報を付加することが一般的に行なわれている。その際、被写体情報を画像処理により抽出し付加することも行なわれている（特許文献１を参照）。
特開２０１６－１７１４９９号公報
　しかし、画像中に含まれる衣服のファブリックを特定し、画像と関連づける技術はこれまで提供されていなかった。
　この点につき、商品として衣服を扱うオンラインショッピングサイトでは、商品画像と共に商品情報が不可欠であるが、扱われる商品数は膨大であり、全ての商品に対し正確な情報が入力されているとは限らない。特に、衣服のファブリックは画像からでは判断がつき難く、商品毎に正確な入力が求められる。
　そこで、衣服の画像から、当該衣服のファブリックを特定するための技術が求められている。また、その際にファブリックの特定のための演算負荷はできるだけ軽くすることが求められる。
　上記課題を解決するための発明の実施形態の一つに対応する画像処理装置は、
　衣服の画像を含む処理対象画像であって、色相、彩度、明度の各成分で構成される画像を取得する取得手段と、
　前記処理対象画像と、該処理対象画像を、所定方向に少なくとも１画素以上、１画素単位にシフトさせて得られる複数のシフト画像との差分を算出して、シフトさせた画素数に対応する複数の差分画像を生成する差分算出手段と、
　前記差分画像の前記色相、彩度、明度の各成分について差分画素値のヒストグラムを生成するヒストグラム生成手段と、
　前記ヒストグラムの特徴に基づき、前記衣服のファブリックを判定する判定手段とを備える。
　本発明によれば、演算負荷をかけずに、衣服の画像から当該衣服のファブリックを特定する技術を提供することができる。
発明の実施形態に対応する、画像処理装置の構成例を示す図。 発明の実施形態に対応する、ファブリック判定処理の流れの一例を示すフローチャート。 発明の実施形態に対応する、ファブリック判定処理を説明するための概念図。 発明の実施形態に対応する、ファブリック判定処理を説明するための概念図。 発明の実施形態に対応する、ヒストグラムの概念を説明するための図。 発明の実施形態に対応する、ヒストグラムの概念を説明するための図。 発明の実施形態に対応する、ファブリック判定処理における判定テーブルを説明するための概念図。 発明の実施形態に対応する、クライアント・サーバ・システム全体の構成例を示す図。 発明の実施形態に対応する、クライアント５０１のハードウェア構成の一例を示すブロック図。 発明の実施形態に対応する、ファブリック判定処理の流れの他の一例を示すフローチャート。
　以下、図面を用いて、本願発明に係る実施形態について説明する。なお、以下に示す実施形態は一例であり、これに限定するものではない。そのため、本願発明の特徴的構成を適用できれば他の構成であってもよい。
　［実施形態１］
　以下に、添付する図面を参照して本発明の第１の実施形態を説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
　＜画像処理装置の構成＞
　実施形態１に対応する画像処理装置の概略について説明する。実施形態１では、単体装置において本実施形態に対応する画像処理を実行する場合を説明する。
　実施形態１に対応する画像処理装置は、例えばパーソナルコンピュータとして構成することができる。パーソナルコンピュータとして構成される場合、入力された画像を分析して画像に含まれる衣服のファブリックを判定する処理を実行する。また、画像処理装置は撮像機能を備える装置として構成されても良く、その場合には、例えばデジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット端末として構成することができる。また、カメラ付ノートパソコンとして構成されても良い。
　以下では、図１を参照して本実施形態に対応する画像処理装置１０を説明するが、図１は、画像処理装置１０をパーソナルコンピュータとして構成する例を示している。図１では省略しているが、画像処理装置１０がデジタルカメラ等として構成される場合には、画像を入力するための撮像機能、例えば撮像センサ部を含む構成とすることができる。
　図１において、ＣＰＵ１００は、ハードディスク装置（以下、ＨＤと呼ぶ）１０５に格納されているアプリケーションプログラム（本実施形態に対応する画像処理を実行するためのアプリケーションプログラムを含む）、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ１０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。インターフェイス１０８を介した外部装置とのデータ送受信を制御するとともに、外部装置から受信したデータの分析・処理を実行し、また外部装置へ送信するデータ（処理要求やデータ要求を含む）の生成を行う。
　ＲＯＭ１０１は、内部に基本Ｉ／Ｏプログラム、本実施形態に対応する画像処理を実行するためのアプリケーションプログラム等の各種データを記憶する。ＲＡＭ１０２は各種データを一時記憶し、ＣＰＵ１００の主メモリ、ワークエリア等として機能する。
　外部記憶ドライブ１０３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）１０４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア１０４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。
　外部記憶装置１０５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ１０５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。
　指示入力装置１０６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置１０７は、指示入力装置１０６から入力したコマンドや、それに対する画像処理装置１０の応答出力等を出力する。出力装置１０７にはディスプレイ、スピーカ、ヘッドフォン端子等が含まれる。システムバス１０９は、画像処理装置内のデータの流れを司る。
　インターフェイス（以下、Ｉ／Ｆという）１０８は、外部装置とのデータのやり取りを仲介する送信装置、受信装置、或いは、通信装置としての役割を果たす。具体的に、Ｉ／Ｆ１０８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
　データベース１１０はシステムバス１０９に接続され、ＣＰＵ１００の制御下において所定のデータを保存、管理する。所定のデータには、ファブリックの判定結果と関連づけられた処理済みの画像が含まれる。
　本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ１０５からＲＡＭ１０２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ１０１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ１００で実行することも可能である。さらに、メディア１０４から対応プログラム及び関連データを直接ＲＡＭ１０２にロードして実行させることもできる。
　＜ファブリック判定処理＞
　次に、実施形態に対応する画像処理装置１０が実行する画像処理方法について説明する。本実施形態に対応する画像処理方法では、処理対象の画像から、画像に写っている衣服のファブリック（生地、織物、布ともいう）を判定する処理を行なう。ファブリックとは素材と織りとの組み合わせに基づき特定される。より具体的に、ファブリックとは木綿（コットン）、毛（ウール）、絹（シルク）、ポリエステル、ナイロン、その他の化繊、といった素材を織る（例えば、平織（ひらおり）、綾織（あやおり）、朱子織（しゅすおり）等）ことによって生成されている。それぞれの織り方について使用する素材によって異なるファブリックが生成される。
　平織は、経糸（たていと）と横糸（よこいと）を1本ずつ交互に上下に浮き沈みさせながら交錯させて織る織り方である。折り目の模様は左右対称となる。例えば、シャツに使われるオックスフォードやブロードはこの平織でできている。次に、綾織は、デニム生地を織る織り方として広く用いられているが、その他に、ギャバジン、ネル、サージ、ダンガリー、ツイード等もある。綾織には三つ綾と呼ばれる方法と、四つ綾と呼ばれる方法とがある。いずれの織り方でも経糸が浮いた点が織物の表面に斜線となって現れる点に特徴がある。朱子織は、経糸と横糸を５本以上使って織る織り方で、平織や綾織は経糸と横糸の交錯が生地の表に出て見えるが、朱子織は経糸が横糸のどちらか一方のみが表面に出るように織るため美しい光沢があるが、摩擦には弱い。このように織りは、特定のパターンを繰り返すことにより構成されているため、織りに応じたパターンが生地の表面に規則的に登場する。そして、織りの種類や、使用する素材（素材の太さ）、即ちファブリックによってパターンに変化が生ずる。
　次に、このようなファブリックを有する衣服を撮影し、画像を生成する場合について考える。一般に、被写体を撮影して画像を生成する場合、被写体である衣服に照射された光（自然光、人工的な照明のいずれでもよい）が、衣服の表面で反射して、当該反射光が撮影装置のレンズに入射してＣＭＯＳセンサ等の撮像素子の撮像面上で結像し、被写体像の画像が生成される。
　よって、衣服で使用されているファブリックが変わると言うことは、入射光が反射する被写体表面の状態が変わることに相当し、ファブリックが異なることは光の反射条件が異なることと等価である。また、上記のカメラにおける画像の生成原理によれば、反射条件の違いは生成される画像に反映されることになる。そこで本実施形態ではファブリックによる反射条件の違いに着目し、ファブリック毎の画像的特徴に基づくファブリックの判定手法を確立した。当該手法を適用することで、画像に含まれる衣服のファブリックを特定することが可能となる。
　図２は、本実施形態に対応する処理のフローチャートである。該フローチャートに対応する処理は、例えば、ＣＰＵ１００が対応するプログラム（ＲＯＭ１０１やＨＤ１０５等に格納）を実行し、各機能ブロックの動作を制御することにより実現できる。
　まず、Ｓ２０１では、ＣＰＵ１００が処理対象の画像を取得する。当該画像は、メディア１０４やＨＤ１０５に格納されている画像であっても良いし、画像処理装置１０が撮像センサ部を有する場合には、撮像センサ部で撮影され生成された画像が入力されても良い。また、画像はＲＧＢの色空間の画素値で構成されたＲＧＢ画像とする。
　Ｓ２０１において取得する画像の解像度については特に限定しない。また、画像の撮影条件についても、衣服の生地を接写して織り目がはっきりと分かるような方法で撮影された画像である必要はない。例えば、モデルが衣服を着用している状態で、全身、上半身、又は、下半身が画角に収まるように撮影した画像でよい。
　続くＳ２０２では、ＣＰＵ１００は取得した処理対象画像のうち、ファブリックを判定すべき対象の領域を抽出する。当該判定対象領域の抽出は、例えば衣服の形状に基づき行なっても良いし、所定の背景との差分情報に基づき衣服領域を特定することにより行なっても良いし、或いは、画像処理装置１０のユーザが判定対象領域を指定することにより行なっても良い。その場合、衣服全体の輪郭を指定しても良いし、或いは、衣服の一部の領域を指定しても良い。当該判定対象領域の抽出処理自体は、セグメンテーション技術等の公知の技術を用いることができるので、より詳細な説明は省略する。
　また、処理対象の領域は、衣服を構成する布全体である必要はなく、その一部であってもよい。一般的に衣服は所定の生地が連続的に使用されているため、特定の織パターンが規則的に繰り返されるものであるから、全部ではなく一部だけを処理対象とすることもできる。
　次に、Ｓ２０３では、ＣＰＵ１００はＳ２０２で抽出した判定対象領域を構成する画素値を、ＲＧＢ色空間からＨＳＶ色空間の画素値に変換する。ＨＳＶは、色相（Hue）、彩度（Saturation）、明度（Value）で表される。ＲＧＢからＨＳＶへの変換は、公知の変換手法により実行することができる。
　図４Ａは、ＨＳＶ空間の模式図である。ここに示されるようにＨ（色相）は、色味の違いを表す。また、Ｓ（彩度）は同一色相における色の鮮やかさ（純色の量）を表し、Ｖ（明度）は色の明るさ（白黒の量）をいう。これらは同じ色相における、色の鮮やかさや明暗を表すため、織りに応じた光の反射パターンが一定周期で連続的に繰り返される場合にはその反射パターンの検出に有利に用いることができる。
　次に、Ｓ２０４では、ＣＰＵ１００は、Ｓ２０３でＨＳＶ色空間に変換したＨＳＶ画像を、所定方向に所定画素数だけずらした（シフトさせた）場合の画像間の画素値の差分をＨ、Ｓ、Ｖの値それぞれについて算出して差分画像を生成し、当該差分画像の画素値（差分画素値、或いは、差分値）のヒストグラム（１画像内の各差分値の度数を表すグラフ）を生成する。本実施形態では、一例として、所定方向としてＸ軸方向（横方向）、Ｙ軸方向（縦方向）の２方向に、１画素、２画素、３画素、４画素、５画素ずつずらした場合について説明するが、ずらす方向や画素数はこの組み合わせに限定されない。例えば、斜め方向にずらしても良い。また、上記では、１画素単位にずれ量を調整しているが、単位ずれ量は１画素より大きい画素数でもよい。
　ヒストグラムの生成方法について図３Ａ及び図３Ｂを参照して説明する。図３Ａは、画像のＸ軸方向（横方向）について画素をずらした様子を示している。ここでは説明のために１画素分ずらした場合と、５画素分ずらした場合とを示している。なお、画像の大きさに対して１画素分の大きさが占める割合が大きくなっているが、これは説明のためであって、１画素分の幅が画像全体に占める割合は図で示すものよりも小さくてよい。また、２画素、３画素、４画素だけずらした場合は省略しているが、これらの場合も同様にしてＸ軸方向に該当する画素数分だけずらせばよい。
　図３Ｂは、画像のＹ軸方向（縦方向）について画素をずらした様子を示している。ここでも説明のために１画素分ずらした場合と、５画素分ずらした場合とを示している。画像の大きさに対して１画素分の大きさが占める割合が大きくなっているが、同様に説明のためであって、１画素分の幅が画像全体に占める割合は図で示すものよりも小さくてよい。また、２画素、３画素、４画素だけずらした場合は省略しているが、これらの場合も同様にしてＹ軸方向に該当する画素数分だけずらせばよい。
　Ｓ２０４においてヒストグラムを算出する場合、元画像と、当該元画像を所定画素数分だけずらした後のシフト画像とで同一画素アドレスに位置する画素の差分を、Ｈ、Ｓ、Ｖの各成分について計算する。
　例えば、Ｈｎ,ｍが、Ｘ軸のｎ番目、Ｙ軸のｍ番目のＨ成分の画素値を表し、同様にしてＳｎ,ｍ、Ｖｎ,ｍが、それぞれ各位置のＳ成分、Ｖ成分の画素値を表すものとする。このとき、ｎ、ｍの初期値はそれぞれ１であり、原点位置は画像の左上とする。
　ヒストグラムの計算において、例えばＸ軸方向に１画素から５画素までずらした場合のＳ（彩度）成分画素の差分は、以下のように求めることができる。このときＳＤ－Ｘｐ(ｎ，ｍ）は、Ｘ軸方向にｐ画素だけずらしたときの画素アドレス位置（ｎ、ｍ）におけるＳ成分の差分画素値を表す。ｐは、１から５のいずれかの値を取り、ｎ、ｍは初期値が１で、最大値は画素の各行、列における最大画素数に対応する。各差分画素値は、ｎ、ｍの取り得る値の全てについて計算される。
　ＳＤ-Ｘ１(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ＋１,ｍ）
　ＳＤ-Ｘ２(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ＋２,ｍ）
　ＳＤ-Ｘ３(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ＋３,ｍ）
　ＳＤ-Ｘ４(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ＋４,ｍ）
　ＳＤ-Ｘ５(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ＋５,ｍ）
　同様に、例えばＹ軸方向に１画素から５画素までずらした場合のＳ成分画素の差分画素値は、以下のように求めることができる。このときＳＤ－Ｙｐ(ｎ，ｍ）は、Ｙ軸方向にｐ画素だけずらしたときの画素アドレス位置（ｎ、ｍ）におけるＳ成分の差分画素値を表す。ｐは、１から５のいずれかの値を取り、ｎ、ｍは初期値が１で、最大値は画素の各行、列における最大画素数に対応する。各差分画素値は、ｎ、ｍの取り得る値の全てについて計算される。
　ＳＤ-Ｙ１(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ,ｍ＋１）
　ＳＤ-Ｙ２(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ,ｍ＋２）
　ＳＤ-Ｙ３(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ,ｍ＋３）
　ＳＤ-Ｙ４(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ,ｍ＋４）
　ＳＤ-Ｙ５(ｎ，ｍ）＝（Ｓｎ,ｍ－Ｓｎ,ｍ＋５）
　本実施形態において各画素値を８ビット（０から２５５）で表現する場合、差分画素値ＳＤ－Ｘｐ(ｎ，ｍ）及びＳＤ－Ｙｐ(ｎ，ｍ）は０から２５５までのいずれかの値を取り得る。ヒストグラムでは、０から２５５までの差分画素値の出現数（度数）を求める。同様にして、Ｈ、Ｖの各色成分の画素値についても、ずらした画素数毎の差分画素値に基づきヒストグラムを生成することができる。このとき得られるヒストグラムの一例は図４Ｂに示すとおりである。図４Ｂでは、Ｘ軸方向に１画素ずらした場合に得られたヒストグラムを示しているが、同様のヒストグラムが軸方向毎の画素のずれ量に応じて得られる。
　以上により、１つの色成分について１０個のヒストグラムが生成され、Ｈ、Ｓ、Ｖを併せて全部で３０個のヒストグラムが生成される。横軸は差分画素値を示し、上記のように０から２５５までをとる。原点に近い側が０となる。縦軸は、各差分画素値の度数を示す。本実施形態では１画素から５画素といった小さい画素数でしか画像をずらさないため、差分画素値は０側に偏ることになるが、それでもずらす画素数を異ならせることによって、ヒストグラムに違いが出てくる。また、ファブリックによって糸の太さが違ったり、織り方が違ったりするため、ずれ量に応じたヒストグラムの変化の仕方にもファブリックの特性に対応した変化の仕方がある。本実施形態では、それらを統計的手法（例えば、ロジスティック回帰分析）により分析し判定用テーブルを生成しておく。
　当該判定用テーブルの概念図を図５に示す。図５では、スカートをファブリック判定対象とした場合の分類結果を示している。各画像は上記のようにＨＳＶの各色成分についてヒストグラムが生成され、ヒストグラムの特徴が類似する画像がグループ化される。例えば、ウールの場合は、ウール（粗）、ウール（細）の二つの分類ができる。また、コットン（プレーン）や、デニムのように幾つかのサブグループが形成される場合、サブグループを独立の分類に割り当てても良いが、まとめて一つの分類とすることもできる。例えば、デニムではプレーンなタイプのものと、色合いに違いがある柄物とにサブグループ化されるが、これらはデニムとして１分類にまとめられている。
　このように、本実施形態では、ヒストグラムに基づく特徴量が類似或いは共通する画像をまとめてグループとして分類し、各グループに対応するファブリックを関連づけている。ここで、ファブリックと関連づけられるヒストグラムに基づく特徴量は、例えば、当該ファブリックについてＨＳＶの各成分の取り得る範囲や、ずれ量を異ならせた場合のＨＳＶの各成分の度数の比率、その他、ヒストグラムについて所定の範囲を規定するための任意の方法で得られた値を含むことができる。そして、判定対象の画像から新たなヒストグラムが得られた場合には、当該ヒストグラムから得られる特徴量に基づき当該ヒストグラムがどの分類に属するかを判定することで、判定対象画像に含まれる衣服のファブリックを特定することが可能となる。
　このようにしてヒストグラムを算出すると、続くＳ２０５においてＣＰＵ１００は、データベース１１０に格納されている判定用テーブルにおいて各ファブリックに割り当てられたヒストグラムの特徴量と比較する。そして、算出したヒストグラムがどのファブリックに該当する特徴量を有するのかに基づいて、処理対象画像に含まれていた衣服のファブリックを判定する。
　続くＳ２０６では、Ｓ２０５で得られた判定結果について、処理対象画像に含まれていた衣服のファブリックが予め分かっていた場合には、当該判定結果と実際のファブリックとを照らし合わせることにより、判定結果の妥当性を検証することができる。当該実際のファブリックは、予め入力されていて処理対象の画像と関連づけられていても良いし、或いは、Ｓ２０６の判定のタイミングにおいて入力を新規に受付けても良い。当該入力は、判定結果に対応する表示を出力装置１０７のディスプレイに表示して、表示結果に対して訂正することにより実施できる。また、判定結果が正当な場合には、ディスプレイの表示内容に対して承認を行なうこともできる。
　Ｓ２０６において判定結果の妥当性が検証されたのち、続くＳ２０７では、ＣＰＵ１００は妥当性の検証結果に基づいてデータベース１１０の判定用テーブルの内容を更新する。例えば、Ｓ２０５ではウールと判定されていたが、実際にはコットンであった場合に、Ｓ２０４で得られたヒストグラムのセットをコットンに分類されるよう、判定用テーブルの内容を修正することができる。
　なお、Ｓ２０６とＳ２０７の処理は実施形態によっては省略してもよい。例えば、ユーザがスマートフォンを使用して撮影した衣服のファブリックを判定する場合などでは、これらのステップを省略しても良い。
　以上のように本実施形態では、処理対象画像から得られたＨ、Ｓ、Ｖのそれぞれの色成分の画像間差分のヒストグラムに基づき、画像に含まれている衣服のファブリックを特定する画像処理方法を提供することができる。この処理方法では、所定の画素単位に所定方向に画像をずらして画像間差分を計算し、差分画素値の出現頻度に基づいて判定を行なうだけなので、画像を拡大した上でのパターンマッチング処理といった負荷の高い演算は不要となる。
　また、判定用の特別な画像を生成することなく、人物が衣服を身につけている状態を撮影した画像を用いることにより判定が可能な点で、処理のための煩雑な準備などが不要であり、また、専用の装置を用意する必要もなくなるため利便性に優れる。よって、例えばカメラ機能付の携帯型端末（スマートフォン）やデジタルカメラにより衣服を撮影して得られた画像について、当該装置で本実施形態に対応する画像処理方法を実行することで、衣服のファブリックを特定することができる。
　また、本実施形態に対応する処理に必要な判定テーブルの情報は、ファブリックを特定するための所定のヒストグラム範囲に関する情報であるため膨大なデータ量は必要とされない。従って、記憶容量に制限のあるユーザ端末で本発明を実施する場合であっても、判定テーブルを保持による記憶容量に対する負担を小さくすることができる。
　［実施形態２］
　上記の実施形態１では、単体装置において、処理対象画像に含まれる衣服のファブリックを特定する画像処理方法を実施する場合を説明した。これに対して本実施形態では、クライアント・サーバ・システムにおけるクライアントが生成した画像について、サーバが当該画像に含まれる衣服のファブリックを特定し、結果をクライアントに通知する場合を説明する。特に、オンラインショッピングサイトを管理するサーバを含むシステムについて説明する。
　ファブリックに関する情報は、オンラインショッピングサイトへの商品登録時に併せて登録されるのが一般的であるが、入力が省略されることもある。また、同一の型で異なる複数のファブリックの商品が提供される場合、各ファブリックに対応する画像は提供されても、ファブリック自体の関連づけが成されない場合などもある。さらに、同一の素材、例えば、ウールであっても織り方によって風合いも異なってくるが、織り方の違いに関係なく単にウールと入力されるだけの場合もある。さらに、登録者によってファブリック分類する判断基準が異なる場合、オンラインショッピングサイト内での分類のバラツキが生じるおそれもある。そのような場合、ユーザがファブリックに基づき商品検索しても希望する商品にスムーズに辿りつくことができず、ユーザが商品を見付けるまでに複数のページにアクセスしたり、検索を複数回行ったりすることになり、結果的にトラヒックが増大し、またオンラインショッピングサイトのサーバへの負荷が高くなってしまうことにもなりかねない。
　そこで本実施形態では、オンラインショッピングサイトに商品を登録する際に、本実施形態のファブリック判定処理を実行することにより、商品登録時にファブリックを統一の画像処理方法により判定して、画像と関連づけてサーバに登録可能とする。これにより、商品毎にファブリックの情報の有無に違いが出たり、登録者毎の判断基準違いによる分類のバラツキが出たりするのを排除し、ファブリックの統一的分類を付すことができる。これにより、ユーザが商品を検索する際のファブリック表示のバラツキに共なる混乱を防止することができる。
　＜システム構成＞
　以下、本実施形態に対応するクライアント・サーバ・システムの構成について説明する。図６Ａは、オンラインショッピングサイトとしてシステムを構築した場合の、本実施形態に対応するシステム全体構成の一例を示すブロック図である。当該システムは、ユーザ端末、サーバがネットワークに接続されて構成されている。サーバは、オンラインショッピングサイトを管理し、サイトで販売される商品の画像情報の他に、店舗及び顧客の各ユーザ情報を管理する。
　クライアント５０１ａ、５０１ｂ、５０１ｃ（以下、これらを総称して「クライアント５０１」という。）は、ユーザが操作し、サーバによりユーザ認証を受けた後、サーバからサービスの提供を受けることができるユーザ端末である。本実施形態では、当該サービスは、大きくはオンラインショッピングサイトでの店舗の出店とし、より詳細には、店舗で販売する商品の登録時における衣服画像に関するファブリックの特定サービスを含むものとする。
　サーバ５０３は、クライアント５０１のユーザを認証し、認証されたユーザが使用するクライアント５０１に対して上記サービスを提供する装置である。クライアント５０１及びサーバ５０３はそれぞれネットワーク５０２に接続され、相互通信が可能となっている。ネットワーク５０２は例えばインターネット、ローカル・エリア・ネットワーク（ＬＡＮ）、或いは、ワイド・エリア・ネットワーク（ＷＡＮ）として構築することができる。インターネットは世界中のネットワークが互いに接続されたネットワークであるが、ネットワーク５０２は、これ以外にもイントラネットのように特定の組織内においてのみ接続可能なネットワークであってもよい。サーバ５０３には、ユーザ情報データベース５０４とコンテンツデータベース５０５とが接続されている。
　クライアント５０１は、ユーザが操作することで、サーバ５０３が提供するサービスを利用することができる。当該サービスには、上述のように、撮影画像に含まれる衣服のファブリックを特定する画像処理の提供が含まれる。クライアント５０１は、ユーザ端末、情報処理装置、或いは、通信装置であって、例えば、ノートパソコン、デスクトップパソコン、携帯情報端末、携帯電話、スマートフォン、タブレット端末等を含む。クライアント５０１は、被写体を撮影して画像を生成するためのカメラを搭載しているものとする。クライアント５０１は、無線ＬＡＮ、ＬＴＥ等の無線データ通信手段によってネットワーク５０２に接続されている。尚、イーサネット（登録商標）等のネットワークケーブルを含むＬＡＮにより、ネットワーク５０２へアクセス可能に更に構成されていてもよい。
　サーバ５０３は、ユーザ情報データベース５０４を管理し、クライアント５０１の各ユーザの登録情報を保持しておき、各ユーザがサービスの提供を受けようとする場合に、当該ユーザが当該サービス提供を受ける権限を有しているか否かを判定することができる。サーバ５０３は、また、コンテンツデータベース５０５に格納されているデータを管理し、クライアント５０１からの送信情報に基づいてデータを更新しても良い。サーバ５０３は、例えば、ＬＡＮによってユーザ情報データベース５０４やコンテンツデータベース５０５と接続される。ユーザ情報データベース５０４及びコンテンツデータベース５０５は、それぞれ所定のデータベース・ソフトウェアがインストールされた情報処理装置であり、各種データの管理を行う。
　ユーザ情報データベース５０４は、ユーザごとの登録情報を管理する。具体的に、ユーザを一意に識別するためのユーザ識別子（ユーザＩＤ）、登録ユーザであるか否かを判定するためのユーザ登録情報（例えば、ユーザ名とパスワードのセット等）等を関連づけて格納する。
　コンテンツデータベース５０５は、サーバ５０３からクライアント５０１に提供されるコンテンツデータを格納し管理する。また、クライアント５０１がアップロードしたコンテンツを格納し、管理する。コンテンツデータには、テキスト、画像、動画、音声等のデータが含まれる。ここで、画像には本実施形態に対応するファブリック判定処理によりファブリックが判定された画像も含まれる。当該画像には、ファブリックの情報が関連づけられて格納される。これらのコンテンツデータには、当該コンテンツデータを一意に識別するためのコンテンツＩＤが割当てられている。
　尚、本明細書では、便宜上、サーバ５０３、ユーザ情報データベース５０４、及びコンテンツデータベース５０５は、それぞれ物理的に独立した情報処理装置によって実現されるものとして説明するが、本発明の実施形態はこれに限られるものではない。例えば、これらが単一の情報処理装置によって実現されてもよい。その一方で、サーバ５０３等の各装置が複数台の情報処理装置により冗長構成、或いは分散構成されても良い。また、ユーザ情報データベース５０４は、サーバ５０３とＬＡＮ等によって接続されているものとして説明するが、例えば、ネットワーク５０２や非図示のイントラネット経由でサーバ５０３と通信可能な形態をとってもよい。サーバ５０３とコンテンツデータベース５０５との関係についても同様である。また、ユーザ情報データベース５０４が管理するユーザ情報と、とコンテンツデータベース５０５が管理するコンテンツ関連のデータとは一体的に管理されていてもよい。
　図６Ｂは、クライアント５０１のハードウェア構成の一例を示すブロック図である。上述した情報処理装置としてのユーザ情報データベース５０４及びコンテンツデータベース５０５も、同様或いは同等のハードウェア構成として構成しても良い。ＣＰＵ６００、ＲＯＭ６０１、ＲＡＭ６０２、外部記憶ドライブ６０３、メディア６０４、ＨＤ６０５、指示入力装置６０６、出力装置６０７、Ｉ／Ｆ６０８、システムバス６０９の機能及び用途、更には、これらの関係は、図１を用いて同一名称の要素について説明したものと同様或いは同等である。
　但し、本実施形態において、クライアント５０１は図１の構成に追加してカメラ６１０を更に備えることができる。カメラ６１０は、撮影光学系、撮像素子（ＣＭＯＳセンサ等）、Ａ／Ｄ変換部などを含むことができる。カメラ６１０から出力された画像信号は、ＲＡＭ６０２に格納され、ＣＰＵ６００による圧縮・符号化処理により例えばＪＰＥＧ画像に変換され、メディア６０４やＨＤ６０５に格納されてもよい。
　サーバ５０３のハードウェア構成は、図１に示したものと同様であるため、ここでは説明を省略する。なお、データベース１１０は、ユーザ情報データベース５０４、及び、コンテンツデータベース５０５に相当するものである。
　＜システムにおけるファブリック判定処理＞
　以下、図６Ａに示すクライアント・サーバ・システムにおいて、ファブリック判定処理を実行する場合の各装置の動作について具体的に説明する。
　本実施形態に対応する大まかな処理の流れとして、クライアント５０１は、店舗に出品する商品の登録をサーバ５０３に要求すると、サーバ５０３から商品画像登録用のウェブページが送信される。クライアント５０１は受信したウェブページを出力装置５０７のディスプレイに表示する。クライアント５０１のユーザは、表示されたウェブページの指示に従い、商品登録しようとする衣服の写真を撮影しサーバ５０３に送信して、サーバ５０３側で実行された判定処理の結果としてファブリック情報を取得する。撮影した衣服の画像とファブリック情報とを関連づけてサーバ５０３にアップロードすることができる。
　図７は、クライアント５０１とサーバ５０３との間で実行される当該処理のフローチャートの一例を示す。当該フローチャートに対応する処理は、例えば、クライアント５０１及びサーバ５０３の各ＣＰＵが対応するプログラムを実行し、各機能ブロックの動作を制御することにより実現できる。
　まず、Ｓ７０１では、クライアント５０１のＣＰＵ６００が、指示入力装置６０６を介したユーザからの操作に応じた商品登録要求を、インターフェイス６０８を介してサーバ５０３に送信する。Ｓ７０２において、サーバ５０３のＣＰＵ１００は、クライアント５０１から送信された商品登録要求を受信したことを検知する。続くＳ７０３において、サーバ５０３側のＣＰＵ１００がインターフェイス１０８を制御して、クライアント５０１に画像登録用のウェブページの情報を送信する。当該ウェブページには、撮影した写真をサーバにアップロードするための情報が含まれる。
　Ｓ７０４において、クライアント５０１はインターフェイス６０８を介して画像登録用のウェブページを受信すると、ＣＰＵ６００は出力装置６０７のディスプレイに当該ウェブページを表示する。続くＳ７０５において、クライアント５０１では、指示入力装置６０６を介したユーザからの操作に応じて、カメラ６１０で被写体（例えば、モデルが着用している衣服）を撮影し、画像を生成する。
　Ｓ７０６では、ＣＰＵ６００はＳ７０５で撮影された画像をディスプレイ上に表示し、ファブリックの判定対象領域の指定を指示入力装置６０６を介してユーザから受け付け、指定された領域を撮影画像から抽出する。例えば、ユーザがファブリックの判定を希望する対象の衣服がスカートである場合に、スカートの輪郭やスカートの一部を指定する入力を受付けることができる。続くＳ７０７では、ＣＰＵ６００が、Ｓ７０６で抽出された領域の画像を、インターフェイス６０８を介してサーバ５０３へ送信する。なお、Ｓ７０６における画像送信では領域の画像ではなくＳ７０３で生成された画像全体をサーバ５０３へ送信してもよい。その場合、領域を指定する情報を送信画像に添付して送信することができる。
　Ｓ７０８において、サーバ５０３のＣＰＵ１００は、Ｓ７０７においてクライアント５０１が送信した画像をインターフェイス１０８を介して受信する。続くＳ７０９では、ＣＰＵ１００が受信した画像についてファブリック判定処理を実行する。Ｓ７０９では、ＣＰＵ１００が図２のＳ２０３からＳ２０５に対応する処理を実行する。受信画像に含まれる衣服のファブリックが特定できると、Ｓ７１０においてＣＰＵ１００はインターフェイス１０８を介してファブリック判定結果をクライアント５０１に送信する。
　Ｓ７１１において、クライアント５０１のＣＰＵ６００は、Ｓ７１０においてサーバ５０３が送信したファブリック判定結果をインターフェイス６０８を介して受信する。続くＳ７１２では、ＣＰＵ６００は、インターフェイス６０８を制御してＳ７１１で受信したファブリック判定結果をＳ７０５で撮影した画像と関連づけてサーバ５０３へアップロードする。Ｓ７１３において、サーバ５０３のＣＰＵ１００は、Ｓ７１２においてクライアント５０１からアップロードされた画像をインターフェイス１０８を介して受信し、コンテンツデータベース５０５に登録する。
　なお、Ｓ７０６において既に画像全体を送信している場合には、Ｓ７１２の処理は画像の送信ではなく、送信されたファブリックの判定結果に基づく画像登録要求の送信とすることができる。この場合、登録対象の画像とファブリックの判定結果とが共にサーバ５０３側にあるので、クライアント５０１側では関連づけて登録を行なう要求を送信するだけでよい。
　以上によれば、クライアント５０１で撮影した画像をサーバ５０３に登録する場合に、ファブリックの情報を予め特定した上で関連づけて、登録することができる。これにより、オンラインショッピングサイトに商品画像を登録する際に、ファブリックを特定した上で登録を行なうことができる。このとき、商品自体を確認せずとも画像だけでファブリックを特定することが可能となるので、大量の衣服をサイトに登録する際に画像のみで処理が完了でき、ユーザの負担を軽減することができる。また、本実施形態に対応するファブリック判定処理は演算負荷が低いので、サーバ５０３側で判定を行わせる場合であってもサーバ側の処理負荷が大きくならない利点がある。
　［その他の実施形態］
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。また本発明に係る情報処理装置は、１以上のコンピュータを該情報処理装置として機能させるコンピュータプログラムによっても実現可能である。該コンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

Claims (14)

  1. 　衣服の画像を含む処理対象画像であって、色相、彩度、明度の各成分で構成される画像を取得する取得手段と、
    　前記処理対象画像と、該処理対象画像を、所定方向に少なくとも１画素以上、１画素単位にシフトさせて得られる複数のシフト画像との差分を算出して、シフトさせた画素数に対応する複数の差分画像を生成する差分算出手段と、
    　前記差分画像の前記色相、彩度、明度の各成分について差分画素値のヒストグラムを生成するヒストグラム生成手段と、
    　前記ヒストグラムの特徴に基づき、前記衣服のファブリックを判定する判定手段と
    を備えることを特徴とする画像処理装置。
  2. 　前記所定方向は、前記処理対象画像における横方向及び縦方向であることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記判定手段は、所定のファブリックと、該所定のファブリックの画像から得られるヒストグラムの特徴とを関連づけたテーブルを参照し、前記ヒストグラム生成手段が生成した前記ヒストグラムと関連づけられるファブリックを特定することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記処理対象画像から、前記差分画像を生成する対象となる領域の画像を抽出する抽出手段を更に備え、
    　前記差分算出手段は、抽出された前記領域の画像について前記複数の差分画像を生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記差分算出手段は、前記所定方向に１画素から５画素まで１画素単位にシフトさせて、前記複数の差分画像を生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記取得手段は、ＲＧＢ色空間画像を、ＨＳＶ色空間画像に変換する変換手段を含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記取得手段は、前記衣服を撮影し、前記処理対象画像を生成する撮影手段を含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記取得手段は、外部装置から前記処理対象画像を受信する通信手段を含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  9. 　前記通信手段は、前記判定手段が判定した前記衣服のファブリックの判定結果を前記外部装置に送信することを特徴とする請求項８に記載の画像処理装置。
  10. 　オンラインストアにおける商品情報を管理するサーバであって、
    　前記オンラインストアに商品登録を行なうクライアントから衣服の商品登録要求を受付けた場合に、前記衣服の画像を含む処理対象画像であって、色相、彩度、明度の各成分で構成される画像を前記クライアントから受信する受信手段と、
    　前記処理対象画像と、該処理対象画像を、所定方向に少なくとも１画素以上、１画素単位にシフトさせて得られる複数のシフト画像との差分を算出して、シフトさせた画素数に対応する複数の差分画像を生成する差分算出手段と、
    　前記差分画像の前記色相、彩度、明度の各成分について差分画素値のヒストグラムを生成するヒストグラム生成手段と、
    　前記ヒストグラムの特徴に基づき、前記衣服のファブリックを判定する判定手段と、
    　前記判定の結果を前記クライアントに通知する通知手段と
    を備えることを特徴とするサーバ。
  11. 　前記受信手段は、前記差分画像を生成する対象となる領域の指定を更に取得し、
    　前記差分算出手段は、前記処理対象画像のうち前記指定された領域の画像について前記複数の差分画像を生成することを特徴とする請求項１０に記載のサーバ。
  12. 　前記受信手段が、前記クライアントから、前記通知された判定結果に基づく前記処理対象画像の登録要求を受信した場合に、前記処理対象画像と前記判定結果とを関連づけてデータベースに登録する登録手段を更に備えることを特徴とする請求項１０または１１に記載のサーバ。
  13. 　衣服の画像を含む処理対象画像であって、色相、彩度、明度の各成分で構成される画像を取得する取得工程と、
    　前記処理対象画像と、該処理対象画像を、所定方向に少なくとも１画素以上、１画素単位にシフトさせて得られる複数のシフト画像との差分を算出して、シフトさせた画素数に対応する複数の差分画像を生成する差分算出工程と、
    　前記差分画像の前記色相、彩度、明度の各成分について差分画素値のヒストグラムを生成するヒストグラム生成工程と、
    　前記ヒストグラムの特徴に基づき、前記衣服のファブリックを判定する判定工程と
    を含むことを特徴とする画像処理方法。
  14. 　コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
PCT/JP2016/085611 2016-11-30 2016-11-30 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム WO2018100694A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018515910A JP6342106B1 (ja) 2016-11-30 2016-11-30 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム
PCT/JP2016/085611 WO2018100694A1 (ja) 2016-11-30 2016-11-30 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム
US16/348,541 US10867378B2 (en) 2016-11-30 2016-11-30 Image processing device, image processing method, server, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/085611 WO2018100694A1 (ja) 2016-11-30 2016-11-30 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2018100694A1 true WO2018100694A1 (ja) 2018-06-07

Family

ID=62242811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085611 WO2018100694A1 (ja) 2016-11-30 2016-11-30 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム

Country Status (3)

Country Link
US (1) US10867378B2 (ja)
JP (1) JP6342106B1 (ja)
WO (1) WO2018100694A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538573A (zh) * 2020-04-20 2021-10-22 中移(成都)信息通信科技有限公司 服饰关键点定位方法、装置、电子设备及计算机存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909649A (zh) * 2019-11-15 2020-03-24 常州瑞昇科技有限公司 一种织物整纬方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06221831A (ja) * 1992-10-30 1994-08-12 Hitachi Ltd 模様の認識方法及び装置並びに自動柄合わせ裁断装置
JP2014067174A (ja) * 2012-09-25 2014-04-17 Nippon Telegr & Teleph Corp <Ntt> 画像分類装置及び画像識別装置並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412578A (en) 1992-10-30 1995-05-02 Hitachi, Ltd. Method and device for pattern form recognition and automatic pattern match cutting device
WO2016029939A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for determining at least one image feature in at least one image
JP6495696B2 (ja) 2015-03-13 2019-04-03 株式会社東芝 画像収集装置、画像収集方法及びコンピュータプログラム
US9691161B1 (en) * 2015-09-25 2017-06-27 A9.Com, Inc. Material recognition for object identification
US10083521B1 (en) * 2015-12-04 2018-09-25 A9.Com, Inc. Content recommendation based on color match

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06221831A (ja) * 1992-10-30 1994-08-12 Hitachi Ltd 模様の認識方法及び装置並びに自動柄合わせ裁断装置
JP2014067174A (ja) * 2012-09-25 2014-04-17 Nippon Telegr & Teleph Corp <Ntt> 画像分類装置及び画像識別装置並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538573A (zh) * 2020-04-20 2021-10-22 中移(成都)信息通信科技有限公司 服饰关键点定位方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
JPWO2018100694A1 (ja) 2018-11-29
JP6342106B1 (ja) 2018-06-13
US20190279352A1 (en) 2019-09-12
US10867378B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
CN113853615B (zh) 基于颜色空间变换技术优化与目标相关的图像检测
CN104980622B (zh) 图像处理装置及图像处理方法
CN113841151B (zh) 基于颜色空间变换技术和利用紫外线的目标相关图像检测
US9275281B2 (en) Mobile image capture, processing, and electronic form generation
US20140270536A1 (en) Systems and methods for classifying objects in digital images captured using mobile devices
US9558401B2 (en) Scanbox
WO2017095576A1 (en) Method and system of curved object recognition using image matching for image processing
CN103063314A (zh) 热像装置和热像拍摄方法
Liang et al. Head reconstruction from internet photos
CN101067803B (zh) 一种图像处理系统及其方法
JP2011145958A (ja) パターン識別装置及びその制御方法
CN110209266A (zh) 一种图像的尺寸适配方法及装置
JP6342106B1 (ja) 画像処理装置、画像処理方法、サーバ、及び、コンピュータプログラム
CN110022674A (zh) 用于在作物图像中检测马铃薯病毒的方法、介质和系统
Vidanapathirana et al. Plan2scene: Converting floorplans to 3d scenes
Zhao et al. Minimizing illumination differences for 3D to 2D face recognition using lighting maps
JPWO2015064292A1 (ja) 画像の特徴量に関する処理システム、処理方法及びプログラム
CN109190637A (zh) 一种图像特征提取方法
JP2015069580A (ja) 人物画像分類装置、人物画像分類方法、及び、プログラム
JP6777507B2 (ja) 画像処理装置および画像処理方法
CN212846839U (zh) 织品信息媒合系统
US9311562B2 (en) Image retrieval system, information processing apparatus, image retrieval method, and non-transitory computer readable medium
TWI781835B (zh) 布片資訊數位化系統及其方法
US20220292810A1 (en) Fabric information digitization system and method thereof
CN112752016B (zh) 一种拍摄方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018515910

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16922572

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16922572

Country of ref document: EP

Kind code of ref document: A1