WO2017203705A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2017203705A1
WO2017203705A1 PCT/JP2016/065771 JP2016065771W WO2017203705A1 WO 2017203705 A1 WO2017203705 A1 WO 2017203705A1 JP 2016065771 W JP2016065771 W JP 2016065771W WO 2017203705 A1 WO2017203705 A1 WO 2017203705A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
combination
image processing
target
processing apparatus
Prior art date
Application number
PCT/JP2016/065771
Other languages
English (en)
French (fr)
Inventor
永男 蔡
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to PCT/JP2016/065771 priority Critical patent/WO2017203705A1/ja
Priority to US16/304,523 priority patent/US10810744B2/en
Priority to JP2017515261A priority patent/JP6148426B1/ja
Priority to EP16903186.1A priority patent/EP3467769A4/en
Publication of WO2017203705A1 publication Critical patent/WO2017203705A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • an object of the present invention is to automatically extract an area from which an object to be extracted occupies most from an image.
  • an image processing apparatus includes an image acquisition unit that acquires a target image that is an image to be processed, and clustering based on a predetermined color similarity of pixel values. Formed by extraction means for extracting a plurality of partial areas from an image, generation means for generating a plurality of combination images composed of combinations of one or more partial areas of the plurality of partial areas, and partial areas constituting the combination image A calculation means for calculating a score indicating the likelihood of the shape as the shape of the object to be extracted for each of the combination images, and a combination image having the highest score for the object area in which the object in the target image is represented Output means for outputting processing target area information specified as:
  • An image processing method is an image processing method in an image processing apparatus, an image acquisition step of acquiring a target image that is an image to be processed, and clustering based on a predetermined color similarity of pixel values
  • a calculation step for calculating the likelihood of the formed shape as the shape of the object to be extracted for each of the combination images, and the combination image having the highest score is represented by the object in the target image.
  • An output step for outputting processing target area information specified as an object area; A.
  • An image processing program includes a computer, an image acquisition unit that acquires a target image that is an image to be processed, and a plurality of partial regions from the target image by clustering based on a predetermined color similarity of pixel values.
  • Extraction means for extracting generation means for generating a plurality of combination images composed of combinations of one or more partial areas of a plurality of partial areas, and an object to be extracted having a shape formed by the partial areas constituting the combination images
  • Calculation means for calculating a score indicating the likelihood as a shape for each of the combination images, and processing target area information for specifying the combination image having the highest score as the object area in which the object in the target image is represented Function as an output means for outputting.
  • partial areas that may form part of the object to be extracted are extracted from the target image by clustering based on color similarity of pixel values, and one or more partial areas are combined.
  • a plurality of combination images that can form a large area of the object are generated.
  • the likelihood of the shape formed by the partial regions included in each combination image is calculated as the shape of the object, and the combination image having the highest calculated likelihood is specified as the object region representing the object.
  • the generation unit may not use the partial area located at the outer edge of the target image for generating the combined image.
  • the partial region located at the outer edge of the target image is not used for generating the combined image. Therefore, a combined image including a partial region where there is a high possibility that no object is represented is not generated. Therefore, the processing load related to the process of calculating the likelihood of the shape formed by the partial regions included in the combined image as the shape of the object is reduced.
  • the generation unit may not use a partial region including pixels having a pixel value in a predetermined range for generating a combined image.
  • a partial area including a pixel having a pixel value that is unlikely to be included in the object to be extracted is not used for generating a combined image, a partial area that is highly likely not to represent an object is selected.
  • the combined image including is not generated. Therefore, the processing load related to the process of calculating the likelihood of the shape formed by the partial regions included in the combined image as the shape of the object is reduced.
  • the pixel value in the predetermined range may be a pixel value representing a human skin color.
  • the combined image including the partial region in which the person or a part of the person is represented Not generated.
  • a subject wearing an item such as clothes is represented as an object to be extracted from the target image
  • generation of a combined image including a partial region where the object is not likely to be represented Can be prevented. Therefore, the processing load related to the process of calculating the likelihood of the shape formed by the partial regions included in the combined image as the shape of the object is reduced.
  • the calculation unit does not calculate the score of the combination image when the positions of the plurality of partial regions constituting the combination image are separated from each other by a predetermined degree or more. Also good.
  • the positions of the plurality of partial regions constituting the combination image are predetermined with respect to each other.
  • the process of calculating the likelihood as the shape of the object related to the combined image is not performed. Therefore, the processing load related to the process of calculating the likelihood of the shape formed by the partial regions included in the combined image as the shape of the object is reduced.
  • the image processing apparatus may further include an object extracting unit that extracts an object from the target image based on the processing target area information.
  • the object can be extracted based on the processing target area information including information regarding the area occupying most of the object, so that a desired object can be extracted from the target image with high accuracy.
  • the object extracting means may extract an object by the Grabcut method.
  • the object can be extracted by Grabcut based on the processing target area information including information regarding the area that occupies most of the object, so that the desired object can be extracted with high accuracy from the target image. .
  • the calculating means may calculate the score based on the degree of matching of the shape formed by the partial region with respect to the shape of the object stored in advance.
  • the score is calculated based on the degree of coincidence between the shape formed by the partial region and the shape of the object stored in advance, the likelihood as the shape of the object is appropriately expressed.
  • the calculated score is calculated.
  • the output means outputs the processing target area information when the highest score among the scores of the respective combined images calculated by the calculation means is equal to or greater than a predetermined value, and the calculation means When the highest score among the calculated scores of the combined images is less than a predetermined value, it may be determined that the object to be extracted is not represented in the target image, and the processing target area information may not be output.
  • a combination image having a score equal to or higher than a predetermined value when a combination image having a score equal to or higher than a predetermined value is not generated, it is determined that no object is represented in the target image, and the processing target area information is not output. Accordingly, for example, it is possible to prevent the object extraction process from being performed on a target image that is highly likely not to represent a desired object. On the other hand, processing target area information relating to a combination image having a score equal to or higher than a predetermined value is output, so that the process of extracting an object is appropriately performed.
  • the output means may output information notifying that the object to be extracted is not represented in the target image.
  • the user can be made aware that the object to be extracted is not represented in the target image.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus 1 according to the present embodiment.
  • the image processing apparatus 1 is an apparatus that extracts a desired object from an image. In particular, prior to the extraction of an object, an area in which the object to be extracted occupies most is automatically extracted from the image.
  • the image used for object extraction is not limited as long as it is an image representing a desired object, but in the present embodiment, the object to be extracted is clothing, and the image representing the clothing is a processing target image.
  • the image to be processed may be an image representing a person wearing clothes.
  • the category information is associated with the image to be processed in advance.
  • the category information is information regarding the category to which the object to be extracted belongs, and may be, for example, a “shirt” that is a kind of clothing.
  • the image processing apparatus 1 specifies an area in which an object to be extracted is represented from an image to be processed based on category information, and outputs processing target area information regarding the specified area.
  • an object is extracted from the processing target image by, for example, a method called Grabcut.
  • an object can be extracted with high accuracy by using processing target area information that is information regarding an area in which the object is represented. Then, for example, a process for further subdividing the category of the extracted object can be performed.
  • categories such as color, pattern, and shape can be subdivided.
  • the image processing apparatus 1 functionally includes an image acquisition unit 11 (image acquisition unit), an extraction unit 12 (extraction unit), a generation unit 13 (generation unit), and a calculation unit 14 (calculation unit). ), An output unit 15 (output unit) and an object extraction unit 16 (object extraction unit).
  • the image processing apparatus 1 can access storage means such as the object shape information storage unit 21.
  • the object shape information storage unit 21 may be provided in the image processing apparatus 1 or may be configured as an external storage unit provided so as to be accessible from the image processing apparatus 1.
  • FIG. 2 is a hardware configuration diagram of the image processing apparatus 1.
  • the image processing apparatus 1 physically includes a CPU 101, a main storage device 102 composed of memories such as RAM and ROM, an auxiliary storage device 103 composed of a hard disk, a communication control device 104, and the like. It is comprised as a computer system containing.
  • the image processing apparatus 1 may further include an input device 105 such as a keyboard, a touch panel, and a mouse which are input devices, and an output device 106 such as a display.
  • FIG. 1 operate the communication control device 104 and the like under the control of the CPU 101 by reading predetermined computer software on the hardware such as the CPU 101 and the main storage device 102 shown in FIG. In addition, it is realized by reading and writing data in the main storage device 102 and the auxiliary storage device 103. Data and databases necessary for processing are stored in the main storage device 102 and the auxiliary storage device 103.
  • the image acquisition unit 11 acquires a target image that is a processing target image.
  • FIG. 3 is a diagram illustrating an example of the target image.
  • the target image TP shows a person wearing clothes that are objects to be extracted.
  • the shirt shown in FIG. 3 has a uniform color, but includes portions represented by different colors depending on how the light strikes. Further, the background wall also includes portions represented by different colors depending on how the light strikes.
  • the extraction unit 12 extracts a plurality of partial areas from the target image. Specifically, the extraction unit 12 extracts a plurality of partial regions by clustering based on predetermined color similarity of pixel values.
  • the extraction unit 12 performs clustering by, for example, the K-means method.
  • the K-means method is a technique for clustering regions having similar colors, and is a well-known technique in the technical field of the present embodiment.
  • FIG. 4 is a diagram showing the partial areas PA1 to PA5 extracted from the target image TP.
  • Each of the partial areas PA1 to PA3 corresponds to a part of the shirt that is the object to be extracted, but is extracted as another area having a different color.
  • the partial area PA4 corresponds to a hair portion of a person wearing a shirt.
  • the partial area PA5 corresponds to a part of the background. Note that the extraction unit 12 may binarize the extracted partial areas PA1 to PA5 as shown in FIG. Thereby, the subsequent processing load is reduced.
  • the generating unit 13 generates a plurality of combination images composed of combinations of one or more partial areas among the plurality of partial areas.
  • FIG. 5 is a diagram illustrating an example of the combination image generated by the generation unit 13.
  • the generation unit 13 combines the one or more partial areas of the partial areas PA1 to PA5 illustrated in FIG. 4 to generate combined images CP1 to CP15 as illustrated in FIG.
  • the generation unit 13 generates a combined image CP1 by combining the partial area PA2 and the partial area PA5.
  • the generation unit 13 can generate a combination image based on all cases of combinations using all the partial areas extracted by the extraction unit 12. Therefore, the number of combination images that can be generated becomes very large, which may increase the processing load on the calculation unit 14 and the like. Therefore, for example, in the target image, when it is known in advance that the object to be extracted is represented near the center of the image, the object to be extracted can be represented at the outer edge of the target image. In view of the low nature, the generation unit 13 may not use the partial region located at the outer edge portion of the target image for generating the combined image.
  • FIG. 6 is a diagram illustrating an example in which a partial region located at the outer edge of the target image is not used for generating a combined image.
  • the generation unit 13 extracts a partial area PA5 located at the outer edge of the target image from the partial areas PA1 to PA5, and determines that the partial area PA5 is not used for generating a combined image.
  • the length of the portion that contacts the outer edge of the partial area and the target image is equal to or greater than a predetermined length, or the ratio of the outer edge to the entire circumference is equal to or greater than the predetermined value. You may determine with the said partial region located in the outer edge part of a target image.
  • the generation unit 13 determines that the partial area PA5 is not used for generating the combination image, the combination images CP1 to CP3, CP7 to CP9, and CP13 to CP15 are not generated.
  • the partial region located at the outer edge portion of the target image is not used for generating the combined image, generation of the combined image including the partial region where the object is not likely to be represented can be suppressed. Therefore, the processing load related to the process of calculating the likelihood as the shape of the object to be extracted of the shape formed by the partial regions included in the combined image performed by the calculation unit 14 is reduced.
  • the generation unit 13 may not use a partial region including pixels having a pixel value within a predetermined range for generation of a combination image. That is, when information regarding the color of the object to be extracted is known in advance, by not using a partial region including pixels having pixel values that are unlikely to be included in the object to be extracted for generating a combined image. Therefore, it is possible to prevent generation of a combination image including a partial region where there is a high possibility that no object is represented.
  • the generation unit 13 since the object to be extracted is a shirt (clothing), the generation unit 13 represents human skin by setting pixel values in a predetermined range to pixel values representing human skin color.
  • the partial areas can be prevented from being used for generating a combined image. Therefore, it is possible to reduce the processing load related to the process of calculating the likelihood as the shape of the object of the shape formed by the partial areas included in the combination image performed by the calculation unit 14.
  • the calculating unit 14 calculates the likelihood as the shape of the object to be extracted of the shape formed by the partial regions constituting the combined image for each of the combined images. Specifically, the calculation unit 14 calculates a score indicating the likelihood as the shape of the object to be extracted.
  • the object to be extracted may be represented by a plurality of regions that are separated from each other in the target image in order to suppress the number of combined images that are the target of the score calculation.
  • the calculation unit 14 may not calculate the score of the combination image when the positions of the plurality of partial areas constituting the combination image are separated from each other by a predetermined degree or more. .
  • processing related to extraction of combination images that are not targeted for score calculation will be described.
  • FIG. 7 is a diagram illustrating an example of processing for determining whether or not a plurality of partial areas included in the combined image are separated from each other.
  • FIG. 7 shows a determination process for the combined image CP5.
  • the calculation unit 14 extracts partial areas PA51 and PA52 included in the combined image CP5, and sets boundary boxes B11 and B21 circumscribing the partial areas PA51 and PA52.
  • the calculation unit 14 enlarges each of the boundary boxes B11 and B21 to a predetermined extent (for example, 1.1 times) to generate enlarged boundary boxes B12 and B22.
  • the calculation unit 14 determines that the plurality of partial areas included in the combined image are not separated from each other, and the enlarged boundary boxes B12 and B22 overlap each other. If not, it is determined that the plurality of partial areas included in the combined image are separated from each other. In the example of the combined image CP5 shown in FIG. 7, since the enlarged boundary boxes B12 and B22 do not overlap each other, the calculation unit 14 determines that the plurality of partial areas included in the combined image CP5 are separated from each other, and combines them. The score of the image CP5 is not calculated.
  • FIG. 8 is a diagram illustrating an example of a result of determination as to whether or not a plurality of partial areas included in the combined image are separated from each other.
  • combined images CP4, CP5, CP6, CP10, CP11, and CP12 generated based on the partial areas PA1 to PA4 are shown.
  • the calculation unit 14 uses the determination method described with reference to FIG. 7 to include a plurality of portions included in each of the combination images CP5, CP6, CP11, and CP12 among the combination images CP4, CP5, CP6, CP10, CP11, and CP12. It is determined that the areas are separated from each other.
  • the calculation unit 14 does not calculate the scores of the combination images CP5, CP6, CP11, and CP12.
  • a score indicating the likelihood as the shape of the object to be extracted is calculated for the combination image. Since the process is not performed, the number of combination images related to score calculation is suppressed, and the processing load related to the score calculation process is reduced.
  • the calculation unit 14 calculates the score of the combined image based on the degree of matching of the shape formed by the partial region with respect to the shape of the object to be extracted. In the present embodiment, the calculation unit 14 calculates a score by, for example, the sliding window method.
  • the sliding window method sets a window of a certain size and performs predetermined image processing on the area within the set window.
  • the window scanning over the entire surface of the processing target image is performed using the window size. It is a technique that is repeatedly performed while gradually changing.
  • the calculation unit 14 performs a process of calculating the degree of coincidence between the shape of the partial region included in the region in the window set in the combination image and the shape of the object to be extracted. The calculation unit 14 performs this calculation process by scanning the window over the entire surface of the combined image while gradually changing the size of the window.
  • FIG. 9 is a diagram illustrating an example of a template representing the shape of an object stored in the object shape information storage unit 21.
  • the object shape information storage unit 21 since the shirt is extracted from the target image as an object to be extracted, stores a template TW1 representing the shape of the shirt as shown in FIG.
  • FIG. 10 is a diagram showing another example of the template.
  • the object shape information storage unit 21 may store templates TW21, TW22, TW31, and TW32 as shown in FIG.
  • Templates TW21 and TW22 are examples of templates used when the object to be extracted is a skirt.
  • Templates TW31 and TW32 are examples of templates used when the object to be extracted is pants.
  • FIG. 11 is a diagram schematically illustrating score calculation by the sliding window method.
  • the calculation unit 14 calculates the score of the combination image CP10.
  • the calculation unit 14 calculates a score indicating the degree of coincidence between the shape of the object represented in the template TW1 and the shape of the partial area while scanning the template TW1 corresponding to the window over the entire surface of the combined image CP10.
  • the calculation unit 14 calculates, as a score, the ratio of the number of pixels in the partial area to the total number of pixels included in the template TW1 in a state where the template TW1 is set at a certain position in the combined image CP10.
  • the calculation unit 14 changes the size of the template TW1 and scans again.
  • the calculation unit 14 determines the highest score among the calculated scores as the score of the combined image CP10. Then, the calculation unit 14 determines scores for all of the generated combination images or combination images to be processed.
  • the processing load for calculating a score in a window set to a certain size and position is high. Therefore, prior to the score calculation, the calculation unit 14 calculates the number of pixels (effective pixels) in the partial area that may represent the object to be extracted in the set window, and the number of effective pixels. Is less than a predetermined ratio with respect to the pixels of the entire window, score calculation in the window may not be performed.
  • a technique called Integral Image may be used for calculating effective pixels. Integral Image is a technique for efficiently counting the number of pixels that satisfy a predetermined condition in a certain area, and is a technique known to those skilled in the art.
  • the output unit 15 outputs processing target area information that identifies a combined image having the highest score as an object area in which an object in the target image is represented. Specifically, the output unit 15 outputs processing target region information that specifies a combination image having the highest score among the scores of the combination images determined by the calculation unit 14 as an object region.
  • FIG. 12 is a diagram illustrating an example of processing target area information. As illustrated in FIG. 12, the output unit 15 outputs processing target area information TA that identifies the combination image CP10 having the highest score calculated by the calculation unit 14 as the object area FA in which the shirt to be extracted is represented. To do.
  • the output unit 15 outputs the processing target area information when the highest score among the scores of the combination images calculated by the calculation unit 14 is equal to or greater than a predetermined value, and each combination calculated by the calculation unit 14 When the highest score among the image scores is less than a predetermined value, it is determined that the object to be extracted is not represented in the target image, and the processing target area information may not be output. As a result, it is possible to prevent the object extraction process from being performed on the target image that is highly likely not to represent the desired object. In such a case, the output unit 15 may output information notifying that the object to be extracted is not represented in the target image. This allows the user to recognize that the object to be extracted is not represented in the target image. On the other hand, the processing target area information related to the combination image having a score equal to or higher than a predetermined value is output, so that the process of extracting the object is appropriately performed.
  • the object extraction unit 16 extracts an object from the target image based on the processing target area information. Specifically, the object extraction unit 16 extracts a shirt object from the target image TP shown in FIG. 3 based on the processing target area information TA shown in FIG.
  • the object extraction unit 16 may extract an object by, for example, Grabcut method.
  • the Grabcut method is a technique for extracting an object from an image, and is a technique known to those skilled in the art.
  • FIG. 13 is a flowchart showing the processing contents of the image processing method performed in the image processing apparatus 1.
  • the image acquisition unit 11 acquires a target image TP that is an image to be processed (S1).
  • the extraction unit 12 extracts a plurality of partial regions from the target image TP by clustering based on predetermined similarity of pixel values related to colors (S2).
  • the generation unit 13 generates a combined image composed of a combination of one or more partial areas among a plurality of partial areas (S3).
  • the calculation unit 14 calculates the likelihood as the shape of the object to be extracted of the shape formed by the partial areas constituting the combination image for each combination image (S4).
  • the output unit 15 outputs processing target area information that identifies the combination image having the highest likelihood as the object area in which the object in the target image is represented (S5).
  • the object extraction unit 16 extracts an object from the target image TP based on the processing target area information output in step S5 (S6).
  • the image processing program p1 includes a main module m10, an image acquisition module m11, an extraction module m12, a generation module m13, a calculation module m14, an output module m15, and an object extraction module m16.
  • the main module m10 is a part that comprehensively controls image processing.
  • the functions realized by executing the image acquisition module m11, the extraction module m12, the generation module m13, the calculation module m14, the output module m15, and the object extraction module m16 are respectively image acquisition units of the image processing apparatus 1 shown in FIG. 11, the extraction unit 12, the generation unit 13, the calculation unit 14, the output unit 15, and the object extraction unit 16.
  • the image processing program p1 is provided by a non-transitory storage medium d1 such as a magnetic disk, an optical disk, or a semiconductor memory.
  • the image processing program p1 may be provided via a communication network as a computer data signal superimposed on a carrier wave.
  • a part that may constitute a part of an object to be extracted by clustering based on color similarity of pixel values A region is extracted from the target image, and a combination of one or more partial regions generates a plurality of combination images that may form a large region of the object. Then, the likelihood of the shape formed by the partial regions included in each combination image is calculated as the shape of the object, and the combination image having the highest calculated likelihood is specified as the object region representing the object. Processing target area information to be output. Therefore, it is possible to automatically acquire information related to a region that occupies most of the object. For example, it is possible to extract a desired object from a target image with high accuracy by performing Grabcut based on the processing target area information obtained in this way.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置は、処理対象の画像である対象画像を取得する画像取得手段と、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出手段と、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段と、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出手段と、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段と、を備える。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
　従来より、画像から所定のオブジェクトを抽出する技術がある。例えば、Ｇｒａｂｃｕｔという技術では、複数の色からなるオブジェクトを画像から抽出することができる（例えば、非特許文献１参照）。
GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts、SIGGRAPH '04 ACM SIGGRAPH 2004 Papers、Pages　309-314、[online]、［２０１６年４月２０日検索］、インターネット<http://cvg.ethz.ch/teaching/cvl/2012/grabcut-siggraph04.pdf>
　上記した従来の技術では、抽出対象のオブジェクトが大部分を占めるような領域を予め指定する必要があった。従って、この領域の指定のための手間がかかっていた。
　そこで本発明は、抽出対象のオブジェクトが大部分を占めるような領域を自動的に画像から抽出することを目的とする。
　上記課題を解決するために、本発明の一形態に係る画像処理装置は、処理対象の画像である対象画像を取得する画像取得手段と、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出手段と、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段と、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出手段と、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段と、を備える。
　本発明の一形態に係る画像処理方法は、画像処理装置における画像処理方法であって、処理対象の画像である対象画像を取得する画像取得ステップと、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出ステップと、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成ステップと、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出ステップと、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力ステップと、を有する。
　本発明の一形態に係る画像処理プログラムは、コンピュータを、処理対象の画像である対象画像を取得する画像取得手段、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出手段、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出手段、及び、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段、として機能させる。
　上記の形態によれば、画素値の色類似性に基づくクラスタリングにより、抽出対象のオブジェクトの一部を構成する可能性がある部分領域が対象画像から抽出され、１以上の部分領域を組み合わせることにより、オブジェクトの大部分の領域を形成する可能性がある組み合わせ画像が複数生成される。そして、各組み合わせ画像に含まれる部分領域により形成される形状の、当該オブジェクトの形状としての尤もらしさが算出され、算出された尤もらしさが最も高い組み合わせ画像をオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報が出力される。従って、オブジェクトの大部分を占める領域に関する情報を、自動的に取得することが可能となる。例えば、このように得られる処理対象領域情報に基づいてＧｒａｂｃｕｔを実施することにより、対象画像から所望のオブジェクトを高精度に抽出することができる。
　別の形態に係る画像処理装置では、生成手段は、対象画像における外縁部に位置する部分領域を組み合わせ画像の生成に用いないこととしてもよい。
　抽出対象のオブジェクトが対象画像の外縁部に表されている可能性が低いことに鑑みて、上記の形態によれば、対象画像の外縁部に位置する部分領域が組み合わせ画像の生成に用いられないので、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像が生成されない。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。
　別の形態に係る画像処理装置では、生成手段は、所定範囲の画素値の画素を含む部分領域を組み合わせ画像の生成に用いないこととしてもよい。
　上記形態によれば、抽出対象のオブジェクトに含まれる可能性が低い画素値を有する画素を含む部分領域が組み合わせ画像の生成に用いられないので、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像が生成されない。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。
　別の形態に係る画像処理装置では、所定範囲の画素値は、人の肌の色を表す画素値であることとしてもよい。
　上記形態によれば、人の肌の色を表す画素値を有する画素を含む部分領域が組み合わせ画像の生成に用いられないので、人又は人の一部が表された部分領域を含む組み合わせ画像が生成されない。例えば、衣服等のアイテムを身につけた人が表されている対象画像から、そのアイテムを抽出対象のオブジェクトとする場合において、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像の生成を防止できる。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。
　さらに別の形態に係る画像処理装置では、算出手段は、組み合わせ画像を構成する複数の部分領域の位置が所定の程度以上互いに離間している場合には、該組み合わせ画像のスコアを算出しないこととしてもよい。
　対象画像において、抽出対象のオブジェクトが互いに離間した複数の領域により表されている可能性が低いことに鑑みて、上記形態によれば、組み合わせ画像を構成する複数の部分領域の位置が互いに所定の程度以上離間している場合には、当該組み合わせ画像に関するオブジェクトの形状としての尤もらしさを算出する処理が実施されない。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。
　さらに別の形態に係る画像処理装置では、処理対象領域情報に基づいて、対象画像からオブジェクトを抽出するオブジェクト抽出手段をさらに有することとしてもよい。
　上記形態によれば、オブジェクトの大部分を占める領域に関する情報を含む処理対象領域情報に基づいてオブジェクトの抽出を実施できるので、対象画像から所望のオブジェクトを高精度に抽出することができる。
　上記形態において、画像処理装置では、オブジェクト抽出手段は、Ｇｒａｂｃｕｔ法によりオブジェクトを抽出することとしてもよい。
　上記形態によれば、オブジェクトの大部分を占める領域に関する情報を含む処理対象領域情報に基づいて、Ｇｒａｂｃｕｔによるオブジェクトの抽出を実施できるので、対象画像から所望のオブジェクトの高精度な抽出が実現される。
　さらに別の形態に係る画像処理装置では、算出手段は、予め記憶しているオブジェクトの形状に対する、部分領域により形成される形状の一致の度合いに基づいて、スコアを算出することとしてもよい。
　上記形態によれば、部分領域により形成される形状と予め記憶しているオブジェクトの形状との一致の度合いに基づいてスコアの算出が実施されるので、オブジェクトの形状としての尤もらしさが適切に表されたスコアが算出される。
　別の形態に係る画像処理装置では、出力手段は、算出手段により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値以上である場合に、処理対象領域情報を出力し、算出手段により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値未満である場合に、対象画像に抽出対象のオブジェクトが表されていないと判断し、処理対象領域情報を出力しないこととしてもよい。
　上記形態によれば、所定値以上のスコアを有する組み合わせ画像が生成されていない場合に、対象画像にオブジェクトが表されていないと判断し、処理対象領域情報が出力されない。これにより、例えば、所望のオブジェクトが表されていない可能性が高い対象画像に対して、オブジェクトを抽出する処理が実施されることが防止される。一方、所定値以上のスコアを有する組み合わせ画像に関する処理対象領域情報が出力されることとなるので、オブジェクトを抽出する処理が適切に実施される。
　上記形態において、出力手段は、対象画像に抽出対象のオブジェクトが表されていないことを通知する情報を出力してもよい。
　上記形態によれば、対象画像に抽出対象のオブジェクトが表されていないことをユーザに認識させることができる。
　本発明の一側面によれば、抽出対象のオブジェクトが大部分を占めるような領域を自動的に画像から抽出することが可能となる。
画像処理装置の機能構成を示すブロック図である。 画像処理装置のハードウェア構成を示す図である。 対象画像の例を示す図である。 対象画像から抽出された部分領域を示す図である。 生成部により生成された組み合わせ画像の例を示す図である。 対象画像の外縁部に位置する部分領域を組み合わせ画像の生成に用いない場合の例を示す図である。 組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かを判定する処理の例を説明する図である。 組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かの判定の結果の例を示す図である。 オブジェクト形状情報記憶部に記憶されている、オブジェクトの形状を表すテンプレートの例を示す図である。 テンプレートの他の例を示す図である。 Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法によるスコア算出を概略的に説明する図である。 処理対象領域情報の例を示す図である。 画像処理装置において実施される画像処理方法の処理内容を示すフローチャートである。 画像処理プログラムの構成を示す図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
　図１は、本実施形態に係る画像処理装置１の機能的構成を示すブロック図である。画像処理装置１は、画像から所望のオブジェクトを抽出する装置であって、特に、オブジェクトの抽出に先立って、抽出対象のオブジェクトが大部分を占めるような領域を、自動的に画像から抽出する。
　オブジェクトの抽出に供する画像は、所望のオブジェクトが表された画像であれば限定されないが、本実施形態では、抽出対象のオブジェクトを衣服として、衣服が表された画像を処理対象の画像とする。処理対象の画像は、衣服を身につけた人物が表されている画像であってもよい。
　処理対象の画像には、予めカテゴリ情報が関連付けられている。カテゴリ情報は、抽出対象のオブジェクトが属するカテゴリに関する情報であって、例えば、衣服の一種である「シャツ」等であってもよい。本実施形態の画像処理装置１は、カテゴリ情報に基づいて、処理対象の画像から、抽出対象のオブジェクトが表されている領域を特定して、特定した領域に関する処理対象領域情報を出力する。処理対象領域情報に基づいて、処理対象の画像から、例えばＧｒａｂｃｕｔという方法により、オブジェクトが抽出される。本実施形態では、オブジェクトが表されている領域に関する情報である処理対象領域情報を用いることにより、オブジェクトを高精度に抽出できる。そして、例えば、抽出されたオブジェクトのカテゴリをさらに細分化する処理を実施できる。抽出されたオブジェクトが例えばシャツである場合には、色、柄、形等のカテゴリを細分化できる。
　図１に示すように、画像処理装置１は、機能的には、画像取得部１１（画像取得手段）、抽出部１２（抽出手段）、生成部１３（生成手段）、算出部１４（算出手段）、出力部１５（出力手段）及びオブジェクト抽出部１６（オブジェクト抽出手段）を備える。
　また画像処理装置１は、オブジェクト形状情報記憶部２１といった記憶手段にアクセス可能である。オブジェクト形状情報記憶部２１は、画像処理装置１に備えられることとしてもよいし、画像処理装置１からのアクセスが可能に設けられた外部の記憶手段として構成されてもよい。
　図２は、画像処理装置１のハードウェア構成図である。画像処理装置１は、物理的には、図２に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク等で構成される補助記憶装置１０３、通信制御装置１０４などを含むコンピュータシステムとして構成されている。画像処理装置１は、入力デバイスであるキーボード、タッチパネル、マウス等の入力装置１０５及びディスプレイ等の出力装置１０６をさらに含むこととしてもよい。
　図１に示した各機能は、図２に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４等を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。
　続いて、画像処理装置１の各機能部を説明する。画像取得部１１は、処理対象の画像である対象画像を取得する。図３は、対象画像の例を示す図である。図３に示すように、対象画像ＴＰには、抽出対象のオブジェクトである衣服を身につけた人物が表されている。図３に示されるシャツは、均一な色を有するが、光の当たり方に依存して異なる色により表された部分を含む。また、背景の壁も、光の当たり方により、異なる色により表された部分を含む。
　抽出部１２は、対象画像から複数の部分領域を抽出する。具体的には、抽出部１２は、画素値の所定の色類似性に基づくクラスタリングにより、複数の部分領域を抽出する。抽出部１２は、例えば、Ｋ－ｍｅａｎｓ法によりクラスタリングを行う。Ｋ－ｍｅａｎｓ法は、同様の色を有する領域をクラスタリングする技術であって、本実施形態の技術分野において周知の技術である。
　図４は、対象画像ＴＰから抽出された部分領域ＰＡ１～ＰＡ５を示す図である。部分領域ＰＡ１～ＰＡ３はそれぞれ、抽出対象のオブジェクトであるシャツの一部に該当するが、異なる色を有する別の領域として抽出されている。部分領域ＰＡ４は、シャツを身につけた人物の髪の部分に相当する。部分領域ＰＡ５は、背景の一部に相当する。なお、抽出部１２は、図４に示すように、抽出した各部分領域ＰＡ１～ＰＡ５を二値化処理してもよい。これにより、以後の処理負荷が軽減される。
　生成部１３は、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する。図５は、生成部１３により生成された組み合わせ画像の例を示す図である。例えば、生成部１３は、図４に示した部分領域ＰＡ１～ＰＡ５のうちの１以上の部分領域を組み合わせて、図５に示すような組み合わせ画像ＣＰ１～ＣＰ１５を生成する。例えば、生成部１３は、部分領域ＰＡ２と部分領域ＰＡ５とを組み合わせて、組み合わせ画像ＣＰ１を生成する。
　生成部１３は、抽出部１２により抽出された全ての部分領域を用いた組み合わせの全てのケースに基づいて、組み合わせ画像を生成できる。従って、生成可能な組み合わせ画像の数が非常に大きくなり、算出部１４等における処理負荷の増大を招く可能性がある。そこで、例えば、対象画像において、抽出対象のオブジェクトが画像の中央付近に表されていることが予め判明している場合等には、抽出対象のオブジェクトが対象画像の外縁部に表されている可能性が低いことに鑑みて、生成部１３は、対象画像における外縁部に位置する部分領域を組み合わせ画像の生成に用いないこととしてもよい。
　図６は、対象画像の外縁部に位置する部分領域を組み合わせ画像の生成に用いない場合の例を示す図である。図６に示すように、生成部１３は、部分領域ＰＡ１～ＰＡ５のうち、対象画像の外縁部に位置する部分領域ＰＡ５を抽出し、部分領域ＰＡ５を組み合わせ画像の生成に用いないことを判断する。生成部１３は、例えば、部分領域と対象画像の外縁と接する部分の長さが、所定の長さ以上である場合、又は、外縁の全周の長さに対する割合が所定以上である場合に、当該部分領域が対象画像の外縁部に位置すると判定してもよい。
　生成部１３が部分領域ＰＡ５を組み合わせ画像の生成に用いないと判断することにより、組み合わせ画像ＣＰ１～ＣＰ３，ＣＰ７～ＣＰ９，ＣＰ１３～ＣＰ１５が生成されないこととなる。このように、対象画像の外縁部に位置する部分領域が組み合わせ画像の生成に用いられないことにより、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像の生成を抑止できる。従って、算出部１４により行われる、組み合わせ画像に含まれる部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。
　また、大量の組み合わせ画像が生成されることを防止するために、生成部１３は、所定範囲の画素値の画素を含む部分領域を組み合わせ画像の生成に用いないこととしてもよい。即ち、抽出対象のオブジェクトの色に関する情報が予め判明している場合には、抽出対象のオブジェクトに含まれる可能性が低い画素値を有する画素を含む部分領域を組み合わせ画像の生成に用いないことにより、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像の生成を防止できる。
　本実施形態では、抽出対象のオブジェクトはシャツ（衣服）であるので、生成部１３は、所定範囲の画素値を人の肌の色を表す画素値とすることにより、人の肌が表された部分領域を組み合わせ画像の生成に用いないようにすることができる。従って、算出部１４により行われる、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷を軽減することが可能となる。
　算出部１４は、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを、組み合わせ画像のそれぞれに対して算出する。具体的には、算出部１４は、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを算出する。
　なお、スコア算出の処理にかかる処理負荷は大きいので、スコア算出の対象となる組み合わせ画像の数を抑制するために、対象画像において抽出対象のオブジェクトが互いに離間した複数の領域により表されている可能性が低いことに鑑みて、算出部１４は、組み合わせ画像を構成する複数の部分領域の位置が所定の程度以上互いに離間している場合には、当該組み合わせ画像のスコアを算出しないこととしてもよい。スコアの算出処理の説明に先立って、スコア算出対象としない組み合わせ画像の抽出に関する処理を説明する。
　図７は、組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かを判定する処理の例を説明する図である。図７では、組み合わせ画像ＣＰ５に対する判定処理を示す。まず、算出部１４は、組み合わせ画像ＣＰ５に含まれる部分領域ＰＡ５１，ＰＡ５２を抽出し、それぞれの部分領域ＰＡ５１，ＰＡ５２に外接するバウンダリーボックスＢ１１，Ｂ２１を設定する。続いて、算出部１４は、バウンダリーボックスＢ１１，Ｂ２１のそれぞれを所定の程度拡大（例えば１．１倍）して、拡大バウンダリーボックスＢ１２，Ｂ２２を生成する。
　そして、算出部１４は、拡大バウンダリーボックスＢ１２，Ｂ２２が互いに重なる場合には、組み合わせ画像に含まれる複数の部分領域が互いに離間していないと判定し、拡大バウンダリーボックスＢ１２，Ｂ２２が互いに重ならない場合には、組み合わせ画像に含まれる複数の部分領域が互いに離間していると判定する。図７に示す組み合わせ画像ＣＰ５の例では、拡大バウンダリーボックスＢ１２，Ｂ２２が互いに重ならないので、算出部１４は、組み合わせ画像ＣＰ５に含まれる複数の部分領域が互いに離間していると判定し、組み合わせ画像ＣＰ５のスコアを算出しないこととする。
　図８は、組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かの判定の結果の例を示す図である。図８に示す例では、部分領域ＰＡ１～ＰＡ４に基づいて生成された組み合わせ画像ＣＰ４，ＣＰ５，ＣＰ６，ＣＰ１０，ＣＰ１１，ＣＰ１２が示されている。算出部１４は、図７を参照して説明した判定方法により、組み合わせ画像ＣＰ４，ＣＰ５，ＣＰ６，ＣＰ１０，ＣＰ１１，ＣＰ１２のうち、組み合わせ画像ＣＰ５，ＣＰ６，ＣＰ１１，ＣＰ１２のそれぞれに含まれる複数の部分領域が互いに離間していると判定する。そして、算出部１４は、組み合わせ画像ＣＰ５，ＣＰ６，ＣＰ１１，ＣＰ１２のスコアを算出しないこととする。
　このように、組み合わせ画像を構成する複数の部分領域の位置が互いに所定の程度以上離間している場合には、当該組み合わせ画像に関する、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを算出する処理が実施されないので、スコア算出に係る組み合わせ画像の数が抑制され、スコア算出処理に関する処理負荷が軽減される。
　続いて、算出部１４による、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアの算出を説明する。算出部１４は、抽出対象のオブジェクトの形状に対する、部分領域により形成される形状の一致の度合いに基づいて、組み合わせ画像のスコアを算出する。本実施形態では、算出部１４は、例えば、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法により、スコアを算出する。
　Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法は、あるサイズのウィンドウを設定し、設定したウィンドウ内の領域に対して所定の画像処理を行うものであって、処理対象の画像の全面に亘るウィンドウの走査を、ウィンドウの大きさを徐々に変更しながら繰り返し行う技術である。本実施形態では、算出部１４は、組み合わせ画像において設定するウィンドウ内の領域に含まれる部分領域の形状と、抽出対象のオブジェクトの形状との一致の度合いを算出する処理を行う。算出部１４は、この算出処理を、ウィンドウの大きさを徐々に変更しながら組み合わせ画像の全面に亘るウィンドウの走査を行って実施する。
　抽出対象のオブジェクトの形状は、図１に示すオブジェクト形状情報記憶部２１に予め記憶されている。図９は、オブジェクト形状情報記憶部２１に記憶されている、オブジェクトの形状を表すテンプレートの例を示す図である。本実施形態では、対象画像からシャツを抽出対象のオブジェクトとして抽出するので、オブジェクト形状情報記憶部２１は、図９に示すようなシャツの形状を表すテンプレートＴＷ１を記憶している。
　図１０は、テンプレートの他の例を示す図である。オブジェクト形状情報記憶部２１は、図１０に示すようなテンプレートＴＷ２１，ＴＷ２２，ＴＷ３１，ＴＷ３２を記憶していてもよい。テンプレートＴＷ２１，ＴＷ２２は、抽出対象のオブジェクトがスカートである場合に用いられるテンプレートの例である。また、テンプレートＴＷ３１，ＴＷ３２は、抽出対象のオブジェクトがパンツである場合に用いられるテンプレートの例である。
　図１１は、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法によるスコア算出を概略的に説明する図である。図１１に示す例では、算出部１４は、組み合わせ画像ＣＰ１０のスコアを算出する。算出部１４は、ウィンドウに相当するテンプレートＴＷ１を組み合わせ画像ＣＰ１０の全面に亘って走査させながら、テンプレートＴＷ１に表されたオブジェクトの形状と部分領域の形状との一致の度合いを示すスコアを算出する。
　例えば、算出部１４は、テンプレートＴＷ１が組み合わせ画像ＣＰ１０中のある位置に設定された状態において、テンプレートＴＷ１に含まれる全画素数に対する部分領域の画素数の割合を、スコアとして算出する。あるサイズに設定されたテンプレートＴＷ１による組み合わせ画像ＣＰ１０の全面に亘る走査を行いながらのスコアの算出が終了すると、算出部１４は、テンプレートＴＷ１のサイズを変更して再び走査を行う。算出部１４は、このように算出されたスコアのうち、最も高いスコアを組み合わせ画像ＣＰ１０のスコアとして決定する。そして、算出部１４は、生成された組み合わせ画像または処理対象の組み合わせ画像の全てについてのスコアを決定する。
　なお、本実施形態で実施されるＳｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法では、あるサイズ及び位置に設定されたウィンドウにおけるスコア算出にかかる処理負荷が高い。従って、スコア算出に先立って、算出部１４は、設定されたウィンドウ内における抽出対象のオブジェクトを表している可能性がある部分領域の画素（有効画素）の数を算出し、有効画素の画素数が当該ウィンドウ全体の画素に対して所定の割合未満である場合に、当該ウィンドウにおけるスコア算出を実施しないこととしてもよい。有効画素の算出には、例えば、Ｉｎｔｅｇｒａｌ　Ｉｍａｇｅという技術を用いてもよい。Ｉｎｔｅｇｒａｌ　Ｉｍａｇｅは、ある領域内における所定の条件を満たす画素の数を効率良くカウントする技術であって、当業者に知られた技術である。
　出力部１５は、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する。具体的には、出力部１５は、算出部１４により決定された各組み合わせ画像のスコアのうち、最も高いスコアを有する組み合わせ画像を、オブジェクト領域として特定する処理対象領域情報を出力する。図１２は、処理対象領域情報の例を示す図である。図１２に示すように、出力部１５は、算出部１４により算出されたスコアが最も高い組み合わせ画像ＣＰ１０を、抽出対象のシャツが表されているオブジェクト領域ＦＡとして特定する処理対象領域情報ＴＡを出力する。
　なお、出力部１５は、算出部１４により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値以上である場合に、処理対象領域情報を出力し、算出部１４により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値未満である場合に、対象画像に抽出対象のオブジェクトが表されていないと判断し、処理対象領域情報を出力しないこととしてもよい。これにより、所望のオブジェクトが表されていない可能性が高い対象画像に対して、オブジェクトを抽出する処理が実施されることが防止される。また、このような場合に、出力部１５は、対象画像に抽出対象のオブジェクトが表されていないことを通知する情報を出力してもよい。これにより、対象画像に抽出対象のオブジェクトが表されていないことをユーザに認識させることができる。一方、所定値以上のスコアを有する組み合わせ画像に関する処理対象領域情報が出力されることとなるので、オブジェクトを抽出する処理が適切に実施される。
　オブジェクト抽出部１６は、処理対象領域情報に基づいて、対象画像からオブジェクトを抽出する。具体的には、オブジェクト抽出部１６は、図１２に示した処理対象領域情報ＴＡに基づいて、図３に示した対象画像ＴＰから、シャツのオブジェクトを抽出する。オブジェクト抽出部１６は、例えば、Ｇｒａｂｃｕｔ法によりオブジェクトを抽出してもよい。Ｇｒａｂｃｕｔ法は、画像からオブジェクトを抽出する技術であって、当業者に知られた技術である。
　次に、図１３を参照して、本実施形態の画像処理装置１の動作について説明する。図１３は、画像処理装置１において実施される画像処理方法の処理内容を示すフローチャートである。
　まず、画像取得部１１は、処理対象の画像である対象画像ＴＰを取得する（Ｓ１）。次に、抽出部１２は、色に関する画素値の所定の類似性に基づくクラスタリングにより、対象画像ＴＰから複数の部分領域を抽出する（Ｓ２）。
　続いて、生成部１３は、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を生成する（Ｓ３）。次に、算出部１４は、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを、組み合わせ画像のそれぞれに対して算出する（Ｓ４）。
　続いて、出力部１５は、最も尤もらしさが高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する（Ｓ５）。
　そして、オブジェクト抽出部１６は、ステップＳ５において出力された処理対象領域情報に基づいて、対象画像ＴＰからオブジェクトを抽出する（Ｓ６）。
　次に、図１４を参照して、コンピュータを画像処理装置１として機能させるための画像処理プログラムを説明する。画像処理プログラムｐ１は、メインモジュールｍ１０、画像取得モジュールｍ１１、抽出モジュールｍ１２、生成モジュールｍ１３、算出モジュールｍ１４、出力モジュールｍ１５及びオブジェクト抽出モジュールｍ１６を備える。
　メインモジュールｍ１０は、画像処理を統括的に制御する部分である。画像取得モジュールｍ１１、抽出モジュールｍ１２、生成モジュールｍ１３、算出モジュールｍ１４、出力モジュールｍ１５及びオブジェクト抽出モジュールｍ１６を実行することにより実現される機能はそれぞれ、図１に示される画像処理装置１の画像取得部１１、抽出部１２、生成部１３、算出部１４、出力部１５及びオブジェクト抽出部１６の機能と同様である。
　画像処理プログラムｐ１は、例えば、磁気ディスクや光ディスクまたは半導体メモリ等の非一時的な記憶媒体ｄ１によって提供される。また、画像処理プログラムｐ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
　以上説明した本実施形態の画像処理装置１、画像処理方法及び画像処理プログラムｐ１によれば、画素値の色類似性に基づくクラスタリングにより、抽出対象のオブジェクトの一部を構成する可能性がある部分領域が対象画像から抽出され、１以上の部分領域を組み合わせることにより、オブジェクトの大部分の領域を形成する可能性がある組み合わせ画像が複数生成される。そして、各組み合わせ画像に含まれる部分領域により形成される形状の、当該オブジェクトの形状としての尤もらしさが算出され、算出された尤もらしさが最も高い組み合わせ画像をオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報が出力される。従って、オブジェクトの大部分を占める領域に関する情報を、自動的に取得することが可能となる。例えば、このように得られる処理対象領域情報に基づいてＧｒａｂｃｕｔを実施することにより、対象画像から所望のオブジェクトを高精度に抽出することができる。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　１…画像処理装置、１１…画像取得部、１２…抽出部、１３…生成部、１４…算出部、１５…出力部、１６…オブジェクト抽出部、２１…オブジェクト形状情報記憶部、ｄ１…記憶媒体、ｍ１０…メインモジュール、ｍ１１…画像取得モジュール、ｍ１２…抽出モジュール、ｍ１３…生成モジュール、ｍ１４…算出モジュール、ｍ１５…出力モジュール、ｍ１６…オブジェクト抽出モジュール、ｐ１…画像処理プログラム。
 
 

Claims (12)

  1. 　処理対象の画像である対象画像を取得する画像取得手段と、
    　画素値の所定の色類似性に基づくクラスタリングにより、前記対象画像から複数の部分領域を抽出する抽出手段と、
    　前記複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段と、
    　前記組み合わせ画像を構成する前記部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、前記組み合わせ画像のそれぞれに対して算出する算出手段と、
    　前記スコアが最も高い組み合わせ画像を、前記対象画像における前記オブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段と、
    　を備える画像処理装置。
  2. 　前記生成手段は、前記対象画像における外縁部に位置する部分領域を前記組み合わせ画像の生成に用いない、
    請求項１に記載の画像処理装置。
  3. 　前記生成手段は、所定範囲の画素値の画素を含む部分領域を前記組み合わせ画像の生成に用いない、
    請求項１または２に記載の画像処理装置。
  4. 　前記所定範囲の画素値は、人の肌の色を表す画素値である、請求項３に記載の画像処理装置。
  5. 　前記算出手段は、前記組み合わせ画像を構成する複数の部分領域の位置が所定の程度以上互いに離間している場合には、該組み合わせ画像の前記スコアを算出しない、
    　請求項１～４のいずれか一項に記載の画像処理装置。
  6. 　前記処理対象領域情報に基づいて、前記対象画像から前記オブジェクトを抽出するオブジェクト抽出手段をさらに有する、
    　請求項１～５のいずれか一項に記載の画像処理装置。
  7. 　前記オブジェクト抽出手段は、Ｇｒａｂｃｕｔ法により前記オブジェクトを抽出する、
    　請求項６に記載の画像処理装置。
  8. 　前記算出手段は、予め記憶している前記オブジェクトの形状に対する、前記部分領域により形成される形状の一致の度合いに基づいて、前記スコアを算出する、
    　請求項１～７のいずれか一項に記載の画像処理装置。
  9. 　前記出力手段は、
    　前記算出手段により算出された各組み合わせ画像の前記スコアのうち最も高いスコアが所定値以上である場合に、前記処理対象領域情報を出力し、
    　前記算出手段により算出された各組み合わせ画像の前記スコアのうち最も高いスコアが所定値未満である場合に、前記対象画像に抽出対象のオブジェクトが表されていないと判断し、前記処理対象領域情報を出力しない、
    　請求項１～８のいずれか一項に記載の画像処理装置。
  10. 　前記出力手段は、前記対象画像に抽出対象のオブジェクトが表されていないことを通知する情報を出力する、請求項９に記載の画像処理装置。
  11. 　画像処理装置における画像処理方法であって、
    　処理対象の画像である対象画像を取得する画像取得ステップと、
    　画素値の所定の色類似性に基づくクラスタリングにより、前記対象画像から複数の部分領域を抽出する抽出ステップと、
    　前記複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成ステップと、
    　前記組み合わせ画像を構成する前記部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、前記組み合わせ画像のそれぞれに対して算出する算出ステップと、
    　前記スコアが最も高い組み合わせ画像を、前記対象画像における前記オブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力ステップと、
    　を有する画像処理方法。
  12. 　コンピュータを、
    　処理対象の画像である対象画像を取得する画像取得手段、
    　画素値の所定の色類似性に基づくクラスタリングにより、前記対象画像から複数の部分領域を抽出する抽出手段、
    　前記複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段、
    　前記組み合わせ画像を構成する前記部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、前記組み合わせ画像のそれぞれに対して算出する算出手段、及び、
    　前記スコアが最も高い組み合わせ画像を、前記対象画像における前記オブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段、
    　として機能させる画像処理プログラム。
     
     
PCT/JP2016/065771 2016-05-27 2016-05-27 画像処理装置、画像処理方法及び画像処理プログラム WO2017203705A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2016/065771 WO2017203705A1 (ja) 2016-05-27 2016-05-27 画像処理装置、画像処理方法及び画像処理プログラム
US16/304,523 US10810744B2 (en) 2016-05-27 2016-05-27 Image processing device, image processing method and image processing program
JP2017515261A JP6148426B1 (ja) 2016-05-27 2016-05-27 画像処理装置、画像処理方法及び画像処理プログラム
EP16903186.1A EP3467769A4 (en) 2016-05-27 2016-05-27 PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065771 WO2017203705A1 (ja) 2016-05-27 2016-05-27 画像処理装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2017203705A1 true WO2017203705A1 (ja) 2017-11-30

Family

ID=59061275

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065771 WO2017203705A1 (ja) 2016-05-27 2016-05-27 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10810744B2 (ja)
EP (1) EP3467769A4 (ja)
JP (1) JP6148426B1 (ja)
WO (1) WO2017203705A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7019007B1 (ja) * 2020-09-28 2022-02-14 楽天グループ株式会社 照合システム、照合方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259969A (ja) * 2000-12-25 2002-09-13 Matsushita Electric Ind Co Ltd 画像検出装置、プログラムおよび記録媒体
JP2005250786A (ja) * 2004-03-03 2005-09-15 Tateyama Machine Kk 画像認識方法
JP2012088796A (ja) * 2010-10-15 2012-05-10 Kddi Corp 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2014203157A (ja) * 2013-04-02 2014-10-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952286B2 (en) 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
US20020186875A1 (en) * 2001-04-09 2002-12-12 Burmer Glenna C. Computer methods for image pattern recognition in organic material
US8068595B2 (en) * 2002-03-15 2011-11-29 Intellisist, Inc. System and method for providing a multi-modal communications infrastructure for automated call center operation
JP2010055194A (ja) * 2008-08-26 2010-03-11 Sony Corp 画像処理装置および方法、学習装置および方法、並びにプログラム
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
JP5284863B2 (ja) * 2009-04-30 2013-09-11 独立行政法人理化学研究所 画像処理装置、画像処理方法およびプログラム
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
US20120230583A1 (en) * 2009-11-20 2012-09-13 Nec Corporation Object region extraction device, object region extraction method, and computer-readable medium
CN102770864B (zh) * 2010-01-29 2014-05-28 香港科技大学 基于图像的建筑物图案检测以及建模
JP5615088B2 (ja) * 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
US8675957B2 (en) * 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
JP5726646B2 (ja) * 2011-06-10 2015-06-03 株式会社東芝 画像処理装置、方法、及びプログラム
US9229958B2 (en) * 2011-09-27 2016-01-05 Hewlett-Packard Development Company, L.P. Retrieving visual media
JP4922472B1 (ja) * 2011-09-29 2012-04-25 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
JP5840940B2 (ja) * 2011-12-16 2016-01-06 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム
US9025876B2 (en) * 2012-03-05 2015-05-05 Thomson Licensing Method and apparatus for multi-label segmentation
GB2501473A (en) 2012-04-23 2013-10-30 Clothes Network Ltd Image based clothing search and virtual fitting
JP5968098B2 (ja) * 2012-06-14 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP6183038B2 (ja) * 2012-11-15 2017-08-23 株式会社リコー 領域抽出装置、領域抽出方法およびプログラム
JP2014164656A (ja) * 2013-02-27 2014-09-08 Ricoh Co Ltd 画像処理方法およびプログラム
EP2790152B1 (en) * 2013-04-12 2015-12-02 Alcatel Lucent Method and device for automatic detection and tracking of one or multiple objects of interest in a video
US9460518B2 (en) * 2013-04-17 2016-10-04 Yahoo! Inc. Visual clothing retrieval
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
US9129191B2 (en) * 2013-12-16 2015-09-08 Adobe Systems Incorporated Semantic object selection
CN105940392B (zh) * 2014-02-19 2019-09-27 高通股份有限公司 装置的图像编辑技术
US20150363660A1 (en) * 2014-06-12 2015-12-17 Asap54.Com Ltd System for automated segmentation of images through layout classification
WO2016004330A1 (en) * 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
US9092691B1 (en) * 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
WO2016029399A1 (en) * 2014-08-28 2016-03-03 Qualcomm Incorporated Object selection based on region of interest fusion
US9443162B2 (en) * 2014-09-25 2016-09-13 Aricent Holdings Luxembourg S.A.R.L. Intelligent background selection and image segmentation
CN105631455B (zh) * 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及系统
US9536167B2 (en) * 2014-12-10 2017-01-03 Ricoh Co., Ltd. Realogram scene analysis of images: multiples for scene analysis
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
WO2016123538A1 (en) * 2015-01-29 2016-08-04 Clear Research Corporation Mobile visual commerce system
CN105989174B (zh) * 2015-03-05 2019-11-01 欧姆龙株式会社 关注区域提取装置以及关注区域提取方法
CN106295666B (zh) * 2015-05-14 2020-03-03 佳能株式会社 获取分类器、检测对象的方法和装置及图像处理设备
US9563962B2 (en) * 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
AU2016315938B2 (en) * 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US9741125B2 (en) * 2015-10-28 2017-08-22 Intel Corporation Method and system of background-foreground segmentation for image processing
US11568627B2 (en) * 2015-11-18 2023-01-31 Adobe Inc. Utilizing interactive deep learning to select objects in digital visual media
US10760899B2 (en) * 2015-12-25 2020-09-01 Rakuten, Inc. Shape discrimination device, shape discrimination method and shape discrimination program
JP2017126304A (ja) * 2016-01-15 2017-07-20 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
JP6565951B2 (ja) * 2017-02-09 2019-08-28 トヨタ自動車株式会社 画像領域抽出方法および画像領域抽出プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259969A (ja) * 2000-12-25 2002-09-13 Matsushita Electric Ind Co Ltd 画像検出装置、プログラムおよび記録媒体
JP2005250786A (ja) * 2004-03-03 2005-09-15 Tateyama Machine Kk 画像認識方法
JP2012088796A (ja) * 2010-10-15 2012-05-10 Kddi Corp 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2014203157A (ja) * 2013-04-02 2014-10-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOTA OHARA ET AL.: "Jokei Gazo karano Moji Chushutsu ni Okeru Iro Bunkai Gazo no Fukugo o Mochiita Koho Gazo Seisei to Tokuchoryo Hokyo ni Kansuru Kenkyu", DAI 75 KAI (HEISEI 25 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU(2) JINKO CHINO TO NINCHI KAGAKU, vol. 75, 6 March 2013 (2013-03-06), pages 447 - 448, XP009513156 *
See also references of EP3467769A4 *

Also Published As

Publication number Publication date
EP3467769A1 (en) 2019-04-10
EP3467769A4 (en) 2019-11-13
JP6148426B1 (ja) 2017-06-14
US10810744B2 (en) 2020-10-20
US20190304096A1 (en) 2019-10-03
JPWO2017203705A1 (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
JP5298831B2 (ja) 画像処理装置及びプログラム
US8805077B2 (en) Subject region detecting apparatus
KR101611895B1 (ko) 감정 기반의 자동 문구 디자인 장치 및 그 방법
US8923610B2 (en) Image processing apparatus, image processing method, and computer readable medium
US10991104B2 (en) Image processing device, image processing method, and program
US11373351B2 (en) Image processing method, program, and image processing system
JP2017045441A (ja) 画像生成方法及び画像生成システム
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
JP6542406B1 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP6148426B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6337680B2 (ja) 画像処理システム、画像処理装置、プログラム及び画像処理方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
JP2002175532A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記憶媒体
JP6717769B2 (ja) 情報処理装置及びプログラム
KR20200045447A (ko) 문자 인식을 위한 영상 전처리 장치 및 방법
JP2019145182A (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP6609181B2 (ja) 文字属性推定装置、及び文字属性推定プログラム
JP7415202B2 (ja) 判定方法、判定プログラム、および情報処理装置
US11508083B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US20210216748A1 (en) Probability acquisition apparatus and probability acquisition method
Dalla Mura et al. Classification of hyperspectral images by using morphological attribute filters and independent component analysis
JP6947348B2 (ja) 画像処理装置、及び画像処理プログラム
JP6381859B2 (ja) 形状弁別装置、形状弁別方法及び形状弁別プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017515261

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903186

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016903186

Country of ref document: EP

Effective date: 20190102