WO2015115274A1 - 物体判別装置、画像センサ、物体判別方法 - Google Patents

物体判別装置、画像センサ、物体判別方法 Download PDF

Info

Publication number
WO2015115274A1
WO2015115274A1 PCT/JP2015/051550 JP2015051550W WO2015115274A1 WO 2015115274 A1 WO2015115274 A1 WO 2015115274A1 JP 2015051550 W JP2015051550 W JP 2015051550W WO 2015115274 A1 WO2015115274 A1 WO 2015115274A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
image
discrimination
feature amount
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/051550
Other languages
English (en)
French (fr)
Inventor
康代 小竹
嘉典 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2015115274A1 publication Critical patent/WO2015115274A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Definitions

  • the present invention relates to an object discrimination technique for discriminating the type of an object using an image.
  • a sensor device called an image sensor (visual sensor) is widely used to measure and monitor a measurement object (hereinafter also referred to as “work”) flowing through a line.
  • the image sensor is composed of a camera and an image processing apparatus, detects a workpiece in an image by matching processing with a pre-registered teacher object (hereinafter also referred to as “model” or “pattern”), and extracts necessary information.
  • model a pre-registered teacher object
  • pattern has a function to perform measurement.
  • the output of the image sensor is used for various purposes such as workpiece identification, inspection, and sorting.
  • the type of workpiece is accurately determined by an image sensor. Is required.
  • the type of workpiece can be determined using an element technology called image recognition or object recognition. That is, feature types of a plurality of types of models are registered in the image sensor in advance, and the type of workpiece is estimated by evaluating the similarity between the feature amount extracted from the workpiece image and the feature amount of each model. .
  • feature values obtained from an image
  • feature category or simply “category”.
  • Patent Document 1 proposes an algorithm that combines color discrimination and shape discrimination in order to discriminate the type of container.
  • an algorithm that combines feature quantities of a plurality of categories is highly versatile, but has the following disadvantages.
  • One is a decrease in discrimination speed. As the number of feature quantities increases, the calculation cost for the process of extracting feature quantities from an image and the process of evaluating the similarity between feature quantities increases N times, and the time required to discriminate one workpiece increases. A decrease in the determination speed is not preferable because it causes a waiting time in the subsequent process and an increase in tact time.
  • Another disadvantage is a decrease in discrimination accuracy. For example, consider a case in which series products differing only in shape are discriminated based only on feature amounts relating to the shape, and a case in which discrimination is performed by combining feature amounts of three categories of shape, color, and size.
  • the present invention has been made in view of the above circumstances, and provides a technique capable of suppressing a decrease in determination speed and a decrease in determination accuracy while having versatility applicable to various types of object determination. For the purpose.
  • the number and combination of feature amounts used for discrimination processing can be changed in accordance with the features of an object to be discriminated (in other words, features in which the difference in type is noticeable). The configuration of doing so is adopted.
  • the object discrimination device is an object discrimination device that discriminates the type of an object using an image, and stores a feature amount of each of a plurality of types of objects to be discriminated.
  • a detection unit that detects an object from the input image
  • a feature amount extraction unit that extracts a feature amount of the object detected by the detection unit from the image
  • a feature amount extracted by the feature amount extraction unit And a discriminating unit that discriminates the type of the detected object by evaluating the similarity between the feature amounts of the plurality of types of objects registered in the storage unit.
  • the feature quantity extraction unit can extract a plurality of types of feature quantities from the image
  • the discrimination unit is configured to be able to change the number and combination of feature quantities used for discrimination processing.
  • the object discriminating apparatus may have a manual setting unit that allows a user to select a feature amount to be used for discrimination processing, or the object discrimination device may include an automatic setting unit that automatically selects a feature amount to be used for discrimination processing.
  • the structure which has may be sufficient.
  • the feature amount can be selected according to the difference in the feature recognized by the user by looking at the actual object (or its image), so that it can be expected that a discrimination result that closely matches the user's intention is obtained. .
  • the reliability There is also an advantage that a low feature quantity can be excluded from the discrimination processing.
  • an operation of manually selecting a feature amount can be omitted, so that convenience and operability can be improved.
  • the feature amount used for the discrimination process may be selected by any selection criterion or algorithm.
  • the automatic setting unit may preferentially select a feature amount having higher separability between the plurality of types of objects as a feature amount to be used for the determination process. This is because an improvement in discrimination accuracy (discrimination ability) can be expected by using a feature amount having high separability between different types of objects for discrimination processing.
  • the feature quantity selected by automatic setting may not always be appropriate.
  • feature quantities feature quantities with low reliability
  • feature quantities with low reliability that vary greatly from individual to individual and due to environmental fluctuations due to line-specific conditions such as individual differences in shape, illumination fluctuations, and camera distortion.
  • This allows for flexible customization according to the user's intentions, such as deselecting features with low reliability, or conversely selecting features with high reliability, taking into account the user's experience and knowledge. It becomes.
  • the feature amount selected by the automatic setting unit and the other feature amount candidates that can be selected are presented in descending order of separation between the plurality of types of objects. That is, the feature amount that the device side considers good (a good discrimination result is obtained) is recommended. Accordingly, it is possible to assist the user in selecting the feature amount and to guide the user not to select an inappropriate feature amount.
  • the plurality of types of feature amounts may be feature amounts relating to image features of different categories.
  • Examples of the image feature category include color (including light and shade), size (size), shape, texture (pattern), and the like.
  • the feature amount used for the discrimination process can be selected in units of image feature categories.
  • the category of the image feature is an option such as color / size / shape / texture, it is possible to easily and appropriately select one that matches the feature of the object to be identified.
  • the user selects or corrects a feature amount, it is easier to understand and intuitive to present and select a category of an image feature than to present and select a feature amount name or the like.
  • the object discriminating apparatus further includes a range setting unit that allows the user to specify from which range of the entire object the feature quantity is extracted for each of the feature quantities used for the discrimination processing.
  • a range setting unit that allows the user to specify from which range of the entire object the feature quantity is extracted for each of the feature quantities used for the discrimination processing.
  • the discriminating unit calculates an integrated score obtained by integrating similarities obtained for each feature amount when a plurality of feature amounts are used for discrimination processing, and discriminates the type of the detected object based on the integrated score. Good. Thereby, comprehensive evaluation of a plurality of feature quantities can be easily realized.
  • the calculation of the integrated score may be any calculation such as the sum, average, and weighted average of the similarity (individual score) of each feature amount.
  • the present invention can be understood as an object discrimination device or an image processing device having at least a part of the above configuration.
  • the present invention can also be understood as an image sensor having a camera that captures an object and an object discrimination device or an image processing device.
  • the present invention provides an object discrimination method or an object discrimination device control method including at least a part of the above processing, or a program for causing a computer to execute such a method, or a computer readable program that temporarily stores the program. It can also be understood as a simple recording medium.
  • FIG. 1 is a diagram illustrating an overall configuration of an image sensor.
  • FIG. 2 is a diagram illustrating a hardware configuration of the image sensor.
  • FIG. 3 is a diagram illustrating a functional configuration related to the type determination of the image processing apparatus.
  • FIG. 4A is a view showing a feature amount database
  • FIG. 4B is a view showing a feature amount selection table.
  • FIG. 5 is a flowchart showing the flow of type determination processing in the operation mode.
  • FIG. 6A is a diagram illustrating an example of a captured image
  • FIG. 6B is a diagram illustrating an example of a workpiece detection result
  • FIG. 6C is a diagram illustrating an example of a type determination result.
  • FIG. 7 is a flowchart showing details of the process in step S102 of FIG.
  • FIG. 8 is a flowchart showing details of the process in step S103 of FIG.
  • FIG. 9 is a flowchart showing a flow of model registration and feature quantity selection in the setting mode.
  • FIG. 10A is a diagram illustrating an example of an image captured on the setting screen
  • FIG. 10B is a diagram illustrating an example of a cut-out model image.
  • FIGS. 11A and 11B are diagrams illustrating an example of a feature category list and a feature amount selection / non-selection state.
  • 12 (a) to 12 (c) are diagrams showing other examples of feature quantity selection.
  • FIGS. 13A to 13C are views for explaining feature quantity recommendations. The figure explaining designation
  • the present invention relates to a technique for discriminating the type of each object using an image photographed by a camera in a situation where a plurality of types of objects may be mixed (including cases where the objects appear in the field of view in an irregular order). is there.
  • This technology can be applied to object discrimination in an image sensor for FA, computer vision, machine vision, and the like.
  • the present invention is implemented in an FA image sensor that detects and discriminates each workpiece in a mixed flow line in which a plurality of types of workpieces flow. An example will be described.
  • Image sensor With reference to FIG. 1, an overall configuration and application scene of an image sensor according to an embodiment of the present invention will be described.
  • the image sensor 1 is a system that is installed on a production line or the like, and performs type discrimination of the workpiece 2 using an input image obtained by imaging a product (work 2).
  • the image sensor 1 can be mounted with various image processing functions as necessary, such as edge detection, scratch / dirt detection, and area / length / centroid measurement.
  • a PLC Programmable Logic Controller 4 is a device that controls a manufacturing apparatus (not shown) such as the image sensor 1, the conveyor 3, and a robot.
  • the image sensor 1 generally includes a camera 11 and an image processing device 10.
  • the camera 11 is a device for capturing the image of the workpiece 2 into the image processing apparatus 10, and for example, a CMOS (Complementary Metal-Oxide-Semiconductor) camera or a CCD (Charge-Coupled Device) camera can be suitably used.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • CCD Charge-Coupled Device
  • the format of the input image is arbitrary, and may be appropriately selected according to the type of workpiece 2 and the purpose of sensing.
  • a special image other than a visible light image such as an X-ray image or a thermo image
  • a camera that matches the image may be used.
  • the image processing apparatus 10 includes a CPU (Central Processing Unit) 110, a main memory 112 and a hard disk 114 as a storage unit, a camera interface 116, an input interface 118, a display controller 120, a PLC interface 122, and a communication interface. 124 and a data reader / writer 126. These units are connected to each other via a bus 128 so that data communication is possible.
  • the camera interface 116 is a part that mediates data transmission between the CPU 110 and the camera 11, and has an image buffer 116 a for temporarily storing image data from the camera 11.
  • the input interface 118 mediates data transmission between the CPU 110 and an input unit (mouse 13, keyboard, touch panel, jog controller, etc.).
  • the display controller 120 is connected to a display 12 such as a liquid crystal monitor, and controls display on the display 12.
  • the PLC interface 122 mediates data transmission between the CPU 110 and the PLC 4.
  • the communication interface 124 mediates data transmission between the CPU 110 and a console (or a personal computer or a server device).
  • the data reader / writer 126 mediates data transmission between the CPU 110 and the memory card 14 as a storage medium.
  • the image processing apparatus 10 can be configured by a computer having a general-purpose architecture, and the CPU 110 reads and executes a program (instruction code) stored in the hard disk 114 or the memory card 14 to provide various functions. .
  • a program instruction code
  • Such a program is distributed while being stored in a computer-readable recording medium such as the memory card 14 or an optical disk.
  • an OS operation for providing a basic function of the computer
  • the program according to the present embodiment may realize a target function by using a program module provided by the OS.
  • the program according to the present embodiment may be provided as a single application program, or may be provided as a module incorporated in a part of another program. Further, a part or all of the functions may be replaced with a dedicated logic circuit.
  • FIG. 3 shows a functional configuration related to type discrimination (object discrimination) provided by the image processing apparatus.
  • the image processing apparatus 10 includes an image input unit 130, a detection unit 131, a feature amount extraction unit 132, a determination unit 133, an output unit 134, a storage unit 135, and a setting unit 136 as functions related to type determination. These functional blocks are realized by the CPU 110 of the image processing apparatus 10 executing a computer program.
  • FIG. 4 is an example of data stored in the storage unit 135.
  • FIG. 4A schematically shows a feature quantity database in which feature quantities of a plurality of types of objects (models) to be discriminated are registered, and FIG. 4B is used for discrimination processing.
  • a feature quantity selection table for defining feature quantities is schematically shown.
  • image features there are various image features that can be used for object discrimination.
  • image characteristics of four categories of “color”, “shape”, “size”, and “pattern” are used.
  • a feature amount such as a color histogram, representative color, hue, saturation, color descriptor (C-SIFT, etc.), and a color moment can be used.
  • a feature amount such as HOG (Histograms of Oriented Gradients) feature, circularity, Fourier descriptor, aspect ratio, contour irregularity, and center of gravity can be used.
  • index representing the “size” feature for example, feature quantities such as an area, a perimeter, and a radius can be used.
  • a feature amount such as Haar-like feature amount, Local Binary Pattern, descriptor (SIFT, SURF, etc.), spatial frequency, or the like can be used.
  • SIFT Local Binary Pattern, descriptor
  • SURF SURF
  • spatial frequency or the like.
  • the feature category and the feature amount of each category mentioned here are examples, and other than these may be used.
  • a plurality of feature amounts may be used for one feature category.
  • the feature amounts of the above four categories are registered for each of the five types of models.
  • the image processing apparatus 10 can also use all of the four categories of feature quantities for discrimination processing. However, if all the feature values are used, there is a risk that the discrimination speed and the discrimination accuracy are lowered as described above. Therefore, the present embodiment employs a configuration in which only some of the feature quantities selected from the four categories can be used for the discrimination process.
  • the feature quantity selection table shown in FIG. 4B is a table that defines the feature quantity used for the discrimination process. The feature quantity of the category whose flag is set to “1” (in FIG. 4B, “ Only “color” and “shape” are used for the discrimination process.
  • the image processing apparatus 10 captures an image of the workpiece 2 flowing on the conveyor 3 and executes “operation mode” for executing processing such as detection and type discrimination of the workpiece 2, and various types of image processing apparatus 10 prior to the operation mode. It has a “setting mode” for setting. The user can arbitrarily switch the mode. Registration of the model in the feature amount database shown in FIG. 4A and setting / updating of the feature amount selection table shown in FIG. 4B are operations performed in the “setting mode”.
  • the image input unit 130 captures an image from the camera 11 (step S100).
  • FIG. 6A is an example of the captured image, and shows a state where five types of objects (eg, assorted chocolate) are mixed on the conveyor.
  • the detection unit 131 detects each workpiece 2 from the input image (step S101). Any algorithm may be used for the detection process. For example, after cutting the background by binarization, a method of detecting a region (pixel group) larger than a predetermined area as the work 2 or a method of searching for a region that seems to be a work by pattern matching can be used.
  • the detection unit 131 may perform preprocessing such as smoothing and noise removal on the input image as necessary.
  • FIG. 6B is an example of the detection result, and each work area detected from the image is indicated by a dotted rectangle.
  • the feature quantity extraction unit 132 analyzes the detected workpiece image and extracts a necessary feature quantity (step S102).
  • FIG. 7 shows details of the processing in step S102.
  • Fi is a flag value of the feature quantity Xi.
  • the feature quantity extraction unit 132 reads a feature quantity selection table from the storage unit 135 (step S110). Then, for each of the N types of feature amounts X1 to XN, it is checked whether or not the flag Fi is “1” (step S111). If the flag is “1”, the feature amount Xi is extracted from the image.
  • Step S112 If the flag is not “1”, the feature amount extraction is skipped.
  • two types of feature quantities that is, a feature quantity related to “color” and a feature quantity related to “shape” are extracted as the feature quantity of the work of interest.
  • extraction processing is omitted for unnecessary feature amounts (feature amounts that are not used for discrimination processing). Can be shortened.
  • the determination unit 133 compares the feature amount of the workpiece with the feature amounts of each of the five types of models registered in the feature amount database (FIG. 4A) to determine the type of workpiece (step S103). .
  • FIG. 8 shows details of the processing in step S103.
  • Ci represents a discriminator corresponding to the feature amount related to the i-th category.
  • the determination unit 133 reads a feature amount selection table from the storage unit 135 (step S120). Then, for each feature quantity Xi, it is checked whether or not the flag Fi is “1” (step S121). If the flag is “1”, the workpiece feature quantity Xi is input to the discriminator Ci (step S122). . When the flag is not “1”, the calculation by the discriminator Ci is skipped.
  • the discriminator Ci refers to the feature amount database, calculates the similarity between the feature amount Xi of the workpiece and the feature amount Xi of the model (probability that the workpiece and the model are objects of the same kind), and outputs a score (step) S123). Steps S121 to S123 are repeated for N types of feature values X1 to XN, and then the output scores of the discriminators C1 to CN are integrated to obtain a final integrated score (step S124). For example, the sum, average, weighted average, etc. of the scores may be obtained. In step S124, the score of the feature quantity whose flag is not “1” may be zero or ignored.
  • the steps (S120 to S124) are repeated for each of the five types of models to obtain the similarity (score) between the workpiece and each model.
  • the determination unit 133 determines that the workpiece having the maximum score among the five types of models is the same type of object (step S125). If the maximum score is less than the predetermined lower limit, the workpiece may be an unknown object (not applicable to any of the five types of models), so it is determined as an error (unknown type). That's fine.
  • the type of each work can be determined by repeating the processes in steps S102 and S103 for all the works detected in step S101.
  • FIG. 6C is an example of the discrimination result, and the discrimination result (type) of each workpiece is indicated by a number from 1 to 5.
  • the determination result is output to the display 12 or the PLC 4 by the output unit 134 (step S104).
  • model registration and feature quantity selection operations in the setting mode will be described with reference to the flowchart of FIG. Note that the processing shown in FIG. 9 improves the discrimination accuracy when, for example, the image sensor 1 is newly installed, when the type of work flowing through the line is changed, or when manufacturing conditions or environmental conditions change. When done, etc.
  • FIG. 10A is an example of a user interface of a setting screen displayed on the display 12 by the setting unit 136. In the image window 20 on the right side of the setting screen, an image captured from the camera 11 via the image input unit 130 is displayed.
  • each model area can be taught by operating the input unit such as the mouse 13 to individually surround each model area in the image displayed in the image window 20.
  • a dotted rectangle in the image window 20 indicates an area of each model designated by the user.
  • the setting unit 136 cuts out an image of each model in accordance with the area designation (step S202).
  • the obtained five types of model images 22 are displayed side by side in the image window 20 as shown in FIG.
  • a model name can be input for each model image 22.
  • all five types of models are photographed at once, and each model image is cut out from the image.
  • the region designation and image cutting are omitted or simplified. May be.
  • the setting unit 136 uses the feature amount extraction unit 132 to extract feature amounts from each model image 22 (step S203).
  • the extracted feature quantities (generally expressed by multidimensional vectors) are registered in the feature quantity database in the storage unit 135 for each model (see FIG. 4A).
  • the feature quantities of all categories are extracted. This completes model registration.
  • the processing shifts to a feature amount selection process used for the discrimination process.
  • the selection of the feature quantities used for the discrimination processing can be broadly divided into two methods: manual setting performed by the user based on his / her own judgment and automatic setting automatically selected by the setting unit 136. is there. In the present embodiment, a configuration is adopted in which automatic setting is first performed by the setting unit 136, and the user manually changes as necessary.
  • the setting unit 136 uses the feature amount used for the discrimination processing in accordance with a selection criterion that preferentially selects a feature amount having higher separability among the five types of models. Decide. This is because an improvement in discrimination accuracy (discrimination ability) can be expected by using a feature amount having high separability between models for discrimination processing.
  • the setting unit 136 refers to the feature quantity of each model registered in the feature quantity database and evaluates the separability between models for each feature quantity.
  • the separability index (separation degree) any index such as, for example, the variance of feature quantities between models and the sum of distances between models of feature quantities may be used.
  • the setting unit 136 selects a predetermined number (for example, two) in order from the feature value having the highest separability among the four types of feature values as the feature value used for the discrimination process (step S205). Note that the number of feature quantities selected in step S205 may be changed by the user, or may be dynamically changed according to the evaluation result of the separability (for example, the separability is a predetermined standard). Select all higher features).
  • the setting unit 136 sets the flag of the feature amount selection table in the storage unit 135 according to the selection result in step S205 (step S206), and as shown in FIG. 11A, the information window 21 on the left side of the setting screen.
  • a feature category list 23 and a check box 24 indicating the selected / unselected status are displayed (step S207). By viewing the information window 21, the user can confirm the type of image feature (type of image feature recommended by the image processing apparatus 10) used for the discrimination process.
  • the setting unit 136 prepares an option of manual setting, and enables customization (setting-up) based on user experience and knowledge.
  • step S208 when the user operates the input unit such as the mouse 13 and presses the check box 24, the selection / non-selection of the feature amount can be switched for each category (step S208).
  • FIG. 11B shows an example in which the user deselects “color” and uses only “shape” for determination processing.
  • the setting unit 136 updates the feature amount selection table in the storage unit 135 and ends the feature amount selection process.
  • the feature amount is set in accordance with the difference in features recognized by the user by looking at the actual object (or its image) (for example, “the difference in color is conspicuous”, “I want to distinguish by the difference in shape”, etc.) Since it can be selected, it can be expected that a discrimination result that closely matches the user's intention is obtained.
  • features with low reliability features with large variations due to individual or environmental variations
  • features with small variations due to individual or environmental variations can be deselected, or conversely It is possible to flexibly customize according to the user's intention, such as selecting a high feature amount (a feature amount with small variations due to individual or environmental variations), and better discrimination accuracy can be expected.
  • FIGS. 12A to 12C show examples of feature amount selection for a discrimination target different from FIG. 11A.
  • FIG. 12A shows series products that are substantially the same in design and differ only in size. In this case, discrimination based on the feature amount relating to “size” is effective.
  • FIG. 12B shows a series product with different contents of the label attached to the package. In this case, for example, discrimination based on a feature amount related to “color” is effective.
  • FIG. 12C shows series products with different outer box designs. In this case, for example, discrimination based on a feature amount related to “pattern” and a feature amount related to “color” is effective.
  • the image processing apparatus 10 since feature quantities of a plurality of categories can be used, it can be applied universally and flexibly to various types of object discrimination.
  • it is possible to customize (narrow down the feature quantities to be used) according to the features where the difference in the type of object is noticeable. Therefore, it is possible to increase the discrimination speed and improve the discrimination accuracy.
  • the selected feature amount (the feature amount selected by automatic setting) and other selectable feature amount candidates are displayed as the user.
  • FIG. 13A shows an example in which the feature category list 23 of FIG. It can be seen that “shape” and “color” having high separability are displayed at the top of the list.
  • a feature category list 23 that presents a combination of feature amounts, as shown in FIG.
  • the separability may be evaluated for each combination of feature quantities, and the feature quantity sets may be rearranged and presented in descending order of the separability.
  • the separability for each combination of feature amounts can be obtained by, for example, an average of the separability for each feature amount. Since the number of feature quantity combinations is enormous, for example, the separability may be evaluated for all three or less feature quantity combinations, and the top 10 combinations may be presented. As described with reference to FIGS.
  • a feature amount (or combination of feature amounts) that the apparatus side considers good (a good discrimination result can be obtained) is recommended, and the feature amount by the user There is an advantage that the user can be guided so as not to select an inappropriate feature amount.
  • a priority may be set for the feature amount to be used. For example, as shown in FIG. 13C, in the feature category list 23, a number specifying a priority can be input. The designated priority can be used as a weight when calculating the integrated score in the discrimination process (step S124). For example, when the weighted average of the individual scores, the weight related to the feature amount having a higher priority is increased.
  • the type discrimination is performed using only the feature quantity having the highest priority first, and the classification becomes impossible (for example, when the score (similarity) for any model is low, the same score (similarity) In the case where there are a plurality of models indicating the same), it is also possible to perform the discrimination process step by step such that the feature quantity having the next highest priority is also taken into consideration.
  • the feature amount (feature category) having a higher priority is more important, it can be expected that a discrimination result that matches the intention of the user is obtained.
  • the setting unit 136 allows the user to specify a range from which the feature amount is extracted from among the entire object for each feature amount used for the discrimination process.
  • FIG. 14 shows series products with different contents of labels attached to the packages, and the discrimination based on the feature amount regarding “color” is effective.
  • the range between the products can be specified (limited) in advance by specifying the range for extracting the feature value. Separation of quantity can be further improved, and further improvement in discrimination accuracy can be expected.
  • automatic setting and manual setting are used together.
  • only automatic setting or only manual setting may be used.
  • the feature value is manually set before model registration, and the feature value selection table is generated first, so that only the feature value used for discrimination processing is extracted and registered at the time of model registration. You may make it do. Thereby, the time required for the model registration process can be shortened.
  • the user interface for selecting feature amounts in units of feature categories is adopted.
  • the names of feature amounts and the like are displayed in a list so that the items to be used for discrimination processing can be selected in units of feature amounts. It may be. As a result, more advanced customization is possible.
  • the camera and the image processing device are configured separately, but an image sensor having a configuration in which the camera and the image processing device are integrated can also be used. It is also possible to connect a plurality of cameras to the image processing apparatus and measure and monitor a plurality of lines with a single image sensor. In addition, a technique such as grid computing, a client server system, or cloud computing may be applied so that part or all of the functions of the image processing apparatus are executed by another computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

　画像を用いて物体の種類を判別する物体判別装置が、判別の対象となる複数種類の物体それぞれの特徴量が登録されている記憶部と、入力された画像から物体を検出する検出部と、前記検出部で検出された物体の特徴量を前記画像から抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別する判別部と、を有する。前記特徴量抽出部は、前記画像から複数種類の特徴量を抽出可能であり、前記判別部は、判別処理に利用する特徴量の数および組み合わせを変更可能に構成されている。

Description

物体判別装置、画像センサ、物体判別方法
　本発明は、画像を用いて物体の種類を判別する物体判別技術に関する。
　ＦＡ（Factory Automation）分野においては、ラインを流れる計測対象物（以下、「ワーク」とも呼ぶ）を計測・監視するために、画像センサ（視覚センサ）と呼ばれるセンサデバイスが広く用いられている。画像センサは、カメラと画像処理装置から構成され、予め登録された教師物体（以下、「モデル」または「パターン」とも呼ぶ）とのマッチング処理によって画像内のワークを検出し、必要な情報の抽出・計測などを行う機能を有している。画像センサの出力は、例えば、ワークの識別、検査、仕分けなどの様々な用途に利用される。
　ところで、ＦＡ分野における最近の傾向として、一つのラインに複数種類のワークを混在して流し、種類別に異なる処理を適用する、という生産形態が増えている。例えば、アソート商品の箱詰めラインにおいては、コンベヤ上に異なる種類のワークをランダムに流し、ピックアップロボットで種類別にピックアップし正しい位置に箱詰めするという作業を行う。また、多品種少量生産のラインでは、形、色、サイズなどの仕様が少しずつ異なるシリーズ商品が同一のラインで製造され、仕様ごとに加工方法や検査内容などを違える場合がある。
　このように複数種類のワークが混在するライン（以下、「混流ライン」とも呼ぶ）において、ワークの種類別に異なる処理を実施するには、その前提として、画像センサでワークの種類を正確に判別することが要求される。ワークの種類判別は、画像認識や物体認識と呼ばれる要素技術を用いて実現できる。すなわち、複数種類のモデルの特徴量を予め画像センサに登録しておき、ワーク画像から抽出した特徴量と各モデルの特徴量との類似度を評価することで、ワークの種類を推定するのである。
　画像から得られる特徴量には様々なものがあり、大きく分類すると、色（濃淡含む）に関する特徴量、形状に関する特徴量、大きさに関する特徴量、テクスチャ（模様）に関する特徴量などがある（以下、色、形状…などの画像特徴の分類を「特徴カテゴリ」又は単に「カテゴリ」と呼ぶ。）。汎用品として販売される画像センサに上記のような種類判別機能を実装する場合には、判別の対象となる物体の特徴は未知であり、どのような画像特徴に注目すれば種類判別できるかわからないため、複数のカテゴリの特徴量を複合的に用いた判別アルゴリズムを採用せざるを得ない。（例えば、特許文献１では、容器の種類を判別するために、色判別と形状判別を組み合わせたアルゴリズムが提案されている。）
特開平１１－８６０００号公報
　しかしながら、複数のカテゴリの特徴量を組み合わせるアルゴリズムは、汎用性が高まる一方で、次のような不利がある。一つは、判別速度の低下である。特徴量の数が増えるほど、画像から特徴量を抽出する処理や特徴量同士の類似度を評価する処理にかかる計算コストがＮ倍で増え、一つのワークの判別に要する時間が増大する。判別速度の低下は、後工程の待ち時間の発生やタクトタイムの増大を招くため、好ましくない。もう一つのデメリットは、判別精度の低下である。例えば、形状のみが異なるシリーズ商品を形状に関する特徴量のみで判別するケースと、形状・色・大きさの３つのカテゴリの特徴量を組み合わせて判別するケースを考える。形状に関する特徴量ではシリーズ毎に有意な差がでるが、色に関する特徴量と大きさに関する特徴量ではほとんど差がでない。それゆえ、形状・色・大きさの３つのカテゴリの特徴量を組み合わせると、形状に関する特徴量の差が１／３に弱められてしまい、有意な差として検出できないおそれがある。これが誤判別を生む原因となるのである。
　本発明は、上記実情に鑑みてなされたものであり、様々な種類の物体判別に適用可能な汎用性を有しつつ、判別速度の低下および判別精度の低下を抑えることのできる技術を提供することを目的とする。
　上記目的を達成するために本発明では、判別の対象となる物体の特徴（言い換えれば、種類の違いが顕著に現れる特徴）に合わせて、判別処理に利用する特徴量の数および組み合わせを変更できるようにする、という構成を採用する。
　具体的には、本発明に係る物体判別装置は、画像を用いて物体の種類を判別する物体判別装置であって、判別の対象となる複数種類の物体それぞれの特徴量が登録されている記憶部と、入力された画像から物体を検出する検出部と、前記検出部で検出された物体の特徴量を前記画像から抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別する判別部と、を有する。ここで、前記特徴量抽出部は、前記画像から複数種類の特徴量を抽出可能であり、前記判別部は、判別処理に利用する特徴量の数および組み合わせを変更可能に構成されていることを特徴とする。
　この構成によれば、複数種類の特徴量が利用可能であるため、様々な種類の物体判別に汎用的に適用することができる。加えて、判別処理に実際に利用する特徴量の数や組み合わせを変更できるようにしたことで、物体の種類の違いが顕著に現れる特徴に合わせたカスタマイズ（使用する特徴量の絞り込み）を可能とし、判別速度の低下および判別精度の低下を可及的に抑えることができる。
　判別処理に利用する特徴量の数および組み合わせの変更は、いかなる方法ないし手段を用いて行ってもよい。例えば、物体判別装置が、判別処理に利用する特徴量をユーザに選択させる手動設定部を有する構成でもよいし、物体判別装置が、判別処理に利用する特徴量を自動で選択する自動設定部を有する構成でもよい。
　手動設定の構成の場合は、ユーザが実物（またはその画像）を見て認識した特徴上の相違に合わせて特徴量を選択できるため、ユーザの意図によく合致した判別結果が得られると期待できる。また、形状の個体差が大きい、照明（明るさ）の変動がある、カメラ歪がある、などといったライン特有の条件（これは、ユーザの経験や知識として与えられる）を考慮して、信頼度の低い特徴量を判別処理から除外できるという利点もある。一方、自動設定の構成の場合は、手動で特徴量を選択するという操作が省略できるため、利便性および操作性の向上を図ることができる。
　自動設定の構成において、判別処理に利用する特徴量はどのような選択基準ないしアルゴリズムにより選択してもよい。例えば、前記自動設定部は、前記複数種類の物体のあいだの分離性がより高い特徴量を優先的に、前記判別処理に利用する特徴量として選択するとよい。種類の異なる物体間の分離性が高い特徴量を判別処理に利用することで、判別精度（判別能力）の向上を期待できるからである。
　なお、自動設定により選択される特徴量が必ずしも適当でない場合もある。例えば、上記のように、形状の個体差、照明の変動、カメラ歪といったライン特有の条件が原因で、個体ごとのばらつきや環境変動によるばらつきが大きい特徴量（信頼度の低い特徴量）もあるからである。したがって、前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補とをユーザに提示するとともに、特徴量の選択の修正をユーザに行わせる手動設定部をさらに有することが好ましい。これにより、ユーザの経験や知識を考慮して、信頼度の低い特徴量を非選択にしたり、逆に、信頼度の高い特徴量を選択するなど、ユーザの意図に合わせた柔軟なカスタマイズが可能となる。この場合に、前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補は、前記複数種類の物体のあいだの分離性が高い順に、提示されることが好ましい。つまり、装置側が良い（良好な判別結果が得られる）と考える特徴量をレコメンドするのである。これにより、ユーザによる特徴量の選択を支援できるとともに、ユーザが不適当な特徴量を選択しないように誘導することができる。
　前記複数種類の特徴量は、異なるカテゴリの画像特徴に関する特徴量であるとよい。画像特徴のカテゴリとしては、例えば、色（濃淡含む）、大きさ（サイズ）、形状、テクスチャ（模様）などがある。このように異なるカテゴリの特徴量を選択可能としたことで、様々な種類の物体判別に汎用的かつ柔軟に適応可能となる。
　前記手動設定部及び／又は前記自動設定部では、判別処理に利用する特徴量が、画像特徴のカテゴリの単位で選択できるようにするとよい。例えば、色／大きさ／形状／テクスチャのように画像特徴のカテゴリが選択肢となっている方が、判別する物体の特徴に適合するものを容易かつ適切に選択することができる。特に、特徴量の選択や修正をユーザに行わせる場合には、特徴量の名称などを提示し選択させるよりも、画像特徴のカテゴリを提示し選択させる方が分かりやすく直観的である。
　物体判別装置が、判別処理に利用する特徴量の各々について、物体全体のうちのどの範囲から特徴量を抽出するかをユーザに指定させる範囲設定部をさらに有することが好ましい。特徴量を抽出する範囲を指定（限定）することで、異なる物体のあいだの特徴量の分離性をより高めることができ、判別精度のさらなる向上を期待できる。
　前記判別部は、複数の特徴量を判別処理に利用する場合に、各特徴量について求めた類似度を統合した統合スコアを計算し、該統合スコアに基づいて前記検出された物体の種類を判別するとよい。これにより、複数の特徴量の総合評価が簡易に実現できる。なお、統合スコアの計算は、各特徴量の類似度（個別スコア）の合計、平均、加重平均など、どのような計算でもよい。
　なお、本発明は、上記構成の少なくとも一部を有する物体判別装置もしくは画像処理装置として捉えることができる。また、本発明は、物体を撮影するカメラと、物体判別装置もしくは画像処理装置とを有する画像センサとして捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む物体判別方法もしくは物体判別装置の制御方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、様々な種類の物体判別に適用可能な汎用性を有しつつ、判別速度の低下および判別精度の低下を抑えることのできる技術を提供することができる。
図１は画像センサの全体構成を示す図。 図２は画像センサのハードウェア構成を示す図。 図３は画像処理装置の種類判別にかかわる機能構成を示す図。 図４（ａ）は特徴量データベースを示す図、図４（ｂ）は特徴量選択テーブルを示す図。 図５は稼働モードにおける種類判別処理の流れを示すフローチャート。 図６（ａ）は取り込まれた画像の一例を示す図、図６（ｂ）はワークの検出結果の一例を示す図、図６（ｃ）は種類判別結果の一例を示す図。 図７は図５のステップＳ１０２の処理の詳細を示すフローチャート。 図８は図５のステップＳ１０３の処理の詳細を示すフローチャート。 図９は設定モードにおけるモデル登録および特徴量選択の流れを示すフローチャート。 図１０（ａ）は設定画面に取り込まれた画像の一例を示す図、図１０（ｂ）は切り出されたモデル画像の一例を示す図。 図１１（ａ）及び図１１（ｂ）は特徴カテゴリリストと特徴量の選択／非選択の状態の一例を示す図。 図１２（ａ）～図１２（ｃ）は特徴量選択の他の例を示す図。 図１３（ａ）～図１３（ｃ）は特徴量のレコメンドを説明する図。 特徴量抽出範囲の指定を説明する図。
　本発明は、複数種類の物体が混在し得る状況（不規則な順番で視野に現れる場合も含む）に対し、カメラで撮影した画像を利用して各々の物体の種類を判別する技術に関するものである。この技術は、ＦＡ用の画像センサ、コンピュータビジョン、マシンビジョンなどにおける物体判別に応用することができる。以下に述べる実施形態では、本発明の好ましい応用例の一つとして、複数種類のワークが混在して流れる混流ラインにおいて各ワークの検出および種類判別を行うＦＡ用の画像センサに本発明を実装した例を説明する。
　（画像センサ）
　図１を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。
　画像センサ１は、生産ラインなどに設置され、製造物（ワーク２）を撮像することで得られる入力画像を用いてワーク２の種類判別などを行うシステムである。なお、画像センサ１には、種類判別のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。
　図１に示すように、コンベヤ３上には複数種類のワーク２が混在して流れている。画像センサ１は、カメラ１１から定期的に画像を取り込み、画像処理装置１０によって画像に含まれる各ワーク２の検出、種類判別などの処理を実行し、その結果をディスプレイ１２に表示したり、外部装置（ＰＬＣ４など）へと出力する。ＰＬＣ（Programmable Logic Controller）４は、画像センサ１、コンベヤ３、ロボット等の製造装置（不図示）の制御を司るデバイスである。
　（画像センサのハードウェア構成）
　図２を参照して、画像センサ１のハードウェア構成を説明する。画像センサ１は、概略、カメラ１１と画像処理装置１０から構成される。
　カメラ１１は、ワーク２の画像を画像処理装置１０に取り込むためのデバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。入力画像の形式（解像度、カラー／モノクロ、静止画像／動画、階調、データ形式など）は任意であり、ワーク２の種類やセンシングの目的に合わせて適宜選択すればよい。可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたカメラを用いてもよい。
　画像処理装置１０は、ＣＰＵ（中央演算処理装置）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。
　カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１とのあいだのデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部（マウス１３、キーボード、タッチパネル、ジョグコントローラなど）とのあいだのデータ伝送を仲介する。表示コントローラ１２０は、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイ１２での表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４のあいだのデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとのあいだのデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記憶媒体であるメモリカード１４との間のデータ伝送を仲介する。
　画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４またはメモリカード１４に格納されたプログラム（命令コード）を読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に格納された状態で流通する。
　汎用的なパーソナルコンピュータを画像処理装置１０として利用する場合には、本実施形態で述べる物体判別機能を提供するためのアプリケーションプログラムに加えて、コンピュータの基本的な機能を提供するためのＯＳ（オペレーション・システム）がインストールされていてもよい。この場合には、本実施形態に係るプログラムは、ＯＳが提供するプログラムモジュールを利用することで、目的とする機能を実現してもよい。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部または全部が専用のロジック回路で代替されてもよい。
　（画像処理装置の機能構成）
　図３に、画像処理装置が提供する種類判別（物体判別）にかかわる機能構成を示す。画像処理装置１０は、種類判別にかかわる機能として、画像入力部１３０、検出部１３１、特徴量抽出部１３２、判別部１３３、出力部１３４、記憶部１３５、設定部１３６を有している。これらの機能ブロックは、画像処理装置１０のＣＰＵ１１０がコンピュータプログラムを実行することにより実現される。
　図４は、記憶部１３５に格納されているデータの一例である。図４（ａ）は、判別の対象となる複数種類の物体（モデル）の特徴量が登録されている特徴量データベースを模式的に示しており、図４（ｂ）は、判別処理に利用する特徴量を定義する特徴量選択テーブルを模式的に示している。
　物体判別に利用可能な画像特徴には様々なものがある。本実施形態では、一例として、「色」、「形状」、「サイズ」、「模様」の４つのカテゴリの画像特徴を用いる。「色」特徴を表す指標としては、例えば、色ヒストグラム、代表色、色相、彩度、色記述子（Ｃ－ＳＩＦＴなど）、色モーメントなどの特徴量を用いることができる。「形状」特徴を表す指標としては、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量、円形度、フーリエ記述子、アスペクト比、輪郭の凹凸度、重心などの特徴量を用いることができる。「サイズ」特徴を表す指標としては、例えば、面積、周囲長、半径などの特徴量を用いることができる。「模様」特徴を表す指標としては、例えば、Haar-like特徴量、Local Binary Pattern、記述子（ＳＩＦＴ、ＳＵＲＦなど）、空間周波数などの特徴量を用いることができる。ここで挙げた特徴カテゴリ及び各カテゴリの特徴量は一例であり、これら以外のものを用いても構わない。また、一つの特徴カテゴリに対し複数の特徴量を用いてもよい。特徴量データベースには、５種類のモデルのそれぞれについて、上記４つのカテゴリの特徴量が登録されている。
　画像処理装置１０は、４つのカテゴリの特徴量すべてを判別処理に利用することも可能である。しかし、すべての特徴量を用いると、前述のように判別速度と判別精度の低下を招くおそれがある。それゆえ本実施形態では、４つのカテゴリのうちから選択した一部の特徴量のみを判別処理に利用できるような構成を採用している。図４（ｂ）に示す特徴量選択テーブルは、判別処理に利用する特徴量を定義するテーブルであり、フラグが「１」に設定されているカテゴリの特徴量（図４（ｂ）では、「色」と「形状」の２つ）のみが判別処理に利用されることとなる。
　（画像処理装置の動作）
　画像処理装置１０は、コンベヤ３上を流れるワーク２の画像を取り込み、ワーク２の検出や種類判別などの処理を実行する「稼働モード」と、稼働モードに先立ち、画像処理装置１０に対して各種設定を行うための「設定モード」とを有している。モードの切り替えはユーザが任意に行うことができる。図４（ａ）に示した特徴量データベースに対するモデルの登録、図４（ｂ）に示した特徴量選択テーブルの設定・更新は、「設定モード」で行われる作業である。
　以下、すでに図４（ａ）および図４（ｂ）に示す設定が行われているという前提で「稼働モード」の動作について説明をしたのち、「設定モード」におけるモデル登録および特徴量選択の動作について説明する。
　（１）稼働モード
　図５のフローチャートに沿って、稼働モードにおける各機能ブロックの動作、および、種類判別処理の全体の流れについて説明する。
　ＰＬＣ４からのトリガー信号が入力されると、画像入力部１３０がカメラ１１から画像を取り込む（ステップＳ１００）。図６（ａ）は取り込まれた画像の一例であり、コンベヤ上に５種類の物体（例：アソートチョコレート）が混在している状態を示している。
　次に、検出部１３１が、入力画像から個々のワーク２を検出する（ステップＳ１０１）。検出処理にはどのようなアルゴリズムを用いてもよい。例えば、２値化により背景をカットした後、所定の面積よりも大きい領域（ピクセル群）をワーク２として検出する方法、パターンマッチングによりワークらしい領域を探索する方法などを利用することができる。なお、検出部１３１は、必要に応じて入力画像に対し平滑化やノイズ除去などの前処理を行うとよい。図６（ｂ）は検出結果の一例であり、画像から検出された個々のワークの領域を点線矩形で示している。
　次に、特徴量抽出部１３２が、検出されたワークの画像を解析して、必要な特徴量を抽出する（ステップＳ１０２）。図７は、ステップＳ１０２の処理の詳細を示している。ここで、Ｎはカテゴリの総数（本実施形態ではＮ＝４）、Ｘｉはｉ番目（ｉ＝１～Ｎ）のカテゴリに関する特徴量、Ｆｉは特徴量Ｘｉのフラグの値を示している。まず、特徴量抽出部１３２は、記憶部１３５から特徴量選択テーブルを読み込む（ステップＳ１１０）。そして、Ｎ種類の特徴量Ｘ１～ＸＮのそれぞれについて、フラグＦｉが「１」か否かを調べ（ステップＳ１１１）、フラグが「１」の場合はその特徴量Ｘｉを画像から抽出する処理を行い（ステップＳ１１２）、フラグが「１」でない場合は特徴量抽出をスキップする。図４（ｂ）の例では、注目するワークの特徴量として、「色」に関する特徴量と「形状」に関する特徴量の２種類の特徴量が抽出されることとなる。このように本実施形態では、画像から必要な特徴量のみを抽出し、不必要な特徴量（判別処理に使わない特徴量）については抽出処理を省略するようにしたので、全体としての処理時間の短縮を図ることができる。
　続いて、判別部１３３が、ワークの特徴量を特徴量データベース（図４（ａ））に登録されている５種類のモデルそれぞれの特徴量と比較し、ワークの種類を判別する（ステップＳ１０３）。
　図８は、ステップＳ１０３の処理の詳細を示している。ここで、Ｃｉはｉ番目のカテゴリに関する特徴量に対応した識別器を表す。まず、判別部１３３は、記憶部１３５から特徴量選択テーブルを読み込む（ステップＳ１２０）。そして、それぞれの特徴量Ｘｉについて、フラグＦｉが「１」か否かを調べ（ステップＳ１２１）、フラグが「１」の場合は識別器Ｃｉに対しワークの特徴量Ｘｉを入力する（ステップＳ１２２）。フラグが「１」でない場合は識別器Ｃｉによる計算をスキップする。識別器Ｃｉは、特徴量データベースを参照し、ワークの特徴量Ｘｉとモデルの特徴量Ｘｉのあいだの類似度（ワークとモデルが同種の物体である確率）を計算し、スコアを出力する（ステップＳ１２３）。ステップＳ１２１～Ｓ１２３をＮ種類の特徴量Ｘ１～ＸＮについて繰り返したのち、識別器Ｃ１～ＣＮの出力スコアを統合して最終的な統合スコアを求める（ステップＳ１２４）。例えば、スコアの合計、平均、加重平均などを求めればよい。なお、ステップＳ１２４では、フラグが「１」でない特徴量のスコアはゼロとするか無視すればよい。
　ステップＳ１２０～Ｓ１２４を５種類のモデルのそれぞれについて繰り返すことで、ワークと各モデルとのあいだの類似度（スコア）が得られる。判別部１３３は、５種類のモデルのうちで最大のスコアが得られたものとワークとが同種の物体であると判定する（ステップＳ１２５）。なお、最大のスコアが所定の下限値に満たない場合には、ワークが未知の物体である（５種類のモデルのいずれにも該当しない）可能性があるため、エラー（種類不明）と判定すればよい。
　ステップＳ１０１で検出されたすべてのワークに対し、ステップＳ１０２およびＳ１０３の処理を繰り返すことで、各ワークの種類を判別することができる。図６（ｃ）は判別結果の一例であり、個々のワークの判別結果（種類）を１～５の数字で示している。この判別結果は、出力部１３４によってディスプレイ１２またはＰＬＣ４に出力される（ステップＳ１０４）。
　（２）設定モード
　次に、図９のフローチャートに沿って、設定モードにおけるモデル登録および特徴量選択の動作について説明する。なお、図９に示す処理は、例えば、画像センサ１を新たに設置したとき、ラインに流すワークの種類が変更になったとき、製造条件や環境条件などが変化したとき、判別精度の改善を行うとき、などに実行される。
　（ａ）モデル登録
　まず、判別の対象となる５種類の物体（モデル）を用意し、それらを稼働時と同じ条件でカメラ１１で撮影し、画像を取り込む（ステップＳ２００）。図１０（ａ）は、設定部１３６によりディスプレイ１２に表示される設定画面のユーザインターフェイスの一例である。設定画面右側の画像ウィンドウ２０には、カメラ１１から画像入力部１３０を介して取り込まれた画像が表示される。
　次に、ユーザが、登録するモデルを指定する（ステップＳ２０１）。例えば、マウス１３などの入力部を操作して、画像ウィンドウ２０に表示された画像内の各モデルの領域を個別に囲むことで、各モデルの領域を教示することができる。画像ウィンドウ２０内の点線矩形はユーザにより指定された各モデルの領域を示している。
　モデルの領域指定が完了すると、設定部１３６は、領域指定に従って各モデルの画像の切り出しを行う（ステップＳ２０２）。得られた５種類のモデル画像２２は、図１０（ｂ）に示すように画像ウィンドウ２０内に並べて表示される。モデル画像２２それぞれに対し、モデル名称の入力が可能である。なお、ここでは、５種類すべてのモデルを一回で撮影し、画像から各モデル画像を切り出しているが、モデルを一つずつ個別に撮影することで、領域指定および画像切り出しを省略ないし簡略化してもよい。
　次に、設定部１３６は、特徴量抽出部１３２を利用して、各モデル画像２２から特徴量の抽出を行う（ステップＳ２０３）。抽出された特徴量（一般に、多次元のベクトルで表現される）は、モデル別に、記憶部１３５内の特徴量データベースに登録される（図４（ａ）参照）。なお、この段階では、判別処理にどのカテゴリの特徴量を利用するか未定であるため、すべてのカテゴリの特徴量の抽出が行われる。以上でモデル登録が完了である。
　（ｂ）特徴量の選択
　続いて、判別処理に利用する特徴量の選択処理に移る。判別処理に利用する特徴量の選択（数および組み合わせの決定）には、大きく分けて、ユーザが自己の判断に基づき行う手動設定と、設定部１３６が自動で選択する自動設定の２つの方法がある。本実施形態では、最初に設定部１３６による自動設定を行い、必要に応じてユーザが手動で変更する、という構成を採用する。
　（ｂ－１）自動設定
　本実施形態の設定部１３６は、５種類のモデルのあいだの分離性がより高い特徴量を優先的に選択する、という選択基準にしたがって、判別処理に利用する特徴量を決める。モデル間の分離性が高い特徴量を判別処理に利用することで、判別精度（判別能力）の向上を期待できるからである。
　具体的には、図９のステップＳ２０４に示すように、設定部１３６は、特徴量データベースに登録された各モデルの特徴量を参照して、特徴量ごとにモデル間の分離性を評価する。分離性の指標（分離度）としては、例えば、特徴量のモデル間分散、特徴量のモデル間距離の合計など、いかなる指標を用いてもよい。設定部１３６は、４種類の特徴量のうち、最も分離性の高い特徴量から順に所定の個数（例えば２個）を、判別処理に利用する特徴量に選ぶ（ステップＳ２０５）。なお、ステップＳ２０５で選択する特徴量の個数は、ユーザが変更できるようにしてもよいし、分離性の評価結果などに応じて動的に変更してもよい（例えば、分離性が所定の基準よりも高い特徴量をすべて選択するなど）。
　その後、設定部１３６は、ステップＳ２０５の選択結果にしたがって記憶部１３５の特徴量選択テーブルのフラグを設定するとともに（ステップＳ２０６）、図１１（ａ）に示すように、設定画面左側の情報ウィンドウ２１に特徴カテゴリリスト２３と選択／非選択のステイタスを示すチェックボックス２４が表示される（ステップＳ２０７）。ユーザは、この情報ウィンドウ２１をみることで、判別処理に利用される画像特徴の種類（画像処理装置１０が推奨する画像特徴の種類）を確認することができる。
　（ｂ－２）手動設定
　上述した自動設定は、ユーザによる操作が不要となるため、利便性および操作性の向上を図ることができるという利点がある。しかし、自動設定により選択される特徴量が必ずしも適当でない場合も想定される。例えば、形状やサイズの個体差が大きい物体に対して「形状」や「サイズ」に関する特徴量を利用するのは妥当でないし、照明（明るさ）の変動がある環境では「色」に関する特徴量は信頼度が低い可能性もある。また、カメラ歪がある場合には、ワークの画像内での位置に依存して形状が歪むため、「形状」に関する特徴量は信頼度が低い可能性がある。ここで例示したようなライン特有の条件や事情は、モデル登録に用いた画像からでは知ることができないので、自動設定では考慮することが難しい。そこで、本実施形態の設定部１３６は、手動設定というオプションを用意し、ユーザの経験や知識に基づくカスタマイズ（設定の追い込み）を可能とする。
　具体的には、ユーザが、マウス１３などの入力部を操作して、チェックボックス２４を押下すると、カテゴリごとに特徴量の選択／非選択を切り替えることができる（ステップＳ２０８）。図１１（ｂ）は、ユーザが「色」を非選択にし、「形状」のみを判別処理に利用するよう変更した例である。最後に、ＯＫボタン２５が押下されると、設定部１３６が記憶部１３５内の特徴量選択テーブルを更新し、特徴量の選択処理を終了する。
　手動設定の場合は、ユーザが実物（またはその画像）を見て認識した特徴上の相違（例えば、「色の違いが目立つ」、「形状の違いで区別したい」など）に合わせて特徴量を選択できるため、ユーザの意図によく合致した判別結果が得られると期待できる。また、前述のように、ユーザの経験や知識を考慮して、信頼度の低い特徴量（個体ごとのばらつきや環境変動によるばらつきが大きい特徴量）を非選択にしたり、逆に、信頼度の高い特徴量（個体ごとのばらつきや環境変動によるばらつきが小さい特徴量）を選択するなど、ユーザの意図に合わせた柔軟なカスタマイズが可能となり、より良い判別精度が期待できる。なお、本実施形態では、特徴カテゴリのリストを提示し、特徴カテゴリの単位で選択／非選択を切り替えられるようにしたので、特徴量の名称（ヒストグラム、ＨＯＧ特徴量、Haar-like特徴量など）をそのまま提示し選択させるよりも、意味を理解しやすく、また、判別する物体の特徴に適合するものを容易かつ適切に選択することが可能である。
　（特徴量選択の例）
　図１１（ａ）とは異なる判別対象に対する特徴量選択の例を、図１２（ａ）～図１２（ｃ）に示す。図１２（ａ）は、デザインはほぼ同じで、サイズのみが異なるシリーズ商品であり、この場合は「サイズ」に関する特徴量による判別が有効である。図１２（ｂ）は、パッケージに付されたラベルの内容が異なるシリーズ商品であるが、この場合は例えば「色」に関する特徴量による判別が有効である。図１２（ｃ）は、外箱のデザインが異なるシリーズ商品であり、この場合は例えば「模様」に関する特徴量と「色」に関する特徴量による判別が有効である。
　このように、本実施形態の画像処理装置１０では、複数のカテゴリの特徴量が利用可能であるため、様々な種類の物体判別に汎用的かつ柔軟に適用することができる。加えて、判別処理に実際に利用する特徴量の数や組み合わせを変更できるようにしたことで、物体の種類の違いが顕著に現れる特徴に合わせたカスタマイズ（使用する特徴量の絞り込み）を可能とし、判別速度の高速化および判別精度の向上を図ることができる。
　（変形例）
　上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。
　例えば、図１１（ａ）では、特徴カテゴリリスト２３とチェックボックス２４を用いて、選択済みの特徴量（自動設定で選択された特徴量）と、他に選択可能な特徴量の候補とをユーザに提示する構成とした。これは、ユーザの手動による変更を可能とするためである。そこでさらに進んで、設定部１３６が、特徴カテゴリリスト２３の並びをおすすめ順に並び替えるとよい。具体的には、前述のように特徴量ごとに分離性を評価した後、分離性が高い順に特徴量を並べ替え、その並びに従って特徴カテゴリリスト２３およびチェックボックス２４の表示を行う。図１３（ａ）は、図１１（ａ）の特徴カテゴリリスト２３を並べ替えて表示した例である。分離性の高い「形状」および「色」がリストの上位に表示されていることがわかる。また、図１３（ｂ）のように、特徴量の組み合わせを提示する特徴カテゴリリスト２３を表示することも好ましい。この場合は、特徴量の組み合わせごとに分離性を評価し、分離性が高い順に特徴量の組を並べ替えて提示すればよい。なお、特徴量の組み合わせごとの分離性は、例えば、特徴量ごとの分離性の平均などで求めることができる。特徴量の組み合わせの数は膨大であるため、例えば、３個以下の特徴量の組み合わせの全通りについて分離性を評価し、そのうち上位１０個の組み合わせを提示するなどすればよい。図１３（ａ）、図１３（ｂ）で説明したように、装置側が良い（良好な判別結果が得られる）と考える特徴量（または特徴量の組み合わせ）をレコメンドすることで、ユーザによる特徴量の選択を支援できるとともに、ユーザが不適当な特徴量を選択しないように誘導することができるという利点がある。
　上述した実施形態では、特徴量を判別処理に使用するか否かを指定するだけであったが、さらに、使用する特徴量に対して優先度を設定できるようにしてもよい。例えば、図１３（ｃ）に示すように、特徴カテゴリリスト２３において、優先度を指定する数字を入力できるようにする。指定された優先度は、判別処理において統合スコアを計算する際（ステップＳ１２４）の重みとして利用できる。例えば、個別スコアを加重平均する際に、優先度が高い特徴量に関わるスコアほど重みを大きくするのである。あるいは、最初に優先度が最も高い特徴量のみを用いて種類判別を行い、そこで判別不能となった場合（例えば、どのモデルに対するスコア（類似度）も低い場合、同程度のスコア（類似度）を示すモデルが複数ある場合など）に、次に優先度の高い特徴量も考慮する、というように段階的に判別処理を行うこともできる。いずれの方法でも、優先度の高い特徴量（特徴カテゴリ）の方が重視されるため、ユーザの意図により合致した判別結果が得られるものと期待できる。
　図１４に示すように、設定部１３６が、判別処理に利用する特徴量の各々について、物体全体のうちのどの範囲から特徴量を抽出するかをユーザに範囲指定させることも好ましい。図１４に示したのは、図１２（ｂ）に示したのと同様、パッケージに付されたラベルの内容が異なるシリーズ商品であり、「色」に関する特徴量による判別が有効である。この例のように、商品間の相違が一部分（ラベルのみ）に限られていることが分かっている場合には、予め特徴量を抽出する範囲を指定（限定）することで、商品間の特徴量の分離性をより高めることができ、判別精度のさらなる向上を期待できる。また、模様やデザインが複雑な物体の場合も、物体全体から特徴量を抽出するよりも、一部の領域（例えば商品名の部分など）のみから特徴量を抽出するほうが有効である場合もある。範囲指定の具体的な操作法としては、例えば、マウス１３などの入力部を用いて、特徴カテゴリリスト２３の範囲指定ボタン２６を押下することで範囲指定する特徴量を特定した後、画像ウィンドウ２０のモデル画像２２上に特徴量抽出範囲２７を描画する方法などを採用すればよい。指定された範囲は、例えば、画像座標などの形式で特徴量とともに特徴量データベースに登録される。なお、特徴量ごとに異なる範囲を指定できることが好ましい。
　上述した実施形態では、自動設定と手動設定を併用したが、自動設定のみ、あるいは、手動設定のみの構成としてもよい。手動設定のみの場合は、モデル登録の前に特徴量の手動設定を行わせ、先に特徴量選択テーブルを生成することで、モデル登録の際に判別処理に利用する特徴量のみを抽出し登録するようにしてもよい。これによりモデル登録処理に要する時間を短縮できる。なお、上述した実施形態では、特徴カテゴリの単位で特徴量を選択させるユーザインタフェースを採用したが、特徴量の名称などをリスト表示し、特徴量の単位で判別処理に利用するものを選択できるようにしてもよい。これにより、より高度なカスタマイズが可能となる。
　図１では、カメラと画像処理装置が別体で構成されているが、カメラと画像処理装置が一体となった構成の画像センサを用いることもできる。また、画像処理装置に複数台のカメラを接続し、一つの画像センサで複数のラインの計測・監視を行うこともできる。また、グリッドコンピューティング、クライアントサーバシステム、クラウドコンピューティングなどの技術を適用し、画像処理装置の機能の一部または全部を別のコンピュータで実行するようにしてもよい。
１：画像センサ、２：ワーク、３：コンベヤ、４：ＰＬＣ
１０：画像処理装置、１１：カメラ、１２：ディスプレイ
２０：画像ウィンドウ、２１：情報ウィンドウ、２２：モデル画像、２３：特徴カテゴリリスト、２４：チェックボックス、２５：ＯＫボタン、２６：範囲指定ボタン、２７：特徴量抽出範囲
１３０：画像入力部、１３１：検出部、１３２：特徴量抽出部、１３３：判別部、１３４：出力部、１３５：記憶部、１３６：設定部

Claims (14)

  1. 　画像を用いて物体の種類を判別する物体判別装置であって、
    　判別の対象となる複数種類の物体それぞれの特徴量が登録されている記憶部と、
    　入力された画像から物体を検出する検出部と、
    　前記検出部で検出された物体の特徴量を前記画像から抽出する特徴量抽出部と、
    　前記特徴量抽出部で抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別する判別部と、を有し、
    　前記特徴量抽出部は、前記画像から複数種類の特徴量を抽出可能であり、
    　前記判別部は、判別処理に利用する特徴量の数および組み合わせを変更可能に構成されていることを特徴とする物体判別装置。
  2. 　判別処理に利用する特徴量をユーザに選択させる手動設定部をさらに有することを特徴とする請求項１に記載の物体判別装置。
  3. 　判別処理に利用する特徴量を自動で選択する自動設定部をさらに有することを特徴とする請求項１に記載の物体判別装置。
  4. 　前記自動設定部は、前記複数種類の物体のあいだの分離性がより高い特徴量を優先的に、前記判別処理に利用する特徴量として選択することを特徴とする請求項３に記載の物体判別装置。
  5. 　前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補とをユーザに提示するとともに、特徴量の選択の修正をユーザに行わせる手動設定部をさらに有することを特徴とする請求項３または４に記載の物体判別装置。
  6. 　前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補は、前記複数種類の物体のあいだの分離性が高い順に、提示されることを特徴とする請求項５に記載の物体判別装置。
  7. 　前記複数種類の特徴量は、異なるカテゴリの画像特徴に関する特徴量であることを特徴とする請求項１～６のうちいずれか１項に記載の物体判別装置。
  8. 　判別処理に利用する特徴量が、画像特徴のカテゴリの単位で選択されることを特徴とする請求項７に記載の物体判別装置。
  9. 　判別処理に利用する特徴量の各々について、物体全体のうちのどの範囲から特徴量を抽出するかをユーザに指定させる範囲設定部をさらに有することを特徴とする請求項１～８のうちいずれか１項に記載の物体判別装置。
  10. 　前記判別部は、複数の特徴量を判別処理に利用する場合に、各特徴量について求めた類似度を統合した統合スコアを計算し、該統合スコアに基づいて前記検出された物体の種類を判別することを特徴とする請求項１～９のうちいずれか１項に記載の物体判別装置。
  11. 　物体を撮影するカメラと、
    　前記カメラから入力された画像から前記物体の種類を判別し、その結果を出力する、請求項１～１０のうちいずれか１項に記載の物体判別装置と、を有することを特徴とする画像センサ。
  12. 　画像を用いて物体の種類を判別する物体判別方法であって、
    　コンピュータが、判別の対象となる複数種類の物体それぞれの特徴量を記憶部に登録するステップと、
    　コンピュータが、入力された画像から物体を検出するステップと、
    　コンピュータが、前記検出された物体の特徴量を前記画像から抽出するステップと、
    　コンピュータが、前記抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別するステップと、
    　コンピュータが、ユーザの指定によりまたは自動で、判別処理に利用する特徴量の数および組み合わせを変更するステップと、を含むことを特徴とする物体判別方法。
  13. 　請求項１２に記載の物体判別方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
  14. 　請求項１３に記載のプログラムを非一時的に記憶することを特徴とするコンピュータ読取可能な記録媒体。
PCT/JP2015/051550 2014-01-31 2015-01-21 物体判別装置、画像センサ、物体判別方法 Ceased WO2015115274A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-017269 2014-01-31
JP2014017269A JP2015143951A (ja) 2014-01-31 2014-01-31 物体判別装置、画像センサ、物体判別方法

Publications (1)

Publication Number Publication Date
WO2015115274A1 true WO2015115274A1 (ja) 2015-08-06

Family

ID=53756851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/051550 Ceased WO2015115274A1 (ja) 2014-01-31 2015-01-21 物体判別装置、画像センサ、物体判別方法

Country Status (2)

Country Link
JP (1) JP2015143951A (ja)
WO (1) WO2015115274A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034146A (zh) * 2018-08-13 2018-12-18 广州瑞松北斗汽车装备有限公司 汽车制造生产线派生工件视觉识别方法
CN109598463A (zh) * 2018-10-15 2019-04-09 平安科技（深圳）有限公司 资产管控方法、装置、计算机设备及存储介质
CN111797872A (zh) * 2019-04-09 2020-10-20 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备
WO2022003919A1 (ja) * 2020-07-02 2022-01-06 ヤマハ発動機株式会社 検査データ作成方法、検査データ作成装置および検査装置
JP2022085673A (ja) * 2020-11-27 2022-06-08 エヌ・ティ・ティ・コミュニケーションズ株式会社 撮像装置、撮像方法、コンピュータープログラム及び情報処理装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11609946B2 (en) 2015-10-05 2023-03-21 Pinterest, Inc. Dynamic search input selection
US11055343B2 (en) 2015-10-05 2021-07-06 Pinterest, Inc. Dynamic search control invocation and visual search
JP6528723B2 (ja) 2016-05-25 2019-06-12 トヨタ自動車株式会社 物体認識装置、物体認識方法及びプログラム
KR101882271B1 (ko) * 2016-10-27 2018-07-26 (주)마젠타로보틱스 비정형 라인 길이측정시스템
JP7120590B2 (ja) * 2017-02-27 2022-08-17 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US10942966B2 (en) 2017-09-22 2021-03-09 Pinterest, Inc. Textual and image based search
US11841735B2 (en) 2017-09-22 2023-12-12 Pinterest, Inc. Object based image search
JP6997656B2 (ja) * 2018-03-15 2022-01-17 ヤフー株式会社 検索装置、検索方法および検索プログラム
JP7402498B2 (ja) * 2019-12-16 2023-12-21 高嶋技研株式会社 ラベル検査方法及びラベル検査システム
JP7767741B2 (ja) * 2021-06-08 2025-11-12 富士フイルムビジネスイノベーション株式会社 表面検査装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04178784A (ja) * 1990-11-13 1992-06-25 Matsushita Electric Ind Co Ltd 特徴量選択方法およびこれを用いた外観検査方法
JPH1014864A (ja) * 1996-04-30 1998-01-20 Olympus Optical Co Ltd 診断支援装置
JP2004340832A (ja) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 回路基板の外観検査方法及び回路基板の外観検査装置
JP2005309535A (ja) * 2004-04-16 2005-11-04 Hitachi High-Technologies Corp 画像自動分類方法
JP2007199749A (ja) * 2004-08-19 2007-08-09 Mitsubishi Electric Corp 画像検索方法及び画像検索装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04178784A (ja) * 1990-11-13 1992-06-25 Matsushita Electric Ind Co Ltd 特徴量選択方法およびこれを用いた外観検査方法
JPH1014864A (ja) * 1996-04-30 1998-01-20 Olympus Optical Co Ltd 診断支援装置
JP2004340832A (ja) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 回路基板の外観検査方法及び回路基板の外観検査装置
JP2005309535A (ja) * 2004-04-16 2005-11-04 Hitachi High-Technologies Corp 画像自動分類方法
JP2007199749A (ja) * 2004-08-19 2007-08-09 Mitsubishi Electric Corp 画像検索方法及び画像検索装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034146A (zh) * 2018-08-13 2018-12-18 广州瑞松北斗汽车装备有限公司 汽车制造生产线派生工件视觉识别方法
CN109598463A (zh) * 2018-10-15 2019-04-09 平安科技（深圳）有限公司 资产管控方法、装置、计算机设备及存储介质
CN111797872A (zh) * 2019-04-09 2020-10-20 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备
CN111797872B (zh) * 2019-04-09 2023-08-01 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备
WO2022003919A1 (ja) * 2020-07-02 2022-01-06 ヤマハ発動機株式会社 検査データ作成方法、検査データ作成装置および検査装置
JP2022085673A (ja) * 2020-11-27 2022-06-08 エヌ・ティ・ティ・コミュニケーションズ株式会社 撮像装置、撮像方法、コンピュータープログラム及び情報処理装置

Also Published As

Publication number Publication date
JP2015143951A (ja) 2015-08-06

Similar Documents

Publication Publication Date Title
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
US10055670B2 (en) Image recognition device, image sensor, and image recognition method using feature
CN108460389B (zh) 一种识别图像中对象的类型预测方法、装置及电子设备
US9684958B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
US11232589B2 (en) Object recognition device and object recognition method
US9633264B2 (en) Object retrieval using background image and query image
US10311564B2 (en) Image processing device, image sensor, and image processing method
CN105448001A (zh) 商品登记装置
JPWO2018179360A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
KR20220083347A (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
JP2020067308A (ja) 画像処理方法および画像処理装置
JP7377159B2 (ja) 個体識別システム、個体識別プログラム、及び記録媒体
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
JP7067812B2 (ja) 情報処理装置、及び制御方法
JP7377163B2 (ja) 個体識別システム
JP2015187770A (ja) 画像認識装置、画像認識方法及びプログラム
JP6902396B2 (ja) 画像分類機能付製造装置
KR20140095866A (ko) 약병 분류 장치 및 약병 분류 방법
JPWO2019181442A1 (ja) 情報処理装置、制御方法、及びプログラム
JP7377161B2 (ja) 個体識別システム
JP7377160B2 (ja) 個体識別システム
CN111985290B (zh) 物品识别装置和物品识别方法
JP2021174441A (ja) 個体識別システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15743135

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15743135

Country of ref document: EP

Kind code of ref document: A1