WO2021157528A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2021157528A1
WO2021157528A1 PCT/JP2021/003552 JP2021003552W WO2021157528A1 WO 2021157528 A1 WO2021157528 A1 WO 2021157528A1 JP 2021003552 W JP2021003552 W JP 2021003552W WO 2021157528 A1 WO2021157528 A1 WO 2021157528A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
image
value
rate
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/003552
Other languages
English (en)
French (fr)
Inventor
翔太郎 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to DE112021000890.0T priority Critical patent/DE112021000890T5/de
Priority to US17/794,070 priority patent/US12205347B2/en
Priority to CN202180011524.9A priority patent/CN115004246B/zh
Priority to JP2021575785A priority patent/JP7324317B2/ja
Publication of WO2021157528A1 publication Critical patent/WO2021157528A1/ja
Anticipated expiration legal-status Critical
Priority to JP2023112951A priority patent/JP7502528B2/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to an image processing device.
  • An image processing device that detects an image of a specific object from the images in the field of view of the image pickup device is known.
  • the feature amount is matched between the reference information representing the object (generally referred to as a model pattern, a template, etc.) and the input image acquired by the image pickup device, and the degree of matching is determined. It is common to determine that the object has been successfully detected when the level exceeds the above level (see, for example, Patent Document 1).
  • Patent Document 2 as a configuration of the parameter control device, "In the first stage of collation, the registration data is narrowed down by a high-speed but low-precision collation process. Subsequently, the second stage of collation. Then, the registered data is further narrowed down from the first collation stage by the collation process of medium speed and medium accuracy. Then, in the m-th collation process, the registered data narrowed down by the plurality of collation processes in the previous stage is narrowed down. Performs low-speed but high-precision collation processing to identify one registered data. Collation speed and / or collation accuracy according to the parameters for adjusting the accuracy and speed of narrowing down the registered data at each collation stage according to the registered data. Is automatically calculated to be optimal. ”(Abstract).
  • the permissible range of the distance between the feature points of the model pattern and the corresponding points in the corresponding input image is used as a detection parameter.
  • a detection parameter for example, the permissible range of the distance between the feature points of the model pattern and the corresponding points in the corresponding input image.
  • One aspect of the present disclosure is an image processing device that detects an image of the object in one or more input image data based on the model pattern of the object, and uses detection parameters to obtain a feature amount of the model pattern. Before setting the value of the detection parameter, the object detection unit that matches the feature amount extracted from the one or more input image data and detects the image of the object from the one or more input image data. The detection result by the object detection unit for the prepared one or more input image data, and the information representing the desired detection result when the image of the object is detected for the one or more input image data.
  • the detection rate calculation unit that calculates at least one of the undetected rate and the false detection rate in the detection of the object by the object detecting unit, and at least one of the undetected rate and the false detection rate.
  • the objective function value calculation unit that calculates the value of the objective function defined as a function that uses By changing the value of the detection parameter, the object detection unit detects the object, the detection rate calculation unit calculates at least one of the undetected rate and the false detection rate, and the objective function value calculation unit. It is an image processing apparatus including a detection parameter search unit that searches for the detection parameter by repeating the calculation of the value of the objective function.
  • FIG. 1 is a block diagram showing the configuration of the image processing device 21 according to the embodiment.
  • a visual sensor 10, an operation panel 31, and a display device 32 are connected to the image processing device 21.
  • the image processing device 21 has a function of detecting an image of a specific object from an image in the field of view of the visual sensor 10.
  • the image processing device 21 may have a configuration as a general computer having a CPU, ROM, RAM, storage device, input / output interface, network interface, and the like.
  • the operation panel 31 and the display device 32 may be integrally provided with the image processing device 21.
  • the visual sensor 10 may be a camera that captures a grayscale image or a color image, or a stereo camera or a three-dimensional sensor that can acquire a distance image or a three-dimensional point cloud.
  • a camera is used as the visual sensor 10, and the visual sensor 10 outputs a grayscale image.
  • the camera is an electronic camera having an image pickup device such as a CCD (Charge Coupled Device), and is a well-known light receiving device having a function of detecting a two-dimensional image on the image pickup surface (on the CCD array surface).
  • the two-dimensional coordinate system on the imaging surface is hereinafter referred to as an image coordinate system.
  • FIG. 2 is a diagram showing a configuration example in which an object is detected by a visual sensor control device 20 having an image processing device 21 and a visual sensor 10.
  • the visual sensor 10 is fixedly installed at a position where the object 1 can take an image, and the object 1 is placed on the work table 2. In this configuration, the object 1 is detected in the image captured by the visual sensor 10.
  • FIG. 3 shows the hand 12 of the robot 11 controlled by the robot control device 13, and when handling the object 1 on the workbench 2, the object is taken from the image of the visual sensor 10 installed at the tip of the arm of the robot 11.
  • FIG. 3 shows the configuration example which detects 1.
  • the image captured by the visual sensor 10 is processed by the image processing device 21 mounted on the visual sensor control device 20, the object 1 is detected, and the position information of the detected object 1 is controlled by the robot. It supplies to the device 13.
  • the visual sensor 10 may be installed in a movable portion such as an arm tip portion of the robot 11.
  • the image processing device 21 includes an image processing unit 22, a model pattern storage unit 26, and a detection result storage unit 27.
  • the image processing unit 22 includes an object detection unit 221, a corresponding point selection unit 222, a correct answer list creation unit 223, a detection result list creation unit 224, a detection rate calculation unit 225, an objective function value calculation unit 226, and the like. It has a detection parameter search unit 227.
  • Each function of the image processing device 21 shown in FIG. 1 may be realized by the CPU of the image processing device 21 executing various software stored in the storage device, or ASIC (Application Specific Integrated IC). It may be realized by a configuration mainly composed of hardware such as.
  • the object detection unit 221 has, for each of one or a plurality of input images (input image data) in which the object is captured, a plurality of second feature points extracted from the input image and a plurality of plurality of input images constituting the model pattern. Matching with the first feature point is performed to detect one or more images of the object.
  • the corresponding point selection unit 222 constitutes a model pattern from a plurality of second feature points constituting the image for each of the images of the one or a plurality of objects detected from the one or a plurality of input images. A second feature point corresponding to the feature point of is selected, and the second feature point is stored in association with the first feature point as a corresponding point.
  • the correct answer list creation unit 223 determines whether the detection result obtained by performing the detection process on one or more input images including the image in which the detection target is captured is the correct detection result by the operator or incorrect. It accepts the operation of inputting the detection result, and creates a correct answer list (that is, information representing the detection result desired by the operator) consisting only of the correct detection results.
  • the detection result list creation unit 224 uses the set detection parameters to perform detection processing on one or more input images including an image in which the detection target is captured, and the detection result and the detection processing. Create a detection result list that records the processing time required for.
  • the detection rate calculation unit 225 compares the detection result list created by the detection result list creation unit 224 with the correct answer list, and calculates at least one of the undetected rate and the false detection rate.
  • the objective function value calculation unit 226 calculates the value of the objective function defined as a function having at least one of the undetected rate and the false positive rate as an input variable.
  • the detection parameter search unit 227 changes the value of the detection parameter until the value of the objective function satisfies a predetermined condition or the number of searches for the detection parameter reaches a specified number, and the detection, undetected rate, and error of the object are detected.
  • the detection parameters are searched by repeating the calculation of the detection rate and the calculation of the value of the objective function.
  • the visual sensor 10 is connected to the image processing device 21 with a communication cable.
  • the visual sensor 10 supplies the captured image data to the image processing device 21.
  • the operation panel 31 is connected to the image processing device 21 with a communication cable.
  • the operation panel 31 is used to set the visual sensor 10 necessary for detecting the object 1 in the image processing device 21.
  • the display device 32 is connected to the image processing device 21 with a communication cable.
  • the display device 32 displays an image captured by the visual sensor 10 and setting contents set by the operation panel 31.
  • the image processing device 21 matches the feature amount between the reference information (called a model pattern, a template, etc.) representing the object and the input image acquired by the visual sensor 10, and the degree of matching is a predetermined level (referred to as a degree of matching).
  • a degree of matching a predetermined level
  • the threshold value is exceeded, it is determined that the object has been successfully detected.
  • the range of the distance between the feature points of the model pattern and the corresponding points of the corresponding input image (hereinafter referred to as "allowable distance of the corresponding points") is set as a detection parameter. .. In this case, if a small value is set as the detection parameter, the degree of matching may decrease and the object to be detected may not be found.
  • the image processing device 21 has a function of automatically setting detection parameters suitable for obtaining the detection result expected by the operator without trial and error of the operator.
  • the image processing device 21 sets detection parameters suitable for obtaining the detection result expected by the operator by the following algorithm.
  • (Procedure A11) A list of detection results (correct answer list) as expected by the operator is created for one or more input images including an image showing the detection target.
  • (Procedure A12) A new detection parameter is set, and detection is performed on the input image used in the above (procedure A11) (that is, one or a plurality of input images prepared in advance before setting the value of the detection parameter). By doing so, a new detection result is acquired. At that time, the processing time required for detection is recorded (creation of detection list).
  • Bayesian optimization is one of the black box optimization methods, and is a method of searching for an input having the minimum output for a function (black box function) whose output value for an input is known but difficult to formulate.
  • Random search is a search method that randomly sets the values of detection parameters. In this embodiment, Bayesian optimization is used to search for detection parameters.
  • the objective function uses a weighted undetected rate, false positive rate, and processing time required for detection.
  • the operator can determine which value of the undetected rate, the false detection rate, and the processing time required for detection is prioritized and minimized. For example, if the weight of the false positive rate is increased, the detection parameter for fail-safe detection that eliminates false positives even if undetected occurs is preferentially searched. On the other hand, if the weight of the undetected rate is increased, it is possible to obtain a detection parameter particularly suitable for suppressing the occurrence of undetected. Further, by increasing the weight of the processing time, it is possible to obtain a detection parameter particularly suitable for reducing the processing time.
  • the correct answer list creation unit 223 creates a list of detection results (correct answer list) as expected by the operator for one or more input images including an image in which the detection target is captured by the following algorithm.
  • Detection is performed on one or more input images including an image showing a detection target, and the detection result is acquired.
  • the detection result includes information on the detected image, detection position, posture, and size.
  • the operator accepts a labeling operation for each detection result.
  • the detection rate calculation unit 225 calculates the undetected rate and the false detection rate when the image data set is detected with the newly set detection parameters by the following algorithm.
  • (Procedure A31) It is determined whether or not the detection result newly acquired for the input image matches the detection result included in the correct answer list. When the difference in detection position, posture, and size is within the set threshold value, it is determined that the detection results match.
  • (Procedure A32) All the determination results are totaled, and the undetected rate and the false detection rate are calculated. If all the detection results included in the correct answer list are included in the newly acquired detection result list, the undetected rate is set to zero, and any detection result not included in the correct answer list is included in the newly acquired detection result list. If it is not included, the false positive rate is set to zero. If what the operator expects is properly detected, both the undetected rate and the false positive rate will be zero.
  • FIG. 4 is a flowchart showing a process (hereinafter, referred to as a detection parameter setting process) that specifically realizes the above-mentioned algorithm for setting a detection parameter suitable for obtaining the detection result expected by the operator.
  • the detection parameter setting process is executed under the control of the CPU of the image processing device 21.
  • the detection parameters the above-mentioned “allowable distance of the corresponding point” and the “threshold value of the degree of coincidence" between the feature amount of the model pattern and the feature amount extracted from the input image are used.
  • step S1 the model pattern is taught (step S1). That is, in step S1, the image processing unit 22 creates a model pattern, and the created model pattern is stored in the model pattern storage unit 26.
  • the model pattern in this embodiment is composed of a plurality of feature points.
  • Various objects can be used as the feature points, but in the present embodiment, the edge points are used as the feature points.
  • the edge point is a point having a large luminance gradient in the image and can be used to acquire the contour shape of the object 1.
  • As a method for extracting edge points various methods known in the art can be used.
  • the physical quantity of the edge point includes the position of the edge point, the direction of the luminance gradient, the magnitude of the luminance gradient, and the like. If the direction of the brightness gradient of the edge point is defined as the posture of the feature point, the position and posture of the feature point can be defined together with the position. In the present embodiment, the physical quantity of the edge point, that is, the position of the edge point, the attitude (direction of the luminance gradient), and the magnitude of the luminance gradient are stored as the physical quantity of the feature point.
  • FIG. 6 is a diagram showing an example of a model pattern of the object 1.
  • the origin of the model pattern coordinate system 100 may be defined in any way.
  • an arbitrary one point may be selected from the first feature points constituting the model pattern and defined as the origin, or the centers of gravity of all the feature points constituting the model pattern may be defined as the origin. May be good.
  • the posture (axis direction) of the model pattern coordinate system 100 may be defined in any way.
  • the image coordinate system and the model pattern coordinate system 100 may be defined to be parallel to each other in the image in which the model pattern is created, or any two points may be selected from the feature points constituting the model pattern.
  • the direction from one of them to the other may be defined to be the X-axis direction.
  • the first feature point P_i constituting the model pattern is stored in the model pattern storage unit 26 in the format shown in Table 1 below (including the size of the position, the posture, and the luminance gradient).
  • FIG. 5 is a flowchart showing a procedure for creating a model pattern by the image processing unit 22 in step S1 of FIG.
  • the object 1 to be taught as a model pattern is arranged in the field of view of the visual sensor 10, and an image of the object 1 is captured. It is desirable that the positional relationship between the visual sensor 10 and the object 1 at this time is the same as when the object 1 is detected.
  • step S202 the area in which the object 1 is reflected in the captured image is designated as a model pattern designation area with a rectangle or a circle.
  • FIG. 7 is a diagram showing an example of a model pattern designation region in the captured image. As shown in FIG. 7, the image coordinate system 210 is defined in the captured image, and the model pattern designation area (here, the rectangular area) 220 is designated so as to include the image 1A of the object 1.
  • the model pattern designation area 220 is a portion where the image processing unit 22 has a large luminance gradient in the image even if the image processing unit 22 receives and sets an instruction input by the operation panel 31 while viewing the image on the display device 32. May be obtained as the outline of the image 1A and automatically specified so that the image 1A is included inside.
  • step S203 edge points are extracted as feature points within the range of the model pattern designation area 220, and physical quantities such as the position of the edge points, the posture (direction of the luminance gradient), and the magnitude of the luminance gradient are obtained. Further, the model pattern coordinate system 100 is defined in the designated area, and the positions and orientations of the edge points are converted from the values represented by the image coordinate system 210 to the values represented by the model pattern coordinate system 100.
  • step S204 the physical quantity of the extracted edge points is stored in the model pattern storage unit 26 as the first feature point P_i constituting the model pattern.
  • edge points are used as feature points, but the feature points that can be used in this embodiment are not limited to edge points.
  • SIFT Scale-Invariant Feature Transform
  • You may use feature points such as.
  • a line segment is formed so as to match the contour line of the object in the image.
  • a model pattern may be created by arranging geometric figures such as minutes, rectangles, and circles. In that case, feature points may be provided at appropriate intervals on the geometric figure forming the contour line.
  • a model pattern can be created based on CAD data or the like.
  • steps S2 to S5 lists the detection results as expected by the operator for one or more input images including the image in which the detection target is captured. Create a correct answer list).
  • the processes of steps S2 to S5 correspond to the above-mentioned algorithms for creating a correct answer list (procedures A21 to A23).
  • the threshold value of the degree of coincidence is set low and the permissible distance of the corresponding points is set large (step S2).
  • the image 1A of the object 1 (hereinafter, may be simply referred to as the object 1) is detected for each of one or a plurality of input images including the image in which the detection target is reflected, and the detection result is acquired (hereinafter, may be simply referred to as the object 1).
  • Step S3 the detection result includes information on the detected image, detection position, posture, and size.
  • Step 101 Detection of object
  • Step 102 Selection of corresponding points
  • Step 103 Evaluation based on detection parameters
  • step 101 detection of the object
  • the second feature point is extracted from the input image I_j.
  • the second feature point may be extracted by the same method as the method of extracting the first feature point when creating the model pattern.
  • edge points are extracted from the input image and used as the second feature points.
  • the second feature point Q_jk is stored in the detection result storage unit 27 in association with the input image I_j. At this point, the position and orientation of the second feature point Q_jk are represented by the image coordinate system 210.
  • the second feature point Q_jk extracted from the input image I_j is matched with the first feature point P_i that constitutes the model pattern, and the object 1 is detected.
  • the object 1 is detected.
  • generalized Hough transform RANSAC (Random Sample Consensus), ICP (Iterative Closest Point) algorithm known in the art can be used.
  • NT_j images of the object are detected from the input image I_j.
  • the detection position R_Tjg is the position and orientation of the image T_jg of the object viewed from the image coordinate system 210, that is, the position and orientation of the model pattern coordinate system 100 as seen from the image coordinate system 210 when the model pattern is superimposed on the image T_jg. It is a homogeneous transformation matrix to be represented, and is represented by the following equation.
  • (x, y) is the position on the image
  • ⁇ is the amount of rotational movement on the image.
  • s is the ratio of the size of the taught model pattern to the size of the image T_jg of the object.
  • the detection position R_Tjg is stored in the detection result storage unit 27 in association with the input image I_j.
  • step 102 selection of corresponding points
  • R_Pi the position and orientation of the first feature points P_i constituting the model pattern.
  • R_Pi can be described as follows.
  • t_Pi (tx_Pi, ty_Pi) is the position of P_i in the model pattern coordinate system
  • v_Pi (vx_Pi, vy_Pi) is the posture of P_i in the model pattern coordinate system.
  • the position and orientation of the second feature point_Q_jk extracted from the input image I_j will also be represented by the homogeneous transformation matrix R_Qjk.
  • the position / orientation R_Pi of the first feature point P_i constituting the model pattern is represented by the model pattern coordinate system
  • the position / orientation R_Qjk of the second feature point Q_jk extracted from the input image I_j is the image coordinate system. It should be noted that it is expressed by. Therefore, the relationship between the two will be clarified.
  • R_Pi' the position and orientation of the first feature point P_i seen from the image coordinate system when the model pattern is superimposed on the image T_jg of the object reflected in the image I_j.
  • R_Qjk' is Q_jk seen from the image coordinate system.
  • the position of P_i seen from the image coordinate system is t_Pi'
  • the posture of P_i seen from the image coordinate system is v_Pi'
  • the position of Q_jk seen from the image coordinate system is t_Qjk
  • v_Qjk be the attitude of Q_jk as seen
  • t_Qjk' be the position of Q_jk as seen from the model pattern coordinate system
  • v_Qjk' as the attitude of Q_jk as seen from the model pattern coordinate system.
  • the position and orientation R_Pi of the first feature point P_i constituting the model pattern is the position seen from the image coordinate system by the equation (1). Convert to posture R_Pi'.
  • the closest one is searched from the second feature points Q_jk.
  • the following methods can be used for the search.
  • (A) Calculate the distance between the position and orientation R_Pi'of the first feature point and the position and orientation R_Qjk of all the second feature points, and select the second feature point Q_jk that is the closest.
  • (B) In a two-dimensional array having the same number of elements as the number of pixels of the input image I_j, the position / orientation R_Qjk of the second feature point is stored in the elements of the two-dimensional array corresponding to the pixel at that position, and the second of the two-dimensional array. The position and orientation of the feature point 1 The vicinity of the pixel corresponding to the orientation R_Pi is two-dimensionally searched, and the second feature point Q_jk found first is selected.
  • the selected second feature point Q_jk is appropriate as a corresponding point of the first feature point P_i. For example, the distance between the position / orientation R_Pi'of the first feature point P_i and the position / orientation R_Qjk of the second feature point Q_jk is calculated, and if the distance is less than or equal to the threshold value, the selected second feature point Q_jk is the first. It is assumed that it is appropriate as a corresponding point of the feature point P_i of 1.
  • the difference in physical quantities such as the attitude and the magnitude of the brightness gradient between the first feature point P_i and the second feature point Q_jk is also evaluated, and the first feature selected when they are also below or above the threshold value. It may be determined that the feature point Q_jk of 2 is appropriate as the corresponding point of the first feature point P_i.
  • R_Oim R_Qjk, which is the position / orientation seen from the image coordinate system, so it is converted to the position / orientation R_Oim'viewed from the model pattern coordinate system. Try to remember it afterwards.
  • procedure 103 evaluation based on detection parameters
  • the second feature point selected by the above procedure 102 selection of the corresponding point
  • the "allowable distance of the corresponding point” is used as the detection parameter.
  • the distance between the first feature point P_i and the corresponding second feature point Q_jk when the model pattern is superimposed on the image T_jg is equal to or less than the "allowable distance of the corresponding point”
  • the corresponding point (second feature) The feature point) is considered to be appropriate.
  • a valid correspondence point is stored in the detection result storage unit 27 as the correspondence point O_i of P_i.
  • step S4 the detection result is labeled.
  • the operator visually checks and labels the correct / incorrect answer (whether it was detected correctly or falsely detected).
  • FIG. 8 shows, as an example, a state in which images A11-A18 of eight objects are detected from the input image by the detection process (procedures 101 to 103) in step S3 and displayed on the display device 32. ..
  • the operator labels each of the detected images with a correct answer (OK) / incorrect answer (NG).
  • OK / NG may be switched by clicking the portion of the label image 301 on the image.
  • the operator makes the correct answer for the images A11, A13-A16, and A18, and makes the incorrect answer for the images A12 and A17.
  • step S5 only the detection result labeled as correct is extracted from the detection result, and the extracted detection result is used as the detection result (correct answer list) expected by the operator for the input image.
  • the correct answer list includes images A11, A13-A16, and A18.
  • the detection parameter is searched by Bayesian optimization.
  • new detection parameters threshold of matching degree and permissible distance of corresponding points
  • the above-mentioned detection processing procedures 101 to 103 is performed on the input image used for creating the correct answer list.
  • Acquires the detection result in step S7).
  • the detection result includes information on the detected image, detection position, posture, and size. At this time, the processing time required for detection is recorded.
  • step S8 the detection rate calculation unit 225 compares the detection result obtained in step S7 with the correct answer list, and by comparing the detection result obtained in step S7 with the detection result list newly set in step S6, the detection parameters (threshold value of matching degree and tolerance of corresponding points) are allowed. Calculate the undetected rate and false positive rate when the input image is detected by (distance).
  • the detection rate calculation unit 225 has a threshold value in which the images to be detected are the same (the ID numbers attached to the images are the same), and the difference between the detection position, the posture, and the size is set in advance. When it is within the range, it is determined that the detection results match.
  • the detection rate calculation unit 225 calculates the undetected rate so that the undetected rate becomes zero when all the detected results included in the correct answer list are included in the newly acquired detection results. Further, the detection rate calculation unit 225 calculates the false detection rate so that the false detection rate becomes zero when none of the detection results not included in the correct answer list are included in the newly acquired detection result list. Specifically, when the number of images included in the correct answer list is N and the number of images detected by the new detection parameter in the correct answer list is m 0 , the detection rate calculation unit 225 , The undetected rate may be calculated by the following formula.
  • step S9 the objective function value calculation unit 226 inputs the undetected rate and the false detection rate calculated in step S8 and the processing time required for detection in step S7 by the weight value input operation. Calculate the value of the objective function weighted by the weighted value.
  • the objective function value calculation unit 226 accepts the input of the weight value by the operation through the operation panel 31 by the operator.
  • x 1 , x 2 , and x 3 are the undetected rate, the false detection rate, and the processing time, respectively
  • w 1 , w 2 , and w 3 are the weight values for x 1 , x 2 , and x 3, respectively.
  • the objective function f is expressed by the following mathematical formula.
  • the objective function is calculated as described above, and when the value of the objective function becomes smaller than the preset value (S10: YES) or when a specified number of searches are performed (S11: YES), the search ends.
  • the objective function is equal to or greater than the set value and the specified number of searches has not been completed (S10: NO, S11: NO)
  • the series of processes from steps S6 to S11 for setting new detection parameters and performing detection is repeated. Execute.
  • the objective function is calculated as described above, and the search for the detection parameter is terminated when the value of the objective function is minimized or sufficiently reduced.
  • the parameter setting process it is possible to automatically set the optimum detection parameter for obtaining the detection result expected by the operator without trial and error of the operator.
  • the image processing device 21 sets the detection parameters obtained by the above processing as detection parameters used for detecting the object.
  • the "allowable distance of the corresponding point" and the “threshold of the degree of coincidence” are used as the detection parameters, but these are examples, and other detection parameters are used in place of or in addition to these. You may.
  • an allowable range may be set in the brightness gradient direction of the edge point, or an allowable range may be set in the magnitude of the brightness gradient of the edge point.
  • the operator In the loop processing of steps S6 to S11 in the detection parameter setting processing shown in FIG. 4 (that is, the detection parameter search processing in Bayesian optimization), the operator previously calculates some detection parameters and the values of the objective function. It may be given to reduce the search processing time (number of searches).
  • a function having three input variables of an undetected rate, a false detection rate, and a processing time is used as the objective function f, but at least one of these input variables is used as an input variable.
  • An objective function may be used. For example, when an objective variable whose input variable is the undetected rate is used, it is possible to search for a detection parameter suitable for reducing the undetected rate.
  • the detection rate calculation unit 225 may be configured to calculate either the undetected rate or the false detection rate.
  • the program that executes various processes such as the detection parameter setting process in the above-described embodiment includes various computer-readable recording media (for example, semiconductor memory such as ROM, EEPROM, flash memory, magnetic recording medium, CD-ROM, etc.). It can be recorded on an optical disk such as a DVD-ROM.
  • semiconductor memory such as ROM, EEPROM, flash memory, magnetic recording medium, CD-ROM, etc.
  • optical disk such as a DVD-ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

所望の検出結果を得るのに適した検出パラメータの設定を自動化するこのできる画像処理装置を提供する。　画像処理装置２１であって、検出パラメータを用いて入力画像データから対象物の像を検出する対象物検出部２２１と、対象物検出部による検出結果と所望の検出結果を表す情報とを比較することで、対象物検出部による対象物の検出における未検出率と誤検出率の少なくともいずれかを算出する検出率計算部２２５と、未検出率と誤検出率の少なくとも一方を入力変数とする目的関数の値を算出する目的関数値計算部２２６と、目的関数の値が所定の条件を満たすか又は検出パラメータの探索回数が規定数に達するまで検出パラメータの値を変更して対象物の検出、未検出率と前記誤検出率の少なくともいずれかの算出、及び目的関数の値の算出を繰り返すことにより検出パラメータの探索を行う検出パラメータ探索部２２７と、を備える。

Description

画像処理装置
　本発明は画像処理装置に関する。
　撮像装置の視野内の画像の中から特定の対象物の像を検出する画像処理装置が知られている。このような画像処理装置では、対象物を表す基準情報（一般に、モデルパターン、テンプレート等と称される）と撮像装置で取得した入力画像との間で特徴量のマッチングを行い、一致度が所定のレベルを超えたときに対象物の検出に成功したと判定すること一般的である（例えば、特許文献１参照）。
　また、特許文献２は、パラメタ制御装置の構成として、「照合第１段目照合１段目では、高速ではあるが低精度の照合処理によって登録データの絞込みを行う。続いて、照合２段目では、中速かつ中精度の照合処理によって、照合１段目からさらに登録データの絞り込みを行う。そして、照合ｍ段目では、前段の複数の照合処理で絞り込まれた少数の登録データに対して低速ではあるが高精度の照合処理を行い、一の登録データの特定を行う。各照合段階の登録データの絞り込みの精度及び速度を調整するパラメタを登録データに合わせて照合速度及び／又は照合精度が最適になるよう自動的に算出する。」と記載する（要約書）。
特開２０１７－９１０７９号公報 特開２０１０－９２１１９号公報
　特徴量のマッチングでは、例えば、モデルパターンの特徴点と、それに対応する入力画像中の対応点との距離の許容範囲が検出パラメータとして用いられる。このような検出パラメータを用いて対象物の検出を行う場合に、検出したい対象物の未検出が生じないようにする、或いは誤検出が出ないようにするといった所望の検出結果を得るためには操作者の試行錯誤による検出パラメータの調整が必要になる。所望の検出結果を得るのに適した検出パラメータの設定を自動化するこのできる画像処理装置が望まれる。
　本開示の一態様は、対象物のモデルパターンに基づいて１以上の入力画像データ中の前記対象物の像を検出する画像処理装置であって、検出パラメータを用いて前記モデルパターンの特徴量と前記１以上の入力画像データから抽出された特徴量とのマッチングを行い前記１以上の入力画像データから前記対象物の像を検出する対象物検出部と、前記検出パラメータの値の設定前に予め準備された前記１以上の入力画像データに対する前記対象物検出部による検出結果と、前記１以上の入力画像データに対し前記対象物の像の検出を行った場合の所望の検出結果を表す情報とを比較することで、前記対象物検出部による前記対象物の検出における未検出率と誤検出率の少なくともいずれかを算出する検出率計算部と、前記未検出率と前記誤検出率の少なくとも一方を入力変数とする関数として定義される目的関数の値を算出する目的関数値計算部と、前記目的関数の値が所定の条件を満たすか又は前記検出パラメータの探索回数が規定数に達するまで前記検出パラメータの値を変更して前記対象物検出部による前記対象物の検出、前記検出率計算部による前記未検出率と前記誤検出率の少なくともいずれかの算出、及び前記目的関数値計算部による前記目的関数の値の算出を繰り返すことにより前記検出パラメータの探索を行う検出パラメータ探索部と、を備える画像処理装置である。
　上記構成によれば、所望の検出結果を得るのに適した検出パラメータの設定を自動化することができる。
　添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
一実施形態に係る画像処理装置の構成を表すブロック図である。 画像処理装置を有する視覚センサ制御装置及び視覚センサにより対象物を検出する構成例を示す図である。 ロボットのアーム先端部に設置した視覚センサの画像から対象物を検出する構成例を表す図である。 検出パラメータ設定処理のフローチャートである。 モデルパターンの作成手順を示すフローチャートである。 対象物のモデルパターンの例を示す図である。 撮像した画像におけるモデルパターン指定領域の例を示す図である。 正解リストを作成するために検出された各像にラベル付けを行った状態を表す図である。
　次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
　図１は一実施形態に係る画像処理装置２１の構成を表すブロック図である。図１に示すように、画像処理装置２１には、視覚センサ１０、操作盤３１、及び表示装置３２が接続されている。画像処理装置２１は、視覚センサ１０の視野内の画像から特定の対象物の像を検出する機能を具備する。画像処理装置２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。操作盤３１及び表示装置３２は画像処理装置２１に一体に設けられていても良い。
　視覚センサ１０は、濃淡画像やカラー画像を撮像するカメラでも、距離画像や３次元点群を取得できるステレオカメラや３次元センサでもよい。本実施形態では、視覚センサ１０としてカメラを用い、視覚センサ１０が濃淡画像を出力するものとして説明を行う。カメラは、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を有する電子カメラであり、撮像面（ＣＣＤアレイ面上）で２次元画像を検出する機能を持つ周知の受光デバイスである。撮像面における２次元座標系を以下では画像座標系と呼ぶ。
　図２は、画像処理装置２１を有する視覚センサ制御装置２０及び視覚センサ１０により対象物を検出する構成例を示す図である。図２に示すように、視覚センサ１０を対象物１が撮像できる位置に固定設置し、対象物１は作業台２に載置する。この構成において、視覚センサ１０により撮像された画像内で対象物１の検出を行う。
　図３は、ロボット制御装置１３により制御されるロボット１１のハンド１２で、作業台２上の対象物１をハンドリングする場合に、ロボット１１のアーム先端部に設置した視覚センサ１０の画像から対象物１を検出する構成例を表す図である。図３の構成例では、視覚センサ１０で撮像された画像を視覚センサ制御装置２０に搭載した画像処理装置２１で処理して対象物１を検出し、検出した対象物１の位置情報をロボット制御装置１３に供給する。本構成例のように、視覚センサ１０は、ロボット１１のアーム先端部などの可動部に設置してもよい。
　図１に示すように、画像処理装置２１は、画像処理部２２と、モデルパターン記憶部２６と、検出結果記憶部２７とを有する。画像処理部２２は、対象物検出部２２１と、対応点選択部２２２と、正解リスト作成部２２３と、検出結果リスト作成部２２４と、検出率計算部２２５と、目的関数値計算部２２６と、検出パラメータ探索部２２７とを有する。図１に示す画像処理装置２１が有する各機能は、画像処理装置２１のＣＰＵが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated IC）等のハードウェアを主体とした構成により実現されても良い。
　対象物検出部２２１は、対象物が撮像された一乃至複数の入力画像（入力画像データ）のそれぞれについて、該入力画像から抽出した複数の第２の特徴点と、モデルパターンを構成する複数の第１の特徴点とのマッチングを行って対象物の一乃至複数の像を検出する。対応点選択部２２２は、一乃至複数の入力画像から検出した一乃至複数の対象物の像のそれぞれについて、該像を構成する複数の第２の特徴点からモデルパターンを構成する複数の第１の特徴点に対応する第２の特徴点を選択し、該第２の特徴点を対応点として該第１の特徴点に関連付けて記憶する。
　正解リスト作成部２２３は、検出対象が写った画像が含まれる一乃至複数の入力画像に対して検出処理を行うことで取得された検出結果に対して、操作者による正しい検出結果か、間違った検出結果かを入力する操作を受け付け、正しい検出結果のみで構成される正解リスト（すなわち、操作者にとって所望の検出結果を表す情報）を作成する。検出結果リスト作成部２２４は、設定した検出パラメータを使って、検出対象が写った画像が含まれる一乃至複数の入力画像に対して検出処理を行うことで取得された検出結果と、当該検出処理にかかった処理時間とを記録した検出結果リストを作成する。
　検出率計算部２２５は、検出結果リスト作成部２２４が作成した検出結果リストと正解リストとを比較し、未検出率と誤検出率の少なくともいずれかを計算する。目的関数値計算部２２６は、未検出率と誤検出率の少なくとも一方を入力変数とする関数として定義される目的関数の値を算出する。検出パラメータ探索部２２７は、目的関数の値が所定の条件を満たすか又は検出パラメータの探索回数が規定数に達するまで、検出パラメータの値を変更して、対象物の検出、未検出率及び誤検出率の計算、及び目的関数の値の計算を繰り返すことにより検出パラメータの探索を行う。
　視覚センサ１０は、画像処理装置２１に通信ケーブルで接続されている。視覚センサ１０は、撮像した画像データを画像処理装置２１に供給する。操作盤３１は、画像処理装置２１に通信ケーブルで接続されている。操作盤３１は、画像処理装置２１で対象物１を検出するために必要な視覚センサ１０の設定を行うのに使用される。表示装置３２は、画像処理装置２１に通信ケーブルで接続されている。表示装置３２には、視覚センサ１０で撮像した画像や操作盤３１で設定する設定内容が表示される。
　画像処理装置２１は、対象物を表す基準情報（モデルパターン、テンプレート等と称される）と視覚センサ１０によって取得した入力画像との間で特徴量のマッチングを行い、一致度が所定のレベル（閾値）を超えたときに対象物の検出に成功したと判断する構成をとる。例えば、特徴量のマッチングで、モデルパターンの特徴点と対応する入力画像の対応点との距離の範囲（以下、「対応点の許容距離」と記載する）を検出パラメータとして設定する場合を想定する。この場合、検出パラメータとして小さい値を設定すると一致度が低下し検出したい対象物が見つからなくなってしまうことがある。それとは逆に検出パラメータとして大きい値を設定すると、モデルパターンの特徴点に対応する特徴点として妥当でない入力画像の特徴点に誤対応し誤検出の原因となる場合がある。本実施形態に係る画像処理装置２１は、操作者の試行錯誤なしに、操作者が期待する検出結果を得るのに適した検出パラメータを自動的に設定する機能を有する。
　画像処理装置２１は、以下のアルゴリズムで、操作者が期待した検出結果を得るのに適した検出パラメータを設定する。
（手順Ａ１１）検出対象が写った画像が含まれる一乃至複数の入力画像に対する、操作者の期待通りの検出結果のリスト（正解リスト）を作成する。
（手順Ａ１２）新たに検出パラメータを設定し、上記（手順Ａ１１）で使用した入力画像（すなわち、検出パラメータの値の設定前に予め準備された一乃至複数の入力画像）に対して検出を行うことで、新たに検出結果を取得する。その際に、検出にかかった処理時間を記録する（検出リストの作成）。
（手順Ａ１３）新たに取得した検出結果を正解リストと比較することで、新たに設定した検出パラメータで上記（手順Ａ１１）で使用した入力画像に対して検出を行った時の未検出率、誤検出率を計算する。
（手順Ａ１４）計算した未検出率、誤検出率及び記録した検出にかかった処理時間から目的関数の値を計算する。目的関数は、未検出率、誤検出率及び検出にかかる処理時間を操作者が任意の値で重みづけしたものを使用する。
（手順Ａ１５）目的関数の値が設定した値より小さくなった時、または規定数の検出パラメータを探索した時に、検出パラメータの探索を終了する。条件を満たさない場合は、新しい検出パラメータの探索を行う（手順Ａ１２に戻る）。
（手順Ａ１６）探索した検出パラメータの中で、目的関数の値が最小の時の検出パラメータを画像処理装置に設定する。
　目的関数を最小化する検出パラメータの探索には、当分野で知られたベイズ最適化、グリッドサーチ、ランダムサーチ等の各種探索法を用いることができる。ベイズ最適化では既に検討したパラメータから、良い目的関数の値を得られる可能性が高いパラメータの候補を確率的に求め、効率的にパラメータを探索するため、グリッドサーチやランダムサーチよりも少ない探索数で検出パラメータを最適化できる。ベイズ最適化はブラックボックス最適化手法の一つであり、入力に対する出力値は分かるが数式化の困難な関数（ブラックボックス関数）に対して、出力が最小となる入力を探索する手法である。なお、ランダムサーチは、検出パラメータの値をランダムに設定する探索手法である。本実施形態では、検出パラメータの探索にベイズ最適化を用いるものとする。
　目的関数は、未検出率、誤検出率及び検出にかかる処理時間を重みづけしたものを使用する。操作者は重みづけの値を変えることで、未検出率、誤検出率及び検出にかかる処理時間のどの値を優先して最小化するかを決めることができる。例えば誤検出率の重みを大きくすると、未検出が発生したとしても誤検出をゼロにするフェールセーフな検出を行う検出パラメータを優先して探索する。他方、未検出率の重みを大きくすると、特に未検出の発生を抑制するのに適した検出パラメータを得ることができる。また、処理時間の重みを増加させることで、特に処理時間を低減させるのに適した検出パラメータを得ることができる。
　正解リスト作成部２２３は、以下のアルゴリズムで、検出対象が写った画像が含まれる一乃至複数の入力画像に対する、操作者の期待通りの検出結果のリスト（正解リスト）を作成する。
（手順Ａ２１）検出対象が写った画像が含まれる一乃至複数の入力画像に対して検出を行い、検出結果を取得する。検出結果には検出した画像、検出位置、姿勢、サイズの情報が含まれる。ここでは、誤検出が多くても未検出がないまたは少ないことが望ましいので、比較的多くの検出結果が得られるように検出パラメータを比較的緩い値に設定して検出を行う。
（手順Ａ２２）操作者による各検出結果に対するラベル付けの操作を受け付ける。通常は操作者が目視で確認して、正解／不正解（正しく検出できたか、誤検出だったか）のラベルを付ける。
（手順Ａ２３）検出結果から正解のラベルを付けた検出結果だけを抜き出し、入力画像に対する操作者の期待通りの検出結果のリスト（正解リスト）を作成する。
　検出率計算部２２５は、以下のアルゴリズムで、新たに設定した検出パラメータで画像データセットに対して検出を行った時の未検出率、誤検出率を計算する。
（手順Ａ３１）入力画像に対し新たに取得した検出結果が、正解リストに含まれる検出結果と一致するかを判定する。検出位置、姿勢、サイズの差が設定した閾値内に収まっている時に、その検出結果が一致すると判定する。
（手順Ａ３２）全ての判定結果を合計し、未検出率、誤検出率を計算する。正解リストに含まれる全ての検出結果が新たに取得した検出結果のリストに含まれる場合に未検出率をゼロとし、正解リストに含まれない検出結果が新たに取得した検出結果のリストに一つも含まれない場合に誤検出率をゼロとする。操作者の期待したものが適切に検出される場合、未検出率、誤検出率は共にゼロになる。
　このように、検出対象が写った画像が含まれる一乃至複数の入力画像に対する正解ラベルの付いた検出結果のリストを作成することで、検出パラメータを変更した時に、操作者による確認を必要とせず、入力画像に対して検出を行った時の未検出率及び誤検出率を計算できる。そして、一例として、誤検出率をゼロにし、かつ、未検出率及び検出にかかる処理時間を最小化することを目的とし、検出パラメータの値を入力としたベイズ最適化による探索を行うことで、操作者が意図したものだけが検出される最適な検出パラメータを操作者の試行錯誤なしに設定することができる。
　図４は、操作者が期待する検出結果を得るのに適した検出パラメータを設定する上述のアルゴリズムを具体的に実現する処理（以下、検出パラメータ設定処理と記す）を表すフローチャートである。検出パラメータ設定処理は、画像処理装置２１のＣＰＵによる制御の下で実行される。検出パラメータとしては、上述の「対応点の許容距離」、及び、モデルパターンの特徴量と入力画像から抽出される特徴量との間の「一致度の閾値」を用いる。
　はじめに、モデルパターンの教示を行う（ステップＳ１）。すなわち、ステップＳ１で、画像処理部２２がモデルパターンを作成し、作成したモデルパターンをモデルパターン記憶部２６に記憶する。
　本実施形態におけるモデルパターンは複数の特徴点から構成される。特徴点としては様々な物が使用できるが、本実施形態ではエッジ点を特徴点として用いる。エッジ点は、画像中で輝度勾配が大きな点であり、対象物１の輪郭形状を取得するために使用できる。エッジ点を抽出する方法としては当分野で知られる各種手法を用いることができる。
　エッジ点の物理量としては、そのエッジ点の位置、輝度勾配方向、輝度勾配の大きさなどがある。エッジ点の輝度勾配の方向を特徴点の姿勢と定義すると、位置とあわせて特徴点の位置姿勢を定義することができる。本実施形態では、特徴点の物理量としてエッジ点の物理量、すなわちエッジ点の位置、姿勢（輝度勾配の方向）、輝度勾配の大きさを記憶する。
　図６は、対象物１のモデルパターンの例を示す図である。図６に示されるように、対象物１のモデルパターンは複数の第１の特徴点P_i（i=1～NP）で構成される。モデルパターンを構成する第１の特徴点P_iの位置姿勢はどのような形式で表してもよいが、一例としては、モデルパターンに座標系１００を定義し（以下、モデルパターン座標系１００）、モデルパターンを構成する特徴点の位置t_Pi（i=1～NP）や姿勢v_Pi（i=1～NP）をモデルパターン座標系１００から見た位置ベクトルや方向ベクトルなどで表現する方法が挙げられる。
　モデルパターン座標系１００の原点はどのように定義してもよい。例えば、モデルパターンを構成する第１の特徴点から任意の１点を選択して、その点を原点として定義してもよく、モデルパターンを構成するすべての特徴点の重心を原点として定義してもよい。
　モデルパターン座標系１００の姿勢（軸の方向）もどのように定義してもよい。例えば、モデルパターンの作成を行った画像において画像座標系とモデルパターン座標系１００とが平行になるように定義してもよいし、モデルパターンを構成する特徴点から任意の２点を選択して、その一方から他方に向かう方向がＸ軸方向となるように定義してもよい。
　モデルパターンを構成する第１の特徴点P_iは、モデルパターン記憶部２６に、例えば、下記表１のような形式（位置、姿勢、輝度勾配の大きさを含む）で記憶される。
Figure JPOXMLDOC01-appb-T000001
　図５は、図４のステップＳ１における画像処理部２２によるモデルパターンの作成手順を示すフローチャートである。ステップＳ２０１で、モデルパターンとして教示したい対象物１を視覚センサ１０の視野内に配置し、対象物１の画像を撮像する。この時の視覚センサ１０と対象物１の位置関係は、対象物１を検出するときと同じになるようにして行うことが望ましい。
　ステップＳ２０２で、撮像した画像において対象物１が映った領域を矩形や円形でモデルパターン指定領域として指定する。図７は、撮像した画像におけるモデルパターン指定領域の例を示す図である。図７に示すように、撮像した画像において画像座標系２１０が定義され、その中で対象物１の像１Ａを含むようにモデルパターン指定領域（ここでは矩形領域）２２０が指定される。モデルパターン指定領域２２０は、使用者が表示装置３２で画像を見ながら操作盤３１により入力した指示を画像処理部２２が受けて設定しても、画像処理部２２が画像における輝度勾配の大きい箇所を像１Ａの輪郭として求め、像１Ａが内部に含まれるように自動的に指定してもよい。
　次に、ステップＳ２０３で、モデルパターン指定領域２２０の範囲内でエッジ点を特徴点として抽出し、エッジ点の位置、姿勢（ 輝度勾配の方向）、輝度勾配の大きさなどの物理量を求める。また、指定された領域内にモデルパターン座標系１００を定義し、エッジ点の位置や姿勢を、画像座標系２１０で表現された値から、モデルパターン座標系１００で表現された値に変換する。
　次に、ステップＳ２０４で、抽出されたエッジ点の物理量を、モデルパターンを構成する第１の特徴点P_iとしてモデルパターン記憶部２６に記憶する。本実施形態では、特徴点としてエッジ点を用いたが、本実施形態で使用可能な特徴点がエッジ点に限定されるわけではなく、たとえば当分野で知られたＳＩＦＴ（Scale-Invariant Feature Transform）のような特徴点を使用してもよい。
　また、対象物１の画像からエッジ点やＳＩＦＴ特徴点などを抽出して、モデルパターンを構成する第１の特徴点とするのではなく、画像に写った対象物の輪郭線に合うように線分、矩形、円などの幾何図形を配置することでモデルパターンを作成してもよい。その場合、輪郭線を構成する幾何図形上に適当な間隔で特徴点を設ければよい。さらに、CADデータなどに基づいてモデルパターンを作成することもできる。
　図４のフローに戻り、次に、画像処理部２２は、ステップＳ２～Ｓ５において、検出対象が写った画像が含まれる一乃至複数の入力画像に対する、操作者の期待通りの検出結果のリスト（正解リスト）を作成する。ステップＳ２～Ｓ５の処理は上述の正解リスト作成のアルゴリズム（手順Ａ２１～Ａ２３）に対応する。検出対象が写った画像が含まれる一乃至複数の入力画像を用意する。入力画像のそれぞれについて、適当な一致度の閾値及び対応点の許容距離を設定して対象物の検出を行い、検出結果を取得する。ここでは、誤検出が多くても未検出がないまたは少ないことが望ましいので、一致度の閾値を低く、対応点の許容距離を大きく設定する（ステップＳ２）。そして、検出対象が映った画像が含まれる一乃至複数の入力画像のそれぞれについて対象物１の像１Ａ（以下、単に対象物１と称する場合がある）の検出を行い、検出結果を取得する（ステップＳ３）。検出結果には検出した画像、検出位置、姿勢、サイズの情報が含まれる。
　ステップＳ３における対象物１の検出について詳細に説明する。対象物の検出は以下の手順で行う。
　手順１０１：対象物の検出
　手順１０２：対応点の選択
　手順１０３：検出パラメータに基づく評価
　以下、手順１０１～手順１０３を説明する。これらの手順は対象物検出部２２１による制御の下で実行される。手順１０１（対象物の検出）で、入力画像I_j（j=1～NI）のそれぞれについて対象物１の像１Ａ（以下、単に対象物１と称する場合がある）の検出を行う。まず、入力画像I_jから第２の特徴点を抽出する。第２の特徴点はモデルパターンを作成する際に第１の特徴点を抽出した方法と同じ方法で抽出すればよい。本実施形態では、入力画像からエッジ点を抽出し、第２の特徴点とする。説明のため、入力画像I_jから抽出されたNQ_j個の第２の特徴点をQ_jk（k=1～NQ_j）とする。第２の特徴点Q_jkは入力画像I_jに関連づけて検出結果記憶部２７に記憶する。この時点では、第２の特徴点Q_jkの位置や姿勢は画像座標系２１０で表現されている。
　次に、入力画像I_jから抽出した第２の特徴点Q_jkとモデルパターンを構成する第１の特徴点P_iとのマッチングを行い、対象物1の検出を行う。対象物を検出する方法は様々なものがあるが、たとえば、当分野で知られた、一般化ハフ変換、ＲＡＮＳＡＣ（Random Sample Consensus）、ＩＣＰ（Iterative Closest Point）アルゴリズムなどが利用できる。
　検出を行った結果、入力画像I_jから対象物の像がNT_j個検出されたとする。また、検出された像をT_jg（g=1～NT_j）、像T_jgの検出位置をR_Tjgとする。検出位置R_Tjgは、画像座標系２１０から見た対象物の像T_jgの位置姿勢、すなわち像T_jgにモデルパターンを重ね合わせた時の、画像座標系２１０から見たモデルパターン座標系１００の位置姿勢を表す同次変換行列であり、次の式で表される。
Figure JPOXMLDOC01-appb-M000002
　たとえば、対象物がカメラの光軸に対して傾くことがなく、画像に写る対象物の像の移動として合同変換だけを考えればよい場合には、a00～a12は以下のようになる。
　a00=cosθ
　a01=-sinθ
　a02=x
　a10=sinθ
　a11=cosθ
　a12=y
　ただし、（x、y）は画像上での位置、θは画像上での回転移動量である。
　また、対象物がカメラの光軸に対して傾くことはないが、対象物とカメラの距離が一定でない場合は、距離に応じて画像に映る対象物の像の大きさが変わるため、画像に写る対象物の像の移動としては相似変換となる。その場合、a00～a12は以下のようになる。
　a00=ｓ・cosθ
　a01=-ｓ・sinθ
　a02=x
　a10=ｓ・sinθ
　a11=ｓ・cosθ
　a12=y
　ただし、sは教示されたモデルパターンの大きさと対象物の像T_jgの大きさの比である。
　入力画像I_j(j=1～NI)のそれぞれについて同様の処理を行い、トータルでNT個の像が検出されたものとする。なお、トータルの個数NTは次の式で表される。
Figure JPOXMLDOC01-appb-M000003
　検出位置R_Tjgを、入力画像I_jに関連付けて検出結果記憶部２７に記憶しておく。
　次に手順１０２（対応点の選択）について説明する。手順１０２の処理機能は、対応点選択部２２２により提供される。手順１０２において、各入力画像I_j(j=1～NI)から検出された対象物の像T_jg（j=1～NI、g=1～NT_j）の検出位置R_Tjgに基づいて、入力画像I_jから抽出された第２の特徴点Q_jk（j=1～NI, k=1～NQ_j）のうち、モデルパターンを構成する第１の特徴点P_iに対応するものを対応点として選択する。
　説明のため、モデルパターンを構成する第１の特徴点P_iの位置姿勢をそれぞれ同次変換行列R_Piで表すことにする。R_Piは以下のように記述できる。
Figure JPOXMLDOC01-appb-M000004
　b00= vx_Pi
　b01=-vy_Pi
　b02= tx_Pi
　b10= vy_Pi
　b11= vx_Pi
　b12= ty_Pi
　ただし、t_Pi =（tx_Pi, ty_Pi）はモデルパターン座標系でのP_iの位置、v_Pi =（vx_Pi, vy_Pi）はモデルパターン座標系でのP_iの姿勢である。
　なお、P_iの姿勢をベクトルではなく角度r_Piで表現することもできる。v_Piはr_Piを使って、v_Pi = (vx_Pi, vy_Pi) = (cos r_Pi, sin r_Pi)と表現できる。同様に、入力画像I_jから抽出した第２の特徴点_Q_jkの位置姿勢も、同次変換行列R_Qjkで表すことにする。
　ここで、モデルパターンを構成する第１の特徴点P_iの位置姿勢R_Piはモデルパターン座標系で表現されており、入力画像I_jから抽出された第２の特徴点Q_jkの位置姿勢R_Qjkは画像座標系で表現されていることに注意が必要である。そこで、両者の関係を明確にしておく。
　画像I_jに写った対象物の像T_jgにモデルパターンを重ねた時の、画像座標系から見た第１の特徴点P_iの位置姿勢をR_Pi’とすると、R_Pi’は、モデルパターン座標系からみた第１の特徴点P_iの位置姿勢R_Piと、画像座標系から見た像T_jgの検出位置R_Tjgを用いて、以下のように表せる。
　R_Pi'=R_Tjg・R_Pi　　　　　　・・・（１）
　同様に、対象物の像T_jgにモデルパターンを重ねた時の、モデルパターン座標系から見た第２の特徴点Q_jkの位置姿勢をR_Qjk’とすると、R_Qjk’は、画像座標系から見たQ_jkの位置姿勢R_Qjkと、画像座標系から見た像T_jgの検出位置R_Tjgを用いて、以下のように表せる。
　R_Qjk'=R_Tjg-1・R_Qjk　　　　・・・（２）
　なお、後の説明のため、画像座標系から見たP_iの位置をt_Pi’、画像座標系から見たP_iの姿勢をv_Pi’、画像座標系から見たQ_jkの位置をt_Qjk、画像座標系から見たQ_jkの姿勢をv_Qjk、モデルパターン座標系から見たQ_jkの位置をt_Qjk’、モデルパターン座標系から見たQ_jkの姿勢をv_Qjk’とする。
　以上を踏まえて、モデルパターンを構成する第１の特徴点P_iと、入力画像I_jから抽出された第２の特徴点Q_jk（j=1～NI, k=1～NQ_j）の対応付けを、以下の手順で行う。
　Ｂ１．入力画像I_jから検出された対象物の像T_jgの検出位置R_Tjgに基づいて、モデルパターンを構成する第１の特徴点P_iの位置姿勢R_Piを、式（１）により、画像座標系から見た位置姿勢R_Pi’に変換する。
　Ｂ２．第１の特徴点P_iのそれぞれについて、第２の特徴点Q_jkの中から最も近いものを探索する。探索には以下のような手法を使うことができる。
　　（ア）第１の特徴点の位置姿勢R_Pi’と全ての第２の特徴点の位置姿勢R_Qjkとの距離を計算し、最も距離が近い第２の特徴点Q_jkを選択する。
　　（イ）入力画像I_jの画素数と同じ要素数の２次元配列に、第２の特徴点の位置姿勢R_Qjkをその位置の画素に対応する２次元配列の要素に格納し、２次元配列の第１の特徴点の位置姿勢R_Piに対応する画素近傍を２次元的に探索し、最初に見つかった第２の特徴点Q_jkを選択する。
　Ｂ３．選択された第２の特徴点Q_jkが、その第１の特徴点P_iの対応点として妥当であるか評価する。たとえば、第１の特徴点P_iの位置姿勢R_Pi’と第２の特徴点Q_jkの位置姿勢R_Qjkの距離を計算し、距離が閾値以下であれば、選択された第２の特徴点Q_jkはその第１の特徴点P_iの対応点として妥当であるとする。
　さらに、第１の特徴点P_iと第２の特徴点Q_jkの姿勢や輝度勾配の大きさなどの物理量の差も合わせて評価して、それらも閾値以下または閾値以上であるときに選択された第２の特徴点Q_jkはその第１の特徴点P_iの対応点として妥当であると判断するようにしてもよい。
　Ｂ４．選択された第２の特徴点Q_jkが、その第１の特徴点P_iの対応点として妥当であると判断した場合は、選択された第２の特徴点Q_jkをその第１の特徴点P_iの対応点O_imとして、P_iに関連付けて検出結果記憶部27に記憶する。対応点O_imの画像座標系から見た位置姿勢R_Oimとすると、R_Oim=R_Qjkであり、これは画像座標系から見た位置姿勢であるので、モデルパターン座標系から見た位置姿勢R_Oim’に変換してから記憶するようにする。R_Oim’は、式（２）により、以下のようにして計算できる。
Figure JPOXMLDOC01-appb-M000005
　以上の処理を、入力画像I_j(j=1～NI)から検出されたNT個の検出位置R_Tjg（j=1～NI、g=1～NQ_j）のそれぞれについて行うことにより、モデルパターンのi番目の特徴点P_iに対応すると判定された対応点がNO_i個見つかったものとする。また、モデルパターンのi番目の特徴点P_iに対応するm個目の対応点をO_im（m=1～NO_i）とする。なお、入力画像I_jから検出された対象物の像の総数がNTであるので、NO_i <= NTである。得られた対応点は下記表２のような形態でモデルパターン記憶部２６に記憶する。
Figure JPOXMLDOC01-appb-T000006
　次に、手順１０３（検出パラメータに基づく評価）について説明する。ここでは、上記手順１０２（対応点の選択）により選択された第２の特徴点が第１の特徴点P_iの対応点として妥当であるかを確認する。ここで検出パラメータとしての「対応点の許容距離」を用いる。像T_jgにモデルパターンを重ね合わせた時の、第１の特徴点P_iとそれに対応する第２の特徴点Q_jkとの距離が「対応点の許容距離」以下のときに当該対応点（第２の特徴点）は妥当であるとする。妥当である対応点はP_iの対応点O_iとして検出結果記憶部２７に記憶する。
　上記手順１０２及び手順１０３を全ての第１の特徴点P_i（i=1～NP）に対して行うことで、NO個の対応点が選択できたものとする。モデルパターンを構成する第１の特徴点の総数NPと見つかった対応点の数NOを使用して、NO/NPを求めることで、モデルパターンと像T_xの一致度を0.0から1.0の間の値で表現できる。一致度が「一致度の閾値」未満の像T_xは検出結果から除外する。
　図４のフローに戻り、次にステップＳ４では、検出結果にラベルを付ける。通常は操作者が目視で確認して、正解／不正解（正しく検出できたか、誤検出だったか）のラベルを付ける。図８は、上記ステップＳ３での検出処理（手順１０１～１０３）により、一例として、入力画像から８個の対象物の像Ａ１１－Ａ１８が検出され、表示装置３２に表示されている状態を表す。操作者は、検出された像の一つ一つに正解（ＯＫ）／不正解（ＮＧ）のラベルを付ける。ラベル付けは、画像上のラベル画像３０１の部分をクリック操作することでＯＫ／ＮＧが切り替わるようになっていても良い。図８の例では、操作者は、像Ａ１１、Ａ１３－Ａ１６、Ａ１８については正解とし、像Ａ１２、Ａ１７については不正解としている。
　次に、ステップＳ５では、検出結果から正解のラベルを付けた検出結果だけを抜き出し、抜き出した検出結果を、入力画像に対する操作者の期待する検出結果（正解リスト）とする。図８の例の場合には、正解リストには、像Ａ１１、Ａ１３－Ａ１６、Ａ１８が含められる。
　次に、ステップＳ６－Ｓ１１のループ処理では、ベイズ最適化により検出パラメータを探索する。まず、新たな検出パラメータ（一致度の閾値及び対応点の許容距離）を設定し（ステップＳ６）、正解リスト作成に用いた入力画像に対して上述の検出処理（手順１０１～１０３）を行うことで検出結果を取得する（ステップＳ７）。検出結果には検出した画像、検出位置、姿勢、サイズの情報が含まれる。また、この際、検出にかかった処理時間を記録する。
　次に、ステップＳ８では、検出率計算部２２５は、ステップＳ７で得られた検出結果を正解リストと比較することで、ステップＳ６で新たに設定した検出パラメータ（一致度の閾値及び対応点の許容距離）で入力画像に対して検出を行った時の未検出率、誤検出率を計算する。この際、検出率計算部２２５は、検出対象とされた画像が同じものであり（画像に付したＩＤ番号が同じであること）、かつ検出位置、姿勢、サイズの差が事前に設定した閾値内に収まっている時に、検出結果が一致したと判定する。
　検出率計算部２２５は、正解リストに含まれる全ての検出結果が新たに取得した検出結果に含まれる場合に未検出率がゼロとなるように未検出率を算出する。また、検出率計算部２２５は、正解リストに含まれない検出結果が新たに取得した検出結果のリストに一つも含まれない場合に誤検出率がゼロとなるように誤検出率を算出する。具体的には、正解リストに含まれる像の数をＮ個、新たな検出パラメータにより検出された像のうち正解リストに含まれる像の数をｍ0個とするとき、検出率計算部２２５は、以下の数式により未検出率を算出しても良い。

（未検出率）＝（Ｎ－ｍ0）／Ｎ

また、正解リストに含まれる像の数をＮ個、新たな検出パラメータで検出にされた像のうち正解リストに含まれない像の数をｍ1個とするとき、また、検出率計算部２２５は、以下の数式により誤検出率を算出しても良い。

（誤検出率）＝ｍ1／Ｎ
　次に、ステップＳ９では、目的関数値計算部２２６は、ステップＳ８で計算された未検出率、誤検出率と、ステップＳ７における検出にかかった処理時間とに対して、重み値入力操作によって入力された重み値によって重み付けした目的関数の値を計算する。この場合、目的関数値計算部２２６は、操作者による操作盤３１を介した操作による重み値の入力を受け付ける。ここで、ｘ1、ｘ2、ｘ3をそれぞれ未検出率、誤検出率、処理時間とし、ｗ1、ｗ2、ｗ3をそれぞれｘ1、ｘ2、ｘ3に対する重み値とするとき、目的関数ｆは、以下の数式により表される。
Figure JPOXMLDOC01-appb-M000007
　以上のように目的関数を計算し、目的関数の値が予め設定した設定値より小さくなった時（Ｓ１０：ＹＥＳ）、または規定数の探索をした時（Ｓ１１：ＹＥＳ）、探索を終了する。目的関数が設定値以上であり未だ規定数の探索が終了していない場合（Ｓ１０：ＮＯ、Ｓ１１：ＮＯ）、新たな検出パラメータを設定して検出を行うステップＳ６からＳ１１の一連の処理を再び実行する。
　上記のようにパラメータ探索処理では、上述のように目的関数を計算し、目的関数の値が最小化乃至は十分に低下したときに検出パラメータの探索を終了させる。以上説明したように、パラメータ設定処理によれば、操作者の試行錯誤なしに、操作者が期待する検出結果を得るのに最適な検出パラメータを自動的に設定することができる。
　画像処理装置２１は、以上の処理により得られた検出パラメータを対象物の検出に用いる検出パラメータとして設定する。
　以上説明したように、本実施形態によれば、所望の検出結果を得るのに適した検出パラメータの設定を自動化することができる。
　以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
　上述の実施形態では、検出パラメータとして「対応点の許容距離」及び「一致度の閾値」を用いたが、これは例示であり、これらに代えて又はこれらに加えて他の検出パラメータが用いられても良い。例えば、検出パラメータとして、エッジ点の輝度勾配方向に許容範囲を設定したり、エッジ点の輝度勾配の大きさに許容範囲を設定しても良い。
　図４に示した検出パラメータ設定処理におけるステップＳ６～Ｓ１１のループ処理（すなわち、ベイズ最適化における検出パラメータの探索処理）においては操作者が予めいくつかの検出パラメータと目的関数の値の計算値を与え、探索処理の時間（探索回数）を低減するようにしても良い。
　上述の実施形態では、目的関数ｆとして未検出率、誤検出率、及び処理時間の３つの入力変数を有する関数を用いているが、これらの入力変数の少なくともいずれか一つを入力変数とする目的関数を用いても良い。例えば、未検出率を入力変数とする目的変数を用いた場合、未検出率の低減に適した検出パラメータを探索することができる。検出率計算部２２５は、未検出率、誤検出率のいずれか一方を算出する構成であっても良い。
　上述した実施形態における検出パラメータ設定処理等の各種の処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。
　１　　対象物
　１０　　視覚センサ
　１１　　ロボット
　１２　　ハンド
　２０　　視覚センサ制御装置
　２１　　画像処理装置
　２２　　画像処理部
　３１　　操作盤
　３２　　表示装置
　２２１　　対象物検出部
　２２２　　対応点選択部
　２２３　　正解リスト作成部
　２２４　　検出結果リスト作成部
　２２５　　検出率計算部
　２２６　　目的関数値計算部
　２２７　　検出パラメータ探索部

Claims (6)

  1. 　対象物のモデルパターンに基づいて１以上の入力画像データ中の前記対象物の像を検出する画像処理装置であって、
    　検出パラメータを用いて前記モデルパターンの特徴量と前記１以上の入力画像データから抽出された特徴量とのマッチングを行い前記１以上の入力画像データから前記対象物の像を検出する対象物検出部と、
    　前記検出パラメータの値の設定前に予め準備された前記１以上の入力画像データに対する前記対象物検出部による検出結果と、前記１以上の入力画像データに対して前記対象物の像の検出を行った場合の所望の検出結果を表す情報とを比較することで、前記対象物検出部による前記対象物の検出における未検出率と誤検出率の少なくともいずれかを算出する検出率計算部と、
    　前記未検出率と前記誤検出率の少なくとも一方を入力変数とする関数として定義される目的関数の値を算出する目的関数値計算部と、
    　前記目的関数の値が所定の条件を満たすか又は前記検出パラメータの探索回数が規定数に達するまで前記検出パラメータの値を変更して前記対象物検出部による前記対象物の検出、前記検出率計算部による前記未検出率と前記誤検出率の少なくともいずれかの算出、及び前記目的関数値計算部による前記目的関数の値の算出を繰り返すことにより前記検出パラメータの探索を行う検出パラメータ探索部と、
    を備える画像処理装置。
  2. 　前記目的関数は、前記未検出率、前記誤検出率、及び前記対象物検出部による前記対象物の像の検出に要した処理時間のそれぞれに対して重み値を乗じて加算した値として定義される請求項１に記載の画像処理装置。
  3. 　前記対象物検出部は、前記モデルパターンの第１の特徴点と前記１以上の入力画像データから抽出される第２の特徴点との間でマッチングを行い、
    　前記検出パラメータは、前記第１の特徴点と当該第１の特徴点に対応する前記１以上の入力画像データ中の前記第２の特徴点との間の許容距離を含む、請求項１又は２に記載の画像処理装置。
  4. 　前記検出パラメータは、前記モデルパターンの前記第１の特徴点の総数に対する、前記第１の特徴点に対応する前記第２の特徴点として前記許容距離内にあるものの数の比率として定義される一致度についての閾値を更に含む、請求項３に記載の画像処理装置。
  5. 　前記所定の条件は、前記目的関数の値が予め設定した設定値よりも低くなることである、請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　前記検出パラメータ探索部は、前記検出パラメータの探索にベイズ最適化、ランダムサーチのいずれかを用いる、請求項１から５のいずれか一項に記載の画像処理装置。
PCT/JP2021/003552 2020-02-04 2021-02-01 画像処理装置 Ceased WO2021157528A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112021000890.0T DE112021000890T5 (de) 2020-02-04 2021-02-01 Bildverarbeitungsvorrichtung
US17/794,070 US12205347B2 (en) 2020-02-04 2021-02-01 Image processing device
CN202180011524.9A CN115004246B (zh) 2020-02-04 2021-02-01 图像处理装置
JP2021575785A JP7324317B2 (ja) 2020-02-04 2021-02-01 画像処理装置
JP2023112951A JP7502528B2 (ja) 2020-02-04 2023-07-10 画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-017190 2020-02-04
JP2020017190 2020-02-04

Publications (1)

Publication Number Publication Date
WO2021157528A1 true WO2021157528A1 (ja) 2021-08-12

Family

ID=77199280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003552 Ceased WO2021157528A1 (ja) 2020-02-04 2021-02-01 画像処理装置

Country Status (5)

Country Link
US (1) US12205347B2 (ja)
JP (2) JP7324317B2 (ja)
CN (1) CN115004246B (ja)
DE (1) DE112021000890T5 (ja)
WO (1) WO2021157528A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023084900A1 (ja) * 2021-11-10 2023-05-19

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7648460B2 (ja) * 2021-07-12 2025-03-18 株式会社日立製作所 調整支援システムおよび調整支援方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001525579A (ja) * 1997-11-28 2001-12-11 クァリア・コンピューティング・インコーポレーテッド 乳房ｘ線デジタル像からのクラスター化微小カルシウム沈着の自動検出
JP2005128628A (ja) * 2003-10-21 2005-05-19 Toshiba Corp パターン識別における照合に用いられるテンプレートの生成ならびに同テンプレートを用いたパターン識別のための方法、装置、およびプログラム
JP2017091079A (ja) * 2015-11-06 2017-05-25 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
JP2017151813A (ja) * 2016-02-25 2017-08-31 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167583B1 (en) * 2000-06-28 2007-01-23 Landrex Technologies Co., Ltd. Image processing system for use with inspection systems
JP5391631B2 (ja) 2008-10-03 2014-01-15 富士通株式会社 パラメタ制御装置、パラメタ制御プログラム及び多段照合装置
JP2010097436A (ja) * 2008-10-16 2010-04-30 Keyence Corp 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
JP5759133B2 (ja) 2010-09-24 2015-08-05 Juki株式会社 形状ベースマッチングパラメータの調整装置および部品実装装置
JP5447641B2 (ja) 2012-12-27 2014-03-19 オムロン株式会社 モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP6197340B2 (ja) * 2013-04-05 2017-09-20 オムロン株式会社 画像処理装置、画像処理方法、およびプログラム
EP3070430B1 (en) * 2013-11-13 2019-08-14 Nissan Motor Co., Ltd. Moving body position estimation device and moving body position estimation method
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
WO2020008995A1 (ja) 2018-07-02 2020-01-09 コニカミノルタ株式会社 画像認識プログラム、画像認識装置、学習プログラム、および学習装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001525579A (ja) * 1997-11-28 2001-12-11 クァリア・コンピューティング・インコーポレーテッド 乳房ｘ線デジタル像からのクラスター化微小カルシウム沈着の自動検出
JP2005128628A (ja) * 2003-10-21 2005-05-19 Toshiba Corp パターン識別における照合に用いられるテンプレートの生成ならびに同テンプレートを用いたパターン識別のための方法、装置、およびプログラム
JP2017091079A (ja) * 2015-11-06 2017-05-25 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
JP2017151813A (ja) * 2016-02-25 2017-08-31 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023084900A1 (ja) * 2021-11-10 2023-05-19

Also Published As

Publication number Publication date
DE112021000890T5 (de) 2022-12-01
JPWO2021157528A1 (ja) 2021-08-12
CN115004246B (zh) 2025-06-03
JP7502528B2 (ja) 2024-06-18
US20230068692A1 (en) 2023-03-02
JP7324317B2 (ja) 2023-08-09
CN115004246A (zh) 2022-09-02
US12205347B2 (en) 2025-01-21
JP2023119037A (ja) 2023-08-25

Similar Documents

Publication Publication Date Title
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
JP7094702B2 (ja) 画像処理装置及びその方法、プログラム
JP4825253B2 (ja) 可変形オブジェクト認識のためのシステムおよび方法
US11625842B2 (en) Image processing apparatus and image processing method
CN107424160B (zh) 通过视觉系统查找图像中线的系统和方法
US9862091B2 (en) Information processing apparatus and information processing method
US10430650B2 (en) Image processing system
CN116051634B (zh) 一种视觉定位方法、终端及存储介质
CN113407030B (zh) 视觉定位方法及相关装置、设备和存储介质
CN107953329A (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN109886124A (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
Zheng et al. Industrial part localization and grasping using a robotic arm guided by 2D monocular vision
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US20190279022A1 (en) Object recognition method and device thereof
CN112446917A (zh) 一种姿态确定方法及装置
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN112634377B (zh) 扫地机器人的相机标定方法、终端和计算机可读存储介质
JP7502528B2 (ja) 画像処理装置
CN111199533B (zh) 图像处理装置
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
US20230386078A1 (en) Information processing apparatus, information processing method, and storage medium
CN120997289B (zh) 一种基于机器人的点焊方法、装置、设备及存储介质
Hoysala et al. Performance Analysis of 3D-SIFT and ICP Algorithms for Pose Estimation:* Note: Sub-titles are not captured in Xplore and should not be used
WO2019021173A1 (en) SYSTEM AND METHOD FOR ADJUSTING THE ORIENTATION OF A CAPTURED IMAGE OF AN OBLIQUE DIGITAL FOOTPRINT

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21750631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575785

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21750631

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202180011524.9

Country of ref document: CN