WO2022168617A1 - ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム - Google Patents

ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム Download PDF

Info

Publication number
WO2022168617A1
WO2022168617A1 PCT/JP2022/001959 JP2022001959W WO2022168617A1 WO 2022168617 A1 WO2022168617 A1 WO 2022168617A1 JP 2022001959 W JP2022001959 W JP 2022001959W WO 2022168617 A1 WO2022168617 A1 WO 2022168617A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
workpiece
image
area
matching
Prior art date
Application number
PCT/JP2022/001959
Other languages
English (en)
French (fr)
Inventor
聡志 ▲高▼津
輝幸 久保田
Original Assignee
株式会社アマダ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アマダ filed Critical 株式会社アマダ
Publication of WO2022168617A1 publication Critical patent/WO2022168617A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a work detection device, a work detection method, a work detection system, and a work detection program.
  • multiple workpieces such as plate-shaped members loaded in a loading area are supplied to a processing machine (bending machine) such as a press brake that performs bending by a loading device such as a supply robot.
  • a processing machine bending machine
  • a loading device such as a supply robot.
  • a magnet floater that floats a work by magnetic force and separates it from other works, or an air separator that separates a work from other works by air jet pressure.
  • a work turning device such as an air separator is provided in a state of being fixed to an installation table installed at a position adjacent to the loading area. For this reason, a plurality of works loaded on the loading area are placed in one place, and one work turning device corresponding to these works is arranged.
  • the loading area is large, for example, it is possible to arrange multiple workpieces of different types in multiple locations within the loading area. In such a case, if a plurality of work-turning devices corresponding to each work are arranged in the loading area, a plurality of works and work-turning devices will coexist in the loading area.
  • a work detection device see, for example, Japanese Unexamined Patent Application Publication No. 2002-100002 that detects the position of a work placed in a stacking area, the position of the work is detected by imaging the work with a monocular camera.
  • part of the work turning device may be placed on the work.
  • a portion of the workpiece is hidden in the imaging range, making it difficult to detect the position of the workpiece accurately and with high precision.
  • An object of the present invention is to provide a method, a workpiece detection system, and a workpiece detection program.
  • a loading area in which a work is loaded and a part of an auxiliary device that is freely arranged and has portability for assisting work on the work is arranged on the work is detected by an imaging device.
  • a first detection unit that performs a first matching with a plurality of work models consisting of data to detect the existence position of the work in the loading area; a data creation unit for creating new shape data by editing a line segment representing a contour component of a portion of the actual area overlapping the area overlaid on the work, for the shape data of the work model matched by the matching of and a second detection unit that performs a second matching between the work model indicated by the new shape data and the image of the work to identify the actual loading position of the work on the loading area.
  • the data creation unit performs editing such that the line segment representing the contour component of the shape data is divided or deleted to be invalidated.
  • the second detection unit performs the second matching by narrowing down the search range more than the first matching by the first detection unit.
  • the data creation unit and the second detection unit create the new shape data and perform the second matching while narrowing the search range step by step. Repeat several times in a row.
  • the second detection unit specifies a three-dimensional position including height, size and rotation angle of the workpiece on the loading area as the actual loading position.
  • the device detection unit detects an index capable of identifying the position and direction of the auxiliary device, which is provided at least on the top surface of the device body of the auxiliary device.
  • the index is matched with an index indicated by a pre-stored index model image to detect the arrangement position and arrangement direction of the auxiliary device in the loading area and calculate the actual area.
  • a workpiece detecting method detects, by an imaging device, a loading area in which a workpiece is loaded and a part of an auxiliary device that is freely arranged and has portability for assisting work on the workpiece is arranged on the workpiece.
  • a work detection method for detecting the work in the loading area based on a captured image, wherein the auxiliary device shown in the captured image is an actual area of the auxiliary device in the loading area. and a captured image from which the actual region is excluded is set as a search range, and an image of the work reflected in the search range and shape data representing the two-dimensional shape of the work stored in advance.
  • editing is performed by dividing or erasing line segments representing the contour components of the shape data to invalidate them.
  • the second matching is performed by narrowing down the search range more than the first matching in the step of detecting the existence position.
  • the step of creating the shape data and the step of specifying the actual loading position include creating the new two-dimensional shape data and performing the second matching. While narrowing down the search range step by step, it is repeated several times in succession.
  • a three-dimensional position including height, size and rotation angle of the workpiece on the loading area is specified as the actual loading position.
  • an index capable of identifying the position and direction of the auxiliary device which is provided at least on the top surface of the main body of the auxiliary device, is detected;
  • the detected index is matched with an index indicated by a pre-stored index model image to detect the arrangement position and orientation of the auxiliary device within the loading area, and to calculate the actual area.
  • a workpiece detection system includes an auxiliary device that can be arranged freely for assisting work on a workpiece loaded in a loading area, an imaging device that can capture an image of the loading area, and an imaging device that captures an image. a work detection device that detects the work in the loading area where a part of the auxiliary device is placed on the work based on the captured image, wherein the work detection device detects the work in the captured image.
  • a device detection unit for detecting the captured auxiliary device in such a manner that the actual region of the auxiliary device within the loading area can be excluded from the captured image;
  • a first matching is performed between an image of the work reflected in the search range and a plurality of work models made up of pre-stored shape data representing the two-dimensional shape of the work, and the position of the work within the loading area is detected. and a portion of the actual area that overlaps the area of the work model that matches the image of the work whose existence position has been determined by the first matching.
  • a data creation unit that creates new shape data by editing line segments representing contour components; and a second detection unit that specifies an actual loading position of the upper workpiece.
  • a control device is further provided for controlling the operation of the auxiliary device with respect to the detected work based on the detection result from the work detection device.
  • a work detection program detects, by an imaging device, a loading area in which a work is loaded and a part of an auxiliary device that is freely arranged and has portability for assisting work on the work is arranged on the work.
  • the present invention even if a part of the work is hidden in the loading area, it is possible to identify the position of the work with high accuracy and detect the work.
  • FIG. 1 is a perspective view schematically showing a configuration example of a workpiece detection system according to one embodiment of the present invention
  • FIG. FIG. 2 is a block diagram schematically showing a functional configuration of a work detection device in the same work detection system; It is a block diagram which shows roughly the hardware constitutions of the same workpiece
  • 4 is a flowchart showing an example of workpiece detection processing in the same workpiece detection system
  • 10 is a flowchart showing an example of device detection processing in the workpiece detection processing
  • FIG. 2 is an image diagram conceptually showing a captured image captured by an imaging device of the workpiece detection system; It is a perspective view which shows roughly the auxiliary device in the same workpiece
  • FIG. 4 is an image diagram conceptually showing an actual area of an auxiliary device in the captured image; It is an image diagram for conceptually explaining the first matching using the same captured image.
  • FIG. 10 is an image diagram for conceptually explaining the image of the workpiece in the captured image and the workpiece model matched within the search range; It is an image diagram for conceptually explaining data creation and second matching using the same captured image.
  • a work detection device, a work detection method, a work detection system, and a work detection program according to embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
  • the following embodiments do not limit the invention according to each claim, and not all combinations of features described in the embodiments are essential to the solution of the invention. .
  • the scale and dimensions of each component may be exaggerated, and some components may be omitted.
  • FIG. 1 is a perspective view schematically showing a configuration example of a work detection system 100 according to one embodiment of the present invention.
  • the workpiece detection system 100 is an auxiliary system for assisting work (for example, loading to a bending machine or the like) on a workpiece W loaded in a loading area TA on a pallet P.
  • a workpiece turning device 10 as a device and a camera 20 as an imaging device capable of imaging the loading area TA are provided.
  • the workpiece detection system 100 has functions such as an NC device that controls the entire workpiece detection system 100, and performs overall image processing such as image analysis and image correction based on the captured image captured by the camera 20.
  • a work detection device 30, which has the function of a processing device and detects the work by specifying the actual loading position (actual loading position) of the work W on the loading area TA, is provided.
  • the work detection device 30 is configured with a display 69 as a display device and an input unit 35a comprising an input device such as a keyboard and a mouse. It is not limited to this as long as it can replace the unit 35a and have an equivalent function (for example, display means or input means that can be used remotely).
  • processing machines such as bending machines and loading devices such as work holding robots are not shown, but these processing machines, loading devices, etc. are detected by the work detection device 30. It may be included in the workpiece detection system 100 in a state in which various operations can be controlled.
  • the work turning device 10 will be described as an example of an auxiliary device, but the auxiliary device is limited to this as long as it can assist various operations on the work W. is not.
  • the work turning device 10, the camera 20, and the work detecting device 30 are connected by wire or wirelessly so that they can transmit and receive data and signals to each other.
  • the work-turning device 10 has a freely arrangeable portability, and can be freely arranged at a plurality of locations inside and outside the loading area TA so as to correspond to the plurality of works W arranged in the loading area TA on the pallet P. .
  • a plurality of work turning devices 10 can be arranged in the loading area TA so that a part of each work W is arranged on the work W, for example, in a one-to-one correspondence. A detailed configuration of the work turning device 10 will be described later.
  • the camera 20 is composed of, for example, an inexpensive and highly versatile monocular camera (that is, one camera). , through a support member such as a camera stand 21 . It is assumed that various types of calibration of the captured image to be obtained regarding the imaging of the stacking area TA on the pallet P by the camera 20 have been performed in advance.
  • lighting equipment having a plurality of light-emitting diodes (LEDs) or the like is provided at a predetermined location around the pallet P to irradiate the works W loaded in the loading area TA with irradiation light.
  • LEDs light-emitting diodes
  • FIG. 2 is a block diagram schematically showing the functional configuration of the workpiece detection device 30 in the workpiece detection system 100
  • FIG. 3 is a configuration diagram schematically showing the hardware configuration of the workpiece detection device 30. As shown in FIG.
  • the image data of the captured image captured by the camera 20 is input to the workpiece detection device 30.
  • the work detection device 30 functionally includes an image acquisition unit 31 , an image processing unit 32 , a calculation unit 33 , a storage unit 34 and an operation unit 35 .
  • detection of the workpiece W is mainly performed by the image processing section 32 having the device detection section 36 , the first detection section 37 , the data generation section 38 and the second detection section 39 .
  • the image acquisition unit 31 acquires the image data of the captured image output from the camera 20.
  • the image processing unit 32 performs various image conversion/image processing including, for example, binarization processing, morphology processing, approximation processing using Newton's method, and matching processing such as template matching, on the image data acquired by the image acquisition unit 31.
  • Analysis processing (such processing is hereinafter collectively referred to as “image processing”) is performed.
  • the image data (raster data) is processed by the image processing unit 32 so that the outline components of the objects such as the work turning device 10 and the work W in the stacking area TA are converted into feature amounts (geometric shape data). , and can be converted into numerical data (vector data) that can be represented by linearly connected line segments. can be done.
  • the device detection unit 36 of the image processing unit 32 calculates the actual area of the work turning device 10 in the stacking area TA and excludes the work turning device 10 shown in the captured image indicated by the image data from the captured image. The workpiece turning device 10 is detected. The details of detection of the work turning device 10 in the work detection system 100 will be described later.
  • the first detection unit 37 uses the imaged image from which the actual area of the work turning device 10 is excluded by the device detection unit 36 as a search range, and the first detection unit 37 detects the image of the work W captured in this search range and various images stored in the storage unit 34 in advance. Matching (first matching) with a work model composed of shape data representing the two-dimensional shape of the work W is performed. The first detector 37 then detects the position of the work W within the stacking area TA.
  • the data creation unit 38 determines the shape data of the work model that matches the image of the work W whose position is determined by the first detection unit 37, and determines the area ( 6) are edited to create new shape data. Specifically, the data creation unit 38 performs editing such that line segments representing contour components of the shape data are divided or deleted to be invalidated.
  • the second detection unit 39 performs matching (second matching) between the work model indicated by the new shape data created by the data creation unit 38 and the image of the work W, and detects the work on the loading area TA.
  • the workpiece W is detected by specifying the actual loading position, which is the actual loading position of the W.
  • the second detection unit 39 specifies a three-dimensional position including the height of the work W on the loading area TA, the size of the work W, and the rotation angle of the work W as the actual loading position of the work W. .
  • the matching in the second detection unit 39 narrows down the search range more than the matching in the first detection unit 37 (i.e., the entire loading area TA is not set as the search range). Instead, it may be performed using an image of the work W and an enlarged work model as a search range. Formation of the shape data by the data generation unit 38 and matching by the second detection unit 39 may be successively performed multiple times while narrowing the search range step by step in order to further improve the detection accuracy.
  • the calculation unit 33 performs calculations for controlling the operation of the workpiece turning device 10 corresponding to the detected workpiece W and calculations for controlling the entire workpiece detection system 100 based on the detection result from the image processing unit 32. , etc., and performs control output to each unit.
  • the storage unit 34 stores CAD data (shape data) representing the workpiece W and the workpiece turning device 10 two-dimensionally or three-dimensionally, various image data including model (work model) images serving as references for workpieces W having various shapes, various Various data such as program data to be used by the work detecting device 30 are stored in a readable and writable manner.
  • the work model image is a plurality of images (for example, An image that looks tilted, an image that looks distorted, etc.) may be stored in a plurality of types for each work W, and the above-described shape data (shape data whose dimensions are changed according to each image) may be stored. and may be associated with each other. Further, the operation unit 35 receives an operation input by the user of the work detection device 30 via the input unit 35a.
  • the work detection device 30 includes, for example, a CPU 61, a RAM 62, a ROM 63, an HDD (hard disk drive) 64, and an SSD (solid state drive) 65 as a hardware configuration.
  • the work detection device 30 also includes an input I/F (interface) 66 , an output I/F (interface) 67 , and a communication I/F (interface) 68 .
  • Each component 61 to 68 is interconnected by a bus 60, respectively.
  • the CPU 61 controls the overall work detection system 100 including the work detection device 30 by executing various programs stored in the RAM 62, ROM 63, HDD 64, SSD 65, etc., and by executing the work detection program, It realizes the functions of the image processing unit 32 and the calculation unit 33 .
  • the RAM 62 can be used as a work area for the CPU 61.
  • the ROM 63 stores at least the above various programs in a readable manner.
  • the HDD 64 and SSD 65 store the above-described various data in a readable and writable manner, and implement the function of the storage section 34 together with the RAM 62 and ROM 64 .
  • a camera 20 is connected to the input I/F 66 to acquire a captured image. Therefore, the input I/F 66 realizes the function of the image acquisition section 31 described above. Along with this, the input I/F 66 is connected to a touch panel 69a functioning as the input section 35a of the operation section 35, and receives information accompanying an operation input from the user. The input I/F 66 may also be connected to input means such as a keyboard and a mouse (not shown).
  • the output I/F 67 is connected to, for example, the display 69 of the workpiece detection device 30 having a built-in touch panel 69a, and outputs various information displayed on the monitor.
  • the work detection device 30 can be connected to a network such as the Internet (not shown), an external device, or the like via the communication I/F 68 .
  • FIG. 4 is a flow chart showing an example of work detection processing in the work detection system 100
  • FIG. 5 is a flow chart showing an example of device detection processing of the work turning device 10 in the work detection processing
  • 6 is an image diagram conceptually showing an image captured by the camera 20 of the work detection system 100
  • FIG. 7 is a perspective view schematically showing the work turning device 10 in the work detection system 100. As shown in FIG.
  • the work detection device 30 acquires image data of the captured image via the image acquisition unit 31, and performs image analysis on the image data as described above (step S101).
  • the workpiece detection device 30 of the present embodiment executes device detection processing (step S102) for detecting the workpiece turning device 10 in the stacking area TA in advance based on the captured image 22 after the image analysis in step S101.
  • the device detection processing in step S102 is performed in the device detection section 36, for example, as follows.
  • the markers 14 and 15 are detected by edge detection processing or the like (step S110).
  • edge detection processing or the like the markers 14, 15, etc. will be described.
  • the markers 14, 15 and the like display the position and direction of the workpiece turning device 10 in an identifiable manner.
  • the work turning device 10 includes a device main body 10A having, for example, a rectangular outer shape when viewed from above, and a device main body 10A which is movable relative to the device main body 10A and capable of contacting and holding a work W.
  • the flip unit 10B is provided in a so-called cantilevered manner with respect to the apparatus main body 10A.
  • the turning unit 10B turns over the uppermost work W among the plurality of plate-shaped works W loaded in the loading area TA on the pallet P from the other works W by, for example, air jet pressure and adsorption force. It has the function of separating As described above, the work turning device 10 can be used as a one-sheet picking device for picking up one work W by the turning unit 10B. is omitted. In the work turning device 10 of this embodiment, the side on which the turning unit 10B is arranged is defined as the front side of the device.
  • the device main body 10A includes a top surface portion 11 provided on the upper side of the device, a slope portion 12 inclined at two left and right points on the front side of the device from the top surface portion 11, the top surface portion 11 (and the slope portion 12), and the device. and a pair of side surface portions 13 connected on the left and right sides of the .
  • Markers 14, 15, and 16 are provided at predetermined locations on the top surface 11, the slant surface 12, and the pair of side surfaces 13 of the apparatus main body 10A, respectively, as indicators for identifying the position and direction of the work turning apparatus 10. As shown in FIG.
  • a plurality of markers 14 and 16 are provided at predetermined locations on the top surface portion 11 and the pair of side surface portions 13 of the apparatus main body 10A, and a plurality of markers 15 are provided at predetermined locations on the slope portion 12 of the apparatus main body 10A.
  • the markers 14 are provided on the top surface 11 of the apparatus main body 10A at two locations on the left and right near the rear side of the apparatus, and the markers 16 are provided on the pair of side surfaces 13 of the apparatus main body 10A above the apparatus. They are located near each other. That is, the marker 16 is provided to the side of the marker 14 and directly below it.
  • the markers 15 are provided in the vicinity of both end portions in the inclination direction of the two slope portions 12 of the apparatus main body 10A.
  • FIG. 8 is a diagram showing an example of the markers 14-16 provided on the work turning device 10
  • FIG. 9 is a diagram showing another example of the markers 14-16.
  • the markers 14, 15, and 16 provided on the device main body 10A of the work turning device 10 can be composed of, for example, AR (augmented reality) markers including known ArUco markers, ChArUco markers, and the like.
  • the marker 14 is a film-like member or plate-like member having at least an overall area 18 representing the entire marker and an identification area 19 for identifying the position and direction of the marker. It is composed of members. 1, 6, 7, etc., illustration of the identification areas 19 of the markers 14 to 16 is omitted.
  • the shape of the identification area 19 of the markers 14 to 16 is, for example, a shape combining simple rectangles in the example shown in FIG. 8, but as shown in FIGS. Any shape that can identify the position and direction of the workpiece turning device 10 at least by itself, such as combining squares or changing the position of the identification area 19 within the entire area 18, is limited to those shown in the drawings. Instead, various shapes, such as more complex shapes and simpler shapes, can be employed.
  • the dimensions of the markers 14 to 16 can be set according to the imaging performance such as the number of pixels of the camera 20 and the imaging resolution. At least one is provided on the top surface portion 11 of the apparatus main body 10A as long as it can be detected so that the arrangement position and arrangement direction of the work turning device 10 can be determined sufficiently from the captured image 22 taken from the device main body 10A. Good luck. That is, when the workpiece turning device 10 is in the regular arrangement state, the top surface portion 11 is most likely to appear in the captured image.
  • the markers 16 provided on the pair of side surfaces 13 of the device main body 10A are not displayed even if the work turning device 10 falls due to some accident (for example, it collides with a robot arm of a loading device (not shown), etc.). are also provided to enable identification of the position and direction of the work-turning device 10 (placement position and placement direction in the loading area TA when overturned).
  • a pixel is the smallest unit or smallest element having color information (color tone, gradation, etc.) when the captured image 22 is handled by the workpiece detection device 30 .
  • step S112 For each of the markers 14 and 15, based on the dimensional information of each part of the workpiece turning device 10 indicated by the CAD data stored in the storage unit 34 and various data such as image data representing the image of the marker model, the workpiece is detected.
  • the position information of the model positions indicating the positions of the markers 14 and 15 actually placed in the turning device 10 is obtained (step S112).
  • the device detection unit 36 repeats the processing of steps S113 to S116 below a plurality of times (for example, five times). That is, the obtained model position and the stored pixel position are subjected to approximation processing such as Newton's method, and the physical three-dimensional position (x, y, z position) and rotation (rz) of the markers 14 and 15 within the loading area TA are calculated. is calculated (step S113).
  • a marker image representing the markers 14 and 15 reflecting the physical three-dimensional position (x, y, z position) and rotation (rz) based on the calculation result is generated.
  • Generate step S114.
  • the markers 14 and 15 represented by the generated marker images are combined with various marker model images, which are stored in advance in the storage unit 34, for example, and differ depending on the three-dimensional position and the state of rotation, for example, in template matching processing (step S115). ).
  • the position information representing the pixel positions of the markers 14 and 15 stored in the storage unit 34 is updated. (step S116).
  • step S117 After repeating such steps S113 to S116 a plurality of times, for example, it is determined whether or not the matching information has sufficiently converged (step S117). , the process proceeds to step S113 and the subsequent processes are repeated.
  • step S117 if it is determined that the convergence has been sufficiently converged (Yes in step S117), the loading area TA is adjusted based on various data stored in the storage unit 34 so that the workpiece turning device 10 can be excluded from the captured image 22.
  • the actual area R (see FIG. 10) of the work turning device 10 is calculated to detect the work turning device 10 (step S118). 10 conceptually shows the actual area R of the workpiece turning device 10 in the captured image 22. As shown in FIG. When the workpiece turning device 10 is detected in this manner, the device detection processing according to this flowchart is terminated, and the process proceeds to step S103 in FIG.
  • step S103 in order to avoid erroneous detection of the workpiece W, the image processing unit 32 processes the image of the workpiece turning device 10 as shown in FIG.
  • the pixel range of the existing region R is extracted, and the extracted existing region R is excluded from the processing target (step S103).
  • a first matching is performed with a plurality of workpiece models Wm composed of shape data representing the two-dimensional shape of the workpiece W stored in advance in the storage unit 34, for example.
  • the shape data of the work model Wm are, for example, points (x, y coordinate points), line segments (lines connecting the x, y coordinate points), surfaces (line segments closed by lines connecting the x, y coordinate points). ), and defines the dimensions and shape of the workpiece W such as its length, width, length, and thickness.
  • the image of the workpiece W and the workpiece model Wm matched within the search range SR have a shape that is pre-linked in the database (DB) in the storage unit 34, for example.
  • DB database
  • one work W and one work turning device 10 out of a plurality of works W and one work turning device 10 in the loading area TA will be focused on, but the other works W will be described. And it goes without saying that the same applies to the work turning device 10 as well.
  • the following steps S105 to S107 are repeated multiple times (for example, four times). That is, when the position of the workpiece W within the stacking area TA is determined, the data creating unit 38 determines the actual area of the workpiece turning device 10 for the shape data of the workpiece model Wm that matches the image of the workpiece W in the first matching.
  • a work model Wmr of new shape data is created by editing a line segment representing a contour component of a portion of R that overlaps with the area 10BR (see FIG. 13) overlaid on the work W (step S105).
  • the data creation unit 38 reads out the shape data of the matched workpiece model Wm from the DB, and extracts the line segment L and the line representing the contour component of the portion overlapping the area 10BR covered by the workpiece turning device 10.
  • the segments S1 to S4 for example, the line segment L is divided into the line segments L1 and L2 as editing, and the line segments S1 to S4 are erased.
  • a work model Wmr of the shape data (deformed data) is created.
  • the second detection unit 39 performs the second matching (step S106) between the work model Wmr indicated by the deformation data and the image of the work W, and narrows down the search range SR (for example, a microscopic image than the search range SR). (Step S107).
  • steps S105 to S107 are repeated a plurality of times, for example, the work W and the work model Wmr are sufficiently matched in detail, so that it is determined whether or not the matching has been completed (step S108), if it is determined that the matching is not completed (No in step S108), the process proceeds to step S105 and the subsequent processes are repeated.
  • the second detection unit 39 detects accurate matching information in the search range SR (loading position coordinates of the work W, loading height, loading size, loading angle, etc.). (various information) can be obtained by calculation of the image processing unit 32 based on the captured image 22 and various data of the storage unit 34, so that the actual stacking position, which is the actual stacking position of the work W on the stacking area TA, can be specified. Then (step S109), the workpiece W is detected, and the processing according to this flowchart is terminated.
  • part of the work W may be hidden from the imaging range of the camera 20 by the work turning device 10 separately arranged at an arbitrary location. Even so, the approximate position of the workpiece W within the loading area TA is grasped by matching. Further, the shape data of the matched workpiece model Wm is edited in consideration of hidden portions and then matched with the image of the workpiece, for example, while narrowing down the search range. Then, the actual stacking position of the work W on the stacking area TA is specified by performing calculations based on the result and various data such as CAD data stored in advance. As a result, it becomes possible to detect the work W by specifying the stacking position of the work W in the stacking area TA with high accuracy.
  • Work turning device (auxiliary device) 10A Apparatus main body 10B Turning unit (movable part) REFERENCE SIGNS LIST 11 top surface 12 slope 13 side surface 14, 15, 16 marker (indicator) 18 entire area 19 identification area 20 camera (imaging device) 21 Camera stand 22 Captured image 30 Work detection device 100 Work detection system P Pallet R Actual area SR, SSR Search range TA Loading area W Work Wm Work model

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

ワーク検出装置は、撮像画像に写る補助装置を積載エリア内の補助装置の実在領域を撮像画像から除外可能となるように検出し、実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、積載エリア内のワークの存在位置を検出し、存在位置が判明したワークの画像に第１のマッチングでマッチしたワークモデルの形状データについて、実在領域のうちのワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成し、新たな形状データが示すワークモデルと、ワークの画像との第２のマッチングを施して、積載エリア上のワークの実積載位置を特定する。

Description

ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム
　本発明は、ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラムに関する。
　従来、積載エリアに積載した複数の板状部材等のワークを供給ロボット等のローディング装置によって、曲げ加工等を行うプレスブレーキ等の加工機（ベンディングマシン）へ供給することが行われている。そして、ローディングに際しては、例えば磁力によってワークを浮上させて他のワークから分離するマグネットフロータや、エアの噴射圧力によってワークを他のワークから分離するエアセパレータ等のワークめくり装置（ワーク一枚取り装置）が用いられている。
　通常、エアセパレータ等のワークめくり装置は、積載エリアに隣接する位置に設置された設置台に固定された状態で設けられている。このため、積載エリアに対し積載された複数のワークが一箇所に置かれ、これらのワークに対応するワークめくり装置が一つ配置されることが行われている。
　一方で、例えば積載エリアが広い場合は、種類の異なる複数のワークを積載エリア内の複数箇所に配置することも想定される。このような場合、各ワークに対応するワークめくり装置を積載エリア内に複数配置することで対応を図るとするならば、積載エリア内には複数のワークとワークめくり装置とが混在する状態となる。なお、積載エリア内に配置されているワークの位置を検出するワーク検出装置（例えば、特許文献１参照）では、単眼カメラによってワークを撮像してその位置を検出することが行われている。
特開２０１８－１２０３８８号公報
　しかしながら、上記のような複数のワークとワークめくり装置とが混在した状態の積載エリアにおいては、ワークめくり装置の一部がワーク上に配置される場合があるので、このような場合は単眼カメラの撮像範囲においてワークの一部を隠してしまうこととなり、ワークの位置を正確且つ高精度に検出することが難しくなる。
　本発明は、上記事情に鑑みてなされたもので、積載エリアにおいてワークの一部が隠れていてもワークの位置を正確且つ高精度に特定しワークを検出することができるワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラムを提供することを目的とする。
　本発明に係るワーク検出装置は、ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出装置であって、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を備える。
　本発明の一実施形態において、前記データ作成部は、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う。
　本発明の他の実施形態において、前記第２検出部は、前記第１検出部による前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う。
　本発明の更に他の実施形態において、前記データ作成部及び前記第２検出部は、前記新たな形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う。
　本発明の更に他の実施形態において、前記第２検出部は、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する。
　本発明の更に他の実施形態において、前記装置検出部は、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する。
　本発明に係るワーク検出方法は、ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出方法であって、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する工程と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する工程と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成する工程と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する工程と、を含む。
　本発明の一実施形態において、前記形状データを作成する工程では、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う。
　本発明の他の実施形態において、前記実積載位置を特定する工程では、前記存在位置を検出する工程での前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う。
　本発明の更に他の実施形態において、前記形状データを作成する工程及び前記実積載位置を特定する工程では、前記新たな二次元形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う。
　本発明の更に他の実施形態において、前記実積載位置を特定する工程では、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する。
　本発明の更に他の実施形態において、前記補助装置を検出する工程では、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する。
　本発明に係るワーク検出システムは、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置と、前記積載エリアを撮像可能な撮像装置と、前記撮像装置によって撮像された撮像画像に基づいて、前記補助装置の一部が前記ワーク上に配置された前記積載エリア内の前記ワークを検出するワーク検出装置と、を備え、前記ワーク検出装置は、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を有する。
　本発明の一実施形態において、前記ワーク検出装置からの検出結果に基づいて、検出された前記ワークに対する前記補助装置の動作を制御する制御装置をさらに備える。
　本発明に係るワーク検出プログラムは、ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出プログラムであって、コンピュータに、前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出させる工程と、前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出させる工程と、前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成させる工程と、前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定させる工程と、を実行させる。
　本発明によれば、積載エリアにおいてワークの一部が隠れていてもワークの位置を正確且つ高精度に特定しワークを検出することができる。
本発明の一実施形態に係るワーク検出システムの構成例を概略的に示す斜視図である。 同ワーク検出システムにおけるワーク検出装置の機能的構成を概略的に示すブロック図である。 同ワーク検出装置のハードウェア構成を概略的に示す構成図である。 同ワーク検出システムにおけるワーク検出処理の一例を示すフローチャートである。 同ワーク検出処理における装置検出処理の一例を示すフローチャートである。 同ワーク検出システムの撮像装置により撮像された撮像画像を概念的に示すイメージ図である。 同ワーク検出システムにおける補助装置を概略的に示す斜視図である。 同補助装置に設けられた指標の一例を示す図である。 同指標の他の例を示す図である。 同撮像画像における補助装置の実在領域を概念的に示すイメージ図である。 同撮像画像を用いた第１のマッチングを概念的に説明するためのイメージ図である。 同撮像画像におけるワークの画像と探索範囲内でマッチングされたワークモデルを概念的に説明するためのイメージ図である。 同撮像画像を用いたデータ作成及び第２のマッチングを概念的に説明するためのイメージ図である。
　以下、添付の図面を参照して、本発明の実施形態に係るワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラムを詳細に説明する。ただし、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、本実施形態においては、各構成要素の縮尺や寸法が誇張されて示されている場合や、一部の構成要素が省略されている場合がある。
　図１は、本発明の一実施形態に係るワーク検出システム１００の構成例を概略的に示す斜視図である。図１に示すように、本実施形態に係るワーク検出システム１００は、パレットＰ上の積載エリアＴＡ内に積載されたワークＷに対する作業（例えば、曲げ加工機等へのローディング等）を補助する補助装置としてのワークめくり装置１０と、積載エリアＴＡを撮像可能な撮像装置としてのカメラ２０と、を備える。
　また、ワーク検出システム１００は、ワーク検出システム１００全体の制御を行うＮＣ装置等の機能を有すると共に、カメラ２０によって撮像された撮像画像に基づいて画像解析や画像補正等の画像処理全般を行う画像処理装置の機能を有し、積載エリアＴＡ上のワークＷの実際の積載位置（実積載位置）を特定しワークを検出するワーク検出装置３０を備える。
　なお、本実施形態においては、ワーク検出装置３０は、表示装置としてのディスプレイ６９と、キーボードやマウス等の入力装置からなる入力部３５ａと、を備えて構成されているが、これらディスプレイ６９及び入力部３５ａに代わり同等の機能を備えることができるもの（例えば、遠隔から利用可能な表示手段や入力手段等）であれば、これに限定されるものではない。
　また、本実施形態においては、例えば、曲げ加工機等の加工機や、ワーク保持用ロボット等のローディング装置については図示は省略するが、これらの加工機やローディング装置等は、ワーク検出装置３０により各種動作を制御可能な状態でワーク検出システム１００に含まれていても良い。
　また、本実施形態においては、補助装置としてワークめくり装置１０を例に挙げて説明するが、補助装置はワークＷに対する各種の作業を補助することができるものであれば、これに限定されるものではない。さらに、図示は省略するが、各ワークめくり装置１０、カメラ２０及びワーク検出装置３０は、それぞれ有線又は無線により、互いにデータや信号を送受信可能に接続されている。
　ワークめくり装置１０は、配置自在な可搬性を備え、パレットＰ上の積載エリアＴＡ内に複数配置されたワークＷにそれぞれ対応するように、積載エリアＴＡの内外の複数箇所に自在に配置され得る。本実施形態においては、ワークめくり装置１０は、積載エリアＴＡ内において各ワークＷに対し、その一部がワーク上に配置されるように、例えば一対一で対応するように複数配置され得る。このワークめくり装置１０の詳細な構成については後述する。
　カメラ２０は、例えば安価で汎用性の高い単眼カメラ（すなわち、１台のカメラ）により構成され、積載エリアＴＡの全体を撮像範囲として撮像可能となるように、パレットＰの積載エリアＴＡの中央直上に、カメラスタンド２１等の支持部材を介して配置されている。なお、カメラ２０によるパレットＰ上の積載エリアＴＡの撮像に関して、得られる撮像画像の各種キャリブレーションは予め行われているものとする。
　また、図示は省略するが、パレットＰの周囲所定箇所には、積載エリアＴＡに積載されたワークＷに照射光を照射する、複数個の発光ダイオード（LED）等を有する照明設備が
設けられている。カメラ２０により積載エリアＴＡを撮像する際には、この照明設備によってワークＷに照明光を照射するようにすれば、撮像画像の明るさを適正露出にて適切に調整することができる。
　一方、ワーク検出装置３０は、機能的には次のように構成されている。
　図２は、ワーク検出システム１００におけるワーク検出装置３０の機能的構成を概略的に示すブロック図であり、図３はワーク検出装置３０のハードウェア構成を概略的に示す構成図である。
　図２に示すように、カメラ２０により撮像された撮像画像の画像データは、ワーク検出装置３０に入力される。ワーク検出装置３０は、機能的には、画像取得部３１と、画像処理部３２と、演算部３３と、記憶部３４と、操作部３５と、を備える。なお、ワークＷの検出は、主に装置検出部３６、第１検出部３７、データ作成部３８及び第２検出部３９を有する画像処理部３２によって行われる。
　ここで、画像取得部３１は、カメラ２０から出力された撮像画像の画像データを取得する。画像処理部３２は、画像取得部３１が取得した画像データに対して、例えば二値化処理、モルフォロジー処理、ニュートン法を用いた近似処理、テンプレートマッチング等のマッチング処理等を含む各種画像変換・画像解析処理（以下、このような処理を「画像処理」と総称する。）を施す。
　なお、画像データ（ラスタデータ）は、画像処理部３２による画像処理によって、積載エリアＴＡ内のワークめくり装置１０やワークＷ等の写し出された各物体の輪郭成分を特徴量（幾何学形状データ）として抽出し、線状に繋げた線分で表現可能な数値データ（ベクタデータ）に変換され得るもので、後述する各マッチングは、処理負荷の軽減を図るため、特に言及しない場合ベクタデータ同士で行われ得る。
　画像処理部３２の装置検出部３６は、画像データが示す撮像画像に写るワークめくり装置１０を、積載エリアＴＡ内のワークめくり装置１０の実在領域を算出し、撮像画像から除外可能となるようにワークめくり装置１０を検出する。なお、ワーク検出システム１００におけるワークめくり装置１０の検出についての詳細は後述する。
　第１検出部３７は、装置検出部３６によりワークめくり装置１０の実在領域が除外された撮像画像を探索範囲として、この探索範囲に写るワークＷの画像と、記憶部３４に予め記憶された各種ワークＷの二次元形状を表す形状データからなるワークモデルとのマッチング（第１のマッチング）を行う。そして、第１検出部３７は、積載エリアＴＡ内のワークＷの大体の位置を表す存在位置を検出する。
　データ作成部３８は、第１検出部３７により存在位置が判明したワークＷの画像に対してマッチしたワークモデルの形状データについて、ワークめくり装置１０の実在領域のうちのワークＷ上に被る領域（図６参照）に重なる部分の輪郭成分を表す線分を編集して、新たな形状データを作成する。具体的には、データ作成部３８は、形状データの輪郭成分を表す線分を分割又は消去して無効化するように編集を行う。
　そして、第２検出部３９は、データ作成部３８により作成された新たな形状データが示すワークモデルと、ワークＷの画像とのマッチング（第２のマッチング）を行って、積載エリアＴＡ上のワークＷの実際の積載位置である実積載位置を特定することでワークＷを検出する。具体的には、第２検出部３９は、ワークＷの実積載位置として、積載エリアＴＡ上のワークＷの高さ、ワークＷの大きさ及びワークＷの回転角度を含む三次元位置を特定する。
　なお、例えば第２検出部３９でのマッチングは、検出精度の向上を目的として、第１検出部３７でのマッチングよりも探索範囲を絞り込んで（すなわち、積載エリアＴＡ全体を探索範囲とするのではなく、ワークＷの画像及びワークモデルを拡大したものを探索範囲として）行われても良い。また、データ作成部３８による形状データの作成と、第２検出部３９によるマッチングは、さらに検出精度を向上させるべく、上記探索範囲を段階的に絞り込みながら複数回連続して行われても良い。
　演算部３３は、画像処理部３２からの検出結果に基づいて、検出されたワークＷに対応するワークめくり装置１０の動作を制御するための演算、及びワーク検出システム１００全体を制御するための演算等の各種演算処理を行って、各部に対して制御出力を行う。記憶部３４は、ワークＷやワークめくり装置１０を二次元又は三次元で表すＣＡＤデータ（形状データ）、各種形状のワークＷの基準となるモデル（ワークモデル）画像を含む各種の画像データ、各種プログラムデータ等の、ワーク検出装置３０にて利用する各種のデータを読み書き可能に記憶する。
　なお、ワークモデル画像は、例えば積載エリアＴＡ上に実際に積載されたワークＷの配置箇所や積載高さ、回転具合等によってカメラ２０で撮像した際に見た目が異なって写る複数の画像（例えば、傾いて見えたりする画像や、歪んで見たりする画像等）が、各ワークＷ毎に複数種類記憶されていても良く、上述した形状データ（各画像に応じて寸法が変更された形状データ）とそれぞれ紐付けられていても良い。また、操作部３５は、ワーク検出装置３０のユーザによる操作入力を、入力部３５ａを介して受け付ける。
　図３に示すように、ワーク検出装置３０は、ハードウェア構成として、例えばＣＰＵ６１と、ＲＡＭ６２と、ＲＯＭ６３と、ＨＤＤ（ハードディスクドライブ）６４と、ＳＳＤ（ソリッドステートドライブ）６５と、を備える。また、ワーク検出装置３０は、入力Ｉ／Ｆ（インタフェース）６６と、出力Ｉ／Ｆ（インタフェース）６７と、通信Ｉ／Ｆ（インタフェース）６８と、を備える。各構成部６１～６８は、それぞれバス６０によって相互に接続されている。
　ＣＰＵ６１は、ＲＡＭ６２、ＲＯＭ６３、ＨＤＤ６４、ＳＳＤ６５等に記憶された各種プログラムを実行することでワーク検出装置３０を含めたワーク検出システム１００の全体を制御すると共に、ワーク検出プログラムを実行することで、上記画像処理部３２及び演算部３３の機能を実現する。
　ＲＡＭ６２は、ＣＰＵ６１の作業領域として使用され得る。ＲＯＭ６３は、上記各種プログラムを少なくとも読み出し可能に格納する。ＨＤＤ６４及びＳＳＤ６５は、上述した各種のデータを読み書き可能に記憶し、ＲＡＭ６２、ＲＯＭ６４と共に上記記憶部３４の機能を実現する。
　入力Ｉ／Ｆ６６には、カメラ２０が接続されて撮像画像が取得される。従って、入力Ｉ／Ｆ６６は、上記画像取得部３１の機能を実現する。これと共に、入力Ｉ／Ｆ６６には、上記操作部３５の入力部３５ａとして機能するタッチパネル６９ａが接続され、ユーザからの操作入力に伴う情報を受け付ける。なお、入力Ｉ／Ｆ６６には、図示しないキーボードやマウス等の入力手段も接続され得る。
　出力Ｉ／Ｆ６７には、例えば、タッチパネル６９ａが内蔵された、ワーク検出装置３０のディスプレイ６９が接続され、モニタ表示される各種情報が出力される。なお、ワーク検出装置３０は、通信Ｉ／Ｆ６８を介して、図示しないインターネット等のネットワークや外部機器等と接続され得る。
　このように構成されたワーク検出装置３０を備えたワーク検出システム１００におけるワーク検出処理は、例えば次のように行われる。
　図４は、ワーク検出システム１００におけるワーク検出処理の一例を示すフローチャートであり、図５はワーク検出処理におけるワークめくり装置１０の装置検出処理の一例を示すフローチャートである。また、図６は、ワーク検出システム１００のカメラ２０により撮像された撮像画像を概念的に示すイメージ図、図７はワーク検出システム１００におけるワークめくり装置１０を概略的に示す斜視図である。
　ワークＷの検出に際しては、図４に示すように、まず、カメラ２０によってワークＷ及びワークめくり装置１０が積載・配置された積載エリアＴＡを撮像し（ステップＳ１００）、ワーク検出装置３０に撮像画像の画像データを出力する。次に、ワーク検出装置３０は、画像取得部３１を介して撮像画像の画像データを取得し、上述したように画像データを画像解析する（ステップＳ１０１）。
　ここで、図６に示すように、パレットＰの上方に設置されたカメラ２０により撮像された撮像画像２２には、積載エリアＴＡ上に積載されたワークＷと共に、装置本体１０Ａ及びめくりユニット１０Ｂ（これらについては後述する）を有するワークめくり装置１０が、例えばその一部（めくりユニット１０Ｂの一部）がワークＷの一部分上に被るように写し出される。
　一般的に、このような状態でワークＷ及びワークめくり装置１０が写し出された撮像画像２２を用いてワークＷの検出を試みても、めくりユニット１０ＢのワークＷ上に被った部分がその下のワークＷの輪郭部分や形状等を見えなくしているため、該当部分を認識できなくなり、マッチングによるワークＷの検出に失敗（誤検出）してしまうことが頻発する。
　そこで、本実施形態のワーク検出装置３０は、上記ステップＳ１０１の画像解析後の撮像画像２２に基づいて、前もって積載エリアＴＡ内のワークめくり装置１０を検出する装置検出処理（ステップＳ１０２）を実行する。このステップＳ１０２の装置検出処理は、装置検出部３６において、例えば次のように行われる。
　図５に示すように、装置検出処理においては、まず、エッジ検出処理等によって、例えばワークめくり装置１０に設けられたマーカ１４，１５（図６参照）の検出を行う（ステップＳ１１０）。ここで、マーカ１４，１５等について説明する。マーカ１４，１５等は、ワークめくり装置１０の位置及び方向を識別可能に表示するものである。
　前提として、図７に示すように、ワークめくり装置１０は、例えば上面視矩形状の外形を有する装置本体１０Ａと、この装置本体１０Ａに対して移動可能且つワークＷに接触して保持可能となるように、装置本体１０Ａに対していわゆる片持ち状に設けられためくりユニット１０Ｂと、を備える。
　めくりユニット１０Ｂは、例えばエアの噴射圧力及び吸着力によって、パレットＰ上の積載エリアＴＡ内に積載された複数の板状のワークＷのうちの最上部のワークＷを、他のワークＷからめくって分離する機能を有する。このように、ワークめくり装置１０は、めくりユニット１０ＢによってワークＷを一枚取りするための一枚取り装置として用いられ得るが、一枚取り装置の詳細構成については公知であるため、ここでは説明を省略する。なお、本実施形態のワークめくり装置１０においては、めくりユニット１０Ｂの配置側を装置の前方側と定義する。
　装置本体１０Ａは、装置の上方側に設けられた天面部１１と、この天面部１１から装置の前方側において左右二箇所で傾斜する斜面部１２と、天面部１１（及び斜面部１２）と装置の左右側において繋がる一対の側面部１３と、を有する。装置本体１０Ａの天面部１１、斜面部１２及び一対の側面部１３の所定箇所には、それぞれワークめくり装置１０の位置及び方向を識別可能な指標としてのマーカ１４，１５，１６が設けられる。
　具体的には、マーカ１４，１６は、装置本体１０Ａの天面部１１及び一対の側面部１３の所定箇所に複数設けられ、マーカ１５は、装置本体１０Ａの斜面部１２の所定箇所に複数設けられている。より具体的には、マーカ１４は、装置本体１０Ａの天面部１１における装置の後方側に近い左右二箇所に設けられており、マーカ１６は、装置本体１０Ａの一対の側面部１３における装置の上方側に近い箇所にそれぞれ設けられている。すなわち、マーカ１６は、マーカ１４の側方かつ直下に設けられている。また、マーカ１５は、装置本体１０Ａの二箇所の斜面部１２における傾斜方向両端部近傍箇所にそれぞれ設けられている。
　図８は、ワークめくり装置１０に設けられたマーカ１４～１６の一例を示す図であり、図９はマーカ１４～１６の他の例を示す図である。ワークめくり装置１０の装置本体１０Ａに設けられたマーカ１４，１５，１６は、例えば、公知のＡｒＵｃｏマーカやＣｈＡｒＵｃｏマーカ等を含むＡＲ（拡張現実）マーカにより構成することができる。
　図８に示すように、マーカ１４（１５，１６）は、マーカ全体を表す全体領域１８と、マーカによる位置及び方向を識別させるための識別領域１９と、を少なくとも備えたフィルム状部材や板状部材により構成されている。なお、図１、図６及び図７等においては、マーカ１４～１６の識別領域１９の図示は省略している。
　マーカ１４～１６の識別領域１９の形状は、例えば図８に示す例では単純な矩形を組み合わせた形状であるが、図９（ａ）～図９（ｇ）に示すように、複数の矩形や正方形を組み合わせたり、全体領域１８内の識別領域１９の位置を変更したりと、ワークめくり装置１０の位置及び方向を、少なくともそれ単体で識別できる形状であれば、図示のものに限定されるものではなく、より複雑な形状や、より単純な形状等の種々の形状を採用し得る。
　また、マーカ１４～１６は、カメラ２０の画素数や撮影解像度等の撮像性能に応じてその寸法（全体領域１８及び識別領域１９の大きさや形状等）が設定され得るが、積載エリアＴＡを上方から撮像した撮像画像２２から十分にワークめくり装置１０の配置位置及び配置の向きを判別可能となるように検出され得るものであれば、少なくとも装置本体１０Ａの天面部１１に一つ設けられていれば良い。すなわち、ワークめくり装置１０が正規の配置状態である場合は、天面部１１が撮像画像に最も写り込みやすいからである。
　なお、装置本体１０Ａの一対の側面部１３に設けられたマーカ１６は、例えばワークめくり装置１０が何らかのアクシデント（例えば、図示しないローディング装置のロボットアーム等と衝突する等）により転倒した場合であっても、ワークめくり装置１０の位置及び方向（積載エリアＴＡ内における転倒時の配置位置及び配置の向き）を識別可能とするために設けられている。
　再び図５に戻り、上記ステップＳ１１０にてマーカ１４，１５を検出したら、各マーカ１４，１５の全体領域１８の四隅のピクセル（画素）位置を表す位置情報を算出し、記憶部３４に記憶する（ステップＳ１１１）。なお、ピクセル（画素）とは、ワーク検出装置３０で撮像画像２２を取り扱うときの色情報（色調、階調等）を持つ最小単位又は最小要素のことを言う。
　次に、各マーカ１４，１５について、記憶部３４に記憶されたＣＡＤデータにより示されるワークめくり装置１０の各部の寸法情報や、マーカモデルの画像を表す画像データ等の各種データに基づいて、ワークめくり装置１０において実際に配置されたマーカ１４，１５の位置を示すモデル位置の位置情報を取得する（ステップＳ１１２）。
　そして、装置検出部３６は、以下のステップＳ１１３～ステップＳ１１６の処理を、複数回（例えば、５回）繰り返す。すなわち、取得したモデル位置と記憶したピクセル位置をニュートン法等の近似処理にかけて、マーカ１４，１５の積載エリアＴＡ内での物理的な三次元位置（ｘ，ｙ，ｚ位置）と回転（ｒｚ）を算出する（ステップＳ１１３）。
　次に、三次元位置と回転を算出したら、その算出結果に基づく物理的な三次元位置（ｘ，ｙ，ｚ位置）と回転（ｒｚ）を反映した状態のマーカ１４，１５を表すマーカ画像を生成する（ステップＳ１１４）。そして、生成したマーカ画像が表すマーカ１４，１５を、例えば記憶部３４に予め記憶された、三次元位置や回転の状態に応じてそれぞれ異なる各種のマーカモデル画像と、例えばテンプレートマッチング処理（ステップＳ１１５）を行うことによって探索する。こうして探索したマーカモデル画像が示すマーカ１４，１５のマッチング情報（ｘ，ｙ，ｚ位置及び回転ｒｚ）を基に、記憶部３４に記憶されたマーカ１４，１５のピクセル位置を表す位置情報を更新する（ステップＳ１１６）。
　このようなステップＳ１１３～ステップＳ１１６を複数回繰り返した後に、例えばマッチング情報が十分に収束したか否かを判断し（ステップＳ１１７）、十分に収束していないと判断した場合（ステップＳ１１７のＮｏ）は、上記ステップＳ１１３に移行して以降の処理を繰り返す。
　一方、十分に収束したと判断した場合（ステップＳ１１７のＹｅｓ）、記憶部３４に記憶されている各種データに基づいて、ワークめくり装置１０を撮像画像２２から除外可能となるように、積載エリアＴＡ内におけるワークめくり装置１０の実在領域Ｒ（図１０参照）を算出して、ワークめくり装置１０を検出する（ステップＳ１１８）。なお、図１０は、撮像画像２２におけるワークめくり装置１０の実在領域Ｒを概念的に示している。こうしてワークめくり装置１０を検出したら、本フローチャートによる装置検出処理を終了して、図４のステップＳ１０３に移行する。
　すなわち、ステップＳ１０３では、ワークＷの誤検出を回避するため、マッチングの探索範囲である積載エリアＴＡを写した撮像画像２２から、図１０に示すように、画像処理部３２においてワークめくり装置１０の実在領域Ｒの画素範囲を抽出して、抽出した実在領域Ｒを処理対象から除外する（ステップＳ１０３）。
　そして、図１１に示すように、第１検出部３７によって、実在領域Ｒが除外された撮像画像２２の全域（積載エリアＴＡ）を探索範囲ＳＲとして、この探索範囲ＳＲに写る各ワークＷの画像と、例えば記憶部３４に予め記憶されたワークＷの二次元形状を表す形状データからなる複数のワークモデルＷｍとの第１のマッチング（ステップＳ１０４）を施す。なお、ワークモデルＷｍの形状データは、例えば点（ｘ，ｙ座標点）、線分（ｘ，ｙ座標点間を結ぶライン）、面（ｘ，ｙ座標点間を結ぶラインで閉じた線分）により画定されるベクタデータであり、ワークＷの縦、横、長さ、厚さ等の各寸法や形状を規定している。
　この第１のマッチングにより、図１２に示すように、ワークＷの画像と探索範囲ＳＲ内でマッチングされたワークモデルＷｍに、例えば記憶部３４内のデータベース（ＤＢ）において予め紐付けられている形状データを参照して演算することにより、探索範囲ＳＲのどの位置にワークモデルＷｍに該当するワークＷがあるか（ワークモデルＷｍに当てはまったか）が分かる。これにより、積載エリアＴＡ内のワークＷの大体の存在位置を把握することが可能となる。なお、図１２を含む以降の説明においては、積載エリアＴＡ内の複数のワークＷ及びワークめくり装置１０のうち、一つのワークＷ及びワークめくり装置１０について着目して説明するが、他のワークＷ及びワークめくり装置１０についても同様であることは言うまでもない。
　第１のマッチングの後は、以下のステップＳ１０５～ステップＳ１０７の処理を、複数回（例えば、４回）繰り返す。すなわち、ワークＷの積載エリアＴＡ内における存在位置が判明したら、データ作成部３８によって、そのワークＷの画像に第１のマッチングでマッチしたワークモデルＷｍの形状データについて、ワークめくり装置１０の実在領域ＲのうちのワークＷ上に被る領域１０ＢＲ（図１３参照）に重なる部分の輪郭成分を表す線分を編集して新たな形状データのワークモデルＷｍｒを作成する（ステップＳ１０５）。
　すなわち、データ作成部３８は、図１３に示すように、マッチしたワークモデルＷｍの形状データをＤＢから読み出して、ワークめくり装置１０の被る領域１０ＢＲと重なる部分の輪郭成分を表す線分Ｌ及び線分Ｓ１～Ｓ４について、編集として例えば線分Ｌを線分Ｌ１，Ｌ２に分割すると共に、線分Ｓ１～Ｓ４については消去することによって、ワークモデルＷｍから線分Ｌｄ，Ｓｄが無効化された新たな形状データ（変形データ）のワークモデルＷｍｒを作成する。そして、第２検出部３９は、変形データが示すワークモデルＷｍｒと、ワークＷの画像との第２のマッチング（ステップＳ１０６）を施して、探索範囲ＳＲの絞り込み（例えば、探索範囲ＳＲよりもミクロな探索範囲ＳＳＲを探索範囲とする）を行う（ステップＳ１０７）。
　このようなステップＳ１０５～ステップＳ１０７を複数回繰り返した後に、例えばワークＷとワークモデルＷｍｒとが、細部にまで亘って十分にマッチングされたことにより、マッチングが完了したか否かを判断し（ステップＳ１０８）、マッチングが完了していないと判断した場合（ステップＳ１０８のＮｏ）は、上記ステップＳ１０５に移行して以降の処理を繰り返す。
　一方、マッチングが完了したと判断した場合（ステップＳ１０８のＹｅｓ）、第２検出部３９は、探索範囲ＳＲにおける正確なマッチング情報（ワークＷの積載位置座標、積載高さ、積載寸法、積載角度等の各種情報）を、撮像画像２２及び記憶部３４の各種データに基づく画像処理部３２の演算により得ることができるので、積載エリアＴＡ上のワークＷの実際の積載位置である実積載位置を特定して（ステップＳ１０９）、ワークＷを検出し、本フローチャートによる処理を終了する。
　このように、本実施形態のワーク検出システム１００によれば、積載エリアＴＡにおいて、別途任意の場所に配置されたワークめくり装置１０によってワークＷの一部がカメラ２０による撮像範囲から隠れた状態となっていても、積載エリアＴＡ内のワークＷの大体の位置をマッチングにより把握する。さらに、マッチングされたワークモデルＷｍの形状データについて、隠れた部分を考慮して編集した上でワークの画像とマッチングを行うことを、例えば探索範囲を絞り込みながら複数回行う。そして、その結果と予め記憶されているＣＡＤデータ等の各種データとに基づき演算を行うことで、ワークＷの積載エリアＴＡ上の実積載位置を特定する。これにより、積載エリアＴＡ内のワークＷの積載位置を正確且つ高精度に特定してワークＷを検出することが可能となる。
　以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　１０　　　　　　　ワークめくり装置（補助装置）
　１０Ａ　　　　　　装置本体
　１０Ｂ　　　　　　めくりユニット（可動部）
　１１　　　　　　　天面部
　１２　　　　　　　斜面部
　１３　　　　　　　側面部
　１４，１５，１６　マーカ（指標）
　１８　　　　　　　全体領域
　１９　　　　　　　識別領域
　２０　　　　　　　カメラ（撮像装置）
　２１　　　　　　　カメラスタンド
　２２　　　　　　　撮像画像
　３０　　　　　　　ワーク検出装置
　１００　　　　　　ワーク検出システム
　Ｐ　　　　　　　　パレット
　Ｒ　　　　　　　　実在領域
　ＳＲ，ＳＳＲ　　　探索範囲
　ＴＡ　　　　　　　積載エリア
　Ｗ　　　　　　　　ワーク
　Ｗｍ　　　　　　　ワークモデル

Claims (15)

  1. 　ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出装置であって、
    　前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、
    　前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、
    　前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、
    　前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を備える
    　ワーク検出装置。
  2. 　前記データ作成部は、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う
    　請求項１記載のワーク検出装置。
  3. 　前記第２検出部は、前記第１検出部による前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う
    　請求項１又は２記載のワーク検出装置。
  4. 　前記データ作成部及び前記第２検出部は、前記新たな形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う
    　請求項１又は２記載のワーク検出装置。
  5. 　前記第２検出部は、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する
    　請求項１～４のいずれか１項記載のワーク検出装置。
  6. 　前記装置検出部は、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する
    　請求項１～５のいずれか１項記載のワーク検出装置。
  7. 　ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出方法であって、
    　前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する工程と、
    　前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する工程と、
    　前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成する工程と、
    　前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する工程と、を含む
    　ワーク検出方法。
  8. 　前記形状データを作成する工程では、前記形状データの前記輪郭成分を表す線分を分割又は消去して無効化する編集を行う
    　請求項７記載のワーク検出方法。
  9. 　前記実積載位置を特定する工程では、前記存在位置を検出する工程での前記第１のマッチングよりも探索範囲を絞り込んで前記第２のマッチングを行う
    　請求項７又は８記載のワーク検出方法。
  10. 　前記形状データを作成する工程及び前記実積載位置を特定する工程では、前記新たな二次元形状データを作成して前記第２のマッチングを施すことを、前記探索範囲を段階的に絞り込みながら複数回連続して繰り返し行う
    　請求項７又は８記載のワーク検出方法。
  11. 　前記実積載位置を特定する工程では、前記実積載位置として、前記積載エリア上の前記ワークの高さ、大きさ及び回転角度を含む三次元位置を特定する
    　請求項７～１０のいずれか１項記載のワーク検出方法。
  12. 　前記補助装置を検出する工程では、前記補助装置の装置本体の天面部に少なくとも設けられた、前記補助装置の位置及び方向を識別可能な指標を検出し、検出された前記指標を予め記憶された指標モデル画像が示す指標とマッチングして、前記積載エリア内の前記補助装置の配置位置及び配置の向きを検出し、前記実在領域を算出する
    　請求項７～１１のいずれか１項記載のワーク検出方法。
  13. 　積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置と、
    　前記積載エリアを撮像可能な撮像装置と、
    　前記撮像装置によって撮像された撮像画像に基づいて、前記補助装置の一部が前記ワーク上に配置された前記積載エリア内の前記ワークを検出するワーク検出装置と、を備え、
    　前記ワーク検出装置は、
    　前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出する装置検出部と、
    　前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出する第１検出部と、
    　前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成するデータ作成部と、
    　前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定する第２検出部と、を有する
    　ワーク検出システム。
  14. 　前記ワーク検出装置からの検出結果に基づいて、検出された前記ワークに対する前記補助装置の動作を制御する制御装置をさらに備える
    　請求項１３記載のワーク検出システム。
  15. 　ワークが積載されると共に前記ワークに対する作業を補助する配置自在な可搬性を備えた補助装置の一部が前記ワーク上に配置された積載エリアを、撮像装置によって撮像した撮像画像に基づいて、前記積載エリア内の前記ワークを検出するワーク検出プログラムであって、
    　コンピュータに、
    　前記撮像画像に写る前記補助装置を、前記積載エリア内の前記補助装置の実在領域を前記撮像画像から除外可能となるように検出させる工程と、
    　前記実在領域が除外された撮像画像を探索範囲とし、この探索範囲に写るワークの画像と、予め記憶されたワークの二次元形状を表す形状データからなる複数のワークモデルとの第１のマッチングを施して、前記積載エリア内の前記ワークの存在位置を検出させる工程と、
    　前記存在位置が判明した前記ワークの画像に前記第１のマッチングでマッチした前記ワークモデルの形状データについて、前記実在領域のうちの前記ワーク上に被る領域に重なる部分の輪郭成分を表す線分を編集して新たな形状データを作成させる工程と、
    　前記新たな形状データが示すワークモデルと、前記ワークの画像との第２のマッチングを施して、前記積載エリア上の前記ワークの実積載位置を特定させる工程と、を実行させる
    　ワーク検出プログラム。
PCT/JP2022/001959 2021-02-05 2022-01-20 ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム WO2022168617A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-017710 2021-02-05
JP2021017710A JP2022120664A (ja) 2021-02-05 2021-02-05 ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム

Publications (1)

Publication Number Publication Date
WO2022168617A1 true WO2022168617A1 (ja) 2022-08-11

Family

ID=82740603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001959 WO2022168617A1 (ja) 2021-02-05 2022-01-20 ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム

Country Status (2)

Country Link
JP (1) JP2022120664A (ja)
WO (1) WO2022168617A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017185578A (ja) * 2016-04-05 2017-10-12 株式会社リコー 物体把持装置及び把持制御プログラム
JP2020199612A (ja) * 2019-06-12 2020-12-17 株式会社アマダ ワーク検出装置及びワーク検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017185578A (ja) * 2016-04-05 2017-10-12 株式会社リコー 物体把持装置及び把持制御プログラム
JP2020199612A (ja) * 2019-06-12 2020-12-17 株式会社アマダ ワーク検出装置及びワーク検出方法

Also Published As

Publication number Publication date
JP2022120664A (ja) 2022-08-18

Similar Documents

Publication Publication Date Title
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP5922572B2 (ja) 実用型３ｄビジョンシステム装置およびその方法
US8638984B2 (en) Display of results of a measurement of workpieces as a function of the detection of the gesture of a user
US8098928B2 (en) Apparatus for picking up objects
JP5911934B2 (ja) 輪郭線計測装置およびロボットシステム
JP5257335B2 (ja) ３次元視覚センサにおける計測有効領域の表示方法および３次元視覚センサ
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP2008224626A (ja) 情報処理装置、情報処理方法、校正治具
JP6703812B2 (ja) ３次元物体検査装置
JP2010210458A (ja) ３次元視覚センサによる認識結果の表示方法および３次元視覚センサ
JP2010210584A (ja) ３次元視覚センサ
JP2009511881A (ja) 実用的な３ｄビジョンシステムの方法および装置
JP2010237193A (ja) キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法
WO2006098258A1 (ja) ３次元計測のためのキャリブレーション方法およびその方法を用いた３次元計測システム
JP2021121461A (ja) 画像処理装置
JP2018004497A (ja) 画像測定装置
US10579890B2 (en) Automatic alignment of a 3D model to a test object
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
CN110926330A (zh) 图像处理装置和图像处理方法
CN107850425B (zh) 用于测量制品的方法
WO2022168617A1 (ja) ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム
JP7450691B1 (ja) 干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラム
US20220410394A1 (en) Method and system for programming a robot
JP3765061B2 (ja) 多次元形状の座標計測機用オフライン・ティーチング・システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22749493

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22749493

Country of ref document: EP

Kind code of ref document: A1