WO2018139026A1 - ワーク検出装置及び方法 - Google Patents

ワーク検出装置及び方法 Download PDF

Info

Publication number
WO2018139026A1
WO2018139026A1 PCT/JP2017/042141 JP2017042141W WO2018139026A1 WO 2018139026 A1 WO2018139026 A1 WO 2018139026A1 JP 2017042141 W JP2017042141 W JP 2017042141W WO 2018139026 A1 WO2018139026 A1 WO 2018139026A1
Authority
WO
WIPO (PCT)
Prior art keywords
workpiece
area
loading height
image
labeling
Prior art date
Application number
PCT/JP2017/042141
Other languages
English (en)
French (fr)
Inventor
久保田　輝幸
聡志 ▲高▼津
尚史 三浦
周平 寺▲崎▼
Original Assignee
株式会社アマダホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アマダホールディングス filed Critical 株式会社アマダホールディングス
Publication of WO2018139026A1 publication Critical patent/WO2018139026A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation

Definitions

  • the present disclosure relates to a workpiece detection apparatus and method that can detect each of a plurality of mountain workpieces arranged at a placement location.
  • a workpiece placed on a pallet may be held by a workpiece holding robot as a placement place and conveyed to the processing machine.
  • a workpiece holding robot In order to process a large amount of workpieces with a processing machine, a plurality of workpieces having the same shape may be arranged on a pallet, and workpieces arranged on the plurality of peaks may be sequentially held and carried out by a workpiece holding robot.
  • the work hills when two hills of a work are arranged on a pallet, the work hills must be arranged in each of divided areas divided into two predetermined areas such as before and after the pallet or on the left and right. Further, when four hills of a work are arranged on a pallet, the work hills need to be arranged in each of divided areas obtained by dividing the pallet into four areas of front and rear and left and right.
  • Embodiments provide a workpiece detection apparatus and method capable of accurately detecting each of a plurality of mountain workpieces regardless of the position on the placement location when the plurality of mountain workpieces are arranged at the placement location. Objective.
  • the outline of the workpiece is expressed as a line image, which is a photographed image of a placement place where a plurality of workpieces formed by loading a plurality of workpieces are arranged.
  • a preprocessing unit that performs image processing, a labeling processing unit that labels each of the regions formed by the closed line images included in the captured image that has been image processed by the preprocessing unit, and the labeling processing unit.
  • An area calculation unit that calculates the area of each labeled area or the area of a circumscribed figure that circumscribes each labeled area, and the area calculated by the area calculation unit is within a preset reference range
  • a labeling area registration unit for registering a labeling area as a labeling area where a workpiece exists, Division region information for setting division regions including the respective labeling regions registered by the labeling region registration unit in the overall captured image and generating division region information that is position information indicating the position of each of the division regions
  • a workpiece detection device comprising a generation unit.
  • a captured image obtained by capturing a placement place where a plurality of workpieces formed by stacking a plurality of workpieces is acquired, and the captured image is obtained as an outline of the workpiece.
  • Is processed as a line image and each area formed by the closed line image included in the image-processed captured image is labeled, and the area or label of each labeled area labeled Calculate the area of the circumscribed figure that circumscribes each attached labeling area, and register the labeling area where the calculated area is within the preset reference range as the labeling area where the workpiece exists,
  • a divided area including each registered labeling area is set, and position information indicating the position of each of the divided areas is set.
  • the workpiece detection apparatus and method of the embodiment it is possible to accurately detect each of the workpieces in the plurality of mountains regardless of the position on the placement location when the workpieces in the plurality of mountains are arranged at the placement location.
  • FIG. 1 is a perspective view showing an example of the overall configuration of the processing system.
  • FIG. 2 is a block diagram illustrating an example of the overall configuration of a machining system including a workpiece detection device according to an embodiment.
  • FIG. 3 is a block diagram illustrating a functional internal configuration example of the image arithmetic processing device 3 of FIG.
  • FIG. 4 is a flowchart showing automatic area division processing by the image arithmetic processing device 3.
  • FIG. 5 is a diagram conceptually showing a photographed image obtained by photographing a placement place where a plurality of workpieces are arranged.
  • FIG. 6 is a diagram conceptually illustrating an example of a result of labeling processing based on the captured image illustrated in FIG. FIG.
  • FIG. 7 is a diagram showing that the area of a rectangle circumscribing the labeling region differs depending on the orientation of the workpiece.
  • FIG. 8 is a diagram conceptually showing divided region information indicating the position of a rectangular divided region including a labeling region.
  • FIG. 9A is a flowchart showing a workpiece detection process by the image arithmetic processing unit 3 that is necessary for the robot control device 5 of FIG. 2 to control the workpiece holding robot 20 to carry out the workpiece on the placement place.
  • FIG. 9B shows a workpiece detection process performed by the image arithmetic processing device 3 necessary for the robot control device 5 of FIG. 2 to control the workpiece holding robot 20 and carry out the workpiece on the placement place, following FIG. 9A. It is a flowchart which shows.
  • FIG. 1 an example of the overall configuration of a machining system configured to hold a workpiece W arranged at a placement place with a workpiece holding robot and transport the workpiece W to a machining machine will be described with reference to FIG. To do.
  • the processing machine 10 is a bending machine
  • the workpiece holding robot 20 is a workpiece transfer robot that sucks or grips the workpiece W and transfers it to the bending machine.
  • the processing machine is not limited to a bending machine, and may be any processing machine such as a punching machine or a laser machine.
  • the processing machine 10 includes an upper table 101 that is movable in the vertical direction and a lower table 102 that is fixed. A punch die Tp is attached to the upper table 101, and a die die Td is attached to the lower table 102.
  • the processing machine 10 is equipped with a display / operation unit 21 (operation pendant) connected to an NC device 2 (shown in FIG. 2) described later.
  • An articulated workpiece holding robot 20 is installed in front of the processing machine 10.
  • the workpiece holding robot 20 is disposed on the guide rail 200 and is configured to be movable in the left-right direction of the processing machine 10 along the guide rail 200.
  • the workpiece holding robot 20 is not movable in the left-right direction, and the position in the left-right direction may be fixed.
  • a pallet 30 as a place where the workpiece W is placed is installed.
  • the workpiece W is a sheet metal having a predetermined shape.
  • the case where the shape of the workpiece W is a trapezoid is shown.
  • a plurality of workpieces W are stacked at a plurality of locations. That is, a plurality of workpieces W are arranged on the pallet 30.
  • a support column 401 extending to a predetermined height with respect to the installation surface of the pallet 30 is disposed.
  • the support column 401 extends in the vertical direction up to a predetermined height, is bent in the horizontal direction toward the pallet 30 side, and is further bent in the direction of the processing machine 10.
  • the camera 4 is attached to the tip of the column 401.
  • the camera 4 is a so-called monocular camera.
  • the camera 4 includes an image pickup device such as a CMOS and a plurality of lenses.
  • a lighting fixture 62 containing, for example, a plurality of light emitting diodes (LEDs) is attached to the upper end of the side wall 61 sandwiching the pallet 30.
  • the lighting fixture 62 illuminates the pallet 30 as necessary.
  • the angle of illumination by the luminaire 62 is adjusted in advance.
  • the camera 4 is configured to photograph the entire pallet 30 and photograph the workpiece W placed on the pallet 30.
  • the position of the corner portion P0 of the pallet 30 is set as the origin of the photographed image obtained by photographing the pallet 30 by the camera 4.
  • the origin position of the workpiece holding robot 20 is set to coincide with the origin of the photographed image.
  • the CAM 1 holds CAD data indicating the product shape of the workpiece W generated by a CAD (not shown).
  • the CAD data is composed of, for example, a CSV file.
  • the CAM 1 creates a machining program for machining the workpiece W.
  • the CAM 1 transfers a machining program and a file indicating the product shape to the NC device 2.
  • the NC device 2 is connected to an image arithmetic processing device 3, a robot control device 5, a processing machine 10, and a display / operation unit 21.
  • the NC device 2 controls the processing of the workpiece W by the processing machine 10 based on the processing program.
  • the NC device 2 transfers a file indicating the product shape to the image arithmetic processing device 3.
  • the image arithmetic processing device 3 can be constituted by a personal computer, for example.
  • a camera 4 is connected to the image arithmetic processing device 3.
  • the image arithmetic processing device 3 constitutes the workpiece detection device of the present embodiment.
  • the image calculation processing device 3 detects the positions of the workpieces W of the respective mountains arranged on the pallet 30 and supplies the detected position information to the robot control device 5.
  • the robot control device 5 controls the workpiece holding robot 20 based on the position information of the workpiece W.
  • the image arithmetic processing device 3 has a memory 301 for holding various information described later.
  • a sensor for detecting the actual load height of the workpiece W is attached to a portion of the workpiece holding robot 20 that sucks or grips the workpiece W. That is, the workpiece holding robot 20 includes an actual loading height detection unit 201 of the workpiece W.
  • the NC device 2 that controls the processing machine 10 the image arithmetic processing device 3 that constitutes the workpiece detection device, and the robot control device 5 that controls the workpiece holding robot 20 are provided separately. This is just an example.
  • the NC device 2 may constitute a workpiece detection device by providing the NC device 2 with the function of the image arithmetic processing device 3.
  • the NC device 2 and the robot control device 5 may be integrated.
  • the robot control device 5 may constitute a workpiece detection device by providing the robot control device 5 with the function of the image arithmetic processing device 3.
  • the preprocessing unit 302 preprocesses image data of a captured image obtained by capturing the palette 30 by the camera 4.
  • the labeling processing unit 303 labels areas to be described later included in the captured image indicated by the preprocessed image data.
  • the area calculation unit 304 calculates the area of a circumscribed figure that circumscribes each labeled region.
  • the area calculation unit 304 refers to the area reference range information stored in the memory 301 and determines whether or not the calculated area is within a preset reference range.
  • the labeling area registration unit 305 is supplied with information on a labeling area whose area is within the reference range.
  • the labeling area registration unit 305 registers the information of the labeling area in the memory 301 as a labeling area where the workpiece W exists.
  • the divided area information generation unit 306 is position information that sets the divided areas including the respective labeling areas registered by the labeling area registration unit 305 in the entire captured image of the pallet 30 and indicates the position of each divided area. Generate divided area information.
  • the divided area information generation unit 306 stores the divided area information in the memory 301.
  • the work presence / absence detection unit 307 refers to the divided region information held in the memory 301 and detects the presence / absence of the work W in each divided region indicated by the divided region information in the captured image preprocessed by the preprocessing unit 302.
  • the loading height detection unit 308 detects the loading height of the workpiece W in each of the divided areas detected as having the workpiece W based on the size of the captured image of the workpiece W, and causes the memory 301 to hold it.
  • the position information transmission unit 309 refers to the loading height information of the workpiece W held in the memory 301, and among the plurality of divided regions, the divided region (hereinafter referred to as the loading height of the workpiece W detected as the maximum) is detected. , The maximum loading height division area) is extracted.
  • the position information transmission unit 309 receives position information indicating the actual position on the pallet 30 corresponding to the maximum load height division area in order to hold the workpiece W in the maximum load height division area by the work holding robot 20. It transmits to the control apparatus 5.
  • the actual loading height detection unit 201 of the workpiece holding robot 20 detects the actual loading height of the workpiece W when the workpiece holding robot 20 holds the workpiece W in the maximum loading height division region.
  • Information indicating the actual loading height of the workpiece W is supplied to the image arithmetic processing device 3 via the robot control device 5.
  • the actual loading height receiving unit 310 receives information indicating the actual loading height of the workpiece W.
  • the loading height update unit 311 indicates the actual loading height of the workpiece W received by the actual loading height receiving unit 310 and the loading height of the workpiece W in the maximum loading height division area held in the memory 301. Update with the latest actual loading height calculated based on
  • FIG. 4 when the processing is started, the image arithmetic processing device 3 acquires image data obtained by photographing the pallet 30 on which the work W is arranged in step S ⁇ b> 1.
  • FIG. 5 conceptually shows an image indicated by the image data.
  • step S2 the preprocessing unit 302 performs preprocessing on the image data. Specifically, the preprocessing unit 302 removes noise, binarizes image data by, for example, adaptive threshold processing, and performs erosion processing, which is one of morphological processing. When the preprocessing unit 302 performs these preprocessing, it is possible to obtain an image in which a contour line of an object such as the workpiece W is connected. The preprocessing unit 302 may perform image processing so that the outline of the workpiece W is expressed as a line image.
  • step S3 the labeling processing unit 303 performs a labeling process for assigning a number to an area formed by a closed line image in which pixel values included in the captured image are continuous.
  • FIG. 6 conceptually shows an example of the result of the labeling process in step S3.
  • the areas of the workpieces W at the 10 peaks are closed line image areas, and numbers 1 to 10 are assigned thereto, respectively.
  • the area surrounded by the works W of numbers 1 to 3 and 5 to 9 is also a closed line image area, and a state in which the number 11 is assigned is shown.
  • the area calculation unit 304 calculates the area of each rectangle circumscribing the labeled region (hereinafter, labeled region).
  • the rectangle is an example of a circumscribed figure that circumscribes the labeling area.
  • the area calculation unit 304 may calculate the area of a circumscribed circle that circumscribes the labeling region.
  • the area calculation unit 304 may calculate the area of each labeling region itself. It is preferable to calculate the area of the circumscribed figure circumscribing the labeling region rather than calculating the area of the labeling region itself because the calculation process is simplified.
  • the circumscribed figure is preferably a rectangle.
  • FIG. 7 shows a rectangle circumscribing the labeling area assigned number 1 and a rectangle circumscribing the labeling area assigned number 5.
  • the labeling areas to which the numbers 1 to 10 are assigned are areas corresponding to the positions of the workpieces W, and the areas of the respective labeling areas are substantially the same. However, if the direction of the workpiece W is different in the plane of the pallet 30, the area of the rectangle circumscribing the labeling region is different.
  • the area calculation unit 304 selects one of the labeling regions in step S5. For example, the area calculation unit 304 selects a labeling region to which the number 1 is assigned. In step S6, the area calculation unit 304 refers to the area reference range information and determines whether or not the rectangular area circumscribing the labeling region is within the reference range.
  • the area of the workpiece W is known, and the rectangular area circumscribing the workpiece W when the workpiece W is rotated at a predetermined angle within the plane of the pallet 30 can be obtained in advance.
  • the area of the work W in the photographed image decreases as the mountain height decreases, and increases as the mountain height increases.
  • the maximum height of the mountain (the number of workpieces W loaded) is assumed in advance.
  • the image processing unit 3 rotates the rectangular minimum and maximum areas when only one workpiece W is arranged in the height direction and the workpieces W stacked at the maximum height.
  • a rectangular area reference range is obtained in advance so as to include the minimum area and the maximum area of the rectangle.
  • the memory 301 may hold the area reference range information obtained in this way.
  • the NC device 2 may obtain a rectangular area reference range in advance and supply the area reference range information to the image arithmetic processing device 3.
  • the labeling area registration unit 305 registers in the memory 301 as a labeling area where the workpiece W exists in step S7. If the rectangular area circumscribing the labeling area is not within the reference range (NO), the labeling area registration unit 305 excludes the labeling area from the labeling area in step S8.
  • the area of the circumscribed circle does not change even if the orientation of the workpiece W is different in the plane of the pallet 30.
  • an area reference range in consideration of a change in the loading height (mountain height) of the workpiece W is set. You only have to set it.
  • the area calculation unit 304 determines whether or not there is an unselected labeling region in step S9. If there is an unselected labeling region (YES), the area calculation unit 304 repeats the processing of steps S5 and S6, and the labeling region registration unit 305 repeats the processing of step S7 or S8.
  • the labeling areas to which the numbers 1 to 10 are assigned are areas corresponding to the positions of the workpieces W, the area of the rectangle circumscribing each labeling area is within the reference range, and the labeling area in which the workpieces W exist Is registered in the memory 301.
  • the labeling area to which the number 11 is assigned is not an area corresponding to the position of the workpiece W, and the area of the rectangle circumscribing the labeling area is not within the reference range, and thus is excluded from the labeling area.
  • the divided area information generation unit 306 includes the respective labeling areas registered in the entire captured image of the pallet 30 in step S10. An area is set and divided area information is generated. In the example in which the area calculation unit 304 calculates a rectangle circumscribing the labeling region, the rectangle is a divided region including the labeling region.
  • the divided area information generation unit 306 holds the divided area information in the memory 301.
  • FIG. 8 conceptually shows the divided area information held in the memory 301.
  • step S3 even if an area formed by a closed line image other than the outline of the work W is generated in step S2 and labeling is performed in step S3, a labeling area that does not correspond to the work W is excluded. The Therefore, only the divided area information indicating the mountain of each work W is registered in the memory 301.
  • FIG. 9A and FIG. 9B detection processing of the workpiece W by the image arithmetic processing device 3 necessary for the robot control device 5 to control the workpiece holding robot 20 and carry out the workpiece W on the pallet 30. Will be explained. Note that the processing illustrated in FIGS. 9A and 9B is processing that is executed after the registration of the divided region information described with reference to FIG. 3 is completed. 9A and 9B, some processes are executed by the robot control device 5.
  • the workpiece presence / absence detection unit 307 determines whether or not there is a divided region with reference to the divided region information held in the memory 301 in step S11. If there is a divided area (YES), the workpiece presence / absence detection unit 307 shifts the process to step S12, and if there is no divided area (NO), the workpiece presence / absence detection unit 307 ends the workpiece W detection process.
  • step S12 the workpiece presence / absence detection unit 307 selects one of the divided regions, and in step S13, detects the presence / absence of the workpiece W in the selected divided region in the photographed image processed by the preprocessing unit 302. To do.
  • the workpiece presence / absence detection unit 307 may detect the workpiece W using a known pattern matching method using a workpiece reference image.
  • the workpiece presence / absence detection unit 307 determines whether or not the workpiece W is detected in step S14. Information indicating whether or not the workpiece W has been detected is supplied to the loading height detection unit 308. If the workpiece W is detected (YES), the loading height detection unit 308 detects the loading height of the workpiece W based on the photographed image of the workpiece W in step S15, and divides the detected loading height. It is stored in the memory 301 in correspondence with the area. If the workpiece W is not detected (NO), the stack height detection unit 308 excludes the selected divided region in step S16.
  • the work presence / absence detection unit 307 determines whether or not the detection of the work W in all the divided areas is completed in step S17. If the detection of the work W in all the divided areas has not been completed (NO), the work presence / absence detection unit 307 repeats the processing of steps S12 to S14, and the stacking height detection unit 308 performs the processing of step S15 or S16. Repeat the process.
  • the position information transmitting unit 309 displays the position information on the pallet 30 corresponding to the maximum stacked height divided area in step S18. It transmits to the control apparatus 5. Since the position in the captured image of the pallet 30 and the actual position on the pallet 30 are associated with each other, the position information transmission unit 309 converts the position information of the divided area in the captured image into the position information on the actual pallet 30. What is necessary is just to convert and to transmit to the robot control apparatus 5.
  • step S19 the robot control device 5 is supplied from the position information transmission unit 309 so that the workpiece holding robot 20 holds the workpiece W having the maximum loading height and transports it to the processing machine 10.
  • the workpiece holding robot 20 is controlled based on the position information.
  • the NC device 2 controls the processing machine 10 to process the workpiece W based on the processing program.
  • the actual loading height receiving unit 310 receives information indicating the actual loading height of the workpiece W detected by the actual loading height detection unit 201 in step S20.
  • the actual loading height of the workpiece W indicated by the information received by the actual loading height receiving unit 310 is the height at which the actual loading height detection unit 201 detects the height of the workpiece W located at the top of the peak of the workpiece W. It is.
  • step S21 the loading height update unit 311 obtains the latest value obtained by subtracting the thickness of one workpiece W from the actual loading height of the workpiece W indicated by the information received by the actual loading height receiving unit 310.
  • the actual loading height is obtained, and the loading height of the workpiece W held in the memory 301 is updated with the latest actual loading height.
  • the workpiece presence / absence detection unit 307 refers to the divided region information held in the memory 301 in step S22 to determine whether there is a valid divided region.
  • An effective divided area is a divided area excluding the divided areas excluded in step S16 in FIG. 9A. If it is determined that there is an effective divided area (YES), the workpiece presence / absence detection unit 307 selects a divided area where the loading height of the workpiece W is the highest in step S23.
  • step S24 the image calculation processing device 3 acquires a captured image obtained by newly capturing the palette 30 by the camera 4.
  • step S25 the workpiece presence / absence detection unit 307 detects the presence / absence of the workpiece W in the selected divided region. At this time, since the loading height of the workpiece W in the selected divided area is detected, the size corresponding to the loading height of the workpiece W when detecting the presence or absence of the workpiece W using the pattern matching method. And the presence or absence of the workpiece
  • the workpiece presence / absence detection unit 307 determines whether or not the workpiece W is detected in step S26. If the workpiece W is not detected (NO), the workpiece presence / absence detector 307 excludes the selected divided region in step S32 and returns the process to step S22.
  • the loading height detection unit 308 detects the loading height of the workpiece W based on the photographed image of the workpiece W in step S27, and divides the detected loading height. It is stored in the memory 301 in correspondence with the area.
  • the position information transmitting unit 309 transmits the position information on the pallet 30 corresponding to the maximum stacking height division area to the robot control device 5 in step S28.
  • the robot controller 5 is supplied from the position information transmission unit 309 so that the workpiece holding robot 20 holds the workpiece W having the maximum loading height and transports it to the processing machine 10.
  • the workpiece holding robot 20 is controlled based on the position information.
  • the NC device 2 controls the processing machine 10 to process the workpiece W based on the processing program.
  • the actual loading height receiving unit 310 receives information indicating the actual loading height of the workpiece W detected by the actual loading height detection unit 201 in step S30.
  • the loading height update unit 311 updates the latest actual loading by subtracting the thickness of one workpiece W from the actual loading height of the workpiece W indicated by the information received by the actual loading height receiving unit 310. The height is obtained, and the loading height of the workpiece W stored in the memory 301 is updated with the latest actual loading height.
  • the image arithmetic processing device 3 repeats the processing after step S22. If the processing after step S22 is repeated and it is not determined in step S22 that there is an effective divided area (NO), it means that the transfer of all the workpieces W on the pallet 30 to the processing machine 10 has been completed. . If there is no effective divided area in step S22, the image arithmetic processing device 3 ends the work W detection processing.
  • the workpiece detection apparatus performs image processing on a photographed image obtained by photographing a placement place where a plurality of workpieces are arranged so that the outline of the workpiece W is expressed as a line image.
  • the processing unit 302 includes a labeling processing unit 303 that labels an area formed by the closed line image.
  • the workpiece detection apparatus includes an area calculation unit 304 that calculates the area of a labeling region or the area of a circumscribed figure that circumscribes a labeled labeling region.
  • the workpiece detection apparatus includes a labeling region registration unit 305 that registers a labeling region where the workpiece W exists based on the calculated area, and a segmented region that generates segmented region information indicating the position of the segmented region including the labeling region.
  • An information generation unit 306 is provided.
  • the workpiece detection method executes a captured image acquisition process that captures a place where a plurality of workpieces are arranged, and an image process that expresses the outline of the workpiece W as a line image.
  • the workpiece detection method of the present embodiment executes a labeling process for labeling an area formed by a closed line image, and a calculation process for the area of a circumscribed figure circumscribing the labeling area or the labeling area.
  • the workpiece detection method executes registration processing for registering a labeling region where the workpiece W exists based on the calculated area, and generation processing for divided region information indicating the position of the divided region including the labeling region.
  • each of the plurality of workpieces W is accurately detected regardless of the position on the placement location when the plurality of workpieces W are placed on the placement location. be able to.
  • the position is not restricted when the pile of the workpiece W is placed at the placement location, so the work of the setup work in which the worker places the pile of the workpiece W at the placement location. Efficiency can be improved.
  • the workpiece detection apparatus and method of the present embodiment it is possible to place a large number of piles of workpieces W on the mounting place. Therefore, the workpieces W are transferred to the processing machine 10 and processed to produce products. The number of production can be increased. Since the frequency of exchanging the pallet 30 as a mounting place can be reduced, production efficiency can be improved.
  • the workpiece detection apparatus includes a workpiece presence / absence detection unit 307 that detects the presence / absence of the workpiece W in each divided region, and a loading height detection unit 308 that detects the loading height of the workpiece W in each divided region.
  • the workpiece detection apparatus includes a position information transmission unit 309 that transmits position information indicating the position on the pallet 30 corresponding to the maximum stacking height division area to the robot control apparatus 5.
  • the workpiece detection method of the present embodiment executes a detection process for detecting the presence / absence of the workpiece W in each divided area and a detection process for detecting the loading height of the workpiece W in each divided area.
  • the workpiece detection method of the present embodiment includes an extraction process for extracting the maximum stacking height division area, and a transmission process for transmitting position information indicating the position on the pallet 30 corresponding to the maximum stacking height division area to the robot controller 5. Execute.
  • the robot controller 5 can control the workpiece holding robot 20 so that the workpiece holding robot 20 holds the workpiece W in the maximum loading height division region. it can. If the workpiece holding robot 20 holds the workpiece W in the maximum loading area divided area, the workpiece holding robot 20 may mistakenly convey the workpiece W to the processing machine 10 without touching the mountain of the workpiece W in the other divided area. Can do.
  • the workpiece detection apparatus includes an actual loading height receiving unit 310 that receives information indicating the actual loading height of the workpiece W, and the loading height of the workpiece W in the maximum loading height division area.
  • a loading height update unit 311 that updates the actual loading height is provided.
  • the workpiece detection method includes a reception process for receiving information indicating the actual loading height of the workpiece W, a calculation process for obtaining the latest actual loading height based on the information indicating the actual loading height, and a maximum loading height. Update processing for updating the loading height of the work W in the divided area with the latest actual loading height is executed.
  • the loading height of the mountain from which the uppermost workpiece W is carried out by the workpiece holding robot 20 can be set to the latest height.
  • the loading height of the workpiece W can be set to an accurate height based on the actual loading height.
  • the majority of the configuration of the workpiece detection device is configured by software by the image arithmetic processing device 3, but may be configured by hardware or a configuration in which software and hardware are mixed.
  • the use of software and hardware is arbitrary.
  • the hardware may be an integrated circuit.

Abstract

画像演算処理装置は、複数山のワークが配置されている載置場所を撮影した撮影画像を取得する。画像演算処理装置は、撮影画像を前記ワークの輪郭が線画像として表現されるように画像処理する前処理を実行する。画像演算処理装置は、画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けするラベリング処理を実行する。画像演算処理装置は、ラベル付けされたそれぞれのラベリング領域に外接する外接図形（例えば矩形）の面積を算出する。画像演算処理装置は、算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録する。

Description

ワーク検出装置及び方法
　本開示は、載置場所に配置されている複数山のワークのそれぞれを検出することができるワーク検出装置及び方法に関する。
　ベンディングマシン等の加工機で金属のワークを加工する際に、載置場所として例えばパレットに配置されているワークをワーク保持用ロボットで保持して、加工機へと搬送することがある。大量のワークを加工機で加工するために、パレットに同一形状のワークを複数山配置し、ワーク保持用ロボットで複数山に配置されたワークを１つずつ順に保持させて搬出することがある。
　従来においては、パレット上にワークの２つの山を配置する場合、ワークの山を、パレットの前後または左右のように予め定めた２つの領域に分割した分割領域のそれぞれに配置する必要がある。また、パレット上にワークの４つの山を配置する場合、ワークの山を、パレットを前後及び左右の４つの領域に分割した分割領域のそれぞれに配置する必要がある。
特開平７－３１９５２５号公報 特開２０００－２８８９７４号公報
　従来においては、パレットを２つまたは４つの領域に分割した境界である仮想的な分割線上にワークを配置したり、１つの分割領域に複数山のワークを配置したりすると、ワークを正しく検出することができない。
　そのため、従来においては、作業者は、ワーク検出装置がパレットを撮影した撮影画像に設定している分割線を意識してワークの山を配置しなければならない。作業者がワークの山をパレットに配置するときには分割線を見ることができないため、作業者は、ワークの山をパレットに配置した後にワークの山が分割領域内に配置されているかを表示部で確認しなければならない。このような分割線を意識した作業は、ワークの山をパレットに配置する段取り作業の作業効率を悪化させる。
　実施形態は、複数山のワークを載置場所に配置するときの載置場所上の位置にかかわらず、複数山のワークそれぞれを的確に検出することができるワーク検出装置及び方法を提供することを目的とする。
　実施形態の第１の態様は、複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を、前記ワークの輪郭が線画像として表現されるように画像処理する前処理部と、前記前処理部によって画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けするラベリング処理部と、前記ラベリング処理部によってラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出する面積算出部と、前記面積算出部によって算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録するラベリング領域登録部と、前記載置場所の全体的な撮像画像内に、前記ラベリング領域登録部によって登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成する分割領域情報生成部とを備えることを特徴とするワーク検出装置を提供する。
　実施形態の第２の態様は、複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を取得し、前記撮影画像を前記ワークの輪郭が線画像として表現されるように画像処理し、画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けし、ラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出し、算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録し、前記載置場所の全体的な撮像画像内に、登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成することを特徴とするワーク検出方法を提供する。
　実施形態のワーク検出装置及び方法によれば、複数山のワークを載置場所に配置するときの載置場所上の位置にかかわらず、複数山のワークそれぞれを的確に検出することができる。
図１は、加工システムの全体的な構成例を示す斜視図である。 図２は、一実施形態のワーク検出装置を含む加工システムの全体的な構成例を示すブロック図である。 図３は、図２の画像演算処理装置３の機能的な内部構成例を示すブロック図である。 図４は、画像演算処理装置３による自動領域分割の処理を示すフローチャートである。 図５は、複数山のワークが配置されている載置場所を撮影した撮影画像を概念的に示す図である。 図６は、図５に示す撮影画像に基づいてラベリング処理した結果の一例を概念的に示す図である。 図７は、ワークの向きによってラベリング領域に外接する矩形の面積が異なることを示す図である。 図８は、ラベリング領域を含む矩形の分割領域の位置を示す分割領域情報を概念的に示す図である。 図９Ａは、図２のロボット制御装置５がワーク保持用ロボット２０を制御して載置場所上のワークを搬出するために必要な、画像演算処理装置３によるワークの検出処理を示すフローチャートである。 図９Ｂは、図９Ａに続く、図２のロボット制御装置５がワーク保持用ロボット２０を制御して載置場所上のワークを搬出するために必要な、画像演算処理装置３によるワークの検出処理を示すフローチャートである。
　以下、一実施形態のワーク検出装置及び方法について、添付図面を参照して説明する。まず、図１を用いて、載置場所に配置されているワークＷをワーク保持用ロボットで保持して、加工機へと搬送するように構成されている加工システムの全体的な構成例を説明する。図１に示す構成例において、加工機１０はベンディングマシンであり、ワーク保持用ロボット２０は、ワークＷを吸着または把持してベンディングマシンへと搬送するワーク搬送ロボットである。
　加工機はベンディングマシンに限定されることはなく、パンチングマシン、レーザマシン等の任意の加工機でよい。
　加工機１０は、上下方向に移動自在の上部テーブル１０１と、固定されている下部テーブル１０２とを有する。上部テーブル１０１にはパンチ金型Ｔｐが装着され、下部テーブル１０２にはダイ金型Ｔｄが装着されている。加工機１０には、後述するＮＣ装置２（図２に図示）と接続された表示・操作部２１（操作ペンダント）が装着されている。
　加工機１０の前方には、多関節のワーク保持用ロボット２０が設置されている。ワーク保持用ロボット２０はガイドレール２００上に配置されており、ガイドレール２００に沿って加工機１０の左右方向に移動自在に構成されている。ワーク保持用ロボット２０は左右方向に移動自在ではなく、左右方向の位置が固定されていてもよい。
　ワーク保持用ロボット２０の前方には、ワークＷの載置場所であるパレット３０が設置されている。ワークＷは所定の形状を有する板金である。ここでは、ワークＷの形状が台形である場合を示している。パレット３０には、複数枚のワークＷが複数の箇所に積み重ねられている。即ち、パレット３０には、複数山のワークＷが配置されている。
　パレット３０の近傍には、パレット３０の設置面に対して所定の高さまで延びる支柱４０１が配置されている。支柱４０１は、所定の高さまで垂直方向に延び、パレット３０側に水平方向に折れ曲がり、さらに、加工機１０の方向へと折れ曲がっている。支柱４０１の先端部には、カメラ４が装着されている。カメラ４はいわゆる単眼カメラである。カメラ４は、ＣＭＯＳ等の撮像素子と複数枚のレンズを内蔵している。
　パレット３０を挟む側壁６１の上端部には、例えば複数個の発光ダイオード（ＬＥＤ）を内蔵する照明器具６２が取り付けられている。照明器具６２は、必要に応じて、パレット３０を照明する。照明器具６２による照明の角度は予め調整されている。
　カメラ４は、パレット３０の全体を撮影して、パレット３０に置かれたワークＷを撮影するように構成されている。例えば、パレット３０の角部Ｐ０の位置を、カメラ４がパレット３０を撮影した撮影画像の原点とする。ワーク保持用ロボット２０の原点位置は、撮影画像の原点と一致するように設定されている。
　照明器具６２によってワークＷが配置されたパレット３０を照明すると、ワークＷに影を付けることができる。よって、後述する画像演算処理装置３（図２に図示）がカメラ４による撮影画像に基づいてワークＷの位置を検出する際の検出精度を向上させることができる。
　図２を用いて、加工機１０及びワーク保持用ロボット２０を制御する制御装置の構成及び動作を説明する。図２において、ＣＡＭ１は、図示していないＣＡＤで生成されたワークＷの製品形状を示すＣＡＤデータを保持している。ＣＡＤデータは例えばＣＳＶファイルで構成される。ＣＡＭ１はワークＷを加工するための加工プログラムを作成する。ＣＡＭ１は、加工プログラム及び製品形状を示すファイルをＮＣ装置２に転送する。
　ＮＣ装置２には、画像演算処理装置３、ロボット制御装置５、加工機１０、表示・操作部２１が接続されている。ＮＣ装置２は、加工プログラムに基づいて、加工機１０によるワークＷの加工を制御する。ＮＣ装置２は、製品形状を示すファイルを画像演算処理装置３に転送する。
　画像演算処理装置３は、例えばパーソナルコンピュータで構成することができる。画像演算処理装置３には、カメラ４が接続されている。画像演算処理装置３は、本実施形態のワーク検出装置を構成する。後述するように、画像演算処理装置３は、パレット３０に配置されたそれぞれの山のワークＷの位置を検出し、検出した位置情報をロボット制御装置５に供給する。ロボット制御装置５は、ワークＷの位置情報に基づいてワーク保持用ロボット２０を制御する。
　画像演算処理装置３は、後述する各種の情報を保持するためのメモリ３０１を有する。ワーク保持用ロボット２０のワークＷを吸着または把持する部分には、ワークＷの実積載高さを検出するセンサが取り付けられている。即ち、ワーク保持用ロボット２０は、ワークＷの実積載高さ検出部２０１を有する。
　図２に示す構成例では、加工機１０を制御するＮＣ装置２と、ワーク検出装置を構成する画像演算処理装置３と、ワーク保持用ロボット２０を制御するロボット制御装置５とを別々に設けているが、これは単なる一例である。
　ＮＣ装置２に画像演算処理装置３の機能を持たせることによって、ＮＣ装置２がワーク検出装置を構成してもよい。ＮＣ装置２とロボット制御装置５とが一体化されていてもよい。ロボット制御装置５に画像演算処理装置３の機能を持たせることによって、ロボット制御装置５がワーク検出装置を構成してもよい。
　図３を用いて、画像演算処理装置３の機能的な内部構成例と、画像演算処理装置３の概略的な動作を説明する。図３において、前処理部３０２は、カメラ４がパレット３０を撮影した撮影画像の画像データを前処理する。ラベリング処理部３０３は、前処理された画像データが示す撮影画像に含まれる後述する領域にラベル付けする。面積算出部３０４は、ラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出する。
　面積算出部３０４は、メモリ３０１に記憶されている面積基準範囲情報を参照して、算出された面積が予め設定した基準範囲内であるか否かを判定する。ラベリング領域登録部３０５には、面積が基準範囲内であるラベリング領域の情報が供給される。ラベリング領域登録部３０５は、ラベリング領域の情報を、ワークＷが存在するラベリング領域としてメモリ３０１に登録する。
　分割領域情報生成部３０６は、パレット３０の全体的な撮像画像に、ラベリング領域登録部３０５によって登録されたそれぞれのラベリング領域を含む分割領域を設定し、分割領域それぞれの位置を示す位置情報である分割領域情報を生成する。分割領域情報生成部３０６は、分割領域情報をメモリ３０１に保持させる。
　ワーク有無検出部３０７は、メモリ３０１に保持された分割領域情報を参照して、前処理部３０２によって前処理された撮影画像における分割領域情報が示す分割領域それぞれでワークＷの有無を検出する。積載高さ検出部３０８は、ワークＷがあると検出された分割領域それぞれのワークＷの積載高さをワークＷの撮影画像の大きさに基づいて検出して、メモリ３０１に保持させる。
　位置情報送信部３０９は、メモリ３０１に保持されたワークＷの積載高さ情報を参照して、複数の分割領域のうち、ワークＷの積載高さが最大であると検出された分割領域（以下、積載高さ最大分割領域）を抽出する。位置情報送信部３０９は、積載高さ最大分割領域のワークＷをワーク保持用ロボット２０によって保持させるために、積載高さ最大分割領域に対応する実際のパレット３０上の位置を示す位置情報をロボット制御装置５に送信する。
　ワーク保持用ロボット２０の実積載高さ検出部２０１は、ワーク保持用ロボット２０が積載高さ最大分割領域のワークＷを保持するときにワークＷの実積載高さを検出する。ワークＷの実積載高さを示す情報はロボット制御装置５を介して画像演算処理装置３に供給される。実積載高さ受信部３１０は、ワークＷの実積載高さを示す情報を受信する。
　積載高さ更新部３１１は、メモリ３０１に保持されている積載高さ最大分割領域のワークＷの積載高さを、実積載高さ受信部３１０が受信したワークＷの実積載高さを示す情報に基づいて算出した最新の実積載高さで更新する。
　次に、図４に示すフローチャート及び図５～図８を用いて、画像演算処理装置３の具体的な動作である自動領域分割の処理を説明する。図４において、処理が開始されると、画像演算処理装置３は、ステップＳ１にて、カメラ４がワークＷが配置されたパレット３０を撮影した画像データを取得する。図５は、画像データが示す画像を概念的に示している。
　前処理部３０２は、ステップＳ２にて、画像データに対して前処理を施す。具体的には、前処理部３０２は、ノイズを除去し、例えば適応的閾値処理によって画像データを２値化し、モルフォロジー処理の１つである浸食処理を施す。前処理部３０２がこれらの前処理を施すと、ワークＷ等の物体の輪郭の線がつながった画像とすることができる。前処理部３０２は、ワークＷの輪郭が線画像として表現されるように画像処理すればよい。
　ラベリング処理部３０３は、ステップＳ３にて、撮影画像に含まれる画素値が連続する閉じた線画像によって形成される領域に番号を割り振るラベリング処理を施す。図６は、ステップＳ３によるラベリング処理の結果の一例を概念的に示している。図６に示すように、１０か所の山のワークＷの領域は閉じた線画像の領域となっていて、それぞれ番号１～１０が割り振られている。図６においては、番号１～３及び５～９のワークＷに囲まれた領域も閉じた線画像の領域となっていて、番号１１が割り振られている状態を示している。
　面積算出部３０４は、ステップＳ４にて、ラベリングされた領域（以下、ラベリング領域）に外接するそれぞれの矩形の面積を算出する。矩形はラベリング領域に外接する外接図形の一例である。面積算出部３０４はラベリング領域に外接する外接円の面積を算出してもよい。面積算出部３０４は、それぞれのラベリング領域自体の面積を算出してもよい。ラベリング領域自体の面積を算出するよりもラベリング領域に外接する外接図形の面積を算出する方が、演算処理が簡略化されるので好ましい。外接図形としては矩形が好ましい。
　図７は、番号１が割り振られたラベリング領域に外接する矩形と、番号５が割り振られたラベリング領域に外接する矩形を示している。番号１～１０が割り振られたラベリング領域はワークＷの位置に対応する領域であり、それぞれのラベリング領域の面積はほぼ同じである。しかしながら、パレット３０の面内でワークＷの向きが異なれば、ラベリング領域に外接する矩形の面積は異なる。
　面積算出部３０４は、ステップＳ５にて、ラベリング領域の１つを選択する。例えば、面積算出部３０４は、番号１が割り振られたラベリング領域を選択する。面積算出部３０４は、ステップＳ６にて、面積基準範囲情報を参照して、ラベリング領域に外接する矩形の面積が基準範囲内であるか否かを判定する。
　ワークＷの面積は既知であり、ワークＷをパレット３０の面内で所定の角度に回転させたときのワークＷに外接する矩形の面積は予め求めることができる。パレット３０には、ワークＷが高さ方向に１つのみ配置されることがあり、複数のワークＷが積み重ねられて所定の高さの山として配置されることもある。撮影画像におけるワークＷの面積は、山の高さが低いほど小さくなり、山の高さが高いほど大きくなる。山の最大高さ（ワークＷの積載枚数）は予め想定されている。
　画像演算処理装置３は、ワークＷが高さ方向に１つのみ配置された状態で回転させたときの矩形の最小面積及び最大面積と、ワークＷが最大高さで積み重ねられた状態で回転させたときの矩形の最小面積及び最大面積とを含むように、矩形の面積の基準範囲を予め求める。メモリ３０１は、このように求めた面積基準範囲情報を保持すればよい。
　ＮＣ装置２が矩形の面積の基準範囲を予め求めて、面積基準範囲情報を画像演算処理装置３に供給してもよい。
　ステップＳ６にてラベリング領域に外接する矩形の面積が基準範囲内であれば（YES）、ラベリング領域登録部３０５は、ステップＳ７にて、ワークＷが存在するラベリング領域としてメモリ３０１に登録する。ラベリング領域に外接する矩形の面積が基準範囲内でなければ（NO）、ラベリング領域登録部３０５は、ステップＳ８にて、ラベリング領域から除外する。
　ワークＷに外接する矩形の代わりに外接円を用いる場合には、パレット３０の面内でワークＷの向きが異なっても外接円の面積は変わらない。外接円またはラベリング領域の面積を基準としてワークＷが存在するラベリング領域であるか否かを判定する場合には、ワークＷの積載高さ（山の高さ）の変化を考慮した面積基準範囲を設定すればよい。
　面積算出部３０４は、ステップＳ９にて、未選択のラベリング領域があるか否かを判定する。未選択のラベリング領域があれば（YES）、面積算出部３０４はステップＳ５及びＳ６の処理を繰り返し、ラベリング領域登録部３０５はステップＳ７またはＳ８の処理を繰り返す。
　図６において、番号１～１０が割り振られたラベリング領域はワークＷの位置に対応する領域であるから、それぞれのラベリング領域に外接する矩形の面積は基準範囲内となり、ワークＷが存在するラベリング領域としてメモリ３０１に登録される。一方、番号１１が割り振られたラベリング領域はワークＷの位置に対応する領域ではなく、そのラベリング領域に外接する矩形の面積は基準範囲内とはならないため、ラベリング領域から除外される。
　ステップＳ９にて未選択のラベリング領域がなければ（NO）、分割領域情報生成部３０６は、ステップＳ１０にて、パレット３０の全体的な撮像画像内に、登録されたそれぞれのラベリング領域を含む分割領域を設定して分割領域情報を生成する。面積算出部３０４がラベリング領域に外接する矩形を算出する例では、矩形がラベリング領域を含む分割領域となる。
　分割領域情報生成部３０６は、分割領域情報をメモリ３０１に保持させる。図８は、メモリ３０１に保持される分割領域情報を概念的に示している。
　以上のように、ステップＳ２にてワークＷの輪郭以外で閉じた線画像によって形成される領域が発生して、ステップＳ３にてラベル付けされたとしても、ワークＷに対応しないラベリング領域が除外される。よって、メモリ３０１には、それぞれのワークＷの山を示す分割領域情報のみが登録される。
　さらに、図９Ａ及び図９Ｂを用いて、ロボット制御装置５がワーク保持用ロボット２０を制御してパレット３０上のワークＷを搬出するために必要な、画像演算処理装置３によるワークＷの検出処理を説明する。なお、図９Ａ及び図９Ｂに示す処理は、図３で説明した分割領域情報の登録が完了した後に実行される処理である。図９Ａ及び図９Ｂにおいて、一部の処理はロボット制御装置５によって実行される。
　図９Ａにおいて、ワーク有無検出部３０７は、ステップＳ１１にて、メモリ３０１に保持されている分割領域情報を参照して、分割領域があるか否かを判定する。ワーク有無検出部３０７は、分割領域があれば（YES）、処理をステップＳ１２に移行させ、分割領域がなければ（NO）、ワークＷの検出処理を終了させる。
　ワーク有無検出部３０７は、ステップＳ１２にて、分割領域の１つを選択し、ステップＳ１３にて、前処理部３０２によって画像処理された撮影画像における選択された分割領域でワークＷの有無を検出する。ワーク有無検出部３０７は、ワーク参照画像を用いる公知のパターンマッチングの手法を用いてワークＷを検出すればよい。
　ワーク有無検出部３０７は、ステップＳ１４にて、ワークＷが検出されたか否かを判定する。ワークＷが検出されたか否かを示す情報は、積載高さ検出部３０８に供給される。ワークＷが検出されれば（YES）、積載高さ検出部３０８は、ステップＳ１５にて、ワークＷの撮影画像に基づいてワークＷの積載高さを検出し、検出された積載高さを分割領域に対応させてメモリ３０１に保持させる。ワークＷが検出されなければ（NO）、積載高さ検出部３０８は、ステップＳ１６にて、選択された分割領域を除外する。
　ワーク有無検出部３０７は、ステップＳ１７にて、全ての分割領域内でのワークＷの検出が完了したか否かを判定する。全ての分割領域内でのワークＷの検出が完了していなければ（NO）、ワーク有無検出部３０７は、ステップＳ１２～Ｓ１４の処理を繰り返し、積載高さ検出部３０８は、ステップＳ１５またはＳ１６の処理を繰り返す。
　全ての分割領域内でのワークＷの検出が完了していれば（YES）、位置情報送信部３０９は、ステップＳ１８にて、積載高さ最大分割領域に対応するパレット３０上の位置情報をロボット制御装置５に送信する。パレット３０の撮像画像内の位置と実際のパレット３０上の位置とは対応付けられているから、位置情報送信部３０９は撮像画像内の分割領域の位置情報を実際のパレット３０上の位置情報に変換して、ロボット制御装置５に送信すればよい。
　ロボット制御装置５は、ステップＳ１９にて、ワーク保持用ロボット２０によってワークＷの積載高さが最大のワークＷを保持して加工機１０へと搬送するよう、位置情報送信部３０９から供給された位置情報に基づいてワーク保持用ロボット２０を制御する。ワークＷが加工機１０に搬送されたら、ＮＣ装置２は、加工プログラムに基づいてワークＷを加工するよう加工機１０を制御する。
　実積載高さ受信部３１０は、ステップＳ２０にて、実積載高さ検出部２０１が検出したワークＷの実積載高さを示す情報を受信する。実積載高さ受信部３１０が受信した情報が示すワークＷの実積載高さは、実積載高さ検出部２０１がワークＷの山の最上部に位置するワークＷの高さを検出した高さである。
　最上部に位置するワークＷはステップＳ１９にて既に搬出されている。そこで、積載高さ更新部３１１は、ステップＳ２１にて、実積載高さ受信部３１０が受信した情報が示すワークＷの実積載高さからワークＷの１枚分の厚さを減じた最新の実積載高さを求め、メモリ３０１に保持されているワークＷの積載高さをその最新の実積載高さで更新する。
　引き続き、図９Ｂにおいて、ワーク有無検出部３０７は、ステップＳ２２にて、メモリ３０１に保持されている分割領域情報を参照して、有効な分割領域があるか否かを判定する。有効な分割領域とは、図９ＡのステップＳ１６にて除外された分割領域を除く分割領域である。有効な分割領域があると判定されれば（YES）、ワーク有無検出部３０７は、ステップＳ２３にて、ワークＷの積載高さが最も高い分割領域を選択する。
　画像演算処理装置３は、ステップＳ２４にて、カメラ４がパレット３０を新たに撮影した撮影画像を取得する。ワーク有無検出部３０７は、ステップＳ２５にて、選択された分割領域内でワークＷの有無を検出する。このとき、選択された分割領域におけるワークＷの積載高さが検出されているから、パターンマッチングの手法を用いてワークＷの有無を検出するときに、ワークＷの積載高さに対応する大きさ及びその近傍の大きさのワーク参照画像を用いてワークＷの有無を検出する。このようにすれば、ワークＷの有無の検出処理を高速化することができる。
　ワーク有無検出部３０７は、ステップＳ２６にて、ワークＷが検出されたか否かを判定する。ワークＷが検出されなければ（NO）、ワーク有無検出部３０７は、ステップＳ３２にて、選択された分割領域を除外して、処理をステップＳ２２に戻す。
　ワークＷが検出されれば（YES）、積載高さ検出部３０８は、ステップＳ２７にて、ワークＷの撮影画像に基づいてワークＷの積載高さを検出し、検出された積載高さを分割領域に対応させてメモリ３０１に保持させる。
　位置情報送信部３０９は、ステップＳ２８にて、積載高さ最大分割領域に対応するパレット３０上の位置情報をロボット制御装置５に送信する。ロボット制御装置５は、ステップＳ２９にて、ワーク保持用ロボット２０によってワークＷの積載高さが最大のワークＷを保持して加工機１０へと搬送するよう、位置情報送信部３０９から供給された位置情報に基づいてワーク保持用ロボット２０を制御する。ワークＷが加工機１０に搬送されたら、ＮＣ装置２は、加工プログラムに基づいてワークＷを加工するよう加工機１０を制御する。
　実積載高さ受信部３１０は、ステップＳ３０にて、実積載高さ検出部２０１が検出したワークＷの実積載高さを示す情報を受信する。積載高さ更新部３１１は、ステップＳ３１にて、実積載高さ受信部３１０が受信した情報が示すワークＷの実積載高さからワークＷの１枚分の厚さを減じた最新の実積載高さを求め、メモリ３０１に保存されているワークＷの積載高さをその最新の実積載高さで更新する。
　メモリ３０１に保存されているワークＷの積載高さを更新したら、画像演算処理装置３は、ステップＳ２２以降の処理を繰り返す。ステップＳ２２以降の処理を繰り返して、ステップＳ２２にて有効な分割領域があると判定されなければ（NO）、パレット３０上の全てのワークＷの加工機１０への搬送が完了したということである。画像演算処理装置３は、ステップＳ２２にて有効な分割領域がなければ、ワークＷの検出処理を終了させる。
　以上のように、本実施形態のワーク検出装置は、複数山のワークが配置されている載置場所を撮影した撮影画像を、ワークＷの輪郭が線画像として表現されるように画像処理する前処理部３０２、閉じた線画像によって形成される領域にラベル付けするラベリング処理部３０３を備える。
　本実施形態のワーク検出装置は、ラベリング領域の面積またはラベル付けされたラベリング領域に外接する外接図形の面積を算出する面積算出部３０４を備える。本実施形態のワーク検出装置は、算出された面積に基づいてワークＷが存在するラベリング領域を登録するラベリング領域登録部３０５、ラベリング領域を含む分割領域の位置を示す分割領域情報を生成する分割領域情報生成部３０６を備える。
　本実施形態のワーク検出方法は、複数山のワークが配置されている載置場所を撮影した撮影画像の取得処理、ワークＷの輪郭を線画像として表現する画像処理を実行する。本実施形態のワーク検出方法は、閉じた線画像によって形成される領域にラベル付けするラベリング処理、ラベリング領域またはラベリング領域に外接する外接図形の面積の算出処理を実行する。本実施形態のワーク検出方法は、算出された面積に基づいてワークＷが存在するラベリング領域を登録する登録処理、ラベリング領域を含む分割領域の位置を示す分割領域情報の生成処理を実行する。
　よって、本実施形態のワーク検出装置及び方法によれば、複数山のワークＷを載置場所に配置するときの載置場所上の位置にかかわらず、複数山のワークＷそれぞれを的確に検出することができる。本実施形態のワーク検出装置及び方法によれば、ワークＷの山を載置場所に配置するときに位置が制約されないので、作業者がワークＷの山を載置場所に配置する段取り作業の作業効率を向上させることができる。
　本実施形態のワーク検出装置及び方法によれば、ワークＷの山を載置場所に多く配置することが可能となるので、ワークＷを加工機１０に搬送して加工して製品を生産する連続的な生産数を増やすことができる。載置場所としてのパレット３０を交換する頻度を少なくすることができるから、生産効率を向上させることができる。
　さらに、本実施形態のワーク検出装置は、分割領域それぞれでワークＷの有無を検出するワーク有無検出部３０７、分割領域それぞれのワークＷの積載高さを検出する積載高さ検出部３０８を備える。本実施形態のワーク検出装置は、積載高さ最大分割領域に対応するパレット３０上の位置を示す位置情報をロボット制御装置５に送信する位置情報送信部３０９を備える。
　本実施形態のワーク検出方法は、分割領域それぞれでワークＷの有無を検出する検出処理、分割領域それぞれのワークＷの積載高さを検出する検出処理を実行する。本実施形態のワーク検出方法は、積載高さ最大分割領域を抽出する抽出処理、積載高さ最大分割領域に対応するパレット３０上の位置を示す位置情報をロボット制御装置５に送信する送信処理を実行する。
　よって、本実施形態のワーク検出装置及び方法によれば、ワーク保持用ロボット２０が積載高さ最大分割領域のワークＷを保持するよう、ロボット制御装置５がワーク保持用ロボット２０を制御することができる。ワーク保持用ロボット２０が積載高さ最大分割領域のワークＷを保持すれば、ワーク保持用ロボット２０が誤って他の分割領域のワークＷの山に接触することなく加工機１０へと搬送することができる。
　さらにまた、本実施形態のワーク検出装置は、ワークＷの実積載高さを示す情報を受信する実積載高さ受信部３１０、積載高さ最大分割領域のワークＷの積載高さを、最新の実積載高さで更新する積載高さ更新部３１１を備える。
　本実施形態のワーク検出方法は、ワークＷの実積載高さを示す情報を受信する受信処理、実積載高さを示す情報に基づいて最新の実積載高さを求める算出処理、積載高さ最大分割領域のワークＷの積載高さを、最新の実積載高さで更新する更新処理を実行する。
　よって、本実施形態のワーク検出装置及び方法によれば、ワーク保持用ロボット２０によって最上部のワークＷが搬出された山の積載高さを最新の高さとすることができる。本実施形態のワーク検出装置及び方法によれば、ワークＷの積載高さを実積載高さに基づいて正確な高さとすることができる。
　本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
　本実施形態においては、ワーク検出装置の大方の構成を画像演算処理装置３によるソフトウェアによって構成しているが、ハードウェアによって構成してもよく、ソフトウェアとハードウェアとが混在した構成としてもよい。ソフトウェアとハードウェアとの使い分けは任意である。ハードウェアは集積回路であってもよい。
　本願の開示は、２０１７年１月２５日に出願された特願２０１７－０１０８９４号に記載の主題と関連しており、それらの全ての開示内容は引用によりここに援用される。
　既に述べられたもの以外に、本発明の新規かつ有利な特徴から外れることなく、上記の実施形態に様々な修正や変更を加えてもよいことに注意すべきである。従って、そのような全ての修正や変更は、添付の請求の範囲に含まれることが意図されている。

Claims (6)

  1. 　複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を、前記ワークの輪郭が線画像として表現されるように画像処理する前処理部と、
    　前記前処理部によって画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けするラベリング処理部と、
    　前記ラベリング処理部によってラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出する面積算出部と、
    　前記面積算出部によって算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録するラベリング領域登録部と、
    　前記載置場所の全体的な撮像画像内に、前記ラベリング領域登録部によって登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成する分割領域情報生成部と、
    　を備えることを特徴とするワーク検出装置。
  2. 　前記前処理部によって画像処理された撮影画像における前記分割領域情報が示す前記分割領域それぞれでワークの有無を検出するワーク有無検出部と、
    　前記ワーク有無検出部によってワークがあると検出された前記分割領域それぞれのワークの積載高さを前記ワークの撮影画像に基づいて検出して、メモリに保持させる積載高さ検出部と、
    　複数の前記分割領域のうち、前記積載高さ検出部によってワークの積載高さが最大であると検出された積載高さ最大分割領域を抽出して、前記積載高さ最大分割領域のワークをワーク保持用ロボットによって保持させるために、前記積載高さ最大分割領域に対応する前記載置場所上の位置を示す位置情報を、前記ワーク保持用ロボットを制御するロボット制御装置に送信する位置情報送信部と、
    　をさらに備えることを特徴とする請求項１に記載のワーク検出装置。
  3. 　前記ワーク保持用ロボットが前記積載高さ最大分割領域のワークを保持するときに検出したワークの実積載高さを示す情報を受信する実積載高さ受信部と、
    　前記実積載高さ受信部が受信した前記実積載高さを示す情報に基づいて前記積載高さ最大分割領域の最上部のワークを除いた最新の実積載高さを求め、前記積載高さ検出部によって検出されて前記メモリに保持されている前記積載高さ最大分割領域のワークの積載高さを、前記最新の実積載高さで更新する積載高さ更新部と、
    　をさらに備えることを特徴とする請求項２に記載のワーク検出装置。
  4. 　複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を取得し、
    　前記撮影画像を前記ワークの輪郭が線画像として表現されるように画像処理し、
    　画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けし、
    　ラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出し、
    　算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録し、
    　前記載置場所の全体的な撮像画像内に、登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成する
    　ことを特徴とするワーク検出方法。
  5. 　画像処理された撮影画像における前記分割領域情報が示す前記分割領域それぞれでワークの有無を検出し、
    　ワークがあると検出された前記分割領域それぞれのワークの積載高さを前記ワークの撮影画像に基づいて検出してメモリに保持させ、
    　複数の前記分割領域のうち、ワークの積載高さが最大であると検出された積載高さ最大分割領域を抽出し、
    　前記積載高さ最大分割領域のワークをワーク保持用ロボットによって保持させるために、前記積載高さ最大分割領域に対応する前記載置場所上の位置を示す位置情報を、前記ワーク保持用ロボットを制御するロボット制御装置に送信する
    　ことを特徴とする請求項４に記載のワーク検出方法。
  6. 　前記ワーク保持用ロボットが前記積載高さ最大分割領域のワークを保持するときに検出したワークの実積載高さを示す情報を受信し、
    　受信した前記実積載高さを示す情報に基づいて前記積載高さ最大分割領域の最上部のワークを除いた最新の実積載高さを求め、
    　前記メモリに保持されている前記積載高さ最大分割領域のワークの積載高さを、前記最新の実積載高さで更新する
    　ことを特徴とする請求項５に記載のワーク検出方法。
PCT/JP2017/042141 2017-01-25 2017-11-24 ワーク検出装置及び方法 WO2018139026A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-010894 2017-01-25
JP2017010894A JP2018120388A (ja) 2017-01-25 2017-01-25 ワーク検出装置及び方法

Publications (1)

Publication Number Publication Date
WO2018139026A1 true WO2018139026A1 (ja) 2018-08-02

Family

ID=62978168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042141 WO2018139026A1 (ja) 2017-01-25 2017-11-24 ワーク検出装置及び方法

Country Status (2)

Country Link
JP (1) JP2018120388A (ja)
WO (1) WO2018139026A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796082A (zh) * 2019-10-29 2020-02-14 上海眼控科技股份有限公司 铭牌文本检测方法、装置、计算机设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243053B2 (ja) 2018-06-26 2023-03-22 セイコーエプソン株式会社 液体吐出装置および液体吐出方法
JP6784361B1 (ja) 2019-06-12 2020-11-11 株式会社アマダ ワーク検出装置及びワーク検出方法
JP7269864B2 (ja) * 2019-10-21 2023-05-09 株式会社アマダ ワーク撮影画像処理装置及びワーク撮影画像処理方法
JP2021183349A (ja) 2020-05-22 2021-12-02 株式会社アマダ 曲げ加工システム及びその使用方法
JP2022071491A (ja) 2020-10-28 2022-05-16 株式会社アマダ ワーク搬送システム及びワーク搬送方法
JP2022120663A (ja) * 2021-02-05 2022-08-18 株式会社アマダ 装置判別システム、装置判別方法及び装置判別プログラム
JP2023069004A (ja) 2021-11-04 2023-05-18 株式会社アマダ ワーク供給システム、ワーク供給方法及びワーク供給プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60218164A (ja) * 1984-04-13 1985-10-31 Toshiba Corp 画像処理装置
WO1996030169A1 (fr) * 1995-03-31 1996-10-03 Toyo Kohan Co., Ltd. Robot de manutention ainsi que son procede
JP2002046865A (ja) * 2000-08-02 2002-02-12 Murata Mach Ltd ワークピッキング装置
JP2003148914A (ja) * 2001-11-08 2003-05-21 Fanuc Ltd 位置検出装置及び位置検出を利用した取出し装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60218164A (ja) * 1984-04-13 1985-10-31 Toshiba Corp 画像処理装置
WO1996030169A1 (fr) * 1995-03-31 1996-10-03 Toyo Kohan Co., Ltd. Robot de manutention ainsi que son procede
JP2002046865A (ja) * 2000-08-02 2002-02-12 Murata Mach Ltd ワークピッキング装置
JP2003148914A (ja) * 2001-11-08 2003-05-21 Fanuc Ltd 位置検出装置及び位置検出を利用した取出し装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796082A (zh) * 2019-10-29 2020-02-14 上海眼控科技股份有限公司 铭牌文本检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP2018120388A (ja) 2018-08-02

Similar Documents

Publication Publication Date Title
WO2018139026A1 (ja) ワーク検出装置及び方法
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
JP5923371B2 (ja) ワーク搬送システム
CN100447525C (zh) 影像测量仪的测量方法
EP3141330B1 (en) Welding machine and control method therefor
CN108290286A (zh) 用于教导工业机器人拾取零件的方法
US20080082213A1 (en) Workpiece picking apparatus
US20170105490A1 (en) Three-dimensional measurement system for marked line for adhering sole to upper and three-dimensional measurement method therefor
CN113891775A (zh) 用于提供板块规划几何数据的方法、用于切出工件的方法和平面激光机床
US20220335642A1 (en) Workpiece detection device and workpiece detection method
JP2019192248A (ja) 物体の連続的な画像をつなぎ合わせるためのシステムおよび方法
EP3910593A1 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
JP2016147330A (ja) 物体認識に基づく制御装置
WO2011074246A1 (ja) 布製品識別装置および布製品把持システム
JP6795512B2 (ja) 部品実装機
US20190278991A1 (en) Control apparatus, robot system, and method of detecting object
JP6697510B2 (ja) ロボットシステム
JP6413648B2 (ja) 計測システム、物体取出システム、計測方法およびプログラム
JP2010071942A (ja) 物体検出装置
US20220184731A1 (en) Sheet metal working system, laser machining apparatus, sheet metal working method, and machining region setting program for laser machining
JP6706695B2 (ja) 座標データ生成装置及び座標データ生成方法
JP2020146773A (ja) ハンドリング装置およびロボット装置
JP5288960B2 (ja) 表面実装機におけるノズル交換装置のノズル有無検出方法及び装置
US11717970B2 (en) Controller, control method using controller, and control system
KR20220147443A (ko) 임의 지지된 소부재 자동용접 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17893700

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17893700

Country of ref document: EP

Kind code of ref document: A1