WO2016158282A1 - 電線群加工用の画像取得システム - Google Patents

電線群加工用の画像取得システム Download PDF

Info

Publication number
WO2016158282A1
WO2016158282A1 PCT/JP2016/057514 JP2016057514W WO2016158282A1 WO 2016158282 A1 WO2016158282 A1 WO 2016158282A1 JP 2016057514 W JP2016057514 W JP 2016057514W WO 2016158282 A1 WO2016158282 A1 WO 2016158282A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
electric wire
wire group
image data
vision system
Prior art date
Application number
PCT/JP2016/057514
Other languages
English (en)
French (fr)
Inventor
大江　聡
Original Assignee
株式会社オートネットワーク技術研究所
住友電装株式会社
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オートネットワーク技術研究所, 住友電装株式会社, 住友電気工業株式会社 filed Critical 株式会社オートネットワーク技術研究所
Priority to US15/562,963 priority Critical patent/US20180215046A1/en
Priority to CN201680017035.3A priority patent/CN107408429A/zh
Publication of WO2016158282A1 publication Critical patent/WO2016158282A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01B—CABLES; CONDUCTORS; INSULATORS; SELECTION OF MATERIALS FOR THEIR CONDUCTIVE, INSULATING OR DIELECTRIC PROPERTIES
    • H01B13/00—Apparatus or processes specially adapted for manufacturing conductors or cables
    • H01B13/012—Apparatus or processes specially adapted for manufacturing conductors or cables for manufacturing wire harnesses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • This invention relates to a technique for recognizing an electric wire group when manufacturing a wire harness.
  • Patent Document 1 discloses a method of manufacturing a wire harness by laying a plurality of electric wires in a state corresponding to a wiring route in a vehicle and bundling them in a form corresponding to the wiring route on this drawing board. Is disclosed.
  • Patent Document 2 discloses a technique for recognizing a component supplied in bulk to a component supply unit using a 3D vision sensor and recognizing the position and orientation of the component placed on a temporary placement table using a 2D vision sensor. . Patent Document 2 also discloses a technology for enabling a 3D vision sensor function when the 2D vision sensor includes a 3D vision sensor function and cannot recognize the position and orientation of a component installed at a specific position on a temporary table. Disclosure.
  • a wire harness is manufactured by binding electric wires manually on a drawing board. It is preferable that such a wire harness can be automatically manufactured using a robot or the like. For that purpose, it is necessary to image-recognize the electric wire group which comprises a wire harness.
  • the electric wire that constitutes the wire harness is a long product of several meters, and is an indeterminate shape. For this reason, it is necessary to recognize an electric wire group over a comparatively wide range. Further, in order to bind the electric wires together, detailed recognition is required, for example, by recognizing the position of the electric wire or the three-dimensional position in units of cm or mm.
  • a camera capable of recognizing a wide range is not suitable for position recognition in cm units or mm units or three-dimensional position recognition. Further, a camera capable of recognizing a position in units of cm or mm or a camera capable of recognizing a three-dimensional position is not suitable for recognizing a wide range.
  • this invention aims at providing the technique suitable for recognizing the electric wire group which comprises a wire harness entirely, and recognizing the electric wire group partially in detail. To do.
  • the first aspect is an image acquisition system for processing an electric wire group for recognizing the electric wire group constituting the wire harness, and the electric wire group constituting the wire harness has a first imaging range.
  • the second aspect is an image acquisition system for processing an electric wire group according to the first aspect, and the second vision system is a three-dimensional vision system.
  • a third aspect is an image acquisition system for processing an electric wire group according to the second aspect, wherein the second vision system includes a phase modulation type projection light source and a stereo camera, and is three-dimensional by an active triangulation method.
  • the system acquires point cloud data.
  • a fourth aspect is an image acquisition system for processing an electric wire group according to any one of the first to third aspects, wherein the second vision system includes a camera, and the camera includes the wire harness. It is attached to a robot arm of a processing robot that performs processing on the electric wire group to be configured.
  • a fifth aspect is an image acquisition system for processing an electric wire group according to any one of the first to fourth aspects, and the first vision system is a two-dimensional vision system.
  • the first vision system can appropriately recognize the electric wire group constituting the wire harness as a whole.
  • the second vision system can recognize the wire group partially and appropriately in detail.
  • the electric wire group when the electric wire group is partially recognized, it can be recognized three-dimensionally.
  • the electric wire group can be partially and appropriately recognized in detail by the second vision system.
  • the portion of the electric wire group that is the processing destination can be recognized in detail.
  • FIG. 1 is a schematic view showing an electric wire group processing apparatus 20 including an image acquisition system 50 for electric wire group processing
  • FIG. 2 is a block diagram of the electric wire group processing apparatus 20.
  • the wire harness 10 to be processed has a configuration in which a plurality of electric wires 12 are bundled while being branched (see FIG. 10).
  • a terminal attached to the end of the electric wire 12 is inserted and connected to the connector 14.
  • each connector 14 is connected to various electrical components mounted on the vehicle.
  • the wire harness 10 plays the role which electrically connects the various electrical components mounted in the vehicle.
  • the electric wires 12 included in the wire harness 10 are bundled while being branched in a form corresponding to a laying route in the vehicle.
  • This electric wire group processing apparatus 20 performs the operation
  • route is drawn with one line. For this reason, in each figure, the electric wire 12 drawn with one line may actually be a bundle of a plurality of electric wires 12.
  • the electric wire group processing apparatus 20 includes an electric wire support unit 22, a processing robot 30, a processing control unit 40, and an image acquisition system 50.
  • the wire support portion 22 is configured to be able to support the connector 14 at the end of the wire 12. That is, the plurality of electric wires 12 are supported by the electric wire support portion 22 in a state where the terminals at each end are inserted into the connector 14.
  • the automatic insertion device itself that automatically inserts the terminals of the end portions of the plurality of electric wires 12 into the connector 14 is a known technique, but the insertion operation may be performed manually.
  • the wire support portion 22 includes a base plate 24 and a connector support portion 26.
  • the base plate 24 is formed in a rectangular plate shape and is supported in a vertical posture along the direction of gravity. With the base plate 24 as a background, the work surface of the base plate 24 has a uniform color different from that of the electric wire 12 so that the image of the electric wire 12 on the work surface which is one main surface thereof can be easily recognized. It is preferable. However, it is not essential that the base plate 24 is provided.
  • the connector support portion 26 is configured to be able to support the plurality of connectors 14 at a fixed position.
  • the connector support portion 26 for example, a long member having a plurality of connector set recesses formed at intervals along the extending direction thereof can be used.
  • the connector support portion 26 is fixed at a position above the work surface of the base plate 24.
  • the connector set concave portion is formed in a concave shape in which the connector 14 can be fitted and set.
  • the connector 14 is fitted in the connector set recess and supported at a fixed position in a posture in which the end on the side where the electric wire 12 extends is directed downward.
  • the electric wire 12 extending from the connector 14 is disposed so as to hang downward from the connector 14 supported at a fixed position by the connector support portion 26.
  • the electric wire 12 are preferably present in a region where the work surface of the base plate 24 exists.
  • the processing robot 30 is a general industrial robot, and a general vertical articulated robot is illustrated in FIG.
  • the processing robot 30 includes a robot arm 32 and a processing operation unit 34 provided at the tip of the robot arm 32.
  • the robot arm 32 has a structure in which a plurality of arm portions are connected to be rotatable around an axis via a joint mechanism, and a processing work portion 34 is provided at a tip portion thereof.
  • the machining robot 30 can move the machining work unit 34 to any position on the work surface of the base plate 24 in any posture by operating the robot arm 32.
  • the processing work part 34 is a part for processing the electric wire 12 group.
  • a predetermined position in the extending direction of the electric wires 12 is gathered at a certain position (bundling intermediate positions in the extending direction of the plural electric wires 12), and the plural electric wires 12 are bound. (For example, winding an adhesive tape) or the like is assumed.
  • a known robot hand that can grasp and move the electric wire 12 to a certain position or grasp the plural electric wires 12 in a gathering manner is used as the processing operation unit 34. Can do.
  • a well-known automatic tape winding machine can be used as the processing working unit 34.
  • a plurality of processing robots 30 may be provided, or a plurality of processing operation units 34 may be attached to the distal end portion of the robot arm 32 in a state of being relatively movable. .
  • the processing robot may be a rectangular coordinate robot or the like in addition to the vertical articulated robot.
  • a process work part is suitably changed according to the operation
  • the machining control unit 40 is configured by a general computer including a CPU, a RAM, a ROM, an input circuit unit, and the like.
  • the ROM is configured by a rewritable nonvolatile semiconductor memory such as a flash memory, and based on the image data acquired by the image acquisition system 50, the position and orientation of the processing target area, the processing target (wire 12 group), and the like.
  • the program for describing the procedure for determining the processing, the processing procedure for the electric wire 12 group, the processing content, and the like are stored. And processing which gives various instructions to processing robot 30 to perform various processing to electric wire 12 group based on image data acquired by image acquisition system 50, when CPU runs a program stored in ROM. Execute.
  • the image acquisition system 50 is a system for acquiring image data for recognizing the group of electric wires 12 constituting the wire harness 10, and includes a two-dimensional vision system 60 as a first vision system and a second vision system. 3D vision system 70.
  • the 2D vision system 60 is configured to be able to acquire first image data D1 for recognizing the group of electric wires 12 constituting the wire harness 10 in the first imaging range R1 (see FIG. 5).
  • the two-dimensional vision system 60 includes a two-dimensional camera 62.
  • the two-dimensional camera 62 is supported at a position away from the work surface of the base plate 24 by the camera support member 64, and all of the electric wires 12 are expected to be disposed on the work surface of the base plate 24.
  • This region is arranged as a first imaging range R1 so that imaging is possible.
  • the first image data D1 obtained by the two-dimensional vision system 60 is given to the processing control unit 40.
  • the two-dimensional vision system 60 includes a plurality of two-dimensional cameras that can partially image the first imaging range R1, and the first imaging is performed by combining images captured by the plurality of two-dimensional cameras.
  • the first image data D1 in the range R1 may be obtained.
  • the two-dimensional vision system 60 includes one two-dimensional camera that can partially image the first imaging range R1, and includes a moving mechanism unit that can move and drive the two-dimensional camera.
  • a plurality of images obtained by partially capturing the first imaging range R1 may be obtained by moving the camera, and the first image data D1 of the first imaging range R1 may be obtained by combining the plurality of images.
  • a three-dimensional vision system that acquires three-dimensional image data may be used as the first vision system.
  • the three-dimensional vision system 70 includes a group of electric wires 12 constituting the wire harness 10 in a second imaging range R2 that overlaps the first imaging range R1 and is smaller than the first imaging range R1, and per unit area.
  • the second image data D2 having a larger amount of information than the first image data D1 can be acquired (see FIGS. 5 and 6).
  • the 3D vision system 70 includes a stereo camera 72 including a plurality of cameras and a 3D image processing unit 76.
  • the imaging range by the stereo camera 72 is smaller than the first imaging range R1.
  • the stereo camera 72 is attached to the tip of the robot arm 32 of the processing robot 30 so as not to interfere with the processing work unit 34. For this reason, the stereo camera 72 can image the electric wire 12 group in the second imaging range R2 that is an area overlapping the first imaging range R1 and is smaller than the first imaging range R1.
  • the stereo camera 72 may be arranged so as to be movable above the base plate 24 by a moving mechanism unit different from the processing robot 30.
  • the stereo camera 72 images the second imaging range R2 from different directions, and outputs the image data obtained thereby to the three-dimensional image processing unit 76.
  • the three-dimensional image processing unit 76 is configured by a general computer including a CPU, a RAM, a ROM, an input circuit unit, and the like.
  • the ROM is configured by a rewritable nonvolatile semiconductor memory or the like such as a flash memory, and based on a plurality of image data obtained by imaging the second imaging range R2 from different directions, the three-dimensional of the group of electric wires 12 to be processed.
  • a program or the like describing a procedure for generating data (point cloud data) as the second image data D2 is stored.
  • the second image data D2 obtained by the three-dimensional image processing unit 76 is output to the processing control unit 40.
  • processing for creating three-dimensional data based on the image of the stereo camera 174 various known processing for generating three-dimensional point cloud data based on the principle of triangulation based on a plurality of image data from different positions is adopted. be able to.
  • the stereo camera 72 is not necessarily provided with a plurality of cameras, and a plurality of image data from different directions may be obtained by moving one camera.
  • the second image data D2 which is the three-dimensional data, is data having a larger amount of information per unit area than the first image data D1.
  • the information amount per unit area refers to the wire 12 when the wire 12 group supported by the wire support portion 22 is observed from a certain direction (here, observed from above the base plate 24).
  • the amount of information used to represent a group For example, the following two cases are assumed. First, as described in the present embodiment, the first vision system acquires 2D image data as the first image data D1, and the second vision system acquires 3D image data as the second image data D2. This is the case.
  • the first vision system acquires two-dimensional image data or three-dimensional image data as the first image data D1, and the second vision system uses the same dimension 2 as the first image data D1 as the second image data D2. Even when acquiring the three-dimensional image data or the three-dimensional image data, the latter second image data D2 has a higher resolution (resolution) than the former first image data D1.
  • FIG. 3 is a flowchart showing an example of processing of the processing control unit 40 based on the first image data D1 and the second image data D2 from the image acquisition system 50.
  • step S ⁇ b> 1 the processing control unit 40 acquires the first image data D ⁇ b> 1 of the first imaging range R ⁇ b> 1 including the entire group of electric wires 12 through the two-dimensional vision system 60.
  • the processing control unit 40 performs image processing such as edge extraction processing on the first image data D1 to recognize the position of the electric wire 12 group and the processing target region (second imaging range R2). To decide. In this case, since the region to be processed may be determined at an approximate position, the accuracy of determining the region is not so required.
  • the processing control unit 40 acquires the second image data D2 of the second imaging range R2 through the three-dimensional vision system 70.
  • the processing control unit 40 recognizes the position, orientation, and the like of the processing target in the second imaging range R2 based on the second image data D2, and determines the processing robot 30 based on the recognition result. Give processing instructions.
  • a processing instruction designating an accurate position or the like can be performed to the processing robot 30.
  • the processing robot 30 performs processing on the electric wire 12 group.
  • next step S5 the machining control unit 40 determines whether or not all machining defined in the program has been completed. If the processing has not been completed (for example, when the next processing at another place is defined), the process returns to step S1 and the processes after step S1 are performed again.
  • the processing control unit 40 acquires the first image data D1 of the first imaging range R1 through the two-dimensional vision system 60 again. That is, since the electric wire 12 is a long and indefinite shape, if processing is performed at one place on the electric wire 12 group, the position and orientation of other portions may be changed. Therefore, when processing the next different place, the processing from step S1 is performed again to specify the processing position of the next different place. Thereby, according to the position fluctuation
  • step S5 If it is determined in step S5 that the machining has been completed, the process is terminated.
  • the connector 14 connected to the end of the group of wires 12 is supported by the connector support portion 26 of the wire support portion 22.
  • the electric wires 12 between the connectors 14 are suspended in a U shape on the base plate 24.
  • the two-dimensional vision system 60 obtains the first image data D1 of the first imaging range R1 including the group of electric wires 12 as shown in FIG.
  • the obtained first image data D1 includes a group of electric wires 12 that hang downward in a U shape starting from the connector 14.
  • the first image data D1 is subjected to image processing such as edge extraction processing to recognize the electric wire 12, and the predetermined wire among the electric wires 12 extending from the first connector 14 from the left and the second connector 14 from the left. What is necessary is just to determine 2nd imaging range R2 so that the part which exists in a dimension may be included. Thereby, the processing target region (second imaging range R2) can be determined within the first imaging range R1.
  • recognition processing such as edge extraction processing on the first image data D1 is configured by a two-dimensional image processing unit provided outside the processing control unit 40 and between the processing control unit 40 and the two-dimensional camera 62. May be. In this case, the configuration including the two-dimensional camera 62 and the two-dimensional image processing unit may be regarded as a two-dimensional vision system.
  • the stereo camera 72 is moved by the robot arm 32 of the processing robot 30, and the stereo camera 72 is disposed at a position where the second imaging range R2 can be imaged. Then, as shown in FIG. 6, the second image data D2 of the second imaging range R2 is acquired by the three-dimensional vision system 70 including the stereo camera 72.
  • each position is a place to be bundled as a branch point. Since the second image data D2 is three-dimensional data, the position of the electric wire 12 including the height position of the electric wire 12 from the base plate 24 can be specified. Then, the processing robot 30 is instructed to collect the positions of the electric wires 12 in one place. In this case, you may make it gather the said each position of each electric wire 12 in one place with a separate robot hand. Alternatively, a plurality of electric wires 12 may be gathered at one place by a single robot hand. Even in the latter case, by adjusting the support position of the connector 14 so that each position of each electric wire 12 is located in one place, and by gathering each electric wire 12 while pulling from the connector 14, Each said position of each electric wire 12 can be gathered in one place.
  • the electric wires 12 extending from the above-mentioned positions where the electric wires 12 are bundled are bound. That is, since the position where the electric wires 12 are bundled at one place is a known position moved by the robot hand, a portion extending from the position to the connectors 14 and 14 and a portion extending below the portion. Unite. As described above, the bundling operation can be performed by an automatic tape winding machine attached to the robot arm 32 or the like.
  • the position of the electric wire 12 and the like is different from when the entire image is captured. Therefore, the second image data D2 is acquired again through the three-dimensional vision system 70, and the second image data D2 is used. It is preferable to specify the processing position again.
  • the state after processing is as shown in FIG.
  • the branch point is indicated by a square drawn by a two-dot chain line
  • the binding portion is indicated by a circle drawn by a two-dot chain line.
  • the plurality of electric wires 12 extending from the remaining connectors 14 are also bundled in the same manner as described above.
  • the plurality of electric wires 12 extending from the third connector 14 and the fourth connector 14 from the left are bundled at a predetermined position, and the fifth connector 14 from the left and the sixth connector 14 from the left are connected.
  • the plurality of electric wires 12 extending from are bundled at a predetermined position.
  • the plurality of electric wires 12 extending from each connector 14 are in a state of being bundled at a branch point close to each connector 14.
  • the plurality of electric wires 12 are bundled between the branch points so far.
  • an operation of bundling a plurality of electric wires 12 is performed on a trunk line in which a plurality of electric wires 12 are bundled.
  • the first image data D1 is acquired through the two-dimensional vision system 60, and image processing such as edge extraction processing is performed on the first image data D1 to recognize the electric wire 12, and the next processing content ( Depending on which branch location the electric wire 12 is bound to, etc.), a portion within a certain dimension is included among the plurality of branch locations or the electric wire 12 extending from any branch location Thus, the second imaging range R2 is determined.
  • the stereo camera 72 is moved by the robot arm 32 of the processing robot 30, and the stereo camera 72 is disposed at a position where the second imaging range R2 can be imaged. Then, as shown in FIG. 9, the second image data D2 of the second imaging range R2 is acquired by the three-dimensional vision system 70 including the stereo camera 72.
  • the branch position (the branch position itself is a known position or specified as the position where the electric wires 12 are gathered from a plurality of directions in the second image data D2) is used as a reference.
  • the path of each electric wire 12 is traced, and the position (the position circled in FIG. 6) that is separated from the branching position in any direction by the predetermined dimension is specified.
  • Each position is a place to be bundled on the main line.
  • indication is given so that the part of the said position of the electric wire 12 may be collected in one place by the processing robot 30.
  • the plurality of electric wires 12 are bundled between the branch positions, as shown in the first image data D1 of the first imaging range R1 in FIG. 10, the plurality of electric wires 12 are bundled while being branched at a plurality of positions.
  • the wire harness 10 can be manufactured.
  • the exterior of the wire harness 10 such as a clamp part for fixing the wire harness 10 to the vehicle by the processing robot 30 or manual operation, a protector for protecting the wire harness 10, and a corrugated tube. Parts may be attached.
  • the first image data D1 obtained by imaging the electric wire 12 group constituting the wire harness 10 is obtained by the two-dimensional vision system 60 that is the first vision system. be able to. For this reason, when performing processing using the processing robot 30, a configuration suitable for grasping the general shape of the wire harness 10, the approximate position of the processing target, and the like can be achieved. Further, the second image data D2 having a large amount of information per unit area can be obtained by the three-dimensional vision system 70 which is the second vision system. For this reason, when performing processing using the processing robot 30, the group of electric wires 12 can be partially recognized in detail. For example, the processing robot 30 can process the group of the electric wires 12 by recognizing the position of the electric wires 12 in units of cm or mm, or in a three-dimensional manner.
  • the wire 12 group can be recognized three-dimensionally and the wire 12 can be processed, so that the processing robot 30 can perform more appropriate processing.
  • the stereo camera 72 of the three-dimensional vision system 70 is attached to the distal end portion of the robot arm 32, the second imaging range R2 can be imaged while the distal end portion of the robot arm 32 is brought close to the processing target position. . Subsequently, the processing target portion existing in the second imaging range R2 can be processed. For this reason, efficient work becomes possible. k Further, it is possible to pick up an image of the processing target even during the operation by the processing unit 34 attached to the tip of the robot arm 32.
  • the first vision system is the two-dimensional vision system 60, when the first imaging range R1, which is a relatively wide range, that is, when imaging the entire group of wires 12 and performing the recognition process, etc., Rapid processing is possible.
  • the second vision system includes a three-dimensional vision system 170 including a phase modulation projection light source 172, a stereo camera 174, and a three-dimensional image processing unit 176. May be used.
  • the phase modulation type projection light source 172 is configured to be able to project a fringe pattern on an object while changing the phase.
  • Stereo camera 174 includes a plurality of cameras 173 installed at different positions.
  • the phase modulation projection light source 172 is disposed at the center of the frame 180 and projects projection light onto the group of electric wires 12 on the base plate 24.
  • the plurality of cameras 173 are arranged at four positions of the phase modulation type projection light source 172, that is, at the center position of each side of the frame 180, and the electric wires 12 group onto which the projection light is projected on the base plate 24. Can be imaged from different directions.
  • the plurality of cameras 173 capture an image of the object on which the fringe pattern is projected while changing the phase, and this captured image data is provided to the three-dimensional image processing unit 176.
  • the three-dimensional image processing unit 176 generates the three-dimensional specific data (point group data) of the electric wire 12 group as the second image data D2 by the active triangulation method based on the imaging data.
  • the imaging unit 181 in which the phase modulation type projection light source 172 and the stereo camera 174 are incorporated in the frame 180 includes a first direction moving mechanism 192 (see arrow X) and a second direction moving mechanism 194 (on the base plate 24). Is supported by a moving mechanism unit 190 including the arrow Y).
  • the first direction moving mechanism 192 and the second direction moving mechanism 194 are a linear motor, a linear drive mechanism having a screw shaft and a motor that rotationally drives the screw shaft and a nut portion screwed to the screw shaft, or an air A linear actuator such as a cylinder or a hydraulic cylinder is used, and the first direction X and the second direction Y, which are the respective movement driving directions, are arranged in a perpendicular relationship.
  • the phase modulation projection light source 172 and the stereo camera 174 keep their relative positional relationship constant while maintaining their relative positional relationship on the base plate 24. Can be moved vertically and horizontally. As a result, a desired region (second imaging range R2) in the group of electric wires 12 can be imaged by the imaging unit 181.
  • the processing robot 30 and the two-dimensional vision system 60 may be disposed between the imaging unit 181 and the base plate 24 at a position that does not interfere with the imaging unit 181 and the like. Further, the imaging unit 181 may be attached to the tip of the robot arm 32.
  • the electric wire 12 group can be recognized in part more appropriately and in detail.
  • image data before and after the binding process is obtained by the 2D vision system 60 or the 3D vision system 70. Then, it is preferable to obtain a change place of the image data (exclusive OR of pixels or point groups of both image data). As a result, it is possible to narrow down the region including the changed part due to the processing, and to recognize the branch position after the binding, thereby enabling more rapid processing.
  • This process can also be used as a process for assuring that there is no processing (no movement) other than the processing coping location.
  • D1 1st image data D2 2nd image data
  • R1 1st imaging range R2 2nd imaging range 10
  • Wire harness 12 Electric wire 14
  • Connector 20 Electric wire group processing apparatus 22
  • Electric wire support part 26
  • Connector support part 30
  • Processing robot 50 Image acquisition system 60
  • Two-dimensional Vision System 62

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　ワイヤーハーネスを構成する電線群を全体的に認識すること、及び、その電線群を部分的に詳細に認識することを両立することに適した技術を提供することを目的とする。電線群加工用の画像取得システムは、ワイヤーハーネスを構成する電線群を認識するためのシステムである。この画像取得システムは、ワイヤーハーネスを構成する電線群を第１撮像範囲で認識するための第１画像データを取得する第１ビジョンシステム（例えば、２次元ビジョンシステム）と、ワイヤーハーネスを構成する電線群を、第１撮像範囲と重なる領域であって第１撮像範囲よりも小さい第２撮像範囲で、かつ、単位面積当りの情報量が第１画像データよりも多い第２画像データを取得する第２ビジョンシステム（例えば、３次元ビジョンシステム）とを備える。

Description

電線群加工用の画像取得システム
　この発明は、ワイヤーハーネスを製造する際に電線群を認識するための技術に関する。
　特許文献１は、複数の電線を車両における布線経路に応じた状態に布線し、この図板上で前記布線経路に応じた形態に分岐させつつ結束することによってワイヤーハーネスを製造する方法を開示している。
　特許文献２は、３Ｄビジョンセンサによって、部品供給部にバラ積み供給された部品の認識を行い、２Ｄビジョンセンサによって、仮置き台に置かれた部品の位置姿勢を認識する技術を開示している。また、特許文献２は、２Ｄビジョンセンサが３Ｄビジョンセンサ機能を含み、仮置き台上の特定位置に設置された部品の位置姿勢を認識できない場合には、３Ｄビジョンセンサ機能を有効化する技術も開示している。
特開２０１４－３２８４０号公報 特開２０１２－２４５６０２号公報
　特許文献１に開示されているように、ワイヤーハーネスは、図板上で手作業によって電線を結束等することによって製造される。かかるワイヤーハーネスについても、ロボット等を用いて自動的に製造できるようにすることが好ましい。そのためには、ワイヤーハーネスを構成する電線群を画像認識することが必要となる。
　ここで、ワイヤーハーネスを構成する電線は、数メートルの長尺製品であり、しかも、不定形物である。このため、比較的広範囲に亘って電線群を認識する必要がある。また、電線同士を結束作業等するためには、部分的には、ｃｍ単位若しくはｍｍ単位で電線の位置若しくは立体的な位置を認識する等、詳細な認識が必要となる。
　しかしながら、広範囲を認識可能なカメラでは、ｃｍ単位若しくはｍｍ単位での位置認識若しくは立体的な位置認識には向かない。また、ｃｍ単位若しくはｍｍ単位で位置を認識可能なカメラ若しくは立体的な位置認識可能なカメラでは、広範囲を認識することは向かない。
　特許文献２に記載された３Ｄビジョンセンサと２Ｄビジョンセンサとの使い分けでは、上記ワイヤーハーネスを構成する電線群を、全体的に認識すること及び部分的に詳細に認識することを両立することはできない。
　そこで、本発明は、ワイヤーハーネスを構成する電線群を全体的に認識すること、及び、その電線群を部分的に詳細に認識することを両立することに適した技術を提供することを目的とする。
　上記課題を解決するため、第１の態様は、ワイヤーハーネスを構成する電線群を認識するための電線群加工用の画像取得システムであって、前記ワイヤーハーネスを構成する電線群を第１撮像範囲で認識するための第１画像データを取得する第１ビジョンシステムと、前記ワイヤーハーネスを構成する電線群を、前記第１撮像範囲と重なる領域であって前記第１撮像範囲よりも小さい第２撮像範囲で、かつ、単位面積当りの情報量が前記第１画像データよりも多い第２画像データを取得する第２ビジョンシステムとを備える。
　第２の態様は、第１の態様に係る電線群加工用の画像取得システムであって、前記第２ビジョンシステムは、３次元ビジョンシステムとされている。
　第３の態様は、第２の態様に係る電線群加工用の画像取得システムであって、前記第２ビジョンシステムは、位相変調方式プロジェクション光源とステレオカメラとを含み、アクティブ三角測量方式で３次元点群データを取得するシステムとされている。
　第４の態様は、第１～第３のいずれか１つの態様に係る電線群加工用の画像取得システムであって、前記第２ビジョンシステムは、カメラを含み、前記カメラは、前記ワイヤーハーネスを構成する電線群に対する加工を行う加工ロボットのロボットアームに取付けられているものである。
　第５の態様は、第１～第４のいずれか１つの態様に係る電線群加工用の画像取得システムであって、前記第１ビジョンシステムは、２次元ビジョンシステムとされている。
　第１の態様によると、第１ビジョンシステムによってワイヤーハーネスを構成する電線群を全体的に適切に認識することができる。また、第２ビジョンシステムによって、その電線群を部分的に適切に詳細に認識することができる。
　第２の態様によると、電線群を部分的に認識する際には、３次元的に認識できる。
　第３の態様によると、第２ビジョンシステムによって、その電線群を部分的により適切に詳細に認識することができる。
　第４の態様によると、加工ロボットのアームによって電線群に対する加工を行う際に、加工先となる電線群の部分を詳細に認識できる。
　第５の態様によると、第１ビジョンシステムによって、比較的広い第１撮像範囲を認識する際には、比較的迅速な処理が可能となる。
実施形態に係る電線群加工用の画像取得システムを含む電線群加工装置を示す概略図である。 電線群加工装置のブロック図である。 画像取得システムからの第１画像データ及び第２画像データに基づく加工制御部の処理の一例を示すフローチャートである。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 変形例に係る３次元ビジョンシステムを示す概略図である。 ３次元ビジョンシステムをベース板上に支持した状態を示す説明図である。
　以下、実施形態に係る電線群加工用の画像取得システムについて説明する。図１は電線群加工用の画像取得システム５０を含む電線群加工装置２０を示す概略図であり、図２は電線群加工装置２０のブロック図である。
　加工対象となるワイヤーハーネス１０は、複数の電線１２が分岐しつつ結束された構成とされている（図１０参照）。ワイヤーハーネス１０の各分岐先では、電線１２の端部に取付けられた端子がコネクタ１４に挿入接続されている。本ワイヤーハーネス１０が車両に組込まれた状態で、各コネクタ１４が車両に搭載された各種電気部品に接続される。これにより、ワイヤーハーネス１０は、車両に搭載された各種電気部品を電気的に接続する役割を果す。ワイヤーハーネス１０に含まれる電線１２は、車両における敷設経路に応じた形態で分岐されつつ結束される。本電線群加工装置２０は、複数の電線１２を、敷設経路に沿った形態で分岐させつつ結束する作業を行う。なお、各図において、同じ経路を通る電線１２は、１本の線で描かれている。このため、各図において、１本の線で描かれた電線１２は、実際には、複数の電線１２の束であることがあり得る。
　電線群加工装置２０は、電線支持部２２と、加工ロボット３０と、加工制御部４０と、画像取得システム５０とを備える。
　電線支持部２２は、電線１２の端部のコネクタ１４を支持可能に構成されている。すなわち、複数の電線１２は、各端部の端子がコネクタ１４に挿入された状態で、本電線支持部２２によって支持される。複数の電線１２の端部の端子をコネクタ１４に自動的に挿入する自動挿入装置自体は、周知の技術であるが、当該挿入作業は、人手によって行われてもよい。
　より具体的には、電線支持部２２は、ベース板２４と、コネクタ支持部２６とを備える。
　ベース板２４は、ここでは、方形板状に形成されており、重力方向に沿った鉛直姿勢で支持されている。ベース板２４を背景として、その一主面である作業面上にある電線１２を容易に画像認識できるように、ベース板２４の作業面は、電線１２とは異なる一様な色を呈していることが好ましい。もっとも、ベース板２４が設けられていることは必須ではない。
　コネクタ支持部２６は、複数のコネクタ１４を一定位置にて支持可能に構成されている。コネクタ支持部２６としては、例えば、長尺部材に、その延在方向に沿って間隔をあけて複数のコネクタセット凹部が形成されたものを用いることができる。また、ここでは、コネクタ支持部２６は、ベース板２４の作業面の上方位置に固定されている。コネクタセット凹部は、コネクタ１４を嵌め込んでセット可能な凹形状に形成されている。コネクタ１４は、電線１２が延出する側の端部を下方に向けた姿勢で、コネクタセット凹部に嵌め込まれて一定位置に支持される。コネクタ１４から延出する電線１２は、コネクタ支持部２６によって一定位置に支持されたコネクタ１４から下方に垂下がるように配設されることになる。電線１２の両端部の端子は、異なる位置に支持されたコネクタ１４に挿入接続されているため、その間の電線１２は、その２つのコネクタ１４の間でＵ字状に垂下がるように支持される。電線１２は、好ましくは、ベース板２４の作業面が存在する領域内に存在している。
　加工ロボット３０は、一般的な産業用ロボットであり、図１では、一般的な垂直多関節ロボットが図示されている。加工ロボット３０は、ロボットアーム３２と、ロボットアーム３２の先端部に設けられた加工作業部３４とを備える。ロボットアーム３２は、複数のアーム部が関節機構を介して軸周りに回転可能に連結された構成とされており、その先端部に加工作業部３４が設けられている。この加工ロボット３０は、ロボットアーム３２を動作させることによって、加工作業部３４を、ベース板２４の作業面の任意の位置に任意の姿勢で移動させることができる。
　加工作業部３４は、電線１２群に対する加工を行う部分である。ここでは、電線１２群に対する加工として、電線１２の延在方向の所定位置を一定位置に集約させること（複数の電線１２の延在方向中間位置を束ねること）、及び、複数の電線１２を結束すること（例えば、粘着テープを巻付けること）等が想定される。
　前者の加工を行うためには、加工作業部３４として、電線１２を掴んで一定位置に移動させたり、複数の電線１２を寄せ集めるように掴んだりすることが可能な周知のロボットハンドを用いることができる。後者の加工を行うためには、加工作業部３４として、周知のテープ自動巻機を用いることができる。
　複数種の加工作業を行うため、加工ロボット３０が複数備えられてもよいし、或は、ロボットアーム３２の先端部に複数の加工作業部３４が相対移動可能な状態で取付けられていてもよい。
　なお、加工ロボットは、垂直多関節ロボットの他、直角座標型ロボット等であってもよい。また、加工作業部は、電線１２群に対して行われる作業に応じて、適宜変更される。
　加工制御部４０は、ＣＰＵと、ＲＡＭと、ＲＯＭと、入力回路部等を備える一般的なコンピューターによって構成されている。ＲＯＭは、フラッシュメモリ等の書換え可能な不揮発性半導体メモリ等によって構成されており、画像取得システム５０により取得された画像データに基づいて加工対象領域、加工対象（電線１２群）の位置及び姿勢等を決定するための手順、電線１２群に対する加工手順及び加工内容を記述したプログラム等を格納している。そして、ＣＰＵがＲＯＭに格納されたプログラムを実行することにより、画像取得システム５０により取得された画像データに基づいて電線１２群に対する諸加工を行うべく、加工ロボット３０に対して諸指示を与える処理を実行する。
　画像取得システム５０は、上記ワイヤーハーネス１０を構成する電線１２群を認識するための画像データを取得するためのシステムであり、第１ビジョンシステムとしての２次元ビジョンシステム６０と、第２ビジョンシステムとしての３次元ビジョンシステム７０とを備える。
　２次元ビジョンシステム６０は、ワイヤーハーネス１０を構成する電線１２群を第１撮像範囲Ｒ１で認識するための第１画像データＤ１を取得可能に構成されている（図５参照）。
　すなわち、２次元ビジョンシステム６０は、２次元カメラ６２を備える。２次元カメラ６２は、カメラ支持部材６４によって、ベース板２４の作業面から離れた位置に支持されており、ベース板２４の作業面上において電線１２群が配設されることが予想される全ての領域を第１撮像範囲Ｒ１として撮像可能に配設されている。２次元ビジョンシステム６０によって得られた第１画像データＤ１は、加工制御部４０に与えられる。
　なお、２次元ビジョンシステム６０は、第１撮像範囲Ｒ１を部分的に撮像可能な２次元カメラを複数備えており、複数の２次元カメラによって撮像された画像が結合されることによって、第１撮像範囲Ｒ１の第１画像データＤ１が得られてもよい。また、２次元ビジョンシステム６０は、第１撮像範囲Ｒ１を部分的に撮像可能な２次元カメラを１つ備えると共に、当該２次元カメラを移動駆動可能な移動機構部を備えており、この２次元カメラを移動させることによって、第１撮像範囲Ｒ１を部分的に撮像した画像を複数得、この複数の画像を結合することによって、第１撮像範囲Ｒ１の第１画像データＤ１が得られてもよい。また、第１ビジョンシステムとして、３次元画像データを取得する３次元ビジョンシステムが用いられてもよい。
　３次元ビジョンシステム７０は、ワイヤーハーネス１０を構成する電線１２群を、第１撮像範囲Ｒ１と重なる領域であって第１撮像範囲Ｒ１よりも小さい第２撮像範囲Ｒ２で、かつ、単位面積当りの情報量が第１画像データＤ１よりも多い第２画像データＤ２を取得可能に構成されている（図５及び図６参照）。
　ここでは、３次元ビジョンシステム７０は、複数のカメラを含むステレオカメラ７２と、３次元画像処理部７６とを備えている。ステレオカメラ７２による撮像範囲は、上記第１撮像範囲Ｒ１よりも小さい。また、ステレオカメラ７２は、加工ロボット３０のロボットアーム３２の先端部であって加工作業部３４と干渉しない位置に取りつけられている。このため、ステレオカメラ７２は、第１撮像範囲Ｒ１と重なる領域であって第１撮像範囲Ｒ１よりも小さい第２撮像範囲Ｒ２で、電線１２群を撮像することができる。
　なお、ステレオカメラ７２は、加工ロボット３０とは別の移動機構部によってベース板２４の上方を移動可能に配設されていてもよい。
　ステレオカメラ７２は、第２撮像範囲Ｒ２を異なる方向から撮像し、これにより得られた画像データを３次元画像処理部７６に出力する。３次元画像処理部７６は、ＣＰＵと、ＲＡＭと、ＲＯＭと、入力回路部等を備える一般的なコンピューターによって構成されている。ＲＯＭは、フラッシュメモリ等の書換え可能な不揮発性半導体メモリ等によって構成されており、第２撮像範囲Ｒ２を異なる方向から撮像した複数の画像データに基づいて、加工対象である電線１２群の３次元データ（点群データ）を第２画像データＤ２として生成する手順を記述したプログラム等を格納している。そして、この３次元画像処理部７６により得られた第２画像データＤ２が加工制御部４０に出力される。ステレオカメラ１７４の画像に基づいて３次元データを作成する処理としては、異なる位置からの複数の画像データに基づき、３角測量の原理によって３次元点群データを生成する周知の各種処理を採用することができる。なお、ステレオカメラ７２は、必ずしも複数のカメラを備えている必要はなく、１つのカメラを移動させることによって、異なる方向からの複数の画像データを得るようにしてもよい。
　上記３次元データである第２画像データＤ２は、上記第１画像データＤ１よりも、単位面積当りの情報量が多いデータである。ここで、単位面積当りの情報量とは、電線支持部２２によって支持された電線１２群を一定方向から見た観察した場合（ここでは、ベース板２４の上方から観察した場合）において、電線１２群を表すための情報量をいう。これには、例えば、次の２つの場合が想定される。１つ目は、本実施形態で説明するように、第１ビジョンシステムが第１画像データＤ１として２次元画像データを取得し、第２ビジョンシステムが第２画像データＤ２として３次元画像データを取得する場合である。２つ目は、第１ビジョンシステムが第１画像データＤ１として２次元画像データ又は３次元画像データを取得し、第２ビジョンシステムが第２画像データＤ２として第１画像データＤ１と同じ次元の２次元画像データ又は３次元画像データを取得する場合であっても、後者の第２画像データＤ２が前者の第１画像データＤ１よりも分解能（解像度）が高い場合である。
　図３は、画像取得システム５０からの第１画像データＤ１及び第２画像データＤ２に基づく加工制御部４０の処理の一例を示すフローチャートである。
　まず、ステップＳ１において、加工制御部４０は、２次元ビジョンシステム６０を通じて、電線１２群の全体を含む第１撮像範囲Ｒ１の第１画像データＤ１を取得する。
　次ステップＳ２において、加工制御部４０は、当該第１画像データＤ１に対してエッジ抽出処理等の画像処理を行って電線１２群の位置等を認識し、加工対象領域（第２撮像範囲Ｒ２）を決定する。この際の加工対象領域の決定は、おおよその位置でよいため、領域決定の正確性はそれ程要求されない。
　次ステップＳ３において、加工制御部４０は、３次元ビジョンシステム７０を通じて、第２撮像範囲Ｒ２の第２画像データＤ２を取得する。
　次ステップＳ４では、加工制御部４０は、第２画像データＤ２に基づいて、第２撮像範囲Ｒ２における加工対象の位置、姿勢等を認識し、当該認識結果に基づいて、加工ロボット３０に対して加工指示を与える。この際、より情報量が多い第２画像データＤ２に基づいて加工対象の位置、姿勢等を認識できるため、加工ロボット３０に対して正確な位置等を指定した加工指示を行える。これにより、加工ロボット３０が電線１２群に対する加工を実施する。
　次ステップＳ５では、加工制御部４０は、プログラムにおいて規定された加工全てが終了しているか否かを判定する。加工が終了していない（次の別場所の加工が規定されている場合等）には、ステップＳ１に戻り、ステップＳ１以下の処理を再度実施する。
　ステップＳ１以下の処理を再度実行する場合、加工制御部４０は、２次元ビジョンシステム６０を通じて第１撮像範囲Ｒ１の第１画像データＤ１を再度取得する。つまり、電線１２は、長尺な不定形物であるため、電線１２群に対する１箇所に加工処理を施すと、他の部分の位置及び姿勢も変更してしまう恐れがある。そこで、次の別場所の加工を行う際には、再度ステップＳ１からの処理を実施して、次の別場所の加工位置を特定する。これにより、長尺な不定形物である電線１２の位置変動等に応じて、適切な加工を逐次実施できる。
　ステップＳ５において、加工が終了したと判定された場合には、処理を終了する。
　以下では、電線群加工装置２０による電線１２群の加工例をより具体的に説明する。
　まず、初期状態では、図４に示すように、電線１２群の端部に接続されたコネクタ１４が電線支持部２２のコネクタ支持部２６により支持される。各コネクタ１４間の電線１２は、ベース板２４上でＵ字状に垂下がった状態となる。
　この状態で、２次元ビジョンシステム６０により、図５に示すように、電線１２群を含む第１撮像範囲Ｒ１の第１画像データＤ１が得られる。得られた第１画像データＤ１には、コネクタ１４を出発位置として下方にＵ字状に垂下がる電線１２群が含まれている。
　ここで、電線１２群に対する１番目の加工処理として、左から１番目のコネクタ１４と左から２番目のコネクタ１４から延出する電線１２を、当該コネクタ１４から一定寸法離れた位置で結束する作業（分岐部を形成する作業）が規定されているとする。また、各コネクタ１４は、コネクタ支持部２６により支持されているため、既知の位置として取扱うことができる。
　この場合、第１画像データＤ１においてエッジ抽出処理等の画像処理を行って電線１２を認識し、左から１番目のコネクタ１４と左から２番目のコネクタ１４から延出する電線１２のうち前記一定寸法内にある部分が含まれるように、第２撮像範囲Ｒ２を決定すればよい。これにより、第１撮像範囲Ｒ１内において、加工対象領域（第２撮像範囲Ｒ２）を決定することができる。なお、第１画像データＤ１に対するエッジ抽出処理等の認識処理は、加工制御部４０外であって加工制御部４０と２次元カメラ６２との間に設けられた２次元画像処理部によって構成されていてもよい。この場合、２次元カメラ６２と当該２次元画像処理部とを含む構成が、２次元ビジョンシステムであると捉えてもよい。
　この後、加工ロボット３０のロボットアーム３２により、ステレオカメラ７２を移動させて、当該ステレオカメラ７２を、第２撮像範囲Ｒ２を撮像可能な位置に配設する。そして、ステレオカメラ７２を含む３次元ビジョンシステム７０により、図６に示すように、第２撮像範囲Ｒ２の第２画像データＤ２を取得する。
　そして、第２画像データＤ２に基づいて、既知の位置であるコネクタ１４の位置を基準として、各電線１２の経路を追跡し、コネクタ１４から前記一定寸法離れた位置（図６において丸で囲んだ位置）を特定する。各位置は、分岐点として束ねられるべき場所である。なお、第２画像データＤ２は、３次元データであるため、ベース板２４からの電線１２の高さ位置をも含めて、電線１２の位置を特定することができる。そして、加工ロボット３０に対して、各電線１２の前記各位置を１箇所に集合させるように指示を与える。この場合、別々のロボットハンドによって、各電線１２の前記各位置を１箇所に集合させるようにしてもよい。或は、単一のロボットハンドによって複数の電線１２を１箇所に寄せ集めるようにしてもよい。後者の場合でも、各電線１２の前記各位置が１箇所に位置するように、コネクタ１４の支持位置を調整しておくと共に、各電線１２をコネクタ１４から引っ張りつつ寄せ集めるようにすることで、各電線１２の前記各位置を１箇所に集合させることができる。
　この後、電線１２を束ねた上記位置から延出する電線１２を結束する。すなわち、上記各電線１２が１箇所に束ねられた位置は、ロボットハンドによって移動させられた既知の位置であるため、当該位置からコネクタ１４、１４に延出する部分及びその下方に延出する部分を結束する。結束作業は、上記したように、ロボットアーム３２に取付けられたテープの自動巻機等によって行うことができる。
　この結束作業を行う際には、電線１２の位置等が全体撮像したときとは異なっているため、再度、３次元ビジョンシステム７０を通じて第２画像データＤ２を取得し、当該第２画像データＤ２によって加工位置等を再度特定することが好ましい。
　加工後の状態は、図７に示すようになる。図７では、分岐点が２点鎖線で描かれた四角によって示されており、結束部分が２点鎖線で描かれた丸によって示されている。
　続いて、上記と同様にして、残りのコネクタ１４から延出する複数の電線１２に対しても結束を行う。ここでは、左から３番目のコネクタ１４及び４番目のコネクタ１４から延出する複数の電線１２に対して所定位置での結束を行い、左から５番目のコネクタ１４及び左から６番目のコネクタ１４から延出する複数の電線１２に対して所定位置での結束を行う。
　すると、図８に示すように、各コネクタ１４から延出する複数の電線１２は、各コネクタ１４に近い分岐箇所で結束された状態となる。
　続いて、これまでの分岐箇所間において、複数の電線１２を結束する。ここでは、複数の電線１２が多数束ねられる幹線において、複数の電線１２を結束する作業を行う。
　この際にも、まず、２次元ビジョンシステム６０を通じて第１画像データＤ１を取得し、この第１画像データＤ１においてエッジ抽出処理等の画像処理を行って電線１２を認識し、次の加工内容（どの分岐箇所間の電線１２を結束するか等）に応じて、いずれかの複数の分岐箇所の間、又は、いずれかの分岐箇所から延出する電線１２のうち一定寸法内にある部分が含まれるように、第２撮像範囲Ｒ２を決定する。
　この後、加工ロボット３０のロボットアーム３２により、ステレオカメラ７２を移動させて、当該ステレオカメラ７２を、第２撮像範囲Ｒ２を撮像可能な位置に配設する。そして、ステレオカメラ７２を含む３次元ビジョンシステム７０により、図９に示すように、第２撮像範囲Ｒ２の第２画像データＤ２を取得する。
　そして、第２画像データＤ２に基づいて、分岐位置（分岐位置自体は、既知の位置であるか、第２画像データＤ２において複数方向から電線１２が集合する位置として特定される）を基準として、各電線１２の経路を追跡し、分岐位置からいずれかの方向に前記一定寸法離れた位置（図６において丸で囲んだ位置）を特定する。各位置は、幹線において束ねられるべき場所である。そして、電線１２の当該位置の部分を、加工ロボット３０によって１箇所に集合させるように指示を与える。この後、電線１２を束ねた上記位置の周辺部で電線１２を結束する。
　分岐位置の各間で、複数の電線１２を束ねると、図１０における第１撮像範囲Ｒ１の第１画像データＤ１に示すように、複数の電線１２が複数位置で分岐されつつ結束された状態となり、ワイヤーハーネス１０を製造することができる。
　なお、必要に応じて、ワイヤーハーネス１０に対して、加工ロボット３０又は手作業によって、ワイヤーハーネス１０を車両に固定するためのクランプ部品、ワイヤーハーネス１０を保護するためのプロテクタ、コルゲートチューブ等の外装部品が取付けられてもよい。
　以上のように構成された電線群加工用の画像取得システム５０によると、第１ビジョンシステムである２次元ビジョンシステム６０によってワイヤーハーネス１０を構成する電線１２群を撮像した第１画像データＤ１を得ることができる。このため、加工ロボット３０を用いた加工を行う際に、ワイヤーハーネス１０の概形、加工対象のおおよその位置等を把握するのに適した構成とすることができる。また、第２ビジョンシステムである３次元ビジョンシステム７０によって、単位面積当りの情報量が多い第２画像データＤ２を得ることができる。このため、加工ロボット３０を用いた加工を行う際に、電線１２群を部分的に適切に詳細に認識することができる。例えば、電線１２の位置をｃｍ単位若しくはｍｍ単位で認識して、或は、立体的に認識して、加工ロボット３０により、電線１２群の加工を行える。
　特に、第２ビジョンシステムとして３次元ビジョンシステム７０を用いているため、電線１２群を立体的に認識して電線１２の加工を行えるため、加工ロボット３０により、より適切な加工が可能となる。
　また、３次元ビジョンシステム７０のステレオカメラ７２がロボットアーム３２の先端部に取付けられているため、ロボットアーム３２の先端部を加工対象位置に近づけた状態で、第２撮像範囲Ｒ２の撮像を行える。そして、続いて、第２撮像範囲Ｒ２に存在する加工対象部分を加工することができる。このため、効率的な作業が可能となる。ｋまた、ロボットアーム３２の先端部に取付けられた加工作業部３４による作業中においても、加工対象を撮像することができる。
　また、第１ビジョンシステムは、２次元ビジョンシステム６０であるため、比較的広範囲である第１撮像範囲Ｒ１、即ち、電線１２群全体を撮像してその認識処理等を行う場合には、比較的迅速な処理が可能となる。
　｛変形例｝
　なお、図１１及び図１２に示すように、上記実施形態において、第２ビジョンシステムとして、位相変調方式プロジェクション光源１７２と、ステレオカメラ１７４と、３次元画像処理部１７６とを含む３次元ビジョンシステム１７０を用いてもよい。
　位相変調方式プロジェクション光源１７２は、対象物に対して、縞パターンを、位相を変えながら投影可能に構成されている。ステレオカメラ１７４は、異なる位置に設置された複数のカメラ１７３を含んでいる。
　ベース板２４上に配設された方形状のフレーム１８０において、位相変調方式プロジェクション光源１７２は、当該フレーム１８０の中央に配設され、ベース板２４上の電線１２群に対して投影光を投影する。複数のカメラ１７３は、位相変調方式プロジェクション光源１７２の４方の位置、即ち、フレーム１８０の各辺の中央位置に配設されており、ベース板２４上において前記投影光が投影された電線１２群をそれぞれ異なる方向から撮像可能に構成されている。
　複数のカメラ１７３は、位相を変えつつ縞パターンが投影された対象物を撮像し、この撮像データは、３次元画像処理部１７６に与える。これにより、３次元画像処理部１７６は、その撮像データに基づき、アクティブ三角測量方式によって、電線１２群の３次元特定データ（点群データ）を、第２画像データＤ２として生成する。
　フレーム１８０に位相変調方式プロジェクション光源１７２及びステレオカメラ１７４を組込んだ撮像ユニット１８１は、ベース板２４上において、第１方向移動機構部１９２（矢符Ｘ参照）及び第２方向移動機構部１９４（矢符Ｙ参照）とを備える移動機構部１９０に支持されている。第１方向移動機構部１９２及び第２方向移動機構部１９４は、リニアモータ、ネジ軸とネジ軸を回転駆動するモータとネジ軸に螺合されたナット部等を有する直線駆動機構、或はエアシリンダ、油圧シリンダ等のリニアアクチュエータ等によって構成されており、それぞれの移動駆動方向である第１方向Ｘと第２方向Ｙとは直交する位置関係に配設されている。そして、第１方向移動機構部１９２及び第２方向移動機構部１９４の駆動によって、位相変調方式プロジェクション光源１７２及びステレオカメラ１７４は、それらの相対的位置関係を一定に保ったまま、ベース板２４上を縦横に移動することができる。これにより、本撮像ユニット１８１によって、電線１２群のうちの所望の領域（第２撮像範囲Ｒ２）を撮像することができる。
　なお、加工ロボット３０及び２次元ビジョンシステム６０は、撮像ユニット１８１とベース板２４との間で、撮像ユニット１８１等と干渉しない位置に配設すればよい。また、上記撮像ユニット１８１は、ロボットアーム３２の先端部に取付けられていてもよい。
　この変形例によると、電線１２群を部分的により適切に詳細に認識することができる。
　また、上記実施形態において、電線１２を結束した後に、その結束による分岐位置等を認識したい場合には、２次元ビジョンシステム６０又は３次元ビジョンシステム７０によって、結束加工前後の画像データを得ておき、その画像データの変更箇所（両画像データの画素又は点群の排他的論理和）を求めるとよい。これにより、加工による変更箇所を含む領域を絞り込んで、結束後の分岐位置等の認識が可能となり、より迅速な処理が可能となる。この処理は、加工対処箇所以外に加工がなされていないこと（動きがないこと）を保証する処理としても利用することができる。
　以上のようにこの発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
　Ｄ１　第１画像データ
　Ｄ２　第２画像データ
　Ｒ１　第１撮像範囲
　Ｒ２　第２撮像範囲
　１０　ワイヤーハーネス
　１２　電線
　１４　コネクタ
　２０　電線群加工装置
　２２　電線支持部
　２６　コネクタ支持部
　３０　加工ロボット
　５０　画像取得システム
　６０　２次元ビジョンシステム
　６２　２次元カメラ
　７０，１７０　３次元ビジョンシステム
　７２，１７４　ステレオカメラ
　７６，１７６　３次元画像処理部
　１７２　位相変調方式プロジェクション光源
　１７３　カメラ

Claims (5)

  1. 　ワイヤーハーネスを構成する電線群を認識するための電線群加工用の画像取得システムであって、
    　前記ワイヤーハーネスを構成する電線群を第１撮像範囲で認識するための第１画像データを取得する第１ビジョンシステムと、
    　前記ワイヤーハーネスを構成する電線群を、前記第１撮像範囲と重なる領域であって前記第１撮像範囲よりも小さい第２撮像範囲で、かつ、単位面積当りの情報量が前記第１画像データよりも多い第２画像データを取得する第２ビジョンシステムと、
    　を備える電線群加工用の画像取得システム。
  2. 　請求項１に記載の電線群加工用の画像取得システムであって、
    　前記第２ビジョンシステムは、３次元ビジョンシステムである、電線群加工用の画像取得システム。
  3. 　請求項２に記載の電線群加工用の画像取得システムであって、
    　前記第２ビジョンシステムは、位相変調方式プロジェクション光源とステレオカメラとを含み、アクティブ三角測量方式で３次元点群データを取得するシステムである、電線群加工用の画像取得システム。
  4. 　請求項１～請求項３のいずれか１項に記載の電線群加工用の画像取得システムであって、
    　前記第２ビジョンシステムは、カメラを含み、前記カメラは、前記ワイヤーハーネスを構成する電線群に対する加工を行う加工ロボットのロボットアームに取付けられている、電線群加工用の画像取得システム。
  5. 　請求項１～請求項４のいずれか１項に記載の電線群加工用の画像取得システムであって、
    　前記第１ビジョンシステムは、２次元ビジョンシステムである、電線群加工用の画像取得システム。
PCT/JP2016/057514 2015-03-31 2016-03-10 電線群加工用の画像取得システム WO2016158282A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/562,963 US20180215046A1 (en) 2015-03-31 2016-03-10 Image acquisition system for wire group processing
CN201680017035.3A CN107408429A (zh) 2015-03-31 2016-03-10 电线组加工用的图像取得系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-072521 2015-03-31
JP2015072521A JP2016192135A (ja) 2015-03-31 2015-03-31 電線群加工用の画像取得システム

Publications (1)

Publication Number Publication Date
WO2016158282A1 true WO2016158282A1 (ja) 2016-10-06

Family

ID=57005611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/057514 WO2016158282A1 (ja) 2015-03-31 2016-03-10 電線群加工用の画像取得システム

Country Status (4)

Country Link
US (1) US20180215046A1 (ja)
JP (1) JP2016192135A (ja)
CN (1) CN107408429A (ja)
WO (1) WO2016158282A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098074A1 (ja) * 2017-11-16 2019-05-23 倉敷紡績株式会社 線状物把持方法および制御装置
WO2019207344A1 (de) * 2018-04-25 2019-10-31 Schleuniger Holding Ag Verdrillvorrichtung und verfahren zum bestimmen oder überprüfen einer schlaglänge eines leitungsbündels, computerimplementiertes verfahren sowie ein computerprogrammprodukt und ein upgrade-kit dazu

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018115557B3 (de) * 2018-06-28 2019-07-04 Kromberg & Schubert Gmbh & Co. Kg Automatisierte Leitungsverlegung für Leitungssätze elektrischer Systeme mittels zweier kraftgeregelter Roboter
JP6923574B2 (ja) 2019-02-01 2021-08-18 ファナック株式会社 ３次元形状計測システムおよび３次元形状計測方法
JP2021089670A (ja) * 2019-12-05 2021-06-10 倉敷紡績株式会社 束状物の認識方法、束状物の作業位置決定方法、ロボット制御方法、束状物の作業位置決定装置及び束状物作業システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62194413A (ja) * 1986-02-21 1987-08-26 Yamaha Motor Co Ltd 三次元座標計測装置
JPS63285410A (ja) * 1987-05-18 1988-11-22 Fanuc Ltd ロボットの作業対象物の位置検出方式
JPH09115640A (ja) * 1995-10-20 1997-05-02 Harness Sogo Gijutsu Kenkyusho:Kk ワイヤーハーネスの製造におけるコネクタ供給方法及びその装置
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp ３次元形状検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665135B2 (ja) * 2009-03-30 2015-02-04 日本電気株式会社 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラム
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US9154773B2 (en) * 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
CN103971378B (zh) * 2014-05-29 2016-06-29 福州大学 一种混合视觉系统中全景图像的三维重建方法
JP6382074B2 (ja) * 2014-11-05 2018-08-29 古河電気工業株式会社 外観検査装置、外観検査システム、及び外観検査方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62194413A (ja) * 1986-02-21 1987-08-26 Yamaha Motor Co Ltd 三次元座標計測装置
JPS63285410A (ja) * 1987-05-18 1988-11-22 Fanuc Ltd ロボットの作業対象物の位置検出方式
JPH09115640A (ja) * 1995-10-20 1997-05-02 Harness Sogo Gijutsu Kenkyusho:Kk ワイヤーハーネスの製造におけるコネクタ供給方法及びその装置
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp ３次元形状検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098074A1 (ja) * 2017-11-16 2019-05-23 倉敷紡績株式会社 線状物把持方法および制御装置
JPWO2019098074A1 (ja) * 2017-11-16 2020-11-19 倉敷紡績株式会社 線状物把持方法および制御装置
JP7106571B2 (ja) 2017-11-16 2022-07-26 倉敷紡績株式会社 線状物把持方法および制御装置
WO2019207344A1 (de) * 2018-04-25 2019-10-31 Schleuniger Holding Ag Verdrillvorrichtung und verfahren zum bestimmen oder überprüfen einer schlaglänge eines leitungsbündels, computerimplementiertes verfahren sowie ein computerprogrammprodukt und ein upgrade-kit dazu
JP2021528575A (ja) * 2018-04-25 2021-10-21 シュロニガー アーゲー 撚り装置、および導線束の撚り長さを決定または検査する方法、コンピュータに実装された方法、ならびにコンピュータプログラム製品、およびそのためのアップグレードキット
JP7150052B2 (ja) 2018-04-25 2022-10-07 シュロニガー アーゲー 撚り装置、および導線束の撚り長さを決定または検査する方法、コンピュータに実装された方法、ならびにコンピュータプログラム製品、およびそのためのアップグレードキット

Also Published As

Publication number Publication date
US20180215046A1 (en) 2018-08-02
JP2016192135A (ja) 2016-11-10
CN107408429A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
WO2016158282A1 (ja) 電線群加工用の画像取得システム
WO2016158339A1 (ja) ワイヤーハーネスの製造方法及びコネクタ保持部支持装置
WO2017038479A1 (ja) ワイヤーハーネス組立装置及びワイヤーハーネスの製造方法
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
JP2014184543A (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
TW201414546A (zh) 電線分類機及分類電線的方法
JP7106571B2 (ja) 線状物把持方法および制御装置
KR20210104832A (ko) 장착 판 상에 배열된 전기 개폐기의 전기 구성요소의 로봇 지원 배선 방법
JP2008168372A (ja) ロボット装置及び形状認識方法
JP6424800B2 (ja) ワイヤーハーネスの製造方法及びワイヤーハーネス
JP2018014262A (ja) ワイヤーハーネスの製造方法及び電線端末加工用装置
WO2018012337A1 (ja) ワイヤーハーネス製造用装置及びワイヤーハーネスの製造方法
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
WO2017141778A1 (ja) 電線端末状態検査装置、電線端末結束装置及びワイヤーハーネスの製造方法
WO2017038401A1 (ja) ワイヤハーネス製造装置、ワイヤハーネス製造方法及び被加工電線位置特定方法
TWI760596B (zh) 線狀物之前端移動方法、控制裝置以及三維相機
JP2007171018A (ja) 物体位置認識方法及び物体位置認識装置
JP2017144501A (ja) 加工ロボット装置
JP7011805B2 (ja) ロボットの制御点設定がなされるロボット制御装置およびロボット制御方法
JP2018051632A (ja) ワイヤーハーネス製造装置及びワイヤーハーネス製造方法
JP2018181723A (ja) ワイヤーハーネス加工装置及びワイヤーハーネスの製造方法
WO2017110607A1 (ja) コネクタバー及びワイヤーハーネスの製造方法
CN111745675B (zh) 用于自动装入电导体的设备和方法
JP2010162630A (ja) 撮像方法、ピッキング方法及びピッキング装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772166

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15562963

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16772166

Country of ref document: EP

Kind code of ref document: A1