WO2019208107A1 - 制御システム、制御方法、および制御プログラム - Google Patents

制御システム、制御方法、および制御プログラム Download PDF

Info

Publication number
WO2019208107A1
WO2019208107A1 PCT/JP2019/014125 JP2019014125W WO2019208107A1 WO 2019208107 A1 WO2019208107 A1 WO 2019208107A1 JP 2019014125 W JP2019014125 W JP 2019014125W WO 2019208107 A1 WO2019208107 A1 WO 2019208107A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual sensor
moving mechanism
imaging
control
actual position
Prior art date
Application number
PCT/JP2019/014125
Other languages
English (en)
French (fr)
Inventor
正樹 浪江
功征 川又
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to KR1020207026081A priority Critical patent/KR102613860B1/ko
Priority to CN201980018674.5A priority patent/CN111902785B/zh
Publication of WO2019208107A1 publication Critical patent/WO2019208107A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Definitions

  • This disclosure relates to a technique for positioning a workpiece based on the position of the workpiece measured by a visual sensor.
  • Patent Document 1 discloses a visual system in which a movable table, a moving mechanism for moving the movable table, and a workpiece placed on the movable table are repeatedly imaged and the position of the workpiece is repeatedly detected.
  • a workpiece positioning device including a sensor is disclosed. Each time the position is detected by the visual sensor, the workpiece positioning device calculates the difference between the detected position and the target position, and moves the movable base when it is determined that the difference is within the allowable range. Stop.
  • the workpiece positioning device calculates the difference between the position detected by the visual sensor after the movable table stops moving and the target position, and determines whether the calculated difference is within an allowable range. If it is determined that the difference is outside the allowable range, the moving direction of the movable table that reduces the difference is determined, and the moving mechanism is controlled to move the movable table in the determined moving direction.
  • subject blur When an object is imaged while the moving mechanism is moving, the object in the image may be blurred (so-called subject blur). Such subject blur becomes more noticeable as the moving speed of the moving mechanism during imaging increases. When subject blur occurs, an error may occur in the position of an object detected from an image. Therefore, a technique for suppressing subject blur is desired.
  • an object in one aspect is to provide a control system capable of suppressing subject shake that may occur at the time of imaging by a visual sensor. is there.
  • An object in another aspect is to provide a control method capable of suppressing subject shake that may occur during imaging by a visual sensor.
  • An object in another aspect is to provide a control program capable of suppressing subject shake that may occur during imaging by a visual sensor.
  • the control system captures an image of the object based on a moving mechanism for moving the object and an imaging instruction, and the actual position of the object from an image obtained by the imaging.
  • a detection unit for detecting position-related information regarding the position of the moving mechanism for each predetermined control cycle shorter than the interval at which the imaging instruction is output to the visual sensor; Based on the actual position and the position-related information, a position determination unit for determining an estimated position of the object at the current time for each control period, and for adjusting the estimated position to a target position of the object
  • a feedback control unit that outputs a movement command to the moving mechanism at each control period; and the target to the visual sensor when the moving speed of the moving mechanism is smaller than a predetermined value.
  • an adjusting unit for adjusting at least one of the update timing of the actual position.
  • the visual sensor when the moving speed of the moving mechanism is smaller than a predetermined value, the visual sensor can execute the imaging process, and subject blurring is suppressed. Since the visual sensor can detect the actual position of the object based on the image in which subject shake is suppressed, the actual position of the object can be accurately detected.
  • the adjustment unit may issue the imaging instruction when the moving speed of the moving mechanism specified from the position related information is smaller than a predetermined value when the visual sensor is in an imageable state. Output to the visual sensor.
  • the imaging instruction is output to the visual sensor when the moving speed of the moving mechanism is lower than the predetermined value, subject blurring is suppressed.
  • the adjustment unit generates a movement command that causes the movement speed of the movement mechanism to be smaller than the predetermined value while the visual sensor is imaging the object.
  • the movement speed of the moving mechanism is lowered below a predetermined value when the visual sensor is picked up, so that subject blurring is suppressed.
  • the position determination unit when the actual position is newly measured by the visual sensor when the visual sensor is in an imageable state, the position determination unit, and the actual position measured last time, The estimated position is determined based on the position related information.
  • the workpiece is detected based on the actual position measured last time and the position related information. Is estimated. This prevents the moving speed of the moving mechanism from changing suddenly during imaging by the visual sensor and suppresses subject blurring.
  • the adjustment unit updates the actual position measured last time based on the completion of imaging by the visual sensor with the newly measured actual position.
  • the movement speed of the moving mechanism is prevented from changing suddenly during imaging of the visual sensor. As a result, subject shake is suppressed.
  • a control method of a moving mechanism for moving an object outputs an imaging instruction to a visual sensor, and the actual position of the object is visually determined from an image obtained by the object.
  • a step of causing the sensor to measure a step of detecting position-related information regarding the position of the moving mechanism for each predetermined control period shorter than the interval at which the imaging instruction is output to the visual sensor, the actual position, and the Based on the position related information, a step of determining an estimated position of the object at the present time for each control cycle, and a movement command for adjusting the estimated position to a target position of the object for each control cycle.
  • the visual sensor when the moving speed of the moving mechanism is smaller than a predetermined value, the visual sensor can execute the imaging process, and subject blurring is suppressed. Since the visual sensor can detect the actual position of the object based on the image in which subject shake is suppressed, the actual position of the object can be accurately detected.
  • a control program for a moving mechanism for moving an object is obtained by outputting an imaging instruction to a visual sensor to a controller for controlling the moving mechanism and the object.
  • a step of determining an estimated position of the target object for each control period based on the actual position and the position related information, and matching the estimated position to a target position of the target object Output a movement command for each control cycle to the moving mechanism, and when the moving speed of the moving mechanism is lower than a predetermined value,
  • the visual sensor when the moving speed of the moving mechanism is smaller than a predetermined value, the visual sensor can execute the imaging process, and subject blurring is suppressed. Since the visual sensor can detect the actual position of the object based on the image in which subject shake is suppressed, the actual position of the object can be accurately detected.
  • step S134 shown in FIG. 5
  • step S222 shown in FIG. 7
  • step S360 shown in FIG.
  • FIG. 1 is a schematic diagram showing an outline of a control system 1 according to the present embodiment.
  • the control system 1 performs alignment using image processing.
  • the alignment typically means a process of placing an object (hereinafter also referred to as “work W”) at an original position of a production line in the manufacturing process of an industrial product.
  • the control system 1 positions the glass substrate with respect to the exposure mask before the circuit pattern printing process (exposure process) on the glass substrate in the production line of the liquid crystal panel.
  • the control system 1 includes, for example, a visual sensor 50, a controller 200, a servo driver 300, and a moving mechanism 400.
  • the visual sensor 50 includes, for example, an imaging unit 52 and an image processing unit 54.
  • the moving mechanism 400 includes, for example, a servo motor 410 and a stage 420.
  • the imaging unit 52 performs an imaging process of imaging a subject existing in the imaging field of view and generating image data, and images the workpiece W placed on the stage 420.
  • the imaging unit 52 performs imaging according to the imaging trigger TR from the controller 200.
  • the image data generated by the imaging unit 52 is sequentially output to the image processing unit 54.
  • the image processing unit 54 performs image analysis on the image data obtained from the imaging unit 52 and measures the actual position PVv of the workpiece W.
  • the actual position PVv is output to the controller 200 every time it is measured.
  • the controller 200 is a PLC (programmable logic controller), for example, and performs various FA controls.
  • the controller 200 includes a position determination unit 252, a feedback control unit 254, and an adjustment unit 256 as an example of a functional configuration.
  • the position determination unit 252 controls the control cycle based on the actual position PVv measured by the visual sensor 50 and the encoder value PVm (position related information) obtained for each control cycle Ts shorter than the imaging interval Tb by the visual sensor 50.
  • the position of the workpiece W (hereinafter also referred to as “estimated position PV”) is estimated for each Ts.
  • the estimated position PV is output to the feedback control unit 254 every control cycle Ts.
  • the feedback control unit 254 uses the target position SP and the estimated position PV determined by the position determination unit 252 to update a servo command MV for moving the estimated position PV close to the target position SP every control cycle Ts. Output to the driver 300.
  • the movement command MV is, for example, any one of a command position, a command speed, and a command torque for the servo driver 300.
  • the feedback control by the feedback control unit 254 is realized by, for example, PID (Proportional Integral Differential) control, PI control, PD control, or P control.
  • the target position SP is predetermined for each production process, and is sequentially switched according to the current production process.
  • the target position SP is detected from the image by the visual sensor 50 performing predetermined image processing. In this case, the visual sensor 50 detects a predetermined mark from the image and recognizes the mark as the target position SP.
  • the adjustment unit 256 outputs the imaging trigger TR (imaging instruction) output to the visual sensor 50 and the movement in order to cause the visual sensor 50 to image the workpiece W when the moving speed of the moving mechanism 400 is smaller than a predetermined value. At least one of the movement command MV output to the mechanism 400 and the update timing of the actual position PVv is adjusted. Details of these adjustment methods will be described later.
  • the visual sensor 50 executes the imaging process, thereby suppressing subject shake. Since the visual sensor 50 can detect the actual position PVv of the work W based on the image in which subject shake is suppressed, the actual position PVv of the work W can be accurately detected.
  • Servo driver 300 drives servo motor 410 in accordance with movement command MV received every control cycle Ts. More specifically, the servo driver 300 acquires the encoder value PVm from the encoder 412 (detection unit) every control cycle Ts. The servo driver 300 feedback-controls the servo motor 410 so that the speed / position indicated by the encoder value PVm matches the speed / position indicated by the movement command MV. As an example, the feedback control is realized by PID control, PI control, PD control, or P control.
  • FIG. 1 only one component group of the position determination unit 252, the feedback control unit 254, the adjustment unit 256, the servo driver 300, the servo motor 410, and the encoder 412 is shown. , As many as the number of axes driving the stage 420 are provided. Each component group is responsible for controlling the stage 420 in one axial direction. In this case, the actual position PVv measured by the visual sensor 50 is decomposed into actual positions in the respective axial directions, and each actual position after the decomposition is output to the corresponding component group.
  • FIG. 2 is a diagram illustrating an example of a device configuration of the control system 1.
  • the control system 1 includes a visual sensor 50, a controller 200, one or more servo drivers 300 (servo drivers 300X and 300Y in the example of FIG. 2), and a moving mechanism 400.
  • the visual sensor 50 includes the image processing apparatus 100 and one or more cameras (cameras 102 and 104 in the example of FIG. 2).
  • the image processing apparatus 100 detects a feature portion 12 (for example, a screw hole) of the workpiece W based on image data obtained by the cameras 102 and 104 photographing the workpiece W.
  • the image processing apparatus 100 detects the detected position of the feature portion 12 as the actual position PVv of the workpiece W.
  • the controller 200 is connected to one or more servo drivers 300 (servo drivers 300X and 300Y in the example of FIG. 2).
  • the servo driver 300X drives the servo motor 410X to be controlled in accordance with the movement command in the X direction received from the controller 200.
  • the servo driver 300Y drives the servo motor 410Y to be controlled in accordance with the movement command in the Y direction received from the controller 200.
  • the controller 200 gives a target position in the X direction as a command value to the servo driver 300X according to the target trajectory TGx generated in the X direction. Further, the controller 200 gives a target position in the Y direction as a command value to the servo driver 300Y according to the target trajectory TGy generated in the Y direction.
  • the workpiece W is moved to the target position SP by sequentially updating the respective target positions in the X and Y directions.
  • Controller 200 and servo driver 300 are connected in a daisy chain via a field network.
  • a field network for example, EtherCAT (registered trademark) is adopted.
  • EtherCAT registered trademark
  • the field network is not limited to EtherCAT, and any communication means can be adopted.
  • the controller 200 and the servo driver 300 may be directly connected by a signal line. Further, the controller 200 and the servo driver 300 may be integrally configured.
  • the moving mechanism 400 includes base plates 4 and 7, ball screws 6 and 9, a stage 420, and one or more servo motors 410 (servo motors 410X and 410Y in the example of FIG. 2).
  • the base plate 4 is provided with a ball screw 6 that moves the stage 420 along the X direction.
  • the ball screw 6 is engaged with a nut included in the stage 420.
  • the servo motor 410X connected to one end of the ball screw 6 is rotationally driven, the nut included in the stage 420 and the ball screw 6 are relatively rotated, and as a result, the stage 420 is moved along the X direction.
  • the base plate 7 is provided with a ball screw 9 for moving the stage 420 and the base plate 4 along the Y direction.
  • the ball screw 9 is engaged with a nut included in the base plate 4.
  • the servo motor 410Y connected to one end of the ball screw 9 is rotationally driven, the nut included in the base plate 4 and the ball screw 9 are relatively rotated. As a result, the stage 420 and the base plate 4 move along the Y direction.
  • the moving mechanism 400 is a servomotor that drives the stage 420 in the rotational direction ( ⁇ direction) on the XY plane. May be further incorporated.
  • FIG. 3 is a schematic diagram illustrating an example of a hardware configuration of the image processing apparatus 100 configuring the visual sensor 50.
  • the image processing apparatus 100 typically has a structure according to a general-purpose computer architecture, and the processor executes a program installed in advance, thereby causing various types of processes as will be described later. Realize image processing.
  • the image processing apparatus 100 includes a processor 110 such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit), a RAM (Random Access Memory) 112, a display controller 114, and a system controller 116. , An I / O (Input Output) controller 118, a hard disk 120, a camera interface 122, an input interface 124, a controller interface 126, a communication interface 128, and a memory card interface 130. These units are connected to each other so that data communication is possible with the system controller 116 as a center.
  • a processor 110 such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit), a RAM (Random Access Memory) 112, a display controller 114, and a system controller 116.
  • An I / O (Input Output) controller 118 a hard disk 120, a camera interface 122, an input interface 124, a controller interface 126, a communication interface 128, and a memory card
  • the processor 110 exchanges programs (codes) and the like with the system controller 116 and executes them in a predetermined order, thereby realizing the target arithmetic processing.
  • the system controller 116 is connected to the processor 110, the RAM 112, the display controller 114, and the I / O controller 118 via buses, and performs data exchange with each unit and processes of the entire image processing apparatus 100. To manage.
  • the RAM 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory), a program read from the hard disk 120, camera images (image data) acquired by the cameras 102 and 104, Stores processing results for camera images and work data.
  • DRAM Dynamic Random Access Memory
  • the display controller 114 is connected to the display unit 132, and outputs signals for displaying various types of information to the display unit 132 in accordance with internal commands from the system controller 116.
  • the I / O controller 118 controls data exchange with a recording medium or an external device connected to the image processing apparatus 100. More specifically, the I / O controller 118 is connected to the hard disk 120, the camera interface 122, the input interface 124, the controller interface 126, the communication interface 128, and the memory card interface 130.
  • the hard disk 120 is typically a nonvolatile magnetic storage device, and stores various setting values in addition to the control program 150 executed by the processor 110.
  • the control program 150 installed in the hard disk 120 is distributed while being stored in the memory card 136 or the like.
  • a semiconductor storage device such as a flash memory or an optical storage device such as a DVD-RAM (Digital Versatile Disk Random Access Memory) may be employed.
  • the camera interface 122 corresponds to an input unit that receives image data generated by photographing a workpiece, and mediates data transmission between the processor 110 and the cameras 102 and 104.
  • the camera interface 122 includes image buffers 122a and 122b for temporarily storing image data from the cameras 102 and 104, respectively.
  • image buffers 122a and 122b for temporarily storing image data from the cameras 102 and 104, respectively.
  • a single image buffer that can be shared among the cameras may be provided.
  • it is preferable that a plurality of cameras are independently arranged in association with each camera.
  • the input interface 124 mediates data transmission between the processor 110 and input devices such as a keyboard 134, a mouse, a touch panel, and a dedicated console.
  • the controller interface 126 mediates data transmission between the processor 110 and the controller 200.
  • the communication interface 128 mediates data transmission between the processor 110 and other personal computers or server devices (not shown).
  • the communication interface 128 typically includes Ethernet (registered trademark), USB (Universal Serial Bus), or the like.
  • the memory card interface 130 mediates data transmission between the processor 110 and the memory card 136 as a recording medium.
  • the memory card 136 is distributed in a state where the control program 150 executed by the image processing apparatus 100 is stored, and the memory card interface 130 reads the control program from the memory card 136.
  • the memory card 136 is a general-purpose semiconductor storage device such as SD (Secure Digital), a magnetic recording medium such as a flexible disk, or an optical recording medium such as a CD-ROM (Compact Disk Read Only Memory). Become.
  • a program downloaded from a distribution server or the like may be installed in the image processing apparatus 100 via the communication interface 128.
  • an OS for providing a basic function of the computer ( Operating System) may be installed.
  • the control program according to the present embodiment may execute processing by calling necessary modules out of program modules provided as part of the OS in a predetermined order and / or timing. Good.
  • control program according to the present embodiment may be provided by being incorporated in a part of another program. Even in that case, the program itself does not include the modules included in the other programs to be combined as described above, and the processing is executed in cooperation with the other programs. That is, the control program according to the present embodiment may be in a form incorporated in such another program.
  • control program may be implemented as a dedicated hardware circuit.
  • FIG. 4 is a schematic diagram illustrating a hardware configuration of the controller 200.
  • controller 200 includes a main control unit 210.
  • FIG. 4 shows servo motors 410X, 410Y, 410 ⁇ for three axes, and the number of servo drivers 300X, 300Y, 300 ⁇ corresponding to the number of axes is provided.
  • the main control unit 210 includes a chip set 212, a processor 214, a nonvolatile memory 216, a main memory 218, a system clock 220, a memory card interface 222, a communication interface 228, an internal bus controller 230, and a field bus. Controller 238.
  • the chip set 212 and other components are coupled via various buses.
  • the processor 214 and the chipset 212 typically have a configuration according to a general-purpose computer architecture. That is, the processor 214 interprets and executes the instruction codes sequentially supplied from the chip set 212 according to the internal clock.
  • the chip set 212 exchanges internal data with various connected components and generates instruction codes necessary for the processor 214.
  • the system clock 220 generates a system clock having a predetermined period and provides it to the processor 214.
  • the chip set 212 has a function of caching data obtained as a result of execution of arithmetic processing by the processor 214.
  • the main control unit 210 has a nonvolatile memory 216 and a main memory 218 as storage means.
  • the nonvolatile memory 216 holds the OS, system program, user program, data definition information, log information, and the like in a nonvolatile manner.
  • the main memory 218 is a volatile storage area, holds various programs to be executed by the processor 214, and is also used as a working memory when executing the various programs.
  • the main control unit 210 includes a communication interface 228, an internal bus controller 230, and a field bus controller 238 as communication means. These communication circuits transmit and receive data.
  • the communication interface 228 exchanges data with the image processing apparatus 100.
  • the internal bus controller 230 controls exchange of data via the internal bus 226. More specifically, the internal bus controller 230 includes a buffer memory 236, a DMA (Dynamic Memory Access) control circuit 232, and an internal bus control circuit 234.
  • DMA Dynamic Memory Access
  • the memory card interface 222 connects the memory card 224 detachable to the main control unit 210 and the processor 214.
  • the fieldbus controller 238 is a communication interface for connecting to a field network.
  • the controller 200 is connected to a servo driver 300 (for example, servo drivers 300X, 300Y, 300 ⁇ ) via a fieldbus controller 238.
  • a servo driver 300 for example, servo drivers 300X, 300Y, 300 ⁇
  • a fieldbus controller 238 for example, EtherCAT (registered trademark), EtherNet / IP (registered trademark), CompoNet (registered trademark), or the like is adopted.
  • controller 200 suppresses subject blurring by causing the visual sensor 50 to perform an imaging process when the moving speed of the moving mechanism 400 is lower than a predetermined value.
  • a method for suppressing subject shake (a) adjusting the timing of outputting the imaging trigger TR to the visual sensor 50, (b) adjusting the movement command MV for the servo driver 300, (c) And adjusting the timing for updating the actual position PVv of the workpiece W measured by the visual sensor 50.
  • the controller 200 outputs the imaging trigger TR to the visual sensor 50 when the moving speed of the moving mechanism 400 is smaller than a predetermined value.
  • FIG. 5 is a diagram showing a control flow for adjusting the output timing of the imaging trigger TR.
  • the processing shown in FIG. 5 is realized by the processor 214 of the controller 200 executing a program. In other aspects, some or all of the processing may be performed by circuit elements or other hardware.
  • step S110 the processor 214 initializes the measurement time t to zero.
  • step S120 the processor 214 determines whether or not the visual sensor 50 is in an imageable state.
  • the imaging possible state here means a state waiting for an imaging instruction.
  • the time from when the visual sensor 50 receives the imaging trigger TR to the end of imaging is an imaging impossible state, and the other time is an imaging enabled state.
  • processor 214 determines that visual sensor 50 is in an imageable state (YES in step S120)
  • processor 214 switches control to step S130. Otherwise (NO in step S120), processor 214 switches control to step S134.
  • step S130 the processor 214 determines whether or not the current moving speed of the moving mechanism 400 is equal to or lower than a predetermined value.
  • the moving speed is calculated from the encoder value PVm detected by the encoder 412, for example.
  • the movement speed is specified from the movement command MV output to the servo driver 300.
  • processor 214 determines that the current moving speed of moving mechanism 400 is equal to or lower than a predetermined value (YES in step S130)
  • processor 214 switches control to step S132. Otherwise (NO in step S130), processor 214 switches control to step S134.
  • step S130 the processor 214 determines whether or not all the moving speeds of the moving mechanism 400 in each axial direction are equal to or less than a predetermined value th. In another aspect, in step S130, the processor 214 may determine whether or not the moving speed of the moving mechanism 400 is equal to or less than a predetermined value th. As an example, when the moving mechanism 400 is a two-axis drive of the X axis and the Y axis, the processor 214 calculates the square root of the square sum of the moving speed in the X axis direction and the moving speed in the Y axis direction. The movement speed is calculated, and it is determined whether or not the movement speed is equal to or less than a predetermined value th.
  • step S132 the processor 214 outputs the imaging trigger TR to the visual sensor 50 as the adjusting unit 256 (see FIG. 1).
  • the visual sensor 50 starts the imaging process in response to receiving the imaging trigger TR. Thereafter, the visual sensor 50 performs a predetermined image analysis on the obtained image data, and measures the actual position PVv of the workpiece W based on the image data.
  • step S134 the processor 214 operates as the feedback control unit 254 (see FIG. 1) based on the actual position PVv of the workpiece W measured by the visual sensor 50 and the encoder value PVm obtained from the encoder 412.
  • the estimated position PV of the workpiece W at is determined. Details of the method for determining the estimated position PV will be described later.
  • step S136 the processor 214 generates a movement command MV for adjusting the estimated position PV of the workpiece W determined in step S134 to the target position SP as the above-described feedback control unit 254 (see FIG. 1).
  • Command MV is output to servo driver 300.
  • step S138 the processor 214 adds the control period Ts to the measurement time t, and updates the measurement time t.
  • step S140 the processor 214 determines whether or not to end the control process of the moving mechanism 400. As an example, the processor 214 ends the control process of the moving mechanism 400 based on receiving the stop operation. When processor 214 determines to end the control process of moving mechanism 400 (YES in step S140), it ends the process shown in FIG. Otherwise (NO in step S140), processor 214 returns control to step S120.
  • the processor 214 outputs the imaging trigger TR to the visual sensor 50 when the moving speed of the moving mechanism 400 is equal to or less than a predetermined value by the processing of steps S130 and S132, and the moving speed of the moving mechanism 400 is a predetermined value. Is exceeded, the imaging trigger TR is not output to the visual sensor 50.
  • FIG. 6 is a diagram illustrating an example of transition of the moving speed of the moving mechanism 400.
  • the processor 214 does not output the imaging trigger TR to the visual sensor 50 even if the visual sensor 50 is in an imageable state.
  • the visual sensor 50 Based on this, the visual sensor 50 outputs the imaging trigger TR to the visual sensor 50. As described above, the visual sensor 50 outputs the imaging trigger TR to the visual sensor 50 when the moving speed of the moving mechanism 400 is smaller than the predetermined value th when the visual sensor 50 is in an imageable state. The visual sensor 50 sequentially executes the imaging process and the measurement process of the actual position PVv of the workpiece W based on the reception of the imaging trigger TR.
  • the processor 214 outputs the imaging trigger TR to the visual sensor 50.
  • the imaging trigger TR is output, thereby suppressing subject blurring.
  • the visual sensor 50 can acquire image data in which subject shake is suppressed, and can suppress a decrease in position measurement accuracy of the workpiece W.
  • the controller 200 adjusts the movement command MV so that the moving speed of the moving mechanism 400 becomes smaller than a predetermined value while the visual sensor 50 images the workpiece W.
  • FIG. 7 is a diagram showing a control flow for adjusting the movement command MV for the servo driver 300.
  • the processing shown in FIG. 7 is realized by the processor 214 of the controller 200 executing a program. In other aspects, some or all of the processing may be performed by circuit elements or other hardware.
  • step S210 the processor 214 initializes the measurement time t to zero.
  • step S ⁇ b> 222 the processor 214 determines the estimated position PV of the workpiece W at the current time based on the actual position PVv of the workpiece W measured by the visual sensor 50 and the encoder value PVm obtained from the encoder 412. Details of the method for determining the estimated position PV will be described later.
  • step S224 the processor 214 generates a movement command MV for adjusting the estimated position PV of the workpiece W determined in step S222 to the target position SP as the above-described feedback control unit 254 (see FIG. 1).
  • Command MV is output to servo driver 300.
  • step S230 the processor 214 determines whether or not the visual sensor 50 is capturing an image (that is, whether or not the shutter is open). As an example, the processor 214 periodically acquires state information of the visual sensor 50 from the visual sensor 50, and determines whether the visual sensor 50 is imaging based on the information. Alternatively, when the timing and period for opening the shutter after the visual sensor 50 receives the imaging trigger TR are determined, the processor 214 determines whether the visual sensor 50 is imaging based on the output timing of the imaging trigger TR. It may be determined whether or not. When processor 214 determines that visual sensor 50 is imaging (YES in step S230), processor 214 switches control to step S232. Otherwise (NO in step S230), processor 214 switches control to step S234.
  • step S232 the processor 214 limits the movement command MV generated in step S224 so that the moving speed of the moving mechanism 400 is equal to or less than a predetermined value as the adjusting unit 256 (see FIG. 1). More specifically, the processor 214 limits the movement command MV when the current moving speed of the moving mechanism 400 exceeds a predetermined value, and the current moving speed of the moving mechanism 400 is equal to or lower than the predetermined value. Does not limit the movement command MV.
  • step S234 when it is determined NO in step S230, the processor 214 outputs the movement command MV generated in step S224 to the servo driver 300. On the other hand, if it is determined YES in step S230, the processor 214 outputs the movement command MV restricted in step S232 to the servo driver 300.
  • step S236 the processor 214 adds the control period Ts to the measurement time t, and updates the measurement time t.
  • step S240 the processor 214 determines whether or not to end the control process of the moving mechanism 400. As an example, the processor 214 ends the control process of the moving mechanism 400 based on receiving the stop operation. When processor 214 determines to end the control process of moving mechanism 400 (YES in step S240), it ends the process shown in FIG. Otherwise (NO in step S240), processor 214 returns control to step S222.
  • the processor 214 limits the movement command MV so that the moving speed of the moving mechanism 400 becomes smaller than a predetermined value while the visual sensor 50 is imaging the workpiece by the processes of steps S230 and S232. .
  • FIG. 8 is a diagram illustrating an example of transition of the moving speed of the moving mechanism 400.
  • the processor 214 outputs the imaging trigger TR to the visual sensor 50.
  • the imaging processing means processing executed for generating an image, and includes, for example, shutter opening / closing processing.
  • the processor 214 generates a movement command MV for limiting the moving speed of the moving mechanism 400 to a predetermined value th or less during the imaging process of the visual sensor 50, and outputs it to the servo driver 300. Thereby, the speed of the moving mechanism 400 becomes equal to or less than the predetermined value th during the imaging process of the visual sensor 50.
  • the processor 214 releases the restriction on the moving speed of the moving mechanism 400.
  • the processor 214 generates a movement command so that the moving speed of the moving mechanism 400 becomes smaller than the predetermined value th while the visual sensor 50 is imaging the workpiece.
  • the visual sensor 50 can acquire image data in which subject shake is suppressed, and can suppress a decrease in position measurement accuracy of the workpiece W.
  • FIG. 9 is a diagram illustrating a control flow for adjusting the timing of updating the actual position PVv of the workpiece W.
  • the processing shown in FIG. 9 is realized by the processor 214 of the controller 200 executing a program. In other aspects, some or all of the processing may be performed by circuit elements or other hardware.
  • step S310 the processor 214 initializes the measurement time t to zero.
  • step S320 the processor 214 determines whether or not the update waiting flag is set to TRUE.
  • the update standby flag is a flag for managing the update timing of the actual position PVv measured by the visual sensor 50.
  • processor 214 switches control to step S350. Otherwise (NO in step S350), processor 214 switches control to step S330.
  • step S330 the processor 214 determines whether or not the position measurement of the workpiece W by the visual sensor 50 has been completed.
  • processor 214 determines that position measurement of workpiece W by visual sensor 50 has been completed (YES in step S330), control is switched to step S332. Otherwise (NO in step S330), processor 214 switches control to step S360.
  • step S332 the processor 214 obtains the newly measured actual position PVv of the workpiece W from the visual sensor 50.
  • step S340 the processor 214 determines whether or not the state of the visual sensor 50 is an imageable state.
  • processor 214 determines that the state of visual sensor 50 is the imageable state (YES in step S340)
  • control is switched to step S342. Otherwise (NO in step S340), processor 214 switches control to step S354.
  • step S342 the processor 214 sets an update waiting flag to TRUE.
  • step S344 the processor 214 outputs the imaging trigger TR to the visual sensor 50.
  • step S350 the processor 214 determines whether imaging by the visual sensor 50 is completed.
  • processor 214 determines that imaging by visual sensor 50 has been completed (YES in step S350)
  • processor 214 switches control to step S352. Otherwise (NO in step S350), processor 214 switches control to step S360.
  • step S352 the processor 214 sets the update standby flag to FALSE.
  • step S354 the processor 214 updates the actual position PVv of the current workpiece W with the new actual position PVv acquired in step S332.
  • the actual position PVv of the current workpiece W is managed, for example, in the nonvolatile memory 216 or the main memory 218 (see FIG. 4) of the controller 200.
  • step S360 the processor 214 determines the current estimated position PV of the work W based on the actual position PVv of the current work W and the encoder value PVm obtained from the encoder 412. Details of the method for determining the estimated position PV will be described later.
  • step S362 the processor 214 generates a movement command MV for adjusting the estimated position PV of the workpiece W to the target position SP as the feedback control unit 254 (see FIG. 1), and uses the movement command MV for the servo driver 300. Output to.
  • step S364 the processor 214 adds the control period Ts to the measurement time t, and updates the measurement time t.
  • step S370 the processor 214 determines whether or not to end the control process of the moving mechanism 400. As an example, the processor 214 ends the control process of the moving mechanism 400 based on receiving the stop operation. When processor 214 determines to end the control process of moving mechanism 400 (YES in step S370), it ends the process shown in FIG. Otherwise (NO in step S370), processor 214 returns control to step S320.
  • the processor 214 is based on the fact that the imaging of the visual sensor 50 has ended.
  • the actual position PVv measured last time is updated with the newly measured actual position PVv. That is, the processor 214 does not update the actual position PVv until the imaging of the visual sensor 50 is completed, and updates the actual position PVv after the imaging of the visual sensor 50 is completed.
  • the position determination unit 252 determines the estimated position PV based on the actual position PVv before the update and the encoder value PVm before the update of the actual position PVv, and after the update of the actual position PVv, The estimated position PV is determined based on the position PVv and the encoder value PVm.
  • the position determination unit 252 calculates the estimated position PV, for example, by performing processing as shown in the flowchart of FIG. FIG. 10 is a flowchart showing the processing contents of a subroutine of step S134 shown in FIG. 5, step S222 shown in FIG. 7, and step S360 shown in FIG.
  • step S421 the position determination unit 252 detects whether or not the actual position PVv is obtained from the visual sensor 50. If the actual position PVv is obtained (YES in step S421), position determination unit 252 switches control to step S422. Otherwise (NO in step S421), position determination unit 252 switches control to step S427.
  • step S422 the position determination unit 252 determines whether or not the actual position PVv is a normal value. For example, the position determination unit 252 determines that the actual position PVv is a normal value if the value is within a predetermined range. If position determination unit 252 determines that actual position PVv is a normal value (YES in step S422), control is switched to step S423. Otherwise (NO in step S427), position determination unit 252 switches control to step S427.
  • the position determination unit 252 receives an input of the actual position PVv.
  • the position determining unit 252 estimates the encoder value PVms of the imaging time that is the basis for calculating the actual position PVv.
  • the imaging time is, for example, an exposure start time (time when the shutter of the imaging unit 52 is opened) and an exposure end time (time when the shutter of the imaging unit 52 is closed). It is set by the middle time.
  • step S425 the position determination unit 252 calculates the estimated position PV using the actual position PVv and encoder value PVm at the same time and the encoder value PVms at the imaging time that is the calculation source of the actual position PVv. More specifically, in step S425, the position determination unit 252 calculates the estimated position PV using the following (Expression 1).
  • step S ⁇ b> 426 the position determination unit 252 outputs the calculated estimated position PV to the feedback control unit 254.
  • the position determination unit 252 stores the estimated position PV as the reference estimated position PVp and stores the encoder value PVm at this time as the reference encoder value PVmp.
  • step S427 the position determination unit 252 determines whether the output of the actual position PVv is one or more times.
  • control is switched to step S428. Otherwise (NO in step S427), processor 214 switches control to step S426.
  • step S428 the position determination unit 252 calculates the estimated position PV using the encoder value PVm, the reference estimated position PVp, and the reference encoder value PVmp. More specifically, in step S428, the position determination unit 252 calculates the estimated position PV using the following (Expression 2).
  • the output timing of the imaging instruction, the movement command, and the actual position
  • a control system (1) comprising an adjustment unit (256) for adjusting at least one of the update timings.
  • the adjusting unit (256) is configured such that when the moving speed of the moving mechanism (400) specified from the position related information is smaller than a predetermined value, The control system (1) according to Configuration 1, which outputs an imaging instruction to the visual sensor (50).
  • the adjusting unit (256) performs the feedback control on a movement command such that the moving speed of the moving mechanism (400) becomes smaller than the predetermined value while the visual sensor (50) images the object.
  • the control system (1) according to Configuration 1, which is generated by the unit (254).
  • the position determining unit (252) may detect the actual position measured last time. And the control system (1) according to Configuration 1, wherein the estimated position is determined based on the position-related information.
  • a control method of a moving mechanism (400) for moving an object Outputting an imaging instruction to the visual sensor (50), and causing the visual sensor (50) to measure the actual position of the object from an image obtained by the object; Detecting position related information related to the position of the moving mechanism (400) for each predetermined control period shorter than the interval at which the imaging instruction is output to the visual sensor (50); Determining an estimated position of the object at a current time for each control period based on the actual position and the position related information; Outputting a movement command for adjusting the estimated position to a target position of the object to the movement mechanism (400) for each control period; In order for the visual sensor (50) to image the object when the moving speed of the moving mechanism (400) is smaller than a predetermined value, the output timing of the imaging instruction, the movement command, and the actual position Adjusting at least one of the update timings.
  • a control program for a moving mechanism (400) for moving an object stores a controller for controlling the moving mechanism (400). Outputting an imaging instruction to the visual sensor (50), and causing the visual sensor (50) to measure the actual position of the object from an image obtained by the object; Detecting position related information related to the position of the moving mechanism (400) for each predetermined control period shorter than the interval at which the imaging instruction is output to the visual sensor (50); Determining an estimated position of the object at a current time for each control period based on the actual position and the position related information; Outputting a movement command for adjusting the estimated position to a target position of the object to the movement mechanism (400) for each control period; In order for the visual sensor (50) to image the object when the moving speed of the moving mechanism (400) is smaller than a predetermined value, the output timing of the imaging instruction, the movement command, and the actual position And a step of adjusting at least one of the update timings.
  • control system 4, 7 base plate, 6, 9 ball screw, 12 features, 50 visual sensor, 52 imaging unit, 54 image processing unit, 100 image processing device, 102, 104 camera, 110, 214 processor, 112 RAM, 114 Display controller, 116 system controller, 118 I / O controller, 120 hard disk, 122 camera interface, 122a image buffer, 124 input interface, 126 controller interface, 128, 228 communication interface, 130, 222 memory card interface, 132 display unit, 134 Keyboard, 136,224 memory card, 150 control program, 200 controller, 210 main control unit 212 chipset, 216 non-volatile memory, 218 main memory, 220 system clock, 226 internal bus, 230 internal bus controller, 232 control circuit, 234 internal bus control circuit, 236 buffer memory, 238 fieldbus controller, 252 position determination Part, 254 feedback control part, 256 adjustment part, 300, 300X, 300Y servo driver, 400 moving mechanism, 410, 410X, 410Y servo motor, 412 encoder, 420 stage.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

視覚センサ(50)の撮像時に生じ得る被写体ぶれを抑制する。制御システム(1)は、対象物を移動させる移動機構(400)と、対象物を撮像して得られた画像から対象物の実位置を計測する視覚センサ(50)と、撮像間隔よりも短い制御周期ごとに移動機構(400)の位置関連情報を検出する検出部(412)と、実位置と位置関連情報とに基づいて、対象物の推定位置を決定する位置決定部(252)と、推定位置を目標位置に合わせる移動指令を移動機構(400)に出力するフィードバック制御部(254)と、移動機構(400)の移動速度が所定値よりも小さいときに対象物を撮像させるために、撮像指示の出力タイミングと移動指令と実位置の更新タイミングとの少なくとも1つを調整する調整部(256)とを備える。

Description

制御システム、制御方法、および制御プログラム
 本開示は、視覚センサによって計測されたワークの位置に基づいて、ワークの位置決めを行なうための技術に関する。
 FA(ファクトリー オートメーション)において、ワークなどの対象物の位置を目標位置に合わせる技術(位置決め技術)が各種実用化されている。この際、対象物の位置と目標位置との偏差(距離)を計測する方法として、視覚センサによって撮像された画像を用いる方法がある。
 特開2017-24134号公報(特許文献1)には、可動台と、可動台を移動させる移動機構と、可動台に載置されたワークを繰り返し撮像し、当該ワークの位置を繰り返し検出する視覚センサとを備えるワーク位置決め装置が開示されている。ワーク位置決め装置は、視覚センサによって位置が検出されるごとに、検出された位置と目標位置との差を算出し、当該差が許容範囲内であると判定されたときに、可動台の移動を停止する。ワーク位置決め装置は、可動台の移動停止後に視覚センサによって検出された位置と目標位置との差を算出し、算出された差が許容範囲内であるか否かを判定する。差が許容範囲外であると判定されると、当該差を小さくする可動台の移動方向が決定され、決定された移動方向へ可動台を移動させるように、移動機構が制御される。
特開2017-24134号公報
 移動機構の移動中に対象物が撮像される場合、画像に写る対象物がぶれてしまうことがある(所謂、被写体ぶれ)。このような被写体ぶれは、撮像時における移動機構の移動速度が速いほど顕著となる。被写体ぶれが生じると、画像から検出される対象物の位置に誤差が生じてしまうことがある。したがって、被写体ぶれを抑制するための技術が望まれている。
 本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、視覚センサの撮像時に生じ得る被写体ぶれを抑制することが可能な制御システムを提供することである。他の局面における目的は、視覚センサの撮像時に生じ得る被写体ぶれを抑制することが可能な制御方法を提供することである。他の局面における目的は、視覚センサの撮像時に生じ得る被写体ぶれを抑制することが可能な制御プログラムを提供することである。
 本開示の一例では、制御システムは、対象物を移動させるための移動機構と、撮像指示を受け付けたことに基づいて上記対象物を撮像し、撮像により得られた画像から上記対象物の実位置を計測するための視覚センサと、上記撮像指示が上記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに上記移動機構の位置に関する位置関連情報を検出するための検出部と、上記実位置と上記位置関連情報とに基づいて、現時点における上記対象物の推定位置を上記制御周期ごとに決定するための位置決定部と、上記推定位置を上記対象物の目標位置に合わせるための移動指令を上記制御周期ごとに上記移動機構に出力するフィードバック制御部と、上記移動機構の移動速度が所定値よりも小さいときに上記視覚センサに上記対象物を撮像させるために、上記撮像指示の出力タイミングと、上記移動指令と、上記実位置の更新タイミングとの少なくとも1つを調整するための調整部とを備える。
 この開示によれば、移動機構の移動速度が所定値よりも小さいときに視覚センサが撮像処理を実行でき、被写体ぶれが抑制される。視覚センサは、被写体ぶれが抑制された画像に基づいて対象物の実位置を検出できるので、対象物の実位置を正確に検出することができる。
 本開示の一例では、上記調整部は、上記視覚センサが撮像可能状態である場合において、上記位置関連情報から特定される上記移動機構の移動速度が所定値よりも小さいときに、上記撮像指示を上記視覚センサに出力する。
 この開示によれば、移動機構の移動速度が所定値よりも小さいときに撮像指示が視覚センサに出力されるので、被写体ぶれが抑制される。
 本開示の一例では、上記調整部は、上記視覚センサが上記対象物を撮像している間において上記移動機構の移動速度が上記所定値よりも小さくなるような移動指令を上記フィードバック制御部に生成させる。
 この開示によれば、視覚センサの撮像時に移動機構の移動速度が所定値よりも下げられので、被写体ぶれが抑制される。
 本開示の一例では、上記位置決定部は、上記視覚センサが撮像可能状態である場合に、上記実位置が上記視覚センサによって新たに計測されたときには、前回に計測された上記実位置と、上記位置関連情報とに基づいて、上記推定位置を決定する。
 この開示によれば、対象物の実位置が新たに計測された場合であっても、視覚センサが撮像可能状態であるときには、前回に計測された実位置と位置関連情報とに基づいて、ワークの推定位置が決定される。これにより、移動機構の移動速度が視覚センサの撮像中に急変することが防止され、被写体ぶれが抑制される。
 本開示の一例では、上記調整部は、上記視覚センサの撮像が終了したことに基づいて前回に計測された上記実位置を新たに計測された上記実位置で更新する。
 この開示によれば、視覚センサの撮像中に対象物の実位置が更新されないので、移動機構の移動速度が視覚センサの撮像中に急変することが防止される。その結果、被写体ぶれが抑制される。
 本開示の他の例では、対象物を移動させるための移動機構の制御方法は、撮像指示を視覚センサに出力し、上記対象物して得られた画像から上記対象物の実位置を上記視覚センサに計測させるステップと、上記撮像指示が上記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに上記移動機構の位置に関する位置関連情報を検出するステップと、上記実位置と上記位置関連情報とに基づいて、現時点における上記対象物の推定位置を上記制御周期ごとに決定するステップと、上記推定位置を上記対象物の目標位置に合わせるための移動指令を上記制御周期ごとに上記移動機構に出力するステップと、上記移動機構の移動速度が所定値よりも小さいときに上記視覚センサに上記対象物を撮像させるために、上記撮像指示の出力タイミングと、上記移動指令と、上記実位置の更新タイミングとの少なくとも1つを調整するステップとを備える。
 この開示によれば、移動機構の移動速度が所定値よりも小さいときに視覚センサが撮像処理を実行でき、被写体ぶれが抑制される。視覚センサは、被写体ぶれが抑制された画像に基づいて対象物の実位置を検出できるので、対象物の実位置を正確に検出することができる。
 本開示の他の例では、対象物を移動させるための移動機構の制御プログラムは、上記移動機構を制御するためのコントローラに、撮像指示を視覚センサに出力し、上記対象物して得られた画像から上記対象物の実位置を上記視覚センサに計測させるステップと、上記撮像指示が上記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに上記移動機構の位置に関する位置関連情報を検出するステップと、上記実位置と上記位置関連情報とに基づいて、現時点における上記対象物の推定位置を上記制御周期ごとに決定するステップと、上記推定位置を上記対象物の目標位置に合わせるための移動指令を上記制御周期ごとに上記移動機構に出力するステップと、上記移動機構の移動速度が所定値よりも小さいときに上記視覚センサに上記対象物を撮像させるために、上記撮像指示の出力タイミングと、上記移動指令と、上記実位置の更新タイミングとの少なくとも1つを調整するステップとを実行させる。
 この開示によれば、移動機構の移動速度が所定値よりも小さいときに視覚センサが撮像処理を実行でき、被写体ぶれが抑制される。視覚センサは、被写体ぶれが抑制された画像に基づいて対象物の実位置を検出できるので、対象物の実位置を正確に検出することができる。
 ある局面において、視覚センサの撮像時に生じ得る被写体ぶれを抑制することができる。
実施の形態に従う制御システムの概要を示す模式図である。 実施の形態に従う制御システムの装置構成の一例を示す図である。 実施の形態に従う画像処理装置のハードウェア構成の一例を示す模式図である。 実施の形態に従うコントローラのハードウェア構成を示す模式図である。 撮像トリガの出力タイミングを調整するための制御フローを示す図である。 移動機構の移動速度の推移の一例を示す図である。 サーボドライバに対する移動指令を調整するための制御フローを示す図である。 移動機構の移動速度の推移の一例を示す図である。 ワークの実位置を更新するタイミングを調整するための制御フローを示す図である。 図5に示されるステップS134、図7に示されるステップS222、および図9に示されるステップS360のサブルーチンの処理内容を示すフローチャートである。
 以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
 <A.適用例>
 まず、図1を参照して、本発明が適用される場面の一例について説明する。図1は、本実施の形態に従う制御システム1の概要を示す模式図である。
 制御システム1は、画像処理を用いてアライメントを行なう。アライメントは、典型的には、工業製品の製造過程などにおいて、対象物(以下、「ワークW」ともいう。)を生産ラインの本来の位置に配置する処理などを意味する。このようなアライメントの一例として、制御システム1は、液晶パネルの生産ラインにおいて、ガラス基板に回路パターンの焼付処理(露光処理)前に、露光マスクに対するガラス基板の位置決めを行なう。
 制御システム1は、たとえば、視覚センサ50と、コントローラ200と、サーボドライバ300と、移動機構400とを含む。視覚センサ50は、たとえば、撮像部52と、画像処理部54とを含む。移動機構400は、たとえば、サーボモータ410と、ステージ420とで構成されている。
 撮像部52は、撮像視野に存在する被写体を撮像して画像データを生成する撮像処理を行なうものであり、ステージ420に載置されるワークWを撮像する。撮像部52は、コントローラ200からの撮像トリガTRに応じて撮像を行なう。撮像部52によって生成された画像データは、画像処理部54に順次出力される。画像処理部54は、撮像部52から得られた画像データに対して画像解析を行ない、ワークWの実位置PVvを計測する。実位置PVvは、計測される度にコントローラ200に出力される。
 コントローラ200は、たとえばPLC(プログラマブル ロジック コントローラ)であり、各種のFA制御を行なう。コントローラ200は、機能構成の一例として、位置決定部252と、フィードバック制御部254と、調整部256とを含む。
 位置決定部252は、視覚センサ50によって計測された実位置PVvと、視覚センサ50による撮像間隔Tbよりも短い制御周期Tsごとに得られるエンコーダ値PVm(位置関連情報)とに基づいて、制御周期TsごとにワークWの位置(以下、「推定位置PV」ともいう。)を推定する。推定位置PVは、制御周期Tsごとにフィードバック制御部254に出力される。
 フィードバック制御部254は、目標位置SPと位置決定部252によって決定された推定位置PVとを用いて、推定位置PVを目標位置SPに近付けるような移動指令MVを制御周期Tsごとに更新してサーボドライバ300に出力する。移動指令MVは、たとえば、サーボドライバ300に対する指令位置、指令速度、または指令トルクのいずれかである。フィードバック制御部254によるフィードバック制御は、たとえば、PID(Proportional Integral Differential)制御、PI制御、PD制御、またはP制御により実現される。
 ある局面において、目標位置SPは、生産工程ごとに予め決められており、現在の生産工程に応じて順次切り替えられる。他の局面において、目標位置SPは、視覚センサ50が所定の画像処理を行なうことにより画像内から検出される。この場合、視覚センサ50は、予め定められたマークを画像から検出し、当該マークを目標位置SPとして認識する。
 調整部256は、移動機構400の移動速度が所定値よりも小さいときに視覚センサ50にワークWを撮像させるために、視覚センサ50に出力する撮像トリガTR(撮像指示)の出力タイミングと、移動機構400に出力する移動指令MVと、実位置PVvの更新タイミングとの少なくとも1つを調整する。これらの調整方法の詳細については後述する。移動機構400の移動速度が所定値よりも小さいときに視覚センサ50が撮像処理を実行することで被写体ぶれが抑制される。視覚センサ50は、被写体ぶれが抑制された画像に基づいてワークWの実位置PVvを検出できるので、ワークWの実位置PVvを正確に検出することができる。
 サーボドライバ300は、制御周期Tsごとに受ける移動指令MVに従って、サーボモータ410を駆動する。より具体的には、サーボドライバ300は、制御周期Tsごとにエンコーダ412(検出部)からエンコーダ値PVmを取得する。サーボドライバ300は、エンコーダ値PVmにより示される速度/位置を、移動指令MVにより示される速度/位置に合わせるように、サーボモータ410をフィードバック制御する。一例として、当該フィードバック制御は、PID制御、PI制御、PD制御、またはP制御により実現される。
 なお、図1には、位置決定部252、フィードバック制御部254、調整部256、サーボドライバ300、サーボモータ410、およびエンコーダ412のコンポーネント群が1つしか示されていないが、これらのコンポーネント群は、ステージ420を駆動する軸数の分だけ設けられる。各コンポーネント群は、ステージ420の1つの軸方向における制御を担うことになる。この場合、視覚センサ50によって計測された実位置PVvは、各軸方向における実位置に分解され、分解後の各実位置が対応のコンポーネント群に出力されることとなる。
 <B.制御システム1の装置構成>
 図2は、制御システム1の装置構成の一例を示す図である。図2に示されるように、制御システム1は、視覚センサ50と、コントローラ200と、1つ以上のサーボドライバ300(図2の例では、サーボドライバ300X,300Y)と、移動機構400とを含む。視覚センサ50は、画像処理装置100と、1つ以上のカメラ(図2の例では、カメラ102および104)とを含む。
 画像処理装置100は、カメラ102,104がワークWを撮影して得られた画像データに基づいて、ワークWの特徴部分12(たとえば、ネジ穴など)を検出する。画像処理装置100は、検出した特徴部分12の位置をワークWの実位置PVvとして検出する。
 コントローラ200には、1つ以上のサーボドライバ300(図2の例では、サーボドライバ300X,300Y)が接続されている。サーボドライバ300Xは、コントローラ200からの受けるX方向の移動指令に従って、制御対象のサーボモータ410Xを駆動する。サーボドライバ300Yは、コントローラ200からの受けるY方向の移動指令に従って、制御対象のサーボモータ410Yを駆動する。
 コントローラ200は、X方向に対して生成された目標軌道TGxに従って、サーボドライバ300Xに対してX方向の目標位置を指令値として与える。また、コントローラ200は、Y方向に対して生成された目標軌道TGyに従って、サーボドライバ300Yに対してY方向の目標位置を指令値として与える。X,Y方向のそれぞれの目標位置が順次更新されることで、ワークWが目標位置SPに移動させられる。
 コントローラ200およびサーボドライバ300は、フィールドネットワークを介してデイジーチェーンで接続されている。フィールドネットワークには、たとえば、EtherCAT(登録商標)が採用される。但し、フィールドネットワークは、EtherCATに限定されず、任意の通信手段が採用され得る。一例として、コントローラ200およびサーボドライバ300は、信号線で直接接続されてもよい。また、コントローラ200およびサーボドライバ300は、一体的に構成されてもよい。
 移動機構400は、ベースプレート4,7と、ボールネジ6,9と、ステージ420と、1つ以上のサーボモータ410(図2の例では、サーボモータ410X,410Y)とで構成されている。
 ベースプレート4には、ステージ420をX方向に沿って移動させるボールネジ6が配置されている。ボールネジ6は、ステージ420に含まれるナットと係合されている。ボールネジ6の一端に連結されたサーボモータ410Xが回転駆動することで、ステージ420に含まれるナットとボールネジ6とが相対回転し、その結果、ステージ420がX方向に沿って移動する。
 ベースプレート7は、ステージ420およびベースプレート4をY方向に沿って移動させるボールネジ9が配置されている。ボールネジ9は、ベースプレート4に含まれるナットと係合されている。ボールネジ9の一端に連結されたサーボモータ410Yが回転駆動することで、ベースプレート4に含まれるナットとボールネジ9とが相対回転し、その結果、ステージ420およびベースプレート4がY方向に沿って移動する。
 なお、図2には、サーボモータ410X,410Yによる2軸駆動の移動機構400が示されているが、移動機構400は、XY平面上の回転方向(θ方向)にステージ420を駆動するサーボモータがさらに組み込まれてもよい。
 <C.ハードウェア構成>
 図3および図4を参照して、視覚センサ50を構成する画像処理装置100およびコントローラ200のハードウェア構成について順に説明する。
  (C1.画像処理装置100のハードウェア構成)
 図3は、視覚センサ50を構成する画像処理装置100のハードウェア構成の一例を示す模式図である。図3を参照して、画像処理装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
 より具体的には、画像処理装置100は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ110と、RAM(Random Access Memory)112と、表示コントローラ114と、システムコントローラ116と、I/O(Input Output)コントローラ118と、ハードディスク120と、カメラインターフェイス122と、入力インターフェイス124と、コントローラインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130とを含む。これらの各部は、システムコントローラ116を中心として、互いにデータ通信可能に接続される。
 プロセッサ110は、システムコントローラ116との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
 システムコントローラ116は、プロセッサ110、RAM112、表示コントローラ114、およびI/Oコントローラ118とそれぞれバスを介して接続されており、各部との間でデータ交換などを行なうとともに、画像処理装置100全体の処理を司る。
 RAM112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク120から読み出されたプログラムや、カメラ102および104によって取得されたカメラ画像(画像データ)、カメラ画像に対する処理結果、およびワークデータなどを保持する。
 表示コントローラ114は、表示部132と接続されており、システムコントローラ116からの内部コマンドに従って、各種の情報を表示するための信号を表示部132へ出力する。
 I/Oコントローラ118は、画像処理装置100に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ118は、ハードディスク120と、カメラインターフェイス122と、入力インターフェイス124と、コントローラインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130と接続される。
 ハードディスク120は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ110で実行される制御プログラム150に加えて、各種設定値などが格納される。このハードディスク120にインストールされる制御プログラム150は、メモリカード136などに格納された状態で流通する。なお、ハードディスク120に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
 カメラインターフェイス122は、ワークを撮影することで生成された画像データを受け付ける入力部に相当し、プロセッサ110とカメラ102,104との間のデータ伝送を仲介する。カメラインターフェイス122は、カメラ102および104からの画像データをそれぞれ一時的に蓄積するための画像バッファ122aおよび122bを含む。複数のカメラに対して、カメラの間で共有できる単一の画像バッファを設けてもよいが、処理高速化のため、それぞれのカメラに対応付けて独立に複数配置することが好ましい。
 入力インターフェイス124は、プロセッサ110とキーボード134、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。
 コントローラインターフェイス126は、プロセッサ110とコントローラ200との間のデータ伝送を仲介する。
 通信インターフェイス128は、プロセッサ110と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス128は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
 メモリカードインターフェイス130は、プロセッサ110と記録媒体であるメモリカード136との間のデータ伝送を仲介する。メモリカード136には、画像処理装置100で実行される制御プログラム150などが格納された状態で流通し、メモリカードインターフェイス130は、このメモリカード136から制御プログラムを読み出す。メモリカード136は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。あるいは、通信インターフェイス128を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置100にインストールしてもよい。
 上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に従う機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に従う制御プログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼び出して処理を実行するものであってもよい。
 さらに、本実施の形態に従う制御プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に従う制御プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。
 なお、代替的に、制御プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
  (C2.コントローラ200のハードウェア構成)
 図4は、コントローラ200のハードウェア構成を示す模式図である。図4を参照して、コントローラ200は、主制御ユニット210とを含む。図4には、3軸分のサーボモータ410X,410Y,410θが示されており、この軸数に応じた数のサーボドライバ300X,300Y,300θが設けられる。
 主制御ユニット210は、チップセット212と、プロセッサ214と、不揮発性メモリ216と、主メモリ218と、システムクロック220と、メモリカードインターフェイス222と、通信インターフェイス228と、内部バスコントローラ230と、フィールドバスコントローラ238とを含む。チップセット212と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
 プロセッサ214およびチップセット212は、典型的には、汎用的なコンピュータアーキテクチャに従う構成を有している。すなわち、プロセッサ214は、チップセット212から内部クロックに従って順次供給される命令コードを解釈して実行する。チップセット212は、接続されている各種コンポーネントとの間で内部的なデータを遣り取りするとともに、プロセッサ214に必要な命令コードを生成する。システムクロック220は、予め定められた周期のシステムクロックを発生してプロセッサ214に提供する。チップセット212は、プロセッサ214での演算処理の実行の結果得られたデータなどをキャッシュする機能を有する。
 主制御ユニット210は、記憶手段として、不揮発性メモリ216および主メモリ218を有する。不揮発性メモリ216は、OS、システムプログラム、ユーザプログラム、データ定義情報、ログ情報などを不揮発的に保持する。主メモリ218は、揮発性の記憶領域であり、プロセッサ214で実行されるべき各種プログラムを保持するとともに、各種プログラムの実行時の作業用メモリとしても使用される。
 主制御ユニット210は、通信手段として、通信インターフェイス228と、内部バスコントローラ230と、フィールドバスコントローラ238とを有する。これらの通信回路は、データの送信および受信を行なう。
 通信インターフェイス228は、画像処理装置100との間でデータを遣り取りする。
 内部バスコントローラ230は、内部バス226を介したデータの遣り取りを制御する。より具体的には、内部バスコントローラ230は、バッファメモリ236と、DMA(Dynamic Memory Access)制御回路232と、内部バス制御回路234とを含む。
 メモリカードインターフェイス222は、主制御ユニット210に対して着脱可能なメモリカード224とプロセッサ214とを接続する。
 フィールドバスコントローラ238は、フィールドネットワークに接続するための通信インターフェイスである。コントローラ200は、フィールドバスコントローラ238を介してサーボドライバ300(たとえば、サーボドライバ300X,300Y,300θ)と接続される。当該フィールドネットワークには、たとえば、EtherCAT(登録商標)、EtherNet/IP(登録商標)、CompoNet(登録商標)などが採用される。
 <D.コントローラ200の制御構造>
 上述のように、コントローラ200は、移動機構400の移動速度が所定値よりも小さいときに視覚センサ50に撮像処理を実行させることで被写体ぶれを抑制する。被写体ぶれを抑制するための方法としては、(a)視覚センサ50に撮像トリガTRを出力するタイミングを調整することと、(b)サーボドライバ300に対する移動指令MVを調整することと、(c)視覚センサ50によって計測されたワークWの実位置PVvを更新するタイミングを調整することとが挙げられる。
 以下では、図5~図9を参照して、被写体ぶれの抑制方法(a)~(c)について順に説明する。
  (D1.制御フロー1)
 まず、図5および図6を参照して、上記抑制方法(a)について説明する。本例においては、コントローラ200は、移動機構400の移動速度が所定値よりも小さいときに、撮像トリガTRを視覚センサ50に出力する。
 図5は、撮像トリガTRの出力タイミングを調整するための制御フローを示す図である。図5に示される処理は、コントローラ200のプロセッサ214がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
 ステップS110において、プロセッサ214は、計測時間tをゼロに初期化する。
 ステップS120において、プロセッサ214は、視覚センサ50が撮像可能状態であるか否かを判断する。ここでいう撮像可能状態とは、撮像指示を待っている状態のことをいう。典型的には、視覚センサ50が撮像トリガTRを受け付けてから撮像が終了するまでの時間は撮像不可能状態であり、それ以外の時間は撮像可能状態である。プロセッサ214は、視覚センサ50が撮像可能状態であると判断した場合(ステップS120においてYES)、制御をステップS130に切り替える。そうでない場合には(ステップS120においてNO)、プロセッサ214は、制御をステップS134に切り替える。
 ステップS130において、プロセッサ214は、移動機構400の現在の移動速度が所定値以下であるか否かを判断する。当該移動速度は、たとえば、エンコーダ412によって検出されるエンコーダ値PVmから算出される。あるいは、当該移動速度は、サーボドライバ300に出力される移動指令MVから特定される。プロセッサ214は、移動機構400の現在の移動速度が所定値以下であると判断した場合(ステップS130においてYES)、制御をステップS132に切り替える。そうでない場合には(ステップS130においてNO)、プロセッサ214は、制御をステップS134に切り替える。
 ある局面において、ステップS130において、プロセッサ214は、各軸方向における移動機構400の移動速度が全て所定値th以下であるか否かを判断する。他の局面において、ステップS130において、プロセッサ214は、移動機構400の移動速度が所定値th以下であるか否かを判断してもよい。一例として、移動機構400がX軸およびY軸の2軸駆動である場合には、プロセッサ214は、X軸方向の移動速度とY軸方向の移動速度との2乗和の平方根を移動機構400の移動速度として算出し、当該移動速度所定値th以下であるか否かを判断する。
 ステップS132において、プロセッサ214は、上述の調整部256(図1参照)として、撮像トリガTRを視覚センサ50に出力する。視覚センサ50は、撮像トリガTRを受け付けたことに応じて撮像処理を開始する。その後、視覚センサ50は、得られた画像データに対して所定の画像解析を行ない、画像データに基づいてワークWの実位置PVvを計測する。
 ステップS134において、プロセッサ214は、上述のフィードバック制御部254(図1参照)として、視覚センサ50によって計測されたワークWの実位置PVvと、エンコーダ412から得られるエンコーダ値PVmとに基づいて、現時点におけるワークWの推定位置PVを決定する。推定位置PVの決定方法の詳細については後述する。
 ステップS136において、プロセッサ214は、上述のフィードバック制御部254(図1参照)として、ステップS134で決定されたワークWの推定位置PVを目標位置SPに合わせるための移動指令MVを生成し、当該移動指令MVをサーボドライバ300に出力する。
 ステップS138において、プロセッサ214は、計測時間tに制御周期Tsを加算し、計測時間tを更新する。
 ステップS140において、プロセッサ214は、移動機構400の制御処理を終了するか否かを判断する。一例として、プロセッサ214は、停止操作を受け付けたことに基づいて、移動機構400の制御処理を終了する。プロセッサ214は、移動機構400の制御処理を終了すると判断した場合(ステップS140においてYES)、図5に示される処理を終了する。そうでない場合には(ステップS140においてNO)、プロセッサ214は、制御をステップS120に戻す。
 以上のように、プロセッサ214は、ステップS130,S132の処理により、移動機構400の移動速度が所定値以下の場合に視覚センサ50に撮像トリガTRを出力し、移動機構400の移動速度が所定値を超えている場合には視覚センサ50に撮像トリガTRを出力しない。
 図6を参照して、図5のステップS130,S132での撮像トリガTRの出力タイミングの具体例について説明する。図6は、移動機構400の移動速度の推移の一例を示す図である。
 時刻t11において、視覚センサ50の状態が撮像不可能状態から撮像可能状態に変化したとする。このとき、プロセッサ214は、移動機構400の移動機構の移動速度が所定値thを超えているので、視覚センサ50が撮像可能状態であったとしても視覚センサ50に撮像トリガTRを出力しない。
 時刻t12において、移動機構400の移動速度が所定値thになったとする。このことに基づいて、視覚センサ50は、撮像トリガTRを視覚センサ50に出力する。このように、視覚センサ50は、視覚センサ50が撮像可能状態である場合において、移動機構400の移動速度が所定値thよりも小さいときに、撮像トリガTRを視覚センサ50に出力する。視覚センサ50は、撮像トリガTRを受け付けたことに基づいて、撮像処理とワークWの実位置PVvの計測処理とを順次実行する。
 時刻t13において、再び、視覚センサ50の状態が撮像不可能状態から撮像可能状態に変化したとする。このとき、移動機構400の移動機構の移動速度は、所定値th以下であるので、プロセッサ214は、撮像トリガTRを視覚センサ50に出力する。
 このように、移動機構400の移動速度が所定値th以下のときに撮像トリガTRが出力されることで、被写体ぶれが抑制される。これにより、視覚センサ50は、被写体ぶれが抑制された画像データを取得でき、ワークWの位置計測精度の低下を抑制することができる。
  (D2.制御フロー2)
 次に、図7および図8を参照して、上記抑制方法(b)について説明する。本例においては、コントローラ200は、視覚センサ50がワークWを撮像している間において移動機構400の移動速度が所定値よりも小さくなるように移動指令MVを調整する。
 図7は、サーボドライバ300に対する移動指令MVを調整するための制御フローを示す図である。図7に示される処理は、コントローラ200のプロセッサ214がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
 ステップS210において、プロセッサ214は、計測時間tをゼロに初期化する。
 ステップS222において、プロセッサ214は、視覚センサ50によって計測されたワークWの実位置PVvと、エンコーダ412から得られるエンコーダ値PVmとに基づいて、現時点におけるワークWの推定位置PVを決定する。推定位置PVの決定方法の詳細については後述する。
 ステップS224において、プロセッサ214は、上述のフィードバック制御部254(図1参照)として、ステップS222で決定されたワークWの推定位置PVを目標位置SPに合わせるための移動指令MVを生成し、当該移動指令MVをサーボドライバ300に出力する。
 ステップS230において、プロセッサ214は、視覚センサ50が撮像中であるか否か(すなわち、シャッターが開いているか否か)を判断する。一例として、プロセッサ214は、視覚センサ50の状態情報を定期的に視覚センサ50から取得し、当該情報に基づいて視覚センサ50が撮像中であるか否かを判断する。あるいは、視覚センサ50が撮像トリガTRを受けた後にシャッターが開くタイミング、期間が決まっている場合には、プロセッサ214は、撮像トリガTRの出力タイミングに基づいて、視覚センサ50が撮像中であるか否かを判断してもよい。プロセッサ214は、視覚センサ50が撮像中であると判断した場合(ステップS230においてYES)、制御をステップS232に切り替える。そうでない場合には(ステップS230においてNO)、プロセッサ214は、制御をステップS234に切り替える。
 ステップS232において、プロセッサ214は、上述の調整部256(図1参照)として、移動機構400の移動速度が所定値以下になるようにステップS224で生成された移動指令MVを制限する。より具体的には、プロセッサ214は、移動機構400の現時点の移動速度が所定値を超えている場合には移動指令MVを制限し、移動機構400の現時点の移動速度が所定値以下である場合には移動指令MVを制限しない。
 ステップS234において、プロセッサ214は、ステップS230でNOと判断された場合には、ステップS224で生成された移動指令MVをサーボドライバ300に出力する。一方で、プロセッサ214は、ステップS230でYESと判断された場合には、ステップS232で制限された移動指令MVをサーボドライバ300に出力する。
 ステップS236において、プロセッサ214は、計測時間tに制御周期Tsを加算し、計測時間tを更新する。
 ステップS240において、プロセッサ214は、移動機構400の制御処理を終了するか否かを判断する。一例として、プロセッサ214は、停止操作を受け付けたことに基づいて、移動機構400の制御処理を終了する。プロセッサ214は、移動機構400の制御処理を終了すると判断した場合(ステップS240においてYES)、図7に示される処理を終了する。そうでない場合には(ステップS240においてNO)、プロセッサ214は、制御をステップS222に戻す。
 以上のように、プロセッサ214は、ステップS230,S232の処理により、視覚センサ50がワークを撮像している間において移動機構400の移動速度が所定値よりも小さくなるような移動指令MVを制限する。
 図8を参照して、図7のステップS230,S232での移動指令MVの制限処理の具体例について説明する。図8は、移動機構400の移動速度の推移の一例を示す図である。
 時刻t21において、視覚センサ50の状態が撮像不可能状態から撮像可能状態に変化したとする。このことに基づいて、プロセッサ214は、撮像トリガTRを視覚センサ50に出力する。これにより、視覚センサ50は、撮像処理を開始する。ここでいう撮像処理とは、画像を生成するために実行される処理を意味し、たとえば、シャッターの開閉処理などを含む。プロセッサ214は、視覚センサ50の撮像処理中において、移動機構400の移動速度を所定値th以下に制限するための移動指令MVを生成し、サーボドライバ300に出力する。これにより、移動機構400の速度は、視覚センサ50の撮像処理中において所定値th以下となる。
 時刻t22において、視覚センサ50の撮像処理が完了したとする。このことに基づいて、プロセッサ214は、移動機構400の移動速度の制限を解除する。
 このように、プロセッサ214は、視覚センサ50がワークを撮像している間において移動機構400の移動速度が所定値thよりも小さくなるような移動指令を生成する。これにより、視覚センサ50は、被写体ぶれが抑制された画像データを取得でき、ワークWの位置計測精度の低下を抑制することができる。
  (D3.制御フロー3)
 次に、図9および図10を参照して、上記抑制方法(c)について説明する。本例においては、コントローラ200は、視覚センサ50から新たな実位置PVvが得られたときに、視覚センサ50による撮像が可能な状態になっている場合には、実位置PVvの更新よりも視覚センサ50の撮像を優先する。そして、視覚センサ50の撮像が完了したことに基づいて、現在記憶されている実位置PVvを新たな実位置PVvで更新する。通常、実位置PVvの更新直後においては、移動機構400の速度が上がる傾向にあるが、実位置PVvの更新が撮像中には止められることで、被写体ぶれが抑制される。
 図9は、ワークWの実位置PVvを更新するタイミングを調整するための制御フローを示す図である。図9に示される処理は、コントローラ200のプロセッサ214がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
 ステップS310において、プロセッサ214は、計測時間tをゼロに初期化する。
 ステップS320において、プロセッサ214は、更新待機フラグがTRUEに設定されているか否かを判断する。更新待機フラグは、視覚センサ50によって計測された実位置PVvの更新タイミングを管理するためのフラグである。プロセッサ214は、更新待機フラグがTRUEに設定されていると判断した場合(ステップS320においてYES)、制御をステップS350に切り替える。そうでない場合には(ステップS350においてNO)、プロセッサ214は、制御をステップS330に切り替える。
 ステップS330において、プロセッサ214は、視覚センサ50によるワークWの位置計測が完了しているか否かを判断する。プロセッサ214は、視覚センサ50によるワークWの位置計測が完了していると判断した場合(ステップS330においてYES)、制御をステップS332に切り替える。そうでない場合には(ステップS330においてNO)、プロセッサ214は、制御をステップS360に切り替える。
 ステップS332において、プロセッサ214は、新たに計測されたワークWの実位置PVvを視覚センサ50から取得する。
 ステップS340において、プロセッサ214は、視覚センサ50の状態が撮像可能状態であるか否かを判断する。プロセッサ214は、視覚センサ50の状態が撮像可能状態であると判断した場合(ステップS340においてYES)、制御をステップS342に切り替える。そうでない場合には(ステップS340においてNO)、プロセッサ214は、制御をステップS354に切り替える。
 ステップS342において、プロセッサ214は、更新待機フラグをTRUEに設定する。
 ステップS344において、プロセッサ214は、撮像トリガTRを視覚センサ50に出力する。
 ステップS350において、プロセッサ214は、視覚センサ50による撮像が完了したか否かを判断する。プロセッサ214は、視覚センサ50による撮像が完了したと判断した場合(ステップS350においてYES)、制御をステップS352に切り替える。そうでない場合には(ステップS350においてNO)、プロセッサ214は、制御をステップS360に切り替える。
 ステップS352において、プロセッサ214は、更新待機フラグをFALSEに設定する。
 ステップS354において、プロセッサ214は、現在のワークWの実位置PVvを、ステップS332で取得された新たな実位置PVvで更新する。現在のワークWの実位置PVvは、たとえば、コントローラ200の不揮発性メモリ216や主メモリ218(図4参照)内で管理される。
 ステップS360において、プロセッサ214は、現在のワークWの実位置PVvと、エンコーダ412から得られるエンコーダ値PVmとに基づいて、現時点におけるワークWの推定位置PVを決定する。推定位置PVの決定方法の詳細については後述する。
 ステップS362において、プロセッサ214は、上述のフィードバック制御部254(図1参照)として、ワークWの推定位置PVを目標位置SPに合わせるための移動指令MVを生成し、当該移動指令MVをサーボドライバ300に出力する。
 ステップS364において、プロセッサ214は、計測時間tに制御周期Tsを加算し、計測時間tを更新する。
 ステップS370において、プロセッサ214は、移動機構400の制御処理を終了するか否かを判断する。一例として、プロセッサ214は、停止操作を受け付けたことに基づいて、移動機構400の制御処理を終了する。プロセッサ214は、移動機構400の制御処理を終了すると判断した場合(ステップS370においてYES)、図9に示される処理を終了する。そうでない場合には(ステップS370においてNO)、プロセッサ214は、制御をステップS320に戻す。
 以上のように、プロセッサ214は、視覚センサ50が撮像可能状態である場合に、ワークWの実位置PVvが視覚センサ50によって新たに計測されたときには、視覚センサ50の撮像が終了したことに基づいて前回に計測された実位置PVvを新たに計測された実位置PVvで更新する。すなわち、プロセッサ214は、視覚センサ50の撮像が終了するまでは実位置PVvを更新せずに、視覚センサ50の撮像が終了した後に実位置PVvを更新する。
 位置決定部252は、実位置PVvの更新前においては、更新前の実位置PVvとエンコーダ値PVmとに基づいて、推定位置PVを決定し、実位置PVvの更新後においては、更新後の実位置PVvとエンコーダ値PVmとに基づいて、推定位置PVを決定する。
 <E.推定位置PVの決定処理>
 位置決定部252は、たとえば、図10のフローチャートに示すような処理を行なうことで、推定位置PVを算出する。図10は、図5に示されるステップS134、図7に示されるステップS222、および図9に示されるステップS360のサブルーチンの処理内容を示すフローチャートである。
 ステップS421において、位置決定部252は、視覚センサ50から実位置PVvが得られているか否かを検出する。位置決定部252は、実位置PVvが得られていれば(ステップS421においてYES)、制御をステップS422に切り替える。そうでない場合には(ステップS421においてNO)、位置決定部252は、制御をステップS427に切り替える。
 ステップS422において、位置決定部252は、実位置PVvが正常値であるか否かを判断する。たとえば、位置決定部252は、実位置PVvが所定範囲内の値であれば正常値であると判断する。位置決定部252は、実位置PVvが正常値であると判断した場合(ステップS422においてYES)、制御をステップS423に切り替える。そうでない場合には(ステップS427においてNO)、位置決定部252は、制御をステップS427に切り替える。
 ステップS423において、位置決定部252は、実位置PVvの入力を受け付ける。ステップS424において、位置決定部252は、実位置PVvの入力を受け付けると、当該実位置PVvの算出の元となる撮像時刻のエンコーダ値PVmsの推定を行なう。なお、撮像部52の露光時間が長い場合、撮像時刻は、たとえば、露光開始時刻(撮像部52のシャッターが開となる時刻)と露光終了時刻(撮像部52のシャッターが閉となる時刻)との中間の時刻によって設定される。
 ステップS425において、位置決定部252は、同時刻の実位置PVvおよびエンコーダ値PVmと、当該実位置PVvの算出元となる撮像時刻のエンコーダ値PVmsとを用いて、推定位置PVを算出する。より具体的には、ステップS425では、位置決定部252は、次の(式1)を用いて、推定位置PVを算出する。
 PV=PVv+(PVm-PVms) ・・・(式1)
 ステップS426において、位置決定部252は、算出した推定位置PVをフィードバック制御部254に出力する。また、位置決定部252は、この推定位置PVを参照推定位置PVpとし、この時刻のエンコーダ値PVmを参照エンコーダ値PVmpとして記憶する。
 ステップS427において、位置決定部252は、実位置PVvの出力が1回以上であるか否かを判断する。位置決定部252は、実位置PVvの出力が1回以上であると判断した場合(ステップS427においてYES)、制御をステップS428に切り替える。そうでない場合には(ステップS427においてNO)、プロセッサ214は、制御をステップS426に切り替える。
 ステップS428において、位置決定部252は、エンコーダ値PVm、参照推定位置PVp、および、参照エンコーダ値PVmpを用いて、推定位置PVを算出する。より具体的には、ステップS428では、位置決定部252は、次の(式2)を用いて、推定位置PVを算出する。
 PV=PVp+PVm―PVmp ・・・(式2)
 <F.付記>
 以上のように、本実施形態は以下のような開示を含む。
 [構成1]
 対象物を移動させるための移動機構(400)と、
 撮像指示を受け付けたことに基づいて前記対象物を撮像し、撮像により得られた画像から前記対象物の実位置を計測するための視覚センサ(50)と、
 前記撮像指示が前記視覚センサ(50)に出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構(400)の位置に関する位置関連情報を検出するための検出部(412)と、
 前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するための位置決定部(252)と、
 前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構(400)に出力するフィードバック制御部(254)と、
 前記移動機構(400)の移動速度が所定値よりも小さいときに前記視覚センサ(50)に前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するための調整部(256)とを備える、制御システム(1)。
 [構成2]
 前記調整部(256)は、前記視覚センサ(50)が撮像可能状態である場合において、前記位置関連情報から特定される前記移動機構(400)の移動速度が所定値よりも小さいときに、前記撮像指示を前記視覚センサ(50)に出力する、構成1に記載の制御システム(1)。
 [構成3]
 前記調整部(256)は、前記視覚センサ(50)が前記対象物を撮像している間において前記移動機構(400)の移動速度が前記所定値よりも小さくなるような移動指令を前記フィードバック制御部(254)に生成させる、構成1に記載の制御システム(1)。
 [構成4]
 前記位置決定部(252)は、前記視覚センサ(50)が撮像可能状態である場合に、前記実位置が前記視覚センサ(50)によって新たに計測されたときには、前回に計測された前記実位置と、前記位置関連情報とに基づいて、前記推定位置を決定する、構成1に記載の制御システム(1)。
 [構成5]
 前記調整部(256)は、前記視覚センサ(50)の撮像が終了したことに基づいて前回に計測された前記実位置を新たに計測された前記実位置で更新する、構成4に記載の制御システム(1)。
 [構成6]
 対象物を移動させるための移動機構(400)の制御方法であって、
 撮像指示を視覚センサ(50)に出力し、前記対象物して得られた画像から前記対象物の実位置を前記視覚センサ(50)に計測させるステップと、
 前記撮像指示が前記視覚センサ(50)に出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構(400)の位置に関する位置関連情報を検出するステップと、
 前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
 前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構(400)に出力するステップと、
 前記移動機構(400)の移動速度が所定値よりも小さいときに前記視覚センサ(50)に前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを備える、制御方法。
 [構成7]
 対象物を移動させるための移動機構(400)の制御プログラムであって、
 前記制御プログラムは、前記移動機構(400)を制御するためのコントローラに、
  撮像指示を視覚センサ(50)に出力し、前記対象物して得られた画像から前記対象物の実位置を前記視覚センサ(50)に計測させるステップと、
  前記撮像指示が前記視覚センサ(50)に出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構(400)の位置に関する位置関連情報を検出するステップと、
  前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
  前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構(400)に出力するステップと、
  前記移動機構(400)の移動速度が所定値よりも小さいときに前記視覚センサ(50)に前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを実行させる、制御プログラム。
 今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
 1 制御システム、4,7 ベースプレート、6,9 ボールネジ、12 特徴部分、50 視覚センサ、52 撮像部、54 画像処理部、100 画像処理装置、102,104 カメラ、110,214 プロセッサ、112 RAM、114 表示コントローラ、116 システムコントローラ、118 I/Oコントローラ、120 ハードディスク、122 カメラインターフェイス、122a 画像バッファ、124 入力インターフェイス、126 コントローラインターフェイス、128,228 通信インターフェイス、130,222 メモリカードインターフェイス、132 表示部、134 キーボード、136,224 メモリカード、150 制御プログラム、200 コントローラ、210 主制御ユニット、212 チップセット、216 不揮発性メモリ、218 主メモリ、220 システムクロック、226 内部バス、230 内部バスコントローラ、232 制御回路、234 内部バス制御回路、236 バッファメモリ、238 フィールドバスコントローラ、252 位置決定部、254 フィードバック制御部、256 調整部、300,300X,300Y サーボドライバ、400 移動機構、410,410X,410Y サーボモータ、412 エンコーダ、420 ステージ。

Claims (7)

  1.  対象物を移動させるための移動機構と、
     撮像指示を受け付けたことに基づいて前記対象物を撮像し、撮像により得られた画像から前記対象物の実位置を計測するための視覚センサと、
     前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構の位置に関する位置関連情報を検出するための検出部と、
     前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するための位置決定部と、
     前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構に出力するフィードバック制御部と、
     前記移動機構の移動速度が所定値よりも小さいときに前記視覚センサに前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するための調整部とを備える、制御システム。
  2.  前記調整部は、前記視覚センサが撮像可能状態である場合において、前記位置関連情報から特定される前記移動機構の移動速度が所定値よりも小さいときに、前記撮像指示を前記視覚センサに出力する、請求項1に記載の制御システム。
  3.  前記調整部は、前記視覚センサが前記対象物を撮像している間において前記移動機構の移動速度が前記所定値よりも小さくなるような移動指令を前記フィードバック制御部に生成させる、請求項1に記載の制御システム。
  4.  前記位置決定部は、前記視覚センサが撮像可能状態である場合に、前記実位置が前記視覚センサによって新たに計測されたときには、前回に計測された前記実位置と、前記位置関連情報とに基づいて、前記推定位置を決定する、請求項1に記載の制御システム。
  5.  前記調整部は、前記視覚センサの撮像が終了したことに基づいて前回に計測された前記実位置を新たに計測された前記実位置で更新する、請求項4に記載の制御システム。
  6.  対象物を移動させるための移動機構の制御方法であって、
     撮像指示を視覚センサに出力し、前記対象物して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
     前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構の位置に関する位置関連情報を検出するステップと、
     前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
     前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構に出力するステップと、
     前記移動機構の移動速度が所定値よりも小さいときに前記視覚センサに前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを備える、制御方法。
  7.  対象物を移動させるための移動機構の制御プログラムであって、
     前記制御プログラムは、前記移動機構を制御するためのコントローラに、
      撮像指示を視覚センサに出力し、前記対象物して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
      前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構の位置に関する位置関連情報を検出するステップと、
      前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
      前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構に出力するステップと、
      前記移動機構の移動速度が所定値よりも小さいときに前記視覚センサに前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを実行させる、制御プログラム。
PCT/JP2019/014125 2018-04-26 2019-03-29 制御システム、制御方法、および制御プログラム WO2019208107A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020207026081A KR102613860B1 (ko) 2018-04-26 2019-03-29 제어 시스템, 제어 방법 및 컴퓨터 판독 가능한 기억 매체
CN201980018674.5A CN111902785B (zh) 2018-04-26 2019-03-29 控制系统、控制方法以及计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018085122A JP6919623B2 (ja) 2018-04-26 2018-04-26 制御システム、制御方法、および制御プログラム
JP2018-085122 2018-04-26

Publications (1)

Publication Number Publication Date
WO2019208107A1 true WO2019208107A1 (ja) 2019-10-31

Family

ID=68295197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014125 WO2019208107A1 (ja) 2018-04-26 2019-03-29 制御システム、制御方法、および制御プログラム

Country Status (3)

Country Link
JP (1) JP6919623B2 (ja)
KR (1) KR102613860B1 (ja)
WO (1) WO2019208107A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179507A1 (ja) * 2019-03-01 2020-09-10 オムロン株式会社 制御装置および位置合わせ装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213139A (ja) * 2014-05-07 2015-11-26 国立大学法人 東京大学 位置決め装置
JP2018044864A (ja) * 2016-09-14 2018-03-22 キヤノン株式会社 検出装置、検出方法、リソグラフィ装置、および物品の製造方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834545B2 (ja) * 2011-07-01 2015-12-24 セイコーエプソン株式会社 ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP6174636B2 (ja) 2015-07-24 2017-08-02 ファナック株式会社 ワークを位置決めするためのワーク位置決め装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213139A (ja) * 2014-05-07 2015-11-26 国立大学法人 東京大学 位置決め装置
JP2018044864A (ja) * 2016-09-14 2018-03-22 キヤノン株式会社 検出装置、検出方法、リソグラフィ装置、および物品の製造方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179507A1 (ja) * 2019-03-01 2020-09-10 オムロン株式会社 制御装置および位置合わせ装置
US11999068B2 (en) 2019-03-01 2024-06-04 Omron Corporation Control device and alignment device

Also Published As

Publication number Publication date
CN111902785A (zh) 2020-11-06
KR102613860B1 (ko) 2023-12-14
JP2019188550A (ja) 2019-10-31
JP6919623B2 (ja) 2021-08-18
KR20210004956A (ko) 2021-01-13

Similar Documents

Publication Publication Date Title
JP6167622B2 (ja) 制御システムおよび制御方法
CN110581946B (zh) 控制系统、控制装置、图像处理装置以及存储介质
CN110581945B (zh) 控制系统、控制装置、图像处理装置以及存储介质
WO2019244638A1 (ja) 位置決めシステム、監視装置、監視方法およびプログラム
WO2019208107A1 (ja) 制御システム、制御方法、および制御プログラム
JP4660309B2 (ja) 電子部品実装装置
WO2020003945A1 (ja) 位置決めシステム、制御方法およびプログラム
CN111886556B (zh) 控制系统、控制方法以及计算机可读存储介质
CN111902785B (zh) 控制系统、控制方法以及计算机可读存储介质
JP7020262B2 (ja) 制御システム、制御方法およびプログラム
JP6922829B2 (ja) 制御システム、制御方法、および制御プログラム
CN110581944B (zh) 控制系统、控制装置以及存储介质
US20220134570A1 (en) Control device and alignment device
JP7258259B1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7374354B1 (ja) アライメントシステム、アライメント方法及びプログラム
WO2024023974A1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7035902B2 (ja) 計測システム、計測方法、および計測プログラム
CN115265598A (zh) 用于标定惯性测量单元的方法、装置和系统
JP2548721Y2 (ja) 自動キャリブレーション機能付ワーク位置決め装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19792610

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19792610

Country of ref document: EP

Kind code of ref document: A1