WO2014016928A1 - 撮像装置および電子部品実装機 - Google Patents

撮像装置および電子部品実装機 Download PDF

Info

Publication number
WO2014016928A1
WO2014016928A1 PCT/JP2012/068888 JP2012068888W WO2014016928A1 WO 2014016928 A1 WO2014016928 A1 WO 2014016928A1 JP 2012068888 W JP2012068888 W JP 2012068888W WO 2014016928 A1 WO2014016928 A1 WO 2014016928A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
pulse signal
unit
image data
camera
Prior art date
Application number
PCT/JP2012/068888
Other languages
English (en)
French (fr)
Inventor
神藤　高広
泰弘 山下
篤規 平野
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to PCT/JP2012/068888 priority Critical patent/WO2014016928A1/ja
Priority to JP2014526662A priority patent/JP6053790B2/ja
Publication of WO2014016928A1 publication Critical patent/WO2014016928A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • the present invention relates to an imaging device that captures an image of a subject and records image data, and an electronic component mounter including the imaging device.
  • Imaging devices are used in various fields with the spread of digital cameras having imaging elements such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor).
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • Patent Document 1 discloses an FA imaging apparatus applied to the industrial field. This electronic component mounting machine recognizes a board based on image data obtained by imaging by an imaging device, and aims to improve the positioning accuracy of a head that sucks the component.
  • the imaging operation is controlled based on a control signal transmitted from an FA device such as an electronic component mounting machine, and image data obtained by imaging is transferred to the FA device.
  • an FA device such as an electronic component mounting machine
  • image data obtained by imaging is transferred to the FA device.
  • there may be a problem related to imaging such as failure to acquire image data even though the FA device sends an imaging control signal, or excessive or insufficient luminance of the acquired image data. .
  • the trace log is stored on the FA device side, and when a problem related to imaging occurs, the cause is investigated based on the trace log.
  • Causes of the malfunction include a connection failure of the communication cable between the FA device and the imaging device, external noise, and the like in addition to the malfunction of the imaging device. For this reason, there is a case where the cause cannot be specified even if the operation history for the imaging device stored in the FA device is confirmed with the trace log.
  • Patent Document 2 discloses that the operation history data and signal transmission / reception history data are stored on the imaging apparatus side. According to this imaging device, when a trouble related to imaging occurs, based on each history data stored in the imaging device and the trace log on the FA device side, is it due to a connection failure of the communication kale part, It is possible to identify the cause of the malfunction, such as whether it is due to external noise.
  • some image pickup apparatuses that operate in response to an externally input control signal start exposure when a trigger signal rises in the control signal.
  • the exposure time in this imaging is various, for example, when it is set by a command input in advance to the imaging device, or when the pulse width from the rising edge to the falling edge is used as the exposure time in the pulse-like trigger signal.
  • An imaging method is known.
  • the operation of the imaging apparatus may differ even with similar control signals. Therefore, when a problem related to imaging occurs, there is a possibility that the cause of the problem cannot be identified even if analysis is performed based on the operation history data, transmission / reception history data, and imaging method of the imaging device. As described above, when verifying the suitability of the imaging operation, the operation history data and the transmission / reception history data may be insufficient to ensure sufficient verification accuracy.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an imaging device capable of improving the accuracy of verification as to the suitability of the imaging operation, and an electronic component mounting machine including the imaging device.
  • the imaging apparatus the imaging unit that performs imaging using the pulse width of a pulse signal input externally as an exposure time, and the pulse width of the pulse signal input to the imaging unit, And a measurement unit that stores the measurement time in the memory in a readable manner.
  • the imaging apparatus employs an imaging method in which the pulse width of the pulse signal is the exposure time, and the pulse width is measured and stored in the memory.
  • the “pulse width” is a period during which the state of the pulse signal is transitioned, and corresponds to a time from the rising edge to the falling edge of the pulse signal (or from the falling edge to the rising edge).
  • various methods are conceivable, such as detecting the transition of the state of the pulse signal and calculating from the count by the timer or the time difference at both ends.
  • the exposure time actually commanded to the imaging unit can be acquired, when verifying the suitability of the imaging operation, such as when a malfunction related to imaging occurs, it is stored in the memory of the imaging device.
  • the measured measurement time can be read out and verified together with other operation history data, transmission / reception history data, and a trace log on the control side for sending a pulse signal. In this way, verification specialized in the imaging method using the pulse width of the pulse signal as the exposure time can be performed, so that the accuracy of the verification can be improved.
  • the imaging apparatus wherein the measurement time is compared with a preset minimum exposure time, and whether or not imaging using the pulse width corresponding to the measurement time as an exposure time is significant.
  • the determination part is further provided.
  • the “minimum exposure time” is a reference exposure time for determining whether or not the transition of the state of the pulse signal is due to external noise. Therefore, the minimum exposure time is longer than the longest expected period of the transition period of the pulse signal due to the influence of external noise, and is equal to or shorter than the minimum exposure time that can be specified by the pulse signal from the control side.
  • the image pickup apparatus takes an image in synchronization with the pulse signal and uses the pulse width as the exposure time. Therefore, both the image pickup timing and the exposure time are obtained using only the signal line for the pulse signal. Controlled. Therefore, the imaging apparatus can quickly respond to the control side request with a simple configuration.
  • the imaging apparatus may start exposure and start imaging immediately. Therefore, measuring the pulse width of the pulse signal is particularly useful because it can improve the accuracy of verification as to whether or not the imaging operation is appropriate, and can determine whether or not the imaging is due to external noise.
  • the measurement time is stored together with other operation histories in the imaging apparatus, it is possible to verify the suitability of the imaging operation based on the coincidence / mismatch of the control command and the imaging operation.
  • image data may not be acquired due to the influence of external noise despite the normal imaging command.
  • imaging can be performed based on other operation history data, transmission / reception history data, control-side operation history data, and the like. The cause of the related failure can be identified.
  • the measurement time is stored in association with the image data, it is possible to verify the defect or quality particularly related to the image data, such as excessive or insufficient luminance of the image data.
  • the image data is associated with the additional information specific to the transferred image data, and is stored from the memory when necessary. You may make it memorize
  • store so that it can read.
  • An electronic component mounting machine is connected to the imaging device according to any one of claims 1 to 4 and the imaging device so as to be communicable, and sends the pulse signal to the imaging device to transmit the pulse width.
  • a control device that controls mounting of electronic components based on the image data and a control program stored in advance.
  • the electronic component mounting machine can perform imaging by the imaging apparatus at an arbitrary timing and exposure time. Then, by controlling the mounting of the electronic component based on the image data obtained by the imaging, the control can be performed with higher accuracy.
  • the imaging device measures the pulse width, if a malfunction related to imaging occurs, the suitability of the imaging operation is verified based on the pulse signal sent by the control device and the measurement time of the imaging device. Therefore, it is possible to correct the defect more reliably and early.
  • the electronic component mounting machine 1 is a device that mounts a plurality of electronic components on a printed circuit board, for example, in an integrated circuit manufacturing process. Solder is applied to the mounting position of the electronic component by the cream solder printing machine, and the printed circuit board is sequentially transported through a plurality of mounting machines to mount the electronic component. Thereafter, the printed circuit board on which the electronic components are mounted is transported to a reflow furnace and soldered to constitute an integrated circuit.
  • the camera 3 is an imaging device for FA incorporated in the electronic component mounting machine 1.
  • the electronic component mounting machine 1 includes a mounting machine control device 2 and a camera 3 as shown in FIG.
  • the mounting machine control device 2 and the camera 3 are communicably connected by a communication cable 4 so that various signals can be transmitted and received.
  • the mounting machine control device 2 includes a CPU 10 having a servo control unit 11 and an image processing unit 12, and a storage device 20.
  • the storage device 20 is configured by an optical drive device such as a hard disk device or a flash memory.
  • the storage device 20 stores a control program for operating the electronic component mounting machine 1, image data transferred from the camera 3 to the CPU 10 via the communication cable 4, temporary data for processing by the image processing unit 12, and the like.
  • the CPU 10 of the mounting machine control device 2 includes a servo control unit 11 and an image processing unit 12.
  • the CPU 10 inputs information output from various sensors provided in the electronic component mounting machine 1 and image data transferred from the camera 3. Then, the servo control unit 11 performs electronic control so that electronic components are appropriately mounted on the printed circuit board based on the control program stored in the storage device 20, information from various sensors, processing results by the image processing unit 12, and the like. Each axis motor and each device of the component mounting machine 1 are controlled. Furthermore, the servo control unit 11 changes the state of the pulse signal (pulse-like trigger signal) sent to the camera 3 based on the position information of each axis motor being controlled, etc. Imaging is performed at a predetermined timing.
  • the image processing unit 12 of the CPU 10 acquires image data obtained by imaging with the camera 3 and executes image processing according to the application.
  • This image processing includes, for example, processing such as binarization of image data, filtering, and hue extraction, and recognition of the presence / absence of a subject and position information based on a specific shape or mark from the processed image data Processing is included. Further, in order to reduce the load on the image processing unit 12, for example, the processing of the image data in the image processing is performed on the camera 3 side, and only the above recognition processing is performed by the mounter control device 2.
  • the image processing unit 12 may perform this.
  • the camera 3 includes an optical unit 30, a CPU 40, and a storage device 50.
  • the optical unit 30 has a configuration in which subject light is imaged on an image sensor 32 by a lens unit 31 including a lens and a lens holding member.
  • the image sensor 32 is mounted on the circuit board so as to be perpendicular to the optical axis of the lens unit 31.
  • the image sensor 32 is an image sensor such as a CCD or CMOS, and in the present embodiment, a CMOS image sensor adopting a line exposure sequential readout method (rolling shutter).
  • the CPU 40 of the camera 3 is a control device that operates the optical unit 30 based on a control signal input from the mounting machine control device 2 to perform imaging, and transfers image data acquired by the imaging to the mounting machine control device 2. is there.
  • the CPU 40 includes an imaging unit 41, a measurement unit 42, and a determination unit 43.
  • the imaging unit 41 controls the optical unit 30 based on a pulse signal input from the outside, and digitally generates signal charges generated according to the intensity of light imaged on the imaging surface of the imaging element 32 by the lens unit 31.
  • the subject is converted into a signal and the subject is imaged.
  • the CPU 40 converts the image data into image data using an integrated circuit such as a PLD based on the digital signal.
  • the imaging unit 41 receives a pulse signal sent from the servo control unit 11 of the mounting machine control apparatus 2, and when this pulse signal rises from Low to High (transition of the state of the pulse signal) ), Exposure by the image sensor 32 is started. Thereafter, when the pulse signal falls from High to Low (when the state of the pulse signal is restored), the exposure by the image sensor 32 is terminated.
  • the camera 3 employs an imaging method in which the imaging unit 41 performs imaging using the pulse width of the pulse signal (period in which the state of the pulse signal transitions) as the exposure time in synchronization with the pulse signal. Yes.
  • the measuring unit 42 measures the pulse width of the pulse signal input to the imaging unit 41 and stores the calculation time by the calculation in the RAM 52 of the storage device 50.
  • the measuring unit 42 is inputted by branching a pulse signal sent from the servo control unit 11 of the mounting machine control device 2 to the imaging unit 41, and detects the rise and fall of this pulse signal. Then, the measuring unit 42 counts the pulse width by counting with a timer from the rising edge to the falling edge of the pulse signal.
  • the CPU 40 of the camera 3 stores the measurement time stored in the RAM 52 by the measurement unit 42 in the flash memory 53 as an operation history of imaging by the imaging unit 41. Further, the CPU 40 associates the measurement time stored in the RAM 52 by the measurement unit 42 with the specific additional information of the image data obtained by imaging using the pulse width corresponding to the measurement time as the exposure time, and the image data is mounted on the mounting machine. The data is transferred to the control device 2 via the communication cable 4. That is, in the present embodiment, the measurement time by the measurement unit 42 is stored in the flash memory 53 as the operation history of the imaging unit 41 and as information associated with the image data.
  • the determination unit 43 compares the measurement time measured by the measurement unit 42 with a preset minimum exposure time, and determines whether or not imaging using the pulse width corresponding to the measurement time as the exposure time is significant.
  • the minimum exposure time is a reference exposure time for determining whether or not the transition of the state of the pulse signal is due to external noise. Therefore, the minimum exposure time Th is set longer than the assumed longest period PNmax in the period PN in which the state of the pulse signal changes due to the influence of external noise.
  • the exposure time SS that can be specified from the mounter control apparatus 2 is set to be shorter than the minimum exposure time SSmin (SSmin> Th> PNmax).
  • the determination unit 43 determines that imaging using the pulse width corresponding to the measurement time as the exposure time is significant. On the other hand, when the measurement time is less than the minimum exposure time, the determination unit determines that imaging using the pulse width corresponding to the measurement time as the exposure time is not significant. Thus, the CPU 40 determines that the imaging is based on the transition of the state of the pulse signal due to the influence of external noise, for example. The CPU 40 stores the image data acquired by the imaging in the flash memory 53 as an operation history without transferring the image data to the mounter control apparatus 2.
  • the storage device 50 of the camera 3 temporarily stores various data including a non-volatile ROM 51 that stores a program such as a driver for the CPU 40 to control the optical unit 30 and initial setting data, and a measurement time by the measurement unit 42. It has a volatile RAM 52 for storing, and a rewritable nonvolatile flash memory 53.
  • the CPU 40 of the camera 3 temporarily stores the operation history data of the camera 3, transmission / reception history data of various signals, and various setting data in the RAM 52, and stores it in the flash memory 53 as necessary.
  • the transmission / reception history data of various signals of the camera 3 includes the history data of the operation instruction by the control signal sent from the CPU 10 of the mounting machine control device 2 and the history data of the image data transferred to the mounting machine control device 2. included.
  • the various setting data include camera gain, image data offset amount, ROI (RegionRegOf Interest) setting value, and the like.
  • the ROI is an effective area designated by the mounting machine control device 2 among the imaging areas that can be captured by the camera 3.
  • the storage device 50 can store various data stored in the RAM 52 in the flash memory 53 in response to a request from the CPU 40 or the mounter control device 2.
  • the imaging operation of the camera 3 of the electronic component mounting machine 1 will be described with reference to FIG.
  • the camera 3 is used as a board camera that captures an image of a printed board transported to a specified position by a transport device such as a conveyor when the electronic component mounting machine 1 mounts the electronic component.
  • the camera 3 temporarily stores the trace events in the RAM 52 as operation history data or transmission / reception history data.
  • the RAM 25 is a ring buffer and always stores the latest trace event.
  • This command event includes, for example, camera gain (image brightness) setting, image data offset setting, frame rate (image transfer speed) setting, minimum exposure time Th, and the like.
  • camera gain image brightness
  • image data offset image data offset
  • frame rate image transfer speed setting
  • minimum exposure time Th minimum exposure time Th
  • the imaging unit 41 of the camera 3 is connected to the servo control unit 11 through a signal line so that a pulse signal transmitted from the servo control unit 11 of the mounting machine control device 2 can be input. As indicated by T0 to T1 and T2 to T4 in FIG. 2, this pulse signal is on the low voltage side (Low) in the normal state where the camera 3 is not imaging.
  • the servo control unit 11 changes the state of the pulse signal to the high voltage side (High). Then, the imaging unit 41 of the camera 3 starts exposure by the imaging element 32. At this time, the measurement unit 42 detects the rise of the pulse signal and starts counting by the timer. Further, the CPU 40 of the camera 3 stores the rise time of the pulse signal and the task ID in the RAM 52 as an imaging start event.
  • the image sensor 32 When receiving an instruction to start exposure, the image sensor 32 starts exposure in order from the first column of pixels on the imaging surface. Then, the imaging device 32 starts the exposure for the second row after the read time for the first row has passed, and starts the exposure for the third row after the read time for the second row has passed. In this way, the image sensor 32 sequentially starts exposing each column to the last column. As a result, the signal charge is accumulated in the photoelectric conversion unit of each pixel (T1 to T2 in FIG. 2).
  • the servo control unit 11 of the mounting machine control device 2 receives the exposure time SS1 set in consideration of the imaging target and imaging location of the camera 3 from the CPU 10. Then, when this exposure time SS1 has elapsed, the servo control unit 11 restores the state of the pulse signal to the low voltage side (Low) (T2 in FIG. 2). Then, the imaging unit 41 of the camera 3 ends the exposure by the imaging element 32. At this time, the measurement unit 42 detects the falling edge of the pulse signal and stops the timer. Then, the measurement unit 42 measures the pulse width with a timer, and stores this measurement time in the RAM 52 as the exposure time SS1 by the image sensor 32.
  • the servo control unit 11 of the mounting machine control device 2 receives the exposure time SS1 set in consideration of the imaging target and imaging location of the camera 3 from the CPU 10. Then, when this exposure time SS1 has elapsed, the servo control unit 11 restores the state of the pulse signal to the low voltage side (Low) (T
  • the image sensor 32 When the image sensor 32 receives an exposure end command, the image sensor 32 ends the exposure in order from the first column of pixels on the imaging surface. As in the case of the start of exposure, the image sensor 32 sequentially ends the exposure from the first column to the last column in each column. Thereafter, the imaging unit 41 reads out the signal charge for each column from the imaging element 32 and converts it into a digital signal. Thus, the imaging unit 41 performs imaging in synchronization with the pulse signal. Then, the CPU 40 of the camera 3 converts the digital signal acquired by the imaging unit 41 into image data.
  • the determination unit 43 of the camera 3 compares the measurement time (exposure time SS1) by the measurement unit 42 with a preset minimum exposure time Th.
  • the determination unit 43 determines that imaging using the pulse width corresponding to the measurement time as the exposure time is significant.
  • the CPU 40 of the camera 3 determines that the current imaging is based on a command from the mounter control apparatus 2 based on the determination result by the determination unit 43 and is not based on the influence of external noise, and is normal imaging. Then, the converted image data is transferred to the mounter control apparatus 2 (T2 to T3 in FIG. 2). At this time, the CPU 40 of the camera 3 stores the transfer start time and end time and the task ID in the RAM 52 as an image transfer start event and an image transfer completion event in the transfer of image data.
  • the mounting machine control device 2 performs image processing on the acquired image data and recognizes, for example, board marks provided at two opposite corners of the printed board as reference positions. Thereby, the mounting machine control apparatus 2 can mount the electronic component at the coordinate value set by the control program.
  • the electronic component mounter 1 controls the mounting of the electronic component based on the image data acquired by the mounter control device 2 and the control program stored in advance, and thus occurs when the printed circuit board is clamped. The position error is corrected to improve the accuracy of component mounting.
  • the mounting machine control device 2 determines that there is a problem related to imaging such as the brightness of the acquired image data being excessive or insufficient, or when verifying the quality of the image data
  • the CPU 3 of the camera 3 is instructed to save the trace log in the flash memory 53.
  • the trace log stored in the RAM 52 by the storage device 50 of the camera 3 is stored in the flash memory 53 so that it can be read out, and the trace log is transmitted by the CPU 40 of the camera 3 in response to a data transmission request from the mounter control device 2. To do.
  • the imaging unit 41 of the camera 3 performs imaging using the pulse signal sent from the servo control unit 11 of the mounting machine control device 2, but as shown by T4 in FIG.
  • T4 time when a voltage higher than a predetermined voltage is applied, it is considered that the state of the pulse signal has changed, and exposure by the image sensor 32 is started as in the normal case.
  • the measuring unit 42 detects the rising edge of the pulse signal and starts counting by the timer. Then, the image sensor 32 starts exposure sequentially from the first column to the last column of each pixel, and the signal charge is accumulated in the photoelectric conversion unit of each pixel (T4 to T5 in FIG. 2). Thereafter, at T5 in FIG. 2, when the influence of the external noise is eliminated and the state of the pulse signal is restored, the imaging unit 41 ends the exposure by the imaging element 32. At this time, the measurement unit 42 detects the falling edge of the pulse signal and stops the timer. Then, the measurement unit 42 measures the pulse width by the timer, and stores this measurement time in the RAM 52 as the exposure time SS2 by the image sensor 32.
  • the imaging unit 41 reads signal charges from the imaging element 32 and converts them into digital signals, and the CPU 40 of the camera 3 converts the digital signals acquired by the imaging unit 41 into image data.
  • the determination unit 43 of the camera 3 compares the measurement time (exposure time SS2) by the measurement unit 42 with the minimum exposure time Th. Since the exposure time of imaging due to the influence of external noise, that is, the time during which the state of the pulse signal transitions due to external noise is short, the measurement time is shorter than the minimum exposure time Th (SS2 ⁇ Th). Therefore, the determination unit 43 determines that imaging using the pulse width corresponding to the measurement time as the exposure time is not significant.
  • the CPU 40 of the camera 3 determines that the current imaging is not based on a command from the mounter control device 2 based on the determination result by the determination unit 43, and is converted image data. Is not transferred to the mounter control apparatus 2.
  • the CPU 40 of the camera 3 stores the current time and task ID in the flash memory 53 as a kind of error event.
  • the CPU 40 of the camera 3 transmits a trace log related to the error event in response to a data transmission request from the mounter control apparatus 2 by notifying the mounter control apparatus 2 that an error event has occurred.
  • the camera 3 employs an imaging method in which the pulse width of the pulse signal is the exposure time.
  • the pulse width is measured by the measuring unit 42 and the RAM 52 or flash of the storage device 50 is used.
  • the data is stored in the memory 53. Thereby, the exposure times SS1 and SS2 actually commanded to the imaging unit 41 can be acquired.
  • the measurement time stored in the storage device 50 is read, and other operation history data, transmission / reception history data, and a pulse signal are transmitted. This can be verified together with the trace log of the mounting machine control device 2 to be performed. In this way, verification specialized in the imaging method using the pulse width of the pulse signal as the exposure time can be performed, so that the accuracy of the verification can be improved.
  • the determination unit 42 can determine the significance of the imaging operation based on the minimum exposure time Th, when image data is acquired by the imaging, it can be determined whether the image data is valid or invalid.
  • the CPU 40 of the camera 3 can prevent invalid image data from being transferred to the control side based on the determination result by the determination unit 42.
  • the camera 3 takes an image in synchronization with the pulse signal and uses the pulse width as the exposure time, both the imaging timing and the exposure time are controlled only by the signal line for the pulse signal. Therefore, the camera 3 can immediately respond to a request from the control side with a simple configuration. On the other hand, in such a configuration, when external noise is applied to the signal line, the camera 3 may start exposure and start imaging immediately. Therefore, measuring the pulse width of the pulse signal by the measuring unit 42 is particularly useful because it can improve the accuracy of verification as to whether or not the imaging operation is appropriate, and can determine whether or not the imaging is due to external noise.
  • the CPU 40 of the camera 3 stores the measurement time in the RAM 52 as an operation history of imaging by the imaging unit 41.
  • the suitability of the imaging operation can be verified based on the coincidence / mismatch of the imaging operation with the command from the mounting machine control device 2 including the pulse signal. .
  • the image data may not be acquired due to the influence of external noise in spite of a normal imaging command. More specifically, for example, when transferring image data acquired by imaging according to a command on the control side to the control side, if the state of the pulse signal changes due to external noise, the transfer of the image data is interrupted and exposure is performed. Will start. Then, the image data being transferred is not transferred to the control side, and the image data may be lost. Even in such a case, by storing the measurement time as an operation history, even if there is no target image data, imaging can be performed based on other operation history data, transmission / reception history data, control-side operation history data, and the like. The cause of the related failure can be identified.
  • the CPU 40 of the camera 3 is assumed to store the measurement time in the flash memory 53 in association with the image data. Thereby, it is possible to verify the defect or quality related to the image data.
  • the CPU 40 transfers the image data to the mounting machine control device 2
  • the image data is not stored in the storage device 50. Therefore, it is necessary to associate with the additional information unique to the transferred image data. It is stored so that it can be read from the storage device 50 at any time.
  • the electronic component mounting machine 1 can take an image with the camera 3 at an arbitrary timing and exposure time. And the mounting machine control apparatus 2 can perform the said control more highly precisely by controlling mounting of an electronic component based on the image data by the imaging of the camera 3.
  • FIG. 1 since the measurement unit 42 of the camera 3 measures the pulse width, when a problem related to imaging occurs, the measurement is performed based on the pulse signal sent by the mounting machine control device 2 and the measurement time of the camera 3. Since the suitability of the imaging operation can be verified, the defect can be corrected more reliably and early.
  • the measurement unit 42 measures the period from the rise to the fall of the pulse signal in order to measure the pulse width.
  • the measurement unit 42 similarly detects from the falling edge of the pulse signal.
  • a pulse width corresponding to the exposure time may be measured by measuring a period until the rise.
  • the measuring unit 42 branches the signal line for the pulse signal connecting the servo control unit 11 and the imaging unit 41, inputs the pulse signal, and measures the pulse width of the pulse signal.
  • the imaging unit 41 controls the imaging device 32 in synchronization with the pulse signal
  • the measuring unit 42 outputs exposure start and exposure control signals output from the imaging unit 41 to the imaging device 32. You may make it measure the pulse width of a pulse signal by inputting.
  • the minimum exposure time Th input as a command event from the mounter control device 2 is set in consideration of the longest possible period PNmax among the periods PN in which the state of the pulse signal transitions due to the influence of external noise. did.
  • the electronic component mounting machine 1 has been described as an example of the FA device in which the camera 3 is provided.
  • the camera 3 can be applied to FA devices such as machine tools and industrial robots, or other fields as long as it is an imaging method that performs imaging using the pulse width of a pulse signal as an exposure time. is there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

　撮像動作の適否についての検証の精度を向上できる撮像装置、および撮像装置を備える電子部品実装機を提供することを目的とする。　撮像装置は、外部入力されるパルス信号のパルス幅を露光時間として撮像を行う撮像部と、前記撮像部に入力される前記パルス信号の前記パルス幅を計測して、当該計測による計測時間をメモリに読み出し可能に記憶させる計測部とを備える。

Description

撮像装置および電子部品実装機
　本発明は、被写体を撮像して画像データを記録する撮像装置、および撮像装置を備える電子部品実装機に関するものである。
　撮像装置は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有するデジタルカメラの普及に伴い、様々な分野で使用されている。例えば、特許文献１には、工業分野に適用されたＦＡ用撮像装置が開示されている。この電子部品実装機は、撮像装置の撮像による画像データに基づいて基板認識を行い、部品を吸着したヘッドの位置決め精度の向上を図っている。
　このような撮像装置は、電子部品実装機などのＦＡ機器から送出される制御信号に基づいて撮像動作を制御され、撮像による画像データをＦＡ機器に転送している。しかしながら、ＦＡ機器が撮像の制御信号を送出したにも関わらず画像データを取得できなかったり、取得した画像データの輝度に過不足があったりするのなど、撮像に関係する不具合が生じることがある。
　そのため、ＦＡ機器側でトレースログを記憶しておき、撮像に関する不具合が生じた場合には、トレースログに基づいて原因調査を行うようにしている。不具合の原因には、撮像装置の動作不良の他に、ＦＡ機器と撮像装置との間の通信ケーブルの接続不良や外部ノイズなどが含まれている。そのため、ＦＡ機器が記憶している撮像装置に対する動作履歴などをトレースログで確認しても原因を特定することができない場合があった。
　そこで、例えば特許文献２では、撮像装置側で動作履歴データや信号の送受信履歴データを記憶しておくものが開示されている。この撮像装置によると、撮像に関係する不具合が生じた場合に、撮像装置が記憶している各履歴データと、ＦＡ機器側のトレースログとに基づいて、通信ケール部の接続不良によるものか、外部ノイズによるものなのかなど不具合の原因を特定することができる。
特開２０００－２９４９９２号公報 特開２０１２－２９２５４号公報
　ところで、外部入力される制御信号により動作する撮像装置には、撮像の際に制御信号のうちトリガ信号の立ち上がりにより露光を開始するものがある。この撮像における露光時間については、例えば、撮像装置に予め入力されたコマンドによって設定されている場合や、パルス状のトリガ信号において立ち上がりから立ち下がりまでのパルス幅を露光時間とする場合など、種々の撮像方式が知られている。
　そうすると、撮像装置が採用する撮像方式によっては、同様の制御信号であっても撮像装置の動作が異なることがある。よって、撮像に関係する不具合が生じた場合に、撮像装置の動作履歴データや送受信履歴データ、撮像方式に基づいて解析しても不具合の原因を特定できないおそれがある。このように、撮像動作の適否について検証する際に、検証精度を十分に確保するためには、動作履歴データや送受信履歴データでは不足する場合がある。
　本発明は、このような事情を鑑みてなされたものであり、撮像動作の適否についての検証の精度を向上できる撮像装置、および撮像装置を備える電子部品実装機を提供することを目的とする。
　請求項１に係る撮像装置は、外部入力されるパルス信号のパルス幅を露光時間として撮像を行う撮像部と、前記撮像部に入力される前記パルス信号の前記パルス幅を計測して、当該計測による計測時間をメモリに読み出し可能に記憶させる計測部と、を備える。
　このような構成によると、撮像装置は、パルス信号のパルス幅を露光時間とする撮像方式を採用しており、このパルス幅を計測してメモリに記憶させるようにしている。なお、「パルス幅」とは、パルス信号の状態が遷移している期間であって、パルス信号の立ち上がりから立ち下がりまで（または立ち下がりから立ち上がりまで）の時間に相当する。また、パルス幅の計測については、パルス信号の状態の遷移を検知して、タイマーによるカウントや、両端における時刻の差分から算出するなど種々の方法が考えられる。
　そして、撮像部に対して実際に指令された露光時間を取得することができるので、撮像に関係する不具合が生じた場合など撮像動作の適否について検証する際には、撮像装置のメモリに記憶されている計測時間を読み出し、他の動作履歴データや送受信履歴データ、パルス信号を送出する制御側のトレースログなどと併せて検証することができる。このように、パルス信号のパルス幅を露光時間とする撮像方式に特化した検証をすることができるので、当該検証の精度を向上できる。
　請求項２に係る撮像装置において、前記計測時間と予め設定されている最小露光時間とを比較して、当該計測時間に対応する前記パルス幅を露光時間とした撮像が有意であるか否かを判定する判定部をさらに備える。
　このような構成によると、最小露光時間に基づいて撮像動作の有意性を判定できるので、当該撮像により画像データを取得した場合には、この画像データが有効か無効かを判定できる。ここで、「最小露光時間」とは、パルス信号の状態の遷移が外部ノイズによるものか否かを判定する基準の露光時間である。よって、最小露光時間は、外部ノイズの影響によりパルス信号の状態が遷移する期間のうち、想定される最長期間よりも長く、且つ制御側からパルス信号により指定されうる最小の露光時間以下となるように設定される。
　このように、外部入力される制御信号で撮像を行う撮像装置においては、外部ノイズにより不要な撮像を行うことがあり、これにより無効な画像データを制御側に転送してしまうことがある。そこで、パルス幅を露光時間とする撮像方式を採用する撮像装置において、パルス幅の計測時間を利用して撮像が有意であるか否かを判定することで、無効の画像データが制御側へ転送されることを防止できる。
　請求項３に係る撮像装置において、前記撮像部は、前記パルス信号の状態の遷移時に露光を開始し、前記パルス信号の状態の復帰時に露光を終了することにより、前記パルス信号に同期した撮像を行う。
　このような構成によると、撮像装置は、パルス信号に同期して撮像し、且つパルス幅を露光時間とする撮像方式としているので、パルス信号用の信号線のみで撮像のタイミングと露光時間の両方を制御される。よって、撮像装置としては、簡易な構成で制御側の要求に即応することが可能となる。一方で、このような構成では、外部ノイズが信号線に付与されると、撮像装置が露光を開始して撮像を即時に開始してしまうことがある。そこで、パルス信号のパルス幅を計測しておくことで、撮像動作の適否についての検証の精度を向上できるとともに、外部ノイズによる撮像かどうかを判断できるので特に有用である。
　請求項４に係る撮像装置において、前記計測時間は、前記撮像部による撮像の動作履歴として前記メモリに記憶される。
　このような構成によると、計測時間が撮像装置における他の動作履歴とともに記憶されるので、制御指令と撮像動作の一致不一致に基づいて、撮像動作の適否を検証することができる。また、パルス信号の状態の遷移によって露光を開始する撮像装置においては、正常な撮像指令があったにも関わらず、外部ノイズの影響により画像データが取得されないことがある。このような場合にも計測時間を動作履歴として記憶することで、対象となる画像データがなくても、他の動作履歴データや送受信履歴データおよび制御側の動作履歴データなどに基づいて、撮像に関係する不具合の原因を特定することができる。
　請求項５に係る撮像装置において、前記計測時間は、当該計測時間に対応する前記パルス幅を露光時間とした撮像による画像データに関連付けて前記メモリに記憶される。
　このような構成によると、計測時間が画像データに関連付けて記憶されるので、画像データの輝度に過不足があるなど特に画像データに関係する不具合、または品質について検証することができる。また、画像データと計測時間の関連付けについて、撮像装置が画像データを制御側に転送して記憶していない場合には、転送した画像データ固有の付加情報に関連付けるようにして、必要な時にメモリから読み出せるように記憶させるようにしてもよい。これにより、画像データの不具合の他に、正常の範囲内ではあるが、制御側の指令通りの露光時間で撮像されたか否かなどを検証して、撮像環境の適正などを判定できるので、撮像に関係する不具合などを未然に防ぐのに有用である。
　請求項６に係る電子部品実装機は、請求項１～４の何れか一項の撮像装置と、前記撮像装置と通信可能に接続され、前記撮像装置に前記パルス信号を送出して前記パルス幅を露光時間とした撮像による画像データを取得し、当該画像データと予め記憶している制御プログラムに基づいて電子部品の実装を制御する制御装置とを備える。
　このような構成によると、電子部品実装機は、任意のタイミングおよび露光時間により撮像装置による撮像を行うことができる。そして、この撮像による画像データに基づいて電子部品の実装を制御することにより当該制御をより高精度にできる。また、撮像装置がパルス幅を計測しているので、撮像に関係する不具合が生じた場合には、制御装置が送出したパルス信号と撮像装置の計測時間とに基づいて、撮像動作の適否について検証することができるので、より確実にまた早期に不具合の修正が可能となる。
実施形態における撮像装置の構成を示すブロック図である。 撮像装置による撮像動作を示すタイムチャートである。
　＜実施形態＞
　（電子部品実装機１の全体構成）
　本発明の電子部品実装機および撮像装置の構成について、図１を参照して説明する。本実施形態において、電子部品実装機１は、例えば、集積回路の製造工程において、プリント基板に複数の電子部品を実装する装置である。プリント基板は、クリームハンダ印刷機により電子部品の装着位置にハンダを塗布され、複数の実装機を順に搬送されて電子部品を装着される。その後に、電子部品を装着されたプリント基板は、リフロー炉に搬送されてハンダ付けされることにより集積回路を構成する。また、カメラ３は、この電子部品実装機１に組み込まれているＦＡ用の撮像装置としている。
　電子部品実装機１は、図１に示すように、実装機制御装置２と、カメラ３とを備えて構成されている。これらの実装機制御装置２とカメラ３は、通信ケーブル４により通信可能に接続され、各種信号の送受信が可能となっている。実装機制御装置２は、サーボ制御部１１と画像処理部１２を有するＣＰＵ１０と、記憶装置２０とを備えている。記憶装置２０は、ハードディスク装置などの光学ドライブ装置、またはフラッシュメモリなどにより構成される。この記憶装置２０には、電子部品実装機１を動作させるための制御プログラム、通信ケーブル４を介してカメラ３からＣＰＵ１０に転送された画像データ、画像処理部１２による処理の一時データなどが記憶される。
　実装機制御装置２のＣＰＵ１０は、サーボ制御部１１と、画像処理部１２とを有する。ＣＰＵ１０は、電子部品実装機１に複数設けられた各種センサから出力される情報やカメラ３から転送される画像データなどを入力する。そして、サーボ制御部１１は、記憶装置２０に記憶されている制御プログラム、各種センサによる情報、画像処理部１２による処理結果などに基づいて、プリント基板に電子部品が適切に装着されるように電子部品実装機１の各軸モータや各装置などを制御する。さらに、このサーボ制御部１１は、制御している各軸モータの位置情報などに基づいて、カメラ３に対して送出しているパルス信号（パルス状のトリガ信号）の状態を変化させることにより、所定のタイミングで撮像が行われるようにしている。
　ＣＰＵ１０の画像処理部１２は、カメラ３による撮像による画像データを取得して、用途に応じた画像処理を実行する。この画像処理は、例えば、画像データの二値化、フィルタリング、色相抽出などの加工処理と、加工処理された画像データから特定の形状やマークに基づいて被写体の有無や位置情報などを認識する認識処理が含まれる。また、画像処理部１２の負荷を軽減するために、例えば、画像処理のうち上記の画像データの加工処理についてはカメラ３側で行うようにして、上記の認識処理のみを実装機制御装置２の画像処理部１２で行うようにしてもよい。
　（カメラ３の全体構成）
　カメラ３は、図１に示すように、光学ユニット３０と、ＣＰＵ４０と、記憶装置５０とを備えて構成される。光学ユニット３０は、レンズやレンズ保持部材などにより構成されるレンズ部３１により、被写体光を撮像素子３２に結像する構成となっている。撮像素子３２は、回路基板上にレンズ部３１の光軸に対して直角となるように実装されている。この撮像素子３２は、ＣＣＤやＣＭＯＳなどのイメージセンサであって、本実施形態においては、ライン露光順次読み出し方式（ローリングシャッター）を採用したＣＭＯＳイメージセンサとしている。
　カメラ３のＣＰＵ４０は、実装機制御装置２から入力される制御信号に基づいて光学ユニット３０を動作させて撮像を行い、当該撮像により取得した画像データを実装機制御装置２に転送する制御装置である。このＣＰＵ４０は、撮像部４１と、計測部４２と、判定部４３とを備える。撮像部４１は、外部入力されるパルス信号に基づいて光学ユニット３０を制御して、レンズ部３１により撮像素子３２の撮像面に結像された光の強弱に応じて発生される信号電荷をデジタル信号に変換して被写体を撮像する。そして、ＣＰＵ４０は、上記のデジタル信号に基づいて、例えばＰＬＤなどの集積回路により画像データに変換している。
　より詳細には、撮像部４１は、実装機制御装置２のサーボ制御部１１から送出されるパルス信号を入力しており、このパルス信号がＬｏｗからＨｉｇｈに立ち上がった時（パルス信号の状態の遷移時）に、撮像素子３２による露光を開始する。その後に、パルス信号がＨｉｇｈからＬｏｗに立ち下がった時（パルス信号の状態の復帰時）に、撮像素子３２による露光を終了する。このように、カメラ３は、撮像部４１がパルス信号に同期して、当該パルス信号のパルス幅（パルス信号の状態が遷移している期間）を露光時間として撮像を行う撮像方式を採用している。
　計測部４２は、撮像部４１に入力されるパルス信号のパルス幅を計測して、当該計算による計算時間を記憶装置５０のＲＡＭ５２に記憶する。計測部４２は、実装機制御装置２のサーボ制御部１１から撮像部４１へと送出されるパルス信号を分岐して入力されており、このパルス信号の立ち上がりおよび立ち下がりを検知している。そして、計測部４２は、パルス信号の立ち上がりから立ち下がりまでタイマーによるカウントを行って、パルス幅を計測している。
　また、カメラ３のＣＰＵ４０は、計測部４２によりＲＡＭ５２に記憶された計測時間を、撮像部４１による撮像の動作履歴としてフラッシュメモリ５３に記憶する。さらに、ＣＰＵ４０は、計測部４２によりＲＡＭ５２に記憶された計測時間を、当該計測時間に対応するパルス幅を露光時間とした撮像による画像データの固有の付加情報に関連付けて、当該画像データを実装機制御装置２に通信ケーブル４を介して転送する。つまり、本実施形態においては、計測部４２による計測時間は、フラッシュメモリ５３に撮像部４１の動作履歴として、また画像データに関連付けされた情報として記憶される。
　判定部４３は、計測部４２による計測時間と予め設定されている最小露光時間とを比較して、当該計測時間に対応するパルス幅を露光時間とした撮像が有意であるか否かを判定する。この最小露光時間とは、パルス信号の状態の遷移が外部ノイズによるものか否かを判定する基準の露光時間である。よって、最小露光時間Ｔｈは、外部ノイズの影響によりパルス信号の状態が遷移する期間ＰＮのうち、想定される最長期間ＰＮｍａｘよりも長く設定される。本実施形態においては、実装機制御装置２から指定されうる露光時間ＳＳのうち最小の露光時間ＳＳｍｉｎより小さくなるように設定されている（ＳＳｍｉｎ＞Ｔｈ＞ＰＮｍａｘ）。
　より詳細には、判定部４３は、計測時間が最小露光時間以上の場合には、当該計測時間に対応するパルス幅を露光時間とした撮像は有意であるものと判定する。一方で、判定部は、計測時間が最小露光時間未満の場合には、当該計測時間に対応するパルス幅を露光時間とした撮像は有意でないものと判定する。これにより、ＣＰＵ４０は、例えば外部ノイズなどの影響によりパルス信号の状態が遷移したことによる撮像と判定する。そしてＣＰＵ４０は、当該撮像により取得した画像データを実装機制御装置２に転送せずに、動作履歴としてフラッシュメモリ５３に記憶するようにしている。
　カメラ３の記憶装置５０は、ＣＰＵ４０が光学ユニット３０を制御するためのドライバなどのプログラムや初期設定データなどを記憶する不揮発性のＲＯＭ５１と、計測部４２による計測時間を含む各種データを一時的に記憶する揮発性のＲＡＭ５２と、書き換え可能な不揮発性のフラッシュメモリ５３とを有する。カメラ３のＣＰＵ４０は、カメラ３の動作履歴データと各種信号の送受信履歴データと各種設定データを一時的にＲＡＭ５２に記憶し、必要に応じてフラッシュメモリ５３に記憶するようにしている。
　ここで、カメラ３の各種信号の送受信履歴データには、実装機制御装置２のＣＰＵ１０から送出される制御信号による動作指示の履歴データ、および実装機制御装置２に転送した画像データの履歴データが含まれる。また、各種設定データとしては、例えば、カメラゲイン、画像データのオフセット量、ＲＯＩ（Region Of Interest）の設定値などがある。ＲＯＩとは、カメラ３が撮像可能な撮像領域のうち、実装機制御装置２によって指定された有効領域である。また、記憶装置５０は、ＣＰＵ４０や実装機制御装置２からの要求に応じて、ＲＡＭ５２に記憶している各種データをフラッシュメモリ５３に記憶することを可能としている。
　（カメラ３の撮像動作について）
　続いて、電子部品実装機１のカメラ３の撮像動作について、図２を参照して説明する。ここで、カメラ３は、電子部品実装機１が電子部品を装着する際に、コンベアなどの搬送装置によって規定位置まで搬送されたプリント基板を撮像する基板カメラとして用いられているものとする。また、カメラ３は、動作中に各種トレースイベントが発生すると、そのトレースイベントを動作履歴データまたは送受信履歴データとしてＲＡＭ５２に一時的に記憶させる。ＲＡＭ２５は、リングバッファになっており、常に最新のトレースイベントが記憶されるものとする。
　先ず、カメラ３が撮像を行う前に、実装機制御装置２からカメラ３のＣＰＵ４０に、各種コマンドイベントが入力される。このコマンドイベントには、例えば、カメラゲイン（画像輝度）の設定、画像データのオフセット設定、フレームレート（画像の転送スピード）の設定、最小露光時間Ｔｈなどが含まれ、設定データとしてフラッシュメモリ５３に記憶される。これにより、カメラ３は、実装機制御装置２の指令に基づいた撮像、画像データの転送、トレースログの保存などを行うようになっている。
　また、カメラ３の撮像部４１は、実装機制御装置２のサーボ制御部１１から送出されたパルス信号を入力できるように、サーボ制御部１１と信号線で接続されている。このパルス信号は、図２のＴ０～Ｔ１、Ｔ２～Ｔ４に示すように、カメラ３が撮像を行っていない通常状態においては低電圧側（Ｌｏｗ）となっている。
　次に、電子部品実装機１において、プリント基板が規定位置まで搬送されてクランプされると、サーボ制御部１１は、パルス信号の状態を遷移させて高電圧側（Ｈｉｇｈ）とする。そうすると、カメラ３の撮像部４１は、撮像素子３２による露光を開始する。このとき、計測部４２は、パルス信号の立ち上がりを検知して、タイマーによるカウントを開始する。さらに、カメラ３のＣＰＵ４０は、撮像開始イベントとしてパルス信号の立ち上がり時刻およびタスクＩＤをＲＡＭ５２に記憶させる。
　撮像素子３２は、露光開始の指令を受けると、撮像面の１列目の画素から順に露光を開始する。そして、撮像素子３２は、１列目の読み出し時間を経過した後に２列目の露光を開始し、２列目の読み出し時間を経過した後に３列目の露光を開始する。このようにして、撮像素子３２は、各列を最終列まで順次露光を開始していく。これにより、各画素の光電変換部に信号電荷が蓄積される状態となる（図２のＴ１～Ｔ２）。
　また、実装機制御装置２のサーボ制御部１１は、カメラ３の撮像対象や撮像場所などを勘案して設定される露光時間ＳＳ１をＣＰＵ１０から入力されている。そして、サーボ制御部１１は、この露光時間ＳＳ１を経過すると、パルス信号の状態を復帰させて低電圧側（Ｌｏｗ）とする（図２のＴ２）。そうすると、カメラ３の撮像部４１は、撮像素子３２による露光を終了する。このとき、計測部４２は、パルス信号の立ち下がりを検知して、タイマーを停止する。そして、計測部４２は、タイマーによりパルス幅を計測し、この計測時間を撮像素子３２による露光時間ＳＳ１としてＲＡＭ５２に記憶させる。
　撮像素子３２は、露光終了の指令を受けると、撮像面の１列目の画素から順に露光を終了する。そして、露光開始の場合と同様に、撮像素子３２は、各列を１列目から最終列まで順次露光を終了していく。その後に、撮像部４１は、撮像素子３２に対して１列ごとに信号電荷の読み出しを行い、デジタル信号に変換する。このように、撮像部４１は、パルス信号に同期した撮像を行っている。そして、カメラ３のＣＰＵ４０は、撮像部４１により取得されたデジタル信号を画像データに変換する。
　この変換処理に並行して、カメラ３の判定部４３は、計測部４２による計測時間（露光時間ＳＳ１）と、予め設定されている最小露光時間Ｔｈとを比較する。ここでは、計測時間が最小露光時間Ｔｈよりも大きいため（ＳＳ１＞Ｔｈ）、判定部４３は、当該計測時間に対応するパルス幅を露光時間とした撮像が有意であるものと判定する。
　そして、カメラ３のＣＰＵ４０は、判定部４３による判定結果に基づいて、今回の撮像が外部ノイズの影響によるものではなく、実装機制御装置２による指令に基づくものであり正常な撮像と判定して、変換した画像データを実装機制御装置２へ転送する（図２のＴ２～Ｔ３）。このとき、カメラ３のＣＰＵ４０は、画像データの転送において、画像転送開始イベントおよび画像転送完了イベントとして、転送の開始時刻と終了時刻およびタスクＩＤをＲＡＭ５２に記憶させる。
　続いて、実装機制御装置２は、取得した画像データについて画像処理を行って、例えば、プリント基板の対角する二隅に設けられた基板マークを基準位置として認識する。これにより、実装機制御装置２は、電子部品が制御プログラムにより設定された座標値に装着することが可能となる。このように、電子部品実装機１は、実装機制御装置２が取得した画像データと予め記憶している制御プログラムに基づいて電子部品の実装を制御することにより、プリント基板のクランプの際に生じる位置誤差を補正し、部品実装の高精度化を図っている。
　また、実装機制御装置２は、取得した画像データの輝度に過不足があったりするのなど撮像に関係する不具合が生じていると判断した場合、または画像データの品質について検証する場合には、カメラ３のＣＰＵ４０に対してトレースログをフラッシュメモリ５３へ保存するように指示する。これにより、カメラ３の記憶装置５０がＲＡＭ５２に記憶しているトレースログをフラッシュメモリ５３に読み出し可能に記憶し、実装機制御装置２のデータ送信要求に応じてトレースログをカメラ３のＣＰＵ４０が送信する。
　ここで、外部ノイズの影響により撮像が行われた場合について説明する。カメラ３の撮像部４１は、実装機制御装置２のサーボ制御部１１から送出されたパルス信号により撮像を行うが、図２のＴ４で示すように、外部ノイズの影響によりパルス信号の信号線に所定の電圧以上に電圧が印加されると、パルス信号の状態が遷移したものとみなして、正常な場合と同様に撮像素子３２による露光を開始することになる。
　このとき、計測部４２は、パルス信号の立ち上がりを検知して、タイマーによるカウントを開始する。そして、撮像素子３２は、各画素の第１列から最終列まで順次露光を開始し、各画素の光電変換部に信号電荷が蓄積される状態となる（図２のＴ４～Ｔ５）。その後に、図２のＴ５において、外部ノイズによる影響がなくなり、パルス信号の状態が復帰すると、撮像部４１は、撮像素子３２による露光を終了する。このとき、計測部４２は、パルス信号の立ち下がりを検知して、タイマーを停止する。そして、計測部４２は、タイマーによるパルス幅を計測し、この計測時間を撮像素子３２による露光時間ＳＳ２としてＲＡＭ５２に記憶させる。
　そして、撮像部４１が撮像素子３２から信号電荷を読み出しデジタル信号に変換し、さらにカメラ３のＣＰＵ４０が撮像部４１により取得されたデジタル信号を画像データに変換する。また、この変換処理に並行して、カメラ３の判定部４３は、計測部４２による計測時間（露光時間ＳＳ２）と、最小露光時間Ｔｈとを比較する。外部ノイズの影響による撮像の露光時間、即ち外部ノイズによりパルス信号の状態が遷移する時間は短いので、計測時間が最小露光時間Ｔｈよりも小さい（ＳＳ２＜Ｔｈ）。よって、判定部４３は、当該計測時間に対応するパルス幅を露光時間とした撮像が有意ではないと判定する。
　そして、カメラ３のＣＰＵ４０は、判定部４３による判定結果に基づいて、今回の撮像が実装機制御装置２による指令に基づくものではなく、外部ノイズの影響よるものと判定して、変換した画像データを実装機制御装置２に転送しないようにする。このとき、カメラ３のＣＰＵ４０は、一種のエラーイベントとして、現在の時刻とタスクＩＤをフラッシュメモリ５３に記憶させる。そして、カメラ３のＣＰＵ４０は、エラーイベントが発生したことを実装機制御装置２に通知するなどして、実装機制御装置２のデータ送信要求に応じてエラーイベントに係るトレースログを送信する。
　（本実施形態の構成による効果）
　上述したカメラ３の構成によると、当該カメラ３は、パルス信号のパルス幅を露光時間とする撮像方式を採用しており、このパルス幅を計測部４２により計測して記憶装置５０のＲＡＭ５２またはフラッシュメモリ５３に記憶させるようにしている。これにより、撮像部４１に対して実際に指令された露光時間ＳＳ１，ＳＳ２を取得することができる。
　よって、撮像に関係する不具合が生じた場合など撮像動作の適否について検証する際には、記憶装置５０に記憶されている計測時間を読み出し、他の動作履歴データや送受信履歴データ、パルス信号を送出する実装機制御装置２のトレースログなどと併せて検証することができる。このように、パルス信号のパルス幅を露光時間とする撮像方式に特化した検証をすることができるので、当該検証の精度を向上できる。
　また、判定部４２により、最小露光時間Ｔｈに基づいて撮像動作の有意性を判定できるので、当該撮像により画像データを取得した場合には、この画像データが有効か無効かを判定できる。カメラ３のＣＰＵ４０は、判定部４２による判定結果に基づいて、無効の画像データが制御側へ転送されることを防止できる。
　カメラ３は、パルス信号に同期して撮像し、且つパルス幅を露光時間とする撮像方式としているので、パルス信号用の信号線のみで撮像のタイミングと露光時間の両方を制御される。よって、カメラ３としては、簡易な構成で制御側の要求に即応することが可能となる。一方で、このような構成では、外部ノイズが信号線に付与されると、カメラ３が露光を開始して撮像を即時に開始してしまうことがある。そこで、計測部４２によりパルス信号のパルス幅を計測しておくことで、撮像動作の適否についての検証の精度を向上できるとともに、外部ノイズによる撮像かどうかを判断できるので特に有用である。
　また、カメラ３のＣＰＵ４０は、計測時間を撮像部４１による撮像の動作履歴としてＲＡＭ５２に記憶されるものとした。これにより、計測時間がカメラ３における他の動作履歴とともに記憶されるので、パルス信号を含む実装機制御装置２による指令と撮像動作の一致不一致に基づいて、撮像動作の適否を検証することができる。
　また、パルス信号の状態の遷移によって露光を開始するカメラ３においては、正常な撮像指令があったにも関わらず、外部ノイズの影響により画像データが取得されないことがある。より詳細には、例えば、制御側の指令により撮像して取得した画像データを制御側に転送している際に、外部ノイズによりパルス信号の状態が遷移すると画像データの転送を中断して露光を開始することになる。そうすると、転送中の画像データは制御側に転送されず、その画像データを喪失することがある。このような場合にも計測時間を動作履歴として記憶することで、対象となる画像データがなくても、他の動作履歴データや送受信履歴データおよび制御側の動作履歴データなどに基づいて、撮像に関係する不具合の原因を特定することができる。
　カメラ３のＣＰＵ４０は、計測時間を画像データに関連付けてフラッシュメモリ５３に記憶するものとした。これにより、画像データに関係する不具合、または品質について検証することができる。また、本実施形態では、ＣＰＵ４０が画像データを実装機制御装置２に転送すると、記憶装置５０には画像データを記憶していないので、転送した画像データ固有の付加情報に関連付けるようにして、必要な時に記憶装置５０から読み出せるように記憶させている。これにより、画像データの不具合の他に、正常の範囲内ではあるが、実装機制御装置２の指令通りの露光時間で撮像されたか否かなどを検証して、撮像環境の適正などを判定できるので、撮像に関係する不具合などを未然に防ぐのに有用である。
　電子部品実装機１は、任意のタイミングおよび露光時間によりカメラ３による撮像を行うことができる。そして、実装機制御装置２が、カメラ３の撮像による画像データに基づいて電子部品の実装を制御することにより当該制御をより高精度にできる。また、カメラ３の計測部４２がパルス幅を計測しているので、撮像に関係する不具合が生じた場合には、実装機制御装置２が送出したパルス信号とカメラ３の計測時間とに基づいて、撮像動作の適否について検証することができるので、より確実にまた早期に不具合の修正が可能となる。
　＜実施形態の変形態様＞
　本実施形態において、計測部４２は、パルス幅を計測するために、パルス信号の立ち上がりから立ち下がりまでの期間を計測するものとした。これに対して、パルス信号の通常状態が高電圧側（Ｈｉｇｈ）であり、状態を遷移させて低電圧側（Ｌｏｗ）とする場合においても同様に、計測部４２は、パルス信号の立ち下がりから立ち上がりまでの期間を計測することにより、露光時間に相当するパルス幅を計測するようにしてもよい。
　また、計測部４２は、サーボ制御部１１と撮像部４１を接続するパルス信号用の信号線を分岐してパルス信号を入力し、当該パルス信号のパルス幅を計測するものとした。これに対して、計測部４２は、撮像部４１がパルス信号に同期して撮像素子３２を制御することから、撮像部４１が撮像素子３２に対して出力する露光開始および露光終了の制御信号を入力することにより、パルス信号のパルス幅を計測するようにしてもよい。
　実装機制御装置２からコマンドイベントとして入力される最小露光時間Ｔｈは、外部ノイズの影響によりパルス信号の状態が遷移する期間ＰＮのうち、想定される最長期間ＰＮｍａｘを勘案して設定されるものとした。これに対して、最小露光時間Ｔｈは、実装機制御装置２から指定されうる露光時間ＳＳのうち最小の露光時間ＳＳｍｉｎに設定されるようにしてもよい（Ｔｈ＝ＳＳｍｉｎ）。これにより、外部ノイズの影響を確実に低減できるとともに、誤った露光時間に対してエラーイベントとして通知することができる。
　また、本実施形態においては、カメラ３が設けられるＦＡ機器として電子部品実装機１を例示して説明した。これに対して、カメラ３は、パルス信号のパルス幅を露光時間として撮像を行う撮像方式であれば、その他に工作機械や産業ロボットなどのＦＡ機器、またはその他の分野に適用することが可能である。
　１：電子部品実装機
　　２：実装機制御装置
　　　１０：ＣＰＵ、　１１：サーボ制御部、　１２：画像処理部
　　　２０：記憶装置
　　３：カメラ（撮像装置）
　　　３０：光学ユニット、　３１：レンズ部、　３２：イメージセンサ
　　　４０：ＣＰＵ、　４１：撮像部、　４２：計測部、　４３：判定部
　　　５０：記憶装置（メモリ）
　　　　　５１：ＲＯＭ、　５２：ＲＡＭ、　５３：フラッシュメモリ
　　４：通信ケーブル

Claims (6)

  1. 　外部入力されるパルス信号のパルス幅を露光時間として撮像を行う撮像部と、
    　前記撮像部に入力される前記パルス信号の前記パルス幅を計測して、当該計測による計測時間をメモリに読み出し可能に記憶させる計測部と、
    　を備える撮像装置。
  2. 　請求項１において、
    　前記計測時間と予め設定されている最小露光時間とを比較して、当該計測時間に対応する前記パルス幅を露光時間とした撮像が有意であるか否かを判定する判定部をさらに備える撮像装置。
  3. 　請求項１または２において、
    　前記撮像部は、前記パルス信号の状態の遷移時に露光を開始し、前記パルス信号の状態の復帰時に露光を終了することにより、前記パルス信号に同期した撮像を行う撮像装置。
  4. 　請求項１～３の何れか一項において、
    　前記計測時間は、前記撮像部による撮像の動作履歴として前記メモリに記憶される撮像装置。
  5. 　請求項１～４の何れか一項において、
    　前記計測時間は、当該計測時間に対応する前記パルス幅を露光時間とした撮像による画像データに関連付けて前記メモリに記憶される撮像装置。
  6. 　請求項１～５の何れか一項の撮像装置と、
    　前記撮像装置と通信可能に接続され、前記撮像装置に前記パルス信号を送出して前記パルス幅を露光時間とした撮像による画像データを取得し、当該画像データと予め記憶している制御プログラムに基づいて電子部品の実装を制御する制御装置と、
    　を備える電子部品実装機。
PCT/JP2012/068888 2012-07-25 2012-07-25 撮像装置および電子部品実装機 WO2014016928A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/068888 WO2014016928A1 (ja) 2012-07-25 2012-07-25 撮像装置および電子部品実装機
JP2014526662A JP6053790B2 (ja) 2012-07-25 2012-07-25 撮像装置および電子部品実装機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/068888 WO2014016928A1 (ja) 2012-07-25 2012-07-25 撮像装置および電子部品実装機

Publications (1)

Publication Number Publication Date
WO2014016928A1 true WO2014016928A1 (ja) 2014-01-30

Family

ID=49996763

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068888 WO2014016928A1 (ja) 2012-07-25 2012-07-25 撮像装置および電子部品実装機

Country Status (2)

Country Link
JP (1) JP6053790B2 (ja)
WO (1) WO2014016928A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019202668A1 (ja) * 2018-04-17 2019-10-24 株式会社Ｆｕｊｉ 作業機、および作業機の撮像制御方法
WO2023105619A1 (ja) * 2021-12-07 2023-06-15 株式会社Fuji 部品実装機及び基板の製造方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06258690A (ja) * 1993-03-08 1994-09-16 Nikon Corp シャッタ計測装置を有するカメラ
JPH10208016A (ja) * 1997-01-17 1998-08-07 Canon Inc 撮像データ補正方法及び補正装置
JP2005003385A (ja) * 2003-06-09 2005-01-06 Mitsutoyo Corp 画像測定方法、および画像測定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06258690A (ja) * 1993-03-08 1994-09-16 Nikon Corp シャッタ計測装置を有するカメラ
JPH10208016A (ja) * 1997-01-17 1998-08-07 Canon Inc 撮像データ補正方法及び補正装置
JP2005003385A (ja) * 2003-06-09 2005-01-06 Mitsutoyo Corp 画像測定方法、および画像測定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019202668A1 (ja) * 2018-04-17 2019-10-24 株式会社Ｆｕｊｉ 作業機、および作業機の撮像制御方法
JPWO2019202668A1 (ja) * 2018-04-17 2021-02-12 株式会社Ｆｕｊｉ 作業機、および作業機の撮像制御方法
WO2023105619A1 (ja) * 2021-12-07 2023-06-15 株式会社Fuji 部品実装機及び基板の製造方法

Also Published As

Publication number Publication date
JP6053790B2 (ja) 2016-12-27
JPWO2014016928A1 (ja) 2016-07-07

Similar Documents

Publication Publication Date Title
US20090079844A1 (en) Image pickup apparatus for performing a desireble self-timer shooting and an automatic shooting method using the same
KR20070054183A (ko) 촬상 장치, 촬상 방법 및 촬상 제어 프로그램
US20170273227A1 (en) Electronic component mounting system
JP6053790B2 (ja) 撮像装置および電子部品実装機
CN111034387B (zh) 元件装配机及元件装配方法
JP2007333801A (ja) 焦点検出装置
US20180324385A1 (en) Storage device, control device, display device, and storage method
JP3682906B2 (ja) デジタルカメラ
US20230232104A1 (en) Signal processing device, signal processing method, signal processing program, imaging apparatus and lens apparatus
JP5769979B2 (ja) バックラッシュ補正機能を有するカメラ又はカメラシステム
JP5740648B2 (ja) 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
JP5435804B2 (ja) Ｆａ機器用カメラ
JP2014204198A (ja) 画像処理装置、その制御方法及びプログラム
JP2007196301A (ja) 画像を用いた自動運転装置及び自動運転方法
CN111902785B (zh) 控制系统、控制方法以及计算机可读存储介质
JP6720721B2 (ja) 画像データ取得システム
JP5832222B2 (ja) カメラ装置
KR101888832B1 (ko) 칼라 캘리브레이션 장치 및 방법
CN111060004B (zh) 机器视觉中确定运动物体位置的方法、位置确定装置及位置确定系统
JP5962587B2 (ja) 検出装置および検出方法
JP7015709B2 (ja) 基板作業装置
JP2020010177A5 (ja)
CN111066317A (zh) 摄像控制装置、摄像装置、摄像控制方法及摄像控制程序
KR101128322B1 (ko) 인쇄회로기판의 광학 검사 장치 및 방법
CN110966983B (zh) 电子水准仪

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12881900

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014526662

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12881900

Country of ref document: EP

Kind code of ref document: A1