WO2023275994A1 - 部品実装システム、画像処理装置、画像処理方法及び画像処理システム - Google Patents

部品実装システム、画像処理装置、画像処理方法及び画像処理システム Download PDF

Info

Publication number
WO2023275994A1
WO2023275994A1 PCT/JP2021/024564 JP2021024564W WO2023275994A1 WO 2023275994 A1 WO2023275994 A1 WO 2023275994A1 JP 2021024564 W JP2021024564 W JP 2021024564W WO 2023275994 A1 WO2023275994 A1 WO 2023275994A1
Authority
WO
WIPO (PCT)
Prior art keywords
component mounting
image processing
production
worker
mounting line
Prior art date
Application number
PCT/JP2021/024564
Other languages
English (en)
French (fr)
Inventor
真也 竹内
桂資 太田
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2021/024564 priority Critical patent/WO2023275994A1/ja
Priority to CN202180098384.3A priority patent/CN117337619A/zh
Priority to JP2023531196A priority patent/JPWO2023275994A1/ja
Priority to DE112021007898.4T priority patent/DE112021007898T5/de
Priority to US18/559,575 priority patent/US20240273907A1/en
Publication of WO2023275994A1 publication Critical patent/WO2023275994A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/0882—Control systems for mounting machines or assembly lines, e.g. centralized control, remote links, programming of apparatus and processes as such
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • This specification relates to a component mounting line that mounts components on boards. Specifically, the present invention relates to a technique for visualizing the work status of workers deployed in a component mounting line.
  • a component mounting line that mounts components on boards is equipped with multiple production equipment (for example, printers, component mounters, reflow ovens, board inspection machines, etc.).
  • the board is sequentially transported to a plurality of production facilities, and components are mounted on the board by subjecting the board to predetermined processing in each of the production facilities.
  • preparation work for example, supply of raw materials (components, etc.), etc.
  • workers are assigned to the component mounting line, and the workers perform necessary work according to the operational status of the production equipment.
  • the working conditions of the workers must be appropriate for the operating conditions of the production equipment. For this reason, techniques for evaluating the work status of workers have been developed (for example, Japanese Unexamined Patent Application Publication No. 2019-191748).
  • the production equipment to be analyzed and the workers working on the production equipment are photographed. By analyzing the photographed image, the operation status of the production facility and the position and orientation of the worker are acquired, and it is determined whether or not the worker's work on the production facility is appropriate.
  • the technique disclosed in the above publication although it is possible to evaluate whether or not the worker's work status for the production equipment to be analyzed is appropriate, a plurality of production equipment are installed in the component mounting line, and the worker is required to work with these plurality of production equipment. It is common to work on Therefore, even if the work situation for one production facility is appropriate, the work situation for other production facilities is not always appropriate. With the technique disclosed in the above publication, it was not possible to evaluate whether or not the worker's work status was appropriate for the plurality of production equipment installed in the component mounting line.
  • This specification discloses a technique for evaluating whether or not a worker's work status is appropriate for a plurality of production facilities installed in a component mounting line.
  • the component mounting system disclosed in this specification includes a plurality of production equipment installed in a component mounting line that mounts components on a substrate, and 1 that is installed in the component mounting line and deployed in the plurality of production equipment and the component mounting line.
  • a photographing unit for photographing a plurality of workers and image processing of the images photographed by the photographing unit during a predetermined production period during which products are produced on a component mounting line are processed to determine whether at least one of one or a plurality of workers and a display unit that visualizes and displays the work status of the worker with respect to at least one of the plurality of production facilities at each of a plurality of points in time or a plurality of periods set in advance within the production period.
  • one or more workers deployed in multiple production facilities and component mounting lines are photographed, and the photographed images are image-processed to visualize the work status of the workers.
  • photographing a plurality of production facilities it is possible to evaluate whether or not the worker's work is appropriate for the operation status of the plurality of production facilities.
  • FIG. 4 is a diagram showing a flowchart of processing executed by an image processing apparatus
  • FIG. 3 is a diagram showing a flowchart of image processing executed in S20 of FIG. 2
  • FIG. 4 is a diagram for explaining a procedure for calculating the distance between an operator and production equipment
  • FIG. 10 is a diagram showing another example of a time chart that visualizes the work status of an operator;
  • the technology disclosed in this specification may further include an operating status acquisition unit that acquires the operating status of at least one of the plurality of production facilities at each of multiple points in time or multiple periods.
  • the display unit may display the obtained operation status of the production equipment in correspondence with the work status. According to such a configuration, since the operation status of the production equipment and the work status of the worker are displayed in correspondence, it is possible to easily evaluate whether or not the work status of the worker is appropriate.
  • the operating status acquisition unit may acquire the operating status by image processing.
  • some production facilities are equipped with signal lights that notify workers that a particular task is required.
  • signal lights that notify workers that a particular task is required.
  • photographing the production equipment by photographing the signal lamp together with the production equipment, it is possible to obtain the operation status of the production equipment.
  • At least one of the plurality of production facilities may have a status output unit that outputs its own status.
  • the operating status acquisition unit may acquire the operating status from the status output from the status output unit. According to such a configuration, it is possible to accurately acquire the operation status of the production equipment based on the information output from the production equipment.
  • the technology disclosed in this specification may further include a judgment unit that judges whether or not there is a delay in the work of the worker based on the transition of the operation status of the production equipment and the transition of the work status of the worker. According to such a configuration, since it is determined by the determination unit whether or not there is a delay in the work of the worker, it is possible to more easily evaluate the work status of the worker.
  • the technology disclosed in this specification may further include a first designation device that designates a production facility to be analyzed from among a plurality of production facilities.
  • the operating status acquisition unit may acquire the operating status of the production facility designated by the first designated device. According to such a configuration, it is possible to evaluate the work status of the worker with respect to the designated production facility.
  • the technology disclosed in this specification may further include a second designation device that designates a worker to be analyzed from among one or more workers.
  • the display unit may visualize and display the work status of the worker designated by the second designation device. According to such a configuration, it is possible to evaluate the work status of the designated worker.
  • the worker and the production facility when a plurality of production facilities are photographed in the vicinity of the worker at either a plurality of time points or a plurality of periods, the worker and the production facility, and it may be determined that the worker is working on the production facility having the smallest distance among the calculated distances. According to such a configuration, even if a plurality of production facilities are shown in the photographed image, it is possible to identify the production facility that the worker is working on.
  • the time during which the worker is working on the production facility is predetermined. If it is less than the specified time, discard the judgment that the worker is working on the production equipment, and if the time that the worker is working on the production equipment is longer than the specified time, the worker A determination that work is being performed on a production facility may be maintained. According to such a configuration, even if an image of a worker simply passing in front of the production facility is captured, it is possible to avoid the worker being determined to be working on the production facility.
  • the worker's production facility You may also specify the details of the work you have done on it. According to such a configuration, since the work content of the worker is specified in consideration of the operating state of the production equipment, the work state of the worker can be accurately evaluated.
  • a component mounting system 10 includes a plurality of production facilities 12 to 28 installed on a component mounting line, a management device 30 for managing the plurality of production facilities 12 to 28, and a control device 30 installed on the component mounting line. and an image processing device 36 that processes images captured by the imaging devices (34a, 34b).
  • the production facilities 12 to 28 constitute a component mounting line that mounts components on boards.
  • the component mounting line mounts components on boards to be supplied, and manufactures boards on which the components are mounted.
  • a board after component mounting is called a circuit board, and a board before or during component mounting is sometimes simply called a board.
  • the component mounting line of this embodiment manufactures a plurality of types of circuit boards. Different types of circuit boards have different sizes, different solder patterns printed on the boards, and different types of components mounted on the boards. Therefore, when changing the type of circuit board to be produced in the component mounting line, each of the production facilities 12 to 28 needs setup work (preparation work). Further, when production of circuit boards is started on a component mounting line, substrates, solder, parts, etc.
  • a plurality of operators 50a to 50c are deployed in the component mounting line. In the mounting line shown in FIG. 1, three operators 50a-50c are deployed.
  • the component mounting line includes a board loader 12, a printer 14, a print inspection machine (SPI) 16, a first component mounter 18, a second component mounter 20, and a first board visual inspection machine (AOI) 22. , a reflow oven 24 , a second board visual inspection machine (AOI) 26 and a board unloader 28 . Since these production facilities 12 to 28 can use known machines used in known component mounting lines, they will be described briefly.
  • the board loader 12 loads the boards into the component mounting line.
  • the substrate loader 12 accommodates a plurality of substrates and unloads the accommodated substrates one by one to the printer 14 .
  • the printer 14 prints a pattern of solder on the board loaded from the board loader 12 .
  • the board on which the solder pattern is printed is conveyed from the printer 14 to the print inspection machine 16 .
  • the print inspection machine 16 inspects whether or not the solder pattern printed on the board is normal. If there is an abnormality in the printed solder pattern (for example, if there is printing failure due to clogging of the mask), the substrate is discarded. On the other hand, if the printed solder pattern is normal, the board is carried out from the print inspection machine 16 to the first component mounting machine 18 .
  • the first component mounter 18 mounts a plurality of predetermined components on the board carried in from the print inspection machine 16 . Specifically, the first component mounter 18 is detachably attached with a plurality of component feeders, and mounts the components supplied from these component feeders on the board.
  • the board on which the components are mounted by the first component mounter 18 is carried out to the second component mounter 20 .
  • the second component mounter 20 mounts a plurality of predetermined components on the board carried in from the first component mounter 18 in the same manner as the first component mounter 18 .
  • the board on which the components are mounted is carried out to the first board visual inspection machine 22 .
  • the first board visual inspection machine 22 inspects whether or not the components are normally mounted on the board. If the components are not properly mounted on the board (for example, the components are mounted in different locations), the board is discarded. On the other hand, when the components are normally mounted on the board, the board is unloaded from the first board appearance inspection machine 22 to the reflow furnace 24 .
  • the reflow furnace 24 heats the board to be carried in, melts the solder, and solders the components to the board.
  • the substrate carried out from the reflow furnace 24 is carried into the second substrate visual inspection machine 26 .
  • a second board visual inspection machine 26 inspects whether or not the board is soldered in the correct position. If the component is not soldered to the correct position on the board (eg, if the component is misaligned for some reason while being heated in the reflow oven 24), the board is discarded. On the other hand, when the component is soldered to the correct position on the board, the board is unloaded from the second board appearance inspection machine 22 to the board unloader 28 .
  • the board unloader 28 unloads the board (that is, the circuit board on which the components are mounted) transported from the second board appearance inspection machine 22 from the component mounting line.
  • Each production equipment 12-28 is provided with communication circuits 12a-28a (an example of a "status output unit"), respectively.
  • the communication circuits 12a to 28a are communicatively connected to the management device 30.
  • FIG. Each of the communication circuits 12a-28a outputs to the management device 30 state information indicating the state of the production equipment 12-28 equipped with the communication circuit.
  • the substrate loader 12 outputs the number of substrates to be accommodated to the management device 30 . Accordingly, the management device 30 can determine whether or not the substrate loader 12 needs to be replenished with substrates.
  • the first component mounter 18 and the second component mounter 20 output the number of used components to the management device 30 for each component type. Thereby, the management device 30 can determine whether or not it is necessary to replenish the first component mounter 18 and the second component mounter 20 with components.
  • the component feeders attached to the first component mounter 18 and the second component mounter 20 are conveyed by the feeder rack 32 . That is, the component feeders before use are loaded into the feeder rack 32 at a storage location (not shown) and transported to the first component mounter 18 and/or the second component mounter 20 by the feeder rack. Also, the component feeders that have been used by the first component mounter 18 and/or the second component mounter 20 are loaded onto the feeder rack 32 . The used component feeders loaded on the feeder rack 32 are transported to a storage location (not shown) and prepared for the next use.
  • the management device 30 is composed of a computer equipped with a CPU and memory.
  • the management device 30 controls the production of circuit boards by controlling the operations of the production facilities 12-28. For example, the management device 30 transmits a print pattern of solder to the print inspection machine 16, and the print inspection machine 16 inspects the board according to the received print pattern. Further, for example, the management device 30 transmits a mounting program (mounting job) that defines the types of components to be mounted on the first component mounter 18 and the second component mounter 20, the order of mounting, and the mounting position, and The mounter 18 and the second component mounter 20 mount components on the board based on the received mounting program.
  • mounting program mounting job
  • the management device 30 determines the operating status of each production facility based on the status information output from each production facility 12-28. For example, the first component mounter 18 and the second component mounter 20 output information to that effect to the management device 30 when the component feeders need to be replaced. Based on the information output from the first component mounter 18 and the second component mounter 20, the management device 30 determines that the component feeders of the first component mounter 18 and the second component mounter 20 need to be replaced. can be determined to be
  • the imaging devices (34a, 34b are placed in a factory where a component mounting line is installed.
  • the imaging devices (34a, 34b) include a plurality of production facilities 12-28 installed in the component mounting line, a plurality of workers 50a-50c arranged in the component mounting line, and a feeder rack used in the component mounting line. 32 can be photographed.
  • the imaging devices (34a, 34b) are provided with a first camera 34a arranged upstream of the component mounting line (board loader 12 side) and a camera mounted downstream of the component mounting line (board unloader 28 side).
  • a second camera 34b is provided.
  • the first camera 34a is arranged so that its optical axis is oblique to the component mounting line (the direction in which the production equipment 12 to 28 are arranged), and the entire production equipment 12 to 28 is viewed from the upstream side of the component mounting line. can be taken.
  • the second camera 34b is arranged so that its optical axis is oblique to the component mounting line, and is capable of photographing the entire production facilities 12 to 28 from the downstream side of the component mounting line.
  • the positions (x, y) of the operators 50a to 50c can be specified by photographing the component mounting line from different directions with the first camera 34a and the second camera 34b, as will be described later.
  • the first camera 34 a and the second camera 34 b are connected to the image processing device 36 . Moving image data captured by the first camera 34 a and the second camera 34 b are input to the image processing device 36 .
  • the image processing device 36 is composed of a computer having a CPU and a memory.
  • the image processing device 36 can function as a “display unit”, an “operation status acquisition unit”, etc. by executing programs (including an image processing program) stored in the memory.
  • the image processing device 36 is connected to the first camera 34 a , the second camera 34 b and the management device 30 .
  • the image processing device 36 receives the moving images captured by the first camera 34a and the moving images captured by the second camera 34b, respectively, and also receives the operation statuses of the production facilities 12 to 28 from the management device 30.
  • the image processing device 36 visualizes the work statuses of the operators 50a-50c based on the input moving images and the input operation statuses of the production equipment 12-28. The processing performed by the image processing device 36 will be detailed later.
  • a display device 38 , an input device 40 and an image registration device 42 are further connected to the image processing device 36 .
  • the display device 38 displays various information output from the image processing device 36 (for example, time charts visualizing the operation status of the production facilities 12 to 28 and the work status of the operators 50a to 50c).
  • a known display can be used for the display device 38 .
  • the input device 40 can specify (input) the conditions for image processing performed by the image processing device 36, and the production equipment and operators to be subjected to image processing. That is, the input device 40 is an example of a "first designated device" and an example of a "second designated device". Information input from the input device 40 is stored in the memory of the image processing device 36 .
  • a known pointing device such as a keyboard or mouse can be used as the input device 40 .
  • the image registration device 42 inputs (registers) images (reference images) of the production equipment 12 to 28 and the operators 50a to 50c to be recognized in the image processing performed by the image processing device 36 .
  • the reference image input from the image registration device 42 is stored in the memory of the image processing device 36 .
  • a digital camera, a smart phone with a digital camera, a tablet PC with a digital camera, a scanner, or the like can be used as the image registration device 42 .
  • the image registration device 42 is an example of an "image input unit".
  • the image processing device 36 registers (inputs) reference images of the production equipment 12 to 28 and the feeder rack 32 to be subjected to image processing (S10).
  • image processing S10
  • a reference image of all the production equipment 12 to 28 constituting the component mounting line and a reference image of the feeder rack 32 used in the component mounting line are input.
  • An image registration device 42 is used to input these reference images.
  • the image processing device 36 registers (inputs) reference images of the operators 50a to 50c to be subjected to image processing (S12).
  • image processing S12
  • reference images of all operators 50a to 50c arranged on the component mounting line are input.
  • the image registration device 42 is used to input these reference images as in S10.
  • the image processing device 36 takes in the moving image data shot by the shooting devices (34a, 34b) (S14). That is, the photographing devices (34a, 34b) photograph the production equipment 12-28, the feeder rack 32, and the operators 50a-50c during a predetermined production period during which circuit boards are produced on the component mounting line.
  • the moving image data captured by the imaging devices (34a, 34b) are stored in the memory of the imaging devices (34a, 34b).
  • the moving image data stored in the memory of the imaging device ( 34 a, 34 b ) is input to the image processing device 36 .
  • the user can arbitrarily set the period during which the component mounting line is photographed by the photographing devices (34a, 34b). For example, the operating hours (for example, 9:00 am to 5:00 pm) of the factory where the component mounting line is installed may be set as the shooting period.
  • the shooting period may be one day from the time of the change.
  • the image processing device 36 captures the operational status of the production facilities 12 to 28 during the period in which the moving images were captured by the imaging devices (34a, 34b) (S16). That is, the production facilities 12-28 output status information indicating their own status to the management device 30 via the communication circuits 12a-28a. Therefore, based on the status information output from the production equipment 12 to 28, the management device 30 displays the operation information of the production equipment (for example, normal operation, operation stop (including error code), maintenance work, etc.). It acquires and stores the operation information in memory. In S16, the operation information of the production facilities 12-28 stored in the memory of the management device 30 is input to the image processing device .
  • the operation information of the production facilities 12-28 stored in the memory of the management device 30 is input to the image processing device .
  • the image processing device 36 creates a time chart that visualizes the work status of the operators 50a to 50c by image-processing the moving image data input in S14 (S18).
  • S18 image-processing the moving image data input in S14
  • the image processing device 36 selects image data (one moving image data) to be subjected to image processing (analysis target) from the moving image data input in S14 (S22). That is, the imaging devices (34a, 34b) capture moving image data at predetermined time intervals (predetermined frame rate). Therefore, the moving image data input in S14 is composed of a plurality of image data shot at predetermined time intervals.
  • one image data to be subjected to image processing is selected from a plurality of image data included in the moving image data. For example, all image data included in captured moving image data may be selected and subjected to image processing. In this case, since all the image data are processed, the work situations of the operators 50a to 50c can be accurately visualized.
  • image data selected at predetermined time intervals i.e., time intervals longer than the image capturing time intervals of the image capturing devices (34a, 34b)
  • image data included in captured moving image data may be image-processed.
  • the amount of image data to be subjected to image processing is reduced, so the time required for image processing can be shortened.
  • the image processing device 36 automatically recognizes whether or not the image data selected in S22 includes the production equipment 12 to 18 to be recognized (S24).
  • all of the production equipment 12 to 28 constituting the component mounting line, the feeder rack 32 used in the component mounting line, and the operators 50a to 50c deployed in the component mounting line are all recognized.
  • the first camera 34a and the second camera 34b of the photographing devices (34a, 34b) are installed so that all the production facilities 12-28 can be photographed. Therefore, all of the production facilities 12 to 28 are captured in the moving image data captured by the first camera 34a and the second camera 34b.
  • the feeder rack 32 may be positioned outside the imaging range of the imaging devices (34a, 34b), and the operators 50a-50c may also be positioned outside the imaging range of the imaging devices (34a, 34b). Therefore, in S24, the production facilities 12 to 28 appearing in the image data selected in S22 are recognized, and when the feeder rack 32 and the operators 50a to 50c are located within the photographing range of the photographing devices (34a, 34b), , the feeder rack 32 and the operators 50a to 50c are recognized.
  • a known automatic recognition program can be used as a method for automatically recognizing whether or not the object to be recognized appears in the image data.
  • the image processing device 36 determines whether or not any of the operators 50a to 50c was recognized in S24 (S26). If the image processing device 36 does not recognize any of the operators 50a to 50c (that is, if there are no operators 50a to 50c on the component mounting line), S26 becomes NO, and the process proceeds to S36.
  • the process proceeds to S28, and the recognized operator choose one of the For example, when three operators 50a to 50c are recognized, one of the operators 50a to 50c to be analyzed is selected.
  • FIG. 4 shows an operator 50a and production facilities 22,24.
  • the position (x 1 , y 1 ) where the first camera 34a is installed is known, and the position (x 2 , y 2 ) where the second camera 34b is installed is also known.
  • the optical axis of the first camera 34a is fixed, and the optical axis of the second camera 34b is also fixed.
  • the direction (angle ⁇ 1 ) in which the operator 50a is positioned with respect to the first camera 34a can be calculated from the position of the operator 50a in the image captured by the first camera 34a.
  • the direction (angle ⁇ 2) in which the operator 50a is positioned with respect to the second camera 34b can be calculated from the position of the operator 50a in the image captured by the second camera 34b.
  • the position (x 1 , y 1 ) of the first camera 34a and the position (x 2 , y 2 ) of the second camera 34b are known, and the angles ⁇ 1 and ⁇ 2 are calculated.
  • a position (x 3 , y 3 ) can be calculated.
  • the distance between the operator 50a and the production equipment 22 is l 1 and the distance l 2 between the operator 50a and the production facility 24 can be calculated.
  • the distance between the operator selected at S28 and each of the production facilities 12 to 28 is calculated according to the procedure described above. As is clear from the above description, the distances calculated in S30 mean the distances when the production equipment 12-28 and the operators 50a-50c are viewed from above. If the feeder rack 32 is recognized in S24, the distance between the operator and the feeder rack 32 is also calculated. Since the position of the feeder rack 32 can be calculated in the same way as the operator, the distance between the feeder rack 32 and the operator can also be calculated.
  • the image processing device 36 associates the operator selected in S28 with the closest production facility (feeder rack 32 in some cases) (S32). That is, since the distances between the operator and each of the production facilities 12 to 28 are calculated in S30, the production facility with the smallest calculated distance is associated with the operator selected in S28. For example, in the case shown in FIG. 4, the operator 50a and the production facility (first board visual inspection machine) 22 are associated.
  • the image processing device 36 determines whether or not the processes of S28 to S32 have been executed for all the operators recognized in S24 (S34). If the processing has not been performed for all the operators recognized in S24 (NO in S34), the process returns to S28 and the processing from S28 is performed. As a result, the distances from the production facilities 12 to 28 are calculated for all the operators recognized in S24, and the production facility with the shortest distance is associated with each operator.
  • S36 the image processing device 36 determines whether or not all the image data to be subjected to image processing among the moving image data input in S14 have been processed. If all the image data has not been processed (NO in S36), the image processing device 36 returns to S22 and repeats the processing from S22. As a result, all the image data to be subjected to image processing among the moving image data input in S14 are processed.
  • the image processing device 36 selects one operator to be analyzed (S38).
  • each of the three operators 50a to 50c deployed on the component mounting line is analyzed. Therefore, in S38, one of the three operators 50a to 50c (for example, operator 50a) is selected.
  • the image processing device 36 continuously handles the same production equipment 12 to 28, 32 for a predetermined time or more during the period in which the operator selected in S38 captured the moving image with the imaging device (34a, 34b). It is determined whether or not there is a period attached (S40). That is, by the processes of S22 to S36 described above, all the image data to be analyzed among the moving image data input in S14 are subjected to image processing, and the operators 50a to 50c operate the production facilities 12 to 50c at the time when each image data is captured. 28 or 32.
  • the determination in S40 can be made based on the time interval of the image data selected in S22. For example, when the time interval of the image data selected in S22 is 5 seconds and the predetermined time used for the determination in S40 is 20 seconds, when the operator continuously associates 5 image data with the same production facility, , it can be determined that the operator has a period associated with the same production facility continuously for a predetermined period of time or longer. From the viewpoint of reducing the amount of image processing, the time interval of the image data selected in S22 may be matched with the predetermined time used for the determination in S40. In this case, when the operator is continuously associated with the same production equipment for two pieces of image data, it can be determined that the operator has been associated with the same production equipment continuously for a predetermined period of time or longer.
  • the image processing device 36 determines whether or not the processes of S40 to S44 have been executed for all operators to be analyzed (S46). If the processing has not been executed for all the operators to be analyzed (NO in S46), the process returns to S38 and the processing from S38 is executed. As a result, the processes of S40 to S44 are executed for all the operators to be analyzed, and it is determined which production facility the operator is working on.
  • the process returns to S20 in FIG. 2, and the image processing device 36 displays on the display device 38 a time chart in which the operators 50a to 50c to be analyzed are associated with the respective production equipment 12 to 28, 32. (S20). That is, the display device 38 shows the work status of which production equipment the operators 50a to 50c are working on at each time during the period (production period) during which the moving images were captured by the imaging devices (34a, 34b). A time chart that visualizes is displayed. Since the image processing device 36 acquires the operation status of each production equipment 12 to 28 in S16, the time chart displayed in S20 also displays the operation status of each production equipment 12 to 28. good too.
  • FIG. 5 is a time chart showing the work status of the operators 50a-50c on the production equipment 12-28, 32 from 9:50 to 11:05.
  • the work status of operator 50a is displayed as "operator 1" in the figure
  • the work status of operator 50b is displayed as “operator 2" in the figure
  • the work status of operator 50c is displayed as "operator 3" in the figure. is displayed.
  • the work statuses of the operators 50a to 50c are displayed for each minute on which production facility the work was performed. For example, in the column for 9:50, which production facility the operator worked on from 9:50:00 to 9:51:00 is displayed.
  • the work on the production equipment 12 to 28, 32 is performed by the operator working on the production equipment when the operator is associated with the production equipment continuously for 20 seconds or more. I believe there is. Therefore, there are cases where work is being performed on a plurality of production facilities in one minute.
  • the operator 50b (operator 2) is working on both the first mounter 18 and the second mounter 20 at 10:08.
  • FIG. 5 also shows the operation status of the production facilities 12 to 28.
  • the printing machine 14 outputs a guide for setup work
  • the print inspection machine (SPI) 16 outputs the first component mounter 18 and the second component
  • the loader 28 outputs a guidance (alarm) for each setup work. Therefore, the time chart of FIG. 5 is a time chart when a setup work guidance is output to the production equipment 12 to 28, and the operators 50a to 50c perform setup work for each of the production equipment 12 to 28 in accordance with the guidance. becomes.
  • the workload of the operator 50b (operator 2) is high during this time period, and the operator 50b is working on a plurality of production facilities 18-28, 32.
  • the operator 50c (operator 3) is not working during this time period. Therefore, in order to reduce the work load of the operator 50b, it is necessary to take measures to share the work with the other operator 50c.
  • an operator 50a (operator 1) and an operator 50b (operator 2) jointly operate the first mounter 18 and the second component. Since the operator 50a is working on the mounting machine 20, the work on the printing machine 14 by the operator 50a is delayed from time 10:57. Therefore, by changing the operator 50b and the operator 50c (operator 3) to jointly work on the first mounter 18 and the second mounter 20, the operator 50a can work on the printer 14. It turns out that you can start quickly.
  • FIG. 6 is a time chart showing the work status of the operators 50a-50c on the production equipment 12-28, 32 from 13:15 to 13:54.
  • FIG. 6 also shows the operation statuses of the production facilities 12 to 28 (specifically, display by signal towers and monitors).
  • the time chart of FIG. 6 shows the work statuses of the operators 50a to 50c to respond to the display (alarm) issued by the signal tower or monitor from the production equipment.
  • a plurality of production facilities 12 to 28, 32 and a plurality of operators 50a to 50c arranged in the component mounting line are photographed, and the photographed moving images are displayed.
  • the work statuses of the operators 50a to 50c are visualized by image processing. Therefore, it is possible to evaluate whether or not the work of the operators 50a-50c is appropriate with respect to the operation status of the plurality of production facilities 12-28, 32 installed in the component mounting system.
  • the cause can be easily estimated, and as a result, it is possible to find a remedy.
  • each production facility 12-28 outputs status information indicating its own status
  • the management device 30 acquires the operating status of each production facility 12-28 from the output status information.
  • the acquired operation status is input to the image processing device 36 .
  • the image processing device 36 may acquire the operation status of each production facility by image-processing the moving image data captured by the imaging device. That is, by image-processing the moving image data, the operation status of each production facility may be acquired from the guidance of the signal tower or monitor installed in each production facility. In this case, since it is not necessary to acquire the operation status from the management device 30, the system configuration can be simplified.
  • the producer who produces the circuit boards on the component mounting line and the person who visualizes the work status of the workers with the image processing device 36 are the same person.
  • the technology is not limited to such forms.
  • the producer who produces the circuit boards on the component mounting line and the person who visualizes the work status of the workers with the image processing device 36 may be different.
  • a producer who produces circuit boards on a component mounting line for example, only registers reference images of production equipment and operators to be image-processed, and inputs video data of the component mounting line. Registration of the reference image and input of the moving image can be performed from a PC or tablet PC owned by the producer.
  • the person who visualizes the worker's work situation with the image processing device 36 analyzes the registered reference image and the input video data, and outputs a time chart visualizing the worker's work situation to the producer. .
  • the operator of the image processing apparatus 36 can remotely support the producer who produces circuit boards on the component mounting line.
  • the image processing apparatus may estimate (determine) the details of the work based on the operational status of the production equipment that the operator is working on. The user can easily evaluate the operator's work status by the image processing apparatus estimating the work content of the operator. Furthermore, the image processing apparatus may determine whether or not there is a delay in the work of the operator based on the transition of the operation status of the production equipment and the transition of the work status of the operator. According to such a configuration, it is possible to easily grasp the delay in the work of the operator, and it is possible to improve the convenience of the producer who produces the circuit boards on the component mounting line.
  • the operators 50a to 50c are always associated with the closest production equipment, but the technology disclosed in this specification is not limited to such a form. For example, if the distance between the operator and the closest production equipment is longer than a predetermined distance, it is not necessary to associate the operator with the production equipment. That is, the operator is not associated with any production facility. This is because, when the distance from the operator to the production equipment exceeds the predetermined distance, it is difficult to assume that the operator is working on the production equipment.
  • all the production equipment installed in the component mounting line and all the operators deployed in the component mounting line were analyzed. not limited to any form. For example, only the work status of a specific operator for a specific production facility may be analyzed.
  • the positions of the operators 50a to 50c are calculated by photographing the operators 50a to 50c with the two cameras 34a and 34b. It is not limited to such a form.
  • one camera and a distance sensor (laser sensor) that measures the distance to the operator may be installed, and the operator's position may be calculated using the camera image and the distance measured by the distance sensor. .
  • an image captured by a camera is used to calculate the operator's position, but the operator's position may be obtained by having the operator carry a GPS sensor. In this case, it is not always necessary to photograph the production equipment installed in the component mounting line, and the operator's work situation may be estimated only from the operator's position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)

Abstract

部品実装システムは、部品を基板に実装する部品実装ラインに設置される複数の生産設備と、部品実装ラインに設置され、複数の生産設備と部品実装ラインに配備される１又は複数の作業者を撮影する撮影部と、部品実装ラインで製品を生産する所定の生産期間に撮影部で撮影される画像を画像処理する画像処理部を備える。画像処理部は、１又は複数の作業者の少なくとも１人について、生産期間内に予め設定された複数の時点又は複数の期間のそれぞれにおける複数の生産設備の少なくとも１つに対する当該作業者の作業状況を可視化して表示する。

Description

部品実装システム、画像処理装置、画像処理方法及び画像処理システム
　本明細書は、基板に部品を実装する部品実装ラインに関する。詳細には、部品実装ラインに配備される作業者の作業状況を可視化する技術に関する。
　基板に部品を実装する部品実装ラインには、複数の生産設備（例えば、印刷機、部品実装機、リフロー炉、基板検査機等）が設置される。基板は複数の生産設備に順に搬送され、各生産設備おいて所定の処理が基板に行われることで、基板に部品が実装される。基板に部品を実装するためには、各生産設備に準備作業（例えば、原材料（部品等）の供給等）が必要となる。このため、部品実装ラインには作業者が配置され、生産設備の稼働状況に応じて必要な作業を作業者が行うようになっている。部品実装ラインの生産効率を高めるためには、生産設備の稼働状況に対して作業者の作業状況が適切なものとなっていなければならない。このために、作業者の作業状況を評価する技術が開発されている（例えば、特開２０１９－１９１７４８号公報）。
　上記公報の技術では、解析対象となる生産設備と、その生産設備に対して作業を行う作業者とを撮影する。そして、撮影された画像を解析することで、生産設備の稼働状況と、作業者の位置及び向きを取得し、当該生産設備に対する作業者の作業が適切か否かを判定している。上記公報の技術では、解析対象となる生産設備に対する作業者の作業状況が適切か否かを評価できるものの、部品実装ラインには複数の生産設備が設置され、作業者はこれら複数の生産設備に対して作業を行うことが一般的である。このため、一つの生産設備に対する作業状況が適切であっても、他の生産設備に対する作業状況が適切とは限らない。上記公報の技術では、部品実装ラインに設置される複数の生産設備に対して作業者の作業状況が適切か否かを評価することはできなかった。
　本明細書は、部品実装ラインに設置される複数の生産設備に対して作業者の作業状況が適切か否かを評価する技術を開示する。
　本明細書に開示する部品実装システムは、部品を基板に実装する部品実装ラインに設置される複数の生産設備と、部品実装ラインに設置され、複数の生産設備と部品実装ラインに配備される１又は複数の作業者を撮影する撮影部と、部品実装ラインで製品を生産する所定の生産期間に撮影部で撮影される画像を画像処理することで、１又は複数の作業者の少なくとも１人について、生産期間内に予め設定された複数の時点又は複数の期間のそれぞれにおける複数の生産設備の少なくとも１つに対する当該作業者の作業状況を可視化して表示する、表示部と、を備える。
　上記の部品実装システムでは、複数の生産設備と部品実装ラインに配備される１又は複数の作業者を撮影し、撮影された画像を画像処理することで作業者の作業状況を可視化する。複数の生産設備を撮影することで、これら複数の生産設備の稼働状況に対して作業者の作業が適切か否かを評価することができる。
部品実装システムの全体構成を示す図。 画像処理装置で実行する処理のフローチャートを示す図。 図２のＳ２０で実行する画像処理のフローチャートを示す図。 オペレータと生産設備との距離を算出する手順を説明するための図。 オペレータの作業状況を可視化したタイムチャートの一例を示す図。 オペレータの作業状況を可視化したタイムチャートの他の例を示す図。
　本明細書に開示の技術では、複数の時点又は複数の期間のそれぞれにおける複数の生産設備の少なくとも１つの稼働状況を取得する稼働状況取得部をさらに備えていてもよい。表示部は、取得した生産設備の稼働状況を、作業状況に対応させて表示してもよい。このような構成によると、生産設備の稼働状況と作業者の作業状況が対応して表示されるため、作業者の作業状況が適切か否かを容易に評価することができる。
　本明細書に開示の技術では、稼働状況取得部は、画像処理によって稼働状況を取得してもよい。例えば、生産設備には、作業者へ特定の作業が必要であることを報知する信号灯を備えるものがある。このような場合、生産設備を撮影する際に、生産設備と共に信号灯を撮影することで、当該生産設備の稼働状況を取得することができる。
　本明細書に開示の技術では、複数の生産設備の少なくとも１つは、自身の状態を出力する状態出力部を備えていてもよい。稼働状況取得部は、状態出力部から出力される状態から稼働状況を取得してもよい。このような構成によると、生産設備から出力される情報に基づいて、生産設備の稼働状況を的確に取得することができる。
　本明細書に開示の技術では、生産設備の稼働状況の遷移と、作業者の作業状況の遷移とから、作業者の作業の遅れの有無を判断する判断部をさらに備えてもよい。このような構成によると、判断部によって作業者の作業に遅れが生じたか否かが判断されるため、作業者の作業状況の評価をより容易に行うことができる。
　本明細書に開示の技術では、複数の生産設備の中から解析対象となる生産設備を指定する第１指定装置をさらに備えていてもよい。稼働状況取得部は、第１指定装置で指定された生産設備の稼働状況を取得してもよい。このような構成によると、指定した生産設備に対する作業者の作業状況を評価することができる。
　本明細書に開示の技術では、１又は複数の作業者の中から解析対象となる作業者を指定する第２指定装置をさらに備えていてもよい。表示部は、第２指定装置で指定された作業者の作業状況を可視化して表示してもよい。このような構成によると、指定した作業者の作業状況を評価することができる。
　本明細書に開示の画像処理では、複数の時点又は複数の期間のいずれかにおいて、作業者の近傍に複数の生産設備が撮影されているときは、当該複数の生産設備のそれぞれについて、作業者と当該生産設備との距離を算出し、算出された距離のうち最小となる距離を有する生産設備に対して作業者が作業を行っていると判定してもよい。このような構成によると、撮影した画像に複数の生産設備が写っていたとしても、作業者が作業を行っている生産設備を特定することができる。
　本明細書に開示の画像処理では、作業者が最小となる距離を有する生産設備に対して作業を行っていると判定される場合において、当該生産設備に対して作業を行っている時間が所定時間未満のときは、作業者が当該生産設備に対して作業を行っているという判定を破棄し、当該生産設備に対して作業を行っている時間が所定時間以上のときは、作業者が当該生産設備に対して作業を行っているという判定を維持してもよい。このような構成によると、生産設備の前を単に通過している作業者が撮影されたとしても、当該作業者が当該生産設備に作業をしていると判定されることを避けることができる。
　本明細書に開示の画像処理では、作業者が特定の生産設備に対して作業を行っていると判定される場合は、特定の生産設備の稼働状況に基づいて、作業者の当該生産設備に対して行った作業の内容を特定してもよい。このような構成によると、生産設備の稼働状況を加味して作業者の作業内容が特定されるため、作業者の作業状況を的確に評価することができる。
（実施例）　以下、図面を参照して、実施例１の部品実装システム１０について説明する。図１に示すように、部品実装システム１０は、部品実装ラインに設置される複数の生産設備１２～２８と、複数の生産設備１２～２８を管理する管理装置３０と、部品実装ラインに設置される撮影装置（３４ａ，３４ｂ）と、撮影装置（３４ａ，３４ｂ）で撮影される画像を画像処理する画像処理装置３６と、を備える。
　生産設備１２～２８は、基板に部品を実装する部品実装ラインを構成する。部品実装ラインは、投入される基板に部品を実装し、部品が実装された基板を製造する。以下、部品実装後の基板を回路基板といい、部品実装前や部品実装中の基板を単に基板ということがある。本実施例の部品実装ラインでは、複数の種類の回路基板を製造する。回路基板の種類が異なると、基板の大きさが異なり、基板に印刷されるハンダのパターンも異なり、基板に実装される部品の種類も異なる。このため、部品実装ラインで生産される回路基板の種類を変更する際は、各生産設備１２～２８で段取り作業（準備作業）が必要となる。また、部品実装ラインで回路基板の生産を開始すると、回路基板の生産に伴って基板、ハンダ、部品等が使用され、これらを補充する必要が生じる。これらのために、部品実装ラインには、複数のオペレータ５０ａ～５０ｃ（「作業者」の一例）が配備されている。図１に示す実装ラインでは、３人のオペレータ５０ａ～５０ｃが配備されている。
　部品実装ラインは、基板ローダー１２と、印刷機１４と、印刷検査機（ＳＰＩ）１６と、第１部品実装機１８と、第２部品実装機２０と、第１基板外観検査機（ＡＯＩ）２２と、リフロー炉２４と、第２基板外観検査機（ＡＯＩ）２６と、基板アンローダー２８を備えている。これらの生産設備１２～２８は、公知の部品実装ラインに用いられる公知の機械を用いることができるため、簡単に説明する。基板ローダー１２は、部品実装ラインに基板を投入する。基板ローダー１２は、複数の基板を収容しており、収容する基板を１枚ずつ印刷機１４に搬出する。印刷機１４は、基板ローダー１２から搬入される基板にハンダをパターン印刷する。ハンダがパターン印刷された基板は、印刷機１４から印刷検査機１６に搬送される。印刷検査機１６は、基板に印刷されたハンダパターンが正常か否かを検査する。印刷されたハンダパターンに異常が生じている場合（例えば、マスクの目詰まりによる印刷不良が生じている場合）は、基板が廃棄される。一方、印刷されたハンダパターンが正常である場合は、印刷検査機１６から第１部品実装機１８に基板が搬出される。第１部品実装機１８は、印刷検査機１６から搬入される基板に予め決められた複数の部品を実装する。具体的には、第１部品実装機１８は、複数の部品フィーダが着脱可能に取付けられ、これら部品フィーダから供給される部品を基板に実装する。第１部品実装機１８で部品が実装された基板は、第２部品実装機２０に搬出される。第２部品実装機２０は、第１部品実装機１８と同様に、第１部品実装機１８から搬入される基板に予め決められた複数の部品を実装する。部品が実装された基板は、第１基板外観検査機２２に搬出される。第１基板外観検査機２２は、基板に正常に部品が実装されているか否かを検査する。基板に正常に部品が実装されていない場合（例えば、部品が異なる場所に実装されている場合）は、基板が廃棄される。一方、基板に正常に部品が実装されている場合は、第１基板外観検査機２２からリフロー炉２４に基板が搬出される。リフロー炉２４は、搬入される基板を加熱してハンダを溶解し、部品を基板にハンダ付けする。リフロー炉２４から搬出された基板は、第２基板外観検査機２６に搬入される。第２基板外観検査機２６は、基板が正しい位置にハンダ付けされているか否かを検査する。基板の正しい位置に部品がハンダ付けされていない場合（例えば、リフロー炉２４で加熱される際に、何らかの理由で部品がずれてしまった場合）は、基板が廃棄される。一方、基板の正しい位置に部品がハンダ付けされている場合は、第２基板外観検査機２２から基板アンローダー２８に基板が搬出される。基板アンローダー２８は、第２基板外観検査機２２から搬送される基板（すなわち、部品が実装された回路基板）を部品実装ラインから搬出する。
　なお、各生産設備１２～２８は、通信回路１２ａ～２８ａ（「状態出力部」の一例）をそれぞれ備えている。通信回路１２ａ～２８ａは、管理装置３０と通信可能に接続されている。各通信回路１２ａ～２８ａは、当該通信回路が装備された生産設備１２～２８の状態を示す状態情報を管理装置３０に出力する。例えば、基板ローダー１２は、収容する基板の数を管理装置３０に出力する。これによって、管理装置３０は、基板ローダー１２に基板を補充する必要があるか否かを判断することができる。また、例えば、第１部品実装機１８及び第２部品実装機２０は、部品の種類毎に、当該部品の使用数を管理装置３０に出力する。これによって、管理装置３０は、第１部品実装機１８及び第２部品実装機２０に部品を補充する必要があるか否かを判断することができる。
　また、第１部品実装機１８及び第２部品実装機２０に取付けられる部品フィーダは、フィーダラック３２で搬送される。すなわち、使用前の部品フィーダは、図示しない保管場所においてフィーダラック３２に積み込まれ、フィーダラックにより第１部品実装機１８及び／又は第２部品実装機２０まで搬送される。また、第１部品実装機１８及び／又は第２部品実装機２０で使用済となった部品フィーダは、フィーダラック３２に積み込まれる。フィーダラック３２に積み込まれた使用済の部品フィーダは、図示しない保管場所に搬送され、次の使用のための準備作業が行われる。
　管理装置３０は、ＣＰＵとメモリを備えるコンピュータにより構成されている。管理装置３０は、生産設備１２～２８の動作を制御することで回路基板の生産を制御する。例えば、管理装置３０は、印刷検査機１６にハンダの印刷パターンを送信し、印刷検査機１６は、受信した印刷パターンにより基板の検査を行う。また、例えば、管理装置３０は、第１部品実装機１８及び第２部品実装機２０に実装する部品の種類、実装順、実装位置を規定する実装プログラム（実装ジョブ）を送信し、第１部品実装機１８及び第２部品実装機２０は、受信した実装プログラムに基づいて基板に部品を実装する。
　また、管理装置３０は、各生産設備１２～２８から出力される状態情報に基づいて、各生産設備の稼働状態を判断する。例えば、第１部品実装機１８及び第２部品実装機２０は、部品フィーダの交換が必要なときは、その旨の情報を管理装置３０に出力する。管理装置３０は、第１部品実装機１８及び第２部品実装機２０から出力される情報に基づいて、第１部品実装機１８及び第２部品実装機２０に部品フィーダの交換が必要となっていると判断することができる。
　撮影装置（３４ａ，３４ｂ（「撮影部」の一例））は、部品実装ラインが設置された工場内に配置される。撮影装置（３４ａ，３４ｂ）は、部品実装ラインに設置された複数の生産設備１２～２８と、部品実装ラインに配備される複数の作業者５０ａ～５０ｃと、部品実装ラインで使用されるフィーダラック３２を撮影可能となっている。具体的には、撮影装置（３４ａ，３４ｂ）は、部品実装ラインの上流側（基板ローダー１２側）に配置された第１カメラ３４ａと、部品実装ラインの下流側（基板アンローダー２８側）に配置された第２カメラ３４ｂを備える。第１カメラ３４ａは、その光軸が部品実装ライン（生産設備１２～２８が配置される方向）に対して斜めとなるように配置され、部品実装ラインの上流側より生産設備１２～２８の全体を撮影可能となっている。第２カメラ３４ｂは、その光軸が部品実装ラインに対して斜めとなるように配置され、部品実装ラインの下流側より生産設備１２～２８の全体を撮影可能となっている。第１カメラ３４ａと第２カメラ３４ｂが部品実装ラインを異なる方向から撮影することで、後述するようにオペレータ５０ａ～５０ｃの位置（ｘ、ｙ）が特定可能となっている。第１カメラ３４ａと第２カメラ３４ｂは、画像処理装置３６に接続されている。第１カメラ３４ａと第２カメラ３４ｂで撮影された動画データは、画像処理装置３６に入力されるようになっている。
　画像処理装置３６は、ＣＰＵとメモリを備えるコンピュータにより構成されている。画像処理装置３６は、メモリに記憶されたプログラム（画像処理プログラムを含む）を実行することで、「表示部」や「稼働状況取得部」等として機能することができる。画像処理装置３６は、第１カメラ３４ａと第２カメラ３４ｂと管理装置３０が接続されている。画像処理装置３６は、第１カメラ３４ａで撮影された動画と第２カメラ３４ｂで撮影された動画がそれぞれ入力されると共に、管理装置３０から生産設備１２～２８の稼働状況が入力される。画像処理装置３６は、入力された動画及び入力された生産設備１２～２８の稼働状況に基づいて、オペレータ５０ａ～５０ｃの作業状況を可視化する。画像処理装置３６で行われる処理については、後で詳述する。
　なお、画像処理装置３６には、さらに表示装置３８と入力装置４０と画像登録装置４２が接続されている。表示装置３８は、画像処理装置３６から出力される種々の情報（例えば、生産設備１２～２８の稼働状況やオペレータ５０ａ～５０ｃの作業状況を可視化したタイムチャート）を表示する。表示装置３８には、公知のディスプレイを用いることができる。入力装置４０は、画像処理装置３６で実施される画像処理の条件や、画像処理の対象となる生産設備やオペレータを指定（入力）することができる。すなわち、入力装置４０は、「第１指定装置」の一例であって「第２指定装置」の一例である。入力装置４０から入力された情報は、画像処理装置３６のメモリに格納される。入力装置４０には、公知のキーボードやマウス等のポインティングデバイスを用いることができる。画像登録装置４２は、画像処理装置３６で実施される画像処理において、認識対象となる生産設備１２～２８やオペレータ５０ａ～５０ｃの画像（基準画像）を入力（登録）する。画像登録装置４２から入力された基準画像は、画像処理装置３６のメモリに格納される。画像登録装置４２には、デジタルカメラ、デジタルカメラ付きスマートフォン、デジタルカメラ付きタブレットＰＣ、スキャナー等を用いることができる。画像登録装置４２は、「画像入力部」の一例である。
　次に、撮影装置（３４ａ，３４ｂ）で撮影された動画に基づいてオペレータ５０ａ～５０ｃの作業状況を可視化する際に、画像処理装置３６が実行する処理について説明する。図２に示すように、まず、画像処理装置３６は、画像処理の対象となる生産設備１２～２８及びフィーダラック３２の基準画像を登録（入力）する（Ｓ１０）。本実施例では、部品実装ラインを構成する全ての生産設備１２～２８の基準画像と、部品実装ラインで使用されるフィーダラック３２の基準画像を入力する。これら基準画像の入力には、画像登録装置４２が用いられる。
　次に、画像処理装置３６は、画像処理の対象となるオペレータ５０ａ～５０ｃの基準画像を登録（入力）する（Ｓ１２）。本実施例では、部品実装ラインに配備される全てのオペレータ５０ａ～５０ｃの基準画像を入力する。これら基準画像の入力には、Ｓ１０と同様に画像登録装置４２が用いられる。
　次に、画像処理装置３６は、撮影装置（３４ａ，３４ｂ）で撮影された動画データを取り込む（Ｓ１４）。すなわち、撮影装置（３４ａ，３４ｂ）は、部品実装ラインで回路基板を生産する所定の生産期間に生産設備１２～２８、フィーダラック３２及びオペレータ５０ａ～５０ｃを撮影する。撮影装置（３４ａ，３４ｂ）で撮影された動画データは、撮影装置（３４ａ，３４ｂ）のメモリに格納されている。Ｓ１４では、撮影装置（３４ａ，３４ｂ）のメモリに格納された動画データが、画像処理装置３６に入力される。なお、撮影装置（３４ａ，３４ｂ）で部品実装ラインを撮影する期間は、ユーザが任意に設定することができる。例えば、部品実装ラインが設置された工場の稼働時間（例えば、午前９時～午後５時）を撮影期間としてもよいし、部品実装ラインが設置された工場が２４時間制である場合は、オペレータが交替となる時点から１日を撮影期間としてもよい。
　次に、画像処理装置３６は、撮影装置（３４ａ，３４ｂ）で動画を撮影した期間における生産設備１２～２８の稼働状況を取り込む（Ｓ１６）。すなわち、生産設備１２～２８は、通信回路１２ａ～２８ａを介して管理装置３０に、自身の状態を示す状態情報を出力している。このため、管理装置３０は、生産設備１２～２８から出力される状態情報に基づいて、当該生産設備の稼働情報（例えば、正常稼働中、稼働停止中（エラーコード含む）、メンテナンス作業中等）を取得し、その稼働情報をメモリに格納している。Ｓ１６では、管理装置３０のメモリに格納された生産設備１２～２８の稼働情報が、画像処理装置３６に入力される。
　次に、画像処理装置３６は、Ｓ１４で入力された動画データを画像処理することで、オペレータ５０ａ～５０ｃの作業状況を可視化したタイムチャートを作成する（Ｓ１８）。Ｓ１８の画像処理について、図３を参照して詳細に説明する。
　図３に示すように、まず、画像処理装置３６は、Ｓ１４で入力された動画データから、画像処理の対象（解析対象）となる画像データ（１つの動画データ）を選択する（Ｓ２２）。すなわち、撮影装置（３４ａ，３４ｂ）は、所定の時間間隔（所定のフレームレート）で動画データを撮影している。このため、Ｓ１４で入力された動画データは、所定の時間間隔で撮影された複数の画像データによって構成されている。Ｓ２２では、動画データに含まれる複数の画像データのうち、画像処理の対象となる１つの画像データを選択する。例えば、撮影される動画データに含まれる全ての画像データを選択して画像処理してもよい。この場合、全ての画像データが処理されるため、オペレータ５０ａ～５０ｃの作業状況を精度よく可視化することができる。一方、撮影される動画データに含まれる画像データから所定の時間間隔（すなわち、撮影装置（３４ａ，３４ｂ）の撮影時間間隔よりも長い時間間隔）で選択した画像データのみを画像処理してもよい。この場合、画像処理を実施する画像データの数が少なくなるため、画像処理に要する時間を短くすることができる。
　次に、画像処理装置３６は、Ｓ２２で選択した画像データに、認識対象となる生産設備１２～１８等が写っているか否かを自動認識する（Ｓ２４）。本実施例では、部品実装ラインを構成する生産設備１２～２８の全てと、部品実装ラインで用いられるフィーダラック３２と、部品実装ラインに配備されるオペレータ５０ａ～５０ｃの全員が認識対象となっている。撮影装置（３４ａ，３４ｂ）の第１カメラ３４ａと第２カメラ３４ｂは、全ての生産設備１２～２８が撮影できるように設置されている。このため、第１カメラ３４ａと第２カメラ３４ｂで撮影される動画データには、生産設備１２～２８の全てが写っていることになる。一方、フィーダラック３２は撮影装置（３４ａ，３４ｂ）の撮影範囲外に位置することがあり、また、オペレータ５０ａ～５０ｃも撮影装置（３４ａ，３４ｂ）の撮影範囲外に位置することがある。したがって、Ｓ２４では、Ｓ２２で選択した画像データに写っている生産設備１２～２８を認識すると共に、フィーダラック３２やオペレータ５０ａ～５０ｃが撮影装置（３４ａ，３４ｂ）の撮影範囲内に位置するときは、これらフィーダラック３２やオペレータ５０ａ～５０ｃを認識することとなる。なお、画像データ内に認識対象物が写っているか否かを自動認識する方法には、公知の自動認識プログラムを用いることができる。
　次に、画像処理装置３６は、Ｓ２４でオペレータ５０ａ～５０ｃのいずれかを認識したか否かを判断する（Ｓ２６）。画像処理装置３６がオペレータ５０ａ～５０ｃのいずれをも認識していない場合（すなわち、部品実装ラインにいずれのオペレータ５０ａ～５０ｃもいなかった場合）は、Ｓ２６がＮＯとなり、Ｓ３６に進む。
　画像処理装置３６がオペレータ５０ａ～５０ｃのいずれかを認識している場合（すなわち、部品実装ラインにいずれかのオペレータ５０ａ～５０ｃがいた場合（Ｓ２６がＹＥＳ））は、Ｓ２８に進み、認識したオペレータの一人を選択する。例えば、オペレータ５０ａ～５０ｃの３人が認識された場合、オペレータ５０ａ～５０ｃの中から解析対象となる一人を選択する。
　次に、画像処理装置３６は、Ｓ２８で選択したオペレータと各生産設備１２～２８との距離を算出する（Ｓ３０）。オペレータと生産設備との距離を算出する手順を、図４を参照して説明する。図４には、オペレータ５０ａと生産設備２２，２４とが示されている。図４に示すように、第１カメラ３４ａが設置された位置（ｘ１，ｙ１）は既知であり、第２カメラ３４ｂが設置された位置（ｘ２，ｙ２）も既知である。第１カメラ３４ａの光軸は固定されており、第２カメラ３４ｂの光軸も固定されている。したがって、第１カメラ３４ａで撮像された画像内のオペレータ５０ａの位置から、第１カメラ３４ａに対してオペレータ５０ａが位置する方向（角度θ１）を算出することができる。同様に、第２カメラ３４ｂで撮像された画像内のオペレータ５０ａの位置から、第２カメラ３４ｂに対してオペレータ５０ａが位置する方向（角度θ２）を算出することができる。第１カメラ３４ａの位置（ｘ１，ｙ１）と第２カメラ３４ｂの位置（ｘ２，ｙ２）は既知であり、上記した角度θ１と角度θ２が算出されるため、オペレータ５０ａの位置（ｘ３，ｙ３）を算出することができる。ここで、生産設備２２の正面中央の位置（ｘ４，ｙ４）と生産設備２４の正面中央の位置（ｘ５，ｙ５）も既知であるため、オペレータ５０ａと生産設備２２の間の距離ｌ１と、オペレータ５０ａと生産設備２４の間の距離ｌ２を算出することができる。Ｓ３０では、上記した手順で、Ｓ２８で選択したオペレータと各生産設備１２～２８との距離を算出する。上記の説明から明らかなように、Ｓ３０で算出される距離は、生産設備１２～２８とオペレータ５０ａ～５０ｃを平面視したときの距離を意味している。なお、Ｓ２４でフィーダラック３２を認識している場合は、オペレータとフィーダラック３２との距離も算出する。フィーダラック３２の位置は、オペレータと同様に算出することができるため、フィーダラック３２とオペレータの距離も算出することができる。
　Ｓ３０では、画像処理装置３６は、Ｓ２８で選択したオペレータと最も近い距離となる生産設備（場合によってフィーダラック３２）を対応付ける（Ｓ３２）。すなわち、Ｓ３０でオペレータと各生産設備１２～２８との距離がそれぞれ算出されているため、これら算出された距離が最も小さくなる生産設備と、Ｓ２８で選択したオペレータとを対応付ける。例えば、図４に示す場合は、オペレータ５０ａと生産設備（第１基板外観検査機）２２とが対応付けられる。
　次に、画像処理装置３６は、Ｓ２４で認識した全てのオペレータに対してＳ２８～Ｓ３２の処理を実行したか否かを判断する（Ｓ３４）。Ｓ２４で認識した全てのオペレータに対して処理を実行していない場合（Ｓ３４でＮＯ）、Ｓ２８に戻って、Ｓ２８からの処理を実行する。これによって、Ｓ２４で認識した全てのオペレータに対して生産設備１２～２８との距離が算出され、各オペレータに最も距離が短くなる生産設備が対応付けられる。
　Ｓ２４で認識した全てのオペレータに対して処理を実行している場合（Ｓ３４でＹＥＳ）、Ｓ３６に進む。Ｓ３６では、画像処理装置３６は、Ｓ１４で入力された動画データのうち画像処理の対象となる画像データの全てを処理したか否かを判断する。全ての画像データを処理していない場合（Ｓ３６でＮＯ）、画像処理装置３６は、Ｓ２２に戻って、Ｓ２２からの処理を繰り返す。これによって、Ｓ１４で入力された動画データのうち画像処理の対象となる画像データの全てが処理される。
　全ての画像データを処理している場合（Ｓ３６でＹＥＳ）、画像処理装置３６は、解析対象となるオペレータを一人選択する（Ｓ３８）。本実施例では、部品実装ラインに配備される３人のオペレータ５０ａ～５０ｃのそれぞれが解析対象となっている。したがって、Ｓ３８では、３人のオペレータ５０ａ～５０ｃから一人（例えば、オペレータ５０ａ）を選択する。
　次に、画像処理装置３６は、Ｓ３８で選択されたオペレータが、撮影装置（３４ａ，３４ｂ）で動画が撮影された期間において、同一の生産設備１２～２８，３２に連続して所定時間以上対応付けられた期間を有するか否かを判定する（Ｓ４０）。すなわち、上記したＳ２２～Ｓ３６の処理によって、Ｓ１４で入力された動画データのうち解析対象となる画像データが全て画像処理され、各画像データを撮影した時刻において、オペレータ５０ａ～５０ｃが生産設備１２～２８，３２のいずれかに対応付けられる。（ただし、画像データにオペレータが写っていない場合（すなわち、オペレータが認識されない場合）は、その時刻において当該オペレータは生産設備１２～２８，３２のいずれにも対応付けられていない。）オペレータと生産設備が対応付けられる場合、オペレータは当該生産設備の近傍に位置し、その生産設備に対して何らかの作業を行っていると判断することができる。しかしながら、ある時刻にオペレータがいずれかの生産設備の近傍に位置していたとしても、単に当該生産設備の前を通過しているだけで、当該生産設備に作業を行っていないこともある。そこで、本実施例では、オペレータが同一の生産設備に所定時間（例えば、２０秒）以上連続して対応付けられている場合に、当該オペレータが当該生産設備に作業を行っていると判断する。このために、Ｓ４０では、オペレータが同一の生産設備１２～２８，３２に対して連続して所定時間以上対応付けられた期間を有するか否かを判定する。
　なお、Ｓ４０の判定では、Ｓ２２で選択される画像データの時間間隔に基づいて行うことができる。例えば、Ｓ２２で選択される画像データの時間間隔が５秒であり、Ｓ４０の判定に用いる所定時間が２０秒である場合、オペレータが同一の生産設備に５画像データ連続して対応付けられるときに、オペレータが同一の生産設備に連続して所定時間以上対応付けられた期間を有すると判定することができる。なお、画像処理の処理量を減らす観点からは、Ｓ２２で選択される画像データの時間間隔を、Ｓ４０の判定に用いる所定時間と一致させてもよい。この場合、オペレータが同一の生産設備に２画像データ連続して対応付けられるときに、オペレータが同一の生産設備に連続して所定時間以上対応付けられた期間を有すると判定することができる。
　オペレータが同一の生産設備に連続して所定時間以上対応付けられた期間を有していない場合（Ｓ４０でＮＯ）は、当該オペレータはいずれの生産設備１２～２８，３２にも作業を行っていないとして、当該オペレータと生産設備の対応付けた結果をリセットする（Ｓ４４）。一方、オペレータが同一の生産設備に連続して所定時間以上対応付けられた期間を有している場合（Ｓ４０でＹＥＳ）は、当該オペレータは当該期間において当該生産設備に作業を行っていると認定し、当該オペレータと当該生産設備の対応付けた結果を維持する（Ｓ４２）。なお、オペレータが同一の生産設備に連続して所定時間以上対応付けられた期間以外の期間については、当該オペレータはいずれの生産設備１２～２８，３２に対しても作業を行っていないとして、当該オペレータと生産設備とを対応付けた結果をリセットする。
　次に、画像処理装置３６は、解析対象となっている全てのオペレータに対してＳ４０～Ｓ４４の処理を実行したか否かを判断する（Ｓ４６）。解析対象となっている全てのオペレータに対して処理を実行していない場合（Ｓ４６でＮＯ）、Ｓ３８に戻って、Ｓ３８からの処理を実行する。これによって、解析対象となっている全てのオペレータに対して、Ｓ４０～Ｓ４４の処理を実行され、当該オペレータがいずれの生産設備に対して作業を行っていたかが決定される。
　Ｓ４６が終了すると、図２のＳ２０に戻り、画像処理装置３６は、解析対象となるオペレータ５０ａ～５０ｃと、各生産設備１２～２８，３２とを対応付けたタイムチャートを表示装置３８に表示する（Ｓ２０）。すなわち、表示装置３８には、撮影装置（３４ａ，３４ｂ）で動画が撮影された期間（生産期間）における各時刻において、オペレータ５０ａ～５０ｃがどの生産設備に対して作業を行っているかの作業状況を可視化したタイムチャートが表示される。なお、画像処理装置３６は、Ｓ１６で各生産設備１２～２８の稼働状況を取得しているため、Ｓ２０で表示するタイムチャートには、各生産設備１２～２８の稼働状況を合わせて表示してもよい。各生産設備１２～２８の稼働状況を合わせて表示することで、オペレータ５０ａ～５０ｃが各生産設備１２～２８に対して行っている作業内容を推定することができる。例えば、オペレータが第１部品実装機１８に対して作業を行っており、第１部品実装機１８が部品切れの警告を発している状態であれば、作業者は部品を補充する作業を行っていると推定することができる。
　ここで、Ｓ２０で表示装置３８に表示されるタイムチャートの一例について、図５，６を参照して説明する。
　図５は、時刻９：５０～時刻１１：０５におけるオペレータ５０ａ～５０ｃの生産設備１２～２８，３２に対する作業状況を示すタイムチャートである。なお、オペレータ５０ａの作業状況は図中では「オペレータ１」として表示され、オペレータ５０ｂの作業状況は図中では「オペレータ２」として表示され、オペレータ５０ｃの作業状況は図中では「オペレータ３」として表示されている。
　図５において、オペレータ５０ａ～５０ｃの作業状況は、１分毎に、どの生産設備に対して作業が行われたがが表示されている。例えば、９：５０分の欄には、９時５０分０秒から９時５１分０秒までの間にオペレータがどの生産設備に対して作業を行ったが表示される。本実施例では、生産設備１２～２８，３２に対する作業は、生産設備に対して２０秒以上連続してオペレータが対応付けられているときに、当該生産設備に対して当該オペレータが作業を行っていると判断している。このため、１分間に複数の生産設備に対して作業を行っている場合が生じる。例えば、オペレータ５０ｂ（オペレータ２）は、１０時０８分において、第１部品実装機１８と第２部品実装機２０の両者に対して作業を行っている。
　また、図５では、生産設備１２～２８の稼働状況も合わせて示されている。具体的には、印刷機１４では時刻９：５１に段取り作業の案内が出力され、以下同様に、印刷検査機（ＳＰＩ）１６では時刻９：５２に、第１部品実装機１８と第２部品実装機２０では時刻９：５３に、第１基板外観検査機（ＡＯＩ）２２では時刻９：５４に、リフロー炉２４と第２基板外観検査機（ＡＯＩ）２６では時刻９：５５に、基板アンローダー２８では時刻９：５６に、それぞれ段取り作業の案内（アラーム）が出力されている。したがって、図５のタイムチャートは、生産設備１２～２８に段取り作業の案内が出力され、その案内に応じてオペレータ５０ａ～５０ｃが各生産設備１２～２８に対して段取り作業を行うときのタイムチャートとなる。
　図５に示すタイムチャートからは、オペレータ５０ａ～５０ｃの作業状況を改善するための具体的な対策が必要であることが分かる。例えば、図５のＡに示すように、オペレータ５０ａ（オペレータ１）は、印刷機１４の段取りに長時間を要している。そこで、オペレータ５０ａの印刷機１４に対する段取り作業の時間を短縮するために、例えば、はんだを事前に練り合わせて準備する、交換用マスクを事前に準備する等の対策が必要となることが分かる。
　また、図５のＢに示すように、第１部品実装機１８と第２部品実装機２０においては、段取り作業の案内が出力されてから実際にオペレータ５０ｂ（オペレータ２）が作業を開始するまでに長時間を要している。そこで、オペレータ５０ｂの作業着手までの時間を短縮するためには、例えば、事前にフィーダラック３２を準備する等の対策が必要であることが分かる。
　また、図５のＣに示すように、この時間帯はオペレータ５０ｂ（オペレータ２）の作業負荷が高く、オペレータ５０ｂは、複数の生産設備１８～２８，３２に対して作業を行っている。一方、この時間帯において、オペレータ５０ｃ（オペレータ３）は作業を行っていない。したがって、オペレータ５０ｂの作業負荷を軽減するために、他のオペレータ５０ｃが作業を分担するという対策が必要であることが分かる。
　また、図５のＤ，Ｅに示すように、時刻１０：４４～時刻１０：５４までオペレータ５０ａ（オペレータ１）とオペレータ５０ｂ（オペレータ２）が共同して第１部品実装機１８と第２部品実装機２０に対して作業を行っているため、オペレータ５０ａの印刷機１４に対する作業が時刻１０：５７からと遅れている。したがって、オペレータ５０ｂとオペレータ５０ｃ（オペレータ３）が共同して第１部品実装機１８と第２部品実装機２０に対して作業を行うように変更することで、オペレータ５０ａの印刷機１４に対する作業を速やかに開始できることが分かる。
　図６は、時刻１３：１５～時刻１３：５４におけるオペレータ５０ａ～５０ｃの生産設備１２～２８，３２に対する作業状況を示すタイムチャートである。図６では、生産設備１２～２８の稼働状況（具体的には、シグナルタワーやモニターによる表示）も合わせて示されている。図６から明らかなように、図６のタイムチャートには、生産設備からシグナルタワーやモニターによる表示（アラーム）が出され、それに対応するためのオペレータ５０ａ～５０ｃの作業状況が示されている。
　図６に示すタイムチャートからも、オペレータ５０ａ～５０ｃの作業状況を改善するための対策を導くことができる。例えば、図６のＦに示すように、時刻１３；３３に印刷機１４と第１部品実装機１８に同時にアラームが発生したため、第１部品実装機１８に対するオペレータ５０ａ（オペレータ１）の作業が遅れていることが示されている。したがって、複数の生産設備で同時にアラームが発生した場合は、複数のオペレータで対応に当たる必要があることが分かる。上記の例では、オペレータ５０ｂ，５０ｃ（オペレータ２，３）が第１部品実装機１８に対して作業を行うように変更すればよいこととなる。
　また、図６のＧに示すように、印刷検査機（ＳＰＩ）１６でアラームが発生してからオペレータ５０ｃ（オペレータ３）が作業を完了するまでに２分程度の作業時間を要している。このことから、オペレータ５０ｃは印刷検査機１６の対処に慣れていない可能性が考えられる。したがって、この対策としては、印刷検査機１６の作業の標準化（マニュアル化）や、オペレータ５０ｃに対する教育を実施する等の対策が考えられる。
　以上に説明したように、本実施例の部品実装システム１０では、複数の生産設備１２～２８，３２と、部品実装ラインに配備される複数のオペレータ５０ａ～５０ｃを撮影し、撮影された動画を画像処理することでオペレータ５０ａ～５０ｃの作業状況を可視化する。このため、部品実装システムに設置される複数の生産設備１２～２８，３２の稼働状況に対してオペレータ５０ａ～５０ｃの作業が適切か否かを評価することができる。また、オペレータ５０ａ～５０ｃの作業が適切でない場合は、その原因を容易に推定することができ、その結果、改善策を見出すことも可能となる。
　以上、本明細書に開示の技術の具体例を詳細に説明したが、これらは例示に過ぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
　例えば、上記の実施例では、各生産設備１２～２８は、自身の状態を示す状態情報を出力し、その出力された状態情報から管理装置３０が各生産設備１２～２８の稼働状況を取得し、その取得した稼働状況が画像処理装置３６に入力されていた。しかしながら、本明細書に開示の技術は、このような形態に限られない。例えば、画像処理装置３６は、撮影装置で撮影された動画データを画像処理することで、各生産設備の稼働状況を取得してもよい。すなわち、動画データを画像処理することで、各生産設備に配備されたシグナルタワー又はモニターの案内から、各生産設備の稼働状況を取得するようにしてもよい。この場合、管理装置３０から稼働状況を取得する必要がないため、システム構成を簡易にすることができる。
　また、上記の実施例では、部品実装ラインで回路基板を生産する生産者と、画像処理装置３６で作業者の作業状況を可視化する者とが同一人であったが、本明細書に開示の技術は、このような形態に限られない。例えば、部品実装ラインで回路基板を生産する生産者と、画像処理装置３６で作業者の作業状況を可視化する者とが異なる者であってもよい。この場合、部品実装ラインで回路基板を生産する生産者は、例えば、画像処理対象となる生産設備やオペレータの基準画像の登録と、部品実装ラインを撮影した動画データの入力だけを行う。基準画像の登録及び動画の入力は、生産者が所有するＰＣやタブレットＰＣから行うことができる。一方、画像処理装置３６で作業者の作業状況を可視化する者は、登録された基準画像及び入力された動画データを解析して、作業者の作業状況を可視化したタイムチャートを生産者に出力する。このような形態によると、部品実装ラインで回路基板を生産する生産者を、画像処理装置３６の運用者は遠隔地からサポートすることができる。
　また、上記の実施例では、オペレータ５０ａ～５０ｃが各生産設備１２～２８，３２に対して作業を行っているか否かのみを判断していたが、本明細書に開示の技術は、このような形態に限られない。例えば、画像処理装置は、オペレータが作業を行っている生産設備の稼働状況から作業内容まで推定（判断）するようにしてもよい。画像処理装置がオペレータの作業内容まで推定することで、ユーザはオペレータの作業状況の評価を容易に行うことができる。さらに、画像処理装置は、生産設備の稼働状況の遷移と、オペレータの作業状況の遷移とから、オペレータの作業の遅れの有無を判断するようにしてもよい。このような構成によると、オペレータの作業の遅れを容易に把握することができ、部品実装ラインで回路基板を生産する生産者の利便性を向上することができる。
　また、上記の実施例では、オペレータ５０ａ～５０ｃと最も近い距離にある生産設備とを常に対応付けたが、本明細書に開示の技術は、このような形態に限られない。例えば、オペレータと最も近い距離にある生産設備との距離が所定距離より長い場合は、当該オペレータと当該生産設備とを対応付けしなくてもよい。すなわち、当該オペレータは、いずれの生産設備にも対応付けられない。オペレータから生産設備までの距離が所定距離を超える場合は、当該オペレータが当該生産設備に対して作業を行っているとは考え難いためである。
　また、上記の実施例では、部品実装ラインに設置される全ての生産設備と、部品実装ラインに配備される全てのオペレータが解析対象であったが、本明細書に開示の技術は、このような形態に限られない。例えば、特定の生産設備に対する特定のオペレータの作業状況のみを解析対象としてもよい。
　また、上記の実施例では、２台のカメラ３４ａ，３４ｂでオペレータ５０ａ～５０ｃを撮影することで、オペレータ５０ａ～５０ｃの位置を算出するようにしたが、本明細書に開示の技術は、このような形態に限られない。例えば、１台のカメラと、オペレータまでの距離を計測する距離センサ（レーザセンサ）を設置し、カメラの画像と距離センサで測定した距離を用いて、オペレータの位置を算出するようにしてもよい。
　なお、上記の実施例では、オペレータの位置を算出するためにカメラで撮影した画像を用いたが、オペレータの位置は、オペレータにＧＰＳセンサを携帯させることで取得するようにしてもよい。この場合、部品実装ラインに設置される生産設備を撮影する必要はかならずしもなく、オペレータの位置のみからオペレータの作業状況を推定してもよい。
　また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims (14)

  1. 　部品を基板に実装する部品実装ラインに設置される複数の生産設備と、
    　前記部品実装ラインに設置され、前記複数の生産設備と前記部品実装ラインに配備される１又は複数の作業者を撮影する撮影部と、
    　前記部品実装ラインで製品を生産する所定の生産期間に前記撮影部で撮影される画像を画像処理することで、前記１又は複数の作業者の少なくとも１人について、前記生産期間内に予め設定された前記複数の時点又は複数の期間のそれぞれにおける前記複数の生産設備の少なくとも１つに対する当該作業者の作業状況を可視化して表示する、表示部と、
    　を備える部品実装システム。
  2. 　前記複数の時点又は複数の期間のそれぞれにおける前記複数の生産設備の少なくとも１つの稼働状況を取得する稼働状況取得部をさらに備えており、
    　前記表示部は、取得した前記生産設備の前記稼働状況を、前記作業状況に対応させて表示する、請求項１に記載の部品実装システム。
  3. 　前記稼働状況取得部は、前記画像処理によって前記稼働状況を取得する、請求項２に記載の部品実装システム。
  4. 　前記複数の生産設備の少なくとも１つは、自身の状態を出力する状態出力部を備えており、
    　前記稼働状況取得部は、前記状態出力部から出力される前記状態から前記稼働状況を取得する、請求項２に記載の部品実装システム。
  5. 　前記生産設備の稼働状況の遷移と、前記作業者の作業状況の遷移とから、前記作業者の作業の遅れの有無を判断する判断部をさらに備える、請求項２～４のいずれか一項に記載の部品実装システム。
  6. 　前記複数の生産設備の中から解析対象となる生産設備を指定する第１指定装置をさらに備えており、
    　前記稼働状況取得部は、前記第１指定装置で指定された生産設備の稼働状況を取得する、請求項２～５のいずれか一項に記載の部品実装システム。
  7. 　前記１又は複数の作業者の中から解析対象となる作業者を指定する第２指定装置をさらに備えており、
    　前記表示部は、前記第２指定装置で指定された作業者の作業状況を可視化して表示する、請求項２～６のいずれか一項に記載の部品実装システム。
  8. 　前記画像処理では、
    　前記複数の時点又は複数の期間のいずれかにおいて、前記作業者の近傍に複数の生産設備が撮影されているときは、当該複数の生産設備のそれぞれについて、前記作業者と当該生産設備との距離を算出し、
    　算出された距離のうち最小となる距離を有する生産設備に対して前記作業者が作業を行っていると判定する、請求項２～７のいずれか一項に記載の部品実装システム。
  9. 　前記画像処理では、前記作業者が前記最小となる距離を有する生産設備に対して作業を行っていると判定される場合において、
    　当該生産設備に対して作業を行っている時間が所定時間未満のときは、前記作業者が当該生産設備に対して作業を行っているという判定を破棄し、
    　当該生産設備に対して作業を行っている時間が前記所定時間以上のときは、前記作業者が当該生産設備に対して作業を行っているという判定を維持する、請求項８に記載の部品実装システム。
  10. 　前記画像処理では、前記作業者が特定の生産設備に対して作業を行っていると判定される場合は、前記特定の生産設備の稼働状況に基づいて、前記作業者の当該生産設備に対して行った作業の内容を特定する、請求項２～９のいずれか一項に記載の部品実装システム。
  11. 　部品を基板に実装する部品実装ラインで製品を生産する所定の生産期間において、前記部品実装ラインに設置される複数の生産設備と、前記部品実装ラインに配備される１又は複数の作業者と、を撮影した画像を入力する画像入力部と、
    　前記画像入力部から入力された画像を画像処理することで、前記１又は複数の作業者の少なくとも１人について、前記生産期間内に予め設定された前記複数の時点又は複数の期間のそれぞれにおける前記複数の生産設備の少なくとも１つに対する当該作業者の作業状況を可視化する画像処理部と、
    　を備える画像処理装置。
  12. 　部品を基板に実装する部品実装ラインで製品を生産する所定の生産期間において、前記部品実装ラインに設置される複数の生産設備と、前記部品実装ラインに配備される１又は複数の作業者と、を撮影する画像撮影ステップと、
    　前記画像撮影ステップで撮影された画像を画像処理することで、前記１又は複数の作業者の少なくとも１人について、前記生産期間内に予め設定された前記複数の時点又は複数の期間のそれぞれにおける前記複数の生産設備の少なくとも１つに対する当該作業者の作業状況を可視化する画像処理ステップと、
    　を備える画像処理方法。
  13. 　部品を基板に実装する部品実装ラインで製品を生産する所定の生産期間において、前記部品実装ラインに設置される複数の生産設備と、前記部品実装ラインに配備される１又は複数の作業者と、を撮影する画像撮影ステップと、
    　前記画像撮影ステップで撮影された画像を画像処理することで、前記１又は複数の作業者の少なくとも１人について、前記生産期間内に予め設定された前記複数の時点又は複数の期間のそれぞれにおける前記複数の生産設備の少なくとも１つに対する当該作業者の作業状況を可視化する画像処理ステップと、
    　をコンピュータに実行させるためのプログラム。
  14. 　部品を基板に実装する部品実装ラインで製品を生産する所定の生産期間において、前記部品実装ラインに設置される複数の生産設備と、前記部品実装ラインに配備される１又は複数の作業者と、を撮影した画像を入力する入力装置と、
    　前記入力装置と通信可能に接続され、前記入力装置から入力された画像を画像処理することで、前記１又は複数の作業者の少なくとも１人について、前記生産期間内に予め設定された前記複数の時点又は複数の期間のそれぞれにおける前記複数の生産設備の少なくとも１つに対する当該作業者の作業状況を可視化する画像処理装置と、
    　を備える画像処理システム。
     
PCT/JP2021/024564 2021-06-29 2021-06-29 部品実装システム、画像処理装置、画像処理方法及び画像処理システム WO2023275994A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2021/024564 WO2023275994A1 (ja) 2021-06-29 2021-06-29 部品実装システム、画像処理装置、画像処理方法及び画像処理システム
CN202180098384.3A CN117337619A (zh) 2021-06-29 2021-06-29 元件安装系统、图像处理装置、图像处理方法以及图像处理系统
JP2023531196A JPWO2023275994A1 (ja) 2021-06-29 2021-06-29
DE112021007898.4T DE112021007898T5 (de) 2021-06-29 2021-06-29 Bauteilmontagesystem, Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungssystem
US18/559,575 US20240273907A1 (en) 2021-06-29 2021-06-29 Component mounting system, image processing device, image processing method, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024564 WO2023275994A1 (ja) 2021-06-29 2021-06-29 部品実装システム、画像処理装置、画像処理方法及び画像処理システム

Publications (1)

Publication Number Publication Date
WO2023275994A1 true WO2023275994A1 (ja) 2023-01-05

Family

ID=84689798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024564 WO2023275994A1 (ja) 2021-06-29 2021-06-29 部品実装システム、画像処理装置、画像処理方法及び画像処理システム

Country Status (5)

Country Link
US (1) US20240273907A1 (ja)
JP (1) JPWO2023275994A1 (ja)
CN (1) CN117337619A (ja)
DE (1) DE112021007898T5 (ja)
WO (1) WO2023275994A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017045402A (ja) * 2015-08-28 2017-03-02 京セラドキュメントソリューションズ株式会社 作業記録装置
JP2019191748A (ja) * 2018-04-20 2019-10-31 コニカミノルタ株式会社 生産性向上支援システムおよび生産性向上支援プログラム
JP2020095296A (ja) * 2018-12-10 2020-06-18 パナソニックＩｐマネジメント株式会社 生産管理装置および生産管理方法
CN112136373A (zh) * 2018-05-30 2020-12-25 雅马哈发动机株式会社 元件补给管理系统和元件安装系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017045402A (ja) * 2015-08-28 2017-03-02 京セラドキュメントソリューションズ株式会社 作業記録装置
JP2019191748A (ja) * 2018-04-20 2019-10-31 コニカミノルタ株式会社 生産性向上支援システムおよび生産性向上支援プログラム
CN112136373A (zh) * 2018-05-30 2020-12-25 雅马哈发动机株式会社 元件补给管理系统和元件安装系统
JP2020095296A (ja) * 2018-12-10 2020-06-18 パナソニックＩｐマネジメント株式会社 生産管理装置および生産管理方法

Also Published As

Publication number Publication date
US20240273907A1 (en) 2024-08-15
CN117337619A (zh) 2024-01-02
JPWO2023275994A1 (ja) 2023-01-05
DE112021007898T5 (de) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6233061B2 (ja) 品質管理装置、品質管理方法
JP7267366B2 (ja) 実装関連装置及び実装システム
CN106416455B (zh) 品质管理装置、品质管理方法
JP5820424B2 (ja) 半田印刷検査装置
CN110168458B (zh) 管理装置、安装关联装置及安装系统
US20170227939A1 (en) Component mounting system and component mounting method
JP6622801B2 (ja) 案内装置及び案内システム
US11259451B2 (en) Production management device
JP2014135425A (ja) プリント基板の品質管理システム
JP6922694B2 (ja) 管理システム、管理装置、管理方法、及びプログラム
EP3096596B1 (en) Quality control apparatus, quality control method, and program
WO2023275994A1 (ja) 部品実装システム、画像処理装置、画像処理方法及び画像処理システム
JP7126122B2 (ja) 実装システム、および生産管理装置
JP4520324B2 (ja) 検査結果報知装置及び実装システム
JP7079371B2 (ja) 補正量算出装置および補正量算出方法
JP7065294B2 (ja) 製造システムおよび製造方法
US11464150B2 (en) Information processing device and information processing method
JP7484733B2 (ja) 管理システム、管理装置、管理方法、及びプログラム
WO2022162963A1 (ja) 品質改善支援装置及び品質改善支援システム
WO2022162961A1 (ja) 管理装置及び管理システム
JP7507416B2 (ja) 作業ライン管理装置および作業ライン管理方法ならびに電子回路基板製造システム
JP7400062B2 (ja) 管理装置、実装システム及びエラー対処方法
JP2019161027A (ja) 部品実装システムおよび管理方法
WO2024029048A1 (ja) 画像出力装置および画像出力システム
CN111386028B (zh) 基板处理系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948303

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531196

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18559575

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180098384.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112021007898

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21948303

Country of ref document: EP

Kind code of ref document: A1