WO2021014524A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2021014524A1
WO2021014524A1 PCT/JP2019/028624 JP2019028624W WO2021014524A1 WO 2021014524 A1 WO2021014524 A1 WO 2021014524A1 JP 2019028624 W JP2019028624 W JP 2019028624W WO 2021014524 A1 WO2021014524 A1 WO 2021014524A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
related information
predetermined
display device
Prior art date
Application number
PCT/JP2019/028624
Other languages
English (en)
French (fr)
Inventor
恵市 小野
杉山　健二
雅史 天野
内田　剛
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to PCT/JP2019/028624 priority Critical patent/WO2021014524A1/ja
Priority to CN201980098123.4A priority patent/CN114041110B/zh
Priority to US17/628,488 priority patent/US11809695B2/en
Priority to EP19938124.5A priority patent/EP4007472B1/en
Priority to JP2021534880A priority patent/JP7295240B2/ja
Publication of WO2021014524A1 publication Critical patent/WO2021014524A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components
    • H05K13/0404—Pick-and-place heads or apparatus, e.g. with jaws
    • H05K13/0408—Incorporating a pick-up tool
    • H05K13/041—Incorporating a pick-up tool having multiple pick-up tools

Definitions

  • This specification discloses an image display device and an image display method.
  • Patent Document 1 a device capable of displaying an image captured while a component is held by a mounting head has been proposed (see, for example, Patent Document 1).
  • Patent Document 1 an image is taken when the mounting head passes above the imaging unit in a state where the mounting head includes a plurality of nozzles and each nozzle holds a component, and the image is obtained. It is stated that it will be sent to the management computer. Therefore, the management computer can display the image on a display screen such as a display.
  • the part When the above image is displayed on the display screen, it means that multiple parts are shown in the image. From the image, the part may be selected, for example, for the operator to check the part or edit the data of the part. However, in recent years, as parts have become smaller and smaller, the parts in the image have also become smaller, which makes it difficult to identify the part to be selected from among a plurality of parts, and the operator mistakenly selects the part. May be done. In that case, work such as confirmation and editing may be performed without noticing that the part is incorrect, and a problem may occur.
  • the main purpose of the present disclosure is to allow an operator to appropriately select a desired part from a plurality of parts included in an image so that work on the selected part can be performed.
  • the present disclosure has taken the following measures to achieve the above-mentioned main purpose.
  • the first image display device of the present disclosure is An image display device that displays a predetermined image captured on a display screen while a plurality of components mounted on a board are held by a mounting head. When related information related to the plurality of parts is displayed on the display screen in association with each part together with the predetermined image so as to be selectable, and a predetermined operation involving selection of any of the related information is performed by an operator. It is a gist to include a display control unit that displays an enlarged image of one component corresponding to the selected related information among the predetermined images being displayed.
  • the first image display device of the present disclosure associates a plurality of components mounted on a substrate with a predetermined image captured while being held by a mounting head and related information related to the plurality of components for each component. Display as selectable. Then, when a predetermined operation involving selection of any of the related information is performed by the operator, an enlarged image of one part corresponding to the selected related information is displayed among the predetermined images being displayed. As a result, the operator can display an enlarged image of a desired part by paying attention to the related information from a plurality of parts in the predetermined image and performing a predetermined operation accompanied by selection of the related information. Therefore, it is possible to easily confirm the parts by using the enlarged image without making a mistake in selecting the parts to be enlarged.
  • Explanatory drawing which shows an example of a component mounting system 10.
  • the explanatory view which shows the outline of the structure of the mounting head 33 of the mounting device 20 and the parts camera 28.
  • Explanatory drawing which shows an example of the image which took the part camera 28.
  • Explanatory drawing which shows an example of related information 86.
  • a flowchart showing an example of an image display-related processing routine A flowchart showing an example of display processing for confirmation.
  • Explanatory drawing which shows an example of the confirmation screen 91 including the whole image 92 of part P and the information list display image 93.
  • Explanatory drawing which shows an example of the confirmation screen 91 including the enlarged image 94 of the part P and the information list display image 93.
  • Explanatory drawing which shows an example of the edit screen 97 including the shape data image 98 of a part P.
  • Explanatory drawing which shows an example of the confirmation screen 91B including the whole image 92 of part P and the information correspondence display image 99.
  • Explanatory drawing which shows the selectable area 99a around the information correspondence display image 99.
  • Explanatory drawing which shows the state of highlighting the information correspondence display image 99.
  • FIG. 1 is an explanatory diagram showing an example of a component mounting system 10
  • FIG. 2 is an explanatory diagram showing an outline of a configuration of a mounting head 33 and a parts camera 28 of the mounting device 20.
  • the component mounting system 10 inspects a mounting device 20 that collects components P (see FIG. 2) from a reel, tray, or the like and mounts them on a board, and a board on which a plurality of components P are mounted.
  • the inspection device 40 is provided, and the mounting device 20 and the management device 80 for managing information about the inspection device 40 are provided.
  • the mounting device 20, the inspection device 40, and the management device 80 are connected to LAN 12 as a network, and can exchange information with each other.
  • the mounting device 20 and the inspection device 40 are shown one by one in FIG. 1, a plurality of mounting devices 20 and inspection devices 40 may be provided.
  • the left-right direction (X-axis), the front-back direction (Y-axis), and the up-down direction (Z-axis) are as shown in FIG.
  • “mounting” includes arranging, mounting, inserting, joining, and adhering the component P on the substrate.
  • the mounting device 20 includes a mounting control unit 21 that executes various controls, a board processing unit 30 that transports and fixes the board in the X direction, and a mounting processing unit 32 that arranges the component P on the board. Further, the mounting device 20 has an input / output interface (I) for communicating with a supply unit 27 that supplies the component P housed in a reel, a tray, or the like to a predetermined supply position, and a component camera 28 that images the component P. / F) 29 and an operation panel 36 capable of displaying various information and performing various input operations by an operator.
  • I input / output interface
  • the mounting processing unit 32 includes a mounting head 33, a plurality of suction nozzles 34 mounted on the mounting head 33 via a nozzle holder, and a moving mechanism 35 for moving the mounting head 33 in the XY directions.
  • the mounting head 33 is configured as a rotary head in which a plurality of (for example, 12 or the like) suction nozzles 34 are arranged at equal intervals on the same circumference.
  • the mounting head 33 incorporates a Z-axis motor (not shown), and the height of the suction nozzle 34 is adjusted by the Z-axis motor.
  • the suction nozzle 34 uses pressure to suck the component P to the tip of the nozzle and release the component P sucked to the tip of the nozzle.
  • the moving mechanism 35 includes an X-direction slider (not shown) that can move in the X direction and a Y-direction slider (not shown) that can move in the Y direction.
  • the mounting head 33 moves in the X direction or the Y direction as the X-direction slider of the moving mechanism 35 moves or the Y-direction slider moves.
  • Each slider is driven by a drive motor.
  • the parts camera 28 images the parts held (sucked) by the plurality of suction nozzles 34 of the mounting head 33 from below to generate an image.
  • the parts camera 28 includes a lighting unit 28a having a large number of LEDs (not shown) attached to the inner surface of a housing of an inverted octagonal pyramid with open upper and lower surfaces, and a camera body 28b arranged below the housing.
  • the camera body 28b includes an image sensor that outputs electric charges generated by light reception, an image processing unit that generates image data based on the output electric charges, and the like.
  • the parts camera 28 outputs the generated image data to the mounting control unit 21.
  • FIG. 3 is an explanatory diagram showing an example of an image captured by the parts camera 28.
  • the suction nozzles 34 are arranged on the same circumference at equal intervals, the parts P adsorbed on each suction nozzle 34 are also arranged on the same circumference at equal intervals and captured in the image. Further, since the plurality of parts P are imaged so as to fit in one image, each part P appears small in the image. In recent years, as the miniaturization of the component P has progressed, it may be difficult for the operator to confirm the details of the component P in the image.
  • the operation panel 36 includes a display screen 37 for displaying various information and an operation button 38 for receiving an input operation of an operator.
  • the display screen 37 is configured as a liquid crystal display, and displays mounting information, setting information, images, and the like of the mounting device 20.
  • the operation button 38 includes a cursor button for moving the selection cursor on the display screen 37 up / down / left / right, a decision button for determining the selection content, a cancel button for canceling the input, and the like.
  • the mounting control unit 21 is configured as a microprocessor centered on a CPU 22, and includes a ROM 23 for storing a processing program, a RAM 24 used as a work area, an HDD 25 for storing various data, and the like, which are connected via a bus. Has been done.
  • the mounting control unit 21 outputs a control signal to the board processing unit 30, the mounting processing unit 32, and the supply unit 27 via the input / output interface 29, outputs an imaging signal to the parts camera 28, and to the operation panel 36.
  • a display signal is output, and information is output to the management device 80.
  • the mounting control unit 21 inputs signals from the board processing unit 30, the mounting processing unit 32, and the supply unit 27 via the input / output interface 29, acquires an image captured by the parts camera 28, and operates.
  • An operation signal is input from the panel 36, and information is received from the management device 80.
  • the mounting control unit 21 acquires mounting information including conditions related to mounting of each component P from the management device 80 and executes the mounting process.
  • the mounting control unit 21 sucks the component P on each suction nozzle 34 of the mounting head 33, moves the mounting head 33 onto the parts camera 28 by the moving mechanism 35, and sucks (holds) the component P on each suction nozzle 34.
  • the image of the component P is captured by the component camera 28.
  • the mounting control unit 21 calculates the displacement amount and the rotation displacement amount of each component P by performing image processing on the captured image, and corrects the mounting position and the mounting orientation based on the displacement amount.
  • Each component P is mounted at a mounting position on the board.
  • the mounting control unit 21 recognizes the shape and center position of each component P in the image, and the amount of displacement of the component P with respect to the suction position of each suction nozzle 34 and the rotational deviation of the component P with respect to a predetermined reference direction. Calculate the quantity. Further, the mounting control unit 21 has an outer shape defect, deformation, chipping, or foreign matter based on whether or not the shape of the component P in the image is within a predetermined allowable range with respect to the shape data stored in advance. Determine if there is a shape error such as adhesion.
  • the mounting control unit 21 determines whether or not there is a misalignment error or a rotation misalignment error based on whether or not the misalignment amount and the rotation misalignment amount of the component P are within a predetermined allowable range. Further, the mounting control unit 21 determines whether or not there is a suction error based on whether or not the component P is recognized from the captured image.
  • the mounting control unit 21 transmits to the management device 80 the entire image of the plurality of parts P captured by the parts camera 28 and the related information related to the parts P.
  • the management device 80 stores the received overall image and related information in the HDD 85.
  • FIG. 4 is an explanatory diagram showing an example of the related information 86.
  • the related information 86 includes the nozzle number of each suction nozzle 34, the component model of the suctioned component P, the arrangement position of the component P, and the image processing result, as well as the image ID of the entire image captured by the parts camera 28. ..
  • the image processing result includes the amount of misalignment and rotation of the component P described above, and if an error has occurred, an error code indicating the type of the error. Note that the same related information as in FIG. 4 may be stored in the HDD 25 of the mounting control unit 21.
  • the management device 80 includes a control device 81, and manages the mounting device 20 and the inspection device 40.
  • the control device 81 is configured as a microprocessor centered on a CPU 82, includes a ROM 83 for storing a processing program, a RAM 84 used as a work area, an HDD 85 for storing various data, and the like, and these are connected via a bus. ing.
  • the management device 80 includes an input device 87 such as a keyboard and a mouse for an operator to input various instructions, a display 90 for displaying various information, and an input / output interface (I / F) 89 for communicating. Be prepared.
  • the HDD 85 stores various information used for mounting on the mounting device 20 and inspection on the inspection device 40. Further, the HDD 85 edits display software for displaying various images such as the entire image of the component P captured by the parts camera 28 of the mounting device 20, and shape data used for image processing of the component P. Various software such as editing software for the camera is also stored.
  • FIG. 5 is a flowchart showing an example of an image display-related processing routine. This routine is stored in the HDD 85 of the management device 80, and is executed by the CPU 82 of the control device 81 when the display of the display selection screen on the display 90 is instructed by the operation input of the input device 87 by the operator.
  • the CPU 82 When this routine is executed, the CPU 82 first displays the display selection screen on the display 90 (S100) and waits for the operator to make a selection (S110). Although not shown, on the display selection screen, the display 90 of the confirmation screen for the purpose of confirming the component P in which an error has occurred and the display 90 of the editing screen for the purpose of editing the shape data of the component P are displayed. You can select the display of. As will be described later, the operator can first confirm the part P in which the error has occurred on the confirmation screen, and then edit the shape data of the part P. When the operator makes a selection, the CPU 82 determines whether or not the confirmation screen display is selected (S120), and when it determines that the confirmation screen display is selected, executes the confirmation display process (S130). ), Ends the image display related processing routine. On the other hand, when the CPU 82 determines that the display of the edit screen is selected instead of the confirmation screen, it executes the edit display process (S140) and ends the image display-related processing routine.
  • FIG. 6 is a flowchart showing an example of the confirmation display process.
  • the CPU 82 first displays a confirmation screen including an entire image of the plurality of parts P captured by the parts camera 28 and an information list display image in which at least a part of the related information 86 is listed. Is displayed in (S200).
  • FIG. 7 is an explanatory diagram showing an example of a confirmation screen 91 including an overall image 92 of the component P and an information list display image 93. As shown, the information list display image 93 is displayed on the confirmation screen 91 next to the same overall image 92 as the image captured by the parts camera 28 (see FIG. 3). Further, on the confirmation screen 91, a cursor 91a that can be selected and input by the input device 87 is displayed.
  • this information list display image 93 the component model of the component P and the error code when an error occurs are displayed in association with each other in the order of the nozzle numbers [1] to [12] of each suction nozzle 34. .. Therefore, the related information is selectably displayed in a list in the order corresponding to the clockwise display position (nozzle position) of the component P in the overall image 92. Further, in the information list display image 93, each related information can be selected by the cursor 91a.
  • FIG. 8 is an explanatory diagram showing an example of a confirmation screen 91 including an enlarged image 94 of the component P and an information list display image 93.
  • the related information of the nozzle number [8] is selected by the operation of the cursor 91a, the enlarged image 94 of the component P sucked by the suction nozzle 34 of the nozzle number [8] is replaced with the whole image 92.
  • an error code is displayed at the nozzle number [8], indicating that an image processing error has occurred. Therefore, the operator displays an enlarged image 94 and confirms the error content of the component P. It can be performed. Further, in the enlarged image 94, in addition to the enlarged component P, an image processing result such as a positional deviation amount (X, Y) and a rotation deviation amount ⁇ of the component P, an edit button image 95a, and a back button image 95b Is displayed.
  • the edit button image 95a is a button image for starting editing of the shape data of the enlarged component P
  • the back button image 95b is a button image for returning from the enlarged image 94 to the entire image 92. These can be selected by operating the cursor 91a.
  • the display of the image processing result may be omitted.
  • the CPU 82 waits for the back button image 95b to be operated (S215) or the edit button image 95a to be operated (S220).
  • the CPU 82 returns to S200 and returns the display from the enlarged image 94 to the entire image 92.
  • the edit button image 95a is operated, the CPU 82 displays an edit screen 97 for editing the shape data of the enlarged component P on the display 90 (S225), and the operator corrects the shape data. Accept (S230). Since editing of shape data is a function of the editing software described above, the CPU 82 displays the editing screen 97 at S225 when the editing software is started.
  • FIG. 9 is an explanatory diagram showing an example of the editing screen 97 including the shape data image 98 of the component P.
  • the shape data image 98 showing the outer shape of the component P is transparently displayed by a solid line, and the enlarged image of the component P is displayed so as to be centered on the shape data image 98.
  • the enlarged image of the component P is the same image as the enlarged image 94 except that the inclination is corrected.
  • the width Wx in the X direction and the length Ly in the Y direction are displayed in an editable manner. The operator can select either the width Wx or the length Ly with the cursor 97a and input (correct) the numerical value by the operation input of the input device 87.
  • the CPU 82 accepts corrections by changing the shape (size) of the shape data image 98 according to the numerical value input by the operator. Further, on the edit screen 97, the component model, the numerical values of the width Wx and the length Ly before the start of editing, the confirmation button image 95c, and the back button image 95d are displayed.
  • the confirmation button image 95c is a button image for starting the confirmation test of the shape data
  • the back button image 95d is a button image for returning to the confirmation screen 91 from the edit screen 97. These can be selected by operating the cursor 97a.
  • the CPU 82 waits for the confirmation button image 95c to be operated (S235) or the back button image 95d to be operated (S240).
  • the CPU 82 returns to S210 without reflecting the correction, and returns the display from the edit screen 97 to the confirmation screen 91 including the enlarged image 94.
  • the confirmation button image 95c is operated, the CPU 82 executes a confirmation test for confirming the outer shape of the component P in the image with the edited shape data in which the numerical values such as the width Wx and the length Ly are corrected. (S245).
  • the CPU 82 applies the corrected shape data to other parts P having the same shape data such as the same part model, performs a confirmation test to see if there is a dimensional defect, and displays the confirmation result on the screen. To do. Then, the CPU 82 determines whether or not the worker approves the confirmation result (S250), and if the worker does not approve the result, returns to S225 and displays the edit screen.
  • the CPU 82 saves the edited shape data (S255), reflects the edited content, and ends the confirmation display process.
  • the CPU 82 permits the mounting device 20 to resume production.
  • FIG. 10 is a flowchart showing an example of the display process for editing.
  • the CPU 82 first displays on the display 90 a confirmation screen 91B including the entire image 92 of the component P and the information-corresponding display image 99 in which the related information 86 is associated with the surroundings of each component P. (S300).
  • FIG. 11 is an explanatory diagram showing an example of a confirmation screen 91B including an overall image 92 of the component P and an information correspondence display image 99.
  • the information correspondence display image 99 associated with the periphery of each part P is displayed in the same overall image 92 as the image captured by the parts camera 28 (see FIG. 3).
  • the information correspondence display image 99 is a circular image surrounding the component P, and the information correspondence display image 99s in the normal mode indicating that no error has occurred is displayed as a solid line, and an error mode indicating that an error has occurred.
  • the information-corresponding display image 99e of is displayed as a dotted line.
  • the information correspondence display image 99 displays the presence or absence of an error in the corresponding component P according to the difference in line type, but may be displayed depending on the difference in color, the difference in line thickness, the difference in shape, and the like. Further, on the confirmation screen 91B, a cursor 91a that can be selected and input by the input device 87 is displayed, and the information-corresponding display image 99 can be selected.
  • FIG. 12 is an explanatory diagram showing a selectable area 99a around the information correspondence display image 99.
  • the selectable area 99a is a circular area slightly larger than the information-corresponding display image 99, and is set in association with each information-corresponding display image 99.
  • the selectable area 99a is shown by a alternate long and short dash line, but the selectable area 99a is not actually displayed on the screen.
  • the information-compatible display image 99 corresponding to the selectable area 99a can be selected even if it is outside the area of the information-compatible display image 99. It becomes.
  • the size of the selectable region 99a may be determined from the center position of each suction nozzle 34 and the size of the component P so as not to overlap each other, or the size may be determined from the distance between the adjacent suction nozzles 34.
  • the CPU 82 is related depending on whether one of the information-corresponding display images 99 is selected (S305) or the selectable area 99a around the information-corresponding display image 99 is selected (S310). Wait for the information to be selected.
  • the CPU 82 highlights the component P for which the related information is selected and the component P having the same shape data. (S315).
  • FIG. 13 is an explanatory diagram showing how the information-corresponding display image 99 is highlighted.
  • the information-corresponding display image 99 corresponding to the part P having the same shape data here, three information-corresponding display images 99 including the information-corresponding display image 99 at the 1 o'clock position and the 2 o'clock position in the figure are thick lines. It is highlighted with. The parts P having different shape data are not highlighted and remain in the original display. As described above, in S315, the CPU 82 highlights the information-corresponding display image 99. Therefore, when the worker selects one part P and edits the shape data, a confirmation test is performed in common for which part P the edited result is reflected in which other part P. It is possible to easily grasp whether or not it will be damaged.
  • the CPU 82 waits for the return operation (S320) or the selection confirmation operation to be performed by the operation input of the input device 87 (S325).
  • the return operation is, for example, an operation of moving the cursor 91a out of the selectable area 99a.
  • the selection confirmation operation is a predetermined operation of the input device 87 such as clicking a mouse.
  • the CPU 82 returns to S300 and performs the return process.
  • the selection confirmation operation is performed, the CPU 82 displays an edit screen 97 for editing the shape data of the selected component P on the display 90 (S330), and accepts the correction of the shape data by the operator (S330). S335).
  • the CPU 82 waits for the confirmation button image 95c to be operated (S340) or the back button image 95d to be operated (S345), and the back button image 95d, as in the confirmation display processes S235 to S250. Is operated, the screen returns to S300 and the display is returned to the confirmation screen 91B.
  • the confirmation button image 95c is operated, the CPU 82 executes a confirmation test with the edited shape data (S350), and determines whether or not the operator approves the result of the confirmation test (S355). If the worker does not approve the result, the CPU 82 returns to S330 to display the edit screen, and if the worker approves the result, saves the edited shape data (S360) to reflect the edited content. Then, the confirmation display process is terminated.
  • the management device 80 of the present embodiment corresponds to the image display device of the present disclosure
  • the display 90 corresponds to the display screen
  • the CPU 82 of the control device 81 corresponds to the display control unit.
  • the management device 80 including the CPU 82 and the display 90 that perform the confirmation display processing of the image display-related processing routine S130 corresponds to the first image display device, and performs the editing display processing of the image display-related processing routine S140.
  • the management device 80 including the CPU 82 and the display 90 to perform the operation corresponds to the second image display device.
  • an example of the image display method of the present disclosure is also clarified by explaining the operation of the management device 80.
  • the management device 80 described above displays on the display 90 a confirmation screen 91 including the entire image 92 captured by the parts camera 28 and the information list display image 93 that lists the related information of the parts P. Then, since the management device 80 displays the enlarged image 94 of the part P corresponding to the related information selected by the worker, the worker can easily select the part P to be enlarged without making a mistake in selection.
  • the confirmation work of the component P can be appropriately performed using the enlarged image.
  • the management device 80 displays the edit button image 95a together with the enlarged image 94 and displays the edit screen 97 when the edit button image 95a is operated, it is possible to prevent an error in selecting the component P to be edited. .. Further, since the related information is displayed in a list in the information list display image 93 in the order corresponding to the display positions of the plurality of parts P in the overall image 92, it is possible to make it easier to select the related information.
  • the management device 80 displays the confirmation screen 91B including the entire image 92 and the information correspondence display image 99 in which the related information is associated with each component P on the display 90. Then, since the management device 80 displays the edit screen 97 of the component P corresponding to the information correspondence display image 99 selected by the operator, the operator can easily select the component P to be edited without making a mistake in selection. , Editing work can be started promptly. Therefore, the operator can prevent the operator from editing the shape data of the wrong part P.
  • the management device 80 highlights the information-corresponding display image 99 of the component P having the same shape data as the component P corresponding to the selected information-corresponding display image 99, the edited shape data is any other component P. The worker can easily grasp whether it is reflected in. Further, since the selectable area 99a is set around the information-corresponding display image 99, it is possible for the operator to more easily select the related information corresponding to the desired component P.
  • error information indicating the presence or absence of an error in the component P is displayed in association with each other, so that the operator can easily grasp and select the component P in which the error has occurred. be able to.
  • the confirmation screen 91 is displayed in the confirmation display process of S130, but the present invention is not limited to this, and the confirmation screen 91B may be displayed. Further, the confirmation screen 91B is displayed in the editing display process of S140, but the present invention is not limited to this, and the confirmation screen 91 may be displayed.
  • the information list display image 93 of the confirmation screen 91 includes the nozzle number, the part model, and the error code, but the present invention is not limited to this, and only the nozzle number and the error code may be included.
  • the information list display image 93 may include information other than these, for example, information regarding the serial number (identification information) of the component P, the arrangement position, and the image processing result. Further, in the information list display image 93, the related information is listed in the order corresponding to the display position of the component P, but the list is not limited to this, and the list may be displayed in the order not corresponding to the display position of the component P.
  • the circular image is illustrated as the information correspondence display image 99, but the present invention is not limited to this, and an image showing error information such as displaying characters or symbols indicating an error around the error component P is displayed. You may. Further, although the selectable area 99a is provided around the information-corresponding display image 99, the present invention is not limited to this, and the selectable area 99a may not be provided.
  • the present invention is not limited to this. , Blinking, color change, and other display modes may be highlighted. Further, the present invention is not limited to such highlighting, and may not be highlighted.
  • the enlarged image 94 of the component P and the edit button image 95a are displayed, and the edit screen 97 is displayed by operating the edit button image 95a, but the present invention is not limited to this.
  • the edit screen 97 may be displayed by a predetermined operation of the input device 87 such as a click operation of a mouse button without displaying the edit button image 95a.
  • the confirmation screen 91 does not shift from the enlarged image 94 of the component P to the edit screen 97, and only the confirmation using the enlarged image 94 of the component P is performed, and the confirmation display processes S220 to S255 may be omitted. ..
  • both the enlarged display of the part P and the editing of the shape data of the part P are executed, but the present invention is not limited to this, and only one of them may be executed.
  • S140 of the image display-related processing routine may be omitted, and S220 to S255 of the confirmation display processing may be omitted.
  • the image display-related processing routine S130 may be omitted.
  • the display 90 of the management device 80 displays the confirmation screens 91 and 91B and the editing screen 97, but the present invention is not limited to this, and the display screen 37 of the operation panel 36 of the mounting device 20 and the inspection device are not limited to this. It may be displayed on the operation panel of.
  • the image display device of the present disclosure may be configured as follows.
  • the display control unit operably displays a predetermined edit button image together with the enlarged image of the part 1, and when the operator operates the edit button image, the edit button image is operated.
  • An edit screen on which shape data related to the shape of the one part can be edited may be displayed.
  • the second image display device of the present disclosure is An image display device that displays a predetermined image captured on a display screen while a plurality of components mounted on a board are held by a mounting head.
  • a predetermined operation accompanied by selection of any of the related information is performed by an operator.
  • related information related to the plurality of components is associated with each component together with a predetermined image captured while the plurality of components mounted on the substrate are held by the mounting head. Display as selectable. Then, when a predetermined operation involving selection of any of the related information is performed by the operator, it is possible to edit the shape data relating to the shape of one part corresponding to the selected related information in the predetermined image being displayed. Display the edit screen. As a result, the operator can display the edit screen of a desired part by paying attention to the related information from a plurality of parts in the predetermined image and performing a predetermined operation accompanied by selection of the related information. Therefore, it is possible to appropriately edit the shape data of the part without making a mistake in selecting the part to be edited.
  • the display control unit displays the related information of one part corresponding to the related information selected by the operator and a part having the same shape data in the predetermined image.
  • the component may be highlighted so as to be distinguishable from the related information of the component whose shape data is different from that of the component 1.
  • the image is used for predetermined image processing performed on the plurality of parts, and an error has occurred in the related information in the image processing. It may include error information indicating. In this way, the operator can easily grasp the part in which the error has occurred from the related information and appropriately select the part. Therefore, it is possible to quickly confirm the defect of the part from the enlarged image of the part in which the error has occurred, and to quickly edit the shape data of the part in which the error has occurred.
  • the display control unit may selectably list the related information in an order corresponding to the display positions of the plurality of parts in the predetermined image. Good. By doing so, it is possible to make it easier for the operator to understand the correspondence between the display position of the part in the predetermined image and the related display for each part, and to make it easier for the operator to select the related information corresponding to the desired part. it can.
  • the display control unit can selectably display the related information at a position corresponding to the display position of the plurality of parts in the predetermined image, and the related information.
  • a predetermined area around the information may be a selectable area of the related information. In this way, when selecting the related information, a predetermined area around the predetermined area may be selected, so that the operator can more easily select the related information corresponding to the desired component.
  • the first image display method of the present disclosure is This is an image display method for displaying a predetermined image captured on a display screen while a plurality of components mounted on a board are held by a mounting head.
  • the first image display method of the present disclosure as in the case of the first image display device described above, it is possible to easily confirm the parts using the enlarged image without making a mistake in selecting the parts to be enlarged. ..
  • various aspects of the first image display device may be adopted, or steps may be added to realize each function of the first image display device.
  • the second image display method of the present disclosure is This is an image display method for displaying a predetermined image captured on a display screen while a plurality of components mounted on a board are held by a mounting head.
  • the second image display method of the present disclosure similarly to the second image display device described above, it is possible to appropriately edit the shape data of the parts without making a mistake in selecting the parts to be edited.
  • various aspects of the second image display device may be adopted, or steps may be added to realize each function of the second image display device.
  • This disclosure can be used in the technical field of mounting a plurality of components held on a mounting head on a substrate.
  • 10 parts mounting system 12 LAN, 20 mounting device, 21 mounting control unit, 22 CPU, 23 ROM, 24 RAM, 25 HDD, 27 supply unit, 28 parts camera, 28a lighting unit, 28b camera body, 29 input / output interface, 30 board processing unit, 32 mounting processing unit, 33 mounting head, 34 suction nozzle, 35 moving mechanism, 36 operation panel, 37 display screen, 38 operation buttons, 40 inspection device, 80 management device, 81 control device, 82 CPU, 83 ROM, 84 RAM, 85 HDD, 86 related information, 87 input device, 89 input / output interface, 90 display, 91, 91B confirmation screen, 91a, 97a cursor, 92 overall image, 93 information list display image, 94 enlarged image, 95a Edit button image, 95b, 95d back button image, 95c confirmation button image, 97 edit screen, 98 shape data image, 99,99e, 99s information compatible display image, 99a selectable area, P parts.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示装置は、表示画面に、所定画像と共に複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示し、作業者によりいずれかの関連情報の選択を伴う所定操作がなされた場合、表示中の所定画像のうち、選択された関連情報に対応する１の部品の拡大画像を表示する表示制御部を備える。

Description

画像表示装置および画像表示方法
　本明細書は、画像表示装置および画像表示方法を開示する。
　従来、実装ヘッドに部品が保持されている状態で撮像された画像を表示可能な装置が提案されている（例えば、特許文献１参照）。例えば、特許文献１には、実装ヘッドが複数のノズルを備え、各ノズルにそれぞれ部品が保持されている状態で、撮像ユニットの上方を実装ヘッドが通過する際に画像を撮像し、その画像が管理コンピュータに送信されることが記載されている。このため、管理コンピュータは、ディスプレイなどの表示画面に、画像を表示することができる。
ＷＯ２０１８／１２２９０３号公報
　上述した画像が表示画面に表示された場合、その画像内には複数の部品が写っていることになる。その画像から、例えば作業者が部品の確認をしたり部品のデータに関する編集をしたりするために、部品を選択することがある。しかしながら、近年は部品の小型化が進んでいるために画像内の部品も小さくなっていることから、複数の部品のうち選択対象の部品の識別が困難となって作業者が部品を誤って選択する場合がある。その場合、誤った部品であることを気付かずに確認や編集などの作業が行われて、問題が生じることがある。
　本開示は、画像中に含まれる複数の部品から作業者に所望の部品を適切に選択させて、選択させた部品に関する作業を実行可能とすることを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の第１の画像表示装置は、
　基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示装置であって、
　前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示し、作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の拡大画像を表示する表示制御部を備える
　ことを要旨とする。
　本開示の第１の画像表示装置は、基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像と共に複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示する。そして、作業者によりいずれかの関連情報の選択を伴う所定操作がなされた場合、表示中の所定画像のうち、選択された関連情報に対応する１の部品の拡大画像を表示する。これにより、作業者は、所定画像中の複数の部品から関連情報に着目して関連情報の選択を伴う所定操作をすることで所望の部品の拡大画像を表示させることができる。このため、拡大したい部品の選択ミスをすることなく、拡大画像を用いて部品の確認作業を容易に行うことができる。
部品実装システム１０の一例を示す説明図。 実装装置２０の実装ヘッド３３とパーツカメラ２８の構成の概略を示す説明図。 パーツカメラ２８で撮像された画像の一例を示す説明図。 関連情報８６の一例を示す説明図。 画像表示関連処理ルーチンの一例を示すフローチャート。 確認用表示処理の一例を示すフローチャート。 部品Ｐの全体画像９２と情報一覧表示画像９３とを含む確認画面９１の一例を示す説明図。 部品Ｐの拡大画像９４と情報一覧表示画像９３とを含む確認画面９１の一例を示す説明図。 部品Ｐの形状データ画像９８を含む編集画面９７の一例を示す説明図。 編集用表示処理の一例を示すフローチャート。 部品Ｐの全体画像９２と情報対応表示画像９９とを含む確認画面９１Ｂの一例を示す説明図。 情報対応表示画像９９の周囲の選択可能領域９９ａを示す説明図。 情報対応表示画像９９を強調表示する様子を示す説明図。
　次に、本開示を実施するための形態を図面を参照しながら説明する。図１は部品実装システム１０の一例を示す説明図であり、図２は実装装置２０の実装ヘッド３３とパーツカメラ２８の構成の概略を示す説明図である。
　部品実装システム１０は、図１に示すように、リールやトレイなどから部品Ｐ（図２参照）を採取して基板上に実装する実装装置２０と、複数の部品Ｐが実装された基板を検査する検査装置４０と、実装装置２０や検査装置４０に関する情報を管理する管理装置８０とを備える。実装装置２０と検査装置４０と管理装置８０とは、ネットワークとしてのＬＡＮ１２に接続されており、互いに情報をやり取り可能である。なお、図１では、実装装置２０と検査装置４０とを１台ずつ図示するが、実装装置２０や検査装置４０を複数台備えてもよい。本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）および上下方向（Ｚ軸）は、図１に示す通りとする。また、「実装」とは、部品Ｐを基板上に配置、装着、挿入、接合、接着することなどを含む。
　実装装置２０は、各種制御を実行する実装制御ユニット２１と、基板のＸ方向への搬送と固定とを行う基板処理ユニット３０と、部品Ｐを基板に配置する実装処理ユニット３２とを備える。また、実装装置２０は、リールやトレイなどに収容された部品Ｐを所定の供給位置へ供給する供給ユニット２７と、部品Ｐを撮像するパーツカメラ２８と、通信を行うための入出力インタフェース（Ｉ／Ｆ）２９と、各種情報の表示と作業者による各種入力操作とが可能な操作パネル３６とを備える。
　実装処理ユニット３２は、実装ヘッド３３と、実装ヘッド３３にノズル保持体を介して装着された複数の吸着ノズル３４と、実装ヘッド３３をＸＹ方向に移動させる移動機構３５とを備える。なお、実装ヘッド３３は、複数（例えば１２個など）の吸着ノズル３４が等間隔で同一円周上に並んだロータリーヘッドとして構成されている。実装ヘッド３３は、図示しないＺ軸モータを内蔵し、吸着ノズル３４の高さをＺ軸モータによって調整する。吸着ノズル３４は、圧力を利用して、ノズル先端に部品Ｐを吸着したり、ノズル先端に吸着している部品Ｐを離したりする。移動機構３５は、Ｘ方向に移動可能な図示しないＸ方向スライダと、Ｙ方向に移動可能な図示しないＹ方向スライダとを備える。移動機構３５のＸ方向スライダの移動やＹ方向スライダの移動に伴って、実装ヘッド３３がＸ方向やＹ方向に移動する。各スライダは、それぞれ駆動モータにより駆動される。
　パーツカメラ２８は、図２に示すように、実装ヘッド３３の複数の吸着ノズル３４に保持（吸着）された部品を下方から撮像して画像を生成する。パーツカメラ２８は、図示するように、上下面が開口した逆八角錐台のハウジングの内面に取り付けられた図示しない多数のＬＥＤを有する照明部２８ａと、ハウジングの下方に配置されたカメラ本体２８ｂとを備える。カメラ本体２８ｂは、図示は省略するが、受光により発生した電荷を出力する撮像素子や、出力された電荷に基づいて画像データを生成する画像処理部などを備える。パーツカメラ２８は、生成した画像データを実装制御ユニット２１に出力する。図３は、パーツカメラ２８で撮像された画像の一例を示す説明図である。上述したように吸着ノズル３４は等間隔で同一円周上に並ぶから、各吸着ノズル３４に吸着された部品Ｐも等間隔で同一円周上に並んで画像に写される。また、複数の部品Ｐが１の画像に収まるように撮像されるから、各部品Ｐは画像内に小さく写ることになる。近年は、部品Ｐの小型化が進んでいることから、作業者が画像内で部品Ｐの詳細を確認するのが困難な場合がある。
　操作パネル３６は、各種情報を表示する表示画面３７と、作業者の入力操作を受け付ける操作ボタン３８とを備える。表示画面３７は、液晶ディスプレイとして構成されており、実装装置２０の実装情報や設定情報、画像などを表示する。操作ボタン３８は、表示画面３７中の選択カーソルを上下左右に移動させるカーソルボタン、選択内容を決定する決定ボタン、入力をキャンセルするキャンセルボタンなどを備える。
　実装制御ユニット２１は、ＣＰＵ２２を中心とするマイクロプロセッサとして構成されており、処理プログラムを記憶するＲＯＭ２３、作業領域として用いられるＲＡＭ２４、各種データを記憶するＨＤＤ２５などを備え、これらはバスを介して接続されている。実装制御ユニット２１は、入出力インタフェース２９を介して、基板処理ユニット３０や実装処理ユニット３２、供給ユニット２７へ制御信号を出力したり、パーツカメラ２８へ撮像信号を出力したり、操作パネル３６へ表示信号を出力したり、管理装置８０へ情報を出力したりする。また、実装制御ユニット２１は、入出力インタフェース２９を介して、基板処理ユニット３０や実装処理ユニット３２、供給ユニット２７からの信号を入力したり、パーツカメラ２８が撮像した画像を取得したり、操作パネル３６から操作信号を入力したり、管理装置８０から情報を受信したりする。
　また、実装制御ユニット２１は、各部品Ｐの実装に関する条件を含む実装情報を管理装置８０から取得して、実装処理を実行する。実装処理では、実装制御ユニット２１は、実装ヘッド３３の各吸着ノズル３４に部品Ｐを吸着させ、移動機構３５により実装ヘッド３３をパーツカメラ２８上に移動させて、各吸着ノズル３４に吸着（保持）されている部品Ｐの画像をパーツカメラ２８に撮像させる。そして、実装制御ユニット２１は、撮像した画像を画像処理することにより各部品Ｐの位置ずれ量や回転ずれ量などを演算し、それらのずれ量に基づいて実装位置や実装向きを補正して、基板上の実装位置に各部品Ｐを実装する。画像処理では、実装制御ユニット２１は、画像内の各部品Ｐの形状や中心位置を認識し、各吸着ノズル３４の吸着位置に対する部品Ｐの位置ずれ量や所定の基準方向に対する部品Ｐの回転ずれ量を演算する。また、実装制御ユニット２１は、画像内の部品Ｐの形状が、予め記憶された形状データに対して所定の許容範囲内にあるか否かに基づいて、外形の寸法不良や変形、欠け、異物付着などの形状エラーの有無を判定する。また、実装制御ユニット２１は、部品Ｐの位置ずれ量や回転ずれ量が所定の許容範囲内にあるか否かに基づいて、位置ずれエラーや回転ずれエラーの有無を判定する。さらに、実装制御ユニット２１は、撮像された画像から部品Ｐが認識されるか否かに基づいて吸着ミスの有無を判定する。実装制御ユニット２１は、画像処理を行うと、パーツカメラ２８で撮像された複数の部品Ｐの全体画像と部品Ｐに関連する関連情報とを管理装置８０に送信する。管理装置８０は、受信した全体画像と関連情報とをＨＤＤ８５に記憶する。
　図４は関連情報８６の一例を示す説明図である。関連情報８６には、パーツカメラ２８で撮像された全体画像の画像ＩＤと共に、各吸着ノズル３４のノズル番号、吸着した部品Ｐの部品型式、部品Ｐの配置位置、画像処理結果が含まれている。画像処理結果には、上述した部品Ｐの位置ずれ量や回転ずれ量、エラーが発生している場合にはそのエラーの種類を示すエラーコードなどを含む。なお、図４と同様な関連情報が、実装制御ユニット２１のＨＤＤ２５に記憶されていてもよい。
　管理装置８０は、制御装置８１を備え、実装装置２０や検査装置４０を管理する。制御装置８１は、ＣＰＵ８２を中心とするマイクロプロセッサとして構成されており、処理プログラムを記憶するＲＯＭ８３、作業領域として用いられるＲＡＭ８４、各種データを記憶するＨＤＤ８５などを備え、これらはバスを介して接続されている。また、管理装置８０は、作業者が各種指示を入力するキーボードおよびマウス等の入力装置８７と、各種情報を表示するディスプレイ９０と、通信を行うための入出力インタフェース（Ｉ／Ｆ）８９とを備える。ＨＤＤ８５には、実装装置２０での実装や検査装置４０での検査に用いられる各種情報などが記憶されている。また、ＨＤＤ８５には、実装装置２０のパーツカメラ２８で撮像された部品Ｐの全体画像などの各種画像を表示するための表示ソフトや、部品Ｐの画像処理に用いられる形状データなどの編集を行うための編集ソフトなどの各種ソフトウェアも記憶されている。
　以下は、こうして構成された部品実装システム１０の動作の説明である。ここでは、実装装置２０で画像処理エラーが発生して生産を停止している際に、作業者が管理装置８０でエラーとなった部品Ｐを確認したり、部品Ｐの形状データを編集するなどのエラーへの対処をする際の動作を説明する。なお、実装装置２０の画像処理エラーに限られず、検査装置４０の検査処理でエラーが発生した際の動作としてもよいし、エラーの発生時以外の動作としてもよい。図５は画像表示関連処理ルーチンの一例を示すフローチャートである。このルーチンは、管理装置８０のＨＤＤ８５に記憶され、作業者による入力装置８７の操作入力により、ディスプレイ９０への表示選択画面の表示が指示された場合に、制御装置８１のＣＰＵ８２により実行される。
　このルーチンが実行されると、ＣＰＵ８２は、まず、表示選択画面をディスプレイ９０に表示して（Ｓ１００）、作業者により選択がなされるのを待つ（Ｓ１１０）。図示は省略するが、表示選択画面では、エラーとなった部品Ｐの確認を目的とする確認画面のディスプレイ９０への表示と、部品Ｐの形状データの編集を目的とする編集画面のディスプレイ９０への表示とを選択可能である。なお、後述するように、作業者は、まず確認画面でエラーとなった部品Ｐを確認してから、部品Ｐの形状データの編集を行うことも可能である。ＣＰＵ８２は、作業者により選択がなされると、確認画面の表示が選択されたか否かを判定し（Ｓ１２０）、確認画面の表示が選択されたと判定すると、確認用表示処理を実行して（Ｓ１３０）、画像表示関連処理ルーチンを終了する。一方、ＣＰＵ８２は、確認画面ではなく編集画面の表示が選択されたと判定すると、編集用表示処理を実行して（Ｓ１４０）、画像表示関連処理ルーチンを終了する。
　図６は確認用表示処理の一例を示すフローチャートである。確認用表示処理では、ＣＰＵ８２は、まず、パーツカメラ２８で撮像された複数の部品Ｐの全体画像と、少なくとも一部の関連情報８６を一覧表示した情報一覧表示画像とを含む確認画面をディスプレイ９０に表示する（Ｓ２００）。図７は部品Ｐの全体画像９２と情報一覧表示画像９３とを含む確認画面９１の一例を示す説明図である。図示するように、確認画面９１には、パーツカメラ２８で撮像された画像（図３参照）と同じ全体画像９２の横に、情報一覧表示画像９３が表示される。また、確認画面９１には、入力装置８７により選択入力が可能なカーソル９１ａが表示される。この情報一覧表示画像９３では、各吸着ノズル３４のノズル番号[１]～[１２]の順に、部品Ｐの部品型式と、エラーが発生している場合のエラーコードとが対応付けて表示される。このため、全体画像９２における部品Ｐの時計回りの表示位置（ノズル位置）に対応する順序で、関連情報が選択可能に一覧表示されるものとなる。また、情報一覧表示画像９３では、各関連情報がカーソル９１ａにより選択可能である。
　ＣＰＵ８２は、図７の確認画面９１を表示すると、カーソル９１ａの操作により情報一覧表示画像９３からいずれかの関連情報が選択されるのを待つ（Ｓ２０５）。ＣＰＵ８２は、関連情報が選択されると、その関連情報に対応する部品の拡大画像と編集ボタン画像とを確認画面９１に表示する（Ｓ２１０）。図８は、部品Ｐの拡大画像９４と情報一覧表示画像９３とを含む確認画面９１の一例を示す説明図である。図８では、カーソル９１ａの操作によりノズル番号[８]の関連情報が選択された場合に、全体画像９２に代えて、ノズル番号[８]の吸着ノズル３４に吸着された部品Ｐの拡大画像９４が表示された様子を示す。情報一覧表示画像９３では、ノズル番号[８]にエラーコードが表示されており、画像処理エラーの発生が示されているから、作業者は拡大画像９４を表示して部品Ｐのエラー内容の確認を行うことができる。また、拡大画像９４には、拡大された部品Ｐの他に、部品Ｐの位置ずれ量（Ｘ，Ｙ）や回転ずれ量θなどの画像処理結果と、編集ボタン画像９５ａと、戻るボタン画像９５ｂとが表示されている。編集ボタン画像９５ａは、拡大された部品Ｐの形状データの編集を開始するためのボタン画像であり、戻るボタン画像９５ｂは、拡大画像９４から全体画像９２に戻るためのボタン画像である。これらは、カーソル９１ａの操作により選択可能である。なお、画像処理結果の表示は省略してもよい。
　こうして拡大画像９４を含む図８の確認画面９１を表示すると、ＣＰＵ８２は、戻るボタン画像９５ｂが操作されるか（Ｓ２１５）、編集ボタン画像９５ａが操作されるのを待つ（Ｓ２２０）。ＣＰＵ８２は、戻るボタン画像９５ｂが操作されると、Ｓ２００に戻り、拡大画像９４から全体画像９２に表示を戻す。一方、ＣＰＵ８２は、編集ボタン画像９５ａが操作されると、拡大表示した部品Ｐの形状データを編集するための編集画面９７をディスプレイ９０に表示して（Ｓ２２５）、作業者による形状データの修正を受け付ける（Ｓ２３０）。形状データの編集は、上述した編集ソフトの機能であるため、ＣＰＵ８２は、Ｓ２２５では、編集ソフトの起動と共に編集画面９７を表示することになる。
　図９は部品Ｐの形状データ画像９８を含む編集画面９７の一例を示す説明図である。この編集画面９７では、部品Ｐの外形状を示す形状データ画像９８が実線で透過表示されると共に、その形状データ画像９８に中心を合わせて重ねるように部品Ｐの拡大画像が表示されている。部品Ｐの拡大画像は、傾きを補正した以外は、拡大画像９４と同じ画像である。形状データ画像９８には、Ｘ方向の幅ＷｘとＹ方向の長さＬｙとが編集可能に表示されている。作業者は、カーソル９７ａで幅Ｗｘと長さＬｙのいずれかを選定して、入力装置８７の操作入力により数値を入力（修正）することができる。ＣＰＵ８２は、Ｓ２３０では、作業者により入力された数値に合わせて、形状データ画像９８の形状（大きさ）を変更することで修正を受け付ける。また、編集画面９７には、部品型式および編集開始前の幅Ｗｘと長さＬｙの数値と、確認ボタン画像９５ｃと、戻るボタン画像９５ｄとが表示されている。確認ボタン画像９５ｃは、形状データの確認テストを開始するためのボタン画像であり、戻るボタン画像９５ｄは、編集画面９７から確認画面９１に戻るためのボタン画像である。これらは、カーソル９７ａの操作により選択可能である。
　また、ＣＰＵ８２は、確認ボタン画像９５ｃが操作されるか（Ｓ２３５）、戻るボタン画像９５ｄが操作されるのを待つ（Ｓ２４０）。ＣＰＵ８２は、戻るボタン画像９５ｄが操作されると、修正を反映せずにＳ２１０に戻り、編集画面９７から拡大画像９４を含む確認画面９１に表示を戻す。一方、ＣＰＵ８２は、確認ボタン画像９５ｃが操作されると、幅Ｗｘや長さＬｙなどの数値が修正された編集後の形状データで、画像内の部品Ｐの外形を確認する確認テストを実行する（Ｓ２４５）。ここで、例えば、部品Ｐの製造誤差やパーツカメラ２８での撮像状態などの影響によって、編集前の形状データで部品Ｐの寸法不良の画像処理エラーが頻発している場合、作業者は画像内の実際の部品Ｐの大きさに応じて形状データを修正する。Ｓ２４５では、ＣＰＵ８２は、同じ部品型式など形状データが同じ他の部品Ｐに対し、修正後の形状データを適用して寸法不良となるか否かの確認テストを行い、その確認結果を画面に表示する。そして、ＣＰＵ８２は、作業者が確認結果を承認したか否かを判定し（Ｓ２５０）、作業者が結果を承認しなければ、Ｓ２２５に戻り編集画面を表示する。一方、ＣＰＵ８２は、作業者が結果を承認すれば、編集後の形状データを保存することで（Ｓ２５５）、編集内容を反映させて、確認用表示処理を終了する。なお、ＣＰＵ８２は、画像処理エラーの発生により実装装置２０が生産を停止している場合に編集内容を反映させて処理を終了すると、実装装置２０に生産再開を許可する。
　次に、編集用表示処理について説明する。図１０は編集用表示処理の一例を示すフローチャートである。編集用表示処理では、ＣＰＵ８２は、まず、部品Ｐの全体画像９２と、関連情報８６を各部品Ｐの周囲に対応付けて表示した情報対応表示画像９９とを含む確認画面９１Ｂをディスプレイ９０に表示する（Ｓ３００）。
　図１１は部品Ｐの全体画像９２と情報対応表示画像９９とを含む確認画面９１Ｂの一例を示す説明図である。図示するように、確認画面９１Ｂには、パーツカメラ２８で撮像された画像（図３参照）と同じ全体画像９２内に、各部品Ｐの周囲に対応付けられた情報対応表示画像９９が表示されている。情報対応表示画像９９は、部品Ｐを取り囲む円形状の画像であり、エラーが生じていないことを示す正常態様の情報対応表示画像９９ｓが実線で表示され、エラーが生じていることを示すエラー態様の情報対応表示画像９９ｅが点線で表示される。即ち、情報対応表示画像９９は、対応する部品Ｐのエラーの有無を線種の違いによって表示するが、色の違いや線の太さの違い、形状の違いなどよって表示してもよい。また、確認画面９１Ｂには、入力装置８７により選択入力が可能なカーソル９１ａが表示されており、情報対応表示画像９９を選択可能である。
　また、確認画面９１Ｂでは、情報対応表示画像９９の周囲の領域もカーソル９１ａで選択可能である。図１２は情報対応表示画像９９の周囲の選択可能領域９９ａを示す説明図である。図示するように、選択可能領域９９ａは、情報対応表示画像９９よりも一回り大きな円形状の領域であり、各情報対応表示画像９９に対応付けて設定されている。なお、図１２では選択可能領域９９ａを一点鎖線で示すが、選択可能領域９９ａは実際には画面上に表示されていない。作業者の操作により、カーソル９１ａがいずれかの選択可能領域９９ａ内に移動すると、情報対応表示画像９９の領域外であっても、その選択可能領域９９ａに対応する情報対応表示画像９９を選択可能となる。選択可能領域９９ａは、互いに重複しないように、各吸着ノズル３４の中心位置と部品Ｐのサイズとからサイズを定めてもよいし、隣接する吸着ノズル３４の間隔からサイズを定めてもよい。
　ＣＰＵ８２は、確認画面９１Ｂを表示すると、いずれかの情報対応表示画像９９が選択されるか（Ｓ３０５）、情報対応表示画像９９の周囲の選択可能領域９９ａが選択されるか（Ｓ３１０）、により関連情報が選択されるのを待つ。ＣＰＵ８２は、いずれかの情報対応表示画像９９またはその周囲の選択可能領域９９ａの選択により関連情報が選択されると、関連情報が選択された部品Ｐと形状データが同じ部品Ｐとを強調表示する（Ｓ３１５）。図１３は、情報対応表示画像９９を強調表示する様子を示す説明図である。図１３では、図中の３時の位置にある選択可能領域９９ａ内にカーソル９１ａが移動したために、その選択可能領域９９ａに囲まれた情報対応表示画像９９の関連情報が選択された場合を示す。この場合、形状データが同じ部品Ｐに対応する情報対応表示画像９９、ここでは図中の１時の位置と２時の位置にある情報対応表示画像９９を含む３つの情報対応表示画像９９が太線で強調表示されている。なお、形状データの異なる部品Ｐは、強調表示されずに元の表示のままである。このように、Ｓ３１５では、ＣＰＵ８２は、情報対応表示画像９９を強調表示するのである。このため、作業者は、１の部品Ｐを選択して形状データの編集を行った際に、その編集結果が他にどの部品Ｐに反映されるか、どの部品Ｐで共通に確認テストが行われるかを容易に把握することができる。
　こうして強調表示を行うと、ＣＰＵ８２は、入力装置８７の操作入力により、戻る操作が行われるか（Ｓ３２０）、選択確定操作が行われるのを待つ（Ｓ３２５）。戻る操作は、例えばカーソル９１ａを選択可能領域９９ａ外に移動させる操作などとする。また、選択確定操作は、例えばマウスをクリックするなどの入力装置８７の所定操作などとする。ＣＰＵ８２は、戻る操作が行われると、Ｓ３００に戻り処理を行う。一方、ＣＰＵ８２は、選択確定操作が行われると、選択中の部品Ｐの形状データを編集するための編集画面９７をディスプレイ９０に表示して（Ｓ３３０）、作業者による形状データの修正を受け付ける（Ｓ３３５）。なお、編集画面９７の内容や形状データの修正方法は、確認用表示処理のＳ２２５，Ｓ２３０と同様であるため説明は省略する。次に、ＣＰＵ８２は、確認用表示処理のＳ２３５～Ｓ２５０と同様に、確認ボタン画像９５ｃが操作されるか（Ｓ３４０）、戻るボタン画像９５ｄが操作されるのを待ち（Ｓ３４５）、戻るボタン画像９５ｄが操作されると、Ｓ３００に戻り、確認画面９１Ｂに表示を戻す。一方、ＣＰＵ８２は、確認ボタン画像９５ｃが操作されると、編集後の形状データで確認テストを実行し（Ｓ３５０）、確認テストの結果を作業者が承認したか否かを判定する（Ｓ３５５）。ＣＰＵ８２は、作業者が結果を承認しなければ、Ｓ３３０に戻り編集画面を表示し、作業者が結果を承認すれば、編集後の形状データを保存することで（Ｓ３６０）、編集内容を反映させて、確認用表示処理を終了する。
　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の管理装置８０が本開示の画像表示装置に相当し、ディスプレイ９０が表示画面に相当し、制御装置８１のＣＰＵ８２が表示制御部に相当する。また、画像表示関連処理ルーチンのＳ１３０の確認用表示処理を行うＣＰＵ８２とディスプレイ９０とを備える管理装置８０が第１の画像表示装置に相当し、画像表示関連処理ルーチンのＳ１４０の編集用表示処理を行うＣＰＵ８２とディスプレイ９０とを備える管理装置８０が第２の画像表示装置に相当する。なお、本実施形態では、管理装置８０の動作を説明することにより本開示の画像表示方法の一例も明らかにしている。
　以上説明した管理装置８０は、パーツカメラ２８で撮像された全体画像９２と、部品Ｐの関連情報を一覧表示した情報一覧表示画像９３とを含む確認画面９１をディスプレイ９０に表示する。そして、管理装置８０は、作業者に選択された関連情報に対応する１の部品Ｐの拡大画像９４を表示するから、作業者は拡大したい部品Ｐの選択ミスをすることなく容易に選択し、拡大画像を用いて部品Ｐの確認作業を適切に行うことができる。
　また、管理装置８０は、拡大画像９４と共に編集ボタン画像９５ａを表示し、編集ボタン画像９５ａが操作されると編集画面９７を表示するから、編集対象の部品Ｐの選択ミスを防止することができる。また、情報一覧表示画像９３には、全体画像９２における複数の部品Ｐの表示位置に対応する順序で関連情報を一覧表示するから、関連情報をより選択し易くすることができる。
　また、管理装置８０は、全体画像９２と、各部品Ｐの周囲に関連情報が対応付けられた情報対応表示画像９９とを含む確認画面９１Ｂをディスプレイ９０に表示する。そして、管理装置８０は、作業者により選択された情報対応表示画像９９に対応する部品Ｐの編集画面９７を表示するから、作業者は編集したい部品Ｐの選択ミスをすることなく容易に選択し、編集作業を速やかに開始することができる。このため、作業者は、間違った部品Ｐの形状データを編集してしまうのを防止することができる。
　また、管理装置８０は、選択された情報対応表示画像９９に対応する部品Ｐと形状データが同じ部品Ｐの情報対応表示画像９９を強調表示するから、編集後の形状データが他にどの部品Ｐに反映されるかを作業者が容易に把握することができる。また、情報対応表示画像９９の周囲を選択可能領域９９ａとするから、作業者が所望の部品Ｐに対応する関連情報をより選択し易くすることができる。
　また、情報一覧表示画像９３や情報対応表示画像９９では、部品Ｐのエラーの有無を示すエラー情報を対応付けて表示するから、作業者はエラーが発生した部品Ｐを容易に把握して選択することができる。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、Ｓ１３０の確認用表示処理で確認画面９１を表示したが、これに限られず、確認画面９１Ｂを表示してもよい。また、Ｓ１４０の編集用表示処理で確認画面９１Ｂを表示したが、これに限られず、確認画面９１を表示してもよい。
　上述した実施形態では、確認画面９１の情報一覧表示画像９３にノズル番号と部品型式とエラーコードとを含むものとしたが、これに限られず、ノズル番号とエラーコードのみを含むものとしてもよいし、情報一覧表示画像９３にこれら以外の情報、例えば部品Ｐのシリアル番号（識別情報）や配置位置、画像処理結果に関する情報を含めてもよい。また、情報一覧表示画像９３では、部品Ｐの表示位置に対応する順序で関連情報を一覧表示したが、これに限られず、部品Ｐの表示位置に対応しない順序で一覧表示してもよい。
　上述した実施形態では、情報対応表示画像９９として円形状の画像を例示したが、これに限られず、エラーの部品Ｐの周囲にエラーを示す文字や記号を表示するなどエラー情報を示す画像を表示してもよい。また、情報対応表示画像９９の周囲に選択可能領域９９ａを設けたが、これに限られず、選択可能領域９９ａを設けないものとしてもよい。
　上述した実施形態では、確認画面９１Ｂにおいて、いずれか情報対応表示画像９９が選択されると、形状データが同じ部品Ｐに対応する情報対応表示画像９９を太線で強調表示したが、これに限られず、点滅や色の変化など他の表示態様で強調表示してもよい。また、このような強調表示をするものに限られず、強調表示をしないものとしてもよい。
　上述した実施形態では、部品Ｐの拡大画像９４と編集ボタン画像９５ａとを表示して、編集ボタン画像９５ａの操作で編集画面９７を表示したが、これに限られるものではない。例えば、編集ボタン画像９５ａを表示することなく、マウスのボタンのクリック操作など入力装置８７の所定操作で編集画面９７を表示してもよい。あるいは、部品Ｐの拡大画像９４から編集画面９７に移行せず、確認画面９１では部品Ｐの拡大画像９４を用いた確認のみを行うものとして、確認用表示処理のＳ２２０～Ｓ２５５を省略すればよい。
　上述した実施形態では、部品Ｐの拡大表示と部品Ｐの形状データの編集との両方を実行したが、これに限られず、いずれか一方のみを実行してもよい。例えば、部品Ｐの拡大表示のみを実行する場合、画像表示関連処理ルーチンのＳ１４０を省略し、確認用表示処理のＳ２２０～Ｓ２５５を省略すればよい。また、部品Ｐの形状データの編集のみを実行する場合、画像表示関連処理ルーチンのＳ１３０を省略すればよい。
　上述した実施形態では、管理装置８０のディスプレイ９０に確認画面９１，９１Ｂや編集画面９７を表示するものを例示したが、これに限られず、実装装置２０の操作パネル３６の表示画面３７や検査装置の操作パネルなどに表示してもよい。
　ここで、本開示の画像表示装置は、以下のように構成してもよい。本開示の第１の画像表示装置において、前記表示制御部は、前記１の部品の拡大画像と共に所定の編集ボタン画像を操作可能に表示し、作業者により前記編集ボタン画像が操作されると、該１の部品の形状に関する形状データの編集が可能な編集画面を表示するものとしてもよい。こうすれば、拡大画像で編集対象の部品を確認した上で、その部品の編集作業をそのまま開始することができるから、編集対象の部品の選択ミスを防止することができる。
　本開示の第２の画像表示装置は、
　基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示装置であって、
　前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示し、作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の形状に関する形状データの編集が可能な編集画面を表示する表示制御部を備える
　ことを要旨とする。
　本開示の第２の画像表示装置は、基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像と共に複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示する。そして、作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の所定画像のうち、選択された関連情報に対応する１の部品の形状に関する形状データの編集が可能な編集画面を表示する。これにより、作業者は、所定画像中の複数の部品から関連情報に着目して関連情報の選択を伴う所定操作をすることで所望の部品の編集画面を表示させることができる。このため、編集対象の部品の選択ミスをすることなく、部品の形状データの編集作業を適切に行うことができる。
　本開示の第２の画像表示装置において、前記表示制御部は、前記所定画像において、作業者により選択された前記関連情報に対応する１の部品と前記形状データが同じ部品の前記関連情報を、前記１の部品と前記形状データが異なる部品の前記関連情報と区別可能に強調表示するものとしてもよい。こうすれば、関連情報を選択して部品の形状データを編集した場合に、編集後の形状データが他にどの部品に反映されるかを作業者が容易に把握することができる。
　本開示の第１または第２の画像表示装置において、前記画像は、前記複数の部品に対して行われる所定の画像処理に用いられ、前記関連情報には、前記画像処理でエラーが発生したことを示すエラー情報を含むものとしてもよい。こうすれば、作業者は関連情報から、エラーが発生した部品を容易に把握してその部品を適切に選択することができる。このため、エラーが発生した部品の拡大画像から部品の不具合を速やかに確認したり、エラーが発生した部品の形状データの編集を速やかに行ったりすることが可能となる。
　本開示の第１または第２の画像表示装置において、前記表示制御部は、前記所定画像内における前記複数の部品の表示位置に対応する順序で前記関連情報を選択可能に一覧表示するものとしてもよい。こうすれば、所定画像内の部品の表示位置と、部品毎の関連表示との対応を作業者に分かり易くして、作業者が所望の部品に対応する関連情報をより選択し易くすることができる。
　本開示の第１または第２の画像表示装置において、前記表示制御部は、前記所定画像内における前記複数の部品の表示位置に対応する位置に前記関連情報を選択可能に表示すると共に、前記関連情報の周辺の所定領域を該関連情報の選択可能な領域とするものとしてもよい。こうすれば、関連情報を選択する際に、その周辺の所定領域を選択してもよいから、作業者が所望の部品に対応する関連情報をより選択し易くすることができる。
　本開示の第１の画像表示方法は、
基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示方法であって、
（ａ）前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示するステップと、
（ｂ）作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の拡大画像を表示するステップと、
　を含むことを要旨とする。
　本開示の第１の画像表示方法では、上述した第１の画像表示装置と同様に、拡大したい部品の選択ミスをすることなく、拡大画像を用いて部品の確認作業を容易に行うことができる。なお、第１の画像表示方法において、第１の画像表示装置の種々の態様を採用してもよいし、第１の画像表示装置の各機能を実現するようなステップを追加してもよい。
　本開示の第２の画像表示方法は、
　基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示方法であって、
（ａ）前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示するステップと、
（ｂ）作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の形状に関する形状データの編集が可能な編集画面を表示するステップと、
　を含むことを要旨とする。
　本開示の第２の画像表示方法では、上述した第２の画像表示装置と同様に、編集対象の部品の選択ミスをすることなく、部品の形状データの編集作業を適切に行うことができる。なお、第２の画像表示方法において、第２の画像表示装置の種々の態様を採用してもよいし、第２の画像表示装置の各機能を実現するようなステップを追加してもよい。
   本開示は、実装ヘッドに保持した複数の部品を基板に実装する技術分野などに利用可能である。
　１０　部品実装システム、１２　ＬＡＮ、２０　実装装置、２１　実装制御ユニット、２２　ＣＰＵ、２３　ＲＯＭ、２４　ＲＡＭ、２５　ＨＤＤ、２７　供給ユニット、２８　パーツカメラ、２８ａ　照明部、２８ｂ　カメラ本体、２９　入出力インタフェース、３０　基板処理ユニット、３２　実装処理ユニット、３３　実装ヘッド、３４　吸着ノズル、３５　移動機構、３６　操作パネル、３７　表示画面、３８　操作ボタン、４０　検査装置、８０　管理装置、８１　制御装置、８２　ＣＰＵ、８３　ＲＯＭ、８４　ＲＡＭ、８５　ＨＤＤ、８６　関連情報、８７　入力装置、８９　入出力インタフェース、９０　ディスプレイ、９１，９１Ｂ　確認画面、９１ａ，９７ａ　カーソル、９２　全体画像、９３　情報一覧表示画像、９４　拡大画像、９５ａ　編集ボタン画像、９５ｂ，９５ｄ　戻るボタン画像、９５ｃ　確認ボタン画像、９７　編集画面、９８　形状データ画像、９９，９９ｅ，９９ｓ　情報対応表示画像、９９ａ　選択可能領域、Ｐ　部品。

Claims (9)

  1. 　基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示装置であって、
    　前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示し、作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の拡大画像を表示する表示制御部を備える
    　画像表示装置。
  2. 　請求項１に記載の画像表示装置であって、
    　前記表示制御部は、前記１の部品の拡大画像と共に所定の編集ボタン画像を操作可能に表示し、作業者により前記編集ボタン画像が操作されると、該１の部品の形状に関する形状データの編集が可能な編集画面を表示する
    　画像表示装置。
  3. 　基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示装置であって、
    　前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示し、作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の形状に関する形状データの編集が可能な編集画面を表示する表示制御部を備える
    　画像表示装置。
  4. 　請求項３に記載の画像表示装置であって、
    　前記表示制御部は、前記所定画像において、作業者により選択された前記関連情報に対応する１の部品と前記形状データが同じ部品の前記関連情報を、前記１の部品と前記形状データが異なる部品の前記関連情報と区別可能に強調表示する
    　画像表示装置。
  5. 　請求項１ないし４のいずれか１項に記載の画像表示装置であって、
    　前記画像は、前記複数の部品に対して行われる所定の画像処理に用いられ、
    　前記関連情報には、前記画像処理でエラーが発生したことを示すエラー情報を含む
    　画像表示装置。
  6. 　請求項１ないし５のいずれか１項に記載の画像表示装置であって、
    　前記表示制御部は、前記所定画像内における前記複数の部品の表示位置に対応する順序で前記関連情報を選択可能に一覧表示する
    　画像表示装置。
  7. 　請求項１ないし５のいずれか１項に記載の画像表示装置であって、
    　前記表示制御部は、前記所定画像内における前記複数の部品の表示位置に対応する位置に前記関連情報を選択可能に表示すると共に、前記関連情報の周辺の所定領域を該関連情報の選択可能な領域とする
    　画像表示装置。
  8. 　基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示方法であって、
    （ａ）前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示するステップと、
    （ｂ）作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の拡大画像を表示するステップと、
    　を含む画像表示方法。
  9. 　基板に実装される複数の部品が実装ヘッドに保持されている状態で撮像された所定画像を表示画面に表示する画像表示方法であって、
    （ａ）前記表示画面に、前記所定画像と共に前記複数の部品に関連する関連情報を部品毎に対応付けて選択可能に表示するステップと、
    （ｂ）作業者によりいずれかの前記関連情報の選択を伴う所定操作がなされた場合、表示中の前記所定画像のうち、該選択された前記関連情報に対応する１の部品の形状に関する形状データの編集が可能な編集画面を表示するステップと、
    　を含む画像表示方法。
PCT/JP2019/028624 2019-07-22 2019-07-22 画像表示装置および画像表示方法 WO2021014524A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/028624 WO2021014524A1 (ja) 2019-07-22 2019-07-22 画像表示装置および画像表示方法
CN201980098123.4A CN114041110B (zh) 2019-07-22 2019-07-22 图像显示装置及图像显示方法
US17/628,488 US11809695B2 (en) 2019-07-22 2019-07-22 Image display device and image display method
EP19938124.5A EP4007472B1 (en) 2019-07-22 2019-07-22 Image display device and image display method
JP2021534880A JP7295240B2 (ja) 2019-07-22 2019-07-22 画像表示装置および画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028624 WO2021014524A1 (ja) 2019-07-22 2019-07-22 画像表示装置および画像表示方法

Publications (1)

Publication Number Publication Date
WO2021014524A1 true WO2021014524A1 (ja) 2021-01-28

Family

ID=74193488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028624 WO2021014524A1 (ja) 2019-07-22 2019-07-22 画像表示装置および画像表示方法

Country Status (5)

Country Link
US (1) US11809695B2 (ja)
EP (1) EP4007472B1 (ja)
JP (1) JP7295240B2 (ja)
CN (1) CN114041110B (ja)
WO (1) WO2021014524A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202934A (ja) * 2005-01-20 2006-08-03 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
WO2015015567A1 (ja) * 2013-07-30 2015-02-05 富士機械製造株式会社 生産設備
JP2015135886A (ja) * 2014-01-17 2015-07-27 富士機械製造株式会社 管理装置
JP2016072381A (ja) * 2014-09-29 2016-05-09 ファスフォードテクノロジ株式会社 半導体若しくは電子部品実装装置及び半導体若しくは電子部品実装方法
WO2018122903A1 (ja) 2016-12-26 2018-07-05 株式会社Ｆｕｊｉ 実装装置、設定装置、実装システム、実装方法および設定方法
WO2018131066A1 (ja) * 2017-01-10 2018-07-19 株式会社Ｆｕｊｉ 管理装置、実装関連装置及び実装システム
JP2018132937A (ja) * 2017-02-15 2018-08-23 株式会社デンソーテン 入力装置、入力方法及び入力プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954550B2 (ja) * 2003-09-03 2007-08-08 オリンパス株式会社 画像表示プログラム、画像表示装置、画像表示方法
CN100393097C (zh) * 2003-11-27 2008-06-04 富士胶片株式会社 图像编辑装置及其方法
US7404151B2 (en) * 2005-01-26 2008-07-22 Attenex Corporation System and method for providing a dynamic user interface for a dense three-dimensional scene
JP4784269B2 (ja) * 2005-11-04 2011-10-05 オムロン株式会社 画像処理装置
BRPI0619881A2 (pt) * 2005-12-14 2011-10-25 Yappa Corp dispositivo para exposição de imagem
JP4834449B2 (ja) * 2006-04-18 2011-12-14 富士機械製造株式会社 電子部品装着ヘッド及び電子部品装着装置
JP4845832B2 (ja) * 2007-08-07 2011-12-28 キヤノン株式会社 撮像装置および制御方法
JP5213431B2 (ja) * 2007-12-18 2013-06-19 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US8447566B2 (en) * 2008-02-21 2013-05-21 Panasonic Corporation Mounting condition determining method
AU2010254067B2 (en) * 2008-03-14 2013-07-04 Energy Compression, Inc. Adsorption-enhanced compressed air energy storage
JP5182121B2 (ja) * 2009-01-27 2013-04-10 オムロン株式会社 基板外観検査用のライブラリデータの作成方法および検査データ作成方法
JP5562711B2 (ja) * 2010-04-28 2014-07-30 株式会社日立ハイテクインスツルメンツ 電子部品装着方法及び電子部品装着装置
US8555192B2 (en) * 2010-06-03 2013-10-08 Microsoft Corporation Sketching and searching application for idea generation
JP5665648B2 (ja) * 2011-05-09 2015-02-04 富士機械製造株式会社 部品装着ヘッドの吸着ノズルにおける被吸着物検知方法および部品装着装置
JP5924978B2 (ja) * 2012-02-28 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
JP6075910B2 (ja) * 2012-07-25 2017-02-08 Juki株式会社 情報管理システムおよび情報提供方法
WO2016016933A1 (ja) * 2014-07-28 2016-02-04 富士機械製造株式会社 部品データ取扱装置および部品データ取扱方法並びに部品実装システム
US9841870B2 (en) * 2014-08-21 2017-12-12 The Boeing Company Integrated visualization and analysis of a complex system
EP3255971B1 (en) * 2015-02-04 2019-07-03 FUJI Corporation Image processing device, mounting processing system and image processing method
WO2016203638A1 (ja) * 2015-06-19 2016-12-22 ヤマハ発動機株式会社 部品実装装置および部品実装方法
JP6411663B2 (ja) * 2015-08-17 2018-10-24 ヤマハ発動機株式会社 部品実装装置
CN108142000B (zh) * 2015-10-14 2020-08-07 雅马哈发动机株式会社 基板作业系统及元件安装装置
JP6534448B2 (ja) * 2015-10-14 2019-06-26 ヤマハ発動機株式会社 部品実装装置
JP6524250B2 (ja) * 2015-10-15 2019-06-05 ヤマハ発動機株式会社 部品実装装置
CN111447823B (zh) * 2015-11-17 2021-05-07 株式会社富士 更换控制装置
US20200348662A1 (en) * 2016-05-09 2020-11-05 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
US20210157312A1 (en) * 2016-05-09 2021-05-27 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
US20190339688A1 (en) * 2016-05-09 2019-11-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN113542602A (zh) * 2016-06-20 2021-10-22 麦克赛尔株式会社 摄像装置、显示装置和摄像显示系统
US11367170B2 (en) * 2016-12-01 2022-06-21 Fuji Corporation Manufacturing management system for component mounting line
KR102316327B1 (ko) * 2017-04-04 2021-10-22 엘지전자 주식회사 가상 공간의 캡쳐 방법 및 그 전자장치
US10591301B2 (en) * 2017-10-13 2020-03-17 Mapanything, Inc. Graphical user interface (GUI) within CRM solution enabling layer views for connected devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202934A (ja) * 2005-01-20 2006-08-03 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
WO2015015567A1 (ja) * 2013-07-30 2015-02-05 富士機械製造株式会社 生産設備
JP2015135886A (ja) * 2014-01-17 2015-07-27 富士機械製造株式会社 管理装置
JP2016072381A (ja) * 2014-09-29 2016-05-09 ファスフォードテクノロジ株式会社 半導体若しくは電子部品実装装置及び半導体若しくは電子部品実装方法
WO2018122903A1 (ja) 2016-12-26 2018-07-05 株式会社Ｆｕｊｉ 実装装置、設定装置、実装システム、実装方法および設定方法
WO2018131066A1 (ja) * 2017-01-10 2018-07-19 株式会社Ｆｕｊｉ 管理装置、実装関連装置及び実装システム
JP2018132937A (ja) * 2017-02-15 2018-08-23 株式会社デンソーテン 入力装置、入力方法及び入力プログラム

Also Published As

Publication number Publication date
JP7295240B2 (ja) 2023-06-20
US20220253204A1 (en) 2022-08-11
EP4007472A1 (en) 2022-06-01
EP4007472B1 (en) 2024-05-01
EP4007472A4 (en) 2022-07-20
CN114041110B (zh) 2023-11-10
US11809695B2 (en) 2023-11-07
JPWO2021014524A1 (ja) 2021-01-28
CN114041110A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
JP6956296B2 (ja) 処理方法
JP4978424B2 (ja) 部品実装検査の検査結果確認方法および検査結果確認システム
JP2000031693A (ja) 電子部品の吸着部位教示装置
WO2021014524A1 (ja) 画像表示装置および画像表示方法
JP2007088428A (ja) 部品実装方法
JPH1197894A (ja) 吸着ノズルの詰まり検出方法およびその装置
JP4753836B2 (ja) 吸着ノズルの照合方法
JP7377870B2 (ja) 実装装置及び実装装置の制御方法
JP7096286B2 (ja) 作業処理支援方法
CN100493324C (zh) 电子部件安装装置
WO2018138815A1 (ja) 制御装置、実装装置及び制御方法
JP2017038084A (ja) 検査管理装置、検査管理方法及びそのプログラム
CN116724327A (zh) 品质改善辅助装置以及品质改善辅助系统
JPH09259289A (ja) エッジ姿勢認識式の測定方法および装置
JP4036737B2 (ja) 部品実装プログラム編集プログラム及び装置
JP6799614B2 (ja) 情報処理装置及び情報作成方法
JP2008139260A (ja) 画像表示装置、外観検査装置、クリーム半田印刷機、及び画像表示方法
JPH10135686A (ja) データ処理装置及び電子部品装着装置
US11943872B2 (en) Mounting device, mounting system, and inspection/mounting method
JP7386389B2 (ja) 部品実装装置
JP2005267305A (ja) 作業ガイダンス端末、プログラム、および作業ガイダンス方法
JP7573091B2 (ja) 吸着位置調整装置
JP2024008533A (ja) 実装装置及び実装装置の制御方法
US20230111622A1 (en) Image data generation device and component mounting system
JP2011138872A (ja) 電子部品装着装置及びその電子部品装着方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938124

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021534880

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019938124

Country of ref document: EP

Effective date: 20220222