WO2023163117A1 - 検査装置、画像処理方法、及び画像処理プログラム - Google Patents

検査装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2023163117A1
WO2023163117A1 PCT/JP2023/006788 JP2023006788W WO2023163117A1 WO 2023163117 A1 WO2023163117 A1 WO 2023163117A1 JP 2023006788 W JP2023006788 W JP 2023006788W WO 2023163117 A1 WO2023163117 A1 WO 2023163117A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
learning
image
inspection object
learning model
Prior art date
Application number
PCT/JP2023/006788
Other languages
English (en)
French (fr)
Inventor
麻理恵 神田
和久 大沼
貴之 藤堂
Original Assignee
ｉ－ＰＲＯ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ｉ－ＰＲＯ株式会社 filed Critical ｉ－ＰＲＯ株式会社
Publication of WO2023163117A1 publication Critical patent/WO2023163117A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an inspection device, an image processing method, and an image processing program.
  • Patent Document 1 detects an abnormality in an inspection image by using a learning model generated based on an input indicating whether an abnormal image is correct.
  • Patent Document 1 when it is assumed that a board on which many components are mounted is subjected to an appearance inspection, the abnormal images in Patent Document 1 include an image of the entire board as one work and an image of the board as a single workpiece. It is necessary to consider the image of each part as a work.
  • Japanese Unexamined Patent Application Publication No. 2002-100000 an abnormal image in which the entire substrate is a single work does not always match an abnormal image in which each of the components mounted on the substrate is used as a work.
  • Patent Document 1 there is a possibility that desired inspection accuracy cannot be obtained when inspecting each of the components mounted on the board.
  • the present invention has been made to solve such problems, and an object of the present invention is to provide an inspection apparatus, an image processing method, and an image processing program capable of improving the accuracy of visual inspection of each of a plurality of works.
  • the present disclosure comprises one or more processors, one or more memories, and a program stored in said memory, said program being a first test object and different from said first test object.
  • an inspection target area including a plurality of inspection targets including a second inspection target, a first attention area for inspecting the first inspection target and a region for inspecting the second inspection target setting a second region of interest; imaging the inspection target region and causing a camera that outputs a captured image of the inspection target region to output a captured image of the inspection target region; executing a first inspection for inspecting the first inspection object based on a learning model for detecting an abnormality of an object and a first image area corresponding to the first attention area in the captured image; outputting a result of the first inspection; and executing a second inspection for inspecting the second inspection object based on the learning model and a second image area corresponding to the second attention area in the captured image.
  • the present disclosure inspects the first inspection object in an inspection object area including a plurality of inspection objects including a first inspection object and a second inspection object different from the first inspection object. setting a first attention area for performing the inspection and a second attention area for performing the inspection of the second inspection object; capturing an image of the inspection target area; and outputting a captured image of the inspection target area. causing a camera to output a captured image of the inspection target area; a learning model for detecting an abnormality in the plurality of inspection objects; and a first image area corresponding to the first attention area in the captured image.
  • the present disclosure inspects the first inspection object in an inspection object area including a plurality of inspection objects including a first inspection object and a second inspection object different from the first inspection object. setting a first attention area for performing the inspection and a second attention area for performing the inspection of the second inspection object; capturing an image of the inspection target area; and outputting a captured image of the inspection target area. causing a camera to output a captured image of the inspection target area; a learning model for detecting an abnormality in the plurality of inspection objects; and a first image area corresponding to the first attention area in the captured image.
  • FIG. 1 is a block diagram showing a system configuration example of an inspection system according to Embodiment 1.
  • FIG. 2 is a block diagram showing an internal configuration example of each of the learning terminal and the display terminal according to the first embodiment.
  • 3 is a block diagram showing an internal configuration example of each of the AI camera and lighting device according to Embodiment 1.
  • FIG. 4 is a diagram illustrating an example of a work.
  • FIG. 5 is a diagram showing an example of an imaging parameter table.
  • FIG. 6 is a sequence diagram illustrating an example of an operation procedure before operation of the inspection system according to Embodiment 1;
  • FIG. 7 is a sequence diagram showing an example of an operation procedure during operation of the inspection system according to Embodiment 1.
  • FIG. 8 is an example of a work inspection procedure of the AI camera according to the first embodiment.
  • 9 is a sequence diagram illustrating an example of a re-learning procedure of the inspection system according to Embodiment 1.
  • FIG. 10 is a diagram showing an example of an inspection result screen.
  • FIG. 11 is a diagram showing an example of an inspection result confirmation screen.
  • FIG. 12 is a diagram showing an example of a relearning target setting screen.
  • FIG. 13 is a diagram showing an example of an imaging condition adjustment screen.
  • FIG. 14 is a diagram showing an example of an attention area setting screen.
  • FIG. 15 is a diagram illustrating an example of obtaining an attention area.
  • FIG. 1 is a block diagram showing a system configuration example of an inspection system 100 according to Embodiment 1.
  • the inspection system 100 captures an image of the workpiece PW using a camera such as an AI (Artificial Intelligence) camera C1, and performs visual inspection of the workpiece PW based on the captured image.
  • a camera such as an AI (Artificial Intelligence) camera C1
  • AI Artificial Intelligence
  • the work PW is a substrate (see FIG. 4) on which a plurality of components are mounted, but the work PW is not limited to this. As for the work PW, it is sufficient that one work PW has a plurality of inspection points and inspection objects (for example, parts, etc.).
  • the inspection system 100 includes a learning terminal P1, a display terminal P2, a sensor SS, at least one AI camera C1, at least one lighting device L1, and a HUB50.
  • the inspection system 100 may be configured by one terminal device P0 (an example of an inspection device) in which the learning terminal P1 and the display terminal P2 are integrally configured.
  • the inspection system 100 may be configured integrally with the AI camera C1 and the illumination device L1.
  • the inspection system 100 may be configured such that the learning terminal P1, the display terminal P2, and the AI camera C1 are integrally configured as one device.
  • the learning terminal P1 is connected to the display terminal P2 and the AI camera C1 so that data communication is possible.
  • the learning terminal P1 acquires and stores the relearning data transmitted from the AI camera C1.
  • the learning terminal P1 performs relearning using relearning data (teacher data) to generate a learning model.
  • the learning terminal P1 stores the learning model and transmits it to the display terminal P2.
  • the relearning data of the present disclosure is data used for relearning, and is, for example, a relearning image, relearning information (eg, imaging conditions, correct/incorrect information, etc.).
  • the inspection system 100 displays the inspection result of the appearance inspection on the display terminal P2. Then, input of a correct inspection result is accepted for the inspection result determined by the user to be erroneous. Based on the input operation, the inspection system 100 re-learns (regenerates) the learning model used in the visual inspection for which the inspection result is determined to be erroneous.
  • the display terminal P2 is connected to the study terminal P1, the sensor SS, and the AI camera C1 so as to enable data communication.
  • the display terminal P2 generates a control command requesting the start of visual inspection of the workpiece PW and transmits it to the AI camera C1.
  • the display terminal P2 displays the inspection result of the appearance inspection on the monitor 23 and accepts the input operation of the correct determination result by the user.
  • the display terminal P2 generates re-learning data based on the input operation, and transmits the re-learning data to the learning terminal P1. Further, the display terminal P2 stores the learning model transmitted from the learning terminal P1 and transmits the learning model to the AI camera C1.
  • An AI camera C1 as an example of a camera is connected to each of the learning terminal P1 and the display terminal P2 so as to be able to communicate with each other.
  • the AI camera C1 controls the lighting device L1 based on preset imaging parameters and captures an image of the workpiece PW based on a control command from the display terminal P2.
  • the AI camera C1 uses the captured image and the learning model to inspect the appearance of the workpiece PW.
  • the AI camera C1 transmits the inspection result of the appearance inspection to the display terminal P2.
  • the AI camera C1 acquires a learning model generated by re-learning from the display terminal P2.
  • the AI camera C1 stores the acquired learning model, re-executes the visual inspection of the workpiece PW, generates a re-inspection result of the visual inspection, and transmits the re-inspection result to the display terminal P2.
  • a lighting device L1 which is an example of a light, is connected to the AI camera C1 so that data communication is possible.
  • the illumination device L1 illuminates the workpiece PW with illumination parameters corresponding to the workpiece PW based on the control command from the AI camera C1.
  • the illumination parameter is a preset parameter.
  • the HUB 50 connects each of the study terminal P1, the display terminal P2, and the AI camera C1 so that data communication is possible.
  • FIG. 2 is a block diagram showing an internal configuration example of the study terminal P1 and the display terminal P2.
  • FIG. 3 is a block diagram showing an internal configuration example of the AI camera C1 and lighting device L1 according to the first embodiment.
  • the learning terminal P1 is, for example, a PC (Personal Computer), a notebook PC, a tablet terminal, or the like.
  • the learning terminal P1 includes a communication unit 10, a processor 11, a memory 12, a monitor 13, an input unit 14, a learning image database DB11, and an AI camera parameter database DB12.
  • the communication unit 10 is realized by a so-called hardware I/F (InterFace), software I/F, or the like.
  • the communication unit 10 transmits and receives data to and from the display terminal P2 and the AI camera C1, respectively, and outputs various data transmitted from the display terminal P2 and the AI camera C1 to the processor 11 .
  • the communication unit 10 also transmits various data output from the processor 11 to the display terminal P2 or the AI camera C1.
  • the processor 11 is, for example, a CPU (Central Processing Unit) or an FPGA (Field Programmable Gate Array).
  • the processor 11 cooperates with the memory 12 to perform various types of processing and control.
  • the processor 11 refers to the programs and data held in the memory 12 and executes the programs, thereby realizing various functions of the learning unit 111, the learning model generation unit 112, and the like.
  • the learning unit 111 uses the relearning data transmitted from the display terminal P2 and the image data, metadata, etc. stored in the learning image database DB11 to perform learning or Execute relearn.
  • the learning model generation unit 112 generates a learning model based on the learning result of the learning unit 111.
  • the learning model generation unit 112 associates the generated learning model with the information of the workpiece PW or inspection object, and stores them in the AI camera parameter database DB12.
  • the information of the work PW mentioned here is, for example, identification information, a manufacturing number, an ID, a name, etc. that can identify the work PW.
  • the information of the inspection objects TG1, TG2, and TG3 includes, for example, identification information that can identify the inspection object, the number assigned to the inspection object, the manufacturing number of the inspection object, the ID, name, etc.
  • the learning model generation unit 112 outputs the generated learning model to the communication unit 10 and causes it to be transmitted to the display terminal P2.
  • the memory 12 includes, for example, a RAM (Random Access Memory) as a working memory used when executing each process of the processor 11, and a ROM (Read Only Memory) for storing programs and data that define the operation of the processor 11. have.
  • the memory 12 may have either a storage device such as an SSD (Solid State Drive) or HDD (Hard Disk Drive).
  • the RAM temporarily stores data or information generated or acquired by the processor 11 .
  • a program that defines the operation of the processor 11 is written in the ROM.
  • the monitor 13 is a display such as an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence).
  • the monitor 13 displays a learning image and learning information included in the learning data, or a learning image and learning information included in the re-learning data.
  • the input unit 14 is a user interface such as a touch panel, buttons, keyboard, and mouse.
  • the input unit 14 receives user operations on the learning images and learning information included in the learning data, or the learning images and learning information included in the re-learning data, and converts them into electrical signals (control commands). and output to the processor 11.
  • the input unit 14 and the monitor 13 may be integrally configured.
  • the learning image database DB11 is composed of a storage device such as an HDD or SSD.
  • the learning image database DB11 registers (stores) the learning image and the relearning image transmitted from the AI camera C1 for each work PW.
  • the AI camera parameter database DB12 is composed of a storage device such as an HDD or SSD.
  • the AI camera parameter database DB12 registers (stores) at least one imaging condition for each work PW and information on the work PW in association with each other.
  • the imaging conditions referred to here are conditions used to acquire a captured image of the workpiece PW used for visual inspection, and include at least imaging parameters (an example of an imaging parameter set). Note that the imaging conditions may include imaging parameters and illumination parameters (an example of an illumination parameter set).
  • the imaging parameters are parameters used in the imaging process of the imaging unit 33 and the image quality adjustment process of the captured image.
  • the illumination parameter is a parameter used for illumination control of the light source 43 of the illumination device L1.
  • the display terminal P2 is, for example, a PC, notebook PC, tablet terminal, or the like.
  • the display terminal P2 includes a communication section 20, a processor 21, a memory 22, a monitor 23, an input section 24, a speaker 25, and an AI camera parameter database DB21.
  • the communication unit 20 is implemented by a so-called hardware I/F, software I/F, or the like.
  • the communication unit 20 transmits and receives data to and from the learning terminal P1, the sensor SS, and the AI camera C1, and outputs various data transmitted from the learning terminal P1 and the AI camera C1 to the processor .
  • the communication unit 20 also transmits various data output from the processor 21 to the learning terminal P1 or the AI camera C1.
  • the processor 21 is configured using, for example, a CPU or FPGA, and cooperates with the memory 22 to perform various types of processing and control. Specifically, the processor 21 refers to the programs and data held in the memory 22 and executes the programs to perform various functions such as the detection unit 211, the inspection result generation unit 212, and the learning data generation unit 213. come true.
  • the detection unit 211 detects that the workpiece PW has arrived at the detection position of the sensor SS based on the signal from the sensor SS.
  • the detection unit 211 generates a control command requesting visual inspection of the workpiece PW and outputs it to the communication unit 20 .
  • the communication unit 20 transmits a control command to the AI camera C1.
  • the inspection result generation unit 212 generates an inspection result screen SC1 (see FIG. 10) that visualizes the inspection result of the work PW based on the inspection result of the AI camera C1.
  • the monitor 23 displays an inspection result screen SC1.
  • the learning data generation unit 213 generates learning data or relearning data used to generate a learning model based on a user's operation via the input unit 24 .
  • the learning data generation unit 213 associates the learning data or re-learning data with the information of the workpiece PW to be learned, and outputs the information to the communication unit 20 .
  • the communication unit 20 transmits the learning data or re-learning data output from the learning data generating unit 213 and the information of the work PW to the learning terminal P1.
  • the memory 22 has, for example, a RAM as a working memory that is used when executing each process of the processor 21, and a ROM that stores programs and data that define the operation of the processor 21.
  • the memory 22 may include either a storage device such as an SSD or an HDD.
  • the RAM temporarily stores data or information generated or obtained by the processor 21 .
  • a program that defines the operation of the processor 21 is written in the ROM.
  • the monitor 23 is, for example, a display such as LCD or organic EL.
  • the monitor 23 displays an inspection result screen SC1 (see FIG. 10), an inspection result confirmation screen SC2 (see FIG. 11), a re-learning information setting screen SC21 (see FIG. 12), an imaging condition adjustment screen SC3 (see FIG. 13), and an attention screen.
  • Display of the inspection results of the workpiece PW such as the area setting screen SC4 (see FIG. 14) and the attention area setting screen SC5 (see FIG. 15), the screen for generating learning data or re-learning data, and the like are displayed.
  • the input unit 24 is a user interface such as a touch panel, buttons, keyboard, and mouse.
  • the input unit 24 converts the received user operation into an electric signal (control command) and outputs it to the processor 21 .
  • the input unit 24 and the monitor 23 may be integrally configured.
  • the speaker 25 outputs a predetermined sound corresponding to the user's operation in the display of test results based on the user's operation, learning data, or re-learning data. For example, at the timing when the inspection result is obtained from the AI camera C1, the speaker 25 outputs a voice for notifying the end of the appearance inspection of the workpiece PW, a voice for notifying an operation error in generating learning data or re-learning data, or the like. .
  • the PATLITE (registered trademark) 26 is controlled by the processor 11, receives a predetermined signal corresponding to the inspection result transmitted from the AI camera C1, and blinks. For example, the patrol light 26 blinks when the work PW or the inspection object is determined to be defective as a result of inspection by the AI camera C1. Thereby, the patrol light 26 can notify the user of the inspection result of the workpiece PW or inspection object.
  • the AI camera parameter database DB21 is composed of a storage device such as an HDD or SSD.
  • the AI camera parameter database DB21 associates and registers (stores) at least one imaging condition for each work PW and information on the work PW.
  • the sensor SS is a sensor that detects that the workpiece PW has arrived at the detection position.
  • the sensor SS When the work PW arrives at the detection position, the sensor SS generates a control command (electrical signal) for notifying the arrival of the work PW and outputs it to the communication unit 20 .
  • the AI camera C1 includes a communication unit 30, a processor 31, a memory 32, an imaging unit 33, an image storage medium 34, an AI camera parameter database DB31, and a learning model database DB32. Also, the AI camera C1 is equipped with artificial intelligence (AI).
  • AI artificial intelligence
  • the image quality adjusting unit 311 adjusts the image quality of each of the plurality of captured images (captured video) captured by the imaging unit 33 for each imaging condition based on at least one imaging condition set corresponding to the workpiece PW. do.
  • the image quality adjustment unit 311 associates each of the plurality of captured images (captured video) whose image quality has been adjusted with the information on the image capturing conditions, and outputs them to the best shot selection unit 312 .
  • the best shot image in the present disclosure is, for example, a captured image in which the detection target is facing directly in front, a captured image that is not overexposed, a captured image that is not out of focus, etc. It is desirable to be selected.
  • the image processing unit 313 acquires the best shot image for each imaging condition output from the best shot selection unit 312.
  • the image processing unit 313 detects at least one attention area and inspection object appearing in the acquired best shot image, and executes position correction, edge correction, size adjustment, etc. of the detected attention area and inspection object. do.
  • the attention area referred to here is an area that is set for each inspection object and is inspected for the inspection object.
  • size adjustment includes, for example, reduction, enlargement, rotation, aspect ratio adjustment, and the like.
  • the image processing unit 313 cuts out the detected region of interest and the region of the inspection object, and generates a composite image in which the two or more cut out regions of interest and the cutout images of the inspection object are aligned and synthesized. good too.
  • the image processing unit 313 associates the imaging condition with the best shot image or the composite image after the image processing and outputs them to the image analysis unit 314 .
  • the determination unit 315 determines the relationship (for example, difference, similarity, difference degree, distance, etc.), a judgment score for judging whether or not the object to be inspected is a non-defective product is evaluated.
  • the determination unit 315 generates a determination result of determining whether the attention area or the inspection object is a non-defective product based on the determination score.
  • the determination unit 315 generates an inspection result in which the imaging condition, the best shot image, and the determination result for each inspection object of the workpiece PW are associated with each other, and outputs the inspection result to the communication unit 30 .
  • the communication unit 30 transmits the inspection result to the display terminal P2.
  • the image storage medium 34 is configured using, for example, an external storage medium such as an SD card (registered trademark), a microSD (registered trademark), a USB memory (registered trademark), or a storage device such as an HDD or SSD.
  • the image storage medium 34 stores the captured image captured by the imaging unit 33, the best shot image selected by the best shot selection unit 312, the best shot image image-processed by the image processing unit 313, and information of the work PW. , and imaging conditions are stored in association with each other.
  • the best shot image may be a composite image.
  • the AI camera parameter database DB31 is configured using a storage device such as an HDD or SSD.
  • the AI camera parameter database DB31 associates and registers (stores) at least one imaging condition for each work PW and information on the work PW.
  • the learning model database DB32 is configured using a storage device such as an HDD or SSD.
  • the learning model database DB32 registers (stores) the learning model transmitted from the learning terminal P1 for each work PW.
  • the lighting device L1 includes a communication unit 40, a processor 41, a memory 42, and a light source 43.
  • the processor 41 is configured using, for example, a CPU or FPGA, and cooperates with the memory 42 to perform various types of processing and control. Specifically, the processor 41 refers to the programs and data held in the memory 42 and executes the programs, thereby realizing various functions of the light control unit 411 and the like.
  • the memory 42 has, for example, a RAM as a working memory that is used when executing each process of the processor 41 and a ROM that stores programs and data that define the operation of the processor 41 .
  • the memory 42 may have a storage device including either a storage device such as an SSD or an HDD. Data or information generated or acquired by the processor 41 is temporarily stored in the RAM. A program that defines the operation of the processor 41 is written in the ROM.
  • the light source 43 is configured with one or more lights such as LEDs (Light Emitting Diodes), and illuminates the work PW.
  • the light source 43 is controlled by the processor 41 to perform lighting control or extinguishing control.
  • FIG. 4 is a diagram illustrating an example of the work PW.
  • FIG. 4 only the three inspection objects TG1, TG2, and TG3 among the 61 inspection objects (electronic parts) are given codes, and the other inspection objects are omitted from being given codes. do.
  • a workpiece PW which is an inspection object
  • a plurality of different inspection items are set for each of the plurality of inspection objects.
  • the inspection target TG1 is, for example, an electronic component to which the inspection target number "1" is assigned.
  • the inspection target TG2 is, for example, an electronic component to which the inspection target number "35" is assigned.
  • the inspection target TG3 is, for example, an electronic component to which the inspection target number "58" is assigned. Note that the workpiece PW itself may be set as the inspection object.
  • the workpiece PW has 61 inspection objects (electronic components) to which inspection object numbers "1" to "61” are assigned.
  • Inspection objects to which inspection object numbers "29" to "57” are assigned are subjected to three inspections for determining "electronic component type", “electronic component color”, and “electronic component floating” respectively. item is set.
  • inspection objects to which inspection object numbers "59” to "61” are assigned respectively are set with two inspection items for judging "presence or absence of electronic parts” and “polarity of electronic parts” respectively. .
  • At least one inspection item may be set for one inspection object.
  • the inspection object is determined to be non-defective.
  • the AI camera C1 determines that at least one of all the inspection items set for the inspection object fails, the AI camera C1 determines that the inspection object is defective.
  • FIG. 5 is a diagram showing an example of the imaging parameter table PMT1. Note that FIG. 5 shows an example in which each of a plurality of different imaging parameters is stored (registered) as a table in order to make the explanation easier to understand, but it goes without saying that the present invention is not limited to this.
  • the imaging parameter table PMT1 stores a plurality of different imaging parameter patterns.
  • the imaging parameters include parameters for realizing the functions of the processor 31 and imaging unit 33 of the AI camera C1, and a captured image (best shot image or composite image) captured by applying these parameters.
  • the imaging parameters are generated by the display terminal P2.
  • the display terminal P2 generates imaging parameters based on the user operation acquired via the input unit 24, associates the generated imaging parameters (imaging conditions) with the information of the workpiece PW, and displays the AI camera C1. Send to
  • the captured image IMG3 is a captured image captured based on the imaging parameter “pattern 3” and subjected to image processing based on the imaging parameter “pattern 3”.
  • the captured image IMG4 is a captured image captured based on the imaging parameter "pattern 4" and subjected to image processing based on the imaging parameter "pattern 4".
  • FIG. 6 is a sequence diagram showing an example of an operation procedure before operation of the inspection system 100 according to the first embodiment.
  • the user turns on the power of various devices such as the display terminal P2, the sensor SS, and the AI camera C1 (step St11).
  • the display terminal P2 generates an inspection setting screen (not shown) capable of accepting settings related to inspection of each inspection object provided in the workpiece PW, and displays it on the monitor 23 (step St12).
  • the user inputs the user name through the input unit 24 of the display terminal P2 (step St13).
  • the display terminal P2 receives a user name input operation via the input unit 24 (step St14), and transmits information on the input user name to the AI camera C1 (step St15).
  • the AI camera C1 acquires the user name information transmitted from the display terminal P2, and executes setting (registration) of the user name (step St16).
  • the AI camera C1 generates a control command for notifying the user name setting (registration) completion, and transmits it to the display terminal P2 (step St17).
  • the display terminal P2 Based on the control command transmitted from the AI camera C1, the display terminal P2 generates a notification indicating that the user name has been set, and displays it on the monitor 23 (step St18).
  • the user selects the workpiece PW, which is the object to be inspected (step St19).
  • the display terminal P2 receives an operation for selecting a work PW via the input unit 24 (step St20), and transmits work PW information of the input work PW to the AI camera C1 (step St21).
  • the AI camera C1 acquires the work PW information transmitted from the display terminal P2 and sets the work PW information (step St22).
  • the AI camera C1 generates a control command for notifying the completion of selection of work PW information, and transmits it to the display terminal P2 (step St23).
  • the display terminal P2 Based on the control command transmitted from the AI camera C1, the display terminal P2 generates a notification to the effect that the selection of the workpiece PW has been completed, and displays it on the monitor 23 (step St24).
  • the display terminal P2 generates a control command requesting distribution of the captured video (captured image) of the workpiece PW and transmits it to the AI camera C1 (step St25).
  • the display terminal P2 displays the captured image (captured video) transmitted from the AI camera C1 on the monitor 23 (step St29).
  • FIG. 7 is a sequence diagram showing an operation procedure example during operation of the inspection system 100 according to the first embodiment.
  • the user turns on the inspection mode via the input unit 24 of the display terminal P2 and performs an input operation requesting the start of inspection of the work PW (step St41).
  • the display terminal P2 receives the user's operation to start inspection of the workpiece PW via the input unit 24 (step St42), and generates a control command requesting switching to the inspection mode "ON”.
  • the display terminal P2 transmits the generated control command to the AI camera C1 (step St43).
  • the display terminal P2 Based on the control command transmitted from the AI camera C1, the display terminal P2 generates a notification indicating that switching to the inspection mode "ON" has been completed, and displays it on the monitor 23 (step St46). The display terminal P2 generates a control command requesting distribution of the captured video (captured image) of the workpiece PW and transmits it to the AI camera C1 (step St47).
  • the AI camera C1 starts inspecting the workpiece PW based on the control command sent from the sensor SS (step St53). Also, the AI camera C1 generates a control command for notifying the start of inspection of the workpiece PW, and transmits it to the display terminal P2 (step St54).
  • the display terminal P2 Based on the control command transmitted from the AI camera C1, the display terminal P2 generates a notification indicating that the inspection of the workpiece PW has started, and displays it on the monitor 23 (step St55).
  • the AI camera C1 captures an image of the workpiece PW, and inspects the workpiece PW based on the captured image (step St56).
  • the AI camera C1 generates an inspection result of the workpiece PW and transmits it to the display terminal P2 (step St57).
  • the inspection system 100 repeatedly executes the inspection process RPA from steps St52 to St58 until the inspection of all works PW is completed.
  • the user turns off the inspection mode via the input unit 24 of the display terminal P2 and performs an input operation requesting the end of the inspection of the works PW (step St59).
  • the display terminal P2 receives a user's operation to end the inspection of the workpiece PW via the input unit 24 (step St60).
  • the display terminal P2 generates a control command requesting switching to the inspection mode "OFF" and transmits it to the AI camera C1 (step St61).
  • FIG. 8 shows an example of a workpiece PW inspection procedure for the AI camera C1 according to the first embodiment.
  • the inspection procedure example shown in FIG. 8 is the process executed in step St56 shown in FIG.
  • the AI camera C1 acquires all the imaging conditions stored in the AI camera parameter database DB31 and associated with the information of the workpiece PW of the inspection object (step St71).
  • the imaging conditions include at least imaging parameters.
  • the imaging conditions include imaging parameters and lighting parameters, and are set, for example, by combining one of the imaging parameters and one of the lighting parameters.
  • the AI camera C1 controls the lighting device L1 based on lighting parameters included in one of all imaging conditions.
  • the AI camera C1 images the workpiece PW based on the imaging parameters included in the imaging conditions (step St72).
  • step St73 determines in the processing of step St73 that the workpiece PW has been imaged under each of all the imaging conditions.
  • step St73 uses each of the captured images and each of the learning models. Then, the workpiece PW is inspected (step St74).
  • step St73 determines in the process of step St73 that the workpiece PW has not been imaged under each of all the imaging conditions (step St73, NO)
  • the AI camera C1 proceeds to the process of step St72, and The workpiece PW is imaged under the imaging conditions of .
  • FIG. 9 is a sequence diagram showing a re-learning procedure example of the inspection system 100 according to the first embodiment.
  • the AI camera C1 inspects the work PW (step St81), generates an inspection result of the work PW, and transmits it to the display terminal P2 (step St82).
  • the display terminal P2 generates an inspection result screen SC1 (FIG. 10) based on the inspection results transmitted from the AI camera C1 and displays it on the monitor 23 (step St83).
  • the display terminal P2 receives an input operation of information regarding a re-learning target for re-learning the learning model (step St84).
  • the information about the relearning target may be correct data (correct inspection result information) with respect to the inspection result of the inspection object that is an erroneous determination among the inspection results of the workpiece PW.
  • the information about the relearning target may be information in which various settings such as imaging conditions, imaging parameters, illumination parameters, and attention areas have been changed.
  • the information about the relearning target here is an example of the first input and the second input, and is accepted by the relearning information setting screen SC21.
  • the first input and the second input are each input by a user's operation, and are information related to re-learning targets of different inspection objects.
  • the display terminal P2 When the information on the relearning target is input, the display terminal P2 generates relearning data in which the information on the relearning target is associated with the information on the inspection object to be relearned, and performs the learning. terminal P1 (step St85). On the other hand, if the information on the re-learning target is not input, the display terminal P2 generates a control command notifying that the user has completed checking the test result, and transmits it to the learning terminal P1 (step St85). ).
  • the learning terminal P1 executes relearning for inspecting the inspection object of the workpiece PW based on the relearning data transmitted from the display terminal P2 (step St86). For example, the learning terminal P1 displays two test results IR12 and IR15 specified by the user out of the six test results IR11, IR12, IR13, IR14, IR15 and IR16 included in the test result screen SC1 shown in FIG. Execute relearn.
  • the learning terminal P1 generates a learning model based on the re-learning (step St87). Further, the learning terminal P1 associates the generated learning model with the information of the inspection object and transmits them to the display terminal P2 (step St88).
  • the display terminal P2 transmits the learning model transmitted from the learning terminal P1 to the AI camera C1 (step St89).
  • the AI camera C1 acquires the learning model transmitted from the display terminal P2 and stores (registers) it in the learning model database DB32 (step St90).
  • the AI camera C1 uses the acquired learning model to re-inspect the workpiece PW (step St91).
  • the AI camera C1 generates an inspection result obtained by reinspecting the work PW and transmits it to the display terminal P2 (step St92).
  • the display terminal P2 generates an inspection result screen SC1 (see FIG. 10) based on the inspection results transmitted from the AI camera C1, and displays it on the monitor 23 (step St93).
  • the display terminal P2 accepts again the input operation of the information regarding the re-learning target for re-learning the learning model (step St94).
  • the display terminal P2 When the information on the relearning target is input, the display terminal P2 returns to the process of step St85 and executes relearning. On the other hand, if the information about the re-learning target is not input, the display terminal P2 generates a control command for notifying the completion of checking of the inspection result by the user, and transmits it to the AI camera C1 (step St95).
  • FIG. 10 is a diagram showing an example of the inspection result screen SC1.
  • the inspection result screen SC1 is generated by the display terminal P2 and displayed on the monitor 23.
  • the inspection result screen SC1 includes inspection results IR11, IR12, IR13, IR14, IR15, and IR16 of each of the plurality of inspection objects of the work PW, and a relearning button BT12.
  • Each of the inspection results IR11 to IR16 includes thumbnail images IMG11, IMG12, IMG13, IMG14, IMG15, and IMG16, inspection result information INF11, INF12, INF13, INF14, INF15, and INF16, and a detailed confirmation button BT11. relearning button BT12.
  • FIG. 10 shows an example of inspection result information when the inspection result is a defective product (that is, “NG”), it goes without saying that the present invention is not limited to this.
  • FIG. 11 is a diagram showing an example of the inspection result confirmation screen SC2. It goes without saying that the inspection object list table TB13 shown in FIG. 11 is only an example and is not limited to this.
  • the score here is evaluated by the image analysis unit 314 of the AI camera C1.
  • the AI camera C1 is based on the feature amount of the inspection object indicated by preset learning data or re-learning data (that is, correct data) and the feature amount of the inspection object extracted from the best shot image. Then, a score indicating the probability that the inspection object is defective is evaluated.
  • the AI camera C1 determines whether the inspection result of the inspection object is a non-defective product (that is, “OK”) or a defective product based on the calculated score and the threshold for determining whether the inspection result is a non-defective product or a defective product. (that is, "NG").
  • the inspection result image IMG131 is an image generated by superimposing the inspection results of each of the plurality of inspection objects listed in the inspection object list table TB13 on the best shot image used for inspection. Specifically, the inspection result image IMG131 indicates the inspection result of the inspection object by superimposing a frame line or the like on the attention area corresponding to the inspection object or by filling the attention area with a predetermined color. Although the inspection result image IMG131 shown in FIG. 11 superimposes only the inspection results of the three inspection objects, the inspection result image IMG131 is not limited to this.
  • the inspection result image IMG131 may be obtained by superimposing the inspection results of all the inspection objects, or by displaying predetermined inspection results (for example, "OK", "NG”, "impossible to determine", etc.) specified by the user. The inspection result may be superimposed only on the inspection object that has.
  • the attention area DT11 indicates the attention area of the electronic component with the inspection object number "4", and the determination result of the attention area of this electronic component is "NG (checked)". is superimposed with red grid-like hatching.
  • the attention area DT12 indicates the attention area of the electronic component with the inspection object number "37”, and the attention area of this electronic component is painted red indicating that the determination result is "NG”.
  • the attention area DT13 indicates the attention area of the electronic component with the inspection object number "35”, and yellow hatching indicating that the judgment result is "NG ⁇ OK" is superimposed on the attention area of this electronic component. .
  • the user can confirm the inspection result of each of the plurality of inspection objects of the work PW at a glance.
  • FIG. 12 is a diagram showing an example of the relearning information setting screen SC21.
  • the drop-down list SL11 accepts selection operations of imaging parameter patterns used in the inspection of the inspection object TG2.
  • the display terminal P2 accepts designation (selection) of another pattern of imaging parameters in the drop-down list SL11 by user operation.
  • the score map IMG133 is an image showing the difference between the feature amount of the correct data and the feature amount of the inspection object TG2 in a heat map.
  • the AI camera C1 evaluates the difference between the feature quantity of the correct data and the feature quantity of the inspection object TG2 for each pixel based on the attention area DT13 of the inspection object TG2.
  • the display terminal P2 generates a score map IMG133 based on the difference evaluated for each pixel. This allows the user to grasp at a glance a position with a high score indicating the likelihood of being defective in the attention area DT13.
  • the inspection result selection button SL13 accepts the selection operation of the correct inspection result "non-defective product" of the inspection object TG2 by the user.
  • the display terminal P2 changes the inspection result of the inspection object TG2 to "non-defective".
  • the relearning type selection field SL17 accepts a selection operation as to whether or not to change the imaging parameter or illumination parameter, which is the imaging condition of this inspection object TG2.
  • the display terminal P2 When the relearning type selection field SL17 is selected by the user's operation, the display terminal P2 generates relearning data including information on the imaging conditions selected in the drop-down lists SL11 and SL12.
  • the re-learning type selection field SL18 accepts a selection operation to suspend whether or not this inspection object TG2 is to be re-learned.
  • the display terminal P2 temporarily stores the inspection result of the inspection object TG2 in the memory 22 when the relearning type selection field SL18 is selected by the user operation.
  • the button BT13 accepts a selection (pressing) operation by the user.
  • the display terminal P2 switches the screen displayed on the monitor 23 from the relearning information setting screen SC21 to the inspection result confirmation screen SC2.
  • FIG. 13 is a diagram showing an example of the imaging condition adjustment screen SC3.
  • the imaging condition adjustment screen SC3 is a screen that can accept the adjustment (setting) operation of the imaging conditions by the user.
  • the imaging condition adjustment screen SC3 includes an imaging parameter table PR1, an illumination parameter table PR2, captured images IMG31, IMG32, IMG33, and IMG34, and a display area AR30. Note that the imaging condition adjustment screen SC3 shown in FIG. 13 is an example, and the present invention is not limited to this.
  • the imaging parameter table PR1 stores each of a plurality of different imaging parameters.
  • the imaging parameter table PR1 shown in FIG. 13 stores four imaging parameters "pattern 1", “pattern 2", “pattern 3", and "pattern 4".
  • the imaging parameter table PR1 receives an imaging parameter change operation, a new imaging parameter addition operation, and the like by the user.
  • the display area AR30 displays one of the plurality of captured images IMG31 to IMG34 that has been selected and operated by the user.
  • a display area AR30 shown in FIG. 13 shows an example in which the captured image IMG33 is selected and displayed.
  • the display terminal P2 accepts the user's change operation, addition operation, and the like for each of the imaging parameter table PR1 and the illumination parameter table PR2, thereby changing and adding the imaging conditions.
  • the AI camera C1 captures the workpiece PW under the changed or added imaging conditions based on the user's operation. may be requested.
  • FIG. 14 is a diagram showing an example of the attention area setting screen SC4.
  • the attention area setting screen SC4 accepts the user's setting of the attention area for each inspection object, and the settings of the imaging conditions for each attention area, inspection items (inspection details), pre-inspection processing, AI processing, post-inspection processing, and the like. possible screen.
  • the attention area setting screen SC4 includes an attention area setting table STB, an attention area edit area AR40, an edit button BT42, and an inspection object evaluation area SCR40. Note that the attention area setting screen SC4 shown in FIG. 14 is an example and is not limited to this.
  • the region-of-interest setting table STB includes an inspection object number "No.” Inspection item "inspection content”, rectangular region of interest range “position upper left coordinates” and “position lower right coordinates”, pre-inspection processing "pre-processing 1 position correction” of inspection object, inspection object It is a table containing imaging conditions "imaging parameters” and "illumination parameters.” A plurality of pre-inspection processing, AI processing, and post-inspection processing of an inspection object may be set for one inspection object.
  • the pre-inspection processing of the inspection object is processing executed by the image processing unit 313 before inspection of the inspection object using the learning data by the image analysis unit 314 .
  • the pre-inspection processing of the inspection object is, for example, a process of correcting positional deviation of the inspection object based on individual differences of the work PW or individual differences of the inspection object. For example, when an electronic component is manually mounted on a board by a person, there is a possibility that the mounted electronic component may be misaligned. In such a case, the image processing unit 313 corrects the positional deviation of the mounting position of the inspection object in pre-inspection processing, thereby more effectively suppressing the occurrence of erroneous determination that the product is defective by the image analysis unit 314. can.
  • the AI processing of the object to be inspected is executed by the image processing unit 313, and is, for example, a feature amount extraction process.
  • the post-inspection processing of the inspection object is processing executed by the determination unit 315 after inspection of the inspection object using the learning data by the image analysis unit 314 .
  • Post-inspection processing of the inspection object includes, for example, feature amount processing of the inspection object analyzed by the image analysis unit 314, evaluation processing of the difference in feature amount between the correct data and the inspection object, and at least one threshold value judgment processing and the like.
  • Determination processing using thresholds includes, for example, a threshold for determining that an inspection object is a non-defective product, a threshold for determining that it is a defective product, and a determination that a non-defective product or a defective product cannot be determined. 1 shows inspection processing of an inspection object using a threshold value or the like for.
  • the setting button BT41 accepts setting processing for enabling or disabling pre-inspection processing, AI processing, and post-inspection processing of the inspection object set in the attention area setting table STB.
  • the edit button BT42 accepts a selection (pressing) operation by the user.
  • the display terminal P2 performs an editing operation of the attention area of the inspection object specified by the user operation among the plurality of inspection objects included in the attention area setting table STB.
  • start accepting The display terminal P2 generates an editing image in which a frame line DT14 indicating the attention area set in the attention area setting table STB is superimposed on the captured image of the inspection object designated by the user operation, and performs attention area editing. It is displayed in area AR40.
  • the display terminal P2 accepts editing of the position, range, etc. of the frame line DT14 indicating the attention area by user operation on the editing image displayed in the attention area editing area AR40.
  • the display terminal P2 updates the values (coordinates) of the "position upper left coordinates" and "position lower right coordinates" stored in the attention area setting table STB based on the edited attention area range.
  • the evaluation area SCR 40 supports the setting of the imaging conditions "imaging parameters" and "illumination parameters” set in the attention area setting table STB.
  • the evaluation area SCR40 includes captured images IMG41, IMG42, IMG43, and IMG44 captured under respective imaging conditions that can be set in the attention area setting table STB, and an evaluation value SCR41 for each captured image.
  • the evaluation value SCR41 here is a value obtained by evaluating whether or not the captured images IMG41 to IMG44 captured under each imaging condition are suitable for inspection of the inspection object.
  • the evaluation value SCR41 may be evaluated by the image analysis unit 314 of the AI camera C1 based on user's operation. Also, the evaluation value SCR41 may be evaluated based on settings such as the attention area, inspection items (inspection details), pre-inspection processing, AI processing, and post-inspection processing set in the attention area setting table STB.
  • each of the captured images IMG41 to IMG44 shown in FIG. 14 has the highest evaluation value of "0.70" when the imaging conditions are "imaging parameter 3" and "illumination parameter 3".
  • the user can determine the imaging condition of the inspection object indicated by the inspection object number "No. 1" to the imaging condition "imaging parameter 3" and "illumination parameter 3" with the highest evaluation value.
  • the display terminal P2 displays each of the captured images IMG41 to IMG44 captured under each imaging condition that can be set in the attention area setting table STB and the evaluation values of each of these captured images IMG41 to IMG44. Accordingly, the user can confirm at a glance the basis of the imaging conditions set for each inspection object. Therefore, the display terminal P2 can support which imaging condition should be set in each setting of the imaging condition "imaging parameter" and "illumination parameter".
  • FIG. 15 is a diagram illustrating an example of obtaining an attention area.
  • the attention area setting screen SC5 shown in FIG. 15 is the coordinate information of the attention area for each inspection object acquired based on the design data of the workpiece PW (for example, two-dimensional data, CAD (Computer Aided Design) data, etc.). .
  • the display terminal P2 acquires the coordinate information of the attention area for each inspection object of the work PW in a predetermined format based on the user's operation.
  • the predetermined format referred to here is, for example, a CSV (Comma Separated Value) format, a txt format, or the like.
  • the coordinate information PS1 on the attention area setting screen SC5 indicates the coordinate (position) information of the inspection object.
  • the reference coordinate information PS2 indicates reference coordinates for position correction of the detected coordinates (position) of the inspection object in order to make the inspection of the inspection object executable in pre-inspection processing before executing the inspection.
  • Brightness information BR1 indicates imaging conditions of an inspection object.
  • the display terminal P2 sets information on each of the attention areas of the plurality of inspection objects set in the attention area setting table STB based on the obtained coordinate information of the attention area of each inspection object of the workpiece PW, Run update. As a result, the user can collectively set the attention areas of the inspection object, so that the effort required for setting the attention areas can be saved.
  • the inspection system 100 which is an example of the inspection apparatus according to the present disclosure, can easily re-learn a learning model for performing visual inspection of multiple works mounted on a board. That is, in the inspection system 100, it is possible to further improve the appearance inspection accuracy compared to the conventional art.
  • At least part of the elements included in the inspection system 100 may be implemented in the AI camera C1.
  • an element corresponding to the processor 11 and an element corresponding to the learning image database DB11 may be implemented in the AI camera C1.
  • the processing corresponding to step St86 and the processing corresponding to step St87 can be realized in the AI camera C1.
  • the AI camera C1 is also an example of an inspection device according to the present disclosure.
  • the terminal device P0 (an example of the inspection device) according to the first embodiment is stored in one or more processors 11, 21, 31, memories 12, 22, 32, and memories 12, 22, 32.
  • a program that has The program includes a first inspection object for inspecting the first inspection object in an inspection object area including a plurality of inspection objects including a first inspection object and a second inspection object different from the first inspection object.
  • An AI camera C1 (an example of a camera) that sets an attention area and a second attention area for inspecting a second inspection object, captures an image of the inspection target area, and outputs a captured image of the inspection target area.
  • a learning model for detecting anomalies (defects) in a plurality of inspection objects, and a first image region corresponding to the first attention region in the captured image. performing a first inspection to inspect the first inspection object and outputting the result of the first inspection; based on the learning model and a second image region corresponding to the second region of interest in the captured image; executing a second inspection for inspecting a second inspection object and outputting the result of the second inspection; Receiving a first input indicating whether or not to cause the learning model to execute 1 learning; receiving a second input indicating whether or not to cause the learning model to perform the first learning, and if the first input includes first learning information for causing the learning model to perform the first learning, and causing the learning model to perform the second learning if the second input includes second learning information for causing the learning model to perform the second learning.
  • the inspection target area referred to here is an imaging area capable of capturing an image of at least a portion of the workpiece PW.
  • the first input and the second input referred to here are the relearning information setting screen SC21 (see FIG. 12), the imaging condition adjustment screen SC3 (see FIG. 13), the attention area setting screen SC4 (see FIG. 14), and the like. is the input performed using the relearning information setting screen SC21 (see FIG. 12), the imaging condition adjustment screen SC3 (see FIG. 13), the attention area setting screen SC4 (see FIG. 14), and the like. is the input performed using
  • the terminal device P0 when one work PW has a plurality of inspection objects and each inspection object requires different types of inspection, the terminal device P0 according to the first embodiment can can be performed efficiently.
  • the terminal device P0 in the inspection of each inspection object, collectively executes the relearning of each of the learning models of the plurality of inspection objects possessed by one work PW, thereby executing the relearning more efficiently. can. Therefore, the terminal device P0 can improve the inspection accuracy of each of the plurality of inspection objects.
  • the program of the terminal device P0 according to Embodiment 1 defines the first imaging condition including the first imaging parameter (an example of the first imaging parameter set) based on the first image region, and determining second imaging conditions including second imaging parameters (an example of a second imaging parameter set) based on the second image region.
  • the terminal device P0 according to the first embodiment can acquire captured images required for inspection of each inspection object, and can improve the inspection accuracy of each of the plurality of inspection objects.
  • the program of the terminal device P0 according to the first embodiment includes lighting parameters (defining a lighting parameter set (an example).
  • the terminal device P0 according to the first embodiment can perform illumination control more suitable for capturing captured images required for inspection of each inspection object. Therefore, the terminal device P0 can improve the inspection accuracy of each of the plurality of inspection objects.
  • the program of the terminal device P0 according to Embodiment 1 provides, as the captured image of the inspection target, the captured image of the inspection target region captured by applying the illumination parameter and the first imaging condition,
  • the one or more processors 21 are caused to output the illumination parameters and the captured image of the inspection target area captured by applying the second imaging condition to the AI camera C1.
  • the terminal device P0 according to Embodiment 1 can acquire a captured image more suitable for inspection of each inspection object. Therefore, the terminal device P0 can improve the inspection accuracy of each of the plurality of inspection objects.
  • the first input includes an input indicating whether the result of the first inspection is correct, an input for causing the learning model to perform the first learning, At least one of an input for designating any of the imaging parameters included in the first imaging parameters and any of the plurality of illumination conditions is included.
  • the second input is an input indicating whether the result of the second inspection is correct, an input for causing the learning model to perform the second learning, any one of the imaging parameters included in the second imaging parameter, and a plurality of illumination an input for specifying any of the conditions.
  • the terminal device P0 can input whether or not the inspection result is correct, or by re-learning based on the imaging conditions (imaging parameters, illumination parameters) for each inspection object, It is possible to regenerate a learning model capable of performing better inspections. Therefore, the terminal device P0 can improve the inspection accuracy of each of the plurality of inspection objects.
  • the program of the terminal device P0 according to Embodiment 1 generates a learning model by unsupervised learning based on the first image area and the second image area. are executed by the processor 11 of As a result, the terminal device P0 according to Embodiment 1 can easily generate a learning model of the inspection object using the actually captured image.
  • the program of the terminal device P0 according to the first embodiment can provide the first region of interest and the first region of interest based on either the design information defining the positions of a plurality of inspection objects or the captured image of the inspection object region. and setting two regions of interest.
  • the design information referred to here is, for example, design data of the workpiece PW.
  • the terminal device P0 according to Embodiment 1 can more easily set the attention area of each of the plurality of inspection objects based on the design information.
  • the terminal device P0 can set the respective attention areas of the plurality of inspection objects based on the respective actual positions of the plurality of inspection objects by using the captured images.
  • the program of the terminal device P0 according to the first embodiment includes a captured image of the inspection target region, information for causing the learning model to perform the first learning, and information for causing the learning model to perform the second learning.
  • Generating and outputting a relearning information setting screen SC21 (an example of a relearning screen) including input fields capable of accepting information, and inputting the first input and the second input on the relearning information setting screen SC21. and having the one or more processors 21 perform the receiving.
  • the terminal device P0 according to Embodiment 1 can accept input information (first input, second input) regarding the re-learning target by the user's operation.
  • the terminal device P0 can assist the user in inputting input information related to the re-learning target.
  • the present disclosure is useful as an inspection device, an image processing method, and an image processing program capable of improving the accuracy of visual inspection of each of a plurality of works.

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

検査装置は、第１検査対象物と、第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、検査対象領域を撮像し、複数の検査対象物の異常を検知するための学習モデルと、第１検査対象物を検査する第１検査と、第２検査対象物を検査する第２検査とを実行し、第１検査の結果に基づいて、学習モデルに第１学習を実行させ、第２検査の結果に基づいて、学習モデルに第２学習を実行させる。

Description

検査装置、画像処理方法、及び画像処理プログラム
　本開示は、検査装置、画像処理方法、及び画像処理プログラムに関する。
　近年、製造現場における検査の自動化を目的として、カメラで撮像したワークの画像に基づいた製品の外観検査が行われている。このような外観検査においては、通常、運用開始前に撮像系の調整や検査アルゴリズムに関するパラメータの調整が行われ、運用開始後は予め設定された値で動作する。しかしながら、運用中に誤判定が発生した場合、その度に撮像系の調整や検査アルゴリズムに関するパラメータを再び調整しなければならない。このような外観検査の誤判定に対応するために、ユーザの指示に基づいて誤判定したことを学習しなおす技術が開示されている（例えば、特許文献１参照）。特許文献１は、異常画像が正しいか否かを示す入力に基づいて生成された学習モデルを用いることにより、検査用の画像の異常を検出する。
日本国特開２０２１－１４０７３９号公報
　ところで、製造現場では、たくさんの部品を実装した基板に対する検査の自動化が望まれている。特許文献１において、たくさんの部品を実装した基板に対して外観検査を行うと仮定した場合、特許文献１の異常画像としては、基板全体を一つのワークとした画像と、基板に実装されている部品それぞれをワークとした画像とについて考慮する必要がある。しかしながら、特許文献１において、基板全体を一つのワークとした異常画像と、基板に実装されている部品それぞれをワークとした異常画像とが一致するとは限らない。つまり、特許文献１では、基板に実装されている部品のそれぞれを検査する際に所望の検査精度を得られない可能性がある。
　本発明は、このような課題を解決するためになされたものであり、複数のワークのそれぞれの外観検査の精度を向上可能な検査装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　本開示は、１つ以上のプロセッサと、１つ以上のメモリと、前記メモリに保存されているプログラムと、を備え、前記プログラムは、第１検査対象物と、前記第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、前記第１検査対象物の検査を行うための第１注目領域と、前記第２検査対象物の検査を行うための第２注目領域とを設定することと、前記検査対象領域を撮像し、前記検査対象領域の撮像画像を出力するカメラに、前記検査対象領域の撮像画像を出力させることと、前記複数の検査対象物の異常を検知するための学習モデルと、前記撮像画像において前記第１注目領域に対応する第１画像領域とに基づいて、前記第１検査対象物を検査する第１検査を実行し、前記第１検査の結果を出力することと、前記学習モデルと、前記撮像画像において前記第２注目領域に対応する第２画像領域に基づいて、前記第２検査対象物を検査する第２検査を実行し、前記第２検査の結果を出力することと、前記第１検査の結果に基づいて実行される前記第１検査対象物の異常を検知するための第１学習を、前記学習モデルに実行させるか否かを示す第１入力を受け付けることと、前記第２検査の結果に基づいて実行される前記第２検査対象物の異常を検知するための第２学習を、前記学習モデルに実行させるか否かを示す第２入力を受け付けることと、前記第１入力に、前記学習モデルに前記第１学習を実行させるための第１学習情報が含まれる場合に、前記学習モデルに前記第１学習を実行させることと、前記第２入力に、前記学習モデルに前記第２学習を実行させるための第２学習情報が含まれる場合に、前記学習モデルに前記第２学習を実行させることと、を、前記１つ以上のプロセッサに実行させる、検査装置を提供する。
　また、本開示は、第１検査対象物と、前記第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、前記第１検査対象物の検査を行うための第１注目領域と、前記第２検査対象物の検査を行うための第２注目領域とを設定することと、前記検査対象領域を撮像し、前記検査対象領域の撮像画像を出力するカメラに、前記検査対象領域の撮像画像を出力させることと、前記複数の検査対象物の異常を検知するための学習モデルと、前記撮像画像において前記第１注目領域に対応する第１画像領域とに基づいて、前記第１検査対象物を検査する第１検査を実行し、前記第１検査の結果を出力することと、前記学習モデルと、前記撮像画像において前記第２注目領域に対応する第２画像領域に基づいて、前記第２検査対象物を検査する第２検査を実行し、前記第２検査の結果を出力することと、前記第１検査の結果に基づいて実行される前記第１検査対象物の異常を検知するための第１学習を、前記学習モデルに実行させるか否かを示す第１入力を受け付けることと、前記第２検査の結果に基づいて実行される前記第２検査対象物の異常を検知するための第２学習を、前記学習モデルに実行させるか否かを示す第２入力を受け付けることと、前記第１入力に、前記学習モデルに前記第１学習を実行させるための第１学習情報が含まれる場合に、前記学習モデルに前記第１学習を実行させることと、前記第２入力に、前記学習モデルに前記第２学習を実行させるための第２学習情報が含まれる場合に、前記学習モデルに前記第２学習を実行させることと、を含む、画像処理方法を提供する。
　また、本開示は、第１検査対象物と、前記第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、前記第１検査対象物の検査を行うための第１注目領域と、前記第２検査対象物の検査を行うための第２注目領域とを設定することと、前記検査対象領域を撮像し、前記検査対象領域の撮像画像を出力するカメラに、前記検査対象領域の撮像画像を出力させることと、前記複数の検査対象物の異常を検知するための学習モデルと、前記撮像画像において前記第１注目領域に対応する第１画像領域とに基づいて、前記第１検査対象物を検査する第１検査を実行し、前記第１検査の結果を出力することと、前記学習モデルと、前記撮像画像において前記第２注目領域に対応する第２画像領域に基づいて、前記第２検査対象物を検査する第２検査を実行し、前記第２検査の結果を出力することと、前記第１検査の結果に基づいて実行される前記第１検査対象物の異常を検知するための第１学習を、前記学習モデルに実行させるか否かを示す第１入力を受け付けることと、前記第２検査の結果に基づいて実行される前記第２検査対象物の異常を検知するための第２学習を、前記学習モデルに実行させるか否かを示す第２入力を受け付けることと、前記第１入力に、前記学習モデルに前記第１学習を実行させるための第１学習情報が含まれる場合に、前記学習モデルに前記第１学習を実行させることと、前記第２入力に、前記学習モデルに前記第２学習を実行させるための第２学習情報が含まれる場合に、前記学習モデルに前記第２学習を実行させることと、を、１つ以上のプロセッサに実行させる、画像処理プログラムを提供する。
　本開示によれば、複数のワークのそれぞれの外観検査の精度を向上できる。
図１は、実施の形態１に係る検査システムのシステム構成例を示すブロック図である。 図２は、実施の形態１における学習用端末及び表示用端末のそれぞれの内部構成例を示すブロック図である。 図３は、実施の形態１におけるＡＩカメラ及び照明装置のそれぞれの内部構成例を示すブロック図である。 図４は、ワークの一例を説明する図である。 図５は、撮像パラメータテーブルの一例を示す図である。 図６は、実施の形態１に係る検査システムの運用前の動作手順例を示すシーケンス図である。 図７は、実施の形態１に係る検査システムの運用中の動作手順例を示すシーケンス図である。 図８は、実施の形態１におけるＡＩカメラのワーク検査手順例である。 図９は、実施の形態１に係る検査システムの再学習手順例を示すシーケンス図である。 図１０は、検査結果画面例を示す図である。 図１１は、検査結果確認画面例を示す図である。 図１２は、再学習対象設定画面例を示す図である。 図１３は、撮像条件調整画面例を示す図である。 図１４は、注目領域設定画面例を示す図である。 図１５は、注目領域の取得例を示す図である。
　以下、添付図面を適宜参照しながら、本開示に係る検査装置、画像処理方法、及び画像処理プログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　図１は、実施の形態１に係る検査システム１００のシステム構成例を示すブロック図である。なお、図１に示す検査システム１００のシステム構成は、一例であってこれに限定されない。
　検査システム１００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラＣ１等のカメラによりワークＰＷを撮像し、撮像された撮像画像に基づいて、ワークＰＷの外観検査を実行する。
　なお、ワークＰＷは、一例として、複数の部品のそれぞれが実装された基板（図４参照）である例について説明するが、これに限定されない。ワークＰＷは、１つのワークＰＷが複数の検査箇所、検査対象物（例えば、部品等）のそれぞれを有していればよい。
　検査システム１００は、学習用端末Ｐ１と、表示用端末Ｐ２と、センサＳＳと、少なくとも１台のＡＩカメラＣ１と、少なくとも１台の照明装置Ｌ１と、ＨＵＢ５０とを含む。なお、検査システム１００は、学習用端末Ｐ１と表示用端末Ｐ２とが一体的に構成された１台の端末装置Ｐ０（検査装置の一例）により構成されてもよい。また、検査システム１００は、ＡＩカメラＣ１と照明装置Ｌ１とが一体的に構成されてもよい。さらに、検査システム１００は、学習用端末Ｐ１と表示用端末Ｐ２とＡＩカメラＣ１とが１つの装置として一体的に構成されてもよい。
　学習用端末Ｐ１は、表示用端末Ｐ２及びＡＩカメラＣ１との間でそれぞれデータ通信可能に接続される。学習用端末Ｐ１は、ＡＩカメラＣ１から送信された再学習用データを取得して、記憶する。学習用端末Ｐ１は、再学習用データ（教師データ）を用いた再学習を実行し、学習モデルを生成する。学習用端末Ｐ１は、学習モデルを記憶するとともに、表示用端末Ｐ２に送信する。
　なお、本開示の再学習用データは、再学習に用いられるデータであって、例えば、再学習用画像、再学習用情報（例えば、撮像条件、正誤情報等）等である。検査システム１００は、外観検査の検査結果を表示用端末Ｐ２に表示する。そして、ユーザにより検査結果が誤りであると判断された検査結果について、正しい検査結果の入力を受け付ける。検査システム１００は、入力操作に基づいて、検査結果が誤りであると判断された外観検査で用いられた学習モデルの再学習（再生成）を実行する。
　表示用端末Ｐ２は、学習用端末Ｐ１と、センサＳＳと、ＡＩカメラＣ１との間で、それぞれデータ通信可能に接続される。表示用端末Ｐ２は、ワークＰＷの外観検査の開始を要求する制御指令を生成して、ＡＩカメラＣ１に送信する。
　また、表示用端末Ｐ２は、外観検査の検査結果をモニタ２３に表示し、ユーザによる正しい判定結果の入力操作を受け付ける。表示用端末Ｐ２は、入力操作に基づいて再学習用データを生成し、学習用端末Ｐ１に送信する。また、表示用端末Ｐ２は、学習用端末Ｐ１から送信された学習モデルを記憶するとともに、学習モデルをＡＩカメラＣ１に送信する。
　カメラの一例としてのＡＩカメラＣ１は、学習用端末Ｐ１及び表示用端末Ｐ２のそれぞれとの間でデータ通信可能に接続される。ＡＩカメラＣ１は、表示用端末Ｐ２からの制御指令に基づいて、事前に設定された撮像パラメータに基づく照明装置Ｌ１の制御と、ワークＰＷの撮像とを実行する。ＡＩカメラＣ１は、撮像された撮像画像と学習モデルとを用いて、ワークＰＷの外観検査を行う。ＡＩカメラＣ１は、外観検査の検査結果を表示用端末Ｐ２に送信する。
　また、ＡＩカメラＣ１は、再学習により生成された学習モデルを表示用端末Ｐ２から取得する。ＡＩカメラＣ１は、取得された学習モデルを記憶するとともに、ワークＰＷの外観検査を再度実行し、外観検査の再検査結果を生成して表示用端末Ｐ２に送信する。
　ライトの一例としての照明装置Ｌ１は、ＡＩカメラＣ１との間でデータ通信可能に接続される。照明装置Ｌ１は、ＡＩカメラＣ１からの制御指令に基づいて、ワークＰＷに対応する照明パラメータでワークＰＷを照明する。なお、照明パラメータは、あらかじめ設定されているパラメータである。
　ＨＵＢ５０は、学習用端末Ｐ１、表示用端末Ｐ２、及びＡＩカメラＣ１のそれぞれをデータ通信可能に接続する。
　次に、図２及び図３を参照して、検査システム１００を構成する各装置の内部構成について説明する。図２は、学習用端末Ｐ１及び表示用端末Ｐ２の内部構成例を示すブロック図である。図３は、実施の形態１におけるＡＩカメラＣ１及び照明装置Ｌ１の内部構成例を示すブロック図である。
　学習用端末Ｐ１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末等である。学習用端末Ｐ１は、通信部１０と、プロセッサ１１と、メモリ１２と、モニタ１３と、入力部１４と、学習用画像データベースＤＢ１１と、ＡＩカメラパラメータデータベースＤＢ１２とを含む。
　通信部１０は、所謂ハードウェアＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）、ソフトウェアＩ／Ｆ等により実現される。通信部１０は、表示用端末Ｐ２及びＡＩカメラＣ１のそれぞれとの間でデータの送受信を実行し、表示用端末Ｐ２及びＡＩカメラＣ１から送信された各種データをプロセッサ１１に出力する。また、通信部１０は、プロセッサ１１から出力された各種データを表示用端末Ｐ２又はＡＩカメラＣ１に送信する。
　プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）である。プロセッサ１１は、メモリ１２と協働して、各種の処理及び制御を行う。具体的に、プロセッサ１１は、メモリ１２に保持されたプログラム及びデータを参照し、そのプログラムを実行することにより、学習部１１１、学習モデル生成部１１２等の各種機能を実現する。
　学習部１１１は、表示用端末Ｐ２から送信された再学習用データと、学習用画像データベースＤＢ１１に記憶された画像データ、メタデータ等を用いて、ワークＰＷの外観検査を実行するための学習又は再学習を実行する。
　学習モデル生成部１１２は、学習部１１１による学習結果に基づいて、学習モデルを生成する。学習モデル生成部１１２は、生成された学習モデルと、ワークＰＷあるいは検査対象物の情報とを対応付けて、ＡＩカメラパラメータデータベースＤＢ１２に記憶する。なお、ここでいうワークＰＷの情報とは、例えば、ワークＰＷを識別可能な識別情報、製造番号、ＩＤ、名称等である。また、検査対象物ＴＧ１，ＴＧ２，ＴＧ３（図４参照）の情報とは、例えば、検査対象物を識別可能な識別情報、検査対象物に割り当てられた番号、検査対象物の製造番号、ＩＤ、名称等である。また、学習モデル生成部１１２は、生成された学習モデルを通信部１０に出力し、表示用端末Ｐ２に送信させる。
　メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワーキングメモリとしてのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、プロセッサ１１の動作を規定したプログラム及びデータを格納するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）とを有する。なお、メモリ１２は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）あるいはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等によるストレージデバイスのうちいずれかを有してもよい。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。
　モニタ１３は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイである。モニタ１３は、学習用データに含まれる学習用画像、学習用情報、あるいは再学習用データに含まれる学習用画像、学習用情報等を表示する。
　入力部１４は、例えばタッチパネル、ボタン、キーボード、マウス等のユーザインタフェースである。入力部１４は、学習用データに含まれる学習用画像、学習用情報、あるいは再学習用データに含まれる学習用画像、学習用情報等に対するユーザ操作を受け付けて、電気信号（制御指令）に変換し、プロセッサ１１に出力する。なお、タッチパネルを用いて構成される場合、入力部１４と、モニタ１３とは、一体的に構成されてもよい。
　学習用画像データベースＤＢ１１は、例えばＨＤＤあるいはＳＳＤ等の記憶デバイスにより構成される。学習用画像データベースＤＢ１１は、ＡＩカメラＣ１から送信された学習用画像、再学習用画像を、ワークＰＷごとに登録（格納）する。
　ＡＩカメラパラメータデータベースＤＢ１２は、例えばＨＤＤあるいはＳＳＤ等の記憶デバイスにより構成される。ＡＩカメラパラメータデータベースＤＢ１２は、ワークＰＷごとの少なくとも１つの撮像条件と、ワークＰＷの情報とを対応付けて登録（格納）する。
　ここでいう撮像条件は、外観検査に用いられるワークＰＷの撮像画像の取得に用いられる条件であって、少なくとも撮像パラメータ（撮像パラメータセットの一例）を含む。なお、撮像条件は、撮像パラメータと照明パラメータ（照明パラメータセットの一例）とを含んでいてもよい。撮像パラメータは、撮像部３３の撮像処理と、撮像された撮像画像の画質調整処理に用いられるパラメータである。照明パラメータは、照明装置Ｌ１の光源４３の照明制御に用いられるパラメータである。
　表示用端末Ｐ２は、例えば、ＰＣ、ノートＰＣ、タブレット端末等である。表示用端末Ｐ２は、通信部２０と、プロセッサ２１と、メモリ２２と、モニタ２３と、入力部２４と、スピーカ２５と、ＡＩカメラパラメータデータベースＤＢ２１とを含む。
　通信部２０は、所謂ハードウェアＩ／Ｆ、ソフトウェアＩ／Ｆ等により実現される。通信部２０は、学習用端末Ｐ１、センサＳＳ、及びＡＩカメラＣ１との間でそれぞれデータの送受信を実行し、学習用端末Ｐ１及びＡＩカメラＣ１から送信された各種データをプロセッサ２１に出力する。また、通信部２０は、プロセッサ２１から出力された各種データを学習用端末Ｐ１又はＡＩカメラＣ１に送信する。
　プロセッサ２１は、例えばＣＰＵ又はＦＰＧＡを用いて構成されて、メモリ２２と協働して、各種の処理及び制御を行う。具体的には、プロセッサ２１はメモリ２２に保持されたプログラム及びデータを参照し、そのプログラムを実行することにより、検知部２１１、検査結果生成部２１２、学習用データ生成部２１３等の各種機能を実現する。
　検知部２１１は、センサＳＳの信号に基づいて、ワークＰＷがセンサＳＳの検知位置に到着したことを検知する。検知部２１１は、ワークＰＷの外観検査を要求する制御指令を生成して、通信部２０に出力する。通信部２０は、制御指令をＡＩカメラＣ１に送信する。
　検査結果生成部２１２は、ＡＩカメラＣ１による検査結果に基づいて、ワークＰＷの検査結果を可視化する検査結果画面ＳＣ１（図１０参照）を生成する。モニタ２３は、検査結果画面ＳＣ１を表示する。
　学習用データ生成部２１３は、入力部２４を介したユーザ操作に基づいて、学習モデルの生成に用いられる学習用データあるいは再学習用データを生成する。学習用データ生成部２１３は、学習用データあるいは再学習用データと、学習対象であるワークＰＷの情報とを対応付けて通信部２０に出力する。通信部２０は、学習用データ生成部２１３から出力された学習用データあるいは再学習用データと、ワークＰＷの情報とを学習用端末Ｐ１に送信する。
　メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワーキングメモリとしてのＲＡＭと、プロセッサ２１の動作を規定したプログラム及びデータを格納するＲＯＭとを有する。なお、メモリ２２は、ＳＳＤあるいはＨＤＤ等によるストレージデバイスのうちいずれかを含んでもよい。ＲＡＭは、プロセッサ２１により生成あるいは取得されたデータもしくは情報を一時的に保存する。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。
　モニタ２３は、例えばＬＣＤ又は有機ＥＬ等のディスプレイである。モニタ２３は、検査結果画面ＳＣ１（図１０参照）、検査結果確認画面ＳＣ２（図１１参照）、再学習用情報設定画面ＳＣ２１（図１２参照）、撮像条件調整画面ＳＣ３（図１３参照）、注目領域設定画面ＳＣ４（図１４参照）、注目領域設定画面ＳＣ５（図１５参照）等のワークＰＷの検査結果の表示、学習用データあるいは再学習用データの生成画面等を表示する。
　入力部２４は、例えばタッチパネル、ボタン、キーボード、マウス等のユーザインタフェースである。入力部２４は、受け付けたユーザ操作を電気信号（制御指令）に変換して、プロセッサ２１に出力する。なお、タッチパネルを用いて構成される場合、入力部２４と、モニタ２３とは、一体的に構成されてもよい。
　スピーカ２５は、ユーザ操作に基づく検査結果の表示、学習用データあるいは再学習用データにおいて、ユーザ操作に対応して所定の音声を出力する。例えば、スピーカ２５は、ＡＩカメラＣ１から検査結果を取得したタイミングで、ワークＰＷの外観検査の終了を通知する音声、学習用データあるいは再学習用データの生成操作エラーを通知する音声等を出力する。
　パトライト（登録商標）２６は、プロセッサ１１により制御され、ＡＩカメラＣ１から送信された検査結果に対応する所定の信号を受領し、点滅する。例えば、パトライト２６は、ＡＩカメラＣ１における検査の結果、ワークＰＷあるいは検査対象物が不良品であると判定された場合に点滅する。これにより、パトライト２６は、ワークＰＷあるいは検査対象物の検査結果をユーザに通知できる。
　ＡＩカメラパラメータデータベースＤＢ２１は、例えばＨＤＤあるいはＳＳＤ等の記憶デバイスにより構成される。ＡＩカメラパラメータデータベースＤＢ２１は、ワークＰＷごとの少なくとも１つの撮像条件と、ワークＰＷの情報とを対応付けて登録（格納）する。
　センサＳＳは、検知位置にワークＰＷが到着したことを検知するセンサである。センサＳＳは、検知位置にワークＰＷが到着すると、ワークＰＷの到着を通知する制御指令（電気信号）を生成して、通信部２０に出力する。
　ＡＩカメラＣ１は、通信部３０と、プロセッサ３１と、メモリ３２と、撮像部３３と、画像記憶媒体３４と、ＡＩカメラパラメータデータベースＤＢ３１と、学習モデルデータベースＤＢ３２とを含む。また、ＡＩカメラＣ１には、人工知能（ＡＩ）が搭載されている。
　通信部３０は、所謂ハードウェアＩ／Ｆ、ソフトウェアＩ／Ｆ等により実現される。通信部３０は、学習用端末Ｐ１、表示用端末Ｐ２、及び照明装置Ｌ１との間でそれぞれデータの送受信を実行し、表示用端末Ｐ２及び照明装置Ｌ１から送信された各種データをプロセッサ３１に出力する。また、通信部３０は、プロセッサ３１から出力された各種データを学習用端末Ｐ１、表示用端末Ｐ２あるいは照明装置Ｌ１に送信する。
　プロセッサ３１は、例えばＣＰＵ又はＦＰＧＡにより構成され、メモリ３２と協働して、各種の処理及び制御を行う。具体的は、プロセッサ３１は、メモリ３２に保持されたプログラム及びデータを参照し、そのプログラムを実行することにより、画質調整部３１１、ベストショット選定部３１２、画像処理部３１３、画像解析部３１４、判定部３１５等の各種機能を実現する。
　画質調整部３１１は、ワークＰＷに対応して設定された少なくとも１つの撮像条件に基づいて、撮像部３３により撮像された複数の撮像画像のそれぞれ（撮像映像）の画質を、撮像条件ごとに調整する。画質調整部３１１は、画質が調整された複数の撮像画像のそれぞれ（撮像映像）と、撮像条件の情報とを対応付けてベストショット選定部３１２に出力する。
　ベストショット選定部３１２は、画質調整部３１１から出力された調整後の複数の撮像画像のそれぞれから、撮像条件ごとのベストショット画像を選定する。ベストショット選定部３１２は、撮像条件ごとに選定されたベストショット画像を画像処理部３１３に出力する。
　なお、本開示におけるベストショット画像は、視認性又は認識認証処理精度の観点から、例えば検知対象物が真正面を向いている撮像画像、白飛びしていない撮像画像、ピンボケしていない撮像画像等が選定されることが望ましい。
　画像処理部３１３は、ベストショット選定部３１２から出力された撮像条件ごとのベストショット画像を取得する。画像処理部３１３は、取得されたベストショット画像に映る少なくとも１つの注目領域、検査対象物のそれぞれを検出し、検出された注目領域、検査対象物の位置補正、エッジ補正、サイズ調整等を実行する。なお、ここでいう注目領域は、検査対象物ごとに設定され、検査対象物の検査を行う領域である。また、ここでいうサイズ調整は、例えば、縮小、拡大、回転、アスペクト比の調整等を含む。
　また、画像処理部３１３は、検出された注目領域、検査対象物の領域を切り出して、切り出された２以上の注目領域、検査対象物の切り出し画像を整列して合成した合成画像を生成してもよい。画像処理部３１３は、撮像条件と、画像処理後のベストショット画像あるいは合成画像とを対応付けて画像解析部３１４に出力する。
　画像解析部３１４は、画像処理部３１３から出力されたベストショット画像を取得する。画像解析部３１４は、取得されたベストショット画像に、各注目領域、あるいは各検査対象物に対応する学習モデルを用いた画像解析を実行し、検査対象物ごとの注目領域の特徴量を抽出する。画像解析部３１４は、撮像条件と、ベストショット画像と、このベストショット画像から抽出された検査対象物ごとの特徴量とを対応付けて、判定部３１５に出力する。
　判定部３１５は、画像解析部３１４から出力された検査対象物ごとの特徴量と、検査対象物ごとの良品データ（つまり、正解データ）の特徴量との関係（例えば、差分、類似度、相違度、距離等）に基づいて、検査対象物が良品であるか否かの判定するための判定スコアを評価する。判定部３１５は、判定スコアに基づいて、注目領域あるいは検査対象物が良品であるか否かを判定した判定結果を生成する。判定部３１５は、撮像条件と、ベストショット画像と、ワークＰＷの検査対象物ごとの判定結果と、を対応付けた検査結果を生成して、通信部３０に出力する。通信部３０は、検査結果を表示用端末Ｐ２に送信する。
　メモリ３２は、例えばプロセッサ３１の各処理を実行する際に用いられるワークＰＷメモリとしてのＲＡＭと、プロセッサ３１の動作を規定したプログラム及びデータを格納するＲＯＭとを有する。なお、メモリ３２は、ＳＳＤあるいはＨＤＤ等によるストレージデバイスのうちいずれかを含む記憶デバイスを有してもよい。ＲＡＭには、プロセッサ３１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ３１の動作を規定するプログラムが書き込まれている。
　撮像部３３は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子である。イメージセンサは、撮像面に結像した光学像を電気信号に変換する。撮像部３３は、撮像された撮像画像をプロセッサ３１に出力する。
　画像記憶媒体３４は、例えば、ＳＤカード（登録商標）、ｍｉｃｒｏＳＤ（登録商標）、ＵＳＢメモリ（登録商標）等の外部記憶媒体、あるいはＨＤＤ，ＳＳＤ等の記憶デバイスを用いて構成される。画像記憶媒体３４は、撮像部３３により撮像された撮像画像、ベストショット選定部３１２により選定されたベストショット画像、画像処理部３１３により画像処理されたベストショット画像の画像と、ワークＰＷの情報と、撮像条件とを対応付けて記憶する。なお、ベストショット画像は、合成画像であってもよい。
　ＡＩカメラパラメータデータベースＤＢ３１は、例えばＨＤＤあるいはＳＳＤ等の記憶デバイスを用いて構成される。ＡＩカメラパラメータデータベースＤＢ３１は、ワークＰＷごとの少なくとも１つの撮像条件と、ワークＰＷの情報とを対応付けて登録（格納）する。
　学習モデルデータベースＤＢ３２は、例えばＨＤＤあるいはＳＳＤ等の記憶デバイスを用いて構成される。学習モデルデータベースＤＢ３２は、学習用端末Ｐ１から送信された学習モデルを、ワークＰＷごとに登録（格納）する。
　照明装置Ｌ１は、通信部４０と、プロセッサ４１と、メモリ４２と、光源４３とを含む。
　通信部４０は、所謂ハードウェアＩ／Ｆ、ソフトウェアＩ／Ｆ等により実現される。通信部４０は、ＡＩカメラＣ１との間でそれぞれデータの送受信を実行し、ＡＩカメラＣ１から送信された制御指令をプロセッサ４１に出力する。また、通信部４０は、プロセッサ４１から出力された制御指令をＡＩカメラＣ１に送信する。
　プロセッサ４１は、例えばＣＰＵ又はＦＰＧＡを用いて構成されて、メモリ４２と協働して、各種の処理及び制御を行う。具体的には、プロセッサ４１はメモリ４２に保持されたプログラム及びデータを参照し、そのプログラムを実行することにより、調光制御部４１１等の各種機能を実現する。
　調光制御部４１１は、ＡＩカメラＣ１から送信され、ワークＰＷに設定された照明パラメータに対応する制御指令に基づいて、光源４３の制御を実行する。
　メモリ４２は、例えばプロセッサ４１の各処理を実行する際に用いられるワーキングメモリとしてのＲＡＭと、プロセッサ４１の動作を規定したプログラム及びデータを格納するＲＯＭとを有する。なお、メモリ４２は、ＳＳＤあるいはＨＤＤ等によるストレージデバイスのうちいずれかを含む記憶デバイスを有してもよい。ＲＡＭには、プロセッサ４１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ４１の動作を規定するプログラムが書き込まれている。
　光源４３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の１つ以上の照明を有して構成され、ワークＰＷを照明する。光源４３は、プロセッサ４１により制御され、点灯制御又は消灯制御を実行する。
　ここで、図４を参照して、ワークＰＷの一例について説明する。図４は、ワークＰＷの一例を説明する図である。なお、図４では、６１個の検査対象物（電子部品）のうち３個の検査対象物ＴＧ１，ＴＧ２，ＴＧ３のそれぞれにのみ符号を付与し、その他の検査対象物への符号の付与を省略する。
　検査対象物であるワークＰＷは、例えば、複数の検査対象物（例えば、電子部品）のそれぞれが実装された基板である。複数の検査対象物のそれぞれは、異なる複数の検査項目が設定される。検査対象物ＴＧ１は、例えば、検査対象物番号「１」が割り当てられた電子部品である。検査対象物ＴＧ２は、例えば、検査対象物番号「３５」が割り当てられた電子部品である。検査対象物ＴＧ３は、例えば、検査対象物番号「５８」が割り当てられた電子部品である。なお、検査対象物としてワークＰＷそのものが設定されてもよい。
　例えば、図４に示す例において、ワークＰＷは、検査対象物番号「１」～「６１」のそれぞれが割り当てられた６１個の検査対象物（電子部品）を有する。検査対象物番号「１」～「２８」のそれぞれが割り当てられた検査対象物は、「電子部品の有無」（つまり、ワークＰＷに電子部品が実装されているか否か）、「電子部品の向き（姿勢）」、及び「電子部品の浮き」をそれぞれ判定する３つの検査項目が設定されている。検査対象物番号「２９」～「５７」のそれぞれが割り当てられた検査対象物は、「電子部品の種類」、「電子部品の色」、及び「電子部品の浮き」をそれぞれ判定する３つの検査項目が設定されている。また、検査対象物番号「５９」～「６１」のそれぞれが割り当てられた検査対象物は、「電子部品の有無」及び「電子部品の極性」をそれぞれ判定する２つの検査項目が設定されている。なお、検査項目は、１つの検査対象物に少なくとも１つが設定されていればよい。
　ＡＩカメラＣ１は、検査対象物に設定されたすべての検査項目のそれぞれが合格であると判定した場合、検査対象物が良品であると判定する。一方、ＡＩカメラＣ１は、検査対象物に設定されたすべての検査項目のそれぞれのうち少なくとも１つが不合格であると判定した場合、検査対象物が不良品であると判定する。
　次に、図５を参照して、撮像パラメータテーブルＰＭＴ１について説明する。図５は、撮像パラメータテーブルＰＭＴ１の一例を示す図である。なお、図５では、説明を分かり易くするために異なる複数の撮像パラメータのそれぞれをテーブルとして格納（登録）する例を示すが、これに限定されないことは言うまでもない。
　撮像パラメータテーブルＰＭＴ１は、異なる複数の撮像パラメータのパターンを格納する。撮像パラメータは、ＡＩカメラＣ１のプロセッサ３１及び撮像部３３の機能を実現するためのパラメータと、このパラメータを適用して撮像された撮像画像（ベストショット画像あるいは合成画像）とを含む。
　撮像パラメータは、表示用端末Ｐ２により生成される。表示用端末Ｐ２は、入力部２４を介して取得されたユーザ操作に基づいて、撮像パラメータを生成し、生成された撮像パラメータ（撮像条件）と、ワークＰＷの情報とを対応付けてＡＩカメラＣ１に送信する。
　撮像パラメータは、例えば、プロセッサ３１の機能を実現するためのパラメータとして「最大ゲイン」、「カメラ感度」、「明るさ・明度」、「ホワイトバランス（Ｒボリューム）」、「ホワイトバランス（Ｂボリューム）」、「コントラスト強度」、「暗部補正」、「明部補正」、「ペデスタルレベル」等を含む。また、撮像パラメータは、例えば、撮像部３３の制御を実行するためのパラメータとして「シャッタースピード」、「最長露光時間」、「レンズの絞り値」等を含む。なお、これらのパラメータは一例であって、これに限定されないことは言うまでもない。
　図５に示す例において、撮像パラメータテーブルＰＭＴ１は、４つの撮像パラメータ「パターン１」、「パターン２」、「パターン３」、「パターン４」と、各撮像パラメータで撮像された撮像画像ＩＭＧ１，ＩＭＧ２，ＩＭＧ３，ＩＭＧ４のそれぞれとを対応付けて格納する。具体的に、撮像画像ＩＭＧ１は、撮像パラメータ「パターン１」に基づいて撮像され、撮像パラメータ「パターン１」に基づく画像処理が施された撮像画像である。撮像画像ＩＭＧ２は、撮像パラメータ「パターン２」に基づいて撮像され、撮像パラメータ「パターン２」に基づく画像処理が施された撮像画像である。撮像画像ＩＭＧ３は、撮像パラメータ「パターン３」に基づいて撮像され、撮像パラメータ「パターン３」に基づく画像処理が施された撮像画像である。撮像画像ＩＭＧ４は、撮像パラメータ「パターン４」に基づいて撮像され、撮像パラメータ「パターン４」に基づく画像処理が施された撮像画像である。
　次に、図６を参照して、実施の形態１に係る検査システム１００の運用前（つまり、ワークＰＷの検査前）に実行される動作手順例について説明する。図６は、実施の形態１に係る検査システム１００の運用前の動作手順例を示すシーケンス図である。
　まず、ユーザは、表示用端末Ｐ２、センサＳＳ、ＡＩカメラＣ１等の各種装置の電源をＯＮにする（ステップＳｔ１１）。
　表示用端末Ｐ２は、ワークＰＷが備える検査対象物のそれぞれの検査に関する設定を受け付け可能な検査設定画面（不図示）を生成し、モニタ２３に表示する（ステップＳｔ１２）。ユーザは、表示用端末Ｐ２の入力部２４を介して、ユーザのユーザ名を入力する（ステップＳｔ１３）。表示用端末Ｐ２は、入力部２４を介してユーザ名の入力操作を受け付け（ステップＳｔ１４）、入力されたユーザ名の情報をＡＩカメラＣ１に送信する（ステップＳｔ１５）。
　ＡＩカメラＣ１は、表示用端末Ｐ２から送信されたユーザ名の情報を取得し、ユーザ名の設定（登録）を実行する（ステップＳｔ１６）。ＡＩカメラＣ１は、ユーザ名の設定（登録）完了を通知する制御指令を生成して、表示用端末Ｐ２に送信する（ステップＳｔ１７）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された制御指令に基づいて、ユーザ名の設定が完了した旨の通知を生成して、モニタ２３に表示する（ステップＳｔ１８）。
　ユーザは、検査対象物であるワークＰＷを選択する（ステップＳｔ１９）。表示用端末Ｐ２は、入力部２４を介してワークＰＷの選択操作を受け付けて（ステップＳｔ２０）、入力されたワークＰＷのワークＰＷ情報をＡＩカメラＣ１に送信する（ステップＳｔ２１）。
　ＡＩカメラＣ１は、表示用端末Ｐ２から送信されたワークＰＷ情報を取得し、ワークＰＷ情報の設定を実行する（ステップＳｔ２２）。ＡＩカメラＣ１は、ワークＰＷ情報の選択完了を通知する制御指令を生成して、表示用端末Ｐ２に送信する（ステップＳｔ２３）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された制御指令に基づいて、ワークＰＷの選択が完了した旨の通知を生成して、モニタ２３に表示する（ステップＳｔ２４）。
　表示用端末Ｐ２は、ワークＰＷを撮像した撮像映像（撮像画像）の配信を要求する制御指令を生成して、ＡＩカメラＣ１に送信する（ステップＳｔ２５）。
　ＡＩカメラＣ１は、表示用端末Ｐ２から送信された制御指令に基づいて、設定されたワークＰＷ情報が示すワークＰＷの撮像を開始する（ステップＳｔ２６）。また、ＡＩカメラＣ１は、表示用端末Ｐ２から送信された制御指令に基づいて、撮像映像配信応答を生成して、表示用端末Ｐ２に送信（通知）する（ステップＳｔ２７）。ＡＩカメラＣ１は、撮像された撮像画像（撮像映像）を表示用端末Ｐ２に送信（配信）する（ステップＳｔ２８）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された撮像画像（撮像映像）をモニタ２３に表示する（ステップＳｔ２９）。
　図７を参照して、実施の形態１に係る検査システム１００の運用中（つまり、ワークＰＷの検査中）に実行される動作手順例について説明する。図７は、実施の形態１に係る検査システム１００の運用中の動作手順例を示すシーケンス図である。
　ユーザは、ワークＰＷの検査を開始するタイミングで、表示用端末Ｐ２の入力部２４を介して検査モードをＯＮし、ワークＰＷの検査開始を要求する入力操作を行う（ステップＳｔ４１）。表示用端末Ｐ２は、入力部２４を介してユーザによるワークＰＷの検査開始操作を受け付けて（ステップＳｔ４２）、検査モード「ＯＮ」への切り替えを要求する制御指令を生成する。表示用端末Ｐ２は、生成された制御指令をＡＩカメラＣ１に送信する（ステップＳｔ４３）。
　ＡＩカメラＣ１は、表示用端末Ｐ２から送信された制御指令に基づいて、検査モードをＯＮに切り替える（ステップＳｔ４４）。ＡＩカメラＣ１は、検査モードをＯＮに切り替えた後、検査モード「ＯＮ」への切り替え完了を通知する制御指令を生成して、表示用端末Ｐ２に送信（通知）する（ステップＳｔ４５）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された制御指令に基づいて、検査モード「ＯＮ」への切り替えが完了した旨の通知を生成して、モニタ２３に表示する（ステップＳｔ４６）。表示用端末Ｐ２は、ワークＰＷを撮像した撮像映像（撮像画像）の配信を要求する制御指令を生成して、ＡＩカメラＣ１に送信する（ステップＳｔ４７）。
　ＡＩカメラＣ１は、表示用端末Ｐ２から送信された制御指令に基づいて、設定されたワークＰＷ情報が示すワークＰＷの撮像を開始する（ステップＳｔ４８）。また、ＡＩカメラＣ１は、表示用端末Ｐ２から送信された制御指令に基づいて、撮像映像配信応答を生成して、表示用端末Ｐ２に送信（通知）する（ステップＳｔ４９）。ＡＩカメラＣ１は、撮像された撮像画像（撮像映像）を表示用端末Ｐ２に送信（配信）する（ステップＳｔ５０）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された撮像画像（撮像映像）をモニタ２３に表示する（ステップＳｔ５１）。
　センサＳＳは、表示用端末Ｐ２から送信された制御指令に基づいて、検査対象物であるワークＰＷの検知を開始する（ステップＳｔ５２）。センサＳＳは、検知位置でワークＰＷの到着を検知したと判定した場合、ワークＰＷの到着を通知する制御指令を生成して、ＡＩカメラＣ１に送信する（ステップＳｔ５２）。
　ＡＩカメラＣ１は、センサＳＳから送信された制御指令に基づいて、ワークＰＷの検査を開始する（ステップＳｔ５３）。また、ＡＩカメラＣ１は、ワークＰＷの検査開始を通知する制御指令を生成して、表示用端末Ｐ２に送信する（ステップＳｔ５４）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された制御指令に基づいて、ワークＰＷの検査開始を通知した旨の通知を生成して、モニタ２３に表示する（ステップＳｔ５５）。
　ＡＩカメラＣ１は、ワークＰＷを撮像し、撮像された撮像画像に基づいて、ワークＰＷの検査を実行する（ステップＳｔ５６）。ＡＩカメラＣ１は、ワークＰＷの検査結果を生成して、表示用端末Ｐ２に送信する（ステップＳｔ５７）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された検査結果に基づいて、検査結果画面ＳＣ１（図１０参照）を生成して、モニタ２３に表示する（ステップＳｔ５８）。
　検査システム１００は、すべてのワークＰＷの検査が完了するまでステップＳｔ５２～ステップＳｔ５８までの検査処理ＲＰＡを繰り返し実行する。ユーザは、すべてのワークＰＷの検査が終了した場合、表示用端末Ｐ２の入力部２４を介して、検査モードをＯＦＦし、ワークＰＷの検査終了を要求する入力操作を行う（ステップＳｔ５９）。表示用端末Ｐ２は、入力部２４を介してユーザによるワークＰＷの検査終了操作を受け付ける（ステップＳｔ６０）。表示用端末Ｐ２は、検査モード「ＯＦＦ」への切り替えを要求する制御指令を生成して、ＡＩカメラＣ１に送信する（ステップＳｔ６１）。
　ＡＩカメラＣ１は、表示用端末Ｐ２から送信された制御指令に基づいて、検査モードをＯＦＦに切り替える（ステップＳｔ６２）。ＡＩカメラＣ１は、検査モード「ＯＦＦ」への切り替え完了を通知する制御指令を生成して、表示用端末Ｐ２に送信（通知）する（ステップＳｔ６３）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された制御指令に基づいて、検査モード「ＯＦＦ」への切り替えが完了した旨の通知を生成して、モニタ２３に表示する（ステップＳｔ６４）。
　図８を参照して、実施の形態１におけるＡＩカメラＣ１により実行されるワークＰＷの検査手順例について説明する。図８は、実施の形態１におけるＡＩカメラＣ１のワークＰＷ検査手順例である。図８に示す検査手順例は、図７に示すステップＳｔ５６で実行される処理である。
　ＡＩカメラＣ１は、ＡＩカメラパラメータデータベースＤＢ３１に記憶され、検査対象物のワークＰＷの情報に対応付けられたすべての撮像条件を取得する（ステップＳｔ７１）。撮像条件は、少なくとも撮像パラメータを含む。なお、撮像条件は、撮像パラメータと照明パラメータとを含み、例えば、撮像パラメータのいずれか１つと、照明パラメータのいずれか１つとを組み合わせて設定される。
　ＡＩカメラＣ１は、すべての撮像条件のうちいずれかの撮像条件に含まれる照明パラメータに基づいて、照明装置Ｌ１を制御する。ＡＩカメラＣ１は、撮像条件に含まれる撮像パラメータに基づいて、ワークＰＷを撮像する（ステップＳｔ７２）。
　ＡＩカメラＣ１は、すべての撮像条件のそれぞれでワークＰＷを撮像したか否かを判定する（ステップＳｔ７３）。例えば、ＡＩカメラＣ１は、このワークＰＷの撮像条件として、撮像パラメータ「パターン１」と照明パラメータ「パターン１」とを組み合わせた撮像条件と、撮像パラメータ「パターン２」と照明パラメータ「パターン２」とを組み合わせた撮像条件と、撮像パラメータ「パターン３」と照明パラメータ「パターン３」とを組み合わせた撮像条件と、撮像パラメータ「パターン４」と照明パラメータ「パターン４」とを組み合わせた撮像条件の合計４つの撮像条件が設定されている場合、これらの４つの撮像条件でそれぞれワークＰＷを撮像したか否かを判定する。
　ＡＩカメラＣ１は、ステップＳｔ７３の処理において、すべての撮像条件のそれぞれでワークＰＷを撮像したと判定した場合（ステップＳｔ７３，ＹＥＳ）、撮像された撮像画像のそれぞれと、学習モデルのそれぞれとを用いて、ワークＰＷの検査を実行する（ステップＳｔ７４）。
　ＡＩカメラＣ１は、ステップＳｔ７３の処理において、すべての撮像条件のそれぞれでワークＰＷを撮像していないと判定した場合（ステップＳｔ７３，ＮＯ）、ステップＳｔ７２の処理に移行し、未撮像であるいずれかの撮像条件でワークＰＷを撮像する。
　次に、図９を参照して、検査システム１００が実行するＡＩモデルの再学習手順例について説明する。図９は、実施の形態１に係る検査システム１００の再学習手順例を示すシーケンス図である。
　ＡＩカメラＣ１は、ワークＰＷの検査を実行し（ステップＳｔ８１）、ワークＰＷの検査結果を生成して、表示用端末Ｐ２に送信する（ステップＳｔ８２）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された検査結果に基づいて、検査結果画面ＳＣ１（図１０）を生成して、モニタ２３に表示する（ステップＳｔ８３）。表示用端末Ｐ２は、学習モデルの再学習を行うための再学習対象に関する情報の入力操作を受け付ける（ステップＳｔ８４）。なお、再学習対象に関する情報は、ワークＰＷの検査結果のうち誤判定である検査対象物の検査結果に対する正解データ（正しい検査結果の情報）であってもよい。また、再学習対象に関する情報は、撮像条件，撮像パラメータ，照明パラメータ，注目領域等の各種設定が変更された情報であってもよい。ここでいう再学習対象に関する情報は、第１入力、第２入力の一例であって、再学習用情報設定画面ＳＣ２１により受け付けられる。第１入力及び第２入力は、それぞれユーザ操作により入力され、異なる検査対象物のそれぞれの再学習対象に関する情報である。
　表示用端末Ｐ２は、再学習対象に関する情報が入力された場合には、再学習対象に関する情報と、再学習される検査対象物の情報とを対応付けた再学習用データを生成して、学習用端末Ｐ１に送信する（ステップＳｔ８５）。一方、表示用端末Ｐ２は、再学習対象に関する情報が入力されない場合には、ユーザによる検査結果の確認が完了したことを通知する制御指令を生成して、学習用端末Ｐ１に送信する（ステップＳｔ８５）。
　学習用端末Ｐ１は、表示用端末Ｐ２から送信された再学習用データに基づいて、ワークＰＷの検査対象物を検査するための再学習を実行する（ステップＳｔ８６）。例えば、学習用端末Ｐ１は、図１０に示す検査結果画面ＳＣ１が含む６つの検査結果ＩＲ１１，ＩＲ１２，ＩＲ１３，ＩＲ１４，ＩＲ１５，ＩＲ１６のうちユーザにより指定された２つの検査結果ＩＲ１２，ＩＲ１５のそれぞれの再学習を実行する。
　学習用端末Ｐ１は、再学習に基づいて、学習モデルを生成する（ステップＳｔ８７）。また、学習用端末Ｐ１は、生成された学習モデルと、検査対象物の情報とを対応付けて表示用端末Ｐ２に送信する（ステップＳｔ８８）。
　表示用端末Ｐ２は、学習用端末Ｐ１から送信された学習モデルをＡＩカメラＣ１に送信する（ステップＳｔ８９）。
　ＡＩカメラＣ１は、表示用端末Ｐ２から送信された学習モデルを取得し、学習モデルデータベースＤＢ３２に格納（登録）する（ステップＳｔ９０）。ＡＩカメラＣ１は、取得された学習モデルを用いて、ワークＰＷの再検査を実行する（ステップＳｔ９１）。ＡＩカメラＣ１は、ワークＰＷを再検査した検査結果を生成して、表示用端末Ｐ２に送信する（ステップＳｔ９２）。
　表示用端末Ｐ２は、ＡＩカメラＣ１から送信された検査結果に基づいて、検査結果画面ＳＣ１（図１０参照）を生成して、モニタ２３に表示する（ステップＳｔ９３）。表示用端末Ｐ２は、学習モデルの再学習を行うための再学習対象に関する情報の入力操作を再度受け付ける（ステップＳｔ９４）。
　表示用端末Ｐ２は、再学習対象に関する情報が入力された場合には、ステップＳｔ８５の処理に戻り、再学習を実行する。一方、表示用端末Ｐ２は、再学習対象に関する情報が入力されない場合には、ユーザによる検査結果の確認完了を通知する制御指令を生成して、ＡＩカメラＣ１に送信する（ステップＳｔ９５）。
　次に、図１０を参照して、ワークＰＷの検査結果を示す検査結果画面ＳＣ１について説明する。図１０は、検査結果画面ＳＣ１例を示す図である。
　検査結果画面ＳＣ１は、表示用端末Ｐ２により生成され、モニタ２３に表示される。検査結果画面ＳＣ１は、ワークＰＷの複数の検査対象物のそれぞれの検査結果ＩＲ１１，ＩＲ１２，ＩＲ１３，ＩＲ１４，ＩＲ１５，ＩＲ１６のそれぞれと、再学習ボタンＢＴ１２とを含む。
　検査結果ＩＲ１１～ＩＲ１６のそれぞれは、サムネイル画像ＩＭＧ１１，ＩＭＧ１２，ＩＭＧ１３，ＩＭＧ１４，ＩＭＧ１５，ＩＭＧ１６のそれぞれと、検査結果情報ＩＮＦ１１，ＩＮＦ１２，ＩＮＦ１３，ＩＮＦ１４，ＩＮＦ１５，ＩＮＦ１６のそれぞれと、詳細確認ボタンＢＴ１１と、再学習ボタンＢＴ１２とを含む。
　サムネイル画像ＩＭＧ１１～ＩＭＧ１６のそれぞれは、検査対象物の検査に使用されたベストショット画像あるいは合成画像のサムネイル画像である。
　検査結果情報ＩＮＦ１１～ＩＮＦ１６のそれぞれは、検査対象物の検査結果が良品，不良品，判定不能のいずれであるかを示す。
　例えば、表示用端末Ｐ２は、検査対象物の検査結果が良品である場合には、検査結果が良品であることを示す検査結果情報ＩＮＦ１１「ＯＫ」を生成する。表示用端末Ｐ２は、検査対象物の検査結果が不良品である場合には、検査結果が不良品であることを示す検査結果情報ＩＮＦ１３「ＮＧ」を生成する。また、表示用端末Ｐ２は、検査結果が所謂グレーゾーンであって判定不能である場合には、検査結果が良品又は不良品のいずれでもないことを示す検査結果情報ＩＮＦ１４「判定不能」を生成する。
　また、表示用端末Ｐ２は、ユーザにより詳細確認ボタンが選択（押下）されて、検査結果確認画面ＳＣ２（図１１参照）がモニタ２３に表示された場合には、検査結果情報ＩＮＦ１６「ＮＧ（チェック済）」に更新する。検査結果情報ＩＮＦ１６は、検査結果確認画面ＳＣ２により検査結果がユーザにより確認（チェック）されたことを示す。なお、図１０では、検査結果が不良品（つまり、「ＮＧ」）である場合の検査結果情報の一例を示すが、これに限定されないことは言うまでもない。
　また、表示用端末Ｐ２は、ユーザ操作により検査結果が誤りであって、再学習が不必要である入力操作がある場合、検査結果情報ＩＮＦ１２，ＩＮＦ１５を表示する。検査結果情報ＩＮＦ１２，ＩＮＦ１５は、検査結果がユーザにより変更され、かつ、再学習対象である検査結果であることを示す。このような場合、検査結果情報は、変更前及び変更後の検査結果の変化を示す情報と、再学習対象であることを示す情報（例えば、星型等の所定の記号）とを含む。ここでいう変更前及び変更後の検査結果の変化を示す情報は、例えば、「ＮＧ」→「ＯＫ」、「ＯＫ」→「ＮＧ」、「判定不能」→「ＮＧ」、「判定不能」→「ＯＫ」等である。これにより、ユーザは、検査結果の変更内容と、再学習対象である検査結果とを一目で把握できる。
　詳細確認ボタンＢＴ１１のそれぞれは、ユーザによる選択（押下）操作を受け付ける。表示用端末Ｐ２のプロセッサ２１は、詳細確認ボタンＢＴ１１の選択（押下）操作に基づいて、選択（押下）された詳細確認ボタンに対応する検査結果の検査結果確認画面ＳＣ２（図１１参照）をモニタ２３に表示する。
　再学習ボタンＢＴ１２は、ユーザによる選択（押下）操作を受け付ける。表示用端末Ｐ２のプロセッサ２１は、再学習ボタンＢＴ１２の選択（押下）操作に基づいて、再学習用情報設定画面ＳＣ２１（図１２参照）で設定された再学習対象に関する情報を用いて検査対象物ごとの再学習用データを生成する。表示用端末Ｐ２は、生成された再学習用データと、再学習対象である検査対象物の情報とを対応付けて、学習用端末Ｐ１に送信する。
　例えば、図１０に示す検査結果画面ＳＣ１において、表示用端末Ｐ２は、２つの検査結果ＩＲ１２，ＩＲ１５のそれぞれを再学習対象に設定する。表示用端末Ｐ２は、２つの検査結果ＩＲ１２，ＩＲ１５のうち再学習対象となる検査対象物について、再学習用情報設定画面ＳＣ２１（図１２参照）により再学習対象に関する情報の入力を受け付ける。表示用端末Ｐ２は、再学習用情報設定画面ＳＣ２１（図１２参照）により受け付けられた検査対象物ごとの再学習対象に関する情報を用いて、再学習用データを生成する。
　次に、図１１を参照して、検査対象物の検査結果確認画面ＳＣ２について説明する。図１１は、検査結果確認画面ＳＣ２例を示す図である。なお、図１１に示す検査対象物一覧テーブルＴＢ１３は一例であってこれに限定されないことは言うまでもない。
　検査結果確認画面ＳＣ２は、検査対象物一覧テーブルＴＢ１３と、検査結果情報ＩＮＦ１７と、検査結果が重畳された検査結果画像ＩＭＧ１３１と、を含んで生成される。
　検査対象物一覧テーブルＴＢ１３は、複数の検査対象物のそれぞれの検査の判定結果「判定」と、検査対象物に割り当てられた検査対象物番号「Ｎｏ．」と、検査対象物の名称「回路名」と、検査対象物の品番「部品品番」と、検査対象物の検査項目「検査内容」と、検査対象物の判定スコア「スコア」とを含むテーブルである。
　ここでいうスコアは、ＡＩカメラＣ１の画像解析部３１４により評価される。ＡＩカメラＣ１は、事前に設定された学習用データあるいは再学習用データ（つまり、正解データ）が示す検査対象物の特徴量と、ベストショット画像から抽出された検査対象物の特徴量とに基づいて、検査対象物が不良品である確からしさを示すスコアを評価する。ＡＩカメラＣ１は、算出されたスコアと、検査結果が良品又は不良品であるかを判定するための閾値とに基づいて、検査対象物の検査結果が良品（つまり、「ＯＫ」）又は不良品（つまり、「ＮＧ」）のいずれであるかを判定する。
　なお、ＡＩカメラＣ１は、検査結果が良品又は不良品であるかを判定するための閾値の他に、検査結果が良品でも不良品でもなく判定不能であることを判定するための閾値が設定されてもよい。
　検査結果情報ＩＮＦ１７は、検査対象物一覧テーブルＴＢ１３に一覧表示された複数の検査対象物のそれぞれのうちユーザにより選択された検査対象物の検査結果を示す。
　検査結果画像ＩＭＧ１３１は、検査に使用されたベストショット画像上に、検査対象物一覧テーブルＴＢ１３に一覧表示された複数の検査対象物のそれぞれの検査結果を重畳して生成された画像である。具体的に、検査結果画像ＩＭＧ１３１は、検査対象物に対応する注目領域に枠線等を重畳したり、注目領域を所定の色に塗りつぶしたりことで検査対象物の検査結果を示す。なお、図１１に示す検査結果画像ＩＭＧ１３１は、３つの検査対象物の検査結果のみを重畳しているが、これに限定されない。検査結果画像ＩＭＧ１３１は、すべての検査対象物の検査結果が重畳されていてもよいし、ユーザにより指定された所定の検査結果（例えば、「ＯＫ」、「ＮＧ」、「判定不能」等）を有する検査対象物のみに検査結果が重畳されてもよい。
　例えば、図１１に示す例において、注目領域ＤＴ１１は、検査対象物番号「４」の電子部品の注目領域を示し、この電子部品の注目領域を判定結果が「ＮＧ（チェック済）」であることを示す赤色の格子状のハッチングが重畳される。注目領域ＤＴ１２は、検査対象物番号「３７」の電子部品の注目領域を示し、この電子部品の注目領域を判定結果が「ＮＧ」であることを示す赤色に塗りつぶされる。また、注目領域ＤＴ１３は、検査対象物番号「３５」の電子部品の注目領域を示し、この電子部品の注目領域を判定結果が「ＮＧ→ＯＫ」であることを示す黄色のハッチングが重畳される。これにより、ユーザは、ワークＰＷの複数の検査対象物のそれぞれの検査結果を一目で確認することができる。
　検査結果画像ＩＭＧ１３１は、ユーザによりいずれか注目領域の選択（押下）操作を受け付ける。表示用端末Ｐ２のプロセッサ２１は、選択（押下）された注目領域に対応する検査対象物の再学習用情報設定画面ＳＣ２１を生成して、モニタ２３に表示させる。
　次に、図１２を参照して、検査対象物の再学習用情報設定画面ＳＣ２１について説明する。図１２は、再学習用情報設定画面ＳＣ２１例を示す図である。
　再学習画面の一例としての再学習用情報設定画面ＳＣ２１は、ユーザによる再学習用情報の入力操作を受け付け可能な画面である。再学習用情報設定画面ＳＣ２１は、切り出し画像ＩＭＧ１３２と、スコアマップＩＭＧ１３３と、スコア情報ＳＣＲと、ドロップダウンリストＳＬ１１，ＳＬ１２と、検査結果選択ボタンＳＬ１３，ＳＬ１４，ＳＬ１５と、不良種別リストＳＬ１４１と、再学習種別選択欄ＳＬ１６，ＳＬ１７，ＳＬ１８と、ボタンＢＴ１３とを含む。なお、図１２に示す再学習用情報設定画面ＳＣ２１は一例であってこれに限定されない。また、ドロップダウンリストＳＬ１１，ＳＬ１２と、検査結果選択ボタンＳＬ１３，ＳＬ１４，ＳＬ１５と、不良種別リストＳＬ１４１と、再学習種別選択欄ＳＬ１６，ＳＬ１７，ＳＬ１８と、ボタンＢＴ１３とは、再学習に関する入力操作を受け付け可能な入力欄の一例である。プロセッサ２１は、これらの入力欄によって、切り出し画像ＩＭＧ１３２が示す検査対象物ＴＧ２の再学習対象に関する情報の入力（つまり、第１入力、第２入力）を受け付ける。
　切り出し画像ＩＭＧ１３２は、検査に用いられた撮像画像から検査対象物ＴＧ２の注目領域を含む範囲を切り出した画像である。切り出し画像ＩＭＧ１３２は、検査対象物番号「３５」の検査対象物ＴＧ２の注目領域ＤＴ１３を示す枠線が重畳されていてよい。
　ドロップダウンリストＳＬ１１は、検査対象物ＴＧ２の検査で用いられる撮像パラメータのパターンの選択操作を受け付ける。表示用端末Ｐ２は、ユーザ操作によりドロップダウンリストＳＬ１１で撮像パラメータの他のパターンの指定（選択）を受け付ける。
　ドロップダウンリストＳＬ１２は、検査対象物ＴＧ２の検査で用いられる照明パラメータのパターンの選択操作を受け付ける。表示用端末Ｐ２は、ユーザ操作によりドロップダウンリストＳＬ１２で照明パラメータの他のパターンの指定（選択）を受け付ける。
　表示用端末Ｐ２は、ドロップダウンリストＳＬ１１，ＳＬ１２を用いて検査対象物ＴＧ２の撮像条件が変更された場合、ＡＩカメラＣ１から送信された検査結果に変更後の撮像条件で撮像された撮像画像があるか否かを判定する。表示用端末Ｐ２は、変更後の撮像条件で撮像された撮像画像があると判定した場合、この撮像画像から検査対象物ＴＧ２の注目領域ＤＴ１３を切り出した切り出し画像を生成する。表示用端末Ｐ２は、切り出し画像ＩＭＧ１３２を生成された切り出し画像に変更する。なお、表示用端末Ｐ２は、変更後の撮像条件で撮像された撮像画像がないと判定した場合には、切り出し画像を表示しなくてよい。
　スコアマップＩＭＧ１３３は、正解データの特徴量と検査対象物ＴＧ２の特徴量との差分をヒートマップで示した画像である。ＡＩカメラＣ１は、検査対象物ＴＧ２の注目領域ＤＴ１３に基づいて、正解データの特徴量と検査対象物ＴＧ２の特徴量との差分を画素ごとに評価する。表示用端末Ｐ２は、画素ごとに評価された差分に基づいて、スコアマップＩＭＧ１３３を生成する。これにより、ユーザは、注目領域ＤＴ１３において不良らしさを示すスコアが高い位置を一目で把握することができる。
　ここで、表示用端末Ｐ２は、変更後の撮像条件で撮像された撮像画像があると判定した場合、この撮像画像を用いたスコアマップＩＭＧ１３３の生成をＡＩカメラＣ１に要求する。ＡＩカメラＣ１は、変更後の撮像条件で撮像された撮像画像を用いて、検査対象物ＴＧ２の注目領域ＤＴ１３の特徴量の差分を画素ごとに評価する。表示用端末Ｐ２は、ＡＩカメラＣ１により評価された特徴量の差分に基づいて、新たなスコアマップを生成し、再学習用情報設定画面ＳＣ２１に表示する。また、表示用端末Ｐ２は、ＡＩカメラＣ１により評価された特徴量の差分に基づいて、後述する新たなスコア情報を生成して、表示する。なお、表示用端末Ｐ２は、変更後の撮像条件で撮像された撮像画像がないと判定した場合には、新たなスコアマップの生成処理を省略してよい。
　スコア情報ＳＣＲは、検査対象物ＴＧ２が不良である確からしさを示す。スコア情報ＳＣＲは、ＡＩカメラＣ１により評価され、注目領域ＤＴ１３に含まれる画素ごとの特徴量の差分に基づいて評価される。
　検査結果選択ボタンＳＬ１３は、ユーザによる検査対象物ＴＧ２の正しい検査結果「良品」の選択操作を受け付ける。表示用端末Ｐ２は、ユーザにより検査結果選択ボタンＳＬ１３が選択された場合、この検査対象物ＴＧ２の検査結果を「良品」に変更する。
　検査結果選択ボタンＳＬ１４は、ユーザによる検査対象物ＴＧ２の正しい検査結果「不良品」の選択操作を受け付ける。表示用端末Ｐ２は、ユーザにより検査結果選択ボタンＳＬ１４が選択された場合、この検査対象物ＴＧ２の検査結果を「不良品」に変更する。
　不良種別リストＳＬ１４１は、ユーザによる正しい検査結果「不良品」の不良種別の選択操作を受け付ける。不良種別リストＳＬ１４１は、例えば、反転、浮き等の複数の不良種別が選択可能なドロップダウンリストである。表示用端末Ｐ２は、検査結果選択ボタンＳＬ１４が選択された場合、不良種別リストＳＬ１４１による不良種別の選択操作を受け付ける。表示用端末Ｐ２は、後述する再学習種別選択欄ＳＬ１６が選択された場合、選択された不良種別を用いて、この検査対象物ＴＧ２の再学習用データを生成する。
　検査結果選択ボタンＳＬ１５は、ユーザによる検査対象物ＴＧ２の正しい検査結果「不明」の選択操作を受け付ける。表示用端末Ｐ２は、ユーザにより検査結果選択ボタンＳＬ１５が選択された場合、この検査対象物ＴＧ２の検査結果を「判定不明」に変更する。
　再学習種別選択欄ＳＬ１６は、この検査対象物ＴＧ２を再学習の対象にするか否かの選択操作を受け付ける。表示用端末Ｐ２は、ユーザ操作により再学習種別選択欄ＳＬ１６が選択された場合、各種選定に基づいて、この検査対象物ＴＧ２の再学習用データを生成する。ここでいう各種設定は、検査結果選択ボタンＳＬ１３～ＳＬ１５で選択されている検査結果に基づいて、再学習用データを生成する。
　再学習種別選択欄ＳＬ１７は、この検査対象物ＴＧ２の撮像条件である撮像パラメータあるいは照明パラメータを変更するか否かの選択操作を受け付ける。表示用端末Ｐ２は、ユーザ操作により再学習種別選択欄ＳＬ１７が選択された場合、ドロップダウンリストＳＬ１１，ＳＬ１２で選択されている撮像条件の情報を含む再学習用データを生成する。
　再学習種別選択欄ＳＬ１８は、この検査対象物ＴＧ２を再学習の対象にするか否かを保留する選択操作を受け付ける。表示用端末Ｐ２は、ユーザ操作により再学習種別選択欄ＳＬ１８が選択された場合、この検査対象物ＴＧ２の検査結果をメモリ２２に一時保存する。
　ボタンＢＴ１３は、ユーザによる選択（押下）操作を受け付ける。表示用端末Ｐ２は、ボタンＢＴ１３が選択（押下）操作された場合、再学習用情報設定画面ＳＣ２１から検査結果確認画面ＳＣ２へモニタ２３に表示される画面を切り替える。
　次に、図１３を参照して、ワークＰＷの撮像条件を設定可能な撮像条件調整画面ＳＣ３について説明する。図１３は、撮像条件調整画面ＳＣ３例を示す図である。
　撮像条件調整画面ＳＣ３は、ユーザによる撮像条件の調整（設定）操作を受け付け可能な画面である。撮像条件調整画面ＳＣ３は、撮像パラメータテーブルＰＲ１と、照明パラメータテーブルＰＲ２と、撮像画像ＩＭＧ３１，ＩＭＧ３２，ＩＭＧ３３，ＩＭＧ３４と表示領域ＡＲ３０、を含む。なお、図１３に示す撮像条件調整画面ＳＣ３は一例であってこれに限定されない。
　撮像パラメータテーブルＰＲ１は、異なる複数の撮像パラメータのそれぞれを格納する。例えば、図１３に示す撮像パラメータテーブルＰＲ１は、４つの撮像パラメータ「パターン１」、「パターン２」、「パターン３」、「パターン４」のそれぞれを格納する。また、撮像パラメータテーブルＰＲ１は、ユーザによる撮像パラメータの変更操作、新規撮像パラメータの追加操作等を受け付ける。
　照明パラメータテーブルＰＲ２は、異なる複数の照明パラメータのそれぞれを格納する。例えば、図１３に示す照明パラメータテーブルＰＲ２は、４つの照明パラメータ「パターン１」、「パターン２」、「パターン３」、「パターン４」のそれぞれを格納する。また、照明パラメータテーブルＰＲ２は、ユーザによるパラメータの変更操作、新規照明パラメータの追加操作等を受け付ける。
　複数の撮像画像ＩＭＧ３１～ＩＭＧ３４のそれぞれは、ユーザにより指定された撮像パラメータと照明パラメータとの組み合わせに基づく撮像条件により撮像されたワークＰＷの撮像画像である。複数の撮像画像ＩＭＧ３１～ＩＭＧ３４のそれぞれは、事前にＡＩカメラＣ１により撮像された撮像画像である。
　表示領域ＡＲ３０は、複数の撮像画像ＩＭＧ３１～ＩＭＧ３４のそれぞれのうちユーザにより選択操作されたいずれかの撮像画像が表示される。図１３に示す表示領域ＡＲ３０は、撮像画像ＩＭＧ３３が選択され、表示された例を示す。
　表示用端末Ｐ２は、ユーザによる撮像パラメータテーブルＰＲ１及び照明パラメータテーブルＰＲ２のそれぞれの変更操作、追加操作等を受け付けることで、撮像条件の変更、追加を実行する。表示用端末Ｐ２は、変更あるいは追加された撮像条件で撮像されたワークＰＷの撮像画像がないと判定した場合、ユーザ操作に基づいて、ＡＩカメラＣ１に変更あるいは追加された撮像条件でのワークＰＷの撮像を要求してもよい。
　次に、図１４を参照して、検査対象物の注目領域ごとの撮像条件を設定可能な注目領域設定画面ＳＣ４について説明する。図１４は、注目領域設定画面ＳＣ４例を示す図である。
　注目領域設定画面ＳＣ４は、ユーザによる検査対象物ごとの注目領域の設定と、注目領域ごとの撮像条件、検査項目（検査内容）、検査前処理、ＡＩ処理、検査後処理等の設定とを受け付け可能な画面である。注目領域設定画面ＳＣ４は、注目領域設定テーブルＳＴＢと、注目領域編集領域ＡＲ４０と、編集ボタンＢＴ４２と、検査対象物の評価領域ＳＣＲ４０とを含む。なお、図１４に示す注目領域設定画面ＳＣ４は一例であってこれに限定されない。
　注目領域設定テーブルＳＴＢは、検査対象物に割り当てられた検査対象物番号「Ｎｏ．」と、検査対象物の名称「回路名」と、検査対象物の品番「部品品番」と、検査対象物の検査項目「検査内容」と、矩形状を有する注目領域の範囲「位置　左上座標」及び「位置　右下座標」と、検査対象物の検査前処理「前処理１　位置補正」と、検査対象物の撮像条件「撮像パラメータ」及び「照明パラメータ」とを含むテーブルである。検査対象物の検査前処理、ＡＩ処理、及び検査後処理のそれぞれは、１つの検査対象物に複数設定されてよい。
　ここで、検査対象物の検査前処理は、画像解析部３１４による学習用データを用いた検査対象物の検査前に画像処理部３１３で実行される処理である。検査対象物の検査前処理は、例えば、ワークＰＷの個体差あるいは検査対象物の個体差等に基づく検査対象物の位置ずれを補正する処理等である。例えば、電子部品が人物の手作業で基板に実装される場合、実装された電子部品は、実装位置の位置ずれ等が生じる可能性がある。このような場合、画像処理部３１３は、検査前処理に検査対象物の実装位置の位置ずれを補正することで、画像解析部３１４により不良品であると誤判定の発生をより効果的に抑制できる。
　また、検査対象物のＡＩ処理は、画像処理部３１３で実行され、例えば、特徴量の抽出処理等である。
　ここで、検査対象物の検査後処理は、画像解析部３１４による学習用データを用いた検査対象物の検査後に判定部３１５により実行される処理である。検査対象物の検査後処理は、例えば、画像解析部３１４により解析された検査対象物の特徴量処理、正解データと検査対象物との特徴量の差分の評価処理、少なくとも１つの閾値を用いた判定処理等である。閾値を用いた判定処理は、例えば、検査対象物を良品であると判定するための閾値、不良品であると判定するための閾値、良品又は不良品であると判定不能であることを判定するための閾値等を用いた検査対象物の検査処理を示す。
　設定ボタンＢＴ４１は、注目領域設定テーブルＳＴＢに設定された検査対象物の検査前処理、ＡＩ処理、及び検査後処理のそれぞれを有効化又は無効化する設定処理を受け付ける。
　編集ボタンＢＴ４２は、ユーザによる選択（押下）操作を受け付ける。表示用端末Ｐ２は、編集ボタンＢＴ４２が選択（押下）された場合、注目領域設定テーブルＳＴＢに含まれる複数の検査対象物のそれぞれのうちユーザ操作により指定された検査対象物の注目領域の編集操作の受け付けを開始する。表示用端末Ｐ２は、ユーザ操作により指定された検査対象物の撮像画像に、注目領域設定テーブルＳＴＢで設定された注目領域を示す枠線ＤＴ１４を重畳した編集用画像を生成して、注目領域編集領域ＡＲ４０に表示する。表示用端末Ｐ２は、注目領域編集領域ＡＲ４０に表示された編集用画像上で、ユーザ操作により注目領域を示す枠線ＤＴ１４の位置、範囲等の編集を受け付ける。表示用端末Ｐ２は、編集後の注目領域の範囲に基づいて、注目領域設定テーブルＳＴＢに格納された「位置　左上座標」と「位置　右下座標」との値（座標）を更新する。
　評価領域ＳＣＲ４０は、注目領域設定テーブルＳＴＢで設定される撮像条件「撮像パラメータ」と「照明パラメータ」との設定を支援する。評価領域ＳＣＲ４０は、注目領域設定テーブルＳＴＢで設定可能な各撮像条件で撮像された撮像画像ＩＭＧ４１，ＩＭＧ４２，ＩＭＧ４３，ＩＭＧ４４のそれぞれと、撮像画像ごとの評価値ＳＣＲ４１とを含む。
　なお、ここでいう評価値ＳＣＲ４１は、各撮像条件で撮像された撮像画像ＩＭＧ４１～ＩＭＧ４４が検査対象物の検査に適する撮像画像であるか否かを評価した値である。評価値ＳＣＲ４１は、ユーザ操作に基づいて、ＡＩカメラＣ１の画像解析部３１４により評価されてよい。また、評価値ＳＣＲ４１は、注目領域設定テーブルＳＴＢで設定されている注目領域、検査項目（検査内容）、検査前処理、ＡＩ処理、検査後処理等の設定に基づいて、評価されてもよい。
　例えば、図１４に示す撮像画像ＩＭＧ４１～ＩＭＧ４４のそれぞれは、撮像条件が「撮像パラメータ３」、「照明パラメータ３」である場合の評価値が「０．７０」と最も高い。このような場合、ユーザは、検査対象物番号「Ｎｏ．１」で示す検査対象物の撮像条件を、評価値が最も高い撮像条件「撮像パラメータ３」、「照明パラメータ３」に決定できる。
　また、表示用端末Ｐ２は、注目領域設定テーブルＳＴＢで設定可能な各撮像条件で撮像された撮像画像ＩＭＧ４１～ＩＭＧ４４のそれぞれと、これらの撮像画像ＩＭＧ４１～ＩＭＧ４４のそれぞれの評価値とを表示する。これにより、ユーザは、各検査対象物に設定された撮像条件の根拠を一目で確認できる。したがって、表示用端末Ｐ２は、撮像条件「撮像パラメータ」、「照明パラメータ」のそれぞれの設定において、いずれの撮像条件を設定すればよいかを支援できる。
　次に、図１５を参照して、図１４で説明した注目領域の設定方法と異なる注目領域の設定方法について設定する。図１５は、注目領域の取得例を示す図である。
　図１５に示す注目領域設定画面ＳＣ５は、ワークＰＷの設計データ（例えば、２次元データ、ＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）データ等）に基づいて取得された検査対象物ごとの注目領域の座標情報である。表示用端末Ｐ２は、ユーザ操作に基づいて、ワークＰＷの検査対象物ごとの注目領域の座標情報を所定の形式で取得する。ここでいう所定の形式は、例えば、ＣＳＶ（Ｃｏｍｍａ　Ｓｅｐａｒａｔｅｄ　Ｖａｌｕｅ）形式，ｔｘｔ形式等である。
　なお、注目領域設定画面ＳＣ５における座標情報ＰＳ１は、検査対象物の座標（位置）情報を示す。基準座標情報ＰＳ２は、検査実行前の検査前処理において、検査対象物の検査を実行可能にするために、検出された検査対象物の座標（位置）を位置補正するための基準座標を示す。明るさ情報ＢＲ１は、検査対象物の撮像条件を示す。
　表示用端末Ｐ２は、取得されたワークＰＷの検査対象物ごとの注目領域の座標情報に基づいて、注目領域設定テーブルＳＴＢに設定された複数の検査対象物のそれぞれの注目領域の情報の設定、更新を実行する。これにより、ユーザは、検査対象物の注目領域を一括でまとめて設定できるため、注目領域の設定に要する手間を省略できる。
　以上説明したように、本開示に係る検査装置の一例である検査システム１００は、基板上に実装された複数のワークの外観検査を行うための学習モデルを容易に再学習することができる。つまり、検査システム１００では、従来に比べて外観検査精度をより向上することが可能である。
　なお、検査システム１００に含まれる要素の少なくとも一部を、ＡＩカメラＣ１に実装してもよい。例えば、プロセッサ１１に相当する要素と、学習用画像データベースＤＢ１１に相当する要素とを、ＡＩカメラＣ１に実装してもよい。このようにすることにより、ステップＳｔ８６に相当する処理と、ステップＳｔ８７に相当する処理とをＡＩカメラＣ１において実現することができる。このように、ＡＩカメラＣ１も本開示に係る検査装置の一例である。
　以上により、実施の形態１に係る端末装置Ｐ０（検査装置の一例）は、１つ以上のプロセッサ１１，２１，３１と、メモリ１２，２２，３２と、メモリ１２，２２，３２に保存されているプログラムと、を備える。プログラムは、第１検査対象物と、第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、第１検査対象物の検査を行うための第１注目領域と、第２検査対象物の検査を行うための第２注目領域とを設定することと、検査対象領域を撮像し、検査対象領域の撮像画像を出力するＡＩカメラＣ１（カメラの一例）に、検査対象領域の撮像画像を出力させることと、複数の検査対象物の異常（不良）を検知するための学習モデルと、撮像画像において第１注目領域に対応する第１画像領域とに基づいて、第１検査対象物を検査する第１検査を実行し、第１検査の結果を出力することと、学習モデルと、撮像画像において第２注目領域に対応する第２画像領域に基づいて、第２検査対象物を検査する第２検査を実行し、第２検査の結果を出力することと、第１検査の結果に基づいて実行される第１検査対象物の異常を検知するための第１学習を、学習モデルに実行させるか否かを示す第１入力を受け付けることと、第２検査の結果に基づいて実行される第２検査対象物の異常を検知するための第２学習を、学習モデルに実行させるか否かを示す第２入力を受け付けることと、第１入力に、学習モデルに第１学習を実行させるための第１学習情報が含まれる場合に、学習モデルに第１学習を実行させることと、第２入力に、学習モデルに第２学習を実行させるための第２学習情報が含まれる場合に、学習モデルに第２学習を実行させることと、を、１つ以上のプロセッサ２１に実行させる。なお、ここでいう検査対象領域は、ワークＰＷの少なくとも一部を撮像可能な撮像領域である。また、ここでいう第１入力および第２入力は、再学習用情報設定画面ＳＣ２１（図１２参照）、撮像条件調整画面ＳＣ３（図１３参照）、注目領域設定画面ＳＣ４（図１４参照）等を用いて行われる入力である。
　これにより、実施の形態１に係る端末装置Ｐ０は、１つのワークＰＷが複数の検査対象物を有し、かつ、検査対象物のそれぞれで異なる種類の検査が必要な場合、これらの検査対象物のそれぞれの検査を効率的に実行できる。また、端末装置Ｐ０は、各検査対象物の検査において、１つのワークＰＷが有する複数の検査対象物のそれぞれの学習モデルの再学習をまとめて実行することで、再学習をより効率的に実行できる。したがって、端末装置Ｐ０は、複数の検査対象物のそれぞれの検査精度を向上できる。
　また、以上により、実施の形態１に係る端末装置Ｐ０のプログラムは、第１画像領域に基づいて、第１撮像パラメータ（第１撮像パラメータセットの一例）を含む第１撮像条件を定めることと、第２画像領域に基づいて、第２撮像パラメータ（第２撮像パラメータセットの一例）を含む第２撮像条件を定めることと、を、１つ以上のプロセッサ２１に実行させる。これにより、実施の形態１に係る端末装置Ｐ０は、各検査対象物の検査で必要となる撮像画像を取得でき、複数の検査対象物のそれぞれの検査精度を向上できる。
　また、以上により、実施の形態１に係る端末装置Ｐ０のプログラムは、検査対象領域を照射する照明装置Ｌ１（ライトの一例）が検査対象領域を照射するための複数の照明条件を含む照明パラメータ（照明パラメータセットの一例）を定めること、を、１つ以上のプロセッサ２１に実行させる。これにより、実施の形態１に係る端末装置Ｐ０は、各検査対象物の検査で必要となる撮像画像の撮像により適した照明制御を行うことができる。したがって、端末装置Ｐ０は、複数の検査対象物のそれぞれの検査精度を向上できる。
　また、以上により、実施の形態１に係る端末装置Ｐ０のプログラムは、検査対象物の撮像画像として、照明パラメータと、第１撮像条件とを適用して撮像された検査対象領域の撮像画像と、照明パラメータと、第２撮像条件とを適用して撮像された検査対象領域の撮像画像とをＡＩカメラＣ１に出力させることと、を１つ以上のプロセッサ２１に実行させる。これにより、実施の形態１に係る端末装置Ｐ０は、各検査対象物の検査により適した撮像画像を取得できる。したがって、端末装置Ｐ０は、複数の検査対象物のそれぞれの検査精度を向上できる。
　また、以上により、実施の形態１に係る端末装置Ｐ０において、第１入力は、第１検査の結果が正しいか否かを示す入力と、第１学習を学習モデルに実行させるための入力と、第１撮像パラメータに含まれる撮像パラメータのいずれか及び複数の照明条件のいずれかを指定するための入力とのうち、少なくとも１つを含む。第２入力は、第２検査の結果が正しいか否かを示す入力と、第２学習を学習モデルに実行させるための入力と、第２撮像パラメータに含まれる撮像パラメータのいずれか及び複数の照明条件のいずれかを指定するための入力とのうち、少なくとも１つを含む。これにより、実施の形態１に係る端末装置Ｐ０は、検査の結果が正しいか否かを示す入力、あるいは検査対象物ごとの撮像条件（撮像パラメータ、照明パラメータ）に基づく再学習により、検査対象物により適した検査を実行可能な学習モデルを再生成できる。したがって、端末装置Ｐ０は、複数の検査対象物のそれぞれの検査精度を向上できる。
　また、以上により、実施の形態１に係る端末装置Ｐ０のプログラムは、第１画像領域と、第２画像領域とに基づいた教師なし学習により、学習モデルを生成することと、を、１つ以上のプロセッサ１１に実行させる。これにより、実施の形態１に係る端末装置Ｐ０は、実際に撮像された撮像画像を用いて、検査対象物の学習モデルを容易に生成できる。
　また、以上により、実施の形態１に係る端末装置Ｐ０のプログラムは、複数の検査対象物の位置を定めた設計情報、又は検査対象領域の撮像画像のいずれかに基づいて第１注目領域と第２注目領域とを設定すること、を１つ以上のプロセッサ２１に実行させる。なお、ここでいう設計情報は、例えば、ワークＰＷの設計データ等である。これにより、実施の形態１に係る端末装置Ｐ０は、設計情報に基づいて、複数の検査対象物のそれぞれの注目領域をより容易に設定できる。また、端末装置Ｐ０は、撮像画像を用いることで複数の検査対象物のそれぞれの実際の位置に基づいて、複数の検査対象物のそれぞれの注目領域を設定できる。
　また、以上により、実施の形態１に係る端末装置Ｐ０のプログラムは、検査対象領域の撮像画像と、学習モデルに第１学習を実行させるための情報及び学習モデルに第２学習を実行させるための情報を受け付け可能な入力欄とを含む再学習用情報設定画面ＳＣ２１（再学習画面の一例）を生成して、出力させることと、再学習用情報設定画面ＳＣ２１で第１入力及び第２入力を受け付けることと、を、１つ以上のプロセッサ２１に実行させる。これにより、実施の形態１に係る端末装置Ｐ０は、ユーザ操作による再学習対象に関する入力情報（第１入力、第２入力）を受け付け可能になる。また、端末装置Ｐ０は、ユーザによる再学習対象に関する入力情報の入力作業を支援できる。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２２年２月２５日出願の日本特許出願（特願２０２２－０２８５５９）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、複数のワークのそれぞれの外観検査の精度を向上可能な検査装置、画像処理方法、及び画像処理プログラムとして有用である。
１０，２０，３０，４０　通信部
１１，２１，３１，４１　プロセッサ
１２，２２，３２，４２　メモリ
１３，２３　モニタ
１４，２４　入力部
３３　撮像部
４３　光源
１００　検査システム
１１１　学習部
１１２　学習モデル生成部
２１１　検知部
２１２　検査結果生成部
２１３　学習用データ生成部
３１１　画質調整部
３１２　ベストショット選定部
３１３　画像処理部
３１４　画像解析部
３１５　判定部
４１１　調光制御部
Ｃ１　ＡＩカメラ
ＤＢ１２，ＤＢ２１，ＤＢ３１　ＡＩカメラパラメータデータベース
ＤＢ３２　学習モデルデータベース
Ｌ１　照明装置
Ｐ０　端末装置
Ｐ１　学習用端末
Ｐ２　表示用端末
ＰＲ１　撮像パラメータテーブル
ＰＲ２　照明パラメータテーブル
ＳＣ１　検査結果画面
ＳＣ２　検査結果確認画面
ＳＣ２１　再学習用情報設定画面
ＳＳ　センサ
ＳＴＢ　注目領域設定テーブル

Claims (11)

  1. 　１つ以上のプロセッサと、
    　１つ以上のメモリと、
    　前記メモリに保存されているプログラムと、を備え、
    　前記プログラムは、
    　第１検査対象物と、前記第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、前記第１検査対象物の検査を行うための第１注目領域と、前記第２検査対象物の検査を行うための第２注目領域とを設定することと、
    　前記検査対象領域を撮像し、前記検査対象領域の撮像画像を出力するカメラに、前記検査対象領域の撮像画像を出力させることと、
    　前記複数の検査対象物の異常を検知するための学習モデルと、前記撮像画像において前記第１注目領域に対応する第１画像領域とに基づいて、前記第１検査対象物を検査する第１検査を実行し、前記第１検査の結果を出力することと、
    　前記学習モデルと、前記撮像画像において前記第２注目領域に対応する第２画像領域に基づいて、前記第２検査対象物を検査する第２検査を実行し、前記第２検査の結果を出力することと、
    　前記第１検査の結果に基づいて実行される前記第１検査対象物の異常を検知するための第１学習を、前記学習モデルに実行させるか否かを示す第１入力を受け付けることと、
    　前記第２検査の結果に基づいて実行される前記第２検査対象物の異常を検知するための第２学習を、前記学習モデルに実行させるか否かを示す第２入力を受け付けることと、
    　前記第１入力に、前記学習モデルに前記第１学習を実行させるための第１学習情報が含まれる場合に、前記学習モデルに前記第１学習を実行させることと、
    　前記第２入力に、前記学習モデルに前記第２学習を実行させるための第２学習情報が含まれる場合に、前記学習モデルに前記第２学習を実行させることと、
    　を、前記１つ以上のプロセッサに実行させる、
    　検査装置。
  2. 　前記プログラムは、
    　前記第１画像領域に基づいて、第１撮像パラメータセットを含む第１撮像条件を定めることと、
    　前記第２画像領域に基づいて、第２撮像パラメータセットを含む第２撮像条件を定めることと、
    　を、前記１つ以上のプロセッサに実行させる、
    　請求項１に記載の検査装置。
  3. 　前記プログラムは、
    　前記検査対象領域を照射するライトが前記検査対象領域を照射するための複数の照明条件を含む照明パラメータセットを定めること、
    　を、前記１つ以上のプロセッサに実行させる、
    　請求項２に記載の検査装置。
  4. 　前記プログラムは、
    　前記検査対象物の撮像画像として、前記照明パラメータセットと、前記第１撮像条件とを適用して撮像された前記検査対象領域の撮像画像と、前記照明パラメータセットと、前記第２撮像条件とを適用して撮像された前記検査対象領域の撮像画像とを前記カメラに出力させることと、
    　を前記１つ以上のプロセッサに実行させる、
    　請求項３に記載の検査装置。
  5. 　前記第１入力は、前記第１検査の結果が正しいか否かを示す入力と、前記第１学習を前記学習モデルに実行させるための入力と、前記第１撮像パラメータセットに含まれる撮像パラメータのいずれか及び前記複数の照明条件のいずれかを指定するための入力とのうち、少なくとも１つを含み、
    　前記第２入力は、前記第２検査の結果が正しいか否かを示す入力と、前記第２学習を前記学習モデルに実行させるための入力と、前記第２撮像パラメータセットに含まれる撮像パラメータのいずれか及び前記複数の照明条件のいずれかを指定するための入力とのうち、少なくとも１つを含む、
    　請求項４に記載の検査装置。
  6. 　前記プログラムは、
    　前記第１画像領域と、前記第２画像領域とに基づいた教師なし学習により、前記学習モデルを生成することと、
    　を、前記１つ以上のプロセッサに実行させる、
    　請求項１から５のいずれか１項に記載の検査装置。
  7. 　前記プログラムは、
    　前記複数の検査対象物の位置を定めた設計情報、又は前記検査対象領域の撮像画像のいずれかに基づいて前記第１注目領域と前記第２注目領域とを設定すること、
    　を前記１つ以上のプロセッサに実行させる、
    　請求項１から６のいずれか１項に記載の検査装置。
  8. 　前記カメラを備える、
    　請求項１から７のいずれか１項に記載の検査装置。
  9. 　前記プログラムは、
    　前記検査対象領域の撮像画像と、ユーザが前記第１学習情報と前記第２学習情報とを入力するための入力欄と、を含む再学習画面を表示させることと、
    　前記再学習画面に対するユーザ操作に基づいて、前記第１入力及び前記第２入力を受け付けることと、
    　を、前記１つ以上のプロセッサに実行させる、
    　請求項１から７のいずれか１項に記載の検査装置。
  10. 　第１検査対象物と、前記第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、前記第１検査対象物の検査を行うための第１注目領域と、前記第２検査対象物の検査を行うための第２注目領域とを設定することと、
    　前記検査対象領域を撮像し、前記検査対象領域の撮像画像を出力するカメラに、前記検査対象領域の撮像画像を出力させることと、
    　前記複数の検査対象物の異常を検知するための学習モデルと、前記撮像画像において前記第１注目領域に対応する第１画像領域とに基づいて、前記第１検査対象物を検査する第１検査を実行し、前記第１検査の結果を出力することと、
    　前記学習モデルと、前記撮像画像において前記第２注目領域に対応する第２画像領域に基づいて、前記第２検査対象物を検査する第２検査を実行し、前記第２検査の結果を出力することと、
    　前記第１検査の結果に基づいて実行される前記第１検査対象物の異常を検知するための第１学習を、前記学習モデルに実行させるか否かを示す第１入力を受け付けることと、
    　前記第２検査の結果に基づいて実行される前記第２検査対象物の異常を検知するための第２学習を、前記学習モデルに実行させるか否かを示す第２入力を受け付けることと、
    　前記第１入力に、前記学習モデルに前記第１学習を実行させるための第１学習情報が含まれる場合に、前記学習モデルに前記第１学習を実行させることと、
    　前記第２入力に、前記学習モデルに前記第２学習を実行させるための第２学習情報が含まれる場合に、前記学習モデルに前記第２学習を実行させることと、を含む、
    　画像処理方法。
  11. 　第１検査対象物と、前記第１検査対象物と異なる第２検査対象物とを含む複数の検査対象物を含む検査対象領域において、前記第１検査対象物の検査を行うための第１注目領域と、前記第２検査対象物の検査を行うための第２注目領域とを設定することと、
    　前記検査対象領域を撮像し、前記検査対象領域の撮像画像を出力するカメラに、前記検査対象領域の撮像画像を出力させることと、
    　前記複数の検査対象物の異常を検知するための学習モデルと、前記撮像画像において前記第１注目領域に対応する第１画像領域とに基づいて、前記第１検査対象物を検査する第１検査を実行し、前記第１検査の結果を出力することと、
    　前記学習モデルと、前記撮像画像において前記第２注目領域に対応する第２画像領域に基づいて、前記第２検査対象物を検査する第２検査を実行し、前記第２検査の結果を出力することと、
    　前記第１検査の結果に基づいて実行される前記第１検査対象物の異常を検知するための第１学習を、前記学習モデルに実行させるか否かを示す第１入力を受け付けることと、
    　前記第２検査の結果に基づいて実行される前記第２検査対象物の異常を検知するための第２学習を、前記学習モデルに実行させるか否かを示す第２入力を受け付けることと、
    　前記第１入力に、前記学習モデルに前記第１学習を実行させるための第１学習情報が含まれる場合に、前記学習モデルに前記第１学習を実行させることと、
    　前記第２入力に、前記学習モデルに前記第２学習を実行させるための第２学習情報が含まれる場合に、前記学習モデルに前記第２学習を実行させることと、
    　を、１つ以上のプロセッサに実行させる、
    　画像処理プログラム。
PCT/JP2023/006788 2022-02-25 2023-02-24 検査装置、画像処理方法、及び画像処理プログラム WO2023163117A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-028559 2022-02-25
JP2022028559 2022-02-25

Publications (1)

Publication Number Publication Date
WO2023163117A1 true WO2023163117A1 (ja) 2023-08-31

Family

ID=87766155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/006788 WO2023163117A1 (ja) 2022-02-25 2023-02-24 検査装置、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2023163117A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045019A (ja) * 2014-08-20 2016-04-04 オムロン株式会社 基板検査装置のティーチング装置及びティーチング方法
JP2019100917A (ja) * 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
WO2021010269A1 (ja) * 2019-07-18 2021-01-21 三菱電機株式会社 検査装置、検査方法及びプログラム
JP2021120631A (ja) * 2020-01-30 2021-08-19 株式会社デンソーテン 画像生成装置および画像生成方法
JP2022015502A (ja) * 2020-07-09 2022-01-21 株式会社日立情報通信エンジニアリング 機械学習装置および機械学習方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045019A (ja) * 2014-08-20 2016-04-04 オムロン株式会社 基板検査装置のティーチング装置及びティーチング方法
JP2019100917A (ja) * 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
WO2021010269A1 (ja) * 2019-07-18 2021-01-21 三菱電機株式会社 検査装置、検査方法及びプログラム
JP2021120631A (ja) * 2020-01-30 2021-08-19 株式会社デンソーテン 画像生成装置および画像生成方法
JP2022015502A (ja) * 2020-07-09 2022-01-21 株式会社日立情報通信エンジニアリング 機械学習装置および機械学習方法

Similar Documents

Publication Publication Date Title
JP6936957B2 (ja) 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
JP6934082B2 (ja) デバイスの画面損傷検出
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP4537104B2 (ja) マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
US10699400B2 (en) Image processing apparatus, image processing method, and storage medium
JP6507653B2 (ja) 検査装置及び検査装置の制御方法
US11386549B2 (en) Abnormality inspection device and abnormality inspection method
US20070176927A1 (en) Image Processing method and image processor
JP7217660B2 (ja) ボルトの締結状態検知装置及び方法、並びにプログラム
JP6765791B2 (ja) パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体
WO2020110560A1 (ja) コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
CN112884743B (zh) 检测方法及装置、检测设备和存储介质
JP2010071951A (ja) 視覚検査装置および視覚検査方法
JP2009289046A (ja) ３次元データを用いた作業支援装置及び方法
WO2023163117A1 (ja) 検査装置、画像処理方法、及び画像処理プログラム
KR101748768B1 (ko) 머신 비전 검사를 위한 가상 테스트 이미지 생성 방법 및 장치, 머신 비전 검사 시뮬레이션 방법 및 장치, 및 머신 비전 테스트 시스템
US20230024820A1 (en) Analysis device and analysis method
JP2006251561A (ja) 欠陥画素リペア方法
JP6708695B2 (ja) 検査装置
JP6027717B2 (ja) 視線位置特定手段を備えた目視検査装置
CN115100166A (zh) 焊点缺陷检测方法及装置
JP4470659B2 (ja) 部品検査用のモデル登録方法およびこの方法を用いた検査データ作成装置
JP2006133055A (ja) ムラ欠陥検出方法及び装置、空間フィルタ、ムラ欠陥検査システム並びにムラ欠陥検出方法のプログラム
JP2010244320A (ja) 画像処理装置
JPWO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23760115

Country of ref document: EP

Kind code of ref document: A1