WO2023238590A1 - 疑似欠陥画像生成装置 - Google Patents

疑似欠陥画像生成装置 Download PDF

Info

Publication number
WO2023238590A1
WO2023238590A1 PCT/JP2023/017657 JP2023017657W WO2023238590A1 WO 2023238590 A1 WO2023238590 A1 WO 2023238590A1 JP 2023017657 W JP2023017657 W JP 2023017657W WO 2023238590 A1 WO2023238590 A1 WO 2023238590A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
pseudo
image
defective
image generation
Prior art date
Application number
PCT/JP2023/017657
Other languages
English (en)
French (fr)
Inventor
直樹 細谷
恭弘 藤岡
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2023238590A1 publication Critical patent/WO2023238590A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a pseudo defect image generation device that supplies pseudo defect images for machine learning to a learning device that generates a determiner for visual inspection.
  • Patent Document 1 states, ⁇ A defective part data storage unit that stores defective part data that is image data of a defective part image, and a non-defective part data storage part that stores non-defective part data that is image data of a non-defective part image. , a learning data generation unit that generates learning data that is image data of a learning image obtained by combining the defective image with the non-defective image based on the defective part data, the non-defective part data, and the generation parameters;
  • a learning data generation device is disclosed that includes a learning data storage section for storing the learning data, and a generation parameter setting section for setting the generation parameters.
  • a defective product image is generated by combining a defective part image with a non-defective product image to compensate for the lack of a defective product image.
  • Patent Document 1 if you want to generate a large number of images of pseudo-defective products for each of processed products with multiple specifications, you must prepare defective part images for each specification of the processed product or for each position of the defective part. However, a considerable amount of effort was required to prepare the training data before generating it.
  • the present invention makes it possible to easily generate various pseudo-defective product images by using a common defect image when generating pseudo-defective product images of multiple processed products with different specifications.
  • An object of the present invention is to provide a pseudo-defect image generation device that can generate images of pseudo-defects.
  • a pseudo defect image generation device of the present invention is a pseudo defect image generation device that generates a pseudo defect image to be learned by a learning device, and includes a defect library storing defect partial images and processing items. Based on the management information that associates the content allowed for processing, a defect placement rule that specifies defects and inspection areas according to the processing item, and based on the defect placement rule, the defective partial image is converted into a normal product image.
  • a pseudo-defect image generation section that is disposed in the upper inspection area and generates a pseudo-defect image.
  • the pseudo defect image generation device of the present invention when generating pseudo defect images of multiple processed products with different specifications, by using a common defect image, it is possible to easily generate various pseudo defect images. can be generated.
  • FIG. 1 Schematic diagram of the visual inspection system. 1 is a diagram schematically showing a pseudo-defect image generation device of Example 1.
  • FIG. Flowchart of pseudo defect image generation processing A diagram showing an example of the GUI of the setting section of Example 1 A diagram showing an example of the GUI of the setting section of Example 1 A diagram showing an example of the GUI of the setting section of Example 1 A diagram showing an example of the GUI of the setting section of Example 1 A diagram showing an outline of the pseudo defect image generation device of Example 2 Diagram showing the arrangement of defects in Example 2 Diagram showing a normal product image of Example 3 A diagram showing an outline of the pseudo defect image generation device of Example 4 A diagram showing an outline of a pseudo defect image generation device of Example 5 Diagram showing a normal product image of Example 5
  • FIGS. 1 to 4D a pseudo defect image generation device 10 according to a first embodiment of the present invention will be described using FIGS. 1 to 4D.
  • FIG. 1 is a schematic diagram of an appearance inspection system that inspects the appearance of a processed product 1.
  • this visual inspection system includes a camera 2 that images a processed product 1, an external appearance inspection device 3 that visually inspects the processed product 1 based on an image P captured by the camera 2, and an image capturing area of the camera 2.
  • a conveyance device 4 for conveying the processed product 1 is provided.
  • FIG. 1 illustrates two types of processed products 1A and 1B with different specifications as objects to be inspected, there may be three or more types of processed products 1 to be inspected.
  • the visual inspection device 3 includes a determiner 3a generated by the learning device 20.
  • the learning device 20 uses a machine such as a Deep Neural Network or Support Vector Machine to target pseudo defect images supplied from a pseudo defect image generation device 10 (described later) in addition to images of normal products and defective product images actually captured. This is a device that uses learning to generate a determiner 3a.
  • the generated determiner 3a can visually inspect all processed products 1 with different specifications manufactured through the same processing process, and whether the processed products 1 with various specifications sequentially transported by the transport device 4 are normal. It is possible to sequentially determine whether the item is a product or not.
  • the objects to be inspected by the determiner 3a are engine pistons (processed products 1A, 1B) of different specifications that are both manufactured through a casting process and a crown cutting process, and the metal processed parts W (W When inspecting defects (holes, scratches, dents, etc.) in A , W B ), the learning device 20 performs machine learning on normal product images and defective product images of the metal processing part W for each specification. , a determiner 3a capable of visually inspecting any processed product 1 is generated.
  • FIG. 2 is a diagram schematically showing the pseudo defect image generation device 10 of the first embodiment.
  • the pseudo defect image generation device 10 of the present embodiment includes a defective product image library 11, a normal product image library 12, a defect library 13, and a setting user interface (hereinafter referred to as "setting UI 14"). and a pseudo-image generation unit 15, which generates a pseudo-defective product image according to setting input from the setting UI 14 and outputs it to the learning device 20.
  • the pseudo-defect image generation device 10 is specifically a computer equipped with a calculation device such as a CPU, a main storage device such as a semiconductor memory, an auxiliary storage device such as a hard disk, and hardware such as a communication device. be.
  • the arithmetic unit executes a predetermined program loaded into the main memory, and the auxiliary storage device stores predetermined data, thereby realizing each function described below. Details of each part will be sequentially explained while omitting technical details as appropriate.
  • the defective product image library 11 is a storage unit that stores defective product images Pa of a processed product 1 (eg, processed product 1A) having at least one specification.
  • the defective product image Pa is an image including a defective blob b, which will be described later.
  • the normal product image library 12 is a storage unit that stores normal product images Pn (eg, normal product images Pn A , Pn B ) of processed products 1 of at least two specifications (eg, processed products 1A and 1B).
  • the defect library 13 is a storage unit that stores at least one set of defect labels l and defect patches p extracted from the defect image Pa. Note that the details of the defect label l and defect patch p will be described later.
  • the setting UI 14 is a user interface used by the user to enter settings for the defect label l and inspection area R, and to generate a pseudo-defective product image. Input devices such as keyboards, mice, touch panels, etc. Note that details of the setting UI 14 will be described later using FIGS. 4A to 4D.
  • the pseudo image generation section 15 is composed of a defect library generation section 15a, an inspection area generation section 15b, a defect placement rule generation section 15c, and a pseudo defect image generation section 15d.
  • the defect library generation unit 15a is a functional unit that mainly generates a defect label l and a defect patch p from the defective product image Pa. Therefore, the defect library generation unit 15a first obtains the defective product image Pa from the defective product image library 11 and displays it on the display of the setting UI 14. Thereafter, when the user specifies an arbitrary defective blob b on the defective product image Pa displayed on the display, the defect library generation unit 15a stores the position and shape of the defective blob b in the defect library 13 as a defect label l. Store. Furthermore, the defect library generation unit 15a cuts out the same location as the defect label l from the defective product image Pa and stores it in the defect library 13 as a defect patch p. Further, the defect library generation unit 15a also stores in the defect library 13 the defect type of the defective blob b registered by the user.
  • the defective blob b of the defective product image Pa is a blowhole
  • the defect library 13 includes a defect label l, which is information that specifies the position and shape of the blowhole, and image data near the blowhole.
  • a defective patch p is stored as a pair of data. Normally, if the processing steps of the workpiece 1 are the same, the appearance of defects does not depend on the specifications. Processed product 1B) can also be shared.
  • the inspection area generation unit 15b is a functional unit that generates an inspection area R on the normal product image Pn. For example, when generating the inspection area RA corresponding to the normal product image PnA of the processed product 1A, the inspection area generation unit 15b first acquires the normal product image PnA from the normal product image library 12, and sets Display on the display of UI14. When the user traces the outer periphery of the inspection target area (for example, the outline of the metal processing part WA ) on the displayed image with the mouse cursor, the inspection area generation unit 15b inspects the outline data traced with the mouse cursor. It is retained as area RA .
  • the inspection target area for example, the outline of the metal processing part WA
  • the inspection area generation unit 15b holds the inspection area RB corresponding to the normal product image PnB of the processed product 1B using the same method as described above.
  • a plurality of inspection areas R may be generated for one workpiece 1.
  • the cast surface part of the crown surface of the engine piston and the metal processing part may be different inspection areas, or the inspection area R may be different for the cast surface part of the crown surface of the engine piston and the metal processing part
  • the interior may be divided into a plurality of inspection areas depending on the degree of importance.
  • the defect placement rule generation unit 15c is a functional unit that generates a defect placement rule r based on management information i etc. prepared in advance.
  • management information i management items (inspection area R, defect type) and permissible contents (defect size specifications, etc.) are described in association with each other for each inspection process.
  • the defect placement rule generation unit 15c holds the inspection area type, defect type, defect size, and placement method specified by the user on the setting UI 14 based on the management information i as a defect placement rule r.
  • the inspection area R is specified by selecting one corresponding to the inspection area R described in the management information i from the inspection area types generated by the inspection area generation unit 15b.
  • a defect type corresponding to the defect type described in the management information i is selected and specified from the defect types stored in the defect library 13.
  • the defect size the defect size described in the management information i is specified.
  • the arrangement method is selected and designated for each inspection region from among previously prepared arrangement methods, such as random arrangement, equidistant arrangement, arrangement along the outline of the inspection region R, etc. Normally, if the processing steps are the same, the defect occurrence area within the processing area does not depend on the product type, so defect placement rules can be shared among the product types.
  • the pseudo-defective product image generation unit 15d is a functional unit that generates a pseudo-defective product image Pv based on the defect placement rule r.
  • the pseudo-defective image generation process will be described, taking as an example the case of generating the pseudo-defective image PvA of the processed product 1A.
  • step S1 the pseudo-defective product image generation unit 15d obtains a normal product image PnA of the processed product 1A from the normal product image library 12.
  • step S2 the pseudo-defective product image generation unit 15d converts the data of the inspection area RA of the normal product image PnA , which corresponds to the inspection area R specified by the defect placement rule r, into the inspection area generation unit 15b. Get from.
  • step S3 the pseudo-defective product image generation unit 15d obtains the defect patch p and defect label l corresponding to the defect type and defect size specified by the defect placement rule r from the defect library 13. Specifically, a defect patch p and a defect label l are obtained which are of the same defect type as the defect type specified by the defect placement rule r and whose size is larger than or equal to the defect size specified by the defect placement rule r. This is to cause the determiner 3a to learn based on the pseudo-defective product image Pv in which only defective patches p of a specified size or larger are arranged.
  • step S4 the pseudo-defective product image generation unit 15d cuts out a portion corresponding to the defect label l from the defective patch p, and arranges it in the inspection area RA on the normal product image PnA according to the defect placement rule r.
  • a pseudo-defective product image PvA is generated by combining according to the method. For example, if the defect placement rule r specifies placement along the outline of the inspection area R as the placement method, as illustrated in the pseudo-defective product image PvA in FIG. A defective patch p is placed. Although not shown, a pseudo defect label image in which a defect label is placed at the same position as the defect patch p of the pseudo defect image PvA is also generated.
  • the defect patch is created along the outline of the inspection area RB by the same process as in FIG. It is possible to generate a pseudo-defective image PvB in which the pseudo-defective image PvB is placed.
  • the defect patch p and defect label l used in generating the pseudo-defective image PvB are shared, if the defective image PvB of processed product 1B is Even if it is not possible to prepare a defective image of the processed product 1A, it is possible to generate a pseudo-defective image PvB .
  • FIG. 4A illustrates a GUI when generating a defect library.
  • the processing menu M displayed on the setting UI 14 lists the processes that can be executed by the pseudo-defect image generation device 10, and the user can select a desired one from these.
  • the defect library generation unit 15a acquires the defective product image Pa from the defective product image library 11 and displays it in the image display area V.
  • the traced area is displayed as a defective blob b.
  • the user inputs the defect type (for example, a cavity) and the defect size (for example, 0.5 mm) of the defect blob b into the defect type setting area B1.
  • the defect library generation unit 15a stores the defect blob b as a defect label l in the defect library 13, and also stores the same part as the defect label l from the defective product image Pa.
  • the extracted patch is defined as a defect patch p, and is stored in the defect library 13 together with the defect type (for example, a blow hole) specified by the user.
  • FIG. 4B illustrates a GUI when generating the inspection area R.
  • the name of the product to be inspected can be entered in the product setting area B2.
  • the inspection area generation unit 15b selects the processed product 1A from the normal product image library 12.
  • a normal product image PnA is acquired and displayed in the image display area V.
  • the area traced by the user with the mouse cursor C on the display image is displayed as the inspection area R.
  • an inspection area name can be input in the inspection area type input area B3.
  • the inspection area generation unit 15b converts the inspection area R into the inspection area R of the processed product 1A. Retain as A.
  • FIG. 4C illustrates a GUI when generating the defect placement rule r.
  • the placement rule setting area B4 it is possible to input a method for arranging defects on the pseudo-defective product image Pv.
  • the user selects placement rule setting M4 from the processing menu M, the user inputs the inspection area type, defect type, defect size, and placement method (in the figure, the inspection area R A , the cavity, 0.5 mm, and the inspection area outline
  • the defect placement rule generation unit 15c sets the inspection area type, defect type, defect size, and placement method specified by the user. , is held as the defect placement rule r.
  • FIG. 4D illustrates a GUI when generating the pseudo-defective product image Pv.
  • the pseudo-defective product image generation unit 15d When the user selects pseudo-defective product image generation M5 from the processing menu M and inputs the product type and inspection area type (processed product 1A and inspection area R A in the figure), the pseudo-defective product image generation unit 15d generates a normal product image library.
  • a normal product image PnA of the processed product 1A is acquired from 12 and displayed in the image display area V.
  • the inspection area RA is acquired from the inspection area generation unit 15b and displayed over the image display area V.
  • a defect patch p and a defect label l corresponding to the specified defect type and defect size are acquired from the defect library 13, and are overwritten and displayed in the image display area V in the specified arrangement method (along the outline in the figure).
  • the pseudo-defective product image generation unit 15d retains the displayed image as a pseudo-defective product image Pv. Note that this process is equivalent to that described in the flowchart of FIG.
  • a pseudo defect image generation device that can share patch images and labels of defective parts between products, and can reduce the effort of collecting images of defective parts for each product. can do. Furthermore, it is possible to provide a pseudo-defect image generation device that can share defect placement rules for arranging defects in the inspection area between products, and can reduce the effort of specifying defect placement for each product. In addition, a pseudo defect image generation device that can determine the defect size and defect interval according to the image area size and processing density settings during learning and evaluation of the learning device, and generates pseudo defect images with defect placement with high learning efficiency. can be provided.
  • FIGS. 5 and 6 Note that redundant explanation of common points with the above embodiments will be omitted.
  • the pseudo-defective product image Pv was generated without particularly considering the specifications of the learning device 20, but in the pseudo-defective image generating device 10 of this embodiment, the pseudo-defective product image Pv was generated by taking the specifications of the learning device 20 into consideration. Generate image Pv.
  • the input image is divided into small rectangular areas, and the defective part is determined for each divided rectangular area. It is preferable that the position corresponding to the rectangular area where the defect exists is determined as the position of the defect by determining the presence or absence of the defect.
  • the image area size and processing density at the time of learning and evaluation are set as specifications.
  • the image area size is the size of the aforementioned rectangular area.
  • the operation of the pseudo-defective product image generation unit 15d is basically the same as in the first embodiment, but differs in the following points. That is, the pseudo-defective product image generation unit 15d of the present embodiment generates the pseudo-defective product image Pv based also on the information (image area size, processing density) acquired from the learning device 20.
  • the pseudo-defective image generation unit 15d of this embodiment first performs steps S1 and S2 that are the same as in the first embodiment.
  • the defect type is the same as the defect type specified by the defect placement rule r, the defect size is greater than or equal to the defect size specified by the defect placement rule r, and the defect size is less than the image area size Ls obtained from the learning device 20. , obtain defect patch p and defect label l.
  • the reason why only defect patches p, etc. having an image area size less than the image area size Ls obtained from the learning device 20 are acquired is that only the defect patches p smaller than the image area size Ls, which is the specification of the learning device 20, are imaged as pseudo-defective products.
  • step S4 the learning device 20 cuts out a portion corresponding to the defect label l from the defect patch p and places it in the inspection area RA on the normal product image PnA according to the placement method specified in the defect placement rule r.
  • the defects are arranged so that the defect interval ⁇ x satisfies the following two equations, and a pseudo-defective product image PvA is generated.
  • FIG. 6 shows the defect arrangement in the horizontal direction, the same applies to the defect arrangement in the vertical direction.
  • the defect size and defect interval can be determined according to the image area size and processing density settings during learning and evaluation of the learning device, and a pseudo-defect image with defect placement that is highly efficient in learning can be generated.
  • a pseudo defect image generation device can be provided.
  • Example 3 of the present invention will be described using FIG. 7. Note that redundant explanation of common points with the above embodiments will be omitted.
  • the pseudo-defective product image generation unit 15d of the present embodiment first performs steps S1, S2, and S3 that are equivalent to those in the first embodiment. implement.
  • step S4 a portion corresponding to the defect label l is cut out from the defect patch p, and is synthesized in the inspection area RA on the normal product image PnA according to the placement method specified in the defect placement rule r, thereby creating a false defect.
  • a product image PvA is generated.
  • the gradation value of the defective patch p is corrected and synthesized.
  • Ba is the gradation value of a location 70 on the normal product image PnA where the defective patch p is combined
  • Bc is the gradation value of a location 71 corresponding to the defect label l of the defective patch p
  • the gradation value of a portion 72 corresponding to the background that does not correspond to the defect label l of patch p is assumed to be Bb
  • the corrected gradation value Bd of the defective patch is determined and synthesized based on the following formula.
  • FIG. 8 Note that redundant explanation of common points with the above embodiments will be omitted.
  • a normal defect comparison unit 80 is added to the defect library generation unit 15a of this embodiment, and a defect patch p and a defect label l are extracted from a defective product image Pa using a method different from that of the first embodiment. generate.
  • the defect library generation unit 15a first obtains the defective product image Pa from the defective product image library 11, and obtains the normal product image Pn from the normal product image library 12. Then, the normal defect comparison unit 80 compares the two images, sets the area with a difference of more than a predetermined value as a defective blob b, sets the defective blob b as a defective label l, and marks the same part as the defective label l as a defective product image.
  • a defect patch p is extracted from Pa, and is stored in the defect library 13 together with the defect type specified by the user, such as a blow hole.
  • a pseudo defect image generation device that can create a defect library without the user specifying the defect blob b, and can reduce the user's effort in creating the defect library.
  • Example 5 of the present invention will be described using FIGS. 9 and 10. Note that redundant explanation of common points with Example 4 will be omitted.
  • the defect library generation unit 15a of this embodiment includes a texture extraction unit 90 in addition to a normal defect comparison unit 80, and uses a method different from those of the first and fourth embodiments to extract defective product images Pa.
  • a defect patch p and a defect label l are generated.
  • the defect library generation unit 15a first obtains the normal product image Pn from the normal product image library 12, and displays it on the display of the setting UI 14.
  • the processed product 1A to be inspected has been subjected to some processing before being inspected. For example, it is assumed that the processed product 1A to be inspected is a cast metal part, and a part of its surface has been machined.
  • the processed product 1A on the normal product image PnA is divided into a cast surface part 101 and a machined part 102.
  • the texture cutting unit 90 sets an area corresponding to the casting surface cutting portion 103 specified by the user on the displayed image, for example, by tracing the casting surface portion 101 with the mouse cursor C, as a defect label l, and sets it as a defect label l.
  • the same part cut out from the normal product image PnA is set as a defect patch p, and is stored in the defect library 13 together with the defect type, for example, remaining cast surface. From this defect library, casting surface remaining defects can be synthesized by referring to the defect placement rules and arranging them in the metal processing part.
  • a pseudo-defect image generation device that does not require a defective product image Pa, can create a defect library from a normal product image Pn, and can reduce the user's effort to collect images of defective parts. can be provided.
  • Example 6 of the present invention will be described. Note that redundant explanation of common points with the above embodiments will be omitted.
  • the defect library generation unit 15a generated the defect patch p from the defective product image Pa, but the defect patch p may be an image artificially generated by imitating the defective part, for example.
  • the image artificially generated by imitating the defective portion is an image corresponding to the defect drawn by the user using paint software or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

加工品を対象として機械学習を用いた外観検査を行う際に、欠陥部の画像を品種間で共有し、欠陥部の画像を収集する手間を削減することのできる疑似欠陥画像生成装置を提供する。学習装置に学習させる疑似欠陥画像を生成する疑似欠陥画像生成装置であって、欠陥部分画像を格納した欠陥ライブラリと、加工項目と加工に許容される内容を対応付けた管理情報に基づいて、前記加工項目に応じた欠陥と検査領域を指定した欠陥配置ルールと、該欠陥配置ルールに基づいて、前記欠陥部分画像を正常品画像上の前記検査領域に配置して疑似欠陥画像を生成する疑似欠陥画像生成部と、を備える、疑似欠陥画像生成装置。

Description

疑似欠陥画像生成装置
　本発明は、外観検査用の判定器を生成する学習装置に、機械学習用の疑似欠陥画像を供給する疑似欠陥画像生成装置に関する。
　所定仕様の加工品の外観検査に機械学習を適用したい場合には、まず、同仕様の加工品の欠陥品画像と正常品画像を大量に機械学習させて判定器を生成する必要がある。また、この判定器の検査精度を向上させたい場合には、正常品画像の数と同程度の数の欠陥品画像を機械学習させる必要がある。しかしながら、通常は、正常品の数に比べて欠陥品の数が遥かに少ないため、正常品画像と同程度の数の欠陥品画像を用意することは困難であった。
　そこで、欠陥品画像の不足を補うための様々な手法が提案されてきた。例えば、特許文献１の要約書には、「不良部画像の画像データである不良部データを記憶する不良部データ記憶部と、良品画像の画像データである良品データを記憶する良品データ記憶部と、前記不良部データ、前記良品データ、及び生成パラメータに基づいて、前記良品画像に前記不良部画像を合成した学習画像の画像データである学習データを生成する学習データ生成部と、前記学習データを記憶する学習データ記憶部と、前記生成パラメータを設定する生成パラメータ設定部と、を備える」学習データ生成装置が開示されている。
　このように、特許文献１では、良品画像に不良部画像を合成することで欠陥品画像を生成し、欠陥品画像の不足を補っている。
特開２０２０－０２７４２４号公報
　しかしながら、特許文献１で生成される学習データは、同文献の段落００４７～００４８、図６等に例示されるように、不良部画像の大きさ、角度、色、輝度などを変化させて、良品画像上の同じ位置に合成することで、疑似的な欠陥品画像としたものである。従って、特許文献１で生成可能な疑似欠陥品画像は、実際に撮像された欠陥品画像と同仕様の加工品の疑似欠陥品画像に限定され、異なる仕様の加工品の疑似欠陥品画像を生成することはできなかった。また、特許文献１では、同仕様の加工品であっても、実際に撮像された欠陥品画像と異なる位置に欠陥部のある疑似欠陥品画像を生成することはできなかった。
　このため、特許文献１では、複数仕様の加工品の夫々について大量の疑似欠陥品画像を生成したい場合は、加工品の仕様毎に、或いは、不良部の位置毎に不良部画像を用意しなければならず、学習データを生成する前の準備作業に相当の労力を要していた。
　この問題を踏まえ、本発明は、仕様の異なる複数の加工品の疑似欠陥品画像を生成する際に、共通の欠陥部画像を利用することで、多様な疑似欠陥品画像を容易に生成することができる疑似欠陥画像生成装置を提供することを目的とする。
　上記課題を解決するため、本発明の疑似欠陥画像生成装置は、学習装置に学習させる疑似欠陥画像を生成する疑似欠陥画像生成装置であって、欠陥部分画像を格納した欠陥ライブラリと、加工項目と加工に許容される内容を対応付けた管理情報に基づいて、前記加工項目に応じた欠陥と検査領域を指定した欠陥配置ルールと、該欠陥配置ルールに基づいて、前記欠陥部分画像を正常品画像上の前記検査領域に配置して疑似欠陥画像を生成する疑似欠陥画像生成部と、を備えるものとした。
　本発明の疑似欠陥画像生成装置によれば、仕様の異なる複数の加工品の疑似欠陥品画像を生成する際に、共通の欠陥部画像を利用することで、多様な疑似欠陥品画像を容易に生成することができる。
外観検査システムの概略図。 実施例１の疑似欠陥画像生成装置の概略を示す図。 疑似欠陥画像生成処理のフローチャート。 実施例１の設定部のＧＵＩの例を示す図 実施例１の設定部のＧＵＩの例を示す図 実施例１の設定部のＧＵＩの例を示す図 実施例１の設定部のＧＵＩの例を示す図 実施例２の疑似欠陥画像生成装置の概略を示す図 実施例２の欠陥の配置を示す図 実施例３の正常品画像を示す図 実施例４の疑似欠陥画像生成装置の概略を示す図 実施例５の疑似欠陥画像生成装置の概略を示す図 実施例５の正常品画像を示す図
　以下、図面を用いて、本発明の疑似欠陥画像生成装置の実施例を説明する。
　まず、図１から図４Ｄを用いて、本発明の実施例１に係る疑似欠陥画像生成装置１０を説明する。
　図１は、加工品１の外観を検査する外観検査システムの概略図である。図示するように、この外観検査システムは、加工品１を撮像するカメラ２と、カメラ２が撮像した画像Ｐに基づいて加工品１を外観検査する外観検査装置３と、カメラ２の撮像範囲に加工品１を搬送する搬送装置４を備えている。なお、図１では、仕様の異なる２種類の加工品１Ａ、１Ｂを検査対象として例示しているが、検査対象の加工品１が３種類以上あっても良い。
　外観検査装置３には、学習装置２０が生成した判定器３ａが組み込まれている。学習装置２０は、実際に撮像された正常品画像や欠陥品画像に加えて、後述する疑似欠陥画像生成装置１０から供給された疑似欠陥画像を対象として、Deep Neural Network やSupport Vector Machine等の機械学習を用い、判定器３ａを生成する装置である。生成された判定器３ａは、同一の加工工程を経て製造された仕様の異なる加工品１を何れも外観検査可能なものとなり、搬送装置４で順次搬送される様々な仕様の加工品１が正常品か否かを順次判定することができる。
　例えば、判定器３ａの検査対象が、共に鋳造工程と冠面切削工程を経て製造された、異なる仕様のエンジンピストン（加工品１Ａ、１Ｂ）であり、それぞれの冠面の金属加工部Ｗ（ＷＡ、ＷＢ）の欠陥（鋳巣、傷、打痕など）を検査対象とする場合、学習装置２０では、金属加工部Ｗの正常品画像と欠陥品画像を仕様毎に機械学習することで、何れの加工品１でも外観検査可能な判定器３ａが生成される。
　以下、学習装置２０に供給する多様な欠陥品画像を簡便に生成することができる、本実施例の疑似欠陥画像生成装置１０の詳細を説明する。
　図２は、実施例１の疑似欠陥画像生成装置１０の概略を示す図である。ここに示すように、本実施例の疑似欠陥画像生成装置１０は、欠陥品画像ライブラリ１１と、正常品画像ライブラリ１２と、欠陥ライブラリ１３と、設定ユーザインタフェース（以下、「設定ＵＩ１４」と称する）と、疑似画像生成部１５で構成され、設定ＵＩ１４からの設定入力に応じて疑似欠陥品画像を生成し、学習装置２０に出力するものである。なお、この疑似欠陥画像生成装置１０は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置、および、通信装置などのハードウェアを備えたコンピュータである。そして、演算装置が主記憶装置に読み込まれた所定のプログラムを実行したり、補助記憶装置が所定データを記憶したりすることで、後述する各機能を実現するが、以下では、このような周知技術を適宜省略しながら各部の詳細を順次説明する。
　欠陥品画像ライブラリ１１は、少なくとも１仕様の加工品１（例えば、加工品１Ａ）の欠陥品画像Ｐａを蓄積した記憶部である。なお、欠陥品画像Ｐａとは、後述する欠陥部ブロブｂを含む画像である。正常品画像ライブラリ１２は、少なくとも２仕様の加工品１（例えば、加工品１Ａ、１Ｂ）の正常品画像Ｐｎ（例えば、正常品画像ＰｎＡ、ＰｎＢ）を蓄積した記憶部である。欠陥ライブラリ１３は、欠陥品画像Ｐａから抽出した、少なくとも１組の欠陥ラベルｌと欠陥パッチｐを蓄積した記憶部である。なお、欠陥ラベルｌと欠陥パッチｐの詳細は後述する。
　設定ＵＩ１４は、ユーザが欠陥ラベルｌや検査領域Ｒを設定入力したり、疑似欠陥品画像を生成させたりする際に利用するユーザインタフェースであり、具体的には、ディスプレイなどの表示装置、および、キーボード、マウス、タッチパネルなどの入力装置である。なお、設定ＵＩ１４の詳細は、図４Ａから図４Ｄを用いて後述する。
　疑似画像生成部１５は、欠陥ライブラリ生成部１５ａ、検査領域生成部１５ｂ、欠陥配置ルール生成部１５ｃ、疑似欠陥品画像生成部１５ｄで構成される。
　欠陥ライブラリ生成部１５ａは、主として、欠陥品画像Ｐａから欠陥ラベルｌと欠陥パッチｐを生成する機能部である。そのため、欠陥ライブラリ生成部１５ａは、まず、欠陥品画像ライブラリ１１から欠陥品画像Ｐａを取得し、設定ＵＩ１４のディスプレイに表示する。その後、ユーザがディスプレイに表示された欠陥品画像Ｐａ上で任意の欠陥部ブロブｂを指定すると、欠陥ライブラリ生成部１５ａは、その欠陥部ブロブｂの位置と形状を欠陥ラベルｌとして欠陥ライブラリ１３に格納する。また、欠陥ライブラリ生成部１５ａは、欠陥ラベルｌと同じ箇所を欠陥品画像Ｐａから切り出し、欠陥パッチｐとして欠陥ライブラリ１３に格納する。さらに、欠陥ライブラリ生成部１５ａは、ユーザによって登録された欠陥部ブロブｂの欠陥種等も欠陥ライブラリ１３に格納する。
　図２の例では、欠陥品画像Ｐａの欠陥部ブロブｂは鋳巣であり、欠陥ライブラリ１３には、鋳巣の位置と形状を特定する情報である欠陥ラベルｌと、鋳巣近傍の画像データである欠陥パッチｐが、一対のデータとして格納させる。通常、加工品１の加工工程が同一であれば、欠陥の外観は仕様に依存しないため、ここで生成された欠陥ライブラリは、同一の加工工程で製造された仕様の異なる加工品１（例えば、加工品１Ｂ）でも共有することができる。
　検査領域生成部１５ｂは、正常品画像Ｐｎ上に検査領域Ｒを生成する機能部である。例えば、加工品１Ａの正常品画像ＰｎＡに対応して検査領域ＲＡを生成する場合は、まず、検査領域生成部１５ｂは、正常品画像ライブラリ１２から正常品画像ＰｎＡを取得し、設定ＵＩ１４のディスプレイに表示する。ユーザが、表示された画像上で検査対象領域の外周（例えば、金属加工部ＷＡの輪郭）をマウスカーソルでなぞると、検査領域生成部１５ｂは、マウスカーソルでなぞられた輪郭線データを検査領域ＲＡとして保持する。
　検査対象の加工品１の仕様が異なると、製品の形状やサイズが異なるため、検査領域Ｒは仕様毎に生成する必要がある。従って、検査領域生成部１５ｂは、上記同様の方法で、加工品１Ｂの正常品画像ＰｎＢに対応する検査領域ＲＢを保持する。
　なお、検査領域Ｒは、一つの加工品１に対して複数生成しても良く、例えば、エンジンピストンの冠面の鋳肌部と金属加工部を異なる検査領域としても良いし、金属加工部の内部を重要度に応じて複数の検査領域に分割しても良い。
　欠陥配置ルール生成部１５ｃは、予め用意された管理情報ｉ等に基づいて、欠陥配置ルールｒを生成する機能部である。管理情報ｉには、検査工程毎に管理項目（検査領域Ｒ、欠陥種）と許容される内容（欠陥サイズの仕様など）が対応付けて記述されている。欠陥配置ルール生成部１５ｃは、設定ＵＩ１４上で管理情報ｉに基づいてユーザが指定した検査領域種、欠陥種、欠陥サイズ、配置方法を欠陥配置ルールｒとして保持する。
　検査領域Ｒについては、管理情報ｉに記述された検査領域Ｒに対応するものを、検査領域生成部１５ｂで生成された検査領域種から選択して指定される。欠陥種については、管理情報ｉに記述された欠陥種に対応するものを、欠陥ライブラリ１３に格納された欠陥種から選択して指定される。欠陥サイズについては、管理情報ｉに記述された欠陥サイズが指定される。配置方法については、あらかじめ用意した配置方法、例えば、ランダムでの配置、等間隔での配置、検査領域Ｒの輪郭に沿った配置などから検査領域毎に選択して指定される。通常、加工工程が同一であれば、加工領域内の欠陥の発生領域は品種には依存しないため、欠陥配置ルールは品種間で共有できる。
　疑似欠陥品画像生成部１５ｄは、欠陥配置ルールｒに基づいて疑似欠陥品画像Ｐｖを生成する機能部である。以下、図３のフローチャートを用いて、加工品１Ａの疑似欠陥品画像ＰｖＡを生成する場合を例に、疑似欠陥品画像生成処理の詳細を説明する。
　まず、ステップＳ１では、疑似欠陥品画像生成部１５ｄは、正常品画像ライブラリ１２から加工品１Ａの正常品画像ＰｎＡを取得する。
　次に、ステップＳ２では、疑似欠陥品画像生成部１５ｄは、欠陥配置ルールｒで指定された検査領域Ｒに対応する、正常品画像ＰｎＡの検査領域ＲＡのデータを、検査領域生成部１５ｂから取得する。
　ステップＳ３では、疑似欠陥品画像生成部１５ｄは、欠陥配置ルールｒで指定された欠陥種と欠陥サイズに対応する欠陥パッチｐと欠陥ラベルｌを欠陥ライブラリ１３から取得する。具体的には、欠陥配置ルールｒで指定された欠陥種と同じ欠陥種であって、欠陥配置ルールｒで指定された欠陥サイズ以上の大きさの欠陥パッチｐと欠陥ラベルｌを取得する。これは、指定サイズ以上の欠陥パッチｐのみを配置した疑似欠陥品画像Ｐｖに基づいて判定器３ａを学習させるためである。
　ステップＳ４では、疑似欠陥品画像生成部１５ｄは、欠陥パッチｐから欠陥ラベルｌに相当する箇所を切り出して、正常品画像ＰｎＡ上の検査領域ＲＡに、欠陥配置ルールｒに指定された配置方法に従って合成し、疑似欠陥品画像ＰｖＡを生成する。例えば、欠陥配置ルールｒに配置方法として検査領域Ｒの輪郭に沿った配置が指定されていた場合、図２の疑似欠陥品画像ＰｖＡに例示するように、検査領域ＲＡの輪郭に沿って欠陥パッチｐが配置される。また、図示していないが、疑似欠陥品画像ＰｖＡの欠陥パッチｐと同じ位置に欠陥ラベルを配置した疑似欠陥ラベル画像も生成する。
　一方、加工品１Ａとは金属加工部Ｗの仕様の異なる加工品１Ｂの疑似欠陥品画像ＰｖＢを生成する場合も、図３と同様の処理により、検査領域ＲＢの輪郭に沿って欠陥パッチｐを配置した疑似欠陥品画像ＰｖＢを生成できるが、疑似欠陥品画像ＰｖＢの生成時に利用する欠陥パッチｐと欠陥ラベルｌは共用のものであるため、仮に、加工品１Ｂの欠陥品画像を用意できなかった場合でも、加工品１Ａの欠陥品画像さえ用意できていれば、疑似欠陥品画像ＰｖＢを生成することができる。
　＜設定ＵＩ１４のＧＵＩの例＞
　次に、図４Ａから図４Ｄを用いて、設定ＵＩ１４のＧＵＩ（Graphical User Interface）の具体例を説明する。
　図４Ａは、欠陥ライブラリを生成する際のＧＵＩを例示している。ここに示すように、設定ＵＩ１４のディスプレイの処理メニューＭには、疑似欠陥画像生成装置１０で実行可能な処理が列挙されており、ユーザはこれらの中から所望のものを選択することができる。
　例えば、ユーザが欠陥ライブラリ生成Ｍ１を選択すると、欠陥ライブラリ生成部１５ａは、欠陥品画像ライブラリ１１から欠陥品画像Ｐａを取得し、画像表示領域Ｖに表示する。ユーザが、欠陥品画像Ｐａ内の欠陥領域をマウスカーソルＣでなぞると、なぞられた領域が欠陥部ブロブｂとして表示される。また、ユーザは、欠陥種設定領域Ｂ１に、欠陥部ブロブｂの欠陥種（例えば、鋳巣）と欠陥サイズ（例えば、０．５ｍｍ）を入力する。その後、ユーザが処理メニューＭから保存Ｍ２を選択すると、欠陥ライブラリ生成部１５ａは、欠陥部ブロブｂを欠陥ラベルｌとして欠陥ライブラリ１３に格納するとともに、欠陥ラベルｌと同じ箇所を欠陥品画像Ｐａから切り出したものを欠陥パッチｐとし、ユーザによって指定された欠陥種（例えば、鋳巣）と併せて欠陥ライブラリ１３に格納する。
　図４Ｂは、検査領域Ｒを生成する際のＧＵＩを例示している。ここに示すように、品種設定領域Ｂ２には、検査対象の品種名を入力することができる。ユーザが処理メニューＭから検査領域生成Ｍ３を選択した後、品種名を入力すると（図では加工品１Ａが入力されている）、検査領域生成部１５ｂは、正常品画像ライブラリ１２から加工品１Ａの正常品画像ＰｎＡを取得し、画像表示領域Ｖに表示する。そして、表示画像上でユーザがマウスカーソルＣでなぞった領域を検査領域Ｒとして表示する。また、検査領域種入力領域Ｂ３には、検査領域名を入力することができる。ユーザが検査領域種を入力し（図では検査領域ＲＡが入力されている）、処理メニューＭから保存Ｍ２を選択すると、検査領域生成部１５ｂは、検査領域Ｒを加工品１Ａの検査領域ＲＡとして保持する。
　図４Ｃは、欠陥配置ルールｒを生成する際のＧＵＩを例示している。配置ルール設定領域Ｂ４には、疑似欠陥品画像Ｐｖへの欠陥の配置方法を入力可能になっている。ユーザが処理メニューＭから配置ルール設定Ｍ４を選択した後、検査領域種、欠陥種、欠陥サイズ、配置方法を入力し（図では順に、検査領域ＲＡ、鋳巣、０．５ｍｍ、検査領域輪郭沿いが入力されている）、更に、処理メニューＭから保存Ｍ２が選択されたら、欠陥配置ルール生成部１５ｃは、ユーザによって指定された検査領域種、欠陥種、欠陥サイズ、配置方法をセットにして、欠陥配置ルールｒとして保持する。
　図４Ｄは、疑似欠陥品画像Ｐｖを生成する際のＧＵＩを例示している。ユーザが処理メニューＭから疑似欠陥品画像生成Ｍ５を選択し、品種、検査領域種を入力すると（図では加工品１Ａ、検査領域ＲＡ）、疑似欠陥品画像生成部１５ｄは、正常品画像ライブラリ１２から加工品１Ａの正常品画像ＰｎＡを取得し、画像表示領域Ｖに表示する。さらに検査領域生成部１５ｂから、検査領域ＲＡを取得し、画像表示領域Ｖに上書き表示する。さらに欠陥ライブラリ１３から、指定された欠陥種と欠陥サイズに対応する欠陥パッチｐと欠陥ラベルｌを取得し、指定された配置方法（図では輪郭沿い）で画像表示領域Ｖに上書き表示する。ユーザによって保存Ｍ２を選択されたら、疑似欠陥品画像生成部１５ｄは、表示されている画像を疑似欠陥品画像Ｐｖとして保持する。なお、この処理は、図３のフローチャートで説明したものと同等である。
　以上で説明した本実施例によれば、欠陥部のパッチ画像とラベルを品種間で共有でき、品種毎に欠陥部の画像を収集する手間を削減することのできる、疑似欠陥画像生成装置を提供することができる。また、検査領域に欠陥を配置する際の欠陥配置ルールを品種間で共有でき、品種毎に欠陥配置を指定する手間を削減することのできる、疑似欠陥画像生成装置を提供することができる。また、学習装置の学習・評価時の画像領域サイズと処理密度の設定に応じて欠陥サイズと欠陥間隔を決定でき、学習効率の良い欠陥配置を施した疑似欠陥画像を生成する疑似欠陥画像生成装置を提供することができる。
　次に、本発明の実施例２を、図５、図６を用いて説明する。なお、上記実施例との共通点は重複説明を省略する。
　実施例１では、学習装置２０の仕様を特に考慮せずに疑似欠陥品画像Ｐｖを生成したが、本実施例の疑似欠陥画像生成装置１０では、学習装置２０の仕様を考慮して疑似欠陥品画像Ｐｖを生成する。学習装置２０での機械学習で、欠陥部の有無を判定し、さらに、欠陥の位置と合わせて出力するには、例えば、入力画像を小さな矩形領域に分割し、分割した矩形領域毎に欠陥部の有無を判定することによって、欠陥がある矩形領域に相当する位置を欠陥の位置とすることが好ましい。
　そのため、本実施例の学習装置２０には、学習・評価時の画像領域サイズと、処理密度が、仕様として設定されている。画像領域サイズは、前述の矩形領域のサイズのことである。また、処理密度は、矩形領域に分割する際のオーバラップの程度を意味する。例えば、処理密度＝１は矩形領域同士がちょうどオーバーラップが無い場合を、処理密度＝２は矩形領域同士が１／２だけオーバーラップする場合を、処理密度＝３は矩形領域同士が２／３だけオーバーラップする場合を意味する。
　本実施例でも、疑似欠陥品画像生成部１５ｄの動作は、基本的には実施例１と同様であるが、以下の点で異なっている。すなわち、本実施例の疑似欠陥品画像生成部１５ｄは、学習装置２０から取得する情報（画像領域サイズ、処理密度）も踏まえて、疑似欠陥品画像Ｐｖを生成する。
　例えば、加工品１Ａの疑似欠陥品画像ＰｖＡを生成する場合、本実施例の疑似欠陥品画像生成部１５ｄは、まず、実施例１と同等のステップＳ１、Ｓ２を実施する。
　そして、ステップＳ３では、欠陥配置ルールｒで指定された欠陥種と同じ欠陥種であって、欠陥配置ルールｒで指定された欠陥サイズ以上、かつ、学習装置２０から取得した画像領域サイズＬｓ未満の、欠陥パッチｐと欠陥ラベルｌを取得する。ここで、学習装置２０から取得した画像領域サイズＬｓ未満の欠陥パッチｐ等に限定して取得する理由は、学習装置２０の仕様である画像領域サイズＬｓより小さな欠陥パッチｐのみを疑似欠陥品画像ＰｖＡに配置することにより、学習装置２０への入力画像を小さな矩形領域に分割した際に、欠陥部しか無い矩形領域が生じてしまって学習効率が低下することを回避するためである。
　次に、ステップＳ４では、欠陥パッチｐから欠陥ラベルｌに相当する箇所を切り出して、正常品画像ＰｎＡ上の検査領域ＲＡに、欠陥配置ルールｒに指定された配置方法に従って、学習装置２０から取得した画像領域サイズＬｓと処理密度Ｌｄと欠陥ラベルサイズＤｌから、図６に示すように欠陥間隔Δｘが以下の２式を満たすように配置し、疑似欠陥品画像ＰｖＡを生成する。
　Ｌｓ＋Ｄｌ≦Δｘ
　これは、矩形領域６０内に欠陥パッチｐが１個以下になるように配置することにより、画像領域内に欠陥パッチが２個以上配置されてしまって、学習効率が低下することを回避するためである。
　Δｘ＜Ｌｓ＋Ｄｌ＋Ｌｓ／Ｌｄ
　これは、画像領域サイズＬｓ内に欠陥パッチが１個以上になるように配置することにより、画像領域サイズＬｓ内に欠陥パッチが１個も配置されず、学習効率が低下することを回避するためである。なお、図６では横方向の欠陥配置について示したが、縦方向の欠陥配置についても同様である。
　本実施例によれば、学習装置の学習・評価時の画像領域サイズと処理密度の設定に応じて欠陥サイズと欠陥間隔を決定でき、学習効率の良い欠陥配置を施した疑似欠陥画像を生成する疑似欠陥画像生成装置を提供することができる。
　次に、本発明の実施例３を、図７を用いて説明する。なお、上記実施例との共通点は重複説明を省略する。
　例えば、本実施例により、加工品１Ａの疑似欠陥品画像ＰｖＡを生成する場合、本実施例の疑似欠陥品画像生成部１５ｄは、まず、実施例１と同等のステップＳ１、Ｓ２、Ｓ３を実施する。
　そして、ステップＳ４では、欠陥パッチｐから欠陥ラベルｌに相当する箇所を切り出して、正常品画像ＰｎＡ上の検査領域ＲＡに、欠陥配置ルールｒに指定された配置方法に従って合成し、疑似欠陥品画像ＰｖＡを生成する。
　この時、欠陥パッチｐの階調値を補正して合成する。例えば、図７に示すように正常品画像ＰｎＡ上の欠陥パッチｐを合成する箇所７０の階調値をＢａ、欠陥パッチｐの欠陥ラベルｌに相当する箇所７１の階調値をＢｃ、欠陥パッチｐの欠陥ラベルｌに相当しない背景に相当する箇所７２の階調値をＢｂ、とし以下の式に基づいて欠陥パッチの補正後階調値Ｂｄを決定して合成する。
　Ｂｄ＝Ｂａ×Ｂｃ／Ｂｂ
　本実施例によれば、正常品画像の階調値と欠陥パッチの背景の階調値が異なる場合に、自然な階調で疑似欠陥画像を生成する疑似欠陥画像生成装置を提供することができる。
　次に、本発明の実施例４を、図８を用いて説明する。なお、上記実施例との共通点は重複説明を省略する。
　図８に示すように、本実施例の欠陥ライブラリ生成部１５ａには、正常欠陥比較部８０が追加されており、実施例１と異なる方法で欠陥品画像Ｐａから欠陥パッチｐと欠陥ラベルｌを生成する。
　具体的には、欠陥ライブラリ生成部１５ａは、まず、欠陥品画像ライブラリ１１から欠陥品画像Ｐａを取得し、正常品画像ライブラリ１２から正常品画像Ｐｎを取得する。そして、正常欠陥比較部８０が、２つの画像の比較を行い、所定以上の差がある領域を欠陥ブロブｂとし、欠陥部ブロブｂを欠陥ラベルｌとし、欠陥ラベルｌと同じ箇所を欠陥品画像Ｐａから切り出したものを欠陥パッチｐとし、ユーザによって指定された欠陥種、例えば鋳巣、と併せて欠陥ライブラリ１３に格納する。
　つまり、本実施例によれば、ユーザによる欠陥ブロブｂの指定無しに欠陥ライブラリを作成でき、欠陥ライブラリ作成についてのユーザの手間を削減することのできる、疑似欠陥画像生成装置を提供することができる。
　次に、本発明の実施例５を、図９、図１０を用いて説明する。なお、実施例４との共通点は重複説明を省略する。
　図１０に示すように、本実施例の欠陥ライブラリ生成部１５ａは、正常欠陥比較部８０に加え、テクスチャ切り出し部９０が追加されており、実施例１，４と異なる方法で欠陥品画像Ｐａから欠陥パッチｐと欠陥ラベルｌを生成する。
　具体的には、欠陥ライブラリ生成部１５ａは、まず、正常品画像ライブラリ１２から正常品画像Ｐｎを取得し、設定ＵＩ１４のディスプレイに表示する。検査対象の加工品１Ａには検査の前に何らかの加工が施されている。例えば、検査対象の加工品１Ａは鋳物部品であって、その表面の一部に機械加工が施されているものとする。
　この場合、図１０に示すように、正常品画像ＰｎＡ上での、加工品１Ａは鋳肌部１０１と機械加工部１０２に分かれている。テクスチャ切り出し部９０は、表示された画像上でユーザによって指定された、例えば鋳肌部１０１上をマウスカーソルＣでなぞった、鋳肌切り出し部１０３に相当する領域を欠陥ラベルｌとし、欠陥ラベルｌと同じ箇所を正常品画像ＰｎＡから切り出したものを欠陥パッチｐとし、欠陥種、例えば鋳肌残り、と併せて欠陥ライブラリ１３に格納する。この欠陥ライブラリからは、欠陥配置ルールを参照し金属加工部に配置することによって鋳肌残り欠陥を合成できる。
　本実施例によれば、欠陥品画像Ｐａは不要であり、正常品画像Ｐｎから欠陥ライブラリを作成でき、欠陥部の画像を収集するユーザの手間を削減することのできる、疑似欠陥画像生成装置を提供することができる。
　次に、本発明の実施例６を説明する。なお、上記実施例との共通点は重複説明を省略する。上記の実施例では、欠陥ライブラリ生成部１５ａは、欠陥品画像Ｐａから欠陥パッチｐを生成したが、例えば欠陥部分を模して人工的に生成した画像を欠陥パッチｐとしても良い。なお、欠陥部分を模して人工的に生成した画像は、ペイントソフト等を利用してユーザが描いた欠陥相当の画像である。
１…加工品、２…カメラ、３…外観検査装置、３ａ…判定器、４…搬送装置、１０…疑似欠陥画像生成装置、１１…欠陥品画像ライブラリ、１２…正常品画像ライブラリ、１３…欠陥ライブラリ、１４…設定ＵＩ、１５…疑似画像生成部、１５ａ…欠陥ライブラリ生成部、１５ｂ…検査領域生成部、１５ｃ…欠陥配置ルール生成部、１５ｄ…疑似欠陥品画像生成部、２０…学習装置、Ｐｎ…正常品画像、Ｐａ…欠陥品画像、Ｐｖ…疑似欠陥品画像、Ｖ…画像表示領域、Ｃ…マウスカーソル、Ｍ…処理メニュー、Ｍ１…欠陥ライブラリ生成、Ｍ２…保存、Ｍ３…検査領域生成、Ｍ４…配置ルール設定、Ｍ５…疑似欠陥品画像生成、Ｂ１…欠陥種設定領域、Ｂ２…品種設定領域、Ｂ３…検査領域種入力領域、Ｂ４…配置ルール設定領域、ｉ…管理情報、ｒ…欠陥配置ルール、ｂ…欠陥部ブロブ、ｌ…欠陥ラベル、ｐ…欠陥パッチ、Ｒ…検査領域、Ｗ…金属加工部

Claims (7)

  1. 　学習装置に学習させる疑似欠陥画像を生成する疑似欠陥画像生成装置であって、
    　欠陥部分画像を格納した欠陥ライブラリと、
    　加工項目と加工に許容される内容を対応付けた管理情報に基づいて、前記加工項目に応じた欠陥と検査領域を指定した欠陥配置ルールと、
    　該欠陥配置ルールに基づいて、前記欠陥部分画像を正常品画像上の前記検査領域に配置して疑似欠陥画像を生成する疑似欠陥画像生成部と、
    　を備えることを特徴とする、疑似欠陥画像生成装置。
  2. 　請求項１に記載の疑似欠陥画像生成装置において、さらに、
    　少なくとも１仕様の加工品の欠陥品画像を格納した欠陥品画像ライブラリと、
    　少なくとも２仕様の加工品の正常品画像を格納した正常品画像ライブラリと、
    　を有しており、
    　前記欠陥ライブラリに格納される欠陥部分画像は、前記欠陥品画像から切り出したものであり、
    　前記疑似欠陥画像生成部が前記疑似欠陥画像を生成する際には、何れの仕様の加工品の疑似欠陥画像を生成する場合も、共用の欠陥部分画像を使用することを特徴とする、疑似欠陥画像生成装置。
  3. 　請求項１に記載の疑似欠陥画像生成装置において、
    　前記学習装置には、学習する画像領域サイズと、学習の処理密度とが設定されており、　前記疑似欠陥画像生成部は、前記欠陥の配置間隔を前記画像領域サイズ以上とし、且つ、前記欠陥の配置間隔が前記処理密度以下となるように疑似欠陥画像を生成することを特徴とする、疑似欠陥画像生成装置。
  4. 　請求項１に記載の疑似欠陥画像生成装置において、
    　前記疑似欠陥画像生成部は、正常品画像の階調値に応じて前記欠陥部分画像の階調値を補正することで前記疑似欠陥画像を生成することを特徴とする、疑似欠陥画像生成装置。
  5. 　請求項１に記載の疑似欠陥画像生成装置において、
    　前記疑似欠陥画像生成部は、欠陥品画像と正常品画像を比較して抽出した、欠陥部分画像を前記欠陥ライブラリに格納することを特徴とする、疑似欠陥画像生成装置。
  6. 　請求項１に記載の疑似欠陥画像生成装置において、
    　前記疑似欠陥画像生成部は、正常品画像からユーザが指定した領域の画像を欠陥部分画像として前記欠陥ライブラリに格納することを特徴とする、疑似欠陥画像生成装置。
  7. 　請求項１に記載の疑似欠陥画像生成装置において、
    　前記欠陥部分画像は、実際の欠陥を模して人工的に生成した画像であることを特徴とする、疑似欠陥画像生成装置。
PCT/JP2023/017657 2022-06-10 2023-05-11 疑似欠陥画像生成装置 WO2023238590A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-094217 2022-06-10
JP2022094217A JP2023180697A (ja) 2022-06-10 2022-06-10 疑似欠陥画像生成装置

Publications (1)

Publication Number Publication Date
WO2023238590A1 true WO2023238590A1 (ja) 2023-12-14

Family

ID=89118184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017657 WO2023238590A1 (ja) 2022-06-10 2023-05-11 疑似欠陥画像生成装置

Country Status (2)

Country Link
JP (1) JP2023180697A (ja)
WO (1) WO2023238590A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
WO2020022024A1 (ja) * 2018-07-25 2020-01-30 富士フイルム株式会社 機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置
JP2020027424A (ja) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 学習データ生成装置、判別モデル生成装置、及びプログラム
WO2020184069A1 (ja) * 2019-03-08 2020-09-17 日本電気株式会社 画像処理方法、画像処理装置、プログラム
JP2021128406A (ja) * 2020-02-12 2021-09-02 株式会社モルフォ 分析装置及び分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
WO2020022024A1 (ja) * 2018-07-25 2020-01-30 富士フイルム株式会社 機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置
JP2020027424A (ja) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 学習データ生成装置、判別モデル生成装置、及びプログラム
WO2020184069A1 (ja) * 2019-03-08 2020-09-17 日本電気株式会社 画像処理方法、画像処理装置、プログラム
JP2021128406A (ja) * 2020-02-12 2021-09-02 株式会社モルフォ 分析装置及び分析方法

Also Published As

Publication number Publication date
JP2023180697A (ja) 2023-12-21

Similar Documents

Publication Publication Date Title
US9600929B1 (en) System, computer-readable medium and method for 3D-differencing of 3D voxel models
US9123174B2 (en) Method and apparatus for displaying a simulated application of at least one coating to a digital image
CN110349225B (zh) 一种bim模型外部轮廓快速提取方法
KR101947184B1 (ko) 덱셀들에 의해 표현되는 모델링된 볼륨의 설계
CN106293748A (zh) 一种图形化交互式机器视觉系统及其工作方法
JP7505866B2 (ja) 点検支援方法、点検支援システム、及び点検支援プログラム
JP2016126795A (ja) オブジェクトのセットの視点の選択
WO2021161853A1 (ja) 分析装置及び分析方法
CN110766783A (zh) 一种零件的三维建模方法
WO2018138290A1 (en) Method and computer programs for identifying differences between 3-dimensional scenes
CN108197567A (zh) 用于图像处理的方法、装置和计算机可读介质
CN116257930A (zh) 用于交通工具的远程视觉检测的三维检测孪生体
US20140249779A1 (en) Method and apparatus for determining and presenting differences between 3d models
KR20130045584A (ko) 설계 충돌 검사 시스템 및 방법
WO2023238590A1 (ja) 疑似欠陥画像生成装置
US8217933B2 (en) Method and apparatus for detecting between virtual objects
CN112734900B (zh) 阴影贴图的烘焙方法、装置、设备及计算机可读存储介质
CN112883102B (zh) 数据可视化展示的方法、装置、电子设备及存储介质
JPS63201876A (ja) 画像処理方法および装置
Claux et al. Crack‐free rendering of dynamically tesselated B‐rep models
WO2019082283A1 (ja) 画像解析装置
JP2001084408A (ja) ３次元データ加工装置及び方法並びに記録媒体
CN116912395B (zh) 基于OpenGL的图形混合渲染方法、装置及存储介质
US20210082166A1 (en) Graphics processor and related method for displaying a set of pixel(s), related platform and avionics system
Derichs et al. Intersection-free mesh decimation for high resolution cloth models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819574

Country of ref document: EP

Kind code of ref document: A1