WO2021250736A1 - エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体 - Google Patents

エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体 Download PDF

Info

Publication number
WO2021250736A1
WO2021250736A1 PCT/JP2020/022512 JP2020022512W WO2021250736A1 WO 2021250736 A1 WO2021250736 A1 WO 2021250736A1 JP 2020022512 W JP2020022512 W JP 2020022512W WO 2021250736 A1 WO2021250736 A1 WO 2021250736A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
airbag
image
defect candidate
unit
Prior art date
Application number
PCT/JP2020/022512
Other languages
English (en)
French (fr)
Inventor
章男 和田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/022512 priority Critical patent/WO2021250736A1/ja
Priority to JP2022530362A priority patent/JPWO2021250736A5/ja
Publication of WO2021250736A1 publication Critical patent/WO2021250736A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles

Definitions

  • the present invention relates to an airbag inspection device and the like for inspecting airbags.
  • Patent Document 1 discloses a method for investigating the appearance of an airbag fabric and inspecting whether it meets quality criteria.
  • Patent Document 2 as a document that discloses related technology.
  • Patent Document 1 discloses a method of detecting a sewing condition or the like while relatively moving a fabric for one airbag and a camera.
  • Patent Document 1 does not disclose a method for collectively inspecting the sewing condition and the like of a plurality of airbags sewn using a long cloth-like airbag fabric.
  • Patent Document 2 does not disclose the above-mentioned inspection method.
  • One of the purposes of the present disclosure is to solve the above-mentioned problems and to provide an airbag inspection device or the like that assists in the inspection of sewing of a piece of cloth in the manufacture of airbags.
  • the airbag inspection device in one aspect of the present disclosure is An image acquisition unit that acquires an image of a piece of cloth moving to one end in the longitudinal direction, A specific part for specifying a first region showing a first defect candidate for sewing in the image using a trained model, and a specific portion. It includes a defect candidate output unit that outputs the specified first region.
  • the airbag inspection system in one aspect of the present disclosure is With the above airbag inspection device, It is equipped with a camera that captures a piece of cloth that moves in the longitudinal direction.
  • the airbag inspection method in one aspect of the present disclosure is Get an image of a piece of cloth moving to one end in the longitudinal direction
  • the first region showing the first defect candidate for sewing in the image is identified by using the learning model.
  • the airbag inspection program in one aspect of the present disclosure is: Get an image of a piece of cloth moving to one end in the longitudinal direction The first region showing the first defect candidate for sewing in the image is identified by using the learning model. Have the computer perform the output of the specified first area.
  • the program may be stored on a non-temporary computer-readable recording medium.
  • the effect of the present disclosure is to be able to provide an airbag inspection device or the like for assisting the inspection of sewing of a piece of cloth in the manufacture of airbags.
  • the shape of the airbag is a piece of fabric (a cloth in which the fabrics in the lateral direction are overlapped and extends in the longitudinal direction).
  • an inspector inspects the fabric for fraying, erroneous sewing, and other defects while transporting the cloth with a transport device.
  • the inspector visually inspects while repeatedly transporting and stopping the cloth (see FIG. 16).
  • the inspection method imposes a heavy burden on the inspector, and there is a possibility that an inspection error may occur.
  • an airbag inspection device and the like for assisting the inspection of sewing of a piece of cloth will be described in the airbag manufacturing.
  • FIG. 1 is a block diagram showing a configuration of an airbag inspection system 100 and a transfer device according to the first embodiment.
  • the airbag inspection system 100 includes an airbag inspection device 1 and a camera 2.
  • the transport device 3 in FIG. 1 exemplifies a configuration viewed from the side surface of a plurality of support rollers.
  • the transport device 3 is a device for transporting a piece of airbag fabric at a predetermined speed, and is provided with a plurality of support rollers for inspecting the airbag fabric during transport. A part of the plurality of support rollers may be a rotary drive device.
  • the transport device 3 moves the cloth-like airbag fabric to one side (one end) in the longitudinal direction.
  • the transport device 3 may have a function of moving the airbag fabric in the opposite direction (the other end) in the longitudinal direction and a function of suspending the movement.
  • Camera 2 captures the appearance of the airbag fabric that moves at a predetermined speed.
  • the camera 2 may be a linear array camera or a CCD (Charge Coupled Device) array camera. In FIG. 1, two cameras 2 are provided, but the number of cameras is not limited to this.
  • the airbag inspection device 1 When the airbag inspection device 1 acquires an image of the airbag fabric moving in the longitudinal direction taken by the camera 2, the airbag inspection device 1 identifies and identifies a region showing defect candidates such as frayed fabric and sewing abnormality in the image. Output the area to a monitor, display, touch panel, etc. For identification, a learning model in which an image of a defect is learned by machine learning is used. The inspector inspects the area indicating the output defect candidate.
  • the airbag inspection device 1 and the camera 2 may be designed integrally with the transport device 3, or may be in a form that can be installed and removed from the transport device 3.
  • the airbag inspection device 1 includes a model storage unit 11, a specific result storage unit 12, an image acquisition unit 13, a specific unit 14, and a defect candidate output unit 15.
  • the model storage unit 11 stores a trained model (hereinafter referred to as a learning model) learned using an image of the airbag fabric taken in advance.
  • the learning model is, for example, a model created by machine learning using an image of normal sewing of the airbag fabric and an image of abnormal sewing (defects) as teacher data, and can detect defect candidates appearing in the image.
  • detection means identification.
  • Defect candidates are areas in the image of the airbag fabric that the learning model identifies as possible defects. In the area of defect candidates detected by the learning model, frayed threads, sewing abnormalities (wrong sewing), etc. are reflected.
  • the specific result storage unit 12 stores information (specific result information) regarding the result specified by the specific unit 14, that is, the region of the defect candidate detected by the learning model.
  • the specific result information is, for example, information indicating the position of a defect candidate (position data such as a coordinate axis) and image data of a region detected by the learning model as a defect candidate.
  • the airbag fabric is very long in the longitudinal direction as compared with the lateral direction. Therefore, the position data in the longitudinal direction is the position data indicating the number of airbags sewn from one end of the airbag fabric (for example, the value on the x-axis in the region including the third airbag and the value of the x-axis). It may be a value on the y-axis).
  • the position data in the longitudinal direction is the position data in terms of the total length and width of the airbag fabric (for example, the value on the x-axis and the value on the y-axis when the entire fabric is the region corresponding to the first quadrant). It may be.
  • the image acquisition unit 13 acquires an image of a piece of cloth moving in the longitudinal direction from an external camera 2.
  • the image may be acquired from a storage device that stores time-series images from the camera 2 via a network.
  • the image acquisition unit 13 transmits the acquired image to the specific unit 14.
  • the identification unit 14 specifies a first region indicating a first defect candidate. Specifically, a region showing sewing defect candidates in the acquired image is specified using a learning model.
  • the specific unit 14 identifies defect candidates in the acquired image by using a learning model created by learning using an image of the airbag fabric taken in advance.
  • the identified defect candidate is output to the defect candidate output unit 15 as specific result information (position data, image data, etc. of the defect candidate), and further stored in the specific result storage unit 12.
  • the specific unit 14 may receive a score from the learning model indicating the certainty (certainty) that the region is defective for each predetermined region in the acquired image.
  • the predetermined area is, for example, an area consisting of 100 pixels ⁇ 100 pixels.
  • the size of the predetermined region may be the same as the size of the region indicating the defect candidate.
  • the certainty is, for example, a score value from 0 to 1, and may be set so that the higher the possibility of a defect, the larger the absolute value.
  • a case where the predetermined region and the region showing the defect candidate have the same size and the degree of certainty is determined to be 0.5 or more and 1.0 or less will be described.
  • the specific unit 14 determines that the area is not a defect candidate.
  • the specific unit 14 determines that the area is a defect candidate with a certainty of 0.5 (whether it is a defect or not).
  • the specific unit 14 receives a certainty degree of 0.99 in a predetermined area from the learning model, the specific unit 14 determines that the area is a defective area with a certainty degree of 0.99 (obviously a defect).
  • the specific unit 14 may be used as specific result information by associating the certainty with the defect area.
  • the certainty may be output as a level. For example, if the confidence level is 1, level 1 is output, and if the confidence level is 0.80 to 0.99, level 2 is output.
  • the defect candidate output unit 15 outputs the specific result information received from the specific unit 14.
  • the defect candidate output unit 15 outputs and displays specific result information on, for example, a display (not shown) so that the inspector can see it.
  • the display may be a part of the airbag inspection device 1, or may be a monitor provided in a portable terminal (not shown) for an inspector.
  • the defect candidate output unit 15 includes a communication circuit for communicating with the mobile terminal and transmits the specific result information to the mobile terminal.
  • step S101 the image acquisition unit 13 acquires an image in which a piece of cloth moving in at least one of the longitudinal directions of the airbag fabric is photographed.
  • the image acquisition unit 13 outputs the acquired image to the specific unit 14.
  • step S102 the specifying unit 14 specifies a region indicating a sewing defect candidate in the acquired image by using a learning model.
  • the specific unit 14 outputs the specified defect candidate to the defect candidate output unit 15 as specific result information (position data, image data, etc.).
  • step S103 the defect candidate output unit 15 outputs the specified specific result information.
  • the defect candidate output unit 15 displays the specified specific result information on a display, a screen of a mobile terminal, or the like so that the inspector can see it.
  • the image acquisition unit 13 acquires an image of a piece of cloth moving in the longitudinal direction, identifies a region showing a sewing defect candidate in the image acquired by the specific unit 14, using a learning model, and identifies the defect candidate.
  • the output unit 15 outputs the specified area to the inspector. As a result, the inspector can concentrate the inspection on the specified area and improve the work efficiency.
  • the specific unit 14 identifies the defect candidate using the learning model, but after that, a visual inspection by an inspector is required. Since airbags are used to save lives in an emergency such as a traffic accident, they are detected so that they can be identified as defect candidates even if they are unlikely to be defective (hereinafter referred to as over-detection). It is preferable to be done. If it is over-detected, normal sewing and abnormal sewing (defects) are mixed, so many defect candidates are identified, and it is difficult for an inspector to visually inspect all of the defect candidates. Therefore, in the second embodiment, an airbag inspection system that assists the inspector in visually inspecting the identified defect candidate will be described.
  • the visual inspection of many defect candidates may be inspected in stages by a plurality of people. For example, a veteran inspector may roughly determine the defect from the candidate defects and then have a mid-career or new inspector inspect the details of the defect.
  • the configuration of the airbag inspection system in the second embodiment is the same as that of the airbag inspection system 100 (see FIG. 1) in the first embodiment except for the airbag inspection device 4.
  • FIG. 4 shows a configuration example of the airbag inspection device 4 in the second embodiment.
  • the airbag inspection device 4 includes a model storage unit 11, an image acquisition unit 13, a specific unit 14, a defect candidate output unit 15a, an overdetection reception unit 16, an exclusion result output unit 17, a determination result reception unit 18, and a determination result output unit 19.
  • the determination result storage unit 20 and the input / output unit 21 are provided.
  • the determination result storage unit 20 stores the determination result (for example, defect position data and image data) received from the determination result output unit 19.
  • the determination result storage unit 20 stores the defect in a state where the level is attached. Details about the level will be described later.
  • the input / output unit 21 is an input / output interface for exchanging information between the airbag inspection device 4 and the inspector, and is, for example, an input / output touch panel device.
  • the input device and the output device may be provided separately.
  • the input device is a keyboard, a mouse, etc.
  • the output device is a display, a monitor, a printer, etc.
  • the defect candidate output unit 15a outputs the specific result information received from the specific unit 14.
  • the defect candidate output unit 15a outputs specific result information to the input / output unit 21 so that the inspector can see it (see FIG. 8).
  • the defect candidate output unit 15a may change the background color of the first region indicating the defect candidate and display it on the input / output unit 21 on the screen for displaying the specific result information. Further, when a plurality of overlapping regions of the first region exist, the defect candidate output unit 15a may change the background color of the overlapping regions to be displayed on the input / output unit 21 according to the degree of overlap. For example, it is assumed that the first region is represented by a rectangular region in the input / output unit 21 (see FIG. 5). In this case, when the two first regions overlap, the first region displayed on the input / output unit 21 becomes a rectangular region A as shown in FIG. 6, and when the four first regions overlap, as shown in FIG. Rectangular area B. In the case of FIG.
  • the defect candidate output unit 15a displays, for example, the background of the shaded area in the center of the rectangular area A displayed in the input / output unit 21 of FIG. 6 in color.
  • the defect candidate output unit 15a displays, for example, the background of the shaded area in the center of the rectangular area B displayed in the input / output unit 21 of FIG. 7 in color.
  • a region where the two first regions overlap may also be colored and displayed. Further, the entire rectangular areas A and B may be colored and displayed.
  • the defect candidate output unit 15a assists the inspector in easily visually recognizing which region is a defect and determining which region is a defect by making the background color of the overlapping regions different.
  • the defect candidate output unit 15a displays a screen visually viewed by the inspector, for example, as shown in FIG.
  • a plurality of first regions showing defect candidates may overlap on the screen displaying specific result information, but the first region (particularly, the region with high certainty) is more likely to overlap. It can be said that many overlapping parts are likely to be defective parts.
  • the over-detection receiving unit 16 causes an inspector (first inspector) to determine from the first area output by the defect candidate output unit 15a that it is erroneously determined to be the first defect candidate. Specifically, the over-detection receiving unit 16 asks the inspector to select the first over-detection area (the area that is erroneously determined by the specific unit 14 as the first defect candidate and is not a defect) based on the determination result.
  • the output unit 21 is controlled. For example, the input / output unit 21 displays a plurality of rectangular areas 22 (nine in FIG. 9) indicating the first defect candidate as shown in FIG. 9 on the screen viewed by the inspector, and the first over-detection is performed from the rectangular area 22. Have the area selected.
  • the selection may be made by touching, clicking, or the like on the rectangular area 22 which is the first over-detection area.
  • the input / output unit 21 displays the rectangular area 22 selected as the first overdetection area, for example, as shown in FIG. In FIG. 10, the rectangular area 22 selected as the first over-detection area is displayed as it is, and the rectangular area 22 not selected as the first over-detection area is displayed in shaded area (gray). If one rectangular area 22 contains an overdetection and a defect, it is determined as a defect. This is because if even one defect is contained, the airbag will eventually be discarded.
  • the over-detection receiving unit 16 receives the selected first over-detection area via the input / output unit 21.
  • the over-detection receiving unit 16 excludes the first over-detection region from the first region, and determines the result of the exclusion (the first region from which the first over-detection region is removed) as the second defect candidate.
  • the over-detection receiving unit 16 outputs the second defect candidate to the exclusion result output unit 17.
  • the exclusion result output unit 17 acquires the second defect candidate from the overdetection receiving unit 16
  • the exclusion result output unit 17 outputs the second defect candidate to the input / output unit 21.
  • the second defect candidate output by the exclusion result output unit 17 should include only the defect.
  • the defect is determined only by the visual inspection and judgment of the first inspector, even if there is a judgment error, it may be overlooked. That is, when the number of first defect candidates is large, it is preferable to have a plurality of inspectors perform double inspection. For example, the defect is re-determined by another inspector (second inspector) after the first inspector. Alternatively, the first inspector may be made to perform a rough visual inspection, and the second inspector may be made to perform a detailed visual inspection using an enlarged view of an image or the like.
  • the exclusion result output unit 17 outputs the second defect candidate to the input / output unit 21, and the second inspector inputs / outputs.
  • the second defect candidate output to the unit 21 is visually checked to determine whether or not it is a defect.
  • the input / output unit 21 may enlarge and display the area of the second defect candidate when the second inspector determines the defect. For example, when a part of the area (second defect candidate) on the screen presented by the input / output unit 21 is tapped by the inspector, the tapped area may be enlarged and displayed.
  • the determination result reception unit 18 causes the exclusion result output unit 17 to determine a defect from the second defect candidates output from the overdetection reception unit 16, and accepts the determined defect. Defect acceptance is executed by selecting (for example, tapping) an area determined by the second inspector as a defect in the input / output unit 21.
  • the over-detection determined by the inspector is accepted, but this may accept the defect.
  • first defect candidate defect (second defect candidate) + first overdetection
  • the second defect candidate may contain many defects or may contain few defects (more over-detection).
  • it is easier to select the smaller number of defects or over-detections for example, tapping to the input / output unit 21).
  • the determination result receiving unit 18 causes the exclusion result output unit 17 to determine non-defects from the second defect candidates output to the input / output unit 21, and the non-defects are regarded as the second over-detection (normal sewing). You may accept it.
  • the determination result receiving unit 18 may determine a defect (finally remaining defect) from the second defect candidates output by the exclusion result output unit 17, and accept the determined defect. ..
  • the determination result receiving unit 18 transmits the determination result (defect or second overdetection) to the determination result output unit 19.
  • the determination result receiving unit 18 causes the first inspector to determine the defect and accepts the determination result
  • the determination result receiving unit 18 causes the first inspector to determine the defect level indicating the level of the defect at the same time as the determination of the defect.
  • the defect and the defect level may be received from the input / output unit 21. For example, those that can be seen as defects at first glance are level 3, those that can be found by carefully visually observing the defect candidate area are level 2, and those that can be found by expanding the defect candidate area and carefully visually recognizing it are level 1. do.
  • the determination result output unit 19 When the determination result output unit 19 receives the defect or the second over-detection, which is the result of the determination (determination result) by the second inspector, from the determination result reception unit 18, the determination result output unit 19 outputs the second inspection to the input / output unit 21.
  • the members are urged to browse and confirm, and the determination result is stored in the determination result storage unit 20.
  • the determination result output unit 19 receives the defect and the defect level as the determination result, even if the determination result information (defect position data and image data) is acquired from the determination result storage unit 20 for each defect level and output. good. This is to have the state of the defect confirmed in detail according to the proficiency level of the second inspector.
  • a veteran first inspector will first roughly level the defects, a newer second inspector will be responsible for level 3 defects, and a mid-level second inspector will be responsible for level 2 defects.
  • Level 1 defects will be handled by another veteran second inspector.
  • the first inspector may make a judgment as the second inspector.
  • the determination result output unit 19 outputs a defect for each level, the display of the defect of another level may be omitted.
  • the inspector assigned to each level of inspection can display an image of only the defect in charge of himself / herself.
  • the exclusion result output unit 17 and the determination result output unit 19 may output an image in which the position of the entire airbag is associated with the position of the defect candidate or the defect at the time of output.
  • the screen shown in FIG. 11 shows four images of the entire airbag, and it is assumed that the region C in one of the images of the entire airbag on the right side contains a defect.
  • the area C corresponds to the screen shown in FIG. 12, and it is displayed that the areas C1 and C2 are included in the enlarged image of the area C. By displaying in this way, the inspector can see the position of the defect candidate or the defect in the airbag.
  • the exclusion result output unit 17 and the determination result output unit 19 may rotate the corresponding image by 90 degrees and output it, or may display the corresponding image by inverting it horizontally. As a result, the inspector can easily grasp the positional relationship between the defect candidate or the defect and the entire airbag, and can easily determine whether or not the defect is a defect.
  • the determination result output unit 19 When the determination result output unit 19 outputs the determination result (defect) to the input / output unit 21 and prompts the inspector to view it, the determination result output unit 19 confirms the position data of the defect in the entire airbag and the position data of the entire piece of cloth. You may be prompted to input the reason determined to be a defect, and the position data and the input reason determined to be a defect may be stored in the determination result storage unit 20.
  • Steps S201 to S202 are the same as steps S101 to S102 shown in FIG.
  • step S203 the defect candidate output unit 15a outputs the specific result information to the input / output unit 21.
  • the first inspector visually inspects the specific result information output to the input / output unit 21.
  • step S204 the over-detection receiving unit 16 mistakenly determines that the first defect candidate is the first defect candidate (first over-detection) from the first area output by the defect candidate output unit 15a, as the first inspector. Is input via the input / output unit 21. The over-detection receiving unit 16 outputs the result of excluding the first over-detection from the first defect candidate to the exclusion result output unit 17 as the second defect candidate.
  • step S205 when the exclusion result output unit 17 acquires the second defect candidate from the overdetection reception unit 16, it outputs it to the input / output unit 21.
  • the second inspector visually checks the second defect candidate output to the input / output unit 21 to determine whether or not the defect is present.
  • step S206 when a defect is determined by the second inspector from the second defect candidates output to the exclusion result output unit 17, the determination result receiving unit 18 inputs / outputs the determination result (for example, a defect). Accepted via unit 21. The determination result is transmitted to the determination result output unit 19.
  • step S207 the determination result output unit 19 outputs the determination result received from the determination result reception unit 18 to the input / output unit 21, and further stores it in the determination result storage unit 20.
  • the over-detection receiving unit 16 selects, as the first over-detection, the one that is erroneously determined to be the first defect candidate from the first area output by the defect candidate output unit 15.
  • the first over-detection area indicating the first over-detection is received, the exclusion result output unit 17 outputs the second defect candidate from which the first over-detection is excluded from the first defect candidate, and the determination result reception unit 18 is the first. This is because the defect is determined from the two defect candidates and the determined defect is accepted. As a result, over-detection is excluded from the defect candidates, so that the number of defect candidates visually judged by the inspector can be reduced.
  • the determination result receiving unit 18 selects a non-defect from the second defect candidates and accepts it as the second over-detection. As a result, even when the second defect candidate contains many defects, the number of times of inputting the inspector's area can be reduced.
  • defect candidate output unit 15a has a plurality of overlapping areas of the first area on the screen, the background color of the overlapping areas is changed and output according to the degree of overlapping. This allows the inspector to easily find areas on the screen that are likely to be defective.
  • the determination result receiving unit 18 causes the inspector to select a defect and a defect level representing the level of the defect from the second defect candidates, and accepts and determines the selected defect and the defect level.
  • the result output unit 19 receives the defect and the defect level and outputs the defect for each defect level. As a result, it is possible to determine a defect for each defect level, and it is possible to take measures such as assigning an inspector for each defect level.
  • FIG. 14 shows a configuration example of the airbag inspection device 5 according to the third embodiment.
  • the airbag inspection device 5 includes an image acquisition unit 51, a specific unit 52, and a defect candidate output unit 53.
  • the image acquisition unit 51 acquires an image of a piece of cloth moving in the longitudinal direction.
  • the identification unit 52 identifies a first region showing a first defect candidate for sewing in an image by using a learning model.
  • the defect candidate output unit 53 outputs the specified first area.
  • the image acquisition unit 51 acquires an image of a piece of cloth moving in the longitudinal direction
  • the identification unit 52 identifies a first region showing the first defect candidate for sewing in the image by using a learning model. This is because the defect candidate output unit 53 outputs the specified first region.
  • each component of each device indicates a block of functional units. Some or all of the components of each device may be realized by any combination of the computer 500 and the program.
  • FIG. 15 is a block diagram showing an example of the hardware configuration of the computer 500.
  • the computer 500 may include, for example, a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, a program 504, a storage device 505, a drive device 507, and a communication interface 508.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • program 504 a storage device 505, a drive device 507, and a communication interface 508.
  • GPU Graphics Processing Unit
  • the program 504 includes an instruction for realizing each function of each device.
  • the program 504 is stored in the ROM 502, the RAM 503, and the storage device 505 in advance.
  • the CPU 501 realizes each function of each device by executing the instruction included in the program 504.
  • the CPU 501 of the airbag inspection device 1 executes a command included in the program 504 to realize functions such as an image acquisition unit 13, a specific unit 14, and a defect candidate output unit 15.
  • the GPU 513 may be used to realize functions related to image processing such as the image acquisition unit 13, the specific unit 14, and the defect candidate output unit 15.
  • the RAM 503 may store data processed in each function of each device.
  • the RAM 503 of the airbag inspection device 1 may store the data of the specific result storage unit 12.
  • the drive device 507 reads and writes the recording medium 506.
  • the communication interface 508 provides an interface with the communication network 400.
  • the input device 509 is, for example, a mouse, a keyboard, a touch panel, or the like, and receives input of information from an inspector or the like.
  • the output device 510 is, for example, a display, and outputs (displays) information to an inspector or the like.
  • the input / output interface 511 provides an interface with peripheral devices. In the case of the airbag inspection device 1, the above-mentioned camera 2 or the like is connected to the input / output interface 511. Bus 512 connects each component of these hardware.
  • the program 504 may be supplied to the CPU 501 via the communication network, or may be stored in the recording medium 506 in advance, read by the drive device 507, and supplied to the CPU 501.
  • FIG. 15 is an example, and components other than these may be added or may not include some components.
  • each device may be realized by any combination of a computer and a program, which are different for each component.
  • a plurality of components included in each device may be realized by any combination of one computer and a program.
  • each component of each device may be realized by a general-purpose or dedicated circuitry including a processor or the like, or a combination thereof. These circuits may be composed of a single chip or a plurality of chips connected via a bus. A part or all of each component of each device may be realized by the combination of the circuit or the like and the program described above.
  • each component of each device when a part or all of each component of each device is realized by a plurality of computers, circuits, etc., the plurality of computers, circuits, etc. may be centrally arranged or distributed.
  • the airbag inspection device 1 may be arranged in one place, or may be arranged in a place different from the transport device 3 except for the camera 2, and the camera 2 is connected to the airbag inspection device 1 via a communication network. You may. That is, the airbag inspection device 1 may be realized by a cloud computing system.
  • Airbag inspection device 2 Camera 3 Conveyor device 4 Airbag inspection device 5 Airbag inspection device 11 Model storage unit 12 Specific result storage unit 13 Image acquisition unit 14 Specific unit 15 Defect candidate output unit 15a Defect candidate output unit 16 Over-detection reception Unit 17 Exclusion result output unit 18 Judgment result reception unit 19 Judgment result output unit 20 Judgment result storage unit 21 Input / output unit 22 Rectangular area 51 Image acquisition unit 52 Specific unit 53 Defect candidate output unit 100 Airbag inspection system 500 Computer 501 CPU 502 ROM 503 RAM 504 Program 505 Storage device 506 Recording medium 507 Drive device 508 Communication interface 509 Input device 510 Output device 511 Input / output interface 512 Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

エアバッグ製造において、反物の縫製の検査を補助するエアバッグ検査装置等を提供する。　エアバッグ検査装置５は、画像取得部５１、特定部５２および欠陥候補出力部５３を備える。画像取得部５１は、長手方向に移動する反物が撮影された画像を取得し、特定部５２は、画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定し、欠陥候補出力部５３は、特定された第１領域を出力する。

Description

エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体
　本発明は、エアバッグの検査をするためのエアバッグ検査装置等に関する。
　車体等に搭載されるエアバッグがある。このエアバッグの製造時に、エアバッグ生地の外観や縫製具合をカメラを用いて検査する技術がある。例えば、特許文献１は、エアバッグ生地の外観を調査して、品質規準を満たすか検査するための方法を開示する。
　この他、関連する技術を開示する文献として特許文献２がある。
特表２００６－５２１５４４号公報 特開２００８－７４００７号公報
　上述の特許文献１は、一つのエアバッグ用の生地とカメラとを相対的に動かしながら縫製具合等を検知する手法を開示する。しかしながら特許文献１は、長尺の反物状のエアバッグ生地を用いて縫製された複数のエアバッグの縫製具合等をまとめて検査する手法は開示しない。尚、特許文献２も上記の検査手法は開示しない。
　本開示の目的の１つは、上述の課題を解決し、エアバッグ製造において、反物の縫製の検査を補助するエアバッグ検査装置等を提供することである。
　本開示の一態様におけるエアバッグ検査装置は、
　長手方向の一端に移動する反物が撮影された画像を取得する画像取得部と、
　前記画像における縫製の第１欠陥候補を示す第１領域を、学習済みモデルを用いて特定する特定部と、
　特定された第１領域を出力する欠陥候補出力部
とを備える。
　本開示の一態様におけるエアバッグ検査システムは、
　上記のエアバッグ検査装置と、
　長手方向に移動する反物を撮影するカメラと
を備える。
　本開示の一態様におけるエアバッグ検査方法は、
　長手方向の一端に移動する反物が撮影された画像を取得し、
　前記画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定し、
　特定された第１領域を出力する。
　本開示の一態様におけるエアバッグ検査プログラムは、
　長手方向の一端に移動する反物が撮影された画像を取得し、
　前記画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定し、
　特定された第１領域を出力する
ことをコンピュータに実行させる。
　プログラムは非一時的なコンピュータ読み取り可能な記録媒体に格納されていてもよい。
　本開示の効果は、エアバッグ製造において、反物の縫製の検査を補助するためのエアバッグ検査装置等を提供できることである。
第１の実施形態におけるエアバッグ検査システムおよび搬送装置の構成を示すブロック図である。 第１の実施形態におけるエアバッグ検査装置の構成を示すブロック図である。 第１の実施形態におけるエアバッグ検査装置の動作例を示すフローチャートである。 第２の実施形態におけるエアバッグ検査装置の構成を示すブロック図である。 １つの欠陥候補を示す矩形領域を表す例図である。 ２つの欠陥候補を示す矩形領域とその重なりを表す例図である。 ４つの欠陥候補を示す矩形領域とその重なりを表す例図である。 エアバッグ生地の画像上に示される欠陥候補を示す矩形領域画面の例図である。 過検知判定画面の例図である。 過検知が除かれた後の過検知判定画面の例図である。 エアバッグ生地画像と欠陥領域との対応を示す画面の例図である。 欠陥領域の拡大図の例図である。 第２の実施形態におけるエアバッグ検査装置の動作の例を示すフローチャートである。 第３の実施形態におけるエアバッグ検査装置のシステム構成を示すブロック図である。 コンピュータのハードウェア構成の例を示すブロック図である。 市場にあるエアバッグ検査システムおよび搬送装置の構成を示すブロック図である。
　エアバッグの製造手法の一態様として、複数のエアバッグを一度に製造するために、エアバッグ生地である反物（短手方向の生地が重ね合わせられた長手方向に延びる布）をエアバッグの形状となるように縫い合わせ、後に裁断する手法がある。この手法では、縫製後且つ裁断前に、生地のほつれ、誤縫い等の不良がないか、反物を搬送装置で搬送しながら検査員による検査が行われる。検査時には、反物の搬送、停止を繰り返しながら、検査員が目視で検査をする（図１６参照）。しかし当該検査手法は、検査員の負担が大きく、また、検査ミスが発生する可能性もある。
　よって、以下の実施形態においては、エアバッグ製造において、反物の縫製の検査を補助するためのエアバッグ検査装置等について説明する。
　以下、実施形態について図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。
　（第１の実施形態）
　（エアバッグ検査システム）
　第１の実施形態におけるエアバッグ検査システムの構成について説明する。図１は、第１の実施形態におけるエアバッグ検査システム１００および搬送装置の構成を示すブロック図である。図１を参照すると、エアバッグ検査システム１００は、エアバッグ検査装置１及びカメラ２を備える。図１における搬送装置３は、複数の支持ローラの側面の方向から見た構成を例示している。
　搬送装置３は、反物状のエアバッグ生地を所定の速度で搬送するための装置であり、搬送中にエアバッグ生地を検査するために複数の支持ローラを備える。複数の支持ローラのうちの一部は回転駆動装置であってもよい。搬送装置３は、反物状のエアバッグ生地を長手方向の片方（一端）に移動させる。尚、搬送装置３は、エアバッグ生地を長手方向の逆方向（他端）に移動させる機能や、移動を一時停止する機能を備えていてもよい。
　カメラ２は、所定の速度で動くエアバッグ生地の外観を撮影する。カメラ２は、直線アレイカメラまたはＣＣＤ（Charge Coupled Device）アレイカメラであってもよい。図１において、カメラ２は２つ備えられているが、カメラの数はこれに限定されない。
　エアバッグ検査装置１は、カメラ２が撮影する長手方向に移動するエアバッグ生地の画像を取得すると、当該画像において、生地のほつれや縫製異常などの欠陥候補を示す領域を特定し、特定された領域をモニタ、ディスプレイ、タッチパネルなどに出力する。特定には機械学習により欠陥の画像を学習した学習モデルが使用される。検査員は出力された欠陥候補を示す領域を検査する。
　尚、エアバッグ検査装置１およびカメラ２は、搬送装置３と一体に設計されていてもよいし、搬送装置３に据え付け及び取り外し可能な形態であってもよい。
　（エアバッグ検査装置）
　エアバッグ検査装置１について図２を用いて詳細に説明する。エアバッグ検査装置１は、モデル記憶部１１、特定結果記憶部１２、画像取得部１３、特定部１４および欠陥候補出力部１５を備える。
　モデル記憶部１１は、予め撮影されたエアバッグ生地の画像を用いて学習された学習済みモデル（以下、学習モデルと記載する）を格納する。学習モデルは、たとえば、エアバッグ生地の縫製正常の画像および縫製異常（欠陥）の画像を教師データとして用いる機械学習により作成されたモデルであり、画像内に写る欠陥候補を検知することができる。ここで、検知とは、識別を意味する。欠陥候補とは、学習モデルが欠陥の可能性があると特定するエアバッグ生地の画像内の一部の領域である。学習モデルが検知した欠陥候補の領域には、糸のほつれ、縫製異常（誤縫い）などが写っている。
　特定結果記憶部１２は、特定部１４によって特定された結果、即ち、学習モデルが検知した欠陥候補の領域に関する情報（特定結果情報）を格納する。特定結果情報とは、例えば、欠陥候補の位置を示す情報（座標軸などの位置データ）と、学習モデルが欠陥候補として検知した領域の画像データである。尚、エアバッグ生地は短手方向と比して長手方向に非常に長い。このため、長手方向の位置データは、エアバッグ生地の一端から何個目に縫製されたエアバッグであるかを示す位置データ（例えば、３個目のエアバッグを含む領域におけるｘ軸の値およびｙ軸の値）としてもよい。この他、長手方向の位置データは、エアバッグ生地の全体の長さと幅とにおける位置データ（例えば、生地全体を第１象限に対応する領域とした場合のｘ軸の値およびｙ軸の値）であってもよい。
　画像取得部１３は、長手方向に移動する反物が撮影された画像を外部のカメラ２から取得する。なお、画像は、カメラ２からの時系列の画像を記憶する記憶装置からネットワークを経由して取得したものでもよい。画像取得部１３は、取得した画像を特定部１４に送信する。
　特定部１４は、第１欠陥候補を示す第１領域を特定する。具体的に、取得した画像における縫製の欠陥候補を示す領域を、学習モデルを用いて特定する。特定部１４は、予め撮影されたエアバッグ生地の画像を用いて学習し作成された学習モデルを用いて、取得された画像内における欠陥候補を特定する。特定された欠陥候補は特定結果情報（欠陥候補の位置データ、画像データなど）として欠陥候補出力部１５に出力され、更に、特定結果記憶部１２に格納される。
　特定部１４は、取得された画像内の所定の領域毎に、当該領域が欠陥である確からしさ（確信度）を示すスコアを学習モデルから受け取ってもよい。所定の領域とは、例えば、１００ピクセル×１００ピクセルから成る領域である。所定の領域の大きさは欠陥候補を示す領域の大きさと同じでも良い。確信度とは、例えば、０から１までのスコア値であり、欠陥である可能性が高いほど絶対値が大きくなるように設定されてもよい。具体例として、所定の領域と欠陥候補を示す領域との大きさが同じであり、欠陥と判定されるのが確信度０．５以上１．０以下である場合について説明する。この場合、特定部１４は、学習モデルから所定の領域における確信度０．１を受け付けたとき、当該領域は欠陥候補ではないと判断する。特定部１４は、学習モデルから所定の領域における確信度０．５を受け付けたとき、当該領域は確信度０．５（欠陥か否か不明瞭）の欠陥候補であると判断する。特定部１４は、学習モデルから所定の領域における確信度０．９９を受け付けたとき、当該領域は確信度０．９９（明らかに欠陥）の欠陥領域であると判断する。特定部１４は確信度と欠陥領域を紐づけて特定結果情報としてもよい。尚、確信度はレベルとして出力されてもよい。例えば、確信度１ならレベル１、確信度０．８０－０．９９ならばレベル２と出力する。
　欠陥候補出力部１５は、特定部１４から受け取る特定結果情報を出力する。欠陥候補出力部１５は、検査員が視認可能なように、例えばディスプレイ（不図示）に特定結果情報を出力し、表示する。上記ディスプレイはエアバッグ検査装置１の一部であってもよいし、検査員用の携帯端末（不図示）に備えられるモニタであってもよい。携帯端末の画面に特定結果情報を表示させる場合、欠陥候補出力部１５は、携帯端末と通信するための通信回路を備え、携帯端末に特定結果情報を送信する。
　（エアバッグ検査装置の動作）
　エアバッグ検査装置１の動作について図３に示すフローチャートを参照して説明する。
　ステップＳ１０１において、画像取得部１３は、エアバッグ生地の長手方向の少なくとも片方に移動する反物が撮影された画像を取得する。画像取得部１３は取得した画像を特定部１４に出力する。
　ステップＳ１０２において、特定部１４は、取得した画像における縫製の欠陥候補を示す領域を、学習モデルを用いて特定する。特定部１４は、特定された欠陥候補を特定結果情報（位置データ、画像データなど）として欠陥候補出力部１５に出力する。
　ステップＳ１０３において、欠陥候補出力部１５は、特定された特定結果情報を出力する。欠陥候補出力部１５は、特定された特定結果情報を検査員が目視できるように、ディスプレイや携帯端末の画面上などに表示させる。
　以上で、エアバッグ検査装置１の動作を終了する。
　（第１の実施形態の効果）
　本開示の第１の実施形態によると、エアバッグ製造において、反物の縫製の検査を補助することができる。この理由は画像取得部１３が長手方向に移動する反物が撮影された画像を取得し、特定部１４が取得した画像における縫製の欠陥候補を示す領域を、学習モデルを用いて特定し、欠陥候補出力部１５が特定された領域を検査員に対して出力するからである。これにより検査員は特定された領域を集中して検査することができ、作業効率を上げることができる。
　（第２の実施形態）
　第１の実施形態においては、特定部１４が学習モデルを用いて欠陥候補の特定を行ったが、この後、検査員による目視検査が必要である。尚、エアバッグは交通事故などの非常時に生命を守るために使用されるため、たとえ欠陥である可能性が低くとも欠陥候補と特定されるように検知（以下、これを過検知と記載する）されることが好ましい。過検知されると縫製正常と縫製異常（欠陥）とが混ざるため、欠陥候補は数多く特定され、欠陥候補の全てを検査員が目視で検査することは困難である。よって、第２の実施形態においては、特定された欠陥候補を検査員が目視検査することを補助するエアバッグ検査システムについて説明する。
　多くの欠陥候補の目視検査は、複数人により段階を設けて検査されてもよい。例えば、ベテランの検査員がおおまかに欠陥候補から欠陥を判定し、その後、中堅の検査官や新人の検査官に欠陥の詳細を検査させてもよい。
　尚、第２の実施形態におけるエアバッグ検査システムの構成は、エアバッグ検査装置４以外は第１の実施形態におけるエアバッグ検査システム１００（図１参照）と同様である。
　（エアバッグ検査装置）
　第２の実施形態における、エアバッグ検査装置４の構成例を図４に示す。エアバッグ検査装置４は、モデル記憶部１１、画像取得部１３、特定部１４、欠陥候補出力部１５ａ、過検知受付部１６、除外結果出力部１７、判定結果受付部１８、判定結果出力部１９、判定結果記憶部２０および入出力部２１を備える。
　判定結果記憶部２０は、判定結果出力部１９より受信する判定結果（例えば、欠陥の位置データおよび画像データ）を格納する。判定結果記憶部２０は、欠陥にレベルが付されている場合、当該欠陥にレベルを付した状態で格納する。レベルについての詳細は後述する。
　入出力部２１は、エアバッグ検査装置４と検査員との間で情報をやり取りするための入出力インタフェースであり、例えば入出力タッチパネル装置である。尚、入力装置と出力装置とは別々に設けられていても構わない。入力装置とはキーボード、マウスなど、出力装置とはディスプレイ、モニタ、プリンタなどである。
　欠陥候補出力部１５ａは、特定部１４から受け取る特定結果情報を出力する。欠陥候補出力部１５ａは、検査員が視認可能なように、入出力部２１に特定結果情報を出力する（図８参照）。
　欠陥候補出力部１５ａは、特定結果情報を表示する画面において、欠陥候補を示す第１領域の背景の色を変更させて入出力部２１に表示させてもよい。また、第１領域が複数重なり合う領域が存在する場合、欠陥候補出力部１５ａは、重なり合いの度合いに応じて当該重なり合う領域の背景の色を変更させて入出力部２１に表示させてもよい。例えば、入出力部２１において第１領域が矩形領域で表されるとする（図５参照）。この場合、２つの第１領域が重なると、入出力部２１に表示される第１の領域は、図６に示すような矩形領域Ａとなり、４つの第１領域が重なると図７に示すような矩形領域Ｂとなる。図６の場合、２つの第１領域（欠陥候補）が重なる。この場合、欠陥候補出力部１５ａは、例えば、図６の入出力部２１に表示される矩形領域Ａの中央の斜線領域の背景を、色を付して表示させる。図７の場合、４つの第１領域（欠陥候補）が重なる。この場合、欠陥候補出力部１５ａは、例えば、図７の入出力部２１に表示される矩形領域Ｂの中央の斜線領域の背景を、色を付して表示させる。この他の表示手法として、２つの第１領域が重なる領域（図７の中央の斜線領域の上下左右の４つの領域）にも色を付して表示してもよい。さらに、矩形領域Ａ、Ｂ全体に色を付して表示してもよい。重なり数が多いほど欠陥である可能性は高くなる。このため、重なり度合い（重なり合う数）に応じて色を変化させることが好ましい。例えば、重なり数２が黄色、重なり数３が橙色、重なり数４が赤色のようにする。このように、欠陥候補出力部１５ａは、重なりあう領域の背景色を異ならせることにより、検査員がどの領域が欠陥であるかの目視および欠陥であることの判断を行いやすいように補助する。尚、欠陥候補出力部１５ａは、検査員が目視する画面を例えば図８に示すように表示する。
　この他、図６、図７に示すように、特定結果情報を表示する画面において欠陥候補を示す第１領域が複数重なり合うことがあるが、第１領域（特に、確信度が高い領域）がより多く重なり合っている箇所は、欠陥箇所である可能性が高いといえる。
　過検知受付部１６は、欠陥候補出力部１５ａにて出力された第１領域のうちから、誤って第１欠陥候補と判断されたものを検査員（第１検査員）に判定させる。具体的に、過検知受付部１６は、判定結果を基に第１過検知領域（誤って特定部１４に第１欠陥候補と判断された、欠陥ではない領域）を検査員に選択させるよう入出力部２１を制御する。例えば、入出力部２１は図９に示すような第１欠陥候補を示す矩形領域２２を複数（図９では９つ）検査員の閲覧する画面に表示し、この矩形領域２２から第１過検知領域を選択させる。選択は第１過検知領域である矩形領域２２へのタッチ、クリック等で行われて良い。入出力部２１は、第１過検知領域として選択された矩形領域２２を、例えば、図１０に示すように表示する。図１０では、第１過検知領域として選択された矩形領域２２がそのまま表示され、第１過検知領域として選択されなかった矩形領域２２が網掛け（グレー）で表示される。尚、一つの矩形領域２２に過検知と欠陥とが含まれる場合は欠陥として判定する。これは欠陥が１つでも含まれていると最終的にそのエアバッグは廃棄等となるからである。過検知受付部１６は、選択された第１過検知領域を、入出力部２１を介して受け付ける。過検知受付部１６は、第１領域から第１過検知領域を除外し、除外の結果（第１過検知領域が除かれた第１領域）を第２欠陥候補と決定する。過検知受付部１６は、第２欠陥候補を除外結果出力部１７に出力する。
　除外結果出力部１７は、第２欠陥候補を過検知受付部１６から取得すると、入出力部２１に第２欠陥候補を出力する。尚、このとき除外結果出力部１７が出力する第２欠陥候補は、欠陥のみが含まれているはずである。
　しかし第１欠陥候補の数が多いと、第１検査員がすべての第１欠陥候補を一人で目視し、判定するのは困難な場合がある。更に第１検査員の目視および判断のみで欠陥だと決定すると、判断ミスがあっても見過ごしてしまうことがある。即ち、第１欠陥候補の数が多いときは、複数の検査員により二重検査を行わせることが好ましいといえる。例えば、第１検査員の後に他の検査員（第２検査員）により欠陥の再判定を行う。または、第１検査官におおまかな目視検査を行わせ、第２検査員に、画像の拡大ビューなどを用いた詳細な目視検査を行わせてもよい。
　第１検査員による第１欠陥候補に含まれる欠陥（第２欠陥候補）の判断の後、除外結果出力部１７が入出力部２１に第２欠陥候補を出力すると、第２検査員は入出力部２１に出力される第２欠陥候補を目視して欠陥か否かを判定する。入出力部２１は、第２検査員による欠陥の判定の際に第２欠陥候補の領域を拡大して表示してもよい。例えば、検査員から入出力部２１が提示する画面上の一部の領域（第２欠陥候補）がタップ等されると、当該タップされた領域を拡大表示してもよい。
　判定結果受付部１８は、除外結果出力部１７に過検知受付部１６から出力された第２欠陥候補のうちから欠陥を第２検査員に判定させ、判定された欠陥を受け付ける。欠陥の受け付けは、第２検査員が欠陥と判定した領域を入出力部２１において選択（例えば、タップ）することで実行される。
　第１欠陥候補または第２欠陥候補から、欠陥を受け付ける際には、検査員が判定する過検知を受け付けるが、これは欠陥を受け付けてもよい。例えば、「第１欠陥候補＝欠陥（第２欠陥候補）＋第１過検知」であるから、過検知を受け付けて「欠陥＝第１欠陥候補－第１過検知」と処理することで欠陥を抽出することができる。これは、第２欠陥候補には欠陥が多く含まれる場合もあれば欠陥が少なく含まれる（過検知の方が多い）場合もあるからである。第２検査員にとっては、欠陥または過検知のうち、より数が少ない方を選択（例えば、入出力部２１へのタップ）する方が処理は容易である。このため、判定結果受付部１８は、除外結果出力部１７にて入出力部２１に出力された第２欠陥候補のうちから欠陥以外を判定させ、欠陥以外を第２過検知（縫製正常）として受け付けてもよい。この他、判定結果受付部１８は、除外結果出力部１７にて出力された第２欠陥候補のうちから、欠陥（最終的に残った欠陥）を判定させ、判定された欠陥を受け付けてもよい。判定結果受付部１８は、判定の結果（欠陥または第２過検知）を、判定結果出力部１９に送信する。
　尚、判定結果受付部１８は、第１検査員に欠陥を判定させて判定結果を受け付ける場合、欠陥の判定と同時に当該欠陥のレベルを表す欠陥レベルも第１検査員に判定させ、判定された欠陥および当該欠陥レベルを、入出力部２１から受け付けてもよい。例えば、一見して欠陥と分かるものはレベル３、欠陥候補の領域を丁寧に目視して発見できるものはレベル２、欠陥候補の領域を拡大して丁寧に目視して発見できるものはレベル１とする。
　判定結果出力部１９は、判定結果受付部１８から第２検査員による判定の結果（判定結果）である、欠陥または第２過検知を受信すると、入出力部２１に出力することにより第２検査員に閲覧および確認を促し、更に、判定結果記憶部２０に判定結果を格納する。判定結果出力部１９は、判定結果として欠陥および欠陥レベルを受け取った場合、当該欠陥レベル毎に欠陥の情報（欠陥の位置データおよび画像データ）を判定結果記憶部２０から取得し、出力してもよい。これは第２検査員の習熟度に応じて、欠陥の状態を詳細に確認させるためである。例えば、最初にベテランの第１検査員が欠陥のレベル分けをおおまかに行い、レベル３の欠陥は新人の第２検査員に担当させ、レベル２の欠陥は中堅の第２検査員に担当させ、レベル１の欠陥は他のベテランの第２検査員が担当するようにする。第１検査員は、第２検査員として判定をおこなってもよい。判定結果出力部１９は、レベル毎に欠陥を出力する際、別のレベルの欠陥の表示を省略してもよい。例えば、レベル１の欠陥が選択されると、レベル１の欠陥のみを連続して表示し、他レベルの欠陥の表示を省略してよい。これにより、各レベルの検査に割り当てられた検査員は、自らが担当する欠陥のみの画像を表示させることができる。
　尚、除外結果出力部１７および判定結果出力部１９は、出力の際に、エアバッグ全体の位置と欠陥候補または欠陥の位置とを対応付けた画像を出力してもよい。例えば、図１１に示す画面には、４つのエアバッグ全体画像が写っているが、このうち１つの右側のエアバッグ全体画像の内の領域Ｃは欠陥を含むとする。この場合、当該領域Ｃは、図１２に示す画面と対応しており、当該領域Ｃの拡大画像内に、領域Ｃ１およびＣ２が含まれているのが表示される。このように表示することにより検査員は、当該欠陥候補または欠陥がエアバッグのどの位置に存在するのかを閲覧できる。除外結果出力部１７および判定結果出力部１９は、対応画像を９０度ずつ回転させて出力してもよいし、対応画像を左右反転させて表示させてもよい。これにより検査員は、当該欠陥候補または欠陥とエアバッグ全体との位置関係を把握しやすくなり、欠陥か否かの判断が容易となる。
　判定結果出力部１９は、判定結果（欠陥）を入出力部２１に出力して検査員に閲覧を促す際に、その欠陥のエアバッグ全体での位置データおよび反物全体での位置データの確認、欠陥と判定された理由の入力を促し、当該位置データおよび入力された欠陥と判定された理由を、判定結果記憶部２０に格納してもよい。
　他の部は第１の実施形態と同様であり、説明を省略する。
　（エアバッグ検査装置の動作）
　エアバッグ検査装置４の動作について図１３に示すフローチャートを参照して説明する。
　ステップＳ２０１～Ｓ２０２までは図３に示すステップＳ１０１～Ｓ１０２と同様である。
　ステップＳ２０３において、欠陥候補出力部１５ａは、特定結果情報を入出力部２１に出力する。第１検査員は入出力部２１に出力された特定結果情報を目視で検査する。
　ステップＳ２０４において、過検知受付部１６は、欠陥候補出力部１５ａにて出力された第１領域のうちから、誤って第１欠陥候補と判断されたもの（第１過検知）を第１検査員に入出力部２１を介して入力させる。過検知受付部１６は、第１欠陥候補から第１過検知が除外された結果を第２欠陥候補として、除外結果出力部１７に出力する。
　ステップＳ２０５において、除外結果出力部１７は、第２欠陥候補を過検知受付部１６から取得すると、入出力部２１に出力する。第２検査員は入出力部２１に出力される第２欠陥候補を目視して欠陥か否かを判定する。
　ステップＳ２０６において、除外結果出力部１７に出力された第２欠陥候補のうちから第２検査員によって欠陥が判定されると、判定結果受付部１８は判定の結果（例えば、欠陥）を、入出力部２１を介して受け付ける。判定の結果は、判定結果出力部１９に送信される。
　ステップＳ２０７において、判定結果出力部１９は、判定結果受付部１８から受け取った判定結果を入出力部２１に出力し、更に、判定結果記憶部２０に格納する。
　以上によりエアバッグ検査装置４の動作を終了する。
　（第２の実施形態の効果）
　第２の実施形態の効果を説明する。本開示の第２の実施形態によると、第１の実施形態の効果に加え、エアバッグ製造において、反物の縫製の検査をより効率的に補助することができる。この理由は、過検知受付部１６が、欠陥候補出力部１５にて出力された第１領域のうちから、誤って第１欠陥候補と判断されたものを第１過検知として選択させ、選択された第１過検知を示す第１過検知領域を受け付け、除外結果出力部１７が第１欠陥候補から第１過検知が除外された第２欠陥候補を出力し、判定結果受付部１８が、第２欠陥候補のうちから欠陥を判定させ、判定された前記欠陥を受け付けるからである。これにより欠陥候補から過検知を除外するため、検査員が目視し判定する欠陥候補の数を減ずることができる。
　他の理由として、判定結果受付部１８は、第２欠陥候補のうちから欠陥以外を選択させ、第２過検知として受け付けるからである。これにより、第２欠陥候補に欠陥が多く含まれる場合であっても、検査員の領域の入力の回数を減ずることができる。
　他の理由として、欠陥候補出力部１５ａが、画面に第１領域が複数重なり合う領域が存在する場合、重なり合いの度合いに応じて当該重なり合う領域の背景の色を変更させて出力するからである。これにより、検査員が画面上において欠陥の可能性が高い領域を容易に発見することができる。
　他の理由として、判定結果受付部１８が、第２欠陥候補のうちから、欠陥および当該欠陥のレベルを表す欠陥レベルを検査員に選択させ、選択された前記欠陥および前記欠陥レベルを受け付け、判定結果出力部１９が、当該欠陥および欠陥レベルを受け取り、欠陥レベル毎に欠陥を出力するからである。これにより、欠陥レベル毎に欠陥の判定をすることができ、当該欠陥レベル毎に検査員を割り当てるなどの対応が可能となる。
　（第３の実施形態）
　第３の実施形態におけるエアバッグ検査装置５の構成例を図１４に示す。エアバッグ検査装置５は、画像取得部５１、特定部５２および欠陥候補出力部５３を備える。
　画像取得部５１は、長手方向に移動する反物が撮影された画像を取得する。
　特定部５２は、画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定する。
　欠陥候補出力部５３は、特定された第１領域を出力する。
　第３の実施形態の効果を説明する。本開示の第３の実施形態によると、エアバッグ製造において、反物の縫製の検査を補助することができる。この理由は、画像取得部５１が長手方向に移動する反物が撮影された画像を取得し、特定部５２が画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定し、欠陥候補出力部５３が特定された第１領域を出力するからである。
　（ハードウェア構成）
　上述した各実施形態において、各装置（エアバッグ検査装置１、４、５等）の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ５００とプログラムとの任意の組み合わせにより実現されてもよい。
　図１５はコンピュータ５００のハードウェア構成の例を示すブロック図である。図１５を参照すると、コンピュータ５００は、例えば、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、プログラム５０４、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入力装置５０９、出力装置５１０、入出力インタフェース５１１、バス５１２およびＧＰＵ（Graphics Processing Unit）５１３を含む。
　プログラム５０４は、各装置の各機能を実現するための命令（instruction）を含む。プログラム５０４は、予め、ＲＯＭ５０２やＲＡＭ５０３、記憶装置５０５に格納される。ＣＰＵ５０１は、プログラム５０４に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、エアバッグ検査装置１のＣＰＵ５０１がプログラム５０４に含まれる命令を実行することにより、画像取得部１３、特定部１４および欠陥候補出力部１５などの機能を実現する。ＧＰＵ５１３を用いて、画像取得部１３、特定部１４および欠陥候補出力部１５などの画像処理にかかる機能を実現してもよい。また、ＲＡＭ５０３は、各装置の各機能において処理されるデータを記憶してもよい。例えば、エアバッグ検査装置１のＲＡＭ５０３が、特定結果記憶部１２のデータを記憶してもよい。
　ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、通信ネットワーク４００とのインタフェースを提供する。入力装置５０９は、例えば、マウス、キーボード、タッチパネル等であり、検査員等からの情報の入力を受け付ける。出力装置５１０は、例えば、ディスプレイであり、検査員等へ情報を出力（表示）する。入出力インタフェース５１１は、周辺機器とのインタフェースを提供する。エアバッグ検査装置１の場合、入出力インタフェース５１１には、上述のカメラ２などが接続される。バス５１２は、これらハードウェアの各構成要素を接続する。なお、プログラム５０４は、通信ネットワークを介してＣＰＵ５０１に供給されてもよいし、予め、記録媒体５０６に格納され、ドライブ装置５０７により読み出され、ＣＰＵ５０１に供給されてもよい。
　なお、図１５に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。
　各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
　また、各装置の各構成要素の一部または全部は、プロセッサ等を含む汎用または専用の回路（circuitry）や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。
　また、エアバッグ検査装置１は一か所に配置されてもよいし、カメラ２以外は搬送装置３とは異なる場所に配置され、カメラ２は通信ネットワークを介してエアバッグ検査装置１と接続されてもよい。つまり、エアバッグ検査装置１は、クラウドコンピューティングシステムによって実現されてもよい。
　以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
１　エアバッグ検査装置
２　カメラ
３　搬送装置
４　エアバッグ検査装置
５　エアバッグ検査装置
１１　モデル記憶部
１２　特定結果記憶部
１３　画像取得部
１４　特定部
１５　欠陥候補出力部
１５ａ　欠陥候補出力部
１６　過検知受付部
１７　除外結果出力部
１８　判定結果受付部
１９　判定結果出力部
２０　判定結果記憶部
２１　入出力部
２２　矩形領域
５１　画像取得部
５２　特定部
５３　欠陥候補出力部
１００　エアバッグ検査システム
５００　コンピュータ
５０１　ＣＰＵ
５０２　ＲＯＭ
５０３　ＲＡＭ
５０４　プログラム
５０５　記憶装置
５０６　記録媒体
５０７　ドライブ装置
５０８　通信インタフェース
５０９　入力装置
５１０　出力装置
５１１　入出力インタフェース
５１２　バス

Claims (10)

  1. 　長手方向に移動する反物が撮影された画像を取得する画像取得手段と、
    　前記画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定する特定手段と、
    　特定された第１領域を出力する欠陥候補出力手段
    とを備えるエアバッグ検査装置。
  2. 　欠陥候補出力手段にて出力された前記第１領域のうちから、誤って第１欠陥候補と判断された第１過検知を示す第１過検知領域を受け付ける過検知受付手段
    を更に備える請求項１に記載のエアバッグ検査装置。
  3. 　前記第１欠陥候補から前記第１過検知が除外された第２欠陥候補を出力する除外結果出力手段と、
    　前記除外結果出力手段にて出力された前記第２欠陥候補のうちから判定された欠陥を受け付ける判定結果受付手段
    を更に備える請求項２に記載のエアバッグ検査装置。
  4. 　前記判定結果受付手段は、前記除外結果出力手段にて出力された前記第２欠陥候補のうちから欠陥以外を第２過検知として受け付ける
    請求項３に記載のエアバッグ検査装置。
  5. 　前記欠陥候補出力手段は、前記画像に前記第１領域が複数重なり合う領域が存在する場合、当該重なりに応じて前記重なり合う領域の背景の色を変更させて出力する
    請求項１に記載のエアバッグ検査装置。
  6. 　前記判定結果受付手段は、前記除外結果出力手段にて出力された前記第２欠陥候補のうちから、欠陥および当該欠陥のレベルを表す欠陥レベルを判定させ、判定された前記欠陥および前記欠陥レベルを受け付ける
    請求項３に記載のエアバッグ検査装置。
  7. 　前記判定結果受付手段から判定された前記欠陥および前記欠陥レベルを受け取り、前記欠陥レベル毎に前記欠陥を出力する判定結果出力手段
    を更に備える請求項６に記載のエアバッグ検査装置。
  8. 　請求項１乃至７のいずれかに記載のエアバッグ検査装置と、
    　長手方向に移動する反物を撮影するカメラと
    を備えるエアバッグ検査システム。
  9. 　長手方向に移動する反物が撮影された画像を取得し、
    　前記画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定し、
    　特定された第１領域を出力する
    エアバッグ検査方法。
  10. 　長手方向に移動する反物が撮影された画像を取得し、
    　前記画像における縫製の第１欠陥候補を示す第１領域を、学習モデルを用いて特定し、
    　特定された第１領域を出力する
    ことをコンピュータに実現させるためのプログラムを格納する記録媒体。
PCT/JP2020/022512 2020-06-08 2020-06-08 エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体 WO2021250736A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/022512 WO2021250736A1 (ja) 2020-06-08 2020-06-08 エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体
JP2022530362A JPWO2021250736A5 (ja) 2020-06-08 エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/022512 WO2021250736A1 (ja) 2020-06-08 2020-06-08 エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2021250736A1 true WO2021250736A1 (ja) 2021-12-16

Family

ID=78845434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022512 WO2021250736A1 (ja) 2020-06-08 2020-06-08 エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2021250736A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344309A (ja) * 2002-05-30 2003-12-03 Olympus Optical Co Ltd 検査装置のパラメータ設定方法
JP2006521544A (ja) * 2003-03-27 2006-09-21 マーロ ゲーエムベーハ ウント ツェーオー． カーゲー 輪郭に従って複数層形式に具現化された平坦な布地構造の品質規準を検査するための方法
JP2006266766A (ja) * 2005-03-23 2006-10-05 Olympus Corp マクロ画像表示システム及びマクロ画像表示方法
JP2009294087A (ja) * 2008-06-05 2009-12-17 Sumitomo Chemical Co Ltd 樹脂材料検査装置およびプログラム
JP2015190898A (ja) * 2014-03-28 2015-11-02 セーレン株式会社 欠陥検出装置及び欠陥検出方法
JP2019050914A (ja) * 2017-09-13 2019-04-04 セーレン株式会社 縫製装置、及び縫製検査方法
JP2019215186A (ja) * 2018-06-11 2019-12-19 ファナック株式会社 縫い目検査装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344309A (ja) * 2002-05-30 2003-12-03 Olympus Optical Co Ltd 検査装置のパラメータ設定方法
JP2006521544A (ja) * 2003-03-27 2006-09-21 マーロ ゲーエムベーハ ウント ツェーオー． カーゲー 輪郭に従って複数層形式に具現化された平坦な布地構造の品質規準を検査するための方法
JP2006266766A (ja) * 2005-03-23 2006-10-05 Olympus Corp マクロ画像表示システム及びマクロ画像表示方法
JP2009294087A (ja) * 2008-06-05 2009-12-17 Sumitomo Chemical Co Ltd 樹脂材料検査装置およびプログラム
JP2015190898A (ja) * 2014-03-28 2015-11-02 セーレン株式会社 欠陥検出装置及び欠陥検出方法
JP2019050914A (ja) * 2017-09-13 2019-04-04 セーレン株式会社 縫製装置、及び縫製検査方法
JP2019215186A (ja) * 2018-06-11 2019-12-19 ファナック株式会社 縫い目検査装置

Also Published As

Publication number Publication date
JPWO2021250736A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
US10453366B2 (en) System and method for white spot mura detection
WO2021027184A1 (zh) 一种基于假点缺陷检测的pcb检修系统及检修方法
TWI432719B (zh) A visual inspection device for a display panel, and a visual inspection method
CN101198908A (zh) 图像处理装置、图像描绘装置及系统
JP2018180875A (ja) 判定装置、判定方法および判定プログラム
KR100697902B1 (ko) 전자부품 실장용 프린트 배선판의 검사장치 및 패턴불량의 확인방법
WO2021250736A1 (ja) エアバッグ検査装置、エアバッグ検査システム、エアバッグ検査方法および記録媒体
JP4577717B2 (ja) バンプ検査装置および方法
JP7215218B2 (ja) 分光検査方法、画像処理装置、及びロボットシステム
JP4813071B2 (ja) マクロ画像表示システム及びマクロ画像表示方法
JP2008241424A (ja) 画像処理装置及びこれを用いた画像処理方法
JPH06258226A (ja) 錠剤の外観検査方法
US10852244B2 (en) Image processing apparatus, image processing method, and recording medium
JP2002031605A (ja) 欠陥確認装置および自動外観検査装置
JP2018097563A (ja) 画像処理装置
JPH02230381A (ja) ワーク検査装置
JP3931669B2 (ja) 情報提供装置の画面遷移検査装置及び方法
WO2023243253A1 (ja) ウェーハの判定方法、判定プログラム、判定装置、ウェーハの製造方法及びウェーハ
JP4791502B2 (ja) 座標入出力装置の試験方法
JP2023141721A (ja) 検査システム、教師データ生成装置、教師データ生成方法およびプログラム
JP4963284B2 (ja) 基準データ作成方法
JP2001108404A (ja) ワイヤハーネス外観検査装置
JP2021099302A (ja) Ｘ線検査方法および装置
JPS62190448A (ja) 基板検査装置および基板検査方法
JPS62298750A (ja) プリント基板検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20939808

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530362

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20939808

Country of ref document: EP

Kind code of ref document: A1