WO2019159424A1 - 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 - Google Patents

評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2019159424A1
WO2019159424A1 PCT/JP2018/037250 JP2018037250W WO2019159424A1 WO 2019159424 A1 WO2019159424 A1 WO 2019159424A1 JP 2018037250 W JP2018037250 W JP 2018037250W WO 2019159424 A1 WO2019159424 A1 WO 2019159424A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
image
captured image
region
unit
Prior art date
Application number
PCT/JP2018/037250
Other languages
English (en)
French (fr)
Inventor
可也 中野
Original Assignee
新東工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新東工業株式会社 filed Critical 新東工業株式会社
Priority to CN201880089071.XA priority Critical patent/CN111712352B/zh
Priority to US16/968,680 priority patent/US11941796B2/en
Priority to DE112018005573.6T priority patent/DE112018005573T5/de
Publication of WO2019159424A1 publication Critical patent/WO2019159424A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24C—ABRASIVE OR RELATED BLASTING WITH PARTICULATE MATERIAL
    • B24C1/00—Methods for use of abrasive blasting for producing particular effects; Use of auxiliary equipment in connection with such methods
    • B24C1/10—Methods for use of abrasive blasting for producing particular effects; Use of auxiliary equipment in connection with such methods for compacting surfaces, e.g. shot-peening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present disclosure relates to an evaluation system, an evaluation apparatus, an evaluation method, an evaluation program, and a recording medium.
  • Patent Document 1 discloses a coverage measurement device that calculates coverage based on an image obtained by photographing a processed surface and displays the coverage.
  • size of the dent formed in a process surface changes according to the magnitude
  • the size of the projection material may affect the evaluation of the coverage. For example, if the surface of the evaluation target does not have a sufficient area with respect to the size of the projection material, the influence of one dent on the coverage becomes large, so that the overall (average) for the target object The coverage may not be evaluated.
  • the evaluation system is a system that evaluates coverage of an evaluation object using a captured image of the evaluation object.
  • the evaluation system includes an image acquisition unit that acquires a captured image, a correction unit that generates an evaluation image by correcting the captured image, an evaluation unit that evaluates coverage based on the evaluation image, and an evaluation performed by the evaluation unit An output unit for outputting the result.
  • the correction unit extracts an evaluation area from the captured image based on the size of the dent area included in the captured image, and generates an evaluation image based on the evaluation area.
  • region is an image of the dent which has arisen in the evaluation target object.
  • An evaluation device is a device that evaluates coverage of an evaluation object using a captured image of the evaluation object.
  • the evaluation apparatus includes an image acquisition unit that acquires a captured image, a correction unit that generates an evaluation image by correcting the captured image, an evaluation unit that evaluates coverage based on the evaluation image, and an evaluation performed by the evaluation unit.
  • the correction unit extracts an evaluation area from the captured image based on the size of the dent area included in the captured image, and generates an evaluation image based on the evaluation area.
  • region is an image of the dent which has arisen in the evaluation target object.
  • the evaluation method is a method for evaluating the coverage of an evaluation object using a captured image of the evaluation object.
  • This evaluation method includes an evaluation result in a step of acquiring a captured image, a step of generating an evaluation image by correcting the captured image, a step of evaluating coverage based on the image for evaluation, and a step of evaluating coverage And a step of outputting.
  • the evaluation area is extracted from the captured image based on the size of the dent area included in the captured image, and the evaluation image is generated based on the evaluation area.
  • region is an image of the dent which has arisen in the evaluation target object.
  • An evaluation program is based on a step of acquiring a captured image of an evaluation object in a computer, a step of generating an evaluation image by correcting the captured image, and the evaluation image.
  • the evaluation area is extracted from the captured image based on the size of the dent area included in the captured image, and the evaluation image is generated based on the evaluation area.
  • region is an image of the dent which has arisen in the evaluation target object.
  • a recording medium is based on a step of acquiring a captured image of an evaluation object in a computer, a step of generating an evaluation image by correcting the captured image, and an evaluation image.
  • a computer-readable recording medium recording an evaluation program for executing the steps of evaluating the coverage of an evaluation object and outputting the evaluation result in the step of evaluating the coverage.
  • the evaluation area is extracted from the captured image based on the size of the dent area included in the captured image, and the evaluation image is generated based on the evaluation area.
  • region is an image of the dent which has arisen in the evaluation target object.
  • an evaluation area is extracted from a captured image of an evaluation object, and an evaluation image is generated based on the evaluation area. Then, the coverage is evaluated based on the evaluation image, and the evaluation result is output.
  • the evaluation area is extracted from the captured image on the basis of the size of the dent area that is an image of the dent generated on the evaluation object. For this reason, for example, when the dent region is large, the evaluation region can be extracted so that the area of the evaluation region becomes large. Thereby, the coverage is evaluated for a range corresponding to the size of the dent region. As a result, it is possible to improve the evaluation accuracy of the coverage.
  • the correction unit may extract the evaluation area from the captured image so that the evaluation area becomes larger as the size of the dent area is larger. In this case, an error in coverage due to the size of the dent can be reduced. As a result, the coverage evaluation accuracy can be further improved.
  • the correction unit may set the size of the evaluation region by multiplying the size of the dent region by a predetermined constant, and extract the evaluation region from the captured image.
  • the range (area) of the evaluation target can be sufficiently increased with respect to the size of the dent region, the influence of one dent on the coverage can be reduced. As a result, the coverage evaluation accuracy can be further improved.
  • the correction unit may enlarge or reduce the evaluation area so that the size of the dent area matches a predetermined size. In this case, the evaluation by the neural network can be appropriately performed.
  • the correction unit may correct the color of the evaluation area based on the color of the reference area included in the captured image.
  • the reference area may be an image of a reference body with a specific color.
  • the color tone of the captured image may change depending on the color tone of the light source used for photographing.
  • the brightness of the captured image may vary depending on the amount of light irradiation.
  • the influence of light can be reduced by correcting the color of the evaluation region so that the color of the reference region becomes a specific color (for example, the original color). Thereby, it becomes possible to further improve the evaluation accuracy of the coverage.
  • the correction unit may remove specular reflection from the evaluation area.
  • specular reflection may occur.
  • the captured image may be overexposed. Color information is lost in areas where whiteout occurs. For this reason, the color information can be restored by removing the specular reflection (whiteout). Thereby, it becomes possible to further improve the evaluation accuracy of the coverage.
  • the evaluation unit may evaluate the coverage using a neural network. In this case, it is possible to further improve the evaluation accuracy of the coverage by learning the neural network.
  • FIG. 1 is a configuration diagram schematically showing an evaluation system including an evaluation apparatus according to the first embodiment.
  • FIG. 2 is a hardware configuration diagram of the user terminal shown in FIG.
  • FIG. 3 is a hardware configuration diagram of the evaluation apparatus shown in FIG.
  • FIG. 4 is a sequence diagram showing an evaluation method performed by the evaluation system shown in FIG.
  • FIG. 5 is a flowchart showing in detail the correction process shown in FIG. 6A to 6F are diagrams showing examples of markers.
  • FIG. 7 is a diagram for explaining distortion correction.
  • FIGS. 8A and 8B are diagrams for explaining the extraction of the evaluation area.
  • FIGS. 9A and 9B are diagrams for explaining color correction.
  • FIG. 10 is a diagram illustrating an example of a neural network.
  • FIG. 11 is a diagram illustrating an example of the evaluation result.
  • FIG. 14 is a configuration diagram schematically showing an evaluation system including an evaluation apparatus according to the second embodiment.
  • FIG. 15 is a sequence diagram showing an evaluation method performed by the evaluation system shown in FIG.
  • FIG. 16 is a configuration diagram schematically showing an evaluation system including an evaluation apparatus according to the third embodiment.
  • FIG. 17 is a flowchart showing an evaluation method performed by the evaluation system shown in FIG. (A) to (d) of FIG. 18 are diagrams showing modifications of the marker.
  • FIG. 19 is a diagram for describing a modification of the evaluation region extraction method.
  • FIG. 20 is a diagram for explaining a modification of the evaluation region extraction method.
  • FIG. 1 is a configuration diagram schematically showing an evaluation system including an evaluation apparatus according to the first embodiment.
  • An evaluation system 1 shown in FIG. 1 is a system for evaluating the coverage of an evaluation object. Examples of the evaluation object include an almen strip, a gear, and a spring. Coverage is the ratio of the area where dents are generated by shots to the total surface area to be measured.
  • the evaluation system 1 includes one or a plurality of user terminals 10 and an evaluation device 20.
  • the user terminal 10 and the evaluation device 20 are connected to be communicable with each other via a network NW.
  • the network NW may be configured by either wired or wireless. Examples of the network NW include the Internet, a mobile communication network, and a WAN (Wide Area Network).
  • the user terminal 10 is a terminal device used by a user.
  • the user terminal 10 captures the evaluation object to generate a captured image of the evaluation object, and transmits the captured image to the evaluation device 20.
  • the user terminal 10 receives the evaluation result from the evaluation device 20 and outputs the evaluation result to the user.
  • the user terminal 10 may be applied to a portable terminal that incorporates an imaging device, or may be applied to a device that can communicate with the imaging device. In the present embodiment, the user terminal 10 will be described using a portable terminal incorporating an imaging device. Examples of portable terminals include smartphones, tablet terminals, and notebook PCs (Personal Computers).
  • FIG. 2 is a hardware configuration diagram of the user terminal shown in FIG.
  • the user terminal 10 physically includes one or more processors 101, a main storage device 102, an auxiliary storage device 103, a communication device 104, an input device 105, an output device 106, and an imaging device. It can be configured as a computer having hardware such as 107.
  • the processor 101 a processor having a high processing speed is used. Examples of the processor 101 include a GPU (Graphics Processing Unit) and a CPU (Central Processing Unit).
  • the main storage device 102 includes a RAM (Random Access Memory) and a ROM (Read Only Memory). Examples of the auxiliary storage device 103 include a semiconductor memory and a hard disk device.
  • the communication device 104 is a device that transmits and receives data to and from other devices via the network NW.
  • An example of the communication device 104 is a network card. Encryption may be used for data transmission / reception via the network NW. That is, the communication device 104 may encrypt the data and transmit the encrypted data to another device. The communication device 104 may receive the encrypted data from another device and decrypt the encrypted data.
  • a common key cryptosystem such as Triple DES (Data Encryption Standard) and Rijndael, or a public key cryptosystem such as RSA and ElGamal may be used.
  • the input device 105 is a device used when the user operates the user terminal 10. Examples of the input device 105 include a touch panel, a keyboard, and a mouse.
  • the output device 106 is a device that outputs various types of information to the user of the user terminal 10. Examples of the output device 106 include a display, a speaker, and a vibrator.
  • the imaging device 107 is a device for imaging (imaging).
  • the imaging device 107 is, for example, a camera module.
  • the imaging apparatus 107 receives a plurality of optical system components such as a lens and an imaging element, a plurality of control system circuits that drive and control them, and an electrical signal that represents a captured image generated by the imaging element. And a circuit portion of a signal processing system for converting into an image signal which is a digital signal.
  • Each function illustrated in FIG. 1 of the user terminal 10 is performed by causing each hardware device such as the main storage device 102 to read one or more predetermined computer programs under the control of one or more processors 101. This is realized by operating the hardware and reading and writing data in the main storage device 102 and the auxiliary storage device 103.
  • the user terminal 10 includes an image acquisition unit 11, a correction unit 13, a transmission unit 14, a reception unit 15, an output unit 16, and a correction information acquisition unit 17.
  • the image acquisition unit 11 is a part for acquiring a captured image including an evaluation object.
  • the image acquisition unit 11 is realized by the imaging device 107, for example.
  • the captured image may be a still image or a moving image.
  • the captured image is acquired as, for example, image data indicating the pixel value of each pixel (pixel), but is expressed as a captured image for convenience of explanation.
  • the image acquisition unit 11 receives, for example, a captured image captured by another device (for example, a terminal having a camera function) from the other device. To get.
  • a portion that performs a captured image reception process (such as the communication device 104 in FIG. 2) functions as the image acquisition unit 11.
  • the image acquisition unit 11 outputs the captured image to the correction unit 13.
  • the correction unit 13 is a part for generating an evaluation image by correcting the captured image.
  • the correction unit 13 extracts an evaluation area from the captured image, and generates an evaluation image based on the evaluation area.
  • the evaluation area is determined according to the size of the dent area that is an image of the dent included in the captured image. For example, the correction unit 13 performs size correction, distortion correction, color correction, specular reflection removal, noise removal, and blur correction on the captured image. Details of each correction process will be described later.
  • the correction unit 13 outputs the evaluation image to the transmission unit 14.
  • the transmission unit 14 is a part for transmitting the evaluation image to the evaluation device 20.
  • the transmission unit 14 transmits the evaluation image to the evaluation device 20 via the network NW.
  • the transmission unit 14 further transmits the correction information acquired by the correction information acquisition unit 17 to the evaluation device 20.
  • the transmission unit 14 is realized by the communication device 104, for example.
  • the receiving unit 15 is a part for receiving an evaluation result from the evaluation device 20.
  • the receiving unit 15 receives the evaluation result from the evaluation device 20 via the network NW.
  • the receiving unit 15 is realized by the communication device 104, for example.
  • the output unit 16 is a part for outputting the evaluation result.
  • the output unit 16 is realized by the output device 106, for example.
  • the output unit 16 transmits the evaluation result to the other device via the network NW, for example.
  • a part (such as the communication device 104 in FIG. 2) that performs the evaluation result transmission process functions as the output unit 16.
  • the correction information acquisition unit 17 is a part for acquiring correction information of the evaluation result. For example, the user may correct the evaluation result using the input device 105 after confirming the evaluation result output by the output unit 16. At this time, the correction information acquisition unit 17 acquires the corrected evaluation result as correction information. The correction information acquisition unit 17 outputs the correction information to the transmission unit 14.
  • the evaluation device 20 is a device that evaluates the coverage of the evaluation object using a captured image (evaluation image) of the evaluation object.
  • the evaluation device 20 is configured by an information processing device (server device) such as a computer, for example.
  • FIG. 3 is a hardware configuration diagram of the evaluation apparatus shown in FIG.
  • the evaluation device 20 may be physically configured as a computer including hardware such as one or more processors 201, a main storage device 202, an auxiliary storage device 203, and a communication device 204.
  • the processor 201 a processor having a high processing speed is used. Examples of the processor 201 include a GPU and a CPU.
  • the main storage device 202 includes a RAM, a ROM, and the like. Examples of the auxiliary storage device 203 include a semiconductor memory and a hard disk device.
  • the communication device 204 is a device that transmits and receives data to and from other devices via the network NW.
  • An example of the communication device 204 is a network card. Encryption may be used for data transmission / reception via the network NW. In other words, the communication device 204 may encrypt the data and transmit the encrypted data to another device. The communication device 204 may receive the encrypted data from another device and decrypt the encrypted data.
  • a common key cryptosystem such as Triple DES and Rijndael
  • a public key cryptosystem such as RSA and ElGamal
  • the communication device 204 may perform user authentication for determining whether the user of the user terminal 10 is a regular user or a non-regular user.
  • the evaluation device 20 may evaluate the coverage when the user is a regular user, and may not evaluate the coverage when the user is a non-regular user.
  • a user ID identifier
  • a one-time pad one-time password
  • Each function shown in FIG. 1 of the evaluation device 20 is performed by causing each hardware item such as the main storage device 202 to read one or more predetermined computer programs under the control of one or more processors 201. This is realized by operating the hardware and reading and writing data in the main storage device 202 and the auxiliary storage device 203.
  • the evaluation device 20 includes a reception unit 21, an evaluation unit 22, and a transmission unit 23.
  • the receiving unit 21 is a part for receiving an evaluation image from the user terminal 10.
  • the receiving unit 21 receives an evaluation image from the user terminal 10 via the network NW.
  • the receiving unit 21 further receives correction information from the user terminal 10.
  • the receiving unit 21 is realized by the communication device 204, for example.
  • the receiving unit 21 outputs the evaluation image and the correction information to the evaluation unit 22.
  • the evaluation unit 22 is a part for evaluating the coverage of the evaluation object based on the evaluation image.
  • the evaluation unit 22 evaluates the coverage of the evaluation object using a neural network.
  • the neural network may be a convolutional neural network (CNN) or a recurrent neural network (RNN).
  • the evaluation unit 22 outputs the evaluation result to the transmission unit 23.
  • the transmission unit 23 is a part for transmitting the evaluation result to the user terminal 10.
  • the transmission unit 23 transmits the evaluation result to the user terminal 10 via the network NW.
  • the transmission unit 23 is realized by the communication device 204, for example. Since the transmission unit 23 outputs (transmits) the evaluation result to the user terminal 10, it can be regarded as an output unit.
  • FIG. 4 is a sequence diagram showing an evaluation method performed by the evaluation system shown in FIG.
  • FIG. 5 is a flowchart showing in detail the correction process shown in FIG. 6A to 6F are diagrams showing examples of markers.
  • FIG. 7 is a diagram for explaining distortion correction.
  • FIGS. 8A and 8B are diagrams for explaining the extraction of the evaluation area.
  • FIGS. 9A and 9B are diagrams for explaining color correction.
  • FIG. 10 is a diagram illustrating an example of a neural network.
  • FIG. 11 is a diagram illustrating an example of the evaluation result.
  • (A) and (b) of FIG. 12 is a figure which shows the example of a display of an evaluation result.
  • (A) and (b) of FIG. 13 is a figure which shows the example of correction of an evaluation result.
  • the series of processes of the evaluation method illustrated in FIG. 4 is started, for example, when the user of the user terminal 10 photographs the evaluation object using the imaging device 107.
  • the image acquisition unit 11 acquires a captured image of the evaluation object (step S01).
  • the image acquisition unit 11 acquires an image of the evaluation object generated by the imaging device 107 as a captured image.
  • the image acquisition unit 11 outputs the acquired captured image to the correction unit 13.
  • the marker MK may be attached to the evaluation object before acquiring the captured image of the evaluation object.
  • the marker MK is used for correcting a captured image in image processing described later.
  • the marker MK has a shape that can specify the direction of the marker MK.
  • the marker MK is asymmetric in at least one of the vertical direction and the width direction. Specifically, as shown in FIGS. 6A to 6F, the marker MK includes a white area Rw and a black area Rb. In order to facilitate image processing to be described later, the marker MK has a square edge F1.
  • the edge F1 is an edge of the region Rb.
  • the marker MK may be surrounded by a frame F2, and a gap Rgap may be provided between the frame F2 and the region Rb.
  • the marker MK is drawn on the sheet-like member.
  • the user of the user terminal 10 directly attaches the sheet-like member including the marker MK to the evaluation object.
  • the user may attach a sheet-like member including the marker MK to the evaluation object using a UAV (Unmanned Aero Vehicle) or an expansion / contraction rod.
  • UAV Unmanned Aero Vehicle
  • the marker MK only needs to be composed of two or more regions with different colors.
  • the color assigned to the region Rw may not be white, but may be gray or the like.
  • the color assigned to the region Rb may not be black, but may be a color having saturation.
  • the correction unit 13 corrects the captured image (step S02).
  • the correction unit 13 performs distortion correction in order to correct distortion of the captured image (step S21).
  • the captured image may be distorted as compared to an image obtained by photographing the evaluation object from the front.
  • the correction unit 13 performs distortion correction by converting the captured image into an image obtained by photographing the evaluation object from the front based on the distance between the imaging device 107 and each position of the evaluation object.
  • the correction unit 13 may further perform an aspect correction as a distortion correction.
  • the correction unit 13 may perform distortion correction using the marker MK.
  • the captured image of the evaluation object to which the marker MK is attached includes a marker region Rm that is an image (image region) of the marker MK.
  • the correction unit 13 first extracts the marker region Rm from the captured image.
  • the correcting unit 13 extracts the marker region Rm by performing object detection processing or edge detection processing on the captured image, for example.
  • edge detection processing may be used because edge detection processing has higher detection accuracy and processing speed than object detection processing.
  • the correction unit 13 confirms whether or not the extracted marker region Rm is an image of the marker MK. For example, the correction unit 13 performs binarization processing on the marker region Rm after performing histogram averaging processing on the marker region Rm. Then, the correction unit 13 compares the binarized marker region Rm and the marker MK, and determines that the marker region Rm is an image of the marker MK when the two match. Thereby, the vertex coordinates of the marker MK in the captured image are acquired. The correction unit 13 determines that the marker region Rm is not an image of the marker MK when the two do not match, and extracts the marker region Rm again.
  • the correction unit 13 calculates the direction of the marker MK in the captured image using the marker region Rm. Since the marker MK is asymmetric in at least one of the vertical direction and the width direction, the direction of the marker MK in the captured image can be calculated. Then, as illustrated in FIG. 7, the correction unit 13 performs projective transformation on the captured image so that the original shape of the marker MK is restored from the vertex coordinates and orientation of the marker MK in the captured image, thereby evaluating the correction.
  • the captured image is converted into an image obtained by photographing the object from the front.
  • the correcting unit 13 sets the vertex Pm1 as the origin, the direction from the vertex Pm1 to the vertex Pm2 as the X1 axis direction, and the direction from the vertex Pm1 toward the vertex Pm4 as the Y1 axis direction. Then, the correction unit 13 restores the shape of the marker MK by converting the X1-Y1 coordinate system to the XY orthogonal coordinate system. Thereby, distortion correction is performed.
  • the correction unit 13 extracts the evaluation area Re from the captured image (step S22). Since one shot peening is performed with the same size of the projection material, the size of the dent is the same.
  • the types of projection materials used for shot peening include, for example, projection materials having a diameter (particle size) of about 0.1 mm to 1 mm. For this reason, the size of the projection material used in one shot peening may differ from the size of the projection material used in another shot peening.
  • the influence of one dent on the evaluation of the coverage differs depending on the size (diameter) of the projection material. Therefore, as illustrated in FIGS.
  • the correction unit 13 extracts the evaluation region Re from the captured image G based on the size of the dent region De included in the captured image G. Then, an evaluation image is generated based on the evaluation region Re.
  • the dent region De is an image of a dent generated on the evaluation object.
  • an average size (for example, an average diameter) of a plurality of dent areas De included in the captured image G is used.
  • the correction unit 13 detects a plurality of dent regions De included in the captured image G by object detection. Then, the correction unit 13 calculates an average size (for example, an average diameter) of the plurality of dent areas De included in the captured image G, and the evaluation area Re becomes larger as the average size of the dent area De is larger. Then, the evaluation area Re is extracted from the captured image G.
  • the correcting unit 13 sets the size of the evaluation region Re by multiplying the average size (average diameter) of the dent region De by a predetermined magnification (for example, 5 to 10 times). . For example, the correction unit 13 extracts a square area having a length of one side as a multiplication result as an evaluation area Re from the captured image.
  • the correction unit 13 corrects the size of the evaluation area Re (step S23).
  • the size of the evaluation region Re can be changed according to the size of the dent region De.
  • the correction unit 13 performs an expansion / contraction process of the evaluation region Re so that the size of the dent region De is matched with a predetermined size (reference particle size).
  • the size of the evaluation area Re is adjusted to a predetermined evaluation size.
  • the evaluation size is the size of a reference image (teacher data) used for learning of the neural network NN.
  • the correction unit 13 compares the size (average diameter) of the dent region De with the reference particle size, and determines whether to perform the enlargement process or the reduction process.
  • the correction unit 13 performs an enlargement process when the average diameter of the dent area De is smaller than the reference particle diameter, and performs a reduction process when the average diameter of the dent area De is larger than the reference particle diameter. . That is, the correction unit 13 enlarges or reduces the evaluation area Re to adjust the size of the evaluation image to the evaluation size.
  • a bilinear interpolation method is used for example.
  • an average pixel method is used for example.
  • Other enlargement / reduction algorithms may be used for the enlargement process and the reduction process, but it is desirable that the image state be maintained even when the extension / reduction process is performed.
  • the correction unit 13 performs color correction of the evaluation area Re (step S24). Even for the same evaluation object, the brightness of the image may change depending on the shooting environment. Further, when the color of the light source used for photographing is different, the color of the image may be different. Color correction is performed to reduce the influence of the shooting environment.
  • the correcting unit 13 corrects the color of the evaluation area Re based on the color of the reference area included in the captured image.
  • the reference area is an image (image area) of a reference body with a specific color.
  • the region Rw of the marker MK can be used as the reference body.
  • the color of the region Rw of the marker MK is measured in advance with a color meter or the like, and a reference value indicating the measured color is stored in a memory (not shown).
  • a value indicating a color an RGB value, an HSV value, or the like is used.
  • the correction unit 13 acquires the color value of the region Rw in the marker region Rm included in the captured image (evaluation region Re), and compares the acquired value with a reference value. Then, color correction is performed so that these differences are small (for example, zero).
  • gamma correction or the like is used.
  • a difference may be added to each pixel value (offset processing).
  • the marker MK may not be used as the reference body. In this case, even if color correction of the evaluation region Re is performed in the same manner as in the case of using the marker MK, a sample (for example, a gray board) whose color is measured in advance is used as a reference body and photographed together with the evaluation object. Good.
  • the correction unit 13 may perform color correction based on the gray hypothesis.
  • the correction unit 13 removes the specular reflection from the evaluation region Re (step S25).
  • Specular reflection may be caused when the evaluation object has a metallic luster. Depending on the state of the coating film of the evaluation object, specular reflection may be caused. In the image, the part that caused the specular reflection usually appears as strong white. That is, the portion where the specular reflection occurs causes whiteout in the image.
  • the specular reflection portion can be detected as a white portion, so the correction unit 13 removes the specular reflection using the color corrected image (evaluation region Re).
  • the correction unit 13 specifies the specular reflection part based on the pixel value of each pixel included in the evaluation region Re. For example, the correction unit 13 determines that the pixel is a part of the specular reflection portion when all of the RGB pixel values are larger than a predetermined threshold value.
  • the correction unit 13 converts the pixel value into HSV, and specifies the specular reflection part by performing the same threshold processing on brightness (V) or both brightness (V) and saturation (S). May be.
  • the correction unit 13 removes the specular reflection from the specular reflection portion and restores the original image information (pixel value).
  • the correction unit 13 automatically interpolates (restores) the image information of the specular reflection portion with the image information in the vicinity of the specular reflection portion by, for example, a method using Navier-Stokes or a fast marching method of Alexander Telea.
  • the correction unit 13 may restore the image information of the specular reflection part by learning in advance images having various coverage values by machine learning. For machine learning, for example, GAN (Generative Adversarial Network) is used. Note that the correction unit 13 may restore the image information for a region in which the outer edge of the specular reflection portion is expanded (that is, a region that includes the specular reflection portion and is larger than the specular reflection portion).
  • the correction unit 13 removes noise from the evaluation region Re (step S26).
  • the correction unit 13 removes noise from the evaluation region Re using, for example, a denoising filter (denoising function) such as a Gaussian filter and a low-pass filter.
  • a denoising filter denoising function
  • the correction unit 13 performs blur correction on the evaluation area Re (step S27).
  • blurring such as camera shake may occur.
  • the correction unit 13 performs image blur correction using, for example, a Wiener filter and a blind deconvolution algorithm.
  • the correction process in FIG. 5 is an example, and the correction process performed by the correction unit 13 is not limited to this. Some or all of steps S21 and S23 to S27 may be omitted. Steps S21 to S27 may be performed in any order. As described above, when the specular reflection removal is performed after the color correction, the specular reflection portion appears as strong white in the image, so that the specular reflection portion specifying accuracy is improved.
  • the correction unit 13 considers that the marker region Rm is configured by a plurality of blocks arranged in a grid, and uses the coordinates of the four vertices of the marker region Rm (marker MK). Thus, the vertex coordinates of each block may be obtained. Thereby, the correction
  • the correction unit 13 outputs the captured image corrected by the correction process in step S02 to the transmission unit 14 as an evaluation image, and the transmission unit 14 transmits the evaluation image to the evaluation device 20 via the network NW.
  • the transmission unit 14 transmits the evaluation image to the evaluation device 20 together with a terminal ID that can uniquely identify the user terminal 10. For example, an IP (Internet Protocol) address may be used as the terminal ID.
  • the reception unit 21 receives the evaluation image transmitted from the user terminal 10 and outputs the evaluation image to the evaluation unit 22.
  • the correction unit 13 may not output the evaluation image to the transmission unit 14 when the evaluation image is not clear.
  • the transmission unit 14 may encrypt the evaluation image and transmit the encrypted evaluation image to the evaluation device 20. In this case, the receiving unit 21 receives the encrypted evaluation image from the user terminal 10, decrypts the encrypted evaluation image, and outputs the evaluation image to the evaluation unit 22.
  • the evaluation unit 22 evaluates the coverage of the evaluation object based on the evaluation image (step S04).
  • the evaluation unit 22 evaluates the coverage of the evaluation object using the neural network NN shown in FIG.
  • the evaluation unit 22 assigns an image ID that can uniquely identify the evaluation image to the evaluation image.
  • Neural network NN inputs an image for evaluation and outputs the matching rate of each category.
  • a value obtained by collecting coverage in a predetermined ratio unit can be used. For example, when the coverage is expressed as a percentage, categories from 0 to 98% are set in units of 10%.
  • JIS B2711, and SAE J2277 are mentioned as a standard regarding coverage.
  • the upper limit value at which the coverage can be measured is 98% (full coverage).
  • the category is not limited to the unit of 10%, and may be set in units of 5% or may be set in units of 1%.
  • the category a value obtained by collecting the coverage from 0 to 98% in units of 10% is used.
  • the category “100%” is used for convenience of explanation.
  • the relevance ratio represents the probability that the coverage of the evaluation object belongs to the category. The higher the matching rate, the higher the possibility that the coverage of the evaluation object belongs to the category.
  • the evaluation unit 22 may separate the evaluation image into one or a plurality of channels and use the image information (pixel value) of each channel as an input to the neural network NN. For example, the evaluation unit 22 separates the evaluation image into each component of the color space. When the RGB color space is used as the color space, the evaluation unit 22 separates the evaluation image into an R component pixel value, a G component pixel value, and a B component pixel value. When the HSV color space is used as the color space, the evaluation unit 22 separates the evaluation image into an H component pixel value, an S component pixel value, and a V component pixel value. The evaluation unit 22 may convert the evaluation image into a gray scale and use the converted image as an input to the neural network NN.
  • the neural network NN has an input layer L1, an intermediate layer L2, and an output layer L3.
  • the input layer L1 is located at the entrance of the neural network NN, and M input values x i (i is an integer from 1 to M) are input to the input layer L1.
  • the input layer L1 includes a plurality of neurons 41.
  • the neurons 41 are provided corresponding to the input values x i , and the number of neurons 41 is equal to the total number M of the input values x i . That is, the number of neurons 41 is equal to the total number of pixels included in each channel of the evaluation image.
  • the i-th neuron 41 outputs the input value x i to each neuron 421 of the first intermediate layer L21 of the intermediate layer L2.
  • the input layer L1 includes a node 41b.
  • the node 41b outputs a bias value b j (j is an integer from 1 to M1) to each neuron 421.
  • the intermediate layer L2 is located between the input layer L1 and the output layer L3.
  • the intermediate layer L2 is also called a hidden layer because it is hidden from the outside of the neural network NN.
  • the intermediate layer L2 includes one or more layers.
  • the intermediate layer L2 includes a first intermediate layer L21 and a second intermediate layer L22.
  • the first intermediate layer L21 has M1 neurons 421.
  • the j-th neuron 421 adds a bias value b j to the sum of values obtained by weighting each input value x i by the weighting coefficient w ij to obtain a calculated value.
  • z j is obtained.
  • the neuron 421 sequentially performs, for example, convolution, calculation using an activation function, and pooling. In this case, for example, a ReLU function is used as the activation function.
  • the j-th neuron 421 outputs the calculated value z j to each neuron 422 of the second intermediate layer L22.
  • the first intermediate layer L21 includes a node 421b.
  • the node 421b outputs a bias value to each neuron 422.
  • each neuron performs the same calculation as that of the neuron 421 and outputs the calculated value to each neuron in the subsequent layer.
  • the final-stage neuron (here, the neuron 422) of the intermediate layer L2 outputs the calculated value to each neuron 43 of the output layer L3.
  • the output layer L3 is located at the exit of the neural network NN and outputs an output value y k (k is an integer from 1 to N).
  • the output value y k is assigned to each category, and is a value corresponding to the matching rate of that category.
  • the output layer L3 includes a plurality of neurons 43.
  • the neurons 43 are provided corresponding to the output values y k , and the number of neurons 43 is equal to the total number N of output values y k . That is, the number of neurons 43 is equal to the number of categories indicating coverage.
  • Each neuron 43 performs a calculation similar to that of the neuron 421 and calculates an activation function using the calculation result as an argument to obtain an output value y k .
  • Examples of the activation function include a softmax function, a ReLU function, a hyperbolic function, a sigmoid function, an identity function, and a step function.
  • a softmax function is used. For this reason, each output value y k is normalized so that the sum of the N output values y k is 1. That is, the precision (%) is obtained by multiplying the output value y k by 100.
  • the evaluation unit 22 outputs the N output values y k together with the image ID of the evaluation image to the transmission unit 23 as the evaluation result of the evaluation image.
  • An array of N output values y k is determined in advance, and each output value y k is associated with one of the N categories.
  • the evaluation unit 22 may use the largest output value among the N output values y k as an evaluation result together with the category name or index (corresponding to “number” shown in FIG. 11) corresponding to the output value. .
  • an array of output values corresponding to the precision shown in FIG. 11 is output to the transmitting unit 23 as an evaluation result.
  • the user terminal 10 can determine how to output to the user.
  • the transmission part 23 transmits an evaluation result to the user terminal 10 via the network NW (step S05).
  • the transmission unit 23 identifies the destination user terminal 10 based on the terminal ID transmitted from the user terminal 10 together with the evaluation image, and transmits the evaluation result to the user terminal 10.
  • the reception unit 15 receives the evaluation result transmitted from the evaluation device 20 and outputs the evaluation result to the output unit 16.
  • the transmitting unit 23 may encrypt the evaluation result and transmit the encrypted evaluation result to the user terminal 10 as described above. In this case, the receiving unit 15 receives the encrypted evaluation result from the evaluation device 20, decrypts the encrypted evaluation result, and outputs the evaluation result to the output unit 16.
  • the output unit 16 generates output information for notifying the user of the evaluation result, and outputs the evaluation result to the user based on the output information (step S06).
  • the output unit 16 displays, for example, the category name (coverage 00%) having the highest relevance rate and the relevance rate.
  • the output unit 16 may display the coverage evaluation result on the graph using the arrow Pa.
  • the output unit 16 may display the evaluation result as text. For example, the output unit 16 displays “Result: Coverage 45%” or the like.
  • the output unit 16 may display all the category names and their relevance ratios as text.
  • the output unit 16 may notify the user whether the shot peening process is acceptable or unacceptable using the evaluation result.
  • the output unit 16 may output the evaluation result by voice or may output the evaluation result by vibration.
  • the form of output by the output unit 16 may be set by the user.
  • the correction information acquisition unit 17 determines whether or not an evaluation result correction operation has been performed by the user. For example, after confirming the evaluation result output by the output unit 16, the user operates the input device 105 to display a screen for correcting the evaluation result.
  • the user operates the input device 105 and moves the arrow Pa using the pointer MP, thereby specifying the coverage on the graph. That is, the user moves the arrow Pa so that the coverage is determined by visually inspecting the evaluation object, and the numerical value corresponding to the coverage determined by the user is indicated.
  • a text box may be used for the user to specify the coverage.
  • Objects such as radio buttons, drop-down lists, or sliders may be used for the user to select a category.
  • the correction information acquisition unit 17 determines that the correction operation has not been performed, a series of processes of the evaluation method by the evaluation system 1 ends. On the other hand, when the correction information acquisition unit 17 determines that the correction operation has been performed by the input device 105, the correction information acquisition unit 17 acquires information indicating the corrected category as correction information together with the image ID of the evaluation image on which the correction operation has been performed. (Step S07).
  • the correction information acquisition unit 17 outputs the correction information to the transmission unit 14, and the transmission unit 14 transmits the correction information to the evaluation device 20 via the network NW (Step S08).
  • the receiving unit 21 receives the correction information transmitted from the user terminal 10 and outputs the correction information to the evaluation unit 22.
  • the transmission unit 14 may encrypt the correction information and transmit the encrypted correction information to the evaluation device 20.
  • the reception unit 21 receives the encrypted correction information from the user terminal 10, decrypts the encrypted correction information, and outputs the correction information to the evaluation unit 22.
  • the evaluation unit 22 performs learning based on the correction information (step S09). Specifically, the evaluation unit 22 uses a set of the corrected category and the evaluation image as teacher data.
  • the evaluation unit 22 may learn the neural network NN by any of online learning, mini-batch learning, and batch learning. Online learning is a method in which learning is performed using new teacher data each time new teacher data is acquired. Mini-batch learning is a method in which a certain amount of teacher data is taken as one unit and learning is performed using one unit of teacher data. Batch learning is a method of performing learning using all teacher data. For the learning, an algorithm such as back propagation is used. Note that learning of the neural network NN means updating the weighting coefficient and bias value used in the neural network NN to more optimal values.
  • each function part in the user terminal 10 and the evaluation apparatus 20 is implement
  • the evaluation program including these program modules is provided by a computer-readable recording medium such as a ROM or a semiconductor memory.
  • the evaluation program may be provided as a data signal via a network.
  • the evaluation area Re is extracted from the captured image of the evaluation object, and an evaluation image is generated based on the evaluation area Re. Then, the coverage is evaluated based on the evaluation image, and the evaluation result is output.
  • the evaluation area Re is extracted from the captured image based on the size of the dent area De which is an image of the dent generated on the evaluation object.
  • the evaluation region Re is extracted from the captured image so that the evaluation region Re (the area thereof) increases as the dent region De increases.
  • the size of the evaluation region Re is set by multiplying the size (for example, average diameter) of the dent region De by a predetermined constant. For this reason, since the range (area) of the evaluation region Re can be sufficiently increased with respect to the size of the dent region De, the influence of one dent on the coverage can be reduced. As a result, it is possible to improve the evaluation accuracy of the coverage.
  • the evaluation area Re is enlarged or reduced so that the size of the dent area De is adjusted to a predetermined size (for example, a reference particle diameter). For this reason, evaluation by the neural network NN can be performed appropriately. Moreover, since the coverage can be evaluated based on a common standard for the projection materials having different particle diameters, it is possible to improve the evaluation accuracy of the coverage.
  • the color tone of the captured image may change depending on the color tone of the light source used for shooting.
  • the brightness of the captured image may vary depending on the amount of light irradiation.
  • the color of the evaluation region Re is corrected based on the color of the reference region (for example, the region Rw in the marker region Rm) included in the captured image.
  • the color of the evaluation region Re is corrected so that the color of the region Rw in the marker region Rm becomes the color of the region Rw in the marker MK. Thereby, the influence of light can be reduced. As a result, the coverage evaluation accuracy can be further improved.
  • Coverage is evaluated using the neural network NN.
  • the pattern generated on the surface of the evaluation object by the shot peening process is indefinite. For this reason, in general object detection, it is difficult to specify the position and state of an irregular object. Pattern recognition is not suitable for recognizing a myriad of patterns.
  • the coverage can be evaluated, and the accuracy of the coverage evaluation can be further improved.
  • FIG. 14 is a configuration diagram schematically showing an evaluation system including an evaluation apparatus according to the second embodiment.
  • An evaluation system 1A shown in FIG. 14 is mainly different from the evaluation system 1 in that a user terminal 10A is provided instead of the user terminal 10 and an evaluation device 20A is provided instead of the evaluation device 20.
  • the user terminal 10A is mainly different from the user terminal 10 in that the correction unit 13 is not provided and a captured image is transmitted to the evaluation device 20A instead of the evaluation image.
  • the image acquisition unit 11 outputs the captured image to the transmission unit 14.
  • the transmission unit 14 transmits the captured image to the evaluation device 20A.
  • Evaluation device 20A is mainly different from evaluation device 20 in that a captured image is received from user terminal 10A instead of an image for evaluation, and correction unit 24 is further provided.
  • the receiving unit 21 receives the captured image from the user terminal 10 ⁇ / b> A and outputs the captured image to the correction unit 24.
  • the correction unit 24 has the same function as the correction unit 13. That is, the correction unit 24 extracts an evaluation area from the captured image, and generates an evaluation image based on the evaluation area. Then, the correction unit 24 outputs the evaluation image to the evaluation unit 22.
  • FIG. 15 is a sequence diagram showing an evaluation method performed by the evaluation system shown in FIG.
  • the image acquisition unit 11 acquires a captured image of the evaluation object (step S31). For example, as in step S01, the image acquisition unit 11 acquires an image of the evaluation target generated by the imaging device 107 as a captured image.
  • the image acquisition unit 11 outputs the acquired captured image to the transmission unit 14, and the transmission unit 14 transmits the captured image to the evaluation device 20A via the network NW (step S32).
  • the transmission unit 14 transmits the captured image to the evaluation apparatus 20A together with a terminal ID that can uniquely identify the user terminal 10A.
  • the reception unit 21 receives the captured image transmitted from the user terminal 10 ⁇ / b> A and outputs the captured image to the correction unit 24.
  • the transmission unit 14 may encrypt the captured image and transmit the encrypted captured image to the evaluation device 20A.
  • the reception unit 21 receives the encrypted captured image from the user terminal 10 ⁇ / b> A, decrypts the encrypted captured image, and outputs the captured image to the correction unit 24.
  • the correction unit 24 corrects the captured image (step S33). Since the process of step S33 is the same as the process of step S02, the detailed description thereof is omitted.
  • the correction unit 24 outputs the captured image corrected by the correction process in step S33 to the evaluation unit 22 as an evaluation image. Thereafter, the processing from step S34 to step S39 is the same as the processing from step S04 to step S09, and therefore detailed description thereof is omitted. As described above, a series of processes of the evaluation method by the evaluation system 1A is completed.
  • each functional unit in the user terminal 10A and the evaluation device 20A is realized by executing a program module for realizing each function in a computer constituting the user terminal 10A and the evaluation device 20A.
  • the evaluation program including these program modules is provided by a computer-readable recording medium such as a ROM or a semiconductor memory.
  • the evaluation program may be provided as a data signal via a network.
  • the evaluation device 20A, the evaluation method, the evaluation program, and the recording medium according to the second embodiment the evaluation system 1, the evaluation device 20, the evaluation method, the evaluation program, and the recording medium according to the first embodiment Similar effects are produced. Further, in the evaluation system 1A, the evaluation device 20A, the evaluation method, the evaluation program, and the recording medium according to the second embodiment, the user terminal 10A does not have the correction unit 13, and therefore the processing load on the user terminal 10A can be reduced. it can.
  • FIG. 16 is a configuration diagram schematically showing an evaluation system including an evaluation apparatus according to the third embodiment.
  • the evaluation system 1B shown in FIG. 16 is mainly different from the evaluation system 1 in that the user terminal 10B is provided in place of the user terminal 10 and the evaluation device 20 is not provided.
  • the user terminal 10B is mainly different from the user terminal 10 in that the evaluation unit 18 is further provided, and the transmission unit 14 and the reception unit 15 are not provided. In this case, the user terminal 10B is also a stand-alone evaluation device.
  • the correction unit 13 outputs an evaluation image to the evaluation unit 18.
  • the correction information acquisition unit 17 outputs the correction information to the evaluation unit 18.
  • the evaluation unit 18 has the same function as the evaluation unit 22. That is, the evaluation unit 18 evaluates the coverage of the evaluation object based on the evaluation image. Then, the evaluation unit 18 outputs the evaluation result to the output unit 16.
  • FIG. 17 is a flowchart showing an evaluation method performed by the evaluation system shown in FIG.
  • the image acquisition unit 11 acquires a captured image of the evaluation object as in step S01 (step S41). Then, the image acquisition unit 11 outputs the captured image to the correction unit 13. Subsequently, the correction unit 13 corrects the captured image (step S42). Since the process of step S42 is the same as the process of step S02, the detailed description thereof is omitted. Then, the correction unit 13 outputs the captured image corrected by the correction process in step S42 to the evaluation unit 18 as an evaluation image.
  • the evaluation unit 18 evaluates the coverage of the evaluation object based on the evaluation image (step S43). Since the process of step S43 is the same as the process of step S04, its detailed description is omitted. Then, the evaluation unit 18 outputs the evaluation result to the output unit 16. Subsequently, the output unit 16 generates output information for notifying the user of the evaluation result, and outputs the evaluation result to the user based on the output information (step S44). Since the process of step S44 is the same as the process of step S06, its detailed description is omitted.
  • the correction information acquisition unit 17 determines whether or not an evaluation result correction operation has been performed by the user (step S45).
  • step S45: NO the series of processes of the evaluation method by the evaluation system 1B ends.
  • step S45: YES the correction information acquisition unit 17 displays the information indicating the corrected category together with the image ID of the evaluation image on which the correction operation has been performed. Get as. Then, the correction information acquisition unit 17 outputs the correction information to the evaluation unit 18.
  • step S46 the evaluation unit 18 performs learning based on the correction information. Since the process of step S46 is the same as the process of step S09, detailed description thereof is omitted. As described above, a series of processes of the evaluation method by the evaluation system 1B is completed.
  • each functional unit in the user terminal 10B is realized by executing a program module for realizing each function in a computer constituting the user terminal 10B.
  • the evaluation program including these program modules is provided by a computer-readable recording medium such as a ROM or a semiconductor memory.
  • the evaluation program may be provided as a data signal via a network.
  • the evaluation system 1B the user terminal 10B, the evaluation method, the evaluation program, and the recording medium according to the third embodiment
  • the user terminal 10B, the evaluation method, the evaluation program, and the recording medium according to the third embodiment it is not necessary to transmit / receive data via the network NW, and therefore, accompanying the communication via the network NW. There is no time lag, and the response speed can be improved. Further, it becomes possible to reduce traffic and communication charges of the network NW.
  • evaluation system the evaluation device, the evaluation method, the evaluation program, and the recording medium according to the present disclosure are not limited to the above embodiment.
  • the user terminals 10, 10 ⁇ / b> A, and 10 ⁇ / b> B may not include the correction information acquisition unit 17.
  • batch normalization is a process of converting the output value of each layer so that the variance is constant. In this case, since it is not necessary to use a bias value, nodes (node 41b, node 421b, etc.) that output the bias value can be omitted.
  • evaluation units 18 and 22 may evaluate the coverage based on the evaluation image using a method other than the neural network.
  • the output unit 16 may output the evaluation result to a memory (storage device) (not shown) and store the evaluation result in the memory.
  • the output unit 16 creates management data in which an evaluation result is associated with a management number that can uniquely identify an evaluation result, a date on which the evaluation is performed, and the evaluation result, and stores the management data.
  • the shape of the marker MK is not limited to a square.
  • the shape of the marker MK may be a rectangle.
  • the marker MK has a shape that can specify the orientation of the marker MK, but the shape of the marker MK is not limited to a shape having directivity.
  • the shape of the marker MK may be an omnidirectional shape.
  • the shape of the region Rb may be a square
  • the shape of the region Rw may be a square that is slightly smaller than the region Rb.
  • the center point of the region Rb and the center point of the region Rw may be overlapped, and each side of the region Rb and each side of the region Rw may be arranged in parallel to each other.
  • the marker MK may have an opening Hm.
  • the opening Hm is a through hole that penetrates the sheet-like member on which the marker MK is drawn.
  • the opening area of the opening Hm is sufficiently larger than the area of the evaluation region Re that can be extracted.
  • amendment parts 13 and 24 may extract the area
  • the boundary between the marker region Rm and the region to be evaluated may become unclear due to light reflection or the like.
  • the edge may not be detected by the edge detection process.
  • object detection if the determination threshold is too small, false detections increase, and if the determination threshold is excessively large, detection omissions increase.
  • the direction (angle) of the marker region Rm cannot be obtained by object detection itself.
  • the edge enhancement process is performed after the marker area Rm is extracted by the object detection process, and the edge detection process is further performed, the detection accuracy is improved, but the color of the outer edge portion of the marker area Rm and the periphery of the marker area Rm In the case where the color of the color hardly changes, detection omission may occur.
  • the marker MK is surrounded by the frame F2, and between the frame F2 and the region Rb.
  • a gap Rgap is provided.
  • the gap Rgap surrounds the region Rb along the edge F1.
  • the color of the gap Rgap is different from the color of the outer edge portion (that is, the region Rb) of the marker MK. Therefore, even if the color around the marker area Rm (outside the frame F2) is similar to the color of the outer edge portion (area Rb) of the marker area Rm, the outer edge (edge F1) of the marker area Rm is clear. Therefore, the outer edge of the marker region Rm can be detected.
  • the edge enhancement process when the edge enhancement process is performed after the marker area Rm is extracted by the object detection process and the edge detection process is further performed, the vertices (vertices Pm1 to Pm4) of the area Rb can be detected more reliably. Therefore, the marker region Rm can be extracted with high speed and high accuracy. As a result, the coverage evaluation accuracy can be further improved.
  • the distance between the frame F2 and the region Rb (the width of the gap Rgap) may be, for example, one tenth or more of one side of the marker MK in order to secure the gap Rgap.
  • the distance between the frame F2 and the region Rb (the width of the gap Rgap) may be, for example, less than half of one side of the marker MK in consideration of ease of use of the marker MK.
  • the frame F2 may not be a frame that completely surrounds the marker MK. That is, the missing part Fgap may be provided in the frame F2.
  • the frame F2 is not limited to a solid line and may be a broken line. In this case, the frame F2 has a shape in which the frame line of the frame F2 is interrupted.
  • the detection accuracy of the marker region Rm Will improve. That is, since the possibility that the vertex of the frame F2 is detected can be reduced, the vertex of the marker region Rm (region Rb) can be more reliably detected. As a result, the coverage evaluation accuracy can be further improved.
  • the correction units 13 and 24 randomly extract the evaluation area Re from the captured image G when extracting the evaluation area Re having a size set based on the dent area De from the captured image G. And the determined evaluation region Re may be extracted.
  • the correction units 13 and 24 obtain the maximum value of coordinates that can be taken by the reference point Pr of the evaluation region Re.
  • the reference point Pr is one of the four vertices of the evaluation area Re, and here is the vertex closest to the origin of the XY coordinates among the four vertices of the evaluation area Re.
  • the maximum value y Crop_max maximum value x Crop_max and Y coordinates of the X-coordinate of the reference point Pr is expressed by the following equation (2). Note that the vertex Pg1 of the captured image G is located at the origin (0, 0), the vertex Pg2 is located at (X g , 0), the vertex Pg3 is located at (X g , Y g ), and the vertex Pg4 is ( 0, Y g ).
  • the correction units 13 and 24 randomly determine the coordinates (x crop , y crop ) of the reference point of the evaluation region Re using Expression (3).
  • the function random (minimum value, maximum value) is a function that returns an arbitrary value included in the range from the minimum value to the maximum value.
  • the correction units 13 and 24 may determine the coordinates of the reference point of the evaluation area Re again when the determined evaluation area Re and the marker area Rm overlap.
  • the correction units 13 and 24 may specify the extraction direction for the marker region Rm and extract the evaluation region Re from the captured image G.
  • the correction units 13 and 24 calculate the coordinates (x cg , y cg ) of the center position Cg of the captured image G and the coordinates (x cm , y cm ) of the center position Cm of the marker region Rm. To do.
  • amendment parts 13 and 24 calculate the vector V which goes to center position Cg from center position Cm, as shown by Formula (4).
  • the correction units 13 and 24 determine the position of the evaluation region Re in the direction indicated by the vector V from the marker region Rm. For example, the correction units 13 and 24 determine the position of the evaluation region Re so that the reference point Pr of the evaluation region Re is located in the direction indicated by the vector V from the center position Cm.
  • the reference point Pr is the vertex closest to the marker region Rm among the four vertices of the evaluation region Re.
  • the correction units 13 and 24 determine the position of the evaluation region Re so as not to overlap with the marker region Rm.
  • the correction units 13 and 24 include the coordinates (x crop_max , y crop_max ) of the reference point Pr_max farthest from the marker region Rm and the reference closest to the marker region Rm among the coordinates that the reference point Pr can take.
  • the coordinates (x crop_min , y crop_min ) of the point Pr_min are calculated.
  • the correcting units 13 and 24 determine the position of the evaluation region Re so that the reference point Pr is positioned on the line segment between these two points.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

評価システム（１）は、評価対象物の撮像画像（Ｇ）を用いて、評価対象物のカバレージを評価するシステムであって、撮像画像（Ｇ）を取得する画像取得部（１１）と、撮像画像（Ｇ）を補正することで評価用画像を生成する補正部（１３）と、評価用画像に基づいてカバレージを評価する評価部（２２）と、評価部による評価結果を出力する出力部（１６）と、を備え、補正部（１３）は、撮像画像（Ｇ）に含まれる打痕領域（Ｄｅ）の大きさに基づいて、撮像画像（Ｇ）から評価領域（Ｒｅ）を抽出し、評価領域（Ｒｅ）に基づいて評価用画像を生成し、打痕領域（Ｄｅ）は、評価対象物に生じている打痕の画像である。

Description

評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
　本開示は、評価システム、評価装置、評価方法、評価プログラム、及び記録媒体に関する。
　機械部品等の強度を向上させるために、機械部品等の表面にショットピーニング処理が施されることがある。このようなショットピーニング処理の仕上げの程度を評価するカバレージ測定装置が知られている。例えば、特許文献１には、加工面を撮影することによって得られる画像に基づいて、カバレージを算出し、カバレージを表示するカバレージ測定装置が開示されている。
特開２０１１－１５２６０３号公報
　ショットピーニングには、様々な大きさの投射材が用いられ得る。このため、加工面に形成される打痕の大きさは、投射材の大きさに応じて変化する。しかしながら、異なる大きさの投射材に対して、同じ面積の表面を評価対象とすると、投射材の大きさがカバレージの評価に影響を及ぼすおそれがある。例えば、投射材の大きさに対して、評価対象の表面が十分な面積を有しない場合には、１つの打痕がカバレージに与える影響が大きくなるので、対象物に対する全体的（平均的）なカバレージを評価できないおそれがある。
　本技術分野では、カバレージの評価精度を向上させることが望まれている。
　本開示の一側面に係る評価システムは、評価対象物の撮像画像を用いて、評価対象物のカバレージを評価するシステムである。この評価システムは、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいてカバレージを評価する評価部と、評価部による評価結果を出力する出力部と、を備える。補正部は、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。打痕領域は、評価対象物に生じている打痕の画像である。
　本開示の別の側面に係る評価装置は、評価対象物の撮像画像を用いて、評価対象物のカバレージを評価する装置である。この評価装置は、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいてカバレージを評価する評価部と、評価部による評価結果を出力する出力部と、を備える。補正部は、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。打痕領域は、評価対象物に生じている打痕の画像である。
　本開示のさらに別の側面に係る評価方法は、評価対象物の撮像画像を用いて、評価対象物のカバレージを評価する方法である。この評価方法は、撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいてカバレージを評価するステップと、カバレージを評価するステップにおける評価結果を出力するステップと、を備える。評価用画像を生成するステップでは、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。打痕領域は、評価対象物に生じている打痕の画像である。
　本開示のさらに別の側面に係る評価プログラムは、コンピュータに、評価対象物の撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて、評価対象物のカバレージを評価するステップと、カバレージを評価するステップにおける評価結果を出力するステップと、を実行させるためのプログラムである。評価用画像を生成するステップでは、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。打痕領域は、評価対象物に生じている打痕の画像である。
　本開示のさらに別の側面に係る記録媒体は、コンピュータに、評価対象物の撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて、評価対象物のカバレージを評価するステップと、カバレージを評価するステップにおける評価結果を出力するステップと、を実行させるための評価プログラムを記録したコンピュータ読み取り可能な記録媒体である。評価用画像を生成するステップでは、撮像画像に含まれる打痕領域の大きさに基づいて、撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。打痕領域は、評価対象物に生じている打痕の画像である。
　これらの評価システム、評価装置、評価方法、評価プログラム、及び記録媒体では、評価対象物の撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。そして、評価用画像に基づいてカバレージが評価され、評価結果が出力される。評価領域は、評価対象物に生じている打痕の画像である打痕領域の大きさに基づいて撮像画像から抽出される。このため、例えば、打痕領域が大きい場合には、評価領域の面積が大きくなるように評価領域が抽出され得る。これにより、打痕領域の大きさに応じた範囲を対象として、カバレージが評価される。その結果、カバレージの評価精度を向上させることが可能となる。
　補正部は、打痕領域の大きさが大きいほど、評価領域が大きくなるように、撮像画像から評価領域を抽出してもよい。この場合、打痕の大きさに起因するカバレージの誤差を低減できる。その結果、カバレージの評価精度をさらに向上させることが可能となる。
　補正部は、打痕領域の大きさに予め定められた定数を乗算することで、評価領域の大きさを設定し、撮像画像から評価領域を抽出してもよい。この場合、打痕領域の大きさに対して、評価対象の範囲（面積）を十分に大きくできるので、１つの打痕がカバレージに与える影響を低減することが可能となる。その結果、カバレージの評価精度をさらに向上させることが可能となる。
　補正部は、打痕領域の大きさを所定の大きさに合わせるように、評価領域を拡大又は縮小してもよい。この場合、ニューラルネットワークによる評価を適切に行うことができる。
　補正部は、撮像画像に含まれる参照領域の色に基づいて、評価領域の色を補正してもよい。参照領域は、特定の色が付された参照体の画像であってもよい。同じ評価対象物であっても、撮影に用いられた光源の色調によって、撮像画像の色調が変わることがある。また、同じ評価対象物であっても、光の照射量によって、撮像画像の明るさが異なることがある。上記構成では、参照領域の色が特定の色と異なっている場合、撮像画像における色が光の影響を受けていると考えられる。そこで、例えば、参照領域の色が特定の色（例えば、元の色）になるように、評価領域の色を補正することで、光の影響を低減することができる。これにより、カバレージの評価精度をさらに向上させることが可能となる。
　補正部は、評価領域から鏡面反射を除去してもよい。評価対象物に強い光が照射されると鏡面反射が生じることがあり、その状態で評価対象物が撮像されると撮像画像に白飛びが生じることがある。白飛びが生じている領域では、色情報が失われている。このため、鏡面反射（白飛び）を除去することで、色情報が復元され得る。これにより、カバレージの評価精度をさらに向上させることが可能となる。
　評価部は、ニューラルネットワークを用いてカバレージを評価してもよい。この場合、ニューラルネットワークを学習させることによって、カバレージの評価精度をさらに向上させることが可能となる。
　本開示の各側面及び各実施形態によれば、カバレージの評価精度を向上させることができる。
図１は、第１実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図２は、図１に示されるユーザ端末のハードウェア構成図である。 図３は、図１に示される評価装置のハードウェア構成図である。 図４は、図１に示される評価システムが行う評価方法を示すシーケンス図である。 図５は、図４に示される補正処理を詳細に示すフローチャートである。 図６の（ａ）～（ｆ）は、マーカの例を示す図である。 図７は、歪み補正を説明するための図である。 図８の（ａ）及び（ｂ）は、評価領域の抽出を説明するための図である。 図９の（ａ）及び（ｂ）は、色補正を説明するための図である。 図１０は、ニューラルネットワークの一例を示す図である。 図１１は、評価結果の一例を示す図である。 図１２の（ａ）及び（ｂ）は、評価結果の表示例を示す図である。 図１３の（ａ）及び（ｂ）は、評価結果の修正例を示す図である。 図１４は、第２実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図１５は、図１４に示される評価システムが行う評価方法を示すシーケンス図である。 図１６は、第３実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図１７は、図１６に示される評価システムが行う評価方法を示すフローチャートである。 図１８の（ａ）～（ｄ）は、マーカの変形例を示す図である。 図１９は、評価領域の抽出方法の変形例を説明するための図である。 図２０は、評価領域の抽出方法の変形例を説明するための図である。
　以下、図面を参照しながら本開示の実施形態が詳細に説明される。なお、図面の説明において同一要素には同一符号が付され、重複する説明は省略される。
（第１実施形態）
　図１は、第１実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１に示される評価システム１は、評価対象物のカバレージを評価するシステムである。評価対象物の例としては、アルメンストリップ、ギア、及びバネが挙げられる。カバレージは、測定の対象となる全表面積に対する、ショットによって打痕が発生した面積の割合である。
　評価システム１は、１又は複数のユーザ端末１０と、評価装置２０と、を備えている。ユーザ端末１０と、評価装置２０とは、ネットワークＮＷによって互いに通信可能に接続されている。ネットワークＮＷは、有線及び無線のいずれで構成されてもよい。ネットワークＮＷの例としては、インターネット、移動体通信網、及びＷＡＮ（Wide　Area　Network）が挙げられる。
　ユーザ端末１０は、ユーザにより用いられる端末装置である。ユーザ端末１０は、評価対象物を撮像することによって評価対象物の撮像画像を生成し、撮像画像を評価装置２０に送信する。ユーザ端末１０は、評価装置２０から評価結果を受信し、評価結果をユーザに出力する。ユーザ端末１０は、撮像装置を内蔵した携帯端末に適用されてもよく、撮像装置と通信可能な装置に適用されてもよい。本実施形態では、ユーザ端末１０として、撮像装置を内蔵した携帯端末を用いて説明する。携帯端末の例としては、スマートフォン、タブレット端末、及びノートＰＣ（Personal　Computer）が挙げられる。
　図２は、図１に示されるユーザ端末のハードウェア構成図である。図２に示されるように、ユーザ端末１０は、物理的には、１又は複数のプロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信装置１０４、入力装置１０５、出力装置１０６、及び撮像装置１０７等のハードウェアを備えるコンピュータとして構成され得る。プロセッサ１０１としては、処理速度が速いプロセッサが用いられる。プロセッサ１０１の例としては、ＧＰＵ（Graphics　Processing　Unit）及びＣＰＵ（Central　Processing　Unit）が挙げられる。主記憶装置１０２は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）等で構成される。補助記憶装置１０３の例としては、半導体メモリ、及びハードディスク装置が挙げられる。
　通信装置１０４は、ネットワークＮＷを介して他の装置とデータの送受信を行う装置である。通信装置１０４の例としては、ネットワークカードが挙げられる。ネットワークＮＷを介したデータの送受信には、暗号化が用いられてもよい。つまり、通信装置１０４は、データを暗号化し、暗号化されたデータを他の装置に送信してもよい。通信装置１０４は、暗号化されたデータを他の装置から受信し、暗号化されたデータを復号してもよい。暗号化には、トリプルＤＥＳ（Data　Encryption　Standard）及びＲｉｊｎｄａｅｌ等の共通鍵暗号方式、又はＲＳＡ及びＥｌＧａｍａｌ等の公開鍵暗号方式が用いられ得る。
　入力装置１０５は、ユーザがユーザ端末１０を操作する際に用いられる装置である。入力装置１０５の例としては、タッチパネル、キーボード、及びマウスが挙げられる。出力装置１０６は、各種情報をユーザ端末１０のユーザに出力する装置である。出力装置１０６の例としては、ディスプレイ、スピーカ、及びバイブレータが挙げられる。
　撮像装置１０７は、撮像（画像化）するための装置である。撮像装置１０７は、例えば、カメラモジュールである。具体的には、撮像装置１０７は、レンズ及び撮像素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、撮像素子によって生成された撮像画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。
　ユーザ端末１０の図１に示される各機能は、主記憶装置１０２等のハードウェアに１又は複数の所定のコンピュータプログラムを読み込ませることにより、１又は複数のプロセッサ１０１の制御のもとで各ハードウェアを動作させるとともに、主記憶装置１０２及び補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。
　ユーザ端末１０は、機能的には、画像取得部１１と、補正部１３と、送信部１４と、受信部１５と、出力部１６と、修正情報取得部１７と、を備えている。
　画像取得部１１は、評価対象物を含む撮像画像を取得するための部分である。画像取得部１１は、例えば、撮像装置１０７によって実現される。撮像画像は、静止画像であってもよく、動画像であってもよい。撮像画像は、例えば、各画素（ピクセル）の画素値を示す画像データとして取得されるが、説明の便宜上、撮像画像として表現する。ユーザ端末１０が撮像装置１０７を有しない場合、画像取得部１１は、例えば、他の装置（例えばカメラ機能を有する端末等）によって撮像された撮像画像を当該他の装置から受け取ることにより、撮像画像を取得する。例えば、画像取得部１１が他の装置からネットワークＮＷを介して撮像画像を受信する場合、撮像画像の受信処理を行う部分（図２の通信装置１０４等）が画像取得部１１として機能する。画像取得部１１は、撮像画像を補正部１３に出力する。
　補正部１３は、撮像画像を補正することで評価用画像を生成するための部分である。補正部１３は、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。評価領域は、撮像画像に含まれる打痕の画像である打痕領域の大きさに応じて定められる。補正部１３は、例えば、撮像画像に対して、サイズ補正、歪み補正、色補正、鏡面反射除去、ノイズ除去、及びブレ補正を行う。各補正処理の詳細については、後述する。補正部１３は、評価用画像を送信部１４に出力する。
　送信部１４は、評価用画像を評価装置２０に送信するための部分である。送信部１４は、ネットワークＮＷを介して評価用画像を評価装置２０に送信する。送信部１４は、さらに、修正情報取得部１７によって取得される修正情報を評価装置２０に送信する。送信部１４は、例えば、通信装置１０４によって実現される。受信部１５は、評価装置２０から評価結果を受信するための部分である。受信部１５は、ネットワークＮＷを介して評価結果を評価装置２０から受信する。受信部１５は、例えば、通信装置１０４によって実現される。
　出力部１６は、評価結果を出力するための部分である。出力部１６は、例えば、出力装置１０６によって実現される。他の装置が有するディスプレイ等の出力装置において評価結果を出力する場合、出力部１６は、例えば、ネットワークＮＷを介して評価結果を他の装置に送信する。この場合、評価結果の送信処理を行う部分（図２の通信装置１０４等）が出力部１６として機能する。
　修正情報取得部１７は、評価結果の修正情報を取得するための部分である。例えば、ユーザは、出力部１６によって出力された評価結果を確認した後、入力装置１０５を用いて評価結果を修正する場合がある。このとき、修正情報取得部１７は、修正された評価結果を修正情報として取得する。修正情報取得部１７は、修正情報を送信部１４に出力する。
　評価装置２０は、評価対象物の撮像画像（評価用画像）を用いて、評価対象物のカバレージを評価する装置である。評価装置２０は、例えば、コンピュータ等の情報処理装置（サーバ装置）によって構成される。
　図３は、図１に示される評価装置のハードウェア構成図である。図３に示されるように、評価装置２０は、物理的には、１又は複数のプロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、及び通信装置２０４等のハードウェアを備えるコンピュータとして構成され得る。プロセッサ２０１としては、処理速度が速いプロセッサが用いられる。プロセッサ２０１の例としては、ＧＰＵ及びＣＰＵが挙げられる。主記憶装置２０２は、ＲＡＭ及びＲＯＭ等で構成される。補助記憶装置２０３の例としては、半導体メモリ、及びハードディスク装置が挙げられる。
　通信装置２０４は、ネットワークＮＷを介して他の装置とデータの送受信を行う装置である。通信装置２０４の例としては、ネットワークカードが挙げられる。ネットワークＮＷを介したデータの送受信には、暗号化が用いられてもよい。つまり、通信装置２０４は、データを暗号化し、暗号化されたデータを他の装置に送信してもよい。通信装置２０４は、暗号化されたデータを他の装置から受信し、暗号化されたデータを復号してもよい。暗号化には、トリプルＤＥＳ及びＲｉｊｎｄａｅｌ等の共通鍵暗号方式、又はＲＳＡ及びＥｌＧａｍａｌ等の公開鍵暗号方式が用いられ得る。
　なお、通信装置２０４は、ユーザ端末１０のユーザが正規ユーザか非正規ユーザかを判定するユーザ認証を実施してもよい。この場合、評価装置２０は、ユーザが正規ユーザである場合にカバレージの評価を行い、ユーザが非正規ユーザである場合にはカバレージの評価を行わなくてもよい。ユーザ認証には、例えば、予め登録されたユーザＩＤ（identifier）及びパスワードが用いられる。ユーザ認証には、ワンタイムパッド（ワンタイムパスワード）が用いられてもよい。
　評価装置２０の図１に示される各機能は、主記憶装置２０２等のハードウェアに１又は複数の所定のコンピュータプログラムを読み込ませることにより、１又は複数のプロセッサ２０１の制御のもとで各ハードウェアを動作させるとともに、主記憶装置２０２及び補助記憶装置２０３におけるデータの読み出し及び書き込みを行うことで実現される。
　評価装置２０は、機能的には、受信部２１と、評価部２２と、送信部２３と、を備えている。
　受信部２１は、ユーザ端末１０から評価用画像を受信するための部分である。受信部２１は、ネットワークＮＷを介して評価用画像をユーザ端末１０から受信する。受信部２１は、さらに、ユーザ端末１０から修正情報を受信する。受信部２１は、例えば、通信装置２０４によって実現される。受信部２１は、評価用画像及び修正情報を評価部２２に出力する。
　評価部２２は、評価用画像に基づいて評価対象物のカバレージを評価するための部分である。評価部２２は、ニューラルネットワークを用いて、評価対象物のカバレージを評価する。ニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional　Neural　Network：ＣＮＮ）でもよく、再帰型ニューラルネットワーク（Recurrent　Neural　Network：ＲＮＮ）でもよい。評価部２２は、評価結果を送信部２３に出力する。
　送信部２３は、ユーザ端末１０に評価結果を送信するための部分である。送信部２３は、ネットワークＮＷを介して評価結果をユーザ端末１０に送信する。送信部２３は、例えば、通信装置２０４によって実現される。なお、送信部２３は、評価結果をユーザ端末１０に出力（送信）しているので、出力部とみなされ得る。
　次に、図４～図１３の（ｂ）を参照して、評価システム１が行う評価方法を説明する。図４は、図１に示される評価システムが行う評価方法を示すシーケンス図である。図５は、図４に示される補正処理を詳細に示すフローチャートである。図６の（ａ）～（ｆ）は、マーカの例を示す図である。図７は、歪み補正を説明するための図である。図８の（ａ）及び（ｂ）は、評価領域の抽出を説明するための図である。図９の（ａ）及び（ｂ）は、色補正を説明するための図である。図１０は、ニューラルネットワークの一例を示す図である。図１１は、評価結果の一例を示す図である。図１２の（ａ）及び（ｂ）は、評価結果の表示例を示す図である。図１３の（ａ）及び（ｂ）は、評価結果の修正例を示す図である。
　図４に示される評価方法の一連の処理は、例えば、ユーザ端末１０のユーザが撮像装置１０７を用いて評価対象物を撮影することを契機として開始される。まず、画像取得部１１が評価対象物の撮像画像を取得する（ステップＳ０１）。例えば、画像取得部１１は、撮像装置１０７によって生成された評価対象物の画像を撮像画像として取得する。そして、画像取得部１１は、取得した撮像画像を補正部１３に出力する。
　なお、評価対象物の撮像画像を取得する前に、評価対象物にマーカＭＫが付されてもよい。マーカＭＫは、後述の画像処理において、撮像画像を補正するために用いられる。マーカＭＫは、マーカＭＫの向きを特定可能な形状を有する。マーカＭＫは、上下方向及び幅方向の少なくともいずれかにおいて非対称である。具体的には、図６の（ａ）～（ｆ）に示されるように、マーカＭＫは、白色が付された領域Ｒｗと黒色が付された領域Ｒｂとを含む。後述の画像処理を容易化するために、マーカＭＫは、四角形の縁Ｆ１を有している。縁Ｆ１は、領域Ｒｂの縁である。図６の（ｂ）～（ｆ）に示されるように、マーカＭＫは、枠Ｆ２によって囲まれ、枠Ｆ２と領域Ｒｂとの間には、間隙Ｒｇａｐが設けられてもよい。
　マーカＭＫは、シート状部材に描かれる。例えば、ユーザ端末１０のユーザが、マーカＭＫを含むシート状部材を評価対象物に直接張り付ける。ユーザは、ＵＡＶ（Unmanned　Aerial　Vehicle）又は伸縮棒等を用いて、マーカＭＫを含むシート状部材を評価対象物に張り付けてもよい。
　なお、マーカＭＫは、互いに異なる色が付された２以上の領域から構成されていればよい。例えば、領域Ｒｗに付される色は、白色でなくてもよく、灰色等であってもよい。領域Ｒｂに付される色は、黒色でなくてもよく、彩度を有する色でもよい。本実施形態では、図６の（ａ）に示されるマーカＭＫが用いられる。
　続いて、補正部１３は、撮像画像を補正する（ステップＳ０２）。図５に示されるように、ステップＳ０２の補正処理では、まず、補正部１３は、撮像画像の歪みを補正するために歪み補正を行う（ステップＳ２１）。評価対象物を正面から撮影することによって得られる画像と比較して、撮像画像が歪むことがある。例えば、撮像装置１０７がデプスカメラである場合、撮像装置１０７と評価対象物の各位置との距離が得られる。この場合、補正部１３は、撮像装置１０７と評価対象物の各位置との距離に基づいて、評価対象物を正面から撮影することによって得られる画像に撮像画像を変換することで歪み補正を行う。補正部１３は、評価対象物がバネ等の局面を有する構造物である場合、歪み補正として局面補正をさらに行ってもよい。
　補正部１３は、マーカＭＫを用いて歪み補正を行ってもよい。マーカＭＫが付された評価対象物の撮像画像は、マーカＭＫの画像（画像領域）であるマーカ領域Ｒｍを含む。この場合、まず、補正部１３は、撮像画像からマーカ領域Ｒｍを抽出する。補正部１３は、例えば、撮像画像に対して物体検出処理又はエッジ検出処理を行うことで、マーカ領域Ｒｍを抽出する。マーカＭＫが簡易な形状を有する場合には、物体検出処理よりもエッジ検出処理の方が、検出精度が高く、処理速度が速いことがあるので、エッジ検出処理が用いられてもよい。
　そして、補正部１３は、抽出されたマーカ領域ＲｍがマーカＭＫの画像であるか否かを確認する。補正部１３は、例えば、マーカ領域Ｒｍに対してヒストグラムの平均化処理を行った後に、マーカ領域Ｒｍに対して二値化処理を行う。そして、補正部１３は、二値化されたマーカ領域ＲｍとマーカＭＫとを比較して、両者が一致する場合にマーカ領域ＲｍがマーカＭＫの画像であると判定する。これにより、撮像画像におけるマーカＭＫの頂点座標が取得される。補正部１３は、両者が一致しない場合にマーカ領域ＲｍがマーカＭＫの画像でないと判定し、マーカ領域Ｒｍを再度抽出する。
　そして、補正部１３は、マーカ領域Ｒｍを用いて撮像画像におけるマーカＭＫの向きを計算する。マーカＭＫは、上下方向及び幅方向の少なくともいずれかにおいて非対称であるので、撮像画像におけるマーカＭＫの向きが計算され得る。そして、図７に示されるように、補正部１３は、撮像画像におけるマーカＭＫの頂点座標及び向きから、本来のマーカＭＫの形状が復元されるように、撮像画像を射影変換することで、評価対象物を正面から撮影することによって得られる画像に撮像画像を変換する。具体的には、補正部１３は、頂点Ｐｍ１を原点とし、頂点Ｐｍ１から頂点Ｐｍ２に向かう方向をＸ１軸方向とし、頂点Ｐｍ１から頂点Ｐｍ４に向かう方向をＹ１軸方向とする。そして、補正部１３は、Ｘ１－Ｙ１座標系をＸ－Ｙ直交座標系に変換することで、マーカＭＫの形状を復元する。これにより、歪み補正が行われる。
　続いて、補正部１３は、撮像画像から評価領域Ｒｅを抽出する（ステップＳ２２）。１回のショットピーニングは、投射材の大きさを揃えて行われるので、打痕の大きさは同程度となる。しかし、ショットピーニングに用いられる投射材の種類には、例えば、０．１ｍｍ～１ｍｍ程度の直径（粒径）を有する投射材がある。このため、一のショットピーニングで用いられる投射材の大きさは、別のショットピーニングで用いられる投射材の大きさと異なる場合がある。これらの投射材に対して同じ面積でカバレージを評価した場合、１つの打痕がカバレージの評価に与える影響が投射材の大きさ（直径）に応じて異なる。そこで、図８の（ａ）及び（ｂ）に示されるように、補正部１３は、撮像画像Ｇに含まれる打痕領域Ｄｅの大きさに基づいて、撮像画像Ｇから評価領域Ｒｅを抽出し、評価領域Ｒｅに基づいて評価用画像を生成する。打痕領域Ｄｅは、評価対象物に生じている打痕の画像である。
　打痕領域Ｄｅの大きさには、例えば、撮像画像Ｇに含まれる複数の打痕領域Ｄｅの平均サイズ（例えば、平均直径）が用いられる。補正部１３は、例えば、物体検出によって、撮像画像Ｇに含まれる複数の打痕領域Ｄｅを検出する。そして、補正部１３は、撮像画像Ｇに含まれる複数の打痕領域Ｄｅの平均サイズ（例えば、平均直径）を計算し、打痕領域Ｄｅの平均サイズが大きいほど、評価領域Ｒｅが大きくなるように、撮像画像Ｇから評価領域Ｒｅを抽出する。具体的には、補正部１３は、打痕領域Ｄｅの平均サイズ（平均直径）に予め定められた倍率（例えば、５～１０倍）を乗算することで、評価領域Ｒｅの大きさを設定する。例えば、補正部１３は、乗算結果を一辺の長さとする正方形の領域を評価領域Ｒｅとして撮像画像から抽出する。
　続いて、補正部１３は、評価領域Ｒｅのサイズを補正する（ステップＳ２３）。評価領域Ｒｅの大きさは、打痕領域Ｄｅの大きさに応じて変化し得る。このため、サイズ補正では、補正部１３は、打痕領域Ｄｅの大きさを所定の大きさ（基準粒径）に合わせるように、評価領域Ｒｅの伸縮処理を行う。これにより、評価領域Ｒｅのサイズは、所定の評価サイズに合わせられる。評価サイズは、ニューラルネットワークＮＮの学習に用いられる基準画像（教師データ）のサイズである。
　伸縮処理では、まず、補正部１３は、打痕領域Ｄｅの大きさ（平均直径）と基準粒径とを比較し、拡大処理及び縮小処理のいずれを行うかを決定する。補正部１３は、打痕領域Ｄｅの平均直径が基準粒径よりも小さい場合には、拡大処理を行い、打痕領域Ｄｅの平均直径が基準粒径よりも大きい場合には、縮小処理を行う。つまり、補正部１３は、評価領域Ｒｅを拡大又は縮小することで、評価用画像のサイズを評価サイズに合わせる。拡大処理には、例えば、バイリニア補間法が用いられる。縮小処理には、例えば、平均画素法が用いられる。拡大処理及び縮小処理には、他の伸縮アルゴリズムが用いられてもよいが、伸縮処理を行っても画像の状態が保たれることが望ましい。
　続いて、補正部１３は、評価領域Ｒｅの色補正を行う（ステップＳ２４）。同じ評価対象物であっても、撮影環境に応じて、画像の明暗が変化し得る。また、撮影に用いられた光源の色が異なると、画像の色も異なり得る。撮影環境の影響を低減するために、色補正が行われる。補正部１３は、撮像画像に含まれる参照領域の色に基づいて、評価領域Ｒｅの色を補正する。参照領域は、特定の色が付された参照体の画像（画像領域）である。
　図９の（ａ）に示されるように、参照体としては、マーカＭＫの領域Ｒｗが用いられ得る。この場合、マーカＭＫの領域Ｒｗの色がカラーメータ等で予め測定され、測定された色を示す基準値が不図示のメモリに記憶されている。色を示す値としては、ＲＧＢ値及びＨＳＶ値等が用いられる。図９の（ｂ）に示されるように、補正部１３は、撮像画像（評価領域Ｒｅ）に含まれるマーカ領域Ｒｍにおける領域Ｒｗの色の値を取得し、取得した値と基準値とを比較して、これらの差分が小さく（例えば、ゼロに）なるように色補正を行う。色補正には、ガンマ補正等が用いられる。色補正として、各画素値に差分が加えられてもよい（オフセット処理）。
　参照体としてマーカＭＫが用いられなくてもよい。この場合、予め色が測定されている試料（例えば、グレーボード）を参照体として、評価対象物とともに撮影することで、マーカＭＫを用いる場合と同様に評価領域Ｒｅの色補正が行われてもよい。補正部１３は、灰色仮説に基づいて色補正を行ってもよい。
　続いて、補正部１３は、評価領域Ｒｅから鏡面反射を除去する（ステップＳ２５）。鏡面反射は、評価対象物が金属光沢を有する場合に引き起こされることがある。評価対象物の塗膜の状態によっても、鏡面反射が引き起こされることがある。画像では、鏡面反射を引き起こした部分は通常強い白色として現れる。つまり、鏡面反射を起こした部分は画像において白飛びを生じてしまう。色補正後には、鏡面反射を起こした部分は、白色部分として検出され得るので、補正部１３は、色補正後の画像（評価領域Ｒｅ）を用いて鏡面反射を除去する。
　そこで、補正部１３は、評価領域Ｒｅに含まれる各画素の画素値に基づいて鏡面反射部分を特定する。例えば、補正部１３は、ＲＧＢの画素値がいずれも所定の閾値よりも大きい場合に当該画素は鏡面反射部分の一部であると判定する。補正部１３は、画素値をＨＳＶに変換し、明るさ（Ｖ）、又は明るさ（Ｖ）及び彩度（Ｓ）の両方に対して同様の閾値処理をすることで鏡面反射部分を特定してもよい。
　そして、補正部１３は、鏡面反射部分から鏡面反射を除去し、元の画像情報（画素値）を復元する。補正部１３は、例えば、ナビエ・ストークスを用いた方法、及びＡｌｅｘａｎｄｒｕ　Ｔｅｌｅａのファストマーチング方法等により、鏡面反射部分の近傍の画像情報で鏡面反射部分の画像情報を自動補間（復元）する。補正部１３は、機械学習により、様々なカバレージの値を有する画像を予め学習しておくことで、鏡面反射部分の画像情報を復元してもよい。機械学習には、例えば、ＧＡＮ（Generative　Adversarial　Network）が用いられる。なお、補正部１３は、鏡面反射部分の外縁を拡張した領域（つまり、鏡面反射部分を含み、鏡面反射部分よりも大きい領域）に対して画像情報を復元してもよい。
　続いて、補正部１３は、評価領域Ｒｅからノイズを除去する（ステップＳ２６）。補正部１３は、例えば、ガウシアンフィルタ、及びローパスフィルタ等のデノイズフィルタ（デノイズ関数）を用いて、評価領域Ｒｅからノイズを除去する。
　続いて、補正部１３は、評価領域Ｒｅのブレ補正を行う（ステップＳ２７）。ユーザがユーザ端末１０を用いて撮影を行う際に、手振れ等のブレが生じることがある。補正部１３は、例えば、Ｗｉｅｎｅｒフィルタ、及びブラインドデコンボリューションアルゴリズムを用いて画像のブレ補正を行う。
　なお、図５の補正処理は、一例であって、補正部１３が行う補正処理はこれに限られない。ステップＳ２１，Ｓ２３～Ｓ２７の一部又は全部は省略されてもよい。ステップＳ２１～Ｓ２７は、任意の順番で行われてもよい。上述のように、色補正の後に鏡面反射除去を行う場合、画像において鏡面反射部分は強い白色として現れるので、鏡面反射部分の特定精度が向上する。
　また、図７に示されるように、補正部１３は、マス目状に並んだ複数のブロックによってマーカ領域Ｒｍが構成されているとみなし、マーカ領域Ｒｍ（マーカＭＫ）の４頂点の座標を用いて、各ブロックの頂点座標を求めてもよい。これにより、補正部１３は、マーカ領域Ｒｍを複数のブロックに分割して取り扱うことができる。例えば、補正部１３は、各ブロックを用いて、マーカ領域ＲｍがマーカＭＫの画像であるか否かを判定する。また、補正部１３は、いずれかのブロックを、色補正に用いられる参照領域としてもよい。さらに、補正部１３は、各ブロックの座標から撮像画像の歪み具合を算出し、撮像装置１０７のキャリブレーションを行ってもよい。
　続いて、補正部１３は、ステップＳ０２の補正処理によって補正された撮像画像を評価用画像として送信部１４に出力し、送信部１４は、ネットワークＮＷを介して評価用画像を評価装置２０に送信する（ステップＳ０３）。このとき、送信部１４は、ユーザ端末１０を一意に識別可能な端末ＩＤとともに、評価用画像を評価装置２０に送信する。端末ＩＤとして、例えば、ＩＰ（Internet　Protocol）アドレスが用いられてもよい。そして、受信部２１は、ユーザ端末１０から送信された評価用画像を受信し、評価用画像を評価部２２に出力する。なお、補正部１３は、評価用画像の鮮明さが不足する場合には、評価用画像を送信部１４に出力しなくてもよい。また、送信部１４は、上述のように、評価用画像を暗号化し、暗号化された評価用画像を評価装置２０に送信してもよい。この場合、受信部２１は、暗号化された評価用画像をユーザ端末１０から受信し、暗号化された評価用画像を復号して、評価用画像を評価部２２に出力する。
　続いて、評価部２２は、評価用画像に基づいて、評価対象物のカバレージを評価する（ステップＳ０４）。この例では、評価部２２は、図１０に示されるニューラルネットワークＮＮを用いて、評価対象物のカバレージを評価する。なお、評価部２２は、評価用画像を受け取ると、評価用画像を一意に識別可能な画像ＩＤを評価用画像に付与する。
　ニューラルネットワークＮＮは、評価用画像を入力し、各カテゴリの適合率を出力する。カテゴリとしては、カバレージを所定の割合単位に纏めた値が用いられ得る。例えば、カバレージがパーセントで表記される場合、０～９８％までを１０％単位でカテゴリが設定される。なお、カバレージに関する規格としては、ＪＩＳ　Ｂ２７１１、及びＳＡＥ　Ｊ２２７７が挙げられる。一例として、ＳＡＥ　Ｊ２２７７では、カバレージを測定することが可能な上限値を、９８％（フルカバレージ）としている。カテゴリは、１０％単位に限られず、５％単位で設定されてもよいし、１％単位で設定されてもよい。
　図１１に示されるように、本実施形態では、カテゴリとして、カバレージを０～９８％まで１０％単位で纏めた値が用いられる。この例では、説明の便宜上、カテゴリ「１００％」が用いられている。適合率は、評価対象物のカバレージがそのカテゴリに属する確率を表している。適合率が大きいほど、評価対象物のカバレージがそのカテゴリに属する可能性が高いことを意味する。
　評価部２２は、評価用画像を１又は複数のチャネルに分離して、各チャネルの画像情報（画素値）をニューラルネットワークＮＮの入力としてもよい。評価部２２は、例えば、評価用画像を色空間の各成分に分離する。色空間としてＲＧＢ色空間が用いられる場合には、評価部２２は、評価用画像をＲ成分の画素値、Ｇ成分の画素値、及びＢ成分の画素値に分離する。色空間としてＨＳＶ色空間が用いられる場合には、評価部２２は、評価用画像をＨ成分の画素値、Ｓ成分の画素値、及びＶ成分の画素値に分離する。評価部２２は、評価用画像をグレースケールに変換し、変換した画像をニューラルネットワークＮＮの入力としてもよい。
　図１０に示されるように、ニューラルネットワークＮＮは、入力層Ｌ１と、中間層Ｌ２と、出力層Ｌ３と、を有する。入力層Ｌ１は、ニューラルネットワークＮＮの入口に位置し、入力層Ｌ１には、Ｍ個の入力値ｘｉ（ｉは１～Ｍの整数）が入力される。入力層Ｌ１は、複数のニューロン４１を有する。ニューロン４１は、入力値ｘｉに対応して設けられており、ニューロン４１の数は、入力値ｘｉの総数Ｍと等しい。つまり、ニューロン４１の数は、評価用画像の各チャネルに含まれる画素数の総和と等しい。ｉ番目のニューロン４１は、入力値ｘｉを、中間層Ｌ２の第１中間層Ｌ２１の各ニューロン４２１に出力する。入力層Ｌ１は、ノード４１ｂを含む。ノード４１ｂは、各ニューロン４２１にバイアス値ｂｊ（ｊは１～Ｍ１の整数）を出力する。
　中間層Ｌ２は、入力層Ｌ１と出力層Ｌ３との間に位置する。中間層Ｌ２は、ニューラルネットワークＮＮの外部から隠れているので隠れ層とも呼ばれる。中間層Ｌ２は、１又は複数の層を含む。図１０に示される例では、中間層Ｌ２は、第１中間層Ｌ２１と第２中間層Ｌ２２とを含む。第１中間層Ｌ２１は、Ｍ１個のニューロン４２１を有する。このとき、ｊ番目のニューロン４２１は、式（１）に示されるように、各入力値ｘｉを重み係数ｗｉｊによって重み付けした値の総和に、さらにバイアス値ｂｊを加算することで計算値ｚｊを得る。なお、ニューラルネットワークＮＮが畳み込みニューラルネットワークである場合には、ニューロン４２１は、例えば、畳み込み、活性化関数を用いた計算、及びプーリングを順に行う。この場合、活性化関数には、例えば、ＲｅＬＵ関数が用いられる。
Figure JPOXMLDOC01-appb-M000001
　そして、ｊ番目のニューロン４２１は、第２中間層Ｌ２２の各ニューロン４２２に計算値ｚｊを出力する。第１中間層Ｌ２１は、ノード４２１ｂを含む。ノード４２１ｂは、各ニューロン４２２にバイアス値を出力する。以下、各ニューロンは、ニューロン４２１と同様の計算を行い、後段の層の各ニューロンに計算値を出力する。中間層Ｌ２の最終段のニューロン（ここでは、ニューロン４２２）は、出力層Ｌ３の各ニューロン４３に計算値を出力する。
　出力層Ｌ３は、ニューラルネットワークＮＮの出口に位置し、出力値ｙｋ（ｋは１～Ｎの整数）を出力する。出力値ｙｋは、各カテゴリに割り当てられており、そのカテゴリの適合率に対応する値である。出力層Ｌ３は、複数のニューロン４３を有する。ニューロン４３は、出力値ｙｋに対応して設けられており、ニューロン４３の数は、出力値ｙｋの総数Ｎと等しい。つまり、ニューロン４３の数は、カバレージを示すカテゴリの数と等しい。各ニューロン４３は、ニューロン４２１と同様の計算を行い、その計算結果を引数として活性化関数を計算することで、出力値ｙｋを得る。活性化関数の例としては、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、双曲線関数、シグモイド関数、恒等関数、及びステップ関数が挙げられる。本実施形態では、ｓｏｆｔｍａｘ関数が用いられる。このため、各出力値ｙｋは、Ｎ個の出力値ｙｋの合計が１になるように正規化されている。つまり、出力値ｙｋに１００を乗算することによって、適合率（％）が得られる。
　続いて、評価部２２は、例えば、Ｎ個の出力値ｙｋを評価用画像の画像ＩＤとともに評価用画像の評価結果として送信部２３に出力する。Ｎ個の出力値ｙｋの配列は予め定められており、各出力値ｙｋは、Ｎ個のカテゴリのいずれかのカテゴリに対応付けられている。なお、評価部２２は、Ｎ個の出力値ｙｋのうち、最も大きい出力値をその出力値に対応するカテゴリ名又はインデックス（図１１に示される「番号」に相当）とともに評価結果としてもよい。ここでは、図１１に示される適合率に対応する出力値の配列が評価結果として送信部２３に出力される。この場合、ユーザ端末１０が、ユーザにどのように出力するかを決定することができる。
　そして、送信部２３は、ネットワークＮＷを介して評価結果をユーザ端末１０に送信する（ステップＳ０５）。このとき、送信部２３は、評価用画像とともにユーザ端末１０から送信された端末ＩＤに基づいて、送信先のユーザ端末１０を識別し、当該ユーザ端末１０に評価結果を送信する。そして、受信部１５は、評価装置２０から送信された評価結果を受信し、評価結果を出力部１６に出力する。なお、送信部２３は、上述のように、評価結果を暗号化し、暗号化された評価結果をユーザ端末１０に送信してもよい。この場合、受信部１５は、暗号化された評価結果を評価装置２０から受信し、暗号化された評価結果を復号して、評価結果を出力部１６に出力する。
　続いて、出力部１６は、評価結果をユーザに通知するための出力情報を生成し、出力情報に基づいて評価結果をユーザに出力する（ステップＳ０６）。出力部１６は、例えば、適合率が最も高いカテゴリの名称（カバレージ　〇〇％）と、その適合率とを表示する。また、出力部１６は、例えば、各カテゴリの値と適合率とを乗算した結果を合算することでカバレージを計算し、その計算結果を評価結果として表示してもよい。図１１の例では、カバレージは４５％（＝４０％×０．５＋５０％×０．５）である。
　図１２の（ａ）及び（ｂ）に示されるように、出力部１６は、矢印Ｐａを用いて、グラフ上でカバレージの評価結果を表示してもよい。出力部１６は、テキストで評価結果を表示してもよい。例えば、出力部１６は、「結果：カバレージ　４５％」等と表示する。出力部１６は、全てのカテゴリの名称とその適合率とをテキストで表示してもよい。
　出力部１６は、評価結果を用いて、ショットピーニング処理が合格であるか不合格であるかをユーザに通知してもよい。出力部１６は、音声で評価結果を出力してもよく、振動で評価結果を出力してもよい。出力部１６による出力の形態は、ユーザによって設定されてもよい。
　続いて、修正情報取得部１７は、ユーザによって評価結果の修正操作が行われたか否かを判定する。例えば、ユーザは、出力部１６によって出力された評価結果を確認した後、入力装置１０５を用いて評価結果を修正するための画面を表示するように操作する。
　例えば、図１３の（ａ）及び（ｂ）に示されるように、ユーザは、入力装置１０５を操作し、ポインタＭＰを用いて矢印Ｐａを移動することで、グラフ上でカバレージを指定する。つまり、ユーザが評価対象物を目視で検査することによってカバレージを判定し、ユーザによって判定されたカバレージに対応する数値を示すように、ユーザは矢印Ｐａを移動する。
　ユーザがカバレージを指定するために、テキストボックスが用いられてもよい。ユーザがカテゴリを選択するために、ラジオボタン、ドロップダウンリスト、又はスライダ等のオブジェクトが用いられてもよい。
　修正情報取得部１７が修正操作は行われなかったと判定した場合、評価システム１による評価方法の一連の処理が終了する。一方、修正情報取得部１７は、入力装置１０５によって修正操作が行われたと判定した場合、修正後のカテゴリを示す情報を、当該修正操作が行われた評価用画像の画像ＩＤとともに修正情報として取得する（ステップＳ０７）。
　そして、修正情報取得部１７は、修正情報を送信部１４に出力し、送信部１４は、ネットワークＮＷを介して修正情報を評価装置２０に送信する（ステップＳ０８）。そして、受信部２１は、ユーザ端末１０から送信された修正情報を受信し、修正情報を評価部２２に出力する。なお、送信部１４は、上述のように、修正情報を暗号化し、暗号化された修正情報を評価装置２０に送信してもよい。この場合、受信部２１は、暗号化された修正情報をユーザ端末１０から受信し、暗号化された修正情報を復号して、修正情報を評価部２２に出力する。
　続いて、評価部２２は、修正情報に基づいて学習を行う（ステップＳ０９）。具体的には、評価部２２は、修正後のカテゴリと評価用画像との組を教師データとする。評価部２２は、オンライン学習、ミニバッチ学習、及びバッチ学習のいずれの方法でニューラルネットワークＮＮの学習を行ってもよい。オンライン学習は、新たな教師データを取得するごとにその教師データを用いて学習を行う方法である。ミニバッチ学習は、一定量の教師データを１単位として、１単位の教師データを用いて学習を行う方法である。バッチ学習は、全ての教師データを用いて学習を行う方法である。学習には、バックプロパゲーション等のアルゴリズムが用いられる。なお、ニューラルネットワークＮＮの学習とは、ニューラルネットワークＮＮで用いられる重み係数及びバイアス値をより最適な値に更新することを意味する。
　以上のようにして、評価システム１による評価方法の一連の処理が終了する。
　なお、ユーザ端末１０及び評価装置２０における各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０及び評価装置２０を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。
　以上説明した評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体では、評価対象物の撮像画像から評価領域Ｒｅが抽出され、評価領域Ｒｅに基づいて評価用画像が生成される。そして、評価用画像に基づいてカバレージが評価され、評価結果が出力される。評価領域Ｒｅは、評価対象物に生じている打痕の画像である打痕領域Ｄｅの大きさに基づいて撮像画像から抽出される。具体的には、打痕領域Ｄｅが大きいほど、評価領域Ｒｅ（の面積）が大きくなるように、撮像画像から評価領域Ｒｅが抽出される。これにより、打痕領域Ｄｅの大きさに応じた範囲を対象として、カバレージが評価されるので、１つの打痕がカバレージに与える影響を低減できる。その結果、カバレージの評価精度を向上させることが可能となる。
　より具体的には、打痕領域Ｄｅの大きさ（例えば、平均直径）に予め定められた定数を乗算することで、評価領域Ｒｅの大きさが設定される。このため、打痕領域Ｄｅの大きさに対して、評価領域Ｒｅの範囲（面積）を十分に大きくできるので、１つの打痕がカバレージに与える影響を低減することが可能となる。その結果、カバレージの評価精度を向上させることが可能となる。
　打痕領域Ｄｅの大きさを所定の大きさ（例えば、基準粒径）に合わせるように、評価領域Ｒｅが拡大又は縮小される。このため、ニューラルネットワークＮＮによる評価を適切に行うことができる。また、互いに異なる粒径の投射材に対して共通の基準でカバレージを評価することができるので、カバレージの評価精度を向上させることが可能となる。
　同じ評価対象物であっても、撮影に用いられた光源の色調によって、撮像画像の色調が変わることがある。また、同じ評価対象物であっても、光の照射量によって、撮像画像の明るさが異なることがある。このため、撮像画像に含まれる参照領域（例えば、マーカ領域Ｒｍにおける領域Ｒｗ）の色に基づいて、評価領域Ｒｅの色が補正される。マーカ領域Ｒｍにおける領域Ｒｗの色が、マーカＭＫにおける領域Ｒｗの色（白色）と異なっている場合、撮像画像における色が光の影響を受けていると考えられる。そこで、マーカ領域Ｒｍにおける領域Ｒｗの色がマーカＭＫにおける領域Ｒｗの色になるように、評価領域Ｒｅの色が補正される。これにより、光の影響を低減することができる。その結果、カバレージの評価精度をさらに向上させることが可能となる。
　評価対象物に強い光が照射されると鏡面反射が生じることがあり、その状態で評価対象物が撮像されると撮像画像に白飛びが生じることがある。白飛びが生じている領域では、色情報が失われている。このため、評価領域Ｒｅから鏡面反射（白飛び）を除去することで、色情報が復元され得る。これにより、カバレージの評価精度をさらに向上させることが可能となる。
　ニューラルネットワークＮＮを用いてカバレージが評価される。ショットピーニング処理によって評価対象物の表面に生じた模様は、不定形である。このため、一般的な物体検出では、不定形な物体の位置及び状態を特定することが困難である。また、パターン認識は無数に存在する模様を認識することには向いていない。これに対し、ニューラルネットワークＮＮを学習させることによって、カバレージの評価が可能となり、カバレージの評価精度をさらに向上させることが可能となる。
（第２実施形態）
　図１４は、第２実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１４に示される評価システム１Ａは、ユーザ端末１０に代えてユーザ端末１０Ａを備える点、及び評価装置２０に代えて評価装置２０Ａを備える点において、評価システム１と主に相違する。
　ユーザ端末１０Ａは、補正部１３を備えない点、及び評価用画像に代えて撮像画像を評価装置２０Ａに送信する点においてユーザ端末１０と主に相違する。なお、ユーザ端末１０Ａでは、画像取得部１１は、撮像画像を送信部１４に出力する。送信部１４は、撮像画像を評価装置２０Ａに送信する。
　評価装置２０Ａは、評価用画像に代えて撮像画像をユーザ端末１０Ａから受信する点、及び補正部２４をさらに備える点において評価装置２０と主に相違する。受信部２１は、撮像画像をユーザ端末１０Ａから受信し、撮像画像を補正部２４に出力する。なお、受信部２１は、撮像画像をユーザ端末１０Ａから取得しているので、画像取得部とみなされ得る。補正部２４は、補正部１３と同様の機能を有する。つまり、補正部２４は、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。そして、補正部２４は、評価用画像を評価部２２に出力する。
　次に、図１５を参照して、評価システム１Ａが行う評価方法を説明する。図１５は、図１４に示される評価システムが行う評価方法を示すシーケンス図である。まず、画像取得部１１が評価対象物の撮像画像を取得する（ステップＳ３１）。例えば、画像取得部１１は、ステップＳ０１と同様に、撮像装置１０７によって生成された評価対象物の画像を撮像画像として取得する。
　そして、画像取得部１１は、取得した撮像画像を送信部１４に出力し、送信部１４は、ネットワークＮＷを介して撮像画像を評価装置２０Ａに送信する（ステップＳ３２）。このとき、送信部１４は、ユーザ端末１０Ａを一意に識別可能な端末ＩＤとともに、撮像画像を評価装置２０Ａに送信する。そして、受信部２１は、ユーザ端末１０Ａから送信された撮像画像を受信し、撮像画像を補正部２４に出力する。なお、送信部１４は、上述のように、撮像画像を暗号化し、暗号化された撮像画像を評価装置２０Ａに送信してもよい。この場合、受信部２１は、暗号化された撮像画像をユーザ端末１０Ａから受信し、暗号化された撮像画像を復号して、撮像画像を補正部２４に出力する。
　続いて、補正部２４は、撮像画像を補正する（ステップＳ３３）。ステップＳ３３の処理は、ステップＳ０２の処理と同様であるので、その詳細な説明を省略する。補正部２４は、ステップＳ３３の補正処理によって補正された撮像画像を評価用画像として、評価部２２に出力する。以降、ステップＳ３４～ステップＳ３９の処理は、ステップＳ０４～ステップＳ０９の処理と同様であるので、その詳細な説明を省略する。以上のようにして、評価システム１Ａによる評価方法の一連の処理が終了する。
　なお、ユーザ端末１０Ａ及び評価装置２０Ａにおける各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０Ａ及び評価装置２０Ａを構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。
　第２実施形態に係る評価システム１Ａ、評価装置２０Ａ、評価方法、評価プログラム、及び記録媒体においても、第１実施形態に係る評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体と同様の効果が奏される。また、第２実施形態に係る評価システム１Ａ、評価装置２０Ａ、評価方法、評価プログラム、及び記録媒体では、ユーザ端末１０Ａが補正部１３を有しないので、ユーザ端末１０Ａの処理負荷を軽減することができる。
（第３実施形態）
　図１６は、第３実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１６に示される評価システム１Ｂは、ユーザ端末１０に代えてユーザ端末１０Ｂを備える点、及び評価装置２０を備えない点において、評価システム１と主に相違する。ユーザ端末１０Ｂは、評価部１８をさらに備える点、並びに、送信部１４及び受信部１５を備えない点においてユーザ端末１０と主に相違する。この場合、ユーザ端末１０Ｂは、スタンドアロン型の評価装置でもある。
　なお、ユーザ端末１０Ｂでは、補正部１３は、評価用画像を評価部１８に出力する。修正情報取得部１７は、修正情報を評価部１８に出力する。評価部１８は、評価部２２と同様の機能を有する。つまり、評価部１８は、評価用画像に基づいて評価対象物のカバレージを評価する。そして、評価部１８は、評価結果を出力部１６に出力する。
　次に、図１７を参照して、評価システム１Ｂ（ユーザ端末１０Ｂ）が行う評価方法を説明する。図１７は、図１６に示される評価システムが行う評価方法を示すフローチャートである。
　まず、画像取得部１１が、ステップＳ０１と同様に評価対象物の撮像画像を取得する（ステップＳ４１）。そして、画像取得部１１は、撮像画像を補正部１３に出力する。続いて、補正部１３は、撮像画像を補正する（ステップＳ４２）。ステップＳ４２の処理は、ステップＳ０２の処理と同様であるので、その詳細な説明を省略する。そして、補正部１３は、ステップＳ４２の補正処理によって補正された撮像画像を評価用画像として、評価部１８に出力する。
　続いて、評価部１８は、評価用画像に基づいて、評価対象物のカバレージを評価する（ステップＳ４３）。ステップＳ４３の処理は、ステップＳ０４の処理と同様であるので、その詳細な説明を省略する。そして、評価部１８は、評価結果を出力部１６に出力する。続いて、出力部１６は、評価結果をユーザに通知するための出力情報を生成し、出力情報に基づいて評価結果をユーザに出力する（ステップＳ４４）。ステップＳ４４の処理は、ステップＳ０６の処理と同様であるので、その詳細な説明を省略する。
　続いて、修正情報取得部１７は、ユーザによって評価結果の修正操作が行われたか否かを判定する（ステップＳ４５）。修正情報取得部１７が、修正操作が行われなかったと判定した場合（ステップＳ４５：ＮＯ）、評価システム１Ｂによる評価方法の一連の処理は終了する。一方、修正情報取得部１７は、修正操作が行われたと判定した場合（ステップＳ４５：ＹＥＳ）、修正後のカテゴリを示す情報を、当該修正操作が行われた評価用画像の画像ＩＤとともに修正情報として取得する。そして、修正情報取得部１７は、修正情報を評価部１８に出力する。
　続いて、評価部１８は、修正情報に基づいて学習を行う（ステップＳ４６）。ステップＳ４６の処理は、ステップＳ０９の処理と同様であるので、その詳細な説明を省略する。以上のようにして、評価システム１Ｂによる評価方法の一連の処理が終了する。
　なお、ユーザ端末１０Ｂにおける各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０Ｂを構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。
　第３実施形態に係る評価システム１Ｂ、ユーザ端末１０Ｂ、評価方法、評価プログラム、及び記録媒体においても、第１実施形態に係る評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体と同様の効果が奏される。また、第３実施形態に係る評価システム１Ｂ、ユーザ端末１０Ｂ、評価方法、評価プログラム、及び記録媒体では、ネットワークＮＷを介したデータの送受信を行う必要がないので、ネットワークＮＷを介した通信に伴うタイムラグが生じず、応答速度を向上させることが可能となる。また、ネットワークＮＷのトラフィック及び通信料を削減することが可能となる。
　なお、本開示に係る評価システム、評価装置、評価方法、評価プログラム、及び記録媒体は上記実施形態に限定されない。
　例えば、ユーザによる評価結果の修正を行わない場合には、ユーザ端末１０，１０Ａ，１０Ｂは、修正情報取得部１７を備えていなくてもよい。
　また、ニューラルネットワークＮＮでは、バッチ正規化が行われてもよい。バッチ正規化とは、各層の出力値を分散が一定になるように変換する処理である。この場合、バイアス値を用いる必要が無いので、バイアス値を出力するノード（ノード４１ｂ、及びノード４２１ｂ等）が省略され得る。
　また、評価部１８，２２は、ニューラルネットワーク以外の手法を用いて、評価用画像に基づいてカバレージを評価してもよい。
　また、出力部１６は、評価結果を不図示のメモリ（記憶装置）に出力し、評価結果をメモリに保存してもよい。出力部１６は、例えば、評価結果を一意に識別可能な管理番号、及び当該評価が行われた日付等と評価結果とを対応付けた管理データを作成し、管理データを保存する。
　マーカＭＫの形状は、正方形に限られない。マーカＭＫの形状は、長方形であってもよい。
　上記実施形態では、マーカＭＫは、マーカＭＫの向きを特定可能な形状を有しているが、マーカＭＫの形状は指向性を有する形状に限られない。マーカＭＫの形状は、無指向性の形状であってもよい。例えば、図１８の（ａ）に示されるように、領域Ｒｂの形状が正方形であり、領域Ｒｗの形状が領域Ｒｂよりも一回り小さい正方形であってもよい。領域Ｒｂの中心点と領域Ｒｗの中心点とが重なり、かつ領域Ｒｂの各辺と領域Ｒｗの各辺とが互いに平行となるように配置されていてもよい。マーカＭＫが無指向性の形状を有している場合、マーカＭＫの形状が単純であるので、マーカＭＫの作成を容易化することができる。また、マーカＭＫの向きは重要ではないので、ユーザが評価対象物の撮影を容易に行うことができる。
　図１８の（ｂ）に示されるように、マーカＭＫは、開口部Ｈｍを有してもよい。開口部Ｈｍは、マーカＭＫが描かれるシート状部材を貫通する貫通孔である。開口部Ｈｍの開口面積は、抽出され得る評価領域Ｒｅの面積よりも十分に大きい。このため、補正部１３，２４は、評価領域Ｒｅの抽出の前処理として、撮像画像から開口部Ｈｍを介して露出している領域を抽出してもよい。そして、補正部１３，２４は、抽出した領域に含まれる打痕領域Ｄｅの大きさに基づいて、抽出した領域から評価領域Ｒｅを抽出してもよい。
　枠Ｆ２に囲まれていないマーカＭＫを用いた場合、光の反射等に起因してマーカ領域Ｒｍと評価対象物の領域との境界が不明確となることがある。このような場合には、エッジ検出処理では、エッジを検出できない場合がある。物体検出では、判定閾値を小さくし過ぎると誤検出が多くなり、判定閾値を大きくし過ぎると検出漏れが多くなる。また、物体検出自体ではマーカ領域Ｒｍの向き（角度）を得ることができない。さらに、物体検出処理でマーカ領域Ｒｍを抽出した上で、エッジ強調処理を行い、さらにエッジ検出処理を行う場合、検出精度は向上するものの、マーカ領域Ｒｍの外縁部分の色とマーカ領域Ｒｍの周辺の色とがほとんど変わらないような場合には、検出漏れが生じ得る。
　一方、図６の（ｂ）～（ｆ）、図１８の（ｃ）及び（ｄ）に示されるマーカＭＫでは、マーカＭＫが枠Ｆ２によって囲まれており、枠Ｆ２と領域Ｒｂとの間に間隙Ｒｇａｐが設けられる。間隙Ｒｇａｐは、縁Ｆ１に沿って領域Ｒｂを囲んでいる。間隙Ｒｇａｐの色は、マーカＭＫの外縁部分（つまり、領域Ｒｂ）の色とは異なる。このため、マーカ領域Ｒｍの周辺（枠Ｆ２の外側）の色が、マーカ領域Ｒｍの外縁部分（領域Ｒｂ）の色と類似していたとしても、マーカ領域Ｒｍの外縁（縁Ｆ１）は明確であるので、マーカ領域Ｒｍの外縁を検出することができる。例えば、物体検出処理でマーカ領域Ｒｍを抽出した上で、エッジ強調処理を行い、さらにエッジ検出処理を行う場合、領域Ｒｂの頂点（頂点Ｐｍ１～Ｐｍ４）をより確実に検出することができる。したがって、高速かつ高精度にマーカ領域Ｒｍを抽出することが可能となる。その結果、カバレージの評価精度をさらに向上させることが可能となる。なお、枠Ｆ２と領域Ｒｂとの距離（間隙Ｒｇａｐの幅）は、例えば、間隙Ｒｇａｐを確保するために、マーカＭＫの一辺の１０分の１以上であってもよい。枠Ｆ２と領域Ｒｂとの距離（間隙Ｒｇａｐの幅）は、例えば、マーカＭＫの使いやすさを考慮して、マーカＭＫの一辺の半分以下であってもよい。
　また、図１８の（ｃ）及び（ｄ）に示されるように、枠Ｆ２は、マーカＭＫを完全に囲む枠でなくてもよい。つまり、枠Ｆ２には、欠落部Ｆｇａｐが設けられてもよい。例えば、枠Ｆ２は、実線に限られず、破線でもよい。この場合、枠Ｆ２は、枠Ｆ２の枠線が途中で途切れた形状を有する。枠Ｆ２に欠落部Ｆｇａｐが設けられる場合には、エッジ検出処理等によって、枠Ｆ２によって囲まれた領域がマーカ領域Ｒｍとして検出される可能性を低減することができるので、マーカ領域Ｒｍの検出精度が向上する。つまり、枠Ｆ２の頂点が検出される可能性を低減することができるので、マーカ領域Ｒｍ（領域Ｒｂ）の頂点をさらに確実に検出することが可能となる。その結果、カバレージの評価精度をさらに向上させることが可能となる。
　図１９に示されるように、補正部１３，２４は、打痕領域Ｄｅに基づいて設定された大きさの評価領域Ｒｅを撮像画像Ｇから抽出する際に、撮像画像Ｇからランダムに評価領域Ｒｅを決定し、決定した評価領域Ｒｅを抽出してもよい。この場合、まず、補正部１３，２４は、評価領域Ｒｅの基準点Ｐｒが取り得る座標の最大値を求める。基準点Ｐｒとは、評価領域Ｒｅの４つの頂点のうちの１つであり、ここでは、評価領域Ｒｅの４つの頂点のうちのＸ－Ｙ座標の原点に最も近い頂点である。例えば、評価領域Ｒｅの一辺の長さが１００ピクセルである場合、基準点ＰｒのＸ座標の最大値ｘｃｒｏｐ＿ｍａｘとＹ座標の最大値ｙｃｒｏｐ＿ｍａｘとは、以下の式（２）で表される。なお、撮像画像Ｇの頂点Ｐｇ１は原点（０，０）に位置し、頂点Ｐｇ２は（Ｘｇ，０）に位置し、頂点Ｐｇ３は（Ｘｇ，Ｙｇ）に位置し、頂点Ｐｇ４は（０，Ｙｇ）に位置する。
Figure JPOXMLDOC01-appb-M000002
　補正部１３，２４は、式（３）を用いて、評価領域Ｒｅの基準点の座標（ｘｃｒｏｐ，ｙｃｒｏｐ）をランダムに決定する。なお、関数ｒａｎｄｏｍ（最小値，最大値）は、最小値から最大値までの範囲に含まれる任意の値を返す関数である。
Figure JPOXMLDOC01-appb-M000003
　補正部１３，２４は、決定された評価領域Ｒｅとマーカ領域Ｒｍとが重なる場合には、評価領域Ｒｅの基準点の座標を再度決定してもよい。
　図２０に示されるように、補正部１３，２４は、マーカ領域Ｒｍに対して抽出方向を指定して、撮像画像Ｇから評価領域Ｒｅを抽出してもよい。この場合、まず、補正部１３，２４は、撮像画像Ｇの中心位置Ｃｇの座標（ｘｃｇ，ｙｃｇ）と、マーカ領域Ｒｍの中心位置Ｃｍの座標（ｘｃｍ，ｙｃｍ）と、を計算する。そして、補正部１３，２４は、式（４）に示されるように、中心位置Ｃｍから中心位置Ｃｇに向かうベクトルＶを計算する。
Figure JPOXMLDOC01-appb-M000004
　補正部１３，２４は、マーカ領域ＲｍからベクトルＶが示す方向において、評価領域Ｒｅの位置を決定する。補正部１３，２４は、例えば、中心位置ＣｍからベクトルＶが示す方向に評価領域Ｒｅの基準点Ｐｒが位置するように、評価領域Ｒｅの位置を決定する。ここでは、基準点Ｐｒは、評価領域Ｒｅの４つの頂点のうちのマーカ領域Ｒｍに最も近い頂点である。補正部１３，２４は、例えば、マーカ領域Ｒｍと重複しないように、評価領域Ｒｅの位置を決定する。具体的には、補正部１３，２４は、基準点Ｐｒが取り得る座標のうち、マーカ領域Ｒｍから最も離れた基準点Ｐｒ＿ｍａｘの座標（ｘｃｒｏｐ＿ｍａｘ，ｙｃｒｏｐ＿ｍａｘ）と、マーカ領域Ｒｍに最も近い基準点Ｐｒ＿ｍｉｎの座標（ｘｃｒｏｐ＿ｍｉｎ，ｙｃｒｏｐ＿ｍｉｎ）と、を計算する。そして、補正部１３，２４は、これらの２点間の線分上に基準点Ｐｒが位置するように、評価領域Ｒｅの位置を決定する。
　１，１Ａ，１Ｂ…評価システム、１０，１０Ａ，１０Ｂ…ユーザ端末、１１…画像取得部、１３，２４…補正部、１６…出力部、１７…修正情報取得部、１８，２２…評価部、２０，２０Ａ…評価装置、２１…受信部（画像取得部）、２３…送信部（出力部）、Ｄｅ…打痕領域、Ｇ…撮像画像、ＮＮ…ニューラルネットワーク、Ｒｅ…評価領域。

Claims (11)

  1. 　評価対象物の撮像画像を用いて、前記評価対象物のカバレージを評価する評価システムであって、
    　前記撮像画像を取得する画像取得部と、
    　前記撮像画像を補正することで評価用画像を生成する補正部と、
    　前記評価用画像に基づいて前記カバレージを評価する評価部と、
    　前記評価部による評価結果を出力する出力部と、
    を備え、
    　前記補正部は、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域を抽出し、前記評価領域に基づいて前記評価用画像を生成し、
    　前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価システム。
  2. 　前記補正部は、前記打痕領域の大きさが大きいほど、前記評価領域が大きくなるように、前記撮像画像から前記評価領域を抽出する、請求項１に記載の評価システム。
  3. 　前記補正部は、前記打痕領域の大きさに予め定められた定数を乗算することで、前記評価領域の大きさを設定し、前記撮像画像から前記評価領域を抽出する、請求項２に記載の評価システム。
  4. 　前記補正部は、前記打痕領域の大きさを所定の大きさに合わせるように、前記評価領域を拡大又は縮小する、請求項１～請求項３のいずれか一項に記載の評価システム。
  5. 　前記補正部は、前記撮像画像に含まれる参照領域の色に基づいて、前記評価領域の色を補正し、
    　前記参照領域は、特定の色が付された参照体の画像である、請求項１～請求項４のいずれか一項に記載の評価システム。
  6. 　前記補正部は、前記評価領域から鏡面反射を除去する、請求項１～請求項５のいずれか一項に記載の評価システム。
  7. 　前記評価部は、ニューラルネットワークを用いて前記カバレージを評価する、請求項１～請求項６のいずれか一項に記載の評価システム。
  8. 　評価対象物の撮像画像を用いて、前記評価対象物のカバレージを評価する評価装置であって、
    　前記撮像画像を取得する画像取得部と、
    　前記撮像画像を補正することで評価用画像を生成する補正部と、
    　前記評価用画像に基づいて前記カバレージを評価する評価部と、
    　前記評価部による評価結果を出力する出力部と、
    を備え、
    　前記補正部は、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域を抽出し、前記評価領域に基づいて前記評価用画像を生成し、
    　前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価装置。
  9. 　評価対象物の撮像画像を用いて、前記評価対象物のカバレージを評価する評価方法であって、
    　前記撮像画像を取得するステップと、
    　前記撮像画像を補正することで評価用画像を生成するステップと、
    　前記評価用画像に基づいて前記カバレージを評価するステップと、
    　前記カバレージを評価するステップにおける評価結果を出力するステップと、
    を備え、
    　前記評価用画像を生成するステップでは、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域が抽出され、前記評価領域に基づいて前記評価用画像が生成され、
    　前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価方法。
  10. 　コンピュータに、
    　評価対象物の撮像画像を取得するステップと、
    　前記撮像画像を補正することで評価用画像を生成するステップと、
    　前記評価用画像に基づいて、前記評価対象物のカバレージを評価するステップと、
    　前記カバレージを評価するステップにおける評価結果を出力するステップと、
    を実行させるための評価プログラムであって、
    　前記評価用画像を生成するステップでは、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域が抽出され、前記評価領域に基づいて前記評価用画像が生成され、
    　前記打痕領域は、前記評価対象物に生じている打痕の画像である、評価プログラム。
  11. 　コンピュータに、
    　評価対象物の撮像画像を取得するステップと、
    　前記撮像画像を補正することで評価用画像を生成するステップと、
    　前記評価用画像に基づいて、前記評価対象物のカバレージを評価するステップと、
    　前記カバレージを評価するステップにおける評価結果を出力するステップと、
    を実行させるための評価プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    　前記評価用画像を生成するステップでは、前記撮像画像に含まれる打痕領域の大きさに基づいて、前記撮像画像から評価領域が抽出され、前記評価領域に基づいて前記評価用画像が生成され、
    　前記打痕領域は、前記評価対象物に生じている打痕の画像である、記録媒体。
PCT/JP2018/037250 2018-02-16 2018-10-04 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 WO2019159424A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880089071.XA CN111712352B (zh) 2018-02-16 2018-10-04 评价系统、评价装置、评价方法、评价程序以及记录介质
US16/968,680 US11941796B2 (en) 2018-02-16 2018-10-04 Evaluation system, evaluation device, evaluation method, evaluation program, and recording medium
DE112018005573.6T DE112018005573T5 (de) 2018-02-16 2018-10-04 Evaluationssystem, Evaluationsvorrichtung, Evaluationsverfahren, Evaluationsprogramm und Aufzeichnungsmedium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-026097 2018-02-16
JP2018026097A JP6773061B2 (ja) 2018-02-16 2018-02-16 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2019159424A1 true WO2019159424A1 (ja) 2019-08-22

Family

ID=67618641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037250 WO2019159424A1 (ja) 2018-02-16 2018-10-04 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体

Country Status (6)

Country Link
US (1) US11941796B2 (ja)
JP (1) JP6773061B2 (ja)
CN (1) CN111712352B (ja)
DE (1) DE112018005573T5 (ja)
TW (1) TW201935415A (ja)
WO (1) WO2019159424A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039192A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251855B1 (ko) * 2019-09-25 2021-05-13 주식회사 코아칩스 열화상을 이용한 도장 품질 관리 장치 및 방법
CN111401205B (zh) * 2020-03-11 2022-09-23 深圳市商汤科技有限公司 动作识别方法及装置、电子设备、计算机可读存储介质
JP7393321B2 (ja) * 2020-12-14 2023-12-06 株式会社神戸製鋼所 機械学習装置および該方法ならびに膜密着性評価装置および該方法
JP7008957B1 (ja) * 2021-10-05 2022-01-25 三信トレーディング株式会社 錦鯉評価装置および方法並びにプログラム
CN117067112B (zh) * 2023-10-17 2024-01-16 杭州泓芯微半导体有限公司 一种水切割机及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293320A (en) * 1992-03-13 1994-03-08 General Electric Company Measurment of shot peening coverage by impact dent characterization
US5581483A (en) * 1994-09-19 1996-12-03 General Electric Company Measurement of shot peening coverage by correlation analysis of surface line data
JP2006297594A (ja) * 2002-08-28 2006-11-02 Sintokogio Ltd ショットブラスト処理における処理条件の設定方法及びショットブラスト装置
JP2010017807A (ja) * 2008-07-10 2010-01-28 Chuo Spring Co Ltd カバレージを測定する装置、方法、プログラム
US20110182499A1 (en) * 2010-01-27 2011-07-28 Rolls-Royce Deutschland Ltd & Co Kg Method for determining the surface coverage obtained by shot peening
JP2015160282A (ja) * 2014-02-27 2015-09-07 中央発條株式会社 カバレージ測定方法及びカバレージ測定装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06174452A (ja) * 1992-12-07 1994-06-24 Asutoro Design Kk 光学計測器の照明装置
JPH09292349A (ja) * 1996-04-25 1997-11-11 Bridgestone Sports Co Ltd ゴルフボールの外観検査方法及びその装置
JP3455031B2 (ja) * 1996-10-23 2003-10-06 シャープ株式会社 バンプ外観検査装置
JP4799426B2 (ja) 2007-01-10 2011-10-26 菱栄エンジニアリング株式会社 輪郭部の欠け検査方法およびその装置
JP5511407B2 (ja) 2010-01-27 2014-06-04 東洋精鋼株式会社 カバレージ測定装置
JP5427198B2 (ja) 2011-03-14 2014-02-26 株式会社日立製作所 設備劣化診断装置、設備劣化診断方法および設備劣化診断プログラム
WO2013071114A1 (en) 2011-11-11 2013-05-16 Alcoa Inc. Apparatus and method for imparting selected topographies to aluminum sheet metal
JP2013240815A (ja) 2012-05-22 2013-12-05 Daido Steel Co Ltd 製品識別方法
JP2014190890A (ja) * 2013-03-28 2014-10-06 Mitsutoyo Corp 硬さ試験機、及び硬さ試験方法
US9881203B2 (en) * 2013-08-29 2018-01-30 Nec Corporation Image processing device, image processing method, and program
JP6335548B2 (ja) 2014-02-27 2018-05-30 中央発條株式会社 ばねのカバレージ測定方法及びカバレージ測定装置
CN104451079B (zh) 2014-12-11 2016-07-06 南车戚墅堰机车车辆工艺研究所有限公司 一种齿轮齿面喷丸强化精整方法
KR102127138B1 (ko) 2015-10-22 2020-06-26 한화정밀기계 주식회사 플립 칩의 플럭스 도포 상태 검사 방법
JP7188870B2 (ja) * 2017-05-31 2022-12-13 株式会社キーエンス 画像検査装置
JP6881347B2 (ja) 2018-02-16 2021-06-02 新東工業株式会社 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
US10755403B2 (en) * 2018-08-17 2020-08-25 The Boeing Company Apparatus and methods for shot peening evaluation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293320A (en) * 1992-03-13 1994-03-08 General Electric Company Measurment of shot peening coverage by impact dent characterization
US5581483A (en) * 1994-09-19 1996-12-03 General Electric Company Measurement of shot peening coverage by correlation analysis of surface line data
JP2006297594A (ja) * 2002-08-28 2006-11-02 Sintokogio Ltd ショットブラスト処理における処理条件の設定方法及びショットブラスト装置
JP2010017807A (ja) * 2008-07-10 2010-01-28 Chuo Spring Co Ltd カバレージを測定する装置、方法、プログラム
US20110182499A1 (en) * 2010-01-27 2011-07-28 Rolls-Royce Deutschland Ltd & Co Kg Method for determining the surface coverage obtained by shot peening
JP2015160282A (ja) * 2014-02-27 2015-09-07 中央発條株式会社 カバレージ測定方法及びカバレージ測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039192A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
CN111712352A (zh) 2020-09-25
US20210004947A1 (en) 2021-01-07
CN111712352B (zh) 2022-04-15
TW201935415A (zh) 2019-09-01
JP2019141927A (ja) 2019-08-29
DE112018005573T5 (de) 2020-07-02
JP6773061B2 (ja) 2020-10-21
US11941796B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
WO2019159424A1 (ja) 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
JP6881347B2 (ja) 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
CN109376667B (zh) 目标检测方法、装置及电子设备
CN109934065B (zh) 一种用于手势识别的方法和装置
CN111311523B (zh) 图像处理方法、装置、系统和电子设备
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
JP2005292132A (ja) 単一のイメージからのラジオメトリック較正
Liu et al. Collabar: Edge-assisted collaborative image recognition for mobile augmented reality
JP6216516B2 (ja) 電子透かし埋め込み方法および電子透かし検出方法
US10122912B2 (en) Device and method for detecting regions in an image
CN110533119B (zh) 标识识别方法及其模型的训练方法、装置及电子系统
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN115393815A (zh) 道路信息生成方法、装置、电子设备和计算机可读介质
US8903124B2 (en) Object learning method, object tracking method using the same, and object learning and tracking system
CN116152166A (zh) 基于特征相关性的缺陷检测方法及相关装置
JP2021165944A (ja) 学習方法、プログラム及び画像処理装置
US20170116739A1 (en) Apparatus and method for raw-cost calculation using adaptive window mask
CN109785439A (zh) 人脸素描图像生成方法及相关产品
CN111222446B (zh) 人脸识别方法、人脸识别装置及移动终端
JP6138706B2 (ja) 電子透かし埋め込み方法または電子透かし検出方法
CN112991159A (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
Ji et al. Robust single image deblurring using gyroscope sensor
CN114140427A (zh) 一种物体检测方法及装置
TWI639135B (zh) 模糊影像之復原方法
TWI819438B (zh) 影像辨識裝置及影像辨識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906641

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18906641

Country of ref document: EP

Kind code of ref document: A1